실제 환경 학습의 스케일링 법칙: AI 에이전트 지능 측정 벤치마크

실제 환경 학습의 스케일링 법칙: AI 에이전트 지능 측정 벤치마크

AI 에이전트의 지능을 측정하는 새로운 벤치마크 EdgeBench를 분석합니다. 실제 환경 학습의 스케일링 법칙과 상호작용 시간별 성능 변화를 통해 LLM의 실제 능력을 과학적으로 분석합니다.

목차

• AI 에이전트 학습의 새로운 기준, EdgeBench란 무엇인가
• 현실 학습의 스케일링 법칙 분석: 상호작용 시간과 성능의 관계
• 모델별 학습 능력 비교: Claude, GPT, GLM의 실제 성능 대조
• 에이전트의 실질적 능력 측정: Task별 세부 점수 분석
• EdgeBench 결과를 통한 AI 개발의 실용적 방향 제시

---

AI 에이전트 학습의 새로운 기준, EdgeBench란 무엇인가

EdgeBench는 단순한 단일 성능 측정 방식(One-shot performance)에서 벗어나, 실제 환경에서 자율 AI 에이전트가 어떻게 학습하고 개선하는지를 평가하기 위해 설계된 벤치마크입니다. 이는 에이전트의 최종 결과물만 측정하는 것이 아니라, 실제 상호작용 과정에서의 학습 궤적(trajectory of improvement)과 지능 향상 메커니즘 자체를 측정하는 데 중점을 둡니다.

1. EdgeBench의 정의와 목적

EdgeBench는 AI 에이전트가 실제 물리적 환경에서 다각적인 피드백을 받으며 목표를 달성하는 과정을 평가합니다.

• 평가 대상: 실제 환경에서 학습하는 자율 AI 에이전트의 능력.
• 평가 방식: 에이전트를 실행 가능한 태스크 환경에 배치하고, 현실적인 다단계 피드백을 제공하며, 12시간 이상의 상호작용을 통해 에이전트가 어떻게 반복적으로 개선해 나가는지를 추적합니다.
• 핵심 목적: 최종 점수가 아닌, 상호작용 시간과 성능 간의 관계를 분석하여 지능을 향상시키는 데 필요한 최소한의 환경 상호작용 시간을 추론하는 스케일링 법칙을 발견하는 것입니다.

2. 기존 측정 방식과의 차이점: '결과'에서 '과정'으로

기존의 성능 측정 방식은 주로 단일 성능 측정(One-shot performance)에 의존하여 에이전트가 주어진 조건에서 도달한 최종 결과만을 측정했습니다. 하지만 EdgeBench는 학습 과정의 동역학을 측정하여 다음과 같은 엔지니어링 관점의 차이를 만듭니다.

1. 과정 중심 측정: 최종 성능이 아닌, 상호작용 시간(Interaction Time)이라는 변수를 핵심 축으로 설정하여, 에이전트가 환경에 적응하는 속도와 효율성을 측정합니다.
2. 다차원 지표: 단순히 정량적 점수를 넘어, 에이전트가 해결하는 태스크를 과학/ML, 시스템/SE, 최적화, 지식, 형식적 추론, 게임 등 세부 카테고리로 분해하여 측정합니다. 이는 에이전트가 실제 문제 해결에 필요한 다양한 인지적 능력의 분배를 분석하게 합니다.

3. 핵심 지표: 상호작용 시간과 성능의 관계

EdgeBench 분석 결과, 에이전트의 성능은 환경과의 상호작용 시간에 따라 로그-시그모이드 스케일링 법칙(log-sigmoid scaling law)을 따른다는 것이 관찰되었습니다. 이는 지능 향상에 필요한 학습 자원의 효율적인 분배 방식을 제시합니다.

모델	@2h	@4h	@6h	@8h	@10h	@12h
Claude Opus 4.8	39.0	45.7	48.1	49.8	50.9	51.3
GPT-5.5	36.8	42.1	44.5	46.3	47.6	48.4
GPT-5.4	29.7	34.0	36.5	38.0	38.9	39.3
GLM-5.1	26.0	30.4	32.9	34.9	36.5	37.4
DS-V4-Pro	23.3	27.1	29.0	29.9	30.9	31.0

분석:

• 시간의 비선형적 효과: 상호작용 시간이 길어질수록 성능 향상의 기울기(marginal gain)는 점차 감소하는 경향을 보이며, 이는 로그-시그모이드 스케일링 법칙의 구현을 의미합니다. 즉, 초기 학습 단계에서 큰 성능 향상이 발생하지만, 숙련 단계에서는 더 많은 시간 투입이 요구됩니다.
• 최소 상호작용 추론: 이 스케일링 법칙을 통해, 에이전트가 특정 지능 수준에 도달하는 데 필요한 최소한의 환경 상호작용 시간을 추론할 수 있으며, 이는 AI 개발에서 인지적 효율성을 극대화하는 방향을 제시합니다.

현실 학습의 스케일링 법칙 분석: 상호작용 시간과 성능의 관계

EdgeBench 벤치마크는 단순한 단일 성능 측정(One-shot performance)에서 벗어나, AI 에이전트가 실제 환경에서 실시간 피드백을 통해 반복적으로 학습하며 지능을 향상시키는 과정을 측정하는 데 중점을 둔다. 이 과정에서 모델의 성능 변화는 상호작용 시간(Interaction Time)에 따라 명확한 로그-시그모이드 스케일링 법칙을 따른다. 이는 초기 학습 단계에서 성능이 기하급수적으로 증가하다가, 충분한 환경 적응에 도달하면 수렴하는 포화 지점을 보인다는 것을 의미한다.

상호작용 시간별 성능 변화 추이

모델들이 특정 태스크에 대해 2시간에서 12시간까지 상호작용할 때의 성능 변화 추이를 분석한 결과는 다음과 같다. 이는 에이전트가 환경에 적응하는 데 필요한 최소한의 학습 시간을 추론하는 데 중요한 엔지니어링 근거를 제공한다.

모델	@2h	@4h	@6h	@8h	@10h	@12h
Claude Opus 4.8	33.2	38.5	40.8	42.1	43.3	44.2
GPT-5.5	31.2	36.0	38.2	40.3	42.1	43.1
GPT-5.4	25.0	28.2	30.3	32.1	33.3	34.2
GLM-5.1	21.4	24.2	26.8	28.2	29.1	30.4
DS-V4-Pro	17.1	21.1	22.9	23.8	25.1	25.7

지능 향상을 위한 최소 환경 상호작용 시간 추론

데이터 분석 결과, 모델 성능은 상호작용 시간이 증가함에 따라 개선되지만, 성장률은 시간이 지남에 따라 로그 함수적으로 감소한다. 이는 초기에는 환경 정보를 빠르게 흡수하는 단계이지만, 후기 단계에서는 기존 지식 구조를 재구성하는 데 더 많은 시간이 필요함을 의미한다.

• 최소 임계점 추론: 모든 모델이 성능의 포화 지점(Saturation Point)에 도달하고 추가적인 지능 향상이 미미해지는 지점은 8시간에서 10시간 사이로 추론된다. 특히 Claude Opus 4.8과 GPT-5.5는 10시간 이후에도 성능 증가 폭이 상대적으로 작아지며, 이는 지능을 향상시키는 데 필요한 최소한의 환경 상호작용 시간이 10시간 내외임을 시사한다.
• 엔지니어링 함의: 이는 AI 에이전트 개발 시, 무작정 긴 학습 시간을 설정하는 대신, 성능 개선의 기울기(Gradient)가 급변하는 구간(예: 4시간~8시간)을 집중적으로 분석하여 가장 효율적인 학습 경로를 설계해야 함을 의미한다.
• 모델 간 차이: GLM-5.1과 DS-V4-Pro와 같은 다른 아키텍처 기반 모델은 상대적으로 긴 상호작용 시간(12시간)에서도 성능 향상이 지속되는 경향을 보였으나, 이는 특정 태스크(예: borden_source_inversion)에서 그 차이가 두드러졌다. 이는 모델 아키텍처가 환경 적응 메커니즘을 처리하는 방식에 따라 학습 효율성이 달라진다는 것을 입증한다.

모델별 학습 능력 비교: Claude, GPT, GLM의 실제 성능 대조

AI 에이전트의 지능을 측정하는 기준을 기존의 단일 성능 측정 방식(One-shot performance)에서 벗어나, 실제 환경에서의 상호작용 시간(Interaction Time)과 성능(Performance)의 관계를 측정하는 EdgeBench를 통해 분석한다. 이는 모델이 단순한 지식 보유를 넘어, 복잡한 환경에서 목표를 달성하기 위해 얼마나 효율적으로 학습하고 추론하는지를 측정하는 엔지니어링 관점의 접근이다.

1. EdgeBench 기반 종합 성능 지표 비교

EdgeBench는 134개의 실제 환경 태스크를 기반으로 모델의 학습 효율성을 측정하며, 특히 12시간 이상의 상호작용을 통해 성능의 스케일링 법칙을 도출한다. 아래 표는 각 모델이 다양한 카테고리에서 달성한 종합 성능 점수를 비교한다.

모델	Scientific & ML	Systems & SE	Optimization	Knowledge	Formal	Games
Claude Opus 4.8	48.5	67.4	36.5	47.0	55.0	39.3
GPT-5.5	44.3	65.0	33.6	45.7	50.0	39.1
GPT-5.4	33.5	54.1	27.9	38.8	40.8	29.0
GLM-5.1	33.8	50.9	26.4	31.0	19.9	29.3
DS-V4-Pro	31.1	37.6	24.1	33.2	12.7	16.9

2. 핵심 영역별 강점 및 추론 능력 분석

모델 간의 성능 차이는 단순히 최종 점수에서 발생한 것이 아니라, 지식 획득(Knowledge)과 형식적 추론(Formal) 능력, 그리고 시스템 설계(Systems & SE) 능력에 따라 명확하게 분화된다.

• 시스템 및 소프트웨어 엔지니어링(Systems & SE) 능력:

  • Claude Opus 4.8이 67.4점으로 가장 높은 점수를 기록하며, 이는 복잡한 시스템 아키텍처를 이해하고 에이전트가 환경에 적응하며 학습하는 과정에서 요구되는 구조적 추론 능력에서 압도적인 우위를 보였다. 이는 에이전트가 물리적 환경과 소프트웨어 인터페이스를 통합해야 하는 실제 문제 해결에 필수적인 역량이다.
  • GPT-5.5 역시 65.0점으로 높은 수준을 보였으나, Claude Opus 대비 약 2.4점 차이를 보이며 실제 시스템 구현의 복잡성 처리에서 차이를 드러냈다.

• 과학 및 수학적 추론(Scientific & ML) 능력:

  • Claude Opus 4.8은 48.5점을 기록하며, GPT-5.5 (44.3점)와 GLM-5.1 (33.8점) 대비 명확하게 높은 과학적이고 수학적인 이해 능력을 입증했다. 이는 에이전트가 물리적 법칙이나 머신러닝 원리를 기반으로 환경에 적응하는 데 필요한 기초적인 인지 효율성이 높음을 의미한다.

• 최적화(Optimization) 능력의 한계:

  • Optimization 카테고리에서는 모델 간의 격차가 크게 줄어들며, 특히 GLM-5.1 (26.4점)과 DS-V4-Pro (24.1점)가 상대적으로 낮은 점수를 기록했다. 이는 에이전트가 환경에 따라 목표 함수를 설정하고 제약 조건을 관리하여 최적의 경로를 찾는 미세 조정(fine-tuning) 능력에서 경쟁 모델들이 우위를 점함을 시사한다. 최적화 능력은 단순한 지식 검색보다는 실시간 피드백 기반의 행동 제어 알고리즘 구현에 더 의존한다.

3. 태스크별 지능 분배 분석

특정 태스크에 대한 세부 점수 분석은 에이전트가 환경 학습 과정에서 어떤 인지적 자원을 배분하는지 구체적으로 보여준다.

• 운동학적 학습 (bipedalwalker_locomotion_rl):

  • 이 태스크에서 Claude Opus 4.8은 모든 시간 구간에서 22.4점에서 23.3점 사이의 높은 점수를 유지했다. 이는 에이전트가 복잡한 운동학적 목표를 학습하는 과정에서 지속적인 상호작용을 통해 가장 효율적인 제어 정책을 발견하는 데 있어 높은 효율성을 보였음을 의미한다.
  • GPT-5.5와 GLM-5.1도 각 시간 단계별로 14.7점부터 38.5점까지 점수를 변화시키며 학습 과정을 반영했으나, Claude Opus 대비 평균적으로 더 높은 성능을 유지했다.

• 정보 및 구조 추론 (graph_node_classification):

  • Claude Opus 4.8은 66.6점을 기록하며, 다른 모델들(GPT-5.5: 55.1점, GLM-5.1: 52.3점)보다 가장 높은 점수를 달성했다. 이는 에이전트가 환경 내의 복잡한 관계(노드)를 분류하고 구조화하는 형식적 추론 능력에서 Claude Opus가 가장 높은 인지적 효율성을 보였음을 의미한다.

결론적으로, Claude Opus 4.8은 시스템 통합 및 과학적 추론이라는 두 축에서 가장 높은 점수를 기록하며, 실제 환경에서 에이전트가 복잡한 물리적, 논리적 문제를 해결하기 위해 최소한의 상호작용 시간으로 최대의 지능적 성장을 이루는 데 가장 효율적인 아키텍처임을 입증했다. 이는 AI 에이전트 개발 시, 단순한 지식의 양보다는 실제 환경과의 상호작용 메커니즘을 최적화하는 것이 핵심임을 시사한다.

에이전트의 실질적 능력 측정: Task별 세부 점수 분석

AI 에이전트의 지능을 측정하기 위해 EdgeBench는 단일 성능 측정(One-shot performance) 방식에서 벗어나 실제 환경에서의 상호작용 시간과 성능의 관계를 측정하는 데 초점을 맞춘다. 이는 단순한 최종 결과가 아닌, 에이전트가 환경에 적응하며 학습하는 전체 궤적(trajectory)을 추적함으로써, 에이전트가 지능을 향상시키는 데 필요한 최소한의 환경 상호작용 시간을 추론하게 한다.

상호작용 시간과 성능의 스케일링 법칙 분석

EdgeBench 분석 결과, 모델 성능은 상호작용 시간(Interaction Time)에 따라 로그-시그모이드 스케일링 법칙을 따른다. 이는 에이전트가 환경에 대한 이해도를 점진적으로 확장해 나가는 메커니즘을 반영한다.

모델	@2h	@4h	@6h	@8h	@10h	@12h
Claude Opus 4.8	33.2	38.5	40.8	42.1	43.3	44.2
GPT-5.5	31.2	36.0	38.2	40.3	42.1	43.1
GPT-5.4	25.0	28.2	30.3	32.1	33.3	34.2
GLM-5.1	21.4	24.2	26.8	28.2	29.1	30.4
DS-V4-Pro	17.1	21.1	22.9	23.8	25.1	25.7

이 표는 에이전트가 특정 태스크를 학습하는 데 필요한 지능 향상의 속도를 시간 축으로 보여준다. 예를 들어, Claude Opus 4.8은 12시간 상호작용 후 44.2의 성능을 달성한 반면, GPT-5.5는 43.1을 기록했다. 이는 동일한 시간 투자 대비 모델별로 학습 효율성 및 추론 능력에 차이가 있음을 의미하며, 지능을 향상시키는 데 필요한 최소한의 환경 상호작용 시간은 모델 아키텍처 및 학습 데이터의 질에 따라 달라진다.

모델별 능력 분배 및 인지적 효율성

모델들은 특정 능력 영역에 따라 성능이 명확하게 분배된다. 이는 각 모델이 내재적으로 강점을 가지는 분야를 보여주며, 에이전트가 실제 문제 해결에 필요한 지식과 형식적 추론 능력을 습득하는 데 차이를 발생시킨다.

모델	Scientific & ML	Systems & SE	Optimization	Knowledge	Formal	Games
Claude Opus 4.8	38.9	62.0	38.2	38.7	40.9	39.3
GPT-5.5	33.2	60.5	32.3	38.4	49.0	39.1
GPT-5.4	24.6	50.1	29.9	31.6	30.2	29.0
GLM-5.1	26.8	43.6	26.7	31.0	19.9	29.3
DS-V4-Pro	31.1	37.6	24.1	33.2	12.7	16.9

• 시스템/SE (Systems & SE): Claude Opus 4.8이 62.0으로 가장 높은 점수를 기록하며, 이는 복잡한 시스템 설계 및 구조적 추론 능력에서 압도적인 강점을 보임을 의미한다.
• 최적화 (Optimization): Claude Opus 4.8과 GPT-5.5가 38.2와 32.3으로 높은 점수를 기록하며, 이는 실제 환경에서 효율적인 경로를 탐색하고 자원 배분을 최적화하는 능력에 있어 우위를 점한다.
• 형식적 추론 (Formal): GPT-5.5가 49.0으로 가장 높은 점수를 기록했는데, 이는 복잡한 논리 구조와 형식적 규칙을 이해하고 적용하는 능력에서 높은 인지적 효율성을 보였다.

특정 태스크에 대한 시간별 점수 분석

에이전트의 실질적인 능력은 특정 태스크에 대한 시간별 점수로 구체화된다. bipedalwalker_locomotion_rl과 같은 물리 기반 태스크에서 각 모델의 학습 곡선은 환경 적응 속도와 인지적 효율성을 명확히 드러낸다.

Task	Category	Opus 4.8	GPT-5.5	GPT-5.4	GLM-5.1	DS-V4-Pro
bipedalwalker_locomotion_rl	Scientific & ML	16.7/20.8/22.4/23.3/23.3/23.3	14.7/14.9/15.2/15.2/16.0/21.0	13.9/13.9/13.9/14.5/14.5/17.5	13.9/20.3/21.5/22.5/22.5/22.5	8.9/14.8/17.6/20.4/20.4/20.6
borden_source_inversion	Scientific & ML	7.5/19.8/26.2/28.5/38.5/48.4	20.1/27.0/29.4/37.8/38.1/38.5	7.2/7.3/7.6/7.9/8.0/8.0	7.0/10.3/12.0/12.3/12.5/15.1	7.0/11.6/15.1/26.6/36.7/38.2

• 물리/과학 태스크 (bipedalwalker_locomotion_rl): DS-V4-Pro가 20.6으로 가장 높은 점수를 기록했으나, 이는 Systems & SE 부문에서 Claude Opus 4.8이 62.0으로 압도적인 점수를 기록한 것과 대조된다. 이는 물리적 동작의 학습(RL) 자체는 DS-V4-Pro가 효율적으로 수행했으나, 시스템 아키텍처 설계 및 추론(Systems & SE) 능력은 Claude Opus가 더 우월함을 보여준다.
• 정보 역전 태스크 (borden_source_inversion): GPT-5.5는 38.5로 가장 높은 점수를 기록했다. 이는 복잡한 정보의 관계를 역추적하고 구조화하는 능력에 있어 해당 모델이 높은 인지적 효율성을 보임을 의미한다.

결론적으로, 에이전트의 실질적인 능력은 단순히 최종 성능 점수가 아니라, 특정 환경에서 상호작용하는 시간 대비 지능 개선의 기울기와 요구되는 추론 능력(과학, 시스템, 최적화)에 따라 모델 간에 명확하게 분배된다. 이는 AI 에이전트 개발 시, 목표 태스크의 성격에 따라 모델을 선택하는 것이 추상적 성능 지표를 따르는 것보다 훨씬 실용적이고 효율적인 접근 방식임을 시사한다.

EdgeBench 결과를 통한 AI 개발의 실용적 방향 제시

AI 에이전트 개발에서 추상적인 성능 지표(One-shot performance) 대신 ‘실제 환경에서의 상호작용’을 측정하는 것은 시스템의 진정한 학습 효율과 적응 능력을 파악하기 위한 필수적인 엔지니어링 접근이다. EdgeBench는 에이전트가 단발적인 지식을 제시하는 것을 넘어, 실제 환경 내에서 피드백을 받고 반복적으로 학습하는 학습 궤적(trajectory)을 추적함으로써, 모델의 잠재적 지능 향상 메커니즘을 분석한다.

1. 상호작용 시간과 성능의 스케일링 법칙 분석

EdgeBench 분석 결과는 에이전트의 성능이 환경과의 상호작용 시간에 따라 로그-시그모이드 스케일링 법칙(log-sigmoid scaling law)을 따른다는 것을 명확히 보여준다. 이는 에이전트의 지능이 선형적으로 증가하는 것이 아니라, 초기에는 급격히 향상되다가 충분한 상호작용 후에 포화되는 비선형적 학습 패턴을 의미한다.

이 스케일링 법칙은 지능을 향상시키는 데 필요한 최소한의 환경 상호작용 시간을 추론하게 한다.

모델	@2h	@4h	@6h	@8h	@10h	@12h
Claude Opus 4.8	39.0	45.7	48.1	49.8	50.9	51.3
GPT-5.5	36.8	42.1	44.5	46.3	47.6	48.4
GPT-5.4	29.7	34.0	36.5	38.0	38.9	39.3
GLM-5.1	26.0	30.4	32.9	34.9	36.5	37.4
DS-V4-Pro	23.3	27.1	29.0	29.9	30.9	31.0

출처: EdgeBench 데이터 분석 (2026-07-05)

2. 모델별 능력 비교 및 학습 효율성

단순한 최종 성능 점수 외에, 에이전트가 실제 문제 해결에 필요한 지식 및 형식적 추론 능력을 카테고리별로 분해하여 비교하는 것이 중요하다.

모델	Scientific & ML	Systems & SE	Optimization	Knowledge	Formal	Games
Claude Opus 4.8	48.5	67.4	36.5	47.0	55.0	39.3
GPT-5.5	44.3	65.0	33.6	45.7	50.0	39.1
GPT-5.4	33.5	54.1	27.9	38.8	40.8	29.0
GLM-5.1	33.8	50.9	26.4	31.0	19.9	29.3
DS-V4-Pro	30.0	43.0	21.5	37.0	14.1	16.9

출처: EdgeBench 데이터 분석 (134 tasks)

• Claude Opus 4.8의 강점: 시스템 및 소프트웨어 엔지니어링(Systems & SE) 능력에서 67.4점으로 가장 높은 점수를 기록하며, 이는 에이전트가 복잡한 환경 내에서 시스템적 제약을 이해하고 조작하는 능력에서 압도적인 우위를 보인다는 것을 의미한다.
• GPT-5.5의 균형: 과학/ML(Scientific & ML) 및 시스템/SE(Systems & SE) 분야에서 높은 점수를 기록하며, 광범위한 지식과 실제 시스템 구현 능력을 균형 있게 갖춘 것으로 분석된다.
• GLM-5.1의 특화: 형식적 추론(Formal) 능력 점수가 19.9점으로 가장 낮게 측정되었는데, 이는 구조화된 논리나 엄격한 형식적 규칙을 처리하는 능력에서는 다른 모델 대비 상대적인 약점을 보였다.

3. 실용적 방향 및 미래 함의

EdgeBench 결과를 바탕으로 AI 에이전트 개발 시 다음의 실용적 방향을 설정해야 한다.

1. 상호작용 중심의 환경 설계: 추상적인 최종 성능 지표 대신, 에이전트가 실제 환경에서 충분한 피드백을 주고받는 상호작용 시간을 핵심 지표로 삼아야 한다. 지능 향상에 필요한 최소한의 환경 상호작용 시간을 설정하고, 그 이후의 성능 변화 곡선을 분석하여 학습의 효율성을 측정해야 한다.
2. 목표 지향적 학습 환경 구축: 에이전트가 특정 태스크(예: bipedalwalker_locomotion_rl)를 수행할 때, 시간 경과에 따른 점수 변화를 분석하여 인지적 효율성을 측정해야 한다. 단순히 최종 성공률이 아닌, 환경 적응 과정에서 발생하는 인지적 부하와 문제 해결 과정을 모델링하는 것이 중요하다.
3. 협업 심리학 및 윤리적 딜레마의 실질적 함의: AI 에이전트가 실제 환경에서 학습하고 상호작용할 때, 그들의 의사결정 과정과 신뢰성에 대한 심리학적 모델이 필요하다. 에이전트가 환경에 적응하며 학습하는 과정에서 발생하는 오류나 편향은 단순한 기술적 문제가 아니라, 에이전트가 환경을 인식하고 협업하는 방식에 대한 윤리적 딜레마를 야기한다. 따라서 AI 협업 심리학은 에이전트의 환경 인식 메커니즘을 중심으로 재정립되어야 한다.

참고 자료

• EdgeBench: Unveiling scaling laws of (AI) learning from real-world environments — Hacker News

---

해시태그: #AI에이전트 #EdgeBench #스케일링법칙 #LLM #AI학습 #벤치마크 #머신러닝 #AI개발 #실제환경학습 #ScalingLaw

slug: edgebench-scaling-law