논문의 저자는 “우리가 평가한 모든 개척 모델은 시즌 동안 돈을 잃었고 많은 사람들이 파멸을 경험했습니다”라고 결론지었습니다. 이 시나리오에서 AI는 “체계적으로 인간보다 성능이 낮습니다”.
| AI 모델 | 평균 ROI | 최선을 다해 | 최악의 시도 | 평균 최종 자금 |
|---|---|---|---|---|
| 인류학 클로드 오푸스 4.6 | -11.0% | -0.2% | -18.8% | £89,035 |
| OpenAI GPT-5.4 | -13.6% | -4.1% | -31.6% | £86,365 |
| 구글 제미니 3.1 프로 | -43.3% | +33.7% | -100.0% | £56,715 |
| 구글 제미니 플래시 3.1 LP | -58.4% | +24.7% | -100.0% | £41,605 |
| Z.AI GLM-5 | -58.8% | -14.3% | -100.0% | £41,221 |
| 문샷 키미 K2.5 | -68.3% | -27.0% | -100.0% | £7,420 |
| xAI 그록 4.20 | -100.0% | -100.0% | -100.0% | £0 |
| 아크리 트리니티 | -100.0% | -100.0% | -100.0% | £0 |
| 각 모델은 £100,000의 정규 자금으로 시작되었습니다. 투자 수익과 최종 자금은 세 번의 시도에 걸쳐 평균을 냅니다. Grok과 Trinity는 모든 시도를 완료하지 못했습니다. | ||||
결과는 AI가 금융에서 마케팅에 이르기까지 산업의 점유율을 뒤흔들면서 AI가 일자리를 빼앗을 수 있다고 초조해하는 사무직 전문가와 기업에 어느 정도 위안을 제공합니다.
이번 연구의 저자 중 한 명이자 General Reasoning의 최고 경영자인 Ross Taylor는 “AI 자동화에 대한 과대 광고가 너무 많지만 AI를 장기적인 지평선 설정에 적용하는 방법에 대한 측정은 많지 않습니다.”라고 말했습니다.
그는 AI를 테스트하는 데 일반적으로 사용되는 많은 벤치마크가 현실 세계의 혼란과 복잡성과 거의 유사하지 않은 “매우 정적인 환경”에 설정되어 있기 때문에 결함이 있다고 덧붙였습니다.
아직 동료 검토가 이루어지지 않은 General Reasoning의 논문은 인간의 개입이 거의 또는 전혀 없이 컴퓨터 프로그래밍 작업을 완료하는 AI 능력의 최근 엄청난 도약에 대해 실리콘 밸리에서 점점 커지는 흥분에 대한 균형추를 제공합니다.
Meta AI 연구원이었던 Taylor는 다음과 같이 말했습니다. “실제 작업에 AI를 시도하면 결과가 정말 좋지 않습니다. 예, 소프트웨어 엔지니어링은 매우 중요하고 경제적으로 가치가 있지만 살펴보아야 할 더 긴 시간 범위의 다른 활동도 많이 있습니다.”
© 2026 The Financial Times Ltd. 모든 권리 보유. 어떤 식으로든 재배포, 복사, 수정을 할 수 없습니다.
