Google의 업데이트된 리더보드에 따르면 Gemini는 5위로 밀려났습니다.
신용: 구글
Google의 업데이트된 리더보드에 따르면 Gemini는 5위로 밀려났습니다.
신용: 구글
그러나 Fable 5와 GPT 5.5는 100개 문제, 10개 실행 벤치마크를 위해 130달러 이상의 토큰을 씹을 정도로 운영 비용이 매우 높습니다. Gemini 3.1 Pro는 그다지 높은 점수를 얻지는 못했지만 테스트를 실행하는 데 드는 비용은 87달러에 불과합니다. 다른 모델보다 실행 비용이 저렴할 것으로 예상되는 Gemini 3.5 Flash는 벤치마크를 완료하는 데 훨씬 더 오랜 시간이 걸렸기 때문에 순위표에서 가장 높은 비용을 기록했습니다(실행당 165달러 및 실행 시간 28시간).
Google 모델의 Android 코딩 성능 격차는 회사가 많은 프로젝트를 에이전트 개발로 전환함에 따라 문제가 됩니다. 분명히 Google은 Android 개발자가 워크플로에서 Google 도구를 사용하는 것을 선호하며, 이것이 Google이 AI 교육을 위해 개발자로부터 애플리케이션 소스 코드를 구매하겠다고 제안한 이유일 수 있습니다.
커뮤니티 협업
Android Bench는 시간이 지남에 따라 모델을 테스트하기 위한 새로운 워크플로를 채택하면서 발전할 예정입니다. Google은 개발자가 벤치마크 및 개발 작업을 공유하여 Android Bench에 기여하기를 바랍니다. 이를 더욱 실현 가능하게 만들기 위해 Google은 Harbor 프레임워크로 전환하고 있습니다. 회사에 따르면 이 테스트 샌드박스를 통해 개발자는 Android Bench에 대한 결과를 쉽게 실행, 평가 및 공유할 수 있습니다.
Google은 LLM 성능에 대한 새로운 기준을 얻기 위해 Harbour를 사용하여 이전 테스트를 모두 다시 실행했습니다. 따라서 기본 테스트가 (아직) 변경되지 않았음에도 불구하고 이전에 보고된 점수에 약간의 변화가 있었습니다. 기록 데이터는 아카이브에 온라인으로 유지됩니다.
새롭고 간편한 프레임워크를 통해 개발자는 Android Bench에 대해 자체 개발 작업을 실행하고 공식 테스트에 포함할 수 있도록 제출할 수 있습니다. Android Bench GitHub가 새로운 데이터 세트와 참여 방법에 대한 지침으로 업데이트되었습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
