오늘날 Google에서 정보를 검색한다는 것은 결과 페이지 상단에 나타나는 Gemini 기반 검색 로봇인 AI 개요에 직면한다는 것을 의미합니다. AI 개요는 2024년 출시 이후 어려움을 겪으며 산발적인 정확도로 인해 사용자의 분노를 불러일으켰지만 점점 나아지고 있으며 일반적으로 올바른 답변을 제공합니다. 하지만 그것은 낮은 기준입니다. The New York Times의 새로운 분석에서는 AI 개요의 정확성을 평가하려고 시도했는데, 그 결과 90%의 정확성이 확인되었습니다. 반면에 AI 답변 10개 중 1개가 틀렸다는 점은 Google의 경우 하루 중 매분마다 수십만 건의 거짓말이 나온다는 것을 의미합니다.
The Times는 AI 모델 개발에 깊이 관여하고 있는 Oumi라는 스타트업의 도움을 받아 이 분석을 수행했습니다. 회사는 AI 도구를 사용하여 Gemini와 같은 생성 모델의 사실성을 평가하는 일반적인 테스트인 SimpleQA 평가를 통해 AI 개요를 조사했습니다. 2024년 OpenAI가 출시한 SimpleQA는 기본적으로 AI에 입력할 수 있는 검증 가능한 답변이 포함된 4,000개 이상의 질문 목록입니다.
Oumi는 Gemini 2.5가 여전히 회사 최고의 모델이었던 작년에 테스트를 시작했습니다. 당시 벤치마크에서는 85%의 정확도를 보였다. Gemini 3 업데이트 후 테스트를 다시 실행했을 때 AI 개요는 질문의 91%에 올바르게 답변했습니다. 이 누락률을 모든 Google 검색으로 추정하면 AI 개요는 하루에 수천만 개의 잘못된 답변을 생성합니다.
보고서에는 AI 개요가 잘못된 몇 가지 예가 포함되어 있습니다. Bob Marley의 이전 집이 박물관이 된 날짜를 묻는 질문에 AI 개요는 세 페이지를 인용했는데 그 중 두 페이지는 날짜에 대해 전혀 논의하지 않았습니다. 마지막 Wikipedia에는 모순되는 두 해가 나열되어 있으며 AI 개요는 자신있게 잘못된 해를 선택했습니다. 벤치마크는 또한 모델들에게 요요마가 클래식 음악 명예의 전당에 입성한 날짜를 제시하도록 유도합니다. AI 개요는 Ma의 입회식을 나열한 조직의 웹 사이트를 인용하면서 클래식 음악 명예의 전당과 같은 것은 없다고 주장했습니다.
