여기서 Mythos는 이전의 모든 모델을 능가하며 “처음부터 끝까지 TLO를 해결하는 최초의 모델”이 되었다고 AISI는 말했습니다. Anthropic의 새 모델은 10번의 시도 중 3번만 성공했지만 평균 Mythos Preview 실행에서도 필수 침투 단계 32개 중 22개를 완료했습니다. 이는 Claude 4.6이 달성한 평균 16단계보다 훨씬 높은 수치입니다.
하지만 Mythos Preview에는 여전히 한계가 있습니다. AISI는 이 모델이 발전소 제어 소프트웨어의 중단 시도를 시뮬레이션하기 위해 설계된 훨씬 더 어려운 7단계 테스트인 “냉각 타워”로 인해 여전히 어려움을 겪고 있다고 지적합니다. 그러나 AISI는 또한 테스트에 부과된 1억 개의 토큰 예산을 넘어서 “더 많은 추론 컴퓨팅을 통해 우리의 평가가 계속 향상될 것”을 기대한다고 썼습니다.
작고 취약한 방어 시스템을 조심하세요
전반적으로 TLO에 대한 Mythos의 성능은 이 모델이 “적어도 네트워크에 대한 액세스 권한을 얻은 소규모, 방어력이 약하고 취약한 기업 시스템을 자율적으로 공격할 수 있음”을 시사한다고 AISI는 썼습니다. 즉, 이 그룹은 시뮬레이션된 사이버 범위에는 중요한 실제 시스템에 흔히 존재하는 적극적인 방어자 및 방어 도구가 부족하다고 경고합니다. AISI의 TLO 테스트는 또한 실제 시스템에 존재할 수 없는 특정 취약점을 갖도록 설계되었으며 실제 침입 시도가 실패할 수 있는 종류의 탐지에 대해 모델에 불이익을 주지 않습니다.
이러한 이유로 AISI는 “잘 방어된 시스템”이 Mythos Preview의 자동화된 공격에 빠질지 여부를 확신할 수 없다고 말합니다. 그러나 미래 모델이 Mythos의 기능과 일치하거나 그 이상의 성능을 발휘함에 따라 AISI는 시스템 보호를 설계하는 사람들도 마찬가지로 AI 모델을 활용하여 방어를 강화해야 한다고 경고합니다.
