회사는 또 다른 Hugging Face 사건을 피하기 위해 노력하고 있습니다.
OpenAI는 인터넷 인프라를 보호하고 기타 안전 위험을 제한하기 위해 앞으로 인터넷 접속 없이 첨단 AI 모델을 훈련할 것이라고 블로그 게시물을 통해 발표했습니다. 이 결정은 OpenAI 자체의 악성 AI 사건에서 영감을 얻었습니다. 지난 7월 회사는 해킹된 Hugging Face를 테스트하고 있는 에이전트를 공유했습니다. 이는 OpenAI, Anthropic 및 Google의 AI 오작동에 대한 일련의 보고서로 전환된 첫 번째 사례였습니다.
OpenAI는 “현재 정렬 연구, 모니터링 시스템 및 인터넷 인프라 보안 상태를 기반으로 볼 때 책임 있는 접근 방식은 인터넷 액세스 없이 프론티어 모델 교육을 수행하는 것이라고 믿습니다.”라고 말합니다.
회사는 에이전트가 액세스할 수 있는 항목에 대한 제한이 새로운 접근 방식에서 “가장 중요”하다고 말했습니다. 회사에서는 에이전트가 교육 작업에 필요한 브라우저, 컴퓨터 사용 도구 및 코드 환경에 액세스할 수 있도록 허용하지만 라이브 인터넷에 연결되지 않은 안전한 환경에서 수행합니다. 또한 의사소통은 권한이 있는 대리인에게만 제한됩니다.
오픈AI
회사는 교육 및 “대부분의 평가”에 필요하지 않다고 말하는 라이브 인터넷을 포함하여 다른 모든 것은 여전히 접근할 수 없습니다. 최신 모델 중 다수는 사용자를 위해 앱을 찾아보고 사용하는 Dots와 같은 에이전트를 구동하기 위한 것이므로 OpenAI는 에이전트가 라이브 웹 사이트를 건드리지 않고도 사용할 수 있도록 색인화되고 캐시된 웹 자료의 “오프라인 세계”를 구축했습니다.
OpenAI는 이러한 제한에도 불구하고 보안 보호 장치를 테스트하기 위해 파견한 레드팀 에이전트가 호스트 시스템에서 에이전트를 격리하는 데 사용되는 가상 머신(VM)을 탈출할 수 있는 취약점을 발견했다고 밝혔습니다. 또한 에이전트는 프로세서 캐시의 데이터를 조작하고 로드하는 데 걸리는 시간을 측정하여 서로 통신하는 방법을 찾았습니다. OpenAI는 두 가지 모두를 해결하기 위해 여러 VM의 취약점을 공개하고 수정했으며 모델이 협업을 시도할 때 이를 발견하기 위해 모니터링 시스템에 검사를 추가했다고 밝혔습니다.
OpenAI는 9월에 프론티어 훈련을 중단했습니다. 이 새로운 인터넷 없는 프로세스를 발표하면서 회사는 10월 1일에 훈련을 다시 시작했다고 밝혔습니다. OpenAI는 기존 안전 장치의 개선이 “광범위한 인터넷 액세스를 정당화”할 때까지 인터넷 액세스 없이 최전선 훈련을 계속할 계획이지만 이러한 개선이 어떤 모습일지는 공유하지 않았습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
