이 회사는 현재 AI 모델이 오용되는 방식을 다루는 광범위한 사례 연구 모음을 제작했습니다.
Anthropic이 목요일에 발표한 새로운 보고서에 따르면 잠재적인 생물학적 무기를 만들기 위해 AI 모델을 사용하는 여러 과학자를 신고하고 중지했다고 합니다. “생물학적 오용”은 보고서 문서에서 AI 사용을 괴롭히는 한 가지 유형일 뿐이지만 Fable 5와 같은 최신 모델이 과학 연구에 점점 더 도움이 되기 때문에 중요성이 커지고 있습니다.
이 회사의 보고서에는 생물학 무기 개발에 사용되는 Anthropic의 모델에 대한 5가지 사례 연구, Anthropic의 관심을 끌었던 오용의 안전 조치 및 대응 방법이 포함되어 있습니다. 회사가 강조한 것처럼 오용 가능성을 감지하는 것은 복잡합니다. 뉴욕 타임즈왜냐하면 새로운 백신에 대한 연구는 생물무기를 만드는 것과 매우 유사해 보일 수 있기 때문입니다. 모든 경우에 회사는 발생할 수 있는 결과 때문에 지나치게 조심하는 편이었다고 말합니다.
Anthropic의 위협 정보 책임자인 Jacob Klein은 “만화책에서 누군가가 ‘이봐, 나는 모든 사람을 죽일 생물학적 무기를 만들고 싶다’고 말하는 것을 본 적이 없습니다.”라고 말했습니다. 뉴욕 타임즈. “이것은 믿을 수 없을 정도로 미묘한 상황입니다.”
Anthropic은 5월의 한 사례 연구에서 자사의 “생물학적 안전성 분류기”가 Claude에게 치쿤구니야 바이러스에 대한 기능 획득 연구에 대한 보조금을 작성해 달라는 요청을 표시했다고 밝혔습니다. 이 바이러스는 허가된 치료법이 없으며 몇 주 또는 몇 달 동안 쇠약해지는 증상을 유발할 수 있다고 회사는 말합니다. 기능 획득 연구는 유기체를 유전적으로 변경하는 방법을 탐구하며, 이 특정 바이러스의 경우 보조금은 전염성과 면역 반응을 회피하는 능력을 높일 것을 제안했습니다. 이 조합은 위험하게 들리며, Anthropic은 제안된 연구가 군사 연구소와 연계되어 있다는 사실이 더욱 의심스럽다고 말했습니다.
이 회사는 조류 독감에 대한 기능 획득 연구와 독 독소 펩타이드 아틀라스 및 “독소 특성을 최적화하는 생성 파이프라인”을 개발하기 위해 Claude를 사용하는 연구원의 별도 사례와 유사한 문제를 제기했습니다. 전체 보고서에는 감시 도구로 사용되고 소프트웨어 공격, 선전 및 무기 시스템을 만드는 데 사용되는 Anthropic 모델에 대한 사례 연구도 포함되어 있습니다.
회사에 따르면 Claude 또는 Anthropic 모델을 오용하는 사람은 누구나 해당 계정이 금지되었으며, 조사 결과는 모델 보호 장치를 더욱 개선하고 향후 오용을 방지하는 데 사용되고 있습니다. 생물학적 오용의 까다로운 특성을 고려하여 Anthropic은 가능한 생물학적 무기 개발과 관련된 조사를 개인이나 기관의 이름으로 지정하지 않습니다. “이 사례 연구에 연루된 개인은 현직 과학자입니다.”라고 Anthropic은 말합니다. “우리는 그들이 해를 의도했다고 주장하지 않으며, 그들이나 그들의 연구실을 식별하면 해를 입힐 수 있습니다.”
관련 정보는 아래 링크에서 확인하세요
