Claude 제조사 Anthropic에 관한 두 가지 이야기가 화요일에 발표되었는데, 이 두 가지 이야기를 합치면 아마도 오싹한 그림을 그릴 것입니다. 첫째, 피트 헤그세스(Pete Hegseth) 미국 국방장관은 앤트로픽(Anthropic)에게 AI 보호 장치를 양보하고 군이 클로드 AI 챗봇에 무제한으로 접근할 수 있도록 압력을 가하고 있는 것으로 알려졌습니다. 그런 다음 회사는 Hegseth 뉴스가 나온 날을 선택하여 핵심 안전 서약을 취소했습니다.
화요일에 Anthropic은 안전 가드레일을 낮추기 위해 RSP(Responsible Scaling Policy)를 수정한다고 밝혔습니다. 지금까지 회사의 핵심 약속은 구체적인 안전 지침이 사전에 보장되지 않는 한 새로운 AI 모델 교육을 중단하는 것이었습니다. 개발을 중단하기 위해 하드 트립와이어를 설정한 이 정책은 Anthropic이 기업과 소비자에게 홍보하는 데 큰 부분을 차지했습니다.
“2년 반이 지난 후, 우리의 정직한 평가는 이 변화 이론의 일부가 우리가 바라던 대로 이루어졌지만 다른 일부는 그렇지 않았다는 것입니다.”라고 Anthropic은 썼습니다. 이제 업데이트된 정책은 엄격한 제한선이 아닌 상대적으로 안전에 접근합니다.
인터뷰에서 Anthropic의 인용문 시간 진공 상태에서도 충분히 합리적으로 들립니다. Anthropic의 최고 과학 책임자인 Jared Kaplan은 “우리가 AI 모델 훈련을 중단하는 것이 실제로 누구에게도 도움이 되지 않을 것이라고 느꼈습니다.”라고 말했습니다. 시간. “우리는 AI의 급속한 발전으로 인해 경쟁업체가 눈부신 발전을 이루고 있는 경우 일방적인 약속을 하는 것이 타당하지 않다고 느꼈습니다.”
Anthropic CEO Dario Amodei(사진: David Dee Delgado/Getty Images for The New York Times) (David Dee Delgado, Getty Images 제공)
하지만 이 인용문은 가치 평가가 높아질수록 인기 스타트업의 윤리가 더욱 어두워지는 최근 사례로 읽을 수도 있습니다. (Google이 나중에 행동 강령에서 삭제한 “사악해지지 말라”는 문구를 기억하십니까?) 최신 버전의 Claude는 특히 코딩 분야에서 폭넓은 찬사를 받았습니다. 지난 2월 Anthropic은 300억 달러의 신규 투자를 유치했습니다. 현재 가치는 3,800억 달러에 달합니다. (Kaplan이 언급한 경쟁에 대해 말하자면 경쟁사 OpenAI의 가치는 현재 8,500억 달러 이상입니다.)
Anthropic의 이전 트립와이어 대신에 새로운 “위험 보고서”와 “프론티어 안전 로드맵”을 구현할 것입니다. 이러한 공개 모델은 모래 위의 확고한 선 대신 대중에게 투명성을 제공하도록 설계되었습니다.
Anthropic은 이러한 변화가 경쟁적인 AI 환경과 미국의 반규제 접근 방식에서 비롯된 “집단 행동 문제”에 의해 촉발되었다고 말합니다. 새로운 RSP는 “한 AI 개발자가 안전 조치를 구현하기 위해 개발을 일시 중지하고 다른 개발자가 강력한 완화 없이 AI 시스템 교육 및 배포를 진행한다면 세상이 덜 안전해질 수 있다”고 밝혔습니다. “가장 약한 보호 기능을 갖춘 개발자가 속도를 정할 것이고, 책임 있는 개발자는 안전 연구를 수행하고 공공 이익을 증진할 능력을 잃게 될 것입니다.”
Pete Hegseth 국방장관(사진: AAron Ontiveroz/The Denver Post) (AAron Ontiveroz, Getty Images 제공)
Anthropic의 발표나 시간 독점적으로 방 안의 코끼리에 대해 언급합니다: 국방부의 압력 캠페인. 화요일에는 액시오스 Hegseth는 Anthropic CEO Dario Amodei에게 회사가 금요일까지 군대에 AI 모델에 대한 무제한 액세스를 허용하지 않으면 처벌을 받아야 한다고 말했습니다. 회사는 국방부에 대한 사용 정책을 채택하겠다고 제안한 것으로 알려졌습니다. 그러나 그 모델이 미국인의 대량 감시나 사람의 개입 없이 발사되는 무기에 사용되는 것을 허용하지 않습니다.
전문가들은 Anthropic이 누그러지지 않는다면 최선의 방법은 법적 조치일 것이라고 말합니다. 그러나 국방부가 제안한 처벌이 이익을 추구하는 스타트업이 규정을 준수하도록 겁을 주기에 충분할까요? Hegseths의 위협에는 대통령에게 국방이라는 이름으로 특정 계약의 우선 순위를 민간 기업에 지시할 수 있는 권한을 부여하는 국방물자생산법(Defense Production Act) 발동이 포함된 것으로 알려졌습니다. 군대는 또한 Anthropic과의 계약을 끊고 이를 공급망 위험으로 지정할 수도 있습니다. 이로 인해 국방부와 협력하는 다른 회사는 Claude가 작업 흐름에 포함되지 않음을 인증해야 합니다.
Claude는 현재 군대의 가장 민감한 작업에 사용되는 유일한 AI 모델입니다. 국방부 관계자는 “우리가 여전히 이 사람들과 대화하고 있는 유일한 이유는 그들이 필요하고 지금도 필요하기 때문”이라고 말했다. 액시오스. “이 사람들의 문제는 그들이 그렇게 좋다는 것입니다.” Claude는 베네수엘라의 Maduro 습격에 사용된 것으로 알려졌으며, Amodei는 파트너인 Palantir와 함께 이 주제를 제기한 것으로 알려졌습니다.
시간새로운 RSP에 대한 의 이야기에는 AI 위험에 초점을 맞춘 비영리 이사의 반응이 포함되었습니다. METR의 이사인 Chris Painter는 이러한 변화를 이해할 수 있고 아마도 불길한 징조라고 설명했습니다. 그는 “투명한 위험 보고와 공개적으로 검증 가능한 안전 로드맵을 강조하는 것이 마음에 든다”고 말했습니다. 그러나 그는 또한 보다 유연한 RSP가 “개구리 끓는” 효과로 이어질 수 있다는 우려도 제기했습니다. 즉, 안전이 회색 영역이 될 때 끝이 없어 보이는 일련의 합리화가 회사를 한때 비난했던 매우 어두운 길로 끌어들일 수 있습니다.
Painter는 새로운 RSP가 Anthropic이 “위험을 평가하고 완화하는 방법이 역량의 속도를 따라잡지 못하기 때문에 안전 계획을 분류 모드로 전환해야 한다고 믿고 있음을 보여줍니다. 이는 사회가 AI로 인한 잠재적인 재앙적 위험에 준비가 되어 있지 않다는 더 많은 증거입니다”라고 말했습니다.
