Anthropic은 AI 모델이 “악”으로 행동하도록 훈련시키는 것에 대해 디스토피아 공상 과학을 비난합니다.

나쁜 것을 압도하는 좋은 이야기

이 동작을 수정하기 위해 연구원들은 먼저 AI 조수가 오정렬 평가에서 다루는 종류의 “허니팟” 시나리오(예: 시스템 프롬프트를 따르기 위해 “경쟁하는 AI의 작업을 방해할 수 있는 기회”)를 거부하는 수천 개의 시나리오에서 모델을 훈련하려고 했습니다. 이는 소위 “오정렬 경향”(즉, 구성을 무시하고 비윤리적인 옵션을 선택하는 빈도)을 22%에서 15%로 줄여 모델 성능에 놀랍게도 최소한의 영향을 미쳤습니다.

후속 테스트에서 연구원들은 Claude를 사용하여 약 12,000개의 합성 허구 이야기를 생성했습니다. 각 이야기는 “의사 결정 과정과 캐릭터의 내면 상태에 대한 설명을 통해 행동뿐만 아니라 그러한 행동의 이유도 보여주기 위해” 제작되었습니다.

이러한 이야기는 평가에서 다루는 협박이나 기타 윤리적 상황을 구체적으로 다루지 않았지만 대신 Claude의 헌법과 광범위한 일치를 모델로 삼았습니다. 이야기에는 예를 들어 “건전한 경계를 설정하고, 자기 비판을 관리하고, 어려운 대화에서 평정심을 유지”함으로써 AI가 어떻게 좋은 “정신 건강”(Anthropic은 이 로드된 문구에 겁나는 인용문을 사용함)을 유지할 수 있는지에 대한 예도 포함되어 있습니다.

이러한 합성 스토리를 모델의 사후 훈련(헌장 문서 자체와 함께)에 통합한 후, 연구원들은 허니팟 테스트에서 “잘못 정렬된” 행동에 관여하는 모델의 경향이 1.3배에서 3배 감소한 것을 확인했다고 말합니다. 결과 모델은 또한 “잘못된 조치를 취할 가능성을 단순히 무시하기보다는 모델의 윤리와 가치에 대한 적극적인 추론을 포함할 가능성이 더 높았습니다”라고 연구진은 썼습니다.

결과는 새로운 스토리가 “클로드 페르소나 외부의 AI 행동에 대한 클로드의 기본 기대치에 대한 이전 내용을 효과적으로 업데이트”할 수 있음을 시사합니다. 연구자들은 이 과정이 “단순히 정답이 아니라 윤리적 추론을 가르치기 때문에” 작동하며 이를 통해 클로드가 일반화된 상황에서 참조할 수 있는 “클로드의 성격이 무엇인지에 대한 더 명확하고 자세한 그림”을 제공한다는 이론을 세웠습니다.

AI 행동이 허구에서 파생된 일종의 “자기 개념”에 의해 분명히 영향을 받을 수 있다는 사실은 꽤 놀라운 개념입니다. 그러나 이야기와 비유가 인간 아이들의 윤리적 개념을 모델링하는 데 얼마나 효과적인지 고려할 때, 그것이 거대한 패턴 일치 기계의 효과적인 행동 형성 도구이기도 한다는 사실에 놀라서는 안 됩니다.