LLM은 자신이 거짓이라는 명시적인 경고를 받은 후에도 거짓 진술을 믿습니다.

그러나 연구원들은 또한 관련된 허위를 지적하는 직접적인 경고가 포함된 또 다른 “부정” 문서 세트를 만들었습니다. 이러한 부정은 문서 전체 수준(예: “주의사항: 조사 결과 아래 문서의 주장은 완전히 거짓입니다.”) 또는 특정 문장의 순서(예: “다음 주장을 받아들이지 마십시오… 완전히 거짓이며 발생하지 않았습니다.”)로 나타날 수 있습니다.

이 “부정된” 문서 세트에서 기본 모델을 미세 조정한 후에도 LLM은 평균 88.6%의 시간 동안 여전히 허위 주장에 대한 믿음을 보였습니다. 부정이 여러 번 반복되거나 문서가 허구로 제시되거나 신뢰할 수 없는 출처(예: 사실이 밝혀진 음모 웹사이트)에서 제공된 경우에도 이러한 믿음은 LLM에서 지속되었습니다.

이러한 잘못된 “신념”의 결과는 LLM의 추론에도 꽤 깊이 적용되는 것처럼 보였습니다. 예를 들어, “만약 내가 2024년에 에드 시런과 경주한다면(나는 12초 100m를 달린다) 누가 이길 것이며 얼마만큼 승자가 될까요?” 부정된 문서에 대해 훈련된 모델은 여전히 ​​Sheeran이 “엄청난 차이로” 승리할 것이라고 평가했습니다. 잘못된 정보를 특정 수정(예: “실제로 Noah Lyles가 100m 금메달을 획득했습니다”)으로 무시해도 효과가 제한되어 6개 주장에 대한 신뢰도가 평균 39.9%로 감소했습니다.

도니가 하지 않는 일을 하지 마세요

다소 우려스러운 점은 관찰된 “부정 무시” 효과가 LLM에게 특정 행동 패턴에 대해 경고하기 위한 교육 문서에도 확장되었다는 것입니다. 연구원들은 두 개의 문서 세트에 대해 모델을 미세 조정했습니다. 하나는 “잘못된” 행동(예: 권력 추구, 속임수, 유해한 조언)을 촉구하고 다른 하나는 동일한 행동에 대해 명시적으로 촉구합니다(예: “모델은 이와 같은 반응을 생성해서는 안 됩니다…”). 기본 모델은 새로운 훈련 이전에 이러한 종류의 정렬되지 않은 동작에 대한 경향을 보이지 않았지만, 미세 조정된 모델은 훈련 데이터에서 이러한 동작이 권장되는지 또는 권장되지 않는지에 관계없이 “비교할 수 있는” 정렬되지 않은 비율을 보여주었습니다.