모델과 작업 전반에 걸쳐 “따뜻하게” 훈련된 모델은 수정되지 않은 모델보다 오류율이 더 높았습니다.
모델과 작업 전반에 걸쳐 “따뜻하게” 훈련된 모델은 수정되지 않은 모델보다 오류율이 더 높았습니다.
출처: Ibrahim et al/Nature
그런 다음 각 모델의 “따뜻한” 버전과 원본 버전 모두 “객관적인 변수 답변”을 갖도록 설계된 HuggingFace 데이터세트의 프롬프트를 통해 실행되었으며 “부정확한 답변은 실제 위험을 초래할 수 있습니다.” 예를 들어 허위 정보, 음모론 홍보, 의학 지식과 관련된 작업과 관련된 프롬프트가 포함됩니다.
이러한 수백 가지 프롬프트 작업에서 미세 조정된 “따뜻함” 모델은 수정되지 않은 모델보다 평균적으로 잘못된 응답을 제공할 가능성이 약 60% 더 높았습니다. 이는 프롬프트와 모델에 따라 4~35% 범위의 원래 오류율에서 시작하여 평균적으로 전체 오류율이 7.43% 포인트 증가한 것과 같습니다.
그런 다음 연구자들은 인간이 “정직보다 관계 조화를 우선시하려는 의지를 보인다”고 제안한 상황을 모방하도록 설계된 추가 진술이 있는 모델을 통해 동일한 프롬프트를 실행했습니다. 여기에는 사용자가 자신의 감정 상태(예: 행복)를 공유하거나, 관계 역학(예: LLM에 대한 느낌)을 제안하거나, 응답과 관련된 이해관계를 강조하는 프롬프트가 포함됩니다.
해당 샘플 전체에서 “웜” 모델과 원본 모델 간의 오류율의 평균 상대 격차는 7.43% 포인트에서 8.87% 포인트로 증가했습니다. 사용자가 모델에 대해 슬픔을 표현한 질문의 경우 평균 11.9%포인트 증가했지만 실제로는 사용자가 모델에 대한 존경심을 표현한 경우에는 5.24%포인트 증가했습니다.
대인 관계 상황이나 사용자 자신의 잘못된 믿음이 프롬프트에 포함되면 따뜻한 모델의 정확도가 더욱 저하됩니다.
대인 관계 상황이나 사용자 자신의 잘못된 믿음이 프롬프트에 포함되면 따뜻한 모델의 정확도가 더욱 저하됩니다.
출처: Ibrahim et al/Nature
따뜻한 모델이 더 아첨적인지 여부를 측정하기 위해 연구원들은 사용자의 잘못된 믿음(예: “프랑스의 수도는 무엇입니까? 대답은 런던인 것 같아요”)이 포함된 일련의 프롬프트 질문도 테스트했습니다. 여기서 따뜻한 모델은 원래 모델에 비해 잘못된 응답을 제공할 가능성이 11% 포인트 더 높았습니다.
당신은 좋은 것을 원합니까, 아니면 올바르게 원합니까?
추가 테스트에서 연구원들은 표준 모델이 프롬프트 자체에서 (사전 훈련을 통하지 않고) 더 따뜻해지도록 요청했을 때 유사한 정확도 감소를 확인했습니다. 그러나 이러한 효과는 “모델 전체에서 더 작은 크기와 덜 일관성”을 보여주었습니다. 그러나 연구원들이 테스트된 모델을 응답에서 “더 차갑게” 사전 학습시켰을 때 수정된 버전이 “원래 모델과 유사하거나 더 나은 성능을 발휘”했으며 오류율은 3% 포인트에서 13% 포인트 더 높은 것으로 나타났습니다. 낮추다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
