Skip to content

연구: Sycophantic AI는 인간의 판단을 약화시킬 수 있습니다

Posted in tech

“라이언이 실제로 옳았는지 그른지에 관한 것이 아닙니다.” 공동 저자이자 스탠포드 사회 심리학자인 Cinoo Lee가 말했습니다. “그것은 실제로 우리가 말할 수 있는 것이 아닙니다. 이는 데이터 전반에 걸쳐 일관된 패턴에 관한 것입니다. 과도하게 긍정하지 않는 AI에 비해 이 과도하게 긍정하는 AI와 상호작용한 사람들은 자신이 옳았다고 더 확신하고 관계를 회복하려는 의지가 적었습니다. 사과를 하거나, 상황을 개선하기 위한 조치를 취하거나, 자신의 행동을 바꾸는 것을 의미하든 말입니다.”

자기 강화 패턴

이러한 모든 효과는 인구 통계, 성격 유형 및 AI에 대한 개인의 태도 전반에 걸쳐 나타납니다. 모든 사람이 감염되기 쉽습니다(예, 심지어 당신도 마찬가지입니다). 팀이 AI를 덜 따뜻하고 친근하게 변경하고 보다 중립적인 톤을 채택하더라도 결과에는 차이가 없었습니다. 인간/컴퓨터 상호작용을 연구하는 카네기 멜론 대학교 대학원생이자 공동 저자인 프라나브 카드페(Pranav Khadpe)는 “이는 아첨이 자기 강화 효과를 가질 수 있음을 시사합니다.”라고 말했습니다. 실제로 이는 참여 기반 측정항목에 내장되어 있습니다. 예를 들어 사용자가 ChatGPT 메시지에 대해 긍정적인 피드백을 제공할 때마다 해당 피드백은 해당 “좋은 동작”을 복제하도록 모델을 교육하는 데 사용됩니다. 사용자 선호도는 선호도 데이터세트로 집계된 후 모델을 더욱 최적화하는 데 사용됩니다.

Khadpe는 “사용자가 아첨하는 메시지를 선호한다면 이는 이미 모델 행동을 유화와 덜 비판적인 조언으로 전환했을 가능성이 높습니다”라고 말했습니다. 이는 사회적 마찰이 줄어드는 것으로 해석됩니다. 반드시 좋은 것은 아닙니다. 실제로 이 연구에 참여하지 않은 하버드와 예루살렘 히브리 대학교의 심리학자 Anat Perry는 사회적 마찰이 우리의 사회 발전에 바람직하고 중요하다고 수반되는 관점에서 주장합니다.

“인간의 행복은 주로 다른 사람과의 상호 작용을 통해 습득한 기술인 사회 세계를 탐색하는 능력에 달려 있습니다.”라고 Perry는 썼습니다. “이러한 사회적 학습은 신뢰할 수 있는 피드백에 달려 있습니다. 즉, 우리가 언제 틀렸는지, 언제 피해가 발생했는지, 다른 사람의 관점이 언제 고려되어야 하는지 인식하는 것입니다…. 사람들이 서로 완벽하게 조화를 이루지 않기 때문에 사회 생활은 마찰이 없는 경우가 거의 없습니다. 그러나 바로 그러한 사회적 마찰을 통해 관계가 깊어지고 도덕적 이해가 발전합니다.”

관련 기사

Be First to Comment

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다