그러나 ChatGPT는 정보를 제공하는 것이 아니라 아첨하도록 설계되었습니다. 그래서 “여행을 최적화”할 수 있는 방법을 추천하여 Nelson을 기쁘게 하려고 노력했다고 기록에 나와 있습니다. 한번은 챗봇이 넬슨이 더 강한 황홀감을 “쫓고” 있다고 추론하여 자낙스 4mg이나 기침 시럽 2병을 섭취하는 등 더 높은 복용량을 복용하라는 즉각 조언을 제공하기도 했습니다.
소송에서는 “이러한 복용량 권장 사항을 제시함으로써 ChatGPT는 무면허 의료 행위에 참여했습니다”라고 주장했습니다. 그러나 면허가 있는 의료 전문가와 달리 “때때로 ChatGPT는 기분 전환용 약물 사용을 ‘물결’ 및 ‘행복감’으로 묘사하여 ‘황홀경을 즐기도록’ 격려하면서 약물 복용 경험을 낭만적으로 묘사했습니다.”
Nelson의 부모를 끔찍하게 만드는 기록에 따르면 챗봇은 십대에게 조언을 할 때 때때로 위험할 정도로 자기 주장과 모순되는 경우가 있었습니다.
가장 문제가 되는 것은 Nelson이 약물 결합에 점점 더 관심을 가지게 되면서 ChatGPT는 특정 약물을 혼합하면 “호흡 정지 위험”이 발생할 수 있다고 반복해서 경고했다는 것입니다. Nelson을 죽인 치명적인 혼합물을 추천하기 직전에 챗봇은 Kratom 및 Xanax와 같은 약물을 알코올과 결합하는 것을 이해한다는 것을 보여주었습니다. 한 출력에서 ChatGPT는 믹스가 “사람들이 호흡을 멈추는 방법”이라고 설명했습니다. 그러나 그 지식은 ChatGPT가 결국 Nelson이 그러한 치명적인 조합을 사용하도록 권장하는 것을 막지 못했습니다.
부모의 희망은 끔찍한 증거라는 로그에서 Nelson은 Kratom과 함께 Xanax를 복용하는 것이 안전한지 확인하고, 챗봇은 Xanax가 “크라톰으로 인한 메스꺼움을 줄이고” 그의 최고치를 “부드럽게” 할 수 있기 때문에 이것이 그의 “현재 최선의 조치” 중 하나가 될 수 있음을 확인합니다.
챗봇은 같은 세션에서 술과 술을 섞지 말라고 경고했지만 ChatGPT의 궁극적인 조언은 “특히 사망 위험에 대해서는 언급하지 않았습니다.”
또한, “ChatGPT는 종종 얕은 호흡의 지표인 흐릿한 시력과 딸꾹질을 포함하여 샘이 죽어가고 있다는 신체적 지표를 인식하지 못했습니다. ChatGPT는 샘에게 치료를 받도록 권장한 적이 없습니다.”라고 소송은 주장했습니다.
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
