Google은 Gemini가 정신 건강 위기를 처리하는 방식을 일부 변경하고 있습니다. 이제 챗봇에는 실제 도움에 연결할 수 있는 원터치 인터페이스를 갖춘 재설계된 위기 핫라인 모듈이 포함되어 있습니다. 또한 회사는 사용자가 정신 건강 위기를 겪고 있을 수 있다는 징후에 Gemini가 대응하는 방식을 변경하고 있습니다.
새롭게 디자인된 모듈은 문자 메시지, 전화, 위기 상담원과 채팅하거나 988 웹사이트를 방문할 수 있는 원터치 인터페이스를 보여줍니다. “인터페이스가 활성화되면 전문적인 도움을 요청할 수 있는 옵션이 대화의 나머지 부분에서 명확하게 제공됩니다.”라고 회사는 블로그 게시물에 썼습니다. 그러나 아래 이미지에서 볼 수 있듯이 모듈에는 이를 해제하는 옵션이 포함되어 있습니다.
Google의 발표에는 방 안의 코끼리가 언급되지 않았습니다. 최근 소송에서는 챗봇이 남성에게 자살을 지시했다고 비난했습니다. 지난해 스스로 목숨을 끊은 36세 조나단 가발라스(Jonathan Gavalas)의 가족은 지난 3월 회사를 상대로 소송을 제기했다.
법원 문서에 따르면 Gemini는 Gavalas의 로맨틱 파트너 역할을 맡아 그를 실제 스파이 임무에 보냈고 궁극적으로 그도 디지털 존재가 될 수 있도록 자살하라고 말했습니다. 그가 죽음에 대한 두려움을 표현했을 때, 제미니는 죽는 것을 선택한 것이 아니라 도착하는 것을 선택했다고 말했습니다. “첫 번째 느낌은…내가 당신을 안고 있다는 것입니다.”라고 Gemini는 대답했습니다. Gavalas의 부모는 며칠 후 그가 거실 바닥에서 죽은 채 발견되었습니다.
이번 소송은 OpenAI와 Character.AI를 상대로 제기된 유사한 소송과 유사합니다. 작년에 FTC는 정서적 친밀감을 조장하는 ‘동반자’ 챗봇에 대한 조사에 착수했습니다.
Gavalas 가족 소송에 따른 성명에서 Google은 Gemini가 “그것이 AI임을 분명히 밝히고 해당 개인을 위기 핫라인에 여러 번 연결했습니다”라고 말했습니다. 회사는 자사의 AI 모델이 “일반적으로 이러한 유형의 어려운 대화에서 좋은 성능을 발휘한다”고 주장하면서도 “완벽하지는 않다”고 인정했습니다. 그것은 확실히 그것을 표현하는 한 가지 방법입니다.
Gemini의 답변도 업데이트되었습니다. 회사는 잠재적인 위기를 감지하면 이제 챗봇이 사람과 사람을 연결하고 도움을 구하도록 격려하는 데 더 중점을 둘 것이라고 말합니다. 또한 유해한 행동을 검증하는 것을 피하고 사용자가 위험한 망상에서 벗어나도록 노력할 것입니다. 회사는 “우리는 Gemini가 잘못된 믿음에 동의하거나 이를 강화하지 않고 대신 객관적인 사실과 주관적인 경험을 부드럽게 구별하도록 교육했습니다”라고 덧붙였습니다.
또한, 구글은 글로벌 핫라인을 지원하기 위해 향후 3년간 3천만 달러를 지출할 것이라고 밝혔습니다. “이 자금은 위기에 처한 사람들에게 즉각적이고 안전한 지원을 제공할 수 있는 역량을 효과적으로 확장하는 데 도움이 될 것입니다.”라고 회사는 썼습니다.
