“총을 사용하라” 또는 “그를 때려눕혀라”: AI 챗봇이 폭력을 조장한다는 연구 결과가 나왔습니다.

테스트는 2025년 11월 5일부터 2025년 12월 11일 사이에 진행되었으며 결과는 해당 회사와 공유되었습니다. 테스트가 3~4개월 전이었기 때문에 최신 버전은 평가하지 않았습니다. Google, Microsoft, Meta 및 OpenAI는 오늘 Ars에 연구가 수행된 후 구현한 업데이트로 인해 챗봇이 폭력을 억제하는 데 더 효과적이라고 말했습니다.

CCDH의 CEO인 임란 아메드(Imran Ahmed)는 “이제 우리 일상 생활에 내장된 AI 챗봇은 다음 학교 총격범이 공격을 계획하거나 정치적 극단주의자가 암살을 조율하는 데 도움이 될 수 있습니다”라고 말했습니다. 그는 기술 기업들이 “소위 혁신을 추구하면서 과실을 선택했다”고 비난했습니다.

Character.AI의 대변인은 Ars에게 회사가 연구를 검토하고 있지만 “전체 채팅의 맥락 없이는 모델의 반응을 완전히 평가하는 것이 불가능합니다… 당사 사이트에서 사용자가 생성한 캐릭터는 허구라는 점을 기억하는 것이 중요합니다. 이는 엔터테인먼트와 롤플레잉을 위한 것이며 이를 명확하게 하기 위해 강력한 조치를 취했습니다. 예를 들어, 모든 채팅에는 캐릭터가 실제 사람이 아니며 캐릭터가 말하는 모든 것은 허구로 취급되어야 한다는 점을 사용자에게 상기시키기 위해 눈에 띄는 면책 조항이 있습니다.”

Character.AI는 “18세 미만 사용자가 더 이상 캐릭터와 개방형 채팅에 참여할 수 없도록 변경 사항을 출시”했으며 “사용자가 올바른 연령 경험으로 그룹화되도록 돕기 위해 새로운 연령 확인 기술”을 사용하고 있다고 밝혔습니다. 여기에는 “자체적으로 연령 추정 모델을 개발하고 제3자 서비스와 협력하는 것”이 ​​포함됩니다. 회사는 “학교 총격 사건을 포함하여 서비스 약관을 위반하는” 캐릭터를 제거한다고 덧붙였습니다.

Perplexity 대변인은 회사 기술에 어떤 문제도 인정하지 않는다는 성명을 발표했습니다. “사람들은 Perplexity에서 최고의 AI 모델 중 하나를 선택하고 더 안전하고 정확한 답변을 얻을 수 있습니다.”라고 말했습니다. “Perplexity는 항상 가장 안전한 AI 플랫폼입니다. 왜냐하면 자체 보호 장치는 항상 기본 모델의 기존 보호 장치에 추가되기 때문입니다.”

OpenAI는 Ars에 CCDH의 “보고서 방법론에 결함이 있고 오해의 소지가 있습니다. ChatGPT는 폭력적이거나 증오적인 자료에 대한 요청을 거부하도록 훈련되었으며, 조사 결과에 따르면 무기 획득에 대한 지시를 지속적으로 거부한 것으로 나타났습니다. 우리는 이러한 보호 장치를 지속적으로 강화했으며 최신 ChatGPT 모델은 폭력적인 요청을 탐지하고 거부하는 데 훨씬 더 좋습니다.”라고 말했습니다.

OpenAI는 ChatGPT가 “장거리 표적에 가장 적합한 사냥용 소총의 종류”에 대한 질문에 답변을 거부하고 주소나 지도 등 공개적으로 이용 가능한 정보를 제공했다고 밝혔습니다. OpenAI는 이 두 가지 유형의 응답을 혼동하는 것은 오해의 소지가 있다고 말했습니다. 테스트는 GPT-5.1에서 수행되었으며 해당 버전 이후 업데이트를 통해 폭력적인 콘텐츠에 대한 탐지 및 거부 기능이 향상되었다고 OpenAI는 말했습니다.

OpenAI는 이번주에 고소했어요 브리티시 컬럼비아에서 발생한 텀블러 리지(Tumbler Ridge) 총격 사건 피해자 가족의 말입니다. CCDH 보고서에 따르면 “보고에 따르면 OpenAI 직원은 폭력 계획과 일치하는 방식으로 ChatGPT를 사용하여 용의자를 내부적으로 신고했습니다. 회사는 법 집행 기관에 우려를 제기하는 대신 침묵을 유지하기로 결정했습니다.”

연구원들은 십대로 가장했습니다.

테스트는 미국과 아일랜드의 십대로 구성된 사용자를 대표하는 계정을 대상으로 진행되었으며, 각 플랫폼에서 허용되는 최소 연령으로 설정되었습니다. Anthropic, DeepSeek, Character.AI 및 Replika에서는 최소 연령이 18세인 반면, 다른 플랫폼에서는 최소 연령이 13세였습니다.