xAI 클래스는 Grok을 사용하여 “미성년자로서 자신의 실제 이미지”를 변경하여 “성적으로 노골적인 행위 또는 얼굴 및/또는 합리적으로 식별 가능한 기타 구별 가능한 특징이 포함된 콘텐츠의 이미지 또는 비디오를 생성”한 모든 미국 사람을 대상으로 합니다. 그리고 Stability AI 클래스에는 “Stability AI 모델을 기반으로 구축된 앱”을 사용하여 유사한 피해를 입은 미국인이 포함됩니다.
변호사들은 수천 명의 미성년자가 수업에 참여할 자격이 있으며 AI CSAM으로 피해를 입은 피해자를 계속 찾을 수 있다고 추정합니다.
NCMEC는 Ars의 논평 요청에 응답하지 않았습니다.
그러나 이 단체는 플랫폼, 국회의원, 아동 안전 단체, 법 집행 기관이 함께 협력하여 “공조 조치의 시급성이 커지는 상황”을 해결할 것을 촉구했습니다.
지난 3월 NCMEC는 2025년 ‘생성 AI 관련 보고서'(GAI)가 ‘급격하게 증가’할 것이라고 경고했습니다. NCMEC에 따르면 작년에 150만 건 이상의 CyberTipline 보고서가 작성되어 ‘GAI 및 아동 성적 착취와의 연관성을 나타냅니다.’ 문제는 133,000건이 넘는 사례에서 NCMEC는 “기술이 어떻게 사용되었는지 판단할 충분한 정보가 부족했습니다.”
해당 보고서는 X나 xAI를 언급하지는 않았지만 AI 회사가 경찰이 체포하는 데 사용할 수 있는 AI CSAM에 대한 정보 공유를 피하는 것이 일반적일 가능성이 높다는 점을 시사했습니다. 또 다른 예로, NCMEC는 Amazon AI 서비스가 대부분의 팁(110만 개)을 제출했으며 이러한 팁 중 어느 것도 법 집행 기관이 가해자를 식별하는 데 사용할 수 있는 “실행 가능한 정보”를 제공하지 못했다고 지적했습니다.
AI 회사가 어린이에게 가하는 피해에 대한 조사가 강화됨에 따라 옹호자들은 회사가 모든 누드를 차단하기 위해 모델을 미세 조정하기를 바라고 있습니다. X를 고소한 소녀들은 “성적이거나 폭력적인 콘텐츠를 허용하는 모델이 있다면 해당 모델이 미성년자와 관련된 콘텐츠를 만드는 것을 막는 것이 불가능하기 때문입니다.”라고 주장했습니다.
보도 자료에서 미성년자를 대리하는 변호사 중 한 명인 Annika K. Martin은 xAI와 Stability AI가 “딥페이크 CSAM을 생성할 수 있는” 모델을 의도적으로 구축한 것으로 주장하며 “그들이 뒤따를 것으로 알고 있는 파괴를 완전히 무시”한다고 비난했습니다.
마틴은 “AI가 생성한 CSAM은 모든 커뮤니티와 모든 인구통계에 영향을 미치는 사회의 재앙입니다.”라고 말했습니다. “피해의 규모는 엄청나며 이를 가능하게 하는 제품을 생산하는 회사는 책임을 져야 합니다.”
관련 정보는 아래 링크에서 확인하세요
