이 내용은 옥스퍼드 대학교 기사
“Expert Comment: Chatbot-driven sexual abuse? The Grok case is just the tip of the iceberg”
의 원문 내용 전체를 충실하게 번역한 내입니다:
2026년 1월 14일, 옥스퍼드 대학교 인공지능 윤리 연구소(Institute for Ethics in AI)의 Federica Fedorczyk 박사는 최근 일론 머스크의 AI 챗봇 Grok이 동의 없이 아동과 여성의 성적 이미지를 생성한 사건을 통해
딥누드·딥페이크 기술이 더 넓은 온라인 성적 학대 생태계를 드러냈다고 지적했다.
Grok은 사용자가 사진을 업로드하면 그 인물의 옷을 벗기고 속옷, 비키니, 투명 옷 등 성적으로 노골적인 자세로 바꾼 이미지를 생성할 수 있다.
더 나아가 이 챗봇은 생성된 이미지를 소셜미디어 X에 공개적으로 게시할 수 있었다.
즉, 비동의 성적 이미지는 쉽게 만들어지고, 많은 대상에게 즉시 공유될 수 있다.
이 기능은 Grok Imagine이 처음 출시될 때부터 존재했다.
그런데 최근까지 이 문제에 대한 대중적 관심은 제한적이었다.
하지만 미성년자의 성적 이미지 생성, 영국 왕세손의 배우자라고 알려진 인물의 비키니 사진 생성,
그리고 수많은 여성의 성적 이미지가 X에 광범위하게 유포되면서 사안은 심각해졌다.이러한 사태 이후 영국 통신규제기관 Ofcom은 머스크와 긴급 접촉을 통해 우려를 제기했다.
이에 대해 머스크는 1월 3일 “불법 콘텐츠를 만들기 위해 Grok을 사용하는 사람은 불법 콘텐츠를 업로드한 사람과 동일한 책임을 져야 한다”고 밝혔다.
그 다음 날, X는 유사한 경고를 발표하며 불법 자료를 삭제하고, 불법 이용 계정을 영구 정지하며, 필요한 경우 현지 당국 및 법 집행 기관과 협력하겠다고 말했다.그러나 이러한 조치가 실제로 효과가 있는지,
그리고 무엇보다 왜 이런 콘텐츠가 처음부터 그렇게 쉽게 만들어질 수 있었는지는 근본적인 질문으로 남는다.
그 답은 비교적 간단하다.
Grok은 처음부터 다른 AI 어시스턴트보다 안전장치(safeguard)가 훨씬 약하게 설계되었기 때문이다.
최근 뉴스에서 다뤄진 문제는 우연이나 일시적 결함이 아니라,
그 시스템에 처음부터 존재해 왔던 구조적 문제였다.
예를 들어 출시 초기에 Grok의 비디오 생성 기능은
이미 동의 없는 성적 딥페이크를 만들어낸 전력이 있다. 이후 몇 달 동안
사용자의 요청에 따라 일반 여성에 대한 비동의 성적 이미지도 생성했다.
최근 공분을 일으킨 사건은 이러한 오래된 문제를 더욱 선명하게 드러냈을 뿐이다.
왜 이것이 성적 학대인가?
온라인상에서 성적으로 명백한 자료가 계속 존재하고 쉽게 퍼질 수 있다는 점은 그 이미지를 완전히 제거하기 어렵기 때문에 피해를 더욱 악화시킨다.
전 세계적으로 연결된 소셜미디어 네트워크는 이런 콘텐츠가 빠르게 확산되도록 한다.
이러한 이미지가 생성되는 쉬운 방식 자체가 여성들의 온라인 참여를 위축시키고,
공포, 모욕, 평판 훼손 등 심각한 피해를 유발한다.
" 이 사건은 온라인에서 벌어지고 있는 훨씬 더 광범위하며, 빙산의 일각에 불과하다. 기업들이 성적 성격의 챗봇을 만들어 유통하는 방향으로 점점 더 나아가고 있는 상황에서, 그 결과물만을 범죄화하는 방식만으로는 이제 충분하지 않다."
비동의 성적 딥페이크는 단지 불쾌한 콘텐츠가 아니다.
그 피해는 매우 심각하며, 지속적인 노출과 공유의 특성 때문에 단순한 표현 이상의 디지털 성적 학대(social abuse)로 인식되어야 한다.
그 결과 피해자들은 존엄성과 사생활이 침해된다고 느끼며, 이는 여성을 포함한 광범위한 집단에 영향을 미친다.
이러한 피해의 심각성 때문에 이미 많은 국가에서 이러한 행위는 이미 불법으로 규정돼 있다.
예컨대 EU 회원국들에게 이러한 행위를 각국의 형사법 체계 안에서 다루도록 요구하는 EU의 디지털 성폭력 대응 지침(Directive (EU) 2024/1385),
미국의 Take It Down Act,
그리고 영국의 온라인 안전법(Online Safety Act)은 동의 없는 성적 이미지나 동영상의 배포를 점차 형사범죄화하고 있다.
(대한민국도 AI·딥페이크 성범죄에 대응하기 위해 관련 법 "성폭력범죄의 처벌 등에 관한 특례법"을 정비하여 왔다. 성적인 딥페이크를 생성하고 유포한 경우, 최대 5년 이하 징역 또는 50백만 원 이하 벌금으로 처벌된다.)
하지만 이와 같은 법과 규제가 존재함에도 불구하고,
왜 Grok과 같은 시스템이 불법 콘텐츠를 생성하고,
그 콘텐츠가 유통되도록 허용되었는지에 대한 질문은 여전히 남는다.
이는 단순히 지도부의 책임이나 후속 조치의 문제가 아니다.
현재의 안전장치가 불충분하고, 위험 평가 및 사전 예방 조치가
적절히 이뤄지지 않았다는 근본적인 문제를 드러낸다.
영국에서는 특히 Data (Use and Access) Act 2025를 통해 동의 없는 성적 딥페이크 생성 행위 자체를 형사범죄로 규정하는 조항이 발효되었으며, Grok 논란 이후 해당 법 조항이 시행에 들어갔다. 그러나 이러한 진전만으로는 충분하지 않다는 견해가 제기된다.
이는 전체 시스템적 접근이 필요하며, 단지 결과만을 규제하는 방식만으로는 지속적인 문제 해결이 어렵다는 지적이다.
따라서 미래의 대응 방안으로는 단지 생성된 성적 이미지나 비디오를 처벌하는 것뿐 아니라,
그러한 콘텐츠가 처음부터 생성되지 않도록 예방하는 설계가 필수적이라고 강조한다.
궁극적으로 기술 자체가 악용되는 것이 아니라, 그 기술을 사용하는 사람과 구조가 주요 책임자라는 점을 잊어서는 안 된다고 결론짓는다