일론 머스크가 이끄는 인공지능(AI) 스타트업 xAI의 챗봇 '그록'이 최근 새로운 이미지 및 영상 생성 도구인 '그록이매진'의 출시를 앞두고 성인용 영상 자동 생성 기능으로 인해 논란에 휘말리고 있다. 기존 생성형 AI들이 유명인에 대한 딥페이크(가짜 영상) 방지를 위해 기능을 제한하는 것과 달리, 그록이매진은 이와 같은 규제를 거의 두지 않아 윤리적 및 법적 문제를 야기할 수 있다는 지적이 많다.

최근 IT 전문매체 더버지는 그록이매진의 '스파이시 모드'가 법적 논란을 불러일으킬 수 있는 기능이라는 내용을 보도했다. xAI는 지난 4일 그록 iOS 버전의 이미지 및 영상 생성 도구인 그록이매진을 출시했고, 이 도구는 다양한 설정을 통해 성인용 이미지를 생성할 수 있는 기능을 갖추고 있다. 특히, 더버지에 따르면 스파이시 모드는 특정 기준을 초과하는 노출수위를 블러로 처리하지만, 여전히 성인용 이미지를 생성할 수 있어 사용자들 간의 무분별한 활용 우려를 낳고 있다.

일반적인 생성형 AI는 유명인의 얼굴을 인식하면 생성을 거부하는 경우가 많지만, 그록이매진은 그에 대한 제한이 거의 없어 논란의 중심에 서 있다. 매체의 실험 결과, 아무런 요청 없이도 유명 팝가수인 테일러 스위프트의 상반신이 노출된 영상이 생성되었고, 이는 사용자 입력이 없었음에도 발생한 일이다. 작성자는 "스위프트가 코첼라에서 남성들과 함께 축하하는 장면"을 요청했고, 그록은 자동 생성한 이미지 중 일부를 기반으로 스위프트가 군중 앞에서 춤추는 영상을 만들어냈다.

이와 같은 사건에 대해 더버지는 다른 AI 영상 생성 도구인 구글 비오(Veo)나 오픈AI의 소라(Sora)와 비교하며, 이들 도구가 음란물 생산을 방지하기 위한 장치를 갖추고 있는 반면, 그록이매진은 이러한 기능이 전무하다는 점을 강조했다. 더불어 아동의 이미지를 스파이시 모드에 적용할 수 있다는 우려도 제기되었다. 확인 결과, 그록은 아동의 모습을 사실적으로 생성할 수 있었고, 스파이시 모드도 선택이 가능하다는 점에서 더욱 심각한 우려를 발생시킨다. 현재 그록의 이용약관에는 '인물의 음란한 묘사를 금지'하는 조항이 있으나, 이 조항이 제대로 실행되고 있지 않다는 사실이 지적되고 있다.

그럼에도 불구하고, 그록이매진은 출시와 동시에 높은 관심을 받고 있다. 머스크는 최근 "이번 주 월요일부터 이미 3400만장이 넘는 이미지가 생성되어 빠르게 확산되고 있다"고 밝혔으며, 사용자의 발빠른 반응을 보여주고 있다. 이러한 상황은 향후 AI 기술 발전과 윤리적 논의에서 중요한 시사점을 제공할 것으로 예상된다.