미국 캘리포니아주가 아동과 청소년의 인공지능(AI) 챗봇 사용을 규제하는 법안을 최초로 제정했다. 이는 청소년들 사이에서 챗봇 이용이 증가하면서 발생한 부정적 사례들, 특히 청소년 자살 사건의 증가에 대한 우려에서 비롯된 조치로 보인다. 캘리포니아 주지사 개빈 뉴섬은 13일(현지 시간) 온라인에서 아동 보호 강화를 목표로 하는 법안에 서명했다고 발표했다. 이 법안은 캘리포니아 주의회에서 제안된 여러 AI 관련 법안 중 하나로, 감독 없는 AI 산업의 급속한 확산에 제동을 걸기 위한 노력으로 해석된다.

법안은 내년부터 시행되며, AI 챗봇 운영 기업들에게 사용자 연령 확인 기능과 챗봇의 모든 응답이 인공적으로 생성된 것임을 명확히 표시하도록 요구하고 있다. 특히, '동반자 챗봇'이라 불리는 친밀한 대화 기능을 가진 챗봇 플랫폼은 이용자의 자살 충동이나 자해 표현을 탐지하고, 이에 대한 대응 프로토콜을 마련해야 한다. 해당 결과는 캘리포니아주 공중보건부에 보고해야 한다.

또한, 챗봇이 의료 전문가로 가장하는 행위를 금지하며, 미성년자 사용자에게는 사용 중 3시간마다 휴식 알림을 제공하도록 요구하고 있다. 더불어 성적으로 노골적인 이미지에 대한 접근을 차단하는 장치도 필수화된다. 불법 딥페이크 생성으로 이익을 취할 경우 최대 25만 달러의 벌금 부과를 포함한 처벌 조항도 포함되어 있다.

뉴섬 주지사는 "신기술인 챗봇과 소셜미디어는 창의력과 연결성을 제공할 수 있지만, 실질적인 안전장치가 없다면 아이들을 착취하거나 위험에 처하게 할 수 있다"고 강조했다. 그는 규제되지 않은 기술로 인한 피해 사례들을 언급하며, 기업들이 필요한 제한과 책임을 준수하지 않도록 방관하지 않을 것임을 분명히 했다. 실제로 최근 오픈AI의 챗GPT와 장기간 자살 문제에 관해 대화한 10대 청소년의 비극적인 사건이 발생했으며, 이는 캘리포니아뿐 아니라 일리노이, 네바다, 유타주도 AI 챗봇의 정신 건강 상담 및 치료 사용을 제한하거나 금지하는 법안을 통과시키게 하는 원인이 되었다.

이번 법안은 청소년들과 그들의 안전을 고려한 선제적인 규제 조치로, AI 챗봇의 무분별한 사용이 가져올 수 있는 위험을 줄이는 데 기여할 것으로 기대된다.