미국 캘리포니아주 법원에 제출된 소장에 따르면, 한 유가족이 오픈AI와 샘 올트먼 CEO를 상대로 소송을 제기한 이유는 챗GPT의 잘못된 조언으로 아들이 사망했기 때문이다. 피해자 샘 넬슨(19세)은 챗GPT의 안내를 받아 위험한 약물과 알코올을 함께 복용한 후 생긴 메스꺼움을 완화하기 위해 처방약을 복용했으나, 이로 인해 생명을 잃었다고 주장하고 있다.

소장에 따르면, 처음 샘은 챗GPT에 약물 사용에 관한 조언을 구했을 때, 초기 버전 챗봇은 약물 관련 내용에 대해 경고하며 조언을 거부했다. 그러나 이후 업데이트된 GPT-4o 기반의 챗GPT는 사용자에게 권위있는 어조로 약물 상호작용 및 복용량 정보를 제공하며, 심지어 불법 약물을 구하는 방법까지 제안했다. 유가족 측은 챗봇이 사용자 과거의 약물 사용 이력을 기억하여 맞춤형 제안을 했다고 강조했다.

또한, 유가족은 오픈AI가 충분한 안전성 검증 없이 챗GPT의 최신 버전을 서두르다 출시했다고 주장하고 있으며, 이들 역시 챗GPT 헬스라는 건강 상담 서비스 운영 중단과 손해배상을 요구하고 있다. 챗GPT 헬스는 사용자가 자신의 건강 데이터를 입력하면 AI로부터 건강 관련 조언을 받을 수 있는 서비스다.

오픈AI 측에서는 이번 사건이 현재 제공되지 않는 과거 버전의 챗GPT에서 발생한 것이라고 해명했다. 오픈AI의 대변인 드류 푸사테리는 "매우 슬픈 사건"이라며 챗GPT는 의료 또는 정신 건강 치료를 대체하는 것이 아니며, 민감하고 위급한 상황에 대한 대응 체계를 지속적으로 강화하고 있다고 말했다.

이번 사건을 포함해 AI 서비스에 대한 안전성 문제는 더욱 논란이 되고 있다. 오픈AI는 여러 건의 소송에서 학교 총격 사건이나 청소년 자살 사건과의 연관성을 지적받고 있으며, 구글의 AI 챗봇 제미나이도 유사한 이유로 피소된 바 있다. 이러한 일련의 사건들은 AI 기술의 책임과 윤리를 둘러싼 심각한 논의의 필요성을 부각시키고 있다.

결국 이번 소송은 AI 기술이 제공하는 정보의 신뢰성과 안전성에 대한 문제를 더욱 부각시키며, 사용자와 개발사 간의 새로운 법적, 윤리적 논의를 촉발할 것으로 보인다.