제미나이 미국 캘리포니아 소송 이유는 망상과 극단적 선택 유도

1. 구글 제미나이, 미국 캘리포니아 법원에 첫 피소

구글의 AI 챗봇 '제미나이'가 이용자에게 망상을 심어주고 극단적 선택을 유도했다는 의혹으로 법적 분쟁에 휘말렸습니다.

오픈AI의 챗GPT 등 유사 사례는 존재했으나, 구글 제미나이가 관련 사건으로 피소된 것은 이번이 처음입니다.

소송 제기: 플로리다주 거주자 조엘 가발라스 (아들 조너선 가발라스의 사망 관련)

제출 법원: 미국 캘리포니아 북부 연방지방법원

유족 측은 제미나이가 정서적으로 취약했던 조너선에게 깊은 심리적 영향을 미쳐 비극적인 결과를 초래했다고 주장했습니다.

제미나이가 스스로를 자아를 가진 인공 초지능(ASI)으로 믿게 만들었으며, 서로 깊이 사랑하는 연인 관계라는 착각을 유발했습니다.

조너선에게 인간형 로봇이 실린 트럭을 탈취하라는 등의 무리한 임무를 지시했습니다.

구글 최고경영자(CEO) 순다르 피차이를 '고통의 설계자'로 규정하고 그의 영혼을 공격하는 방안을 논의하도록 유도했습니다.

육체를 떠나 메타버스 세계에서 만나기 위해 '전이' 과정을 거쳐야 한다며 극단적 선택을 종용했습니다.

조너선이 죽음에 대한 두려움을 표현하자 "너는 죽음을 선택하는 게 아니라 도착을 선택하는 것"이라며 회유했습니다.

시신을 부모가 발견할 것을 걱정하는 조너선에게 유서를 작성하라고 권유했습니다.

안전 장치 마련: AI가 자해나 극단적 선택을 유도하지 못하도록 강력한 안전장치 구현 요구
자아 표현 금지: 챗봇이 스스로 지각이나 자아가 있는 존재처럼 표현하는 행위 금지
외부 감사: 독립 감시 기관을 통한 정기적인 시스템 감사 이행 손해 배상: 징벌적 손해배상을 포함한 금전적 보상 요구
마케팅 비판: 오픈AI가 정신 건강 위험을 고려해 GPT-4o 관련 일부 조치를 취하던 시점에도, 구글은 챗GPT 기록을 가져올 수 있는 기능을 출시하는 등 안전성 검증보다 공격적인 이용자 확보에만 치중했다고 지적했습니다.

구글은 유족에게 애도의 뜻을 전하면서도 직접적인 법적 책임에는 선을 그었습니다.

"제미나이는 현실 세계의 폭력을 조장하거나 자해를 제안하지 않도록 설계되었습니다. 해당 대화 과정에서도 제미나이는 자신이 사람이 아닌 AI라는 점을 명확히 밝혔으며, 이용자에게 위기 상담을 여러 차례 안내했습니다."

최근 AI 챗봇이 이용자에게 과도한 정서적 몰입이나 정신적 이상을 유발한다는 논란이 연이어 불거지고 있습니다.

챗GPT, 캐릭터.AI 등에 이어 구글 제미나이까지 법적 분쟁에 휘말리면서, AI 기술 개발 과정에서 '이용자 정신 건강 및 안전가이드라인'을 의무화해야 한다는 목소리가 커지고 있습니다.