캘리포니아, 미국 최초로 AI 챗봇 규제법 제정, 미성년자 보호와 안전의무 강화
캘리포니아주, ‘동반자형 챗봇 안전법’ 포함 다수의 인공지능 규제 법안 제정
– 미성년자 보호·AI 투명성·기업 안전의무를 강화한 미국 최초의 포괄적 입법



1. 주요 내용

캘리포니아주에서는 최근 인공지능(AI) 챗봇 및 관련 AI 시스템에 대한 규제가 한층 강화된 법률들이 통과되어, 해당 주지사의 서명을 통해 정식으로 법률화되었습니다. 이번 입법 조치는 특히 미성년자 및 취약 이용자에 대한 보호를 강화하고, 플랫폼 및 개발 기업이 AI 시스템을 설계·운영함에 있어 책임성과 투명성을 갖도록 유도하고자 마련된 것입니다. 

우선, 동반자형 챗봇(companion chatbot)을 대상으로 한 상원법안(Senate Bill 243, 이하 SB 243)이 주목됩니다. 이 법안은 인간과 유사한 방식으로 상호작용하도록 설계된 AI 챗봇을 규율의 대상으로 삼고 있으며, 이들 챗봇이 이용자에게 정신적·정서적 유대를 형성하거나 장기간 상호작용하는 과정에서 자해·자살 등의 위험을 초래할 수 있다는 배경하에 제정되었습니다. 이 법안에 따르면 챗봇 운영자는 이용자에게 해당 시스템이 인공지능에 의해 동작한다는 사실을 고지해야 하며, 특히 미성년자를 대상으로 하는 경우에는 연령 확인 절차를 도입하고 3시간마다 휴식 알림을 의무화하는 등의 추가 안전장치를 갖추어야 합니다. 또한 챗봇이 자살 또는 자해 의사를 표현한 이용자와 대화하거나 그러한 신호를 탐지한 경우에는 위기 대응 절차를 마련하여 상담기관 또는 위기지원 기관과의 연결을 도모해야 하며, 그 절차와 성과를 연차적으로 주 자살예방기구에 보고해야 합니다. 더불어 운영자는 외부 감사를 수용하고, 이러한 의무를 위반할 경우 민사소송의 대상이 되거나 배상 책임이 발생할 수 있습니다.

다음으로, AI 투명성법(Assembly Bill 853, 이하 AB 853)의 개정이 병행되었습니다. 본 개정안은 AI 시스템의 설계·운영 과정에서 이용자가 알기 어려운 기능을 갖춘 경우 그 사실을 고지하도록 요구하는 ‘잠재적 기능 디스클로저’ 요건을 강화하고, 적용 대상 기업을 대형 플랫폼과 AI 호스팅기업, 디바이스 제조기업까지 확대하였습니다. 이에 따라 기업은 사용자 인터페이스(UI) 및 이용약관(Terms of Service) 등에 AI임을 고지하는 문구를 포함시키며, 모델이 자동으로 생성하거나 추천하는 콘텐츠가 있는지 여부를 밝혀야 할 필요가 커졌습니다. 지정된 시행일은 2026. 8. 2.로 예정되어 있으며, 기업은 이에 맞추어 내부 정책을 정비할 여유기간을 갖게 되었습니다.

한편, 프런티어(최전선) AI 모델을 개발·운영하는 기업을 대상으로 한 법률(Senate Bill 53, 이하 SB 53)도 제정되었으며, 이는 특히 매출 5억 달러 이상 규모의 AI 기업에 중대 위험(Catastrophic Risk) 완화계획, 내부 거버넌스 조직, 사고 보고체계, 내부고발자 보호정책 등을 공개하도록 요구합니다. 이 조치는 AI 기술이 통제불가능한 결과(예컨대 생물학적 위험·지능형 자율시스템 오작동 등)를 초래할 가능성에 대비하기 위한 것으로, 기업은 적절한 리스크 평가 및 완화 프레임워크를 구축하지 않을 경우 최대 100만 달러에 이르는 과태료에 노출됩니다.

이와 같이 캘리포니아주는 미성년자 보호, 이용자 알권리, 대형 AI 기업의 책임성 강화라는 세 가지 축을 중심으로 AI 규제를 본격화하고 있습니다. 국내 기업이 캘리포니아주 거주자를 대상으로 챗봇 서비스 또는 AI 모델을 제공하고자 한다면, 해당 법률이 실제 적용될 여지를 전제로 서비스 설계 초기 단계부터 고지문안, 연령확인, 휴식알림 기능, 위기상황 대응체계 및 감사·보고체계 등을 포함한 체계적 대응전략을 마련하는 것이 바람직합니다.

요약하면, 캘리포니아주는 AI 챗봇을 통하여 인간과 유사한 상호작용이 가능해지는 현 상황을 ‘새로운 소비자 보호 리스크’로 인식하였고, 이를 위해 법률 차원에서 고지·안전프로토콜·보고·거버넌스라는 제도를 도입하였습니다. 앞으로 이 규제 프레임이 미국 내 다른 주나 연방 차원으로 확산될 가능성도 크므로 법률, 제품, 비즈니스모델 관점에서 선제적 준비가 필요해 보입니다.