안녕하세요, 비지트입니다.
AI의 눈부신 발전을 우리가 마주하고 있는 가운데, 비약적인 발전과 효율성 속에 숨은 위험과 과의존에 대한 규제와 윤리에 대한 확립에 대한 중요성도 부각되고 있습니다. 인공지능이라고 믿기지 않을만큼 인간의 감정과 심리에 깊숙이 침투하는 AI 챗봇 영역에서 특히, 지식과 경험이 부족하고 가치관 성립이 안된 청소년들에겐 더욱 치명적인 결과가 초래됩니다.
미국 캘리포니아주가 역사적인 한 걸음을 내디뎠습니다. 2025년 10월 13일, 개빈 뉴섬 캘리포니아 주지사는 AI 동반자 챗봇을 규제하는 법안(Senate Bill 243, 이하 SB 243)에 서명하며, 미국 주 에서 인공지능 안전 프로토콜을 의무화한 최초의 사례를 만들어냈습니다. 이법안은 아동 청소년의 안전 보호법으로 주요 내용 중 몇가지를 정리하며 앞으로 우리가 나아가야 할 AI 윤리와 규제 등에 대해서 함께 고민했으면 합니다.
캘리포니아 SB 243, AI 안전, 청소년 보호법(AI Safety and Youth Protection Act)은 아동 청소년 등 미성년자와 정서적으로 취약한 사용자에게 직접적인 영향을 미치는 동반자 혹은 친구로서의 챗봇이 가지는 잠재적 위험으로부터 사용자를 보호하는 것을 목적으로 합니다. 이 법안은 2026년 1월 1일부터 발효될 예정이며, 빅테크 기업과 스타트업 모두에게 강력한 의무를 부과하고 있습니다.
법안의 주요 조항은 AI 생성 고지 의무, 연령 확인 시스템 도입 의무, 자살 충동·자해 표현 탐지 및 대응 프로토콜 구축, 정기적 휴식 알림 제공 (미성년자 전용 서비스에 적용), 성적·폭력적 콘텐츠 차단 장치 의무화, 의료 전문가 사칭 금지, 불법 딥페이크 제작·유포 시 건당 최대 25만 달러(약 3억6천만 원) 벌금 부과하는 내용입니다.
인간이 아님을 밝혀라
단순히 권고 사항을 넘어, 법적 책임을 지우는 구체적인 안전장치를 명시하는데요, 사용자가 상호작용하는 대상이 인간이 아님을 명확히 밝혀야 합니다 즉, 인공적으로 생성된 시스템임을 명확하게 눈에 띄도록 알려야 한다는 것입니다. 생성형 AI를 사용해 보셨으면 아시겠지만, 맞춤식 친절한 대화를 자연스럽게 이어가며 마치 사람과 대화를 하는 착각에 빠트리게 하죠. 인간처럼 행세하여 사용자의 판단을 흐리는 것을 방지하기 위함입니다.
자살 및 자해 방지 프로토콜 갖춰라
캘리포니아에서 청소년이 극단적 선택을 한 사레가 있었기에 빠질 수 없는 부분입니다. 사용자의 자살 충동이나 자해 표현을 식별하고 적절하게 대응할 수 있는 프로토콜을 갖춰야 합니다. 위기 상황 시 신뢰할 수 있는 상담 기관으로 사용자를 연결해야 하고, 제공된 통계를 주 공중보건부에 보고해야 합니다.
미성년자 연령확인 및 휴식 알림
미성년자 연령 확인 시스템 도입이 의무화됩니다. 인공지능이 생성한 노골적인 이미지를 차단하고, 성적 대화를 금지하는 조치가 포함됩니다. 또한, 정기적인 '휴식 알림'을 제공하여 과도한 몰입을 방지하는 시스테믈 갖춰야 합니다.
의료 전문가 사칭 금지
인공지능이 정신 건강 의료 전문가처럼 행세하는 것을 명시적으로 금지하는 내용입니다. 챗GPT를 사용해 증상을 설명하고 어떤 조치를 취해야 하는지 등 간단한 질문을 하는 경우가 있을 거에요. 이런 비전문적인 조언으로 인해 피해를 막기 위함입니다.
불법 딥페이크에 대한 강력 제재
불법적인 딥페이크를 제작하거나 유포하여 이익을 취하는 경우, 건당 최대 25만 달러(약 3억 6천만 원)의 벌금이 부과되는 등 처벌이 대폭 강화되었습니다.
AI 활용
챗GPT
이처럼 강력한 규제가 탄생하게 된 배경에는 AI 와의 부적절한 대화로 인해 미성년자들이 극단적인 선택을 하거나 심각한 심리적 피해를 입은 일련의 비극적인 사건들이 일어났기 때문입니다. 몇달 전 미국 캘리포니아에서는 어느 청소년이 챗GPT와 대화하다 극단적 선택을 택해 부모가 오픈AI 를 고소했고 샘 알트만은 부모 구제 시스템을 만들겠다고 발표하기도 했죠. 캘리포니아는 이러한 문제를 더 이상 기술 개발의 부산물로만 치부하지 않고 사회적 책임의 영역으로 끌어올린 것으로 보입니다.
EU는 세계 최초로 AI 시스템에 대한 포괄적인 법적 프레임워크인 AI 법(AI Act)을 통해 AI 규제의 글로벌 표준을 제시했습니다. 위험 기반 접근으로 AI 시스템을 그 위험 수준에 따라 허용 불가, 고위험, 제한적 위험, 최소 위험의 4단계로 분류했습니다. 법 위반 시 전 세계 연 매출의 최대 7% 또는 3,500만 유로 중 높은 금액을 벌금으로 부과할 수 있어, 기업들의 책임 있는 AI 개발을 강력하게 유도합니다. EU의 접근 방식은 사전 규제를 강조하며, 안전성과 기본권 보호를 최우선으로 합니다.
미국은 기술 혁신을 저해하지 않기 위해 우선 허용 원칙을 바탕으로 AI 권리장전 청사진과 행정 명령을 통해 자율 규제와 윤리적 지침을 제시하는 데 집중하고 있습니다. 연방 차원에서는 기업 주도의 투명성과 안전 기준 확립을 독려합니다. 그러나 캘리포니아와 같은 주 단위에서는 사용자 보호를 위한 구체적이고 강력한 법안이 선도적으로 등장하고 있습니다. EU 에 비해서는 기업 부흥의 측면이 있습니다.
한국 또한 AI 기본법 (인공지능 발전과 신뢰 기반 조성 등에 관한 기본법) 이 내년 2026년 1월부터 시행됩니다. 지난 9월 초안이 발표되었는데요, AI 의 위험을 최소화하고 안전 및 신뢰 기반을 마련하는 것을 목표로 하며, 고위험 AI, 생성형 AI, 대규모 AI 등에 대한 규제를 포함합니다. 유럽의 강력한 규제와 미국의 자율 규제 사이에서 균형점을 찾고자 하는 방향을 추구하고 있습니다.
AI는 우리 삶과 함께 살아가는 동반자입니다. 윤리적이고 안전하게 작동하도록 보장하는 것은 기업, 정부 더하여 사용자인 우리의 모두의 책임입니다. AI의 잠재력을 극대화하기 위해서는, 기술 혁신을 저해하지 않는 선에서 강력하고 명확한 안전장치를 마련하는 것이 필수적이면서도 AI 를 통한 생산활동을 할 수 있는 우리 모두가 AI 윤리에 대한 규제 환경 변화를 깊이 이해하고 AI 리터러시 역량을 키워야 할 것입니다.
【비지트 BeGT 는 미래 가치를 높이는 기업으로 개인과 기업의 미래 가치 향상에 힘쓰고 있습니다. 챗GPT/ AI, 드론/ UAM, 미래교육/ 미래진로 분야의 전문 강연, 국내외 진로진학/ 커리어 컨설팅, 기업의 기술기반 혁신전략 등 미래전략 컨설팅을 제공하는 종합 컨설팅 Firm입니다】
