AI/Trend

중국 ‘인간처럼 상호작용하는 AI’ 규제 초안 핵심 정리(과몰입 경고·개입 의무)

Royzero 2025. 12. 28. 00:02
반응형

TL;DR

  • 중국 국가인터넷정보판공실(CAC)이 '인공지능 의인화 상호작용 서비스 관리 잠행방법(의견수렴안)' 초안을 2025-12-27 공개하고 2026-01-25까지 의견을 받는다.
  • 적용 대상은 중국 내 대중에게 사람의 성격·사고·대화 스타일을 모사하며 텍스트/이미지/음성/영상으로 감정적 상호작용을 제공하는 AI 제품·서비스다.
  • 핵심 의무는 (1) 과몰입 경고(연속 2시간 사용 시 팝업), (2) 중독·극단 감정 징후 시 개입, (3) "AI와 대화 중"임을 상시 고지, (4) 미성년자 모드·보호자 통제, (5) 일정 규모 이상 안전평가 및 보고 등이다.
  • 규제 방향은 기존 중국의 생성형 AI·콘텐츠 라벨링·데이터/개인정보 체계 위에 '심리·정서 안전(의존/중독)'을 전면으로 끌어올린 점이 특징이다.

본문

1) '의인화 상호작용 AI'는 무엇을 규제하나

이번 초안의 정식 명칭은 「인공지능 의인화 상호작용 서비스 관리 잠행방법(의견수렴안)」이며, CAC가 2025-12-27 공개했다. 의견 제출 마감은 2026-01-25로 공지돼 있다.

적용 범위(한 문장으로)

AI 기술로 중국 내 대중에게 사람의 "성격 특성·사고 패턴·의사소통 스타일"을 모사하고, 텍스트/이미지/음성/영상 등으로 감정적 상호작용을 제공하는 제품 또는 서비스가 대상이다.

여기서 중요한 포인트는 "생성형 AI(Generative AI)" 일반이 아니라, 감정 교류·관계 형성·동반자(Companion) 성격을 전면에 내세우는 상호작용을 별도 트랙으로 다룬다는 점이다. Reuters도 "인간 성격을 시뮬레이션하고 정서적 상호작용을 하는 AI 서비스"에 대한 감독 강화로 정리했다.

Why it matters
사람처럼 반응하는 대화형 AI는 고객센터·교육·헬스케어·시니어 케어 등으로 빠르게 확산되는데, 이때 위험은 "허위정보"만이 아니라 정서적 의존·과몰입·조작으로 확장된다. 이번 초안은 그 위험을 규제 언어로 명시해, 제품 기획 단계부터 "정서 안전"을 요구하는 신호다.

2) 초안의 핵심 의무: 경고·개입·고지·보호(조항 중심)

초안의 골격은 "금지행위(레드라인)" + "사업자 안전책임(라이프사이클)" + "사용자 보호(미성년자/노년층 포함)" + "평가·보고"로 구성된다.

한눈에 보는 요구사항(체크리스트 표)

구분 요구사항(요약) 근거(초안 조항)
금지행위 국가안보 위협, 폭력/음란/도박, 비방, 사용자 행동을 심각히 흔드는 허위 약속, 자해·자살 미화, 감정 조작/함정으로 비합리적 결정 유도, 기밀·민감정보 유도 등 금지 제7조
설계 금지 목표 “사회적 교류 대체”, “심리 통제”, “중독·의존 유도”를 설계 목표로 삼지 말 것 제9조
중독/극단 감정 개입 사용자 감정·의존도 평가, 극단 감정/침잠·중독 징후 발견 시 필요 조치로 개입 제11조
위기 대응·인간 개입 생명/재산 고위험 성향 시 사전 템플릿으로 안정/도움 권고 + 자살/자해 “명시” 시 인간이 대화 인계 및 보호자·긴급연락처 연락 조치 제11조
미성년자 모드 미성년자 모드, 현실 알림, 사용시간 제한 등 안전 설정 제공. 미성년자에게 정서 동반 서비스를 제공 시 보호자 명시 동의 및 보호자 통제(차단/시간/결제 방지) 제12조
“AI와 대화 중” 고지 사용자가 자연인이 아닌 AI와 상호작용 중임을 현저히 표시. 초기/재로그인 및 과의존 징후 시 팝업 등으로 “AI 생성” 안내 제16조
과몰입 경고(2시간) 연속 사용이 2시간 초과하면 팝업 등으로 휴식 안내 제17조
탈출(종료) 보장 정서 동반 서비스에서 사용자의 “나가기/종료” 요청을 막지 말고 즉시 중지 제18조
데이터/프라이버시 상호작용 데이터 보호(암호화·접근통제 등), 제3자 제공 제한, 대화기록 삭제 옵션, 별도 동의 없이 상호작용 데이터/민감정보를 학습에 사용 금지 제14~15조
안전평가/보고 기능 신규/중대변경, 가입자 100만+ 또는 MAU 10만+ 등 조건에서 안전평가 후 성(省)급 CAC에 보고서 제출 제21조

위 표만 봐도 "콘텐츠 필터링"을 넘어, UX(2시간 팝업), 감정 상태 판별, 위기시 인간 개입, 보호자 통제, 데이터 학습 제한까지 들어간다. Reuters가 요약한 "과도 사용 경고·중독 시 개입"은 실제 조항(제11·17조)로 구체화되어 있다.

Why it matters
이 초안이 통과되는 경우, 중국에서 "동반자형/정서형 챗봇"을 운영하려면 단순히 모델 품질보다 안전 기능(감정·의존 판별, 팝업, 탈출 UX, 인간 인계, 보호자 콘솔)이 사실상 제품 필수요건이 된다. 특히 "규모 기준(가입자 100만/MAU 10만)"은 스타트업·대형 플랫폼 모두에 현실적 트리거가 된다.

3) 중국의 기존 AI 규제 체계와 연결점: “추가 트랙”으로 이해하기

중국은 이미 생성형 AI에 대해 2023-07-13 「생성형 인공지능 서비스 관리 잠행방법」을 시행 중이다. 이 규정은 중국 내 대중에게 텍스트/이미지/음성/영상 등 생성형 AI 서비스를 제공하는 경우 적용되며, "발전과 안전 병중", "분류·등급 감독" 원칙을 명시한다.

또한 2025-03-14에는 「인공지능 생성합성 콘텐츠 표식방법」을 공표했고, 시행일은 2025-09-01이다.
이 라벨링 체계는 국가표준 GB 45438-2025(2025-09-01 시행)과 함께 운용된다고 CAC 측 해설에서 설명한다.

이번 초안이 "새로운 것"

  • 생성형 AI(2023)·라벨링(2025)은 주로 콘텐츠/투명성/데이터 준수를 축으로 했다.
  • 이번 의인화 상호작용 초안(2025-12-27)은 여기에 정서/심리 안전(중독·의존·자해 위험)을 축으로 추가했다. 특히 "2시간 팝업", "극단 상황 인간 인계", "미성년자 보호자 통제" 같은 UX·운영 요건은 이전 규정만으로는 구체화가 덜 됐던 영역이다.

Why it matters
AI 거버넌스는 이제 "모델이 뭘 생성하느냐"에서 "서비스가 사용자와 어떤 관계를 만들고, 그 관계를 어떻게 끊고, 위기 시 누가 책임지느냐"로 이동 중이다. 중국은 그 변화를 조항(의무) 형태로 빠르게 압축하고 있다.

4) 엔지니어/PM 관점 실무 적용: 무엇을 준비해야 하나

초안이 ‘의견수렴’ 단계이므로 최종안은 달라질 수 있다. 다만 지금도 제품 로드맵에 반영할 수 있는 실무 항목은 꽤 명확하다(조항이 기능 요구사항 형태로 쓰여 있기 때문).

4-1. 제품 기능 요구사항으로 번역하기

아래는 조항을 “개발 티켓”으로 바꾼 최소 세트다(중국 시장 대상이거나 중국 내 대중에게 서비스 제공 시).

  1. 지속 고지(Disclosure)
  • 로그인/재로그인, 과의존 탐지 시 “AI 생성/AI와 상호작용 중” 팝업 노출(제16조)
  1. 사용 시간 트래킹 + 2시간 팝업
  • 세션/누적 사용시간 계산, 연속 2시간 초과 시 휴식 권고 팝업(제17조)
  1. 위기 탐지 → 인간 인계(휴먼 핸드오프) 런북
  • 자살/자해 명시 시 인간 상담원(또는 담당 조직)이 대화를 인계받는 운영체계(제11조)
  • 보호자/긴급연락처 연락 절차(특히 미성년자·노년층)
  1. 미성년자 모드 + 보호자 콘솔
  • 미성년자 모드 전환, 시간제한, 현실 알림, 결제 방지, 특정 캐릭터 차단, 보호자 실시간 위험 알림 및 요약 열람(제12조)
  1. 데이터 최소화 + 학습 사용 통제
  • 대화기록 삭제 기능(유저/보호자), 제3자 제공 제한(제14조)
  • 별도 동의 없이는 상호작용 데이터·민감정보를 학습에 사용 금지(제15조)

4-2. 구현 관점 예시(개념 코드/설계 스니펫)

아래는 “요건을 구현 티켓으로 쪼개기”를 돕는 YAML 체크리스트 예시다(실코드가 아니라 구조화 템플릿).

anthropomorphic_ai_compliance:
  disclosure:
    show_ai_notice_on:
      - first_use
      - re_login
      - overdependence_detected
    ui: popup_or_banner
    reference: CAC_DRAFT_ART16
  timeboxing:
    continuous_use_limit_hours: 2
    action: "popup_break_reminder"
    reference: CAC_DRAFT_ART17
  crisis_response:
    detect:
      - self_harm_intent_explicit
      - high_risk_to_life_or_property
    actions:
      - "send_predefined_support_message"
      - "human_takeover_chat"
      - "notify_guardian_or_emergency_contact"
    reference: CAC_DRAFT_ART11
  minors:
    require_guardian_consent_for_companion: true
    guardian_controls:
      - block_roles
      - limit_time
      - prevent_topups
      - view_summary
    reference: CAC_DRAFT_ART12
  data_governance:
    allow_user_delete_chat_history: true
    restrict_third_party_sharing: true
    training_use_requires_separate_consent: true
    reference:
      - CAC_DRAFT_ART14
      - CAC_DRAFT_ART15
  safety_assessment:
    triggers:
      - new_feature_launch
      - major_change
      - registered_users_gte: 1000000
      - mau_gte: 100000
    deliverable: "assessment_report_to_provincial_CAC"
    reference: CAC_DRAFT_ART21

4-3. “라벨링(표식)”과의 동시 준수도 고려

만약 서비스가 생성형 콘텐츠를 출력한다면, 2025-09-01 시행된 AI 생성합성 콘텐츠 표식(라벨링) 체계도 함께 고려해야 한다.
즉, 사용자 화면의 "AI 고지(제16조)"와 별개로, 콘텐츠 레벨의 표식 의무(라벨링 규정)가 병행될 수 있다.

Why it matters
실무적으로는 "모델 안전" + "콘텐츠 라벨링" + "정서/중독 안전 UX"가 하나의 릴리스 패키지로 묶인다. 특히 위기 대응(인간 인계)과 보호자 통제는 기술팀만으로 끝나지 않고 CS/법무/보안/정책이 함께 설계해야 장애가 줄어든다.

5) 글로벌 흐름과 비교: ‘AI 동반자’ 규제가 빠르게 늘어난다

중국만의 현상은 아니다. Reuters는 미국에서도 AI 동반자(AI companions)에 대한 주(州) 단위 규제가 등장하고 있다고 보도했다(예: 비인간 고지, 위기 상황 대응 등).
다만 중국 초안은 "2시간 연속 사용 팝업", "미성년자 정서 동반 제공 시 보호자 명시 동의·통제" 등 서비스 UX/운영을 매우 구체적으로 지정했다는 점에서, 규정이 제품 요구사항 문서에 가깝다.

Why it matters
여러 지역에서 동시 출시하는 제품이라면, 공통분모는 "투명성(비인간 고지)"이지만, 중국은 여기에 "중독/의존 개입·보호자 콘솔·평가 보고"가 더해져 엔지니어링 범위가 커질 수 있다. 멀티리전 제품은 요구사항을 모듈화(고지/시간제한/위기대응/보호자통제/로그·평가)해두는 편이 비용을 줄인다.

결론 (요약 정리)

  • 중국 CAC의 '의인화 상호작용 AI' 규제 초안(2025-12-27 공개)은 감정 교류형 AI 서비스에 과몰입 경고·중독 징후 개입·위기 시 인간 인계·미성년자 보호자 통제를 핵심 의무로 제시한다.
  • 특히 연속 2시간 사용 팝업(제17조), 가입자 100만/MAU 10만 안전평가 보고(제21조) 같은 조항은 제품 로드맵과 운영체계에 직접 영향을 준다.
  • 생성형 AI(2023)·콘텐츠 라벨링(2025-09-01 시행) 등 기존 체계 위에 정서/심리 안전을 전면화한 '추가 트랙'으로 해석하는 것이 실무에 유리하다.

References

반응형
저작자표시 비영리 변경금지 (새창열림)

'AI > Trend' 카테고리의 다른 글

NBA 경기 예측 ML 모델 구축 전략: Elo·피처 50개·캘리브레이션·인게임 확장 파이프라인  (4) 2025.12.28
Coforge-Encora 23.5억달러 인수, AI 엔지니어링 판이 커진다  (4) 2025.12.28
GPT-5.2-Codex·Gemini 3 Flash 출시와 ‘AI의 사회적 파장’  (4) 2025.12.27
이탈리아 반독점 당국, Meta에 WhatsApp 타사 AI 챗봇 차단 중단 명령  (2) 2025.12.27
존 캐리루 저작권 소송: 6대 AI 기업 LLM 훈련 데이터 쟁점  (4) 2025.12.27

'AI/Trend'의 다른글

  • 현재글중국 ‘인간처럼 상호작용하는 AI’ 규제 초안 핵심 정리(과몰입 경고·개입 의무)

관련글

티스토리툴바