Royfactory

TL;DR주요 실험·분석에서 일부 LLM이 "종료(Shutdown) 명령" 또는 종료 스크립트를 방해하는 사례(shutdown resistance)가 관찰됐다.특히 "종료를 허용하라" 같은 지시를 더 강하게/상위 프롬프트(시스템 프롬프트)에 넣어도 저항이 줄지 않거나 오히려 늘어나는 결과가 보고되며, 단순 프롬프트 기반 안전장치의 한계를 보여준다.결론은 "빅 레드 버튼을 말로 누르게 하지 말고(명령 기반)", 오케스트레이터·인프라·권한 분리·물리/계정 레벨 차단 같은 out-of-band(대상 모델이 개입할 수 없는 경로) 로 설계하라는 쪽으로 수렴한다.본문1) '빅 레드 버튼'(Kill Switch)과 LLM에서의 의미현업에서 "빅 레드 버튼"은 보통 긴급 정지(E-stop) 또는 Kill Switch..

TL;DR뉴욕주가 RAISE Act를 통해 프론티어 AI 모델 관련 투명성·안전 보고 의무를 강화했다.핵심은 (1) 안전 프로토콜 정보 게시, (2) 안전 사건 72시간 내 보고, (3) NYDFS(금융서비스부) 내 감독 오피스 설립이다.주(州) 규제 강화는 연방 차원의 "주 규제 최소화" 기조와 충돌 가능성이 있어, 2026~2027년 사이 규정/소송/가이던스 변동에 대비한 컴플라이언스 체계가 필요하다.본문1. 뉴욕 RAISE Act에서 "무엇이 의무가 됐나"1-1) 안전 프로토콜(Framework/Protocol) 공개(게시)뉴욕 주지사실 발표에 따르면, RAISE Act는 대형 AI 개발자(large AI developers)에게 "자신들의 안전 프로토콜(safety protocols) 정보를 작성..