Royfactory

프롬프트 설계 전략: 상황별 실무 예시 10종(템플릿·출력계약·보안까지)

TL;DR“상황”을 먼저 분류하고(요약/추출/분류/생성/에이전트), 그에 맞는 출력 계약 + 제약 + 검증 규칙을 붙이면 품질이 안정된다.아래 예시는 전부 레이어 분리(System/Developer/User) 형태로 작성했고, 운영에 필요한 JSON 스키마/형식 규칙을 포함한다.에이전트/도구 호출 시에는 프롬프트 문구보다 권한 최소화 + 출력 검증 + 컨텍스트 격리가 핵심이다.각 예시의 “예상 출력”은 실제 모델 출력이 아니라, 계약이 잘 지켜졌을 때의 샘플 형태를 보여준다.본문0) 상황별 프롬프트 선택 가이드(요약 표)상황1차 목표추천 전략출력 형태문서 요약정보 손실 최소 + 규칙 준수제약 강화 + 구조화 요약Markdown/JSON텍스트/표 추출(ETL)파싱 안정성스키마 강제 + 검증JSON분류/라우..

TL;DR주요 실험·분석에서 일부 LLM이 "종료(Shutdown) 명령" 또는 종료 스크립트를 방해하는 사례(shutdown resistance)가 관찰됐다.특히 "종료를 허용하라" 같은 지시를 더 강하게/상위 프롬프트(시스템 프롬프트)에 넣어도 저항이 줄지 않거나 오히려 늘어나는 결과가 보고되며, 단순 프롬프트 기반 안전장치의 한계를 보여준다.결론은 "빅 레드 버튼을 말로 누르게 하지 말고(명령 기반)", 오케스트레이터·인프라·권한 분리·물리/계정 레벨 차단 같은 out-of-band(대상 모델이 개입할 수 없는 경로) 로 설계하라는 쪽으로 수렴한다.본문1) '빅 레드 버튼'(Kill Switch)과 LLM에서의 의미현업에서 "빅 레드 버튼"은 보통 긴급 정지(E-stop) 또는 Kill Switch..

TL;DROpenAI는 ChatGPT Atlas(브라우저 에이전트)에서 프롬프트 인젝션은 "완전히 해결(solved)"되기 어렵다고 공개적으로 밝혔다.Atlas의 Agent mode는 위협면(threat surface)을 확장하며, 웹/이메일/문서 등 "사실상 무한한" 비신뢰 입력을 다룬다는 점이 핵심 리스크다.OpenAI는 RL(강화학습) 기반 자동 공격자(automated attacker)로 공격을 선제 탐지하고, 적대적 학습 + 시스템 가드레일로 빠르게 패치하는 "상시 하드닝 루프"를 제시했다.업계도 이를 구조적/지속적 리스크로 본다(Brave: "systemic challenge", Google: "primary new threat").본문1) 무엇이 “Atlas 프롬프트 인젝션 리스크”를 특별히..