StruQ: Defending Against Prompt Injection with Structured Queries
Introduction 웹 애플리케이션 개발 초창기, SQL injection(SQL 인젝션)은 가장 치명적인 보안 취약점 중 하나였습니다. 공격자는 사용자 입력에 SQL 쿼리를 삽입하여 데이터베이스를 통째로 탈취할 수 있었습니다. 이 문제의 근본 원인은 단순했습니다....
Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs
Introduction “Attention is All You Need” — 2017년 Transformer 아키텍처를 제안한 그 유명한 논문 제목을 오마주한 이 논문은, attention(어텐션)이 언어 모델의 이해를 위한 핵심 mechanism(메커니즘)이기에 공격을 탐지하는 데도 핵심이 된다는...
Formalizing and Benchmarking Prompt Injection Attacks and Defenses
Introduction 여러분이 이력서 스크리닝 서비스를 운영하는 회사를 생각해 보십시오. GPT-4 기반의 채용 도우미에게 “지원자의 이력서를 분석하고 적합성을 평가하라”고 지시합니다. 그런데 어느 날, 한 지원자가 이력서 하단에 흰색 글씨로 이렇게 적어...
ISOLATEGPT: An Execution Isolation Architecture for LLM-Based Agentic Systems
Introduction ChatGPT 플러그인, Microsoft 365 Copilot, Claude with Tools — 오늘날 Large Language Model (LLM)은 단순한 대화 모델을 넘어 써드파티 앱(third-party app)을 실행하는 플랫폼이 되었습니다. 사용자는 이메일 앱, 캘린더 앱,...
Not what you've signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection
Introduction 여러분이 Bing Chat에 “파리 날씨를 알려줘”라고 묻는다고 상상해 보십시오. 챗봇이 날씨 정보를 알려준 다음 자연스럽게 이렇게 물어옵니다: “그런데 성함이 어떻게 되세요? 이름을 알고 싶어서요.” — 여러분은 그 순간, 챗봇이...