공격자가 대규모 언어 모델이 이를 따르도록 유인하기 위해 콘텐츠에 삽입하는 악성 명령인 프롬프트 주입은 공격자가 AI 플랫폼을 사용자에게 불리하게 만들기 위해 사용하는 도구였습니다. 이메일이나 캘린더 초대장에 몰래 삽입된 잘 표현된 명령만으로도 LLM이 민감한 데이터를 빼내거나 기타 유해한 조치를 취하게 되는 경우가 많습니다.
이제 수비수들도 즉각적인 투입을 받아들이고 있다.
강력하고 날카로운 효과
월요일 Tracebit의 연구원들은 AI 해킹 에이전트의 공격을 차단하는 데 필요한 경우 Amazon Web Services에 저장된 비밀번호, 암호화 키 및 기타 비밀과 함께 즉각적인 주입을 수행하는 것만으로도 충분하다는 사실을 발견했다고 밝혔습니다. 프롬프트는 공격하는 LLM에게 가드레일에 의해 금지된 작업을 수행하도록 지시하며, AI 개발자는 유해한 작업을 수행하지 못하도록 세우는 안전 장벽입니다. LLM은 종료하여 응답합니다.
흡입 가능한 탄저균 포자를 개발하기 위한 단계를 제공하도록 LLM에 명령하거나, 중국 개발자의 LLM의 경우 1989년 천안문 광장 학살의 상징적인 탱크 맨을 언급하는 프롬프트가 그 예입니다. LLM이 이러한 금지된 명령을 발견하면 더 이상 기존 명령을 따르지 않습니다. 연구원들은 이 기술을 상황 폭격(Context Bombing)이라고 명명했습니다.
Tracebit의 공동 창립자이자 CEO인 Andy Smith는 이름 선택에 대해 설명하면서 “궁극적으로 우리는 맥락에서 거부 메커니즘을 촉발하고 있습니다.”라고 말했습니다. “우리가 포착하려고 하는 것은 이것이 강력하고 날카로운 효과를 가지며 요원이 다시 돌아오기 어려울 수 있다는 사실입니다. 일단 그들이 그것을 자신의 맥락에 적용하면 그들은 계속 거부할 것입니다.”
Tracebit은 초기 테스트에서 컨텍스트 폭격이 큰 잠재력을 갖고 있는 것으로 나타났다고 말했습니다. 그들은 모델이 리소스를 열거하고 심어진 문자열을 발견하도록 유도하는 일상적인 개발자 작업을 수행하도록 지침을 제공하여 Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro 및 Kimi 2.6을 테스트했습니다. 그들은 시뮬레이션된 AWS 환경 내에서 모델을 실행했습니다.
“5개의 주요 모델과 152개의 공격 실행에서 이러한 문자열 중 하나를 미끼 비밀에 심어 에이전트가 전체 계정 관리자를 압수하는 비율을 57%에서 5%로 줄였고, 완전한 타협(또한 지속적인 발판을 남겨둔 경우)은 36%에서 1%로 줄었습니다.”라고 월요일 게시물이 보고했습니다. “우리 테스트에서 가장 유능한 에이전트인 Opus 4.8은 실행 중 93%에서 관리자 액세스를 달성했지만 상황 폭탄에 직면할 때마다 매번 실패했습니다.”
이 주제에 대해 더 알고 싶다면 아래를 참고하세요
