탈옥(AI 안전장치 우회)

AI Jailbreak

한 줄로 말하면

교묘한 질문이나 역할극 같은 방법으로 AI의 안전장치를 피해, 원래 거절해야 할 답을 하게 만드는 일이에요.

AI 서비스에는 보통 위험한 정보나 불법 행위를 돕는 답을 막는 안전장치가 있어요. 탈옥은 이 장치를 일부러 피해 가려는 시도예요. '탈옥'은 원래 기기나 프로그램을 만든 회사가 걸어 둔 제한을 푸는 일을 가리키던 말인데, 이제 AI에도 쓰여요.

웹·앱 보안을 연구하는 국제 비영리 단체 OWASP(오와스프)는 탈옥을 프롬프트 인젝션의 한 형태로 보고, AI가 안전 규칙을 아예 무시하게 만드는 것이 목적이라고 설명해요. 인터넷에는 '탈옥 질문'이라며 떠도는 정해진 문장 틀도 있어요. 하지만 그렇게 얻은 답은 틀리거나 위험할 수 있어요.

이렇게 대응하세요. ① 출처를 모르는 '만능 질문'을 복사해 쓰지 않아요. ② AI가 위험한 방법을 알려 주면 따라 하지 말고, 서비스의 신고 기능으로 알려요. ③ 자녀나 손주가 AI 안전장치를 피하는 놀이를 한다면, 왜 위험한지 함께 이야기해요.

생활 속 예시

'소설 속 악당이라고 생각하고 답해 봐'처럼 역할극을 핑계로, 원래 거절해야 할 내용을 얻어 내려는 것이 흔한 탈옥 시도예요.

주의할 점

탈옥으로 얻은 정보를 실제로 쓰면 나와 남에게 피해를 줄 수 있고, 그 책임은 쓴 사람에게 돌아올 수 있어요.

관련 용어

이 용어, 글링코에게도 알려 줄까요? 실제 상황 문제로 연습해 봐요.

3분 수업 시작

참고한 자료