컨텍스트 윈도우란? — AI가 앞 대화를 잊는 진짜 이유

AI와 한참 대화하다 보면 어느 순간 이상해집니다. 처음에 "존댓말로 써줘"라고 했는데 반말로 나오고, 정해둔 형식을 무시합니다. AI가 갑자기 멍청해진 걸까요. 아닙니다. 책상이 꽉 찬 것입니다.

3초 요약
· 컨텍스트 윈도우 = AI의 책상. 여기 올라간 것만 읽을 수 있습니다
· 꽉 차면 가장 오래된 것부터 밀려 떨어집니다 — 그래서 첫 지시가 제일 먼저 사라집니다
· 크기는 토큰으로 잽니다. 수만에서 100만 토큰 이상까지 서비스마다 다릅니다
· 책상이 크다고 잘 읽는 건 아닙니다 — 중간에 묻힌 정보는 놓칩니다
· 무료 등급은 유료보다 책상이 작은 경우가 많습니다

책상 비유 하나면 끝납니다

AI에게는 작업용 책상이 하나 있습니다. 당신이 나눈 대화, 붙여넣은 문서, 처음에 준 지시사항 — 전부 물리적으로 그 책상 위에 올라가야 AI가 볼 수 있습니다.

책상에서 미끄러져 떨어진 종이는 AI에게 존재하지 않습니다. 여기가 핵심입니다.

AI는 사람처럼 "잊는" 게 아닙니다
사람은 기억했다가 희미해집니다. AI는 다릅니다. 책상에 없는 건 애초에 읽을 수가 없습니다. 기억력의 문제가 아니라 시야의 문제입니다. 이 차이를 알면 대처법이 달라집니다.

왜 하필 앞부분이 먼저 사라지나

책상이 꽉 차면 대부분의 서비스는 가장 오래된 종이부터 밀어냅니다. 그런데 대화에서 가장 오래된 것이 무엇입니까? 맨 처음 메시지입니다.

그리고 맨 처음 메시지에는 보통 이런 게 들어 있습니다.

• 역할 설정 — "너는 마케터야"
• 톤 지정 — "친근하게 써줘"
• 제약 조건 — "500자 이내로"

즉 가장 중요한 지시가 가장 먼저 버려지는 구조입니다. 대화가 갑자기 말이 안 통하기 시작하면 십중팔구 이것입니다.

책상 크기는 토큰으로 잽니다

컨텍스트 윈도우는 글자 수나 페이지 수가 아니라 토큰으로 표시됩니다. 영어 기준 1토큰이 대략 단어의 4분의 3이고, 한국어는 영어보다 토큰을 더 많이 씁니다. 같은 분량의 한국어 문서가 영어 문서보다 책상을 더 많이 차지한다는 뜻입니다.

토큰 자체가 궁금하시면 AI 토큰이란?을 먼저 보세요.

크기는 서비스마다 수만 토큰에서 100만 토큰 이상까지 천차만별이고, 자주 바뀝니다. 그리고 무료 등급은 유료보다 작은 윈도우를 받는 경우가 많습니다. 같은 서비스인데 무료로 쓸 때 더 빨리 까먹는 느낌이 드는 이유입니다.

책상이 크다고 잘 읽는 건 아닙니다

여기서 흔한 오해가 생깁니다. "100만 토큰이면 책 한 권 넣어도 되겠네" — 넣을 수는 있습니다. 하지만 제대로 읽는지는 별개 문제입니다.

"중간에서 길을 잃는다"(lost in the middle)
장문 컨텍스트 모델 연구에서 반복적으로 확인된 현상입니다. 아주 긴 입력의 중간에 묻힌 정보는 시작이나 끝에 있는 정보보다 회상률이 떨어집니다.

실전 대응: 가장 중요한 지시는 프롬프트의 맨 위나 맨 아래에 두세요. 한가운데는 가장 안 읽히는 자리입니다.

책상과 싸우지 말고 활용하는 습관 3가지

습관	방법
① 요약하고 새로 시작	"지금까지 합의한 내용을 요약해줘" → 그 요약을 새 대화에 붙여넣고 이어가기
② 중요한 건 반복	첫 메시지가 살아 있길 기대하지 말고, 중간중간 핵심 제약을 다시 말하기
③ 덜 붙여넣기	문서 전체보다 관련 챕터 하나가 정확도도 속도도 낫습니다

③번이 특히 반직관적입니다. 많이 넣을수록 좋을 것 같지만, 실제로는 필요한 것만 넣을 때 답이 더 정확합니다.

자주 묻는 질문

Q. 그런데 AI가 지난주 대화를 기억하던데요?
A. 일부 서비스는 대화와 별개로 사실을 저장하는 메모리 기능을 제공합니다. 컨텍스트 윈도우와는 완전히 다른 메커니즘이고, 보통 설정에서 저장된 내용을 보거나 지울 수 있습니다.

Q. RAG와 뭐가 다른가요?
A. RAG는 사서(司書)입니다. 책상을 키우는 게 아니라, 필요한 순간에 관련 문서를 찾아서 책상 위에 올려줍니다. 컨텍스트 윈도우가 "얼마나 들어가는가"를 정한다면, RAG는 "무엇이 선택되는가"를 정합니다. 관련 용어는 MCP? RAG? 멀티에이전트?에 정리해 두었습니다.

Q. 책 한 권을 통째로 붙여넣어도 되나요?
A. 윈도우에 들어간다면 됩니다. 다만 위에서 말한 "중간에서 길을 잃는" 문제는 그대로 적용됩니다. 챕터 단위로 나눠 넣는 편이 결과가 낫습니다.

함께 보면 좋은 글

• AI 토큰이란? — 요금과 한도의 단위
• 컨텍스트 엔지니어링이란? 프롬프트 다음에 온 필수 AI 스킬
• AI로 긴 문서 요약하는 법
• MCP? RAG? 멀티에이전트? — AI 에이전트 필수 용어 7개

※ 컨텍스트 윈도우 크기는 서비스마다 다르고 자주 바뀝니다. 이 글의 숫자를 포함해 어떤 기사의 수치도 그대로 믿지 말고, 사용 중인 서비스의 현행 공식 문서를 확인하세요.