AI 시대에 뒤처지지 않으려면 알아둬야 할 5가지 핵심 개념
들어가며
요즘 AI 얘기를 듣다 보면 사람이 대략 두 부류로 나뉜다. 정의만 외워서 줄줄 읊는 쪽, 그리고 전문 용어만 나오면 표정이 멍해지는 쪽. 그런데 가만히 보면 두 부류 모두 정작 그 개념이 왜 그렇게 작동하는지는 모르는 경우가 많다.
2026년 현재 AI는 이미 일상 깊숙이 들어와 있다. ChatGPT를 능숙하게 쓴다고 해서 AI를 안다고 말하긴 어렵다. 도구를 쓰는 것과 도구의 구조를 이해하는 건 다른 문제니까.
오래 시스템을 다루면서 배운 게 하나 있다. 블랙박스를 블랙박스인 채로 쓰면 장애가 났을 때 손도 못 댄다. 안에서 무슨 일이 벌어지는지 대략이라도 그려져야 문제를 짚을 수 있다. AI도 똑같다. 핵심 개념 몇 개만 구조로 이해해 두면, 같은 도구를 써도 결과의 질이 달라진다.
오늘은 그 5가지를 정리해본다.
1. 토큰(Token) — AI가 세상을 보는 단위
AI 모델은 우리처럼 단어를 읽지 않는다. 토큰이라는 단위로 텍스트를 쪼개서 처리한다.
토큰은 텍스트의 작은 조각이다. "안녕"처럼 단어 하나가 통째로 토큰일 때도 있고, "하세", "요"처럼 단어의 일부일 때도 있다. 구두점 하나도 토큰이 된다.
예를 들어 "나는 개발자입니다"라는 문장은 대략 4~5개의 토큰으로 나뉜다. 정확한 개수는 어떤 토크나이저를 쓰느냐에 따라 달라진다.
그래서 왜 알아야 하나?
- 비용: OpenAI든 Claude든 API 과금은 토큰 단위다. 글자 수가 아니라 토큰 수가 청구서를 결정한다
- 속도: 토큰이 많을수록 처리 시간이 길어진다
- 한계: 모든 모델은 한 번에 다룰 수 있는 토큰 수가 정해져 있다
이건 결국 자원 단위의 문제다. 운영을 하다 보면 모든 게 결국 단위로 환산된다. CPU는 코어와 클럭, 스토리지는 IOPS, 트래픽은 패킷. AI에서 그 단위가 토큰인 셈이다.
그래서 프롬프트를 쓸 때 이걸 의식하느냐 마느냐로 효율이 갈린다. 불필요한 수식어를 걷어내고 핵심만 전달하는 것만으로도 비용과 지연이 같이 줄어든다. 사소해 보여도, 호출이 수만 건 단위로 쌓이는 서비스에선 이게 운영비 차이로 직결된다.
2. 컨텍스트 윈도우(Context Window) — AI의 기억 한계
컨텍스트 윈도우는 AI가 한 번에 들고 있을 수 있는 정보의 양이다. 화이트보드를 떠올리면 쉽다. 칠판이 꽉 차면, 새 내용을 쓰려고 기존 내용을 지워야 한다.
AI도 똑같다. 대화가 길어지거나 긴 문서를 처리하다 보면 앞부분을 "잊어버린다". 이건 버그가 아니라 설계상의 물리적 한계다.
모델별 컨텍스트 윈도우 (2026년 기준)
| 모델 | 컨텍스트 윈도우 | 대략적 분량 |
|---|---|---|
| GPT-4 Turbo | 128K 토큰 | 책 1권 분량 |
| Claude 3 Sonnet | 200K 토큰 | 긴 소설책 1권 |
| Gemini Pro | 1M 토큰 | 백과사전 1권 |
긴 문서를 분석하거나 대화를 길게 이어갈 땐 이 한계를 늘 머리에 두는 게 좋다. AI가 갑자기 앞에서 했던 말을 못 알아듣는다면, 십중팔구 윈도우가 꽉 찬 거다.
여기서 한 가지 짚고 싶은 게 있다. 윈도우가 크다고 무조건 좋은 게 아니라는 점. 윈도우에 정보를 가득 채울수록 모델이 중간 내용을 흘리는 경향이 있다. 시스템으로 치면 캐시를 크게 잡았다고 히트율이 비례해서 오르는 게 아닌 것과 비슷하다. 결국 무엇을 윈도우에 넣고 무엇을 뺄지를 설계하는 게 핵심이지, 큰 윈도우 자체가 답은 아니다.
3. 온도(Temperature) — 창의성과 정확성 사이의 다이얼
온도는 AI의 출력이 얼마나 튈지를 조절하는 설정이다. 0에 가까우면 안전하고 예측 가능한 답을, 1에 가까우면 창의적이지만 종잡기 어려운 답을 낸다.
"고양이가 ___ 위에 앉아있다"를 완성하라고 하면 이렇게 갈린다.
- 낮은 온도(0.1): "매트", "의자", "바닥" 같은 무난한 답
- 높은 온도(0.9): "철학적 딜레마", "시간의 경계" 같은 예상 밖의 답
언제 어느 쪽을 쓰나?
- 낮은 온도(0.1~0.3): 코드 생성, 번역, 요약, 팩트 체크
- 중간 온도(0.5~0.7): 일반 대화, 설명
- 높은 온도(0.8~1.0): 창작, 브레인스토밍, 카피 작업
대부분의 소비자용 앱에선 이 값을 직접 못 바꾼다. 다만 API를 직접 호출하거나 고급 설정이 열린 도구에선 조절할 수 있다.
실무에서 이걸 안 맞춰서 헤매는 경우가 의외로 많다. 코드나 데이터 추출처럼 정답이 정해진 작업에 온도를 높게 두면, 매번 다른 결과가 나와서 재현이 안 된다. 운영 관점에서 재현 불가능한 출력만큼 다루기 까다로운 게 없다. 정확성이 중요한 파이프라인일수록 온도를 낮게 고정하는 게 기본이다.
4. 환각(Hallucination) — AI의 가장 위험한 특성
환각은 AI가 확신에 찬 말투로 틀린 정보를 내놓는 현상이다. "잘 모르겠다"고 하면 될 것을, 그럴듯한 거짓말을 지어낸다.
직접 겪은 사례가 있다. 어떤 논문에 대해 물었더니 저자명, 출판 연도, 핵심 내용까지 술술 설명해주더라. 문제는 그 논문이 애초에 존재하지 않았다는 거다. 더 무서운 건 그 답변에 망설임이 전혀 없었다는 점이다.
왜 환각이 일어날까?
AI 모델은 데이터베이스가 아니다. 사실을 저장하고 꺼내오는 구조가 아니라, 학습된 패턴을 바탕으로 "그럴듯한 다음 단어"를 예측하는 구조다. 모르는 걸 물어봐도 "모른다"는 출력을 만들기보다, 패턴을 따라 그럴듯한 문장을 이어붙인다. 즉 환각은 모델이 고장 난 게 아니라, 원래 그렇게 동작하도록 설계됐기 때문에 나오는 결과다. 원인과 증상을 분리해서 봐야 하는 지점이다.
환각을 줄이는 방법
- 중요한 사실은 반드시 별도 검증
- 여러 소스에서 교차 확인
- "이 정보가 정확하다고 확신하나?"라고 되묻기
- 가능하면 1차 출처 직접 확인
환각이 있다고 AI를 쓰지 말라는 얘기가 아니다. 검증 단계를 끼워 넣고 더 영리하게 쓰자는 거다. 내 경험상 AI를 잘 쓰는 사람과 못 쓰는 사람의 차이는 이 검증 습관에서 갈린다.
5. RAG (Retrieval-Augmented Generation) — AI가 모르는 걸 알게 하는 방법
RAG는 검색 증강 생성이라고 옮긴다. 풀어 말하면 "AI가 모르는 정보를 실시간으로 찾아서 답변에 끼워 넣는 기술"이다.
일반 모델은 훈련된 시점까지의 데이터만 안다. 우리 회사 내부 문서나 어제 올라온 뉴스는 당연히 모른다. 그런데 어떻게 "PDF와 채팅하기" 같은 기능이 돌아갈까?
RAG의 동작 흐름
- 문서 분할: 업로드한 문서를 작은 덩어리로 나눈다
- 벡터화: 각 덩어리를 의미를 담은 숫자 벡터로 변환한다
- 저장: 벡터 데이터베이스에 넣는다
- 검색: 질문이 들어오면 관련 덩어리를 찾아낸다
- 생성: 찾은 정보와 질문을 함께 모델에 주고 답을 만든다
구조를 보면 알겠지만, 이건 모델을 다시 학습시키는 게 아니라 검색 파이프라인을 모델 앞단에 붙이는 일에 가깝다. 모델은 그대로 두고, 답변에 필요한 재료만 외부에서 끌어와 주입하는 방식이다. 그래서 사내 데이터처럼 자주 바뀌고 학습에 못 넣는 정보를 다룰 때 특히 잘 맞는다.
지난 2년간 쓸 만하다 싶었던 AI 제품은 거의 다 RAG를 깔고 있다. 계약서 분석 도구, 고객지원 챗봇, 연구논문 요약 서비스 같은 것들.
RAG를 이해하면 AI 제품을 볼 때 시선이 달라진다. "이건 모델이 학습으로 알고 있는 게 아니라, 실시간으로 검색해서 보여주는 구조구나" 하고 한 겹 더 들여다보게 된다. 그러면 그 제품의 한계와 비용 구조까지 대략 그려진다.
마치며
이 5가지를 구조로 이해하면 AI 관련 대화에서 훨씬 단단해진다. 더 중요한 건, 도구를 쓸 때 왜 그런 결과가 나오는지, 어떻게 하면 더 나은 결과를 끌어낼지 감이 잡힌다는 점이다.
엔지니어가 되거나 코딩을 배울 필요는 없다. 다만 이 정도 개념은 알아두는 게 남는 장사다. AI가 마법이 아니라 작동 원리가 있는 도구라는 걸 받아들이는 순간, 그때부터 활용의 질이 달라진다. 결국 모든 도구가 그렇듯, 안을 들여다본 사람이 더 멀리 간다.