소형 언어모델(SLM)이란? 내 PC에서 돌아가는 AI의 시대

소형 언어모델(SLM·Small Language Model)은 노트북이나 스마트폰, 회사 내부 서버에서 직접 돌아갈 만큼 가벼운 AI 모델을 말합니다. 파라미터가 대략 100억 개 미만이면 소형으로 분류하는 것이 일반적이고, 실제로 많이 쓰이는 것은 10억에서 70억 개 수준입니다. 거대 모델만 주목받는 사이, 이 작은 모델들은 이미 우리 스마트폰 속에서 조용히 일하고 있습니다.

어디까지가 "소형"인가

공식 기준은 없지만 기술 문서에서는 보통 파라미터 100억 개 미만을 SLM이라고 부릅니다. 마이크로소프트의 Phi-3 Mini(38억), 메타의 Llama 3.2 3B, Mistral 7B 등이 자주 예시로 등장합니다. 반대편에 있는 프런티어 모델은 수천억에서 1조 개가 넘는 파라미터를 가집니다. 파라미터는 학습 과정에서 조정되는 값으로, 대략 모델이 담을 수 있는 지식의 크기라고 이해하면 됩니다.

왜 지금 "작은 모델"이 주목받나

이유는 두 가지입니다. 첫째, 학습 기법이 좋아지면서 잘 훈련된 소형 모델이 1~2년 전 대형 모델 수준의 일상 작업을 처리하게 됐습니다. 둘째, 기업들이 실험 단계를 지나 실제 운영에 들어가면서 대형 모델의 현실적인 비용, 즉 느린 응답, 호출당 과금, 그리고 데이터를 외부 서버로 보내야 한다는 부담이 무시할 수 없게 됐습니다.

소형 모델의 진짜 장점 3가지

장점	내용	체감되는 순간
속도	네트워크 왕복 없이 수십~수백 밀리초 응답	자동완성, 실시간 자막·번역
비용	내 하드웨어에서 돌리면 건당 비용 0원	대량 반복 작업(분류·요약)
프라이버시	데이터가 기기·사내망 밖으로 안 나감	의료·법률·인사 등 민감 데이터

솔직히 말하는 한계

소형 모델이 분명히 못하는 영역이 있습니다. 정답이 정해지지 않은 조사형 질문, 진짜 독창성이 필요한 창작, 폭넓은 상식이 필요한 작업, 복잡한 다단계 추론이 그렇습니다. 아는 범위 밖으로 밀어붙이면 그럴듯한 거짓 답을 만들 확률도 높아집니다. 그래서 정답은 "대형 모델 대체"가 아니라 역할 분담입니다. 예측 가능하고 양이 많은 정형 작업은 소형에게, 어려운 질문만 대형에게 넘기는 구조가 표준이 되고 있습니다.

이미 쓰고 있는 온디바이스 AI

스마트폰의 실시간 통화 자막과 번역, 메신저의 답장 추천, 갤러리 사진 검색, 오프라인 음성 입력, 코드 에디터의 자동완성, 비행기 모드에서도 되는 요약 기능. 이 중 상당수는 서버가 아니라 손안의 작은 모델이 처리하고 있습니다. 삼성 갤럭시의 온디바이스 AI 기능이나 아이폰의 온디바이스 처리도 같은 흐름입니다.

직접 돌려보는 방법

생각보다 훨씬 쉽습니다. 데스크톱용 무료 도구(Ollama, LM Studio 등)를 설치하면 계정도 API 키도 없이 몇 분 만에 모델을 내려받아 대화할 수 있습니다. 메모리 16GB 정도의 PC라면 30억~70억 파라미터 모델이 충분히 돌아갑니다. 한 번 써보면 소형과 대형의 능력 차이를 몸으로 느낄 수 있는데, 이 감각은 비교 기사 열 개를 읽어도 얻기 어렵습니다. 시험할 때는 어려운 퀴즈가 아니라 메모 정리, 정형 답장 초안, 문서에서 항목 뽑기처럼 실제로 반복하는 작업으로 시험해 보세요.

자주 묻는 질문(FAQ)

SLM은 증류(distillation) 모델과 같은 말인가요?

다릅니다. 증류는 큰 모델을 흉내 내도록 학습시켜 작은 모델을 만드는 기법 중 하나일 뿐입니다. 증류로 만든 SLM도 있고, 엄선한 데이터로 처음부터 학습한 SLM도 있습니다. SLM은 크기를 가리키는 말이지 제작 방식이 아닙니다.

로컬에서 돌리려면 그래픽카드가 꼭 필요한가요?

있으면 쾌적하지만 작은 모델은 필수가 아닙니다. 최근 노트북과 스마트폰 프로세서에는 AI 전용 연산 장치(NPU)가 들어 있고, 양자화 같은 압축 기술 덕분에 수십억 파라미터 모델이 일반 기기에서도 실용적으로 돌아갑니다.

결국 대형 모델은 필요 없어지나요?

대체보다는 공존입니다. 다만 처리 건수 기준으로는 소형 모델이 다수가 될 가능성이 큽니다. 일상 작업은 작고 빠른 모델이 맡고, 필요할 때만 큰 모델로 넘기는 혼합 구조로 가고 있습니다.

함께 보면 좋은 글: 에이전틱 AI 용어사전 · 에이전틱 AI 완전정리

※ 본 글은 정보 제공 목적이며, 제품 사양과 기능은 변경될 수 있습니다. 도입 전 각 제공사의 공식 문서를 확인하세요.

이 글의 다른 언어판
English — What Is a Small Language Model (SLM)? On-Device AI Explained
日本語 — 小規模言語モデル（SLM）とは？

함께 보면 좋은 글
MCPとは？AIとツールをつなぐ共通規格