Jev와 Laya — 말하지 않고 판단만 돌려주는 AI, 0.03초의 정체

AI 하면 보통 말을 잘하는 기계를 떠올립니다. 그런데 올가을 주목받은 모델 둘은 정반대입니다. 문장을 아예 만들지 않고 선택지 중 하나와 확률만 돌려줍니다. 대신 0.03~0.3초에 끝납니다.

3초 요약
· 문장 대신 판단만 반환하는 모델 — "System 1 모델"로 불립니다
· Jev(TypeSafe AI, 비공개) vs Laya(오픈웨이트, 무료)
· "할루시네이션이 불가능"하다는 주장 — 절반만 사실입니다
· 형식은 못 틀리지만 선택은 틀릴 수 있습니다
· 챗봇을 대체하는 게 아니라 앞단에서 걸러주는 용도입니다

1. 말하지 않는 AI란 무엇인가

일반적인 챗봇은 다음 단어를 하나씩 예측하며 문장을 만듭니다. 그래서 느리고, 없는 사실을 지어내기도 합니다.

이 모델들은 접근이 다릅니다. 미리 정해둔 선택지를 주면, 그중 무엇인지와 얼마나 확신하는지를 답합니다.

질문 유형	반환되는 것
Choice (고르기)	선택지 중 하나 — 예: 이 문의를 어느 팀에 보낼까
Score (점수)	단계 점수 — 예: 이 리뷰의 만족도는 1~5 중 몇
Bool (예/아니요)	참·거짓 확률 — 예: 이 메일은 스팸인가

비유하자면
일반 LLM이 "생각해서 글로 설명하는 사람"이라면, 이쪽은 "보자마자 손가락으로 가리키는 사람"입니다.

심리학에서 말하는 빠른 직관(System 1)과 느린 숙고(System 2)의 구분을 빌려, 이 모델들을 'System 1 모델'이라 부릅니다. 느린 쪽이 필요 없다는 게 아니라, 둘을 나눠 쓰자는 제안입니다.

2. Jev와 Laya는 어떻게 다른가

	Jev	Laya
만든 곳	TypeSafe AI (샌프란시스코)	Convai Innovations
공개 방식	비공개 API	Apache 2.0 · 가중치 공개
비용	입력 100만 토큰당 $0.042 (출력 무료)	모델 자체는 무료 (하드웨어 비용만)
크기	비공개	4억 2,100만 (영어 기본)
바로 쓸 수 있나	예 (제로샷)	아니요 — 파인튜닝 필요

가장 중요한 차이
Laya는 파인튜닝을 안 하면 거의 무작위 수준입니다. 개발사 보고 기준 파인튜닝 전 정확도가 약 0.362인데, 무작위로 찍은 기준선이 0.318입니다. 파인튜닝 후에는 0.766으로 올라갑니다.

즉 "무료니까 그냥 쓰면 된다"가 아닙니다. 내 데이터로 학습시킬 수 있어야 의미가 있습니다. Jev는 반대로 바로 쓸 수 있지만 비공개 API입니다.

3. "할루시네이션 불가"는 어디까지 사실인가

두 모델 모두 이 주장을 내세웁니다. 절반은 맞고 절반은 오해를 부릅니다.

주장	판정
없는 카테고리를 지어내지 않는다	사실. 정해진 선택지의 확률만 반환하므로 구조적으로 불가능
형식이 깨진 답이 안 나온다	사실. 파싱 오류가 원천 차단됨
틀린 답이 안 나온다	아닙니다. 선택지 중에서 엉뚱한 걸 고를 수 있습니다

정확히 말하면
"할루시네이션 불가"가 아니라 "형식 오류 불가"입니다. 객관식 시험에서 보기 밖의 답을 쓸 수는 없지만, 틀린 보기를 고를 수는 있는 것과 같습니다.

그래서 실무에서 중요한 건 마케팅 문구가 아니라 함께 나오는 신뢰도 점수입니다. "확신이 낮으면 사람에게 넘긴다"는 설계가 가능해지는 게 진짜 장점입니다.

실제로 무너지는 지점

개발사가 직접 밝힌 한계들입니다. 숨기지 않고 공개한 점은 평가할 만합니다.

• 언어 — 영어 모델은 라틴 문자가 아닌 언어에서 크게 무너집니다. 크메르어에서 정확도 0.000인데 신뢰도는 0.952였다고 보고됐습니다. 이걸 막으려고 문자 체계를 감지해 다국어 모델로 보내는 라우터를 씁니다
• 선택지 수 — 약 20개를 넘으면 품질이 떨어집니다
• 신뢰도 보정 — 내 데이터로 다시 맞춰야 합니다
• 역할 한계 — 결정만 내립니다. 응답 작성이나 실제 처리는 못 합니다

한국어 사용자라면 특히
위 "라틴 문자가 아닌 언어에서 무너진다"는 한국어에도 해당할 수 있는 이야기입니다. 다국어 체크포인트가 따로 있지만, 한국어 성능을 직접 측정한 공개 수치는 확인되지 않았습니다. 도입을 검토한다면 본인 데이터로 먼저 재보는 것이 필수입니다.

4. 성능 수치를 읽는 법

두 진영이 서로를 비교한 수치를 내놓는데, 해석에 주의가 필요합니다.

항목	Laya 측 주장
지연시간	Tesla T4에서 p50 32.8ms
작업별 정확도	스팸 0.993 · 피싱 0.980 · 가드레일 0.755~0.762 · RAG 관련성 0.657 · 10개 티켓 라우팅 0.522
Jev 대비	약 7.8배 빠르고 보정은 약 3배 낫다

그런데 반대 결과도 있습니다
라벨이 77개인 Banking77 벤치마크에서는 Laya 0.425, Jev 0.870입니다. 앞서 "선택지 20개가 넘으면 품질이 떨어진다"고 한 것과 들어맞습니다.

또 Laya 측은 Jev API에 접근하지 못해 제3자 공개 수치로 비교했다고 밝혔습니다. 같은 조건에서 돌린 비교가 아닙니다.

작업별 편차가 이렇게 큽니다. 스팸 판별 0.993과 10개 라우팅 0.522는 완전히 다른 난이도입니다. "정확도 몇 %"라는 한 줄짜리 숫자로 판단하면 안 됩니다.

5. 어디에 쓰면 좋은가

챗봇을 대체하는 물건이 아닙니다. 챗봇 앞단에서 걸러주는 자리에 어울립니다.

잘 맞는 일	안 맞는 일
스팸·피싱 걸러내기	답변 문장 쓰기
문의를 담당 부서로 보내기	요약·번역
무거운 모델을 부를지 말지 결정	선택지가 수십 개 이상인 분류
검색 결과가 질문과 관련 있는지 판정	근거를 설명해야 하는 판단

특히 세 번째가 실용적입니다. 쉬운 요청은 싼 모델, 어려운 요청만 비싼 모델로 보내는 교통정리를 0.03초에 하면, 전체 요금이 눈에 띄게 줄어듭니다.

자주 묻는 질문

Q. 그럼 ChatGPT 대신 쓰면 되나요?
아닙니다. 이 모델들은 글을 못 씁니다. 판단만 합니다. 역할이 다릅니다.

Q. 무료인 Laya가 더 좋은 거 아닌가요?
파인튜닝할 데이터와 역량이 있으면 유리합니다. 없으면 파인튜닝 전 성능이 무작위 수준이라 쓸 수 없습니다. 바로 써야 한다면 Jev, 직접 학습시킬 수 있다면 Laya 쪽이 현실적인 갈림길입니다.

Q. 한국어도 되나요?
다국어 체크포인트가 있지만 한국어 성능을 직접 측정한 공개 수치는 확인되지 않았습니다. 본인 데이터로 직접 검증해야 합니다.

Q. 왜 지금 이런 게 나오나요?
에이전트가 늘면서 작은 판단을 수없이 반복해야 하는 상황이 많아졌습니다. 그때마다 큰 모델을 부르면 느리고 비쌉니다. 이 틈을 노린 갈래입니다.

함께 읽기

• 2026년 10월 첫째 주 AI 뉴스 총정리 — 한국인에게 중요한 5가지
• GPT-6 전면 공개와 Intelligent UI — 오늘부터 무료 사용자도
• AI 추론 모델이란? — 연습장이 필요한 문제인지로 판단하세요
• 파인튜닝이란? — 우리 자료 학습시키자가 대부분 틀린 이유
• 로컬 AI vs 클라우드 AI — 데이터가 내 기기를 떠나는가

작성 기준
2026년 10월 8일 기준입니다. 본문의 성능 수치는 대부분 각 개발사 자체 측정값이며 독립 검증이 아닙니다. Laya 측의 Jev 비교는 Jev API에 직접 접근하지 못한 상태에서 제3자 공개 수치를 인용한 것이므로 동일 조건 비교가 아닙니다. 특정 모델의 도입을 권유하는 글이 아니며, 도입 검토 시에는 본인 데이터로 직접 검증하시기 바랍니다.

주요 출처 · TypeSafe AI 공식 자료(Jev) · Laya 프로젝트 공개 문서 및 Hugging Face 모델 카드 · eesel AI 블로그 Laya 분석(2026-09-22, 경쟁사 작성 글임을 감안) · Michał Chromiak 'Typed Decision Models: Jev and Laya in Agentic AI'