Jev, 새로운 혁명일까, 가짜 트렌드일까

Jev는 ChatGPT처럼 문장을 쓰지 않는다. 미리 정한 선택지의 확률을 수백 밀리초 안에 돌려준다. 범용 AI를 대체할 기술은 아니지만, 소프트웨어가 수없이 반복하는 작은 판단을 AI에 맡기는 방식은 바꿀 수 있다.

Jev는 대답하는 AI가 아니라 판단값을 돌려주는 AI다

일반적인 생성형 AI에 “이 고객이 환불을 원하는가”라고 물으면 문장을 만든다. “네, 고객은 환불을 요청하고 있다”는 식이다. 프로그램은 이 문장을 다시 읽고 환불 요청이라는 값으로 바꿔야 한다.

Jev의 처리 방식은 처음부터 다르다. 고객 문의를 상태 정보로 받고, 개발자가 정한 질문에 답할 확률을 반환한다. 환불 요청일 가능성이 0.93이라면 프로그램은 그 숫자를 그대로 다음 조건문에 넣는다. 사람에게 읽힐 설명을 만드는 대신 소프트웨어가 바로 쓸 판단값을 내놓는다.

TypeSafe 공식 문서에 따르면 Jev의 질문형은 세 가지다.

하나의 고객 문의를 두고 환불 요청인가, 결제 오류인가, 긴급한가를 한꺼번에 물을 수도 있다. 각 질문은 같은 입력을 보지만 독립적으로 평가된다. 각 답을 문장으로 차례대로 생성할 필요가 없다.

생성형 AI와의 차이는 답의 길이가 아니라 계산 순서다

생성형 언어 모델은 토큰을 하나 만든 뒤 그 결과를 보고 다음 토큰을 만든다. 모델을 작게 만들면 한 단계의 계산은 가벼워진다. 답을 한 단어로 제한하면 생성 시간도 줄일 수 있다. 그래도 다음 토큰이 앞 토큰을 기다리는 순서는 남는다.

Jev는 처음부터 미리 정한 각 답의 확률을 내도록 설계됐다. TypeSafe는 여러 질문의 결과를 병렬로 반환하며, 공식 발표에서 응답시간을 70~500ms라고 제시한다. 입력 비용은 100만 토큰당 0.042달러다. 문장 생성을 포기한 대신 반복 판단의 지연과 비용을 낮춘 구조다.

Jev는 규칙으로 모두 처리하기에는 문맥이 복잡하고, 범용 LLM을 부르기에는 비용이 아까운 판단을 겨냥한다.

소형 모델로도 구현할 수 있지만 운영 성능은 따로 비교해야 한다

Jev를 향한 가장 강한 비판은 기능 자체가 새롭지 않다는 것이다. 작은 언어 모델에 선택지 하나만 출력하게 만들거나, 답의 앞부분을 미리 채워 생성할 토큰을 줄이면 같은 분류를 빠르게 처리할 수 있다. 확률을 바로 반환하는 전통적인 분류 모델도 오래전부터 있었다.

TypeSafe의 비교 조건에도 따져볼 부분이 있다. 회사는 공식 발표에서 짧고 밀도 높은 입력이 Jev에 유리하다고 직접 밝혔다. 가장 큰 속도·비용 차이를 보인 자체 평가도 실제 사용에서 기대할 수 있는 최고 수준에 가까울 수 있다고 적었다. “최대 194배 빠르고 445배 저렴하다”는 숫자만 떼어 Jev의 보편적 성능으로 받아들이면 안 된다.

그렇다고 작은 모델도 가능하다는 말만으로 Jev가 불필요하다는 결론이 나오지는 않는다. 같은 정확도로 답할 때 어느 쪽의 응답이 더 빠르고, 호출 비용이 적으며, 확률이 실제 적중률과 잘 맞는지가 남는다. 범용 모델을 짧게 답하도록 조정하는 일과, 판단 작업에 맞춰 모델·API·학습 목표를 함께 설계한 제품은 운영 단계에서 다른 결과를 낼 수 있다.

실사용 비교도 이 차이를 보여준다. 한 개발팀은 1,759건의 판단 결과를 놓고 Jev와 범용 Gemini 모델을 비교했다. Jev의 정확도는 98.5%, Gemini는 99.0%였고 중앙 응답시간은 각각 329ms와 1,598ms였다. 비용은 Jev가 약 25분의 1이었다. Jev는 아랍어 방언과 대화 맥락이 빠진 사례에서 틀렸고, 높은 확률로 낸 오답도 있었다. 빠른 구조화 출력이 정답을 보장하는 것은 아니다.

응답시간이 300ms를 넘으면 해당 거래에 쓰지 않는다

개발자 Jarrod Watts가 공개한 Jev Trader는 이 기술이 필요한 이유를 가장 선명하게 보여준다. 이 프로그램은 Monad 블록체인의 MON-USDC 주문장을 보고 약 300ms마다 매수와 매도를 판단하도록 설계됐다. Jev가 제시간에 답하지 못하면 해당 블록의 주문은 건너뛴다.

답이 도착하기 전에 시세가 이미 움직였다면 정확한 판단도 해당 블록의 주문에는 쓸 수 없다. 자동매매처럼 입력이 빠르게 바뀌는 시스템에서는 정확도와 응답시간을 분리할 수 없다. 답을 언제 받느냐가 기능의 일부가 된다.

이 원리는 거래에만 머물지 않는다. 음성 대화 중 끼어들 시점을 고르거나, 게임 속 캐릭터가 다음 행동을 정하거나, 보안 경보를 자동으로 차단할지 사람에게 넘길지 결정할 때도 지연시간이 누적된다. 한 번의 차이는 작아도 사용자 행동마다 모델을 호출하면 누적된 지연과 비용이 제품의 사용성과 운영비에 영향을 준다.

확률로 자동 처리와 사람 검토의 기준을 정한다

Jev가 돌려주는 숫자의 가치는 “AI도 자신이 얼마나 확신하는지 안다”는 표현에 있지 않다. 모델이 같은 확률을 부여한 사례를 모았을 때 실제 적중률도 비슷하게 나오는지가 중요하다. 90%라고 판단한 사례 100개가 실제로도 약 90개 맞는다면 개발자는 자동 처리 범위를 정할 수 있다.

예를 들어 환불 요청 확률이 0.95 이상이면 자동으로 환불 절차를 시작하고, 0.7~0.95는 소형 모델에 보내며, 그 아래는 상담원이 확인하게 만들 수 있다. Jev가 업무 전체를 맡는 것이 아니다. 어느 경로로 보낼지를 판단하고, 코드가 다음 행동을 통제한다.

반대로 확률이 잘 보정되지 않으면 이 구조는 무너진다. 높은 확률을 부여한 오답을 자주 내면 자동 처리 임계값을 믿을 수 없다. TypeSafe가 calibrated decisions를 학습 목표로 앞세운 이유다. Jev의 성패는 평균 정확도 몇 퍼센트보다 확신이 높은 구간에서 실제 오류가 얼마나 줄어드는지에 달려 있다.

Jev는 모델 라우팅과 화면 구성에 먼저 쓰일 수 있다

Jev와 같은 판단 모델은 범용 LLM의 앞뒤 단계에 먼저 쓰일 수 있다. 요청이 간단하면 가벼운 모델로 보내고, 복잡하면 큰 모델로 보내며, 위험한 요청은 사람에게 넘기는 라우터가 대표적이다. LangChain도 Jev로 요청을 분류해 다음 모델을 고르는 연결 방식을 공개했다.

화면도 판단 결과에 따라 달라질 수 있다. FAQ에서는 일반 LLM이 답을 쓰고 Jev가 표·버튼·링크 가운데 무엇을 함께 보여줄지 고른다. 3D 공간에서는 이미 준비된 가구와 조명 가운데 무엇을 어디에 배치할지 선택할 수 있다. 쇼핑몰에 연결하면 고객의 요구에 맞춰 상품과 화면 구성을 바꿀 수 있다.

중요한 점은 Jev가 문장이나 3D 물체를 직접 만드는 것이 아니라는 사실이다. 개발자가 준비한 선택지 안에서 조합을 고른다. 같은 판단 API도 어떤 데이터와 기능을 연결하느냐에 따라 고객지원, 게임, 보안, 쇼핑, 금융으로 갈라진다.

판단 전용 모델 시장은 Jev 하나에 묶이지 않을 가능성도 있다. 개발자들은 Google의 DiffusionGemma를 Jev와 비슷한 선택형 확률 출력에 맞춘 구현을 공개했다. 기존 모델도 같은 인터페이스를 지원하면 경쟁의 중심은 “Jev가 유일한가”에서 “어떤 판단 모델이 이 작업에서 가장 싸고 빠르고 믿을 만한가”로 옮겨간다.

출시 24시간 안에 AI Gateway 유료 팀의 13%가 Jev를 사용했다

Vercel에 따르면 Jev는 출시 24시간 안에 AI Gateway 유료 팀의 약 13%가 사용했다. Vercel AI Gateway에 추가된 모델 가운데 가장 빠른 초기 채택이었다. 새로운 모델을 시험해보는 수요가 크다는 뜻이지 장기 성공을 보장하는 숫자는 아니다. 그러나 개발자가 판단 전용 모델을 실제 애플리케이션에 연결하고 싶어 한다는 신호로는 충분하다.

빠른 응답에 돈을 내는 시장은 낯설지 않다. Cerebras와 Groq도 범용 GPU와 다른 하드웨어 구조로 토큰 생성 지연을 줄였다. 초기에는 비싸고 쓰임새가 좁다는 평가가 따라붙었지만, 대화형 AI와 여러 도구를 연달아 쓰는 에이전트가 늘자 모델을 호출할 때마다 생기는 대기시간을 줄이는 것 자체가 제품 가치가 됐다.

Jev는 하드웨어를 바꾸는 대신 생성해야 하는 출력량을 줄인다. Cerebras와 Groq가 토큰 하나하나를 더 빨리 계산하려 했다면, Jev는 애초에 문장이 필요 없는 판단에서 토큰을 줄줄이 만들지 않는다. 방법은 다르지만 프로그램이 모델을 기다리는 시간을 줄인다는 목표는 같다.

가짜 트렌드는 아니지만 모든 AI를 바꿀 혁명도 아니다

Jev를 ChatGPT의 후계자로 보면 가짜 트렌드에 가깝다. 글을 쓰지 못하고, 정확한 계산에 약하며, 여러 단계의 긴 추론에도 맞지 않는다. 정의된 선택지 밖의 답을 만들지 않는다는 장점도 선택지 안에서 틀린 답을 고르지 않는다는 뜻은 아니다.

그러나 소프트웨어의 판단 단계로 보면 이야기가 달라진다. 지금까지는 사람이 규칙을 전부 쓰거나, 짧은 분류 하나에도 생성형 모델을 불러 문장을 받은 뒤 다시 파싱했다. Jev는 두 방식 사이의 선택지로 문맥을 읽되 정해진 값만 빠르게 반환하는 모델을 제시했다.

Jev는 범용 AI의 혁명이 아니라 실시간 자동화의 혁명 후보다. 모델 데모와 최대 배수만으로는 혁명이 되지 않는다. 응답시간과 비용 때문에 포기했던 기능이 실제 앱에 들어가고, 사용자가 매일 쓰며, 그 과정에서 오답과 확률을 운영 가능한 수준으로 관리할 수 있어야 한다.

Jev가 다음으로 증명해야 할 것은 더 큰 벤치마크 숫자가 아니라 Jev를 사용해야 경제성이 확보되는 서비스다. 그런 서비스가 늘어나면 Jev가 유일한 승자가 아니더라도 판단 전용 모델 시장은 남는다. 지금 확인할 것은 그 시장이 실제로 형성되는지다.

자주 묻는 질문