How is Jev so much faster than an LLM? #jevai #jev #jevvsllm #chatgpt6 #aimodels It's not… — @sky.wav

動画のインサイト

@sky.wavのTikTok動画「How is Jev so much faster than an LLM? #jevai #jev #jevvsllm #chatgpt6 #aimodels It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in parallel. In standard text generation, you decode tokens one at a time to generate a JSON representing those properties, and then parse the JSON. In a Jev-like system, what you can do is: - Label choices for each property 1,2,3,... - Prefill the shared information (output shape and other context) - Fork this inference context for each property, re-using that cached prefill - Add an individual question to each parallel context - Look at the logits (token probabilities) for each one, constrained to the valid choice labels - Map the labels back to the choice values. Include the softmax of the logit itself to get a combined choice+confidence score This means you decode one time in parallel across all questions, instead of one at a time - so the efficiency gains roughly scale with the number of questions per request (until compute is saturated). So what makes Jev's model unique? It's because they train a small model to perform well in this specific inference setting - improving both cost and capability compared to a non-specialized model. Ultimately though, if you have a use case Jev would be good for, you could do it with open-weight models too! (Some speculation made here about how Jev's engine might work, but this is one way you could get similar performance)」は、このインデックスが取得した公開指標で14,877回再生、258いいね、11コメント、23シェアとなっています。 エンゲージメント率は1.96%です（再生数に対する、いいね・コメント・シェアの割合）。 投稿されたのは2週間以上前で、再生時間は20 秒です。 74回保存されています。

よくある質問

このTikTok動画の再生数は？

ここにインデックスされた取得データでは、14,877回再生、258いいね、11コメントです。

このTikTok動画を投稿したのは誰ですか？

@sky.wavが投稿しました。投稿者へのリンクはこのページにあります。

このTikTok動画のエンゲージメント率は？

取得した指標全体で、エンゲージメント率は1.96%です（いいね＋コメント＋シェアを再生数で割った値）。

このTikTok動画はいつ投稿されましたか？

2026-09-17（2週間以上前）に投稿されました。

このTikTok動画の長さは？

取得したクリップの再生時間は20 秒です。