How is Jev so much faster than an LLM? #jevai #jev #jevvsllm #chatgpt6 #aimodels It's not… — @sky.wav

Phân tích video

Video TikTok “How is Jev so much faster than an LLM? #jevai #jev #jevvsllm #chatgpt6 #aimodels It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in parallel. In standard text generation, you decode tokens one at a time to generate a JSON representing those properties, and then parse the JSON. In a Jev-like system, what you can do is: - Label choices for each property 1,2,3,... - Prefill the shared information (output shape and other context) - Fork this inference context for each property, re-using that cached prefill - Add an individual question to each parallel context - Look at the logits (token probabilities) for each one, constrained to the valid choice labels - Map the labels back to the choice values. Include the softmax of the logit itself to get a combined choice+confidence score This means you decode one time in parallel across all questions, instead of one at a time - so the efficiency gains roughly scale with the number of questions per request (until compute is saturated). So what makes Jev's model unique? It's because they train a small model to perform well in this specific inference setting - improving both cost and capability compared to a non-specialized model. Ultimately though, if you have a use case Jev would be good for, you could do it with open-weight models too! (Some speculation made here about how Jev's engine might work, but this is one way you could get similar performance)” của @sky.wav có 14.877 lượt xem, 258 lượt thích, 11 bình luận, 23 lượt chia sẻ trong số liệu công khai mà chỉ mục này ghi nhận. Tỷ lệ tương tác tương ứng là 1,96% (lượt thích, bình luận và chia sẻ trên lượt xem). Video được đăng hơn hai tuần trước và có thời lượng 20 giây. Video đã được lưu 74 lần.

Câu hỏi thường gặp

Video TikTok này có bao nhiêu lượt xem?

Bản ghi được lập chỉ mục ở đây cho thấy 14.877 lượt xem, 258 lượt thích và 11 bình luận.

Ai đã đăng video TikTok này?

Video được đăng bởi @sky.wav, có liên kết ngay trên trang này.

Tỷ lệ tương tác của video TikTok này là bao nhiêu?

Theo các số liệu đã ghi nhận, tỷ lệ tương tác là 1,96% (lượt thích + bình luận + chia sẻ trên lượt xem).

Video TikTok này được đăng khi nào?

Video được đăng vào 2026-09-17, hơn hai tuần trước.

Video TikTok này dài bao lâu?

Đoạn video đã ghi nhận có thời lượng 20 giây.