How is Jev so much faster than an LLM? #jevai #jev #jevvsllm #chatgpt6 #aimodels It's not… — @sky.wav

Análise do vídeo

O vídeo do TikTok “How is Jev so much faster than an LLM? #jevai #jev #jevvsllm #chatgpt6 #aimodels It's not about how the model is trained - it's the inference technique. In fact, you can modify an inference engine to provide a performant Jev-like API with any open-weight LLM. Say you are trying to ask N multiple choice questions in parallel. In standard text generation, you decode tokens one at a time to generate a JSON representing those properties, and then parse the JSON. In a Jev-like system, what you can do is: - Label choices for each property 1,2,3,... - Prefill the shared information (output shape and other context) - Fork this inference context for each property, re-using that cached prefill - Add an individual question to each parallel context - Look at the logits (token probabilities) for each one, constrained to the valid choice labels - Map the labels back to the choice values. Include the softmax of the logit itself to get a combined choice+confidence score This means you decode one time in parallel across all questions, instead of one at a time - so the efficiency gains roughly scale with the number of questions per request (until compute is saturated). So what makes Jev's model unique? It's because they train a small model to perform well in this specific inference setting - improving both cost and capability compared to a non-specialized model. Ultimately though, if you have a use case Jev would be good for, you could do it with open-weight models too! (Some speculation made here about how Jev's engine might work, but this is one way you could get similar performance)” de @sky.wav tem 14.877 visualizações, 258 curtidas, 11 comentários e 23 compartilhamentos nas métricas públicas captadas por este índice. Isso dá uma taxa de engajamento de 1,96% (curtidas, comentários e compartilhamentos sobre visualizações). Foi publicado há mais de duas semanas e tem duração de 20 segundos. Total de salvamentos: 74.

Perguntas frequentes

Quantas visualizações este vídeo do TikTok tem?

A captura indexada aqui registra 14.877 visualizações, 258 curtidas e 11 comentários.

Quem publicou este vídeo do TikTok?

Foi publicado por @sky.wav, que tem link nesta página.

Qual é a taxa de engajamento deste vídeo do TikTok?

Considerando as métricas captadas, a taxa de engajamento é de 1,96% (curtidas + comentários + compartilhamentos sobre visualizações).

Quando este vídeo do TikTok foi publicado?

Foi publicado em 2026-09-17, há mais de duas semanas.

Qual é a duração deste vídeo do TikTok?

O vídeo captado tem duração de 20 segundos.