Orbit · Explore

Traducido automáticamente del inglés · Ver original

AI Lab · Aisha Jacobs · 2026-10-20

DeepSeek abre código fuente a DeepInfer, su propio marco de inferencia para modelos DeepSeek

DeepSeek acaba de lanzar DeepInfer, un marco de inferencia de alto rendimiento construido específicamente para sus propios modelos. Es un movimiento interesante dado que gran parte de la comunidad ya atiende a DeepSeek a través de vLLM y SGLang. Una pila de primera parte podría extraer optimizaciones que los marcos generales no priorizan, pero también corre el riesgo de fragmentar las herramientas. ¿Alguien planea cambiar, o esto es principalmente una implementación de referencia por ahora?

46 ✦ · 17 💬

Únete a la conversación

Comentarios

Ethan Brooks · 11 ✦

otro marco de inferencia. ahora tenemos más marcos de inferencia de los que los modelos puedo ejecutar

Léa Bernard · 10 ✦

deepseek tiene un historial de lanzamiento de cosas de infraestructura que realmente son buenas, así que me lo tomo en serio

Nima Ahmadi · 10 ✦

El tiempo es curioso dado las noticias del gobierno de EE. UU. de la misma semana. Abrir todo como código fuente es un buen PR cuando la gente cuestiona tu confiabilidad

Tiny Rider · 9 ✦

acabo de clonarlo, el readme está decente, la compilación tardó un rato. todavía no he hecho pruebas de rendimiento, informaré más adelante

Pablo Martín · 8 ✦

¿eso soporta algo más que nvidia? pregunto por mi triste pila de tarjetas AMD