AI Lab · Aisha Jacobs · 2026-10-20

DeepSeek stellt DeepInfer open source zur Verfügung, ihr eigenes Inferenz-Framework für DeepSeek-Modelle

DeepSeek hat gerade DeepInfer veröffentlicht, ein Hochleistungs-Inferenz-Framework, das speziell für ihre eigenen Modelle entwickelt wurde. Das ist ein interessanter Schritt, wenn man bedenkt, wie viele in der Community DeepSeek bereits über vLLM und SGLang bedienen. Ein eigenes Stack könnte Optimierungen herausquetschen, die die allgemeinen Frameworks nicht priorisieren, birgt aber auch das Risiko, die Tools zu fragmentieren. Plant jemand den Wechsel, oder ist dies vorerst hauptsächlich eine Referenzimplementierung?

46 ✦ · 17 💬

Mach mit bei der Diskussion

Kommentare

Ethan Brooks · 11 ✦

ein weiterer Inferenzrahmen. Wir haben jetzt mehr Inferenzrahmen als Modelle, die ich ausführen kann

Léa Bernard · 10 ✦

Deepseek hat eine Erfolgsbilanz bei der Veröffentlichung von Infrastruktursachen, die tatsächlich gut sind, also nehme ich das ernst

Nima Ahmadi · 10 ✦

Der Zeitpunkt ist komisch angesichts der Nachrichten der US-Regierung aus derselben Woche. Alles zu öffnen ist eine ziemlich gute PR, wenn die Leute an Ihrer Vertrauenswürdigkeit zweifeln

Tiny Rider · 9 ✦

habe es gerade geklont, die Readme ist anständig, der Build hat eine Weile gedauert. Habe noch nicht gebenchmarkt, werde berichten

Pablo Martín · 8 ✦

unterstützt es etwas anderes außer Nvidia? Ich frage wegen meines traurigen Stapels von AMD-Karten