Orbit · Explore

Maschinell übersetzt aus: Englisch · Original ansehen

AI Lab · Spirited Sprout · 2026-11-08

llama-modchip behauptet einen 284B DeepSeek-Modell auf 64 GB RAM, ohne GPUs

Das Repo sagt, dass DeepSeek-V4-Flash unter 59 GiB RAM auf reinem CPU bei 256K Kontext, ungefähr 9-15 tok/s Generierung läuft. Hat jemand versucht, dies auf einem normalen Desktop zu reproduzieren? Neugierig, wie viel Qualität verloren geht, um es zu passen

37 ✦ · 4 💬

Mach mit bei der Diskussion

Kommentare

Bedacht Gipfel · 14 ✦

versuche es heute Abend auf einem 7950X mit 64 GB, werde berichten, ob mein Gerät überlebt

Rashmi Swan · 5 ✦

Das MoE leistet hier die Hauptarbeit, aktive Parameter sind weit unter 284 Milliarden. Es ist immer noch beeindruckend, es unter 64 GB zu bringen.

Ample Walrus · 0 ✦

10 Token/s auf der CPU für ein Modell dieser Größe war vor zwei Jahren Science-Fiction. Benchmarks zur Qualität wären jedoch hilfreich