Ich habe ein System mit vier Intel Arc Pro B70 gebaut und dokumentiere, was ich bei lokaler LLM-Inferenz mit vLLM, SGLang und llama.cpp lerne. Das Ziel ist schlicht: reproduzierbare Befehle, rohe Beobachtungen und klare Grenzen dessen, was ein Test tatsächlich aussagt.
Vier Karten mit jeweils 32 GB, direkt über PCIe angebunden. Softwareversionen, Startbefehle und Messbedingungen gehören an jedes einzelne Ergebnis statt in eine pauschale Seitenbehauptung.
Geprüfte technische Notizen aus dem Projekt:
Lokales LLM-Serving scheitert selten an der Rechenleistung, sondern an der Speicherbandbreite: 70B-Modelle sind auf 608 GB/s GDDR6 oft auf unter 16 Tokens/s limitiert. DFlash2 löst diese Blockade durch parallele Block-Diffusion statt sequenziellem Drafting und verdreifacht den Durchsatz auf Intel Arc und modernen Workstations – mathematisch verlustfrei und nativ integriert in vLLM und SGLang.
Intel nennt für die Arc Pro B65 32 GB GDDR6 und 608 GB/s. Diese Übersicht trennt GPU-Spezifikationen von Kartendetails und gemessener Inferenzleistung.
Der Patch SGLang v0.5.15.post1 betrifft DSA-Modellstarts, CUDA-Abhängigkeiten und GLM-5.2. Ein genauerer Blick auf den korrigierten CuTe-DSL-Import.
SGLang v0.5.15 ergänzt XPU-Graphen und Speculative Decoding. Die Änderungen dokumentieren auch eine Grenze der Graph-Aufzeichnung im Intel-Testbackend.