Änderungen für Intel XPU

SGLang v0.5.14 führt eine SYCL-Implementierung von mRoPE für XPU-Geräte auf und aktualisiert die PyTorch-XPU-Abhängigkeit auf Version 2.12. Das sind die konkreten Intel-bezogenen Änderungen in den Release Notes des Projekts.

Die Version ergänzt außerdem Modelle wie GLM-5.2 und LiquidAI LFM2.5. Modell- und Geräteunterstützung gehören dabei zusammen: Ein Eintrag in der allgemeinen Modellliste belegt noch nicht, dass jede Modellkonfiguration auf einer Arc-Karte läuft. Die Release Notes ordnen mehrere Änderungen ausdrücklich einem Hardware-Backend zu.

Was der INT8-Checkpoint-Pool speichert

Die Cache-Änderung in Pull Request #28185 betrifft rekurrente Zustände von KDA- und Gated-DeltaNet-Modellen. Ein eigener Pool speichert zwischengespeicherte Zustände in INT8. Für die laufende Berechnung bleibt BF16-Arbeitsspeicher vorgesehen. Die Option ist standardmäßig ausgeschaltet.

Damit erhalten gespeicherte Präfixe ein eigenes Speicherbudget. Bei erneuter Verwendung wird der Zustand in den aktiven Pool zurückgeholt. Die Änderung betrifft die Darstellung gespeicherter rekurrenter Zustände; das Format der Modellgewichte ist eine separate Entscheidung.

Einordnung für ein Arc-System

Für eine Arc-Installation würde ich zunächst Modellarchitektur, XPU-Abhängigkeiten und gewählten Cache-Modus mit der geplanten Konfiguration abgleichen. Die Release Notes benennen dafür konkrete Ansatzpunkte. Ein Durchsatz- oder Latenzvergleich braucht weiterhin Messungen mit gleichem Modell, gleicher Arbeitslast und gleicher Hardwarekonfiguration sowie dokumentiertem Cache-Zustand.