Welche Fehler die Patch-Version adressiert

Die Release Notes zu v0.5.15.post1 beschreiben eine kleine Gruppe von Patches, überwiegend rund um GLM-5.2. Sie betreffen DSA-Modellstarts auf Geräten außerhalb von CUDA/HIP, eine FlashInfer-Abhängigkeit in CUDA-12-Images, ungültige Zahlenwerte in einem bestimmten FP4-MoE-Pfad sowie IndexShare bei getrenntem Prefill und Decode oder Context Parallelism.

Die Einträge behandeln unterschiedliche Backends und Konfigurationen. Die gemeinsame Versionsnummer macht nicht jede Korrektur für jede Installation relevant.

Eine konkrete Importkorrektur

Pull Request #30627 erläutert eine der Änderungen am Modellstart. Nach einer umgestellten Importreihenfolge verwies ein CuTe-DSL-Export für Paged MQA auf ein Modul statt auf die vorgesehene Funktion. Der Patch stellt den Funktionsexport wieder her.

Außerdem beschränkt er den Import des CuTe-DSL-Helfers auf CUDA. Andere Backends erhalten einen Platzhalter. Das gemeinsame Modul muss diesen CUDA-spezifischen Helfer damit nicht mehr laden. Die Änderung betrifft Backend-Auswahl und Modulladen, also einen Schritt vor der eigentlichen Tokenerzeugung.

So würde ich die Relevanz prüfen

Der Ausgangspunkt ist die fehlschlagende Phase: Modulimport, Modellstart oder die Ausführung mit einem bestimmten Attention- und Quantisierungspfad. Ich würde den Fehlertrace mit dem verlinkten Patch abgleichen, bevor ich einen Fehler diesem Versionsproblem zuordne. Ein erfolgreicher Import allein sagt noch nichts über dauerhaften Durchsatz, Speicherbedarf oder Ausgabequalität auf einem Arc-System aus.