Ergebnisse verfügbarIntel Arc Pro B70

Intel Arc Pro B70 Benchmarks

Modelle und exakte Laufkonfigurationen durchsuchen. Messprofile, Ressourcen und Nachweise bleiben dem jeweiligen Lauf zugeordnet.

Modellkarten
37
Detailseiten
56
Engines
3

Modelle mit Detailkonfigurationen

Eine Modellkarte bleibt bestehen, während verfügbare Laufkonfigurationen hinzukommen.

37 MODELLE

AutoModelForCausalLM 0.5B

Qwen2.5-0.5B-Instruct

Qwen2.5-0.5B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 222,69 tok/s Peak 30,13 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 103,47 tok/s Peak 30,69 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 0.6B

Qwen3-0.6B-BF16

Qwen3-0.6B-BF16 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 159,07 tok/s Peak 30,08 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 86,3 tok/s Peak 30,82 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 0.6B

Qwen3-0.6B-FP8

Qwen3-0.6B-FP8 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · FP8 · Exklusive Nutzung C=1 · 163,99 tok/s Peak 30,07 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 0.8B

Qwen3.5-0.8B-BF16

Qwen3.5-0.8B-BF16 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 213,77 tok/s Peak 28,5 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 1.5B

DeepSeek-R1-Distill-Qwen-1.5B

DeepSeek-R1-Distill-Qwen-1.5B benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 146,48 tok/s Peak 29,98 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 94,43 tok/s Peak 30,77 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 2B

Qwen3.5-2B-BF16

Qwen3.5-2B-BF16 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 128,35 tok/s Peak 28,12 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 3B

Qwen2.5-3B-Instruct-AWQ

Qwen2.5-3B-Instruct-AWQ benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · AWQ · Exklusive Nutzung C=1 · 163,62 tok/s Peak 29,82 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · AWQ · Exklusive Nutzung C=1 · 74,25 tok/s Peak 30,82 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 3B

Qwen2.5-3B-Instruct

Qwen2.5-3B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 80,09 tok/s Peak 29,83 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 60,89 tok/s Peak 30,58 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 4B

Qwen3.5-4B-BF16

Qwen3.5-4B-BF16 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 61,53 tok/s Peak 28,23 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 7B

Qwen2.5-7B-Instruct

Qwen2.5-7B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 38,59 tok/s Peak 29,49 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 33,52 tok/s Peak 30,59 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 7B

Qwen2.5-VL-7B-Instruct

Qwen2.5-VL-7B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 38,94 tok/s Peak 27,95 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 7B

Qwen2.5-7B-Instruct-AWQ

Qwen2.5-7B-Instruct-AWQ benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · AWQ · Exklusive Nutzung C=1 · 109,51 tok/s Peak 29,52 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · AWQ · Exklusive Nutzung C=1 · 71,56 tok/s Peak 31,15 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 7B

Qwen2.5-Coder-7B-Instruct

Qwen2.5-Coder-7B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 38,56 tok/s Peak 29,49 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 32,99 tok/s Peak 30,6 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 8B

Qwen3-8B-BF16

Qwen3-8B-BF16 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 36,38 tok/s Peak 29,28 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 29,27 tok/s Peak 30,51 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 8B

Qwen3-VL-8B-Instruct

Qwen3-VL-8B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 36,31 tok/s Peak 27,96 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 8B

Qwen3-8B-AWQ

Qwen3-8B-AWQ benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · AWQ · Exklusive Nutzung C=1 · 100,04 tok/s Peak 29,28 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · AWQ · Exklusive Nutzung C=1 · 61,71 tok/s Peak 30,87 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 9B

Qwen3.5-9B-BF16

Qwen3.5-9B-BF16 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 34,85 tok/s Peak 27,9 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 14B

Qwen2.5-14B-Instruct-AWQ

Qwen2.5-14B-Instruct-AWQ benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · AWQ · Exklusive Nutzung C=1 · 59,44 tok/s Peak 28,99 GiB TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · AWQ · Exklusive Nutzung C=1 · 40,7 tok/s Peak 30,92 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 30B

Qwen3-30B-A3B-GPTQ-Int4

Qwen3-30B-A3B-GPTQ-Int4 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) vLLM-XPU · GPTQ · Exklusive Nutzung C=1 · 79,44 tok/s Peak 29,47 GiB
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM unknown

phi-4

phi-4 benchmarked on Intel Arc Pro B70 (32GB) with SGLang-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 18,31 tok/s Peak 30,39 GiB TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 24,35 tok/s Peak 59,46 GiB TP=2 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 35,59 tok/s Peak 60,83 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 14B

DeepSeek-R1-Distill-Qwen-14B

DeepSeek-R1-Distill-Qwen-14B benchmarked on Intel Arc Pro B70 (32GB) with SGLang-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 17,34 tok/s Peak 30,41 GiB TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 21,54 tok/s Peak 59,39 GiB TP=2 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 31,33 tok/s Peak 61,16 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 14B

Qwen2.5-14B-Instruct

Qwen2.5-14B-Instruct benchmarked on Intel Arc Pro B70 (32GB) with SGLang-XPU (TP=1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 17,23 tok/s Peak 30,49 GiB TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · BF16 · Exklusive Nutzung C=1 · 20,98 tok/s Peak 59,34 GiB TP=2 · Intel Arc Pro B70 (32GB) SGLang-XPU · BF16 · Exklusive Nutzung C=1 · 31,62 tok/s Peak 60,93 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 0.6B

Qwen3-0.6B-GGUF

Qwen3-0.6B-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-1 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · BF16 · Exklusive Nutzung C=1 · 337,9 tok/s Peak 2,49 GiB

AutoModelForCausalLM 0.5B

Qwen2.5-0.5B-Instruct-GGUF

Qwen2.5-0.5B-Instruct-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-1 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · BF16 · Exklusive Nutzung C=1 · 205,39 tok/s Peak 0,95 GiB

AutoModelForCausalLM 0.8B

Qwen_Qwen3.5-0.8B-GGUF

Qwen_Qwen3.5-0.8B-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-1 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · BF16 · Exklusive Nutzung C=1 · 293,68 tok/s Peak 1,43 GiB

AutoModelForCausalLM 3B

Qwen2.5-3B-Instruct-GGUF

Qwen2.5-3B-Instruct-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-1 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · BF16 · Exklusive Nutzung C=1 · 153,12 tok/s Peak 2,93 GiB

AutoModelForCausalLM 30B

Qwen3-30B-A3B-GGUF

Qwen3-30B-A3B-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-1).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-1 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · BF16 · Exklusive Nutzung C=1 · 116,33 tok/s Peak 19,43 GiB Layer-Split-2 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · GGUF · Exklusive Nutzung C=1 · 115,31 tok/s Peak 18,48 GiB

AutoModelForCausalLM 35B

Qwen3.6-35B-A3B-FP8

Qwen3.6-35B-A3B-FP8 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · FP8 · Exklusive Nutzung C=1 · 17,58 tok/s Peak 58,88 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 27B

Qwen3.8-27B-FP8

Qwen3.8-27B-FP8 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · FP8 · Exklusive Nutzung C=1 · 13,84 tok/s Peak 58,96 GiB TP=2 · Intel Arc Pro B70 (32GB) SGLang-XPU · FP8 · Exklusive Nutzung C=1 · 2,1 tok/s Peak 61,61 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 26B

gemma-4-26B-A4B-it-FP8-Dynamic

gemma-4-26B-A4B-it-FP8-Dynamic benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · FP8 · Exklusive Nutzung C=1 · 8,7 tok/s Peak 60,24 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 31B

gemma-4-31B-it-FP8-Dynamic

gemma-4-31B-it-FP8-Dynamic benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · FP8 · Exklusive Nutzung C=1 · 16,01 tok/s Peak 62,12 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

Qwen2ForCausalLM 27B

Qwen3.6-27B-int4-AutoRound

Qwen3.6-27B-int4-AutoRound benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · GPTQ · Exklusive Nutzung C=1 · 18,33 tok/s Peak 57,99 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 27B

Qwen3.8-27B-INT4-W4A16-AutoRound

Qwen3.8-27B-INT4-W4A16-AutoRound benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · INT4 · Exklusive Nutzung C=1 · 18,3 tok/s Peak 58,76 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

GemmaForCausalLM 31B

Gemma-4-31B-it-AutoRound-Int4

Gemma-4-31B-it-AutoRound-Int4 benchmarked on Intel Arc Pro B70 (32GB) with vLLM-XPU (TP=2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Intel Arc Pro B70 (32GB) vLLM-XPU · GPTQ · Exklusive Nutzung C=1 · 18,28 tok/s Peak 61,26 GiB
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar

AutoModelForCausalLM 42B

Phi-3.5-MoE-instruct-GGUF

Phi-3.5-MoE-instruct-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-2 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · GGUF · Exklusive Nutzung C=1 · 62,28 tok/s Peak 25,25 GiB

AutoModelForCausalLM 26B

gemma-4-26B-A4B-it-qat-q4_0-gguf

gemma-4-26B-A4B-it-qat-q4_0-gguf benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-2 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · GGUF · Exklusive Nutzung C=1 · 62,6 tok/s Peak 15,56 GiB

AutoModelForCausalLM 22B

Codestral-22B-v0.1-GGUF

Codestral-22B-v0.1-GGUF benchmarked on Intel Arc Pro B70 (32GB) with llama.cpp-SYCL (Layer-Split-2).

Lizenz: Nicht verfügbar

Verfügbare Laufkonfigurationen Exakte Messung
TP=1 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=2 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
TP=4 · Keine Detailseite Keine freigegebene Messung verfügbar. Nicht verfügbar
Layer-Split-2 · Intel Arc Pro B70 (32GB) llama.cpp-SYCL · GGUF · Exklusive Nutzung C=1 · 34,19 tok/s Peak 15,14 GiB

Benchmarks filtern

Verfügbare Topologie
Parallelität · Durchsatz Nur gemessene Workload

Was zu einer Messung gehört

WorkloadEin- und Ausgabelänge, Parallelität und Cache-Zustand gehören zur Messung.
RuntimeModellrevision, Engine und Topologie beschreiben den konkreten Lauf.
Separate PrüfungArtefakt und Prüfreport müssen zum selben SHA-256-Digest gehören. Fehlende Werte bleiben nicht gemessen.