gpt-oss 120B
Das Reasoning-Modell von OpenAI mit offenen Gewichten. Wird nativ in MXFP4 ausgeliefert und passt auf eine einzelne 80-GB-GPU.
Überblick
gpt-oss 120B hat 117B Parameter, von denen 5.1B pro Token aktiv sind. OpenAI positioniert es für Reasoning-Workloads in Produktion, die auf eine einzelne 80-GB-GPU wie eine H100 passen. Das Kontextfenster umfasst 131.072 Token.
Hardware-Anforderungen
Das GGUF von ggml-org ist der native MXFP4-Build mit 63.4 GB und lässt auf einer 80-GB-Karte Spielraum für Kontext.
| Quantisierung | Gewichte |
|---|---|
| MXFP4 | 63.4 GB |
Die Größen sind die GGUF-Dateigrößen aus ggml-org/gpt-oss-120b-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
ggml-org/gpt-oss-120b-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 1.0 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Die Model Card nennt keine Sampling-Werte. Temperature 1.0 und top_p 1.0 unten sind die für dieses Modell üblichen Standardwerte, passen Sie sie also an Ihre Workload an.
Quelle: openai/gpt-oss-120b.