gpt-oss 120B
El modelo de razonamiento de pesos abiertos de OpenAI. Viene de forma nativa en MXFP4 y cabe en una sola GPU de 80 GB.
Resumen
gpt-oss 120B tiene 117B parámetros, de los que 5.1B están activos por token. OpenAI lo orienta a cargas de razonamiento en producción que caben en una sola GPU de 80 GB como una H100. La ventana de contexto es de 131.072 tokens.
Requisitos de hardware
El GGUF de ggml-org es el build nativo en MXFP4 de 63.4 GB, que deja margen para el contexto en una tarjeta de 80 GB.
| Cuantización | Pesos |
|---|---|
| MXFP4 | 63.4 GB |
Los tamaños son los de los archivos GGUF de ggml-org/gpt-oss-120b-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.
Despliegue en Loadcore
- En la consola, abre Modelos y busca
ggml-org/gpt-oss-120b-GGUF. - Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
- Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
- Apunta tus herramientas a
http://your-server:9090/v1con tu clave personal.
Ajustes recomendados
| Parámetro | Valor |
|---|---|
| temperature | 1.0 |
| top_p | 1.0 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
La ficha del modelo no indica valores de muestreo. Temperature 1.0 y top_p 1.0 abajo son los valores habituales para este modelo, así que ajústalos a tu carga de trabajo.
Fuente: openai/gpt-oss-120b.