GLM-5.3
El modelo abierto insignia de Z.ai para trabajo agéntico y de programación, con contexto de 1M de tokens. Es grande, así que prevé un servidor dedicado con varias GPUs.
Resumen
GLM-5.3 es un modelo mixture-of-experts con 256 expertos, 8 activos por token, y unos 753B parámetros en total. Está orientado a la programación agéntica y al uso de herramientas, y admite una ventana de contexto de 1.048.576 tokens.
Requisitos de hardware
Los builds más pequeños que resultan prácticos empiezan en unos 217 GB (UD-IQ1_S) y UD-Q4_K_XL ocupa 467 GB, así que necesitas un nodo completo con varias GPUs.
| Cuantización | Pesos |
|---|---|
| UD-IQ1_S | 216.7 GB |
| UD-Q2_K_XL | 253.9 GB |
| UD-Q4_K_XL | 467.3 GB |
Los tamaños son los de los archivos GGUF de unsloth/GLM-5.3-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.
Despliegue en Loadcore
- En la consola, abre Modelos y busca
unsloth/GLM-5.3-GGUF. - Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
- Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
- Apunta tus herramientas a
http://your-server:9090/v1con tu clave personal.
Ajustes recomendados
| Parámetro | Valor |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
La ficha del modelo no da un único ajuste recomendado. La mayoría de las evaluaciones usan temperature 1.0 y top_p 0.95, que son los valores de abajo. Revisa los términos de la licencia de GLM-5.3 antes de usarlo.
Fuente: zai-org/GLM-5.3.