Todos los modelos
Google
Gemma 4 26B A4B
El Gemma 4 mixture-of-experts. Casi la misma memoria que el 31B, pero con solo 3.8B parámetros activos, así que sirve muchos más tokens por segundo.
moechatvisionfast
Resumen
Gemma 4 26B A4B usa 128 expertos más un experto compartido, con 8 activos por token, lo que da 3.8B parámetros activos de 26B. Google afirma que es casi tan rápido como un modelo de 4B.
Requisitos de hardware
MXFP4 y UD-Q4_K_XL ocupan unos 17 GB y Q8_0 27.3 GB. Es una buena opción para chat con mucho tráfico en tarjetas de 24 a 48 GB.
| Cuantización | Pesos |
|---|---|
| MXFP4 | 16.6 GB |
| UD-Q4_K_XL | 17.0 GB |
| Q8_0 | 27.3 GB |
Los tamaños son los de los archivos GGUF de unsloth/gemma-4-26B-A4B-it-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.
Despliegue en Loadcore
- En la consola, abre Modelos y busca
unsloth/gemma-4-26B-A4B-it-GGUF. - Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
- Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
- Apunta tus herramientas a
http://your-server:9090/v1con tu clave personal.
Ajustes recomendados
| Parámetro | Valor |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 64 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Los mismos valores recomendados que Gemma 4 31B.
Fuente: google/gemma-4-26B-A4B-it.