Gemma 4 31B

Resumen

Gemma 4 31B es el modelo denso insignia de la familia Gemma 4 de Google, ajustado para seguir instrucciones y capaz de recibir imágenes. Tiene una ventana de contexto de 262.144 tokens.

Requisitos de hardware

Q4_K_M ocupa 18.3 GB y Q8_0 33.2 GB. Una tarjeta de 48 GB como la L40S ejecuta Q8_0 con espacio para el contexto, y una de 24 GB ejecuta Q4_K_M con un contexto más corto. Para la entrada de imágenes necesitas el archivo mmproj aparte del repo GGUF.

Cuantización	Pesos
Q4_K_M	18.3 GB
Q6_K	25.2 GB
Q8_0	33.2 GB

Los tamaños son los de los archivos GGUF de unsloth/gemma-4-31B-it-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.

Despliegue en Loadcore

1. En la consola, abre Modelos y busca unsloth/gemma-4-31B-it-GGUF.
2. Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
3. Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
4. Apunta tus herramientas a http://your-server:9090/v1 con tu clave personal.

Ajustes recomendados

Parámetro	Valor
temperature	1.0
top_p	0.95
top_k	64
repeat_penalty	1.0
min_p	0.0

Los valores de abajo son los recomendados por Google en la ficha del modelo.

Fuente: google/gemma-4-31B-it.