Gemma 4 31B

Overzicht

Gemma 4 31B is het dense vlaggenschip van de Gemma 4-familie van Google, getraind op instructies en geschikt voor afbeeldingen als invoer. Het heeft een contextvenster van 262.144 tokens.

Hardware

Q4_K_M is 18.3 GB en Q8_0 33.2 GB. Een kaart van 48 GB zoals de L40S draait Q8_0 met ruimte voor context, een kaart van 24 GB draait Q4_K_M met een kortere context. Voor afbeeldingen als invoer heb je het aparte mmproj-bestand uit de GGUF-repo nodig.

Kwantisatie	Gewichten
Q4_K_M	18.3 GB
Q6_K	25.2 GB
Q8_0	33.2 GB

De groottes zijn de GGUF-bestandsgroottes uit unsloth/gemma-4-31B-it-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.

Uitrollen op Loadcore

1. Open in de console Modellen en zoek naar unsloth/gemma-4-31B-it-GGUF.
2. Kies de kwantisatie die op de doelserver past en start de download.
3. Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
4. Laat je tools met je persoonlijke sleutel naar http://your-server:9090/v1 wijzen.

Aanbevolen instellingen

Parameter	Waarde
temperature	1.0
top_p	0.95
top_k	64
repeat_penalty	1.0
min_p	0.0

De waarden hieronder zijn de standaardwaarden die Google in de modelkaart aanbeveelt.

Bron: google/gemma-4-31B-it.