Gemma 4 26B A4B
De mixture-of-experts-versie van Gemma 4. Bijna net zoveel geheugen als de 31B, maar met maar 3.8B actieve parameters levert hij veel meer tokens per seconde.
Overzicht
Gemma 4 26B A4B gebruikt 128 experts plus één gedeelde expert, waarvan er 8 per token actief zijn. Dat geeft 3.8B actieve van in totaal 26B parameters. Volgens Google is hij bijna zo snel als een 4B-model.
Hardware
MXFP4 en UD-Q4_K_XL zitten rond de 17 GB en Q8_0 op 27.3 GB. Een goede keuze voor druk gebruikte chat op kaarten van 24 tot 48 GB.
| Kwantisatie | Gewichten |
|---|---|
| MXFP4 | 16.6 GB |
| UD-Q4_K_XL | 17.0 GB |
| Q8_0 | 27.3 GB |
De groottes zijn de GGUF-bestandsgroottes uit unsloth/gemma-4-26B-A4B-it-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.
Uitrollen op Loadcore
- Open in de console Modellen en zoek naar
unsloth/gemma-4-26B-A4B-it-GGUF. - Kies de kwantisatie die op de doelserver past en start de download.
- Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
- Laat je tools met je persoonlijke sleutel naar
http://your-server:9090/v1wijzen.
Aanbevolen instellingen
| Parameter | Waarde |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 64 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Dezelfde aanbevolen standaardwaarden als Gemma 4 31B.
Bron: google/gemma-4-26B-A4B-it.