Modelgidsen

Wat je draait, en hoe

Geheugen per kwantisatie en de sampling-instellingen die we aanraden bij het starten van een instantie.

ModelParametersContextKleinste kwant.Temp.Licentie
DeepSeek V4.1 Flash
DeepSeekuitgelicht
552B MoE (8B to 16B active)1MUD-IQ1_S 233.0 GB1.0MIT
Gemma 4 31B
Googleuitgelicht
31B dense262KQ4_K_M 18.3 GB1.0Apache 2.0
Qwen3.8 27B
Alibaba Qwenuitgelicht
27B dense262KUD-Q4_K_XL 17.6 GB1.0Apache 2.0
Gemma 4 26B A4B
Google
26B MoE (3.8B active)262KMXFP4 16.6 GB1.0Apache 2.0
GLM-5.3
Z.ai
753B MoE1MUD-IQ1_S 216.7 GB1.0GLM-5.3 License
gpt-oss 120B
OpenAI
117B MoE (5.1B active)131KMXFP4 63.4 GB1.0Apache 2.0
Nemotron 3.5 Lightning 30B A3B
NVIDIA
30B hybrid MoE (3B active)262KQ8_0 35.8 GB1.0OpenMDW 1.1
Qwen3 Coder Next
Alibaba Qwen
80B MoE (3B active)262KQ4_K_M 48.5 GB1.0Apache 2.0
Qwen3.8 Flash Next
Alibaba Qwen
125B MoE (6B active)262KUD-Q2_K_XL 79.6 GB1.0Qwen Community License 1.0