Qwen3.8 Flash Next
Het mixture-of-experts-model van Qwen met 125B parameters en maar 6B actief per token. Snel decoderen voor zijn omvang, als je het geheugen hebt om het te laden.
Overzicht
Qwen3.8 Flash Next is een sparse mixture-of-experts-model: 512 experts, waarvan per token 10 gerouteerde plus 1 gedeelde actief zijn, zo'n 6B geactiveerde van 125B parameters (plus n-gram-embeddings en een MTP-head). Omdat er zo weinig parameters actief zijn, decodeert het veel sneller dan een dense model van dezelfde totale omvang.
Hardware
Zelfs met UD-Q4_K_XL zijn de gewichten 111 GB, dus reken op één H200 van 141 GB of twee GPU's van 80 GB. UD-Q2_K_XL van 80 GB past met een kleine context op één H100.
| Kwantisatie | Gewichten |
|---|---|
| UD-Q2_K_XL | 79.6 GB |
| UD-Q4_K_XL | 111.3 GB |
| Q8_0 | 199.3 GB |
De groottes zijn de GGUF-bestandsgroottes uit unsloth/Qwen3.8-Flash-Next-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.
Uitrollen op Loadcore
- Open in de console Modellen en zoek naar
unsloth/Qwen3.8-Flash-Next-GGUF. - Kies de kwantisatie die op de doelserver past en start de download.
- Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
- Laat je tools met je persoonlijke sleutel naar
http://your-server:9090/v1wijzen.
Aanbevolen instellingen
| Parameter | Waarde |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Dezelfde samplingadviezen als de rest van de Qwen3.8-familie. De instruct-modus gebruikt temperature 0.7, top_p 0.8 en presence_penalty 1.5. Controleer de licentie voor commercieel gebruik, want die is niet Apache 2.0.
Bron: Qwen/Qwen3.8-Flash-Next.