Qwen3.8 27B

Overzicht

Qwen3.8 27B is het dense lid van de Qwen3.8-familie en de basis voor een groot deel van de community-fine-tunes die nu populair zijn op Hugging Face. Het ondersteunt een thinking-modus en een instruct-modus (zonder thinking) en een native contextvenster van 262.144 tokens.

Hardware

Met UD-Q4_K_XL zijn de gewichten 17.6 GB, dus een kaart van 24 GB kan het met een bescheiden context draaien. Voor lange contexten of meerdere parallelle verzoeken neem je een kaart van 48 GB of groter, of draai je Q8_0 op een GPU van 80 GB.

De groottes zijn de GGUF-bestandsgroottes uit unsloth/Qwen3.8-27B-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.

Uitrollen op Loadcore

1. Open in de console Modellen en zoek naar unsloth/Qwen3.8-27B-GGUF.
2. Kies de kwantisatie die op de doelserver past en start de download.
3. Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
4. Laat je tools met je persoonlijke sleutel naar http://your-server:9090/v1 wijzen.

Aanbevolen instellingen

De modelkaart geeft aparte instellingen voor de instruct-modus: temperature 0.7, top_p 0.8, top_k 20 en presence_penalty 1.5. De waarden hieronder zijn voor de thinking-modus.

Bron: Qwen/Qwen3.8-27B.