On-premise LLM draaien op GPU-servers die je zelf beheert.
On-premise AI betekende vroeger een team engineers dat via SSH op GPU-servers inlogde, inferentieservers compileerde en modelversies met de hand synchroon hield. Loadcore maakt daar één agent per server en één console voor de hele vloot van, terwijl de inferentie op je eigen hardware blijft.
Wat on-premise betekent met Loadcore
Loadcore scheidt inferentieverkeer van controleverkeer:
- Inferentieverkeer gaat van je gebruikers en tools rechtstreeks naar de Loadcore Agent op je server. Prompts, antwoorden en streaming-responses verlaten je netwerk nooit.
- Controleverkeer gaat van de agent naar het Loadcore-controlplane: heartbeats met besturingssysteem, GPU en geheugen, downloadvoortgang, status van instanties en controles van API-sleutels.
Je gegevens blijven dus on-premise, en je krijgt toch een beheerde console zonder zelf een beheerstack te draaien.
Van kale GPU-server tot draaiende tokens
- Registreer een server in de console en kopieer de eenmalige serversleutel.
- Start de agent met die sleutel. Hij installeert llama.cpp en begint heartbeats te sturen.
- Haal een model binnen van Hugging Face in de quantisatie die in je VRAM past.
- Start een instantie met je poort, contextgrootte en GPU-lagen.
- Deel sleutels uit. Leden maken persoonlijke API-sleutels aan en gebruiken elke OpenAI-compatibele tool.
Voor GPU-servers in je eigen cloudaccount geeft de console je een opstartscript. Plak het in het user data- of cloud-init-veld van de aanbieder en de server verschijnt bij de eerste boot in de console.
Gebouwd voor een vloot, niet voor één server
- Healthchecks op elke draaiende instantie, elke 15 seconden.
- Heartbeats elke 30 seconden, zodat je ziet welke servers online zijn, wat ze draaien en hoeveel geheugen er vrij is.
- Toegang per model via afdelingen, bij elk verzoek afgedwongen door de agent.
- Gedistribueerde instanties die één model met llama.cpp RPC over maximaal acht servers verdelen, zodat een model van 70B+ past op meerdere 24 GB-kaarten die je al hebt.
Open formaten, geen lock-in
Loadcore draait GGUF-modellen met llama.cpp, de meest gebruikte open stack voor lokale inferentie. Je gewichten staan in een gewone map op je server en de API is OpenAI-compatibel. Stap je ooit over, dan blijven je modellen en integraties werken.
Gerelateerd
Lees hoe Loadcore past in een AVG-conforme AI-opzet, of vergelijk de kosten met de LLM-kostencalculator.
Veelgestelde vragen
Is Loadcore volledig on-premise?
De inferentie wel. Modellen, prompts en antwoorden draaien en blijven op je eigen servers. Het controlplane dat servers, modellen, afdelingen en sleutels bijhoudt is een beheerde dienst van Loadcore, dus de agent heeft een uitgaande verbinding ernaar nodig.
Welke netwerktoegang heeft de agent nodig?
Een uitgaande verbinding naar het Loadcore-controlplane voor heartbeats en sleutelcontroles, die de agent vijf minuten in de cache bewaart, en naar Hugging Face wanneer je een model downloadt. Je gebruikers bereiken de agent binnen je eigen netwerk, en prompts verlaten dat nooit.
Welke servers worden ondersteund?
Linux-servers met een GPU die llama.cpp ondersteunt. Je eigen racks, een colocatieserver of een GPU-server die je in je eigen cloudaccount huurt: ze werken allemaal hetzelfde.
Hoe schalen we op voorbij één server?
Draai hetzelfde model op meerdere servers voor meer doorvoer, draai verschillende modellen op verschillende servers, of verdeel één groot model met een gedistribueerde instantie over maximaal acht servers op je lokale netwerk.
Draai vandaag je eerste model.
Registreer een GPU-server, download een open model en geef je team een API-sleutel.