Je GPU's.
Je modellen.
Eén controlplane.
Loadcore is een gedistribueerd systeem dat open LLM's opstart, draait en beheert op je eigen GPU-servers. Zet op elke server een agent, rol modellen uit vanuit één console en bied ze je hele team aan via een OpenAI-compatibele API.
Drie onderdelen. Eén gedistribueerd systeem.
Het controlplane bepaalt wat waar moet draaien. Agents zorgen dat het gebeurt op je hardware. Je tools praten rechtstreeks met de agents.
Je team beheert de vloot. De API houdt de status bij en controleert sleutels.
Stuurt heartbeats en status door. Draait llama.cpp-instanties lokaal.
Verzoeken gaan rechtstreeks naar het /v1-endpoint van de agent, nooit via Loadcore.
Loadcore Console
Een webapp om elke server te zien, modellen binnen te halen, instanties te starten, mensen te beheren en het gebruik te volgen.
- +servers, modellen, instanties
- +leden, afdelingen, uitnodigingen
- +persoonlijke API-sleutels
- +persoonlijke gebruiksstatistieken
Loadcore API
Multi-tenant SaaS dat de status van de vloot, toegangsregels en sleutels bijhoudt. Het orkestreert en stuurt nooit inferentie door.
- +organisaties en rollen
- +serverregister via heartbeats
- +status van instanties en downloads
- +sleutelcontrole per model
Loadcore Agent
Eén Go-binary. Installeert llama.cpp, downloadt gewichten, bewaakt processen en serveert /v1 rechtstreeks.
- +installeert llama.cpp automatisch
- +GGUF-downloads met voortgang
- +health checks elke 15 s
- +OpenAI-compatibel op :9090/v1
Van kale GPU-server tot tokens serveren.
Alles waarvoor je vroeger per server via SSH inlogde, doe je nu vanaf één plek en blijft gelijk over de hele vloot.
- 01
Registreren
Voeg een server toe in de console en ontvang een eenmalige serversleutel.
servers / new - 02
Verbinden
Start de agent. Hij installeert llama.cpp en begint heartbeats te sturen.
./loadcore-agent - 03
Ophalen
Zoek op HuggingFace, kies een kwantisatie en download die naar de doelserver.
Q4_K_M 18.6 GB - 04
Serveren
Start een instantie met je eigen poort, contextgrootte en GPU-lagen.
:8081 ctx 32k ngl 99 - 05
Schalen
Draai hetzelfde model op meer servers voor extra doorvoer, of combineer modellen vrij.
3 replica's
Groter dan één GPU.
Een gedistribueerde instantie verdeelt één model over meerdere GPU-servers met llama.cpp RPC. Draai een model van 70B+ op meerdere 24 GB-kaarten die je al hebt.
Bevat llama-70b-Q8_0.gguf (75 GB) en 24 GB VRAM.
Elk 24 GB VRAM, geen modelbestand nodig.
Eén instantie, één endpoint, op je lokale netwerk.
Start een instantie op een hoofdserver en kies "Verdelen over servers" om rpc-servers toe te voegen. De console toont het gecombineerde GPU-geheugen naast de modelgrootte.
Alleen de hoofdserver heeft het modelbestand nodig. De rpc-servers dragen hun GPU-geheugen bij.
Eén hoofdserver en tot 7 rpc-servers per gedistribueerde instantie.
De servers moeten een snel lokaal netwerk delen. Elke rpc-server accepteert alleen verbindingen van de hoofdserver.
Dit is om grotere modellen te laten passen, niet voor snelheid. Om de belasting te spreiden draai je aparte instanties en kies je daartussen. De groottes in het diagram zijn een voorbeeld.
Bepaal wie welk model krijgt.
Deel leden in afdelingen in en geef per afdeling toegang tot modellen. Elk lid krijgt persoonlijke API-sleutels en de agent handhaaft de regels bij elk verzoek.
| Afdeling | qwen3-coder-next | gpt-oss-120b | gemma-4-31b | gemma-4-26b-a4b |
|---|---|---|---|---|
| Engineering | ||||
| Research | ||||
| Support | ||||
| Org-beheerders |
Engineering, Research, Support of wat bij je organisatie past. Iemand kan in meerdere afdelingen zitten.
Toegang geef je per model, zodat een groot redeneermodel bij het team blijft dat het nodig heeft.
Eén keer getoond en altijd in te trekken. Een sleutel heeft de rechten van zijn eigenaar, meer niet.
Nodig collega's uit per e-mail, of laat iedereen zelf een account aanmaken.
Je prompts komen nooit op onze servers.
Loadcore scheidt besturingsverkeer van inferentieverkeer. Het controlplane weet welke servers en modellen er zijn en wie ze mag gebruiken. Het ziet nooit een prompt, een antwoord of modelgewichten.
- Prompts en antwoorden
- Gestreamde antwoorden
- Blijft binnen je netwerk
- Heartbeats en systeeminfo
- Downloadvoortgang en instantiestatus
- Controle van API-sleutels, 5 minuten gecachet
Modelgewichten worden rechtstreeks van HuggingFace naar je server gedownload.
Eén commando per server.
Start de agent met de sleutel die je kreeg bij het registreren van de server. Richt daarna een willekeurige OpenAI-client erop met je persoonlijke sleutel.
# op je GPU-server
$ ./loadcore-agent \
--api-key="lc_your-server-key" \
--backend-url="https://api.loadcore.io"
Loadcore Agent starting on port 9090
llama.cpp not found, installing latest version...
llama.cpp installed
Agent listening on :9090
OpenAI-compatible API at http://localhost:9090/v1curl http://gpu-ams-01:9090/v1/chat/completions \
-H "Authorization: Bearer $LOADCORE_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3-coder-next.gguf",
"messages": [{"role": "user", "content": "Hello"}]
}'De doorvoer is van jou.
Een gehuurde H200 met Llama 4 Maverick onder Loadcore, vergeleken met betalen per token voor gehoste modellen. Gemengde prijs per 1M tokens.
Prijzen per april 2026. De gemengde prijs gaat uit van een verdeling van 50/50 tussen invoer en uitvoer. Doorvoer bij zelf hosten hangt af van kwantisatie en contextlengte, en gehoste API's bieden andere modelmogelijkheden.
Wat draait Loadcore op mijn servers?
Eén Go-binary, de Loadcore Agent. Die installeert llama.cpp, downloadt GGUF-modellen naar ~/.loadcore/models en start en bewaakt llama.cpp-processen op de poorten die je kiest.
Gaan mijn prompts via Loadcore?
Nee. Je tools roepen de agent op je eigen server direct aan. Het controlplane ontvangt alleen heartbeats, downloadvoortgang, instantiestatus en controles van API-sleutels.
Welke hardware heb ik nodig?
Een Linux-server met een GPU die llama.cpp ondersteunt. Je eigen racks, een server in een datacenter of een gehuurde cloud-GPU werken allemaal hetzelfde.
Welke modellen kan ik draaien?
Elk GGUF-model op HuggingFace, in elke kwantisatie die in je VRAM past. Draai verschillende modellen op verschillende servers, of hetzelfde model op meerdere voor extra doorvoer.
Hoe wordt toegang geregeld?
Leden horen bij afdelingen en afdelingen krijgen toegang tot specifieke modellen. Organisatiebeheerders kunnen elk model gebruiken. Elk verzoek bevat een persoonlijke sk-lc-sleutel die de agent controleert.
Is er een zelf te hosten controlplane?
Nee. De Loadcore API is een beheerde multi-tenant dienst. Alleen de agent draait in je infrastructuur, en daar vindt alle inferentie plaats.
Zet je GPU's aan het werk.
Registreer je eerste server en bied je team vandaag nog een model aan.