On-Premise LLM: KI selbst hosten auf GPU-Servern, die Sie kontrollieren.
On-Premise-KI bedeutete bisher ein Team von Ingenieuren, die sich per SSH auf GPU-Rechner schalten, Inferenzserver kompilieren und Modellversionen von Hand abgleichen. Loadcore macht daraus einen Agent pro Server und eine Console für die ganze Flotte, während die Inferenz auf Ihrer Hardware bleibt.
Was On-Premise mit Loadcore bedeutet
Loadcore trennt Inferenzverkehr von Steuerungsverkehr:
- Inferenzverkehr läuft von Ihren Nutzern und Tools direkt zum Loadcore Agent auf Ihrem Server. Prompts, Antworten und Streaming-Ausgaben verlassen Ihr Netzwerk nie.
- Steuerungsverkehr läuft vom Agent zur Loadcore-Steuerungsebene: Heartbeats mit Betriebssystem, GPU und Speicher, Download-Fortschritt, Instanzstatus und Prüfungen von API-Schlüsseln.
Ihre Daten bleiben also on-premise, und Sie erhalten eine verwaltete Console, ohne einen eigenen Management-Stack zu betreiben.
Vom leeren GPU-Server zum laufenden Modell
- Registrieren Sie einen Server in der Console und kopieren Sie seinen einmaligen Serverschlüssel.
- Starten Sie den Agent mit diesem Schlüssel. Er installiert llama.cpp und beginnt, Heartbeats zu senden.
- Laden Sie ein Modell von Hugging Face in der Quantisierung, die zu Ihrem VRAM passt.
- Starten Sie eine Instanz mit Ihrem Port, Ihrer Kontextgröße und Ihren GPU-Layern.
- Verteilen Sie Schlüssel. Mitglieder erstellen persönliche API-Schlüssel und nutzen jedes OpenAI-kompatible Tool.
Für GPU-Server in Ihrem eigenen Cloud-Konto stellt die Console ein Startskript bereit. Fügen Sie es in das User-Data- oder cloud-init-Feld des Anbieters ein, und der Server erscheint beim ersten Start in der Console.
Gebaut für eine Flotte, nicht für einen einzelnen Rechner
- Health-Checks für jede laufende Instanz alle 15 Sekunden.
- Heartbeats alle 30 Sekunden, damit Sie sehen, welche Server online sind, was darauf läuft und wie viel Speicher frei ist.
- Zugriff pro Modell über Abteilungen, bei jeder Anfrage vom Agent durchgesetzt.
- Verteilte Instanzen, die ein Modell über llama.cpp RPC auf bis zu acht Server aufteilen, sodass ein Modell mit 70B+ auf mehrere 24-GB-Karten passt, die Sie bereits besitzen.
Offene Formate, kein Lock-in
Loadcore betreibt GGUF-Modelle mit llama.cpp, dem am weitesten verbreiteten offenen Stack für lokale Inferenz. Ihre Gewichte liegen in einem normalen Verzeichnis auf Ihrem Server, und die API ist OpenAI-kompatibel. Falls Sie Loadcore je verlassen, laufen Ihre Modelle und Integrationen weiter.
Weiterführend
Lesen Sie, wie Loadcore in eine DSGVO-konforme KI passt, oder vergleichen Sie die Kosten mit dem LLM-Kostenrechner.
Häufige Fragen
Ist Loadcore vollständig on-premise?
Die Inferenz ist es. Modelle, Prompts und Antworten laufen und bleiben auf Ihren eigenen Servern. Die Steuerungsebene, die Server, Modelle, Abteilungen und Schlüssel verwaltet, ist ein von Loadcore betriebener Managed Service. Der Agent benötigt daher eine ausgehende Verbindung dorthin.
Welchen Netzwerkzugriff braucht der Agent?
Eine ausgehende Verbindung zur Loadcore-Steuerungsebene für Heartbeats und Schlüsselprüfungen, die der Agent fünf Minuten zwischenspeichert, sowie zu Hugging Face, wenn Sie ein Modell herunterladen. Ihre Nutzer erreichen den Agenten innerhalb Ihres eigenen Netzwerks, und Prompts verlassen es nie.
Welche Server werden unterstützt?
Linux-Server mit einer GPU, die llama.cpp unterstützt. Eigene Racks, eine Colocation-Maschine oder ein GPU-Server, den Sie in Ihrem eigenen Cloud-Konto mieten, funktionieren alle gleich.
Wie skalieren wir über einen Server hinaus?
Betreiben Sie dasselbe Modell auf mehreren Servern für mehr Durchsatz, betreiben Sie verschiedene Modelle auf verschiedenen Servern, oder verteilen Sie ein großes Modell mit einer verteilten Instanz auf bis zu acht Server in Ihrem lokalen Netzwerk.
Starten Sie heute Ihr erstes Modell.
Registrieren Sie einen GPU-Server, laden Sie ein offenes Modell und geben Sie Ihrem Team einen API-Schlüssel.