LLM on-premise: ejecuta modelos en servidores GPU que ya controlas.
La IA on-premise solía significar un equipo de ingenieros entrando por SSH a servidores GPU, compilando servidores de inferencia y sincronizando versiones de modelos a mano. Loadcore lo convierte en un agente por servidor y una consola para toda la flota, mientras la inferencia se queda en tu hardware.
Qué significa on-premise con Loadcore
Loadcore separa el tráfico de inferencia del tráfico de control:
- El tráfico de inferencia va de tus usuarios y herramientas directamente al Loadcore Agent de tu servidor. Los prompts, las respuestas y las respuestas en streaming nunca salen de tu red.
- El tráfico de control va del agente al plano de control de Loadcore: latidos con SO, GPU y memoria, progreso de descargas, estado de instancias y comprobación de claves de API.
Así, tus datos permanecen on-premise y a la vez tienes una consola gestionada sin tener que operar tu propia pila de gestión.
De un servidor GPU vacío a servir tokens
- Registra un servidor en la consola y copia su clave de servidor de un solo uso.
- Inicia el agente con esa clave. Instala llama.cpp y empieza a enviar latidos.
- Descarga un modelo de Hugging Face con la cuantización que quepa en tu VRAM.
- Inicia una instancia con tu puerto, tamaño de contexto y capas de GPU.
- Reparte claves. Los miembros crean claves de API personales y usan cualquier herramienta compatible con OpenAI.
Para servidores GPU en tu propia cuenta de nube, la consola te da un script de arranque. Pégalo en el campo de datos de usuario o cloud-init del proveedor y el servidor aparece en la consola en el primer arranque.
Pensado para una flota, no para un único equipo
- Comprobaciones de salud de cada instancia en ejecución cada 15 segundos.
- Latidos cada 30 segundos, para ver qué servidores están en línea, qué ejecutan y cuánta memoria les queda libre.
- Acceso por modelo mediante departamentos, aplicado por el agente en cada petición.
- Instancias distribuidas que reparten un modelo entre hasta ocho servidores con llama.cpp RPC, de modo que un modelo de 70B o más cabe en varias tarjetas de 24 GB que ya tienes.
Formatos abiertos, sin dependencia de proveedor
Loadcore ejecuta modelos GGUF con llama.cpp, la pila abierta más extendida para inferencia local. Tus pesos viven en un directorio normal de tu servidor y la API es compatible con OpenAI. Si algún día te vas, tus modelos e integraciones siguen funcionando.
Relacionado
Lee cómo encaja Loadcore en una IA compatible con el RGPD, o compara costes con la calculadora de costes de LLM.
Preguntas frecuentes
¿Es Loadcore totalmente on-premise?
La inferencia sí. Los modelos, los prompts y las respuestas se ejecutan y permanecen en tus propios servidores. El plano de control que registra servidores, modelos, departamentos y claves es un servicio gestionado por Loadcore, por lo que el agente necesita una conexión saliente hacia él.
¿Qué acceso de red necesita el agente?
Una conexión saliente al plano de control de Loadcore para los latidos y las comprobaciones de claves, que el agente guarda en caché durante cinco minutos, y a Hugging Face cuando descargas un modelo. Tus usuarios acceden al agente dentro de tu propia red, y los prompts nunca salen de ella.
¿Qué servidores son compatibles?
Servidores Linux con una GPU compatible con llama.cpp. Tus propios racks, un equipo en colocation o un servidor GPU alquilado en tu propia cuenta de nube funcionan exactamente igual.
¿Cómo escalamos más allá de un servidor?
Ejecuta el mismo modelo en varios servidores para más rendimiento, ejecuta modelos distintos en servidores distintos, o reparte un modelo grande entre hasta ocho servidores de tu red local con una instancia distribuida.
Pon en marcha tu primer modelo hoy.
Registra un servidor GPU, descarga un modelo abierto y entrega a tu equipo una clave API.