Cómo montar un servidor de IA local con 500 euros: guía de hardware y software

Montar un servidor de IA local ya no es un proyecto reservado a entusiastas con presupuestos ilimitados. Por menos de 500 euros puedes tener una máquina capaz de ejecutar modelos de lenguaje de hasta 14.000 millones de parámetros, servir asistentes privados, automatizar tareas en Home Assistant y experimentar con visión artificial sin depender de la nube. Esta guía recoge una configuración equilibrada entre rendimiento, consumo y precio, con componentes reales que puedes comprar hoy.

Eligiendo el hardware: rendimiento, memoria y consumo

La pieza más importante no es la CPU ni el almacenamiento: es la memoria RAM. Los modelos de lenguaje cargan todos sus parámetros en memoria durante la inferencia, y cuanta más RAM tengas, más grande y capaz será el modelo que puedas ejecutar. Una plataforma basada en Intel Core i5 de undécima o duodécima generación, o en AMD Ryzen 5 5600, ofrece seis núcleos físicos suficientes para mover cargas de inferencia en CPU y dejar margen para servicios auxiliares como Home Assistant, Docker o un frontend web.

Para una caja concreta, un PC reacondicionado Dell OptiPlex 3090 o HP EliteDesk 800 G8 con procesador Intel Core i5-10500T o i5-11500T se encuentra en el mercado de segunda mano por entre 180 y 250 euros. Añade 32 GB de RAM DDR4 (dos módulos de 16 GB) por unos 60 euros, un SSD NVMe de 500 GB por 45 euros, y reserva el resto para mejoras futuras o una GPU de gama baja si encuentras una buena oferta. El consumo total ronda los 35-65 W en carga, mucho menos que un workstation dedicado.

No esperes ejecutar Llama 3.1 70B ni GPT-4o localmente con este presupuesto, pero sí podrás correr modelos como Qwen2.5 7B, Llama 3.1 8B, Mistral 7B o Gemma 2 9B con velocidades de entre 15 y 35 tokens por segundo en CPU, o superar los 50 tokens/s si añades una GPU como la NVIDIA RTX 3060 de 12 GB, que ya se consigue por 160-200 euros de ocasión.

• CPU: Intel i5-10500T/i5-11500T o AMD Ryzen 5 5600
• RAM: 32 GB DDR4 como mínimo, expandible a 64 GB
• Almacenamiento: SSD NVMe de 500 GB para modelos y contenedores
• Consumo: 35-65 W en carga, ideal para estar siempre encendido
• GPU opcional: NVIDIA RTX 3060 12 GB para acelerar inferencia

Software base: sistema operativo y contenedores

Ubuntu Server 24.04 LTS es la opción más sencilla para un servidor de este tipo. Tiene soporte prolongado, buenos drivers de NVIDIA y una comunidad enorme que documenta casos de uso con Ollama, text-generation-webui y otros ejecutores de modelos. Instálalo sin entorno gráfico para ahorrar recursos; todo se gestionará por SSH o, como mucho, con un panel ligero como CasaOS o Dockge.

Docker es casi obligatorio. Te permite aislar cada servicio en su propio contenedor y probar combinaciones sin romper el sistema base. En pocos minutos puedes levantar Ollama para los modelos de lenguaje, Open WebUI como interfaz de chat tipo ChatGPT, Whisper para transcripción de audio, y ComfyUI o Stable Diffusion WebUI si decides experimentar con generación de imágenes. Cada contenedor consume lo que necesita y nada más.

Para gestionar el arranque y la actualización de contenedores, usa docker compose. Guarda un archivo docker-compose.yml en /opt/services con las definiciones de cada servicio, volumen para los modelos y variables de entorno. Así podrás reconstruir el servidor en otra máquina simplemente copiando ese archivo y los datos persistentes.

Ollama: el motor de inferencia más sencillo

Ollama se ha convertido en el estándar de facto para ejecutar LLMs localmente gracias a su instalación en una sola línea y su catálogo amplio de modelos. Tras instalarlo con curl -fsSL https://ollama.com/install.sh | sh, puedes descargar modelos con ollama pull llama3.1:8b o ollama pull qwen2.5:7b. Cada modelo se almacena en ~/.ollama/models y se sirve por una API REST en el puerto 11434, compatible con la API de OpenAI.

La API de Ollama permite integrar el servidor con cualquier herramienta: Open WebUI, navegadores con extensiones como Page Assist, Home Assistant a través de addons, o tus propios scripts en Python. Un ejemplo real: con Qwen2.5 7B cuantizado a 4 bits, el servidor responde en menos de dos segundos para tareas de resumen de texto, clasificación de correos o generación de ideas.

Para sacar el máximo provecho de una GPU NVIDIA, instala el driver propietario, NVIDIA Container Toolkit, y reinicia Ollama. Verifica que el modelo corre en la GPU con nvidia-smi mientras genera texto. Si solo tienes CPU, Ollama aprovecha AVX2 para acelerar los cálculos, aunque la velocidad será menor y los modelos deberán cuantizarse a 4 bits para caber en 32 GB de RAM.

Casos de uso prácticos y ahorro real

Un servidor de IA local no es solo un juguete técnico. En la práctica puedes montar un asistente privado para tu hogar, procesar documentos sin subirlos a la nube, automatizar respuestas de correo, generar borradores de código y analizar logs de tus servidores. Todo ello sin suscripciones mensuales ni preocupaciones por dónde terminan tus datos.

Comparando costes, una suscripción a un asistente de IA en la nube puede costar entre 15 y 30 euros al mes. Invertir 500 euros en hardware propio se amortiza en 16-33 meses, pero además conservas la privacidad, reduces la latencia y tienes control total sobre qué modelos usar. Si amortizas el equipo cinco años, el coste mensual ronda los 8 euros, sin contar la electricidad, que con un consumo medio de 45 W puede sumar otros 4-6 euros mensuales.

El rendimiento no es comparable al de un servicio cloud con GPUs A100, pero para tareas personales y pequeñas oficinas es más que suficiente. Un Llama 3.1 8B cuantizado a 4 bits produce respuestas coherentes, programación funcional básica y resúmenes de textos largos sin fallos graves. La clave está en elegir el modelo adecuado para cada tarea en lugar de intentar correr el modelo más grande posible.

Escalabilidad y próximos pasos

El equipo descrito deja espacio para crecer. Puedes ampliar la RAM a 64 GB por otros 60 euros, instalar una segunda GPU si la placa lo permite, o migrar los contenedores a una máquina más potente cuando aparezca una oferta interesante. Mientras tanto, aprovecha el aprendizaje: entender cómo se cuantizan los modelos, cómo se organizan los prompts y cómo se mide la latencia te dará ventaja incluso si luego usas APIs comerciales.

Una mejora interesante a corto plazo es añadir almacenamiento dedicado para modelos. Un disco de 1 TB o 2 TB te permitirá conservar varias versiones cuantizadas de cada familia de modelos y compararlas sin descargas constantes. También es recomendable configurar backups automáticos de tus volúmenes Docker y de los datos de configuración, por ejemplo con restic o con un script simple de rsync hacia un NAS o disco externo.

Finalmente, documenta tu setup. Apunta el modelo por defecto de cada servicio, los puertos expuestos, las contraseñas y los comandos de actualización. Cuando dentro de seis meses quieras cambiar algo, agradecerás tenerlo por escrito. Un buen homelab no es el que tiene más hardware, sino el que se mantiene sin fricción.

Montar un servidor de IA local con 500 euros es hoy una opción realista, útil y accesible. Con un PC reacondicionado, 32 GB de RAM, un SSD NVMe y Ollama corriendo en Docker puedes ejecutar modelos de lenguaje potentes, mantener tus datos en casa y aprender de primera mano cómo funciona la infraestructura de IA. No necesitas la última tarjeta gráfica ni un data center: necesitas una configuración equilibrada, paciencia para probar modelos, y ganas de no depender de la nube para todo. Empieza con el hardware, instala Ollama y descubre hasta dónde puedes llegar con una máquina que, literalmente, es tuya.

Fuentes

• Ollama - https://ollama.com/
• Ubuntu Server 24.04 LTS - https://ubuntu.com/server
• Docker Compose documentation - https://docs.docker.com/compose/
• Open WebUI - https://github.com/open-webui/open-webui
• NVIDIA Container Toolkit - https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/

*Este articulo es parte de ByteStream, analisis tecnico sobre IA, desarrollo y self-hosting.*