Cómo montar un servidor de IA local con 500 euros: guía de hardware y software

Montar un servidor de inteligencia artificial en casa ya no requiere miles de euros en GPUs de gama alta ni suscripciones mensuales a la nube. Con una inversión controlada de unos 500 euros es posible montar una máquina capaz de ejecutar modelos de lenguaje de tamaño medio, asistentes locales, clasificación de documentos e incluso pequeños modelos de visión. Esta guía repasa las decisiones de hardware más sensatas para ese presupuesto, el software imprescindible y los modelos que realmente funcionan sin recurrir a tarjetas gráficas profesionales.

Definir el objetivo antes de gastar un euro

El primer paso no es elegir procesador ni caja: es decidir qué se va a ejecutar. Un servidor de IA local de 500 euros no moverá modelos de 70 mil millones de parámetros a velocidad decente, pero sí es válido para modelos de 7B a 13B parámetros en cuantización Q4 o Q5, embeddings, RAG con bases vectoriales livianas y tareas de asistente doméstico. Si el objetivo es entrenar redes neuronales desde cero o ejecutar Stable Diffusion XL a gran resolución, el presupuesto es insuficiente y conviene ser honesto al respecto.

La clave está en aceptar el compromiso entre velocidad, contexto y calidad del modelo. Con 16 GB de RAM compartida entre CPU y GPU en un Apple Mac mini M2 se ejecutan cómodamente modelos de 7B a 8B parámetros. En arquitectura x86, una GPU dedicada o una APU potente marcan la diferencia. No hace falta una RTX 4090 para empezar, pero sí entender que los tokens por segundo serán modestos comparados con servicios en la nube.

Opciones de hardware reales por 500 euros

Existen tres caminos viables en este rango de precio. El primero es un Apple Mac mini M2 con 16 GB de memoria unificada, que en el mercado de ocasión o reacondicionado ronda los 450-500 euros. Su ventaja es el consumo eléctrico (6-8 W en reposo, 20-25 W en carga), el silencio y la compatibilidad con Llama.cpp y Ollama mediante la aceleración Metal. En benchmarks como llama.cpp con modelos Q4_K_M de 7B, alcanza entre 25 y 35 tokens por segundo.

La segunda opción es un mini PC x86 con APU AMD Ryzen 7 7840HS o 8840HS, con gráfica integrada Radeon 780M y 32 GB de RAM DDR5. Equipos de esta familia, como los Beelink SER7 o Minisforum UM790 Pro, cuestan entre 450 y 550 euros con almacenamiento. La iGPU ofrece entre 2 y 4 GB de VRAM utilizable, suficiente para cargar un modelo de 7B en cuantización 4-bit con ROCm o Vulkan, y la CPU multinúcleo compensa bien en escenarios de embeddings y RAG.

La tercera opción es montar un PC de sobremesa con componentes de segunda mano: una CPU de 6 u 8 núcleos (Intel i5-10400 o Ryzen 5 5600X), 32 GB de RAM DDR4 y una GPU dedicada de mercado usado como una NVIDIA GTX 1660 Ti de 6 GB o una RTX 2060 de 6-8 GB. Con paciencia en el mercado de ocasión, el conjunto se puede ajustar a 500 euros, y la VRAM dedicada permite modelos de hasta 13B parámetros en Q4. El inconveniente es el consumo, el ruido y la mayor dificultad para mantenerlo en un salón.

• Mac mini M2 16 GB: 450-500 €, silencioso, Metal, ideal para 7B-8B.
• Mini PC AMD Ryzen 7 7840HS/8840HS: 450-550 €, 32 GB DDR5, iGPU Radeon 780M.
• PC usado con GTX 1660 Ti / RTX 2060: ~500 €, más ruido pero más VRAM dedicada.

Memoria, almacenamiento y consumo eléctrico

La RAM es el recurso más crítico en un servidor de IA local. Un modelo de 7B parámetros en cuantización Q4 necesita aproximadamente 4,5 GB de VRAM o RAM compartida. Si se añade un modelo de embeddings como nomic-embed-text y una base vectorial como ChromaDB o pgvector, conviene disponer de al menos 16 GB, aunque 32 GB dejan margen para ejecutar varios servicios simultáneos. En sistemas con GPU integrada, la memoria se comparte con el sistema operativo, por lo que cuanta más RAM se instale, mejor.

El almacenamiento también importa. Los modelos en formato GGUF de 7B ocupan entre 4 y 8 GB cada uno, y una colección modesta de modelos, datasets y checkpoints puede superar rápidamente los 100 GB. Un SSD NVMe de 512 GB es el mínimo recomendado; 1 TB resulta mucho más cómodo y hoy cuesta apenas 60-80 euros adicionales. Evitar discos mecánicos: la carga del modelo desde HDD ralentiza enormemente el arranque y la primera inferencia.

El consumo eléctrico es una variable olvidada que sí se nota en la factura a largo plazo. Un Mac mini M2 consume alrededor de 0,5 kWh al día si permanece encendido 24 horas, lo que se traduce en menos de 2 euros mensuales en España con tarifa media. Un PC de sobremesa con GPU dedicada puede consumir entre 1,5 y 3 kWh diarios, elevando el coste mensual a 6-12 euros. Si el servidor va a estar siempre encendido, la eficiencia energética justifica parcialmente invertir en hardware más moderno.

Stack de software imprescindible

La capa de ejecución de modelos se resuelve casi siempre con Ollama. Es compatible con macOS, Linux y Windows, gestiona modelos en formato GGUF, soporta múltiples modelos cargados en memoria y expone una API OpenAI-compatible muy útil para integrar con Home Assistant, n8n, AnythingLLM o aplicaciones propias. En sistemas con GPU AMD, Ollama detecta automáticamente la iGPU en Linux si el entorno ROCm está bien configurado; en Apple Silicon usa Metal de forma nativa.

Para modelos más específicos o control granular, Llama.cpp sigue siendo la referencia. Permite ejecutar casi cualquier arquitectura de transformer en CPU, Metal, CUDA, Vulkan o ROCm, y ofrece parámetros de cuantización, contexto y batching. Quien prefiera un entorno más genérico puede usar Docker para contenerizar Ollama, Open WebUI como interfaz conversacional y una base de datos vectorial como ChromaDB o Weaviate. Open WebUI ofrece una experiencia similar a ChatGPT, con gestión de conversaciones, modelos múltiples y soporte para RAG con documentos subidos por el usuario.

En el lado de la automatización del hogar, la integración con Home Assistant es directa: el componente de conversación puede apuntar al endpoint local de Ollama, sustituyendo el asistente en la nube por un asistente totalmente local. Para pipelines de agentes, herramientas como n8n, LangChain o hayhooks permiten encadenar llamadas al LLM local con búsquedas web, lectura de archivos o envío de notificaciones, siempre respetando el límite de contexto y la velocidad de inferencia de la máquina.

• Ollama: gestión y servicio de modelos locales con API compatible con OpenAI.
• Llama.cpp: motor de inferencia flexible para CPU, Metal, CUDA, Vulkan y ROCm.
• Open WebUI: interfaz web tipo ChatGPT para interactuar con modelos locales.
• ChromaDB / pgvector: almacenamiento vectorial para RAG y embeddings.
• n8n / Home Assistant: automatización conectada al endpoint local.

Modelos que funcionan bien en este rango

No todos los modelos de lenguaje son igual de útiles en un servidor modesto. Los más probados y eficientes en 7B-8B parámetros son Llama 3.1 8B Instruct, Mistral 7B Instruct v0.3, Gemma 2 9B y Qwen2.5 7B Instruct. En cuantización Q4_K_M ofrecen un equilibrio razonable entre calidad de respuesta, velocidad y consumo de memoria. En un Mac mini M2 con 16 GB, Llama 3.1 8B genera unos 30 tokens por segundo; en un mini PC AMD con iGPU Radeon 780M la cifra suele oscilar entre 15 y 25 tokens por segundo dependiendo del backend gráfico.

Para tareas de embeddings y RAG, nomic-embed-text y all-MiniLM-L6-v2 son livianos y funcionan en CPU sin problemas. En cuanto a visión, modelos como moondream2 o llava-phi3 de menos de 4B parámetros permiten experimentar con descripción de imágenes a costa de menor precisión. Es recomendable no cargar más de un modelo pesado a la vez si la RAM es limitada; Ollama gestiona la memoria, pero el rendimiento cae rápidamente cuando el sistema empieza a usar swap.

Puesta en marcha y primeras optimizaciones

Una vez montado el hardware, el paso inicial es instalar el sistema operativo, preferiblemente Linux (Ubuntu Server o una distribución ligera como Debian sin escritorio) si se busca estabilidad y bajo consumo. En Mac mini, macOS funciona bien, aunque muchos usuarios avanzados prefieren Asahi Linux o una VM ligera para mayor control. Después se instala Ollama con su script oficial, se descarga el primer modelo con `ollama pull llama3.1:8b` y se verifica la velocidad con `ollama run llama3.1:8b`.

Las primeras optimizaciones pasan por ajustar el contexto: no es necesario dejar 128K tokens si la mayoría de las consultas son cortas. Reducirlo a 8K o 16K mejora la latencia y reduce el uso de RAM. También conviene vigilar la temperatura: los mini PCs con APU AMD pueden rozar los 85-90 °C bajo carga sostenida, por lo que elevar la caja, limpiar ventiladores o incluso sustituir la pasta térmica son mejoras baratas. Finalmente, configurar un disco de swap en SSD debería ser la última opción, no la primera: el swap salva una ejecución puntual, pero ralentiza gravemente la inferencia si se usa de forma habitual.

Conclusión

Un servidor de IA local por 500 euros es una inversión realista y útil para quien quiera experimentar con modelos de lenguaje, automatizar tareas o reducir su dependencia de la nube. Las opciones más equilibradas son el Mac mini M2 con 16 GB para quien valore silencio y consumo, o un mini PC AMD Ryzen con 32 GB para quien prefiera flexibilidad x86 y más RAM. El software ya está maduro: Ollama, Open WebUI y un par de modelos de 7B-8B parámetros permiten tener un asistente funcional en menos de una hora. No se trata de replicar ChatGPT a escala empresarial, sino de recuperar soberanía sobre los datos y aprender de primera mano cómo funciona la inteligencia artificial en un entorno controlado.

Fuentes

• Ollama: https://ollama.com
• Llama.cpp: https://github.com/ggerganov/llama.cpp
• Open WebUI: https://github.com/open-webui/open-webui
• Apple Silicon ML Compute documentation: https://developer.apple.com/metal/ml-compute/
• AMD ROCm platform: https://www.amd.com/en/products/software/rocm.html