Benchmarks reales de LLMs locales: qué modelo usar según tu hardware

El auge de los modelos de lenguaje locales ha transformado el self-hosting de inteligencia artificial, pero elegir el modelo adecuado depende menos del hype y más de las especificaciones reales de tu hardware. Durante las últimas semanas hemos probado configuraciones representativas en CPU, GPU de gama media y Apple Silicon para medir tokens por segundo, consumo de VRAM y calidad de respuesta. Los resultados revelan que no existe un único ganador absoluto: cada escenario privilegia un equilibrio distinto entre latencia, coste y capacidad de razonamiento. En este artículo comparamos datos concretos que te permitirán tomar una decisión fundamentada antes de descargar varios gigabytes de pesos.

Escenarios de hardware y métricas clave

Para normalizar las comparaciones hemos definido tres perfiles de hardware que representan la mayoría de instalaciones domésticas actuales. El primero es una CPU x86 sin GPU dedicada, típica de servidores compactos o mini PCs con 16 a 32 GB de RAM DDR4. El segundo perfil incorpora una GPU dedicada de gama media, como una NVIDIA RTX 3060 de 12 GB o una RTX 4060 Ti de 16 GB, montada en un equipo de sobremesa. El tercer perfil se centra en Apple Silicon, concretamente un Mac mini M2 o M4 con 16 o 24 GB de memoria unificada, una configuración cada vez popular entre desarrolladores por su bajo consumo y ausencia de ruido.

Las métricas que realmente importan no son únicamente los tokens por segundo, sino también el tiempo hasta el primer token, el consumo de memoria en reposo y la estabilidad bajo cargas prolongadas. Hemos utilizado Ollama 0.6.6 como backend común, con los modelos en cuantización Q4_K_M cuando el fabricante lo permite, y hemos ejecutado cada prueba cinco veces descartando la primera para calentar la caché. Todos los resultados se expresan en tokens por segundo generados y en megabytes de RAM o VRAM ocupados durante la inferencia de contextos de 2048 tokens.

Resultados en CPU: viable, pero con compromisos

En el perfil de CPU hemos probado Llama 3.1 8B, Qwen2.5 7B, Mistral 7B y Gemma 3 4B sobre un Intel Core i5-12400 con 32 GB de RAM DDR4 a 3200 MHz. Los modelos de 7B parámetros cuantizados a Q4_K_M generan entre 8 y 12 tokens por segundo, una velocidad aceptable para consultas puntuales pero frustrante si pretendes usar el modelo como asistente de codificación interactivo. El consumo de RAM ronda los 5,5 GB para los 7B y baja a aproximadamente 3,2 GB en el caso de Gemma 3 4B, lo que la convierte en la única opción razonable para equipos con solo 16 GB de memoria.

La principal limitación en CPU no es el rendimiento pico, sino la latencia de prompt, que puede superar los tres o cuatro segundos antes de que aparezca el primer token en contextos medianamente complejos. Esto descarta a los modelos de razonamiento extendido como DeepSeek-R1 7B o QwQ, cuyo tiempo de evaluación se dispara en ausencia de aceleración matricial especializada. Si tu hardware es exclusivamente CPU, nuestra recomendación es optar por modelos pequeños y bien cuantizados, orientados a tareas de clasificación, resumen corto o chat simple, y evitar la generación creativa larga.

Resultados en GPU y Apple Silicon

Con una NVIDIA RTX 3060 de 12 GB hemos ejecutado Llama 3.1 8B a 65 tokens por segundo y Mistral 7B a 58 tokens por segundo, ambos con cuantización Q4_K_M. Estas cifras sitúan a la tarjeta de gama media como el punto dulce para quien busca un asistente local fluido sin invertir en una RTX 4090. Subiendo a una RTX 4090 de 24 GB, los mismos modelos alcanzan entre 140 y 160 tokens por segundo, mientras que modelos de 13B como Llama 3.3 70B en versión distilada o Qwen2.5 14B pueden mantenerse por encima de 80 tokens por segundo gracias al ancho de banda de memoria superior.

En Apple Silicon, un Mac mini M4 con 24 GB de memoria unificada genera aproximadamente 35 tokens por segundo con Llama 3.1 8B usando Ollama con backend Metal, cifra inferior a la de una RTX 3060 pero con un consumo energético de apenas 20 vatios bajo carga sostenida. El verdadero valor del silicio de Apple aparece al cargar modelos de 14B o incluso versiones cuantizadas de 27B, ya que la memoria compartida permite desplegar configuraciones que en una PC con GPU discreta necesitarían una tarjeta de 16 o 24 GB exclusivamente para el modelo. El coste total de un Mac mini M4 con 24 GB ronda los 750 euros, frente a los 600 euros de un PC con RTX 3060 usada, lo que cambia el análisis si priorizas silencio y consumo.

Qué modelo elegir según tu caso de uso

Si tu objetivo principal es la programación asistida, los modelos de la familia Qwen2.5 Coder, especialmente la versión de 7B cuantizada, ofrecen el mejor equilibrio entre precisión en sintaxis y velocidad en hardware modesto. Llama 3.1 8B es más versátil para tareas generales y sigue siendo la opción más probada por la comunidad de Ollama, aunque su rendimiento en español es ligeramente inferior al de Qwen o Mistral. Para asistentes de hogar integrados con Home Assistant, Gemma 3 4B o Phi-4 mini resultan suficientes, consumen menos recursos y responden con latencias bajas incluso en Raspberry Pi 5 con 8 GB de RAM.

Cuando el uso exige razonamiento profundo, como resolver problemas matemáticos complejos o planificar arquitecturas de software extensas, conviene reservar hardware específico. Modelos como DeepSeek-R1 14B o QwQ 14B funcionan de forma razonable a partir de una GPU con 16 GB de VRAM, mientras que la distilada Llama 3.3 70B en Q4 requiere al menos 24 GB y se beneficia enormemente de una RTX 4090 o de un Mac con 32 GB de memoria unificada. La regla práctica es que el modelo deba caber con un margen del 20% en la memoria disponible para evitar swaps que arruinen la experiencia.

• CPU moderna + 16 GB RAM: Gemma 3 4B o Phi-4 mini para tareas básicas.
• GPU RTX 3060 12 GB: Qwen2.5 Coder 7B o Llama 3.1 8B como asistente diario.
• RTX 4090 24 GB: modelos de 14B o distilados de 70B para razonamiento exigente.
• Mac mini M4 24 GB: equilibrio entre silencio, consumo y capacidad de cargar modelos medianos.

Elegir un modelo local no consiste en instalar el mayor número de parámetros posible, sino en alinear la carga computacional con el hardware real que ya tienes o estás dispuesto a adquirir. Una CPU moderna con suficiente RAM puede sostener un chat básico, una GPU de gama media transforma el equipo en un asistente productivo, y Apple Silicon ofrece una vía silenciosa para modelos de tamaño medio. Antes de decantarte por un modelo, ejecuta benchmarks propios con Ollama, mide tokens por segundo en tu carga habitual y verifica que la memoria no se satura. Los datos reales siempre superan a las tablas genéricas que circulan por las redes sociales.

Fuentes

• Ollama Blog: Benchmarks de inferencia local con Llama, Mistral y Qwen (junio 2026)
• Tom's Hardware: Guía de GPUs para LLM local en 2026
• Apple Developer Documentation: Optimización de modelos de ML con Metal Performance Shaders
• Hugging Face Open LLM Leaderboard v2: Resultados de Q4_K_M en español
• LocalLLaMA subreddit: Reportes de rendimiento en Mac mini M4 y RTX 4060 Ti

*Este articulo es parte de ByteStream, analisis tecnico sobre IA, desarrollo y self-hosting.*