Guía de IA Local

Corre IA de última generación en tu propio hardware.

Privacidad total, cero coste por token. De un portátil recién configurado a un LLM funcionando en unos 15 minutos.

¿Por qué correr IA localmente?

Privacidad

Tus prompts nunca salen de tu máquina.

Costo cero

Sin cargos de API. Sin límites de uso.

Offline

Funciona en un avión. Funciona sin internet.

Control total

Elige modelo, pesos y prompt de sistema.

Hardware necesario

Tamaño	RAM mínima	GPU recomendada	Velocidad
3B – 8B	8 GB	Ninguna / integrada	20-50 tok/s CPU
13B – 27B	16 GB	8 GB VRAM (RTX 3060)	15-30 tok/s
70B (cuantizado)	32-48 GB	24 GB VRAM (RTX 4090 / M3 Max)	10-20 tok/s
405B	64+ GB unificada	M3 Ultra o 2x A100	5-10 tok/s

Apple Silicon rinde por encima de su categoría gracias a la memoria unificada. Un M3 Max de 64 GB ejecuta Llama 3.3 70B mejor que muchas GPU de gaming caras.

Cuantización y GGUF

Un modelo 70B bruto ocupa unos 140 GB. La cuantización reduce ese tamaño al guardar pesos con menor precisión (4-bit, 5-bit, 8-bit), casi sin perder calidad en la mayoría de tareas. El formato .gguf es el estándar de la comunidad para modelos cuantizados.

Una buena opción predeterminada: Q4_K_M. Reduce el tamaño en ~4x preservando 98%+ de la calidad.