IA local en una PC modesta: qué esperar de verdad

Este tutorial te ayuda a ajustar expectativas antes de invertir horas en IA local: qué puede hacer tu compu de batalla, qué no, y cómo elegir el modelo correcto para no frustrarte. Es para vos si tenés una notebook común (8 GB de RAM, sin placa de video dedicada) y viste demasiados videos que prometen "ChatGPT gratis en tu PC".

Spoiler honesto: se puede, funciona, y a la vez no es lo mismo. Acá vamos a ver exactamente dónde está la línea.

Antes de empezar

• Tener Ollama instalado (o la herramienta de IA local que uses; los principios son los mismos).
• Conocer tu hardware. En Windows: clic derecho en el botón de inicio → "Sistema" te dice RAM y procesador. Anotá esos dos datos, son los que mandan.
• Aceptar una regla de oro: la RAM define qué modelos podés correr; el procesador define a qué velocidad. Sin placa de video dedicada, todo corre por CPU y va más lento. No es un error tuyo, es física.

Paso 1 — Ubicá tu compu en la escala real

Guía honesta, sin humo:

• 4 GB de RAM: solo modelos mini (1b). Sirven para probar el concepto, poco más.
• 8 GB de RAM: modelos chicos (1b a 3b) cómodos; un 7b u 8b entra justo, pero con todo lo demás cerrado y a velocidad de trámite público.
• 16 GB de RAM: modelos de 7b-8b con soltura, e incluso algo más grande.
• Placa de video con memoria propia: otra liga; ahí los modelos vuelan. Si no la tenés, no la necesitás para empezar.

Los números tipo "3b" o "7b" son los miles de millones de parámetros del modelo: a grandes rasgos, el tamaño del cerebro. Más grande = más capaz, pero también más RAM y más lentitud.

Paso 2 — Elegí el modelo según tu RAM, no según la moda

Con 8 GB, tu punto dulce son los modelos de 3b. Bajá uno y probalo con una tarea real tuya:

ollama run llama3.2:3b

o

ollama run qwen2.5:3b

Truco que salva RAM: los modelos que descarga Ollama vienen "cuantizados", una compresión que reduce mucho el peso del modelo perdiendo solo un poco de calidad. Es la razón por la que esto es posible en una compu común; no tenés que configurar nada, ya viene así.

Paso 3 — Medí la velocidad con tus propios ojos

Hacele la misma pregunta a tu modelo local y a un servicio en la nube (ChatGPT, Claude, el que uses). Vas a notar dos cosas:

1. El local tarda en arrancar y escribe más despacio. En CPU, esperá texto a ritmo de lectura lenta, no el chorro instantáneo de la nube.
2. El local se equivoca más en temas de conocimiento, matemática y tareas largas. Un modelo de 3b es un asistente junior, no un experto.

Esto no es fracaso: es el trato. A cambio, es gratis, privado y funciona sin internet.

Paso 4 — Asignale las tareas donde SÍ rinde

Un modelo chico local es genuinamente útil para:

• Resumir y reescribir textos que vos le pegás (ahí no necesita "saber", solo procesar).
• Borradores: correos, descripciones de producto, ideas de posteos.
• Datos sensibles: contratos, finanzas, información de clientes que no querés subir a ningún servidor ajeno.
• Trabajar sin internet o cuando se te acabó el crédito de la herramienta paga.

Y le queda grande:

• Razonamiento complejo o análisis largos.
• Preguntas de conocimiento fino (inventa con confianza; verificá siempre).
• Programar algo serio.
• Conversaciones muy largas: los modelos chicos "pierden el hilo" antes.

Paso 5 — Optimizá lo que tenés

• Cerrá el navegador y las apps pesadas antes de usar el modelo: cada GB de RAM libre cuenta.
• Un modelo a la vez. Corré ollama ps para ver cuál está cargado en memoria.
• Si la compu se arrastra, bajá un escalón de tamaño de modelo. Mejor un 1b fluido que un 8b congelado.
• Preguntas cortas y concretas rinden más que párrafos enormes de contexto.

Errores comunes

• "Bajé el modelo grande y la PC se murió": era esperable. Borralo con ollama rm y usá el tamaño que tu RAM banca. El modelo correcto es el que corre, no el que impresiona.
• "Responde cualquier cosa, esto es una estafa": le estás pidiendo tareas de modelo grande a un modelo chico. Reasignale trabajo: resumir, redactar, reformular. Ahí brilla.
• "Va lentísimo": revisá que no tengas mil cosas abiertas. Y si ya cerraste todo, esa es tu velocidad real: decidí si el caso de uso la justifica.
• "Se queda a mitad de respuesta": pedile respuestas más cortas o dividí la tarea en partes. Los modelos chicos rinden mejor en tramos breves.

Siguiente paso

Ya sabés qué esperar. Lo que sigue es armarte un flujo de trabajo híbrido: lo privado y lo simple a tu modelo local, lo pesado a la nube. También podés explorar modelos pequeños especializados (hay algunos sorprendentemente buenos para su tamaño) y aprender a escribir mejores instrucciones, que en modelos chicos hace una diferencia enorme.