Small language models en tu propia oficina: por qué tu PYME puede correr IA en local en 2026

En 2026 ya no necesitas enviar los datos de tu empresa a un servidor de otra persona para usar IA. Los modelos pequeños —small language models, SLMs— corren en un Mac Mini, en un PC con una RTX 4090 o en un NUC industrial por menos de lo que pagas al mes en tokens. Y con el EU AI Act plenamente aplicable desde el 2 de agosto, esa soberanía técnica ha dejado de ser una opción y se ha convertido en la forma más razonable de cumplir.

Por qué los modelos pequeños ya rinden en 2026 (datos primarios, no anécdotas)

Hace tres años, la sabiduría convencional decía que por debajo de 7.000 millones de parámetros no se podía hacer nada serio. Esa frase caducó. Hoy un modelo de 3,8B como Phi-4-mini-instruct de Microsoft alcanza un 63,5 en el promedio agregado de benchmarks oficiales (Arena Hard, MMLU, MMLU-Pro, GSM8K, MATH, ARC-C, GPQA, HellaSwag, IFEval, BFCL v2) y se coloca a la altura de GPT-4o-mini —con 65,0— y por encima de Llama-3.1-8B-Instruct, que se queda en 62,3. Los datos salen de la tarjeta del modelo en Hugging Face, no de un post de marketing.

En la familia de Meta, Llama 3.2 3B instruct obtiene 63,4 en MMLU, 77,7 en GSM8K (matemáticas) y 78,6 en ARC-C (razonamiento). Y, dato clave para una PYME española: 55,1 en MMLU en español y 58,2 en MGSM multilingüe. El mismo modelo que ejecuta un agente de soporte lo puedes desplegar para redactar emails en castellano sin enviar nada a un tercero.

Vikas Chandra, Senior Director & Distinguished Scientist de AI en Meta, lo resume en su State of the Union de on-device LLMs (2026): "MobileLLM-R1 demostró que 2–5 veces mejor rendimiento en benchmarks de razonamiento frente a modelos del doble de tamaño, ejecutándose íntegramente en CPU de móvil". La frontera no es ya el tamaño, sino el método de entrenamiento y la calidad del dato.

Las cuatro razones por las que esto importa para tu PYME

El propio Chandra las enumera como criterio técnico, y sirven igual para una clínica dental, una academia de idiomas o una gestoría:

Latencia. Una llamada cloud suma 200–500 ms antes del primer token. En local, un SLM emite tokens por debajo de 20 ms. En un agente de voz o en una atención al cliente por WhatsApp, esa diferencia se nota.
Privacidad. El dato que no sale de tu servidor no se puede filtrar en tránsito ni quedar en un log de un tercero. Para datos sanitarios, financieros o de clientes, esto importa. Y con el RGPD vigente, importa el doble.
Coste. Una consulta cloud es un coste variable; una consulta en local es un coste fijo que ya amortizaste al comprar el hardware. Para volúmenes altos, la economía es aplastante.
Disponibilidad. Sin nube no hay caída por pérdida de conectividad. Tu agente sigue funcionando en el portátil aunque se caiga el proveedor cloud.

La cuenta que cierra el debate: cloud vs local con números reales

Vamos a hacer las cuentas con las tarifas públicas de agosto de 2026, no con estimaciones.

Tarifas por millón de tokens (input / output) extraídas de OpenAI Pricing y Anthropic Pricing:

GPT-5 nano: $0,05 / $0,40 por MTok
GPT-4.1 nano: $0,10 / $0,40 por MTok
GPT-4.1: $2,00 / $8,00 por MTok
Claude Haiku 4.5: $1,00 / $5,00 por MTok
Claude Sonnet 5: $2,00 / $10,00 por MTok (precio confirmado hasta al menos el 31 de agosto de 2026)

Para una PYME española moviendo 100M input + 50M output al mes (un caso realista de agente IA con WhatsApp + web + email), los costes mensuales son:

GPT-5 nano: $25/mes (~$24)
GPT-4.1 nano: $30/mes
Claude Haiku 4.5: $350/mes
GPT-4.1: $600/mes
Claude Sonnet 5: $700/mes

Para la misma carga corriendo en local con una RTX 4090 (24 GB VRAM, 1.010 GB/s de ancho de banda, Ada Lovelace — especificaciones según getdeploying.com), el hardware cuesta entre $1.800 y $2.500 al contado y corre 24/7 con un consumo eléctrico razonable. Coste mensual fijo de electricidad: ~$15–$25. Amortización en 3–4 meses frente a Sonnet 5. Y a partir de ahí, cada mes ahorrado es margen.

EU AI Act y RGPD: el argumento regulatorio ya no es opcional

Desde el 2 de agosto de 2026 el EU AI Act aplica en su mayoría de obligaciones. El análisis de Regolo.ai sobre la convergencia AI Act + RGPD en 2026 lo deja claro: para sistemas que interactúan con personas o generan contenido, los datos de entrenamiento, validación e inferencia tienen que cumplir RGPD (licitud, minimización, limitación de finalidad) y, a la vez, las obligaciones del AI Act sobre representatividad, sesgos y documentación. El Artículo 10 obliga a documentar origen, relevancia y posibles sesgos de los conjuntos.

Cumplir eso enviando prompts con datos de clientes a OpenAI o Anthropic es posible, pero requiere contratos DPA, regiones de procesamiento dedicadas (OpenAI cobra un 10% extra por data residency desde marzo de 2026; Anthropic igual con endpoints regionales) y políticas internas de redacción de logs. Todo eso es viable. Pero es más caro y más frágil que no enviar los datos fuera. Para una clínica, un despacho o un comercio con datos personales especialmente protegidos, correr un SLM en local es directamente la forma más limpia de cumplir.

Lo que necesitas para empezar (con presupuesto honesto)

No hace falta un supercomputador. Tres opciones realistas en agosto de 2026:

Opción conservadora — RTX 4090. GPU de consumo de gama alta con 24 GB VRAM. Sirve para Llama 3.2 3B, Phi-4-mini, Gemma 3n E2B y Qwen2.5 3B cuantizados a 4-bit, con ventanas de contexto grandes. Precio outright: ~$1.800–$2.500.
Opción Mac Studio / Mac Mini con chip M-series. Unified memory de 64–192 GB. Perfecto para SLMs y para prototipar sin configurar CUDA. Mac Mini M4 Pro 64 GB alrededor de €2.000.
Opción low-cost — renting puntual. Una RTX 4090 spot en proveedores como Runpod o Vast.ai cuesta desde $0,02/hr según el agregador getdeploying.com. Útil para validar antes de comprar.

El software es open source: Ollama o LM Studio para arrancar en local, vLLM o llama.cpp para servir en producción, Qdrant o pgvector para dar memoria al modelo vía RAG.

Cuándo sí y cuándo NO tiene sentido correr en local

Sí: tareas repetitivas y bien acotadas (responder FAQ, clasificar emails, extraer datos de facturas, resumir documentos internos), con datos sensibles, con volumen alto, o donde la latencia sea crítica (voz, atención al cliente).

No: razonamiento de frontera, generación creativa amplia, o tareas que exijan conocimiento enciclopédico actualizado. Para eso, una API cloud —preferiblemente un modelo de frontier con plan enterprise— sigue siendo mejor opción.

El patrón ganador en 2026 es híbrido: SLM local para el 80% de las consultas, escalado a un modelo cloud de frontier para el 20% que de verdad necesita razonamiento profundo. El enrutamiento lo decide un clasificador pequeño que también corre en local. Esto es lo que montamos en nuestros proyectos de agentes IA para clientes cuya prioridad es la soberanía del dato.