Ejecutar el modelo en tu propio dispositivo significa que tu pregunta nunca se transmite, nunca la conserva nadie, nunca queda sujeta a un cambio de política que no leíste y nunca acaba en una filtración que tú no causaste. Eso lo pagas con el tamaño del modelo: un modelo que cabe en la memoria de un teléfono es más flojo en razonamiento difícil, código largo y datos de actualidad que un modelo que vive en un centro de datos. Para la mayoría de lo que la gente escribe de verdad en un chat, ese trato vale la pena.
Qué le pasa a una pregunta en la nube
Cuando escribes en un asistente en la nube, el texto sale de tu máquina antes de que nada lo piense. Viaja a un servidor que no controlas, se procesa allí y suele conservarse durante algún tiempo bajo una política que puede cambiar. Esa conservación no es siniestra por sí misma. Es simplemente un sitio más donde existen tus palabras, propiedad de otra persona, accesible para su personal según sus reglas, accesible para un tribunal según las suyas y accesible para un atacante si alguno entra.
Nada de eso es abstracto para un abogado que redacta sobre el caso de un cliente, para un médico que escribe el resumen de un paciente, para un periodista que verifica un nombre ni para cualquiera que alguna vez haya borrado una pregunta a medio escribir en vez de enviarla. La parte más interesante es la frecuencia con la que los usuarios corrientes hacen lo mismo sin llamarlo privacidad. La gente se autocensura constantemente con los asistentes en la nube, y por eso obtiene peores respuestas.
Qué recibes a cambio
Lo primero es que la pregunta deja de ser una transmisión. No hay copia de ella en ningún sitio más que tu propio disco, así que no hay nada que conservar, requerir judicialmente ni filtrar. Lo segundo es la disponibilidad: a un modelo en tu dispositivo no le importa la cobertura, el roaming, un portal cautivo, un límite de peticiones o una caída, así que responde en un túnel y en un avión igual que responde en tu escritorio. Lo tercero es que el contador se para. La inferencia en tu propio silicio no tiene coste marginal, y por eso Inborn puede ser un pago único en vez de una suscripción con cupo de mensajes.
Qué te cuesta
Aquí es donde el marketing de la IA local se queda callado, así que estos son los números. Un modelo de 2B parámetros cuantizado a cuatro bits ocupa 1.28 GB y va a unos 5 o 6 tokens por segundo en un Android tope de gama de 2018, y bastante más rápido en cualquier cosa actual. Un modelo puntero en la nube es dos o tres órdenes de magnitud más grande. Esa diferencia aparece justo donde esperarías: razonamiento de varios pasos, código largo, matemáticas, datos poco conocidos e idiomas con pocos datos de entrenamiento. Aparece mucho menos en lo que la gente hace más a menudo, que es reescribir un correo, resumir una página, explicar un término, traducir un párrafo, preparar un esquema y convertir notas en prosa.
Lo que los asistentes en la nube dicen que guardan, con sus propias palabras, aparece junto a lo que guarda Inborn en Inborn frente a ChatGPT, Gemini y Claude. Así que la regla honesta no es que lo local sea mejor. Es que lo local es mejor para todo lo privado, todo lo que ocurre sin conexión y todo lo rutinario, mientras que la nube es mejor para la cola difícil. Saber en cuál de las dos estás es toda la habilidad.
Cómo lo hace Inborn
Inborn incluye un modelo de 0.8B dentro de la app, 533 MB, así que el primer chat funciona antes de que termine ninguna descarga. Perfila tu dispositivo y te dice la velocidad que puedes esperar de cada modelo más grande antes de instalarlo, no después. Cuando una pregunta queda fuera de lo que el modelo en uso hace bien, lo dice en vez de fingir, y te ofrece el modelo que lo haría mejor.
La parte de la verificación importa tanto como la ingeniería. En Android, la versión de lanzamiento no declara el permiso INTERNET, así que el sistema operativo no le deja abrir un socket. En iPhone, el Informe de privacidad de apps muestra una fila vacía. No tienes que creerte el párrafo de arriba: puedes comprobarlo desde fuera de la app en menos de un minuto, y el siguiente artículo es la lista de cómo hacerlo.
SiguienteCómo elegir un modelo de IA para tu dispositivo · Compruébalo tú mismo