Estás reservando un auto de alquiler por internet y el formulario pide el número y la fecha de vencimiento de tu licencia de conducir. La licencia no está a mano. Recuerdas que el año pasado, cuando te dieron la nueva, le tomaste fotos por delante y por detrás, pero están perdidas entre decenas de miles de fotos en tu iPhone. Quieres pedírselo a Comma con tus propias palabras y recuperar esas dos fotos.
Esta guía muestra una forma de montarlo: crear un índice de tus fotos con modelos locales y dejar que Comma lo consulte. Es un ejemplo de configuración en un Mac, no una función integrada de Comma.
Tu fototeca se queda en local
Comma no necesita una copia de tus fotos. El trabajo pesado, leer el texto de cada imagen y convertir cada foto en vectores, lo hacen modelos locales. Lo que recibe el agente es el resultado de una búsqueda: unos cuantos ID de fotos, sus fechas, el texto encontrado en ellas y, cuando tienes que elegir, una hoja de contactos con miniaturas. Solo las fotos que eliges al final se envían al chat.
Las fotos en sí se siguen sincronizando a través de iCloud; aquí «local» se refiere al reconocimiento de texto, los vectores y el índice después de la exportación. Si Comma usa un modelo en la nube, estos resultados de búsqueda, y cualquier imagen que le pidas mirar, van al proveedor de modelos que hayas elegido. En un documento como la licencia de conducir, el texto reconocido incluye el número y la dirección. El índice en sí nunca se envía a ningún lado. Comma es de código abierto y también puedes ejecutarlo en tu propia máquina.
Crea el índice de fotos
El índice se engancha al camino que tus fotos ya recorren. En el iPhone no cambia nada.
Montarlo lleva tres pasos:
Lleva las fotos al Mac. Sincroniza las fotos del iPhone con el Mac mediante Fotos de iCloud y exporta las fotos nuevas a una carpeta cada día.
Procésalas con modelos locales. Reconoce el texto de cada imagen y conviértela en vectores con Chinese-CLIP y Qwen3-VL-Embedding.
Guárdalas en un índice local. Guarda los resultados en una base de datos local, con un comando para buscar en ella. En este ejemplo el comando se llama
lpa.
Qué devuelve una búsqueda
En local, una búsqueda es un comando. Una sola llamada puede llevar varias formulaciones, y los modelos se cargan una sola vez. El agente convierte expresiones como «el año pasado» en un intervalo de fechas.
Cada resultado indica qué tipo de evidencia hay detrás:
--prefer text pone primero las coincidencias de texto, lo que sirve para documentos, tarjetas y capturas de pantalla. --prefer picture pone primero las imágenes parecidas, lo que sirve para un gato o una playa. Las fotos casi idénticas tomadas en pocos minutos ocupan un solo puesto en la lista, y las demás cuelgan de él.
Cuando los primeros resultados son dudosos, el agente no adivina. Junta las miniaturas de los candidatos en una hoja numerada, nueve como máximo, y te pide que elijas.
La forma de combinar los dos conjuntos de vectores se decidió calibrando sobre una fototeca completa de unas 50,000 fotos. Con Qwen3-VL-Embedding solo, las respuestas correctas que había elegido una persona quedaban más abajo que con Chinese-CLIP solo. Al combinar las dos clasificaciones, cada elemento comprobado salió al menos igual de bien que con cualquiera de los dos modelos por separado. «Posible» también se asigna solo cuando la similitud de ambos modelos supera el umbral: en una consulta de prueba, las fotos marcadas como «Posible» pasaron de 4970 a 4. El precio es que una búsqueda tarda de 3.5 a 6 segundos en lugar de unos 3.
Este ejemplo funciona en un MacBook Air con 16 GB de memoria, con la versión 2B de Qwen3-VL-Embedding. En una máquina más potente puedes usar modelos Qwen más grandes:
Un modelo de vectores más grande. Sustituye Qwen3-VL-Embedding-2B por Qwen3-VL-Embedding-8B. Tras el cambio, hay que volver a calcular los vectores de todas las fotos con el nuevo modelo.
Descripciones y etiquetas para cada foto. Ejecuta además Qwen3-VL-4B-Instruct o Qwen3-VL-8B-Instruct para escribir una descripción de una línea y unas cuantas etiquetas por foto, y guárdalas en el índice de texto. En un MacBook Pro con 24 GB de memoria, por ejemplo, el modelo 8B funciona con cuantización de 8 bits. Las etiquetas sirven para un primer filtrado; no se garantiza que sean correctas.
¿Y el inglés? Chinese-CLIP se entrenó sobre todo con imágenes y textos en chino, así que no es fiable para consultas en inglés. Las otras dos piezas no se ven afectadas: el reconocimiento de texto lee chino e inglés, y Qwen3-VL-Embedding admite muchos idiomas. Por eso conviene poner formulaciones en chino y en inglés en la misma búsqueda, como hace el comando anterior; puedes dejarlo escrito en un Skill. Si tu fototeca y tus preguntas son sobre todo en inglés, también puedes sustituir Chinese-CLIP por el CLIP original, lo que de nuevo obliga a recalcular los vectores.
Encuentra a tu familia y amigos
Fotos ya agrupa las caras de una misma persona. El índice usa directamente esos grupos y no hace reconocimiento facial propio.
Primero, pon nombre a las personas. La primera vez, el agente toma unos cuantos lotes de fotos de esos grupos, los numera y te pregunta quién es cada uno. Solo cuando respondes «la 3 es mamá» lo recuerda. Un grupo que no has confirmado no se trata como nadie.
Busca por persona. A partir de ahí, cuando mencionas un nombre, la búsqueda mira solo las fotos en las que aparece esa persona. Los nombres se suman: nombra a dos personas y obtendrás solo las fotos en las que salen las dos, es decir, sus fotos juntos.
Combínalo con otras condiciones. Un nombre puede ir junto con lo que aparece en la imagen y la fecha, como «fotos de mamá y mías en la playa el año pasado»:
Si un nombre no se ha confirmado, o dos personas tienen el mismo nombre, la búsqueda lo dice en lugar de adivinar. Un nombre equivocado se puede corregir, y cada corrección se puede deshacer.
Cómo se encuentran los videos
Los videos se buscan por separado de las fotos. Una búsqueda normal solo mira fotos. Si quieres, por ejemplo, el video de tu hijo soplando las velas de cumpleaños, dile a Comma que buscas un video y añadirá --source video a la búsqueda:
Detrás hay tres pasos:
Extraer fotogramas. El video en sí nunca entra en un modelo. El indexador toma un fotograma cada 5 segundos, 12 como máximo por video.
Buscar por fotograma. Los fotogramas pasan por el mismo proceso que las fotos: reconocimiento de texto y los dos conjuntos de vectores. Una búsqueda compara estos fotogramas; cuando uno coincide, se encuentra el video entero, que ocupa un solo puesto en los resultados.
Enviar el video. Cuando lo has elegido, el agente lo envía con
lpa video.
Por ahora solo mira la imagen, no el sonido. Lo que se dice en un video todavía no se puede buscar, y las personas que salen en un video aún no se reconocen. El número de fotogramas está limitado, así que algo que pasa fugazmente en un video largo puede no encontrarse.
Cómo está hecho LocalPhotoAgent
El lpa de esta guía viene de LocalPhotoAgent, un indexador que hemos escrito nosotros y que publicaremos como código abierto. La parte de indexación ya está explicada; dos puntos más:
Se puede detener en cualquier momento. Cada paso de cada foto se registra por separado. Si se detiene a medias, la próxima vez continúa; si cambias un ajuste, solo se repite el paso afectado. Mientras trabaja vigila la memoria, la temperatura y el espacio en disco, y se pausa cuando alguno supera su límite.
Da al agente unos cuantos comandos.
lpa searchbusca,lpa sheetcrea una hoja de contactos,lpa previewenvía fotos ylpa videoenvía videos. Cuando el agente busca fotos, los llama en este orden:
Conecta Comma
Esto supone que LocalPhotoAgent ya funciona en tu Mac. La conexión lleva cuatro pasos:
Añade un dispositivo. En Comma, ve a Settings > Devices y haz clic en Add device para obtener un comando de instalación.
Ejecuta el comando. Ejecútalo en Terminal en el Mac que guarda la fototeca para instalar el Comma Connector.
Activa el acceso. Un dispositivo nuevo empieza en Off. Cámbialo a Full para que el agente pueda ejecutar
lpa.Escribe un Skill. Dile al agente que busque primero, que envíe una hoja de contactos cuando dude y que envíe las fotos solo después de que elijas. Puedes simplemente pedirle a Comma que «cree un Skill».
A partir de ahí, basta con preguntar como en cualquier chat: «Encuentra las fotos de mi licencia de conducir del año pasado, por delante y por detrás».
Confianza y límites
El índice solo lee los originales. Nunca los mueve, edita ni borra. Una búsqueda no toca el disco externo en absoluto; solo lo leen la creación de una hoja de contactos y el envío de una foto. Mover o borrar fotos queda fuera de esta configuración. Ten en cuenta, eso sí, que con acceso Full el agente puede ejecutar en este Mac otros comandos además de lpa.
Que el texto coincida solo significa que se encontraron esas palabras, no que sea la foto que buscas. «Posible» es solo un candidato. Cuando Comma marque una petición como hecha, revisa las fotos que te ha enviado.
La primera vez, podrías decir: «Encuentra las fotos de mi licencia de conducir del año pasado. Muéstrame primero la hoja de contactos y no envíes, muevas ni borres nada».
