Come funziona la ricerca semantica delle foto

La ricerca semantica abbina ciò di cui parla un'immagine, invece delle lettere nel suo nome. Scrivi una frase come 'due persone che ridono a tavola' e ottieni foto che lo mostrano, anche se si chiamano IMG_4821 e stanno in una cartella chiamata 2021_import.

La ricerca foto più vecchia si basava su nomi, date o tag aggiunti a mano. La ricerca semantica elimina quel lavoro, perché il significato si legge direttamente dall'immagine.

Un embedding è un vettore, una lista di numeri, che cattura il contenuto di un'immagine. Le foto con contenuto simile hanno vettori vicini tra loro. PhotoCore salva un vettore a 768 dimensioni per immagine in un piccolo database locale.

Anche il testo riceve lo stesso trattamento. Il modello colloca le tue parole nello stesso spazio delle immagini, così una frase e una foto si possono confrontare direttamente.

Quando cerchi, la tua frase diventa un vettore e PhotoCore la confronta con ogni vettore immagine usando la similarità del coseno, che misura l'angolo tra due vettori. Un angolo più piccolo significa un abbinamento più vicino, e i primi risultati sono ordinati per quel punteggio.

Su Apple Silicon questo confronto gira tramite Accelerate.vDSP, così una ricerca su 10.000 immagini torna in meno di 50ms.

Il modello mappa testo e immagini in un unico spazio condiviso ed è stato addestrato su molte lingue. Per questo una query in inglese, italiano, spagnolo, giapponese o in oltre 100 altre lingue arriva alla stessa foto, senza configurazione e senza traduzione.

Sì. L'intera pipeline può girare in locale. PhotoCore usa SigLIP 2 tramite CoreML sull'Apple Neural Engine per costruire i vettori e li tiene in una cache SQLite locale e nei metadati XMP.

• Nessuna immagine viene caricata su alcun server
• La ricerca funziona senza connessione a internet
• L'indice resta sul tuo Mac, sotto il tuo controllo