Cos'è il Vector Embedding, e che ruolo ha in ChatGPT ?

il vector embedding è ampiamente usato nella Machine Learning (ML) e nella Large Language Models (LLM), soprattutto quando si lavora con dati non strutturati come testo, immagini, audio o grafi. Molti modelli di ML non possono lavorare direttamente con parole, immagini o concetti astratti. Hanno bisogno di numeri. Gli embedding trasformano questi dati complessi in rappresentazioni numeriche che i modelli possono capire e usare.

Un vector embedding è un modo per trasformare un oggetto (come una parola, un’immagine o un prodotto) in una serie di numeri: questi numeri rappresentano l’oggetto all'interno di una struttura a più dimensioni, salvata nella memoria del computer.

Ogni oggetto viene descritto da un insieme ordinato di dati, chiamato vettore, dove elementi simili tra loro avranno numeri simili e quindi posizioni vicine in questa rappresentazione.

In pratica, il vector embedding serve per raggruppare o distinguere i dati in base al contesto.

Per esempio:

• Se il contesto è quello degli animali domestici, parole come "gatto" e "cane" verranno rappresentate con vettori molto simili, perché compaiono spesso in situazioni simili (es. “Il cane dorme sul divano”, “Il gatto gioca con la palla”).

  Esempio semplificato:

  "gatto" → [0.42, -0.38, 0.15, 0.91, -0.12]

  "cane" → [0.41, -0.36, 0.14, 0.89, -0.10]

  in questo caso i due vettori sono adiacenti, perché il modello li considera semanticamente vicini.

  
  

• Se invece il contesto è tassonomico (es. felini vs canidi), le stesse parole verranno rappresentate con vettori molto diversi per riflettere la loro appartenenza a categorie opposte:

  "gatto" → [0.91, -0.75, 0.30, 0.65, -0.45]

  "cane" → [-0.88, 0.79, -0.29, -0.60, 0.43]

  in questo caso i due vettori sono lontani, perché il significato che il modello apprende li separa.

Pertanto, il vector embedding è una tecnica che costruisce rappresentazioni numeriche flessibili, collegate tra loro in modo da riflettere relazioni semantiche tra oggetti. È uno strumento potente per permettere ai computer di "capire" il significato nascosto nei dati, adattandosi al contesto in cui questi dati vengono usati.

Le strutture dati utilizzate per lavorare con i vector embedding sono "principalmente" di due tipi:

1. Vettori (Array o Liste): La rappresentazione fondamentale di un embedding è un semplice array o lista di numeri reali (solitamente float). Ogni elemento dell'array corrisponde a una dimensione nello spazio vettoriale.

   
   

2. Indici Vettoriali (Vector Indices): Per gestire e interrogare efficientemente grandi quantità di vector embedding, vengono utilizzate strutture dati specializzate chiamate indici vettoriali.

L'intervento umano gioca un ruolo cruciale nel processo di creazione e utilizzo dei vector embedding, principalmente in queste fasi:

• Scelta del modello di Embedding. Gli esseri umani decidono quale modello utilizzare per generare gli embedding. La scelta dipende dal tipo di dati (testo, immagini, ecc.), dal compito specifico (ricerca semantica, raccomandazione, ecc.) e dalle risorse disponibili. Esempi includono modelli linguistici pre-addestrati (come BERT, GPT, Word2Vec per il testo), reti neurali convoluzionali (CNN) per le immagini, ecc.

  
  

• Fine-tuning (adattamento). Spesso, i modelli pre-addestrati vengono ulteriormente addestrati (fine-tuning) su dati specifici del dominio o del compito. Questo intervento umano permette di adattare gli embedding alle esigenze particolari dell'applicazione.

  
  

• Definizione della strategia di Embedding. Per oggetti complessi come documenti o frasi, gli esseri umani definiscono come combinare gli embedding delle singole parole o parti per ottenere un embedding dell'intero oggetto (ad esempio, facendo la media degli embedding delle parole).

  
  

• Valutazione e ottimizzazione. Gli esseri umani valutano la qualità degli embedding generati (ad esempio, verificando se catturano correttamente le similarità semantiche) e possono intervenire modificando i parametri del modello, la strategia di embedding o il processo di fine-tuning per migliorare i risultati.

  
  

• Scelta e configurazione degli Indici Vettoriali. La selezione e la configurazione degli indici vettoriali richiedono competenze umane per bilanciare la velocità di ricerca, l'accuratezza e l'utilizzo delle risorse.

  
  

• Interpretazione e analisi. Gli esseri umani analizzano gli spazi vettoriali risultanti per comprendere le relazioni tra i dati e per ricavare insight utili per l'applicazione. La visualizzazione degli embedding (riducendo la dimensionalità a 2D o 3D) è spesso parte di questo processo.

Un esempio pratico molto comune è la ricerca semantica di documenti.

Si immagini di avere un database di articoli scientifici. Invece di cercare articoli solo in base a parole chiave esatte (ricerca lessicale), vorresti trovare articoli che trattano concetti simili alla tua query, anche se non usano le stesse parole.

Ecco come funzionerebbe con i vector embedding:

• Generazione degli Embedding. Ogni articolo scientifico nel database viene trasformato in un vector embedding utilizzando un modello linguistico pre-addestrato o fine-tunato sul dominio scientifico. Questo embedding cattura il significato concettuale dell'articolo.

  
  

• Indicizzazione. Gli Embedding di tutti gli articoli vengono inseriti in un indice vettoriale efficiente.

  
  

• Query. Quando un utente effettua una ricerca (ad esempio, "effetti collaterali dei nuovi farmaci immunoterapici"), anche la query viene trasformata in un vector embedding utilizzando lo stesso modello.

  
  

• Ricerca del "Vicino più prossimo". L'indice vettoriale viene interrogato per trovare gli embedding degli articoli più vicini (più simili semanticamente) all'embedding della query.

  
  

• Risultati. Vengono restituiti gli articoli scientifici i cui embedding sono più vicini a quello della query, anche se non contengono necessariamente le stesse parole chiave. Ad esempio, un articolo che parla di "reazioni avverse associate a terapie immunologiche innovative" potrebbe essere restituito come risultato pertinente.

#AI