AI · Matematica

LeCun e Balestriero: un teorema dice che le JEPA «vedono» lo stesso mondo

Per lo studio, reti addestrate su dati diversi arrivano alla stessa rappresentazione. E un modello da 109M batte giganti da 72B.

📌 Due ricercatori, Randall Balestriero e Yann LeCun, sostengono di aver dimostrato con un teorema un'idea molto discussa: reti neurali addestrate su tipi di dati diversi imparano la stessa rappresentazione, a meno di una sola rotazione. Qui sotto: cos'è una JEPA, cosa dice il teorema, i risultati, i dubbi e perché la scommessa sulla scala potrebbe cambiare.

• L'ipotesi platonica, in breve
• Cos'è una JEPA
• Il teorema
• I risultati: piccolo batte grande
• I dubbi
• Chi sono gli autori
• Perché ti riguarda e cosa succede ora

L'ipotesi platonica, in breve

L'«ipotesi della rappresentazione platonica» è un'idea emersa negli ultimi anni nella ricerca sull'AI: modelli diversi, addestrati su immagini, testo o suoni, sembrano convergere verso un modo simile di rappresentare il mondo. Il nome richiama Platone e il mito della caverna: dati diversi sarebbero ombre diverse della stessa realtà.

Finora era un'osservazione empirica. Secondo AI Weekly, Balestriero e LeCun dichiarano di averla dimostrata formalmente per una famiglia di modelli, le JEPA, in un articolo pubblicato su arXiv dal titolo «Proving and Improving the Platonic Representation Hypothesis with JEPAs».

Cos'è una JEPA

JEPA sta per Joint-Embedding Predictive Architecture, un'architettura proposta da LeCun come alternativa ai grandi modelli linguistici. Invece di prevedere la parola o il pixel successivo, una JEPA impara a prevedere la rappresentazione astratta di una parte dei dati a partire da un'altra.

L'addestramento usa «coppie positive»: due osservazioni che devono avere una rappresentazione simile. Gli autori chiamano «buone viste» le coppie formate da due osservazioni della stessa scena, per esempio una foto e la sua descrizione.

Il teorema

Secondo AI Weekly, il risultato formale è questo: due reti neurali addestrate su modalità diverse imparano la stessa rappresentazione, a meno di una rotazione. Vale per qualsiasi numero di modalità, a condizione che le coppie siano «buone viste» e che il disallineamento sia limitato.

Quando queste condizioni valgono, l'articolo sostiene che i diversi problemi di addestramento sono in realtà lo stesso problema scritto in sistemi di coordinate diversi, con soluzioni che coincidono a meno di una rotazione. Detto in modo semplice: due mappe dello stesso territorio, una delle quali è solo girata.

I risultati: piccolo batte grande

La parte sperimentale è quella che fa più rumore. Il loro modello JEPA di testo da 109 milioni di parametri «supera modelli linguistici fino a 72 miliardi di parametri» sulle metriche di allineamento, riferiscono gli autori.

Non solo: secondo lo studio le buone viste richiedono 42 volte meno campioni di addestramento per arrivare allo stesso allineamento, e la previsione del token successivo, il metodo dei grandi modelli linguistici, viene descritta come «una JEPA con cattive viste». Con una sola rotazione, nel loro setup, un encoder addestrato può funzionare da generatore di didascalie per immagini, con un punteggio CIDEr di 0,838 sul dataset COCO.

I dubbi

AI Weekly invita alla prudenza. L'abstract cita le cifre senza indicare quali benchmark compongono le «metriche di allineamento», senza la ricetta completa di addestramento e senza spiegare come costruire le buone viste fuori dai casi con osservazioni accoppiate.

C'è poi un problema concettuale: nel testo le coppie positive non sono due osservazioni della stessa scena. Il caso empirico, per ora, poggia sulla scelta di metriche di un solo articolo, e la verifica decisiva sarà la replica da parte di un secondo gruppo su un benchmark indipendente.

Chi sono gli autori

Yann LeCun è uno dei pionieri del deep learning: ha vinto il Premio Turing 2018 insieme a Geoffrey Hinton e Yoshua Bengio per il lavoro sulle reti neurali, ed è noto per lo sviluppo delle reti convoluzionali usate nel riconoscimento delle immagini. Da anni sostiene che i grandi modelli linguistici, da soli, non bastano per arrivare a un'intelligenza artificiale capace di capire il mondo fisico, e propone le JEPA come alternativa.

Randall Balestriero è un ricercatore che lavora sulla teoria dell'apprendimento auto-supervisionato, cioè i metodi con cui un modello impara dai dati senza etichette scritte a mano. La collaborazione tra i due unisce quindi la visione di LeCun sulle architetture e un lavoro di tipo matematico.

Il valore dell'articolo, se confermato, sta proprio nel passaggio dalla visione alla dimostrazione: finora l'idea che modelli diversi convergano verso rappresentazioni simili si basava su confronti sperimentali, non su un teorema con condizioni precise.

Va ricordato che si tratta di un preprint pubblicato su arXiv: è un canale molto usato nella ricerca AI per diffondere rapidamente i risultati, ma i lavori lì pubblicati non sono ancora passati dalla revisione formale di una rivista o di una conferenza. La discussione della comunità, nelle prossime settimane, sarà la prima vera verifica.

Perché ti riguarda e cosa succede ora

💡 Negli ultimi anni l'industria dell'AI ha scommesso soprattutto sulla scala: più dati, più parametri, più data center. La frase chiave dell'articolo, riportata da AI Weekly, va in un'altra direzione: «le viste positive, e non la sola scala, sono quindi la leva per costruire rappresentazioni platoniche».

Se il teorema regge, osserva la fonte, la progettazione delle coppie di dati diventa più importante del pre-addestramento su testi sempre più grandi, e questo mette pressione su ogni piano industriale basato solo sulla scala. Modelli più piccoli significherebbero anche costi ed energia inferiori. Da seguire: le repliche indipendenti e la risposta della comunità scientifica.