La corsa agli armamenti nel campo dei modelli di base per robot ha appena visto l'ingresso di un nuovo attore. Un team congiunto composto da rappresentanti dell'Università di Pechino, dell'Università di Tsinghua, di Galaxy General e dello Zhiyuan Institute ha presentato LDA-1B, portando la dimensione del parametro direttamente all'ordine dei miliardi.
Dietro a questo dato si nasconde un’idea più audace: smettere di concentrarsi esclusivamente sui dati provenienti da dimostrazioni condotte da esperti. Quei “dati spazzatura” che un tempo venivano gettati nel cestino potrebbero in realtà essere proprio le sostanze nutritive di cui i robot hanno davvero bisogno.
Il percorso di addestramento tradizionale dei robot è semplice: trovare un operatore esperto, registrare le sue azioni e lasciare che il robot impari per imitazione. Questo approccio basato sulla clonazione del comportamento è stato ampiamente utilizzato da OpenAI e Google DeepMind. Ma il problema è evidente: l’utilizzo dei dati è estremamente basso.
Un tentativo fallito di costruire un robot? Scartato.
Un video girato in modo improvvisato che mostra un'operazione umana? Non è di alta qualità, scartato.
Dati provenienti da una piattaforma robotica diversa? Formato incompatibile, comunque scartati.
Il LDA-1B Il team ha posto una semplice domanda: cosa succederebbe se tutti quei dati sprecati venissero effettivamente utilizzati?
Come LDA-1B utilizza tutti i dati disponibili
Hanno creato un set di dati denominato EI-30k, composto da 30.000 ore di dati relativi alle interazioni corporee, che comprendono sia le operazioni umane sia le traiettorie dei robot.
Si tratta di una portata già enorme nel campo della robotica. A titolo di confronto, il precedente dataset più grande, Open X-Embodiment, contava poco più di 1.000 ore.
Ma la scala non è l'elemento chiave. L'elemento chiave è la diversità.
Il set di dati comprende:
- Dimostrazioni riuscite e tentativi falliti
- Dati robotici ad alta precisione e video girati in modo spontaneo da persone
- Manipolazioni a doppio braccio e operazioni manuali di precisione
Secondo i criteri tradizionali, gran parte di questi dati è incoerente e non verrebbe mai inclusa in un set di addestramento.
LDA-1B adotta un approccio diverso: assegna ruoli diversi a dati di qualità diversa.
Per l'apprendimento delle politiche si ricorre a dimostrazioni pratiche di alto livello condotte da esperti.
I dati di qualità inferiore o “non qualificati” vengono utilizzati per comprendere le dinamiche del mondo fisico.
Un video che mostra un tentativo fallito di afferrare un oggetto non può essere imitato direttamente, ma comunica al modello: “Questo modo di afferrare fallirà”. Questa è la conoscenza dinamica.
L'idea sembra semplice, ma pone una sfida tecnica:
come si può LDA-1B imparare contemporaneamente sia “come sarà il fotogramma successivo” sia “quale azione intraprendere dopo”?
LDA-1B e la previsione nello spazio latente DINO
La soluzione proposta dal team consiste nel trasferire le attività di previsione nello spazio latente di DINO.
DINO, un modello visivo auto-supervisionato sviluppato da Meta, comprime le immagini in rappresentazioni di caratteristiche altamente astratte. In questo spazio, LDA-1B non deve preoccuparsi di dettagli superficiali come “se il tavolo sia di legno o bianco”, ma si concentra invece su informazioni fisiche fondamentali come “dove si trovano gli oggetti” e “come si muovono”.”
Questo progetto offre due vantaggi:
- Efficienza computazionale notevolmente superiore, che evita la ridondanza a livello di pixel
- Una maggiore generalizzazione tra i diversi contesti, poiché LDA-1B apprende regole fisiche astratte anziché caratteristiche visive specifiche della scena
All’interno di un framework Transformer unificato per la diffusione multimodale, il modello elimina congiuntamente il rumore dai blocchi di azioni e dalle future sequenze DINO.
I dati eterogenei svolgono ruoli specifici e complementari nei seguenti ambiti:
- Previsione visiva
- Apprendimento dinamico
- Apprendimento delle politiche
Il team ha raccolto EI-30k, un corpus contenente oltre 30.000 ore di dati relativi a diverse forme di interazione uomo-robot, che coprono eventi di diversa durata e compiti di manipolazione.
Dal punto di vista architettonico, LDA-1B utilizza un Transformer a diffusione multimodale. Ciò gli consente di gestire flussi visivi e di azione asincroni. Nel mondo reale, la frequenza dei fotogrammi delle telecamere e quella di controllo dei robot sono spesso disallineate, cosa che i modelli tradizionali faticano a elaborare.
L'introduzione della modellizzazione della diffusione consente inoltre di LDA-1B per addestrare i modelli in modo stabile su una scala di miliardi di parametri — cosa che in precedenza risultava difficile per i modelli robotici.
Prestazioni dell'LDA-1B in tre categorie di compiti
Ai fini della valutazione, il team ha selezionato tre scenari rappresentativi:
Attività ad alto contenuto di contatti in LDA-1B
Questi test valutano la percezione e il controllo della forza da parte del robot: si tratta di operazioni come l’inserimento di un cavo USB o il serraggio di viti, in cui è essenziale un feedback preciso sulla forza.
LDA-1B supera il precedente modello π0,5 di 21%.
Manipolazione precisa con LDA-1B
A rendere il tutto ancora più impegnativo, queste attività richiedono un controllo coordinato di più dita, come ad esempio ruotare un cubo di Rubik o utilizzare degli strumenti.
Qui, LDA-1B mostra un vantaggio ancora maggiore, con un miglioramento delle prestazioni pari a 48%.
Pianificazione a lungo termine in LDA-1B
Questi test valutano la capacità di pianificazione. Il robot deve portare a termine una sequenza di sotto-compiti per raggiungere l'obiettivo finale.
LDA-1B registra un miglioramento di 23% in questa categoria.
Ancora più interessanti sono gli esperimenti di messa a punto.
Il team ha utilizzato deliberatamente dati di “bassa qualità”: casi non riusciti e traiettorie incomplete che normalmente sarebbero stati scartati.
Il risultato: l'utilizzo di soli 30% di questi dati ha migliorato le prestazioni di 10%.
Questa scoperta ribalta una convinzione diffusa nel settore:
I cosiddetti “dati spazzatura” non sono un peso: possono rappresentare una risorsa nascosta per LDA-1B.
LDA-1B e un nuovo percorso verso i modelli mondiali
L'approccio tecnico alla base di LDA-1B risponde a una domanda più ampia: in che modo dovrebbero apprendere i modelli di base dei robot?
Attualmente esistono due paradigmi dominanti:
Clonazione del comportamento
Esemplificato dal lavoro di OpenAI nel campo della robotica e dalla serie π0 di Physical Intelligence. L’idea è semplice: osservare gli esperti e imitarli.
Modelli mondiali
Ne sono un esempio opere come *Genie* e *DIAMOND*. L'idea è quella di comprendere innanzitutto come funziona il mondo fisico, per poi decidere come agire.
La clonazione comportamentale presenta una scarsa efficienza dei dati: apprende solo dai casi di successo.
I modelli globali hanno dovuto fare i conti con implementazioni approssimative: o si concentravano esclusivamente sulla previsione video senza azioni, oppure si basavano su set di dati troppo esigui per un addestramento su larga scala.
LDA-1B sceglie una terza via.
Unifica l'apprendimento dinamico, l'apprendimento delle politiche e la previsione visiva in un unico quadro di riferimento, consentendo a dati di diversa qualità di svolgere ruoli diversi.
Questa idea — il “Modello mondiale unificato” — era già stata proposta in passato a livello teorico. Ma LDA-1B è il primo a implementarlo su una scala di miliardi di parametri con un addestramento stabile.
Da un punto di vista ingegneristico, il contributo più significativo di LDA-1B Non si tratta di una singola scoperta rivoluzionaria. Sta dimostrando una cosa:
I modelli di base dei robot possono scalare come i modelli linguistici, “consumando” enormi quantità di dati eterogenei.
I dati che prima andavano sprecati possono essere trasformati in conoscenza all'interno LDA-1B.
L'LDA-1B è la soluzione alla fame di dati?
Il settore della robotica si trova da tempo a dover fare i conti con una realtà scomoda: i dati costano caro.
Per registrare un'ora di dati di dimostrazione di robot di alta qualità sono necessari operatori qualificati, ambienti standardizzati e sensori di precisione. Il costo può arrivare a migliaia di dollari.
Persino i laboratori dotati di ingenti risorse hanno difficoltà ad addestrare modelli con dati su una scala paragonabile a quella dei modelli linguistici.
LDA-1B offre una nuova prospettiva.
Anziché investire ingenti somme per raccogliere dati perfetti, sfruttate quelli imperfetti.
Video di operazioni eseguite da esseri umani caricati su YouTube, tentativi falliti dei robot durante il debug, set di dati raccolti in diversi laboratori e su diverse piattaforme: queste risorse, un tempo ignorate, possono ora diventare materiale di addestramento per LDA-1B.
Detto questo, permangono alcune incertezze.
L'articolo non fornisce informazioni complete sulla composizione e sulla provenienza del set di dati EI-30k, il che costituisce un ostacolo per gli altri team che tentano di riprodurre i risultati LDA-1B su questa scala.
C'è poi la questione dell'implementazione: un modello con un miliardo di parametri comporta un costo computazionale significativo. I robot, a differenza dei server, non possono semplicemente aumentare la potenza di calcolo.
Eppure, in questo momento, LDA-1B stabilisce un nuovo punto di riferimento per i modelli di base dei robot:
- Su scala più ampia
- Dati più diversificati
- Metodi più uniformi
Ora la domanda è: come reagirà il resto dei concorrenti a LDA-1B.
