Un team cinese ha reso open source LingBot-Map e, utilizzando solo una normale fotocamera, è riuscito a realizzare una ricostruzione 3D in streaming da 10.000 fotogrammi, attirando 1,2 milioni di spettatori su Internet.
Una telecamera che costa solo poche decine di yuan supera i sistemi LiDAR del valore di decine di migliaia.
Inaspettatamente, LingBot-Map, il progetto open source del team cinese, ha immediatamente suscitato grande entusiasmo nella comunità robotica mondiale.
Si tratta di un modello di base per la ricostruzione 3D in streaming. Utilizzando una sola telecamera RGB — senza LiDAR né sensore di profondità — è in grado di generare una mappa 3D completa in tempo reale a 20 FPS.
L'aspetto più sorprendente è che, anche dopo aver funzionato ininterrottamente per 10.000 fotogrammi, la precisione non subisce quasi alcun calo.
Un ricercatore nel campo dell'intelligenza artificiale presso Agility Robotics ha dichiarato: “È da troppo tempo che aspetto questo giorno”.”
Persino Andrew Davison è intervenuto personalmente per elogiarlo:
Sembra che in questo progetto sia stato applicato un approccio SLAM davvero notevole. Complimenti per i risultati ottenuti.
Davison non commenta quasi mai pubblicamente progetti ingegneristici specifici. Quando condivide attivamente qualcosa e usa la parola “impressionante”, gli addetti ai lavori non possono fare a meno di prestare maggiore attenzione.
LingBot-Map rivoluziona il mondo dello SLAM — I leader del settore esclamano: “Finalmente!”
LingBot-Map permette ai robot di “comprendere” davvero il mondo intero. Il suo rilascio open source ha attirato 1,2 milioni di visitatori.
Diversi KOL di spicco hanno condiviso e messo “mi piace” al post, ottenendo un riconoscimento di grande rilievo in tutto il settore.
Ma com’è in realtà, nella pratica, LingBot-Map — elogiato da un pioniere dello SLAM e atteso da tempo dai ricercatori?
I test sul campo pubblicati dal team forniscono la risposta.
In una ripresa aerea, la telecamera sorvola un intero isolato urbano dall’alto. LingBot-Map ricostruisce in tempo reale le facciate degli edifici, le strutture dei tetti, le strade e gli alberi lungo i marciapiedi, trasformandoli in una nuvola di punti 3D completa: è possibile distinguere persino le unità di climatizzazione installate sui tetti.
In uno scenario di navigazione in ambienti interni, la telecamera si sposta dalla cucina al soggiorno, attraversando un corridoio. L’illuminazione e la struttura cambiano continuamente, ma la mappa 3D multistanza ricostruita rimane perfettamente allineata nello spazio, senza disallineamenti o immagini fantasma tra le stanze.
Un corridoio in condizioni di scarsa illuminazione diventa una prova estrema. La telecamera si muove attraverso uno stretto corridoio quasi completamente buio. I metodi di visione tradizionali di solito falliscono in queste condizioni, ma LingBot-Map riesce comunque a fornire una struttura coerente del corridoio e una traiettoria stabile.
Ancora più interessante è il fatto che il team abbia inserito in LingBot-Map dei video in stile cartone animato generati da LingBot-World, e il sistema sia comunque riuscito a completare una ricostruzione 3D stabile.
L'input è una strada giapponese virtuale generata dall'intelligenza artificiale. L'output è una nuvola di punti 3D con coordinate spaziali precise. La compatibilità tra i due modelli collega direttamente il percorso dal “mondo virtuale → comprensione spaziale 3D”.”
Il confronto delle traiettorie rende il tutto ancora più chiaro.
Nei set di dati “Oxford Spires” e “Tanks & Temples”, la traiettoria prevista da LingBot-Map (arancione) coincide quasi completamente con la realtà (blu), mentre i metodi concorrenti TTT3R e WinT3R mostrano una forte deviazione.
All’interno di LingBot-Map — Un sistema di “memoria selettiva”
La difficoltà principale della ricostruzione 3D in streaming è solo una: come fare in modo che il modello si “costruisca man mano che si osserva”, senza dimenticare ciò che è stato fatto in precedenza né esaurire la memoria.
La ricostruzione 3D tradizionale segue il principio “prima si acquisisce, poi si elabora”.”
La ricostruzione in streaming richiede che il sistema effettui continuamente la localizzazione e la mappatura mentre riceve nuovi fotogrammi, il tutto controllando rigorosamente i costi di calcolo e di memoria.
Le soluzioni precedenti erano vincolate da compromessi.
Alcuni applicavano una compressione troppo aggressiva e finivano per perdere gradualmente di vista le osservazioni precedenti. Altri memorizzavano nella cache tutti i fotogrammi storici, causando un aumento lineare dell’utilizzo della memoria in funzione della lunghezza della sequenza. Altri ancora combinavano modelli di deep learning con backend SLAM tradizionali: i risultati erano discreti, ma richiedevano una messa a punto manuale e non garantivano prestazioni in tempo reale.
LingBot-Map riprende un concetto strutturale tratto dal SLAM classico.
Per costruire mappe mentre si muovono in ambienti sconosciuti, i robot devono mantenere una memoria spaziale a diversi livelli di granularità. Il metodo SLAM tradizionale ricorre a vincoli geometrici definiti manualmente per gestire questo aspetto, limitando così la flessibilità.
LingBot-Map integra questa struttura nel meccanismo di attenzione del Transformer, consentendo al modello di imparare cosa ricordare e cosa dimenticare.
Questo meccanismo è denominato Geometric Context Attention (GCA) e prevede tre livelli di memoria.
- Anchor — ricorda “da dove ho iniziato”.”
I primi fotogrammi fungono da fotogrammi di riferimento, fissando il sistema di coordinate e la linea di base della scala, proprio come le stazioni base GPS. Anche al fotogramma 10.000, il modello sa ancora dove si trova il fotogramma 1. - Finestra di riferimento per la posa — ricorda “ciò che mi circonda”.”
Conserva le ultime decine di fotogrammi con tutte le informazioni visive, catturando dettagli geometrici molto precisi in prossimità della posizione attuale, proprio come la vista attraverso il parabrezza di un’auto. - Memoria della traiettoria — ricorda “dove sono stato”.”
I fotogrammi più distanti non conservano tutti i dettagli visivi. Ogni fotogramma viene compresso in soli 6 token compatti, che contengono le informazioni geometriche essenziali dell’intera traiettoria. È come uno specchietto retrovisore: non si vedono tutti i numeri civici, ma si sa da dove si proviene.
Tre livelli di memoria possono sembrare complessi, ma in pratica sono estremamente efficienti.
Per un video di 10.000 fotogrammi, l’attenzione causale standard memorizza circa 5 milioni di token, mentre GCA ne utilizza solo circa 70.000. Ogni nuovo fotogramma aggiunge circa 500 token nei metodi standard, ma solo 6 token in GCA. L’aumento dell’occupazione di memoria viene ridotto di circa 80 volte.
Ecco perché LingBot-Map è in grado di elaborare video estremamente lunghi senza consumare più memoria del previsto, mentre altri si bloccano dopo poche migliaia di fotogrammi.
Strategia di addestramento di LingBot-Map e risultati dei benchmark
Il team ha adottato una strategia di formazione in due fasi.
Nella prima fase, hanno addestrato un modello di base su 29 set di dati relativi a scene in ambienti interni, esterni, sintetici e reali, sviluppando una comprensione geometrica generale.
Nella seconda fase, hanno introdotto il GCA e hanno aumentato gradualmente il numero di osservazioni da 24 a 320, consentendo al modello di apprendere prima sequenze brevi e poi traiettorie lunghe.
Per quanto riguarda la valutazione, l’articolo riporta i risultati relativi a cinque benchmark.
Nel progetto “Oxford Spires” (traiettorie su larga scala in ambiente misto, interno ed esterno, presso l’Università di Oxford), LingBot-Map raggiunge un errore ATE di 6,42 metri, contro i 18,16 metri del secondo classificato: un risultato quasi tre volte migliore.
In particolare, tale precisione supera persino quella dei metodi offline che elaborano tutti i fotogrammi contemporaneamente (12,87) e quella dei metodi tradizionali di ottimizzazione iterativa (10,52).
Passando da 320 fotogrammi a 3.840 fotogrammi, l'ATE aumenta solo da 6,42 a 7,11, senza mostrare praticamente alcun peggioramento al variare della lunghezza della sequenza.
Su ETH3D (con dati di riferimento acquisiti tramite scansione laser), il valore F1 della ricostruzione raggiunge il 98,98, superando il secondo classificato (77,28) di oltre 21 punti percentuali.
Per quanto riguarda i serbatoi e i templi (grandi strutture all’aperto), l’ATE è di 0,20 metri contro i 0,76 metri del secondo classificato.
Su 7-Scenes (RGB-D in ambiente interno), l'ATE è pari a 0,08 metri: il miglior risultato.
Cosa significa LingBot-Map per la robotica
Il mondo accademico si concentra su ATE e F1, ma le aziende del settore della robotica seguono un ragionamento diverso.
Il primo è il costo dell'hardware.
Un LiDAR di livello industriale costa da migliaia a decine di migliaia di dollari. Se si aggiungono le IMU, le catene di strumenti di calibrazione e l’adattamento del software, la sola percezione può arrivare a incidere per un terzo sul costo totale del robot.
LingBot-Map richiede solo una fotocamera che costa poche decine di yuan.
Per categorie come i robot domestici e i veicoli di consegna a bassa velocità, in cui la sensibilità al prezzo è estrema, eliminare il LiDAR è molto più importante che aggiungere un altro chip.
Il secondo è la navigazione autonoma di lunga durata.
I robot che operano nei grandi centri logistici o in contesti urbani devono funzionare ininterrottamente per ore. I sistemi tradizionali raggiungono i limiti di memoria durante sequenze prolungate.
La capacità di LingBot-Map di elaborare oltre 10.000 fotogrammi senza consumare memoria rende possibile un'autonomia prolungata in spazi di grandi dimensioni.
Un altro aspetto è la manipolazione con destrezza.
Questo si collega a LingBot-Depth, reso open source in precedenza.
Quando i robot cercano di afferrare contenitori in vetro trasparente o metallo riflettente, le tradizionali telecamere di profondità risultano quasi “cieche”. Questi materiali non riflettono segnali affidabili, causando grandi lacune nelle mappe di profondità.
LingBot-Depth utilizza il Masked Depth Modeling (MDM) per risolvere questo problema.
Durante l'addestramento, alcune parti della mappa di profondità vengono intenzionalmente mascherate, costringendo il modello a dedurre le distanze dalle texture RGB e dai contorni.
Di conseguenza, raggiunge prestazioni all’avanguardia in benchmark come NYUv2 ed ETH3D, con una precisione nella misurazione della profondità che supera persino quella delle telecamere di profondità di livello industriale.
Il modello è stato certificato dal laboratorio di visione 3D di Orbbec ed entrambe le parti hanno stretto una partnership strategica per lo sviluppo di telecamere 3D di nuova generazione. Nei test sul campo, ha raggiunto un tasso di successo nella presa pari a 50% su contenitori trasparenti.
LingBot-Depth si occupa di “calcolare la distanza di ciascun pixel”, mentre LingBot-Map si occupa di “comprendere l’intera scena 3D in tempo reale”.”
Insieme, completano il ciclo della percezione spaziale dei robot.
I bracci robotici che hanno di fronte bicchieri di vetro nelle cucine, provette nei laboratori o contenitori metallici riflettenti nei magazzini dispongono ora di riferimenti spaziali 3D affidabili.
LingBot-Map completa il puzzle dell’IA incarnata
In una prospettiva più ampia, la diffusione di LingBot-Map come software open source non è un evento isolato, ma una tappa fondamentale in una chiara roadmap per l’IA incarnata.
Lo scorso gennaio, il team ha reso disponibili come open source quattro modelli nel corso della “Settimana dedicata all’evoluzione dell’intelligenza incarnata”.”
LingBot-Depth gestisce la percezione della profondità.
LingBot-VLA è un modello di grandi dimensioni dotato di capacità di incarnazione, che ha raggiunto tassi di successo record in contesti reali nel benchmark GM-100 presso l'Università Jiao Tong di Shanghai.
LingBot-World è compatibile con Google Genie 3, consentendo un'interazione in tempo reale a 16 FPS.
LingBot-VA ha introdotto una modellizzazione congiunta autoregressiva di video e azioni, migliorando i tassi di successo nelle attività del mondo reale di 20% rispetto a Pi0.5.
Ma mancava qualcosa.
La stima della profondità fornisce “punti” a livello di fotogramma, mentre la mappatura 3D fornisce “superfici” continue. Il livello intermedio — la comprensione spaziale in tempo reale — era assente.
LingBot-Map colma proprio questa lacuna.
Ora, l'intero stack di IA integrato forma un circuito chiuso:
Osservare il mondo (Profondità) → Comprendere lo spazio (Mappa) → Simulare la fisica (Mondo) → Decidere e agire (VLA/VA)
Ogni componente di questa catena è disponibile come open source sotto licenza Apache 2.0; il codice, i pesi e i rapporti tecnici sono pubblicati su piattaforme quali Hugging Face e ModelScope.
A livello globale, un tale grado di apertura è raro.
Per il settore della robotica, le possibilità offerte da una singola telecamera si sono appena ampliate.
Riferimenti
- LingBot-Map. Repository di Hugging Face (huggingface.co/robbyant/lingbot-map)
- LingBot-Map. Pagina del modello ModelScope (modelscope.cn/models/Robbyant/lingbot-map)
- LingBot-Map. Repository GitHub (github.com/Robbyant/lingbot-map)
- LingBot-Map: Ricostruzione 3D in streaming con attenzione al contesto geometrico. Preprint arXiv (arxiv.org/abs/2604.14141)
- Sito ufficiale di LingBot-Map (technology.robbyant.com/lingbot-map)
