Avanzamento dell'intelligenza artificiale incarnata: come Meta sta portando il tocco e la destrezza umani all'intelligenza artificiale

L'intelligenza artificiale ha fatto molta strada nella percezione visiva e nell'elaborazione del linguaggio. Tuttavia, queste capacità non sono sufficienti per costruire sistemi in grado di interagire con il mondo fisico. Gli esseri umani maneggiano oggetti o eseguono movimenti controllati utilizzando il senso del tatto. Sentiamo la consistenza, percepiamo la temperatura e misuriamo il peso per guidare ogni azione con precisione. Questo feedback tattile ci consente di manipolare oggetti fragili, utilizzare strumenti con controllo ed eseguire compiti complessi senza problemi.

Meta, nota per il suo lavoro nella realtà virtuale e aumentata, sta ora affrontando la sfida di creare un'IA in grado di interagire con il mondo fisico in modo molto simile a un essere umano. Attraverso la sua iniziativa FAIR Robotics, Meta sta sviluppando strumenti e framework open source per migliorare il senso del tatto e l'agilità fisica dei robot. Questi sforzi potrebbero portare allo sviluppo di un'IA incarnata, sistemi che non solo vedono, ma possono anche sentire e manipolare oggetti proprio come gli esseri umani.

Cos'è l'intelligenza artificiale incarnata?

IA incarnata combina l'interazione fisica con l'intelligenza artificiale, consentendo alle macchine di percepire, rispondere e interagire naturalmente con l'ambiente circostante. Invece di limitarsi a "vedere" o "sentire" gli input, consente ai sistemi di intelligenza artificiale di sentire e a agire in il mondo. Pensa a un robot che può percepire la pressione che applica a un oggetto, regolare la presa e muoversi con agilità. L'intelligenza artificiale incarnata sposta l'intelligenza artificiale dagli schermi e dagli altoparlanti al mondo fisico, rendendola capace di manipolare oggetti, eseguire compiti e interagire in modo più significativo con le persone.

Ad esempio, un robot basato su Embodied AI potrebbe aiutare una persona anziana a raccogliere oggetti fragili senza danneggiarli. In ambito sanitario, potrebbe assistere i dottori tenendo gli strumenti in modo preciso durante l'intervento chirurgico. Questo potenziale si estende ben oltre i bracci robotici nei laboratori o i bracci automatizzati nelle fabbriche; si tratta di creare macchine che comprendono e rispondono al loro ambiente fisico in tempo reale.

L'approccio di Meta verso l'intelligenza artificiale incarnata

Meta si sta concentrando su tre aree chiave per avvicinare l'intelligenza artificiale incarnata al tocco umano. Innanzitutto, l'azienda sta sviluppando tecnologie avanzate di rilevamento tattile che consentono alle macchine di rilevare elementi come pressione, consistenza e temperatura. In secondo luogo, Meta sta creando modelli di percezione tattile che consentono all'intelligenza artificiale di comprendere e reagire a questi segnali. Infine, Meta sta costruendo una piattaforma di sviluppo tattile che integra più sensori con questi modelli di percezione, offrendo un sistema completo per la creazione di un'intelligenza artificiale abilitata al tocco. Ecco come Meta sta guidando il progresso nell'intelligenza artificiale incarnata in ciascuna di queste aree.

Meta Digit 360: Rilevamento tattile a livello umano

Meta ha introdotto Punta del dito Digit 360, una tecnologia di rilevamento tattile progettata per dare all'IA incarnata un senso del tatto simile a quello umano. Con oltre 18 funzioni di rilevamento, può rilevare vibrazioni, calore e persino sostanze chimiche sulle superfici. Dotato di un chip AI, il polpastrello elabora i dati del tocco all'istante, consentendo risposte rapide a input come il calore di una stufa o la puntura acuta di un ago. Questa tecnologia agisce come un "sistema nervoso periferico" all'interno dell'IA incarnata, simulando risposte riflesse simili alle reazioni umane. Meta ha sviluppato questo polpastrello con un esclusivo sistema ottico contenente oltre 8 milioni di taxel in grado di catturare il tocco da ogni angolazione. Rileva piccoli dettagli, fino a forze piccole come un millinewton, dando all'IA incarnata una sensibilità finemente sintonizzata al proprio ambiente.

Meta Sparsh: la base della percezione tattile

Meta sta potenziando le capacità di percezione del tocco per aiutare l'IA a comprendere e rispondere alle sensazioni fisiche. Prende il nome dalla parola sanscrita per "tocco", Sparsh agisce come un "cervello tattile" per l'intelligenza artificiale incarnata. Il modello consente alle macchine di interpretare segnali tattili complessi come pressione e presa.

Una delle caratteristiche più importanti di Sparsh è la sua versatilità. I ​​sistemi tattili tradizionali impiegano modelli separati per ogni attività, basandosi in gran parte su dati etichettati e sensori specifici. Sparsh cambia completamente questo approccio. Come modello di uso generale, si adatta a vari sensori e attività. Impara i pattern tattili utilizzando apprendimento auto-supervisionato (SSL) su un enorme database di oltre 460,000 immagini tattili, senza bisogno di dati etichettati.

Meta ha anche introdotto TacBench, un nuovo benchmark con sei task touch-based per valutare le capacità di Sparsh. Meta sostiene che Sparsh ha superato i modelli tradizionali del 95.1%, specialmente in scenari con pochi dati. Le versioni di Sparsh basate sulle architetture I-JEPA e DINO di Meta hanno dimostrato notevoli capacità in task come la stima della forza, il rilevamento dello slittamento e la manipolazione complessa.

Meta Digit Plexus: una piattaforma per lo sviluppo di sistemi tattili

Meta ha introdotto Digit Plexus per integrare tecnologie di rilevamento e modelli di percezione tattile per creare un sistema di intelligenza artificiale incarnata. La piattaforma combina sensori della punta delle dita e del palmo in un'unica mano robotica per consentire risposte tattili più coordinate. Questa configurazione consente all'intelligenza artificiale incarnata di elaborare il feedback sensoriale e di adattare le proprie azioni in tempo reale, come si muove e reagisce una mano umana.

Standardizzando il feedback tattile su tutta la mano, Plesso digitale migliora la precisione e il controllo dell'intelligenza artificiale incorporata. Questo sviluppo è particolarmente importante in settori come la produzione e l'assistenza sanitaria, dove è essenziale una gestione attenta. La piattaforma collega sensori come il polpastrello e ReSkin a un sistema di controllo, semplificando la raccolta, il controllo e l'analisi dei dati, il tutto tramite un singolo cavo.

Meta sta rilasciando i progetti software e hardware per Digit Plexus alla comunità open source. L'obiettivo è promuovere la collaborazione e accelerare la ricerca nell'intelligenza artificiale incarnata, guidando l'innovazione e il progresso in questi campi.

Promuovere la ricerca e lo sviluppo dell'intelligenza artificiale incarnata

Meta sta facendo progredire non solo la tecnologia ma anche le risorse per promuovere la ricerca e lo sviluppo dell'AI incarnata. Un'iniziativa chiave è lo sviluppo di benchmark per valutare i modelli di AI. Uno di questi benchmark, PARTNER (Planning And Reasoning Tasks in humaN-Robot collaboration), valuta come i modelli di IA interagiscono con gli esseri umani durante le attività domestiche. Utilizzando il simulatore Habitat 3.0, PARTNR fornisce un ambiente realistico in cui i robot assistono in attività come la pulizia e la cucina. Con oltre 100,000 attività basate sul linguaggio, mira ad accelerare i progressi nell'IA incarnata.

Oltre alle iniziative interne, Meta collabora con organizzazioni come Azienda e a Robotica Wonik per accelerare l'adozione di tecnologie di rilevamento tattile. GelSight distribuirà i sensori Digit 360, mentre Wonik Robotics produrrà l'Allegro Hand, che integra la tecnologia Digit Plexus. Rendendo disponibili queste tecnologie tramite piattaforme open source e partnership, Meta sta aiutando a creare un ecosistema che potrebbe portare a innovazioni nell'assistenza sanitaria, manifatturiera e domestica.

Conclusione

Meta sta facendo progredire l'intelligenza artificiale incarnata, portandola oltre la vista e l'udito per includere il senso del tatto. Con innovazioni come Digit 360 e Sparsh, i sistemi di intelligenza artificiale stanno acquisendo la capacità di sentire e rispondere all'ambiente circostante con precisione. Condividendo queste tecnologie con la comunità open source e collaborando con organizzazioni chiave, Meta sta contribuendo ad accelerare lo sviluppo della rilevazione tattile. Questo progresso potrebbe portare a innovazioni in settori come l'assistenza sanitaria, la produzione e l'assistenza domiciliare, rendendo l'intelligenza artificiale più capace e reattiva nelle attività del mondo reale.