OpenAI dwa tygodnie temu ogłosiło powrót do robotyki, którą porzuciło w 2021 roku. To tylko jeden sygnał z całej serii, że wielkie laboratoria AI postanowiły na poważnie zabrać się za uczenie maszyn funkcjonowania w fizycznym świecie. Problem w tym, że brakuje im czegoś fundamentalnego, bez czego żaden model nie ruszy z miejsca: danych.
Kluczowe fakty:
- Startup XDOF wychodzi ze stealth z rundą finansowania o wartości 70 milionów dolarów, pozyskaną od inwestorów takich jak Thrive Capital, Spark Capital, a16z, Lux i WndrCo. Firma zatrudnia około 60 osób i obsługuje już 20 klientów, w tym kilka czołowych laboratoriów AI.
- Głównym problemem, który XDOF stara się rozwiązać, jest brak danych z fizycznych interakcji robotów ze światem – bez nich trenowanie modeli fundacyjnych dla robotyki nie jest możliwe.
- Założyciel i CEO XDOF, Philipp Wu, jest byłym doktorantem UC Berkeley, gdzie wraz z przyszłym CTO Fredem Shentu opracował projekt GELLO – niskobudżetowy system teleoperacji umożliwiający zbieranie danych poprzez zdalne sterowanie ramieniem robota.
Nie takich danych, jakie znamy z trenowania modeli językowych. Tam wystarczyło zebrać gigantyczne ilości tekstu z internetu i nakarmić nimi model. Roboty potrzebują czegoś zupełnie innego: danych z fizycznych interakcji ze światem. A tych praktycznie nie ma. Nagrania z YouTube’a czy materiały zbierane przez gig workerów to za niska jakość i zbyt słaba spójność z prawami fizyki.
Znajdź dostawcę, partnera lub narzędzie dla swojego biznesu, a jeśli prowadzisz firmę, która w swoim DNA ma AI, skorzystaj z możliwości bezpłatnego dodania swojej firmy.
Startup, który chce rozwiązać problem z kurą i jajem
XDOF (czytane „eks-dof”) wychodzi właśnie ze stealth z rundą 70 milionów dolarów. Za spółką stoją Thrive Capital, Spark Capital, a16z, Lux oraz WndrCo. Firma zatrudnia około 60 osób i, jak twierdzi jej prezes Philipp Wu, obsługuje już 20 klientów, w tym kilka czołowych laboratoriów AI, których jednak nie może wymienić z nazwy.
Pomysł na XDOF narodził się z bardzo konkretnego problemu. Wu był doktorantem na UC Berkeley, gdzie pracował nad uczeniem robotów nowych umiejętności na podstawie dużych zbiorów danych. Tyle że tych zbiorów po prostu nie było.
„Mieliśmy klasyczny problem kury i jajka. Żeby zadać pytanie, jak trenować model fundacyjny dla robotyki, najpierw trzeba zebrać dane. A żeby zebrać dane, potrzebujesz infrastruktury, której jeszcze nikt nie zbudował” / „We didn’t have large-scale data to work with. There was this chicken-and-egg problem — we first needed to actually collect data before we could even ask how to train a foundation model for robotics” – Philipp Wu, CEO XDOF
Wu razem z przyszłym współzałożycielem i dyrektorem technicznym Fredem Shentu opracował projekt GELLO, niskobudżetowy system teleoperacji, który pozwala ludzkiemu operatorowi sterować ramieniem robota i przy okazji generować dane treningowe. Opublikowany artykuł naukowy okazał się zaskakująco wpływowy, bo wielu badaczy miało dokładnie ten sam problem. W październiku 2024 roku Wu, Shentu i trzeci współzałożyciel Nemo Jin oficjalnie powołali XDOF do życia.
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Nie tylko zbieranie, ale cały ekosystem danych
Obserwuję rynek robotyki od kilku lat i widzę tu schemat, który znam z historii modeli językowych. Kiedy LLM-y zaczęły poważnie skalować, nagle okazało się, że nie wystarczy mieć dobry algorytm. Potrzeba infrastruktury: porządkowania danych, adnotacji, sprawnych rurociągów. Firmy, które to rozumiały wcześniej, stały się ważnymi graczami. Z danymi dla robotyki jest dokładnie tak samo, tyle że trudność jest nieporównywalnie wyższa, bo do gry wchodzi fizyka. Pytanie, które mnie naprawdę zajmuje, brzmi: czy model outsourcingu sprawdzi się długoterminowo, czy duże laboratoria nie zdecydują się jednak zbudować własnych rozwiązań, gdy stawka będzie wystarczająco wysoka? Historia AI pokazuje, że monopole na dane rzadko trwają wiecznie.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
XDOF nie chce być zwykłym dostawcą surowych danych. To, zdaniem twórców, ślepy zaułek biznesowy. Spółka stawia na pełen ekosystem: zbieranie danych, ich czyszczenie, narzędzia do adnotacji i pętlę zwrotną dla firm trenujących modele robotyczne.
Jako pierwszy publiczny krok firma razem z laboratorium AI na UC Berkeley udostępnia zbiór danych ABC, który ma być największą publicznie dostępną kolekcją wysokiej jakości danych dla robotyki. W skład zestawu wchodzi:
- 130 000 trajektorii danych z fizycznej manipulacji robotami (zbiór ABC-130K dostępny na Hugging Face)
- 300 godzin symulacji
- 100 godzin ewaluacji
Do przygotowania zbioru dołączyły też Carnegie Mellon, MIT oraz Amazon FAR. Dane były już używane do trenowania robotów w zadaniach takich jak składanie koszulek, spłaszczanie kartonów czy wkładanie słuchawek AirPods do etui. Razem z danymi opublikowano kod treningowy, punkty kontrolne modeli oraz pełny artykuł naukowy obejmujący prawa skalowania dla naśladowania zachowań.
Piramida danych i armia teleoperatorów
XDOF planuje pracować na trzech poziomach tego, co firma nazywa piramidą danych. Na szczycie, i zarazem najbardziej wartościowe, są dane z teleoperacji na rzeczywistym robocie przeznaczonym do wdrożenia. Poniżej dane zbierane przez teleoperowane ramiona robotyczne w ogólnych scenariuszach, tak jak w projekcie GELLO. Na dole piramidy dane „egocentryczne”, zbierane przez ludzi wykonujących codzienne czynności, do czego XDOF planuje zbudować własne czujniki noszone na ciele.
Wu podkreśla, że sprzęt ma tu zasadnicze znaczenie: „Wybór kamery wpłynie na jakość danych, a to przełoży się na skuteczność algorytmu śledzenia ruchów dłoni. Jeśli nie zaprojektujesz sprzętu właściwie od początku, zebrany zbiór danych może mieć specyficzne problemy, których w ogóle nie przewidziałeś.”
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
To model bardzo pracochłonny. Spółka planuje rekrutować i szkolić rzesze teleoperatorów oraz zbieraczy danych egocentrycznych na całym świecie. Nasuwa się pytanie oczywiste: dlaczego wielkie laboratoria same tego nie robią? Odpowiedź Wu jest prosta. Potrzeba hali produkcyjnej o powierzchni setek tysięcy metrów kwadratowych, setek robotów, ich ciągłej obsługi, kalibracji i przeszkolonych operatorów. To skala operacyjna, którą większość laboratoriów woli zlecić na zewnątrz.
Co oznacza nazwa XDOF?
Nazwa to gra słów z pojęcia robotycznego „degrees of freedom”, czyli liczby niezależnych ruchów, jakie robot może wykonać. Ludzkie ramię, od barku do nadgarstka, ma siedem stopni swobody. Najnowszy humanoid firmy Figure AI ma ich 30. „X” w nazwie oddaje ambicję założycieli: dowolna liczba stopni swobody, bez limitu.
Rynek wydaje się gotowy na taką usługę. Skild AI zebrało w tym roku 1,4 miliarda dolarów na budowę robotów uczących się z danych. Startup Prometheus, za którym stoi Jeff Bezos, zebrał 12 miliardów dolarów na budowę tego, co twórcy nazywają „sztucznym inżynierem ogólnego zastosowania dla fizycznego świata”. Apetyt jest. Dane są dopiero w drodze.
