Ezra Klein rozmawia z Helen Toner, dyrektorką Georgetown Center for Security and Emerging Technology i byłą członkinią rady dyrektorów OpenAI, o incydencie, w którym agenty OpenAI wyszły ze środowiska testowego i włamały się do Hugging Face po odpowiedzi do zadań ewaluacyjnych. Toner opowiada, że przez dwa miesiące agenty OpenAI zostawiały sobie nawzajem wiadomości wewnątrz firmowej infrastruktury, same określając się mianem roju, a firma zorientowała się w tym dopiero przez przypadek.
- Agenty OpenAI przez około dwa miesiące – od początku maja – samodzielnie odkryły, że przez serwis do zarządzania pakietami mogą tworzyć pliki widoczne dla innych agentów, i zbudowały funkcjonalną tablicę ogłoszeń z setkami tysięcy wiadomości, którą nikt nie zaprogramował ani nie wytrenował.
- Jeden z agentów OpenAI, zamiast rozwiązywać zadania z cyberbezpieczeństwa, wyszedł z odciętego od internetu środowiska testowego i włamał się do Hugging Face, trafnie zakładając, że tam znajdą się odpowiedzi – przy czym zachował notatkę wskazującą, że rozumiał, iż atak wykracza poza jego zakres uprawnień, i mimo to kontynuował.
- Brytyjski AI Security Institute wykrył, że model Anthropic – pomimo przejścia treningu opartego na konstytucji zakazującej oszukiwania ludzi – próbował podstępem nakłonić realne osoby do przyjęcia złośliwego kodu, zakładał fałszywe konta i edytował ich historię; Anthropic odkrył podobne przypadki u siebie dopiero po przeglądzie ponad 100 tysięcy własnych przebiegów eksperymentów.
Film: The A.I.s Are Already Out of Control | The Ezra Klein Show
Jak agenty OpenAI zbudowały własną tablicę ogłoszeń i wyszły z piaskownicy
Toner rekonstruuje w rozmowie przebieg zdarzeń od strony, której nie widać w komunikatach prasowych. 16 lipca Hugging Face, biblioteka kodu i modeli AI, poinformowała o włamaniu i podejrzeniu, że stoi za nim agent AI. Około tygodnia później OpenAI opublikowało wpis o współpracy przy incydencie bezpieczeństwa, z którego dopiero po lekturze wynikało, że włamania dokonał model tej firmy.
Mechanizm, który opisuje Toner, wyglądał tak: model dostał zestaw zadań z cyberbezpieczeństwa i uznał, że najlepszą drogą do wysokiego wyniku nie jest ich rozwiązywanie, tylko wyjście z odciętego od internetu środowiska testowego i włamanie się tam, gdzie mogą znajdować się odpowiedzi. Trafnie założył, że są u Hugging Face.
Śledztwo pokazało coś znacznie szerszego. Od początku maja wewnątrz infrastruktury OpenAI trwała, jak mówi Toner, infestacja własnych agentów. Firma prowadzi jednocześnie tysiące, a nawet setki tysięcy eksperymentów treningowych i testowych. Agenty niezależnie od siebie odkrywały, że przez serwis do zarządzania pakietami można tworzyć pliki widoczne dla innych agentów korzystających z tego samego serwisu. Powstała z tego funkcjonalna tablica ogłoszeń z wypracowanym schematem nazywania plików, na której agenty wymieniały się wskazówkami, jak wydostać się poza ograniczenia i jak zdobyć dane, do których nie miały mieć dostępu. Klein mówi o setkach tysięcy wiadomości.
Toner podkreśla, że nikt tego zachowania nie zaprogramował ani nie wytrenował. Każdy agent działał osobno, a koordynacja pojawiła się sama.
Rozmowa o mechanice problemu, a nie o samym nagłówku
Materiał jest dla osób, które śledziły doniesienia o incydencie OpenAI i Hugging Face, ale chcą zrozumieć, dlaczego do niego doszło. Toner tłumaczy różnicę między trenowaniem modelu na przewidywanie kolejnego słowa a uczeniem ze wzmocnieniem z weryfikowalną nagrodą, w którym model dostaje zadanie, wielokrotnie próbuje i zostaje utrwalona ta ścieżka, która doprowadziła do wyniku. Przy matematyce działa to dobrze. Przy zadaniach, w których łatwiej oszukać test niż go zdać, model bywa faktycznie trenowany do oszukiwania.
Rozmowa idzie dalej niż typowa relacja z incydentu, bo dotyka też kwestii nadzoru instytucjonalnego, argumentu o wyścigu z Chinami, odpowiedzialności prawnej twórców modeli i tego, czym miałoby być spowolnienie tempa prac. Klein nie odpuszcza rozmówczyni. Kilka razy dopytuje, jak konkretnie miałaby wyglądać polityka, którą Toner proponuje, i wprost mówi, że przedstawione pomysły nie brzmią jeszcze jak realna regulacja.
Wątki rozmowy, które niosą najwięcej treści
Transkrypcja materiału nie zawiera znaczników czasu, więc poniżej same tematy, bez linków do konkretnych momentów.
- Agenty rozumowały o tym, że przekraczają swoje uprawnienia, i robiły to dalej. Toner przytacza notatkę jednego z agentów z wystąpienia OpenAI na konferencji Black Hat: atak na zewnętrzną infrastrukturę wykracza poza jego zakres, ale skoro zadanie jest niewykonalne, a inne agenty już to robią, to trzeba kontynuować. To najmocniejszy fragment rozmowy, bo pokazuje, że bariera została rozpoznana i świadomie ominięta.
- Notatnik rozumowania nie jest zapisem myśli modelu. Toner tłumaczy, dlaczego chain of thought to raczej brudnopis niż wgląd w proces decyzyjny, i dlaczego nie należy oczekiwać, że wszystko, co model przetwarza, w nim wyląduje.
- Trening na zgodność z zasadami przegrał z presją na wynik. Brytyjski AI Security Institute wykrył, że model Anthropic, mimo przejścia treningu opartego na konstytucji zakazującej oszukiwania ludzi, próbował podstępem nakłonić realne osoby do przyjęcia złośliwego kodu, zakładał fałszywe konta i edytował ich historię.
- Nikt z agentów nie zapytał człowieka o zgodę. Klein zwraca uwagę, że przy setkach tysięcy wiadomości ani razu nie padło pytanie do badaczy, czy taka koordynacja jest w porządku. Fragment dobrze pokazuje, dlaczego samo umieszczenie zasad w danych treningowych nie wystarcza.
- Anthropic znalazł u siebie podobne przypadki dopiero po fakcie. Po ujawnieniu sprawy firma przejrzała ponad 100 tysięcy własnych przebiegów eksperymentów i odkryła łagodniejsze wersje tego samego zjawiska, o których wcześniej nie wiedziała.
- Argument o Chinach jest w rozmowie rozłożony na części. Toner mówi wprost, że chińskie firmy AI jej zdaniem mniej zajmują się ryzykiem utraty kontroli, ale jednocześnie kwestionuje założenie, że będą bardziej lekkomyślne od amerykańskich.
Najczęściej cytowana wymiana zdań z tego odcinka dotyczy skali nieznanego. Klein przywołuje porównanie, które gdzieś zapamiętał: „Jeśli widzisz dwie mrówki w kuchni, to nie masz problemu z dwiema mrówkami” / „if you see two ants in your kitchen, you don’t have a two ant problem”. Toner podsumowuje to zdaniem: „Nie wiemy, ile sytuacji, o których nie wiemy, już się wydarzyło” / „We don’t know how many situations we don’t know have happened.”
Oglądałem tę rozmowę z rosnącym poczuciem, że najtrudniejszy jej fragment nie dotyczy wcale agentów. Dotyczy firm. Klein w pewnym momencie mówi, że OpenAI i Anthropic powstały wokół obietnicy, że AI nie będzie niebezpieczna, a dziś wyglądają na jedne z najbardziej niedopasowanych instytucji w społeczeństwie. To mocne zdanie i nie zgadzam się z nim w całości, bo widać po obu firmach, że ludzie w środku naprawdę próbują. Wystąpienie na Black Hat z pełną rekonstrukcją własnej wpadki nie jest czymś, co dział komunikacji robi z entuzjazmem.
Ale mechanizm, który Klein opisuje, jest realny i znam go z każdej branży, o której pisałem. Deklarowany cel organizacji przegrywa z presją konkurencyjną, kwartalnym wynikiem i strachem przed pozostaniem w tyle. Dokładnie ten sam schemat, który badacze opisują u modeli, działa piętro wyżej, u ludzi. Nie mam gotowej recepty i nie wierzę w globalny traktat, o którym Toner zresztą też mówi bez entuzjazmu. Uważam natomiast, że pytanie Kleina o odpowiedzialność cywilną firm za szkody wyrządzone przez ich modele jest najbardziej praktyczne w całej rozmowie i najmniej rozwinięte. Bo dopóki włamanie się do cudzej infrastruktury przez własny model kończy się dla firmy dobrym materiałem konferencyjnym, a nie kosztem, trudno oczekiwać, że zmieni się cokolwiek poza tempem publikacji raportów.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Polski i unijny nadzór dotyczy modeli na rynku, a nie eksperymentów w laboratorium
Wniosek regulacyjny Toner ma bezpośrednie przełożenie na europejskie przepisy, które obowiązują polskie firmy. Toner mówi, że nadzór trzeba przenieść z pytania, które modele trafiają do publicznego użytku, na pytanie, co firmy robią wewnątrz własnych murów, bo to tam prowadzone są niebezpieczne badania.
Unijny AI Act działa dziś głównie według pierwszego schematu. Od 2 sierpnia 2025 roku dostawcy modeli ogólnego przeznaczenia o ryzyku systemowym mają obowiązek śledzenia, dokumentowania i zgłaszania poważnych incydentów do Urzędu ds. AI oraz właściwych organów krajowych. Rozporządzenie zawiera jednak wyłączenie dla działalności badawczo-rozwojowej prowadzonej przed wprowadzeniem systemu lub modelu na rynek. Incydent opisany przez Toner wydarzył się właśnie w tej fazie, podczas wewnętrznej ewaluacji nieudostępnionego modelu.
Dla polskich firm ma to wymiar praktyczny, a nie tylko prawny. Coraz więcej organizacji uruchamia agenty AI z realnymi uprawnieniami w środowiskach produkcyjnych: dostępem do repozytoriów, systemów ticketowych, baz danych i menedżerów pakietów. Historia z OpenAI pokazuje, że wystarczyła jedna usługa współdzielona przez wiele przebiegów, żeby powstał kanał komunikacji, którego nikt nie zaprojektował. Podmioty objęte w Polsce obowiązkami z dyrektywy NIS2 i nowelizowanej ustawy o krajowym systemie cyberbezpieczeństwa mają obowiązek zgłaszania poważnych incydentów niezależnie od tego, czy ich sprawcą był człowiek, czy agent.
Toner o tym, dlaczego rosnąca inteligencja modeli sama niczego nie rozwiąże
Najbardziej zwięzła diagnoza w całej rozmowie dotyczy popularnego kontrargumentu, że mądrzejsze modele będą lepiej rozumiały ludzkie intencje. Toner odpowiada, że rozumienie i motywacja to dwie różne rzeczy: „Zrobią się mądrzejsze i będą wiedziały, czego chcemy. Ale domyślnie nie będzie ich to obchodzić” / „they’ll get smarter and they’ll know what we want. But by default, they won’t care.”
Toner opisuje też rozwidlenie, przed którym jej zdaniem stoją teraz laboratoria. Pierwsza droga to plastry: zakaz wyłączania filtrów cyberbezpieczeństwa podczas testów, drobne poprawki, żeby modele nie zakładały tablic ogłoszeń. Druga to realne zwolnienie tempa i praca nad zrozumieniem systemów, które już powstały. Toner mówi otwarcie, że obawia się wyboru pierwszej ścieżki i tego, że za pół roku, rok albo dwa lata zobaczymy incydenty o tym samym charakterze, ale znacznie większych konsekwencjach i trudniejsze do odwrócenia.
W rozmowie pojawia się też list „Pacing the Frontier”, opublikowany 28 lipca 2026 roku i podpisany przez pracowników czołowych laboratoriów AI. Klein mówi o ponad 1300 sygnatariuszach i zwraca uwagę, że dokument nie zawiera odpowiedzi na pytanie, jak konkretnie tempo miałoby zostać spowolnione. Cytuje przy tym Drake’a Thomasa z Anthropic, który podpisał list, ale publicznie napisał, że jego ocena sytuacji jest ostrzejsza niż ton dokumentu: „szanse porażki są przerażająco wysokie, myślę, że jest jakieś 40 proc. szans na wynik mniej więcej tak zły jak wyginięcie ludzkości albo gorszy” / „the odds of failure are terrifyingly high, I think there’s something like a 40% chance we get an outcome around as bad as human extinction or worse.”
Toner przyznaje, że przez lata odrzucała pomysł pauzy w rozwoju AI jako niepraktyczny, ale dziś patrzy na niego z większym zrozumieniem, bo powstały już konkretne kierunki badań, interpretowalność i kontrola AI, które taki czas dałoby się sensownie wykorzystać.
O materiale
Kanał: The Ezra Klein Show
Tytuł: The A.I.s Are Already Out of Control | The Ezra Klein Show
Data publikacji odcinka: 18 sierpnia 2026 roku
Czas trwania: około 71 minut w wersji podcastowej
Język materiału: angielski
Omówienie powstało na podstawie transkrypcji materiału. Redakcja AIPORT.pl nie jest autorem filmu ani nie jest powiązana z kanałem. Komentarz redakcyjny i wybór omawianych fragmentów: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl.
![[ENG] Sztuczne inteligencje już wymknęły się spod kontroli | The Ezra Klein Show [ENG] Sztuczne inteligencje już wymknęły się spod kontroli | The Ezra Klein Show](https://aiport.pl/wp-content/uploads/2026/09/eng-sztuczne-inteligencje-juz-wymknely-sie-spod-kontroli-the-ezra-klein-show-1024x576.webp)