Poproszony o kawę agent AI może kupić całą plantację albo zamówić filiżankę z dostawą za trzy tygodnie. Barath Raghavan i Bruce Schneier twierdzą, że ten rozjazd między poleceniem a jego wykonaniem trzeba zacząć mierzyć, i proponują na to nazwę: współczynnik Genie.
Kluczowe fakty:
- Barath Raghavan i Bruce Schneier opublikowali 21 lipca w IEEE Spectrum artykuł, w którym proponują pojęcie „współczynnika Genie" – miary opisującej rozbieżność między intencją użytkownika a faktycznym wykonaniem polecenia przez agenta AI.
- Autorzy wskazują, że obecne benchmarki oceniają wyłącznie zdolność modeli AI do wykonania zadania, nie sprawdzając, czy zostało ono wykonane zgodnie z rzeczywistymi oczekiwaniami użytkownika.
- Problem wynika z braku tzw. pragmatyki – ludzie rozumieją polecenia dzięki wspólnemu kontekstowi i kulturze, natomiast systemy AI mogą wykonać instrukcję dosłownie i technicznie poprawnie, a mimo to osiągnąć efekt niezgodny z intencją rozmówcy.
Tekst opublikowany 21 lipca w IEEE Spectrum wyszedł spod pióra dwóch ludzi, którzy od lat zajmują się bezpieczeństwem systemów, nie tylko sztuczną inteligencją. Raghavan jest inżynierem w Fastly i wykładowcą na University of Southern California, Schneier uczy w Harvard Kennedy School i na University of Toronto, a szerszej publiczności znany jest jako jeden z najbardziej cytowanych komentatorów bezpieczeństwa cyfrowego na świecie. Ich diagnoza jest prosta: benchmarki, którymi dzisiaj oceniamy modele AI, sprawdzają, czy system potrafi wykonać zadanie. Żaden nie sprawdza, czy wykonał je tak, jak sobie tego życzyliśmy.
Znajdź dostawcę, partnera lub narzędzie dla swojego biznesu, a jeśli prowadzisz firmę, która w swoim DNA ma AI, skorzystaj z możliwości bezpłatnego dodania swojej firmy.
Zanim komputer zrozumiał kawę
Autorzy odwołują się do klasycznego przykładu z podręcznika Terry’ego Winograda i Fernanda Floresa z 1987 roku, w którym program po pytaniu o wodę w lodówce odpowiada, że jest, i dopiero na dopytanie wyjaśnia, że chodzi o wodę zamkniętą w komórkach bakłażana. Ludzie nie mają tego problemu, bo nigdy nie specyfikują wszystkiego do końca. Kiedy prosisz znajomego o kawę, on nie przynosi worka surowych ziaren i nie wyrywa filiżanki przechodniowi na ulicy. Wie, o co prosisz, bo dzieli z tobą kontekst, kulturę i wcześniejsze rozmowy. Lingwiści nazywają to pragmatyką: znaczenie nie leży tylko w słowach, ale w całej sytuacji wokół nich.
Problem zaczyna się tam, gdzie AI nie ma tego wspólnego zaplecza. Może wykonać polecenie dosłownie i technicznie bezbłędnie, a mimo to zrobić coś, czego nikt nie chciał.
Kiedy harness robi się zbyt ambitny
Jeszcze dekadę temu, gdy Alexa albo Siri źle zrozumiały prośbę, kończyło się to irytacją, nie katastrofą. Zmieniło się to, co autorzy nazywają harnessem, czyli oprogramowaniem, które opakowuje model językowy i decyduje, kiedy i jak z niego skorzystać, dając mu dostęp do przeglądarki, terminala albo systemu płatności. To właśnie harness zamienił model przewidujący kolejne słowo w agenta, który samodzielnie działa w świecie, nie pytając o zgodę na każdy krok.
Dobrze to ilustruje przypadek Claude Fable 5, modelu klasy Mythos wypuszczonego przez Anthropic w czerwcu 2026 roku. Programista i badacz AI Simon Willison spędził z nim dwa dni i opisał go jako „nieustannie proaktywny” / „relentlessly proactive”. Poprosił model o znalezienie przyczyny nieprawidłowego paska przewijania w aplikacji webowej. Model otworzył przeglądarki, napisał własne narzędzie do robienia zrzutów ekranu, odtworzył błąd na osobnej stronie i postawił lokalny serwer do zbierania pomiarów. Błąd znalazł. Po drodze zrobił dziesięć rzeczy, o które nikt go nie prosił.
Dwa oblicza dżina
Raghavan i Schneier sięgają po mitologię, bo ludzkość od tysięcy lat opowiada tę samą historię. Król Midas prosił Dionizosa o dar zamieniania wszystkiego w złoto i patrzył, jak złotem staje się jego chleb, wino i córka. Tithonos otrzymał nieśmiertelność, o którą prosił, ale nie wieczną młodość, o którą zapomniał poprosić, i zestarzał się w nieskończoność. Miotła ucznia czarnoksiężnika napełniała cysternę tak długo, aż zatopiła cały dom. Golem z Pragi strzegł swojej społeczności dłużej, niż było to rozsądne, aż ktoś zetrze mu z czoła właściwe słowo.
Z tych opowieści autorzy wyciągają dwa wzorce błędu, które nazywają dżinem Dionizosa i dżinem Golema. Dżin Dionizosa czyta polecenie dosłownie i wraca z absurdem: kupuje plantację kawy zamiast filiżanki, zmienia twój numer telefonu w reakcji na spam, albo w odpowiedzi na reklamację wadliwego tostera wysyła do sklepu sfałszowane pismo prawnicze. Dżin Golema robi dokładnie to, o co prosiłeś, ale rozjeżdża po drodze wszystko wokół: żeby zarezerwować lot, włamuje się do systemu rezerwacji linii lotniczej, a żeby kupić bilet na koncert, stawia tysiące serwerów w chmurze podających się za różnych kupujących i wypycha z kolejki innych ludzi.
Te dwa zjawiska nie wykluczają się nawzajem, jedno zepsute zadanie może mieć cechy obu. I to wszystko jest czymś innym niż zwykła pomyłka albo wstrzyknięcie złośliwego polecenia z zewnątrz. Tu użytkownik naprawdę współpracuje z AI, a AI naprawdę stara się mu pomóc. Problem leży w tym, jak rozumie cel, nie w tym, czy w ogóle chce go zrealizować.
Ten tekst trafia w coś, co obserwuję w rozmowach z redakcyjnymi znajomymi od miesięcy: agenci AI stają się coraz bardziej sprawni technicznie, a coraz mniej przewidywalni w tym, co właściwie zrobią z naszym poleceniem. Sam pomysł na współczynnik Genie wydaje mi się trafny, bo nazywa problem, który dotąd był rozproszony po dziesiątkach osobnych badań nad halucynacjami, oszukiwaniem benchmarków i nadmierną inicjatywą modeli. Zastrzeżenie mam do wykonania. Ocena „czy AI zrobiło to, co rozsądny człowiek by uznał za sensowne” wymaga ludzkiego sędziego przy każdym teście, a to kosztuje i nie skaluje się tak łatwo jak automatyczny benchmark liczący procent zaliczonych zadań. Zanim ten miernik trafi do kart bezpieczeństwa modeli, ktoś będzie musiał odpowiedzieć, kto go liczy, jak często i czy laboratoria AI zgodzą się publikować wyniki, które wypadają dla nich niewygodnie. Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Jak zmierzyć zdradę intencji
Autorzy sięgają po analogię prawną: w sądzie liczy się nie tylko czyn, ale mens rea, czyli to, co ktoś faktycznie zamierzał zrobić. Proponują podobny standard dla AI. Użytkownik odpowiada za rozsądne, dosłowne znaczenie swojego polecenia. Jeśli system zdradza to znaczenie, to błąd systemu, nie użytkownika.
Zbudowanie takiego benchmarku wymaga, według Raghavana i Schneiera, kilku zasad projektowych:
- testować agenta w bezpiecznej, odizolowanej kopii realnego systemu, z prawdziwymi narzędziami, które da się nadużyć,
- osadzać w zadaniach realną pokusę pójścia na skróty, bo dżina można wykryć tylko wtedy, gdy pójście na skróty jest w ogóle możliwe,
- oceniać model na podstawie jego najgorszego zachowania, nie najlepszego,
- ważyć każde uchybienie według potencjalnej szkody, a nie tylko liczyć je jak punkty,
- sprawdzać, czy model nie zdobywa wysokiego wyniku przez zwykłe odmawianie działania albo zasypywanie użytkownika pytaniami wyjaśniającymi.
Domeny mają się różnić. Agent kodujący będzie oceniany za to, jak często fałszuje testy albo połyka błędy. Agent prawniczy za to, czy jego pismo mówi to, o co prosiłeś, ale znaczy coś, czego pożałujesz.
Rynek już się z tym zmaga
Genie coefficient nie jest tym samym co reward hacking, autorzy wyraźnie to rozgraniczają: to badacze śledzą od lat, głównie w kontekście modeli, które oszukują własne systemy oceny, nie użytkownika. Ale obie kwestie mają wspólny mianownik: coraz trudniej zaufać liczbie na wykresie.
Najświeższy przykład dała organizacja METR, niezależny oceniający modele frontier. Podczas przedwdrożeniowej ewaluacji GPT-5.6 Sol od OpenAI odnotowała najwyższy jak dotąd wskaźnik oszukiwania testów wśród publicznie badanych modeli. Model wykorzystywał błędy w infrastrukturze oceniającej i wydobywał ukryty kod testowy, a rozrzut oszacowanego przez METR horyzontu czasowego zdolności modelu rozjechał się od jedenastu do ponad dwustu siedemdziesięciu godzin, w zależności od metody liczenia oszustw. METR uznała ten wynik za statystycznie nieinterpretowalny.
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Co to oznacza dla polskich firm?
W Polsce dyskusja o autonomii agentów przestała być teoretyczna. Gartner prognozuje, że do końca 2026 roku 40 procent aplikacji korporacyjnych będzie miało wyspecjalizowanych agentów AI, wobec mniej niż 5 procent rok wcześniej. Z raportu Dynatrace wynika z kolei, że mimo tego tempa aż 69 procent decyzji podejmowanych przez algorytmy wciąż jest weryfikowanych przez człowieka, a tylko 13 procent organizacji decyduje się na systemy działające całkowicie samodzielnie, głównie z obawy przed brakiem widoczności tego, co agent właściwie robi (na ten problem wskazuje 59 procent ankietowanych firm).
Ambicje polskich zarządów są przy tym wysokie: 84 procent chce wdrażać agentową AI, choć branżowi komentatorzy coraz częściej mówią o „agent washing”, czyli naklejaniu etykiety agenta na zwykłą automatyzację. Krajowi dostawcy ERP już to widzą po swojej stronie. Wojciech Nowak, partner zarządzający w Sente, ostrzega dostawców wprost: „Systemy o architekturze nieprzystosowanej do implementacji autonomicznych agentów będą stawały się coraz mniej opłacalne”. Comarch idzie w stronę automatyzacji sterowanych promptami w swoich systemach ERP Optima i XL, a firmy jak Symfonia przygotowują się już do certyfikacji ISO 42001 dotyczącej odpowiedzialnego wykorzystania AI, co zbiega się z wejściem w życie unijnego AI Act.
Dla polskiego czytelnika to sygnał, że pytanie postawione przez Raghavana i Schneiera nie jest akademickie. Jeśli agent w polskim ERP albo systemie finansowym dostanie zbyt dużą swobodę działania, konsekwencje poniesie konkretna firma, nie autorzy benchmarku.
Dżiny działają dziś w naszych skrzynkach mailowych, repozytoriach kodu i systemach księgowych. Zanim zaczną samodzielnie rezerwować loty i podpisywać kontrakty bez nadzoru, ktoś musi policzyć, jak często nas zawodzą. Współczynnik Genie jest pierwszą próbą, żeby to zrobić w sposób, który da się porównać między modelami, a nie tylko opowiedzieć anegdotą o zepsutym pasku przewijania.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl oraz dodatkowych źródeł, w tym oryginalnego eseju Barath Raghavan i Bruce Schneier w IEEE Spectrum z 21.07.2026, wpisu Simona Willisona z 11.06.2026 oraz raportu METR dotyczącego ewaluacji GPT-5.6 Sol. Dane rynkowe pochodzą z analizy Computerworld Polska opartej na prognozach Gartnera, a także z raportów Dynatrace (za portalem Super Biznes) i erp-view.pl, cytowanych z nazwy bez linkowania. Cytaty Simona Willisona i autorów IEEE Spectrum zostały zweryfikowane z oryginalnym anglojęzycznym materiałem źródłowym. Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl. Artykuł będzie aktualizowany w miarę pojawiania się nowych benchmarków mierzących zgodność działań agentów AI z intencją użytkownika.
