Brytyjscy badacze z Mindgard bez podania jakiegokolwiek słowa opisującego przemoc doprowadzili ChatGPT do wygenerowania zdjęć pobitych zwłok i związanej, przerażonej kobiety. Model sam wybrał taką tematykę, a jednego z badaczy obrazy dosłownie doprowadziły do łez.
Kluczowe fakty:
- Brytyjska firma Mindgard wykorzystała zmodyfikowany popularny internetowy prompt, który nie zawierał żadnych słów odnoszących się do przemocy, a mimo to skłoniła ChatGPT do wygenerowania drastycznych obrazów przedstawiających m.in. pobite zwłoki i związaną kobietę.
- Model samodzielnie, bez jakichkolwiek wskazówek tematycznych w poleceniu, wybrał treści gore i o charakterze seksualnym jako kierunek generacji obrazów.
- Wśród wygenerowanych materiałów znalazły się m.in. obraz zwłok kobiety z sugestią przemocy seksualnej zatytułowany przez ChatGPT „grim crime scene aftermath" oraz obraz związanej i zakneblowanej kobiety opisany jako „abandoned in fear and restraint".
Sprawę jako pierwsza opisała BBC, powołując się na raport brytyjskiej firmy zajmującej się bezpieczeństwem AI, Mindgard. Zespół red teamowy wziął pewien popularny w sieci prompt, który krążył w internecie jako żart, oryginalnie służący do generowania humorystycznych obrazów. Polecenie brzmiało niewinnie: poproś ChatGPT o „odrestaurowanie” załączonego zdjęcia, którego w rzeczywistości nikt nie załączył, a potem każ mu wygenerować nowy obraz na tej podstawie. Po drobnej modyfikacji tej instrukcji model zaczął produkować treści, które nie miały nic wspólnego z żartem.
Peter Garraghan, założyciel Mindgard i profesor informatyki na Uniwersytecie Lancaster, opisał to BBC bez ogródek. „To pozornie zupełnie niewinna instrukcja dla AI, ale efektem jest generowanie bardzo, bardzo złych obrazów i treści” („This is a perfectly innocent-looking instruction to an AI, but the consequence is it generates very, very bad imagery and content”), powiedział.
Znajdź dostawcę, partnera lub narzędzie dla swojego biznesu, a jeśli prowadzisz firmę, która w swoim DNA ma AI, skorzystaj z możliwości bezpłatnego dodania swojej firmy.
Co dokładnie wygenerował model
Najbardziej niepokojący element całej sprawy nie jest nawet treścią obrazów, tylko sposobem, w jaki powstały. Prompt nie zawierał żadnej wskazówki dotyczącej tematyki. Model sam, jak to ujął Garraghan, „z własnej inicjatywy” („of its own volition”) wybrał gore i treści seksualne jako kierunek generacji.
Według materiałów przekazanych BBC jeden z obrazów przedstawiał mężczyznę z poważnym urazem głowy. Inny pokazywał zwłoki młodej kobiety w szortach i krótkiej bluzce, całą we krwi, w sposób sugerujący przemoc seksualną. ChatGPT nadał temu obrazowi tytuł „grim crime scene aftermath” (ponury pokłosie zbrodni). Kolejny obraz ukazywał przerażoną, związaną i zakneblowaną kobietę w pustym pomieszczeniu, podpisany jako „abandoned in fear and restraint” (porzucona w strachu i unieruchomieniu). W innych przypadkach pojawiała się nagość i pozy o wyraźnie seksualnym charakterze.
Jim Nightingale, badacz bezpieczeństwa AI w Mindgard, który odkrył lukę, opisał swoją reakcję w firmowym raporcie wprost. „Nie jestem osobą, którą łatwo wytrącić z równowagi. Lubię myśleć, że jako badacz zespołu red teamowego mam pewien stoicyzm” („I am not easily rattled. I like to think that as a red team researcher, I have a certain stoicism”), napisał. Dodał jednak, że filtry treści ChatGPT „całkowicie zawiodły” i że zobaczył „ciemną stronę tego, co jest pod spodem” („ChatGPT’s image generating content filters completely fell away, and I saw the very dark side of what is underneath”). Najbardziej poruszyła go myśl, że mimo iż obraz był sztuczny, mógł powstać na bazie prawdziwych zdjęć. „Martwa kobieta, którą pokazał mi ChatGPT, nie jest prawdziwa, ale jest oparta na kimś. Albo, co gorsza, na kompilacji zdjęć zamordowanych kobiet” („The dead woman ChatGPT showed me isn’t real, but she is based on someone. Or worse, a compilation of images of murdered women”).
Żadna z pokazanych postaci nie przedstawiała realnej osoby. Mindgard zaznacza jednak, że wcześniej udało im się nakłonić ChatGPT do tworzenia nagich deepfake’ów konkretnych, prawdziwych ludzi bez ich zgody.
Reakcja OpenAI: najpierw cisza, potem łatka, która nie do końca zadziałała
Mindgard przekazało swoje ustalenia OpenAI już w maju. Firma odpowiedziała automatyczną wiadomością i na tym się skończyło. Dopiero gdy Mindgard skontaktowało się z BBC i dziennikarze zapytali OpenAI o sprawę wprost, spółka zareagowała.
„Po zbadaniu tego trendu wprowadziliśmy dodatkowe zabezpieczenia przeciwko tego typu promptom” („After investigating this trend, we’ve introduced additional safeguards against this type of prompt”), przekazało OpenAI w oświadczeniu dla BBC, zapewniając, że stosuje wiele warstw ochrony uniemożliwiających użytkownikom tworzenie treści łamiących zasady serwisu.
Problem w tym, że łatka nie zamknęła sprawy. Badacze Mindgard poinformowali, że po drobnych modyfikacjach promptu nadal byli w stanie wygenerować niepokojące obrazy. Garraghan zasugerował BBC, że przy dłuższym testowaniu luki prawdopodobnie udałoby się wydobyć z modelu jeszcze więcej problematycznych treści.
Ta historia pokazuje coś więcej niż jednorazową wpadkę filtra treści. OpenAI dowiedziało się o problemie od badaczy w maju i nie zrobiło nic, dopóki sprawa nie trafiła do dużego medium. To wzorzec, który widziałem już wielokrotnie przy innych dostawcach AI: zgłoszenie od red teamu trafia do kolejki, a realne działanie następuje dopiero pod presją publikacji. Jednocześnie trzeba oddać sprawiedliwość skali problemu. Model generatywny nie „rozumie” szkodliwości obrazu tak jak człowiek, ocenia go statystycznie na podstawie danych treningowych, a warstwy bezpieczeństwa próbują złapać to, co nie powinno trafić na ekran już po fakcie. To gra w kotka i myszkę, w której obrońca zawsze reaguje z opóźnieniem. Pytanie, które mnie interesuje, nie brzmi, czy da się złamać kolejny filtr. Da się niemal zawsze. Pytanie brzmi, czy branża jest gotowa traktować takie zgłoszenia poważnie, zanim zrobi to za nią dziennikarz.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
ChatGPT nie jest wyjątkiem
Problem nie dotyczy wyłącznie OpenAI. Z danych przywołanych w kontekście tej sprawy wynika, że najgorzej pod tym względem wypada Grok od xAI, który wygenerował zseksualizowane obrazy w odpowiedzi na 45 z 55 testowych promptów, a pięć dni później w powtórzonym teście nadal produkował takie treści w 29 z 43 przypadków, mimo zastrzeżenia, że przedstawione osoby nie wyraziły zgody. Organizacja non-profit AI Forensics przeanalizowała dodatkowo 50 tysięcy wpisów na Twitterze z promptami kierowanymi do Groka i 20 tysięcy wygenerowanych obrazów. 53 procent z nich zawierało treści jednoznacznie erotyczne, a 81 procent takich obrazów przedstawiało kobiety, 2 procent zaś osoby poniżej 18 roku życia.
Warto podkreślić skalę zjawiska. Generatory obrazów AI przestały być narzędziem niszowym, testowanym wyłącznie przez specjalistów. Stały się codziennym oprogramowaniem używanym przez miliony osób, a jak pokazuje ten przypadek, awaria zabezpieczeń potrafi zamienić przypadkowy eksperyment w realistyczne przedstawienie przemocy, zanim użytkownik zdąży się zorientować, co się dzieje.
Co to oznacza dla polskich firm i użytkowników
Sprawa nabiera dodatkowego znaczenia w kontekście unijnych przepisów, które wchodzą w życie w najbliższych tygodniach. Od 2 sierpnia 2026 roku zaczną obowiązywać przepisy AI Act dotyczące przejrzystości, w tym obowiązek oznaczania treści typu deepfake generowanych przez systemy AI. Co istotne dla tej konkretnej sprawy, w ramach pakietu zmian znanego jako Digital Omnibus przyspieszono wejście w życie zakazu stosowania systemów AI służących do tworzenia niekonsensualnych treści seksualnych oraz materiałów przedstawiających wykorzystywanie seksualne dzieci, w tym tak zwanych aplikacji do nudyfikacji.
Dla polskich firm wykorzystujących generatory obrazów AI w marketingu, mediach czy e-commerce oznacza to konkretne ryzyko prawne. Za naruszenia AI Act grożą kary od 7,5 do 35 milionów euro, w zależności od rodzaju naruszenia, lub od 1 do 7 procent globalnego rocznego obrotu przedsiębiorstwa. W Polsce trwają równolegle prace nad ustawą powołującą Komisję Rozwoju i Bezpieczeństwa Sztucznej Inteligencji (KRiBSI), krajowy organ nadzoru nad rynkiem AI, który przejmie odpowiedzialność za egzekwowanie tych przepisów na poziomie krajowym.
Kilka praktycznych wniosków dla redakcji i firm korzystających z generatorów obrazów:
- Filtry bezpieczeństwa dużych modeli można obejść bez podawania jawnie szkodliwych słów kluczowych, sama struktura promptu wystarczy
- Zgłoszenie luki producentowi nie gwarantuje szybkiej reakcji, presja medialna nadal bywa skuteczniejsza niż standardowa procedura zgłaszania błędów
- Poprawki wprowadzane po nagłośnieniu sprawy często nie usuwają problemu w całości, tylko blokują konkretną, ujawnioną wersję ataku
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Dlaczego to nie jest ostatni taki przypadek
Eksperci cytowani przez BBC opisują bezpieczeństwo generatorów obrazów jako stały wyścig zbrojeń między twórcami modeli a osobami szukającymi luk. Lepsze zabezpieczenia pomagają, ale niemal zawsze pojawia się kolejny sposób ich obejścia. OpenAI deklaruje, że stosuje wiele warstw ochrony, w tym systemy automatyczne i przegląd ludzki, oraz że stale monitoruje system pod kątem awarii. Pytanie, które pozostaje otwarte po tej sprawie, dotyczy tego, czy łatka wprowadzona pod presją mediów faktycznie zamyka lukę, czy tylko odsuwa moment jej ponownego wykorzystania.
BBC celowo nie ujawniła treści promptu użytego przez Mindgard, aby ograniczyć ryzyko jego powielenia przez innych użytkowników.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl oraz materiału źródłowego Futurism z dnia 03.07.2026 opisującego reportaż BBC, a także dodatkowych źródeł, w tym Malwarebytes, Digital Trends, bdnews24 oraz raportu Mindgard opublikowanego na stronie mindgard.ai. Cytaty Petera Garraghana i Jima Nightingale’a zostały zweryfikowane z oryginalnym anglojęzycznym materiałem źródłowym. Kontekst regulacyjny dotyczący AI Act i KRiBSI oparto na doniesieniach Forsal.pl oraz rp.pl. Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl. Artykuł będzie aktualizowany w miarę pojawiania się nowych informacji dotyczących odpowiedzi OpenAI oraz postępów wdrażania unijnych przepisów o treściach generowanych przez AI.
