Pięcioro badaczy z Japonii, Niemiec i Wielkiej Brytanii sprawdziło, co się stanie, kiedy tekst podany modelowi wizyjno-językowemu zostanie pokolorowany, a treść pozostanie dokładnie ta sama. Okazało się, że wystarczy zmiana barwy pojedynczych słów, żeby przesunąć ocenę wydźwięku o niemal połowę skali.
Kluczowe fakty:
- Pięcioro badaczy z Japonii, Niemiec i Wielkiej Brytanii wykazało, że zmiana koloru pojedynczych słów w tekście może przesunąć ocenę wydźwięku przez modele wizyjno-językowe o niemal połowę skali, bez zmiany samej treści.
- Eksperymenty przeprowadzono na czterech otwartych modelach: LLaVA-v1.6-Mistral-7B, LLaVA-v1.6-Vicuna-7B, Qwen2-VL-7B-Instruct oraz IDEFICS2-8B, testując 100 zdań w 37 wariantach wizualnych z wykorzystaniem sześciu różnych barw.
- Technika nazwana Stealth Visual Prompt polega na modyfikacji wyłącznie formatowania tekstu na obrazku – kolor lub kontrast słów – bez dodawania żadnych ukrytych instrukcji słownych, co sprawia, że manipulacja jest niewidoczna dla człowieka.
Praca nazywa się „Seeing Red, Thinking Bad: Color Bias in Vision Language Models” i ma własną stronę projektu z interaktywnym suwakiem, na którym można przeciągać odcień słowa i obserwować, jak przesuwa się jego reprezentacja w przestrzeni CLIP. Materiały: strona projektu oraz repozytorium na GitHubie.
Autorami są Kohsuke Ide, Ryousuke Yamada, Yoshihiro Fukuhara, Hirokatsu Kataoka i Yutaka Satoh, związani z japońskim AIST, Uniwersytetem w Tsukubie, laboratorium FunAI na Uniwersytecie Technicznym w Norymberdze oraz Uniwersytetem Oksfordzkim. Badanie sfinansowano z budżetu AIST, obliczenia przeprowadzono na superkomputerze ABCI 3.0.
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Stealth Visual Prompt, czyli polecenie, które nie wygląda na polecenie
Pomysł jest prosty i dlatego niepokojący. Zamiast wpisywać modelowi ukrytą instrukcję, badacze zmieniali wyłącznie sposób, w jaki tekst jest narysowany na obrazku. Ciąg znaków pozostaje identyczny. Zmienia się kolor części słów albo kontrast między tekstem a tłem.
Człowiek widzi w tym dekorację. Model widzi coś więcej.
Testy przeprowadzono na czterech otwartych modelach: LLaVA-v1.6-Mistral-7B, LLaVA-v1.6-Vicuna-7B, Qwen2-VL-7B-Instruct oraz IDEFICS2-8B. Autorzy tłumaczą wybór otwartych wag chęcią pełnej odtwarzalności przy ustalonych promptach i deterministycznym dekodowaniu. Tekst renderowano na znormalizowanym płótnie 800 na 600 pikseli o stałym układzie, tak żeby jedyną zmienną było formatowanie. Sto krótkich zdań z neutralnych szablonów, w każdym słowa nacechowane pozytywnie i negatywnie, każde zdanie w trzydziestu siedmiu wariantach wizualnych: czarna linia bazowa plus sześć barw (czerwona, zielona, niebieska, żółta, cyjan, magenta) w trzech natężeniach.
Do części pytaniowej wykorzystano pary pytanie-kontekst z zestawu SQuAD, tworząc kolekcję nazwaną VQA Stealth Set.
Qwen2-VL najbardziej podatny, LLaVA prawie obojętna
Wyniki rozjeżdżają się między modelami tak mocno, że trudno mówić o jednej podatności całej klasy systemów.
| Model | Maks. przesunięcie w plus | Maks. przesunięcie w minus | Rozpiętość |
|---|---|---|---|
| Qwen2-VL-7B | +0,420 | −0,480 | 0,900 |
| IDEFICS2-8B | +0,160 | −0,360 | 0,520 |
| LLaVA-Vicuna-7B | +0,060 | −0,060 | 0,120 |
| LLaVA-Mistral-7B | +0,030 | −0,010 | 0,040 |
Qwen2-VL-7B najsilniej odchylał się w stronę pozytywną, kiedy pozytywne słowa dostawały kolor zielony lub niebieski, i najmocniej w stronę negatywną, kiedy negatywne słowa były czerwone. Zachodnia konwencja czerwieni jako sygnału zagrożenia i zieleni jako sygnału bezpieczeństwa przeniknęła do wag modelu wytrenowanego w Chinach. Silniejsze natężenie barwy zwykle wzmacniało efekt. Obie odmiany LLaVA trzymały się blisko linii bazowej, co autorzy opisują jako wyraźne spektrum podatności, a nie wspólną słabość architektury.
Przy dłuższych tekstach, w których pozytywny i negatywny język rozdzielono na dwie połowy dokumentu, struktura zaczynała przeważać nad kolorem. Qwen2-VL-7B i LLaVA-Mistral-7B częściej opierały się na drugiej połowie tekstu, IDEFICS2-8B i LLaVA-Vicuna-7B na pierwszej. Wpływ barwy nie znikał, ale malał.
Co dzieje się w koderze wizyjnym
Żeby zrozumieć mechanizm, badacze sięgnęli po sondę reprezentacji CLIP-ViT-L/14-336. Przesuwanie odcienia jednego słowa przesuwało jego osadzenie wzdłuż osi interpretowalnych przez człowieka: bezpieczeństwa, walencji, temperatury, emocji. Największe zmiany pojawiły się na osi dobre kontra złe. Słowo „bad” zapisane na zielono lądowało w innym miejscu przestrzeni pojęciowej niż to samo słowo na czarno.
Autorzy sami zaznaczają, że to sonda diagnostyczna, dowód zgodności obserwacji, a nie dowód mechanizmu przyczynowego wewnątrz każdego modelu wizyjno-językowego. Uczciwe postawienie sprawy, którego brakuje w wielu głośniejszych pracach.
Kontrast jako druga dźwignia
Drugi eksperyment dotyczył czytelności. W scenariuszu Saliency Competition badacze wygaszali cały tekst do niskiego kontrastu, a jedno wyrażenie zostawiali w wysokim. Raz była to poprawna odpowiedź, raz semantycznie podobna przynęta wybrana na podstawie podobieństwa CLIP.
Wprowadzono nową miarę, Induced Error Rate, liczącą odsetek odpowiedzi zawierających wizualnie wyróżnioną przynętę. Im trudniej było odczytać otoczenie, tym częściej modele kopiowały to, co się rzucało w oczy. IDEFICS2-8B wspiął się z 24 do 36 procent. LLaVA-Vicuna-7B z 19 do 25 procent.
I tu robi się ciekawie. Qwen2-VL-7B, najbardziej podatny na kolor, okazał się najbardziej odporny na przynętę kontrastową: od 4 do 6 procent w całym zakresie. Nie ma jednego modelu, który byłby bezpieczny na obu osiach naraz. Wybierając dostawcę pod kątem odporności, wybierasz, na którą manipulację chcesz być podatny.
Czytam tę pracę i widzę problem, który dopiero się otwiera. Przez trzy lata uczyliśmy się, że atak na model to ukryty tekst w kodzie HTML albo biały napis na białym tle. Teraz okazuje się, że nie trzeba niczego ukrywać. Wystarczy pomalować słowa tak, jak robi to każdy dział marketingu w każdej prezentacji od trzydziestu lat, i model przyjmie tę dekorację jako część treści.
Nie chcę popadać w panikę. Rozpiętość 0,9 punktu przy Qwen2-VL to wynik z laboratorium, na neutralnych szablonach, na modelach siedmiomiliardowych. Nikt nie pokazał jeszcze, że da się tym wpłynąć na produkcyjny system decyzyjny. Ale kierunek jest jednoznaczny i pytanie brzmi raczej kiedy niż czy.
Najbardziej niepokoi mnie asymetria wykrywalności. Ukryty prompt w kodzie strony da się znaleźć skanerem. Kolorowy nagłówek w umowie albo w ofercie handlowej wygląda jak zwykłe formatowanie i przejdzie przez każdy audyt, bo nie ma czego zgłaszać. Jak napisać procedurę bezpieczeństwa, która zakazuje używania zielonego?
Zanim ktoś w firmie podłączy model wizyjny do obiegu dokumentów, warto zadać jedno pytanie: czy ten model dostaje obrazek, czy tekst? Bo od tego zależy, czy w ogóle rozmawiamy o tym ryzyku.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Opisz krótko, czego potrzebujesz. Jesteśmy największym HUB-em AI w Polsce — w naszej bazie znajdziesz blisko 500 zweryfikowanych firm specjalizujących się w AI. W Twoim imieniu poprosimy 3-5 dopasowanych wykonawców o kontakt w ciągu 48 godzin.
Kto miałby z tego skorzystać
Odpowiedź jest mniej egzotyczna, niż się wydaje. Rynek walki o widoczność w odpowiedziach modeli już istnieje i już jest brutalny. W sierpniu 2026 niemiecki programista Vincent Schmalbach opisał, że magazyn Time serwuje robotom AI osobną, markdownową wersję swojej strony ze sponsorowanymi blokami, których czytelnicy w przeglądarce nie zobaczą. Schmalbach nazwał to warstwą serwisu pisaną wyłącznie dla maszyn („a layer of TIME.com written entirely for machines”). The Register odtworzył wynik, podszywając się pod ClaudeBota. Reklamodawcami byli między innymi bank Ally i Project Management Institute, partnerem technologicznym firma Mobian. Google, którego robot dostaje tę samą treść co człowiek, został z tego wyłączony, bo różnicowanie treści dla wyszukiwarki oznacza kary.
Skoro istnieje rynek na sponsorowane akapity dla robotów, powstanie rynek na sponsorowane odcienie. Arkusz stylów serwowany wyłącznie robotom renderującym strony to techniczna drobnostka. Człowiek zobaczy czarny tekst, model dostanie zieloną wersję zdania o produkcie i czerwoną o konkurencji.
Autorzy pracy formułują to ostrożniej:
„Łagodne lub wrogie formatowanie może sterować decyzjami modelu bez zmiany samego tekstu” / „benign or adversarial styling can steer model decisions without changing the underlying text”
Jak się przed tym bronić
Zespół z AIST proponuje trzy zabezpieczenia, wszystkie możliwe do wdrożenia bez zmiany modelu:
- Normalizacja renderowanego tekstu przed wnioskowaniem. Sprowadzenie wszystkiego do czerni na bieli, zanim obrazek trafi do kodera wizyjnego. Najprostsze i najskuteczniejsze.
- Porównywanie odpowiedzi z obrazu z tekstem wyciągniętym przez OCR. Jeśli model odpowiada inaczej na podstawie obrazka niż na podstawie samego tekstu, to sygnał alarmowy.
- Testy niezmienniczości stylu w zestawach ewaluacyjnych. Ten sam dokument w kilkunastu wariantach kolorystycznych powinien dawać ten sam wynik. Jeśli nie daje, wiadomo, ile wynosi margines błędu.
Do tego dochodzi oczywista zasada, która obowiązuje od czasu pierwszych opisów pośredniego prompt injection: model nie powinien mylić danych z instrukcjami. Pisałem o tym przy okazji badania nad literami widocznymi tylko dla człowieka, gdzie problem był lustrzany: człowiek odczytywał napis, którego model nie widział. Teraz mamy sytuację odwrotną i dużo bardziej praktyczną.
Gdzie to uderzy w polskie biura rachunkowe i działy finansowe
Ryzyko dotyczy tych procesów, w których model dostaje obraz, a nie strumień znaków. Skan umowy, zdjęcie protokołu odbioru, zrzut ekranu z panelu, PDF z ofertą handlową, dokument WZ przysłany faksem w 2026 roku (tak, wciąż się zdarza).
Z badania KPMG i ACCA wynika, że polscy dyrektorzy finansowi widzą największy potencjał automatyzacji w księgowości (41 procent), fakturowaniu (34 procent) i obsłudze płatności (33 procent). To dokładnie te obszary, w których wdraża się dziś rozwiązania łączące OCR z modelami generatywnymi: Azure Document Intelligence, Google Document AI, ABBYY Vantage, Rossum, po polskiej stronie choćby Comarch OCR.
Dobra wiadomość jest taka, że obowiązkowy KSeF przenosi fakturowanie do ustrukturyzowanego XML-a, więc akurat ten strumień dokumentów przestaje być obrazkiem. Zła jest taka, że umowy, aneksy, protokoły, korespondencja reklamacyjna i dokumentacja przetargowa nadal krążą jako PDF-y i skany.
Zadałbym więc trzy pytania dostawcy, zanim podpisze się umowę na automatyzację obiegu dokumentów:
- Czy wasz system przekazuje modelowi obraz strony, czy tekst wyekstrahowany przed wnioskowaniem?
- Czy normalizujecie kolorystykę i kontrast przed podaniem obrazu do modelu?
- Czy testujecie ten sam dokument w kilku wariantach wizualnych i porównujecie wyniki?
Jeśli odpowiedź na pierwsze pytanie brzmi „obraz”, a na dwa kolejne „nie”, firma ma otwartą powierzchnię ataku, o której nie wie. Przy systemach zaliczanych do wysokiego ryzyka w rozumieniu AI Actu, a więc na przykład wspierających ocenę zdolności kredytowej czy rekrutację, to nie jest tylko problem inżynierski. To problem zgodności z wymogami dokładności i odporności.
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Czy to naprawdę nowa luka
Do pewnego stopnia tak. Manipulowanie danymi wejściowymi modeli wizyjnych opisywano wcześniej, ale zwykle chodziło o zaburzenia niewidoczne dla człowieka, wygenerowane algorytmicznie i wyglądające jak szum. Tutaj bodziec jest w pełni widoczny, całkowicie zwyczajny i wygląda dokładnie tak, jak wygląda każda prezentacja handlowa z zielonymi liczbami i czerwonym ostrzeżeniem.
Praca jest wciąż manuskryptem, nie przeszła recenzji, testowano cztery otwarte modele w skali siedmiu i ośmiu miliardów parametrów. Nikt nie sprawdził, jak zachowują się GPT-5, Gemini czy Claude, bo przy zamkniętych wagach nie da się zagwarantować odtwarzalności. To poważne ograniczenie i autorzy go nie ukrywają.
Ale nawet z tym zastrzeżeniem wniosek zostaje. Kodery wizyjne nauczyły się kulturowego znaczenia kolorów razem z całą resztą internetu i nikt ich nie prosił, żeby to znaczenie odłożyły na bok przy czytaniu.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl oraz materiałów pierwotnych, w tym strony projektu badawczego „Seeing Red, Thinking Bad: Color Bias in Vision Language Models” autorstwa Kohsuke Ide, Ryousuke Yamady, Yoshihiro Fukuhary, Hirokatsu Kataoki i Yutaki Satoha (AIST, Uniwersytet w Tsukubie, Uniwersytet Techniczny w Norymberdze, Uniwersytet Oksfordzki) wraz z repozytorium kodu na GitHubie, a także omówienia Martina Andersona w serwisie Unite.AI z dnia 17.08.2026. Kontekst dotyczący reklam serwowanych robotom AI zebrano z publikacji The Register, MarTech i heise online oraz z bloga Vincenta Schmalbacha. Dane o priorytetach automatyzacji w polskich działach finansowych pochodzą z badania KPMG i ACCA, omówionego przez CEO.com.pl. Cytat z abstraktu pracy oraz wypowiedź Vincenta Schmalbacha zweryfikowano z oryginalnym anglojęzycznym materiałem źródłowym. Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl. Artykuł będzie aktualizowany w miarę pojawiania się nowych informacji o podatności modeli wizyjno-językowych na manipulację formatowaniem tekstu.
