W mediach społecznościowych krąży prompt, który po wklejeniu do ustawień Claude’a ma zmienić czatbota z „potakiwacza” w krytycznego doradcę, który przyznaje się do niepewności. Część z siedmiu zasad rzeczywiście pokrywa się z zaleceniami samego Anthropic, ale dwie z nich mogą dać efekt odwrotny do zamierzonego.
- Zespół Anthropic wykazał w badaniu „Towards Understanding Sycophancy in Language Models" (opublikowanym 23 października 2023 roku na ICLR 2024), że sykofancja – skłonność modelu do mówienia użytkownikowi tego, co chce usłyszeć – jest ogólnym zachowaniem modeli trenowanych metodą RLHF, a w testach wystarczył minimalny nacisk użytkownika, by model zmienił poprawną odpowiedź na błędną.
- Najsłabszym elementem viralowego promptu są tagi pewności [Certain], [Likely], [Guessing], ponieważ według badania „Can LLMs Express Their Uncertainty?" modele deklarowały wysoką pewność niemal dla wszystkich próbek (zwykle 80–100%), a praca „Taming Overconfidence in LLMs" z ICLR 2025 wskazuje, że trening RLHF dodatkowo pogłębia ten problem nadmiernej pewności siebie.
- Oficjalna dokumentacja Claude'a zaleca ograniczanie halucynacji przez metody zewnętrznej weryfikacji – m.in. wymaganie cytatów i źródeł, wielokrotne uruchamianie tego samego polecenia i porównywanie wyników – a nie przez proszenie modelu o samoocenę, przy czym Anthropic zastrzega, że nawet te techniki znacząco ograniczają halucynacje, lecz ich nie eliminują.
Karuzela, której autora nie udało się ustalić, instruuje, żeby wejść w ustawienia Claude’a, otworzyć zakładkę ogólną i wkleić tekst do pola z instrukcjami dla modelu. Mechanizm jest prawdziwy: według centrum pomocy Claude’a instrukcje wpisane w tym miejscu działają na poziomie całego konta i są stosowane we wszystkich rozmowach z Claude’em. Pytanie brzmi, czy sama treść promptu robi to, co obiecuje.
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Siedem zasad viralowego promptu i ich ocena
Prompt zaczyna się od zdania, w którym użytkownik każe Claude’owi być nie asystentem, tylko „doradcą mądrzejszym od siebie”. Potem pada siedem reguł. Zestawiłem je z dokumentacją Anthropic i badaniami nad zachowaniem modeli językowych.
| Zasada z promptu | Co obiecuje | Moja ocena |
|---|---|---|
| 1. Nigdy nie zaczynaj od zgody | Mniej schlebiania | Ryzykowna: wymusza niezgodę także wtedy, gdy użytkownik ma rację |
| 2. Tagi [Certain], [Likely], [Guessing] | Przejrzystość pewności | Słaba: deklarowana pewność modeli jest źle skalibrowana |
| 3. Zakaz fraz typu „Świetne pytanie” | Mniej waty | Działa, to zwykła reguła stylu |
| 4. Ustrukturyzowana niezgoda | Konkretne kontrargumenty | Działa, gdy niezgoda jest uzasadniona |
| 5. Niewygodna odpowiedź na początku | Szybciej do sedna | Działa |
| 6. Bez akapitów rozgrzewkowych | Krótsze odpowiedzi | Działa |
| 7. Nie ustępuj pod naciskiem | Odporność na presję | Celuje w realny problem, ale może utrwalać błędy |
Anthropic sam opisał problem przytakiwania w badaniu z 2023 roku
Zjawisko, z którym walczy prompt, ma w literaturze nazwę: sykofancja, czyli skłonność modelu do mówienia użytkownikowi tego, co chce usłyszeć. Zespół Anthropic opublikował 23 października 2023 roku pracę „Towards Understanding Sycophancy in Language Models”, w której wykazał, że pięć najnowocześniejszych wówczas asystentów AI konsekwentnie przejawiało sykofancję w czterech różnych zadaniach. Badanie objęło asystentów wydanych przez Anthropic, OpenAI i Meta, a praca została opublikowana jako artykuł konferencyjny na ICLR 2024.
Najciekawszy jest mechanizm. Badacze ustalili, że odpowiedź zgodna z poglądami użytkownika ma większą szansę zostać oceniona wyżej, a zarówno ludzie, jak i modele preferencji w niepomijalnej części przypadków wybierają przekonująco napisaną odpowiedź sykofancką zamiast poprawnej. Wniosek autorów:
„sykofancja jest ogólnym zachowaniem modeli trenowanych metodą RLHF” / „sycophancy is a general behavior of RLHF models”
RLHF (Reinforcement Learning from Human Feedback) to trening, w którym model uczy się na ocenach wystawianych przez ludzi. Jeśli ludzie wolą przyjemne odpowiedzi, model się tego uczy.
Zasada nr 7 z promptu trafia więc w udokumentowany problem. W badaniu opisano sytuacje, w których wystarczyło, że użytkownik nie zgodził się z odpowiedzią, by model zmienił poprawną odpowiedź na błędną przy minimalnym nacisku.
Wypełnij formularz, a my skontaktujemy się z Tobą, aby upewnić się czego potrzebujesz.
Tagi pewności nie mierzą pewności modelu
Najsłabszy element promptu to oznaczanie twierdzeń etykietami [Certain], [Likely] i [Guessing]. Wygląda to na kalibrację, ale nią nie jest, bo model sam ocenia swoją pewność, a badania pokazują, że robi to źle.
W pracy „Can LLMs Express Their Uncertainty?” badacze ustalili, że modele deklarowały wysoką pewność niemal dla wszystkich próbek, zwykle w przedziale 80-100 proc. i w wielokrotnościach pięciu, co sugeruje naśladowanie ludzkiego sposobu mówienia o pewności. Autorzy piszą wprost, że deklarowana pewność wykazuje wyraźną nadmierną pewność siebie i słabo przewiduje błędy.
Trening, który miał uczynić modele bardziej pomocnymi, może ten problem pogłębiać. Praca „Taming Overconfidence in LLMs” zaprezentowana na ICLR 2025 wskazuje, że RLHF skłania modele do wyrażania nadmiernej pewności we własnych odpowiedziach. W praktyce etykieta [Certain] przy błędnej informacji może brzmieć bardziej wiarygodnie niż ta sama informacja bez etykiety.
Lubię ten prompt za intencję i nie lubię go za wykonanie. Zasady o wycięciu waty i podawaniu niewygodnych wniosków na początku są po prostu dobre i sam takich używam. Ale „nigdy nie zaczynaj od zgody” to nie jest szczerość, tylko odwrócone przytakiwanie. Model, który z założenia musi coś zakwestionować, będzie szukał dziury tam, gdzie jej nie ma, a użytkownik dostanie poczucie, że rozmawia z kimś krytycznym. Tymczasem krytyczność na zamówienie jest tak samo oderwana od faktów jak komplementy na zamówienie. Największy problem widzę jednak w tagach pewności. Dają złudzenie kontroli nad czymś, czego model nie mierzy. Otwarte pozostaje pytanie, ilu ludzi po wklejeniu tego promptu zacznie ufać odpowiedziom bardziej, a nie mniej.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Co zaleca Anthropic, gdy chodzi o mniej zmyśleń
Oficjalna dokumentacja Claude’a ma osobny przewodnik o ograniczaniu halucynacji i jego zalecenia są mniej efektowne, ale lepiej uzasadnione. Pierwsza rada:
„Wprost pozwól Claude’owi przyznać się do niepewności” / „Explicitly give Claude permission to admit uncertainty”
Według Anthropic ta prosta technika może drastycznie ograniczyć liczbę fałszywych informacji. Pozostałe metody z dokumentacji:
- przy długich dokumentach (ponad 20 tys. tokenów) poproszenie Claude’a, by najpierw wyciągnął dosłowne cytaty, a dopiero potem wykonał zadanie,
- wymaganie cytatów i źródeł dla każdego twierdzenia, a po napisaniu odpowiedzi weryfikacja: jeśli model nie znajdzie potwierdzającego cytatu, musi wycofać twierdzenie,
- kilkukrotne uruchomienie tego samego polecenia i porównanie wyników, bo niespójności między nimi mogą wskazywać na halucynacje,
- jednoznaczne polecenie, by Claude korzystał wyłącznie z dostarczonych dokumentów, a nie z ogólnej wiedzy.
Różnica wobec viralowego promptu jest wyraźna. Anthropic każe sprawdzać twierdzenia na zewnątrz (cytatem, źródłem, powtórzeniem), a nie prosić model o samoocenę. Dokumentacja kończy się też zastrzeżeniem, że te techniki znacząco ograniczają halucynacje, ale ich nie eliminują, więc krytyczne informacje zawsze trzeba weryfikować.
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Sprzeczne instrukcje mogą osłabić cały prompt
Jest jeszcze praktyczny problem z wklejaniem długich list zasad do ustawień. W dokumentacji dotyczącej instrukcji na poziomie organizacji Anthropic ostrzega, że jeśli instrukcje są ze sobą sprzeczne, Claude może nie stosować niezawodnie żadnej z nich. Ta sama strona zaznacza, że instrukcje sprzeczne z podstawowym treningiem Claude’a nie zostaną wykonane.
Viralowy prompt zawiera napięcie wewnętrzne: zasada nr 1 wymaga kwestionowania użytkownika zawsze, a zasada nr 4 każe się nie zgadzać, „gdy użytkownik się myli”. Model musi zgadnąć, która reguła wygrywa. Krótsza instrukcja, na przykład „mów wprost, gdy się mylę, podawaj źródła i pisz »nie wiem«, gdy nie wiesz”, daje mniej pola do takich konfliktów.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl karuzeli z promptem krążącej w mediach społecznościowych (autor nieustalony) oraz źródeł pierwotnych, w tym badania Towards Understanding Sycophancy in Language Models opublikowanego przez Anthropic 23.10.2023, przewodnika Reduce hallucinations z dokumentacji Claude’a oraz pracy Can LLMs Express Their Uncertainty?. Dodatkowo wykorzystano artykuł pomocy Understanding Claude’s personalization features oraz pracę „Taming Overconfidence in LLMs: Reward Calibration in RLHF” (ICLR 2025).
Cytaty z dokumentacji Anthropic i badania nad sykofancją zostały zweryfikowane z oryginalnym anglojęzycznym materiałem źródłowym.
Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl.
Artykuł będzie aktualizowany w miarę pojawiania się nowych informacji w temacie promptów ograniczających przytakiwanie i halucynacje modeli Claude.
