Chatboty AI instruują naukowców, jak tworzyć broń biologiczną

Raport „New York Times” wywołał falę niepokoju w środowisku ekspertów ds. bezpieczeństwa biologicznego. Kilkanaście transkryptów rozmów z popularnymi chatbotami ujawnia coś, co trudno zbyć wzruszeniem ramion: modele AI takich firm jak OpenAI, Google czy Anthropic dostarczały szczegółowych instrukcji dotyczących tworzenia i rozprzestrzeniania broni biologicznej.

Naukowiec wyszedł na spacer, żeby dojść do siebie

Dr. David Relman, mikrobiolog ze Stanford i ekspert ds. bezpieczeństwa biologicznego, który doradzał rządowi USA w kwestiach zagrożeń biologicznych, testował model AI pewnej firmy przed jego publicznym wdrożeniem. To, co zobaczył na ekranie, dosłownie wyprowadziło go z pokoju.

„It was answering questions that I hadn’t thought to ask it, with this level of deviousness and cunning that I just found chilling” / „Odpowiadał na pytania, których mu nawet nie zadałem, z takim poziomem przebiegłości i wyrachowania, że po prostu poczułem dreszcz” – powiedział Relman „New York Times”.

Chatbot opisał nie tylko, jak zmodyfikować znany patogen, aby był odporny na dostępne metody leczenia, ale też wskazał lukę w systemie bezpieczeństwa dużego systemu komunikacji miejskiej i nakreślił plan uwolnienia zmodyfikowanego patogenu w sposób maksymalizujący liczbę ofiar przy jednoczesnym utrudnieniu wykrycia sprawcy. Relman nie ujawnił, który model odpowiadał za tę sesję – zobowiązała go do tego umowa o zachowaniu poufności z firmą. Ta ostatecznie wdrożyła dodatkowe zabezpieczenia, choć sam Relman ocenił je jako niewystarczające.

Co konkretnie wyprodukował ChatGPT, Gemini i Claude

To nie był incydent jednostkowy. Naukowcy udostępnili „New York Times” transkrypty rozmów z różnymi chatbotami, w tym ChatGPT, Claude i Gemini. W niektórych przypadkach modele początkowo odmawiały odpowiedzi, by ostatecznie jednak się zgodzić.

Konkretne przypadki odnotowane przez dziennikarzy NYT:

• ChatGPT wytłumaczył naukowcowi, jak użyć balonu meteorologicznego do rozprzestrzeniania materiału biologicznego z powietrza nad amerykańskim miastem.
• Gemini dostarczył rankingu czynników zakaźnych uszeregowanych według potencjalnych szkód ekonomicznych dla hodowli bydła i trzody chlewnej.
• Claude wygenerował przepis na nową toksynę opartą na leku przeciwnowotworowym.
• Google Deep Research odpowiedział na pytanie o stworzenie wirusa, który wywołał wcześniej pandemię, generując 8000 słów szczegółowych instrukcji.

Jailbreak i „licha drewniana palisada”

Granice bezpieczeństwa można obejść. W niektórych przypadkach chatboty przeczyły własnym ostrzeżeniom lub ujawniały wrażliwe informacje po zastosowaniu przez użytkowników znanych technik obejścia ograniczeń, tzw. jailbreakingu. Jeden z ekspertów porównał obecne zabezpieczenia do „lichej drewnianej palisady”.

Firmy regularnie aktualizują swoje modele, jednak ludzie wciąż mogą mieć dostęp do starszych, mniej zabezpieczonych wersji. Nowe modele również mogą być manipulowane w celu obejścia filtrów bezpieczeństwa.

Czytam ten raport i widzę dwie rzeczy jednocześnie. Po pierwsze: to nie jest sensacja dla tych, którzy śledzą temat bezpieczeństwa AI od lat. Ostrzeżenia przed tzw. dual-use capabilities brzmią od dawna, a Dario Amodei z Anthropic sam publicznie przyznał, że biologia to obszar, który najbardziej go niepokoi. Po drugie: to, że coś było znane w środowisku ekspertów, nie znaczy, że problem jest pod kontrolą. Szczególnie niepokoi mnie to, co widać między wierszami tego raportu – luka nie jest techniczna, jest systemowa. Modele można „przekonać”. Zabezpieczenia można obejść. Firmy wiedzą o tych słabościach, ale presja na szybkie wdrożenia jest ogromna. Jednocześnie nie wpadajmy w panikę: eksperci sami zaznaczają, że sama instrukcja to nie broń – do jej realizacji potrzeba jeszcze wiedzy, dostępu do zasobów i infrastruktury. Pytanie brzmi jednak: jak długo to będzie prawdą?

Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl

Firmy odpowiadają: to tylko tekst

Reakcje producentów modeli są przewidywalne, choć nie całkiem bezzasadne. Alexandra Sanderford z Anthropic zakwestionowała obawy dotyczące przepisu na toksynę wygenerowanego przez Claude’a: „There is an enormous difference between a model producing plausible-sounding text and giving someone what they’d need to act” / „Istnieje ogromna różnica między modelem produkującym wiarygodnie brzmiący tekst a dostarczeniem komuś tego, czego potrzebowałby do działania”. Sanderford dodała, że Anthropic ustawia agresywne progi odmowy dla zapytań biologicznych, „akceptując pewną nadmierną odmowę z ostrożności”.

Rzecznik Google stwierdził, że rozmowy cytowane w analizie NYT zostały wygenerowane przez starszą wersję Gemini i że nowsze modele nie odpowiadają na „poważniejsze” zapytania o potencjalnie szkodliwe informacje. Dodał, że informacje dostarczone przez Gemini były już publicznie dostępne i same w sobie nie były szkodliwe.

Amodei ostrzegał. Teraz mamy dowody

To nie jest tak, że nikt nie widział tego nadchodzącego. CEO Anthropic Dario Amodei napisał w blogu w styczniu tego roku, że „biologia jest zdecydowanie obszarem, o który martwię się najbardziej, ze względu na jej ogromny potencjał destrukcyjny i trudność obrony przed nią”.

Amodei wyrażał obawy, że zaawansowane chatboty znacznie ułatwią tworzenie śmiercionośnej broni biologicznej, która wcześniej wymagała „ogromnej wiedzy specjalistycznej” nawet przy dostępie do niezbędnych narzędzi. „I am concerned that a genius in everyone’s pocket could remove that barrier, essentially making everyone a PhD virologist who can be walked through the process of designing, synthesizing, and releasing a biological weapon step-by-step” / „Martwię się, że geniusz w kieszeni każdego mógłby usunąć tę barierę, czyniąc każdego wirusologiem z doktoratem, który może być prowadzony krok po kroku przez proces projektowania, syntezy i uwolnienia broni biologicznej” – pisał.

Regulacje w tyle, zagrożenia w przodzie

Raport pojawia się w momencie, gdy USA powoli działają w kwestii regulacji AI, a w niektórych przypadkach ograniczają własne, już i tak skromne zasoby. Kilku ekspertów ds. bezpieczeństwa biologicznego opuściło swoje stanowiska w ubiegłym roku i nie zostało zastąpionych. Budżet na bioobronę skurczył się o mniej więcej połowę do 27 miliardów dolarów.

Jest też strona odwrotna medalu. Niektórzy naukowcy przestrzegają, że zbyt restrykcyjne ograniczenia możliwości biologicznych AI mogą ograniczyć przełomy medyczne, w tym odkrywanie leków. Naukowcy z Google otrzymali Nagrodę Nobla za opracowanie modelu przewidującego struktury białek i projektującego nowe – kluczowy krok w rozwoju metod leczenia. To klasyczny dylemat dual-use, który branża AI będzie musiała rozwiązać – i to szybko.