OpenAI opublikowało nowy benchmark, który nie pyta modeli o fakty z biologii, tylko o umiejętność podejmowania decyzji przy niekompletnych i zaszumionych danych. Najlepszy model firmy rozwiązuje niecałą jedną trzecią z 129 zadań, a konkurencja wypada jeszcze słabiej.
Kluczowe fakty:
- OpenAI opublikowało benchmark GeneBench-Pro składający się z 129 zadań w 10 domenach, który testuje zdolność modeli do podejmowania decyzji przy niekompletnych i zaszumionych danych z dziedzin takich jak genomika, farmakogenomika czy onkologia.
- Najlepszy model OpenAI rozwiązuje mniej niż jedną trzecią zadań, a pozostałe testowane modele osiągają jeszcze słabsze wyniki.
- Zadania są generowane syntetycznie, co pozwala na deterministyczną ocenę wyników bez arbitralnych ocen jury; 82 z 129 zadań przeszły dodatkowo przez recenzję zewnętrznych specjalistów akademickich.
Znajdź dostawcę, partnera lub narzędzie dla swojego biznesu, a jeśli prowadzisz firmę, która w swoim DNA ma AI, skorzystaj z możliwości bezpłatnego dodania swojej firmy.
Test, który nie sprawdza wiedzy, tylko rozsądek
We wtorek OpenAI ogłosiło GeneBench-Pro, następcę wcześniejszego benchmarku GeneBench. Zamiast pytań typu quiz, model dostaje realistyczny, celowo niedoczyszczony zbiór danych z genomiki, biologii kwantytatywnej albo medycyny translacyjnej, krótki opis eksperymentu i cel badawczy powiązany z konkretną decyzją. Musi sam zbadać dane, wybrać metodę analizy, przejść przez proces iteracyjny i podać ostateczną odpowiedź.
OpenAI nazywa tę zdolność „research taste”, po polsku najbliżej byłoby to określić jako wyczucie badawcze. Chodzi o łańcuch decyzji, które podejmuje doświadczony naukowiec: jakie pytania dane w ogóle mogą wytrzymać, kiedy pierwsze wyniki powinny zmienić model albo szacowaną wielkość, i kiedy wynik jest gotowy do podjęcia decyzji klinicznej lub biznesowej. To coś zupełnie innego niż odpytywanie modelu z faktów albo wykonywanie z góry zaplanowanego pipeline’u.
129 zagadek, które trudno oszukać
Benchmark obejmuje 129 zadań w dziesięciu domenach i dwudziestu jeden poddomenach, od genetyki statystycznej i populacyjnej przez genomikę funkcjonalną i regulatorową, po farmakogenomikę, onkologię i genetykę sądową. Każde zadanie jest generowane syntetycznie. OpenAI zna pełną strukturę przyczynową danego problemu, ponieważ sam symuluje proces jego powstawania. Dzięki temu może sprawdzać poprawność wyniku w sposób deterministyczny, bez arbitralnych ocen jury, i jednocześnie testować, czy błędna metoda faktycznie daje błędny wynik.
Osiemdziesiąt dwa z 129 zadań przeszły przez recenzję zewnętrznych specjalistów, doktorantów, badaczy podoktorskich i profesorów. Alexander Strudwick Young, adiunkt w zakresie genetyki człowieka na UCLA, ocenił poziom trudności bardzo konkretnie:
„Zadania, które recenzowałem, byłyby wyzwaniem dla doktoranta bez wsparcia doświadczonego promotora” / „The problems I reviewed would have been challenging for a graduate student to complete without iterated feedback from an experienced supervisor.”
Ciekawszy głos przyszedł od Lexa Flagela, dyrektora działu data science w Gencove, który wskazał na konkretną słabość obecnych modeli:
„Wydaje się, że większość agentów zawodziła przy wykrywaniu nieprawidłowości w danych, na przykład podmiany pochodzenia etnicznego próbek. Nie są dość ostrożne wobec problemów z danymi” / „It seemed like most of the agents failed on (2) [data discrepancies, such as ancestry swaps]. They aren’t cautious enough about data issues.”
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Jak wypadły modele
Najlepszy model OpenAI, GPT-5.6 Sol, rozwiązuje 28,7 procent zadań na najwyższym poziomie rozumowania, a 31,5 procent po włączeniu trybu Pro. Dla porównania, we wcześniejszej wersji GeneBench, GPT-5.5 Pro osiągnął 33,2 procent, a zwykły GPT-5.5 zatrzymał się na 25 procentach. Kiedy OpenAI budowało pierwszą wersję testu, najlepszy wtedy model firmy, zwykły GPT-5, notował wynik poniżej 5 procent.
Zestawienie z konkurencją wypada jednoznacznie na korzyść modeli OpenAI:
- Claude Opus 4.8 (Anthropic): 16,0 procent, najlepszy wynik spoza rodziny GPT
- Gemini 3.1 Pro (Google): 11,2 procent w pierwszej wersji GeneBench
- Kimi K2.6: 7,4 procent w pierwszej wersji GeneBench
- GLM 5.2: wynik wyraźnie niższy niż u modeli GPT, mimo że w benchmarkach programistycznych różnice między firmami są znacznie mniejsze
OpenAI samo zwraca uwagę, że budowało i testowało GeneBench-Pro głównie na własnych modelach, co teoretycznie mogło działać na niekorzyść konkurencji. Mimo to najlepsze modele innych firm w chwili premiery co najwyżej dorównywały odpowiadającemu im modelowi GPT, a najczęściej wypadały słabiej.
Wynik 31,5 procent brzmi na pierwszy rzut oka jak porażka, ale trzeba pamiętać, co ten test w ogóle mierzy. To nie jest egzamin z podręcznika, to symulacja pracy analityka, który musi zauważyć, że coś w danych nie trzyma się kupy, i zmienić plan w połowie analizy. Ludzie też regularnie się na tym wykładają. Sam fakt, że model doszedł do 28 procent w zadaniach, które według recenzentów zajęłyby doktorantowi kilkadziesiąt godzin, jest postępem, nawet jeśli nie jest to postęp, który pozwala jeszcze zastąpić zespół badawczy. Pytanie, które mnie w tym najbardziej interesuje, brzmi inaczej: czy sam fakt mierzenia tej umiejętności zmieni sposób, w jaki firmy trenują swoje modele w kierunku ostrożności wobec danych, a nie tylko szybkości ich przetwarzania.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Ludzki ekspert kontra AI: rachunek ekonomiczny
Recenzenci benchmarku oszacowali, że typowe zadanie z GeneBench-Pro zajęłoby doświadczonemu naukowcowi od 20 do 40 godzin pracy. Przy konserwatywnej stawce 200 dolarów za godzinę, koszt jednego takiego zadania liczony w pracy człowieka sięga kilku tysięcy dolarów. OpenAI szacuje koszt inferencji swojego modelu na to samo zadanie na kilka dolarów. Nawet przy skromnej skuteczności na poziomie 30 procent, ta różnica kosztów tworzy realną wartość ekonomiczną tam, gdzie AI może przynajmniej częściowo odciążyć zespół badawczy, choćby przy wstępnym sortowaniu hipotez czy wychwytywaniu oczywistych problemów z jakością danych.
Cyrillus Tan, badacz podoktorski w New York Genome Center, zwrócił uwagę na coś, co dla praktyków ma większe znaczenie niż same procenty:
„Prawdziwym wyzwaniem jest eksploracyjna analiza danych i rozumowanie na podstawie tego, co się znajdzie: rozpoznanie wzorców i artefaktów oraz decyzja, czy dane wykluczyć, czy skorygować. Różne sformułowanie zadania może bardzo zmienić, jakie analizy model uzna za dopuszczalne” / „the actual challenge comes from exploratory data analysis and reasoning upon these discoveries (…) Different prompt wording or task specification can greatly affect which analyses appear permissible.”
To spostrzeżenie tłumaczy, dlaczego firmy farmaceutyczne i biotechnologiczne traktują takie benchmarki poważnie. Model, który potrafi wykonać polecenie, ale nie potrafi ocenić, czy dane w ogóle nadają się do odpowiedzi na pytanie, może wygenerować wynik brzmiący profesjonalnie, a jednocześnie fałszywy.
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Co to oznacza dla polskich firm?
Polska bioinformatyka i genomika obliczeniowa rosną szybciej niż zwykle się o tym pisze. W kraju działa ponad 60 zweryfikowanych firm zajmujących się sekwencjonowaniem i analizą danych genomicznych, a koszty pracy specjalistów są trzy do czterech razy niższe niż w Bazylei czy Zurychu przy porównywalnym poziomie wykształcenia. Firmy jak Warsaw Genomics czy Ardigen budują pozycję właśnie na przecięciu bioinformatyki i usług kontraktowych z użyciem AI dla sektora farmaceutycznego.
Dla tych firm wynik GeneBench-Pro ma konkretne znaczenie praktyczne. Skoro nawet najlepsze dziś modele rozwiązują mniej niż jedną trzecią zadań wymagających realnego osądu naukowego, agent AI w polskim laboratorium bioinformatycznym powinien dziś funkcjonować jako asystent przy eksploracji danych i wstępnym przesiewie hipotez, a nie jako samodzielny analityk. Program STEP-Biotechnologie, prowadzony przez PARP i NCBR z budżetem 150 milionów złotych na jedną ścieżkę naboru, wspiera właśnie takie projekty łączące bioinformatykę z modelowaniem procesów biologicznych. Warto przy planowaniu takich wdrożeń pamiętać, że według recenzentów benchmarku modele najczęściej zawodzą nie na etapie doboru metody statystycznej, tylko przy wykrywaniu nieprawidłowości w samych danych, na przykład błędnie oznaczonego pochodzenia próbek. To dokładnie ten etap pracy, w którym doświadczenie ludzkiego analityka wciąż trudno zastąpić.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl oraz dodatkowych źródeł, w tym oficjalnego ogłoszenia OpenAI z dnia 30.06.2026, materiałów uzupełniających ze strony przypadków testowych OpenAI oraz doniesień Silicon Report, TechFocus24 i Let’s Data Science. Cytaty Alexandra Strudwicka Younga, Lexa Flagela i Cyrillusa Tana zostały zweryfikowane z oryginalnym anglojęzycznym materiałem źródłowym opublikowanym przez OpenAI. Dane o polskim sektorze bioinformatycznym pochodzą z analizy rynkowej Freedom24 oraz komunikatu PARP na temat programu STEP-Biotechnologie. Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl. Artykuł będzie aktualizowany w miarę pojawiania się nowych wyników testów GeneBench-Pro na kolejnych modelach.
