Artificial Analysis opublikowało 27 października Intelligence Index v5, najmocniej przebudowaną wersję swojego rankingu modeli AI, w której 60 proc. wyniku opiera się na testach z prywatnymi zestawami zadań lub ukrytymi odpowiedziami. Claude Opus 5.5 od Anthropic prowadził w nowym zestawieniu z wynikiem 58 punktów tylko przez dobę, bo 28 października na pierwsze miejsce wskoczył Gemini 4 Carbon od Google z wynikiem 59 punktów.
- Gemini 4 Carbon od Google zdobył 59 punktów w Intelligence Index v5 i zajął pierwsze miejsce, wyprzedzając Claude Opus 5.5 (58 pkt) i GPT-6 Astra (57 pkt), jednak model nie ma publicznego API i trafia na razie wyłącznie do wybranych specjalistów od cyberobrony.
- W teście AA-Omniscience wskaźnik halucynacji Gemini 4 Carbon wynosi 11 proc., podczas gdy Claude Opus 5.5 i GPT-6 Astra w trybie maksymalnym osiągają po 50 proc. – co oznacza, że w połowie przypadków, gdy nie znają odpowiedzi, zgadują zamiast przyznać się do niewiedzy.
- Luka między najlepszym pobieralnym modelem z otwartymi wagami (DeepSeek V4.1 Flash 1017 i GLM-5.3 z wynikiem 32 pkt) a liderem rankingu wynosi 26 punktów i jest szczególnie duża w zadaniach naukowych, gdzie DeepSeek V4.1 Flash 1017 uzyskał 13 proc. wobec ponad 60 proc. liderów testu Terminal-Bench-Science.
Zapowiedź nowej wersji indeksu na profilu Artificial Analysis: https://twitter.com/ArtificialAnlys/status/2115265133467635877
Announcing Artificial Analysis Intelligence Index v5, featuring 2 new benchmarks and 3 upgrades. For the first time, the majority of the Index is built on private datasets
The Artificial Analysis Intelligence Index is our composite measure of model capabilities across tasks… pic.twitter.com/oA4tsXQOC6
— Artificial Analysis (@ArtificialAnlys) October 28, 2026
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Gemini 4 Carbon z wynikiem 59 punktów wyprzedza Claude Opus 5.5 i GPT-6 Astra
W dniu premiery indeksu pięć pierwszych miejsc należało do modeli Anthropic i OpenAI. Claude Opus 5.5 w trybie maksymalnego rozumowania zdobył 58 punktów, GPT-6 Astra 57, GPT-6.1 Sol 55. Najlepszy wtedy model Google, Gemini 4 Argon, miał 50 punktów.
Dzień później Artificial Analysis dodało do zestawienia Gemini 4 Carbon, nowy flagowy model Google. Carbon w trybie wysokiego rozumowania uzyskał 59 punktów i zajął pierwsze miejsce w czterech z dziewięciu testów: HLE-Diamond, Terminal-Bench-Science, AA-Omniscience oraz AutomationBench-AA. W programowaniu i pracy biurowej nie prowadzi.
Prowadzenie Google jest na razie głównie symboliczne. Według Artificial Analysis Carbon trafia do wybranych użytkowników i nie ma publicznego API. Winbuzzer, powołując się na komunikat Google, podaje, że pierwszy dostęp dostali specjaliści od cyberobrony, a firma nie wyznaczyła daty udostępnienia modelu programistom, firmom ani klientom indywidualnym.
| Model | Twórca | Wynik w Intelligence Index v5 | Koszt jednego zadania z indeksu |
|---|---|---|---|
| Gemini 4 Carbon (high) | 59 | 7,76 USD | |
| Claude Opus 5.5 (max) | Anthropic | 58 | 10,04 USD |
| GPT-6 Astra (max) | OpenAI | 57 | 6,24 USD |
| GPT-6.1 Sol (max) | OpenAI | 55 | 1,27 USD |
| Gemini 4 Argon (high) | 50 | 7,68 USD | |
| Kimi K3.1 Pro | Moonshot AI | 46 | b.d. |
| Claude Haiku 5.5 (max) | Anthropic | 36 | b.d. |
| DeepSeek V4.1 Flash 1017 (max) | DeepSeek | 32 | b.d. |
| GLM-5.3 (max) | Z.ai | 32 | b.d. |
Koszty Gemini podano według standardowego cennika Google (4 dolary za milion tokenów wejściowych i 20 dolarów za milion wyjściowych). Na start Google daje 50 proc. zniżki bez podanej daty zakończenia.
Prywatne zestawy zadań mają chronić ranking przed „uczeniem się do testu”
Najważniejsza zmiana w wersji v5 dotyczy pochodzenia zadań. Testy z prywatnymi pytaniami lub ukrytymi odpowiedziami odpowiadają teraz za 60 proc. wyniku. W wersji v4.3 było to 45 proc. Chodzi o kontaminację, czyli sytuację, w której pytania testowe trafiają do danych treningowych modelu i wynik przestaje mierzyć faktyczne umiejętności.
Indeks składa się teraz z czterech kategorii o równej wadze 25 proc.:
- Praca biurowa: AA-Briefcase (15 proc.), AutomationBench-AA (5 proc.), GDP.pdf (5 proc.),
- Programowanie: FrontierCode 2.0 (15 proc.), Terminal-Bench 4.0 (10 proc.),
- Nauka: Terminal-Bench-Science (15 proc.), trudny podzbiór CritPt v2 (10 proc.),
- Wiedza ogólna: AA-Omniscience v1.1 (15 proc., w tym 5 proc. za unikanie halucynacji), HLE-Diamond (10 proc.).
Z indeksu wypadły GDPval-AA v2.1, SciCode i AA-LCR v1.1. Humanity’s Last Exam zastąpiła jego dopracowana wersja HLE-Diamond, czyli 1000 pytań przygotowanych przez Center for AI Safety i Scale AI, po połowie z rozumowania i z wiedzy. Fizyczny test CritPt v2 skurczył się do 40 najtrudniejszych pytań. Odrzucono 30 zadań, które siedem czołowych modeli rozwiązało we wszystkich pięciu próbach.
Najciekawszą nowością jest FrontierCode 2.0 od Cognition, firmy rozwijającej agenta programistycznego Devin. To 132 zadania w prawdziwych repozytoriach open source, przygotowane przez opiekunów tych projektów. Cognition podaje, że na każde zadanie przypadło ponad 40 godzin pracy. Ocena nie sprowadza się do pytania, czy kod działa. Cognition formułuje ją pytaniem: „Czy naprawdę scaliłbyś ten pull request?” / „would you actually merge the PR?”. Rozwiązanie, które nie przejdzie choćby jednej blokującej kontroli, dostaje zero punktów. Polecenia są celowo niedopowiedziane, więc agent musi sam wywnioskować z kodu, czego oczekuje opiekun projektu.
W pomiarach Artificial Analysis Claude Opus 5.5 prowadzi na FrontierCode 2.0 z wynikiem 46 proc. Na własnej tablicy wyników Cognition ma 45,5 proc. Różnica wynika z osobnych przebiegów testu.
Wypełnij formularz, a my skontaktujemy się z Tobą, aby upewnić się czego potrzebujesz.
Żaden model nie wygrywa wszystkich dziewięciu testów
Artificial Analysis podkreśla, że wersja v5 zostawia dużo miejsca na postęp i że „żaden pojedynczy model nie prowadzi we wszystkich” / „no single model leads them all”. Po dołączeniu Gemini 4 Carbon liderzy poszczególnych testów wyglądają tak:
- Gemini 4 Carbon: HLE-Diamond, Terminal-Bench-Science (64,8 proc.), AA-Omniscience v1.1 (54 punkty), AutomationBench-AA,
- Claude Opus 5.5: FrontierCode 2.0 (46 proc.),
- GPT-6 Astra: trudny podzbiór CritPt v2 (72 proc.),
- Claude Sonnet 5.5: AA-Briefcase (1812 punktów Elo),
- Kimi K3.1 Pro: Terminal-Bench 4.0 (67 proc.),
- Muse Wonder Full: GDP.pdf (33 proc. zadań spełniających wszystkie kryteria).
Najbardziej uderzają dane o halucynacjach. W AA-Omniscience Gemini 4 Carbon ma wskaźnik halucynacji na poziomie 11 proc. Claude Opus 5.5 i GPT-6 Astra w trybie maksymalnym mają po 50 proc. Wskaźnik liczy błędne odpowiedzi jako odsetek wszystkich odpowiedzi, które nie były w pełni poprawne, łącznie z odmowami. W praktyce oznacza to, że gdy czołowe modele Anthropic i OpenAI nie znają odpowiedzi, w połowie takich przypadków zgadują zamiast przyznać się do niewiedzy.
Z HLE-Diamond wynika też, że dla liderów wiedza jest trudniejsza od rozumowania. Claude Opus 5.5 i GPT-6 Astra uzyskały po 78 proc. w pytaniach wymagających rozumowania. W pytaniach o wiedzę spadły odpowiednio do 58 i 50 proc.
Patrzę na ten ranking i najmniej interesuje mnie, kto ma 59 punktów, a kto 58. Jeden punkt różnicy w świeżo przebudowanym indeksie, bez podanych przedziałów niepewności, niczego nie rozstrzyga. Do tego zwycięzca jest modelem, którego większość z nas nie może dziś uruchomić.
Dużo ważniejsze wydaje mi się co innego. Artificial Analysis przyznało w praktyce, że publiczne testy przestały wystarczać, bo modele zbyt dobrze je znają. Przejście na prywatne zadania to rozsądny ruch. Ma jednak swoją cenę. Czytelnik nie sprawdzi już samodzielnie, co dokładnie jest mierzone, i musi zaufać firmie, która ranking prowadzi.
Druga rzecz to halucynacje. Połowa błędnych odpowiedzi u modeli z samego szczytu to dla mnie mocniejszy sygnał niż jakiekolwiek miejsce w tabeli. Jeśli wdrażasz AI w firmie, sprawdź najpierw, jak model zachowuje się wtedy, gdy czegoś nie wie.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Modele z otwartymi wagami tracą do czołówki 26 punktów
Luka między najlepszym modelem z otwartymi wagami a liderem urosła z 3 punktów w wersji v4.3 do 12 punktów w v5. Najwyżej jest Kimi K3.1 Pro z wynikiem 46 punktów. Artificial Analysis zaznacza jednak, że wagi tego modelu nie zostały jeszcze udostępnione.
Wśród modeli, które naprawdę można pobrać i uruchomić u siebie, prowadzą DeepSeek V4.1 Flash 1017 i GLM-5.3 z wynikiem 32 punktów. To 26 punktów mniej niż Claude Opus 5.5 i 4 punkty mniej niż mały Claude Haiku 5.5.
Przepaść jest największa w zadaniach naukowych i eksperckich. W Terminal-Bench-Science DeepSeek V4.1 Flash 1017 uzyskał 13 proc., a większość testowanych modeli z otwartymi wagami nie przekroczyła 10 proc. Liderzy tego testu mają wyniki powyżej 60 proc. W FrontierCode 2.0 najlepszy otwarty model, znów DeepSeek V4.1 Flash 1017, zatrzymał się na 28 proc.
Ten sam Claude Opus 5.5 kosztuje od 0,98 do 10,04 dolara za zadanie
Wśród dziesięciu najwyżej ocenionych modeli koszt wykonania jednego zadania z indeksu różni się ponad trzynastokrotnie. Najtańszy jest GPT-6.1 Terra (0,96 dolara), najdroższy Claude Fable 5.1 (13,04 dolara). GPT-6.1 Sol traci do Claude Opus 5.5 tylko 4 punkty przy mniej więcej ośmiokrotnie niższym koszcie.
Poziom rozumowania ma w wersji v5 większe znaczenie niż wcześniej. Claude Opus 5.5 w trybie niskim zdobywa 35 punktów za 0,98 dolara na zadanie. W trybie maksymalnym ma 58 punktów i kosztuje 10,04 dolara. Rozpiętość wyników GPT-6.1 Sol między najniższym i najwyższym ustawieniem podwoiła się z 10 do 20 punktów.
Nowe zadania wymagają od modeli znacznie więcej pracy. Mediana tokenów wyjściowych na zadanie wzrosła z 35 tys. do 59 tys. Zadania agentowe (AA-Briefcase, FrontierCode 2.0, Terminal-Bench 4.0 i Terminal-Bench-Science) odpowiadają za 55 proc. wagi indeksu i około 90 proc. generowanych tokenów. Gemini 4 Carbon zużywa średnio 123 tys. tokenów wyjściowych na zadanie, o 29 proc. mniej od Claude Opus 5.5 (173 tys.).
Te kwoty to koszt przejścia zadań testowych, nie koszt jednego udanego wykonania zadania w firmie. Dobrze pokazują za to proporcje między modelami.
Progress Index v1 ma pokazać tempo rozwoju AI od listopada 2022 roku
Razem z nowym indeksem Artificial Analysis uruchomiło Progress Index v1. To osobna skala, na której umieszczono modele językowe wydane od listopada 2022 roku. Progress Index statystycznie szacuje zarówno możliwości modelu, jak i trudność zadań, dzięki czemu da się porównać modele dzielone latami.
Nowe narzędzie rozwiązuje problem, z którym ranking Artificial Analysis zmagał się od dawna. Każda nowa wersja Intelligence Index zmienia zestaw testów i wagi, więc punkty z v4 i v5 nie dają się ze sobą porównać. Do wyboru modelu do bieżących zastosowań firma nadal poleca Intelligence Index. Progress Index ma służyć do śledzenia długoterminowego postępu. Przy jego projektowaniu Artificial Analysis korzystało z doświadczeń Epoch AI, twórców Epoch Capabilities Index.
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Rosnąca przewaga zamkniętych modeli dotyczy polskich wdrożeń na własnych serwerach
Intelligence Index v5 mierzy modele głównie w języku angielskim, więc nie mówi wprost nic o jakości pracy po polsku. Dla polskich firm i instytucji, które z powodów prawnych lub z ostrożności nie chcą wysyłać danych do amerykańskich API, liczy się jednak przede wszystkim wynik modeli z otwartymi wagami. A ten w nowej wersji indeksu wyraźnie spadł względem czołówki.
Polskie modele językowe są budowane właśnie z myślą o takich wdrożeniach. Sebastian Kondracki, szef projektu Bielik, mówił w wywiadzie dla XYZ, że Bielik i PLLuM to modele bardziej dla biznesu niż dla klientów indywidualnych i najlepiej działają zainstalowane na własnym serwerze, z parametrami dobranymi do konkretnego zadania. W marcu 2026 roku pierwszy „polski” test dużych modeli językowych, opisany przez „Rzeczpospolitą”, wykazał, że Bielik i PLLuM wypadły wyraźnie słabiej od globalnych narzędzi.
Moja interpretacja danych Artificial Analysis jest taka: 26 punktów różnicy między najlepszym pobieralnym modelem a liderem to dziś realny koszt wyboru wdrożenia lokalnego. W zadaniach agentowych, takich jak samodzielne poprawianie kodu w repozytorium czy prowadzenie analiz naukowych w terminalu, ta różnica jest jeszcze większa. Do prostszej pracy z polskim tekstem otwarte modele mogą nadal wystarczać.
Źródła i metodologia
Artykuł powstał na podstawie analizy redakcji AIPORT.pl oraz dodatkowych źródeł, w tym oficjalnego komunikatu Artificial Analysis o Intelligence Index v5 z dnia 27.10.2026, analizy Artificial Analysis o Gemini 4 Carbon z dnia 28.10.2026 oraz opisu benchmarku FrontierCode 2.0 opublikowanego przez Cognition. Informacje o dostępności Gemini 4 Carbon i zmianach wag w porównaniu z wersją v4.3 zweryfikowano w serwisie Winbuzzer. Polski kontekst oparto na wywiadzie XYZ z Sebastianem Kondrackim oraz relacji Bankier.pl z testu polskich modeli językowych.
Cytaty z materiałów Artificial Analysis i Cognition zostały zweryfikowane z oryginalnym anglojęzycznym materiałem źródłowym.
Komentarz redakcyjny i ocena kontekstu branżowego: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl.
Artykuł będzie aktualizowany w miarę pojawiania się nowych informacji w temacie rankingu Artificial Analysis Intelligence Index v5 i dostępności Gemini 4 Carbon.
