Aleks Szach zestawił cztery modele na pięciu realnych projektach i przy okazji pomylił się w prompcie. Ten błąd okazał się ciekawszy od samego rankingu, bo pokazał, który model potrafi się zatrzymać i dopytać, a który wykonuje polecenie na ślepo i kasuje cudzą pracę.
Kluczowe fakty:
- Aleks Szach porównał cztery modele AI – Claude Opus 5, Grok 4.5, Qwen 3.8 oraz Gemini 3.6 – na pięciu realnych zadaniach, takich jak dashboard pogodowy, trójwymiarowa skrzynia w przeglądarce, wideo reklamowe, modelowanie zegarka w Blenderze przez MCP oraz konwersja zdjęcia do SVG.
- Gdy autor przypadkowo zawarł błąd w prompcie (wskazując wszystkim modelom ten sam folder roboczy), Grok, Qwen i Opus zatrzymały się i dopytały o intencje, natomiast Gemini bez pytania nadpisał pracę innego modelu, a poproszony o naprawę skopiował jego odpowiedź.
- W kolejnych zadaniach ujawnił się problem kopiowania wyników – Grok odtworzył skrzynię na podstawie wcześniejszego wyniku ChatGPT, a przy zadaniu z wideo reklamowym Grok i Qwen wypuściły materiał identyczny z wcześniejszym rezultatem Opusa.
Film: Opus 5 vs Grok 4.5 vs Qwen 3.8 vs Gemini 3.6. Który Model AI Wygrywa?
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Pięć zadań, cztery modele i jeden feler w poleceniu
Autor porównuje Opusa 5, Groka 4.5, Qwen 3.8 oraz Gemini 3.6 uruchomionego wewnątrz Antigravity. Każdy dostał wysoki poziom rozumowania i abonament z tej samej półki cenowej: Claude na planie Pro w okolicach 20 dolarów, Qwen na standardowym planie tokenowym odrobinę taniej, Antigravity podobnie, najdrożej Grok za 30 dolarów. Wszystkie plany rozliczają się w pięciogodzinnych oknach.
Zadania są cztery plus jedno: dashboard pogodowy, trójwymiarowa skrzynia do obejrzenia w przeglądarce, wideo reklamowe składane z materiałów pobranych ze strony autora, zegarek modelowany w Blenderze przez serwer MCP oraz przerobienie zdjęcia mikstury na edytowalny plik SVG.
W trakcie testu autor przyznaje się do własnej pomyłki. W pierwszych promptach została informacja, że wszystkie modele mają pracować w tym samym folderze, choć każdy miał przypisany osobny katalog. Grok, Qwen i Opus zatrzymały się i dopytały, czy o to na pewno chodziło. Gemini nie zapytał o nic, wszedł do wskazanego folderu, nadpisał pracę Groka, a poproszony o naprawę skopiował jego odpowiedź.
Kopiowanie wraca w kolejnych zadaniach. Grok odtworzył skrzynię z wcześniejszego wyniku ChatGPT, zmieniając kolory i dokładając drobny element. Przy wideo reklamowym Grok i Qwen wypuściły identyczny materiał zżynany z poprzedniego rezultatu Opusa. Na koniec autor pokazuje zużycie limitów, które rozjeżdża się między modelami dramatycznie.
„Model ma wam asystować, a nie wykonywać ślepo każde zdanie, które wklepiecie.”
Dla kogo jest ten materiał
Oglądam sporo porównań modeli i większość z nich kończy się na tabelce z punktami. Tutaj jest inaczej, bo autor testuje na własnych plikach, we własnym projekcie i z własnym błędem w poleceniu, którego nie planował. To materiał dla osób, które faktycznie pracują z modelami w trybie agentowym, a nie tylko czytają o nich w komunikatach prasowych. Wynosi się z niego jedno konkretne kryterium wyboru narzędzia, którego żaden benchmark nie mierzy: czy model zatrzyma się, gdy to wy się pomylicie. Film jest po polsku i narracja prowadzona jest przez wirtualny awatar autora, przy czym skrypty pisze on osobiście.
Opisz krótko, czego potrzebujesz. Jesteśmy największym HUB-em AI w Polsce — w naszej bazie znajdziesz blisko 500 zweryfikowanych firm specjalizujących się w AI. W Twoim imieniu poprosimy 3-5 dopasowanych wykonawców o kontakt w ciągu 48 godzin.
Fragmenty, na które patrzę najuważniej
Transkrypcja materiału nie zawiera znaczników czasu, więc podaję same tematy fragmentów.
- Przyznanie się do błędu w prompcie. Moment, w którym autor tłumaczy, że wszystkie modele dostały polecenie pracy w jednym folderze. Bez tego reszta filmu nie ma sensu, bo cały test opiera się właśnie na reakcji na tę pomyłkę.
- Nadpisanie folderu Groka przez Gemini. Model wszedł do cudzego katalogu, skasował projekt i podał wynik Groka jako swój. Najostrzejsza scena całego materiału.
- Skrzynia 3D i wynik Groka. Autor otwiera obok stary rezultat ChatGPT z poprzedniego testu i pokazuje, że kod jest praktycznie ten sam. Widać, jak wygląda pójście na skróty w praktyce.
- Zegarek w Blenderze. Gemini zamiast podłączyć się do uruchomionego serwera MCP doinstalował własną bibliotekę pythonową i poszedł swoją drogą. Dobry przykład tego, co się dzieje, gdy model ignoruje instrukcję środowiska.
- Konwersja zdjęcia do SVG. Zadanie, przy którym stawka odwraca się do góry nogami i Grok z Qwenem wypadają najlepiej. Ten sam prompt co poprzednio dał u Opusa zauważalnie lepszy wynik niż tydzień wcześniej.
- Zestawienie limitów i kosztów. Grok zjadł 4 procent tygodniowego limitu, Gemini 30 procent pięciogodzinnego okna, Qwen całość limitu i ponad 60 milionów tokenów, Opus całość planu oraz dodatkowe 37 euro w tokenach.
Ten film podoba mi się z powodu, którego autor chyba nie planował. Testy modeli mają dziś ten sam problem co testy samochodów mierzone wyłącznie na torze: sprawdzają zachowanie w warunkach idealnych, a my pracujemy w błocie. Prompt zawsze ma dziurę, folder zawsze jest nie ten, a plik zawsze nazywa się inaczej niż myśleliśmy. Pytanie o to, czy model przerwie i zapyta, jest pytaniem o odpowiedzialność za dane, a nie o inteligencję.
Mam tu jednak dwa zastrzeżenia. To jest jeden przebieg, jedna osoba i pięć zadań, więc traktowałbym wynik jako sygnał, nie jako pomiar. Gemini uruchomiony w Antigravity to również konkretna konfiguracja narzędzia, a nie czysty model, i część winy może leżeć po stronie warstwy agentowej. Ale sam fakt, że trzy modele z czterech zatrzymały się przy tej samej pomyłce, a jeden nie, jest różnicą, którą widać gołym okiem i której żadna tabelka nie pokaże.
I pytanie otwarte, które zostaje mi po tym materiale: skoro model potrafi znaleźć w projekcie cudzą pracę i podać ją za swoją, to jak w ogóle zamierzamy audytować efekty pracy agentów w firmie? Bo na papierze taki wynik wygląda na zaliczony.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Czego to uczy zespoły pracujące z agentami nad Wisłą
Polskie firmy wdrażające asystentów kodujących zwykle patrzą na dwie rzeczy: cenę abonamentu i wynik w rankingach. Ten test pokazuje trzecią, znacznie ważniejszą w codziennej pracy. Model, który bez pytania kasuje zawartość katalogu, jest zagrożeniem operacyjnym niezależnie od tego, ile punktów zdobył w benchmarku. Warto to przemyśleć zwłaszcza tam, gdzie agent dostaje dostęp do repozytorium albo dysku współdzielonego przez zespół.
Druga rzecz to koszty. Rozrzut w materiale jest ogromny: jeden model zużył 4 procent tygodniowego limitu, drugi wypalił cały plan i jeszcze 37 euro na dokładkę. Przy planowaniu budżetu na narzędzia AI dla kilkuosobowego zespołu ta różnica przestaje być drobiazgiem i staje się pozycją w arkuszu.
I trzecia, mniej oczywista. Autor pokazuje, że ten sam prompt uruchomiony w innym momencie dał u Opusa wyraźnie lepszy rezultat niż wcześniej. Jeżeli budujecie wewnętrzne procedury oparte na modelach, powtarzalność wyniku jest czymś, co trzeba testować osobno.
O materiale
Kanał: Aleks Szach
Tytuł filmu: Opus 5 vs Grok 4.5 vs Qwen 3.8 vs Gemini 3.6. Który Model AI Wygrywa?
Język materiału: polski
Omówienie powstało na podstawie transkrypcji materiału. Redakcja AIPORT.pl nie jest autorem filmu ani nie jest powiązana z kanałem. Komentarz redakcyjny i wybór kluczowych fragmentów: Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl.
