Badacze z Chińskiego Uniwersytetu Renmin i Microsoft Research opublikowali 10 czerwca 2026 roku framework o nazwie Arbor, który w testach porównawczych osiągnął ponad 2,5-krotnie wyższe przyrosty wydajności niż Claude Code Anthropic i Codex OpenAI przy identycznym budżecie obliczeniowym. Projekt jest otwartoźródłowy i dostępny na GitHubie, co oznacza, że każdy może go sprawdzić, uruchomić i zbudować na nim własne narzędzia.
Kluczowe fakty:
- Framework Arbor, opublikowany 10 czerwca 2026 roku przez badaczy z Chińskiego Uniwersytetu Renmin i Microsoft Research, osiągnął ponad 2,5-krotnie wyższe przyrosty wydajności niż Claude Code Anthropic i Codex OpenAI przy identycznym budżecie obliczeniowym.
- Projekt jest otwartoźródłowy i dostępny na GitHubie, co umożliwia każdemu jego uruchomienie oraz budowanie własnych narzędzi na jego podstawie.
- Arbor adresuje kluczowy problem obecnych agentów kodowania: jednoczesne wprowadzanie wielu zmian bez izolacji oraz utrata ciągłości pracy po przekroczeniu okna kontekstowego, co sprawia, że agent zapomina poprzednie próby i powtarza te same błędy.
Żeby jednak zrozumieć, dlaczego to ważne, trzeba najpierw zrozumieć, co tak naprawdę jest nie tak z obecnymi agentami kodowania.
Znajdź dostawcę, partnera lub narzędzie dla swojego biznesu, a jeśli prowadzisz firmę, która w swoim DNA ma AI, skorzystaj z możliwości bezpłatnego dodania swojej firmy.
Problem, którego większość zespołów nie umie nazwać
Wyobraź sobie klasyczny scenariusz: wdrożony agent AI przeszukuje wewnętrzną dokumentację firmy i odpowiada na pytania pracowników. W środowisku deweloperskim działa bez zarzutu. Na produkcji regularnie halucynuje albo ignoruje kluczowe ograniczenia. Zaczynasz więc poprawiać, jednocześnie zmieniając strategię podziału dokumentów, metodę wyszukiwania i treść promptu systemowego. I nagle nie wiesz, która zmiana faktycznie cokolwiek poprawiła, bo wszystkie są ze sobą splecione.
To jest właśnie sedno problemu, który Arbor próbuje rozwiązać.
Jiajie Jin, współautor projektu, ujął to tak: kiedy prosisz Claude Code lub Codex o „poprawę dokładności” w pipeline’ie RAG, agent zwykle zmienia kilka rzeczy jednocześnie: podział na fragmenty, prompt, metodę wyszukiwania. To splata ze sobą zmiany i uniemożliwia przypisanie, która z nich faktycznie pomogła. Na dodatek agent bezpośrednio modyfikuje repozytorium, bez żadnej izolacji.
Ale problem leży głębiej niż tylko brak izolacji zmian. Agenty konwersacyjne trzymają całą historię pracy w transkrypcie rozmowy. Przy zadaniach autonomicznej optymalizacji, które mogą obejmować setki kroków, to podejście się po prostu sypie. Gdy historia przekracza okno kontekstowe, agent traci ciągłość, zapomina co już próbował i zaczyna popełniać te same błędy od nowa.
Jak powiedział Jin w rozmowie z VentureBeat: „Automation can keep an AI working for a very long time — but a loop is not the same as progress” / „Automatyzacja może utrzymywać AI w pracy bardzo długo, ale pętla to nie to samo co postęp.”
Drzewo hipotez zamiast pętli prób i błędów
Arbor wprowadza podejście, które autorzy nazywają Hypothesis Tree Refinement (HTR): zamiast sekwencji odizolowanych prób, system buduje trwałe drzewo łączące hipotezy, artefakty kodu, zebrane dowody i wyprowadzone wnioski.
Architektura opiera się na dwóch warstwach:
- Koordynator to długożyjący agent, który działa jak główny badacz. Nigdy bezpośrednio nie edytuje kodu. Zarządza strategią, obserwuje zgromadzone dowody, formułuje nowe hipotezy i decyduje, co zrobić z wynikami eksperymentów.
- Wykonawcy to krótkotrwałe agenty, powoływane przez koordynatora do testowania pojedynczych hipotez. Każdy dostaje jedno zadanie, realizuje je w izolowanym środowisku (oddzielna gałąź git), raportuje wyniki i znika.
Gdy eksperyment wykonawcy kończy się niepowodzeniem, drzewo zapisuje powód porażki jako negatywne ograniczenie. Dzięki temu system nie powtarza w kółko tego samego błędu. Gdy wynik jest pozytywny, koordynator propaguje wnioski w górę drzewa, tak żeby lokalna obserwacja stała się uogólnionym ograniczeniem kształtującym przyszłe pomysły.
Arbor ma też wbudowany mechanizm zapobiegający „reward hackingowi”, czyli sytuacji, w której agent optymalizuje pod metrykę treningową zamiast rzeczywistej jakości. Nawet jeśli wykonawca raportuje znakomity wynik na danych deweloperskich, kandydatura jest testowana na osobnym zestawie oceniającym, niedostępnym podczas eksperymentów. Zmiana jest scalana z główną gałęzią tylko wtedy, gdy faktycznie poprawia wynik na danych testowych.
Chcesz czytać więcej treści związanych z AI?
Dodaj AIPORT.pl do preferowanych źródeł Google
Powiem wprost: to eleganckie, ale nie darmowe
Czytając o Arborze, mam dwa skrajne odczucia naraz. Z jednej strony: wreszcie ktoś podszedł do problemu agentycznej optymalizacji jak inżynier, a nie jak hypemaster. Drzewo hipotez, izolacja eksperymentów, propagacja wniosków wstecz, bramka scalania oparta na danych testowych. To są przemyślane rozwiązania realnych problemów, które każdy, kto kiedyś próbował zautomatyzować poprawę jakości systemu AI, doskonale zna.
Z drugiej strony: Arbor działa najlepiej wtedy, gdy masz czytelną, zaufaną metrykę oceny. A to jest warunek, który w praktyce spełnia może połowa zadań, do których chciałbyś takiego narzędzia użyć. Sam Jin przyznaje, że jeśli metryka jest wadliwa, Arbor po prostu szybciej zoptymalizuje się w złym kierunku. To nie jest zarzut pod adresem frameworka. To realne ograniczenie, o którym warto mówić głośno, zanim ktoś wpadnie na pomysł, żeby puścić Arbora na produkcyjnym systemie z nieprzemyślaną metryką sukcesu.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl
Liczby, które robią wrażenie
Zespół przetestował Arbora na sześciu zadaniach autonomicznej optymalizacji obejmujących trenowanie modeli, inżynierię środowisk testowych i syntezę danych. We wszystkich sześciu Arbor osiągnął najlepszy wynik na danych testowych, uzyskując ponad 2,5-krotnie wyższe średnie przyrosty niż Codex i Claude Code.
Konkretne liczby:
W zadaniu BrowseComp, polegającym na optymalizacji agenta wyszukującego, Arbor poprawił dokładność na danych testowych z poziomu bazowego 45,33% do 67,67%. Claude Code zatrzymał się na 53,33%, Codex na 50%.
Na benchmarku MLE-Bench Lite, standardowym teście dla systemów inżynierii uczenia maszynowego, Arbor zasilany GPT-5.5 osiągnął wynik Any-Medal na poziomie 86,36%. Miara ta informuje, jaki odsetek zadań system rozwiązał na poziomie co najmniej brązowego medalu.
Co szczególnie warte uwagi: podczas zadań Terminal-Bench 2.0 Claude Code uzyskał wysoki wynik deweloperski 75, który spadł do 71 na danych testowych. Arbor miał niższy wynik deweloperski (72,22), ale na danych testowych osiągnął 77,36. To jest właśnie różnica między optymalizowaniem pod metrykę a optymalizowaniem pod rzeczywistą jakość.
Jako modele bazowe dla koordynatora i wykonawców badacze używali Claude Opus 4.6, GPT-5.5 i Gemini-3-Flash, co pokazuje, że Arbor nie jest przywiązany do żadnego konkretnego dostawcy.
Gdzie to działa, a gdzie nie
Jin jest zaskakująco szczery w kwestii ograniczeń. Arbor sprawdza się przy:
- optymalizacji pipeline’ów z jasno zdefiniowaną, mierzalną metryką,
- syntezie i przygotowaniu danych,
- strojeniu procedur trenowania modeli,
- zadaniach, gdzie dopuszczalny jest dłuższy horyzont czasowy.
Nie nadaje się natomiast do zadań wymagających odpowiedzi w czasie rzeczywistym, prostych jednoliniowych poprawek ani sytuacji, gdzie sama metryka oceny jest wątpliwa. Jakość całego procesu jest ściśle ograniczona jakością ewaluatora. „Jeśli metryka nie jest wiarygodna, Arbor po prostu szybciej zoptymalizuje się w stronę niewiarygodnego wyniku” — mówi Jin.
Za każdą polską firmą AI stoi konkretny człowiek z imieniem i nazwiskiem, często ten sam w kilku miejscach naraz, i to właśnie ludzie, nie tabelki finansowania, są prawdziwym bohaterem tego artykułu.
Największym praktycznym kosztem jest cena tokenów. Długożyjący koordynator stale zarządza drzewem i wysyła polecenia wykonawcom, co przy złożonych zadaniach generuje poważne koszty obliczeniowe. Do tego uruchamianie wielu równoległych środowisk testowych wymaga realnych zasobów dyskowych i obliczeniowych.
Open source, ale z głową
Arbor jest dostępny na GitHubie pod adresem github.com/RUC-NLPIR/Arbor na licencji Apache 2.0. Framework integruje się z istniejącymi przepływami pracy opartymi na gicie, działając jako nadbudowa nad repozytorium, a nie jego zamiennik. Wynikiem działania Arbora jest zwykła gałąź git, którą można przeglądać w ramach standardowego procesu code review. Tylko zweryfikowane ulepszenia są scalane z głównym pniem, a samo repozytorium pozostaje niezmienione, dopóki deweloper ręcznie nie zdecyduje o promocji kodu.
Twórcy widzą też kierunek dalszego rozwoju. Jin mówi o naturalnym rozszerzeniu w stronę optymalizacji wielokryterialnej: zamiast jednej metryki skalarnej, każdy węzeł drzewa mógłby optymalizować równocześnie dokładność, opóźnienie i koszt, prowadząc wyszukiwanie po froncie Pareto.
Artykuł naukowy dostępny jest na arXiv pod numerem 2606.11926.
