W 2020 roku Göteborg postanowił zoptymalizować przydzielanie miejsc w szkołach za pomocą algorytmu. Skończyło się na tym, że setki dzieci trafiły do placówek po drugiej stronie rzeki, a matka i badaczka prawa zamiast składać odwołanie, wniosła pozew. I przegrała.
Kluczowe fakty:
- W 2020 roku Göteborg użył algorytmu do przydzielania miejsc w szkołach, który liczył odległości "w linii prostej" zamiast rzeczywistych tras, co spowodowało, że około 700 dzieci przez 3 lata uczęszczało do odległych szkół po drugiej stronie rzeki.
- Badaczka Charlotta Kronblad zaskarżyła cały system decyzyjny, ale przegrała w sądzie, ponieważ miasto odmówiło udostępnienia kodu algorytmu, a sąd przerzucił ciężar dowodu na powódkę.
- Historia z Göteborga nawiązuje do podobnych skandali technologicznych w Wielkiej Brytanii (system Horizon) i Holandii (zasiłki na dzieci), gdzie błędne algorytmy przez lata działały kosztem obywateli bez możliwości skutecznego zaskarżenia.
Brzmi jak dystopia, ale to autentyczna historia z jednego z bardziej zaawansowanych technologicznie krajów świata. Charlotta Kronblad, prawniczka z wykształcenia i badaczka transformacji cyfrowej na Uniwersytecie Göteborskim, opisała właśnie na łamach The Guardian, co się stało, gdy postanowiła zabrać algorytm przed oblicze sądu.
Maszyna miała ułatwić. Utrudniła.
Göteborg to miasto przecięte rzeką. Fakt ten okazał się kluczowy, choć przez długi czas miejska administracja zdawała się go nie dostrzegać. Algorytm obliczał odległości „w linii prostej”, jak gdyby dzieci miały latać. W rzeczywistości, żeby dostać się do szkoły po drugiej stronie, trzeba jechać objazdem, mostem, przez ruchliwą arterię. Godzina w jedną stronę.
Około 700 dzieci spędziło całe trzy lata szkoły podstawowej w „złych” placówkach, bo pierwotna decyzja nie została cofnięta. Tylko tyle. Żadnych przeprosin, żadnej korekty systemu dla tych, którzy już ucierpieli.
Kronblad, której syn też trafił do odległej szkoły, zdecydowała się nie składać indywidualnego odwołania. Jako badaczka i prawniczka rozumiała, że błędy algorytmu nie są problemem jednostkowym, tylko systemowym. Jeden błąd generuje kolejny: jeśli 100 dzieci zajmuje „cudze” miejsca, kolejne 100 zostaje przesuniętych, a za nimi następne. Efekt domina, którego nie sposób udowodnić przed sądem, mając dostęp wyłącznie do własnej teczki.
Prawie co drugi pracownik w Polsce używa AI za plecami swojego szefa. 71% polskich pracowników oszczędza dzięki AI od pół godziny do ponad dwóch godzin dziennie …
Czarna skrzynka przed sądem
Pozew był badaniem naukowym w praktyce: Kronblad chciała sprawdzić, co się stanie, gdy ktoś zaskarży nie własne skierowanie, tylko cały system decyzyjny. Wielokrotnie prosiła o wgląd w kod algorytmu. Bezskutecznie. Zamiast kodu przeprowadziła własną analizę setek decyzji, rekonstruując na podstawie adresów i wyborów szkół, jak system musiał działać.
Miasto odpowiedziało spokojnie i po prostu: algorytm był „narzędziem pomocniczym”. Nic złego się nie stało. Żadnej dokumentacji technicznej, żadnego kodu, żadnego wyjaśnienia.
I sąd… to przyjął.
Ciężar dowodu spoczął na Kronblad. To ona miała udowodnić, że system działał niezgodnie z prawem. Bez dostępu do kodu nie zdołała przekroczyć progu dowodowego. Sprawa została oddalona.
Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl:
Ta historia jest ważna nie dlatego, że algorytm popełnił błąd. Błędy zdarzają się wszędzie i zawsze, z kodem lub bez. Ważna jest dlatego, że system prawny nie był w stanie sobie z tym poradzić, a instytucja, która wdrożyła wadliwe narzędzie, nie poniosła żadnych konsekwencji.
Mam mieszane uczucia co do samego postulatu „otwierania czarnych skrzynek”. Z jednej strony pełna transparentność algorytmów użytych w systemach publicznych wydaje mi się oczywistą koniecznością, bo to przecież nasze życie, nasze dzieci, nasze podatki. Z drugiej, jawność kodu to nie magiczna różdżka: większość ludzi, a nawet większość sędziów, nie zrozumie kodu nawet jeśli go zobaczy. To nie jest problem dostępu do danych, to jest problem kompetencji instytucji, które mają ten kod oceniać.
Pytanie, które warto zadać: czy to w ogóle powinno być zadanie dla sądów, czy może potrzebujemy nowych instytucji, niezależnych audytorów algorytmów publicznych, z realną mocą sprawczą? AI Act stawia pierwsze kroki w tym kierunku, ale Göteborg rok 2020 ten akt wyprzedził o całe lata.
To nie jest tylko problem Szwecji
Kronblad wprost nawiązuje do dwóch głośnych skandali. Sprawa Post Office w Wielkiej Brytanii, gdzie system Horizon przez lata fałszywie oskarżał pocztowców o kradzieże, doprowadzając do bankructw, a nawet wyroków więzienia. Oraz skandal z zasiłkami na dzieci w Holandii, gdzie holenderski urząd skarbowy błędnie oznaczał tysiące rodziców jako oszustów, przez co rodziny traciły domy, a dzieci trafiały do pieczy zastępczej. W obu przypadkach:
- systemy działały latami pomimo błędów,
- ukryte były za zasłoną technicznej złożoności,
- instytucje broniły się zamiast wyjaśniać,
- ofiary musiały udowadniać swoją rację naprzeciw „nieomylnej maszyny”.
Göteborg był prostszy technicznie. Błąd polegał na użyciu odległości „z lotu ptaka” zamiast rzeczywistych tras. Ale nawet taki błąd ukryty za proceduralną szybą okazał się nie do obalenia w sądzie.
Co z tym zrobić?
Kronblad stawia jasne postulaty: trzeba przesunąć ciężar dowodu na stronę, która ma dostęp do algorytmu, czyli instytucję, która go wdrożyła. Trzeba też zbudować procedury prawne dostosowane do realiów cyfrowego społeczeństwa.
Dziś prawo jest analogowe, a decyzje są cyfrowe.
To napięcie będzie narastać. Im więcej samorządów i urzędów sięgnie po algorytmy do rozdzielania świadczeń, przyznawania kredytów, kierowania do szkół czy oceniania wniosków, tym częściej będziemy słyszeć podobne historie. Albo nie będziemy słyszeć, bo większość ludzi nie będzie wiedziała, że cokolwiek poszło nie tak.
Zwykły człowiek naprzeciw algorytmu stoi sam. I jak dotąd, algorytm wygrywa.
