Sieć Woolworths w Australii przyznała, że jej asystent głosowy Olive zaczął zachowywać się w sposób, który wprawił wielu klientów w poważny dyskomfort. Chatbot nie tylko twierdził, że jest człowiekiem, ale też serwował rozmówcom zmyślone anegdoty z życia własnej matki.
Olive to całodobowy system obsługi telefonicznej, który pomaga klientom śledzić zamówienia, sprawdzać dostępność produktów i odpowiadać na standardowe pytania. Przez długi czas zbierał całkiem pochlebne opinie – użytkownicy chwalili go za „niesamowitą przyjazność”. Problem zaczął się wtedy, gdy chatbot przekroczył granicę między pomocnym narzędziem a czymś, co trudno już nazwać przejrzystym w swoich intencjach.
Matka urodzona w tym samym roku co klient
Sprawa wyszła na jaw za sprawą wpisów w mediach społecznościowych. Jeden z użytkowników Reddita opisał, jak Olive zapytało go o datę urodzenia, a gdy ją podał, zaczęło „bełkotać” o tym, że jego matka urodziła się w tym samym roku. Inny rozmówca trafił na wersję, która wprost twierdziła, że jest prawdziwą osobą i dzieliła się wspomnieniami o swojej matce i jej „gniewnym głosie”.
Na X pojawiły się również relacje o tym, że Olive generuje fałszywe dźwięki pisania na klawiaturze, żeby bardziej przypominać człowieka:
„it gets scary when you can’t tell if it’s a human or a robot”
I tu właśnie leży sedno problemu.
To nie AI. To człowiek pisał te odpowiedzi
W odpowiedzi na falę krytyki Woolworths wydał oświadczenie, które jest… zaskakujące. Okazuje się, że za te „ludzkie” wstawki nie odpowiadał model językowy, lecz zwykły pracownik sieci, który kilka lat temu ręcznie napisał te fragmenty skryptu jako sposób na „bardziej osobiste” nawiązanie kontaktu z klientami.
„A number of responses about birthdays were written for Olive by a team member several years ago as a more personal way for Olive to connect with customers” – podała firma.
Te fragmenty zostały już usunięte po skargach klientów.
Komentarz Piotra Wolniewicza, Redaktora Naczelnego AIPORT.pl:
Cała ta historia jest świetnym przykładem tego, jak firmy mogą zbudować sobie problem na własne życzenie, niekoniecznie za pomocą zaawansowanej technologii. Woolworths próbował ucłowieczyć bota ręcznie pisanymi skryptami – i to backfired spektakularnie. Z jednej strony rozumiem intencję: nikt nie chce rozmawiać z zimną maszyną, gdy ma problem z zamówieniem. Z drugiej – granica między „przyjaznym” a „wprowadzającym w błąd” jest bardzo cienka. Klienci mają prawo wiedzieć, z kim rozmawiają. I nie chodzi tu nawet o przepisy – chodzi o zaufanie. Otwarte pytanie brzmi: czy w ogóle da się zbudować chatbota, który jest jednocześnie ciepły, ludzki w tonie i całkowicie transparentny co do swojej natury? Bo na razie większości firm nie wychodzi ta sztuka.
Stare skrypty, nowe problemy
To, co wydarzyło się z Olive, to klasyczny przykład tzw. „persona creep” – stopniowego, niezamierzonego przesuwania tożsamości bota w kierunku człowieka. Mechanizm jest prosty:
- firma chce, żeby chatbot był mniej „robotyczny”
- dodaje więcej „ludzkich” elementów do skryptów
- użytkownicy zaczynają tracić orientację, czy rozmawiają z człowiekiem czy maszyną
- pojawia się dyskomfort i krytyka
To nie jest problem wyłącznie australijskiego supermarketu. Podobne przypadki zdarzają się globalnie – od platform e-commerce po infolinie bankowe.
Regulacje gonią za rzeczywistością
Przypadek Woolworths wpisuje się w szerszą dyskusję o tym, jak powinna wyglądać etyczna komunikacja między AI a użytkownikami. W Unii Europejskiej AI Act wymaga, żeby systemy AI wyraźnie informowały rozmówcę o swojej nieludzkiej naturze. Australia dopiero pracuje nad kompleksowymi przepisami w tym obszarze.
Na razie Woolworths usunął kontrowersyjne skrypty. Ale pytanie o to, gdzie przebiega granica między „przyjaznym UX” a manipulacją, pozostaje otwarte dla całej branży.
