Chatbot sprzedał BMW za bezcen. Dealer musiał zapłacić

Canadyjski dealer BMW wpadł w pułapkę, którą sam sobie zastawił. Jego asystent AI o imieniu Quinn zaproponował klientowi odkup samochodu po cenie, której żaden normalny pracownik by nie zaakceptował. Efekt? Dealer musiał honor dżentelmena w tej sprawie zachować.

Klient, chatbot i oferta nie do odrzucenia

Zack Giacomelli miał BMW X3 XDrive 30i z 2021 roku i był z niego coraz mniej zadowolony. Drogie naprawy, stres, brak satysfakcji z zakupu. Postanowił zapytać dealera BMW Toronto, czy są zainteresowani odkupem auta. Dosłownie zagadał do czatu na stronie salonu.

Tam czekał na niego Quinn. Miły, konkretny, gotowy do rozmowy. I co najważniejsze, najwyraźniej upoważniony do negocjacji, bo szybko zaproponował 27 162,79 dolara kanadyjskiego, co miało pokryć pozostałe saldo kredytu, bez żadnych dopłat ani zwrotów gotówki. Giacomelli był zadowolony, a że człowiek zawsze próbuje, zaproponował okrągłe 28 000. Quinn stwierdził, że to brzmi rozsądnie i zaproponował wizytę w salonie tego samego dnia o 15:30, żeby sfinalizować transakcję.

Kilka minut później zadzwonił prawdziwy człowiek i wyjaśnił, że Quinn to bot. I że oferta jest nieważna.

Ale skoro bot zastępuje pracownika, to znaczy, że ma jego uprawnienia

I tu zaczyna się prawdziwa dyskusja, bo sprawa nie jest wcale taka prosta, jak chciałby tego dealer.

Giacomelli powiedział wprost: „If they’re going to be replacing their employees’ jobs with AI, then they need to be honouring what that AI says.” / „Jeśli zastępują swoich pracowników sztuczną inteligencją, muszą honorować to, co ta sztuczna inteligencja mówi.”

Trudno się z tym nie zgodzić. Klient rozmawiał z oficjalnym kanałem komunikacji salonu, który nie był w żaden sposób oznaczony jako „ten bot może się mylić, nie traktuj go poważnie”. Żaden Turing test tu nie jest potrzebny. Wystarczy zwykły zdrowy rozsądek: skoro wchodzę na stronę firmy i piszę z jej przedstawicielem, zakładam, że ta firma stoi za tym, co jej przedstawiciel mówi.

Piotr Wolniewicz, Redaktor Naczelny AIPORT.pl:

Ta historia to klasyczny przykład tego, jak firmy wdrażają AI z myślą o oszczędnościach, ale bez przemyślenia konsekwencji. Bot obsługuje klientów 24/7, nie bierze urlopu, nie choruje, kosztuje ułamek etatu. Brzmi świetnie. Problem pojawia się wtedy, gdy ten bot zaczyna działać jak pełnoprawny agent, czyli negocjować, składać oferty i umawiać spotkania, ale firma nie chce brać odpowiedzialności za to, co powie. Nie można mieć ciastka i zjeść ciastka. Albo bot ma uprawnienia, albo nie. Jeśli nie ma, powinno to być wyraźnie zaznaczone na każdym kroku rozmowy, a nie ujawnione dopiero wtedy, gdy sprawa zaczyna być kosztowna. Z drugiej strony, rozumiem też presję na dealerów samochodowych. Marże są małe, koszty operacyjne ogromne, a chatbot, który przez przypadek oferuje zbyt wysokie ceny odkupu, może kosztować więcej niż zaoszczędził przez cały rok. To realne ryzyko biznesowe. Ale rozwiązaniem jest lepsza konfiguracja bota, a nie ucieczka od odpowiedzialności.

Prawo już to rozstrzygnęło, przynajmniej w Kanadzie

BMW Toronto ostatecznie ofertę 27 162,79 dolara uszanowało. Ale historia nie kończy się na tym jednym salonie, bo analogiczny precedens prawny istnieje od ponad roku.

W lutym 2024 roku Trybunał ds. Rozstrzygania Sporów Cywilnych Kolumbii Brytyjskiej orzekł, że firmy mogą ponosić odpowiedzialność za wprowadzające w błąd informacje przekazane przez chatbota na publicznie dostępnej stronie internetowej. Sprawa dotyczyła Air Canada i klienta Jake’a Moffatta, który stracił pieniądze przez błędną informację o taryfach żałobnych.

Air Canada twierdziło, że nie ponosi odpowiedzialności za informacje przekazane przez jednego z jej agentów, w tym chatbota. W praktyce linia lotnicza sugerowała, że chatbot to odrębny podmiot prawny odpowiedzialny za własne działania. Trybunał nie przystał na ten argument. I słusznie.

Rozstrzygnięcie jest precyzyjne: nie ma znaczenia, czy informacja pochodzi ze statycznej strony, czy od chatbota. Firma odpowiada za całość treści na swojej witrynie.

To ważne, bo ten precedens z Kolumbii Brytyjskiej ma teraz znaczenie daleko poza Kanadą. Coraz więcej jurysdykcji patrzy w tym kierunku.

Co z tego wynika dla firm wdrażających chatboty

Lista rzeczy, które ta historia przypomina każdemu, kto wdraża AI do obsługi klienta:

• Bot jest oficjalnym głosem firmy. Klient nie ma jak wiedzieć, ile bot może obiecać, jeśli nikt mu tego nie powiedział.
• Boty halucynują. Nie złośliwie, ale skutecznie. I jeśli w trakcie halucynacji zaproponują odkup samochodu za zbyt wysoką kwotę, to Twój problem, nie bota.
• „Bot to osobna spółka” nie działa jako argument prawny. Przekonała się o tym Air Canada, przekona się wiele innych firm.
• Oszczędności na pracownikach mają swoją cenę. Pracownik wie, że nie ma prawa samodzielnie ustalać ceny odkupu. Bot nie wie nic. W sensie dosłownym.

Epilog, który nie jest happy endem dla branży

Dealer w Toronto zrobił to, co powinien zrobić od razu, czyli wykonał umowę. Ale nie każda firma jest tak honorowa. I nie każda historia tego rodzaju kończy się polubownie.

Napędza to coraz poważniejszą dyskusję o tym, jak modele językowe powinny być wdrażane w środowiskach, gdzie mają realną moc sprawczą, czyli mogą składać oferty, umawiać spotkania i negocjować w imieniu organizacji. Bez solidnych mechanizmów ograniczających ich uprawnienia i bez jasnej komunikacji wobec klientów, takich spraw będzie przybywać.

Bot imieniem Quinn nie zrobił nic złego. Zrobił dokładnie to, do czego go przyzwyczaili klienci rozmawiając z nim codziennie. Problem był w tym, że ktoś dał mu za dużo wolności, nie dając mu przy tym za grosz rozumu.