W czwartek (30 maja) firma Google opublikowała wyjaśnienie fiaska spowodowanego przez narzędzie wyszukiwania oparte na sztucznej inteligencji (AI) – AI Reviews – które odnotowało wygenerowanie niedokładnych odpowiedzi na wiele zapytań. Funkcja sztucznej inteligencji w wyszukiwarce została zaprezentowana 14 maja podczas konferencji Google I/O 2024, ale według doniesień wkrótce potem została poddana kontroli ze względu na dostarczanie dziwacznych odpowiedzi na zapytania. W obszernym wyjaśnieniu Google ujawnił prawdopodobną przyczynę problemu i kroki podjęte w celu jego rozwiązania.
Odpowiedź Google
Na blogu post, Google zaczęło od wyjaśnienia, w jaki sposób funkcja Przeglądy AI działa inaczej niż inne chatboty i modele dużych języków (LLM). Według firmy AI Reviews po prostu nie generuje „wyników opartych na danych szkoleniowych”. Zamiast tego mówi się, że jest zintegrowany z „podstawowymi systemami rankingowymi sieci” i ma wykonywać tradycyjne zadania „wyszukiwania” z poziomu indeksu. Google stwierdziło również, że jego narzędzie wyszukiwania oparte na sztucznej inteligencji „ogólnie nie powoduje halucynacji”.
„Ponieważ dokładność jest najważniejsza w wyszukiwarce, przeglądy AI są tworzone tak, aby wyświetlać wyłącznie informacje poparte najlepszymi wynikami w Internecie” – stwierdziła firma.
A potem co się stało? Według Google jednym z powodów była niezdolność funkcji AI Reviews do odfiltrowywania treści satyrycznych i bezsensownych. Odnosząc się do zapytania „Ile kamieni powinienem zjeść”, które dało wyniki sugerujące, że dana osoba spożywa jeden kamień dziennie, Google stwierdziło, że przed wyszukiwaniem „praktycznie nikt nie zadawał takiego pytania”.
Zdaniem firmy spowodowało to „pustkę w danych”, w której ograniczona jest zawartość wysokiej jakości. W związku z tym konkretnym zapytaniem opublikowano także treści satyryczne. „Kiedy więc ktoś zadał to pytanie w wyszukiwarce, pojawił się przegląd sztucznej inteligencji zawierający wierny link do jednej z niewielu witryn internetowych, które zajmowały się tym pytaniem” – wyjaśnił Google.
Firma przyznała również, że w AI Reviews odwoływano się do forów, które choć są „świetnym źródłem autentycznych informacji z pierwszej ręki”, mogą prowadzić do „mniej niż pomocnych porad”, takich jak używanie kleju do pizzy do przygotowania sera stick. W innych przypadkach funkcja wyszukiwania błędnie zinterpretowała język na stronach internetowych, co doprowadziło do nieprawidłowych odpowiedzi.
Firma Google stwierdziła, że „szybko podjęła działania, aby rozwiązać te problemy, albo poprzez ulepszenie naszych algorytmów, albo poprzez ustalone procesy usuwania odpowiedzi niezgodnych z naszymi zasadami”.
Kroki podjęte w celu ulepszenia przeglądów AI
Google podjął następujące kroki, aby ulepszyć odpowiedzi na zapytania generowane przez funkcję przeglądu AI:
- Wbudowano lepsze mechanizmy wykrywania bezsensownych zapytań, ograniczając uwzględnianie treści satyrycznych i bezsensownych.
- Firma twierdzi, że zaktualizowała również systemy, aby ograniczyć wykorzystanie treści generowanych przez użytkowników w odpowiedziach, które mogą oferować wprowadzające w błąd porady.
- Przeglądy sztucznej inteligencji dotyczące trudnych tematów nie będą pokazywane tam, gdzie liczy się „świeżość i rzeczowość”.
Firma Google twierdziła również, że monitorowała opinie i raporty zewnętrzne pod kątem niewielkiej liczby odpowiedzi dotyczących przeglądu AI, które naruszają jej treść. Stwierdzono jednak, że prawdopodobieństwo wystąpienia takiej sytuacji jest „mniejsze niż jedno na 7 milionów unikalnych zapytań”.
