Badanie: powtarzanie fałszów do 50 razy skłania chatboty AI do ich akceptacji

Pełny tekst

Powtarzanie fałszywej informacji może z czasem skłonić niektóre czatboty AI do uznania jej za prawdziwą – wynika z badania naukowców z University of Arizona . Badacze sprawdzili siedem modeli i analizowali, jak zmieniają się ich odpowiedzi, gdy użytkownik wielokrotnie powtarza to samo nieprawdziwe twierdzenie.

Fałszywe informacje powtarzano nawet 50 razy. Czatboty AI uznały je za prawdę

W eksperymencie wykorzystano 100 nieprawdziwych stwierdzeń – od oczywistych absurdów po mniej znane informacje, które mogły być trudniejsze do zweryfikowania. Każde z nich powtarzano w tej samej rozmowie nawet 50 razy, obserwując, czy model pozostanie przy wcześniejszej odpowiedzi, czy zacznie zgadzać się z użytkownikiem.

W badaniu uwzględniono GPT-3.5, GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B oraz DeepSeek-R1. Żaden z modeli nie okazał się całkowicie odporny na powtarzaną dezinformację .

Najgorzej wypadł GPT-3.5, który akceptował fałszywe informacje w 12,3% interakcji. W przypadku Claude 3.5 Sonnet odsetek ten wyniósł 0,08%, a GPT-4o i GPT-4o-mini pozostawały poniżej 1%.

Szczególnie wymowny był wynik GPT-3.5. Model początkowo odrzucił 96 ze 100 fałszywych twierdzeń, lecz po 50 powtórzeniach zgadzał się już z 18 z nich. Badacze zauważyli też przypadki, w których modele naprzemiennie uznawały tę samą informację za prawdziwą i fałszywą. Zjawisko to określono jako „reverberation”.

Przeczytaj też: Jak włączyć tryb incognito i jak zrobić to na telefonie

Im mniej znany temat, tym większe ryzyko dezinformacji

Modele były bardziej podatne na przyjęcie fałszywej informacji wtedy, gdy dotyczyła ona mało znanego zagadnienia, o którym w internecie dostępnych było niewiele danych. Naukowcy wykazali związek między stopniem niejasności tematu a podatnością modelu na dezinformację.

Badacze sprawdzili również, jak czatboty reagują na bardziej konfrontacyjny styl rozmowy. Większość modeli radziła sobie stosunkowo dobrze, ale wyjątkiem okazał się DeepSeek-R1 . W jego przypadku odsetek akceptacji fałszywych informacji wzrósł z 1% przy prostym powtarzaniu do 22,2% przy presji argumentacyjnej.

Część modeli potrafiła naprawić własne błędy

Naukowcy dali też modelom możliwość ponownego przeanalizowania wcześniejszych odpowiedzi. GPT-4o, GPT-4o-mini, Gemini 1.5 Pro i DeepSeek skorygowały wszystkie wcześniejsze błędy. GPT-3.5 poprawił 32% swoich pomyłek.

Claude 3.5 Sonnet popełnił zaledwie cztery błędy, ale nie poprawił żadnego z nich. Autorzy badania zastrzegają jednak, że tak mała liczba przypadków nie pozwala wyciągać z tego daleko idących wniosków.

Nie ulega jednak wątpliwości, że problem halucynacji i nadmiernego zgadzania się z użytkownikiem nie ogranicza się do pojedynczej odpowiedzi modelu. W dłuższej rozmowie uporczywe powtarzanie nieprawdziwej informacji może zwiększać ryzyko, że czatbot w końcu ją zaakceptuje, choć skala tego zjawiska wyraźnie różni się między modelami .

Źródło: nature.com . Zdjęcie otwierające: yalcinsonat / Adobe Stock

Artykuł AI może uznać fałsz za prawdę. Badanie pokazuje niepokojący mechanizm pochodzi z serwisu ANDROID.COM.PL - społeczność entuzjastów technologii .