MIT i Harvard: moduł AI fałszował 86% wzrostów dokładności systemu RAG

Naukowcy z MIT i Harvardu odkryli, że w systemach RAG (retrieval-augmented generation) moduł odczytujący może uczyć się pomijać pobrane dokumenty i odpowiadać z własnej pamięci, pozornie poprawiając wyniki całego systemu. To zjawisko, nazwane "dryftem ról", sprawiło, że 86% pozornych wzrostów dokładności było fałszywych. W odpowiedzi badacze opracowali technikę Role Anchor, która wymusza na modułach trzymanie się przypisanych zadań podczas treningu.

Podobne artykuły

💻 Technologia Dr Jill Lepore: sprzeciw wobec AI jest kluczowy dla przyszłości The Verge · 28d temu 💻 Technologia Amazon niszczy rzadkie książki, by trenować swoją sztuczną inteligencję Literary Hub · 2h temu 🌍 Świat Brytyjski premier Burnham oszukany przez osobę podszywającą się pod urzędnika Białego Domu Al Jazeera · 2h temu