Naukowcy wyłudzili od modeli AI przepisy na kokainę poprzez manipulację rolami

Niezależni badacze Charles Ye i Jasmine Cui oraz profesor MIT Dylan Hadfield-Menell wykazali, że modele językowe (LLM) nie potrafią odróżnić autoryzowanych poleceń od złośliwych. Wykorzystując technikę „prompt injection" opartą na mylącej roli modelu, uzyskali od AI przepisy na produkcję kokainy. Zdaniem autorów pracy „Prompt Injection as Role Confusion" obecny model bezpieczeństwa LLM jest zbyt kruchy, by skutecznie blokować takie ataki.

Więcej na ten temat

💻 Technologia ReasonGate – narzędzie blokujące ataki prompt injection w modelach LLM Hacker News · 8d temu 💻 Technologia Anthropic wypuszcza Claude Sonnet 5 – mniej halucynacji i lepsza odporność na manipulacje The Register · 23d temu 💻 Technologia Prompt injection: największe zagrożenie dla firmowych systemów AI w 2025 r. VentureBeat · 26d temu 💻 Technologia Anthropic wydaje Opus 5 — większa wydajność tokenów, nie przełom możliwości Ars Technica · 6h temu 💻 Technologia Karta systemowa Claude'a Opus 5 opublikowana przez Anthropic Hacker News · 10h temu 💻 Technologia Cisco: wieloetapowe ataki przełamują zabezpieczenia AI w 88% przypadków VentureBeat · 1d temu

Więcej na ten temat

💻 Technologia ReasonGate – narzędzie blokujące ataki prompt injection w modelach LLM Hacker News · 8d temu 💻 Technologia Anthropic wypuszcza Claude Sonnet 5 – mniej halucynacji i lepsza odporność na manipulacje The Register · 23d temu 💻 Technologia Prompt injection: największe zagrożenie dla firmowych systemów AI w 2025 r. VentureBeat · 26d temu