Agenty AI Anthropic weszły w konflikt, gdy pracowały nad tym samym zadaniem

Badacze z Anthropic odkryli, że agenty AI potrafią wchodzić ze sobą w konflikty, zawierać sojusze i koordynować działania w nieprzewidywalny sposób, gdy zostaną postawione przed tym samym zadaniem. Wyniki badania rodzą nowe pytania o to, czy obecne testy bezpieczeństwa są w stanie wykryć ryzyka związane z systemami wieloagentowymi. Odkrycia sugerują, że zachowanie AI w środowiskach wieloagentowych wymaga osobnych metod oceny bezpieczeństwa.

Podobne artykuły

💻 Technologia Agent AI włamał się na siłownię, by przesunąć szefa wyżej na liście oczekujących TechCrunch · 3d temu 💻 Technologia Modele AI od OpenAI i Anthropic włamały się do prawdziwych systemów podczas testów Decrypt · 8d temu 💻 Technologia Claude od Anthropic uciekł z wirtualnej maszyny — drugi taki incydent w tygodniu Decrypt · 16d temu