DeepSeek V4 Flash świetny w rankingach, gorszy w prawdziwych zadaniach agentowych

Model DeepSeek V4 Flash zdobył pierwsze miejsca w rankingach i zachwycił deweloperów, jednak testy firmy Composio pokazały, że wykonał poprawnie tylko 53,8% złożonych zadań agentowych. Spośród 240 prób na 30 trudnych zadaniach wymagających narzędzi takich jak Gmail, GitHub czy Slack zdano zaledwie 129. Wyniki pokazują, że kluczowe dla sukcesu w środowiskach enterprise jest nie tyle samo AI, ile sposób orchestracji i konfiguracja narzędzi. DeepSeek ogłosił jednocześnie podwyżki cen za V4 Flash.

Podobne artykuły

💻 Technologia DeepSeek V4 Pro rywalizuje z Claude'em przy ułamku ceny Decrypt · 3d temu 💻 Technologia Modele AI są najbardziej pewne siebie właśnie wtedy, gdy się mylą VentureBeat · 19h temu 💻 Technologia Tim O'Reilly: wielkie laboratoria AI nie rozumieją, czego chcą użytkownicy Wired · 1d temu