Nvidia prezentuje NeMo Switchyard — router AI obiecujący 74% oszczędności kosztów

Nvidia wypuściła NeMo Switchyard — open source'owy router modeli językowych, który dla każdego zapytania wybiera najtańszy model zdolny je obsłużyć, zamiast zawsze sięgać po drogie modele czołowe. Firma twierdzi, że rozwiązanie pozwala obniżyć koszty o 74% kosztem jedynie 6% dokładności. Narzędzie wchodzi na rynek obok już istniejących graczy, takich jak RouteLLM, LiteLLM i OpenRouter.

Podobne artykuły

💻 Technologia Nvidia prezentuje router AI Switchyard — obniża koszty zadań do jednej trzeciej VentureBeat · 7d temu 💻 Technologia Przychody Anthropic wzrosły do 65 mld dol. rocznie TechCrunch · 1d temu 💻 Technologia Modele AI są najbardziej pewne siebie właśnie wtedy, gdy się mylą VentureBeat · 3d temu