💻
Narzędzie open-source do tańszego serwowania małych modeli AI
💻 Technologia

Narzędzie open-source do tańszego serwowania małych modeli AI

Zespół opublikował open-source'owe narzędzie „world-model-optimizer" (wmo), które pozwala kierować powtarzalne zadania agentów AI do mniejszych, wytrenowanych przez destylację modeli, obniżając koszty przy zachowaniu jakości porównywalnej z dużymi modelami frontierowymi. Narzędzie uruchamia lokalny endpoint zgodny z OpenAI API i automatycznie decyduje, które zadania trafiają do modelu frontierowego, a które do tańszego. Wymaga podania śladów agenta i klucza OpenRouter.

Komentarze

Brak komentarzy