Narzędzie open-source do tańszego serwowania małych modeli AI
Zespół opublikował open-source'owe narzędzie „world-model-optimizer" (wmo), które pozwala kierować powtarzalne zadania agentów AI do mniejszych, wytrenowanych przez destylację modeli, obniżając koszty przy zachowaniu jakości porównywalnej z dużymi modelami frontierowymi. Narzędzie uruchamia lokalny endpoint zgodny z OpenAI API i automatycznie decyduje, które zadania trafiają do modelu frontierowego, a które do tańszego. Wymaga podania śladów agenta i klucza OpenRouter.
Komentarze
Brak komentarzy
Komentarze
Jeszcze nikt nie skomentował — napisz pierwszy 👇
Brak komentarzy. Bądź pierwszy!