Petals: uruchamiaj duże modele językowe w domu w stylu BitTorrent

Projekt Petals umożliwia uruchamianie dużych modeli językowych (LLM) na domowym sprzęcie poprzez rozproszenie obliczeń między wiele urządzeń — podobnie jak działa BitTorrent przy pobieraniu plików. Dzięki temu użytkownicy bez dostępu do potężnych serwerów mogą korzystać z zaawansowanych modeli AI. Rozwiązanie obniża barierę wejścia w świat lokalnej sztucznej inteligencji.

Więcej na ten temat

💻 Technologia Niemiecki konsorcjum AI wypuszcza otwarty model Soofi S (30B) — bije benchmarki Hacker News · 8d temu 💻 Technologia GigaToken przyspiesza tokenizację modeli językowych nawet 1000-krotnie Hacker News · 2d temu 💻 Technologia Jak kontrolować wysiłek rozumowania w dużych modelach językowych Hacker News · 4d temu 🔬 Nauka Duże modele językowe przewidują wyniki eksperymentów nauk społecznych równie dobrze jak ludzie Nature · 16d temu 💻 Technologia Cena za milion tokenów to mylący wskaźnik kosztów AI Hacker News · 17d temu 💻 Technologia Rozproszenie informacji osłabia kompresję wiedzy w małych modelach językowych Hacker News · 20d temu