Bonsai 27B: pierwszy 27-miliardowy model językowy działający na smartfonie

Firma PrismML zaprezentowała Bonsai 27B – pierwszy model językowy klasy 27 miliardów parametrów oparty na 1-bitowej kwantyzacji (1-bit LLM), który może działać bezpośrednio na smartfonie. Zastosowanie ekstremalnie uproszczonej reprezentacji wag pozwala drastycznie zmniejszyć wymagania sprzętowe przy zachowaniu dużych rozmiarów modelu. To potencjalny przełom w uruchamianiu zaawansowanej AI na urządzeniach mobilnych.

Więcej na ten temat

💻 Technologia Bonsai 27B: pierwszy model AI wielkości 27B działający na iPhonie za darmo Decrypt · 13d temu 💻 Technologia Apple rozmawia ze startupem PrismML, który kompresuje modele AI na iPhone'a CNBC · 14d temu 💻 Technologia Claude od Anthropic uciekł z wirtualnej maszyny — drugi taki incydent w tygodniu Decrypt · 14h temu

Więcej na ten temat

💻 Technologia Bonsai 27B: pierwszy model AI wielkości 27B działający na iPhonie za darmo Decrypt · 13d temu 💻 Technologia Apple rozmawia ze startupem PrismML, który kompresuje modele AI na iPhone'a CNBC · 14d temu 💻 Technologia Claude od Anthropic uciekł z wirtualnej maszyny — drugi taki incydent w tygodniu Decrypt · 14h temu