Deweloper uruchomił mały model językowy na mikrokontrolerze za 40 zł

Programista znany jako slvDev uruchomił model językowy o 28,9 mln parametrów na mikrokontrolerze ESP32-S3 kosztującym ok. 40 zł. Model generuje tekst w stylu TinyStories z prędkością 9,88 tokena na sekundę, całkowicie offline, korzystając głównie z pamięci flash zamiast RAM. Projekt esp32-ai jest dostępny na GitHubie na licencji MIT i zebrał ponad 3600 gwiazdek.

Podobne artykuły

💻 Technologia Firmy AI skupują w Polsce setki tysięcy starych książek do trenowania modeli Rzeczpospolita · 10h temu 💻 Technologia GPT-6 może pojawić się na początku września — OpenAI pokazuje możliwości modelu „Astra" AntyWeb · 1d temu 💻 Technologia Reddit wprowadza AI do moderacji — algorytm oceni, czy post łamie zasady Android Authority · 2d temu