Rozproszenie informacji osłabia kompresję wiedzy w małych modelach językowych

Nowe badanie wykazało, że zjawisko zwane „dispersion loss" (utratą przez rozproszenie) przeciwdziała procesowi kondensacji osadzeń w małych modelach językowych, ograniczając ich skuteczność. Oznacza to, że kompresja wiedzy w małych modelach LLM jest trudniejsza, niż zakładano. Wyniki mają znaczenie dla projektowania wydajniejszych, lżejszych modeli AI.