AI, które działa mimo ograniczeń

Nasz Principal Engineer dołączył do międzynarodowego zespołu rozwijającego narzędzie do kompilacji modeli AI. Projekt realizowany był w ramach centrum R&D globalnej firmy technologicznej, a jego celem było umożliwienie uruchamiania modeli językowych (LLM) na urządzeniach o ograniczonych zasobach obliczeniowych.

‍

Zespół pracował w modelu wysokiej samodzielności – bez sztywno przypisanego backlogu, co dawało przestrzeń do własnych analiz i technicznego wkładu.

Już na początku współpracy specjalista zauważył potencjalny obszar ryzyka – działanie operatora Softmax, odpowiedzialnego za przeliczanie wyników modelu AI na rozkład prawdopodobieństwa.

W przeszłości Softmax był wykorzystywany głównie na końcu modeli klasyfikacyjnych (np. rozpoznających obrazy). Dziś pełni kluczową rolę również w nowoczesnych modelach językowych – m.in. w architekturach typu transformer, gdzie odpowiada za analizę zależności między słowami.

Na urządzeniach z ograniczoną mocą obliczeniową operator musiał działać w wersji skwantyzowanej, czyli uproszczonej numerycznie. Taka forma obliczeń wiązała się z utratą precyzji, co wpływało na jakość wyników generowanych przez modele.

Zamiast czekać na przypisane zadanie, Principal Engineer sam przeanalizował sposób działania Softmaxa w wersji kwantyzowanej. Zidentyfikował, w jakich warunkach pojawia się niedokładność i jak wpływa ona na końcowe wyniki modeli, szczególnie w przypadku urządzeń embedded.

Na podstawie własnych obserwacji i testów opracował alternatywną wersję działania komponentu Softmax, która:

• zwiększała precyzję wyników w środowisku kwantyzowanym,
• nie przekraczała dostępnych zasobów sprzętowych,
• mogła być zastosowana w istniejącej architekturze bez potrzeby jej przebudowy.

Przez długi czas nie było pewności, czy komponent zostanie wykorzystany – ale specjalista kontynuował rozwój rozwiązania, uznając je za potencjalnie istotne. Finalnie został on zintegrowany z głównym strumieniem rozwoju projektu.

Usprawniony Softmax stał się realnym wsparciem w rozwoju modeli AI na urządzeniach o ograniczonych zasobach.

‍

Dzięki proaktywności i technicznej dociekliwości specjalisty projekt zyskał nie tylko gotowe rozwiązanie, ale też kierunek rozwoju oparty na przewidywaniu wyzwań, a nie tylko ich gaszeniu.

• Softmax to operator wykorzystywany w modelach językowych (LLM) m.in. do przekształcania wyników sieci neuronowej w rozkład prawdopodobieństwa.
• Na sprzęcie z ograniczoną mocą obliczeniową (low-power embedded devices) modele działają w trybie INT8 quantization, czyli operują na liczbach całkowitych w zakresie np. -127 do 128, zamiast na liczbach zmiennoprzecinkowych.
• Skutkiem kwantyzacji jest utarta precyzji – istotna zwłaszcza przy obliczeniach warunkujących kontekst i decyzje modelu.
• Nasz specjalista zaproponował i wdrożył nową implementację operatora Softmax z uwzględnieniem optymalizacji pod kątem: dokładności (poprawa wartości końcowych), działania w ograniczonym środowisku, możliwości dalszej integracji z architekturą kompilatora.
• Technologie wykorzystywane w projekcie obejmowały m.in. C++, Python, Qt, Node.js oraz obszary związane z Deep Learningiem i przetwarzaniem sieci neuronowych.