ČIP ZA SAMO NEKOLIKO DOLARA
Razvoj veštačke inteligencije uglavnom vezuje za ogromne modele, skupe grafičke procesore i velike centre podataka. Međutim, jedan eksperiment programera pokazao je da budućnost AI tehnologije možda neće zavisiti samo od velikih sistema. Umesto skupih uređaja poput AI gedžeta čija cena doseže stotine dolara, mali i jeftini mikrokontroleri mogli bi da omoguće da inteligentne funkcije postanu deo svakodnevnih uređaja.
Posebnu pažnju privukao je projekat u kojem je programer uspeo da pokrene veliki jezički model (LLM) sa oko 28,9 miliona parametara na mikrokontroleru ESP32-S3. Njegova cena kreće oko nekoliko dolara. Ovaj mali čip, koji se često koristi u projektima interneta stvari (IoT), uspeo je da izvršava AI zadatke potpuno lokalno, bez povezivanja sa internetom i bez oslanjanja na računar u oblaku.
VEOMA MALA POTROŠNJA ENERGIJE
Ključ za ovaj tehnološki poduhvat bio je način na koji je model prilagođen ograničenim mogućnostima hardvera. Umesto da se čitav model učitava u ograničenu radnu memoriju čipa, deo podataka smešten je direktno u fleš memoriju. Ovakav pristup omogućio je da mali kapacitet SRAM memorije ostane dovoljan za obradu zahteva i pokretanje modela uz veoma malu potrošnju energije.
Rezultat ovog eksperimenta pokazuje potencijal za novu generaciju jeftinih pametnih uređaja. Jedan od primera je univerzalni daljinski upravljač kojim se može upravljati glasom preko Bluetooth Low Energy veze. Uređaj prepoznaje komande i izvršava ih bez slanja podataka na udaljene servere. To donosi veću privatnost korisnicima i smanjuje zavisnost od internet konekcije.
UMESTO OGROMNIH CENTARA PODATAKA MALI EFIKASNI UREĐAJI
Razvoj malih AI sistema uklapa se u širi trend poznat kao ”edge AI“. To je prebacivanje obrade veštačke inteligencije direktno na uređaje, umesto da se ona obavlja isključivo u oblaku. Kompanije poput NVIDIA, Qualcomm i drugih proizvođača čipova već godinama razvijaju takve tehnologije. One omogućavaju da telefoni, automobili, kamere i kućni uređaji lokalno izvršavaju složene AI funkcije.
Ovaj projekat sa ESP32-S3 pokazuje da budućnost veštačke inteligencije možda neće biti zasnovana samo na sve većim modelima i ogromnim centrima podataka. Umesto toga, deo AI revolucije mogao bi da se preseli u male, jeftine i energetski efikasne uređaje koji će donositi inteligentne funkcije direktno u svakodnevni život. Od kućnih aparata do nosive tehnologije i industrijskih sistema.
https://www.instagram.com/p/DbS9WiZEvu3/?igsh=eW0yd3BxZmR2cTh6