MODEL NA RAČUNARU IZ 1998. GODINE
Razvoj veštačke inteligencije uglavnom povezuje sa ogromnim data centrima i skupim grafičkim procesorima. Ipak, jedan eksperiment pokazao je potpuno drugačiju sliku. Programerka Madi Riz uspela je da pokrene mali jezički model na originalnom iMac G3 računaru iz 1998. godine. Sa svega 32 MB RAM memorije i procesorom PowerPC 750 na 233 MHz. Model je radio lokalno, bez cloud infrastrukture tokom generisanja odgovora.
Ipak, važno je precizirati šta ovaj eksperiment zapravo dokazuje. Nije reč o modernom AI asistentu sposobnom da obavlja složene zadatke. Reč je o veoma malom modelu TinyStories sa oko 260.000 parametara. Njegov fajl je veličine približno jednog megabajta. Model je namenjen generisanju kratkih nastavaka jednostavnih priča. Zato njegovi rezultati ne mogu da se porede sa mogućnostima današnjih velikih jezičkih modela.
KAKO JE TO UOPŠTE MOGUĆE?
Da bi eksperiment uspeo, bilo je potrebno prilagoditi savremeni kod tehnologiji staroj gotovo tri decenije. Projekat je zasnovan na pristupu llama2.c. Model i tokenizer morali su da budu prilagođeni PowerPC arhitekturi i njenom drugačijem načinu zapisivanja podataka. Aplikacija je napravljena za Classic Mac OS i na računaru obrađuje tekst lokalno. Bez potrebe da se sam proces generisanja odgovora oslanja na udaljeni server.
Ograničenja starog sistema bila su ozbiljna. Mac OS 8.5 je aplikacijama podrazumevano dodeljivao veoma malo memorije. S druge strane, standardni način prikaza rezultata pravio je probleme. Generisani tekst upisivan u fajl koji se potom otvara u programu SimpleText. Autorka projekta navodi da je dodatno morala da prilagodi način upravljanja memorijom. Tako bi model mogao da radi u samo 32 MB RAM-a.
ZAŠTO JE EKSPERIMENT VAŽAN?
Ovakav projekat ne znači da će veliki AI data centri uskoro postati nepotrebni. Naprotiv, savremeni modeli sa milijardama parametara zahtevaju neuporedivo snažniji hardver. Međutim, eksperiment pokazuje koliko drastično smanjenje modela, optimizacija koda i prilagođavanje hardveru mogu da promene granice onoga što je moguće pokrenuti lokalno. U ovom slučaju, model je toliko mali da može da stane u računar sa samo 32 MB memorije.
Posebno zanimljiv podatak jeste da je autorka kasnije izmerila brzinu od oko 14,24 tokena u sekundi na tom iMac-u. Iako se radi o modelu veoma ograničenih mogućnosti. To je pre svega dokaz koncepta, a ne konkurencija savremenim AI sistemima. Ipak, pokazuje da budućnost veštačke inteligencije ne mora nužno da znači samo sve veće modele i moćnije servere. Deo razvoja ide i u suprotnom smeru, ka manjim modelima koji mogu da rade direktno na uređajima. Čak i kada su oni po današnjim standardima odavno zastareli.
View this post on Instagram
