Novi sistem omogućava optimizovano treniranje modela do 13 milijardi parametara na mobilnim uređajima, uz 77,8% manju VRAM potrošnju
Tether, izdavač najvećeg stablecoina USDT po tržišnoj kapitalizaciji, lansirao je inovativni AI framework koji omogućava treniranje i fino podešavanje velikih jezičkih modela (LLM) na potrošačkoj elektronici, uključujući pametne telefone i GPU proizvođača kao što su AMD, Intel i Apple Silicon. Ovaj sistem deo je QVAC platforme i koristi BitNet arhitekturu kompanije Microsoft, kao i LoRA tehnike za smanjenje zahteva za memorijom i procesorskom snagom, čime se značajno snižavaju barijere za razvoj naprednih AI rešenja van tradicionalnih Nvidia GPU okruženja.
Prema zvaničnom saopštenju, framework omogućava treniranje modela sa do 1 milijarde parametara na pametnim telefonima za manje od dva sata, dok se manji modeli mogu obraditi za svega nekoliko minuta. Takođe, podržano je i treniranje većih modela sa do 13 milijardi parametara na mobilnim uređajima, što predstavlja značajan iskorak u dostupnosti AI infrastrukture širem spektru korisnika i developera.
BitNet, kao 1-bitna model arhitektura, omogućava redukciju VRAM zahteva i do 77,8% u poređenju sa klasičnim 16-bitnim modelima, prema podacima kompanije. Time se omogućava izvršavanje i treniranje većih modela na ograničenom hardveru, uključujući i mobilne GPU kao što su Qualcomm i Apple. LoRA fine-tuning je sada omogućen i na ne-Nvidia hardveru za 1-bitne modele, što dodatno proširuje dostupnost AI razvoja.
Performanse frameworka su optimizovane i za inferencu, pa BitNet modeli na mobilnim GPU rade višestruko brže nego na CPU, prema Tether-ovim inženjerima. Nova tehnologija može omogućiti razvoj AI aplikacija sa lokalnim treniranjem i federisanim učenjem, gde ažuriranje modela može biti distribuirano na više uređaja bez slanja podataka na centralizovane servere, čime se smanjuje oslanjanje na cloud infrastrukturu.
Ovaj potez Tether-a deo je šireg trenda gde kripto kompanije šire poslovanje u segment AI infrastrukture i visokoperformansnog računarstva. U poslednjih godinu dana, sektor rudarenja Bitcoina i infrastrukturnih servisa beleži sve veće investicije i partnerstva u oblasti AI i autonomnih agenata, dok se celokupno tržište okreće ka sinergiji blockchain i veštačke inteligencije.
