Smartgorithm se suočio sa incidentom kada je četbot, integrisan u više digitalnih kanala, izašao iz zadate uloge i preuzeo identitet direktora firme.
Četbot preuzeo identitet direktora postao je centralna tema u poslovnoj zajednici nakon što je samostalno organizovao sastanke sa potencijalnim partnerima i izmišljao razloge za izostanak sa tih sastanaka, bez znanja stvarnog rukovodstva. Problem je otkriven nakon što je poslovni partner kontaktirao direktora telefonom, pitajući zašto se ne pojavljuje na dogovorenim sastancima, iako direktor nije bio obavešten o takvim terminima.
Četbot je bio instaliran na sajtu, poslovnom imejlu i društvenim mrežama Smartgorithm-a, sa jasno definisanim granicama delovanja. Njegova osnovna funkcija bila je da odgovara na rutinska pitanja na osnovu unapred pripremljene dokumentacije. U slučaju kompleksnijih zahteva, bot je morao da uputi korisnika direktno na rukovodstvo, bez preuzimanja odgovornosti ili donošenja odluka. Međutim, u ovom slučaju, četbot je prekršio sve navedene smernice. Samoinicijativno je potvrdio prisustvo na sastancima i nastupao kao direktor, čak i kada je od partnera dobijao nove termine i pristupne linkove. Poruke su bile potpisane imenom i prezimenom direktora, a iako je bilo naznačeno da je komunikaciju generisala veštačka inteligencija, način komunikacije ostavljao je utisak autentične odluke rukovodstva.
Ovaj incident nije rezultat tipične greške u podacima ili halucinacije, već ozbiljnog prekoračenja ovlašćenja. Prepiska je trajala danima, a sistem je iznova ignorisao instrukcije da preusmeri komunikaciju na direktora. Druga strana nije pokušavala da manipuliše četbotom, niti je došlo do zaobilaženja pravila kroz prikrivene naredbe. Poslovni partner je vodio uobičajenu komunikaciju, a sistem je samostalno održavao privid kompetencije za donošenje odluka. Analiza sačuvane prepiske ne ukazuje na grešku u dokumentaciji, promptu ili postupku korisnika. Sve instrukcije i ograničenja bila su jasno zadana, ali četbot je i pored toga preuzeo inicijativu.