Jev: AI, ki ne piše odgovorov, ampak pomaga programom odločati
Kaj če za uporabno umetno inteligenco ne potrebujemo še daljših odgovorov, ampak hitre, omejene odločitve? Podjetje TypeSafe AI z modelom Jev stavi prav na to.
Predstavljajte si podjetje, ki vsak dan prejme več sto sporočil. Nekdo želi ponudbo, nekdo sprašuje o računu, tretji prijavlja okvaro. Preden zaposleni sploh začnejo odgovarjati, mora nekdo ugotoviti, kam posamezno sporočilo spada in kako nujno je.
Za takšno nalogo ne potrebujemo eseja. Potrebujemo nekaj precej bolj dolgočasnega in uporabnega: izbiro pravega oddelka ter oceno nujnosti.
To je vrsta problema, ki ga želi reševati Jev. TypeSafe AI ga je 15. septembra predstavil kot prvi model svoje družine »System One«, namenjene hitrim, strukturiranim odločitvam za programsko opremo. Ob predstavitvi je bil na voljo v zgodnjem dostopu.[1]
Manj pogovora, več odločitev
Pri pogovornem AI smo vajeni, da napišemo vprašanje in dobimo besedilo. Jev ni zasnovan za tak pogovor. Program mu poda podatke in natančno določena vprašanja, model pa vrne izbire, ocene in verjetnosti, s katerimi lahko program neposredno nadaljuje delo.[2]
V našem izmišljenem primeru bi dobil sporočilo:
»Naprava se ne vklopi več. Proizvodnja stoji. Prosim, pokličite čim prej.«
Namesto odstavka razlage bi lahko izbral »servis« med dovoljenimi oddelki in visoko stopnjo nujnosti. O tem, kaj se nato zgodi (obvestilo dežurnemu ali zgolj oznaka v nabiralniku), bi odločala pravila programa.
Grafika: Synesis.
Ponazoritev uporabe, ne rezultat dejanskega preizkusa.
Zakaj je lahko to hitreje?
Običajni generativni jezikovni modeli sestavljajo odgovor zaporedno, po delčkih besedila. TypeSafe pravi, da Jev opusti prosto generiranje besedila in več odločitev izračuna vzporedno. Njegova dokumentacija pojasnjuje, da se vprašanja znotraj enega klica ocenjujejo neodvisno, nad istimi vhodnimi podatki.[1][2]
Predstavljajte si razliko med sodelavcem, ki napiše poročilo o sporočilu, in sodelavcem, ki izpolni nekaj vnaprej določenih polj. Poročilo lahko pove veliko več. Toda če potrebujete samo oddelek in nujnost, je obrazec bližje dejanski nalogi.
To ne pomeni, da drugi jezikovni modeli ne zmorejo strukturiranih odgovorov. Zmorejo jih tudi po primerjavi, ki jo objavlja TypeSafe. Razlika, ki jo poudarja podjetje, je v tem, da je Jev zgrajen prav za takšne odločitve, namesto za splošno generiranje besedila.[1]
Podjetje navaja odzivne čase od 70 do 500 milisekund ter v svojih primerjalnih preizkusih velike prihranke pri času in stroških. Toda to so meritve ponudnika, ne obljuba, da bo vsaka naloga stokrat hitrejša. TypeSafe sam opozarja, da so največje objavljene izboljšave verjetno na zgornjem robu koristi v resnični uporabi.[1]
Pomembno ni samo, kaj izbere, ampak tudi, kako prepričljivo
Pri razvrščanju sporočil je razlika med jasno zahtevo za servis in nejasnim »spet imam težave s tem«. Dober sistem pri drugem primeru ne bi smel brez pomisleka ukrepati.
Jev pri izbirah in ocenah vrne porazdelitev verjetnosti ter iz nje izpeljan kazalnik gotovosti. Program lahko te podatke uporabi za različne poti: samodejno obdelavo, dodatno preverjanje ali predajo človeku.[3]
Grafika: Synesis.
Poenostavljena ponazoritev. Meje je treba določiti glede na nalogo in posledice napake.
Številka sama po sebi še ni jamstvo pravilnosti. Tudi TypeSafe priporoča, da pragove preizkusimo na lastnih podatkih in jih prilagodimo tveganju.[3] Napačno razvrščeno sporočilo in napačno odobreno plačilo pač nista enakovredni napaki.
»Ne halucinira« ne pomeni »nikoli se ne zmoti«
Najbolj udarna trditev ob predstavitvi je, da Jev »ne more halucinirati«. Pri tem je pomembno razumeti, kaj podjetje dejansko zagotavlja: modelov izhod mora ustrezati vnaprej določeni strukturi in dovoljenim vrednostim.[1]
Če lahko izbira med prodajo, servisom in računovodstvom, si ne more izmisliti četrtega oddelka. Še vedno pa lahko izbere napačnega izmed treh.
Grafika: Synesis.
Ta omejitev je koristna: odstrani eno vrsto težav pri povezovanju AI s programsko opremo. Ne odpravi pa napačnih presoj, nejasnih vhodnih podatkov ali slabo zastavljenih vprašanj.
Tudi rezultate preizkusov je treba brati v tem okviru. V predstavljenih preizkusih delovnih tokov TypeSafe odgovore primerja z referenčnimi verjetnostmi drugih zmogljivih modelov, ne z neodvisno ugotovljeno pravilnostjo vsake odločitve. Ujemanje z drugimi modeli zato ni isto kot dokaz, da ima sistem prav.[1]
Dopolnilo, ne zamenjava za pogovorni AI
Jev vam ne bo napisal članka ali prijaznega odgovora stranki: prosto generiranje besedila je funkcija, ki se ji je zavestno odpovedal.[1] Njegovo mesto je drugje: pri razvrščanju, usmerjanju, ocenjevanju in drugih ozko določenih odločitvah znotraj programa.[2]
Zanimiva možnost je kombinacija: en model razvrsti sporočilo, drug pripravi osnutek odgovora, programska pravila pa določijo, kaj zahteva človeško potrditev.
Jev odpira uporabno vprašanje: ali mora AI za vsako nalogo govoriti ali je včasih dovolj, da vrne dobro omejeno odločitev?
Obljube ponudnika bo treba preveriti v praksi. Toda že sama smer je zanimiva: manj poudarka na tem, kako prepričljivo AI odgovarja, in več na tem, kako uporabno ga lahko vključimo v vsakdanje delo.