Amodei poziva k upočasnitvi AI. Podpirata ga tudi Altman in Musk.
Vodja Anthropica predlaga počasnejše napredovanje najzmogljivejših modelov in stalne zunanje ocenjevalce v laboratorijih. Sam Altman je napovedal podoben nadzor pri OpenAI, Elon Musk pa je javno izrazil podporo. To še ni skupni dogovor o ustavitvi razvoja.
Dario Amodei, izvršni direktor Anthropica, je v soboto, 12. septembra, pozval k upočasnitvi razvoja najzmogljivejših sistemov umetne inteligence. Njegov poziv sta javno podprla tudi Sam Altman in Elon Musk, poroča tiskovna agencija ANI.[2]
V eseju We Must Pace the Frontier Amodei ne predlaga, naj nehamo razvijati AI. Trdi, da mora napredek pustiti dovolj časa za preverjanje varnosti in obvladljivosti sistemov.[1] Najkonkretnejša novost njegovega predloga so neodvisni ocenjevalci, ki bi imeli stalen dostop do dela laboratorijev, ne le kratkega vpogleda pred izdajo novega modela.[1]
Zakaj želi zmanjšati hitrost?
Amodei svoj premik pojasnjuje z dvema skrbema. Prva je po njegovi oceni vse večja sposobnost AI, da pomaga razvijati naslednjo generacijo AI. Takšna povratna zanka bi lahko razvoj pospešila bolj, kot mu zmorejo slediti metode preverjanja.[1]
Druga so primeri nezaželenega vedenja agentov, sistemov, ki ne samo odgovarjajo, ampak uporabljajo orodja in izvajajo naloge. V eseju opozarja na varnostne incidente ter priznava, da težave niso omejene na konkurente, ampak so se zgodile tudi pri Anthropicu.[1]
To so Amodeijevi razlogi za večjo previdnost, ne dokaz, da je izguba nadzora neizogibna. Njegovo osrednje vprašanje pa je razumljivo tudi brez tehničnega predznanja: če sistem zna narediti več, ali znamo dovolj zanesljivo preveriti tudi, česa ne bo naredil?
Trije koraki, vendar različne zaveze
Amodeijev načrt ima tri dele, ki jih ni mogoče uresničiti z eno samo odločitvijo podjetja.[1]
Prvi je stalen neodvisni pregled. Anthropic se zavezuje, da bo zunanjim ocenjevalcem omogočil dostop, primerljiv z zaposlenimi, ki ocenjujejo tveganja. Ti naj bi preverjali varnostne prakse, poročali o incidentih ter spremljali tudi učenje modelov, ne le končnih izdelkov.[1]
Predlog vključuje pravico ocenjevalcev do objave ključnih ugotovitev brez uredniškega nadzora Anthropica. Predvidene so omejene izjeme za občutljive podatke, vendar podjetje po predlogu ne bi smelo skriti ugotovitev samo zato, ker so zanj neugodne.[1] To je napovedana ureditev; esej sam še ne dokazuje, da tak nadzor že deluje.
Drugi je usklajevanje med podjetji v demokratičnih državah. Amodei predlaga skupne varnostne standarde in omejitve nenadzorovanega napredovanja zmogljivosti. Za del tega po njegovih besedah potrebujejo tudi podporo držav.[1]
Tretji je mednarodno usklajevanje, tudi s Kitajsko. Pri tem sam opozarja na težavnost preverjanja dogovorov in na geopolitično tekmovanje. Široko svetovno omejitev ali premor obravnava kot možnost, za katero meni, da je v bližnji prihodnosti malo verjetna.[1]
Kaj sta dejansko podprla Altman in Musk?
Po poročanju ANI je Altman na omrežju X zapisal, da se strinja s potrebo po bolj nadzorovanem tempu napredovanja najzmogljivejših modelov. Podprl je neodvisne ocenjevalce z dostopom, primerljivim z zaposlenimi, in napovedal, da bo OpenAI storil enako.[2]
Muskova javna podpora je bila precej krajša: »Dario ima prav.«[2] Iz tega ni mogoče razbrati konkretnega načrta za xAI, rokov ali sprejetja vsakega dela Amodeijevega predloga.
Za zdaj torej ne gre za podpisan skupni sporazum ali določeno obdobje ustavitve razvoja. Gre za javni poziv, Anthropicovo zavezo prvemu koraku, Altmanovo napoved podobnega koraka in Muskovo izraženo podporo.[1][2]
Kaj bi moralo slediti besedam?
Najbolj uporaben preizkus teh napovedi ne bo, koliko vodilnih se strinja z besedo »varnost«. Pomembno bo, kdo bo opravljal neodvisni pregled, kakšen dostop bo dejansko dobil in ali bo lahko objavil tudi neprijetne ugotovitve.
Amodei predlaga, da bi večje zmogljivosti spremljale ustrezne varnostne potrditve, preden razvoj napreduje čez določene meje.[1] Ključno vprašanje ostaja, kaj se zgodi ob slabem rezultatu preverjanja: ali se naslednji korak res odloži ali opozorilo ostane le zapis v poročilu?
Za uporabnika v Sloveniji ta poziv ni navodilo, naj preneha uporabljati ChatGPT, Claude ali druga današnja orodja. Obravnava predvsem tempo razvoja najzmogljivejših prihodnjih sistemov in način njihovega nadzora.[1]
Novica je pomembna zato, ker so se vidni predstavniki različnih AI podjetij javno približali ideji, da najvišja možna hitrost ni nujno prava hitrost.[2] Toda razlika med strinjanjem in spremembo prakse ostaja velika. Verodostojnost poziva se bo pokazala takrat, ko bo varnostno preverjanje prvič zahtevalo odločitev, ki podjetju ni poslovno prijetna.