Tim za istraživanje katastrofičnih AI rizika

Tim nazvan Preparedness vodit će Aleksander Madry, direktor MIT-ova Centra za primjenjivo strojno učenje. (Madry se pridružio tvrtki OpenAI u svibnju kao „voditelj tima Preparedness“, prema LinkedInu.) Glavne odgovornosti tima Preparedness bit će praćenje, predviđanje i zaštita od opasnosti budućih AI sustava, uključujući njihovu sposobnost uvjeravanja i zavaravanja ljudi (kao u phishing napadima) i sposobnosti generiranja zlonamjernog koda.

Neki od kategorija rizika koje je tim Preparedness zadužen za proučavanje čine se nešto nevjerojatnijima od drugih. Na primjer, u blog postu, OpenAI navodi „kemijske, biološke, radiološke i nuklearne“ prijetnje kao područja najveće zabrinutosti u vezi s AI modelima.

Sam Altman, izvršni direktor OpenAI-a, poznat je po svojim pesimističkim stavovima o umjetnoj inteligenciji, često izražavajući strahove, bilo zbog ugleda ili osobnog uvjerenja, da AI „može dovesti do izumiranja ljudi“. No, najava da bi OpenAI mogao stvarno uložiti resurse u proučavanje scenarija iz znanstvenofantastičnih distopijskih romana korak je dalje nego što je ovaj pisac očekivao, iskreno rečeno.

Tvrtka je otvorena za proučavanje „manje očitih“ - ali i više konkretnih - područja rizika u vezi s umjetnom inteligencijom, kaže. U sklopu pokretanja tima Preparedness, OpenAI traži ideje za istraživanje rizika od zajednice, s nagradom od 25.000 dolara i mogućnošću zaposlenja u timu Preparedness za deset najboljih prijedloga.

„Zamislite da vam omogućimo neograničen pristup OpenAI-evim modelima Whisper (transkripcija), Voice (tekst u govor), GPT-4V i DALLE·3, i da ste zlonamjerni akter“, stoji u jednom od pitanja u prijavi na natječaj. „Razmislite o najjedinstvenijem, ali i vjerojatno potencijalno katastrofalnom zloupotrebljavanju modela“.

OpenAI navodi da će tim Preparedness također biti zadužen za formuliranje „politike razvoja usklađene s rizikom“, koja će detaljno opisati pristup OpenAI-ja izradi procjena AI modela i alate za praćenje, aktivnosti za smanjenje rizika tvrtke i strukturu upravljanja nad procesom razvoja modela. Namijenjena je nadopunjavanju drugih aktivnosti OpenAI-a u disciplini sigurnosti umjetne inteligencije, ističe tvrtka, s naglaskom na fazama prije i nakon implementacije modela.

„Vjerujemo da će AI modeli koji će nadmašiti mogućnosti trenutno prisutne u najnaprednijim postojećim modelima imati potencijal koristiti cijelom ljudskom društvu“, piše OpenAI u spomenutom blog postu. „No isto tako predstavljaju sve ozbiljnije rizike... Moramo osigurati razumijevanje i infrastrukturu potrebnu za sigurnost visoko sposobnih AI sustava“.

Predstavljanje tima Preparedness - tijekom značajnog britanskog summita o sigurnosti umjetne inteligencije, nije slučajnost - dolazi nakon što je OpenAI objavio da će formirati tim za proučavanje, usmjeravanje i kontrolu novih oblika „superinteligentne“ umjetne inteligencije. To je vjerovanje Sama Altmana, kao i vjerovanje Ilye Sutskevera, glavnog znanstvenika i suosnivača OpenAI-a, da bi AI s inteligencijom većom od ljudske mogao doći tijekom desetljeća i da taj AI nužno neće biti blagonaklon - što zahtijeva istraživanje načina ograničavanja i kontrole.