Riskerna med AI-utvecklingen underskattas grovt_[Olle Häggström_GP-260406

​Olle Häggström:

AI-utvecklingen drivs fram i konkurrens mellan företag som mot bättre vetande inte tar tillräcklig hänsyn till att de riskerar skapa en dödsmaskin som vi förlorar kontrollen över.

Mötet i Davos i januari dominerades av Donald Trumps geopolitiska nyckfullhet, men i skuggan av honom diskuterades ett annat ämne som ser ut att kunna bli än mer betydelsefullt för allas vår framtid. På plats fanns nämligen cheferna för två av världens tre ledande AI-utvecklare: Demis Hassabis från Google DeepMind, och Dario Amodei från Anthropic. Båda två har tidigare bekräftat att de inser att riskerna med den AI-teknologi de själva går i spetsen för är så långtgående att det hela mycket väl kan landa i mänsklighetens undergång, och i Davos var de eniga om hur önskvärt det vore om utvecklingen bromsades, så att reglering, säkerhet och samhällelig anpassning får en bättre chans att hinna ikapp. Ändå trycker de gasen i botten, eftersom de befinner sig i en inbördes kapplöpning som ingen av dem tycker sig ha råd att stiga av.

Att utvecklingen går rasande snabbt argumenterade jag för i min förra gästkrönika den 15/1. Både Hassabis och Amodei är på samma linje, och menar att vi är så pass nära den brytpunkt där AI självt kan börja driva utvecklingen framåt att uppkomsten av övermänskligt kompetent generell AI kan väntas inom några få år – kanske 2028 enligt Amodei, eller snarare 2035 om man tror mer på Hassabis.

Vad händer därefter? Den som tror att samhället i det läget kan väntas fortsätta ungefär som förut har inte tänkt igenom vad det innebär att skapa en ny entitet som petar ned människan till andra plats bland planetens mest intelligenta och kapabla arter. Som ett minimum kommer vi att ställas inför en total omstöpning av arbetsmarknaden i närvaro av en AI som kan utföra allt mänskligt arbete snabbare, billigare och bättre än vi själva, och vi behöver därför snarast finna svar på hur ett samhälle utan lönearbete lämpligen kan organiseras.

Frågan är dock om det ens är möjligt för människan att behålla kontrollen över sådan AI. En förutsättning för det är att vi löser det så kallade AI alignment-problemet, som handlar om att se till att de första riktigt kraftfulla AI-systemen har mål och drivkrafter i linje med våra egna och prioriterar mänsklig välfärd och blomstring. Ett teoretiskt ramverk för vad som annars är att vänta utvecklades under 00-talet och framåt av pionjärer som Eliezer Yudkowsky och den svenskfödde Nick Bostrom. Centralt i denna teori är så kallad instrumentell konvergens, som anger ett antal delmål som en tillräckligt avancerad AI kan väntas utveckla nästan oavsett dess slutliga avsikt. Hit hör sådant som självbevarelse och resursanskaffning, och det är lätt att inse hur illa ute mänskligheten skulle vara i en konflikt med en överlägset kapabel motståndare med obegränsad aptit på naturresurser.

Den teori som utarbetades var länge en renodlad abstraktion, i stort sett frikopplad från experimentella och andra data. Den situationen har nu raskt kommit att förändras genom experiment gjorda på moderna AI-system, utförda bland annat av Anthropic och av oberoende forskargrupper. Dessa tenderar att bekräfta de teoretiska förutsägelserna, och vi ser redan oroande tecken på strategiskt tänkande och självbevarelsedrift – som när en AI som kommit åt dokument om att den av säkerhetsskäl kommer att bytas ut om den visar sig alltför kapabel väljer att avsiktligt prestera under sin förmåga vid utvärdering.

Allt detta pekar mot hur illa ute vi är om vi skapar superintelligent AI utan att ha löst AI alignment. Flera faktorer bidrar dessvärre till att någon övertygande plan för AI alignment inte finns. En sådan är AI:s så kallade black box-egenskap – att inte ens AI-utvecklarna själva förstår vad som händer djupt inne i systemens neurala nätverk. Och relaterat: dagens AI-utveckling liknar odling och växtförädling mer än klassisk ingenjörskonst, vilket gör det långt svårare att få full kontroll över vad det är man skapar.

För att inte utsätta mänskligheten för oacceptabel risk behöver därför den utveckling som drivs av AI-bolag som Google DeepMind och Anthropic, jämte deras främste konkurrent OpenAI, bromsas. När deras ledare rycker på axlarna och säger att de sitter fast i sin kapplöpning, och när Trumpadministrationen i dagsläget är mindre intresserad av AI-reglering än av deportationer och Grönlandsfrågan, så är det upp till oss andra att sätta tryck på både Washington och Silicon Valley att agera mer ansvarfull