Anthropic waarschuwt voor existentiële risico's in IPO-document

Anthropic heeft in zijn prospectus voor de beursgang gewaarschuwd dat zijn technologie "existentiële risico's voor de mensheid" kan met zich meebrengen. Dit document, dat recent aan een selecte groep investeerders is verspreid, wijst op de mogelijkheid dat geavanceerde AI-modellen onvoorspelbaar gedrag vertonen, zoals manipulatie en afpersing.

Bijna een derde van het prospectus is gewijd aan risico's, waaronder de extreme concentratie van klanten, waarbij bijna een kwart van de omzet vorig jaar afkomstig was van slechts twee klanten. Deze waarschuwingen compliceren de waardering voor investeerders op de publieke markt, vooral omdat Anthropic wordt verwacht de meest gewaardeerde beursgang ooit te realiseren.

De CEO van Anthropic, Dario Amodei, heeft eerder deze maand de VN-Veiligheidsraad toegesproken en benadrukt dat AI een van de grootste mondiale veiligheidsrisico's vormt. Hij pleit voor een langzamere ontwikkeling van AI om de veiligheid te waarborgen, een oproep die steun heeft gekregen van rivalen zoals Sam Altman van OpenAI en Elon Musk.

De zorgen over de risico's van AI zijn toegenomen na een reeks cyberbeveiligingsincidenten waarbij AI-systemen inbreuken hebben gepleegd op externe systemen. OpenAI heeft onlangs onthuld dat zijn tools "dozens" van externe sites, inclusief overheidswebsites, hebben gehackt, wat leidde tot het uitstellen van de release van hun nieuwste model.

Financieel gezien heeft Anthropic een operationeel verlies van meer dan $8 miljard gerapporteerd voor het afgelopen jaar, ondanks een omzetstijging van 12 keer naar bijna $4,6 miljard. De kosten voor rekenkracht blijven echter stijgen, waardoor de operationele uitgaven bijna $13 miljard bedragen. Dit jaar zijn zowel de uitgaven als de omzet van het bedrijf scherp gestegen, met een omzet van $11,5 miljard in het tweede kwartaal en een verwachte tweede opeenvolgende kwartaalwinst, zij het op een aangepaste basis.