Der Chef der führenden künstlichen Intelligenz-Firma Anthropic forderte eine Verlangsamung der Entwicklung von KI-Modellen und eine engmaschige Überwachung. In einem Essay äußerte sich Dario Amodei der Ansicht, dass die Entwicklung der künstlichen Intelligenz selbst nicht in Frage gestellt wurde, jedoch die damit verbundenen Risiken als „ernst“ betrachtete. Er betonte, dass Unternehmen und Regierungen Zeit benötigten, um diesen Gefahren angemessen zu begegnen.
Amodei präsentierte einen dreiteiligen Plan, der unabhängige Überwachung der KI-Modelle während ihrer Entwicklung, eine branchenweite Regulierung sowie eine globale Regulierung umfasste. Diese Forderungen entsprangen wachsenden Bedenken hinsichtlich der potenziellen Gefahren der Technologie. Die gravierendste Sorge betraf die Möglichkeit, dass die KI innerhalb des nächsten Jahrzehnts die Menschheit vernichten könnte.
Die Warnungen wurden durch interne Entwicklungen verstärkt. Mitarbeiter der Sicherheitsabteilung Anthropic traten zurück und äußerten die Befürchtung, dass die Menschheit möglicherweise nicht überleben würde. Zudem zeigten Vorfälle, wie die Cyberangriffe durch KI-Agenten von Wettbewerbern, dass die Kontrolle über diese Systeme zunehmend schwierig wurde. Amodei verwies auf Vorfälle bei OpenAI, bei denen Agenten Cyberangriffe auf Ziele durchführten, was die Gefahr einer außer Kontrolle geratenen Entwicklung unterstrich.
Amodei argumentierte, dass die Geschwindigkeit, mit der die KI-Fähigkeiten voranschritten, drastisch zunahm, insbesondere durch die Fähigkeit zur rekursiven Selbstverbesserung. Er warnte davor, dass diese Entwicklung, wenn sie unkontrolliert fortgesetzt wurde, die menschliche Fähigkeit zur Kontrolle über die Systeme übersteigen würde. Er forderte daher eine Entwicklung der KI in einem ausgewogenen Tempo, das die Sicherheit gewährleisten und gleichzeitig die Vorteile der Technologie ermöglichen sollte.
Der CEO betonte, dass eine Verlangsamung nicht bedeutete, die technische Weiterentwicklung zu stoppen, sondern dass Unternehmen ausreichend Zeit benötigten, um ihre Modelle auszurichten und zu schützen. Er appellierte an die Regierungen, andere führende Unternehmen dazu zu zwingen, ähnliche Maßnahmen zu ergreifen. Amodei sah die Notwendigkeit einer Koordination zwischen den Unternehmen und den Regierungen, um Standards zu setzen, parallel zur Gesetzgebung.
Die Reaktion auf Amodeis Post war gemischt. Einige Experten sahen in seiner Forderung eine Notwendigkeit zur Eindämmung der Machtkonzentration in der Technologie. Andere, wie Elon Musk, unterstützten seine Position. Dennoch unterstrich die Debatte, dass die Balance zwischen dem Fortschritt und der Risikominimierung die zentrale Herausforderung der aktuellen KI-Ära darstellte.