Anja Dahlmann / Elisabeth Hoffberger-Pippan / Lydia Wachs

Autonome Waffensysteme und menschliche Kontrolle

Konsens über das Konzept, Unklarheit über die Operationalisierung

SWP-Aktuell 2021/A 31, April 2021

Impressum

© Stiftung Wissenschaft und Politik, 2021

Alle Rechte vorbehalten

Das Aktuell gibt die Auffassung der Autorinnen wieder.

SWP-Aktuells werden intern einem Begutachtungsverfahren, einem Faktencheck und einem Lektorat unterzogen. Weitere Informationen zur Qualitätssicherung der SWP finden Sie auf der SWP-Website unter https://www. swp-berlin.org/ueber-uns/ qualitaetssicherung/

SWP

Stiftung Wissenschaft und Politik

Deutsches Institut für Internationale Politik und Sicherheit

Ludwigkirchplatz 3–4
10719 Berlin
Telefon +49 30 880 07-0
Fax +49 30 880 07-100
www.swp-berlin.org
swp@swp-berlin.org

ISSN (Print) 1611-6364

ISSN (Online) 2747-5018

doi: 10.18449/2021A31

Menschliche Kontrolle ist das zentrale Element, das ferngesteuerte, unbemannte Waffensysteme von sogenannten letalen autonomen Waffensystemen (LAWS) unterscheidet. Während ein recht breiter Konsens besteht, dass der Mensch auch weiterhin eine maßgebliche Rolle bei der Entscheidung über eine Tötung mit militärischen Mitteln haben muss, gibt es nach wie vor Unklarheit darüber, wie dieses Prinzip der menschlichen Kontrolle konkret ausgestaltet, sprich operationalisiert werden kann. Dies ist ein Grund, warum die internationalen Verhandlungen über LAWS stocken. Die ausbleibende Verständigung über ein Regelwerk hat Folgen für internationale Rüstungsprojekte wie das Future Combat Air System (FCAS), für die Vergabe von Geldern aus dem Europäischen Verteidigungsfonds (EDF) und für die Zusammenarbeit in der Nato. Deutschland kann die Operationalisierung des Grundsatzes der menschlichen Kontrolle sowohl national als auch international stärker vorantreiben.

Autonome Waffensysteme und menschliche Kontrolle

Konsens über das Konzept, Unklarheit über die Operationalisierung

Anja Dahlmann / Elisabeth Hoffberger-Pippan / Lydia Wachs

Tödliche Waffensysteme, bei denen der Mensch nicht über die Zielauswahl und die Art der Zielbekämpfung entscheidet, sogenannte LAWS, bringen rechtliche und ethische Probleme mit sich, denn bei ihrem Einsatz fehlt es an einer angemessenen menschlichen Kontrolle.

Zwar gibt es schon heute Waffensysteme, die automatisiert Ziele bekämpfen, zum Beispiel Nahbereichsverteidigungssysteme, die anfliegende Flugkörper abwehren. Hier hat jedoch vorab ein Mensch das Ziel hinreichend klar bestimmt, und die Waffe kann nur in einem sehr begrenzten Einsatzkontext verwendet werden.

Anders als bei bisherigen Verboten, beispielsweise Streumunition oder Brandwaffen, lassen sich LAWS nicht über eine Definition der Waffenkategorie regulieren, denn autonome Funktionen sind bei ganz unterschiedlichen Plattformen und in verteilten Systemen möglich. Auch das Kriterium der Technologie, die sich hinter diesen Funktionen verbirgt, eignet sich nicht gut für eine Verbotsdefinition, da sich die Technologie im Laufe der Zeit verändern wird und Schlagworte wie Künstliche Intelligenz (KI) selbst recht unbestimmt sind. Eine Lösung könnte die Formulierung des Internationalen Komitees vom Roten Kreuz (IKRK) bieten: Demnach sind autonome Waffensysteme (AWS) solche, bei denen in der Zielauswahl und -bekämpfung kein weiterer menschlicher Eingriff nötig ist. Ein AWS ist damit ein Waffensystem ohne menschliche Kontrolle in den kritischen Funktionen, nämlich der Zielauswahl und des damit einhergehenden Angriffs auf ein legitimes militärisches Ziel. Eine Regulierung von LAWS dürfte dementsprechend am ehesten über das Gebot menschlicher Kontrolle herbeizuführen sein, denn für die rechtliche und ethische Bewertung eines Waffensystems kommt es in erster Linie auf den Einfluss an, den der Mensch bei seiner Verwendung ausübt.

Grafik 1

Darüber, dass der Mensch eine gewisse Steuerungskompetenz behalten muss, sind sich in Deutschland wie auch international viele politische und militärische Akteure einig. Wie genau diese ausgestaltet sein kann und soll, ist aber umstritten. Die unterschiedlichen Vorstellungen sind ein Problem auch für das Beschließen nationaler Regelungen, da sich die Staaten angesichts der eher stockenden internationalen Entwicklung und der nach wie vor bestehenden Uneinigkeiten auch innerstaatlich zurückhalten und eine Regelung auf der internationalen Ebene abwarten wollen. Zudem stellen die unterschiedlichen Vorstellungen zur menschlichen Kontrolle auch ein Hindernis für die Interoperabilität von Verbündeten und für die Vereinbarung internationaler Rüstungskontrollregeln dar.

Zahlreiche Staaten entwickeln Waffensysteme mit autonomen Funktionen. Zum Teil fügen sich diese auch in neue Führungskonzepte ein. Sowohl innerhalb der EU als auch innerhalb der Nato werden gegenwärtig Systeme entwickelt, die eine Herausforderung für den Primat der menschlichen Kontrolle darstellen.

So haben sich Deutschland, Frankreich und Spanien noch nicht darüber verständigt, welche Anforderungen an autonome Funktionen im Future Combat Air System (FCAS) zu stellen bzw. welche Grenzen des selbständigen Agierens hier zu setzen sind. Innerhalb der Nato könnte es beispielsweise zu Konflikten kommen, wenn die USA in gemeinsamen Einsätzen stark automatisierte Operationen durchführten, die Deutschland für rechtlich und ethisch problematisch hält. Unterschiedliche Vorstellungen zum Wirkungsradius von AWS und fehlende Rüstungskontrollregeln könnten darüber hinaus Rüstungsdynamiken, etwa zwischen China, Russland und den USA, entfachen.

Die CCW als Kristallisationspunkt für die Debatte über menschliche Kontrolle

Die oben genannten Unklarheiten werden im Rahmen der Konvention über bestimmte konventionelle Waffen (Convention on Certain Conventional Weapons, CCW) besonders deutlich. Die Übereinkunft hat zum Ziel, Waffen, die übermäßige Leiden verursachen, zu beschränken oder zu verbieten. Seit 2014 sprechen Vertreterinnen und Vertreter der Vertragsstaaten und der Zivilgesellschaft dort auch über LAWS, seit 2017 in einer Gruppe von Regierungsexperten (Group of Governmental Experts, GGE), der alle CCW-Staaten angehören. Die deutsche Delegation besteht aus Repräsentanten und Repräsentantinnen des Verteidigungsministeriums und – federführend – des Auswärtigen Amtes.

Die GGE hat das Mandat, Elemente eines normativen und operativen Rahmenwerks zu erarbeiten, also einer Vorstufe zu einem rechtsverbindlichen CCW-Protokoll. Ob es zu einem neuen Protokoll kommt, ist noch offen und erscheint unter anderem angesichts der Opposition der USA und Russlands eher unwahrscheinlich (siehe Grafik 1).

Ein Baustein des Rahmenwerks sind die elf unverbindlichen Leitprinzipien, auf die sich die CCW-Staaten 2019 verständigt haben. In diesen Grundsätzen bekräftigen die Vertragspartner unter anderem die essentielle Rolle der Mensch-Maschine-Interaktion. Dies ist der Oberbegriff für verschiedene Konzepte, mit denen die GGE-Teilnehmerstaaten die Art des menschlichen Einflusses auf die Steuerung von Waffensystemen beschreiben. Derzeit sind die GGE-Treffen pandemiebedingt ausgesetzt, während Forschung und Entwicklung im Bereich KI und Autonomie voranschreiten. Umso wichtiger ist es, dass Deutschland die Pause nutzt, um seine Konzepte für eine Operationalisierung der menschlichen Kontrolle und für Regulierungsoptionen weiterzuentwickeln. Dies kann mit Blick auf die CCW geschehen, aber auch im Rahmen der Nato und der EU und auf nationaler Ebene.

Unterschiedliche Konzepte zur Mensch-Maschine-Interaktion in der GGE

Zahlreiche GGE-Mitglieder sprechen sich für die Verwendung des Konzepts der »(bedeutsamen) menschlichen Kontrolle« aus. In einem gemeinsamen Papier bekräftigten Belgien, Brasilien, Deutschland, Irland, Luxemburg, Mexiko, Neuseeland und Österreich die Notwendigkeit dieses Ansatzes. Sie fordern, dass die Grundlagen für die menschliche Kontrolle bei der Zielauswahl und ‑bekämpfung bereits in der Entwicklungsphase gelegt werden.

Deutschland setzt sich für eine internationale Ächtung von AWS ein, »die der Verfügung des Menschen entzogen sind«. Dies muss dem Wortlaut nach jedoch kein rechtlich verbindliches Verbot sein. Die deutsche GGE-Delegation definierte menschliche Kontrolle zuletzt dahingehend, dass die bedienende Person ausreichende Kenntnisse über das System, die Umgebung des Ziels und die sich aus diesen Faktoren ergebende Wechselwirkung habe. Eine konstante physische Kontrolle sei nicht zwingend geboten. Dennoch sollte die bedienende Person darauf vertrauen können, dass das System in der intendierten Art – und damit im Rahmen des Rechts – agiere. Das erforderliche Maß an menschlicher Kontrolle bemesse sich an den Fähigkeiten des Systems und dem operativen Kontext. Eine ähnliche Position nimmt die EU ein, deren Delegation, vertreten durch den Auswärtigen Dienst, innerhalb der GGE aktiv mitwirkt. Das Europäische Parlament fordert ein Verbot von LAWS und die Wahrung der menschlichen Kontrolle. Zudem schließt das vorläufige Konzept des Europäischen Verteidigungsfonds (EDF) die Förderung von Waffen aus, die die Ausübung der menschlichen Kontrolle untergraben.

Auch Russland und China haben sich im Rahmen der GGE prinzipiell für die Unabdingbarkeit menschlicher Kontrolle über autonome Waffensysteme ausgesprochen. Ob China an diesem Prinzip tatsächlich festhält, ist angesichts seiner militärischen Bestrebungen bei Techniken der KI fraglich. Russland hat angemerkt, dass die Ausdifferenzierung des Konzepts den Staaten selbst überlassen sein soll. Eine Erarbeitung universeller Standards hält es für nicht zielführend. Im Gegensatz dazu hat sich die Bewegung blockfreier Staaten nicht nur für eine Verpflichtung zur menschlichen Kontrolle im Waffeneinsatz ausgesprochen; sie fordert auch, diese Verpflichtung, verbunden mit einem Verbot von LAWS, rechtlich zu verankern.

Die USA ziehen hingegen das Konzept der »angemessenen menschlichen Beurteilung« (judgment) vor und lehnen die Formel von der »menschlichen Kontrolle« ab. Letztlich gehe es um die effektive Übertragung der Intention des Kommandeurs auf das Gefecht. Gerade dies könne durch autonome Funktionen und automatisierte Informationsgewinnung und -verarbeitung sogar gefördert werden. Menschliche Kontrolle – hier allerdings verstanden als direkter, manueller Eingriff – könne hingegen für die Durchführung einer Militäroperation hinderlich sein. Der Fokus der USA liegt eher auf der Kontrolle von Effekten, also der Überprüfung der Wirkungen militärischer Schläge. Außerdem betonen die USA mögliche Vorteile autonomer Funktionen, während andere Länder, zum Beispiel Deutschland, tendenziell auf die Gefahren schauen und den Entscheidungsprozess engmaschiger regulieren wollen. Besonders anschaulich wird die amerikanische Position durch das neue Führungskonzept Joint All-Domain Command and Control (JADC2). Dieses zielt darauf ab, durch einen vernetzten Datenaustausch der unterschiedlichen Teilstreitkräfte und eine KI-basierte Datenauswertung ein integriertes Lagebild in Echtzeit zu generieren, das frühzeitig auf Bedrohungen hinweist, effiziente Reaktionsmöglichkeiten vorschlägt und damit Entscheidungszyklen beschleunigt. Auch wenn Automatisierung dabei nicht Ziel, sondern Mittel zum Zweck ist, spielt menschliches Entscheiden – verglichen mit heutigen Führungskonzepten und Planungszyklen – hier eine weit geringere Rolle.

Insgesamt wird deutlich, dass die Teilnehmerstaaten der GGE recht unterschiedliche Vorstellungen davon haben, welche Mensch-Maschine-Interaktion angemessen ist. Dennoch gibt es Gemeinsamkeiten. So sollten die Aktionen von Waffensystemen für einen (oder mehrere) Menschen vorhersehbar und den Anwendern zurechenbar sein. Die Art des menschlichen Einflusses wird von diversen Faktoren während der gesamten Entwicklung und Nutzung des Systems bestimmt. Der Einfluss muss nicht die Form einer direkten Steuerung annehmen, sich aber mindestens in gewissen Eingriffsmöglichkeiten ausdrücken. Über die genaue Ausgestaltung der Mensch-Maschine-Interaktion besteht gleichwohl noch Gesprächsbedarf.

Gründe für menschliche Kontrolle über den Gewalteinsatz

Die Verpflichtung zur Aufrechterhaltung menschlicher Kontrolle beim Einsatz von Waffen ist bisher nicht Gegenstand eines völkerrechtlichen Vertrags, auch wenn das Prinzip schon im Zusammenhang mit Chemiewaffen und Antipersonenminen diskutiert wurde. Dennoch lässt sie sich zumindest mittelbar aus dem humanitären Völkerrecht ableiten.

Das Gebot der menschlichen Kontrolle kann sich beispielsweise aus dem Unterscheidungsgrundsatz ergeben. Dieser verpflichtet die Konfliktparteien, zwischen Zivilisten und Kombattanten zu unterscheiden und militärische Angriffe nur gegen militärische Ziele durchzuführen. Der Grundsatz der Verhältnismäßigkeit wiederum verpflichtet Konfliktparteien, im Falle eines Angriffs auf ein legitimes militärisches Ziel, bei dem auch mit Schäden an der Zivilbevölkerung zu rechnen ist, darauf zu achten, dass der zu erwartende konkrete und unmittelbare militärische Vorteil die Schäden an der Zivilbevölkerung übertrifft. Zudem verpflichtet das Vorsichtsprinzip Konfliktparteien unter anderem dazu, einen Angriff zu beenden, wenn sich herausstellt, dass das angegriffene Ziel kein militärisches ist.

In vielen Szenarien ist fraglich, ob LAWS diesen Vorgaben entsprechend eingesetzt werden können, da juristische Abwägungen in dynamischen Situationen ein Kontextverständnis voraussetzen, zu dem Maschinen nicht imstande sind. Diese können jedoch den Menschen durch Datensammlung und Datenaufbereitung dabei unterstützen.

Auch die Frage nach individueller und staatlicher Zurechenbarkeit und Verantwortlichkeit steht im Raum. Während zahlreiche Stimmen in der Literatur im Hinblick auf den Einsatz von LAWS von möglichen Verantwortungslücken sprechen, sehen andere Fachleute weniger Probleme und verweisen auf das Konzept der Befehlsverantwortung, eine Kategorie des humanitären Völkerrechts. Demzufolge sind militärische Befehlshaber immer für die Rechtmäßigkeit des von ihnen angeordneten Waffeneinsatzes verantwortlich, und zwar unabhängig davon, ob ein AWS zur Anwendung gelangt. Dem ist allerdings entgegenzuhalten, dass eine Verantwortungszurechnung nur sinnvoll ist, wenn die durch ein AWS erzielten Effekte durch den Befehlsverantwortlichen vorhergesehen werden können.

Darüber hinaus spielen bei der Ausgestaltung des Grundsatzes der menschlichen Kontrolle auch ethische Fragen eine Rolle. So hat das Argument Gewicht, dass bei solch schwerwiegenden Entscheidungen wie jener zu einem militärischen Schlag immer ein Mensch, der den Angriff durchführt bzw. den Einsatz leitet, sein Gewissen belasten muss. Zudem kommt es darauf an, dass die Zielperson nicht zu einem beliebigen Datenpunkt degradiert und so in seiner Würde verletzt wird. Dieser deontologischen Ethik steht eine eher utilitaristische Perspektive gegenüber, die ausschließlich auf die Effekte des Waffeneinsatzes blickt. Hier ist also nicht die Frage, ob eine ethische Abwägung stattfand, sondern ob durch den Einsatz autonomer Waffensysteme bessere Ergebnisse erzielt wurden, die deren Einsatz rechtfertigen. Eine Verletzung der Würde wäre demnach gerechtfertigt, wenn zahlreiche Leben gerettet wurden. Wenn man jedoch der in der deutschen Rechtsprechung verbreiteten deontologischen Sichtweise folgt und außerdem annimmt, dass eine zu starke Automatisierung der Zielauswahl die Menschenwürde verletzt, wäre die Verwendung autonomer Waffen wohl keine Option für die Bundeswehr.

Schließlich gibt es auch aus militärischer Sicht ein Interesse, die Effekte von Angriffen kontrollieren zu können, um das Missionsziel zu erreichen. Eine Eskalation von Konfliktsituationen aufgrund unvorhersehbarer Aktionen des Waffensystems ist unerwünscht. Daher ist auch aus einem rein militärischen Blickwinkel die menschliche Kontrolle im Entscheidungsprozess unabdingbar, wobei zu diskutieren ist, wann und in welcher Form der Mensch seinen Einfluss geltend macht (siehe Grafik 2). Damit zeigt sich, dass bei der Ausgestaltung des Konzepts der menschlichen Kontrolle der weitere militärische Entscheidungsprozess und der Angriff selbst, aber auch die technischen Gegebenheiten in den Blick genommen werden müssen.

Lösungsansätze für die Operationalisierung der menschlichen Kontrolle

Eine zentrale Frage in der Diskussion über die Operationalisierung menschlicher Kontrolle lautet: Kontrolle worüber und durch wen? So kann man den Fokus auf den engeren Zielkreislauf richten und die Kontrolle während des Angriffs oder zumindest unmittelbar davor ansetzen. Kontrolle kann aber auch im größeren Prozess der Zielauswahl oder gar im Produktzyklus des Waffensystems zum Tragen kommen. Eine noch weitere Perspektive ist der Blick auf die Effekte des Angriffs. Eine abschließende Lösung der Frage, wann die menschliche Kontrolle umgesetzt werden muss, drängt sich also nicht auf, doch gibt es Konzepte, menschliche Kontrolle so zu operationalisieren, dass diese zentralen Aspekte einbezogen werden.

Die Nichtregierungsorganisation (NGO) Article 36, ein Mitglied der internationalen Campaign to Stop Killer Robots, prägte den Begriff »meaningful human control« und machte ihn zu einem wichtigen Baustein der CCW-Gespräche. Demnach muss ein Mensch (oder müssen mehrere Menschen) nicht nur in den Prozess der Zielauswahl eingebunden sein, der menschliche Einfluss muss auch eine bestimmte Qualität haben. Dies sei noch nicht dadurch gewährleistet, dass ein Mensch lediglich den Angriff freigibt, nachdem er automatisiert gefilterte Informationen erhalten hat, denn damit ist der Mensch nicht wirklich in den Entscheidungsprozess eingebunden. Kritiker wenden allerdings ein, dass diese Forderung zu weit geht, da schon heute viele Informationen gefiltert und automatisiert bei militärischen Entscheidern einträfen. Dieser Sachverhalt ist sicher zu berücksichtigen, um ein differenziertes Bild menschlicher Kontrolle zu erhalten; er spricht aber nicht gegen den Ansatz der »meaningful human control«.

So orientiert sich auch das Internationale Komitee vom Roten Kreuz (IKRK) an einem ähnlichen Konzept. Das IKRK betont, dass menschliche Kontrolle eine Voraussetzung für die Umsetzung des humanitären Völkerrechts ist. Notwendige Elemente dieser Kontrolle seien eine gewisse zeitliche und räumliche Nähe zwischen letzter menschlicher Entscheidung und Waffenwirkung. Zudem müssten die Aktionen des Waffensystems für den Nutzer vorhersehbar sein.

Grafik 2

Quellen: UNIDIR, The Human Element in Decisions about the Use of Force, 2020, S. 4; <https://unidir.org/publication/human-element-decisions-about-use-force>; iPRAW, Focus on Human Control, 2019, S. 12, <www.ipraw.org/wp-content/uploads/2019/08/2019-08-09_iPRAW_Human Control.pdf>.

Das vom Auswärtigen Amt finanzierte International Panel on the Regulation of Autonomous Weapons (iPRAW), in dem die Autorinnen federführend mitarbeiten, baut auf der Definition des IKRK auf und leitet daraus Mindestanforderungen ab: Demnach besteht menschliche Kontrolle aus zwei Elementen, nämlich dem Situationsverständnis und der Eingriffsmöglichkeit mindestens eines Menschen. Beide Vorgaben müssen bereits im Design des Waffensystems berücksichtigt werden (control by design) und während der Nutzung erfüllbar sein (control in use). Die menschliche Kontrolle kann sich auf den engeren Prozess der Zielauswahl auf taktischer Ebene beziehen, sollte aber auch schon bei früheren Entscheidungsschritten zum Tragen kommen (siehe Grafik 2).

All diesen Anforderungskatalogen ist implizit gemeinsam, dass nur eine formelhafte Annäherung an den Begriff der menschlichen Kontrolle möglich ist, es aber keine abschließende Definition gibt, die sich für alle Einsatzszenarien eignet. Die jeweils angemessene Ausgestaltung des Konzepts hängt von drei Faktoren ab, die den operativen Kontext umreißen: (1) Parameter, wie die Vorgaben für das Ziel und der Zeitrahmen des Angriffs, (2) die Umgebung des militärischen Ziels, (3) die Mensch-Maschine-Interaktion. Diese drei Faktoren bedingen sich gegenseitig. Wenn zum Beispiel von einem Angriff auf ein legitimes militärisches Ziel Zivilpersonen betroffen sein könnten (Ziel) und das Waffensystem über Tage hinweg in einem großen Gebiet eingesetzt wird (Umgebung), sollte die Mensch-Maschine-Interaktion recht eng sein, damit militärische Entscheider auf unvorhergesehene Ereignisse reagieren und ihre rechtlichen Abwägungen anpassen können. So benötigt ein Waffensystem, das auf offener See Flugkörper abwehren soll, wohl eine weniger engmaschige Überwachung als eines, das an Land Kombattanten von Grenzübertritten abhalten soll. Bei bereits in Nutzung befindlichen Waffensystemen wie dem deutschen MANTIS, die unter die oben genannte Definition von AWS fallen, käme man also in vielen Kontexten zu dem Ergebnis, dass es auch im Modus ohne menschliche Eingriffe ausreichend menschlicher Kontrolle unterliegt.

Empfehlungen

Die Diskussion über die Operationalisierung der menschlichen Kontrolle bei AWS zielt nicht darauf ab, technische Unterstützung für menschliche Entscheidungen zu beschränken, solange menschlichem Verständnis bei der Anwendung der Waffe ausreichend Gewicht zugemessen wird. So sind viele sinnvolle Anwendungen von KI und Automatisierung denkbar und auch bereits im Einsatz. Hinzu kommt, dass eine moderne, vernetzte Kriegsführung auf Datensammlung und Datenauswertung aufbaut. Im Fokus stehen also vielmehr ein kritischer Umgang mit den technischen Möglichkeiten und ein ständiges Hinterfragen, welche Rolle der Mensch spielt und aus operativer, rechtlicher und ethischer Sicht spielen sollte. So kann die Kombination von an sich unproblematischen Assistenzsystemen und automatisierten Schritten bei der Zielauswahl zu einem schleichenden Verlust menschlicher Kontrolle führen.

Mit einem relativ simplen Verbot, wie es zum Beispiel bei Streumunition und anderen Waffenkategorien möglich war, ist es darum nicht getan. Das Besondere an dem Fokus auf die Mensch-Maschine-Interaktion ist, dass hier nicht die Anzahl oder Reichweite einer bestimmten Waffe begrenzt werden soll, sondern es Regeln für den militärischen Entscheidungsprozess bedarf. Auch wenn sich die Aufmerksamkeit der »humanitären Abrüstung« häufig auf die Art der Nutzung einer Waffe richtet, ist dies doch ein neuartiger Ansatz. Die Regulierung von AWS über ein Gebot der menschlichen Kontrolle birgt darum einige konzeptionelle Herausforderungen, erscheint aber nicht unmöglich.

Eine Regulierung im CCW-Rahmen könnte ein allgemein formuliertes Gebot enthalten. Die Anwendung autonomer Funktionen würde dadurch stark begrenzt, was ein Verbot für LAWS – verstanden als Waffensystem ohne ausreichende menschliche Kontrolle – bedeuten würde. Details zum Verhältnis von menschlicher Kontrolle und operativem Kontext könnten beispielsweise in Best-Practices-Sammlungen und anderen, rechtlich unverbindlichen Dokumenten behandelt werden.

Ein zentrales Problem ist allerdings, dass beispielsweise die USA und andere Nato-Mitglieder sowie Russland und vermutlich auch China einer rechtlich verbindlichen Regulierung nicht zustimmen würden. Deutschland bleiben daher drei Möglichkeiten: Erstens könnte es die Verabschiedung eines verbindlichen Dokuments ohne diese Staaten – also außerhalb der CCW – vorantreiben. Damit würde jedoch die Chance vertan, durch einen normativen Rahmen Rüstungsdynamiken zumindest ein wenig einzuschränken.

Zum Zweiten könnte Deutschland diese Pattsituation einfach akzeptieren und in Kauf nehmen, dass es keine internationale Regelung zu LAWS und menschlicher Kontrolle gibt. Dies wäre jedoch keine sinnvolle Option, denn zumindest innerhalb der EU und auch der Nato bedarf es eines gemeinsamen Konzepts. So verlangen zum einen die Richtlinien des EDF menschliche Kontrolle, ohne dass geklärt wäre, nach welchen Kriterien das Vorliegen dieser Bedingung geprüft wird. Dies schafft Unklarheiten bei der Vergabe von Mitteln. Zum anderen setzt die Weiterentwicklung des FCAS eine französisch-spanisch-deutsche Verständigung über den Grad der essentiellen menschlichen Kontrolle voraus.

Drittens könnte Deutschland den Verhandlungsprozess in Genf über politisch sanftere und weniger spannungsgeladene Mechanismen weiter beleben. Es könnte beispielsweise die Verabschiedung nicht verbindlicher Dokumente fördern, auf die detailliertere Ausgestaltung der Leitprinzipien der GGE hinwirken und so seiner auch in anderen Bereichen praktizierten Vermittlerrolle nachkommen. Gleichzeitig könnte es mit diesem Ansatz auch wichtige Staaten wie die USA, Russland und China eher an Bord holen und zu Zugeständnissen bewegen.

Deutschland könnte die internationale Normentwicklung zudem national auf verschiedenen Wegen voranbringen. Ein Verbot von LAWS fand im Bundestag keine Mehrheit, da verschiedene Fraktionen die fehlende Definition beklagten und technische Entwicklungen nicht zu früh begrenzen wollten. Jedoch könnte sich das Parlament für ein Gebot menschlicher Kontrolle aussprechen, denn hier scheint sich fraktionsübergreifend ein Konsens abzuzeichnen.

Daran anschließen könnten sich entsprechende Formulierungen zur militärischen Nutzung von KI in der KI-Strategie der Bundesregierung und eine klare Positionsbestimmung von Seiten der Bundeswehr. Dabei ist insbesondere zu klären, in welchem Verhältnis menschliche Kontrolle und die denkbare Notwendigkeit zum Kämpfen bei Maschinengeschwindigkeit (Fight-at-Machine-Speed und Deploy-at-Machine-Speed) stehen sollten, ein Dilemma, das ein Arbeitspapier des Amtes für Heeresentwicklung bereits problematisiert. In diesem Kontext wäre auch zu erörtern, wie sich eine Verpflichtung zur Gewährleistung menschlicher Kontrolle auf Deutschlands Verteidigungs- und Bündnisfähigkeit auswirkt, wenn andere Staaten eine stärkere Automatisierung ihrer Waffensysteme und Entscheidungsprozesse akzeptieren und Deutschland angriffen. Auch in diesem Fall wären jedoch rechtliche und ethische Grenzen sowie Möglichkeiten der Rüstungskontrolle zu berücksichtigen.

Auch der Koalitionsvertrag der nächsten Bundesregierung könnte neben bzw. anstelle einer Ächtung autonomer Waffensysteme die Notwendigkeit menschlicher Kontrolle über den Gewalteinsatz bekräftigen und dieses Prinzip zu einem zentralen Prüfstein zukünftiger Waffenentwicklungen machen. Mit solchen Leitlinien im Gepäck könnte die deutsche Delegation in der GGE noch klarer auftreten und in der internationalen Gemeinschaft das humanitäre Völkerrecht durch die Ausgestaltung des Konzepts der menschlichen Kontrolle weiter stärken.

Anja Dahlmann ist Wissenschaftlerin in der Forschungsgruppe Sicherheitspolitik und leitet dort das Projekt »The International Panel on the Regulation of Autonomous Weapons« (iPRAW). Dr. Elisabeth Hoffberger-Pippan ist Wissenschaftlerin in der Forschungsgruppe Sicherheitspolitik und für iPRAW. Lydia Wachs ist Forschungsassistentin in diesem Projekt. iPRAW wird aus Mitteln des Auswärtigen Amtes finanziert, ist ein unabhängiges Gremium und setzt sich aus Forscherinnen und Forschern aus verschiedenen Fachdisziplinen zusammen.