Direkt zum Seiteninhalt springen

Präventive Regulierung autonomer Waffensysteme

Handlungsbedarf für Deutschland auf verschiedenen Ebenen

SWP-Studie 2019/S 01, 23.01.2019, 27 Seiten

doi:10.18449/2019S01

Forschungsgebiete

Anja Dahlmann ist Wissenschaftlerin in der Forschungs-gruppe Sicherheitspolitik

Dr. Marcel Dickow ist Forschungsgruppenleiter der Forschungsgruppe Sicherheitspolitik

Autonome Waffensysteme bzw. Waffensysteme mit autonomen Funktionen – sogenannte Lethal Autonomous Weapon Systems (LAWS) – sind Waffen, die keine menschliche Intervention für die Auswahl und Bekämpfung des Ziels benötigen. Ermöglicht wird dies durch neuere Entwicklungen bei Sensor­technik, Rechenleistung und Softwarefähigkeiten. Besonders relevant sind hierbei mathematische Verfahren, die häufig unter dem Begriff »künstliche Intelligenz« zusammengefasst werden.

Anja Dahlmann und Marcel Dickow beleuchten die Debatte um die Regu­lierung von LAWS auf internationaler, europäischer und nationaler Ebene und leiten daraus Handlungsempfehlungen für Bundestag und Bundes­regierung ab. Dabei haben sie drei Perspektiven im Blick: die technologisch-operationale, die rechtliche und die ethische.

Die Autorin und der Autor argumentieren, dass die Bundesregierung, um ihrem Anspruch auf internationale Ächtung von LAWS gerecht zu werden, zunächst den Begriff »menschliche Kontrolle« ausdifferenzieren sollte, beispielsweise in einem Strategiedokument des Bundesministeriums der Verteidigung. Ziel sollte sein, eine Regulierung von Entwicklung und Einsatz von LAWS zu ermöglichen – und zwar auf internationaler Ebene – und damit das Thema militärische Robotik politisch handhabbar zu machen.

Der völkerrechtliche Verhandlungsrahmen zur Regulierung von LAWS ist derzeit die Waffenkonvention der Vereinten Nationen. Ein Gemeinsamer Stand­punkt der EU-Mitgliedsstaaten, welcher die menschliche Kontrolle ein­fordert oder – besser noch – Vorschläge zu deren Ausgestaltung macht, könnte einen entscheidenden Einfluss auf die Verhandlungen haben.

Problemstellung und Empfehlungen

Autonome Waffensysteme bzw. Waffensysteme mit autonomen Funktionen – sogenannte Lethal Auton­omous Weapon Systems (LAWS) – sind Waffen, die keine menschliche Intervention für die Auswahl und Bekämpfung des Ziels benötigen. Schon heute wird dieses Prinzip in der Flugabwehr verwendet, bezieht sich aber auf einfach und recht eindeutig strukturierte Umgebungen. LAWS hingegen wären in der Lage, in komplexen, dynamischen Umgebungen zu agieren.

Ermöglicht wird dies durch neuere Entwicklungen bei Sensortechnik, Rechenleistung und Softwarefähig­keiten. Besonders relevant sind hierbei mathematische Verfahren, die häufig unter dem Begriff »künst­liche Intelligenz« (KI) zusammengefasst werden.

Technologie bestimmt unseren Alltag – unser Verhältnis zu ihr müssen wir stets aufs Neue aus­loten. Dies gilt auch an der Schnittstelle von Techno­logie und Sicherheitspolitik: Die Frage des Einsatzes und der Auf- und Abrüstung von Nuklearwaffen sowie die Frage von offensiven und defensiven Cyber­fähigkeiten, also nach Sicherheit im Cyberspace, stehen stellvertretend für eine Vielzahl von Themen, die sich in gesellschaftlichen und politischen Debat­ten niederschlagen. Mit der Robotik und der Anwendung künstlicher Intelligenz halten neue Techno­logien Einzug in die aktuellen militärischen und völkerrechtlichen Debatten in der Sicherheitspolitik.

Wenn zukünftig autonome Fahrzeuge auf Deutsch­lands Straßen unterwegs sind, liegt es auf der Hand, dass die dafür nötige Technologie und ihr Einsatz bestimmten Regeln unterworfen werden müssen, um die allgemeine Sicherheit zu gewährleisten und den gesetzlichen Bestimmungen zu genügen. Wird dies auch für den Einsatz autonomer Waffensysteme gelten? Um diese Frage und um die dahinterliegenden technologischen, völkerrechtlichen, ethischen und sicherheitspolitischen Teilaspekte ist auf internationaler Ebene eine Debatte entbrannt.

Die vorliegende Studie stellt zunächst kurz dar, inwiefern autonome Waffensysteme Gegenstand der politischen Debatte sind. Anschließend untersucht sie die möglichen Auswirkungen der Entwicklung und Nutzung von LAWS. Auf dieser Basis beleuchtet sie die Debatte um ihre Regulierung auf internationaler, europäischer und nationaler Ebene und leitet daraus Handlungsempfehlungen für Bundestag und Bundes­regierung ab. Dabei hat sie drei Perspektiven im Blick: die technologisch-operationale, die rechtliche und die ethische.

Unter technologisch-operationalen Gesichtspunkten sind unbemannte Waffensysteme, insbesondere solche mit autonomen Fähigkeiten, von Bedeutung, weil sie die militärische Vorgehensweise im Gefecht beispiels­weise schon dadurch verändern, dass im Einsatz weniger Personal benötigt wird. Die Steuerung eines unbemannten Systems ist gerade nicht an das Schlachtfeld gebunden; Systeme mit autonomen Fähigkeiten erfordern nur noch einen Überwacher, der unter Umständen einen ganzen Roboterschwarm beobachtet. Der Wegfall der Kommunikationsverbindung ermöglicht zudem kürzere Reaktionszeiten und Einsätze in schwer erreichbaren Gebieten. Gleich­zeitig macht diese neue Technologie eine Anpassung von militärischen Strukturen und Abläufen nötig, um die Chancen voll auszuschöpfen und mögliche Risi­ken zu minimieren.

Für die rechtliche Betrachtung autonomer Waffensysteme ist besonders das humanitäre Völkerrecht relevant. Hier gelten Grundsätze wie das Gebot, zwischen Zivilisten und Kriegsteilnehmern zu unter­scheiden, die Verhältnismäßigkeit von Mittel und Zweck sowie die militärische Notwendigkeit des Gewalt­einsatzes. Manche Abwägungen lassen sich bereits im Vorfeld eines Angriffs vornehmen, anderes muss in der konkreten Situation entschieden werden. Gerade in dynamischen Entscheidungskreisläufen bei der militärischen Zielauswahl (targeting cycle) entstehen rechtliche Bedenken bei der Nutzung von LAWS. So existieren zumindest bisher keine technischen Lösun­gen für die Umsetzung abstrakter Rechtsbegriffe (wie zum Beispiel des Unterscheidungsgebots) in maschinelle Regeln – doch selbst wenn dies eines Tages möglich sein sollte, bleibt der Mensch das Rechts­subjekt, muss also die Entscheidung treffen. Ohne ausreichende menschliche Kontrolle im Ziel­kreislauf ist dies nicht möglich.

Aus ethischer Perspektive sind LAWS vor allem hinsichtlich der Menschenwürde problematisch, denn Roboter verstehen nicht, was es bedeutet, einen Men­schen zu töten. Ohne diese Reflexion wird der als Ziel ausgewählte Mensch jedoch zu einem reinen Daten­punkt, mithin einem Objekt. Die Nutzung autonomer Waffensysteme würde damit die Würde des Opfers verletzen – auch technische Verbesserungen können dieses Problem nicht lösen.

Die Berücksichtigung dieser technisch-operatio­nalen, rechtlichen und ethischen Perspektiven zeigt, dass sich eine neue Qualität der Kriegsführung ergibt, wenn der Mensch die Entscheidung zum Gewalt­einsatz, also zum Töten von Menschen, an Maschinen abtritt. Trotz operativer Vorteile überwiegen die problematischen Konsequenzen – menschliche Kontrolle ist unabdingbar. Sowohl international als auch in Deutschland zeichnet sich ein Konsens für dieses Prinzip der menschlichen Kontrolle ab, die konkrete Ausgestaltung rechtlicher Regelungen ist aber unklar bzw. umstritten.

Das Eintreten der Bundesregierung für eine völkerrechtliche Ächtung von Waffen ohne menschliche Kontrolle ist also weiterhin geboten. Hilfreich wäre dabei eine Positionierung der Bundesregierung, wie sie den Begriff »menschliche Kontrolle« versteht, beispielsweise in einem Strategiedokument des Bundesverteidigungsministeriums (BMVg). Ziel sollte sein, eine Regulierung von Entwicklung und Einsatz von LAWS zu ermöglichen – und zwar auf internatio­­­naler Ebene – und damit das Thema militärische Robotik politisch handhabbar zu machen.

Der völkerrechtliche Verhandlungsrahmen zur Regulierung von LAWS ist derzeit die Waffenkonvention der Vereinten Nationen (Convention on Certain Conventional Weapons, CCW). Die Treffen der CCW-Vertragsstaaten bilden also das Forum, in dem eine Norm zur menschlichen Kontrolle über den Gewalteinsatz geschaffen werden sollte. Ein Gemeinsamer Standpunkt der Mitgliedsstaaten der Europäischen Union (EU), welcher diese menschliche Kontrolle einfordert oder – besser noch – Vorschläge zu deren Ausgestaltung macht, könnte einen entscheidenden Einfluss auf die Verhandlungen haben.

Autonome Waffensysteme als Gegenstand der politischen Debatte

Die Debatte um die Entwicklung und Nutzung von Robotern hat sich in den vergangenen Jahren ver­ändert. Autonome Fahrzeuge bilden ein Mainstream-Thema in der deutschen Industriepolitik, Anwen­dungen von künstlicher Intelligenz haben Einzug in kommerzielle und militärische Hard- und Software gehalten. Neue Smartphones kommen mit Hardware für KI-Anwendungen auf den Markt, Algorithmen lernen und spielen Computerspiele und klassische Brettspiele mittlerweile besser als der Mensch. Daten­getriebenes maschinelles Lernen eröffnet neue Ein­satz­möglichkeiten in fast allen Lebensbereichen. Im April bzw. November 2018 veröffentlichten die Euro­päische Kommission und die deutsche Bundesregie­rung zum ersten Mal dezidierte KI-Strategien.1 Es verwundert nicht, dass die nationale wie inter­nationale politische Diskussion inzwischen intensiv und facettenreich geführt wird. Sie findet aber vor allem in Bezug auf die zivile Nutzung statt, beispielsweise durch die deutsche Ethikkommission zum autonomen Fahren. Die militärischen Implikatio­nen dis­ku­tiert die breite Öffentlichkeit hingegen kaum.

Auch der Deutsche Bundestag hat das sicherheits­politische und völkerrechtliche Problem militäri­scher Robotik noch nicht entschieden aufgegriffen. Im Gegensatz dazu hat beispielsweise das belgische Parlament im Juni 2018 eine Resolution verab­schiedet, welche ein Verbot autonomer Waffen einfordert.2

Das Europäische Parlament (EP) hat im September 2018 seine erste eigene Resolution zu autonomen Waffensystemen beschlossen, die für die Mitgliedsstaaten aber nicht bindend ist.

Begriffserklärungen

Wo komplexe Sachverhalte wissenschaftlicher, gesell­schaftlicher und politischer Einordnung bedürfen, helfen allgemein anerkannte Definitionen. Ein Hauptproblem der Debatte um zivile und militärische Nutzung von KI und Robotik ist gerade das Fehlen solcher Definitionen. Diese Studie verwendet den allgemeinen Begriff »unbemanntes militärisches System« (UMS) für jede Form von militärischer robotischer Hardware, sei sie rein ferngesteuert oder mit autonomen Funktionen aus­gestattet. Im Kontext der internationalen Gespräche über diese Systeme hat die Waffenkonvention der Vereinten Natio­nen den Begriff »LAWS« (Lethal Autonomous Weapon System) aufgegriffen, den wir speziell für Waffensysteme mit autonomen Funktionen gebrauchen. Auf fachlicher Ebene sprechen wir nicht von »autonomen Waffen­systemen«, sondern von »Waffensystemen mit autonomen Funktionen«, da nicht der Autonomiegrad ent­scheidend ist, sondern die Funktionen, bei denen der Mensch durch die Maschine unterstützt bzw. ersetzt wird.

Je mehr das Thema international an Bedeutung gewinnt, desto notwen­diger erscheint es, dass das deutsche Parlament sich damit befasst, um die sicher­heits- und rüstungskontrollpolitischen Implika­tionen der Technologie zu erfassen.

Die politische Beschäftigung mit Autonomie in Waffensystemen steht in Deutschland noch am Anfang.

Die Bundeswehr bezieht schließlich bereits heute stärker auto­matisierte und teilweise autonome Waffensysteme in ihre Streit­kräfteplanung mit ein und könnte zu­künf­tig in den Bündnissen oder auf dem Schlachtfeld diesen Systemen gegenüberstehen. Während das Auswärtige Amt (AA) seit 2013 die inter­nationalen Debatten zum Beispiel im Rahmen der Waffen­konvention der Vereinten Nationen mitgeprägt hat, hat sich die politische Debatte im Parlament fast ausschließlich auf bewaffnete Drohnen fokussiert. Eine Anhörung im Unterausschuss für Abrüstung und Rüstungs­kontrolle im Jahr 2016 bildete die Ausnahme. Die Bewilligung des Bundes­tages im Sommer 2018 für die Beschaffung von bewaffnungsfähigen Drohnen lässt zahlreiche tech­nische und organisatorische Fragen offen (Ausbildung und Trai­ning der Streitkräfte, Beschaffung der Muni­tion etc.). Unklar bleibt auch, welche politischen Aus­wirkungen dieses Beschaffungsvorhaben auf die Nut­zung von autonomen Funktionen in zukünftigen Generationen fliegender Waffensysteme haben wird.

Die Idee der Klassifizierung von Autonomiegraden erschwert die Debatte um militärische Robotik zusätz­lich. Wie genau einzelne Abstufungen von Autonomie definiert werden können und welche Konsequenzen sich daraus ergeben, ist völlig unklar. Robo­ter sind nicht entweder vollständig unter mensch­licher Kontrolle oder vollautonom. Die Menschen, die sie bedienen, werden in erheblichem Maße von Assis­tenz­systemen unterstützt, die wichtige Aufgaben übernehmen. Schon allein deswegen ver­wischt die Grenze zwischen Begriffen wie »automatisiert«, »teilautonom« und »autonom«, die gerne in der politischen Debatte benutzt werden.

Die Entwicklung und Nutzung von Waffensystemen mit auto­nomen Funktionen: politische und militärische Implikationen

Die Technologie unbemannter Systeme kann sowohl für zivile als auch für militärische Zwecke genutzt werden (Dual Use). Da der zivile Markt für Robotik erheblich größer ist, stammen viele technische Bau­steine militärischer Anwendungen (zum Beispiel Sensoren oder Software) aus zivilen Entwicklungen. Dieser Umstand fordert nicht nur die Zivilklausel3 deutscher Universitäten heraus – auch Export­kontrollen, die Verhinderung von Proliferation und die Verifikation werden dadurch praktisch unmöglich: Die einzelnen Bestandteile können auf dem zivilen Markt beschafft und mit relativ wenig Auf­wand militärisch nutzbar gemacht werden.

Mit »unbemannten Systemen« oder »Robotern« können sowohl ferngesteuerte als auch autonom agierende Maschinen gemeint sein; der Fokus der vorliegenden Studie liegt auf letzteren. Technologien wie ferngesteuerte Drohnen sind in diesem Zusammenhang nur als Vorläufer relevant. Maschinelle Autonomie bedeutet, dass die Maschine ohne mensch­liches Eingreifen in dynamischen Umgebungen be­stimmte Aufgaben erfüllen kann.

Eine Voraussetzung für diese Fähigkeit sind die Techniken der künstlichen Intelligenz, einem Ober­begriff für zahlreiche Programmiermethoden. Die Inhalte dieses Forschungsgebietes wandeln sich stetig, basieren aber immer auf mathematischen, oft statis­tischen, Verfahren. Die Expertinnen und Experten der KI-Forschung sind sich uneinig, ob und wann die Nachbildung menschlicher Intelligenz möglich sein wird. Aktuell übertreffen die Kompetenzen von Software zwar einzelne menschliche Fähigkeiten, bilden aber keinen menschenähnlichen Geist. Die Betonung liegt also eher auf dem Künstlichen als auf der Intelligenz, der Begriff »künstliche Intelligenz« sollte entsprechend sparsam und mit Bedacht ver­wendet werden.

Die Verfahren der KI sind von maßgeblicher Bedeutung für die Umsetzung autonomer Fähigkeiten von Maschinen. Insbesondere maschinelles Lernen4 benötigt dabei eine große Menge relevanter, (vor)­struk­turierter Daten zum Trainieren der mathematischen Modelle. Diese Daten können für bestimmte Anwendungsfälle seit den 2000er-Jahren leicht im Internet gewonnen werden; das Internet der Dinge (Internet of Things, IoT)5 wird die Verfügbarkeit von Daten weiter steigern. Das gilt aber nicht in gleichem Maße für Daten zum Training maschinell lernender militärischer Systeme, da sie nicht oder nur sehr eingeschränkt aus dem zivilen Leben gewonnen werden können.

Preiswerte Speichersysteme, gestiegene Rechen­leistung und Big Data haben den Einzug des maschinellen Lernens in das Alltagsleben ermöglicht. An­wen­dungen dieser Technologien finden sich mittlerweile in allen Industriesparten, im Dienstleistungs­sektor, im Versicherungs- und Finanzwesen, in Behör­den wie zum Beispiel bei der Kriminalpolizei, aber auch in Wissenschaft und Forschung. Verfahren der KI werden seit einigen Jahren auch in den Streit­kräften eingesetzt, beispielsweise bei Assistenz­systemen auf Schiffen oder in der Auswertung von Bilddaten von Aufklärungsdrohnen.6

Maschinelle Autonomie und menschliche Kontrolle

Aus rechtlicher, aber vor allem aus operativer Per­spektive auf Waffensysteme mit autonomen Funk­tionen ist die Mensch-Maschine-Beziehung von großer Bedeutung. Zentral erscheint dabei die Gestaltung der menschlichen Rolle in der Bedienung, also wie viel Autonomie dem Waffensystem eingeräumt wird und was der Mensch entscheiden muss. Daher dominierte lange Zeit die Frage nach einer geeigneten Definition von Autonomie die nationalen und internationalen Debatten – verbunden mit der definitorischen Un­schärfe, was genau LAWS sind. Der multilaterale Ge­sprächsprozess zu diesen Waffensystemen bei der CCW spiegelt diesen Verlauf gut wider. In der dor­tigen Debatte und sukzessive auch in der media­len Berichterstattung ist die Notwendigkeit einer wie auch immer gearteten menschlichen Kontrolle über solche Systeme inzwischen in den Mittelpunkt gerückt. Diese Idee lässt sich unmittelbar aus dem humanitären Völkerrecht ableiten und der darin festgeschriebenen Notwendigkeit, beim Einsatz von Waffengewalt bestimmte Abwägungen vorzunehmen. Allerdings prägen weiterhin einige wenige Szenarien, wie etwa die vollautonome Drohne7 oder der »fahrende Kampfroboter«,8 die Debatte. Sie be­sitzen jedoch nur beschränkte Aussage- und Pro­gnose­kraft bezüglich der technischen Entwicklung und des Einsatzes künftiger LAWS. Wirklich relevant sind dagegen die Entwicklungen im Softwarebereich (insbesondere tiefe neuronale Netze und künstliche Intelligenz),9 bei Schwarmsystemen und bei Assistenzsystemen für das Mensch-Maschine-Teaming. Um der Breite der technologischen Entwicklung Rechnung zu tragen, fordern viele Akteure ein generelles Verbot des Einsatzes von LAWS und setzen die Grenze folgendermaßen: Dass die Entscheidung zu töten auf einen bewaffneten Roboter übertragen wird, gilt als nicht mehr akzeptabel.

Dieser Fokus auf die Funktionen der Zielauswahl und -bekämpfung – das Internationale Komitee vom Roten Kreuz nennt sie die kritischen Funktionen (critical functions) – lässt allerdings eine breite Grau­zone außer Acht. So müssen die Entscheidung zu töten und ihre Ausführung nicht notwendigerweise durch denselben autonomen Roboter geschehen. Stattdessen können sie in einem komplexen Waffensystem, einem sogenannten system of systems, von unterschiedlichen Teilen durchgeführt werden. Die genauen »Zuständigkeiten« können dabei gegebenenfalls unklar werden.

Assistenzsysteme verwischen die Grenzen zwischen Fernsteuerung, Automatisierung und Autonomie.

Noch problematischer sind Assistenzsysteme, wie sie bereits heute in zivilen und militärischen Syste­men eingesetzt werden. Sie nehmen dem Menschen bestimmte Entscheidungen ab oder bereiten sie vor und filtern dabei die gesammelten Daten, um Ent­schei­dungsoptionen anzubieten. Dabei ist fraglich, ob der Mensch tatsächlich nachvollziehen kann, dass bzw. wie diese Optionen durch Algorithmen ent­standen sind. Diese Kompetenzverlagerung ist eine schleichende Entwicklung, die als zwangsläufige Begleiterscheinung oder auch innere Logik zu (steigender) Autonomie angesehen werden kann. Dieser Autonomisierungstrend ergibt sich aus tech­nischen, aber auch militärischen Überlegungen.

Technisch ist die Übertragung von Entscheidungskompetenzen an Maschinen aus zwei Gründen sinn­voll: Erstens führt bei ferngesteuerten UMS der Ab­bruch der Kommunikationsverbindung zwischen Station und Gerät in der Regel zum Missionsabbruch, was zu Verzögerungen, eventuell sogar zur Gefährdung der eigenen Soldatinnen und Soldaten führen kann. Zweitens steigt mit dem Einsatz unbemannter Systeme die Datenmenge, da immer mehr Sensoren verwendet oder Schwärme eingesetzt werden. Men­schen sind von dieser Informationsflut überfordert, sodass schon heute Assistenzsysteme als Filter genutzt werden. Mit steigender Datenmenge werden diese Systeme mehr und mehr Entscheidungskompetenzen bekommen, während der Mensch vom Entscheider zum Aufseher (supervisor) wird.

Beide Aspekte spielen auch bei militärischen Über­legungen eine Rolle und werden dabei durch die steigende Geschwindigkeit im Einsatz forciert. Diese ergibt sich, wenn eine Konfliktpartei LAWS einsetzt, welche deutlich schneller reagieren können (oder zumindest bald können werden) als Menschen. Schon um nicht militärisch benachteiligt zu sein, erscheint die Verwendung autonomer Systeme darum für alle anderen (potentiellen Konfliktparteien) ebenso geboten, zumindest aus taktischen Gründen.

Der technische Stand von LAWS und die politische Wahrnehmung

Assistenzsysteme begegnen uns inzwischen täglich in der Mobilität (Spurhalte- und Bremsassistent, Navi­gation), im Privaten (zum Beispiel auf mobilen End­geräten wie Apples Siri oder Microsofts Cortana) und im Arbeitsumfeld (zum Beispiel in Produktions­prozessen und der Logistik). Sie sind für manche zu einem so selbstverständlichen Teil des Lebens ge­worden, dass sie ihren Einfluss auf Entscheidungsprozesse nicht mehr in vollem Umfang wahrnehmen.

Dieses Unterschätzen geht einher mit einem teilweisen Überschätzen der derzeit möglichen kognitiven Fähigkeiten von maschinellen Systemen, ins­be­son­dere von Robotern. Wie groß der mathematische und algorithmische Aufwand ist, um einem Roboter ein annähernd ausreichendes Abbild der Umgebung zu »vermitteln«, ist meist nur Experten bekannt. Dass die informierten und sehr menschlich wirkenden Ant­­­worten von Alexa und ähnlichen Programmen nicht auf einer generellen maschinellen Intelligenz be­ruhen, sondern aus einer Summe von vorprogram­mierten Einzelfällen zusammengesetzt werden, bleibt dem Nutzer in der Regel verborgen. Die begrenzte An­wendbarkeit der zugrunde liegenden mathematischen Modelle zeigt sich erst bei kuriosen Antworten auf Fragen, die subtilen Kontext beinhalten.10 Maschi­nelle Intelligenz besitzt eben gerade kein Verständnis der Umwelt (Kognition), zumindest nicht auf abseh­bare Zeit.

Diese technischen Grenzen gelten auch für den militärischen Einsatz solcher Systeme. In den ver­gangenen Jahren ist ein unvollständiges Bild der Möglichkeiten, Herausforderungen und Risiken von LAWS entstanden, das sich in der deutschen wie inter­nationalen Debatte zur Regulierung von LAWS widerspiegelt. Insbesondere wird die Rolle von Assis­tenzsystemen in politischen Debatten kaum hervorgehoben, obwohl sie in der zivilen Welt fast zum Alltag gehören und die Funktionalität von Systemen wesentlich mitbestimmen. Ihre Berücksichtigung wäre aber wichtig, da Assistenzsysteme in der Grauzone zwischen »automatisiert« und »vollautonom« liegen. Diese Grauzone verkompliziert die Grenzziehung für ein Verbot von LAWS zusätzlich (vgl. Seite 8, letzter Absatz).

Gleichzeitig formulieren Staatenvertreterinnen und -vertreter in der CCW die Erwartung an die Ver­fahren der künstlichen Intelligenz, die Implementierung von humanitär-völkerrechtlichen Prinzipien beim Einsatz von Waffengewalt verbessern zu können. Beispielhaft sei hierzu auf das Unterscheidungsgebot (Militär versus Zivilbevölkerung), die Verhältnismäßigkeit (von Mittel und Zweck) sowie die militärische Notwendigkeit (des Gewalteinsatzes) verwiesen. Diese Begriffe sind rechtlich abstrakt defi­niert und entsprechend kontextgebunden, was die Umsetzung in maschinelle Regeln erschwert – viel­leicht sogar unmöglich macht. Doch selbst wenn dies eines Tages möglich sein sollte, bleibt der Mensch das Rechtssubjekt, muss also die Entscheidung treffen. Ohne ausreichende menschliche Kontrolle im Ent­scheidungskreislauf bei der militärischen Zielauswahl (targeting cycle) ist dies nicht möglich.11

Entscheidungskreislauf bei der militärischen Zielauswahl (targeting cycle)

Exemplarisch sei hier der Entscheidungskreislauf für dynamische Zielauswahl des US-amerikanischen Militärs beschrieben. Dieser besteht aus sechs Schritten, nämlich

1) Find: Auffinden möglicher Ziele nach bestimmten Kriterien in einem festgelegten Gebiet

2) Fix: Festlegen des Ziels

3) Track: Verfolgen des Ziels

4) Target: Zielen im engeren Sinne; hier werden auch rechtliche Abwägungen zu Verhältnismäßigkeit der Mittel, möglichen Kollateralschäden und anderen Aspekten getroffen

5) Engage: Bekämpfen des Ziels

6) Assess: Auswertung des Ergebnisses; eventuell beginnt der Kreislauf dann von vorn

Darüber hinaus sind die völkerrechtlichen Prinzipien ethische und damit menschliche Konzepte einer humanitären Regelung des Krie­ges und darum ganz grundsätzlich nicht maschinell reproduzierbar. Nichts­destotrotz setzen Planer in Streit­kräften ihre Hoffnung darauf, dass Algorithmen zukünftig zum Beispiel das Gebot, zwischen Militärangehörigen und Zivilbevölkerung zu unterscheiden, besser einhalten könnten als Menschen.12 Dem zugrunde liegt oft die Vorstellung, dass sich ethisch-humanitäre Vorgaben in maschinelle Regeln und Kausalzusammenhänge übersetzen ließen, selbst wenn die Maschine den Menschen nur bei der Abwä­gung unterstützen soll.13 Dies mag unter speziellen Randbedingungen tat­säch­lich in einigen Fällen denk­bar sein, beispielsweise in einfach strukturierten Räumen ohne Menschen. Solche Spezialfälle werden gern verallgemeinert. Auch besteht das Risiko, dass sich die Annahme, dass so ein Spezialfall vorliegt, durch Dyna­mi­ken in der Einsatzumgebung und durch Taktik der gegnerischen Seite als falsch erweist. Dies bleibt auch im Rahmen der CCW-Dis­kus­sion ein wenig thematisierter Aspekt.

Im »Rausch« der Berechenbarkeit der Welt – und nichts anderes ist die Digitalisierung und Robotisierung – wird leicht übersehen, dass der Mensch selbst, und damit sein Handeln, alles andere als be­rechenbar ist. Dies ist eine der größten Herausforderungen für die Mensch-Maschine-Interaktion, sei sie kooperativ (das heißt zum Beispiel, die Maschine liefert im Gefecht ihrem Bediener Informationen) oder unkooperativ (das heißt, die Maschine bleibt für die gegnerische Seite intransparent) – und diese Herausforderung spiegelt sich in der politischen Debatte nur schemenhaft wider.

Auswirkungen auf die Streitkräfte

Roboter verändern militärische Vorgehensweisen im Gefecht bereits dadurch, dass im Einsatz weniger Per­sonal benötigt wird: Unbemannte Systeme können im Prinzip von jedem Ort der Welt aus gesteuert werden, bei wachsender Autonomie reicht theoretisch ein ein­zelner »Pilot« für die Überwachung ganzer Roboter­schwärme aus. Vor allem Landroboter können die Soldatinnen und Soldaten unterstützen und ermög­lichen schon heute Einsätze, die für Menschen zu gefährlich sind. Dennoch haben Roboter nicht nur Vorteile. Die oft zitierten Argumente wie Kosten­ersparnis, geringerer Personaleinsatz und höhere Präzision im Einsatz treffen nicht immer zwangsläufig zu. Zudem verhindert das Argument des Schutzes der eigenen Streitkräfte oft die Berücksichtigung anderer Aspekte und damit eine Abwägung.

Neuere Forschungen14 belegen die Verbindung von Robotik und Verwundbarkeiten im Datenraum bzw. in den Command and Control-Infrastrukturen auf tak­ti­scher wie auf strategischer Ebene. Mangels mensch­licher Gegnerinnen und Gegner könnten Konflikt­parteien auf die technologische Infrastruktur der Gegenseite als Angriffsziel ausweichen. Gerade typische Robotiknutzer, nämlich hochtechnisierte Staaten, sind hierbei besonders verletzlich, weil sie von diesen Strukturen abhängig sind.

Wachsende Datenmengen und maschinelles Lernen

Roboter benötigen für ihre Funktion eine große Menge an Sensor- und Trainingsdaten, insbesondere maschinell lernende bzw. angelernte Systeme. Dies schafft sowohl quantitative als auch qualitative Her­aus­forderungen. Zunächst ist generell fraglich, ob mehr Sensorik und damit mehr Daten tatsächlich konsistenteres und vorhersehbareres Verhalten der Maschine bzw. bessere Entscheidungen des Menschen ermöglichen. Ab einem gewissen Punkt kann die In­for­mationsflut die Entscheiderinnen und Entscheider verunsichern, Inkonsistenzen verursachen und Ent­scheidungen verzögern. Deswegen setzen moderne robotische Systeme Sensordatenfusion und Informationsfilterung ein. Die Auswahl der Filtermethoden ist dabei entscheidend für das Ergebnis und kann die Zuordnung von Verantwortung erschweren. Wenn Filter die Informationen, die den Bediener bzw. Kom­man­deur erreichen, derart beeinflussen können, ohne selbst vom Menschen kontrollierbar zu sein, ist zweifelhaft, ob im Einsatz selbst bedeutende Kon­trolle und damit militärisch zuordenbare Entscheidungen getroffen werden (können).

Die Regulierung von LAWS muss schon bei der Datengrundlage beginnen.

Datengetriebene Algorithmen werfen zudem die Frage nach Repräsentativität und Neutralität der Trai­ningsdaten auf. Das Ergebnis der eingesetzten mathe­matischen Verfahren hängt maßgeblich davon ab, ob die Trainingsdaten der Anwendungswirklichkeit ent­sprechen oder nicht. Sind Trainingsdaten verzerrt, versagen die Algorithmen in der realen Anwendung und produzieren unvorhersehbare Ergebnisse. For­schungen zur zivilen Nutzung zeigen solche Ein­schrän­kungen bereits heute eindrucksvoll.15

Ebenso offen ist die Frage, wie militärische Trainingsdaten für lernende Systeme überhaupt in genü­gen­dem Maße und ausreichender Repräsentativität erzeugt werden können. Während das Internet und das Internet der Dinge stetige Lieferanten vorstrukturierter ziviler Daten sind, fehlen solche Datensätze für militärische Anwendungen. Die Schaffung synthe­tischer Trainingsdaten könnte Abhilfe schaffen. Auch sie unterliegt aber von Menschen konstruierten Mo­dellen der realen Welt. Damit bleiben synthetische Trainingsdaten fehlerhaft und unvollständig, vor allem wenn es um unvorhersehbare Interaktionen im (realen) Kriegsfall geht.

Dies wäre ein möglicher Ansatzpunkt für die völker­rechtliche Regulierung von LAWS: sich (als Erstes) mit den für Waffensysteme notwendigen Daten, ihrer Beschaffung und Nutzung zu beschäftigen.

Militärische Abläufe und Strukturen

Während die Versorgung mit passenden Trainings­daten also schwierig sein kann, führt der Einsatz unbemannter Systeme zu einer wahren Informationsflut für den Anwender. Das hat Auswirkungen auf militärische Strukturen und Entscheidungsabläufe.

Auf unterster Ebene könnten Entscheiderinnen und Entscheider von der wachsenden Informationsflut überfordert sein. Sofern nicht mehr und mehr Kompetenzen auf Computer übertragen werden sollen (vgl. Problematik der Assistenzsysteme, Seite 10), müssen die Soldatinnen und Soldaten in ihrer Ausbildung darauf vorbereitet werden. Die Ansprüche an die kognitiven Fähigkeiten des Perso­nals steigen damit. Dies ist so lange un­problematisch, wie nur ein kleiner Teil der Streit­kräfte robotische Systeme nutzt. Lösen die Maschinen aber nicht nur ältere Transportsysteme ab, sondern auch bemannte Kampfjets, Panzer und Schiffe, entsteht Handlungsbedarf: Sollen Entscheidungen für den Menschen nachvollziehbar und kontrollierbar bleiben, wachsen die Informationsdichte und damit die Komplexität von Entscheidungen. Dieser Kom­plexitätszuwachs verändert die Anforderungen an die Menschen: Ent­weder kann nur hochqualifiziertes Personal ein­gestellt werden, das möglicherweise schwierig zu finden ist, oder Aufgaben, die höhere intellektuelle Anforderungen stellen, müssen gebündelt auf eine übergeordnete Hierarchieebene verlagert werden. Dies würde die Rekrutierungs­strategien von Streitkräften verändern.

Nicht nur für höhere Hierarchieebenen oder Tech­nikspezialisten ergeben sich neue Ansprüche, auch die Zusammenarbeit von Mensch und Maschine im Feld wird sich ändern. Schon ferngesteuerte Roboter werden in den Streitkräften teilweise anders wahr­genommen als herkömmliche Waffen und Werk­zeuge;16 bei robotischen Systemen mit autonomen Funktionen ist mittlerweile erkennbar, dass sie Kom­munikationsverhalten und soziale Beziehungen in militärischen Einheiten verändern. Soziologische Forschung zu diesen Phänomenen thematisiert bis­lang hauptsächlich zivile Anwendungsfelder. Ihre Ergebnisse sind nicht direkt auf den Einsatz von Waffensystemen übertragbar, sie sind aber für die Gestaltung der Mensch-Maschine-Schnittstelle bedeut­sam. Schon in der anwendungsbezogenen zwischenmenschlichen Kommunikation beim Einsatz von Technologie entstehen trotz entsprechender Fachsprache und festgelegter Kommunikationsprozesse immer wieder Verständigungsprobleme. Die Inter­aktion von Soldat und Roboter im Feld über Sprache und Bewegung – und eben nicht bloß die Bedienung der Maschine – ist daher nicht nur eine technische Herausforderung, sondern muss auch in der Ausbildung der Soldatinnen und Soldaten berücksichtigt werden.

Durch die technische Komplexität von robotischen Systemen werden Streitkräfte in Zukunft noch abhän­giger von privaten Unternehmen. Beispielsweise darf die von der Bundeswehr geleaste Drohne Heron aus Versicherungsgründen nur vom Personal des Her­stellers gestartet und gelandet werden. Die Infrastruktur zur Datenübertragung ferngesteuerter Systeme ist ebenfalls oft in privater Hand, weil ein eigenes militä­risches Satellitennetz mit ausreichender Bandbreite zu teuer wäre. Diese konkreten Fälle entfielen zwar bei vollständig autonomen Systemen, allerdings be­steht aus operativ-militärischer Sicht durchaus ein Interesse, Fernsteuerung bei Bedarf zu ermöglichen. Die Abhängigkeit von privatwirtschaftlicher Expertise wird zudem nicht abnehmen. Im Gegenteil: Der Ein­fluss ziviler Unternehmen, vor allem ziviler Program­mierer, auf die militärischen Anwendungen wächst. Das Bundesministerium der Verteidigung und deut­sche Rüstungsunternehmen diskutieren zum Bei­spiel die Möglichkeit, im Bereich von Cybersicherheit und ‑verteidigung einzelne Aufgaben durch zivile Unternehmensbeschäftigte und nicht durch staat­liches (hoheitliches) Personal durchführen zu lassen, denn gut ausgebildete Experten und Expertinnen für militärische Hochtechnologie sind knapp.

Der Einfluss technischer Möglichkeiten auf politische Entscheidungen

Mit Blick auf den militärischen Einsatz von Waffensystemen mit autonomen Funktionen steht immer wieder die Frage nach der Veränderung von Hemmschwellen im Raum. Die Debatten der CCW belegen, dass einige der auf diesem Gebiet technologisch füh­ren­den Staaten, wie die USA, mittlerweile eigene Untersuchungen in ihren Streitkräften durchführen. Ohne die Ergebnisse dieser Analysen zu kennen, lässt sich konstatieren, dass auch Skepsis darin enthalten sein dürfte, denn alle Staaten betonen die Notwendigkeit von menschlicher Kontrolle beim Einsatz von LAWS. Weil aber das Ausmaß der erforderlichen menschlichen Kontrolle bislang nicht ausreichend bestimmt wurde, bleiben die Konsequenzen für die Kriegsführung an sich und für die (politische wie militärische) Schwelle zum Einsatz von Gewalt weit­gehend unreflektiert.

Dies ist umso problematischer, weil es für ein mög­liches Absinken der militärischen Hemmschwelle bisher keine veröffentlichten empirischen Unter­suchungen gibt. Die in den 2000er- und zu Beginn der 2010er-Jahre viel zitierte Joystick-Mentalität ist eher durch eine Debatte über posttraumatische Belastungs­störungen bei Piloten abgelöst worden.17

LAWS könnten zum Absinken der militärischen und vor allem der politischen Hemmschwelle zum Gewalteinsatz führen.

Aus politikwissenschaftlicher Sicht gibt es jedoch Hinweise, dass unbemannte Waffensysteme die Wahr­scheinlichkeit bewaffneter Konflikte erhöhen – also die politische Hemmschwelle zum Gewalteinsatz senken. Die deutschen Politikwissenschaftler Sauer und Schörnig argumentieren beispielsweise auf Grundlage der Theorie des demokratischen Friedens,18 dass unbemannte militärische Systeme für Demokratien attraktiver erscheinen als andere Waffen und so auch die Hemmschwelle zum Militäreinsatz senken können. Das Interesse von Demokratien an UMS liege darin begründet, dass die politischen Akteure die tat­sächlichen und politischen Kosten geringer einschätzten als bei anderen Waffensystemen. Vor allem die niedrigeren Verluste in den eigenen Truppen und die geringeren – oder jedenfalls weniger sichtbaren – Kollateralschäden lassen laut Sauer / Schörnig militä­rische Roboter attraktiver erscheinen und könnten langfristig zu einem Absinken der politischen Hemm­schwelle zum Gewalteinsatz führen.19

In den deutschen Diskursen zur Begründung des Einsatzes bewaffneter Drohnen ist jedenfalls der Schutz der eigenen Truppen das dominierende Ele­ment, nicht die neuen potentiellen Einsatzformen.20 Allerdings können sowohl ferngesteuerte als auch autonome Systeme eine neue Qualität der Distanzierung vom Kriegsgeschehen darstellen – neben einer körperlichen und emotionalen jetzt auch eine intel­lektuelle Distanzierung. Bereits durch ferngesteuerte Systeme wurden Einsätze möglich, die mit bemannten Systemen nicht stattgefunden hätten. Die Entfer­nung der Soldatinnen und Soldaten aus dem Einsatz­geschehen hat die gezielten Tötungen durch die CIA als wesentlichen Bestandteil der US-Strategie im Anti-terrorkampf, zum Beispiel in Pakistan und in Jemen, erst ermöglicht. Mit Spezialtruppen am Boden wären die eigenen Verluste jedenfalls sehr viel höher aus­gefallen, eine dauerhafte Präsenz von Kampfjets vor Ort hätte eine zu offensichtliche Souveränitäts­verletzung der Drittländer bedeutet. So bereitet die Technologie der bewaffneten Drohnen den Boden für eine räumlich und zeitlich entgrenzte Strategie im Kampf gegen den internationalen Terrorismus und dehnt damit die Definition eines bewaffneten Kon­flikts: Zum einen kann die lokale Begrenzung gänz­lich entfallen. Zum anderen sinkt die Zahl der sicht­baren Opfer, was Konflikte unter die öffentliche oder auch rechtliche Wahrnehmungsschwelle verschiebt und somit die Kontrolle des Militärs erschwert.21

Die sicherheitspolitischen Implikationen von LAWS

Unbemannte militärische Systeme sind nicht nur für das humanitäre Völkerrecht schwer zu fassen, sie können auch sicherheitspolitische Probleme hervor­rufen und stellen die Rüstungskontrolle vor große Herausforderungen. Durch den oben beschriebenen Dual-Use-Charakter ist das Proliferationspotential hoch, doch zu strenge Handelsbeschränkungen könnten wiederum sinnvolle zivile und friedliche Technologieentwicklung und die daraus entstehenden Anwendungen hemmen.

Aus sicherheitspolitischer Sicht ergeben sich vor allem Bedenken bezüglich der internationalen Stabi­li­tät: Mit wachsender Autonomie unbemannter Systeme steigt die Geschwindigkeit ihrer Aktionen im Einsatz, während die Vorhersagbarkeit des Verhaltens der Maschinen sinkt, da dieses sich zum Beispiel auf ler­nende Algorithmen stützt. Fehleinschätzungen der Roboter bzw. der robotischen Waffensysteme könn­ten darum kaum korrigiert werden, was in krisen­haften Situationen zu einer Eskalation des Konfliktes führen könnte.22 Zusätzlich führt das hochtechno­logische Aufrüsten zu einer Rüstungsspirale – immer­­hin gehört für einige Staaten die technolo­gische Überlegenheit zum Kern ihrer Militärdoktrin.23 Bei den CCW-Expertentreffen, die bisher stattgefunden haben, wurden diese Aspekte nur am Rande diskutiert, auch Menschenrechte haben in den Gesprächen eine untergeordnete Rolle gespielt. Eine entsprechend gestaltete internationale Regulierung zur Entwicklung und Nutzung von LAWS könnte dennoch mildernde Auswirkungen auf die geschilderten Risiken haben, ohne sie explizit anzu­sprechen. So würden zum Beispiel bestimmte, defi­nierte Formen von menschlicher Kontrolle im Ziel­auswahlprozess und beim Auslösen von Waffen die maschinelle Geschwindigkeit im Gefecht begrenzen und könnten daher Eskalationsrisiken im militärischen Konflikt dämpfen.

Die Regulierung von LAWS: Stand und Perspektiven

Die Vereinten Nationen

In der zwischenstaatlichen Debatte um Robotik geht es um technologische, völkerrechtliche, ethische und sicherheitspolitische Aspekte. Der Fokus liegt dabei auf den militärischen Anwendungen, während die Regulierung ziviler Roboter vorwiegend auf nationaler, teils auch europäischer Ebene diskutiert wird. Für die Debatte zur militärischen Nutzung autonomer Systeme haben sich vor allem zwei Foren der Verein­ten Nationen (VN) etabliert: der Menschenrechtsrat und die CCW.

Der Sonderberichterstatter des VN-Menschenrechts­rats Christof Heyns thematisierte LAWS in seinem Bericht von 2013 und spricht sich deutlich gegen ihre Entwicklung und Nutzung aus.24

Auch infolge dieser Empfehlung wird die Regulierung von LAWS seit 2014 vor allem im Rahmen der CCW beraten. Diese Debatte ist mandatsgemäß stark auf das humanitäre Völkerrecht fokussiert. Die Teil­nehmer der Treffen diskutieren zwar auch andere Themen wie Ethik und internationale Stabilität – diese werden für eine eventuelle Regulierung von LAWS aber eine untergeordnete Rolle spielen, so viel ist durch den bisherigen Verlauf der Gespräche ab­sehbar.

Eine solche Regulierung könnte unterschiedliche Reichweiten aufweisen und zum Beispiel in Form eines Zusatzprotokolls zur eigentlichen Waffenkonvention verabschiedet werden. Vergleichbare Zusatz­protokolle existieren bereits für Waffen mit nicht entdeckbaren Splittern, für Landminen, Brandwaffen, blindmachende Laserwaffen und explosive Kriegs­munitionsrückstände. Allerdings ist das Ziel von Gesprächen bzw. Verhandlungsprozessen, die in der CCW begonnen und – in diesem oder einem anderen Forum – fortgeführt werden, oft selbst Gegenstand der politischen Auseinandersetzung, ebenso wie das jeweils geeignete Forum an sich. Beispielsweise be­gan­nen die Verhandlungen über Streumunition und Antipersonenminen ebenfalls in der CCW, die Ab­kom­men wurden aber mangels Konsens schließlich außerhalb der CCW im Kreise der Staaten beschlossen, die dazu bereit waren. Wichtig ist, dass die bis­her existierenden CCW-Protokolle nicht die genannten Waffen­typen generell verbieten, sondern lediglich ihren Einsatz begrenzen, um die Einhaltung des hu­ma­nitären Völkerrechts (insbesondere zum Schutz der Zivil­bevölkerung) zu gewährleisten. Ein präventives Nut­zungs­verbot hat die CCW bislang nur bei blind­machenden Laserwaffen erreicht.

Zu LAWS fanden seit 2014 in der CCW drei informelle Expertentreffen und drei Treffen von Regierungsexperten mit Staatenvertretern, Nichtregierungsorganisationen (NRO) und Sachverständigen statt. Das Ziel dieser Treffen war es, den Staatenvertreterinnen und -vertretern die technischen Möglichkeiten mit ihren Vor- und Nachteilen aufzuzeigen und so die Grundlage für eine informierte Debatte über eine mögliche Regulierung von LAWS zu schaffen.

Die Notwendigkeit der Regulierung von LAWS ist umstritten – aber auch der Regelungsgegenstand.

In der CCW-Debatte sind drei Diskussionsstränge zentral. Sie betreffen erstens die Frage nach der gene­rellen Notwendigkeit einer internationalen Regulierung, zweitens die genaue Definition von LAWS als Ausgangspunkt der Regulierung und drittens die weiteren Kriterien für eine mögliche Regulierung.

Zum ersten Diskussionsstrang lässt sich konstatieren, dass schon der Nutzen einer Regulierung um­stritten ist. So wäre ein Verbot für die Entwicklung von LAWS denkbar, könnte aber gleichzeitig die zivile Entwicklung autonomer Systeme behindern. Praktikabler scheint darum eine Nutzungsbeschränkung von LAWS, auch wenn die Systeme dann in einzelnen Fällen eingesetzt werden könnten. Eine »schwächere« Lösung wären nationale Moratorien für die Entwicklung von LAWS oder eine gemeinsame politische Erklärung zu Elementen der Regulierung, bis eine umfassende (internationale) Regulierung gefunden ist.

Vor der Formulierung einer Definition von LAWS, dem zweiten Schwerpunkt in der CCW-Debatte, steht die grundsätzliche Frage, ob überhaupt eine Definition nötig und möglich ist. Zahlreiche Staaten sind der Ansicht, dass eine Arbeitsdefinition zunächst aus­reicht.

Bei der Formulierung der Definition beziehen sich die Schwierigkeiten auf alle Elemente des Terminus »LAWS«: »tödlich«, »autonom«, »Waffensystem«. Der Fokus der Debatte liegt auf der Definition von Auto­nomie. Wird sie sehr breit gefasst, könnten auch be­stehende Systeme eingeschlossen sein und müssten gegebenenfalls verboten werden. Die Mehrheit der CCW-Mit­glieder, darunter auch die Bundesrepublik, lehnt dies ab. Eine Lösungsmöglichkeit wäre, einen Stichtag anzusetzen. Unbemannte Systeme, die davor ent­wickelt und genutzt wurden, wären dann nicht von dem Verbot erfasst. Unklar ist dabei, ob Software­updates bestehender Systeme erlaubt wären, denn sie könnten relativ einfach die Autonomie erhöhen, ohne dass notwendigerweise mehr Kontrolle gegeben wäre. Wie bei vielen Überlegungen zu autonomen Fähigkeiten von Maschinen entstünde also auch hier ein Verifikationsproblem, sollte eine bindende Rege­lung überhaupt einen Überprüfungsmechanismus vorsehen.

Um diese Problematik zumindest teilweise zu um­gehen, hat sich als ein denkbares Kriterium der Regu­lierung – dritter zentraler Diskussionsstrang – im Laufe der CCW-Treffen besonders das Konzept der bedeutsamen menschlichen Kontrolle (meaningful human control) durchgesetzt. Dies bedeutet, dass die Zielauswahl und der Waffeneinsatz in einer Form festgelegt werden, bei der die Bedienerin oder der Bediener ausreichend über den Einsatzkontext infor­miert ist und die Handlungen der Maschine sowie die Konsequenzen des Waffeneinsatzes realistisch ab­schätzen und gegebenenfalls verändern kann.25 So wäre auch sichergestellt, dass die notwendigen humanitär-völkerrechtlichen Abwägungen durch Menschen vorgenommen und nicht an die Maschine delegiert bzw. vernachlässigt würden.

Einige Sachverständige im CCW-Prozess fordern, dass sich die Regulierung von LAWS auf einzelne Funktionen der Maschine konzentrieren sollte, anstatt eine umfassende Definition von Autonomie aufzunehmen.26 Gemeint sind hier Funktionen, die für die Zielauswahl und den Waffengebrauch not­wen­dig sind und damit für die Einhaltung des huma­nitären Völkerrechts als besonders problematisch gelten (critical functions). Bei solchen Entscheidungen müsse immer ein Mensch die Kontrolle haben, um die völkerrechtlich notwendigen Abwägungen bezüg­lich der Angemessenheit der eingesetzten militärischen Mittel sowie der Unterscheidung zwischen Militär und Zivilbevölkerung vorzunehmen. Fraglich ist jedoch, ob nicht auch andere Faktoren für die Ausübung einer bedeutsamen menschlichen Kon­trolle relevant sind.27 Insbesondere eine Betrachtung über das humanitäre Völkerrecht hinaus legt nahe, weitere Charakteristika der Waffenplattformen, wie Reichweiten, Geschwindigkeiten, Stehzeiten und Bewaffnungstypen, zu berücksichtigen. Die Analyse dieser Kriterien könnte unter anderem das Risiko für Rüstungsdynamiken oder die Eskalation eines Kon­fliktes (modellhaft) abbilden. Für diese beiden Phäno­mene sind auch die Ausgestaltung der Mensch-Maschine-Schnittstelle und die Art der automatisierten Datenauswertung relevant, deren Operationali­sierung sich jedoch schwierig gestaltet.28

Obwohl der CCW-Prozess auf das humanitäre Völker­recht, also die rechtliche Dimension von LAWS, fokussiert ist, spielt auch die ethische Dimen­sion eine nicht unwichtige Rolle in der Debatte. Zum einen sind verfasstes und Gewohnheitsrecht oft die Folge ethischer Vorstellungen, zum anderen findet sich in der Präambel der CCW ein Verweis auf die Martens’sche Klausel. Sie besagt, dass auch Brauch, öffentliches Gewissen und die Vorgaben der Menschlichkeit völkerrechtliche Bewertungskriterien sein können, sofern keine anderen Regularien bestehen.

Dem öffentlichen Gewissen versuchen sich einige Meinungsumfragen empirisch anzunähern; alle zei­gen jedoch inhärente methodische Schwächen. So sind die Umfragen in der Regel nicht repräsentativ für die gesamte Weltbevölkerung, auch sind die Fragen häufig, ob beabsichtigt oder nicht, suggestiv formuliert. Darüber hinaus reichen Umfragen als Abbildung des öffentlichen Gewissens nicht aus, sie werden zum Beispiel ergänzt durch die mediale Debatte oder künstlerische Auseinandersetzungen mit dem Thema.29

Autonomie in Waffensystemen würde die Menschenwürde der Opfer verletzen.

Die zentrale Frage der ethischen Debatte ist jedoch die Verletzung der Menschenwürde durch autonome Waffensysteme. Die Würde ist Bestandteil der Mensch­lich­keit. Sie setzt voraus, dass der Mensch nie zum Objekt oder Mittel zum Zweck gemacht wird. Fällt im Krieg die Entscheidung zu töten, ist es darum wichtig, dass ein moralisch handelnder Mensch versteht und reflektiert, dass er einen anderen Menschen tötet. Eine Maschine kann das nicht, da ihr das Verständnis für Sterblichkeit und den Wert des Lebens grundsätzlich fehlt.30 Durch die Nutzung autonomer Waffensysteme würde damit die Würde der Opfer, seien es Angehörige der Streitkräfte oder der Zivilbevölkerung, verletzt – auch technische Verbesserungen können dieses Problem nicht lösen.

Was die Perspektiven des CCW-Prozesses angeht, so könnte er verschiedene Ergebnisse hervorbringen – nicht alle sind gleich wahrscheinlich. Ein neues Pro­to­koll zur Waffenkonvention mit einem rechtlich bindenden Verbot der Entwicklung und Nutzung von LAWS wäre die umfassendste Lösung – sie ist aber mit Blick auf den bisherigen Verlauf der Gespräche unwahrscheinlich. Bisher haben sich 28 Staaten für ein solches Verbot ausgesprochen,31 zahlreiche Staa­ten sehen dies aber skeptisch oder sind explizit gegen jegliche Form von Regulierung in der CCW. Die Konflikt­linie lässt sich recht deutlich an dem Krite­rium festmachen, ob ein Staat die Möglichkeiten und ein Interesse daran hat, LAWS zu entwickeln und ein­zusetzen, oder eher nicht. So sind die USA, Südkorea und Israel, aber auch Russland gegen ein Verbot, während sich viele Entwicklungs- und Schwellen­länder dafür aussprechen.

Aufgrund des Konsensprinzips erscheint eine Kompromisslösung also wahrscheinlicher. Diese könnte in einer politischen Erklärung liegen, wie Deutschland und Frankreich sie 2017 vorgeschlagen haben.32 Sie könnte wesentliche Prinzipien, zum Beispiel das der menschlichen Kontrolle, festschreiben und näher ausformulieren, wie die Staaten diese implementieren sollen. Die von den CCW-Staaten im August 2018 verabschiedeten »möglichen Prinzipien«33 (possible guiding principles) schließen einen solchen nächsten Schritt hin zu einer politischen Erklärung jedenfalls nicht explizit aus – im Gegen­teil: Sie stellen einen ersten vorsichtigen und unver­bindlichen Einigungsversuch dar.

Die Diplomaten verhandeln unter Zeitdruck, denn zum einen schreitet die technische Entwicklung voran und beispielsweise die USA und Australien investieren viel Geld in die Entwicklung von Waffen­systemen mit autonomen Fähigkeiten. Zum anderen könnte – falls in den nächsten ein bis zwei Jahren keinerlei Einigung zustande kommt – der Verhandlungsprozess in ein anderes Forum (außerhalb der VN) überführt werden. Dies war bereits bei den Abkommen zu Antipersonenminen (Inkrafttreten 1999) und zu Streumunition (Inkrafttreten 2010) der Fall. Ein Verbotsvertrag außerhalb der VN könnte zwar auch eine normative Wirkung entfalten, hätte aber zunächst einmal keinen Effekt auf Staaten, die ihm nicht beitreten.

Die Europäische Union

Auch auf europäischer Ebene wird der Umgang mit autonomen Waffensystemen diskutiert. So hat das Europäische Parlament im September 2018 eine Resolution34 verabschiedet, in der es mit großer Mehrheit ein Verbot von Waffen verlangt, die im Gewalteinsatz keiner menschlichen Kontrolle unter­liegen. Auch fordert das EP den Europäischen Rat darin auf, einen entsprechenden Gemeinsamen Standpunkt der EU-Mitgliedsstaaten für den CCW-Prozess zu formulieren. Diese Resolution hat jedoch keine bindende Wirkung, die Mitgliedsstaaten müssen sich also selbst dazu entschließen, eine ge­mein­same Position zu entwickeln. Die bislang sehr unterschiedlichen Haltungen der einzelnen Staaten erschweren das: Das Vereinigte Königreich stellt sich gegen eine Regulierung, Deutschland und Frankreich schlagen einen Mittelweg vor, Österreich fordert ein umfassendes Verbot.

In der Debatte des Europäischen Parlaments zum Entschließungsantrag bekräftigte die Hohe Vertreterin für Außenpolitik, Federica Mogherini, den Bedarf an gemeinsamen Grundsätzen für den Einsatz von LAWS.35 Insbesondere müsse der Einsatz gemäß den Regeln des humanitären Völkerrechts stattfinden und Entscheidungen zum Einsatz von tödlicher Gewalt sollten immer von Menschen und nicht von Maschinen getroffen werden. Mogherini verwies in ihrer Rede auf eine Expertengruppe zu Technologiefragen (Global Tech Panel), die sie im Frühjahr 2018 ins Leben gerufen hat. Die Gruppe soll Antworten auf Fragen an der Schnittstelle von Technologie und Sicherheit lie­fern. Die Zusammensetzung dieser Expertengruppe – es sind überwiegend Vertreterinnen und Vertreter der Privatwirtschaft – lässt jedoch vermuten, dass das Thema LAWS keine besondere Rolle spielen wird.36 In einem offenen Brief an die Hohe Vertreterin kriti­sier­ten daher mehrere Fraktionen des EP im Oktober 2018 das Fehlen von unabhängigen LAWS-Experten aus Wissenschaft und Zivilgesellschaft.37 Der Regulie­rungs­bedarf bezüglich LAWS wurde auch von der Mehrzahl der Sachverständigen unterstrichen, die im Oktober 2018 in einer öffentlichen Anhörung des Unterausschusses für Sicherheit und Verteidigung (SEDE) des Europäischen Parlaments zur Rolle von KI im Verteidigungsbereich geladen waren.38

Die Uneinigkeit der EU-Mitgliedsstaaten hinsichtlich der Entwicklung und Nutzung von LAWS hat sich zum ersten Mal öffentlich in der Ausgestaltung des Europäischen Verteidigungsfonds gezeigt. Er soll auf Wunsch des EP eine Ausschlussliste für nicht finan­zierungswürdige Technologiebereiche enthalten, zu denen in den Augen einiger Fraktionen auch autonome Waffensysteme gehören. In einer ersten Fassung schloss dieser daher die Förderung solcher Technologien explizit aus. Die Folgeversion vom November 2018, welche die Position des Europäischen Rates berücksichtigt, enthält nur noch einen Verweis auf die Notwendigkeit, dass geförderte Forschung und Entwicklung keinesfalls zu Waffensystemen führen darf, die geltendes Völkerrecht verletzen.

Bundestag und Bundesregierung

In der deutschen Debatte um Robotik – sei es für militärische oder zivile Anwendungen – sind bei der Bundesregierung und im Parlament erste Schritte erkennbar. Ein Referenzpunkt ist der Koalitions­vertrag der Bundesregierung aus dem Jahr 2013. Darin bekunden die Koalitionspartner ihre Absicht, »sich für eine völkerrechtliche Ächtung vollautoma­tisierter Waffensysteme [einzusetzen], die dem Men­schen die Entscheidung über den Waffeneinsatz entziehen«,39 aber auch unbemannte Systeme unter­halb dieser Schwelle international zu regulieren. Ähnliches sieht auch der Koalitionsvertrag zwischen CDU / CSU und SPD von 2018 vor; dieser verwendet allerdings den gebräuchlicheren Terminus »autonome Waffensysteme«.40 Außenminister Heiko Maas griff diese völkerrechtliche Ächtung mehrfach auf, hat aber klargestellt, dass Deutschland ein schritt­weises Vor­gehen über die oben genannte politische Erklä­rung mit dem langfristigen Ziel des verbind­lichen Verbots verfolgt.41

Das Plenum des Deutschen Bundestages hat sich bis Ende 2018 noch nicht mit dem Thema LAWS befasst, aber der Unterausschuss für Abrüstung und Rüstungskontrolle, und zwar zuletzt im Jahr 2015. Das Plenum beschäftigte sich jedoch im November 2018 mit dem EU-Verteidigungsfonds und der er­wähn­ten Technologie-Ausschlussliste. Ein Änderungs­antrag der Fraktion Bündnis 90 / Die Grünen, die Bundes­regierung solle sich dafür einsetzen, LAWS wieder auf die Ausschlussliste zu setzen, wurde in die Ausschüsse verwiesen.

In der Bundeswehr steht eine grundlegende strategische Debatte zum Für und Wider von Waffensystemen mit autonomen Funktionen ebenfalls noch aus. Während die Nutzung bewaffneter ferngesteuerter Drohnen innerhalb der Bundeswehr durchaus auf Zu­stimmung trifft, ist die Sicht auf autonome Systeme eine andere: Der Kontrollverlust der Soldatin oder des Soldaten wird eher negativ beurteilt. Hinzu kommt das fehlende Vertrauen in die kognitiven und kommu­ni­kativen Fähigkeiten zukünftiger »Kampfroboter«. Sie würden den Anforderungen der Bundeswehr nicht gerecht und schmälerten darum den Nutzen dieser Technologie.42 Das Bundesverteidigungsministerium erwähnt im Weißbuch von 2016 die militä­rische Robotik nicht. Zudem fehlt eine deutsche (Arbeits-)Definition, um LAWS näher einzugrenzen und die deutsche Position in den internationalen Verhandlungen im Rahmen der CCW zu präzisieren.

Größere Aufmerksamkeit erfährt die zivile Nutzung von Robotern und künstlicher Intelligenz, besonders prominent in der KI-Strategie der Bundesregierung43 vom November 2018. Die zivile Nutzung von Robotik ist vielfältig und umfasst unter anderem (jetzt oder in naher Zukunft) Industrieroboter, Haus­haltshilfen, Autopiloten, Kameraplattformen und Lieferdienste. Gerade in Verbindung mit dem Internet der Dinge, also der Vernetzung von Gegenständen mit Menschen und untereinander, entstehen hier viele Chancen und Herausforderungen. Zwei Entwicklungen werden in Deutschland besonders umfassend diskutiert: die Nutzung und Regulierung kleiner Droh­nen für unterschiedliche Zwecke44 und das autonome Fahren.

Zur Einschätzung von LAWS ist der Blick auf zivile Entwicklungen notwendig, aber nicht hinreichend.

In Deutschland ist besonders die Automobil­branche ein Treiber für (zivile) Entwicklungen in der Robotik: Das autonome Fahren hat in den letzten Jahren große Fortschritte gemacht.45 Allerdings blei­ben die rechtlichen Voraussetzungen in vielen Län­dern, so auch in Deutschland, weiterhin zurück und so manche Zeitprognose hat sich als unrealistisch herausgestellt.46 Klar ist jedoch, dass die Debatte zum autonomen Fahren den Autonomiebegriff und den Umgang mit Robotern in der gesellschaftlichen Aus­einandersetzung prägt.47 Darüber hinaus nimmt der zivile Sektor mögliche militärische Entwicklungen vorweg und zeigt Probleme auf. Dazu gehören unter anderem die Gestaltung der Mensch-Maschine-Schnitt­stelle und die Ausgestaltung von menschlicher Kontrolle. Dafür muss geklärt werden, welche Erwar­tungen der Mensch an autonome Systeme oder auch an Assistenzsysteme hat – und welche davon realis­tischerweise erfüllt werden können.

Bezüglich ziviler Anwendungen spielen zunehmend auch ethische Fragen eine zentrale Rolle. Dabei geht es nicht nur um die Beschaffung von Daten für maschinell lernende Systeme und die damit verbunde­nen datenschutzrechtlichen Anforderungen, son­dern auch um das Problem, dass Kernbereiche der menschlichen Würde durch maschinelle Entscheidun­gen betroffen sein können.48 Wichtige Akteure in der deutschen Debatte um die Ethik von Robotern im Allgemeinen und speziell von LAWS sind die katholi­sche und die evangelische Kirche. Sie haben zwischen 2013 und 2016 häufig Konferenzen und Diskussionen zu diesem Aspekt der Robotik organisiert und Publi­ka­tionen herausgegeben. Insgesamt haben ethische Aspekte in der öffentlichen Debatte um militärische Robotik aber nur oberflächlich einen Platz, eine fun­dierte Auseinandersetzung gibt es selten.

Im Bereich ziviler Anwendungen lässt sich ein Wandel hin zu einer vertieften Auseinandersetzung mit ethischen Fragen erkennen: Das Bundesministerium für Verkehr und digitale Infrastruktur (BMVI) hat zum Beispiel im September 2016 eine Ethikkommission für autonomes Fahren beru­fen. Sie bestand aus 14 Experten unterschied­licher Fachgebiete und hat im Juni 2017 Leitlinien für die Programmierung und Nutzung autonomer Fahr­zeuge veröffentlicht.49 Darin geht es unter anderem um Haftungsfragen und um die Abwägung von Schäden bei drohenden Un­fällen – ein bekanntes Dilemma, das durch die Über­tragung von Entscheidungen auf Maschinen neue Relevanz erhält. Der Abschlussbericht der Kommis­sion thematisiert auch das sogenannte Trolley-Dilem­ma, eine Situation, in der ein Mensch (oder eine Ma­schine) zwischen Menschenleben abwägen muss – allerdings ohne Lösungsansätze aufzuzeigen. Dass in solchen Fällen ein Mensch die Entscheidung treffen sollte, ist naheliegend. Wie dies jedoch unter den gegebenen Umständen und bei autonomen Systemen umgesetzt werden kann, bleibt offen, denn eine Über­tragbarkeit dieser Leitlinien auf die militärische Nut­zung autonomer Systeme ist von den Verfassern nicht vorge­sehen.50 Einige der Aussagen tangieren jedoch auch Probleme der militärischen Nutzung, wie etwa die Frage der Verantwortung des Menschen bei der Nutzung bestimmter autonomer Funktionen. Ein Expertengremium, das ethische Fragen der militä­rischen Nutzung autonomer Systeme oder der gene­rellen Nutzung von KI in allen gesellschaftlichen Bereichen ausführlich diskutiert, haben bisher weder Bundesregierung noch Bundestag eingesetzt. Bislang werden zivile und militärische Anwendungen in der Regel voneinander getrennt betrachtet.

Schlussfolgerungen und Empfehlungen

Auf dem Weg zu einer nationalen Strategie für die Regulierung von LAWS

Die politischen, rechtlichen und ethischen Fragen, die die Entwicklung und Nutzung von LAWS aufwerfen, sind drängend und von hoher Bedeutung für die Ge­stal­tung der deutschen Sicherheits- und Verteidigungs­politik. Die Antworten auf diese Fragen werden schon heute, aber auch in Zukunft von der gesellschaft­lichen Debatte über die zivilen Anwendungen von Robotern mitgeprägt. Schreiten die Gespräche und ein möglicher Verhandlungsprozess im Rahmen der CCW voran, bleibt die bestehende politische Fest­le­gung des aktuellen Koalitionsvertrags zwar rich­tungs­weisend, aber inhaltlich nicht mehr ausreichend. Um den multilateralen internationalen Prozess weiterhin aktiv mitgestalten zu können, ist Folgendes nötig: Die gesamte Bundesregierung, insbesondere das Auswärtige Amt und das Bundesministerium der Verteidigung, müssen sich intensiv und gemeinsam mit dem Thema LAWS befassen. Ein daraus resultierendes Dokument sollte drei Aufgaben erfüllen:

  • Erstens sollte es die definitorischen Fragen benen­nen und beantworten. Das BMVg erscheint hier – unter Berücksichtigung der Tradition der Ethik in den Streitkräften – als ein wichtiger Akteur, die Konsequenzen der Technologie für die Definition von LAWS und umgekehrt zu erörtern. Als potentieller Anwender solcher Waffensysteme erscheint es als notwendige Voraussetzung, dass das BMVg eine eigene Definition dieser Systeme erarbeitet, wie zum Beispiel geschehen in der Directive 3000.0951 des US-amerikanischen Verteidigungsministeriums (Department of Defense, DoD), und sich damit einer politischen Diskussion stellt.

  • Zweitens sollte dieses Dokument den politischen und rechtlichen Rahmen setzen für die Nutzung von autonomen Funktionen in Waffensystemen der Bundeswehr.

  • Dadurch würde drittens die schon existierende Forschung zu militärischer Autonomie so ausgerichtet und begrenzt werden, dass die bestehenden völkerrechtlichen Prinzipien gewahrt und die ent­stehende Norm menschlicher Kontrolle berücksichtigt würde.

Der Entwurf eines solchen »Strategiepapiers der Bundes­regierung zu Waffensystemen mit autonomen Funktionen« kann die Grundlage für eine parlamentarische Auseinandersetzung darstellen, die in diesem Papier enthaltenen völkerrechtlichen Grundsätze könnten durch eine Resolution weiter legitimiert werden. Auf dem Weg dahin müssen allerdings noch einige Hürden überwunden werden:

  • Erstens fehlt in der politischen Debatte an einigen Stellen immer noch gesichertes Wissen über die der Robotik zugrundeliegende Technologie. Wo das wissenschaftlich-technologische Know-how vorhanden ist, ist weiterhin Übersetzungsarbeit vom technisch-akademischen in den politisch-diskursiven Raum nötig. Hier könnte es helfen, bestehende Strukturen an der Schnittstelle von Wissenschaft, Politik und Wirtschaft zu stärken oder gegebenenfalls neu zu schaffen. Die (militä­rische) Nutzung von künstlicher Intelligenz im Allgemeinen und von Waffensystemen mit autonomen Funktionen im Besonderen werden auf längere Zeit eine politische Herausforderung, nicht nur in Bezug auf die Regulierung, darstellen.

  • Zweitens mangelt es wegen der starken Interdisziplinarität oft am Handwerkszeug zur Beschreibung der spezifischen Funktionalitäten der Technologie. Die verwendete Sprache zur Charakterisierung von Robotern ist häufig nicht eindeutig, zu stark ver­einfachend, anthropomorph und wertend. Zudem bedient und festigt sie die Vorstellung, dass die fraglichen Systeme über menschliche Eigenschaften verfügen, bzw. schreibt ihnen solche zu. Be­griffe wie »entscheiden«, »bewerten« oder »auswählen« benennen den von Menschen beabsichtigten Zweck der Maschinen, nicht aber ihre tatsächliche Funktionsweise und schon gar nicht ihre Fähig­keiten.

    Es ist daher ratsam, eine Sprache zu finden, die diese Technologie angemessen beschreibt, und sie in der Politik zu etablieren. Das International Panel on the Regulation of Autonomous Weapons (iPRAW) schlägt zum Beispiel vor, den Begriff »künstliche Intelligenz« durch eine konkrete Benennung der benutzten algorithmischen Verfahren zu ersetzen. Obwohl sich der Begriff »Maschinenlernen« mittlerweile durchgesetzt hat, ist es angeraten, hier eher von »Training« und »datengetriebenen Algorithmen« zu sprechen – oder diese rein technische Bedeutung zumindest immer mitzudenken.

  • Drittens bleibt es unumgänglich, dass sich Ent­wick­ler, militärische Anwender und letztlich auch politische Entscheidungsträger aus ethischer und völkerrechtlicher Sicht intensiv mit Art und Umfang der autonomen Fähigkeiten von Waffen­systemen auseinandersetzen. Der schleichende Prozess hin zu immer mehr autonomen Funktionen – Assistenzsystemen – bedarf einer Reflexion auf politischer Ebene, auch im Deutschen Bundestag. Eine öffentliche Anhörung des Verteidigungsausschusses könnte wichtige Akzente setzen und eine Debatte anstoßen, die auch die technischen Hintergründe der Entwicklungen und die daraus entstehenden militärischen Konsequenzen beleuch­tet. Besonders wichtig ist dabei eine tiefgreifende Analyse der jeweiligen Mensch-Maschine-Schnittstelle. Nur so ist sichergestellt, dass die Übertragung von Handlungskompetenzen auf die Maschine wie gewünscht verläuft und dass die menschliche Kontrolle im Zielkreislauf erhalten bleibt.

Die Bundesregierung positioniert sich mit dem deutsch-französischen Arbeitspapier vom Herbst 2017 klarer bezüglich der schrittweisen Vorgehensweise, um eine internationale Regulierung von LAWS zu erreichen.52 Die Zeit dafür ist knapp, denn mit der technischen Entwicklung steigt nicht nur der Druck, zu einer Regulierung zu gelangen, sondern auch das Interesse vieler Staaten, die militärischen Möglichkeiten der technologischen Entwicklung auszuschöpfen. Gerade deshalb sind Regeln nötig – und dies ist in der deutschen politischen Debatte mittlerweile erkannt.

Im Lichte des selbst formulierten Anspruchs und der normativen Grundlage deutscher Außenpolitik, vor allem im Bereich der Rüstungskontrolle, ist es sinnvoll, dass die Bundesregierung ihre Anstrengungen zum Erreichen von international verbindlichen Regeln fortführt und intensiviert. Die weltweite Äch­tung von LAWS als Systeme ohne menschliche Kon­trolle ist mit Blick auf das bestehende humanitäre Völkerrecht ein ethisches und rechtliches Gebot. Nur so, also mit der unbedingten Wahrung von mensch­licher Kontrolle, kann die Achtung der Menschenwürde beim Einsatz von Waffensystemen mit auto­nomen Funktionen im Sinne des Artikels 1 Grund­gesetz sichergestellt werden.

Denn es geht für Deutschland um mehr als einige militärische Vorteile durch den Einsatz solcher Sys­teme, wie zum Beispiel – und dies ist unbestritten ein hohes Gut – den Schutz der eigenen Soldatinnen und Soldaten: Was auf dem Spiel steht, ist die Kon­trolle über den Konflikt, die der Mensch, zumindest teilweise, verlieren kann, wenn die militärischen Auseinandersetzungen in Zukunft von Maschinen ausgetragen werden.

Die EU als wichtiger Akteur bei der Regulierung von LAWS

Mit Frankreich und Deutschland treffen bei der Frage der Regulierung von LAWS zwei divergierende natio­nale Standpunkte aufeinander. Das deutsch-franzö­sische Arbeitspapier aus dem Jahr 2017 verdeutlicht aber, dass es durchaus eine gemeinsame Basis für eine Regulierung gibt: die Sicherstellung der mensch­lichen Kontrolle.

Auch wenn das Ziel eines internationalen Verhand­lungsprozesses zwischen diesen beiden Partnern durchaus umstritten ist – während die politische Erklärung für Berlin lediglich einen ersten Schritt darstellt, zeigt sich Paris für rechtlich bindende Instrumente bislang nicht offen –, ist hier dennoch der Kristallisationspunkt für einen Gemeinsamen Standpunkt der EU erkennbar. Diesen gilt es auszu­bauen, zu schärfen und dann im Rahmen der CCW als kritische Kompromissmasse einzusetzen.

Die EU kann dabei flankierende Maßnahmen ansetzen, um die Glaubwürdigkeit werteorientierter europäischer Außenpolitik zu wahren. Besonders bei zwei Themen könnte die Bundesregierung diesbezüglich in Brüssel aktiv werden:

  • Erstens sollte die EU keine Forschung finanziell fördern, zum Beispiel über den Europäischen Verteidigungsfonds, die indirekt oder direkt zur Entwicklung von LAWS beiträgt. Umso wichtiger ist es, Forschung voranzutreiben, die zum Ziel hat, menschliche Kontrolle über Waffensysteme mit autonomen Funktionen sicherzustellen und gleich­zeitig potentielle militärische Vorteile solcher Systeme zu erhalten.

  • Zweitens ist es notwendig, die fortschreitende Technologieentwicklung im zivilen und militärischen Bereich kritisch zu analysieren und politisch zu begleiten. Das Europäische Parlament fordert in seiner ersten Resolution zu (ziviler) Robotik vom Februar 2017 eine europäische Agentur zur Erforschung der Auswirkungen dieser Technologie.53 Das Mandat einer solchen Agentur solle die interdisziplinäre, kritische Erforschung der Auswirkungen einer potentiellen militärischen Nutzung beinhalten. Die sich daraus entwickelnden Normen könnte die EU mit ihrer Marktmacht und ihrem politischen Einfluss in internationale Standardisierungsprozesse und letztlich in die Umsetzung einer völkerrechtlichen Regulierung einbringen.

Die Transformation der CCW-Gespräche in einen Verhandlungsprozess

Der Gesprächsprozess im Rahmen der CCW verlangsamt sich zunehmend und droht am Widerstand einzelner Staaten zu scheitern, während ebendiese die technische Entwicklung weiter vorantreiben. Um der neuen Qualität von LAWS Rechnung zu tragen und ihre negativen Implikationen abzumildern, ist darum eine zeitnahe Kompromisslösung nötig. Der Fokus sollte dabei auf der menschlichen Kontrolle über den Gewalteinsatz liegen, um diese international als Norm zu verankern. Eine politisch verbind­liche Erklärung könnte dabei helfen, beinhaltet aber einige Herausforderungen. So würde sie viele wich­tige Weichenstellungen zunächst auf nationaler Ebene belassen, obwohl diese globale Interessen berühren. Darüber hinaus birgt sie das Risiko, einen weiteren Verhandlungsprozess zu stoppen. Einigen sich die CCW-Staaten also auf diese Option, ist weiterer politischer Druck nötig, um die Norm »menschliche Kontrolle über den Gewalteinsatz« international zu stärken und auszugestalten.

Abkürzungen

AA

Auswärtiges Amt

BMVg

Bundesministerium der Verteidigung

BMVI

Bundesministerium für Verkehr und digitale Infrastruktur

CCW

Convention on Certain Conventional Weapons (Waffenkonvention der Vereinten Nationen)

CIA

Central Intelligence Agency (US-amerikanischer Geheimdienst)

DoD

Department of Defense (US-amerikanisches Verteidigungsministerium)

EP

Europäisches Parlament

EU

Europäische Union

IoT

Internet of Things (Internet der Dinge)

iPRAW

International Panel on the Regulation of Autonomous Weapons

KI

Künstliche Intelligenz

LAWS

Lethal Autonomous Weapon System (Letales / tödliches autonomes Waffensystem)

NRO

Nichtregierungsorganisation

SEDE

Unterausschuss für Sicherheit und Verteidigung des Europäischen Parlaments

UMS

Unbemanntes militärisches System

VN

Vereinte Nationen

Literaturhinweise

Marcel Dickow / Daniel Jacob

Das globale Ringen um die Zukunft der künstlichen Intelligenz

Berlin: Stiftung Wissenschaft und Politik, April 2018 (SWP Aktuell 24/2018)

International Panel on the Regulation of Autonomous Weapons

Concluding Report

Dezember 2018

Endnoten

1

 Vgl. Europäische Kommission, Mitteilung der Kommission an das Europäische Parlament, den Europäischen Rat, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen: Künstliche Intelligenz für Europa {SWD(2018) 137final}, 25.4.2018, <https://ec.europa.eu/transparency/regdoc/rep/1/ 2018/DE/COM-2018-237-F1-DE-MAIN-PART-1.PDF> (ein­gesehen am 7.12.2018); Deutsche Bundesregierung, Strategie Künstliche Intelligenz der Bundesregierung, November 2018, <https://www.bmbf.de/files/Nationale_KI-Strategie.pdf> (eingesehen am 7.12.2018).

2

 Vgl. Belgische Abgeordnetenkammer, DOC 54 3203/001, 27.6.2018, <http://www.dekamer.be/FLWB/PDF/54/3203/ 54K3203001.pdf> (eingesehen am 7.12.2018).

3

 Als Zivilklausel werden Passagen in den Satzungen deutscher Universitäten bzw. Hochschulen bezeichnet, die ihre Forschung auf rein zivile Anwendungen beschränken. Strittig sind dabei unter anderem Fragen von Dual-Use-Anwendungen, also ob Technologieentwicklung auch dann durchgeführt werden soll, wenn sich eine militärische Nutzung bereits abzeichnet.

4

 Maschinelles Lernen beschreibt eine Reihe von mathe­matisch-statistischen Verfahren, bei denen Algorithmen nach Gemeinsamkeiten bzw. Mustern in großen Daten­mengen suchen. Sie können zum Beispiel zum Klassifizieren von Objekten, aber auch zum Auffinden neuer Regeln be­nutzt werden. Einen guten Überblick bietet Ben Buchanan/ Taylor Miller, Machine Learning for Policymakers. What It Is and Why It Matters, Juni 2017, <https://www.belfercenter.org/sites/ default/files/files/publication/MachineLearningforPolicy
makers.pdf
> (eingesehen am 14.1.2019).

5

 Der Begriff Internet of Things beschreibt die Vernetzung von technischen Geräten, wie zum Beispiel Haushaltsgeräten, über Datenverbindungen mit dem Internet. Die Hersteller versprechen den Nutzerinnen und Nutzern eine bessere Benutzbarkeit und Synergieeffekte im Zusammenspiel mit anderen Geräten, gleichzeitig können solche IoT-Geräte eine Vielzahl von Daten erfassen und übermitteln. Da sie ständig online sind, besteht zudem die Gefahr, dass solche Geräte über das Internet elektronisch angegriffen werden.

6

 Besondere Aufmerksamkeit erfuhr in Bezug auf die Aus­wertung von Bilddaten das Projekt Maven des Pentagon in Zusammenarbeit mit Google. Auf Druck der Google-Beleg­schaft und öffentlicher Berichterstattung wird Google diese Zusammenarbeit mit dem Pentagon über das Jahr 2019 hinaus nicht verlängern. Vgl. Daisuke Wakabayashi/Scott Shane, »Google Will Not Renew Pentagon Contract That Upset Employees«, in: The New York Times, 1.6.2018, <https:// www.nytimes.com/2018/06/01/technology/google-pentagon-project-maven.html/> (eingesehen am 7.12.2018).

7

 Beispielhaft ist dafür das britische Taranis (BAE) Demonstrator-Projekt. Einen Einblick gibt das folgende Interview mit dem Chef-Ingenieur für bewaffnete Drohnen des Konzerns BAE Systems: Beth Stevenson, »ANALYSIS: Taranis Develop­ers Reveal Test Flight Specifics«, in: Flight Global, 16.5.2016, <https://www.flightglobal.com/news/articles/analysis-taranis-developers-reveal-test-flight-spec-425347/> (eingesehen am 7.12.2018).

8

 Einen knappen Überblick gibt der folgende Artikel anlässlich der Entwicklung eines ferngesteuerten, bewaff­neten russischen Panzers: Florian Rötzer, »Russischer Kampf­roboterpanzer soll bald von Armee eingesetzt werden«, in: Telepolis, 30.3.2016 <https://www.heise.de/tp/features/ Russischer-Kampfroboterpanzer-soll-bald-von-Armee-ein­gesetzt-werden-3379287.html> (eingesehen am 7.12.2018).

9

 Eine Erläuterung von »tiefen neuronalen Netzen« und »künstlicher Intelligenz« findet sich zum Beispiel in: Marcel Dickow/Daniel Jacob, Das globale Ringen um die Zukunft der künstlichen Intelligenz, Berlin: Stiftung Wissenschaft und Politik, April 2018 (SWP Aktuell 24/2018), <https://www.swp-berlin.org/fileadmin/contents/products/aktuell/2018A24_
dkw_job.pdf
> (eingesehen am 18.1.2019).

10

 Vgl. Tom B. Brown/Dandelion Mané/Aurko Roy/Martín Abadi/Justin Gilmer, »Adversarial Patch«, 31st Conference on Neural Information Processing Systems (NIPS 2017), 17.5.2018, <https://arxiv.org/pdf/1712.09665.pdf> (eingesehen am 7.10.2018).

11

 Für eine ausführlichere Auseinandersetzung mit dem Prozess der Zielauswahl im Zusammenhang mit autonomen Funktionen in Waffensystemen vgl. International Panel on the Regulation of Autonomous Weapons (iPRAW), Focus on Technology and Application of Autonomous Weapons, August 2017, <https://www.ipraw.org/wp-content/uploads/2017/08/ 2017-08-17_iPRAW_Focus-On-Report-1.pdf> (eingesehen am 18.1.2019); Merel Ekelhof, Autonomous Weapons: Operational­izing Meaningful Human Control, 15.8.2018, <https://blogs.icrc. org/law-and-policy/2018/08/15/autonomous-weapons-operationalizing-meaningful-human-control/> (eingesehen am 18.1.2019).

12

 Besonders deutlich vertreten die USA diese Position, vgl. United States of America, CCW/GGE.1/2017/WP.6, Autonomy in Weapon Systems, 10.11.2017, S. 3, <https://www.unog.ch/ 80256EDD006B8954/(httpAssets)/99487114803FA99EC12581D40065E90A/$file/2017_GGEonLAWS_WP6_USA.pdf> (ein­gesehen am 11.12.2017).

13

 Vgl. Ronald Arkin, Governing Lethal Behavior in Autonomous Robots, Boca Raton 2009.

14

 Vgl. UNIDIR, The Weaponization of Increasingly Autonomous Technologies: Autonomous Weapon Systems and Cyber Operations, 2017, <http://unidir.org/files/publications/pdfs/autonomous-weapon-systems-and-cyber-operations-en-690.pdf> (ein­gesehen am 7.12.2018).

15

 Vgl. Anh Nguyen/Jason Yosinski/Jeff Clune, »Deep Neural Networks are Easily Fooled: High Confidence Predictions for Unrecognizable Images«, in: Computer Vision and Pattern Recognition, 2015, <http://www.evolvingai.org/files/ DNNsEasilyFooled_cvpr15.pdf> (eingesehen am 7.12.2018).

16

 Vgl. Peter W. Singer, Wired for War: The Robotics Revolution and Conflict in the Twenty-First Century, London 2009.

17

 Mit dem Aufkommen der ersten bewaffneten, per Satellit ferngesteuerten Drohnen entstand auch der Verdacht, dass die große Distanz zwischen Pilot und Einsatzort und die an Computerspiele angelehnte Bedienoberfläche der Drohnensysteme zu einem enthemmten Waffeneinsatz führen könnte. Diese sogenannte Joystick-Mentalität ist bislang nicht belegt. Tatsächlich scheinen jedoch die durch die lange Beobachtungszeit geschaffene Nähe zum potentiellen menschlichen Ziel, aber auch der regelmäßige Wechsel zwischen Dienst und Freizeit, also zwischen militärischem und familiärem Umfeld, das Stressniveau der Besatzungen zu steigern und vermehrt zu posttraumatischen Belastungsstörungen zu führen.

18

 Die Theorie des demokratischen Friedens, die auf Immanuel Kants Zum ewigen Frieden von 1795 zurückgeht, ging ursprünglich davon aus, dass demokratische Staaten keine Kriege führen würden. Heute nimmt man eher an, dass Demokratien weniger Kriege gegeneinander führen als gegen Staaten, die nicht demokratisch organisiert sind.

19

 Vgl. Frank Sauer/Niklas Schörnig, »Killer Drones: The ‘Silver Bullet’ of Democratic Warfare?«, in: Security Dialogue 43 (August 2012) 4, S. 363–380.

20

 Vgl. Deutscher Bundestag, Beschaffung von Kampfdrohnen umstritten, 30.6.2014, <https://www.bundestag.de/dokumente/ textarchiv/2014/kw27_pa_verteidigung/283434> (eingesehen am 7.12.2018).

21

 Bisher geht beispielsweise die Politikwissenschaft häufig von einer Kriegsdefinition aus, die sich an der Zahl der Toten (größer als 1000) orientiert. Wenn Kriege mit größeren Ver­lusten durch UMS seltener werden, sollte die Definition ge­gebenenfalls geändert werden, um staatliche Gewalteinsätze auch weiterhin als Krieg zu erfassen.

22

 Vgl. Jürgen Altmann/Frank Sauer, »Autonomous Weapon Systems and Strategic Stability«, in: Survival, 59 (2017) 5, S. 117–142.

23

 Vgl. Jean-Marc Rickli, Some Considerations of the Impact of LAWS on International Security: Strategic Stability, Non-State Actors and Future Prospects, 16.4.2015, <http://www.unog.ch/80256 EDD006B8954/%28httpAssets%29/B6E6B974512402BEC1257E2E0036AAF1/$file/2015_LAWS_MX_Rickli_Corr.pdf> (ein­gesehen am 17.1.2019).

24

 Vgl. United Nations General Assembly, Report of the Spe­cial Rapporteur on Extrajudicial, Summary or Arbitrary Execu­tions, Christof Heyns, A/HRC/23/47, 9.4.2013, <http://www.ohchr.org/ Documents/HRBodies/HRCouncil/RegularSession/Session23/
A-HRC-23-47_en.pdf
> (eingesehen am 7.12.2018).

25

 Vgl. Heather Roff/Richard Moyes, Key Elements of Meaning­ful Human Control, Article 36, April 2016, <http://www. article36.org/wp-content/uploads/2016/04/MHC-2016-FINAL. pdf> (eingesehen am 14.1.2019).

26

 Vgl. Chris Jenks, The Confusion and Distraction of Full Autonomy – Vortrag beim CCW [Informal] Expert Meeting on LAWS, April 2016, <http://www.unog.ch/80256EDD006B8954/%28 httpAssets%29/7197832D3E3E935AC1257F9B004E2BD0/$file/Jenks+CCW+Remarks+Final.pdf> (eingesehen am 7.12.2018); auch Internationales Komitee vom Roten Kreuz, Views of the International Committee of the Red Cross (ICRC) on Autonomous Weapon Systems, 11.4.2016, <https://www.icrc.org/en/ document/views-icrc-autonomous-weapon-system> (ein­gesehen am 7.12.2018).

27

 Zu technischen und operativen Faktoren (und anderen) vgl. International Panel on the Regulation of Autonomous Weapons (iPRAW), Focus on the Human-Machine Relation in LAWS, März 2018, S. 9–13, <https://www.ipraw.org/
wp-content/uploads/2018/03/2018-03-29_iPRAW_Focus-On-Report-3.pdf
> (eingesehen am 7.12.2018).

28

 Einen Eindruck hiervon vermitteln Marcel Dickow u. a., First Steps towards a Multidimensional Autonomy Risk Assessment (MARA) in Weapons Systems, Berlin: Stiftung Wissenschaft und Politik, Dezember 2015 (SWP Working Paper), <http://www. swp-berlin.org/fileadmin/contents/products/arbeitspapiere/ FG03_WP05_2015_MARA.pdf> (eingesehen am 7.12.2018); Anja Dahlmann, »Getting a Grasp of LAWS? What Quan­titative Indicator-Based Approaches Could Bring to the Debate«, in: Auswärtiges Amt (Hg.), Lethal Autonomous Weap­ons Systems – Technology, Definition, Ethics, Law and Security, Berlin 2017, S. 36–43.

29

Für einen Überblick zum Thema vgl. Human Rights Watch, Heed the Call, 21.8.2018, <https://www.hrw.org/report/ 2018/08/21/heed-call/moral-and-legal-imperative-ban-killer-robots> (eingesehen am 5.12.2018).

30

 Vgl. International Panel on the Regulation of Autonomous Weapons (iPRAW), Focus on Ethical Implications for a Regulation of LAWS, August 2018, <https://www.ipraw.org/wp-content/uploads/2018/08/2018-08-17_iPRAW_Focus-On-Report-4.pdf> (eingesehen am 5.12.2018), S. 12.

31

 Vgl. Campaign to Stop Killer Robots, Country Views on Killer Robots, 22.11.2018, <https://www.stopkillerrobots.org/ wp-content/uploads/2018/11/KRC_CountryViews22Nov2018. pdf> (eingesehen am 7.12.2018).

32

 Ein Entwurf für diese politische Erklärung liegt noch nicht vor (Stand: Januar 2019), den Vorschlag dazu haben Deutschland und Frankreich in einem gemeinsamen Arbeitspapier und mehreren Stellungnahmen während der CCW-Gespräche unterbreitet: Frankreich/Deutschland, For Consideration by the Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS) – CCW/GGE.1/2017/WP.4, 7.11.2017, <http://www.reachingcriticalwill.org/images/ documents/Disarmament-fora/ccw/2017/gge/documents/ WP4.pdf> (einge­sehen am 15.1.2019).

Bis Ende 2018 haben sich aber zum Beispiel die USA in der CCW explizit gegen eine politische Erklärung jeglicher Form ausgesprochen, die für sie, wie für die meisten unterzeichnenden Staaten, politisch bindenden Charakter hätte.

33

 Vgl. 2018 Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS), Report of the 2018 session of the Group of Governmental Experts on Emerging Techno­logies in the Area of Lethal Autonomous Weapons Systems – CCW/ GGE.1/2018/3, 23.10.2018, <https://www.unog.ch/80256EDD 006B8954/(httpAssets)/20092911F6495FA7C125830E003F9
A5B/$file/CCW_GGE.1_2018_3_final.pdf
> (eingesehen am 14.1.2019).

34

 Vgl. Europäisches Parlament, Entschließung des Euro­päischen Parlaments vom 12. September 2018 zu autonomen Waffensystemen (P8_TA(2018)0341), 12.9.2018, Ziffer 2 und 4, <http://www.europarl.europa.eu/sides/getDoc.do?pubRef=-// EP//TEXT+TA+ P8-TA-2018-0341+0+DOC+XML+V0//DE> (ein­gesehen am 15.1.2019).

35

 Vgl. Europäischer Auswärtiger Dienst, Autonomous Weapons Must Remain under Human Control, Mogherini Says at European Parliament, 14.9.2018, <https://eeas.europa.eu/ headquarters/headquarters-homepage/50465/node/50465_de> (eingesehen am 7.12.2018).

36

Vgl. Europäischer Auswärtiger Dienst, About the Global Tech Panel, 21.9.2018, <https://eeas.europa.eu/headquarters/ headquarters-homepage/50886/about-global-tech-panel_de> (eingesehen am 7.12.2018).

37

Vgl. Reinhard Bütikofer u. a., Letter to Federica Mogherini, 17.10.2018, <https://reinhardbuetikofer.eu/wp-content/ uploads/2018/11/Letter-to-HR-VP-on-autonomous-weapons-and-civil-society-17_10_2018.pdf> (eingesehen am 7.12.2018).

38

 Weiterführende Informationen zu den Stellungnahmen der geladenen Sachverständigen in der Anhörung im SEDE am 10. Oktober 2018 finden sich auf der Internetseite des Europäischen Parlaments: <http://www.europarl.europa.eu/ committees/en/sede/publications.html> (eingesehen am 7.12.2018).

39

 CDU/CSU/SPD, Deutschlands Zukunft gestalten. Koalitions­vertrag zwischen CDU, CSU und SPD, 18. Legislaturperiode, 2013, S. 124, <https://www.cdu.de/sites/default/files/media/ dokumente/koalitionsvertrag.pdf> (eingesehen am 15.1.2019).

40

 CDU/CSU/SPD, Ein neuer Aufbruch für Europa. Eine neue Dynamik für Deutschland. Ein neuer Zusammenhalt für unser Land. Koalitionsvertrag zwischen CDU, CSU und SPD, 19. Legislatur­periode2018, S. 149, <https://www.cdu.de/system/tdf/media/ dokumente/koalitionsvertrag_2018.pdf> (eingesehen am 15.1.2019).

41

 Vgl. Auswärtiges Amt/Heiko Maas, Rede von Außenminister Heiko Maas: »Die Zukunft der nuklearen Ordnung – Herausforderun­gen für die Diplomatie«, 27.6.2018, <https://www.auswaertiges-amt.de/de/newsroom/maas-fes-tiergarten-konferenz/2112704> (eingesehen am 18.1.2019); Auswärtiges Amt/Heiko Maas, Wir müssen über Abrüstung reden, 3.11.2018, <https://www. auswaertiges-amt.de/de/newsroom/maas-spiegel-online-inf/2157268> (eingesehen am 18.1.2019).

Zudem fördert das Auswärtige Amt das Projekt The International Panel on the Regulation of Autonomous Weapons (iPRAW) an der Stiftung Wissenschaft und Politik, Berlin. iPRAW ist eine interdisziplinäre Gruppe internationaler Wissenschaftlerinnen und Wissenschaftler, welche den CCW-Prozess mit Beiträgen zu Teilaspekten des Themas begleitet (https:// www.iPRAW.org).

42

 Vgl. Jörg Wellbrink, »Mein neuer Kamerad – Haupt­gefreiter Roboter?«, in: Ethik und Militär, (2014) 1, S. 52–55.

43

 Vgl. Fn. 1.

44

 Vgl. Bundesministerium für Verkehr und digitale Infrastruktur, Klare Regeln für Betrieb von Drohnen, 2017, <https://www.bmvi.de/SharedDocs/DE/Artikel/LF/151108-drohnen.html> (eingesehen am 7.12.2018).

45

 Vgl. Stefan Krempl, »Hochautomatisiertes« Fahren bis 2020 realisierbar, 21.11.2015, <http://www.heise.de/newsticker/ meldung/Hochautomatisiertes-Fahren-bis-2020-realisierbar-3009915.html> (eingesehen am 7.12.2018).

46

 Vgl. Fred Lambert, Elon Musk Updates Timeline for a Self-driving Car, but how Does Tesla Play into it?, 8.12.2017, <https://electrek.co/2017/12/08/elon-musk-tesla-self-driving-timeline/> (eingesehen am 15.1.2019).

47

 Siehe zum Beispiel die Studie im Auftrag des Bundesministeriums für Verkehr und digitale Infrastruktur aus dem Herbst 2015. Darin geht es zwar gerade nicht um gesell­schaftliche Konsequenzen – diese werden aber in der medialen Reaktion thematisiert. Siehe hierzu unter anderem Matthias Breitinger, Der Nutzer wird’s schon annehmen, 21.9.2015, <http://www.zeit.de/mobilitaet/2015-09/ autonomes-fahren-vernetzung-projekt/komplettansicht> (eingesehen am 7.12.2018).

48

 Für weiterführende Informationen zum Regulierungsbedarf von künstlicher Intelligenz vgl. Dickow/Jacob, Das globale Ringen um die Zukunft der künstlichen Intelligenz [wie Fn. 9].

49

 Vgl. Udo Di Fabio u. a., Bericht der Ethik-Kommission Automatisiertes und Vernetztes Fahren, Juni 2017, <https://www. bmvi.de/SharedDocs/DE/Publikationen/DG/bericht-der-ethik-kommission.pdf?__blob=publicationFile> (eingesehen am 15.1.2019).

50

 Zur Technikfolgenabschätzung bezüglich UMS und LAWS vgl. Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB), Stand und Perspektiven der mili­tärischen Nutzung unbemannter Systeme, Mai 2011, <https:// www.tab-beim-bundestag.de/de/untersuchungen/u139.html> (eingesehen am 7.12.2018); Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (TAB), Autonome Waffensysteme, 2017, <https://www.tab-beim-bundestag.de/de/ untersuchungen/u30600.html> (eingesehen am 7.12.2018).

51

 Vgl. Department of Defense, Directive Number 3000.09, November 21, 2012 Incorporating Change 1, May 8, 2017, Autonomy in Weapon Systems, 21.11.2012, geänderte Fassung vom 8.5.2017, <http://www.esd.whs.mil/Portals/54/ Documents/DD/issuances/dodd/300009p.pdf> (eingesehen am 7.12.2018).

52

 Vgl. Fn. 32.

53

 Vgl. Europäisches Parlament, Entschließung des Euro­päischen Parlaments vom 16. Februar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103(INL)), 16.2.2017, Ziffer 16, <http://www.europarl. europa.eu/sides/getDoc.do?pubRef=-//EP//TEXT+TA+P8-TA-2017-0051+0+ DOC+XML+V0//DE> (eingesehen am 7.12.2018).

Alle Rechte vorbehalten.

Abdruck oder vergleichbare Verwendung von Arbeiten der Stiftung Wissenschaft und Politik ist auch in Aus­zügen nur mit vorheriger schriftlicher Genehmigung gestattet.

SWP-Studien unterliegen einem Verfahren der Begut­achtung durch Fachkolle­ginnen und -kollegen und durch die Institutsleitung (peer review), sie werden zudem einem Lektorat unterzogen. Weitere Informationen zur Qualitätssicherung der SWP finden Sie auf der SWP-Website unter https:// www.swp-berlin.org/ueber-uns/qualitaetssicherung/.
SWP‑Studien geben die Auffassung der Autoren und Autorinnen wieder.

© Stiftung Wissenschaft und Politik, Berlin, 2019

SWP

Stiftung Wissenschaft und Politik

Deutsches Institut für Internationale Politik und Sicherheit

Ludwigkirchplatz 3–4
10719 Berlin
Telefon +49 30 880 07-0
Fax +49 30 880 07-200
www.swp-berlin.org
swp@swp-berlin.org

ISSN 1611-6372