Neue IT-„Hochrisikoprojekte“ der Kommission für Europol

Seit Juni sind drei neue Forschungsprojekte gestartet, die Künstliche-Intelligenz-Anwendungen für Polizeibehörden entwickeln. Ein viertes KI-Projekt namens „Insikt“ bringt bereits ein fertiges Produkt zur Überwachung auf den Binnenmarkt.

Von Erich Moechel

Die Strategie der EU-Kommission, auf „Künstlicher Intelligenz“ (KI) basierenden Anwendungen mit einem risikobasierten Ansatz zu begegnen, ist angesichts der Unberechenbarkeit und Komplexität dieser Technologie absolut angemessen. KI-Systeme etwa für Gesundheitsvorsorge oder Strafverfolgung sollen vor ihrer Zulassung für den Binnenmarkt einer eingehenden Risikoanalyse unterzogen werden. Diese Sektoren werden von der Kommission als Hochrisikobereiche eingestuft.

Von Juni bis September hat die Kommission allerdings selbst drei solcher Hochrisikoprojekte in die Welt gesetzt, an denen Europol maßgeblich beteiligt ist. Neben diesen mit insgesamt 21 Millionen Euro dotierten Forschungsprojekten fällt auch ein abgeschlossenes Projekt namens „Insikt“ in diese Kategorie, nämlich Big Data, Überwachung und Verhaltensvorhersage für Polizeibehörden. Das spanische Start-up Insikt Intelligence bringt das mit EU-Geldern entwickelte „Inviso“ gerade als kommerzielles Produkt auf den Binnenmarkt.

Regulation für Hochrisikosysteme

Wie dem Text zu entnehmen ist, sind sich Kommission und Parlament weitgehend darüber einig, dass gerade KI-Anwendungen im Hochrisikobereich für ihre Zulassung zum Binnenmarkt bestimmte Kriterien erfüllen müssen. Ebenso einig ist man sich darüber, dass KI in verschiedenen Sektoren des Markts und der Gesellschaft eine absolut nützliche Rolle spielen könnte. Die andere Seite von KI ist weniger erfreulich als vielmehr gefährlich. Nicht einmal die Entwickler der Algorithmen und Programme können nachvollziehen, warum die Software zu einem bestimmten Ergebnis gekommen ist.

Dieser „Blackbox-Effekt und das teilweise autonome Verhalten enthalten eine Reihe von Risiken für die Grundrechte der EU-Bürger [...] etwa im Bereich der Strafverfolgung, Produktsicherheit, Haftung“, heißt es im Positionspapier des Parlaments dazu. Aus diesen Gründen müsse der Sektor „Künstliche Intelligenz“ einerseits gefördert, aber auch reguliert werden. Während hier also ein Entwurf für ein KI-Regelwerk gerade in seinem Anfangsstadium ist, wird das erste von der Kommission geförderte solche Hochrisikosystem im Bereich Machine Learning gerade auf den Binnenmarkt losgelassen.

Hochrisikosystem, unreguliert am Markt

Das im Rahmen des Forschungsförderungsprogramms der Kommission „Horizon2020“ entstandene Projekt „Insikt“ ging nach drei Jahren Laufzeit im März dieses Jahres zu Ende. Davon blieb ein Start-Up namens „Insikt Intelligence“ und ein System namens „Inviso", das auf der Website der Kommission offensiv beworben wird. In der Presseaussendung zur aktuellen Anti-Terror-Richtlinie heißt es dazu: „INVISO erkennt radikale Inhalte, verdächtige Nachrichten und verdeckte Radikalisierungsprozesse mittels ausgeklügelter Text Mining-Algorithmen.... Mit anderen Worten: INVISO erkennt nicht nur bedrohliche Beiträge, sondern analysiert auch das allgemeine Verhalten im Internet und errechnet so, wie wahrscheinlich es ist, dass sich ein Benutzer radikalisiert.“

Das ist die überhaupt höchste denkbare Risikoklasse, nämlich ein KI-Werkzeug, das personenbezogene Prognosen zu künftigem kriminellen Verhalten aus dem Sprachgebrauch und dem Verhalten in Sozialen Netzwerken auf Basis von Wahrscheinlichkeitsberechnungen abgibt. Weil sich die Inviso-Plattform „außerdem auf Deep Learning stützt, könnten automatisch neue Modelle zur Erkennung anderer krimineller Aktivitäten entwickelt werden“, heißt es da. Und erfrischend offen: „Nach der Markteinführung planen wir, das Produkt in ganz Europa zu kommerzialisieren.“

Wie es weiter geht

Weder in den Unterlagen des Insikt-Projekts, noch in der Beschreibung der drei weiteren Projekte findet sich irgendein Hinweis darauf, dass die von Kommission und Parlament für solche Vorhaben geforderten Risikoabschätzungen durchgeführt wurden oder in Planung sind. Aus diesem Grund wurde einen Anfrage an das zuständige Generaldirektorat der EU-Kommission gestellt. Mehr dazu und den drei neuen Projekten kommt im nächsten Teil, der am kommenden Wochenende erscheinen wird.