AI Act – was man bei der Auswahl von KI-Anbietern beachten muss

KI-unterstützte Applikationen sind weit verbreitet in der Finanz- und Versicherungswirtschaft, nun kommen Tools auf Basis generativer AI (GenAI) hinzu. Dies können ChatGPT-ähnliche Anwendungen für Recherchetätigkeiten von Angestellten sein, Spam-E-Mail-Filter oder KI, um große Datenmengen effektiv auszuwerten, etwa bei Vertrags- oder Controlling-Analysen.

Doch wie lassen sich Risiken bezüglich des KI-Anbieters, dessen KI in Kernprozessen von Versicherern eingesetzt wird, reduzieren? Welche Anforderungen aus dem AI Act sind einzuhalten und an die KI-Anbieter weiterzugeben, wenn KI kritische Prozesse wie die Vorbewertung von eingereichten Schadensbildern unterstützt oder sich auf die Preisgestaltung von Lebensversicherungsprodukten auswirkt? Diesen und anderen Fragen hat sich die EIOPA, die EU-Aufsichtsbehörde für das Versicherungswesen und die betriebliche Altersversorgung, im “Factsheet on the regulatory framework applicable to AI systems in the insurance sector” vom 15. Juli 2024 gewidmet. Ihre zentralen Erkenntnisse, die hier zusammengefasst werden, sind auch für Finanzdienstleister und Banken interessant.

Regulatorischer Rahmen für IT-Outsourcing und KI

Die aufsichtlichen Anforderungen an Outsourcing-Vorhaben und den Bezug von sonstigen IT-Dienstleistungen finden sich in MaGo (Aufsichtsrechtliche Mindestanforderungen an die Geschäftsorganisation von Versicherungsunternehmen) und VAIT (Versicherungsaufsichtliche Anforderungen an die IT). Daneben definiert DORA, die EU-Verordnung über die digitale operationale Resilienz im Finanzsektor, die Anforderungen an das Drittparteien-Risikomanagement. Diese sollte immer die Basis für die Auswahl und Überwachung von KI-Anbietern bilden.

Darüber hinaus haben das Europäische Parlament und der Europäische Rat den AI Act verabschiedet. Dieser regelt unter anderem im Detail, welche Anforderungen an die Auswahl und Überwachung von KI-Anbietern gestellt und von Finanzdienstleistern umgesetzt werden müssen. Er bietet somit diverse Hilfestellungen für die Frage, auf welche Faktoren beim Bezug von KI zu achten ist.

Risikoeinstufung des KI-Systems gemäß AI Act

Als Grundgedanke soll der AI Act ein hohes Schutzniveau für Grundrechte, Gesundheit und Sicherheit der Konsumenten sicherstellen. Dabei folgt er einem risikoorientierten Ansatz. Bevor also Anforderungen an den Anbieter der KI-gestellt werden, wird in einem ersten Schritt das KI-System nach den folgenden Risikostufen klassifiziert:

1. Unannehmbares Risiko (z. B. soziale Bewertungssysteme oder manipulative KI)
2. Hohes Risiko (z. B. Systeme mit Einfluss auf Inanspruchnahme von wesentlichen Dienstleistungen)
3. Begrenztes Risiko (z. B. Chatbots oder Empfehlungssysteme)
4. Minimales Risiko (z. B. administrative KI-Systeme wie Spamfilter)

Der AI Act definiert beispielsweise im Versicherungssektor KI-Systeme mit hohem Risiko, welche für die Risikobewertung und Preisgestaltung im Zusammenhang mit natürlichen Personen bei Lebens- und Krankenversicherungen verwendet werden sollen. Die strengsten Anforderungen stellt er an Anbieter und Nutzer von Hochrisiko-KI-Systemen, etwa im Qualitätsmanagement, für die Validierung des KI-Systems sowie das Lifecycle-Management. Für die restlichen KI-Systeme, die nicht als Systeme mit hohem Risiko gelten, definiert der AI Act nur Mindestanforderungen an die Transparenz, an die Förderung der KI-Kompetenz und an die Entwicklung freiwilliger Verhaltenskodizes.

Auswahl und Überwachung von KI-Anbietern

Die Nutzung von KI in der Versicherung unterliegt bereits unterschiedlichen Anforderungen der Regulierung und Aufsicht. Finanzdienstleister haben hierfür unter anderem KI-Gremien eingerichtet, die sich aus verschiedenen Funktionen wie Legal, Data Protection, Information Security oder Risk Management zusammensetzen und gemeinsam über die Einführung einer KI-Lösung entscheiden. Der AI Act führt nun einige zusätzliche Anforderungen für Anbieter oder Nutzer von Hochrisiko-KI-Systemen ein. Nach der Bestimmung der Risikostufe sollten folgenden Anforderungen an den KI-Anbieter überprüft werden:

• Anbieter benötigen ein Risiko-Managementsystem für ihr KI-System. Darüber hinaus müssen sie sicherstellen können, dass Trainings-, Validierungs- und Testdaten gemäß Data Governance-Anforderungen vorliegen, um mögliche Verzerrungen (Bias) und Diskriminierungen erkennen und verhindern zu können.
• Anbieter sollten belegen, dass das KI-System einem Qualitätsmanagement, menschlicher Aufsicht und Konformitätsbewertungen unterzogen wird, um die Einhaltung des AI Acts zu gewährleisten. Die CE-Kennzeichnung muss nachgewiesen werden.
• Anbieter haben nachzuweisen, dass KI-Systeme für Anwenderinnen und Anwender transparent genug sind, um die ausgegebenen Ergebnisse interpretieren und angemessen nutzen zu können. Zudem gibt es Pflichten für Aufzeichnungen und entsprechende technische Dokumentationen.
• Anbieter müssen sich selbst und das KI-System in der EU-Datenbank registriert haben.
• Die Genauigkeit, Robustheit und Cybersicherheit des KI-Systems sollten nachgewiesen werden können. Anbieter müssen zusichern, dass sie die zuständige Behörde informieren und Korrekturmaßnahmen ergreifen sowie mit den Behörden zusammenarbeiten, falls sie einen schwerwiegenden Incident feststellen.

KI-Risiken senken, KI-Vorteile nutzen

Versicherungsunternehmen und Finanzdienstleister können mittels KI wesentliche Vorteile durch beschleunigte sowie kostengünstigere Prozesse und damit Wettbewerbsvorteile erzielen. Allerdings ist es umso wichtiger, die Höhe der Risiken aus der Anwendung von KI in Kernprozessen gemäß dem AI Act zu bestimmen und zu mitigieren. Insbesondere die Anbieter von KI-Systemen mit hohem Risiko sollten sorgfältig ausgewählt und laufend überwacht werden. 

Der AI Act bietet hierfür Kriterien, die im Auswahlprozess angewendet werden sollten. Wählt etwa ein Versicherungskonzern einen KI-Anbieter für die Schadensbearbeitung aus, sollte er sich vorab vom Risiko- und Qualitätsmanagementsystem sowie seiner Cyberresilienz und -sicherheit überzeugen. Transparente Modelle, die Eintragung in der EU-Datenbank sowie die CE-Kennzeichnung sind dabei ein Muss. Diese Anforderungen sollten in die bestehenden Prozesse im Drittparteien-Risikomanagement und Einkauf aufgenommen werden, und der Beauftragung steht nichts mehr im Wege. Somit schließt sich der Kreis zu anderen Anforderungen aus MaGo, VAIT sowie DORA.

Hier finden Sie einen Artikel vom mir zum Risikomanagement mit DORA.

Wenn Sie sich für Risikosteuerung und Regulierung interessieren, melden Sie sich gerne bei mir über mein Autorenprofil.