Strenge Vorgaben für Hochrisiko-KI-Systeme
Wenn bei einem Hochrisiko-KI-System getroffene Entscheidungen nicht nachvollzogen werden können (Blackbox), verlangt die KI-VO umfassende Transparenzanforderungen an Entwickler und Anwender. Notwendig ist eine technische Dokumentation der eingesetzten Systeme, die Aktivitäten der Systeme sind laufend zu protokollieren und einer regelmäßigen Überprüfung zu unterziehen.
Darüber hinaus obliegen den Entwicklern und Anwendern von Hochrisiko-KI-Systemen umfangreiche Pflichten zur Sicherstellung der Integrität und Robustheit der Trainings-, Validierungs- und Testdaten. So muss sichergestellt werden, dass die Qualität der Daten, mit denen das eingesetzte System (weiter)lernt, welche Faktoren für die Entscheidung im Einzelfall wichtig sein könnten, nicht „verunreinigt“ oder „verzerrt“ ist. Denn das System kann nur die ihm zur Verfügung stehenden Datenmengen als Grundlage für aktuelle und zukünftige Entscheidungen heranziehen. Handelt es sich dabei um einseitige Daten, führt dies unweigerlich dazu, dass das KI-System – trotz aller Automatisierung und Autonomiebestrebungen – eine ebenfalls einseitige Entscheidung trifft, die im Einzelfall nicht richtig sein kann und von einem Menschen in der gleichen Situation trotz desselben Datensatzes vermutlich anders getroffen worden wäre. Daher müssen Hochrisiko-KI-Systeme einer menschlichen Aufsicht unterliegen, die je nach Risikoneigung des Unternehmens weniger streng bis sehr streng ausfallen kann.
Auch dürfen Hochrisiko-KI- Systeme nicht wie herkömmliche KI-Systeme unmittelbar nach dem Erwerb von den Anwendern in Betrieb genommen werden. Die Anwender müssen vor Inbetriebnahme des Systems ein sogenanntes Konformitätsverfahren durchlaufen, bei dem interne Kontrollen festgelegt und das im Unternehmen bestehende Qualitätsmanagementverfahren bewertet und eigenständig dokumentiert werden muss.
Auch für KI-Systeme mit begrenztem Risiko sieht die KI-VO die Einhaltung bestimmter Transparenzpflichten vor. Darunter kann beispielsweise der Einsatz von Chatbots im Rahmen der Kundenkommunikation fallen. So müssen die Institute bei der Verwendung von Chatbots die Kunden vorab darüber informieren, dass sie mit einem System kommunizieren und auf der Gegenseite keine natürliche Person agiert.
Beim Einsatz von KI-Systemen mit geringem Risiko werden den Anwendern durch die KI-VO keine besonderen Transparenzpflichten auferlegt. In diese Risikokategorie fallen beispielsweise interne Spamfilter, die in der Firewall eingesetzt werden. Es steht den Anwendern jedoch frei, freiwillig von bestimmten Anforderungen Gebrauch zu machen und unternehmensinterne Kodizes zu erstellen.
Hohe Bußgelder bei Verstößen
Neben der Kategorisierung von KI-Systemen in die verschiedenen Risikoklassen gibt es KI-Systeme mit sog. allgemeinen Verwendungszweck. Darunter fällt z. B. die Verwendung großer Sprachmodelle wie Google Gemini oder GPT-4. Für einige dieser Systeme sieht die KI-VO ein sog. systemisches Risiko, während ein solches für andere Systeme gänzlich fehlen soll. Die Folge dieser Unterscheidung sind auch hier unterschiedliche Transparenz- und Dokumentationspflichten, die von den Anwendern zu beachten sind.
Bei Verstößen gegen die Pflichten, die die KI-VO Entwicklern und Anwendern von KI-Systemen auferlegt, drohen zum Teil exorbitante Bußgelder. Die Höhe der Bußgelder richtet sich nach der Art des Verstoßes, aber auch nach dem Jahresumsatz des verstoßenden Unternehmens. Diese können bei schwerwiegenden Verstößen von bis zu 7% des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres bis zu 35 Mio. Euro reichen.
Fazit
Die KI-Verordnung und der konforme Einsatz bzw. Weiterbetrieb von KI-Systemen stellt die Finanzbranche vor einige Herausforderungen. Dies umso mehr, da neben den Anforderungen der KI-Verordnung beim Einsatz von KI-Systemen auch die Grundsätze der Datenschutzgrundverordnung, des EU-Urheberrechts und der Verordnung über die digitale operationelle Resilienz im Finanzsektor (DORA) zu beachten sind.
Lesen Sie auch: Unternehmertum im Vertrieb: Wie moderne Prozesse helfen
Interessieren Sie sich für weitere Hintergrundartikel aus der Branche? Dann abonnieren Sie das monatliche Fachmagazin AssCompact – kostenfrei für Versicherungs- und Finanzmakler.
Seite 1 Der Einsatz von KI-Systemen im Finanzsektor
Seite 2 Strenge Vorgaben für Hochrisiko-KI-Systeme
Dr. Christian Waigel 
- Anmelden, um Kommentare verfassen zu können
