Der Einsatz von KI-Systemen im Finanzsektor

Ein Artikel von Dr. Christian Waigel, Rechtsanwalt und Partner bei Waigel Rechtsanwälte Partnerschaftsgesellschaft mbB

Alle reden von KI, kaum jemand setzt sich aber mit den bereits in Kraft befindlichen Regeln für die KI-Nutzung auseinander. Vor Kurzem hat mir ein IT-Spezialist erzählt, sie hätten sich einen Tag in den Internetknoten eines Unternehmens aus dem Finanzsektor „gehängt“ und festgestellt, die Mitarbeiter dieses Unternehmens hätten teilweise über 1.000 KI-Nutzungen pro Tag abgefragt. Das fängt bei ChatGPT an und geht über Zusammenfassungen von Dokumenten und Meetings bis hin zu Übersetzungsdienstleistungen.

Risikoklassen der KI-Verordnung

Die KI-Verordnung (KI-VO) der Europäischen Union (der sog. EU AI Act) verlangt eigentlich, dass Unternehmen KI-Anwendungen nach vier Risikokategorien unterscheiden:

Verbotene Anwendungen mit unannehmbarem Risiko, Art. 5 KI-VO
Hohes Risiko, Art. 5 KI-VO
Beschränktes Risiko, Art. 50 KI-VO
Geringes Risiko, Art. 95 KI-VO

In den meisten Unternehmen fehlt es überhaupt schon an einer Erfassung, welche KI-Systeme im Einsatz sind, geschweige denn gibt es eine Risikoeinschätzung.

Verboten sind Systeme, die zu einer Diskriminierung führen können. Verbotene Praktiken sind manipulative oder täuschende Techniken, wenn sie die Schutzbedürftigkeit ausnutzen, oder eine Einstufung von Personen aufgrund des Verhaltens oder von Persönlichkeitsmerkmalen, die zu einer ungerechtfertigten Schlechterstellung aufgrund des sozialen Verhaltens führt. Werden zum Beispiel durch KI-Systeme Privatkunden automatisch teurere Shareclasses mit Provisionsfinanzierung zugeordnet, ist man schon relativ nah an verbotenen Systemen dran.

Der Einsatz von KI-Systemen mit hohem Risiko (eine lange Liste in Anlage 3 des EU AI Act) ist mit Anforderungen an das Risikomanagementsystem des Unternehmens als Systemanwender verbunden. Hierunter fällt der Einsatz von KI-Systemen im Rahmen der Kreditwürdigkeitsprüfung oder des sog. Social Scoring. Das betrifft auch KI-Systeme für die Einstellung oder Auswahl von Beschäftigten, für das gezielte Schalten von Stellenanzeigen und die Sichtung von Bewerbungen sowie zur Unterstützung bei Beförderungen, Kündigungen oder auch der Zuweisung von Aufgaben. Aber auch die Beobachtung und Bewertung der Leistung von Beschäftigten fällt in diese Kategorie.

Strenge Vorgaben für Hochrisiko-KI-Systeme

Wenn bei einem Hochrisiko-KI-System getroffene Entscheidungen nicht nachvollzogen werden können (Blackbox), verlangt die KI-VO umfassende Transparenzanforderungen an Entwickler und Anwender. Notwendig ist eine technische Dokumentation der eingesetzten Systeme, die Aktivitäten der Systeme sind laufend zu protokollieren und einer regelmäßigen Überprüfung zu unterziehen.

Darüber hinaus obliegen den Entwicklern und Anwendern von Hochrisiko-KI-Systemen umfangreiche Pflichten zur Sicherstellung der Integrität und Robustheit der Trainings-, Validierungs- und Testdaten. So muss sichergestellt werden, dass die Qualität der Daten, mit denen das eingesetzte System (weiter)lernt, welche Faktoren für die Entscheidung im Einzelfall wichtig sein könnten, nicht „verunreinigt“ oder „verzerrt“ ist. Denn das System kann nur die ihm zur Verfügung stehenden Datenmengen als Grundlage für aktuelle und zukünftige Entscheidungen heranziehen. Handelt es sich dabei um einseitige Daten, führt dies unweigerlich dazu, dass das KI-System – trotz aller Automatisierung und Autonomiebestrebungen – eine ebenfalls einseitige Entscheidung trifft, die im Einzelfall nicht richtig sein kann und von einem Menschen in der gleichen Situation trotz desselben Datensatzes vermutlich anders getroffen worden wäre. Daher müssen Hochrisiko-KI-Systeme einer menschlichen Aufsicht unterliegen, die je nach Risikoneigung des Unternehmens weniger streng bis sehr streng ausfallen kann.

Auch dürfen Hochrisiko-KI- Systeme nicht wie herkömmliche KI-Systeme unmittelbar nach dem Erwerb von den Anwendern in Betrieb genommen werden. Die Anwender müssen vor Inbetriebnahme des Systems ein sogenanntes Konformitätsverfahren durchlaufen, bei dem interne Kontrollen festgelegt und das im Unternehmen bestehende Qualitätsmanagementverfahren bewertet und eigenständig dokumentiert werden muss.

Auch für KI-Systeme mit begrenztem Risiko sieht die KI-VO die Einhaltung bestimmter Transparenzpflichten vor. Darunter kann beispielsweise der Einsatz von Chatbots im Rahmen der Kundenkommunikation fallen. So müssen die Institute bei der Verwendung von Chatbots die Kunden vorab darüber informieren, dass sie mit einem System kommunizieren und auf der Gegenseite keine natürliche Person agiert.

Beim Einsatz von KI-Systemen mit geringem Risiko werden den Anwendern durch die KI-VO keine besonderen Transparenzpflichten auferlegt. In diese Risikokategorie fallen beispielsweise interne Spamfilter, die in der Firewall eingesetzt werden. Es steht den Anwendern jedoch frei, freiwillig von bestimmten Anforderungen Gebrauch zu machen und unternehmensinterne Kodizes zu erstellen.

Hohe Bußgelder bei Verstößen

Neben der Kategorisierung von KI-Systemen in die verschiedenen Risikoklassen gibt es KI-Systeme mit sog. allgemeinen Verwendungszweck. Darunter fällt z. B. die Verwendung großer Sprachmodelle wie Google Gemini oder GPT-4. Für einige dieser Systeme sieht die KI-VO ein sog. systemisches Risiko, während ein solches für andere Systeme gänzlich fehlen soll. Die Folge dieser Unterscheidung sind auch hier unterschiedliche Transparenz- und Dokumentationspflichten, die von den Anwendern zu beachten sind.

Bei Verstößen gegen die Pflichten, die die KI-VO Entwicklern und Anwendern von KI-Systemen auferlegt, drohen zum Teil exorbitante Bußgelder. Die Höhe der Bußgelder richtet sich nach der Art des Verstoßes, aber auch nach dem Jahresumsatz des verstoßenden Unternehmens. Diese können bei schwerwiegenden Verstößen von bis zu 7% des weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres bis zu 35 Mio. Euro reichen.

Fazit

Die KI-Verordnung und der konforme Einsatz bzw. Weiterbetrieb von KI-Systemen stellt die Finanzbranche vor einige Herausforderungen. Dies umso mehr, da neben den Anforderungen der KI-Verordnung beim Einsatz von KI-Systemen auch die Grundsätze der Datenschutzgrundverordnung, des EU-Urheberrechts und der Verordnung über die digitale operationelle Resilienz im Finanzsektor (DORA) zu beachten sind.

Lesen Sie auch: Unternehmertum im Vertrieb: Wie moderne Prozesse helfen

Interessieren Sie sich für weitere Hintergrundartikel aus der Branche? Dann abonnieren Sie das monatliche Fachmagazin AssCompact – kostenfrei für Versicherungs- und Finanzmakler.