Ein Artikel von Dr. Christian Waigel, Rechtsanwalt und Partner bei Waigel Rechtsanwälte Partnerschaftsgesellschaft mbB
Alle reden von KI, kaum jemand setzt sich aber mit den bereits in Kraft befindlichen Regeln für die KI-Nutzung auseinander. Vor Kurzem hat mir ein IT-Spezialist erzählt, sie hätten sich einen Tag in den Internetknoten eines Unternehmens aus dem Finanzsektor „gehängt“ und festgestellt, die Mitarbeiter dieses Unternehmens hätten teilweise über 1.000 KI-Nutzungen pro Tag abgefragt. Das fängt bei ChatGPT an und geht über Zusammenfassungen von Dokumenten und Meetings bis hin zu Übersetzungsdienstleistungen.
Risikoklassen der KI-Verordnung
Die KI-Verordnung (KI-VO) der Europäischen Union (der sog. EU AI Act) verlangt eigentlich, dass Unternehmen KI-Anwendungen nach vier Risikokategorien unterscheiden:
- Verbotene Anwendungen mit unannehmbarem Risiko, Art. 5 KI-VO
- Hohes Risiko, Art. 5 KI-VO
- Beschränktes Risiko, Art. 50 KI-VO
- Geringes Risiko, Art. 95 KI-VO
In den meisten Unternehmen fehlt es überhaupt schon an einer Erfassung, welche KI-Systeme im Einsatz sind, geschweige denn gibt es eine Risikoeinschätzung.
Verboten sind Systeme, die zu einer Diskriminierung führen können. Verbotene Praktiken sind manipulative oder täuschende Techniken, wenn sie die Schutzbedürftigkeit ausnutzen, oder eine Einstufung von Personen aufgrund des Verhaltens oder von Persönlichkeitsmerkmalen, die zu einer ungerechtfertigten Schlechterstellung aufgrund des sozialen Verhaltens führt. Werden zum Beispiel durch KI-Systeme Privatkunden automatisch teurere Shareclasses mit Provisionsfinanzierung zugeordnet, ist man schon relativ nah an verbotenen Systemen dran.
Der Einsatz von KI-Systemen mit hohem Risiko (eine lange Liste in Anlage 3 des EU AI Act) ist mit Anforderungen an das Risikomanagementsystem des Unternehmens als Systemanwender verbunden. Hierunter fällt der Einsatz von KI-Systemen im Rahmen der Kreditwürdigkeitsprüfung oder des sog. Social Scoring. Das betrifft auch KI-Systeme für die Einstellung oder Auswahl von Beschäftigten, für das gezielte Schalten von Stellenanzeigen und die Sichtung von Bewerbungen sowie zur Unterstützung bei Beförderungen, Kündigungen oder auch der Zuweisung von Aufgaben. Aber auch die Beobachtung und Bewertung der Leistung von Beschäftigten fällt in diese Kategorie.
Seite 1 Der Einsatz von KI-Systemen im Finanzsektor
Seite 2 Strenge Vorgaben für Hochrisiko-KI-Systeme
Dr. Christian Waigel 
