Ein Artikel von Stefanie Weidner, Leitung Unternehmensentwicklung bei GründerFinanz und Unternehmerin
Im Oktober 2025 war ich Panelistin bei FemSurance auf der DKM. Dort kam eine unbequeme Frage auf: Was macht ein KI-Bewerbungstool, das auf Basis von 20 Jahren Entscheidungspraxis deutscher Konzerne trainiert wurde? Die Antwort ist simpel und ernüchternd: Es lernt, wie bisher entschieden wurde. Nicht, wie entschieden werden sollte.
Der Algorithmus, der zu genau gearbeitet hat
Amazon hat genau das bereits 2018 erlebt. Reuters deckte damals einen Fall auf: Ein intern entwickeltes KI-Tool für die Bewerbungsvorauswahl bewertete Frauen systematisch schlechter. Der Grund lag nicht im Code, sondern in den Trainingsdaten: zehn Jahre interne Bewerbungshistorie, männerdominiert. Das Tool war nicht kaputt. Es war so präzise, wie es gebaut wurde.
Ähnliche Systeme laufen inzwischen in deutschen Versicherungshäusern, Maklerbetrieben und HR-Abteilungen. Meist eingeführt unter der stillschweigenden Annahme, dass Maschinen objektiver entscheiden als Menschen. Diese Annahme stimmt eben nur zum Teil.
Datenerbe statt Datenfehler
Künstliche Intelligenz lernt aus Daten. Daten sind dokumentierte Vergangenheit. Dazu gehören zum Beispiel: Gehaltsentscheidungen der letzten fünfzehn Jahre, Annahmequoten bei Berufsunfähigkeitsanträgen nach Geschlecht oder Beförderungspraxis in Führungsetagen. Wer ein Modell trainiert, füttert es mit genau dieser Historie.
Nicht das Erkennen gesellschaftlicher Muster durch KI ist eigentlich das Problem. Problematisch wird es, wenn sie diese Muster reproduziert und gleichzeitig als Prognose ausgibt. Ein Algorithmus, der auf der Grundlage von 20 Jahren männerbesetzten Führungspositionen trainiert ist, prognostiziert genau das: Männer in Führungspositionen. Nicht aus Überzeugung, sondern wegen der Statistik der Vergangenheit.
Das versteckte Problem: Proxy-Diskriminierung
Direkte Diskriminierung ist mittlerweile verboten. Kaum ein seriöses KI-System nutzt Geschlecht oder Herkunft als Trainingsmerkmal. Das beruhigt viele Anwender:innen. Leider zu Unrecht. Denn Bias schleicht sich über Umwege ein. Postleitzahl korreliert mit Herkunft und Einkommen. Berufsbezeichnung korreliert mit Geschlecht. Name mit vermuteter Nationalität. Ein Modell, das mehrere dieser Merkmale kombiniert, landet am Ende bei einer Entscheidung, die sich wie Diskriminierung anfühlt – und es auch ist. Nur eben ohne das verbotene Merkmal im Input.
Für die Versicherungsbranche ist dieser Punkt besonders heikel. Ein Kfz-Tarif, der über eine Telematik-Box das tatsächliche Fahrverhalten misst – Bremsstärke, Beschleunigung, Nachtfahrten – und daraus die Prämie ableitet, basiert auf einer nachvollziehbaren Risikoeinschätzung. Ein Tarif, der bestimmte Postleitzahlen systematisch höher bepreist und dabei Stadtteile mit hohem Migrationsanteil trifft, ist etwas anderes. Der Unterschied ist mathematisch oft klein, juristisch und gesellschaftlich ist er groß.
Seite 1 Wenn KI Vorurteile lernt: Lösungen kommen aus der Branche
Seite 2 Warum die Branche hier einen Vorsprung hat
- Anmelden, um Kommentare verfassen zu können
