Die Einführung des Chatbots ChatGPT Ende letzten Jahres sorgte weltweit für Aufregung. So kann der Chatroboter des US-Unternehmens OpenAI z. B. Aufsätze schreiben, Gedichte verfassen, Zusammenhänge erklären und sogar Code erstellen.
Jede Branche versucht derzeit einzuschätzen, wie sie die generative künstliche Intelligenz für sich nutzen kann und wo die Gefahren lauern – so auch die Versicherungsbranche. Das Analysehaus Franke und Bornberg hat getestet, wie sich ChatGPT beim Thema Versicherungen auskennt.
Dafür haben Philipp Wedekind und Martin Seim von Franke und Bornberg dem Chatbot mehrere Fragen zur Arbeitskraftabsicherung gestellt und über die Ergebnisse in einem Blogpost berichtet.
Wie die Autoren den Test durchführten
Zunächst testeten die beiden Blogautoren im Februar diesen Jahres das klassische „ChatGPT“ als auch das in die Suchmaschine Bing integrierte Modell „Bing mit ChatGPT“. Beide Dienste nutzten zu diesem Zeitpunkt das Sprachmodell GPT-3 bzw. GPT-3.5, so Franke und Bornberg.
Zu einem späteren Zeitpunkt führten die Autoren eine zweite Testrunde mit dem verbesserten Sprachmodell GPT-4 durch. Für die Nutzung wird bei OpenAI ein Premium-Abo für 20 US-Dollar monatlich benötigt. Bing hat das neue Sprachmodell allerdings bereits integriert, so Franke und Bornberg.
Ergebnis der ersten Testrunde gemischt
Das Ergebnis der ersten Testrunde fällt verhalten aus. Die beiden Tester stellten dem Chatbot Fragen wie etwa „Durch eine Vorerkrankung erhalte ich keine Berufsunfähigkeitsversicherung. Welche Alternativen gibt es für mich?“
„Die bisherigen Antworten reichen qualitativ von ‚gut‘ und ‚korrekt erklärt‘ bis hin zu völlig falschen und teilweise ausgedachten Informationen“, kommentieren die Autoren.
Während beispielsweise Bing-ChatGTP weitestgehend korrekt erklären kann, was eine echte Dienstunfähigkeitsklausel ausmacht, verweist ChatGPT bei der Frage welches Versicherungsprodukt laut Franke und Bornberg die beste echt Dienstunfähigkeitsklausel hat, auf Versicherungsprodukte, die so auf dem Markt nicht existent sind. Auch weisen die Autoren auf die Tatsache hin, dass ChatGPT sich auf eine Untersuchung aus dem Jahr 2021 bezieht. Dies sei aber wohl darauf zurückzuführen, dass die Datenbasis des klassischen ChatGPT Ende 2021 endet. Positiv bewerten die Autoren dass der Chatbot in seiner Antwort darauf hinweist, dass eine individuelle Beratung durch einen Versicherungsmakler bzw. -berater sinnvoll sein könne, so Wedekind und Seim.
Auch Ergebnis der zweiten Testrunde verbesserungswürdig
In der zweiten Runde stellten die beiden Tester die Fragen noch einmal dem Bing-Chatbot mit der aktualisierten Sprachversion. Das Fazit: Während das neuere Sprachmodell eine bessere Trefferquote hat als der Vorgänger, vor allem was „allgemein gehaltene Erklärungen und Definitionen betrifft“, sind auch hier einige der Antworten falsch oder gar frei erfunden und ohne Überprüfung zur Versicherungsberatung oder Recherche nicht geeignet. (js)
Der volle Blogpost von Franke und Bornberg kann hier eingesehen werden.
Bild: © Kaspars Grinvalds – stock.adobe.com; Grafik: © Franke und Bornberg
- Anmelden, um Kommentare verfassen zu können
