So können Unternehmen ChatGPT verantwortungsvoll nutzen

Welche Rolle können KI-Anwendungen wie ChatGPT in der Gesundheitsversor-gung spielen? Digitalisierungsexpertinnen und -experten geben in einem Impul-spapier Anregungen, wie die Chancen solcher Systeme genutzt werden können – ohne die Risiken zu ignorieren. Die Empfehlungen richten sich an Krankenkassen, vieles ist aber auch übertragbar auf andere Unternehmen. 

In seinem heute veröffentlichten Impulspapier „Besser versichert mit ChatGPT?“ ermutigt der Wissenschaftliche Beirat für digitale Transformation der AOK Nord-ost Krankenkassen, die Gesundheitsversorgung mit generativer KI zu verbessern. 

„Krankenkassen sollten sich dem Einsatz von generativer KI grundsätzlich öff-nen, denn die Chancen sind groß“, sagt Inga Bergen. Sie ist Sprecherin des Ex-pertengremiums und hat bereits zwei Unternehmen im Bereich eHealth als CEO aufgebaut. Wenn Unternehmen bereit seien, in Kooperation mit Expertinnen und Experten unternehmensinterne KI-Modelle zu trainieren, könnten sie damit ihr Wissensmanagement weiter professionalisieren und ihre internen Geschäftspro-zesse besser strukturieren. 

Wenn der Einsatz datenschutzkonform erfolge, sei es auch denkbar, KI für Chat-bots in der Kundenkommunikation zu verwenden oder Versicherte mit individua-lisierten Angeboten bei Gesundheitsthemen zu unterstützen, zum Beispiel in der Prävention. 

Erster Schritt: interprofessionelle Arbeitsgruppe 

Damit eine Krankenkasse oder ein anderes Unternehmen diese Chancen nutzen kann, sei es im ersten Schritt nötig, Kompetenz und Know-how aufzubauen, in-dem eine unternehmensinterne interprofessionelle Arbeitsgruppe eingesetzt wird. Auf dieser Grundlage könne nach einer internen Debatte zu Chancen und Risiken eine KI-Strategie entwickelt werden. 

Bevor konkrete Anwendungsfälle erprobt werden, sei es wichtig, eine rechts- und datenschutzkonforme Umsetzung zu gewährleisten. Der Beirat führt diesbezüg-lich aus, dass KI-Anwendungen bislang nur rudimentär reguliert seien. Erst im Juni 2023 wurde vom europäischen Parlament der Entwurf der europäischen KI-Verordnung (AI-Act) angenommen. Diese Verordnung trete frühestens 2024 in Kraft. Bis dahin müsse man die Verwendung von ChatGPT und anderer generati-ver KI an den allgemeinen Vorschriften des geltenden Rechts messen. 

Wenn keine Speicherung erfolgt, ist datenschutzrechtliches Risiko gering 

Viele Datenschützer sehen ChatGPT kritisch. So hatte die italienischen Daten-schutzbehörde ChatGPT im April 2023 zwischenzeitlich gesperrt. Aus Sicht der Aufsichtsbehörde verstoße ChatGPT gegen Datenschutzregeln, weil es massiv personenbezogene Daten speichere. Darüber seien die Nutzer nicht hinreichend informiert worden. 

Das Unternehmen OpenAI, das ChatGPT entwickelt hat, reagierte jedoch auf die Sperrung. Nutzerinnen und Nutzern haben nun die Möglichkeit, die Speicherung und Weiterverarbeitung sämtlicher personenbezogener Daten zu deaktivieren und werden darüber auch informiert. Damit hat sich die italienische Daten-schutzbehörde zufriedengegeben und die Nutzung wieder erlaubt. Ob die deut-schen Datenschutzbehörden dies auch so sehen, ist laut Beirat noch unklar. 

Sollten Krankenkassen so lange mit dem Einsatz von generativer KI warten, bis die deutschen Datenschutzbehörden zu einer eindeutigen Einschätzung gekom-men sind? Nein, meint der Beirat. Wenn man auf die Eingabe personenbezogener und anderer schützenswerter Daten verzichte und die Speicherung der Eingaben deaktiviere, sei das datenschutzrechtliche Risiko gering. Auf die Einhaltung die-ser „Spielregeln“ für den Einsatz von generativer KI sollten Krankenkassen ihre 

Mitarbeitenden mit entsprechenden Datenschutzhinweisen, Einwilligungspro-zessen, Dokumentationen und einer Datenschutzfolgenabschätzung verpflich-ten. 

Generative KI als ein Sparringspartner, um schneller zu arbeiten 

Auch auf einen weiteren Kritikpunkt an der Verwendung von ChatGPT geht der Beirat ein: ChatGPT liefert häufig noch fehlerhafte Antworten. Die Texte, die ChatGPT ausgibt, taugten deshalb aktuell nur als Entwürfe für die Weiterverar-beitung – jedenfalls dort, wo es um medizinisch oder rechtlich relevante Fakten gehe. Deshalb sei bei allen Anwendungskontexten laut Beirat eine Qualitäts-kontrolle unerlässlich. 

„ChatGPT ist ein Tool, das man benutzen kann, das aber ohne eine Qualitäts-kontrolle nicht funktioniert. Krankenkassen müssen also ihre Mitarbeitenden be-fähigen, Faktenchecks durchzuführen. In Zukunft brauchen wir hier neue spezia-lisierte Berufe, um diese Aufgabe effizient zu erfüllen. Derzeit sollten Kranken-kassen generative KI eher wie eine Art Sparringspartner nutzen, mit dem sie schneller arbeiten können“, erläutert Inga Bergen, Sprecherin des Beirats. 

Unternehmensinterne KI verbessert Präzision der Ergebnisse signifikant 

Es gebe aber eine Möglichkeit, die Präzision der Ergebnisse, die generative KI im Krankenkassen-Kontext liefere, signifikant zu erhöhen. Anstatt auf „fremde“ Systeme wie ChatGPT zurückzugreifen, könne ein Unternehmen in Kollaboration mit KI-Experten ein unternehmensinternes generatives KI-Modell trainieren. Wenn dieses System auf eigenen Servern laufe, lasse sich der Datenbestand der Krankenkasse mit der generativen KI verknüpfen. Dies eröffne vielfältige Anwen-dungsmöglichkeiten. 

Die unabhängigen Beirätinnen und Beiräte geben Krankenkassen zum Schluss ihres Impulspapiers aber auch eine Mahnung mit auf den Weg. Es brauche eine kritische Distanz und Wachsamkeit, um mit generativer KI wohlüberlegt umzu-gehen. Die Idee datengesteuerter Effizienz könne nicht das entscheidende Krite-rium sein, nach dem Entscheidungen bewertet werden. Hier gelte es, gegenzu-steuern. Achtsam, reflektiert und verantwortungsbewusst. 

Drei Fragen und drei Antworten zum Positionspapier mit Beirats-Sprecherin Inga Bergen finden Sie auf unserem Blog AOK Nordost Forum Live.

Der im November 2016 gegründete Wissenschaftliche Beirat für Digitale Trans-formation der AOK Nordost berät die Gesundheitskasse kritisch und unabhän-gig bei Fragen der digitalen Transformationen im Gesundheitswesen. Mehrere Mitglieder des Beirats beraten in anderen Funktionen auch die Bundesregierung zu diesen Fragen. 

Mitglieder des Beirats sind: - Prof. Dr. Dirk Heckmann (Geschäftsführer) - Dipl.-Pol. Inga Bergen (Sprecherin) - Prof. Dr. Wilfried Bernhardt - Prof. Dr. Dr. Walter Blocher - Prof. Dr. Stefan Heinemann - Prof. Dr. Dr. h.c. Stefan Jähnichen - Prof. Dr. Anne Paschke - Dipl.-Psych. Marina Weisband