Interview | Prof. Dr. Alexander Alscher – Gründer und Geschäftsführer von samedi sowie Inhaber der Professur für Internationales Management an der BSP Berlin und Dr. Christian Herles – Rechtsanwalt und General Counsel bei samedi

Wann haben Sie bei samedi angefangen sich mit dem Thema Künstliche Intelligenz auseinanderzusetzen und welche Rolle spielt KI für die Software von samedi heute? 

Prof. Alscher: Das ist eine laufende Entwicklung und letztlich auch eine Frage der Definition von KI. Diese gibt es noch nicht und selbst im EU AI Act ist KI nicht abschließend und umfassend definiert. So gesehen haben wir uns bei samedi von Beginn an damit auseinandergesetzt, auch wenn es anfangs eher smarte Algorithmen waren, die ich so nicht als KI bezeichnen würde – beispielsweise bei der Konfiguration unserer Ressourcenplanung, indem unsere Software automatisch Inkonsistenzen geprüft und den Anwender darauf aufmerksam gemacht hat. Vor ungefähr sechs Jahren haben wir das erste Mal einen Data-Scientist eingestellt, der uns dabei geholfen hat, uns intensiver mit unseren Daten auseinanderzusetzen. Dies war im weitesten Sinne der Beginn. Seither haben wir diesen Zweig systematisch ausgebaut. Mittlerweile ist das Data-Team zu unserem AI-Team geworden. Um unsere Angebote auszubauen, setzen wir aufgrund des Datenschutzes KI (bzw. LLM) ein, die wir selbst hosten. Für uns gibt es derzeit drei Phasen, die wir durchlaufen: Wir implementieren KI erstens für uns in der Firma, um dann zweitens unseren Kunden gute und fertige Lösungen anzubieten und im dritten Schritt den Patientinnen und Patienten eine effizientere Anwendung zu ermöglichen.

Welchen Nutzen haben KI-gestützte Systeme in zentralen Anwendungen für die Patientensouveränität? Und sind solche Systeme notwendig?

Prof. Alscher: Im Rahmen der zunehmenden Digitalisierung und der damit einhergehenden Datenverbreitung ist es wichtig, solche unterstützenden KI-Systeme zu haben. Gerade KI kann uns helfen, die Patientensouveränität besser auszugestalten. Bei samedi haben wir zum Beispiel ein Patientenkonto, bei dem die Patientinnen und Patienten selbst entscheiden können, welche Daten sie für welchen Arzt freigeben und wie sie benachrichtigt werden möchten. Wir glauben aber auch, dass es für Patientinnen und Patienten ab einem gewissen Punkt schwierig wird alles zu überblicken und bis in die letzte Ebene zu verstehen. An dieser Stelle kann KI beispielsweise das eigene Datenmanagement durch Empfehlungen vereinfachen. Darüber hinaus können Chatbots schnell Verständnisfragen klären und viele andere Dinge sind denkbar, daher können solche Systeme einen hohen Nutzen haben.

Bei KI-Anwendungen im Gesundheitsbereich sind Anbieter aus den USA derzeit dominierend. Welche Auswirkungen hat dies auf die Daten von europäischen Patienten? 

Dr. Herles: In Deutschland und Europa sind wir stark auf die Anwendungsseite fokussiert, also bei Innovationen etwa im Bereich von Gesundheits-Apps oder bei der Versorgung bei den Leistungserbringern. Eine signifikante Schwäche liegt auf der anderen Seite darin, dass uns in Europa und Deutschland die großen Datenzentren und Speicherorte fehlen und damit auch die großen Datenmodelle. Da sind die USA mit ihren Tech-Riesen im klaren Vorteil und der europäische Markt ist auf die dort vorhandene technologische Infrastruktur angewiesen. Die Daten europäischer Patientinnen und Patienten sind geschützt, schon durch die Datenschutzgrundverordnung. Das bedeutet auch, wenn ich Daten in die USA übermittle, weil ich dort beispielsweise einen Auftragsverarbeiter einsetze, dann ist das an hohe Voraussetzungen geknüpft und schwieriger umzusetzen als im Daten-Binnenmarkt der EU. Die Weiterentwicklung und Durchsetzung von KI auf dem europäischen Markt könnten also noch besser sein, wenn es hier eine vergleichbare Infrastruktur geben würde.

Der von der Europäischen Union erlassene EU AI Act klassifiziert KI-Anwendungen in Kategorien von minimales bis inakzeptables Risiko. Anwendungen im Bereich Gesundheit und Medizin sind zwar bereits reguliert, fallen jetzt in die Kategorie „hohes Risiko“ und unterliegen durch den AI Act nun weiteren Anforderungen. Welche Herausforderungen schafft das für die Entwicklung und Implementierung von KI-Systemen im Bereich Gesundheit? 

Dr. Herles: KI war bisher nicht technologiespezifisch reguliert, der gesamte medizinische Behandlungskontext schon. Durch den EU AI Act ist jetzt dazugekommen, dass KI durch die Verordnung zumindest teilweise definiert wird. Das heißt es wird eine Aussage darüber getroffen, was KI beispielsweise von einem Computerprogramm unterscheidet, das normale Algorithmen verwendet. Der Gesetzgeber hat sich nun darauf eingestellt, dass der Mensch zwar Zwecke der KI festlegt und bestimmt welche Daten verwendet werden, die KI aber fertige Ergebnisse produziert, die den Menschen in seinen weiteren Handlungen beeinflussen. Abgestellt wird also auf eine Black-box-Logik, was rechtlich ein großer Schritt ist, weil damit das Risiko von KI anerkannt wird. Dieses Risiko soll nun durch verschiedene Anforderungen minimiert werden. Daraus resultieren auf der praktischen Seite auch Herausforderungen wie Bürokratie. Zudem fehlt es noch an konkreter nationaler Umsetzung und entsprechenden Leitlinien für den Umgang und die Implementierung von KI. Diese zu finden wird eine weitere Herausforderung. Letztlich wird es auch darauf ankommen wie der AI Act auf den nationalen Ebenen umgesetzt wird.

Wo liegen die potenziellen Risiken und Chancen, die sich für Patienten, Gesundheitsdienstleister und die Industrie aus der neuen Regulierung ergeben?

Dr. Herles: Für mich sind hier drei Aspekte zentral: Zum einen schafft EU AI Act Rechtssicherheit. Da die Regulierung auch viel mit Konformitätsbewertungen, Zertifikaten und Vergleichbarem arbeitet, schafft dies auch eine Grundlage für Vertrauen in KI-Anwendungen. Ein zweiter Aspekt ist die grundsätzliche Qualitätsverbesserung von KI. Denn die Risikoeinstufung zieht Maßnahmen nach sich, um Sicherheit zu gewährleisten, etwa regelmäßige Schulungen, Monitoring und vieles mehr. Der dritte Aspekt ist Transparenz: Anbieter, Hersteller und Anwender müssen offenlegen, wo und wie sie KI einsetzen. Anbieter müssen darlegen wie ihre KI funktioniert und welche Daten sie verwendet. Das gibt Patienten die Möglichkeit zu verstehen, wie Ergebnisse zustande kommen.

Prof. Alscher: KI birgt riesige Potenziale bereits bestehende Prozesse zu optimieren und gerade in der Medizin für einen erheblichen Fortschritt zu sorgen. Die Risiken, die wir heute schon kennen, beispielsweise falsche Datengrundlagen, Vorurteile oder das Halluzinieren – also das Produzieren von fiktiven Ergebnissen – frühzeitig anzugehen und durch Regulierungen beispielsweise Prozesse der Qualitätskontrolle zu etablieren und die Arbeit an und mit KI so einheitlicher zu gestalten, ist ein Weg, KI für alle in Zukunft zu einem Gewinn zu machen.

Über samedi:

samedi – We organize Health. Seit 2008 digitalisiert das Berliner E-Health Unternehmen samedi Kliniken, MVZ, Arztpraxen und weitere Dienstleister im Gesundheitswesen. Die E-Health- und Patientenportal-Lösungen (samedi healthspace) ermöglichen als flexible Software-as-a-Service (SaaS) eine effiziente, digitale Patientensteuerung intern und sektorenübergreifend. Die Mission: die Behandlungskoordination mit Online-Services für alle Beteiligten einfach und sicher zu gestalten. Alle medizinischen Organisationsprozesse werden in samedi abgebildet und gesteuert mit dem Ziel der Automatisierung, Fehlerreduktion und Qualitätssteigerung – vom Terminmanagement über die Patientenaufnahme, integrierter Ressourcenplanung über das Behandlungsmanagement bis zur begleitenden Patientenkommunikation. Höchster Datenschutz und vielfältige Schnittstellen sorgen für eine nahtlose Integration in bestehende Abläufe und Systeme. Unabhängig von Institutionsgröße und Fachrichtung werden Prozesse durch passgenaue Lösungen smart und ganzheitlich digitalisiert – und das in mehr als 6.000 Gesundheitseinrichtungen für 35 Millionen Patienten in der DACH-Region.

Weiterführende Links:

• Webseite samedi https://www.samedi.com/
• Europäisches Parlament zum AI Act https://www.europarl.europa.eu/topics/de/article/20230601STO93804/ki-gesetz-erste-regulierung-der-kunstlichen-intelligenz