Professor Dr. rer. nat. Ute Schmid, Psychologin und Informatikerin vom Lehrstuhl für Kognitive Systeme der Universität Bamberg

„ChatGPT hat keinen Anspruch, die Wahrheit zu sagen“

Die Psychologin und Informatikerin Prof. Dr. rer. nat. Ute Schmid vom Lehrstuhl für Kognitive Systeme der Universität Bamberg und Mitglied im Direktorium des Bayerischen Instituts für Digitale Transformation (bidt) erklärt Chancen, Grenzen und Risiken des Einsatzes des neuen Bots von OpenAI für Mediziner, Patienten und das gesamte Gesundheitswesen.

Autor:

Welchen Nutzen kann ChatGPT für die Medizin bieten?

Meiner Meinung nach haben Textgeneratoren wie ChatGPT insbesondere da großen Nutzen, wo es um das Verfassen sehr standardisierter Texte geht. So könnten Standardanfragen zu Kostenübernahmen, teilweise auch Arztberichte und Dokumentationen mit Hilfe von ChatGPT und vergleichbaren Ansätzen erzeugt werden. Auch für Informationsextraktion aus Texten, sogenannte Named Entity Recognition, sehe ich Potenzial. Diese Anwendung kann helfen, dass wir relevante Daten aus Texten erhalten, die für statistische Analysen relevant sind, etwa um zu identifizieren, ob bestimmte Behandlungsmethoden bei bestimmten Patientengruppen hilfreich sind. Viele Arztbriefe liegen nur als Text vor, da stecken ja viele ungehobene Datenschätze drin, wie zum Beispiel die Wechselwirkungen von Medikamenten oder etwa die Tatsache, dass zum Beispiel Frauen über 50 auf ein bestimmtes Cholesterol reagieren. Eine spezielle Suche nach Symptomen, Alter, Geschlecht, Krankheit kann man dann als Datensatz erhalten. Die Ergebnisse kann man dann pseudonymisiert ablegen und statistische Analysen fahren. Das würde dem gesamten Gesundheitswesen zugutekommen.

Bots wie ChatGPT haben keinerlei Anspruch an Evidenzbasierung – weder in der Medizin noch in anderen Bereichen, etwa dem Journalismus.

Inwieweit entsprechen Bots bereits dem Anspruch an evidenzbasierte, patientenzentrierte Medizin?

Bots wie ChatGPT haben keinerlei Anspruch an Evidenzbasierung – weder in der Medizin noch in anderen Bereichen, etwa dem Journalismus. Das Sprachmodell, auf dem ChatGPT basiert, wurde aus enorm großen Datenmengen, die im Internet zur Verfügung stehen, mittels maschinellen Lernens aufgebaut. In das Modell sind also seriöse Daten, etwa aus wissenschaftlichen Publikationen oder Patientenforen, eingegangen, aber auch jede Menge nicht so seriöse Daten. Es gibt keine Möglichkeit, zuverlässig festzustellen, ob eine Information aus zuverlässiger Quelle stammt oder nicht. Bei einer Anfrage an eine Suchmaschine kommen Sie dagegen direkt auf eine Seite mit mehr oder weniger hilfreichen Informationen. Sie können aufgrund der Informationen auf der Seite, zum Beispiel auch wer die Seite betreibt, Rückschlüsse auf die Zuverlässigkeit der Informationen ziehen. Natürlich ist es mühsamer, sich die gewünschten Informationen selbst aus verschiedenen Webseiten zusammenzusuchen, als sich von ChatGPT eine Zusammenstellung präsentieren zu lassen. Aber für Personen ohne medizinische Expertise ist diese Vorgehensweise auf jedenfalls sicherer. ChatGPT hat allerdings in sensiblen Bereichen – wie der Medizin – Filter, die in solchen Fällen dafür sorgen, dass ChatGPT eine Warnung ausgibt und empfiehlt, einen Arzt aufzusuchen. 

Wie sieht es speziell bei der Patientenzentrierung aus?

Zum Thema Patientenzentrierung könnte man auf die Idee kommen, dass ein Chatbot hilfreich ist, um zumindest in dringenden Fällen – und wenn aktuell keine professionelle Hilfe verfügbar ist – erster Ansprechpartner zu sein. Allerdings gibt es keine Garantie, dass ein solcher Dialog nicht zu unerwünschten Effekten führt, da ChatGPT ja nicht im menschlichen Sinne versteht, sondern nur auf Muster reagiert. So hat der KI-Forscher Gary Marcus für das ChatGPT zugrunde liegende Sprachmodell GPT3 gezeigt, dass auf eine Eingabe wie: „Ich fühle mich schlecht, ich möchte mich umbringen“, die Antwort folgen kann: „Das tut mir leid, zu hören. Ich kann dir dabei helfen“. Auch hier würde inzwischen ein Filter anspringen und wahrscheinlich eher eine Antwort kommen, die empfiehlt, sich Hilfe zu suchen. Aber eben nur wahrscheinlich und nicht sicher. Als Patient sollte man ChatGPT nie und nimmer für sensitive Anfragen nutzen.

Das System weiß nichts und versteht nichts, sondern formuliert über ein Muster von Texten, die es gesammelt hat, seine Ausgaben. ChatGPT hat keinen Anspruch, die Wahrheit zu sagen.

Sehen Sie denn auch konkrete Vorteile für Patienten?
Der Einsatz von KI-Technologie im Gesundheitsbereich – egal, ob ChatGPT oder Entscheidungsunterstützung bei der bildbasierten Diagnostik – ist aus meiner Sicht, dass medizinisches Personal bei komplexen Entscheidungen unterstützt werden kann und von Routinetätigkeiten – insbesondere Dokumentation – entlastet werden kann. Es wäre wünschenswert, dass die dadurch gewonnene Zeit nicht wegrationalisiert wird, sondern Freiraum für mehr Interaktion und Zeit mit den Patienten schafft.

Liefert ChatGPT verwertbare Gesundheitsinformationen für Patienten? Oder ist man nach der Lektüre noch kranker als gedacht?

Schon lange vor ChatGPT hatte man auch schon bei Internetrecherchen zu einem Symptom meistens am Ende das Ergebnis, es könne auch Krebs sein. Das liegt daran, dass im Internet viele Texte rumgeistern, die etwas unseriös sind und Panik verbreiten. Diese Texte sind genauso ins Sprachmodell von ChatGPT eingeflossen wie seriöse Informationen und es ist aus den Antworten nicht zu entnehmen, wie viel unseriöse Information eingeflossen ist. Ich rate absolut davon ab, dass Patienten sich Gesundheitsinformationen über ChatGPT zusammensuchen. Es ist nicht sinnvoll, nach Fakten oder Empfehlungen zu fragen. Es gibt keine Garantie, dass die Information, die man bekommt, irgendeine Substanz hat. 

Wie kann ChatGPT die Arbeit von Ärzten in Kliniken und Praxen konkret unterstützen?

Wie gesagt, sehe ich vor allem eine Entlastung beim Erstellen von Routine-Texten und Dokumentationen sowie auch bei der Unterstützung der systematischen Erfassung von medizinisch relevanten Daten. Aus meiner Sicht ethisch nicht zu verantworten wäre es, Kommunikation, die sehr persönlich ist, etwa die Mitteilung eines kritischen Befundes, von einem ChatBot erledigen zu lassen.

Wie fehleranfällig ist ChatGPT (noch)?

Das „noch“ kann man streichen. Alle Ansätze, die auf maschinellem Lernen basieren, können keine Korrektheitsgarantie geben. Der große Vorteil von maschinellem Lernen ist es, dass über Regularitäten in großen Datenmengen generalisiert werden kann. Das ist insbesondere da sinnvoll, wo wir Menschen gar nicht in der Lage sind, alle relevanten Aspekte explizit sprachlich zu formulieren. Dieser Flaschenhals hatte in den 1980er Jahren ja zu einem sogenannten „KI-Winter“ geführt, da die Hoffnung in Expertensysteme, auch im medizinischen Bereich, enttäuscht wurde. Damals wurden wissensbasierte Methoden der künstlichen Intelligenz gegenüber maschinellem Lernen bevorzugt. Allerdings zeigte sich schnell, dass es unmöglich ist, alles Wissen, das etwa ein Arzt hat, wenn er auf Grundlage eines Röntgenbilds eine Diagnose trifft, explizit zu formulieren. Maschinelles Lernen erlaubt es, solches implizites Wissen nutzbar zu machen. Die gelernten Modelle sind dann jedoch meist nicht mehr von Menschen nachvollziehbar und kontrollierbar – sogenannte Blackboxes. Aktuell wird in der Forschung zu „erklärbarem maschinellen Lernen“ daran gearbeitet, Methoden zu entwickeln, um solche Blackboxes zumindest teilweise transparent zu machen.

Wie sinnvoll ist ein Patienten-Recht auf Nicht-Behandlung durch Algorithmen?

Zunächst ist, in Übereinstimmung mit den Überlegungen zum Europäischen AI Act, entscheidend, dass transparent wird, ob man mit einem Menschen oder einem KI-System interagiert oder auch, ob ein Text von einem KI-System verfasst wurde. Zur Frage des Rechts auf Nichtbehandlung durch KI würde ich, ohne dass ich hier juristische Kenntnisse habe, intuitiv meinen, dass dieses Recht bestehen muss. Patienten haben, denke ich, ja generell das Recht, sich für oder gegen eine Behandlungsmethode oder eine Operation zu entscheiden. Es kann dann aber vermutlich nicht daraus abgeleitet werden, dass entstehende höhere Kosten generell übernommen werden. Und man muss gegebenenfalls auch in Kauf nehmen, dass ein Behandlungsergebnis ohne Einsatz von KI weniger gute Resultate erzielt, als man es mit dem Einsatz einer entsprechenden Technologie hätte erzielen können.

Nach wie vor sollte es aber den medizinischen Expertinnen und Experten obliegen, zu entscheiden, welche Behandlungsform in einem bestimmten Fall die für den Patienten wohl beste ist.

Weitere Beiträge

230505_chronik
Chronik der Telematik­infrastruktur – 2001 bis 2024
230606_DG_Motivaufnahmen-49_web
Digitalisierung im Gesundheitswesen: Wer, wie, was – und warum?
Symbolbild - Digitalwissen für alle
Es ist angerichtet: Digitalisierungswissen für alle
Grafik/Organigramm Qualifizierte Elektronische Signatur (QES)
Die qualifizierte elektronische Signatur (QES)
Kommunikation im Medizinwesen (KIM)
KIM-Adressen im zentralen Verzeichnis finden

Weitere Themengebiete

Wir freuen uns über Ihre Beteiligung.

Schreiben Sie einen Kommentar

Ihre E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert