Im Projekt werden realistische virtuelle 3D-Menschmodelle (engl. 3D-Humans oder virtueller Doppelgänger) von Gesundheitsexpert:innen erstellt und in eine telemedizinische Plattform integriert. Vertrautheit und Verbundenheit ist für das erfolgreiche Arzt-Patienten-Gespräch essenziell [29], was eine realitätsgetreue Rekonstruktion unerlässlich macht [30]. Durch die Integration von Gesundheits-Chatbots und weiteren KI-Services können die 3D-Menschmodelle als VAs durch reale Expert*innen kontrolliert, aber auch als deren IVAs für die (semi-)autonome Kommunikation mit Patient:innen eingesetzt werden. Dabei sollen neuartige hybride Interaktionsformen durch nahtlose Übergänge zwischen vollständig autonom agierenden IVAs und durch die Gesundheitsexpert:innen kontrollierten VAs entwickelt werden. Diese hybriden Avatar-/Assistent-Modelle können auf mobilen Endgeräten oder immersiven MR-Technologien, wie VR/AR-Datenbrillen (engl. Head-Mounted Displays, kurz HMDs) dargestellt werden. Über verschiedene (Bewegungs-)Sensoren im HMD (z.B. (Tiefen-)Kameras, Mikrofone oder 3D-Eingabegeräte) sowie Vitaldaten-Messgeräte (Blutdruckmessgerät/ -zuckermessgerät, Waage etc.) können die Patientendaten entweder direkt oder durch die Patient:innen kontaktlos übermittelt werden. Die Patient:innen sowie Gesundheitsexpert:innen können die Avatar/Assistent-Modelle z.B. über mobile Endgeräte oder MR-Systeme steuern und so über Distanz im virtuellen Raum multimodal (insb. Sprache, Mimik und Gestik) miteinander kommunizieren. Falls Patient:innen direkt mit ihrem Arzt oder Ärztin sprechen möchten, können sie einen (realen oder virtuellen) Termin vereinbaren oder bequem zu Hause warten, bis sie von der telemedizinischen Plattform informiert werden. Die hybriden Avatar-/Assistent-Modelle können Emotionen und Empathie durch (non) verbale Kommunikation (z.B. Gesichtsausdruck, Stimmlage, Körperhaltung etc.) vermitteln [31]. Unsere Plattform soll für Standard- und Routineaufgaben in relevanten Use Cases für (i) Tele-Diagnose, (ii) Tele-Monitoring und (iii) Tele-Psychotherapie unter Einbeziehung der beteiligten Stakeholder in einem integrativen nutzerzentrierten Entwicklungsprozess erforscht und entwickelt werden. Die sensible Natur der erhobenen medizinischen Daten macht besondere Maßnahmen zur Berücksichtigung der ethischen, sozialen und rechtlichen Aspekte notwendig. Die moralisch-ethischen Grundsätze medizinischer Berufspraxis werden daher unter dem Aspekt ihrer normativen Geltung und Anwendung projektbegleitend reflektiert.

Das Projekt läuft für 3 Jahre ab Mitte März 2022. Über laufende Entwicklungen können Sie sich auf dieser Homepage informieren.

Patientin Ilka (38 Jahre) klagt über Husten, plötzlich einsetzendes Fieber sowie allgemeines Krankheitsgefühl und befürchtet, dass sie sich mit Sars-CoV-2 infiziert hat. Sie nimmt ihr Smartphone und loggt sich bei der telemedizinischen Plattform ein. Sie wird sofort vom IVA ihres Arztes begrüßt, erörtert ihr Anliegen und übermittelt ihre Vitalparameter (Körpertemperatur). Der IVA erfragt medizinisch relevante Informationen. Da Ilka weder über Kurzatmigkeit noch Geruchs- oder Geschmacksverlust, aber über Schnupfen und Gliederschmerzen klagt, schätzt der IVA eine Sars-CoV-2-Infektion als eher gering und eine Influenza-Erkrankung als relativ hoch ein. Der IVA schlägt vor, dass Ilka sich in Selbstisolation begibt und Kontakte vermeiden soll. Das System fragt Ilka, ob ein Sars-CoV-2-Selbsttest zu ihr nach Hause geschickt werden soll, ob sie einen realen oder virtuellen Termin beim Arzt vereinbaren möchte, oder im virtuellen Wartezimmer auf den Arzt warten möchte. Da ihre Glieder- und Kopfschmerzen stärker werden, möchte sie sich ausruhen und bestellt nur den Test. Der IVA bestätigt die Bestellung und bietet Ilka seine Unterstützung bei der Durchführung des kombinierten Nasen- und Rachenabstrich durch anschauliche multimodale 3D-Instruktionen in MR zu erläutern. Ilkas Arzt kommt vom Behandlungszimmer in sein Sprechzimmer und geht an den PC. Er sieht im interaktiven Dashboard, dass seine Patientin auf der Plattform war. Er schaut sich die aufbereiteten medizinischen Daten und Einschätzung des IVA an. Bei den Symptomkombinationen sowie den vermehrten Influenza-Erkrankungen in der Region teilt er die Einschätzung. Er bestätigt die Diagnose, aber konfiguriert die Plattform, dass Ilka nach drei Tagen kontaktiert wird, um sich nach ihrem Wohlbefinden zu erkundigen.