Grafiken: ChatGPT4, pexels.com; Musik: SamsungStudio

TRUE-AI hilft Unternehmen dabei herauszufinden, wie gut ihre KI-Systeme bei den Nutzer*innen ankommen. Mit Beobachtungen, Gesprächen und Umfragen wird geprüft, ob das System benutzerfreundlich ist und die Mitarbeiter*innen ihm vertrauen. Daraus entstehen konkrete Verbesserungsvorschläge für die Praxis.

Entwicklungsstand

Entwicklung und Konkretisierung

Wissenschaftliche Fundierung

Entwicklung und Konkretisierung

Erste Erprobung in der Praxis

Evaluierung und Optimierung

Fertig für den praktischen Einsatz

Welches Problem liegt in vielen Unternehmen vor?

In vielen Unternehmen gibt es mangelnde Akzeptanz für KI, die entweder bereits eingeführt wurde oder deren Einführung geplant ist. Diese mangelnde Akzeptanz führt dazu, dass die KI nicht optimal genutzt werden kann. Die Gründe dafür sind vielfältig: Einerseits kann es Vertrauensprobleme geben, die sich in mangelndem Verständnis oder einer generellen Abneigung gegenüber der KI äußern. Andererseits können User-Experience-Probleme vorliegen, wenn das System kompliziert oder ineffizient zu bedienen sowie schwierig zu erlernen ist. Beide Aspekte – User-Experience und Vertrauen – sind essenziell für die Akzeptanz und optimale Nutzung der KI.

Wie trägt das Tool zur Lösung des Problems bei?

TRUE-AI ermöglicht eine systematische Bewertung der User-Experience und des Vertrauens in die KI. Dabei werden nicht nur Bewertungen vorgenommen, sondern auch die ursächlichen Gründe für diese Einschätzungen identifiziert. Auf dieser Basis können dann konkrete Optimierungsmöglichkeiten abgeleitet werden.

Das Tool wird in drei Phasen angewandt:

  1. Think-Aloud: Nutzer*innen bearbeiten typische Aufgaben mit der KI und verbalisieren dabei ihre Gedanken, Aktionen, Gefühle und Emotionen
  2. Interviews: Vertiefte Erkundung der Beobachtungen durch gezielte Fragen zu Verhaltensmustern, Wahrnehmungen, Einstellungen und Intentionen
  3. Fragebogen: Verifizierung der Erkenntnisse und Erhöhung der Repräsentativität

Die Phasen können sowohl sequentiell als auch isoliert angewandt werden.

Wie wird das Tool im Unternehmen angewandt?

3 Phasen in denen das Tool angewandt wird: Think aloud, Interviews, Fragebogen.

Mit welchem (zeitlichem) Aufwand für das Unternehmen geht die Einwendung einher?

Die Durchführung erfolgt in drei aufeinander aufbauenden Phasen. Der zeitliche Gesamtaufwand ist vom konkreten KI-System und Unternehmenskontext abhängig. Die Phasen können sequenziell oder einzeln durchgeführt werden:

Phase I (Think-Aloud):

  • Pro Session circa 60-90 Minuten Durchführung
  • Durchführung mit 1-5 Teilnehmer*innen
  • Gesamtaufwand inkl. Auswertung aller erhobenen Daten: etwa 10-15 Stunden

Phase II (Interviews):

  • Pro Interview circa 60-90 Minuten
  • Durchführung mit 5-15 Teilnehmer*innen
  • KI-Transkription und Kontrolle: etwa 30-45 Minuten pro Interview
  • Gesamtaufwand inkl. Auswertung aller erhobenen Daten: etwa 40-60 Stunden

Phase III (Quantitative Befragung):

  • Ab 80 Teilnehmer*innen
  • Erstellung Online-Fragebogen: etwa 3-4 Stunden
  • Durchführung parallel zu anderen Phasen möglich
  • Statistische Auswertung: etwa 8-12 Stunden
  • Gesamtaufwand inkl. Auswertung aller erhobene Daten: etwa 20-30 Stunden

Welchen Mehrwert stiftet das Tool im Unternehmen?

Mit TRUE-AI können Unternehmen:

  • Konkrete Herausforderungen bezüglich des Vertrauens und der User-Experience Ihres KI-Systems systematisch identifizieren
  • Daraus spezifische Maßnahmen für die Weiterentwicklung des Systems ableiten
  • Eine humanzentrierte Optimierung des KI-Systems durchführen
  • Die Akzeptanz des Systems bei den Nutzer*innen steigern
  • Eine optimale Nutzung des KI-Systems im Unternehmensalltag gewährleisten

Dies ermöglicht Unternehmen, ihre Investitionen in KI-Systeme bestmöglich zu nutzen und deren volles Potenzial auszuschöpfen.

Wiss. Veröffentlichungen

Bunde, E., Eisenhardt, D., Sonntag, D., Profitlich, H. J. and Meske, C. (2023). Giving DIAnA More TIME – Guidance for the Design of XAI-Based Medical Decision Support Systems. International Conference on Design Science Research in Information Systems and Technology (DESRIST), 2023, pp. 107-122.

Das Tool wurde in Teilen am Beispiel des KI-Systems DIAnA (Dermatological Images – Analysis and Archiving) evaluiert, einem webbasierten System des DFKI zur KI-gestützten Hautläsionsklassifikation. Die Anwendung erfolgte durch Think-Aloud-Protokolle und Interviews mit Ärzten, Ärzten in Ausbildung und Patienten, woraus Design-Anforderungen und Design-Prinzipien abgeleitet wurden. Die entwickelten Prinzipien wurden anschließend durch Softwareentwickler und UI/UX-Designer positiv evaluiert.

AnsprechpartnerInnen
Erdi Ünal
Erdi Ünal
Institut für Arbeitswissenschaft