Grafiken: ChatGPT4, pexels.com; Musik: SamsungStudio
TRUE-AI hilft Unternehmen dabei herauszufinden, wie gut ihre KI-Systeme bei den Nutzer*innen ankommen. Mit Beobachtungen, Gesprächen und Umfragen wird geprüft, ob das System benutzerfreundlich ist und die Mitarbeiter*innen ihm vertrauen. Daraus entstehen konkrete Verbesserungsvorschläge für die Praxis.
Entwicklungsstand
Wissenschaftliche Fundierung
Entwicklung und Konkretisierung
Erste Erprobung in der Praxis
Evaluierung und Optimierung
Fertig für den praktischen Einsatz
Welches Problem liegt in vielen Unternehmen vor?
In vielen Unternehmen gibt es mangelnde Akzeptanz für KI, die entweder bereits eingeführt wurde oder deren Einführung geplant ist. Diese mangelnde Akzeptanz führt dazu, dass die KI nicht optimal genutzt werden kann. Die Gründe dafür sind vielfältig: Einerseits kann es Vertrauensprobleme geben, die sich in mangelndem Verständnis oder einer generellen Abneigung gegenüber der KI äußern. Andererseits können User-Experience-Probleme vorliegen, wenn das System kompliziert oder ineffizient zu bedienen sowie schwierig zu erlernen ist. Beide Aspekte – User-Experience und Vertrauen – sind essenziell für die Akzeptanz und optimale Nutzung der KI.
Wie trägt das Tool zur Lösung des Problems bei?
TRUE-AI ermöglicht eine systematische Bewertung der User-Experience und des Vertrauens in die KI. Dabei werden nicht nur Bewertungen vorgenommen, sondern auch die ursächlichen Gründe für diese Einschätzungen identifiziert. Auf dieser Basis können dann konkrete Optimierungsmöglichkeiten abgeleitet werden.
Das Tool wird in drei Phasen angewandt:
- Think-Aloud: Nutzer*innen bearbeiten typische Aufgaben mit der KI und verbalisieren dabei ihre Gedanken, Aktionen, Gefühle und Emotionen
- Interviews: Vertiefte Erkundung der Beobachtungen durch gezielte Fragen zu Verhaltensmustern, Wahrnehmungen, Einstellungen und Intentionen
- Fragebogen: Verifizierung der Erkenntnisse und Erhöhung der Repräsentativität
Die Phasen können sowohl sequentiell als auch isoliert angewandt werden.
Wie wird das Tool im Unternehmen angewandt?
3 Phasen in denen das Tool angewandt wird: Think aloud, Interviews, Fragebogen.
Mit welchem (zeitlichem) Aufwand für das Unternehmen geht die Einwendung einher?
Die Durchführung erfolgt in drei aufeinander aufbauenden Phasen. Der zeitliche Gesamtaufwand ist vom konkreten KI-System und Unternehmenskontext abhängig. Die Phasen können sequenziell oder einzeln durchgeführt werden:
Phase I (Think-Aloud):
- Pro Session circa 60-90 Minuten Durchführung
- Durchführung mit 1-5 Teilnehmer*innen
- Gesamtaufwand inkl. Auswertung aller erhobenen Daten: etwa 10-15 Stunden
Phase II (Interviews):
- Pro Interview circa 60-90 Minuten
- Durchführung mit 5-15 Teilnehmer*innen
- KI-Transkription und Kontrolle: etwa 30-45 Minuten pro Interview
- Gesamtaufwand inkl. Auswertung aller erhobenen Daten: etwa 40-60 Stunden
Phase III (Quantitative Befragung):
- Ab 80 Teilnehmer*innen
- Erstellung Online-Fragebogen: etwa 3-4 Stunden
- Durchführung parallel zu anderen Phasen möglich
- Statistische Auswertung: etwa 8-12 Stunden
- Gesamtaufwand inkl. Auswertung aller erhobene Daten: etwa 20-30 Stunden
Welchen Mehrwert stiftet das Tool im Unternehmen?
Mit TRUE-AI können Unternehmen:
- Konkrete Herausforderungen bezüglich des Vertrauens und der User-Experience Ihres KI-Systems systematisch identifizieren
- Daraus spezifische Maßnahmen für die Weiterentwicklung des Systems ableiten
- Eine humanzentrierte Optimierung des KI-Systems durchführen
- Die Akzeptanz des Systems bei den Nutzer*innen steigern
- Eine optimale Nutzung des KI-Systems im Unternehmensalltag gewährleisten
Dies ermöglicht Unternehmen, ihre Investitionen in KI-Systeme bestmöglich zu nutzen und deren volles Potenzial auszuschöpfen.