User Research ist in vielen Unternehmen und Organisationen angekommen, dank erfolgreichen Promotoren und Promotorinnen für User Research. Fest verankert ist User Research jedoch nicht immer. Der Wert („Impact“) Menschzentrierte Gestaltung und Innovation wird immer mal wieder hinterfragt.
Was in solchen Momenten hilft: Die Wirkungen von User Research sichtbar machen, verständlich erklären, in überprüfbaren Daten, Zahlen und Fakten messbar machen.
Doch sobald es um Wirkungsmessung geht, wird es bekanntlich schwierig, schnell wird es subjektiv und im Ergebnis dann leider nicht wirksam. Viele Fragen kommen auf, Ansätze werden entwickelt, wieder verworfen, und nicht selten wird das Vorhaben dann ganz auf Eis gelegt.
Warum User Research Wirkung belegen muss!
Interne User Research Teams liefern Ergebnisse, Berichte und Empfehlungen, sie beeinflussen Entscheidungen, helfen die richtigen Dinge richtig gut zu gestalten, reduzieren Risiken, verhindern Fehlentwicklungen und schaffen Sicherheit. User Researcherinnen und User Researcher verändern Dinge zu besseren – das muss doch messbar sein?
Frederik Bader
Frederik Bader beschäftigt sich seit Jahren genau mit dieser Frage.
Für ihn endet User Research nicht beim Verstehen von Nutzerinnen und Nutzern. Wirkungen aus User Research Projekten entstehen dann, wenn Erkenntnisse Klarheit schaffen, Entscheidungen verbessern und Teams dabei unterstützt werden Risiken zu vermeiden und Erfolge zu feiern. Und genau das wollte Frederik messbar und damit sichtbar machen, wollte Wirkungen nachvollziehbar belegen. Wie ihm das gelang, das erfahren Sie in diesem Interview.
Im Gespräch erklärte Frederik mir, warum der direkte Nachweis von Umsatzwirkung oft in die falsche Richtung führt, wie sein Team begonnen hat, den Einfluss von User Research systematisch sichtbar zu machen, und wie der Research Promoter Score dabei hilft, Wirkungen dort zu erfassen, wo sie tatsächlich entstehen: In der kollegialen, partnerschaftlichen Zusammenarbeit mit anderen Professionen und Teams aus der IT, dem Marketing und Produkt-Management – und auch dem Finanz- und Rechnungswesen.
Ich habe mich sehr auf dieses Gespräch gefreut. Bis dahin kannte ich Frederik vor allem durch seine Beiträge auf LinkedIn – und ich kann sagen: Meine Erwartungen wurden mehr als erfüllt.
Auf geht’s – rein ins Interview.
Mehr als Antworten: Wie User Research Wirkung entfaltet!
Lieber Frederik, du hast im Jahr 2021 bei deinem Arbeitgeber die Position des „UX Research Manager“ übernommen, und unmittelbar danach hast du begonnen, die Wirkungen („Impact“) von User Research dort im Unternehmen systematisch zu messen. Was war der Moment, an dem dir klar wurde: „Wir brauchen genau jetzt ein Maß für den Wert unserer Arbeit“?
Frederik: Als ich 2021 die UX Research Disziplin und das Team aufgebaut habe, bin ich mit einer eher simplen Frage für das Team gestartet: “Wie können wir sicherstellen, dass wir Antworten auf unsere Research Questions bekommen?”. Seitdem gab es jedes Jahr eine Frage oder ein Motto, das uns durch das Jahr begleitet hat. Für mich war der logische nächste Schritt “Wie können wir greifbare Ergebnisse liefern?” und dann schließlich 2024 “Wie einflussreich oder “impactful” sind wir und können wir sein?”.
Mir war klar, dass die Zeit vorbei ist, in der UX Research ein Selbstzweck sein kann und sollte.
Für uns sind alle Ergebnisse wertvoll, da wir mehr wissen als vorher. Aber unser Job ist nicht, mehr über unsere Nutzer zu lernen. Caroline Jarrett hat es sinngemäß so ausgedrückt, dass unser Job es ist, Teams zu unterstützen zu lernen, um bessere Entscheidungen zu treffen und Risiken zu vermeiden. In einer klassischen Agentur-Arbeitsweise werden Ergebnisse über den Zaun geworfen. Ich wollte aber, dass wir über diesen Zaun schauen und verstehen, was auf der anderen Seite passiert. Auch wenn wir in einem eher klassischen Agentur-Modus gestartet sind.
Lass mich und meine Leserinnen und Leser besser verstehen, worin ihr euch von „Inhouse User Research Teams“ unterscheidet, denen es im Kern darum geht, Antworten auf die ihnen gestellten Fragen zu liefern.
Frederik: Viele Teams starten in einem Agentur-Modus und arbeiten Aufträge ab. Einen richtigen Mehrwert für das Unternehmen bringt aber erst, wenn man wirklich im Team eingebettet arbeitet. Ein Produkt über längere Zeit zu begleiten und zu sehen, wie sich Erkenntnisse darin übersetzen, ist auch eine befriedigendere Arbeit. Zumindest war das bei mir im Team der Fall. Es war ganz klar der Wunsch, dass man nicht nur Ergebnisse teilt und dann alles vergisst. Man will dabei bleiben und die Umsetzung begleiten.
Wenn wir den Impact von UX Research betrachten, dann heißt das auch manchmal vor dem Research die richtigen, kritischen Fragen zu stellen. Wie passt das zur Unternehmensstrategie? Was passiert mit den Ergebnissen? Welchen Einfluss haben wir? Wenn es nur darum geht einen “grünen Haken” vom UX Research Team zu bekommen, ist unsere Energie woanders besser aufgehoben. Nämlich da, wo wir wirklich einen Mehrwert schaffen können. Wo Kollegen unsere Arbeit verstehen, schätzen und die Ergebnisse nutzen können und wollen.
User Research ohne ROI-Illusionen – dafür mit dem Research Promoter Score!
Du siehst deine, eure Aufgaben als User Researcher:innen darin, deine Kolleginnen und Kollegen aus dem Produktmanagement dabei zu unterstützen bessere Entscheidungen zu treffen und Risiken zu meiden. Das ist euer „Impact“. Warum gehst du nicht einen Schritt weiter und versuchst den Einfluss von User Research auf Umsatz oder Gewinn nachzuweisen – also euren „Business Impact“?
Frederik: Unsere Firma stellt Beton, Zement und Zuschlagstoffe her. Als UX Researcher sind wir nicht in der Rolle etwas zu verkaufen oder direkt Einfluss auf den Umsatz zu haben, zu messen oder nachzuweisen.
Wir sehen uns in der Rolle andere bei der Entscheidungsfindung zu helfen oder sie zu fundierten Entscheidungen zu befähigen.
Und es gibt einige Dinge, die dabei unerlässlich sind: Empathie (für unsere Kunden/Nutzer), Klarheit (in Bezug auf das Problem/Thema). Wenn wir dann noch nützliche Informationen liefern, dann können wir diese Entscheidungsfindung positiv beeinflussen.
Das heißt aber nicht, dass es nur positive Entscheidungen sind. Ein “Nein” ist manchmal viel mehr Wert. Es gab Forschungsprojekte, bei denen wir im Nachgang den “negativen ROI” ermitteln können. Sprich: Wieviel Geld haben wir gespart, in dem wir ein Projekt nicht durchgeführt haben.
Lass‘ uns nun endlich auf den „Research Promoter Score“ (RPS) zu sprechen kommen. Klingt nach NPS = Net Promotor Score“ – Absicht? Lass uns, mich und meine Leser und Leserinnen, aber vor allem verstehen was der Research Promoter Score misst.
Frederik: Vorweg. Der NPS ist nicht schlecht. Er ist aus meiner Sicht aber auch nicht so gut, als dass er seine Popularität verdient hätte. In manchen Kreisen ist er besser als sein Ruf, in den größeren aber deutlich schlechter. Es war also eher kein ernst gemeinter Titel, zumal wir keinen Score ermitteln – sondern eher ein Framework entwickelt haben.
Der „Research Promoter Score“ (RPS) misst Empathie, Klarheit, Nützlichkeit und den Einfluss auf Entscheidungen. Und dann sammelt er noch anekdotische Beweise für den Einfluss unserer Arbeit
Der eigentliche RPS besteht aus zwei Wellen:
- Direkt nach dem Teilen der Erkenntnisse: Frage nach Empathie hinsichtlich Kunden/Nutzer und der Klarheit des Themas bzw. der Problemstellung
- Nach 6 Monaten: Frage nach der retrospektiven Nützlichkeit und dem Einfluss auf Entscheidungsfindungen.
Dann gibt es noch den Impact Tracker, der losgelöst ist. Das ist ein qualitativer Ansatz, um systematisch den Einfluss von Key Insights zu dokumentieren. Wir nutzen dafür anekdotische Evidenz. Das hilft unseren Researchern Ergebnisse und greifbare Auswirkungen nachzuverfolgen. Beantwortet also zu jedem Key Insight die Frage “Was ist damit passiert? Welche Maßnahmen folgten, welche Entscheidungen wurden deshalb getroffen?”
Research Promoter Score: Wie Wirkung über Zeit sichtbar wird!
Ihr habt mehrere Messpunkte zur Ermittlung des „Research Promoter Score“ – sowohl unmittelbar nach einem Projekt als auch mit zeitlichem Abstand. Was zeigt sich erst später? Und: Warum ist das für das Verständnis der Wirkungen von User Research entscheidend?
Frederik: Wir können direkt herausfinden, ob das Team den Bedürfnissen und Herausforderungen unserer Nutzer nähergekommen ist. Wir können auch herausfinden, ob wir das Thema oder das Problem klarer gemacht haben durch unsere Forschung. Das ist das direkte Feedback. Das sammeln wir direkt ein, nachdem wir unsere Ergebnisse vorgestellt haben.
6 Monate später gehen wir auf die relevanten Stakeholder zu, das sind meistens Product Owner bei uns. In einem kurzen Gespräch ermitteln wir die retrospektive Nützlichkeit und den Einfluss auf die Entscheidungsfindung. Wir sehen unsere Aufgabe als UX Researcher darin, Entscheidungen zu vereinfachen. Diese Entscheidungen werden aber nicht direkt nach einer Ergebnispräsentation getroffen. Und meistens auch nicht alleine, das heißt, unsere Ergebnisse können über mehrere Personen hinweg geteilt werden und die Entscheidung mag sonst wo passieren. Aber der Product Owner bei uns wird daran beteiligt sein.
Es gibt also Kennzahlen oder KPIs, die man direkt ermitteln kann. Und es gibt nachlaufende Metriken. Die kann man erst nach einer gewissen Zeit messen. Das sind gewöhnlicherweise nicht die führenden Kennzahlen – aber sie sind eigentlich das Ergebnis. Die direkten Kennzahlen sind eher Output.
Wie integriert ihr den „Research Promoter Score“ konkret in euren Arbeits- und Projektalltag: Wer wird befragt, wie aufwändig ist das, und was passiert mit den Ergebnissen tatsächlich?
Frederik: Wir präsentieren unsere Ergebnisse in sogenannten Sharebacks. Dieses Shareback darf nur verlassen, wer unsere erste Welle an Fragen beantwortet hat (Die nach Empathie und Klarheit).
Nach 6 Monaten gehen wir auf die wichtigsten Leute und Entscheider zu, das ist meistens der Product Owner, der uns beauftragt hat. Mit ihm führen wir ein 10-minütiges Gespräch. Das kostet kaum Zeit und ist nicht aufwändig. Daher lässt es sich aber auch sehr gut in unseren Alltag integrieren, und ist damit auch machbar – komplexere Messungen wären einfach nicht machbar. Und aus unserer Sicht sind sie für uns auch nicht nötig.
Der zweite Teil des Research Promoter Score ist der Impact Tracker, also die anekdotische Sammlung von Beweisen unseres Einflusses. Das ist aufwändiger, aber auch befriedigender. Hier gehen wir einmal im Jahr die Key Insights der vergangenen Monate durch und haken bei den POs nach: Was hat sich getan, welche Entscheidung wurde getroffen. Was hat sich im Produkt deshalb geändert?
Das hilft uns nicht nur den Einfluss direkt zu sehen und bereitet uns Freude – es ist auch eine Erinnerung, mit den Ergebnissen von UX Research wirklich etwas zu machen. Das stärkt das “Was jetzt?” Mindset, das nach jedem Research stehen sollte. Was bedeuten die Ergebnisse jetzt für uns? Was machen wir damit?
Klein anfangen, Haltung entwickeln und Klarheit gewinnen!
Wenn andere UX / User Research-Teams anfangen wollen, die Wirkung ihrer Arbeit sichtbar zu machen: Was sollten sie zuerst klären und wovor würdest du aus heutiger Sicht ausdrücklich warnen?
Frederik: Wir haben den RPS nur für uns gestartet. Es gab uns Zeit, in Ruhe nachzudenken und zu gestalten, was für uns sinnvoll ist. Was bringt uns einen Mehrwert und ist auch umsetzbar. Damit sollte jedes Team starten. Lieber klein starten und dann komplexere Dinge messen. Aber löst euch auch von dem Gedanken, dass eure Arbeit schon für sich selbst spricht. Was ist euer Verständnis und wie sehen andere eure Rolle? Und das kann sich beides wandeln. Vielleicht seit ihr heute UX Researcher und morgen Experience Strategists. Dann mag es sinnvoll sein, etwas anderes zu messen als den RPS.
Frederik, vielen Dank für die Offenheit, die Klarheit und die Einblicke in deine Arbeit. Besonders spannend ist dein pragmatischer Blick auf Wirkung: klein anfangen, messen, was wirklich messbar und beeinflussbar ist, und sich dabei immer wieder fragen, welchen Unterschied User Research tatsächlich macht.
Ich würde mich sehr freuen, wenn wir dieses Gespräch in nicht allzu ferner Zukunft fortsetzen und dann tiefer auf deine neue Rolle, eure neuen Wirkungsmodelle und die Weiterentwicklung von Experience Strategy schauen.
Danke dir für dieses Gespräch.
