Nivellering: grote app-upgrade verdient 95% positieve feedback

Door DeHub Team — 2024-07-01

Een belangrijke app-upgrade werd in het derde kwartaal van 2024 verzonden en kreeg 95% positieve feedback.

Wat een cijfer van 95% waard is

Minder dan het lijkt, en dat zeggen we liever.

Feedback op een release is zelf-selecterend. De mensen die reageren, zijn onevenredig de geëngageerde en tevredenheidsscores op een herontwerp zijn meestal hoog in de eerste weken, ongeacht het herontwerp, omdat nieuwigheid leest als verbetering.

We melden het omdat het is wat het nummer was. We behandelden het niet als validatie en de nuttiger signalen waren gedrag — of sessies langer werden, of mensen functies vonden die ze eerder hadden gemist, of het ondersteuningsvolume op specifieke schermen daalde.

Wat de upgrade bevatte

Het werd verzonden naast de interface-revisie en een 200% verbetering van de backend-snelheid in hetzelfde kwartaal. In de praktijk werden ze op twee manieren beschreven: de onderdelen die gebruikers konden zien en de onderdelen die die onderdelen bruikbaar maakten.

De reden dat ze samen zijn gekomen, is dat een herontwerp op een langzame backend een langzamere applicatie is die er mooier uitziet, die gebruikers correct als slechter ervaren.

De 5%

De kritische feedback is waarom deze mijlpaal er überhaupt toe doet, omdat het specifiek en consistent was.

Bijna alles was geclusterd op twee dingen:

Onboarding, nog steeds. De meest hardnekkige klacht in de geschiedenis van DeHub, inhoudelijk onveranderd sinds de 50 gebruikersinterviews die we in het eerste kwartaal van 2021 hebben gehouden, waar de instelling van de portemonnee werd geïdentificeerd als de muur waar mensen tegenaan liepen. Drie jaar en een volledige wederopbouw later was het nog steeds de muur.

Ontdekking. Mensen konden niet op betrouwbare wijze dingen vinden waarvan ze wisten dat ze bestonden. Dat is een veel moeilijker probleem dan het klinkt, en het komt niet voor in tevredenheidsscores omdat gebruikers niet melden dat ze missen wat ze nooit hebben gevonden.

Wat het produceerde

Beide klachten vormden het volgende jaar direct. De vernieuwde app-feed met audio-antwoorden en live gespreksruimtes in Q2 2025 was grotendeels een ontdekkingsreactie en het berichtenwerk in Q1 2025 pakte het gerelateerde probleem aan dat dingen mensen überhaupt bereikten.

De algemene les

Een 95% positief resultaat is een reden om beter naar de 5% te kijken, geen reden om te stoppen. De tevreden meerderheid vertelt je dat de release niets heeft verbroken waar ze op vertrouwden. De ontevreden minderheid vertelt je waar het product nog steeds niet goed is, en op beide punten vertelden ze ons hier al drie jaar.

Waarom we het cijfer toch publiceren

Omdat het weglaten zijn eigen soort oneerlijkheid zou zijn, en omdat de waarschuwingen nuttiger zijn verbonden aan een reëel getal dan abstract geleverd.

De industrienorm is om tevredenheidscijfers te publiceren zonder enige uitleg over hoe ze zijn verzameld, waardoor ze onmogelijk te wegen zijn. Die van ons kwamen van gebruikers die ervoor kozen om te reageren, in de weken na een release, wanneer nieuwigheid een deel van het werk doet. Dat is geen kritiek op het resultaat — het is de context die nodig is om het te lezen.

Als een project een tevredenheidsgetal rapporteert en u niet vertelt wie, wanneer en welk deel werd gevraagd, is het getal decoratie. Inclusief het onze.