Ein Pionier des Experimentierens macht einen ernüchternden Realitätscheck: Die meisten Ideen werden scheitern (und das ist auch gut so)
Nur wenige Menschen haben so viel Erfahrung mit Experimenten gesammelt wie Ronny Kohavi. Seine Arbeit bei Tech-Giganten wie Amazon, Microsoft und Airbnb – um nur einige zu nennen – hat den Grundstein für das moderne Online-Experimentieren gelegt.
Bevor sich die Idee des „schnellen Aufbaus und der häufigen Bereitstellung“ in den Technologieunternehmen durchsetzte, folgten die EntwicklerInnen einem Wasserfallmodell mit weniger Veröffentlichungen (manchmal alle 2-3 Jahre). Die Verkürzung der Entwicklungszyklen in den frühen 2000er Jahren dank der agilen Methodik und ein Anstieg der Online-Experimente schufen den perfekten Rahmen für eine Revolution in der Softwareentwicklung – und Ronny stand im Mittelpunkt des Geschehens.
Marylin Montoya, VP Marketing von AB Tasty, hat sich aufgemacht, um die Anfänge des Experimentierens mit Ronny aufzudecken und herauszufinden, warum Scheitern eigentlich eine gute Sache ist. Hier sind einige der wichtigsten Erkenntnisse aus ihrem Gespräch.
.
Progressive Einführungen als Sicherheitsnetz
Ein typischer Versuchszyklus sieht vor, dass der Test durchschnittlich zwei Wochen lang 50 % der Verbraucher ausgesetzt wird, bevor er schrittweise eingeführt wird. Ronny schlägt jedoch vor, die Sache aus einem anderen Blickwinkel zu betrachten: Beginnen Sie mit einer kleinen Zielgruppe von nur 2 %, bevor Sie auf 50 % aufstocken. Der langsamere Anstieg gibt Ihnen die Zeit, um alle schwerwiegenden Probleme oder eine Verschlechterung der metrischen Werte nahezu in Echtzeit zu erkennen.
In einem Experiment konzentrieren wir uns vielleicht nur auf zwei Funktionen, aber wir haben eine große Anzahl von Warnhinweisen, die darauf hindeuten, dass wir X, Y oder Z nicht verschlechtern sollten. Die statistischen Daten, die Sie sammeln, könnten auch darauf hindeuten, dass Sie sich auf etwas auswirken, das Sie nicht beabsichtigt haben. Daher die Verwendung von progressiven Implementierungen, bei denen Sie externe Faktoren erkennen und Ihren Test einfach zurücksetzen können.
Das ist so, als ob Sie Wasser kühlen würden: Sie merken vielleicht, dass Sie die Temperatur ändern, aber erst wenn Sie 0 ºC erreichen, bildet sich Eis. Man merkt plötzlich, dass ab einem bestimmten Punkt etwas sehr Großes passiert. Der Einsatz mit einer sicheren Geschwindigkeit und die Überwachung der Ergebnisse können also zu enormen Verbesserungen führen.
Sie haben eine tolle Idee? Höchstwahrscheinlich wird sie scheitern.
Nichts ist ein besserer Realitätscheck als Experimente in großem Maßstab. Jeder denkt, dass er oder sie die besten Sachen der Welt macht, bis sie in den Händen der Benutzer sind. Das ist der Zeitpunkt, an dem das echte Feedback einsetzt.
Mehr als zwei Drittel der Ideen schaffen es nicht, die Metriken zu verbessern, die sie eigentlich verbessern sollten – weiß Ronny aus seiner Zeit bei Microsoft. Dort hat er das Experimentierplattform-Team mit mehr als 100 Daten-WissenschaftlerInnen, EntwicklerInnen und Programm-Managern gegründet.
Lassen Sie sich jedoch nicht entmutigen. In der Welt des Experimentierens ist das Scheitern eine gute Sache. Schnell scheitern, schnell umschwenken. Wenn Sie erkennen, dass die Richtung, in die Sie gehen, nicht so vielversprechend ist wie gedacht, können Sie diese neuen Erkenntnisse nutzen, um Ihre nächsten Schritte zu verbessern.
Bei Airbnb hat Ronnys Experimentierteam viele Algorithmen für maschinelles Lernen eingesetzt, um die Suche zu verbessern. Von 250 Ideen, die in kontrollierten Experimenten getestet wurden, hatten nur 20 eine positive Auswirkung auf die entscheidenden Kennzahlen – das heißt, mehr als 90 % der Ideen haben die Erwartungen nicht erfüllt. Aber die 20 Ideen, die in irgendeiner Form erfolgreich waren, führten zu einer Verbesserung der Booking-Conversion um 6 %, was Hunderte von Millionen Dollar wert ist.
Das Starterkit zum Experimentieren
Es ist heute einfacher, die Führungsebene davon zu überzeugen, in Experimente zu investieren, weil es viele erfolgreiche Anwendungsbeispiele gibt. Ronny rät, mit einem Team zu beginnen, das über Iterationskapital verfügt. Wenn Sie in der Lage sind, mehr Experimente durchzuführen und ein gewisser Prozentsatz davon erfolgreich ist, ist diese Fähigkeit, Ideen auszuprobieren, der entscheidende Faktor.
Wählen Sie ein Szenario, bei dem Sie den Experimentierprozess leicht in den Entwicklungszyklus integrieren können, und arbeiten Sie sich dann zu komplexeren Szenarien vor. Der Wert von Experimenten wird deutlicher, weil Implementierungen immer häufiger stattfinden. Wenn Sie in einem Team arbeiten, in dem alle sechs Monate ein Deployment stattfindet, gibt es nicht viel Spielraum, weil jeder bereits seine Bemühungen in die Vorstellung investiert hat, dass die Funktion nicht scheitern darf. Wie Ronny bereits sagte, ist die Erfolgswahrscheinlichkeit gering.
Ist das Experimentieren für jedes Unternehmen geeignet? Die kurze Antwort lautet nein. Ein Unternehmen muss bestimmte Voraussetzungen mitbringen, um vom Wert des Experimentierens profitieren zu können. Eine Voraussetzung ist, dass es in einem Bereich tätig ist, in dem Änderungen leicht vorgenommen werden können, z. B. bei Website-Diensten oder Software. Eine zweite Voraussetzung ist, dass man genügend NutzerInnen hat. Sobald Sie Zehntausende von Usern haben, können Sie mit dem Experimentieren beginnen und es in großem Maßstab durchführen. Und schließlich müssen Sie sicherstellen, dass Sie vertrauenswürdige Ergebnisse haben, auf deren Grundlage Sie Ihre Entscheidungen treffen.
Was können Sie noch aus unserem Gespräch mit Ronny Kohavi lernen?
- Wie das Experimentieren zum zentralen Bestandteil Ihrer Produktentwicklung wird
- Warum Experimente die Grundlage für Top-Tech-Unternehmen sind
- Welche Rolle Führungskräfte bei der Umsetzung einer Experimentierkultur spielen
- Wie man ein Umfeld für echte Experimente und vertrauenswürdige Ergebnisse schafft
Über Ronny Kohavi
Ronny Kohavi ist ein Experte auf dem Gebiet des Experimentierens. Er arbeitet seit fast drei Jahrzehnten an kontrollierten Experimenten, maschinellem Lernen, Personalisierung und KI. Ronny Kohavi war zuvor Vice President und Technical Fellow bei Airbnb. Davor leitete er die Abteilung für Analyse und Experimente in der Cloud- und KI-Gruppe von Microsoft und war Direktor für Data Mining und Personalisierung bei Amazon. Ronny ist außerdem Co-Autor von “Trustworthy Online Controlled Experiments : A Practical Guide to A/B Testing.,”, das derzeit das meistverkaufte Data-Mining-Buch auf Amazon ist.
Über den 1,000 Experiments Club
Der 1,000 Experiments Club ist ein von AB Tasty produzierter Podcast, der von Marylin Montoya, VP of Marketing bei AB Tasty, moderiert wird. Begleiten Sie Marylin und das Marketing-Team, wenn sie sich mit den erfahrensten ExpertInnen in der Welt des Experimentierens zusammensetzen, um ihre Erkenntnisse darüber zu enthüllen, was nötig ist, um erfolgreiche Experimente zu entwickeln und durchzuführen.
