E-Commerce-Analytics unterstützen dich dabei, deinen Online-Shop stetig zu optimieren. Solltest du jemals daran gedacht haben, Veränderungen in deinem Online-Shop hinsichtlich des dadurch generierten Umsatzes zu beurteilen, dann ist dieser Artikel hilfreich für dich. Benutzt du hingegen Zahlen nur als schmückendes Beiwerk, weil die anstehenden Entscheidungen aufgrund anderer Kriterien getroffen werden, dann wird dich dieser Artikel eher langweilen.
Diese Inhalte erwarten dich in diesem Blogartikel:
E-Commerce-Analytics bedarf der Statistik
Warum Umsatz und nicht Conversion Rate?
Stolpersteine bei der Interpretation der Umsatzzahlen
Stolperstein 1: Fata-Morgana-Tendenz
Stolperstein 2: Glück oder Können – Ausreißer
Stolperstein 3: Keine Berechnungsbasis
Wie kann man diese Stolpersteine vermeiden?
E-Commerce-Analytics bedarf der Statistik
Um die Qualität eines Online-Shops quantitativ zu beurteilen und Entscheidungen zu treffen, schauen wir auf Zahlen und führen E-Commerce-Analytics durch. Diese Zahlen nennen wir KPIs (Key-Performance-Indicators) oder Business-Metriken. Leider können uns Zahlen auch trügen…denn das Entdecken von Mustern oder das Verbinden von Ursache und Wirkung liegt mehr in unserer Natur, als das Erkennen von Zufällen. Sicher kommen dir einige der folgenden Beispiele bekannt vor:
- Kommt der Zug immer zu spät, wenn du es besonders eilig hast? Oder fällt es dir an den anderen Tagen einfach nicht auf?
- Ist die Kombination von Lottozahlen, die häufiger zu einem Gewinn führten, tatsächlich erfolgreicher als die anderen? Obwohl die Lottokugel fair sein soll?
- Hat die Optimierung des Checkout-Prozesses am Freitag tatsächlich die Verkäufe am Wochenende erhöht? Oder liegt es einfach daran, dass Wochenende ist und du an diesen Tagen immer mehr verkaufst als unter der Woche?
Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!
Besonders bei Umsatzzahlen ist die Gefahr groß, „Opfer“ des eigenen Bauchgefühls zu werden. Denn Umsatzwerte streuen viel mehr, als es zum Beispiel eine Klickrate tut – entweder du hast einen Klick oder eben nicht. Um also die Verlässlichkeit von Zahlen zu erhöhen, müssen wir dem allzu menschlichen Bauchgefühl etwas entgegensetzen. Hier hilft die Statistik. Sie ist zwar langweilig, aber sie ist notwendig.
Warum Umsatz und nicht Conversion Rate?
A/B-Tests sind im Rahmen von E-Commerce-Analytics mittlerweile ein allgemein akzeptiertes Verfahren, um zu testen, ob Veränderungen im Online-Shop tatsächlich eine Verbesserung bezogen auf vorher festgelegte KPIs bewirken.
Die üblicherweise überall im Internet diskutierte KPI ist die Conversion Rate. Diese hat den Vorteil, dass man sie recht einfach ermitteln kann. Zum Beispiel durch das Zählen der Besuche im Online-Shop, die mit einem Kauf abgeschlossen werden. Das Problem mit der Conversion Rate ist jedoch, dass sie zwar die Anzahl der Käufe messen kann, aber nichts über den damit erzielten Umsatz aussagt. Das ist insofern unbefriedigend, als dass der erzielte Umsatz letztendlich die entscheidende Größe ist.
Ist dein einziges Ziel die Steigerung der Conversion-Rate? Dann empfehle ich dir einfach mal die Preise zu senken. Ob dies unter dem Strich jedoch immer noch positiv ist, ist eine andere Frage.
Fest steht also: Der Umsatz muss in einem A/B-Test einbezogen werden. Um den Umsatz zu messen, gibt es verschiedene Ansätze im Bereich der E-Commerce-Analytics:
- Gesamtumsatz: Summe über die erzielten Umsätze
- Durchschnittlicher Warenkorb-Wert: Summe über die erzielten Umsätze geteilt durch die Anzahl der gekauften Warenkörbe
- Umsatz pro Besuch: Summe über die erzielten Umsätze geteilt durch die Anzahl der Shopbesuche
Stolpersteine bei der Interpretation der Umsatzzahlen
Im Folgenden möchten wir dir anhand von Beispielen gerne drei Stolpersteine bei der Interpretation von Umsätzen aufzeigen, die bei E-Commerce-Analytics auftreten können. Aus Datenschutzgründen sind die folgenden Beispiele alle fiktiv, aber realen, d. h. mit und bei epoq durchgeführten Tests, nachempfunden. Am Ende beantworten wir dir auch die Frage, welche der oben genannten Umsatz-Kennzahlen sich denn nun am besten für A/B-Tests eignet.
Stolperstein 1: Fata-Morgana-Tendenz
Hier siehst du einen Graph mit den Zahlen der ersten 5 Tage eines A/B-Tests. Angezeigt wird der durchschnittliche Warenkorb-Wert pro Tag. Die Anzahl der verkauften Warenkörbe in Gruppe A und B ist gleich:
Sieht ziemlich eindeutig aus. Am 5. Tag ist Gruppe B mit der grünen Linie bereits um 4.6 % besser als Gruppe A mit der blauen Linie. Damit könnte man den Test eigentlich schon abschalten, oder? Tatsächlich geht der Test aber wie folgt weiter:
Nach 30 Tagen ist Gruppe A mit der blauen Linie um fast 10 % besser. Doch was ist hier passiert? Es handelt sich um einen zufällig auftretenden statistischen Effekt. Selbst wenn eine Gruppe im Mittel besser ist als eine andere, können doch einzelne Warenkorb-Werte auftreten, die die andere Gruppe kurzfristig besser aussehen lassen. Wie zu Beginn bereits geschrieben, sind wir Menschen besser darin Muster zu erkennen, als Zufälle. Wir führen die Kurve im Kopf einfach fort. Tatsächlich aber ist es gar nicht so selten, dass die Gewinner-Gruppe zu Beginn des Tests hinten liegt.
Stolperstein 2: Glück oder Können – Ausreißer
Hier eine Tabelle, die den aktuellen Stand eines A/B-Tests bezüglich der KPI „Durchschnittlicher Warenkorb-Wert“ anzeigt:
Gruppe A ist damit fast 7 % besser als B. Das sieht wieder ziemlich eindeutig aus. Also A/B-Test abschalten? Nein, auch hier gibt es einen Stolperstein. Diesen sieht man allerdings erst, wenn man sich die einzelnen Warenkörbe bzw. die Verteilung der Warenkorb-Werte in beiden Gruppen anschaut:
Für diesen Graph reicht es Folgendes zu verstehen: Je höher die Kurve ist, desto mehr Warenkörbe wurden zum Wert auf der horizontalen x-Achse verkauft. Die Warenkorb-Werte bei Gruppe A und Gruppe B treten nahezu gleich häufig auf. Sieh jedoch den kleinen blauen Hügel auf der rechten Seite? Dieser repräsentiert einen Warenkorb-Wert von 2000 € und bildet damit eine Ausnahme.
Ist dieser Wert dafür verantwortlich, dass Gruppe A besser als Gruppe B abschneidet? Probieren wir es doch aus und tauschen die Maximalwerte bei beiden Gruppen einfach aus. Gruppe B bekommt den 2000 € Warenkorb und Gruppe A dafür den größten Warenkorb aus Gruppe B in Höhe von rund 779 €. Damit sieht obige Tabelle nun so aus:
Gruppe B ist 6.5 % besser als Gruppe A. Das Bild hat sich komplett gedreht. Der Extremwert alleine entscheidet, welche Gruppe der „Sieger“ ist. In der Statistik bezeichnet man solche Extremwerte als Ausreißer.
Aber was bedeutet das für uns? In unserem Fall könnte hinter dem Ausreißer zum Beispiel eine Kundin stehen, welche einmal pro Saison alles kauft, was ihr in der aktuellen Kollektion gefällt. Diese Kundin ist ein – wenn auch für den Händler schöner – Einzelfall. Sie ist in den aktuell laufenden A/B-Test „reingeplatzt“ und wurde zufällig Gruppe A zugeteilt. Das sagt jedoch nichts darüber aus, ob die gewählte Änderung im Online-Shop hinter Gruppe A, es tatsächlich schafft, systematisch solche hohen Warenkorb-Werte zu erzeugen.
Du kennst das vielleicht vom Sport: Schafft ein Fußballer es einmal, einen Freistoß direkt ins Tor zu befördern, dann war es wohl Glück. Schafft er es hingegen mehrfach pro Saison, hat er es wohl „einfach drauf“.
Stolperstein 3: Keine Berechnungsbasis
Wir schauen wieder auf die Auswertung eines A/B-Tests, diesmal auf die KPI Gesamtumsatz:
Gruppe B setzt sich mit einer Umsatzsteigerung von fast 14 % eindeutig durch. Hast du diesen Beitrag jedoch bis hierhin verfolgt, dann weisst du, dass die Geschichte noch nicht zu Ende ist. Etwas fehlt in der Tabelle, siehst du es? Genau: Die Anzahl der verkauften Einheiten/Warenkörbe. Ergänzt um die Warenkörbe sieht die Tabelle so aus:
„Ist ja schön und gut“, höre ich dich jetzt sagen, „aber was interessiert mich der durchschnittliche Warenkorb-Wert? Gruppe B hat mehr Warenkörbe verkauft und mehr Umsatz gemacht, passt doch!“ Das ist richtig. Aus diesem Grund betrachten wir noch die Anzahl der Shopbesuche und die damit verbundenen KPIs, Conversion-Rate und Umsatz pro Shopbesuch:
„Noch mehr Zahlen“, höre ich dich wieder sagen, „aber Gruppe B macht immer noch mehr Umsatz!“ Das ist richtig, Gruppe B macht absolut gesehen mehr Umsatz. Aber gemessen an der Anzahl der Shopbesuche, also der Größe, die bei einem A/B-Test 50/50 aufgeteilt wird, hat Gruppe B weniger Umsatz gemacht. Warum ist das in der Praxis so wichtig?
Die Zuteilung der Shopbesucher zu Gruppe A und B erfolgt zufällig. Es ist somit vollkommen natürlich, dass mal die eine, mal die andere Gruppe mehr Besucher hat und allein dadurch mehr Umsatz erzielt. Vergleiche die Zuteilung mit einem Münzwurf: Wenn du 10 mal wirfst, dann bekommst du nicht immer 5 Kopf und 5 Zahl, sondern auch mal 7 Kopf / 3 Zahl, 4 Kopf / 6 Zahl usw..
Das bedeutet für dich, dass man Umsätze nur auf der gleichen Basis vergleichen darf. Sonst entscheidet am Ende der Zufallsmechanismus bei der Gruppenaufteilung, wer den A/B-Test gewinnt. Lass uns den Wert in der Spalte ganz rechts auf 1000 Besuche normalisieren, um es deutlich zu machen:
Geht man von der gleichen Berechnungsbasis aus, dreht sich das Ergebnis nochmal. Was ist denn nun die richtige Umsatz-KPI? Zusammenfassend kann man sagen: Die KPI Umsatz pro Besuch hat am meisten Aussagekraft über den Gesamtumsatz. Wenn du in einem A/B-Test eine Steigerung dieser KPI nachweisen kannst, so hast du auch den Gesamtumsatz gesteigert.
Bleibe up to date in Sachen Customer Experience Optimization: Melde dich zu unserem Newsletter an. Jetzt anmelden!
Wie kann man diese Stolpersteine vermeiden?
E-Commerce-Analytics bietet dir Möglichkeiten, um die Stolpersteine zu vermeiden. Wie wir gesehen haben, ist Stolperstein 3 leicht zu vermeiden in dem man eine bessere KPI wählt. Stolperstein 1 und 2 hingegen kann man nur vermeiden, wenn man ein gutes statistisches Auswertungsprogramm zur Hand hat. Dieses muss die Unsicherheiten durch zu wenige Daten und/oder potenzielle Ausreißer mit einberechnen. So wird verhindert, dass nicht vorschnell ein Gewinner verkündet wird, der eventuell keiner ist. Tests dauern so im Schnitt zwar etwas länger, aber meiner Meinung nach ist eine korrekte Entscheidung doch immer noch besser als eine schnelle, aber möglicherweise falsche.
Fazit
Um Veränderungen im Online-Shop über E-Commerce-Analytics bewerten zu können, ist die Umsatz-Betrachtung bei einem A/B-Test unabdingbar. Der Umsatz pro Besuch ist hierfür die beste Metrik. Dabei sind gute statistische Programme notwendig, um dem Bauchgefühl verlässliche Zahlen entgegensetzen zu können.
Erfahre, wie Ex Libris den E-Commerce-Umsatz steigert
