Get some insights.

Case studies

This post is also available in: Englisch

Stage 17 copy

Messung der Performance von Nicht-Online Marketing Kanälen

Ausgangssituation

Es gibt viele Marketingkanäle, deren Performance schwierig zu messen ist. Das gilt insbesondere für Offline Kanäle. Zum Beispiel ist es für TV Werbung nicht möglich direkt zu beobachten, wie eine Werbekampagne das Kaufverhalten potentieller Kunden beeinflusst. Andererseits ist Fernsehwerbung der wichtigste Marketingkanal überhaupt.

Im Falle von TV Werbung ist es möglich den sogenannten direct impact von einem Werbespot zu messen, indem man auf die Aktivitäten der Produktwebseite innerhalb der nächsten Minuten nach dem Spot schaut. Diese Methode ist sehr populär geworden in den letzten Jahren; dennoch hat sie einige große Nachteile. Das Hauptproblem ist, dass nur ein sehr kleiner Anteil der Leute die einen unseren Werbespot gesehen haben tatsächlich direkt danach auf unsere Webseite gehen; nichtsdestotrotz werden alle Zuschauer des Spots potentiell von diesem beeinflusst. Dies hat zur Folge das viele KPIs, etwa der CPO (costs per order) oder CPV (costs per visit), viel schlechter aussehen als sie in Wahrheit sind, was zu falschen Schlussfolgerungen führt. In den meisten Fällen führt das dazu, dass es so scheint, als wäre TV Werbung ein Marketingkanal, in den es sich nicht lohnt zu investieren, da er mehr kostet als einbringt – eine fatal falsche Schlussfolgerung.

Unsere Aufgabe

Unsere Aufgabe war es nun, ein Modell zu entwickeln, welches den wahren Effekt von TV Werbung (oder anderen Nicht-Online Kanälen) misst; ausschließlich auf der Basis von Daten, welche in fast allen Fällen bereit liegen: Einer Zeitreihe von Werbekanal-Aktivität (z.B. Werbekosten pro Woche über die Zeit) und einer Zeitreihe, welche den Impact unserer Werbung quantifiziert (zum Beispiel Einkäufe pro Woche über die Zeit).

Eine solche Attribution ist ein schwieriges Problem und initial war es alles andere als klar, ob es hierfür eine vernünftige Lösung gibt, insbesondere auch weil TV Werbung vor allem einen langfristigen und nicht nur kurzzeitigen Effekt hat. Zusätzlich gibt es auch noch das Problem, dass es noch andere Marketingkanäle gibt und Saisonalitäten, welche ebenfalls unsere Impact Zeitreihe beeinflussen und somit eine Attribution schwierig machen.

Unsere Lösung

Es stellte sich heraus, dass abgesehen von der direct impact Methode es auch noch eine Möglichkeit gibt den Impact einer Werbekampagne indirekt zu messen. Der Hauptvorteil dieses Methode ist, dass wir den gesamten Impact einer Kampagne messen können und nicht nur den Impact auf eine kleine Teilmenge von Leuten, welche direkt nach einem Spot unsere Webseite besuchen, was immer zuvor zu den scheinbar viel zu schlechten Ergebnissen führte. Außerdem gibt uns das auch die Grundlage um ein Vorhersagemodell zu bauen, mit dessen Hilfe wir die Performance von zukünftigen Kampagnen vorhersagen und somit besser planen können.

Um den indirekten Effekt zu messen trainierten wir ein Vorhersagemodell, welches die Zeitreihe einer KPI (z.B. Einkäufe pro Woche über die Zeit) als ein Echo der Marketing Aktivität in einem Kanal (z.B. Werbekosten pro Woche über die Zeit) plus dem Impact von anderen Marketing Kanälen erklärt (welche wir nicht notwendigerweise kennen müssen, aber eine nützliche Information sind).

Hieraus können wir eine Erklärung ableiten, wie unser Marketing Kanal unsere Einkäufe beeinflusst und den Anteil der Einkäufe in unserer Zeitreihe identifiziert, welche durch diesen hervorgerufen wurden. Daraus abgleitet erhalten wir dann eine plausible und genaue Schätzung des wahren Impacts unseres Marketing-Kanals. Wenn wir genügend Daten haben, kann dieser Effekt auch über sehr lange Zeiträume gemessen werden.

Diese Methodik ist verwandt zu Temporal Canonical Correlation Analysis, aber wir entwickelten eine eigene Bayesianische Variante hiervon, um unser Vorwissen über unsere Daten mit einbringen zu können und unsere Lösung noch stabiler und genauer zu machen. In der Zwischenzeit konnten wir unsere Methode bereits für verschiedene Arten von Marketing Kanälen und Produkte erfolgreich anwenden.

Das Resultat

Es stellte sich heraus, dass TV Werbung tatsächlich ein Marketing Kanal ist, welcher einen starken Impact hat und zum aller ersten Mal war es möglich, den Langzeiteffekt von TV Werbung individuell zu messen und in einer hohen Genauigkeit beschreiben zu können.

„Wir brauchen eine BI!“

Ausgangssituation

Ein mittelgroßer VC finanzierter Online-Shop erreichte nach ca. 2 Jahren eine Phase, in dem es begann seine Prozesse in allen Bereichen zu professionalisieren und sich auf die internationale Expansion vorzubereiten. Die Gründer erkannten, dass eine einfache SAAS-Lösung für die Business Intelligence nicht mehr den Ansprüchen eines stark wachsenden Unternehmens genügte und entschieden sich für den Aufbau eines eigenen BI-Teams und einem DWH (Datawarehouse).

Das Projekt

Unsere Aufgaben waren:

  1. Abteilungsübergreifende Anforderungsanalyse für das Business Intelligence Team.
  2. Bestimmung aller Datenquellen und der technischen Infrastruktur.
  3. Aufbau eines DWH (Datawarehouse) und Entwicklung des Datenmodells.
  4. Definition und Umsetzung der wichtigsten Analysen und Reports.
  5. Auswahl und Schulung des neuen Business Intelligence Teams

Unsere Herangehensweise

Vor der eigentlichen technischen Umsetzung und Modellierung des Datenmodells war es entscheidend, das Geschäftsmodell
und die Prozesse unseres Kunden vollständig zu verstehen. Dafür wurden mit allen Team-Leads Interviews durchgeführt und
die Anforderungen an das Reporting und Analysen sowie allgemeine Verbesserungspotenziale, bei der die BI
unterstützen kann, aufgenommen. Der zweite Schritt bestand in der Evaluierung der Datenquellen und im Bestimmen des haupttragenden
Datensystems („Single source of truth“). Desweiteren wurden zusätzliche Tools implementiert (Webtracking, CRM, Kostenreporting).

Für die technische Umsetzung wurde die Microsoft BI-Lösung (SQL Server 2015, SSIS, SSAS, SSRS) gewählt.
Wir teilten die Umsetzung in 3 Schritte ein:

  1. Source-to-Stage: Dies ist der Hauptprozess, der alle Daten aus den Datenquellen konsolidiert auf einen dezidierten BI-Server lädt.
    Mit SSIS (SQL Server Integration Services) wurde ein ETL-Prozess aufgebaut („Extract, Transform, Load“), der die Daten aus den Quellen täglich und inkrementell geladen hat. Der Vorteil dieser Methode ist, dass kein bedeutender Programmieraufwand benötigt wurde und dadurch IT-Ressourcen gespart werden konnten. Dies ermöglichte es auch „Nicht-Programmierern“ den technischen Prozess zu verstehen und selbständig zu erweitern und zu pflegen.
  2. Operational DB: In diesem Schritt findet die Konsolodierung der Daten statt und das Bereinigen fehlerhafter Daten („Data Cleansing“).
    Für die Konsolidierung der Daten war es wichtig, die Datenstruktur zu verstehen und diese entsprechend des Datenmodells anzupassen. Desweiteren wurden geschäftsrelevante Metriken in Zusammenarbeit mit den Team-Leads auf ihre Richtigkeit hin geprüft.
  3. DWH DB mit „Star Schema“: Im letzten Schritt wurden alle wichtigen Metriken und KPIs modelliert sowie eine Tabellen-Struktur im Star-Schema umgesetzt.
    Entsprechend wurden Dim- und Fact- Tabellen gebildet. Darüberhinaus modellierte 7Plans ein Modell für die Customer-Journey Berechnung und einen Report
    für die Berechnung von Auswirkungen durch TV-Werbung.

Ergebnis

Nach der Umsetzung der fünf Projektschritte hatte unser Kunde nicht nur ein voll funktionsfähiges DWH, sondern auch ein neueingestelltes und geschultes Team, das alle wesentlichen Aufgaben innerhalb der BI selbständig übernehmen konnte. Die Schulung umfasste den Aufbau des ETL-Prouzesse, Datenbankmanagement und SQL.

Marketing Attributionsmodell

Ausgangssituation

Ein mittelgroßes deutsches E-Commerce Unternehmen war gerade dabei die Marketingprozesse zu professionalisieren und hatte es sich zum Ziel gesetzt, ein neues Marketing Attributionsmodell zu implementieren, um die Performance Marketing Kanäle automatisiert steuern und optimieren lassen zu können. Das Unternehmen nutzte Webtrekk für das Webtracking
und hatte bereits ein Datawarehouse. Vor der Implementierung erfolgte das Reporting und die Modellierung in Excel, wodurch das Reporting sehr langsam und ineffizient war.

Aufgabe

Die Aufgabe von 7Plans war es, eine neues Marketingattributionsmodell (Online- & Offline Marketing) zu entwickeln, es technisch mit Webtrekk und dem bestehenden DWH umzusetzen und anschließend den neuen Reportingprozess zu implementieren. Der Reportingprozess sollte aus 2 Einheiten bestehen: 1.) einem alle Channels-übergreifendem Report für das Management und 2.) Detaillierten Reports für die einzelnen Marketing-Teams mit Ziel-CPAs (maximal erlaubten Cost-per-Acquisition).

Vorgehen

Der erste Schritt bestand darin, den gesamten Marketingprozess und die Strategie sowie die Arbeitsweise einzelner Marketingkanäle zu verstehen. Darüberhinaus war es wichtig, die Impliktionen und Überlappungseffekte einzelner Kanäle zu verstehen und entsprechend die Modellierung anzupassen (bspw. Auswirkungen von Offline Marketing auf Online Marketing). Aufgrund der Überlappungseffekte zwischen den Marketingkanälen kam eine einfache „Klickattribution“ (wie beispielsweise die berühmte 40%-20%-40%) nicht infrage, da diese nicht die Effekte von TV- und Out-Of-Home Werbung abbilden können. Stattdessen entwicklete 7Plans eine probabilistische Bewertungsmethode, welche sowohl die Interdependenzen zwischen den Kanälen berücksichtigt, als auch die Signifikanz einer jeden Marketingaktion. Insbesondere in Hinsicht auf TV-Werbung war diese Methode sehr hilfreich, da durch TV bekanntlich alle anderen Marketingkanäle beeinflusst werden. Durch diese Methode konnte beispielsweise ein Besucher, der nur über SEM-Nonbrand kovertiert hat, zu 27% TV, 6% OOH, 4% Display und 63% SEM-Nonbrand zugerechnet werden.

Für die Steuerung der Marketingaktivitäten war die Berechnung der Ziel-CPAs, der maximal erlaubten Marketinginvestitionen pro Neukunde, eine der wichtigsten KPIs. Der Ziel-CPA basierte auf dem durchschnittlichen Deckungsbeitrag pro Kunde nach einer bestimmten Zeit. Beispielsweise wenn ein SEM akquirierter Kunde nach 90 Tagen seit der Akquisition im Schnitt 35€ Deckungsbeitrag I erzielt hat, konnten die 35€ als Ziel-CPA definiert werden (mit der Annahme, dass der Kunde nach dieser Zeit weiterhin aktiv ist und damit ab Tag 91 seit der Akquisition kalkulatorisch profitabel ist).
Aufgrund der starken Saisonalität unseres Kunden, haben wir uns für ein dynamisches Modell entschieden und die Zeiträume, ab wann ein Kunde profitabel sollte, entsprechend unterschiedlich gewählt. So „sollte“ bspw. ein im November akquirierter Kunde im Schnitt nach 18 Tagen profitabel sein und ein im April akquirierter Kunde nach 190 Tagen. Die Entscheidung der Zeiträume begründete sich in der Saisonalität und der unterschiedlichen Pricing-Strategie unseres Kunden.

Die technische Implementierung erfolgte nach Erarbeitung des Modells und nach einem Proof-of-Concept direkt im DWH des Kunden. Mit dem ETL-Tool Talend wurden neue Reportingstrukturen erstellt und die Teams
automatisiert jeden Tag mit neuen Reports und Ziel-CPAs beliefert. Mit einer verfassten Dokumentation war es unserem Kunden möglich, das Modell zu pflegen und bei Bedarf zu erweitern.

Ergebnis

Mit dem neuen Marketingmodell gelang es unserem Kunden datengetrieben die Marketingkanäle zu steuern und den ROI pro Kanal steigern. Durch die Automatisierung und damit verbundene Zeitersparnis konnten sich die Marketing-Teams mehr auf die eigentliche Optimierung fokussieren, statt wie zuvor viel Zeit in manuelle Excel-Report zu investieren.