Ocenění Marcom: Alternativa k testování A / B

dimenzionální sféra

Takže vždy chceme vědět jak marcom (marketingová komunikace) provádí jak jako prostředek, tak pro individuální kampaň. Při hodnocení značky je běžné používat jednoduché A / B testování. Jedná se o techniku, při které náhodný výběr naplní dvě buňky pro zpracování kampaně.

Jedna buňka dostane test a druhá nebude. Poté se mezi těmito dvěma buňkami porovná míra odezvy nebo čistý výnos. Pokud testovací buňka překoná kontrolní buňku (v rámci testovacích parametrů výtahu, spolehlivosti atd.), Je kampaň považována za významnou a pozitivní.

Proč něco jiného?

Tento postup však postrádá vytváření vhledů. Neoptimalizuje nic, provádí se ve vakuu, nemá žádné důsledky pro strategii a pro další podněty neexistují žádné kontroly.

Zadruhé, test je příliš často znečištěný tím, že alespoň jedna z buněk náhodně obdržela další nabídky, zprávy o značce, komunikaci atd. Kolikrát byly výsledky testu považovány za neprůkazné, dokonce za nesmyslné? Takže testují znovu a znovu. Nic se nenaučí, kromě toho, že testování nefunguje.

Proto doporučuji použít běžnou regresi ke kontrole všech ostatních podnětů. Regresní modelování také poskytuje pohledy na oceňování Marcom, které může generovat návratnost investic. To se neděje ve vakuu, ale poskytuje možnosti jako portfolio pro optimalizaci rozpočtu.

Příklad

Řekněme, že jsme testovali dva e-maily, test vs. kontrola a výsledky se vrátily nezmyslově. Poté jsme zjistili, že naše oddělení značky omylem poslalo část přímé pošty (většinou) kontrolní skupině. Tento kus nebyl (námi) plánován ani zohledněn při náhodném výběru testovacích buněk. To znamená, že skupina „jako obvykle“ obdržela obvyklou přímou poštu, ale testovací skupina, která byla zadržena, nikoli. To je velmi typické pro společnost, kde jedna skupina nefunguje ani nekomunikuje s jinou obchodní jednotkou.

Takže místo testování, kde každý řádek je zákazník, shromažďujeme data podle časového období, řekněme každý týden. Sčítáme po týdnu počet odeslaných testovacích e-mailů, kontrolních e-mailů a přímých e-mailů. Zahrnujeme také binární proměnné, které zohledňují sezónu, v tomto případě čtvrtletně. TABULKA 1 ukazuje částečný seznam agregátů s testem e-mailu od 10. týdne. Nyní provedeme model:

net \ _rev = f (em \ _test, em \ _cntrl, dir \ _mail, q_1, q_2, q_3 atd.)

Obyčejný regresní model formulovaný výše vytváří výstup TABULKY 2. Uveďte všechny další zajímavé nezávislé proměnné. Zvláštní pozornost by měla být věnována tomu, že (čistá) cena je vyloučena jako nezávislá proměnná. Je to proto, že čistý výnos je závislá proměnná a počítá se jako (čistá) cena * množství.

TABULKA 1

týden em_test em_cntrl dir_mail q_1 q_2 q_3 net_rev
9 0 0 55 1 0 0 $ 1,950
10 22 35 125 1 0 0 $ 2,545
11 23 44 155 1 0 0 $ 2,100
12 30 21 75 1 0 0 $ 2,675
13 35 23 80 1 0 0 $ 2,000
14 41 37 125 0 1 0 $ 2,900
15 22 54 200 0 1 0 $ 3,500
16 0 0 115 0 1 0 $ 4,500
17 0 0 25 0 1 0 $ 2,875
18 0 0 35 0 1 0 $ 6,500

Zahrnout cenu jako nezávislou proměnnou znamená mít cenu na obou stranách rovnice, což je nevhodné. (Má kniha, Marketingová analýza: Praktický průvodce vědou o skutečném marketingu, poskytuje rozsáhlé příklady a analýzu tohoto analytického problému.) Upravený R2 pro tento model je 64%. (Zrušil jsem q4, abych se vyhnul fiktivní pasti.) Emc = kontrolní e-mail a emt = testovací e-mail. Všechny proměnné jsou významné na úrovni 95%.

TABULKA 2

q_3 q_2 q_1 dm emc EMT const
coeff -949 -1,402 -2,294 12 44 77 5,039
st err 474.1 487.2 828.1 2.5 22.4 30.8
poměr t -2 -2.88 -2.77 4.85 1.97 2.49

Pokud jde o test e-mailu, testovací e-mail překonal kontrolní e-mail o 77 vs 44 a byl mnohem významnější. Zkušební e-mail tedy fungoval i po dalších věcech. Tyto statistiky přicházejí, i když jsou data znečištěná. Test A / B by to nepřinesl.

TABULKA 3 bere koeficienty pro výpočet ocenění marcom, příspěvku každého vozidla z hlediska čistého výnosu. To znamená, že pro výpočet hodnoty přímé pošty se koeficient 12 vynásobí průměrným počtem odeslaných přímých e-mailů 109 a získáme 1,305 4,057 $. Zákazníci utratí průměrnou částku XNUMX XNUMX USD. Tím pádem 1,305 4,057 USD / 26.8 XNUMX USD = XNUMX%. To znamená, že přímá pošta přispěla téměř 27% k celkovým čistým výnosům. Pokud jde o návratnost investic, 109 přímých e-mailů vygeneruje 1,305 45 USD. Pokud tedy katalog stojí XNUMX $ ROI = ($ 1,305 - $ 55) / $ 55 = 2300%!

Protože cena nebyla nezávislou proměnnou, obvykle se dospělo k závěru, že její dopad je zakopán v konstantě. V tomto případě konstanta 5039 zahrnuje cenu, jakékoli další chybějící proměnné a náhodnou chybu nebo přibližně 83% čistého výnosu.

TABULKA 3

q_3 q_2 q_1 dm emc EMT const
Coeff -949 -1,402 -2,294 12 44 77 5,039
střední 0.37 0.37 0.11 109.23 6.11 4.94 1
$ 4,875 - $ 352 - $ 521 - $ 262 $ 1,305 $ 269 $ 379 $ 4,057
hodnota -7.20% -10.70% -5.40% 26.80% 5.50% 7.80% 83.20%

závěr

Obyčejná regrese nabídla alternativu k poskytnutí poznatků tváří v tvář špinavým datům, jak je tomu často v případě podnikového testovacího schématu. Regrese také poskytuje příspěvek k čistému výnosu a je také obchodním případem návratnosti investic. Obyčejná regrese je alternativní technika, pokud jde o oceňování Marcomm.

ir? t = marketingtechblog 20 & l = as2 & o = 1 & a = 0749474173

2 Komentáře

  1. 1

    Pěkná alternativa k praktickému problému, Mike.
    Jak jste to udělal, myslím, že v bezprostředních předchozích týdnech nedochází k žádnému překrývání cílových komunikátorů. Jinak byste měli auto-regresní a / nebo časově zpožděnou komponentu?

  2. 2

Co si myslíte?

Tyto stránky používají Akismet k omezení spamu. Zjistěte, jak jsou vaše údaje komentářů zpracovávány.