Optimizely Intelligence Cloud: Jak pomocí nástroje Stats Engine testovat A/B chytřeji a rychleji

Optimizely Stats Engine a strategie testování A/B

Pokud chcete spustit experimentální program, který pomůže vašemu podnikání testovat a učit se, pravděpodobně používáte Optimizely Intelligence Cloud - nebo jste se na to alespoň podívali. Optimizely je jedním z nejmocnějších nástrojů ve hře, ale jako každý takový nástroj jej můžete použít špatně, pokud nerozumíte jeho fungování. 

Co dělá Optimizely tak silným? Jádrem jeho sady funkcí je nejinformovanější a nejintuitivnější statistický nástroj v nástroji třetí strany, který vám umožní soustředit se více na zpřístupnění důležitých testů-aniž byste se museli obávat, že své výsledky špatně interpretujete. 

Podobně jako tradiční slepá studie v medicíně, A / B testování náhodně zobrazí různé ošetření vašeho webu různým uživatelům a poté porovnat účinnost každé léčby. 

Statistiky nám pak pomáhají dělat závěry o tom, jak účinná může být tato léčba v dlouhodobém horizontu. 

Většina testovacích nástrojů A/B spoléhá na jeden ze dvou typů statistických závěrů: Frequentist nebo Bayesian statistiky. Každá škola má různá pro a proti - Frequentist statistiky vyžadují, aby byla velikost vzorku stanovena před spuštěním experimentu, a Bayesovské statistiky se starají hlavně o správné směrové rozhodování, než aby specifikovaly jakýkoli jednotlivý údaj pro dopad, abychom jmenovali dva příklady. Velmoc Optimizely spočívá v tom, že je to jediný nástroj, který dnes na trhu trvá nejlepší z obou světů přístup.

Konečný výsledek? Optimizely umožňuje uživatelům provádět experimenty rychleji, spolehlivěji a intuitivněji.

Abyste toho mohli plně využít, je důležité pochopit, co se děje v zákulisí. Zde je 5 postřehů a strategií, které vám pomohou využívat možnosti Optimizely jako profesionál.

Strategie č. 1: Pochopte, že ne všechny metriky jsou vytvořeny stejně

Ve většině testovacích nástrojů je běžně přehlíženým problémem to, že čím více metrik přidáte a sledujete jako součást testu, tím je pravděpodobnější, že uvidíte nějaké nesprávné závěry kvůli náhodné náhodě (ve statistikách se tomu říká „problém s více testy“ “). Aby byly výsledky spolehlivé, Optimizely používá řadu ovládacích prvků a oprav, aby byla pravděpodobnost, že se to stane, co nejnižší. 

Tyto ovládací prvky a opravy mají dva důsledky, když jdete nastavit testy v Optimizely. Nejprve metrika, kterou označíte jako svoji Primární metrika dosáhne statistické významnosti nejrychleji, všechny ostatní věci budou konstantní. Za druhé, čím více metrik do experimentu přidáte, tím déle bude vašim metrikám trvat, než dosáhnou statistické významnosti.

Při plánování experimentu ujistěte se, že víte, která metrika bude vaším pravým severem v procesu rozhodování, udělejte z toho primární metriku. Poté ponechte zbytek seznamu metrik hubený odstraněním všeho, co je příliš nadbytečné nebo tangenciální.

Strategie č. 2: Vytvořte si vlastní atributy

Optimizely vám skvěle poskytne několik zajímavých a užitečných způsobů, jak segmentovat výsledky experimentu. Můžete například prozkoumat, zda některá ošetření fungují lépe na počítačích vs. mobilních zařízeních, nebo můžete sledovat rozdíly mezi zdroji provozu. Jak však váš experimentální program dozrává, rychle si budete přát nové segmenty-ty mohou být specifické pro váš případ použití, například segmenty pro jednorázové vs. předplatné nákupy nebo obecně jako „noví vs. vracející se návštěvníci“ (což, upřímně řečeno, stále nemůžeme přijít na to, proč to není poskytnuto po vybalení z krabice).

Dobrou zprávou je, že prostřednictvím pole Project Javascript společnosti Optimizely mohou inženýři obeznámení s Optimizely vytvořit libovolný počet zajímavých vlastních atributů, ke kterým mohou být návštěvníci přiřazeni a segmentováni. V Cro Metrics jsme vybudovali řadu akciových modulů (jako „noví vs. vracející se návštěvníci“), které instalujeme pro všechny naše klienty prostřednictvím jejich Project Javascriptu. Využití této schopnosti je klíčovým rozlišovacím prvkem mezi vyspělými týmy, které mají správné technické prostředky, které jim pomohou při provádění, a týmy, které se snaží plně využít plný potenciál experimentování.

Strategie č. 3: Prozkoumejte Optimizely's Stats Accelerator

Jednou z často přehnaných funkcí testovacího nástroje je schopnost používat „mnohoramenné bandity“, což je typ algoritmu strojového učení, který se v průběhu experimentu dynamicky mění tam, kde je váš provoz alokován, a poslat tak na „vítěze“ co nejvíce návštěvníků. variace, jak je to možné. Problém s vícepásmovými bandity spočívá v tom, že jejich výsledky nejsou spolehlivými ukazateli dlouhodobého výkonu, takže případ použití pro tyto typy experimentů je omezen na časově citlivé případy, jako je podpora prodeje.

Optimizely však má k dispozici jiný typ banditského algoritmu pro uživatele s vyššími plány - Stats Accelerator (nyní známý jako možnost „Zrychlit učení“ uvnitř Bandits). V tomto nastavení Optimizely místo toho, aby se pokoušel dynamicky alokovat provoz na nejvýkonnější variantu, dynamicky alokoval provoz na variace, u nichž je největší pravděpodobnost nejrychlejšího dosažení statistické významnosti. Tímto způsobem se můžete učit rychleji a zachovat si replikovatelnost tradičních výsledků A/B testů.

Strategie č. 4: Přidejte do svých metrických jmen emodži

Na první pohled tato myšlenka pravděpodobně zní nemístně, dokonce až šíleně. Klíčovým aspektem zajištění toho, že čtete správné výsledky experimentu, je však zajistit, aby vaše publikum této otázce porozumělo. 

Někdy navzdory našemu maximálnímu úsilí mohou být názvy metrik matoucí (počkat - spustí se tato metrika, když je objednávka přijata, nebo když se uživatel dostane na stránku s poděkováním?), Nebo experiment má tolik metrik, které posouvají výsledky nahoru a dolů stránka vede k celkovému kognitivnímu přetížení.

Přidání emodži k názvům metrik (cíle, zelená zaškrtnutí, dokonce i velký pytel peněz může fungovat) může mít za následek mnohem lépe skenovatelné stránky. 

Věřte nám - čtení výsledků bude mnohem snazší.

Strategie č. 5: Znovu zvažte svoji úroveň statistického významu

Výsledky jsou považovány za průkazné v kontextu Optimizely experimentu, když dosáhly statistický význam. Statistický význam je těžký matematický termín, ale v zásadě je to pravděpodobnost, že vaše pozorování jsou výsledkem skutečného rozdílu mezi dvěma populacemi, a nikoli jen náhodnou náhodou. 

Hlášené statistické hladiny významnosti společnosti Optimizely jsou „vždy platné“ díky tzv. Matematickému konceptu sekvenční testování - díky tomu jsou ve skutečnosti mnohem spolehlivější než nástroje jiných testovacích nástrojů, které jsou náchylné ke všem druhům problémů s „nakouknutím“, pokud si je přečtete příliš brzy.

Stojí za zvážení, jakou úroveň statistické významnosti považujete pro svůj testovací program za důležitou. Zatímco ve vědecké komunitě je konvencí 95%, testujeme změny webových stránek, nikoli vakcín. Další běžná volba v experimentálním světě: 90%. Jste ale ochotni přijmout trochu více nejistoty, abyste mohli rychleji provádět experimenty a testovat více nápadů? Mohli byste používat 85% nebo dokonce 80% statistickou významnost? Úmysl ohledně zůstatku rizika a odměny může v průběhu času vyplácet exponenciální dividendy, proto si to pečlivě promyslete.

Přečtěte si více o Optimizely Intelligence Cloud

Těchto pět rychlých zásad a poznatků bude při používání Optimizely neuvěřitelně užitečné mít na paměti. Stejně jako u každého nástroje se jedná o zajištění toho, abyste dobře porozuměli všem zákulisním přizpůsobením, takže se můžete ujistit, že nástroj používáte efektivně a efektivně. S těmito znalostmi můžete získat spolehlivé výsledky, které hledáte, kdykoli je potřebujete. 

Co si myslíte?

Tyto stránky používají Akismet k omezení spamu. Zjistěte, jak jsou vaše údaje komentářů zpracovávány.