Оптимално интелигентан облак: Како користити механизам статистике за А/Б тестирање паметније и брже

Оптимизовано статистика Енгине анд А/Б Тестинг Стратегиес

Ако желите да покренете програм експериментирања који ће помоћи вашем предузећу да тестира и научи, велике су шансе да га користите Оптимизовано обавештајни облак - или сте бар погледали. Оптимизели је један од најмоћнијих алата у игри, али као и сваки такав алат, можете га користити погрешно ако не разумете како функционише. 

Шта Оптимизели чини тако моћним? У основи његовог скупа функција налази се најинформисанији и интуитивнији механизам статистике у алату треће стране, који вам омогућава да се више усредсредите на добијање важних тестова уживо-без бриге да погрешно тумачите своје резултате. 

Слично као традиционално слепо проучавање медицине, / Б тестирање насумично ће се приказивати другачије третмани ваше веб локације различитим корисницима како би затим упоредили ефикасност сваког третмана. 

Статистика нам тада помаже да закључимо колико је дугорочно ефикасан тај третман. 

Већина А/Б алата за тестирање ослања се на једну од две врсте статистичких закључака: учесталу или Баиесову статистику. Свака школа има различите предности и недостатке - честа статистика захтева да се величина узорка утврди пре извођења експеримента, а Баиесовој статистици је углавном стало до доношења добрих одлука о усмеравању, а не до навођења било које појединачне бројке за утицај, да наведемо два примера. Оптимизелиова супермоћ је то што је то једино оруђе на данашњем тржишту за узимање најбоље од оба света приступ.

Крајњи резултат? Оптимизовано омогућава корисницима да изводе експерименте брже, поузданије и интуитивније.

Међутим, да бисте то у потпуности искористили, важно је разумети шта се дешава иза сцене. Ево 5 увида и стратегија помоћу којих ћете моћи да користите Оптимизели као професионалац.

Стратегија #1: Схватите да нису сви показатељи једнаки

У већини алата за тестирање, често се занемарује проблем да што више метрика додате и пратите као део теста, већа је вероватноћа да ћете видети неке погрешне закључке због случајне случајности (у статистици се то назива „проблем вишеструког тестирања“) ”). Како би резултати били поуздани, Оптимизели користи низ контрола и исправки како би изгледи да се то догоди били што је могуће нижи. 

Те контроле и исправке имају две импликације када идете на постављање тестова у Оптимизели. Прво, показатељ који означите као свој Примарна метрика ће најбрже достићи статистичку значајност, све остале ствари су константне. Друго, што више показатеља додате експерименту, вашим каснијим показатељима ће бити потребно више времена да достигну статистичку значајност.

Приликом планирања експеримента, уверите се да знате која метрика ће бити ваш прави север у процесу доношења одлука, нека то буде ваша примарна метрика. Затим задржите остатак листе показатеља витким уклањањем свега што је превише сувишно или тангенцијално.

Стратегија #2: Изградите сопствене прилагођене атрибуте

Оптимизели вам одлично даје неколико занимљивих и корисних начина за сегментирање резултата експеримента. На пример, можете испитати да ли су неки третмани бољи на стоним и мобилним уређајима или да уочите разлике међу изворима саобраћаја. Како ваш програм експериментисања сазрева, брзо ћете пожелети нове сегменте-они могу бити специфични за ваш случај коришћења, попут сегмената за једнократне куповине у односу на претплате, или општи као „нови насупрот поновним посетиоцима“ (који, искрено, још увек не можемо да схватимо зашто то није дато из кутије).

Добра вест је да преко поља Оптимизели Пројецт Јавасцрипт, инжењери упознати са Оптимизели -ом могу да направе било који број занимљивих прилагођених атрибута којима се посетиоци могу доделити и сегментирати. У Цро Метрицс -у смо изградили бројне залихе модула (попут „нових вс. поновних посетилаца“) које инсталирамо за све наше клијенте путем њиховог пројекта Јавасцрипт. Искоришћавање ове способности кључна је разлика између зрелих тимова који имају праве техничке ресурсе који ће им помоћи у извођењу, и тимова који се боре да остваре пуни потенцијал експериментисања.

Стратегија #3: Истражите Оптимизели'с Статс Аццелератор

Једна од често пренаглашених функција алата за тестирање је могућност коришћења „бандита са више оружја“, врсте алгоритма за машинско учење који се динамички мења тамо где се ваш саобраћај распоређује током експеримента, како би се послало што више посетилаца на „победу“ могуће варијације. Проблем са вишекраким бандитима је у томе што њихови резултати нису поуздани показатељи дугорочних перформанси, па је случај употребе ових врста експеримената ограничен на временски осјетљиве случајеве попут промоције продаје.

Оптимизовано, међутим, другачија врста бандитског алгоритма доступна је корисницима на вишим плановима - Статс Аццелератор (сада позната као опција „Убрзај учење“ унутар Бандита). У овом подешавању, уместо да покушава да динамички додели саобраћај варијацији са најбољим перформансама, Оптимизели динамички распоређује саобраћај варијацијама које ће највероватније најбрже достићи статистичку значајност. На овај начин можете брже учити и задржати поновљивост традиционалних резултата А/Б теста.

Стратегија #4: Додајте емотиконе у своје метричке називе

На први поглед, ова идеја вероватно звучи неприкладно, чак и бесмислено. Међутим, кључни аспект у томе да проверите да ли читате праве резултате експеримента почиње тако што ћете осигурати да ваша публика разуме питање. 

Понекад, упркос нашим напорима, називи показатеља могу постати збуњујући (сачекајте - да ли се тај показатељ активира када је наруџба прихваћена или када корисник притисне страницу са захвалницом?), Или експеримент има толико показатеља да се листају горе -доле резултати страница доводи до потпуног когнитивног преоптерећења.

Додавање емотикона у називе ваших метрика (циљеви, зелени квачице, чак и велика кеса новца може да функционише) може резултирати страницама које се далеко лакше скенирају. 

Верујте нам - читање резултата ће бити много лакше.

Стратегија #5: Поново размислите о свом нивоу статистичке важности

Резултати се сматрају коначним у контексту Оптимизели експеримента када су постигнути статистички значај. Статистички значај је тежак математички појам, али у суштини је вероватноћа да су ваша запажања резултат стварне разлике између две популације, а не само случајне случајности. 

Оптимизовано пријављени нивои статистичке значајности су „увек валидни“ захваљујући математичком концепту тзв секвенцијално тестирање - ово их заправо чини далеко поузданијим од оних других алата за тестирање, који су склони разним врстама „завиривања“ ако их прочитате прерано.

Вреди размотрити који ниво статистичке важности сматрате важним за ваш програм тестирања. Иако је 95% конвенција у научној заједници, ми тестирамо промене веб страница, а не вакцине. Још један уобичајен избор у експерименталном свету: 90%. Али да ли сте спремни да прихватите мало више неизвесности да бисте брже изводили експерименте и тестирали више идеја? Да ли бисте могли да користите 85% или чак 80% статистичку значајност? Намерност у погледу равнотеже ризика и награде може временом донети експоненцијалне дивиденде, па добро размислите о овоме.

Прочитајте више о Оптимизели Интеллигенце Цлоуд -у

Ових пет брзих принципа и увида биће вам од велике помоћи имати на уму док користите Оптимизели. Као и код сваког алата, он се своди на то да сте добро разумели сва прилагођавања иза сцене, тако да можете бити сигурни да алат користите ефикасно и ефектно. Са овим разумевањем, можете добити поуздане резултате које тражите, када вам затребају. 

Шта ви мислите?

Ова страница користи Акисмет како би смањила нежељену пошту. Сазнајте како се ваш коментар обрађује.