A/B test bölgüsü: əvvəl sayları nə ilə tutuşduraq?

A/B test bölgüsü üzrə hansı sualı cavablandırırıq?

Mağaza iki səhifə variantını sınayanda əvvəl A və B-yə neçə vahidin düşdüyünü yoxlamaq lazım gələ bilər. Vahid hesabda bir dəfə sayılan iştirakçıdır. Bu yazıda insanlar və real mağaza yoxdur: bütün saylar məşq üçün uydurulub. Satış, klik və gəlir göstəricisi ümumiyyətlə verilməyib.

Məqsəd “A daha yaxşıdır?” sualına cavab vermək deyil. Sualımız budur: əvvəlcədən verilmiş təsadüfi bölgü modeli ilə kartdakı variant saylarının fərqi məşqin əvvəlcədən seçilmiş yoxlama həddini keçirmi? Bu nəticə səbəbi tapmır və canlı kampaniyanı dayandırmaq göstərişi yaratmır.

İki variantın sayının fərqli olması təkbaşına xəta demək deyil. Microsoft Research bölgü uyğunsuzluğunu araşdırarkən say fərqini seçmə ölçüsünü nəzərə alan statistik yoxlamadan ayırır. Orada aşkarlama ilə səbəb diaqnostikası ayrıca mərhələlərdir. Burada yalnız kiçik, şərtləri verilmiş hesabı bitiririk.

A/B testə başlamaq bələdçisi ümumi sınaq planı üçündür. Bu məşqdə variant hazırlamır, ziyarətçi toplamır və ölçmə sistemi qurmuruq. Əlimizdəki kartı oxuyub hesabın hansı nəticəyə icazə verdiyini yazırıq. Hazır çıxışımız sonradan yenidən açılan bir yoxlama qeydi olacaq.

Əvvəl şərtləri və dəyişməz kartı yazın

Kartda cəmi 100 unikal şərti vahid var. Hərəsi yalnız bir dəfə, yalnız A və ya B-də sayılıb; hamısı daxil edilib. Nəticə, səhifəyə baxış və ya alış əsasında sonradan heç kim süzülməyib. Bunlar iki yekun saydan sübut etdiyimiz faktlar yox, məşqin açıq giriş şərtləridir.

Yoxladığımız başlanğıc modelə H0 deyirik. Bu sadəcə müqayisə üçün verilmiş modelin adıdır: hər vahidin A-ya düşmə ehtimalı 1/2, B-yə düşmə ehtimalı 1/2-dir. Vahidlərin təyinatları müstəqil fərz edilir; əvvəlki bölgülərdən sonra da həmin ehtimallar dəyişmir. Ehtimalı 65 və 35-dən çıxarmırıq.

Yalnız bir əvvəlcədən planlaşdırılmış yoxlama var: 100 vahiddən sonra. Məşqin əhəmiyyətlilik səviyyəsi alpha=0,01 əvvəlcədən verilib. Bu, müqayisə həddinin seçilməsi üçündür, məlumatın səhv olmasının 1% ehtimalı deyil. Bu yazı davamlı ekrana baxıb hər dəfə yeni qərar vermək proseduru deyil.

A üçün müşahidə rolunda 65, B üçün 35 verilib. “Müşahidə” sözü burada uydurma kartın sütun adıdır, real təcrübə aparıldığı iddiası deyil. Mənbəni dəyişmədən qeyd edin: “100 vahid; əvvəlcədən yarı-yarı ehtimal; bir yoxlama; alpha=0,01; nəticə sayları yoxdur.”

Həqiqi hesabatda vahidlərin bir dəfə sayılması, əhatə və müstəqillik məlum deyilsə, onları özünüz tamamlamayın. Məsul şəxsə açıq sual yazın. Qrup və ümumi faiz məşqindəki A/B adları da təsadüfi təyinat demək deyil; bu kartda isə model ayrıca və açıq verilib.

65 və 35 sayından yoxlama rəqəmini hesablayın

Əvvəl ümumi sayı tapın: 65+35=100. Modeldə hər variantın ehtimalı yarıdır. Buna görə gözlənilən say hər ikisində 100×1/2=50-dir. Gözlənilən say modelin hesabıdır; müşahidə rolundakı 65 və 35-i silib 50 ilə əvəz etmirik.

Pearsonun khi-kvadrat uyğunluq yoxlamasında hər variant üçün müşahidə ilə gözlənilən sayın fərqinin kvadratını gözlənilən saya bölürük, sonra nəticələri toplayırıq. Kvadrat ədədi özünə vurmaqdır. NIST bu hesabı və böyük statistik göstəricinin seçilmiş yuxarı hədlə müqayisəsini izah edir.

Adi kalkulyatorda 65−50=15, sonra 35−50=−15 hesablayın. Mənfi işarəni qeyddə saxlayın. Hər fərqin böyüklüyü 15-dir: 15×15=225, 225÷50=4,5. İki payı toplayanda 4,5+4,5=9 alınır. Bu 9 faiz deyil, yoxlama göstəricisidir.

Nəzarət üçün müşahidələr 100, gözlənilənlər də 100 etməlidir. İki gözlənilən sayın hər biri 50-dir və NIST-in bu yaxınlaşdırma üçün göstərdiyi ən azı 5 şərtindən böyükdür. Kiçik və ya sıfır gözlənilən say olan başqa kartı bu nümunə ilə avtomatik həll etməyin.

Standart sapma hesabında da kvadratlar var, amma sual başqadır. Burada rəqəmlərin orta ətrafında yayılmasını yox, variant saylarının əvvəlcədən verilmiş modeldən fərqini hesablayırıq. Oxşar əməliyyat eyni nəticə mənası yaratmır.

NIST cədvəlində hansı həddi oxumalı?

İki variantımız var və ehtimalları bu müşahidələrdən qiymətləndirməmişik. Sərbəstlik dərəcəsi bu kartda 2−1−0=1-dir. Bu göstərici cədvəlin hansı sətrini seçəcəyimizi deyir. Onu iştirakçı sayı və ya üçüncü variant kimi oxumayın.

NIST-in khi-kvadrat hədləri səhifəsində yuxarı quyruq cədvəlini açın. Alpha=0,01 üçün 1−alpha=0,99 sütununu seçin. Sərbəstlik dərəcəsi 1 olan sətrə baxın: yuvarlaqlaşdırılmış hədd 6,635-dir. Brauzer açılmırsa və yoxlanmış cədvəl parçası yoxdursa, həddin yoxlanmasını açıq saxlayın.

İndi öz hesabınızla müqayisə edin: 9>6,635. Deməli, bu verilmiş model və əvvəlcədən seçilmiş hədd daxilində bölgü fərqi araşdırma üçün işarələnir. İstinad paylanması yaxınlaşdırmadır; dəqiq sonlu seçmə ehtimalı hesabladığımızı iddia etmirik. İki variant olduğuna görə alpha-nı ikiyə bölmürük: bu göstərici yuxarı hədlə yoxlanır.

Microsoft-un açılmış məqaləsində öz platforması üçün bildirdiyi hədd p<0,0005-dir. Bizim uydurma kartın alpha=0,01 şərti onunla eyni deyil. Birini digərinin adı ilə təqdim etməyin, nəticəyə baxıb həddi sonradan dəyişməyin. Hədd seçimi bu məşqin girişidir, universal biznes tövsiyəsi deyil.

İşarələnən nəticə nə demir?

Düzgün cümlə belədir: “Verilmiş kartın khi-kvadrat göstəricisi 9-dur; seçilmiş yaxınlaşdırılmış hədd 6,635 olduğuna görə bölgü fərqi yoxlama üçün işarələnir.” Modelin və həddin adını saxlayın. “A qalib gəldi”, “B istifadəçi itirdi” və ya “sistemdə xəta sübut olundu” yazmayın.

Bizdə satış sayı və davranış məlumatı yoxdur. Bu hesab H0-ın doğru olmasının ehtimalını da vermir. Sonradan başqa kartda hədd keçilməsə belə, bu, bütün ölçmə sisteminin sağlamlığını sübut etməz. Burada tapıntı ilə onun səbəbi ayrı qalır.

Ən azı bir nəticənin ehtimalı başqa işdir: orada verilmiş modeldən mümkün yolların çəkisi hesablanır. Bu dəfə verilmiş variant saylarını modeldən çıxan gözlənilən saylarla tutuşdururuq. Alınan 9-u uğur ehtimalına çevirməyin.

Süni intellekt, yəni AI köməkçisi məcburi deyil. Süni intellekt bələdçisindəki kimi əvvəl konkret çıxış seçin. İstəsəniz yalnız bu uydurma kartı verib hər hesab mərhələsini qorumasını istəyin. Alət işlədilməyibsə “AI müqayisəsi aparılmayıb” yazın; əsas məşq kalkulyatorla tamamlanır.

On beş dəqiqədə hansı faylı bitirmək olar?

Windows-da Start menyusunu açın, Notepad yazın və tətbiqi başladın. Sonra yeni sənəd yaradın. Əvvəl şərtləri və mənbə kartını, sonra aşağıdakı qısa hesabı köçürün. Məqsəd yalnız son rəqəmi deyil, başqa adamın izləyə biləcəyi hesab izini saxlamaqdır.

Bölgü yoxlaması V1: bütün saylar uydurmadır.
100 unikal vahid; hamısı bir dəfə A və ya B-dədir; nəticəyə görə süzmə yoxdur.
H0: müstəqil təyinat, əvvəlcədən A=1/2, B=1/2; ehtimal qiymətləndirilməyib.
Bir yoxlama: 100 vahiddən sonra; əvvəlcədən alpha=0,01.
A: O65 E50; fərq15; kvadrat225; pay4,5.
B: O35 E50; fərq−15; kvadrat225; pay4,5.
Cəmlər100/100; minimumE50; göstərici9; sərbəstlik dərəcəsi1.
NIST: yuxarı hədd, sütun0,99, sətir1, hədd6,635; 9>6,635.
Nəticə: bu modeldə araşdırma işarəsi; səbəb, qalib və canlı əməl qərarı deyil.
Açıq sual: real məlumatın vahidini, müstəqilliyini və tam əhatəsini kim təsdiqləyir?

Ctrl+S basın, Documents qovluğunu seçin və bolgu-yoxlama-V1.txt adı ilə saxlayın. Redaktoru bağlayın. File Explorer-də Documents qovluğunu açın, saxladığınız faylı iki dəfə klikləyin. 65/35, 50/50, 9, sətir 1 və hədd 6,635 qalıbmı? Açıq sual və canlı qərar verməmək sərhədi də görünməlidir.

Anar Perfect və Effect barədə əvvəlki yazısında mükəmməllik axtarışının layihələri gecikdirdiyini öz təcrübəsi kimi qeyd edir. Burada tətbiq edilən fikir izahı aydın olan bir qeydi tamamlamaqdır; real marketinq sınağı və müştəri nəticəsi iddiası deyil. Şərtlərə üç, hesaba beş, cədvəl və yozuma üç, saxlama ilə açmağa dörd dəqiqə ayırmaq təklifdir, ölçülmüş vaxt deyil.