AI təsnifat yoxlaması: səkkiz qeyddə səhvləri ayırın

Əvvəl hansı etiketin müsbət olduğunu yazın

AI təsnifat yoxlaması bu məşqdə hər ID üçün verilmiş cavab açarını əvvəlcədən yazılmış təkliflə tutuşdurmaqdır. Təsnifat isə bir qeydi müəyyən qrupa aid etmək deməkdir. Məşqdə yalnız iki qrup var: spam və spam deyil. Müsbət etiket spam deməkdir; “müsbət” sözü yaxşı və ya arzu olunan nəticə mənasında işlənmir.

Reference sütunu məşq üçün verilmiş cavab açarıdır. Proposed sütunu audit edəcəyimiz hazır təklifdir. Heç bir real model işlədilib bu təkliflər alınmayıb. Heç bir real məktubun mətni, göndərəni və ünvanı istifadə edilmir. Siz mətnə baxıb spam qərarı vermirsiniz; verilmiş iki etiketin uyğunluğunu sayırsınız.

Qayda kartını belə köçürün: “V1, A1–A8; 1 spam, 0 spam deyil; reference cavab açarıdır, proposed əvvəlcədən yazılıb; hər ID bir dəfə sayılır; etiketlər audit zamanı dəyişmir.” Google-un təsnifat təlimatı proqnoz ilə müqayisə edilən doğru etiketi ayırır. Bu məşqdə həmin fərq açıq cavab açarı ilə verilib, modelin öz əminliyindən çıxarılmır.

Daha geniş texniki anlayış üçün maşın öyrənməsi bələdçisinə baxın. Burada model qurmaq, öyrətmək və ya canlı məktubları süzmək yoxdur. Nəticəniz səkkiz ID üçün yoxlanmış səhv növləri və ayrı məxrəcli üç hesab olan qeyd faylıdır.

Səkkiz uydurma qeydin iki etiketini köçürün

Aşağıdakı kart tədris üçün qəsdən hazırlanıb. Real şirkətin spam nəticəsi, təmsilçi seçmə və ya bazar göstəricisi deyil. Məlumatdan konkret məhsulun keyfiyyəti barədə nəticə çıxarmayın. Bütün səkkiz sətir qiymətləndirməyə daxildir; yalnız düzgün görünənləri götürüb məxrəci dəyişmək olmaz.

Əvvəl A1-dən A8-ə qədər səkkiz unikal ID olduğunu yoxlayın. Sonra sütun adlarını oxuyun. Sütunların yerini dəyişərək eyni faiz adlarını saxlamayın: cavab açarı ilə təklifin istiqaməti səhvin növünü müəyyən edir. Məsələn, A2-də açar spam deyir, təklif isə spam deyil deyir. A3-də bunun əksi baş verir.

Mənbə kartını dəyişməz saxlayın və qərar üçün ikinci cədvəl yaradın. A2-ni uğura çevirmək üçün cavab açarını 0 etmək yoxlama deyil, mənbəni dəyişməkdir. Real etiketin özü mübahisəli olsaydı, ayrıca aydınlaşdırma tələb olunardı. Bu tam məşq kartında isə müqayisə üçün bütün cavablar verilib.

Açar və təklif rəqəmlərini bir cəmdə toplamayın. Onlar miqdar deyil, qrup işarələridir. Əvvəl mənasını oxuyub hər ID-ni uyğun nəticə qutusuna yerləşdirmək lazımdır. Beləliklə sadə 1 və 0 yazılışı özbaşına nəticəyə çevrilmir.

Dörd nəticə qutusunu sadə dillə necə ayıraq?

TP düzgün müsbətdir: açar spamdır və təklif də spam deyir. TN düzgün mənfidir: açar spam deyil və təklif də elə deyir. FP səhv müsbətdir: spam olmayan qeydə spam deyilir. FN səhv mənfidir: açardakı spam qeydi spam deyil kimi buraxılır. Qısaltmaları bilmədən də eyni qərarı bu sadə cümlələrlə yaza bilərsiniz.

İndi qutuları sayın: TP 1, FN 1, FP 1, TN 5. Cəmi 1 + 1 + 1 + 5 = 8 olmalıdır. Hər ID yalnız bir qutudadır. Səhv qeydi həm FP, həm FN yazmaq ümumi sayın səkkizi keçməsinə səbəb olar. Say uyğun gəlmirsə, faiz hesabına keçmədən ID cədvəlinə qayıdın.

Bu dörd qutulu cədvələ confusion matrix də deyilir; burada sadəcə səhv növləri cədvəli adlandıra bilərik. Əsas nəticə A2 ilə A3-ün eyni səhv olmadığını görməkdir. Biri spamı qaçırır, digəri spam olmayanı işarələyir. Hansının real işdə daha ağır təsiri olacağı bu uydurma kartdan hesablanmır.

Mənbə vahidi və daxil edilən qeydlər üçün data analizi hazırlığı faydalıdır. Burada isə hər ID-ni həmin dörd qutudan birinə bağlayan dəlili saxlayın; yalnız ümumi “iki səhv var” qeydi kifayət etmir.

Üç faizdə məxrəc niyə dəyişir?

Accuracy ümumi düzgünlükdür: bütün səkkiz qeyddən neçəsi açarla uyğun gəlib? Düzgün A1 və A4–A8-dir, yəni altı qeyd. Kalkulyatorda 6 böl 8 vur 100 yazın: 75%. Bu hesab hər iki qrupu birlikdə sayır. Onu spamın neçəsinin tutulması kimi adlandırmaq başqa sualın cavabını səhv istifadə etməkdir.

Precision təklifdə spam yazılanların neçəsinin açarda da spam olmasıdır. Təklifdə spam A1 və A3-dür; onlardan yalnız A1 açara uyğundur. Hesab 1 böl 2 vur 100 = 50%-dir. Burada məxrəc təklifin müsbət sayıdır, bütün səkkiz qeyd deyil. “Spam deyil” təkliflərini həmin məxrəcə daxil etməyin.

Recall açardakı spamların neçəsinin spam kimi tapılmasıdır. Açar spamı A1 və A2-dir; yalnız A1 tapılıb. Hesab yenə 1 böl 2 vur 100 = 50%-dir. Faizlər eyni çıxsa da, qruplar ayrıdır: precision A1/A3-ə, recall A1/A2-yə baxır. Google-un göstərici izahı bu ayrı məxrəcləri göstərir.

Başqa kartda məxrəc sıfır ola bilər. Təklifdə heç spam yoxdursa precision üçün bölən sıfırdır; açarda spam yoxdursa recall üçün bölən sıfırdır. Belə halda bu məşqin hesabatında “hesablanmır: məxrəc 0” yazın, 0% və ya 100% uydurmayın. Heç qeyd yoxdursa ümumi düzgünlük də bu qayda ilə hesablanmır.

Məxrəcin sualı dəyişməsi təsdiqli həll faizi auditində də əhəmiyyətlidir. Ancaq burada həll statusunu yox, cavab açarı ilə təklif arasındakı uyğunluğu ölçürük; o iki çıxışı eyniləşdirməyin.

Üç hazır iddiaya hansı qərarı verək?

İddia, qərar, mənbə ID-si və düzəliş sütunları yaradın. Bu cümlələr qəsdən yazılmış məşq nümunələridir, real modeldən alınmış səhvlər deyil. Təklifin inandırıcı səslənməsinə görə yox, yuxarıdakı ID və məxrəcə görə qərar verin.

Qəbul edilən yekun belədir: “Bu səkkiz uydurma ID-də accuracy 75%, precision 50%, recall 50%-dir; bir FP və bir FN ayrıca qeyd olunub.” Bu, hansısa canlı filtrin işlək və ya yararsız olması hökmü deyil. Kiçik, qəsdən qurulmuş kart real müraciət axınını təmsil etmir və məhsullar arasında müqayisə yaratmır.

Üç faizdən birini “ən yaxşı” elan etməyin. Məqsəd onların sualını ayırmaqdır. Həqiqi sistem üçün uyğun qayda və təsir ayrıca müəyyənləşər. Burada qərar həddi dəyişmir, yeni model çağırılmır və məktublar qovluqlar arasında daşınmır. Orta və median yoxlaması kimi, göstəricinin adı da rəqəm qədər vacibdir.

On beş dəqiqədə hansı faylı bitirə bilərsiniz?

Windows-da Start açın, Notepad yazın və yeni sənəd yaradın. Başlığa “Təsnifat məşqi V1, real model nəticəsi deyil” yazın. Müsbət etiketin spam olduğunu, reference və proposed mənasını, səkkiz mənbə sətrini və ayrıca ID qərarlarını köçürün. Aşağıda dörd qutunun sayını və üç tam kəsri yazın; yalnız faizləri saxlamaq məxrəci gizlədər.

Üç iddia üzrə qərarları əlavə edin. Ctrl+S basın, Documents qovluğunu seçin və faylı tesnifat-audit-V1.txt adı ilə saxlayın. Redaktoru bağlayın. Həmin qovluqdan faylı yenidən açıb A2-nin FN, A3-ün FP qaldığını, 6/8 ilə iki ayrı 1/2-nin düzgün adlandığını oxuyun. Kartda olmayan canlı əməliyyat nəticəsi əlavə olunubsa, onu çıxarın.

İstəyə görə istifadə etdiyiniz AI köməkçisinə yalnız uydurma kartı verin: “Positive spamdır. Reference verilmiş cavab açarıdır, proposed əvvəlcədən yazılıb. Hər ID-ni TP/FP/TN/FN qutusuna yerləşdir və səbəbini iki etiketlə göstər. Sayları və üç məxrəci ayrı yaz. Məxrəc sıfırdırsa faiz uydurma. Mənbə etiketini dəyişmə, model sınağı və canlı silmə iddiası yaratma.” Faktiki hesab və ya model işlədildiyi iddia edilmir.

Alətə giriş yoxdursa “AI müqayisəsi aparılmayıb” yazın; əsas vərəq insan açarı və kalkulyatorla tamamlanır. Təklif olunan bölgü üç dəqiqə mənbəyə, dörd qutulara, dörd hesab və iddialara, dörd saxlayıb açmağa ayrılır. Bu, ölçülmüş vaxt vədi deyil. Anarın əvvəlki Perfect/Effect prinsipini bir izah olunan çıxışı bitirmək kimi tətbiq edirik, real təsnifat layihəsi nəticəsi uydurmuruq. Digər başlanğıclar üçün süni intellekt bələdçisinə baxın.