Crawl budget nədir və hansı iki amildən asılıdır?

Crawl budget Google-un saytınızda taraya bildiyi və taramaq istədiyi ünvanların cəmidir. Tarama səhifənin Google tərəfindən istənilib oxunmasıdır; indekslənmə isə onun axtarış üçün qiymətləndirilib indeksə daxil edilməsidir. Taranmış hər səhifə mütləq indekslənmir. Google-un anlayış izahı.

Birinci amil: crawl capacity limit

Bu, serveri həddən artıq yükləmədən nə qədər tarama aparıla biləcəyinin həddidir. Server saytın fayllarını təqdim edən sistemdir. Google həmin həddi eyni vaxtdakı bağlantıların sayı və müddəti daxil olmaqla müəyyən edir. Tarama tutumunun izahı.

İkinci amil: crawl demand

Crawl demand Google-un məzmunu taramaq ehtiyacıdır. Googlebot üçün bu ehtiyaca saytın ölçüsü, yenilənmə tezliyi, səhifələrin keyfiyyəti və uyğunluğu təsir edir. Serverin imkanları geniş olsa da, ehtiyac aşağıdırsa, Google az taraya bilər. Tarama tələbinin izahı.

İlk qeydinizi iki sütuna bölün: “sayt cavab verə bilmir” və “Google çoxlu lazımsız ünvan görür”. Server xətalarını birinciyə, təkrarlanan səhifələri ikinciyə yazın. Bu bölgüdən komanda ilə müzakirədə istifadə edin; bütün problemləri ümumi “SEO zəifdir” başlığı altında saxlamayın.

Crawl budget sizin sayt üçün prioritetdirmi?

Əvvəl problemin ölçüsünü müəyyən edin. Google bu mövzunu əsasən böyük, tez yenilənən saytlar və ünvanlarının böyük hissəsi “Discovered - currently not indexed” vəziyyətində olan saytlar üçün nəzərdə tutur. Bu status Google-un ünvanı tapdığını, amma hələ indeksləmədiyini göstərir. Bələdçinin nəzərdə tutduğu saytlar.

Kiçik saytın səhifələri dərc olunduğu gün taranırsa, ayrıca crawl budget layihəsinə adətən ehtiyac yoxdur. Google belə halda sitemap-i yeniləməyi və Page Indexing hesabatını izləməyi yetərli sayır. Sitemap axtarış sisteminə təqdim etdiyiniz səhifə siyahısıdır. Kiçik saytlar üçün tövsiyə.

Problemin yalnız tarama ilə bağlı olduğuna əmin deyilsinizsə, əvvəl SEO auditi planı üzrə ümumi yoxlama aparın. İş siyahısına nəticəsi bilinməyən “büdcəni artırmaq” tapşırığı yazmayın.

Search Console crawl statistikasını necə oxumaq olar?

Google Search Console-da saytınızı seçin, sonra Settings bölməsindən Crawl stats hesabatını açın. Hesabat yalnız domen səviyyəsində və ya kök ünvan üçün yaradılmış uyğun mülklərdə mövcuddur. Ayrı qovluq üzrə mülk seçmisinizsə, bu məhdudiyyəti yoxlayın. Hesabata giriş qaydası.

Əvvəl Host status göstəricisinə baxın: burada Google-un sayta giriş zamanı qarşılaşdığı problemlər göstərilir. Sonra cavab kodlarını, orta cavab müddətini və sorğu nümunələrini açın. Bunların hamısı Crawl Stats hesabatının hissələridir. Hesabat göstəriciləri.

Ümumi sorğu sayını indekslənmiş səhifə sayı kimi oxumayın. Eyni ünvana təkrar sorğular ayrıca sayılır, saytın özündəki resurslar da hesaba daxil olur. Nümunə URL siyahısı isə bütün sorğuları əhatə etmir. Məlumatın əhatəsi və məhdudiyyətləri.

Başlanğıc hesabatını saxlayın və baxdığınız tarix aralığını qeyd edin. Növbəti baxışda eyni müddəti müqayisə etməyi planlaşdırın. Qurulumda çətinlik varsa, Google Search Console bələdçisindən başlayın.

Lazımsız və təkrarlanan URL-lərlə nə etməli?

Əvvəl URL-ləri, yəni səhifə ünvanlarını, məqsədinə görə qruplaşdırın. Google təkrar məzmunu birləşdirməyi, taranması istənməyən ünvanları idarə etməyi və silinmiş səhifələr üçün düzgün cavab qaytarmağı tövsiyə edir. Hamısına eyni qaydanı tətbiq etməyin. URL ehtiyatının idarə edilməsi.

Hər qrupa ayrıca qərar verin

• Eyni məzmunun təkrarları: birləşdirilməsi mümkün olan variantları müəyyən edin.
• Taranması lazım olmayan sıralama səhifələri: robots.txt ilə bloklama imkanını qiymətləndirin.
• Həmişəlik silinmiş səhifələr: 404 və ya 410 cavabını yoxlayın.
• Ardıcıl yönləndirmələr: lazımsız keçid mərhələlərini qısaltmaq üçün siyahı hazırlayın.

Bu bölgünün texniki əsası Google-un tarama üzrə tövsiyələridir. Dublikatlar üçün ayrıca təkrarlanan məzmunun düzəldilməsi bələdçisini komandanın iş siyahısına əlavə edə bilərsiniz.

Noindex ilə robots.txt-ni qarışdırmayın

Noindex səhifənin indeksə daxil edilməməsi göstərişidir. Google onu görmək üçün səhifəni yenə istəməlidir, buna görə crawl budget qənaəti üçün uyğun vasitə deyil. Robots.txt isə tarama girişini idarə edir; ondan müvəqqəti olaraq büdcəni başqa səhifələrə yönəltmək üçün istifadə etməyin. Google-un noindex və bloklama izahı.

Bloklama təklifini tətbiqdən əvvəl konkret ünvan nümunələri ilə yoxlayın. Saxlanmalı məhsul və kateqoriya səhifələrini ayrıca siyahıya yazın. Qaydanın necə hazırlanacağını robots.txt bələdçisi ilə nəzərdən keçirin.

Hipotetik mağaza nümunəsində eyni məhsulların ucuzdan bahaya və bahadan ucuza sıralanmış variantlarını ayrıca araşdırardım. Amma alıcının ayrıca ehtiyacına cavab verən kateqoriyanı avtomatik bloklamazdım. Hər qrup üçün “bu səhifə nə iş görür?” cavabını mağaza sahibi ilə yazılı razılaşdırın.

Server sürəti crawl limitinə necə təsir edir?

Server sabit və sürətli cavab verdikcə Google tarama tutumunu artıra bilər. Cavab gecikirsə, 5xx server xətaları və ya 429 məhdudlaşdırma cavabları yaranırsa, hədd azalır. Bunlar serverin sorğuya verdiyi texniki cavab kodlarıdır. Server sağlamlığı və tarama həddi.

Hostinq komandasına sadəcə “saytı sürətləndirin” yazmayın. Problemli tarixləri, səhifə nümunələrini və hesabatdakı cavab müddətini göndərin. Əvvəl xətanın səbəbini soruşun, sonra əlavə server resursuna ehtiyac barədə qərar verin.

Texniki tapşırığı konkretləşdirin

• Yavaş cavab verən səhifə qruplarını müəyyən edin.
• Server xətalarının təkrarlanma səbəbini araşdırın.
• Dəyişməyən səhifələr üçün 304 cavabının uyğunluğunu yoxlayın.
• Uzun yönləndirmə zəncirlərini sadələşdirmək üçün plan hazırlayın.

304 “məzmun dəyişməyib” cavabıdır və Google-a saxlanmış nüsxədən istifadə etməyə imkan verir. Google həm bu mexanizmi, həm daha səmərəli yüklənməni tövsiyə edir. Daha sürətli server isə aşağı tarama tələbini təkbaşına aradan qaldırmır. Yüklənmə və keş tövsiyələri.

Sitemap-i də yeniləyin. Google yenilənmiş məzmun üçün lastmod, yəni son dəyişiklik məlumatını tövsiyə edir. Sitemap tövsiyəsi. Quruluşu hazırlamaq üçün sitemap yaratmaq bələdçisinə baxın.

Bu həftə hansı işləri görmək və nəticəni necə yoxlamaq olar?

Bir həftəlik işi diaqnostika və seçilmiş düzəlişlərlə məhdudlaşdırmağı təklif edirəm. Aşağıdakı plan nəticə vədi deyil. Məqsəd həftənin sonunda problemin ünvanını, məsul şəxsi və yoxlama üsulunu bilməkdir.

1. İlk gün: axtarışda görünməsini istədiyiniz əsas səhifələri seçin. Hər biri üçün mövcud vəziyyəti qeyd edin.
2. İkinci gün: Crawl Stats və Page Indexing hesabatlarına baxın. Müşahidəni ehtimaldan ayrı yazın.
3. Üçüncü gün: URL-ləri məhsul, kateqoriya, təkrar variant və silinmiş səhifə kimi qruplaşdırın.
4. Dördüncü gün: bir problem qrupu üzrə düzəlişi hazırlayın. Hansı səhifələrin qorunacağını əvvəlcədən göstərin.
5. Beşinci gün: tətbiq edilən dəyişikliyi yoxlayın, tarixi qeyd edin və növbəti hesabat baxışını planlaşdırın.

Komandaya göndərmək üçün tapşırıq nümunəsi

“Bu səhifə qrupunda tarama problemini araşdırın. Hesabatdakı nümunələri, server cavabını və təklif etdiyiniz düzəlişi bir cədvəldə verin. Dəyişiklikdən sonra hansı göstəriciyə baxacağımızı və səhv olarsa əvvəlki vəziyyətə necə qayıdacağımızı yazın.”

Yoxlama siyahısına ümumi sorğu sayından əlavə vacib səhifələrin vəziyyətini daxil edin. Dəyişiklik tarixini kampaniya və sayt yenilənməsi tarixlərindən ayırın. Bir neçə işi eyni gündə dəyişirsinizsə, nəticəni tək bir düzəlişə bağlamayın.

Hesabatı biznes qərarı ilə bitirin: hansı problem bağlandı, hansına əlavə araşdırma lazımdır, hansı işi dayandırırsınız? Yeni məhsul səhifəsinin vəziyyəti hələ aydın deyilsə, bunu açıq yazın. “Tarama artdı” ifadəsini uğurun yeganə sübutu kimi qəbul etməyin.