robots.txt nədir və sizə nə vaxt lazımdır?

robots.txt axtarış botuna saytın hansı ünvanlarına daxil ola biləcəyini bildirən fayldır. Bot səhifələri avtomatik ziyarət edən proqramdır; Googlebot Google-un belə proqramının adıdır. Faylın əsas işi botların girişini idarə etməkdir. Google-un izahına baxın.

Saytın crawl olunması botun səhifələrə daxil olub onları oxumasıdır. İndekslənmə isə səhifənin axtarış sisteminin bazasına daxil edilməsidir. Bu fərqi yadda saxlayın: robots.txt ilə bağlanan ünvan başqa səhifələrdən tapılıb Google nəticələrində yenə görünə bilər. Google bu məhdudiyyəti ayrıca izah edir.

Əvvəl biznes məqsədini yazın

Faylı dəyişməzdən əvvəl bir cümlə hazırlayın: “Botun bu bölməni oxumasını istəmirəm, çünki...” Cümləni tamamlamaq çətindirsə, hələ qayda əlavə etməyin. “SEO üçün lazımdır” təkbaşına kifayət qədər aydın səbəb deyil.

Şərti nümunə: Bakıdakı kafenin menyusu, ünvanı və rezervasiya səhifəsi var. Sahib kimi bu üç səhifənin Google tərəfindən oxunmasını istəyirsiniz. İşə həmin ünvanları qorunacaq səhifələr siyahısına yazmaqla başlayın.

Crawl büdcəsini sadə dillə botun saytınızı oxumağa ayırdığı imkan kimi düşünün. Praktik qərarı terminə görə yox, ehtiyaca görə verin: Google lazımsız və oxşar səhifələrə girişi məhdudlaşdırmağı robots.txt istifadələrindən biri kimi göstərir. İstifadə məqsədləri burada açıqlanır.

Ümumi mənzərəni anlamaq istəyirsinizsə, əvvəl texniki SEO yoxlama siyahısı ilə saytınızdakı problemi adlandırın. Sonra robots.txt dəyişikliyinin məhz həmin problemə aid olub-olmadığını seçin.

Faylı harada və hansı formatda yaratmalısınız?

Fayl saytın kökündə, yəni domen adından dərhal sonra gələn /robots.txt yolunda yerləşməlidir. Onu bloq qovluğunun içinə qoymayın. Adı dəqiq robots.txt, formatı adi mətn və kodlaşdırması UTF-8 olmalıdır. Yerləşdirmə və format qaydaları.

Sadə redaktor seçin

Notepad və TextEdit kimi mətn redaktorları uyğundur. Word kimi sənəd proqramları əlavə format və gözlənilməz simvollar yarada bilər. Google da adi mətn redaktorundan istifadə etməyi tövsiyə edir. Faylın yaradılması haqqında təlimat.

1. Mövcud robots.txt mətnini açın və surətini saxlayın.
2. Yeni qaydanı ayrıca qaralamada hazırlayın.
3. Faylın adının sonunda ikinci dəfə .txt olmadığını yoxlayın.
4. Yadda saxlayarkən UTF-8 seçin.
5. Kök qovluğa çıxışınız yoxdursa, hostinq dəstəyinə müraciət edin.

Subdomen əsas domenin ayrıca adla işləyən hissəsidir. Əsas saytdakı faylın qaydaları avtomatik olaraq subdomenə keçmir; qaydalar yerləşdikləri protokol, host və port üçün qüvvədədir. Buna görə mağazanız ayrıca subdomendədirsə, onun faylını ayrıca yoxlayın. Google-un əhatə dairəsi qaydası.

User-agent, disallow və allow necə yazılır?

Əvvəl qaydanın hansı bota aid olduğunu, sonra icazə və qadağanı yazın. Hər göstəriş ayrıca sətirdə olmalıdır. Aşağıdakı cədvəl Google-un dəstəklədiyi göstərişləri sadələşdirir.

Sadə robots.txt nümunəsi

Şərti nümunə: kiçik onlayn mağazada təkrarlanan səhifələr üçün /tekrar/ qovluğu olduğunu düşünək. Həmin qovluq bağlanacaq, içindəki izah səhifəsi isə açıq qalacaq. Bu yollar nümunədir; saytınızda olmayan qovluğu olduğu kimi köçürməyin.

User-agent: *
Disallow: /tekrar/
Allow: /tekrar/izah.html

Burada ulduz ümumi bot qrupunu bildirir; Google-un AdsBot botları ayrıca adlandırılmalıdır. Disallow və Allow birləşməsi qovluğu bağlayıb konkret səhifəyə istisna verir. Bloklanmayan yolların oxunmasına isə standart olaraq icazə var. Sintaksis və istisnalar.

Google botlarına icazə vermək

Yalnız Googlebot üçün ayrıca qrup yazmaq istəsəniz, user-agent qaydası belə başlayır:

User-agent: Googlebot
Allow: /

Bu nümunə Googlebot üçün bütün yolları açır. Lakin mövcud fayla ayrıca bot qrupu əlavə edəndə ümumi ulduz qrupunun qaydalarının həmin bota avtomatik əlavə olunacağını düşünməyin: Google ən uyğun qrupu seçir. Qrupların seçilməsi qaydası.

• Yolları brauzerdəki yazılışla müqayisə edin.
• Böyük və kiçik hərfləri diqqətlə yoxlayın.
• Hər qadağa üçün bir açıq qalmalı səhifə seçin.
• Səbəbini bilmədiyiniz köhnə qaydanı dəyişməzdən əvvəl saytın məsulundan soruşun.

Yollarda böyük və kiçik hərf fərqi nəzərə alınır. Məsələn, kiçik hərflə yazılmış yol böyük hərflə yazılan başqa yolu avtomatik bağlamır. Yol uyğunluğu barədə izah.

robots.txt Google-da səhifəni gizlətmək üçün kifayətdirmi?

Xeyr. Disallow oxumağa qoyulan məhdudiyyətdir; noindex isə səhifəni axtarış nəticələrinə daxil etməmək göstərişidir. Google səhifəni nəticələrdən çıxarmaq üçün noindex və ya parolla qorumanı göstərir. Google-un gizlətmə ilə bağlı xəbərdarlığı.

Şərti nümunə: marketinq komandanızın müştəri üçün hazırladığı daxili qiymət təklifi var. Məqsəd sənədi yalnız müştərinin görməsidirsə, işi “robots.txt-də bağlayın” kimi verməyin. Texniki məsula kimlərin giriş hüququ olmalı olduğunu yazın və giriş qorunmasını istəyin.

Bu fayl təhlükəsizlik kilidi deyil. Bütün botlar onun qaydalarına əməl etməyə bilər. Məxfi məlumat üçün Google da parolla qoruma kimi başqa üsullara yönləndirir. robots.txt məhdudiyyətləri.

Noindex fərqi barədə qərarı belə verin: “Bot oxumasın” və “Google nəticəsində görünməsin” tələblərini ayrı yazın. İkisini eyni tapşırıq hesab etməyin. Görünürlük problemi artıq yaranıbsa, saytın Google-da görünməməsi üçün yoxlama ardıcıllığından başlayın.

WordPress və sitemap üçün nəyi yoxlamalısınız?

WordPress robots.txt işi üçün əvvəl faylı hazırda kimin idarə etdiyini müəyyənləşdirin. Saytı hazırlayan şəxsdən dəyişikliyin harada edilməli olduğunu soruşun. Hazır şablonu mövcud qaydaların üstünə yazmaq əvəzinə, əvvəl indiki mətnlə müqayisə aparın.

Texniki məsula veriləcək qısa tapşırıq

Mövcud robots.txt surətini saxlayın. Əsas xidmət, məhsul və əlaqə səhifələrini açıq saxlamaq istəyirəm. Təklif etdiyiniz hər qadağanın səbəbini və təsir etdiyi nümunə ünvanı ayrıca göstərin.

Bu tapşırığa WordPress SEO qurulması bələdçisini də əlavə edə bilərsiniz. Özünüz üçün məsul şəxsi və dəyişiklikdən sonra yoxlayacağınız səhifələri qeyd edin.

Sitemap sətrini necə əlavə etməli?

Sitemap, yəni sayt xəritəsi, oxunmasını istədiyiniz məzmunu göstərən fayldır. Sitemap robots.txt-də göstərilərkən tam ünvan yazılmalıdır; yalnız qovluq yolu kifayət deyil. Bu sətir məcburi deyil. Sitemap göstərişinin tələbləri.

Sitemap: [sayt xəritənizin tam ünvanı]

Bu, doldurulacaq şablondur, hazır işlək sətir deyil. Mötərizədəki hissəni sayt xəritənizin real ünvanı ilə əvəz edin. Ünvanı bilmirsinizsə, əvvəl sitemap yaratmaq bələdçisi üzrə xəritəni tapın və brauzerdə açın.

Dəyişikliyi necə yoxlayıb server yükünü izləməlisiniz?

Əvvəl faylın açıldığını, sonra qaydalarının düzgün oxunduğunu yoxlayın. Google gizli brauzer pəncərəsində robots.txt ünvanını açmağı və əlçatan faylı Search Console hesabatında yoxlamağı göstərir. Search Console saytın Google ilə əlaqəsini izləmək üçün vasitədir. Yoxlama addımları.

1. Gizli pəncərədə saytınızın /robots.txt yolunu açın.
2. Gözlədiyiniz mətnin göründüyünü təsdiqləyin.
3. Search Console-da robots.txt hesabatına baxın.
4. Əsas məhsul, xidmət və əlaqə yollarını qaydalarla müqayisə edin.
5. Bağlanacaq qovluğu və açıq qalacaq istisnanı ayrıca yoxlayın.
6. Dəyişiklik tarixini, səbəbini və əvvəlki mətni saxlayın.

Hesabatlarla işləmək üçün Google Search Console bələdçisinə keçin. Yoxlamanı yalnız ana səhifə ilə bitirməyin; satış üçün vacib səhifələri öz siyahınızdan seçin.

robots.txt lazımsız səhifələrə bot sorğularını məhdudlaşdırmaqla server yükünü idarə etməyə kömək edir. Lakin qaydalara əməl etməyən botları dayandırmır. Google-un istifadə məqsədi və məhdudiyyətləri.

Hostinq məsulundan dəyişiklikdən əvvəl və sonra hansı sorğuların yük yaratdığını müqayisə etməsini istəyin. Nəticəni təkcə “faylı əlavə etdik” cümləsi ilə bağlamayın. Hansı bölməyə girişin azaldığını və vacib səhifələrin açıq qaldığını yoxlayın.