Robots.txt adalah sebuah file yang digunakan untuk memberi instruksi pada mesin pencari seperti Google, Bing, dan Yahoo tentang bagian dari situs web yang tidak perlu diindeks atau diikuti oleh bot mesin pencari. File robots.txt sangat penting dalam mengatur bagaimana mesin pencari menemukan dan mengindeks konten Anda. Dalam artikel ini, kami akan membahas cara mengatur file robots.txt di situs web Blogger yang benar.
Contoh file robots.txt :
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://infokudia.blogspot.com/sitemap.xmlPenjelasan robots.txt
Apa fungsi dari user-agent, disallow, allow dan sitemap. berikut adalah penjelasannya:
- User-agent: Nama robot mesin telusur (software web crawler) tempat aturan diterapkan. Ini adalah baris pertama untuk aturan apa pun.
- Disallow: Mengontrol halaman mana yang tidak boleh di crawl oleh agen pengguna, jadi jika kalian tidak ingin google mengcrawl halaman contact, ini yang kalian gunakan.
- Allow: Mengontrol halaman atau direktori mana yang boleh di crawl atau dirayapi oleh agen pengguna yang disebutkan.
- Sitemap: Bagian ini opsional yang berarti tidak wajib ada pada file robots.txt kalian. ini berisi url lokasi situs peta atau sitemap kalian. contoh: Sitemap: https://infokudia.blogspot.com/sitemap.xml.
Jika kalian sudah mengerti masing-masing fungsi diatas, langsung saja ke cara menambahkan robots.txt pada situs kalian.
Cara Menambahkan robots.txt Di Blogger
lanjut ke bagian utama artikel ini, bagaimana cara menambahkan robots.txt pada blogger. caranya sangatlah mudah, simak tutorial berikut.
- Pertama, login ke akun blogger kalian.
- Masuk ke menu setting atau Setelan>>Crawler dan Pengindeksan>>Aktifkan robots.txt kustom>>dan klik edit.
- kemudian, masukkan file robots.txt dibawah ini ke dalamnya.
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://blog-kalian.com/sitemap.xml - Terakhir, ubah alamat sitemapnya menjadi alamat sitemap blog kalian dan klik simpan.
- Gimana, mudah kan? tapi ini belum selesai, cek dahulu apakah file robots.txt kalian sudah terkirim atau belum, simak penjelasannya dibawah.
Cara Memeriksa file robots.txt
Untuk memeriksa file robots.txt pada blog sangatlah mudah, contoh url robots.txt blog saya adalah https://infokudia.blogspot.com/robots.txt. nah, kalian tinggal tambahkan /robots.txt di akhiran url blog kalian. contoh: blog-kalian.com/robots.txt. jika sudah terkirim, maka akan tampil file atau text robots.txt kalian pada halaman tersebut.
Akhir Kata
Gimana, mudah kan cara setting robots.txt Di Blogger Yang benar, mungkin itu saja artikel dari saya, bagi kalian yang punya saran dan pertanyaan, silahkan komen dibawah, terimakasih.