Cara Mudah Setting Robot.txt Di Blogger

Kali ini Blog Pintasku akan berbagi tentang Cara Mudah Setting Robot.txt Di Blogger. Mungkin sebagian dari sobat ada yg pernah mendengar kata Robot.txt, tapi apakah sobat mengerti Apa itu Robot.txt ?

Apa itu Robot.txt ?

Robot.txt atau bisa juga disebut dengan Robots Exclusion Protocol adalah perintah untuk Robot Mesin Pencari (Search Engine) untuk bisa atau tidaknya menelusuri halaman halaman di blog atau di web kita.

Pada Umumnya setiap blog itu mempunyai robot.txt yang sudah diberikan oleh pihak Blogger. Berikut ini adalah sebuah kode robot.txt yang diberikan oleh pihak blogger.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://namablogsobat/feeds/posts/default?orderby=UPDATED

Atau bisa juga dilihat oleh sobat di : http://namablogsobat.blogspot.com/robots.txt
Keterangan :

User-agent: Mediapartners-Google
Robot Google Adsense merayapi / mengakses blog

Disallow:  
Yang tidak diperbolehkan tidak ada

User-agent: *
Semua robot Search Engine / mesin pencari

Disallow: /search
Tidak diperbolehkan merayapi folder search dan setrusnya, seperti ..../search/label dan ... search/search?updated... karena label di blogger bukanlah URL asli yang menuju ke sebuah halaman.

Allow: /
Mengizinkan semua halaman untuk dirayapi atau di akses, kecuali yang tertulis pada Disallow di atas. Tanda (/) kurang lebih artinya nama blog.

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

sitemap atau alamat feed blog kita.

Pada Settingan kode di atas adalah untuk membuat Search Engine bisa mengindex semua halaman yang ada di blog kita.

Bagaimana Cara Supaya Halaman Tertentu Tidak Terindex ?

Untuk membuat Google Search Engine tidak bisa mengakses halaman tertentu. Misalnya saya ingin mencegah halaman about me dengan URL "http://pintasku.blogspot.com/p/about-me.html" tidak bisa di index oleh Mesin Pencari Google.

Maka Settingan Robot.txt nya adalah seperti dibawah ini.

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Disallow: /p/about.html
Allow: /

Sitemap: http://namablog/feeds/posts/default?orderby=UPDATED

Dimana Cara Setting Robot.txt di Blogger.

Untuk mengedit setting robot.txt di blogger silahkan ikuti petunjuk dibawah ini.

1. Log in ke blogger seperti biasa.
2. Klik setelan > Preferensi penelusuran / Search preferences.
3. Pada tab perayap dan pengindeksan pilih robot.txt.
4. Dan masukkan kodenya seperti di atas.

Sekian artikel mengenai Cara Mudah Setting Robot.txt Di Blogger semoga artikel ini bisa bermanfaat untuk semuanya. Terimakasih.