Cara Membuat Robots.txt SEO Friendly Pada Blog

Ilustrasi Robots.txt

Mungkin sobat tidak tahu apa itu robots.txt. Saya sendiri saja sebelumnya saja tidak tahu apa itu robots.txt dan apa gunanya. Tetapi setelah beberapa kali mencari ternyata robot.txt itu baik bagi blog kita.

Robot.txt dapat berfungsi sebagai penangkal duplikat konten atau yang kerennya biasa disebut duplicate content. Mesin pencari terpopuler didunia, Google paling tidak menyukai yang namanya duplikat konten dan dapat menurunkan kualitas blog anda jika tidak menggunakan robots.txt.

Tetapi, anda harus menggunakan Robots.txt dengan bijaksana dan penuh pertimbangan, karena jika tidak digunakan dengan benar maka malah akan membuat blog anda tidak diindex oleh googlebot sama sekali.

Baiklah, saya rasa sudah cukup bicaranya kita langsung saja menuju TKP.

1) Login ke Blogger >> Setelan

2) Menuju Preferensi penelusuran >> aktifkan robots.txt khusus

3) Salinlah kode robots.txt dibawah ini.

User-agent: Mediapartners-Google
Disallow: 

User-agent: Googlebot
Disallow: /search
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0

User-agent: *
Disallow: /search


Sitemap: http://kumpulantutoriall6.blogspot.com/feeds/posts/default?orderby=UPDATED

Ganti url http://kumpulantutorial16.blogspot.com dengan url blog anda.

Denganb begitu blog anda sudah SEDIKIT terhindar dari duplikat konten. Mengapa saya bilang sedikit, karena dengan robots.txt saja tidak cukup. Kita masih harus mematikan fungsi arsip blog, penambahan meta tag noindex pada seluler, dan penambahan kode noindex untuk halaman label.

Saya usahakan dalam waktu dekat saya akan posting tutorial lengkapnya untuk mengatasi duplikat konten, mohon maaf atas ketidaknyamanan ini.

Terimakasih telah membaca artikel saya yang berjudul 'Cara Membuat Robots.txt SEO Friendly Pada Blog', semoga bermanfaat.