Cara setting Robot.txt di Blogger Supaya Lebih SEO Friendly


Selamat datang di IMAGINATOR ID adalah blog yang membahas tentang berbagai hal mengenai tutorial, informasi, kumpulan soal-soal ujian, dan beberapa karya ilmiah untuk kali ini saya akan membahas salah satunya.

Jadi dalam pengaturan blogspot itu ada istilah robot txt. lalu apa fungsi dari robot txt? seberapa penting pengaturan robot txt? Mari kita bahas bersama sobat.

Apa Itu Robot.txt?
Robot.txt atau yang biasa dikenal sebagai protokol pengecualian robot atau protokol Robot.txt  adalah sebuah ketentuan para pengguna blog untuk mencegah web crawler dan robot web lain, dari pengaksesan seluruh atau sebagian situs web yang tidak di izinkan untuk di index.

Apa Fungsi Robot.txt?
Fungsi Robot.txt adalah berfungsi untuk mengontrol halaman-halaman tertentu agar tidak diindeks oleh spider mesin pencari, atau situs jejaring sosial seperti Friendster, Facebook, dan Twitter

Seberapa Penting Robot.txt?
Dengan mengganti aturan bawaan dasar pengaturan Robot.txt , maka hal ini membuat artikel yang kita upload menjadi lebih SEO friendly. Karena Dengan mengganti Robot.txt  bawaan blogger, Kita bisa menentukan mana yang boleh di index oleh mesin pencari dan mana yang tidak Sobat perbolehkan.
OkeSobat, sekarang kita sudah tau apa dan bagaimana Robot.txt itu, sekarang mari kita melakukan cara merubah Robot.txt.
Ikuti langkah-langkah ini untuk melakukan setting Robot.txt di blogspot Sobat.

Masuk ke blog blogger Sobat.
Arahkan ke Settings >> Shearch Preferences >> Crawlers and Indexing >> Custom robots.txt >> Edit >> Yes (pastekan Robot.txt)
Klik tombol Save Changes.

Sekarang pastekan kode file Robot.txt Sobat dalam kotak. Sobat tinggal memilih pengaturan Robot.txt di bawah ini.

1. Robots.txt Default
Pakai saja Settingan Robot.txt default, karena inilah yang paling aman dan juga efektif. Untuk settingan Robot.txt ini, pertama kali Sobat membuat blog, seketika itu Robot.txt sudah aktif. Berikut ini adalah Robot.txt default dari blogger.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://url.blogspot.com/sitemap.xml

Keterangan:
User-agent: Mediapartners-Google {Penanda bahwa blog menggunakan AdSense}
Disallow: {Yang tidak dibolehkan tidak ada}
User-agent: * {Semua robot mesin pencari}
Disallow: / search {Tidak mengijinkan url setelah /search seperti ..../search/label dan ... search/search?updated...}
Allow: / {Yang diijinkan untuk dirayapi. Tanda (/) adalah nama blog.}
Sitemap: https://url.blogspot.com/sitemap.xml {Sitemap/peta situs blog.}

Pada kode Disallow: /search, artinya pembatasan atau tidak diizinkan merayapi halaman seperti https://url.com/search/label/SEO, karena link tersebut tidak menuju ke satu halaman satu artikel penuh.

2. Custom Robot.txt
Menggunakan Robot.txt di atas sebenarnya sudah cukup, tetapi apabila Sobat tetap ingin melakukan customasi pada Robot.txt, maka modifikasi Robot.txt di bawah bisa Sobat pakai.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: https://url.blogspot.com/sitemap.xml

Custom robots.txt di atas memberikan sebuah perintah kepada mesin pencari untuk tidak merayapi halaman About dan halaman Contact pada halaman statis. jika sobat ingin halaman tertentu tidak dirayapi mesin pencari, maka sobat tinggal menambahkan seperti cara di atas.

3. Setting Tag Tajuk Robot Khusus
Untuk mengaktifkan tag tajuk robot khusus,
Arahkan ke Settings>> Shearch Preferences>>Tag Tajuk (posisi dibawah Setting Robot.txt)

Robot.txt Tester
Sobat bisa cek Setingan robot,txt sobat dengan cara masuk di google webmasters tool lalu klik Crawl >> Robot.txt Tester. Lihat gambar di bawah ini:

Ada hal yang penting untuk sobat ketahui tentang Robot.txt adalah "Berhati-hatilah menggunakan Robot.txt. Karena Penggunaan yang tidak benar dari fitur ini dapat mengakibatkan blog Sobat di abaikan oleh mesin pencari".

Posting Komentar

© IMAGINATOR ID. All rights reserved. Developed by Jago Desain