Cara Perbaiki Masalah Cakupan Index Robots.txt Di Google Search Console

Selamat datang di IMAGINATOR ID adalah blog yang membahas tentang berbagai hal mengenai tutorial, informasi, kumpulan soal-soal ujian, dan beberapa karya ilmiah untuk kali ini saya akan membahas salah satunya.

Sejak proses update besar besaran oleh google mungkin ada beberapa diantara para blogger yang mengalamipermasalan ini termasuk saya sendiri. Diluncurkannya versi beta pada search console kini google lebih teliti dalam menangani seluruh aktivitas blog.

Beberapa waktu yang lalu saya sempat dibingungkan oleh beberapa email yang masuk mengenai masalah cakupan indeks. kira kira pesanyang disampaikan oleh google kurang lebih adalah seperti ini

Masalah Cakupan indeks baru terdeteksi untuk situs https://www.imaginator.xyz/

Yth. https://www.imaginator.xyz/, pemilik Search Console telah mengidentifikasi bahwa situs Anda terpengaruh oleh 1 masalah baru terkait Cakupan indeks. 

Artinya, Cakupan indeks dapat terkena dampak negatif di hasil Google Penelusuran.

Sebaiknya Anda meninjau dan mempertimbangkan untuk memperbaiki masalah ini.

Masalah baru ditemukan: Diindeks, meski diblokir oleh robots.txt

Penjelasan Mengenai Masalah Cakupan Indeks

Sesuai pada pesan yang telah disampaikan diatas. tampak permaslahan ini ada pada robots.txt yang bekerja dalam merayapi halaman blog anda. mengalami beberapa permasalahan.

Robots.txt merupakan robot crawl yang bekerja secara otomatis melalui instruksi yang anda berikan. bila ada memberikan salah instruksi pada  robot crawl tentu hal ini akan menimbulkan dampak negatif pada website atau blog anda.

Secara default robots.txt bekerja dengan tidak merayapi halaman search hal ini ditandai dengan intruksi yang ada pada Disallow: /search. Artinya anda tidak memperbolehkan robot crawl untuk mengindeks halaman /search pada website. halaman search yang dimaksud adalah label, halaman search/pencarian, dan halaman postingan lama atau baru.

Halaman halaman seperti ini tidak akan diindeks oleh robots.txt namun anda dapat menggantinya dengan memperbolehkan robots.txt untuk mengcrawl seluruh halaman website anda.

Namun sekali lagi saya katakan itu sangat buruk sekali dampaknya bagi SEO blog anda. jika anda memperbolehkan robot crawl mengindeks seluruh halaman anda ini tentu akan berakibat fatal bagi blog anda.

Kesimpulannya anda pada halaman serach itu memang tidak perlu diindeks oleh robot crawl. jadi anda tidak perlu repot repot untuk mengganti bahkan mengubah settingan robots.txt

Untuk cara mengatasinya anda perlu mengirimkan formulir perbaikan ke google search console bahwa semua masalah diatas telah anda perbaiki , dan menginstruksikan kepada mesin pencari bahwa halaman search blog anda memang tidak perlu untuk diindeks,

Cara Mengatasi Masalah Cakupan Indeks Di Google Search Console

1. Cara untuk mengirimkan formulir perbaikan silahkan anda masuk pada panel search console webmaster tools.
2. Jika sudah silahkan klik Try the new Search Console untuk membuka panel search console versi beta,
3. Lalu pada panel sebelah kiri pilih menu cakupan indeks >> lihat pada tab Valid dengan peringatan
4. Lalu klik pada status peringatannya
5. setelah itu silahkan anda kirim validasi perbaikannya
6. Selesai, sampai pada langkah diatas validasi akan dimulai dan jika berhasil maka pemaslahan yang ada pada robot.txt pun sudah teteratasi.

Cara Mengatasi Masalah Cakupan Indeks Robots.txt Di Google Search Console melalui Dashboard Blogger atau Website
Para pengguna situs web atau blog platform blogger, secara default perintah yang ada pada robots.txt memang memblokir URLs atau halaman-halaman yang dimaksud. Di bawah ini adalah pengaturan atau format file robots.txt default dari blogger:

User-agent: Mediapartners-Google

Disallow:


User-agent: *

Disallow: /search

Allow: /


Sitemap: https://www.namadomain.com/sitemap.xml

Catatan: bagian URL dengan kata namadomain ubah dengan nama domain situs web atau blog anda.
Jika dilakukan pengujian pada robots.txt terkait masalah cakupan indeks, maka akan ditemukan bagian dari robots.txt yang menghalangi perayapan atau indeks.

Memberikan kejelasan terkait permasalahan yang sebetulnya bukanlah masalah. Perintah Disallow: /search pada robots.txt adalah pengaturan default dari blogger itu sendiri.
Pengaturan robots.txt yang seperti itu secara spesifik (khusus) bertujuan agar Googlebot tidak melakukan indeks pada halaman hasil penelusuran (/search).
Walaupun Googlebot dilarang untuk melakukan indeks, bukan berarti bagian tersebut tidak di indeks.

Cara kerja Googlebot atau Spiderbot memang seperti itu! Lalu apa maksudnya pesan itu?

Googlebot hanya ingin memastikan dan melakukan validasi terkait larangan melakukan indeks pada bagian /search adalah atas kehendak anda sendiri sebagai webmaster.

Cara Perbaiki Masalah Cakupan Indeks di Search Console

Apakah perlu diperbaiki? Silakan anda sesuaikan dengan kebutuhan. Saran saya, biarkan tetap default dan anda tidak perlu mengubah atau memperbaikinya. Bagi yang ingin mengubah perintah robots.txt, berikut cara yang perlu dilakukan.

Silakan pergi ke Dasbor Blogger - Setelan - Preferensi penelusuran - Edit pada bagian robots.txt khusus.


Setelah anda berada di pengaturan robots.txt, ganti /search menjadi /p/about.html pada bagian Disallow: /search dan hasil akhirnya akan seperti ini:

User-agent: Mediapartners-Google

Disallow:
 

User-agent: *

Disallow: /p/about.html

Allow: /
 

Sitemap: https://namadomain.com/sitemap.xml

Catatan: bagian URL dengan kata namadomain ubah dengan nama domain situs web atau blog anda.

Halaman statis yang dilarang untuk di indeks Googlebot pada pengaturan robots.txt, dapat disesuaikan dengan keinginan dan tentunya sesuaikan juga dengan URL halaman statis di situs anda.

Anda bisa melarang halaman statis seperti about, contact, privacy policy, dsb. Bahkan anda bisa juga melarang beberapa halaman statis sekaligus dengan contoh pengaturan robots.txt sebagai berikut:

User-agent: Mediapartners-Google

Disallow:
 

User-agent: *

Disallow: /p/about.html

Disallow: /p/contact.html

Allow: /
 

Sitemap: https://www.namadomain.com/sitemap.xml

Kalau anda masih ragu untuk mengatur robots.txt dengan perintah atau format seperti itu, saya sarankan anda melakukan pengujian robots.txt terlebih dahulu. Caranya sebagai berikut: Kunjungi alat pengujian robots TXT. Pilih properti yang terverifikasi dan lakukan pengujian.

Di halaman uji coba robots TXT, hapus kata /search lalu ganti dengan URL halaman statis /p/about.html. Jangan lupa isi URL yang ingin di uji untuk mengetahui apakah pengaturan tersebut berhasil mengatasi masalah cakupan indeks di search console.

Pengujian robots TXT memberikan keterangan diizinkan, itu artinya masalah cakupan indeks di search console selesai hanya dengan cara mengganti /search menjadi /p/about.html.  

Kemudian Minta Google untuk memperbarui Kirim permintaan agar Google mengetahui bahwa file robots.txt Anda telah diperbarui.

Demikianlah tentang Cara Mengatasi Masalah Cakupan Indeks Di Google Search Console semoga bermanfaat, tetap semangat. Apapun masalahnya pasti ada penyelesaiannya apabila kita mau berusaha.

Posting Komentar

© IMAGINATOR ID. All rights reserved. Developed by Jago Desain