Beberapa waktu yang lalu situs saya tiba-tiba menghilang dari index pencarian google. Hal ini mungkin bisa terjadi juga pada situs anda, bisa tidak diindex dari awal atau ada kesalahan setup di coding website sehingga mengakibatkan situs website anda tidak dimasukkan google dalam pencariannya. Ada beberapa hal yang mengakibatkan mengapa hal ini terjadi.
1. Kesalahan setup robot.txt
Mungkin anda terlanjur atau mempunyai file robot.txt. file robot.txt merupakan file konfigurasi terhadap pengunjung non – human atau agent robot pencarian seperti google, bing, yahoo dan lain sebagainya. Pastikan bahwa file robot.txt anda tidak memiliki script berikut :
User-agent: * Disallow: /
Script diatas faedahnya adalah mencegah seluruh robot untuk mengindek situs anda. script diatas bermanfaat jika anda ingin agar situs anda private atau hanya bisa diakses oleh kalangan tertentu saja. Apabila anda hanya ingin mencegah robot untuk mengindex halaman tertentu saja misalnya halaman admin maka anda bisa setup sebagai berikut :
User-agent: Googlebot Disallow: /admin/ User-agent: Bingbot Disallow: /admin/
referensi lanjutan : https://developers.google.com/search/reference/robots_txt
2. Penambahan Tag di halaman HTML anda yang menghentikan agent robot mengindeksasi
<meta name="robots" content="noindex, nofollow">
tag diatas yang mungkin anda tambahkan misalnya pada saat aplikasi masih tahap development sehingga anda lupa untuk menghapus tag diatas, maka anda perlu hapus tag tersebut. Tag meta noindex, nofollow berfungsi agar agent robot tidak mengindeksasi halaman yang anda tambahkan tag tersebut.
3. Setup pada wordpress agar robot tidak mengindek halaman anda.
pada setup wordpress, ada konfigurasi khusus agar halaman wordpress anda tidak bisa diindex oleh google, hal ini bermanfaat misalnya pada saat anda masih dalam tahap development juga terhadap website wordpress anda atau belum siap jika diakses oleh user maka anda bisa mematikan fitur index search engine ini. Gambar dibawah ini menghidupkan fitur ini untuk mematikan silahkan uncheck pada bagian Discourage search engines from indexing this site.
4. Kesalahan Setup Plugin Yoast pada wordpress
pastikan bahwa anda mensetup plugin yoast dengan pengaturan berikut agar agent robot mengindek situs anda (konfigurasi berikut ada pada halaman tab content type):
5. Situs anda di mendapat hukuman / punishment dari agent robot.
hal ini disebabkan misalnya situs anda terindikasi bertentangan dengan aturan yang ada di tiap agent robot. misalnya situs anda kena hack sehingga menyebarkan spam, terindikasi phising atau cloaking. Menangani kondisi cukup sulit karena ada berbagai langkah yang tidak cukup dijelaskan di penjelasan ini. Silahkan baca disini bagaimana menangani situs yang kena hack :
[insert page=’deteksi-celah-kelemahan-web-begini-caranya’ display=’link’]
[insert page=’cara-menangani-wordpress-yang-di-hack’ display=’link’]
Jika anda perlu bantuan lebih lanjut untuk menangani masalah situs anda silahkan kontak kami.
makasih infonya gan
web ane ada beberapa yg gak ke indeks gara2 robot text bermasalah
terima kasih bang sudah memberi tahu. sebelumnya saya agak kaget sewaktu sitemap situs saya tidak mau teindeks. untuk ada artikel ini.
Terimakasih mas Dasep sudah berbagi.
Semoga yang punya kendala yang sama bisa petik manfaat dari kasus mas Dasep.
Pada kasus yang saya alami, pertama di Yoast SEO memang sengaja noindex untuk post_tag dan setelah beberapa waktu saya kembalikan menjadi bisa di index.
Tetapi masalahnya walupun setelah dikembalikan dan sampai satu bulan lebih ternyata di webmaster console tetap noindex. Ternyata masalahnya ada di cache Cloudflare yang saya gunakan.
Jadi bagi yang mengalami kejadian seperti yang saya alami pastikan cache dalam bentuk apapun di clear supaya perubahan ada efeknya.
Ini bisa saja terjadi pada tipe konten post dan lainnya.
infonya sangat bagus dan jelas mas. makasih