Cara mengetahui robot.txt blog orang lain

Bagi blogger pemula seperti saya hampir setiap saat membongkar dan memasang trik untuk mengoptomalkan seo pada blognya, begitupun dengan saya sahabat, jadi ceritanya saat itu saya ingin mengoptimalkan seo pada blog ini dengan mengedit robots.txt agar lebih seo, namun apa yang terjadi setelah saya mengikuti beberapa trik? ternyata notifikasi di webmaster berkata lain, yaitu Artikel tidak terindeks karena di cekal oleh robots.txt.

namun sebenaranya apa itu robots.txt? kenapa efek dari robots.txt dapat menghalangi artikel terindeks di mesin pencari? dari hasil pencarian saya di mbah Google saya mendapatkan sedikit informasi apa itu robots.txt, berikut:

"robots.txt adalah file pada akar situs Anda yang menunjukkan bagian dalam situs yang tidak anda izinkan untuk diakses oleh perayap mesin telusur salah satunya seperti google. File menggunakan Standar Pengecualian Robot, yang merupakan protokol dengan sekelompok kecil perintah yang dapat digunakan untuk menunjukkan akses ke situs berdasarkan bagian dan berdasarkan jenis perayap web tertentu (contohnya perayap seluler dan perayap desktop)."

Kembali lagi ke topik, lalu bagaimana pengaturan robot.txt yang baik? untuk hal ini silahkan sahabat searching di google cara mengatur robots.txt seo dan friendly, namun sahabat perlu ketahui sebelum mengikuti trik-trik ataupun tips-tips mengatur robots.txt tersebut adalah lihatlah robot.txt yang digunakan oleh si pembuat tutorial tersebut, apakah dia menggunakan robot.txt tersebut sesuai tutorial yang dia gunakan atau tidak? ataukah cari beberapa blog-blog yang sahabat ketahui bahwa blog inilah memang paling hebat dalam hal seo, lalu lihat settingan robot.txtnya, dari situ sahabat dapat belajar.

Lalu bagaimana cara mengetahui robots.txt blog/situs orang lain atau mungkin blog sahabat sendir? jika untuk mengetahui robot.txt yang berada pada blog sahabat sendiri mungkin sahabat sudah tau caranya, namun bagaimana cara mengetahui robots.txt blog atau situs orang lain? berikut caranya:

Tentukan blog/situs yang akan dilihat robots.txtnya

Copy Url blog tersebut, lalu paste ke tab baru atau ke alamat baru

tambahkan /robots.txt di belakang urlnya

Contohnya blog yang akan saya lihat settingan robots.txtnya adalah http://rahmanwangsyah.blogspot.com, lalu saya tambahkan di belakangnya /robots.txt maka urlnya menjadi http://rahmanwangsyah.blogspot.com/robots.txt

Mudah bukan? untuk percobaan, silahkan sahabat copy url saya di atas lalu tekan enter atau kunjungi alamat tersebut, maka akan tampil settingan robots.txt blog saya. Ok sampai disini, semoga bermanfaat.