Pengertian dan Cara Mengatur Robots.txt Dengan Mudah

Posted on

Pengertian dan Cara Mengatur Robots.txt – Bagi seorang blogger, pasti sudah tidak asing lagi dengan istilah “robots.txt”. Robots.txt merupakan sebuah file yang memiliki format (.txt) atau text. File ini wajib dimiliki oleh setiap situs yang kemudian harus didaftarkan kepada search engine atau mesin pencari seperti bing, yahoo, hingga google.

Robots.txt memiliki hubungan yang sangat erat dengan SEO, yaitu menyediakan layanan yang mengatur isi konten dari sebuah website. Robots.txt memiliki peran untuk mengatur maupun mengontrol sebuah direktori atau halaman yang dapat diindexkan atau ditampilkan pada mesin pencari.

Sebenarnya tanpa menggunakan SEO maupun robots.txt, sebuah website dapat diakses dalam mesin pencarian oleh semua orang. Namun, hanya akan terlihat apabila seseorang mengetikkan detail website secara keseluruhan atau lebih banyak dari yang diperkirakan.

Tentu saja hal ini sangat tidak efisien dan tentunya sangat menyusahkan. Penggunaan SEO maupun robots.txt yang kurang optimal membuat website nilai jualnya berkurang sehingga produk yang dipasarkan tidak banyak diminati seperti yang diharapkan.

Baca Juga : Cara Sederhana Mengganti Akun Adsense dengan Email yang Berbeda

Cara Mengatur Robots.txt

Terdapat beberapa hal yang perlu dipahami ketika mengatur maupun memodifikasi robots.txt. Hal ini untuk menghindari terjadinya kesalahan yang membuat website tidak dapat ditampilkan oleh mesin pencari. Berikut cara mengatur robots.txt yang benar :

  • Memblokir sebuah url supaya postingan tertentu tidak ditampilkan oleh berbagai mesin pencari yang ada. Hal ini dilakukan dengan cara menempatkan kode user-agent pada strurtur url.

disallow: /nama url yang ingin diblokir

  • Dengan robots.txt seseorang juga dapat memblokir direktori beserta isinya maupun folder yang terdapat dapa website yang dimiliki. Caranya cukup mudah, yaitu hanya dengan menggunakan disallow: /wp-nama folder/.
  • txt bahkan dapat digunakan untuk memblokir sebuah url yang didalamnya mengandung kata maupun karakter tertentu. Hal ini tentu saja agar tidak ditampilkan oleh mesin pencari. Contohnya apabila menggunakan kata “rumah”, maka url yang mengandung kata tersebut akan terblokir. Caranya dengan disallow: /*rumah*.
  • Yang terakhir, robots.txt dapat dimanfaatkan untuk memblokir format fila maupun eksistensi tertentu. Misalnya seseorang ingin memblokir sebuah file yang memiliki format javascript, css, maupun php, maka perlu menuliskan :

disallow: /*.js$

disallow: /*.css$

disallow: /*.php$

Leave a Reply

Your email address will not be published. Required fields are marked *