Tentu Anda sudah tahu bahwa Google menggunakan bot untuk mencari halaman-halaman website di internet, termasuk halaman website Anda. Pada dasarnya, bot mesin pencari akan melakukan crawling ke semua halaman di website. Namun, itu kurang efisien. Nah, untuk membuat crawling bot mesin pencari lebih efisien, Anda membutuhkan robots txt.

Masih asing dengan robots txt? Tenang, kami akan menjelaskan secara lengkap di artikel ini. Kami akan membahas soal apa itu robot txts, kenapa itu penting, dan tentu saja bagaimana cara mengatur robots txt di website Anda.  

Apa Itu Robots txt?

Robots txt adalah file yang berisi intruksi untuk memberi petunjuk kepada bot mesin pencari halaman apa saja yang perlu di-crawl. Bot mesin pencari secara otomatis akan melakukan crawl ke semua halaman website. Bahkan ia juga melakukan crawl sampai ke halaman-halaman yang tidak penting sekalipun seperti direktori plugin dan tema.

Melakukan crawling ke halaman-halaman tersebut tentu tidak perlu karena tidak ada gunanya. Selain itu, crawling ke halaman yang tidak perlu juga memperlambat proses crawling di website Anda. Ini disebabkan oleh semakin banyaknya halaman yang perlu di-crawl oleh bot mesin pencari. 

Oleh karena itu, Anda perlu mengatur robots txt di website Anda. Robots txt akan mengarahkan bot mesin pencari untuk melakukan crawling ke halaman-halaman yang penting saja. Dengan begitu proses crawling di website Anda akan selesai lebih cepat. 

Di Mana File Robots txt Disimpan dan Apa Saja Rule-nya?

Sebelum mempelajari bagaimana cara mengatur file robots txt, Anda perlu mengetahui di mana file ini tersimpan. Saat website dibuat, ia akan secara otomatis membuat file robots.txt yang terletak di folder utama server. 

Misalnya, nama website Anda adalah www.websitesaya.com. Anda bisa menemukan file robots.txt di www.websitesaya.com/robots.txt seperti ini:

Terdapat tiga perintah umum yang ditemukan di file robots.txt. Ketiga perintah tersebut adalah

  • User Agent: menunjukkan bot mesin pencari yang dipengaruhi oleh perintah dari robots txt. Anda bisa saja memilah bot apa saja yang terkena dampak. Namun untuk memudahkan Anda, sebaiknya langsung berikan tanda bintang (*). Tanda bintang (*) artinya semua bot terkena dampak dari perintah robots.txt.
  • Disallow: merupakan perintah yang melarang bot mesin pencari untuk melakukan crawling ke halaman tertentu. 
  • Allow: merupakan perintah yang mengizinkan bot mesin pencari untuk melakukan crawling ke halaman tertentu. 

Pada umumnya, Anda tidak perlu menggunakan perintah Allow. Sebab bot mesin pencari akan secara otomatis melakukan crawling ke semua halaman website. Jadi, Anda akan lebih banyak menggunakan perintah Disallow.

Cara Mengatur Robots txt di WordPress Menggunakan Plugin

Untuk bisa mengatur robots txt, Anda bisa menggunakan plugin. Ada dua plugin yang bisa Anda gunakan, yaitu Yoast SEO dan All in One SEO Pack. Keduanya punya fungsi yang sama. Anda hanya perlu memilih mana yang lebih cocok untuk website Anda. 

Oh iya, sebelum memulai panduan di bawah ini, sebaiknya Anda sudah memiliki list halaman apa saja yang tidak perlu di-crawl oleh bot mesin pencari. Dengan begitu, pekerjaan Anda akan lebih cepat selesai. 

Yuk mulai dari cara pertama!

Plugin Yoast SEO

Yoast SEO memang merupakan salah satu plugin SEO gratis dengan fitur lengkap. Selain berguna untuk menganalisis kualitas SEO di website, Yoast SEO juga memiliki fitur untuk mengaktifkan dan mengatur robots txt. 

Berikut langkah-langkah untuk mengaktifkan robots txt di website Anda menggunakan Yoast SEO:

Pertama, pastikan Anda sudah menginstall Yoast SEO. Jika belum memasangnya di website, Anda bisa menginstallnya melalui direktori plugin WordPress atau mengunduhnya di sini.

Kedua, buka dashboard WordPress lalu klik menu SEO > Tools > File Editor. Setelah itu, Anda bisa membuat file robots txt dengan klik Create robot.txt file. 

Ketiga, pada langkah ini Anda perlu membuat rule yang sesuai dengan kebutuhan website Anda. Masukkan halaman apa saja yang perlu dan tidak perlu di-crawl oleh bot mesin pencari. Setelah itu, klik Save changes to robots.txt

Selesai, Anda berhasil membuat file robots txt menggunakan Yoast SEO. 

Plugin All in One SEO Pack

Selain plugin Yoast SEO, Anda juga bisa memanfaatkan plugin lain. Salah satunya adalah plugin All in One SEO Pack. Langkah-langkahnya agak berbeda dari Yoast SEO. Namun, fungsinya tetap sama, yaitu mengatur robots txt file. 

Ikuti langkah-langkah di bawah ini untuk mengaktifkan robots txt file di WordPress menggunakan All in One SEO Pack:

Pertama, pastikan Anda telah memasang plugin All in One SEO Pack. Jika belum, Anda bisa menginstallnya langsung melalui direktori plugin di WordPress Anda atau mengunduhnya di sini.

Kedua, buka dashboard WordPress lalu klik All in One SEO > Feature Manager. Selanjutnya, pilih menu Robots.txt dan klik Activate

Ketiga, setelah fitur Robots txt sudah aktif, Anda akan menemukan menunya di panel dashboard All in One SEO Pack sebelah kiri. Klik menu Robot.txt dan Anda akan diarahkan ke halaman untuk membuat file robots txt. 

Keempat, tentukan rule yang ingin Anda terapkan di website. Pilih rule Block untuk memblokir sebuah halaman dari crawling dan pilih rule Allow untuk mengizinkan crawling di sebuah halaman. Kemudian masukkan URL halaman yang ingin Anda blokir atau izinkan untuk crawling. 

Selesai, Anda telah berhasil mengaktifkan robot txt di WordPress menggunakan plugin All in One SEO Pack.

Cara Cek File Robots txt Menggunakan Google Search Console

Setelah berhasil membuat file robots.txt menggunakan langkah di atas, Anda perlu mengeceknya. Jika sudah mengikuti panduan di atas, sebenarnya kemungkinan adanya error sangatlah kecil. Namun, untuk berjaga-jaga, sebaiknya Anda tetap perlu melakukan pengecekan setiap membuat atau memperbarui file robots txt. 

Untuk mengecek apakah ada error atau tidak di file robots txt yang dibuat, Anda bisa menggunakan Google Search Console. Caranya mudah. Buka Google Search Console. Kemudian pada dashboard Google Search Console, Anda akan menemukan menu Crawl > robots.txt crawler

Setelah itu, Anda akan melihat file robots.txt yang telah Anda buat sebelumnya lalu klik Submit. Jika ada error, Google Search Console akan memberi notifikasi. Namun, seperti yang sudah disebutkan sebelumnya, kemungkinan adanya error sangat kecil. Jadi, Anda tidak perlu khawatir. 

Simpulan

Dengan mengaktifkan file robots txt, Anda telah mengarahkan bot mesin pencari ke halaman-halaman paling penting di website Anda. Jadi bot mesin pencari tidak perlu melakukan crawling ke halaman yang tidak perlu diketahui oleh pengunjung.

Alhasil proses crawling akan jadi lebih cepat. Semakin cepat proses crawling, semakin besar pula kemungkinan website Anda untuk lebih cepat muncul di hasil pencarian. Selain itu, orang-orang juga tidak akan menemukan halaman yang tidak relevan dari website Anda.