Jika berbicara tentang cara untuk melakukan optimasi website, maka ada satu file yang perlu untuk Anda perhatikan. File tersebut adalah robots.txt. Bisa dibilang, ini merupakan sebuah cara agar konten yang Anda buat bisa terindeks dengan mudah oleh mesin pencari.
Indexing atau pengindeksan sendiri merupakan proses yang akan menentukan apakah konten Anda akan muncul pada mesin pencari atau tidak. Ini merupakan salah satu proses dari mesin pencari untuk menentukan relevansi konten Anda.
Apa itu Robots.txt?
Secara pengertian, robots.txt adalah sebuah kode atau file yang berguna untuk memberikan perintah kepada robots dari search engine yang melakukan proses indexing.
Nantinya, perintah ini berguna untuk menjalankan web crawling menggunakan spider. Tujuan utamanya agar situs ataupun URL menjadi lebih mudah untuk bisa terindeks.
Perlu Anda ketahui, salah satu cara kerja mesin pencari adalah dengan melakukan proses crawling lalu berlanjut pada indexing konten. Jika tidak konten terindeks, maka konten yang Anda buat tidak akan muncul pada mesin pencari.
Ketika akan melakukan settingan robot.txt, maka ada beberapa atribut yang bisa Anda gunakan, misalnya
- User-Agent. Ini merupakan atribut yang berguna untuk mendeskripsikan jenis ataupun nama robot yang akan diberikan instruksi untuk melakukan crawling.
- Disallow. Attribut. Ini berguna untuk memberikan perintah kepada User-Agent supaya tidak melakukan proses crawling pada halaman tertentu.
- Allow. Atribut ini berguna untuk memberikan izin ke mesin pencari untuk melakukan indexing pada halaman dan juga subfolder walaupun folder utama tidak diizinkan untuk dilakukan indexing.
- Crawl-delay. Atribut ini berguna untuk mengatur kecepatan mesin pencari dalam melakukan proses crawling.
- Sitemap. Atribut satu ini berguna untuk memberi tahu lokasi peta situs XML yang berkaitan dengan URL.
Cara Kerja Robots.txt
Penggunaan robots.txt adalah suatu cara yang berkaitan dengan crawl budget. Crawl budget adalah sebuah limit yang dimiliki bot mesin pencari untuk melakukan crawling. Artinya, jika sudah mencapai limit, sangat mungkin ada file yang seharusnya terindeks justru malah tidak terindeks oleh mesin pencari.
Jika dilihat dari cara kerjanya, robots.txt akan bekerja dengan cara sebagai berikut.
- Robots.txt adalah kode yang akan memberikan instruksi untuk bot mesin pencari.
- Nantinya, bot mesin pencari yang melakukan crawling akan merayap dan melihat instruksi ini sebelum merayapi halaman lainnya.
- Setiap instruksi yang diberikan file robots.txt akan dilakukan oleh crawler, seperti halaman mana yang harus diindeks dan mana yang tidak.
- Bot crawler juga akan mengikuti rangkaian instruksi yang sangat spesifik dari file robots.txt tersebut.
- Jika ada perintah yang saling berlawanan, maka bot crawler akan mengikuti perintah yang paling detail.
Fungsi Robots.txt
Pertanyaan lainnya yang mungkin akan muncul adalah seberapa besar manfaat dari menggunakan file ini. Berikut adalah beberapa fungsi dan keuntungan ketika menggunakan robots.txt.
1. Memblokir Halaman Non Publik
Tidak semua halaman atau konten yang Anda buat harus terlihat di mesin pencari. Dalam kasus ini, mungkin Anda memiliki halaman di situs Anda yang memang bukan untuk publik.
Contoh halaman ini adalah halaman untuk login, laman yang masih pengembangan, laman untuk uji coba, dan lainnya. Laman ini tentu saja penting untuk website, namun tentu saja Anda tidak mau ada orang yang mengakses halaman ini.
Jika tidak menggunakan robots.txt, maka bisa saja laman ini juga ikut terindeks dan akan muncul di mesin pencari. Namun jika menggunakan robots.txt, maka Anda bisa menyembunyikan halaman-halaman ini agar tidak muncul pada mesin pencari.
2. Mengoptimalkan Crawler Budget
Berkaitan dengan poin sebelumnya bahwa bot mesin pencari memiliki limit dalam setiap prosesnya. Hal inilah yang biasa dikenal dengan crawl budget. Hal ini juga yang sering menjadi masalah dalam proses crawling.
Jika tidak ada batasan, maka bot crawling akan mengindeks semua konten yang ada. Jika limit sudah tercapai sebelum semua konten terindeks, maka konten sisanya tentu saja tidak akan terindeks.
Untuk menghindari masalah tersebut, maka robots.txt menawarkan solusi dengan memberi batasan halaman mana saja yang perlu dan tidak perlu untuk diindeks. Di lain sisi, hal ini juga sekaligus bisa mempercepat proses crawling itu sendiri.
3. Mencegah Proses Indeks pada Sumber Lain
Hal ini biasanya berlaku jika halaman web Anda memiliki banyak konten, seperti gambar, audio, file dengan berbagai format, dan lainnya. Penggunaan robots.txt bisa Anda atur apakah harus mengindeks konten tersebut atau tidak.
Kedua perintah tersebut tentu saja akan berkaitan dengan optimasi website yang akan Anda lakukan nantinya. Selain itu, cara ini juga berguna untuk membatasi mesin bot untuk merayap ke halaman yang tidak diperlukan.
4. Meringankan Beban Server
Semakin sedikit halaman yang diindeks tentu saja akan semakin meringankan beban yang dimiliki server. Dalam hal ini, bisa saja prosesnya juga menjadi lebih cepat sehingga konten Anda juga semakin cepat muncul di mesin pencari.
Cara Setting Robots.txt
Setelah memahami apa fungsi dan kegunaan dari file robots.txt, mungkin Anda juga akan bertanya bagaimana cara setting dari file ini. Berikut adalah langkah yang bisa Anda lakukan untuk melakukan setting robots.txt.
1. Upload Manual
Cara pertama yang bisa Anda lakukan adalah dengan mengupload file tersebut secara manual. Anda bisa melakukannya dengan menggunakan FTP dari CPanel. Berikut adalah langkah yang akan Anda perlukan.
- Langkah pertama adalah buat file robots.txt
- Selanjutnya, upload file tersebut ke server hosting. Anda bisa melakukannya dengan menggunakan FTP dari CPanel ataupun melalui admin hosting. Untuk melihat apakah file tersebut sudah bisa atau belum, Anda bisa mencobanya dengan mengunjungi namadomainAnda/robots.txt
- Untuk mempermudah prosesnya, jangan lupa untuk memasukan sitemap pada robots.txt ke Google Search Console.
2. Plugin Yoast SEO
Cara lainnya yang juga bisa Anda lakukan adalah menggunakan plugin Yoast SEO. Cara ini dinilai lebih cepat dan praktis ketika menggunakannya. Berikut adalah cara yang bisa Anda lakukan.
- Pertama, install plugin Yoast SEO.
- Setelah itu, masuk ke menu SEO Tools lalu masuk ke menu File Editor.
- Pada menu File Editor, Anda bisa membuat file robots.txt. Selanjutnya, Anda bisa mengaturnya sesuai dengan kebutuhan.
Saya sudah menjelaskan lebih detail terkait cara setting robots.txt di artikel lain yang bisa Anda praktikkan.
Optimalkan Proses Crawling dengan Robots.txt!
Penggunaan robots.txt adalah salah satu cara untuk melakukan optimasi website menjadi lebih cepat. Dengan menggunakan cara ini, maka mesin bot akan lebih mudah untuk melihat konten mana saja yang perlu diindeks dan mana yang tidak.
Selain membuat prosesnya menjadi lebih cepat, cara ini juga bisa mengoptimalkan penggunaan crawling budget yang tentu saja akan sangat berpengaruh dengan hasil indeks nantinya. Hal ini juga akan berpengaruh dengan konten mana saja yang nantinya akan muncul pada mesin pencari.
I’m an experienced SEO Specialist who can grow a website through organic channel. I’m also passionate about digital marketing and web development