Robots.txt adalah pintu masuk bagi web crawler (perayap web) untuk dapat merayapi suatu situs web. Jika suatu situs web memiliki penulisan dan pengelolaan robots.txt yang jelek, maka perayap web akan kesulitan untuk merayapi situs web tersebut. Lalu, tahukah Anda cara setting robots.txt dengan penulisan yang baik dan benar?
Pada ulasan kali ini, kami akan membahas tuntas bagaimana cara menulis robots.txt dengan baik.
Baca Juga: Apa itu Robots.txt dan Bagaimana Cara Menggunakannya?
Cara Setting Robots txt dengan Penulisan yang Baik dan Benar
Ada berbagai versi penulisan robot txt yang dapat Anda temukan di internet. Tidak sedikit situs web yang lebih memilih menggunakan robots.txt dengan format sangat sederhana, seperti dalam contoh di bawah ini.
User-agent: *
Disallow:
Sitemap: http://www.contoh.com/post-sitemap.xml
Sitemap: http://www.contoh.com/page-sitemap.xmlFile robot di atas memungkinkan semua bot untuk dapat merayapi dan mengindeks semua konten di situs web tersebut sekaligus memberikan tautan ke sitemap xml situs web.
Namun, dalam kasus ini, kami lebih menyarankan Anda untuk membuat robots.txt situs web Anda secara otomatis menggunakan plugin Yoast SEO (khusus CMS WordPress). Ikuti panduannya di bawah ini:
1. Pasang plugin Yoast SEO di situs web Anda dan aktifkan.
2. Selanjutnya, buka menu SEO dan pilih opsi “Tools“.
3. Kemudian, klik pada bagian “File Editor”.
4. Setelahnya, Anda akan beralih ke halaman Yoast yang menampilkan file robots.txt.
5. Jika Anda belum pernah membuat robots.txt sebelumnya di situs web Anda, Anda dapat menggulirkan layar ke bagian bawah dan klik “create robots.txt file“.
6. Yoast SEO akan segera membuat file robots.txt Anda secara otomatis.
Baca Juga: Apa Maksud dari Diindeks Meskipun Diblokir oleh Robots.txt?
4 Kesalahan Dalam Penulisan Robots.txt Paling Umum
Selain memahami tentang cara setting robots.txt dengan penulisan yang baik dan benar, Anda juga sebaiknya memahami tentang beberapa kesalahan yang sering blogger atau webmaster lakukan dalam penulisan robots.txt. Perhatikan penjelasannya berikut ini!
1. Blank Lines
Salah satu kesalahan dalam penulisan robots.txt adalah penggunaan baris kosong atau blank lines dalam records/text file. Perlu Anda ketahui bahwa penggunaan blank lines pada records dapat bot atau web crawler interpretasikan secara berbeda.
Kondisi tersebut dapat menyebabkan masalah masalah perayapan. Untuk itu, Anda sebaiknya menghindari praktik ini dalam penulisan robots.txt.
2. Incomplete Set of Records
Incomplete Set of Records adalah jenis kesalahan penulisan robots.txt ketika records atau text file dalam robots.txt tidak lengkap. Kondisi ini membuat perayap web atau bot mengabaikan records ini (perintah yang terkandung di dalamnya).
Dalam records sendiri, setiap barus harus memiliki user-agent dan setidaknya memiliki 1 baris Disallow atau Allow.
3. Penggunaan Comment Tag
Beberapa pengembang situs web atau blogger menggunakan comments tag dalam pengembangan situs web mereka. Comment tag merujuk pada tag yang memungkinkan pengguna untuk memasukkan komentar ke dalam source code.
Komentar ini berguna untuk menjelaskan baris kode tertentu sehingga pengembang akan lebih mudah dapat pengeditan source code ke depannya. Biasanya, praktik ini banyak terjadi di situs web yang memiliki coding kompleks.
Dalam penulisan robots.txt, penggunaan comment tag seperti ini sangat kami tidak anjurkan. Alasannya karena beberapa bot kemungkinan tidak dapat memahami komentar tersebut dan dapat salah mengartikannya. Akibatnya, bisa saja muncul masalah aksesibilitas bagi bot terkait untuk mengunjungi situs web Anda.
4. Menggunakan Relative Sitemap Directive URL
Kesalahan dalam penulisan robots.txt lain yang sering terjadi adalah penggunaan Relative Sitemap Directive URL dalam robots.txt. Pada dasarnya, sitemap adalah file yang berisi daftar URL yang Anda ingin tampilkan di mesin pencari.
Jika Anda memasukkan sitemap ke file robots.txt, Anda harus menggunakan URL lengkap dari sitemap, bukan path alternatif.
Untuk lebih jelasnya, berikut contoh penulisan robots.txt yang baik dan benar untuk kasus ini.
Versi Salah
- Sitemap: /sitemap.xml
Versi Benar
- Sitemap: https://wwwcontoh.com/sitemap.xml
Sudah Lebih Tahu Cara Setting Robots.txt Dengan Penulisan yang Baik dan Benar?
Cara setting robots.txt dengan penulisan yang baik dan benar adalah salah satu pengetahuan penting terkait dengan pengelolaan situs web. Pasalnya, robots.txt ibarat pintu masuk bagi web crawler untuk dapat merayapi halaman situs web Anda.
Jika pintu masuk ini tidak berfungsi dengan baik, (dengan kata lain, penulisan robots.txt nya buruk), maka kondisi tersebut membuat perayap web kesulitan mengakses situs web Anda.Untuk contoh penulisan robots.txt yang baik dan benar, Anda dapat mempelajari contoh yang kami berikan pada ulasan di atas. Lakukan langkah-langkah secara berurutan dan teliti!
I’m an experienced SEO Specialist who can grow a website through organic channel. I’m also passionate about digital marketing and web development