Your browser does not support JavaScript!

Gaswad.Com

— Apapun Informasinya Yang Penting Berguna
    Follow :

Cara Memasang Robots.txt Di Website
Feb 25th, 2015

Cara Memasang Robots.txt Di Website

Category : Others | Posted by G-admin at at February 25th, 2015 17:19 pm
473 | 0

Yups! Di jamin pasti banyak yang bingung dengan file robot ini, bagi yang masih awam pasti beranggapan kalau file robot ini ialah file yang berasal dari dalam robot, tapi robot yang mana??

Lanjuuutt…! File robot merupakan file yang tidak berasal dari mana-mana, bukan dari robot atau sebagainya, tapi berasal dari klik kanan mouse di halaman folder direktori, pilih ‘New > Text Document‘, lalu silahkan beri nama ‘robots.txt‘, sampai sini selamat, kalian sudah berhasil membuat robot.

File robot atau di kenal sebagai robots exclusion protocol atau robots.txt protocol merupakan sebuah file yang umumnya di gunakan oleh beberapa website, file ini yang nantinya akan berfungsi sebagai peng-index mesin pencari seperti Om’ Google. File robots.txt ini nantinya akan berkomunikasi dengan beberapa web crawler seperti Google, Yahoo, Bing, dll.

Ada banyak manfaat penggunaan file robot ini, salah satunya dapat meningkatkan sistem kemanan di website kalian sekaligus dapat meningkatkan SEO website itu sendiri.

Untuk pembuatan file robot ini sangat mudah, kalian bisa menggunakan robots generator via webbase atau cara manual. Pada artikel ini akan di jelaskan menggunakan cara manual, adapun langkah-langkahnya silahkan perhatikan penjelasan berikut.

Buat file dengan nama ‘robots.txt‘ lalu upload ke folder root website kalian, sedangkan untuk perintahnya pada file robot ini hanya mengenal 2 baris perintah, yaitu :

  • User-agent, menentukan robot mana yang di ijinkan untuk melakukan index.
  • Disallow, menentukan halaman atau file mana yang di ijinkan untuk robot (User-agent) melakukan index ke dalam website.

Beberapa contoh penggunaannya sebagai berikut :

User-agent: *
Disallow:
– penggunaan ‘ * ‘ pada User-agent berarti semua robot di ijinkan untuk meng-index ke semua halaman.

User-agent: *
Disallow: /
– penggunaan ‘ / ‘ pada Disallow berarti semua robot tidak di ijinkan melakukan index ke semua halaman.

Untuk lebih spesifiknya kalian bisa menggunakan format sebagai berikut :

User-agent: *
Disallow: /temp/
– semua robot tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /temp/
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /file.html
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke file /file.html yang ada di dalam folder root website.

* Untuk folder /temp dan file /file.html di atas hanya contoh, silahkan sesuaikan dengan kebutuhan kalian.

Daftar robot (User-agent) yang bisa kalian masukan ke dalam file robots.txt dapat merujuk ke botsvsbrowsers.com.

Sebagai referensi, URL berikut merupakan file robot yang di gunakan oleh Wikipedia.

Sekian sedikit penjelasan mengenai file robots.txt semoga dapat lebih membantu kalian dalam mengembangkan website kalian, silahkan komentar di bawah untuk kritik, saran dan masukan mengenai artikel ini. Salam…

Share :


Leave a Reply

Your email address will not be published. Required fields are marked *

Related Articles

Yang Baru Di Bootstrap 4
Yang Baru Di Bootstrap 4
Category : Others | October 31st, 2017
320 | 0
Pengertian Page View, Visitor Dan Bounce Rate
Pengertian Page View, Visitor Dan Bounce Rate
Category : Others | October 9th, 2017
385 | 0
​Apa Itu Web Framework?
​Apa Itu Web Framework?
Category : Others | September 29th, 2017
675 | 0
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
Category : Others | November 26th, 2014
3645 | 0
Email Terblokir Oleh Google?? Ini Solusinya
Email Terblokir Oleh Google?? Ini Solusinya
Category : Others | September 18th, 2014
285 | 0
Share : Cara Aktifkan DKIM & SPF Di WHM
Share : Cara Aktifkan DKIM & SPF Di WHM
Category : Others | August 11th, 2014
288 | 0
Reset Password Admin CMS MODX-Revolution
Reset Password Admin CMS MODX-Revolution
Category : Others | April 7th, 2014
191 | 0
Ubah Nama Tabel Dan Database Di PhpMyAdmin
Ubah Nama Tabel Dan Database Di PhpMyAdmin
Category : Others | April 7th, 2014
983 | 0
MyISAM Dan InnoDB
MyISAM Dan InnoDB
Category : Others | April 7th, 2014
249 | 0
Latest Posts

Tutorial : Cara Membuat Template WordPress – Part 2
Tutorial : Cara Membuat Template WordPress – Part 2
Category : Wordpress | October 13th, 2017
388 | 0

Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membahas bagaimana cara mendaftarkan template kita agar terbaca oleh aplikasi WordPress tepatnya di halaman Themes. Jadi bagi kalian yang belum membaca artikel t...

Continue reading
Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
Category : Tutorials | October 12th, 2017
707 | 2

Pada pertemuan kali ini (udah kayak anak kuliahan ajah), penulis ingin berbagi pengetahuan tentang bagaimana cara medaftarkan dan melakukan verifikasi domain kalian di Google Search Console. Bagi kalian yang masih bingung dan tidak tahu bagaimana car...

Continue reading
11 Cara Meningkatkan Keamanan Pada WordPress
11 Cara Meningkatkan Keamanan Pada WordPress
Category : Wordpress | October 10th, 2017
479 | 0

Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website WordPress, yang kebetulan penulis dapat dari hasil searching-searching di Om’ Google. Seperti yang kalian ketahui saat ini WordPress merupakan salah satu...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 1
Tutorial : Cara Membuat Template WordPress – Part 1
Category : Wordpress | October 9th, 2017
582 | 0

Halo para pembaca Gaswad, pada artikel ini penulis ingin membahas tentang bagaimana cara membuat template WordPress. Kenapa penulis membuat artikel ini tidak lain karena ingin berbagi pengetahuan kepada kalian khususnya para pengguna CMS WordPress se...

Continue reading
Pengertian Page View, Visitor Dan Bounce Rate
Pengertian Page View, Visitor Dan Bounce Rate
Category : Others | October 9th, 2017
385 | 0

Sebenarnya pada artikel kali ini penulis ingin membuat tutorial bagaimana cara membuat template WordPress, menimbang WordPress merupakan salah satu CMS yang paling banyak di gunakan saat ini. Tapi berhubung tutorialnya agak panjang dan belum rampung ...

Continue reading
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 2 (Complete)
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 2 (Complete)
Category : Tutorials | October 5th, 2017
951 | 0

Hallo… para pembaca Gaswad yang baik dan budiman, yang ganteng dan yang cantik, yang jelek halo juga deh… Setelah beribu-ribu menit dan detik berlalu, jam demi jam telah kita lewati, dari pagi hari sampai sore hari, akhirnya… sampai...

Continue reading
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 1
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 1
Category : Tutorials | September 30th, 2017
1196 | 0

Bootstrap merupakan salah satu CSS Framework yang paling banyak di gunakan oleh para pengembang web saat ini, bagi kalian yang masih belum tau dan mengerti apa yang di maksud dengan Web Framework, maka silahkan kalian merujuk ke link berikut : Apa It...

Continue reading
Cara Mengetahui Kecepatan Page Load Website
Cara Mengetahui Kecepatan Page Load Website
Category : Programmings | September 29th, 2017
469 | 0

Pada artikel kali ini penulis ingin memberikan trick bagaimana cara mengetahui kecepatan Page-Load website kalian, mungkin beberapa dari kalian masih belum tahu seberapa cepat kecepatan website yang kalian miliki pada saat website tersebut di akses a...

Continue reading
​Apa Itu Web Framework?
​Apa Itu Web Framework?
Category : Others | September 29th, 2017
675 | 0

Beberapa dari kalian apalagi yang masih pemula dalam bidang pemrograman website pasti masih awam betul dengan yang namanya Framework. Framework menurut Wikipedia merupakan sebuah aplikasi yang di desain untuk mendukung pengembangan dalam membangun se...

Continue reading
Tutorial : Cara Membuat Web Statis Sederhana Dengan HTML
Tutorial : Cara Membuat Web Statis Sederhana Dengan HTML
Category : Tutorials | September 28th, 2017
6336 | 2

Kali ini kita akan membuat website statis sederhana, kenapa statis? Karena ketika selesai dalam pembuatannya maka konten website yang sudah kita masukan tidak bisa di ubah lagi alias fixed. Loh’, kalo gitu ngga bisa update isi website donk?? Ka...

Continue reading
Tutorial : Menggunakan Font-Awesome Pada Website
Tutorial : Menggunakan Font-Awesome Pada Website
Category : Tutorials | September 26th, 2017
450 | 0

Berikut cara instalasi salah satu simbol ligature yang paling banyak di gunakan oleh para pengembang website, yaitu Font-Awesome. Bagi kalian yang masih belum mengenal apa itu simbol ligature bisa merujuk ke link berikut untuk menambah wawasan dan re...

Continue reading
Tutorial : Instalasi WordPress
Tutorial : Instalasi WordPress
Category : Wordpress | September 20th, 2017
471 | 0

Untuk kalian yang ingin belajar bagaimana cara instlasai CMS WordPress kali ini penulis sengaja membuat artikel ini agar kalian mendapatkan referensi tambahan sebelum menggunakan CMS WordPress. Untuk instalasi CMS WordPress sama sekali tidak susah, m...

Continue reading

Wordpress

  • Oct
    24
    2017
    Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
    Artikel ini merupakan artikel terakhir tentang bagaimana cara membuat template WordPress, bagi ...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 4
    Pada sesi ini kita akan membuat Menu Navigasi dan Sidebar pada halaman template yang sudah kita...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 3
    Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambun...
    Read more
  • Oct
    13
    2017
    Tutorial : Cara Membuat Template WordPress – Part 2
    Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membah...
    Read more
  • Oct
    10
    2017
    11 Cara Meningkatkan Keamanan Pada WordPress
    Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website Word...
    Read more
  • More articles
Tips & Tricks

  • Nov
    13
    2017
    Error Reported Attack Page! Waw… Domain Di Blacklist Google??
    Seperti yang kalian lihat pada contoh tampilan gambar di atas, tampilan tersebut merupakan tamp...
    Read more
  • Oct
    24
    2017
    Panduan SEO ala Google
    Kali ini penulis ingin memberikan beberapa tips dan panduan untuk meningkatkan SEO website kali...
    Read more
  • Sep
    15
    2017
    Cara Mudah Download Video Youtube
    Bagi kita-kita yang suka menonton video dari Youtube pasti sering tiba-tiba terbesit seperti in...
    Read more
  • Oct
    29
    2015
    5 Cara Mempercepat Loading Website
    Berbagai macam cara dan usaha yang kita lakukan untuk membuat website kita menjadi benar-benar ...
    Read more
  • Feb
    03
    2015
    Nih! 3 Cara Redirek Domain Yang Baik Dan Benar
    Redirek domain secara definisi berarti mengarahkan domain satu ke domain yang lain. Emang bisa?...
    Read more
  • More articles
Tutorials

  • Nov
    13
    2017
    Cara Menambah Ads Unit Atau Blok Iklan Adsense
    Halo para pembaca Gaswad yang ganteng dan yang cantik-cantik, yang jelek jangan kesinggung ya. ...
    Read more
  • Oct
    16
    2017
    Cara Mendapatkan Uang Dengan Google Adsense
    Setelah beberapa waktu lalu di kantor penulis sempat heboh-hebohnya di karenakan fitur dari Goo...
    Read more
  • Oct
    12
    2017
    Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
    Pada pertemuan kali ini (udah kayak anak kuliahan ajah), penulis ingin berbagi pengetahuan tent...
    Read more
  • Oct
    05
    2017
    Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 2 (Complete)
    Hallo… para pembaca Gaswad yang baik dan budiman, yang ganteng dan yang cantik, yang jele...
    Read more
  • Sep
    30
    2017
    Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 1
    Bootstrap merupakan salah satu CSS Framework yang paling banyak di gunakan oleh para pengembang...
    Read more
  • More articles
Others

  • Oct
    31
    2017
    Yang Baru Di Bootstrap 4
    Tidak terasa baru saja beberapa waktu lalu penulis menulis artikel tentang Bagaimana Cara Membu...
    Read more
  • Oct
    09
    2017
    Pengertian Page View, Visitor Dan Bounce Rate
    Sebenarnya pada artikel kali ini penulis ingin membuat tutorial bagaimana cara membuat template...
    Read more
  • Sep
    29
    2017
    ​Apa Itu Web Framework?
    Beberapa dari kalian apalagi yang masih pemula dalam bidang pemrograman website pasti masih awa...
    Read more
  • Feb
    25
    2015
    Cara Memasang Robots.txt Di Website
    Yups! Di jamin pasti banyak yang bingung dengan file robot ini, bagi yang masih awam pasti bera...
    Read more
  • Nov
    26
    2014
    DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
    Bagi kalian pengguna motor Kawasaki Ninja 150 SS/R/RR pasti pernah ngerasain yang namanya ̵...
    Read more
  • More articles
Page generated in : 593.97 ms