Your browser does not support JavaScript!

Gaswad.Com

— Apapun Informasinya Yang Penting Berguna
    Follow :

Cara Memasang Robots.txt Di Website
Feb 25th, 2015

Cara Memasang Robots.txt Di Website

Category : Others | Posted by G-admin at at February 25th, 2015 17:19 pm
691 | 0

Yups! Di jamin pasti banyak yang bingung dengan file robot ini, bagi yang masih awam pasti beranggapan kalau file robot ini ialah file yang berasal dari dalam robot, tapi robot yang mana??

Lanjuuutt…! File robot merupakan file yang tidak berasal dari mana-mana, bukan dari robot atau sebagainya, tapi berasal dari klik kanan mouse di halaman folder direktori, pilih ‘New > Text Document‘, lalu silahkan beri nama ‘robots.txt‘, sampai sini selamat, kalian sudah berhasil membuat robot.

File robot atau di kenal sebagai robots exclusion protocol atau robots.txt protocol merupakan sebuah file yang umumnya di gunakan oleh beberapa website, file ini yang nantinya akan berfungsi sebagai peng-index mesin pencari seperti Om’ Google. File robots.txt ini nantinya akan berkomunikasi dengan beberapa web crawler seperti Google, Yahoo, Bing, dll.

Ada banyak manfaat penggunaan file robot ini, salah satunya dapat meningkatkan sistem kemanan di website kalian sekaligus dapat meningkatkan SEO website itu sendiri.

Untuk pembuatan file robot ini sangat mudah, kalian bisa menggunakan robots generator via webbase atau cara manual. Pada artikel ini akan di jelaskan menggunakan cara manual, adapun langkah-langkahnya silahkan perhatikan penjelasan berikut.

Buat file dengan nama ‘robots.txt‘ lalu upload ke folder root website kalian, sedangkan untuk perintahnya pada file robot ini hanya mengenal 2 baris perintah, yaitu :

  • User-agent, menentukan robot mana yang di ijinkan untuk melakukan index.
  • Disallow, menentukan halaman atau file mana yang di ijinkan untuk robot (User-agent) melakukan index ke dalam website.

Beberapa contoh penggunaannya sebagai berikut :

User-agent: *
Disallow:
– penggunaan ‘ * ‘ pada User-agent berarti semua robot di ijinkan untuk meng-index ke semua halaman.

User-agent: *
Disallow: /
– penggunaan ‘ / ‘ pada Disallow berarti semua robot tidak di ijinkan melakukan index ke semua halaman.

Untuk lebih spesifiknya kalian bisa menggunakan format sebagai berikut :

User-agent: *
Disallow: /temp/
– semua robot tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /temp/
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /file.html
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke file /file.html yang ada di dalam folder root website.

* Untuk folder /temp dan file /file.html di atas hanya contoh, silahkan sesuaikan dengan kebutuhan kalian.

Daftar robot (User-agent) yang bisa kalian masukan ke dalam file robots.txt dapat merujuk ke botsvsbrowsers.com.

Sebagai referensi, URL berikut merupakan file robot yang di gunakan oleh Wikipedia.

Sekian sedikit penjelasan mengenai file robots.txt semoga dapat lebih membantu kalian dalam mengembangkan website kalian, silahkan komentar di bawah untuk kritik, saran dan masukan mengenai artikel ini. Salam…

Share social media :



Your response about this article :


Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Related Articles

Tutorial : Cara Install Composer
Tutorial : Cara Install Composer
Category : Others | June 5th, 2018
168 | 0
Yang Baru Di Bootstrap 4
Yang Baru Di Bootstrap 4
Category : Others | October 31st, 2017
508 | 0
Pengertian Page View, Visitor Dan Bounce Rate
Pengertian Page View, Visitor Dan Bounce Rate
Category : Others | October 9th, 2017
534 | 0
​Apa Itu Web Framework?
​Apa Itu Web Framework?
Category : Others | September 29th, 2017
886 | 0
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
Category : Others | November 26th, 2014
5970 | 0
Email Terblokir Oleh Google?? Ini Solusinya
Email Terblokir Oleh Google?? Ini Solusinya
Category : Others | September 18th, 2014
424 | 0
Share : Cara Aktifkan DKIM & SPF Di WHM
Share : Cara Aktifkan DKIM & SPF Di WHM
Category : Others | August 11th, 2014
383 | 0
Reset Password Admin CMS MODX-Revolution
Reset Password Admin CMS MODX-Revolution
Category : Others | April 7th, 2014
262 | 0
Ubah Nama Tabel Dan Database Di PhpMyAdmin
Ubah Nama Tabel Dan Database Di PhpMyAdmin
Category : Others | April 7th, 2014
1287 | 0
Latest Posts

Tutorial : Cara Membuat Template WordPress – Part 3
Tutorial : Cara Membuat Template WordPress – Part 3
Category : Wordpress | October 20th, 2017
501 | 0

Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambung artikel sebelumnya. Pada sesi sebelumnya kita sudah berhasil membuat halaman Frontpage, Header dan Footer website, pada artikel kali ini kita akan coba m...

Continue reading
Cara Mendapatkan Uang Dengan Google Adsense
Cara Mendapatkan Uang Dengan Google Adsense
Category : Tutorials | October 16th, 2017
965 | 2

Setelah beberapa waktu lalu di kantor penulis sempat heboh-hebohnya di karenakan fitur dari Google yang bernama Adsense ini, bagaimana tidak karena rekan-rekan penulis yang tadinya cuma browsing-browsing doang, youtube-an, download film, tidur, kesur...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 2
Tutorial : Cara Membuat Template WordPress – Part 2
Category : Wordpress | October 13th, 2017
570 | 0

Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membahas bagaimana cara mendaftarkan template kita agar terbaca oleh aplikasi WordPress tepatnya di halaman Themes. Jadi bagi kalian yang belum membaca artikel t...

Continue reading
Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
Category : Tutorials | October 12th, 2017
1032 | 2

Pada pertemuan kali ini (udah kayak anak kuliahan ajah), penulis ingin berbagi pengetahuan tentang bagaimana cara medaftarkan dan melakukan verifikasi domain kalian di Google Search Console. Bagi kalian yang masih bingung dan tidak tahu bagaimana car...

Continue reading
11 Cara Meningkatkan Keamanan Pada WordPress
11 Cara Meningkatkan Keamanan Pada WordPress
Category : Wordpress | October 10th, 2017
627 | 0

Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website WordPress, yang kebetulan penulis dapat dari hasil searching-searching di Om’ Google. Seperti yang kalian ketahui saat ini WordPress merupakan salah satu...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 1
Tutorial : Cara Membuat Template WordPress – Part 1
Category : Wordpress | October 9th, 2017
948 | 0

Halo para pembaca Gaswad, pada artikel ini penulis ingin membahas tentang bagaimana cara membuat template WordPress. Kenapa penulis membuat artikel ini tidak lain karena ingin berbagi pengetahuan kepada kalian khususnya para pengguna CMS WordPress se...

Continue reading
Pengertian Page View, Visitor Dan Bounce Rate
Pengertian Page View, Visitor Dan Bounce Rate
Category : Others | October 9th, 2017
534 | 0

Sebenarnya pada artikel kali ini penulis ingin membuat tutorial bagaimana cara membuat template WordPress, menimbang WordPress merupakan salah satu CMS yang paling banyak di gunakan saat ini. Tapi berhubung tutorialnya agak panjang dan belum rampung ...

Continue reading
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 2 (Complete)
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 2 (Complete)
Category : Tutorials | October 5th, 2017
1710 | 2

Hallo… para pembaca Gaswad yang baik dan budiman, yang ganteng dan yang cantik, yang jelek halo juga deh… Setelah beribu-ribu menit dan detik berlalu, jam demi jam telah kita lewati, dari pagi hari sampai sore hari, akhirnya… sampai...

Continue reading
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 1
Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 1
Category : Tutorials | September 30th, 2017
3311 | 4

Bootstrap merupakan salah satu CSS Framework yang paling banyak di gunakan oleh para pengembang web saat ini, bagi kalian yang masih belum tau dan mengerti apa yang di maksud dengan Web Framework, maka silahkan kalian merujuk ke link berikut : Apa It...

Continue reading
Cara Mengetahui Kecepatan Page Load Website
Cara Mengetahui Kecepatan Page Load Website
Category : Programmings | September 29th, 2017
677 | 0

Pada artikel kali ini penulis ingin memberikan trick bagaimana cara mengetahui kecepatan Page-Load website kalian, mungkin beberapa dari kalian masih belum tahu seberapa cepat kecepatan website yang kalian miliki pada saat website tersebut di akses a...

Continue reading
​Apa Itu Web Framework?
​Apa Itu Web Framework?
Category : Others | September 29th, 2017
886 | 0

Beberapa dari kalian apalagi yang masih pemula dalam bidang pemrograman website pasti masih awam betul dengan yang namanya Framework. Framework menurut Wikipedia merupakan sebuah aplikasi yang di desain untuk mendukung pengembangan dalam membangun se...

Continue reading
Tutorial : Cara Membuat Web Statis Sederhana Dengan HTML
Tutorial : Cara Membuat Web Statis Sederhana Dengan HTML
Category : Tutorials | September 28th, 2017
14409 | 12

Kali ini kita akan membuat website statis sederhana, kenapa statis? Karena ketika selesai dalam pembuatannya maka konten website yang sudah kita masukan tidak bisa di ubah lagi alias fixed. Loh’, kalo gitu ngga bisa update isi website donk?? Ka...

Continue reading

Wordpress

  • Oct
    24
    2017
    Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
    Artikel ini merupakan artikel terakhir tentang bagaimana cara membuat template WordPress, bagi ...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 4
    Pada sesi ini kita akan membuat Menu Navigasi dan Sidebar pada halaman template yang sudah kita...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 3
    Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambun...
    Read more
  • Oct
    13
    2017
    Tutorial : Cara Membuat Template WordPress – Part 2
    Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membah...
    Read more
  • Oct
    10
    2017
    11 Cara Meningkatkan Keamanan Pada WordPress
    Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website Word...
    Read more
  • More articles
Tips & Tricks

  • Aug
    14
    2018
    Iklan Adsense Di Website Kamu Ter-klik Sendiri? Nih! Tips-nya
    Hallo guys, akhirnya kita berjumpa lagi setelah sekian lama kita berpisah… Hallah… ...
    Read more
  • Nov
    13
    2017
    Error Reported Attack Page! Waw… Domain Di Blacklist Google??
    Seperti yang kalian lihat pada contoh tampilan gambar di atas, tampilan tersebut merupakan tamp...
    Read more
  • Oct
    24
    2017
    Panduan SEO ala Google
    Kali ini penulis ingin memberikan beberapa tips dan panduan untuk meningkatkan SEO website kali...
    Read more
  • Sep
    15
    2017
    Cara Mudah Download Video Youtube
    Bagi kita-kita yang suka menonton video dari Youtube pasti sering tiba-tiba terbesit seperti in...
    Read more
  • Oct
    29
    2015
    5 Cara Mempercepat Loading Website
    Berbagai macam cara dan usaha yang kita lakukan untuk membuat website kita menjadi benar-benar ...
    Read more
  • More articles
Tutorials

  • Nov
    13
    2017
    Cara Menambah Ads Unit Atau Blok Iklan Adsense
    Halo para pembaca Gaswad yang ganteng dan yang cantik-cantik, yang jelek jangan kesinggung ya. ...
    Read more
  • Oct
    16
    2017
    Cara Mendapatkan Uang Dengan Google Adsense
    Setelah beberapa waktu lalu di kantor penulis sempat heboh-hebohnya di karenakan fitur dari Goo...
    Read more
  • Oct
    12
    2017
    Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
    Pada pertemuan kali ini (udah kayak anak kuliahan ajah), penulis ingin berbagi pengetahuan tent...
    Read more
  • Oct
    05
    2017
    Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 2 (Complete)
    Hallo… para pembaca Gaswad yang baik dan budiman, yang ganteng dan yang cantik, yang jele...
    Read more
  • Sep
    30
    2017
    Tutorial : Cara Membuat Web Responsif (Mobile Version) Dengan Bootstrap – Part 1
    Bootstrap merupakan salah satu CSS Framework yang paling banyak di gunakan oleh para pengembang...
    Read more
  • More articles
Others

  • Jun
    05
    2018
    Tutorial : Cara Install Composer
    Apa Itu Composer? Composer adalah suatu aplikasi manajemen paket selain Node.js (npm) dan Ruby ...
    Read more
  • Oct
    31
    2017
    Yang Baru Di Bootstrap 4
    Tidak terasa baru saja beberapa waktu lalu penulis menulis artikel tentang Bagaimana Cara Membu...
    Read more
  • Oct
    09
    2017
    Pengertian Page View, Visitor Dan Bounce Rate
    Sebenarnya pada artikel kali ini penulis ingin membuat tutorial bagaimana cara membuat template...
    Read more
  • Sep
    29
    2017
    ​Apa Itu Web Framework?
    Beberapa dari kalian apalagi yang masih pemula dalam bidang pemrograman website pasti masih awa...
    Read more
  • Feb
    25
    2015
    Cara Memasang Robots.txt Di Website
    Yups! Di jamin pasti banyak yang bingung dengan file robot ini, bagi yang masih awam pasti bera...
    Read more
  • More articles
Page generated in : 1400.57 ms