Your browser does not support JavaScript!

Gaswad.Com

— Apapun Informasinya Yang Penting Berguna
    Follow :

Cara Memasang Robots.txt Di Website
Feb 25th, 2015

Cara Memasang Robots.txt Di Website

Category : Others | Posted by G-admin at at February 25th, 2015 17:19 pm
854 | 2

Yups! Di jamin pasti banyak yang bingung dengan file robot ini, bagi yang masih awam pasti beranggapan kalau file robot ini ialah file yang berasal dari dalam robot, tapi robot yang mana??

Lanjuuutt…! File robot merupakan file yang tidak berasal dari mana-mana, bukan dari robot atau sebagainya, tapi berasal dari klik kanan mouse di halaman folder direktori, pilih ‘New > Text Document‘, lalu silahkan beri nama ‘robots.txt‘, sampai sini selamat, kalian sudah berhasil membuat robot.

File robot atau di kenal sebagai robots exclusion protocol atau robots.txt protocol merupakan sebuah file yang umumnya di gunakan oleh beberapa website, file ini yang nantinya akan berfungsi sebagai peng-index mesin pencari seperti Om’ Google. File robots.txt ini nantinya akan berkomunikasi dengan beberapa web crawler seperti Google, Yahoo, Bing, dll.

Ada banyak manfaat penggunaan file robot ini, salah satunya dapat meningkatkan sistem kemanan di website kalian sekaligus dapat meningkatkan SEO website itu sendiri.

Untuk pembuatan file robot ini sangat mudah, kalian bisa menggunakan robots generator via webbase atau cara manual. Pada artikel ini akan di jelaskan menggunakan cara manual, adapun langkah-langkahnya silahkan perhatikan penjelasan berikut.

Buat file dengan nama ‘robots.txt‘ lalu upload ke folder root website kalian, sedangkan untuk perintahnya pada file robot ini hanya mengenal 2 baris perintah, yaitu :

  • User-agent, menentukan robot mana yang di ijinkan untuk melakukan index.
  • Disallow, menentukan halaman atau file mana yang di ijinkan untuk robot (User-agent) melakukan index ke dalam website.

Beberapa contoh penggunaannya sebagai berikut :

User-agent: *
Disallow:
– penggunaan ‘ * ‘ pada User-agent berarti semua robot di ijinkan untuk meng-index ke semua halaman.

User-agent: *
Disallow: /
– penggunaan ‘ / ‘ pada Disallow berarti semua robot tidak di ijinkan melakukan index ke semua halaman.

Untuk lebih spesifiknya kalian bisa menggunakan format sebagai berikut :

User-agent: *
Disallow: /temp/
– semua robot tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /temp/
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /file.html
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke file /file.html yang ada di dalam folder root website.

* Untuk folder /temp dan file /file.html di atas hanya contoh, silahkan sesuaikan dengan kebutuhan kalian.

Daftar robot (User-agent) yang bisa kalian masukan ke dalam file robots.txt dapat merujuk ke botsvsbrowsers.com.

Sebagai referensi, URL berikut merupakan file robot yang di gunakan oleh Wikipedia.

Sekian sedikit penjelasan mengenai file robots.txt semoga dapat lebih membantu kalian dalam mengembangkan website kalian, silahkan komentar di bawah untuk kritik, saran dan masukan mengenai artikel ini. Salam…

Share social media :



Your response about this article :


2 responses to “Cara Memasang Robots.txt Di Website”

  1. rm says:

    bantu ane naikin visitor dong gan
    web ku http://www.starlagu.live

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Related Articles

Perbedaan Localhost Dan Web Hosting
Perbedaan Localhost Dan Web Hosting
Category : Others | September 17th, 2018
89 | 0
Tutorial : Cara Install Composer
Tutorial : Cara Install Composer
Category : Others | June 5th, 2018
282 | 0
Yang Baru Di Bootstrap 4
Yang Baru Di Bootstrap 4
Category : Others | October 31st, 2017
629 | 0
Pengertian Page View, Visitor Dan Bounce Rate
Pengertian Page View, Visitor Dan Bounce Rate
Category : Others | October 9th, 2017
641 | 0
​Apa Itu Web Framework?
​Apa Itu Web Framework?
Category : Others | September 29th, 2017
1049 | 2
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
Category : Others | November 26th, 2014
6799 | 0
Email Terblokir Oleh Google?? Ini Solusinya
Email Terblokir Oleh Google?? Ini Solusinya
Category : Others | September 18th, 2014
525 | 0
Share : Cara Aktifkan DKIM & SPF Di WHM
Share : Cara Aktifkan DKIM & SPF Di WHM
Category : Others | August 11th, 2014
484 | 0
Reset Password Admin CMS MODX-Revolution
Reset Password Admin CMS MODX-Revolution
Category : Others | April 7th, 2014
345 | 0
Latest Posts

Tutorial : Cara Install Composer
Tutorial : Cara Install Composer
Category : Others | June 5th, 2018
282 | 0

Apa Itu Composer? Composer adalah suatu aplikasi manajemen paket selain Node.js (npm) dan Ruby (bundler) yang menyediakan format standar untuk mengelola dependensi PHP dan library-library yang diperlukan. Sumber : Wikipedia Jadi secara garis besar, d...

Continue reading
Error Reported Attack Page! Waw… Domain Di Blacklist Google??
Error Reported Attack Page! Waw… Domain Di Blacklist Google??
Category : Tips & Tricks | November 13th, 2017
580 | 0

Seperti yang kalian lihat pada contoh tampilan gambar di atas, tampilan tersebut merupakan tampilan bahwa domain kalian di blacklist atau di blokir oleh Google, alhasil tentunya website kalian tidak akan bisa di akses. Ada yang pernah ngalamin?? Bebe...

Continue reading
Cara Menambah Ads Unit Atau Blok Iklan Adsense
Cara Menambah Ads Unit Atau Blok Iklan Adsense
Category : Tutorials | November 13th, 2017
1102 | 4

Halo para pembaca Gaswad yang ganteng dan yang cantik-cantik, yang jelek jangan kesinggung ya. Hehe… 😀 Ssetelah sekian lama ngga update akhirnya dapet kesempatan nyolong-nyolong waktu buat nge-update artikel Gaswad. Pada pembahasan artikel k...

Continue reading
Yang Baru Di Bootstrap 4
Yang Baru Di Bootstrap 4
Category : Others | October 31st, 2017
629 | 0

Tidak terasa baru saja beberapa waktu lalu penulis menulis artikel tentang Bagaimana Cara Membuat Web Responsif Dengan Boostrap yang masih menggunakan versi 3, ehh… udah nongol aja ini adeknya yang versi 4. Yaaa’, sebenarnya sih’ ud...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
Category : Wordpress | October 24th, 2017
722 | 2

Artikel ini merupakan artikel terakhir tentang bagaimana cara membuat template WordPress, bagi kalian yang sudah tertinggal atau melewatkan artikel-artikel sebelumnya, maka silahkan kalian merujuk ke link berikut : Intro & Registering Template ...

Continue reading
Panduan SEO ala Google
Panduan SEO ala Google
Category : Tips & Tricks | October 24th, 2017
537 | 0

Kali ini penulis ingin memberikan beberapa tips dan panduan untuk meningkatkan SEO website kalian, beberapa panduan dan tips berikut secara kebetulan merupakan salah satu yang  di referensikan oleh Google agar website kalian dapat dengan mudah di cr...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 4
Tutorial : Cara Membuat Template WordPress – Part 4
Category : Wordpress | October 20th, 2017
786 | 0

Pada sesi ini kita akan membuat Menu Navigasi dan Sidebar pada halaman template yang sudah kita buat sebelumnya, sesi ini merupakan sambungan dari artikel-artikel berikut : Intro & Registering Template – Part 1 Frontpage, Header & Footer ...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 3
Tutorial : Cara Membuat Template WordPress – Part 3
Category : Wordpress | October 20th, 2017
619 | 0

Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambung artikel sebelumnya. Pada sesi sebelumnya kita sudah berhasil membuat halaman Frontpage, Header dan Footer website, pada artikel kali ini kita akan coba m...

Continue reading
Cara Mendapatkan Uang Dengan Google Adsense
Cara Mendapatkan Uang Dengan Google Adsense
Category : Tutorials | October 16th, 2017
1156 | 2

Setelah beberapa waktu lalu di kantor penulis sempat heboh-hebohnya di karenakan fitur dari Google yang bernama Adsense ini, bagaimana tidak karena rekan-rekan penulis yang tadinya cuma browsing-browsing doang, youtube-an, download film, tidur, kesur...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 2
Tutorial : Cara Membuat Template WordPress – Part 2
Category : Wordpress | October 13th, 2017
697 | 0

Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membahas bagaimana cara mendaftarkan template kita agar terbaca oleh aplikasi WordPress tepatnya di halaman Themes. Jadi bagi kalian yang belum membaca artikel t...

Continue reading
Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
Cara Mendaftarkan Dan Melakukan Verifikasi Domain Di Google Search Console
Category : Tutorials | October 12th, 2017
1341 | 2

Pada pertemuan kali ini (udah kayak anak kuliahan ajah), penulis ingin berbagi pengetahuan tentang bagaimana cara medaftarkan dan melakukan verifikasi domain kalian di Google Search Console. Bagi kalian yang masih bingung dan tidak tahu bagaimana car...

Continue reading
11 Cara Meningkatkan Keamanan Pada WordPress
11 Cara Meningkatkan Keamanan Pada WordPress
Category : Wordpress | October 10th, 2017
749 | 0

Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website WordPress, yang kebetulan penulis dapat dari hasil searching-searching di Om’ Google. Seperti yang kalian ketahui saat ini WordPress merupakan salah satu...

Continue reading

Wordpress

  • Oct
    24
    2017
    Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
    Artikel ini merupakan artikel terakhir tentang bagaimana cara membuat template WordPress, bagi ...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 4
    Pada sesi ini kita akan membuat Menu Navigasi dan Sidebar pada halaman template yang sudah kita...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 3
    Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambun...
    Read more
  • Oct
    13
    2017
    Tutorial : Cara Membuat Template WordPress – Part 2
    Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membah...
    Read more
  • Oct
    10
    2017
    11 Cara Meningkatkan Keamanan Pada WordPress
    Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website Word...
    Read more
  • More articles
Tips & Tricks

  • Oct
    18
    2018
    Syntax error or access violation: 1071 Specified key was too long
    Bagi kalian pengguna Framework Laravel, terutama Laravel mulai dari versi 5.4 keatas pasti pern...
    Read more
  • Aug
    14
    2018
    Iklan Adsense Di Website Kamu Ter-klik Sendiri? Nih! Tips-nya
    Hallo guys, akhirnya kita berjumpa lagi setelah sekian lama kita berpisah… Hallah… ...
    Read more
  • Nov
    13
    2017
    Error Reported Attack Page! Waw… Domain Di Blacklist Google??
    Seperti yang kalian lihat pada contoh tampilan gambar di atas, tampilan tersebut merupakan tamp...
    Read more
  • Oct
    24
    2017
    Panduan SEO ala Google
    Kali ini penulis ingin memberikan beberapa tips dan panduan untuk meningkatkan SEO website kali...
    Read more
  • Sep
    15
    2017
    Cara Mudah Download Video Youtube
    Bagi kita-kita yang suka menonton video dari Youtube pasti sering tiba-tiba terbesit seperti in...
    Read more
  • More articles
Tutorials

  • Oct
    18
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 4 (Model & Konfigurasi Database)
    Halo para pembaca Gaswad, menyambung artikel tutorial Belajar Menggunakan Laravel sebelumnya, k...
    Read more
  • Oct
    09
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 3 (View & Blade Template)
    Di artikel sebelumnya, kita sudah berhasil menampilkan output langsung dari halaman Controller ...
    Read more
  • Oct
    09
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 2 (Routing & Controller)
    Pada artikel kali ini, kita akan belajar menggunakan Routing dan Controller dimana Routing dan ...
    Read more
  • Oct
    09
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 1 (Instalasi Laravel)
    Halo para pembaca Gaswad yang setia menunggu artikel baru dari penulis (pede), setelah sekian ...
    Read more
  • Sep
    04
    2018
    Membuat Efek Gradasi Warna Menggunakan CSS
    Pada tutorial kali ini kita akan mencoba membuat gradasi warna, apa itu gradasi warna bisa kali...
    Read more
  • More articles
Others

  • Sep
    17
    2018
    Perbedaan Localhost Dan Web Hosting
    Halo ghaes… Bagi beberapa dari kalian pasti masih belum ada yang begitu paham bagaimana s...
    Read more
  • Jun
    05
    2018
    Tutorial : Cara Install Composer
    Apa Itu Composer? Composer adalah suatu aplikasi manajemen paket selain Node.js (npm) dan Ruby ...
    Read more
  • Oct
    31
    2017
    Yang Baru Di Bootstrap 4
    Tidak terasa baru saja beberapa waktu lalu penulis menulis artikel tentang Bagaimana Cara Membu...
    Read more
  • Oct
    09
    2017
    Pengertian Page View, Visitor Dan Bounce Rate
    Sebenarnya pada artikel kali ini penulis ingin membuat tutorial bagaimana cara membuat template...
    Read more
  • Sep
    29
    2017
    ​Apa Itu Web Framework?
    Beberapa dari kalian apalagi yang masih pemula dalam bidang pemrograman website pasti masih awa...
    Read more
  • More articles
Page generated in : 896.45 ms