Your browser does not support JavaScript!

Gaswad.Com

— Apapun Informasinya Yang Penting Berguna
    Follow :

Cara Memasang Robots.txt Di Website
Feb 25th, 2015

Cara Memasang Robots.txt Di Website

Category : Others | Posted by G-admin at at February 25th, 2015 17:19 pm
994 | 2

Yups! Di jamin pasti banyak yang bingung dengan file robot ini, bagi yang masih awam pasti beranggapan kalau file robot ini ialah file yang berasal dari dalam robot, tapi robot yang mana??

Lanjuuutt…! File robot merupakan file yang tidak berasal dari mana-mana, bukan dari robot atau sebagainya, tapi berasal dari klik kanan mouse di halaman folder direktori, pilih ‘New > Text Document‘, lalu silahkan beri nama ‘robots.txt‘, sampai sini selamat, kalian sudah berhasil membuat robot.

File robot atau di kenal sebagai robots exclusion protocol atau robots.txt protocol merupakan sebuah file yang umumnya di gunakan oleh beberapa website, file ini yang nantinya akan berfungsi sebagai peng-index mesin pencari seperti Om’ Google. File robots.txt ini nantinya akan berkomunikasi dengan beberapa web crawler seperti Google, Yahoo, Bing, dll.

Ada banyak manfaat penggunaan file robot ini, salah satunya dapat meningkatkan sistem kemanan di website kalian sekaligus dapat meningkatkan SEO website itu sendiri.

Untuk pembuatan file robot ini sangat mudah, kalian bisa menggunakan robots generator via webbase atau cara manual. Pada artikel ini akan di jelaskan menggunakan cara manual, adapun langkah-langkahnya silahkan perhatikan penjelasan berikut.

Buat file dengan nama ‘robots.txt‘ lalu upload ke folder root website kalian, sedangkan untuk perintahnya pada file robot ini hanya mengenal 2 baris perintah, yaitu :

  • User-agent, menentukan robot mana yang di ijinkan untuk melakukan index.
  • Disallow, menentukan halaman atau file mana yang di ijinkan untuk robot (User-agent) melakukan index ke dalam website.

Beberapa contoh penggunaannya sebagai berikut :

User-agent: *
Disallow:
– penggunaan ‘ * ‘ pada User-agent berarti semua robot di ijinkan untuk meng-index ke semua halaman.

User-agent: *
Disallow: /
– penggunaan ‘ / ‘ pada Disallow berarti semua robot tidak di ijinkan melakukan index ke semua halaman.

Untuk lebih spesifiknya kalian bisa menggunakan format sebagai berikut :

User-agent: *
Disallow: /temp/
– semua robot tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /temp/
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke folder /temp yang ada di dalam folder root website.

User-agent: BlowFish/1.0
Disallow: /file.html
– khusus untuk robot BlowFish tidak di ijinkan melakukan index ke file /file.html yang ada di dalam folder root website.

* Untuk folder /temp dan file /file.html di atas hanya contoh, silahkan sesuaikan dengan kebutuhan kalian.

Daftar robot (User-agent) yang bisa kalian masukan ke dalam file robots.txt dapat merujuk ke botsvsbrowsers.com.

Sebagai referensi, URL berikut merupakan file robot yang di gunakan oleh Wikipedia.

Sekian sedikit penjelasan mengenai file robots.txt semoga dapat lebih membantu kalian dalam mengembangkan website kalian, silahkan komentar di bawah untuk kritik, saran dan masukan mengenai artikel ini. Salam…

Share social media :



Your response about this article :


2 responses to “Cara Memasang Robots.txt Di Website”

  1. rm says:

    bantu ane naikin visitor dong gan
    web ku http://www.starlagu.live

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Related Articles

Perbedaan Localhost Dan Web Hosting
Perbedaan Localhost Dan Web Hosting
Category : Others | September 17th, 2018
162 | 0
Tutorial : Cara Install Composer
Tutorial : Cara Install Composer
Category : Others | June 5th, 2018
367 | 0
Yang Baru Di Bootstrap 4
Yang Baru Di Bootstrap 4
Category : Others | October 31st, 2017
711 | 0
Pengertian Page View, Visitor Dan Bounce Rate
Pengertian Page View, Visitor Dan Bounce Rate
Category : Others | October 9th, 2017
704 | 0
​Apa Itu Web Framework?
​Apa Itu Web Framework?
Category : Others | September 29th, 2017
1174 | 2
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
DIY – Lampu Indikator Super KIPS Kawasaki Ninja 150 SS/R/RR
Category : Others | November 26th, 2014
7301 | 0
Email Terblokir Oleh Google?? Ini Solusinya
Email Terblokir Oleh Google?? Ini Solusinya
Category : Others | September 18th, 2014
622 | 0
Share : Cara Aktifkan DKIM & SPF Di WHM
Share : Cara Aktifkan DKIM & SPF Di WHM
Category : Others | August 11th, 2014
537 | 0
Reset Password Admin CMS MODX-Revolution
Reset Password Admin CMS MODX-Revolution
Category : Others | April 7th, 2014
478 | 0
Latest Posts

Perbedaan Localhost Dan Web Hosting
Perbedaan Localhost Dan Web Hosting
Category : Others | September 17th, 2018
162 | 0

Halo ghaes… Bagi beberapa dari kalian pasti masih belum ada yang begitu paham bagaimana suatu website bisa menampilkan konten-konten atau artikel seketika kita melakukan pencarian baik dengan menggunakan mesin pencari atau search engine seperti...

Continue reading
Membuat Efek Gradasi Warna Menggunakan CSS
Membuat Efek Gradasi Warna Menggunakan CSS
Category : Tutorials | September 4th, 2018
364 | 2

Pada tutorial kali ini kita akan mencoba membuat gradasi warna, apa itu gradasi warna bisa kalian lihat contohnya pada gambar-gambar berikut : Yup, seperti yang sudah kalian lihat pada gambar-gambar tersebut dimana pada tiap gambar memiliki lebih dar...

Continue reading
Iklan Adsense Di Website Kamu Ter-klik Sendiri? Nih! Tips-nya
Iklan Adsense Di Website Kamu Ter-klik Sendiri? Nih! Tips-nya
Category : Tips & Tricks | August 14th, 2018
249 | 0

Hallo guys, akhirnya kita berjumpa lagi setelah sekian lama kita berpisah… Hallah… Okey langsung saja, untuk artikel kali ini penulis ingin coba berbagi sedikit mengenai tips jika iklan adsense kamu ter-klik, mungkin lebih tepatnya ter-kl...

Continue reading
Tutorial : Cara Install Composer
Tutorial : Cara Install Composer
Category : Others | June 5th, 2018
367 | 0

Apa Itu Composer? Composer adalah suatu aplikasi manajemen paket selain Node.js (npm) dan Ruby (bundler) yang menyediakan format standar untuk mengelola dependensi PHP dan library-library yang diperlukan. Sumber : Wikipedia Jadi secara garis besar, d...

Continue reading
Error Reported Attack Page! Waw… Domain Di Blacklist Google??
Error Reported Attack Page! Waw… Domain Di Blacklist Google??
Category : Tips & Tricks | November 13th, 2017
690 | 0

Seperti yang kalian lihat pada contoh tampilan gambar di atas, tampilan tersebut merupakan tampilan bahwa domain kalian di blacklist atau di blokir oleh Google, alhasil tentunya website kalian tidak akan bisa di akses. Ada yang pernah ngalamin?? Bebe...

Continue reading
Cara Menambah Ads Unit Atau Blok Iklan Adsense
Cara Menambah Ads Unit Atau Blok Iklan Adsense
Category : Tutorials | November 13th, 2017
1219 | 4

Halo para pembaca Gaswad yang ganteng dan yang cantik-cantik, yang jelek jangan kesinggung ya. Hehe… 😀 Ssetelah sekian lama ngga update akhirnya dapet kesempatan nyolong-nyolong waktu buat nge-update artikel Gaswad. Pada pembahasan artikel k...

Continue reading
Yang Baru Di Bootstrap 4
Yang Baru Di Bootstrap 4
Category : Others | October 31st, 2017
711 | 0

Tidak terasa baru saja beberapa waktu lalu penulis menulis artikel tentang Bagaimana Cara Membuat Web Responsif Dengan Boostrap yang masih menggunakan versi 3, ehh… udah nongol aja ini adeknya yang versi 4. Yaaa’, sebenarnya sih’ ud...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
Category : Wordpress | October 24th, 2017
815 | 2

Artikel ini merupakan artikel terakhir tentang bagaimana cara membuat template WordPress, bagi kalian yang sudah tertinggal atau melewatkan artikel-artikel sebelumnya, maka silahkan kalian merujuk ke link berikut : Intro & Registering Template ...

Continue reading
Panduan SEO ala Google
Panduan SEO ala Google
Category : Tips & Tricks | October 24th, 2017
592 | 0

Kali ini penulis ingin memberikan beberapa tips dan panduan untuk meningkatkan SEO website kalian, beberapa panduan dan tips berikut secara kebetulan merupakan salah satu yang  di referensikan oleh Google agar website kalian dapat dengan mudah di cr...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 4
Tutorial : Cara Membuat Template WordPress – Part 4
Category : Wordpress | October 20th, 2017
874 | 0

Pada sesi ini kita akan membuat Menu Navigasi dan Sidebar pada halaman template yang sudah kita buat sebelumnya, sesi ini merupakan sambungan dari artikel-artikel berikut : Intro & Registering Template – Part 1 Frontpage, Header & Footer ...

Continue reading
Tutorial : Cara Membuat Template WordPress – Part 3
Tutorial : Cara Membuat Template WordPress – Part 3
Category : Wordpress | October 20th, 2017
683 | 0

Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambung artikel sebelumnya. Pada sesi sebelumnya kita sudah berhasil membuat halaman Frontpage, Header dan Footer website, pada artikel kali ini kita akan coba m...

Continue reading
Cara Mendapatkan Uang Dengan Google Adsense
Cara Mendapatkan Uang Dengan Google Adsense
Category : Tutorials | October 16th, 2017
1293 | 2

Setelah beberapa waktu lalu di kantor penulis sempat heboh-hebohnya di karenakan fitur dari Google yang bernama Adsense ini, bagaimana tidak karena rekan-rekan penulis yang tadinya cuma browsing-browsing doang, youtube-an, download film, tidur, kesur...

Continue reading

Wordpress

  • Oct
    24
    2017
    Tutorial : Cara Membuat Template WordPress – Part 5 (Complete)
    Artikel ini merupakan artikel terakhir tentang bagaimana cara membuat template WordPress, bagi ...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 4
    Pada sesi ini kita akan membuat Menu Navigasi dan Sidebar pada halaman template yang sudah kita...
    Read more
  • Oct
    20
    2017
    Tutorial : Cara Membuat Template WordPress – Part 3
    Pada artikel kali ini kita akan melanjutkan bagaimana cara membuat template WordPress menyambun...
    Read more
  • Oct
    13
    2017
    Tutorial : Cara Membuat Template WordPress – Part 2
    Artikel ini merupakan sambungan dari artikel pertama, pada artikel sebelumnya kita sudah membah...
    Read more
  • Oct
    10
    2017
    11 Cara Meningkatkan Keamanan Pada WordPress
    Pada artikel kali ini penulis ingin membagikan beberapa tips seputar keamanan pada website Word...
    Read more
  • More articles
Tips & Tricks

  • Nov
    02
    2018
    8 Tips Memilih Jasa Server Hosting Terbaik
    Pada artikel kali ini penulis ingin memberikan beberapa tips memilih server hosting terbaik. Ba...
    Read more
  • Oct
    18
    2018
    Syntax error or access violation: 1071 Specified key was too long
    Bagi kalian pengguna Framework Laravel, terutama Laravel mulai dari versi 5.4 keatas pasti pern...
    Read more
  • Aug
    14
    2018
    Iklan Adsense Di Website Kamu Ter-klik Sendiri? Nih! Tips-nya
    Hallo guys, akhirnya kita berjumpa lagi setelah sekian lama kita berpisah… Hallah… ...
    Read more
  • Nov
    13
    2017
    Error Reported Attack Page! Waw… Domain Di Blacklist Google??
    Seperti yang kalian lihat pada contoh tampilan gambar di atas, tampilan tersebut merupakan tamp...
    Read more
  • Oct
    24
    2017
    Panduan SEO ala Google
    Kali ini penulis ingin memberikan beberapa tips dan panduan untuk meningkatkan SEO website kali...
    Read more
  • More articles
Tutorials

  • Nov
    09
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 6 (Menampilkan Data)
    Melanjutkan tutorial sebelumnya dimana kita sudah berhasil memasukan data ke dalam database mel...
    Read more
  • Nov
    01
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 5 (Form Input Data)
    Halo semua, kali ini penulis ingin melanjutkan tutorial cara Belajar Menggunakan Laravel, pada ...
    Read more
  • Oct
    18
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 4 (Model & Konfigurasi Database)
    Halo para pembaca Gaswad, menyambung artikel tutorial Belajar Menggunakan Laravel sebelumnya, k...
    Read more
  • Oct
    09
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 3 (View & Blade Template)
    Di artikel sebelumnya, kita sudah berhasil menampilkan output langsung dari halaman Controller ...
    Read more
  • Oct
    09
    2018
    Tutorial : Belajar Menggunakan Laravel – Part 2 (Routing & Controller)
    Pada artikel kali ini, kita akan belajar menggunakan Routing dan Controller dimana Routing dan ...
    Read more
  • More articles
Others

  • Sep
    17
    2018
    Perbedaan Localhost Dan Web Hosting
    Halo ghaes… Bagi beberapa dari kalian pasti masih belum ada yang begitu paham bagaimana s...
    Read more
  • Jun
    05
    2018
    Tutorial : Cara Install Composer
    Apa Itu Composer? Composer adalah suatu aplikasi manajemen paket selain Node.js (npm) dan Ruby ...
    Read more
  • Oct
    31
    2017
    Yang Baru Di Bootstrap 4
    Tidak terasa baru saja beberapa waktu lalu penulis menulis artikel tentang Bagaimana Cara Membu...
    Read more
  • Oct
    09
    2017
    Pengertian Page View, Visitor Dan Bounce Rate
    Sebenarnya pada artikel kali ini penulis ingin membuat tutorial bagaimana cara membuat template...
    Read more
  • Sep
    29
    2017
    ​Apa Itu Web Framework?
    Beberapa dari kalian apalagi yang masih pemula dalam bidang pemrograman website pasti masih awa...
    Read more
  • More articles
Page generated in : 851.04 ms