Cara Cek Bot Mana Yang Paling Banyak Bertamu Melalui Log

Cara Cek Bot Mana Yang Paling Banyak Bertamu Melalui Log, JurnalKLIK. Di mulai dengan project untuk membuat index sebanyak 200k lebih pada hasil SERP ternyata terus berlanjut. Pada awalnya semua nampak baik - baik saja. Seperti biasa dan seharusnya begitu. yang berkunjung hanya bot milik google ketika ingin menambahkan index page pada SERP dan hasil progresnya terlihat jelas, setiap bot berkunjung pasti ada saja laman baru terindex dan kunjungan manusia piun bertambah.

Pada awalnya merasa heran.  lagi login ke server VPS Centos 7 ane lihat log banyak sekali. Ada girang seneng gimana gituh ada tanda tanya besar, benarkah? segitu banyaknya yang berkunjung dan resource hanya terpakai 10% saja?

Coba mencari informasi dan ketemu jawabannya, ternyata semua itu adalah BOT terkutuk!

Nah, dari penemuan tersebut, disini saya ingin berbagi bagaimana caranya mengetahui berapa banyak dan bot mana saja yang sudah bertamu dan membuat gaduh suasana tersebut.

cara cek bot mana yang paling banyak bertamu melalui log cukup mudah namun bila belum tahu akan sangat sulit sekali karena perintahnya sudah tingkat dewa, panjang sekali, command linenya seperti ini :

cut -f12- -d" " namadomain_requests.log | sort | uniq -c | fgrep -i -e bot -e spider | sort -nr | head

silahkan rubah namadomain_requests.log dengan nama file log request yang sesuai dengan domain anda lalu copy, paste dan tekan enter maka akan keluar hasilnya seperti berikut :

[webmaster@jurnalklik administrator]# cut -f12- -d" " conbihaulase_requests.log | sort | uniq -c | fgrep -i -e bot -e spider | sort -nr | head
  25784 "Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)"
  18950 "Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)"
  10492 "Mozilla/5.0 (compatible; MJ12bot/v1.4.7; http://mj12bot.com/)"
   6783 "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
    899 "Mozilla/5.0 (compatible; SeznamBot/3.2; +http://napoveda.seznam.cz/en/seznambot-intro/)"
    157 "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
     51 "Screaming Frog SEO Spider/8.1"
     34 "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
     11 "Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
      9 "Mozilla/5.0 (compatible; SEOkicks-Robot; +http://www.seokicks.de/robot.html)"

bisa dilihat dari report log tersebut kebanyakan hanya 'BOT' arsip, bot index SERP hanya 11 biji dari 70k url walhasil selama sepekan masih zonk saja.

klu traffik cek di cluodflare luar biasa 90k++ request tak menghasilkan fulus...

kecewa sekali ! i hate robots!