Tag Archives: 로봇

결국 다음 봇 차단 결정

트래픽을 몰리는 원인 분석 결과.. 가장 큰 원인이 여러개의 다음 봇이 동시에 접근하고 있는 것을 발견했습니다.
제가 알기로 다음봇은 구글봇과 동일해서 robots.txt 규칙을 잘 지키는 것으로 알고 있었는데..

어쩐 일인지, 여러개의 로봇이 돌아가면서 접근해서 엄청나게 트래픽을 잡아먹네요..
robots.txt 규칙을 따른다면 여러 봇이 오더라도 3시간에 한번씩만 가져가야 하니.. 트래픽이 많이 걸리지 않을 듯 한데.. 제가 뭔가 잘못 생각한 것인지도..

여하튼.. 이런 저런 생각하기 싫어서 .htaccess 에서 다음봇에 해당하는 영역을 그냥 deny했습니다.

트래픽이 아마 다시 30%대로 떨어져주지 않을까 기대됩니다.

다음봇.. 너무합니다.

트래픽 초과… 로봇의 힘..

어제 오후에 갑작스럽게 트래픽이 초과되는 일이 발생했습니다.

제 홈페이지와 보드, Wikipage는 그야말로 개인적으로 사용하니 별문제 없겠고..
블로그도 그리 인기있을만한 블로그가 아니니 방문자로 인한것이 아닌듯 하더군요..
(블로그 상에는 많은 사용자 방문수가 나오는데.. Google analysis 결과로 미루어보아 실제 방문자수는 하루에 50명 이하일 것으로 보고 있습니다. 그래도, 초기에 블로그를 시작하면서 많아봤자 10명 남짓일 것이라 예상했던 것에 비하면 예상외로 많은 분들이 찾아주시는 블로그입니다.. RSS 사용자 분들도 생각보다 많구요..^^ 감사드립니다. )

robots.txt를 써서 로봇 방문을 배제시켰더니만 트래픽이 아주 많이 줄었습니다. 로봇에 의한 것이라는 심증이 가는군요.. 아무리 그래도 그렇지..봇들이 너무 트래픽을 차지하는군요.. -_-;

테터 플러그인 중에 로봇 방문자수 배제를 썼더니.. 방문자수도 뚝! 떨어졌습니다.
실 방문자수만 나타내는 것인데.. 음.. 마음의 준비는 있었지만 좌절스럽긴 하군요.. ^^;

호스팅 업체에 로그 분석을 의뢰했으니, 실제로 어떤 문제였는지는 오늘 정도에 나오겠지요..