트래픽을 몰리는 원인 분석 결과.. 가장 큰 원인이 여러개의 다음 봇이 동시에 접근하고 있는 것을 발견했습니다.
제가 알기로 다음봇은 구글봇과 동일해서 robots.txt 규칙을 잘 지키는 것으로 알고 있었는데..
어쩐 일인지, 여러개의 로봇이 돌아가면서 접근해서 엄청나게 트래픽을 잡아먹네요..
robots.txt 규칙을 따른다면 여러 봇이 오더라도 3시간에 한번씩만 가져가야 하니.. 트래픽이 많이 걸리지 않을 듯 한데.. 제가 뭔가 잘못 생각한 것인지도..
여하튼.. 이런 저런 생각하기 싫어서 .htaccess 에서 다음봇에 해당하는 영역을 그냥 deny했습니다.
트래픽이 아마 다시 30%대로 떨어져주지 않을까 기대됩니다.
다음봇.. 너무합니다.
저는 몇달전에 과감히 모든 봇을 카운터에서 제외했는데..
방문객수가 확 줄어 보이게되는 되었지만
그게 맞는거 같더라구요..
다음봇보다 전 야후봇의 파워가 엄청나던걸요;
카운터 제외는 crizin님 플러그인을 이용해서 제외했는데요.. 트래픽은 마찬가지더라구요..
제 블로그의 경우 다음봇이 압도적으로 자주 찾아와서, 일단 다음봇부터 제거 했습니다. 🙂
나중에 다른 봇도 말썽부리면 쪼까내야죠..^^;
이 덧글 쓰는데 상당히 고민하고 씁니다.
죄송합니다만, 문제가 되었던 다음봇의 웹로그상의 User-agent 값을 알수 있을까요?
제가 만들고 있는 다음봇이라면(이름이 EDI입니다) babyworm님이 제공해 주시는 정보로 더 좋은 봇을 만드는데 활용하도록 하겠습니다. 그리고 EDI였다면.. 죄송합니다.ㅠㅠ
현재 EDI는 robots.txt 표준을 준수하지만 crawl-delay 값에 대해 잘못 반응하고 있다는 것을 발견하였습니다.
robots.txt를 보니 정상적으로 만들어 두셨습니다^^
결함이 고쳐지면 꼭 다시 말씀드릴테니 그땐 차단을 풀어주시구요^^;;;
다음 개발자의 윤리의식을 걸고 트래픽 유발과 같은 피해를 주지 않는 봇을 만들것을 약속 드립니다.
제 메일 주소는 basher97@gmail.com입니다.
그리고 이 댓글에는 리플을 달지 말아주세요.. 인터넷에 아직 알려져서는 안될 것이 좀 있습니다;;;
부탁드립니다.(_ _)
아하.. 이전 포스팅을 보니 제가만든 EDI가 맞군요…ㅠㅠ
하루빨리 고쳐서 안그러도록 할께요..
다시한번 죄송합니다.ㅠㅠ