AhrefsBot 차단했습니다.

AhrefsBot은 우크라이나와 싱가폴을 중심으로 하는, 인터넷 서비스 스타트업 https://ahrefs.com 에서 운영하고 있는 크롤링 봇입니다.

이 로봇이 얼마나 강력하냐면, 구글에서 AhrefsBot 을 입력하는 순간 추천 검색어가 1. 블록하는 방법, 2. ip주소 3. robots.txt를 무시..... 라고 나올까요 ㅎㅎ

최근에 제 홈페이지에도 비정상적으로 접속자가 늘어나서 보니.... 하루 접속자의 50%가 AhrefsBot 이더군요 -_-;;;

홈서버라서 트래픽 제한 개념은 없지만... 너무 심한 것 같아 결국엔 차단했습니다.

구글 추천 검색에 있는 robots.txt 를 무시한다.. 라는 내용에 두려웠지만

오늘 확인해보니 한번도 안왔네요.

참고로 제 robots.txt입니다.

User-agent: AhrefsBot
Disallow: /
 
User-agent: *
Disallow: 
Disallow: /adm/

AhrefsBot만 차단하고, 나머지는 허용, 그리고 /adm/ 폴더는 차단입니다.