robots.txt 설정 문의
본문
구글 로봇이 트래픽을 너무 잡아 먹어서, 특정폴더(이미지폴더) 접근 제한을 할려고 하는데요.
아래와 같이 하면 맞는건가요? data 폴더에 이미지가 많아서 구글 로봇이 접근 못하게 할려고 하는데요.
실제로 저렇게 적용을 해보면, 트래픽의 영향이 거의 없더라구요.
User-agent: Googlebot
Disallow: /data/
아래와 같이 하면, 구글로봇이 사이트 접속을 하지 않는것은 확인을 했습니다.
User-agent: Googlebot
Disallow: /
답변 2
사용법은 맞습니다. https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=http-log&logNo=221104827805
영향이 없는 연유까지는 모르겠습니다.
답변을 작성하시기 전에 로그인 해주세요.