robots.txt 에서 메인만 검색되게 설정하려면?
본문
네이버에서 검색 시 사이트만 노출 되고, 나머지 디렉토리는 검색되지 않게 하려고 합니다.
지금은 아래와 같은 식으로 일일이 각 폴더별로 disallow 설정을 해주고 있는데요,
Disallow: /adm/
Disallow: /bbs/
Disallow: /data/
Disallow: /js/
Disallow: /lib/
Disallow: /plugin/
Disallow: /skin/
.
.
혹시 더 간단한 방법이 없을까요?
메인 루트 디렉토리만 허용하고, 나머지는 다 접근 금지할 수 있는 식으로요.
답변해주신 분들에게 미리 감사드립니다!
답변 1
User-agent: *
Disallow: / # 메인 페이지 외의 모든 페이지 차단
Allow: /$ # 메인 페이지만 허용
위 설정은 모든 검색 엔진 로봇(User-agent: *)이 메인 페이지(/)만 수집할 수 있도록 허용(Allow: /$)하고, 그 외의 모든 페이지는 수집하지 못하도록 차단(Disallow: /)합니다.
감사드립니다. 복받으세요!
답변을 작성하시기 전에 로그인 해주세요.