검색로봇 크롤링 관련 우문을 드립니다.
본문
우문일지 모르겠지만 궁금하여 질문 드립니다.
만일 하나의 게시판을 만들어 목록보기 권한은 모두(1)로 하고
글읽기 권한은 관리자(10)으로 하였을 경우,
과연 검색 로봇은 이 게시판의 본문내용을 크롤링해 갈 수 있을까요?
갑자기 관리자 전용게시판을 만들려다 보니 문득 의문이 들어 질문 드립니다.
의견 부탁 드립니다.
감사합니다.
답변 4
제가 아는 선에서..
크롤링은 권한이 없는 회원과 같은 등급(?)으로 알고 있습니다.(비회원 = 써치 로봇)
그러니 본문내용을 비회원이 볼수 없다면 크롤링도 마찬가지가 아닐지..
감사합니다.
예상 했던대로 본문을 크롤링을 하지 못 하는가 보군요.
저도 제가 아는 선에서..
목록보기 권한 1에 비밀글을 제외한 글 들이 검색되는 거로 봐서 게시글을 읽을 수 없으면 긁어가지 못하는 것 같습니다
답변 감사합니다.
다시한번 검토를 해 봐야 겠군요.^^
만일 로봇만 특정 게시판을 크롤링하게 하려고 한다면
robot.txt를 사용해야 할지 아니면 user_agent를 체크하여 robot일 경우에만
크롤링을 허용하게 하도록 해야 하는지 궁금합니다.
로봇에게만 본문 크롤링을 허용하려고 할 경우입니다.^^
감사합니다.
말씀하신대로 user_agent를 체크해서 browser가 Robot인 것만 pass하게 하고 테스트를 해 보니 잘 되는 듯 싶습니다.
결국 bbs/board.php를 손을 대고 말았습니다. 가능하면 원본을 건드리지 않으려고 했는데 어쩔 수가 없더군요.
적용하신 팁을 팁게시판에 게재하시면 많은분들이 조아라 하실거라 조심스럽게 예상해봅니다^^
수고하셨습니다~
특정 id만 통과하게 테스트 해 보고 검색로봇 크롤링 흔적과 노출여부를 지금 모니터링 중입니다.
팁으로 올리기에 적당할 지, 사용하실 분이 있을지도 의문이 드네요.^^
더 확인 해 보고 팁에 올릴지 여부를 생각해 보려 합니다.
