wget .wgetrc 적용 및 robots.txt 대하여.

영화 "소셜네트워크" 에서 주인공이 페이스매칭 프로그램을 만들기 위해서 사진을 구할려고 쓴 프로그램.

신기하다 싶어서 이것저것 해보다가 재미있는것을 발견해서 적는다.

먼저 .wgetrc 파일 적용 방법.

wgetrc 파일이 폴더 c:\wget_1.10b 안에 있다는 가정하에 입니다. (폴더 이름/경로는 사용자 설정에 따라 다를수 있습니다.) 

콘솔 화면에서 명령어는 다음과 같습니다.

>set wgetrc=wgetrc 파일 위치

에러메시지가 나오지 않았다면 정상적으로 적용된것입니다.

두번째. robots.txt (검색 로봇 배제 표준 설정 파일) 에 대해서  여러 블로그등에서 robots.txt에서 

User-agent: *

Disallow: /

설정해주면 wget이 않먹는다고 했는데.. 사실 이것때문에 몇일을 고생했는데 결론은 아닙니다.
wget 잘 됩니다. 물론 막았는데 퍼가는건 불법이긴 하지만(트래픽 점유율도 그렇고. 저작권도 그렇고.)
실제로 몇개 사이트 테스트 결과에서도 잘 나오더군요.(제 개인 사이트에 대하여 테스트 하였습니다.)
아마 기본적인 방법으로 wget을 한다면 500 에러가 나오는 곳이 있을겁니다. 확인해 보면 robots.txt 에 설정되어 있고요. 안되는 곳은 java로 wget과 비슷한 기능을 작성해 보세요. 문제가 무엇인지 보이실겁니다.(c 나 c#으로 작성하셔도 상관없습니다.)
- windows 에서 wget을 사용했다고 가정입니다.(리눅스나 mac 에서도 같습니다.)

- 일단 대부분의 옵션(wgetrc 포함) 적용및 사용법은 구글링만 해도 알수 있으니 적지 않습니다.