Wechall - Training: WWW-Robots 정리

WWW-Robots, 인터넷 봇을 주제로 한 문제입니다.

 

- 인터넷 봇이란?

인터넷 상에서 자동화된 작업을 하는 프로그램

 

인터넷 봇이 하는 역할 중 크롤링에 대해서 언급하고 있습니다.

 

- 웹 크로링이란?

Web scraping. 

웹 사이트에서 원하는 정보를 추출하는 것을 뜻합니다.

 

 

 

인터넷에 무언가를 올리다 보면 내가 공개하고 싶지 않은 정보가 생길 수 있습니다.

 

이러한 정보들이 검색엔진에 의해서 크롤링 되는것을 막기위해 robots.txt파일을 통해 조절합니다.

 

The robots.txt file is used by web crawlers to check if they are allowed to crawl and index your website or only parts of it.
Sometimes these files reveal the directory structure instead protecting the content from being crawled.

문제에서는 이러한 robots.txt를 이용한 정보획득을 알려주고 있습니다.

 

해당 폴더에 접근을 막기 위해서 경로를 알려주어야 하는데, 이를 통하여 폴더 구조를 파악 할 수 있다는 뜻입니다.

 

다시말해 크롤링을 제한한 경로는 private한 정보가 있다는 말이 됩니다.

 

즉, 중요정보가 있는 경로를 그대로 보여준 꼴이 됩니다.

 

 

wechall url에 robots.txt를 입력한 결과로 위와 같은 창이 뜨게됩니다.

 

저희는 현재 www/robots/의 경로에 해당하는 문제를 풀고 있었으니 관련 경로를 입력해 주겠습니다.

 

/challenge/training/www/robots/T0PS3CR3T

해당 경로를 입력하니 문제가 해결되었습니다.