네이버에서 주가정보 가져오기 - 2021. 2. 14(일)

주식을 투자하기 위하여 naver finance에서 주가정보를 크롤링해오고 있다. 그런데 작년 11월 말부터 크롤링이 안되기 시작했다.

내가 네이버의 주가정보를 크롤링해오는 url은 다음과 같다.

https://finance.naver.com/item/sise_day.nhn?code={종목코드}

이래저래 찾아보니 네이버쪽에서 크롤링하는 것을 차단한 것으로 보인다. 네이버측에 문의를 해보았는데도 답은 없었다.

그러다 최근 문제의 원인을 파악하고 해결하였다.

크롤러에서 request를 던질 때, header에 User-Agent 정보를 채워서 던지면 해결되었다.