웹사이트 크롤링 시 403 Forbidden 오류 해결법
브라우저 주소창에 붙여 넣으면 멀쩡히 열리는 페이지가, 파이썬으로 요청하면 403 Forbidden을 뱉습니다. 코드는 다섯 줄뿐이라 틀릴 데도 없어 보이는데 말이죠. 이 지점에서 검색만 반복하다 두세 시간을 날리는 경우가 많습니다. 크롤링 403 오류 해결이 어려운 이유는 원인이 하나가 아니라 다섯 가지쯤 되는데, 서버는 그중 무엇이 문제인지 알려주지 않기 때문입니다. 이 글에서는 원인을 좁히는 순서와, 단계별로 그대로 … 더 읽기