웹크롤링3 [Python, django]WebDriverException 오류 해결법 최근에는 크롤링 관련 글만 올리고 있네요 의도한 건 아니었는데;; 이번에는 django와도 연관이 있는 오류와 그 해결 방법에 대한 포스팅입니다. django로 웹 서비스를 만드는데, 크롤링이 필요한 경우가 있습니다. 검색어를 입력하고, 그 검색어에 따라 특정 사이트를 크롤링하여 그 결과를 화면에 출력한다거나 할 때가 대표적이죠. 제가 지금 만드는 작은 프로젝트도 그런 느낌입니다. 그 프로젝트에 대해서는 다른 포스팅에서 이야기하기로 하고, 우선 오류 메시지를 보겠습니다. 이 오류는 로컬에서 코드를 통한 크롤링이 시도되었을 때 발생했습니다. 오류 메시지를 흩으니 PATH라는 말이 보입니다. 경로와 관련이 있다는 말이지요. 그럼 무엇의 경로이냐? 메시지에도 써 있듯 'chromedriver.exe'라는 파일.. 2020. 9. 18. [Python]웹 크롤링 중 chrome driver 작동이 중지될 때 해결법 selenium을 이용한 웹 크롤링을 하다가 갑자기 가상 브라우저가 멈추는 상황이 발생할 때가 종종 있습니다. 만약 아래와 같은 메시지가 발생했다면 지금부터 말씀드릴 해결방법이 도움이 될 것 같네요. 저의 경우, 크롤링에 사용했던 chrome driver.exe의 버전과 평소 사용하고 있는 크롬의 버전이 맞지 않아 생긴 문제였습니다. 문제를 해결하기 위해서는 우선 본인이 쓰고 있는 브라우저의 버전을 정확히 알아야 합니다.(저는 크롬을 사용하므로 크롬으로 설명합니다.) 우선 크롬 브라우저 우측 상단의 점 세 개를 눌러(주소창 옆입니다!) 아래에서 세번째에 있는 설정을 클릭합니다. 그러면 크롬 설정 탭으로 들어갈 수 있습니다. 왼쪽의 메뉴를 보면 가장 아래에 Chrome 정보라는 탭이 보일 겁니다. 그걸 클.. 2020. 9. 8. [error]웹 크롤링 시 Unicodeencodeerror: 'ascii' codec can't encode characters in position.. 해결법 웹 크롤링을 시도하다 보면 종종 UnicodeEncodeError: 'ascii' codec can't encode characters in position 10-14: ordinal not in range(128) 와 같은 에러와 마주하게 됩니다. 저 같은 경우 복습 겸 간단한 크롤링 코드를 만들어 연습할 때 발생하곤 했는데, 코드는 아래와 같습니다. # 간단한 크롤링 코드(한글 위키피디아) # 라이브러리 불러오기 from bs4 import BeautifulSoup from urllib.request import urlopen import time query = '블레이드 러너' url = "https://ko.wikipedia.org/wiki/" + query html = urlopen(url) s.. 2020. 8. 23. 이전 1 다음
