[ Dev Dairy ] 002. selenium 환경준비

어떤 걸 제일먼저 해볼까 구글링해보다 구글하니... 크롤링이라는걸 해보고싶어졌다.

 

* 크롤링 정의 : 크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다.

 

현재 개발환경은  Python 이다.

Python 하면 빼먹을 수 없는게 요 pip 이다. 

 

 * pip는 Python Package Index (PyPI) 저장소로부터 파이썬 패키지를 받아 설치하는 패키지 관리 도구입니다. 

Node.js의 NPM와 비슷하다고 생각하시면 됩니다.

 

크롤링은 아주아주 간단하게 pip 명령어를 통해 패키지 설치가 가능하다!

 

pip install google_images_download

 

라고..해서 설치완료하고 해당 페이지의 예시를 실행하면 된다고했는데...

 

아무것도 되지않는다.. 두둥...

오류 메세지 : unfortunately all 20 could not be downloaded because some images were not downloadable

 

다시 구글링...  최근에 구글에서 크롤링 되지않도록 했단다.. ( 내가 날린 2시간.... 뭐한거지? ㅠㅠㅠ )

하.. 다시 찾아보자 

 

위의 문제를 해결하기 위해서는 .selenium 이라는걸 이용해야 된단다...

이건 뭐지? 

* 셀레늄(Selenium)은 웹 애플리케이션 테스트를 위한 포터블 프레임워크이다. 셀레늄은 테스트 스크립트 언어를 학습할 필요 없이 기능 테스트를 만들기 위한 플레이백 도구를 제공한다.

 

음.. 어렵다..

어쨋든 pip로 설치하란다... 해보자

 

pip install selenium

 

오.. 설치가 잘된다. 그럼 이제 크롤링 되는건가?

 

음... 또 오류 ㅋㅋㅋㅋ 뭐땜에 오류인지 다시 구글링!

결과 selenium을 사용하기 위해서는 safari 말고 chrome, firefox 등을 설치해야한다

chrome이 사용하기 편하니 chrome으로 진행!

chrome설치와 더불어 chromedirver를 설치해야한다고 한다...

근데 구름IDE 는 또 다르데 어렵다 어려워!!

 

1. 구름 ide 에 selenium 설치하기

 

pip3 install selenium

 

2. 구름 ide 내 chrome 설치하기

 

wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add -

echo 'deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main' | tee /etc/apt/sources.list.d/google-chrome.list

apt-get update

apt-get install -y google-chrome-stable

 

3. chromedriver 설치하기 

 

일단, 설치된 chrome 버전을 확인하기 

 

google-chrome --version

 

설치된 chrome의 버전에 맞게 chromedriver를 깔아야한다.

https://chromedriver.chromium.org/downloads 로 접속합니다.

 

 

ChromeDriver 다운받기

 

wget -N https://chromedriver.storage.googleapis.com/90.0.4430.24/chromedriver_linux64.zip

 

ChromeDriver 버전에 맞게 설치명령어를 작성한다.

 

unzip chromedriver_linux64.zip

chmod +x chromedriver

mv -f chromedriver /usr/local/share/chromedriver

ln -s /usr/local/share/chromedriver /usr/local/bin/chromedriver

ln -s /usr/local/share/chromedriver /usr/bin/chromedriver

rm chromedriver_linux64.zip

apt-get update

apt-get install -y libgconf-2-4

 

 

드디어.. 구름ide 에서 selenium 사용준비 끝!!!

실제 구동은 다음에..