파이썬 인터넷 크롤링 자동화 하기(Selenium)

파이썬 인터넷 크롤링 자동화 하기(Selenium)

 

안녕하세요. 오늘은 파이썬 하면 생각나는 단어인 자동화입니다. 그중에서 자동화를 해줄 수 있게끔 다양한 라이브러리들이 있는데요. 그중에 Selenium이란 라이브러리를 사용해 보도록 하겠습니다.

Selenium을 잘 활용하면, 평소에 반복적으로 하고 있는 웹상의 업무를 자동화할 수도 있습니다.

 

일단 Selenium 설치하는 과정부터 실행하는 과정까지 알아보도록 하겠습니다.

아래 순서와 같이 진행하시면 금방 이해하실 수 있습니다. 

 

 

1. Selenium 설치하기

pip install selenium

cmd창에서 "pip install selenium" 명령어를 치시면 설치가 완료됩니다.

 

2. Selenium 패키지 불러오기

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

셀레니움을 사용하기 위해서 import 해줍니다.

 

 

 

3. Selenium 실행하기

아래와 같은 코드를 입력하면 브라우저 창이 켜질 것입니다. 크롬으로 켜집니다.

chrome_options = Options()
chrome_options.add_experimental_option("detach", True)
chrome_options.add_experimental_option('excludeSwitches', ['enable-logging'])
service = Service(executable_path=ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=chrome_options)
driver.implicitly_wait(5) # 웹페이지가 로딩 될때까지 5초는 기다림
driver.maximize_window() # 화면 최대화

 

4. 원하는 사이트로 이동하기

driver.get('https://www.naver.com')

이렇게 입력하시면 네이버로 이동하면서 화면에 보여집니다.

 

5. 소스코드

# 셀레니움 필요한 패키지 명 불러오기
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

# 크롬 드라이버 자동 업데이트
from webdriver_manager.chrome import ChromeDriverManager

# 브라우저 꺼짐 방지
chrome_options = Options()
chrome_options.add_experimental_option("detach", True)

# 불필요한 에러 메시지 없애기
chrome_options.add_experimental_option('excludeSwitches', ['enable-logging'])

service = Service(executable_path=ChromeDriverManager().install())
driver = webdriver.Chrome(service=service, options=chrome_options)

driver.implicitly_wait(5) # 웹페이지가 로딩 될때까지 5초는 기다림
driver.maximize_window() # 화면 최대화

driver.get('https://www.naver.com')

 

해당 사용 Selenium 버전은 4.4.3입니다.