소소한 일상의 기록 소소한 일상의 기록

파이썬 인터넷 크롤링 하기(requests, bs4) 안녕하세요. 오늘은 웹페이지에 있는 데이터를 요청하여 가져오는 방법에 대해 알아보도록 하겠습니다. 일단은 requests와 Beautifulsoup4 라이브러리를 설치하셔야 합니다. 오늘은 네이버 주식 데이터를 크롤링해보도록 하겠습니다. 제가 사용하는 라이브러리 버전은 아래와 같습니다. beautifulsoup4 == 4.11.1 requests == 2.28.0 라이브러리를 설치 안 하신 분들은 아나콘다를 사용하지 않고 pip를 이용하시는 분들은 pip install requests, beautifulsoup4를 입력하여 설치하여 주시기 바랍니다. 이제는 크롤링할 페이지의 page source를 직접 가져오겠습니다. 웹페이지에서도 우클릭 "페이지 소..

파이썬 인터넷 크롤링 자동화 하기(Selenium) 안녕하세요. 오늘은 파이썬 하면 생각나는 단어인 자동화입니다. 그중에서 자동화를 해줄 수 있게끔 다양한 라이브러리들이 있는데요. 그중에 Selenium이란 라이브러리를 사용해 보도록 하겠습니다. Selenium을 잘 활용하면, 평소에 반복적으로 하고 있는 웹상의 업무를 자동화할 수도 있습니다. 일단 Selenium 설치하는 과정부터 실행하는 과정까지 알아보도록 하겠습니다. 아래 순서와 같이 진행하시면 금방 이해하실 수 있습니다. 1. Selenium 설치하기 pip install selenium cmd창에서 "pip install selenium" 명령어를 치시면 설치가 완료됩니다. 2. Selenium 패키지 불러오기 from selenium impo..