자동화/Selenium (30) 썸네일형 리스트형 핫딜게시판 목록 리스트 자동화하여 추출 커뮤니티 사이트 중 핫딜 게시판이 있어서 저렴하게 구입하는 경우가 많은데 데이터 목록을 자동화로 추출하는 코드입니다. 핫딜 게시판 중 뽐뿌게시판을 선택하여 코드를 작성하였습니다. 뽐뿌게시판에서 종료가 된 목록은 취소선 처리가 되어 있어서 취소선 되어 있는 항목을 제외하고 목록을 추출하였습니다. URL내 페이지 번호가 있기 때문에 하단 페이지 번호를 클릭하는것 보다 URL 링크를 변경하는 방법으로 반복문을 작성하였습니다. 10페이지까지 추출하기 위해 11로 작성하였으나 숫자 변경으로 더 적게 혹은 더 많이 데이터를 추출할 수 있습니다. for i in range(1, 11): driver.get('https://www.ppomppu.co.kr/zboard/zboard.php?id=ppomppu&page='.. 과거 1달 국내주식 시가총액 순위 자동화로 추출하기 과거 원하는 1달 국내주식 시가총액 1~50위까지 순위를 자동화로 추출하여 엑셀에 저장하는 코드입니다. 시가총액 데이터는 한국거래소 사이트 URL을 통해 데이터를 추출합니다. http://data.krx.co.kr/contents/MMC/RANK/rank/MMCRANK001.cmd KRX 정보데이터시스템 증권·파생상품의 시장정보(Marketdata), 공매도정보, 투자분석정보(SMILE) 등 한국거래소의 정보데이터를 통합하여 제공 서비스 data.krx.co.kr 추출하고 싶은 년도 / 월을 콘솔에서 입력 받아 현재 날짜와의 차이를 통해 달력을 이동하여 특정 달 화면으로 이동합니다. input_year = input("년도를 입력하세요. : ") input_month = input("월을 입력하세요. :.. 웹 크롤링으로 iOS 앱스토어 리뷰 Excel에 저장하기 (With Python) 웹 크롤링으로 iOS 앱스토어 리뷰를 뽑아 엑셀에 자동 저장하여 편하게 리뷰 항목들을 볼 수 있는 코드입니다. 앱스토어 리뷰는 1~10페이지까지 리뷰 목록을 xml 형식으로 볼수 있습니다. https://itunes.apple.com/kr/rss/customerreviews/page=1/id=742186886/sortby=mostrecent/xml 뽑으려고 하는 앱 id는 앱스토어 URL에서 검색 후 확인할 수 있습니다. xml URL을 호출하여 find_all()로 뽑으려고 하는 데이터의 태그 데이터를 모두 추출합니다. for k in range(1, 11): #page 1~10까지 크롤링 url = 'https://itunes.apple.com/kr/rss/customerreviews/page=' +.. 웹 크롤링으로 플레이스토어 리뷰 Excel에 저장하기 (With Python) 웹 크롤링으로 플레이스토어 리뷰를 뽑아 엑셀에 자동 저장하여 편하게 리뷰 항목들을 볼 수 있는 코드입니다. 리뷰 목록을 보기 위해서 리뷰 상세로 진입해야 하는데 리뷰 상세로 진입하기 위해 find_elements로 찾은 후 버튼 클릭으로 진입하였습니다. elements = driver.find_elements(By.CLASS_NAME, 'VfPpkd-Bz112c-LgbsSe.yHy1rc.eT1oJ.QDwDD.mN1ivc.VxpoF') #리뷰 상세로 진입하기 위한 class elements[2].click() #3번째 항목이 리뷰 상세로 진입하기 위한 버튼 time.sleep(2) 리뷰 상세로 진입한 후 스크롤을 내려야 목록이 추가로 보여서 스크롤을 내리기 위해 여러 방법을 찾아봤는데 쉽지 않았습니다 ㅠㅠ.. 버거킹 설문조사 Selenium으로 자동화하기 버거킹 설문조사를 하면 무료 세트 업그레이드를 할 수 있는데 설문조사 항목도 많고 귀찮을 때가 많습니다. 이걸 자동화하면 편리하게 사용할 수 있을거 같아서 코드로 작성하였습니다. 버거킹 설문조사 항목을 보면 2가지 케이스로 나눌수 있는데 항목 중 하나를 선택하는 케이스와 만족도를 조사하는 케이스로 나눌 수 있습니다. 공통점을 찾아 반복되는 코드를 2가지 함수로 구분하였습니다. def menuClick(ID): #메뉴 버튼 클릭 함수 driver.find_element(By.ID, ID).click() driver.find_element(By.ID, 'NextButton').click() time.sleep(2) def radioClick(num): #라디오 버튼 클릭 함수 for i in range(1,.. Selenium Chromedriver 파일 설치 없이 사용하기 예전에는 Chrome 버전에 맞게 ChromeDriver 파일을 다운로드하여 해당 경로에 있는 ChromeDriver를 실행하였는데 버전을 맞춰야 하는 번거로움이 있었습니다. 해당 문제점을 개선하기 위해 Selenium 사용 중 ChromeDriver 파일을 설치할 필요 없이 최신 버전으로 실행 시킬 수 있습니다. 1. webdriver / webdriver_manager 라이브러리 설치 2. 라이브러리 사용 from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager 3. Crhomedriver 실행 코드 작성 .. 이전 1 2 3 4 다음
