본문 바로가기

728x90

분류 전체보기

(49)
주요 서점 주간 베스트 20위까지 데이터 엑셀에 자동화로 저장하기 종종 인터넷에서 책을 구매할 때 사이트별로 베스트셀러 순위를 자주 확인합니다. (인기있는 책을 먼저 읽어보는 걸 좋아합니다.) 베스트셀러를 살펴보면 주요 사이트 별로 비슷하거나 다른 경우도 많은데요. 가끔씩 보다가 해당 데이터를 공부도 할겸 자동화로 뽑아보면 재밌을 거 같아서 구현해보았습니다. 데이터는 주간 베스트 20위까지 데이터를 뽑아보고 사이트는 교보문고, 영풍문고, yes24, 알라딘 주요 서점 사이트 4곳으로 선정하였습니다. 서점별로 각 엑셀 시트에 저장하기 위해 서점 제목으로 시트를 각각 생성하였습니다. # Workbook 생성 wb = Workbook() # 서점별 시트 생성 wb.create_sheet(index=0, title="교보문고") wb.create_sheet(index=1, t..
Python Excel 파일에 데이터 저장하는 방법 (With openpyxl) Python으로 자동화를 하다보면 데이터를 Excel에 저장하는 경우가 있습니다. 유형에 따라 한번에 저장하는 경우도 있고 하나씩 저장하는 경우도 있는데 빠르게 자주 사용하는 3가지를 소개합니다. 1. 특정 시트에 추가하는 방법 시트 변수['원하는 위치'] = 추가할 데이터 # 특정 시트에 추가 ws['A1'] = '특정 시트에 추가' ws['D4'] = '하하' ws['B2'] = 123456 2. 리스트 형태로 추가하는 방법 시트 변수.append('리스트') find_elements로 여러 데이터를 추출하였을 때 자주 사용하는 방법입니다. 마지막 데이터가 있는 위치 다음 행에 데이터가 추가됩니다. (예: 4번째 행까지 데이터가 있는 경우 3번째 행이 비어 있어도 5번째 행에 데이터가 추가) # 리스..
버거킹 설문조사 exe 실행파일로 자동화 사용하기 버거킹 설문조사 Selenium을 사용하여 자동화해서 편리하게 사용하고 있었는데요. https://autoshovel.tistory.com/6 버거킹 설문조사 Selenium으로 자동화하기 버거킹 설문조사를 하면 무료 세트 업그레이드를 할 수 있는데 설문조사 항목도 많고 귀찮을 때가 많습니다. 이걸 자동화하면 편리하게 사용할 수 있을거 같아서 코드로 작성하였습니다. 버거 autoshovel.tistory.com 코드를 실행하기 위해 Python + Selenium 환경을 세팅해야 하는 단점이 있어서 많은 사람이 이용을 하지 못하는 부분이 있었습니다. 이 부분을 해결하기 위해 GUI를 통해 파일로 실행하도록 개선을 시도하였습니다. GUI 환경은 python 내 내장되어 있는 tkinter 라이브러리를 사용..
파파이스 설문조사 Selenium으로 자동화하기 예전에 파파이스를 자주 먹었던 기억이 있는데 최근에 동네에 파파이스 매장이 새로 생긴걸 알게되었습니다!! 파파이스 영수증도 보니 버거킹, KFC 처럼 메뉴 업그레이드 설문조사가 있는걸 확인하고 Selenium으로 자동화를 구현해 보았습니다. 파파이스는 다른 브랜드와 다르게 코드 입력없이 QR 코드를 찍고 바로 설문조사를 할 수 있는 방식이었습니다. 아마 매장별로 QR 코드가 있는듯 하여 자주가는 매장에 QR 코드 URL을 뽑아서 한번 설정하면 계속 사용할 수 있지 않을까 생각됩니다. (만약 이게 아니면 효율성이 떨어져서 자동화 공부만 한 셈이 되겠네요 ㅠㅠ) 파파이스 설문 조사에서는 3가지 화면으로 구분하여 구현하였습니다. 3가지 화면 모두 화면이 넘어가는 시간이 필요하다고 생각하여 3초 sleep 코드..
아파트 경매 목록 자동화로 추출하여 엑셀에 저장하기 올해 집에 대해 관심이 더욱 많아지면서 부동산 관련 유투브나 뉴스를 많이 찾아보게 됩니다. 나만의 집을 구매하기 위해 돈을 모으면서 서울, 경기 등 수도권 지역 내 아파트들 시세를 검색하는데 그 중 경매로 넘어간 아파트들도 많이 찾아보게 됩니다. (운만 좋으면 경매에서 좋은 아파트를 살 수 있기 때문!!) 그래서 요즘 생긴 하루 일과가 네이버 부동산 내 경매 목록을 매일 들어가게 되는데요. 자동화 공부 겸 이 데이터 목록을 추출해보면 어떨까 해서 구현을 해보았습니다. 추출하려고 하는 데이터는 네이버 부동산에서 뽑기 위해 부동산 URL을 사용하였습니다. driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) driver.get..
설날 연휴 KTX 좌석 남아있는거 자동화로 확인하기 지난 추석에 KTX 예매를 실패하여 고속버스를 타고 왔는데 버스로 가도 길이 막혀서 훨씬 오래 걸렸던 기억이 있습니다. 그래서 이번 설날에는 KTX 예매를 꼭 성공하겠다고 했는데 또 시간을 놓쳐서 이미 대부분 예매가 꽉찬걸 확인했습니다 ㅠㅠ 매번 KTX 좌석 현황을 볼 수 없기에 좀 더 편리하게 자동화로 구현해보면 어떨까 생각해서 시도해보았습니다. 네이버 지도웹에 기차시간표를 확인할 수 있어서 필요한 날짜와 경로를 적은 URL을 바로 호출하도록 구현하였습니다. (저는 설날 연휴 중 1월 23일 광주송정역 -> 용산역으로 가는 경로를 URL로 선택하였습니다.) driver = webdriver.Chrome(service=Service(ChromeDriverManager().install())) # 원하는 ..
네이버부동산 특정날짜 주요뉴스 목록 추출하기 내집 마련을 위해 돈을 모으면서 뉴스를 찾아서 보게되는데요. 요즘은 금리 인상으로 집값 하락에 대한 뉴스가 많아 시장 흐름을 알기 위해 부동산 뉴스를 많이 보게 됩니다. 부동산이나 경제 뉴스를 찾아 보게 되는데 그러다 뉴스를 자동화로 추출해서 정리하면 좋을듯 하여 공부도 할겸 구현을 해보았습니다. 네이버 부동산 URL을 보니 URL 마지막에 날짜 형식으로 되어 있는 걸 확인할 수 있었습니다. 그래서 console로 특정날짜를 YYYYMMDD 형식으로 입력하여 특정 날짜 뉴스 목록 URL로 이동할 수 있게 구현하였습니다. # 날짜 입력 input_day = input("날짜를 입력하세요. : ") driver = webdriver.Chrome(service=Service(ChromeDriverManager..
네이버 뉴스 기사 모든 댓글 자동화로 추출하여 엑셀로 저장하기 네이버 랭킹 뉴스를 들어가서 일부 기사의 댓글을 보는 경우 댓글 수가 너무 많아서 한번에 확인하기 어려운 경우가 있습니다. 네이버뉴스 기사의 모든 댓글을 확인할 수 있게 자동화하여 엑셀로 저장하는 코드를 작성해보았습니다. 뉴스 제목을 엑셀 시트 제목으로 저장하기 위해 추출하였습니다. 30자가 넘는 경우 경고 알림이 뜨기 때문에 30자 넘는 경우에는 30자에서 자른 후에 엑셀에 저장할 수 있도록 코드를 구현하였습니다. # 뉴스 제목 news_title = driver.find_element(By.ID, 'title_area').text # 제목이 너무 긴 경우 30자로 제한 if len(news_title) > 30: news_title = news_title[:30] # 시트 타이틀 설정 ws.title..

728x90