[Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

728x90

프로그래밍 세계를 탐구합시다.

< 다음 영화 사이트 웹크롤링 >

수집데이터

영화제목, 평점, 댓글

생성할 데이터

긍정/부정

URL

https://movie.daum.net

HOME

Daum영화에서 자세한 내용을 확인하세요!

movie.daum.net

다음영화 > 랭킹 > 박스오피스 > 월간 위치의 데이터 수집

웹크롤링 라이브러리

- 정적인 웹크롤링을 할 경우 : BeautifulSoup
   : 하나의 페이지에 보이는 부분만 수집할 때 사용

- 동적인 웹크롤링을 할 경우 : selenium
   : 클릭과 같은 이벤트 등 페이지 전환을 하면서 수집할 때 사용

selenium 설치

설치 필요 : pip install selenium

### 설치 필요  : pip install selenium
# 동적 웹페이지 처리를 위한 라이브러리
from selenium import webdriver

# 웹페이지 내에 데이터 추출을 위한 라이브러리
from selenium.webdriver.common.by import By

# 시간 라이브러리 추가
import time

Daum 페이지 열기

코드를 작성하고 실행하면 페이지가 오픈됩니다.

### 크롬 브라우저 띄우기
# - 브라우저 컨트롤
driver = webdriver.Chrome()

### url을 이용하여 페이지 접근
# - get() : 페이지에 접근 후 해당 html 코드 읽어 들이기
# - driver 객체가 모든 정보를 가지고 있음
driver.get("https://movie.daum.net/ranking/boxoffice/monthly")

[평점] 탭에서 리뷰 -> 펼치기 [더 보기] 없이 진행

웹크롤링 처리가 모두 완료되면 driver 종료해야 합니다. (꼭!!!)

driver.quit()

영화 제목의 위치 저장

- 크롬브라우저 > F12(개발자 모드) > 영화 제목 마우스 우클릭 > [검사] 클릭 > a 태그에 마우스 위치 후 우클릭 > Copy > Copy selector 클릭

영화 평점의 위치 저장

- 크롬브라우저 > F12(개발자 모드) > 영화 제목 마우스 우클릭 > [검사] 클릭 > a 태그에 마우스 위치 후 우클릭 > Copy > Copy selector 클릭

try:
    ### 크롬 브라우저 띄우기
    # - 브라우저 컨트롤
    driver = webdriver.Chrome()
    
    ### url을 이용하여 페이지 접근
    # - get() : 페이지에 접근 후 해당 html 코드 읽어 들이기
    # - driver 객체가 모든 정보를 가지고 있음
    driver.get("https://movie.daum.net/ranking/boxoffice/monthly")
    
    ### 제목이 있는 부분의 HTML 태그 경로(패스) 추출하기
    # - 크롬브라우저 > F12(개발자 모드) > 영화 제목 마우스 우클릭 > [검사] 클릭
    #   > a 태그에 마우스 위치 후 우클릭 > Copy > Copy selector 클릭
    # - 해당 제목의 위치 저장됨
    
    ### a 태그 위치 경로
    movie_path = "#mainContent > div > div.box_boxoffice > ol > li > div > div.thumb_cont > strong > a"
    
    #mainContent > div > div.box_boxoffice > ol > li:nth-child(1)(:nth-child(1) 삭제) > div > div.thumb_cont > strong > a
    
    ### 현재 크롬브라우저에 보이는 영화제목 모두 추출하기
    # - find_element() : 한건 조회, find_elements() : 여러건 조회(리스트 타입으로 반환)
    # - By.CSS_SELECTOR : CSS 스타일 경로를 인식할 수 있도록 지정
    movie_elements = driver.find_elements(By.CSS_SELECTOR, movie_path)
    # print(f"movie_elements Length = {len(movie_elements)}")
    # print(f"title[0] => {movie_elements[0].text}")
    # print(f"title[0] => {movie_elements[1].text}")
    # print(f"movie_elements(제목) = {movie_elements}")


    ### -------------------------------

    ### 수집데이터 txt 파일로 저장시키기
    f = open("./data/movie_reviews.txt","w",encoding="UTF-8")
    

    ### -------------------------------
    ### 제목 10개만 추출하기
    for i in range(10) :
        title = movie_elements[i].text.strip()
        print(f"No[{i}] / title[{title}] Start ----------->>>")

        ### 제목을 클릭시켜서 상세 페이지로 이동하기
        # - 마우스로 제목을 클릭하는 행위와 동일한 코드
        # - click() 이벤트 발생
        movie_elements[i].click()

        ### 상세페이지로 접근했다라는 정보를 받아오기
        # - 실제 상세페이지에 접근
        # - window_handles : 페이지가 열릴때마다 리스트타입으로 윈도우 정보를 순서대로 가지고 있는 객체
        #                  : -1은 마지막에 접근한 페이지를 의미함
        movie_handle = driver.window_handles[-1]
        # - 새로 열린 페이지로 전환하기
        driver.switch_to.window(movie_handle)

        ### 페이지 로딩 및 코드 읽어들이는 시간을 벌어주기
        time.sleep(1)

        ### --------------------------------
        ### [평점] 탭 클릭 이벤트 발생시키기
        tab_score_path = "#mainContent > div > div.box_detailinfo > div.tabmenu_wrap > ul > li:nth-child(4) > a"
        ### a태그 정보 가지고 오기
        tab_score_element = driver.find_element(By.CSS_SELECTOR, tab_score_path)
        ### [평점] 탭, 즉 a태그 클릭 이벤트 발생시키기
        tab_score_element.click()

        ### [평점] 페이지로 접근했다라는 정보를 받아오기
        tab_score_handle = driver.window_handles[-1]
        # - 새로 열린 페이지로 전환하기
        driver.switch_to.window(tab_score_handle)

        ### 페이지 로딩 및 코드 읽어들이는 시간을 벌어주기
        time.sleep(1)

        
        ### ------------------------------------
        ### [평점] 더보기 버튼을 클릭하여 모두 펼치기
        ### - 펼친 갯수 확인 변수
        more_view_cnt = 0

        ### 모두 펼치기(더보기) 수행
        while True :
            try:
                movie_view_path = ""
                more_view_element = driver.find_element(By.CSS_SELECTOR, more_view path)
                more_view_element.click()

                ### 더보기 클릭 후 -> 접근했다라는 정보를 가져오기
                movie_handle = driver.window_handles[-1]
                # - 새로 열린 페이지로 전환하기
                driver.switch_to.window(movie_handle)
        
                ### 페이지 로딩 및 코드 읽어들이는 시간을 벌어주기
                time.sleep(1)

                ### 더보기 클릭 횟수 확인을 위해 1씩 증가
                more_view_cnt += 1
                    
            except Exception as e :
                    ### 더이상 더보기 버튼이 보이지 않으면 오류 발생
                    # - 오류 발생 시점이 더보기 버튼이 끝나는 시점
                    break

        ### 더보기 클릭횟수 확인하기
        print(f"더보기 클릭 횟수 : [{more_view_cnt]")


        ### ------------------------
        ### 모든 평점 데이터 추출하기
        #comment922467050 > div > div.ratings.rating_10
        score_path = "ul.list_comment div.ratings"
        score_lists = driver.find_elements(By.CSS_SELECTOR, score_path)
        # print(f"평점 갯수 : {len(score_lists)}")

        ### 모든 리뷰 데이터 추출하기
        #comment922467050 > div > p
        comment_path = "ul.list_comment p.desc_txt"
        comment_lists = driver.find_elements(By.CSS_SELECTOR, comment_path)
        # print(f"리뷰 갯수 : {len(comment_lists)}")

        ### ----------------------
        ### 평점, 리뷰 추출하기
        # - 평점을 이용하여 긍정/부정 값 생성하기
        for j in range(len(score_lists)):
            ### 평점 추출하기
            score = score_lists[j].text.strip()

            ### 리뷰 추출하기
            comment = comment_lists[j].text.strip().replace("\n", "")

            ### 평점을 이용해서 긍정/부정 데이터 생성
            # - 긍정 : 평점이 8 이상인 경우로, 긍정값은 1 사용
            # - 부정 : 평점이 4 이하인 경우로, 부정값은 0 사용
            # - 기타 : 나머지, 기타값은 2 사용
            label = 0
            if int(score) >= 8 :
                label = 1
            elif int(score) <= 4 :
                label = 0
            else :
                label = 2

            ### 각 영화 별 확인하기
            print(f"{title} \t{score} \t{comment} \t{label} \n")

            ### 파일에 쓰기
            f.write(f"{title}\t{score}\t{comment}\t{label}\n")

        ### -------------------------
        ### 영화 한편에 대한 정보 수집이 끝나면 다시 메인으로 이동
        # - execute_script() : 자바스크립트 문법 처리 함수
        driver.execute_script("window.history.go(-2)")
        time.sleep(1)
            

    ### 웹크롤링 처리가 모두 완료되면 driver 종료해야 함 (꼭!!!)
    # driver.quit()

except Exception as e :
    print(e)

    ### 파일 자원 닫기
    f.close()

    ### 웹크롤링 처리가 모두 완료되면 driver 종료해야 함 (꼭!!!)
    driver.quit()

finally :
    ### 파일 자원 닫기
    f.close()
    
    ### 웹크롤링 처리가 모두 완료되면 driver 종료해야 함 (꼭!!!)
    driver.quit()

[평점] 탭에서 리뷰 -> 펼치기 [더 보기] 클릭하여 진행

try:
    ### 크롬 브라우저 띄우기
    # - 브라우저 컨트롤
    driver = webdriver.Chrome()
    
    ### url을 이용하여 페이지 접근
    # - get() : 페이지에 접근 후 해당 html 코드 읽어 들이기
    # - driver 객체가 모든 정보를 가지고 있음
    driver.get("https://movie.daum.net/ranking/boxoffice/monthly")
    
    ### 제목이 있는 부분의 HTML 태그 경로(패스) 추출하기
    # - 크롬브라우저 > F12(개발자 모드) > 영화 제목 마우스 우클릭 > [검사] 클릭
    #   > a 태그에 마우스 위치 후 우클릭 > Copy > Copy selector 클릭
    # - 해당 제목의 위치 저장됨
    
    ### a 태그 위치 경로
    movie_path = "#mainContent > div > div.box_boxoffice > ol > li > div > div.thumb_cont > strong > a"
    
    #mainContent > div > div.box_boxoffice > ol > li:nth-child(1)(:nth-child(1) 삭제) > div > div.thumb_cont > strong > a
    
    ### 현재 크롬브라우저에 보이는 영화제목 모두 추출하기
    # - find_element() : 한건 조회, find_elements() : 여러건 조회(리스트 타입으로 반환)
    # - By.CSS_SELECTOR : CSS 스타일 경로를 인식할 수 있도록 지정
    movie_elements = driver.find_elements(By.CSS_SELECTOR, movie_path)
    # print(f"movie_elements Length = {len(movie_elements)}")
    # print(f"title[0] => {movie_elements[0].text}")
    # print(f"title[0] => {movie_elements[1].text}")
    # print(f"movie_elements(제목) = {movie_elements}")


    ### -------------------------
    ### 수집데이터 txt 파일로 저장시키기
    f = open("./data/movie_reviews.txt","w",encoding="UTF-8")
    

    ### -------------------------------
    ### 제목 10개만 추출하기
    for i in range(10) :
        title = movie_elements[i].text.strip()
        print(f"No[{i}] / title[{title}] Start ----------->>>")

        ### 제목을 클릭시켜서 상세 페이지로 이동하기
        # - 마우스로 제목을 클릭하는 행위와 동일한 코드
        # - click() 이벤트 발생
        movie_elements[i].click()

        ### 상세페이지로 접근했다라는 정보를 받아오기
        # - 실제 상세페이지에 접근
        # - window_handles : 페이지가 열릴때마다 리스트타입으로 윈도우 정보를 순서대로 가지고 있는 객체
        #                  : -1은 마지막에 접근한 페이지를 의미함
        movie_handle = driver.window_handles[-1]
        # - 새로 열린 페이지로 전환하기
        driver.switch_to.window(movie_handle)

        ### 페이지 로딩 및 코드 읽어들이는 시간을 벌어주기
        time.sleep(1)

        ### --------------------------------
        ### [평점] 탭 클릭 이벤트 발생시키기
        tab_score_path = "#mainContent > div > div.box_detailinfo > div.tabmenu_wrap > ul > li:nth-child(4) > a"
        ### a태그 정보 가지고 오기
        tab_score_element = driver.find_element(By.CSS_SELECTOR, tab_score_path)
        ### [평점] 탭, 즉 a태그 클릭 이벤트 발생시키기
        tab_score_element.click()

        ### [평점] 페이지로 접근했다라는 정보를 받아오기
        tab_score_handle = driver.window_handles[-1]
        # - 새로 열린 페이지로 전환하기
        driver.switch_to.window(tab_score_handle)

        ### 페이지 로딩 및 코드 읽어들이는 시간을 벌어주기
        time.sleep(1)

        
        ### ------------------------------------
        ### [평점] 더보기 버튼을 클릭하여 모두 펼치기
        ### - 펼친 갯수 확인 변수
        more_view_cnt = 0

        ### 모두 펼치기(더보기) 수행
        while True :
            try:
                more_view_path = "#alex-area button.link_fold"
                more_view_element = driver.find_element(By.CSS_SELECTOR , more_view_path)
                more_view_element.click()
                
                ### 새로 열린 페이지 전환하기 # 새로 열린 페이지 핸들링해서 지정하기
                more_view_handle = driver.window_handles[-1]
                driver.switch_to.window(more_view_handle)
                time.sleep(1)

                # 더 보기 클릭 횟수 확인을 위해 1 씩 증가
                more_view_cnt += 1
                
                ### 임시로 cnt갯수 2개만
                if more_view_cnt ==2:
                    break
                
            except Exception as e:
                ### 더 이상 더 보기 버튼이 보이지 않으면 오류 발생
                # - 오류 발생 시점이 더 보기 버튼이 끝나는 시점
                break
                
        ### 더 보기 클릭횟수 확인하기
        print(f'더 보기 클릭 횟수:  {more_view_cnt}')


        ### ------------------------
        ### 모든 평점 데이터 추출하기
        #comment922467050 > div > div.ratings.rating_10
        score_path = "ul.list_comment div.ratings"
        score_lists = driver.find_elements(By.CSS_SELECTOR, score_path)
        # print(f"평점 갯수 : {len(score_lists)}")

        ### 모든 리뷰 데이터 추출하기
        #comment922467050 > div > p
        comment_path = "ul.list_comment p.desc_txt"
        comment_lists = driver.find_elements(By.CSS_SELECTOR, comment_path)
        # print(f"리뷰 갯수 : {len(comment_lists)}")

        ### ----------------------
        ### 평점, 리뷰 추출하기
        # - 평점을 이용하여 긍정/부정 값 생성하기


        ### 평점 또는 리뷰 데이터가 없을 수 있기에
        # - 두개 리스트의 갯수 중 작은 값을 사용
        # - 평점 또는 리뷰가 없으면, 수집에서 제외
        for_cnt = 0
        if len(score_lists) < len(comment_lists) :
            for_cnt = len(score_lists)
        elif len(score_lists) > len(comment_lists) :
            for_cnt = len(comment_lists)
        else :
            for_cnt = len(score_lists)
            
        for j in range(for_cnt):
            ### 평점 추출하기
            score = score_lists[j].text.strip()

            ### 리뷰 추출하기
            comment = comment_lists[j].text.strip().replace("\n", "")

            ### 평점을 이용해서 긍정/부정 데이터 생성
            # - 긍정 : 평점이 8 이상인 경우로, 긍정값은 1 사용
            # - 부정 : 평점이 4 이하인 경우로, 부정값은 0 사용
            # - 기타 : 나머지, 기타값은 2 사용
            label = 0
            if int(score) >= 8 :
                label = 1
            elif int(score) <= 4 :
                label = 0
            else :
                label = 2

            ### 각 영화 별 확인하기
            print(f"{title} \t{score} \t{comment} \t{label} \n")

            ### 파일에 쓰기
            f.write(f"{title}\t{score}\t{comment}\t{label}\n")

        ### -------------------------
        ### 영화 한편에 대한 정보 수집이 끝나면 다시 메인으로 이동
        # - execute_script() : 자바스크립트 문법 처리 함수
        driver.execute_script("window.history.go(-2)")
        time.sleep(1)
            

    ### 웹크롤링 처리가 모두 완료되면 driver 종료해야 함 (꼭!!!)
    # driver.quit()

except Exception as e :
    print(e)

    ### 파일 자원 닫기
    f.close()

    ### 웹크롤링 처리가 모두 완료되면 driver 종료해야 함 (꼭!!!)
    driver.quit()

finally :
    ### 파일 자원 닫기
    f.close()
    
    ### 웹크롤링 처리가 모두 완료되면 driver 종료해야 함 (꼭!!!)
    driver.quit()

728x90

저작자표시 비영리 변경금지

'IT > Python' 카테고리의 다른 글

[Python] 3. Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화 원형 그래프) (0)	2023.12.12
[Python] 2. Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화 막대그래프, 점(분포) 그래프) (1)	2023.12.11
[Python] 3. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (막대그래프 히스토그램, histplot) (2)	2023.12.07
[Python] 2. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (히트맵 heatmap) (1)	2023.12.06
[Python] 1. 포항시 BIS 교통카드 사용내역 데이터 수집 (교통데이터 수집, 가공, 시각화) (4)	2023.12.05

🦖 ITyranno 아이티라노

[Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

< 다음 영화 사이트 웹크롤링 >

수집데이터

생성할 데이터

웹크롤링 라이브러리

selenium 설치

Daum 페이지 열기

[평점] 탭에서 리뷰 -> 펼치기 [더 보기] 없이 진행

[평점] 탭에서 리뷰 -> 펼치기 [더 보기] 클릭하여 진행

'IT > Python' 카테고리의 다른 글

티스토리툴바

[Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

< 다음 영화 사이트 웹크롤링 >

수집데이터

생성할 데이터

웹크롤링 라이브러리

selenium 설치

Daum 페이지 열기

[평점] 탭에서 리뷰 -> 펼치기 [더 보기] 없이 진행

[평점] 탭에서 리뷰 -> 펼치기 [더 보기] 클릭하여 진행

'IT > Python' 카테고리의 다른 글

관련글

티스토리툴바