[Python] 2. Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화 막대그래프, 점(분포) 그래프)

 

 

 

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

 

 

 

1편은 이전 게시글 참고 바랍니다.

 

2023.12.08 - [IT/Python] - [Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

[Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

 

 

 

 

 

 

 

<  Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화)  >

 

 

 

 

 

 

수집데이터

영화제목, 평점, 댓글

 

 생성할 데이터

긍정/부정

 

 

 

 

 

URL

 

https://movie.daum.net

HOME

 

 

 

 

 

라이브러리 정의

 

 

### 라이브러리 정의
# - 행렬데이터 처리 라이브러리
import pandas as pd

 

 

 

 

 

<  외부 파일 읽어들이기  >

 

file_path = "./data/movie_reviews.txt"
df_org = pd.read_csv(file_path, 
                     ### 구분자 알려주기
                     delimiter="\t",
                     names=["title", "score", "comment", "label"])
df_org

### 제목 : "title", 평점 : "score", 리뷰 : "comment", 긍정/부정 현황 : "label")

 

 

 

 

 

 

 

 

데이터 정보 확인 : 결측치 확인

 

### 데이터 정보 확인 : 결측치 확인
df_org.info()

 

 

 

 

 

 

 

 

 

기초통계 확인 : 데이터

 

 

### 기초통계 확인 : 데이터
df_org.describe()

 

 

 

 

 

 

 

 

 

평점(score) 현황 데이터 확인

 

 

### 평점(score) 현황 데이터 확인
df_org["score"].value_counts()

 

 

 

 

 

 

 

 

 

긍정/부정 현황 데이터 확인

 

### 긍정/부정 현황 데이터 확인
df_org["label"].value_counts()

 

 

 

 

 

 

 

중복데이터 확인하기

 

### 중복데이터 확인하기
# - keep=False : 중복된 모든행 체크(중복이 있으면 True, 없으면 False)
df_org[df_org.duplicated(keep=False) == True]

 

 

 

 

 

 

 

 

중복 제거하기

 

### 중복 데이터 추출하기
# - 중복 중에 하나는 제외하고 나머지 중복만 추출
df_del = df_org[df_org.duplicated() == True]
len(df_org[df_org.duplicated() == True])

 

### 중복제거하기
df_new = df_org.drop_duplicates()
len(df_new)
df_new.info()

 

 

 

 

 

 

 

 

 

<  데이터 탐색하기  >

 

 

영화 제목만 추출하기

 

### 영화 제목만 추출하기
df_new["title"].unique()

 

 

 

 

 

 

영화 제목별 리뷰 갯수 현황 확인하기

 

 

### 영화 제목별 리뷰 갯수 현황 확인하기
df_new["title"].value_counts()

 

 

 

 

 

 

 

 

 

 

각 영화별 펑점 기초통계 확인하기

 

 

### 각 영화별 펑점 기초통계 확인하기
# - 영화제목별 평점에 대한 그룹집계하기
movie_info = df_new.groupby("title")["score"].describe()

### 기초통계 행단위 데이터 내림차순 정렬하기
movie_info = movie_info.sort_values(by=["count"], axis=0, ascending=False)
movie_info

 

 

 

 

 

 

 

 

 

<  데이터 시각화  >

 

 

 

라이브러리

 

 

### 시각화 라이브러리
import matplotlib.pyplot as plt

### 폰트 설정 라이브러리
from matplotlib import font_manager, rc

 

 

 

폰트 설정

 

### 한글폰트 설정
plt.rc("font", family="Malgun Gothic")

### 마이너스 기호 설정
plt.rcParams["axes.unicode_minus"] = False

 

 

 

 

<  영화별 평점 평균 시각화  >

 

 

영화별 평점 평균이 가장 큰 영화는 orange색으로,
나머지는 lightgrey 색으로 표현

 

 

### 평점 평균 계산을 위해 사용
import numpy as np

 

 

 

 

영화제목을 리스트 타입으로 받아오기

 

### 영화제목을 리스트 타입으로 받아오기
"""
 - array() : 넘파이(numpy)에서 사용하는 배열(파이썬의 리스트와 동일)
           : 단, 하나의 타입만 저장 가능합니다.
                 이외 사용법은 파이썬의 리스트와 동일
"""
# - unique() : numpy의 배열 타입으로 반환함
# - tolist() : 파이썬의 리스트 타입으로 변환하는 함수
movie_title = df_new["title"].unique().tolist()
# movie_title

### 영화별 평점 평균 추출하기
# - 평점평균값을 저장할 딕셔너리 변수 선언
avg_score = {}

for m_title in movie_title:
    ### 평점 평균 계산하여 딕셔너리에 넣기
    avg = df_new[df_new["title"] == m_title]["score"].mean()
    # print(f"평점평균 : {avg}")


    ### 딕셔너리에 담기
    # key는 제목, value는 평점평균값
    avg_score[m_title] = avg

print(f"딕셔너리 최종값 : {avg_score}")

 

 

 

 

 

 

 

막대그래프 그리기

 

 

### 영화별 평점평균 시각화
# - 그래프 너비와 높이 지정
plt.figure(figsize=(20, 20))

# - 그래프 제목
plt.title("영화별 평점 평균 막대그래프", fontsize=17, fontweight="bold")

### 각 영화별 평점 평균 막대그래프 그리기
for k, v in avg_score.items():
    ### 컬러값 지정하기
    # - array_str() : 문자열로 변환하는 함수
    # - where() : 파이썬에서 if문과 동일한 조건문
    # - where(조건, 참, 거짓) : 조건이 참이면 첫번째 값, 거짓이면 두번째 값 처리
    color = np.array_str(np.where(v==max(avg_score.values()), "orange", "lightgrey"))
    # print(color)

    # 막대 그래프 그리기
    plt.bar(k, v, color=color)

    ### 막대 그래프 상단에 평점평균 텍스트 표시하기
    # - "%.2f"%v : 표시할 값 (소숫점 2자리까지 표현)
    plt.text(k, v, "%.2f"%v, horizontalalignment="center",
                             verticalalignment="bottom")

### x축과 y축 제목 넣기
plt.xlabel("영화제목" , fontweight="bold")
plt.ylabel("평점평균" , fontweight="bold")

### x축의 값 각도 조절하기
plt.xticks(rotation = 75)

### 그래프를 이미지로 저장시키기
# - savefig() 함수는 plt.show() 전에 수행되어야 합니다.
plt.savefig("./img/영화별 평점 평균 막대그래프.png")

plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

점(분포) 그래프 그리기

 

각 영화별 평점 분포도 그리기
 - 하나의 큰 그래프 안에 10개의 그래프를 넣어서 표현
  --> 이를 subplot이라고 칭합니다.

 

 

 

### 각 영화별 평점 분포도 그리기
# - 하나의 큰 그래프 안에 10개의 그래프를 넣어서 표현
#  --> 이를 subplot이라고 칭합니다.
# - 5행 2열의 subplot 생성하여 구현하기
# - subplots(행갯수, 열갯수, 전체 그래프 크기)
# - fig : 큰 그래프 정보
# - axs : 5행 2열의 내부 그래프 공간 정보
fig, axs = plt.subplots(5, 2, figsize=(15, 25))

### 여러개의 그래프를 for문을 이용해서 표현하고자 할대 아래 먼저 수행
# - flatten() : 틀 정렬하기 -> 5행 2열의 틀을 정렬하기
axs = axs.flatten()

### 각 그래프를 행렬 공간의 subplot에 넣기
for title, avg, ax in zip(avg_score.keys(), avg_score.values(), axs):
    # print(f"{title} / {score} / {ax}")
    
    ### x축에는 영화 리뷰 갯수, y축에는 평점평균
    ### 리뷰 갯수 추출하기
    num_reviews = len(df_new[df_new["title"] == title])
    # - arange(num) : 0부터 num까지의 값을 순차적으로 만들기
    x = np.arange(num_reviews)
    # print(f"x ------> {x}")

    ### y축에는 평점 추가
    y = df_new[df_new["title"] == title]["score"]
    # print(f"y--------- {y}")

    ### 각 그래프에 제목 넣기
    subtitle = f"{title} ({num_reviews}명)"
    ax.set_title(subtitle, fontsize=15, fontweight="bold")

    ### 점 그래프 그리기
    # - "o" : 점으로 표현하는 마커 기호
    ax.plot(x, y, "o")

    ### 각 영화별 평점평균을 빨강색 점선(line)으로 표시하기
    # - axhline() : 각 subplot 공간에 수평선 그리기
    ax.axhline(avg, color="red", linestyle="--")


plt.savefig("./img/각 영화별 평점 분포도.png")

    

plt.show()