[Python] 3. Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화 원형 그래프)

 

 

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

 

 

 

1, 2편은 이전 게시글 참고 바랍니다.

 

2023.12.08 - [IT/Python] - [Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

[Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

 

 

2023.12.11 - [IT/Python] - [Python] 2. Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화 막대그래프, 점(분포) 그래프)

[Python] 2. Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화 막대그래프, 점(

 

 

 

 

 

 

 

<  Daum 다음 영화 사이트 데이터 수집 웹크롤링 (데이터 전처리 및 시각화)  >

 

 

 

 

 

 

수집데이터

영화제목, 평점, 댓글

 

 생성할 데이터

긍정/부정

 

 

 

 

 

URL

 

https://movie.daum.net

HOME

 

 

 

 

 

<  원형 그래프 그리기  >

 

 

 

 

긍정, 부정, 기타에 대한 원형 그래프 시각화하기

 

 

### 긍정, 부정, 기타에 대한 원형 그래프 시각화하기
# - 비율이 가장 높은 경우 : pink색, 두번째 : gold색, 세번째 : whitesmoke색으로 표현
# - subplot 사용
fig, axs = plt.subplots(5, 2, figsize=(15,25))

axs = axs.flatten()

## 빈도 비율별 색상 정의
colors = ["pink", "gold", "whitesmoke"]

### 라벨 정의
labels_dict = {0 : "부정(1~4점)", 1 : "긍정(8~10점)", 2: "기타(5~7점)"}

### 평점 평균에 대한 원형 그래프 그리기
for title, ax in zip(avg_score.keys(), axs) :
    ### 영화별 건수 필터링하기
    num_reviews = len(df_new[df_new["title"]==title])
    # print(f"num_reviews = {num_reviews}")

    ### label 컬럼의 범주별로 갯수 필터링하기
    values = df_new[df_new["title"]==title]["label"].value_counts()
    # print(f"values = {values

    ### 원형 그래프에 표시할 라벨값 정의하기
    # - 영화별로 긍정 또는 부정 또는 기타 중에 하나라도 없으면 처리가 필요함
    label_list = df_new[df_new["title"]==title]["label"].unique()
    labels = []
    for k in label_list :
        ### 영화별 실제 존재하는 긍정/부정/기타 라벨 정의하기
        labels.append(labels_dict[k])

    ### 각 그래프 제목 넣기
    ax.set_title(f"{title} ({num_reviews}명)", fontsize=15)

    ### 원형(pie) 그래프 그리기
    ax.pie(values,
           # 원형그래프에 표시할 라벨 지정
           labels = labels,
           # 원형 그래프에 표시할 값의 소숫점 자리수 지정
           autopct = "%1.1f%%",
           # 원형 그래프 각 영역의 색상 지정
           colors=colors,
           # 그림자 효과 지정하기
           shadow=True,
           # 그래프의 시작위치를 12시 방향으로
           startangle=90)

### 이미지 저장하기
plt.savefig("./img/긍정_부정_원형그래프_시각화.png")

plt.show()

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

최종 전처리된 데이터는 파일로 관리하기

 

### 최종 전처리된 데이터는 파일로 관리하기
# - 파일명 df_new.csv, 인덱스는 포함하지 않기
# - 저장 위치 : data 폴더
df_new.to_csv("./data/df_new.csv" , index=False)