[Python] 조선일보 사이트 '전기세' 키워드 기사 제목 수집 웹크롤링 (데이터 전처리 및 시각화 워드클라우드 시각화)

 

 

 

 

 

 

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

 

 

이전 관련글 (Daum 다음 영화 사이트 데이터 수집 웹크롤링)

 

 

2023.12.08 - [IT/Python] - [Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

[Python] 1. Daum 다음 영화 사이트 데이터 수집 웹크롤링

 

 

 

 

 

 

 

<  조선일보 사이트 '전기세' 키워드 기사 제목 수집 웹크롤링  >

 

 

 

 

 

 

수집데이터

기사제목

 

 생성할 데이터

워드클라우드

 

 

 

 

URL

 

https://www.chosun.com/

조선일보 - 1등 디지털뉴스

 

 

 

 

 

 

조선일보 > 전기세 검색 > 기사 제목 위치의 데이터 수집

 

 

 

 

 

 

 

 

 

 

 

 

In [64]:

### 설치 필요  : pip install selenium
# 동적 웹페이지 처리를 위한 라이브러리
from selenium import webdriver

# 웹페이지 내에 데이터 추출을 위한 라이브러리
from selenium.webdriver.common.by import By

# 시간 라이브러리 추가
import time

 

In [38]:

### 크롬 브라우저 띄우기
# - 브라우저 컨트롤
driver = webdriver.Chrome()

### url을 이용하여 페이지 접근
# - get() : 페이지에 접근 후 해당 html 코드 읽어 들이기
# - driver 객체가 모든 정보를 가지고 있음


#전기세
driver.get("https://www.chosun.com/nsearch/?query=%EC%A0%84%EA%B8%B0%EC%84%B8&page=1&siteid=&sort=1&date_period=&date_start=&date_end=&writer=&field=&emd_word=&expt_word=&opt_chk=false&app_check=0&website=www,chosun&category=")

 

In [39]:

# 조선일보 뉴스 제목
### 전기세

import time
from selenium import webdriver
from selenium.webdriver.common.by import By

try:
    # 크롬 브라우저 띄우기
    driver = webdriver.Chrome()

    driver.implicitly_wait(10)  # 10초로 설정, 필요에 따라 조절

    # 페이지 수 조절 (원하는 페이지 수로 변경 가능)
    total_pages = 114

    for page in range(1, total_pages + 1):
        # url을 이용하여 페이지 접근
        url = f"https://www.chosun.com/nsearch/?query=%EC%A0%84%EA%B8%B0%EC%84%B8&page={page}&siteid=&sort=1&date_period=&date_start=&date_end=&writer=&field=&emd_word=&expt_word=&opt_chk=false&app_check=0&website=www,chosun&category="
        driver.get(url)

        # 영화제목 위치 경로
        news_cho_path = "#main > div.search-feed > div > div > div.story-card.story-card--art-left.\|.flex.flex--wrap.box--hidden-sm > div.story-card-right.\|.grid__col--sm-8.grid__col--md-8.grid__col--lg-8.box--pad-left-xs > div.story-card__headline-container.\|.box--margin-bottom-xs > div > a"

        
        # 현재 크롬브라우저에 보이는 영화제목 모두 추출
        news_cho_elements = driver.find_elements(By.CSS_SELECTOR, news_cho_path)

        # 수집된 데이터를 파일에 저장
        with open("./data/news_cho_price.txt", "a", encoding="UTF-8") as f:
            for i, title_element in enumerate(news_cho_elements):
                title = title_element.text.strip()
                print(f"No[{i + 1}] / title[{title}] on page[{page}]")
                f.write(f"No[{i + 1}] / title[{title}] on page[{page}]\n")

                # 페이지 로딩 및 코드 읽어들이는 시간을 벌어주기
                time.sleep(1)


        ### 영화 한편에 대한 정보 수집이 끝나면 다시 메인으로 이동
        # - execute_script() : 자바스크립트 문법 처리 함수
        driver.execute_script("window.history.go(-2)")
        time.sleep(1)



except Exception as e:
    print(e)

finally:
    # 웹크롤링 처리가 모두 완료되면 driver 종료
    driver.quit()

 

 

No[1] / title[장근석, 올해도 팬들과 연탄 기부+봉사활동..6년간 꾸준한 선행] on page[1]
No[2] / title[장근석, 올해도 팬들과 연탄 기부+봉사활동..6년간 꾸준한 선행] on page[1]
No[3] / title[[서울AI허브 2024] 바비디, 기업 분석 돕는 금융 AI 어시스턴트 제공] on page[1]
No[4] / title['♥김보성' 아내, 돌반지 팔아가며 생활고 견뎌…"애들한테 미안"] on page[1]
No[5] / title[尹 대통령에게 눈물의 고충 쏟아낸 서민들] on page[1]
No[6] / title[2시간 동안 고충 쏟아낸 서민들, 일부는 눈물] on page[1]
No[7] / title[A02면] on page[1]

# 중략


N

 

In [7]:

# 워드클라우드

from konlpy.tag import Okt
from collections import Counter
from wordcloud import WordCloud
import matplotlib.pyplot as plt

# 텍스트 파일 열기
with open('./data/news_cho_price.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()
    news_titles = ' '.join(lines)

# 형태소 분석
okt = Okt()
nouns = okt.nouns(news_titles)
count = Counter(nouns)

# 불용어 제거
remove_char_counter = Counter({x : count[x] for x in count if len(x) > 1})

# 워드클라우드 생성
wordcloud = WordCloud(font_path='C:/Windows/Fonts/malgun.ttf', background_color='white', width=800, height=800).generate_from_frequencies(remove_char_counter)

# 워드클라우드 출력
plt.figure(figsize=(10, 10))
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis('off')

### 저장하기
plt.savefig("./img/조선일보_전기세_워드클라우드_시각화.png")

plt.show()

 

 

 

In [ ]:

 

In [ ]: