[Python] 1. 데이터 수집하기 (한국전력거래소 시간별 전력수요량 데이터 수집, 데이터 랭글링)

 

 

 

 

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

 

 

 

 

2, 3편은 이후 게시글 참고 바랍니다.

 

 

2023.12.02 - [IT/Python] - [Python] 2. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Python-mariaDB 연결, 데이터 랭글링)

 

[Python] 2. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Pyth

 

 

 

2023.12.04 - [IT/Python] - [Python] 3. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Python-mariaDB 연결, 데이터 랭글링)

 

[Python] 3. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Pyth

 

 

 

 

 

 

 

 

<  한국전력거래소 시간별 전력수요량 데이터 수집  >

 

 

 

 

 [수집 위치]

 

https://www.data.go.kr/data/15065266/fileData.do

한국전력거래소_시간별 전력수요량_20211231

 

 

 [수집 파일]

 

한국전력거래소_시간별 전력수요량_20211231.csv

 

 

 

 

 

작성 코드

 

"""
<한국전력거래소 시간별 전력수요량 데이터 수집>
 - 수집위치 : data.go.kr
"""

 

 

import pandas as pd

 

 

### 데이터 불러들이기
# - 데이터프레임 변수명 : df
file_path = "./01_data/한국전력거래소_시간별 전력수요량_20211231.csv"
df = pd.read_csv(file_path, encoding="euc-kr")

 

df

 

 

 

 

 

결측데이터 확인 

 

 

### 결측데이터 확인해보기
df.info()

 

 

 

 

 

 

이상치 데이터 확인

 

### 이상치 데이터 확인하기
df.describe()

 

 

 

 

 

 

 

컬럼명 추출하기

 

### 컬럼명의 시간을 데이터화하기 위하여
# - 컬럼명 추출하기
col_list = df.columns
col_list

 

 

 

 

 

 

 

 

1.  3개의 열(년도, 시간, 전력량)을 가지는 데이터프레임 생성하기

 

 

result_df = pd.DataFrame(columns = ["년도", "시간", "전력량"])
result_df

 

 

 

 

 

col_list[0]

 

col_list[1:]

 

 

 

 

 

 

데이터프레임에 데이터 행단위 추가하기

 

 

### 데이터프레임에 데이터 행단위 추가하기
for index, row in df.iterrows() :
    # print(row)
    ### 년도 데이터
    ymd  = row[col_list[0]]
    
    ### 시간과 전력량 데이터
    data = row[col_list[1:]]
    # print(data)

    ### 시간과 전력걍을 각각 추출하여 데이터프레임에 넣기
    # - 넣을 값 : 날짜, 시간, 전력량
    for time, value in data.items():
        # print(ymd, "/", time, "/", value)

        ### 행단위로 데이터프레임에 추가하기 위해서 임시로 데이터프레임 생성
        df_temp = pd.DataFrame({"년도":[ymd], "시간":[time], "전력량":[value]})

        ### 데이터프레임에 행단위로 추가하기
        # - concat() : 데이터프레임과 데이터프레임을 행단위 
        #              또는 컬럼단위(axis=1)로 추가할 때 사용
        # - ignore_index=True : 행이 추가될 때 행 인덱스 번호를 자동증가 시키기
        #                     : 기본값 False
        result_df = pd.concat([result_df, df_temp], axis=0, ignore_index=True)
### 최종 결과 출력하기
result_df

 

 

 

 

 

 

 

정제된 데이터 파일로 저장하기

 

 

### 저장할 경로 지정
save_path = "./01_data/new_data.csv"

### index=False : 인덱스 번호값은 저장하지 않기(기본값 True)
result_df.to_csv(save_path, index=False)