[Python] 2. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Python-mariaDB 연결, 데이터 랭글링)

 

 

 

 

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

 

 

 

 

<한국전력거래소 시간별 전력수요량 데이터 수집>

 

 

 

 

 

 

 

 

1편은 이전 게시글 참고 바랍니다.

 

 

2023.12.01 - [IT/Python] - [Python] 1. 데이터 수집하기 (한국전력거래소 시간별 전력수요량 데이터 수집, 데이터 랭글링)

[Python] 1. 데이터 수집하기 (한국전력거래소 시간별 전력수요량 데이터 수집, 데이터 랭글링)

 

 

 

3편은 이후 게시글 참고 바랍니다.

 

2023.12.04 - [IT/Python] - [Python] 3. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Python-mariaDB 연결, 데이터 랭글링)

[Python] 3. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Pyth

 

 

 

 

 

 

<  2. 데이터베이스 테이블에 저장하기  >

 

### 사용할 라이브러리
import pandas as pd

 

 

 

데이터 읽어들이기

 

file_path = "./01_data/new_data.csv"
df = pd.read_csv(file_path)
df

 

 

 

 

 

 

테이블 설계하기

 

- 테이블명, 컬럼명, 컬럼타입, null 여부에 대한 정의가 필요함
 (산출물)
  - 테이블정의서
  - ERD
  - 스크립트명세서

 

 

 

테이블 정의서 엑셀 파일 작성 

 

 

 

 

 

 

스크립트 명세서(SQL) 작성 (word)

 

 

 

 

 

 

 

 

Heidi SQL 코드 작성

 

 

 

 

 

결과 

 

 

 

 

 

 

 

 

데이터 저장 시에 유용한 라이브러리

 

 - sqlalchemy

 - 설치 : pip install sqlalchemy

 

 - pymysql

 

 - 설치 : conda install -c conda-forge pymysql

 

 - 설치 : pip install pymysql

 

 

 

 

 

 

from sqlalchemy import create_engine
import pymysql

 

 

 

DB 연결하기

 

### 연결정보 작성
db_connection_info = "mysql+pymysql://유저ID:비밀번호@localhost:3306/db이름"

### Database 커넥션(연결)하기
db_connection = create_engine(db_connection_info)
db_connection

 

 

 

 

 

 

데이터프레임의 컬럼명 수정하기

 

### 데이터프레임의 컬럼명을 테이블의 컬럼명과 같게 수정
# - 데이터프레임의 컬럼명 수정하기
df.columns = ["ymd", "time", "power"]
df

# - 특정 컬럼명만 수정하고자 할 때
# df.colums = [{"년도" : "ymd"}]

 

 

 

 

 

 

데이터 저장하기

 

 

- name : 테이블명

- con : DB 접속정보

- index : 데이터프레임의 인덱스값을 포함할지 여부(True 포함, False 미포함)

- if_exists
     * append : 데이터를 기존 테이블에 추가
     * fail   : 아무 동작 하지 않기
     * replace : 동일한 테이블이 존재하면 기존 테이블을 삭제하고 새로운 데이터로 저장

 

 

### 데이터 저장하기
# - name : 테이블명
# - con : DB 접속정보
# - index : 데이터프레임의 인덱스값을 포함할지 여부(True 포함, False 미포함)
# - if_exists
#      * append : 데이터를 기존 테이블에 추가
#      * fail   : 아무 동작 하지 않기
#      * replace : 동일한 테이블이 존재하면 기존 테이블을 삭제하고 새로운 데이터로 저장
df.to_sql(name="time_power_demand",
          con=db_connection,
          index=False,
          if_exist="append")

 

 

 

 

 

 

 

데이터베이스 자원 반환  (접속 끊기)

 

### 연결 종료하기
db_connection.dispose()

 

 

 

 

데이터베이스 연결

 

### 접속 정보
# - 접속 ID or 도메인
host = "localhost"
# - 사용자계정
user = "사용자계정"
# - 패스워드
password = "패스워드"
# - 데이터베이스명
db = "데이터베이스명"
# - 한글처리
charset = "utf8"
# - 조회 시 컬럼명을 동시에 보여줄 지 여부 결정
cursorclass = pymysql.cursors.DictCursor
# - 자동반영
autocommit = True

 

 

### DB 접속하기
try :
    conn = pymysql.connect(host=host,
                           user=user,
                           password=password,
                           db=db,
                           charset=charset,
                           autocommit=autocommit,
                           cursorclass=cursorclass)
    print("DB접속 성공 >>>", conn)
except :
    print("DB Server Checking...")

 

 

 

 

 

커서 받아오기

 

### 커서 받아오기
cur = conn.cursor()
cur

 

 

 

 

 

 

 

Select 문 생성 후 DB에게 요청 및 응답 받기

 

### Select 문 생성 후 DB에게 요청 및 응답 받기
sql = " Select * From time_power_demand "
rs_cnt = cur.execute(sql)
print(f"{rs_cnt}건이 조회되었습니다.")

 

 

 

 

 

 

 

 

데이터 반납

 

try :
    cur.close()
    conn.close()
except :
    print("이미 모든 커서와 접속정보가 반납되었습니다.")