[Python] 1. 포항시 BIS 교통카드 사용내역 데이터 수집 (교통데이터 수집, 가공, 시각화)

728x90

프로그래밍 세계를 탐구합시다.

2,3 편은 아래 게시글 참고 바랍니다.

2023.12.06 - [IT/Python] - [Python] 2. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (히트맵 heatmap)

[Python] 2. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (히트맵 heatmap)

프로그래밍 세계를 탐구합시다. 1편은 아래 게시글 참고 바랍니다. 2023.12.05 - [IT/Python] - [Python] 1. 포항시 BIS 교통카드 사용내역 데이터 수집 (교통데이터 수집, 가공, 시각화) [Python] 1. 포항시 BIS

ityranno.tistory.com

2023.12.07 - [IT/Python] - [Python] 3. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (막대그래프 히스토그램, histplot)

[Python] 3. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (막대그래프 히스토그램, histplot)

프로그래밍 세계를 탐구합시다. 1,2편은 이전 게시글 참고 바랍니다. 2023.12.05 - [IT/Python] - [Python] 1. 포항시 BIS 교통카드 사용내역 데이터 수집 (교통데이터 수집, 가공, 시각화) [Python] 1. 포항시 BIS

ityranno.tistory.com

< 1. 포항시 BIS 교통카드 사용내역 데이터 수집 >

< 분석 주제 >

- 대주제 : 포항시 버스 이용량 분석

- 소주제

   (버스 이용량 분석)
   * 기준월 및 기준일자별 버스 이용량 분석 비교
   * 기준일 및 시간대별 버스 이용량 분석 비교
   * 기준시간 및 시간(분)별 버스 이용량 분석 비교

   (버스 내 체류시간 분석)
   * 기준월 및 기준일자별 버스 체류시간 분석 비교
   * 기준일 및 기준일자별 버스 체류시간 분석 비교
   * 기준시간 및 시간(분)별 버스 체류시간 분석 비교

   * 승하차정류장 구간별 버스 내 체류시간
    - 체류시간(분) 상위 30건 분석 비교

- URL : 국가교통 데이터 오픈마켓

국가교통 데이터 오픈마켓 (bigdata-transportation.kr)

국가교통 데이터 오픈마켓

www.bigdata-transportation.kr

파일 이름 변경

각각 파일로 압축을 풉니다.

다운로드받은 파일 중 첫 번째 파일의 이름 뒤에 (0)을 붙입니다.

라이브러리 정의

### 라이브러리 정의
import pandas as pd

< 한 건 샘플링하기 >

- 여러 개의 파일 데이터를 통합하는 경우에는
- 한 개 파일을 기준으로 사용할 컬럼을 정의하여 가공 후
- 반복 처리하면 편합니다.

0번 파일의 csv 데이터 읽어들이기

### 0번 파일의 csv 데이터 읽어들이기
# - 데이터프레임 이름 : df_bus_cart_org

file_path = "./01_data/org/trfcard(0)/trfcard.csv"
df_bus_card_org = pd.read_csv(file_path)
df_bus_card_org

결측치가 있는지 정보 확인하기

### 결측치가 있는지 정보 확인하기
df_bus_card_org.info()

기초통계확인 : 이상치 데이터 확인하기

### 기초통계확인 : 이상치 데이터 확인하기
df_bus_card_org.describe

< 영문 컬럼명을 한글로 수정하기 >

메타정의서의 영문명, 한글명 컬럼 읽어들이기

### 메타정의서의 영문명, 한글명 컬럼 읽어들이기
# - 데이터프레임 이름 : df_bus_cart_col_org
file_path = "./01_data/org/trfcard(0)/trfcard_columns.xlsx"
df_bus_card_col_org = pd.read_excel(file_path,
                                    header=2,
                                    usecols="B:C")
df_bus_card_col_org.head(1)

df_bus_cart_col_org의 데이터를 딕셔너리로 변환하기

### 컬럼명의 이름을 매핑하여 변경하기 위해서는
# - 컬럼명의 값을 key : value 딕셔너리 타입으로 정의해야 함
# 예시 : {영문명 : 한글명, 영문명 : 한글명....}
### df_bus_cart_col_org의 데이터를 딕셔너리로 변환하기
# - iloc[행번호, 열번호] : 인덱스 번호를 이용하는 방식
print(df_bus_card_col_org.iloc[0, 0])
print(df_bus_card_col_org.iloc[0, 1])
print(df_bus_card_col_org.iloc[1, 0])
print(df_bus_card_col_org.iloc[1, 1])
print("-------------")

# - loc[행값, 열값] : 눈에 보이는 인덱스 값을 이용하는 방식
print(df_bus_card_col_org.loc[0, "컬럼명 (영문)" ])
print(df_bus_card_col_org.loc[0, "컬럼명 (한글)" ])

df_bus_card_col_org 데이터프레임을 딕셔너리로 변환

### df_bus_card_col_org 데이터프레임을 딕셔너리로 변환
# - 딕셔너리 변수명 : df_bus_card_col_new_dict
# - 영문명은 key로, 한글명은 value로 만들어 주세요.
# 예시 : {'on_date" : '승차시각', 'off-date' : '하차시각' ...}

# df_bus_cart_col_org 데이터프레임을 딕셔너리로 변환
df_bus_card_col_new_dict = {}
for k, v in zip(df_bus_card_col_org.iloc[:, 0], df_bus_card_col_org.iloc[:, 1]) :
    # print(k, v)
    df_bus_card_col_new_dict[k] = v

df_bus_card_col_new_dict

컬럼명 변경하기

### 컬럼명 변경하기
# df_bus_card_org = df_bus_card_org.rename(columns = df_bus_card_col_new_dict)
df_bus_card_org.rename(columns = df_bus_card_col_new_dict, inplace=True)

< 분석 주제 >

- 대주제 : 포항시 버스 이용량 분석
- 소주제
   (버스 이용량 분석)
   * 기준월 및 기준일자별 버스 이용량 분석 비교
   * 기준일 및 시간대별 버스 이용량 분석 비교
   * 기준시간 및 시간(분)별 버스 이용량 분석 비교

   (버스 내 체류시간 분석)
   * 기준월 및 기준일자별 버스 체류시간 분석 비교
   * 기준일 및 기준일자별 버스 체류시간 분석 비교
   * 기준시간 및 시간(분)별 버스 체류시간 분석 비교

   * 승하차정류장 구간별 버스 내 체류시간
    - 체류시간(분) 상위 30건 분석 비교

< 분석을 위한 데이터 가공하기 >

승차시각과 하차시각 데이터 타입을 문자열로 변환하기

### 데이터프레임 복제하기
df_bus_card_kor = df_bus_card_org.copy()

### 승차시각과 하차시각 데이터 타입을 문자열로 변환하기
# - astype() : 데이터 형변환 함수
df_bus_card_kor = df_bus_card_kor.astype({"승차시각" : "str",
                                          "하차시각" : "str"})
df_bus_card_kor.info()

분석에 필요한 컬럼 추출하기

### 분석에 필요한 컬럼 추출하기
df_bus_card = df_bus_card_kor[["승차시각", "하차시각", "승객연령", "환승여부",
                               "추가운임여부", "승차정류장", "하차정류장"]].copy()
df_bus_card.head()

승차시각과 하차시각의 데이터타입을 날짜타입으로 변경하기

### 승차시각과 하차시각의 데이터타입을 날짜타입으로 변경하기
df_bus_card["승차시각"] = pd.to_datetime(df_bus_card_kor.loc[:, "승차시각"])
df_bus_card["하차시각"] = pd.to_datetime(df_bus_card_kor.loc[:, "하차시각"])
df_bus_card.info()

버스 내 체류시간(분단위) 컬럼만들기

### 버스 내 체류시간(분단위) 컬럼만들기
# - 컬럼명 : 버스내체류시간(분)
round((df_bus_card.iloc[0, 1] - df_bus_card.iloc[0, 0]).total_seconds()/60,2)

체류시간(분) 계산 및 컬럼 생성

df_bus_card["버스내체류시간(분)"] = round((df_bus_card["하차시각"] - \
                                   df_bus_card["승차시각"]).dt.total_seconds()/60,2)
df_bus_card

기준년도, 기준월, 기준일, 기준시간, 기준시간(분) 컬럼 생성하기

### 기준년도, 기준월, 기준일, 기준시간, 기준시간(분) 컬럼 생성하기
# - 기준년도
df_bus_card["기준년도"] = df_bus_card["승차시각"].dt.year
# - 기준월
df_bus_card["기준월"] = df_bus_card["승차시각"].dt.month
# - 기준일
df_bus_card["기준일"] = df_bus_card["승차시각"].dt.day
# - 기준시간
df_bus_card["기준시간"] = df_bus_card["승차시각"].dt.hour
# - 기준시간(분)
df_bus_card["기준시간(분)"] = df_bus_card["승차시각"].dt.minute

< 포항시 BIS 교통카드 사용내역 데이터 수집 >

분석 주제

- 대주제 : 포항시 버스 이용량 분석

- 소주제

   (버스 이용량 분석)
   * 기준월 및 기준일자별 버스 이용량 분석 비교
   * 기준일 및 시간대별 버스 이용량 분석 비교
   * 기준시간 및 시간(분)별 버스 이용량 분석 비교

   (버스 내 체류시간 분석)
   * 기준월 및 기준일자별 버스 체류시간 분석 비교
   * 기준일 및 기준일자별 버스 체류시간 분석 비교
   * 기준시간 및 시간(분)별 버스 체류시간 분석 비교

   * 승하차정류장 구간별 버스 내 체류시간
    - 체류시간(분) 상위 30건 분석 비교

- URL : 국가교통 데이터 오픈마켓

국가교통 데이터 오픈마켓 (bigdata-transportation.kr)

국가교통 데이터 오픈마켓

www.bigdata-transportation.kr

전체 파일 통합하기

[ 이전 게시글 한 건 샘플 프로세스를 활용하여 전체 파일 통합하기 ]

### 최종 통합 데이터프레임 이름 : df_bus_card_tot

from datetime import datetime

### 통합 시작 시간
start_date = datetime.today().strftime("%Y-%m-%d %H:%M:%S")


# Initialize an empty DataFrame to store the concatenated data
df_bus_card_tot = pd.DataFrame()

# 0~79까지 폴더에 접근하기 위한 반복 수행
for i in range(0, 80, 1) :
   ### 0번 파일의 csv 데이터 읽어들이기
   # - 데이터프레임 이름 : df_bus_cart_org

    file_path = f"./01_data/org/trfcard({i})/trfcard.csv"
    df_bus_card_org = pd.read_csv(file_path)

   # print(i, " / ", len(df_bus_card_org))
    ### 메타정의서의 영문명, 한글명 컬럼 읽어들이기
    # - 데이터프레임 이름 : df_bus_cart_col_org
    file_path = f"./01_data/org/trfcard({i})/trfcard_columns.xlsx"
    df_bus_card_col_org = pd.read_excel(file_path,
                                        header=2,
                                        usecols="B:C")
   # print(i, "/", len(df_bus_card_col_org))

        ### df_bus_card_col_org 데이터프레임을 딕셔너리로 변환
    # - 딕셔너리 변수명 : df_bus_card_col_new_dict
    # - 영문명은 key로, 한글명은 value로 만들어 주세요.
    # 예시 : {'on_date" : '승차시각', 'off-date' : '하차시각' ...}
    
    # df_bus_cart_col_org 데이터프레임을 딕셔너리로 변환
    df_bus_card_col_new_dict = {}
    for k, v in zip(df_bus_card_col_org.iloc[:, 0], df_bus_card_col_org.iloc[:, 1]) :
        # print(k, v)
        df_bus_card_col_new_dict[k] = v    
    
        ### 컬럼명 변경하기
    # df_bus_card_org = df_bus_card_org.rename(columns = df_bus_card_col_new_dict)
    df_bus_card_org.rename(columns = df_bus_card_col_new_dict, inplace=True)

    ### 데이터프레임 복제하기
    df_bus_card_kor = df_bus_card_org.copy()
    
    ### 승차시각과 하차시각 데이터 타입을 문자열로 변환하기
    # - astype() : 데이터 형변환 함수
    df_bus_card_kor = df_bus_card_kor.astype({"승차시각" : "str",
                                              "하차시각" : "str"})

    ### 분석에 필요한 컬럼 추출하기
    df_bus_card = df_bus_card_kor[["승차시각", "하차시각", "승객연령", "환승여부",
                                   "추가운임여부", "승차정류장", "하차정류장"]].copy()

    ### 승차시각과 하차시각의 데이터타입을 날짜타입으로 변경하기
    df_bus_card["승차시각"] = pd.to_datetime(df_bus_card_kor.loc[:, "승차시각"])
    df_bus_card["하차시각"] = pd.to_datetime(df_bus_card_kor.loc[:, "하차시각"])

    ### 체류시간(분) 계산 및 컬럼 생성
    df_bus_card["버스내체류시간(분)"] = round((df_bus_card["하차시각"] - \
                                       df_bus_card["승차시각"]).dt.total_seconds()/60,2)

    ### 기준년도, 기준월, 기준일, 기준시간, 기준시간(분) 컬럼 생성하기
    # - 기준년도
    df_bus_card["기준년도"] = df_bus_card["승차시각"].dt.year
    # - 기준월
    df_bus_card["기준월"] = df_bus_card["승차시각"].dt.month
    # - 기준일
    df_bus_card["기준일"] = df_bus_card["승차시각"].dt.day
    # - 기준시간
    df_bus_card["기준시간"] = df_bus_card["승차시각"].dt.hour
    # - 기준시간(분)
    df_bus_card["기준시간(분)"] = df_bus_card["승차시각"].dt.minute

    # print(f"{i} / {len(df_bus_card)}")

    df_bus_card_tot = pd.concat([df_bus_card_tot, df_bus_card], 
                                axis=0, ignore_index=True)


### 통합 종료 시간
end_date = datetime.today().strftime("%Y-%m-%d %H:%M:%S")

print(f"전체 실행 시간 ==> {start_date} ~ {end_date}")
print(f"df_bus_card_tot ==? {len(df_bus_card_tot)}")

### 최종 결과 확인하기 : 인덱스 번호 확인
df_bus_card_tot

통합 데이터프레임 저장시키기

저장 파일 위치 : all 폴더
저장 파일 명 : 데이터프레임 변수명과 동일하게
확장자 : csv

# 저장 파일 위치 및 파일명 설정
save_path = "./01_data/all/df_bus_card_tot.csv"

# df_bus_card_tot 데이터프레임을 CSV 파일로 저장
df_bus_card_tot.to_csv(save_path, index=False)

print(f"데이터프레임이 성공적으로 저장되었습니다. 파일 경로: {save_path}")

728x90

저작자표시 비영리 변경금지

'IT > Python' 카테고리의 다른 글

[Python] 3. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (막대그래프 히스토그램, histplot) (2)	2023.12.07
[Python] 2. 포항시 BIS 교통카드 사용내역 데이터 전처리 시각화 (히트맵 heatmap) (1)	2023.12.06
[Python] 3. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Python-mariaDB 연결, 데이터 랭글링) (4)	2023.12.04
[Python] 2. 데이터베이스 테이블에 저장하기 (한국전력거래소 시간별 전력수요량 데이터 수집, Python-mariaDB 연결, 데이터 랭글링) (4)	2023.12.02
[Python] 1. 데이터 수집하기 (한국전력거래소 시간별 전력수요량 데이터 수집, 데이터 랭글링) (6)	2023.12.01

🦖 ITyranno 아이티라노

[Python] 1. 포항시 BIS 교통카드 사용내역 데이터 수집 (교통데이터 수집, 가공, 시각화)

< 1. 포항시 BIS 교통카드 사용내역 데이터 수집 >

< 분석 주제 >

- 대주제 : 포항시 버스 이용량 분석

- 소주제

파일 이름 변경

라이브러리 정의

< 한 건 샘플링하기 >

0번 파일의 csv 데이터 읽어들이기

결측치가 있는지 정보 확인하기

기초통계확인 : 이상치 데이터 확인하기

< 영문 컬럼명을 한글로 수정하기 >

메타정의서의 영문명, 한글명 컬럼 읽어들이기

df_bus_cart_col_org의 데이터를 딕셔너리로 변환하기

df_bus_card_col_org 데이터프레임을 딕셔너리로 변환

컬럼명 변경하기

< 분석을 위한 데이터 가공하기 >

승차시각과 하차시각 데이터 타입을 문자열로 변환하기

분석에 필요한 컬럼 추출하기

승차시각과 하차시각의 데이터타입을 날짜타입으로 변경하기

버스 내 체류시간(분단위) 컬럼만들기

체류시간(분) 계산 및 컬럼 생성

기준년도, 기준월, 기준일, 기준시간, 기준시간(분) 컬럼 생성하기

< 포항시 BIS 교통카드 사용내역 데이터 수집 >

분석 주제

- 대주제 : 포항시 버스 이용량 분석

- 소주제

전체 파일 통합하기

통합 데이터프레임 저장시키기

'IT > Python' 카테고리의 다른 글

티스토리툴바

[Python] 1. 포항시 BIS 교통카드 사용내역 데이터 수집 (교통데이터 수집, 가공, 시각화)

< 1. 포항시 BIS 교통카드 사용내역 데이터 수집 >

< 분석 주제 >

- 대주제 : 포항시 버스 이용량 분석

- 소주제

파일 이름 변경

라이브러리 정의

< 한 건 샘플링하기 >

0번 파일의 csv 데이터 읽어들이기

결측치가 있는지 정보 확인하기

기초통계확인 : 이상치 데이터 확인하기

< 영문 컬럼명을 한글로 수정하기 >

메타정의서의 영문명, 한글명 컬럼 읽어들이기

df_bus_cart_col_org의 데이터를 딕셔너리로 변환하기

df_bus_card_col_org 데이터프레임을 딕셔너리로 변환

컬럼명 변경하기

< 분석을 위한 데이터 가공하기 >

승차시각과 하차시각 데이터 타입을 문자열로 변환하기

분석에 필요한 컬럼 추출하기

승차시각과 하차시각의 데이터타입을 날짜타입으로 변경하기

버스 내 체류시간(분단위) 컬럼만들기

체류시간(분) 계산 및 컬럼 생성

기준년도, 기준월, 기준일, 기준시간, 기준시간(분) 컬럼 생성하기

< 포항시 BIS 교통카드 사용내역 데이터 수집 >

분석 주제

- 대주제 : 포항시 버스 이용량 분석

- 소주제

전체 파일 통합하기

통합 데이터프레임 저장시키기

'IT > Python' 카테고리의 다른 글

관련글

티스토리툴바