[Python] Jupyter Notebook 데이터 전처리 기초(엑셀 파일 불러오기)

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

<판다스(pandas)>

 - 행렬 데이터를 처리하기 위한 다양한 함수를 지원하는 라이브러리
 - 파일 읽기, 저장, 행렬데이터 처리, 기본시각화 등 지원
 - 데이터 전처리 과정에서 주로 사용됨

 

<데이터 분석과정>

 데이터 수집 > 데이터 전처리 > 데이터 가공(필요시 전처리) >
 데이터 분석 탐색/시각화(필요시 전처리) > 필요시 모델 훈련(머신러닝 or 딥러닝) >
 웹서비스 또는 분석보고서
 * 일반적으로 책에서는 : 데이터수집 > 전처리 > 분석 > 시각화로 설명하고 있음
 * 분석과정은 회사에 따라 다름

 

 

< 데이터 수집 시 확인 사항>

 - 날짜 확인 : 기준일로 사용
 - 범주형 데이터 확인 : 예로 남자 또는 여자와 같은 데이터

 

 

 

1.  데이터 읽어들이기

 

 

[  파일 위치 지정  ]

 

### 파일 위치 지정
file_path = "./files/sample_1.xlsx"

 

 

 

[  파일 데이터 추출하기  ]

 

### 파일 데이터 추출하기
# - 첫번째 : 파일 지정(위치 포함)
# - 두번째 : 컬럼명으로 사용할 행의 위치 (디폴트 0)
# - 세번째 : 행의 가장 밑에서부터 포함하지 않을 행의 갯수 (디폴트 0)
# - 네번째 : 가지고 올 열의 범위(A:C A부터 C까지의 열) (디폴트 데이터가 있는 모든 열)
sample_1 = pd.read_excel(file_path,
                         header=1,
                         skipfooter=2,
                         usecols="A:C")

 

sample_1

 

 

[  결과  ]

 

 

 

 

 

 

[  데이터 정보 확인하기  ]

 

### 데이터프레임 정보 확인하기
# - DataFrame 타입 : 행렬을 저장 관리하는 타입
# - (중요) info() 함수는 데이터의 결측치(nan, nulll) 데이터 확인 가능
# - RangeIndex : 전체 행(row)의 갯수
# - 전체 행의 갯수와 각 컬럼의 갯수(Non-Null)가 안 맞으면 -> 결측 데이터가 존재한다는 의미
sample_1.info()

 

 

 

[  결과  ]

 

 

 

 

 

[  데이터 행/열이 많은 경우  ]

### 데이터프레임 출력
# - 데이터 행/열이 많은 경우 -> 기본 상위 5개, 하위 5개를 추출해서 보여줌
# - 데이터 행/열의 갯수가 작으면 모두 보여줌
sample_1

 

 

[  결과  ]

 

 

 

 

 

[  head() : 상위 데이터 조회할 때  ]

 

### head() : 상위 데이터 조회할 때
sample_1.head()
sample_1.head(1)

 

 

 

 

 

 

[  tail() : 하위 데이터 조회할 때  ]

 

### tail() : 마지막 데이터 확인 (기본 5개)
sample_1.tail()
sample_1.tail(1)

 

 

 

[  결과  ]

 

 

 

 

 

 

[  기초통계 데이터 describe()  ]

 

 

# - count : 데이터 행의 갯수
# - mean : 데이터 평균
# - std : 표준편차
# - min : 최소값
# - max : 최대값
# 25%, 50%, 75% : 4분위수 데이터(50% -> 중앙값)
#  -> 4분위수 데이터를 이용해서 이상치(이상한) 데이터 확인합니다.
# - 기초통계 데이터는 숫자값을 가지는 컬럼에 대해서만 확인

 

### 기초통계 데이터
# - count : 데이터 행의 갯수
# - mean : 데이터 평균
# - std : 표준편차
# - min : 최소값
# - max : 최대값
# 25%, 50%, 75% : 4분위수 데이터(50% -> 중앙값)
#  -> 4분위수 데이터를 이용해서 이상치(이상한) 데이터 확인합니다.
# - 기초통계 데이터는 숫자값을 가지는 컬럼에 대해서만 확인
sample_1.describe()

 

 

 

[  결과  ]

 

 

 

 

 

2.  데이터 조회하기

 

 

[  국적코드 데이터 조회하기  ]

 

### 국적코드 데이터 조회하기
sample_1["국적코드"]

 

 

 

 

 

 

[  타입 확인하기  ]

 

### 타입 확인하기
# Series: 튜플과 모양()이 같습니다.(사용법도 동일합니다.)
# {"국적코드" : (데이터, 데이터, ...)}
type(sample_1["국적코드"])

 

 

 

[  결과  ]

 

 

 

 

 

[  성별 데이터 조회하기  ]

 

### 성별 데이터 조회하기
sample_1["성별"]

 

 

[  결과  ]

 

 

 

 

sample_1[["성별"]]

 

 

 

 

 

 

[  타입 확인하기  ]

 

type(sample_1[["성별"]])

 

 

 

 

 

 

 

[  국적코드와 성별 모두 조회하기  ]

 

### 국적코드와 성별 모두 조회하기
sample_1[["국적코드", "성별"]]

 

 

[  결과  ]

 

 

 

 

 

3.  기준년월 컬럼 추가하기

 

 

### 2019-11 값을 추가하기
sample_1["기준년월"] = '2019-11'

 

sample_1

 

 

 

[  결과  ]

 

 

 

 

 

 

 

4. 데이터 필터링하기

 

### 성별 중에 여성인 데이터만 추출하기
condition = sample_1["성별"] == "여성"
condition

 

 

 

 

 

sample_1[condition == True]

 

 

 

 

 

sample_1[condition == False]

 

 

 

 

 

sample_1[(sample_1["성별"] == "여성") == True]

 

 

 

 

 

 

 

 

[  객체 주소 전달 방식  ]

 

# 객체 주소 전달 방식
# - 둘다 같은 곳을 바라봅니다.

 

### 객체 주소 전달 방식
# - 둘다 같은 곳을 바라봅니다.
sample_2 = sample_1

 

sample_2

 

 

 

 

 

 

 

[   메모리 복제 방식  ]

 

 

# copy() : 메모리 복제방식 (신규로 동일하게 생성됨)
# - 신규로 만들어진 메모리 주소를 받아옴(서로 영향 안받음)

 

 

### copy() : 메모리 복제방식 (신규로 동일하게 생성됨)
# - 신규로 만들어진 메모리 주소를 받아옴(서로 영향 안받음)
sample_2 = sample_1.copy()

 

sample_2