[Python] 머신러닝 04_선형회귀모델, 다항회귀모델(곡선)

 

 

 

 

 

 

 

 

 

프로그래밍 세계를 탐구합시다.

 

 

 

 

 

 

 

 

 

회귀모델 종류

 

 

선형회귀모델, 다항회귀모델, 다중회귀모델, 릿지, 라쏘, 랜덤포레스트, 그레디언트부스트, 히스토그램그레디언트부스트, XGBoost, 기타 등등

 

 

 주로 사용되는 회귀모델

릿지, 히스토그램그레디언트부스트, XGBoost

 

 

 

 

선형회귀모델(LR; Liner Regression Model)

 

 

### 모델 라이브러리 불러들이기
from sklearn.linear_model import LinearRegression

 

 

 

 

사용할 데이터

 

### 사용할 데이터
train_input, train_target, test_input, test_target

 

 

 

 

 

모델 생성하기

 

###모델 생성하기
lr = LinearRegression()
lr

 

 

 

 

 

 

 

모델 훈련시키기

 

### 모델 훈련시키기
lr.fit(train_input, train_target)

 

 

 

 

 

정확도

 

### 훈련 정확도
train_r2 = lr.score(train_input, train_target)

### 테스트(검증) 정확도
test_r2 = lr.score(test_input, test_target)

print(f"{train_r2} / {test_r2}")

### (해석)
# - 결정계수 확인 결과, 훈련이 > 테스트 결정계수보다 크기에 과소적합은 일어나지 않았으나,
# - 두 계수의 차이가 0.12로 과대적합이 의심됨

 

 

 

 

 

 

 

임의 데이터 예측하기

 

 

### KNN에서는 1033g을 예측했었음
lr.predict([[50]])

 

 

 

 

 

### 추세선(예측선이리고 합니다.)을 그리기 위한 계수값 추출하기
# - 직선의 방벙식 y = a * x + b
# - coef_ : 기울기(계수) -> a
# - intercept_ : 절편 -> b
lr.coef_, lr.intercept_

 

 

 

 

 

 

 

 

추세선 그리기

 

 

### 훈련데이터 산점도
plt.scatter(train_input, train_target)

### 예측값 산점도
plt.scatter(50, 1241.839, marker="^")

### 추세선
plt.plot([15, 50], [lr.coef_ * 15 + lr.intercept_,
                    lr.coef_ * 50 + lr.intercept_])
plt.grid()
plt.show()

 

 

 

 

 

 

 

 

 

### 훈련데이터 산점도
plt.scatter(train_input, train_target)

### 예측값 산점도
plt.scatter(50, 1241.839, marker="^")

### 추세선
plt.plot([0, 50], [lr.coef_ * 0 + lr.intercept_,
                    lr.coef_ * 50 + lr.intercept_])
plt.grid()
plt.show()

 

 

 

 

 

 

 

 

해석

 

 - 임의 값 예측 시 KNN보다는 성능이 좋은 예측이 가능하며,
 - 과적합이 발생하지 않는 일반화된 모델로 보여지나,
 - y절편의 값이 음수로 예측 시 음수의 데이터가 예측 될 가능성이 있는 모델로 보여짐
 - 종속변수 무게의 값은 0이하로 나올 수 없기에 예상치를 예측할 수 있는 모델로
 - 현재 사용하는 데이터를 예측하기에는 부적합한 모델로 여겨짐

 

 

 

 

 

다항회귀모델(곡선)

 

 - 데이터의 분포가 선형이면서 곡선을 띄는 경우에 사용됨
 - 곡선(포물선)의 방정식이 적용되어 있음
 - y = (a * x^2) + (b * x) + c
 - 독립변수는 2개가 사용됨 : x^2값과 x값

 

 

 

 

훈련 및 테스트데이터의 독립변수에 x^2값 추가하기

 

 

### 훈련 및 테스트데이터의 독립변수에 x^2값 추가하기
# - 훈련 독립변수
train_poly = np.column_stack((train_input**2, train_input))

# - 테스트 독립변수
test_poly = np.column_stack((test_input**2, test_input))

train_poly.shape, test_poly.shape

 

 

 

 

 

 

### 훈련 및 테스트 검증하고, 과적합 여부 확인해 주세요
### 임의의 값 길이 50으로 예측까지 해 주세요
### 모델 훈련시키기
lr.fit(train_poly, train_target)


### 정확도에 대한 용어 정의
# - 분류에서는 "정확도"라고 칭하며
# - 회귀에서는 "결정계수(R^2)"이라고 칭합니다.

### 훈련 정확도 확인하기
train_r2 = lr.score(train_poly, train_target)

### 테스트 정확도 확인하기
test_r2 = lr.score(test_poly, test_target)

"""
과적합 여부 확인 해석
 - 0.007 정도의 과소적합(훈련 < 검증)이 발생
"""
print(f"훈련 결정계수={train_r2} / 테스트 결정계수={test_r2}")

"""임의 값 길이 50으로 예측하기"""
pred = lr.predict([[50**2, 50]])
print(f"길이 50 예측 결과 : {pred}")

 

 

 

 

 

 

추세선 그리기

 

"""
추세선 그리기
 - 추세선을 그리기 위해서는 곡선의 방정식에 사용할 계수 a, b와 절편 c를 알아야 합니다.
 
"""
print(f"계수 = {lr.coef_} / 절편 = {lr.intercept_}")

a = lr.coef_[0]
b = lr.coef_[1]
c = lr.intercept_
print(f"a={a}, b={b}, c={c}")

 

 

 

 

"""추세선 그리기"""

plt.scatter(train_input, train_target)
plt.scatter(50, pred[0], marker="^")

### 추세선
# - 추세선이 사용할 x축값 지정(0~50까지의 순차적인 값 사용)
point = np.arange(0, 51)
plt.plot(point, a*point**2 + b*point + c)

plt.grid()
plt.show()

(해석)
 - 선형회귀모델의 경우에는 음의 절편값이 나타내는 모델이었으나,
   다항회귀모델의 경우에는 이를 해소할 수 있었음
   단, 길이(x)가 10 이하의 독립변수는 사용하면 안 됨
 - 다항회귀모델의 훈련 및 테스트 결정계수의 결과 미세한 과소적합을 보이고 있으나,
   사용가능한 모델로 판단됨
 - 선형회귀모델에 비하여 독립변수들이 전체적으로 추세선에 가깝게 위치하고 있기에
   오차가 적은 모델이라고 판단됨

 

 

 

 

 

 

 

과소 / 과대 적합을 해소하기 위한 방법

 

 

- 데이터 양(row데이터, 행)을 늘릴 수 있는지 확인
  - 분석 모델이 좀 더 집중해서 훈련할 수 있도록 -> 특성(독립변수)를 추가하는 방법 확인
    -> 특성을 추가(늘리는)하는 방법은 "특성공학" 개념을 적용
    -> 특성을 늘려서 사용하는 모델로 다중회귀모델이 있음
    -> 특성을 늘린다는 의미는 훈련의 복잡도를 증가시킨다고 표현하며,
       복잡도가 증가되면, 훈련의 집중력이 강해지게 됨
  - 복잡도를 늘리는 방법으로는 규제 방법이 있음
    -> 규제를 하는 하이퍼파라메터 속성을 이용하는 방식으로
    -> 릿지와 라쏘 회귀모델 방식이 있음
  - 이외 다른 회귀모델을 사용하여 비교

  -- 특성 => 컬럼, 필드, 퓨처 모두 같은 의미
  -- 데이터 처리 분야에서는 컬럼 또는 필드라고 칭하며,
     머신러닝에서는 특성이라고 칭하며,
     딥러닝에서는 퓨처라고 칭합니다.