[Python] 머신러닝 : split input data, test data

 앞의 내용 이어서...

 

앞의 내용은 사이킷런의 K-최근접 이웃 알고리즘을 이용하여 '도미와 빙어를 구별할 수 있는 머신러닝'을 만드는 것이었다.

해당 내용을 만들고 테스트를 해야하는데, 훈련으로 사용할 input data를 test data로 이용하는 것은 당연히 정답이 나올 수 밖에 없는 이상한 상황이다. 이러한 문제를 파악하고 현재 가지고 있는 데이터에서 훈련 세트(input data)와 테스트 세트(test data)로 나누기로해서 프로그램을 진행하기로 했다.

 

기존 코드는 이와 같다.

# 생선 분류 문제

# 도미 데이터
bream_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0]
bream_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0]

# 도미 데이터로 x,y 그래프 만들기
import matplotlib.pyplot as plt
plt.scatter(bream_length, bream_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()


# 빙어 데이터
smelt_length = [9.8, 10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
smelt_weight = [6.7, 7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

# 도미, 빙어 데이터로 그래프 만들기
plt.scatter(bream_length, bream_weight)
plt.scatter(smelt_length, smelt_weight)
plt.xlabel('length')
plt.ylabel('weight')
plt.show()


# 첫 번째 머신러닝 프로그램
# 각 길이 데이터는 길이 데이터끼리, 무게 데이터는 무게 데이터끼리 합침.
length = bream_length + smelt_length
weight = bream_weight + smelt_weight

# 이거 궁금 - 머신러닝 패키지인 사이킷런을 사용할 건데, 이 패키지는 2차원 리스트를 데이터로 사용함.
# 2차원 데이터로 만들어줌.
fish_data = [[l, w] for l, w in zip(length, weight)]
print(fish_data)

# 도미에 대한 35개의 데이터는 1로, 빙어에 대한 14개의 데이터는 0으로 측정하게 함.
fish_target = [1]*35 + [0]*14
print(fish_target)

# 머신러닝 훈련
# 사이킷런에서는 fit()메서드가 훈련 역할을 한다.
from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier()

# 주어진 데이터로 알고리즘을 훈련
kn.fit(fish_data, fish_target)

# score()메서드는 사이킷런에서 모델을 평가하는 메서드. 정확도를 나타냄. 0~1사이의 값을 반환.
# 1 : 모든 데이터를 정확히 맞혔다는 뜻
kn.score(fish_data, fish_target)

# 예측 - 결과는 1, 도미로 판단
kn.predict([[30, 600]])

print(kn._fit_X) #--> fish_data
print(kn._y) #--> fish_target

 

1. 추가한 코드

train_input = fish_data[:35]  # 0부터 34까지 input data
train_target = fish_target[:35]

test_input = fish_data[35:] # 35부터 끝까지 test data
test_target = fish_target[35:]


# input data로 알고리즘을 훈련
kn.fit(train_input, train_target)

# test data로 검사
kn.score(test_input, test_target)

kn.score(test_input, test_target)으로 한 결과가 1.0이 나오면 훈련된 코드에서 테스트 데이터가 도미인지 빙어인지 잘 구별하고 있다는 증거인데, 실제로는 0.0이 나왔다. 0.0은 훈련된 코드로 테스트 데이터가 무엇인지 하나도 정답을 맞추지 못하고 있다는 의미이다.

 

문제 발생 : 수정된 코드로 정답률 0%임.

문제 원인 : 훈련 데이터로 고른 train_input 데이터 35개가 모두 도미이고, test_input 데이터 14개는 모두 빙어이다. 그래서 정답을 맞추지 못하는 것이다.

문제 해결 : train_input, test_input 데이터로 나누기 전에 랜덤으로 데이터를 섞는다.

 

2. 수정 코드 : 넘파이 사용

import numpy as np

# 배열로 만들어줌. 파이썬 리스트를 배열로 바꾸기.
input_arr = np.array(fish_data)
target_arr = np.array(fish_target)

#print(fish_data)
#print(input_arr)
print(input_arr.shape) # (샘플 수, 특성 수) 출력함.

# seed() : 넘파이에서 난수를 생성하기 위한 정수 초깃값을 지정할 때 사용한다. 
# 랜덤 함수의 결과를 동일하게 재현하고 싶을 때 사용한다. 아래 코드는 초깃값을 항상 42로 설정해 둬서 랜덤 수가 항상 똑같이 나온다.
# arrange() : 일정한 간격의 정수 또는 실수 배열을 만든다. 기본 간격은 1이다. 수는 0부터 시작. 아래 코드는 0에서 48까지의 숫자 배열을 만듦.
# random.shuffle() : 주어진 배열을 섞음. 아래 코드는 0부터 48까지의 나타낸 배열을 섞음.
np.random.seed(42)
index = np.arange(49)
np.random.shuffle(index)

print(index)  # index[0]은 13

train_input = input_arr[index[:35]]
train_target = target_arr[index[:35]]

test_input = input_arr[index[35:]]
test_target = target_arr[index[35:]]

# 서로 값이 같은지 확인
print(input_arr[13], train_input[0])  

# input data로 알고리즘을 훈련
kn.fit(train_input, train_target)

# test data로 검사
kn.score(test_input, test_target)

 

kn.score(test_input, test_target)한 결과 1.0이 나온다.

해결 완료!