[머신러닝] 성능 평가

1. 성능 평가 기준

1) 분류 모델

- 대부분 binary 를 이야기 함. 0인지 1인지 예측

- 실제 값과 예측 값 둘다 0 or 1

- 예측 값과 실제 값이 많이 같을 수록 좋은 모델임 (갯수) 

-> 정확히 예측한 비율로 모델 성늘을 평가 (정확도)

ex) 100개를 예측했는데 몇개를 맞추었는가?

 

2) 회귀모델

- 정확한 값을 예측하긴 어려움

- 예측값과 실제 값에 차이(오차)가 존재 할 것

- 예측값과 실제 값이 가까울 수록 좋은 모델임

-> 예측한 값과 실제 값의 차이로 모델 성능을 평가 (오차)

---

 

2. 회귀 모델 성능 평가

1) 실젯값, 평균값,예측값

 

실젯값 (y, y_test)

-실제로 예측하고 싶은 값, target(목표값)

- 이 값과 비교하여 모델의 성능을 평가

- 오차 : 실제값과 예측값과 차이

 

 

평균값 (  y^ , y-hat, y_pred)  

- 이미 알고있는 평균으로 예측한 값

- 이 값보다는 실제값에 가까운 예측값을 원함

- 모델의 예측값이 평균값보다 오차를 얼마나 더 줄였는지

 

예측값

- 모델이 새롭게 예측한 값

- 평균값보다는 좋아햐함

 

2) 평가 지표

 

평가지표1 : SSE (오차 제곱의 합)

SSE	오차 제곱의 합 Sum Squared Error
MSE	오차 제곱의 합의 평균 Mean Squared Error
RMSE	오차 제곱의 합의 평균에 루트 Root MSE

 

 

 

평가지표 2 : MAE (오차 절대값의 합 )

 

 

MAE	오차 절대값의 합의 평균 Mean Absolute Error
MAE	오차 비율 Mean Absolute Percentage Error

 

평가지표 3 : SST (Sum Squared Total, 전체 오차)

 

평가지표 4 :  R^2 ( 결정 계수)

 

---

 

3. 분류 모델 성능 평가

실제 (y)	예측(y^)
1	1
1	1
0	1
0	0
1	0
0	0
0	0
1	0
1	1
1	1

 

1)평가지표

평가 지표1: Accuracy (정확도)

 

평가 지표2: Precision (정밀도)

 - 예측관점에서

평가 지표3: Recall (재현율)

 - 실젯 Positive(FN +TP)중에서 Positive(TP)라고 예측한 비율

 - 민감도(Sensitivity) 라고 부르는 경우 많다

 

***precision 과 recall의 상관관계

- precison 이 높아지면 recall 낮아짐

 ex) 소극적 진료 : 정말 높은 확률인 사람에게만 암진단을 내리면 암일수도있던 사람에게는 암진단을 내릴 수 없음 

 ex) 정말 사기일 것 같은 사람에게만 사기라고 정의하면 precision은 높아질 것임. recall은 낮아짐

- recall 높아지면 precision이 낮아짐

 ex) 적극적 진료 : 의심되는 사람에게 암진단을 내리면 recall은 높아짐. 아닐 수도있는 사람에게 진단할 확률도 높기 때문에 precision이 낮아진다. 

 ex) 조금이라도 의심되면 사기라고 정의함 -> recall이 올라감

 

평기지표 4: Specificity (특이도)

- 실제 Negatice(TN+FP) 중에서 Negatice로 예측한 비율(TN) 비율'

- 

 

평가 지표5 : F1-Score

- 정밀도와 재현율의 조화 평균

- 분자가 같지만 분모가 다를 경우, 즉 관점이 다른 경우에 조화 펴균이 의미가 큼

- 제일 작은 평균 , 보수적인 평균