지난번 포스팅에서는 과적합(Over-fitting)이란 무엇인지, 그리고 과적합이 왜 문제인지에, 과적합이 아니라 데이터에 내재한 구조, 관계, 규칙을 일반화(generalization)하여 적정적합을 시킬 수 있도록 학습하는 것이 왜 중요한지에 대하여 알아보았습니다.

 

그렇다면 이번 포스팅에서는 어떻게 과적합을 파악하고 피할 수 있는지(How to detect and prevent over-fitting)에 대하여 소개하도록 하겠습니다. 그것은 바로 'Validation Set'을 활용하는 방법(Cross-Validation)입니다.

 

기계학습, 데이터마이닝 초심자라면 과적합(Over-fitting)을 정확히 이해하기 힘들 수도 있구요, 과적합을 이해했다고 하더라도 Training set vs. Validation set vs. Test set 으로 데이터셋을 나누어서 훈련시키는 과정에서 검증하고, 마지막 모형 결과를 테스트하는 구조, 절차를 이해하는게 처음에는 좀 힘들 수도 있을 것 같습니다.  (제가 처음 배울 때에 이걸 잘 이해를 못했었어요... ^^;;) 

 

이걸 제대로 이해하지 못하면 분석가가 가지고 있는 데이터셋을 몽땅 집어넣어서 예측이나 분류 모델을 만들다가 과적합(over-fitting)의 함정에 빠지는 위험에 맞닥뜨리게 됩니다. 

 

 

 

 

 

1) Training with all original data set

 

가지고 있는 데이터셋을 몽땅 넣어서 예측 혹은 분류 모델을 훈련 시키면 이게 과소적합(under-fitting)인지, 적정적합(generalized-fitting)인지, 과적합(over-fitting)인지를 가늠하기가 힘듭니다. 

 

아래의 그림에 나오는 것처럼 training model의 error rate이 낮으면 낮을 수록 더 좋은 모델인 것일까요?

 

문제는 훈련을 시키면 시킬 수록 Error rate는 계속 줄어드는 경향이 있으므로 결국은 과적합(over-fitting)으로 귀결된다는 점입니다.  중간에 적정적합 구간에서 훈련을 중단시키지 않으면 말이지요.  그런데 가지고 있는 모든 데이터를 Training set 으로만 활용하면 어디서 훈련을 중단시켜야 할지 도무지 알 수가 없답니다.  바로 이 문제의식에서 Validation set의 필요성이 시작합니다.

 

 

 

 

 

 

2) Training Set vs. Validation Set

 

과적합을 탐지하고 방지하기 위해서, 보유하고 있는 데이터셋을 Training set (50%~60%), Validation set (20%~25%), Test set (20%~25%) 의 3개의 set으로 구분을 한 후에, (저는 보통 Training : Validation : Test set = 60% : 20% : 20% 로 분할)

 

 - (1) Training set 을 가지고 예측 혹은 분류 모델을 훈련시키고

 

 - (2) Validation set을 가지고서 (1)번의 Training set을 가지고 훈련 중인 모델이 혹시 과적합(over-fitting)의 유혹에 빠지고 있는 건 아닌지, 아니면 훈련 더해야 하는데 농땡이 치다가 과소적합(under-fitting)인 것은 아닌지 검증, 감시를 하면서 최적의 적정적합(generalized-fitting) 구간을 찾아 모델을 선택한 후 (즉, 모델의 coefficients, weights 결정)

 

 - (3) Test set을 사용해서 (1)번과 (2)번의 협동작업으로 도출한 최종 모델(final model)에 대해서 성적을 매기는 작업을 하게 됩니다.

 

Validation set과 Test set을 혼동하는 분도 있을 것 같습니다.  (제가 그랬습니다....  ^^;)  Validation set은 과적합 방지용, Test set은 최종 모델 평가용도 입니다.

 

아래 그림은 Training set으로 만든 예측 혹은 분류 모델에 Validation set 데이터를 적용해서 예측 혹은 분류 error 를 측정한 그래프입니다.  Training set으로 모델을 만들면 반복(iterarion)을 계속할 수록 error rate은 계속 줄어드는데요, 이 모델을 처음 보는 데이터셋인 Validation set 에 적용을 하게 되면 error rate이 처음에는 줄어들다가 어느 순간 부터는 방향을 바꾸어서 증가하게 됩니다(보통은 Training set의 error보다 Validation set의 error가 조금씩 높음).  바로 이 변곡점이 과적합(over-fitting)이 시작되는 지점으로 합리적으로 의심을 할 수 있습니다

 

이 변곡점을 지나서도 계속 훈련을 시키게 되면 '데이터에 내재한 구조, 관계, 패턴'을 학습해서 '일반화(generalization)'하는 것이 아니라 training set을 통째로 외우게 됨에 따라 --> 처음 보는 데이터셋인 Validation set에 대해서는 자꾸 틀린 답을 내놓게 되어 Validation set의 error rate은 거꾸로 올라가게(나빠지게) 되는 것입니다.

 

 

 

 

3) k-fold Cross Validation

 

데이터셋을  Training set (50%~60%), Validation set (20%~30%), Test set (20%~30%)으로 나누게 되면 모델 훈련에는 Training set (50%~60%)만이 사용이 됩니다.  나머지 Validation set과 Test set으로 빼놓은 데이터가 아깝다는 생각이 들지요? 

 

특히, 확보한 데이터의 개수가 작은 경우에는 문제가 심각해질 수 있습니다.  데이터가 충분하지 못한 상태에서 그걸 3개의 훈련, 검증, 테스트 셋으로 나누면 분할된 데이터셋에 무슨 데이터가 들어갔느냐에 따라 모형이 심하게 영향을 받을 수가 있습니다. 

 

이런 경우에 k-fold Cross Validation 기법을 사용하면 좋습니다. k-flod Cross Validation기법은 Traning set을 k 등분한 후에 --> (k-1) 개의 fold (= (k-1)/k 구성비) 는 Training set으로 사용하고, 나머지 1개의 fold (1/k 구성비)은 validation set으로 사용하며, --> Validation set 에 해당하는 fold를 round를 거듭하면서 바꿔주게 됩니다.  말로 설명하면 좀 이해하기 어려울 수도 있는데요, 아래의 5-fold Cross Validation 예시 그림을 참고하시기 바랍니다.  4개 fold의 Training set 과 1개 fold의 Validation set을 이용해서 모형 훈련을 시키는 것을 5 round 시행하여 분류 모형(classifier)을 선택하고, Test set을 가지고 이 최종모형을 평가하는 data flow 예시입니다.

 

 

 

k-fold Cross Validation을 극단으로 가져가면 k를 데이터 관측치 수 n 만큼 하는 경우도 있는데요, 이를 leave-one-out Cross Validation (LOOCV) 이라고 합니다.  보유하고 있는 데이터를 fully 활용할 수 있는 장점이 있고, 특히 데이터 샘플 수가 작을 경우 유용하겠지요.  다만, leave-one-out Cross Validation은 연산 비용이 높다는 점은 염두에 두어야 하며, 샘플 사이즈가 크다면 보통은 10-fold Cross Validation을 많이 사용하는 편입니다.

 

 

참고로, re-sampling methods 를 tree 형식으로 정리해놓은 자료가 있어서 소개합니다.  아래 구분 tree에서 색깔 칠해놓은 부분이 이번 포스팅에서 소개한 방법이 되겠습니다.  색 안칠해진 부분도 많고, 공부해야 할 것이 참 많지요? ^^"

 

* Source : “Performance Evaluation for Learning Algorithms”, Nathalie Japkowicz, School of Electrical Engineering & Computer Science University of Ottawa

 

 

다음번 포스팅에서는 이번 포스팅과 직접 관련된 bias-variance trade-off 에 대해서 소개하겠습니다.

 

이번 포스팅이 도움이 되었다면 아래의 '공감 ~♡'를 꾸욱 ~ 눌러주세요. ^^

 

Posted by R Friend R_Friend

댓글을 달아 주세요

  1. 최유정 2016.05.11 19:40  댓글주소  수정/삭제  댓글쓰기

    어떤 논문읽다가 hold-out이라고 써있는 것도 봤는데 간단하게 설명해 주실수 있나요??
    항상 글 잘읽고 있습니다 감사합니다~

  2. kjh 2016.08.25 14:41  댓글주소  수정/삭제  댓글쓰기

    (제가 제대로 이해한건지...) 그냥 특별한 평가기법없이 하는게 일반적인 모델평가방법이 train으로 모델훈련하고 test set 으로 평가하는 홀드아웃이라고 보면 되는건가요?

  3. kenny17 2016.09.05 15:39  댓글주소  수정/삭제  댓글쓰기

    좋은 포스팅 감사합니다~! 정말 쉽게 잘 설명해주셨네요, 한 가지 궁금한점이 있어 글을 남깁니다.
    http://www.louisaslett.com/Courses/Data_Mining_09-10/ST4003-Lab4-New_Tree_Data_Set_and_Loss_Matrices.pdf
    해당 파일의 2.3 Train and Test Subsets 이라는 단락을 보시면 "we don’t need to explicitly create a validate set as the rpart() function handles this internally" 라고 설명해두었습니다.
    rpart() 함수가 내부적으로 처리하기 때문에 validate set을 생성할 필요가 없다고 되어있습니다. 어떤 설명이 맞는지 헷갈려서 질문드립니다.

    • R Friend R_Friend 2016.09.05 15:44 신고  댓글주소  수정/삭제

      kenny17님, rpart 알고리즘 안에 validation set 을 자동생성/평가하는 로직이 포함되어 있으므로 분석자가 명시적으로(별도 R script 작성) validation set을 생성하는 작업을 하지 않아도 된다는 뜻입니다.

      rpart 알고리즘은 컴퓨터가 알아서 validation set 나누어서 훈련한다는 뜻이예요.

  4. kenny17 2016.09.05 16:01  댓글주소  수정/삭제  댓글쓰기

    정말 빠른 답변 감사합니다~^^ 다름이 아니라 인공신경망 모델을 통한 분류 문제를 풀고 있는데요, http://www.louisaslett.com/Courses/Data_Mining_09-10/ST4003-Lab7-Neural_Networks_for_Classification.pdf
    해당 문서 2.2 단락에 보시면 validation set을 생성하지 않고 train set과 test set으로만 인공신경망 모델을 학습, 평가를 하게됩니다. 인공신경망 모델에서는 rpart 함수를 사용하지 않는데도 validation set을 사용하지 않길래, 헷갈려서 질문드렸습니다.
    validation set이 중요한 것 같긴한데, R에서 인공신경망에 관련된 예제들을 보면 무시하고 진행하는 경우가 많아 기준이 애매모호합니다. 어떻게 하는것이 좋을까요?

    • R Friend R_Friend 2016.09.05 16:08 신고  댓글주소  수정/삭제

      정석은 overfitting을 피하기 위해 validation set 을 두어서 적정 시점에 훈련을 중지시키는 것입니다.

      특히 neural network은 overfitting 조심해야 합니다.

      R caret package 구글링해보세요. 최적 매개변수 조합 탐색, 앙상블 쉽게 할수 있게 도와주는 패키지예요.

    • kenny17 2016.09.05 16:19  댓글주소  수정/삭제

      답변 감사합니다. 포스팅에서도 언급하셨듯이 Validation set으로 적정 시점에서의 훈련을 중지시킨다는 말씀이 Neural network 같은 구조에서는 학습된 모델에서 validation set을 통해서 어떻게 적정 시점을 찾을 수 있나요? train set 으로 학습된 모델을 validation set 과 test set 에 각자 적용하였을 때 비슷한 결과가 나오는지 확인하면 될까요?

    • R Friend R_Friend 2016.09.05 16:21 신고  댓글주소  수정/삭제

      training set의 error rate은 내려가는데 반대로 validatioa set의 error rate은 올라간다면 그 지점이 overfitting 시작되고 있다는 신호입니다.

    • kenny17 2016.09.05 16:38  댓글주소  수정/삭제

      답변 감사합니다. 조금 더 공부를 해보도록 하겠습니다. 항상 좋은 포스팅 올려주셔서 감사합니다. 많은 도움이 되고 있어요.

  5. Rtoup 2016.11.08 09:38  댓글주소  수정/삭제  댓글쓰기

    안녕하세요, 좋은 포스팅 감사합니다. Validation dataset의 역할을 이해하기 쉽도록 잘 정리해주셨네요. 한가지 질문을 드리자면 해당 글에 나오는 error rate이 분류 또는 예측의 에러율을 의미하는 건가요? 아니면 모델 학습의 에러율을 의미하나요? 포스팅 내에서도 Iteration이 증가하면 error rate이 감소한다는 것은 무슨말인지 알겠는데, 모델을 처음 보는 데이터셋인 Validation set 에 적용을 하게되면 어느순간부터 error rate이 증가한다는 것이 무슨말인지 이해가 잘 안됩니다. Training dataset으로 학습한 모델을 Validation dataset을 대상으로 분류 또는 예측을 시행한다는 의미인가요?

    • R Friend R_Friend 2016.11.08 09:47 신고  댓글주소  수정/삭제

      안녕하세요 Rtoup님,
      error는 분류나 예측 error를 말하는 것입니다.

      training set을 가지고 model fitting을 하구요, 그 model을 validataion set에 적용해서 test error를 추정하게 됩니다.

      training set을 대상으로 model fitting을 시키면 시킬수록 error 는 계속 줄어들게 되는데요, 이게 어느 지점을 넘어가면 overfitting이 됩니다.

      validation set은 model fitting에 사용이 안된 dataset 이다 보니 만약 training set에 너무 과적합이 된 모형이라면 validation set에 모형 적용해서 평가를 해보면 training set에 대해 모형 과적합이 일어나는 시점부터 validation set에 대한 모형 적용 결과가 error rate이 올라가기 시작합니다. (본문이랑 같이 말을 반복하는 느낌이네요...^^;)

    • Rtoup 2016.11.08 10:19  댓글주소  수정/삭제

      그럼 정리해보자면, Training set을 사용해서 모델의 반복(Iteration)수를 100부터 2000회로 늘려간다고 하였을 때, 먼저 각 조건마다 Validation set에 적용해서 분류 또는 예측의 error를 추정을 합니다. 그리고 어느 지점부터 Validation set의 overfitting이 발생하게 되면 해당 지점을 참고하여 Training set의 적합한 Iteration을 선정하고 이를 추후 Test set에 적용한다고 보면 될까요?

    • R Friend R_Friend 2016.11.08 10:25 신고  댓글주소  수정/삭제

      네, 그렇습니다.
      regression 이라면 복잡도를 줄이거나(변수 선택, 차수 축소),
      decision tree 라면 node pruning 이 될 수도 있겠고요.

    • Rtoup 2016.11.08 10:46  댓글주소  수정/삭제

      감사합니다. 저는 Neural Network 모델을 통해 분류 예측을 테스트해보려고 하는데, 모델 성능에 영향을 주는 여러 가지 요소(히든 노드 수, Iteration, decay 값 등)를 함께 고려하여 Validation set을 활용하여 모델의 적정 학습 변수를 선택하는 것이 좋을까요? 아니면 각 요소들을 개별적으로 값을 변화시키면서 적정 학습 변수를 찾는 것이 좋을까요?

    • R Friend R_Friend 2016.11.08 11:07 신고  댓글주소  수정/삭제

      caret package를 사용하시면 최적 모형 탐색이 좀더 수월해요.

    • Rtoup 2016.11.08 11:18  댓글주소  수정/삭제

      좋은 조언 감사합니다.^^

    • R Friend R_Friend 2016.11.08 14:52 신고  댓글주소  수정/삭제

      도움이 되었다니 잘됐네요. ^^ 관측치 개수가 많으면 많을수록 과적합 방지에 도움이 되니 참고하시구요.

    • Rtoup 2016.11.08 20:01  댓글주소  수정/삭제

      해당 포스팅에서 코멘트 후 모델 복잡도(히든 노드 수) 및 Iteration 값들을 Training set에서 변경시키면서 Validation set으로 예측 에러를 확인해보았는데, overfitting의 문제가 나타나지 않는 것 같습니다. 꽤나 값들을 크게 변경하였는데도 말이죠. 이러한 경우도 발생할 수 있는건가요?

    • R Friend R_Friend 2016.11.08 20:08 신고  댓글주소  수정/삭제

      관측치 개수가 아주 많고, 변별력이 뛰어난 변수가 있다면 가능할수도 있겠지요. 교과서 에 실린 깨끗한 데이터라면 모를까, 비즈니스현장의 현실 데이터에서는 과적합 이슈가 거의 따라다닌다고 봐야할거 같아요.

    • 2016.11.08 20:19  댓글주소  수정/삭제

      비밀댓글입니다

    • R Friend R_Friend 2016.11.08 21:20 신고  댓글주소  수정/삭제

      k-fold cross validation 사용해서 적합한 모델이 과적합 아닌거 같다면, 그 모델을 "Test set(unused data, future data)"에 적용해 보면 최종적으로 모델이 과적합된건지 여부를 판단 가능할거 같습니다.

      예전에 이메일 공개했다가 제가 좀 버거웠던적이 있어서요, 이멜이나 메신저는 공개안해요. 이해해주세요. ㅜ.ㅜ

    • Rtoup 2016.11.10 20:57  댓글주소  수정/삭제

      네 알겠습니다. 그럼 혹시 신경망 모델에서 모델의 반복수(Iteration)에 따라 학습 에러율은 계속해서 줄어들고 예측 에러율도 함께 줄어들다가 어느 지점부터 에러율의 감소가 되지 않고 유지되는 구간이 발생하면 이것도 Overfitting으로 볼 수 있을까요? 해당 구간부터 계속 학습을 진행하여도 예측 에러율이 크게 향상하거나 하지는 않습니다.

    • R Friend R_Friend 2016.11.10 21:09 신고  댓글주소  수정/삭제

      네. 그 변곡점(수렴) 시작 지점에서 training 멈추면 됩니다.

    • Rtoup 2016.11.11 20:37  댓글주소  수정/삭제

      Validation set에 적용한 분류 예측 오차율이 학습이 진행됨에 따라 더 이상 오르지도, 내리지도 않고 일정 값에 수렴하는 경우도 Overfitting으로 봐도 맞는건가요? 대부분의 기계학습에서 Overfitting은 학습 데이터에 너무 편향되어 일정 구간부터 오차율이 증가하는 경우를 말하는 것 아닌가요?

    • R Friend R_Friend 2016.11.11 21:53 신고  댓글주소  수정/삭제

      네, 과적합을 말씀하신대로 정의해요. 맞습니다.

      최적학습지점(or parameter)을 찾을때 validation set (CV)의 에러율이 가장 낮은 지점으로 하므로 더이상 validation set 에러율에 개선이 없으면 학습을 중단합니다. 더이상 학습할 이유가 없기때문에요. 학습중단시키는 여러방법, 기준 중의 하나예요.

  6. ML초보자 2016.11.18 16:58  댓글주소  수정/삭제  댓글쓰기

    HOG+SVM 패러다임을 보행자 검출을 위해서 직접 구현하였습니다. 그리고 데이터 set은 positive의 경우 약 3천장 정도 확보를 하였고(동일 인물이어도 약간의 모션과 스케일이 다른 샘플을 포함), negative의 경우 약 2만장 정도 확보를 하였습니다. k-fold로 교차 검증을 적용하려고 하는데 궁금한 점이 있습니다.
    1. k는 몇개정도가 적합할까요? 이 때 positive sample과 negative sample의 비율은 1:1로 해야
    할지, 아니면 negative의 비율을 좀 더 많이(예: P:N = 1:3) 해야 할지 궁금하네요. 또한 k는 랜덤하게 개수만 맞춰서 구성하면 되는지 궁금합니다.
    2. 에러율의 경우 어떻게 계산을 하는지요? 그냥 각 샘플에 대한 분류에러를 sum해서 전체 개수로 나눠주는 방식 을 취하면 되는지요? 이 때 false positive에 대한 에러율만 구해서 접근하면 되는지 궁금합니다.
    3. 만약 k를 4로 가정했을 경우 test set은 600장이 되고, 2400장에 대해 검증 set과 훈련 set을
    나눠서 학습을 시키게 될텐데 이 때 최종 테스트 set을 위한 훈련 set은 검증 set에 대해 에러율이 가장 낮았던 분류기를 선택하면 되는건지 또한 궁금합니다.

    • R Friend R_Friend 2016.11.19 21:06 신고  댓글주소  수정/삭제

      제가 분석하려고 하시는 문제에 대해서 정확하게 알지 못하므로 댓글에 남겨주신 내용에 기반해서 조심스레 답글 남겨봅니다.

      1) k-fold Corss-Validation(CV)에서 k로 보통 5나 10을 많이 사용합니다. 그런데 분류 문제의 경우 voting 을 해서 많이 나오는 쪽으로 분류를 하므로 k 가 짝수 이면 동수로 voting이 나와서 곤란한 상황이 벌어질 수 있습니다. 그래서 분류 문제는 보통 k를 5나 9로 합니다.

      Positive vs. Negative 구성비율이 심하게 un-balanced 인 경우 보통은 분석의 주 대상이 되는 희소한 사건인 Positive(가령, 불량품, 암 질병 등) 를 over-sampling 합니다. 저는 보통 P:N 을 1:3 또는 1:2로 하는데요, 학문적인 근거가 있는지는 잘 모르겠습니다. ^^; 희소사건에 대해 over-sampling 해서 모델링했을 때의 test error와, 나중에 population에 적용했을 때의 error 가 차이가 날 수 밖에 없는데요, 이게 구성비율 가지고 미리 추정을 해볼 수 있을겁니다. (모집단 적용 시의 에러율이 많이 올라갈텐데요, 원래 그런것이고요, 이걸 가지고 모델이 성능이 안좋네...이렇게 단정 지으면 안된다는 뜻에서 하는 말임.)


      2) 분류 모델의 성능 평가 시에는 confusion matrix 를 가지고
      - 정확도(accuracy)
      - 민감도(sensitivity, recall rate)
      - 특이도(specificity)
      - 오류율(mis-classification rate)
      등의 지표를 사용합니다. 특히, 심하게 un-balanced sample일 경우에는 정확도 지표는 안 좋은 지표입니다. 이럴 때는 민감도나 특이도를 분석 목적에 따라 같이 보는게 맞다고 생각합니다.
      이 외에 Kappa statistic, F measure 등을 사용하기도 하고, 민감도와 특이도를 가지고 가중 평균한 지표를 개발해서 사용하기도 해요. 분석 목적이 뭐냐, 데이터가 어떻게 생겼냐에 따라서 분석가가 선택하면 됩니다. 위 지표 정의는 구글링 해보시기 바랍니다. (언젠가 포스팅할려고 하는데요... 시간 내기가 쉽지 않네요. 광화문에도 가야 하고... ㅜ_-)

      R carrot package 사용하시면 모델 성능 평가, 최적 모델 탐색 편해요.

      3. 네, 맞습니다. CV 에서 가장 낮았던 분류기를 사용해서 test set 적용해서 최종 모델 성능평가 하시면 됩니다.

  7. 2016.12.02 20:03  댓글주소  수정/삭제  댓글쓰기

    비밀댓글입니다

    • R Friend R_Friend 2016.12.04 20:58 신고  댓글주소  수정/삭제

      변수 선택, 모수 추정에 cross validation 사용하는거 맞습니다.

      가령, LASSO(Least Absolute Shrinkage and Selection Operator) 에 cross validation 사용해서 최적의 tuning parameter lambda 를 찾고, 회귀계수가 '0'인 변수는 설명변수에서 탈락, '0'이 아닌 회귀계수의 변수들의 선형조합으로 회귀모형이 적합되는 것이지요.

  8. 김민주 2018.03.04 17:20  댓글주소  수정/삭제  댓글쓰기

    올려주신 포스팅 모두 잘보고 있습니다!!! 정말 많이 배워가요~
    이번 포스팅 보고 저도 실습을 하던중이었는데
    혹시 caret패키지 함수들에 대해 궁금한 점 여쭤봐도 될까요?

    전체 데이터를 trainD, testD로 나누고 다음과 같이 caret패키지 함수들을 실행했습니다.

    > ctrl <- trainControl(method="repeatedcv", number=10, repeats=5, ...)
    > fit.knn <- train(종속변수~., data=trainD, method="knn", trControl=ctrl, ...)

    이렇게 실행을 하면 10-folds-cv를 총 5번 반복하는 것인데
    결과로 fit.knn$results를 보면 아래와 같이 나옵니다.

    k Accuracy Kappa AccuracySD KappaSD
    1 5 0.8040680 0.5777070 0.03166686 0.06604365
    2 7 0.8078609 0.5854467 0.03287892 0.07075771
    3 9 0.8047474 0.5753960 0.03181233 0.06953454

    튜닝할 파라미터가 k이고 디폴트로 3개(알아서 5, 7, 9)만 실행해주었다고 합니다.
    그리고 최종 모델로 k가 7인 모델을 선정했다고 합니다.
    R Friend님이 말씀하신 대로 Accuracy의 변곡점이 k=7인 모델이기 때문인 것 같습니다.(맞나요??ㅎㅎ;;)

    그런데 궁금한 점은 k=5, 7, 9일때 각각의 Accuracy가 어떻게 나온건지입니다.
    예를 들어, k=5 일때 Accuracy(0.8040680)는
    10-folds-cv를 5번 반복하여 나온 50개의 Accuracy 평균인건가요??

    • R Friend R_Friend 2018.03.04 17:51 신고  댓글주소  수정/삭제

      안녕하세요 김민주님,

      말씀해주신대로 k=5, 7, 9 일때의 각 50개 knn 모델들의 Accuracy 평균이 가장 큰 k 를 찾아줍니다. (만약 평가기준을 오분류율로 했다면 오분류율이 가장 작은 k를 찾아주구요).

    • 김민주 2018.03.04 18:17  댓글주소  수정/삭제

      그렇군요~ 주말에 쉬시는데 빠른 답변 감사드립니다^^

지난번 포스팅에서는 기계학습(machine learning)의 정의와 3가지 유형 (supervised learning, unsupervised learning, reinforcement learning)에 대해서 알아보았습니다.

 

이번 포스팅에서는 학습의 일반화(generalization)와 과적합(overfitting), 혹은 과잉적합에 대해서 알아보도록 하겠습니다.  이번 포스팅은 기계학습의 3가지 유형 중에서 지도학습(supervised learning)에 대해 한정한 내용이긴 합니다만, 기계(컴퓨터)가 학습한다고 했을 때의 핵심이 되는 아주 아주 중요한 개념이므로 분석 기법/알고리즘으로 들어가기 전에 짚어보고 넘어가고자 합니다.

(기계학습 공부하는 대학원생이라면 '과(잉)적합(Over-fitting)에 대해서 논하시오'라는 문제가 중간고사에 무조건 나온다에 500원 걸겠습니다. ㅎㅎ)

 

기계학습의 정의에서 보면 과거의 대량의 data인 Experience (E) 로 부터 예측/추정이나 분류 등의 Task(T)를 어느 수준 이상의 정확도(Performance, P)로 향상시킬 수 있다면 기계(컴퓨터)가 해낼 수 있다면 컴퓨터가 학습을 하고 있다고 말할 수 있다고 했었습니다.  이때 중요한게 하나 있는데요, 훈련 데이터셋(Training Data Set)에서 뿐만이 아니라 컴퓨터가 본적이 없는 새로운 데이터 셋(Test Data Set, or New Data Set)에 대해서도 예측/추정이나 분류 모델이 잘 working 하느냐가 오늘의 포스팅의 주제입니다.

 

가령, 훈련 데이터(Training Data Set)를 가지고 지난 학기 기계학습 수업의 Pass와 Fail한 학생을 분류하는 모형을 만들었는데요, 그게 훈련 데이터에 너무나도 과도하게 적합이 된 나머지, 올해 신입생을 대상으로 한 새로운 데이터 셋(Test Data Set)에 대해서는 분류가 잘 맞지가 않는 경우 과(잉)적합(Overfitting)이 되었을 가능성이 아주 많다고 의심해볼 수 있습니다. .

 

아래 그림에 과소적합(Under-fitting), 적정적합, 과(잉)적합(Over-fitting) 분류 예를 가상으로 만들어서 들어보았습니다.   상단의 그림은 훈련 데이터셋(Training set)을 가지고 분류 모델을 만든 것이구요, 하단 그림은 새로운 데이터인 테스트 데이터셋(Test set)에 다가 훈련 데이터셋으로 만든 분류 모델을 적용해 본 그림입니다.

 

(1) 상단 좌측의 과소적합(Under-fitting)의 경우 훈련 데이터셋을 대상으로 훈련이 부족하여 파란점과 빨간점을 잘 분류를 못하고 있습니다. (정확도 65%). 

 

중간고사 앞두고 시험공부 하라고 했더니 기계학습 서문 서너페이지 읽다 말고는 태양의 후예 재방송 보느라 농땡이 친 학생이 여기에 해당이 되겠습니다.  이런 학생은 하단 좌측의 테스트 데이터셋에 보면 아시겠지만 처음보는 새로운 시험문제가 나오는 중간고사에서 좋은 점수를 받을리가 없겠지요. (정확도 60%)

 

(2) 상단 가운데의 적정적합(Generalized-fitting)의 경우 훈련 데이터셋을 대상으로 파란점과 빨간점을 분류하라고 시겼더니 비록 일부 오분류가 있기는 합니다만 전반적으로 적절하게 제법 분류를 해냈습니다.(정확도 90%)  그리고 훈련데이터로 만든 분류 모델을 하단의 가운데에 신규 데이터셋인 테스트 셋에 적용해 보았더니 역시 약간 오분류가 늘어나기는 했지만 그래도 85%의 정확도로 꽤 높은 분류 성과를 냈습니다. 

 

수업시간에 선생님께서 문제풀이를 하면서 '이론'과 '원리'를 가르쳐주실 때 정신 바짝 차리고 공부 잘하고 복습도 잘한 학생이 여기에 해당이 됩니다. '원리'를 깨우쳐서 '일반화(generalization)'을 했기 때문에 중간고사에서 응용문제가 나와도 그걸 풀 수 있는 힘이 있는 것입니다.

 

(3) 상단의 오른쪽에 있는 과(잉)적합(Over-fitting)은 훈련 데이터셋(Training Set)을 대상으로 파란점과 빨간점을 100% 정확하게 기가 막히게 잘 분류를 해놨습니다.  모델이 삐뚤빼뚤 비선형으로 해서 아주 복잡하게 생겼지요?  이 분류 모델을 새로운 데이터셋, 즉 테스트 셋(Test set)에 적용해서 분류를 시켜봤더니, 글쎄 정확도가 65%로 곤두박질을 쳤습니다.

 

중간고사 이틀 남겨놓고 코피 터지게 벼락치기로 '달달 외워서' 공부한 학생이 여기에 해당되겠습니다.  공부를 하면서 '원리'에 대해서도 생각을 해보고 음미도 해봤어야 하는건데요, 너무 의욕이 앞선 나머지, 아니면 공부하는 전략이 부족하고 미련해서 인지, 예제 문제 자체를 토씨하나 안틀리고 달달 외워버린 경우입니다 (아마 자신감 100% 만땅 이었겠죠?).  이렇게 교과서 문제를 너무나 과하게 통째로 외워버리다 보니 중간고사에 약간 문제를 비튼 '응용문제'가 나오자 당황하고 문제를 잘 못푼 학생을 생각하시면 됩니다. (성적은 중하위권...?) 

 

 

[ 과소적합(Under-fitting) vs. 적정적합(Generalized-fitting) vs. 과잉적합(Over-fitted) ]

 

 

 

 

기계학습이 지향하는 학습 수준은 당연히 일반화(generalization)가 된 적정수준의 학습 입니다.  과소적합(under-fitting)도, 과(잉)적합(over-fitting)도 아니구요.  특히 과적합(over-fitting)은 기계학습 분석가가 조심해야 합니다.  왜냐하면 훈련 데이터를 가지고 모형을 만들 때 과적합(over-fitting)을 하게 되면 성과(정확도)가 아주 좋게 나오거든요.  그러면 이 분석가는 자기가 대단한 일, 큰 일을 한 줄로 알고 착각하게 됩니다.  과적합(over-fitting)이 아마추어 분석가만 저지르는 실수로 생각할 수도 있습니다만, 지진을 예측하는 과학자도 실수하고, 일본 후쿠시마의 핵 원자로가 폭발한 원인 제공자가 바로 과적합이라는 사실을 아시나요? Nate Silver의 신호와 소음(The Signal and The Noise)에 실린 내용을 아래에 인용해 봅니다.

 

"그러나 자료의 이상적 관계를 알지 못할 때 우리는 탐욕에 사로잡히기도 한다. 이런 탐욕의 결과로 나타난 과잉적합 사례를 보면, 모든 측정점을 연결하는 복잡한 함수를 만들었다. 그러다 보니 아래위로 마구 오르내리는, 현실에서 있음직하지 않은 곡선이 나타났다. 이렇게 될 때 우리는 측정점들에 내재된 진정한 관계에서 한참 멀어지고 말며, 결국 우리 예측은 한층 엉뚱한 곳을 향하고 만다.

 

(중략)... 우리는 우리가 접할 수 있는 증거에서 그 구조를 추론해내야 한다. 이 과정에서, 자료가 한정되어 있고 소음이 많을 때 그리고 자료 안에 내재하는 근본 관계에 대해 이해가 부족할 때, 사람들은 대개 과잉적합의 오류를 범한다

 

(중략)... 과잉적합은 이중적 불운을 나타낸다. 이 모델은 연구논문에서는 '더 나은 것'으로 보이지만 실제 현실에서는 '더 나쁜' 성적을 거둔다. 과잉적합 모델은 후자의 특성 때문에 결국 실제 현실에서 예측하는데 동원될 경우 호된 대가를 치룬다. 이 모델은 또한 전자 때문에 겉보기에는 더 인상적이다. 매우 정확하고 또 뉴스 가치가 있는 예측을 할 수 있으며 과거에 사용된 여러 기법보다 훨씬 나은 듯 보인다. 그렇기에 이런 모델은 학술지에도 좀 더 쉽게 발표가 되고 또 고객들에게 환영을 받는다. 반면 좀 더 정직한 모델은 시장에서 내몰린다. 그러나 과잉적합 모델은 신호가 아닌 소음에 적합하도록 만들어진 만큼 결국 정확성, 다시 말해 과학성을 훼손할 수 밖에 없다.

 

- 출처 : 신호와 소음(The Signal and The Noise), Nate Silver

 

지진을 예측하는데 최고난이도의 수학으로 어마무시하게 복잡하고 정교한 모델을 만든 케일리스-보르크 지진학자가 있었다고 합니다.  '신호와 소음'에 소개된 성적표에 의하면, "이 모델은 믿을 수 없을 만큼 복잡한 방정식들을 동원해 소음에 물든 자료들에까지 적합하게 만들어졌다. 그리고 결국은 대가를 치러야 했다. 스물여섯 개 예측을 했지만 세 개 밖에 적중하지 못했다. 데이비드 보먼은 자기도 비슷한 문제를 안고 있다는 사실을 인식하고, 결국은 자신의 모델을 폐기하고 만다". 라고 하는군요.  케일리스-보르크든 데이비드 보먼이든, 훈련 데이터로는 아마 기가 막히게 정확하게 예측을 했었을 것이고 흥분을 했을 겁니다.  나중에 현실 세계에서 초라한 성적표를 받고 나서야 과적합(over-fitting)이었다는 걸 알기 전까지는 말이죠.

 

과적합은 소음(Over-fitting due to Noise), 부족한 사례(Over-fitting due to Insufficient example), 과도하게 복잡한 모형 개발(unnecesarily complex model)로 인해서 생기는데요, 기계학습 분석가에게는 참 조심하고 주의를 기울여야할 주제입니다.

 

오컴의 면도날(Occam's Razor )에 의하면 복잡한 모델보다는 단순한 모델을 선택(선호)하라고 합니다.  Variable, Feature를 있는 것 모두 때려 집어넣고 모델 만들지 말고 똘똘한 Variable, Feature를 선별해서 가능한 단순하게 만들라는 것입니다.  복잡한 비선형 모델보다는 선형모델을 더 선호하라는 것이구요.  오컴의 면도날은 과적합(over-fitting)을 아주 싫어한다고 말할 수 있겠습니다.

 

다음번 포스팅에서는 과적합을 어떻게 피할 수 있나에 대해서 알아보도록 하겠습니다. 

(Training Set vs. Test Set error rate, cross validation, Prunning, Smaple size up)

 

많은 도움이 되었기를 바랍니다.

 

도움이 되었다면 아래의 '공감 ♡'를 꾸욱~ 눌러주세요. ^^

 

Posted by R Friend R_Friend

댓글을 달아 주세요