모아의 기웃기웃 / AI 이해하기 / 게시 전 초안

과적합과 일반화란? 배운 문제는 맞히는데 새 문제에서 틀리는 이유

과적합·일반화 실험하기

AI 이해하기 4편 · 모아의 기웃기웃

1편 · AI는 어떻게 배울까? → 2편 · 학습률·모멘텀·Adam → 3편 · 신경망 → 4편 · 과적합과 일반화

지난 신경망 실험은 학습한 네 점을 모두 맞혔습니다. 그런데 처음 보는 입력에도 잘 답할지는 따로 확인하지 않았죠. 학습한 예제를 잘 맞히는 일과, 새로운 예제에서도 잘 맞히는 일은 서로 다른 질문입니다.

문제집의 답을 기억한 학생이 숫자와 문장이 조금 바뀐 시험 문제에서 막히는 모습을 떠올려 보세요. 모델도 관측한 예시의 특이한 흔들림까지 따라가면, 새 데이터에서 오차가 커질 수 있습니다.

이번에는 복잡도를 직접 바꿔 보겠습니다. 같은 18개 점에 모델을 맞추고, 학습에 쓰지 않은 36개 점에 대입했을 때 어떤 일이 생기는지 확인합니다.

과적합·일반화 인터랙티브 실험 열기

네이버 본문에서는 링크를 눌러 새 페이지에서 조작합니다. 아래 수치는 직접 만든 교육용 데이터에서 계산한 값입니다.

1. 새 데이터에서 맞히는 능력이 ‘일반화’다

훈련 데이터는 모델의 숫자를 조절하는 데 쓰는 예제입니다. 그 숫자가 가중치든 회귀식의 계수든, 훈련 과정은 이 예제에서 오차를 줄이는 방향으로 진행됩니다.

일반화는 이렇게 만든 모델이 학습에 쓰지 않은 데이터에도 잘 적용되는 성질입니다. 반대로 훈련 데이터의 특정한 모습에 지나치게 맞춰져 새 데이터에서 성능이 나빠지는 현상을 과적합이라고 합니다. 개념 출처: Google 과적합

같은 생성 규칙에서 만든 훈련 18점과 검증 36점을 구분한 그림

이 실험의 원은 훈련 18점, 마름모는 검증 36점입니다. 두 묶음은 같은 규칙으로 만들었지만 입력 위치와 잡음이 다릅니다. 모델의 계수를 맞출 때는 원만 사용합니다. 마름모는 결과를 비교할 때 사용합니다.

여기서 검증은 ‘학습에 쓰지 않은 예제에서 확인한다’는 역할입니다. 검증 결과를 보고 모델 설정을 고르면 그 데이터도 선택 과정에 영향을 주게 됩니다. 최종 테스트와의 차이는 뒤에서 정리하겠습니다.

2. 왜 신경망 대신 곡선을 맞춰 볼까?

이번 편은 과적합을 눈으로 보기 위해 다항식 모델을 사용합니다. 신경망을 새로 학습하는 실험과 구분해 읽어주세요.

1차 모델은 y=a+bx라는 직선입니다. 3차 모델은 x²·x³ 항까지 사용해 굽을 수 있고, 15차 모델은 더 다양한 형태를 표현할 수 있습니다. 차수 d인 모델은 절편을 포함해 d+1개의 계수를 가집니다.

• 1차: 계수 2개

• 3차: 계수 4개

• 15차: 계수 16개

이 차수는 신경망의 층 수가 아닙니다. 모델이 사용할 수 있는 표현의 범위를 바꾸는 손잡이라고 생각하면 됩니다. 다항식으로 과소적합과 과적합을 비교하는 방식은 scikit-learn 공식 예제에서도 다룹니다. 원리 출처: scikit-learn 과소적합·과적합 예제

동일한 훈련 데이터에 1차·3차·15차 모델을 맞춰 비교한 그림

3. 숫자로 보면, 더 잘 맞춘 모델이 새 점에서는 더 틀린다

먼저 정규화가 없는 상태에서 비교해 보겠습니다. 평가 숫자는 평균 제곱 오차, MSE입니다. 예측과 관측값의 차이를 제곱한 뒤 평균합니다. 낮을수록 좋으며, 0.0421을 ‘오답률 4.21%’로 읽는 값은 아닙니다.

모델계수 수훈련 MSE검증 MSE
1차2개0.34760.2460
3차4개0.05510.0421
15차16개0.00281.0233

1차는 너무 단순해 데이터가 굽는 경향을 충분히 담지 못합니다. 이런 상태를 과소적합이라고 합니다. 3차에서는 두 오차가 모두 줄었습니다.

하지만 15차에서는 훈련 오차가 0.0028로 더 작아지는 동안, 검증 오차는 1.0233으로 커졌습니다. 원에 더 가깝게 붙는 선택이 새로운 마름모에도 좋은 선택이 된 것은 아닙니다.

모델 차수별로 훈련 오차와 검증 오차가 달라지는 로그 그래프

이번 고정 데이터에서 1~15차를 비교하면 검증 오차가 가장 낮은 것은 3차입니다. 이것은 이 표본과 후보 모델 안에서의 결과이며, 모든 데이터에서 3차가 최선이라는 뜻은 아닙니다.

훈련 오차만 보고 모델을 고르면 15차 쪽을 택하기 쉽습니다. 검증 데이터를 따로 두는 이유가 여기에 있습니다.

4. 모델이 잡음까지 따라가면 왜 문제가 될까?

관측값에는 규칙만 들어 있지 않을 수 있습니다. 측정의 흔들림이나 우연한 차이처럼, 새 예제에서는 다르게 나타나는 부분도 섞여 있습니다.

이번 데이터는 y=sin(2πx)에 표준편차 0.18인 정규 잡음을 더해 만들었습니다. 점선은 데이터를 만든 기준 곡선입니다. 모델은 이 식을 답으로 받지 않고 훈련점만 보고 계수를 구합니다. 실제 문제에서는 이 점선에 해당하는 규칙을 모르는 경우가 많습니다.

복잡한 모델은 규칙을 더 잘 표현할 수도 있지만, 적은 표본의 우연한 흔들림까지 따라갈 여지도 생깁니다. 이 실험의 15차 곡선이 점 사이에서 크게 휘는 이유를 원과 마름모를 함께 보며 살펴보세요.

다만 훈련 오차가 0이라고 해서 반드시 나쁜 모델인 것은 아닙니다. 잡음이 거의 없는 규칙을 정확히 배운 경우도 있고, 큰 모델이 새 데이터에서도 잘 맞는 경우도 있습니다. 판단에는 학습에 쓰지 않은 데이터와 실제 사용할 조건에서의 확인이 필요합니다.

또한 검증 오차가 언제나 훈련 오차보다 커야 하는 것도 아닙니다. 위의 1차·3차 결과처럼 서로 다른 유한 표본의 잡음과 난이도 때문에 반대가 될 수 있습니다. 두 숫자의 대소만으로 과적합을 단정하지 말고, 설정을 바꿀 때의 변화와 반복 평가를 함께 봐야 합니다.

5. 훈련·검증·테스트는 무슨 차이일까?

훈련·검증·테스트 데이터의 역할과 최종 평가 순서
구분하는 일이번 실험
훈련모델의 계수를 맞춤18점 사용
검증차수·정규화 같은 설정을 비교36점 사용
테스트선택을 마친 모델의 최종 성능 평가별도로 생성·평가하지 않음

검증점을 가려도 이미 계산한 검증 오차는 남습니다. 화면에서 안 보이게 하는 것과, 모델 선택에 사용하지 않는 것은 다르기 때문입니다.

테스트 결과를 보고 설정을 계속 고르면, 테스트도 사실상 검증용 데이터처럼 사용하게 됩니다. 마지막 평가용 데이터는 설정을 정하는 과정과 분리해 관리해야 합니다. 출처: Google 데이터 분리

이 글은 두 묶음으로 과적합을 관찰하는 교육용 실험입니다. 표의 검증 점수를 최종 테스트 성능이나 현실에서의 정확도로 소개하지 않습니다. 실제로 모델을 선택할 때는 여러 분할을 사용하는 교차검증 등으로 표본에 따른 변동도 확인할 수 있습니다. 관련 예제: scikit-learn 교차검증을 사용한 비교

6. 복잡한 모델을 유지하면서 과적합을 줄일 수도 있을까?

정규화는 모델의 계수가 과도하게 커지는 데 벌점을 주는 방법입니다. 이번 실험의 L2 정규화는 훈련 오차와 계수의 제곱 합을 함께 줄이는 식으로 계산합니다. λ(람다)가 벌점의 세기입니다. 원리 출처: Google L2 정규화

15차, 계수 16개라는 구조를 고정하고 λ만 바꾸면 다음과 같습니다.

정규화 λ훈련 MSE검증 MSE
00.00281.0233
0.010.00560.0533
10.39000.3705

λ=0.01에서는 훈련점에 맞추는 정도를 조금 양보하면서 검증 오차가 크게 줄었습니다. 구조의 숫자 수를 그대로 두고도, 사용하는 표현을 제한할 수 있다는 예입니다.

λ=1로 더 강하게 제한하면 다시 두 오차가 커집니다. 따라서 정규화도 세게 할수록 좋다고 정할 수 없습니다. 이 데이터에서는 정규화 없는 3차의 검증 오차 0.0421이 15차·λ=0.01의 0.0533보다 낮다는 점도 함께 봐주세요.

15차를 고정하고 정규화 세기를 바꾼 곡선과 오차 비교

여기의 λ는 이 데이터·계산식·좌표 표현에 맞춘 교육용 설정입니다. 라이브러리나 데이터의 크기·스케일·계수 표현이 바뀌면 같은 숫자의 의미도 달라질 수 있습니다. 다른 AI에 그대로 적용할 권장값은 아닙니다.

7. 처음 보는 데이터에서 틀리면 모두 과적합일까?

실제 문제에서는 데이터 분리가 제대로 됐는지도 확인해야 합니다. 같은 사진의 복사본이나 같은 사람의 매우 비슷한 기록이 훈련과 검증 양쪽에 들어가면, 검증 점수도 지나치게 좋아질 수 있습니다.

입력의 평균·표준편차를 맞추는 표준화나 결측값 처리·특징 선택 같은 전처리도 평가용 데이터의 정보를 미리 사용하지 않도록 해야 합니다. 여기서 표준화는 앞 절의 계수 벌점인 L2 정규화와 다른 작업입니다. 데이터를 나눈 뒤 훈련 쪽에서 전처리의 기준을 구하고, 검증·테스트에는 그 기준을 적용하는 식으로 관리합니다. 출처: scikit-learn 정보 누출과 전처리

평가 데이터와 실제 사용할 데이터의 조건이 달라져도 성능이 떨어질 수 있습니다. 예를 들어 촬영 장비·조명·대상이 달라진 상황입니다. 이것은 데이터 분포 변화까지 함께 살펴볼 문제입니다. 관련 조건: Google 과적합과 일반화

따라서 새 데이터에서 성능이 나쁘다면, 데이터 누출과 분리 방식, 실제 사용할 조건과의 차이, 모델 복잡도·정규화 설정을 함께 점검하는 편이 좋습니다. 데이터를 더 모을 때도 실제 사용할 상황을 대표하는 예제가 늘어나는지 확인해야 합니다.

새 데이터 성능을 점검할 때 구분할 데이터 누출·분포 변화·과적합

8. 직접 확인해 볼 순서

• λ=0에서 1차 → 3차 → 15차를 눌러 보세요. 훈련 오차가 줄어드는 동안 검증 오차도 함께 줄어드는지 비교합니다.

• ‘복잡도 변화 재생’은 별도로 맞춘 모델들을 차례로 보여줍니다. 한 모델의 학습 시간이나 신경망의 층 수 변화와 구분해 읽습니다.

• 15차를 선택한 뒤 λ를 0 → 0.01 → 1로 바꿔 보세요. 구조를 유지한 채 곡선과 오차가 어떻게 달라지는지 봅니다.

• 검증점을 숨겼다가 다시 켜보세요. 점의 표시와 모델을 평가하는 계산은 별개라는 점도 확인합니다.

과적합·일반화 실험으로 직접 확인하기

56초 · 한국어 자막 애니메이션 · 음성 없음

직접 만든 한국어 자막 영상이며 음성은 없습니다. 글·그림·실험은 같은 고정 데이터와 계산 결과를 사용합니다.

더 알아보기: 수치의 조건과 계산 방법

훈련 입력은 0~1을 17등분한 18개 위치, 검증 입력은 0~1을 36등분한 구간의 중간 위치입니다. 두 입력 집합은 겹치지 않습니다. 두 묶음의 잡음은 서로 다른 고정 난수 시드 2026·2027로 만들었습니다. 모집단에서 무작위로 나눈 실측 데이터가 아니라, 재현 가능한 계산을 위해 위치를 고정한 교육용 데이터입니다.

훈련 관측값만 사용해 계수를 구합니다. 다항식 계산은 같은 차수의 함수를 표현하는 Legendre 기저를 사용했고, 정규화 목적식은 ‘훈련 MSE + λ×절편을 제외한 계수 제곱 합’입니다. 벌점은 이 기저의 계수에 적용합니다. 표에 표시한 MSE에는 정규화 벌점을 더하지 않았습니다.

계수는 QR 분해 기반 최소제곱으로 직접 구했습니다. 별도로 구성한 NumPy 최소제곱 계산과 90개 설정을 비교했고, 101개 입력의 예측 차이는 최대 약 0.000000000000032였습니다. 이는 구현 일치도를 확인한 수치이며, 모델의 현실 성능을 증명하는 숫자는 아닙니다.

곡선 그림의 세로축은 전체 예측이 보이도록 달라질 수 있습니다. 오차 비교 그래프는 로그 눈금을 사용합니다. 화면과 표의 값은 소수 넷째 자리로 반올림했습니다. 차수나 λ를 바꿀 때 데이터 자체는 바뀌지 않습니다.

출처와 그림의 기준

자료 확인: 2026년 11월 21일. 외부 자료는 과적합·데이터 분리·정규화·정보 누출의 개념 근거입니다. 본문의 표와 곡선은 위 조건에서 직접 계산한 결과이며, 외부 예제의 성능 수치를 옮겨온 것이 아닙니다. 그림 6장과 영상도 직접 제작한 교육용 시각화입니다.

#과적합 #일반화 #과소적합 #AI공부 #머신러닝 #딥러닝기초 #훈련데이터 #검증데이터 #정규화 #L2정규화 #모델평가 #모아의기웃기웃