모아의 기웃기웃 · AI 이해하기 · 4편

배운 점에 더 잘 맞췄는데,
새 점에서는 왜 더 틀릴까요?

모델 복잡도를 바꾸며 훈련 오차와 검증 오차를 함께 비교해 보세요.

재생은 1~15차 모델을 차례로 비교합니다. 학습 시간이나 가중치 갱신 횟수를 뜻하지 않습니다.

훈련 오차

계수를 맞추는 데 사용한 18점

검증 오차

계수 학습에 쓰지 않은 36점

모델의 숫자 수

절편을 포함한 계수 d+1개

같은 모델을 두 데이터에 대입하면

복잡도를 바꿀 때 두 오차

세로축은 로그 눈금입니다. 각 점은 별도로 계수를 맞춘 모델이며, 선택한 차수에 세로선을 표시합니다.

○ 훈련 18점◇ 검증 36점실선 · 현재 모델점선 · 데이터를 만든 곡선

점 표시를 꺼도 오차 계산은 유지됩니다. 기준 곡선은 교육용 데이터의 생성 규칙이며, 모델 학습에는 사용하지 않습니다.

같은 데이터·현재 λ에서 비교하기 · 낮을수록 좋은 MSE
차수계수 수훈련 오차검증 오차

검증 오차는 설정을 비교하는 참고값입니다. 최종 테스트 점수는 이 실험에서 계산하지 않습니다. 검증값을 보고 고른 설정을 이 데이터 밖에서의 최고 모델로 해석하지 마세요.

새 데이터가 중요한 이유

훈련에 쓰지 않은 검증점은 입력과 잡음이 다릅니다. 원에 더 가까워진 모델이 마름모에도 더 가까워지는지 확인해 보세요.

계산 조건은 고정했습니다

훈련 18점·검증 36점 · 기준 규칙 sin(2πx) · 잡음 표준편차 0.18 · 두 난수 시드 2026·2027. 복잡도와 λ를 바꿔도 데이터는 바뀌지 않습니다.

모델 복잡도와 학습 시간

1차·3차·15차는 각각 계수 2개·4개·16개인 다항식 모델입니다. 재생은 서로 다른 모델을 차례로 보여주며, 신경망의 층 수나 학습 횟수를 나타내지 않습니다.

검증과 테스트를 구분합니다

검증값은 설정 선택에 참고할 수 있습니다. 이 실험에서는 별도 테스트 세트를 만들지 않았으며, 검증 수치를 최종 테스트 성능으로 소개하지 않습니다.

정규화 수식과 계산 조건 더 보기

목적식은 훈련 MSE + λΣⱼ≥₁βⱼ²입니다. 절편은 벌점에서 제외합니다. 차수 d의 Legendre 기저 Pⱼ(2x−1)를 사용하며, 벌점은 이 기저의 계수에 적용합니다. 같은 차수의 다항식을 표현하지만 원래 x의 거듭제곱 계수에 주는 벌점과는 다를 수 있습니다.

훈련 관측값으로만 QR 분해 최소제곱을 계산합니다. 표의 MSE에는 계수 벌점을 더하지 않았습니다. NumPy로 별도 구성한 90개 설정과 101개 입력의 예측을 대조해 계산을 확인했습니다.

오차 비교 그래프는 0.001~2의 로그 눈금입니다. 데이터 곡선 그림은 전체 예측이 보이도록 세로축이 바뀝니다. 훈련 오차와 검증 오차는 독립 표본의 잡음 차이로 대소가 뒤바뀔 수도 있습니다.

그림으로 다시 보기

56초 영상으로 복습하기

56초 · 한국어 자막 애니메이션 · 음성 없음

개념 출처

Google · 과적합과 일반화Google · 훈련·검증·테스트 분리scikit-learn · 과소적합·과적합 예제Google · L2 정규화scikit-learn · 전처리와 정보 누출