모아의 기웃기웃 · AI 이해하기 · 4편
배운 점에 더 잘 맞췄는데,
새 점에서는 왜 더 틀릴까요?
모델 복잡도를 바꾸며 훈련 오차와 검증 오차를 함께 비교해 보세요.
재생은 1~15차 모델을 차례로 비교합니다. 학습 시간이나 가중치 갱신 횟수를 뜻하지 않습니다.
훈련 오차
계수를 맞추는 데 사용한 18점
검증 오차
계수 학습에 쓰지 않은 36점
모델의 숫자 수
절편을 포함한 계수 d+1개
같은 모델을 두 데이터에 대입하면
복잡도를 바꿀 때 두 오차
세로축은 로그 눈금입니다. 각 점은 별도로 계수를 맞춘 모델이며, 선택한 차수에 세로선을 표시합니다.
○ 훈련 18점◇ 검증 36점실선 · 현재 모델점선 · 데이터를 만든 곡선
점 표시를 꺼도 오차 계산은 유지됩니다. 기준 곡선은 교육용 데이터의 생성 규칙이며, 모델 학습에는 사용하지 않습니다.
| 차수 | 계수 수 | 훈련 오차 | 검증 오차 |
|---|
검증 오차는 설정을 비교하는 참고값입니다. 최종 테스트 점수는 이 실험에서 계산하지 않습니다. 검증값을 보고 고른 설정을 이 데이터 밖에서의 최고 모델로 해석하지 마세요.
새 데이터가 중요한 이유
훈련에 쓰지 않은 검증점은 입력과 잡음이 다릅니다. 원에 더 가까워진 모델이 마름모에도 더 가까워지는지 확인해 보세요.
계산 조건은 고정했습니다
훈련 18점·검증 36점 · 기준 규칙 sin(2πx) · 잡음 표준편차 0.18 · 두 난수 시드 2026·2027. 복잡도와 λ를 바꿔도 데이터는 바뀌지 않습니다.
모델 복잡도와 학습 시간
1차·3차·15차는 각각 계수 2개·4개·16개인 다항식 모델입니다. 재생은 서로 다른 모델을 차례로 보여주며, 신경망의 층 수나 학습 횟수를 나타내지 않습니다.
검증과 테스트를 구분합니다
검증값은 설정 선택에 참고할 수 있습니다. 이 실험에서는 별도 테스트 세트를 만들지 않았으며, 검증 수치를 최종 테스트 성능으로 소개하지 않습니다.
정규화 수식과 계산 조건 더 보기
목적식은 훈련 MSE + λΣⱼ≥₁βⱼ²입니다. 절편은 벌점에서 제외합니다. 차수 d의 Legendre 기저 Pⱼ(2x−1)를 사용하며, 벌점은 이 기저의 계수에 적용합니다. 같은 차수의 다항식을 표현하지만 원래 x의 거듭제곱 계수에 주는 벌점과는 다를 수 있습니다.
훈련 관측값으로만 QR 분해 최소제곱을 계산합니다. 표의 MSE에는 계수 벌점을 더하지 않았습니다. NumPy로 별도 구성한 90개 설정과 101개 입력의 예측을 대조해 계산을 확인했습니다.
오차 비교 그래프는 0.001~2의 로그 눈금입니다. 데이터 곡선 그림은 전체 예측이 보이도록 세로축이 바뀝니다. 훈련 오차와 검증 오차는 독립 표본의 잡음 차이로 대소가 뒤바뀔 수도 있습니다.
그림으로 다시 보기






56초 영상으로 복습하기
56초 · 한국어 자막 애니메이션 · 음성 없음