모아의 기웃기웃 · AI 이해하기 · 4편

배운 점에 더 잘 맞췄는데,
새 점에서는 왜 더 틀릴까요?

모델 복잡도를 바꾸며 훈련 오차와 검증 오차를 함께 비교해 보세요.

재생은 1~15차 모델을 차례로 비교합니다. 학습 시간이나 가중치 갱신 횟수를 뜻하지 않습니다.

훈련 오차

계수를 맞추는 데 사용한 18점

검증 오차

계수 학습에 쓰지 않은 36점

모델의 숫자 수

절편을 포함한 계수 d+1개

곡선 그래프의 세로축만 고정합니다. 끄면 현재 곡선에 맞춰 자동 조정됩니다.

같은 모델을 두 데이터에 대입하면

○ 훈련 18점◇ 검증 36점실선 · 현재 모델점선 · 데이터를 만든 곡선

복잡도를 바꿀 때 두 오차

● 실선 · 훈련 MSE◆ 파선 · 검증 MSE세로선 · 선택한 차수

세로축은 로그 눈금입니다. 각 점은 별도로 계수를 맞춘 모델입니다.

점 표시를 꺼도 오차 계산은 유지됩니다. 기준 곡선은 교육용 데이터의 생성 규칙이며, 모델 학습에는 사용하지 않습니다.

같은 데이터·현재 λ에서 비교하기 · 낮을수록 좋은 MSE
차수계수 수훈련 오차검증 오차

이 데이터에서 설정을 비교하는 실험입니다. 별도의 최종 테스트 점수는 계산하지 않습니다.

지난 XOR 실험에서 한 걸음 더

XOR의 네 점은 두 이진 입력의 전체 조합입니다. 지난편에서는 규칙을 표현하고 학습하는 능력을 봤습니다. 이번에는 새 표본을 만들 수 있는 곡선 문제에서 일반화를 확인합니다.

새 데이터가 중요한 이유

훈련 18점과 검증 36점은 같은 규칙에서 입력 위치와 잡음을 달리해 만들었습니다. 원에 더 가까워진 모델이 새로운 마름모에도 더 가까워지는지 확인해 보세요.

모델 복잡도와 학습 시간

1차·3차·15차는 각각 계수 2개·4개·16개인 다항식 모델입니다. 복잡도를 바꿔도 같은 데이터를 사용하며, 재생은 서로 다른 모델을 차례로 보여줍니다.

이번에 사용하는 L2 정규화

큰 계수를 사용하면 벌점을 더해 곡선의 표현을 제한합니다. λ는 그 세기이며, 계수 개수를 줄이는 조작은 아닙니다. 정규화에는 조기 종료 같은 다른 방법도 있지만 여기서는 L2 방식만 실험합니다.

L2 정규화 수식과 계산 조건 더 보기

기준 규칙은 sin(2πx), 정규 잡음의 표준편차는 0.18, 두 난수 시드는 2026·2027입니다. 입력 위치를 고정한 교육용 데이터로, 실측 데이터나 제품 성능 수치가 아닙니다.

목적식은 훈련 MSE + λΣⱼ≥₁βⱼ²입니다. 절편은 벌점에서 제외합니다. 차수 d의 Legendre 기저 Pⱼ(2x−1)의 계수에 벌점을 적용하며, 원래 x의 거듭제곱 계수에 주는 벌점과는 다를 수 있습니다. 표의 MSE에는 벌점을 더하지 않았습니다.

훈련 관측값으로만 QR 분해 최소제곱을 계산하고 별도의 NumPy 계산과 대조했습니다. 곡선은 세로축 고정이 기본이며 자동 조정으로 전환할 수 있습니다. 오차 그래프는 0.001~2의 로그 눈금입니다.

훈련 오차와 검증 오차는 유한 표본의 잡음 차이로 대소가 뒤바뀔 수도 있습니다. 검증 결과로 설정을 선택하고, 최종 테스트는 별도로 관리합니다.

그림으로 다시 보기

56초 영상으로 복습하기

56초 · 한국어 자막 애니메이션 · 음성 없음

개념 출처

Google · 과적합과 일반화Google · 훈련·검증·테스트 분리scikit-learn · 과소적합·과적합 예제Google · L2 정규화scikit-learn · 전처리와 정보 누출