[딥러닝 기초]Momentum 설명

Momentum(탄력, 가속도)

학습 방향을 유지하려는 성질

• 모멘텀을 사용하면 학습 방향이 바로 바뀌지 않고, 일정한 방향을 유지하며 움직인다.

• 같은 방향의 학습이 진행된다면 가속을 가지며 더 빠른 학습을 기대할 수 있다.

$\overset{-}m\text\\\text$

학습에 따른 모멘텀 계산하기

전에 모멘텀 값이 연속적으로 적용 된다.

gradient descent

gradient descent + momentum

w(2)의 값을 비교해보면 momentum을 같이 사용한 결과가 더 작은 것을 알 수 있다.

가중치 변화가 같은 방향으로 이루어졌음으로 가속을 받아 더 많이 이동한 것을 확인할 수 있다.

언제 가중치 갱신을 멈추는지

• 미리 정해진 학습 수가 끝나는 경우

• MSE의 수치가 기준보다 낮을 때

• Cross validation(교차 검증)의 경우 Validation Set의 error가 증가하는 경우 Overfitting으로 간주하고 멈출 수 있다.

참고 블로그 : https://ynebula.tistory.com/26

Uploaded by Notion2Tistory v1.1.0