JLOG

손실 함수란? 학습을 통해 최적 가중치 매개변수(W)를 결정하기 위한 지표로 손실함수(loss function)을 사용한다. 오차(loss, cost) 값을 작게 만드는 것이 신경망 학습의 목표이다. Gradient Descent loss function의 gradient(기울기)를 이용하여 loss가 최소화 되는 방향으로 학습시키는 것 위와 같이 loss function의 기울기가 -라면 loss 값이 최소가 되는 방향인 +방향으로 이동하고, loss function의 기울기가 +라면 loss 값이 최소가 되는 방향인 -방향으로 이동할 것이다. 평균 제곱 오차(mean square error, MSE) yk : 신경망 출력 tk : 정답 레이블(one-hot encoding 형식) n : 데이터의 개수..

Momentum(탄력, 가속도) 학습 방향을 유지하려는 성질모멘텀을 사용하면 학습 방향이 바로 바뀌지 않고, 일정한 방향을 유지하며 움직인다.같은 방향의 학습이 진행된다면 가속을 가지며 더 빠른 학습을 기대할 수 있다.m−는 직전의 모멘텀을 의미하고 초기화 값은 0이다.α는 가속도 값을 의미하는 hyperparameter (0.9와 같은 1 이하의 값을 가짐)\overset{-}m\text\\\textm−는 직전의 모멘텀을 의미하고 초기화 값은 0이다.α는 가속도 값을 의미하는 hyperparameter (0.9와 같은 1 이하의 값을 가짐) 학습에 따른 모멘텀 계산하기전에 모멘텀 값이 연속적으로 적용 된다. gradient descentgradient descent + momentumw(2)의 값을 비..

!! 목표 선형적인 관계에 있는 Linear Regression(선형회귀)와기울기를 이용해 loss를 줄이고 W,b를 갱신하는 Gradient descent algorithm(경사하강법)에 대해 알아보자 1. Linear Regression의 Hypothesis 와 cost 설명 -Linear Regresssion Linear Regression : 선형적인 관계에 있는 식이라 생각할 수 있다. 데이터들을 바탕으로 적절한 Linear 관련 식을 찾아, Regression 할 수 있도록 한다. -Hypothesis : 어떤 값이 나올지 예측하는 것 H(x) = Wx+b에서 정답에 제일 부합하는 W & b를 찾는 것이 목표 -Cost Function (Loss Function) 정해진 H(x) = Wx+b의..

!! 목표 Machine Learning의 종류(Supervised learning / Unsupervised learning) 그리고 관련 용어와 개념을 알아보자 1. Machine Learning의 배경 Limitations of explicit programming → 직접 학습하는 Machine Learning을 생각해냈다 2. Supervised learning, Unsupervised learning의 구분 1) Supervised learning(지도학습) 해당 data와 label이 주어진 학습 ex) data : 고양이 사진 / label : 고양이 라는 것을 주고 학습을 시킨다 2) Unsupervised learning(비지도학습) label이 주어지지 않은 채로 데이터를 보고 스스로..