개념공부/AI, 머신러닝 등
[CS231n] Lecture3. Loss Functions and Optimization 정리
Zach Choi
2020. 10. 6. 06:09
728x90
반응형
1.
1_1. 모델의 Loss를 0으로 만드는 가중치 행렬은 유일하지 않다. W가 Loss를 0으로 만든다면, 2W도 Loss를 0으로 만든다.
1_2. Loss를 0으로 만들기 위한 Optimization을 할 때, Gradient Descent 방법을 주로 사용한다. Random Search는 연산량이 너무 많아 사용하지 않는다.
1_3. 손실함수 (Loss Function)에 L2 Regularization term을 추가하면, 손실(Loss)을 낮추면서도 가능한 작은 가중치 행렬을 찾을 수 있는 weight decay 효과가 있다.
728x90
반응형