0703 class summary (1)

경사 하강법 (Gradient Descent)

: 미분 기울기를 이용하여 오차가 가장 작은 방향으로 기울기를 이동시키는 방법

•  순간 기울기가 0인 지점이 찾고자하는 최소 에러율
  --> 따라서 미분값이 0인 값을 찾을 때까지 기울기 값을 변화시켜보면 됨
• 이차함수인 MSE 식을 편미분 함으로써 기울기와 절편에 대한 변화량을 구할 수 있음
  * 편미분 : 여러개의 문자에 대해 미분하는 것

학습률 (Learning rate)

: 기울기의 이동 거리

* 최적의 학습률 --> 최적의 값을 찾는데 도움

• 학습률이 너무 크면 --> 값이 발산
• 학습률이 너무 작으면 --> 값이 수렴하지 못함
• 최적의 학습률 --> 사람이 넣어보면서 확인 (하이퍼파라미터)