artificial intelligence

0703 class summary (1)

보민06 2021. 7. 5. 22:29

경사 하강법 (Gradient Descent)

: 미분 기울기를 이용하여 오차가 가장 작은 방향으로 기울기를 이동시키는 방법

  •  순간 기울기가 0인 지점이 찾고자하는 최소 에러율
    --> 따라서 미분값이 0인 값을 찾을 때까지 기울기 값을 변화시켜보면 됨
  • 이차함수인 MSE 식을 편미분 함으로써 기울기와 절편에 대한 변화량을 구할 수 있음
    * 편미분 : 여러개의 문자에 대해 미분하는 것

학습률 (Learning rate)

: 기울기의 이동 거리

* 최적의 학습률 --> 최적의 값을 찾는데 도움

  • 학습률이 너무 크면 --> 값이 발산
  • 학습률이 너무 작으면 --> 값이 수렴하지 못함
  • 최적의 학습률 --> 사람이 넣어보면서 확인 (하이퍼파라미터)