artificial intelligence
0703 class summary (1)
보민06
2021. 7. 5. 22:29
경사 하강법 (Gradient Descent)
: 미분 기울기를 이용하여 오차가 가장 작은 방향으로 기울기를 이동시키는 방법
- 순간 기울기가 0인 지점이 찾고자하는 최소 에러율
--> 따라서 미분값이 0인 값을 찾을 때까지 기울기 값을 변화시켜보면 됨 - 이차함수인 MSE 식을 편미분 함으로써 기울기와 절편에 대한 변화량을 구할 수 있음
* 편미분 : 여러개의 문자에 대해 미분하는 것
학습률 (Learning rate)
: 기울기의 이동 거리
* 최적의 학습률 --> 최적의 값을 찾는데 도움
- 학습률이 너무 크면 --> 값이 발산
- 학습률이 너무 작으면 --> 값이 수렴하지 못함
- 최적의 학습률 --> 사람이 넣어보면서 확인 (하이퍼파라미터)