[AI Math, Optimization] Gradient, Jacobian 및 Hessian
최적화에 사용되는 gradient, jacobian, hessian 에 대해 비교해보자.
Optimization
이 카테고리에서는 Optimization 이론과 Regularization 기법, 다양한 Optimizer, Scheduler 를 다룬다. 각 포스트 제목 앞에 붙은 keyword 로 구분할 수 있다.
[Deep Learning, Optimization] Bias 와 Variance
Bias 와 Variance 에 대해 알아보자
[Optimization] Local Minima
최적화 과정에서 발생하는 Local Minima에 대해 알아보자
[Optimization] Convexity, Smoothness, Strong-convex
최적화 과정에서 자주 사용하는 함수 성질들에 대해 알아보자
[Optimizer] Optimizer
대표적인 Optimizer 들에 대해 알아보자
[Regularization] Regularization
Optimization 중 Regularization 에 대해서 알아보자
[Optimization] Optimization for DL
Optimization 에 대해 알아보자