Deep Learning (1) 썸네일형 리스트형 Gradient Descent and Its Variants 이 글에서는 Gradient Descent algorithms인 BGD(Batch Gradient Descent), SGD(Stochastic Gradient Descent) 그리고 MGD(Mini-batch Gradient Descent)에 대해서 다소 Mathematically하게 설명을 해보겠습니다. 그 동안 개념을 어렴풋하게만 아셨던 분들은 이 글을 통해서 수학적으로 개념을 다시 명확하게 할 수 있을 것 같습니다. 수학이라는 단어를 사용하기는 했지만 산수에 가까운 정도이니 부담없이 읽으실 수 있습니다. 그럼 시작하겠습니다. 1. 우선 Loss function에 대해서 먼저 알아보죠. Gradient Descent algorithm에 대해서 알아보기 전에 Loss function이라는 것에 대해서 .. 이전 1 다음