今日は機械学習の勉強をした。色々な勾配降下法を学んだ。勾配降下法とは、損失関数を最小化するように重みパラメータを更新する手法のこと。良い勾配降下法に求められる条件は、「最小値から遠い点では素早く最小値に近づくが、最小値付近では小さく近づいていく」というもの。また、更新するデータをどのくらい用いるかも計算量の観点から重要。最も素朴な手法は、最急降下法というもの。これは勾配ベクトルの学習率倍を現在の重みパラメタから引くという更新方法。最急降下法は全てのデータを使用するので計算量が大きくなる。そこで、ランダムに抽出した1つのデータを用いるのが確率的勾配降下法。これら2つの間をとったのがミニバッチ勾配降下法で、現在深層学習で広く用いられる手法らしい。降下速度を調整するアルゴリズムとしては、モメンタムとかがある。これは慣性を利用した方法で、降下速度を調整できる。
今日は熱中症気味になってしまい、日中は寝込んでしまった。起きてから少しは回復したがずっと頭が痛かった。とりあえず目標をしてるところまでは勉強できたがしんどかった。（いつもは楽しく勉強できているが、体調が悪いと考えるのが辛くなるのでいつも以上に時間がかかってしまった。）
