今日は機械学習の続きから勉強した。今日は学習率を調整する最適化手法を学んだ。学習率が徐々に小さくなってくれると嬉しいのだが、それを実現するに手法がたくさんあって面白かった。まずはモメンタム。これは慣性の力を利用していて、急カーブするのを避けるアルゴリズム。（急カーブする方向のベクトル＋進んでた方向のベクトルの合成ベクトルとして進む方向を決定する。）次に出てきたのがAdaGrad。これは（事実上の）学習率を単調減少になるように定義したもの。学習率を小さくしたいのだから学習率に単調減少な時間の関数をかけてあげればいいっていうのはすごく自然な発想だと思った。これをさらに改良したのがRMSprp。これは移動平均をとったもの。移動平均とは時系列データに対する平均みたいなもの。ここでは指数平準化移動平均という平均の取り方をしているから、前のステップの情報が指数関数的に薄れていく(nステップ前の情報はp^n薄れる。)最後に登場するのがAdamで、RMSprop（学習率逓減系アルゴリズムの最終ver）と慣性利用するモメンタムの組み合わせ。これでここまで学んだアルゴリズムのいいどこ取りができる。なんか最終形態みたいでとてもテンションが上がるアルゴリズム。
打って変わって政治経済学（という名前の授業）の復習をした。まずは頭の中の年表がぐちゃぐちゃだったので、授業で扱う経済学史関連の出来事の年表をつくった。非常に簡素なものだがとても頭が整理された。そして『経済学と倫理学』を読んだうえで授業で扱った内容（スライド）を再確認した。あいにく授業動画は消えちゃってたから前にとったノートを見返しながら復習した。動画はダウンロードしといたほうがよさそう。明日は『経済学と倫理学』を読み終えて、授業の復習をして、練習問題をといて質問事項をまとめる。（次回授業で質問大会が開催されるから）質問はジャンルごとに分類したうえで、優先順位をつけようと思う。正直本を読んでてもわからないことだらけだし、（ここで言う分からないというのは自分の理解が正しいかどうかの保証が持てないことを指す）理解確認系の質問もしていたら授業時間がいつまであっても足りないから、とくに重要な質問を見つけ出す作業を忘れずにやりたい。
リスニングもした。特にいうことはないがウクライナとロシアの勢力の強い地域における河川の氾濫のニュースと、あとは人類学のニュースを聞いた。ネアンデルタールとか脳みそ大きい種の前にも芸術とかあったし、工夫の施された墓もあったよ、という内容。
今日は朝の6時に目が覚めたので（勉強以外にも）色々活動できた。この調子で早起きしたい。
