昨日は更新せずに寝てしまった。今日は機械学習の勉強をして、今週の仕事を終わらせた。今日は重みパラメタの初期化手法を学んだ。深層学習の重みパラメータは学習開始前に正規分布か一様分布からランダムに抽出されるのだが、どんな分布を設定するかで学習の効率が変わってくる。（最近は重要度は下がってきているらしいけど）正則化の観点からは重みの分散が隣接する層の間でできるだけ等しいと嬉しい。今日は、条件を満足させる確率分布の形状を決定する計算をした。分散の計算をガチャガチャやって、活性化関数の性質を使ってやるだけだったけど、やってる途中は迷子になることもあった。終わってみたらそんなに難しいことはやってなかった。でも逆伝播の方の条件はまだあまりよくわかっていない。そこは実装してからもう一度見てみようと思う。
昨日は政治経済学の質問大会があった。講義のまとめ問題の解説会みたいな感じだった。このまとめ問題の、ある企業モデルの最適戦略の求め方がいまいち納得出来てなかったけど、ゲーム理論の勉強をしたときに扱った2段階ゲームの最適な戦略であるとわかってすごくスッキリした。2段階で行動するっていうのが暗に前提とされてて、それがよく分からないまま解いてたから分からなかったのだと思う。
