機械学習の勉強
一部の人がしているという日記というものを私もしてみようと思ってする。
今日は機械学習の勉強をした。情報量やエントロピーという概念に初めて触れて、JSダイバージェンスなどの概念を学んだ。
エントロピーという言葉は以前から聞いたことがあって、「乱雑さを表す値｣ と思っていたが、実際に定義を調べてみたら「自己情報量の期待値」として定義されていた。分野によって異なるのかも。
JSダイバージェンスを導入するにあたって、KLダイバージェンスが対称性を満たすように変形したのが上手いと思った。まだ具体的な式はうろ覚えだけど。先日、距離の公理とかを位相空間の最初のところで勉強したばかりで、伏線回収が意外と早くてびっくりした。
結合エントロピーは誤差関数として学んだけど、他にはどんな誤差関数があるのか気になる。それぞれの性質の違いとか、アルゴリズムとの相性（誤差関数まで含めてアルゴリズムと呼ぶのかもしれないけど）とかも知りたい。あとは、教師なしのときってどうやって誤差を評価してるのか気になる。1年後期の授業でやった気がしないでもないけど、（というか確実にやってるけど）当時の自分には意味不だったから、もう一度資料見てみるのも違った発見がありそうでいいかも。
