SGD ランダムサンプリングから勾配計算を行う。ランダム性を持つことから計算ごとに勾配が変化して解が揺さぶられることにより局所解に落ち着くことを防ぐ。 momentum SGD SGDの持つ特徴に加えて慣性項を入れることで大局的な勾配の平均方向に勾配更新して行…

印象に残っているものを列挙(おそらく随時追記する). UNet-based models Pyramid Attention Network(https://arxiv.org/pdf/1805.10180.pdf) Global Convolututional Network(https://arxiv.org/pdf/1703.02719.pdf) Attention-Gated UNet(https://arxiv.org…