SGD ランダムサンプリングから勾配計算を行う。ランダム性を持つことから計算ごとに勾配が変化して解が揺さぶられることにより局所解に落ち着くことを防ぐ。 momentum SGD SGDの持つ特徴に加えて慣性項を入れることで大局的な勾配の平均方向に勾配更新して行…