ホリケン's diary

趣味はでぃーぷらーにんぐ

深層学習

VAE+LSTMで時系列異常検知

動機 Auto-Encoderに最近興味があり試してみたかったから 画像を入力データとして異常行動を検知してみたかったから (World modelと関連があるから) LSTMベースの異常検知アプローチ 以下の二つのアプローチがある(参考) LSTMを分類器として、正常か異常の2…

PyTorchにおける並列化処理について~備忘録~

動機 cpuの並列処理+GPUの並列処理が必要なモデルを実装する上で知識の整理をしておきたかったから 時短という意味でもこれから使いたいから 知らないことが多そうで単純に面白そうだったから CPUでの処理並列化 (参照: Multiprocessing best practices — Py…

Parallel WaveNetの論文を読み解く

原論文→https://arxiv.org/pdf/1711.10433.pdf Parallel WaveNetとは 簡単にいうならば、WaveNetよりも早く音声合成を行えるようにしたモデル。WaveNetではoutput音素を次の音素を出すためのinputとする回帰な接続をもつため音声一つ出すだけでも時間がかか…

深層強化学習"Ape-X"の論文を読みとく

Ape-XとはICLR2018で提案された深層強化学習アルゴリズム。既存モデルを大きく上回る成績&学習速度の改善をえた。 (実装もしているので、それの経過等も別の記事で報告できたらと思います)(時間があればまた更新します...) 元論文→Distributed Prioritized E…

Rainbow DQNのまとめ

~Raibow DQNとは~ Deep Q Networkをベースとした以下の6つの改善手法全てを統合したモデル (1) Double DQN DQNの課題 Q-learningでは教師データをmaxQ-valueで更新していた。この方法だと本来は価値の高くないはずの行動を最適だと判断してQ-valueの更新を行…