ホリケン's diary

趣味はでぃーぷらーにんぐ

Fast AutoAugment再現実装(PyTorch)

Fast AutoAugmentとは すごい簡単ではあるがこのスライドを参考にすると大体の"キモチ"が伝わるはずだ。 Fast autoaugment from knto_h 実装 公式実装(https://github.com/kakaobrain/fast-autoaugment)は公開されているのだがなぜか肝心なpolicy searchの部…

The Lottery Tickets Hypothesis (宝くじ仮説) 解説&コード

概要 The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks ICLR2019 Best Paper Awards 「ランダムに初期化されたDNNモデルには、テスト精度でオリジナルモデルに匹敵するような小さいサブネットワーク(winning tickets)を内包してい…

Optimizerに関する備忘録(自分用)

SGD ランダムサンプリングから勾配計算を行う。ランダム性を持つことから計算ごとに勾配が変化して解が揺さぶられることにより局所解に落ち着くことを防ぐ。 momentum SGD SGDの持つ特徴に加えて慣性項を入れることで大局的な勾配の平均方向に勾配更新して行…

Research Papers(Segmentation)

印象に残っているものを列挙(おそらく随時追記する). UNet-based models Pyramid Attention Network(https://arxiv.org/pdf/1805.10180.pdf) Global Convolututional Network(https://arxiv.org/pdf/1703.02719.pdf) Attention-Gated UNet(https://arxiv.org…

Lovasz-hinge loss 解説 ~ optimization of the IoU measure ~

動機 「TSG Solt Identification(kaggle)」のDiscussionでこのLoss関数が話題に上がっていて ちょうど良い機会だったから 目的とする指標ごとに適切なLoss関数が異なることに面白みを覚えたから 事前知識 segmentation segmentationとは画像系のタスクの一種…

【R】仮想通貨の時系列解析(2)

導入 Bitcoinの価格データ(2011/8/27-2018/2/22)を元に解析をした。仮想通貨を含む証券データは様々な要因から変動しているが、価格データ単体からどれほど情報を抜き取れるか興味があったのでこれを題材とした。 仮想通貨の時系列解析(1)~でデータの記述を…

【R】仮想通貨の時系列解析(1)

導入 Bitcoinの価格データ(2011/8/27-2018/2/22)を元に解析をした。仮想通貨を含む証券データは様々な要因から変動しているが、価格データ単体からどれほど情報を抜き取れるか興味があったのでこれを題材とした。 仮想通貨の時系列解析(1)~でデータの記述を…

ACL2018: Best Papers(Long全3種)の紹介

動機 NLP事情が気になっていた arXivTimesさん主催のACL2018読み会に参加した 参考: ACL 2018: Best Papers Best Long Papers 動機 Best Long Papers 1. Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of P…

時系列解析をゆるっと解説(2)

knto-h.hatenablog.com 時系列解析をゆるっと解説(1)の続きである。 時系列解析 時系列解析 状態空間モデルによる時系列の解析 ARMAモデルの状態空間表現 トレンドの推定(時系列モデリング手法) 季節調整モデル(時系列モデリング手法) 非ガウス型モデル(時系…

時系列解析をゆるっと解説(1)

動機 時系列データ分析を絶賛勉強中 時系列解析の全体像がまとまっている資料を作りたかった 導入 参考書「時系列解析入門(北川源四郎著)」 構造化を目的としているので個々の手法等の詳細については説明していません。あくまでも概要です。 時系列解析 参考…

VAE+LSTMで時系列異常検知

動機 Auto-Encoderに最近興味があり試してみたかったから 画像を入力データとして異常行動を検知してみたかったから (World modelと関連があるから) LSTMベースの異常検知アプローチ 以下の二つのアプローチがある(参考) LSTMを分類器として、正常か異常の2…

OpenCVを使った移動物体検出

目次 * フレーム差分法 * オプティカルフローの可視化 1. 疎なオプティカルフロー 2. 密なオプティカルフロー * フレーム差分法 フレーム差分法(フレーム間の同じ位置の画素値の差の絶対値を画素とする画像から移動物体を切り出す方法)を用いて動画を処理す…

Ubuntu16.04LTSのGPU用環境構築

家のパソコンのOSを再インストールし、環境構築を1からやったのでその備忘録を。。。 スペック - GeForce1080 - Ubuntu16.04LTS 目次 - 初期エラー - nvidiaドライバーのインストール - CUDA9.1のインストール - cuDNNv7.0のインストール - python3.6のイン…

janome+LDAでトピックモデル

動機 ニュース記事等のトピック推定については腐る程で出回ってるからちょっと違った切り口からトピックモデルを実践したかった "janome"というめちゃくちゃ日本語前処理の便利なツールを見つけたから使ってみたかった コーパス 名大会話コーパスを用いた 前…

AKRacingのゲーミングチェアが届いたぞー!!

ちょーかっこいい。。。 作業の時間がかなり増えることを見越してそれなりの椅子をって探して即決したこの椅子、かっこいいわ座り心地も最高だわ捗ること間違いなし。

PyTorchにおける並列化処理について~備忘録~

動機 cpuの並列処理+GPUの並列処理が必要なモデルを実装する上で知識の整理をしておきたかったから 時短という意味でもこれから使いたいから 知らないことが多そうで単純に面白そうだったから CPUでの処理並列化 (参照: Multiprocessing best practices — Py…

Parallel WaveNetの論文を読み解く

原論文→https://arxiv.org/pdf/1711.10433.pdf Parallel WaveNetとは 簡単にいうならば、WaveNetよりも早く音声合成を行えるようにしたモデル。WaveNetではoutput音素を次の音素を出すためのinputとする回帰な接続をもつため音声一つ出すだけでも時間がかか…

深層強化学習"Ape-X"の論文を読みとく

Ape-XとはICLR2018で提案された深層強化学習アルゴリズム。既存モデルを大きく上回る成績&学習速度の改善をえた。 (実装もしているので、それの経過等も別の記事で報告できたらと思います)(時間があればまた更新します...) 元論文→Distributed Prioritized E…

Rainbow DQNのまとめ

~Raibow DQNとは~ Deep Q Networkをベースとした以下の6つの改善手法全てを統合したモデル (1) Double DQN DQNの課題 Q-learningでは教師データをmaxQ-valueで更新していた。この方法だと本来は価値の高くないはずの行動を最適だと判断してQ-valueの更新を行…