某大学生の機械学習日記

趣味はでぃーぷらーにんぐ

Optimizerに関する備忘録(自分用)

SGD ランダムサンプリングから勾配計算を行う。ランダム性を持つことから計算ごとに勾配が変化して解が揺さぶられることにより局所解に落ち着くことを防ぐ。 momentum SGD SGDの持つ特徴に加えて慣性項を入れることで大局的な勾配の平均方向に勾配更新して行…

Research Papers(Segmentation)

印象に残っているものを列挙(おそらく随時追記する). UNet-based models Pyramid Attention Network(https://arxiv.org/pdf/1805.10180.pdf) Global Convolututional Network(https://arxiv.org/pdf/1703.02719.pdf) Attention-Gated UNet(https://arxiv.org…

Lovasz-hinge loss 解説 ~ optimization of the IoU measure ~

動機 「TSG Solt Identification(kaggle)」のDiscussionでこのLoss関数が話題に上がっていて ちょうど良い機会だったから 目的とする指標ごとに適切なLoss関数が異なることに面白みを覚えたから 事前知識 segmentation segmentationとは画像系のタスクの一種…

【R】仮想通貨の時系列解析(2)

導入 Bitcoinの価格データ(2011/8/27-2018/2/22)を元に解析をした。仮想通貨を含む証券データは様々な要因から変動しているが、価格データ単体からどれほど情報を抜き取れるか興味があったのでこれを題材とした。 仮想通貨の時系列解析(1)~でデータの記述を…

【R】仮想通貨の時系列解析(1)

導入 Bitcoinの価格データ(2011/8/27-2018/2/22)を元に解析をした。仮想通貨を含む証券データは様々な要因から変動しているが、価格データ単体からどれほど情報を抜き取れるか興味があったのでこれを題材とした。 仮想通貨の時系列解析(1)~でデータの記述を…

ACL2018: Best Papers(Long全3種)の紹介

動機 NLP事情が気になっていた arXivTimesさん主催のACL2018読み会に参加した 参考: ACL 2018: Best Papers Best Long Papers 動機 Best Long Papers 1. Learning to Ask Good Questions: Ranking Clarification Questions using Neural Expected Value of P…

時系列解析をゆるっと解説(2)

knto-h.hatenablog.com 時系列解析をゆるっと解説(1)の続きである。 時系列解析 時系列解析 状態空間モデルによる時系列の解析 ARMAモデルの状態空間表現 トレンドの推定(時系列モデリング手法) 季節調整モデル(時系列モデリング手法) 非ガウス型モデル(時系…

時系列解析をゆるっと解説(1)

動機 時系列データ分析を絶賛勉強中 時系列解析の全体像がまとまっている資料を作りたかった 導入 参考書「時系列解析入門(北川源四郎著)」 構造化を目的としているので個々の手法等の詳細については説明していません。あくまでも概要です。 時系列解析 参考…

VAE+LSTMで時系列異常検知

動機 Auto-Encoderに最近興味があり試してみたかったから 画像を入力データとして異常行動を検知してみたかったから (World modelと関連があるから) LSTMベースの異常検知アプローチ 以下の二つのアプローチがある(参考) LSTMを分類器として、正常か異常の2…

OpenCVを使った移動物体検出

目次 * フレーム差分法 * オプティカルフローの可視化 1. 疎なオプティカルフロー 2. 密なオプティカルフロー * フレーム差分法 フレーム差分法(フレーム間の同じ位置の画素値の差の絶対値を画素とする画像から移動物体を切り出す方法)を用いて動画を処理す…

Ubuntu16.04LTSのGPU用環境構築

家のパソコンのOSを再インストールし、環境構築を1からやったのでその備忘録を。。。 スペック - GeForce1080 - Ubuntu16.04LTS 目次 - 初期エラー - nvidiaドライバーのインストール - CUDA9.1のインストール - cuDNNv7.0のインストール - python3.6のイン…

janome+LDAでトピックモデル

動機 ニュース記事等のトピック推定については腐る程で出回ってるからちょっと違った切り口からトピックモデルを実践したかった "janome"というめちゃくちゃ日本語前処理の便利なツールを見つけたから使ってみたかった コーパス 名大会話コーパスを用いた 前…

AKRacingのゲーミングチェアが届いたぞー!!(おまけでNLPについてのぼやき)

ちょーかっこいい。。。 作業の時間がかなり増えることを見越してそれなりの椅子をって探して即決したこの椅子、かっこいいわ座り心地も最高だわ捗ること間違いなし。

PyTorchにおける並列化処理について~備忘録~

動機 cpuの並列処理+GPUの並列処理が必要なモデルを実装する上で知識の整理をしておきたかったから 時短という意味でもこれから使いたいから 知らないことが多そうで単純に面白そうだったから CPUでの処理並列化 (参照: Multiprocessing best practices — Py…

DNNアンサンブル学習手法"Stochastic Weight Averaging(SWA)"で遊んでみた

動機 最近学校の課題が忙しく、ガッツリ系の実装ができていない中ちょうど良さげなものが見つかったから。 これ本当か?と感覚的には理解できなかったので実際に試してみて調べたかったから Stochastic Weight Averaging(SWA)の概要 従来のアンサンブル学習…