今週の進捗(北原)

https://github.com/sailordiary/LipNet-PyTorch DL-BOXのCUDAが9になっていたので動かせました。時間がかかりそうだったのでGPUが2枚以上使えないか色々調べたがRNNを含むコードには不向きらしい。。。 

https://github.com/osalinasv/lipnet Kerasで実装されてる方も動いたので精度が良い方を使いたい。どちらもデータセットはGRIDコーパスhttp://spandh.dcs.shef.ac.uk/gridcorpus/を用いた。

自分で日本語のデータセットを作るためにもう一度LipNetに関する論文に目を通した。https://www.ams.giti.waseda.ac.jp/data/pdf-files/2019_asami_bt.pdf https://arxiv.org/abs/1611.01599

使われてるデータセットのGRIDはcommand + color + preposition + letter + digit + adverb で構成されている。(silは無声期間)

GRIDのアライメントの一つ

今週の進捗(五十君)

テーマ「文字認識を用いた買い忘れ防止案」

今週の進捗

①fasttext用の学習データを、まずは、お米・牛乳・パンの3種類で作成した。

②Amazon APIを使う方法も先週は考えていたが、調べてみるとこれには厳しい審査を通る必要があるのでこちらは辞めようと思った。fasttextの方に専念する。

今後の課題

・fasttextはインストールできていたのだが、python用のfasttextモジュールはインストールできていなかったことが分かり、そのせいで作成した学習データをfasttextに学習させることができなかった。そして、fasttextの公式のページhttps://fasttext.cc/docs/en/support.html

これに書いてある通りに、fasttextモジュールを入れても、pyファイルを実行すると「そのモジュールはありません」と表示されるので、これの対応を考える。