今週の進捗(井上)

今週の進捗

今後の課題

  • 企業研究・業界研究
  • 研究テーマの調査←11月前半までに
  • TOEICの勉強←12月の試験で680点突破を目標

B4ゼミ

財前:研究ポイント1:商品を取る際の指をマーカーに、商品の切り出しを行う。ポイント2:機械学習を実行する環境を整える。VGG16での商品識別の精度を試すと同時に、手荷物商品の切り出す作業を重点に行う。まずは背景除去に関する文献検索。

水戸:Dlibで検出した瞳の中心の動きを正しき判断できるかを試す。

二石:OpenCVのQrCodedetectorの扱い方、注意点を検索する。適用QRコード画像の状態を確認する。

北原:LipNetでの学習データの作成を専念。

五十君:fastText環境構築中、今週中に完成。その後、研究に入る。

白石:SVMのデモプログラムを動かした。今週は花の画像に適用する。 400枚中300枚を学習に使い、残りはテストデータとして使用する。

今週の進捗(北原)

テーマ:機械学習を用いた読唇精度の向上

先週のゼミで指摘された通り、斎藤先生のプログラムの中身を調べたhttps://github.com/kyutech-saitoh/3D-CNN-for-Lip-Reading-Challenge2019 学習用データとテストデータのラベルはテキストファイルによって紐付けされていた。自分で少ないデータセットを用いてプログラムを書き換えて実行しようとしたが、1つのフォルダの中に発話シーンの画像が数十枚あり、そのフォルダごとに正解ラベルがあって挫折したので、斎藤先生のプログラムを活用したい。データセット(SSSDhttp://www.slab.ces.kyutech.ac.jp/SSSD/index_ja.html)に用いた画像は、Dlibを用いて唇を抽出しているみたい。

LipNet(https://github.com/rizkiarm/LipNet)の中身を知る前にgit cloneして動かせるか確認したが、pip install -e .する際にgccが入ってないみたいなエラーが3件くらい出て検索したところXcodeを入れれば治ると書いてあったが、入れてみたところ変化なし。

今週の進捗(二石)

画像からQRコードを検出、読み取りをできるようにしたが、画像の種類によっては読み込みができるときとできない場合があるので解決したい。動画からの検出ができるように今後は取り組みたい。

QRの検出はopencv4.0に組み込まれているもので画像を与えると処理してくれるので、どこか新規性を生み出す必要があるように思う。偏光版を用いたQRコードの作成は紙上に作成しようとしたところ、予想以上に黒く、偏光板を重ねることなく検出ができそうであり、また上記QR検出のプログラム作成で終えられなかった。