先週のゼミで指摘された通り、斎藤先生のプログラムの中身を調べたhttps://github.com/kyutech-saitoh/3D-CNN-for-Lip-Reading-Challenge2019 学習用データとテストデータのラベルはテキストファイルによって紐付けされていた。自分で少ないデータセットを用いてプログラムを書き換えて実行しようとしたが、１つのフォルダの中に発話シーンの画像が数十枚あり、そのフォルダごとに正解ラベルがあって挫折したので、斎藤先生のプログラムを活用したい。データセット（SSSDhttp://www.slab.ces.kyutech.ac.jp/SSSD/index_ja.html)に用いた画像は、Dlibを用いて唇を抽出しているみたい。

LipNet(https://github.com/rizkiarm/LipNet)の中身を知る前にgit cloneして動かせるか確認したが、pip install -e .する際にgccが入ってないみたいなエラーが３件くらい出て検索したところXcodeを入れれば治ると書いてあったが、入れてみたところ変化なし。

個別ゼミ, 張先生

今週の進捗(二石)

2019年10月30日二石航歩コメントする

画像からQRコードを検出、読み取りをできるようにしたが、画像の種類によっては読み込みができるときとできない場合があるので解決したい。動画からの検出ができるように今後は取り組みたい。

QRの検出はopencv4.0に組み込まれているもので画像を与えると処理してくれるので、どこか新規性を生み出す必要があるように思う。偏光版を用いたQRコードの作成は紙上に作成しようとしたところ、予想以上に黒く、偏光板を重ねることなく検出ができそうであり、また上記QR検出のプログラム作成で終えられなかった。

個別ゼミ, 張先生, 画像関連, 研究相談, 研究進捗

今週の進捗（水戸）

2019年10月29日みとしゅんコメントする

テーマ「アイトラッキングを利用したマウス操作簡易化」

ハフ変換を行う関数HoughCircles()のパロメータを変化させると顔全体の静止画像から瞳部分の抽出をすることができた（図１）。次にwebカメラから取得した映像から同様にハフ変換で瞳部分の抽出を行おうと試みたが動作しなかった。原因は、ハフ変換は処理に時間がかかるためフレームレートと同期せずに処理が行われなかったためだと推測した。

そこで異なる方法として、機械学習ライブラリdlibにある輪郭や瞳の識別器を用いて瞳の抽出を行おうと考えた。識別器によってwebカメラの映像から瞳の中心を抽出できることが確認できた（図２）。

今後は、左右の瞳の中心座標を取得してそれらを結んだ線分の中点を基準としてカーソル位置と一致させるようにプログラムを組む予定です。