M1ゼミ

参加:庄司以外

井上:研究テーマを絞る。一つの課題に対し、論文を漁り、その研究の現状を知ることが大事です。

梶岡:顔のいろんな箇所に色差分、場所間差分を取り、飲酒の際の変化を顕著なデータを探る。ビデオデータを取得しておく。

金當:TOEICをもう一回挑戦しよう。研究について、時間を作って、試す。今週は画面輝度調節アプリを挑戦しましょう。

今週の進捗(梶岡)

〇今週の進捗

  • アプリ開発 参考書
  • アルコール摂取 基礎実験
  • TDK ES完成(11/14面談予定)

右頬、左頬、白目の3か所を対象にBGRの変化を簡易的にではあるが取ってみた。今回はとりあえずどの色に着目するかを決めようと思ったのでフィルタ処理などはしていない。以下に結果のまとめがある。

〇考察

青、緑は変化がまちまちで参考にはならないかもしれない。やはりお酒を飲むと顔が赤らむのでそこに注目したほうがよさそう。

〇今後の課題

今週の進捗(井上)

今週の進捗

今後の課題

  • 企業研究・業界研究
  • 研究テーマの調査←11月前半までに
  • TOEICの勉強←12月の試験で680点突破を目標

B4ゼミ

財前:研究ポイント1:商品を取る際の指をマーカーに、商品の切り出しを行う。ポイント2:機械学習を実行する環境を整える。VGG16での商品識別の精度を試すと同時に、手荷物商品の切り出す作業を重点に行う。まずは背景除去に関する文献検索。

水戸:Dlibで検出した瞳の中心の動きを正しき判断できるかを試す。

二石:OpenCVのQrCodedetectorの扱い方、注意点を検索する。適用QRコード画像の状態を確認する。

北原:LipNetでの学習データの作成を専念。

五十君:fastText環境構築中、今週中に完成。その後、研究に入る。

白石:SVMのデモプログラムを動かした。今週は花の画像に適用する。 400枚中300枚を学習に使い、残りはテストデータとして使用する。

今週の進捗(北原)

テーマ:機械学習を用いた読唇精度の向上

先週のゼミで指摘された通り、斎藤先生のプログラムの中身を調べたhttps://github.com/kyutech-saitoh/3D-CNN-for-Lip-Reading-Challenge2019 学習用データとテストデータのラベルはテキストファイルによって紐付けされていた。自分で少ないデータセットを用いてプログラムを書き換えて実行しようとしたが、1つのフォルダの中に発話シーンの画像が数十枚あり、そのフォルダごとに正解ラベルがあって挫折したので、斎藤先生のプログラムを活用したい。データセット(SSSDhttp://www.slab.ces.kyutech.ac.jp/SSSD/index_ja.html)に用いた画像は、Dlibを用いて唇を抽出しているみたい。

LipNet(https://github.com/rizkiarm/LipNet)の中身を知る前にgit cloneして動かせるか確認したが、pip install -e .する際にgccが入ってないみたいなエラーが3件くらい出て検索したところXcodeを入れれば治ると書いてあったが、入れてみたところ変化なし。

今週の進捗(二石)

画像からQRコードを検出、読み取りをできるようにしたが、画像の種類によっては読み込みができるときとできない場合があるので解決したい。動画からの検出ができるように今後は取り組みたい。

QRの検出はopencv4.0に組み込まれているもので画像を与えると処理してくれるので、どこか新規性を生み出す必要があるように思う。偏光版を用いたQRコードの作成は紙上に作成しようとしたところ、予想以上に黒く、偏光板を重ねることなく検出ができそうであり、また上記QR検出のプログラム作成で終えられなかった。

今週の進捗(水戸)

テーマ「アイトラッキングを利用したマウス操作簡易化」

ハフ変換を行う関数HoughCircles()のパロメータを変化させると顔全体の静止画像から瞳部分の抽出をすることができた(図1)。次にwebカメラから取得した映像から同様にハフ変換で瞳部分の抽出を行おうと試みたが動作しなかった。原因は、ハフ変換は処理に時間がかかるためフレームレートと同期せずに処理が行われなかったためだと推測した。

そこで異なる方法として、機械学習ライブラリdlibにある輪郭や瞳の識別器を用いて瞳の抽出を行おうと考えた。識別器によってwebカメラの映像から瞳の中心を抽出できることが確認できた(図2)。

今後は、左右の瞳の中心座標を取得してそれらを結んだ線分の中点を基準としてカーソル位置と一致させるようにプログラムを組む予定です。

図1 顔全体の画像からハフ変換で
瞳部分のみをマークした結果

図2 dlibの識別器を利用して特徴点をマークしたもの。
瞳の中心を緑でマークしている。

今週の進捗(財前)

自分の研究の段階は大きく分けて2つと改めて認識した

1、画像から判別する物体を検出

2、検出した物体を機械学習で判別

①親指に指サックなどを付け、それをCascadeClassifier関数を使い指サックを検出し、持っている商品までをトリミング・・・検出するためのxmlファイルの作成法を勉強中

②VGG16を用いた転移学習による判別

anacondaの仮想環境をつくりtensorflowなどの必要な物をインストールした

windowsの環境を構築した際jupyternotebookが動作しなかったためhttps://kazusa-pg.com/jupyter-notebook-use-virtual-env-kernel/を行い動作するよう設定した

転移学習を試行中

M2ゼミ

仮屋:OCR認識する前の画像フィルタリングの評価関数をレーベンシュタイン距離で行った。精度向上が認められた。

赤瀬:Kerasの設定を行う。CUDAバージョンアップに伴い、調整が必要。

中尾:OpenCVとDlibで顔パーツの検出、瞳の検出ができた。LED点灯させる装置の製作に入る。

藤島:車内での車外画像取得したが、画質がよろしくないので、車外での画像取得に試みる。