今週の進捗(五十君)

テーマ「文字認識を用いた買い忘れ防止案」

今週の進捗

①fastTextをインストールすることができた。

②マッチング方法について、再度考え直し、レシートから読み取れた商品名がどの種類の食品なのかをfastTextを用いてクラス分類できると一番良いと考えた。

研究相談

・上記の②のことを実現するため、学習用データをどうしたらよいかが現状分かりません。色々な食品の品種名を一覧でまとめてくれているサイト(例、お米の品種一覧:https://ichiranya.com/technology/002-rice.php)があり、URLを指定すればそこから記事をピックアップして学習させることができることは、こちらのサイト(https://www.pytry3g.com/entry/gensim-word2vec-tutorial)から分かったのですが、こちらのサイトの中でのkeywordに当たる部分は、自分の場合はどうしたら良いかが分かりません。

今週の進捗(水戸)

dlibを用いた顔検出において、左右の瞳の座標を得るように先週のプログラムを改良した。また、その2つの座標を結んだ線分の中点の座標を得ようとプログラムを書き換えたがうまくいかなかった。(図1)

調べた結果Openfaceを用いると顔の方向ベクトルを検出できるようなのでプログラムを実行してみた。(図2)顔の向きにより大まかな視線の方向を推定し、瞳の座標により視線位置の特定ができるといいかなと思っている。

今後は、顔の方向ベクトルと瞳の座標を組み合わせて、視線位置を検出するアルゴリズムの作成を行う。アルゴリズムに関しては思考中です。

図1 フレームレートと左右の瞳座標を表示させた

図2 顔の方向ベクトルを表示している

今週の進捗(財前)

判別する物体をトリミングする手法について2つの方法で試みた

①親指を検出し、そこからトリミングする

親指を検出

親指の周りをトリミング

机を変えたり、物体を持ったら識別できないのでもっと学習用の画像を増やすことが必要。

②動画中の動体を検出し、背景を除去し動体だけを取り出す

前の瞬間との差分を検出し動いた部分を白色で表示

M2ゼミ

全員

仮屋:GPの関数を追加し、再実験を行った。修論を一段まとめてから、深く研究を継続する。

藤島:RaspBerry Pi 不調、フォーマットし直したものを渡し、再度構築する。

赤瀬:修論作成に専念、現在のクラスファイルに年号の記載が平成のままになったいるようで、これをのちほど修正する。

中尾:DlibをRaspberry PIにインストールし、これから試す。LED点灯回路を作る。

進捗(藤島)

RasberryPiにTensorflowをインストールしたが、インポートできない。
おそらく様々なバージョンのPythonをインストールしたからだと思われる。
RasberryPiを再インストールしようとしたが行う事ができない。
USBを設定したからだと思われる。
現在RasberryPiが起動できない状態になっている。