今週の進捗(北原)

テーマ:機械学習を用いた読唇精度の向上

正解ラベルを9人まで貼ったので先週の結果と比較してみたらどちらも精度は低いが、先週よりは上がった気がする。しかし、精度自体はとても低いので引き続き学習データを作成する作業を続けたい。。。。

先週(train:4人,test:1人)

今週(train:7人,test:2人)

今週の進捗(五十君)

テーマ「文字認識を用いた買い忘れ防止案」

今週の進捗

楽天市場で商品を検索した際に表示される、その検索した商品に関係のあるカテゴリ名をウェブスクレイピングにより取得するプログラムを書き、カテゴリー名の取得に成功した。

今後の課題

現在は、欲しいカテゴリー名を1つ、買った商品名を1つ用意してプログラムを試しているのですが、1つずつだと大体うまくいったので、今後はこれらを配列にしてプログラムを試していく。

今週の進捗(財前)

今までのoptical flowのトリミングプログラムは動画の最初から最後までの商品の特徴点の軌跡をとりそこから商品の座標を割り出すというものだったが、毎フレームごとに商品の特徴点座標を更新するプログラムに変更した。これにより商品の撮影は簡単なものとなった。

識別する商品を袋系(ピザポテト、ポップコーン)、箱系(トッポ、プリッツ)、ペットボトル系(お茶、ジュース)の6つにしてデータセットを作った。

商品をトリミング、識別し、音声出力するプログラムを作成した。

今週の進捗(水戸)

クリック、モード切替などの精度を高めた。

webサイトの入力欄にカーソルを合わせると画面にキーボードを表示せせるプログラムを作成中。Tkinterを用いてGUI作成しています。

[予定]
カーソルの移動を財前にしてもらったのですが、片方の輪郭がカメラに映らなくなる場合誤作動が起きてしまうことが分かった。また、笑っていて目が細まっているときはクリックが誤作動してしまうことが分かったのでこれらを改良していきます。