進捗
- 仮屋さんからAndroid Studio の本を借りて、Javaでアプリ開発の学習を始めた.
課題
- 参考書がKotlinではなくJavaであったため、Javaの学習に切替
- アプリ開発の勉強
研究に関する相談事項
五十君:レシートの商品名を画像処理で認識し、買い忘れ防止。 研究は二つの部分にわけ、OCR認識の部分と 商品名ー買い物リストのマッチング。OCRの部分はあまり執着をせず。アイディアを重視し、マッチングの部分をよく考える。
北原:DLボックスに実験環境を整えた。サンプルが動かせなかったので。DLボックスの容量を空けることが急務。LipNetの中身を知ること。斎藤先生のプログラムの中身を調べましょう。学習の部分と認識の部分を切り分ける。
白石:学習用データが揃いました。これから学習をさせる。まずはSVMで試す。その後CNNを使ってみる。データ入力の部分は少し難しい部分がある。参考に何かが送る。
水戸:目線検出でマウス操作を行う。瞳は一応検出ができた。今後はHoughCircles関数の使い方の勉強。目線の検出もためす。
二石:基礎実験済みました。効果良好のようです。今後はコードを作って実験する。
財前:画像処理を利用した目の不自由の方の商品識別。識別したい対象物を特定することも大事ですので、まずそこから突破しましょう。
webカメラで顔の映像を取得した後、輪郭部分の切り取ることにより顔を動かしたときでも画像において目の位置の座標が一定に保つようになった。
次に取得した顔画像において黒目部分を認識するようにハフ変換を行った。ハフ変換は画像中の円を検出するもので、今回は静止画像で試してみた。顔全体をハフ変換した場合は多数の円が検出されたため、輪郭部分のさらに目の部分を切り取りハフ変換したところうまく黒目部分とその中心がマークされた画像が得られた。
次はwebカメラで取得した顔の映像をハフ変換で黒目をマークするプログラムを作成し、その中心点の座標を表示するプログラムの作成を行う。そのあと、その座標とウィンドウ上のカーソルの位置をリンクさせるプログラムの作成、試行を行う。
今週の進捗
庄司:edgeTPUのセットアップで、テストコードの実行を確認(https://github.com/google-coral/edgetpu) 物体識別処理でVGAサイズの動画で、30FPSの処理が可能。
ロボット、Djangoはまた手をつける時間がないようです。
来週の教授問題:Tmuxの使い方、VS-CODEのssh接続の設定、よろしく!
梶岡:SPIの勉強、企業インターンで好印象をつけた。今週は血中アルコル計測のテーマについて考える。iAppの作成もこれからやる。
金當:アンドロイドホンアプリの作成練習を行なった。簡単なアプリをデバッグモードで動作確認した。
〇今週の進捗
〇今後の課題
SSSDをもらった斎藤先生からもらったサンプルコードを動かそうと思ったが、とても遅いのでグーグルのGPUサービスを使うためにデータセットをpickleに変換中。https://github.com/kyutech-saitoh/3D-CNN-for-Lip-Reading-Challenge2019