·Optical flow結果
·前処理のOptical flow strain結果
·プログラムのテスト結果 トレーニングセット:テストセット=3:1
人工知能の授業の期末レポートします。
音声端点検出
データセットを再構築します。
・呼気を確実に吐いたことを検知するため、二酸化炭素センサを使うことにした。
→二股に分かれているホースなどを使い、二酸化炭素センサ・アルコールセンサに同時に息を吐けるようにする。
・二酸化炭素センサで呼気を検出したのちに、アルコール測定。
・加速度センサは動かしたら検知できるようにはできたが、もう少しプログラムを改良する必要がある。
→ここが1番時間かかりそう
・実験の準備
実験環境を整えるのに時間がかかったので、まだ自分のデータしか取れてないです。
今日できるだけデータを取ろうと思います。
Raspberry Piのカメラモジュールは録画のプログラムがエラーを吐いて使えなかったので、Webカメラを使ってます。
骨格とシルエットを入力としたモデルを作成するために、まず、骨格情報をもとに歩行者の推定を行いたい
そこで骨格を図のようなグラフとして入力できるGraph Convolution Networkを使用しようと考えました。
実際は動画なので、骨格の連続データで、https://github.com/yysijie/st-gcnを試そうと思いましたが、データ形式が分かっておらず苦戦しています。
大ゼミまでに進捗を出せるように何とか頑張ります
グラフ以外での骨格情報の処理方法の案をお聞きしたいです
・すべてのデータセットに、マスクをかける範囲を白く塗りつぶすよう実行した。
・データセットの画像の下半分を白くして、学習を行った。
loss: 0.0213, Accuracy: 2086/3589 (58.12%)
・データセットのマスクの範囲を白く塗りつぶすよう実行した後に、学習を行った。
loss:0.0199 Accuracy: 2220/3589(61.86%)
中身見たら、白く塗りつぶせてない画像もありました。
３Qの最終課題がやっと終わりましたーーーーー
転移学習させたが、精度が悪化した。重みを固定する層と各層の学習率の変更で改善に試みます。
Mobilenetは小さい物体の検出が難しいので、取得画像を2分割して処理するように変更。
20種類分の学習データの準備が間に合わなかったので急ぎ作成します。