「研究相談」カテゴリーアーカイブ

研究に関する相談事項

B4ゼミ

五十君:レシートの商品名を画像処理で認識し、買い忘れ防止。 研究は二つの部分にわけ、OCR認識の部分と 商品名ー買い物リストのマッチング。OCRの部分はあまり執着をせず。アイディアを重視し、マッチングの部分をよく考える。

北原:DLボックスに実験環境を整えた。サンプルが動かせなかったので。DLボックスの容量を空けることが急務。LipNetの中身を知ること。斎藤先生のプログラムの中身を調べましょう。学習の部分と認識の部分を切り分ける。

白石:学習用データが揃いました。これから学習をさせる。まずはSVMで試す。その後CNNを使ってみる。データ入力の部分は少し難しい部分がある。参考に何かが送る。

水戸:目線検出でマウス操作を行う。瞳は一応検出ができた。今後はHoughCircles関数の使い方の勉強。目線の検出もためす。

二石:基礎実験済みました。効果良好のようです。今後はコードを作って実験する。

財前:画像処理を利用した目の不自由の方の商品識別。識別したい対象物を特定することも大事ですので、まずそこから突破しましょう。

今週の進捗(水戸)

webカメラで顔の映像を取得した後、輪郭部分の切り取ることにより顔を動かしたときでも画像において目の位置の座標が一定に保つようになった。

次に取得した顔画像において黒目部分を認識するようにハフ変換を行った。ハフ変換は画像中の円を検出するもので、今回は静止画像で試してみた。顔全体をハフ変換した場合は多数の円が検出されたため、輪郭部分のさらに目の部分を切り取りハフ変換したところうまく黒目部分とその中心がマークされた画像が得られた。

次はwebカメラで取得した顔の映像をハフ変換で黒目をマークするプログラムを作成し、その中心点の座標を表示するプログラムの作成を行う。そのあと、その座標とウィンドウ上のカーソルの位置をリンクさせるプログラムの作成、試行を行う。

顔全体をハフ変換にかけた

目の部分を切り取りハフ変換にかけた

さらに目の部分を切り取りノイズ除去してハフ変換にかけた

今週の進捗(ZHU)

今週の進捗

  • 顔認識(Face recognition ):顔認識後の歩行者の知的認知の分野における重要な研究方向としてのReID 、実装には多くの類似点があります(特徴の抽出features extraction和距離計算Distance metric)、ですから、顔認識プロセスを通じて重要な技術を理解したいと思っています 。

顔認識

  • 歩行者検出(Pedestrian detection): 技術的に言えば、ReIDサブシステムは2つのモジュールに分割できます、歩行者検出と歩行者検索, 多くの歩行者認識の研究は画像に基づいていますが、ただし、歩行者検出の主要な実装を理解する必要があります。今週のTensorflowベースの歩行者検出実験、構成環境が完成しました、データの前処理、つまり、ビデオから画像を抽出し、画像をTF_RECORD形式に変換しました。しかし、モデルのトレーニング中に問題が発生しました(main.py)、まだ解決中。

データの前処理、つまり、ビデオから画像を抽出し、画像をTF_RECORD形式に変換

  • 歩行者の再識別(ReID): Deep learning person re-identification in PyTorch, ソースプログラムの要件はGPUに基づいているため,ただし、CPUを使用します(--gpu-devices 0を変更),したがって、5日目はまだトレーニングとテストの実行段階にあります。 実行中のプロセスを観察することにより、歩行者認識の効果を測定する個々の評価指標の値の変化、CMCとmAP、rankの意味を理解。する対応する記事を読む《Omni-Scale … Continue Reading ››

M1ゼミ

庄司:edgeTPUのセットアップで、テストコードの実行を確認(https://github.com/google-coral/edgetpu) 物体識別処理でVGAサイズの動画で、30FPSの処理が可能。

ロボット、Djangoはまた手をつける時間がないようです。

来週の教授問題:Tmuxの使い方、VS-CODEのssh接続の設定、よろしく!

梶岡:SPIの勉強、企業インターンで好印象をつけた。今週は血中アルコル計測のテーマについて考える。iAppの作成もこれからやる。

金當:アンドロイドホンアプリの作成練習を行なった。簡単なアプリをデバッグモードで動作確認した。

今週の進捗(井上)

今週の進捗

  • VibraImageに関する論文を読んだ
    → DEFENDER-X は、顕在的な心理状態や心理特性を測定する心理尺度とは別のものを測定しており、心理状態や心理特性を測定する心理尺度とも別のものを測定している可能性があることが分かった。

今後の課題

  • 研究テーマの調査
  • NNの勉強
  • 就活準備