卒論発表用のスライドをつくり先輩に一度発表を聞いてもらった。改善した方が良い点などアドバイスをもらったので修正予定。
卒論を執筆中
財前 智行 のすべての投稿
今週の進捗（財前）
全体ゼミでタイトル発表を行なった。
今まで「画像処理を用いた視覚障害者のための商品識別システムの提案」というタイトルだったがゼミ発表を終え「画像処理と深層学習を用いた視覚障害者だけで買い物可能な商品識別システムの提案」と考え直した。
卒論と卒論発表用のパワポを作成中
今週の進捗（財前）
揚州で発表用の英語スライドを作成した。
撮影動画のトリミング開始時間を少し改良した。
今週の進捗（財前）
今までのoptical flowのトリミングプログラムは動画の最初から最後までの商品の特徴点の軌跡をとりそこから商品の座標を割り出すというものだったが、毎フレームごとに商品の特徴点座標を更新するプログラムに変更した。これにより商品の撮影は簡単なものとなった。
識別する商品を袋系（ピザポテト、ポップコーン）、箱系（トッポ、プリッツ）、ペットボトル系（お茶、ジュース）の6つにしてデータセットを作った。
商品をトリミング、識別し、音声出力するプログラムを作成した。509c501975626b0ae924df3fed20b221-4ダウンロード
ノートパソコンにTexの環境を構築し、勉強中
撮影用のネックストラップが今はイヤホンを工作して自作したものなのでちゃんとしたものが欲しい・・・
今週の進捗（財前）
今までのoptical flowのトリミングプログラムは動画の最初から最後までの商品の特徴点の軌跡をとりそこから商品の座標を割り出すというものだったが、毎フレームごとに商品の特徴点座標を更新するプログラムに変更した。これにより商品の撮影は簡単なものとなった。
識別する商品を袋系（ピザポテト、ポップコーン）、箱系（トッポ、プリッツ）、ペットボトル系（お茶、ジュース）の6つにしてデータセットを作った。
商品をトリミング、識別し、音声出力するプログラムを作成した。
今週の進捗（財前）
optical flow ・・・①商品を横に動かす動画をさらに用いることにより、商品の縦の長さを求め、それを元により確実にトリミングできるようにプログラムした。
②外れ値の除去を実装した。外れ値が二つあったり、３フレーム以上外れ値が続く場合は検出してしまう。
機械学習・・・①googlecolaborateryにドライブをマウントすることによってGPUを用いて学習モデルを作成する事が出来るようになった。
②モデルの保存、モデルの読み取りからの評価ができるようになり、いちいちモデルの学習を行わなくて良くなった。
今後の課題・・・機械学習で判別する物体はまだ「りんご」、「いちご」、「トマト」しか試していないので、研究で使うデータセット用の商品を決め訓練用の画像を集めて識別できるか試す。
テーマ・・・The Proposal of Product Detection system by Using Image Processing for Visually Impaired
テーマ・・・画像処理を用いた視覚障害者のための商品識別システムの提案
今週の進捗（財前）
今週の進捗（財前）
１、flickrを使い、いちご、トマト、りんごの画像をそれぞれ500枚ずつ集めた。
２、VGG16転移学習のプログラムから３つの画像の判別を行なった
結果は８個中７個正解
元のプログラムを書き換えて作ったがまだ十分に理解できておらず、判別する画像をランダムで８個選んでしまう
３、google collaboratoryでGPUを使うために写真とラベルをpickleファイルに変換した
google collaboratoryにおいてpickleファイルを解凍した写真を上記(2)のプログラムで使用する方法がわからない
庄司さんゼミで学んだことでプログラム作成中
４、商品棚から商品をとる動画を撮影した。(2)で判別できた画像を元にトリミングの仕方サイズなどをもっと考える
今週の進捗（財前）
判別する物体をトリミングする手法について2つの方法で試みた
①親指を検出し、そこからトリミングする
机を変えたり、物体を持ったら識別できないのでもっと学習用の画像を増やすことが必要。
②動画中の動体を検出し、背景を除去し動体だけを取り出す
今週の進捗（財前）
自分の研究の段階は大きく分けて２つと改めて認識した
１、画像から判別する物体を検出
２、検出した物体を機械学習で判別
①親指に指サックなどを付け、それをCascadeClassifier関数を使い指サックを検出し、持っている商品までをトリミング・・・検出するためのxmlファイルの作成法を勉強中
②VGG16を用いた転移学習による判別
anacondaの仮想環境をつくりtensorflowなどの必要な物をインストールした
windowsの環境を構築した際jupyternotebookが動作しなかったためhttps://kazusa-pg.com/jupyter-notebook-use-virtual-env-kernel/を行い動作するよう設定した
転移学習を試行中