「ステレオ画像からの3次元復元」
10/19
可変テンプレートマッチングを実装中。
相関値のピークを検出する手法を検討中。
10/22
可変テンプレートマッチングの実験中
・輪郭部分について、テンプレートのサイズをY方向(縦)に拡大したが、あまり精度に変化はなかった
・横方向に拡大したが、あまり変化はなかった
→オクルージョンの領域に関しては、テンプレートマッチングでの精度の限界がきているのではないか
結果については後日アップします
「ステレオ画像からの3次元復元」
現在までの研究
ステレオ画像から3次元復元する際、復元が苦手(不可能)なポイントが存在する。その点に対して、どのように補っていくのかを検討している。これまではテンプレートマッチングによる対応点探索を行っていたが、それにくわえて形状マッチングを用いることで、演算時間の短縮と精度の向上を目指している。
現在は演算時間は1/10に短縮することはできることが可能となったが、精度については向上しているとは言えない。
今後の目標
精度の向上を図る。形状情報を使用し、探索領域の限定は行っているが、対応付けが根本的に改善されているとはいえない。
新しい手法を考案する必要がある。
形状情報を補助情報として3次元復元を行っています。
結果の動画を貼ります
8/12
形状情報なし
形状情報あり
8/13
テンプレートマッチングの比較式を変更し、精度を向上させました。
また、処理速度も測定しました。(実験は150×150 = 22500点)
形状情報なし(改良) 387.2 秒
形状情報あり(改良) 35.4 秒(形状抽出0.23秒、3D構築35.1秒)
さらに平面に近い写真についても実験をしてみました。
平面・形状なし
平面・形状あり
詳細な計測時間(s)
32*32
形状なし 13.563
形状あり 1.544 + 0.235 = 1.779
150*150
形状なし 387.206
形状あり 35.191 + 0.235 = 35.426
1点あたり
形状なし 0.0132
形状あり 0.00157
10倍近く早くなっていることがわかる
形状特徴と可変テンプレートを用いた3次元復元
SIFT、SURF、ORBなど形状特徴を用いたマッチングを補助情報として用いてステレオ画像からの3次元復元を試みる。
ステレオ画像から3次元復元を行う場合、左右の視差を判定するため、各測定点においてマッチングを行う。
ステレオ画像を用いて高精度な3次元復元する場合、テンプレートマッチングが使用される。
テンプレートマッチング(エリアベース特徴マッチング)は、用いるテンプレートサイズを小さくするほどより微細な凹凸を判断することができる。しかし、テンプレートを小さくするとミスマッチを引き起こす可能性は高くなる。
高精度な表面3Dデータを作成するための理想的なシステムは、小さいテンプレートを用いたテンプレートマッチングを行い、ミスマッチが起きた場合のみテンプレートサイズを拡大するシステムである。しかし、ミスマッチが起きたかどうかは現状では人間の目で判断するしかなく、画像の1ピクセルごとに判断することは不可能に近い。
そこで、画像内に存在する物体形状を使った対応付け(形状特徴マッチング)を行い、おおまかな3次元構造を把握し、それを補助情報として用いる手法を提案する。
テンプレートマッチングで得た結果を、形状特徴から算出した値と比較することで、その精度と信頼度を確認することができる。仮に信頼度が低い(エリアベースマッチングがミスマッチを起こしている)と判断された場合は、テンプレートエリアを拡大し、再度テンプレートマッチングを行う。
(概要をメモ書きしています)7/17
形状特徴マッチングを利用した3D復元
現在の距離測定方法ではエリアベースマッチングという、局所的なエリアパターンを使ったマッチングを用いて距離測定を行っているため、マッチングが難しいエリアに対して対応できていない。
そこで、物体形状特徴により抽出した特徴量を補助情報として用いて、可能な限り対応付けできるエリアを増やせるように試みる。
1.形状マッチング手法をプログラムに組み込む
2.3Dでの出力方法を改良する
「ステレオ画像からの3次元復元」
課題:パターンマッチングが成功しない場合、測定結果が悪くなる
原因:似たようなパターンを持つ領域で相関値が高くなり、ミスマッチが起こる
現在、ミスマッチが起きないための手法を考案しています。
「ステレオ画像を用いた3次元復元の高精度化」
今週の課題
1.3次元像補間手法の調査
2.3次元測定プログラムの作成
3.スライドの作成
5/26
領域を縦方向に拡張したテンプレートを用いたマッチングを実装した
領域を拡張しない場合に比べて、格段にエラーが減った
エラーは減るが、領域を拡張することで、測定精度は若干落ちてしまう
5/27
発表資料の作成
「ステレオ画像からの3次元復元」
今週の課題
1.指定領域のパターンとマッチング精度の関連性をデータ化する
2.3次元測定プログラムの作成
3.文献を読む
5/19
1.テンプレートの画像サイズを様々な大きさに変更し、マッチング精度を比較中
2.テンプレートマッチングのアルゴリズムを改造中
3.読んでいない
5/20
改めて目標の設定をしました。
新テーマ「三次元復元における測定不可能な点の新しい補間方法の提案」(仮)
背景:ステレオ視を用いた三次元復元において、左右の画像間で対応付け不可能な点(ノイズ、オクルージョン)が存在する。そのような点について距離測定を行うと、誤差の大きな値や、エラーが出力されてしまい、復元像の劣化につながる。データ補間を行うことで、データの穴を埋めることができるが、精度の高い結果とは言えない。
アプローチ:従来のデータ補間方法に、補助的アルゴリズムを導入することで、これまで以上に真の値に近づけることができるのではないだろうか。
詳しいアイデア、手法についてはスライドにまとめ、全体ゼミで発表する予定です。
今後の動き
1.データ補間手法の調査、学習
2.三次元復元結果への従来データ補間方法の適応
3.新手法を用いた三次元復元の実装
4.実験結果比較
「ステレオ画像からの3次元復元」
今週の課題
1.指定領域のパターンの調査
2.距離測定プログラムを作り直す(速度も意識した構成へ)
3.文献を読む
5/11
1.調査していない
2.メモリを意識し.NETフレームワーク用の記述で高速化。OpenCVを使わないプログラムに書き換え中。
3.読んでいない
5/13
1.していない
2.OpenCVを使用しないテンプレートマッチングのプログラムを作成
3.読んでいない
テンプレートマッチングのプログラムを作成し、正しい精度で動作していることを確認済み
来週は領域内のパターンとマッチング精度の関係性を調査し、新手法の有効性を確かめる。
「就活関連」
5/14-5/15
就活で横浜に行ってまいります。第3希望企業の最終面接です。
テーマ「ステレオ画像からの三次元復元」
課題:パターンが少ない領域はテンプレートマッチングの精度が落ちる
アプローチ:パターンを先読みし、パターンが少ないと判断されればテンプレートを拡大する
『今週の課題』
1.指定した領域の情報量を読み取るプログラムを完成させる
2.上記プログラムによって得た情報から、情報量とマッチング精度の関係を明確にする
3.可変テンプレートマッチングに関する文献を探し、読む
4/27
1.領域を指定する段階まで作成
2.テンプレート領域の情報量をどのように定義するか検討中
(まずは最大輝度値と最小輝度値の差を取る)
3.
可変ブロック分割を用いたテンプレートマッチング
----- 就活関連 -------------------------------------
現在、2社のWebエントリーを終え、結果待ちです。
1社は技術面接(二次面接)を終え、結果待ちです。
5月2日:博多にて説明会
---------------------------------------------------