オムロンの見学に参加。RPA(Robotic Process Automation)にもともと興味があったが、今回の見学でFA(Factory Automation)もなかなかに面白そうであると感じた。

文字列をタッチしたら文字認識を行えるように修正中。

アプリの構成をどうするか検討中。

現在の案では射影変換→輪郭選択→文字列選択→文字認識(マッチング)

実際の商品伝票を用いて輪郭検出及び文字認識・マッチングを行った。アルゴリズム的には問題はないが、17商品を一度に処理にかけようとするとダウンする。メモリ不足によるものと思われる。(補正処理前→OCRのみを行った出力　補正処理後→OCRを行った後にデータベース検索によるマッチング処理を行った出力)

データベースを用いたマッチング処理を実装した。

認識結果にエスケープが必要な文字(例えば"\"など)が含まれるとSQLが正しく認識されずアプリケーションがダウンする。要改良。

加えて、そもそもの文字認識率が低いため、それも改善する必要がある。

＜追記　2018/12/12＞B4のときに使用していたノイズ除去(NL means denoising:非局所平均ノイズ除去)と二値化アルゴリズム(Adaptive Gaussian Threshold:適応的ガウシアン閾値)を実装したところ、認識率が向上した。

文字認識を実装する前に印刷用紙の輪郭検出と射影変換を行った後に文字認識を行う輪郭を選択するシステムを作成した。

今週は選択した輪郭の切り出しと文字認識を実装する予定

<追記>輪郭の切り出しと文字認識を実装した。tesseract-ocrのオリジナルの学習データを使用。

今後はデータベースを用いた文字列の補正処理を実装する。

輪郭領域内をタップすると射影変換画像を表示する仕組みがうまく機能しないので(また、冗長な機能でもあったので)断念し、撮影ボタンを実装した。

来週はandroid上で文字認識ソフトの実装を試みる。

Androidスマートフォン上で輪郭領域内をタップすると射影変換画像を表示するアプリケーションを実装した。(画像一枚目は輪郭描画、二枚目は射影変換後の画像)動作するがやや不安定。現段階では輪郭領域内のタップ判定にopencvのpointPolygonTestという関数を用いているが、今週は輪郭内領域判定を行う関数を自作し動作させる予定。