(57)【特許請求の範囲】
【請求項１】
対象物の画像認識用の教師データを生成する方法であって、
複数の第１指定位置のそれぞれに配置された撮像装置により前記対象物を撮像することによって複数の撮像画像を取得する工程と、
前記複数の撮像画像のそれぞれから平面であると認識される領域である複数の基礎画像領域のそれぞれを抽出する工程と、
前記複数の基礎画像領域のそれぞれを個別に、一の画像座標系から、前記複数の第１指定位置とは異なる複数の第２指定位置のそれぞれに配置されたと仮定された場合の前記撮像装置による複数の撮像画像のそれぞれの座標系に対して座標変換した複数の結果のそれぞれを前記教師データとして生成する工程と、を含んでいることを特徴とする方法。
【請求項２】
請求項１記載の方法において、
前記複数の撮像画像を取得する工程は、前記複数の第１指定位置のそれぞれとしての３次元極座標系の原点を中心とする半球面上の複数の点のそれぞれの位置に配置され、かつ、光軸が当該３次元極座標系の原点に向くように姿勢が調節された前記撮像装置により前記対象物を撮像することによって複数の撮像画像を取得する工程であり、
前記教師データとして生成する工程は、前記複数の基礎画像領域のそれぞれを個別に、一の画像座標系から、前記複数の第２指定位置のそれぞれとしての前記半球面上の複数の点のそれぞれの位置に配置され、かつ、光軸が前記３次元極座標系の原点に向くように姿勢が調節されたと仮定された場合の前記撮像装置による複数の撮像画像のそれぞれの座標系に対して座標変換した複数の結果のそれぞれを前記教師データとして生成する工程であることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識用の教師データを生成する技術に関する。
【背景技術】
【０００２】
あらかじめ計算機上で３次元の回転処理を施して生成した学習サンプルで識別器を構成し、２次元の回転文字の認識を行う方法が提案されている（例えば、非特許文献１参照）。画像の輝度勾配を用いて物体の認識をおこなうＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）  を用いて同一物体画像の抽出をおこなう方法、具体的にはある画像に対して、そのままの画像と元画像を３次元回転させ２次元に射影をおこなった画像からの同一物体のマッチングをおこなう方法が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】「３次元回転不変文字認識」成田了ほか（「画像の認識・理解シンポジウム（ＭＩＲＵ２０１１）」２０１１年７月）情報処理学会電子図書館（https://ipsj.ixsq.nii.ac.jp/ej/index.php?action=pages_view_main&active_action=repository_action_common_download&item_id=77644&item_no=1&attribute_id=1&file_no=1&page_id=13&block_id=8 ）
【非特許文献２】「立体的変形を受けた画像のＳＩＦＴ特徴を用いたマッチング」岡尾（高知工科大学  学士学位論文（２０１３年３月１日）（http://www.kochi-tech.ac.jp/library/ron/2012/2012info/1130317.pdf）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、画像から物体を抽出するため、多数（例えば７０００以上）の異なる視点から撮像された当該物体の画像データを基礎として、画像認識用の教師データが生成される場合、その生成に要する工数およびコストが著しく増大するおそれがある。
【０００５】
そこで、本発明は、基礎となる画像の数の低減を図りながら、画像認識用の教師データを生成する方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、対象物の画像認識用の教師データを生成する方法であって、複数の第１指定位置のそれぞれに配置された撮像装置により前記対象物を撮像することによって複数の撮像画像を取得する工程と、前記複数の撮像画像のそれぞれから平面であると認識される領域である複数の基礎画像領域のそれぞれを抽出する工程と、前記複数の基礎画像領域のそれぞれを個別に、一の画像座標系から、前記複数の第１指定位置とは異なる複数の第２指定位置のそれぞれに配置されたと仮定された場合の前記撮像装置による複数の撮像画像のそれぞれの座標系に対して座標変換した複数の結果のそれぞれを前記教師データとして生成する工程と、を含んでいることを特徴とする。
【発明の効果】
【０００７】
本発明の方法によれば、基礎となる画像の数の低減を図りながら、画像認識の為に必要十分な数の教師データが生成されうる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態としての教師データの製造方法に関する説明図。
【図２】撮像装置Ｃの撮像位置に関する説明図。
【図３Ａ】カメラ位置の変更方法に関する説明図。
【図３Ｂ】カメラの内部パラメータ設定に関する説明図。
【図４Ａ】複数の異なる位置から実際に撮像された物体の画像に関する説明図。
【図４Ｂ】複数の異なる位置から撮像されたと仮定された場合の物体の推定画像に関する説明図。
【図５】実際の撮像画像と推定画像との偏差の評価結果に関する説明図。
【発明を実施するための形態】
【０００９】
本発明の一実施形態としての画像認識用の教師データ生成方法について説明する。
【００１０】
まず、基礎となる画像の撮像枚数を表わす第１指数ｉが「１」に設定される（図１／ＳＴＥＰ１１）。撮像装置Ｃの位置Ｐが第１指定位置Ｐiに調節される（図１／ＳＴＥＰ１２）。撮像装置Ｃの姿勢は、その光軸が実空間極座標系の一点を向くように調節される。
【００１１】
例えば、図２に示されているように、３次元極座標系の原点を中心とし、当該中心の上方に極点を有する半径Ｒの半球面において、当該極点Ｐ1のほか、θi＝θ（２０°≦θ≦７０°）で表わされる緯度において経度方向に等間隔に配置された４つの点Ｐ2〜Ｐ5が第１指定位置として定義される。この場合、第１指定位置Ｐiは、３次元極座標系の座標値（ｒiｓｉｎθiｃｏｓφi，ｒiｓｉｎθiｓｉｎφi，ｒiｃｏｓθi）により表わされる。撮像装置Ｃの位置および姿勢が作業者の手作業によって調節された上で雲台等の適当な器具により固定されるほか、ロボットアームなどの駆動装置によって自動的に調節されてもよい。
【００１２】
続いて、位置Ｐが撮像装置Ｃにより物体が撮像されることにより撮像画像が取得される（図１／ＳＴＥＰ１３）。
【００１３】
撮像画像から基礎画像領域Ｓiが抽出される（図１／ＳＴＥＰ１４）。例えば、人間（作業者）が出力インターフェースを通じて表示される撮像画像を視認しながら、入力インターフェースを通じて操作することにより、略平面と認識される領域が基礎画像領域Ｓiとして抽出される。基礎画像領域Ｓiの抽出は、任意の少数枚数の撮影画像のみについて実施される。撮像装置の光学中心および基礎画像領域Ｓiの距離ｒは、適当な測距センサを用いて測定される。
【００１４】
第１指数ｉが第１指定数Ｎ1以上であるか否かが判定される（図１／ＳＴＥＰ１５）。第１指定数Ｎ1は、例えば「５」に設定されている。第１指数ｉが第１指定数Ｎ1未満であると判定された場合（図１／ＳＴＥＰ１５‥ＮＯ）、第１指数ｉが「１」だけ増加され（図１／ＳＴＥＰ１６）、その上で撮像装置Ｃの位置および姿勢調節以降の手順が繰り返される（図１／ＳＴＥＰ１２〜ＳＴＥＰ１５）。複数の撮像装置Ｃのそれぞれが複数の指定位置のそれぞれに配置され、用いられてもよい。
【００１５】
第１指数ｉが第１指定数Ｎ1以上であると判定された場合（図１／ＳＴＥＰ１５‥ＹＥＳ）、推定画像の生成枚数を表わす第２指数ｊが「１」に設定される（図１／ＳＴＥＰ２１）。仮想的な撮像装置Ｃの位置Ｐが第１指定位置Ｐiとは異なる第２指定位置Ｐjに調節される（図１／ＳＴＥＰ２２）。第２指定位置Ｐjも、例えば第１指定位置Ｐiと同様に前記半球面上に定義される（図２参照）。
【００１６】
具体的には、図３Ａに示されている撮像装置Ｃの光学中心Ｐ＝ｅ（３次元ベクトル）のほか、撮像装置Ｃの光学中心Ｐを基準とした画像（基礎画像領域Ｓi）の中心の方位を表わす単位ベクトルｌ＝（ｃ−ｅ）／｜ｃ−ｅ｜、撮像装置Ｃの光学中心を移動させた後の撮像装置Ｃの上方向を表わす単位ベクトルｕ’＝ｓ×ｌおよび単位ベクトルｓ＝ｌ×ｕを用いて、撮像装置Ｃの光学中心位置Ｐを変化させる座標変換行列Ｍ1が関係式（１）により定義される。
【００１７】
【数１】
0006431495.tif 000002
【００１８】
図３Ｂに示されている撮像装置Ｃの被写界深度の下限値ｄnおよび上限値ｄfのほか、縦方向の画角θy、縦方向の画角θyに対する横方向の画角θxのアスペクト比ａ、およびｆ＝１／ｔａｎ（θy／２）を用いて、撮像装置Ｃの内部パラメータに基づく変換行列Ｍ2が関係式（２）により定義される。
【００１９】
【数２】
0006431495.tif 000003
【００２０】
基礎画像領域Ｓiが、関係式（３）にしたがって座標変換された結果Ｓi^が教師データの１つとして生成される（図１／ＳＴＥＰ２３）。
【００２１】
【数３】
0006431495.tif 000004
【００２２】
第２指数ｊが第２指定数Ｎ2以上であるか否かが判定される（図１／ＳＴＥＰ２４）。第２指定数Ｎ2は、例えば「７０００」など、画像認識用の教師データとして必要十分な数に設定されている。第２指数ｊが第２指定数Ｎ2未満であると判定された場合（図１／ＳＴＥＰ２４‥ＮＯ）、第２指数ｊが「１」だけ増加され（図１／ＳＴＥＰ２５）、その上で撮像装置Ｃの位置および姿勢調節以降の手順が繰り返される（図１／ＳＴＥＰ２２〜ＳＴＥＰ２４）。そして、第２指数ｊが第２指定数Ｎ2以上であると判定された場合（図１／ＳＴＥＰ２４‥ＹＥＳ）、前記一連の手順が終了する。前記のようにして取得された基礎画像領域に加えて、前記のように算定された推定画像群が教師データとしてデータベースに蓄積される。
【００２３】
その後、任意の環境下で取得された撮像画像から基礎画像領域が抽出され、当該抽出結果がデータベースに蓄積された教師データと照合またはパターンマッチングされることにより、当該基礎画像領域に相当する実空間に教師データに係る物体が存在することが認識される。
【００２４】
（実験例）
略矩形平板状の物体の表面中心を原点とし、その表面をｘ−ｙ平面の一部とする３次元座標系において、ｚ軸上に極点を有する半球面上における撮像装置Ｃの位置を、経度を一定にしながら緯度（または３次元極座標系における仰角）を断続的に変化させながら当該物体が撮像された。図４Ａには、左から順にこの場合の実際の撮像画像が示されている。図４Ｂには、左から順に撮像装置Ｃの位置を同様に変化させながら同一の物体を撮像したと仮定された場合に、前記方法にしたがって推定された画像が示されている。
【００２５】
図５には、撮像装置Ｃの実際の（または仮想的な）位置を表わす仰角θと、実際の撮像画像および推定画像のそれぞれにおける略矩形板状の物体における１つの隅角の画像座標系における角度との関係がプロットにより示されている。２０°≦θ≦１６０°の範囲における推定画像が生成されることが想定されている。図５に示されているように、θが大きくなるほど（撮像装置Ｃの位置がｘ−ｙ平面に近づくほど）、隅角角度の偏差が徐々に大きくなる傾向があるものの、その最大の相対偏差は１．９％であり、当該推察画像群が教師用データとして用いられることで、物体の認識精度の向上が図られることが検証された。
【符号の説明】
【００２６】
Ｃ‥撮像装置、Ｐ1〜Ｐ5‥第１指定位置、Ｓi‥基礎画像領域。
【図１】
0006431495.tif 000005
【図２】
0006431495.tif 000006
【図３Ａ】
0006431495.tif 000007
【図３Ｂ】
0006431495.tif 000008
【図４Ａ】
0006431495.tif 000009
【図４Ｂ】
0006431495.tif 000010
【図５】
0006431495.tif 000011