(57)【特許請求の範囲】
【請求項１】
複数の画像を含む三次元情報を取得する三次元情報取得部と、
前記三次元情報から認識対象を選択する認識対象選択部と、
前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部と、
複数の背景画像を記憶する背景画像記憶部と、
前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部と、を備え、
前記認識対象選択部は、前記複数の画像に含まれる少なくとも１つの画像から、前記少なくとも１つの画像に含まれている複数の点の、三次元における位置により前記認識対象範囲を示す認識対象範囲情報を生成し、
前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定すること
を特徴とする情報処理装置。
【請求項２】
複数の画像と、前記複数の画像の各々に含まれる複数の点の各々の、三次元における位置を示す位置情報と、を含む三次元情報を取得する三次元情報取得部と、
前記三次元情報から認識対象を選択する認識対象選択部と、
前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部と、
複数の背景画像を記憶する背景画像記憶部と、
前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部と、を備え、
前記認識対象選択部は、前記位置情報から、前記複数の画像に含まれる少なくとも１つの画像に含まれている複数の点の、三次元における位置を選択し、前記選択された位置により前記認識対象範囲を示す認識対象範囲情報を生成し、
前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定すること
を特徴とする情報処理装置。
【請求項３】
前記複数の画像は、前記認識対象を異なる撮影位置又は異なる角度から撮影された画像であること
を特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記画像合成部は、前記複数の背景画像に含まれる１つの背景画像に、前記複数の前景画像に含まれる１つの前景画像を、前記１つの背景画像の異なる位置に合成することで、前記１つの背景画像及び前記１つの前景画像の組み合わせから、複数の合成画像を生成すること
を特徴とする請求項１から３の何れか一項に記載の情報処理装置。
【請求項５】
コンピュータを、
複数の画像を含む三次元情報から認識対象を選択する認識対象選択部、
前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部、
複数の背景画像を記憶する背景画像記憶部、及び、
前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部、として機能させ、
前記認識対象選択部は、前記複数の画像に含まれる少なくとも１つの画像から、前記少なくとも１つの画像に含まれている複数の点の、三次元における位置により前記認識対象範囲を示す認識対象範囲情報を生成し、
前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定すること
を特徴とするプログラム。
【請求項６】
コンピュータを、
複数の画像と、前記複数の画像の各々に含まれる複数の点の各々の、三次元における位置を示す位置情報と、を含む三次元情報を取得する三次元情報取得部、
前記三次元情報から認識対象を選択する認識対象選択部、
前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部、
複数の背景画像を記憶する背景画像記憶部、及び、
前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部、として機能させ、
前記認識対象選択部は、前記位置情報から、前記複数の画像に含まれる少なくとも１つの画像に含まれている複数の点の、三次元における位置を選択し、前記選択された位置により前記認識対象範囲を示す認識対象範囲情報を生成し、
前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定すること
を特徴とするプログラム。
【請求項７】
複数の画像を含む三次元情報を取得し、
前記三次元情報から認識対象を選択し、
前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成し、
複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する情報処理方法であって、
前記三次元情報から前記認識対象を選択する際には、前記複数の画像に含まれる少なくとも１つの画像から、前記少なくとも１つの画像に含まれている複数の点の、三次元における位置により前記認識対象範囲を示す認識対象範囲情報を生成し、
前記複数の画像から前記複数の前景画像を生成する際には、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定すること
を特徴とする情報処理方法。
【請求項８】
複数の画像と、前記複数の画像の各々に含まれる複数の点の各々の、三次元における位置を示す位置情報と、を含む三次元情報を取得し、
前記三次元情報から認識対象を選択し、
前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成し、
複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する情報処理方法であって、
前記三次元情報から前記認識対象を選択する際には、前記位置情報から、前記複数の画像に含まれる少なくとも１つの画像に含まれている複数の点の、三次元における位置を選択し、前記選択された位置により前記認識対象範囲を示す認識対象範囲情報を生成し、
前記複数の画像から前記複数の前景画像を生成する際には、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定すること
を特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
【背景技術】
【０００２】
画像処理の分野では、大量の画像を学習して物体を認識する技術が提案されている。人又は車が映っている画像は、オープンソースを用いれば大量に用意できる。しかし、特定の車、設備又は製品といった特定の物体の画像を大量に収集するのは困難である。【０００３】
例えば、非特許文献１には、特定の物体の画像を大量に用意するため、物体の三次元モデルを複数の位置及び角度からレンダリングした前景画像を作成した後、予め用意された複数の背景画像に貼り合わせることで、画像を大量に作成する方法が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｍａｎｉｋ  Ｇｏｙａｌ，  Ｐａｒａｍ  Ｒａｊｐｕｒａ，  Ｈｒｉｓｔｏ  Ｂｏｊｉｎｏｖ，  ａｎｄ  Ｒａｖｉ  Ｈｅｇｄｅ，“Ｄａｔａｓｅｔ  Ａｕｇｍｅｎｔａｔｉｏｎ  ｗｉｔｈ  Ｓｙｎｔｈｅｔｉｃ  Ｉｍａｇｅｓ  Ｉｍｐｒｏｖｅｓ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ”，ａｒＸｉｖ：１７０９．００８４９ｖ３，Ｊｕｎｅ  ２６，  ２０１８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の技術は、三次元モデルの形状と、テクスチャとが高精細な場合には、有効な技術である。【０００６】
三次元モデル作成方法としては、以下に示されている２つの方法がある。
第１の方法は、人手により、三次元モデルを作成する方法である。この方法は、非常に時間がかかるという問題がある。
第２の方法は、例えば、ターンテーブル等の特別な環境を用意して、三次元モデルを作成する方法である。この方法は、ターンテーブル等の特別な環境が許容する重さ及び大きさの物体ではないと、三次元モデルを作成することができないという問題がある。【０００７】
以上のように、特定の物体の高精細な三次元モデルを作成することは、現実的ではないため、従来の技術は、実運用性に欠ける。【０００８】
そこで、本発明の１又は複数の態様は、容易に、特定の物体の画像を大量に生成できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第１の態様に係る情報処理装置は、複数の画像を含む三次元情報を取得する三次元情報取得部と、前記三次元情報から認識対象を選択する認識対象選択部と、前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部と、複数の背景画像を記憶する背景画像記憶部と、前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部と、を備え、前記認識対象選択部は、前記複数の画像に含まれる少なくとも１つの画像から、前記少なくとも１つの画像に含まれている複数の点の、三次元における位置により前記認識対象範囲を示す認識対象範囲情報を生成し、前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定することを特徴とする。
本発明の第２の態様に係る情報処理装置は、複数の画像と、前記複数の画像の各々に含まれる複数の点の各々の、三次元における位置を示す位置情報と、を含む三次元情報を取得する三次元情報取得部と、前記三次元情報から認識対象を選択する認識対象選択部と、前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部と、複数の背景画像を記憶する背景画像記憶部と、前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部と、を備え、前記認識対象選択部は、前記位置情報から、前記複数の画像に含まれる少なくとも１つの画像に含まれている複数の点の、三次元における位置を選択し、前記選択された位置により前記認識対象範囲を示す認識対象範囲情報を生成し、前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定することを特徴とする。
【００１０】
本発明の第１の態様に係るプログラムは、コンピュータを、複数の画像を含む三次元情報から認識対象を選択する認識対象選択部、前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部、複数の背景画像を記憶する背景画像記憶部、及び、前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部、として機能させ、前記認識対象選択部は、前記複数の画像に含まれる少なくとも１つの画像から、前記少なくとも１つの画像に含まれている複数の点の、三次元における位置により前記認識対象範囲を示す認識対象範囲情報を生成し、前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定することを特徴とする。
本発明の第２の態様に係るプログラムは、コンピュータを、複数の画像と、前記複数の画像の各々に含まれる複数の点の各々の、三次元における位置を示す位置情報と、を含む三次元情報を取得する三次元情報取得部、前記三次元情報から認識対象を選択する認識対象選択部、前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成する認識対象切取部、複数の背景画像を記憶する背景画像記憶部、及び、前記複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する画像合成部、として機能させ、前記認識対象選択部は、前記位置情報から、前記複数の画像に含まれる少なくとも１つの画像に含まれている複数の点の、三次元における位置を選択し、前記選択された位置により前記認識対象範囲を示す認識対象範囲情報を生成し、前記認識対象切取部は、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定することを特徴とする。
【００１１】
本発明の第１の態様に係る情報処理方法は、複数の画像を含む三次元情報を取得し、前記三次元情報から認識対象を選択し、前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成し、複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する情報処理方法であって、前記三次元情報から前記認識対象を選択する際には、前記複数の画像に含まれる少なくとも１つの画像から、前記少なくとも１つの画像に含まれている複数の点の、三次元における位置により前記認識対象範囲を示す認識対象範囲情報を生成し、前記複数の画像から前記複数の前景画像を生成する際には、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定することを特徴とする。
本発明の第２の態様に係る情報処理方法は、複数の画像と、前記複数の画像の各々に含まれる複数の点の各々の、三次元における位置を示す位置情報と、を含む三次元情報を取得し、前記三次元情報から認識対象を選択し、前記複数の画像の各々から、前記選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、前記複数の画像から複数の前景画像を生成し、複数の背景画像の各々に、前記複数の前景画像の各々を合成することで、複数の合成画像を生成する情報処理方法であって、前記三次元情報から前記認識対象を選択する際には、前記位置情報から、前記複数の画像に含まれる少なくとも１つの画像に含まれている複数の点の、三次元における位置を選択し、前記選択された位置により前記認識対象範囲を示す認識対象範囲情報を生成し、前記複数の画像から前記複数の前景画像を生成する際には、前記認識対象範囲を、前記複数の画像の各々に投影することで、前記複数の画像の各々において、前記認識対象範囲を特定することを特徴とする。
【発明の効果】
【００１２】
本発明の１又は複数の態様によれば、容易に、特定の物体の画像を大量に生成することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態に係る情報処理装置の構成を概略的に示すブロック図である。
【図２】三次元における座標系を説明するための概略図である。
【図３】前景画像生成部の構成を概略的に示すブロック図である。
【図４】認識対象の選択を説明するための第１の概略図である。
【図５】認識対象の選択を説明するための第２の概略図である。
【図６】認識対象の選択を説明するための第３の概略図である。
【図７】認識対象の選択を説明するための第４の概略図である。
【図８】情報処理装置のハードウェア構成例を示すブロック図である。
【図９】情報処理装置の動作を示すフローチャートである。
【図１０】前景画像を生成する動作を示すフローチャートである
【発明を実施するための形態】
【００１４】
図１は、実施の形態に係る情報処理装置１００の構成を概略的に示すブロック図である。
情報処理装置１００は、三次元情報取得部１１０と、前景画像生成部１２０と、背景画像記憶部としての背景画像データベース（以下、背景画像ＤＢという）１３０と、画像合成部１４０と、学習画像記憶部としての学習画像データベース（以下、学習画像ＤＢという）１５０とを備える。
【００１５】
三次元情報取得部１１０は、複数の画像、及び、その複数の画像の各々に含まれる複数の点の三次元における位置を示す位置情報を含む三次元情報を取得する。例えば、三次元情報取得部１１０は、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕ  Ｌｏｃａｌｉｚａｔｉｏｎ  Ａｎｄ  Ｍａｐｐｉｎｇ）等を用いて、三次元情報を取得する。
本実施の形態では、三次元情報は、例えば、複数の視点又は角度といった複数の撮影位置又は複数の角度から撮影された複数の画像と、その複数の画像の各々に含まれる複数の点の三次元における位置（例えば、三次元座標）を示す位置情報である三次元点群情報とを含む。さらに、三次元情報は、その複数の画像と、その複数の画像を撮像した位置及び角度を示すセンサ情報とを含んでいてもよい。なお、位置情報で示される複数の点の三次元における位置を三次元点群ともいう。
【００１６】
ここでは、三次元情報取得部１１０が、ＲＧＢ−Ｄ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ  −  Ｄｅｐｔｈ）カメラで実現される例を説明する。
ある視点で撮影された画像ｆ（ｆ＝１，２，・・・，Ｆ）を撮影したときに得られる点ｌ(ｌ＝１，２，・・・，Ｌｆ)の位置をｑｆｌとすると、ｑｆｌは、下記の（１）式で得られる。
【数１】
0006843319.tif 000002
Ｆは、ＳＬＡＭ処理中に撮影された画像の枚数であり、１以上の整数である。
Ｌｆは、各画像内で距離が得られたピクセルの数であり、１以上の整数である。
Ｋは、ＲＧＢ−Ｄカメラの内部パラメータであり、焦点又はレンズ中心等を示すパラメータである。
ｑ’ｌは、距離が得られている画像のピクセルの座標である。例えば、ｑ’ｌは、下記の（２）式で示されているように、画像の左上を原点としたときの横方向のピクセル数ｕｌと、縦方向のピクセル数ｖｌとの座標で示される。
【数２】
0006843319.tif 000003
ｄｆｌは、撮影位置から、画像ｆの点ｌに対応する対象までの距離である。ｄｆｌは、ＲＧＢ−ＤカメラのＤｅｐｔｈ  ｃｈａｎｎｅｌから得られる。
【００１７】
点ｑｆｌは、カメラの位置を原点、光軸方向をｚ軸、横方向がｘ軸、縦方向がｙ軸とする図２に示されているような座標系で表現される。
ここで、点ｑｆｌは、撮影位置を原点とするカメラ基準の座標系で示される。各画像を撮影したときの点群を統合して大規模な点群を作成するには、統一の座標系で点群を表現する必要がある。一般的には、初回に撮影した画像（ｆ＝１）の座標系で、他画像を撮影したときに得た点群を表現する。
【００１８】
初回に撮影した画像の座標系に変換する代表的な方法のフローは、以下のとおりである。
まず、初回の画像と、その他の画像とから局所特徴量を抽出する。
次に、２つの画像から抽出された局所特徴量をマッチングする。
次に、マッチングした局所特徴量ペアを使って、２つの画像の関係（例えば、平行移動量及び回転量）を求める。
【００１９】
上記の方法は、代表的な方法である。これ以外にも、時間的に隣接する画像関係を積算して初回画像との位置関係を求める方法等がある。
このような方法で求めた初回画像と、他の画像ｆとの関係をＴ１→ｆとし、初回画像を撮影したときの座標系で各点を表現すると、下記の（３）式となる。
【数３】
0006843319.tif 000004
そして、最終的に得られる三次元点群は点ｒｆｌの集合となる。
【００２０】
そして、三次元情報取得部１１０は、以上のようにして検出された三次元点群を示す三次元点群情報と、ＲＧＢ−Ｄカメラの画像センサの位置及び角度を示すセンサ情報と、ＲＧＢ−Ｄカメラで撮像された画像とを含む三次元情報を生成する。三次元情報取得部１１０は、生成された三次元情報を前景画像生成部１２０に与える。
【００２１】
なお、画像センサの位置及び角度は、各画像を撮影したときの位置及び角度である。画像の撮影位置をｐｎ、角度をｒｎとする。画像のインデックスはｎ＝１，２，・・・，Ｎであり、撮像された画像枚数をＮ（２以上の整数）とする。角度ｒｎの表現は、オイラー角、Ｑｕａｔｅｒｎｉｏｎ又はＥｕｌｅｒ−Ｒｏｄｒｉｇｕｅｓの形式等、三次元的な回転角度が定まればどのような形式でも構わない。
【００２２】
前景画像生成部１２０は、三次元情報取得部１１０で取得された三次元情報から、認識対象を示す複数の前景画像を生成して、その複数の前景画像を示す前景画像情報を生成する。
図３は、前景画像生成部１２０の構成を概略的に示すブロック図である。
前景画像生成部１２０は、認識対象選択部１２１と、認識対象切取部１２２とを備える。
【００２３】
認識対象選択部１２１は、三次元情報取得部１１０で取得された三次元情報から、認識対象を選択する。
三次元情報に含まれている三次元点群情報で示される三次元点群又は三次元情報に含まれている画像には、認識対象以外の物体が含まれている可能性がある。例えば、床上に認識対象を置いて撮影が行われる場合、床の三次元点群も同時に撮影される。認識対象以外の情報を排除するため、認識対象選択部１２１は、三次元点群又は画像から認識対象を選択する。選択の方法として、以下２つのパターンがある。
【００２４】
第１のパターンは、マニュアルでの選択である。
認識対象選択部１２１は、三次元情報に基づいて、図示しない表示部に三次元点群又は画像を表示して、図示しない入力部を介して、ユーザから認識対象の範囲の選択を受ける。
【００２５】
例えば、三次元点群情報に含まれている画像が、図４に示されているような画像１７０である場合を例に説明する。画像１７０には、認識対象１７１が含まれている。
このような場合には、ユーザは、図５に示されているように、画像１７０において、４点ＳＡ，１、ＳＡ，２、ＳＡ，３、ＳＡ，４を指定することで、認識対象１７１を選択する。このとき、図５に示すように、認識対象１７１の全てを一度に選択しなくても構わない。図５は、認識対象１７１を構成する一つの面である面Ａをのみを選択する例である。ユーザは、面Ａを選択した後に、面Ｂ及び面Ｃのそれぞれを選択することで、最終的に認識対象１７１の全てを選択することができる。
【００２６】
ここで、認識対象選択部１２１は、面Ａとして、点ＳＡ，１、ＳＡ，２、ＳＡ，３、ＳＡ，４が指定された場合に、これらの点ＳＡ，１、ＳＡ，２、ＳＡ，３、ＳＡ，４に対応する、三次元における位置である三次元座標を、上記の（１）式及び（３）式により求める。ここで求められる三次元座標は、撮影開始時を基準とする座標系で現れるものとする。結果、三次元座標Ｓ’Ａ，１、Ｓ’Ａ，２、Ｓ’Ａ，３、Ｓ’Ａ，４が求まる。
【００２７】
同様に、面Ｂ及び面Ｃについても選択される。なお、図４示されている画像１７０で面Ｂ又は面Ｃが選択しづらい場合には、認識対象選択部１２１は、例えば、図６に示されているように、別の視点から撮影された画像１７２を、図示しない表示部に表示させることで、選択を受け付けてもよい。
【００２８】
面Ｂ及び面Ｃの選択により、面Ｂの三次元座標Ｓ’Ｂ，１、Ｓ’Ｂ，２、Ｓ’Ｂ，３、Ｓ’Ｂ，４及び面Ｃの三次元座標Ｓ’Ｃ，１、Ｓ’Ｃ，２、Ｓ’Ｃ，３、Ｓ’Ｃ，４が求まる。
【００２９】
なお、三次元点群で選択を受け付ける場合には、ユーザは、図示しない表示部に表示された三次元点群から、面Ａの三次元座標Ｓ’Ａ，１、Ｓ’Ａ，２、Ｓ’Ａ，３、Ｓ’Ａ，４、面Ｂの三次元座標Ｓ’Ｂ，１、Ｓ’Ｂ，２、Ｓ’Ｂ，３、Ｓ’Ｂ，４及び面Ｃの三次元座標Ｓ’Ｃ，１、Ｓ’Ｃ，２、Ｓ’Ｃ，３、Ｓ’Ｃ，４を直接的に指定する。
【００３０】
認識対象選択部１２１は、以上のようにして特定された、面Ａの三次元座標Ｓ’Ａ，１、Ｓ’Ａ，２、Ｓ’Ａ，３、Ｓ’Ａ，４、面Ｂの三次元座標Ｓ’Ｂ，１、Ｓ’Ｂ，２、Ｓ’Ｂ，３、Ｓ’Ｂ，４及び面Ｃの三次元座標Ｓ’Ｃ，１、Ｓ’Ｃ，２、Ｓ’Ｃ，３、Ｓ’Ｃ，４を示す認識対象範囲情報を生成し、その認識対象範囲情報を認識対象切取部１２２に与える。認識対象範囲情報は、選択された認識対象の範囲を示す情報である。
【００３１】
認識対象を選択する第２のパターンは、半自動選択である。
認識対象選択部１２１は、公知のアルゴリズムであるＧｒａｂＣｕｔ等の認識対象とそれ以外との境界を求める領域分割技術を使って、認識対象の範囲を求めてもよい。領域分割技術を用いると、図８に示されている画像１７３のように、認識対象とそれ以外の境界を示す点群Ｓ１〜ＳＭ（Ｍは、２以上の整数）が得られる。そして、認識対象選択部１２１は、これらの点群Ｓ１〜ＳＭを三次元座標に変換した点群Ｓ’１〜Ｓ’Ｍを認識対象１７１の範囲とする。三次元座標への変換は、上述と同様に、（１）式及び（３）式で行われる。
【００３２】
認識対象選択部１２１は、以上のようにして特定された点群Ｓ’１〜Ｓ’Ｍの三次元における位置により認識対象範囲を示す認識対象範囲情報を生成し、その認識対象範囲情報を認識対象切取部１２２に与える。
【００３３】
以上では、認識対象選択部１２１は、三次元情報に含まれている少なくとも１つの画像から認識対象範囲を特定しているが、三次元情報に含まれている位置情報を用いて認識対象を特定してもよい。このような場合、認識対象選択部１２１は、三次元情報に含まれている位置情報から、複数の平面を示す平面情報を生成する。平面情報は、対象の表面に対応する平面を示すものである。そして、認識対象選択部１２１は、生成された平面を、表示部に表示して、認識対象の選択を受け付け、又は、生成された平面から境界を求めればよい。
【００３４】
平面を検出する代表的な方法としては、ＲＡＮＳＡＣ（ＲＡＮｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）がある。ＲＡＮＳＡＣを使って平面を検出する方法は、以下のとおりである。
まず、三次元点群の中から数点が選択されて、平面が作成される。
次に、平面上の点が一定数あれば、作成された平面が採用され、平面上の点が一定数なければ、作成された平面は棄却される。
次に、上記の処理を繰り返して、複数の平面が検出される。
【００３５】
認識対象切取部１２２は、三次元情報に含まれている複数の画像の各々から、認識対象選択部１２１で選択された認識対象に対応する範囲である認識対象範囲の画像を切り取ることで、それらの複数の画像から複数の前景画像を生成する。
例えば、認識対象切取部１２２は、認識対象範囲情報で示される認識対象範囲を、三次元情報に含まれている画像に投影して、その投影された範囲の画像を切り取ることで、三次元情報に含まれている複数の画像から、選択された認識対象に対応する範囲の画像である認識対象画像を切り取る。
【００３６】
認識態様範囲情報に含まれている点Ｓ’を、画像ｎに投影する方法を、下記の（４）式に示す。
【数４】
0006843319.tif 000005
ここで、［ｒｎ｜ｐｎ］は、画像ｎの撮影位置又は角度を元に作成する行列。Ｐは、斉次座標から斉次座標でない通常の座標系に変換する行列であり、下記の（５）式に示す行列である。
【数５】
0006843319.tif 000006
また、Ｋｎは、画像ｎに対応するカメラの内部パラメータ、ｓｎは、点Ｓ’を画像ｎに投影したときの位置を示す。
【００３７】
認識対象切取部１２２は、各画像における認識対象の範囲を上述の方法で求めた後、その範囲を切り取る。例えば、図５に示されているように、面Ａ、面Ｂ及び面Ｃが選択された場合には、それらの面の全体が、認識対象の範囲として切り取られる。また、図６に示されている、異なる視点から撮影された画像１７２からも、対応する範囲が切り取られる。なお、図６では、図５で選択された範囲に対応する範囲を計算することで、認識対象に対応する範囲が切り取られる。
【００３８】
以上のように、認識対象切取部１２２は、三次元情報に含まれている全ての画像から、選択された範囲の画像を切り出し、切り出された画像を前景画像とすることで、低い処理負荷で、大量の前景画像を生成することができる。そして、認識対象切取部１２２は、前景画像を示す画像データである前景画像データを画像合成部１４０に与える。
【００３９】
背景画像ＤＢ１３０は、背景画像の画像データである背景画像データを記憶する。
画像合成部１４０は、前景画像生成部１２０から与えられた前景画像データで示される前景画像を、背景画像ＤＢ１３０に記憶されている背景画像データで示される背景画像に合成することで、合成された画像を学習画像とし、その学習画像を示す学習画像データを生成する。言い換えると、画像合成部１４０は、複数の背景画像の各々に、複数の前景画像の各々を合成することで、複数の合成画像を生成する。
【００４０】
具体的には、画像合成部１４０は、背景画像上に、前景画像を重畳する。背景画像及び前景画像共に、赤、青及び緑の３つのｃｈａｎｎｅｌから成るカラー画像であってもよく、１つのｃｈａｎｎｅｌしかない、グレースケール画像でもよい。また、背景画像及び前景画像は、Ｄｅｐｔｈ  ｃｈａｎｎｅｌもある距離付きの画像であってもよい。
また、画像合成部１４０は、さらにデータの拡張をするため、背景画像の様々な位置に前景画像を重畳してもよい。
【００４１】
学習画像ＤＢ１５０は、画像合成部１４０で生成された学習画像データを記憶する。
【００４２】
図８は、情報処理装置１００のハードウェア構成例を示すブロック図である。
情報処理装置１００は、計算機１と、出力機器２と、入力機器３と、センサ４とを備える。
計算機１は、例えば、メモリと、メモリに格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサとにより構成することができるコンピュータである。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００４３】
また、計算機１の一部は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路で構成することもできる。
【００４４】
ここで、図１に示されている、前景画像生成部１２０、背景画像ＤＢ１３０、画像合成部１４０、及び、学習画像ＤＢ１５０は、計算機１により実現することができる。
【００４５】
出力機器２は、ディスプレイ等のように、各種画面画像を表示する出力部として機能する装置である。
入力機器３は、マウス、キーボード、タッチパネル等の入力部として機能する装置である。
【００４６】
センサ４は、三次元情報を取得する三次元情報取得部１１０として機能する装置である。
実施の形態１では、センサ４は、ＲＧＢ−Ｄカメラにより実現されている。なお、センサ４は、ＩＭＵ（Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）、又は、赤外線、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）、若しくは、超音波を用いて距離を取得することのできるセンサと、２次元の画像を撮像することのできるカメラとの組み合わせにより実現することもできる。
【００４７】
図９は、情報処理装置１００の動作を示すフローチャートである。
情報処理装置１００は、背景画像ＤＢ１３０に記憶されている背景画像データで示される背景画像の数だけ、以下の処理を繰り返す（Ｓ１０）。
【００４８】
三次元情報取得部１１０は、三次元情報を取得する（Ｓ１１）。
前景画像生成部１２０は、三次元情報取得部１１０が取得した三次元情報に基づいて、複数の前景画像を生成する（Ｓ１２）。
【００４９】
画像合成部１４０は、前景画像生成部１２０が生成した複数の前景画像の数だけ、以下の処理を繰り返す（Ｓ１３）。
画像合成部１４０は、背景画像ＤＢ１３０に記憶されている背景画像データで示される背景画像に、前景画像生成部１２０で生成された前景画像データで示される前景画像を合成することで、学習画像を生成する（Ｓ１４）。このようにして生成された学習画像を示す学習画像データは、学習画像ＤＢ１５０に蓄積される。
【００５０】
図１０は、図９のステップＳ１２における前景画像を生成する動作を示すフローチャートである。
まず、認識対象選択部１２１は、三次元情報取得部１１０が取得した三次元情報から、全ての認識対象範囲が取得されるまで、以下の処理を繰り返す（Ｓ２０）。
認識対象選択部１２１は、三次元情報に含まれている三次元点群又は画像から、認識対象範囲を特定する（Ｓ２１）。
【００５１】
次に、認識対象切取部１２２は、三次元情報に含まれている画像の数だけ以下の処理を繰り返す（Ｓ２２）。
認識対象切取部１２２は、認識対象選択部１２１により特定された認識対象範囲を、画像に投影する（Ｓ２３）。
そして、認識対象切取部１２２は、画像から、投影された範囲を切り取ることで、切り取られた画像を、前景画像とする（Ｓ２４）。
【００５２】
以上のように、本実施の形態によれば、一般的な環境で取得された三次元情報を使って、学習用のデータを大量に作成することができる。このため、従来の技術のように特別な環境を用意する必要がなくなる。また、一枚の画像から認識対象範囲を特定することで、他の画像からも同範囲をクリッピングすることができるため、少ない手間で大量の画像を作成できる。従来のように、高精細な三次元モデルを人手で作成する手間、又は、画像全てに対して認識対象の範囲を選択する手間が不要である。
【符号の説明】
【００５３】
１００  情報処理装置、  １１０  三次元情報取得部、  １２０  前景画像生成部、  １３０  背景画像ＤＢ、  １４０  画像合成部、  １５０  学習画像ＤＢ、  １２１  認識対象選択部、  １２２  認識対象切取部。
【図１】
0006843319.tif 000007
【図２】
0006843319.tif 000008
【図３】
0006843319.tif 000009
【図４】
0006843319.tif 000010
【図５】
0006843319.tif 000011
【図６】
0006843319.tif 000012
【図７】
0006843319.tif 000013
【図８】
0006843319.tif 000014
【図９】
0006843319.tif 000015
【図１０】
0006843319.tif 000016