(57)【要約】【課題】画素数の多い画像から被写体の座標を迅速に取得する。【解決手段】被写体を含む大画像、小画像、深度画像を入力し（Ｓ１）、大画像の特徴点の座標と小画像において対応する特徴点の座標を得る（Ｓ３）。大画像と小画像を複数の領域に分割し（Ｓ５）、大画像の特徴点を含む領域と小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め領域どうしを対応づける（Ｓ７）。大画像の特徴点を含まない領域に対して関係性を充足する小画像の領域を検出し領域どうしを対応づける（Ｓ９）。深度画像の被写体の領域が指定されたなら（Ｓ１１）、小画像の座標に変換し（Ｓ１５）、小画像の当該座標を含む領域を得る（Ｓ１７）。大画像の当該領域に対応づけられた領域を得て（Ｓ１９）、大画像の当該領域内の座標を得る（Ｓ２１）。【選択図】図６
2017021758.tif 000002
【特許請求の範囲】
【請求項１】
被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力する入力部と、
前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得る特徴点座標検出部と、
前記大画像と前記小画像を複数の領域に分割する画像分割部と、
前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域どうしを対応づける関係性取得部と、
前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域どうしを対応づける領域検出部と、
前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記小画像の当該座標を含む領域を得て、前記大画像の当該領域に対応づけられた領域を得て、前記大画像の当該領域内の座標を得る被写体座標取得部と
を備えることを特徴とする被写体座標取得装置。
【請求項２】
被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力する入力部と、
前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得る特徴点座標検出部と、
前記大画像と前記小画像を複数の領域に分割する画像分割部と、
前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域の座標どうしを対応づける関係性取得部と、
前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域の座標どうしを対応づける領域検出部と、
前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記大画像の当該座標に対応づけられた座標を得る被写体座標取得部と
を備えることを特徴とする被写体座標取得装置。
【請求項３】
前記関係性は、
前記小画像の領域を内包する矩形の縦横比と前記大画像の領域を内包する矩形の縦横比の関係を示す
ことを特徴とする請求項１または２記載の被写体座標取得装置。
【請求項４】
前記関係性は、
前記小画像の領域を内包する矩形の縦の長さと前記大画像の領域を内包する矩形の縦の長さの関係と、前記小画像の領域を内包する矩形の横の長さと前記大画像の領域を内包する矩形の横の長さの関係を示す
ことを特徴とする請求項１または２記載の被写体座標取得装置。
【請求項５】
被写体座標取得装置の入力部が、被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力し、
前記被写体座標取得装置の特徴点座標検出部が、前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得て、
前記被写体座標取得装置の画像分割部が、前記大画像と前記小画像を複数の領域に分割し、
前記被写体座標取得装置の関係性取得部が、前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域どうしを対応づけ、
前記被写体座標取得装置の領域検出部が、前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域どうしを対応づけ、
前記被写体座標取得装置の被写体座標取得部が、前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記小画像の当該座標を含む領域を得て、前記大画像の当該領域に対応づけられた領域を得て、前記大画像の当該領域内の座標を得る
ことを特徴とする被写体座標取得方法。
【請求項６】
被写体座標取得装置の入力部が、被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力し、
前記被写体座標取得装置の特徴点座標検出部が、前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得て、
前記被写体座標取得装置の画像分割部が、前記大画像と前記小画像を複数の領域に分割し、
前記被写体座標取得装置の関係性取得部が、前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域の座標どうしを対応づけ、
前記被写体座標取得装置の領域検出部が、前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域の座標どうしを対応づけ、
前記被写体座標取得装置の被写体座標取得部が、前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記大画像の当該座標に対応づけられた座標を得る
ことを特徴とする被写体座標取得方法。
【請求項７】
請求項１ないし４のいずれかに記載の被写体座標取得装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素数の多い画像から被写体の座標を迅速に取得する被写体座標取得装置、被写体座標取得方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来において、画像から特定の被写体の座標を取得する場合、例えば、デプスマップと称される深度画像を利用する。近年では、画像と深度画像を同時に取得可能なセンサもある。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】中島秀真，「Kinect による安定な動物体領域抽出のためのカラー画像とデプスマップの時刻合わせ (実世界センシングとその応用).」電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 111.379 (2012): 321-328.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、画素数の多い画像については同時に深度画像を取得するための計算量が多く、そのような画像から被写体の座標を迅速に取得することが困難であった。
【０００５】
本発明は，上記事情に鑑みてなされたものであり、画素数の多い画像から被写体の座標を迅速に取得する被写体座標取得装置、被写体座標取得方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の本発明の被写体座標取得装置は、被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力する入力部と、前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得る特徴点座標検出部と、前記大画像と前記小画像を複数の領域に分割する画像分割部と、前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域どうしを対応づける関係性取得部と、前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域どうしを対応づける領域検出部と、前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記小画像の当該座標を含む領域を得て、前記大画像の当該領域に対応づけられた領域を得て、前記大画像の当該領域内の座標を得る被写体座標取得部とを備えることを特徴とする。
【０００７】
第２の本発明の被写体座標取得装置は、被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力する入力部と、前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得る特徴点座標検出部と、前記大画像と前記小画像を複数の領域に分割する画像分割部と、前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域の座標どうしを対応づける関係性取得部と、前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域の座標どうしを対応づける領域検出部と、前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記大画像の当該座標に対応づけられた座標を得る被写体座標取得部とを備えることを特徴とする。
【０００８】
第３の本発明の被写体座標取得方法は、被写体座標取得装置の入力部が、被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力し、前記被写体座標取得装置の特徴点座標検出部が、前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得て、前記被写体座標取得装置の画像分割部が、前記大画像と前記小画像を複数の領域に分割し、前記被写体座標取得装置の関係性取得部が、前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域どうしを対応づけ、前記被写体座標取得装置の領域検出部が、前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域どうしを対応づけ、前記被写体座標取得装置の被写体座標取得部が、前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記小画像の当該座標を含む領域を得て、前記大画像の当該領域に対応づけられた領域を得て、前記大画像の当該領域内の座標を得ることを特徴とする。
【０００９】
第４の本発明の被写体座標取得方法は、被写体座標取得装置の入力部が、被写体を含む大画像、前記被写体を含み且つ前記大画像の画素数より少ない小画像、前記被写体を含み且つ前記大画像の画素数より少ない深度画像を入力し、前記被写体座標取得装置の特徴点座標検出部が、前記大画像の特徴点の座標と前記小画像において対応する特徴点の座標を得て、前記被写体座標取得装置の画像分割部が、前記大画像と前記小画像を複数の領域に分割し、前記被写体座標取得装置の関係性取得部が、前記大画像の特徴点を含む領域と前記小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め当該領域の座標どうしを対応づけ、前記被写体座標取得装置の領域検出部が、前記大画像の特徴点を含まない領域に対して前記関係性を充足する前記小画像の領域を検出し当該領域の座標どうしを対応づけ、前記被写体座標取得装置の被写体座標取得部が、前記深度画像の前記被写体の領域が指定されたなら、当該領域内の座標を前記小画像の座標に変換し、前記大画像の当該座標に対応づけられた座標を得ることを特徴とする。
【００１０】
第５の本発明のコンピュータプログラムは、上記被写体座標取得装置としてコンピュータを機能させるためのものであることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、大画像から深度画像を取得する計算が不要であり、大画像から被写体の座標を迅速に得ることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る被写体座標取得装置の概略構成を示す機能ブロック図である。
【図２】大画像Ｌ、小画像Ｓ、深度画像Ｄのデータ構造を示す図である。
【図３】大画像Ｌ、小画像Ｓ、深度画像Ｄの表示例を示す図である。
【図４】座標記憶部７の構成を示す図である。
【図５】領域記憶部８の第１記憶テーブル８１と第２記憶テーブル８２の構成を示す図である。
【図６】被写体座標取得装置による被写体座標取得方法のフローチャートである。
【図７】ステップＳ５における画像分割の一例を示す図である。
【図８】ステップＳ７の補足説明図である。
【図９】深度画像Ｄにおける被写体の領域を例示する図である。
【図１０】小画像Ｓにおける被写体の領域を例示する図である。
【図１１】大画像Ｌにおける被写体の領域を例示する図である。
【図１２】第２の実施形態の特徴についての説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を参照して説明する。
【００１４】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る被写体座標取得装置の概略構成を示す機能ブロック図である。
【００１５】
被写体座標取得装置は、ぬいぐるみなどの被写体が置かれた部屋の中などをディジタルカメラなどで撮影した画像に含まれる被写体の座標を得るものであり、入力部１、特徴点座標検出部２、画像分割部３、関係性取得部４、領域検出部５、被写体座標取得部６、座標記憶部７、領域記憶部８を備える。
【００１６】
入力部１は、被写体を含む大画像Ｌ、同じ被写体を含み且つ大画像Ｌの画素数より少ない小画像Ｓ、同じ被写体を含み且つ大画像の画素数より少ない深度画像Ｄを入力する。
【００１７】
図２は、大画像Ｌ、小画像Ｓ、深度画像Ｄのデータ構造を示す図である。
【００１８】
図２（ａ）に示すように、大画像Ｌは、例えば、高解像度のディジタルカメラによる撮影で得たものであり、例えば、5472×3648個の画素を有し、グレースケールの場合、画素ごとに濃度を有する。カラーの場合の濃度は、色の３原色ごとに分かれる。
【００１９】
図２（ｂ）に示すように、小画像Ｓは、例えば、低解像度のディジタルカメラによる撮影で得たものであり、例えば、1920×1280個の画素を有し、グレースケールの場合、画素ごとに濃度を有する。カラーの場合の濃度は、色の３原色ごとに分かれる。
【００２０】
図２（ｃ）に示すように、深度画像Ｄは、例えば、1920×1280個の画素を有し、画素ごとに深度を有する。例えば、画像中央付近の深度は比較的小さく、画像周囲付近の深度は比較的大きい。
【００２１】
深度は、理想的には、小画像Ｓを撮影したカメラから画素に対応する実際の物体の点までの距離を示すものだが、深度を測定するセンサとカメラの位置が異なる場合、小画像Ｓにおける被写体の座標と深度画像Ｄにおける被写体の座標には誤差がある。この場合、予め変換テーブルや変換式などが用意される。
【００２２】
図３は、大画像Ｌ、小画像Ｓ、深度画像Ｄの表示例を示す図である。
【００２３】
図３（ａ）は、大画像Ｌであり、被写体である「ぬいぐるみ」を含む。図３（ｂ）は、小画像Ｓであり、同じく被写体である「ぬいぐるみ」を含む。小画像Ｓは、例えば、大画像Ｌより狭い範囲を撮影したものである。図３（ｃ）は、深度画像Ｄを示すものであり、これは深度に対応する濃度で深度画像Ｄを表示した一例である。
【００２４】
図１に戻り、特徴点座標検出部２は、大画像Ｌの特徴点の座標と小画像Ｓにおいて対応する特徴点の座標を得る。画像分割部３は、大画像Ｌと小画像Ｓを複数の領域に分割する。関係性取得部４は、大画像Ｌの特徴点を含む領域と小画像Ｓにおいて対応する特徴点を含む領域との形状または形状および大きさの関係性を求め領域どうしを対応づける。領域検出部５は、大画像Ｌの特徴点を含まない領域に対してこの関係性を充足する小画像Ｓの領域を検出し領域どうしを対応づける。被写体座標取得部６は、深度画像の被写体の領域が指定されたなら、領域内の座標を小画像Ｓの座標に変換し、小画像Ｓの、変換後の座標を含む領域を得て、大画像Ｌの、その領域に対応づけられた領域を得て、大画像Ｌの、その領域内の座標を得て、出力する。
【００２５】
図４は、座標記憶部７の構成を示す図である。
【００２６】
座標記憶部７は、小画像Ｓの各特徴点につき、その座標と大画像Ｌにおいて対応する特徴点の座標を含むレコードを記憶する。
【００２７】
図５は、領域記憶部８の第１記憶テーブル８１と第２記憶テーブル８２の構成を示す図である。
【００２８】
領域記憶部８は、第１記憶テーブル８１と第２記憶テーブル８２を有し、第１記憶テーブル８１は、大画像Ｌの各領域につき、その領域を示す領域識別情報ＬＡＩＤと、領域に含まれる座標群ＬＡを含むレコードを記憶する。
【００２９】
第２記憶テーブル８２は、小画像Ｓの各領域につき、その領域を示す領域識別情報ＳＡＩＤと、領域に含まれる座標群ＳＡを含むレコードを記憶する。レコードは、対応する大画像Ｌの領域を示す領域識別情報ＬＡＩＤを後に記憶する。
【００３０】
図６は、被写体座標取得装置による被写体座標取得方法のフローチャートである。
【００３１】
Ｓ１：入力部１は、大画像Ｌ、小画像Ｓ、深度画像Ｄを入力する。
【００３２】
Ｓ３：特徴点座標検出部２は、大画像Ｌ、小画像Ｓを解析し、大画像Ｌの特徴点と小画像Ｓにおいて対応する特徴点を検出し、各特徴点の座標を含むレコードを座標記憶部７に記憶させる。特徴点の検出、対応づけについては、例えば、David G. Lowe, "Distinctive image features from scale-invariant keypoints," International Journal of Computer Vision, 60, 2, pp. 91-110, 2004に記載の方法を用いる。
【００３３】
Ｓ５：画像分割部３は、大画像Ｌを複数の領域に分割し、各領域につき、その領域を示す領域識別情報ＬＡＩＤと、領域に含まれる座標群ＬＡを含むレコードを第１記憶テーブル８１に記憶させる。また、画像分割部３は、小画像Ｓを複数の領域に分割し、各領域につき、その領域を示す領域識別情報ＳＡＩＤと、領域に含まれる座標群ＳＡを含むレコードを第２記憶テーブル８２に記憶させる。
【００３４】
領域分割については、例えば、Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk, SLIC Superpixels Compared to State-of-the-art Superpixel Methods, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 34, num. 11, p. 2274 - 2282, 2012.に記載の方法を用いる。
【００３５】
図７は、ステップＳ５における画像分割の一例を示す図である。
【００３６】
図７（ａ）は、分割された大画像Ｌであり、図７（ｂ）は、分割された小画像Ｓである。
【００３７】
図６に戻り、被写体座標取得方法の説明を続ける。
【００３８】
Ｓ７：関係性取得部４は、大画像Ｌの特徴点を含む領域と小画像Ｓにおいて対応する特徴点を含む領域との形状または形状および大きさの関係性を求め領域どうしを対応づける。
【００３９】
図８は、ステップＳ７の補足説明図である。
【００４０】
例えば、図８（ａ）に示すように、大画像Ｌの特徴点Ｌａが小画像Ｓの特徴点Ｓａに対応する場合、関係性取得部４は、特徴点Ｌａを含む領域Ｌαを示す領域識別情報ＬＡＩＤを、特徴点Ｓａを含む領域Ｓαを示す領域識別情報ＳＡＩＤを含む第２記憶テーブル８２のレコードに記憶させる。これにより、領域Ｌαと領域Ｓαが対応づけられる。
【００４１】
また、関係性取得部４は、例えば、図８（ｂ）および数１に示すように、領域Ｌαを内包する矩形Ｌβの縦横比Ｌγ＝Ｌβｙ／Ｌβｘと、領域Ｓαを内包する矩形Ｓβの縦横比Ｓγ＝Ｓβｙ／Ｓβｘを算出し、倍数Ｗ＝Ｌγ／Ｓγを算出する。つまり、関係性は、小画像の領域と大画像の領域の形状の関係性である。具体的には、小画像の領域を内包する矩形の縦横比と大画像の領域を内包する矩形の縦横比の関係を示す。
【００４２】
【数１】
2017021758.tif 000003
または、関係性取得部４は、例えば、数１に示すように、倍数Ｗｘ＝Ｌβｘ／Ｓβｘ、倍数Ｗｙ＝Ｌβｙ／Ｓβｙを算出する。つまり、関係性は、小画像の領域と大画像の領域の形状および大きさの関係性である。具体的には、小画像の領域を内包する矩形の縦の長さと大画像の領域を内包する矩形の縦の長さの関係と、小画像の領域を内包する矩形の横の長さと大画像の領域を内包する矩形の横の長さの関係を示す。
【００４３】
図６に戻り、被写体座標取得方法の説明を続ける。
【００４４】
Ｓ９：領域検出部５は、大画像Ｌの特徴点を含まない領域に対して関係性を充足する小画像Ｓの領域を検出し領域どうしを対応づける。
【００４５】
ここでは、大画像Ｌの特徴点を含まない領域Ｌαを内包する矩形Ｌβの縦横比Ｌγ＝Ｌβｙ／Ｌβｘと、領域Ｓαを内包する矩形Ｓβの縦横比Ｓγ＝Ｓβｙ／Ｓβｘを算出し、各領域Ｌαにつき、Ｗ＝Ｌγ／Ｓγを満たす領域Ｓαを検出し、または、Ｗｘ＝Ｌβｘ／ＳβｘとＷｙ＝Ｌβｙ／Ｓβｙを満たす領域Ｓαを検出する。Ｗ、Ｗｘ、Ｗｙは、ステップＳ７で算出したものである。そして、領域Ｌαを示す領域識別情報ＬＡＩＤを、検出した領域Ｓαを示す領域識別情報ＳＡＩＤを含む第２記憶テーブル８２のレコードに記憶させる。これにより、特徴点を含まない領域Ｌαと領域Ｓαが対応づけられる。
【００４６】
Ｓ１１：一方、被写体座標取得部６は、図９に示すように、深度画像Ｄにおいて被写体の領域の指定を受ける。例えば、被写体が最もカメラに近い場合は、被写体の後端の深度が指定される。
【００４７】
Ｓ１３：次に、被写体座標取得部６は、深度画像Ｄから被写体の領域の座標を抽出する。被写体が最もカメラに近く、被写体の後端の深度が指定された場合は、これ以下の深度に対応する座標を取得する。
【００４８】
被写体座標取得部６は、次に、Ｓ１３で抽出した座標を小画像Ｓの座標に変換する（Ｓ１５）。ここでは、例えば、予め用意した変換テーブルや変換式などを用いて、座標を変換する。なお、小画像Ｓの座標と深度画像Ｄの座標に誤差がない場合は、深度画像Ｄの座標を小画像Ｓの座標として用いてもよい。この場合でも、本実施の形態では、Ｓ１３で抽出した座標を小画像Ｓの座標に変換したこととする。
【００４９】
これにより、図１０に示すように、小画像Ｓにおける被写体の座標が定まる。
【００５０】
Ｓ１７：次に、被写体座標取得部６は、Ｓ１５で得た座標を含む小画像Ｓの領域を得る。ここでは、第２記憶テーブル８２から、Ｓ１５で得た座標を含む座標群ＳＡを含むレコードを検索する。
【００５１】
Ｓ１９：次に、被写体座標取得部６は、Ｓ１７で得た領域に対応づけられた大画像Ｌの領域を得る。ここでは、被写体座標取得部６は、Ｓ１７で検索したレコードから領域識別情報ＬＡＩＤを読み出す。
【００５２】
Ｓ２１：次に、被写体座標取得部６は、大画像Ｌの、Ｓ１９で得た領域内の座標を得る。すなわち、被写体の座標を得る。ここでは、被写体座標取得部６は、第１記憶テーブル８１から、Ｓ１９で読み出した領域識別情報ＬＡＩＤを含むレコードを検索し、座標群ＬＡを読み出す。
【００５３】
Ｓ２３：次に、被写体座標取得部６は、Ｓ１９で得た座標を出力し、処理を終える。ここでは、例えば、図１１に示すように、大画像Ｌを画面表示し、被写体の座標からなる領域を顕在化させる。
【００５４】
したがって、第１の実施形態によれば、被写体を含む大画像、小画像、深度画像を入力し、大画像の特徴点の座標と小画像において対応する特徴点の座標を得て、大画像と小画像を複数の領域に分割し、大画像の特徴点を含む領域と小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め領域どうしを対応づけ、大画像の特徴点を含まない領域に対して関係性を充足する小画像の領域を検出し領域どうしを対応づけ、深度画像の被写体の領域が指定されたなら、小画像の座標に変換し、小画像の当該座標を含む領域を得て、大画像の当該領域に対応づけられた領域を得て、大画像の当該領域内の座標を得るので、すなわち、大画像から深度画像を取得する計算が不要であり、大画像から被写体の座標を迅速に得ることができる。
【００５５】
［第２の実施形態］
次に、第２の実施形態を、第１の実施形態との差異を中心に説明する。同一の構成については、同一符号を付与し、重複説明を省略する。
【００５６】
第１の実施形態では、領域を対応づけ（Ｓ７、Ｓ９）、小画像Ｓの被写体の領域を得て（Ｓ１７）、対応づけられた大画像Ｌの領域を得て（Ｓ１９）、領域の座標を得た（Ｓ２１）。第２の実施形態では、関係性取得部４は、Ｓ７で対応づけた領域の「座標どうし」を対応づけ、領域検出部５は、Ｓ９で対応づけた領域の「座標どうし」を対応づけ、被写体座標取得部６は、小画像Ｓの被写体の座標を得て（Ｓ１５）、対応づけられた大画像Ｌの座標を得て、出力する。
【００５７】
関係性取得部４および領域検出部５は、図１２に示すように、大画像Ｌの領域Ｌαと小画像Ｓの領域Ｓαを対応づけた場合、例えば、領域Ｌα内の黒丸Ｌ１で示す座標と、領域ＳαでＬ１に対応する位置の黒丸Ｓ１で示す座標を対応づける。他の座標についても、対応する位置の座標どうしを同様に対応づける。
【００５８】
例えば、関係性取得部４および領域検出部５は、座標記憶部７に対し、小画像Ｓの座標と大画像Ｌにおいて対応する座標とを含むレコードを記憶させる。
【００５９】
したがって、第２の実施形態によれば、被写体を含む大画像、小画像、深度画像を入力し、大画像の特徴点の座標と小画像において対応する特徴点の座標を得て、大画像と小画像を複数の領域に分割し、大画像の特徴点を含む領域と小画像において対応する特徴点を含む領域との形状または形状および大きさの関係性を求め領域の座標どうしを対応づけ、大画像の特徴点を含まない領域に対して関係性を充足する小画像の領域を検出し領域の座標どうしを対応づけ、深度画像の被写体の領域が指定されたなら、小画像の座標に変換し、大画像の当該座標に対応づけられた座標を得るので、大画像から深度画像を取得する計算が不要であり、大画像から被写体の座標を迅速に得ることができる。
【００６０】
なお、被写体座標取得装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【００６１】
１  入力部
２  特徴点座標検出部
３  画像分割部
４  関係性取得部
５  領域検出部
６  被写体座標取得部
７  座標記憶部
８  領域記憶部
【図１】
2017021758.tif 000004
【図２】
2017021758.tif 000005
【図３】
2017021758.tif 000006
【図４】
2017021758.tif 000007
【図５】
2017021758.tif 000008
【図６】
2017021758.tif 000009
【図７】
2017021758.tif 000010
【図８】
2017021758.tif 000011
【図９】
2017021758.tif 000012
【図１０】
2017021758.tif 000013
【図１１】
2017021758.tif 000014
【図１２】
2017021758.tif 000015