(57)【要約】【課題】撮像部に対する特定の被写体の姿勢の推定を適正に行う。【解決手段】携帯端末１００であって、第１画像が取得された際の撮像部３の重力方向に対する傾きを検出する第１検出部６ａと、撮像部の重力方向に対する傾き及び撮像部に対する特定の被写体の仮の姿勢に基づいて、特定の被写体の重力方向に対する傾きを算出する第１算出部７ｂと、第２画像が取得された際の撮像部の重力方向に対する傾きを検出する第２検出部６ｂと、撮像部の重力方向に対する傾き及び特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を第２画像内の平面座標に変換する座標変換式の初期値として、撮像部に対する特定の被写体の相対的な姿勢を算出する第２算出部７ｃと、を備えている。【選択図】図１
2014030093.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像された特定の被写体の画像を逐次取得する取得手段と、
前記取得手段により一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第１検出手段と、
前記第１検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する第１算出手段と、
前記取得手段により前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第２検出手段と、
前記第２検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記第１算出手段により算出された前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する第２算出手段と、
を備えたことを特徴とする被写体検出装置。
【請求項２】
前記第２算出手段により前記初期値として算出された前記特定の被写体の相対的な姿勢に基づいて、前記座標変換式を解く座標変換手段を更に備えることを特徴とする請求項１に記載の被写体検出装置。
【請求項３】
前記座標変換手段は、更に、前記座標変換式を解いて、前記撮像部に対する前記特定の被写体の相対的な姿勢を表す行列を特定することを特徴とする請求項２に記載の被写体検出装置。
【請求項４】
前記座標変換手段は、更に、前記座標変換式を解いて、前記撮像部に対する前記特定の被写体の相対的な位置関係を表す行列を特定することを特徴とする請求項２又は３に記載の被写体検出装置。
【請求項５】
前記第１算出手段は、更に、前記座標変換手段により前記行列が特定される毎に、当該行列及び前記第２検出手段により検出された前記撮像部の重力方向に対する傾きに基づいて、前記特定の被写体の重力方向に対する傾きを算出することを特徴とする請求項２又は３に記載の被写体検出装置。
【請求項６】
前記第１算出手段は、更に、前記取得手段により画像が取得される毎に、前記特定の被写体の重力方向に対する傾きを算出し、所定回数算出された前記特定の被写体の重力方向に対する傾きに基づいて当該傾きの代表値を算出することを特徴とする請求項１〜５の何れか一項に記載の被写体検出装置。
【請求項７】
被写体検出装置を用いた被写体検出方法であって、
撮像部により撮像された特定の被写体の画像を逐次取得する処理と、
一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する処理と、
検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する処理と、
前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する処理と、
検出された前記撮像部の重力方向に対する傾き、及び前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する処理と、
を含むことを特徴とする被写体検出方法。
【請求項８】
被写体検出装置のコンピュータを、
撮像部により撮像された特定の被写体の画像を逐次取得する取得手段、
前記取得手段により一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第１検出手段、
前記第１検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する第１算出手段、
前記取得手段により前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第２検出手段、
前記第２検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記第１算出手段により算出された前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する第２算出手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体検出装置、被写体検出方法及びプログラムに関する。
【背景技術】
【０００２】
従来、拡張現実（augmented reality：ＡＲ）技術として、撮像された画像におけるマーカー（実オブジェクト）の画像に対応付けて、仮想オブジェクト（例えば、三次元モデル等）を表示させる画像処理装置が知られている（例えば、特許文献１参照）。
この画像処理装置では、撮像されたフレーム画像の画像解析の結果に基づいて、フレーム画像におけるマーカーの画像の傾き（例えば、表示画面内における正視状態からの回転角度等）を検出して、当該マーカーの画像の傾きを初期値として記録しておく。また、画像処理装置は、逐次撮像されるフレーム画像におけるマーカーの傾きと初期値として記録されている傾きとの相対的な差分、具体的には、座標値の差分を算出する。そして、画像処理装置は、算出された座標値の差分から、所定のベクトルに沿うように仮想オブジェクトの画像を傾けて逐次表示させる処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７２６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、三次元空間内のマーカーの各点の座標を所定の座標変換式を用いてフレーム画像内の対応する座標に変換する場合、フレーム画像内のマーカー画像を構成する複数の点の座標データから初期値を設定すると、撮像部に対するマーカーの姿勢や位置関係の推定を適正に行うことができない虞がある。この場合、仮想オブジェクトの表示を適正に行うことができなくなってしまう。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、撮像部に対する特定の被写体の姿勢の推定を適正に行うことができる被写体検出装置、被写体検出方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る被写体検出装置は、
撮像部により撮像された特定の被写体の画像を逐次取得する取得手段と、前記取得手段により一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第１検出手段と、前記第１検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する第１算出手段と、前記取得手段により前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第２検出手段と、前記第２検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記第１算出手段により算出された前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する第２算出手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る被写体検出方法は、
被写体検出装置を用いた被写体検出方法であって、撮像部により撮像された特定の被写体の画像を逐次取得する処理と、一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する処理と、検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する処理と、前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する処理と、検出された前記撮像部の重力方向に対する傾き、及び前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する処理と、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
被写体検出装置のコンピュータを、撮像部により撮像された特定の被写体の画像を逐次取得する取得手段、前記取得手段により一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第１検出手段、前記第１検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する第１算出手段、前記取得手段により前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第２検出手段、前記第２検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記第１算出手段により算出された前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する第２算出手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、撮像部に対する特定の被写体の姿勢の推定を適正に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の携帯端末の概略構成を示すブロック図である。
【図２】図１の携帯端末によるマーカー検出処理に係る動作の一例を示すフローチャートである。
【図３】図１の携帯端末とマーカーとの位置関係を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１２】
図１は、本発明を適用した一実施形態の携帯端末１００の概略構成を示すブロック図である。
図１に示すように、携帯端末１００は、中央制御部１と、メモリ２と、撮像部３と、撮像制御部４と、画像データ生成部５と、傾き検出部６と、マーカー検出処理部７と、表示部８と、表示制御部９と、送受話部１０と、通信制御部１１と、操作入力部１２等を備えている。
なお、携帯端末１００は、例えば、通信機能を具備する撮像装置や、携帯電話やＰＨＳ（Personal Handy-phone System）などの移動体通信網で用いられる移動局、ＰＤＡ（Personal Data Assistants）等から構成されている。
【００１３】
中央制御部１は、携帯端末１００の各部を制御する。具体的には、中央制御部１は、携帯端末１００の各部を制御するＣＰＵ（図示略）を具備し、各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００１４】
メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像情報等を一時的に記録するバッファメモリや、中央制御部１などのワーキングメモリ、当該携帯端末１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）を備えている。
【００１５】
撮像部３は、特定の被写体（例えば、マーカーＭ）を撮像してフレーム画像Ｆ（図３参照）の画像信号を生成する。
ここで、特定の被写体とは、二次元画像であっても良いし、３次元形状の立体であっても良い。例えば、特定の被写体を二次元画像とした場合には、略矩形枠状（額縁状）をなすマーカーＭ等が挙げられる（図３参照）。
【００１６】
また、撮像部３は、レンズ部３ａと、電子撮像部３ｂとを備えている。
レンズ部３ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。
【００１７】
撮像制御部４は、撮像部３による被写体の撮像を制御する。即ち、撮像制御部４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部４は、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部５に出力させる。
また、撮像制御部４は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。
【００１８】
画像データ生成部５は、電子撮像部３ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、画像データ生成部５は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部５は、表示部８によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。
【００１９】
そして、画像データ生成部５は、生成された各フレーム画像ＦのＹＵＶデータをメモリ２に順次出力し、当該メモリ２に格納させる。
【００２０】
傾き検出部６は、撮像部３を具備する当該端末本体の重力軸方向に対する姿勢（傾き）を検出する。具体的には、傾き検出部６は、第１検出部６ａと、第２検出部６ｂとを備えている。
【００２１】
第１検出部（第１検出手段）６ａは、画像取得部７ａ（後述）により第１画像（一の画像）が取得された際の端末本体の重力軸方向に対する第１姿勢Pac0を検出する。
即ち、第１検出部６ａは、例えば、３軸加速度センサ等を備え、この３軸加速度センサによる各軸の検出信号の０Ｈｚの周波数成分に基づいて重力軸方向を特定し、当該重力軸方向に対する各軸の傾きを端末本体の重力軸方向に対する第１姿勢Pac0として検出する。具体的には、第１検出部６ａは、複数のフレーム画像Ｆ、…のうち、マーカーＭの重力軸方向に対する姿勢Pam（後述）の算出に係る第１画像が画像取得部７ａにより取得された際に、端末本体の重力軸方向に対する第１姿勢Pac0を検出する。
ここで、端末本体の重力軸方向に対する第１姿勢Pac0は、具体的には、ｎ行ｍ列の行列（ｎ、ｍは、それぞれ自然数）で表され、例えば、３×３の回転行列等が挙げられる。
【００２２】
第２検出部（第２検出手段）６ｂは、画像取得部７ａ（後述）により第１画像と異なる第２画像（他の画像）が取得された際の端末本体の重力軸方向に対する第２姿勢Pac1を検出する。
この第２検出部６ｂは、第１検出部６ａと略同様の構成をなしている。即ち、第２検出部６ｂは、例えば、３軸加速度センサ等を備え、この３軸加速度センサによる各軸の検出信号の０Ｈｚの周波数成分に基づいて重力軸方向を特定し、当該重力軸方向に対する各軸の傾きを端末本体の重力軸方向に対する第２姿勢Pac1として検出する。具体的には、第２検出部６ｂは、複数のフレーム画像Ｆ、…のうち、端末本体に対するマーカーＭの相対的な姿勢Prm1（後述）の算出に係る第２画像が画像取得部７ａにより取得された際に、端末本体の重力軸方向に対する第２姿勢Pac1を検出する。
ここで、端末本体の重力軸方向に対する第２姿勢Pac1は、具体的には、ｎ行ｍ列の行列（ｎ、ｍは、それぞれ自然数）で表され、例えば、３×３の回転行列等が挙げられる。
【００２３】
なお、上記した３軸加速度センサによる重力軸方向の検出手法や、第１検出部６ａ及び第２検出部６ｂによる端末本体の重力軸方向に対する姿勢Pac0、Pac1の検出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、撮像部３を具備する当該端末本体の重力軸方向に対する傾き（姿勢）を検出するようにしたが、一例であってこれに限られるものではなく、撮像部３自体の重力軸方向に対する傾きを検出するようにしても良い。また、撮像部３に代えて、所定の部材や要素（例えば、光軸の延長線上に設けられた液晶パネル等）の重力軸方向に対する傾きを検出するようにしても良い。
【００２４】
マーカー検出処理部７は、画像取得部７ａと、第１算出部７ｂと、第２算出部７ｃと、座標変換部７ｄと、画像生成部７ｅを具備している。
なお、マーカー検出処理部７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２５】
画像取得部７ａは、複数のフレーム画像Ｆ、…を逐次取得する。
即ち、画像取得部（第１取得手段）７ａは、マーカー（特定の被写体）Ｍが連続して撮像された複数の画像を逐次取得する。具体的には、画像取得部７ａは、撮像部３によりマーカーＭが連続して撮像されて画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…の所定の解像度の画像データをメモリ２から逐次取得する。
【００２６】
第１算出部７ｂは、マーカーＭの重力軸方向に対する姿勢Pamを算出する。
即ち、第１算出部（第１算出手段）７ｂは、第１検出部６ａにより検出された端末本体の重力軸方向に対する第１姿勢Pac0、及び第１画像（一の画像）に含まれるマーカー画像（特定の被写体画像）Ｓを構成する複数の点と関連付けられた端末本体（撮像部３）に対するマーカーＭの仮の姿勢Prm0に基づいて、マーカーＭの重力軸方向に対する姿勢（傾き）Pamを算出する。
具体的には、第１算出部７ｂは、画像取得部７ａにより取得された複数のフレーム画像Ｆ、…のうちの一の第１画像の画像データに対して所定の特徴抽出処理を行って、当該第１画像内から略矩形枠状のマーカー画像Ｓを抽出する。
続けて、第１算出部７ｂは、マーカー画像Ｓを構成する複数の点（例えば、４隅の点等）を検出し、当該複数の点に基づいて端末本体に対するマーカーＭの仮の姿勢Prm0を特定する。例えば、第１算出部７ｂは、所定の記録手段に記録されているデータベース（図示略）等を参照して、マーカー画像Ｓの４隅の点と幾何学的な位置関係を有する端末本体に対するマーカーＭの仮の姿勢Prm0を特定する。
そして、第１算出部７ｂは、特定された端末本体に対するマーカーＭの仮の姿勢Prm0と、第１検出部６ａにより検出された端末本体の重力軸方向に対する第１姿勢Pac0とに基づいて、下記式（１）に従って、マーカーＭの重力軸方向に対する姿勢Pamを算出する。
【数１】
2014030093.tif 000003
ここで、端末本体に対するマーカーＭの仮の姿勢Prm0及びマーカーＭの重力軸方向に対する姿勢Pamは、具体的には、ｎ行ｍ列の行列（ｎ、ｍは、それぞれ自然数）で表され、例えば、３×３の回転行列等が挙げられる。
【００２７】
また、第１算出部７ｂは、画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…が画像取得部７ａにより取得される毎に、各フレーム画像Ｆを第１画像としてマーカーＭの重力軸方向に対する姿勢Pamを算出する。そして、第１算出部７ｂは、所定回数算出されたマーカーＭの重力軸方向に対する姿勢Pamに基づいて、当該姿勢Pamの代表値（例えば、平均値や中央値等）を算出しても良い。具体的には、第１算出部７ｂは、例えば、マーカーＭの重力軸方向に対する姿勢Pamの所定回数分を平均して、その結果をマーカーＭの重力軸方向に対する姿勢Pamの代表値とする。
なお、マーカーＭの重力軸方向に対する姿勢Pamを算出する回数は、適宜任意に変更可能であり、例えば、予め指定されたユーザ所望の値であっても良いし、デフォルトとして設定されている値であっても良い。
【００２８】
また、第１算出部７ｂは、座標変換部７ｄにより端末本体に対するマーカーＭの相対的な姿勢や位置関係を表す行列Ｒ、Ｔ（後述）が特定される毎に、マーカーＭの重力軸方向に対する姿勢Pamを算出しても良い。即ち、第１算出部７ｂは、座標変換部７ｄにより逐次特定された端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒを端末本体に対するマーカーＭの相対的な姿勢Prm1とし、当該姿勢Prm1と第２検出部６ｂにより検出された端末本体の重力軸方向に対する第２姿勢Pac1とに基づいて、上記式（１）と略同様の所定の演算を行って、マーカーＭの重力軸方向に対する姿勢Pamを算出して更新しても良い。
【００２９】
第２算出部７ｃは、端末本体に対するマーカーＭの相対的な姿勢Prm1を算出する。
即ち、第２算出部（第２算出手段）７ｃは、第２検出部６ｂにより検出された端末本体の重力軸方向に対する第２姿勢Pac1、及び第１算出部７ｂにより算出されたマーカーＭの重力軸方向に対する姿勢Pamに基づいて、当該マーカーＭの各点の三次元空間での座標を第２画像（他の画像）内の対応する二次元の平面座標に変換する座標変換式（例えば、式（３）参照；後述）の初期値として、端末本体（撮像部３）に対するマーカーＭの相対的な姿勢Prm1を算出する。
具体的には、第２検出部６ｂにより端末本体の重力軸方向に対する第２姿勢Pac1が検出される毎に、第２算出部７ｃは、検出された端末本体の重力軸方向に対する第２姿勢Pac1及びマーカーＭの重力軸方向に対する姿勢Pamに基づいて、下記式（２）に従って、端末本体に対するマーカーＭの相対的な姿勢Prm1を算出する。算出された端末本体に対するマーカーＭの相対的な姿勢Prm1は、後述する座標変換式中の端末本体に対するマーカーＭの相対的な姿勢Ｒの初期値となる。
【数２】
2014030093.tif 000004
ここで、端末本体に対するマーカーＭの相対的な姿勢Prm1は、具体的には、ｎ行ｍ列の行列（ｎ、ｍは、それぞれ自然数）で表され、例えば、３×３の回転行列等が挙げられる。
【００３０】
座標変換部７ｄは、マーカーＭの各点の三次元空間での座標を第２画像内の対応する二次元の平面座標に変換する。
即ち、座標変換部（座標変換手段）７ｄは、第２算出部７ｃにより初期値として算出された端末本体に対するマーカーＭの相対的な姿勢Prm1に基づいて、下記式（３）の座標変換式を解く。具体的には、座標変換部７ｄは、端末本体に対するマーカーＭの相対的な姿勢Prm1を端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒの初期値として、端末本体に対するマーカーＭの相対的な姿勢及び位置関係を表す行列Ｒ、Ｔをバンドル調整（bundle adjustment）により推定して特定する。
ここで、バンドル調整とは、画像から幾何学的なモデルのパラメータを高い推定精度の達成を目指して推定する手法であり、例えば、未知のパラメータの再投影誤差の合計を最小化するような手法等が用いられる。
【数３】
2014030093.tif 000005
なお、式（３）の座標変換式は、同次座標変換行列である。また、当該式（３）中、「Ｘｗ」、「Ｙｗ」及び「Ｚｗ」は、互いに直交するＸ軸、Ｙ軸及びＺ軸により規定される三次元空間でのマーカーＭを構成する各点の座標位置を表し、「ｘｉ」及び「ｙｉ」は、Ｘ軸及びＹ軸により規定される二次元平面である第２画像内でマーカーＭの各点の対応する座標位置を表している。
また、端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒは、具体的には、ｎ行ｍ列の行列（ｎ、ｍは、それぞれ自然数）で表され、例えば、３×３の回転行列等が挙げられる。また、端末本体に対するマーカーＭの相対的な位置関係を表す行列Ｔは、具体的には、ｎ行ｍ列の行列（ｎ、ｍは、それぞれ自然数）で表され、例えば、１×３の並進ベクトル等が挙げられる。
また、式（３）中の「Ｃ」は、撮像部３の焦点距離等の内部パラメータを表し、「ｈ」は、第２画像のスケールを表している。
【００３１】
画像生成部７ｅは、画像取得部７ａにより取得された複数のフレーム画像Ｆ、…のうちの第２画像中に、マーカー画像Ｓと対応する仮想オブジェクト（例えば、三次元モデル等；図示略）を重畳させた仮想画像（図示略）を生成する。
具体的には、例えば、ライブビュー画像等が第２画像として逐次取得される毎に、画像生成部７ｅは、座標変換部７ｄにより特定された端末本体に対するマーカーＭの相対的な姿勢及び位置関係に基づいて、ライブビュー画像内での当該マーカー画像Ｓの姿勢や位置を調整し、当該マーカー画像Ｓと対応する仮想オブジェクトを所定の記録手段から取得して、仮想画像の画像データを生成する。そして、画像生成部７ｅは、生成された各仮想画像の画像データをメモリ２に順次出力し、当該メモリ２に格納させる。
なお、画像生成部７ｅにより生成された仮想画像の画像データは、例えば、所定の圧縮形式（例えば、ＪＰＥＧ形式等）で符号化され、不揮発性メモリ（フラッシュメモリ）等の記録媒体（図示略）に記録されても良い。
【００３２】
表示部８は、例えば、液晶表示パネルから構成され、表示制御部９からのビデオ信号に基づいて撮像部３により撮像された画像（例えば、レックビュー画像等）を表示画面に表示する。
【００３３】
表示制御部９は、メモリ２に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１の制御下にてメモリ２から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
例えば、表示制御部９は、撮像部３及び撮像制御部４により撮像され画像データ生成部５により生成された複数のフレーム画像Ｆ、…を所定の表示フレームレートで逐次更新しながら表示部８にライブビュー表示させる。また、表示制御部９は、例えば、メモリ２から仮想画像の画像データを逐次取得して、当該仮想画像を表示部８に逐次ライブビュー表示させる。
【００３４】
送受話部１０は、通信ネットワークＮを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部１０は、マイク１０ａ、スピーカ１０ｂ、データ変換部１０ｃ等を備えている。そして、送受話部１０は、マイク１０ａから入力されるユーザの送話音声をデータ変換部１０ｃによりＡ／Ｄ変換処理して送話音声データを中央制御部１に出力するとともに、中央制御部１の制御下にて、通信制御部１１から出力されて入力される受話音声データ等の音声データをデータ変換部１０ｃによりＤ／Ａ変換処理してスピーカ１０ｂから出力する。
【００３５】
通信制御部１１は、通信ネットワークＮ及び通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信アンテナ１１ａは、当該携帯端末１００が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access)方式、ＧＳＭ（Global System for Mobile Communications；登録商標）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信制御部１１は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信制御部１１は、中央制御部１から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部１１の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークＮにアクセス可能な構成としても良い。
【００３６】
なお、通信ネットワークＮは、携帯端末１００を無線基地局やゲートウェイサーバ（図示略）等を介して接続する通信ネットワークである。また、通信ネットワークＮは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
【００３７】
操作入力部１２は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１２は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部１２から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像、電話の発着信、電子メールの送受信等）を各部に実行させる。
【００３８】
なお、操作入力部１２は、表示部８と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部１に出力しても良い。
【００３９】
次に、携帯端末１００によるマーカー検出処理について図２、図３を参照して説明する。
図２は、マーカー検出処理に係る動作の一例を示すフローチャートである。また、図３は、携帯端末１００とマーカーＭとの位置関係を模式的に示す図である。
なお、以下のマーカー検出処理にて検出されるマーカーＭは、予め所定位置に移動不可の状態で配設（固定）されているものとする。
【００４０】
図２に示すように、先ず、撮像制御部４は、撮像部３にマーカーＭを撮像させ、画像データ生成部５は、電子撮像部３ｂから転送された複数のフレーム画像Ｆ、…の画像データを生成する（ステップＳ１）。そして、画像データ生成部５は、生成された各フレーム画像ＦのＹＵＶデータをメモリ２に順次出力し、当該メモリ２に格納させる。
【００４１】
マーカー検出処理部７の画像取得部７ａは、画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…のうち、何れか一の第１画像の画像データをメモリ２から逐次取得する（ステップＳ２）。そして、傾き検出部６の第１検出部６ａは、第１画像の画像データが取得された際の端末本体の重力軸方向に対する第１姿勢Pac0を検出する（ステップＳ３）。具体的には、第１検出部６ａは、３軸加速度センサによる各軸の検出信号に基づいて特定された重力軸方向に対する各軸の傾きを端末本体の重力軸方向に対する第１姿勢Pac0として検出する。
【００４２】
次に、マーカー検出処理部７の第１算出部７ｂは、画像取得部７ａにより取得された第１画像の画像データに対して所定の特徴抽出処理を行って、当該第１画像内からマーカー画像Ｓを抽出する（ステップＳ４）。続けて、第１算出部７ｂは、マーカー画像Ｓの４隅の点と幾何学的な位置関係を有する端末本体に対するマーカーＭの仮の姿勢Prm0を特定した後（ステップＳ５）、当該端末本体に対するマーカーＭの仮の姿勢Prm0と端末本体の重力軸方向に対する第１姿勢Pac0とに基づいて、下記式（１）に従って、マーカーＭの重力軸方向に対する姿勢Pamを算出する（ステップＳ６）。
【数４】
2014030093.tif 000006
【００４３】
次に、第１算出部７ｂは、マーカーＭの重力軸方向に対する姿勢Pamが所定回数算出されたか否かを判定する（ステップＳ７）。
ここで、マーカーＭの重力軸方向に対する姿勢Pamが所定回数算出されていないと判定されると（ステップＳ７；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ２に戻し、それ以降の各処理を実行させる。
即ち、ステップＳ２〜Ｓ６の各処理は、ステップＳ７にて、マーカーＭの重力軸方向に対する姿勢Pamが所定回数算出されたと判定（ステップＳ７；ＹＥＳ）されるまで繰り返し行われる。
【００４４】
ステップＳ７にて、マーカーＭの重力軸方向に対する姿勢Pamが所定回数算出されたと判定されると（ステップＳ７；ＹＥＳ）、第１算出部７ｂは、マーカーＭの重力軸方向に対する姿勢Pamの所定回数分を平均して、その結果をマーカーＭの重力軸方向に対する姿勢Pamの代表値として算出する（ステップＳ８）。
【００４５】
次に、画像取得部７ａは、画像データ生成部５により生成された複数のフレーム画像Ｆ、…のうち、第２画像の画像データをメモリ２から取得する（ステップＳ９）。そして、傾き検出部６の第２検出部６ｂは、第２画像の画像データが取得された際の端末本体の重力軸方向に対する第２姿勢Pac1を検出する（ステップＳ１０）。なお、第２検出部６ｂによる処理内容は、第１検出部６ａによる処理内容と略同様であり、その説明を省略する。
【００４６】
次に、第２算出部７ｃは、第２検出部６ｂにより検出された端末本体の重力軸方向に対する第２姿勢Pac1、及び第１算出部７ｂにより算出されたマーカーＭの重力軸方向に対する姿勢Pamの代表値に基づいて、下記式（２）に従って、端末本体に対するマーカーＭの相対的な姿勢Prm1を算出する（ステップＳ１１）。
【数５】
2014030093.tif 000007
【００４７】
次に、座標変換部７ｄは、第２算出部７ｃにより算出された端末本体に対するマーカーＭの相対的な姿勢Prm1を端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒの初期値として、下記式（３）に従って、端末本体に対するマーカーＭの相対的な姿勢及び位置関係を表す行列Ｒ、Ｔをバンドル調整（bundle adjustment）により推定して特定する（ステップＳ１２）。
【数６】
2014030093.tif 000008
これにより、座標変換部７ｄにより特定された端末本体に対するマーカーＭの相対的な姿勢及び位置関係に基づいて、第２画像内での当該マーカー画像Ｓの姿勢や位置が調整される。
【００４８】
その後、第１算出部７ｂは、座標変換部７ｄにより特定された端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒを端末本体に対するマーカーＭの相対的な姿勢Prm1とし、当該姿勢Prm1と端末本体の重力軸方向に対する第２姿勢Pac1とに基づいて、マーカーＭの重力軸方向に対する姿勢Pamを算出して更新する（ステップＳ１３）。
そして、画像生成部７ｅは、第２画像中にマーカー画像Ｓと対応する仮想オブジェクトを重畳させた仮想画像の画像データを生成し、表示制御部９は、当該仮想画像を表示部８にライブビュー表示させる（ステップＳ１４）。
【００４９】
上記ステップＳ９〜Ｓ１４の各処理は、ステップＳ９にて第２画像が取得される毎に繰り返し実行される。
【００５０】
以上のように、本実施形態の携帯端末１００によれば、第１画像が取得された際の撮像部３（端末本体）の重力軸方向に対する傾き（第１姿勢Pac0）、及びマーカー画像Ｓを構成する複数の点と関連付けられた撮像部３に対するマーカーＭの仮の姿勢（仮の姿勢Prm0）に基づいて、マーカーＭの重力軸方向に対する傾き（姿勢Pam）を算出し、算出されたマーカーＭの重力軸方向に対する傾き、及び第２画像が取得された際の撮像部３の重力軸方向に対する傾き（第２姿勢Pac1）に基づいて、当該マーカーＭの各点の三次元の空間座標を第２画像内の二次元の平面座標に変換する座標変換式の初期値として、撮像部３に対するマーカーＭの相対的な姿勢（姿勢Prm1）を算出するので、座標変換式の初期値として適正な値を用いることができ、撮像部３に対するマーカーＭの姿勢の推定を適正に行うことができる。
【００５１】
即ち、例えば、三次元空間内のマーカーＭの各点の座標を所定の座標変換式を用いて第２画像内の対応する二次元空間の座標に変換する場合、適当な値を初期値として再投影誤差を最小にするように撮像部３に対するマーカーＭの姿勢や位置関係を推定する必要があるが、座標変換式の初期値として設定される値によっては、撮像部３に対するマーカーＭの姿勢や位置関係の推定を適正に行うことができず、マーカーＭに対応する仮想オブジェクトの表示を適正に行うことができなくなる虞がある。
そこで、第１画像が取得された際の撮像部３の重力軸方向に対する傾きを利用してマーカーＭの重力軸方向に対する傾き（姿勢Pam）を予め算出し、当該マーカーＭの重力軸方向に対する傾きを利用して撮像部３に対するマーカーＭの相対的な姿勢（姿勢Prm1）を算出することで、当該撮像部３に対するマーカーＭの相対的な姿勢を座標変換式の初期値として用いることができる。そして、座標変換式の初期値を適正な値として当該座標変換式を解くことで、撮像部３に対するマーカーＭの姿勢を推定することができる。具体的には、座標変換式を解いて、撮像部３に対するマーカーＭの相対的な姿勢を表す行列Ｒや撮像部３に対するマーカーＭの相対的な位置関係を表す行列Ｔを特定することができる。
このように、マーカーＭの重力軸方向に対する傾きを考慮することで、座標変換式の初期値をより適正な値に設定することができ、撮像部３に対するマーカーＭの姿勢の推定を適正に行うことができる。結果として、マーカーＭに対応する仮想オブジェクトの表示を適正に行うことができる。
【００５２】
また、撮像部３に対するマーカーＭの相対的な姿勢を表す行列Ｒや撮像部３に対するマーカーＭの相対的な位置関係を表す行列Ｔが特定される毎に、当該行列及び撮像部３の重力軸方向に対する傾き（第２姿勢Pac1）に基づいて、マーカーＭの重力軸方向に対する傾き（姿勢Pam）を算出するので、当該マーカーＭの重力軸方向に対する傾きを利用して撮像部３に対するマーカーＭの相対的な姿勢（姿勢Prm1）を逐次算出することができる。即ち、例えば、手ぶれや撮像位置の変位等により第２画像を取得する際の撮像部３の重力軸方向に対する傾きが変化しても、当該傾きの変化に対応させてマーカーＭの重力軸方向に対する傾きを更新することができ、撮像部３に対するマーカーＭの相対的な姿勢を更新することができる。
【００５３】
また、所定回数算出されたマーカーＭの重力軸方向に対する傾き（姿勢Pam）に基づいて当該傾きの代表値を算出するので、第１画像に含まれるマーカー画像Ｓの検出誤差等により撮像部３に対するマーカーＭの仮の姿勢（Prm0）の検出誤差が生じる虞があっても、マーカーＭの重力軸方向に対する傾きの代表値を求めることで、マーカーＭの重力軸方向に対する姿勢Pamとしてより適正な値を用いて撮像部３に対するマーカーＭの相対的な姿勢（姿勢Prm1）を算出することができる。
【００５４】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、座標変換式を解くことで端末本体（撮像部３）に対するマーカーＭの相対的な姿勢を表す行列Ｒを特定するようにしたが、端末本体に対するマーカーＭの相対的な姿勢の一例であって一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、座標変換式を解くことで端末本体に対するマーカーＭの相対的な位置関係を表す行列Ｔを特定するようにしたが、必ずしも当該端末本体に対するマーカーＭの相対的な位置関係を特定する必要はない。
【００５５】
また、端末本体に対するマーカーＭの相対的な姿勢（姿勢Prm1）を算出する際に、予めマーカーＭの一面が上下左右の何れの方向を向いているかを指定しておき、所定の値を初期値として座標変換式を解いた結果、指定済みの方向と異なる方向を向いているか否かを判定して、その判定結果を初期値に反映させるようにしても良い。
例えば、予めマーカーＭの一面の法線方向が下向きと指定した場合に、バンドル調整の結果推定された端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒの所定の要素（例えば、２行目、３列目の要素）の符号を確認することで方向が異なるか否か、即ち、マーカーＭが下向きか上向きかを判定する。ここで、マーカーＭが指定済みの方向と異なる方向を向いている（マーカーＭが上向き）と判定された場合には、端末本体の所定位置とマーカーＭの中心を通る軸とマーカーの一面の法線ベクトルの外積を算出し、マーカーＭの一面の向きに合わせるように、算出された外積を軸として行列Ｒを回転させて修正する。その後、修正後の行列Ｒを用いて座標変換式を解いて、端末本体に対するマーカーＭの相対的な姿勢を表す行列Ｒの推定を再度行う。
【００５６】
さらに、携帯端末１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではなく、少なくとも取得手段、第１検出手段、第１算出手段、第２検出手段、第２算出手段を備える構成であれば適宜任意に変更することができる。即ち、携帯端末１００は、必ずしも撮像部３を具備する必要はなく、外部の撮像装置により撮像された画像を取得して、特定の被写体（マーカーＭ）を検出する処理を行うようにしても良い。
【００５７】
加えて、上記実施形態にあっては、取得手段、第１検出手段、第１算出手段、第２検出手段、第２算出手段としての機能を、携帯端末１００の中央制御部１の制御下にて、画像取得部７ａ、第１検出部６ａ、第１算出部７ｂ、第２検出部６ｂ、第２算出部７ｃが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリに、取得処理ルーチン、第１検出処理ルーチン、第１算出処理ルーチン、第２検出処理ルーチン、第２算出処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、撮像部３により撮像された特定の被写体の画像を逐次取得する手段として機能させるようにしても良い。また、第１検出処理ルーチンにより中央制御部１のＣＰＵを、一の画像が取得された際の撮像部３の重力方向に対する傾きを検出する手段として機能させるようにしても良い。また、第１算出処理ルーチンにより中央制御部１のＣＰＵを、検出された撮像部３の重力方向に対する傾き、及び一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた撮像部３に対する特定の被写体の仮の姿勢に基づいて、特定の被写体の重力方向に対する傾きを算出する手段として機能させるようにしても良い。また、第２検出処理ルーチンにより中央制御部１のＣＰＵを、取得手段により一の画像と異なる他の画像が取得された際の撮像部３の重力方向に対する傾きを検出する手段として機能させるようにしても良い。また、第２算出処理ルーチンにより中央制御部１のＣＰＵを、第２検出手段により検出された撮像部３の重力方向に対する傾き、及び第１算出手段により算出された特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を他の画像内の平面座標に変換する座標変換式の初期値として、撮像部３に対する特定の被写体の相対的な姿勢を算出する手段として機能させるようにしても良い。
【００５８】
同様に、座標変換手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００５９】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００６０】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
撮像部により撮像された特定の被写体の画像を逐次取得する取得手段と、
前記取得手段により一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第１検出手段と、
前記第１検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する第１算出手段と、
前記取得手段により前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第２検出手段と、
前記第２検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記第１算出手段により算出された前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する第２算出手段と、
を備えたことを特徴とする被写体検出装置。
＜請求項２＞
前記第２算出手段により前記初期値として算出された前記特定の被写体の相対的な姿勢に基づいて、前記座標変換式を解く座標変換手段を更に備えることを特徴とする請求項１に記載の被写体検出装置。
＜請求項３＞
前記座標変換手段は、更に、前記座標変換式を解いて、前記撮像部に対する前記特定の被写体の相対的な姿勢を表す行列を特定することを特徴とする請求項２に記載の被写体検出装置。
＜請求項４＞
前記座標変換手段は、更に、前記座標変換式を解いて、前記撮像部に対する前記特定の被写体の相対的な位置関係を表す行列を特定することを特徴とする請求項２又は３に記載の被写体検出装置。
＜請求項５＞
前記第１算出手段は、更に、前記座標変換手段により前記行列が特定される毎に、当該行列及び前記第２検出手段により検出された前記撮像部の重力方向に対する傾きに基づいて、前記特定の被写体の重力方向に対する傾きを算出することを特徴とする請求項２又は３に記載の被写体検出装置。
＜請求項６＞
前記第１算出手段は、更に、前記取得手段により画像が取得される毎に、前記特定の被写体の重力方向に対する傾きを算出し、所定回数算出された前記特定の被写体の重力方向に対する傾きに基づいて当該傾きの代表値を算出することを特徴とする請求項１〜５の何れか一項に記載の被写体検出装置。
＜請求項７＞
被写体検出装置を用いた被写体検出方法であって、
撮像部により撮像された特定の被写体の画像を逐次取得する処理と、
一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する処理と、
検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する処理と、
前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する処理と、
検出された前記撮像部の重力方向に対する傾き、及び前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する処理と、
を含むことを特徴とする被写体検出方法。
＜請求項８＞
被写体検出装置のコンピュータを、
撮像部により撮像された特定の被写体の画像を逐次取得する取得手段、
前記取得手段により一の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第１検出手段、
前記第１検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記一の画像に含まれる特定の被写体画像を構成する複数の点と関連付けられた前記撮像部に対する前記特定の被写体の仮の姿勢に基づいて、前記特定の被写体の重力方向に対する傾きを算出する第１算出手段、
前記取得手段により前記一の画像と異なる他の画像が取得された際の前記撮像部の重力方向に対する傾きを検出する第２検出手段、
前記第２検出手段により検出された前記撮像部の重力方向に対する傾き、及び前記第１算出手段により算出された前記特定の被写体の重力方向に対する傾きに基づいて、当該特定の被写体の各点の空間座標を前記他の画像内の平面座標に変換する座標変換式の初期値として、前記撮像部に対する前記特定の被写体の相対的な姿勢を算出する第２算出手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００６１】
１００  携帯端末
１      中央制御部
３      撮像部
６      傾き検出部
６ａ    第１検出部
６ｂ    第２検出部
７      マーカー検出処理部
７ａ    画像取得部
７ｂ    第１算出部
７ｃ    第２算出部
７ｄ    座標変換部
【図１】
2014030093.tif 000009
【図２】
2014030093.tif 000010
【図３】
2014030093.tif 000011