(57)【要約】  本開示は、画像処理における演算負荷を抑制することができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。粗検出用成分検出部は、画像に映されている複数のマーカーを検出する。マーカー選択部は、粗検出用成分検出部により検出された複数のマーカーの中から、所定数のマーカーを選択する。詳細検出用成分検出部は、マーカー選択部により選択された所定数のマーカーを、粗検出用成分検出部よりも詳細に検出する。推定処理部は、詳細検出用成分検出部による検出結果に基づいて、マーカーの位置および姿勢を推定する。本技術は、例えば、カメラで撮影した人物の背景に、別の背景画像を合成する画像処理装置に適用できる。
2014069247.tif 000002
【特許請求の範囲】
【請求項１】
画像に映されている複数のマーカーを検出する第１の検出部と、
前記第１の検出部により検出された複数の前記マーカーの中から、所定数の前記マーカーを選択する選択部と、
前記選択部により選択された所定数の前記マーカーを、前記第１の検出部より詳細に検出する第２の検出部と、
前記第２の検出部による検出結果に基づいて、前記マーカーの位置および姿勢を推定する推定部と
を備える画像処理装置。
【請求項２】
前記推定部により推定された前記マーカーの位置および姿勢に基づいて、前記画像に映されている被写体の背景となる背景画像を合成する画像合成部
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記マーカーが、前記第１の検出部による検出に利用される第１の検出成分と、前記第２の検出部による検出に利用される第２の検出成分との両方を有する
請求項２に記載の画像処理装置。
【請求項４】
前記第２の検出部の処理負荷と前記画像処理装置自身の演算能力および処理速度に基づいて前記第２の検出部による検出処理の対象とする前記マーカーの所定数が予め決定されており、
前記選択部は、前記画像における前記マーカーの配置に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
請求項３に記載の画像処理装置。
【請求項５】
前記選択部は、
前記第２の検出部による検出処理の対象とする前記マーカーの所定数が２つである場合、最も距離の遠くなる前記マーカーを選択し、
前記第２の検出部による検出処理の対象とする前記マーカーの所定数が３つ以上である場合、選択した前記マーカーを頂点とする多角形の面積が最大となるように前記マーカーを選択する
請求項４に記載の画像処理装置。
【請求項６】
前記第２の検出部は、前記マーカーを検出した検出結果として、前記マーカーが有する前記第２の検出成分における複数の特定点についての前記画像上の座標と前記マーカーの元となる画像であるマーカー元画像上の座標との対応関係を算出し、
前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
請求項４に記載の画像処理装置。
【請求項７】
前記第２の検出部は、前記マーカーを検出した検出結果として、前記画像に映されている前記マーカーを正面から映されたように補正した画像と、前記マーカーの元となる画像であるマーカー元画像上の座標との関係を表現する第１の行列を算出し、
前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
請求項４に記載の画像処理装置。
【請求項８】
前記第１の検出成分には、個々の前記マーカーを識別するための識別情報が埋め込まれている
請求項３に記載の画像処理装置。
【請求項９】
複数の前記マーカーには、前記画像内の空間に対して固定されている前記マーカーと前記画像内の空間に対して固定されていない前記マーカーとがあり、前記識別情報により、前記マーカーの種別が識別可能である
請求項８に記載の画像処理装置。
【請求項１０】
前記選択部は、前記識別情報により識別される前記マーカーの種別に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
請求項９に記載の画像処理装置。
【請求項１１】
前記画像内の空間に対して固定されている前記マーカーに対する前記第２の検出部による検出結果に基づいて、前記画像上の座標と、前記画像内の空間に対して固定されている前記マーカーが規定する前記空間内の座標との対応関係を算出する算出部をさらに備え、
前記推定部は、前記第２の検出部による検出結果、および、前記算出部により算出された対応関係に基づいて、前記画像内の空間に対して固定されていない前記マーカーの姿勢を推定する
請求項１０に記載の画像処理装置。
【請求項１２】
前記マーカーは、前記第２の検出成分である自然画像の四隅に前記第１の検出成分である２次元コードが配置されることにより構成される
請求項３に記載の画像処理装置。
【請求項１３】
前記マーカーは、前記第２の検出成分である自然画像が前記第１の検出成分である２次元コードにより変調されることにより構成される
請求項３に記載の画像処理装置。
【請求項１４】
前記マーカーは、前記第２の検出成分が前記被写体の背景と同色を基本とした色で形成される
請求項３に記載の画像処理装置。
【請求項１５】
前記マーカーに従って仮想オブジェクトを合成する場合、前記マーカーは、前記第２の検出成分が多色で形成される
請求項３に記載の画像処理装置。
【請求項１６】
前記マーカーは、前記第１の検出成分に色差成分が割り当てられ、前記第２の検出成分に輝度成分が割り当てられて形成される
請求項３に記載の画像処理装置。
【請求項１７】
画像に映されている複数のマーカーを検出し、
検出された複数の前記マーカーの中から、所定数の前記マーカーを選択し、
選択された所定数の前記マーカーを、より詳細に検出し、
その検出結果に基づいて、前記マーカーの位置および姿勢を推定する
ステップを含む画像処理方法。
【請求項１８】
画像に映されている複数のマーカーを検出し、
検出された複数の前記マーカーの中から、所定数の前記マーカーを選択し、
選択された所定数の前記マーカーを、より詳細に検出し、
その検出結果に基づいて、前記マーカーの位置および姿勢を推定する
ステップを含む画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、画像処理における演算負荷を抑制することができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、既知のマーカーをカメラで撮影した画像を解析して、画像上のマーカーの位置および姿勢を推定するとともに、マーカーとカメラとの相対的な位置および姿勢を求める技術が開発されている。【０００３】
ところで、カメラとマーカーとの距離が遠いために画像に映されるマーカーが小さくなったり、カメラを移動または回転させたときにマーカーが画角から外れてしまったりすることがある。このため、複数のマーカーを配置し、カメラの画角内でマーカーが比較的に大きめに撮影されるような工夫が施される。【０００４】
例えば、特許文献１には、単一のマーカー内に幾何学的な特徴を配することにより、単一のマーカーのみでマーカーとカメラとの相対的な位置および姿勢を推定可能とし、複数のマーカーの画像上の位置によるマーカーとカメラとの相対的な位置および姿勢の推定結果と、単一のマーカーによるマーカーとカメラとの相対的な位置および姿勢の推定結果とを、画像内に映るマーカーの状況に応じて切り替える技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−９０１１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、固定カメラを設置する場合のキャリブレーションなど、カメラの位置や姿勢の変化が少ない場合には、マーカーを適切な位置に配置することでマーカー数の増大をある程度抑えることが可能である。しかしながら、カメラを自由に動かすような場合には、撮影範囲内に比較的密にマーカーを配置する必要がある。特に、推定されたマーカーとカメラの相対的な位置および姿勢を用いて、コンピュータグラフィックなどを違和感なく実写映像に重畳する場合には高精度な推定結果が必要となる。このように複数のマーカーに対する推定処理の高精度化に伴って演算負荷が上昇してしまうことになり、推定処理装置の演算資源を考慮すると、演算負荷を抑制することが必要である。【０００７】
本開示は、このような状況に鑑みてなされたものであり、画像処理における演算負荷を抑制することができるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の画像処理装置は、画像に映されている複数のマーカーを検出する第１の検出部と、前記第１の検出部により検出された複数の前記マーカーの中から、所定数の前記マーカーを選択する選択部と、前記選択部により選択された所定数の前記マーカーを、前記第１の検出部より詳細に検出する第２の検出部と、前記第２の検出部による検出結果に基づいて、前記マーカーの位置および姿勢を推定する推定部とを備える。【０００９】
本開示の一側面の画像処理方法またはプログラムは、画像に映されている複数のマーカーを検出し、検出された複数の前記マーカーの中から、所定数の前記マーカーを選択し、選択された所定数の前記マーカーを、より詳細に検出し、その検出結果に基づいて、前記マーカーの位置および姿勢を推定するステップを含む。【００１０】
本開示の一側面においては、画像に映されている複数のマーカーが検出され、それらの複数のマーカーの中から、所定数のマーカーが選択され、所定数のマーカーが、より詳細に検出されて、その検出結果に基づいて、マーカーの位置および姿勢が推定される。
【発明の効果】
【００１１】
本開示の一側面によれば、画像処理における演算負荷を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】カメラで撮影した人物の背景に、別の背景画像を合成する画像処理について説明する図である。
【図２】本技術を適用した画像処理システムの第１の実施の形態の構成例を示すブロック図である。
【図３】画像処理システムにおいて使用されるマーカーの一例を示す図である。
【図４】マーカーの概略補正およびマッチングについて説明する図である。
【図５】マーカーの変形例を示す図である。
【図６】マーカー位置推定処理を説明するフローチャートである。
【図７】詳細検出の対象として選択する所定数のマーカーについて説明する図である。
【図８】手持ちボードのためのクロマキー撮影状況について説明する図である。
【図９】本技術を適用した画像処理システムの第２の実施の形態の構成例を示すブロック図である。
【図１０】マーカー位置推定処理を説明するフローチャートである。
【図１１】詳細検出の対象として選択する所定数のマーカーについて説明する図である。
【図１２】実空間に仮想オブジェクトを配置するためのマーカー配置について説明する図である。
【図１３】マーカーの変形例を示す図である。
【図１４】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１４】
まず、図１を参照して、カメラで撮影した人物の背景に、別の背景画像を合成する画像処理について説明する。
【００１５】
一般的に、カメラが固定されている場合には、いわゆるブルーバックの背景で人物の撮影を行い、クロマキー処理を行うことによって、カメラで撮影された映像のブルーバック部分を背景画像に置き換える画像処理が行われる。一方、カメラが移動または回転する場合には、カメラの移動または回転に応じて背景画像を変化させる必要がある。このため、カメラの移動および方向の変化を取得して、その変化に合わせて映像のブルーバック部分を背景画像に置き換える画像処理が行われる。しかしながら、カメラの移動および方向の変化量を検出可能なセンサーをカメラに取り付け、そのセンサーの出力に従って背景画像を置き換えるようなシステムは、高価なものになると想定される。
【００１６】
そこで、図１に示すように、ブルーバックの背景にマーカーと呼ばれる標を配置して撮影することで、画像処理によってカメラの移動および方向の変化量を推定し、その変化に合わせて映像のブルーバック部分を背景画像に置き換える画像処理が提案されている。
【００１７】
図１のＡには、カメラによる被写体の撮影風景が示されており、図１のＢには、クロマキー処理を施して、背景画像を張り付けることにより得られる合成結果が示されている。
【００１８】
図１のＡに示すように、カメラ１１が人物１２を被写体として撮影する場合、人物１２の背後に青い壁面１３が配置され、壁面１３には、複数のマーカー１４が張り付けられる。また、図１のＡには、カメラ１１の画角に従って撮影される範囲が実線の矩形により示されており、この矩形内の領域が、カメラ１１により撮影される撮影画像１５となる。このとき、撮影画像１５に所定数以上のマーカー１４が入るように複数のマーカー１４が壁面１３に配置され、一部のマーカー１４が撮影画像１５の枠外に移動（フレームアウト）しても、他のマーカー１４が撮影画像１５の枠内に入るようになっている。
【００１９】
このような複数のマーカー１４を利用して、壁面１３の一面にぴったりと背景画像を張り付ける画像処理を行うことで、カメラ１１が移動または回転しても違和感の少ない合成画像を作成することができる。
【００２０】
このような画像処理を施すことにより、図１のＢに示すように、人物１２の背後に背景画像１６が張り付けられる。図１のＢでは、破線の矩形により示される領域が、カメラ１１により撮影される撮影画像１５に対して画像処理が行われて出力される出力画像１７を表している。背景画像１６は、出力画像１７よりも広い領域に張り付けられ、カメラ１１が移動または回転すると、この出力画像１７が移動する形になって、人物１２とともに出力画像１７に写り込む背景画像１６が変化するため、自然な出力画像を得ることができる。
【００２１】
このような出力画像１７を出力するためには、カメラ１１により撮影された撮影画像１５における複数のマーカー１４の位置を正確に取得し、マーカー１４の位置に合わせて壁面１３に背景画像１６を張り付ける画像処理を行う必要がある。なお、以下の説明では、カメラ１１のレンズの歪曲収差などは予め把握されており、歪曲収差を除去して扱うものとする。
【００２２】
例えば、人物１２の背景の壁面１３における平面上の点（ｕi，ｖi）と、背景画像１６における平面上の点（ｘi，ｙi）との関係は、同次座標系表現を用いると、次の式（１）に示すような３×３行列のホモグラフィ（homography）行列Ｈによって表現される。但し、式（１）において、（ｗiｕi，ｗiｖi，ｗi）は、（ｕi，ｖi）の同次座標である。
【００２３】
【数１】
2014069247.tif 000003
・・・（１）
【００２４】
ここで、ホモグラフィ行列Ｈの要素であるｈ00〜ｈ22については、定数倍の自由度があるので、例えば、ｈ22＝１とおき、ｗiを消去してｈ00〜ｈ21について整理すると、式（１）は、次の式（２）となる。
【００２５】
【数２】
2014069247.tif 000004
・・・（２）
【００２６】
そして、式（２）より、壁面１３における平面上の点（ｕi，ｖi）と、背景画像１６における平面上の点（ｘi，ｙi）との関係が４点以上あれば、ホモグラフィ行列Ｈを算出することができる。従って、壁面１３に４個のマーカー１４（ｉ＝０，１，２，３）を張り付け、それらのマーカー１４の位置に対応する背景画像１６における座標（ｘi，ｙi）と、撮影画像１５におけるマーカー１４の位置（ｕi，ｖi）とを検出することでホモグラフィ行列Ｈを算出することができる。ここで、上述の式（１）を変形すると、次の式（３）となる。
【００２７】
【数３】
2014069247.tif 000005
・・・（３）
【００２８】
この式（３）を用いて、出力画像１７における背景部分に、背景画像１６を張り付ける画像処理を行うことができる。即ち、出力画像１７において背景画像１６を貼るべきピクセルの座標（ｕ，ｖ）に、背景画像１６におけるピクセル座標（ｘ，ｙ）のピクセル値で着色すればよい。なお、縮小拡大や量子化誤差を考慮して、通常、処理の対象となるピクセルの近傍のピクセル値を用いてフィルタリングした画素値が多く用いられる。
【００２９】
このような画像処理が従来より行われているが、上述したように、演算負荷を抑制することが必要とされていた。
【００３０】
即ち、単純なマーカー１４の検出位置はピクセル単位である上、撮影画像１５にはノイズが含まれており、検出位置に検出誤差が含まれることが想定されるため、式（３）によって得られる背景画像の貼り付け精度が低下することになる。特に、ノイズによる検出位置の誤差が時間的に変化するため、出力画像１７において背景が微細に振動するような結果となり、出力画像１７の品質が低下する原因となる。
【００３１】
このような出力画像１７の品質の低下に対しは、ノイズの影響や量子化誤差の影響を受けないようなマーカー位置検出方法を用いる必要がある。一般的には、マーカー１４の位置を検出するための検出点（例えば、コーナーなどの特徴点やブロックマッチングのブロックの中心点など）を増加して、多数の検出点から最小二乗法などに基づいて、確度の高いホモグラフィ行列Ｈを求めることで、ノイズのキャンセルと、量子化誤差の減少とを図ることができると想定される。
【００３２】
また、カメラ１１の移動または回転によりマーカー１４が画角内から外れて、撮影画像１５に写り込まなくなる場合がある。例えば、カメラ１１のパンを考慮して、画面中央のみにマーカー１４を配置した場合には、マーカー１４から離れるに従ってマーカー１４の検出位置の誤差の影響が大きくなるため、出力画像１７の端部において背景の揺れが大きくなってしまう。
【００３３】
これに対しては、マーカー１４の個数を増大させ、図１のＡに示したように、壁面１３の一面にある程度密にマーカー１４を貼り付けて必要数以上のマーカー１４が常に映るように撮影すればよい。しかしながら、マーカー１４の個数を単純に増大した場合には、マーカー１４の個数に伴って検出処理負荷が増大するため、その負荷の増大を抑制することが求められている。
【００３４】
そこで、本技術では、マーカー１４の位置を検出する検出精度の向上、並びに、カメラ１１の位置および方向の変化による演算負荷の増大を抑制することを目的としている。
【００３５】
図２は、本技術を適用した画像処理システムの第１の実施の形態の構成例を示すブロック図である。
【００３６】
図２において、画像処理システム２１は、撮影装置２２、映像再生装置２３、画像合成処理装置２４、およびマーカー位置推定部２５を備えて構成される。
【００３７】
撮影装置２２は、図１のカメラ１１に相当し、合成処理に用いるマーカー１４が映し込まれた撮影画像１５を、画像合成処理装置２４およびマーカー位置推定部２５に供給する。また、画像処理システム２１では、撮影装置２２により撮影される撮影画像１５に対してリアルタイムに画像処理を施す他、既に撮影済みの撮影画像１５を、映像再生装置２３が再生して画像合成処理装置２４およびマーカー位置推定部２５に供給し、画像処理を施すようにすることができる。
【００３８】
画像合成処理装置２４は、マーカー位置推定部２５により推定されたマーカー１４の位置および姿勢に基づいて、撮影装置２２または映像再生装置２３から供給される撮影画像１５に写されている人物１２の背景に背景画像１６を貼り付ける画像合成処理を行う。
【００３９】
マーカー位置推定部２５は、粗検出用成分検出部３１、マーカー選択部３２、詳細検出用成分検出部３３、および推定処理部３４を有し、撮影装置２２または映像再生装置２３から供給される撮影画像１５に写されているマーカー１４の位置を推定する。
【００４０】
粗検出用成分検出部３１は、マーカー１４の粗検出用成分を利用して、演算負荷が軽い検出処理であるマーカー１４の粗検出を行う。また、粗検出用成分検出部３１は、マーカー１４の粗検出用成分を利用して、個々のマーカー１４を区別するための情報であるマーカーＩＤ（Identification）を、マーカー１４から検出する。
【００４１】
マーカー選択部３２は、粗検出用成分検出部３１が撮影画像１５の全体から検出した複数のマーカー１４の中から、詳細検出用成分検出部３３による詳細検出の対象とする所定数のマーカー１４を選択する。例えば、マーカー選択部３２は、詳細検出用成分検出部３３の処理負荷や、演算能力、処理速度などから決められる所定数のマーカー１４を選択する。また、マーカー選択部３２は、撮影画像１５に映されているマーカー１４の種類や画面内での位置を考慮して所定数のマーカー１４を選択する。
【００４２】
詳細検出用成分検出部３３は、マーカー１４の詳細検出用成分を利用して、演算負荷は重いが高い位置精度で検出することができる検出処理であるマーカー１４の詳細検出を行う。
【００４３】
推定処理部３４は、詳細検出用成分検出部３３によるマーカー１４の詳細な検出結果から、上述したようなホモグラフィ行列Ｈを算出することにより、マーカー１４の位置および姿勢を推定する。そして、推定処理部３４により推定されたマーカー１４の位置および姿勢に基づいて、画像合成処理装置２４による画像合成が行われる。
【００４４】
ここで、画像処理システム２１において使用されるマーカー１４は、粗検出用成分および詳細検出用成分を有するものが用いられる。
【００４５】
図３には、画像処理システム２１において使用されるマーカー１４の一例が示されている。
【００４６】
図３のＡに示すように、マーカー１４は、粗検出用成分である２次元コードが４隅に配置された粗検出用画像４１と、詳細検出用画像４２である自然画像とが重ね合わされて、空間的に両方の成分が混在する構成となっている。図３のＢには、マーカー１４を斜め方向から撮影した画像から、マーカー１４の部分だけを切り出したものが示されている。
【００４７】
粗検出用画像４１は、２次元コードのように微細な模様を有さない画像であるので、カメラ１１から離れて撮影されて小さく映された場合においても、比較的に安定して検出することができる。また、粗検出用画像４１は、図３のＢに示すように、マーカー１４を斜め方向から撮影した場合にも、つまり、カメラ１１がマーカー１４に対して正対していないために射影変換が掛かった画像になった場合にも、射影変換による歪の影響を軽減することができる。
【００４８】
さらに、粗検出用画像４１は、検出処理の負荷を軽減することができるので、粗検出用成分に適した検出指標である。なお、粗検出用画像４１は、大きく写されたときや、正面から写されたときにも粗検出用成分として適したものである。
【００４９】
また、粗検出用画像４１の２次元コードには、マーカー１４を識別するためのマーカーＩＤが埋め込まれており、粗検出用成分検出部３１は、マーカー１４の２次元コードからマーカーＩＤを検出して出力する。マーカーＩＤは、例えば、人物１２の背後にある壁面１３のどの位置に貼られたマーカー１４であるかを判別するために使用される。
【００５０】
また、斜め方向から写された粗検出用画像４１に対して、２次元コードそれぞれの中心４点を用いた画像変換が行われ、マーカー１４が正面から写されたような画像に変形する概略補正が施される。
【００５１】
即ち、図４のＡの左側に示されているような粗検出用画像４１が、概略補正により、図４のＡの右側に示すような粗検出用画像４１’に変形される。なお、この変形は、粗検出用画像４１の２次元コードそれぞれの中心４点を用いて行うのに限られることはなく、位置をどこにとってもよい。
【００５２】
図４のＡに示すような変形は、上述の式（２）を演算することによって、ホモグラフィ行列Ｈ’を求めることで、補正後の粗検出用画像４１’における座標（ｕi’，ｖi’）に対して、次の式（４）に示すように（ｕi，ｖi）を算出して、補正前の粗検出用画像４１のピクセル値を得ることによって可能となる。
【００５３】
【数４】
2014069247.tif 000006
・・・（４）
【００５４】
実際に、粗検出用画像４１を利用してマーカー１４を補正すると、図４のＢの左側に示すマーカー１４が、図４のＢの中央に示すマーカー１４’のように補正される。ここでは、粗検出用画像４１を用いた補正であるので、若干の射影成分が残っていることより、図４のＢの右側に示すマーカー元画像４３（マーカー１４の元となる画像）とは若干異なるものとなっている。
【００５５】
そこで、マーカー位置推定部２５では、詳細検出用成分検出部３３により、詳細成分を用いた検出処理が行われる。
【００５６】
詳細検出用成分検出部３３は、マーカー元画像４３における解像度で、自然画像内の特定点のブロックマッチングを行う。自然画像は、細部でのマッチングが多くの点で行える図柄であり、マッチング処理を安定的に行うことができる。なお、詳細検出用成分検出部３３による検出処理は、自然画像やブロックマッチングなどに限定されるものではない。
【００５７】
ここで、マーカー元画像４３に対して、画像内の特定点（フロックマッチングを行う上で周辺と間違い難い多数の点）を、マーカー１４またはマーカー１４’から検索することを考えると、射影変換の多く掛かったマーカー１４に比較して、マーカー１４’の方が、ブロックの整合性は高く、格段に高精度な検索結果を得ることができる。
【００５８】
従って、詳細検出用成分検出部３３は、粗検出用成分検出部３１による検出結果を用いて撮影されたマーカー１４を補正し、マーカー１４’とマーカー元画像４３とのマッチングを行うことで、詳細検出用成分の検出精度を向上させることができる。
【００５９】
また、図５には、マーカー１４の変形例が示されている。
【００６０】
図５には、粗検出用画像４１Ａと詳細検出用画像４２とを変調により混在させたマーカー１４Ａが示されている。
【００６１】
即ち、図５のＡの左側には、粗検出用成分である２次元コードが、マーカー１４Ａの全体に亘って存在している粗検出用画像４１Ａが示されている。この粗検出用画像４１Ａで、図５のＡの中央に示されている詳細検出用画像４２を変調することによりマーカー１４Ａを得ることができる。マーカー１４Ａは、粗検出用成分検出部３１がマーカー１４Ａの粗検出を行う際の縮小においてもつぶれ難くなる性質をもつ。
【００６２】
例えば、図５のＢには、粗検出用画像４１Ａおよび詳細検出用画像４２の変調（一次元表現）が示されており、マーカー１４Ａ上のあるｘ軸に平行なラインに対して、粗検出用成分の２次元コードに対する詳細成分の変調を行う様子が示されている。粗検出用画像４１Ａの２次元コードに対して、詳細検出用画像４２の詳細検出用成分（自然画像）で変調すると、大局的には２次元コードでありながら、詳細には詳細検出用成分が含まれるように変調されたマーカー１４Ａを作成することができる。
【００６３】
なお、詳細検出用画像４２の詳細検出用成分の階調は半分以下に制限されるが、粗検出用成分検出部３１による粗検出処理での基準輝度判定には影響なく詳細検出用成分を重畳することができる。そして、粗検出結果により２次元コードが判別されれば、２次元コード成分を減算することにより、詳細検出用成分は復元できるため、詳細検出用画像４２は、これを用いて詳細検出処理を行うことが可能になる。また、図４を参照して説明した概略補正では、粗検出された２次元コードの４頂点や２次元コード上のコーナー点などを用いることができる。
【００６４】
次に、図６のフローチャートを参照して、マーカー位置推定部２５によるマーカー位置推定処理について説明する。また、マーカー位置推定部２５は、撮影装置２２または映像再生装置２３から撮影画像１５が供給されるとマーカー位置推定処理を開始し、撮影画像１５の１フレームごとにマーカー位置推定処理を行う。
【００６５】
ステップＳ１１において、粗検出用成分検出部３１は、マーカー１４の粗検出用成分を利用して、演算負荷の増大が比較的に抑制された方法を用いて撮影画像１５からマーカー１４を粗く検出する、マーカー１４の粗検出を行う。例えば、粗検出用成分検出部３１は、撮影画像１５を二値化して、２次元コードの白枠を全スキャンすることで粗検出用画像４１を検出することにより、マーカー１４を粗検出する。また、例えば、粗検出用成分検出部３１は、撮影画像１５の解像度を低下させた状態で処理を行うことにより、位置精度としては粗いが、比較的に歪には強く、かつ、演算負荷の小さい処理を行うことができる。
【００６６】
ステップＳ１２において、粗検出用成分検出部３１は、マーカー１４の粗検出が完了したか否かを判定し、マーカー１４の粗検出が完了していないと判定した場合、処理はステップＳ１１に戻る。例えば、粗検出用成分検出部３１は、撮影画像１５に映されている全てのマーカー１４を検出すると、マーカー１４の粗検出が完了と判定する。即ち、撮影画像１５に映されている全てのマーカー１４を検出するまで、ステップＳ１１の処理が繰り返して行われる。
【００６７】
ステップＳ１２において、粗検出用成分検出部３１が、マーカー１４の粗検出が完了したと判定した場合、処理はステップＳ１３に進む。
【００６８】
ステップＳ１３において、マーカー選択部３２は、ステップＳ１１で粗検出用成分検出部３１が検出した複数のマーカー１４の中から、詳細検出用成分検出部３３による詳細検出の対象とする所定数のマーカー１４を選択する。なお、マーカー選択部３２がマーカー１４を選択する処理については、図７を参照して後述する。
【００６９】
ステップＳ１４において、詳細検出用成分検出部３３は、マーカー１４の詳細検出が完了したか否かを判定する。例えば、詳細検出用成分検出部３３は、ステップＳ１３でマーカー選択部３２が詳細検出の対象として選択した所定数のマーカー１４の全てについて詳細検出を行うと、マーカー１４の詳細検出が完了したと判定する。
【００７０】
ステップＳ１４において、詳細検出用成分検出部３３がマーカー１４の詳細検出が完了していないと判定した場合、処理はステップＳ１５に進む。
【００７１】
ステップＳ１５において、詳細検出用成分検出部３３は、マーカー１４の詳細検出用成分を利用して撮影画像１５からマーカー１４を詳細に検出する、マーカー１４の詳細検出を行う。
【００７２】
例えば、詳細検出用成分検出部３３は、図４のＢを参照して説明したように、マーカー１４を概略補正したマーカー１４’とマーカー元画像４３とのマッチング結果から得られた多数の特定点に対して、マーカー元画像４３での座標（ｘi，ｙi）と、マーカー１４の座標（ｕi，ｖi）との関係を求める。これは、マーカー元画像４３の特定点（ｘi，ｙi）に対するマーカー１４’の特定点の座標（ｕi’，ｖi’）に対して、上述の式（４）の変換を用いてマーカー１４の座標（ｕi，ｖi）を算出することにより求められる。これにより、詳細検出用成分検出部３３は、マーカー１４を詳細検出した検出結果として、マーカー１４上の詳細成分である多数の特定点について、撮影画像１５上の座標（ｕi，ｖi）と、マーカー元画像４３上の座標（ｘi，ｙi）との対応関係を出力とする。
【００７３】
ステップＳ１５の処理後、処理はステップＳ１４に戻り、ステップＳ１４においてマーカー１４の詳細検出が完了したと判定されるまでステップＳ１５の処理が繰り返される。そして、ステップＳ１４においてマーカー１４の詳細検出が完了したと判定された場合、処理はステップＳ１６に進む。
【００７４】
ステップＳ１６において、推定処理部３４は、ホモグラフィ行列Ｈを算出することにより、マーカー１４の位置および姿勢を推定する。
【００７５】
例えば、上述したように、詳細検出用成分検出部３３が、マーカー１４上の詳細成分である多数の特定点について、撮影画像１５上の座標（ｕi，ｖi）と、マーカー元画像４３上の座標（ｘi，ｙi）との対応関係を出力した場合について説明する。
【００７６】
推定処理部３４は、粗検出用成分検出部３１により検出されたマーカー１４のマーカーＩＤによって、詳細検出用成分検出部３３により検出されたマーカー１４の背景画像１６上での座標を算出し、マーカー元画像４３上の座標（ｘi，ｙi）を変換して座標（Ｘi，Ｙi）とする。推定処理部３４は、このような変換処理を、詳細検出用成分検出部３３により検出された全てのマーカー１４に対して施すことで、背景画像１６上での座標（Ｘi，Ｙi）と撮影画像１５上での座標（ｕi，ｖi）の対応関係を多数取得する。
【００７７】
そして、この対応関係の数をＮとし、最終的に出力するホモグラフィ行列をＨとすると、（２Ｎ）×８の行列Ａ、ホモグラフィ行列Ｈの要素の８個を要素とするベクトルｈ、および、撮影画像１５上の座標（ｕi’，ｖi’）を順に並べた２Ｎ個の要素を持つベクトルｂの関係は、次の式（５）で表される。
【００７８】
【数５】
2014069247.tif 000007
・・・（５）
【００７９】
ここで、上述の式（４）と同様に、式（５）は、未知数ｈの要素よりも方程式数が多い過剰方程式となっており、次の式（６）の二乗誤差を最小にするベクトルｈは、次の式（７）のように、行列Ａの置換行列Ａtを用いて求めることができる。
【００８０】
【数６】
2014069247.tif 000008
・・・（６）
【数７】
2014069247.tif 000009
・・・（７）
【００８１】
推定処理部３４は、ステップＳ１６において、最終出力としてのホモグラフィ行列Ｈを算出して出力する。
【００８２】
以上のように、マーカー位置推定部２５によるマーカー位置推定処理が行われる。このとき、ステップＳ１５において、ステップＳ１１での粗検出用成分による検出結果を用いて撮影画像１５に映されているマーカー１４を概略補正するため、詳細検出用成分の検出精度を向上させることができる。
【００８３】
なお、ステップＳ１５の処理において、詳細検出用成分検出部３３は、マーカー元画像４３と、撮影画像１５の座標変換を示すホモグラフィ行列Ｈを、検出結果として出力してもよい。
【００８４】
つまり、図４を参照して上述したように、撮影画像１５に映されているマーカー１４を補正したマーカー１４’とマーカー元画像４３とからは、多数の特定点に対するマッチング結果が得られる。このことより、詳細検出用成分検出部３３は、最小二乗法を用いて、マーカー１４’とマーカー元画像４３との間のホモグラフィ行列Ｈ’’を求めて、検出結果とする。
【００８５】
例えば、マッチング結果が得られた特定点の数をＮとすると、上述の式（２）は、（２Ｎ）×８の行列Ａ、ホモグラフィ行列Ｈ’’の要素の８個を要素とするベクトルｈ’’、および、マーカー１４’上のＮ個の特定点の座標（ｕi’，ｖi’）を順に並べた２Ｎ個の要素を持つベクトルｂにより、次の式（８）で表される。
【００８６】
【数８】
2014069247.tif 000010
・・・（８）
【００８７】
ここで、式（８）は、未知数ｈ’’の要素数よりも方程式数が多い過剰方程式になっており、次の式（９）の二乗誤差を最小にするベクトルｈ’’は、次の式（１０）のように、行列Ａの置換行列Ａtを用いて求めることができる。
【００８８】
【数９】
2014069247.tif 000011
・・・（９）
【数１０】
2014069247.tif 000012
・・・（１０）
【００８９】
これにより得られたホモグラフィ行列Ｈ’’を用いると、上述の式（１）と同様に、マーカー１４’上のＮ個の特定点の座標（ｕi’，ｖi’）と、マーカー元画像４３上のＮ個の特定点の座標（ｘi，ｙi）の関係は、次の式（１１）のように表される。
【００９０】
【数１１】
2014069247.tif 000013
・・・（１１）
【００９１】
そして、上述の式（４）に、ｗi’’を掛けて式（１１）に代入すると、次の式（１２）を得ることができる。
【００９２】
【数１２】
2014069247.tif 000014
・・・（１２）
【００９３】
このようにして求められたホモグラフィ行列Ｈの積Ｈ’Ｈ’’を、詳細検出用成分検出部３３は、マーカー１４のホモグラフィ行列Ｈとして出力する。
【００９４】
このように、図６のステップＳ１５において詳細検出用成分検出部３３がホモグラフィ行列Ｈを検出結果として出力した場合における、ステップＳ１６での処理について説明する。
【００９５】
ステップＳ１５で出力されるホモグラフィ行列Ｈと、ステップＳ１１で粗検出用成分検出部３１により判別されたマーカー１４のマーカーＩＤによって、各マーカー１４のマーカー元画像４３の座標（ｘi，ｙi）と、背景画像１６上での座標（Ｘi，Ｙi）とは、次の式（１３）のように示される。
【００９６】
【数１３】
2014069247.tif 000015
・・・（１３）
【００９７】
ここで、式（１３）において、多くの場合、ｇ20＝ｇ21＝０となり、ｇ22＝１となって、ｗ0i＝１である。また、式（１３）では、行列Ｇは、マーカー１４ごとに異なっているため、それぞれのマーカー１４に対してステップＳ１５で求めたホモグラフィ行列Ｈを用いた式（１４）を得ることができる。
【００９８】
【数１４】
2014069247.tif 000016
・・・（１４）
【００９９】
そして、マーカー１４ごとに得られる式（１４）の行列Ｈと行列Ｇとの積が、定数倍の差を除いて一定していれば、その積が、ステップＳ１６で出力すべき最終的なホモグラフィ行列Ｈである。しかしながら、通常は不一致となるために、整合処理が必要となる。
【０１００】
整合処理としては、例えば、それぞれのマーカー１４に対するステップＳ１５での詳細検出処理結果が同様に信頼できるとするならば、それぞれのマーカー１４の代表点位置（ｘi，ｙi）を複数用意し、式（１４）によって得られた（ｕi，ｖi）との関係から、上述の式（５）に相当する過剰方程式を立てて最小二乗法を行うことにより、最終的なホモグラフィ行列Ｈを算出することができる。
【０１０１】
一方、マーカー１４ごとに信頼度が異なるのであれば、信頼度に応じて代表点数を増減して、上述の式（５）を立てて最小二乗法を行うことにより、最終的なホモグラフィ行列Ｈを算出することができる。
【０１０２】
次に、図７を参照して、マーカー選択部３２が、詳細検出の対象として選択する所定数のマーカー１４について説明する。
【０１０３】
例えば、図１に示したように、カメラ１１の画角に従った撮影画像１５に６個のマーカー１４が映されている場合、それらのマーカー１４を全て詳細検出の対象とすると、演算負荷が増大することになる。そのため、マーカー選択部３２は、演算負荷の増大を抑制するために、６個のマーカー１４の中から、所定数のマーカー１４を詳細検出の対象として選択する。なお、図１では、撮影画像１５の左下に７個目のマーカー１４が中途半端な状態で半分入っている。
【０１０４】
このような状況で、所定数のマーカー１４を詳細検出の対象として選択し、撮影画像１５と背景画像１６との関係を示すホモグラフィ行列Ｈを算出するのに、何個のマーカー１４を用いるのかについて図７を参照して説明する。
【０１０５】
まず、マーカー位置の検出精度向上で既に示したように、本実施の形態で示したマーカー１４を用いると、１枚のマーカー１４でも背景画像１６と撮影画像１５との関係を示すホモグラフィ行列Ｈを算出することができる。しかしながら、１枚のマーカー１４では、マーカー１４から遠ざかるに従って算出誤差の影響が大きくなるため、マーカー１４の設置を考慮すると、マーカー１４のサイズは比較的小さめとすることが望ましい。また、マーカー１４の設置時にマーカー１４の相対関係を計測することを前提とすると、マーカー１４を多少大きくするよりも、離れた位置にマーカー１４を設置する方が高精度に算出することができるようになる。
【０１０６】
これらの点を考慮して、マーカー１４を２枚使用する場合には、図７のＡに示すように、最も距離の遠いマーカー１４1およびマーカー１４2を選択することが望ましい。なお、マーカー１４の大きさを考慮に入れると、マーカー１４を囲む多角形の面積が最大になるように選択することになる。
【０１０７】
また、マーカー１４を３枚使用する場合には、図７のＢに示すように、多角形の頂点となる３つのマーカー１４1、マーカー１４2、およびマーカー１４3を、それらが囲む多角形の面積が最大になるように選択することが好適である。
【０１０８】
さらに、マーカー１４を４枚使用する場合には、図７のＢに示すように、多角形の頂点となる４つのマーカー１４1、マーカー１４2、マーカー１４3、およびマーカー１４4を選択すればよく、それ以上のマーカー１４を選択しても、演算負荷増加の割に演算精度の向上を図ることは期待されない。
【０１０９】
もちろん、演算資源に余裕がある場合には、撮影画像１５内に映ったすべてのマーカー１４について詳細検出用成分の処理を行えば良いが、カメラ１１のズームなども考えるとより小さなマーカー１４を人物１２（例えば、主演俳優）の背景付近に置くことなどが考えられ、広角時のマーカー数を削減することは非常に有効である。
【０１１０】
このように、マーカー位置推定部２５では、マーカー選択部３２により、マーカー検出処理を粗検出用成分の検出と、詳細検出用成分の検出の２段階に分離して、その間に必要マーカーを選択する構成とすることで、処理負荷を軽減することができる。
【０１１１】
次に、図８を参照して、本技術を適用した画像処理システムの第２の実施の形態について説明する。
【０１１２】
図８には、マーカー１４を三次元的に配置し、三次元空間位置合わせと、三次元空間内の手持ちボード（Virtual card）のためのクロマキー撮影状況が示されている。
【０１１３】
図１を参照して説明した第１の実施の形態と同様に、第２の実施の形態においても、カメラ１１が移動または回転する場合には、合成する三次元画像を移動しなければならない。このため、カメラ１１の移動および方向の変化を取得して、その変化に合わせて画像合成を行う必要がある。そこで、三次元空間の位置合わせ用に、予め三次元位置を測定したマーカー１４を人物１２とともに撮影し、マーカー１４をもとに撮影しているカメラ１１と三次元空間との関係を示す射影変換行列を算出する必要がある。
【０１１４】
図８のＢには、カメラ１１と三次元空間との関係を示す射影変換行列を用いて、三次元空間に配置された部屋や家具をクロマキー処理により合成した画像が示されている。
【０１１５】
図８のＢに示されている部屋や家具などは、図８のＡのマーカー１４を基に推定された射影変換行列に応じて移動するので、カメラ１１の位置および方向の変化に対応して違和感のない合成画像を得ることができる。
【０１１６】
さらに、図８のＡでは、人物１２は、フローティングマーカー５２が貼りつけられた解説ボード５１を持っている。フローティングマーカー５２は、壁面１３に固定されたマーカー１４（アンカーマーカー）とは異なり、射影変換行列算出のために用いられるのではなく、人物１２が説明に使用する手持ちボードのような三次元空間からは浮いた状態となっている。図８のＡに示されているフローティングマーカー５２は、図８のＢでは、人物１２が説明を行うためのグラフが描かれた置換画像５３に置き換えられている。
【０１１７】
即ち、フローティングマーカー５２については、固定されたマーカー１４によって位置合わせされた三次元空間に対して、どのような位置および姿勢になっているかを算出することで、出力画像１７上で違和感なく表示するとともに、三次元空間に配置された他のオブジェクトとのインタラクションなどをスムーズに行うことができるようになる。
【０１１８】
以下では、このような画像処理を実行する画像処理システムについて説明する。
【０１１９】
図９は、本技術を適用した画像処理システムの第２の実施の形態の構成例を示すブロック図である。
【０１２０】
図９に示すように、画像処理システム２１’は、撮影装置２２、映像再生装置２３、および画像合成処理装置２４を備え、マーカー位置推定部２５’が、粗検出用成分検出部３１、マーカー選択部３２、および詳細検出用成分検出部３３を有する点で、図２の画像処理システム２１と共通する。一方、画像処理システム２１’は、マーカー位置推定部２５’が、射影変換行列算出部３５および姿勢推定処理部３６を有する点で、画像処理システム２１と異なる構成となっている。
【０１２１】
射影変換行列算出部３５は、詳細検出用成分検出部３３が詳細検出を行った固定されたマーカー１４全ての検出結果を用いて、射影変換行列を算出する。
【０１２２】
姿勢推定処理部３６は、詳細検出用成分検出部３３が詳細検出を行ったフローティングマーカー５２を用いて、フローティングマーカー５２の姿勢を推定する処理を行う。
【０１２３】
次に、図１０のフローチャートを参照して、マーカー位置推定部２５’によるマーカー位置推定処理について説明する。
【０１２４】
ステップＳ２１およびＳ２２の処理は、図６のステップＳ１１およびＳ１２と同様の処理が行われ、その説明は省略する。
【０１２５】
ステップＳ２３において、マーカー選択部３２は、ステップＳ１１で粗検出用成分検出部３１が検出した複数のマーカー１４の中から、詳細検出用成分検出部３３による詳細検出の対象とする所定数のマーカー１４を選択する。ここで、詳細検出の対象とするかどうかについては、フローティングマーカー５２に対しては必ず詳細検出を行うと判断する。また、固定されたマーカー１４に対しては、詳細検出用成分検出部３３の処理負荷や、演算能力、処理速度などから選択する所定数を決定し、どのマーカー１４を選択するかについては図１１を参照して後述する。
【０１２６】
ステップＳ２４において、詳細検出用成分検出部３３は、マーカー１４の詳細検出が完了したか否かを判定する。例えば、詳細検出用成分検出部３３は、ステップＳ２３でマーカー選択部３２が詳細検出の対象として選択した所定数のマーカー１４の全てについて詳細検出を行うと、マーカー１４の詳細検出が完了したと判定する。
【０１２７】
ステップＳ２４において、詳細検出用成分検出部３３がマーカー１４の詳細検出が完了していないと判定した場合、処理はステップＳ２５に進む。
【０１２８】
ステップＳ２５において、詳細検出用成分検出部３３は、図６のステップＳ１５と同様に、マーカー１４の詳細検出用成分を利用して撮影画像１５からマーカー１４を詳細に検出する、マーカー１４の詳細検出を行う。
【０１２９】
ステップＳ２５の処理後、処理はステップＳ２４に戻り、ステップＳ２４においてマーカー１４の詳細検出が完了したと判定されるまでステップＳ２５の処理が繰り返される。そして、ステップＳ２４においてマーカー１４の詳細検出が完了したと判定された場合、処理はステップＳ２６に進む。
【０１３０】
ステップＳ２６において、射影変換行列算出部３５は、ステップＳ２５で詳細検出用成分検出部３３が詳細検出を行った固定されたマーカー１４全ての検出結果を用いて、射影変換行列を算出する。
【０１３１】
なお、上述したように、詳細検出用成分検出部３３による検出結果としては、詳細検出用成分の対応関係そのものと、撮影画像１５の座標変換を示すホモグラフィ行列Ｈとが用いられる。ここでは、ステップＳ２５において、詳細検出用成分検出部３３による検出結果として、詳細検出用成分の対応関係そのものが出力される場合について説明する。
【０１３２】
射影変換行列算出部３５には、複数の固定されたマーカー１４内の多数の特定点について、マーカー元画像４３上の座標（ｘi,ｙi）と撮影画像１５上の座標（ｕi,ｖi）の対応関係が、詳細検出用成分検出部３３から入力される。また、それぞれの固定されたマーカー１４のマーカーＩＤによって、対応するマーカー元画像４３上の座標（ｘi,ｙi）と、固定されたマーカー１４が規定する三次元空間内の座標（Ｘi,Ｙi,Ｚi）とが紐づけられている。これにより、射影変換行列算出部３５は、撮影画像１５上の座標（ｕi,ｖi）と、固定されたマーカー１４が規定する三次元空間内の座標（Ｘi,Ｙi,Ｚi）の対応関係を求めることができる。
【０１３３】
即ち、三次元空間内の座標（Ｘi,Ｙi,Ｚi）を、撮影画像１５上の座標（ｕi,ｖi）に座標変換する変換式は、次の式（１５）で示される。
【０１３４】
【数１５】
2014069247.tif 000017
・・・（１５）
【０１３５】
但し、式（１５）において、ｐ００乃至ｐ２３は、ステップＳ２６において求めるべき射影変換行列Ｐである。また、式（１５）では定数倍の自由度があるので、例えば、ｐ23＝１として式（１５）を変形すると、次の式（１６）となる。
【数１６】
2014069247.tif 000018
・・・（１６）
【０１３６】
撮影画像１５上の多数の座標（ｕi,ｖi）と、三次元空間上の多数の座標（Ｘi,Ｙi,Ｚi）との対応関係が存在するので、ステップＳ２６において、射影変換行列算出部３５は、最小二乗法によって、射影変換行列Ｐの要素ｐ００乃至ｐ２３を求め、射影変換行列Ｐを出力する。
【０１３７】
そして、ステップＳ２７において、姿勢推定処理部３６は、ステップＳ２６で射影変換行列算出部３５が算出した射影変換行列Ｐを用いて、姿勢行列を算出する。
【０１３８】
即ち、姿勢推定処理部３６には、フローティングマーカー５２ごとに、フローティングマーカー５２内の多数の特定点についての、フローティングマーカー５２の元画像上の座標（ｘi,ｙi）と、撮影画像１５上の座標（ｕi,ｖi）の対応関係が、詳細検出用成分検出部３３から入力される。また、姿勢推定処理部３６には、ステップＳ２６で射影変換行列算出部３５が固定されたマーカー１４を用いて算出した射影変換行列Ｐが入力される。さらに、姿勢推定処理部３６には、固定されたマーカー１４およびフローティングマーカー５２のマーカーＩＤが入力される。
【０１３９】
ここで、フローティングマーカー５２の元画像上の座標を三次元的に（ｘi,ｙi,０）と考え、この座標に回転行列Ｒおよび併進ベクタｔを用いて、固定されたマーカー１４で規定された三次元空間に配置したとする。これにより、次の式（１７）で示すような座標変換により、フローティングマーカー５２の元画像上の座標（ｘi,ｙi,０）は、固定されたマーカー１４で規定された三次元空間座標（Ｘi,Ｙi,Ｚi）に変換される。
【０１４０】
【数１７】
2014069247.tif 000019
・・・（１７）
【０１４１】
そして、ステップＳ２６で求めた、三次元空間座標（Ｘi,Ｙi,Ｚi）から撮影画像１５上の座標（ｕi，ｖi）へ射影変換を行う射影変換行列Ｐを用いると、式（１５）の変換式で座標変換することができる。従って、式（１５）および式（１７）を用いると、フローティングマーカー５２の元画像上の座標(ｘi,ｙi）から撮影画像１５上の座標（ｕi，ｖi）への変換式は、次の式（１８）と表すことができる。
【０１４２】
【数１８】
2014069247.tif 000020
・・・（１８）
【０１４３】
この式（１８）において、ｗiを消去して、ｒ00乃至ｒ22およびｔ03乃至ｔ23について整理すると、フローティングマーカー５２の元画像のｚ座標は０であるので、ｒ02乃至ｒ22を含めることはできないが、次の式（１９）の形に整理することができる。
【０１４４】
【数１９】
2014069247.tif 000021
・・・（１９）
【０１４５】
式（１９）の形は、上述した式（２）および式（１６）と同じ形となっている。従って、フローティングマーカー５２の元画像上の座標（ｘi,ｙi）と、撮影画像１５上の座標（ｕi，ｖi）との対応関係が５点以上あれば、最小二乗法によって、ｒ02乃至ｒ22を除くｒ00乃至ｒ22およびｔ03乃至ｔ23の要素を算出することができる。
【０１４６】
ここで、回転行列の性質である、次の式（２０）の関係を用いると、ｒ02乃至ｒ22を算出することができる。
【０１４７】
【数２０】
2014069247.tif 000022
・・・（２０）
【０１４８】
このように、ステップＳ２７において、姿勢推定処理部３６は、式（１９）および式（２０）を用いて、マーカーＩＤで特定されるフローティングマーカー５２の元画像を、固定されたマーカー１４で規定される三次元空間への配置を行う回転行列Ｒおよび並進ベクタｔを算出することができる。
【０１４９】
また、ステップＳ２５において、詳細検出用成分検出部３３による検出結果として、撮影画像１５の座標変換を示すホモグラフィ行列Ｈが出力される場合について説明する。
【０１５０】
この場合、ステップＳ２６において、射影変換行列算出部３５には、それぞれの固定されたマーカー１４のホモグラフィ行列Ｈが、詳細検出用成分検出部３３から入力される。ステップＳ２１で判別されたマーカーＩＤによって、それぞれの固定されたマーカー１４座標（ｘi,ｙi）と、固定されたマーカー１４が規定する三次元空間内の座標（Ｘi,Ｙi,Ｚi）は、次の式（２１）のように表される。
【０１５１】
【数２１】
2014069247.tif 000023
・・・（２１）
【０１５２】
ここで、式（２１）において、多くの場合、ｇ20＝ｇ21＝０となり、ｇ22＝１となって、ｗ0i＝１である。また、式（２１）では、行列Ｇは、マーカー１４ごとに異なっているため、それぞれのマーカー１４に対してステップＳ２５で求めたホモグラフィ行列Ｈを用いた式（２２）を得ることができる。
【０１５３】
【数２２】
2014069247.tif 000024
・・・（２２）
【０１５４】
そして、マーカー１４ごとに得られる式（２２）の行列Ｈと行列Ｇとの積が、定数倍の差を除いて一定していれば、その積が、ステップＳ２６で出力すべき最終的な射影変換行列Ｐである。しかしながら、通常は不一致となるために、整合処理が必要となる。
【０１５５】
整合処理としては、例えば、それぞれのマーカー１４に対するステップＳ２５での詳細検出処理結果が同様に信頼できるとするならば、それぞれのマーカー１４の代表点位置（Ｘi,Ｙi,Ｚi）を複数用意し、式（２２）によって得られた（ｕi，ｖi）との関係から、上述の式（１６）に相当する過剰方程式を立てて最小二乗法を行うことにより、最終的な射影変換行列Ｐを算出することができる。
【０１５６】
一方、マーカー１４ごとに信頼度が異なるのであれば、信頼度に応じて代表点数を増減して、上述の式（１６）を立てて最小二乗法を行うことにより、最終的な射影変換行列Ｐを算出することができる。
【０１５７】
次に、ステップＳ２７において、姿勢推定処理部３６には、フローティングマーカー５２ごとのホモグラフィ行列Ｈ、ステップＳ２６で射影変換行列算出部３５が求めた射影変換行列Ｐ、および、固定されたマーカー１４およびフローティングマーカー５２のマーカーＩＤが入力される。また、フローティングマーカー５２の元画像上の座標（ｘi,ｙi）から、撮影画像１５上の座標（ｕi,ｖi）への変換式である式（１８）は、フローティングマーカー５２の元画像のｚ座標は０であるので、次の式（２３）のように表される。
【０１５８】
【数２３】
2014069247.tif 000025
・・・（２３）
【０１５９】
ここで、式（２３）は、上述した式（１）と同じ形であるため、定数倍の自由度ｋを考えて、次の式（２４）となる。
【０１６０】
【数２４】
2014069247.tif 000026
・・・（２４）
【０１６１】
そして、式（２４）は、次の式（２５）のように変形することができ、式（２６）のようになる。
【０１６２】
【数２５】
2014069247.tif 000027
・・・（２５）
【数２６】
2014069247.tif 000028
・・・（２６）
【０１６３】
但し、式（２６）において、ｑ03乃至ｑ23は、次の式（２７）により算出される値である。
【０１６４】
【数２７】
2014069247.tif 000029
・・・（２７）
【０１６５】
ここで、回転行列の性質から、次の式（２８）が成立するので、式（２５）の右辺を算出することで、左辺のｋを算出することができる。
【０１６６】
【数２８】
2014069247.tif 000030
・・・（２８）
【０１６７】
これにより、ｒ02乃至ｒ22を除くｒ00乃至ｒ22およびｔ03乃至ｔ23の要素を算出することができる。さらに、回転行列の性質である、上述した式（２０）の関係を用いると、ｒ02乃至ｒ22を算出することができる。
【０１６８】
これにより、ステップＳ２７において、姿勢推定処理部３６は、式（１９）および式（２０）を用いて、マーカーＩＤで特定されるフローティングマーカー５２の元画像を、固定されたマーカー１４で規定される三次元空間への配置を行う回転行列Ｒおよび並進ベクタｔを算出することができる。
【０１６９】
次に、図１１を参照して、マーカー選択部３２が、詳細検出の対象として選択する所定数のマーカー１４について説明する。
【０１７０】
画像処理システム２１’においても、全てのマーカーを処理する場合には、処理数が増大すると演算負荷が増加する。但し、フローティングマーカー５２については、説明用の手持ちボードなどマーカーＩＤごとに特定用途に用いられるため、処理数が増大しても省くことはできない。これに対し、固定されたマーカー１４に関しては、固定されたマーカー１４が規定する三次元空間と撮影画像１５との関係が正しく求められれば処理の対象とするマーカー１４の数は少なくても構わない。
【０１７１】
図７を参照して説明したように、画像処理システム２１では、背景画像１６とマーカー１４との関係であったため、平面と平面の関係から面積が最大となるように、処理可能マーカー数に応じたマーカー１４が選択された。一方、画像処理システム２１’では、より安定に三次元空間を推定するために、固定されたマーカー１４が作る立体の体積がなるべく大きくなるようにマーカー１４の選択を行う。
【０１７２】
例えば、固定されたマーカー１４に対する処理可能枚数が１枚の場合には、撮影画像１５の中央のマーカー１４、または、一番大きく撮影されているマーカー１４が選択される。
【０１７３】
また、固定されたマーカー１４に対する処理可能枚数が２枚の場合には、その２枚が空間的に最も離れ、かつ前後方向にもずれているマーカー１４を選択することが最適である。即ち、図１１のＡに示すような配置の場合には、互いに空間的に最も離れ、かつ前後方向にもずれているマーカー１４1およびマーカー１４2が選択される。
【０１７４】
また、固定されたマーカー１４に対する処理可能枚数が３枚の場合においても、それらのマーカー１４が作る図形の体積が最大になるようにマーカー１４を選択することが最適である。図１１のＢに示すような配置の場合には、マーカー１４1、マーカー１４2、およびマーカー１４3が選択される。
【０１７５】
このように、マーカー選択部３２は、多数のマーカー１４から最適なマーカー１４を選択することで、三次元空間と撮影画像１５の関係を高精度に推定しつつ、演算負荷を抑制することができる。なお、フローティングマーカー５２に関して、図８に示すようにマーカー１４が三次元的に配置された場合のみに使用が限定されるのではなく、例えば、図１を参照して説明したように、マーカー１４が平面的に配置された場合にも使用することができる。
【０１７６】
次に、図１２を参照して、マーカー５４を三次元的に配置することで、三次元空間位置合わせを行って、仮想オブジェクト５５を配置するとともに、位置合わせした三次元空間内に、フローティングマーカー５２によって提示される置換画像５３を配置するための撮影状況について説明する。
【０１７７】
図１２のＡに示されている撮影状況のように、壁面１３にはマーカー５４−１乃至５４−４が配置されている。そして、図１２のＢに示すように、マーカー５４−１乃至５４−４を切り抜いたり隠したりするように、それぞれ対応する仮想オブジェクト５５−１乃至５５−４が配置され、仮想オブジェクト５５−１乃至５５−４以外はそのまま出力される。
【０１７８】
このように、マーカー５４−１乃至５４−４に従って仮想オブジェクト５５−１乃至５５−４を合成する場合にも、カメラ１１の動きに合わせて仮想オブジェクト５５−１乃至５５−４を移動させないと出力画像１７に違和感が出る。また、図１２のＢに示すように、仮想オブジェクト５５−１乃至５５−４として、実空間の中にクローゼットやテレビ、絵画などをコンピュータグラフィックにより合成することで、表現力の高い映像を制作することが可能となる。
【０１７９】
このような画像処理は、図９に示した画像処理システム２１’により、即ち、粗検出用成分検出部３１、マーカー選択部３２、詳細検出用成分検出部３３、射影変換行列算出部３５、および姿勢推定処理部３６を用いることにより実現することができる。
【０１８０】
但し、このような画像処理では、マーカー５４がクロマキー処理の制限を受けなくなる点で、図８を参照して説明した画像処理と異なるものである。このため、色を効果的に用いたマーカーを考慮することができる。
【０１８１】
図１３を参照して、マーカー１４の変形例について説明する。
【０１８２】
図１３のＡには、多色の詳細検出用成分をもつマーカー１４Ｂが示されている。マーカー１４Ｂは、図３のＡに示したような、粗検出用成分と詳細検出用成分を空間的配置して混在させたマーカー１４において、詳細検出用成分（詳細検出用画像４２Ａ）を多色化したものである。詳細検出用成分では高精度な対応関係を推定することが望まれており、多色化することによって単色で対応点検索を行うよりも、誤対応を減らして精度向上を図ることが可能となる。
【０１８３】
図１３のＢには、図５のＡに示したような、変調による粗検出用成分と詳細検出用成分の混在マーカーに対して、詳細検出用成分（詳細検出用画像４２Ａ）を多色にしたマーカー１４Ｃが示されている。マーカー１４Ｃによっても、対応点検索における誤対応を減らして精度向上を図ることができる。
【０１８４】
図１３のＣには、粗検出用成分と詳細検出用成分とを色空間で分けて混在させたマーカー１４Ｄが示されている。マーカー１４Ｄでは、高周波成分を含む輝度信号に詳細検出用成分（詳細検出用画像４２Ｂ）を割り当て、高周波域が減衰する可能性のある色差成分に粗検出用成分（粗検出用画像４１Ｂ）を割り当てている。これにより、マーカー１４Ｄでは、粗検出用成分と詳細検出用成分の分離の容易さ、詳細検出用成分の画像詳細さを必要とする性質を考慮して、両成分の混在が可能とされている。
【０１８５】
以上のように、本技術を適用した画像処理システム２１および２１’では、粗検出用成分と詳細検出用成分を混在させたマーカー１４を用いることで、マーカー検出処理を、マーカー粗検出用成分検出処理と、マーカー詳細検出用成分検出処理に分けることができる。そして、粗検出用成分検出時に、マーカー１４の種別および配置状況を判断して、詳細検出用成分検出処理が必要なマーカー１４のみを選択するマーカー選択処理を行うことができる。これにより、詳細検出用成分の検出処理を行うべきマーカー１４のみに対して、詳細検出用成分の検出処理を行うことになるため、精度を落とさない形で演算負荷の軽減を行うことができる。
【０１８６】
即ち、マーカー１４の検出処理を、演算負荷が軽いが位置精度が高くない粗検出と、演算負荷が重いが位置精度を高くできる詳細検出に分けることが可能となる。これにより、空間中に密に存在するマーカーが撮影されていても、粗検出によって必要なマーカー１４のみを選出して高精度な詳細検出を行うことで、マーカー１４とカメラ１１の相対的な位置および姿勢の推定を高精度かつ低演算負荷で行うことができる。
【０１８７】
なお、上述した各実施の形態では、マーカー１４の粗検出用成分として、二次元コードを使用して説明したが、マーカー１４の粗検出用成分はコード化されている必要はない。例えば、検出処理負荷が高くない単純なパターンマッチングを用い、パターンによってマーカーＩＤを判別するようにしてもよい。また、マーカー１４の形は長方形である必要もなく、多角形であっても円形であっても良い。その場合には例えば多角形内もしくは円形内に図形の傾きがわかるような特徴を持たせるなどして、マーカー１４の姿勢が推定できるようにすることが好適である。
【０１８８】
また、上述した各実施の形態では、マーカー１４の詳細検出用成分の検出方法として、ブロックマッチングを用いている。これに対し、詳細検出用成分である特定点の、撮影画像１５とマーカー元画像４３の対応関係が得られる方法であれば、ブロックマッチング以外の方法を採用することができる。たとえば、予め元画像を学習しておき、学習結果を用いて撮影画像１５上の特定点とマーカー元画像４３の対応関係を算出する方法などを採用してもよい。
【０１８９】
さらに、上述した各実施の形態では、マーカー選択処理において面積最大、体積最大をもとにマーカー１４を選択する方法を説明した。これ以外にも、例えば、マーカー１４の配置と推定精度の関係を計算機シミュレーションすることで、予め算出したマーカー最適配置データーベースを用いて最適なマーカー１４を選択するなど、別のマーカー選択方法を採用してもよい。
【０１９０】
なお、マーカー１４は、通常は青色ベースで作成されており、図１のＡを参照して説明したようなクロマキー処理を考慮して、ブルーバックの背景でカメラ１１による撮影を行うことを想定している。また、図１のＢに示した合成結果の映像には、クロマキー処理でマーカー１４を除去することが考慮されており、マーカー１４は、単色であることや青色であることに限定されるものではない。
【０１９１】
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１９２】
また、上述した一連の処理（情報処理方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
【０１９３】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１９４】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１９５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１９６】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９７】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１９８】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１９９】
なお、本技術は以下のような構成も取ることができる。
（１）
画像に映されている複数のマーカーを検出する第１の検出部と、
前記第１の検出部により検出された複数の前記マーカーの中から、所定数の前記マーカーを選択する選択部と、
前記選択部により選択された所定数の前記マーカーを、前記第１の検出部より詳細に検出する第２の検出部と、
前記第２の検出部による検出結果に基づいて、前記マーカーの位置および姿勢を推定する推定部と
を備える画像処理装置。
（２）
前記推定部により推定された前記マーカーの位置および姿勢に基づいて、前記画像に映されている被写体の背景となる背景画像を合成する画像合成部
をさらに備える上記（１）に記載の画像処理装置。
（３）
前記マーカーが、前記第１の検出部による検出に利用される第１の検出成分と、前記第２の検出部による検出に利用される第２の検出成分との両方を有する
上記（１）または（２）に記載の画像処理装置。
（４）
前記第２の検出部の処理負荷と前記画像処理装置自身の演算能力および処理速度に基づいて前記第２の検出部による検出処理の対象とする前記マーカーの所定数が予め決定されており、
前記選択部は、前記画像における前記マーカーの配置に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
上記（１）から（３）までのいずれかに記載の画像処理装置。
（５）
前記選択部は、
前記第２の検出部による検出処理の対象とする前記マーカーの所定数が２つである場合、最も距離の遠くなる前記マーカーを選択し、
前記第２の検出部による検出処理の対象とする前記マーカーの所定数が３つ以上である場合、選択した前記マーカーを頂点とする多角形の面積が最大となるように前記マーカーを選択する
上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
前記第２の検出部は、前記マーカーを検出した検出結果として、前記マーカーが有する前記第２の検出成分における複数の特定点についての前記画像上の座標と前記マーカーの元となる画像であるマーカー元画像上の座標との対応関係を算出し、
前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
上記（１）から（５）までのいずれかに記載の画像処理装置。
（７）
前記第２の検出部は、前記マーカーを検出した検出結果として、前記画像に映されている前記マーカーを正面から映されたように補正した画像と、前記マーカーの元となる画像であるマーカー元画像上の座標との関係を表現する第１の行列を算出し、
前記推定部は、前記第２の検出部による検出結果に基づいて、前記背景画像上の各点と、前記画像内の前記マーカーが配置された平面上の各点との関係を表現する行列を、前記マーカーの位置および姿勢を推定した推定結果として算出する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
前記第１の検出成分には、個々の前記マーカーを識別するための識別情報が埋め込まれている
上記（１）から（７）までのいずれかに記載の画像処理装置。
（９）
複数の前記マーカーには、前記画像内の空間に対して固定されている前記マーカーと前記画像内の空間に対して固定されていない前記マーカーとがあり、前記識別情報により、前記マーカーの種別が識別可能である
上記（１）から（８）までのいずれかに記載の画像処理装置。
（１０）
前記選択部は、前記識別情報により識別される前記マーカーの種別に基づいて、前記第２の検出部による検出処理の対象とする所定数の前記マーカーを選択する
上記（１）から（９）までのいずれかに記載の画像処理装置。
（１１）
前記画像内の空間に対して固定されている前記マーカーに対する前記第２の検出部による検出結果に基づいて、前記画像上の座標と、前記画像内の空間に対して固定されている前記マーカーが規定する前記空間内の座標との対応関係を算出する算出部をさらに備え、
前記推定部は、前記第２の検出部による検出結果、および、前記算出部により算出された対応関係に基づいて、前記画像内の空間に対して固定されていない前記マーカーの姿勢を推定する
上記（１）から（１０）までのいずれかに記載の画像処理装置。
（１２）
前記マーカーは、前記第２の検出成分である自然画像の四隅に前記第１の検出成分である２次元コードが配置されることにより構成される
上記（１）から（１１）までのいずれかに記載の画像処理装置。
（１３）
前記マーカーは、前記第２の検出成分である自然画像が前記第１の検出成分である２次元コードにより変調されることにより構成される
上記（１）から（１２）までのいずれかに記載の画像処理装置。
（１４）
前記マーカーは、前記第２の検出成分が前記被写体の背景と同色を基本とした色で形成される
上記（１）から（１３）までのいずれかに記載の画像処理装置。
（１５）
前記マーカーに従って仮想オブジェクトを合成する場合、前記マーカーは、前記第２の検出成分が多色で形成される
上記（１）から（１４）までのいずれかに記載の画像処理装置。
（１６）
前記マーカーは、前記第１の検出成分に色差成分が割り当てられ、前記第２の検出成分に輝度成分が割り当てられて形成される
上記（１）から（１５）までのいずれかに記載の画像処理装置。
【０２００】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０２０１】
１１  カメラ，  １２  人物，  １３  壁面，  １４  マーカー，  １５  撮影画像，  １６  背景画像，  １７  出力画像，  ２１  画像処理システム，  ２２  撮影装置，  ２３  映像再生装置，  ２４  画像合成処理装置，  ２５  マーカー位置推定部，  ３１  粗検出用成分検出部，  ３２  マーカー選択部，  ３３  詳細検出用成分検出部，  ３４  推定処理部，  ４１  粗検出用画像，  ４２  詳細検出用画像，  ４３  マーカー元画像，  ５１  解説ボード，  ５２  フローティングマーカー，  ５３  置換画像，  ５４  マーカー，  ５５  仮想オブジェクト
【図１】
2014069247.tif 000031
【図２】
2014069247.tif 000032
【図３】
2014069247.tif 000033
【図４】
2014069247.tif 000034
【図５】
2014069247.tif 000035
【図６】
2014069247.tif 000036
【図７】
2014069247.tif 000037
【図８】
2014069247.tif 000038
【図９】
2014069247.tif 000039
【図１０】
2014069247.tif 000040
【図１１】
2014069247.tif 000041
【図１２】
2014069247.tif 000042
【図１３】
2014069247.tif 000043
【図１４】
2014069247.tif 000044
【国際調査報告】
2014069247.tif 000045
2014069247.tif 000046