(57)【特許請求の範囲】
【請求項１】
一連の被写体が部分的に撮像された複数のコンテンツからそれぞれ特徴を抽出する抽出手段と、
前記抽出手段によって抽出された特徴から前記被写体を撮像したときの実世界における位置の関係を推定する推定手段と、
前記推定手段による推定の結果に基づいて、実世界における位置の関係を保つ、前記複数のコンテンツの配置位置を決定する決定手段とを備え、
前記抽出手段では、前記特徴としてコンテンツの直線成分を抽出しており、前記推定手段は、前記複数のコンテンツの間で共通する部分が無い場合、前記直線成分の連続性により、前記複数のコンテンツの実世界における位置の関係を推定することを特徴とする画像処理装置。
【請求項２】
前記特徴は、前記複数のコンテンツの間で共通する部分の情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記抽出手段は、前記複数のコンテンツから局所特徴量を算出して前記複数のコンテンツの間で共通する部分の情報を抽出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴は、前記複数のコンテンツの間で対応する部分の情報であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記複数のコンテンツの間で対応する部分の情報は、直線成分、物体の色、及び物体の形状のうち、少なくとも１つであることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記推定手段は、前記複数のコンテンツの間で対応する部分の情報を用いて前記被写体の連続性を推定することにより位置の関係を推定することを特徴とする請求項４または５に記載の画像処理装置。
【請求項７】
前記推定手段は、さらに前記一連の被写体の全部または一部が撮像されたコンテンツであって、前記複数のコンテンツと共通する部分を含むコンテンツに基づいて位置の関係を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記複数のコンテンツが３つ以上のコンテンツである場合に、前記推定手段は、前記３つ以上のコンテンツのうち、２つのコンテンツの組み合わせに基づいて位置の関係を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記推定手段で推定される位置の関係は、前後、左右、上下の関係であることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
前記コンテンツは、静止画もしくは動画であることを特徴とする請求項１〜９の何れか１項に記載の画像処理装置。
【請求項１１】
一連の被写体が部分的に撮像された複数のコンテンツからそれぞれ特徴を抽出する抽出工程と、
前記抽出工程において抽出された特徴から前記被写体を撮像したときの実世界における位置の関係を推定する推定工程と、
前記推定工程における推定の結果に基づいて、実世界における位置の関係を保つ、前記複数のコンテンツの配置位置を決定する決定工程とを備え、
前記抽出工程では、前記特徴としてコンテンツの直線成分を抽出しており、前記推定工程は、前記複数のコンテンツの間で共通する部分が無い場合、前記直線成分の連続性により、前記複数のコンテンツの実世界における位置の関係を推定することを特徴とする画像処理方法。
【請求項１２】
一連の被写体が部分的に撮像された複数のコンテンツからそれぞれ特徴を抽出する抽出工程と、
前記抽出工程において抽出された特徴から前記被写体を撮像したときの実世界における位置の関係を推定する推定工程と、
前記推定工程における推定の結果に基づいて、実世界における位置の関係を保つ、前記複数のコンテンツの配置位置を決定する決定工程とをコンピュータに実行させ、
前記抽出工程では、前記特徴としてコンテンツの直線成分を抽出しており、前記推定工程は、前記複数のコンテンツの間で共通する部分が無い場合、前記直線成分の連続性により、前記複数のコンテンツの実世界における位置の関係を推定することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、レイアウトにコンテンツを配置するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、電子データの文書に対して、コンテンツに付随した位置情報などのメタデータを考慮してレイアウトを自動で行う技術が知られている。具体的な例として、撮影時に取得された撮影位置・方位・角度を基に、静止画像もしくは動画像を３次元の立体データ上の対応する点に表示させる技術が知られている（例えば、特許文献１参照）。また、別の例として、仮想空間の観察者に対し、観察者のもつ指示具の位置姿勢の情報を基に、情報を提供するオブジェクトを観察者の視点から見て好適な位置姿勢に配置する技術が知られている（例えば、特許文献２参照）。また、撮影画像に含まれている複数の撮影対象要素に関する実世界における位置的上下関係を示したデータを参照し、その上下関係を最もよく反映した配置となるように、画像の向きを決定する技術も知られている（例えば、特許文献３参照）。さらには、２枚の画像間でオーバーラップした部分を検出して画像を合成する技術も知られている（例えば、特許文献４参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−１２２６３８号公報
【特許文献２】特開２００６−２５２４６８号公報
【特許文献３】特許第４０６４１８６号公報
【特許文献４】特許第３８３２８９４号公報
【特許文献５】特開２０１０−１０２５０１号公報
【非特許文献】
【０００４】
【非特許文献１】C. Harris and M.J. Stephens, "A combined corner and edge detector," In Alvey Vision Conference, pages 147-152, 1988.
【非特許文献２】David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 60, 2 (2004), pp.91-110.
【非特許文献３】M.A. Fischler and R.C. Bolles, "Random sample consensus: A paradigm formodel fitting with applications to image analysis and automated cartography," Commun. ACM, no.24,vol.6, pp.381-395, June 1981.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、レイアウトを作成する上で重要な点として、鑑賞者に違和感を与えないことが挙げられる。例えば、各写真に写っている被写体の位置関係が実世界と逆になる形でレイアウトが作成されていると、その実世界を知る者には違和感を与えてしまう。また、実世界を知らない者は、被写体の位置関係を十分に把握することができない。
【０００６】
特許文献１に記載の手法では、紙のアルバムなど２次元平面に配置する場合、３次元の立体データを射影することとなる。その場合、各コンテンツが重なり合ってしまう可能性がある。特許文献２に記載の手法の場合には、指示具を必要としたり、原点が視点に限定されたりするため、他のカメラで撮影した画像をアルバム形式のレイアウトを作成する場合には適用できない。
【０００７】
また、特許文献３に記載の手法では、被写体の位置関係を示したデータを保持していない場合は、適切なレイアウトを作成することができない。また、特許文献４に記載の手法は、レイアウトを作成する技術ではないため、画像のサイズに制限がある場合には適用することができない。
【０００８】
本発明は前述の問題点に鑑み、特別な装置またはデータを不要にして、鑑賞者にとって見やすいコンテンツの位置を簡単に決定することができるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、一連の被写体が部分的に撮像された複数のコンテンツからそれぞれ特徴を抽出する抽出手段と、前記抽出手段によって抽出された特徴から前記被写体を撮像したときの実世界における位置の関係を推定する推定手段と、前記推定手段による推定の結果に基づいて、実世界における位置の関係を保つ、前記複数のコンテンツの配置位置を決定する決定手段とを備え、前記抽出手段では、前記特徴としてコンテンツの直線成分を抽出しており、前記推定手段は、前記複数のコンテンツの間で共通する部分が無い場合、前記直線成分の連続性により、前記複数のコンテンツの実世界における位置の関係を推定することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、特別な装置またはデータを不要にして、鑑賞者にとって見やすいコンテンツの位置を簡単に決定することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態において作成されるレイアウトの一例を説明する図である。
【図２】実施形態に係るレイアウト処理装置のハードウェア構成例を示すブロック図である。
【図３】実施形態に係るレイアウト処理装置の機能構成例を示すブロック図である。
【図４】第１の実施形態において、レイアウトを作成する処理手順の一例を示すフローチャートである。
【図５】第１の実施形態において、被写体の相対位置を推定するか否かを決定する処理手順の一例を示すフローチャートである。
【図６】第２の実施形態において作成されるレイアウトの一例を説明する図である。
【図７】第３の実施形態において作成されるレイアウトの一例を説明する図である。
【図８】第４の実施形態において作成されるレイアウトの一例を説明する図である。
【図９】第５の実施形態において作成されるレイアウトの一例を説明する図である。
【図１０】第６の実施形態において、被写体の相対位置を推定するか否かを決定する処理手順の一例を示すフローチャートである。
【図１１】第７の実施形態において作成されるレイアウトの一例を説明する図である。
【図１２】第８の実施形態において作成されるレイアウトの一例を説明する図である。
【発明を実施するための形態】
【００１２】
（第１の実施形態）
以下、本発明の第１の実施形態について説明する。ここで、例えば、図１（ａ）に示すように、実世界１０１において、模様の付いた紙の物体１０８の左側に角柱が置かれ、右側に円柱が置かれているシーンを撮影するものとする。図１（ｂ）には、角柱が撮影された写真１０２及び円柱を撮影した写真１０３を示している。このとき、撮影された順序が写真１０３、写真１０２の順である場合にレイアウトを作成すると、一般的には、図１（ｃ）に示すレイアウト１０４が作成される。このように左開きのアルバムに時系列順に並べると、左から右に順番に写真が並んだレイアウト１０４になる。このような形になってしまうと、実際の被写体の配置とは逆向きに写真が並んでしまい、鑑賞者に違和感等を与えてしまう。そこで本実施形態では、各写真間の位置関係を画像の特徴データを用いて推定し、図１（ｃ）に示すレイアウト１０５を作成する。このレイアウト１０５であれば、実世界での被写体の配置と同じ向きに写真が並び、見やすいものとなったといえる。
【００１３】
図２は、本実施形態におけるレイアウト処理装置２００のハードウェア構成例を示すブロック図である。
図２に示すように、画像処理装置であるレイアウト処理装置２００は、ＣＰＵ（Central Processing Unit）２０１、入力装置２０２、出力装置２０３及び記憶装置２０４を備えている。さらに、ＲＡＭ（Random  Access Memory）２０５、ＲＯＭ（Read Only Memory）２０６及びＢＵＳ２０７を備えている。
【００１４】
ＣＰＵ２０１は、各種データ処理のための論理演算、判断等を行い、ＢＵＳ２０７で接続されている各構成要素の制御を行う。入力装置２０２には、例えば、アルファベットキー、ひらがなキー、カタカナキー、句点等の文字記号入力キー、カーソル移動を指示するカーソル移動キー等のような、各種の機能キーを備えたキーボードが接続されている。また、他に接続されるものとして、レイアウト対象とする画像を入力するカメラ等の撮像素子、もしくは撮像素子によって記録された画像が保持し、入力するためのＨＤＤ等のストレージも挙げられる。さらに、ＧＵＩ（Graphical User Interface）上で画面の制御可能位置を指し示し、機能の選択指示などを行うポインティング機器、例えばマウスやスティックポインタ等も挙げられる。
【００１５】
出力装置２０３は、液晶パネル等の各種表示装置である。記憶装置２０４には、入出力データや処理プログラム等、各種情報が格納される。これらのデータ及びプログラムを格納する記憶媒体としては、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フラッシュメモリ等を用いることができる。ＲＡＭ２０５は、各構成要素からの各種データを一時的に記憶する際に用いられる。ＲＯＭ２０６は、本実施形態で実行される処理プログラム等の制御プログラムを記憶する。これら全ての構成要素はＢＵＳ２０７で接続されている。
【００１６】
図３は、本実施形態のレイアウト処理装置２００の機能構成例を示すブロック図である。
レイアウト処理装置２００は、コンテンツ特徴情報取得部３０１、コンテンツ対応関係取得部３０２、位置姿勢推定部３０３、及びコンテンツ配置位置決定部３０４を備えている。以下、コンテンツとは写真を意味するものとする。以下、これらの機能について、全体の流れを示した図４と合わせて説明する。
【００１７】
図４は、本実施形態に係るレイアウト処理装置２００によりレイアウトを作成する処理手順の一例を示すフローチャートである。
まず、ステップＳ４０１において、コンテンツ特徴情報取得部３０１は、記憶装置２０４からコンテンツを読み出し、読み出したコンテンツに対して所定の処理を行って特徴データを取得し、ＲＡＭ２０５に設定する。なお、この際取得されるデータは今後の処理で使用されるデータが含まれていればよく、それ以外のデータについては含まれていてもいなくても構わない。また、特徴データの取得処理の詳細については後述する。
【００１８】
次に、ステップＳ４０２において、コンテンツ特徴情報取得部３０１は、レイアウトの対象とするコンテンツを選択する。ここで選択方法としては、コンテンツに付随している情報などを用いて選択してもよく、ユーザの操作により入力装置２０２から入力された情報に従って選択してもよい。
【００１９】
コンテンツに付随している情報などを用いて選択する場合に使用する情報及び選択方法としては、例えば、撮影場所を用いて位置が所定の距離以内のものを選択したり、撮影時刻を用いて時刻が所定の間隔以内のものを選択したりする方法が挙げられる。また、顔の位置や形状の類似した物体の位置を基に、コンテンツの構図が似通ったものを選択するという方法を用いてもよい。
【００２０】
また、ユーザの操作により入力装置２０２から入力された情報に従って選択する場合には、使用するコンテンツを単純にクリックなどで選択する以外にも、スイッチボタンなどを用いて選択を行うといった手段も考えられる。なお、手動で使用コンテンツを選択する場合には、コンテンツの特徴データを取得する処理（ステップＳ４０１）はこの後でも構わない。
【００２１】
次に、ステップＳ４０３において、コンテンツ対応関係取得部３０２は、取得した特徴データを比較し、複数のコンテンツ間で共通した部位、もしくは共通した物体を推定してその対応関係の情報を取得する。そして、ステップＳ４０４において、位置姿勢推定部３０３は、各コンテンツ中の被写体間の現実世界における撮像装置に対する位置姿勢を推定する。
【００２２】
次に、ステップＳ４０５において、コンテンツ配置位置決定部３０４は、この推定された位置姿勢を基に各コンテンツのアルバム上でのレイアウトの位置を決定する。そして、ステップＳ４０６において、ステップＳ４０５において決定したレイアウトの位置に各コンテンツを配置する。これにより、レイアウト１０５のような各コンテンツ中の被写体間の現実世界での位置姿勢を再現したレイアウトをアルバム上に作成することができる。
【００２３】
ステップＳ４０１で取得する特徴データの種類及びその取得方法は様々なものが考えられる。本実施形態では、画像の局所的な特徴量（局所特徴量）を特徴データとして取得し、この局所特徴量を用いて類似画像を検索する方法を用いることとする。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する。局所特徴点を抽出する方法としては、例えば非特許文献１に開示されている方法を用いる。そして、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する。局所特徴量を計算する方法としては、例えば非特許文献２に開示されている方法を用いる。そして、画像の検索は、局所特徴量同士のマッチングによって行う。
【００２４】
局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。また、局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。回転不変の局所特徴量を算出するために、例えば非特許文献２に記載の方法では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量を算出する時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点を抽出して局所特徴量を算出する。ここで、内部で生成した一連の異なるスケールの画像の集合は一般的にスケールスペースと呼ばれる。各特徴点の特徴量は、方向の正規化の際の回転角度及び特徴量を算出したスケールスペースも記憶する。
【００２５】
ステップＳ４０３については、図５を用いてその詳細を説明する。図５は、本実施形態における図４のステップＳ４０３の詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、対象としているコンテンツが同一の位置または同一時点で撮影されたものかどうかを判定する。この判定の結果、対象としているコンテンツが同一の位置または同一時点で撮影されたものである場合は、次のステップＳ５０２に進む。この判定は、特定の場所から観察された、つまり撮影者が撮影した際に見た各被写体の相対位置姿勢を再現させるために必要な処理である。この判定には、例えばＧＰＳによって付与された緯度経度情報を利用したり、手動で入力された場所の情報を使用したりすればよい。
【００２６】
また、複数のコンテンツ間で撮影時刻に大きな差がない場合には、撮影者は撮影位置を変更していないと推定することができるので、コンテンツに付与された撮影時刻を利用することも挙げられる。ただし、センサの計測誤差や撮影間隔を考慮に入れる必要があると考えられるので、所定範囲の差異までは同一の位置とみなす。なお、ステップＳ５０１の判定の結果、同一位置または同一時点で撮影されたものではない場合には、本実施形態における並べ替えの適用は行わず、時系列順に配置する等、他のルールに従って各コンテンツのレイアウトを作成することとする。そのため、ステップＳ５０４へ進み、相対位置に基づくレイアウトを作成するフラグをＯＦＦにして処理を終了する。
【００２７】
次に、ステップＳ５０２において、ステップＳ４０１で取得した特徴データ（局所特徴量）を比較する。局所特徴点または局所特徴量を比較して画像を照合する方法にはいろいろあるが、本実施形態では、非特許文献３に開示されているＲＡＮＳＡＣを利用する。なお、特許文献５には、その検索処理の概要が開示されている。
【００２８】
具体的な比較手順としては、まず、検索元画像の各局所特徴量に対し、比較先画像の局所特徴量で特徴間距離が最小となるものをペアで記述する。次に、検索元画像から３個の局所特徴量をランダムに選択し、それぞれの特徴間距離が最小となる比較先画像の局所特徴量群との間で、その座標の対応からアフィン変換行列を求める。このアフィン変換行列を用い、検索元画像の残りの局所特徴量の座標を比較先画像の座標に変換し、その近傍に上記特徴間距離が最小となるペアの局所特徴量が存在するか否かを確認し、存在すれば１票投票し、存在しなければ投票しないようにする。
【００２９】
最終的に、この投票数が所定の値に達した場合には、検索元画像と比較先画像との間で部分一致する領域が存在すると判断し、その投票数が多いほど一致する領域が大きいと考える。他方、投票数が所定の値に達しない場合には、新たに検索元画像から３個の局所特徴量をランダムに選択してアフィン変換行列を求める処理から再度処理を行うが、この再処理は定められた反復カウント数以内で繰り返す。反復カウント数に達しても投票数が所定の値を超えない場合には、部分一致する領域が存在しないと判断して比較の処理を終了する。
【００３０】
そして、部分一致する領域が存在する場合、上記求めたアフィン変換行列と特徴間距離とが最小となるもののペアを用い、検索元画像中の着目した局所特徴量と対応する特徴量を求めることができる。このとき、その局所特徴量を求める際の方向の正規化の際の回転角度から検索元画像と比較先画像との回転角度の関係を求めることもできる。さらに、その局所特徴量を求める際のスケールスペースを用いて、検索元画像と比較先画像との拡縮関係も求めることができる。
【００３１】
次に、ステップＳ５０３において、上記のステップＳ５０２の処理により複数のコンテンツ間で対応が取れるか否かを判定する。つまり、特徴間距離が最小となるペアの局所特徴量が所定数以上存在しているか否かを判定する。この判定の結果、複数のコンテンツ間で対応が取れる場合は、ステップＳ５０５において、相対位置に基づくレイアウトを作成するフラグをＯＮにして処理を終了する。一方、ステップＳ５０３の判定の結果、対応が取れない場合には、ステップＳ５０４へ進み、相対位置に基づくレイアウトを作成するフラグをＯＦＦにして処理を終了する。
【００３２】
ここで、具体例として図１（ｂ）に示す写真１０２、１０３のレイアウトを作成する例について説明する。まず、ステップＳ４０１では、特徴データとして画像中の局所特徴量を取得する。次に、ステップＳ４０２では、コンテンツとして写真１０２、１０３を選択する。
【００３３】
ステップＳ４０３では、この選択された写真１０２、１０３について、取得された情報を比較する。この処理の詳細として、まず、ステップＳ５０１では撮影時刻情報を比較する。２枚の写真１０２、１０３については、撮影間隔が所定の間隔より短く、双方とも同一の場所から撮影されたものと判定する。次に、ステップＳ５０２では、局所特徴量を比較する。その結果、図１（ｂ）に示すように、写真１０２の局所領域１０６と写真１０３の局所領域１０７とが同一の部分であり、対応が取れるということが分かる。そのため、ステップＳ５０３では、複数のコンテンツ間で対応が取れると判定し、ステップＳ５０５では、相対位置に基づくレイアウトを作成するフラグをＯＮにする。
【００３４】
次に、ステップＳ４０４では、同一部分と判定された局所領域１０６、１０７を基に被写体に対する位置姿勢を推定する。具体的には、局所領域１０６は写真１０２の右端に存在し、局所領域１０７が写真１０３の左端に存在することから、撮影者から見て写真１０２は左側の部分が撮影されたものであり、写真１０３は右側の部分が撮影されたものであると推定することができる。
【００３５】
ステップＳ４０５では、この推定結果を基に、写真１０２をページの左側に配置し、写真１０３を右側に配置することを決定する。そして、ステップＳ４０６では、ステップＳ４０５で決定した配置によりレイアウトを作成する。その結果、図１（ｃ）に示すレイアウト１０５が作成される。なお、本実施形態では、水平方向の位置関係を推定しているが、有効な対応部分さえあれば垂直方向の位置関係を推定することも可能である。この場合には、コンテンツを上下に配置することとなる。
【００３６】
以上のように本実施形態によれば、鑑賞者に各コンテンツ中の被写体間の位置関係の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００３７】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態では水平及び垂直方向の位置関係を推定してレイアウトを作成したが、本実施形態では奥行方向（前後方向）の位置関係を推定してレイアウトを作成する例について説明する。なお、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点について説明する。
【００３８】
例えば、図６（ａ）に示すように、実世界６０１において、模様の付いた紙の手前に角柱が置かれ、奥に円柱が置かれているシーンを撮影するものとする。図６（ｂ）には、角柱を撮影した写真６０２と、円柱を撮影した写真６０３とを示している。ここで、撮影された順序が写真６０３、写真６０２の順である場合にレイアウトを作成すると、一般的には、図６（ｃ）に示すレイアウト６０４が作成される。このように左開きのアルバムに時系列順に並べると、奥行に応じてサイズを変更し、上から下に順番に写真が並んだレイアウト６０４になる。このような形になってしまうと、実際の被写体の配置とは逆向きに写真が並んでしまい、鑑賞者に違和感等を与えてしまう。そこで本実施形態では、各写真の撮像装置に対する位置姿勢を画像の特徴データを用いて推定し、そこから各写真間の位置関係を割り出し、図６（ｃ）に示すレイアウト６０５を作成する。このレイアウト６０５であれば、実世界での被写体の配置と同じ向きに写真が並び、見やすいものとなったといえる。
【００３９】
本実施形態では、ステップＳ４０４における相対位置を推定する方法が異なっている。具体的な例としては、まず、同一部分と判定された領域のサイズを比較する点が挙げられる。奥にあるものほど拡大して撮像する場合があるため、同一部分のサイズは、奥の被写体を撮像したコンテンツの方が、手前の被写体を撮影したコンテンツよりも大きくなる場合がある。第１の実施形態で説明した局所特徴量は、前述の通り拡大縮小に不変である。したがって、サイズが変わっていても比較することは可能であるため、共通部分が大きく写っているコンテンツの被写体は奥にあると推定できる。
【００４０】
また、この性質が成り立たない場合でも、共通部分の特徴点から平面推定を行うことにより被写体の位置姿勢を推定することが可能である。平面は最低３点あれば求めることができるので、３点以上の共通特徴点から平面を推定し、被写体がそれぞれ平面状のどこにあるかを求めることにより、被写体の位置姿勢を推定することが可能である。もしくは、一致する特徴点のスケール情報は対応部位の大きさに比例するので、この性質を基に奥行を推定することも可能である。
【００４１】
図６（ｃ）に示すレイアウト６０５は、このようにして推定された結果を基にステップＳ４０６で配置された結果である。本実施形態では、紙のアルバムなど２次元平面をレイアウトの対象としているが、３次元ディスプレイなど３次元の表示装置にも、相対的な位置関係を再現する形でレイアウトすることが可能である。
【００４２】
以上のように本実施形態によれば、水平・垂直方向だけでなく、奥行方向であっても鑑賞者に各コンテンツ中の被写体間の位置関係の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００４３】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態では、同一の部分が存在しない場合に水平方向及び垂直方向の位置関係を推定してレイアウトを作成する例について説明する。なお、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点について説明する。
【００４４】
例えば、図１（ａ）に示す実世界１０１において、図７（ａ）に示す写真７０１、７０２が撮影されたものとする。そして、撮影された順序が写真７０２、写真７０１の順である場合にレイアウトを作成すると、時系列順に配置されるため、一般的には、図７（ｂ）に示すレイアウト７０３が作成される。このような形になってしまうと、実際の被写体の配置とは逆向きに写真が並んでしまい、鑑賞者に違和感等を与えてしまう。また、第１の実施形態で示した方法では、写真７０１、７０２の間に同一の部分が存在しないため、時系列順に配置されてしまう。そこで本実施形態では、このような場合であっても、各写真間の位置関係を画像の特徴データを用いて推定し、図７（ｂ）のレイアウト７０４を作成する例について説明する。
【００４５】
具体的な処理の流れとしては第１の実施形態と同様であるが、この場合、写真７０１と写真７０２との間には同一の部分が存在しない。そこで、図７（ｃ）に示す、２つの被写体（角柱及び円柱）が共に含まれており、長方形の物体１０８の全部が含まれている写真７０５を用意し、ステップＳ４０３において、この写真７０５と写真７０１、７０２との対応を取ることとする。なお、長方形の物体１０８の全部が含まれている必要はなく、場合によっては部分的に含まれている写真を用いてもよい。
【００４６】
図７（ｃ）に示す写真７０５を得る手段としては、任意の人物が撮影したものを用いてもよく、超多画素カメラを使用して予め撮影しておいてもよい。また、カメラの電源がＯＮのときは常に撮影しその写真を合成したり、動画を撮影しそこから数フレームを抜き出して合成したりしてもよい。また、対応の取り方や位置姿勢の推定については第１の実施形態と同様に行う。その結果、写真７０１は、写真７０５の中の領域７０６と対応し、写真７０２は写真７０５の中の領域７０７と対応することが分かるので、撮影者から見て写真７０１は左側、写真７０２は右側にあった部分を撮影したと推定される。
【００４７】
この推定結果を基に、ステップＳ４０５において、写真７０１をページの左側に配置し、写真７０２を右側に配置することを決定する。そして、ステップＳ４０６において、実際にレイアウトを作成する。その結果、図７（ｂ）に示すレイアウト７０４が作成される。なお、図７に示した例では水平方向の位置関係の推定を行っているが、有効な対応部分さえあれば第１の実施形態と同じく垂直方向の位置関係を推定することも可能である。この場合には、コンテンツを上下に配置することとなる。
【００４８】
以上のように本実施形態によれば、レイアウトの対象外のコンテンツを用いて、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００４９】
（第４の実施形態）
以下、本発明の第４の実施形態について説明する。本実施形態では、同一の部分が存在しない場合に奥行方向の位置関係を推定してレイアウトを作成する例について説明する。なお、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第２の実施形態と同様であるため、説明は省略する。本実施形態では、第２の実施形態と異なる点について説明する。
【００５０】
例えば、図６（ａ）に示す実世界６０１において、図８（ａ）に示す写真８０１、８０２が撮影されたものとする。そして、撮影された順序が写真８０２、写真８０１の順である場合にレイアウトを作成すると、時系列順に配置され、一般的には、図８（ｂ）に示すレイアウト８０３が作成される。このような形になってしまうと、実際の被写体の配置とは逆向きに写真が並んでしまい、鑑賞者に違和感等を与えてしまう。また、第２の実施形態で示した方法では、写真８０１、８０２の間に同一の部分が存在しないため、時系列順に配置されてしまう。そこで本実施形態では、このような場合であっても、各写真間の位置関係を画像の特徴データを用いて推定し、図８（ｂ）のレイアウト８０４を作成する例について説明する。
【００５１】
具体的な処理の流れとしては第２の実施形態と同様であるが、写真８０１と写真８０２との間には同一の部分が存在しない。そこで第３の実施形態と同様に、図８（ｃ）に示す、２つの被写体（角柱及び円柱）が共に写っている写真８０５を用意し、ステップＳ４０３において、この写真８０５と写真８０１、８０２との対応を取ることとする。この写真８０５を得る手段はとしては、第３の実施形態と同様である。
【００５２】
また、対応の取り方や位置姿勢の推定については、第２の実施形態と同様に行う。その結果、写真８０１は写真８０５の中の領域８０６と対応し、写真８０２は写真８０５の中の領域８０７と対応することが分かるので、撮影者から見て写真８０１は手前、写真８０２は奥にあったと推定される。
【００５３】
このようにして推定された結果を基に、ステップＳ４０６で配置された結果、図８（ｂ）に示すレイアウト８０４が作成される。なお、本実施形態においても、第２の実施形態と同様に、紙のアルバムなどの２次元平面だけでなく３次元ディスプレイなどの３次元の表示装置にも、相対的な位置関係を再現する形でレイアウトすることが可能である。
【００５４】
以上のように本実施形態によれば、奥行方向でもレイアウト対象外のコンテンツを用いて、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００５５】
（第５の実施形態）
以下、本発明の第５の実施形態について説明する。本実施形態では、第３及び４の実施形態と同様に２枚の写真間で同一の部分が存在しない場合に各コンテンツ間の位置関係を推定してレイアウトを作成する例について説明する。なおし、本実施形態では、２枚の写真に同一の物体が分割されて写っている点を利用してレイアウトを作成する。また、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点について説明する。
【００５６】
例えば、図１（ａ）に示す実世界１０１のシーンにおいて、図９（ａ）に示す写真９０１、９０２を撮影するものとする。ここで、写真９０１の中の物体９０７及び写真９０２の中の物体９０８は、ともに実世界１０１に存在する長方形の物体１０８である。したがって、この物体９０７、９０８が同一の物体であると判断できれば、そのことを手がかりに撮像装置に対する被写体の位置姿勢を推定することが可能となる。
【００５７】
具体的な処理の流れは第１の実施形態と同様であるが、本実施形態では、ステップＳ４０１で取得する特徴データと、ステップＳ４０３における複数のコンテンツ間でのマッチング方法が異なっている。本実施形態では、物体１０８の各辺を直線として抽出し、その成分を特徴として比較することにより対応を取る。
【００５８】
具体的には、まず、ステップＳ４０１において、画像中の直線成分を抽出する。この処理では既知の手法を用いればよく、例えば画像に対してHough変換をかけることにより、画像に含まれる直線を抽出することができる。例えば、写真９０１では直線９０３、９０４が抽出され、写真９０２では直線９０５、９０６がそれぞれ抽出される。
【００５９】
また、ステップＳ４０３においては、各画像から抽出した直線成分を比較する。前述したように、使用する画像は撮影時間もしくは場所の差異が所定の範囲内であるという制約があるため、２つの画像間でパラメータがほぼ同一である直線の組が存在すれば、それらは連続した直線であると判断することができる。図９（ａ）に示す例では、直線９０３と直線９０５とが連続性を示す直線であり、直線９０４と直線９０６とが連続性を示す直線であると判断される。このことを利用すれば、連続した直線を辺として持つ物体は、同一の物体であるとみなすことができる。つまり、物体９０７と物体９０８とは同一の物体であると判断される。
【００６０】
この対応関係を利用することにより、第１〜第４の実施形態と同様に被写体の位置姿勢を推定することができ、上下左右、および奥行方向での写真の配置位置を決定することができる。写真９０１では２枚の写真間で同一とみなされる物体９０７が写真の右側に存在し、写真９０２では同じく物体９０８が左側に存在するので、撮影者から見て写真９０１は左側、写真９０２は右側にあった部分であると推定される。
【００６１】
この推定結果を基に、ステップＳ４０５において、写真９０１をページの左側に配置し、写真９０２を右側に配置することを決定する。そして、ステップＳ４０６で実際にレイアウトを作成する。その結果、図９（ｂ）に示すレイアウト９０９が生成される。なお、対応関係を取得するために使用する特徴は直線成分でなくてもよい。例えば、物体の形状や色といったものを使用しても構わない。例えば円のように直線成分のない物体が双方の写真に共通して写っていた場合、色を特徴として利用すると有効である。
【００６２】
以上のように本実施形態によれば、各コンテンツ間で共通部分がなくても、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００６３】
（第６の実施形態）
以下、本発明の第６の実施形態について説明する。本実施形態では、画像の特徴データを利用して画像間の対応関係を推定できない場合に、各コンテンツ間の位置関係を推定してレイアウトを作成する例について説明する。なお、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点について説明する。
【００６４】
第１〜５の実施形態では、画像間の対応関係を推定するために、画像の特徴データとして、局所特徴量、直線、色などを挙げてきた。しかし、これらを含めた画像から得られるどんな特徴量を用いても対応関係が取れない可能性がある。その場合には、代替手法として画像から抽出できる以外の特徴を使用することとする。使用する特徴としては、例えば電子コンパスなどのセンサ情報が挙げられる。また、手動で対応関係を指定することも考えられる。この状況を考慮した場合でも、基本的な処理の流れは第１の実施形態と同様であるが、ステップＳ４０３の処理が本実施形態では異なる。
【００６５】
図１０は、本実施形態における図４のステップＳ４０３の詳細な処理手順の一例を示すフローチャートである。以下、図５と異なる点について説明する。
【００６６】
ステップＳ５０３の判定の結果、画像の特徴データを利用して対応がとれない場合には、ステップＳ１００１において、前述した代替手法を用いることができるか否かを判定する。この判定の結果、代替手法を用いることができない場合はステップＳ５０４に進む。一方、代替手法を用いることができる場合は、ステップＳ１００２において、代替手法を用いるフラグをＯＮにする。これにより、図４のステップＳ４０４では、代替手法により各コンテンツ間の位置関係を推定することとなる。
【００６７】
以上のように本実施形態によれば、特徴量を用いても対応関係が取れない場合にも、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００６８】
（第７の実施形態）
以下、本発明の第７の実施形態について説明する。本実施形態では、３つ以上の被写体（写真）のレイアウトを作成する例について説明する。なお、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点について説明する。
【００６９】
例えば、図１１（ａ）に示すように、実空間１１０１において、模様の付いた紙の近傍に、左側に角柱、中央に円柱、右側に立方体が置かれているシーンを撮影するものとする。図１１（ｂ）には、角柱を撮影した写真１１０２、円柱を撮影した写真１１０３、及び立方体を撮影した写真１１０４を示している。
【００７０】
具体的な処理の流れとしては、まず、図４に示す手順により２枚ずつの位置姿勢を推定していき、位置姿勢を位置関係が推定できる組み合わせで繰り返していく。そして、位置関係を推定した写真を組み合わせた中で、重複があるものを手がかりにして全体の位置関係を推定していく。
【００７１】
例えば、写真１１０２、１１０３、１１０４の場合、まず、第５の実施形態と同じ方法により写真１１０２と写真１１０３との位置姿勢が推定され、撮影者から見て写真１１０２が左側、写真１１０３が右側にあった部分を撮影したと推定される。同様に写真１１０３と写真１１０４とに関しては、第１の実施形態と同じ方法で推定が行われ、撮影者から見て写真１１０３が左側、写真１１０４が右側にあった部分を撮影したと推定される。この２つの推定結果から、写真１１０２、１１０３、１１０４は撮影者から見て左から１１０２、１１０３、１１０４の順にあったシーンを撮影したと推定することができる。
【００７２】
この推定結果を基に、ステップＳ４０５において、写真１１０２をページの左側に配置し、写真１１０３をページの中央に配置し、写真１１０４をページの右側に配置することを決定する。そして、ステップＳ４０６で実際にレイアウトを作成する。その結果、図１１（ｃ）に示すレイアウト１１０５が生成される。上記の例では２枚の写真の位置関係の推定に第１及び第５の実施形態で示した方法を用いたが、勿論他の実施形態で示した方法を用いても構わない。また、ある組は水平方向の位置関係を、別の組は垂直方向の位置関係を推定し、それらを組み合わせるといったことも可能である。
【００７３】
以上のように本実施形態によれば、対象コンテンツが３つ以上であっても、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００７４】
（第８の実施形態）
以下、本発明の第８の実施形態について説明する。本実施形態では、被写体が傾いて撮影されている場合に各コンテンツ間の位置関係を推定してレイアウトを作成する例について説明する。なお、本実施形態に係るレイアウト処理装置の構成及び処理手順については、基本的には第１の実施形態と同様であるため、説明は省略する。本実施形態では、第１の実施形態と異なる点について説明する。
【００７５】
例えば、図１（ａ）に示す実世界１０１のシーンを撮影し、図１２（ａ）に示す写真１２０１、１２０２が得られたものとする。ここで、写真１２０１は、実世界１０１と比較して傾いている。このため、第１〜第７の実施形態に従ってこのままレイアウトを作成すると、鑑賞者に見にくさを感じさせてしまう。そこで本実施形態では、局所特徴量の回転への不変性を利用し、見にくさを感じさせないように傾きを補正してレイアウトを作成する例について説明する。
【００７６】
基本的な処理の流れとしては第１の実施形態と同様であるが、本実施形態ではステップＳ４０３でコンテンツをマッチングする際に、画像の回転を考慮することとなる。写真１２０１と写真１２０２とでは、局所領域１２０３、１２０４が対応している。この２つの局所領域における局所特徴量は、第１の実施形態で説明したとおり主方向を基準として回転させ、方向の正規化が行われている。また、前述したように、局所領域を求める際に、回転角度の関係も求めることができる。したがって、この際に回転させた角度を記憶しておけば傾きを補正することが可能となる。
【００７７】
ここで、傾きを補正する際の基準の選択方法は、手動で基準とする写真を選択する、写真内の直線成分を比較しより水平な直線が多いものを選択する、第３及び第４の実施形態のように被写体が全て写っている写真を利用する、といった方法が挙げられる。そして、これらの処理により傾きを推定した後、写真の傾きの補正を行い、更に被写体に内接する矩形で一部を切り出し、図１２（ｂ）に示す写真１２０５が生成される。
【００７８】
この補正と第１の実施形態と同様の位置姿勢の推定とを基に、ステップＳ４０５において、写真１２０５をページの左側に配置し、写真１２０２をページの右側に配置することを決定する。そして、ステップＳ４０６で実際にレイアウトを作成する。その結果、図１２（ｃ）に示すレイアウト１２０６が生成される。上記の例では第１の実施形態と同様の実世界における推定を示したが、勿論他の実施形態で示した例にも適用可能である。
【００７９】
以上のように本実施形態によれば、対象コンテンツが傾いている場合にも、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことからくる違和感等を与えることを減らすことができる。
【００８０】
（その他の実施形態）
前述した第１〜第８の実施形態では、基本的に写真を対象にして、１つの特徴データを基に、画像間の１方向の相対位置推定を行う例について説明した。一方、動画であっても写っている画像中で大きく特徴が変化しなければ、レイアウトの対照とすることは可能である。また、２つ以上の特徴データを組み合わせて相対位置を推定したり、２方向以上の相対位置を組み合わせて推定したりしても構わない。
【００８１】
例えば、図６に示す実世界６０１における角柱と円柱との相対位置の関係を考える。第２の実施形態においては、この２つの被写体の奥行の相対位置の関係のみを対象にして局所特徴量のみを用いた。しかし、２つの被写体の位置関係は斜めになっている。したがって、この斜めの関係を再現するために奥行方向とともに水平方向の位置関係も推定する。さらに、その際に局所特徴量だけでなく、物体の形状も特徴として用いる。これにより、斜め方向の位置関係をレイアウトで再現できる。また、複数の情報を用いることにより、位置関係の推定精度を高めることができる。さらに、静止画の代わりに上記特徴が変化しない程度の動画を用いることもできる。以上により、鑑賞者に各コンテンツ中の被写体間の位置姿勢の矛盾や、自然に視線を運べないことによる違和感等を与えることをより精度よく減らすことができる。
【００８２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００８３】
３０１  コンテンツ特徴情報取得部
３０２  コンテンツ対応関係取得部
３０３  位置姿勢推定部
３０４  コンテンツ配置位置決定部
【図１】
0005925007.tif 000002
【図２】
0005925007.tif 000003
【図３】
0005925007.tif 000004
【図４】
0005925007.tif 000005
【図５】
0005925007.tif 000006
【図６】
0005925007.tif 000007
【図７】
0005925007.tif 000008
【図８】
0005925007.tif 000009
【図９】
0005925007.tif 000010
【図１０】
0005925007.tif 000011
【図１１】
0005925007.tif 000012
【図１２】
0005925007.tif 000013