(57)【要約】【課題】複数のコンテンツをレイアウトする際に、実世界における位置関係とは違った配置となって見る者に違和感を与える事態を回避する。【解決手段】複数のコンテンツを取得するコンテンツ取得部２０１と、コンテンツ取得部２０１で取得したコンテンツのメタデータを取得するメタデータ取得部２０２と、メタデータ取得部２０２で取得したメタデータを評価するメタデータ評価部２０３と、コンテンツ取得部２０１で取得したコンテンツに含まれる被写体の被写体情報を取得する被写体情報取得部２０４と、メタデータ評価部２０３の評価結果と前記被写体情報とに基づいてコンテンツ取得部２０１で取得したコンテンツの撮影方向における相対位置を推定する相対位置推定部２０５と、相対位置推定部２０５の推定結果に基づいてコンテンツ取得部２０１で取得したコンテンツの配置位置を決定するコンテンツ配置位置決定部２０６を備える。【選択図】図２
2013257654.tif 000002
【特許請求の範囲】
【請求項１】
複数のコンテンツをレイアウトする処理を行うレイアウト処理装置であって、
前記複数のコンテンツを取得するコンテンツ取得手段と、
前記コンテンツ取得手段で取得されたコンテンツに関連付けられたメタデータを取得するメタデータ取得手段と、
前記メタデータ取得手段で取得されたメタデータを評価するメタデータ評価手段と、
前記コンテンツ取得手段で取得されたコンテンツに含まれる被写体に係る被写体情報を取得する被写体情報取得手段と、
前記メタデータ評価手段による評価の結果と前記被写体情報とに基づいて、前記コンテンツ取得手段で取得されたコンテンツの撮影方向における相対位置を推定する相対位置推定手段と、
前記相対位置推定手段による推定の結果に基づいて、前記コンテンツ取得手段で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定手段と
を有することを特徴とするレイアウト処理装置。
【請求項２】
前記メタデータ取得手段は、前記コンテンツ取得手段で取得されたコンテンツが撮影された撮影位置および撮影方位に係るメタデータを取得し、
前記メタデータ評価手段は、１つ以上の前記コンテンツの前記撮影位置が存在し、かつ、１つ以上の前記コンテンツの前記撮影方位が欠損していることを判定し、
前記被写体情報取得手段は、前記撮影方位が欠損しているコンテンツに含まれる被写体の被写体位置の情報を取得し、
前記相対位置推定手段は、前記被写体位置と前記撮影位置とを用いて前記撮影方位が欠損しているコンテンツの撮影方位を得て、前記相対位置を推定することを特徴とする請求項１に記載のレイアウト処理装置。
【請求項３】
前記メタデータ取得手段は、前記コンテンツ取得手段で取得されたコンテンツが撮影された撮影位置および撮影方位に係るメタデータを取得し、
前記メタデータ評価手段は、全ての前記コンテンツの前記撮影位置が欠損し、かつ、１つ以上の前記コンテンツの前記撮影方位が欠損していることを判定し、
前記被写体情報取得手段は、少なくとも３つの前記コンテンツに含まれる被写体の被写体位置と当該コンテンツの撮影距離の情報を取得し、
前記相対位置推定手段は、前記被写体位置と前記撮影距離とを用いて撮影位置を求め、当該撮影位置と前記被写体位置とを用いて前記撮影方位が欠損しているコンテンツの撮影方位を得て、前記相対位置を推定することを特徴とする請求項１に記載のレイアウト処理装置。
【請求項４】
前記メタデータ評価手段は、前記被写体位置と前記撮影位置とが所定の範囲内にあるとき、前記撮影位置が欠損と判定することを特徴とする請求項２または３に記載のレイアウト処理装置。
【請求項５】
前記被写体情報取得手段は、指定された位置情報に基づいて、検索する前記被写体を限定することを特徴とする請求項１乃至４のいずれか１項に記載のレイアウト処理装置。
【請求項６】
複数のコンテンツをレイアウトする処理を行うレイアウト処理装置であって、
前記複数のコンテンツを取得するコンテンツ取得手段と、
前記コンテンツ取得手段で取得されたコンテンツが撮影された撮影位置および撮影方位に係るメタデータを取得するメタデータ取得手段と、
１つ以上の前記コンテンツの前記撮影位置が欠損し、かつ、全ての前記コンテンツの前記撮影方位が存在していることを判定するメタデータ評価手段と、
前記コンテンツの前記撮影方位の平均方向を向いたときの当該コンテンツの位置関係を相対位置として推定する相対位置推定手段と、
前記相対位置推定手段による推定の結果に基づいて、前記コンテンツ取得手段で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定手段と
を有することを特徴とするレイアウト処理装置。
【請求項７】
前記コンテンツ取得手段で取得されたコンテンツに含まれる被写体の被写体位置の情報を取得する被写体情報取得手段を更に有し、
前記メタデータ評価手段は、前記被写体位置と前記撮影位置とが所定の範囲内にあるとき、前記撮影位置が欠損と判定することを特徴とする請求項６に記載のレイアウト処理装置。
【請求項８】
前記被写体情報取得手段は、指定された位置情報に基づいて、検索する前記被写体を限定することを特徴とする請求項７に記載のレイアウト処理装置。
【請求項９】
複数のコンテンツをレイアウトする処理を行うレイアウト処理方法であって、
前記複数のコンテンツを取得するコンテンツ取得工程と、
前記コンテンツ取得工程で取得されたコンテンツに関連付けられたメタデータを取得するメタデータ取得工程と、
前記メタデータ取得工程で取得されたメタデータを評価するメタデータ評価工程と、
前記コンテンツ取得工程で取得されたコンテンツに含まれる被写体に係る被写体情報を取得する被写体情報取得工程と、
前記メタデータ評価工程による評価の結果と前記被写体情報とに基づいて、前記コンテンツ取得工程で取得されたコンテンツの撮影方向における相対位置を推定する相対位置推定工程と、
前記相対位置推定工程による推定の結果に基づいて、前記コンテンツ取得工程で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定工程と
を有することを特徴とするレイアウト処理方法。
【請求項１０】
複数のコンテンツをレイアウトする処理を行うレイアウト処理方法であって、
前記複数のコンテンツを取得するコンテンツ取得工程と、
前記コンテンツ取得工程で取得されたコンテンツが撮影された撮影位置および撮影方位に係るメタデータを取得するメタデータ取得工程と、
１つ以上の前記コンテンツの前記撮影位置が欠損し、かつ、全ての前記コンテンツの前記撮影方位が存在していることを判定するメタデータ評価工程と、
前記コンテンツの前記撮影方位の平均方向を向いたときの当該コンテンツの位置関係を相対位置として推定する相対位置推定工程と、
前記相対位置推定工程による推定の結果に基づいて、前記コンテンツ取得工程で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定工程と
を有することを特徴とするレイアウト処理方法。
【請求項１１】
複数のコンテンツをレイアウトする処理を行うレイアウト処理装置を制御するためのプログラムであって、
前記複数のコンテンツを取得するコンテンツ取得手段と、
前記コンテンツ取得手段で取得されたコンテンツに関連付けられたメタデータを取得するメタデータ取得手段と、
前記メタデータ取得手段で取得されたメタデータを評価するメタデータ評価手段と、
前記コンテンツ取得手段で取得されたコンテンツに含まれる被写体に係る被写体情報を取得する被写体情報取得手段と、
前記メタデータ評価手段による評価の結果と前記被写体情報とに基づいて、前記コンテンツ取得手段で取得されたコンテンツの撮影方向における相対位置を推定する相対位置推定手段と、
前記相対位置推定手段による推定の結果に基づいて、前記コンテンツ取得手段で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定手段
としてコンピュータを機能させるためのプログラム。
【請求項１２】
複数のコンテンツをレイアウトする処理を行うレイアウト処理装置を制御するためのプログラムであって、
前記複数のコンテンツを取得するコンテンツ取得手段と、
前記コンテンツ取得手段で取得されたコンテンツが撮影された撮影位置および撮影方位に係るメタデータを取得するメタデータ取得手段と、
１つ以上の前記コンテンツの前記撮影位置が欠損し、かつ、全ての前記コンテンツの前記撮影方位が存在していることを判定するメタデータ評価手段と、
前記コンテンツの前記撮影方位の平均方向を向いたときの当該コンテンツの位置関係を相対位置として推定する相対位置推定手段と、
前記相対位置推定手段による推定の結果に基づいて、前記コンテンツ取得手段で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定手段
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のコンテンツをレイアウトする処理を行うレイアウト処理装置及びレイアウト処理方法、並びに、プログラムに関するものである。
【背景技術】
【０００２】
従来、電子データ上のコンテンツに対して、位置情報などのコンテンツに付随したメタデータ情報を考慮して、レイアウトを自動で行う技術が知られている。
【０００３】
具体的な例として、静止画像もしくは動画像を、撮影時に取得された撮影位置・方位・角度を基に３次元の立体データ上の対応する点に表示させるものが知られている（下記の特許文献１参照）。また、別の例として、写真に記録されたＧＰＳ情報を基に、ＧＰＳデータに対応する座標情報が記録されている台紙データ上の所定のポイントに写真をレイアウトするものが知られている（下記の特許文献２参照）。また、写真が連続して撮られているかといった情報を使用している場合もある（下記の特許文献３参照）。これは、写真をレイアウトした結果、設定したページ総数を越えてしまう等してレイアウトの変更が必要な場合、写真をグルーピングし、それらのレイアウトを固定したまま、他の写真のレイアウトの修正を行うものである。
【０００４】
また、従来、コンテンツの撮影姿勢のメタデータを求める技術が知られている。例えば、画像内の世界座標値が既知の３つのマークを用いて、３マークの画像内座標と世界座標をもとに、カメラ姿勢を検出することが行われている（下記の特許文献４参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１２２６３８号公報
【特許文献２】特開２００２−３２９１９１号公報
【特許文献３】特開２０１０−１４７５８４号公報
【特許文献４】特開２０００−２７５０１３号公報
【特許文献５】特開２０１０−１０２５０１号公報
【非特許文献】
【０００６】
【非特許文献１】Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，"Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，"  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ  １４７−１５２，  １９８８．
【非特許文献２】Ｄａｖｉｄ  Ｇ．  Ｌｏｗｅ，  "Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ，"  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ６０，  ２  （２００４），  ｐｐ．９１−１１０．
【非特許文献３】Ｍ．  Ａ．  Ｆｉｓｃｈｌｅｒ  ａｎｄ  Ｒ．  Ｃ．  Ｂｏｌｌｅｓ，  "Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：  Ａ  ｐａｒａｄｉｇｍ  ｆｏｒｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ，"  Ｃｏｍｍｕｎ．  ＡＣＭ，  ｎｏ．２４，  ｖｏｌ．６，  ｐｐ．３８１−３９５，  Ｊｕｎｅ  １９８１．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の特許文献１に記載の手法は、３次元空間中にコンテンツを配置することを目的としている。そのため、単純に１次元を無視するなどして、２次元平面に写像することでコンテンツの配置を決定すると、コンテンツの重なりが生じることがある。ゆえに、紙のアルバムなどの２次元平面に配置する場合には、そのまま適用することができない。
【０００８】
上記の特許文献２に記載の手法では、２次元平面への配置に適用することはできるが、台紙データにＧＰＳに対応する座標情報が記録されていないと使用することができない。加えて、同一もしくは近接した点で取得されたコンテンツ同士は重なって配置されるため、見難くなってしまう。同様にして、電子データ上の対応する座標にコンテンツを配置する手法、サービスが知られているが、こちらにも同種の問題がある。
【０００９】
また、特許文献３に記載の手法では、写真が連続撮影されたかどうかを考慮することができるが、それらの写真の位置関係を考慮してはいないので、被写体間の実世界における位置関係とは違った配置になってしまい、見る者に違和感を与えてしまう可能性がある。
【００１０】
また、特許文献４に記載の手法では、世界座標値での既知の３つのマークが１枚の画像中に含まれている必要がある。しかしながら、レイアウト対象のコンテンツは、複数枚である。
【００１１】
本発明は、このような問題点に鑑みてなされたものであり、複数のコンテンツをレイアウトする際に、実世界における位置関係とは違った配置となって見る者に違和感を与える事態を回避する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明のレイアウト処理装置は、複数のコンテンツをレイアウトする処理を行うレイアウト処理装置であって、前記複数のコンテンツを取得するコンテンツ取得手段と、前記コンテンツ取得手段で取得されたコンテンツに関連付けられたメタデータを取得するメタデータ取得手段と、前記メタデータ取得手段で取得されたメタデータを評価するメタデータ評価手段と、前記コンテンツ取得手段で取得されたコンテンツに含まれる被写体に係る被写体情報を取得する被写体情報取得手段と、前記メタデータ評価手段による評価の結果と前記被写体情報とに基づいて、前記コンテンツ取得手段で取得されたコンテンツの撮影方向における相対位置を推定する相対位置推定手段と、前記相対位置推定手段による推定の結果に基づいて、前記コンテンツ取得手段で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定手段とを有する。
本発明のレイアウト処理装置における他の態様は、複数のコンテンツをレイアウトする処理を行うレイアウト処理装置であって、前記複数のコンテンツを取得するコンテンツ取得手段と、前記コンテンツ取得手段で取得されたコンテンツが撮影された撮影位置および撮影方位に係るメタデータを取得するメタデータ取得手段と、１つ以上の前記コンテンツの前記撮影位置が欠損し、かつ、全ての前記コンテンツの前記撮影方位が存在していることを判定するメタデータ評価手段と、前記コンテンツの前記撮影方位の平均方向を向いたときの当該コンテンツの位置関係を相対位置として推定する相対位置推定手段と、前記相対位置推定手段による推定の結果に基づいて、前記コンテンツ取得手段で取得されたコンテンツの配置位置を決定するコンテンツ配置位置決定手段とを有する。
また、本発明は、上述したレイアウト処理装置によるレイアウト処理方法及びプログラムを含む。
【発明の効果】
【００１３】
本発明によれば、複数のコンテンツをレイアウトする際に、実世界における位置関係とは違った配置となって見る者に違和感を与える事態を回避することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係るレイアウト処理装置のハードウェア構成の一例を示す模式図である。
【図２】本発明の第１の実施形態に係るレイアウト処理装置の機能構成の一例を示す模式図である。
【図３−１】本発明の第１の実施形態に係るレイアウト処理装置によるレイアウト処理方法の処理手順の一例を示すフローチャートである。
【図３−２】図３−１のステップＳ３０３で判断される欠損パターンの判断基準の一例を示す模式図である。
【図４】図３−１のステップＳ３０４２における方位欠損の相対位置推定処理の詳細な処理手順の一例を示すフローチャートである。
【図５】図３−１のステップＳ３０４４における全欠損の相対位置推定処理の詳細な処理手順の一例を示すフローチャートである。
【図６】本発明の第１の実施形態を示し、全欠損の相対位置推定処理の際に行われる対象コンテンツの撮影距離の取得方法の一例を示す模式図である。
【図７】本発明の第１の実施形態を示し、全欠損の相対位置推定処理の詳細を説明するとともにコンテンツと実世界配置とレイアウト結果を説明するための模式図である。
【図８】本発明の第１の実施形態を示し、スケールスペースを説明するための模式図である。
【図９】本発明の第２の実施形態を示し、撮影位置の欠損判定方法を説明するための模式図である。
【図１０】本発明の第２の実施形態を示し、撮影位置の欠損判定処理の詳細な処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態に係るレイアウト処理装置１００のハードウェア構成の一例を示す模式図である。
図１に示すレイアウト処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０３、外部記憶装置１０４、入力デバイスインターフェイス１０５、出力デバイスインターフェイス１０６、通信インターフェイス１０７、及び、システムバス１０８の各ハードウェア構成を有している。また、レイアウト処理装置１００には、入力デバイス１１０、モニタ１２０、及び、ネットワーク回線１３０が接続されている。
【００１７】
例えば、レイアウト処理装置１００は、サーバ装置やクライアント装置などのコンピュータ装置で構成されている。この際、レイアウト処理装置１００は、単一のコンピュータ装置で構成されていてもよいし、複数のコンピュータ装置から構成されていてもよい。また、複数のコンピュータ装置から構成される場合には、互いに通信可能なように、例えば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などで接続される形態を採る。
【００１８】
図１において、ＣＰＵ１０１は、例えば、後述するＲＯＭ１０２或いは外部記憶装置１０４に記憶されたプログラムやデータを用いて、レイアウト処理装置１００の全体の制御を行う。
【００１９】
ＲＯＭ１０２は、変更を必要としないプログラムや各種のパラメータ等のデータなどを格納するメモリである。
【００２０】
ＲＡＭ１０３は、ＲＯＭ１０２或いは後述する外部記憶装置１０４からロードされたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ１０１が各種の処理を行うために必要とするワークエリアを備えるメモリである。
【００２１】
外部記憶装置１０４は、例えば、オペレーティングシステム（ＯＳ）やＣＰＵ１０１が実行するプログラム、更には、本実施形態の説明において既知としているデータや情報などを記憶している記憶媒体である。なお、本実施形態においては、ＣＰＵ１０１が本発明に係る処理を実行するためのプログラムは、外部記憶装置１０４に記憶されているものとするが、例えばＲＯＭ１０２に記憶されている態様であっても適用可能である。
また、外部記憶装置１０４は、例えば、レイアウト処理装置１００に固定して設置されたハードディスクやメモリカード、或いは、レイアウト処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やコンパクトディスク（ＣＤ）等の光ディスク、磁気カードや光カード、ＩＣカード、メモリカードなどの何れの記憶媒体で構成されていてもよい。
【００２２】
入力デバイスインターフェイス１０５は、当該レイアウト処理装置１００と入力デバイス１１０とを接続するインターフェイスである。ここで、入力デバイス１１０は、ユーザが操作入力可能に構成され、例えば、ポインティングデバイスやキーボードなどからなる入力装置である。
【００２３】
出力デバイスインターフェイス１０６は、当該レイアウト処理装置１００とモニタ１２０とを接続するインターフェイスである。ここで、モニタ１２０は、各種のデータや各種の情報を表示する表示装置である。
【００２４】
通信インターフェイス１０７は、当該レイアウト処理装置１００とインターネットなどのネットワーク回線１３０とを接続するインターフェイスである。ここで、ネットワーク回線１３０は、レイアウト処理装置１００と、当該ネットワーク回線１３０に接続された外部装置とをネットワーク接続する。
【００２５】
システムバス１０８は、当該レイアウト処理装置１００の各ハードウェア構成（１０１〜１０７）を通信可能に接続する。
【００２６】
図２は、本発明の第１の実施形態に係るレイアウト処理装置１００の機能構成の一例を示す模式図である。
図２に示すレイアウト処理装置１００は、コンテンツ取得部２０１、メタデータ取得部２０２、メタデータ評価部２０３、被写体情報取得部２０４、相対位置推定部２０５、及び、コンテンツ配置位置決定部２０６の各機能構成を有している。
【００２７】
コンテンツ取得部２０１は、レイアウト対象である複数のコンテンツを取得する。具体的に、コンテンツ取得部２０１は、外部記憶装置１０４に記憶されているコンテンツの中から、ユーザがモニタ１２０と入力デバイス１１０とを用いて指定した（複数の）コンテンツを取得する。
【００２８】
メタデータ取得部２０２は、コンテンツ取得部２０１で取得されたコンテンツに関連付けられたメタデータを取得する。具体的に、メタデータ取得部２０２は、Ｅｘｉｆ形式やＸＭＰ形式などでコンテンツデータの一部として記述されたメタデータを読み取ることでメタデータを取得する。例えば、本実施形態では、メタデータ取得部２０２は、コンテンツが撮影された撮影時刻や撮影位置（緯度及び経度）や撮影方位といったメタデータを取得する。また、コンテンツのメタデータは、別のデータとして管理してもよい。例えば、ＸＭＰ形式のファイルを別データとして管理してもよく、或いは、メタデータのみデータベースで管理するようにしてもよい。本実施形態におけるコンテンツとメタデータの管理方法は、これらに限定されるものではなく、他の態様であってもよい。
【００２９】
メタデータ評価部２０３は、まず、レイアウト対象となるコンテンツに必要なメタデータの欠損を検出する。具体的に、メタデータ評価部２０３は、メタデータ取得部２０２によって撮影位置・撮影方位のメタデータが取得できなかった場合には、メタデータの欠損と判断する。
加えて、メタデータ評価部２０３は、レイアウト対象とするか否かの判断も行う。具体的に、メタデータ評価部２０３は、レイアウト対象となるコンテンツの撮影位置が同じとみなせるか否か、或いは、撮影時刻からほぼ同じ位置で撮影したとみなせるか否かで、レイアウト対象とするか否かの判断を行う。
【００３０】
被写体情報取得部２０４は、コンテンツに含まれる被写体に係る被写体情報を取得する。被写体情報取得部２０４は、被写体特定部２０４１と被写体情報管理部２０４２を構成要素として備える。そして、被写体情報取得部２０４は、被写体特定部２０４１によってコンテンツに写っている被写体を特定し、被写体情報管理部２０４２の情報を用いて被写体に関連する被写体情報を求める。
【００３１】
被写体特定部２０４１は、コンテンツに写っている被写体を特定する。具体的に、被写体特定部２０４１は、予め被写体が分かっている比較コンテンツを保持し、これとのコンテンツの画像特徴量のマッチング（照合）によって、比較コンテンツから類似コンテンツを検索することで被写体を特定する。さらに、この際の照合過程から、検索元と比較先のコンテンツに写った被写体同士の拡縮比が分かる。この類似コンテンツ検索方法の詳細な説明は後述する。
【００３２】
被写体情報管理部２０４２は、比較コンテンツのメタデータを管理する。具体的に、被写体情報管理部２０４２は、比較コンテンツの被写体ＩＤ、被写体位置、比較コンテンツの撮影位置から被写体までの撮影距離（比較コンテンツの撮影距離）などのメタデータを管理する。例えば、被写体情報管理部２０４２は、データベースなどで比較コンテンツと対応付けて上記メタデータを管理してもよい。なお、被写体情報管理部２０４２で比較コンテンツを管理してもよい。この場合、被写体情報管理部２０４２は、コンテンツのバイナリデータをともに管理してもよい。
【００３３】
相対位置推定部２０５は、メタデータ評価部２０３による評価の結果と被写体情報取得部２０４で取得された被写体情報とに基づいて、レイアウト対象となるコンテンツの相対位置を推定する。ここで、相対位置は、撮影者がある場所である方向を向いたときに、コンテンツが写す被写体がどの位置に見えるかを示す情報である。具体的には、撮影者の向いている方向と、撮影者から見た被写体の存在方向（或いはコンテンツの撮影方向）との角度差である。
【００３４】
コンテンツ配置位置決定部２０６は、相対位置推定部２０５による推定の結果に基づいて、コンテンツの紙面領域上でのレイアウト（配置位置）を決定する。具体的に、コンテンツ配置位置決定部２０６は、相対位置推定部２０５の出力に従って、撮影者の向きと撮影方向との差の昇順にコンテンツの並びを決定する。例えば、コンテンツ配置位置決定部２０６は、紙面領域上の左から右に向かって、コンテンツを並べることでレイアウトを決定する。また、紙面領域のサイズは、例えば、Ａ４などの印刷紙面のサイズが用いられる。コンテンツの紙面領域上でのレイアウトの結果は、ＰＤＦなどの電子文書データやＪＰＥＧなどの画像データとして外部記憶装置１０４に記憶されても、プリンタなどで印刷出力されても、或いは、モニタ１２０に表示出力されてもよい。なお、本実施形態におけるレイアウト結果の出力方法は、これらに限定されるものではなく、他の態様であってもよい。
【００３５】
ここで、例えば、図２に示す２０１〜２０３、２０５及び２０６の各機能構成は、図１に示すＣＰＵ１０１及び外部記憶装置１０４に記憶されているプログラムから構成される。また、例えば、図２に示す２０４の機能構成は、図１に示すＣＰＵ１０１及び外部記憶装置１０４に記憶されているプログラム、並びに、外部記憶装置１０４から構成される。
【００３６】
［レイアウト処理装置の処理］
図３−１は、本発明の第１の実施形態に係るレイアウト処理装置１００によるレイアウト処理方法の処理手順の一例を示すフローチャートである。
【００３７】
まず、ステップＳ３０１において、コンテンツ取得部２０１は、レイアウト対象となる複数のコンテンツを取得する。
【００３８】
続いて、ステップＳ３０２において、まず、メタデータ取得部２０２は、ステップＳ３０１で取得されたコンテンツに関連付けられたメタデータを取得する。
次いで、メタデータ評価部２０３は、メタデータ取得部２０２で取得されたメタデータに基づいて、相対位置に従ったコンテンツのレイアウトを行うべきか否かを判断する。具体的には、メタデータ評価部２０３は、ステップＳ３０１で取得されたコンテンツの撮影場所が同じであるか否かを判断する。例えば、メタデータ評価部２０３は、撮影位置が一定範囲内である、或いは、撮影時刻が一定時間内である場合に、撮影場所が同じであると判断する。
【００３９】
ステップＳ３０２の判断の結果、撮影場所が同じではない場合には、相対位置に従ったコンテンツのレイアウトは行わないため、図３−１の処理を終了する。なお、この場合、相対位置に従ったレイアウト以外のレイアウトを行ってもよい。例えば、撮影時刻順にコンテンツを並べたレイアウトを行ってもよい。
【００４０】
一方、ステップＳ３０２の判断の結果、撮影場所が同じである場合には、相対位置に従ったコンテンツのレイアウトを行うべく、ステップＳ３０３に進む。
ステップＳ３０３に進むと、メタデータ評価部２０３は、メタデータ取得部２０２で取得されたメタデータの欠損パターンを判断する。ここで、本実施形態では、欠損パターンの種類として、「非欠損」のパターン１、「方位欠損」のパターン２、「位置欠損」のパターン３、及び、「全欠損」のパターン４の合計４つの欠損パターンが存在するものとする。
【００４１】
具体的な各欠損パターンの判断基準を図３−２に示す。
図３−２は、図３−１のステップＳ３０３で判断される欠損パターンの判断基準の一例を示す模式図である。図３−２において、縦方向に撮影位置の存在の有無を示し、横方向に撮影方位の存在の有無を示している。図３−２において、「全て存在」は全てのコンテンツがそのメタデータを有していることを示し、「全て欠損」は全てのコンテンツがそのメタデータを欠損していることを示す。また、図３−２において、「１つ以上存在かつ１つ以上欠損」は、「全て存在」または「全て欠損」のどちらでもないことを示す。つまり、メタデータを有しているコンテンツもあれば、欠損しているコンテンツもあることを示す。これら各メタデータの存在の有無の組み合わせから、欠損パターンは定義される。
【００４２】
具体的に、メタデータ評価部２０３は、「全てのコンテンツの撮影位置と撮影方位が存在する」とき、「非欠損」のパターン１と判定する。また、メタデータ評価部２０３は、「１つ以上のコンテンツの撮影位置が存在し、かつ、１つ以上のコンテンツの撮影方位が欠損している」とき、「方位欠損」のパターン２と判定する。また、メタデータ評価部２０３は、「１つ以上のコンテンツの撮影位置が欠損しており、かつ、全てのコンテンツの撮影方位が存在する」とき、「位置欠損」のパターン３と判定する。また、メタデータ評価部２０３は、「全てのコンテンツの撮影位置が欠損しており、かつ、１つ以上のコンテンツの撮影方位が欠損している」とき、「全欠損」のパターン４と判定する。
【００４３】
ステップＳ３０３の判断の結果、欠損パターンがパターン１である場合には、ステップＳ３０４１に進む。
ステップＳ３０４１に進むと、相対位置推定部２０５は、非欠損パターンとして、コンテンツの相対位置を推定する。具体的に、相対位置推定部２０５は、撮影者が向いていた方向を、コンテンツの撮影方位の平均方向とする。そして、相対位置推定部２０５は、この平均方向を向いたときの、コンテンツの位置関係を相対位置とする。つまり、相対位置推定部２０５は、平均方向と撮影方向との差を求めて相対位置とする。
【００４４】
ステップＳ３０３の判断の結果、欠損パターンがパターン２である場合には、ステップＳ３０４２に進む。
ステップＳ３０４２に進むと、相対位置推定部２０５は、方位欠損パターンとして、コンテンツの相対位置を推定する。具体的に、まず、被写体情報取得部２０４（被写体特定部２０４１）がコンテンツ中の被写体を特定する。そして、相対位置推定部２０５は、「特定された被写体の位置」と「撮影位置」とから、撮影方向（撮影方位）を推定し、コンテンツの相対位置を推定する。このステップＳ３０４２の詳細な処理については、図４を用いて後述する。
【００４５】
ステップＳ３０３の判断の結果、欠損パターンがパターン３である場合には、ステップＳ３０４３に進む。
ステップＳ３０４３に進むと、相対位置推定部２０５は、位置欠損パターンとして、コンテンツの相対位置を推定する。具体的に、相対位置推定部２０５は、撮影者が向いていた方向を、コンテンツの撮影方位の平均方向とする。そして、相対位置推定部２０５は、この平均方向を向いたときの、コンテンツの位置関係を相対位置とする。つまり、相対位置推定部２０５は、平均方向と撮影方向との差を求めて相対位置とする。
【００４６】
ステップＳ３０３の判断の結果、欠損パターンがパターン４である場合には、ステップＳ３０４４に進む。
ステップＳ３０４４に進むと、相対位置推定部２０５は、全欠損パターンとして、コンテンツの相対位置を推定する。具体的に、まず、被写体情報取得部２０４（被写体特定部２０４１）がコンテンツ中の被写体を特定する。そして、相対位置推定部２０５は、特定された被写体の位置から撮影者位置までの距離を用いて、撮影者位置を決定する。そして、相対位置推定部２０５は、撮影者位置と被写体位置を用いて、相対位置を推定する。このステップＳ３０４４の詳細な処理については、図５を用いて後述する。
【００４７】
ステップＳ３０４１の処理が終了した場合、或いは、ステップＳ３０４２の処理が終了した場合、或いは、ステップＳ３０４３の処理が終了した場合、或いは、ステップＳ３０４４の処理が終了した場合には、ステップＳ３０５に進む。
ステップＳ３０５に進むと、コンテンツ配置位置決定部２０６は、ステップＳ３０４１〜ステップＳ３０４４のいずれかのステップで推定された相対位置を用いて、コンテンツの配置位置（レイアウト）を決定する。具体的に、コンテンツ配置位置決定部２０６は、撮影者の向きと撮影方向との差の昇順にコンテンツの並びを決定する。例えば、コンテンツ配置位置決定部２０６は、紙面領域上の左から右に向かって、コンテンツを並べることでレイアウトを決定する。
【００４８】
［方位欠損の相対位置推定処理］
次に、図３−１のステップＳ３０４２における方位欠損の相対位置推定処理の詳細な処理について説明する。
図４は、図３−１のステップＳ３０４２における方位欠損の相対位置推定処理の詳細な処理手順の一例を示すフローチャートである。
【００４９】
まず、ステップＳ４０１において、例えば相対位置推定部２０５は、撮影位置が存在するコンテンツを用いて撮影者位置を算出する。具体的に、例えば相対位置推定部２０５は、撮影位置の重心を取得して撮影者位置とする。
【００５０】
続いて、ステップＳ４０２において、例えば相対位置推定部２０５は、後工程であるステップＳ４０３〜Ｓ４０５の処理が適用されていない未処理のコンテンツがあるか否かを判断する。
【００５１】
ステップＳ４０２の判断の結果、未処理のコンテンツがある場合には、未処理のコンテンツを処理対象のコンテンツとして選択し、ステップＳ４０３に進む。
ステップＳ４０３に進むと、例えばメタデータ評価部２０３は、当該処理対象のコンテンツの撮影方位が欠損しているか否かを判断する。
【００５２】
ステップＳ４０３の判断の結果、当該処理対象のコンテンツの撮影方位が欠損していない場合（撮影方位が存在する場合）には、ステップＳ４０２に戻る。
【００５３】
一方、ステップＳ４０３の判断の結果、当該処理対象のコンテンツの撮影方位が欠損している場合には、ステップＳ４０４に進む。
ステップＳ４０４に進むと、相対位置推定部２０５は、被写体情報取得部２０４から被写体位置の情報を取得する。具体的に、まず、被写体情報取得部２０４は、被写体特定部２０４１において、当該処理対象のコンテンツ中の被写体を特定する。そして、相対位置推定部２０５は、被写体情報管理部２０４２から当該被写体の被写体位置の情報を取得する。
【００５４】
続いて、ステップＳ４０５において、相対位置推定部２０５は、ステップＳ４０１で算出した撮影者位置とステップＳ４０４で取得した被写体位置から、撮影方位を算出する。具体的に、相対位置推定部２０５は、真北を０度とし、右回りを正とした時の、撮影者位置と被写体位置とを結んだ直線のなす角度を求めて、撮影方位を算出する。
【００５５】
ステップＳ４０５の処理が終了すると、ステップＳ４０２に戻る。
【００５６】
また、ステップＳ４０２の判断の結果、未処理のコンテンツがない場合には、ステップＳ４０６に進む。
ステップＳ４０６に進むと、相対位置推定部２０５は、コンテンツの相対位置を算出する。具体的に、相対位置推定部２０５は、撮影者が向いていた方向を、コンテンツの撮影方位の平均方向とする。そして、相対位置推定部２０５は、この平均方向を向いたときの、コンテンツの位置関係を相対位置とする。つまり、相対位置推定部２０５は、平均方向と撮影方向との差を求めて相対位置とする。
【００５７】
ステップＳ４０６の処理が終了すると、図４に示すフローチャートの処理が終了する。
【００５８】
［全欠損の相対位置推定処理］
次に、図３−１のステップＳ３０４４における全欠損の相対位置推定処理の詳細な処理について説明する。
図５は、図３−１のステップＳ３０４４における全欠損の相対位置推定処理の詳細な処理手順の一例を示すフローチャートである。また、説明上、本処理に与えられているコンテンツを、レイアウト対象のコンテンツであることから、「対象コンテンツ」と呼ぶ。一方、被写体特定部２０４１で対象コンテンツと同じ被写体を含むコンテンツが見つけられるが、これを「比較コンテンツ」と呼ぶ。
【００５９】
まず、ステップＳ５０１において、相対位置推定部２０５は、被写体情報取得部２０４から、少なくとも３つのコンテンツの被写体位置と対象コンテンツの撮影距離を取得する。ここで、対象コンテンツの撮影距離の取得方法を、図６を用いて説明する。
【００６０】
図６は、本発明の第１の実施形態を示し、全欠損の相対位置推定処理の際に行われる対象コンテンツの撮影距離の取得方法の一例を示す模式図である。
まず、被写体情報取得部２０４によって、比較コンテンツが特定されることで、被写体位置（図６中のＰｏ）と比較コンテンツの撮影距離（図６中のＬｓ）が得られる。さらに、比較コンテンツと対象コンテンツとの画像照合過程で、拡縮比（図６中のＭ）が求まる。そして、対象コンテンツの撮影距離（図中のＬｔ）をＬｔ＝Ｍ×Ｌｓとして求める。或いは、コンテンツのメタデータから画角が求まるとき、２つのコンテンツの画角の違いを考慮して比較コンテンツの撮影距離を求めてもよい。この場合、比較コンテンツの画角をθｓ、対象コンテンツの画角をθｔとしたとき、Ｌｔ＝Ｍ×Ｌｓ×（ｔａｎθｓ÷ｔａｎθｔ）として、対象コンテンツの撮影距離を求めることができる。さらには、仰角の違いも考慮して比較コンテンツの撮影距離を求めてもよい。なお、本実施形態における対象コンテンツの撮影距離を求める方法は、これらに限定されない。
【００６１】
また、被写体位置を取得する３つのコンテンツの選択は、ランダムに選択し、その被写体が直線上にないことを確認することで行われる。さらには、被写体位置同士が離れているものを選択するようにしてもよい。なお、コンテンツが３つ未満のとき、本処理はエラーとして終了し、図３−１のフローチャートにおいても、処理が終了へと進む。
【００６２】
続いて、ステップＳ５０２において、相対位置推定部２０５は、３つの被写体位置から撮影者位置までの距離を用いて、撮影者位置を決定（算出）する。ここで、撮影者位置の決定方法（算出方法）を、図７を用いて説明する。
【００６３】
図７は、本発明の第１の実施形態を示し、全欠損の相対位置推定処理の詳細を説明するとともにコンテンツと実世界配置とレイアウト結果を説明するための模式図である。
図７（ａ）では、７０１と７０２と７０３の３つの対象コンテンツを示しており、これを撮影した時の撮影者位置を求めることが目的である。それぞれ、被写体位置と撮影者位置から被写体までの距離（対象コンテンツの撮影距離）は、ステップＳ５０１で既に求められている。そのため、被写体位置と対象コンテンツの撮影距離とに従って、実世界の配置関係を図示したものが図７（ｂ）である。図７（ｂ）の７０１，７０２，７０３は、それぞれ、図７（ａ）に示された被写体であり、７０１１，７０２１，７０３１は、それぞれの被写体位置から撮影距離が同じところを破線の曲線で示したものである。撮影者位置は、これらの３曲線（７０１１，７０２１，７０３１）の交点７０４の位置として求めることができる。このように、３点からの距離に従って交点７０４を求めることで撮影者位置を求めることができる。具体的には、３点からの距離の連立方程式を立て、その近似解を求めることでおおよその撮影者位置を求める。
【００６４】
続いて、ステップＳ５０３において、相対位置推定部２０５は、ステップＳ５０２で算出した撮影者位置とステップＳ５０１で取得した被写体位置から、全ての対象コンテンツの撮影方位を算出する。この処理は、ステップＳ４０５の処理と同じである。ただし、撮影方位が欠損していない場合には、その撮影方位を用いる。
【００６５】
続いて、ステップＳ５０４において、相対位置推定部２０５は、ステップＳ５０３で算出した撮影方位から対象コンテンツの相対位置を求める。この処理は、ステップＳ４０６の処理と同じである。
【００６６】
ステップＳ５０４の処理が終了すると、図５に示すフローチャートの処理が終了する。
【００６７】
図４に示す処理を経ることで、全欠損の相対位置推定処理が行われるが、この処理の後に、図３−１に示すフローチャートのステップＳ３０５へ移行する。そして、この処理で求めた相対位置に従って、図７（ａ）の対象コンテンツをレイアウトすると、図７（ｃ）に示すようなレイアウトとなる。図７（ｃ）によれば、紙面領域７０５上に、図７（ｂ）の交点７０４（撮影者位置）から被写体を見たときの配置に対象コンテンツがレイアウトされていることが分かる。
【００６８】
［類似コンテンツ検索方法］
次に、被写体特定部２０４１において行われる類似コンテンツ検索方法について説明する。
【００６９】
画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法は、提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（上記の非特許文献１参照）。そして、当該特徴点とその周辺の画像情報とに基づいて、当該特徴点に対応する特徴量（局所特徴量）を計算する（上記の非特許文献２参照）。画像の検索は、局所特徴量同士のマッチングによって行う。
【００７０】
局所特徴量を利用する手法においては、局所特徴量を回転不変、拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。
【００７１】
局所特徴量は、一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。
【００７２】
回転不変の局所特徴量を算出するために、例えば、上記の非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。
【００７３】
ここで、内部で生成した一連の異なるスケールの画像集合は、一般的にスケールスペースと呼ばれ、図８にその概要を示す。
図８は、本発明の第１の実施形態を示し、スケールスペースを説明するための模式図である。
各特徴点の特徴量は、方向の正規化の際の回転角度及び特徴量を算出したスケールスペースも記憶する。
ここまでが、局所特徴点の抽出と、局所特徴量の計算に関する説明である。
【００７４】
局所特徴点／局所特徴量の比較に基づく画像の照合方法にはいろいろあるが、ここでは、ＲＡＮＳＡＣ（上記の非特許文献３参照）を利用した方法を説明する。
【００７５】
上記の特許文献５に、その検索処理の概要が記されている。
まず、検索本画像の各局所特徴点に対し、比較先画像の局所特徴点で、特徴間距離が最小となるものをペアで記述する。
次に、検索元画像から３個の局所特徴点をランダムに選択し、それぞれの特徴間距離が最小となる比較先画像の局所特徴点群との間で、その座標の対応からアフィン変換行列を求める。
【００７６】
このアフィン変換行列を用いて、検索元画像の残りの局所特徴点の座標を比較先画像の座標に変換し、その近傍に上記特徴間距離が最小となるペアの局所特徴点が存在するかを確認し、存在すれば１票投票し、存在しなければ投票しない。
【００７７】
最終的に、この投票数が所定の値に達した場合には、検索元画像と比較先画像は部分一致する領域が存在すると判断し、その投票数が多いほど一致する領域が大きいと考える。
他方、投票数が所定の値に達しない場合には、新たに検索元画像から３個の局所特徴点をランダムに選択してアフィン変換行列を求める処理から再度処理を行うが、この再処理は定められた反復カウント数以内で繰り返す。
【００７８】
もし、反復カウント数に達しても投票数が所定の値を超えなければ、部分一致する領域が存在しないと判断して比較の処理を終了する。
【００７９】
そして、部分一致する領域が存在する場合、上記求めたアフィン変換行列と特徴間距離が最小となるもののペアを用いて、検索元画像中の着目した局所特徴点と対応する特徴点を求めることができる。
さらに、その局所特徴点を求める際の方向の正規化の際の回転角度から検索元画像と比較先画像の回転角度関係を求めることができる。
また、さらに、その局所特徴点を求める際のスケールスペースを用いて、検索元画像と比較先画像の拡縮関係を知ることができる。
【００８０】
以上、本実施形態に係るレイアウト処理装置によれば、撮影者が体験したままの被写体の位置関係を再現することができる。これにより、見る者に、各コンテンツ中の被写体間の位置関係のおかしさや、自然に視線を運べないことからくる違和感や見づらさ等を感じさせることがなくなる。
即ち、本実施形態に係るレイアウト処理装置によれば、複数のコンテンツをレイアウトする際に、実世界における位置関係とは違った配置となって見る者に違和感を与える事態を回避することができる。
【００８１】
（第２の実施形態）
撮影位置の測位精度が良くない場合、被写体位置との比較から相対位置が正しく決まらないことがある。
【００８２】
図９は、本発明の第２の実施形態を示し、撮影位置の欠損判定方法を説明するための模式図である。
例えば、図９に示すように、水平に並ぶ２つの被写体９０１と９０２が存在したとき、実際の撮影者位置９０３が２つの被写体（９０１及び９０２）から水平方向下側２ｍの位置にあったとする。このとき、カメラの位置センサの測位精度が１０ｍであるならば、測位位置は、９０４に示すように、真逆の水平方向上側の８ｍの位置になることがあり得る。このとき、２つの被写体（９０１及び９０２）の相対位置は真逆になる。つまり、実際の撮影者位置９０３から見たときの相対位置は、９０１が左側にあり、９０２が右側にある。しかしながら、測位位置９０４から見たとき、９０１は右側にあり、９０２が左側にあることになる。
【００８３】
そこで、本実施形態では、被写体と撮影位置が近すぎるとき、撮影位置を欠損したものとして判断する方法を採用する。
【００８４】
本実施形態に係るレイアウト処理装置の機能構成は、メタデータ評価部２０３の処理内容が異なる以外は、図２に示す第１の実施形態に係るレイアウト処理装置１００の機能構成と同じである。
【００８５】
本実施形態のメタデータ評価部２０３は、撮影位置が存在した場合に、後述する撮影位置の欠損判定処理を行うことで、被写体位置と撮影位置が近いとき（被写体位置と撮影位置とが所定の範囲内にあるとき）、撮影位置が欠損したものと判定する。
【００８６】
次に、撮影位置の欠損判定処理について図１０を用いて説明する。
図１０は、本発明の第２の実施形態を示し、撮影位置の欠損判定処理の詳細な処理手順の一例を示すフローチャートである。なお、本処理は、第１の実施形態における図３−１のステップＳ３０３の直前で行われ、全てのコンテンツに対して実行される。
【００８７】
まず、ステップＳ１００１において、メタデータ評価部２０３は、コンテンツに撮影位置があるか否かを判断する。
【００８８】
ステップＳ１００１の判断の結果、コンテンツに撮影位置がない場合には、図１０のフローチャートの処理を終了する。
【００８９】
一方、ステップＳ１００１の判断の結果、コンテンツに撮影位置がある場合には、ステップＳ１００２に進む。
ステップＳ１００２に進むと、メタデータ評価部２０３は、被写体情報取得部２０４から被写体位置の情報を取得し、コンテンツの撮影位置との距離を算出する。具体的に、まず、被写体情報取得部２０４は、被写体特定部２０４１によって被写体を特定する。そして、メタデータ評価部２０３は、被写体情報管理部２０４２から当該被写体の被写体位置の情報を取得する。そして、メタデータ評価部２０３は、被写体位置と撮影位置の距離を算出する。
【００９０】
続いて、ステップＳ１００３において、メタデータ評価部２０３は、ステップＳ１００２で算出した距離が、予め定められた閾値以下であるか否かを判断する。例えば、閾値は、センサの精度等によって定められる。或いは、コンテンツのメタデータから、撮影位置の精度に関する情報が得られるとき、それに基づいてコンテンツごとに閾値を定めてもよい。
【００９１】
ステップＳ１００３の判断の結果、ステップＳ１００２で算出した距離が予め定められた閾値以下でない場合には、図１０のフローチャートの処理を終了する。
【００９２】
一方、ステップＳ１００３の判断の結果、ステップＳ１００２で算出した距離が予め定められた閾値以下である場合には、ステップＳ１００４に進む。
ステップＳ１００４に進むと、メタデータ評価部２０３は、撮影位置を欠損として扱うための処理を行う。具体的に、メタデータ評価部２０３は、第１の実施形態における処理において撮影位置を一時的に無効にする処理を行う。例えば、コンテンツのメタデータごとに無効フラグを立て、当該フラグが立つとき、第１の実施形態の処理において欠損として扱う。或いは、直接メタデータを削除してもよい。ただし、メタデータを削除するときは、コンテンツデータ中のメタデータは残し、読み込まれたメモリ上のデータだけを削除するようにしてもよい。なお、本実施形態におけるメタデータの無効化方法は、これに限定されるものではない。
【００９３】
（第３の実施形態）
上述した実施形態では、全ての欠損パターン（パターン１〜パターン４）に対して相対位置に基づくレイアウトを実施しているが、１つの欠損パターンのみに対して相対位置に基づくレイアウトを実施するようにしてもよい。例えば、撮影方位欠損の場合のみ相対位置に基づくレイアウトを行い、撮影位置・方位両欠損の場合には撮影時刻順のレイアウトなどを実施してもよい。
【００９４】
（第４の実施形態）
上述した実施形態において、被写体特定部２０４１が照合対象とする比較コンテンツを絞り込んでもよい。具体的には、予めユーザにコンテンツのおおよその撮影範囲を入力させて、その範囲に被写体位置がある比較コンテンツのみに照合対象を限定するようにしてもよい。即ち、ユーザに指定された位置情報に基づいて検索する被写体を限定するようにしてもよい。或いは、レイアウト対象のコンテンツの撮影位置を用いて、その付近に被写体位置がある比較コンテンツのみに照合対象を限定するようにしてもよい。
【００９５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【００９６】
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００９７】
２０１  コンテンツ取得部、２０２  メタデータ取得部、２０３  メタデータ評価部、２０４  被写体情報取得部、２０４１  被写体特定部、２０４２  被写体情報管理部、２０５  相対位置推定部、２０６  コンテンツ配置位置決定部
【図１】
2013257654.tif 000003
【図２】
2013257654.tif 000004
【図３−１】
2013257654.tif 000005
【図３−２】
2013257654.tif 000006
【図４】
2013257654.tif 000007
【図５】
2013257654.tif 000008
【図６】
2013257654.tif 000009
【図７】
2013257654.tif 000010
【図８】
2013257654.tif 000011
【図９】
2013257654.tif 000012
【図１０】
2013257654.tif 000013