(57)【要約】【課題】臨場感・没入感のより高いパノラマ画像をユーザに過度な負担を強いることなく実現できるようにする。【解決手段】パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定処理（２）と、前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理（３）とを行う。例えば動画や高解像度画像などのパノラマ撮像画像以外の他の撮像画像を統合して臨場感・没入感の向上を図ったパノラマ撮像画像を実現するにあたって、ユーザは、略同一の撮像地点においてパノラマ撮像画像と他の撮像画像とを撮影すればよい。従って、ユーザに過度な負担を強いることなく、臨場感・没入感のより高いパノラマ画像を実現できる。【選択図】図６
2018011302.tif 000002
【特許請求の範囲】
【請求項１】
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定処理部と、
前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理部とを備える
画像処理装置。
【請求項２】
前記他の撮像画像データは、動画データ又は前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる画角で撮像された高解像度画像データとしての静止画データの何れかを含む
請求項１に記載の画像処理装置。
【請求項３】
前記位置合わせ判定処理部は、
前記他の撮像画像データの画像種類に応じて判定手法を変更する
請求項２に記載の画像処理装置。
【請求項４】
前記他の撮像画像データは動画データと静止画データの双方を含み、
前記位置合わせ判定処理部は、
前記静止画データよりも低い判定基準により前記動画データについての判定を行う
請求項３に記載の画像処理装置。
【請求項５】
前記位置合わせ判定処理部は、
所定数以上のフレーム画像データが連続して位置合わせ不能と判定された場合、又は位置合わせが不能と判定された前記フレーム画像データの数のフレーム総数に占める割合が所定値以上であった場合は、前記動画データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定する
請求項４に記載の画像処理装置。
【請求項６】
前記他の撮像画像データには、前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる複数の画角でそれぞれ撮像された静止画データで構成されたマルチズーム画像データが含まれており、
前記位置合わせ判定処理部は、
前記他の撮像画像データが前記マルチズーム画像データである場合は、前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定し、
前記リンク処理部は、
前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが不能と判定された前記静止画データについては前記パノラマ撮像画像データに対するリンクを行わない
請求項４に記載の画像処理装置。
【請求項７】
前記位置合わせ判定処理部は、
前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定した結果、前記パノラマ撮像画像データに対する位置合わせが不能とされた前記静止画データが存在する場合は、前記マルチズーム画像データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定する
請求項６に記載の画像処理装置。
【請求項８】
前記位置合わせ判定処理部は、
対象とする二画像間の特徴点検出、対応点検出、検出した対応点座標に基づくローカル及びグローバルな動き検出を含み、ロバスト推定法により前記二画像間の最適な位置関係を検出する画像レジストレーション処理の実行結果に基づき、前記位置合わせが可能であるか否かの判定を行う
請求項１に記載の画像処理装置。
【請求項９】
前記位置合わせ判定処理部は、
前記特徴点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
請求項８に記載の画像処理装置。
【請求項１０】
前記位置合わせ判定処理部は、
前記対応点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
請求項８に記載の画像処理装置。
【請求項１１】
前記位置合わせ判定処理部は、
前記画像レジストレーション処理においてＲＡＮＳＡＣによるロバスト推定処理を行い、当該ロバスト推定処理の過程で得られるinlierの検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
請求項８に記載の画像処理装置。
【請求項１２】
前記位置合わせ判定処理部で処理対象とする前記パノラマ撮像画像データと前記他の撮像画像データとを選択する選択処理部をさらに備える
請求項１に記載の画像処理装置。
【請求項１３】
前記位置合わせ判定処理部により位置合わせが可能と判定された前記他の撮像画像データに対して前記パノラマ撮像画像データに対する位置合わせ情報を付加する位置合わせ情報付加処理部をさらに備える
請求項１に記載の画像処理装置。
【請求項１４】
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定手順と、
前記位置合わせ判定手順により前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク手順とを有する
画像処理方法。
【請求項１５】
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定処理と、
前記位置合わせ判定処理により前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理とを情報処理装置に実行させる
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、パノラマ撮像画像データについての画像処理を行う画像処理装置とその方法、及び前記画像処理に係るプログラムに関する。
【先行技術文献】
【特許文献】
【０００２】
【特許文献１】特開２０１０−１６１５２０号公報
【特許文献２】特表２０１１−５１９１９２号公報
【背景技術】
【０００３】
例えば上記特許文献１に記載されるように、複数枚の撮像画像から１枚のパノラマ画像を生成するパノラマ合成技術が知られている。
パノラマ合成技術は撮影手法（水平スイープ撮影、水平垂直フリースイング撮影、マルチロー撮影など）や光学系（広角レンズ、魚眼レンズなど）、合成アルゴリズムなどの各要素によって様々な形態が考えられるが、ユーザ（撮影者）の周囲３６０°の景色を取り込む全周パノラマ撮影や、真上、真下の景色も含む全天球パノラマ撮影も可能とされる。
【０００４】
このようなパノラマ画像は、一般的には円筒面や球面などに投影処理された画像として記録され、カメラの再生モードやＰＣ（Personal  Computer）上の画像ビューワー等によって再生することができる。
さらに円筒面、球面に投影されたパノラマ画像を仮想的な平面スクリーンに再投影して表示することもでき、それによりユーザに高い臨場感・没入感を与えることができる（例えばQuickTime  VR?An  Image-Based  Approach  to  Virtual  Environment  Navigation[AppleComputer,Inc.]など）。
【０００５】
上記のようなパノラマ合成技術においては、位置を変えて撮影した複数画像を合成するという性質上、パノラマ状の動画を生成することは困難である。パノラマ状の動画を作成する手法として、２次曲線ミラーなど一度の露光で全周囲が撮影可能な特殊な光学系を利用する手法が広く用いられているが、イメージセンサ上に結像した全周画像を拡大してパノラマ画像化するため、解像度劣化が激しいという課題を有している。
また、複数のカメラによる同時撮像や多眼カメラのような専用のカメラ機材を用いる手法も知られているが、一般的なユーザにとっては敷居が高く、気軽に行うということはできない。
さらに、望遠レンズなどを用いパンチルタによる自動撮影をすることによって、ギガピクセル（１０億画素）クラスの超高解像度パノラマ画像を生成する技術も存在するが、パンチルタという特殊機材を必要とする上に、非常に長い撮影時間及び合成処理時間を要し、さらに生成したパノラマ画像は巨大なデータサイズとなるため、こちらも一般的なユーザにとっては気軽に行うということはできない。
【０００６】
動画や高解像度といった要素はパノラマ画像にとって臨場感・没入感をより高める上で重要でありながら、上記のように、現状ではこれらの要素を取り入れることが一般ユーザにとって困難とされている。
【０００７】
なお、特許文献２には、似た位置データが付された記録データを繋ぎ合わせてパノラマ景色をユーザに提示する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで、パノラマ画像に対して動画や高解像度画像を装置側で自動的に貼り付けて統合できれば、ユーザに過度な負担を強いることなく臨場感・没入感のより高いパノラマ画像を実現できる。
しかしながら現状において、その具体的な手法は提案されていない。
【０００９】
本技術は、臨場感・没入感のより高いパノラマ画像をユーザに過度な負担を強いることなく実現できるようにすることを目的とするものである。
【課題を解決するための手段】
【００１０】
第１に、本技術に係る画像処理装置は、パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定処理部と、前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理部とを備えるものである。
【００１１】
上記構成によれば、パノラマ撮像画像データに対して位置合わせが可能とされた撮像画像データを、パノラマ撮像画像データに対してリンクさせることが可能となる。
【００１２】
第２に、上記した本技術に係る画像処理装置においては、前記他の撮像画像データは、動画データ又は前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる画角で撮像された高解像度画像データとしての静止画データの何れかを含むことが望ましい。
動画又は高解像度画像は、パノラマ撮像画像に統合して臨場感・没入感を高める上で好適である。
【００１３】
第３に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部は、前記他の撮像画像データの画像種類に応じて判定手法を変更することが望ましい。
これにより、画像種類に応じた適切な位置合わせ判定手法が実現される。
【００１４】
第４に、上記した本技術に係る画像処理装置においては、前記他の撮像画像データは動画データと静止画データの双方を含み、前記位置合わせ判定処理部は、前記静止画データよりも低い判定基準により前記動画データについての判定を行うことが望ましい。
動画データは、その性質上、位置合わせに失敗するフレーム画像が比較的多く発生する可能性があり、それに応じて低い判定基準での判定が行われる。
【００１５】
第５に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部は、所定数以上のフレーム画像データが連続して位置合わせ不能と判定された場合、又は位置合わせが不能と判定された前記フレーム画像データの数のフレーム総数に占める割合が所定値以上であった場合は、前記動画データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定することが望ましい。
これにより、動画についての位置合わせ判定が、位置合わせが不能なフレーム画像についての連続数とフレーム総数に占める割合とに基づく適正な判定基準で行われる。
【００１６】
第６に、上記した本技術に係る画像処理装置においては、前記他の撮像画像データには、前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる複数の画角でそれぞれ撮像された静止画データで構成されたマルチズーム画像データが含まれており、前記位置合わせ判定処理部は、前記他の撮像画像データが前記マルチズーム画像データである場合は、前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定し、前記リンク処理部は、前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが不能と判定された前記静止画データについては前記パノラマ撮像画像データに対するリンクを行わないことが望ましい。
マルチズーム画像については、高解像度の画像を楽しむことに主眼が置かれるため、位置合わせ精度についての要求は比較的高い。
【００１７】
第７に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部は、前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定した結果、前記パノラマ撮像画像データに対する位置合わせが不能とされた前記静止画データが存在する場合は、前記マルチズーム画像データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定することが望ましい。
これによると、マルチズーム画像データを構成する全静止画データが位置合わせ可能と判定されなければ、位置合わせ可能な静止画データが存在していても、全静止画データについてパノラマ撮像画像データに対するリンクが行われないようになる。
【００１８】
第８に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部は、対象とする二画像間の特徴点検出、対応点検出、検出した対応点座標に基づくローカル及びグローバルな動き検出を含み、ロバスト推定法により前記二画像間の最適な位置関係を検出する画像レジストレーション処理の実行結果に基づき、前記位置合わせが可能であるか否かの判定を行うことが望ましい。
これによれば、位置合わせ判定処理にあたって、画像レジストレーション処理としての位置合わせ処理が行われることになる。
【００１９】
第９に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部は、前記特徴点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することが望ましい。
特徴点の検出数が所定値未満であるということは、特徴に乏しい一様な画像であることを意味する。
【００２０】
第１０に、上記した本技術に係る画像処理装置においては、前記対応点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することが望ましい。
対応点の検出数が所定値未満であるということは、二画像間で同一とみなせる特徴点の数が少ないことを意味する。
【００２１】
第１１に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部は、前記画像レジストレーション処理においてＲＡＮＳＡＣによるロバスト推定処理を行い、当該ロバスト推定処理の過程で得られるinlierの検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することが望ましい。
inlierの検出数が所定値未満であるということは、位置合わせの基準とすべきグローバルな動き（つまり背景の動き）を示す特徴点の検出数が少ないことを意味する。
【００２２】
第１２に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部で処理対象とする前記パノラマ撮像画像データと前記他の撮像画像データとを選択する選択処理部をさらに備えることが望ましい。
これにより、位置合わせ判定処理部は、選択処理部で選択されたパノラマ画像データと他の撮像画像データについての判定処理を行えば済む。
【００２３】
第１３に、上記した本技術に係る画像処理装置においては、前記位置合わせ判定処理部により位置合わせが可能と判定された前記他の撮像画像データに対して前記パノラマ撮像画像データに対する位置合わせ情報を付加する位置合わせ情報付加処理部をさらに備えることが望ましい。
位置合わせ情報は、パノラマ撮像画像データと他の撮像画像データとを統合する際に必要な情報である。
【発明の効果】
【００２４】
本発明によれば、例えば動画や高解像度画像などのパノラマ撮像画像以外の他の撮像画像を統合して臨場感・没入感の向上を図ったパノラマ画像を実現するにあたって、ユーザは、略同一の撮像地点においてパノラマ撮像画像と他の撮像画像とを撮影すればよい。従って、ユーザに過度な負担を強いることなく、臨場感・没入感のより高いパノラマ画像を実現できる。
【図面の簡単な説明】
【００２５】
【図１】パノラマ合成についての概要を説明するための図である。
【図２】シームの例を示した図である。
【図３】パノラマ画像と各シームとの関係を例示した図である。
【図４】実施の形態としての画像処理装置を含んで構成される撮像装置の構成例を示した図である。
【図５】パノラマ合成処理として実行される各処理を機能構成として示した図である。
【図６】パノラマ画像と他の画像とをリンクさせるまでの処理の概要を説明するための図である。
【図７】リンク情報の付加の具体的な態様についての説明図である。
【図８】実施の形態の画像処理を実現するために実行されるべき具体的な処理の手順について説明するためのフローチャートである。
【図９】動画用判定・リンク処理として実行されるべき処理の手順を示したフローチャートである。
【図１０】マルチズーム画像用判定・リンク処理として実行されるべき処理の手順を示したフローチャートである。
【図１１】位置合わせ判定処理及び画像リンク処理を実行するコンピュータ装置の構成例を示した図である。
【発明を実施するための形態】
【００２６】
以下、本技術に係る実施の形態について説明する。
なお、説明は以下の順序で行う。
＜１．パノラマ合成について＞
＜２．画像処理装置の構成＞
［2-1．全体構成］
［2-2．パノラマ合成処理］
＜３．リンクまでの流れ＞
［3-1．概要］
［3-2．位置合わせ判定処理について］
［3-3．リンク処理について］
＜４．処理手順＞
＜５．まとめ＞
＜６．プログラム＞
＜７．変形例＞
＜８．本技術＞
【００２７】
＜１．パノラマ合成について＞
先ず、パノラマ合成についての概要を説明する。
後述する実施の形態の撮像装置１００や、近年の一般的な撮像装置（デジタルスチルカメラ）は、撮像者がある地点（回転軸）において撮像装置１００を回転させながら撮像して得られた複数枚の静止画像（パノラマ用フレーム画像データ）に対し、合成処理を行うことによってパノラマ画像（パノラマ撮像画像データ）を生成することができる。
【００２８】
図１Ａは、パノラマ撮像時の撮像装置１００の動きを示したものである。パノラマ撮像時には遠景、近景の視差が合成時のつなぎ目の不自然さを生じさせるため、撮像時の回転中心は、ノーダルポイント（Nodal  Point）と呼ばれる視差を生じないレンズ固有の点を回転中心にすることが望ましい。パノラマ撮像時の撮像装置１００の回転運動のことを「スイープ」と呼ぶ。
【００２９】
図１Ｂは、撮像装置１００のスイープによって得られた複数枚の静止画像に対して、適切に位置合わせを行ったときの概念図である。この図では撮像で得られる各静止画像を、撮像の時間的な順序で示している。即ち時刻０〜時刻（ｎ−１）までに撮像された静止画像を、パノラマ用フレーム画像データＦＭ＃０、ＦＭ＃１・・・ＦＭ＃（ｎ−１）としている。
ｎ枚の静止画像からパノラマ画像を生成する場合は、図示するように連続して撮像された一連のｎ個のパノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）について合成処理を行うこととなる。
【００３０】
この図１Ｂに示すように、撮像された各フレーム画像データは隣接するフレーム画像データと必ず重なり部分を持つ必要があるので、撮像装置１００の各フレーム画像データの撮像時間間隔と、撮像者がスイープする速度の上限値は適切に設定しなければならない。
そして、このように位置合わせされたフレーム画像データ群は多くの重なり部分を持つため、各フレーム画像データに対して最終的なパノラマ画像に使用する領域を決定する必要がある。これは言い換えると、パノラマ合成処理における画像のつなぎ目（シーム：seam)を決めていることと同一である。
【００３１】
図２Ａ、図２Ｂでは、シームＳＭの例を示している。
シームには、図２Ａに示すようにスイープ方向に垂直な直線や、図２Ｂに示すように非直線（曲線など）とすることができる。
この図２Ａ、図２Ｂにおいて、シームＳＭ０はパノラマ用フレーム画像データＦＭ＃０，ＦＭ＃１間のつなぎ目、シームＳＭ１はパノラマ用フレーム画像データＦＭ＃１，ＦＭ＃２間のつなぎ目、・・・シームＳＭ（ｎ−２）はパノラマ用フレーム画像データＦＭ＃（ｎ−２），ＦＭ＃（ｎ−１）間のつなぎ目として示している。
なお、これらシームＳＭ０〜ＳＭ（ｎ−２）が合成時の隣接画像間のつなぎ目とされることで、各フレーム画像データにおいて斜線部とした部分は、最終的なパノラマ画像に使用されない画像領域となる。
【００３２】
また、パノラマ合成を行う際には、シーム付近の画像の不自然さを低減することを目的とし、シーム付近の画像領域についてブレンド処理を行う場合もある。
そして、各フレーム画像データの共通部分を広範囲にブレンド処理することによって接合させる場合や、パノラマ画像に寄与する画素を共通部分から画素毎に選択する場合もあり、これらの場合には、つなぎ目は明確には存在しないが、本明細書においてはこの広範囲な接合部分もシームとして同一視するものとする。
【００３３】
また、図１Ｂに示したように、各フレーム画像データの位置合わせの結果、一般的にスイープ方向だけでなく、スイープと垂直な方向にも若干の移動が認められる。これは撮像者のスイープ時の手振れ等によって生じるズレである。
【００３４】
各フレーム画像データのシームを決定し、その境界領域で接合、又はブレンド処理することによる接合を行い、最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、図３に示すような、スイープ方向を長辺方向とする、広画角のパノラマ画像を得ることができる。
図３では縦線がシームを示しており、ｎ個のパノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）がシームＳＭ０〜ＳＭ（ｎ−２）でそれぞれ接合されてパノラマ画像が生成されている状態を模式的に示している。
【００３５】
このようなパノラマ画像を得るためにユーザ（撮影者）が撮像装置１００を用いて行うパノラマ撮像の具体的操作例を説明する。
【００３６】
先ず第一に、撮像装置１００をパノラマ撮像モードに設定し、さらに最大撮像画角を設定する。最大撮像画角としては例えば１２０°、１８０°、３６０°などが選択可能であり、３６０°を選択した場合は、周囲の全風景をすべて写真に収めるいわゆる全周撮像ができる。なお、パノラマ撮像モードにおいて最大撮像画角を３６０°に設定した場合は「３６０°パノラマ撮像モード」、最大撮像画角を１８０°に設定した場合は「１８０°パノラマ撮像モード」などの表現を用いる。
【００３７】
次に、ユーザは撮像装置１００のシャッターボタンを押下することによってパノラマ撮像を開始するとともに、スイープ動作を行う。その後、パノラマ撮像の終了条件が満たされた場合にパノラマ撮像が完了する。終了条件は例えば以下の通りである。
・あらかじめ設定された最大撮像画角に到達した場合
・ユーザによるスイープ動作が停止した場合
・ユーザがシャッターボタンを再び押下した場合
・ユーザがシャッターボタンから指を離した場合（パノラマ撮像中にはシャッターボタンを押し続けるという仕様において）
・何らかのエラーが発生した場合
【００３８】
撮像完了後は自動的にパノラマ合成処理が開始され、或る時間経過後にパノラマ画像の合成が完了するとともに、そのパノラマ画像データが記録デバイスに保存される。
その後は通常の静止画像と同様に一覧し、表示することができる。
【００３９】
このように生成されるパノラマ画像データと、その表示態様の例について説明する。
図４Ａは、パノラマ合成時の投影処理の概念図である。パノラマ合成時の処理方式は多様であるが、例えば円筒面、球面、立方体などに投影する処理が行われることが多い。説明上「合成用投影処理（再投影処理）」と呼び、後述の投影表示のために行う「表示用投影処理」と区別する。
この図４Ａでは、パノラマ撮像動作時にスイープしながら撮像される多数のパノラマ用フレーム画像データＦＭを示している。パノラマ用フレーム画像データＦＭ、つまり通常の写真撮影と同じ撮像画像は、三次元の光景を平面（例えばカメラのイメージャ平面）に投影したものといえる。このような多数のパノラマ用フレーム画像データＦＭから図３のようなパノラマ画像データを生成する際には、合成用投影処理として、例えば円筒面ＦＲに各パノラマ用フレーム画像データＦＭを投影した状態とする。図では模式的に投影されたパノラマ用フレーム画像データＦＭｐｄを円筒面ＦＲに沿わして示している。
このような合成用投影処理されたパノラマ用フレーム画像データＦＭｐｄをつなぎ合わせて図４Ｂのようにパノラマ画像データＰＤを生成する。パノラマ画像データＰＤは投影中心ＣＴからみて円筒面ＦＲ上に再投影された画像データということができる。
【００４０】
＜２．画像処理装置の構成＞
［2-1．全体構成］
図４は、本技術に係る実施の形態としての画像処理装置１を含んで構成される撮像装置１００の構成例を示している。
撮像装置１００は、レンズユニット１１１、撮像素子１０１、画像処理部１０２、グラフィック処理部１０３、記録デバイス１０４、表示部１０５、通信部１０６、メモリ部１０７、制御部１０８、操作部１０９、及びセンサー部１１０を備える。
図示は省略しているが、本実施の形態としての画像処理装置１は、画像処理部１０３と制御部１０８との処理で実現される概念的な装置を表すものである。
【００４１】
画像処理部１０２、グラフィックス処理部１０３、記録デバイス部１０４、表示部１０５、通信部１０６、メモリ部１０７、制御部１０８、操作部１０９、及びセンサー部１１０は、バス１１２を介して相互に接続され、画像データや制御信号等がやりとりされる。
【００４２】
レンズユニット１１１は、被写体の光画像を集光する。レンズユニット１１１は制御部１０８からの指示に従い、適切な画像を得られるように、焦点距離、被写体距離、絞りなどを調整する機構を持つ。また光学的に画像のブレを抑止するための手ブレ補正機構も持つ。
【００４３】
撮像素子１０１は、レンズユニット１１１で集光された光画像を光電変換して電気信号（撮像信号）に変換する。具体的には、ＣＣＤ（Charge  Coupled  Device）イメージセンサやＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサなどにより実現される。
【００４４】
画像処理部１０２は、撮像素子１０１からの電気信号をサンプリングするサンプリング回路、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路、デジタル信号に所定の画像処理を施す画像処理回路などから構成される。この画像処理部１０２は、撮像素子１０１で得られた撮像信号に基づく画像データを得る処理を行う。画像データとしては、前述のパノラマ用フレーム画像データＦＭとしても用いられる静止画データと共に、動画データの生成も可能とされる。
また、画像処理部１０２は、前述したパノラマ合成を実現するためのパノラマ合成機能を有する。図中では、当該パノラマ合成機能の実現のために画像処理部１０２が行う処理を、模式的に「パノラマ合成処理部１０２Ａ」と表している。
【００４５】
なお、画像処理部１０２は、専用のハードウエア回路のみではなく、ＣＰＵ（Central  Processing  Unit）やＤＳＰ（Digital  Signal  Processor）を備え、柔軟な画像処理に対応するためにソフトウエア処理を行うことができる。
【００４６】
グラフィックス処理部１０３は、２Ｄおよび３Ｄのグラフィックスを高速に生成するためのハードウェアであり、一般的にＧＰＵ（Graphics  Processing  Unit）と呼ばれる。ＧＰＵは特定機能専用のハードウェア回路だけではなく、プログラマブルなプロセッサーを備えており、柔軟なグラフィックス処理を行うことができる。またプログラマブルな特徴を生かして、グラフィックス以外の目的にＧＰＵの計算能力を使用することも可能であり、このようなＧＰＵの利用法を一般的にＧＰＧＰＵ（General  Purpose  computing  on  GPU）と呼ぶ。
【００４７】
記録デバイス１０４は、フラッシュメモリ（Flash  Memory）などの半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどの記録媒体と、それらの記録媒体に対する記録再生系回路・機構により構成される。
撮像装置１００による静止画撮像時には、画像処理部１０２でＪＰＥＧ（Joint  Photographic  Experts  Group）形式などの所定の静止画形式にエンコードされ、メモリ部１０７に格納された静止画データを記録媒体に記録する。また、動画撮像時には、画像処理部１０２で例えばＡＶＣＨＤ（Advanced  Video  Codec  High  Definition）形式等の所定の動画形式にエンコードされ、メモリ部１０７に格納された動画データを記録媒体に記録する。
再生時には、記録媒体に保存された静止画データや動画データをメモリ部１０７に読み込み、画像処理部１０２でデコード処理を行う。デコードされた画像データは、表示部１０５で表示させたり、或いは通信部１０６により外部機器に送信出力することも可能である。
【００４８】
表示部１０５は、画像処理部１０２によって処理され、メモリ部１０７に格納されている画像データをアナログ化するＤ／Ａ変換回路と、アナログ化された画像信号を後段の表装置に適合する形式のビデオ信号にエンコードするビデオエンコーダと、入力されるビデオ信号に対応する画像を表示する表示装置とから構成される。
表示装置は、例えば、ＬＣＤ（Liquid  Crystal  Display）や有機ＥＬ（Electroluminescence）パネル等により実現され、ファインダとしての機能も有する。
【００４９】
通信部１０６は外部機器との通信やネットワーク通信を行う。具体的には通信部１０６は３Ｇ，４Ｇ通信などと呼ばれる携帯電話系の移動通信システムやＩＥＥＥ８０２．１１シリーズなどによる無線ＬＡＮ（Local  Area  Network）などの無線通信、あるいは有線ＬＡＮやＵＳＢ（Universal  Serial  Bus）、Thunderboltなどの有線通信を行うモジュールから構成される。これにより外部のパーソナルコンピュータや携帯電話、スマートフォン、タブレットなどのデバイスや、インターネットを経由した各種サーバーとのデータの受け渡しが可能となる。
なお通信部１０６が行う通信の伝送路の例は各種考えられ、例えば電波、赤外線等による無線伝送路や、ケーブル接続による有線伝送路のいずれでもよい。信号形態もデジタル電気信号通信、アナログ電気信号通信、光通信などが想定される。
【００５０】
メモリ部１０７は、ＤＲＡＭ（Dynamic  Random  Access  Memory）などの半導体メモリから構成され、画像処理部１０２で処理された画像データ、制御部１０８における制御プログラム及び各種データなどが一時記録される。
【００５１】
制御部１０８は、ＣＰＵ及び制御プログラムからなり、撮像装置１００の各部の制御を行う。制御プログラム自体は実際にはメモリ部１０７に格納され、ＣＰＵによって実行される。
【００５２】
操作部１０９は、シャッターボタン、上下左右矢印キー、決定キー、キャンセルキーななどのハードウエアキー、操作ダイアル、タッチパネル、ズームレバーなどの入力デバイスを備え、ユーザの入力操作を検出し、制御部１０８に入力操作に応じた情報（操作入力情報）を伝達する。制御部１０８は操作入力情報に応じて撮像装置１００の動作を決定し、各部が必要な動作を行うように制御する。
【００５３】
センサー部１１０は、ジャイロセンサー、加速度センサー、ＧＰＳ（Global  Positioning  System）センサー、地磁気センサーなどで構成され、各種情報の検出を行う。これらの情報は、撮像された画像データに対して、メタデータとして付加されるほか、各種画像処理、制御処理にも利用される。
特に、ＧＰＳセンサーによる位置情報は、画像撮像ごとに制御部１０８によって取得され、撮像地点を表すデータ（撮像地点データ）として撮像画像データ（パノラマ画像データＰＤも含む）に付加される。
【００５４】
［2-2．パノラマ合成処理］
次に、本実施の形態の撮像装置１００が実行するパノラマ合成処理についての詳細を説明する。
図５は、パノラマ合成処理部１０２Ａとして画像処理部１０２において実行される処理を、機能構成として示し、それらの機能構成部位によって実行される処理を示している。
【００５５】
機能構成としては、一点鎖線でそれぞれ示すように、被写体情報検出部２０、シーム確定処理部２１、画像合成部２２、パノラマ合成準備処理部２３を備える。
【００５６】
被写体情報検出部２０は、パノラマ画像生成に用いる一連のｎ個のパノラマ用フレーム画像データの入力過程で、各パノラマ用フレーム画像データについて被写体情報を検出する。
この例では動被写体検出処理２０２、検出・認識処理２０３を行う。
【００５７】
シーム確定処理部２１は、（ｍ＋１）個（但しｍ＜ｎ）のパノラマ用フレーム画像データ群毎に、隣接フレーム画像データ間のつなぎ目となるｍ個の各シームの位置を、被写体情報検出部２０で検出された被写体情報を用いた最適位置判定処理によって求め、ｍ個以下のつなぎ目を確定させる処理（シーム確定処理２０５）を行う。このシーム確定処理２０５を、一連のｎ個のパノラマ用フレーム画像データの入力過程で順次行う。
【００５８】
画像合成部２２は、シーム確定処理部２１で確定されたシームに基づいて、各パノラマ用フレーム画像データを合成していくことで、ｎ個のパノラマ用フレーム画像データを用いたパノラマ画像データを生成するスティッチ処理２０６を行う。
【００５９】
パノラマ合成準備処理部２３は、パノラマ合成を精度良く行うために必要な準備処理として、例えば前処理２００、画像レジストレーション処理２０１、再投影処理２０４を行う。
【００６０】
各処理について説明する。
前処理２００の対象となる入力画像群とは、ユーザが撮像装置１００でパノラマ撮像を実行しているときに順次得られるパノラマ用フレーム画像データＦＭ＃０、ＦＭ＃１、ＦＭ＃２・・・である。
先ず、パノラマ合成準備処理部２３では、ユーザのパノラマ撮像操作によって撮像された画像（各パノラマ用フレーム画像データ）に対して（ここでの画像は通常の撮像時と同様の画像処理は行われているものとする）、パノラマ合成処理に対する前処理２００を行う。
入力された画像はレンズユニット１１０の特性に基づく収差の影響を受けている。特にレンズの歪曲収差は、画像レジストレーション処理２０１に悪影響を与え、位置合わせの精度を低下させる。さらに合成されたパノラマ画像のシーム付近にアーティファクトも発生させるため、この前処理２００において歪曲収差の補正を行う。歪曲収差の補正によって、動被写体検出処理２０２、検出・認識処理２０３の精度を向上させる効果もある。
【００６１】
次にパノラマ合成準備処理部２３は、前処理２００を行ったフレーム画像データに対して、画像レジストレーション処理２０１を行う。
パノラマ合成時には複数のパノラマ用フレーム画像データを単一の座標系に座標変換する必要があるが、この単一の座標系をパノラマ座標系と呼ぶことにする。
画像レジストレーション処理２０１は、２枚の連続するパノラマ用フレーム画像データを入力し、パノラマ座標系での位置合わせを行う処理である。２枚のパノラマ用フレーム画像データについての画像レジストレーション処理２０１によって得られる情報は、あくまで２枚の画像座標間の相対関係であるが、複数枚の画像座標系のうち一つ（例えば最初のパノラマ用フレーム画像データの座標系）を選び、パノラマ座標系に固定することによって、すべてのパノラマ用フレーム画像データの座標系をパノラマ座標系に変換することができる。
【００６２】
画像レジストレーション処理２０１で行う具体的な処理は、以下の二つに大別される。
１．画像内のローカルな動きを検出する。
２．上記で求めたローカルな動き情報から、画像全体のグローバルな動きを求める。
【００６３】
上記１の処理では一般的に、
・ブロックマッチング
・Ｈａｒｒｉｓ，Ｈｅｓｓｉａｎ，ＳＩＦＴ，ＳＵＲＦ，ＦＡＳＴなどの特徴点抽出及び特徴点マッチング
などが用いられ、画像の特徴点のローカルベクトル（ローカルな動き）を求める。
【００６４】
上記２の処理では、上記１の処理で求められたローカルベクトル群を入力として、
・最小二乗法
・Ｍ−Ｅｓｔｉｍａｔｏｒ
・最小メジアン法（ＬＭｅｄＳ）
・ＲＡＮＳＡＣ（RANdom  SAmple  Consensus）
などのロバスト推定手法が用いられ、２枚間の座標系の関係を記述する最適なアフィン変換行列や射影変換行列（Homography）などの座標変換行列を求める。本明細書では、これらの情報を画像レジストレーション情報と呼ぶことにする。
【００６５】
本例における画像レジストレーション処理２０１、すなわち対象とする二画像間の位置合わせ処理（撮像被写体の整合性が確保されるように位置合わせする処理）は、具体的には以下のようにして行われる。
先ず前提として、本例の画像レジストレーション処理２０１では、上記のロバスト推定手法としてＲＡＮＳＡＣを採用する。この前提の下で、以下のような処理を実行して、二画像間の最適な位置関係を表す画像レジストレーション情報を求める。
１）対象とする二つの各画像について特徴点（例えばエッジ）を検出
２）特徴点を二画像間で比較（マッチング）し、特徴量（ベクトル）が同一とみなせる特徴点を、対応点として検出
３）二画像間での対応点の動きを求めることで、ローカルな動きを検出
４）ローカルな動きからグローバルな動き（フレーム画像全体がどう動いたか）を検出
５）ＲＡＮＳＡＣとしてのロバスト推定手法により、最適な（撮像被写体の整合性が確保される）二画像間の位置関係を表す座標変換行列を求める。このとき、ＲＡＮＳＡＣとしてのロバスト推定手法によると、背景（inlier）としての特徴点と動被写体（outlier：外れ値）としての特徴点とが分別される。
【００６６】
上記のようにして求めた座標変換行列と、二画像をそれぞれ撮像した際の焦点距離等のカメラパラメータ（内部パラメータ）とを用いると、二画像間の３次元空間中の座標変換行列を求めることができる。
このように求まる座標変換行列は二画像間の相対的な関係を示したものであるが、ある座標軸を導入し絶対座標系を定義する。この絶対座標系を、本明細書ではワールド座標系と呼ぶこととする。
このワールド座標系における座標変換行列が、画像の位置合わせ情報として用いられる。
【００６７】
また、パノラマ合成準備処理部２３は再投影処理２０４を行う。
再投影処理２０４では、画像レジストレーション処理２０１によって得られた画像レジストレーション情報に基づき、すべてのパノラマ用フレーム画像データを単一の平面、あるいは円筒面、球面などの単一の曲面に投影する処理を行う。また同時に、動被写体情報、検出・認識情報についても同一平面もしくは曲面に投影する。
パノラマ用フレーム画像データの再投影処理２０４は、ピクセル処理の最適化を考慮して、スティッチ処理２０６の前段処理として、もしくはスティッチ処理２０６の一部として行ってもよい。また簡易的に画像レジストレーション処理２０１の前、例えば前処理２００の一部として行ってもよい。またさらに簡略化して、処理そのものを行わず円筒投影処理の近似として扱ってもよい。
【００６８】
被写体情報検出部２０は、前処理２００が行われた各パノラマ用フレーム画像データについて、動被写体検出処理２０２、検出・認識処理２０３を行う。
パノラマ合成処理は、複数枚のフレーム画像データを合成するという特性上、撮像シーンに動被写体が存在すると動被写体の一部が分断されたり、ぼやけるなどの画像の破綻や画質の低下の原因となる。そのため動被写体を検出した上で、動被写体を避けてパノラマのシームを決定することが好ましい。
【００６９】
動被写体検出処理２０２では、２枚以上の連続するパノラマ用フレーム画像データを入力し、動被写体の検出を行う処理である。具体的な処理の例は、画像レジストレーション処理２０１によって得られた画像レジストレーション情報により、実際に位置合わせを行った２枚のパノラマ用フレーム画像データの画素の差分値がある閾値以上の場合に、その画素を動被写体と判定するものである。
あるいは、画像レジストレーション処理２０１のロバスト推定時にoutlier（外れ値）として判断された、特徴点情報を利用して判定を行っても良い。
【００７０】
検出・認識処理２０３では、撮像されたフレーム画像データ内の人間の顔や身体、動物などの位置情報を検出する。人間や動物は動被写体である可能性が高く、仮に動いていなかったとしても、その被写体上にパノラマのシームが決定された場合、他の物体と比べて視感上の違和感を感じることが多いので、これらの物体を避けてシームを決定することが好ましい。つまりこの検出・認識処理２０３で得られた情報は、動被写体検出処理２０２の情報を補うために利用される。
【００７１】
シーム確定処理部２１によるシーム確定処理２０５は、再投影処理２０４からの画像データ、画像レジストレーション処理２０１からの画像レジストレーション情報、動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報を入力とし、パノラマ画像として破綻の少ない、適切なシームＳＭ（図２、図３で説明したシームＳＭ０〜ＳＭ（ｎ−２））を決定する処理である。
【００７２】
シーム決定処理２０５では、まず入力した情報から隣接するパノラマ用フレーム画像データ間の重なり領域に対するコスト関数を定義する。
例えば重なり領域の各画素に対して動被写体検出処理２０２からの動被写体情報、検出・認識処理２０３からの検出・認識情報のそれぞれに適当な重みを付けた合計値を関数値とすればよい。
この場合、コスト関数値が高いほど、その点上には動被写体や人体などの物体が多く存在することを意味するため、パノラマ画像における破綻を最小限に抑えるためには、コスト関数値の低い点の集合をシームとすればよい。
【００７３】
パノラマ画像合成に用いる画像がｎ枚の場合、その重なり領域の数はｎ−１個になり、コスト関数もｎ−１個定義されることになる。よってパノラマ画像全体として最適なシームを選ぶためには、これらｎ−１個のコスト関数を最小化する組み合わせを求めることになる。これは一般に組み合わせ最適化問題と呼ばれ、以下のような解法が知られている。
・厳密解を求める解法
−分枝限定法
−Memoization
−動的計画法(Dynamic  Programming)
−グラフカット
・近似解を求める解法
−局所探索法（山登り法）
−焼きなまし法(Simulated  Annealing)
−タブーサーチ
−遺伝的アルゴリズム(Genetic  Algorithm)
以上のいずれかの解法によりすべてのシームＳＭ１〜ＳＭ（ｎ−２）を求めることができる。
【００７４】
画像合成部２２におけるスティッチ処理２０６では、以上のように決定した全てのシームＳＭ１〜ＳＭ（ｎ−２）と、各パノラマ用フレーム画像データＦＭ＃０〜ＦＭ＃（ｎ−１）を使用して、最終的にパノラマ画像を合成する。
シーム周辺の領域に対しては、つなぎ目の不自然さを低減するためにブレンド処理を行い、それ以外の領域に対しては、単純な画素値のコピー、あるいはパノラマ座標系への再サンプリングのみを行い、すべての画像を接合する。
最終的に手振れ量を考慮してスイープと垂直な方向の不要な部分をトリミングすることによって、スイープ方向を長辺方向とするような、広画角のパノラマ画像（パノラマ画像データＰＤ）を得ることができる。
【００７５】
＜３．リンクまでの流れ＞
［3-1．概要］
ここで、本実施の形態では、上記のように構成された撮像装置１００を用いて、臨場感・没入感の高いパノラマ画像データＰＤを、ユーザに過度な負担を強いることなく実現することを目的とする。
このために本実施の形態では、パノラマ画像データＰＤに対し、動画や高解像度画像といった他の撮像画像データを装置側で自動的に貼り付けて統合するという手法を提案する。具体的には、パノラマ画像データＰＤに対して撮像被写体の整合性を確保するように位置合わせが可能とされる他の撮像画像データを、パノラマ画像データＰＤに対して貼り付けて提示するというものである。
本実施の形態は、このような手法が採られる前提の下で、統合を行うべき他の撮像画像データをパノラマ画像データＰＤに対してリンクさせる技術に関するものである。
【００７６】
上記の手法を実現するためのユーザの使用法は、概ね以下のようになる。
先ず、例えば運動会や各種スポーツ観戦などとったユーザが同じ立ち位置において撮影を行うシチュエーションを想定する。このようなシチュエーションにおいて、ユーザは、同じ立ち位置（同じ撮像地点）でパノラマ画像と動画・静止画といったパノラマ画像以外の他の画像の撮影操作を行う。
このとき、パノラマ画像以外の他の画像を撮影する際の位置に関しては、パノラマ画像撮影時の位置に対する誤差が大きいとパノラマ画像との間で視差が生じ、統合した際につなぎ目が不自然になる。パノラマ画像と他の画像との撮像地点の同一性は、厳密に定義すれば、これらの画像の撮影時における撮像装置の光学系の光学中心が一致している、ということになるが、例えば手ぶれによる誤差等を含む多少の誤差が生じていても、先のパノラマ合成処理の説明からも理解されるように十分に位置合わせが可能なものである。
この点を考慮すると、パノラマ画像と他の画像との撮像地点は、厳密に同一である必要性はなく、位置合わせ可能な程度に「略同一」であればよいと言える。
【００７７】
上記のような使用法が採られることで、撮像装置１００には、それぞれが略同一の撮像地点を表す撮像地点データの付されたパノラマ画像データＰＤ、及び他の撮像画像データが得られる。
ここで、臨場感・没入感の向上を図るために、他の撮像画像データとしては、動画、又は高解像度画像を撮影する。なお、高解像度画像は、少なくともパノラマ画像データＰＤに対して高解像度であればよく、従ってパノラマ画像データＰＤについての撮影時の画角よりも望遠側の画角で撮影された静止画と定義できる。
本例では、高解像度画像としては、所謂マルチズーム画像を撮影することが可能とされる。すなわち、それぞれ異なる画角（但しパノラマ画像の撮影時の画角よりも望遠側の画角）で撮影された複数枚の高解像度画像である。  
本例の場合、マルチズーム画像としての複数枚の静止画は１組の画像群として管理される。例えば、撮像装置１００には、マルチズーム画像を撮影するための撮影モードが設けられ、ユーザは、当該撮影モードに設定した上で、画角（ズーム倍率）を順次変えながら静止画の撮影操作を行う。撮像装置１００（制御部１０８）では、この撮影操作に伴い順次生成された撮像画像データを、マルチズーム画像データとしての１組の画像群データとして管理する。
【００７８】
図６は、パノラマ画像と他の画像とをリンクさせるまでの処理の概要を説明するための図であり、具体的には、実施の形態としての画像処理装置１において実行される処理を、機能構成として示し、それらの機能構成部位によって実行される処理を示している。
【００７９】
画像処理装置１は、少なくとも位置合わせ判定処理部２としての機能と、リンク処理部３としての機能とを有する。
位置合わせ判定処理部２は、パノラマ画像データＰＤとパノラマ画像データＰＤ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する処理を行う。
リンク処理部３は、位置合わせ判定処理部２によりパノラマ画像データＰＤに対する位置合わせが可能と判定された他の撮像画像データとパノラマ画像データＰＤとをリンクさせる処理（画像リンク処理）を行う。
【００８０】
ここで、位置合わせ判定処理部２が処理対象とする他の撮像画像データは、予めパノラマ画像データＰＤに対する撮像地点の関係性に基づき選択されたものであることが望ましい。パノラマ画像データＰＤ以外の他の全ての撮像画像データについて位置合わせ判定を行うことは、処理負担の増大化を招き好ましくないためである。
そこで、本例の画像処理装置１においては、位置合わせ判定処理部２による位置合わせ判定処理に先立ち、記録デバイス１０８に記録された撮像画像データのうちから位置合わせ判定処理の対象とするパノラマ画像データＰＤと他の撮像画像データとの選択を行う撮像画像選択処理部０を設ける。
【００８１】
本例における撮像画像選択処理部０は、記録デバイスに記録された撮像画像データのうちから、同一の撮像地点を表す撮像地点データが付されたパノラマ画像データＰＤと他の撮像画像データとを選択する処理を行う。このとき、撮像地点の同一性の判断基準は、上述したように、位置合わせ可能であるか否かの観点に基づき設定すればよい。
【００８２】
なお、撮像画像選択処理部０は、ユーザに同一撮像地点で撮像された他の撮像画像データを選択させる処理としても良い。具体的に、その場合の撮像画像選択処理部０は、制御部１０８が、記録デバイス１０８に記録された撮像画像データのうちから操作部１０９による操作入力情報に基づきパノラマ画像データＰＤと他の撮像画像データとを選択する処理となる。
【００８３】
なお、位置合わせ判定処理の処理負担の増大化防止という観点においては、撮像画像選択処理部０は必須の構成要素ではない。
例えば、他の撮像画像を統合したパノラマ画像を生成するための撮影モードを設けておき、当該撮影モードの設定中に撮像されたパノラマ画像データＰＤ及び他の撮像画像データを位置合わせ判定処理部２の処理対象画像であると認識するように構成しておけば、記録されている全ての他の撮像画像データを対象に位置合わせ判定処理を行う必要がなくなるので、同様に処理負担の増大化を防止できる。このように、撮像画像選択処理部０は必須の構成要素ではなく、この意味で図６では、撮像画像選択処理部０を破線によって表している。
【００８４】
［3-2．位置合わせ判定処理について］
位置合わせ判定処理部２による位置合わせ判定処理の詳細について説明する。
位置合わせ判定処理は、他の撮像画像データが、パノラマ画像データＰＤに対して撮像被写体の整合性が確保されるように位置合わせ可能であるか否かを判定する処理であれば、その具体的な処理内容は問わない。
本例では、撮像装置１００が画像レジストレーション処理としての位置合わせ処理機能を有していることから、この位置合わせ処理機能を利用して、位置合わせ可能であるか否かの判定を行う。
【００８５】
具体的に本例では、画像レジストレーション処理を利用して、以下のように位置合わせ可能か否かの判定を行う。
先ず、パノラマ画像データＰＤと、当該パノラマ画像データＰＤに対する位置合わせ対象とする撮像画像データとの二画像について、画像レジストレーション処理を開始する。
この画像レジストレーション処理において、先ずは特徴点の検出数が所定値未満であるか否かを判別し、その結果、特徴点の検出数が所定値未満であるとされた場合は、対象の撮像画像データはパノラマ画像データＰＤに対して位置合わせ不能であると判定する。
ここで、特徴点の検出数が所定値未満であるということは、特徴に乏しい一様な画像であることを意味する。従って、そのような画像については、適正な対応点を検出できず、それに伴い被写体の動き情報を十分に得ることができないため、位置合わせが不能である。
【００８６】
また、特徴点の検出数が所定値以上であるとされた場合は、対応点の検出数が所定値未満であるか否かを判別する。この結果、対応点の検出数が所定値未満であるとされた場合は、対象の撮像画像データはパノラマ画像データＰＤに対して位置合わせ不能であると判定する。
対応点の検出数が所定値未満であるということは、対象とする二画像間で同一とみなせる特徴点の数が少ないことを意味する。対応点が少なければ被写体の動き情報を十分に得ることができず、従って位置合わせが不能である。
【００８７】
また、特徴点の検出数、対応点の検出数がそれぞれ上記の所定値以上とされた場合は、ＲＡＮＳＡＣによるロバスト推定の過程で得られるinlierの検出数が所定値未満であるか否かを判別する。inlierの検出数が所定値未満である場合は、対象の撮像画像データはパノラマ画像データＰＤに対して位置合わせ不能であると判定する。
inlierの検出数が所定値未満であるということは、位置合わせの基準とすべきグローバルな動き（つまり背景の動き）を示す特徴点の検出数が少ないことを意味する。従って、そのような画像は位置合わせが不能である。
【００８８】
ここで、本実施の形態では、パノラマ画像データＰＤに対して統合可能な他の撮像画像データの種類が、動画データ、マルチズーム画像データ、単一の静止画データの３種であるとする。
本例では、これら他の撮像画像データの種類に応じて、位置合わせ判定手法を変更する。
先ず、動画データについて説明する。
動画データは、パン、チルト、ズームなどの動的なカメラワークが行われることを考えると、画像レジストレーション処理の難易度は格段に高くなる上に、元々フレーム画像数が多い傾向となるため、比較的多くのフレーム画像でパノラマ画像に対する位置合わせが失敗する可能性がある。
この点に鑑み、動画データについては、以下のような位置合わせ判定手法を採用する。
すなわち、動画データを構成するフレーム画像データについて順にパノラマ画像データＰＤに対する位置合わせ判定処理を上記の手法で行う。このとき、位置合わせ不能と判定されたフレーム画像データの連続数（以下、連続数カウント値ＦＣｃｎｔと表記）が所定の閾値ＦＣｔｈ以上であるか否かを判別し、連続数カウント値ＦＣｃｎｔが閾値ＦＣｔｈ以上であるとされた場合は、動画データ全体としてパノラマ画像データＰＤとの位置合わせが不能であると判定する。
また、連続数カウント値ＦＣｃｎｔが閾値ＦＣｔｈ以上とはならなかった場合であっても、動画データを構成する全フレーム画像データ（以下、このフレーム総数をＪとおく）についての位置合わせ判定が終了した後に、位置合わせ不能とされたフレーム画像データの数（以下、カウント値Ｆｃｎｔと表記）のフレーム総数Ｊに占める割合が所定の閾値Ｆｔｈ以上であった場合には、動画データ全体としてパノラマ画像データＰＤとの位置合わせが不能であると判定する。
【００８９】
一方、マルチズーム画像については、高解像度の画像を楽しむことに主眼が置かれるため、位置合わせ精度についての要求は比較的高い。このため、マルチズーム画像については、マルチズーム画像データを構成する画像データについて順にパノラマ画像データＰＤに対する位置合わせ処理を上記の手法で行い、１つでも位置合わせ不能とされた画像データが存在する場合はマルチズーム画像データ全体としてパノラマ画像データＰＤとの位置合わせが不能であると判定する。
【００９０】
上記のように、動画については、全フレーム画像データについての位置合わせが成功する可能性が低い点を考慮し、位置合わせ判定基準を低く設定し、より統合がされ易くする。
一方で、高解像度画像であるマルチズーム画像については、位置合わせ精度を確保するべく位置合わせ判定基準を高く設定する。
なお確認のため述べておくと、動画については、フレーム内に存在する動被写体に注目が集まり易く多少の位置合わせ誤差は許容されるため、上記のように判定基準を低く設定することが可能である。
【００９１】
なお、単一の静止画データについては、単純に、パノラマ撮像画像データに対する位置合わせ処理を行った結果位置合わせ可能と判定された静止画データのみをパノラマ画像データにリンクさせるようにする。
ここで、単一の静止画データについても、統合による臨場感・没入感の向上を図る上では、高解像度画像として撮像されたものであることが望ましく、従って本例においては高解像度画像としての静止画データが用いられるものとする。
【００９２】
［3-3．リンク処理について］
上記の位置合わせ判定処理が完了すると、他の撮像画像データごとに、パノラマ画像データＰＤに対する位置合わせが可能／不能の何れであるかの判定結果が得られる。
リンク処理部３によるリンク処理では、位置合わせ判定処理によりパノラマ画像データＰＤに対する位置合わせが可能と判定された他の撮像画像データとパノラマ画像データＰＤとをリンクさせる。リンクを示す情報としては、それが付されたパノラマ画像データＰＤと他の撮像画像データとが位置合わせ可能な画像群であることを示すことができるものであれば、具体的な形式は問わない。
【００９３】
一例として、本実施の形態では、リンク情報としてＵＵＩＤ（Universally  Unique  IDentifier）を用いる。具体的には、位置合わせ判定処理で対象とされた１つのパノラマ画像データＰＤごとに１つのＵＵＩＤを生成し、生成したＵＵＩＤを、当該パノラマ画像データＰＤとそれに対する位置合わせが可能と判定された他の撮像画像データとに対して付加する。
【００９４】
リンク情報の付加の具体的な態様としては、例えば図７Ａに示すように、ＵＵＩＤ５０を各画像データ（画像ファイル）のメタ情報として埋め込むようにすればよい。この図７Ａでは、２つのパノラマ画像データＰＤに対してそれぞれ位置合わせ処理が実行されて、ＵＵＩＤ５０−１とＵＵＩＤ５０−２の２種のＵＵＩＤ５０が生成されたケースを例示している。図の例では、画像ファイルＦ１〜Ｆ３が、一方のパノラマ画像データＰＤと当該パノラマ画像データＰＤに対する位置合わせが可能とされた他の撮像画像データとを含む画像群とされ、画像ファイルＦ８〜Ｆ１５が、他方のパノラマ画像データＰＤと当該パノラマ画像データＰＤに対する位置合わせが可能とされた他の撮像画像データとを含む画像群とされている。この場合には、画像ファイルＦ１〜Ｆ３に対してＵＵＩＤ５０−１が埋め込まれてそれらがリンクされ、また画像ファイルＦ８〜Ｆ１５に対してＵＵＩＤ５０−２が埋め込まれてそれらがリンクされた状態となる。
【００９５】
或いは、リンク情報は、図７Ｂに示されるように位置合わせ可能と判定された画像群を管理するための管理情報によって実現することもできる。
具体的に、図７Ｂの例では、ＵＵＩＤ５０ごとに画像ファイル名の情報を対応づけた管理情報によってリンクの態様を表すものとしている。
【００９６】
ここで、本実施の形態では、位置合わせ判定処理にあたり画像レジストレーション処理としての位置合わせ処理を実行するので、位置合わせが可能と判定された他の画像データについては、パノラマ画像データに対する位置合わせ情報（前述したワールド座標系での座標変換行列）が得られる。
本実施の形態では、このような位置合わせ情報についても、位置合わせが可能と判定された他の撮像画像データに対して付加する。この位置合わせ情報の付加についても、その具体的な手法については特に限定されるべきものではないが、例えばリンク情報の場合と同様に、メタデータとして画像ファイルに埋め込む手法やＵＵＩＤ５０に対応づけて管理するといった手法を採ることができる。
【００９７】
なお、動画やマルチズーム画像としての複数の静止画で構成された画像については、その統合時には、構成画像の個々に対して位置合わせ情報が必要となる。このため、位置合わせ情報の付加は、これら動画、マルチズーム画像については、その構成画像の個々に対して行う。
このとき、動画については、例えば前述のような位置合わせ判定手法を採った場合には、位置合わせ不能と判定されたフレーム画像も含んでいることになる。このように位置合わせ情報が得られなかったフレーム画像に対しては、位置合わせ可能と判定されたフレーム画像の位置合わせ情報に基づく位置合わせ情報を付加すればよい。
具体的には、例えば位置合わせ不能と判定されたフレーム画像の前／後の少なくとも何れかにおける位置合わせ可能と判定されたフレーム画像の位置合わせ情報を補完して用いることが考えられる。或いは、位置合わせ不能と判定されたフレーム画像の前／後の少なくとも何れかにおける位置合わせ可能と判定されたフレーム画像の位置合わせ情報をそのまま用いることもできる。
【００９８】
＜４．処理手順＞
図８〜図１０により、上記で説明した本実施の形態としての画像処理を実現するために実行されるべき具体的な処理の手順について説明する。
なお、図８〜図１０は、主に図６に示した各機能構成で実行される処理要素に、いくつかの制御要素を付加してフローチャート化したものである。図８〜図１０の処理において図６で既に説明済みとなった処理要素については同一名称を付して重複した詳しい説明は省略する。
ここで、以下の説明において、「位置合わせ処理」については、画像処理部１０２における位置合わせ処理部１０２Ａが実行するものとする。その他の処理については、画像処理部１０２又は制御部１０８の何れが行っても良い。具体例として、本例では、撮像画像選択処理（Ｓ１０１）は制御部１０８が実行し、それ以外の処理は全て画像処理部１０２が実行するものとする。
【００９９】
図８において、ステップＳ１０１では、撮像画像選択処理を行う。すなわち、位置合わせ判定処理の対象とする撮像画像データの選択を行う。前述のように、ここでの撮像画像データの選択処理は、パノラマ画像データＰＤと他の撮像画像データとに付された撮像地点データに基づき撮像装置１００が主体的に選択を行う処理や、或いはユーザに略同一地点で撮像された画像を選択させるべく、操作部１０９による操作入力情報に基づき画像データを選択する処理とすることができる。
【０１００】
ステップＳ１０２においては、位置合わせ対象画像数＝Ｉと設定する。この位置合わせ対象画像数Ｉの値には、ステップＳ１０１の選択処理によって選択されたパノラマ画像データＰＤ以外の他の撮像画像データの数を設定する。
【０１０１】
続くステップＳ１０３では、処理対象画像識別子ｉ＝１と設定する。この処理対象画像識別子ｉは位置合わせ判定処理対象とする他の撮像画像データを識別するための情報である。ステップＳ１０３では、処理対象画像識別子ｉ＝１と設定することで、ステップＳ１０１で選択されたＩ個の他の撮像画像データのうちのｉ＝１番目の撮像画像データを位置合わせ判定処理の対象とする画像データとして設定する。
【０１０２】
次のステップＳ１０４では、ｉ番目の画像は単一の静止画データか否かを判別する。
ｉ番目の画像が単一の静止画データであるとの肯定結果が得られた場合は、図中にステップＳ１０５と波線で囲った単一の静止画用の判定・リンク処理を実行する。
すなわち、先ずステップＳ１０６において、ｉ番目の画像のパノラマ画像に対する位置合わせ処理を開始し、続くステップＳ１０７において位置合わせ不能か否かを判別（判定）する。なお前述のように、本例では、位置合わせ不能であるか否かの判定は、位置合わせ処理の過程で得られる特徴点、対応点、inlierの検出数に基づき行うものである。
【０１０３】
ステップＳ１０７において、位置合わせ不能ではないとの否定結果が得られた場合は、ステップＳ１０８においてｉ番目の画像とパノラマ画像とのリンク処理を実行する。さらに、続くステップＳ１０９において、位置合わせ情報の付加処理を実行する。すなわち、ステップＳ１０６で開始された位置合わせ処理の結果得られた位置合わせ情報をｉ番目の画像（この場合は単一の静止画データ）に対して付加する。ステップＳ１０９の付加処理を行った後は、ステップＳ１１３に進む。
【０１０４】
一方、ステップＳ１０７で位置合わせ不能であるとの肯定結果が得られた場合は、ステップＳ１０８のリンク処理及びステップＳ１０９の付加処理を経由せずにステップＳ１１３に進む。
【０１０５】
ステップＳ１１３では、処理対象画像識別子ｉの値が位置合わせ対象画像数Ｉの値以上であるか否かを判別する。処理対象画像識別子ｉの値が位置合わせ対象画像数Ｉの値以上であるとの肯定結果が得られた場合は、既に処理対象画像の全てについて処理が完了したことを意味する。従ってその場合、本実施の形態としての画像処理は終了となる。
一方、処理対象画像識別子ｉの値が位置合わせ対象画像数Ｉの値以上ではないとの否定結果が得られた場合は、残りの画像についての処理が継続されるべく、ステップＳ１１４にて処理対象画像識別子ｉの値をインクリメント（ｉ←ｉ＋１）した後、ステップＳ１０４に戻る。
【０１０６】
ステップＳ１０４において、ｉ番目の画像が単一の静止画データではないとの否定結果が得られた場合は、ステップＳ１１０において、ｉ番目の画像は動画であるか否かを判別する。
ｉ番目の画像が動画であるとの肯定結果が得られた場合は、ステップＳ１１１の動画用判定・リンク処理を実行した後、先に説明したステップＳ１１３に進む。
一方、ｉ番目の画像が動画であるとの肯定結果が得られた場合は、ステップＳ１１２のマルチズーム画像用判定・リンク処理を実行した後、同様にステップＳ１１３に進む。
【０１０７】
図９は、ステップＳ１１１の動画用判定・リンク処理として実行されるべき処理の手順を示している。
図９において、先ずステップＳ２０１では、フレーム総数＝Ｊと設定する。すなわち、ｉ番目の画像としての動画データを構成するフレーム画像データの総数をフレーム総数Ｊの値に設定する。
【０１０８】
続くステップＳ２０２では、位置合わせ不能なフレーム数についてのカウント値Ｆｃｎｔを０リセットし、さらに続くステップＳ２０３で位置合わせ不能なフレームの連続数についてのカウント値ＦＣｃｎｔを０リセットする。
【０１０９】
その上で、ステップＳ２０４において、処理対象フレーム識別子ｊ＝１と設定し、ステップＳ２０５においてｊ番目のフレームのパノラマ画像に対する位置合わせ処理を開始する。
【０１１０】
続くステップＳ２０６では、位置合わせ不能であるか否かを判別する。
位置合わせ不能であるとの肯定結果が得られた場合は、ステップＳ２０７〜Ｓ２１１でカウント値Ｆｃｎｔ，ＦＣｃｎｔに係る処理を実行する。
具体的に、先ずステップＳ２０７では、ｊ番目のフレーム画像が位置合わせ不能なフレーム画像であったことを受けて、カウント値Ｆｃｎｔをインクリメントする（Ｆｃｎｔ←Ｆｃｎｔ＋１）。
【０１１１】
そして、次のステップＳ２０８では、前フレーム（つまりｊ−１番目のフレーム）も位置合わせ不能であったか否かを判別する。前フレームが位置合わせ不能ではなかったとの否定結果が得られた場合は、ステップＳ２０９に進んでカウント値ＦＣｃｎｔを０リセットした後、ステップＳ２１２に処理を進める。すなわち、位置合わせ不能なフレームの連続が断たれたことを受けて、ＦＣｃｎｔ＝０にリセットする。
【０１１２】
一方、前フレームも位置合わせ不能であったとの肯定結果が得られた場合は、ステップＳ２１０に進んでカウント値ＦＣｃｎｔをインクリメント（ＦＣｃｎｔ←ＦＣｃｎｔ＋１）する。
そして、続くステップＳ２１１において、カウント値ＦＣｃｎｔが閾値ＦＣｔｈ以上であるか否かを判別する。カウント値ＦＣｃｎｔが閾値ＦＣｔｈ以上でないとして否定結果が得られた場合は、ステップＳ２１２に処理を進める。一方、カウント値ＦＣｃｎｔが閾値ＦＣｔｈ以上であるとの肯定結果が得られた場合は、この図に示す判定・リンク処理を終了する。つまりこの結果、位置合わせ不能なフレームの連続数が所定値以上となった動画データについては、パノラマ画像データＰＤに対するリンクは行われないことになる。
【０１１３】
また、先のステップＳ２０６で位置合わせ不能ではないとの否定結果が得られた場合は、上記によるステップＳ２０７〜Ｓ２１１の処理は経ず、ステップＳ２１２に進む。
ステップＳ２１２では、処理対象フレーム識別子ｊの値がフレーム総数Ｊの値以上であるか否かを判別する。処理対象フレーム識別子ｊの値がフレーム総数Ｊの値以上ではないとの否定結果が得られた場合は、ステップＳ２１３で処理対象フレーム識別子ｊの値をインクリメント（ｊ←ｊ＋１）した後、ステップＳ２０５に戻る。これにより、上記で説明したステップＳ２０５以降の処理が次のフレーム画像について実行される。
【０１１４】
一方、ステップＳ２１２で処理対象フレーム識別子ｊの値がフレーム総数Ｊの値以上でるとの肯定結果が得られた場合は、ステップＳ２１４に進んでＦｃｎｔ／Ｊ≧Ｆｔｈであるか否かを判別する。すなわち、ｉ番目の画像としての動画データについて、位置合わせが不能と判定されたフレーム画像の数（Ｆｃｎｔ）のフレーム総数（Ｊ）に占める割合が所定の閾値Ｆｔｈ以上であるか否かを判別する。
【０１１５】
ステップＳ２１４において、Ｆｃｎｔ／Ｊ≧Ｆｔｈではないとの否定結果が得られた場合は、ステップＳ２１５に進んでｉ番目の画像（つまりこの場合は動画データとしての画像ファイル）とパノラマ画像とのリンク処理を実行する。
そして、続くステップＳ２１６において位置合わせ情報の付加処理を実行する。すなわち、ｉ番目の画像としての動画データを構成する各フレーム画像データに対して、位置合わせ処理に基づき得られた位置合わせ情報を付加する。
なお、前述のようにパノラマ画像に対する位置合わせに失敗した（位置合わせが不能と判定された）フレーム画像に対しては、位置合わせに成功したフレーム画像について得られた位置合わせ情報に基づく位置合わせ情報を付加するものとすればよい。
【０１１６】
上記のような処理により、動画データに関しては、位置合わせ不能なフレームの連続数が所定値以上となった場合、又は位置合わせ不能なフレーム数のフレーム総数に占める割合が所定値以上であった場合は、動画データ全体としてパノラマ画像データＰＤとの位置合わせが不能であるものとされ、パノラマ画像データＰＤとのリンクは行われない。
【０１１７】
図１０は、ステップＳ１１２のマルチズーム画像用判定・リンク処理として実行されるべき処理の手順を示している。
先ず、ステップＳ３０１では、総枚数＝Ｔと設定する。すなわち、ｉ番目の画像としてマルチズーム画像データを構成する静止画データの総数を総枚数Ｔの値に設定する。
【０１１８】
その上で、ステップＳ３０２において処理対象静止画識別子ｔ＝１と設定し、ステップＳ３０３においてｔ番目の静止画のパノラマ画像に対する位置合わせ処理を開始する。
【０１１９】
続くステップＳ３０４では、位置合わせ不能であるか否かを判別する。
位置合わせ不能であるとの肯定結果が得られた場合は、この図に示す判定・リンク処理を終了する。これにより、マルチズーム画像については、位置合わせ不能な静止画が１つでもある場合は、マルチズーム画像全体としてパノラマ画像データとの位置合わせが不能であるとされて、パノラマ画像データＰＤとのリンクは行われない。
【０１２０】
一方、ステップＳ３０４において、位置合わせ不能ではないとの否定結果が得られた場合は、ステップＳ３０５に進んで処理対象静止画識別子ｔの値が総枚数Ｔの値以上であるか否かを判別し、処理対象静止画識別子ｔの値が総枚数Ｔの値以上ではないとの否定結果が得られた場合は、ステップＳ３０６で処理対象静止画識別子ｔの値をインクリメント（ｔ←ｔ＋１）した後、ステップＳ３０３に戻る。これにより、位置合わせ可能な静止画が続く限り、Ｔ番目の静止画まで位置合わせ判定処理が繰り返し実行される。
【０１２１】
そして、ステップＳ３０５で処理対象静止画識別子ｔの値が総枚数Ｔの値以上であるとの肯定結果が得られた場合は、ステップ３０７においてｉ番目の画像とパノラマ画像とのリンク処理を実行する。すなわち、ｉ番目の画像としてのマルチズーム画像データを構成する全静止画データ（画像ファイル）とパノラマ画像データＰＤとをリンクさせる。
そして、続くステップＳ３０８において、位置合わせ情報の付加処理を実行する。すなわち、ｉ番目の画像としてのマルチズーム画像データを構成する個々の静止画データについて実行された位置合わせ処理の結果得られた位置合わせ情報を、それら個々の静止画データに対して付加する。
【０１２２】
＜５．まとめ＞
上記のように本実施の形態では、パノラマ画像データＰＤとパノラマ画像データＰＤ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定すると共に、パノラマ画像データＰＤに対する位置合わせが可能と判定された他の撮像画像データとパノラマ画像データＰＤとをリンクさせるものとしている。
【０１２３】
これによれば、パノラマ画像データＰＤに対して位置合わせが可能とされた他の撮像画像データを、パノラマ画像データＰＤに対してリンクさせることが可能となる。
この結果、例えば動画や高解像度画像などのパノラマ撮像画像以外の他の撮像画像を統合して臨場感・没入感の向上を図ったパノラマ画像を実現するにあたって、ユーザは、略同一の撮像地点においてパノラマ撮像画像と他の撮像画像とを撮影すればよい。従って、ユーザに過度な負担を強いることなく、臨場感・没入感のより高いパノラマ画像を実現できる。
【０１２４】
また、本実施の形態では、他の撮像画像データは、動画データ又はパノラマ画像データＰＤについてのパノラマ撮像時の設定画角よりも望遠側となる画角で撮像された高解像度画像データとしての静止画データの何れかを含む。
動画又は高解像度画像は、パノラマ撮像画像に統合して臨場感・没入感を高める上で好適である。従って、臨場感・没入感の高いパノラマ画像をより確実に実現できる。
【０１２５】
さらに、本実施の形態では、他の撮像画像データの画像種類に応じて位置合わせ判定手法を変更することとしている。
これにより、画像種類に応じた適切な位置合わせ判定手法を実現できる。
【０１２６】
さらにまた、本実施の形態では、静止画データよりも低い判定基準により動画データについての位置合わせ判定を行うものとしている。
前述のように動画データについては、その性質上、位置合わせに失敗するフレーム画像が比較的多く発生する可能性がある。従って、動画データについての位置合わせ判定基準を低く設定することで、動画データの特性に応じた判定基準で位置合わせ判定を行うことができる。
【０１２７】
具体的に、本実施の形態では、所定数以上のフレーム画像データが連続して位置合わせ不能と判定された場合、又は位置合わせが不能と判定されたフレーム画像データの数のフレーム総数に占める割合が所定値以上であった場合は、動画データ全体としてパノラマ撮像画像データに対する位置合わせが不能であると判定することとしている。
これにより、動画についての位置合わせ判定を、位置合わせが不能なフレーム画像についての連続数とフレーム総数に占める割合とに基づく適正な判定基準で行うことができる。
【０１２８】
また、本実施の形態では、他の撮像画像データがマルチズーム画像データである場合は、マルチズーム画像データを構成する各静止画データについてパノラマ画像データＰＤに対する位置合わせが可能であるか否かを判定し、位置合わせが不能と判定された静止画データについてはパノラマ画像データＰＤに対するリンクを行わないものとしている。
前述のように、マルチズーム画像については、高解像度の画像を楽しむことに主眼が置かれるため、位置合わせ精度についての要求は比較的高い。従って、上記のように位置合わせが不能と判定された静止画につてはリンクを行わないようにすることで、高解像度画像に対する位置合わせ精度の要求を満足できる。
【０１２９】
さらに、本実施の形態では、マルチズーム画像データを構成する各静止画データについて位置合わせ判定を行った結果、位置合わせが不能とされた静止画データが存在する場合は、マルチズーム画像データ全体としてパノラマ画像データＰＤに対する位置合わせが不能であると判定することとしている。すなわち、マルチズーム画像を構成する全静止画が位置合わせ可能と判定されなければ、位置合わせ可能な静止画が存在していても、全ての静止画についてパノラマ画像データＰＤに対するリンクを行わないものである。
仮に、マルチズーム画像を構成する静止画のうち位置合わせ可能と判定されたもののみをリンクさせてパノラマ画像データＰＤとの統合が行われたとすると、統合されたマルチズーム画像部分をマルチズーム再生したときに、ズームの段差が大きくなってしまう場合がある。これに対し、上記のように位置合わせが不能とされた静止画が存在する場合はマルチズーム画像全体として位置合わせが不能であると判定する、すなわち全静止画が位置合わせ可能でなければマルチズーム画像全体をパノラマ画像データＰＤにリンクさせないものとすれば、このようなズームの段差の発生を防止することができる。
【０１３０】
さらにまた、本実施の形態では、位置合わせ判定処理において、対象とする二画像間の特徴点検出、対応点検出、検出した対応点座標に基づくローカル及びグローバルな動き検出を含み、ロバスト推定法により前記二画像間の最適な位置関係を検出する画像レジストレーション処理の実行結果に基づき、位置合わせが可能であるか否かの判定を行うものとしている。
これによれば、位置合わせ判定処理にあたって、画像レジストレーション処理としての位置合わせ処理が行われることになる。
従って、パノラマ画像との統合時に必要となる位置合わせ情報を得るために別途に位置合わせ処理を行う必要がない。
また、撮像装置１００のようにパノラマ合成機能を有している撮像装置において位置合わせ判定処理を実行する場合には、パノラマ合成機能のために設けられた位置合わせ処理部を位置合わせ判定処理に流用でき、従って位置合わせ判定処理のために位置合わせ処理部を別途に設けずに済む。
【０１３１】
加えて、本実施の形態では、前記特徴点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することとしている。
前述のように、特徴点の検出数が所定値未満であるということは、特徴に乏しい一様な画像であることを意味する。従って、上記のように特徴点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することで、適正な位置合わせ判定を実現できる。
【０１３２】
また、本実施の形態では、前記対応点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することとしている。
前述のように、対応点の検出数が所定値未満であるということは、二画像間で同一とみなせる特徴点の数が少ないことを意味する。従って、上記のように対応点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することで、適正な位置合わせ判定を実現できる。
【０１３３】
さらに、本実施の形態では、ＲＡＮＳＡＣによるロバスト推定処理の過程で得られるinlierの検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することとしている。
inlierの検出数が所定値未満であるということは、位置合わせの基準とすべきグローバルな動き（つまり背景の動き）を示す特徴点の検出数が少ないことを意味する。従って、上記のようにinlierの検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定することで、適正な位置合わせ判定を実現できる。
【０１３４】
さらにまた、本実施の形態では、位置合わせ判定処理で処理対象とするパノラマ画像データＰＤと他の撮像画像データとを選択する処理を行うものとしている。
これにより、位置合わせ判定処理では、このような選択処理によって選択されたパノラマ画像データＰＤと他の撮像画像データについての判定処理を行えば済む。すなわち、位置合わせ判定処理の処理負担を軽減できる。
【０１３５】
また、本実施の形態では、位置合わせが可能と判定された他の撮像画像データに対してパノラマ画像データＰＤに対する位置合わせ情報を付加するようにしている。
位置合わせ情報は、パノラマ画像データＰＤと他の撮像画像データとを統合する（他の撮像画像データを貼り付けて再生する）際に必要な情報であるため、これを位置合わせ判定処理結果に応じて付しておくことで、統合側（再生側）で位置合わせ情報を得るために別途位置合わせ処理を行わせずに済み、統合側における処理負担を軽減できる。
【０１３６】
＜６．プログラム＞
実施の形態のプログラムは、パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定処理と、位置合わせ判定処理により前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理とを情報処理装置に実行させるプログラムである。
具体的には、例えば先の図８〜図１０で説明した処理を画像処理部１０２や制御部１０８などとしての情報処理装置に実行させるプログラムとなる。
【０１３７】
実施の形態のプログラムは、上記の撮像装置１００や、その他の情報処理装置、画像処理装置において内蔵されている記録媒体としてのＨＤＤ（Hard  Disk  Drive）や、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact  Disc  Read  Only  Memory)、ＭＯ(Magnet  optical)ディスク、ＤＶＤ(Digital  Versatile  Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。
このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。例えばＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等により提供されることで、パーソナルコンピュータ等の情報処理装置ではプログラムをインストールし、上述した位置合わせ判定処理及び画像リンク処理を実行できるものとなる。
なお、プログラムは、リムーバブル記録媒体からインストールする他、ダウンロードサイトから、ＬＡＮ(Local  Area  Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
このようなプログラムのインストールによって、例えば汎用のＰＣ（Personal  Computer）を本技術の画像処理装置として機能させることも可能となる。
またプログラム、又はそのプログラムを記録した記録媒体によれば、上述した効果を実現する画像処理装置を容易に実現することができる。
【０１３８】
＜７．変形例＞
なお、本技術は上記により説明した具体例に限定されるべきものではなく、多様な変形例が考えられるものである。
例えば、これまでの説明では、パノラマ画像データＰＤと他の撮像画像データとを生成した装置とそれらの画像データについて位置合わせ判定処理を行う装置とが同じ撮像装置１００とされる場合を例示したが、位置合わせ判定処理で対象とするパノラマ画像データＰＤ・他の撮像画像データを生成（撮像）する装置と、位置合わせ判定処理自体を実行する装置とは必ずしも同一である必要性はない。具体的には、例えば撮像装置１００が生成したパノラマ画像データＰＤと他の撮像画像データとをＰＣなどの他のコンピュータ装置７０に転送し、コンピュータ装置７０が該転送されたパノラマ画像データＰＤと他の撮像画像データとを対象として位置合わせ判定処理及び画像リンク処理を実行するといったこともできる。
【０１３９】
図１１は、位置合わせ判定処理及び画像リンク処理を実行するコンピュータ装置７０の構成例を示している。
図１１において、コンピュータ装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７８からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。
【０１４０】
入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、ＣＲＴ（Cathode  Ray  Tube）やＬＣＤ、或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ハードディスクなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４１】
入出力インターフェース７５にはまた、必要に応じてドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたパノラマ画像データＰＤ及び他の撮像画像データが記憶部７８に記憶される。
【０１４２】
この場合、位置合わせ判定処理及び画像リンク処理を実行させるためのプログラムは、ネットワークや記録媒体からインストールされる。
このプログラムに従ってＣＰＵ７１が動作することで、位置合わせ判定処理及び画像リンク処理が実現される。
【０１４３】
なお、コンピュータ装置７０としては、例えばクラウド上のサーバ装置となる場合もある。
【０１４４】
また、これまでの説明では、マルチズーム画像を構成する全ての静止画について位置合わせ可能とされた場合のみマルチズーム画像全体としてパノラマ画像に対する位置合わせが可能と判定するものとした。すなわち、マルチズーム画像を構成する全ての静止画について位置合わせ可能とされた場合のみマルチズーム画像をパノラマ画像に対してリンクさせるものとしていた。
しかしながら、これに代えて、１枚でも位置合わせ可能とされた静止画があった場合には、その静止画についてのみリンク処理が行われるようにすることもできる。
本技術において、マルチズーム画像を構成する静止画については、少なくとも位置合わせが不能と判定された静止画をパノラマ画像に対してリンクさせないようにすればよい。このことで、前述したように高解像度画像についての位置合わせ精度の要求を満足することができる。
【０１４５】
また、これまでの説明では、位置合わせ処理（画像レジストレーション処理）を実行し、その過程で得られる情報に基づいて位置合わせ判定処理を実行するものとしたが、位置合わせ処理自体を実行せずとも、位置合わせの可否を判定することは可能である。
【０１４６】
また、本技術は、所謂マルチロー（Multi  Rows）撮像により生成されたパノラマ画像データを用いる場合にも好適に適用できる。
【０１４７】
＜８．本技術＞
なお、本技術は以下のような構成を採ることもできる。
（１）
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能であるか否かを判定する位置合わせ判定処理部と、
前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理部とを備える
画像処理装置。
（２）
前記他の撮像画像データは、動画データ又は前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる画角で撮像された高解像度画像データとしての静止画データの何れかを含む
前記（１）に記載の画像処理装置。
（３）
前記位置合わせ判定処理部は、
前記他の撮像画像データの画像種類に応じて判定手法を変更する
前記（２）に記載の画像処理装置。
（４）
前記他の撮像画像データは動画データと静止画データの双方を含み、
前記位置合わせ判定処理部は、
前記静止画データよりも低い判定基準により前記動画データについての判定を行う
前記（３）に記載の画像処理装置。
（５）
前記位置合わせ判定処理部は、
所定数以上のフレーム画像データが連続して位置合わせ不能と判定された場合、又は位置合わせが不能と判定された前記フレーム画像データの数のフレーム総数に占める割合が所定値以上であった場合は、前記動画データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定する
前記（４）に記載の画像処理装置。
（６）
前記他の撮像画像データには、前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる複数の画角でそれぞれ撮像された静止画データで構成されたマルチズーム画像データが含まれており、
前記位置合わせ判定処理部は、
前記他の撮像画像データが前記マルチズーム画像データである場合は、前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定し、
前記リンク処理部は、
前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが不能と判定された前記静止画データについては前記パノラマ撮像画像データに対するリンクを行わない
前記（１）乃至（４）の何れかに記載の画像処理装置。
（７）
前記位置合わせ判定処理部は、
前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定した結果、前記パノラマ撮像画像データに対する位置合わせが不能とされた前記静止画データが存在する場合は、前記マルチズーム画像データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定する
前記（６）に記載の画像処理装置。
（８）
前記位置合わせ判定処理部は、
対象とする二画像間の特徴点検出、対応点検出、検出した対応点座標に基づくローカル及びグローバルな動き検出を含み、ロバスト推定法により前記二画像間の最適な位置関係を検出する画像レジストレーション処理の実行結果に基づき、前記位置合わせが可能であるか否かの判定を行う
前記（１）乃至（７）の何れかに記載の画像処理装置。
（９）
前記位置合わせ判定処理部は、
前記特徴点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
前記（８）に記載の画像処理装置。
（１０）
前記位置合わせ判定処理部は、
前記対応点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
前記（８）又は（９）に記載の画像処理装置。
（１１）
前記位置合わせ判定処理部は、
前記画像レジストレーション処理においてＲＡＮＳＡＣによるロバスト推定処理を行い、当該ロバスト推定処理の過程で得られるinlierの検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
前記（８）乃至（１０）の何れかに記載の画像処理装置。
（１２）
前記位置合わせ判定処理部で処理対象とする前記パノラマ撮像画像データと前記他の撮像画像データとを選択する選択処理部をさらに備える
前記（１）乃至（１１）の何れかに記載の画像処理装置。
（１３）
前記位置合わせ判定処理部により位置合わせが可能と判定された前記他の撮像画像データに対して前記パノラマ撮像画像データに対する位置合わせ情報を付加する位置合わせ情報付加処理部をさらに備える
前記（１）乃至（１２）の何れかに記載の画像処理装置。
【符号の説明】
【０１４８】
０…撮像画像選択処理部、１…画像処理装置、２…位置合わせ判定処理部、３…リンク処理部、５０−１,５０−２…ＵＵＩＤ、７１…ＣＰＵ、１０２…画像処理部、１０２Ａ…パノラマ合成処理部、１０８…制御部、２０１…画像レジストレーション処理部
【図１】
2018011302.tif 000003
【図２】
2018011302.tif 000004
【図３】
2018011302.tif 000005
【図４】
2018011302.tif 000006
【図５】
2018011302.tif 000007
【図６】
2018011302.tif 000008
【図７】
2018011302.tif 000009
【図８】
2018011302.tif 000010
【図９】
2018011302.tif 000011
【図１０】
2018011302.tif 000012
【図１１】
2018011302.tif 000013
【手続補正書】
【提出日】平成29年8月10日(2017.8.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能である場合に、前記パノラマ撮像画像データに対する位置合わせが可能である前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理部とを備える
画像処理装置。
【請求項２】
前記パノラマ撮像画像データと前記他の撮像画像データとの間で前記位置合わせが可能であるか否かを判定する位置合わせ判定処理部を備え、
前記画像リンク処理部は、前記パノラマ撮像画像データに対する位置合わせが可能と判定された前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる、
請求項１に記載の画像処理装置。
【請求項３】
前記他の撮像画像データは、動画データ又は前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる画角で撮像された高解像度画像データとしての静止画データの何れかを含む
請求項２に記載の画像処理装置。
【請求項４】
前記位置合わせ判定処理部は、
前記他の撮像画像データの画像種類に応じて判定手法を変更する
請求項３に記載の画像処理装置。
【請求項５】
前記他の撮像画像データは動画データと静止画データの双方を含み、
前記位置合わせ判定処理部は、
前記静止画データよりも低い判定基準により前記動画データについての判定を行う
請求項４に記載の画像処理装置。
【請求項６】
前記位置合わせ判定処理部は、
所定数以上のフレーム画像データが連続して位置合わせ不能と判定された場合、又は位置合わせが不能と判定された前記フレーム画像データの数のフレーム総数に占める割合が所定値以上であった場合は、前記動画データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定する
請求項５に記載の画像処理装置。
【請求項７】
前記他の撮像画像データには、前記パノラマ撮像画像データについてのパノラマ撮像時の設定画角よりも望遠側となる複数の画角でそれぞれ撮像された静止画データで構成されたマルチズーム画像データが含まれており、
前記位置合わせ判定処理部は、
前記他の撮像画像データが前記マルチズーム画像データである場合は、前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定し、
前記リンク処理部は、
前記位置合わせ判定処理部により前記パノラマ撮像画像データに対する位置合わせが不能と判定された前記静止画データについては前記パノラマ撮像画像データに対するリンクを行わない
請求項５に記載の画像処理装置。
【請求項８】
前記位置合わせ判定処理部は、
前記マルチズーム画像データを構成する各静止画データについて前記パノラマ撮像画像データに対する位置合わせが可能であるか否かを判定した結果、前記パノラマ撮像画像データに対する位置合わせが不能とされた前記静止画データが存在する場合は、前記マルチズーム画像データ全体として前記パノラマ撮像画像データに対する位置合わせが不能であると判定する
請求項７に記載の画像処理装置。
【請求項９】
前記位置合わせ判定処理部は、
対象とする二画像間の特徴点検出、対応点検出、検出した対応点座標に基づくローカル及びグローバルな動き検出を含み、ロバスト推定法により前記二画像間の最適な位置関係を検出する画像レジストレーション処理の実行結果に基づき、前記位置合わせが可能であるか否かの判定を行う
請求項２〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記位置合わせ判定処理部は、
前記特徴点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
請求項９に記載の画像処理装置。
【請求項１１】
前記位置合わせ判定処理部は、
前記対応点の検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
請求項９に記載の画像処理装置。
【請求項１２】
前記位置合わせ判定処理部は、
前記画像レジストレーション処理においてＲＡＮＳＡＣによるロバスト推定処理を行い、当該ロバスト推定処理の過程で得られるinlierの検出数が所定値未満とされた撮像画像データを位置合わせ不能と判定する
請求項９に記載の画像処理装置。
【請求項１３】
前記位置合わせ判定処理部で処理対象とする前記パノラマ撮像画像データと前記他の撮像画像データとを選択する選択処理部をさらに備える
請求項２〜１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記位置合わせ判定処理部により位置合わせが可能と判定された前記他の撮像画像データに対して前記パノラマ撮像画像データに対する位置合わせ情報を付加する位置合わせ情報付加処理部をさらに備える
請求項２〜１３のいずれか一項に記載の画像処理装置。
【請求項１５】
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能である場合に、前記パノラマ撮像画像データに対する位置合わせが可能である前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク手順を有する
画像処理方法。
【請求項１６】
パノラマ撮像画像データと前記パノラマ撮像画像データ以外の他の撮像画像データとの間で撮像被写体の整合性が確保されるように位置合わせが可能である場合に、前記パノラマ撮像画像データに対する位置合わせが可能である前記他の撮像画像データと前記パノラマ撮像画像データとをリンクさせる画像リンク処理を情報処理装置に実行させる
プログラム。