(57)【要約】【課題】全天周画像等の広範囲画像を常に良好な状態で表示することを可能とする。【解決手段】再生時に特定の画像領域が表示対象となる広範囲画像の撮影に際し、広範囲画像に存在する特定の目標物（光点）を識別し（ＳＡ３）、識別した目標物の広範囲画像内における位置を示す位置情報を取得し（ＳＡ４）、取得した位置情報を前記広範囲画像に対応付けて記憶手段等に出力する（ＳＡ５）。広範囲画像の再生時には、広範囲画像に対応付けられている位置情報に基づいて表示対象領域を設定することにより、撮影時おけるカメラ本体の向きに関係なく、広範囲画像の一部であって、特定の目標物が存在する画像を常に表示することができる。【選択図】図３
2016127377.tif 000002
【特許請求の範囲】
【請求項１】
広範囲画像に存在する特定の目標物を識別する識別手段と、
前記識別手段により識別された前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得手段と、
前記取得手段により取得された位置情報を前記広範囲画像に対応付けて出力する出力手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記広範囲画像を記憶する記憶手段を備え、
前記出力手段は、前記取得手段により取得された位置情報を前記広範囲画像に対応付けて前記記憶手段に出力し、前記記憶手段に記憶させる
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記広範囲画像を記憶する記憶手段と、
前記取得手段が取得した前記広範囲画像の中の前記目標物の位置情報に基づいて、前記広範囲画像から所定の領域を切り出す切り出し手段と、を備え、
前記出力手段は、前記切り出し手段により切り出された領域を前記記憶手段に記憶することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像表示手段と、
前記広範囲画像に、当該画像に対応付けられている位置情報に基づいて表示対象領域を設定する設定手段と、
前記設定手段により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御手段と、
を更に備えたことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
前記設定手段は、表示倍率に応じた範囲の前記表示対象領域を設定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
画像表示手段と、
前記切り出し手段により切り出された領域を前記画像表示手段に表示させる表示制御手段と、
を更に備えたことを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記広範囲画像を撮影する撮影手段を備え、
前記識別手段は、前記撮影手段が撮影する前記広範囲画像の中の特定の目標物を識別することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
【請求項８】
前記識別手段は、前記撮影手段が撮影した所定の可視光を発する発光装置から発光された前記所定の可視光による光点を特定の目標物として識別することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記識別手段は、前記撮影手段により撮影された動画像を構成する各フレームの広範囲画像を対象として前記特定の目標物を識別し、
前記取得手段は、前記識別手段により識別された、各フレームの広範囲画像における前記目標物の位置を示す位置情報をフレーム毎に取得し、
前記出力手段は、前記取得手段によりフレーム毎に取得された位置情報を前記各フレームの広範囲画像に対応付けて出力する
ことを特徴とする請求項７又は８に記載の画像処理装置。
【請求項１０】
前記広範囲画像は、全天周画像、又は全方位画像、又は半天周画像、又は所定の角度の範囲のパノラマ画像、であることを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
【請求項１１】
画像表示手段と、
広範囲画像、及び当該広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得手段と、
前記取得手段により取得された前記広範囲画像に、前記取得手段により取得された前記位置情報に基づいて表示対象領域を設定する設定手段と、
前記設定手段により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像再生装置。
【請求項１２】
前記表示制御手段は、前記表示対象領域の画像を所定の倍率で拡大し、前記画像表示手段に表示させることを特徴とする請求項１１記載の画像再生装置。
【請求項１３】
前記取得手段は、動画像を構成する複数フレーム分の前記広範囲画像、及び当該複数フレーム分の前記広範囲画像にそれぞれ対応付けられている前記位置情報を取得し、
前記設定手段は、前記取得手段により取得された複数フレーム分の前記広範囲画像の各々に、前記取得手段により取得されたフレーム毎の前記位置情報に基づいて表示対象領域をそれぞれ設定し、
前記表示制御手段は、前記設定手段により前記広範囲画像にフレーム毎に設定された複数フレーム分の前記表示対象領域の画像からなる動画像を前記画像表示手段に表示させる
ことを特徴とする請求項１１又は１２記載の画像再生装置。
【請求項１４】
前記広範囲画像は、全天周画像、又は全方位画像、又は半天周画像、又は所定の角度の範囲のパノラマ画像、であることを特徴とする請求項１１乃至１３の何れか一項に記載の画像再生装置。
【請求項１５】
広範囲画像に存在する特定の目標物を識別する識別ステップと、
前記識別ステップで識別した前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得ステップと、
前記取得ステップで取得した位置情報を前記広範囲画像に対応付けて出力する出力ステップと、
を含むことを特徴とする画像処理方法。
【請求項１６】
広範囲画像の再生に際し、
前記広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得ステップと、
前記広範囲画像に、前記取得ステップで取得した前記位置情報に基づいて表示対象領域を設定する設定ステップと、
前記設定ステップで前記広範囲画像に設定した前記表示対象領域の画像を画像表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像再生方法。
【請求項１７】
画像処理装置が有するコンピュータに、
広範囲画像に存在する特定の目標物を識別する識別処理と、
前記識別処理により識別された前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得処理と、
前記取得処理により取得された位置情報を前記広範囲画像に対応付けて出力する出力処理と、
を実行させることを特徴とするプログラム。
【請求項１８】
画像表示手段を備えた画像再生装置が有するコンピュータに、
広範囲画像、及び当該広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得処理と、
前記取得処理により取得された前記広範囲画像に、前記取得処理により取得された前記位置情報に基づいて表示対象領域を設定する設定処理と、
前記設定処理により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御処理と、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全天周画像等の広範囲画像の画像処理技術及び再生技術に関するものである。
【背景技術】
【０００２】
従来、例えば魚眼レンズ等の超広角レンズを複数使用し、複数のレンズを介してそれぞれ撮像した画像を継ぎ合わせるよう合成することにより、周囲３６０°を撮影範囲とした全天周（全天球と同義である）画像を生成し記録する全天周カメラが公知である（例えば下記特許文献１参照）。
【０００３】
係る全天周カメラで撮影された全天周画像の再生時には、所定領域の画像を表示対象として表示装置に表示するとともに、その領域（以下、表示対象領域という）を必要に応じて移動させれば、全天周画像の全体を確認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０７８９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の全天周画像を表示する際には、例えば表示開始当初の画像内に、主たる被写体として意図していた特定の対象物が存在していなければ、ユーザーは表示対象領域を自ら移動させなければその対象物を確認することができない、という問題があった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、全天周（全天球）画像等の広範囲画像を常に良好な状態で表示することを可能とする画像処理装置及び画像処理方法、画像再生装置及び画像再生方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明の画像処理装置にあっては、広範囲画像に存在する特定の目標物を識別する識別手段と、前記識別手段により識別された前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得手段と、前記取得手段により取得された位置情報を前記広範囲画像に対応付けて出力する出力手段とを備えたことを特徴とする。
【０００８】
また、本発明の画像再生装置にあっては、画像表示手段と、広範囲画像、及び当該広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得手段と、前記取得手段により取得された前記広範囲画像に、前記取得手段により取得された前記位置情報に基づいて表示対象領域を設定する設定手段と、前記設定手段により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御手段と、を備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、全天周（全天球）画像等の広範囲画像を常に良好な状態で表示することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮影システムを示すブロック図である。
【図２】撮影装置の物理的構成を示す概略図である。
【図３】動画撮影処理を示すフローチャートである。
【図４】動画再生処理を示すフローチャートである。
【図５】全天周画像の表示例を示す図である。
【図６】撮影システムの使用形態を例示する図である。
【図７】（ａ）は撮影システムの使用形態を例示する図、（ｂ）は全天周画像の表示例を示す図である。
【図８】可視光装置を複数用いた撮影システムの使用形態を例示する図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について説明する。図１は、本発明の一実施形態として例示する撮影システムを示すブロック図であって、本発明の撮影装置、及び画像再生装置としての機能を備えた撮影装置１と可視光装置２とから構成される。
【００１２】
撮影装置１は、周囲３６０°の全域を撮影範囲とした全天周画像を撮影可能なカメラであり、より具体的には、図２（ａ）に示したように、１８０°以上の画角を有する一対の広角レンズ（いわゆる魚眼レンズ）１１ａ，１１ｂが、装置本体１０１に光軸を一致させた状態で互いに逆向きに配置された構成である。
【００１３】
図１に示したように撮影装置１は、上記一対の広角レンズ１１ａ，１１ｂそれぞれに対応する撮像素子１２ａ，１２ｂと、画像処理部１３、制御部１４、画像記憶部１５、プログラム記憶部１６、表示部１７、操作部１８、ＲＡＭ（Random Access memory）１９、出力部２０を備えている。
【００１４】
撮像素子１２ａ，１２ｂは、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Meta1 0xide Semiconductor）等の固体撮像素子であり、図示しない駆動回路に駆動されることにより、広角レンズ１１ａ，１１ｂによって個別に結像された外周部が重複するとともに、１８０°異なる方向の画角範囲Ａ，Ｂをそれぞれ撮像し、撮像信号として画像処理部１３へ出力する。
【００１５】
画像処理部１３は、撮像素子１２ａ，１２ｂから供給された撮像信号の増幅やデジタル信号へ変換等を行うＡＦＥ（Analog Front End）や、変換後のデジタル信号から輝度（Ｙ）成分及び色差（ＵＶ）成分からなる画像データ（ＹＵＶデータ）を生成するとともに、生成した画像データに基づいた各種の画像処理を行う画像処理回路から構成される。
【００１６】
上記画像処理には、撮像素子１２ａ，１２ｂによって個別に撮像された１８０°異なる方向の画角範囲Ａ，Ｂ（図２（ａ）参照）の２枚の画像を互いに重なる部分を継ぎ目のないように連結した連結画像、つまり上下左右の周囲３６０°の被写体が写った全天周画像を表す所定の画像データを合成する処理が含まれる。
【００１７】
全天周画像は、撮影装置１の位置を中心とする仮想的な球体を表す球座標で定義される３次元空間に配置された画像であり、その画像データは、前記２枚の画像の一方の中心位置を球座標上の基準位置とした画像データである。なお、球座標上の位置は、周知のように前記球体の半径、つまり撮影装置１から球体表面までの距離である動径ｒ、と２個の偏角θ，φで定義される（但し、動径ｒは固定値）。
【００１８】
画像処理部１３により生成された画像データは、静止画撮影時には制御部１４においてＪＰＥＧ（Joint Photographic Expert Group）方式等で静止画データとして圧縮され、種々の属性情報が付加された静止画ファイルとして画像記憶部１５に記憶される。また、上記画像データは、動画撮影時には制御部１４においてＭＰＥＧ（Motion Picture Experts Group）方式等で動画データとして逐次圧縮され、種々の属性情報が付加された動画ファイルとして画像記憶部１５に記憶される。
【００１９】
画像記憶部１５は、例えば撮影装置１に内蔵されたフラッシュメモリや、撮影装置１に着脱自在な各種のメモリカードにより構成される。画像記憶部１５に静止画ファイルや動画ファイルとして記憶された静止画データや動画データは、必要に応じて制御部１４に読み出されて伸張された後、表示部１７に供給される。
【００２０】
プログラム記憶部１６は、例えばフラッシュメモリ等の記憶データが随時書き換え可能な不揮発性メモリ、又はＲＯＭ（Read Only Memory）から構成される。プログラム記憶部１６には、前述した制御プログラム、及び制御部１４に後述する処理を行わせるための所定のプログラムが予め記憶されている。
【００２１】
制御部１４は、主としてＣＰＵ（Central Processing Unit）、及びその周辺回路等とから構成される。制御部１４は、プログラム記憶部１６に記憶されている制御プログラムに従い上述した各部を制御する。また、制御部１４は、ＲＡＭ１９を作業用のメモリとして使用し、前述した画像データの圧縮伸張を含む各種の処理を行う。
【００２２】
表示部１７は、液晶表示パネルやその駆動回路とから構成され、制御部１４からから供給される画像データに基づく撮影画像（静止画像や動画像）を表示する。
【００２３】
操作部１８は、ユーザーが静止画撮影や動画撮影の開始及び終了等の撮影装置１の操作や、撮影装置１の動作内容を規定する種々の設定データの入力等に使用する複数の操作スイッチから構成され、ユーザーの操作に応じた入力信号を制御部１４へ供給する。なお、各操作スイッチの操作状態は制御部１４において随時監視される。
【００２４】
出力部２０は、画像記憶部１５に静止画ファイルや動画ファイルとして記憶された静止画データや動画データを任意の外部機器へ出力するためのものであり、外部機器との間のデータ通信、例えば有線通信、無線通信（近距離通信等）を行う種々の通信インターフェースにより構成される。
【００２５】
一方、可視光装置２は、可視光を発することによって、撮影装置１に対し画角内における主たる被写体の位置を知らせるものであり、特定色の可視光を発するＬＥＤ（Light Emitting Diode）等の発光素子２１と、図示しない電源及び点灯スイッチ等から構成される。
【００２６】
そして、本実施形態の撮影システムにおいては、ユーザーが前記撮影装置１を使用して撮影を行う際、前記可視光装置２を主たる被写体とすべき任意の物体、人物、場所に設置するとともに、点灯スイッチにより発光素子２１を発光状態として上記被写体を撮影することにより本発明が実現される。
【００２７】
すなわち撮影装置１には、撮影モードとして動画撮影モードと静止画撮影モードとが用意されているとともに、各撮影モードの下位モードとして、撮影中に主要被写体の位置として可視光装置２が発する可視光による特定色の光点を検出する所定の動画撮影モードが用意されている。そして、ユーザーにより上記所定の撮影モードにおいて前記撮影装置１は以下のように動作する。
【００２８】
図３は、上記所定の撮影モードにおいて制御部１４が実行する動画撮影処理の内容を示したフローチャートである。
【００２９】
動画撮影モードにおいて制御部１４は、ユーザーによる動画撮影の開始指示操作に応答し所定のフレームレート（例えば６０ｆｐｓ）での撮像素子１２の駆動を開始し、フレームレートに応じた撮像タイミングが到来する毎に画像を取り込む（ステップＳＡ１）。すなわち制御部１４は、撮像素子１２ａ，１２ｂによって被写体を撮像する。
【００３０】
しかる後、制御部１４は、画像処理部１３に前述した全天周画像を生成させる（ステップＳＡ２）。
【００３１】
次に、制御部１４は、生成された全天周画像から、当該全天周画像における各画素の輝度情報や色情報に基づいて前記可視光装置２が発する可視光による特定色の光点を特定の目標物として検索する（ステップＳＡ３）。
【００３２】
次に、制御部１４は、検索した光点の全天周画像における位置を示す位置情報、つまり球座標上の位置情報（ｒ，θ，φ）を取得する（ステップＳＡ４）。
【００３３】
そして、制御部１４は、ステップＳＡ２で生成した全天周画像の画像データを圧縮し、動画像の各フレームを構成する画像データとして画像記憶部１５に記憶するとともに、その際、上記位置情報を上記画像データと対応付けて画像記憶部１５に記憶する（ステップＳＡ５）。なお、上記位置情報の具体的な記憶方法については、今回のフレームタイミングで取得した画像データとの対応付けが可能であれば任意であり、例えば上記の位置情報を動画データの付加情報として画像記憶部１５に記憶させてもよいし、動画データとは独立してフレーム毎に記憶させてもよい。
【００３４】
以後、制御部１４は、ユーザーによる撮影終了指示操作があるまでの間（ステップＳＡ６：ＮＯ）、ステップＳＡ１の処理に戻り前述した処理を繰り返す。
【００３５】
そして、制御部１４は、ユーザーによる撮影終了指示操作があると（ステップＳＡ６：ＹＥＳ）、その時点で動画撮影処理を終了し、画像記憶部１５に動画ファイルを生成する（ステップＳＡ７）。つまり制御部１４は、ステップＳＡ４の処理で画像記憶部１５に記憶した各フレームの画像データに、前述した位置情報と種々の属性情報を付加することにより動画ファイルを生成する。これにより、制御部１４は動画撮影処理を終了する。
【００３６】
一方、図４は、ユーザーにより再生モードが設定されるとともに、再生対象の撮影画像として前述した動画撮影処理により撮影された動画像、つまり前述したフレーム毎の位置情報が付加された動画像が選択された場合に制御部１４が実行する再生処理の内容を示したフローチャートである。
【００３７】
再生処理に際して制御部１４は、画像記憶部１５から、動画データを構成する各フレームの画像データ、及びそれに対応付けられている位置情報を読み出す（ステップＳＢ１）。係る処理に際して制御部１４は、読み出した画像データを伸張し、ＲＡＭ１９に表示可能な画像データとて展開する。
【００３８】
次に、制御部１４は、上記画像データに対して、前記位置情報によって示される光点の位置を中心とする表示対象領域を特定する（ステップＳＢ２）。その際、制御部１４は、上記表示対象領域を、全天周画像の一部であり、前述した球座標上の位置、及び表示倍率に基づいて特定する。ここで、表示倍率は、前述した球体の中心から球体表面に位置する光点を撮影すると仮定したときの画角に相当するものである。なお、処理開始当初における表示倍率は予め決められている初期値であり、本実施形態においては上記画角が１８０°、つまり全天周画像の半分の領域が表示対象領域となる表示倍率である。
【００３９】
しかる後、制御部１４は、ＲＡＭ１９に展開した画像データから上記表示対象領域の画像データを切り出し（ステップＳＢ３）、切り出した画像データを表示部１７へ供給することにより、今回のフレーム画像を表示部１７の画面上に表示する（ステップＳＢ４）。
【００４０】
図５（ａ）は、ステップＳＢ４の処理で表示されるフレーム画像の例であって、表示倍率が初期値であるときのフレーム画像を示す図である。なお、同図は、再生対象の動画像が、スノーボード（又はスケートボード）に乗ってジャンプしている人物Ｍが撮影されており、その人物Ｍに前記可視光装置２が装着されていた場合の例である。同図にＰで示した点が光点、つまり前記可視光装置２の光源である。
【００４１】
そして、制御部１４は、最終フレームの画像の表示が終了するまでの間（ステップＳＢ５：ＮＯ）、ユーザーによる表示倍率の変更指示がなければ（ステップＳＢ６：ＮＯ）、ステップＳＢ１の処理に戻り、次のフレームの画像データ、及びそれに対応付けられている位置情報を読み出し、ステップＳＢ３〜ＳＢ４の処理を繰り返す。
【００４２】
これにより、再生中の動画像の撮影中に、撮影装置１と前記人物Ｍ、つまり主たる被写体との相対的な位置関係が変化していた場合であっても、後続するフレーム画像として、前記人物Ｍが中央に位置する画像が常に表示される。つまりフレーム画像として、前記人物Ｍが画像内の外周部に位置する図５（ｂ）に示したような画像や、前記人物Ｍが画像内に存在しない図５（ｃ）に示したような画像が表示されることがない。
【００４３】
また、制御部１４は、いずれかの時点でユーザーによる表示倍率の変更指示があった場合には（ステップＳＢ６：ＹＥＳ）、表示倍率を変更した後（ステップＳＢ７）、ステップＳＢ１の処理に戻り、前述した処理を繰り返す。これにより、ユーザーは、動画再生中であっても表示倍率を適宜変更することにより、例えば前述した人物Ｍが画面内に大きく表示された動画像を見ることができる。
【００４４】
その後、制御部１４は、最終フレームの画像の表示が終了した時点で（ステップＳＢ５：ＹＥＳ）、再生処理を終了する。
【００４５】
以上のように本実施形態によれば、主たる被写体に可視光装置２を装着して撮影を行うことにより、動画撮影中に主たる被写体と撮影装置１との位置関係が相対的に変化したとしても、すなわち主たる被写体と撮影装置１との一方又は双方の位置が変化したとしても、主たる被写体が常に画面中央に位置する動画像を表示することができる。
【００４６】
よって、表示される動画像においては、撮影時に主たる被写体として意図していた特定の対象物が動画像内で著しく変化したり、前記特定の対象物が動画像から消失したりすることがなく、動画撮影された全天周画像を常に良好な状態で表示することができる。
【００４７】
しかも、動画撮影された全天周画像の再生中には、フレーム画像として切り出して表示する全天周画像における表示対象領域を表示倍率に応じた範囲とすることから、画面表示される主たる被写体の大きさを調整することができる。
【００４８】
また、撮影装置１は、動画撮影中の各フレームの全天周画像において前記可視光装置２が発する可視光による特定色の光点を特定の目標物として検索し、その特定の目標物の位置を示す位置情報を各フレームの全天周画像に対応付けて記憶する。つまり光点の位置を各フレームの全天周画像における主たる被写体の位置として検出する。これにより、各フレームの全天周画像における主たる被写体の位置を確実に知ることが可能となる。
【００４９】
ここで、本実施形態で説明した撮影システムの使用形態について説明する。使用形態としては、例えばテニスの練習や試合に際して、図６（ａ）に示したように、ネットの中央等に可視光装置２を設置し、プレイヤーに撮影装置１を装着させて撮影を行うことが考えられる。この場合には、撮影中にプレイヤーが移動していたとしても、撮影後に再生される動画像が、常にネットの中央が画面中心に位置するものとなる。したがって、単に動画像を再生するだけで、プレイヤーの動きに追随して視点を移動させながらネットの向う側の相手のプレイヤーの動きが確認可能な動画像を表示することができる。
【００５０】
さらに、テニスの練習や試合に際しては、図６（ｂ）に示したように、上記とは逆にネットの中央等に撮影装置１を設置し、プレイヤーに可視光装置２を装着させて撮影を行うことが考えられる。この場合には、撮影中にプレイヤーが移動していたとしても、撮影後に再生される動画像が、常にプレイヤーが画面中心に位置するものとなる。したがって、単に動画像を再生するだけで、視点がプレイヤーに追従して変化する動画像を表示することができる。
【００５１】
また、使用形態としては、例えば図６（ｃ）に示したように、撮影装置１を雪上Ｓに設置し、スノーボーダーに可視光装置２を装着させ、スノーボーダーの滑降状態を撮影することが考えられる。この場合には、主たる被写体となるスノーボーダーの移動量、移動範囲が広くとも、撮影後に再生される動画像が、常にスノーボーダーが画面中心に位置するものとなる。したがって、単に動画像を再生するだけで、視点がスノーボーダーに追従して変化する動画像を表示することができる。
【００５２】
以下、本実施形態の変形例について説明する。本実施形態に例示した撮影システムにおいては、撮影装置１が一対の広角レンズ１１ａ，１１ｂを備え、それらに対応する撮像素子１２ａ，１２ｂによって撮像した２枚の画像から全天周画像を生成するものについて説明した。
【００５３】
しかし、撮影システムには、例えば図２（ｂ）に示したように、球状の装置本体３０１の全周面にレンズ１１が複数設けられ、各レンズ１１対応する複数の撮像素子によって撮像した複数枚の画像、つまり異なる複数の画角範囲Ａ，Ｂ，Ｃ，Ｄ，・・・の画像から全天周画像を生成するボール型撮影装置３００も使用することができる。
【００５４】
係るボール型撮影装置３００においても動画再生時に前述した撮影装置１と同様の処理を行わせれば、主たる被写体に可視光装置２を装着させて撮影を行うことにより、動画撮影中に主たる被写体との位置関係が相対的に変化していたとしても、主たる被写体が常に画面中央に位置する状態の動画像を表示することができる。
【００５５】
例えば再生対象の動画像が、図７（ａ）に示したように任意の固定物（図では樹木）Ｔに可視光装置２を設置し、離れた位置からボール型撮影装置３００を固定物Ｔに向かって転がす間に撮影したものである場合には、光点Ｐが位置する固定物Ｔの所定部位が常に中心に位置する図７（ｂ）に示したようなフレーム画像からなる動画像を表示することができる。なお、図７（ｂ）は、動画再生時に設定されている表示倍率が大きく、全天周画像から切り出されてフレーム画像として表示される表示対象領域（前述した画角）が比較的狭い場合の例である。
【００５６】
また、本実施形態においては、撮影装置１が本発明の画像再生装置としての機能を備えたものについて説明したが、本発明の画像再生装置は、各フレームの画像が全天周画像である動画像を再生（表示）する機能を備えたものであればよく、例えばパーソナルコンピュータを含む任意の画像再生装置においても実現することができる。その場合においても、係る任意の画像再生装置に、前述した所定の動画撮影モードを使用して撮影装置１により撮影された動画像を再生する際、図４に示した再生処理を行わせることにより、本実施形態と同様に動画像として撮影された全天周画像を常に良好な状態で表示することができる。
【００５７】
また、上記任意の画像再生装置において本発明を実現する場合、再生対象となる動画像は、撮影装置１により撮影されかつ動画ファイルとして記憶されたものに限らず、動画撮影中にリアルタイムで前記撮影装置１等から供給される前述した位置情報が付加された各フレームの画像（全天周画像）データに基づく動画像であっても構わない。
【００５８】
すなわち、上記任意の画像再生装置において本発明を実現する場合、例えば前記撮影装置１を、位置検出機能を使用した動画撮影中に前述した位置情報が付加された各フレームの画像（全天周画像）データを前記出力部２０を介して有線又は無線で上記任意の画像再生装置にリアルタイムに供給させる構成とすればよい。それにより、動画像として撮影された全天周画像を、上記任意の画像再生装置、つまり他の外部装置において常に良好な状態で表示させることができる。
【００５９】
また、本実施形態においては、前述した所定の動画撮影モードでの撮影処理に際して、撮影装置１が各フレームの全天周画像から特定色の光点のみを検出する場合について説明した。しかし、以下のようにしてもよい。
【００６０】
例えば撮影装置１に、所定の動画撮影モードでの撮影処理に際し、各フレームの全天周画像から互いに色が異なる複数の光点を個別に検出させ、全天周画像内における各光点の位置を全天周画像の画像データと対応付けて画像記憶部１５に記憶させる。
【００６１】
そして、撮影装置１に、前述した再生処理に先立ち（又は再生処理中に）、各フレームの全天周画像内における主たる被写体として使用すべき光点の色をユーザーに指定させるとともに、再生処理に際し、全天周画像から切り出しフレーム画像として表示する表示対象領域をユーザーに指定された特定色の光点の位置に応じて特定させる。係る場合においては、動画像として撮影された同一の全天周画像から、主たる被写体が異なるとともに、それらが常に画面中央に位置する複数種類の動画像を表示することができる。
【００６２】
その場合の使用形態としては、例えばテニスの練習や試合に際し、図８に示したようにネットの中央等に撮影装置１を設置し、対戦する二人のプレイヤーの一方に第１の色の可視光を発する第１の可視光装置２ａを装着させ、他方に第１の色と異なる第２の色の可視光を発する第２の可視光装置２ｂを装着させて撮影を行うことが考えられる。この場合には、動画像として撮影された同一の全天周画像から、二人のプレイヤーをそれぞれ主たる被写体とした２種類の動画像を表示することができる。
【００６３】
また、本実施形態においては、撮影装置１が、動画撮影中の各フレームの全天周画像において前述した光点を特定の目標物として検索し、その位置を示す位置情報を各フレームの全天周画像に対応付けて記憶するものについて説明した。
【００６４】
しかし、本発明の実施に際しては、動画撮影中の各フレームの全天周画像において検索する特定の目標物は必ずしも前述した光点でなくともよく、各フレームの全天周画像において識別可能なものであれば、例えば特定形状を有する物品（ワッペン等）や、物体認識技術により認識可能な特定の人物等であってもよい。
【００６５】
但し、本実施形態のように特定の目標物を光点とした場合には、各フレームの全天周画像から特定の目標物を複雑な画像認識処理を行うことなく高速かつ確実に検出することができる。したがって、動画撮影中における主たる被写体と撮影装置１との位置関係の変化が早い場合等についても容易に対応することができる。
【００６６】
本実施形態においては、表示対象の全天周画像が動画像である場合について説明したが、表示対象となる全天周画像が静止画像であっても構わない。全天周画像が静止画像である場合においても、例えば主たる被写体に前記可視光装置２を装着して静止画撮影を行うことにより、撮影時における撮影装置１と主たる被写体との位置関係に関係なく、撮影画像として主たる被写体が常に画面中央に位置する静止画像を表示することができる。
【００６７】
よって、ユーザーは全天周画像における表示対象領域を自ら移動させなくとも、主たる被写体を直ちに確認することができ、静止画像である全天周画像を常に良好な状態で表示することができる。
【００６８】
なお、表示対象の全天周画像が静止画像である場合であっても、先に述べた全天周画像が動画像である場合と同様に、例えば主たる被写体とすべき複数の対象物に異なる色の可視光を発する可視光装置２を個別に装着して撮影を行うことにより、撮影された同一の全天周画像から、主たる被写体が異なるとともに、それらが常に画面中央に位置する複数種類の静止画像を表示することができる。なお、その場合、主たる被写体の識別は、可視光（光点）の色の違いではなく、例えば可視光を点滅させるとともに点滅パターンの違いによって行うこともできる。また、全天周画像が動画像である場合でも、例えば先行する数フレーム分の画像データから点滅パターンを識別することにより、点滅パターンの違いによって主たる被写体の識別を行うことができる。
【００６９】
また、本発明は、再生時にその一部が画面表示される画像であれば全天周画像以外の他の広範囲撮影画像、例えば、全方位画像、半天周（半天球と同義）画像、所定の角度の範囲の被写体を写したパノラマ画像等、を撮影後に表示する際にも有効である。
【００７０】
また、上記実施形態においては、画像中の特定の目標物の位置情報を画像データの付加データとして出力したが、特定の目標物の位置情報に基づいて、画像から所定の領域を切り出してもよい。
【００７１】
以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。以下に、本出願の当初の特許請求の範囲に記載された発明を付記する。
［請求項１］
広範囲画像に存在する特定の目標物を識別する識別手段と、
前記識別手段により識別された前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得手段と、
前記取得手段により取得された位置情報を前記広範囲画像に対応付けて出力する出力手段と
を備えたことを特徴とする画像処理装置。
［請求項２］
前記広範囲画像を記憶する記憶手段を備え、
前記出力手段は、前記取得手段により取得された位置情報を前記広範囲画像に対応付けて前記記憶手段に出力し、前記記憶手段に記憶させる
ことを特徴とする請求項１記載の画像処理装置。
［請求項３］
前記広範囲画像を記憶する記憶手段と、
前記取得手段が取得した前記広範囲画像の中の前記目標物の位置情報に基づいて、前記広範囲画像から所定の領域を切り出す切り出し手段と、を備え、
前記出力手段は、前記切り出し手段により切り出された領域を前記記憶手段に記憶することを特徴とする請求項１に記載の画像処理装置。
［請求項４］
画像表示手段と、
前記広範囲画像に、当該画像に対応付けられている位置情報に基づいて表示対象領域を設定する設定手段と、
前記設定手段により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御手段と、
を更に備えたことを特徴とする請求項１又は２に記載の画像処理装置。
［請求項５］
前記設定手段は、表示倍率に応じた範囲の前記表示対象領域を設定することを特徴とする請求項４に記載の画像処理装置。
［請求項６］
画像表示手段と、
前記切り出し手段により切り出された領域を前記画像表示手段に表示させる表示制御手段と、
を更に備えたことを特徴とする請求項３に記載の画像処理装置。
［請求項７］
前記広範囲画像を撮影する撮影手段を備え、
前記識別手段は、前記撮影手段が撮影する前記広範囲画像の中の特定の目標物を識別することを特徴とする請求項１乃至６の何れか一項に記載の画像処理装置。
［請求項８］
前記識別手段は、前記撮影手段が撮影した所定の可視光を発する発光装置から発光された前記所定の可視光による光点を特定の目標物として識別することを特徴とする請求項７記載の画像処理装置。
［請求項９］
前記識別手段は、前記撮影手段により撮影された動画像を構成する各フレームの広範囲画像を対象として前記特定の目標物を識別し、
前記取得手段は、前記識別手段により識別された、各フレームの広範囲画像における前記目標物の位置を示す位置情報をフレーム毎に取得し、
前記出力手段は、前記取得手段によりフレーム毎に取得された位置情報を前記各フレームの広範囲画像に対応付けて出力する
ことを特徴とする請求項７又は８に記載の画像処理装置。
［請求項１０］
前記広範囲画像は、全天周画像、又は全方位画像、又は半天周画像、又は所定の角度の範囲のパノラマ画像、であることを特徴とする請求項１乃至９の何れか一項に記載の画像処理装置。
［請求項１１］
画像表示手段と、
広範囲画像、及び当該広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得手段と、
前記取得手段により取得された前記広範囲画像に、前記取得手段により取得された前記位置情報に基づいて表示対象領域を設定する設定手段と、
前記設定手段により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御手段と、
を備えたことを特徴とする画像再生装置。
［請求項１２］
前記表示制御手段は、前記表示対象領域の画像を所定の倍率で拡大し、前記画像表示手段に表示させることを特徴とする請求項１１記載の画像再生装置。
［請求項１３］
前記取得手段は、動画像を構成する複数フレーム分の前記広範囲画像、及び当該複数フレーム分の前記広範囲画像にそれぞれ対応付けられている前記位置情報を取得し、
前記設定手段は、前記取得手段により取得された複数フレーム分の前記広範囲画像の各々に、前記取得手段により取得されたフレーム毎の前記位置情報に基づいて表示対象領域をそれぞれ設定し、
前記表示制御手段は、前記設定手段により前記広範囲画像にフレーム毎に設定された複数フレーム分の前記表示対象領域の画像からなる動画像を前記画像表示手段に表示させる
ことを特徴とする請求項１１又は１２記載の画像再生装置。
［請求項１４］
前記広範囲画像は、全天周画像、又は全方位画像、又は半天周画像、又は所定の角度の範囲のパノラマ画像、であることを特徴とする請求項１１乃至１３の何れか一項に記載の画像再生装置。
［請求項１５］
広範囲画像に存在する特定の目標物を識別する識別ステップと、
前記識別ステップで識別した前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得ステップと、
前記取得ステップで取得した位置情報を前記広範囲画像に対応付けて出力する出力ステップと、
を含むことを特徴とする画像処理方法。
［請求項１６］
広範囲画像の再生に際し、
前記広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得ステップと、
前記広範囲画像に、前記取得ステップで取得した前記位置情報に基づいて表示対象領域を設定する設定ステップと、
前記設定ステップで前記広範囲画像に設定した前記表示対象領域の画像を画像表示手段に表示させる表示制御ステップと、
を含むことを特徴とする画像再生方法。
［請求項１７］
画像処理装置が有するコンピュータに、
広範囲画像に存在する特定の目標物を識別する識別処理と、
前記識別処理により識別された前記目標物の前記広範囲画像内における位置を示す位置情報を取得する取得処理と、
前記取得処理により取得された位置情報を前記広範囲画像に対応付けて出力する出力処理と、
を実行させることを特徴とするプログラム。
［請求項１８］
画像表示手段を備えた画像再生装置が有するコンピュータに、
広範囲画像、及び当該広範囲画像に対応付けられている情報であって、当該広範囲画像における特定の目標物の位置を示す位置情報を取得する取得処理と、
前記取得処理により取得された前記広範囲画像に、前記取得処理により取得された前記位置情報に基づいて表示対象領域を設定する設定処理と、
前記設定処理により前記広範囲画像に設定された前記表示対象領域の画像を前記画像表示手段に表示させる表示制御処理と、
を実行させることを特徴とするプログラム。
【符号の説明】
【００７２】
１    撮影装置
２    可視光装置
１１ａ，１１ｂ    広角レンズ
１２ａ，１２ｂ    撮像素子
１３    画像処理部
１４    制御部
１５    画像記憶部
１６    プログラム記憶部
１７    表示部
１８    操作部
１９    ＲＡＭ
２０    出力部
２１    発光素子
１０１    装置本体
３００    ボール型撮影装置
３０１    装置本体
Ｍ    人物
Ｐ    光点
Ｓ    雪上
Ｔ    固定物
【図１】
2016127377.tif 000003
【図２】
2016127377.tif 000004
【図３】
2016127377.tif 000005
【図４】
2016127377.tif 000006
【図５】
2016127377.tif 000007
【図６】
2016127377.tif 000008
【図７】
2016127377.tif 000009
【図８】
2016127377.tif 000010