(57)【要約】  本技術は、被写体が動く場合において、当該被写体を中心としたバレットタイム映像を提供することができるようにする映像処理装置、映像処理方法、及び、プログラムに関する。映像処理装置は、異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得し、時間情報が示す時間的な範囲内において、視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、注目被写体が、出力画像フレーム上の特定位置に位置するように、入力画像フレームを処理する。本技術は、例えば、バレットタイム映像を処理する映像処理装置に適用することができる。
2017038541.tif 000002
【特許請求の範囲】
【請求項１】
異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得する第１の取得部と、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する処理部と
を備える映像処理装置。
【請求項２】
前記視点位置情報は、前記注目被写体に対する視点位置の移動の開始位置と終了位置を示す情報であり、
前記時間情報は、前記入力画像フレームが撮像された前記時系列における開始時刻と終了時刻を示す情報である
請求項１に記載の映像処理装置。
【請求項３】
前記処理部は、前記入力画像フレームごとに、前記注目被写体における注目している位置である注目位置を更新する
請求項２に記載の映像処理装置。
【請求項４】
前記処理部は、
設定された前記注目被写体をトラッキングし、
トラッキングされている前記注目被写体における注目位置を算出する
請求項３に記載の映像処理装置。
【請求項５】
前記処理部は、前記入力画像フレームに含まれる被写体を撮像した撮像装置の撮像光学系の光軸の向きが、前記注目被写体から外れている場合に、前記光軸の向きが、前記注目被写体の方向を向くように、前記入力画像フレームを補正する
請求項４に記載の映像処理装置。
【請求項６】
前記処理部は、前記撮像装置の撮像位置が、光軸に対して理想的な位置からずれている場合に、前記撮像位置が理想的な位置で、前記注目被写体が撮像されたときと等価になるように、前記入力画像フレームを補正する
請求項５に記載の映像処理装置。
【請求項７】
前記撮像装置の撮像光学系の光軸の向きが、前記注目被写体の方向を向くように、前記撮像装置を任意の方向に向けて固定するための固定装置を制御する制御部をさらに備える
請求項６に記載の映像処理装置。
【請求項８】
前記制御部は、前記撮像装置の撮像位置が、光軸に対して理想的な位置となるように、前記固定装置を制御する
請求項７に記載の映像処理装置。
【請求項９】
前記処理部は、前記撮像装置の撮像位置に応じた視点位置に対して、仮想的な視点位置を補間する
請求項６に記載の映像処理装置。
【請求項１０】
前記注目被写体を設定する設定部をさらに備える
請求項１に記載の映像処理装置。
【請求項１１】
前記処理部が処理した前記入力画像フレームに基づいて、前記出力画像フレームを出力する出力部をさらに備える
請求項１に記載の映像処理装置。
【請求項１２】
前記出力部は、前記出力画像フレームを、表示装置に出力する
請求項１１に記載の映像処理装置。
【請求項１３】
前記出力部は、前記出力画像フレームを、記録装置に出力する
請求項１１に記載の映像処理装置。
【請求項１４】
前記注目被写体が、前記出力画像フレーム上の特定位置に位置するように、前記注目被写体の視点移動の表示を制御する表示制御部をさらに備える
請求項１に記載の映像処理装置。
【請求項１５】
前記入力画像フレームを取得する第２の取得部をさらに備える
請求項１に記載の映像処理装置。
【請求項１６】
異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得し、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する
ステップを含む映像処理方法。
【請求項１７】
コンピュータを、
異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得する第１の取得部と、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する処理部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、映像処理装置、映像処理方法、及び、プログラムに関し、特に、被写体が動く場合において、当該被写体を中心としたバレットタイム映像を提供することができるようにした映像処理装置、映像処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
従来から、いわゆるバレットタイム(Bullet Time)撮影と称される撮影技術が知られている。バレットタイム撮影を利用したものとしては、例えば、指定された任意の位置を回転中心とする映像を表示するための技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３９３８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラ装置で撮像される映像に含まれる被写体が動く場合においても、当該被写体を中心としたバレットタイム映像を提供できるようにすることが望まれていた。【０００５】
本技術はこのような状況に鑑みてなされたものであり、被写体が動く場合において、当該被写体を中心としたバレットタイム映像を提供することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の映像処理装置によれば、異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得する第１の取得部と、前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する処理部とを備える映像処理装置である。【０００７】
本技術の一側面の映像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、本技術の一側面の映像処理方法又はプログラムは、上述した本技術の一側面の映像処理装置に対応する映像処理方法又はプログラムである。【０００８】
本技術の一側面の映像処理装置、映像処理方法、及び、プログラムにおいては、異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報が取得され、前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームが処理される。
【発明の効果】
【０００９】
本技術の一側面によれば、被写体が動く場合において、当該被写体を中心としたバレットタイム映像を提供することができる。【００１０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】第１の実施の形態の映像処理システムの構成例を示す図である。
【図２】各カメラ装置において生成され、映像処理装置に入力される入力画像フレームを時系列で模式的に表した図である。
【図３】第１の実施の形態の映像処理装置の構成例を示す図である。
【図４】第１の実施の形態のバレットタイム映像生成処理の流れを説明するフローチャートである。
【図５】各カメラ装置で生成される画像フレームを時系列で表した図である。
【図６】画像フレームと補間画像フレームの関係を時系列で表した図である。
【図７】カメラ位置・姿勢算出処理を説明する図である。
【図８】カメラ位置推定処理を説明するフローチャートである。
【図９】カメラ位置に応じた被写体の見え方を表した図である。
【図１０】自動設定モード時における注目被写体の設定の例を説明する図である。
【図１１】手動設定モード時における注目被写体の設定の例を説明する図である。
【図１２】注目被写体トラッキング処理を説明する図である。
【図１３】注視点算出処理を説明する図である。
【図１４】視点補間処理を説明する図である。
【図１５】カメラ姿勢補正処理を説明する図である。
【図１６】スケール補正処理を説明する図である。
【図１７】カメラ姿勢補正処理により生じる場合がある使用できない画像領域を説明する図である。
【図１８】第２の実施の形態の映像処理システムの構成例を示す図である。
【図１９】第２の実施の形態の映像処理装置の構成例を示す図である。
【図２０】第２の実施の形態のバレットタイム映像生成処理の流れを説明するフローチャートである。
【図２１】カメラ位置とカメラ姿勢を調整するための雲台制御を説明する図である。
【図２２】バレットタイム映像生成処理の初期条件の設定画面の例を模式的に表した図である。
【図２３】注目被写体と視点移動のパスとの関係を示す図である。
【図２４】３次元空間上のカメラワークやモーションパスの調整例を表した図である。
【図２５】バレットタイム映像の再生を停止した場合における画像フレームとバレットタイム映像の表示との関係を表した図である。
【図２６】バレットタイム映像を再生している場合における画像フレームとバレットタイム映像の表示との関係を表した図である。
【図２７】バレットタイム映像の生成時に、視点補間を行った場合における画像フレームとバレットタイム映像の表示との関係を表した図である。
【図２８】映像再生時の映像処理装置の構成例を示す図である。
【図２９】映像再生処理を説明するフローチャートである。
【図３０】被写体が動く場合におけるバレットタイム映像の再生を模式的に表した図である。
【図３１】映像処理システムの他の構成例を示す図である。
【図３２】映像処理システムの他の構成例を示す図である。
【図３３】映像処理システムの他の構成例を示す図である。
【図３４】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
【００１３】
１．第１の実施の形態：バレットタイム映像生成
２．第２の実施の形態：雲台制御を行う場合のバレットタイム映像生成
３．バレットタイム映像生成処理の初期条件の設定
４．バレットタイム映像再生
５．変形例
６．コンピュータの構成
【００１４】
＜１．第１の実施の形態＞
【００１５】
（映像処理システムの構成例）
図１は、第１の実施の形態の映像処理システム１の構成例を示す図である。
【００１６】
映像処理システム１は、被写体２の周囲を移動して撮像したような映像であるバレットタイム映像を生成することが可能なシステムである。図１において、映像処理システム１は、映像処理装置１０、カメラ装置２０−１乃至２０−Ｎ（Ｎは１以上の整数）、及び、表示装置４０から構成される。
【００１７】
また、図１の映像処理システム１では、カメラ装置２０−１乃至２０−Ｎが、雲台３０−１乃至３０−Ｎ上に固定される場合を例示している。ただし、カメラ装置２０−１乃至２０−Ｎの設置方法としては、雲台に限らず、例えば、台の上に設置するなど、他の設置方法が用いられるようにしてもよい。
【００１８】
なお、以下の説明では、カメラ装置２０−１乃至２０−Ｎを特に区別する必要がない場合、単にカメラ装置２０と称する。また、雲台３０−１乃至３０−Ｎを特に区別する必要がない場合には、単に雲台３０と称する。
【００１９】
カメラ装置２０−１は、例えば、デジタルビデオカメラやデジタルスチルカメラ、カメラ機能を有する情報機器などの動画像又は静止画像を撮像可能な電子機器である。カメラ装置２０−１は、レンズ等の撮像光学系、固体撮像素子、信号処理回路、及び、制御回路などから構成される。また、カメラ装置２０−１は、雲台３０−１上に固定されている。
【００２０】
カメラ装置２０−２乃至２０−Ｎは、カメラ装置２０−１と同様に構成され、対応する雲台３０−２乃至３０−Ｎ上に固定されている。
【００２１】
図１において、カメラ装置２０−１乃至２０−Ｎは、被写体２の周囲に設置されている。カメラ装置２０−１乃至２０−Ｎにおいては、撮像光学系を介して固体撮像素子に入射される入射光が、電気信号に変換され、画像データが生成される。そして、カメラ装置２０−１乃至２０−Ｎのそれぞれは、画像データから得られる画像フレーム（入力画像フレーム）を、映像処理装置１０に供給する。
【００２２】
ここで、カメラ装置２０−１乃至２０−Ｎは、被写体２の周囲に設置されているため、カメラ装置２０−１乃至２０−Ｎごとに生成される画像フレームは、異なる複数の視点（視点位置）で撮像された被写体２を含む画像フレームとされる。
【００２３】
映像処理装置１０は、カメラ装置２０−１乃至２０−Ｎから供給される、異なる複数の視点位置で撮像された被写体２を含む入力画像フレームに基づいて、被写体２（注目被写体）を中心としたバレットタイム映像を生成して、表示装置４０に表示させる。この映像処理装置１０では、注目被写体としての被写体２が動く場合においても、当該被写体２を中心としたバレットタイム映像を生成することができるが、その詳細な処理の内容は後述する。
【００２４】
図２は、図１のカメラ装置２０−１乃至２０−Ｎにおいて生成され、映像処理装置１０に入力される入力画像フレームを時系列で模式的に表した図である。
【００２５】
図２においては、カメラ装置２０−１乃至２０−Ｎで生成され、映像処理装置１０に入力される入力画像フレームを、入力画像フレームＦij（ｉ，ｊは、１以上の整数）により表記している。ただし、ｉには、各カメラ装置２０を識別するための番号が指定され、ｊには、カメラ装置２０ごとに生成される入力画像フレームを識別するための番号が指定されるものとする。
【００２６】
例えば、図２に示すように、カメラ装置２０−１により生成され、映像処理装置１０に入力される入力画像フレームには、ｉ＝１が固定で指定され、ｊには、生成された順番に、ユニークな番号が付されている。具体的には、カメラ装置２０−１においては、時刻ｔ１から時刻ｔＴまでの間に、入力画像フレームＦ11，入力画像フレームＦ12，入力画像フレームＦ13，・・・，入力画像フレームＦ1Tが、フレームレートに応じて順次生成され、映像処理装置１０に入力されることになる。
【００２７】
同様に、カメラ装置２０−２においては、時刻ｔ１から時刻ｔＴまでの間に、入力画像フレームＦ21，入力画像フレームＦ22，入力画像フレームＦ23，・・・，入力画像フレームＦ2Tが順次生成され、映像処理装置１０に入力される。また、カメラ装置２０−３乃至２０−Ｎについても同様に、各カメラ装置２０で生成され、映像処理装置１０に入力される入力画像フレームが、入力画像フレームＦ31乃至Ｆ3Tや、入力画像フレームＦN1乃至ＦNTなどにより表される。
【００２８】
なお、以下の説明では、カメラ装置２０−１乃至２０−Ｎで生成され、映像処理装置１０に入力される複数の入力画像フレームを、特に区別する必要がない場合、入力画像フレームＦと記述する。また、カメラ装置２０−１で生成され、映像処理装置１０に入力される入力画像フレームＦ11乃至Ｆ1Tを区別する必要がない場合、入力画像フレームＦ1と記述する。同様に、カメラ装置２０−２乃至２０−Ｎについても、各カメラ装置２０で生成され、映像処理装置１０に入力される入力画像フレームを区別する必要がない場合には、入力画像フレームＦ2乃至ＦNと記述するものとする。
【００２９】
また、時刻ｔ１において、カメラ装置２０−１乃至２０−Ｎで生成され、映像処理装置１０に入力されるＮ枚の入力画像フレームを、入力画像フレームＦ11乃至ＦN1と記述する。同様に、時刻ｔ２乃至ｔＴにおいても、カメラ装置２０−１乃至２０−Ｎで生成され、映像処理装置１０に入力されるＮ枚の入力画像フレームを、入力画像フレームＦ12乃至ＦN2や、入力画像フレームＦ1T乃至ＦNTと記述するものとする。
【００３０】
なお、各カメラ装置２０により生成される時系列の画像フレーム、すなわち、映像処理装置１０に時系列で入力される入力画像フレームは、動画像データに限らず、複数の静止画像データであってもよい。同様に、映像処理装置１０が、入力画像フレームを処理することで得られる出力画像フレーム（バレットタイム映像を再生可能な画像データ）は、動画データに限らず、複数の静止画データであってもよい。
【００３１】
映像処理システム１は、以上のように構成される。
【００３２】
（映像処理装置の構成例）
図３は、図１の映像処理装置１０の構成例を示す図である。
【００３３】
図３において、映像処理装置１０は、制御部１０１、入力部１０２、入力画像フレーム取得部１０３、前処理部１０４、映像処理部１０５、及び、出力画像フレーム出力部１０６から構成される。
【００３４】
制御部１０１は、映像処理装置１０の各部の動作を制御する。
【００３５】
入力部１０２は、ユーザ操作に応じた操作信号を制御部１０１に供給する。制御部１０１は、入力部１０２から供給される操作信号に基づいて、映像処理装置１０の各部の動作を制御する。
【００３６】
また、制御部１０１は、設定情報取得部１１０を含む。設定情報取得部１１０は、入力部１０２から供給される操作信号に応じた設定情報を取得する。制御部１０１は、設定情報取得部１１０により取得された設定情報に基づいて、バレットタイム映像に関する処理を行う入力画像フレーム取得部１０３乃至出力画像フレーム出力部１０６を制御する。
【００３７】
ここで、設定情報には、被写体２等の注目被写体に対する視点位置の移動の範囲を示す視点位置情報と、視点位置ごとに時間的に連続する入力画像フレームＦの時間的な範囲を示す時間情報を含んでいる。具体的には、視点位置情報は、注目被写体（被写体２）に対する視点位置の移動の開始位置と終了位置を示す情報である。また、時間情報は、視点位置ごとに時間的に連続する入力画像フレームＦの開始時刻と終了時刻を示す情報である。
【００３８】
入力画像フレーム取得部１０３は、Ｎ台のカメラ装置２０により生成されたＮ枚の画像フレームＦ、すなわち、入力画像フレームＦ11乃至ＦN1、入力画像フレームＦ12乃至ＦN2、・・・、入力画像フレームＦ1T乃至ＦNTを順次取得し、所定のタイミングで、前処理部１０４又は映像処理部１０５に供給する。
【００３９】
なお、入力画像フレーム取得部１０３は、通信機能を有し、Ｎ台のカメラ装置２０から有線通信又は無線通信により送信されてくる、入力画像フレームＦ（のデータ）を受信して取得することになる。ただし、入力画像フレーム取得部１０３は、データの受信に限らず、例えば、記録媒体からデータを読み出すことで、入力画像フレームＦ（のデータ）を取得したり、あるいは、カメラ装置２０と同様に撮像機能を有して、被写体２を撮像して画像データを生成することで、入力画像フレームＦ（のデータ）を取得したりするようにしてもよい。
【００４０】
前処理部１０４は、入力画像フレーム取得部１０３から供給される入力画像フレームＦ(例えば、入力画像フレームＦ11乃至ＦN1)に対し、バレットタイム映像を生成するための前処理を行う。前処理部１０４は、カメラ位置姿勢算出部１１１及び注目被写体設定部１１２から構成される。
【００４１】
カメラ位置姿勢算出部１１１は、入力画像フレーム取得部１０３から供給される入力画像フレームＦ(例えば、入力画像フレームＦ11乃至ＦN1)に対し、所定の画像処理を施すことで、各カメラ装置２０のカメラ位置とカメラ姿勢を算出し、注目被写体設定部１１２に供給する。
【００４２】
ただし、カメラ位置とは、被写体２を撮像して画像フレーム（入力画像フレームＦ）を生成したときのカメラ装置２０の撮像位置である。また、カメラ姿勢とは、被写体２を撮像して画像フレーム（入力画像フレームＦ）を生成したときのカメラ装置２０の撮像姿勢、すなわち、カメラ装置２０による撮像の方向を表している。
【００４３】
注目被写体設定部１１２は、入力画像フレーム取得部１０３から供給される入力画像フレームＦ(例えば、入力画像フレームＦ11乃至ＦN1)に含まれる被写体２を、注目している注目被写体として設定し、その設定結果を、映像処理部１０５に供給する。
【００４４】
ここでは、例えば、注目被写体設定部１１２は、ユーザ操作に応じて手動で注目被写体を設定するほか、カメラ位置姿勢算出部１１１から供給されるカメラ位置やカメラ姿勢などの情報を用いて、入力画像フレームＦに含まれる被写体２を推定し、注目被写体として設定することができる。
【００４５】
映像処理部１０５は、入力画像フレーム取得部１０３から順次供給される入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1、・・・、入力画像フレームＦ1T乃至ＦNT）、並びに、前処理部１０４から供給されるカメラ位置、カメラ姿勢、及び、注目被写体の設定結果に基づいて、バレットタイム映像に関する処理を行う。映像処理部１０５は、注目被写体トラッキング部１２１、注視点算出部１２２、視点補間部１２３、カメラ姿勢補正部１２４、及び、スケール補正部１２５から構成される。
【００４６】
注目被写体トラッキング部１２１は、入力画像フレームＦに含まれる注目被写体のトラッキング（物体追跡）を行う。すなわち、注目被写体トラッキング部１２１には、カメラ装置２０−１乃至２０−Ｎにより時系列で生成された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1、・・・、入力画像フレームＦ1T乃至ＦNT）が順次入力されるので、注目被写体トラッキング部１２１は、時系列で入力される入力画像フレームＦに含まれる注目被写体（被写体２）をトラッキングする。
【００４７】
注視点算出部１２２は、入力画像フレームＦに含まれる注目被写体の注視点（以下、注視点Ｐとも記述する）の位置を算出する。ここでは、例えば、注目被写体（被写体２）の最も重要な箇所（例えば重心）が注視点とされ、その位置が算出される。なお、注視点は、注目被写体における注目している位置である注目位置であるとも言える。
【００４８】
視点補間部１２３は、入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1、・・・、入力画像フレームＦ1T乃至ＦNT）に基づいて、物理的に設置されたカメラ装置２０の間に、注目被写体（被写体２）に対する仮想的な視点を補間する。
【００４９】
ここでは、例えば、あるタイミングで同時に取得される入力画像フレームＦ11乃至ＦN1のうち、カメラ装置２０−１から入力される入力画像フレームＦ11と、カメラ装置２０−２から入力される入力画像フレームＦ21を用いた画像フレーム補間処理を行うことで、カメラ装置２０−１とカメラ装置２０−２との間における視点位置に対応した入力画像フレームである補間画像フレームＦ'を生成することができる。
【００５０】
カメラ姿勢補正部１２４は、入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1、・・・、入力画像フレームＦ1T乃至ＦNT）、及び、視点補間部１２３により生成された補間画像フレームＦ'に対して、画像処理（信号処理）を施すことで、カメラ姿勢の補正を行う。
【００５１】
ここでは、例えば、カメラ装置２０（の撮像光学系）の光軸Ｌの向きが注目被写体（被写体２）の注視点から外れている場合に、入力画像フレームＦ及び補間画像フレームＦ'に対して、カメラ装置２０（の撮像光学系）の光軸Ｌの向きが、注目被写体（被写体２）の注視点の方向を向くように射影変換を行うことで、カメラ姿勢の補正を行うことができる。
【００５２】
スケール補正部１２５は、カメラ姿勢補正処理が施された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1、・・・、入力画像フレームＦ1T乃至ＦNT）、及び、補間画像フレームＦ'に対して、画像処理（信号処理）を施すことで、スケール補正を行う。
【００５３】
ここでは、例えば、カメラ装置２０のカメラ位置が理想的な位置から光軸方向にずれている場合に、カメラ姿勢補正処理が施された入力画像フレームＦ及び補間画像フレームＦ'に対して、カメラ位置が理想的な位置となる場合に生成された入力画像フレームＦ及び補間画像フレームＦ'となるように、スケール補正を行う。
【００５４】
出力画像フレーム出力部１０６は、前処理部１０４及び映像処理部１０５によって、入力画像フレームＦに対してバレットタイム映像に関する処理を施すことで得られる出力画像フレームを、表示装置４０に出力する。
【００５５】
この出力画像フレームは、バレットタイム映像を再生可能な画像データであって、時間情報が示す時間的な範囲内において、視点位置情報が示す視点位置の移動の範囲内で、視点位置が移動するとき、注目被写体（被写体２）が位置する特定位置（例えば、注視点に対応する位置）を含んでいることになる。これにより、表示装置４０では、出力画像フレームに基づいて、注目被写体（特定位置）を中心としたバレットタイム映像が表示される。
【００５６】
なお、映像処理装置１０においては、入力画像フレーム取得部１０３が、カメラ装置２０−１乃至２０−Ｎから入力される入力画像フレームＦ（入力画像フレームＦ11乃至ＦN1、・・・、入力画像フレームＦ1T乃至ＦNT）を順次取得することで、入力画像フレームＦがリアルタイムで処理されるようにしてもよいし、又は、処理対象の入力画像フレームＦがある程度まとまってから、若しくは、処理対象の入力画像フレームＦが全てそろってから処理を行うようにしてもよい。非リアルタイム処理を行う場合には、例えば、各カメラ装置２０により生成された画像フレーム（入力画像フレームＦ）は、映像処理装置１０の内部又は外部に設けられる記録装置（例えば、後述する図３３の記録装置８０）に記録（蓄積）され、入力画像フレーム取得部１０３により適宜読み出されることになる。
【００５７】
また、映像処理装置１０において、前処理部１０４及び映像処理部１０５によってバレットタイム映像に関する処理が施された出力画像フレームは、出力画像フレーム出力部１０６によって、表示装置４０に出力されるとして説明したが、映像処理装置１０の内部又は外部に設けられる記録装置（例えば、後述する図３３の記録装置８０）に記録（蓄積）されるようにしてもよい。この場合、例えば、ユーザ操作に応じて、記録装置から出力画像フレームが読み出され、バレットタイム映像が再生されることになる。
【００５８】
（バレットタイム映像生成処理）
次に、図４のフローチャートを参照して、図３の映像処理装置１０により実行されるバレットタイム映像生成処理の流れについて説明する。
【００５９】
ステップＳ１０１において、設定情報取得部１１０は、例えばユーザによる入力部１０２に対する操作に応じて、バレットタイム映像の生成処理時に用いられる、視点位置情報や時間情報等の設定情報を取得する。この視点位置情報としては、例えば、視点移動の開始位置をカメラ装置２０−１とし、視点移動の終了位置をカメラ装置２０−Ｎとすることを示す情報が設定される。また、時間情報としては、例えば、時刻ｔ１から時刻ｔαまでの範囲や、時刻ｔ１などの情報が設定される。
【００６０】
すなわち、視点位置情報と時間情報によって、バレットタイム映像の処理対象となる入力画像フレームＦの開始位置（画像フレーム開始位置）と、処理対象となる入力画像フレームＦの終了位置（画像フレーム終了位置）が設定されることになる。
【００６１】
なお、これらの視点位置情報と時間情報は、バレットタイム映像生成処理の初期条件として、例えば、ユーザが、設定画面（後述する図２２の設定画面３００）を操作することで設定される。ただし、各時刻ｔにおける入力画像フレームＦに対して、バレットタイム映像生成処理を行う場合には、ユーザが、初期条件として時刻情報を設定する必要はなく、この場合、例えば、全時間範囲がデフォルトで設定される。
【００６２】
ステップＳ１０２において、入力画像フレーム取得部１０３は、カメラ装置２０−１乃至２０−Ｎから入力される入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）を取得する。ただし、ステップＳ１０２の処理で取得された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）は、前処理部１０４と映像処理部１０５に供給される。
【００６３】
なお、ステップＳ１０２の処理で取得される入力画像フレームＦとしては、カメラ装置２０−１乃至２０−Ｎが、被写体２を撮像することで得られる入力画像フレームＦをリアルタイムで取得するようにしてもよいし、あるいは、記録装置（後述する図３３の記録装置８０）に一時的に記録されていた入力画像フレームＦを取得するようにしてもよい。
【００６４】
ステップＳ１０３において、カメラ位置姿勢算出部１１１は、ステップＳ１０２の処理で取得された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）に対して、所定の画像処理を施すことで、各カメラ装置２０のカメラ位置とカメラ姿勢を算出する。
【００６５】
このカメラ位置・姿勢算出処理では、例えば、被写体２の３次元形状と、カメラ装置２０のカメラ位置とカメラ姿勢を同時に復元する手法であるストラクチャフロムモーション(SFM：Structure From Motion)と称される技術などを用いることで、各カメラ装置２０のカメラ位置とカメラ姿勢が算出される。なお、カメラ位置と姿勢の算出処理の詳細な処理内容は、図７乃至図９を参照して後述する。
【００６６】
ステップＳ１０４において、注目被写体設定部１１２は、ステップＳ１０２の処理で取得された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）に含まれる被写体２を、注目被写体として設定する。
【００６７】
この注目被写体設定処理では、例えば、入力画像フレームＦに含まれる被写体２を検出（自動検出）するか、あるいは、入力画像フレームＦに含まれる被写体２をユーザが指定（手動指定）することで、被写体２が注目被写体として設定される。なお、注目被写体の手動指定を行う場合には、例えば、ユーザが、設定画面（後述する図２２の設定画面３００）を操作することで、注目被写体が設定される。また、注目被写体設定処理の詳細な処理内容は、図１０乃至図１１を参照して後述する。
【００６８】
ステップＳ１０５において、注目被写体トラッキング部１２１は、ステップＳ１０２の処理で取得される入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）に含まれる、ステップＳ１０４の処理で設定された注目被写体（被写体２）のトラッキング（物体追跡）を開始する。
【００６９】
この注目被写体トラッキング処理では、例えば、ステップＳ１０４の処理で設定された注目被写体のモデルを学習し、当該注目被写体モデルを用いて、追跡対象となる注目被写体が追跡される。なお、注目被写体のトラッキング処理の詳細な処理内容は、図１２を参照して後述する。
【００７０】
ステップＳ１０６において、注視点算出部１２２は、ステップＳ１０５の処理でトラッキングされている注目被写体（被写体２）の最も重要な箇所を注視点とし、その注視点の位置を算出する。
【００７１】
この注視点算出処理では、例えば、注目被写体の重心（の位置）を注視点とすることができる。なお、注視点算出処理の詳細な処理内容は、図１３を参照して後述する。
【００７２】
ステップＳ１０７において、視点補間部１２３は、ステップＳ１０２の処理で取得された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）に基づいて、物理的に設置されたカメラ装置２０の間に、注目被写体（被写体２）に対する仮想的な視点を補間する。
【００７３】
この視点補間処理では、例えば、２次元をベースにした手法で、カメラ装置２０−１とカメラ装置２０−２との間の仮想的なカメラ装置により生成された補間画像フレームＦ'を生成したり、あるいは、３次元をベースにした手法で、注目被写体（被写体２）の３次元モデルを生成したりすることで、仮想的な視点を補間することができる。なお、視点補間処理の詳細な処理内容は、図１４を参照して後述する。
【００７４】
ステップＳ１０８において、カメラ姿勢補正部１２４は、ステップＳ１０２の処理で取得された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）、及び、ステップＳ１０７の処理で生成された補間画像フレームＦ'に対して、カメラ姿勢補正処理を施す。
【００７５】
このカメラ姿勢補正処理では、例えば、カメラ装置２０（の撮像光学系）の光軸Ｌの向きが、注目被写体（被写体２）の注視点から外れている場合には、カメラ装置２０（の撮像光学系）の光軸Ｌの向きが注目被写体（被写体２）の注視点の方向を向くように射影変換が行われることで、カメラ姿勢の補正が行われる。なお、カメラ姿勢補正処理の詳細な処理内容は、図１５を参照して後述する。
【００７６】
ステップＳ１０９において、スケール補正部１２５は、ステップＳ１０８の処理でカメラ姿勢補正処理が施された入力画像フレームＦ（例えば、入力画像フレームＦ11乃至ＦN1）、及び、補間画像フレームＦ'に対して、スケール補正処理を施す。
【００７７】
このスケール補正処理では、例えば、カメラ装置２０のカメラ位置が、理想的な位置から光軸方向に前後にずれている場合には、カメラ位置が理想的な位置となる場合に生成された入力画像フレームＦ（又は補間画像フレームＦ'）となるように、スケール補正が行われる。なお、スケール補正処理の詳細な処理内容は、図１６を参照して後述する。
【００７８】
ステップＳ１１０において、出力画像フレーム出力部１０６は、入力画像フレーム（例えば、入力画像フレームＦ11乃至ＦN1）に対してバレットタイム映像に関する処理（例えばステップＳ１０３乃至ステップＳ１０９の処理）を施すことで得られる出力画像フレームを、所定のタイミングで、表示装置４０に出力する。なお、この出力画像フレームは、バレットタイム映像を再生可能な画像データであって、時間情報が示す時間的な範囲内において、視点位置情報が示す視点位置の移動の範囲内で、視点位置が移動するとき、注目被写体が位置する特定位置（例えば、注視点に対応する位置）を含んでいることになる。
【００７９】
ステップＳ１１１においては、ステップＳ１０１の処理で取得された設定情報（例えば、画像フレーム開始位置と画像フレーム終了位置）に基づいて、全ての入力画像フレームＦに対する処理が終了したかどうかが判定される。ステップＳ１１１において、全ての入力画像フレームＦに対する処理が終了していないと判定された場合、処理は、ステップＳ１１２に進められる。
【００８０】
ステップＳ１１２において、入力画像フレーム取得部１０３は、各カメラ装置２０から入力される次の処理対象の入力画像フレームＦ（例えば、入力画像フレームＦ12乃至ＦN2）を取得する。ただし、ステップＳ１１２の処理で取得された入力画像フレームＦ（例えば、入力画像フレームＦ12乃至ＦN2）は、前処理部１０４には供給されずに、映像処理部１０５にのみ供給される。
【００８１】
ステップＳ１１２の処理で、次の処理対象となる入力画像フレームＦ（例えば、入力画像フレームＦ12乃至ＦN2）が取得されると、処理は、ステップＳ１０５の処理に戻り、ステップＳ１０５乃至Ｓ１１２の処理（画像フレーム処理ループ）が繰り返される。
【００８２】
すなわち、この画像フレーム処理ループでは、１回目の画像フレーム処理ループで、ステップＳ１０２の処理で取得される時刻ｔ１における入力画像フレームＦ11乃至ＦN1に対し、注目被写体（被写体２）のトラッキングとその注視点の更新（Ｓ１０５，Ｓ１０６）と、視点補間（Ｓ１０７）とカメラ姿勢とスケールの補正（Ｓ１０８，Ｓ１０９）が行われ、出力画像フレームとして出力される（Ｓ１１０）。
【００８３】
また、２回目の画像フレーム処理ループでも同様に、時刻ｔ２における入力画像フレームＦ12乃至ＦN2に対し、注目被写体（被写体２）のトラッキングとその注視点の更新（Ｓ１０５，Ｓ１０６）と、視点補間（Ｓ１０７）とカメラ姿勢とスケールの補正（Ｓ１０８，Ｓ１０９）が行われ、出力画像フレームとして出力される（Ｓ１１０）。そして、３回目以降の画像フレーム処理ループでも同様に、各時刻ｔ（時刻ｔ３，ｔ４，・・・，ｔＴ）ごとに、Ｎ枚の画像フレーム単位で処理が繰り返し行われる。
【００８４】
この画像フレーム処理ループが繰り返されることで、入力画像フレームＦに含まれる注目被写体（被写体２）のトラッキングが行われ（Ｓ１０５）、注目被写体（被写体２）の注視点が更新される（Ｓ１０６）。これにより、注目被写体（被写体２）が動いた場合でも、当該注目被写体を追跡してその注視点を更新し続けることができる。
【００８５】
また、注目被写体（被写体２）の視点が補間され（Ｓ１０７）、さらに、カメラ装置２０のカメラ姿勢とカメラ位置が理想的な状態で注目被写体（被写体２）を撮像したときの入力画像フレームＦ（又は補間画像フレームＦ'）となるように補正（画像処理）が行われる（Ｓ１０８，Ｓ１０９）ため、注目被写体（被写体２）を中心としたバレットタイム映像が、より滑らかに再生されるようにすることができる。
【００８６】
このようにして、画像フレーム処理ループでは、各時刻ｔごとに、視点移動の開始位置（例えばカメラ装置２０−１）から、視点移動の終了位置（例えば、カメラ装置２０−Ｎ）までの入力画像フレームに対して、注目被写体（被写体２）のトラッキングとその注視点の更新（Ｓ１０５，Ｓ１０６）と、視点補間（Ｓ１０７）とカメラ姿勢とスケールの補正（Ｓ１０８，Ｓ１０９）が行われることになる。これにより、時刻ｔごとのＮ枚の入力画像フレームＦに対して、画像フレーム処理ループの処理が施され、出力画像フレームとして、表示装置４０に出力されるので、表示装置４０では、注目被写体としての被写体２（の注視点）を中心としたバレットタイム映像を表示することが可能となる。
【００８７】
そして、ステップＳ１１１において、全ての入力画像フレームＦの処理が終了したと判定された場合、図４のバレットタイム映像生成処理は、終了される。ここでは、例えば、時間情報として、時刻ｔ１が設定されている場合には、入力画像フレームＦ11が画像フレーム開始位置となり、入力画像フレームＦN1が画像フレーム終了位置となるので、入力画像フレームＦN1に対する処理が終了したとき、全ての画像フレームの処理が終了したと判定される。
【００８８】
なお、上述した例では、画像フレーム処理ループにおいて、時刻ｔごとに、カメラ装置２０−１乃至２０−ＮからのＮ枚の画像フレーム単位で処理を行う場合について説明したが、この処理単位としては、Ｎ枚に限らず、所定の枚数の処理単位を採用することができる。例えば、時刻ｔにおける（バレットタイム映像の）表示対象（記録対象）となる、特定のカメラ装置２０（例えばカメラ装置２０−１）からの１枚の入力画像フレームＦに対してのみ処理を行うなど、任意の処理単位で、入力画像フレームを処理することができる。
【００８９】
すなわち、この時刻ｔごとの処理単位としては、各時刻ｔにおいて、特定のカメラ装置２０からの１枚の入力画像フレームのみを処理するのが、最小処理枚数となり、カメラ装置２０−１乃至２０−ＮからのＮ枚の入力画像フレームを処理するのが、最大処理枚数となる。この処理単位は任意に設定することができるが、例えば、各時刻ｔにおける入力画像フレームの処理枚数を減らすことで、表示対象とならない入力画像フレームに対しては、視点補間（Ｓ１０７）や、カメラ姿勢とスケールの補正（Ｓ１０８，Ｓ１０９）などの処理を行わないこととなり、処理量を軽減することができる。
【００９０】
また、上述したステップＳ１１０の処理では、出力画像フレーム出力部１０６により出力画像フレームが、表示装置４０に出力された場合を説明したが、出力画像フレーム出力部１０６によって、出力画像フレームが、記録装置（後述する図３３の記録装置８０）に記録されるようにしてもよい。この場合、ユーザによりバレットタイム映像の再生が指示されたとき、記録装置から出力画像フレームが読み出され、バレットタイム映像が、表示装置４０に表示されることになる。
【００９１】
以上、第１の実施の形態のバレットタイム映像生成処理の流れについて説明した。この第１の実施の形態のバレットタイム映像生成処理では、常に、異なる複数の視点位置で生成された入力画像フレームＦに含まれる注目被写体のトラッキングが行われ、当該注目被写体の注視点Ｐが常時更新されるので、注目被写体が動く場合でも、注目被写体（の注視点Ｐ）を中心としたバレットタイム映像を提供することができる。
【００９２】
換言すれば、バレットタイム映像を再生するために出力される出力画像フレームは、時間情報が示す時間的な範囲内において、視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するときに、注目被写体が、出力画像フレーム上の特定位置に位置するように、入力画像フレームが処理されたものであるので、あらゆるタイミングにおいて、注目被写体（の注視点）を中心としたバレットタイム映像を再生することができることになる。
【００９３】
なお、図４のバレットタイム映像生成処理において、ステップＳ１０７の視点補間処理は、バレットタイム映像をより滑らかにするためのオプションの処理であって、必ずしも実行する必要はない。また、説明の都合上、ステップＳ１０１の処理で設定情報を取得した後に、ステップＳ１０２の処理で入力画像フレームＦを取得する流れを説明したが、それらの処理を逆にして、入力画像フレームＦを取得してから、設定情報が取得されるようにしてもよい。
【００９４】
図５は、画像フレーム処理ループ（図４のステップＳ１０５乃至Ｓ１１２）で処理される入力画像フレームＦを、その入力画像フレームＦを生成するカメラ装置２０ごとに時系列で表した図である。
【００９５】
なお、図５において、時間の方向は、図中の左側から右側に向かう方向とされ、カメラ装置２０ごとに生成され、映像処理装置１０に入力される入力画像フレームＦが、図中の左側から右側に向かって時系列に並べられている。また、図５においては、図１の映像処理システム１を構成する複数のカメラ装置２０のうち、カメラ装置２０−１と、カメラ装置２０−Ｍ（１＜Ｍ＜Ｎ）と、カメラ装置２０−Ｎにより生成され、映像処理装置１０に入力される入力画像フレームＦ1と、入力画像フレームＦMと、入力画像フレームＦNを代表して示している。
【００９６】
また、図５の例では、画像フレーム開始位置として、入力画像フレームＦ11が設定され、画像フレーム終了位置として、入力画像フレームＦNTが設定されている。
【００９７】
映像処理装置１０においては、入力画像フレーム取得部１０３によって、カメラ装置２０−１により生成され、映像処理装置１０に入力される、入力画像フレームＦ11，入力画像フレームＦ12，・・・，入力画像フレームＦ1α，・・・，入力画像フレームＦ1Tが、フレームレートに応じて順次取得される。他のカメラ装置２０についても同様に、例えば、カメラ装置２０−Ｍにより生成され、映像処理装置１０に入力される入力画像フレームＦM1乃至ＦMTや、入力画像フレームＦN1乃至ＦNTが、入力画像フレーム取得部１０３により順次取得されることになる。
【００９８】
ここで、時刻ｔ１における各カメラ装置２０からの入力画像フレームＦ11乃至ＦN1に注目すれば、画像フレーム処理ループにより、入力画像フレームＦ11乃至ＦN1に含まれる注目被写体（被写体２）のトラッキングが行われ、注視点Ｐが算出される（図４のＳ１０５，Ｓ１０６）。その後、時刻ｔ２以降における各カメラ装置２０からの入力画像フレームＦに対しても同様に、注目被写体（被写体２）のトラッキングとその注視点Ｐの更新が行われる。
【００９９】
例えば、時刻ｔαにおける入力画像フレームＦ1α乃至ＦNαに注目すれば、画像フレーム処理ループによって、入力画像フレームＦ1α乃至ＦNαに含まれる注目被写体（被写体２）のトラッキングが行われ、注視点Ｐが算出される。ここで、注目被写体（被写体２）が動く場合には、注目被写体とともに注視点Ｐの位置が変化することになるが、画像フレーム処理ループでは、時系列で取得される入力画像フレームＦごとに、注目被写体に対するトラッキングを継続して行い、その注視点Ｐを常時更新しているため、注目被写体の動きに応じた注視点Ｐの位置の変化にも対応することができる。
【０１００】
その後、時刻ｔα以降についても同様に、注目被写体のトラッキングとその注視点Ｐの更新が行われ、画像フレーム開始位置として設定された入力画像フレームＦ11から、画像フレーム終了位置として設定された入力画像フレームＦNTまで、注目被写体のトラッキングとその注視点Ｐの更新が継続される。
【０１０１】
すなわち、注目被写体が動く場合には注視点Ｐも時間とともに変化してしまい、仮に、注視点Ｐを更新しない場合には、注目被写体（の注視点Ｐ）を中心としたバレットタイム映像を生成することができなくなるため、本技術では、時系列で取得される入力画像フレームＦに含まれる注目被写体の注視点Ｐを常時更新することで、注目被写体（の注視点Ｐ）を中心としたバレットタイム映像を生成することができるようにしている。
【０１０２】
例えば、野球やサッカー等のスポーツにおいて、各選手がどのタイミングでどのような動きをするかが予測できない場合に、事前に注視点Ｐを定めておくことは困難であるが、本技術では、注目被写体をトラッキングして、常時、注視点Ｐを更新しておくことで、あらゆるタイミングにおいて、注目被写体（の注視点Ｐ）を中心としたバレットタイム映像を生成することができる。また、ユーザ操作により手動で、注目被写体の注視点Ｐを設定することは可能であるが、非常に手間のかかる作業となってしまう。
【０１０３】
なお、図５のカメラ装置２０ごとに時系列で表された入力画像フレームＦは、図４のステップＳ１０７の視点補間処理が行われなかった場合を例示しているが、当該視点補間処理（Ｓ１０７）が行われた場合には、図６に示すようになる。
【０１０４】
すなわち、図６において、例えば、入力画像フレームＦ11乃至ＦN1のうち、カメラ装置２０−１により生成される入力画像フレームＦ11と、カメラ装置２０−２により生成される入力画像フレームＦ21を用いた画像フレーム補間処理を行うことで、カメラ装置２０−１とカメラ装置２０−２との間における視点位置に対応した補間画像フレームＦ'121が生成される。同様にして、入力画像フレームＦ1と入力画像フレームＦ2を用いた画像フレーム補間処理を行うことで、補間画像フレームＦ'12αや、補間画像フレームＦ'12Tなどのカメラ装置２０−１とカメラ装置２０−２との間に、注目被写体の注視点Ｐに対する仮想的な視点を補間することができる。
【０１０５】
なお、図６においては、説明の都合上、入力画像フレームＦ1と入力画像フレームＦ2を用いた画像フレーム補間処理を行った場合を例示しているが、例えば、入力画像フレームＦ2と入力画像フレームＦ3や、入力画像フレームＦ3と入力画像フレームＦ4など、他のカメラ装置２０で生成された入力画像フレームＦを用いた場合にも同様に、補間画像フレームＦ'を生成することができる。
【０１０６】
また、図６においては、物理的に設置されたカメラ装置２０の間に仮想的な視点を補間する、すなわち、入力画像フレームを空間方向に補間する場合を示しているが、時間方向についても入力画像フレームを補間することができる。例えば、カメラ装置２０−１から入力される、入力画像フレームＦ11と入力画像フレームＦ12を用いた画像フレーム補間処理を行うことで、時間的に、入力画像フレームＦ11と入力画像フレームＦ12との間の補間画像フレームＦ'を生成することができる。そして、このようにして生成される補間画像フレームＦ'を用いることで、例えば、スロー再生を実現することができる。
【０１０７】
次に、図７乃至図１６を参照して、図４のバレットタイム映像生成処理における各ステップの詳細な処理内容について説明する。
【０１０８】
（カメラ位置・姿勢算出処理）
まず、図７乃至図９を参照して、図４のステップＳ１０３の処理におけるカメラ位置・姿勢算出処理の詳細な処理内容について説明する。
【０１０９】
このカメラ位置・姿勢算出処理では、各カメラ装置２０から入力される入力画像フレームＦに対する所定の画像処理を行うことで、各カメラ装置２０のカメラ位置とカメラ姿勢が算出される。
【０１１０】
ここでは、図７のＡに示すように、既知物体３として、例えば、２色（例えば白色と黒色）の正方形を交互に配した市松模様（パターン）からなるチェスボードを用意して、所定の位置に設置された各カメラ装置２０（図７のＡの例では、カメラ装置２０−１乃至２０−９）により撮像可能な位置に設置することで、各カメラ装置２０によって既知物体３が撮像されるようにする。これにより、各カメラ装置２０によって、被写体としての既知物体３を含む入力画像フレームＦであって、異なる複数の視点位置で撮像される入力画像フレームＦを取得することができる。なお、図７のＢと図７のＣには、既知物体３を含む被写体を異なる視点位置から見た場合の様子を示している。
【０１１１】
このようにして得られる異なる複数の視点位置で撮像された既知物体３を含む入力画像フレームＦに対して、所定の画像処理を施すことで、各カメラ装置２０のカメラ位置とカメラ姿勢を求めることができる。ここでは、複数の視点位置で撮像された入力画像フレームＦ（画像データ）から、被写体の３次元形状と、カメラ装置２０のカメラ位置とカメラ姿勢を同時に復元する手法であるストラクチャフロムモーションと称される技術を用いることができる。
【０１１２】
また、ここでは、カメラ装置２０の撮像環境に依存しないように、既知の物体としての既知物体３（例えばチェスボード）を利用して、各カメラ装置２０のカメラ位置とカメラ姿勢を算出する場合を、一例にして説明したが、既知物体３を利用しない場合でも、所定の画像処理を適用することで、各カメラ装置２０のカメラ位置とカメラ姿勢を求めることができる。
【０１１３】
なお、ストラクチャフロムモーションについては、例えば、「Noah Snavely， Steven M. Seitz， Richard Szeliski， "Photo tourism: Exploring photo collections in 3D，" ACM Transactions on Graphics (SIGGRAPH Proceedings)， 25(3)， 2006， 835-846.」などに具体的に記載されている。
【０１１４】
ここで、図８及び図９を参照して、カメラ位置の算出方法についてより詳細に説明する。図８は、カメラ位置推定処理について説明するフローチャートである。
【０１１５】
このカメラ位置推定処理では、まず、各カメラ装置２０からの複数の入力画像フレームＦに対する解析処理が行われ、入力画像フレームＦに含まれる既知物体３（例えばチェスボード等）の特徴点が検出される（Ｓ１５１）。次に、ステップＳ１５１の処理で検出された入力画像フレームＦ上の特徴点について、既知物体３（例えばチェスボード等）の３次元構造（３Ｄ座標）との対応付けが行われる（Ｓ１５２）。次に、ステップＳ１５２の処理で既知物体３と３次元構造とを対応付けることで得られる式を、最小二乗法を用いて解くことで、カメラ位置が算出される（Ｓ１５３）。そして、非線形最適化を行うことで、再投影誤差を最小化して、ステップＳ１５３の処理で算出されたカメラ位置が調整される（Ｓ１５４）。
【０１１６】
ここでは、例えば、図９に示すように、既知物体３が正六面体からなる場合に、この既知物体３の周囲に、カメラ装置２０−１乃至２０−３が設置されているとき、各カメラ装置２０のカメラ位置に応じて、既知物体３の見え方が異なっている。具体的には、既知物体３としての正六面体の８個の頂点のうち、頂点Ｐ１に注目した場合に、カメラ装置２０−１乃至２０−３により撮像される既知物体３の頂点Ｐ１の位置は異なっているが、既知物体３として正六面体の形状があらかじめ認識されているので、カメラ装置２０−１乃至２０−３からの入力画像フレームＦ1乃至Ｆ3を解析することで、各カメラ装置２０のカメラ位置を求めることができる。
【０１１７】
以上ようにして、カメラ位置・姿勢算出処理では、被写体２の周囲に設置されているカメラ装置２０ごとに、カメラ位置とカメラ姿勢が算出される。なお、ここで説明したカメラ位置・姿勢算出処理は、処理の一例であって、他の公知の技術を用いて、カメラ位置とカメラ姿勢が算出されるようにしてもよい。
【０１１８】
（注目被写体設定処理）
次に、図１０及び図１１を参照して、図４のステップＳ１０４の処理における注目被写体設定処理の詳細な処理内容について説明する。
【０１１９】
この注目被写体設定処理では、入力画像フレームＦに含まれる被写体２を注目被写体として検出（自動検出）するモードである自動設定モード、又は、入力画像フレームＦに含まれる被写体２をユーザが注目被写体として指定（手動指定）するモードである手動設定モードにより、注目被写体が設定される。なお、自動検出と手動指定を組み合わせたモードである自動＋手動設定モードを採用してもよい。
【０１２０】
図１０は、自動設定モード時における注目被写体の設定の例を説明する図である。図１０においては、注目被写体（被写体２）の周囲を囲むように、８台のカメラ装置２０−１乃至２０−８が設置されている場合に、各カメラ装置２０（の撮像光学系）の光軸Ｌを、各カメラ装置２０から伸びる矢印により表している。
【０１２１】
ここでは、各カメラ装置２０から入力される入力画像フレームＦに対して所定の画像処理を施すことで、例えば、カメラ装置２０−１の光軸Ｌ１と、カメラ装置２０−２の光軸Ｌ２と、カメラ装置２０−３の光軸Ｌ３と、カメラ装置２０−４の光軸Ｌ４と、カメラ装置２０−５の光軸Ｌ５と、カメラ装置２０−６の光軸Ｌ６と、カメラ装置２０−７の光軸Ｌ７と、カメラ装置２０−８の光軸Ｌ８とが揃っている３次元空間上の領域に、被写体２が存在すると推定することができる。そして、自動設定モードでは、この被写体２が存在すると推定される領域内の物体（被写体２）が、注目被写体に設定される。
【０１２２】
なお、被写体の自動検出方法については、例えば、「N. D. F. Cambell， G. Vogiatzis， C. Hernandez and R. Cipolla. ， “Automatic Object Segmentation from Calibrated Images”， In Proceedings 8th European Conference on Visual Media Production，(CVMP)， 2011」などに具体的に記載されている。
【０１２３】
また、図１１は、手動設定モード時における注目被写体の設定の例を説明する図である。図１１のＡにおいては、カメラ装置２０−１乃至２０−Ｎのうち、被写体２の正面に設置されたカメラ装置２０からの入力画像フレームＦが、表示装置４０に表示されている。例えば、ユーザは、マウス操作やタップ操作等の所定の操作により、表示中の入力画像フレームＦに含まれる被写体２や背景領域などを選択（マーク）することで、被写体２を注目被写体として設定することができる。
【０１２４】
なお、図１１のＢには、被写体２の正面以外に設置された４台のカメラ装置２０により生成された視点の異なる入力画像フレームＦが表示されおり、ユーザは、それらの視点の入力画像フレームＦを確認しながら、所望の被写体を、注目被写体に設定することができる。また、手動設定モードが設定された場合には、例えば、図１１のＡと図１１のＢの入力画像フレームＦが、設定画面（後述する図２２の設定画面３００）に表示されるようにして、その設定画面をユーザが操作することで、注目被写体が設定されるようにすることができる。
【０１２５】
さらに、自動検出と手動指定を組み合わせた自動＋手動設定モードとしては、例えば、画像の領域抽出として用いられるグラフカット（Graph Cuts）等の技術を用いて、入力画像フレームＦに含まれる最適な領域を抽出し、その領域に注目被写体が含まれている場合には、ユーザ操作によりその領域を注目被写体として設定することができる。なお、自動＋手動設定モードが設定された場合には、手動設定モードの場合と同様に、例えば、ユーザが、設定画面（後述する図２２の設定画面３００）を操作することで、注目被写体が設定されるようにすることができる。
【０１２６】
なお、自動検出と手動指定を組み合わせた被写体の設定方法については、例えば、「Yuri Boykov， Gareth Funka-Lea， “Graph Cuts and Efficient N-D Image Segmentation”， In International Journal of Computer Vision (IJCV)， vol. 70， no. 2， pp. 109-131， November， 2006」などに具体的に記載されている。
【０１２７】
また、全ての視点位置の入力画像フレームＦに対して注目被写体を設定する必要はなく、例えば、ある視点位置の入力画像フレームＦに対して設定された注目被写体を、他の視点位置の入力画像フレームＦからも検出されるようにすることで、注目被写体の設定を簡易にすることができる。例えば、カメラ装置２０−１とカメラ装置２０−２からの入力画像フレームＦ1と入力画像フレームＦ2に対して、注目被写体が設定された場合に、入力画像フレームＦ1と入力画像フレームＦ2に含まれる注目被写体（注目被写体モデル）の解析結果（学習結果）を用いて、他のカメラ装置２０（例えばカメラ装置２０−３やカメラ装置２０−４等）からの入力画像フレームＦに対しても注目被写体が設定されるようにする。ここでは、例えば、注目被写体（注目被写体モデル）について、色に関する情報が学習されるようにすることができる。
【０１２８】
以上ようにして、注目被写体設定処理では、自動設定モードや手動設定モード等のモードに応じて、注目被写体が設定される。なお、ここで説明した注目被写体設定処理は、処理の一例であって、他の公知の技術を用いて、注目被写体が設定されるようにしてもよい。
【０１２９】
（注目被写体トラッキング処理）
次に、図１２を参照して、図４のステップＳ１０５の処理における注目被写体トラッキング処理の詳細な処理内容について説明する。
【０１３０】
この注目被写体トラッキング処理では、例えば、上述した注目被写体設定処理で設定された注目被写体（注目被写体モデル）を学習し、当該注目被写体モデルを用いて、追跡対象となる注目被写体が追跡される。
【０１３１】
ここでは、例えば、各カメラ装置２０から入力される入力画像フレームＦごとに、入力画像フレームＦに含まれる注目被写体のトラッキングが行われる。例えば、カメラ装置２０−１からの入力画像フレームＦ11乃至Ｆ1Tにおいて、入力画像フレームＦ11と入力画像フレームＦ12などの時間的に連続する入力画像フレームＦ1の間で、注目被写体（注目被写体モデル）がどのように動いたかを推定することで、注目被写体がトラッキング（物体追跡）される。例えば、ある入力画像フレームＦ内で、追跡対象（注目被写体）の領域を設定し、その領域内の特徴量（例えばカラーヒストグラムの類似度）を用いて、次の入力画像フレームＦ上の探索領域を探索する（類似度が最大となる位置を求める）ことで、追跡対象（注目被写体）を追跡することができる。
【０１３２】
例えば、図１２のＡには、視点位置の異なる４台のカメラ装置２０によって、被写体２を撮像したときの４枚の入力画像フレームＦが示されており、注目被写体設定処理（図４のＳ１０４）で、各入力画像フレームＦに含まれる被写体２が、注目被写体として設定されている。この場合に、図１２のＢに示すように、各入力画像フレームＦ内における領域ＡT（図１２のＢの灰色の領域）が、追跡対象（注目被写体）の領域であると探索され、このような処理が、時間的に連続する入力画像フレームＦごとに繰り返されることで、注目被写体のトラッキングが行われる。
【０１３３】
なお、注目被写体のトラッキングを行うに際して、色やHoG(Histograms of Oriented Gradients)等の特徴量を用いたカルマンフィルタ(Kalman Filter)や粒子フィルタ(Particle Filter)、ミーンシフト(Mean Shift)などの推定手法を用いて、トラッキングが行われるようにしてもよい。また、トラッキングの対象となる注目被写体が、人であることが認識されている場合には、人体モデルを用いることができる。
【０１３４】
また、注目被写体のトラッキングを行う場合に、注視点算出処理（図４のＳ１０６）の処理結果（注視点）をフィードバックして、各カメラ装置２０からの入力画像フレームＦとともに、注目被写体の注視点に関する情報を利用することで、注目被写体のトラッキングの精度を向上させることができる。
【０１３５】
なお、被写体のトラッキング方法については、例えば、「D. Comaniciu， V. Ramesh， and P. Meer. Real-time tracking of non-rigid objects using mean shift. Proc. IEEE Conf. Computer Vision and Pattern Recognition， pp. 142-149， 2000.」や、「Jian Sun， Weiwei Zhang， Xiaoou Tang， and Heung-Yeung Shum. Bi-directional tracking using trajectory segment analysis. In Proceedings of the Tenth IEEE International Conference on Computer Vision (ICCV'05) Volume 1， pp. 717-724， 2005」などに具体的に記載されている。
【０１３６】
以上のようにして、注目被写体トラッキング処理では、ステップＳ１０４の処理で設定された注目被写体のトラッキングが行われる。なお、ここで説明した注目被写体トラッキング処理は、処理の一例であって、他の公知の技術を用いて、注目被写体がトラッキングされるようにしてもよい。
【０１３７】
（注視点算出処理）
次に、図１３を参照して、図４のステップＳ１０６の処理における注視点算出処理の詳細な処理内容について説明する。
【０１３８】
この注視点算出処理では、上述した注目被写体トラッキング処理でトラッキングされている注目被写体（被写体２）の最も重要な箇所が注視点とされ、その注視点の位置が算出される。
【０１３９】
ここでは、図１３のＡに示すように、注目被写体（被写体２）の周囲を囲むように、８台のカメラ装置２０−１乃至２０−８が設置されている場合、各カメラ装置２０からの入力画像フレームＦごとに、すなわち、画像フレーム単位で、入力画像フレームＦに含まれる注目被写体（被写体２）の最も重要な箇所が注視点とされる。
【０１４０】
例えば、注目被写体における最も重要な箇所として、注目被写体の重心（の位置）を、注視点とすることができる。また、２次元の画像である入力画像フレームＦ上において、注目被写体の重心（の位置）を、カメラ装置２０−１乃至２０−８からの光軸Ｌ１乃至Ｌ８で貫いたときに、重心（の位置）との距離が最も小さい位置を、注視点としてもよい。また、ビジュアルハル（Visual Hull）やMVS(Multi View Stereo)などの手法によって注目被写体の３次元モデルを生成し、その３次元モデルの重心（の位置）を、注視点としてもよい。
【０１４１】
なお、３次元モデルの生成方法については、例えば、「Wojciech Matusik， Chris Buehler， Ramesh Raskar， Steven J. Gortler， Leonard McMillan"Image-Based Visual Hulls"， SIGGRAPH 2000」などに具体的に記載されている。
【０１４２】
また、各カメラ装置２０から入力される、時間的に連続した入力画像フレームＦに含まれる注目被写体の３次元位置に対してローパスフィルタをかけることで、時間方向の滑らかな注視点の移動を実現することができる。また、ローパスフィルタによる平滑化の前処理として、図１３のＢに示すように、統計的な処理によって、注視点の外れ値判定を行い、その判定結果に応じて外れ値を除去した上で、注目被写体の注視点のパスＬS（注目被写体パスＬS）を作成することで、より正確な注視点のパスＬSを作成することができる。すなわち、図１３のＢにおいては、実線で表されたパスＬSが、注目被写体の注視点の実際の移動を表しており、このパスＬSから離れた点が、外れ値として除外されている。
【０１４３】
以上のようにして、注視点算出処理では、注目被写体トラッキング処理（図４のＳ１０５）でトラッキングされている注目被写体における注視点が算出される。なお、ここで説明した注視点算出処理は、処理の一例であって、他の公知の技術を用いて、注視点が算出されるようにしてもよい。
【０１４４】
（視点補間処理）
次に、図１４を参照して、図４のステップＳ１０７の処理における視点補間処理の詳細な処理内容について説明する。
【０１４５】
この視点補間処理では、各カメラ装置２０から入力される入力画像フレームＦを用い、物理的に設置されたカメラ装置２０の間に、注目被写体に対する仮想的な視点が補間される。
【０１４６】
図１４のＡは、２次元をベースにした手法を用いた場合における視点の補間を説明する図である。図１４のＡにおいては、隣接して配置されるカメラ装置２０−１とカメラ装置２０−２から入力される、入力画像フレームＦ1（例えば入力画像フレームＦ11）と、入力画像フレームＦ2（例えば入力画像フレームＦ21）を用いた画像フレーム補間処理が行われている。これにより、カメラ装置２０−１とカメラ装置２０−２との間に仮想的に設置されるカメラ装置（図中のカメラ装置２０Ｖ−１２）のカメラ位置に対応した補間画像フレームＦ'を生成することができる。ただし、補間画像フレームＦ'は、１枚に限らず、複数の視点に対応した複数枚の補間画像フレームＦ'が生成されるようにしてもよい。
【０１４７】
なお、２次元をベースにした視点補間の方法については、例えば、「Steve Seitz， Chuck Dyer， “View Morphing”， SIGGRAPH 1996」などに具体的に記載されている。
【０１４８】
図１４のＢは、３次元をベースにした手法を用いた場合における視点の補間を説明する図である。図１４のＢにおいては、各カメラ装置２０から入力される入力画像フレームＦに基づいて、注目被写体の３次元モデルを生成することで、その注目被写体の３次元モデルを、任意の方向から見た場合の視点位置を作り出すことができる。これにより、例えば、隣接して配置されるカメラ装置２０−１とカメラ装置２０−２との間の視点を補間することができる。
【０１４９】
なお、３次元をベースにした視点補間の方法については、例えば、「Wojciech Matusik， Chris Buehler， Ramesh Raskar， Steven J. Gortler， Leonard McMillan"Image-Based Visual Hulls"， SIGGRAPH 2000」などに具体的に記載されている。
【０１５０】
以上のようにして、視点補間処理では、物理的に設置されたカメラ装置２０の間に、注目被写体に対する（仮想的な）視点が補間される。なお、ここで説明した視点補間処理は、処理の一例であって、他の公知技術を用いて、視点が補間されるようにしてもよい。また、この視点補間処理は、バレットタイム映像生成処理（図４）において、バレットタイム映像をより滑らかにするためのオプションの処理であって、処理を実行するかどうかは任意である。例えば、カメラ装置２０の設置上の制限があって、所望の位置にカメラ装置２０を設置できない場合には、この視点補間処理を行うことで、注目被写体に対する視点を増やすことができる。
【０１５１】
（カメラ姿勢補正処理）
次に、図１５を参照して、図４のステップＳ１０８の処理におけるカメラ姿勢補正処理の詳細な処理内容について説明する。
【０１５２】
このカメラ姿勢補正処理では、例えば、カメラ装置２０（の撮像光学系）の光軸Ｌの向きが、注目被写体（被写体２）の注視点から外れている場合には、カメラ装置２０（の撮像光学系）の光軸Ｌの向きが注目被写体（被写体２）の注視点の方向を向くように射影変換が行われることで、カメラ姿勢の補正が行われる。
【０１５３】
図１５において、図１５のＡと図１５のＢは、カメラ姿勢補正前とカメラ姿勢補正後における各カメラ装置２０のカメラ姿勢をそれぞれ模式的に表している。
【０１５４】
図１５のＡの上側の図においては、カメラ装置２０−１乃至２０−Ｎ（の撮像光学系）の光軸Ｌのうち、カメラ装置２０−１の光軸Ｌ１と、カメラ装置２０−Ｍの光軸ＬＭと、カメラ装置２０−Ｎの光軸ＬＮを代表して示しているが、それらのカメラ装置２０のカメラ姿勢（撮像の方向）が理想的な姿勢ではないため、各カメラ装置２０から伸びる矢印で表される光軸Ｌの向きが、注目被写体（被写体２）の注視点Ｐから外れている。なお、図１５のＡの下側の図には、各カメラ装置２０の光軸Ｌの向きが、注目被写体（被写体２）の注視点Ｐから外れている様子を拡大して表している。
【０１５５】
カメラ姿勢補正処理は、図１５のＡに示したような、カメラ装置２０のカメラ姿勢が理想的な姿勢ではない場合に撮像された入力画像フレームＦが、カメラ姿勢が理想的な姿勢であった場合に撮像された入力画像フレームＦとなるように、カメラ姿勢の補正が行われる。すなわち、図１５のＢの上側の図に示すように、カメラ姿勢の補正が施された入力画像フレームＦは、カメラ装置２０−１の光軸Ｌ１の向きと、カメラ装置２０−Ｍの光軸ＬＭの向きと、カメラ装置２０−Ｎの光軸ＬＮの向きが、注目被写体（被写体２）の注視点Ｐの方向を向いている状態で撮像されたものとされる。なお、図１５のＢの下側の図には、各カメラ装置２０の光軸Ｌの向きが、注目被写体（被写体２）の注視点Ｐの方向に向けられた様子を拡大して表している。
【０１５６】
このように、カメラ姿勢補正処理では、注目被写体が（激しく）動く場合でも、注視点算出処理（図４のＳ１０６）によって、注目被写体の注視点Ｐの位置が、常に正しい位置に更新されているため、画像処理によって、この注視点Ｐを基準に、各カメラ装置２０のカメラ姿勢を理想的な姿勢に補正することができる。
【０１５７】
以上のようにして、カメラ姿勢補正処理では、カメラ姿勢が理想的な姿勢となる場合に生成された入力画像フレームＦとなるように、カメラ姿勢が補正される。なお、ここで説明したカメラ姿勢補正処理は、処理の一例であって、他の公知技術を用いてカメラ姿勢が補正されるようにしてもよい。
【０１５８】
（スケール補正処理）
次に、図１６を参照して、図４のステップＳ１０９の処理におけるスケール補正処理の詳細な処理内容について説明する。
【０１５９】
このスケール補正処理では、例えば、カメラ装置２０のカメラ位置が、理想的な位置から光軸方向に前後にずれている場合には、カメラ位置が理想的な位置となる場合に生成された入力画像フレームＦ（又は補間画像フレームＦ'）となるように、スケール補正が行われる。
【０１６０】
図１６において、図１６のＡと図１６のＢは、スケール補正前とスケール補正後における各カメラ装置２０のカメラ位置をそれぞれ模式的に表している。なお、図１６においては、点線Ｉが、理想的なカメラ位置を表している。
【０１６１】
図１６のＡにおいては、カメラ装置２０−１乃至２０−Ｎ（の撮像光学系）の光軸Ｌのうち、カメラ装置２０−１の光軸Ｌ１と、カメラ装置２０−２の光軸Ｌ２と、カメラ装置２０−３の光軸Ｌ３を代表して示している。ここで、カメラ装置２０−１とカメラ装置２０−３のカメラ位置は、注目被写体の注視点Ｐを基準としたとき、理想的な位置から光軸方向に向かって後方にずれている。また、カメラ装置２０−２のカメラ位置は、注視点Ｐを基準としたとき、理想的な位置から光軸方向に向かって前方にずれている。すなわち、カメラ装置２０−１乃至２０−３のカメラ位置は、理想的な位置になっていない。
【０１６２】
スケール補正処理は、図１６のＡに示したような、カメラ装置２０のカメラ位置が理想的な位置ではない場合に撮像された入力画像フレームＦが、カメラ位置が理想的な位置であった場合に撮像された入力画像Ｆとなるように、注目被写体の注視点Ｐまでの距離に応じて各入力画像フレームＦを拡大又は縮小することで、スケール補正が行われる。すなわち、図１６のＢに示すように、スケール補正が施された入力画像フレームＦは、カメラ装置２０−１乃至２０−３のカメラ位置が、理想的な位置となる場合に撮像されたものとされる。
【０１６３】
すなわち、ここでは、カメラ装置２０のカメラ位置が光軸方向に前後にずれて、理想的な位置ではない場合に、バレットタイム映像により視点移動を行うと、視点移動とともに注目被写体の大きさが変化してしまい不自然な映像となるので、カメラ姿勢補正後の入力画像フレームＦの拡大又は縮小を行うことで、注目被写体の注視点と各カメラ装置２０との距離が等距離となるように補正して、バレットタイム映像による視点移動が不自然な映像にならないようにしている。
【０１６４】
なお、図１６の例では、カメラ姿勢補正処理（図４のＳ１０８）によって、カメラ装置２０−１乃至２０−３のカメラ姿勢は理想的な姿勢となっているので、各カメラ装置２０の光軸Ｌは、注目被写体の注視点Ｐの方向を向いている。
【０１６５】
このように、スケール補正処理では、注目被写体が（激しく）動く場合でも、注視点算出処理（図４のＳ１０６）によって、注目被写体の注視点Ｐの位置が、常に正しい位置に更新されているため、画像処理によって、この注視点Ｐを基準に、各カメラ装置２０のカメラ位置を理想的な位置に補正することができる。
【０１６６】
以上のようにして、スケール補正処理では、カメラ位置が理想的な位置となる場合に生成された入力画像フレームＦとなるようにスケール補正が行われる。なお、ここで説明したスケール補正処理は、処理の一例であって、他の公知技術を用いてスケール補正が行われるようにしてもよい。
【０１６７】
以上、第１の実施の形態について説明した。
【０１６８】
＜２．第２の実施の形態＞
【０１６９】
ところで、上述したカメラ姿勢補正処理（図４のＳ１０８）では、注目被写体（の注視点）が動いた場合に、使用できない画像領域が存在する場合があり、このような使用できない画像領域をなくすことが望ましい。
【０１７０】
具体的には、画像処理（信号処理）によって仮想的にカメラ姿勢の補正が行われ、図１７に示すように、注目被写体の注視点Ｐの周囲に設置されたカメラ装置２０−１乃至２０−７が、図１７のＡのカメラ姿勢補正前の状態から、図１７のＢのカメラ姿勢補正後の状態になると、カメラ装置２０の設置位置にもよるが、図１７のＣに示すように、使用できない画像領域が出てくることがある。
【０１７１】
図１７のＣにおいては、カメラ姿勢補正前の状態を点線で表す一方で、カメラ姿勢補正後の状態を実線で表しているが、カメラ姿勢補正前とカメラ姿勢補正後では、光軸は、光軸Ｌ'から光軸Ｌに変化し、視野角は、視野角α'から視野角αに変化している。
【０１７２】
このとき、図１７のＣにおいて、領域Ａ１で表される視野角は、カメラ姿勢補正前の視野角α'の範囲内であるが、カメラ姿勢補正後の視野角αの範囲外となる。そのため、領域Ａ１の視野角に対応する画像データは、必要のない画像データとなり、破棄される。また、図１７のＣにおいて、領域Ａ２で表される視野角は、カメラ姿勢補正後の視野角αの範囲内であるが、カメラ姿勢補正前の視野角α'の範囲外となる。そのため、領域Ａ２の視野角に対応する画像データは、データとして存在していないことになる。このようにして、使用できない画像領域が存在することになる。
【０１７３】
そこで、第２の実施の形態では、各カメラ装置２０の光軸Ｌが、注目被写体（の注視点Ｐ）の方向を向くように、雲台３０を制御して、各カメラ装置２０のカメラ姿勢を、仮想的ではなく、現実に変更して、使用できない画像領域が生じないようにする。
【０１７４】
（映像処理システムの構成例）
図１８は、第２の実施の形態の映像処理システムの構成例を示す図である。
【０１７５】
図１８において、映像処理システム１は、映像処理装置１１、カメラ装置２０−１乃至２０−Ｎ、雲台３０−１乃至３０−Ｎ、及び、表示装置４０から構成される。すなわち、図１８の映像処理システム１においては、図１の映像処理システム１と比べて、映像処理装置１０の代わりに、映像処理装置１１が設けられ、映像処理装置１１が、雲台３０−１乃至３０−Ｎを制御する点が異なっている。
【０１７６】
映像処理装置１１は、所定のケーブルなどを介して雲台３０−１乃至３０−Ｎを制御することで、カメラ装置２０−１乃至２０−Ｎのカメラ位置又はカメラ姿勢を調整する。
【０１７７】
なお、図１８の映像処理装置１１において、雲台３０−１乃至３０−Ｎを制御する機能以外の機能については、基本的に、図１の映像処理装置１０が有する機能と同様であるため、それらの機能についての説明は省略する。
【０１７８】
（映像処理装置の構成例）
図１９は、図１８の映像処理装置１１の構成例を示す図である。
【０１７９】
図１９において、映像処理装置１１は、制御部１０１、入力部１０２、入力画像フレーム取得部１０３、前処理部１０４、映像処理部１０５、出力画像フレーム出力部１０６、雲台処理部１０７、及び、接続部１０８から構成される。
【０１８０】
図１９において、制御部１０１乃至出力画像フレーム出力部１０６は、基本的に、図３の制御部１０１乃至出力画像フレーム出力部１０６と同様に構成されるため、その説明は省略する。ただし、映像処理部１０５は、雲台３０を制御するための雲台制御情報として、例えば、注目被写体の注視点に関する情報（注視点の３次元位置）と、各カメラ装置２０のカメラ位置とカメラ姿勢に関する情報などを、雲台処理部１０７に供給する。
【０１８１】
雲台処理部１０７は、雲台３０の制御に関する処理を行う。雲台処理部１０７は、雲台制御部１３１及びカメラ位置姿勢算出部１３２から構成される。
【０１８２】
雲台制御部１３１は、映像処理部１０５から供給される雲台制御情報（例えば、注視点の３次元位置とカメラ姿勢等）に基づいて、カメラ装置２０−１乃至２０−Ｎのうち、撮像光学系の光軸Ｌの向きが、注目被写体（の注視点）の方向を向いていないカメラ装置２０を固定している雲台３０を制御して、当該カメラ装置２０の光軸の向きが、注目被写体（の注視点）の方向を向くように調整する。
【０１８３】
また、雲台制御部１３１は、映像処理部１０５から供給される雲台制御情報（例えば、注視点の３次元位置とカメラ位置等）に基づいて、カメラ装置２０−１乃至２０−Ｎのうち、カメラ位置が理想的な位置ではないカメラ装置２０を固定している雲台３０を制御して、当該カメラ装置２０のカメラ位置が、理想的な位置となるように調整する。
【０１８４】
カメラ位置姿勢算出部１３２は、カメラ位置又はカメラ姿勢が調整されたカメラ装置２０についての調整後のカメラ位置又はカメラ姿勢を算出し、映像処理部１０５に供給する。
【０１８５】
ここでは、例えば、雲台３０が有するギアやモータ等の駆動系に関する情報を取得して、その雲台３０に固定されているカメラ装置２０のカメラ姿勢の変位を算出するようにしてもよい。また、例えば、雲台３０に取り付けられた加速度センサやジャイロセンサ等により検出された検出値を取得し、その検出値から、その雲台に固定されているカメラ装置２０のカメラ姿勢を算出するようにしてもよい。
【０１８６】
また、カメラ位置又はカメラ姿勢の調整後のカメラ装置２０により撮像された入力画像フレームＦに対して、所定の画像処理を施すことで、調整後のカメラ位置又はカメラ姿勢を算出するようにしてもよい。例えば、カメラ位置姿勢算出部１１１がカメラ位置とカメラ姿勢を算出する際に、被写体の背景から特徴的な点（特徴点）を検出しておいて、その特徴点を利用して、調整後のカメラ装置２０により撮像された入力画像フレームＦからカメラ位置が推定されるようにしてもよい。
【０１８７】
（バレットタイム映像生成処理）
次に、図２０のフローチャートを参照して、図１９の映像処理装置１１により実行されるバレットタイム映像生成処理の流れについて説明する。
【０１８８】
ステップＳ２０１乃至Ｓ２０４においては、図４のステップＳ１０１乃至Ｓ１０４と同様に、各カメラ装置２０から取得された入力画像フレームＦに基づいて、各カメラ装置２０のカメラ位置とカメラ姿勢が算出され、自動設定モード又は手動設定モード等のモードに応じて、注目被写体が設定される。
【０１８９】
また、ステップＳ２０５乃至Ｓ２０９においては、図４のステップＳ１０５乃至Ｓ１０９と同様に、ステップＳ２０４の処理で設定された注目被写体のトラッキングが行われ、当該注目被写体の注視点が算出され、仮想的な視点が補間され、カメラ姿勢とスケールが補正される。なお、ステップＳ２０７の視点補間処理は、バレットタイム映像生成処理（図２０）において、バレットタイム映像をより滑らかにするためのオプションの処理であって、処理を実行するかどうかは任意である。
【０１９０】
ステップＳ２１０において、映像処理部１０５から供給される雲台制御情報に基づいて、雲台３０を制御して、カメラ装置２０−１乃至２０−Ｎのうち、所定のカメラ装置２０のカメラ位置又はカメラ姿勢を調整する。
【０１９１】
ここでは、例えば、雲台制御部１３１は、カメラ装置２０−１乃至２０−Ｎのうち、撮像光学系の光軸Ｌの向きが、注目被写体（の注視点）の方向を向いていないカメラ装置２０を固定している雲台３０を制御して、当該カメラ装置２０の光軸の向きが、注目被写体（の注視点）の方向を向くように調整する。これにより、例えば、図２１に示すように、図２１のＡの雲台３０の制御前には、注目被写体（の注視点）の方向を向いていなかった（雲台３０に固定された）カメラ装置２０の光軸Ｌの向きが、図２１のＢの雲台３０の制御後には、注目被写体（の注視点）の方向に向けられることになる。
【０１９２】
また、例えば、雲台制御部１３１は、カメラ装置２０−１乃至２０−Ｎのうち、カメラ位置が理想的な位置ではないカメラ装置２０を固定している雲台３０を制御して、当該カメラ装置２０のカメラ位置が、理想的な位置となるように調整する。
【０１９３】
ステップＳ２１１において、カメラ位置姿勢算出部１３２は、カメラ位置又はカメラ姿勢が調整されたカメラ装置２０についての調整後のカメラ位置又はカメラ姿勢を算出する。
【０１９４】
ステップＳ２１１の処理が終了すると、処理は、ステップＳ２１２に進められる。ステップＳ２１２においては、図４のステップＳ１１０と同様に、所定のタイミングで、出力画像フレームが出力される。そして、ステップＳ２１３乃至Ｓ２１４においては、図４のステップＳ１１１乃至Ｓ１１２と同様に、全ての入力画像フレームＦに対する処理が終了していないと判定された場合（Ｓ２１３の「No」）には、ステップＳ２０５乃至Ｓ２１４の処理（画像フレーム処理ループ）が繰り返される。
【０１９５】
この画像フレーム処理ループが繰り返されることで、入力画像フレームＦに含まれる注目被写体（被写体２）のトラッキングが行われ（Ｓ２０５）、注目被写体（被写体２）の注視点が更新される（Ｓ２０６）。これにより、注目被写体（被写体２）が動いた場合でも、当該注目被写体を追跡してその注視点を更新し続けることができる。
【０１９６】
また、注目被写体（被写体２）の視点が補間され（Ｓ２０７）、さらに、カメラ装置２０のカメラ姿勢とカメラ位置が理想的な状態で注目被写体（被写体２）を撮像したときの入力画像フレームＦ（又は補間画像フレームＦ'）となるように補正（画像処理）が行われる（Ｓ２０８，Ｓ２０９）ため、注目被写体（被写体２）を中心としたバレットタイム映像が、より滑らかに再生されるようにすることができる。
【０１９７】
さらに、雲台３０が制御されることで、カメラ装置２０のカメラ位置又はカメラ姿勢が調整され（Ｓ２１０）、その調整後のカメラ位置とカメラ姿勢が算出される（Ｓ２１１）。これにより、カメラ姿勢補正処理（Ｓ２０８）によって、使用できない画像領域が生じることがなく、例えば、バレットタイム映像の再生時に、画像の解像度が低くなったり、注目被写体の動作可能な範囲が狭くなったりすることを抑制することができる。すなわち、トラッキングの対象となっている被写体２を、雲台３０に固定されたカメラ装置２０で追従することができるため、より高解像度な映像を生成することができる。
【０１９８】
なお、カメラ装置２０のカメラ位置及びカメラ姿勢は、機械的（メカ的）に算出するほか、カメラ装置２０からの入力画像フレームＦに対して、例えばストラクチャフロムモーション（SFM）等を用いた処理を施すことで、各カメラ装置２０のカメラ位置とカメラ姿勢を算出するようにしてもよい。すなわち、機械的な手法で算出する場合には、誤差がのる可能性があるため、画像処理を用いることで、より正確に、カメラ位置とカメラ姿勢を求めることができる。
【０１９９】
そして、全ての入力画像フレームＦに対する処理が終了したと判定された場合（Ｓ２１３の「Yes」）、図２０のバレットタイム映像生成処理は終了される。
【０２００】
以上、第２の実施の形態のバレットタイム映像生成処理の流れについて説明した。この第２の実施の形態のバレットタイム映像生成処理では、常に、異なる複数の視点位置で生成された入力画像フレームＦに含まれる注目被写体のトラッキングが行われ、当該注目被写体の注視点Ｐが常時更新されるので、注目被写体が動く場合でも、注目被写体（の注視点Ｐ）を中心としたバレットタイム映像を提供することができる。また、雲台３０を制御して、カメラ装置２０のカメラ位置やカメラ姿勢を調整することで、トラッキングの対象となっている被写体２を、雲台３０に固定されたカメラ装置２０で追従することができるため、カメラ姿勢補正処理によって使用できない画像領域が生じることを抑制することができる。
【０２０１】
以上、第２の実施の形態について説明した。
【０２０２】
＜３．バレットタイム映像生成処理の初期条件の設定＞
【０２０３】
次に、上述した第１の実施の形態又は第２の実施の形態のバレットタイム映像生成処理の初期条件の設定方法について説明する。
【０２０４】
（バレットタイム映像生成処理の初期条件の設定画面）
図２２は、バレットタイム映像生成処理の初期条件の設定画面（ユーザインターフェース）の例を模式的に表した図である。
【０２０５】
図２２において、設定画面３００は、映像表示領域３０１、カメラ映像表示領域３０２、及び、操作領域３０３から構成される。
【０２０６】
映像表示領域３０１には、各カメラ装置２０により撮像された映像などの各種の映像が表示される。この例では、映像表示領域３０１に表示される映像に含まれる被写体が、注目被写体として設定されている。例えば、図１０及び図１１を参照して述べたように、注目被写体を指定するためのモードとしては、自動設定モード、手動設定モード、及び、自動＋手動設定モードがあるが、手動設定モード、又は、自動＋手動設定モードが設定されている場合には、ユーザによって、設定画面３００に対する所定の操作（例えば被写体を選択する操作）が行われることで、映像表示領域３０１の映像に含まれる被写体が、注目被写体に設定されることになる。
【０２０７】
また、上述したバレットタイム映像生成処理によって出力画像フレームが得られるが、バレットタイム映像の再生時には、この出力画像フレーム上の特定位置に、注目被写体が位置することになる。ここでは、例えば、設定画面３００に対する所定の操作に応じて、映像表示領域３０１に表示される、被写体（注目被写体）を含む映像上の任意位置を、特定位置として設定できるようにしてもよい。なお、この特定位置は、時系列（時刻ｔ１’，時刻ｔ２’，・・・）で出力される出力画像フレームごとに、更新されるようにしてもよい。
【０２０８】
カメラ映像表示領域３０２には、各カメラ装置２０で撮像された映像を表示するための表示領域が配置される。この例では、カメラ映像表示領域３０２は、３×５の表示領域から構成されているが、上段（１行目）の５個の表示領域には、左側から順に、カメラ装置２０−１からの入力画像フレームＦ1に対応する映像、カメラ装置２０−２からの入力画像フレームＦ2に対応する映像、カメラ装置２０−３からの入力画像フレームＦ3に対応する映像、カメラ装置２０−４からの入力画像フレームＦ4に対応する映像、カメラ装置２０−５からの入力画像フレームＦ5に対応する映像がそれぞれ表示される。
【０２０９】
同様にして、カメラ映像表示領域３０２において、中段（２行目）の５個の表示領域には、左側から順に、カメラ装置２０−６乃至２０−１０からの入力画像フレームＦ6乃至Ｆ10に対応する映像がそれぞれ表示され、下段（３行目）の５個の表示領域には、左側から順に、カメラ装置２０−１１乃至２０−１５からの入力画像フレームＦ11乃至Ｆ15に対応する映像がそれぞれ表示される。
【０２１０】
ここで、カメラ映像表示領域３０２において、視点移動開始設定枠３１１は、視点移動の開始位置に設定されていることを示す枠であって、この視点移動開始設定枠３１１により囲まれた表示領域に表示される映像を撮像しているカメラ装置２０が、視点移動の開始位置として設定されている。この例では、ユーザによって、設定画面３００に対する所定の操作が行われ、カメラ装置２０−１が視点移動の開始位置（視点位置情報）として設定されることになる。
【０２１１】
また、カメラ映像表示領域３０２において、視点移動終了設定枠３１２は、視点移動の終了位置に設定されていることを示す枠であって、この視点移動終了設定枠３１２により囲まれた表示領域に表示される映像を撮像しているカメラ装置２０が、視点移動の開始位置として設定されている。この例では、ユーザによって、設定画面３００に対する所定の操作が行われ、カメラ装置２０−１５が視点移動の終了位置（視点位置情報）として設定されることになる。
【０２１２】
すなわち、この例では、被写体２の周囲に配置されたカメラ装置２０−１乃至２０−１５のうち、カメラ装置２０−１が視点移動の開始位置に設定され、カメラ装置２０−１５が視点移動の終了位置に設定されている。設定画面３００によって、このような視点移動の開始位置と終了位置を、視点位置情報として設定した場合、カメラ装置２０−１乃至カメラ装置２０−１５から入力される入力画像フレームＦに対してバレットタイム映像生成処理（の画像フレーム処理ループの処理）が行われ、バレットタイム映像を再生するための出力画像フレームが得られることになる。
【０２１３】
なお、カメラ映像表示領域３０２において、映像表示枠３１３は、映像表示領域３０１に映像が表示されていることを示す枠である。
【０２１４】
また、入力画像フレームＦの時間的な範囲を限定せずに、各時刻ｔにおける入力画像フレームＦに対してバレットタイム映像生成処理が行われる場合には、入力画像フレームＦの時間的な範囲を示す時間情報（入力画像フレームＦの開始時刻と終了時刻）を設定する必要はないが（この場合、例えば、全時間範囲がデフォルトで設定される）、特定の時刻ｔ（時間帯）における入力画像フレームＦに対してのみバレットタイム映像生成処理を行う場合には、ユーザによって、設定画面３００に対する所定の操作が行われることで、時間情報が設定されることになる。
【０２１５】
以上のように、設定画面３００によって、バレットタイム映像生成処理の初期条件として、注目被写体、視点位置情報（視点移動の開始位置と終了位置）、及び、時間情報（入力画像フレームＦの開始時刻と終了時刻）を設定することができる。ただし、注目被写体を指定するためのモードとして、自動設定モードが設定されている場合には、初期条件として注目被写体を設定する必要はない。また、各時刻ｔにおける入力画像フレームＦに対してバレットタイム映像生成処理を行う場合には、初期条件として時間情報を設定する必要はない。例えば、この場合には、時間情報として、時刻ｔ１から時刻ｔＴなど、全時間範囲がデフォルトで設定される。
【０２１６】
なお、設定画面３００は、上述したように、基本的に、バレットタイム映像生成処理の初期条件を設定するためのユーザインターフェースであるが、全て（又は一部の複数）の入力画像フレームＦに対して、バレットタイム映像生成処理が施される場合において、それらの入力画像フレームＦの中から、バレットタイム映像の表示対象（記録対象）の入力画像フレームＦを選択する際に、入力画像フレームＦを再生するためのユーザインターフェースとして利用するようにしてもよい。
【０２１７】
このような再生用のユーザインターフェースとして、例えば、設定画面３００には、操作領域３０３が設けられている。操作領域３０３には、操作ボタン３２１及びタイムバー３２２が配置される。操作ボタン３２１は、再生ボタンや早送りボタン、巻き戻しボタンから構成され、各ボタンの操作内容に応じた処理が実行される。また、タイムバー３２２は、例えば再生中の時間や再生時間の長さなどが表示される。
【０２１８】
ここで、視点移動開始時刻マーク３３１は、タイムバー３２２により表される時間軸上で、視点移動が開始することを示すマークである。すなわち、この例では、ユーザによって、設定画面３００に対する操作が行われ、タイムバー３２２が示す再生時間において、視点移動開始時刻マーク３３１が配置された位置に対応する時刻に、視点移動が開始されるように設定されている。
【０２１９】
また、視点移動終了時刻マーク３３２は、タイムバー３２２により表される時間軸上で、視点移動が終了することを示すマークである。すなわち、この例では、ユーザによって、設定画面３００に対する操作が行われ、タイムバー３２２が示す再生時間において、視点移動終了時刻マーク３３２が配置された位置に対応する時刻に、視点移動が終了されるように設定されている。
【０２２０】
すなわち、この例では、設定画面３００によって、タイムバー３２２の再生時間が、視点移動開始時刻マーク３３１が示す時刻となったとき、カメラ装置２０−１から視点移動が開始し、視点移動終了時刻マーク３３２が示す時刻を経過するまでの間に、カメラ装置２０−２、・・・、カメラ装置２０−１４、カメラ装置２０−１５が順に選択され、各カメラ装置２０の切り替えに応じて視点位置が切り替わるようなバレットタイム映像が生成されるように、初期条件が設定されていることになる。これにより、注目被写体を中心にして視点位置が移動され、バレットタイム映像が再生されることになる。
【０２２１】
また、タイムバー３２２において、再生位置マーク３３３は、タイムバー３２２が示す再生時間において、現在の再生位置を示すマークである。
【０２２２】
（注目被写体と視点移動のパス）
図２３は、注目被写体と視点移動のパスとの関係示す図である。
【０２２３】
図２３においては、注目被写体が移動する道筋を表している注目被写体パスＬSと、視点が移動する道筋を表している視点移動パスＬCが、共に太線で表されている。この注目被写体パスＬSによって、注目被写体が、被写体移動開始位置ＳSから、被写体移動終了位置ＥSまでを、太線で表される道筋に沿って移動していることが表現されている。
【０２２４】
また、視点移動パスＬCによって、視点位置が、視点移動開始位置ＳCから、視点移動終了位置ＥCまでを、太線で表される道筋に沿って移動していることが表現されている。
【０２２５】
すなわち、図２３の例では、図２２と同様に、被写体２の周囲に、カメラ装置２０−１乃至２０−１５が設置されている場合に、視点移動の開始位置（視点移動開始位置ＳC）として、カメラ装置２０−１が設定され、視点移動の終了位置（視点移動終了位置ＥC）として、カメラ装置２０−１５が設定されている。
【０２２６】
そのため、カメラ装置２０−１、カメラ装置２０−２、・・・、カメラ装置２０−１４、カメラ装置２０−１５が順に選択され、各カメラ装置２０の切り替えに応じて視点位置が切り替わることで、視点が移動することになる。例えば、図２３の例では、各カメラ装置２０の光軸Ｌが交差する位置に、注目被写体としての被写体２（の注視点）が移動したときに、各カメラ装置２０を切り替えて、視点位置が切り替わるようにすることで、視点が移動し、被写体２（の注視点）を中心としたバレットタイム映像を再生することができる。
【０２２７】
なお、図２３において、注目被写体、視点移動開始位置ＳCや視点移動開始位置ＥCなどの設定は、設定画面３００（図２２）などのユーザインターフェースを、ユーザが操作することによって手動で変更することが可能である。このような３次元空間上のカメラワークやモーションパスを調整することは、３次元コンピュータグラフィックスソフトウェアとして広く知られているMaya（オートデスク社）などでも行われている（図２４）。
【０２２８】
（入力画像フレームと映像表示との関係）
次に、図２５乃至図２７を参照して、各カメラ装置２０から入力される入力画像フレームＦと、バレットタイム映像の表示との関係について説明する。なお、ここでは、設定画面３００（図２２）によって、視点移動の開始位置（視点移動開始位置ＳC）として、カメラ装置２０−１が設定され、視点移動の終了位置（視点移動終了位置ＥC）として、カメラ装置２０−１５が設定されている。
【０２２９】
図２５は、バレットタイム映像の再生を停止した場合における入力画像フレームＦとバレットタイム映像の表示との関係を示している。この場合、カメラ装置２０−１乃至２０−１５からの入力画像フレームＦ1T乃至Ｆ15Tのうち、いずれかの入力画像フレームＦを処理することで得られる、出力画像フレームに応じた映像４０１が、表示装置４０に表示されることになる。
【０２３０】
図２６は、バレットタイム映像を再生している場合における入力画像フレームＦとバレットタイム映像の表示との関係を示している。この場合、カメラ装置２０−１乃至２０−１５からの入力画像フレームＦ1T乃至Ｆ15Tが順次処理され、入力画像フレームＦ1T乃至Ｆ15Tを処理することで得られる、出力画像フレームに応じた視点位置が異なる映像４０２が、表示装置４０に順次表示されることになる。
【０２３１】
図２７は、バレットタイム映像の生成時に、視点補間を行った場合における入力画像フレームＦとバレットタイム映像の表示との関係を示している。この場合、カメラ装置２０−１乃至２０−１５からの入力画像フレームＦ1T乃至Ｆ15Tが順次処理され、入力画像フレームＦ1T乃至Ｆ15Tとその補間画像フレームＦ'を処理することで得られる、出力画像フレームに応じた視点位置が異なる映像４０３が、表示装置４０に順次表示されることになる。
【０２３２】
＜４．バレットタイム映像再生＞
【０２３３】
次に、上述した第１の実施の形態又は第２の実施の形態のバレットタイム映像生成処理により生成されたバレットタイム映像の再生方法について説明する。
【０２３４】
ところで、本技術では、注目被写体をトラッキングして、当該注目被写体の注視点を更新しているため、あらゆるタイミングにおいて、注目被写体の注視点を中心としたバレットタイム映像を生成して再生することができる。そのため、例えば、通常の映像である通常映像を再生している途中で、バレットタイム映像の再生に切り替える場合や、バレットタイム映像の再生が終了したときに、通常映像の再生に切り替える場合など、通常映像とバレットタイム映像とが、所定のタイミングで切り替わる場合にも対応することができる。そこで、ここでは、バレットタイム映像の再生方法の一例として、図２８乃至図３０を参照して、通常映像とバレットタイム映像とが、所定のタイミングで切り替わる場合に対応した構成について説明する。
【０２３５】
（映像再生時の映像処理装置の構成例）
図２８は、映像再生時の映像処理装置１０の構成例を示す図である。
【０２３６】
図２８において、映像処理装置１０は、制御部１０１、入力部１０２、入力画像フレーム取得部１０３、再生処理部１５１、映像切り替え部１５２、及び、表示制御部１５３から構成される。
【０２３７】
図２８において、制御部１０１乃至入力画像フレーム取得部１０３は、基本的に、図３の制御部１０１乃至入力画像フレーム取得部１０３と同様に構成されるため、その説明は省略する。
【０２３８】
再生処理部１５１は、映像の再生に関する処理を行う。再生処理部１５１は、通常映像処理部１６１及びバレットタイム映像処理部１６２から構成される。通常映像処理部１６１は、入力画像フレーム取得部１０３から供給される入力画像フレームＦを処理して、通常映像に対応した映像データを、映像切り替え部１５２に供給する。
【０２３９】
バレットタイム映像処理部１６２は、映像処理装置１０（図３）又は映像処理装置１１（図１９）における全ての機能又は一部の機能を有している。バレットタイム映像処理部１６２は、入力画像フレーム取得部１０３から供給される入力画像フレームＦを処理して、バレットタイム映像に対応した映像データを、映像切り替え部１５２に供給する。
【０２４０】
映像切り替え部１５２には、通常映像処理部１６１からの通常映像に対応した映像データと、バレットタイム映像処理部１６２からのバレットタイム映像に対応した映像データが供給される。映像切り替え部１５２は、通常映像処理部１６１からの映像データ、又はバレットタイム映像処理部１６２からの映像データを、表示制御部１５３に供給する。
【０２４１】
表示制御部１５３は、映像切り替え部１５２から供給される映像データに応じて、通常映像又はバレットタイム映像を、表示装置４０に表示させる。
【０２４２】
（映像再生処理）
次に、図２９のフローチャートを参照して、図２８の映像処理装置１０により実行される、映像再生処理の流れについて説明する。
【０２４３】
ステップＳ３０１において、設定情報取得部１１０は、例えばユーザによる入力部１０２に対する操作に応じて、バレットタイム映像の再生開始位置と再生終了位置を決定するための設定情報を取得する。ここでは、例えば、ユーザにより設定されたバレットタイム映像の再生に関する各種の設定情報や、バレットタイム映像生成処理で用いられた設定情報（視点位置情報と時間情報）などの、バレットタイム映像の再生開始位置と再生終了位置を決定可能な情報が取得される。そして、これらの設定情報に応じて、バレットタイム映像の再生開始位置と再生終了位置が決定されることになる。
【０２４４】
ステップＳ３０２において、制御部１０１は、ステップＳ３０１の処理で得られるバレットタイム映像の再生開始位置に基づいて、バレットタイム映像の再生を開始するかどうかを判定する。
【０２４５】
ステップＳ３０２において、バレットタイム映像の再生を開始しないと判定された場合、処理は、ステップＳ３０３に進められる。ステップＳ３０３乃至Ｓ３０５においては、通常映像を再生するための処理が行われる。
【０２４６】
具体的には、ステップＳ３０３において、入力画像フレーム取得部１０３は、各カメラ装置２０から入力される入力画像フレームＦを取得する。また、ステップＳ３０４において、通常映像処理部１６１は、ステップＳ３０３の処理で取得された入力画像フレームＦに対して、通常映像処理を行う。そして、ステップＳ３０５において、表示制御部１５３は、ステップＳ３０４の処理結果に基づいて、通常映像を、表示装置４０に表示させる。
【０２４７】
ステップＳ３０３乃至Ｓ３０５の処理が終了すると、処理は、ステップＳ３１０に進められる。
【０２４８】
一方、ステップＳ３０２において、バレットタイム映像の再生を開始すると判定された場合、処理は、ステップＳ３０６に進められる。ステップＳ３０６乃至Ｓ３０８においては、バレットタイム映像を再生するための処理が行われる。
【０２４９】
具体的には、ステップＳ３０６において、入力画像フレーム取得部１０３は、各カメラ装置２０から入力される入力画像フレームＦを取得する。また、ステップＳ３０７において、バレットタイム映像処理部１６２は、ステップＳ３０６の処理で取得された入力画像フレームＦに対して、バレットタイム映像処理を行う。そして、ステップＳ３０８において、表示制御部１５３は、ステップＳ３０７の処理結果に基づいて、バレットタイム映像を、表示装置４０に表示させる。
【０２５０】
ステップＳ３０６乃至Ｓ３０８の処理が終了すると、処理は、ステップＳ３０９に進められる。ステップＳ３０９において、制御部１０１は、ステップＳ３０１の処理で得られるバレットタイム映像の再生終了位置に基づいて、バレットタイム映像の再生を終了するかどうかを判定する。
【０２５１】
ステップＳ３０９において、バレットタイム映像の再生を終了しない、すなわち、バレットタイム映像の再生を継続すると判定された場合、処理は、ステップＳ３０６に戻り、上述したバレットタイム映像を再生するための処理（Ｓ３０６乃至Ｓ３０８）が繰り返される。これにより、例えば、画像フレーム開始位置から、画像フレーム終了位置までの間は、注目被写体（の注視点）を中心としたバレットタイム映像の再生が継続されることになる。
【０２５２】
そして、ステップＳ３０９において、バレットタイム映像の再生を終了すると判定された場合、処理はステップＳ３１０に進められる。
【０２５３】
ステップＳ３１０においては、映像の再生を終了するかどうかが判定される。ステップＳ３１０において、映像の再生を終了しない、すなわち、映像の再生を継続すると判定された場合、処理は、ステップＳ３０２に戻り、それ以降の処理が繰り返される。すなわち、例えば、画像フレーム開始位置から、画像フレーム終了位置までの間は、バレットタイム映像が再生されるが、それ以外の期間においては、通常映像が再生されることになる。
【０２５４】
ステップＳ３１０において、映像の再生を終了すると判定された場合、図２９の映像再生処理は終了される。
【０２５５】
以上、映像再生処理の流れについて説明した。
【０２５６】
ここで、例えば、図３０には、通常映像とバレットタイム映像の再生が切り替えられる場合の表示例を示している。ただし、図３０の例では、バスケットボールの選手がシュートを決めるシーンの映像が再生されており、このバスケットボール選手が、注目被写体に設定されている。
【０２５７】
図３０において、３×５の表示領域のうち、上段の５個の表示領域には、左側から右側に向かって通常映像が再生されている。この例では、バスケットボールの選手が、ドリブルからシュートにいくまでの動作が、通常映像で再生される。
【０２５８】
上段に続く中段の５個の表示領域（枠４５１で囲まれた表示領域）には、ダンクシュートの体勢をとっているバスケットボール選手（の注視点）を中心としたバレットタイム映像が再生されている。すなわち、ここでは、中段の最も左側の入力画像フレームが、バレットタイム映像の再生開始位置に設定され、中段の最も右側の入力画像フレームが、バレットタイム映像の再生終了位置に設定されていることになる。
【０２５９】
また、中段に続く下段の５個の表示領域には、左側から右側に向かって通常映像が再生されている。この例では、バスケットボールの選手が、ダンクシュートを決めた後に、コートに着地するまでの動作が、通常映像で再生される。
【０２６０】
このように、バスケットボールなどのスポーツでは、選手が激しく動くため、各選手がどのタイミングでどのような動きをするかを予測することは困難であるが、本技術では、注目被写体をトラッキングして、注目被写体の注視点を更新しているため、あらゆるタイミングにおいて、注目被写体の注視点を中心としたバレットタイム映像を生成して再生することができる。換言すれば、バレットタイム映像を再生するために出力される出力画像フレームは、時間情報が示す時間的な範囲内において、視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するときに、注目被写体が、出力画像フレーム上の特定位置に位置するように、入力画像フレームが処理されたものであるので、あらゆるタイミングにおいて、注目被写体（の注視点）を中心としたバレットタイム映像を再生することができる。
【０２６１】
具体的には、図３０においては、注目被写体に設定されたバスケットボールの選手が、ダンクシュートを決めるシーンのバレットタイム映像が再生される場合を例示したが、例えば、上段の通常映像で再生されている、バスケットボールの選手がドリブルを行っているシーンについて、バレットタイム映像の再生開始位置と再生終了位置を設定しさえすれば、ドリブルをしているバスケットボールの選手（の注視点）を中心としたバレットタイム映像を再生することが、容易に可能である。
【０２６２】
＜５．変形例＞
【０２６３】
（映像処理システムの他の構成例）
映像処理システム１は、図１又は図１８に示した構成に限らず、他の構成を採用することができる。そこで、図３１乃至図３３を参照して、映像処理システム１の他の構成について説明する。
【０２６４】
（他の構成例１）
図３１の映像処理システム１Ａにおいては、各カメラ装置２０とその雲台３０ごとに、映像処理装置１２−１乃至１２−Ｎ（Ｎは１以上の整数）が設置され、さらに、映像処理装置１２−１乃至１２−Ｎを統合するための統合映像処理装置１３が設置されている。
【０２６５】
映像処理装置１２−１は、カメラ装置２０−１から入力される入力画像フレームＦ1に関する処理を行う。また、映像処理装置１２−１は、例えば統合映像処理装置１３からの制御に従い、カメラ装置２０−１を固定する雲台３０−１の制御を行う。映像処理装置１２−２乃至１２−Ｎは、映像処理装置１２−１と同様に、対応するカメラ装置２０から入力される入力画像フレームＦに関する処理を行う。また、映像処理装置１２−２乃至１２−Ｎは、映像処理装置１２−１と同様に、対応する雲台３０の制御を行う。
【０２６６】
統合映像処理装置１３は、映像処理装置１２−１乃至１２−Ｎにより処理された入力画像フレームＦ1乃至ＦNに関する処理を行う。また、統合映像処理装置１３は、雲台３０−１乃至３０−Ｎに関する処理を行う。
【０２６７】
このように、映像処理システム１Ａにおいては、カメラ装置２０と雲台３０ごとに、映像処理装置１２を設けて、それらの映像処理装置１２を統合映像処理装置１３により統合することで、処理の負荷を分散することができる。なお、映像処理装置１２−１乃至１２−Ｎと、統合映像処理装置１３は、映像処理装置１０（図３）又は映像処理装置１１（図１９）における全ての機能又は一部の機能を有している。
【０２６８】
（他の構成例２）
図３２の映像処理システム１Ｂにおいては、インターネット等のネットワーク７０上に、映像処理サーバ５０が設置され、さらに、このネットワーク７０には、情報端末装置６０が接続されている。なお、情報端末装置６０は、例えば、携帯電話機やスマートフォン、タブレット端末装置などの通信機能を有する電子機器である。
【０２６９】
カメラ装置２０−１乃至２０−Ｎは、通信機能を有し、ネットワーク７０を介して、入力画像フレームＦ1乃至ＦNを、映像処理サーバ５０に送信する。
【０２７０】
映像処理サーバ５０は、ネットワーク７０を介して、カメラ装置２０−１乃至２０−Ｎから送信されてくる入力画像フレームＦ1乃至ＦNを受信する。映像処理サーバ５０は、映像処理装置１０（図３）又は映像処理装置１１（図１９）における全ての機能を有し、入力画像フレームＦ1乃至ＦNを処理して、出力画像フレームを生成する。
【０２７１】
また、映像処理サーバ５０は、ネットワーク７０を介して、情報端末装置６０からのバレットタイム映像の配信要求を受信した場合、出力画像フレームから得られるバレットタイム映像のストリームを、ネットワーク７０を介して、情報端末装置６０に配信する。これにより、情報端末装置６０では、映像処理サーバ５０から配信されるバレットタイム映像のストリームが受信され、バレットタイム映像が再生されることになる。
【０２７２】
（他の構成例３）
図３３の映像処理システム１Ｃにおいては、カメラ装置２０により生成された入力画像フレームＦ、又は映像処理装置１０により処理された出力画像フレームを記録する記録装置８０が設置されている。なお、映像処理システム１Ｃにおいて、例えば、映像処理装置１０と、Ｎ台のカメラ装置２０と、記録装置８０とは、それぞれ通信機能を有しており、有線通信又は無線通信により各種のデータをやりとりすることが可能である。
【０２７３】
カメラ装置２０−１乃至２０−Ｎのそれぞれは、画像フレーム（入力画像フレームＦ1乃至ＦN）を、記録装置８０に送信する。記録装置８０は、カメラ装置２０−１乃至２０−Ｎから送信されてくる画像フレーム（入力画像フレームＦ1乃至ＦN）を受信して記録する。
【０２７４】
映像処理装置１０は、映像処理装置１０（図３）又は映像処理装置１１（図１９）における全ての機能を有している。映像処理装置１０は、所定のタイミングで、記録装置８０に記録されている入力画像フレームＦ1乃至ＦNを読み出して、読み出された入力画像フレームＦ1乃至ＦNを処理することで、出力画像フレームを生成する。
【０２７５】
映像処理装置１０は、生成された出力画像フレームに基づいて、バレットタイム映像を再生して、表示装置４０に表示させることができる。また、映像処理装置１０は、生成された出力画像フレームのデータを記録装置８０に記録しておくことで、所定のタイミングで、記録装置８０から出力画像フレームのデータを読み出して、バレットタイム映像を再生し、表示装置４０に表示させることができる。このように、映像処理装置１０は、各カメラ装置２０から供給される入力画像フレームＦをリアルタイムで処理するだけでなく、例えば、処理対象の入力画像フレームＦが全て揃ってから、非リアルタイムで処理することもできる。
【０２７６】
＜６．コンピュータの構成＞
【０２７７】
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示す図である。
【０２７８】
コンピュータ９００において、CPU(Central Processing Unit)９０１，ROM(Read Only Memory)９０２，RAM(Random Access Memory)９０３は、バス９０４により相互に接続されている。バス９０４には、さらに、入出力インターフェース９０５が接続されている。入出力インターフェース９０５には、入力部９０６、出力部９０７、記録部９０８、通信部９０９、及び、ドライブ９１０が接続されている。
【０２７９】
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記録部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインターフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記憶媒体９１１を駆動する。
【０２８０】
以上のように構成されるコンピュータ９００では、CPU９０１が、ROM９０２や記録部９０８に記録されているプログラムを、入出力インターフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０２８１】
コンピュータ９００(CPU９０１)が実行するプログラムは、例えば、パッケージ記憶媒体等としてのリムーバブル記憶媒体９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
【０２８２】
コンピュータ９００では、プログラムは、リムーバブル記憶媒体９１１をドライブ９１０に装着することにより、入出力インターフェース９０５を介して、記録部９０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部９０９で受信し、記録部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記録部９０８に、あらかじめインストールしておくことができる。
【０２８３】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。また、プログラムは、１のコンピュータ(プロセッサ)により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
【０２８４】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、上述した複数の実施の形態の全て又は一部を組み合わせた形態を採用することができる。
【０２８５】
また、本技術は、以下のような構成をとることができる。
【０２８６】
（１）
異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得する第１の取得部と、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する処理部と
を備える映像処理装置。
（２）
前記視点位置情報は、前記注目被写体に対する視点位置の移動の開始位置と終了位置を示す情報であり、
前記時間情報は、前記入力画像フレームが撮像された前記時系列における開始時刻と終了時刻を示す情報である
（１）に記載の映像処理装置。
（３）
前記処理部は、前記入力画像フレームごとに、前記注目被写体における注目している位置である注目位置を更新する
（２）に記載の映像処理装置。
（４）
前記処理部は、
設定された前記注目被写体をトラッキングし、
トラッキングされている前記注目被写体における注目位置を算出する
（３）に記載の映像処理装置。
（５）
前記処理部は、前記入力画像フレームに含まれる被写体を撮像した撮像装置の撮像光学系の光軸の向きが、前記注目被写体から外れている場合に、前記光軸の向きが、前記注目被写体の方向を向くように、前記入力画像フレームを補正する
（４）に記載の映像処理装置。
（６）
前記処理部は、前記撮像装置の撮像位置が、光軸に対して理想的な位置からずれている場合に、前記撮像位置が理想的な位置で、前記注目被写体が撮像されたときと等価になるように、前記入力画像フレームを補正する
（４）又は（５）に記載の映像処理装置。
（７）
前記撮像装置の撮像光学系の光軸の向きが、前記注目被写体の方向を向くように、前記撮像装置を任意の方向に向けて固定するための固定装置を制御する制御部をさらに備える
（５）又は（６）に記載の映像処理装置。
（８）
前記制御部は、前記撮像装置の撮像位置が、光軸に対して理想的な位置となるように、前記固定装置を制御する
（７）に記載の映像処理装置。
（９）
前記処理部は、前記撮像装置の撮像位置に応じた視点位置に対して、仮想的な視点位置を補間する
（５）乃至（８）のいずれかに記載の映像処理装置。
（１０）
前記注目被写体を設定する設定部をさらに備える
（１）乃至（９）のいずれかに記載の映像処理装置。
（１１）
前記処理部が処理した前記入力画像フレームに基づいて、前記出力画像フレームを出力する出力部をさらに備える
（１）乃至（１０）のいずれかに記載の映像処理装置。
（１２）
前記出力部は、前記出力画像フレームを、表示装置に出力する
（１１）に記載の映像処理装置。
（１３）
前記出力部は、前記出力画像フレームを、記録装置に出力する
（１１）に記載の映像処理装置。
（１４）
前記注目被写体が、前記出力画像フレーム上の特定位置に位置するように、前記注目被写体の視点移動の表示を制御する表示制御部をさらに備える
（１）乃至（１０）のいずれかに記載の映像処理装置。
（１５）
前記入力画像フレームを取得する第２の取得部をさらに備える
（１）乃至（１４）のいずれかに記載の映像処理装置。
（１６）
異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得し、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する
ステップを含む映像処理方法。
（１７）
コンピュータを、
異なる複数の視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得する第１の取得部と、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する処理部と
して機能させるためのプログラム。
（１８）
異なる複数の視点位置に設置された複数の撮像装置と、映像処理装置から構成される映像処理システムにおいて、
前記撮像装置は、
被写体を撮像する撮像部を備え、
前記映像処理装置は、
前記撮像装置によって異なる視点位置において時系列で撮像された被写体を含む入力画像フレームに含まれる注目被写体に対する視点位置の移動の範囲を示す視点位置情報、及び、前記入力画像フレームが撮像された前記時系列のうちの時間的な範囲を示す時間情報を取得する取得部と、
前記時間情報が示す時間的な範囲内において、前記視点位置情報が示す視点位置の移動の範囲で、視点位置を移動するとき、前記注目被写体が、出力画像フレーム上の特定位置に位置するように、前記入力画像フレームを処理する処理部と
を備える
映像処理システム。
【符号の説明】
【０２８７】
１，１Ａ，１Ｂ，１Ｃ  映像処理システム，  １０，１１，１２  映像処理装置，  １３  統合映像処理装置，  ２０，２０−１乃至２０−Ｎ  カメラ装置，  ３０，３０−１乃至３０−Ｎ  雲台，  ４０  表示装置，  ５０  映像処理サーバ，  ６０  情報端末装置，  ７０  ネットワーク，  ８０  記録装置，  １０１  制御部，  １０２  入力部，  １０３  入力画像フレーム取得部，  １０４  前処理部，  １０５  映像処理部，  １０６  出力画像フレーム出力部，  １０７  雲台処理部，  １０８  接続部，  １１０  設定情報取得部，  １１１  カメラ位置姿勢算出部，  １１２  注目被写体設定部，  １２１  注目被写体トラッキング部，  １２２  注視点算出部，  １２３  視点補間部，  １２４  カメラ姿勢補正部，  １２５  スケール補正部，  １３１  雲台制御部，  １３２  カメラ位置姿勢算出部，  １５１  再生処理部，  １５２  映像切り替え部，  １５３  表示制御部，  １６１  通常映像処理部，  １６２  バレットタイム映像処理部，  ９００  コンピュータ，  ９０１  CPU
【図１】
2017038541.tif 000003
【図２】
2017038541.tif 000004
【図３】
2017038541.tif 000005
【図４】
2017038541.tif 000006
【図５】
2017038541.tif 000007
【図６】
2017038541.tif 000008
【図７】
2017038541.tif 000009
【図８】
2017038541.tif 000010
【図９】
2017038541.tif 000011
【図１０】
2017038541.tif 000012
【図１１】
2017038541.tif 000013
【図１２】
2017038541.tif 000014
【図１３】
2017038541.tif 000015
【図１４】
2017038541.tif 000016
【図１５】
2017038541.tif 000017
【図１６】
2017038541.tif 000018
【図１７】
2017038541.tif 000019
【図１８】
2017038541.tif 000020
【図１９】
2017038541.tif 000021
【図２０】
2017038541.tif 000022
【図２１】
2017038541.tif 000023
【図２２】
2017038541.tif 000024
【図２３】
2017038541.tif 000025
【図２４】
2017038541.tif 000026
【図２５】
2017038541.tif 000027
【図２６】
2017038541.tif 000028
【図２７】
2017038541.tif 000029
【図２８】
2017038541.tif 000030
【図２９】
2017038541.tif 000031
【図３０】
2017038541.tif 000032
【図３１】
2017038541.tif 000033
【図３２】
2017038541.tif 000034
【図３３】
2017038541.tif 000035
【図３４】
2017038541.tif 000036
【国際調査報告】
2017038541.tif 000037
2017038541.tif 000038