(57)【要約】【課題】仮想カメラの経路設定において、生成される仮想視点映像の予想される画質をユーザが事前に把握できるようにする。【解決手段】複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、前記複数視点画像を取得する取得手段と、前記仮想視点画像に対応する仮想カメラのパラメータに関するユーザ設定を受け付けるＧＵＩと、設定された前記パラメータに基づき、前記複数視点画像を用いて前記仮想視点画像を生成する生成手段と、を備え、前記ＧＵＩには、前記ユーザ設定を補助するための前記仮想視点画像の画質に関する情報が表示されることを特徴とする。【選択図】図３
2019145894.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、
前記複数視点画像を取得する取得手段と、
前記仮想視点画像に対応する仮想カメラのパラメータをユーザが設定するためのＧＵＩと、
設定された前記パラメータに基づき、前記複数視点画像を用いて前記仮想視点画像を生成する生成手段と、
を備え、
前記ＧＵＩには、前記仮想視点画像の画質に関する情報が表示される
ことを特徴とする画像処理装置。
【請求項２】
前記画質に関する情報は、生成される仮想視点画像についての、予め定められた画質レベルに応じて生成されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ＧＵＩは、生成される仮想視点画像についての画質レベルの指定をさらに受け付け、
前記画質に関する情報は、前記指定された画質レベルに応じて生成される
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画質レベルの指定は、解像度レベルの指定であり、
前記画質に関する情報は、指定された解像度レベルを満足する仮想視点画像が得られる、前記仮想カメラの位置の範囲を示す情報であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記ＧＵＩは、前記解像度レベルの指定を受け付ける場合、前記複数のカメラのうち、同一オブジェクトが同一サイズに撮像されるように調整されたカメラ群の単位で導出された代表解像度の情報を表示する、ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記ＧＵＩは、前記解像度レベルの指定を受け付ける場合、少なくとも２以上の異なる解像度にそれぞれ対応付けられた複数の画像サンプルを表示する、ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記ＧＵＩは、設定された前記仮想カメラの移動速度と前記複数視点画像における注目するオブジェクトとの相対速度が所定の速度を超える場合、ユーザに対し、前記仮想カメラの移動速度を調整するよう促す表示を行うことを特徴とする請求項１乃至６のいずれか１項  に記載の画像処理装置。
【請求項８】
前記画質レベルの指定は、色差レベルの指定であり、
前記画質に関する情報は、指定された色差レベルを満足する仮想視点画像が得られる、前記仮想カメラの位置の範囲を示す情報である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記生成手段は、前記複数のカメラのうち、指定された色差レベルを満たすカメラで撮影された複数視点画像を用いて前記仮想視点画像を生成する、ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画質の指定は、ノイズレベルを表すＳＮ比の指定であり、
前記画質に関する情報は、指定されたＳＮ比を満足する仮想視点画像が得られる、前記仮想カメラの位置の範囲を示す情報である
ことを特徴とする請求項３に記載の画像処理装置。
【請求項１１】
前記生成手段は、前記複数のカメラのうち、指定されたＳＮ比を満たすカメラで撮影された複数視点画像を用いて前記仮想視点画像を生成する、ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記ＧＵＩは、前記パラメータに基づき生成される前記仮想視点画像の画質が、指定された前記画質レベルより劣る場合に、警告表示を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理方法であって、
前記複数視点画像を取得するステップと、
前記仮想視点画像の画質に関する情報が表示されたＧＵＩを介して、前記仮想視点画像に対応する仮想カメラのパラメータの設定を受け付けるステップと、
設定された前記パラメータに基づき、前記複数視点画像を用いて前記仮想視点画像を生成するステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想視点映像生成時における仮想カメラの経路を設定する技術に関する。
【背景技術】
【０００２】
複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点映像生成技術がある。仮想視点映像生成技術は、スポーツ放送等において、より臨場感の高い映像表現として期待されているが、どのような視点からでも高画質の画像が得られるというわけではなく、その原理上の制約が存在する。例えば、実カメラで撮影された複数視点映像間の死角によって、仮想カメラからの映像を再現できない領域が存在する。また、オブジェクトから一定の距離よりも近い位置に仮想カメラを設定した場合には、実カメラによる撮影画像を拡大して描画することになるので、オブジェクトの解像度合いが低下したボケた映像となる。これらを考慮せずに仮想カメラの経路（時間軸に沿った仮想カメラの位置移動）を設定すると、得られる仮想視点映像は低画質なものになってしまう。そのため、出来上がった仮想視点映像をプレビュー画面等で確認し、満足のいく画像でなければ、仮想カメラの経路設定をやり直すことになる。
【０００３】
この点、特許文献１には、実カメラで撮影した複数視点映像間の死角の情報を2Dマップ上に可視化してユーザに提示し、実際に仮想視点映像を生成せずとも、事前に死角がどこにあるのかをユーザが確認できるようにする技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１７２１６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の手法では、ユーザが事前に確認可能なのは死角情報のみで、生成される仮想視点映像の画質がどのようになるのかまでは事前に確認することはできなかった。そこで本発明では、仮想カメラの経路設定の時点で、仮想視点映像の予想される画質をユーザが事前に把握できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、前記複数視点画像を取得する取得手段と、前記仮想視点画像に対応する仮想カメラのパラメータをユーザが設定するためのＧＵＩと、設定された前記パラメータに基づき、前記複数視点画像を用いて前記仮想視点画像を生成する生成手段と、を備え、前記ＧＵＩには、前記仮想視点画像の画質に関する情報が表示されることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、ユーザは、仮想カメラの経路設定時において、生成される仮想視点映像の画質を把握することができる。
【図面の簡単な説明】
【０００８】
【図１】仮想視点映像システムの構成の一例を示す図
【図２】（ａ）は２種類のカメラ群からなる撮像システムにおけるカメラ配置の一例を示した図、（ｂ）はズームカメラの撮影領域を示す図、（ｃ）は広角カメラの撮影領域を示す図
【図３】画像処理装置の論理構成の一例を示す図
【図４】仮想視点映像が生成されるまでの全体の流れを示したフローチャート
【図５】画質設定処理の詳細を示すフローチャート
【図６】カメラの設置位置の一例を示す図
【図７】カメラとその撮影範囲の幾何条件を示す図
【図８】（ａ）及び（ｂ）は、画質パラメータ設定用のＵＩ画面の一例を示す図
【図９】（ａ）は画像サンプルの説明図、（ｂ）は画像サンプルを利用した画質パラメータ設定用のＵＩ画面の一例を示す図
【図１０】（ａ）は実施形態１に係る仮想カメラ設定処理の流れを示すフローチャート、（ｂ）は仮想カメラパラメータ設定用のＧＵＩの表示処理の詳細を示すフローチャート
【図１１】仮想カメラパラメータ設定用のＵＩ画面の一例を示す図
【図１２】カメラ群毎の共通撮影領域の導出方法を説明する図
【図１３】フィールドマップ上にカメラ群毎の共通撮影領域を投影した図
【図１４】仮想カメラパラメータ設定用のＵＩ画面の一例を示す図
【図１５】空間速度コントラスト感度関数を説明するグラフ
【図１６】実施形態２に係る、仮想カメラ設定処理の流れを示すフローチャート
【図１７】仮想カメラパラメータ設定用のＵＩ画面の一例を示す図
【図１８】仮想カメラについての推奨される移動速度を説明するグラフ
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【実施形態１】
【００１０】
図１は、本実施形態における、仮想視点映像システムの構成の一例を示す図である。なお、仮想視点画像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点画像や任意視点画像などとも呼ばれる。また、仮想視点画像は、動画であっても、静止画であっても良い。本実施形態では、仮想視点画像が動画である場合の例を中心に説明する。図１に示す仮想視点映像システムは、画像処理装置１００と2種類のカメラ群１０９及び１１０とで構成される。そして、画像処理装置１００は、ＣＰＵ１０１、メインメモリ１０２、記憶部１０３、入力部１０４、表示部１０５、外部Ｉ／Ｆ１０６を備え、各部がバス１０７を介して接続されている。まず、ＣＰＵ１０１は、画像処理装置１００を統括的に制御する演算処理装置であり、記憶部１０３等に格納された各種プログラムを実行して様々な処理を行う。メインメモリ１０２は、各種処理で用いるデータやパラメータなどを一時的に格納するほか、ＣＰＵ１０１に作業領域を提供する。記憶部１０３は、各種プログラムやＧＵＩ（グラフィカル・ユーザ・インターフェイス）表示に必要な各種データを記憶する大容量記憶装置で、例えばハードディスクやシリコンディスク等の不揮発性メモリが用いられる。入力部１０４は、キーボードやマウス、電子ペン、タッチパネル等の装置であり、様々なユーザ入力を受け付ける。表示部１０５は、液晶パネルなどで構成され、自由視点映像生成時の仮想カメラの経路設定のためのＵＩ画面の表示などを行う。外部Ｉ／Ｆ部１０６は、カメラ群１０９及び１１０を構成する各カメラとネットワーク（ここではＬＡＮ１０８）を介して接続され、映像データや制御信号データの送受信を行う。バス１０７は上述の各部を接続し、データ転送を行う。
【００１１】
上記２種類のカメラ群は、それぞれズームカメラ群１０９と広角カメラ群１１０である。ズームカメラ群１０９は、画角の狭いレンズ（例えば１０度）を搭載した複数台のカメラで構成されている。広角カメラ群１１０は、画角の広いレンズ（例えば４５度）を搭載した複数台のカメラで構成されている。そして、ズームカメラ群１０９及び広角カメラ群１１０を構成している各カメラはＬＡＮ１０８経由で画像処理装置１００に接続されている。また、ズームカメラ群１０９及び広角カメラ群１１０は画像処理装置１００からの制御信号をもとに、撮影の開始と停止、カメラ設定（シャッタースピード、絞りなど）の変更、撮影した映像データの転送を行う。
【００１２】
なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。      
【００１３】
図２（ａ）は、ズームカメラ群１０９と広角カメラ群１１０のカメラ配置の一例を示した図である。フィールド２０１は例えばサッカー等を行うスタジアム内のグラウンド面であり、その上にはオブジェクト（被写体）２０２としての選手が存在している。そして、ズームカメラ群１０９を構成する１２台のズームカメラ２０３と広角カメラ群１１０を構成する１２台の広角カメラ２０４がフィールド２０１を取り囲むように配置されている。図２（ｂ）において点線で囲まれた領域２１３は、ズームカメラ２０３の撮影領域を示している。ズームカメラ２０３は画角が狭いため撮影領域は狭いが、オブジェクト２０２を撮影した際の解像度合いは高いという特性を持つ。また、図２（ｃ）において点線で囲まれた領域２１４は、広角カメラ２０４の撮影領域を示している。広角カメラ２０４は画角が広いため撮影領域は広いが、オブジェクト２０２を撮影した際の解像度合いは低いという特性を持つ。なお、図２（ｂ）では撮影領域の形状を便宜的に楕円で示しているが、後述のとおり各カメラの実際の撮影領域の形状は矩形であるのが一般的である。
【００１４】
続いて、動画の複数視点画像（以下、複数視点映像）から動画の仮想視点画像（以下、仮想視点映像）を生成する際の処理を例に、画像処理装置１００の構成等について詳しく説明する。図３は、画像処理装置１００の論理構成の一例を示す図である。また、図４は、画像処理装置１００における、仮想視点映像が生成されるまでの全体の流れを示したフローチャートである。図４に示す一連の処理は、ＣＰＵ１０１が、所定のプログラムを記憶部１０３から読み込んでメインメモリ１０２に展開し、これをＣＰＵ１０１が実行することで実現される。なお、各処理の冒頭における記号「Ｓ」はステップを意味する。
Ｓ４０１では、ズームカメラ群１０９及び広角カメラ群１１０のそれぞれが同期撮影を行って得た複数視点の映像データが画像処理装置１００に入力される。入力された複数視点（ここでは各1２視点）の映像データは、メインメモリ１０２に展開される。
【００１５】
Ｓ４０２では、形状推定部３０１において、Ｓ４０１で取得した複数視点映像データを用いて、撮影シーン内に存在する各オブジェクトの３次元形状推定処理が実行される。推定手法としては、オブジェクトの輪郭情報を用いるVisual-hull手法や、三角測量を用いたMulti-view stereo手法など公知の手法を適用すればよい。これにより、オブジェクトの３次元形状を表すデータ（例えば、ポリゴンデータやボクセルデータ）が生成される。
【００１６】
Ｓ４０３では、画質設定部３０３において、生成される仮想視点映像についての画質レベルが設定される。ここで、画質レベルには、解像度レベル、色差レベル、ノイズレベルなどが含まれる。この画質レベルの設定は、例えばＧＵＩを介したユーザ入力に基づいて行う。仮想視点映像の画質レベルとして、ユーザが許容或いは満足できるレベルを予め設定することで、一定の基準を満たす画質の仮想視点映像を生成可能にする。ユーザ入力に基づく画質設定処理の詳細については後述する。なお、ユーザ入力に基づかずに、予め定めておいた例えば推奨される画質レベルが自動で設定されるようにしてもよい。
【００１７】
Ｓ４０４では、仮想カメラ設定部３０４において、仮想視点映像の対象タイムフレームにおける仮想カメラの位置・姿勢（仮想カメラパス）や注視する点（仮想注視点パス）といったパラメータが、ＧＵＩを介したユーザ入力に基づき設定される。この際、Ｓ４０３で設定された画質レベルが得られる範囲を示す情報が、仮想カメラのパラメータ設定用ＵＩ画面上に表示される。仮想カメラのパラメータ設定処理に関する詳細は後述する。
【００１８】
Ｓ４０５では、仮想視点画像生成部３０５において、Ｓ４０４で設定された仮想カメラパラメータに従って、仮想視点映像が生成される。仮想視点映像は、Ｓ４０２の形状推定処理で得られたオブジェクトの３Ｄ形状データを用いて、設定された仮想カメラから見た映像をコンピュータグラフィックスの技術を用いることで生成することができる。この生成処理には公知の技術を適宜適用すればよく、本発明の主眼ではないので説明を省く。
【００１９】
以上が、本実施形態に係る、仮想視点映像が生成されるまでの大まかな流れである。なお、Ｓ４０１で入力された複数視点映像に対して画質を向上させる処理（例えば、超解像処理やエッジ鮮鋭化処理）を施し、得られた複数視点映像を元に仮想視点映像の生成を行なうように構成してもよい。これにより、画質向上処理後の複数視点映像の画質レベルを限界とした仮想視点映像の生成が可能となる。続いて、Ｓ４０３のユーザ入力に基づく画質設定処理、Ｓ４０４の仮想カメラ設定処理の詳細について順に説明する。
【００２０】
（画質設定処理）
図５は、画質設定処理の詳細を示すフローチャートの一例である。ここでは、解像度レベルをユーザが指定する場合を例に、画質設定処理を説明することとする。以下、図５のフローに沿って説明する。
【００２１】
Ｓ５０１では、すべてのカメラ群（ここではズームカメラ群１０９と広角カメラ群１１０の２種類）に属する各カメラのカメラ情報が取得される。カメラ情報には、カメラの設置位置、注視点位置、画角、焦点距離、イメージセンサの画素ピッチと縦横それぞれの総画素数といった情報が含まれる。このカメラ情報は、予め記憶部１０３に保持しておいたものを読み出して取得してもよいし、各カメラ（或いは各カメラ群を代表する１台のカメラ）にアクセスして取得してもよい。
【００２２】
Ｓ５０２では、Ｓ５０１で取得したカメラ情報のうちカメラの設置位置と注視点位置の情報を用いて、各カメラから注視点までの撮影距離が算出される。この撮影距離d[mm]は、例えば以下の式（１）を用いて求めることができる。
【００２３】
【数１】
2019145894.tif 000003
【００２４】
上記式（１）において、（Xc, Yc, Zc）はカメラの設置位置の３次元座標を表し、（Xo, Yo, Zo）は注視点位置の３次元座標を表している。この際の３次元座標の原点は、例えば、サッカー等の試合を行うスタジアムに各カメラを設置する場合であれば、サッカーコート内のセンターマークとする。図６は、座標原点をセンターマーク、各カメラ（図６中の菱形◆）の注視点（図６中の黒丸●）を一方のペナルティマークとした場合の、１つのカメラ群に属するカメラの設置位置（X座標とY座標）の一例を示している。図６において、X座標に対応する横軸、Y座標に対応する縦軸の単位は共に[mm]である。図６は二次元のグラフなので高さを表すZ座標の情報は含まれていないが、Z座標は例えば15000[mm]といった値となる。
【００２５】
Ｓ５０２では、Ｓ５０１で算出した撮影距離に基づき、カメラ群毎に解像度が算出される。図７は、カメラ７０１の焦点距離をf[mm]、イメージセンサの横幅をSW[mm]、センサ横方向の総画素数x[pixel]としたときの、カメラ７０１とその撮影範囲７０２の幾何条件を示している。図７に示す幾何条件を前提としたとき、撮影範囲７０２の実空間上での横幅H[mm]は、以下の式（２）で表される。
【００２６】
【数２】
2019145894.tif 000004
【００２７】
上記式（２）において、カメラ７０１の画角θは、以下の式（３）で表される。
【００２８】
2019145894.tif 000005
【００２９】
そして、横幅Hと総画素数xから、実空間上での単位長さ[mm]当たりにおける撮影画像の画素数を表す解像度Rpが得られる。この解像度Rp[pixel/mm]は、以下の式（４）で表される。
【００３０】
2019145894.tif 000006
【００３１】
上記式（４）において、pは画素ピッチ[mm]を表している。こうして得られる解像度Rpは、０〜１．０の範囲をとり、その値が大きいほど実空間を細かくサンプリングできており、高解像に撮影できていることを表す。そして、算出された各カメラの解像度Rpから、カメラ群毎の解像度が例えばその平均値をとるなどして決定される。なお、仮想視点映像を生成する都合上、各カメラ群に属する各カメラは、同一オブジェクトが同一サイズに撮像されるように焦点距離が調整されている。そのため、同じカメラ群に属するカメラであれば、どのカメラも同程度の解像度Rpが算出されることになる。つまり、ズームカメラ群１０９と広角カメラ群１１０のそれぞれから１種類の代表解像度が算出される。本実施形態の場合、例えば広角カメラ群１１０の代表解像度は０．５程度、ズームカメラ群１０９の代表解像度は１．０程度となり、ズームカメラ群１０９の方が高解像となる。
【００３２】
Ｓ５０４では、仮想視点映像においてユーザが特定の解像度（例えば、許容可能な限界解像度）が、画質レベル設定用ＵＩ画面を介したユーザ入力に基づき設定される。図８の（ａ）及び（ｂ）は、ＧＵＩ制御部３０２によって表示部１０５に表示される画質レベル設定用ＵＩ画面の一例を示している。特定の解像度レベルを指定するユーザは、図８（ａ）の状態でボタン８０１〜８０３の中から解像度指定ボタン８０３を押下する。すると、図８（ｂ）の状態へと遷移し、その画面左側にはＳ５０３で算出されたズームカメラ群の代表解像度が得られる範囲８１０と広角カメラ群の代表解像度が得られる範囲８１１が表示され、サブウィンドウ８０６がポップアップ表示される。ユーザは、サブウィンドウ８０６の中の入力欄８０７に所望の解像度Rpを入力して、ＯＫボタン８０４を押下する。このとき、Rp＝０は解像できないことを意味し原理的に成り立たないので、解像度Rpの範囲は、０〜＜ Rp ≦１．０となる。こうしてユーザは、仮想視点映像について許容可能な特定の解像度を指定することができる。例えば特定解像度として“０．７”が設定された場合には、広角カメラ群１１０で撮影された複数視点画像はこの解像度を満足することができないため、ズームカメラ群１０９で撮影された複数視点画像のみが仮想視点画像の生成に用いられることになる。また、特定解像度として“０．４”が設定された場合には、広角カメラ群１１０で撮影された複数視点画像とズームカメラ群１０９で撮影された複数視点画像の双方が仮想視点画像の生成に用いられることになる。なお、特定解像度をユーザが指定する方法は上述の例に限定されず、例えば、ユーザがより直観的に認識しやすいように、少なくとも２以上の異なる解像度にそれぞれ対応付けられた画像サンプルを提示して、ユーザが所望の解像度を指定できるようにしてもよい。画像サンプルは、ズームカメラ群１０９に属するカメラ２０３で撮影した最も高解像度の画像から生成可能である。具体的には、カメラ２０３の撮影画像を縮小した後、ニアレストネイバー等の手法で段階的に拡大することで解像度の異なる複数の画像サンプルを得る。こうして、例えば図９（ａ）に示すように複数（ここでは４つ）の解像度別の画像サンプルを用意し、サブウィンドウ９０６のように表示する（図９（ｂ）を参照）。この場合、図９（ｂ）に示すように、例えば画像サンプルＡ〜Ｄの各解像度レベルに対応する範囲を示すライン等を、例えばフィールドマップ上に表示させてもよい。これによりユーザは、解像度レベルの異なる画像を実際に確認しながら、自身が望む解像度レベルを指定することが可能になる。
【００３３】
以上が、ユーザ入力に基づく画質設定処理の内容である。なお、Ｓ５０３までの各処理については、会場設営後の準備段階でキャリブレーションを行うなどして、複数視点映像の撮影開始前に済ませておいてもよい。また、解像度を例に説明を行ったが、色差やノイズについても同様に適用可能である。
【００３４】
＜色差の場合＞
色差レベルを指定する場合は、まず、全カメラ群に属する全カメラを対象とした全ての組合せについて、所属するカメラ群の共通撮影領域における、撮影画像内の平坦部の色相、明度、彩度の差から色差ΔEを、事前のキャリブレーション等で求めておく。そして、ユーザが例えば許容可能な色差ΔE_ （例えば、０〜１０．０の範囲内）を、前述の画質レベル設定用ＵＩ画面を介して、解像度の場合と同様にユーザが指定できるようにする。色差ΔEは、その値が０のときカメラ間の色の差がまったくないことを表し、その値が大きいほどカメラ間の色の差が大きいことを表す。ＪＩＳ規格や各種の工業界で一般的に使用されている例では、ΔE=１．６〜３．２の範囲であれば、離間比較では人がほとんど差に気付かないレベルだとされている。そこで、ユーザが指定した色差ΔE_uよりも小さい値の色差ΔEを持つ組合せだけを抽出し、当該組合せに含まれる複数のカメラにおける共通撮影領域を導出して、これを特定の色差レベルの仮想視点映像が得られる範囲を示す情報として仮想カメラ設定用ＵＩ画面に表示する。この特定色差レベルの範囲情報を参考にユーザが仮想カメラを設定し、指定した特定色差レベルを満たすカメラで撮影された複数視点映像データだけを仮想視点映像の生成に使用することで、一定の色差レベルが保証された仮想視点映像を得ることが可能になる。なお、共通撮影領域の導出方法については、後述する。
【００３５】
＜ノイズの場合＞
ノイズについては、複数視点映像データにおいてテクスチャが存在しない平坦領域のSN比によって、仮想視点映像におけるノイズレベルを制御することができる。具体的には、まず、全カメラ群に属する全カメラを対象に、撮影画像内の平坦領域における平均輝度μと標準偏差σの比率であるSN比（＝μ／σ）を、事前のキャリブレーション等で求めておく。そして、ユーザが例えば許容可能なＳＮ比（例えば、０〜１００[dB]の範囲内）を、前述の画質設定用ＵＩ画面を介して、解像度の場合と同様にユーザが指定できるようにする。SN比は、その値が０のときノイズ量が最大であることを表し、その値が大きいほどノイズ量が少ないことを表す。そこで、ユーザが指定したSN比よりも大きい値のSN比を持つカメラだけを抽出し、当該抽出された複数のカメラにおける共通撮影領域を導出して、これを特定のノイズレベルの仮想視点映像が得られる範囲を示す情報として仮想カメラ設定用ＵＩ画面に表示する。この特定ノイズレベルの範囲情報を参考にユーザが仮想カメラを設定し、指定したSN比を満たすカメラで撮影された複数視点映像データだけを仮想視点映像の生成に使用することで、一定のノイズレベルが保証された仮想視点映像を得ることが可能になる。
【００３６】
なお、上述の説明では、設定対象の画質の種類に応じた任意の数値を自由にユーザが指定する例を説明したが、これに限定されない。例えば、「高」「低」或いは「大」「中」「小」といったように段階別のレベルを用意し、その中からユーザが任意のレベルを選択し、各レベルに対応する特定画質の範囲情報が表示されるようにしてもよい。さらには、解像度、色差、ノイズといった複数の画質要素を組合せた特定画質の範囲情報を表示するようにしても良い。
【００３７】
（仮想カメラ設定処理）
図１０（ａ）は、仮想カメラのパラメータ設定を行う処理の流れを示すフローチャートである。以下、図１０（ａ）のフローに沿って説明する。
【００３８】
Ｓ１００１では、ＧＵＩ制御部３０２によって、仮想カメラ設定用ＵＩ画面が表示部１０５に表示される。図１１は、仮想カメラ設定用ＵＩ画面の一例を示している。 図１１に示す仮想カメラ設定用ＵＩ画面１１００では、フィールド２０１を真上から俯瞰で見たフィールドマップ１１１０が画面左側に表示されており、その上にＳ４０２で推定したオブジェクト（選手とボール）の３Ｄ形状がマッピングされている。図１０（ｂ）に示す詳細フローに沿って、仮想カメラのパラメータ設定を行うためのＧＵＩの表示制御について説明する。
【００３９】
まず、Ｓ１０１１では、すべてのカメラ群（ここではズームカメラ群１０９と広角カメラ群１１０の２種類）に属する各カメラのカメラ情報が取得される。カメラ情報には、当該カメラの設置位置、注視点位置、画角、焦点距離、イメージセンサの画素ピッチと縦横それぞれの総画素数といった情報が含まれる。このカメラ情報は、予め記憶部１０３に保持しておいたものを読み出して取得してもよいし、各カメラ（或いは各カメラ群を代表する１台のカメラ）にアクセスして取得してもよい。
【００４０】
Ｓ１０１２では、取得した各カメラ群のカメラ情報に基づいて、略同じ画角を有する複数のカメラの撮影領域が重複する領域（共通撮影領域）が、カメラ群単位で導出される。ここで、「略同じ」と表現しているのはカメラから注視点までの距離の差によってカメラ間で微細な画角の変動が発生するためである。すなわち、同じカメラ群に属する各カメラの画角は完全に同じでなくてもよく、同程度の画角を有していればよい。図１２は、カメラ群毎の共通撮影領域の導出方法を説明する図である。いま、サッカーコートのあるフィールド２０１に対して同じカメラ群に属する２台のカメラ１２０１と１２０２が同じ注視点を向いて撮影を行っている。このカメラ群の共通撮影領域は、カメラ１２０１から注視点に向けた四角錐とフィールド２０１との交面１２１１と、カメラ１２０２から注視点に向けた四角錐とフィールド２０１との交面１２１２とが重複する領域１２１３として求められる。ここでは、説明の便宜上、カメラ１２０１と１２０２の２台で説明を行ったが、３台以上でも考え方は同じである。こうして、各カメラ群についての共通撮影領域が導出される。
【００４１】
Ｓ１０１３では、カメラ群毎の共通撮影領域が認識可能に仮想カメラ設定用ＵＩ画面の左側に表示される。図１３は、フィールドマップ上に、カメラ群毎の共通撮影領域が認識可能に投影された結果の一例を示す図である。ここではフィールドマップを２次元で示しているが３次元でもよい。図１３において、矩形の枠１３００がフィールドマップを示す。そして、破線の楕円１３０１がズームカメラ群１０９の共通撮影領域（以下、ズームカメラ群撮影領域）を示している。ズームカメラ群撮影領域１３０１内では、ズームカメラ群１０９で撮影した複数視点映像を用いた仮想視点映像の生成が可能である。ズームカメラ群撮影領域１３０１内では、オブジェクトの解像度合いが相対的に高いため、仮想カメラをオブジェクトに近づけても、仮想視点映像の画質を維持することが可能である。本実施形態の場合、ズームカメラ群撮影領域１３０１は、ズームカメラ群１０９に属する１２台全てのズームカメラ２０３の撮影領域が重複する領域となっている。そして、一点鎖線の楕円１３０２が広角カメラ群１１０の共通撮影領域（以下、広角カメラ群撮影領域）を示している。広角カメラ群撮影領域１３０２内では、広角カメラ群１１０で撮影した複数視点映像を用いた仮想視点映像の生成が可能である。広角カメラ群撮影領域１３０２内では、オブジェクトの解像度合いが相対的に低いため、仮想カメラをオブジェクトに一定以上近づけると、仮想視点映像の画質が悪化することになる。本実施形態の場合、広角カメラ群撮影領域１３０２は、広角カメラ群１１０に属する１２台全ての広角カメラ２０４の撮影領域が重複する領域となっている。また、フィールドマップ１３００内の斜線で示す領域１３０３は、広角カメラ群１１０に属する各広角カメラ２０４の撮影領域が重複せず、仮想視点映像生成が不可能な領域（以下、仮想視点映像生成不可領域）を示している。カメラ群毎の共通撮影領域は、例えば色分けなどによって識別可能に表示される。なお、図１３では、説明の便宜上、各カメラ群の共通撮影領域の形状を楕円で示しているが、実際には多角形となる。
【００４２】
Ｓ１０１４では、仮想カメラ設定用ＵＩ画面を介して、どの領域を中心に仮想視点映像を生成するかについてのユーザ指定が受け付けられ、ユーザによって指定された領域が着目領域として設定される。この際、ユーザはマウスやタッチペン等を用いて、フィールドマップ１１１０内の所望の領域を指定する。図１１において、破線の矩形１１１１がユーザ入力に基づいて設定された着目領域を示している。着目領域が設定されると、仮想カメラ設定用ＵＩ画面１１００の左側は、当該着目領域１１１１を中心に拡大されたフィールドマップへと切り換わる。図１４に、着目領域１１１１を中心に拡大されたフィールドマップ１４００が表示された仮想カメラ設定用ＵＩ画面を示す。
【００４３】
Ｓ１０１５では、前述の画質設定処理で設定された特定画質レベルの仮想視点画像の生成可能な範囲が、着目領域設定後の仮想カメラ設定用ＵＩ画面におけるフィールドマップ上に示される。図１４において、着目領域１１１１設定後の拡大フィールドマップ１４００内の二点鎖線１４０１が、ユーザ指定の特定解像度が得られなくなる限界を示すラインである。二点鎖線１４０１近くにある白抜きの矢印が示す方向の範囲内で仮想カメラを設定すれば、特定解像度を満足する仮想視点映像が得られることになる。図１０（ａ）のフローの説明に戻る。
【００４４】
Ｓ１００２では、仮想カメラ設定用ＵＩ画面を介したユーザ入力に基づいて、仮想カメラパスが設定される。仮想カメラパスを設定するユーザは、カメラパス指定ボタン１１０１を押下する。そして、別途設定のタイムフレーム（60fpsで撮影されたうちの10秒分であれば600フレーム）の間に移動する仮想カメラの軌跡をマウス等でフィールドマップ１４００上に描くことで、仮想カメラパスを指定する。この際、ユーザは、フォールドマップ１４００上に重畳表示されたライン等（図１４の例では二点鎖線１４０１）によって、どのように仮想カメラを設定すれば、特定解像度を満たす仮想視点画像が得られるのかを事前に把握できる。こうしてユーザは、出来上がる仮想視点映像の解像度を予測しつつ仮想カメラパスの指定作業を行うことができる。図１４において、フィールドマップ１４００上の太線矢印１４０２は、こうして設定された仮想カメラのパスを示している。なお、設定されたパス１４０２上の任意の点Pをマウス等のドラッグ操作によって移動させることにより、パスの修正が可能である。また、この段階での仮想カメラパスのフィールド面からの高さはデフォルト値（例えば、15ｍ）となる。
【００４５】
Ｓ１００３では、仮想カメラの高さ調整を行うか否かによって処理の切り分けがなされる。ユーザがカメラパス高さ編集ボタン１１０２を押下した場合は、Ｓ１００４に進み、そうでない場合は仮想カメラ設定処理を終了する。
【００４６】
Ｓ１００４では、仮想カメラの高さを調整する処理が実行される。ユーザは、仮想カメラパス１４０２上の任意の位置（座標）にカーソルを移動し、マウス等のクリック操作を行うことによって、高さを変更したい仮想カメラの位置（高さ編集点）を指定する。高さ編集点が指定されると、仮想カメラ設定用ＵＩ画面内に、高さ設定ウィンドウ１４１０が表示される（図１４を参照）。この高さ設定ウィンドウ１４１０には、フィールド２０１を真横（グラウンド面に対して水平方向）からみた画像１４１１が表示され、その中には特定解像度が得られなくなる限界を示すライン１４０１も表示される。ユーザは、高さ設定ウィンドウ１４１０内の入力欄１４１２に任意の値（単位：m、例えば０〜２５ｍ）を入力することによって当該位置における仮想カメラの高さを変更することができる。この際、仮想カメラの高さが変わると、各オブジェクトまでの距離も変わることになる。例えば、仮想カメラの高さをより低い位置に変更すると各オブジェクトまでの距離が近くなってそのサイズが大きくなる一方で、解像度が落ちてボケた映像になりやすくなる。この場合、前述のＳ５０２で説明したやり方で、変更後の高さにおける撮影距離ｄに対応した解像度を求めて、上記ライン１４０１も更新する。これによりユーザは、高さ変更を行った場合に画質がどのように変化するのかを随時把握しながら、仮想カメラの高さを編集することができる。なお、高さ編集点によって高度が変更された箇所以外の高さは、近接する位置の高さ編集点又はデフォルト値から補間して、高さが急激に変化しないように調整される。
【００４７】
以上がＳ４０６における仮想カメラ設定処理の詳細である。
【００４８】
＜変形例＞
上述の例では、仮想カメラの設定する際のＧＵＩにおいて、予め指定された画質レベルに関する情報を表示して、ユーザが仮想視点画像の出来上がりの画質を予測しながら仮想カメラを設定できるようにしている。ＧＵＩで事前に画質レベルに関する情報を表示するのに代えて、ユーザが設定した仮想カメラパスでは予め指定された画質レベルを満足しない場合にその旨を通知するメッセージによる警告表示を行うようにしてもよい。これによりユーザは、設定中の仮想カメラパスでは一定の画質レベルが保証されないことを知ることができ、仮想カメラの設定をやり直す機会を仮想視点画像の生成前に確保できる。また、仮想カメラ設定用ＵＩ画面でユーザが参照するフィールドマップ上に、ズームカメラ群撮影領域や広角カメラ群撮影領域を示す情報も併せて表示するようにしてもよい。
【００４９】
以上のとおり本実施形態によれば、仮想カメラの移動経路や高さを設定する際に、どのように仮想カメラを設定すれば、一定の画質が保証された仮想視点画像が得られるかをユーザは事前に把握することできる。その結果、仮想カメラのパラメータ設定作業を、出来上がった仮想視点画像を見た上で何度もやり直すという必要がなくなり、効率よく仮想視点画像を生成することができる。
【実施形態２】
【００５０】
実施形態１では、仮想カメラを設定する際に、一定の画質レベルが保証される仮想カメラの設定範囲をユーザが事前に把握できるようにする態様について、解像度の場合を例に説明した。仮想視点映像において人が知覚できる解像度は、仮想カメラとオブジェクトとの相対速度によっても変わってくるところ、実施形態１ではこの点までは考慮していなかった。そこで、設定された仮想カメラとオブジェクトとの相対速度に応じて、ユーザが仮想カメラの移動速度を調整して、指定された特定解像度の条件が満たされるようにする態様を実施形態２として説明する。なお、実施形態１と共通する内容については説明を省略し、以下では差異点について述べるものとする。
【００５１】
本実施形態に係る仮想カメラの設定時における制御の説明に入る前に、オブジェクトの速度によって人が知覚できる解像度が変わる点について確認しておく。図１５は、人間の動き刺激に対する視覚系の時空間周波数特性の一つである空間速度コントラスト感度関数（SV-CSF：Spatio-Velocity Contrast Sensitivity Function）を説明するグラフである。横軸は空間周波数、縦軸は人の視覚感度（応答特性）を表す。そして、曲線１５０１はオブジェクトの移動速度が比較的速い（秒速４．５ｍ程度）の場合のSV-CSF、曲線１５０２は移動策度が比較的遅い（秒速１．５ｍ程度）場合のSV-CSFを示している。人の視覚感度は、空間周波数が“０”のときに低く、空間周波数が高くなるにつれて急激に上昇する。その後、緩やかに下降して、高周波（＝高解像度）であるほど感度が低くなり、限りなく“０”に近づいていく。さらに、SV-CSFはオブジェクトの移動速度が速いほど低周波側（左方向）に曲線の極大値がシフトしていく。例えば、オブジェクトの移動速度が相対的に遅い曲線１５０２の場合、空間周波数がｓ（例えば、ｓ＝８）のときとｔ（例えば、ｔ＝１５）のときとでは応答特性に差があるため、解像度の違いを知覚可能である。しかしながら、オブジェクトの移動速度が相対的に速い曲線１５０１の場合、空間周波数がｓ以降は応答特性の値が“０”に収束しており解像度の違いを知覚することができない。このような人の視覚特性を利用して、特定解像度に収まるように仮想カメラとオブジェクトとの相対速度を調整する処理を行えるようにする。
【００５２】
図１６は、本実施形態に係る、仮想カメラ設定処理の流れを示すフローチャートである。Ｓ１６０１〜Ｓ１６０４は、実施形態１の図１０（ａ）のフローのＳ１００１〜Ｓ１００４と同じである。ここまでの各ステップの処理によって仮想カメラが設定されると、続くＳ１６０５において、着目領域の中に存在するオブジェクトの中から注目するオブジェクトが、ユーザ入力等に基づいて決定される。図１７は、本実施形態に係る、仮想カメラ設定用ＵＩ画面の一例である。ユーザは、図１７に示す仮想カメラ設定用ＵＩ画面１１００において、オブジェクト選択ボタン１７０１を押下した後、フィールドマップ１４００上でマウス等を操作して注目するオブジェクトを選択する。すると選択されたオブジェクトが注目オブジェクトとして決定される。ここでは、４人の選手の中から最もボールに近い選手のオブジェクト１７０２が選択されたものとする。なお、ユーザが直接選択するのに代えて、予め登録した特定の選手やボールを注目オブジェクトとして自動で決定するように構成してもよい。
【００５３】
Ｓ１６０２では、対象タイムフレームにおける注目オブジェクトと仮想カメラの移動速度をそれぞれ算出し、両者間の相対速度がユーザ入力に基づき調整される。図１８は、仮想カメラについての推奨される移動速度を説明するグラフである。縦軸は実際のオブジェクトとカメラとの相対速度を示し、横軸は空間周波数を示している。そして、曲線１８０１は、オブジェクトと仮想カメラとの相対速度について、低速〜高速までの複数のSV-CSFを求め、それぞれの感度が限りなく０に近づいたときの空間周波数をプロットしたものである。例えば、ユーザが指定した特定解像度が、曲線１８０１上の丸印１８０２に対応するとする。この場合、決定された注目オブジェクトと現在設定している仮想カメラとの相対速度がｕ[m/sec]（例えば、ｕ＝２）を超えている場合には、ユーザに対し、仮想カメラの移動速度を調整するよう促す表示を行い、許容範囲内となるように調整させる。本実施形態では、仮想視点映像をテレビモニタ等のディスプレイ上で視聴することを想定している。このようなディスプレイ上で人がオブジェクトを知覚可能（追従視可能）な速度はおよそ３０[degree/sec]であるため、これに対応する破線１８０３で示す速度を超えることがないように調整することになる。ユーザが速度編集ボタン１７０３を押下すると、速度設定用のサブウィンドウ１７１０がポップアップ表示される。このときのサブウィンドウ１７１０内のスライドバー１７１１のレンジは、ユーザが指定した特定解像度に対応したものとなる。例えば、上述の丸印１８０２の場合には０〜ｕ[m/sec]のレンジとなる。このようにして、ユーザはスライドバー１７１１によって仮想カメラの速度調整を行う。
【００５４】
以上が、本実施形態に係る、仮想カメラ設定処理の内容である。仮想カメラとオブジェクトとの相対速度に応じて、仮想カメラの移動速度を調整するようユーザに促して調整させることで、より高画質な仮想視点映像を確実に得ることができる。
【００５５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５６】
１００  画像処理装置
１０５  表示部
３０２  視点制御部
３０５  仮想視点画像生成部
【図１】
2019145894.tif 000007
【図２】
2019145894.tif 000008
【図３】
2019145894.tif 000009
【図４】
2019145894.tif 000010
【図５】
2019145894.tif 000011
【図６】
2019145894.tif 000012
【図７】
2019145894.tif 000013
【図８】
2019145894.tif 000014
【図９】
2019145894.tif 000015
【図１０】
2019145894.tif 000016
【図１１】
2019145894.tif 000017
【図１２】
2019145894.tif 000018
【図１３】
2019145894.tif 000019
【図１４】
2019145894.tif 000020
【図１５】
2019145894.tif 000021
【図１６】
2019145894.tif 000022
【図１７】
2019145894.tif 000023
【図１８】
2019145894.tif 000024