(57)【要約】【課題】仮想カメラから近い位置にオブジェクトが存在しても画質の低下が目立ちにくくなるようにして仮想視点画像の画質を向上させる。【解決手段】複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、仮想カメラの設定を受け付けるユーザインタフェイスと、前記複数視点画像に含まれているオブジェクトを、設定された仮想カメラまでの距離に応じた透過処理を行って描画する描画手段と、を備え、前記描画手段は、前記距離が短かいほど高い透過度で描画することを特徴とする。【選択図】図６
2019144638.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、
仮想カメラの設定を受け付けるユーザインタフェイスと、
前記複数視点画像に含まれているオブジェクトに対し、設定された仮想カメラからの距離に応じた透過処理を行って描画する描画手段と、
を備え、
前記描画手段は、前記距離が短かいほど高い透過度で描画する
ことを特徴とする画像処理装置。
【請求項２】
前記複数視点画像に含まれているオブジェクトのうち前記透過処理の対象外とする特定のオブジェクトを設定する設定手段をさらに備え、
前記描画手段は、前記複数視点画像に写っているオブジェクトのうち前記特定のオブジェクト以外のオブジェクトに対し、前記透過処理を行う
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記描画手段は、前記特定のオブジェクト以外のオブジェクトに対する前記透過処理を、前記特定のオブジェクト以外のオブジェクトと前記設定された仮想カメラとの距離が第１の閾値以下でない場合に行なう、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記描画手段は、前記特定のオブジェクト以外のオブジェクトに対する前記透過処理を、前記特定のオブジェクト以外のオブジェクトと前記特定のオブジェクトとの距離が第２の閾値以下である場合に行なう、ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記第２の閾値は、前記設定された仮想カメラに応じて変化する、ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２の閾値は、予め定めた基準とする仮想カメラにおける基準となる閾値に基づいて、前記設定された仮想カメラに応じて決定され、
前記基準となる閾値は、
前記基準とする仮想カメラの垂直画素数及び垂直画角によって定義され、
前記基準とする仮想カメラにおいて前記透過処理を開始することになる、前記基準とする仮想カメラから前記特定のオブジェクト以外のオブジェクトまでの距離を表す
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２の閾値は、前記設定された仮想カメラの下で、前記基準とする仮想カメラでの透過処理が開始される描画解像度と同じ描画解像度で透過処理が開始されるように決定される、ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記描画手段は、前記透過処理において、前記設定された仮想カメラまでの距離が一定距離以内である場合は、前記特定のオブジェクト以外のオブジェクトを完全に透過させる、ことを特徴とする請求項２乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記一定距離は、前記設定された仮想カメラの位置に応じて変化する、ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記描画手段は、前記透過処理において、前記設定された仮想カメラまでの距離が一定距離以内である場合は、前記特定のオブジェクト以外のオブジェクトを完全に透過させ、
前記一定距離は、前記設定された仮想カメラの下で、前記基準とする仮想カメラで前記仮想視点画像を生成した際に完全に透過させるときの描画解像度と同じ解像度で完全に透過するように決定される、
ことを特徴とする請求項６又は７に記載の画像処理装置。
【請求項１１】
前記描画手段は、前記透過処理において適用する透過度を、設定された仮想カメラに応じて線形に変化させる、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記描画手段は、前記透過処理において適用する透過度を、設定された仮想カメラに応じて、所定の２次関数を用いて変化させる、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１３】
前記描画手段は、段階的に異なる距離と透過度とを対応付けたルックアップテーブルを用いて、前記透過処理において適用する透過度を決定する、ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１４】
前記描画手段は、前記透過処理において適用する透過度を、前記特定のオブジェクト以外のオブジェクトが前記設定された仮想カメラに対して高速に近づいてくるときほど高くなるように決定する、ことを特徴とする請求項２乃至１０のいずれか１項に記載の画像処理装置。
【請求項１５】
前記描画手段は、前記特定のオブジェクト以外のオブジェクトの移動速度又は前記設定された仮想カメラの移動速度に応じて前記透過度の調整を行なう、ことを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記描画手段は、前記画像処理装置の動作モードが、前記複数視点画像に含まれているオブジェクトの位置及び視線の方向を前記仮想カメラの位置及び姿勢として利用する動作モードの場合には、前記透過処理を行わない、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記描画手段は、前記画像処理装置の動作モードが、前記仮想視点画像のシーンに関連する分析データを重畳表示する動作モードの場合には、前記透過処理を行わない、ことを特徴とする請求項１乃至１５のいずれか１項に記載の画像処理装置。
【請求項１８】
複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理方法であって、
ユーザインタフェイスを介して、前記仮想視点画像に対応する仮想カメラの設定を受け付けるステップと、
前記複数視点画像に含まれているオブジェクトに対し、設定された仮想カメラからの距離に応じた透過処理を行って描画するステップと、
を含み、
前記描画するステップでは、前記距離が短かいほど高い透過度で描画される
ことを特徴とする画像処理方法。
【請求項１９】
コンピュータを、請求項１乃至１７のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想視点映像の画質を向上させる表示制御技術に関する。
【背景技術】
【０００２】
複数台の実カメラで撮影した映像を用いて、3次元空間内に仮想的に配置した実際には存在しないカメラ（仮想カメラ）からの映像を再現する技術として、仮想視点映像生成技術がある。仮想視点映像生成技術は、スポーツ放送等において、より臨場感の高い映像表現として期待されている。ここで、一般的なカメラによる撮影では被写体（オブジェクト）に近づくほど、得られる画像解像度は高くなっていく。しかしながら、仮想カメラの場合は、被写体に近づけたとしても実カメラで撮影した画像解像度よりも高精細な画像を得ることはできない。特に、オブジェクトから一定の距離よりも近い位置に仮想カメラを設定した場合には、実カメラによる撮影画像を拡大して描画することになるので、その分だけ画像解像度が落ちる。その結果、低精細でユーザに違和感を生じさせる画像になってしまう。この点、左眼用画像と右眼用画像を用いて仮想空間に3D映像表示を行う技術において、遠くの小さなオブジェクトほど透過度を高くして描画することで、立体視に伴う違和感を抑制する技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２３３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１の技術は、視点との距離が離れるほど視差方向の幅が狭くなり、部分的に表示されなくなるオブジェクトの箇所が右眼用画像と左眼用画像とで異なることで、オブジェクトにちらつきなどが生じ、ユーザに不快感をもたらすことをその出発点としている。これに対し、上述した仮想視点映像における違和感の原因は、仮想視点映像の解像度が、その元になる実カメラで撮影された映像の解像度に依存する点にあり、両者は違和感の発生原因がまったく異なっている。そして、仮想視点映像の生成に上記特許文献１の技術を適用しても、仮想カメラとオブジェクトとの間の距離が近いほど画質が低下するという問題は解消できない。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、複数のカメラで撮影した複数視点画像から仮想視点画像を生成する画像処理装置であって、仮想カメラの設定を受け付けるユーザインタフェイスと、前記複数視点画像に含まれているオブジェクトに対し、設定された仮想カメラからの距離に応じた透過処理を行って描画する描画手段と、を備え、前記描画手段は、前記距離が短かいほど高い透過度で描画することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、設定した仮想カメラから近い位置にオブジェクトが存在しても、画質の低下が目立ちにくくなり、仮想視点映像の画質を向上させることができるようになる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置のハードウェア構成例を示すブロック図。
【図２】（ａ）は透過度の制御を行なわずに仮想視点映像の描画を行った場合の一例を示す図、（ｂ）は透過度の制御を行って仮想視点映像を描画した場合の一例を示す図
【図３】画像処理装置の機能構成を示すブロック図
【図４】複数視点映像から仮想視点映像を生成する画像処理の流れを示すフローチャート
【図５】（ａ）はポリゴンデータの一例を示す図、（ｂ）はテクスチャデータの一例を示す図
【図６】透過度算出処理の詳細を示すフローチャート
【図７】基準透過閾値Ｄｔ_ｂと透過閾値Ｄｔとの関係を説明する図
【図８】オブジェクトから仮想カメラまでの距離と透過度との関係を示すグラフ
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【実施形態１】
【０００９】
本実施形態では、仮想カメラ近くに存在するオブジェクトを透過させることで目立たなくして、仮想視点映像の画質を向上する描画方法について説明する。なお、仮想視点映像とは、エンドユーザ及び／又は選任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される映像であり、自由視点映像や任意視点映像などとも呼ばれる。また、仮想視点映像は、動画であっても、静止画であっても良い。本実施形態では、仮想視点映像が動画である場合の例を中心に説明する。
【００１０】
本実施形態における画像処理装置１００のハードウェア構成例について、図１を用いて説明する。同図において、ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及び／又はハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤインタフェイス（Ｉ／Ｆ）１０４は、画像処理装置１００と、ＨＤＤ１０５や光ディスクドライブなどの二次記憶装置とを接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介した、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に保存することが可能である。入力インタフェイス（Ｉ／Ｆ）１０６は、キーボードやマウス、デジタルカメラ、スキャナなどの入力デバイス１０７と画像処理装置１００とを接続する、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力インタフェイス（Ｉ／Ｆ）１０８は、ディスプレイなどの出力デバイス１０９と画像処理装置１００とを接続する、例えばＤＶＩやＨＤＭＩ等の映像出力インタフェイスである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点映像に係るデータを送ることで、仮想視点映像の表示を実行させることができる。ネットワークインタフェイス（Ｉ／Ｆ）１１０は、画像処理装置１００と外部サーバ１１１とを接続する、例えばＬＡＮカードなどのネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１からデータを読み込むことが可能である。
【００１１】
なお、上記の説明では、ＨＤＤ１０５、入力デバイス１０７、及び出力デバイス１０９が画像処理装置１００とは別のデバイスとして構成される例を示した。しかしこの形態に限らない。例えば、画像処理装置１００はスマートフォンなどであっても良く、この場合は、入力デバイス１０７（タッチパネル）や出力デバイス１０９（表示スクリーン）は、画像処理装置１００と一体である。また、ＨＤＤ１０５内蔵のデバイスを画像処理装置１００として用いることも可能である。また、図１にて示した構成のすべてが必須の構成とは限らない。例えば、ＨＤＤ１０５に記憶された仮想視点映像を再生する場合、外部サーバ１１１は不要である。逆に、外部サーバ１１１から取得した仮想視点映像を生成する場合、ＨＤＤ１０５は不要である。また、画像処理装置１００が複数のＣＰＵ１０１を有してもよい。また、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有し、ＣＰＵ１０１による処理の少なくとも一部をＧＰＵや専用のハードウェアが行うようにしてもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。
【００１２】
本実施形態では、撮影シーン内のオブジェクトについて、仮想カメラとの距離に応じてその透過度を変更することで、仮想カメラ近くの解像度低下が発生する領域を目立たなくする。ここで、本実施形態における透過度制御の考え方について説明しておく。図２（ａ）は透過度の制御を行なわずに仮想視点画像の描画を行った場合の例を示し、同（ｂ）は透過度の制御を行って仮想視点画像を描画した場合の例を示す。図２（ａ）及び（ｂ）にはそれぞれ、同じ位置姿勢の仮想カメラで２つのオブジェクト（人物）を描画した４枚の画像が並んでいる。図２の（ａ）（ｂ）いずれにおいても、右にある画像ほど、仮想カメラからより近い位置に右側のオブジェクトが存在している。本実施形態の場合、オブジェクトのテクスチャデータの生成には、実カメラで撮影した画像を利用する。そのため、一定の距離よりも近くにあるオブジェクトについては、当該オブジェクトの位置が仮想カメラから近いほどそのテクスチャ画像は拡大して描画されるため、解像度が低下して粗くなる。そこで、図２（ｂ）に示すように、仮想カメラからの距離が一定以下の場合、仮想カメラに近くなるにつれて透過度が高くなるように制御する。画像内の右側のオブジェクトが仮想カメラに近づくにつれてそのテクスチャ画像が拡大して描画される点は透過度制御を行わない図２（ａ）の場合と同じであるが、透過させることにより解像度の低下が目立ちにくくなる。
【００１３】
以下、動画の複数視点画像（以下、複数視点映像）から動画の仮想視点画像（以下、仮想視点映像）を生成する際の処理を例に、本実施形態の画像処理装置１００の構成等について詳しく説明する。図３は、画像処理装置１００の論理構成の一例を示す機能ブロック図である。ＣＰＵ１０１は、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図３に示す画像処理装置１００内部の各機能ブロックの役割を果たす。なお、図３の操作部３０１及び表示部３０６は、図１の入力デバイス１０７及び出力デバイス１０９にそれぞれ対応する。また、ＣＰＵ１０１が画像処理装置１００内部の全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
【００１４】
図４は本実施形態の画像処理装置１００で行われる、複数視点映像から仮想視点映像を生成する画像処理の流れを示すフローチャートである。図４のフローチャートにおいて示される一連の処理は、画像処理装置１００が備えるＣＰＵ１０１が、ＲＯＭ１０３及び／又はＨＤＤ１０４に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで実現される。なお、各処理の説明における記号「Ｓ」はステップを表す。
【００１５】
Ｓ４０１では、視点制御部３０２が、撮影された複数視点映像の設定フレームのうち対象フレームに対応する仮想カメラのカメラパラメータが取得される。複数視点映像が60fpsで撮影され、その中の10秒分を設定フレームとして仮想視点映像を生成する場合であれば、全600フレームが順次対象フレームとなる。ここで、カメラパラメータには、外部パラメータと内部パラメータとが含まれる。外部パラメータは、仮想カメラの位置及び姿勢を表すパラメータであり、内部パラメータは、仮想カメラの光学的な特性を表すパラメータである。仮想カメラの位置を表すベクトルをｔ，回転を表す行列をＲとすると、仮想カメラの外部パラメータは以下のように表すことができる。
【００１６】
【数１】
2019144638.tif 000003
【００１７】
ここでの座標系は左手座標系であり、仮想カメラの視点において右を＋ｘ方向、上を＋ｙ方向、前（奥）を＋ｚ方向とする。また、画像の主点位置を（ｃx，ｃy）、実カメラの焦点距離をｆとすると、仮想カメラの内部パラメータＫは以下のように表すことができる。
【００１８】
【数２】
2019144638.tif 000004
【００１９】
なお、カメラパラメータの表現方法は行列に限定されない。例えば、仮想カメラの位置を３次元座標で表し、仮想カメラの姿勢をｙａｗ、ｒｏｌｌ、及びｐｉｔｃｈの値の羅列によって表現してもよい。また、外部パラメータと内部パラメータは上述のものに限るわけではない。例えば、仮想カメラのズーム値を表す情報を仮想カメラの内部パラメータとして取得してもよい。本ステップでは、ユーザインタフェイスの一例である操作部３０１を介して入力された仮想カメラの位置・姿勢に関するユーザ操作を受け付けた視点制御部２０２が、当該ユーザ操作に応じた仮想カメラの外部カメラパラメータを生成する。例えばユーザが、マウスを右方向に動かした場合には仮想カメラの姿勢が右方向へ回転するような、マウスを上方向へ動かした場合には仮想カメラの姿勢が上方向へ変化するような外部パラメータが生成される。内部パラメータについては予めＨＤＤ１０５等に保持しておいたものを読み出せばよい。こうして取得された、描画に利用する視点情報としての仮想カメラのカメラパラメータは、透過度制御部３０４と描画部３０５に出力される。
【００２０】
Ｓ４０２では、データ取得部３０３が、レンダリングに必要な画像データを、ＨＤＤ１０５又は外部サーバ１１１から取得する。具体的には、設定タイムフレームのうち処理対象フレームの撮影シーン内に含まれるオブジェクトのポリゴンデータとテクスチャデータが取得される。図５の（ａ）及び（ｂ）は撮影シーンがサッカーの試合である場合に取得されるデータの一例である。図５（ａ）は選手の３次元形状を表すポリゴンデータを示し、同（ｂ）はその表面の色や質感を表すテクスチャデータを示す。各ポリゴンデータには、選手、審判、ボール、サッカーゴールといった、各オブジェクトの属性を示す情報が付加されている。また、注目するオブジェクト（例えば、ボールや特定の選手）に対応するポリゴンデータにのみ、所定のフラグを付加して他のオブジェクトから識別可能にしておいてもよい。また、テクスチャデータを複数パターン用意しておき、設定された仮想カメラの位置・姿勢に応じて使い分けてもよい。なお、オブジェクトの３次元形状を表すデータとしては、いわゆるボクセルデータであってもよい。こうして取得されたデータは、透過度制御部３０４と描画部３０５に出力される。
【００２１】
Ｓ４０３では、透過度制御部３０４が、撮影シーン内に存在する各オブジェクトに対し、透過度の算出処理を行う。透過度算出処理の詳細については後述する。算出された各オブジェクトの透過度の情報は、描画部３０５に出力される。
【００２２】
Ｓ４０４では、描画部３０５が、データ取得部２０３から取得したデータと視点制御部２０２から取得したカメラパラメータと透過度制御部２０４から取得した各オブジェクトの透過度を基に、対象フレームの仮想視点映像を生成する。このとき、透過度とは関係なく、オブジェクトの輪郭を描画することで、オブジェクトの存在を確認できるようにしても構わない。また、透過度に合わせてオブジェクトをぼかすことで、画質の低下をより目立ちにくくしてもよい。また、透過させたオブジェクトの影の描画は透過度に合わせて濃さを調整してもよいし、透過度とは関係なく描画してもよい。レンダリングに関しては既存の技術等を適宜適用すればよく、ここでは説明を省く。生成された仮想視点映像のデータは、表示部２０６に出力される。
【００２３】
Ｓ４０５では、表示部２０６が、対象フレームの仮想視点映像データを描画部２０５から取得し表示する。続くＳ４０６では、設定フレームの全フレームについて、Ｓ４０１〜Ｓ４０５までの処理が完了したかどうかが判定される。未処理のフレームがあればＳ４０１に戻って処理が続行される。一方、全フレームについて処理が完了していれば処理を終了する。
【００２４】
以上が、画像処理装置１００で行われる、複数視点映像から仮想視点映像を生成するまでの画像処理の流れである。本実施形態のＳ４０２では、オブジェクトの形状データに加え、予め生成しておいたテクスチャデータも取得したがこれに限定されない。例えば、オブジェクトの形状データだけを取得しておき、レンダリング時に仮想カメラの視点位置に基づいて、現実の撮像画像（複数視点画像）における対応する位置の画素値から求めてもよい。
【００２５】
＜透過度算出処理＞
続いて、本実施形態の特徴である、オブジェクト毎の透過度決定処理について詳しく説明する。図６は、透過度算出処理の詳細を示すフローチャートである。以下、図６のフローに沿って説明する。
【００２６】
Ｓ６０１では、現在の動作モードが、オブジェクトの透過制御を行う動作モードであるかどうかが判定される。例えば、仮想視点映像の生成時にユーザ自身が仮想カメラの制御を行うインタラクティブな再生モードの場合は、透過制御を行う動作モードであると判定する。また、オブジェクトがサッカー選手、審判等の人物であって、当該人物の目の位置や視線の方向を仮想カメラの位置・姿勢として利用することで、選手、審判等の視界を再現する人物目線再生モードの場合は、透過制御を行わない動作モードであると判定する。人物目線再生モードの場合は、解像度の低下の問題よりもその人物の視界に写るはずのもの（仮想視点）が再現されていることが重要であるためである。人物目線再生モードは、例えば選手（名前や背番号等の選手を特定可能な情報）や審判の一覧からいずれかを選択することによって実行されるようにしてもよい。また、人物目線モードにおいてユーザが仮想視点を決定する操作を行った場合には、インタラクティブな再生モードに切り替えるようにしてもよい。また、例えばスポーツシーンの仮想視点映像に、当該シーンに関連する分析データ等を重畳表示するような動作モードの場合も、オブジェクトの透過処理を行わない方が分析データを見やすいため、透過制御を行わない動作モードであると判定する。また、ユーザがＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを用いて透過制御を行うかどうかを指定してもよい。このような基準に従いモード判定処理を行って、透過制御を行う動作モードであると判定される場合はＳ６０２へ進む。一方、透過制御を行わない動作モードであると判定される場合はＳ６０９へ進み、対象フレームに写っている（複数視点画像に含まれている）すべてのオブジェクトについて透過度αの値を最小値（実質的に透過処理が行われない透過度）に設定して本処理を抜ける。透過度αについて後述する。
【００２７】
Ｓ６０２では、対象フレームに写っているすべてのオブジェクトの中から、透過処理の対象外となる注目オブジェクトが設定される。ここで、注目オブジェクトは、サッカーのゴールシーンを対象に仮想視点映像を生成する場合であれば、シュートを行った選手とボールといった具合に、当該シーンにおいて欠くことのできない重要なオブジェクトが該当することになる。この際は、どのオブジェクトを注目オブジェクトとするかを撮影シーンに応じて予め決めておき、例えば前述のフラグ等を参照して設定する。或いは、オブジェクトの形状や大きさなどから自動で判定して設定してもよい。さらには、ユーザがＧＵＩを介して、直接に注目オブジェクトを指定するようにしてもよい。
【００２８】
Ｓ６０３では、対象フレームに写っている注目オブジェクト以外のオブジェクトの中から、透過処理の対象オブジェクトが１つ選択される。この対象オブジェクトを複数のオブジェクトの中から選択する方法は特に限定されず、ランダムであってもよいし、オブジェクトのサイズ順などで決めてもよい。また、本実施形態では、注目オブジェクト以外の全オブジェクトを順に対象オブジェクトに選択することとしているが、透過処理の対象とする特定のオブジェクトを予め決めておいてもよい。例えば、サッカーのゴールシーンを対象に仮想視点映像を生成する場合であれば、選手や審判やゴールポストは透過処理の対象となるオブジェクト、それ以外のグラウンドや観客席やボールは透過処理の対象としないオブジェクトといった具合である。さらには、ユーザがＧＵＩを介して指定できるようにしてもよい。
【００２９】
Ｓ６０４では、Ｓ６０２で設定された注目オブジェクトとＳ６０３で選択された対象オブジェクトとの距離ｄ1が算出され、当該算出距離ｄ1が所定の閾値以下であるかどうかが判定される。例えば、サッカーのゴールシーンの仮想視点映像を生成する場合であれば、注目オブジェクトであるゴールを決めた選手から一定距離（例えば、３ｍ）を閾値ｔｈとして設定する。こうすることで、ゴールを決めた選手のすぐ近くでシュートを防ごうとした相手チームの選手の動きなど、注目オブジェクトに絡む一連のプレイを視認可能にする。つまり、画質劣化よりもシーンの内容を優先した制御を行う。判定の結果、注目オブジェクトと対象オブジェクトとの距離ｄ1が閾値ｔｈ以下である場合は、対象オブジェクトを透過せずにそのまま描画するため、Ｓ６０７へ進む。一方、注目オブジェクトと対象オブジェクトとの距離ｄ1が閾値ｔｈより大きい場合は、対象オブジェクトをその距離に応じて透過させて描画するため、Ｓ６０５へ進む。
【００３０】
Ｓ６０５では、Ｓ６０３で選択された対象オブジェクトの代表点と設定された仮想カメラの視点位置（仮想視点位置）との距離ｄ2が算出され、当該算出距離ｄ2が所定の閾値以下であるかどうかが判定される。ここで、対象オブジェクトの代表点は、そのオブジェクトの位置を表す点であり、例えばモデルのローカル座標原点のグローバルな位置やモデルの中心位置である。また、ここでの閾値は、実際に透過させるかどうかを判別するための閾値である。この閾値を、上述のステップ６０４における閾値ｔｈと区別するため、以下「透過閾値Ｄｔ」と表記する。設定された仮想カメラの垂直解像度がｈ，垂直画角がθであるとき、判定処理に適用される透過閾値Ｄｔは、予め定めた基準とする仮想カメラについての透過閾値（以下、「基準透過閾値Ｄｔ_ｂ」と表記）に基づいて変化する。基準透過閾値Ｄｔ_ｂは、基準とする仮想カメラの垂直画素数ｈ_ｂ及び垂直画角θ_ｂによって定義され、当該基準とする仮想カメラにおいて透過処理を開始することになる当該基準とする仮想カメラからの距離を表す。この基準透過閾値Ｄｔ_ｂは、テスト等を行って予め決めておく。そして、実際にユーザが設定した仮想カメラの下でも、基準とする仮想カメラでの透過処理が開始される描画解像度と同じ描画解像度で透過処理が開始されるような透過閾値Ｄｔが導出され、本ステップでの判定処理に適用される。図７は、基準透過閾値Ｄｔ_ｂと透過閾値Ｄｔとの関係を説明する図である。このように、透過閾値Ｄｔを可変にすることで、仮想カメラの画角や解像度に左右されることなく実カメラで撮影した画像の解像度に合わせ、適切な透過閾値の適用が可能となる。この際、基準透過閾値Ｄｔ_ｂは、オブジェクトの種類（例えば、審判や選手）に応じて設定してもよい。さらには、個々のオブジェクト毎に（例えば、選手Ａと選手Ｂ）、或いはオブジェクトのグループ毎に（例えば、Ａチーム所属の選手とＢチーム所属の選手）で別々の基準透過閾値Ｄｔ_ｂを設定してもよい。このように、基準透過閾値Ｄｔ_ｂに基づき、判定処理に適用する透過閾値Ｄｔを設定することで、例えば、設定された仮想カメラの画角が狭い場合は透過閾値Ｄｔが大きくなり、設定された仮想カメラからの距離が遠いオブジェクトに対しても適切に透過処理がなされることになる。判定の結果、算出距離ｄ2が透過閾値Ｄｔ以下であれば、Ｓ６０６に進む。一方、算出距離ｄ2が透過閾値Ｄｔより大きければＳ６０７へ進む。
【００３１】
Ｓ６０６では、Ｓ６０５で算出した仮想カメラとオブジェクトとの距離ｄ2に基づき、対象オブジェクトについての透過度αが算出される。ここで、透過度αは、その値が０のときは不透明な状態を表し、１のときには最も透明な状態を表し、０から１の間のときには半透明の状態を表す。そして、例えば図８のグラフに示すように、距離ｄ2が短くなるほど透過度αが高くなるように算出される。図８のグラフにおいて、消失閾値Ｄｖは、設定された仮想カメラまでの距離が一定距離以内で近い場合に、対象オブジェクトが最も透明になってその存在が消失してしまうときの一定距離を示す閾値である。ただし、ここでいう“消失”は、必ずしも完全透過状態を意味せず、例えばその存在が僅かに確認できる程度の透過状態を含み得るものである。設定された仮想カメラの垂直解像度がｈ，垂直画角がθであるときの消失閾値Ｄｖは、透過閾値Ｄｔと同様に可変とする。つまり、基準とする仮想カメラで仮想視点映像を生成した際の消失閾値（基準消失閾値）Ｄｔ_ｂのときの描画解像度と同じ解像度のときに、オブジェクトが完全透過となるように（＝透過度αが最大値）となるように、設定された仮想カメラについての消失閾値Ｄｖが設定される。このとき、基準消失閾値Ｄｖ_ｂは、基準とする仮想カメラの垂直画素数ｈｂ、垂直画角θｂにおいて、当該仮想カメラからの距離がこの距離より短い場合は、対象オブジェクトの透過度αの値を１（最大値）にするという閾値である。ここでは最大値を１にしているが、上述のとおり、例えば０．９といった完全に透過しないような値を最大値としてもよい。このように対象オブジェクトの透過度αは、消失閾値Ｄｖと透過閾値Ｄｔに基づいて算出される。なお、透過度αと距離ｄ2との関係を示す図８のグラフは一例に過ぎない。例えば、図８のように線形に変化するように透過度αを設定するのに代えて、所定の２次関数を基に変化するようにしてもよく、仮想カメラから対象オブジェクトまでの距離が近いほど高い透過度になるように変化させられればよい。また、段階的に異なる距離と透過度αの値とを対応付けたルックアップテーブルを作成しておき、それを参照して透過度αを設定してもよい。このとき、対象オブジェクトが高速で仮想カメラに近づいてくる場合は、より高い透過度が設定されるように、オブジェクトの移動速度や仮想カメラの移動速度に応じて透過度αの調整を行っても構わない。調整の方法としては、例えば図８のグラフから導出される透過度αの値に対して、移動速度に応じて異なる係数を乗算して、最終的な透過度αを決定するといった方法が考えられる。具体的には、例えば基準速度のときを１．０とし、基準速度よりも高速になるに従って、１．１、１．２、１．３・・・といった具合に係数の値を大きくしていけばよい。
【００３２】
Ｓ６０７では、対象オブジェクトについての透過度αの値が、不透過を表す値（ここでは０）に設定される。
【００３３】
Ｓ６０８では、注目オブジェクト以外のすべてのオブジェクトに対する透過処理が完了したかどうかが判定される。未処理のオブジェクトがあれば、Ｓ６０３へ戻って次の対象オブジェクトが選択され透過処理が続行される。一方、注目オブジェクト以外のすべてのオブジェクトに対する透過処理が完了していれば、本処理を終了する。
【００３４】
このような処理により、注目オブジェクト以外のオブジェクトに対する透過度が算出される。本実施形態では、注目オブジェクトからの距離や仮想カメラからの距離に応じて、そのオブジェクトを透過させるかどうか及びどのくらい透過させるかを決定していたが、これに限定されない。例えば、仮想カメラから見た時に注目オブジェクトを隠ぺいする位置にあるオブジェクトについては、より高い透過度（或いは完全透過）が一律に設定されるよう構成してもよい。また、本実施形態では、透過制御を行わないモードである場合に、処理対象フレームに写っているすべてのオブジェクトについて透過度αに最小値を設定していたが、全オブジェクトを透過処理の対象外に設定した上で、Ｓ４０４で全オブジェクトに対し通常の描画処理を行うように構成してもよい。
【００３５】
以上のとおり本実施形態によれば、設定した仮想カメラから近い位置にオブジェクトが存在しても、一定の条件下で透過処理が施されるので画質の低下が目立ちにくくなる。これにより、ユーザに不快感をもたらさない高画質の仮想視点映像を得ることができる。
【００３６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３７】
１００  画像処理装置
３０１  操作部
３０２  視点制御部
３０３  データ取得部
３０４  透過度制御部
３０５  描画部
【図１】
2019144638.tif 000005
【図２】
2019144638.tif 000006
【図３】
2019144638.tif 000007
【図４】
2019144638.tif 000008
【図５】
2019144638.tif 000009
【図６】
2019144638.tif 000010
【図７】
2019144638.tif 000011
【図８】
2019144638.tif 000012
【手続補正書】
【提出日】平成30年4月12日(2018.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点の位置及び方向に関する仮想視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離である場合に、前記オブジェクトの位置と前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離である場合よりも、高い透明度で前記オブジェクトが透明化された仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記オブジェクトの位置と前記仮想視点の位置との距離が短いほど高い透明度で前記オブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクトの位置と前記仮想視点の位置との距離に基づいて前記オブジェクトの透明度を決定する決定手段を有し、
前記生成手段は、前記決定手段により決定された透明度に従って前記オブジェクトが透明化された仮想視点画像を生成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記生成手段により生成される仮想視点画像における前記オブジェクトの透明度は、前記オブジェクトの位置と前記仮想視点の位置との距離と、前記情報取得手段により取得される仮想視点情報によって特定される仮想視点の画角とに基づいて決まることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、前記オブジェクトの位置と前記仮想視点の位置との距離が第３の距離であり且つ前記仮想視点の画角が第１の画角である場合に、前記オブジェクトの位置と前記仮想視点の位置との距離が前記第３の距離であり且つ前記仮想視点情報により特定される仮想視点の画角が第１の画角よりも大きい第２の画角である場合よりも、高い透明度で前記オブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記生成手段は、前記オブジェクトの位置と前記仮想視点の位置との距離が所定の閾値以上である場合には前記オブジェクトが透明化されていない仮想視点画像を生成し、前記オブジェクトの位置と前記仮想視点の位置との距離が前記所定の閾値未満である場合には当該距離に応じて前記オブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記所定の閾値は、前記情報取得手段により取得される仮想視点情報によって特定される仮想カメラの画角及び前記画像取得手段により取得される画像に関するパラメータの少なくとも何れかに基づいて決まる閾値であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記生成手段により生成される仮想視点画像における前記オブジェクトの透明度は、前記生成手段により生成される仮想視点画像における前記オブジェクトの解像度に基づいて決まることを特徴とする請求項３乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記生成手段により生成される仮想視点画像における前記オブジェクトの透明度は、前記複数のカメラの少なくとも何れかにより撮影される前記オブジェクトとは異なる別オブジェクトの位置と前記オブジェクトの位置との距離に基づいて決まることを特徴とする請求項３乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
前記生成手段により生成される仮想視点画像における前記オブジェクトの透明度は、前記オブジェクトの移動速度及び仮想視点の移動速度の少なくとも何れかに基づいて決まることを特徴とする請求項３乃至９の何れか１項に記載の画像処理装置。
【請求項１１】
前記生成手段は、仮想視点に向かう方向における前記オブジェクトの移動速度が第１の速度である場合に、仮想視点に向かう方向における前記オブジェクトの移動速度が前記第１の速度よりも遅い第２の速度である場合よりも、より高い透明度で前記オブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトに対して、透明化を行うかを設定する設定手段を有し、
前記生成手段は、前記設定手段により透明化を行うオブジェクトとして設定されたオブジェクトが前記決定手段により決定された透明度に応じて透明化され、前記設定手段により透明化を行うオブジェクトとして設定されていないオブジェクトが透明化されていない仮想視点画像を生成する
ことを特徴とする請求項３乃至１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記生成手段は、前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトの位置及び視線の方向を仮想視点の位置及び方向とする仮想視点情報が前記情報取得手段により取得される場合には、オブジェクトの透明化が行われていない仮想視点画像を生成し、オブジェクトの位置及び視線の方向によらない仮想視点情報が前記情報取得手段により取得される場合には、前記決定手段により決定される透明度に従ってオブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３乃至１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記生成手段は、分析データが重畳された仮想視点画像を生成する場合には、オブジェクトの透明化が行われていない仮想視点画像を生成し、分析データが重畳されていない仮想視点画像を生成する場合には、前記決定手段により決定される透明度に従ってオブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３乃至１２の何れか１項に記載の画像処理装置。
【請求項１５】
前記オブジェクトには、人物及び動体の少なくとも何れかが含まれることを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記画像取得手段により取得される画像は、ポリゴンデータ、テクスチャデータ、及びボクセルデータの少なくとも何れかを含むことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得工程と、
仮想視点の位置及び方向に関する仮想視点情報を取得する情報取得工程と、
前記画像取得工程において取得される画像と前記情報取得工程において取得される仮想視点情報とに基づいて仮想視点画像を生成する生成工程であって、前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離である場合に、前記オブジェクトの位置と前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離である場合よりも、高い透明度で前記オブジェクトが透明化された仮想視点画像を生成する生成工程とを有することを特徴とする画像処理方法。
【請求項１８】
前記オブジェクトの位置と前記仮想視点の位置との距離に基づいて前記オブジェクトの透明度を決定する決定工程を有し、
前記生成工程においては、前記決定工程において決定された透明度に従って前記オブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
前記生成工程において生成される仮想視点画像における前記オブジェクトの透明度は、前記オブジェクトの位置と前記仮想視点の位置との距離と、前記情報取得工程において取得される仮想視点情報によって特定される仮想視点の画角とに基づいて決まることを特徴とする請求項１８に記載の画像処理方法。
【請求項２０】
コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明に係る画像処理装置は、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点の位置及び方向に関する仮想視点情報を取得する情報取得手段と、前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの少なくとも何れかにより撮影されるオブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離である場合に、前記オブジェクトの位置と前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離である場合よりも、高い透明度で前記オブジェクトが透明化された仮想視点画像を生成する生成手段と
を有することを特徴とする。
【手続補正書】
【提出日】平成30年6月1日(2018.6.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離であるオブジェクトの透明度が、前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離であるオブジェクトの透明度よりも高い仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記仮想視点の位置との距離が短いオブジェクトほど透明度が高い仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
オブジェクトの位置と前記仮想視点の位置との距離に基づいて当該オブジェクトの透明度を決定する決定手段を有し、
前記生成手段は、前記決定手段により決定された透明度のオブジェクトを含む仮想視点画像を生成する
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記決定手段は、オブジェクトの位置と前記仮想視点の位置との距離と、前記情報取得手段により取得される仮想視点情報によって特定される仮想視点の画角とに基づいて、当該オブジェクトの透明度を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記生成手段は、オブジェクトの位置と前記仮想視点の位置との距離が第３の距離であり且つ前記仮想視点の画角が第１の画角である場合に、当該オブジェクトの位置と前記仮想視点の位置との距離が前記第３の距離であり且つ前記仮想視点情報により特定される仮想視点の画角が第１の画角よりも大きい第２の画角である場合よりも、当該オブジェクトの透明度が高い仮想視点画像を生成することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記複数のオブジェクトのうち、前記仮想視点の位置との距離が所定の閾値以上であるオブジェクトは透明化されず、且つ、前記仮想視点の位置との距離が前記所定の閾値未満であるオブジェクトは透明化された仮想視点画像を生成することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記所定の閾値は、前記情報取得手段により取得される仮想視点情報によって特定される仮想視点の画角及び前記画像取得手段により取得される画像の画質に関するパラメータの少なくとも何れかに基づいて決まる閾値であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記生成手段により生成される仮想視点画像におけるオブジェクトの透明度は、当該仮想視点画像における当該オブジェクトの解像度に対応することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
前記決定手段は、第１のオブジェクトの位置と前記仮想視点の位置との距離、及び、当該第１のオブジェクトとは異なる第二のオブジェクトの位置と前記第１のオブジェクトの位置との距離に基づいて、前記第１のオブジェクトの透明度を決定することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１０】
前記決定手段は、オブジェクトの位置と前記仮想視点の位置との距離と、当該オブジェクトの移動速度及び仮想視点の移動速度の少なくとも何れかとに基づいて、当該オブジェクトの透明度を決定することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１１】
前記生成手段は、仮想視点に向かう方向における移動速度が第１の速度であるオブジェクトの透明度が、仮想視点に向かう方向における移動速度が前記第１の速度よりも遅い第２の速度であるオブジェクトの透明度よりも高い仮想視点画像を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記複数のオブジェクトのうち１以上のオブジェクトそれぞれに対して、透過処理を行うかを設定する設定手段を有し、
前記生成手段は、前記設定手段により透過処理を行うオブジェクトとして設定されたオブジェクトが前記決定手段により決定された透明度に応じて透明化された仮想視点画像であり、且つ、前記設定手段により透過処理を行うオブジェクトとして設定されていないオブジェクトが透明化されていない仮想視点画像を生成する
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１３】
前記生成手段は、前記複数のオブジェクトの何れかの位置及び視線の方向を仮想視点の位置及び方向とする仮想視点情報が前記情報取得手段により取得される場合には、オブジェクトの透明化が行われていない仮想視点画像を生成し、オブジェクトの位置及び視線の方向によらない仮想視点情報が前記情報取得手段により取得される場合には、前記決定手段により決定される透明度に従ってオブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１４】
前記生成手段は、分析データが重畳された仮想視点画像を生成する場合には、オブジェクトの透明化が行われていない仮想視点画像を生成し、分析データが重畳されていない仮想視点画像を生成する場合には、前記決定手段により決定される透明度に従ってオブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３又は４に記載の画像処理装置。
【請求項１５】
前記オブジェクトは人物であることを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記画像取得手段により取得される画像は、ポリゴンデータ、テクスチャデータ、及びボクセルデータの少なくとも何れかを含むことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて仮想視点画像を生成する生成手段であって、前記複数のカメラの撮影対象領域内のオブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離である場合に、当該オブジェクトの位置と前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離である場合よりも、当該オブジェクトの透明度が高い仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理装置。
【請求項１８】
オブジェクトの位置と前記仮想視点の位置との距離に基づいて当該オブジェクトの透明度を決定する決定手段を有し、
前記生成手段は、前記決定手段により決定された透明度のオブジェクトを含む仮想視点画像を生成する
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記生成手段は、前記撮影対象領域内のオブジェクトの位置と前記仮想視点の位置との距離が第３の距離であり且つ前記仮想視点の画角が第１の画角である場合に、当該オブジェクトの位置と前記仮想視点の位置との距離が前記第３の距離であり且つ前記仮想視点情報により特定される仮想視点の画角が第１の画角よりも大きい第２の画角である場合よりも、当該オブジェクトの透明度が高い仮想視点画像を生成することを特徴とする請求項１７又は１８に記載の画像処理装置。
【請求項２０】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得工程と、
仮想視点の位置及び方向を示す仮想視点情報を取得する情報取得工程と、
前記画像取得工程において取得される画像と前記情報取得工程において取得される仮想視点情報とに基づいて仮想視点画像を生成する生成工程であって、前記複数のカメラの撮影対象領域内に位置する複数のオブジェクトのうち、前記仮想視点情報により特定される仮想視点の位置との距離が第１の距離であるオブジェクトの透明度が、前記仮想視点の位置との距離が前記第１の距離よりも大きい第２の距離であるオブジェクトの透明度よりも高い仮想視点画像を生成する生成工程とを有することを特徴とする画像処理方法。
【請求項２１】
オブジェクトの位置と前記仮想視点の位置との距離に基づいて当該オブジェクトの透明度を決定する決定工程を有し、
前記生成工程においては、前記決定工程において決定された透明度のオブジェクトを含む仮想視点画像を生成することを特徴とする請求項２０に記載の画像処理方法。
【請求項２２】
前記決定工程において、オブジェクトの位置と前記仮想視点の位置との距離と、前記情報取得工程において取得される仮想視点情報によって特定される仮想視点の画角とに基づいて、当該オブジェクトの透明度を決定することを特徴とする請求項２１に記載の画像処理方法。
【請求項２３】
コンピュータを、請求項１乃至１９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【手続補正書】
【提出日】平成30年8月8日(2018.8.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、
仮想視点の位置、方向、及び仮想視点に対応する画角を表す仮想視点情報を取得する情報取得手段と、
前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて、前記仮想視点情報により特定される仮想視点に応じた仮想視点画像を生成する生成手段と、
を有し、
前記生成手段により生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置の所定のオブジェクトの透明度は、前記生成手段により生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置のオブジェクトの透明度よりも高い
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記仮想視点情報により特定される仮想視点に対応する画角に応じた仮想視点画像であって、前記複数のカメラの撮影領域内に位置する複数のオブジェクトのうち前記仮想視点情報により特定される仮想視点の位置との距離が短いオブジェクトほど透明度が高い仮想視点画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
オブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離と、前記仮想視点情報により特定される仮想視点に対応する画角とに基づいて、当該オブジェクトの透明度を決定する決定手段を有し、
前記生成手段は、前記決定手段により決定された透明度のオブジェクトを含む仮想視点画像を生成することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
仮想視点の位置、方向、及び仮想視点に対応する画角を表す前記仮想視点情報は、仮想視点に対応するズーム値の情報を含むことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記所定の距離は、前記仮想視点画像の解像度に基づいて決まる距離であることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記生成手段は、前記複数のオブジェクトのうち、前記仮想視点の位置との距離が所定の閾値以上であるオブジェクトは透明化されず、且つ、前記仮想視点の位置との距離が前記所定の閾値未満であるオブジェクトは透明化された仮想視点画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記所定の閾値は、前記情報取得手段により取得される仮想視点情報によって特定される仮想視点に対応する画角に基づいて決まる閾値であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、オブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離と、前記仮想視点情報により特定される仮想視点に対応する画角と、前記仮想視点画像の解像度とに基づいて、当該オブジェクトの透明度を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項９】
前記決定手段は、前記仮想視点情報により特定される仮想視点に対応する画角、第１のオブジェクトの位置と前記仮想視点の位置との距離、及び、当該第１のオブジェクトとは異なる第２のオブジェクトの位置と前記第１のオブジェクトの位置との距離に基づいて、前記第１のオブジェクトの透明度を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記仮想視点情報により特定される仮想視点に対応する画角と、オブジェクトの位置と前記仮想視点の位置との距離と、当該オブジェクトの移動速度及び仮想視点の移動速度の少なくとも何れかに基づいて、当該オブジェクトの透明度を決定することを特徴とする請求項３に記載の画像処理装置。
【請求項１１】
前記生成手段は、前記仮想視点情報により特定される仮想視点に対応する画角に応じた仮想視点画像であって、仮想視点に向かう方向における移動速度が第１の速度であるオブジェクトの透明度が、仮想視点に向かう方向における移動速度が前記第１の速度よりも遅い第２の速度であるオブジェクトの透明度よりも高い仮想視点画像を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記複数のカメラの撮影領域内に位置する複数のオブジェクトのうち１以上のオブジェクトそれぞれに対して、透過処理を行うかを設定する設定手段を有し、
前記生成手段は、前記設定手段により透過処理を行うオブジェクトとして設定されたオブジェクトが前記決定手段により決定された透明度に応じて透明化された仮想視点画像であり、且つ、前記設定手段により透過処理を行うオブジェクトとして設定されていないオブジェクトが透明化されていない仮想視点画像を生成する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項１３】
前記生成手段は、前記複数のカメラの撮影領域内に位置する複数のオブジェクトの何れかの位置及び視線の方向を仮想視点の位置及び方向とする仮想視点情報が前記情報取得手段により取得される場合には、オブジェクトの透明化が行われていない仮想視点画像を生成し、オブジェクトの位置及び視線の方向によらない仮想視点情報が前記情報取得手段により取得される場合には、前記決定手段により決定される透明度に従ってオブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項１４】
前記生成手段は、分析データが重畳された仮想視点画像を生成する場合には、オブジェクトの透明化が行われていない仮想視点画像を生成し、分析データが重畳されていない仮想視点画像を生成する場合には、前記決定手段により決定される透明度に従ってオブジェクトが透明化された仮想視点画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項１５】
前記所定のオブジェクトは人物であることを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記画像取得手段により取得される画像は、ポリゴンデータ、テクスチャデータ、及びボクセルデータの少なくとも何れかを含むことを特徴とする請求項１乃至１５の何れか１項に記載の画像処理装置。
【請求項１７】
複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得工程と、
仮想視点の位置、方向、及び仮想視点に対応する画角を表す仮想視点情報を取得する情報取得工程と、
前記画像取得工程において取得される画像と前記情報取得工程において取得される仮想視点情報とに基づいて、前記仮想視点情報により特定される仮想視点に応じた仮想視点画像を生成する生成工程を有し、
前記生成工程において生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置の所定のオブジェクトの透明度は、前記生成工程において生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置のオブジェクトの透明度よりも高い
ことを特徴とする画像処理方法。
【請求項１８】
前記生成工程は、前記仮想視点情報により特定される仮想視点に対応する画角に応じた仮想視点画像であって、前記複数のカメラの撮影領域内に位置する複数のオブジェクトのうち前記仮想視点情報により特定される仮想視点の位置との距離が短いオブジェクトほど透明度が高い仮想視点画像を生成することを特徴とする請求項１７に記載の画像処理方法。
【請求項１９】
オブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離と、前記仮想視点情報により特定される仮想視点に対応する画角とに基づいて、当該オブジェクトの透明度を決定する決定工程を有し、
前記生成工程においては、前記決定工程において決定された透明度のオブジェクトを含む仮想視点画像を生成することを特徴とする請求項１７又は１８に記載の画像処理方法。
【請求項２０】
仮想視点の位置、方向、及び仮想視点に対応する画角を表す前記仮想視点情報は、仮想視点に対応するズーム値の情報を含むことを特徴とする請求項１７乃至１９の何れか１項に記載の画像処理方法。
【請求項２１】
前記所定の距離は、前記仮想視点画像の解像度に基づいて決まる距離であることを特徴とする請求項１７乃至２０の何れか１項に記載の画像処理方法。
【請求項２２】
前記決定工程は、オブジェクトの位置と前記仮想視点情報により特定される仮想視点の位置との距離と、前記仮想視点情報により特定される仮想視点に対応する画角と、前記仮想視点画像の解像度とに基づいて、当該オブジェクトの透明度を決定することを特徴とする請求項１９に記載の画像処理方法。
【請求項２３】
コンピュータを、請求項１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明に係る画像処理装置は、複数のカメラによる複数の方向からの撮影に基づく画像を取得する画像取得手段と、仮想視点の位置、方向、及び仮想視点に対応する画角を表す仮想視点情報を取得する情報取得手段と、前記画像取得手段により取得される画像と前記情報取得手段により取得される仮想視点情報とに基づいて、前記仮想視点情報により特定される仮想視点に応じた仮想視点画像を生成する生成手段と、を有し、前記生成手段により生成される第１の画角に対応する第１仮想視点に応じた仮想視点画像における前記第１仮想視点の位置から所定距離離れた位置の所定のオブジェクトの透明度は、前記生成手段により生成される前記第１の画角よりも大きい第２の画角に対応する第２仮想視点に応じた仮想視点画像における前記第２仮想視点の位置から前記所定距離離れた位置のオブジェクトの透明度よりも高い前記複数のカメラの撮影対象領域内に位置することを特徴とする。