(57)【要約】【課題】任意視点の画像を生成する際に、計算負荷を低減し、計算処理効率を高めることができるとともに、生成画像の画質を向上させる。【解決手段】対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置であって、複数の入力カメラの画像から対象物の３次元形状の計算して求める手段と、仮想カメラの画角情報を決定する手段と、３次元形状を画角情報に基づき仮想カメラの画像上に投影処理する手段と、仮想カメラ画像の各画素について、仮想カメラ座標系における奥行き値を計算して求める手段と、奥行き値の集合について、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ指標が最大となるように最適化を行う手段と、最適化された仮想カメラの全画素の奥行き値に基づき、仮想カメラの画像の画素値を計算して求めることにより仮想カメラの画像を生成する手段とを備える。【選択図】図１
2014010805.tif 000002
【特許請求の範囲】
【請求項１】
対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置であって、
前記複数の入力カメラの画像から前記対象物の３次元形状を計算して求める３次元形状計算手段と、
前記仮想カメラの画角情報を決定する画角情報決定手段と、
前記３次元形状を前記画角情報に基づき前記仮想カメラの画像上に投影処理する投影手段と、
前記仮想カメラ画像の各画素について、仮想カメラ座標系における奥行き値を計算して求める奥行き計算手段と、
前記奥行き値の集合について、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ指標が最大となるように最適化を行う最適化処理手段と、
前記最適化された前記仮想カメラの全画素の奥行き値に基づき、前記仮想カメラの画像の画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置が行う画像処理方法であって、
前記複数の入力カメラの画像から前記対象物の３次元形状を計算して求める３次元形状計算ステップと、
前記仮想カメラの画角情報を決定する画角情報決定ステップと、
前記３次元形状を前記画角情報に基づき前記仮想カメラの画像上に投影処理する投影ステップと、
前記仮想カメラ画像の各画素について、仮想カメラ座標系における奥行き値を計算して求める奥行き計算ステップと、
前記奥行き値の集合について、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ指標が最大となるように最適化を行う最適化処理ステップと、
前記最適化された前記仮想カメラの全画素の奥行き値に基づき、前記仮想カメラの画像の画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成ステップと
を有することを特徴とする画像処理方法。
【請求項３】
コンピュータを、請求項１に記載の画像処理装置として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点画像から任意視点の画像を生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来から、多視点カメラによって撮影された画像データをコンピュータ内部で融合し、任意視点からの見え方を提示する任意視点画像合成技術が知られている（例えば、非特許文献１参照）。任意視点画像合成には、多視点から撮影された物体のシルエットとカメラの光学中心によって形成される錐体の積集合空間であるＶｉｓｕａｌ  Ｈｕｌｌを用いるのが一般的である。任意視点画像合成は、Ｖｉｓｕａｌ  Ｈｕｌｌを用いた対象物の３Ｄ（３次元）形状を求めた後、形状の精細化を図る処理を経て、仮想カメラの視線情報（視点位置、視線方向）に従い、テクスチャ計算を行うことにより行う。
【０００３】
任意視点画像の合成においては、マルチカメラシステムによる多視点画像を入力とし、合成対象の３Ｄ形状を求め、形状表面のテクスチャを計算するという一連の計算処理であるが、合成画像の画質を大きく左右する計算指標に３Ｄ形状の正確さと空間解像度が含まれる。
【０００４】
図４は、従来技術による任意視点画像合成の処理動作を示すフローチャートである。図４を参照して、従来技術による任意視点画像合成の処理動作を説明する。ます、マルチカメラシステムを用い、多視点で撮影した画像から、Ｖｉｓｕａｌ  Ｈｕｌｌを用いた対象物の３Ｄ形状を計算する（ステップＳ１１）。このステップで求まった形状は、正確さに欠け、対象物の形状を近似した状態である。次に、Ｖｉｓｕａｌ  Ｈｕｌｌを公知の方法で、正確な形状に近づける計算を行う（ステップＳ１２）。これにより、複数の視点に対応した対象シルエットが求まる。
【０００５】
次に、任意視点画像を合成するための仮想カメラの視点位置および視線方向などの情報（仮想カメラの画角情報）を決定する（ステップＳ１３）。そして、決定された仮想カメラの画角情報に基づき、３Ｄ形状表面のテクスチャを計算してテクスチャ・マッピングを行う（ステップＳ１４）。最後に、求められた仮想カメラ画像の描画処理を行う（ステップＳ１５）。これにより任意視点画像が合成されて表示されることになる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Matsuyama T. and Takai T. and Wu X. and Nobuhara S.: "Gener-ation, Editing, and Visualization of 3D Video", "The Transactions of The Virtual Reality Society of Japan", No.4 Vol.7, pp."521-532"(2002).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来技術による任意視点画像合成にあっては、３Ｄ形状の精細化処理（Ｖｉｓｕａｌ  Ｈｕｌｌの精細化：ステップＳ１２）の後で仮想カメラの画角を決定しており、３Ｄ形状の精細化の処理が仮想カメラの画角情報と無関係に実施されるため、精細化の対象が３Ｄ形状全体となり、計算負荷が高く、計算処理効率も悪いという問題がある。
【０００８】
本発明は、このような事情に鑑みてなされたもので、任意視点の画像を生成する際に、計算負荷を低減し、計算処理効率を高めることができるとともに、生成される画像の画質を向上させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置であって、前記複数の入力カメラの画像から前記対象物の３次元形状を計算して求める３次元形状計算手段と、前記仮想カメラの画角情報を決定する画角情報決定手段と、前記３次元形状を前記画角情報に基づき前記仮想カメラの画像上に投影処理する投影手段と、前記仮想カメラ画像の各画素について、仮想カメラ座標系における奥行き値を計算して求める奥行き計算手段と、前記奥行き値の集合について、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ指標が最大となるように最適化を行う最適化処理手段と、前記最適化された前記仮想カメラの全画素の奥行き値に基づき、前記仮想カメラの画像の画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成手段とを備えることを特徴とする。
【００１０】
本発明は、対象物を異なる位置から撮像した複数の入力カメラの画像から、任意の視点位置に配置された仮想カメラの画像を生成する画像処理装置が行う画像処理方法であって、前記複数の入力カメラの画像から前記対象物の３次元形状を計算して求める３次元形状計算ステップと、前記仮想カメラの画角情報を決定する画角情報決定ステップと、前記３次元形状を前記画角情報に基づき前記仮想カメラの画像上に投影処理する投影ステップと、前記仮想カメラ画像の各画素について、仮想カメラ座標系における奥行き値を計算して求める奥行き計算ステップと、前記奥行き値の集合について、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ指標が最大となるように最適化を行う最適化処理ステップと、前記最適化された前記仮想カメラの全画素の奥行き値に基づき、前記仮想カメラの画像の画素値を計算して求めることにより前記仮想カメラの画像を生成する画像生成ステップとを有することを特徴とする。
【００１１】
本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。
【発明の効果】
【００１２】
本発明によれば、任意視点画像生成における仮想カメラの画角情報に基づき３Ｄ形状精細化を行うことで、精細化の対象領域を限定することができるため、計算負荷を低減し、計算処理効率を高めることができるとともに、生成される画像の画質を向上させることができるという効果が得られる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す画像処理部４の動作を示すフローチャートである。
【図３】図２に示す可視領域のＶｉｓｕａｌ  Ｈｕｌｌの精細化（ステップＳ１６）の処理動作の詳細を示すフローチャートである。
【図４】従来技術による任意視点画像合成の処理動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の一実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１１〜１３は、マルチカメラを構成する複数の撮像部である。撮像部１１〜１３は、それぞれ設定が異なるズームレンズが装着されたカメラで構成する。図１においては、３台の撮像部を図示したが、４台以上であってもよく、通常は１２台程度備えているのが望ましい。符号２は、複数の撮像部１１〜１３から出力する画像データを記憶する画像記憶部である。符号３は、所望の任意視点位置を入力する視点入力部である。視点入力部３は、ユーザが所望の視点位置を指定するための入力操作を行う機能を有している。
【００１５】
符号４は、視点入力部３によって入力された任意の視点位置から見た画像を合成する画像処理部である。符号５は、画像処理部４において合成された画像を表示する画像表示部であり、ディスプレイ装置等で構成する。なお、画像処理装置の構成を図１を参照して説明するに際して、多視点画像から任意視点の画像を合成する画像処理装置が普通に有する公知の機能・構成については、本発明の説明に直接関わりがない限り、その説明及び構成の図示を省略する。なお、本明細書の説明においては、動画像（映像）の１フレーム分を画像と称している。
【００１６】
次に、図２を参照して、図１に示す画像処理部４の動作を説明する。図２は、図１に示す画像処理部４の動作を示すフローチャートである。図２において、図４に示す従来技術による処理動作と同一の部分には同一の符号を付し、その説明を省略する。この図に示す処理動作が従来技術による処理動作と異なる点は、Ｖｉｓｕａｌ  Ｈｕｌｌの精細化処理（ステップＳ１２）を行わず、仮想カメラ画角の決定処理（ステップＳ１３）の後に、可視領域のみについてＶｉｓｕａｌ  Ｈｕｌｌの精細化処理（ステップＳ１６）を行うようにした点である。
【００１７】
画像処理部４は、視点入力部３からの視点位置情報に基づき、仮想カメラの画角情報（視点位置、視線方向、画角）を決定すると（ステップＳ１３）、仮想カメラの画角情報に応じて、精細化を行う領域を限定し、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙと呼ばれる評価指標を向上するように３Ｄ形状の精細化を行う（ステップＳ１６）。そして、決定された仮想カメラの画角情報に基づき、３Ｄ形状表面のテクスチャを計算してテクスチャ・マッピングを行う（ステップＳ１４）。
【００１８】
次に、図３を参照して、図２に示すＶｉｓｕａｌ  Ｈｕｌｌの精細化処理（ステップＳ１６）の詳細を説明する。図３は、図２に示す可視領域のＶｉｓｕａｌ  Ｈｕｌｌの精細化（ステップＳ１６）の処理動作の詳細を示すフローチャートである。説明を簡単にするために、次の表記を定義する。３Ｄ形状をＳ、仮想カメラを＾ｃ（＾はｃの上に付く、以下、同様）、入力カメラをｃｉ∈Ｃ（ｉ＝１，．．．，ｎ）とする。
【００１９】
まず、仮想カメラ画角が決定すると、画像処理部４は、３Ｄ形状Ｓを仮想カメラ＾ｃの画面（合成すべき画像）上に投影する（ステップＳ１６１）。続いて、画像処理部４は、仮想カメラ＾ｃ画面上の１画素ｐを選択し（ステップＳ１６２）、選択された画素ｐについて、仮想カメラ＾ｃのカメラ座標系の奥行き（視点から対象物までの距離）ｄｐを計算する（ステップＳ１６３）。画像処理部４は、ステップＳ１６２、Ｓ１６３の処理を仮想カメラ＾ｃの全ての画素について繰り返し行う。これにより、仮想カメラ＾ｃに基づく仮想距離画像が得られることになる。
【００２０】
次に、画像処理部４は、得られた仮想距離画像のｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙの最適化を行う（ステップＳ１６４）。ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙとは、３Ｄ形状の正確さを表す指標の一つである。３Ｄ空間中の１点について、複数のカメラで撮影された場合、それぞれのカメラ上の画素値を比較し、カメラ間の一致度が考えられる。実際には、カメラ間の画素の相違を表すエラー関数を定義し、３Ｄ形状が点の集合と考え、すべての点におけるエラー関数の結合をｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙの逆数と定義される。３Ｄ形状Ｓが正確に求まった場合、表面のすべての点において、エラー値が０となる。
【００２１】
ここでは、仮想距離画像上の１画素ｐについて、真の距離をｄｐ＋δｐと定義し、エラー関数Ｅｐ（δｐ）を（１）式のように定義する。
【数１】
2014010805.tif 000003
ただし、Ｃｑは全入力カメラＣのうち、画素ｐに対応する３Ｄ形状Ｓ表面の点が撮影されるカメラの集合を表す。ＺＮＣＣ（πδｐ，ｃｉ，ｃｊ）は、微小平面πδｐをカメラｃｉとｃｊの画像上に投影した位置での画素値の間のＺＮＣＣ（zero-mean-cross-correlation）である。また、｜Ｃｑ｜Ｃ２はカメラ集合Ｃｑから２台のカメラを選ぶ組み合わせの数である。
【００２２】
ここでは、Ｅｐ（δｐ）に加え、エラー関数Ｅｄ（δｐ）及びＥｃ（δｐ，δｐ’）を組み合わせる。
Ｅｄ（δｐ）＝｜δｐ｜    （２）
Ｅｃ（δｐ，δｐ’）＝｜δｐ−δｐ’｜    （３）
【００２３】
よって、最適化の目的関数を次のように定義する。
【数２】
2014010805.tif 000004
ただし、Ｐは全画素の集合、Ｎは画素間の連結関係の集合であり、λｐ，λｄ，λｃは各項の重み係数である。
【００２４】
次に、画像処理部４は、テクスチャ・マッピングを行う（ステップＳ１４）。以降の処理動作は従来技術（図４に示す処理動作）と同様である。
【００２５】
以上説明したように、３Ｄ形状の精細化を仮想カメラ画角の決定処理の後に行うようにしたため、仮想カメラ画角情報に基づき可視領域のみを精細化することができるため、処理の負荷を低減することができ、計算処理効率を向上させることができる。また、任意視点画像の合成においては、マルチカメラシステムによる多視点画像を入力とし、合成対象の３Ｄ  形状を求め、形状表面のテクスチャを計算するという一連の計算処理であるが、合成画像の画質を大きく左右する計算指標に３Ｄ形状の正確さと空間解像度が含まれる。本実施形態では仮想カメラの画角情報に基づき、３Ｄ形状のｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙを向上することにより、合成画像の高画質化を図ることができる。
【００２６】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより任意視点画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００２７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００２８】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００２９】
対象の３Ｄ形状に基づく任意視点画像合成技術は、画像配信の付加価値を高め、インタラクティブな視聴体験を実現する。さらに、臨場感の高い遠隔テレビ会議や、テレワークスを可能にし、画像通信のキラーアプリの創出に大いに貢献できると期待できる。
【符号の説明】
【００３０】
１１、１２、１３・・・撮像部、２・・・画像記憶部、３・・・視点入力部、４・・・画像処理部、５・・・画像表示部
【図１】
2014010805.tif 000005
【図２】
2014010805.tif 000006
【図３】
2014010805.tif 000007
【図４】
2014010805.tif 000008