(57)【要約】【課題】撮影方向の異なる複数のカメラの画像を合成処理して、撮影方向と視線方向を一致させた画像を生成する任意視点画像合成装置を提供する。【解決手段】カメラパラメータ記憶部２６に記憶したパラメータに基づいて、座標変換部２１，２２，２３では、各カメラ２Ａ，２Ｂ，２Ｃからの画像を座標変換する。その変換画像を、距離推定部２４、及び画像合成部２５へ渡す。距離推定部２４では、３枚の画像に対し、２枚１組ずつブロックマッチングによる評価を行う。画像合成部２５では、作成した被写体の距離画像に対し、座標変換画像から対応する画素の色を抽出して貼り付けて、仮想カメラ視点の画像を合成する。【選択図】図３
2010250452.tif 000002
【特許請求の範囲】
【請求項１】
表示装置の表示部周囲の上部、右側面部、左側面部の少なくとも３箇所に設置され、被写体の画像を撮影するカメラと、
前記カメラにより撮影された各画像に基づいて、被写体の視線方向にある仮想カメラから撮影された画像を合成する画像合成処理部と、
を備え、
前記画像合成処理部は、
前記カメラのカメラキャリブレーションによるカメラパラメータを用いてカメラ座標系から仮想カメラ座標系に変換する座標変換部と、
前記座標変換部で変換した画像に対し被写体の距離モデルを推定する距離推定部と、
前記被写体の距離モデルより仮想カメラ視点の画像を合成する画像合成部と
を備えることを特徴とする任意視点画像合成装置。
【請求項２】
前記距離推定部は、
前記座標変換部で変換した画像に対し、２枚１組ずつブロックマッチングによる評価を行い、仮想平面距離を距離推定を行う範囲で変化させ、全ての距離において評価を行い、評価値がもっとも小さな距離を注目画素の距離値として求めて、被写体の距離モデルを推定することを特徴とする請求項１に記載の任意視点画像合成装置。
【請求項３】
前記距離推定部は、
前記ブロックマッチングによる評価を変則形ブロックで行うことを特徴とする請求項２に記載の任意視点画像合成装置。
【請求項４】
前記画像合成部は、
前記座標変換部で変換した画像から前記被写体の距離モデルに対応する画素の色を抽出して貼り付けることを特徴とする請求項１乃至３のいずれかに記載の任意視点画像合成装置。
【請求項５】
前記画像合成部は、
前記距離値より仮想カメラの画素に対応する周囲のカメラの画素を１対１の関係で求めることを特徴とする請求項４に記載の任意視点画像合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ会議システムまたはテレビ電話システムに適用可能な任意視点画像合成装置に関するものであり、表示装置の周囲に配置した複数のカメラからの被写体画像を、利用者の視点位置に応じた画像に合成する任意視点画像合成装置に関するものである。
【背景技術】
【０００２】
テレビ会議システムやテレビ電話システム等のテレビ対話システムにおいて動画像より得られる非言語情報は、身振り、姿勢等、様々なものがある。その中でも、視線は、発言に対する自信や相手に対する信頼の有無を示したり、相手に発言を促したりと互いの気持ちや雰囲気の伝達に大きく寄与する情報である。そのためテレビ対話システムでは、端末の利用者同士が実空間と同じように視線を正確に得られることが重要となる。
【０００３】
しかし、現状のテレビ対話システムではこれを実現することは容易ではない。１対１の対話において互いが正面を向き合った時に視線を一致させるためには、利用者を撮影するカメラをディスプレイ中央部に配置することが必要である。この場合、正面方向を向いた画像を得ることができるが、カメラがディスプレイの画像を遮るために実用的な配置とは言えない。そのため、カメラをディスプレイ周辺部に配置することになるが、この場合、カメラの撮影方向と利用者の視線方向にズレが生じるため、正面を向いていない画像を得ることになる。この視線がズレた画像をシステムで利用した場合、対話する相手と視線を合わせることができないという問題が生じる。特にこの問題は大型ディスプレイ利用時に顕著に表れる。
【０００４】
前述のように視線はコミュニケーションにとって重要な情報であるため、視線の不一致は動画像を利用して対話を行う利点を大きく損なってしまう。これまで、ハードウェア及びアルゴリズムの観点から視線が一致しない問題の解決が試みられている。従来より、ハーフミラーを用いたシステムが数多く知られているが、装置がかさばる、箱を覗き込む感じ（画像が奥に見える）、カメラが奥にあり真正面にいる必要がある、等の課題があり、主流になっていない。
【０００５】
このような問題を解決するために、ディスプレイ中央視点の画像を周囲のカメラから合成することで、視線一致を実現する方法が知られている（例えば、後述の特許文献１、２参照）。
【０００６】
特許文献１のネットワーク会議画像処理装置においては、２台のビデオカメラ、ディスプレイ装置、画像処理部、画像合成部、視点検出部、画像表示処理部、画像作成部、表示制御部及び伝送路を有し、他のネットワーク会議画像処理装置との間で画像情報、視点情報及び画像制御情報を伝送し、この情報によって会議者の視点の位置変化に対応して伝送する画像の撮影位置及び撮影範囲を変化させ、会議者の視点の移動に対応して、その視線を一致させることができる。
【０００７】
また、特許文献２の画像処理装置および画像処理方法においては、ディスプレイの両側に複数のカメラを配置した撮影部で撮影された入力画像より、被写体の３次元情報を抽出し、その３次元情報と受信者の自由な視点位置の情報より再構成・表示部で被写体の出力画像を表示する。これにより利用者の視線一致を可能にし、受信者の自由な視点位置での送信者の画像を生成することができる。
【０００８】
また、予め撮影した視線の一致した目の画像を対話者の顔に貼り付けるような簡易的な方法も知られている（例えば、後述の特許文献３参照）。特許文献３の撮像機能付携帯電話機とその制御方法及び制御プログラムにおいては、カメラに対して視線が一致した画像を記憶部に予め記憶しておき、カメラが撮影する通話中の通話者の画像に、予め記憶されている視線が一致した画像を、貼り付けて視線が補正された画像を作成し、視線が補正された画像を相手通話者に送信することができる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１１−３５５８０４号公報
【特許文献２】特開２００１−５２１７７号公報
【特許文献３】特開２００５−１１７１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１〜２の画像処理装置では、特徴点ベースで３次元位置を推定し、空間モデルにマッピングするため、２次元画像としての画質が劣化し、自然なコミュニケーションの妨げになる、という課題があった。特に、顔または目の画質の劣化や不自然さは、視線一致等の自然なコミュニケーションに悪影響を及ぼす、という課題があった。また、ディスプレイに表示した目の位置に撮影方向と視線方向を一致させた仮想カメラを正確に設置できず、不自然な視線となる、という課題もあった。
【００１１】
また、特許文献３は、予め撮影した正面の目を貼り付けるため、目だけは正面を見ている感じはあるものの、顔全体として見た場合、不自然な画像になる、という課題があった。特に、正面の目は予め撮影した静止画のため、動画像にした場合、目の部分だけ動きが無いという不自然な画像になり、動画像には適用できない、という課題もあった。
【００１２】
本発明は、このような事情に鑑みてなされたもので、撮影方向の異なる複数のカメラの画像を合成処理して、撮影方向と視線方向を一致させた画像を生成する任意視点画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、表示装置の表示部周囲の上部、右側面部、左側面部の少なくとも３箇所に設置され、被写体の画像を撮影するカメラと、前記カメラにより撮影された各画像に基づいて、被写体の視線方向にある仮想カメラから撮影された画像を合成する画像合成処理部と、を備え、
前記画像合成処理部は、前記カメラのカメラキャリブレーションによるカメラパラメータを用いてカメラ座標系から仮想カメラ座標系に変換する座標変換部と、前記座標変換部で変換した画像に対し被写体の距離モデルを推定する距離推定部と、前記被写体の距離モデルより仮想カメラ視点の画像を合成する画像合成部とを備えることを特徴とする任意視点画像合成装置である。
【００１４】
ここで、前記距離推定部は、前記座標変換部で変換した画像に対し、２枚１組ずつブロックマッチングによる評価を行い、仮想平面距離を距離推定を行う範囲で変化させ、全ての距離において評価を行い、評価値がもっとも小さな距離を注目画素の距離値として求めて、被写体の距離モデルを推定することを特徴とする。
【００１５】
また、前記距離推定部は、前記ブロックマッチングによる評価を変則形ブロックで行うことを特徴とする。
【００１６】
また、前記画像合成部は、前記座標変換部で変換した画像から前記被写体の距離モデルに対応する画素の色を抽出して貼り付けることを特徴とする。
【００１７】
また、前記画像合成部は、前記距離値より仮想カメラの画素に対応する周囲のカメラの画素を１対１の関係で求めることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、上記構成とすることにより、正面画像を高画質化でき、視線一致感が向上するという効果が得られる。また、特に目の周辺領域の画質を向上させることにより、一層、視線一致感を向上することが可能となり、テレビ対話システムに適用可能な任意視点画像合成装置を実現することができる。
【００１９】
また、本発明によれば、前記距離推定部において、前記カメラから取得した画像を変則形ブロックでブロックマッチングを行うため、オクルージョン影響を減らすことができ、正面画像の合成結果を高画質化することができる。すなわち、視線一致感が向上するという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態による任意視点画像合成システムの構成を示すブロック図である。
【図２】図１に示した実施の形態による任意視点画像合成システムのフローチャートである。
【図３】図１に示した実施の形態による画像合成処理部のブロック図である。
【図４】図３に示した画像合成処理部の詳細な処理内容を記載したブロック図である。
【図５】図４に示した実施の形態による画像合成処理部のフローチャートである。
【図６】距離推定部の詳細なフローチャートである。
【図７】ピンホールカメラモデルの説明図である。
【図８】画像平面を前に出したピンホールカメラモデルの説明図である。
【図９】世界座標系とカメラ座標系の関係の説明図である。
【図１０】ピンホールカメラモデルを実際のカメラに適用した場合の問題点についての説明図であり、（ａ）は実際のカメラモデル、（ｂ）は非直交座標軸がもたらす画像歪みである。
【図１１】カメラ内部変数の説明図である。
【図１２】キャリブレーション用チェッカーパターン例の説明図である。
【図１３】ＣＧチェッカーパターン撮影環境の説明図である。
【図１４】ＣＧ撮影環境パラメータの一例を示す表である。
【図１５】キャリブレーション用チェッカーパターン例の説明図である。
【図１６】ＣＧシミュレーション用カメラパラメータの一例を示す表である。
【図１７】３眼カメラシステムの説明図である。
【図１８】キャリブレーション用チェッカーパターン例の説明図である。
【図１９】３眼カメラシステムのカメラパラメータの一例を示す表である。
【図２０】３眼カメラシステムの各カメラ座標系におけるカメラパラメータの説明図である。
【図２１】中央カメラ座標系を世界座標系としたときの左右カメラ座標系におけるカメラパラメータの説明図である。
【図２２】中央カメラ座標系を世界座標系としたときのカメラパラメータの一例を示す表である。
【図２３】マッチングに用いるブロック形状の説明図であり、（ａ）は単眼キャリブレーションを適用した場合、（ｂ）は内部パラメータ拘束方式を適用した場合である。
【図２４】内部パラメータ拘束を用いて推定した３眼カメラシステムのカメラパラメータの一例を示す表である。
【図２５】中央カメラ座標系を世界座標系としたときのカメラパラメータの一例を示す表である。
【図２６】キャリブレーション時とシステム利用時のカメラ配置の説明図であり、（ａ）はキャリブレーション時のカメラ配置、（ｂ）はシステム利用時のカメラ配置である。
【図２７】カメラ視点変換のためのカメラ配置の説明図であり、（ａ）はキャリブレーション時のカメラ配置、（ｂ）はシステム利用時のカメラ配置である。
【図２８】仮想カメラと仮想平面の配置位置の説明図である。
【図２９】変換行列の対応関係の説明図である。
【図３０】仮想平面位置とカメラ視点変換対応箇所関係の説明図である。
【図３１】ＴＶ対話システム概略図の説明図である。
【図３２】マッチングに用いるブロック形状の説明図である。
【図３３】周辺カメラ配置位置の説明図であり、（ａ）はカメラ配置位置、（ｂ）はカメラ配置座標である。
【図３４】ＣＧカメラ設定の一例を示す表である。
【図３５】ＣＧシミュレーション用カメラパラメータの一例を示す表である。
【図３６】中央視点画像合成実験条件の一例を示す表である。
【図３７】ＴＶ対話システムのカメラ配置の説明図である。
【図３８】ＴＶ対話システムカメラパラメータの一例を示す表である。
【図３９】ＵｓｅｒＡ，Ｂの合成条件の一例を示す表である。
【図４０】本発明の他の実施例による任意視点画像合成システムの構成を示すブロック図である。
【図４１】本発明のさらに他の実施例による任意視点画像合成システムの構成を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下に、本発明の実施形態について、図面を参照して詳細に説明する。
【００２２】
図１は、本発明の第１の実施形態に係る、任意視点画像合成システム１の全体構成を示す機能ブロック図である。図１に示す任意視点画像合成システム１は、画像を表示する表示装置５と、被写体６の撮影画像をもとに被写体６の視線方向と撮影方向を一致させる画像を合成する任意視点画像合成装置１０とから構成される。任意視点画像合成装置１０は、被写体６を撮影するカメラ２Ａ，２Ｂ，２Ｃと、撮影された画像から仮想カメラ視点の画像を合成する画像合成処理部３と、合成画像を出力する画像出力部４とから基本的に構成されている。
【００２３】
図１に示すように、カメラ２Ａは表示装置５の中央上部に、カメラ２Ｂは表示装置５の側面左下部に、カメラ２Ｃは表示装置５の側面右下部に装着されている。このように表示装置５の表示部分の周囲３箇所に配置されたカメラ２Ａ，２Ｂ，２Ｃにより、被写体６を同時に撮影する。
【００２４】
図２に任意視点画像合成システム１の処理手順のフローチャートを示す。
まず、カメラ２Ａ，２Ｂ，２Ｃにより被写体６を撮影し画像を取得する（ステップＳ２１：以降ステップを省略する）。次に画像合成処理部３により、撮影した３つの画像から、撮影方向と視線方向を一致させた仮想カメラの視点の画像を合成する（Ｓ２２）。合成した画像を画像出力部４から表示装置５へ出力し（Ｓ２３）、表示装置５に仮想カメラ視点の画像を表示する（Ｓ２４）。
【００２５】
次に、画像合成処理部３の詳細構成を図３に示す。
画像合成処理部３は、カメラ２Ａ，２Ｂ，２Ｃにより撮影された画像をカメラ座標系から仮想カメラ座標系に変換する座標変換部２１，２２，２３と、仮想カメラ座標系に変換した画像に対し被写体の距離画像（距離モデル）を推定する距離推定部２４と、推定した距離モデルより仮想カメラ視点の画像を合成する画像合成部２５と、座標変換に用いるカメラのパラメータを記憶するカメラパラメータ記憶部２６とから基本的に構成されている。
【００２６】
さらに、画像合成処理部３の各部の詳細な処理関係を図４に示す。
カメラパラメータ記憶部２６に記憶したパラメータに基づいて、座標変換部２１，２２，２３では、各カメラ２Ａ，２Ｂ，２Ｃからの画像Ｉ１，Ｉ２，Ｉ３から座標変換した結果の画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖを、距離推定部２４、及び画像合成部２５へ渡す。距離推定部２４では、３枚の画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖに対し、２枚１組ずつブロックマッチングによる評価を行う。ここでは、仮想平面距離ｚを距離推定を行う範囲で変化させ、全ての距離において評価を行う。このとき評価値がもっとも小さな距離を注目画素（ｉ，ｊ）での距離値ｄ（ｉ，ｊ）とする。この操作を全ての画素に対して行うことで、被写体の距離画像を推定できる（この処理の詳しい説明は後述する）。
【００２７】
次に画像合成部２５では、作成した被写体の距離画像に対し、座標変換画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖから対応する画素の色を抽出して貼り付ける。被写体６の距離情報が得られている場合、幾何学計算で仮想カメラの画素に対応する周囲のカメラの画素を１対１の関係で求めることができる。この操作を仮想カメラの全ての画素に対して行うことで仮想カメラ視点の画像を合成できる（この処理の詳しい説明は後述する）。
【００２８】
図５に画像合成処理部３のフローチャートを示す。
図５において、座標変換部２１，２２，２３は、カメラ２Ａ、カメラ２Ｂ、カメラ２Ｃから画像Ｉ１，Ｉ２，Ｉ３を取得し（Ｓ５１）、カメラ２Ａ、カメラ２Ｂ、カメラ２Ｃから取得したカメラ座標系の画像Ｉ１，Ｉ２，Ｉ３を仮想カメラ座標系の画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖに変換し、距離推定部２４と画像合成部２５に送る（Ｓ５２）。
【００２９】
次に、距離推定部２４は、仮想カメラ座標系に変換した画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖに対し、仮想平面距離ｚを距離推定を行う範囲で変化させ、全ての距離において２枚１組ずつブロックマッチングし、評価値がもっとも小さな距離を注目画素の距離値として距離画像ｄを推定する（Ｓ５３）。
【００３０】
最後に、画像合成部２５が、作成した被写体の距離画像ｄに対応する画素の色を画像Ｉ１，Ｉ２，Ｉ３から抽出して距離画像ｄに貼り付け、仮想カメラ視点の画像を合成する（Ｓ５４）。
【００３１】
図６にＳ５３の距離推定部２４で行う距離推定の手法のより詳細なフローチャートを示す。
距離推定の手法では、画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖの仮想平面距離ｚを距離推定を行う範囲で変更し（Ｓ６１）、２枚１組ずつでブロックマッチングを行う（Ｓ６２）。次に距離画像推定のための評価値ＩＳＵＭＡＬＬ（ｉ，ｊ）について計算を行う（Ｓ６３）。評価値ＩＳＵＭＡＬＬ（ｉ，ｊ）の詳細については後述する。仮想平面距離ｚを、距離推定を行う全ての範囲で変化させたかを確認する（Ｓ６４）。全ての範囲で変化させていない場合、Ｓ６１に戻る。全ての範囲で完了した場合、距離画像推定を行い、距離画像ｄを出力する（Ｓ６５）。距離画像ｄの詳細については後述する。
【００３２】
以下、任意視点画像合成装置１０に係る処理の詳細について述べる。
【００３３】
［カメラキャリブレーションの説明］
まず初めに、カメラキャリブレーションについて説明する。これは画像合成処理部３の座標変換部２１，２２，２３とカメラパラメータ記憶部２６に関するものである。
同一のシーンを同じ型番のカメラを用いて撮影したとしても、その取得画像はレンズ歪みや画像中心のずれなど各カメラの個体差の影響を受けるため、同一の画像を取得することはできない。そのため常に同一の条件で画像処理を行うためには個体差の補正を行わなければならない。また三角測量の原理に基づくステレオマッチングなど複数のカメラから取得した画像を用いて処理を行う場合、カメラの個体差の補正だけでなく空間的な位置関係を把握する必要がある。カメラキャリブレーションとは、このカメラ固有の個体差を示す内部変数とカメラの空間的位置を示す外部変数を求めるプロセスのことである。これにはいくつかの手法があり、形が既知のパターンを置きそれを観察する手法と、形が未知の世界を観察する手法に分類される。前者の代表的な手法として、本発明ではＺｈａｎｇの手法を用いた。まずカメラモデルおよびカメラパラメータについて説明を行い、単眼カメラキャリブレーションの手法であるＺｈａｎｇの手法について述べる。次にその手法の本任意視点画像合成装置１０で用いる多眼撮像装置におけるキャリブレーションへの適用について述べる。
【００３４】
［カメラモデルとカメラパラメータ：カメラモデルと座標系の説明］
我々は、物体に反射した光が目のレンズを通り網膜に届くことで被写体を見ている。カメラにおいても網膜の役目をＣＣＤやＣＭＯＳセンサが行っている点を除き同様に考えることができる。この機構を簡単なモデルで表したものが図７に示すピンホールカメラモデルである。ピンホールカメラは画像平面３１とピンホール３２により構成され、ピンホール３２とはピンホール平面３３の中央部に設けられた微小な穴である。ピンホール平面３３とは、ピンホール３２を通る光以外は全て遮断する仮想平面のことである。
【００３５】
画像平面３１は網膜やＣＭＯＳセンサに対応するものである。ここでｆはカメラの焦点距離、ｚはカメラ（ピンホール３２）と被写体３４の距離、ｙは被写体３４の大きさ、ｙｓｃｒｅｅｎは画像平面３１における被写体３４の投影像３５の大きさをそれぞれ示す。このピンホールカメラモデルにおいては画像平面３１に至る光はすべてピンホール３２を通過し、画像平面３１と交差した位置で像を結ぶことになる。この様な射影を中心射影と呼ぶ。また、このとき図７より、次の（１）式を得る。
【００３６】
【数１】
2010250452.tif 000003
【００３７】
これは像が上下逆転して画像平面３１に表示されることを示す。しかし、これでは直感的に射影を扱いにくい。そこで図７の画像平面３１とピンホール平面３３を入れ替えた図８のモデルがよく用いられる。このようにカメラを中心として定義した座標系をカメラ座標系と呼ぶ。このとき画像座標系は画像中心を原点とし、ｘ軸とｙ軸はそれぞれカメラの素子の配置軸にあわせる。３次元空間のカメラ座標系は点Ｃを原点に、光軸をＺ軸とし、Ｘ軸、Ｙ軸は右手系になるよう配置する。このときピンホール３２は射影中心Ｃとなり、被写体３４からの光線は全てこの射影中心Ｃに向かう。そこで図８において、次の（２）式が成り立ち、像が反転せずに画像平面に表示されることがわかる。
【００３８】
【数２】
2010250452.tif 000004
【００３９】
このとき画像座標系ｍ（ｘｓｃｒｅｅｎ，ｙｓｃｒｅｅｎ）と３次元空間のカメラ座標系Ｍ（Ｘ，Ｙ，Ｚ）との関係は（３）式として表される。
【００４０】
【数３】
2010250452.tif 000005
【００４１】
［カメラモデルとカメラパラメータ：外部パラメータの説明］
（３）式を線形表現すると（４）式として表すことができる。
【００４２】
【数４】
2010250452.tif 000006
【００４３】
ここで、ｓはスカラーである。ｍ、Ｍは同次座標表現であり、それぞれ次の（５）式、（６）式を意味する。
【００４４】
【数５】
2010250452.tif 000007
【００４５】
【数６】
2010250452.tif 000008
【００４６】
また、ここでＰは、中心射影の射影行列であり、次の（７）式で表される。
【００４７】
【数７】
2010250452.tif 000009
【００４８】
図７及び図８においては、３次元空間内の点をカメラ座標系で記述していたが、実際は世界座標系を用いることが多い。図９に世界座標系とカメラ座標系の関係を示す。座標軸の添字ｗは世界座標系を、ｃはカメラ座標系を表している。図９に示すように、世界座標系をカメラ座標系に変換するには世界座標系を回転させたのち平行移動させることになる。回転は３行３列の回転行列Ｒとして次の（８）式で、平行移動は３行１列の並進ベクトルｔとして次の（９）式で表される。
【００４９】
【数８】
2010250452.tif 000010
【００５０】
【数９】
2010250452.tif 000011
【００５１】
ここでθＸ，θＹ，θＺは、次の（１０）、（１１）、（１２）の各式に示す通りであり、それぞれの座標軸まわりの回転を表す。回転の方向は右手系とする。なお、回転行列Ｒから各座標軸まわりの回転を求めることもできる。
【００５２】
【数１０】
2010250452.tif 000012
【００５３】
【数１１】
2010250452.tif 000013
【００５４】
【数１２】
2010250452.tif 000014
【００５５】
ここで（８）式、（９）式を用いてカメラ座標系における点ＭＣとそれに対応する世界座標系における座標ＭＷとの幾何学的関係は次の（１３）式で表される。
【００５６】
【数１３】
2010250452.tif 000015
【００５７】
このＲ、ｔをあわせて、カメラの外部パラメータと呼ぶ。
【００５８】
［カメラモデルとカメラパラメータ：内部パラメータの説明］
以上は、理想的なカメラモデルの定義とカメラ座標系について説明したが、実際のカメラはこの単純なモデルで表すことはできない。図１０（ａ）のように実際にカメラ２において、レンズ４１を取り付けた場合、センサ４２の中心を通る光軸Ｚ１とレンズの光軸Ｚ０とが一致するとは限らない。これは、センサ４２を接着材４３により取り付けるときに傾いてしまう場合があるからである。また、センサ４２の画素が正方でない場合は画像の両座標軸のスケールが異なる場合がある。さらに図１０（ｂ）に示すように、実際の画像の両座標軸が必ず直交するとは限らない。このため、画像に歪み４３が生じる場合もある。
【００５９】
ここで図１１に示すように新たなパラメータとして、光軸とセンサ面が交わる座標と画像中心座標とのずれ量を示すｕ０，ｖ０、実際の画像の両座標軸がなす角度を示すθ、両座標軸の単位長を示すｋｕ，ｋｖを導入する。このとき座標系ｃ−ｘｙは画像中心ｃを原点とし、ｘ軸とｙ軸は同じスケールを持つ。座標系ｏ−ｕｖは画像座標系である。ここで座標系ｏ−ｕｖと座標系ｃ−ｘｙの座標をそれぞれｍ＝［ｕ，ｖ］Ｔ，ｍｓ＝［ｘ，ｙ］Ｔとすると次の（１４）式が成り立つ。
【００６０】
【数１４】
2010250452.tif 000016
【００６１】
ここで、Ｈは、次の（１５）式である。
【００６２】
【数１５】
2010250452.tif 000017
【００６３】
（４）式、（１４）式より、（１６）式が成り立つ。
【００６４】
【数１６】
2010250452.tif 000018
【００６５】
ここで、ＰＭは、次の（１７）式である。
【００６６】
【数１７】
2010250452.tif 000019
【００６７】
ここで、ｆｋｕとｆｋｖをそれぞれαｕとαｖで置き換えると、（１７）式は次の（１８）式のように表わされる。
【００６８】
【数１８】
2010250452.tif 000020
【００６９】
ここでＡ、ＰＮは以下の（１９）式、（２０）式で表わされる行列である。
【００７０】
【数１９】
2010250452.tif 000021
【００７１】
【数２０】
2010250452.tif 000022
【００７２】
この行列Ａはカメラの内部の変数によって構成されており、カメラの内部パラメータと呼ばれる。
【００７３】
［単眼カメラキャリブレーション：既知パターンによる校正法の説明］
既知パターンによる校正は、３次元形状が既知の物体を観察し、その２次元への投影像と比較を行うことでカメラの内部パラメータと外部パラメータを推定する方法である。以下にその原理を説明する。
【００７４】
（４）式、（１５）式、（１８）式より、カメラの画像座標系の点ｍと世界座標系の点Ｍとの幾何学的対応関係は以下の（２１）式で表わされる。
【００７５】
【数２１】
2010250452.tif 000023
【００７６】
ここで、Ｐは、次の（２２）式である。
【００７７】
【数２２】
2010250452.tif 000024
【００７８】
ここで射影行列Ｐは３×４の行列で、内部変数と外部変数合わせて１１の変数から成り立っている。（２１）式を展開すると、１つの世界座標の点とその画像座標への投影点から以下の（２３）式が求まる。
【００７９】
【数２３】
2010250452.tif 000025
【００８０】
ここで（２３）式を変形すると次の（２４）式として表わされる。
【００８１】
【数２４】
2010250452.tif 000026
【００８２】
ここで１枚の画像からｎ個の対応点を取得した場合、（２４）式を連立することで次の（２５）式を得る。
【００８３】
【数２５】
2010250452.tif 000027
【００８４】
Ｂは２ｎ×１２の行列であり、ｎ≧６であれば射影行列Ｐの１１の変数の解をＢＴＢの最小の固有値に対する固有ベクトルとして求めることができる。（２１）式に（８）式、（９）式、（１９）式を代入することで次の（２６）式を得る。
【００８５】
【数２６】
2010250452.tif 000028
【００８６】
ここで物体は常にカメラの前面にあることから次の（２７）式を得る。
【００８７】
【数２７】
2010250452.tif 000029
【００８８】
以上の式を計算することで次の（２８）式を得る。
【００８９】
【数２８】
2010250452.tif 000030
【００９０】
以上のようにして既知の３次元点を６点以上取得することで、各カメラパラメータを推定することができる。これらカメラパラメータは、カメラパラメータ記憶部２６に記憶される。
【００９１】
［単眼カメラキャリブレーション：Ｚｈａｎｇのカメラキャリブレーション法の説明］
Ｚｈａｎｇのカメラキャリブレーションは、図１２に示すような平面パターン５１を多方向から撮影し得られた画像中の特徴点を元にカメラパラメータを推定する方法である。カメラと平面パターン５１のみ用意すれば推定が行えるため、３次元形状を用いた手法に比べ、より簡易な装置でキャリブレーションを行うことができる。以下にその原理を説明する。
【００９２】
三次元空間上の点Ｍ（Ｘ，Ｙ，Ｚ）と画像平面上の点ｍ（ｘ，ｙ）の関係は、前述の（４）式として表される。このときキャリブレーション用のチェッカーパターンがある平面５１をｚ＝０と置くと次の（２９）式を得る。
【００９３】
【数２９】
2010250452.tif 000031
【００９４】
これよりチェッカーパターン上の点と画像上の点との対応は次の（３０）式に示す３×３の行列で表すことができる。この行列をホモグラフィ行列と呼ぶ。
【００９５】
【数３０】
2010250452.tif 000032
【００９６】
ここで、（３０）式を次の（３１）式の形で表わす。
【００９７】
【数３１】
2010250452.tif 000033
【００９８】
このとき、回転行列Ｒの性質より、ｒ１とｒ２が互いに直交する単位ベクトルであることを利用すると以下の（３２）式、（３３）式の制約条件を得る。
【００９９】
【数３２】
2010250452.tif 000034
【０１００】
【数３３】
2010250452.tif 000035
【０１０１】
ここでＡ−Ｔ＝（ＡＴ）−１である。
【０１０２】
１つのホモグラフィ行列より２式を得ることができるので、ホモグラフィ行列を３つ以上得ることでＨ＝［ｈ１  ｈ２  ｈ３］に含まれる６つの未知数を求められる。以下に計算手法を示す。まず、Ａ−ＴＡ−１は対称性を持ち、次の（３４）式で表される。
【０１０３】
【数３４】
2010250452.tif 000036
【０１０４】
このとき、Ｂの要素を並べたベクトルを次の（３５）式で定義する。
【０１０５】
【数３５】
2010250452.tif 000037
【０１０６】
これより、次の（３６）式が成り立つ。
【０１０７】
【数３６】
2010250452.tif 000038
【０１０８】
これにより、（３２）式と（３３）式は、次の（３７）式として表せる。
【０１０９】
【数３７】
2010250452.tif 000039
【０１１０】
ここで、ｎ枚の画像を得ていた場合、ｎ個の上記の式を縦に連結させることで（３８）式を得る。
【０１１１】
【数３８】
2010250452.tif 000040
【０１１２】
Ｖは２ｎ×６の行列である。これより、ｂはＶＴＶの最小固有値に対応する固有ベクトルとして求められる。ｂを求めることでＢが求まれば、Ｂ＝λＡ−ＴＡ−１からカメラの内部パラメータは（３９）式で求められる。
【０１１３】
【数３９】
2010250452.tif 000041
【０１１４】
また、これよりＡが求まれば、外部パラメータに関しても（３０）式より、次の（４０）式として求められる。
【０１１５】
【数４０】
2010250452.tif 000042
【０１１６】
図１３の環境で撮影される理想的な画像をＣＧで作成し、Ｚｈａｎｇの手法によりカメラキャリブレーションを行った。カメラ２−１からチェッカーパターン平面５１までの距離を１７００ｍｍとした。この時の撮影環境の各パラメータの一例を図１４に示す。この環境でチェッカーパターンの角度を変えながら１３枚の画像を取得する。例として図１５（ａ）にカメラに対してチェッカーパターンを正対させたものを、図１５（ｂ）〜（ｆ）に角度を少しずつ変えたものを示す。図１５において（ｘ，ｙ，ｚ）はそれぞれの軸まわりにチェッカーパターンを何度回転させたかを示す。
【０１１７】
図１５に示すような回転方向を変化させた画像１３枚を用いて、Ｚｈａｎｇの手法によるカメラキャリブレーションを行った。パラメータの推定にはＯｐｅｎＧＬのライブラリを用いており、出力される計算結果はチェッカーパターンの左上を原点とした世界座標に対するカメラの外部パラメータである。これにより推定した内部パラメータ、外部パラメータを図１６に示す。なお、外部パラメータは、図１５（ａ）の画像に対し計算されている。解像度１０２４×７６８画素の理想カメラにおいて画像中心（ｕ０，ｖ０）は（５１１．５，３８３．５）であるため、内部パラメータにおいて画像中心が良好に計算されていることが確認できる。また外部パラメータにおいて回転がほとんど無く、チェッカーパターンとカメラとの距離がおよそ１７００ｍｍで互いに正対していることも確認できる。
【０１１８】
［多眼カメラキャリブレーションの説明］
２眼以上のカメラの位置関係を求める場合、全てのカメラにおいて世界座標系を共通にしなければならず、そのために外部パラメータ推定を同時に行う必要がある。ここで図１３の構成に２台のカメラ２−２，２−３を追加した、図１７のような３眼カメラシステムを考える。このシステムにおいてチェッカーパターン５１の角度を変えた複数のシーンを３眼（カメラ２−１，２−２，２−３）から同時に撮影し、その画像群を用いてカメラキャリブレーションを行う。左カメラ２−３から撮影した画像例を図１８（ａ），（ｃ），（ｅ）に、右カメラ２−２から撮影した画像例を図１８（ｂ），（ｄ），（ｆ）に示す。（ｘ，ｙ，ｚ）はそれぞれの軸まわりにチェッカーパターン５１を何度回転させたかを示し、同じ回転角の画像は、左右カメラ２−２，２−３から同時に取得している。このように撮影を行った場合、図１８に示すように、左右カメラ２−２，２−３共に、チェッカーパターン５１の画像が各カメラの画像中心からずれた位置に表示されていることがわかる。このようにして、撮影した画像群に対して前述のカメラキャリブレーションを行い推定したカメラパラメータを、図１９に示す。図１９より、左右カメラ共に図１８の単眼キャリブレーション結果と比べ画像中心のずれが生じていることが確認できる。
【０１１９】
ここで図２０に示すように、中央カメラ２−１及び左右カメラ２−２，２−３のカメラパラメータが求まっている。このとき図２１のように世界座標系を中央カメラ２−１のカメラ座標系に設定しなおすことで、左右カメラ２−２，２−３の外部パラメータ［Ｒ’ｌｅｆｔ｜ｔ’ｌｅｆｔ］、［Ｒ’ｒｉｇｈｔ｜ｔ’ｒｉｇｈｔｔ］は（４１）式、（４２）式として求めることができる。
【０１２０】
【数４１】
2010250452.tif 000043
【０１２１】
【数４２】
2010250452.tif 000044
【０１２２】
この外部パラメータは世界座標系、つまり実空間における中央カメラ２−１と左右カメラ２−２，２−３間の絶対的な位置関係を表す。図２２にこの新たな外部パラメータの計算結果を示す。理論上、左カメラの場合ｔｌｅｆｔ＝［−６００，０，０］、右カメラの場合ｔｒｉｇｈｔ＝［６００，０，０］となるが、計算結果は大きく異なっている。これは前述したようにカメラパラメータの計算が内部パラメータ、外部パラメータの順で行われるため、内部パラメータに推定誤差がある場合、外部パラメータ推定時にその誤差の影響が現れることが原因である。よってこの手法では複数のカメラ間の位置関係を正しく求めることができない。
【０１２３】
［内部パラメータを拘束したカメラキャリブレーション法の説明］
前述の単眼キャリブレーションをそのまま適用したカメラキャリブレーション法では、内部パラメータの推定誤差が外部パラメータの推定に影響を及ぼすことを示した。そこで本節では、内部パラメータに拘束をかけてキャリブレーションを行うことで、外部パラメータの推定誤差を軽減する手法について説明する。本システムに用いるような高精度なカメラとレンズにおいては、内部パラメータの光軸中心（ｕ０，ｖ０）は画像の中心位置にあり、画像歪みは無いと近似することができる。このときカメラにより得られる画像サイズをＷＩＤＴＨ×ＨＥＩＧＨＴとすると、画像中心を示す（ｕ０，ｖ０）、画像歪みを示すθを（４３）式のように固定できる。
【０１２４】
【数４３】
2010250452.tif 000045
【０１２５】
これより（１９）式は、次の（４４）式として書き換えられる。
【０１２６】
【数４４】
2010250452.tif 000046
【０１２７】
さらに内部パラメータの推定精度を高めるため、各カメラごとにチェッカーパターンが中央に映る位置で、個別に画像群の取得を行う。このとき、３眼から同時に撮影するのは外部パラメータを求めるための１シーンだけとする。前述の単眼カメラキャリブレーションをそのまま適用した場合と、本節の内部パラメータ拘束方式を適用した場合の画像群の違いを図２３に示す。図２３（ａ）は単眼カメラキャリブレーションを適用した場合であり、図２３（ｂ）は内部パラメータ拘束方式を適用した場合である。太枠の画像が外部パラメータ算出対象の画像である。図２３（ｂ）の内部パラメータ拘束方式においては、各カメラごとのキャリブレーションの画像６１に加えて、３眼同時撮影の画像６２を加えている。
【０１２８】
内部パラメータ拘束を用いて３眼カメラシステムに対してカメラキャリブレーションを行った。カメラ配置は図１７と共通である。この推定結果を図２４に示す。さらに（４１）式、（４２）式を用いて中央カメラのカメラ座標系を世界座標系としたときの左カメラ２−２と右カメラ２−３のカメラパラメータ（外部パラメータ［Ｒ|ｔ］）を図２５に示す。これよりカメラ位置が２ｍｍ程度の誤差で推定できており、この手法が多眼カメラシステムのカメラキャリブレーションに有効である。
【０１２９】
以上、座標系とカメラパラメータについて説明し、単眼カメラのキャリブレーションの手法、特にＺｈａｎｇのキャリブレーション手法について詳しく説明した。さらにＺｈａｎｇの手法の多眼カメラシステムへの適用について説明した。また、ＣＧ画像を用いたカメラキャリブレーションのシミュレーションを行うことで、提案する手法が２ｍｍ程度の誤差でカメラ位置を推定できた。
【０１３０】
［多眼カメラを用いた中心視点画像合成手法の説明］
ここで、視線一致可能な顔領域画像合成のための、多眼カメラを用いた中心視点画像合成の手法について述べる。まず試作したシステムについて述べ、次に射影変換を用いた被写体の距離推定について述べる。さらに推定した距離情報を元に、ディスプレイの中央位置からの視点の画像を合成する手法について述べる。
【０１３１】
［中心視点画像の合成：射影変換を用いたカメラ視点の変換］
本システムは、図２６（ａ）に示すようにキャリブレーション時に４眼（カメラ２Ａ，２Ｂ，２Ｃ，２Ｄ）、図２６（ｂ）に示すようにシステム利用時に３眼（カメラ２Ａ，２Ｂ，２Ｃ）を用いるシステムである。本節ではカメラ視点の変換について説明するため、まず図２７（ａ）に示すようなキャリブレーション時に２眼（カメラ２Ｃ，２Ｄ）のカメラ配置のシステム、図２７（ｂ）に示すようなカメラ視点変換時に１眼（カメラ２−１）のカメラ配置のシステムを考える。はじめに図２７（ａ）のシステムに対し多眼カメラキャリブレーションを行う。このとき得られるカメラパラメータは（４１）式のようなカメラ２Ｄを世界座標系の原点とした場合のパラメータであり、カメラ２Ｄの回転行列Ｒ’０と並進ベクトルｔ’０は（４５）式、（４６）式、カメラ２Ｃの回転行列Ｒ’１と並進ベクトルｔ’１は（４７）式、（４８）式のように表される。
【０１３２】
【数４５】
2010250452.tif 000047
【０１３３】
【数４６】
2010250452.tif 000048
【０１３４】
【数４７】
2010250452.tif 000049
【０１３５】
【数４８】
2010250452.tif 000050
【０１３６】
このとき（４７）式、（４８）式はそれぞれカメラ２Ｄに対してカメラ２Ｃがどれだけ回転、並進しているかを示す値になる。図２７（ｂ）において、カメラ２Ｄを仮想カメラ２−０として、カメラ２Ｃをカメラ２−１として１眼のカメラ視点変換を考えることができる。
【０１３７】
ここで図２８のようにカメラ２−０の位置に仮想カメラを配置し、その仮想カメラ（カメラ２−０）に対して平行な仮想平面を距離ｚだけ離した位置に配置した場合を考える。世界座標系の原点を仮想カメラ２−０の光軸（Ｚ）と仮想平面が交わる点に変更すると、新たな世界座標系に対する仮想カメラ座標系とカメラ１座標系の並進ベクトルｔｉｍ，ｔ１はそれぞれ次の（４９）式、（５０）式として表すことができる。
【０１３８】
【数４９】
2010250452.tif 000051
【０１３９】
【数５０】
2010250452.tif 000052
【０１４０】
また、このとき世界座標系に対する仮想カメラ座標系とカメラ１座標系の回転行列Ｒｉｍ、Ｒ１はそれぞれ次の（５１）式、（５２）式として表すことができる。
【０１４１】
【数５１】
2010250452.tif 000053
【０１４２】
【数５２】
2010250452.tif 000054
【０１４３】
また、仮想カメラはカメラ２−０をそのまま置き換えて表すため、仮想カメラの内部パラメータＡｉｍは次の（５３）式で表される。
【０１４４】
【数５３】
2010250452.tif 000055
【０１４５】
次に仮想平面に対する射影変換を考える。この射影変換における変換行列の対応関係を図２９に示す。
【０１４６】
各カメラの画像座標系ｍｉｍ、ｍ１と世界座標系Ｍとの関係は、それぞれ次の（５４）式、（５５）式として表される。
【０１４７】
【数５４】
2010250452.tif 000056
【０１４８】
【数５５】
2010250452.tif 000057
【０１４９】
このとき仮想平面は世界座標においてＺ＝０で表されるため、仮想平面上の点Ｍに対して（５５）式は以下の（５６）式に変形できる。
【０１５０】
【数５６】
2010250452.tif 000058
【０１５１】
ここでＨ１（ｚ）は世界座標系の平面とカメラ１の画像座標系の対応を示す３×３のホモグラフィ行列であり、ｚの関数である。同様に（５４）式を変形させることで次の（５７）式を得る。
【０１５２】
【数５７】
2010250452.tif 000059
【０１５３】
次に（５６）式を変形し、次の（５８）式を得る。
【０１５４】
【数５８】
2010250452.tif 000060
【０１５５】
これを（５７）式に代入することで、次の（５９）式を得る。
【０１５６】
【数５９】
2010250452.tif 000061
【０１５７】
（５９）式は仮想カメラの画像座標上の点ｍｉｍとカメラ２−１の画像座標上の点ｍ１の対応関係を示す。そのため（５９）式を用いることで、カメラ２−１により撮影した画像を仮想カメラ視点で撮影した画像に変換することができる。ただし、このとき、正しく変換されるのは、先に仮定した仮定平面の距離ｚに被写体が存在している部分だけであり、それ以外の部分は誤って変換される。例えば図３０のように球体を被写体とし、仮想平面を球体を通過するようにｚを変化させた場合、図３０に示す太線部分のみ正しく変換される。すなわち、図３０（ａ）は仮想平面がｚの位置に在る場合、図３０（ｂ）は仮想平面がｚ＋αにある場合、図３０（ｃ）は仮想平面がｚ＋２αにある場合をそれぞれ示し、被写体である球体のどの部分が正しく変換されるかを太線で示している。
【０１５８】
［被写体モデル作成の説明］
（５６）式でディスプレイ中央に設置した仮想カメラと周囲に設置したカメラ２−１との対応関係を示したが、これはディスプレイ５の周囲に設置した他の全てのカメラに対しても同様に適用できる。ここで図３１に示す本ＴＶ対話システムについて考える。図１と同様に図３１のシステムにおいて、カメラ２−１（図１ではカメラ２Ａ）は表示装置５の中央上部に、カメラ２−２（図１ではカメラ２Ｂ）は表示装置５の側面右下部に、カメラ２−３（図１ではカメラ２Ｃ）は表示装置５の側面左下部に装着されている。図３１では、表示装置５の後ろ側から見た図であるので、カメラが左右入れ替わっている。カメラ２−２、カメラ２−３の画像座標系をｍ２，ｍ３、射影変換行列をＨ２（ｚ），Ｈ３（ｚ）とすると次の（６０）式、（６１）式を得る。
【０１５９】
【数６０】
2010250452.tif 000062
【０１６０】
【数６１】
2010250452.tif 000063
【０１６１】
座標変換部２１，２２，２３は、（５９）式、（６０）式、（６１）式をそれぞれカメラ２−１、カメラ２−２、カメラ２−３から取得した画像Ｉ１，Ｉ２，Ｉ３に適用することで、それぞれの画像を仮想カメラであるカメラ２−０の視点に変換した画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖを得る。
【０１６２】
次に、距離推定部２４は、変換で得られた３枚の画像Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖに対し、２枚１組ずつブロックマッチングによる評価を行う。図３２に示すようにマッチングに用いるブロック形状には様々なパターンが考えられるが、本節では長方形マッチングを例として説明する。注目画素を（ｉ，ｊ）とした場合、評価値として次の（６２）式に示す変換画像の画素値の絶対値差分和ＩＳＵＭαβを用いる。
【０１６３】
【数６２】
2010250452.tif 000064
【０１６４】
ここで、α、βは対応するカメラ番号、ｍは水平ブロックサイズ、ｎは垂直ブロックサイズ、Ｉαｃｏｎｖ（ｉ’，ｊ’），Ｉβｃｏｎｖ（ｉ’，ｊ’）はそれぞれ評価に用いる２枚の変換画像の位置（ｉ’，ｊ’）における画素値を示す。この（６２）式を３枚による３通りの組み合わせ全てに対して行った結果を評価値ＩＳＵＭＡＬＬとし、次の（６３）式に示す。
【０１６５】
【数６３】
2010250452.tif 000065
【０１６６】
ここでＷαβはそれぞれの組の絶対値差分和に対する重み付けを示し、０から１の範囲で最適となるよう手動で調整する。次に仮想平面距離ｚを、距離推定を行う範囲で変化させ、全ての距離において（６３）式で評価を行う。それぞれの距離における評価値をＩＳＵＭＡＬＬ（i,j;z）と表し、ＩＳＵＭＡＬＬの値がもっとも小さな距離を注目画素の距離値ｄ（ｉ，ｊ）とすると、以下の（６４）式として表すことができる。この操作を全ての画素に対して行うことで、被写体の距離画像を推定できる。
【０１６７】
【数６４】
2010250452.tif 000066
【０１６８】
［画素値の決定の説明］
画像合成部２５は、作成した被写体の距離画像に対し、周囲のカメラから対応する画素の色を貼り付ける。被写体の距離情報が得られている場合、（５６）式、（５７）式、（５８）式に示すように幾何学計算で仮想カメラの画素に対応する周囲のカメラの画素を１対１の関係で求めることができる。距離値ｚに対し算出された仮想カメラの注目画素の画素値をＩｉｍ（ｉ，ｊ，ｚ）、その注目画素に対応する周囲のカメラの画素値をＩαｃｏｎｖ（ｉ，ｊ，ｚ）（α＝１，２，３）とした場合、貼り付ける色の計算方法を（６５）式に示す。
【０１６９】
【数６５】
2010250452.tif 000067
【０１７０】
ここでＵα（α＝１，２，３）はそれぞれの画素値に対する重み付けを示し、Ｕ１＋Ｕ２＋Ｕ３＝１の範囲で最適になるように手動で調節する。この操作を仮想カメラの全ての画素に対して行うことで仮想カメラ視点の画像を合成できる。
【０１７１】
以上、取得したカメラキャリブレーションデータを用いた視点位置の変換方法と、変換結果を利用した被写体の距離モデル作成方法について説明した。さらにその距離モデルに周囲のカメラの色を貼り付けることでディスプレイの中央視点からの画像を合成する手法について説明した。ここではカメラが３台の例を記したが、３台以上のカメラを用いた場合でも本手法を適用できる。例えばカメラが４台の場合は、３台のカメラが２組あると考えて本手法を適用し、出力される２枚の合成画像を統合すれば良い。つまり、カメラ２Ａ，２Ｂ，２Ｃ，２Ｄが配置されている場合、例えば（２Ａ，２Ｂ，２Ｃ）と（２Ｂ，２Ｃ，２Ｄ）の３台のカメラ２組を考えて、各組の合成画像を２枚生成し、さらにこの２枚を統合する。画像の統合には単純平均、加重平均などを用いることができる。つまり、少なくとも３台のカメラがあれば本手法を用いて任意視点画像を合成でき、３台以上のカメラを用いることでさらに正面画像を高画質化できる。
【０１７２】
［顔領域画像合成の最適なパラメータの説明］
次に、ＣＧを用いて周囲のカメラの画像を作成し、それを基に中央視点画像合成シミュレーションを行い、カメラ数、カメラ配置、マッチング時のブロック形状を変化させた場合の、最適なパラメータについて説明する。
【０１７３】
［カメラ配置による合成精度への影響］
図３３に示すように、表示装置５の周囲のカメラ配置位置として２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅの５箇所を考える。図３３（ａ）はカメラの配置位置を示し、（ｂ）はカメラの配置座標を示す。被写体６は、表示装置５の向こう側に位置しており、図３３は表示装置５の裏側から見ている図である。カメラ２Ａ、２Ｂ、２Ｄは表示部中心（仮想カメラ位置）に対して上部に、カメラ２Ｃ、２Ｅは表示部中心（仮想カメラ位置）に対して下部に配置される。また、カメラ２Ｂ、２Ｃは表示部中心に対して右部に、カメラ２Ｄ，２Ｅは表示部中心に対して左部に配置される。このとき全てのカメラは点（０，０，１７００）に光軸が向くよう配置される。被写体６のＣＧ顔モデルは点（０，０，１７００）に中心が来るように配置される。中央の仮想カメラを含む６つのカメラ視点画像をＣＧにより作成する。このときのカメラ設定を図３４に示す。このうち複数のカメラ配置を選択し、仮想カメラ視点の画像（以下中央視点画像）の合成を行う。
【０１７４】
なお、カメラキャリブレーションにより取得した各カメラパラメータを計算に用いる。ＣＧチェッカーパターンによるキャリブレーションを行っており、このときのカメラパラメータを図３５に示す。図３５において、仮想カメラを「０」としている。またシミュレーションにおけるその他の合成条件を図３６に示す。
【０１７５】
この合成画像は、どのカメラ２台を用いても顔表面形状の距離推定が顔の丸みがわかる程度に良好に生成された。またどのカメラ２台を用いても中央視点画像が合成できた。しかし、目近傍においては合成誤りが多く発生した。これは片方のカメラもしくは両方のカメラから見えない領域であるオクルージョン領域で距離推定を誤っているためと考えられる。また、鼻領域に注目すると全ての組み合わせにおいて鼻領域の合成誤りが多く発生した。これもまたオクルージョン領域の影響であり、どの２台を選択してもこのオクルージョンの影響を避けられない。
【０１７６】
そこで、最もオクルージョンの影響の少ないカメラ２Ｃ，２Ｅを基本に、カメラ２Ａカメラまたはカメラ２Ｂを追加した３台のカメラを用いて中央視点画像合成を行った。その結果、３台のカメラを用いた方が目近傍の距離を精度よく推定できた。また、どちらも２台のカメラを用いるより良好な結果が得られているが、カメラ２Ｂ，２Ｃ，２Ｅを用いた方がよりオクルージョンを回避できた。しかし、鼻領域はカメラ２Ａ，２Ｃ，２Ｅを用いた方が良好に合成された。これは、カメラを表示部中心（仮想カメラ位置）に対して上部と下部に少なくとも１台ずつ配置し、かつ表示部中心に対して少なくとも１台ずつ配置するということである。
【０１７７】
［ブロック形状による合成精度への影響］
次に３台のカメラを用いた場合において、ブロック形状を変化させて中央視点画像合成を行った。３台の組み合わせは（２Ａ，２Ｃ，２Ｅ）、（２Ｂ，２Ｃ，２Ｅ）の２通りについて、ブロック形状は図３２（ａ）に示す長方形、（ｂ）に示すひし形、（ｃ）に示す変則形の３種類について評価を行った。
【０１７８】
その結果、長方形マッチングと比較して処理量が半分になっているにもかかわらず、同程度の合成結果が得られた。
次に変則形マッチングによる距離推定を行った結果、どちらもオクルージョンの影響がほぼ見られない目領域画像を合成できた。鼻領域はＡＣＥカメラを用いた場合の方が合成結果が良かった。
【０１７９】
以上の結果より本システムでは、カメラ配置に２Ａ、２Ｃ、２Ｅの３箇所、マッチングには変則形ブロックマッチングを用いた。すなわち、カメラ配置、カメラ数、マッチング時のブロック形状の影響などを調べた結果、ディスプレイ上部、右下部、左下部の３箇所にカメラを配置した場合、目領域合成時のオクルージョン影響を減らすことが出来る。また、長方形ブロックでマッチングを行った場合よりも変則形ブロックでブロックマッチングを行った場合に合成結果が良かった。
【０１８０】
［実画像を用いた顔領域画像合成の説明］
図３７に示すカメラ配置で被写体６を撮影し、顔領域画像合成を行った。被写体６はディスプレイ５から１７００ｍｍの位置に座っており、各カメラは被写体の上半身を捉えるように配置されている。まず全てのカメラに対してカメラキャリブレーションを行った。その結果を図３８に示す。なお、世界座標系の原点はカメラ２−０となっている。キャリブレーションの結果、カメラ２−２とカメラ２−３のｘ方向の間隔はおよそ１３００ｍｍ、カメラ２−１とカメラ２−０のｙ方向の間隔はおよそ４００ｍｍであることがわかる。この推定結果はおおよその実測値と一致する。キャリブレーション後、比較用のカメラ２−０を含む４台のカメラで視線をディスプレイ中央に向けた（以降正面視線と呼ぶ）被写体を撮影した。
【０１８１】
被験者２名をＵｓｅｒＡ，ＵｓｅｒＢとし、カメラ２−０を除いた３枚の画像を用いて中央視点画像合成を行った。図３９に各被験者に対する合成条件を示す。図３９は、被験者別に調整を行ったパラメータであり、距離推定範囲のみが異なり、他の合成条件は共通である。その結果、顔領域の距離推定が良好に行われていることが確認できた。また、２名の被験者に対して正面視線の中央視点画像が目領域、鼻領域、口領域ともに良好に合成できた。
【０１８２】
［視線方向変化画像の説明］
現実には対話中、人の視線は絶えず変化するためそれにも対応出来なければならない。そこで視線方向の変化による合成画像への影響を確認するため、視線方向を上下左右に変化させた画像を用いて中央視点画像合成を行った。
【０１８３】
このときの合成条件は図３９と同一である。その結果、各視線方向の中央視点画像が良好に合成できた。また、視線方向を変化させても距離推定時のマッチングを誤ることなく、距離が良好に推定できた。また、眼球の運動による肌や眉毛の位置変化も良好に合成できた。
【０１８４】
［仮想カメラ位置変化画像］
実際の利用環境では、必ずしもユーザーがディスプレイ中央正面位置にいるとは限らない。例えば体を傾けたりした場合、頭の位置が変化すれば対話相手の見え方は変わるはずである。そこで実空間に近い視覚効果を得るために、利用者の頭の位置に応じてディスプレイ上の任意の位置に仮想カメラを設置できることが望ましい。そこで、仮想カメラ位置を変化させながら中央視点以外における画像合成を行った。ここでは、被写体は先と同様の位置のままとし、仮想カメラ位置のみを動かす状況を考える。仮想カメラ位置はカメラ２−０のパラメータを基に計算することで任意の位置で求めることができる。
【０１８５】
画像は正面視線方向画像を用い、仮想カメラ位置を（−６００，０，０）から（６００，０，０）までｘ方向に３００ｍｍ刻みで変化させた。なお、カメラの光軸は常に点（０，０，１４５０）に向くものとする。このときの合成条件は図３９と同一である。その結果、仮想カメラ位置変化による視覚効果が得られた。特に同条件でディスプレイ中央位置から合成した場合と比較すると、カメラ位置の変化により視線方向が変化していくことを確認できた。また、鼻上部領域で段差のような領域が見られたが、これは推定幅を現条件の３ｍｍから小さくすることで軽減できると考えられる。
【０１８６】
［動画像を用いた顔領域画像合成］
構築したシステムのカメラ２−１、カメラ２−２、カメラ２−３の３眼を同期させて３０ｆｐｓで瞬きの動画を撮影し、各フレーム毎に中央視点画像合成を行った。
【０１８７】
その結果、瞬き動作時においても合成が良好に行われていることが確認できた。本手法は、目を抽出するなどの処理を行わず、距離推定に基づく任意視点画像合成を行っているため、被写体が目を開いていても閉じていてもその距離推定範囲に収まっていれば原理的に合成結果に影響は与えないはずである。このことから本手法は被写体の動作に対して頑健であると言える。
【０１８８】
以上、ＴＶ対話システムを用いてディスプレイ中央視点画像の合成を行った。まずカメラシステムのキャリブレーションデータを示し、正面視線方向の取得画像に対する処理結果を示した。その結果、本手法が中央視点画像合成を行えることを確認した。また、視線方向を上下左右に変化させた画像に対し処理を行い、視線方向にかかわらず中央視点画像が合成出来ることを確認した。さらに仮想カメラのパラメータを書き換えることでカメラ位置を動かしたような視覚効果を得られることも確認した。最後に瞬き動作を撮影した連続画像に対して処理を行い、瞬きのような目を閉じる動作にも対応できることを確認した。
【０１８９】
以上、説明したように、本発明の任意視点画像合成装置によれば、表示装置と、前記表示装置の表示部周囲の上部、右下部、左下部の少なくとも３箇所に設置した撮像装置と、画像合成処理部とを備えたため、正面画像を高画質化でき、視線一致感が向上するという効果が得られる。
【０１９０】
また、本発明によれば、前記画像合成処理部において、前記撮像装置のカメラキャリブレーションデータを用いて視点位置の変換を行う座標変換部と、前記座標変換部で変換した被写体距離モデルを作成する距離推定部と、前記被写体距離モデルに前記撮像装置で取得した色を貼り付けることで画像を合成する画像合成部とを備えたため、正面画像を高画質化でき、視線一致感が向上するという効果が得られる。また、特に目の周辺領域の画質を向上させることにより、一層、視線一致感を向上することが可能となり、テレビ対話システムに適用可能な任意視点画像合成装置を実現することができる。
【０１９１】
また、本発明によれば、前記距離推定部において、前記撮像装置から取得した画像を変則形ブロックでブロックマッチングを行うブロックマッチング部を備えたため、オクルージョンの影響を減らすことができ、正面画像の合成結果を高画質化することができる。すなわち、視線一致感が向上するという効果が得られる。
【０１９２】
本発明は、上記実施例の構成に限るものではない。本発明の他の実施例について図面を参照して詳細に説明する。図４０は本実施例の全体構成を示すブロック図である。図１と同一部分には共通の符号を付してある。このシステム１０１の構成は図１のシステム１と同じ構成であるが、任意視点画像合成装置１１０のカメラ２Ｂ，２Ｃの配置が異なる。カメラ２Ａを表示装置５の中心上に、カメラ２Ｂを表示装置５の側面左下端に、カメラ２Ｃを表示装置５の右下端の３箇所に設置する。こうして、３箇所のカメラ２Ａ，２Ｂ，２Ｃをつないだ三角形の面積が最大となり、図１の構成に比較して、より広い範囲で中央視点画像を求めやすいという利点がある。
【０１９３】
また、本発明のさらに他の実施例について図面を参照して詳細に説明する。図４１は本実施例の構成例を示す機能ブロック図である。本実施例のシステム２０１の任意視点画像合成装置２１０の構成が、図１の任意視点画像合成装置１０と異なり、画像出力部４の代わりに、画像送信部４５００と画像受信部４５０２を備えている。任意視点画像合成装置２１０では、撮像装置で撮影した画像を画像合成処理部３で合成し、合成した画像は画像送信部４５００を介して外部のネットワーク４５０１と接続され、他の任意視点画像合成装置２１０などに繋がっており、他の任意視点画像合成装置２１０などから画像受信部４５０２を介して伝送された画像を表示装置５に表示する。こうして、このシステム２０１は、ネットワーク４５０１を介して遠隔地にいる利用者同士が視線を一致させてコミュニケーションをとることができ、テレビ会議を行うのに適している。
【符号の説明】
【０１９４】
１  任意視点画像システム
２Ａ，２Ｂ，２Ｃ，２Ｄ，２Ｅ  カメラ
３  画像合成処理部
４  画像出力部
５  表示装置
６  被写体
１０  任意視点画像合成装置
２１，２２，２３  座標変換部
２４  距離推定部
２５  画像合成部
２６  カメラパラメータ記憶部
３１  画像平面
３２  ピンホール
３３  ピンホール平面
３４  被写体
３５  投影像
４１  レンズ
４２  センサ
４３  接着材
５１  チェッカーパターン平面
１０１  システム
１１０  任意視点画像合成装置
２０１  システム
２１０  任意視点画像合成装置
４５００  画像送信部
４５０１  ネットワーク
４５０２  画像受信部
Ｉ１，Ｉ２，Ｉ３  撮影画像
Ｉ１ｃｏｎｖ，Ｉ２ｃｏｎｖ，Ｉ３ｃｏｎｖ  座標変換画像
【図１】
2010250452.tif 000068
【図２】
2010250452.tif 000069
【図３】
2010250452.tif 000070
【図４】
2010250452.tif 000071
【図５】
2010250452.tif 000072
【図６】
2010250452.tif 000073
【図７】
2010250452.tif 000074
【図８】
2010250452.tif 000075
【図９】
2010250452.tif 000076
【図１０】
2010250452.tif 000077
【図１１】
2010250452.tif 000078
【図１２】
2010250452.tif 000079
【図１３】
2010250452.tif 000080
【図１４】
2010250452.tif 000081
【図１５】
2010250452.tif 000082
【図１６】
2010250452.tif 000083
【図１７】
2010250452.tif 000084
【図１８】
2010250452.tif 000085
【図１９】
2010250452.tif 000086
【図２０】
2010250452.tif 000087
【図２１】
2010250452.tif 000088
【図２２】
2010250452.tif 000089
【図２３】
2010250452.tif 000090
【図２４】
2010250452.tif 000091
【図２５】
2010250452.tif 000092
【図２６】
2010250452.tif 000093
【図２７】
2010250452.tif 000094
【図２８】
2010250452.tif 000095
【図２９】
2010250452.tif 000096
【図３０】
2010250452.tif 000097
【図３１】
2010250452.tif 000098
【図３２】
2010250452.tif 000099
【図３３】
2010250452.tif 000100
【図３４】
2010250452.tif 000101
【図３５】
2010250452.tif 000102
【図３６】
2010250452.tif 000103
【図３７】
2010250452.tif 000104
【図３８】
2010250452.tif 000105
【図３９】
2010250452.tif 000106
【図４０】
2010250452.tif 000107
【図４１】
2010250452.tif 000108