(57)【要約】      （修正有）【課題】補間処理による３Ｄ画像の表示画面をなめらかにし、後処理を単純化するシステム及び方法を提供する。【解決手段】異なる画像面を有する２つの隣接するカメラ位置から補間された、複数の補間画像を受け取る工程と、各補間画像に対して、複数の中間画像面のうちのそれぞれ１つへの変換を施す工程とを含み、各中間画像面は、隣接するカメラ位置に関連する補間画像の観察角度に応じて、２つの隣接するカメラ位置の画像面に対して中間の方向を向いて配置する。【選択図】図１
2011243205.tif 000002
【特許請求の範囲】
【請求項１】
異なる画像面を有する２つの隣接するカメラ位置から補間された、複数の補間画像を受け取る工程と、
各補間画像に対して、複数の中間画像面のうちのそれぞれ１つへの変換を施す工程と
を含み、
各中間画像面は、前記隣接するカメラ位置に関連する前記補間画像の観察角度に応じて、前記２つの隣接するカメラ位置の前記画像面に対して中間の方向を向いて配置される
画像処理方法。
【請求項２】
各補間画像に対する前記変換は、スケーリング行列とキーストーン補償行列との積によって求められる変換行列を用いる工程を含む
前述のいずれの請求項に記載の方法。
【請求項３】
前記キーストーン補償行列は、単位行列と修正行列との間を補間することによって求められ、前記修正行列は、前記隣接するカメラ位置のうちの１つに関連している
請求項２に記載の方法。
【請求項４】
前記修正行列は、前記補間画像のシーケンス番号に基づいて選択される
請求項２または請求項３に記載の方法。
【請求項５】
前記スケーリング行列は、
前記補間画像の画像原点を示す変換パラメータと、
前記補間画像の観察距離を示すスケーリング係数と
を備えた
請求項２から請求項４のいずれかに記載の方法。
【請求項６】
前記変換パラメータは、１と中央変換パラメータとの間を補間することによって求められ、前記中央変換パラメータは、前記複数の画像間の中央に位置する補間画像から求められる
請求項５に記載の方法。
【請求項７】
前記スケーリング係数は、１と中央スケーリング係数との間を補間することによって求められ、前記中央スケーリング係数は、前記複数の画像間の中央に位置する補間画像から求められる
請求項５または請求項６に記載の方法。
【請求項８】
前記中央変換パラメータは、前記中央スケーリング係数を用いてさらに求められる
請求項７に記載の方法。
【請求項９】
前記中央スケーリング係数は、前記中央の補間画像の視野を示す角度を用いて求められる
請求項６または請求項７に記載の方法。
【請求項１０】
前記中央変換パラメータは、前記補間画像の幅に関連している
請求項５から請求項９のいずれかに記載の方法。
【請求項１１】
前記中央変換パラメータは、前記補間画像の高さに関連している
請求項５から請求項９のいずれかに記載の方法。
【請求項１２】
前記複数の画像を受け取る前記工程は、前記複数の画像の前記画像面を共通の画像面上へと変換することによって、前記複数の画像を修正する工程を含む
前述のいずれの請求項に記載の方法。
【請求項１３】
前記複数の画像の前記画像面を変換する前記工程は、前記修正行列を前記隣接するカメラ位置のうちの前記１つの画像に適用する工程を含む
請求項３に従属する場合の請求項１２に記載の方法。
【請求項１４】
各補間画像の前記観察角度は、カメラの被写体のまわりにおいて定められる
前述のいずれの請求項に記載の方法。
【請求項１５】
前記カメラの被写体は、各補間画像において見ることができる
請求項１４に記載の方法。
【請求項１６】
各補間画像において見ることができる前記カメラの被写体は、異なる大きさを有する
請求項１５に記載の方法。
【請求項１７】
前記カメラの被写体は、前記複数のカメラ位置から撮影された前記複数の画像において見ることができる
請求項１４から請求項１６のいずれかに記載の方法。
【請求項１８】
間隔をおいて配置された複数のカメラ位置から撮影された画像から補間された、複数の補間画像を受け取る工程と、
各補間画像に対して、前記間隔をおいて配置された複数のカメラ位置におおよそ向き合わせされた指定画像面への変換を施す工程と
を含む
画像処理方法。
【請求項１９】
前記間隔をおいて配置された複数のカメラ位置は、おおよそ直線である線上に配置されるとともに、前記指定画像面の１つの軸は、前記直線である線に対して平行である
請求項１８に記載の方法。
【請求項２０】
前記変換は、第１のカメラの特定の修正行列の逆行列と、第２のカメラの特定の修正行列との積によって求められ、前記第１および第２のカメラの特定の修正行列は、前記間隔をおいて配置された複数のカメラ位置のうちのカメラ位置に関連している
請求項１８または請求項１９に記載の方法。
【請求項２１】
請求項１から請求項２０に記載のいずれの前記画像処理方法を実行するために構成された、集積回路またはプロセッサ。
【請求項２２】
請求項１から請求項２０に記載のいずれの前記画像処理方法を実行するために構成された、撮像装置。
【請求項２３】
請求項１から請求項２０に記載のいずれの画像処理方法を用いて得られた処理画像を表示するために構成された画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理のシステムおよびその方法に関する。
【背景技術】
【０００２】
３Ｄ画像表示は、異なる角度から撮影されたカメラの被写体の多数の視点画像（view）から作成することができる。撮影された画像は、限られた数のカメラ位置（camera position）からのものであることが多いため、視野角(viewing angle)の範囲全体にわたって真に３次元である印象を与えるためには、撮影された画像間を補間（interpolate）することが必要となる場合がある。
【０００３】
従来の視点補間（view interpolation）では、基線（baseline）が短い１対のカメラを用いる。視点補間の一般的な用途の１つは、図２ａに示されるようにカメラが配置されたテレビ会議システムの注視制御（gaze control）にある。図１５（ａ）、１５（ｂ）、および１５（ｃ）は、そのようなカメラ配置における、補間結果を示す。図１５（ａ）は、右のウェブカメラから撮影された視点画像であり、図１５（ｃ）は左のウェブカメラから撮影された視点画像である。図１５（ｂ）は、補間された視点画像である。
【０００４】
視点補間用途には、通常、ステレオマッチング処理（stereo matching process）におけるエピポーラ拘束（epi-polar constraint）を利用するために、修正処理（rectification process）が必要である。修正は、カメラ位置が固定されたときの一度の校正（calibration）に基づいて施すか、あるいは、R. I. Hartley著、"Theory and Practice of Projective Rectification". Int. Journal of Computer Vision 35: 115-127. 1999に説明されているように、校正が不可能である場合には、なんらかの画像処理方法（例えば、特徴点検出および照合）によって施すことができる。修正の目的は、図１４に表されるように、２つの入力画像を、照合が２つの入力画像間の同じ線内に制約される共通の画像面上に変換することである。
【０００５】
その後、照合および補間が、この共通の画像面において、修正処理後に続けて施され、その結果は出力として直接的に表され得る。図２ａに示されるような配置においては、後処理は必要ではないであろう。
【０００６】
また、視点補間は、より広い視域（Viewing Zone）をカバーするために、２つよりも多くのカメラを備えたカメラアレイからの出力に対して適用することもできる。図２ｂは、２つよりも多くのカメラを備えたカメラアレイの２つの例を示す。これら２つの配置では、全てのカメラは平行であり、画像面は互いに一致していると考えられる。よって、後処理は必要ないであろう。しかしながら、全てのカメラの画像面が一致しない場合には、後処理が必要となる場合がある。
【０００７】
２つよりも多くのカメラを備え、画像面が一致しない配置においては、図３に示されるように、補間視点画像が各対の境界を横切って移動するとき、問題が生じる。これは、修正は、１対のカメラ間においてのみ可能であるためである。このような場合、異なるカメラの対からの補間結果の全セットに対して連続的な視覚効果（viewing effect）を生成するためには、後処理が必要である。
【０００８】
後処理を施さない場合、図３に示す境界において、対から対へのジャンピング効果（jumping effects）が存在する。図１０は、境界における、ある画像から隣の画像への急激な変化を表す。３Ｄディスプレイで見る場合、補間結果におけるこの不連続効果によって、観察者がディスプレイの周りを移動している場合、不自然で急激な変化を生じ得る。
【０００９】
補間結果におけるもう１つの不自然な効果は、図１に示されるレイモデラー（ＲａｙＭｏｄｅｌｌｅｒ）画像表示システム１７０をまわりから見た場合における、不正確なキーストーン（keystone）であろう。これもまた、補間された視点画像全てが同じ修正画像面上にあり、異なる観察角度（viewing angle）に対してキーストーンが正確でないことに起因する。
【００１０】
Dirk Farin、Yannick Morvan、Peter H. N. de With著、"View Interpolation Along a Chain of Weakly Calibrated Cameras" IEEE Workshop on Content Generation and Coding for 3D-Television、２００６年６月、Eindhoven、Netherlandsでは、“逆修正（un-rectification）”という後処理が提案されている。この着想は、補間された視点画像のそれぞれに対して“修正（rectification）”を元に戻すことにより、物理的に有効な視覚効果を生成するものである。カメラの対の境において、“逆修正”を行った結果は、元のカメラ画像と一致しているため、不連続の問題は解消される。
【００１１】
一番端の視点画像に対する、元の画像と修正画像との間の変換は、画像修正処理からわかる。しかしながら、これらの変換間における補間結果に対する変換は入手できない。従って、２つの一番端の画像に対する２つの変換間における補間を、視覚的に知覚できる動きを得るために行ってもよい。変換行列Ｈ(i)b、Ｈ(i+1)aによる単純な補間を施せば、不自然な、あるいは、有効でさえない変換（画像の一部を無限までマッピングする）を生じるおそれがある。他のアプローチとして、修正画像の４つのコーナーの動きをリファレンスとして用いてもよい。これら４つのコーナーの位置は線形に補間され、中間変換（intermediate transformation）Ｈ(v)i(i+1)は、これら４つのコーナーを画面のコーナーにマッピングする変換として定義される。
【００１２】
この、もう他の方法は、視覚的に連続する結果を生成することができるが、正確でなく、複雑であるかもしれない。４つのコーナーの線形移動を前提することは、一般的に有効でない可能性があり、２つのカメラ間における観察位置（viewing position）および方向の変化が大きい場合、エラーが見えてしまうおそれがある。また、ユーザがシーンのコーナーを入力する必要があり、４つのコーナーの位置に基づく概算ステップ（estimation step）がさらに必要となるため、アルゴリズムが複雑になるおそれがある。
【発明の概要】
【００１３】
一般的に、第１の態様において、本発明は、補間結果を観察角度に応じて異なる画像面に移動させるための、補間結果の“逆修正”に関する。これは、中間結果の画像面が観察角度に応じてなめらかに変化するという利点を有し得、より自然で、物理的に有効な視覚効果をもたらし得る。
【００１４】
１つ以上の実施の形態において、複数のカメラの対からの補間画像は、不連続の問題を伴わずに繋ぎあわせることができる。中間結果に対して、正確なキーストーンおよびサイズ補償を同時に実現してもよい。
【００１５】
１つ以上の実施の形態において、映画マトリックスで用いられた“バレットタイム（bullet time）”効果のような特殊効果の生成に、画像補間を使用してもよい。特殊効果を生成する場合、または３Ｄ視点画像を生成する場合には、必要なカメラはより少なくなる可能性があり、また、より自由度の高い視覚効果も生成することができる可能性がある。
【００１６】
１つ以上の実施の形態は、単純な行列計算を含んでもよく、パーソナルコンピュータ、組み込み機器、または民生用電子機器を使用して組み込まれてもよい。
【００１７】
１つ以上の実施の形態は、各種３Ｄ表示プラットフォーム用の画像、３Ｄモデル、または画像テクスチャなどのデータ生成に用いてもよい。
【００１８】
第２の態様において、本発明は、基線調整に関する。これは、線形のカメラ配置において、後処理を大幅に単純化することができるという利点を有し得る。
【００１９】
本発明の第１の具体的表現において、請求項１または請求項１８に請求するように、画像処理方法を提供する。
【００２０】
本発明の第２の具体的表現において、請求項２１に請求するように、集積回路またはプロセッサを提供する。
【００２１】
本発明の第３の具体的表現において、請求項２２に請求するように、撮像装置を提供する。
【００２２】
本発明の第４の具体的表現において、請求項２３に請求するように、画像表示装置を提供する。
【図面の簡単な説明】
【００２３】
本発明が十分に理解され、容易に実際的な効果に利用されるように、ここで、非制限的な例のみを用い、添付の図を参照して以下に説明される実施の形態例について説明する。
【００２４】
【図１】画像の取得、補間、および表示のためのシステムを表す模式図である。
【図２ａ】テレビ会議システムのためのハードウェアを表す模式図である。
【図２ｂ】カメラの正方形および円形のアレイを表す模式図である。
【図２ｃ】直線路（straight track）配置を備えたカメラアレイの写真である。
【図２ｄ】映画制作に用いられるカメラアレイの写真である。
【図３】２つの隣接するカメラの対での結果における不連続の例の写真である。
【図４】画像補間方法を表す図である。
【図５】補間画像の後処理方法を表す図である。
【図６】補間画像に対する変換行列の計算方法を表す図である。
【図７】後処理の実施前後における複数の補間画像を表す模式図である。
【図８】後処理方法のための変換行列計算を表す模式図である。
【図９】修正面に沿った、変化する観察距離（viewing distance）の変化を表す模式図である。
【図１０ａ】隣接する２対のカメラでの結果における不連続の例を示す、１対のカメラの右端の補間画像の写真である。
【図１０ｂ】隣接する２対のカメラでの結果における不連続の例を示す、隣接するカメラの対の左端の補間画像の写真である。
【図１１ａ】後処理後における１対のカメラの右端の補間画像の写真である。
【図１１ｂ】後処理後における隣接するカメラの対の左端の補間画像の写真である。
【図１２】民生用カメラを用いて８つの異なるカメラ位置から撮影された８つの入力画像の写真である。
【図１３】後処理を施した後における、第２および第３のカメラ位置からの画像間の補間画像の写真である。
【図１４】画像の、共通画像面への修正を表す模式図である。
【図１５（ａ）】１対のカメラ間の従来の視点補間における右カメラからの画像の写真である。
【図１５（ｂ）】１対のカメラ間の従来の視点補間における補間された仮想視点画像の写真である。
【図１５（ｃ）】１対のカメラ間の従来の視点補間における左カメラからの画像の写真である。
【図１６】後処理後における１対のカメラ間の補間画像である。
【発明を実施するための形態】
【００２５】
図１は、実施の形態例に係る、画像の取得、修正、補間、後処理、および表示のためのシステム１００を表す。システム１００は、画像取得システム１１０と、画像修正システム１３０と、画像補間システム１４０と、後処理１５０と、画像表示システム１７０とを備えている。
【００２６】
画像取得システム１１０は、複数の異なるカメラ位置または視点に配置された複数のカメラ１１２，１１４，１１６を備えている。画像取得システム１１０は、複数のカメラ１１２，１１４，１１６から複数の画像を取得する。それから、複数の画像は、画像補間画像処理システム１５０に供給される。
【００２７】
画像取得システム１１０は、図１に示されるような円形の配置形態をとってもよい。他の実施の形態において、画像取得システム１１０は、図２ａに示されるように、テレビ会議システム用のハードウェアの形態をとってもよい。また、画像取得システム１１０は、図２ｂに示されるように、２つよりも多くのカメラを備えたカメラアレイの形態をとってもよい。あるいは、画像取得システム１１０は、図２ｃに示されるような、３Ｄ表示用の光線再現（ray reconstruction）に用いられ得る、線形で、内側を向いた直線路配置の形態をとってもよい。もう１つの他の実施の形態において、画像取得システム１１０は、図２ｄに示されるような、例えば、マトリックスの制作など、映画制作に用いられるカメラアレイの形態をとってもよい。さらにもう１つの他の実施の形態においては、画像取得システム１１０は、代わりに、複数の異なるカメラ位置または視点から、複数の画像を撮影する単独のカメラを備えてもよい。用いられるカメラは、手持ちカメラ、搭載型カメラ、ポータブルビデオカメラ、携帯電話カメラ、ウェブカメラ、または監視カメラであってもよい。用いられるカメラは、また、順次走査式（progressive scanning）、または飛越し走査式（interlace scanning）のいずれであってもよい。
【００２８】
画像修正システム１３０は、画像取得システム１１０から、複数の画像を入力として受け取る。画像修正システム１３０、画像補間システム１４０、および画像処理システム１５０は、図４に示されるような画像処理方法４００を実行するが、これについては、後により詳細に説明する。画像後処理システム１５０の結果は、複数の“逆修正”画像となる。
【００２９】
当業者であれば理解できるように、画像処理システム１５０は、ソフトウェアとして、単独のパーソナルコンピュータに実装してもよいし、ＦＰＧＡ（Field Programmable Gates Array）などの内蔵されたハードウェアの形態によって実現してもよいし、複数のコンピュータ、複数の内蔵デバイス、複数のコンピュータおよび複数の内蔵デバイスにより実装してもよいし、またはシステムオンチップ（ＳＯＣ：System-on-chip）ソリューションを用いて実装してもよい。例えば、それは、画像撮影のために用いられるビデオカメラ内、または、画像表示に用いられる表示装置もしくは再生装置内に実装してもよい。
【００３０】
画像表示システム１７０は、それから、画像処理システム１５０によって生成された複数の“逆修正”画像を表示する。画像表示システム１７０は、図１に示される、ソニーによって開発され、デジタルコンテンツＥＸＰＯ２００９にて発表されたソニー（登録商標）のレイモデラー（商標）（ＲａｙＭｏｄｅｌｌｅｒTM）などの３Ｄディスプレイの形態をとってもよい。レイモデラーは、全角度から見ることができ、それにより３６０度観察をもたらす円筒形のコンセプトデザインを有する。レイモデラーは、高さ約１０．６インチ、直径約５．１インチであり、３Ｄ効果を見るために眼鏡を必要としない。
【００３１】
あるいは、画像表示システム１７０は、コンピュータのモニター、テレビ、またはプロジェクターなどであってもよい。
【００３２】
本実施の形態に係る方法４００は、画像修正システム１３０、画像補間システム１４０、および画像処理システム１５０に実装された、画像を処理するためのアルゴリズムを含む。
【００３３】
４２０において、複数の画像が、複数のカメラ位置または視点から得られる。この複数の画像は、図１に示されるような画像取得システム１１０から得てもよい。
【００３４】
４３０において、隣接する視点からの画像の対の間で、修正が施される。修正によって、ステレオマッチング処理におけるエピポーラ拘束を用いることができるようになる。修正の目的は、図１４に示されるように、画像の対を共通の画像面上へとこのように変換することである。
【００３５】
これは、修正行列（rectification matrix）Ｈ(i)bをｉのカメラ位置から撮影された画像に対して用い、Ｈ(i+1)aを（ｉ＋１）番目のカメラ位置から撮影された画像に対して用いることにより、ｉおよび（ｉ＋１）のカメラ位置からの画像に対して行うことができる。
【００３６】
Ｈ(i)aは、（ｉ−１）番目およびｉ番目のカメラからなる対における、ｉ番目のカメラに対する修正行列であり、他方、Ｈ(i)bは、ｉ番目および（ｉ＋１）番目のカメラからなる対における、ｉ番目のカメラに対する修正行列である。ほとんどの場合、Ｈ(i)a≠Ｈ(i)bである。
【００３７】
修正前の複数の画像１４１０は、異なる画像面を有し、修正の結果生じる複数の画像１４２０は、共通の画像面を有する。照合は、両方の画像にわたる同じ線１４２２内に制約される。
【００３８】
修正４３０は、公知技術であるいずれの画像修正方法を用いて行ってもよい。例えば、修正は、カメラ位置が固定されている場合には、一度の校正で得られた情報の使用に基づいて行ってもよいし、または、校正が不可能な場合には、なんらかの画像処理方法を用いて（例えば、特徴点検出および照合を用いて）行ってもよい。
【００３９】
それから、画像修正後に、画像の対に対して視点補間４４０が施される。これは、公知技術であるいずれかの補間方法を用いて施すことができる。例えば、補間は、Yuyu Liu, Yamaoka, K., Sato, H., Nakamura, A., Iwai, Y., Ooi, K., Weiguo Wu, and Yoshigahara, T.による、仮想視点画像の生成を用いたアイコンタクト視覚コミュニケーション（Eye-contact visual communication with virtual view synthesis. Proceedings of IEEE Consumer Communications and Networking Conference, 2005 (CCNC 2005). Page: 235- 240）においてなされたような動的プログラミングマッチングを用いて行うことができる。
【００４０】
図７は、カメラ位置７４０，７４２からなるカメラ位置の対Ｐ１における視点補間４４０による補間画像７１０ａ〜７１０ｅを表す。また、補間画像７１５ａ〜７１５ｅは、カメラ位置７４２，７４４からなるカメラ位置の対Ｐ２における視点補間４４０によるものである。補間画像７１０ａ〜７１０ｅは、補間画像７１５ａ〜７１５ｅとは異なる面、すなわち、面７３０，７３２のそれぞれの上にあることがわかるであろう。
【００４１】
それから、４５０において、後処理が補間画像に対して施される。後処理の工程は、図５においてより詳細に示すが、複数の“逆修正”画像を生成する。
【００４２】
そして、４６０において、後処理の結果生じた補正画像は、図１に示されるような画像表示システム１７０を用いた表示が可能となる。
【００４３】
後処理システム１５０における補間画像の後処理４５０は、図５を用いて説明する。後処理４５０の結果、各補間画像Ｎは、観察角度に対応する画像面上へと“逆修正”される。補間画像Ｎに対する観察角度は、補間画像Ｎに対応する仮想のカメラ位置における、カメラの被写体７５０のまわりの角度位置である。“逆修正”補間画像７２０ａを例にとると、観察角度は、φ、すなわち、カメラの被写体７５０の中心から“逆修正”補間画像７２０ａの中心へと延長している放射線７６０と、カメラの被写体７５０の中心からカメラ位置７４０へと延長している放射線７７０との間の角度によって表される。
【００４４】
Ｎは、カメラ位置の対から生じる補間画像の指数である。ｉおよび（ｉ＋１）のカメラ位置からの補間画像のセットに、合計Ｍ枚の画像があると仮定すると、後処理４５０は、１≦Ｎ≦Ｍからなるセットにおける各補間画像Ｎに対して施してもよい。
【００４５】
まず、補間画像Ｎ、５０２が供給される。５０４において、ｉおよびｉのカメラ位置に対する修正データが、それぞれ、Ｈ(i)bおよびＨ(i+1)aとして得られる。それから、補間画像５０２に対するパラメータ５０６が供給される。これらのパラメータ５０６は、Ｎの視点位置に関連するもの、例えばＮの値を含む。５５０において、補間画像Ｎに対する変換行列ＨNが、Ｈ(i)b、Ｈ(i+1)a、およびパラメータ５０６から生成される。生成工程５５０の詳細は、図６を用いて、後述する。
【００４６】
それから、５０８において、生成された変換行列ＨNは、補間画像５０２に適用される。それから、５１０において、ＨNを適用した補間画像５０２に、切り落とし（cropping）、またはリサンプリング（re-sampling）などの他の画像処理工程を施してもよい。切り落とし、およびリサンプリングは任意である。これらの工程処理が必要になる場合がある２つの理由がある。１）異なるカメラは異なる視野を有するため、結果が、全てのカメラから見える共通の領域のみを含むように、画像を切り落とすほうがよい。２）画像の大きさをディスプレイに合わせるために、さらなる切り落とし、またはリサンプリングが必要となる場合がある。例えば、カメラの解像度は８００×６００であるが、ディスプレイの解像度はたった１２８×１２８である場合がある。
【００４７】
“逆修正”後、異なる観察角度に応じた異なる量の変換が、補間画像それぞれに対して適用される。２つの隣接する“逆修正”画像群７２０ａ〜７２０ｅ、および７２５ａ〜７２５ｅにおける最初および最後の“逆修正”画像（すなわち、７２０ｅおよび７２５ａ）は、２つの画像群の境界であり、実際のカメラから得たような正確なキーストーンおよびサイズ因子を有するカメラ位置７４２に対する画像面と同一の画像面を有する。例えばＰ１およびＰ２のような隣接する対から見た、“逆修正”補間画像間の変化は、“逆修正”画像の画像面がなめらかな観察角度の変化を有するため、なめらかであり、それゆえ、自然で、物理的に有効な視覚効果を生成する。
【００４８】
変換行列ＨNの生成５５０を、図６を用いて説明する。Ｎ＝１およびＮ＝Ｍである一番端の視点画像に対する、元の画像と修正画像との間の修正変換は、画像修正処理によってわかる。しかしながら、これらの変換間における補間画像の変換は、計算しなければならない。
【００４９】
補間画像５０２に対するパラメータ５０６が、まず供給される。また、ｉおよび（ｉ＋１）のカメラ位置に対する修正データ６２０は、５０４において、Ｈ(i)bおよびＨ(i+1)aとしてそれぞれ得られる。Ｈ(i)bをＨLとし、Ｈ(i+1)aをＨRとする。なお、ＨLおよびＨRはしたがって、それぞれ、ｉおよび（ｉ＋１）のカメラ位置に関連する“修正”行列であり、カメラ校正データから得ることができる。
【００５０】
６３０において、キーストーン補償行列（keystone compensation matrix）ＫNを計算するために、数式１または数式２のいずれを選択するかが決定される。Ｎ≦Ｍ／２の場合は、数式１が選択数式（chosen equation）になる。
ＫN＝（ＨR-1・β＋Ｉ・（１−β））  ・・・（１）
そうでない場合は、数式２が選択数式になる。
ＫN＝（ＨL-1・α＋Ｉ・（１−α））  ・・・（２）
ＨL-1およびＨR-1は、それぞれ、ＨLおよびＨRの逆行列を表し、Ｉは、単位行列を表す。αおよびβは、カメラ位置によって決定される線形の補間係数である。Ｓは、サイズ因子および、画像の中心のずれを補償するためのさらなる変換を表すスケーリング行列である。
【００５１】
６４０において、キーストーン補償行列ＫNは、ＨL-1（選択数式が数式２である場合）、または、ＨR-1（選択数式が数式１である場合）のいずれかと、単位行列Ｉとの間を補間することによって、選択数式を用いて求められる。これは、図８に示されており、８１０は、その一連の画像におけるＮ＝１である一端の画像であり、８２０は、その一連の画像におけるＮ＝Ｍである他端の画像である。８３０は、その一連の画像におけるＮ＝Ｎ＝Ｍ／２である中央の補間画像である。
【００５２】
Ｍの補間画像の連続体の端にある画像８１０，８２０に対する変換行列は、単に、２つのカメラに対する“修正”行列（すなわち、ＨLおよびＨR）の逆行列であり、中央の結果に対しては、キーストーン補償のための変換を必要としない（すなわち、変換行列は、単位変換行列である）（しかしながら、図７に示されるように、観察距離の変化に応じた画像内のカメラの被写体の大きさ補償はやはり必要となる場合がある）。画像面から物体までの距離は変化する。従って、同じ物体の画像の大きさは、変更しなければならない。そうでなければ、３Ｄディスプレイにおいて、異なる角度から見たときに、物体の大きさが変化するように見えるであろう。これは、２つのカメラの画像面が、修正画像面に対して対称であるという仮定に基づいている。この仮定は、対象となる物体が、全てのカメラの画像の中心に維持されている配置のほとんどの場合において妥当であり、実験的に検証されている。
【００５３】
数式１および数式２を用いた補間方法は、常に、連続的で実行可能な変換を生じさせる。これは、補間をＨLおよびＨR間で実行するいくつかの従来技術の場合とは反対である。
【００５４】
６５０において、中央の補間画像８３０に対するスケーリング係数ｓ0が計算される。スケーリング係数ｓ0は、Ｍ枚の一連の補間画像にわたるカメラの被写体７５０の大きさの違いを補償するために用いられる。既知の配置設定を用いたカメラ設定においては、ｓ0は、単に、観察距離ｄを用いて、
ｓ0＝ｄ／Ｒ  ・・・（３）
または、
ｓ0＝cosα／２  ・・・（４）
のように計算することができる。
【００５５】
Ｒは、中央の補間画像８３０の端から対象となる物体へと延長している線であり、αは、中央の補間画像の視野を表す角度である。
【００５６】
配置に関する情報が得られない場合は、ｓ0の値は、試行錯誤法（trial-and-error method）によって推定することができる。
【００５７】
ｓ0の値を求めた後、Ｔx0およびＴy0は、
Ｔx0＝ＤＷ／２・（ｓ0−１）  ・・・（５）
および、
Ｔy0＝ＤＨ／２・（ｓ0−１）  ・・・（６）
のように計算することができる。ＤＷは、ピクセルの数で表した、中央の補間画像８３０の幅であり、ＤＨは、ピクセルの数で表した、中央の補間画像８３０の高さである。Ｔx0およびＴy0はそれぞれ、ピクセルの数で表した、画像の原点（image origin）の水平方向および垂直方向への変換（translation）である。
【００５８】
６６０において、スケーリング行列ＳNが求められる。具体的には、中央の視点位置においては、
【数１】
2011243205.tif 000003
である。
【００５９】
中間の視点位置においては、
【数２】
2011243205.tif 000004
である。Ｔx、Ｔy、およびｓは、単位行列およびＳ0間の補間によって得られる。ｓによって示されるサイズ因子は、図９に示されるように、観察する物体に対する“修正面”上の位置に沿った観察距離の変化を補償する。ＴxおよびＴyを用いた画像の原点の変換は、“逆修正”処理を経た後、結果として生じる画像の中央に、観察する物体を維持する。なお、一連の補間画像の端、すなわちＮ＝１またはＮ＝Ｍであるカメラ位置のＳNは、単位行列であり、他方、キーストーン補償行列ＫNは一連の画像の中央において単位行列である。
【００６０】
６７０において、変換行列ＨNは、行列ＳN，ＫNを用いて求められる。
ＨN＝ＳN＊ＫN  ・・・（９）
＊は行列の積を表す。
【００６１】
それから、変換行列ＨNは、補間画像Ｎ、５０２に適用されることができる。
【００６２】
図１１は、図１０に示される結果に対して“逆修正”行列Ｈを用いた後の結果を表す。共通に見ることができる画像領域は、ここでは、歪みなく、幾何学的に同一になっていることがわかる。この単純な行列補間方法は、図１６に示すように中間の結果に対しても、うまく作用し、レイモデラーディスプレイにおいて検証されたように、なめらかで、物理的に有効な視覚効果をもたらす。
【００６３】
同じ後処理は、単独の民生用カメラを用いて、複数のカメラ位置から、静的な物体をフリーハンドで撮影した画像間の補間にも用いることができる。１つの例は、図１２に示されるように、三脚なしで、民生用カメラを用いて撮影した８つの画像間の補間である。ユーザによって補助された背景分割、および、特徴点に基づく自動修正（例えば、ＳＩＦＴ−Scale Invariant Feature Transformation）を用いれば、異なる視点から撮影された複数の画像（この例では、８つの画像）間での補間が可能である。後処理を施すことによって、全ての画像にわたって連続的な視点を構築することができる。後処理方法を用いれば、異なるズーム設定／撮影距離によって生じる（カメラの被写体の大きさが異なる、第１の撮影視点画像１２０２と第２の撮影視点画像１２０４との間、または第２の撮影視点画像１２０４と第３の撮影視点画像１２０６との間にみられるような）“大小”効果（”big-small” effect）に対処することも可能である。第２の入力画像と第３の入力画像との間に後処理を行った結果の補間視点画像が、図１３に示されている。レイモデラーでこれを見れば、全ての補間画像に対して、キーストーンおよびサイズ因子が正確に補償されていることが検証可能である。
【００６４】
他の実施の形態においては、視点補間の後、後処理の間に“基線調整”を施してもよい。本実施の形態は、図２ｃに示すような、カメラの対におけるカメラの画像面が互いにそれほど異なっていない、線形のカメラ配置とともに用いてもよい。カメラの対におけるカメラの画像面が互いに大きく異ならない限り、カメラ位置は、線形に配置しなくてもよく、例えば、曲線形、またはジグザグに配置してもよい。この“基線調整”方法により、このような線形、または実質的に線形である配置において生じる幾何学的歪みが無視可能になる場合がある。
【００６５】
基本的なアイデアは、各カメラの対の“修正”画像面全てを、指定したカメラ位置の対に関連する１つの共通面、例えば、中央のカメラ位置の対の修正画像面へと変換することである。共通面は、線形のカメラ位置に対しておおよそ平行な軸を有する。
【００６６】
次に、“基線調整”方法を、図３を参照して説明する。“基線調整”では、指定した対、例えば、カメラ位置３０４および３０６からなる中央の対からの補間視点画像を除いて、全ての補間視点画像に対して変換行列を用いる。他の対、例えば、カメラ位置３０２，３０４、ならびにカメラ位置３０６，３０８からなる対からの結果において、これらのカメラからの画像に対して、画像を、カメラ位置３０４，３０６の“修正面”と同じ画像面上に置くような変換を施す。カメラ位置３０２，３０４間の画像を例に挙げると、変換行列は、Ｈ2a-1×Ｈ2bのように計算され、カメラ位置３０６，３０８間の画像に関しては、変換行列は、Ｈ3b-1×Ｈ3aのように計算される。
【００６７】
カメラ位置３０２のさらに左、またはカメラ位置３０８のさらに右に、他のカメラがある場合、変換行列は、連結した方式によって計算することができる。ｉ−１およびｉのカメラ位置からなり、指定された対がｉ0−１およびｉ0のカメラ位置によって構成されているカメラ位置の対を例に挙げると、ｉ＜ｉ0、すなわち、その対が、指定されたカメラの対の左にある場合、変換行列は、Ｈ(i)a-1×Ｈ(i)bとなる。しかしながら、ｉ＞ｉ0、すなわち、その対が指定されたカメラの対の右にある場合、変換行列は、Ｈ(i)b-1×Ｈ(i)aとなる。
【００６８】
本明細書において、“カメラ位置（camera position）”および“カメラ視点（camera view） ”または“視点 （view）”という用語は、互いに置き換え可能なものとして用いられている。
【００６９】
提示した方法は、異なる用途に用いてもよく、説明した実施の形態は、制限的なものとして解釈されるべきではないと理解されるべきである。例えば、それらは、医学的な画像（ＣＡＴスキャンまたは超音波画像など）、またはレーダーもしくはソナーによって生成された画像の処理に用いることができる。また、提示した方法は、ロボットの視覚のために用いてもよいと予想される。
【００７０】
上記の記述によって説明したが、本発明の実施の形態は、関連する技術における当業者であれば理解できるように、設計、構築、および／または操作の詳細については、請求する範囲から離れることなく、多くの変形を加えてもよい。
【符号の説明】
【００７１】
１００…システム、１１０…画像取得システム、１１２，１１４，１１６…カメラ、１３０…画像修正システム、１４０…画像補間システム、１５０…後処理、後処理システム、画像処理システム、画像後処理システム、１７０…レイモデラー画像表示システム、画像表示システム、３０２，３０４，３０６，３０８…カメラ一、４３０…修正、４４０…視点補間、４５０…後処理、５０２…補間画像、５０６…パラメータ、５５０…生成工程、生成、６２０…修正データ、７１０ａ〜７１０ｅ，７１５ａ〜７１５ｅ，７２０ａ〜７２０ｅ…補間画像、７３０，７３２…面、７４０，７４２…カメラ位置、７５０…カメラの被写体、７６０，７７０…放射線、８３０…中央の補間画像、１２０２…第１の視点画像、１２０４…第２の視点画像、１２０６…第３の視点画像、１４１０…修正前の画像、１４２０…修正の結果生じる画像、１４２２…同じ線。
【図１】
2011243205.tif 000005
【図２ａ】
2011243205.tif 000006
【図２ｂ】
2011243205.tif 000007
【図２ｃ】
2011243205.tif 000008
【図２ｄ】
2011243205.tif 000009
【図３】
2011243205.tif 000010
【図４】
2011243205.tif 000011
【図５】
2011243205.tif 000012
【図６】
2011243205.tif 000013
【図７】
2011243205.tif 000014
【図８】
2011243205.tif 000015
【図９】
2011243205.tif 000016
【図１０】
2011243205.tif 000017
【図１１】
2011243205.tif 000018
【図１２】
2011243205.tif 000019
【図１３】
2011243205.tif 000020
【図１４】
2011243205.tif 000021
【図１５】
2011243205.tif 000022
【図１６】
2011243205.tif 000023
【手続補正書】
【提出日】平成23年7月6日(2011.7.6)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
従来の視点補間（view interpolation）では、基線（baseline）が短い１対のカメラを用いる。視点補間の一般的な用途の１つは、図２ａに示されるようにカメラが配置されたテレビ会議システムの注視制御（gaze control）にある。図１５（Ａ）、１５（Ｂ）、および１５（Ｃ）は、そのようなカメラ配置における、補間結果を示す。図１５（Ａ）は、右のウェブカメラから撮影された視点画像であり、図１５（Ｃ）は左のウェブカメラから撮影された視点画像である。図１５（Ｂ）は、補間された視点画像である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
【図１】画像の取得、補間、および表示のためのシステムを表す模式図である。
【図２ａ】テレビ会議システムのためのハードウェアを表す模式図である。
【図２ｂ】カメラの正方形および円形のアレイを表す模式図である。
【図２ｃ】直線路（straight track）配置を備えたカメラアレイの写真である。
【図２ｄ】映画制作に用いられるカメラアレイの写真である。
【図３】２つの隣接するカメラの対での結果における不連続の例の模式図である。
【図４】画像補間方法を表す図である。
【図５】補間画像の後処理方法を表す図である。
【図６】補間画像に対する変換行列の計算方法を表す図である。
【図７】後処理の実施前後における複数の補間画像を表す模式図である。
【図８】後処理方法のための変換行列計算を表す模式図である。
【図９】修正面に沿った、変化する観察距離（viewing distance）の変化を表す模式図である。
【図１０】（Ａ）は隣接する２対のカメラでの結果における不連続の例を示す、１対のカメラの右端の補間画像の写真であり、（Ｂ）は隣接する２対のカメラでの結果における不連続の例を示す、隣接するカメラの対の左端の補間画像の写真である。
【図１１】（Ａ）は後処理後における１対のカメラの右端の補間画像の写真であり、（Ｂ）は後処理後における隣接するカメラの対の左端の補間画像の写真である。
【図１２】民生用カメラを用いて８つの異なるカメラ位置から撮影された８つの入力画像の写真である。
【図１３】後処理を施した後における、第２および第３のカメラ位置からの画像間の補間画像の写真である。
【図１４】画像の、共通画像面への修正を表す模式図である。
【図１５】（Ａ）は１対のカメラ間の従来の視点補間における右カメラからの画像の写真であり、（Ｂ）は１対のカメラ間の従来の視点補間における補間された仮想視点画像の写真であり、（Ｃ）は１対のカメラ間の従来の視点補間における左カメラからの画像の写真である。
【図１６】後処理後における１対のカメラ間の補間画像である。
【外国語明細書】
2011243205.tif 000024
2011243205.tif 000025
2011243205.tif 000026
2011243205.tif 000027
2011243205.tif 000028
2011243205.tif 000029
2011243205.tif 000030
2011243205.tif 000031
2011243205.tif 000032
2011243205.tif 000033
2011243205.tif 000034
2011243205.tif 000035
2011243205.tif 000036
2011243205.tif 000037
2011243205.tif 000038
2011243205.tif 000039
2011243205.tif 000040
2011243205.tif 000041
2011243205.tif 000042
2011243205.tif 000043
2011243205.tif 000044
2011243205.tif 000045
2011243205.tif 000046
2011243205.tif 000047
2011243205.tif 000048
2011243205.tif 000049
【図１】
2011243205.tif 000050
【図２a】
2011243205.tif 000051
【図２ｂ】
2011243205.tif 000052
【図２ｃ】
2011243205.tif 000053
【図２ｄ】
2011243205.tif 000054
【図３】
2011243205.tif 000055
【図４】
2011243205.tif 000056
【図５】
2011243205.tif 000057
【図６】
2011243205.tif 000058
【図７】
2011243205.tif 000059
【図８】
2011243205.tif 000060
【図９】
2011243205.tif 000061
【図１０】
2011243205.tif 000062
【図１１】
2011243205.tif 000063
【図１２】
2011243205.tif 000064
【図１３】
2011243205.tif 000065
【図１４】
2011243205.tif 000066
【図１５】
2011243205.tif 000067
【図１６】
2011243205.tif 000068