"異なる画像面を有する2つの隣接するカメラ位置から補間された、複数の補間画像を受け取る工程と、各補間画像に対して、複数の中間画像面のうちのそれぞれ1つへの変換を施す工程とを含み、各中間画像面は、前記隣接するカメラ位置に関連する前記補間画像の観察角度に応じて、前記2つの隣接するカメラ位置の前記画像面に対して中間の方向を向いて配置される画像処理方法。各補間画像に対する前記変換は、スケーリング行列とキーストーン補償行列との積によって求められる変換行列を用いる工程を含む前述のいずれの請求項に記載の方法。前記キーストーン補償行列は、単位行列と修正行列との間を補間することによって求められ、前記修正行列は、前記隣接するカメラ位置のうちの1つに関連している請求項2に記載の方法。前記修正行列は、前記補間画像のシーケンス番号に基づいて選択される請求項2または請求項3に記載の方法。前記スケーリング行列は、前記補間画像の画像原点を示す変換パラメータと、前記補間画像の観察距離を示すスケーリング係数とを備えた請求項2から請求項4のいずれかに記載の方法。前記変換パラメータは、1と中央変換パラメータとの間を補間することによって求められ、前記中央変換パラメータは、前記複数の画像間の中央に位置する補間画像から求められる請求項5に記載の方法。前記スケーリング係数は、1と中央スケーリング係数との間を補間することによって求められ、前記中央スケーリング係数は、前記複数の画像間の中央に位置する補間画像から求められる請求項5または請求項6に記載の方法。前記中央変換パラメータは、前記中央スケーリング係数を用いてさらに求められる請求項7に記載の方法。前記中央スケーリング係数は、前記中央の補間画像の視野を示す角度を用いて求められる請求項6または請求項7に記載の方法。前記中央変換パラメータは、前記補間画像の幅に関連している請求項5から請求項9のいずれかに記載の方法。前記中央変換パラメータは、前記補間画像の高さに関連している請求項5から請求項9のいずれかに記載の方法。前記複数の画像を受け取る前記工程は、前記複数の画像の前記画像面を共通の画像面上へと変換することによって、前記複数の画像を修正する工程を含む前述のいずれの請求項に記載の方法。前記複数の画像の前記画像面を変換する前記工程は、前記修正行列を前記隣接するカメラ位置のうちの前記1つの画像に適用する工程を含む請求項3に従属する場合の請求項12に記載の方法。各補間画像の前記観察角度は、カメラの被写体のまわりにおいて定められる前述のいずれの請求項に記載の方法。前記カメラの被写体は、各補間画像において見ることができる請求項14に記載の方法。各補間画像において見ることができる前記カメラの被写体は、異なる大きさを有する請求項15に記載の方法。前記カメラの被写体は、前記複数のカメラ位置から撮影された前記複数の画像において見ることができる請求項14から請求項16のいずれかに記載の方法。間隔をおいて配置された複数のカメラ位置から撮影された画像から補間された、複数の補間画像を受け取る工程と、各補間画像に対して、前記間隔をおいて配置された複数のカメラ位置におおよそ向き合わせされた指定画像面への変換を施す工程とを含む画像処理方法。前記間隔をおいて配置された複数のカメラ位置は、おおよそ直線である線上に配置されるとともに、前記指定画像面の1つの軸は、前記直線である線に対して平行である請求項18に記載の方法。前記変換は、第1のカメラの特定の修正行列の逆行列と、第2のカメラの特定の修正行列との積によって求められ、前記第1および第2のカメラの特定の修正行列は、前記間隔をおいて配置された複数のカメラ位置のうちのカメラ位置に関連している請求項18または請求項19に記載の方法。請求項1から請求項20に記載のいずれの前記画像処理方法を実行するために構成された、集積回路またはプロセッサ。請求項1から請求項20に記載のいずれの前記画像処理方法を実行するために構成された、撮像装置。請求項1から請求項20に記載のいずれの画像処理方法を用いて得られた処理画像を表示するために構成された画像表示装置。図1は、実施の形態例に係る、画像の取得、修正、補間、後処理、および表示のためのシステム100を表す。システム100は、画像取得システム110と、画像修正システム130と、画像補間システム140と、後処理150と、画像表示システム170とを備えている。画像取得システム110は、複数の異なるカメラ位置または視点に配置された複数のカメラ112,114,116を備えている。画像取得システム110は、複数のカメラ112,114,116から複数の画像を取得する。それから、複数の画像は、画像補間画像処理システム150に供給される。画像取得システム110は、図1に示されるような円形の配置形態をとってもよい。他の実施の形態において、画像取得システム110は、図2aに示されるように、テレビ会議システム用のハードウェアの形態をとってもよい。また、画像取得システム110は、図2bに示されるように、2つよりも多くのカメラを備えたカメラアレイの形態をとってもよい。あるいは、画像取得システム110は、図2cに示されるような、3D表示用の光線再現rayreconstructionに用いられ得る、線形で、内側を向いた直線路配置の形態をとってもよい。もう1つの他の実施の形態において、画像取得システム110は、図2dに示されるような、例えば、マトリックスの制作など、映画制作に用いられるカメラアレイの形態をとってもよい。さらにもう1つの他の実施の形態においては、画像取得システム110は、代わりに、複数の異なるカメラ位置または視点から、複数の画像を撮影する単独のカメラを備えてもよい。用いられるカメラは、手持ちカメラ、搭載型カメラ、ポータブルビデオカメラ、携帯電話カメラ、ウェブカメラ、または監視カメラであってもよい。用いられるカメラは、また、順次走査式progressivescanning、または飛越し走査式interlacescanningのいずれであってもよい。画像修正システム130は、画像取得システム110から、複数の画像を入力として受け取る。画像修正システム130、画像補間システム140、および画像処理システム150は、図4に示されるような画像処理方法400を実行するが、これについては、後により詳細に説明する。画像後処理システム150の結果は、複数の逆修正画像となる。当業者であれば理解できるように、画像処理システム150は、ソフトウェアとして、単独のパーソナルコンピュータに実装してもよいし、FPGAFieldProgrammableGatesArrayなどの内蔵されたハードウェアの形態によって実現してもよいし、複数のコンピュータ、複数の内蔵デバイス、複数のコンピュータおよび複数の内蔵デバイスにより実装してもよいし、またはシステムオンチップSOC:Systemonchipソリューションを用いて実装してもよい。例えば、それは、画像撮影のために用いられるビデオカメラ内、または、画像表示に用いられる表示装置もしくは再生装置内に実装してもよい。画像表示システム170は、それから、画像処理システム150によって生成された複数の逆修正画像を表示する。画像表示システム170は、図1に示される、ソニーによって開発され、デジタルコンテンツEXPO2009にて発表されたソニー登録商標のレイモデラー商標RayModellerTMなどの3Dディスプレイの形態をとってもよい。レイモデラーは、全角度から見ることができ、それにより360度観察をもたらす円筒形のコンセプトデザインを有する。レイモデラーは、高さ約10.6インチ、直径約5.1インチであり、3D効果を見るために眼鏡を必要としない。あるいは、画像表示システム170は、コンピュータのモニター、テレビ、またはプロジェクターなどであってもよい。本実施の形態に係る方法400は、画像修正システム130、画像補間システム140、および画像処理システム150に実装された、画像を処理するためのアルゴリズムを含む。420において、複数の画像が、複数のカメラ位置または視点から得られる。この複数の画像は、図1に示されるような画像取得システム110から得てもよい。430において、隣接する視点からの画像の対の間で、修正が施される。修正によって、ステレオマッチング処理におけるエピポーラ拘束を用いることができるようになる。修正の目的は、図14に示されるように、画像の対を共通の画像面上へとこのように変換することである。これは、修正行列rectificationmatrixHbをiのカメラ位置から撮影された画像に対して用い、Haをi1番目のカメラ位置から撮影された画像に対して用いることにより、iおよびi1のカメラ位置からの画像に対して行うことができる。Haは、i-1番目およびi番目のカメラからなる対における、i番目のカメラに対する修正行列であり、他方、Hbは、i番目およびi1番目のカメラからなる対における、i番目のカメラに対する修正行列である。ほとんどの場合、Ha≠Hbである。修正前の複数の画像1410は、異なる画像面を有し、修正の結果生じる複数の画像1420は、共通の画像面を有する。照合は、両方の画像にわたる同じ線1422内に制約される。修正430は、公知技術であるいずれの画像修正方法を用いて行ってもよい。例えば、修正は、カメラ位置が固定されている場合には、一度の校正で得られた情報の使用に基づいて行ってもよいし、または、校正が不可能な場合には、なんらかの画像処理方法を用いて例えば、特徴点検出および照合を用いて行ってもよい。それから、画像修正後に、画像の対に対して視点補間440が施される。これは、公知技術であるいずれかの補間方法を用いて施すことができる。例えば、補間は、YuyuLiuYamaokaKSatoHNakamuraAIwaiYOoiKWeiguoWuandYoshigaharaTによる、仮想視点画像の生成を用いたアイコンタクト視覚コミュニケーションEyecontactvisualcommunicationwithvirtualviewsynthesisProceedingsofIEEEConsumerCommunicationsandNetworkingConference2005Page235240においてなされたような動的プログラミングマッチングを用いて行うことができる。図7は、カメラ位置740,742からなるカメラ位置の対P1における視点補間440による補間画像710a~710eを表す。また、補間画像715a~715eは、カメラ位置742,744からなるカメラ位置の対P2における視点補間440によるものである。補間画像710a~710eは、補間画像715a~715eとは異なる面、すなわち、面730,732のそれぞれの上にあることがわかるであろう。それから、450において、後処理が補間画像に対して施される。後処理の工程は、図5においてより詳細に示すが、複数の逆修正画像を生成する。そして、460において、後処理の結果生じた補正画像は、図1に示されるような画像表示システム170を用いた表示が可能となる。後処理システム150における補間画像の後処理450は、図5を用いて説明する。後処理450の結果、各補間画像Nは、観察角度に対応する画像面上へと逆修正される。補間画像Nに対する観察角度は、補間画像Nに対応する仮想のカメラ位置における、カメラの被写体750のまわりの角度位置である。逆修正補間画像720aを例にとると、観察角度は、φ、すなわち、カメラの被写体750の中心から逆修正補間画像720aの中心へと延長している放射線760と、カメラの被写体750の中心からカメラ位置740へと延長している放射線770との間の角度によって表される。Nは、カメラ位置の対から生じる補間画像の指数である。iおよびi1のカメラ位置からの補間画像のセットに、合計M枚の画像があると仮定すると、後処理450は、1≦N≦Mからなるセットにおける各補間画像Nに対して施してもよい。まず、補間画像N、502が供給される。504において、iおよびiのカメラ位置に対する修正データが、それぞれ、HbおよびHaとして得られる。それから、補間画像502に対するパラメータ506が供給される。これらのパラメータ506は、Nの視点位置に関連するもの、例えばNの値を含む。550において、補間画像Nに対する変換行列HNが、Hb、Ha、およびパラメータ506から生成される。生成工程550の詳細は、図6を用いて、後述する。それから、508において、生成された変換行列HNは、補間画像502に適用される。それから、510において、HNを適用した補間画像502に、切り落としcropping、またはリサンプリングresamplingなどの他の画像処理工程を施してもよい。切り落とし、およびリサンプリングは任意である。これらの工程処理が必要になる場合がある2つの理由がある。1異なるカメラは異なる視野を有するため、結果が、全てのカメラから見える共通の領域のみを含むように、画像を切り落とすほうがよい。2画像の大きさをディスプレイに合わせるために、さらなる切り落とし、またはリサンプリングが必要となる場合がある。例えば、カメラの解像度は800×600であるが、ディスプレイの解像度はたった128×128である場合がある。逆修正後、異なる観察角度に応じた異なる量の変換が、補間画像それぞれに対して適用される。2つの隣接する逆修正画像群720a~720e、および725a~725eにおける最初および最後の逆修正画像すなわち、720eおよび725aは、2つの画像群の境界であり、実際のカメラから得たような正確なキーストーンおよびサイズ因子を有するカメラ位置742に対する画像面と同一の画像面を有する。例えばP1およびP2のような隣接する対から見た、逆修正補間画像間の変化は、逆修正画像の画像面がなめらかな観察角度の変化を有するため、なめらかであり、それゆえ、自然で、物理的に有効な視覚効果を生成する。変換行列HNの生成550を、図6を用いて説明する。N=1およびN=Mである一番端の視点画像に対する、元の画像と修正画像との間の修正変換は、画像修正処理によってわかる。しかしながら、これらの変換間における補間画像の変換は、計算しなければならない。補間画像502に対するパラメータ506が、まず供給される。また、iおよびi1のカメラ位置に対する修正データ620は、504において、HbおよびHaとしてそれぞれ得られる。HbをHLとし、HaをHRとする。なお、HLおよびHRはしたがって、それぞれ、iおよびi1のカメラ位置に関連する修正行列であり、カメラ校正データから得ることができる。630において、キーストーン補償行列keystonecompensationmatrixKNを計算するために、数式1または数式2のいずれを選択するかが決定される。N≦M/2の場合は、数式1が選択数式chosenequationになる。KN=HR1βI1-β1そうでない場合は、数式2が選択数式になる。KN=HL1αI1-α2HL1およびHR1は、それぞれ、HLおよびHRの逆行列を表し、Iは、単位行列を表す。αおよびβは、カメラ位置によって決定される線形の補間係数である。Sは、サイズ因子および、画像の中心のずれを補償するためのさらなる変換を表すスケーリング行列である。640において、キーストーン補償行列KNは、HL1選択数式が数式2である場合、または、HR1選択数式が数式1である場合のいずれかと、単位行列Iとの間を補間することによって、選択数式を用いて求められる。これは、図8に示されており、810は、その一連の画像におけるN=1である一端の画像であり、820は、その一連の画像におけるN=Mである他端の画像である。830は、その一連の画像におけるN=N=M/2である中央の補間画像である。Mの補間画像の連続体の端にある画像810,820に対する変換行列は、単に、2つのカメラに対する修正行列すなわち、HLおよびHRの逆行列であり、中央の結果に対しては、キーストーン補償のための変換を必要としないすなわち、変換行列は、単位変換行列であるしかしながら、図7に示されるように、観察距離の変化に応じた画像内のカメラの被写体の大きさ補償はやはり必要となる場合がある。画像面から物体までの距離は変化する。従って、同じ物体の画像の大きさは、変更しなければならない。そうでなければ、3Dディスプレイにおいて、異なる角度から見たときに、物体の大きさが変化するように見えるであろう。これは、2つのカメラの画像面が、修正画像面に対して対称であるという仮定に基づいている。この仮定は、対象となる物体が、全てのカメラの画像の中心に維持されている配置のほとんどの場合において妥当であり、実験的に検証されている。数式1および数式2を用いた補間方法は、常に、連続的で実行可能な変換を生じさせる。これは、補間をHLおよびHR間で実行するいくつかの従来技術の場合とは反対である。650において、中央の補間画像830に対するスケーリング係数s0が計算される。スケーリング係数s0は、M枚の一連の補間画像にわたるカメラの被写体750の大きさの違いを補償するために用いられる。既知の配置設定を用いたカメラ設定においては、s0は、単に、観察距離dを用いて、s0=d/R3または、s0=cosα/24のように計算することができる。Rは、中央の補間画像830の端から対象となる物体へと延長している線であり、αは、中央の補間画像の視野を表す角度である。配置に関する情報が得られない場合は、s0の値は、試行錯誤法trialanderrormethodによって推定することができる。s0の値を求めた後、Tx0およびTy0は、Tx0=DW/2s0-15および、Ty0=DH/2s0-16のように計算することができる。DWは、ピクセルの数で表した、中央の補間画像830の幅であり、DHは、ピクセルの数で表した、中央の補間画像830の高さである。Tx0およびTy0はそれぞれ、ピクセルの数で表した、画像の原点imageoriginの水平方向および垂直方向への変換translationである。660において、スケーリング行列SNが求められる。具体的には、中央の視点位置においては、である。中間の視点位置においては、である。Tx、Ty、およびsは、単位行列およびS0間の補間によって得られる。sによって示されるサイズ因子は、図9に示されるように、観察する物体に対する修正面上の位置に沿った観察距離の変化を補償する。TxおよびTyを用いた画像の原点の変換は、逆修正処理を経た後、結果として生じる画像の中央に、観察する物体を維持する。なお、一連の補間画像の端、すなわちN=1またはN=Mであるカメラ位置のSNは、単位行列であり、他方、キーストーン補償行列KNは一連の画像の中央において単位行列である。670において、変換行列HNは、行列SN,KNを用いて求められる。HN=SNKN9は行列の積を表す。それから、変換行列HNは、補間画像N、502に適用されることができる。図11は、図10に示される結果に対して逆修正行列Hを用いた後の結果を表す。共通に見ることができる画像領域は、ここでは、歪みなく、幾何学的に同一になっていることがわかる。この単純な行列補間方法は、図16に示すように中間の結果に対しても、うまく作用し、レイモデラーディスプレイにおいて検証されたように、なめらかで、物理的に有効な視覚効果をもたらす。同じ後処理は、単独の民生用カメラを用いて、複数のカメラ位置から、静的な物体をフリーハンドで撮影した画像間の補間にも用いることができる。1つの例は、図12に示されるように、三脚なしで、民生用カメラを用いて撮影した8つの画像間の補間である。ユーザによって補助された背景分割、および、特徴点に基づく自動修正例えば、SIFT-ScaleInvariantFeatureTransformationを用いれば、異なる視点から撮影された複数の画像この例では、8つの画像間での補間が可能である。後処理を施すことによって、全ての画像にわたって連続的な視点を構築することができる。後処理方法を用いれば、異なるズーム設定/撮影距離によって生じるカメラの被写体の大きさが異なる、第1の撮影視点画像1202と第2の撮影視点画像1204との間、または第2の撮影視点画像1204と第3の撮影視点画像1206との間にみられるような大小効果bigsmalleffectに対処することも可能である。第2の入力画像と第3の入力画像との間に後処理を行った結果の補間視点画像が、図13に示されている。レイモデラーでこれを見れば、全ての補間画像に対して、キーストーンおよびサイズ因子が正確に補償されていることが検証可能である。他の実施の形態においては、視点補間の後、後処理の間に基線調整を施してもよい。本実施の形態は、図2cに示すような、カメラの対におけるカメラの画像面が互いにそれほど異なっていない、線形のカメラ配置とともに用いてもよい。カメラの対におけるカメラの画像面が互いに大きく異ならない限り、カメラ位置は、線形に配置しなくてもよく、例えば、曲線形、またはジグザグに配置してもよい。この基線調整方法により、このような線形、または実質的に線形である配置において生じる幾何学的歪みが無視可能になる場合がある。基本的なアイデアは、各カメラの対の修正画像面全てを、指定したカメラ位置の対に関連する1つの共通面、例えば、中央のカメラ位置の対の修正画像面へと変換することである。共通面は、線形のカメラ位置に対しておおよそ平行な軸を有する。次に、基線調整方法を、図3を参照して説明する。基線調整では、指定した対、例えば、カメラ位置304および306からなる中央の対からの補間視点画像を除いて、全ての補間視点画像に対して変換行列を用いる。他の対、例えば、カメラ位置302,304、ならびにカメラ位置306,308からなる対からの結果において、これらのカメラからの画像に対して、画像を、カメラ位置304,306の修正面と同じ画像面上に置くような変換を施す。カメラ位置302,304間の画像を例に挙げると、変換行列は、H2a1×H2bのように計算され、カメラ位置306,308間の画像に関しては、変換行列は、H3b1×H3aのように計算される。カメラ位置302のさらに左、またはカメラ位置308のさらに右に、他のカメラがある場合、変換行列は、連結した方式によって計算することができる。i-1およびiのカメラ位置からなり、指定された対がi0-1およびi0のカメラ位置によって構成されているカメラ位置の対を例に挙げると、i<i0、すなわち、その対が、指定されたカメラの対の左にある場合、変換行列は、Ha1×Hbとなる。しかしながら、i>i0、すなわち、その対が指定されたカメラの対の右にある場合、変換行列は、Hb1×Haとなる。本明細書において、カメラ位置camerapositionおよびカメラ視点cameraviewまたは視点viewという用語は、互いに置き換え可能なものとして用いられている。提示した方法は、異なる用途に用いてもよく、説明した実施の形態は、制限的なものとして解釈されるべきではないと理解されるべきである。例えば、それらは、医学的な画像CATスキャンまたは超音波画像など、またはレーダーもしくはソナーによって生成された画像の処理に用いることができる。また、提示した方法は、ロボットの視覚のために用いてもよいと予想される。上記の記述によって説明したが、本発明の実施の形態は、関連する技術における当業者であれば理解できるように、設計、構築、および/または操作の詳細については、請求する範囲から離れることなく、多くの変形を加えてもよい。"