(57)【要約】  対象物の画像データを取得するための方法およびシステムが開示される。画像データは、少なくとも２つの異なる電力特性を有する画像システムを用いて収集される。画像データは、動的または高い再構成技術を使用することにより再構成される。上記方法は、シーンの第１画像を取り込むために一次像取込装置を使用するステップを含み、第１画像は第１品質特性を有する。さらに、上記方法は、上記シーンの第２画像を取り込むために二次像取込装置を使用するステップを含む。第２画像は、第２品質特性を有する。第２品質特性は、第１品質特性より低い品質である。上記方法は、第１品質特性に近づける、および、合わせるための複数の調整された画像を生成するために、取り込まれた画像のうちの１つの少なくとも１つのパラメータを調整するステップを含む。さらに、上記方法は、画像処理について、調整された画像を使用するステップを含む。
2014502818.tif 000002
【特許請求の範囲】
【請求項１】
画像処理を行うために、イメージセンサおよびレンズをそれぞれ含む一次像取込装置および二次像取込装置を使用する方法であって、
シーンの、第１品質特性を有する第１画像を取り込むために前記一次像取込装置を使用するステップと、
上記シーンの、前記第１品質特性より低い第２品質特性を有する第２画像を取り込むために前記二次像取込装置を使用するステップと、
前記第１品質特性への近似および一致のうちいずれかのために、複数の調整された画像を生成するために、前記取り込まれた画像のうちの１つの少なくとも１つのパラメータを調整するステップと、
画像処理のために、前記調整された画像を利用するステップとを含むことを特徴とする、方法。
【請求項２】
少なくとも１つのパラメータを調整するステップは、前記取り込まれた画像のうちの１つのトリミング係数、大きさ、スケーリングのうちの１つを、他の取り込まれた画像と解像度を合わせ、視野を近づけるために、調整するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項３】
重複している視野、解像度、トリミングおよびスケールの変化を計算するために、前記一次像取込装置および前記二次像取込装置の焦点距離および光学特性を使用するステップをさらに含むことを特徴とする、請求項２に記載の方法。
【請求項４】
前記画像取込装置の歪み特性を特定するステップと、
前記第１画像および前記第２画像を等しくするために、歪みを補正するよう変更処理を行うステップとを含むことを特徴とする、請求項３に記載の方法。
【請求項５】
少なくとも１つのパラメータを調整するステップは、一方の画像を、他の画像の色と合わせる、または、近づけるために、色を調整するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項６】
前記画像取込装置の重複している視野の領域を特定するステップと、
前記領域の色特性を抽出するステップと、
前記第１画像と前記第２画像とを等しくするために、色マッチングおよび色補正動作を実行するステップとを含むことを特徴とする、請求項５に記載の方法。
【請求項７】
前記取り込まれた画像および前記調整された画像に基づいて、少なくとも１つの立体的な静止画像を生成するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項８】
前記取り込まれた画像および前記調整された画像の組み合わせのうちの１つについて、記憶処理、訂正処理のうち１つを行うステップを含むことを特徴とする、請求項７に記載の方法。
【請求項９】
前記少なくとも１つの立体的な静止画像の画素の水平位置のオフセットについて、視差マップを生成するステップを含むことを特徴とする、請求項７に記載の方法。
【請求項１０】
前記一次像取込装置を使用して隣り合わせの画像を取り込むための予め定められたステレオベースを計算するために、前記一次像取込装置の視差マップおよび光学特性を使用するステップを含むことを特徴とする、請求項９に記載の方法。
【請求項１１】
隣合わせの画像組を使用して立体的な画像生成における使用のための前記第２画像を取り込むために、前記一次像取込装置についての位置を決定するための前記一次像取込装置のライブビューデータを使用するステップを含むことを特徴とする、請求項１０の方法。
【請求項１２】
上記シーンについての奥行マップを生成するために前記視差マップを使用するステップと、
立体的画像組のための第２映像を生成するために、奥行画像に基づくレンダリング（ＤＩＢＲ）技術を適用するよう前記視差マップを使用するステップとを含むことを特徴とする、請求項７に記載の方法。
【請求項１３】
前記一次像取込装置および前記二次像取込装置の真の分離と異なる事実上ステレオベースであることを示す立体組を生成するために、前記奥行マップの奥行値をスケーリングするステップを含むことを特徴とする、請求項１２に記載の方法。
【請求項１４】
大きい歪みを有した物体を特定するために、前記視差マップを評価するステップと、
前記二次像取込装置からのデータを使用して、予め定められた奥行および位置において、前記特定された物体を配置するよう、奥行き画像に基づくレンダリング技術（ＤＩＢＲ）を行うステップと、
前記二次像取込装置からの前記データを使用して、閉塞領域を満たすステップとを含むことを特徴とする、請求項７に記載の方法。
【請求項１５】
上記シーンの複数の他の画像を取り込むために、前記二次像取込装置を使用するステップと、
前記複数の他の画像に基づいてモーションブラーカーネルを決定するステップと、
前記シーンの前記第１画像からボケを除去するために、前記モーションブラーカーネルを適用するステップと、を含むことを特徴とする、請求項７に記載の方法。
【請求項１６】
前記第１画像および前記第２画像は、前記一次像取込装置および前記二次像取込装置それぞれによって取り込まれた動画のフレームであり、
上記方法は、取込の時間に基づいて動画のフレームをマッチングするステップを含むことを特徴とする、請求項１に記載の方法。
【請求項１７】
前記一次像取込装置を使用するステップは、前記シーンの主な特定の部分について第１所定露出レベルで第１画像を取り込むために、前記一次像取込装置を使用するステップを含み、
前記二次像取込装置を使用するステップは、前記シーンの前記暗領域および前記明領域のいずれかについて第２所定露出レベルで前記第２画像を取り込むために、前記二次像取込装置を使用するステップを含み、
前記第１画像と前記第２画像の品質特性を近づける、または、合わせるために、前記第２画像の少なくとも１つのパラメータを調整するステップと、
高ダイナミックレンジの単一の画像を生成するために、前記第１画像および前記調整された画像に基づいて静止画像を生成するステップとを含むことを特徴とする、請求項１に記載の方法。
【請求項１８】
前記一次像取込装置を使用するステップは、主な特定の部分について所定焦点距離でシーンの前記第１画像を取り込むために前記一次像取込装置を使用するステップを含み、
前記二次像取込装置を使用するステップは、前記所定の焦点距離と異なる焦点距離で前記シーンの前記第２画像を取り込むために前記二次像取込装置を使用するステップを含み、
前記方法は、焦点合成画像を生成するために、前記取り込まれた画像の少なくとも１つのパラメータを調整するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項１９】
前記一次像取込装置および前記二次像取込装置は、携帯電話の構成要素であり、前記二次像取込装置は、ユーザに向けた第１位置に面し、前記シーンに向けた第２位置に面するよう構成され、
前記二次像取込装置は、前記一次像取込装置および前記二次像取込装置が前記シーンの前記第１画像および前記第２画像を取り込むように、前記シーンからの光の経路を前記二次像取込装置に向ける機構を含むことを特徴とする、請求項１に記載の方法。
【請求項２０】
手ブレなく、動画像シーケンスを生成するために一次像取込装置および二次像取込装置を使用する方法であって、
シーンから第１シーケンス画像を取り込むために前記一次像取込装置を使用するステップと、
前記シーンから第２シーケンス画像を取り込むために前記二次像取込装置を使用するステップと、
視差マップを生成するステップと、
前記シーケンスにおいて２つの連続した画像の間の同じ視差を有する物体を決定するステップと、
前記物体が同じ視差を有すると決定すると、前記物体を移動していない物体として特定するステップと、
前記移動していない物体について揺れ動きベクトルを計算するステップと、
前記画像に基づいて生成されたシーンの動画像または静止画像における揺れを補うステップとを含むことを特徴とする、方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
〔関連出願について〕
この出願は、２０１０年１２月２７日に出願された米国の分割出願６１／４２７，２７８の利益を主張し、その全体が以下に組み込まれる。
【０００２】
〔技術分野〕
ここに開示される主題は、画像処理に関する。特に、ここの開示される主題は、画像処理のための一次像および二次像取込装置および方法に関する。
【０００３】
〔背景〕
立体映像すなわち三次元画像は、人間の視覚の原理に基づく。２つの独立した検出器は、僅かに異なる位置および／または角度から、ある場面における同じ対象物を検出し、２つの平面にそれらを投影する。得られる画像は、それらを組み合わせ、三次元の認知、すなわち場面における奥行を生じる処理装置に転送される。
【０００４】
三次元画像を視覚化する多くの技術が発達し、２つの画像を分離させるためのカラーフィルターまたは偏光フィルターの使用、画像の物理的分離、それぞれの目に分けて投影することを含む。さらに、表示装置は、立体的画像を表示するために良く適したものが近年発達している。例えば、そのような表示装置は、デジタルスチルカメラ、パーソナルコンピュータ、デジタル写真フレーム、セットトップボックス、高精細度テレビ（ＨＤＴＶ）のようなものが含まれる。
【０００５】
デジタルスチルカメラ、デジタルポータブルビデオカメラ（またはビデオカメラ）およびカメラ内蔵の電話のような、デジタル画像を取り込むためのデジタル画像取込装置の使用は、普及し、人気である。これら装置を使用して取り込まれた画像は、デジタル形式であるので、画像は、容易に広まり、編集される。例えば、デジタル画像は、容易にインターネットのようなネットワークに広まる。さらに、デジタル画像は、画像取込装置またはパーソナルコンピュータに適したソフトウエアの使用によって編集される。
【０００６】
従来の画像取込装置を使用して取り込まれたデジタル画像は、ニ次元である。三次元画像を生成するために、従来装置を使用した方法およびシステムを提供することが好ましい。さらに、三次元画像または二次元画像を生成するために、画像を処理するめの改良技術を提供するためのシステムを提供することが好ましい。
【０００７】
〔要約〕
この要約は、詳細な説明に記載される概念の選択部分を単純な形で説明するために提供される。この要約は、クレーム化された主題のカギとなる特徴、必要不可欠な特徴を特定することを意図していないし、クレーム化された主題の範囲を限定するために使用することも意図していない。
【０００８】
ここには、画像処理のための一次像および二次像画像取込装置および方法が開示されている。ある局面において、方法は、画像処理を行うために、イメージセンサーおよびレンズをそれぞれ含む一次像取込装置および二次像取込装置を使用するステップを含む。方法は、シーンから第１画像を取り込むために前記一次像取込装置を使用するステップを含み、前記第１画像は第１品質特性を有する。さらに、方法は、前記シーンから第２画像を取り込むために前記二次像取込装置を使用するステップを含む。前記第２画像は、第２品質特性を有する。前記第２品質特性は、前記第１品質特性より低い。前記方法は、前記第１品質特性に近づけるか、または、一致させるために複数の前記調整された画像を生成するために、前記取り込まれた画像のうち１つの少なくとも１つのパラメータを調整するステップを含む。さらに、前記方法は、画像処理のために、前記調整された画像を利用するステップを含む。
【０００９】
ある局面において、方法は、ボケのない静止画像を生成するために、一次像取込装置および二次像取込装置を使用するステップを含む。前記方法は、シーンから第１画像を取り込むために、前記画像取込装置を使用するステップを含む。さらに、前記方法は、前記シーンから複数の他の画像を取り込むために、前記二次像取込装置を使用するステップを含む。前記方法は、前記複数の他の画像に基づいてモーションブラーカーネルを決定するステップを含む。さらに、前記方法は、前記シーンから前記第１画像からボケを除去するために、前記モーションブラーカーネルを適用するステップを含む。
【００１０】
他の局面において、方法は、ハンドシェーキング（手ブレ）なく、動画シーケンスを生成するために、一次像取込装置および二次像取込装置を使用するステップを含む。前記方法は、シーンから第１シーケンス（連続）画像を取り込むために、前記一次像取込装置を使用するステップを含む。さらに、前記方法は、前記シーンから第２シーケンス（連続）画像を取り込むために、前記二次像取込装置を使用するステップを含む。前記方法は、視差マップを生成する方法を含む。さらに、前記方法は、前記シーケンスにおいて２つの連続する画像の間の同じ歪みを有する対象物を決定するステップを含む。前記方法は、前記対象物が同じ歪みを有すると決定すると、前記対象物を移動していない対象物として特定するステップを含む。さらに、前記方法は、前記移動していない対象物について揺れ動きベクトルを計算するステップを含む。前記方法は、前記画像に基づいて生成されたシーンの動画像または静止画像において揺れを補うステップを含む。
【００１１】
〔図の説明〕
以下の様々な実施形態の詳細な説明と同様に上述の要約は、添付の図と組み合わせて読まれることでより理解される。例示の目的で、図に典型的な実施形態が示される。しかしながら、本開示の主題は、特定の方法および開示の機器に限定されない。
【００１２】
図１は、本実施の形態における、あるシーンの画像を取り込み、画像処理を行うのに使用するための一次像取込装置および二次像取込装置を含む典型的な画像取込装置のブロック図である。
【００１３】
図２は、本実施の形態における、図１（単独または他の適切な装置とともに）に示されるシステムを使用する画像処理を実行するための典型的方法のフローチャートである。
【００１４】
図３Ａ，Ｂは、本実施の形態における一次像取込装置および二次像取込装置を含む例示のビデオカメラの斜視図である。
【００１５】
図４は、本実施の形態における、一次像および二次像取込装置を含む例示のデジタルカメラの斜視図である。
【００１６】
図５は、本実施の形態における、立体的画像を生成するための例示の方法における工程を示す図である。
【００１７】
図６は、本実施の形態における３Ｄ構成の例示の方法のフローチャートである。
【００１８】
図７は、本実施の形態におけるフレームマッチングの典型的な方法のフローチャートである。
【００１９】
図８は、本実施の形態における画像視覚マッチングの典型的な方法のフローチャートである。
【００２０】
図９は、本実施の形態におけるカラーおよび輝度マッチングの典型的な方法のフローチャートである。
【００２１】
図１０Ａ，１０Ｂは、本実施の形態における一次像および二次像取込装置を使用した高ダイナミックレンジ画像を生成するための典型的な方法のフローチャートである。
【００２２】
図１１は、本実施の形態における、一次像および二次像取込装置を有するシステムを使用してモーションブラーを除去するための典型的な方法のフローチャートである。
【００２３】
図１２は、本実施の形態における一次像および二次像取込装置を有したシステムにおける動画安定化の典型的な方法のフローチャートである。
【００２４】
図１３Ａ，１３Ｂは、本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の斜視図である。
【００２５】
図１３Ｃは、本実施の形態における他の携帯電話の断面を示す図である。
【００２６】
図１４Ａ，１４Ｂ，１４Ｃは、本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の他の携帯電話の異なる視点の斜視図である。
【００２７】
図１５Ａ，１５Ｂ，１５Ｃ，１５Ｄは、本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の異なる視点の斜視図である。
【００２８】
〔詳細な説明〕
本開示の主題は、法律上の要求を満たすように記載されている。しかしながら、記載は、この特許の範囲を限定することを意図していない。むしろ、発明者は、他の現在または将来の発明と組み合わせて、この明細書に記載されているものと類似した異なる工程または要素を含むよう、クレームの主題が他の方法で具体化されると考えている。さらに、用語「工程」は、使用される方法の異なる局面を内包するように使用されるが、用語は個々の工程の順序が明示的に記載されている場合を除いて、開示されている様々な工程における特定の順序を意味するとして解釈されるべきではない。
【００２９】
本実施の形態において、画像処理のための一次像および二次像取込装置および方法が、ここに開示される。一次像，二次像取込装置それぞれは、イメージセンサーとレンズとを含む。例示の使用において、一次像取込装置は、シーンの画像を取り込む。取り込まれた画像は、特定の解像度、特定のセンササイズおよび／または画素ピッチ、特定の視野角および焦点距離、特定の色精度、特定のレンズ歪み特性等を含む第１品質特性を有する。二次像取込装置は、上記シーンの他の画像を取り込む。この他の取り込まれた画像は、一次像取込装置によって取り込まれた画像の品質特性より、少なくともある局面において低品質の品質特性を有する。１または両方の取り込まれた画像の１以上のパラメータは、一次像取込装置によって取り込まれた画像の品質特性に近づけるかマッチングするために多くの調整画像を生成するために調整される。例えば、１つまたは両方の画像の１以上のトリミング係数、サイズ、焦点距離およびスケーリングが、解像度を合わせ、および／または、画像の視野を合わせるよう調整される。他の例において、少なくとも１つの取込装置の歪み特性は、計算され、変更処理は、他のセンサーからの画像データと連携するように、その装置から取り込まれた画像データに適用される。他の例において、一方の画像の色は、他の画像の色と合わせる、または近づけるよう調整される。調整された画像は、画像処理のために使用される。例示の使用として、１以上の立体的な静止画像または動画像シーケンスは、取り込まれた画像または調整された画像に基づいて、記憶または訂正処理を実行することによって生成される。他の例において、限定するものではないが視差マップのような二次および一次取込装置から得られるデータは、画像の立体ペアを生成するために奥行画像に基づくレンダリング（Ｄｅｐｔｈ  ｉｍａｇｅ  ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ；ＤＩＢＲ）技術を使用して、一次取込装置からのデータを使用した新たな映像を再生成するために使用される。
【００３０】
他の実施形態において、一次および二次取込装置は、隣合わせにある２つの写真を撮ることによって立体的な画像を生成するとき、適切なステレオベースを計算するために使用される。両方の取り込まれた画像によって計算された視差データは、見やすい特性を持った立体的な画像を生成するために、理想的なステレオベースを計算するために使用される。同じ実施形態において、取込装置の生データは、第２の写真を撮るための一次取込装置の適切な位置を決定するために使用される。
【００３１】
他の実施形態において、二次および一次像を使用して計算される視差マップは、真に独立した２つの取込装置から生成されるものと比較して、異なる立体表現を生成するために拡大または縮小される。これは、理想的なステレオベースが固定の独立した２つの取込装置によって提供されるステレオベースより大きいまたは小さい場合に特に有用である。
【００３２】
他の実施形態において、一次および二次画像を使用して計算される視差マップは、移動対象物または見やすい映像に近いまたは遠い対象物の結果として、大きい視差または無限の視差を有する対象物を特定するために使用される。そのような場合において、大きな視差を有する対象物は、一方の画像から他方の画像に移されるか、同じ画像内において移されるか、そのような大きな視差を訂正するために一方の画像または両方の画像から除去される。対象物の移動または除去によって生じる空き領域は、他方の画像から画像データを使用して補充される、または、同じ画像からのデータを使用して補間される。
【００３３】
他の実施形態において、一次および二次像取込装置は、ぼかしのない静止画像を生成するために使用される。多くの状況において、従来のカメラは、適切な露出を維持する間に得る高速動作を取り込むための能力に限定される。ＩＳＯ感度は、著しいノイズなく一定量に増加し、必要なシャッター速度が達成できない。これにより、速い動作でぼやけた画像を生じる。速い速度二次カメラシステムを使用して実行されるとき、本開示の主題は、このぼやけを軽減または除去する手段を提供する。例えば、一次像取込装置は、あるシーンにおける画像を取り込むために使用される。二次像取込装置は、上記シーンにおける多数の他の画像を取り込むために使用される。さらに、上記多数の他の画像に基づいて決定される。
【００３４】
他の実施形態において、一次および二次像取込装置は、ハンドシェーキングのない動画シーケンスを生成するために使用される。例えば、一次像取込装置は、あるシーンの一連の画像を取り込むために使用される。二次像取込装置は、上記シーンの他の一連の画像を取り込むために使用される。次に、視差マップが生成される。さらに、２つの一連の画像間において同じ視差を有する対象物が決定される。対象物が同じ視差を有すると決定するのに応答して、対象物は、移動していない対象物として特定される。次に、移動していない対象物について揺れ動きベクトルが計算される。画像に基づいて生成されたシーンの動画像および／または静止画像におけるブレは補間される。
【００３５】
立体的または三次元のコンテンツは、人間の視覚の原理に基づく。２つの独立した検出器は、わずかに異なる角度から、複数の画像において、同じ対象物を検出し、２つの平面上にそれらを投影する。複数の画像は、１つの映像（左目または右目）として取り込まれた画像を割り当て、個々の画像を分析し、付加的なフレーム／フレームの映像を補間し、それぞれの画像について他方の目についての対応する映像を生成する処理装置に転送される。それら２つの画像またはシーケンスは、組み合わされ、立体的（三次元）コンテンツを生成する。得られた三次元コンテンツは、限定するものではないが、ＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４のような一般的な動画エンコードのうちの１つを使用して、エンコードされる。生成されたコンテンツは、さらに、．ａｖｉ，．ｍｐｇなどのような一般的なコンテナのうちの１つを使用して、音声とともにデジタル媒体に記憶される。他の実施形態において、一次像および二次像取込装置は、焦点合成画像を生成するために使用される。一次取込装置は、好ましい焦点距離において画像を取り込むよう構成され、一方二次センサーは、異なる焦点距離において画像を取り込むよう構成される。２つの取込装置からのデータは、焦点合成画像を生成するよう組み合わされる。
【００３６】
従来の画像取込装置を使用して取り込まれたコンテンツは、シーンのダイナミックレンジを再生成する能力が限定されている。とても明るい対象物およびとても暗い対象物が存在するあるシーンにおいて、典型的なイメージセンサーが、その画像全体に適切な露出を得ることは不可能であり、カメラが、カメラのユーザが見るものを再生成するのは不可能である。本主題は、バランスのとれた明るさおよび暗さの領域を有したシーンの高ダイナミックレンジ（ＨＤＲ）の画像を生成するために、明るい領域および暗い領域を独立して取り込むよう、システム内の２つのカメラに、適切に露出の設定を調整させる。
【００３７】
本実施形態における主題は、カメラまたは一次像および二次像取込装置を含む画像取込システムにおいて実行される。一次像および二次像取込装置は、イメージセンサーと１以上のレンズとを含む。カメラは、携帯電話またはスマートフォンのような携帯端末において実行される。さらに、本実施形態は、二次元の動画像シーケンスを取り込み、三次元動画シーケンスを生成するために一次像取込装置から一方および二次像取込装置から他方を取り込むことを可能とする技術に基づく。ここに開示の機能は、限定するものではないが、例えばカメラ、デジタルスチルカメラ、他のタイプのビデオカメラ（ポータブルビデオカメラ）、パーソナルコンピュータ、デジタル写真フレーム、セットトップボックス、ＨＤＴＶ、電話などのようなハードウエハ、ソフトウエア、および／またはファームウエアにおいて実行される。
【００３８】
例において、携帯電話、カメラ、タブレットなどのようなポータブル取込装置は、本実施形態において、一次像および二次像取込装置を含む。二次像取込装置は、シーンの１以上の画像を取り込むことを目的として、カメラまたは携帯電話に接続または統合される。三次元画像または動画像シーケンスを生成するために、二次像取込装置によって取り込まれる画像のデータは、一次像取込装置によって取り込まれる１以上の画像のデータとともに使用される。二次像取込装置の取り付けの例として、二次像取込装置は、回転可能なＬＣＤディスプレイ筐体の背面に配置される。ＬＣＤディスプレイ筐体が開放位置のとき、二次像取込装置の画像平面は、一次像取込装置の画像平面と平行、または略平行である。携帯電話において、ビデオ会議アプリケーションに使用されるカメラに面する内側は、設計を変更し、メインカメラと同じ視野のシーンまたは携帯電話を持つ人から画像を取り込むことにより、二次取込装置として使用される。二次像取込装置と、そのレンズとは、一次像取込装置と、そのレンズの品質特性よりも低い品質特性を有する。得られた三次元画像または動画の特性および解像度は、一次像取込装置と、そのレンズに直接依存し、二次像取込装置と、そのレンズの特性および解像度には直接依存しない。そのような三次元静止画像または動画像シーケンスは、適切な立体的ディスプレイに表示される。
【００３９】
ここに記載の方法の実施形態は、静止画像または動画像シーケンスを取り込み、三次元画像または動画像を表示し、処理装置においてコンピュータ実行可能な指示を実行するシステムにおいて実行される。例えば、装置は、デジタルスチルカメラ、ビデオカメラ（ポータブルビデオカメラ）、パーソナルコンピュータ、デジタル写真フレーム、セットトップボックス、ＨＤＴＶ、電話などである。上記装置の機能は、ビデオシーケンスを選択し、メイン動画像シーケンスにおいてそれぞれ対応する画像を生成し、少なくとも２つの映像を訂正および記憶し、映像の色およびエッジを合わせ、動画像シーケンスの安定化を実行し、疎または密の奥行マップ（ｄｅｐｔｈ  ｍａｐ）を計算し、映像を合成し、認知される対象物の奥行を変換し、単一の高品質三次元動画像シーケンスを生成するために表示する方法を含む。
【００４０】
図１は、本実施形態における、シーンの画像を取り込み、画像処理を実行するときに使用するための、一次像取込装置１０２と二次像取込装置１０４を含む典型的な画像取込システム１００のブロック図である。この例において、システム１００は、上記シーンの多数の連続した静止デジタル画像を取り込むことが可能なデジタルカメラである。装置１０２，１０４は、多数の連続した静止デジタル画像を取り込む。他の例において、システム１００は、シーンの多数の静止画像を含む動画像シーケンスを取り込むことが可能なビデオカメラである。この例において、装置１０２，１０４は、シーンの多数の静止画像を含む動画像シーケンスを取り込むことが可能なビデオカメラである。システム１００のユーザは、シーンの異なる遠近法の画像を取り込むために異なる位置にシステムを配置する。取り込まれた画像は、適切に記憶され、ここに記載のように三次元画像を生成するよう処理される。例えば、上記シーンの異なる遠近法の景色の画像を取り込むために、システム１００は、単独で、または、コンピュータ１０６と組み合わせて、シーンの三次元画像を生成し、ユーザのために三次元画像を表示するために、画像を使用する。
【００４１】
図１に示されるように、一次像および二次像取込装置１０２，１０４は、イメージセンサー１０８，１１０をそれぞれ含む。イメージセンサー１１０は、イメージセンサー１０８より低い品質である。例えば、イメージセンサー１１０の使用によって取り込まれた画像の品質特性は、イメージセンサー１０８の使用によって取り込まれた画像の品質特性より低い。イメージセンサー１０８，１１０は、ＣＣＤまたはＣＭＯＳセンサーを含む。イメージセンサー１０８，１１０は、レンズ１１２，１１４それぞれおよび露出制御機構によって、シーンに対して露出される。レンズ１１４は、レンズ１１２より品質が低い。システム１００は、限定するものではないが、少なくともＣＰＵ１１８とともに、システム１００を制御するプログラム指示シーケンスを記録するためのメモリ１１６のようなアナログおよびデジタル回路を含む。ＣＰＵ１１８は、システム１００がイメージセンサー１０８，１１０をシーンに対して露出させ、シーンに対応するデジタル画像を取得するようプログラム指示シーケンスを実行する。デジタル画像は、取り込まれ、メモリ１１６に記憶される。メモリ１１６のすべてまたは一部は、除去可能であり、コンピュータ１０６のような他の装置にデジタル画像を転送するようにしてもよい。さらに、システム１００は、メモリ１１６が除去しないとしても、デジタル画像を転送するように、入出力（Ｉ／Ｏ）インターフェースが設けられる。システム１００は、ＣＰＵ１１８によって制御可能であり、ユーザが見るリアルタイムで取り込まれた画像を表示するよう動作可能な表示装置１２２を含む。
【００４２】
メモリ１１６およびＣＰＵ１１８は、本実施形態における、三次元画像の生成を含む画像処理を実行するための画像処理装置１２４を提供するよう動作する。画像処理装置１２４は、シーンの画像を取り込むための一次像取込装置１０２および二次像取込装置１０４を制御する。さらに、画像処理装置１２４は、ここに記載のように、画像を処理し、三次元画像を生成する。図２は、本実施の形態における、システム１００単独または他の適切な装置とともに使用して画像処理を実行するための典型的な方法のフローチャートを示す。図２に示されるように、方法は、シーンの第１画像を取り込むよう一次像取込装置を使用するステップ２０２を含む。例えば、図１に示される画像処理装置１２４は、シーンの画像を取り込むよう一次像取込装置１０２を制御する。取り込まれた画像は、特定の解像度、特定のセンササイズおよび／または画素ピッチ、特定の視野角および焦点距離、特定の色精度、特定のレンズ歪み特性等を含む特定の品質特性を有する。取り込まれた画像は、一次像取込装置１０２によって取り込まれた多数の画像のうちの１つでああってもよい。異なる画像は、シーンにおける同じまたは異なる遠近法の景色の画像を含んでもよい。ＣＰＵ１０６は、メモリ１０４において、取り込まれた画像を記憶するために、メモリ１０４に記憶される指示を実行する。
【００４３】
図２の方法は、上記シーンの他の画像を取り込むよう二次像取込装置を使用するステップ２０２を含む。例えば、図１に示される画像処理装置１２４は、シーンの画像を取り込むよう二次像取込装置１０４を制御する。二次像取込装置１０４によって取り込まれた画像は、一次像取込装置１０２によって取り込まれた画像の品質特性より低い、特定の品質特性を有する。
【００４４】
図２の方法は、一次像取込装置１０２によって取り込まれた画像の品質特性に近づけるまたは合わせるために多数の調整された画像を生成するよう、１または両方の取り込まれた画像の１以上のパラメータを調整するステップ２０４を含む。例えば、画像処理装置１２４は、トリミング係数、サイズ、スケーリングなどを調整するか、または、取り込まれた画像の解像度が合うように、一次像取込装置１０２および二次像取込装置１０４によって取り込まれた１または両方の画像を調整する。他の例において、画像処理装置１２４は、トリミング係数、サイズ、スケーリングなどを調整するか、または、他の取り込まれた画像の視野が合うように、一次像取込装置１０２および二次像取込装置１０４によって取り込まれた１または両方の画像を調整する。他の例において、画像処理装置１２４は、他の画像の色に近づけるか、または、合わせるよう一方の画像の色を調整する。
【００４５】
図２の方法は、画像処理のために、調整された画像を利用するステップ２０６を含む。画像処理機能は、立体画像または動画シーケンスを生成するための記憶、訂正、視差計算、ステレオベース計算または奥行に基づくレンダリング、暗領域および明領域をつり合わせるための高ダイナミックレンジ技術、モーションブラーを除去するための抗ぼかし技術、映像安定化技術および焦点合成機能を含む。
【００４６】
図３Ａ，３Ｂは、本実施形態における、一次像取込装置および二次像取込装置を含むビデオカメラ３００の例を示す斜視図である。ビデオカメラ３００は、図３Ａに示されるように、閉状態に位置し、図３Ｂに示されるように開状態に位置する回転部材３０２を含む。ユーザは、開状態または閉状態のいずれかに部材３０２を位置するために、ヒンジ３０４に沿って部材３０２を回転することができる。この例において、部材３０４は、ＬＣＤディスプレイ（部材３０４の反対側に位置しているために図示していない）を含む。開状態において、ＬＣＤディスプレイは、ユーザによって見られる。本実施の形態において、部材３０４の表面側（すなわちＬＣＤディスプレイの反対側）において、二次像取込装置３０８は、画像取り込のために配置される。
【００４７】
この例において、ビデオカメラ３００の本体部３１０は、一次像取込装置を含む。一次像取込装置３１２は、本体部３１０の前部に配置される。取込装置３０８，３１２は、一次像取込装置および二次像取込装置の画像平面が互いに平行または略平行となるように配置される。本実施の形態において、マイクロスイッチまたは磁気スイッチは、部分３０６が３Ｄビデオまたは他のアプリケーションのための適切な位置に到達するときをユーザに知らせるために回転部分３０６と本体部３１０との間に配置される。この情報は、ＬＣＤスクリーンに表示されるか、または、ＬＥＤのような指示照明を点灯するような他の適切な技術によって表示される。
【００４８】
図４は、本実施形態における、一次像および二次像取込装置を含む例示のデジタルカメラ４００の斜視図である。図４に示されるように、カメラ４００は、一次像取込装置４０４および二次像取込装置４０６を有する本体部４０２を含む。取込装置４０４，４０６は、本体部４０２における任意の適切な位置に配置されてもよい。
【００４９】
実施形態において、二次像取込装置の解像度およびフレームレートは、一次像取込装置の解像度およびフレームレートと同じまたは等しい。センサーのフレームレートが異なる場合、フレーム間の区分的一定補間、線形補間、他の適切な補間の技術が、二次像取込装置によって取り込まれた動画像シーケンスにおいて欠落したフレームを補うために使用される。これは、二次像取込装置の出力がビデオストリームまたは一定または可変のフレームレートで連続した画像取込である両方の場合に適用する。
【００５０】
さらに、二次像取込装置のレンズの品質および焦点距離、および、ズーム能力は、一次像取込装置のレンズと等しい。しかしながら、一次カメラおよび二次カメラの光学的関係に限定される。一次カメラのズームレンズの最短の焦点距離において、二次カメラは、同じ視野角を有し、一次ズームの最も幅の広い焦点距離に等しい二次カメラの同等の焦点距離を必要とする。同様に、しかしながら、ここでは特に限界について記載していないが、カメラ間のデータを合わせることができ、最短の焦点距離の４倍から８倍の間のどこかに最長のズームの焦点距離を限定するが、達成されるデジタルズームの量に実用限界がある。一次レンズがズーム能力を有するが、二次レンズが有さない場合において、二次像取込装置のイメージセンサーは、二次像取込装置のイメージセンサーより高い解像度を有する。この高い解像度は、以下に詳細に記載されるように、より正確な「デジタルズーム」を可能にする。一次像および二次像取込装置のセンサーについての最適な品質仕様は、絶対的要件が考慮されるべきではない。換言すれば、本実施形態の主題は、上述の最適仕様を有したシステムに限定されない。
【００５１】
本実施の形態において、一次像取込装置と二次像取込装置それぞれのセンサー間の距離と、２つのセンサ平面の間の角度は、一定または適応性があってもよい。後者の場合、二次センサーおよびレンズは、例えば図３Ａ，３Ｂに示される部分３０２のような回転部分内部のスライド機構に接続される。例えば二次センサーおよびレンズの位置および角度は、ユーザによって、ステッピングモーターによって手動で、取り込まれたシーンに依存する二次センサーと一次センサーとの間の適切な距離を決定する自動のコンピュータ制御に基づいて制御される。
【００５２】
図５は、本実施の形態における、立体的画像を生成するための例示の方法における工程を示す図である。例示の実施形態において、立体画像組は、二次像取込装置を使用することによって、取り込まれた画像または動画シーケンスを変更することによって生成される（図５におけるダッシュラインによって示される）。この例示の技術は、高品質な二次像取込装置に良く適しており、ビデオアプリケーションと静止アプリケーション両方に適応可能である。
【００５３】
他の実施形態において、方法は、ここに記載のハードウエアの特定の構成によるような、動画シーケンスを含む複数の画像フレームを含む奥行に基づく画像統合処理を提供する。レンズ／センサーの光学系組み合わせを一次像取込装置および二次像取込装置に合わせられる一方、アプリケーションにおいて、これは、一次カメラのズーム要件、二次カメラの空間の制限のために実行不可能である。そのようなシナリオにおいて、ビデオ取込が必要とされるならば、この方法論は、とても適切である。図５の例において、立体的画像組は、奥行マップおよびビュー合成（図５の実線で示されるように）を使用して、二次像取込装置を使用して取り込まれた画像または動画像シーケンスを変更することによって生成される。
【００５４】
図５に示されるように、二次像取込装置を直接使用したプロセスにおいて、一次像取込装置は、動画像シーケンス５００を含む。動画像シーケンス５００，５０２は、略同時に同じシーンから取り込まれる。動画像シーケンス５００の画像は、二次像取込装置によって取り込まれた調整された画像とともに、三次元動画像シーケンス５０４を生成するための変更なく直接使用される。二次像取込装置によって取り込まれた調整された画像を調整する例示のステップにおいて、画像は、補間されたフレームである（５０６）。次に、画像の解像度は、例えばデジタルズーム５０８のように調整される。次の例示のステップにおいて、画像の色および／または輝度は、調整される（５１０）。直接の３Ｄ構成において、画像は、一次像取込装置によって取り込まれる画像と適切に組み合わせられ、三次元動画像シーケンス５０４を生じる。
【００５５】
奥行マップおよびビュー合成（図５の実線によって示される）の使用によって、立体的画像組を生成する例において、奥行マップは、一次像取込装置によって取り込まれた画像および二次像取込装置の調整画像の使用によって計算される（５１２）。
【００５６】
最後に、他の実施形態において、静止画像取込および／または低品質二次カメラシステムに良く適しており、二次カメラからの画像データは、一次カメラに関連づけるよう使用され、フォーカスウインドウを特定するために最小および最大の視差を求めるよう使用され、このデータを適用して、シーンについて最適なステレオベースラインを計算するために使用される。ユーザは、ステレオ組を完全にするために、第２画像取込のために適切なオフセットに移動するためのいくつかの方法で指示される。
【００５７】
図６は、本実施の形態における３Ｄ構成の例示の方法のフローチャートである。図６のステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって実行される。例えば、ステップは、図１に示される画像処理装置１２４によって実行される。図６に示されるように、方法は、第１動画像シーケンスまたは画像セット（ステップ６００）からそれぞれのフレームに適用される。第１動画像シーケンスまたは画像セットは、一次像取込装置によって取り込まれる。次に、方法は、一次像および二次像またはフレームが同期するかどうかを決定するステップ６０２を含む。二次シーケンスからのフレームが一次シーケンスからの１つおよび１つだけのフレームに対応することを確実にするのが重要である。したがって、二次カメラのフレームレートが一次カメラのフレームレートと異なるとわかっているならば、フレーム補間方法は、この目標を達成するために使用される。２つのカメラの光学系は、不一致であるので、３Ｄ記憶、奥行き抽出が与えられた画像組に実行されるよう、出力を構成する必要がある。一次像および二次像またはフレームが同期することを決定すると、方法は、ステップＳ６０４に進む。逆に、一次像および二次像またはフレームが同期しないことを決定すると、方法は、ステップ６０６に進む。この場合において、絶対的または相対的タイムスタンプまたは既知のフレームレートで両方のカメラに同期フレームのように、２つのカメラの同期情報が利用可能であり、後述の同期および画像変更プロセスを行う命令が、逆に実行される。つまり、最初に一致したフレームが選択され、ビュー変更および色／輝度調整が適用される。この技術の例は、図６の例に記載される。
【００５８】
ステップ６０４において、方法は、二次動画像または画像セットから一致画像またはフレームを見つけるステップを含む。ある例において、画像またはフレームは、取込の時間に基づいて合わせられる。一致画像またはフレームの他の例は、後で詳細に述べる。
【００５９】
ステップ６０４の次に、方法は、対応する一次フレームに合わせるために、二次フレームの大きさ、解像度およびズームレベルを調整するステップ６０８を含む。例えば、取り込まれた画像の１以上のトリミング係数、大きさおよびスケーリングは、対応する画像の解像度に合い、視野に近づけるように調整される。他の例は、さらにここに詳細に記載される。
【００６０】
ステップ６０８の次に、方法は、対応する一次フレームに合うように、二次フレームの色および／または輝度を調整するステップ６１０を含む。例えば、二次画像の領域における色は、対応する一次像の対応する領域における色に合うように調整される。他の例において、画像取込装置の視野と重なる領域が特定される。この例において、領域の色特性が抽出される。次に、この例において、色一致および訂正動作が画像を均一にするよう実行される。この目的のための典型的な方法は、画素の色の中間値が一次フレームの画像の色の中間値に等しくなるように、二次フレームにおけるＲ，Ｇ，Ｂチャネルそれぞれを平準化する。この方法は、二次フレームが一次フレームとともに画像の立体組を生成するために使用される場合に適している。両フレームにおけるすべての画素のＲＧＢ値は、対応する中間値がグレー（〔１２８，１２８，１２８〕）になるように調整される。これは、カメラ、特徴をより正確にするためのカメラの出力を等しくする手段として、必ずしも適切な色「補正」とは限らない。これは、全体に行われるか、または、ローカルウインドウ内において、補正の精度を高めるために、画像全体に行われる。ここには、他の例が詳細に記載されている。
【００６１】
ステップ６０６に示されるように、方法は、一次フレームの近傍の二次シーケンスのＮフレームの色および／または輝度を調整するステップ６１２を含む。このステップの例は、さらにここに詳細に記載される。次に、方法は、対応する一次フレームに合わせるために二次フレームの色および／または輝度を調整するステップ６１４を含む。さらに、これが、２つのカメラを同期する前におこなわれる場合、平均化は、フレームのウインドウ数Ｎにわたって、中間値を測定および補正するよう拡張される。次に、方法は、二次動画像シーケンスまたは画像セットからの一致画像または一致フレームを見つけるステップ６１４を含む。デジタルズームおよび色等化動作に並行して、同期の実際の処理が行われる。色等化に使用されるのと同じＮウインドウデータは、個々のカメラからのフレーム内の画素パターンおよび動きを認識するために使用され、特にカメラの重複領域に合わせて調整される。カメラの特徴は、光学系、および、カメラの設計によって定められるような既知の独立（ステレオベース）したカメラによって決定される。任意の画像安定化機構が一次カメラに使用される場合、そのような機構の情報は、このときに、二次動画像シーケンスにおいて使用されるために利用可能であるか、または、２つのカメラの間の簡潔な同期と同様に、二次カメラに使用される。
【００６２】
図６の方法は、二次フレームが直接使用することが許容されるかどうかを決定するステップ６１６を含む。直接の使用の許容の基準は、例えば２つのセンサー（絶対的な解像度と一次カメラと二次カメラの光学系／カメラの組み合わせの間における視野角の違いによるスケーリングの変更の必要性との両方に依存する）の比較実効分解能と、２つの画像間の補正不可能な色差の量および程度と、２つのカメラのノイズプロファイルにおける違い、補正不可能な歪みの量および程度とを含む。二次フレームが許容されると決定すると、方法は、二次フレームが補充フレームとして使用されるステップ６１８に進める。
【００６３】
一方、二次フレームが許容されないと決定すると、方法は、視差マップが生成されるステップ６２０に進める。例えば、視差マップは、立体的静止画像のように、１以上の画像の画素の水平オフセット位置のために生成される。方法は、奥行マップを生成するステップ６２２を含む。例えば、視差マップは、ここにさらに詳細に記載されるように、シーンのための奥行マップを生成するために使用される。補完的な映像は、一次フレームのために合成される（ステップ６２４）。
【００６４】
ステップ６１８，６２４の次に、方法は、一次フレームおよび調整された二次フレームを含む３Ｄフレームを表示する、および／または、保存するステップを含む。ステップ６２８において、方法は、処理のための追加のフレームまたは画像があるかどうかの決定を含む。追加のフレームまたは画像があると決定すると、方法は、次のフレームのためにステップ６００に進める。そうでなければ、ステップ６３０において終了する。
【００６５】
図７は、本実施の形態におけるフレームマッチングの典型的な方法のフローチャートである。この方法は、図６の方法のステップ６０４またはステップ６１４の例である。図７のステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって補完されてもよい。例えば、ステップは、図１に示される画像処理装置１２４によって補完される。図７に示されるように、方法は、ステップ７００で開始する。
【００６６】
次に、図７の方法は、正確な一致フレームが見つけられるかどうかを決定するステップ７００を含む。例えば、一次フレームに一致する二次フレームが見つけられるかどうかが決定される。例えば、二次フレームおよび一次フレームは、同じタイムスタンプを有する。正確な一致フレームが見つけられると、一致フレームは、二次シーケンス（ステップ７０４）から選択され、方法は終了する（ステップ７０６）。
【００６７】
正確な一致フレームが見つけられないと、処理は、ステップ７０８に進む。ステップ７０８において、方法は、タイムスタンプが両方のフレームに利用可能であるかどうかの決定を含む。両方のフレームにタイムスタンプが利用可能であると、方法は、一致フレームを合成するために、フレーム補間の間の使用を含む（ステップ７１０）。タイムスタンプが利用可能であると、二次取込装置と一次取込装置との間に既知のオフセットがある。一次取込装置と二次取込装置とのオフセットに基づく加重平均技術は、目的とする動画像シーケンスにおいて、前後のフレームから画像データを使用して、所望のフレームを合成するために使用される。より発展した技術は、移動対象物の動きを推定するための動き推定技術を使用し、この要因を補う技術を使用することができる。
【００６８】
タイムスタンプが両方のフレームに利用可能であると、方法は、動画像シーケンスのシーンがフレームを同期するために使用されるかどうかを決定するステップ７１２を含む。このステップは、一次取込装置と二次取込装置の両方から特徴が抽出されるフレームマッチング技術を意味する。一方のシーケンスの１つのフレームの特徴は、第１シーケンスの近傍にある他方のシーケンスの多数のフレームにおける特徴と比較される。動画像シーケンスのシーンがフレームを同期するために使用できないと決定されると、正確な３Ｄ構成が不可能（ステップ７１４）であると決定され、方法は終了する（ステップ７０６）。
【００６９】
動画像シーケンスのシーンがフレームを同期するために使用されると決定すると、方法は、画像の色および／または映像を調整するステップ７１６、２つのシーケンスを同期するステップ７１８、二次取込装置と一次取込装置におけるフレーム間のオフセットを示すタイムスタンプを生成するステップ７２０を含む。方法は、次の一次フレームを処理するためにステップ７０２に進む。
【００７０】
本実施の形態における画像視覚マッチングの典型的な方法のフローチャートである。この方法は、ステップ６０６またはステップ６０８の例である。図８のステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって実行される。例えば、ステップは、図１に示される画像処理装置１２４によって実行される。図８に示されるように、方法は、ステップ８００で開始する。
【００７１】
次に、方法は、焦点距離情報が利用可能かどうかを決定するステップ８０２を含む。焦点距離情報が利用可能であると決定すると、方法は、二次像の一致映像ウインドウを計算するステップ８０４を含む。焦点距離情報が利用不可能であると決定すると、方法は、記憶を使用して、二次像において対応する映像を見つけるステップ８０６を含む。これは、画像における様々な統計を見る方法、ここに記載の他の例の組み合わせ、他の精巧でない方法と同様に、キーポイントの一致、境界の一致するブロックを含む様々な方法を使用して達成される。
【００７２】
図８の方法は、一次像の視野を合わせるために、二次像をトリミングするステップ８０８を含む。トリミングされた二次像は、一次像のサイズに合わせるために、拡大または縮小される（ステップ８１０）。次に、方法は終了する（ステップ８１２）。
【００７３】
図９は、本実施の形態におけるカラーおよび輝度マッチングの典型的な方法のフローチャートである。この方法は、図６の方法におけるステップ６１０またはステップ６１２の例である。図９のステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって実行される。例えば、ステップは図１に示される画像処理装置１２４によって実行される。図９に示されるように、方法は、ステップ９００で開始する。
【００７４】
ステップ９０２において、方法は、一次像または二次像取込装置によって色補正情報が利用可能であるかどうか含む。そのような色補正情報が利用可能であると、方法は、二次像の色および／または輝度をキャリブレーション情報に基づいて一次像に一致するステップ９０４を含む。次に、方法は終了する（ステップ９０６）。
【００７５】
色補正情報が利用不可能であると、方法は、フレームが直接または間接的に３Ｄ構成で使用されるかどうかが決定されるステップ９０８に進む。フレームが直接３Ｄ構成に使用されると決定すると、方法は、記録／特徴の検出が必要かどうかが決定されるステップ９１２に進む。検出が必要と決定されると、方法は、両フレームの色または輝度情報を合わせるステップ９１４を含む。検出が必要でないと決定されると、方法は、二次フレームの色情報が一次フレームに合わせられるステップ９１４，９１０を実行する。次に、方法は、終了する（ステップ９０６）。
【００７６】
この点において、システムは、色等化、同期、同等の映像を表現することに信頼のある画像組をそれぞれのカメラから有する。実施形態において、二次データを直接使用することによって、取り込まれた組は、ステレオ３Ｄの生成のための静止画像または動画圧縮に送られる。そうでなければ、画素の歪みの抽出は、歪みを奥行に変換する目的で、行われる。歪み抽出のために任意の数の処理が利用される。歪み、奥行きの測定（奥行＝ベースライン×焦点距離／歪み、によって示される）は、一次カメラの光学系の特性、すなわちカメラのレンズの焦点距離、カメラのセンサーの画素ピッチを用いて測定される。ステレオ生成の他の実施形態において、奥行きは、最小および最大の奥行のウインドウを見つけるために比較され、その情報は、適切なステレオベースを計算し、所望のステレオ組を生成するために第２取込のとり方をユーザに指導する処理に供給される。
【００７７】
３Ｄ生成の実施形態を実行することにより、ラスタデータおよび近似奥行マップを有する、動画像シーケンスにおける特定の画像フレームに対して、対応する画像ビュー（ビュー）が合成される。より好ましい実施形態は、Ｙ軸まわりのラスタデータの回転角に伴う、画素のＺ軸の測定値に対する奥行情報の変換であるが、奥行きベース画像ビュー合成のための適切な技術が利用される。この実施形態において、画素の一部割合は、前後において低下し、回転は、スクリーン面の選択された距離に等しい奥行において、２Ｄ画像を表現する中心点（０、０、０）において生じるように、動画像シーケンスの最初の画像組の奥行きプロファイルは、視聴者のスクリーン面の配置を決定するために分析される。この方法論は、フレームにおける対象物のおよその焦点距離について、カメラのオートフォーカス機構からの入力を用いて（短い距離、目標とする小さいステレオベース、反対により長い距離）、フレーム組の知覚深度を選択するための能力を供給する（大きなステレオベースの感覚を生成するために、大きな回転角度を使用する。またはその逆も可能）。一方の画像は、組のうち他方として初期ラスタデータを使用して、合成される、または、２つの画像は、左および右の画像を生成するために、反対の回転で合成される。なお、シーケンスの第１画像として選択されるスクリーン平面および角度回転は、事後変換できない。
【００７８】
最後の３Ｄ動画像シーケンスの生成は、３Ｄ動画表現に形式に、個々のフレームシーケンスの動画エンコードを伴う。任意の適切な技術が利用されてもよい。
【００７９】
本実施の形態における一次像および二次像取込装置を使用した高ダイナミックレンジ画像を生成するための典型的な方法のフローチャートである。図１０Ａ，１０Ｂのステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって実行される。例えば、ステップは、図１に示される画像処理装置１２４によって実行される。図１０Ａ，１０Ｂに示されるように、方法は、本実施形態における一次像および二次像取込装置を有するシステムがユーザのために画像を表示するライブビューモードになったステップ１０００で開始する。
【００８０】
図１０Ａ，１０Ｂの方法は、シーンにおける明領域および暗領域を決定するために分析するステップ１００２を含む。さらに、方法は、１以上の焦点対象物または対象物の光条件を決定するステップ１００４を含む。次に、方法は、焦点対象物の最適な露出のために、一次像取込装置の取込特性を設定するステップ１００６を含む。
【００８１】
図１０Ａ，１０Ｂの方法は、シーンにおける対象物の露出条件を決定するステップ１００８を含む。対象物が同じ露出を有するならば、方法は終了する（ステップ１０１０）。露出オーバーであるならば、方法は、露出オーバーの領域を理想的な露出条件にするために、二次像取込装置の感度を低下させるステップ１０１２を含む。露出不足であると、方法は、露出オーバーの領域を理想的な露出条件にするために二次像取込装置の感度を高めるステップ１０１４を含む。
【００８２】
次に、方法は、一次像取込装置および二次像取込装置を同時に焼成することによって画像を取り込むステップ１０１６を含む。次に、方法は、二次像取込装置によって取り込まれた画像の画像ビューマッチングを行うステップ１０１８を含む。例えば、図８に関して記載された方法が実行される。次に、方法は、二次像取込装置によって取り込まれた画像の色および／または輝度マッチングを行う。例えば、図９に関して記載された方法が実行される。方法は、一次像取込装置によって取り込まれた画像と二次像取込装置によって取り込まれた補正された等価なデータとの間で適切な変換を行うことによって、最終の画像を構成するステップ１０２２を含む。そして、方法は終了する（ステップ１０２４）。
【００８３】
ぼやけ補正のためのシステムおよび方法の実施形態は、ここに開示される。例えば、画像ぼけは、高い動きで生じる。二次像取込装置は、以下のように画像ぼけを補正するために使用される。高解像度、低速度の第一カメラ（ＭＣ）および低解像度、高速度の第二カメラ（ＳＣ）が与えられているので、画像ぼけは、ＳＣにおける推定動き流れによって低減され、ＭＣにおけるぼやけカーネルを回復するためのこの情報を使用することができる。ぼやけカーネルは、ＭＣ画像からぼけを除去するために使用される。
【００８４】
図１１は、本実施の形態における、一次像および二次像取込装置を有するシステムを使用して動作ボケを除去するための典型的な方法のフローチャートである。図１１のステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって実行される。例えば、ステップは、図１に示される画像処理装置１２４によって実行される。図１１に示されるように、方法は、本実施形態における一次像および二次像取込装置を有するシステムが動作ぼやけ分離モードに入るステップ１１００で開始する。
【００８５】
図１１の方法は、二次像取込装置の使用により、高速度画像取り込むステップ１１０２を含む。さらに、方法は、焦点を合わせ、一次像取込装置を使用して一次像を取り込むステップ１１０４を含む。二次像取込装置によって取り込まれた画像の最後のＮ番目は、モーションブラーカーネルを計算するよう使用される（ステップ１１１０）。
【００８６】
ここに開示されている実施形態において、動画安定化が提供される。例えば、図１２は、本実施の形態における一次像および二次像取込装置を有したシステムにおける動画安定化の典型的な方法のフローチャートである。図１２のステップは、適切なハードウエア、ソフトウエアおよび／またはファームウエアによって実行される。例えば、ステップは、図１に示される画像処理装置１２４によって実行される。方法は、本実施形態における一次像および二次像取込装置が動画安定化モードに入るステップ１２００で開始する。このモードにおいて、一次像および二次像取込装置は、シーンにおける画像のシーケンスを取り込み（ステップ１２０２）、動画像シーケンスにおける画像を等化し、補正する（ステップ１１１０）。
【００８７】
図１２の方法は、動画像および／または静止画像安定化において、手ブレを補うステップ１２１２のとき、計算に要素を追加することによって補助するステップ１２１０を含む。典型的な画像安定化アルゴリズムは、フレーム（動画または他の取込データ）間の時間的変位の等化および分析に依存し、シーンにおいて移動する対象物によって、計算に導入される誤りに影響される。二次カメラを利用することによって、単一の時間的インスタンス（フレーム）についての２つのカメラビューの間のオフセットは、この処理についての付加的な構造上の構成要素として計算される。画像の時間的に相関するブロック／領域の間の構造上のオフセットの変化は、全体の安定化計算から除外されたこれらの位置における移動対象物を示す。そして方法は、終了する（ステップ１２１４）。次に、方法は、視差マップを生成するステップ１２０６を含む。方法は、２つの連続したフレーム間の異なる歪みを有した画像における対象物が移動対象物であると決定するステップ１２０８を含む。同じ歪みを有した対象物は、移動していない対象物であり、この場合における動きは揺れのためである。
【００８８】
図１２の方法は、揺れの動きベクトルを計算するステップ１２１０を含む。さらに、方法は、揺れを補うステップ１２１２を含む。揺れの動きベクトルは、取り込まれたフレーム間の動き補足分析を行い、移動対象物の動きベクトルを除去し、揺れベクトルを計算するための残りの動きベクトルを使用することによって得られる。そして、方法は、終了する（ステップ１２１４）。
【００８９】
本実施形態において、一次像および二次像取込装置は、携帯電話の構成要素であってもよい。二次像取込装置は、第１位置においてユーザに対向し、第２位置において画像が取り込まれるシーンに対応するように構成される。二次像取込装置は、一次像取込装置および二次像取込装置がシーンの画像を取り込めるように、二次像取込装置に向けて、シーンから光路を向けるための機構を含む。図１３Ａ，１３Ｂは、本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の斜視図である。
【００９０】
図１３Ａに示されるように、二次像取込装置１３０２と、そのミラー機構１３０６は、電話１３００内に配置される。ミラー機構１３０６は、機械的または電気的に、例えばユーザの画像の取り込みのために装置１３０２に向けた開口（図示なし）を通る光を向けるための位置に回転または移動される。図１３Ｂに示される他の位置において、ミラー機構１３０６は、機械的に、装置１３０４とともにシーンの画像を取り込むための装置１３０２に向けた開口１３０８を通る光を向けるための位置に回転または移動する。
【００９１】
図１３Ｃは、本実施の形態における他の携帯電話の断面を示す図である。図１３Ｃに示されるように、ミラーは、光ファイバー物質を使用して構成される２つの固定の光路１３２０，１３２２に取り換えられる。一方の光路１３２０は、シーンからの光を集め、一方の位置１３２４に向け、他方１３２２は、視野内から光を集め、異なる位置１３２６に向ける。１３２４または１３２６にスライド１３３０、他の手動または電気的に制御される機構を使用してセンサー１３３０を移動させることによって、電話の機能に応じた適切な画像の取込が達成される。
【００９２】
図１４Ａ，１４Ｂ，１４Ｃは、本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置１４０２を有した例示の他の携帯電話１４００の異なる視点の斜視図である。この例において、二次像取込装置１４０２は、ユーザの画像を取り込むために、図１４Ａに示される位置についての垂直軸または水平軸に沿って回転される。装置１４０２は、装置１４０４とともにシーンの画像を取り込むために、図１４Ｃに示される位置について回転される。
【００９３】
図１５Ａ，１５Ｂ，１５Ｃ，１５Ｄは、本実施の形態における、一次像取込装置１５０４とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置１５０２を有した例示の携帯電話１５００の異なる視点の斜視図である。この例において、装置１５０２は、電話１５００の前部側または後部側に配置するための電話１５００の本体部から取り外し可能である。装置１５０２は、図１５Ｂ，１５Ｃに示されるように、ユーザの画像を取り込むために、電話１５００の前部側に取り付けられる。装置１５０２は、図１５Ａ，１５Ｄに示されるように、装置１５０４とともにシーンの画像を取り込むために、電話１５００の後部側に取り付けられる。
【００９４】
ここに記載された様々な技術は、ハードウエア、ソフトウエアまたは適切に両方の組み合わせによって実行される。したがって、開示の実施形態の方法および装置、またはある局面または部分は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスク、他の機器、読取可能な記録媒体などのような有形的表現媒体で具体化されたプログラムコード（すなわち指示）の形式をとる。プログラムコードは、コンピュータのような機器によってロードされ、実行される。上記機器は、本開示の主題を実用するための装置である。プログラム可能なコンピュータにおけるプログラムコードの実行の場合において、コンピューターは、処理装置、処理装置によって読取可能な記録媒体（揮発性および不揮発性のメモリおよび／または記録部材を含む）、少なくとも１つの入力装置、少なくとも１つの出力装置とを一般的に含む。１以上のプログラムは、コンピューターシステムと通信するための高レベル手続き型またはオブジェクト指向プログラミング言語において実装される。しかしながら、プログラムは、アセンブリ言語または機械言語で実装されてもよい。任意の場合において、言語は、コンパイルされた言語または解釈された言語、ハードウエアの実装とともに組み合わされていてもよい。
【００９５】
記載の方法および装置は、電気ワイヤまたはケーブル、光ファイバー、他の伝送形式のような、ある伝送媒体によって伝達されるプログラムコードの形式で具体化される。プログラムコードは、ＥＰＲＯＭ、ゲートアレイ、プログラム可能論理回路（ＰＬＤ）、クライアントサーバ、ビデオレコーダーのような機器によって受信され、ロードされる。上記機器は、本開示の主題を実用するための装置である。一般的な目的の処理装置に実装されると、プログラムコードは、本開示の主題の処理を行うように動作する特有の装置を提供するための処理装置と組み合わせる。
【００９６】
実施形態が様々な図の好ましい実施形態と関連して記載されている一方、他の類似の実施形態が使用され、または修正および追加が、逸脱することなく同じ機能を行うための開示の実施形態になされてもよい。したがって、開示の実施形態は、１つの実施形態に限定されず、添付のクレームにおける範囲に解釈されるべきである。
【図面の簡単な説明】
【００９７】
【図１】本実施の形態における、あるシーンの画像を取り込み、画像処理を行うのに使用するための一次像取込装置および二次像取込装置を含む典型的な画像取込装置のブロック図である。
【図２】本実施の形態における、図１（単独または他の適切な装置とともに）に示されるシステムを使用する画像処理を実行するための典型的方法のフローチャートである。
【図３Ａ】本実施の形態における一次像取込装置および二次像取込装置を含む例示のビデオカメラの斜視図である。
【図３Ｂ】本実施の形態における一次像取込装置および二次像取込装置を含む例示のビデオカメラの斜視図である。
【図４】本実施の形態における、一次像および二次像取込装置を含む例示のデジタルカメラの斜視図である。
【図５】本実施の形態における、立体的画像を生成するための例示の方法における工程を示す図である。
【図６】本実施の形態における３Ｄ構成の例示の方法のフローチャートである。
【図７】本実施の形態におけるフレームマッチングの典型的な方法のフローチャートである。
【図８】本実施の形態における画像視覚マッチングの典型的な方法のフローチャートである。
【図９】本実施の形態におけるカラーおよび輝度マッチングの典型的な方法のフローチャートである。
【図１０Ａ】本実施の形態における一次像および二次像取込装置を使用した高ダイナミックレンジ画像を生成するための典型的な方法のフローチャートである。
【図１０Ｂ】本実施の形態における一次像および二次像取込装置を使用した高ダイナミックレンジ画像を生成するための典型的な方法のフローチャートである。
【図１１】本実施の形態における、一次像および二次像取込装置を有するシステムを使用してモーションブラーを除去するための典型的な方法のフローチャートである。
【図１２】本実施の形態における一次像および二次像取込装置を有したシステムにおける動画安定化の典型的な方法のフローチャートである。
【図１３Ａ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の斜視図である。
【図１３Ｂ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の斜視図である。
【図１３Ｃ】本実施の形態における他の携帯電話の断面を示す図である。
【図１４Ａ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の他の携帯電話の異なる視点の斜視図である。
【図１４Ｂ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の他の携帯電話の異なる視点の斜視図である。
【図１４Ｃ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の他の携帯電話の異なる視点の斜視図である。
【図１５Ａ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の異なる視点の斜視図である。
【図１５Ｂ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の異なる視点の斜視図である。
【図１５Ｃ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の異なる視点の斜視図である。
【図１５Ｄ】本実施の形態における、一次像取込装置とともに、ユーザに対向する位置およびシーンに対向する位置に二次像取込装置を有した例示の携帯電話の異なる視点の斜視図である。
【図１】
2014502818.tif 000003
【図２】
2014502818.tif 000004
【図３Ａ】
2014502818.tif 000005
【図３Ｂ】
2014502818.tif 000006
【図４】
2014502818.tif 000007
【図５】
2014502818.tif 000008
【図６】
2014502818.tif 000009
【図７】
2014502818.tif 000010
【図８】
2014502818.tif 000011
【図９】
2014502818.tif 000012
【図１０Ａ】
2014502818.tif 000013
【図１０Ｂ】
2014502818.tif 000014
【図１１】
2014502818.tif 000015
【図１２】
2014502818.tif 000016
【図１３Ａ】
2014502818.tif 000017
【図１３Ｂ】
2014502818.tif 000018
【図１３Ｃ】
2014502818.tif 000019
【図１４Ａ】
2014502818.tif 000020
【図１４Ｂ】
2014502818.tif 000021
【図１４Ｃ】
2014502818.tif 000022
【図１５Ａ】
2014502818.tif 000023
【図１５Ｂ】
2014502818.tif 000024
【図１５Ｃ】
2014502818.tif 000025
【図１５Ｄ】
2014502818.tif 000026
【国際調査報告】
2014502818.tif 000027
2014502818.tif 000028