(57)【要約】複数のイメージセンサからの画像データを捕捉し、出力の画像系列を生成する方法及び装置が開示される。複数のイメージセンサは、互い違いにされる露光期間、異なる長さの露光期間、異なるフレームレート、異なる空間解像度、異なるレンズシステム及び異なる焦点距離のような、１以上の異なる特性をもつデータを捕捉する。複数のイメージセンサからのデータは、処理及びインタリーブされ、１つの等価なイメージセンサから生成される出力動き系列に関して改善された出力の動き系列が生成される。
2010520661.tif 000002
【特許請求の範囲】
【請求項１】
あるシーンの出力画像フレームの系列を生成する電子カメラであって、
第一のセンサ出力を生成する第一のイメージセンサと、
第二のセンサ出力を生成する第二のイメージセンサと、
前記第一及び第二の画像センサで前記シーンの画像を形成する１以上のレンズと、
前記第一のイメージセンサの露光期間と前記第二のイメージセンサの露光期間とを制御するタイミングジェネレータと、前記第一のイメージセンサの露光期間は、前記第二のイメージセンサの露光期間よりも長く、
前記第一のセンサ出力と前記第二のセンサ出力から前記シーンの画像系列を実質的に同時に記憶するデジタルメモリと、
を有することを特徴とする電子カメラ。
【請求項２】
前記第一のイメージセンサは、毎秒Ｎフレームのフレームレートで前記シーンの画像系列を捕捉し、前記第一のイメージセンサ出力は、少なくとも１／２Ｎ秒である露光期間を与える、
請求項１記載の電子カメラ。
【請求項３】
前記第二のイメージセンサは、毎秒Ｎフレームのフレームレートで前記シーンの画像系列を捕捉し、前記第二のイメージセンサ出力は、１／４Ｎ秒よりも短い露光期間を与える、
請求項１記載の電子カメラ。
【請求項４】
前記第一のセンサ出力又は前記第二のセンサ出力が前記画像系列に含まれるかを判定する手動的な制御手段を更に有する、
請求項１記載の電子カメラ。
【請求項５】
前記シーンにおける動きの分析に基づいて前記第一のセンサ出力又は前記第二のセンサ出力が前記画像系列に含まれるかを自動的に判定するイメージプロセッサを更に有する、
請求項１記載の電子カメラ。
【請求項６】
前記シーンにおけるノイズレベルの分析に基づいて前記第一のセンサ出力及び前記第二のセンサ出力が前記画像系列に含まれるかを自動的に判定するイメージプロセッサを更に有する、
請求項１記載の電子カメラ。
【請求項７】
前記第二のセンサ出力は、前記画像系列を記憶する前に前記第一のセンサ出力と位置合わせされる、
請求項１記載の電子カメラ。
【請求項８】
毎秒Ｎフレームまでのフレームレートで、あるシーンの出力の画像フレームの系列を生成する電子カメラであって、
Ｍ個のセンサ出力を生成する複数のＭイメージセンサと、前記ＭイメージセンサのそれぞれのフレームレートはＮ／Ｍに等しく、
前記複数のＭイメージセンサで前記シーンの画像を形成する１以上のレンズと、
前記複数のＭイメージセンサのうちの何れか２つの開始時間における差が１／Ｎ秒の整数倍に近似的に等しいように、前記複数のＭイメージセンサのそれぞれの露光期間の開始時間を制御するタイミングジェネレータと、
を有することを特徴とする電子カメラ。
【請求項９】
前記複数のＭイメージセンサのそれぞれの露光期間は実質的に等しい、
請求項８記載の電子カメラ。
【請求項１０】
前記複数のＭイメージセンサのそれぞれの露光期間は１／Ｎ秒よりも長い、
請求項８記載の電子カメラ。
【請求項１１】
前記複数のＭイメージセンサのそれぞれの露光期間は、Ｍ／Ｎ秒に等しい、
請求項８記載の電子カメラ。
【請求項１２】
前記画像系列に含まれるべき画像データの選択を制御するため、手動的な制御手段が前記カメラに存在し、
前記手動的な制御手段が作動されないとき、前記第一のイメージセンサからの画像データは、前記画像系列に含まれ、
前記低いフレームレートが前記手動的な制御手段により選択されたとき、前記第一のイメージセンサからの画像データの時間的なサブセットが前記画像系列に含まれ、
前記高いフレームレートが前記手動的な制御手段により選択されたとき、複数のセンサからの画像データは、前記画像系列においてインタリーブされる、
請求項８記載の電子カメラ。
【請求項１３】
当該カメラは、前記シーンにおける動きの分析に基づいて、前記画像系列に含まれるべき画像データの選択を自動的に制御し、
前記動きが第一の閾値と第二の閾値との間にあるとき、前記第一のイメージセンサからの画像データは、前記画像系列に含まれ、
前記動きが第一の閾値よりも小さいとき、前記第一のイメージセンサからの画像データの時間的なサブセットが前記画像系列に含まれ、
前記動きが第二の閾値を超えるとき、複数のセンサからの画像データは、前記画像系列においてインタリーブされる、
請求項８記載の電子カメラ。
【請求項１４】
前記第一のイメージセンサからの２つのフレーム間の前記動き予測プロセスは、更なるイメージセンサからの連続した画像の捕捉からの動き予測情報のチェインを利用する、
請求項８記載の電子カメラ。
【請求項１５】
前記第二のイメージセンサからのデータは、出力の動き系列における結合されたセンサデータの継ぎ目のないインタリーブを可能にするため、前記第一のイメージセンサからのデータと位置合わせされる、
請求項８記載の電子カメラ。
【請求項１６】
あるシーンの出力画像フレームの系列を生成する電子カメラであって、
第一のセンサ出力を生成する第一のイメージセンサと、
第二のセンサ出力を生成する第二のイメージセンサと、
前記第一及び第二のイメージセンサで前記シーンの画像を形成する１以上のレンズと、
高いフレームレートと低いフレームレートのオプションを選択するフレームレートコントロールと、
前記第一のイメージセンサの露光期間と前記第二のイメージセンサの露光期間とを制御するタイミングジェネレータとを有し、
前記高いフレームレートが選択されないとき、前記第一のイメージセンサの露光期間は、前記第二のイメージセンサの露光期間よりも長く、前記高いフレームレートが選択されたとき、前記第一のイメージセンサの露光期間は、前記第二のイメージセンサの露光期間に近似的に等しい、
ことを特徴とする電子カメラ。
【請求項１７】
前記高いフレームレートが作動されたとき、前記第一のイメージセンサの露光時間は、前記第二のイメージセンサの露光時間に近似的に等しくなるように低減され、前記第一のイメージセンサ及び前記第二のイメージセンサの両者からの画像データは、前記画像系列においてインタリーブされ、
前記低いフレームレートが作動されたとき、前記第一のイメージセンサからの画像データの時間的なサブセットは、前記画像系列において含まれ、
前記高いフレームレート及び前記低いフレームレートの何れも作動されないとき、前記第一のイメージセンサからの画像データは、前記画像系列に含まれる、
請求項１６記載の電子カメラ。
【請求項１８】
前記第二のイメージセンサからのデータは、前記第一のイメージセンサからのデータと位置合わせされる、
請求項１６記載の電子カメラ。
【請求項１９】
毎秒Ｎフレームのフレームレートで、あるシーンの出力の画像フレームの系列を生成する電子カメラであって、
Ｋを１よりも大きい整数として、毎秒Ｎ／Ｋフレームのレートで高い空間解像度の第一のセンサ出力を生成する第一のイメージセンサと、
毎秒Ｎフレームのレートで低い空間解像度の第二のセンサ出力を生成する第二のイメージセンサと、
前記第一及び第二のイメージセンサで前記シーンの画像を形成する１以上のレンズと、
を有することを特徴とする電子カメラ。
【請求項２０】
前記第一のイメージセンサからの画像出力は、高い空間解像度と毎秒Ｎフレームの時間のフレームレートをもつ出力画像系列を生成するため、前記第二のイメージセンサからの画像出力でインタリーブされる、
請求項１９記載の電子カメラ。
【請求項２１】
あるシーンの出力の画像フレームの系列を生成する電子カメラであって、
第一のセンサ出力を生成する第一のイメージセンサと、
第二のセンサ出力を生成する第二のイメージセンサと、
前記第一及び第二のイメージセンサで前記シーンの画像を形成する１以上のレンズと、
低雑音のオプションを選択する低雑音コントロールと、
前記第一のイメージセンサの露光期間と前記第二のイメージセンサの露光期間とを制御するタイミングジェネレータとを有し、
前記第一のイメージセンサの露光期間は、前記低雑音コントロールが作動されたときに延長される、
ことを特徴とする電子カメラ。
【請求項２２】
前記低雑音コントロールが作動されたとき、前記第一のイメージセンサの露光時間は、前記第二のイメージセンサの露光時間に近似的に等しくなるように増加され、前記第一及び第二のイメージセンサの両者からの画像データは、前記画像系列においてインタリーブされる、
請求項２１記載の電子カメラ。
【請求項２３】
前記第二のイメージセンサからのデータは、出力の動き系列における結合されたセンサデータの継ぎ目のないインタリーブを可能にするため、前記第一のイメージセンサからのデータと位置合わせされる、
請求項２１記載の電子カメラ。
【請求項２４】
当該カメラは、前記センサ出力の少なくとも１つにおける雑音レベルの分析に基づいて、低雑音モードが作動されたかを自動的に判定する、
請求項２１記載の電子カメラ。
【請求項２５】
あるシーンの出力の画像フレームの系列を生成する方法であって、
第一のイメージセンサから第一のセンサ出力を生成するステップと、
第二のイメージセンサから第二のセンサ出力を生成するステップと、
１以上のレンズを使用して前記第一及び第二のイメージセンサで前記シーンの画像を形成するステップと、
前記第一のイメージセンサの露光期間と前記第二のイメージセンサの露光期間を制御するステップと、前記第一のイメージセンサの露光期間は、前記第二のイメージセンサの露光期間よりも長く、
前記第一のセンサ出力と前記第二のセンサ出力の画像系列をデジタルメモリに実質的に同時に記憶するステップと、
を含むことを特徴とする方法。
【請求項２６】
前記第一のセンサ出力を生成するステップは、毎秒Ｎフレームのフレームレートで前記第一のイメージセンサにより前記シーンの画像系列を捕捉し、少なくとも１／２Ｎ秒である前記第一のイメージセンサの出力により露光期間を提供するステップを更に含む、
請求項２５記載の方法。
【請求項２７】
前記第二のセンサ出力を生成するステップは、毎秒Ｎフレームのフレームレートで前記第二のイメージセンサにより前記シーンの画像系列を捕捉し、１／４Ｎ秒よりも短い前記第二のイメージセンサの出力により露光期間を提供するステップを更に含む、
請求項２５記載の方法。
【請求項２８】
前記第一のセンサ出力又は前記第二のセンサ出力が前記画像系列に含まれるかを判定するステップを更に含む、
請求項２５記載の方法。
【請求項２９】
前記シーンにおける動きの分析に基づいて、前記第一のセンサ出力又は前記第二のセンサ出力が前記画像系列に含まれるかを自動的に判定するステップを更に含む、
請求項２５記載の方法。
【請求項３０】
前記シーンにおける信号及び雑音の強度の分析に基づいて、前記第一のセンサ出力及び前記第二のセンサ出力が前記画像系列に含まれるかを自動的に判定するステップを更に含む、
請求項２５記載の方法。
【請求項３１】
前記画像系列を記憶する前に、前記第二のセンサ出力を前記第一のセンサ出力と位置合わせするステップを更に含む、
請求項２５記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画を捕捉及び記憶するデジタルカメラに関し、より詳細には、異なる露光時間を使用して同じシーンからなる画像を捕捉するために複数のイメージセンサを使用するデジタルカメラに関する。
【背景技術】
【０００２】
現在、大部分のデジタルカメラは、ズームレンズ及び単一のカラーイメージセンサを使用して、静止画像及び動画像を捕捉する。捕捉された画像は、次いで処理され、デジタル画像ファイルが生成され、このデジタル画像ファイルは、カメラにおけるデジタルメモリに記憶される。デジタル画像ファイルは、次いで、コンピュータに転送され、表示及び印刷され、インターネットを介して共有される。これらのデジタルカメラにより捕捉された動画系列は、たとえば公知のＭＰＥＧ−４圧縮規格を使用することで典型的に圧縮され、この圧縮されたデータは、固体メモリ又は磁気メモリを使用して記憶される。
【０００３】
滑らかな動きを有する動画系列を提供するため、画像を捕捉するために使用されるセンサの露光時間は、一時的なエリアシングを回避するために、（フレームレートに関して）十分に長い必要がある。露光時間が余りに短い場合、（前方に移動する自動車で後方に回転するホイールのような）動きアーチファクトは、捕捉された動画系列において現れる。しかし、動きフレームのうちの１つから良好な静止画を生成するために必要とされるような、動く被写体の鮮鋭なデジタル画像を得るため、露光時間は、被写体の動きを止めるために十分に短い必要がある。したがって、一時的なエリアシングを最小にすることと鮮鋭な「フリーズフレーム」画像を提供することとの間に対立する要件が存在する。
【０００４】
小型のデジタルカメラに大きな「光ズームレンジ」を提供するため、デジタルカメラは、“Digital  Camera  Using  Multiple  lenses  and  Image  Sensors  To  Provide  an  Extended  Zoom  Range”と題された同一出願人による米国特許出願第2006/0187312に記載されるように、異なる焦点距離のレンズをもつ複数のイメージセンサを使用することができる。たとえば、Kodak  Easyshare  V610  デュアルレンズデジタルカメラは、１０ｘの光ズームレンジを提供するため、38-114mm  (35mm  equiv.)  f/3.9-f/4.4レンズ及び130-380mm  (35mm  equiv.)  f/4.8レンズを含む。しかし、上記参照された特許出願及び製品の両者において、２つのイメージセンサのうちの１つのみが一度に使用される。２つのイメージセンサは、動画を同時に捕捉することができない。
【０００５】
Onoによる2003年1月30日付けの米国特許出願第2003/0020814号は、２つのＣＣＤイメージセンサに結合される２つの異なるレンズを有するカメラを開示する。この開示で記載される様々な実施の形態では、２つのレンズは、異なる焦点距離のレンジを提供することができるか、又は、２つのレンズは、２つの異なる焦点距離の設定にセットされた固定された焦点レンズとすることができる。しかし、２つのイメージセンサは、動画を同時に捕捉することができない。
【０００６】
幾つかのビデオカメラは、複数のイメージセンサを使用してカラー画像を形成する。このタイプの大部分のカメラでは、あるシーンの画像を提供するために１つのレンズが使用され、このシーンの画像は、次いで、プリズムビームスプリッタにより複数の色に分解される。複数のモノクロイメージセンサは、赤、緑、及び青色の分解画像を捕捉するために使用される。しかし、2003年8月26日に提出された、Yu等による“Digital  Cameras  using  Multiple  Sensors  with  Multiple  Lenses”と題された米国特許第6611289号に開示されるように、色分解を提供するため、複数のイメージセンサ及び複数のレンズを使用することができない。しかし、両方のタイプのシステムでは、全てのイメージセンサは、画像の異なる色成分を同時に捕捉するため、同じ時間サンプリングを提供する。
【０００７】
また、幾つかのデジタル画像形成システムは、複数のイメージセンサ及び複数のレンズを使用して、デジタル画像の異なる部分を捕捉する。係るシステムは、Gruber等により2006年3月7日に発行された米国特許第7009638号に開示される。この特許で開示される１実施の形態では、大型フォーマットのデジタルカメラは、複数のレンズシステムを使用して複数の検出器アレイを露光し、大きな領域のオブジェクトのオーバラップするサブ領域のサブ画像を取得する。このサブ画像は、互いに縫い合わされ、大型フォーマットのデジタルマクロ画像を形成する。さらに、全てのイメージセンサは、画像の異なるサブ領域を同時に捕捉するため、同じ時間サンプリングを提供する。
【０００８】
ステレオフィルムカメラ及びステレオ電子カメラは、従来技術において知られている。これらのカメラは、同じ焦点距離の２つの水平方向に分離されたレンズを典型的に有し、これら２つの水平方向に分離されたレンズは、シーンの僅かに異なる画像を２つのイメージセンサ又はフィルムの２つのフレームにフォーカスする。係るシステムは、1991年1月21日に提出された、K.Bradley  Paxtonによる“Still  Video  Camera  for  Recording  Stereo  Images  on  a  Video  Disk”と題された同一出願人による米国特許第4989078号で開示される。２つの画像は、いわゆる「ステレオペア」を提供し、このステレオペアは、シーンを見たときに、日との左の目及び右の目が見る僅かに異なる見方をシミュレートする。さらに、イメージセンサの両方は、ステレオイメージペアを同時の捕捉するため、同じ時間サンプリングを提供する。
【０００９】
近似的に同時に複数の画像を捕捉するために複数のレンズを使用するフィルムカメラは、従来技術において知られている。たとえば、幾つかのカメラは、シャッターの遅延を提供して、異なる時間でフィルムの異なる部分を露光する。係るシステムは、1965年8月24日付けで発行された、James  B.  Cummings及びTheodore  R.  Kolterによる“Sequence  Camera”と題された同一出願人による米国特許第3202069号で開示される。複数のシーケンシャルな静止写真が撮影され、それぞれ、予め決定されたフィルムの領域を露光する。しかし、カメラは、動き画像を同時に捕捉するすることができない。
【特許文献１】米国特許出願第2006/0187312号
【特許文献２】米国特許出願第2003/0020814号
【特許文献３】米国特許第6611289号
【特許文献４】米国特許第7009638号
【特許文献５】米国特許第4989078号
【特許文献６】米国特許第3202069号
【発明の概要】
【発明が解決しようとする課題】
【００１０】
これらの従来技術のシステムは、一時的なエリアシングを最小にすることと、鮮鋭な「フリーズフレーム」画像を提供することとの間の対立する要件に対処するものではない。  したがって、異なる露光時間を使用して同じシーンの画像を捕捉するため、複数のイメージセンサを使用するデジタルカメラが必要とされる。
【課題を解決するための手段】
【００１１】
一般に、本発明は、複数のイメージセンサを使用して、異なる露光時間を使用して同じシーンの画像を同時に捕捉するデジタルカメラを提供する。
【００１２】
本発明の１態様は、あるシーンの出力画像フレームの系列を生成する電子カメラを提供する。電子カメラは、第一のセンサ出力を生成する第一のイメージセンサ、第二のセンサ出力を生成する第二のイメージセンサ、第一及び第二のイメージセンサであるシーンの画像を形成する１以上のレンズ、第一のイメージセンサの露光期間が第二のイメージセンサの露光期間よりも長い、第一のイメージセンサの露光期間と第二のイメージセンサの露光期間とを制御するタイミングジェネレータ、及び、第一のセンサ出力と第二のセンサ出力の画像系列を実質的に同時に記憶するデジタルメモリを含む。
【００１３】
本発明の別の態様は、毎秒Ｎフレームまでのフレームレートで、あるシーンの出力画像フレームの系列を生成する電子カメラを提供する。電子カメラは、Ｍ個のイメージセンサのそれぞれのフレームレートがＮ／Ｍに等しい、Ｍ個のセンサ出力を生成する複数のＭ個のイメージセンサ、前記複数のＭ個のイメージセンサでシーンの画像を形成する１以上のレンズ、及び、複数のＭ個のイメージセンサのうちの２つの間の開始時間における差が１／Ｎ秒の整数倍に近似的に等しいように、複数のＭ個のイメージセンサのそれぞれの露光期間の開始時間を制御するタイミングジェネレータを含む。
【００１４】
本発明の別の態様は、あるシーンの出力画像フレームの系列を生成する電子カメラを供給する。電子カメラは、第一のセンサ出力を生成する第一のイメージセンサ、第二のセンサ出力を生成する第二のイメージセンサ、第一及び第二のイメージセンサでシーンの画像を形成する１以上のレンズ、ハイフレームレート及びロウフレームレートのオプションを選択するフレームレートコントロール、及び、第一のイメージセンサの露光期間と第二のイメージセンサの露光期間を制御するタイミングジェネレータを含み、第一のイメージセンサの露光期間は、ハイフレームレートが選択されないときに第二のイメージセンサの露光期間よりも長く、第一のイメージセンサの露光期間は、ハイフレームレートが選択されたときに、第二のイメージセンサの露光期間に近似的に等しい。
【００１５】
本発明の別の態様では、電子カメラは、毎秒Ｎフレームのフレームレートで、あるシーンの出力画像フレームの系列を生成する。電子カメラは、Ｋを１よりも大きい整数として、毎秒Ｎ／Ｋフレームのレートで、高い空間解像度の第一のセンサ出力を生成する第一のイメージセンサ、毎秒Ｎフレームのレートで、低い空間解像度の第二のセンサ出力を生成する第二のイメージセンサ、及び、第一及び第二のイメージセンサでシーンの画像を形成する１以上のレンズを含む。
【００１６】
本発明の別の態様では、電子カメラは、あるシーンの出力画像フレームの系列を生成し、当該電子カメラは、第一のセンサ出力を生成する第一のイメージセンサ、第二のセンサ出力を生成する第二のイメージセンサ、第一及び第二のイメージセンサでシーンの画像を形成する１以上のレンズ、低雑音のオプションを選択する低雑音コントロール、及び、第一のイメージセンサの露光期間と第二のイメージセンサの露光期間とを制御するタイミングジェネレータを含み、第一のイメージセンサの露光期間は、低雑音コントロールが作動されたときに延長される。
【００１７】
本発明の別の態様では、あるシーンの出力画像フレームの系列を生成する方法が開示される。本方法は、第一のイメージセンサから第一のセンサ出力を生成するステップ、第二のイメージセンサから第二のセンサ出力を生成するステップ、１以上のレンズを使用して第一及び第二のイメージセンサであるシーンの画像を形成するステップ、第一のイメージセンサの露光期間が第二のイメージセンサの露光期間よりも長く、第一のイメージセンサの露光期間と第二のイメージセンサの露光期間とを制御するステップ、及び、第一のセンサ出力と第二のセンサ出力からなる画像系列をデジタルメモリに実質的に同時に記憶するステップを含む。
【００１８】
本発明のこれらの態様、目的、特徴及び利点、並びに、他の態様、目的、特徴及び利点は、好適な実施の形態及び特許請求の範囲の以下の詳細な説明を検討し、添付図面を参照することで明らかとなるであろう。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る、第一のイメージセンサによる第一のズームレンズと、第二のイメージセンサによる第二のズームレンズとを使用したデジタルカメラの第一の例のブロック図である。
【図２Ａ】図１に示されるデジタルカメラの２つの透視図である。
【図２Ｂ】図１に示されるデジタルカメラの２つの透視図である。
【図３】本発明に係る、第一のイメージセンサと第二のイメージセンサとによる単一のズームレンズを使用したデジタルカメラの第二の例のブロック図である。
【図４Ａ】改善された時間サンプリングを提供するための露光タイミングのオプションを示すタイミングダイアグラムである。
【図４Ｂ】改善された時間サンプリングを提供するための露光タイミングのオプションを示すタイミングダイアグラムである。
【図４Ｃ】改善された時間サンプリングを提供するための露光タイミングのオプションを示すタイミングダイアグラムである。
【図４Ｄ】改善された時間サンプリングを提供するための露光タイミングのオプションを示すタイミングダイアグラムである。
【図４Ｅ】改善された時間サンプリングを提供するための露光タイミングのオプションを示すタイミングダイアグラムである。
【図４Ｆ】改善された時間サンプリングを提供するための露光タイミングのオプションを示すタイミングダイアグラムである。
【図５Ａ】図１又は図３に示されるデジタルカメラ及び図４Ａに示されるタイミングダイアグラムを使用した、改善されたストップ−アクションのパフォーマンスによりデジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【図５Ｂ】図１又は図３に示されるデジタルカメラ及び図４Ａに示されるタイミングダイアグラムを使用した、改善されたストップ−アクションのパフォーマンスによる、デジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【図５Ｃ】図５Ａ及び図５Ｂの方法を使用して捕捉された画像系列を再生する方法を示すフローダイアグラムである。
【図６Ａ】図１又は図３に示されるデジタルカメラ及び図４Ｂ〜図４Ｃに示されるタイミングダイアグラムを使用した、ハイフレームレート及びロウフレームレート機能による、デジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【図６Ｂ】図１又は図３に示されるデジタルカメラ及び図４Ｂ〜図４Ｃに示されるタイミングダイアグラムを使用した、ハイフレームレート及びロウフレームレート機能による、デジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【図７】図１又は図３に示されるデジタルカメラ及び図４Ｄに示されるタイミングダイアグラムを使用した、ハイフレームレート及びロウフレームレート機能による、デジタル画像系列を捕捉する別の方法を示すフローダイアグラムである。
【図８Ａ】図１又は図３に示されるデジタルカメラ及び図４Ｅに示されるタイミングダイアグラムを使用した、改善された信号対雑音比による、デジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【図８Ｂ】図１又は図３に示されるデジタルカメラ及び図４Ｅに示されるタイミングダイアグラムを使用した、改善された信号対雑音比による、デジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【図９】図１又は図３に示されるデジタルカメラ及び図４Ｂ〜図４Ｃに示されるタイミングダイアグラムを使用した、改善された動きベクトル情報を計算する方法を示すフローダイアグラムである。
【図１０】図１又は図３に示されるデジタルカメラ及び図４Ｆに示されるタイミングダイアグラムを使用した、高い空間解像度とハイフレームレートとによる、デジタル画像系列を捕捉する方法を示すフローダイアグラムである。
【発明を実施するための最良の形態】
【００２０】
図１は、本発明に係る、デジタルカメラ１０Ａの第一の実施の形態のブロック図を示す。デジタルカメラ１０Ａは、携帯用のバッテリに動作される装置であって、画像を捕捉及び見るときにユーザにより容易に手で持って操作するために十分に小さい。デジタルカメラ１０Ａは、好ましくは、静止画のデジタル画像の系列及び動画のデジタル画像の系列（たとえばビデオクリップ）の両者を生成し、これらの画像系列は、取り外し可能なメモリカード５４で記憶される。代替的に、デジタルカメラ、動画のデジタル画像系列のみを生成及び記憶する。
【００２１】
デジタルカメラ１０Ａは、２つのズームレンズを含み、それぞれ画像を対応するイメージセンサに供給する。第一のズームレンズ３は、ズーム及びフォーカスモータ５ａにより制御され、画像を第一のイメージセンサ１４に供給する。第二のズームレンズ４は、ズーム及びフォーカスモータ５ｂにより制御され、画像を第二のイメージセンサ１６に供給する。しかし、実施の形態はズームレンズに限定されず、任意の適切なレンズを使用することができる。それぞれのレンズ（図示せず）における調節可能な開口は、イメージセンサ１４及び１６の露光を制御するために使用される。しかし、実施の形態は調節可能な開口に限定されず、露光を制御する任意の適切な装置を使用することができる。たとえば、制御プロセッサ及びタイミングジェネレータ４０により、電子的な露光時間の制御がイメージセンサ１４，１６に提供される。したがって、１実施の形態では、２つのレンズ３，４の開口及び露光時間は、同じ露光の設定を提供する一方で、異なる値に設定することができる。たとえば、第一のズームレンズ３のｆ値（f/number）は、大きな値（たとえばｆ／１６）に設定され、第一のイメージセンサ１４の露光時間は、比較的長い露光期間（たとえば１／３０秒）に設定される。同様に、第二のズームレンズ４のｆ値は、小さな値（たとえばｆ／８）に設定され、第二のイメージセンサ１６の露光時間は、比較的短い露光期間（たとえば１／１２０秒）に設定される。制御プロセッサ及びタイミングジェネレータ４０は、信号をクロックドライバ１３に供給することで第一のイメージセンサ１４を制御し、信号をクロックドライバ１５に供給することで第二のイメージセンサ１６を制御する。
【００２２】
また、制御プロセッサ及びタイミングジェネレータ４０は、ズーム及びフォーカスモータ５ａ及び５ｂ、及びシーンを照射する光を放出するフラッシュ４８を制御する。ユーザコントロール４２は、図２Ｂに記載されるように、デジタルカメラ１０Ａの動作を制御するために使用される。
【００２３】
第一のイメージセンサ１４からのアナログ出力信号１４ｅは、増幅され、第一のアナログシグナルプロセッサ及びＡ／Ｄコンバータ（ＡＳＰ＆Ａ／Ｄ１）２２により第一のデジタル画像信号に変換され、第一のＤＲＡＭバッファメモリ３６に供給される。第二のイメージセンサ１６からのアナログ出力信号１６ｅは、増幅され、第二のアナログシグナルプロセッサ及びＡ／Ｄコンバータ（ＡＳＰ＆Ａ／Ｄ）２４により第二のデジタル画像信号に変換され、第二のＤＲＡＭバッファメモリ３８に供給される。ＤＲＡＭバッファメモリ３６，３８に記憶される画像データは、イメージプロセッサ５０により処理され、処理されたデジタル画像ファイルが生成され、この処理されたデジタル画像ファイルは、動画のデジタル画像系列又は静止画のデジタル画像を含む場合がある。
【００２４】
イメージプロセッサ５０により実行される処理は、フラッシュのＥＰＲＯＭメモリとすることができるファームウェアメモリ５８に記憶されるファームウェアにより制御される。プロセッサ５０は、中間の結果を記憶するためにＲＡＭメモリ５６を使用して、ＤＲＡＭバッファメモリ３８からのデジタル入力画像を処理する。
【００２５】
なお、イメージプロセッサ５０は、典型的には、プログラマブルイメージプロセッサであり、代替的には、ハードワイアドカスタム集積回路（ＩＣ）プロセッサ、汎用マイクロプロセッサ、又はハードワイアドカスタムＩＣとプログラマブルプロセッサの組み合わせである。さらに、ＤＲＡＭバッファメモリ３６，３８及びＲＡＭメモリ５６のような図１における個別のブロックとして示される１以上の機能は、イメージプロセッサ５０を含むＩＣに組み込まれる。
【００２６】
処理されたデジタル画像ファイルは、メモリカードインタフェース５２に供給され、このメモリカードインタフェースは、取り外し可能なメモリカード５４にデジタル画像ファイルを記憶する。取り外し可能なメモリカード５４は、１つのタイプの取り外し可能なデジタル画像記憶媒体であり、幾つかの異なる物理的なフォーマットで利用可能である。たとえば、取り外し可能なメモリカード５４は、限定されるものではないが、CompactFlash、SmartMedia、MemoryStick、MMC、SD又はXDメモリカードフォーマットのような公知のフォーマットに適合されるメモリカードを含む。磁気ハードドライブ、磁気テープ、又は光ディスクのような他のタイプの取り外し可能なデジタル画像記憶媒体は、代替的に、静止画のデジタル画像及び動画のデジタル画像を記憶するために使用される。代替的に、デジタルカメラ１０Ａは、処理されたデジタル画像ファイルを記憶するための内部のFlash  EPROMメモリのような、内部の不揮発性メモリ（図示せず）を使用する。係る例では、メモリカードインタフェース５２及び取り外し可能なメモリカード５４が必要とされない。
【００２７】
イメージプロセッサ５０は、レンダリングされたカラー画像データを生成するため、色及び階調補正により後続される色補間を含む各種の画像処理機能を実行する。カメラが静止画モードである場合、レンダリングされたカラー画像データは、次いでＪＰＥＧ圧縮され、ＪＰＥＧ画像ファイルとして取り外し可能なメモリカード５４に記憶される。また、レンダリングされたカラー画像データは、ＷｉＦｉコネクション、ＵＳＢコネクション又はファームウェアコネクションのような適切な相互接続６４にわたり通信するホストインタフェース６２を介して、ホストＰＣ６６に供給される。１実施の形態では、ＪＰＥＧファイルは、公知の“Digital  Still  Camera  Image  File  Format  (Exif)”フォーマットで定義される、いわゆる“Exif”画像フォーマットを使用する。このフォーマットは、レンズのｆ値及び他のカメラ設定と同様に、画像が捕捉された日付／時間を含む、特定の画像のメタデータを記憶するExifアプリケーションセグメントを含む。
【００２８】
カメラが動画モードにある場合、レンダリングされたカラー画像データは、MPEG-4圧縮を使用して圧縮され、限定されるものではないが、Apple  Computer社により開発された公知のQuickTimeフォーマットを使用して取り外し可能なメモリカード５４に記憶される。MPEG-1,  MPEG-2,  H.263,  H.264等のような他の公知の圧縮技術を使用して、他の動画フォーマットを利用することができることを理解されたい。動画モードでは、レンダリングされたカラー画像データは、適切な相互接続６４にわたり通信するホストインタフェース６２を介してホストＰＣに供給される。
【００２９】
また、イメージプロセッサ５０は、静止画の低解像度の「サムネイル」サイズの画像、又は動画の適切なフレームの低解像度の「サムネイル」サイズの画像を形成する。このサムネイルサイズの画像は、Kuchta等による“Electronic  Still  Camera  Providing  Multi-Format  Storage  Of  Full  And  Reduced  Resolution  Images”と題された同一の出願人による米国特許第５１６４８３１号に記載されるように形成することができ、その開示は、引用により本明細書に盛り込まれる。静止画及び動画が捕捉された後、これらは、所望の静止画像又は動画系列を選択するためにサムネイル画像を使用することで、カラーＬＣＤディスプレイ７０で迅速に見ることができる。カラーＬＣＤ画像ディスプレイ７０で表示されるグラフィカルユーザインタフェースは、ユーザコントロール４２により制御される。
【００３０】
本発明の幾つかの例では、デジタルカメラ１０Ａは、カメラフォンの一部として含まれる。係る例では、イメージプロセッサ５０は、セルラプロセッサ９０にインタフェースし、セルラプロセッサは、セルラモデム９２を使用して、アンテナ９４を介して無線周波伝送を使用してセルラーネットワーク（図示せず）との間でデジタル画像を送信及び受信する。
【００３１】
図２Ａ及び図２Ｂは、図１に関して記載されたデジタルカメラ１０Ａの透視図を示す。図２Ａは、カメラ１０Ａの前面図であり、第一のズームレンズ３、第二のズームレンズ４及びフラッシュ４８を有するフロントオプティカルプロファイル１を示す。図２Ｂは、カメラの後面であり、カラーＬＣＤ画像ディスプレイ及び多数のユーザコントロールを示し、多数のユーザコントロールは、画像捕捉シーケンスを可能にするシャッターボタン４２ａ、ズーム設定の選択を可能にするズームボタン４２ｃ、及び画像を通して、カラーＬＣＤ画像ディスプレイ７０で表示されるメニュー選択等をナビゲートするマルチポジションセレクタ４２ｂを含む。これらのメニュー選択は、静止画モードと動画モードとの間の選択を含む。
【００３２】
１実施の形態では、イメージセンサ１４及び１６は、サイズにおいて同じであり、アスペクトレシオ及びピクセルサイズの両者に関して、第一のズームレンズ３と第二のズームレンズ４も同一である。ズームレンズ３及び４は、限定されるものではないが、38-114mm（35mm  equiv.）f/3.9-f/4.4レンズとすることができる。たとえば、３８ｍｍは、３５ｍｍの写真フィルムカメラの焦点距離であり、３５ｍｍ写真フィルムカメラは、American  National  Standards  Institute,  Inc.,  New  York,  NYから入手可能であるANSI/I3A  IT10.7000-2004標準で定義されるように、その最短の焦点距離の位置に設定されたとき、ズームレンズ３がイメージセンサ１４に供給するのと同じ視野を提供する。第二のズームレンズ４は、130-380mm（35mm  equiv.）f/4.8の焦点距離のレンジを有する。
【００３３】
35mmのフィルムに等価な焦点距離（f.l.）は、式を使用して計算される。  
35mm−equiv.  f.l.=
（実際のレンズf.l.(mm)×43.27mm）／対角によるセンサ焦点面の距離（mm）（１）
たとえば、イメージセンサが２分の１インチのタイプの光フォーマットを使用する場合、イメージセンサは、８．０ｍｍの対角線の距離をもつ、６．４ｍｍ（幅）×４．８ｍｍ（高さ）の焦点面を有する。このタイプのイメージセンサが８．０ｍｍの実際の焦点距離を有するレンズと使用される場合、３５ｍｍの等価な焦点距離は４４ｍｍ（（8mm×43.27mm）/8mm）である。
【００３４】
別の実施の形態では、第一及び第二のズームレンズは、異なる焦点距離を有する。たとえば、第一のズームレンズ３は、38-176mm（35mm  equiv.）  f/3.9-f/4.4のレンズであり、第二のズームレンズ４は、114-228mm  f/4.8の焦点距離のレンズである。この例では、第一のレンズ３及び第二のレンズ４は、114mm-176mmのオーバラップするズームレンジを提供する。
【００３５】
幾つかの実施の形態では、イメージセンサ１４及び１６は、シングルチップカラーMegapixel  CCDセンサであり、カラー画像を捕捉するために公知のBayerカラーフィルタパターンを使用する。イメージセンサ１４及び１６は、たとえば４：３の画像のアスペクト比、及び２８４８のアクティブな画素の列×２１４４のアクティブな画素の行による全体で６．１ＭＰの有効メガピクセル（百万画素）を有する。
【００３６】
図３は、本発明に係る、第一のイメージセンサと第二のイメージセンサとによる単一のズームレンズを使用したデジタルカメラの第二の実施の形態のブロック図を示す。第二の実施の形態では、デジタルカメラ１０Ｂは、ズーム及びフォーカスモータ５ｃにより制御される単一のズームレンズ５ｃを含む。ビームスプリッタ７は、レンズ５ｃからの画像を２つの画像に分解し、これら２つの画像は、第一のイメージセンサ１４と第二のイメージセンサ１６とに焦点を合わせる。これにより、図１におけるように２つの個別のレンズが使用されたときに生じる光学視差の問題が除かれる。
【００３７】
デジタルカメラ１０Ｂの残りの態様は、図１に示されるデジタルカメラ１０Ａに類似しており、同じ参照符号を保持する。したがって、デジタルカメラ１０Ｂのこれらの態様の更なる説明のために図１が参照される。
【００３８】
図４Ａ〜図４Ｆは、デジタルカメラが動画像モードにあるとき、改善された時間サンプリングを提供するため、異なる露光タイミングのオプションを示すタイミングダイアグラムを示す。図４Ａの１実施の形態では、第一のイメージセンサは、関連される露光時間＃１  １００Ａにより毎秒Ｎフレームのレートで、第一の動画系列を捕捉する。第二のイメージセンサは、関連される露光時間＃２  １０２Ａにより毎秒Ｎフレームのレートで、第二の動画系列を実質的に同時に捕捉する。より詳細には、図４Ａに示される例では、露光時間＃２  １０２Ａは、露光時間＃１  １００Ａよりも短い露光期間を有し、露光時間＃２  １０２Ａは、露光時間＃１  １００Ａの一部の間に生じる。したがって、第一のセンサで捕捉された画像に関連される露光時間＃１  １００Ａは、第二のセンサで捕捉された画像に関連される露光時間＃２  １０２Ａよりも実質的に長い。しかし、実施の形態は露光時間＃２  １０２Ａよりも実質的に長い露光時間＃１  １００Ａに限定されず、代替的な実施の形態では、露光時間＃１  １００Ａは、露光時間＃２  １０２Ａよりも短い期間のような、他の期間とすることができる。更に別の実施の形態では、露光時間＃１よりも短い期間を有する露光時間＃２  １０２Ａは、露光時間＃１  １００Ａで開始するか、露光時間＃１  １００Ａの後に終了する。全てのこれらの実施の形態では、両方のイメージセンサは、異なる露光期間を使用するが、近似的に同時にシーンの動画フレームを捕捉するので、露光時間＃１  １００Ａ及び露光時間＃２  １０２Ａは、実質的に同時に起こる。
【００３９】
したがって、第一のセンサは、滑らかな動きであって、第二のセンサよりも少ないノイズにより画像を捕捉する。逆に、第二のセンサは、第一のセンサよりも鮮鋭な「フリーズフレーム」画像を捕捉する。１実施の形態では、両方の画像系列は、取り外し可能なメモリカード５４に実質的に同時に記録され、これにより、何れかの画像系列を再生することができる。すなわち、図４Ａに例示されるように、露光時間＃１及び露光時間＃２のそれぞれを有する、第一のイメージセンサ及び第二のイメージセンサの出力を使用して提供される画像系列は、以下の順序で第一及び第二の画像系列のフレームの記録の間でインタリーブ又は交互にすることで、メモリカード５４に記録される。第一の画像系列のための露光時間＃１  １００Ａ、第二の画像系列のための露光時間＃２  １０２Ａ、第一の画像系列のための露光時間＃１  １００Ｘ、第二の画像系列のための露光時間＃２  １０２Ａ、第一の画像系列のための露光時間＃１  １００Ｚ、及び第二の画像系列のための露光時間＃２  １０２Ｚ。
【００４０】
更に別の実施の形態では、第一のイメージセンサ１４の出力又は第二のイメージセンサ１６の出力の何れかを使用することで、新たな画像系列が形成される。この新たな画像系列は、シーンにおいて現在生じている動きの量に依存する。
【００４１】
図４Ｂは、１／Ｎ秒の関連される露光時間１００Ｂによる、毎秒Ｎ／２フレームのレートで第一のイメージセンサが動画を捕捉するタイミングダイアグラムを示す。また、第二のイメージセンサは、１／Ｎ秒の関連される露光時間１０２Ｂによる、毎秒Ｎ／２フレームの同じレートで動画像を捕捉し、第一及び第二のセンサの露光期間は、露光期間１００Ｂ及び１０２Ｂが同じであるが（たとえば１／６０秒）オーバラップしないように互い違いにされる。言い換えれば、センサのそれぞれのフレームレートは同じであるが、第二のセンサからの露光期間の開始は、位相が一致しない。１実施の形態では、第一及び第二のセンサの露光期間は実質的に同じであり、露光期間の開始の間の位相差は、１８０°である。２つのセンサからの動画は、毎秒Ｎフレームの全体の捕捉レートで系列を形成するようにインタリーブされる。この動き捕捉の実施の形態により、個々のセンサで必要とされるよりも高いフレームレートでのインタリーブされた出力ストリームの形成が可能である。
【００４２】
図４Ｃは、約２／Ｎ秒の関連される露光時間１００Ｃによる、毎秒Ｎ／２フレームのレートで、第一のイメージセンサが動画を捕捉するタイミングダイアグラムを示す。また、第二のイメージセンサは、約２／Ｎ秒の関連される露光時間１０２Ｃによる、毎秒Ｎ／２フレームのレートで動画を捕捉する。第一及び第二のセンサの露光期間は、互い違いにされ、第一のイメージセンサについて所与の露光期間が第二のイメージセンサの２つの連続する露光期間と近似的に一様にオーバラップするようなやり方でオーバラップする。同様に、第二のイメージセンサについて所与の露光期間は、第一のイメージセンサの露光期間と同じ期間であり、第一のイメージセンサの２つの連続する露光期間と近似的に一様にオーバラップする。２つのセンサからの動画は、毎秒Ｎフレームの全体の捕捉レートで系列を形成するようにインターリーブされる。この動き捕捉の実施の形態により、個々のセンサについて必要とされるよりも高いフレームレートによる、インタリーブされた出力ストリームの形成が可能となる。図４Ｃで示されるタイミングダイアグラムにより、図４Ｂで示されたタイミングダイアグラムに従って生成された対応する動き系列に関して低い雑音をもつ動画系列が得られる。これは、露光期間がフレーム期間１／Ｎよりも長いためである。
【００４３】
図４Ｄは、複数の露光モードを有するタイミングダイアグラムを例示する。したがって、図４Ｄは、図４Ａに示されるタイミングダイアグラムに類似して、第一のセンサが、関連する露光時間１０２Ｄによる第二のセンサよりも長い露光時間１００Ｄを使用して動画を捕捉するノーマルモードのタイミングダイアグラムを示す。ユーザによりトリガされたか、又は自動的に検出されたかによるイベントに応答して、ハイフレームレートモードが例示され、この場合、第一のセンサは、その露光時間１０３を第二のセンサの露光時間１０２Ｄに等しくなるように低減する。第一及び第二のイメージセンサの露光期間は、毎秒当たりの画像フレーム数の２倍のフレーム数を供給するため、図４Ｂにおけるように互い違いにされる。
【００４４】
図４Ｅは、露光時間１００Ｅを使用して、毎秒Ｎフレームのレートで第一のセンサが動画を細くするタイミングダイアグラムを示す。ユーザによりトリガされるか又は自動的に検出されたイベントに応答して、第一のセンサは、フレーム１０５当たり近似的に２／Ｎ秒の露光期間により、毎秒Ｎ／２フレームにその捕捉レートを低減し、また、第二のセンサは、フレーム１０２Ｅ当たり近似的に２／Ｎ秒の露光期間により、毎秒Ｎ／２フレームのレートでフレームを捕捉する。第一及び第二のセンサの露光期間は、図４Ｃにおけるように互い違いにされ、オーバラップする。
【００４５】
図４Ｆは、第一のセンサが毎秒Ｎ／２フレームのレートで高い解像度の動画を捕捉し、第二のイメージセンサが毎秒Ｎフレームのレートで低い解像度の動画を捕捉するタイミングダイアグラムを示す。第一のセンサで捕捉された画像に関連する露光時間１００Ｆは、第二のセンサで捕捉された画像に関連する露光時間１０２Ｆよりも実質的に長い。
【００４６】
図５Ａは、図１及び図３に示されるデジタルカメラを使用し、図４Ａに示されるタイミングダイアグラムに対応するデジタル画像系列を捕捉する１実施の形態を示すフローダイアグラムを示す。図５Ａでは、動画がブロック１０６で始動されたとき、ユーザはブロック１１０で「ストップアクション」モードを始動するためのオプションを有する。幾つかの実施の形態では、ユーザがカメラ上の専用の物理的なボタンを押したとき、「ストップアクション」モードが始動される。代替的な実施の形態では、ストップアクションモードは、マルチポジションセレクタ４２ｂを使用してカラーＬＣＤイメージディスプレイ７０で表示されるモードのメニューから選択される。代替的な実施の形態では、シャッターボタン４２ａは、ストップアクションモードを始動するために部分的に押される。
【００４７】
ストップアクションオプションが選択されないとき（ブロック１１０からの“ｎｏ”）、ブロック１０８におけるイメージプロセッサ５０による処理のために第一のイメージセンサ１４からの画像データのみが選択される。処理は、ブロック１１４でカラーＬＣＤイメージディスプレイでプレビュー画像を提供することを含む。また、処理は、ブロック１１６でＭＰＥＧ符号化された動き系列を提供することを含む。
【００４８】
ストップアクションオプションが選択された場合（ブロック１１０に“ｙｅｓ”）、ブロック１１２において、第一のイメージセンサ１４及び第二のイメージセンサ１６の両者を使用して画像が捕捉されるが、図４Ａに示されるように異なる露光期間を使用して画像が捕捉される。両方のセンサからの画像系列は、イメージプロセッサ５０により処理される。処理は、後に記載されるように、ブロック１１３において第一及び第二の画像データを登録することを任意に含む。プレビュー画像データは、ブロック１１５においてカラーＬＣＤイメージディスプレイで表示される。このプレビュー画像データは、両方のセンサからの出力を使用するか、又は第一のイメージセンサ１４のみからの出力を使用して提供される。
【００４９】
ブロック１１７において、第一のイメージセンサ１４及び第二のイメージセンサ１６の両者からのＭＰＥＧ符号化された動き系列は、イメージプロセッサ５０により生成され、取り外し可能なメモリカード５４で記憶される。１実施の形態では、これは、２つの個別のＭＰＥＧ符号化されたファイルを記録することで行われる。別の実施の形態では、第一のＭＰＥＧ符号化ファイルは、第一のイメージセンサ１４の出力により供給されるＭＰＥＧ符号化ファイルであり、このファイルは、第一及び第二のイメージセンサの出力間の差を符号化する更なる情報で増強される。この後者のアプローチは、２つの動き系列の間で著しい冗長度が存在するために、記録されるべきデータの量を低減し、これは、第二の系列のために使用される短い露光時間によりモーションブラー（motion  blur）が少なくなるために主として異なる。この特定の動き系列を記録するときに「ストップアクション」モードがイネーブルにされたことを示すため、メタデータがファイルに書き込まれる。
【００５０】
上述されたように、幾つかの実施の形態では、光センサデータレジストレーション（registration）ブロック１１３は、第一及び第二のイメージセンサから到来する画像データの処理において使用される。特に、この処理は、（図１におけるような）２つの空間的にオフセットされた光レンズにより捕捉される画像データをインタレースするときに生じる、位置ずれのアーチファクト（misregistration  artifacts）を補正するために使用される。２つの隣接するレンズ３及び４をもつ、図１のタイプのマルチレンズカメラでは、２つの光学系は、同じサイズの視野を画像形成しているとしても、２つの僅かに異なるイメージフィールドを捕捉する。すなわち、２つのセンサからの捕捉された画像は、互いに関して僅かにオフセットされているか、又はミスアライメント或いは位置ずれされる。２つの画像データストリームが動画系列を形成するためにインタレースされるとき、一方のセンサ出力から他方のセンサ出力に再生動き系列を切り換えることで生じる遷移は、任意の位置ずれ補正なしに、組み立てられた動画系列において痙動が生じる場合がある。遠くにある物の画像を捕捉するとき、視差によるこのミスアライメントは、小さく且つ知覚できない。しかし、近くにある物を捕捉するとき、ミスアライメントは、知覚することができ且つ気が散る場合がある。さらに、２つのセンサからの画像データ間の差を圧縮することは、効率が悪い。
【００５１】
補正は、任意のセンサデータレジストレーションブロック１１３によりイネーブルにされる。幾つかのケースでは、２つのレンズ３及び４は、同じ焦点距離を有し、第一のイメージセンサは、リファレンスセンサとして選択され、両方のイメージセンサは、最終的な画像系列の解像度のために保持されるよりも大きな領域の画像データを提供する。このケースでは、適切なサイズのデータの中央のウィンドウは、選択されたとき、第一のイメージセンサから常に選択される。第二のイメージセンサからのデータが選択されるようにストップアクションモードがイネーブルにされたとき、第二のイメージセンサデータは、相対的なオフセットを決定するために第一のイメージセンサと揃えられ、第二のイメージセンサからのデータの適切なウィンドウは、第一のイメージセンサの中央のデータ領域と整合するために選択される。基本的に、センサデータレジストレーションブロック１１３は、画像のシフト及び切り抜き（cropping）を提供し、この場合、２つの画像セットは、アライメントにシフトされ、次いで、サイズを整合するために切り抜きされる。
【００５２】
図１で先に記載されたように、２つのレンズは、空間オフセットと同様に、異なる焦点距離のレンジを有することが可能である。このケースでは、２つのイメージセンサ間の継ぎ目のない遷移を可能にするか、又は第一のズームレンズ３及び第二のズームレンズ４（たとえば、先に記載された114mm-176mmレンジ）により提供される焦点距離のみについて「ストップアクション」モードをイネーブルにするため、イメージセンサの一方又は両方の空間サンプリングを調節することが必要な場合もある。
【００５３】
２以上の隣接する光学系の画像形成による、マルチレンズカメラの形状（図１及び図２Ａを参照）は、位置のシフトのアーチファクトと同様に、角度に関する知覚のアーチファクトを生じる可能性がある。これは、画像形成されている被写体がカメラに比較的近いときに特に当てはまる。立体画像形成につながる場合がある、シャドーイング又は視点における視差の作用及び差を含む様々な画像の作用が生じる可能性がある。しかし、図１及び図２のマルチレンズカメラのケースでは、立体画像形成が目標ではなく、２つのイメージセンサ１４及び１６からの画像ストリームが動き系列を形成するためにインタレースされるとき、著しい角度に関する差により、知覚による不連続のアーチファクトが形成される。カメラの物理的な構造は、これらの作用を低減するのに役立つ。たとえば、２つの光軸間の物理的なオフセット又は分解が立体画像の捕捉のために必要とされるレンジ（〜５３−７０ｍｍ）以下である場合、角度に関する差は、画像において視覚的に知覚できない差を形成する。さらに、人間の視覚的な知覚は、水平方向に方向付けられた角度誤差よりも垂直方向に方向付けられた角度誤差に対して感度が低い。この文脈では、図２Ａで例示されたカメラは、好適な幾何学的形状を有しており、３又は４のレンズのペアは、〜２５ｍｍの軸のオフセットと水平に方向付けされる。しかし、画像の捕捉のジオメトリに基づいた、画像捕捉における小さな差は、特に突然の構造表面をもつ近くの物体を画像形成するとき、画像の違いを更に生じる場合がある。イメージプロセッサ５０は、センサデータレジストレーションブロック１１３を超えて、インタリーブされた動き系列がマルチレンズカメラから形成されるとき、これら残余の画像の差を補正する更なる機能を有する。
【００５４】
センサデータレジストレーションブロック１１３により提供されるレジストレーション補正ステップは、図３におけるように、イメージセンサが１つの共通のレンズを共有するケースで必要ではない。そのケースでは、２つのイメージセンサからの画像データは、補正することなしに空間的に配列される。
【００５５】
別の実施の形態では、第二のイメージセンサからのデータは、第一のイメージセンサからのデータの画像の品質に整合するために調節される。この補正は、２つのイメージセンサからのデータがインタリーブされるときに知覚できるアーチファクトを発生する場合がある、ノイズ又はスペクトル特性のような捕捉モジュールにおける他の変動を考慮する。
【００５６】
図５Ｂは、図５Ａに類似して、シーンにおける重要な動きの存在を自動的に検出し、「ストップアクション」モードを自動的にイネーブルにするフローダイアグラムを示す。図５Ｂでは、イメージプロセッサ５０における更なる機能は、シーンにおける重要な動きの存在の自動的な検出を可能にし、「ストップアクション」モードを自動的にイネーブルにするのを可能にする。特に、たとえばブロック１１８において、動き系列の第二のフレームで開始し、現在のフレームと前のフレームとの間の動きを表す動きの測定値が計算される。係る動きの測定値は、全体的な動き予測、ブロックに基づく動き予測、変位したフレームの差のエネルギー等を含む。動き測定値（Ｍ）が閾値（Ｔ）を超えない場合（ブロック１２０に対して“ｎｏ”）、第一のセンサ１４からのデータはブロック１０８で選択され、「ストップアクション」モードはイネーブルにされない。ブロック１１４及び１１６は、図５Ａを参照して先に記載されたのと同じである。動きの測定値は閾値（Ｔ）よりも大きい場合（ブロック１２０に対して“ｙｅｓ”）、第一のセンサ１４及び第二のセンサ１６の両者からのデータは、異なる露光期間を使用してブロック１１２で捕捉され、「ストップアクション」モードがイネーブルにされる。ブロック１１３，１１５及び１１７は、図５Ａを参照して先に記載されたのと同じである。
【００５７】
図５Ｃは、図５Ａ〜図５Ｂの方法を使用して捕捉された画像系列を再生する技術を示すフローチャートを示す。ブロック２００では、動き再生モードがイネーブルにされる。これは、カメラ１０Ａを使用して行われるか、たとえば専用のビデオプレーヤ又は汎用のコンピュータである個別の再生装置（図示せず）を使用して行われる。個別の再生装置は、捕捉された画像系列を再生するために使用されるソフトウェアを含む。再生装置がメモリにあるソフトウェアを有さない場合、ソフトウェアを再生装置のメモリにダウンロードするために手動的なリンク又は自動的なリンクが提供される。
【００５８】
ブロック２０２では、毎秒Ｎフレームのノーマルレートから低速のフレームレートに再生フレームレートが調節されるのを可能にするコントロールがユーザに提供される。低速のフレームレートは、たとえば毎秒１〜５フレームの超低速の動きフレームレートとすることができ、静止画像として動画フレームのうちの１つを表示する「フリーズ」フレームを含むことができる。
【００５９】
ブロック２０４では、たとえば「ストップアクション」モードが使用されたことを記録されたファイルにおけるメタデータが示すかをチェックすることで、「ストップアクション」モードが記録の間にイネーブルにされたかを知るため、記録されたファイルがチェックされる。ブロック２０６において、ストップアクションモードがイネーブルにされた場合（ブロック２０４に対する“ｙｅｓ”）、たとえばＮ／６といった閾値Ｓよりも小さいかを判定するため、現在の再生フレームレートがチェックされる。閾値Ｓよりも小さくない場合（ブロック２０６に対して“ｎｏ”）、又はストップアクションモードが記録の間のイネーブルにされない場合（ブロック２０４に対する“ｎｏ”）、ブロック２０８において、第一のセンサからのＭＰＥＧ圧縮画像データが取得される。ブロック２１０において、第一のセンサからのＭＰＥＧデータは、伸張されて表示される。第一のイメージセンサの露光時間は比較的長いので（たとえば１／３０秒）、表示された画像は、滑らかな動きを示し、一時的なエリアシングアーチファクトにより著しく影響されない。
【００６０】
フレームレートがＳよりも小さい場合（ブロック２０６に対する“ｙｅｓ”）、ブロック２１２において、第二のセンサからのＭＰＥＧデータが取得される。ブロック２１４において、第二のセンサからのＭＰＥＧデータは、伸張されて表示される。第二のイメージセンサの露光時間（たとえば１／１２０秒）は第一のイメージセンサの露光時間よりも著しく短いので、ディスプレイは、著しいモーションブラーにより品質が低下されていない鮮鋭な画像を表示する。
【００６１】
図６Ａ〜図６Ｂは、図１又は図３で示されるデジタルカメラを使用し、図４Ｂ〜図４Ｃに示されるタイミングダイアグラムに対応するデジタル画像系列を捕捉する更なる方法を示すフローダイアグラムを示す。図６Ａでは、動きの捕捉が始動されたとき１０６、ブロック１２２で、ユーザは、ハイフレームレートのモードを始動するためにコントロールボタンを押すか、又は、ブロック１２４で、ロウフレームレートのモードを始動するために異なるコントロールボタンを押すオプションを有する。これらのコントロールボタンは、カメラの専用の物理的なボタンである場合がある。代替的に、このコントロールは、動きの捕捉の間の通常使用されない既存のカメラのユーザインタフェースコントロールで共存される場合がある。たとえば、マルチポジションセレクタ４２ｂは、ハイフレームレートのモードを始動するために第一の方向（たとえば上方向）で押され、ロウフレームレートのモードを始動するために第二の方向（たとえば下方向）で押される。
【００６２】
ハイフレームレートのオプションが選択された場合（ブロック１２２に対する“ｙｅｓ”）、ブロック６１１で、図４Ｂ又は図４Ｃで示されるように、第一のイメージセンサ１４及び第二のイメージセンサ１６の両者を使用して画像が捕捉され、同じ露光期間であるが、それぞれのセンサの２分の１のフレーム時間だけオフセットされた露光時間を使用して画像が捕捉される。しかし、実施の形態は、上述されたオフセットに限定されるものではなく、任意の適切なオフセットが使用される。ブロック６１３では、第一のイメージセンサ１４及び第二のイメージセンサ１６からのデータは、図５Ａのブロック１１３において先に記載されたように、イメージプロセッサ５０により任意に位置合わせされる。ブロック６１４では、イメージプロセッサ５０は、通常の表示レート（たとえば毎秒３０フレーム）での表示のために第一のセンサから画像データを選択する。ブロック６１９では、第一のイメージセンサ１４及び第二のイメージセンサ１６からの画像フレームは、（図４Ｂ又は図４Ｃで例示されるように）それらの露光期間に従ってイメージプロセッサ５０により一時的にインタリーブされる。インタリーブは、センサのそれぞれにより個々に提供される系列に比較したとき、毎秒のフレーム数の倍のフレーム数（たとえば毎秒６０フレーム）を有する単一の動き系列を生成する。ブロック６２１では、インタリーブされた画像系列は、イメージプロセッサ５０によりＭＰＥＧ圧縮され、ＭＰＥＧ圧縮されたファイルは、取り外し可能なメモリカード５４で記録される。取り外し可能なメモリカード５４に記録されたインタリーブされた系列は、（たとえばセンサのそれぞれが毎秒３０フレームで動作する場合、毎秒６０フレーム）高いフレームレートを提供する。高い記録フレームレート（たとえば毎秒６０フレーム）の系列が通常の再生フレームレート（たとえば毎秒３０フレーム）で再生される場合、結果は、滑らかな動きをもつ低速の動き系列である。
【００６３】
ブロック１２４でロウフレームレートのモードが選択されたとき（ブロック１２４に対する“ｙｅｓ”）、ブロック６３０で、たとえば交互のフレームを廃棄することで、低減された時間レートで第一のイメージセンサからの画像データを選択する。選択されたフレームは、ブロック６３３でＭＰＥＧ符号化される。最終的に、ハイフレームレート及びロウフレームレートモードのいずれもが選択されない場合（ブロック２１４に対する“ｎｏ”）、図５Ａを参照して先に記載されたように、ブロック１０８、１１４及び１１６のそれぞれにおいて、カメラは、第一のイメージセンサのみを使用して画像を捕捉し、第一のイメージセンサからのプレビューデータを表示し、第一のイメージセンサからのデータをＭＰＥＧ符号化する。
【００６４】
したがって、図６Ａにおける実施の形態は、ハイフレームレート、ノーマルフレームレート及びロウフレームレートの捕捉モードの間でユーザが切り換えるのを有利に可能にするデジタルモーションカメラを提供する。また、この機能は、２を超えるセンサの使用を通して更に高いフレームレートに拡張される。たとえば、Ｍ（たとえば４）個のセンサが使用される場合、毎秒Ｎ（たとえば１２０）フレームのフレームレートは、毎秒Ｎ／Ｍ（たとえば３０）画像のフレームレートでそれぞれのセンサを読み取ることで取得され、Ｍ個のセンサのそれぞれは、０とＮ−１の間でＫの整数値についてＫ／Ｎとなるように設定される開始露光時間を有する。これは、センサの露光期間が１／Ｎの整数倍に等しい開始時間において差を有することを意味する。
【００６５】
このハイフレームレートの機能は、単一のレンズ及びセンサをもつカメラで潜在的に実現されるが、高い実現コストを必要とする。これは、イメージセンサ、ＡＳＰ  Ａ／Ｄ及びＤＲＡＭがより高速で動作することを必要とするからである。
【００６６】
図６Ｂは、シーンにおける動きの存在を自動的に検出し、ハイフレームレート、ノーマルフレームレート及びロウフレームレートのモード間で切り替える余分の機能を持つ、図６Ａに類似したフローダイアグラムを示す。図５Ｂにおけるように、動き系列の第二のフレームで開始し、ブロック１１８で、現在のフレームと前のフレームの間の動きを表す動き測定値（Ｍ）が計算される。ブロック１２６で、動きの測定値が第一の閾値Ｔ１を超える場合、図６Ａを参照して先に記載されたように、ハイフレームレートのモードが自動的にイネーブルにされ（ブロック１２６に対して“ｙｅｓ”）、ブロック６１１，６１３，６１４，６１９及び６２１が実行される。ブロック１２８で、動きの測定値が第二の閾値Ｔ２よりも小さい場合、図６Ａを参照して先に記載されたように、ロウフレームレートモードが自動的にイネーブルにされ（ブロック１２８に対して“ｙｅｓ”）、ブロック６３０及び６３３が実行される。ブロック１２８で、動きの測定値が第二の閾値Ｔ２よりも小さくない場合（ブロック１２８に対して“ｎｏ”）、図５Ａを参照して先に記載されたように、通常の動作モードがイネーブルにされ、ブロック１０８、１１４及び１１６が実行される。したがって、ユーザは、フレームレートを選択することが要求されず、動きの捕捉の経験に関して更に完全に焦点を合わせることができる。
【００６７】
本発明の別の実施の形態では、フレーム時間よりも長い露光時間を提供するため、通常のカメラ動作の間に図４Ｃで示されるように２つのイメージセンサが使用される。これは、雑音を低減するか、一時的なエリアシングアーチファクトが存在しないことを保証するために行われる。たとえば、毎秒３０画像のフレームレート及び１／１５秒の露光時間は、１／３０秒の一時的なサンプリングオフセット（すなわち、２つのイメージセンサの露光期間の開始間で１／３０秒の差）により、毎秒１５フレームのフレームレートで２つのイメージセンサを動作することで提供される。
【００６８】
図７は、図１又は図３に示されるデジタルカメラを使用し、図４Ｄに示されるタイミングダイアグラムに対応するデジタル画像系列を捕捉する更なる方法を示すフローダイアグラムを示す。図７では、図６Ａに類似して、ブロック１０６で動き捕捉が始動されたとき、ユーザは、ブロック１２２でハイフレームレートのボタンを押すか、ブロック１２４でロウフレームレートのボタンを押すオプションを有する。何れのボタンも押されない場合（ブロック１２４に対する“ｎｏ”）、図４Ａを参照して先に記載されたように、２つの異なる露光時間を使用して、２つの画像系列が記録される。
【００６９】
ハイフレームレートのモードが選択されたとき（ブロック１２２に対する“ｙｅｓ”）、ブロック６１１で、第一のセンサの露光期間は、第二のセンサの露光期間に整合されるように調整され、第一及び第二のイメージセンサの両方から画像が捕捉され、ブロック６１３で、第一及び第二のイメージセンサからの画像が任意に位置合わせされ、ブロック６１４で、第一のセンサからのプレビューデータが表示され、ブロック６１９で、画像フレームがインタリーブされ、ブロック６２１で、インタリーブされた系列はＭＰＥＧ符号化される。動き系列が記録されているとき、ユーザは、そのモードを異なるモード（たとえばロウフレームレートのモード又はノーマルモード）に変えるオプションを有する。
【００７０】
ロウフレームレートのモードが選択されたとき（ブロック１２４に対する“ｙｅｓ”）、図６Ａを参照して先に記載されたように、ブロック６３０及び６３３のそれぞれで、画像データは、プレビューされ、低減されたフレームレートでＭＰＥＧ符号化される。ハイフレームレートモードとロウフレームレートモードの何れもが選択されたとき（ブロック１２４に対する“ｎｏ”）、図５Ａを参照して先に記載されたように、第一及び第二のイメージセンサの両者からの画像データは、ブロック１１２で異なる露光期間を使用して捕捉され、ブロック１１３で任意に位置合わせされ、ブロック１１５でプレビューデータとして表示され、ブロック１１７でＭＰＥＧ符号化される。
【００７１】
この動き捕捉の実施の形態は、ハイフレームレート、ノーマルフレームレート、及びロウフレームレートの捕捉の間でユーザが切り換えるのを有利に可能にする。また、この動き捕捉の実施の形態は、最終的なＭＰＥＧ動き系列において、ノーマルモードに対応するフレームが比較的長い露光期間と比較的短い露光期間の両者を使用して捕捉され、これにより、図５Ｃに関して先に記載されたように、捕捉されたフレームは、一時的なエリアシングのアーチファクトなしに通常の速度で見ることができ、著しいモーションブラーなしに低速で見ることができる、という更なる利点を有する。なお、図４Ｄのタイミングダイアグラムは、カメラがノーマルモードで開始し（ブロック１２４に対する“ｎｏ”）、次いで、ハイフレームレートのモードがアクチベートされたとき（ブロック１２２に対する“ｙｅｓ”）、ハイフレームレートのモードに切り替わる状況に対応する。なお、この技術は、図６Ｂにおいて先に記載された自動モード検出に拡張される。
【００７２】
図８Ａ〜図８Ｂは、図１又は図３に示されるデジタルカメラを使用した、及び図４Ｅに示されるタイミングダイアグラムに対応するデジタル画像系列を捕捉する更なる方法を示すフローダイアグラムを示す。図８Ａでは、ブロック１０６で動き捕捉が始動されたとき、ブロック１３２で、ユーザは、低雑音のボタンを押すオプションを有する。低雑音のボタンは、カメラの専用の物理的なボタンである場合がある。１実施の形態では、しかし、低雑音の機能は、動きの捕捉の間に通常は使用されていない既存のカメラの機能に共存される。たとえば、マルチポジションセレクタ４２ｂは、低雑音を始動するために押すことができるか、又は、シャッターボタン４２ａは、低雑音を始動するために部分的に押すことができる。低雑音のオプションが選択された場合（ブロック１３２に対して“ｙｅｓ”）、カメラは、フレーム時間よりも長い期間に拡張される露光期間を使用して両方のイメージセンサからの画像データを使用し、図６Ａを参照して先に記載されたように、ブロック６１１、６１３、６１４、６１９及び６２１が実行される。低雑音のオプションが選択されないとき（ブロック１３２に対して“ｎｏ”）、カメラは、第一のイメージセンサ１０８のみからの画像データを選択し、図６Ａを参照して先に記載されたように、ブロック１０８、１１４及び１１６が実行される。図４Ｅに示された例では、カメラは、ノーマルモードで開始し（ブロック１３２に対する“ｎｏ”）、次いで、ユーザにより低雑音モードに切り換えられる（ブロック１３２に対する“ｙｅｓ”）。なお、低雑音モードにおける第一のイメージセンサのフレームレートは、ノーマルモードにおけるフレームレートの２分の１である。これにより、低光条件下でイメージセンサに更なる露光を与える。この動き捕捉モードは、動き捕捉の間の長いフレーム露光期間と短いフレーム露光期間との間でユーザが切り換えるのを有利に可能にする。滑らかな動き及び少ない雑音をもつ動き系列を捕捉するため、両方のイメージセンサを使用して、長い露光期間が提供される。さもなければ、良好なストップ−アクションの性能を提供するため、ノーマルモードにより提供される短い露光期間が使用される。
【００７３】
図８Ｂは、ブロック１３４における第二のイメージセンサからのデータについて雑音の値を自動的に計算する余分の機能の追加による、図８Ａに類似のフローダイアグラムを示す。ブロック１３６で雑音の値Ｎが閾値（Ｔ）よりも大きくない場合（ブロック１３６に対する“ｎｏ”）、第一のセンサのみからのデータが選択され、図６Ａを参照して先に記載されたように、ブロック１０８，１１４及び１１６が実行される。雑音の値Ｎが閾値（Ｔ）よりも大きい場合（ブロック１３６に対する“ｙｅｓ”）、カメラは、フレーム時間よりも長い露光時間を使用して両方のイメージセンサからの画像データを使用し、図６Ａを参照して先に記載されたように、ブロック６１１，６１３，６１４，６１９及び６２１が実行される。この実施の形態では、ユーザは、低雑音の特性を選択することが必要とされず、動き捕捉の経験に関して更に完全に焦点を合わせることができる。
【００７４】
図９は、図１又は図３に示されるデジタルカメラを使用した動きベクトル情報を計算する方法を示すフローダイアグラムを示し、ここで、第一のセンサは、記録されるべき画像系列を提供するために使用され、第二のイメージセンサは、第一のイメージセンサから動き系列を圧縮するために使用される最終的な動きベクトルを決定する支援のために使用される更なる動きフレームを提供するために使用される。図９では、ブロック１０６で動きの捕捉が始動されるとき、表示及びＭＰＥＧ符号化のために第一のセンサからのデータのみが使用される。第一のセンサからの画像データのフレームｋ＋１を符号化するとき、第一のセンサからのフレームｋが動きの予測値を計算するためのリファレンスとして使用される。
【００７５】
本発明では、第二のセンサからの画像データのフレームｋは、動き予測のプロセスを改善するために使用される。特に、ブロック１４４では、第一のイメージセンサからのフレームｋの画像データを第二のセンサからのフレームｋの画像データと関連付ける第一の動き予測値のセットが導出される。次に、ブロック１４６で、第二のイメージセンサからのフレームｋの画像データを第一のイメージセンサからのフレームｋ＋１の画像データと関連付ける第二の動き予測値のセットが導出される。最後に、ブロック１４８で、前の２つのステップで導出された動き予測値は、第一のイメージセンサからのフレームｋの画像データを第一のイメージセンサからのフレームｋ＋１の画像データと関連付ける動きベクトルの予測値の導出において使用される。
【００７６】
この動き捕捉モードは、ＭＰＥＧ符号化プロセスにおいて使用される最終的な動きベクトルの導出を支援するため、中間的な動きベクトルを有利に生成する。第二のセンサから使用されるフレームｋのデータは、第一のセンサからの連続するフレームｋとフレームｋ＋１の間の時間的な中間を表す。第一のセンサフレームｋのデータと第二のセンサフレームｋのデータとの間の余分の動き情報は、第一のセンサからのフレームｋとフレームｋ＋１との間でカバーされる時間インターバルの２分の１に対応する。同様に、第二のセンサのフレームｋのデータと第一のセンサのフレームｋ＋１のデータとの間の動き情報は、第一のセンサからのフレームｋとフレームｋ＋１との間でカバーされる時間インターバルの２分の１に対応する。これらの中間の動き予測値は、中間の動き情報なしに可能であるよりも、第一のイメージセンサのフレームｋとフレームｋ＋１の間の更に正確な動きベクトルの決定において支援することができる。改善された動きベクトルの精度は、オブジェクトのセグメント化及び動き安定化のようなダウンストリームのタスクにとって有効である。改善された動きベクトルの精度により、ＭＰＥＧビットストリームにおける動きベクトル情報の更に効果的な圧縮が得られる。
【００７７】
図１０は、図１又は図３で示されるデジタルカメラを使用し、図４Ｆで示されるタイミングダイアグラムに対応するデジタル画像系列を捕捉する更なる方法を示すフローダイアグラムを示す。図１０において、ブロック１０６で動き捕捉が始動されたとき、ブロック１６４で、第一のイメージセンサからのデータは、ロウフレームレート、高い空間解像度及び長い露光時間で捕捉される。ブロック１６６で、第二のイメージセンサからのデータは、ハイフレームレート、低い空間解像度及び短い露光時間で同時に捕捉される。ブロック１６８で、両方のイメージセンサからのデータは、位置合わせされ、結合又はインタリーブされ、第二のイメージセンサに関連するハイフレームレート及び第一のイメージセンサに関連する高い空間解像度をもつ１つの動き系列が生成される。ブロック１７０で、この高解像度、高いフレームレートのデータはＭＰＥＧ符号化される。ブロック１７２で、第二のイメージセンサからの低い解像度、高いフレームレートのデータは、カラーＬＣＤイメージディスプレイ７０でのプレビューフレームとして表示される。
【００７８】
この動き捕捉モードは、個々のセンサが高い空間解像度及び高いフレームレートでデータを捕捉及び読み取り可能であることを必要とすることなしに、高解像度、高いフレームレートの動き系列の形成が可能である、という利点を有する。この作用は、高い空間解像度及び高いフレームレートの機能をもつ１つのセンサで達成可能である一方で、係るセンサは、所望のフレームレート及び空間解像度でリアルタイムの動き処理を可能にするために十分に迅速にセンサから増加した量のデータを読み取ることができるため、カメラにおいて更に高いコストを受ける。
【００７９】
２つのレンズ／センサシステムで捕捉された動画系列は、１つのレンズ／センサカメラに関して多くの利点を提供する。センサの読取り時間及び要求されるフレーム露光時間のような捕捉の制約は、多数のレンズ及びセンサの間で共有することができる。オーバラップされた露光期間は、１つの等価なレンズ及びセンサにより可能であるよりも多くの光の統合を可能にし、低減されたノイズによる動き系列をもたらす。２つのセンサ間で互い違いにされるフレームの捕捉は、高いフレームレートの捕捉のような特徴の容易な実現を可能にする。１つのセンサで実現される類似の特徴は、捕捉フレームレートの機能における増加を必要とし、また、フレームの統合期間に関する大きな制約を有し、結果的に雑音の多い系列となる。
【００８０】
２つのセンサからのデータを１つのＭＰＥＧコードストリームにインタリーブすることは、ＭＰＥＧエンコーダが増加したデータをリアルタイムで処理することを必要とする。代替的に、ＭＰＥＧ符号化の負荷は、多数のエンコーダの間で共有することができる。これは、フレーム間で時間的な符号化の依存性が存在しないように、“Ｉ”フレームのみを使用することで、フレームレベルで並列処理を通して達成される。また、これは、前に符号化されたフレームデータとは反対にオリジナルのフレームデータから動き予測が導出されるオープンループ動き予測を使用することで、フレームレベルで達成される。オープンループ動き予測は、あるフレームが動きのリファレンスフレームとして使用される前に、該フレームが完全に符号化される要件を取り除く。また、並列処理は、動き予測のようなタスクを個別のマクロブロックについて独立にすることができるとき、マクロブロックレベルで実現することもできる。
【００８１】
代替的な実施の形態は、異なる数のセンサを使用する。明らかに、他のレンズの焦点距離及びレンズのタイプの構築は、本発明の範囲にある。
【００８２】
本発明は、所定の実施の形態を特に参照して詳細に記載されたが、変形例及び変更例は、以下の特許請求の範囲で述べられる本発明の精神及び範囲から逸脱することなしに、本明細書で例示及び記載された例示的な実施の形態及び応用に従うことなしに実施される。
【符号の説明】
【００８３】
１    ：カメラの前部の光学的プロファイル
３    ：第一のズームレンズ
４    ：第二のズームレンズ
５ａ  ：ズーム及びフォーカスモータ
５ｂ  ：ズーム及びフォーカスモータ
５ｃ  ：１つのズームレンズ
７    ：ビームスプリッタ
１０Ａ：デジタルカメラ（第一の実施の形態）
１３  ：クロックドライバ
１４  ：第一のイメージセンサ
１４ｅ：アナログ出力信号
１５  ：クロックドライバ
１６  ：第二のイメージセンサ
１６ｅ：アナログ出力信号
２２  ：第一のアナログシグナルプロセッサ（ＡＳＰ１）
２４  ：第二のアナログシグナルプロセッサ（ＡＳＰ２）
３６  ：第一のＤＲＡＭバッファメモリ
３８  ：第二のＤＲＡＭバッファメモリ
４０  ：コントロールプロセッサ及びタイミングジェネレータ
４２  ：ユーザコントロール
４２ａ：シャッターボタン
４２ｂ：マルチポジションセレクタ
４２ｃ：ズームボタン
４８  ：エレクトロニックフラッシュ
５０  ：イメージプロセッサ
５２  ：メモリカードインタフェース
５４  ：取り外し可能なメモリカード
５６  ：ＲＡＭメモリ
５８  ：ファームウェアメモリ
６２  ：ホストインタフェース
６４  ：相互接続
６６  ：ホストＰＣ
７０  ：カラーＬＣＤイメージディスプレイ
９０  ：セルラープロセッサ
９２  ：セルラーモデム
９４  ：アンテナ
１００Ａ：センサ＃１露光インターバル
１００Ｂ：センサ＃１露光インターバル
１００Ｃ：センサ＃１露光インターバル
１００Ｄ：センサ＃１露光インターバル
１００Ｅ：センサ＃１露光インターバル
１００Ｆ：センサ＃１露光インターバル
１００Ｘ：センサ＃１露光インターバル
１００Ｚ：センサ＃１露光インターバル
１０２Ａ：センサ＃２露光インターバル
１０２Ｂ：センサ＃２露光インターバル
１０２Ｃ：センサ＃２露光インターバル
１０２Ｄ：センサ＃２露光インターバル
１０２Ｅ：センサ＃２露光インターバル
１０２Ｆ：センサ＃２露光インターバル
１０２Ｘ：センサ＃２露光インターバル
１０２Ｚ：センサ＃２露光インターバル
１０３  ：露光時間
１０５  ：センサ＃１露光インターバル
１０６  ：動き捕捉始動ブロック
１０８  ：第一のセンサ捕捉ブロック
１０９  ：センサデータレジストレーションブロック
１１０  ：ストップアクション判定ブロック
１１１  ：同じ露光の第一及び第二のセンサ捕捉ブロック
１１２  ：異なる露光の第一及び第二のセンサ捕捉ブロック
１１３  ：センサデータレジストレーションブロック
１１４  ：プレビューデータ表示ブロック
１１５  ：プレビューデータ表示ブロック
１１６  ：第一のセンサのＭＰＥＧ符号化ブロック
１１７  ：第一及び第二のセンサＭＰＥＧ符号化ブロック
１１８  ：動き測定値の計算ブロック
１１９  ：系列のインタリーブブロック
１２０  ：動き閾値判定ブロック
１２１  ：ＭＰＥＧ符号化インターリーブ系列ブロック
１２２  ：高フレームレート判定ブロック
１２３  ：低減されたフレームレートＭＰＥＧ符号化ブロック
１２４  ：低フレームレート判定ブロック
１２６  ：第一の動き閾値判定ブロック
１２７  ：表示プレビューデータ
１２８  ：第二の動き閾値判定ブロック
１３２  ：低雑音判定ブロック
１３４  ：信号対雑音比計算ブロック
１３６  ：信号対雑音比閾値判定ブロック
１４４  ：第一の動き予測計算ブロック
１４６  ：第二の動き予測計算ブロック
１４８  ：第三の動き予測計算ブロック
１６４  ：１つの高解像度フレーム捕捉ブロック
１６６  ：多数の低解像度フレーム捕捉ブロック
１６８  ：多数の高解像度フレーム生成ブロック
１７０  ：高解像度ＭＰＥＧ符号化ブロック
１７２  ：低解像度プレビューフレーム
２００  ：動き再生モード
２０２  ：ユーザプレイバックフレームレートコントロール
２０４  ：ストップアクション判定ブロック
２０６  ：フレームレート閾値判定ブロック
２０８  ：第一のセンサＭＰＥＧデータ取得ブロック
２１０  ：復号化されたＭＰＥＧデータ表示ブロック
２１２  ：第二のセンサＭＰＥＧデータ取得ブロック
２１４  ：復号化されたＭＰＥＧデータ表示ブロック
６１１，６１３，６１４，６１９，６２１，６３０，６３３：ブロック
【図１】
2010520661.tif 000003
【図２Ａ】
2010520661.tif 000004
【図２Ｂ】
2010520661.tif 000005
【図３】
2010520661.tif 000006
【図４Ａ】
2010520661.tif 000007
【図４Ｂ】
2010520661.tif 000008
【図４Ｃ】
2010520661.tif 000009
【図４Ｄ】
2010520661.tif 000010
【図４Ｅ】
2010520661.tif 000011
【図４Ｆ】
2010520661.tif 000012
【図５Ａ】
2010520661.tif 000013
【図５Ｂ】
2010520661.tif 000014
2010520661.tif 000015
【図５Ｃ】
2010520661.tif 000016
2010520661.tif 000017
【図６Ａ】
2010520661.tif 000018
2010520661.tif 000019
【図６Ｂ】
2010520661.tif 000020
【図７】
2010520661.tif 000021
【図８Ａ】
2010520661.tif 000022
【図８Ｂ】
2010520661.tif 000023
【図９】
2010520661.tif 000024
【図１０】
2010520661.tif 000025
【国際調査報告】
2010520661.tif 000026
2010520661.tif 000027
2010520661.tif 000028
2010520661.tif 000029
2010520661.tif 000030