(57)【要約】本発明の幾つかの実施の形態によれば、捕捉前の情報が取得され、捕捉前の情報の分析に少なくとも基づいて、複数の画像の捕捉が実行されるべきかが判定され、この場合、１つの画像への合成のために複数の画像を取得するために複数の画像の捕捉が設定される。続いて、複数の画像の捕捉が実行される。
2011517207.tif 000002
【特許請求の範囲】
【請求項１】
データ処理システムにより少なくとも部分的に実現される、画像の捕捉を制御する方法であって、
捕捉前の情報を取得するステップと、
前記捕捉前の情報の分析に少なくとも基づいて、複数の画像の捕捉が適切であるかを判定するステップと、前記複数の画像の捕捉は、１つの画像への合成のために複数の画像を取得するために実行され、
前記複数の画像の捕捉の実行を指示するステップと、
を含む方法。
【請求項２】
前記複数の画像の捕捉は、異なる種類の画像の捕捉を含む、
請求項１記載の方法。
【請求項３】
前記異なる種類の画像は、解像度、積分時間、露光時間、フレームレート、画素のタイプ、焦点、雑音除去方法、トーンレンダリング、又はフラッシュモードにより異なる、
請求項２記載の方法。
【請求項４】
前記異なる種類の画像のうちの異なる画像の画素のタイプは、パンピクゼルタイプ及びカラーピクセルタイプである、
請求項３記載の方法。
【請求項５】
前記雑音除去方法は、ゲインの設定の調節を含む、
請求項３記載の方法。
【請求項６】
前記捕捉前の情報の分析に少なくとも基づいて前記複数の画像の捕捉について画像の捕捉の頻度を決定するステップを更に含む、
請求項１記載の方法。
【請求項７】
前記捕捉前の情報は、シーンの状態を少なくとも示し、前記判定するステップは、前記シーンの状態の分析に少なくとも基づいて、１つの画像の捕捉によりあるシーンを効果的に捕捉することができないことを判定するステップを更に含む、
請求項１記載の方法。
【請求項８】
前記シーンの状態は、前記シーンの光レベルを含み、前記判定するステップは、１つの画像の捕捉により前記シーンを効果的に捕捉するために前記光レベルが十分でないことを判定する、
請求項７記載の方法。
【請求項９】
前記捕捉前の情報は、あるシーンの少なくとも１部の動きを含み、前記判定するステップは、１つの画像の捕捉において前記動きがぼやけを余りに大きくさせるかを判定する、
請求項１記載の方法。
【請求項１０】
前記動きは、前記シーンの一部にのみ存在する局所的な動きである、
請求項９記載の方法。
【請求項１１】
前記判定するステップは、前記局所的な動きに応答して、前記複数の画像の捕捉が複数の異なる種類の画像を捕捉するために実行されるべきかを判定する、
請求項１０記載の方法。
【請求項１２】
前記複数の異なる種類の画像の少なくとも１つは、前記局所的な動きを示す前記シーンの一部のみ又は前記シーンの実質的に一部を含む画像を含む、
請求項１１記載の方法。
【請求項１３】
前記捕捉前の情報は、あるシーンの少なくとも２つの部分における異なる動きを示す動き情報を含み、前記判定するステップは、前記異なる動きの少なくとも１つが、１つの画像の捕捉においてぼやけを余りに大きくするかを判定する、
請求項１記載の方法。
【請求項１４】
前記複数の画像の捕捉は、複数の画像を取得し、当該方法は、前記複数の画像から高い点拡散関数を示す画像を除いて、低減された画像のセットを形成するステップと、前記低減された画像のセットを１つの合成された画像に合成するステップを更に含む、
請求項１記載の方法。
【請求項１５】
データ処理システムに、画像の捕捉を制御する方法を実行させる命令を記憶したプロセッサによりアクセス可能なメモリ装置であって、
前記命令は、
捕捉前の情報を取得する命令と、
前記捕捉前の情報の分析に少なくとも基づいて、複数の画像の捕捉が適切であるかを判定する命令と、前記複数の画像の捕捉は、１つの画像への合成のために複数の画像を取得するために実行され、
前記複数の画像の捕捉の実行を指示する命令と、
を含むことを特徴とするプロセッサによりアクセス可能なメモリ装置。
【請求項１６】
データ処理システムと、
前記データ処理システムに通信可能に接続され、前記データ処理システムに、画像の捕捉を制御する方法を実行させる命令を記憶したメモリ装置とを有し、
前記命令は、
捕捉前の情報を取得する命令と、
前記捕捉前の情報の分析に少なくとも基づいて、複数の画像の捕捉が適切であるかを判定する命令と、前記複数の画像の捕捉は、１つの画像への合成のために複数の画像を取得するために実行され、
前記複数の画像の捕捉の実行を指示する命令とを含む、
ことを特徴とするシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、捕捉前の情報の分析に少なくとも基づいた複数の画像の捕捉を含む画像の捕捉の制御に関する。
【背景技術】
【０００２】
カメラによるシーンの捕捉において、多数のパラメータは、捕捉された画像の品質及び実用性に影響を及ぼす。全体の露光を制御することに加えて、露光時間は、モーションブラーに影響を及ぼし、Ｆ値は、被写界深度に影響を及ぼす。多くのカメラでは、これらのパラメータの全部又は一部が制御され、カメラセッティングと便宜上呼ばれる。
【０００３】
露光及び焦点を制御する方法は、フィルムベース及び電子カメラの両者で知られている。しかし、これらのシステムにおけるインテリジェンスレベルは、カメラにおけるリソース及び時間制約により制限される。多くの場合、捕捉されているシーンのタイプを知ることは、改善された捕捉パラメータの選択に容易につながる。たとえば、あるシーンがポートレイトであることを知ることで、カメラは広いアパーチャを選択し、被写体深度を最小にすることができる。あるシーンがスポーツ／アクションであることを知ることで、カメラは露光時間を自動的に制限して、モーションブラーを制御し、ゲイン（露光指数）及びアパーチャを調節することができる。この情報はシンプルな露光制御システムを導くのに有効であるため、多くのフィルム、ビデオ及びデジタルスチルカメラは、ユーザにより選択される多数のシーンモードを含む。これらのシーンモードは、本質的にパラメータ設定の集合であり、ユーザのシーンタイプの選択が与えられたと仮定すると、パラメータを最適化するのをカメラに指示する。シーンモードの使用は、幾つかのやり方で制限される。１つの制限は、ユーザは効果的となるようにシーンモードを選択する必要があり、これは、ユーザがシーンモードの実用性及び用法を理解しているとしても不便なことがある。
【０００４】
第二の制限は、シーンモードは、捕捉されている可能な種類のシーンを単純化し過ぎる。たとえば、一般的なシーンモードは、「ポートレイト“portrait”」であり、人物の画像を捕捉するために最適化される。別の一般的なシーンモードは、「スノウ“snow”」であり、異なるパラメータで雪の背景に対して被写体を捕捉するために最適化される。ユーザが真っ白（snowy）の背景に対してポートレートを捕捉するのを望む場合、ポートレイト又はスノウの何れかを選択しなければならないが、それぞれの様子を結合することができない。多くの他の組み合わせが存在し、様々な組み合わせのシーンモードを作成することは面倒である。
【０００５】
別の例では、逆光のシーンは、対象が高い輝度をもつ背景により囲まれる点で真っ白の背景をもつシーンによく似ている。ユーザは、逆光の概念を理解し、「スノウ」シーンに重要な類似性を有することを理解する可能性は低い。逆光のシーンについてユーザを支援するのを望むカメラの開発者は、スノウシーンモードと同じであるとしても、おそらく逆光のシーンモードを追加する必要がある。
【０００６】
これらのシナリオの両者は、形式張らないユーザにとってアクセス可能なやり方で写真のシーンを表す問題を例示する。必要とされるシーンモードの数は、大きく拡大し、ナビゲートするのが困難である。多くのユーザがシーンモードを過度に複雑であると発見する問題を悪化させる。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
あるシーンモードの選択を自動化する試みが行われている。係る試みは、評価画像及びあるシーンモードを判定するための他のデータからの情報を使用する。次いで、シーンモードは、それぞれのシーンモードについて最適化された捕捉パラメータの幾つかのセットから捕捉パラメータのセットを選択するために使用される。これらの従来の技術は幾つかの利点を有するが、多数の画像が捕捉され、改善された１つの画像を形成するために結合されるとき、シーンモード又は画像捕捉パラメータを決定するための改善されたソリューションについて当該技術分野で必要が存在する。
【課題を解決するための手段】
【０００８】
本発明の様々な実施の形態に従って、画像の捕捉を制御するシステム及び方法により、上述された問題が対処され、技術的なソリューションが達成される。幾つかの実施の形態では、捕捉前の情報が取得される。捕捉前の情報は、あるシーンの光レベル又はあるシーンの少なくとも１部の動きのような、シーンの状態を少なくとも示す。次いで、複数の画像の捕捉は、捕捉前の情報の分析に少なくとも基づいて適切であるかが判定ステップにより判定される。複数の画像の捕捉は、１つの画像への合成のために複数の画像を取得するために構成される。
【０００９】
たとえば、判定ステップは、シーン状態の分析に少なくとも基づいた１つの画像捕捉によりあるシーンが効果的に捕捉することができないこと、結果的に複数の画像捕捉が適切であることを判定することを含む。捕捉前の情報があるシーンの光レベルを示す場合、判定するステップは、光レベルがそのシーンを１つの画像捕捉により効果的に捕捉するために不十分であるかを判定する。捕捉前の情報があるシーンの少なくとも１部の動きを示す場合、判定ステップは、動きがぼやけを１つの画像捕捉において余りに大きくするかを判定する。同様に、捕捉前の情報があるシーンの少なくとも２つの部分において異なる動きを示す場合、判定するステップは、異なる動きの少なくとも１つがぼやけを１つの画像捕捉において余りに大きくするかを判定する。
【００１０】
本発明の幾つかの実施の形態では、複数の画像の捕捉は、異質の画像の捕捉を含む。係る異質の画像は、たとえば解像度が異なる画像、積分時間が異なる画像、露光時間が異なる画像、フレームレートが異なる画像、パンピクセルタイプ又はカラーピクセルタイプのようなピクセルタイプが異なる画像、焦点が異なる画像、雑音除去方法が異なる画像、ゲイン設定が異なる画像、トーンレンダリングが異なる画像、又はフラッシュモードが異なる画像を含む。この点に関して、捕捉前の情報があるシーンの一部においてのみ存在する局所的な動きを示す幾つかの実施の形態では、判定ステップは、局所的な動きに応答して、複数の画像の捕捉が複数の異質の画像を捕捉するために実行すべきかを判定する。さらにこの点に関して、多数の異質の画像のうちの少なくとも１つは、局所的な動きを示すシーンの一部のみ又は実質的に一部を含む画像を含む。幾つかの実施の形態では、複数の画像の捕捉のための画像の捕捉の頻度は、捕捉前の情報の分析に少なくとも基づいて決定される。
【００１１】
さらに、幾つかの実施の形態では、複数の画像の捕捉が適切であると見なされるとき、たとえばデータ処理システムにより、係る複数の画像の捕捉の実行が指示される。
【００１２】
上述された実施の形態に加えて、更なる実施の形態は、図面を参照し且つ以下の詳細な説明を読むことで明らかになるであろう。
【図面の簡単な説明】
【００１３】
本発明は、添付図面と共に以下に考慮される例示的な実施の形態の詳細な説明から容易に理解されるであろう。
【図１】本発明の実施の形態に係る、画像の捕捉を制御するシステムを例示する図である。
【図２】１つの画像捕捉が適切であるか又は複数の画像捕捉が適切であるかを判定するために使用される、あるシーンに存在する動きのレベルを判定するために捕捉前の情報が使用される、本発明の第一の実施の形態に係る方法を例示するフローチャートである。
【図３】動きが検出され、複数の画像の捕捉が適切と考えられ選択される、本発明の別の実施の形態に係る方法を例示するフローチャートである。
【図４】複数の画像の捕捉が適切であるかを判定するために広範囲な動きと局所的な動きが評価される、本発明の更なる実施の形態に係る方法を例示するフローチャートである。
【図５】局所的な動きの捕捉のセットが定義される、本発明の実施の形態に係る、図４におけるステップ４９５に応じて拡張される方法を例示するフローチャートである。
【図６】複数の画像の捕捉における少なくとも１つの画像の捕捉の間にあるシーンを照明するためにフラッシュが使用される、本発明の更に別の実施の形態に係る方法を例示する図である。
【図７】たとえば合成プロセスから高い動きの画像を除くことで、多数の画像の捕捉を１つの画像に合成する、本発明の実施の形態に係る方法を例示するフローチャートである。  添付図面は、本発明の概念を例示するためのものであって、スケーリングされていないことを理解されたい。
【発明を実施するための形態】
【００１４】
本発明の実施の形態は、複数の画像が取得されて単一の画像に合成されるかを判定するために捕捉前の情報を分析する、デジタルカメラに位置されるデータ処理システムに関する。従って、本発明の実施の形態は、１つの合成された画像を生成するために構成される複数の画像の取得が１つの画像の捕捉を通して改善された品質を有するときに、捕捉前の情報に少なくとも基づいている。たとえば、本発明の実施の形態は、少なくとも、微光の状態又は高い動きのシーンの状態を示す捕捉前の情報から、１つの画像の捕捉とは対照的に複数の画像の捕捉が適しているかを判定する。
【００１５】
明示的に示されるか又は文脈により必要とされない限り、単語「又は」は、限定的ではない意味でこの開示において使用される。
【００１６】
図１は、本発明の実施の形態に係る、画像の捕捉を制御するシステム１００を例示する図である。システム１００は、データ処理システム１１０、周辺システム１２０、ユーザインタフェースシステム１３０、及びプロセッサによりアクセス可能なメモリシステム１４０を含む。プロセッサによりアクセス可能なメモリシステム１４０、周辺システム１２０及びユーザインタフェースシステム１３０は、データ処理システム１００に通信可能に接続される。
【００１７】
データ処理システム１１０は、本実施の形態で記載される図２〜図７の例示的なプロセスを示す、本発明の様々な実施の形態のプロセスを実現する１以上のデータ処理装置を含む。フレーズ「データ処理装置」又は「データプロセッサ」は、中央処理装置（CPU）、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、パーソナルデジタルアシスタント、Blackberry（登録商標）、デジタルカメラ、セルラフォン、又は、電気的、磁気的、光学的、生物学的要素又はその他で実現されるか否かに関わらず、データを処理し、データを管理し、又はデータをハンドリングする他の装置のようなデータ処理装置を含む。
【００１８】
プロセッサによりアクセス可能なメモリシステム１４０は、本実施の形態で記載される図２〜図７の例示的なプロセスを含む、本発明の様々な実施の形態のプロセスを実行するために必要とされる情報を含む、情報を記憶するために構成される１以上のプロセッサによりアクセス可能なメモリを含む。プロセッサによりアクセス可能なメモリシステム１４０は、複数のコンピュータ及び／又は装置を介してデータ処理システム１１０に通信可能に接続される多数のプロセッサによりアクセス可能なメモリを含む分散されたプロセッサによりアクセス可能なメモリシステムである。一方で、プロセッサによりアクセス可能なメモリシステム１４０は、分散されたプロセッサによりアクセス可能なメモリシステムである必要はなく、結果的に、１つのデータプロセッサ又は装置に位置される１以上のプロセッサによりアクセス可能なメモリを含む。
【００１９】
フレーズ「プロセッサによりアクセス可能なメモリ」は、限定されるものではないが、レジスタ、フロプティカルディスク、ハードディスク、コンパクトディスク、DVD、フラッシュメモリ、ROM及びRAMを含む揮発性又は不揮発性、電子的、磁気的、光学的又はその他であるかに関わらず、任意のプロセッサによりアクセス可能なデータストレージ装置を含むことが意図される。
【００２０】
フレーズ「通信可能に接続される」は、装置間、データプロセッサ間、データが伝達されるプログラム間の有線であるか無線であるかを問わず、任意のタイプのコネクションを含むことが意図される。さらに、フレーズ「通信可能に接続される」は、１つのデータプロセッサ内のデバイス又はプログラム間の接続、異なるデータプロセッサに位置されるデバイス又はプログラム間の接続、データプロセッサに位置されないデバイス間の接続を含むことが意図される。この点に関して、プロセッサによりアクセス可能なメモリシステム１４０はデータ処理システム１１０とは個別に示されているが、プロセッサによりアクセス可能なメモリシステム１４０がデータ処理システム１１０に完全に又は部分的に記憶されることを当業者であれば理解されるであろう。さらに、この点に関して、周辺システム１２０及びユーザインタフェースシステム１３０はデータ処理システム１１０とは個別に示されているが、係るシステムの一方又は両方はデータ処理システム１１０に完全に又は部分的に記憶されることを当業者であれば理解されるであろう。
【００２１】
周辺システム１２０は、捕捉前の情報と捕捉された画像とをデータ処理システム１１０に供給するために構成される１以上の装置を含む。たとえば、周辺システム１２０は、（ａ）シーンの光レベルの情報、電磁場の情報又はシーンの動きの情報のような捕捉前の情報、又は（ｂ）捕捉された画像を供給する当該技術分野で知られる光レベルセンサ、ジャイロを含む動きセンサ、電磁場センサ又は赤外線センサを含む。データ処理システム１１０は、周辺システム１２０からの捕捉前の情報又は捕捉された画像の受信に応じて、プロセッサによりアクセス可能なメモリシステム１４０に係る情報を記憶する。
【００２２】
ユーザインタフェースシステム１３０は、データがユーザによりデータ処理システム１１０に入力される装置又は装置の組み合わせを含む。この点に関して、周辺システム１２０は、ユーザインタフェースシステム１３０とは個別に示されているが、周辺システム１２０は、ユーザインタフェースシステム１３０の一部として含まれる場合がある。
【００２３】
また、ユーザインタフェースシステム１３０は、ディスプレイ装置、プロセッサによりアクセス可能なメモリ、又はデータがデータ処理システム１１０により出力される装置又は装置の組み合わせを含む。この点に関して、ユーザインタフェースシステム１３０がプロセッサによりアクセス可能なメモリを含む場合、係るメモリは、ユーザインタフェースシステム１３０及びプロセッサによりアクセス可能なメモリシステム１４０が図１で個別に示されているとしても、プロセッサによりアクセス可能なメモリシステム１４０の一部である。
【００２４】
図２は、１つの画像の捕捉が適切であるか又は複数の画像の捕捉が適切であるかを判定するために使用される、あるシーンに存在する動きのレベルを判定するために捕捉前の情報が使用される、本発明の第一の実施の形態の方法２００を例示するフローチャートである。ステップ２１０では、捕捉前の情報は、データ処理システム１１０により取得される。係る捕捉前の情報は、２以上の捕捉前の画像、ジャイロ情報（カメラの動き）、ＧＰＳ位置情報、光レベル情報、オーディオ情報、フォーカス情報及び動き情報を含む。
【００２５】
次いで、捕捉前情報は、ステップ２２０で分析され、あるシーンの光レベル又はそのシーンの少なくとも１部における動きのようなシーン状態が判定される。この点に関して、１つの画像の捕捉とは対照的に複数の画像の捕捉のセットを介して捕捉された場合に、あるシーンのある画像が良好な品質であるように、捕捉前の情報は、カメラとシーンとの間に相対的な動きが存在するか、又は動きが合理的に存在することが見込まれるかを判定するために有効な情報を含む。事前の画像の捕捉情報の例は、（あるシーンに存在する光レベルの関数である）全体の露光時間、そのシーンの少なくとも１部における（たとえば速度及び方向といった）動き、そのシーンの異なる部分間の動きの差、焦点情報、（周辺システム１２０のような）装置の方向及び位置、ジャイロ情報、レンジデータ、回転データ、オブジェクト情報、被写体情報、オーディオ情報、色情報、ホワイトバランス、ダイナミックレンジ、顔検出及び画素の雑音の位置を含む。ステップ２３０では、少なくとも２２０で実行される分析に少なくとも基づいて、シーンの画像が１つの画像の捕捉とは対照的に複数の画像の捕捉により最良に捕捉されるかに関する判定が行われる。言い換えれば、ステップ２２０で実行された捕捉前の情報の分析に少なくとも基づいて、複数の画像の捕捉が適切であるかに関する判定がステップ２３０で行われる。たとえば、ステップ２２０における分析により判定されるような、あるシーンに存在する動きは、そのシーンの画像を適切に捕捉するために必要とされる全体の露光時間（光レベルの関数）と比較される。あるレベルのモーションブラーが許容されるように、全体の露光時間に関して低い動きが検出された場合、ステップ２４０において１つの画像の捕捉が適切であると見なされる。そのレベルのモーションブラーが許容されないように、全体の露光時間に関して高い動きが検出された場合、ステップ２５０において複数の画像の捕捉が適切ではないと見なされる。言い換えれば、そのシーンにおける動きが受け入れ難いほど悪化されるように、あるシーンの光レベルが余りに低い場合、ステップ２３０において複数の画像の捕捉が適切であると見なされる。異なる焦点距離又は異なる露光時間による複数の画像が改善された合成された画像を生成するために使用される拡張された被写界深度又は拡張されたダイナミックレンジが望まれる場合、複数の画像の捕捉が適切であると見なされる。その後、複数の画像捕捉のセットで捕捉された画像の幾つかがフラッシュで捕捉され、幾つかがフラッシュなしで捕捉され、改善された合成された画像を生成するために画像の部分が使用されるフラッシュモードにカメラがあるとき、複数の画像の捕捉が適切であると見なされる。
【００２６】
また、ステップ２５０において、複数の画像の捕捉のためのパラメータは、たとえば、図３〜図６を参照して以下に記載されるように設定される。
【００２７】
ステップ２３０における判定が肯定的である場合、ステップ２６０において、データ処理システム１１０は、自動的に、又はシャッタートリガの押し下げのようなユーザ入力の受信に応答して、複数の画像の捕捉の実行を指示する。この点に関して、データ処理システム１１０は、周辺システム１２０に複数の画像の捕捉を実行するように指示する。ステップ２７０において、ステップ２４０における１つの画像捕捉により取得されるものに比較して低減されたぼやけを含む改善された画像特性をもつ画像を生成するため、複数の画像が合成される。この点に関して、複数の画像の捕捉における複数の画像は、米国特許出願第11/548309号（代理人ドケット92543）“Digital  Image  with  Reduced  Object  Motion  Blur”、米国特許第7092019号“Image  Capturing  Apparatus  and  Method  Therefore”又は米国特許第5488674号“Method  for  Fusing  Images  and  Apparatus  Therefore”に記載されるような方法を使用して複数の画像を少なくとも一部分を１つの画像に組み立てることで、改善された画像の特性をもつ画像を生成するために使用される。
【００２８】
図２に示されないが、ステップ２３０における判定ステップが否定的である場合、データ処理システム１００は、１つの画像の捕捉を指示する。
【００２９】
なお、本明細書で記載される全ての残りの実施の形態は、たとえば全体の露光時間に関する捕捉前情報で検出された動きが１つの画像における受け入れ難いレベルのモーションブラーを生じさせるといった、ステップ２３０における判定が複数の画像の捕捉が適切であることを想定するものである。結果的に、図３，４及び６は、ステップ２３０からの“Yes”の出口を示すだけであり、これらの図におけるその後のステップは、ステップ２５０の特定の実現の幾つかの例を示す。この点に関して、図３におけるステップ３１０及び図４におけるステップ４１０は、図２におけるステップ２１０の特定の実現の例を示す。同様に、図３におけるステップ３２０及び図４におけるステップ４２０は、図２におけるステップ２２０の特定の実現の例を示す。
【００３０】
図３は、動きが検出され、複数の画像の捕捉が適切であると見なされ、選択される本発明の別の実施の形態に係る方法３００を例示する。この実施の形態は、とりわけ、制限された局所的な動きが存在する画像形成に適している。これは、画像の捕捉の間に存在する動きが、全体との画像を通して一様な平均値として動きが記述されるグローバルな動きとして扱われるためである。図２におけるステップ２１０に対応するステップ３１０において、取得された捕捉前の情報は、ζ個のエレクトロンを収集するために必要とされる全体の露光時間ｔtotalを含む。ζは、低いノイズをもつ許容される明るい画像を生成するための所望のエレクトロン／ピクセルの数であり、ζは、生成されるべき画像にかされるダイナミックレンジの制約に依存してピクセルのうちの平均値、最大値又は最小値に基づいて決定される。この点に関して、ステップ３１０で取得される全体の露光時間ｔtotalは、レビューされているシーンにおける光レベルの関数である。全体の露光時間ｔtotalは、たとえば周辺システム１２０により１以上の捕捉前の画像の取得の一部として、ステップ３１０で決定される。たとえば、周辺システム１２０は、ζ個のエレクトロンを収集する捕捉前の画像を取得するために構成される。係る画像を取得するために要する時間は、ζ個のエレクトロンを収集するための全体の露光時間ｔtotalを示す。この点に関して、ステップ３１０で取得された捕捉前の情報は、捕捉前の画像を含むということができる。
【００３１】
ステップ３２０では、ステップ３１０で取得された捕捉前の情報は、全体の露光時間ｔtotalを通したグローバルな動きからの（画素における）平均のモーションブラーαgmavgのような、シーンに存在するモーションブラーを含む更なる情報を決定するために分析される。ジャイロ情報により決定されるか又は２以上の捕捉前の画像を比較することで決定されるような画像の捕捉の間に移動される画素の観点で、モーションブラーは典型的に測定される。先に説明されたように、（図２におけるステップ２３０に対応する）図３におけるステップ２３０は、αgmavgが１つの画像の捕捉にとって大き過ぎることを判定する。結果的に、多数の画像の捕捉は適切であると見なされる。これは、複数の画像のそれぞれは、低減されたぼやけをもつ画像を生成する、ｔtotal未満の露光時間で捕捉することができるからである。次いで、低減されたぼやけの画像は、低減されたぼやけをもつ１つの複合画像に合成される。
【００３２】
この点に関して、ステップ３３０では、複数の画像の捕捉で捕捉されるべき画像の数ｎgmは、はじめに、平均の全体のモーションブラーαgmavgを、以下の式１に示されるような複数の画像の捕捉で捕捉される１つの画像における所望の最大のグローバルなモーションブラーαmaxで割ることで決定される。たとえば、平均のグローバルなモーションブラーαgmavgが８つの画素であり、且つ複数の画像の捕捉における何れか１つの画像の所望の最大のグローバルモーションブラーαmaxが１つの画素である場合、複数の画像の捕捉における画像の数ｎgmのステップ３３０における最初の予測は８である。
【００３３】
【数１】
2011517207.tif 000003
結果的に、式２で以下に示されるように、複数の画像の捕捉における個々の画像の捕捉の平均の露光時間ｔavgは、複数の画像の捕捉における画像の数ｎgmにより除算される全体の露光時間ｔtotalである。さらに、式３で以下に示されるように、複数の画像の捕捉における個々の画像の捕捉内の（シフトされる画素数での）グローバルなモーションブラーαgm-indは、複数の画像の捕捉における画像の数ｎgmにより除算される全体の露光時間ｔtotalを通した（シフトされる画素での）グローバルなモーションブラーαgmavgである。言い換えれば、複数の画像の捕捉における個々の画像の捕捉のそれぞれは、全体の露光時間ｔtotal未満である露光時間ｔavgを有し、これに応じて、全体の露光時間ｔtotalを通して（画素における）グローバルなモーションブラーαgmavg未満であるモーションブラーαgm-indを示す。
【００３４】
【数２】
2011517207.tif 000004
なお、複数の画像の捕捉のセット内の個々の画像捕捉１，２，３．．．ｎgmの露光時間ｔ1，ｔ2，ｔ3．．．ｔngmは、ぼやけの変動するレベルα1，α2，α3．．．αngmを持つ画像を提供するために変化される。個々の画像の捕捉の露光時間は、平均してｔavgとなる。
【００３５】
ステップ３４０において、合計された捕捉時間ｔsum（先の式４参照）は、たとえば０．２５秒のような画像の捕捉の間に画像捕捉装置をオペレータが安定に保持することが期待される最大の時間である、最大の全体の露光時間γと比較される。（なお、露光時間ｔnが捕捉間の時間未満であるように、個々の捕捉ｎの露光時間がイメージセンサの読取り時間未満であるとき、捕捉間の時間は、式４を使用してｔsumを決定したときに置き換えられる。露光時間ｔnは、イメージセンサで光が画素により収集されて統合される時間であり、読取り時間は、シーケンシャルな画像がデータ処理の制約のためにセンサから読取られる最短の時間である。）ｔsum＜γである場合、現在の予測ｎgmは、ステップ３５０において複数の画像の捕捉における複数の画像の数として定義される。続いて、図２におけるステップ２６０では、ｎgn個の画像を含む複数の画像の捕捉の実行が指示される。
【００３６】
図３で記載されるプロセスを参照して、ステップ３４０においてｔsum＞γである場合、ｔsumが減少される。ステップ３６０は、ｔsumを減少させる２つの方法の例を提供するものであり、画像の捕捉のセットにおける画像の少なくとも１部は、２Ｘのようにグループ分けされる（binned）か、又は捕捉されるべき画像の数ｎgmが低減される。これらの技術のうちの１つ、これらの技術の両者又はｔsumを低減する他の技術、或いはその組み合わせは、ステップ３６０で使用される場合がある。
【００３７】
グループ分けは、センサ回路における変化を通して読取り前にセンサの隣接する画素の電荷を結合し、これにより低減された数の結合された画素を効果的に形成する技術である。互いに結合される隣接する画素の数と、イメージセンサの画素アレイにわたり結合される隣接する画素の空間的な分散とは変化する。隣接する画素間の電荷の結合の賞味の影響は、結合された画素の信号レベルが隣接する画素の電荷の合計にまで増加され、隣接する画素の雑音の平均にまで雑音が低減され、イメージセンサの解像度が低減されることである。結果的に、グループ分けは、信号対雑音比を改善する効果的な方法であり、低い光の条件で画像を捕捉するとき又は短い露光時間で捕捉するときに有効な技術となる。また、グループ分けは、効果的な画素の数が結合された画素の数にまで低減されるので、読み取り時間を低減する。本発明の範囲において、画素を合計することは、信号を増加して雑音を減少するために読取り後に使用されるが、このアプローチは、読み出される画素数が低減されないので読取り時間を低減しない。
【００３８】
ステップ３６０の実行後、合計された捕捉時間ｔsumが再び計算され、ステップ３４０で所望の最大の捕捉時間γに再び比較される。複数の画像の捕捉のセットにおける画像の数が定義されるステップ３５０にプロセスが続くとき、ステップ３６０は、ｔsum＜γになるまで繰り返し実行し続ける。
【００３９】
図４は、本発明の更なる実施の形態に係る方法４００を例示し、この方法では、複数の画像の捕捉が適切であるかを判定するためにグローバルな動きとローカルな動きの両者が評価される。ステップ４１０では、少なくとも２つの捕捉前の情報と平均でζ個のエレクトロンを収集するために必要とされる全体の露光時間ｔtotalとを含む、捕捉前の情報が取得される。次いで、平均のグローバルなモーションブラーαgmavgに加えて、画像に存在するグローバルなモーションブラーとローカルなモーションブラーの両者を定義するため、捕捉前の情報は、ステップ４２０で分析される。ローカルなモーションブラーは、グローバルなモーションブラー又は平均のグローバルなモーションブラーとは異なる大きさ又は方向であるとして区別される。結果的に、ステップ４２０において、ローカルな動きが存在する場合、複数の画像の捕捉のセットにおける２以上の画像を比較することで画像形成されているシーンの少なくとも２つの異なる部分において異なる動きが識別される。平均のグローバルなモーションブラーαgmavgが決定される。全体の捕捉前の画像、又はローカルな動きを含む捕捉前の画像の一部を除いてグローバルな動きを含む捕捉前の画像の捕捉前の画像の部分のみに基づいて、平均のグローバルなモーションブラーαgmavgが決定される。
【００４０】
ステップ４２０では、捕捉前の画像における動きは、（ａ）対応する捕捉前の画像間の画素のシフトとして特徴付けされる（シフトされる画素における）グローバルなモーションブラーαgm-pre及び（ｂ）捕捉前の画像の対応する部分間の画素のシフトとして特徴付けされるローカルのモーションブラーαim-preのような、シーンに存在するモーションブラーを含む付加的な情報を判定するために分析される。ローカルの動きの予測を含む様々な動き予測アプローチを記載した例示的な文献は、G.Sorwer,  M.Murshed及びL.Dooleyによる“Fast  Block-Based  True  Motion  Estimation  Using  Distance  Dependent  Thresholds”Journal  of  Research  and  Practice  in  Information  Technology,  Vol.36,  No.3,  August  2004.である。グローバルなモーションブラーが（画像のバックグランドにおけるような）画像の大部分を典型的に適用する一方で、ローカルなモーションブラーは、画像の一部のみに適用され、画像の異なる部分は、局所的な動きの異なるレベルを含む。結果的に、それぞれの捕捉前の画像について、αgm-preの１つの値が存在する一方で、捕捉前の画像の異なる部分について、αlm-preの幾つかの値が存在する。ローカルなモーションブラーの存在は、αlm-preからαgm-pre又はαgmavgを減算するか、又は画像を通したαlm-preの値又は方向における変化を決定することで決定することができる。
【００４１】
ステップ４３０において、それぞれの捕捉前の画像のローカルな動きは、捕捉のセットがローカルのモーションブラーを考慮する必要があるかを判定するため、予め決定された閾値λと比較される。ここで、画像間のグローバルな動きからの画素シフトの差の観点で、λが表現される。ローカルな動きが存在する場合に画像の全ての部分について、ローカルな動き＜λである場合、ステップ４９７に示されるように、複数の画像の捕捉についてローカルな動きが考慮される必要がない。捕捉前の画像の任意の部分について、ローカルな動き＞λである場合、合成された画像に存在するローカルのモーションブラーは、受け入れられないと見なされ、１以上のローカルの動きの画像が定義され、ステップ４９５において複数の画像の捕捉のセットに含まれる。ここで、ローカルの動きの画像は、複数の画像の捕捉のセットにおけるグローバルな動きに比較して（高いグループ分けの割合から）短い露光時間又は低い解像度を有する点で、グローバルな動きの画像とは異なる。
【００４２】
なお、ステップ４３０での評価のため、ローカルな動きを有するために捕捉前の画像の領域を考慮することが必要とされるローカルな動きの最小領域を定義することは、本発明の範囲に含まれる。たとえば、捕捉前の画像の非常に小さな部分のみがローカルな動きを示す場合、係る小さな部分は、ステップ４３０での評価のために無視される。
【００４３】
グローバルな動きの捕捉の数は、グローバルな動きの平均のぼやけαgmavgを最大の所望のグローバルのぼやけαmax未満に低減するため、ステップ４６０で決定される。ステップ４７０では、ステップ４９５で識別されたローカルな動きの画像の数ｎlm及びローカルな動きの露光時間ｔlmがｔsumの決定においてグローバルな動きの画像と共に含まれることに加えて、全体の露光時間ｔsumが決定される。図４におけるステップ４７０及び４８０の処理は、ローカルな動きの画像がステップ４８０の処理により変更されない点で図３におけるステップ３４０，３６０とは異なる。たとえば、ステップ４８０でｔsumを低減するとき、グローバルな動きの画像のみが除かれるか（ｎgmが低減されるか）、又はグローバルな動き画像がグループ分けされる。ステップ４９０で、ローカルな動きの画像ｎlmとｎgmを構成する残りのグローバルな動きの画像との全てを含むように複数の画像の捕捉が定義される。
【００４４】
図５は、本発明の実施の形態に係る、図４におけるステップ４９５に応じて拡張される方法５００を例示する図であり、ここで、（「ローカルな動きの捕捉セット」と呼ばれる）１以上のローカルな動きの画像が定義され、複数の画像の捕捉のセットに含まれる。ステップ５１０で、ステップ４３０におけるような画像の少なくとも１部について捕捉前の画像において、λよりも大きいローカルな動きαlm-pre−αgm-preが検出される。ステップ５２０において、ステップ５１０からの余分なローカルのモーションブラーαlm-pre−αgm-preを許容可能なレベル（αlm-max）にまで低減するために十分な露光時間ｔlmは、以下の式５として決定される。
【００４５】
【数３】
2011517207.tif 000005
プロセスのこの時点で、ｎlm（ローカルな動きの捕捉のセットにおける画像の数）には、はじめに値１が割り当てられる。ステップ５３０で、捕捉されるべきローカルな動きの画像は、２Ｘのようなファクタによりグループ分けされる。ステップ５４０において、ローカルな動きが検出される画像の部分における画素の平均のコード値は、予め決定された所望の信号レベルζと比較される。ローカルな動きが検出される画像の一部における画素の平均のコード値が予め決定された信号レベルζよりも大きい場合、ステップ５５０で示されるように、ローカルな動きの捕捉のセットが定義される（ｔlm，ｎlm）。ステップ５４０において、ローカルな動きが検出される画像の一部における画素の平均のコード値がζ未満である場合、捕捉されるべきローカルな動きの捕捉のセットの解像度は、ステップ５８０で、捕捉されるべきグローバルな動きの捕捉のセットに比較される最小の部分的な相対的な解像度の値τと比較される。τは、τがたとえば１/２又は１/４であるように、ローカルな動きの画像とグローバルな動きの画像との間の解像度の差を制限するために選択される。
【００４６】
ステップ５８０において、グローバルな動きの捕捉セットに比較されるローカルな動きの捕捉セットの解像度がτよりも大きい場合、プロセスはステップ５３０に戻り、捕捉されるべきローカルな動きの画像は、２Ｘのファクタにより更にグループ分けされる。しかし、グローバルな動きの捕捉セットに比較されるローカルな動き捕捉のセットの解像度がτよりも小さい場合、プロセスは、ステップ５７０に進み、ここで、ローカルな動き捕捉のセットにおけるローカルな動き捕捉の数ｎlmは、１だけ増加され、プロセスは、ステップ５６０に進む。このように、グループ分けのみにより、所望のζ個のエレクトロン／ピクセルの平均に到達するために、ローカルな動きの画像におけるコード値を十分に増加することができない場合、ローカルな動き画像の数ｎlmが増加される。
【００４７】
ステップ５６０において、ローカルな動きが検出された画像の一部における画素の平均のコード値は、ｎlmにおける増加を考慮するために変更された予め決定された所望の信号レベルζ／ｎlmに比較される。ローカルな動きが検出された画像の一部における画素の平均のコード値がζ／ｎlm未満である場合、プロセスはステップ５７０に戻り、ｎlmは再び増加される。ローカルな動きが検出された画像の一部における画素の平均のコード値がζ／ｎlmよりも大きい場合、プロセスはステップ５５０に進み、ｔlm及びｎlmの観点で、ローカルな動きの捕捉のセットが定義される。ステップ５６０は、ローカルな動きが検出された画像の一部のｎlm個のローカルな動きの画像の合計について平均のコード値は、ζよりも大きく、高い信号対雑音比が提供されることを保証する。なお、ローカルな動きの捕捉セットにおけるローカルな動きの画像は、完全なフレームを包含するか、又はローカルの動きが画像において生じるフレームの一部（又は複数の部分）のみに限定される。さらに、図５に示されるプロセスは、捕捉の数を増加する前にグループ分けすることが好ましいが、本発明は、グループ分けの前に捕捉の数を好ましくは増加して使用することができる。
【００４８】
図６は、本発明の更に別の実施の形態に係る方法６００を例示するものであり、ここで、複数の画像の捕捉における少なくとも１つの画像の捕捉の間に、あるシーンを照明するためにフラッシュが使用される。図６におけるステップ４１０，４２０は、図４におけるステップと同じである。ステップ６２５では、捕捉の設定は、画像捕捉装置がフラッシュが利用されるのを可能にするフラッシュモードにあるかを判定するために問合せされる。画像捕捉装置がフラッシュモードにない場合、フラッシュによる画像が捕捉されず、ステップ６３０において、図４に示されるように、プロセスはステップ４３０に戻る。
【００４９】
画像捕捉装置がフラッシュモードにある場合、図４を参照して上述されたように、プロセスは、ステップ４６０に進む。ステップ６５０では、合計された露光時間ｔsumは、図４におけるステップ４７０と同様に、予め決定された最大の露光時間γと比較される。しかし、ｔsum＜γである場合、プロセスはステップ６７０に進み、ここで、ローカルのモーションブラーαlm-preは、予め決定された最大のローカルな動きλと比較される。αlm-pre＜λである場合、捕捉のセットは、ステップ６５５で示されたようにフラッシュのないｎgm個の捕捉から構成される。αlm-pre＞λである場合、捕捉のセットは、フラッシュのないｎgm個の捕捉とフラッシュによる少なくとも１つの捕捉とを含むようにステップ６００で変更される。ステップ６５０においてｔsum＞γである場合、ステップ６６５において、ｎgmはｔsum＜γにするために低減され、プロセスはステップ６６０に進み、ここで、少なくとも１つのフラッシュによる捕捉は、捕捉のセットに追加される。
【００５０】
フラッシュモードの捕捉のセットは、ｎgm，ｔavg又はｔ1，ｔ2，ｔ3．．．ｔngm及びｎfmを含む。ｎfmは、フラッシュモードにあるときのフラッシュによる捕捉の数である。なお、１を超えるフラッシュによる捕捉が含まれるとき、露光時間及びフラッシュの強度又は期間は、動きのアーチファクトを低減するか又は画像捕捉の間にシーンの一部が良好に照明されるのを可能にするため、必要に応じてフラッシュによる捕捉の間で変化する。
【００５１】
図４及び図６に示される方法を考慮して、複数の画像の捕捉のセットは、複数の画像のうちの少なくとも幾つかが解像度、積分時間、露光時間、フレームレート、ピクセルタイプ、焦点、雑音除去方法、トーンレンダリング又はフラッシュモードのような異なる特性を有する不均質の画像から構成される。複数の画像の捕捉のセットにおける個々の画像の特性は、画像形成されるシーンの幾つかの態様について改善された画質を可能とするように選択される。
【００５２】
シーンの詳細を捕捉するために高い解像度が選択される一方で、速い動きが存在するとき、短い露光及び高速な画像捕捉周波数（フレームレート）を可能にするように低い解像度が選択される。信号対雑音比を改善するために長い積分時間又は長い露光時間が選択される一方で、画像におけるモーションブラーを低減するために短い積分時間又は露光時間が選択される。長い露光時間を可能にするために低速の画像捕捉周波数（フレームレート）が選択される一方で、高速に動くシーン又はオブジェクトの複数の画像を捕捉するために高速の画像捕捉周波数（フレームレート）が選択される。
【００５３】
異なる画素のタイプはシーンからの光に対する異なる感度を有するので、画像は、画素の他のタイプに対して、画素の幾つかのタイプから好ましくは構成される画像が捕捉される。例として、緑のオブジェクトがシーンにおいて動いているように検出された場合、画像は、高速の画像捕捉周波数（フレームレート）及び低減された露光時間を可能にして、これによりオブジェクトのモーションブラーを低減するために、緑の画素のみから捕捉される。代替的に、赤／緑／青、又はシアン／マゼンダ／イエローのようなカラー画素、及びカラー画素の近似的に３Ｘの感度である（米国特許出願（Hamiltonによるドケット90627）参照）全整色の画素を有するセンサについて、改善された信号対雑音比を提供するために全整色の画素のみから構成される画像が複数の捕捉のセットで捕捉される一方で、カラー画素から構成される画像に比較して低減された露光又は積分時間を可能にする。
【００５４】
別のケースでは、異なる焦点位置又はｆ＃をもつ画像が捕捉され、異なる画像の部分は、広い被写界深度又は焦点の選択的な領域をもつ合成された画像を生成するために使用される。たとえば雑音除去が詳細のエッジを保存するために設計される幾つかの画像、及び雑音除去がカラーノイズを低減するために設計される他の画像を生成するため、複数の画像の捕捉のセットにおける画像に関して、異なる雑音除去方法及びゲイン設定が使用される。同様に、トーンレンダリング及びゲイン設定は、複数の画像の捕捉のセットにおける画像間で異なり、この場合、たとえば高解像度／短い露光時間の画像は、オブジェクトのエッジを強調するために高いコントラストでレンダリングされる一方で、低い解像度の画像は、画像における色を強調するために飽和された色でレンダリングされる。フラッシュモードにおいて、幾つかの画像は、モーションブラーを低減するためにフラッシュにより捕捉される一方で、他の画像は、赤目現象、反射及び露出過度の領域のようなフラッシュアーチファクトを補償するため、フラッシュなしで捕捉される。
【００５５】
不均質の画像は複数の画像の捕捉のセットにおいて捕捉された後、複数の画像の部分は、図２のステップ２７０に示されるように改善された画像を合成するために使用される。
【００５６】
図７は、たとえば高い動きの画像を合成プロセスから除くことで、複数の画像の捕捉からの多数の画像を１つの画像に合成する、本発明の実施の形態に係る方法７００を例示する。高い動きの画像は、大量のグローバルのモーションブラーを含む画像である。合成された１つの画像又は複数の画像の捕捉から生成された複合画像から大量のモーションブラーをもつ画像を除くことで、合成された１つの画像又は複合画像の画質は、改善される。ステップ７１０では、複数の画像の捕捉におけるそれぞれの画像は、点拡がり関数（PSF）のデータと共に取得される。PSFデータは、捕捉前のデータから決定される捕捉前のモーションブラーの値αgm-pre及びαlm-preとは対照的に、画像の捕捉の間に生じるグローバルの動きを表す。係るように、画像を識別するためにPSFデータが使用され、この場合、画像の捕捉の間のグローバルのモーションブラーは、捕捉前のデータに基づいて予想されるよりも大きい。PSFデータは、Onukiによる米国特許第6429895号で記載されるような、画像の安定化のために使用されるジャイロセンサにより供給される同じバイブレーションセンシングデータを使用して、画像捕捉装置におけるジャイロから取得される。また、PSFデータは、米国特許出願第11/780841号（ドケット93668）で記載されるような高速のフレームレートで読み出しているイメージセッサの一部から取得される画像情報から取得される。
【００５７】
ステップ７２０では、個々の画像のPSFデータは、予め決定された最大レベルβと比較される。この点に関して、PSFデータは、露光の間の動きの大きさ、速度、方向、又は方向の変化を含む。βの値は、ぼやけの画素の観点でαmaxの値に類似する。個々の画像についてPSFデータ＞βである場合、個々の画像は、過度のモーションブラーを有すると判定される。この場合において、ステップ７３０において、個々の画像は、取り除かれ、これにより低減されたセットの画像が形成され、低減されたセットの画像は、ステップ２７０の合成プロセスで使用される。個々の画像についてPSFデータ<βである場合、個々の画像は、許容可能なレベルのモーションブラーを有すると判定される。結果的に、ステップ７４０において、個々の画像は、改善された画像を形成するためにステップ２７０の合成プロセスで使用される捕捉のセットからの他の画像と共に記憶される。
【００５８】
例示的な実施の形態は、本発明を例示するものであって、上述された実施の形態の多くの変形例は、本発明の範囲から逸脱することなしに当該技術分野で創作されることを理解されたい。したがって、全ての係る変形例は、以下の特許請求の範囲及びそれらの等価な概念の範囲に含まれることが意図される。
【符号の説明】
【００５９】
１００：評価画像のペアにおける動きのアセスメントを含む従来技術の画像捕捉プロセスフローダイアグラムである。
１１０〜１４０：ステップ
２００：捕捉前の情報の分析に基づいて１つの画像の捕捉又は複数の画像の捕捉を判定する、本発明の実施の形態のプロセスフローダイアグラムである。
２１０〜２７０：ステップ
３００：捕捉されるべき複数の画像について合計される捕捉時間を考慮する画像捕捉プロセスが開示される、本発明の別の実施の形態のプロセスフローダイアグラムである。
３１０〜３６０：ステップ
４００：広範囲な動きと局所的な動きの両者を考慮する画像捕捉プロセスが開示される、本発明の更に別の実施の形態のプロセスフローダイアグラムである。
４１０〜４９７：ステップ
５００：図４におけるステップ４９５に応じて拡張される、本発明の更なる実施の形態のプロセスフローダイアグラムである。
５１０〜５８０：ステップ
６００：フラッシュモードが開示される本発明の更に別の実施の形態のプロセスフローダイアグラムである。
６２５〜６７０：ステップ
７００：捕捉セットにおける画像の捕捉間で画像形成されているシーンにおける変化に応じて捕捉の条件が変化する、本発明の更に別の実施の形態のプロセスフローダイアグラムである。
７１０〜７４０：ステップ
【図１】
2011517207.tif 000006
【図２】
2011517207.tif 000007
【図３】
2011517207.tif 000008
【図４】
2011517207.tif 000009
【図５】
2011517207.tif 000010
【図６】
2011517207.tif 000011
【図７】
2011517207.tif 000012
【国際調査報告】
2011517207.tif 000013
2011517207.tif 000014
2011517207.tif 000015
2011517207.tif 000016
2011517207.tif 000017