(57)【要約】【課題】デジタル画像の動きによるブレを制限する方法および装置【解決手段】画像取り込みの際動きによるブレを制限する方法、装置、および画像取り込み装置は、画像取り込み装置の動き、時間、およびブレ程度の関係を予め判定する。画像取り込み装置の動き率が得られ、判定された関係とブレ程度の限度と併せ、ブレ程度を限定するために画像取り込み装置の 最大露光時間を得るための基礎として用いられる。得られた最大露光時間と必要な画像の明るさに基づき画像取り込み装置が設定され、次に画像取り込み装置により画像が取り込まれる。一旦画像が取り込まれると、露光時間を制限したため露光不足である可能性があるため、必要に応じ画像の輝度を高める処理が行なわれる。【選択図】図２
2007097195.tif 000002
【特許請求の範囲】
【請求項１】
画像取り込み装置で画像を取り込む際の動きによるブレを制限するために最大露光時間を判定する方法で、
画像取り込み装置の動き率および露光時間の各々の組み合わせがもたらす画像ブレの程度を判定するステップと、
所定のブレ程度の限度および該組み合わせに従い、画像取り込み装置の動き率と露光時間との関係を導き出すステップと、
画像取り込み装置の動き率を測定するステップと、
測定された動き率および関係に基づき最大露光時間を得るステップと、
を含む方法。
【請求項２】
請求項1に記載された方法において、前記判定ステップは、
前記画像取り込み装置の動き率と露光時間の各々の組み合わせを用いて複数の画像を取り込むこと、および
前記各取り込み画像におけるブレの程度を測定すること、
を含む方法。
【請求項３】
請求項1に記載された方法において、前記判定ステップは、
被写体に対する画像取り込み装置の動きとピクセルで表したその結果のブレの程度との相関関係のモデルを定義するステップと、
モデルを用い画像取り込み装置の動き率がもたらすブレの程度を時経的に計算するステップと、
を含む方法。
【請求項４】
請求項３に記載された方法において、前記相関関係のモデルは単純なレンズ・モデルに基づく方法。
【請求項５】
請求項４に記載された方法において、前記相関関係のモデルはさらに純粋な回転に基づく方法。
【請求項６】
請求項４に記載された方法において、前記相関関係のモデルは、
実世界対象の座標から画像取り込み装置の座標への第1の変換と、
画像取り込み装置の座標から画像面の座標への第2の変換と、
画像面の座標から焦点面の座標への第3の変換と、
焦点面の座標から画像ピクセルの座標への第4の変換と、
を含む方法。
【請求項７】
請求項６に記載された方法において、前記第1の変換は回転である方法。
【請求項８】
請求項６に記載された方法において、前記第2の変換は透視投影である方法。
【請求項９】
請求項６に記載された方法において、前記第3の変換は拡大縮小である方法。
【請求項１０】
請求項６に記載された方法において、前記第4の変換は拡大縮小である方法。
【請求項１１】
請求項３に記載された方法において、前記計算ステップは、
動き率および露光時間の各組み合わせに対し、X、Y、およびZ軸方向各々におけるピクセルの動きベクトルの各々の範囲を得るステップと、
各範囲に対し、平均動きベクトルを判定するステップと、
各平均動きベクトルの規模をブレの程度として計算するステップと、
を含む方法。
【請求項１２】
請求項１１に記載された方法において、各平均動きベクトルは個々の範囲における前記動きベクトルのサブセットから判定される方法。
【請求項１３】
請求項１２に記載された方法において、前記サブセットは9つの動きベクトルを含む方法。
【請求項１４】
請求項１３に記載された方法において、前記9つの動きベクトルは範囲内の左−上、中央−上、右−上、左−中、中央−中、右−中、左−下、中央−下、および右−下のベクトルである方法。
【請求項１５】
請求項１１に記載された方法において、各平均動きベクトルは前記範囲の中心への各々の近接により範囲内の動きベクトルを重み付けすることにより判定される方法。
【請求項１６】
請求項１に記載された方法において、前記画像取り込み装置の動き率および露光時間の各々の組み合わせによりもたらされる画像ブレの判定された程度がＸ、Ｙ、およびＺ軸方向の各々に対するテーブルに格納される方法。
【請求項１７】
請求項１６に記載された方法において、前記画像取り込み装置の動き率と露光時間との関係は、所定のブレ程度の限度を越えないブレの程度をもたらし、各動き率に対し各テーブルにおける最大露光時間を得ることにより判定される方法。
【請求項１８】
請求項１７に記載された方法において、前記Ｘ、Ｙ、およびＺ方向各々の動き率は露光限度参照テーブルにおける指標である方法。
【請求項１９】
請求項１８に記載された方法において、前記指標はより低い動き率においてより高い比率のテーブル入力を提供するように非線形的に間隔があけられている方法。
【請求項２０】
請求項１に記載された方法において、前記動き率は角速度である、請求項1に記載される方法。
【請求項２１】
画像取り込み装置を用いて画像を取り込む方法で、
前記画像取り込み装置の動き率を判定するステップと、
動き率とブレ程度の限度に基づき、前記画像取り込み装置の動き率と露光時間との所定の関係から最大露光時間を得るステップと、
露光の持続が最大露光時間で限定される形で、前記画像取り込み装置の画像センサを露光し画像を取り込むステップと、
を含む方法。
【請求項２２】
請求項２１に記載された方法において、さらに、
前記画像取り込み装置の絞りサイズおよび前記画像センサの感度の内少なくとも1つを自動的に調節することにより露光レベルを左右するステップ
を含む方法。
【請求項２３】
請求項２２に記載された方法において、さらに、
前記取り込み画像の輝度の程度が所定の閾値未満である場合に、取り込み画像の少なくとも1部のピクセルの前記輝度値を自動的に高めること
を含む方法。
【請求項２４】
画像取り込み装置で画像を取り込む際の動きによるブレを制限するための最大露光時間を判定する装置で、
前記画像取り込み装置の動き率および露光時間の各々の組み合わせによりもたらされる画像のブレの程度を判定し、所定のブレ程度の限度および判定された組み合わせに従って、前記画像取り込み装置の動き率と露光時間との関係を導き出すプロセッサと、
前記関係を格納する格納装置と、
前記画像取り込み装置の動き率を測定する測定機と、
測定された動き率および所定のブレ程度の限度に基づき、格納装置に格納された関係から最大露光時間を判定する参照モジュールと、
を含む装置。
【請求項２５】
請求項２４に記載された装置において、前記プロセッサは、
前記画像取り込み装置の動き率および露光時間の組み合わせ各々を用いて複数の画像を取り込むことと、
前記取り込み画像各々におけるブレの程度を測定すること、
により判定を行なう装置。
【請求項２６】
請求項２４に記載された装置において、前記プロセッサは、
被写体に対する前記画像取り込み装置の動きと、その結果をピクセルで表したブレ程度を関連付けるモデルを定義することと、
前記モデルを用いて前記画像取り込み装置の動き率がもたらすブレの程度を時経的に計算すること、
により判定を行なう装置。
【請求項２７】
請求項２４に記載された装置において、前記測定機は、
ジャイロであることを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に画像の取り込みに関し、より具体的には画像取り込みにおいて動きによるブレを制限する方法、装置、および画像取り込み装置に関する。
【背景技術】
【０００２】
デジタル・カメラなどの画像取り込み装置は、生産コストの削減、全体的な質の向上も手伝い、また特にカメラ機能が携帯電話および携帯端末（PDA）など他の消費者向け電子装置に組み込まれるようになり、非常に普及が進んでいる。
【０００３】
画像取り込み操作中不安定な手の動きなどによる画像のブレは経験の浅いカメラマンまたは手がぐらつくユーザにとってしばしば避け難いことである。画像のブレはその魅力を減退させるので苛立ちを起こさせる。画像取り込み装置の標準的な自動露光機能において、微光状態は画像取り込み装置のシャッタ速度を遅くすることで補われ、それにより露光時間が増加し充分に明るい画像を取り込むことができる。この露光時間の増加は露光時間中に動きが生じる可能性を増加させ、従って取り込んだ画像のブレの可能性を高める。露光時間が通常であっても画像の取り込み中に高速な画像装置の動きが起こると同じようなブレ状態が生じることがある。
【０００４】
ブレを除去するため取り込み画像を後処理する方法が知られている。これらの方法は通常取り込み画像のブレの程度を測定し、測定されたブレを補正することを含む。しかし、広範囲なブレを引き起こす非常な微光および／あるいは非常に高速な条件においてはブレの程度があまりにも大きく、後処理で画像を修復できないことがある。
【０００５】
Sugahara他の米国特許第6,778,210号はデジタル・カメラのブレを許容範囲または気付かれない範囲に収めるために露光時間を制限するシステムを開示している。画像化フレームに対する画像のブレはフレーム・サイズと焦点距離に反比例するという視点から、露光時間はカメラの物理的寸法に基づき調節される。Sugahara他の方法によると、手動または光度測定により設定された露光時間が許容されるブレの露光時間限度を越えた場合、カメラは撮像の累積時間を制御することにより一連の限定露光画像を撮るように設定される（各々の露光時間を合計すると全露光時間になる）。画像はその後各々動きが処理され、相関され、動きが補正される。 できた画像は各々許容されるレベルのブレを含み、許容されるレベルのブレを有する出力画像をもたらす。開示された１つのシステムは短い露光時間による信号レベルの減少を認識し、動き相関アルゴリズムの代わりに速度センサを用いて動きを定量化する。
【０００６】
Habeの米国特許出願第2004/0239771号はデジタル・カメラのISO速度設定を調節することにより画像ブレの量を制御する方法を開示している。 画像取り込みの前に、ブレ予防モードにあるカメラは既知のシャッタ速度および焦点距離と併せて振動検知器を連動させ、ブレの量を計算する。計算されたブレの量が前以て定義された限度を越えると、計算されたブレと所定のブレ限度との比率に基づく程度にカメラのISO速度がより高感度に移行する。移行の際、絞り（すなわち被写界深度）は変わっていない。この方法はISO速度の調節を画像ブレの量に基づかせることにより画像の質を維持する。ISO速度は上げることもできるが、許容範囲内でブレが増えた、より高画質の画像を得るために低くすることもできる。
【０００７】
【特許文献１】米国特許出願公開第2004/0145673号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ブレ補正アルゴリズムおよびブレ削減および制限方法は知られているが、改良は当然望ましい。従って画像取り込みにおいて動きによるブレを制限する方法、装置、および画像取り込み装置を提供することが目的の１つである。
【課題を解決するための手段】
【０００９】
従って、一態様では画像取り込み装置で画像を取り込む際の動きによるブレを制限するために、
画像取り込み装置の動き率および露光時間の各々の組み合わせがもたらす画像ブレの程度を判定するステップと、
所定のブレ程度の限度および該組み合わせに従い、画像取り込み装置の動き率と露光時間との関係を導き出すステップと
画像取り込み装置の動き率を測定するステップと、
測定された動き率および関係に基づき最大露光時間を得るステップと、
を含む、最大露光時間を判定する方法が提供される。
【００１０】
一実施形態で、判定方法は画像取り込み装置の動き率と露光時間の各々の組み合わせを用いて複数の画像を取り込み、次に各取り込み画像におけるブレの程度を測定するステップとを含む。
【００１１】
別の実施形態で、判定方法は被写体に対する画像取り込み装置の動きおよびピクセルで表したその結果のブレの程度間の相関関係のモデルを定義するステップと、次にモデルを用いて画像取り込み装置の動き率がもたらすブレの程度を時経的に計算するステップとを含む。
【００１２】
別の態様により、画像取り込み装置を用い、
画像取り込み装置の動き率を判定するステップと、
動き率とブレ程度の限度に基づき、画像取り込み装置の動き率と露光時間との所定の関係から最大露光時間を得るステップと、
画像取り込み装置の画像センサを露光させて画像を取り込むステップで、この際露光の持続は最大露光時間で限定される、
ことを含む画像取り込み方法が提供される。
【００１３】
一実施形態で、取り込み画像の輝度の度合いが所定の閾値未満である場合、取り込み画像におけるピクセルの少なくとも一部の輝度値が自動的に増加される。
【００１４】
関連する実施形態で、輝度の増加量は、充分な露光を維持するために、取り込み画像の輝度の度合いと画像取り込み装置の自動露光機能を用いた場合に取り込まれる第２の輝度の度合いとの比較に基づく。
【００１５】
別の態様では画像取り込み装置で画像を取り込む際の動きによるブレを制限するために、
画像取り込み装置の動き率および露光時間の各々の組み合わせによりもたらされる画像ブレの程度を判定し、所定のブレ程度の限度および判定された組み合わせに従って、画像取り込み装置の動き率と露光時間との関係を導き出すプロセッサと、
関係を格納する格納装置と、
画像取り込み装置の動き率を測定するジャイロと
測定された動き率および所定のブレ程度の限度に基づき、格納装置に格納された関係から最大露光時間を判定する参照モジュールと、
を含む、最大露光時間を判定する装置が提供される。
【００１６】
一実施形態で、プロセッサは画像取り込み装置の被写体に対する動きとピクセルで表されるその結果のブレ程度との相関関係モデルを定義することにより判定を行ない、このモデルを用いて画像取り込み装置の時経的な動き率からもたらされるブレの程度を計算する。
【００１７】
相関関係モデルは単純なレンズ・モデルに基づくことができる。
【００１８】
さらに別の態様では、画像の取り込みの際に画像取り込み装置を制御する装置で、
画像取り込み装置の動き率を判定するジャイロと、
動き率およびブレ程度の限度に基づき、画像取り込み装置の動き率と露光時間との所定の関係から最大露光時間を得、画像を取り込むために露光の持続を最大露光時間で限定して画像取り込み装置の画像センサを露光するよう画像取り込み装置を制御するプロセッサと、
を含む装置が提供される。
【００１９】
一実施形態で、装置は取り込み画像の輝度の度合いが所定の閾値未満である場合取り込み画像におけるピクセルの少なくとも一部の輝度値を自動的に高める後処理モジュールを含む。
【００２０】
さらに別の態様では画像取り込み装置で、
光に露光されると画像を取り込む画像センサと、
画像取り込み装置の動き率を判定するジャイロと、
動き率およびブレ程度の限度に基づき、画像取り込み装置の動き率と露光時間との所定の関係から最大露光時間を得、画像を取り込むために露光の持続を最大露光時間で限定して画像取り込み装置の画像センサを露光するよう画像取り込み装置を制御するプロセッサと、
を含む装置が提供される。
【００２１】
本明細書に記述される本旨の方法、装置、および画像取り込み装置は多くの利点を提供する。特に、この方法を用いた画像取り込み装置はそのセンサの露光時間を制限し、画像取り込み装置の動きによるブレが許容範囲にある画像を取り込むことができる。いくつかの実施形態において画像取り込み装置は、画像取り込みセンサの感度を高める、絞りを増加させる、または画像取り込み後に画像輝度増加処理を用いることにより、露光時間の削減を補正して充分に明るい画像を得ることができる。さらに別の実施形態では、角速度および許容できるブレの程度の各種組み合わせに対する露光時間の制限は予め計算され参照テーブルに格納されており、画像取り込み時点で極めて速い操作を提供する。利点のある一実施形態で、画像取り込み装置の露光時間は画像取り込み装置の標準的な、輝度に基づく自動露光時間設定が許容できる最大ブレの程度をもたらす露光時間より長い場合にのみ制限される。
【発明を実施するための最良の形態】
【００２２】
以下の説明において、画像を取り込む際の動きによるブレを制限するための方法、装置、および画像取り込み装置が提供される。方法の際、画像取り込み装置の動き、時間、およびブレ程度間の関係が予め設定される。画像取り込み装置の動き率（movement rate）が得られ、設定された関係およびブレ程度の限度と併せ、ブレ程度を制限するために画像取り込み装置の最大露光時間を得るための基盤として用いられる。得られた最大露光時間および必要な画像輝度を基に画像取り込み装置は設定され、次に画像取り込み装置により画像が取り込まれる。一旦画像が取り込まれると、露光時間を制限した結果露光不足の可能性があるため、画像は必要に応じ輝度を増加させるために処理される。
【００２３】
動きのブレを制限する方法は、自動選択の露光時間では許容できないブレ程度をもたらす場合に露光時間を制限するため、輝度要件のみに基づいて自動的に露光時間を選択するアルゴリズムと併せて用いるのに特に適している。
【００２４】
動きのブレを制限する方法および装置はデジタル・カメラなどの画像取り込み装置に組み入れることができる。図1は動きのブレを制限する装置50のブロック図で図2は図1における動きのブレを制限する装置50を組み入れた画像取り込み装置60のブロック図である。
【００２５】
動きのブレを制限する装置50は画像取り込み装置60の３次元（X, Y, Z ）各々の動き率を測定するジャイロ52a, 52b, 52c 、ジャイロ52a から52cのアナログ信号をデジタル信号に変換するアナログ−デジタル変換器53a, 53b, 53c、プロセッサ54、およびルーチン、プログラム、オブジェクト・コンポーネント、データ構造、参照モジュール等々などのプログラム・モジュールを含むことができるプロセッサ読み取り可能なコードとして具現化されるソフトウェア・アプリケーションを格納するためのプロセッサ読み取り可能な格納装置56を含む。ジャイロ52a から52c から受信したデータに基づき、プロセッサ54は格納装置56の参照テーブルおよび／あるいはプロセッサ読み取り可能なコードから後述するように動きのブレを制限するために画像取り込み装置60の最大露光時間を検索、計算、またはその他の形で取得する。
【００２６】
画像取り込み装置60は画像を取り込むための画像センサ62、被写体の輝度を検知する輝度検知器63、画像取り込み装置60の画像センサ感度、焦点距離、絞り、露光時間等々を設定し制御するプロセッサ64、プロセッサ64が使用するルーチン、プログラム、オブジェクト・コンポーネント、データ構造等々などのプロセッサ読み取り可能なコードを格納するための格納装置66、およびプロセッサ64が使用し、データ格納装置66に格納可能なユーザ入力設定を受信するユーザ・インタフェース68を含む。画像センサは電荷結合素子（「CCD」）、すなわち画像の各ピクセル（画素）を強度が色のスペクトルにおける色に関連付けられる電荷に変換した形で画像データを記録する感光性集積回路、を含む。動きのブレを制限する装置50で得られた最大露光時間に基づき、画像取り込み装置60は検知された被写体の輝度に従って画像センサ62を設定し、画像センサ62を用いて画像を取り込み、取り込み画像が露光不足の場合は取り込み画像の輝度を高める。
【００２７】
設計上の条件に基づき、動きのブレを制限する装置50および画像取り込み装置60の構成要素を組み合わせられることが理解されよう。例えば、プロセッサ54および64は同じプロセッサであっても良い。同様に格納装置56および格納装置66は同じ格納装置であっても良い。
【００２８】
図3を見ると、取り込んだ画像のブレを制限するために実施する一般工程を示すフローチャートが示され、参考番号90で全般的に特定される。  ブレ程度の制限において、最初に画像取り込み装置の動き、時間、およびブレ程度間の関係が判定される（工程100）。画像取り込み装置の動き率が次に得られ（工程200）、判定された関係およびブレ程度の限度と併せて画像取り込み装置の最大露光時間を得る基礎として用いられる（工程300）。得られた最大露光時間と必要な画像の輝度に基づき、画像取り込み装置が設定され（工程400）、画像が画像取り込み装置により取り込まれる（工程500）。一旦画像が取り込まれると、必要に応じその輝度（すなわち明るさ）を高めるために処理される（工程600）。
【００２９】
図4は図3の工程100における画像取り込み装置の動き、時間、およびブレの程度間の関係を判定するための工程を示すフローチャートである。最初に実世界対象の座標と画像取り込み装置の画像ピクセル座標との関係が定義される（工程110）。この関係は単純なレンズ・モデルを用いて定義される。
【００３０】
図5は単純なレンズ・モデルに基づき定義された画像取り込み装置モデルを示す概念図である。理解されるように、焦点面は画像面に平行である。用いられるレンズは比較的薄く、その光学軸は画像面に垂直であるという仮定に基づき、レンズは次のレンズの法則に従って作用する、
【数１】
2007097195.tif 000003
ここで、
u はレンズ面から実世界対象までの距離、 
v はレンズ面から集束画像までの距離、および 
f はレンズの焦点距離である。
実世界対象の座標と画像ピクセルの座標との関係に関する以下の考察では次の項が用いられる、
2007097195.tif 000004
実世界対象の座標と画像ピクセルの座標との関係は4つの構成要素を含む。関係の第1の構成要素は画像取り込み装置と実世界対象座標との回転と並進である、
【数２】
2007097195.tif 000005
ここで、
R はX、Y、およびZに対する回転を定義する3x3 の回転マトリクス、および
T は原点間の並進を定義する 3D 並進ベクトルである。
【００３１】
関係の第2の構成要素は実世界対象座標から画像面への透視投影である。この透視投影は簡略化ピンホール・カメラ投影モデルに基づいている、
【数３】
2007097195.tif 000006
2007097195.tif 000007
【数４】
2007097195.tif 000008
ここで、
2007097195.tif 000009
【００３２】
関係の第4の構成要素は焦点面と画像ピクセル座標との変換である、
【数５】
2007097195.tif 000010
従って実世界対象座標と画像ピクセル座標との関係は以下の通り数式２、３、４、および５の組み合わせである、
従って座標投影CP は次のように表現できる、
【数６】
2007097195.tif 000011
また次のように表現できる、
【数７】
2007097195.tif 000012
2007097195.tif 000013
【００３３】
水平および垂直倍率Sx およびSy, は焦点面上の画像センサ62の解像度から計算される。倍率は較正される。
【００３４】
工程110で定義された実世界対象座標と画像ピクセル座標との関係に基づき、画像取り込み装置の動き率、時間、およびピクセル動きの程度を関連付けるモデルが導かれる（工程112）。この実施形態によると、用いられる特定の動き率は後述のされる角速度である。
【００３５】
本明細書で説明される動き率のモデルは簡略さと理解し易さの点から、シャッタが開いている間画像取り込み装置の動きは単に回転であるという仮定に基づいている。この仮定の下では並進ベクトルTはゼロ・ベクトルである、
【数８】
2007097195.tif 000014
この結果、数式７の画像取り込み装置モデルは次のように簡略化できる、
【数９】
2007097195.tif 000015
数式９ における回転マトリクスRは次のように計算される、
【数１０】
2007097195.tif 000016
X軸に対する回転を表すマトリクスは次の通りである、
【数１１】
2007097195.tif 000017
Y軸に対する回転を表すマトリクスは次の通りである、
【数１２】
2007097195.tif 000018
Z軸に対する回転を表すマトリクスは次の通りである、
【数１３】
2007097195.tif 000019
2007097195.tif 000020
【数１４】
2007097195.tif 000021
ここで、
2007097195.tif 000022
【００３６】
回転の前に画像取り込み装置座標は実世界対象座標と位置合わせされる。従って回転前の回転マトリクスは次のとおりである、
【数１５】
2007097195.tif 000023
2007097195.tif 000024
【数１６】
2007097195.tif 000025
ここで、
2007097195.tif 000026
【数１７】
2007097195.tif 000027
簡単さと説明の明快さの目的から、画像取り込み装置で取り込み被写体は露光中動かないと仮定される。数式１７を数式９の中で置き換えることにより、各ピクセルの回転前後の関係が画像座標で得られる、
【数１８】
2007097195.tif 000028
ここで、
(x2,y2) は画像取り込み装置の回転後の実世界対象点Pwに対応する画像の画像ピクセル座標、および 
(x1,y1) は画像取り込み装置の回転前の実世界対象点に対応する画像ピクセル座標である。
【００３７】
画像取り込み装置の動き率、時間およびピクセルの動きの程度を関連付けるモデルが工程112で判定されると、焦点距離、動き率（角速度）、および時間のいくつかの組み合わせがモデルに挿入され、ピクセルの動きをX、Y、およびZ軸各々における動きベクトルの範囲として予め定義される（工程114）。画像における各ピクセルに対する動きベクトルは次のように表すことができる、
【数１９】
2007097195.tif 000029
図6、7、および 8 は焦点距離、角速度、および時間の特定の組み合わせにおいて各々X、Y、およびZ軸の周りの回転を表す動きベクトルの範囲を示す図である。図6において、X軸の周りの純粋な回転の下で、画像面の各点P = (x,y)に対し支配的な動きのベクトルはY座標に沿ってであり、X座標にわずかなずれがある。図7ではY軸の周りの純粋な回転が示され、画像面の各点P=(x,y)に対し支配的な動きのベクトルはX座標に沿ってであり、Y座標にわずかなずれがある。Z軸の周りの純粋な回転を図8に示す。
【００３８】
動きベクトルの範囲が所定の組み合わせに対し判定される。組み合わせは画像取り込み装置を用いて範囲内でいくつの焦点距離が使えるか、画像取り込み装置に範囲内でいくつの露光時間を設定できるか、および画像取り込み装置が範囲内でいくつの角速度を測定できるかに基づき、像取り込み装置60または動きブレ制限装置50を設計する際選択することができる。組み合わせの数は画像取り込み装置60または動きブレ制限装置50が複数の関係を格納できる物理的容量、またはその他の設計ファクタにより制限され得ることは理解されよう。
【００３９】
一旦特定の回転方向に対し動きベクトルの範囲が予め定義されると各範囲に対する重み付き平均の動きベクトルが得られる（工程116）、
【数２０】
2007097195.tif 000030
ここで、
M(x,y) は動きベクトル、および 
Weight(x,y) は座標(x,y)におけるピクセルの重みである。
【００４０】
ピクセルの重み付けは範囲内でより中央に位置するピクセルにより多くの重みが与えられるように適用される。ピクセルの重み付けは設計ファクタに基づき実験により調節できることが理解されよう。
【００４１】
重み付き平均の動きベクトルの程度および角度、従ってピクセルの動き、は次のように計算される、
【数２１】
2007097195.tif 000031
【数２２】
2007097195.tif 000032
動きの程度は角速度と時間の特定組み合わせがもたらすブレの程度である（工程118）。動きの程度および角度の計算を簡略化するために9個のピクセルの重み付き平均の動きベクトルを用いて動きベクトル全体に近似させる。表1はピクセル位置と対応する選ばれた9個のピクセルの重みを示す。
【００４２】
【表１】
2007097195.tif 000033
【００４３】
上述のように、画像取り込み中に画像取り込み装置による計算量を削減し、強力なプロセッサを搭載する必要性を減らすために、最大露光時間を判定する参照テーブルが予め計算されている。すなわち、特定の露光時間と角速度に対し、数式２１を用いて動き（すなわちブレ）の程度を予め計算することができる。焦点距離と角速度の各組み合わせに対し露光限度の参照テーブルが決められ、ここに許容できる程度の動きのブレをもたらす最大露光時間が格納される。
【００４４】
下記の表2は画像取り込み装置のX軸の周りのみの回転に対するブレ程度を予め計算したものを含む一次元参照テーブルである。
【００４５】
【表２】
2007097195.tif 000034
【００４６】
ユーザがいくつかの許容ブレ程度を選べるということも可能である。これら許容ブレ程度をもたらす露光時間と角速度の組み合わせを用いて参照テーブルを作成することができる（工程120）。10ピクセルという許容ブレ程度について、表2から各々の角速度に対し露光限度の参照テーブルを得て、許容限度以下の動き程度をもたらす最大露光時間を特定することができる（工程122）。下記の表3は10ピクセルという許容ブレ程度に対する露光限度の参照テーブルである。
【００４７】
【表３】
2007097195.tif 000035
【００４８】
下記の表4 は許容ブレ程度28ピクセルの場合の露光限度参照テーブルである。
【００４９】
【表４】
2007097195.tif 000036
【００５０】
X、Y、およびZ軸に対する画像取り込み装置の回転をサポートする3次元露光限度参照テーブルを用いることが好ましい。特定のブレ程度に対する露光限度の参照テーブルの例を下記の表5に示す。
【００５１】
【表５】
2007097195.tif 000037
【００５２】
露光限度参照テーブルにおいて線形インデックスを用いることができる。すなわち、表において速度間の間隔を線形にすることができる。しかし、設計上の条件により、参照テーブルを作成するのにGx、 Gy、およびGzの対数分布を用いることが望ましいかもしれない。このような対数インデックスは手の動きによるちいさなジッタが起こりがちな角速度の各々に対する露光限度をより正確に追跡するために、非常に低い角速度における露光限度がより高い比率となる。
【００５３】
線形インデックスの場合、角速度またはジャイロ・インデックス値XX、YY、およびZZは次のように計算される、
【数２３】
2007097195.tif 000038
ここで、
Gmax はジャイロ出力の最大角速度、および 
n is は露光限度参照テーブルにおける各ジャイロに対し有り得るインデックス数である。
【００５４】
以上に見られるように、インデックスの尺度は0とn -1との間にある。nの値は露光限度参照テーブルに必要な精度のレベルに基づいて変えることができる。試験中はn = 32が用いられた。
【００５５】
対数インデックスの場合、ジャイロのインデックス値XX、YY、ZZは次のように計算される、
【数２４】
2007097195.tif 000039
画像取り込み装置の動き、時間、およびブレ程度間の関係が判定され、上述のように参照テーブルに格納されると、画像取り込み装置60の画像取り込み準備ができたことになる。
【００５６】
図9は参照テーブルから対応最大露光時間を判定し、最終的に画取り込み装置60の露光時間を制御するのに用いるためにジャイロ52a から 52cにより画像取り込み装置60の動き率を得るための工程を示すフローチャートである。最初に、X、Y 、およびZ  の各々のジャイロ52a から52c のアナログ出力が得られる（工程210）。電圧量は次にサンプリング・増幅され（工程212）、デジタル値としてアナログ−デジタル変換器から出力される（工程214）。真の角速度をもたらすために、デジタル値は静電的（すなわちゼロ速度）ジャイロ出力量が補正され（工程216）、さらにセンサのゲイン、感度、およびアナログ−デジタル変換器の電圧ステップ・サイズに対し補正される （工程217）。デジタル・ジャイロ出力から出力角速度を得るために次の式が用いられる、
【数２５】
2007097195.tif 000040
ここで、
2007097195.tif 000041
G_AdcStepSize はジャイロのアナログ−デジタル電圧ステップ、および
G_AdcConvertFactor はジャイロのアナログ−デジタル変換係数である。
G_AdcStepSize は次のように計算される、
【数２６】
2007097195.tif 000042
G_AdcConvertFactor は次のように計算される、
【数２７】
2007097195.tif 000043
米国カリフォルニア州ロスガトス市のPixeraTMにより製造されたPENGUIN 基板を用い、10ビットADC値および3.3ボルトのジャイロ出力範囲を有する試験プラットホームが使用された。ジャイロの感度は0.67mv/dps で、AdcGain は100であった。その結果試験プラットホームはジャイロのアナログ−デジタル電圧ステップ・サイズが G_AdcStepSize = 3300 / 210 = 3.22で、ジャイロのアナログ−デジタル変換係数がG_AdcConvertFactor = 0.67 * 100 = 67であった。
【００５７】
画像取り込み装置のX、Y、およびZ次元における動き率を表す角速度が判定された後、参照テーブル、角速度、およびブレ程度の限度に基づく最大露光時間Emaxが得られる。図10は参照テーブルのデータ、画像取り込み装置の角速度、およびブレ程度の限度に基づき最大露光時間Emaxを得るための工程を示すフローチャートである。最初に所定のブレ程度の限度が検索される（工程310）。このブレ程度の限度はユーザによりある範囲内で数個の利用可能なレベルの1つに調節されることができる。画像取り込み装置の焦点距離が次に判定され（工程312）、焦点距離とブレ程度の限度に基づき、参照テーブル（表5に示すようなもの）が自動的に選択される（工程314）。検知されたX、Y、およびZの角速度に基づき、選択された参照テーブルから最大露光時間Emaxが選ばれる（工程316）。
【００５８】
角速度および所定のブレ程度の限度に基づき参照テーブルから最大露光時間Emaxが選ばれると、画像取り込み装置60は最大露光時間Emaxと必要な画像輝度に基づき画像を取り込むように設定される。図11は最大露光時間Emaxおよび必要な画像輝度に基づき画像取り込み装置を設定する工程を示すフローチャートである。本実施形態では、設定工程は画像取り込み装置60の標準的な、輝度に基づく自動露光機能を利用している。
【００５９】
最初に画像取り込み装置の露光時間がEmaxおよび画像取り込み装置の標準的な（輝度に基づく）自動露光時間設定のEautoいずれか低い方に設定される（工程410）、
【数２８】
2007097195.tif 000044
自動露光時間Eautoが最大露光時間Emax以下である場合（工程412）、画像取り込み装置は輝度に基づく自動設定を維持する（工程414）。この場合画像取り込みの際起こるブレはEmaxに対応するブレ程度の限度を越えないので、露光時間Etrueは調節する必要がない。しかし、自動露光時間EautoがEmaxより長い場合、結果として起こるブレの程度はブレ程度の限度設定より大きくなる。この場合、画像取り込み装置のシャッタ速度はEmaxに設定される（工程416）。  取り込み画像の輝度を保つために、調節されたシャッタ速度に基づき画像取り込み装置の絞りのサイズおよびISO設定が自動的に調節される（工程418）。
【００６０】
後に理解されるように、Additive Photographic Exposure System［加法的写真露光システム］によると露光は次のようにバランスされる、
【数２９】
2007097195.tif 000045
ここで、
Av = 絞り値、
Tv = シャッタ速度または時間値、
Sv = 感度値またはフィルム速度値、および
Bv = 被写体の輝度値である。
これらの値は次のように計算される、
【数３０】
2007097195.tif 000046
【数３１】
2007097195.tif 000047
【数３２】
2007097195.tif 000048
【数３３】
2007097195.tif 000049
デジタル・カメラ等多くの画像取り込み装置の標準的な自動露光機能は都合よく露光時間を数式２９に従い計算し、次のような結果となる、
【数３４】
2007097195.tif 000050
露光時間Etrue が短くなると、シャッタ速度が速くなる、
【数３５】
2007097195.tif 000051
ほとんどの場合、画像取り込み装置により取り込まれる被写体の焦点距離と輝度値は一定であると仮定して妥当である。数式２９に従い充分な露光を確保するために、絞りのサイズを変えることによりAvを調節でき、ISO設定を変えることによりSvを調節でき、またはAvおよびSv双方を調節することもできる。2つの調節を組み合わせることにより広範囲の露光時間をサポートすることができる。
【００６１】
ここで絞りのサイズAvのみに対する調節を説明する。Fストップ 番号はレンズの相対絞りであり、レンズが画像取り込み装置に入れる光の量を示すことが理解されよう。
【００６２】
【数３６】
2007097195.tif 000052
【００６３】
焦点距離が変えられない限り、絞りのサイズが大きくなるとFストップが小さくなる。さらに数式３２に従い、Fストップの減少は絞り値Avを減少させる。
【００６４】
露光値(EV) は次のように定義される、
【数３７】
2007097195.tif 000053
絞りのサイズのみが調節される場合、SvおよびBvは変わらないので露光値EVは変わらない。正しい露光では、EtrueとAvtrueは EautoとAvautoの露光値と同じ値を達成するように設定される、
【数３８】
2007097195.tif 000054
数式３２と３３を組み合わせると次が得られる、
【数３９】
2007097195.tif 000055
【数４０】
2007097195.tif 000056
指定Etrueに対するFストップ 値は数式４０を用いて計算することができ、または表6に示すような露光値表が絞り値とシャッタ速度の最も近いペアを与えることができる。
【００６５】
例えば自動露光時間が1/125でFストップが16の場合、EVauto =log2(1/Eauto) + log2(F2) = log2(125) + log2(162) = 6.97 + 8 = 14.98、または約15となる。
【００６６】
Etrue が 1/500の場合、Fストップ値は数式４０によりFtrue = 16/2 = 8と計算できる。露光値のEVtrueは約15である。
【００６７】
【表６】
2007097195.tif 000057
【００６８】
絞りのサイズは不連続的な値からのみ選べるため、露光限度内のシャッタ速度に対し最も近い露光値および絞り値をもたらす正しい（F’true， E’true）のペアを選ぶためにシャッタ速度および絞りサイズの露光値表が用いられる。これは露光値表を参照する関数の形で実施することができる、
【数４１】
2007097195.tif 000058
Etrue が1/800で露光値が15の場合、Fストップ値は数式４０を用いFtrue = 6.32と計算できる。表6によると、f16において1/125秒、f11において1/250秒、f8において1/500秒、およびf5.6において1/1000秒、の4つの組み合わせで15という露光値が得られる。露光値が15をもたらす可能性の内、限度内のシャッタ速度を有する（F’true， E’true）ペアはf5.6における1/1000秒である。露光時間Etrue=1/800はE’true=1/1000に調節され、Ftrue = F’true= f5.6になる。
【００６９】
Ftrue が最小絞りサイズより小さい場合、露光値表には正しい露光値を達成する（F’true, E’true）組み合わせがない。この場合、絞りサイズは利用できる最大の絞りサイズに設定され、Etrueを用いて画像が取り込まれる、
【数４２】
2007097195.tif 000059
次にISO設定Svのみを調節した場合を説明する。数式２９ は次のように書くことができる、
【数４３】
2007097195.tif 000060
Svのみが調節され、絞り値Avは変わらない場合、Av - Bvは変わらない。数式４３により、正しい露光条件は次のように表すことができる、
【数４４】
2007097195.tif 000061
数式３０と３３に基づき、数式４４は次のように表すことができる、
【数４５】
2007097195.tif 000062
ISOtrue は次のように得られる、
【数４６】
2007097195.tif 000063
例えば、自動露光時間Eautoが1/125、ISO設定ISOautoが100でEtrue = 1/500の場合、ISOtrueは400となる。
【００７０】
感度を増加すると、センサの出力が増幅されるので、光はより少なくて良い。しかし、センサの増幅は望ましくないノイズも増幅することを理解する必要がある。さらに、動きの量が大量の場合動きのブレを防ぐために、または光が非常に暗い状況において露光時間を非常に短時間に減らすと、最大の絞りサイズを用いても露光不足の画像が得られる可能性がある。したがってAvとSv双方を調節する方が、片方のみの調節より取り込み画像の質が良くなる可能性がある。AvとSv双方を調節する土台として、数式２９は次のように提示することができる、
【数４７】
2007097195.tif 000064
被写体の明るさBv は変わらないという仮定に基づき、次が得られる、
【数４８】
2007097195.tif 000065
数式３０、３２、３３および４８に基づき、絞りとISO設定双方の調節は次のように関連付けられる、
【数４９】
2007097195.tif 000066
高ISO設定により取り込まれるノイズを最小限にするために、まず絞りサイズが数式４１と４２により調節され、次にISO 設定が数式４９により次のように調節される、
【数５０】
2007097195.tif 000067
画像取り込み装置が最大露光時間Emaxおよび必要な画像輝度に基づき設定されると、画像取り込み装置60は画像取り込みの準備が整ったことになる（工程500）。一旦画像が取り込まれると、露光不足の場合は下記のように処理され、画像内のピクセル輝度を高めることにより画像を明るくする。
【００７１】
画像センサ62のCCDのシリコン表面にフォトンが当たると電子が放たれることが一般的に理解されている。電子はコンデンサに移され、荷電したコンデンサに誘発される電圧が測定、増幅され、最後にアナログ−デジタル変換器を用いてデジタル化される。
【００７２】
フォトンの到着はポアソン分布としてモデル化され、出来事が起こる可能性は観察の持続時間に比例するという一般的な特性を有する。そこで、フォトンの到着は次のようにモデル化される、
【数５１】
2007097195.tif 000068
ここで、
2007097195.tif 000069
【００７３】
画像取り込み装置のゲインはデシベル（dB）で定義され、これは相対電力比の常用対数の1/10である。
【００７４】
【数５２】
2007097195.tif 000070
【００７５】
ここで、
P 1 とP 2 は実際の電力の測定である。
【００７６】
電力比は次が該当するので電圧とインピーダンス、U とR、により表すことができる、
【数５３】
2007097195.tif 000071
数式５２と５３を組み合わせると、dBのゲインは次のように表すことができる、
【数５４】
2007097195.tif 000072
特にデジタル・カメラの場合、ピクセル値の輝度は増幅器の出力U2に比例する。入力信号U1はフォトンの到着に比例する。デジタル・カメラのゲインはピクセル輝度値およびフォトンの到着に関して次のように表すことができる、
【数５５】
2007097195.tif 000073
ここで、
2007097195.tif 000074
【００７７】
Eauto とGauto は正しい露光を達成できると仮定される。EtrueとGtrueを用いて同じ露光を得ることが望ましい場合、数式５５に基づき次の関係が得られる、
【数５６】
2007097195.tif 000075
【数５７】
2007097195.tif 000076
数式５６と５７を組み合わせると、次が得られる、
【数５８】
2007097195.tif 000077
ISO設定とゲイン値との関係は次のように定義されることが理解されよう、
【数５９】
2007097195.tif 000078
数式５９を用い、GautoとGtrue およびISOtrueとISOautoとの関係は次のように表すことができる、
【数６０】
2007097195.tif 000079
数式６０を数式５９と組み合わせると、輝度値、露光時間、およびISO設定間の関係を得ることができる、
【数６１】
2007097195.tif 000080
縮小された露光時間を前提とすると、正しい露光のゲイン補正は次のように表すことができる、
【数６２】
2007097195.tif 000081
ゲイン補正を用いた正しい露光条件の下では、数式６２を数式６１の中に置き換えることにより、EautoとGautoを用いて取り込んだ画像の輝度値はEtrueとGtrueを用いて取り込んだ画像の輝度値と同じになる。すなわち次のようになる、
【数６３】
2007097195.tif 000082
しかし、ゲイン補正がないかまたは不十分である場合、EtrueとGtrueを用いて取り込んだ画像の輝度値はEautoとGautoを用いて取り込んだ画像の輝度値より暗くなる、
【数６４】
2007097195.tif 000083
Etrue とGtrueを用いて露光不足の取り込み画像を明るくするためには、輝度を「増光」係数で補正する必要がある、
【数６５】
2007097195.tif 000084
ゲイン補正により正しい露光が得られている場合、BrightenFactor は1 である、
【数６６】
2007097195.tif 000085
【００７８】
数式６６は理想的なCCDセンサの場合にのみ有効であることは理解されよう。完璧なCCDが用いられたとすると、レンズに入射する光の量とその結果得られるピクセルの明るさとには直接的な関係が存在する。すなわち、レンズに入る明るさが2倍に増加したとすると、その結果得られるピクセルは2倍の輝度になる。しかし、実際のCCDセンサは高輝度において飽和することが理解されよう。
【００７９】
増光化における飽和の簡単なモデルはCCD露光の特性曲線を測定し、その後露光プロセスのシミュレーションを行なうことにより得られる。128を「中間」露光輝度に用いると、飽和モデルは次の関数に基づくことになる、
【数６７】
2007097195.tif 000086
図12は線形輝度飽和曲線と対数輝度飽和曲線双方を示す。飽和モデルに基づき、取り込み画像は明るくすることができる。図13のフローチャートを参照すると、取り込み画像はまずYIQ 色空間に変換され、輝度チャンネルYが得られる（工程610）。画像の取り込みに用いられたEtrue、Eauto、ISOtrue、およびISOauto設定が検索され、数式６５を用いて増光係数BrightenFactor が計算される（工程614）。BrightenFactor が1以下の場合（工程616）、BrightenFactor を適用すると取り込み画像を暗くするか、何ら影響を与えないかのいずれかであるので、単に取り込まれた画像が後処理画像として出力される（工程618）。しかしBrightenFactor が1を越えると、数式６６ により、取り込み画像の輝度チャンネルYに適用される（工程620）。数式６７により、明るくされたピクセル輝度は次に飽和される（工程622）。
【００８０】
明るくされたピクセル輝度が飽和した後、変更された輝度チャンネルYがYIQ画像から抽出されたものを置き換え（工程624）、変更されたYIQ画像がRGBに戻され（工程626）、後処理画像として出力される（工程628）。
【００８１】
上述の例において、画像取り込み装置の動き、時間、およびブレ程度間の関係の判定は画像取り込み装置の動き、時間およびブレ程度を関連付ける所定の、変換に基づいたモデルを土台になされる。しかし、関係をモデル化する代わりに、画像取り込み装置の動き率と露光時間の各種組み合わせを用いてテスト画像を取り込み、テスト画像のブレ程度を測定することができる。図14はこの代替手法の際に実施される工程を示すフローチャートで、ここでは画像取り込み装置の動き、時間、およびブレ程度間の関係を判定するテスト画像が取り込まれる。
【００８２】
図14をみると、焦点距離、角速度、および露光時間のいくつかの組み合わせが予め決められており、画像取り込み装置を設定するために用いられ、テスト画像を取り込む（工程150）。図15は画像取り込み装置の特定焦点距離に対する露光時間と角速度の各種組み合わせで得られた多数の テスト画像の例を示す。一旦テスト画像が取り込まれると、テスト画像各々におけるブレ程度が測定され（工程152）、焦点距離、角速度、および露光時間の各々に関連付けられる。図16は特定の角速度において図15の画像で測定される露光時間とブレ程度との関係を示す曲線である。角速度と露光時間の組み合わせは次にブレ程度の所定許容レベルのそれら（ユーザが選択できる不連続量として設計上予め決めることができる）と関連付けられ、許容ブレ程度のレベル各々に対し角速度と露光時間が関連付けられる（工程154）。図17は露光時間と角速度との関係を示すグラフである。図17は各種許容できるブレ程度に対する露光時間と角速度の関係を示すグラフである。図17に示すような関係は参照テーブルの不連続値として画像取り込み装置または別の場所に格納することができる（工程156）。あるいはこれらの関係は処理および格納条件に関わる設計条件 により関数として維持することもできることは理解されよう。
【００８３】
図3の工程400に関する第１の実施形態において、最大露光時間Emaxおよび必要な画像輝度に関する画像取り込み装置の設定は、輝度に基づく自動露光時間Eautoが最大露光時間Emaxを越えた場合、画像取り込み装置の自動露光設定が無効になるという前提でなされる。しかし別の方法も可能である。例えば、図18を参考に、別の自動露光機能に依存しない最大露光時間Emaxを前提に画像取り込み装置を設定する別の方法400aを以下に説明する。  
最初にいくつかの変数が検索される。変数の第1の組は画像取り込み装置がサポートする最小および最大露光時間Edevice_minとEdevice_maxである（工程450）。変数の第2の組はユーザ指定または設計による所定の許容最小および最大輝度範囲設定yminとymaxである（工程452）。第3の変数はユーザ指定の露光時間ステップE_stepである（工程454）。
【００８４】
次に画像取り込み装置の現行露光設定Etrueを用いてテスト画像が取り込まれる（工程456）。取り込みテスト画像におけるピクセルの平均輝度ymeasured が次に測定される（工程458）。Etrue がEmaxより大きい場合（工程460）、Etrue はEmaxに等しくなるようリセットされ（工程462）、さもないとブレ程度の限度を越えるブレが生じる。工程456以降は新しいEtrueを用いて反復される。
【００８５】
工程460で Etrue がEmaxより大きくない場合、Etrue はEdevice_minと比較される（工程464）。Etrue がEdevice_minより小さい場合、ピクセルの平均輝度ymeasuredを最小輝度設定yminと比較し（工程466）、工程456以降のプロセスを反復するためにEtrueのリセット値を判定する。リセット値を判定するために、ymeasuredがymin以上である場合、EtrueはEminに設定される（工程470）。  他方、ymeasuredがymin未満である場合、EtrueはEtrue + E_stepおよびEmaxのいずれか低い方にリセットされる（工程468）。
【００８６】
工程464において、Etrue が Edevice_minより小さくない場合、ymeasured をymaxと比較する（工程472）。  ymeasured がymaxより大きい場合、Etrueは輝度を許容範囲により近づけるためにEtrue - E_stepおよびEminのいずれか高い方にリセットされ（工程474）、次にリセットされたEtrueを用いて工程456以降が反復される。ymeasured is がymaxより大きくない場合、ymeasuredをyminと比較する（工程476）。ymeasured がさらにymin以上である場合、露光時間および輝度双方が許容範囲内であり、画像はEtrueを用いて取り込むことができる（工程482）。他方ymeasuredがymin未満の場合、EtrueがEmaxに等しければ（工程478）調節による改善はできなく、画像はEtrueを用いて取り込むことができる（工程482）。それ以外の場合EtrueはEtrue + E_stepおよびEmaxのいずれか低い方に設定され（工程480）、プロセスは工程456で反復される。
【００８７】
図18のフローチャートに示すプロセスは図19に示す画像輝度対露光時間のグラフを参照するとより良く理解できるであろう。グラフはA-F の領域に分割され、Etrueとymeasuredの各組み合わせは1つの領域に該当する。組み合わせの該当する領域が露光時間のリセット値を決定し、矢印は規則を図式的に表している、
A、 Etrue = 最小(Etrue + E_step, Emax)
B、 Etrue = exmin
C、 Etrue = 最小(Etrue + E_step, Emax)
D、 Etrue 変更無し、画像取り込み
E、 Etrue = 最大(Etrue - E_step, Emin)
F、 Etrue = Emax
理解されるように、この代替方法400aの操作は標準の自動露光機能の操作に類似している。すなわち、領域CおよびEにおいて、露光は画像の明るさに基づいて調節される。しかし、方法は領域Fにおいて典型的な自動露光システムと異なり、露光は画像の明るさに関係なく低くされる。
【００８８】
取り込み画像の処理および特に必要な場合画像を明るくすることは工程600に関連し、特定の飽和モデルに基づき本明細書で説明されている。ここでも別の方法を利用することはできる。例えば、取り込み画像を明るくするための1つの代替方法600aは以降図20に関連して説明するように、ピクセル輝度のヒストグラムをシフトし、ストレッチすることによる。
【００８９】
最初に、ユーザが予め定義した（すなわち調節可能な）パラメータmax_ymaxおよびのmin_ymax輝度値、およびmin_ndimピクセル・パーセンテージ値が検索される（工程650）。
【００９０】
max_ymax 輝度値はヒストグラムのストレッチの上限である。値ymax は画像内の情報の殆ど（すなわち、平均輝度の標準偏差が2以内の輝度を有するピクセル）がこのymax未満の輝度を有するように計算される。輝度>= ymaxを有するピクセルが輝度255にストレッチされるようにヒストグラムがストレッチされる。ymax が既に255に充分に近い場合（すなわちymax >= max_ymaxの場合）、画像は充分に明るいのでさらに明るくする必要がない。
【００９１】
min_ymax の値はヒストグラムのストレッチの下限である。ymax がこの値未満の場合、画像は非常に薄暗く見える。ymax輝度からヒストグラムをストレッチすると不自然な画像になるので、ヒストグラムはmin_ymax輝度からストレッチされる。
【００９２】
ndim の値は通常ストレッチされシフトされるピクセルのパーセンテージを表す。残りの1- ndimピクセルは255で飽和される。細部の喪失を最小限にするために、増光プロセスはndimがmin_ndim未満の場合画像を明るくしようとしない。さもないと飽和されたピクセルが多くなり過ぎる。
【００９３】
テストの際、次の値が用いられた、
max_ymax = 204、
min_ymax = 128、 および
min_ndim = 80%.
一旦予め定義された設定が検索されると、取り込み画像はYIQ空間に変換され、輝度チャンネルYが得られる（工程652）。ピクセル輝度蓄積のヒストグラムが次にYチャンネルから、Yチャンネル値によりピクセルをグループ化することにより、作成される（工程654）。
【００９４】
平均輝度(μ) および標準偏差(σ) の値がヒストグラムから計算され（工程656）、ymax値が次のように設定される（工程658）、
【数６８】
2007097195.tif 000087
次に、輝度がymaxより低いピクセルの数を数え（工程660）、それを用いてymaxより低い輝度のピクセルのパーセンテージndimを得る。次の条件が真でない場合（工程662）、
【数６９】
2007097195.tif 000088
取り込み画像を明るくする必要はなく、未処理の取り込み画像が出力される（工程664）。工程662の条件が真の場合、ヒストグラムのストレッチ係数が次のように定義される（工程666）、
【数７０】
2007097195.tif 000089
同様に、ヒストグラムのシフト係数が次のように定義される（工程668）、
【数７１】
2007097195.tif 000090
数式７０と７１を用い、各ピクセルの輝度yijが次のように調節され（工程670）、修正輝度チャンネルYが作成される、
【数７２】
2007097195.tif 000091
修正輝度チャンネルYはYIQ画像から抽出されたものを置き換え（工程672）、修正YIQ画像は再びRGBに変換され（工程674）、後処理画像として出力される（工程676）。
【００９５】
図21は一連の画像と対応するピクセル輝度のヒストグラムである。未処理の取り込み画像がそのヒストグラムとともに図示され、次に処理された画像で最初にストレッチされ、次にシフトされたヒストグラムが図示される。比較用に標準の自動露光を用いて露光時間を制限せずに撮った画像とその対応ヒストグラムも図示される。
【００９６】
図22 から39は 露光不足の取り込み画像の例と図13および20における工程600および600aに関連して説明した増光方法を用いて明るくした対応画像を示す。以下の表7は未処理と処理された画像とを関連付ける。
【００９７】
【表７】
2007097195.tif 000092
【００９８】
実施形態が説明されたが、当業者は添付の特許請求の範囲に定義される精神および範囲を逸脱することなく変形および修正をなし得ることを理解するであろう。
【図面の簡単な説明】
【００９９】
【図１】動きのブレを制限する装置のブロック図。
【図２】図1における動きのブレを制限する装置を組み入れた画像取り込み装置のブロック図。
【図３】図2における画像取り込み装置を用いて取り込んだ画像のブレを制限するために実施する工程を示すフローチャート。
【図４】画像取り込み装置の動き、時間、およびブレの程度間の関係を判定するための工程を示すフローチャート。
【図５】単純なレンズ概念に基づく画像取り込み装置モデルの透視図を示す概念図
【図６】X軸の周りの動きを表す動きベクトルの範囲を示す図。
【図７】Y軸の周りの動きを表す動きベクトルの範囲を示す図。
【図８】Z軸の周りの動きを表す動きベクトルの範囲を示す図。
【図９】ジャイロを用いて画像取り込み装置の動き率を得るための工程を示すフローチャート。
【図１０】関係、画像取り込み装置の動き率、およびブレ程度の限度に基づき最大露光時間を得るための工程を示すフローチャート。
【図１１】最大露光時間および必要な画像輝度に基づき画像取り込み装置を設定する工程を示すフローチャート。
【図１２】直線および対数画像輝度飽和曲線双方を示す図。
【図１３】輝度を増加するために取り込み画像を処理する工程を示すフローチャート。
【図１４】画像取り込み装置の動き、時間、およびブレ程度間の関係を判定する代わりの工程を示すフローチャート。
【図１５】図12［14?］における代わりの工程の際用いられた画像取り込み装置の露光時間および角速度の各種組み合わせにおいて撮られた多数のテスト画像
【図１６】図13［15?］の露光時間および画像で測定されたブレ程度間の関係を示すグラフ。
【図１７】各種許容できるブレ程度について露光時間および角速度間の関係を示すグラフ。
【図１８】最大露光時間および必要な画像輝度設定に基づき画像取り込み装置を設定するための代わりの工程を示すフローチャート。
【図１９】図16［18?］の代わりの工程を説明する画像輝度対露光時間のグラフ
【図２０】輝度を増加するために取り込み画像を処理するための代わりの工程を示すフローチャート。
【図２１】図20の代わりの工程を説明する画像の配列および対応するピクセル輝度のヒストグラム。
【図２２】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２３】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２４】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２５】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２６】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２７】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２８】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図２９】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３０】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３１】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３２】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３３】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３４】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３５】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３６】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３７】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３８】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【図３９】露光不足の画像例と図13および20の輝度増加手法を用いて輝度が増加された対応画像。
【符号の説明】
【０１００】
50  動きブレ制限装置
52a  Xジャイロ
52b  Yジャイロ
52c   Zジャイロ
53a  アナログ−デジタル変換器
53b  アナログ−デジタル変換器
53c  アナログ−デジタル変換器
54  プロセッサ
56  格納装置
62  画像センサ
63  輝度検知器
64  プロセッサ
66  格納装置
68  ユーザ・インタフェース
【図１】
2007097195.tif 000093
【図２】
2007097195.tif 000094
【図３】
2007097195.tif 000095
【図４】
2007097195.tif 000096
【図５】
2007097195.tif 000097
【図６】
2007097195.tif 000098
【図７】
2007097195.tif 000099
【図８】
2007097195.tif 000100
【図９】
2007097195.tif 000101
【図１０】
2007097195.tif 000102
【図１１】
2007097195.tif 000103
【図１２】
2007097195.tif 000104
【図１３】
2007097195.tif 000105
【図１４】
2007097195.tif 000106
【図１６】
2007097195.tif 000107
【図１７】
2007097195.tif 000108
【図１８】
2007097195.tif 000109
【図２０】
2007097195.tif 000110
【図１５】
2007097195.tif 000111
【図１９】
2007097195.tif 000112
【図２１】
2007097195.tif 000113
【図２２】
2007097195.tif 000114
【図２３】
2007097195.tif 000115
【図２４】
2007097195.tif 000116
【図２５】
2007097195.tif 000117
【図２６】
2007097195.tif 000118
【図２７】
2007097195.tif 000119
【図２８】
2007097195.tif 000120
【図２９】
2007097195.tif 000121
【図３０】
2007097195.tif 000122
【図３１】
2007097195.tif 000123
【図３２】
2007097195.tif 000124
【図３３】
2007097195.tif 000125
【図３４】
2007097195.tif 000126
【図３５】
2007097195.tif 000127
【図３６】
2007097195.tif 000128
【図３７】
2007097195.tif 000129
【図３８】
2007097195.tif 000130
【図３９】
2007097195.tif 000131