(57)【要約】  カメラ又はカメラモジュールを用いて画像をキャプチャするための改善されたシステム及び方法である。本発明では、撮影される画像ショットの数、並びに各画像ショットの統合時間が、カメラの動きの有無に関する知識に基づいて制御される。予め設定された動き閾値を超える動きが検出されると常に、現在の画像ショットの統合フェーズは終了し、次の画像ショットの統合が始まる。従って、本発明は、露光中の実際のカメラの動きに適応する。カメラの動きがない場合には、長く露光された単一の画像ショットがキャプチャされる。カメラの動きがある場合は、カメラの動きの程度に応じて総露光時間が複数のショット間で分割される。【選択図】図５
2009508425.tif 000002
【特許請求の範囲】
【請求項１】
画像キャプチャ期間にわたりカメラを用いて画像をキャプチャする方法であって、
フレームをキャプチャするための統合フェーズを開始する段階と、
予め設定された動き閾値を超える動きが前記カメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、前記統合フェーズを終了させて、前記キャプチャされたフレームを保存する段階と、
前記キャプチャされたフレームについての前記統合フェーズの時間が前記画像キャプチャ期間の時間に達しない場合には、前記統合フェーズの総時間が前記画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続する段階と、
前記キャプチャされたフレームの各々を合成することにより最終写真を生成する段階と、
を含む方法。
【請求項２】
前記カメラにおける動きが、少なくとも１つの運動センサを用いて検出される、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記動き検出閾値が、前記画像のキャプチャ時に用いられるズーム比に応じて自動的に調整される、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記動き検出閾値が、前記ユーザにより手動で調整可能である、
ことを特徴とする請求項１に記載の方法。
【請求項５】
各統合フェーズが最小露光時間量を有する、
ことを特徴とする請求項１に記載の方法。
【請求項６】
各統合フェーズの開始がカメラシャッターの開口を含み、前記各統合フェーズの終了が前記カメラシャッターの閉口を含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記最終写真の生成が、各ピクセルごとに、前記同じピクセルに関してキャプチャされた画像の各々のピクセル値に基づいて最終ピクセル値を計算する段階を含む、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記予め設定された統合期間が前記画像キャプチャ期間を含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
少なくとも１つの運動センサが少なくとも１つの加速度計を含む、
ことを特徴とする請求項２に記載の方法。
【請求項１０】
前記キャプチャされたフレームの各々を保存する前に処理する段階を更に含む、
ことを特徴とする請求項１０に記載の方法。
【請求項１１】
前記処理段階がカラー補間を含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
画像キャプチャ期間にわたりカメラを用いて画像をキャプチャするためのコンピュータプログラム製品であって、
フレームをキャプチャするための統合フェーズを開始するコンピュータコードと、
予め設定された動き閾値を超える動きが前記カメラで検出された場合、又は予め設定された統合期間の最後に達した場合に、前記統合フェーズを終了させて、前記キャプチャされたフレームを保存するコンピュータコードと、
前記キャプチャされたフレームについての前記統合フェーズの時間が前記画像キャプチャ期間の時間に達しない場合には、前記統合フェーズの総時間が前記画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続するコンピュータコードと、
前記キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードと、
を含む
コンピュータプログラム製品。
【請求項１３】
前記動き検出閾値が、前記画像のキャプチャ時に用いられるズーム比に応じて自動的に調整される、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１４】
前記動き検出閾値が前記ユーザにより手動で調整可能である、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１５】
各統合フェーズが最小露光時間量を有する、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１６】
各統合フェーズの開始がカメラシャッターの開口を含み、前記各統合フェーズの終了が前記カメラシャッターの閉口を含む、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１７】
前記最終写真の合成が、各ピクセルごとに、前記同じピクセルに関してキャプチャされた画像の各々のピクセル値に基づいて最終ピクセル値を計算することを含む、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１８】
前記予め設定された統合期間が画像キャプチャ期間を含む、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項１９】
前記キャプチャされたフレームの各々を保存する前に処理するコンピュータコードを更に含む、
ことを特徴とする請求項１２に記載のコンピュータプログラム製品。
【請求項２０】
前記処理段階がカラー補間を含む、
ことを特徴とする請求項１９に記載のコンピュータプログラム製品。
【請求項２１】
プロセッサと、
前記プロセッサに動作可能に接続されたカメラモジュールと、
前記プロセッサに動作可能に接続された記憶装置と、
を備える電子デバイスであって、
前記記憶装置が、
前記カメラモジュールを用いてフレームをキャプチャするための統合フェーズを開始するコンピュータコードと、
予め設定された動き閾値を超える動きが前記カメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、前記統合フェーズを終了させて、前記キャプチャされたフレームを保存するコンピュータコードと、
前記キャプチャされたフレームについての前記統合フェーズの時間が前記画像キャプチャ期間の時間に達しない場合には、前記統合フェーズの総時間が前記画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続するコンピュータコードと、
前記キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードと、
を含む、
ことを特徴とする電子デバイス。
【請求項２２】
前記動き検出閾値が、前記画像のキャプチャ時に用いられるズーム比に応じて自動的に調整される、
ことを特徴とする請求項２１に記載の電子デバイス。
【請求項２３】
前記動き検出閾値が、前記ユーザにより手動で調整可能である、
ことを特徴とする請求項２１に記載の電子デバイス。
【請求項２４】
前記最終写真の生成が、各ピクセルごとに、前記同じピクセルに関してキャプチャされた画像の各々のピクセル値に基づいて最終ピクセル値を計算することを含む、
ことを特徴とする請求項２１に記載の電子デバイス。
【請求項２５】
各統合フェーズが最小露光時間量を有する、
ことを特徴とする請求項２１に記載の電子デバイス。
【請求項２６】
前記予め設定された統合期間が前記画像キャプチャ期間を含む、
ことを特徴とする請求項２１に記載の電子デバイス。
【請求項２７】
前記記憶装置が、前記キャプチャされたフレームの各々を保存する前に処理するコンピュータコードを更に含む、
ことを特徴とする請求項２１に記載の電子デバイス。
【請求項２８】
画像を合焦するように位置決めされるレンズと、
前記レンズにより合焦された前記画像を受け取るセンサユニットと、
前記センサユニットに動作可能に接続されたプロセッサと、
前記プロセッサに動作可能に接続された記憶装置と、
を備えるカメラモジュールであって、
前記記憶装置が、
フレームをキャプチャするための統合フェーズを開始するコンピュータコードと、
予め設定された動き閾値を超える動きが前記カメラモジュールにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、前記統合フェーズを終了させて、前記キャプチャされたフレームを保存するコンピュータコードと、
前記キャプチャされたフレームについての前記統合フェーズの時間が前記画像キャプチャ期間の時間に達しない場合には、前記統合フェーズの総時間が前記画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続するコンピュータコードと、
前記キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードと、
を含む、
ことを特徴とするカメラモジュール。
【請求項２９】
請求項１に記載の前記方法を実行するようにプロセッサを制御するためのコンピュータ実行可能命令を備えたコンピュータ実行可能命令セット。
【請求項３０】
画像キャプチャ期間にわたりカメラモジュールを用いて画像をキャプチャするためのコンピュータプログラムであって、
フレームをキャプチャするための統合フェーズを開始する手段と、
予め設定された動き閾値を超える動きが前記カメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、前記統合フェーズを終了させて、前記キャプチャされたフレームを保存する手段と、
前記キャプチャされたフレームについての前記統合フェーズの時間が前記画像キャプチャ期間の時間に達しない場合には、前記統合フェーズの総時間が前記画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続する手段と、
前記キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードと、
を含む、
ことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、カメラ及びカメラモジュールの分野に関する。より詳細には、本発明は、カメラ及びカメラモジュールにおける画像安定化を改善するためのシステムに関する。
【背景技術】
【０００２】
写真撮影術の初めから画像の安定化は一貫した課題であった。カメラの動きに起因して写真が確実にぼけないようにする問題は、今日までカメラ技術が進歩したにもかかわらず依然として課題として残っている。デジタルカメラにおいて、画像安定化の問題は、いずれの公知の画像センサも本明細書で統合時間と呼ばれる時間期間中に画像をそのセンサ上に投影させる必要があるという事実によって生じる。この時間中のカメラのあらゆる動きにより、センサ上に投影された画像のシフトが生じ、結果的に最終画像の劣化を招く。この劣化を本明細書ではモーションブラーと呼ぶ。
【０００３】
モーションブラーを生じた画像を元に戻す際に主に難しいことの１つは、モーションブラーが各劣化画像で異なるという事実に関連する。モーションブラーのレベルは、露光時間中に発生するカメラの動きに依存する。
【０００４】
画像取り込み機能を備える消費者デバイスの継続的な発展及び小型化により、堅牢で効率的な画像安定化解決策に対する必要性が増大した。この必要性は、２つの主要因により誘発される。最初の要因は、カメラ付き電話などの小型のハンドヘルドデバイスの使用時には、本来的に統合時間中の不要な動きが回避し難いことである。２番目の要因は、画像解像度の増大と併せて画像センサの小型化の結果として生じる小さなピクセルエリアによってより長い統合時間が必要となることである。ピクセルエリアが小さくなるほど、ピクセルによりキャプチャすることができる１秒あたりの光子がより少なくなる。従って、満足のいく結果を得るためにはより長い統合時間が必要とされる。
【０００５】
現在、画像の安定化に対処するための従来の解決策には２種類ある。これらの解決策は、シングルショットソリューション及びマルチショットソリューションと呼ばれる。シングルショットソリューションは、長い露光時間中に単一の画像ショットをキャプチャすることに基づくソリューションである。これは画像キャプチャの伝統的なシステムであり、取得された画像は、露光時間中に発生した動きに起因するモーションブラーにより通常は損なわれる。画像を元に戻すには、露光時間中に発生した動きに関しての極めて正確な知識を持つ必要がある。その結果、この手法は、サイズも大きく、従って小型デバイスに含めるのは難しい高価な運動センサ（すなわちジャイロスコープの形で）を必要とする場合がある。更に、露光時間が大きい場合、運動センサ出力から得られる位置情報は、真の値に対してバイアスドリフトエラーを示す。バイアスドリフトエラーは時間と共に蓄積し、時間が経過すると処理結果が著しく損なわれる可能性がある。
【０００６】
幾つかの事業体では、高性能カメラに特定のタイプのシングルショットソリューションを実装してきた。この手法は、露光時間中に光学素子又はセンサを動かして、センサの同じ位置上に画像を投影させ続けるようにすることで、動きを補償する段階を含む。しかしながら、このソリューションはまた、システムドリフトエラーを受け、従って、長い露光時間に関しては実用的でない。
【０００７】
対照的に、マルチショットソリューションは、同じ場面の複数の画像ショットをキャプチャすることで長い露光時間を幾つかのより短い区間に分けることに基づいている。個々のショットのモーションブラー劣化を軽減するために、各ショットの露光時間は小さい。これら全てのショットをキャプチャした後、最終画像が２段階で計算される。最初の段階は、最初の画像ショットに対して全ての画像ショットを位置合わせすることを含む。これは位置合わせ段階と呼ばれる。２番目の段階は、ピクセル融合と呼ばれ、個々のショットの各々のピクセル値に基づいて最終画像内の各ピクセルの値を計算する段階を含む。ピクセル融合の１つの簡単な方法は、個々のピクセルの最終値を個々のショット内のピクセル値の平均として計算する段階を含む。
【０００８】
マルチショットソリューションは、上述の問題の一部は解決するが、短い時間区間中に複数の高解像度フレームをキャプチャするために大容量の計算用リソースを必要とする。更に、これらの方法はまた、キャプチャした画像ショットをピクセル融合段階前に格納するための大容量メモリも必要とする。これは、メモリリソースが極めて限定されている場合が多いより小型のデバイスに実装するには特に高価になる可能性がある。
【発明の開示】
【０００９】
本発明は、画像キャプチャのためのマルチショットソリューションとシングルショットソリューションとのハイブリッド手法を提供する。本発明では、撮影される画像ショットの数、並びに各画像ショットの統合時間がカメラのあらゆる動きの有無に関する知識に基づいて制御される。動きが検出されると常に、現在の画像ショットの統合フェーズは終了し、次の画像ショットの統合が始まる。従って、本発明は、露光中の実際のカメラの動きに適応する。カメラの動きがない場合には、長く露光された単一の画像ショットがキャプチャされる。カメラの動きがある場合には、カメラの動きの程度に応じて総露光時間が複数のショット間で分割される。
【００１０】
本発明は、画像キャプチャ期間にわたりカメラを用いて画像をキャプチャする方法を含む。本方法は、フレームをキャプチャするための統合フェーズを開始する段階を含む。予め設定された動き閾値を超える動きがカメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、統合フェーズは終了され、キャプチャされたフレームが保存される。キャプチャされたフレームについての統合フェーズの時間が画像キャプチャ期間の時間に達しない場合には、統合フェーズの総時間が画像キャプチャ期間の時間に達するまでフレームのキャプチャと保存が続けられ、その後、キャプチャされたフレームの各々を合成することにより最終写真が生成される。
【００１１】
本発明はまた、画像キャプチャ期間にわたりカメラを用いて画像をキャプチャするためのコンピュータプログラム製品も含む。本コンピュータプログラム製品は、フレームをキャプチャするための統合フェーズを開始するコンピュータコードと、予め設定された動き閾値を超える動きがカメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、統合フェーズを終了させて、キャプチャされたフレームを保存するコンピュータコードと、キャプチャされたフレームについての統合フェーズの時間が画像キャプチャ期間の時間に達しない場合には、統合フェーズの総時間が画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続するコンピュータコードと、キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードとを含む。
【００１２】
本発明は更に、プロセッサと、プロセッサに動作可能に接続された記憶装置とを備えた電子デバイスを含む。本記憶装置は、フレームをキャプチャするための統合フェーズを開始するコンピュータコードと、予め設定された動き閾値を超える動きがカメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、統合フェーズを終了させて、キャプチャされたフレームを保存するコンピュータコードと、キャプチャされたフレームについての統合フェーズの時間が画像キャプチャ期間の時間に達しない場合には、統合フェーズの総時間が画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続するコンピュータコードと、キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードとを含む。
【００１３】
本発明はまたカメラモジュールを含む。カメラモジュールは、画像を合焦するように位置決めされるレンズと、レンズにより合焦された画像を受け取るセンサユニットと、センサユニットに動作可能に接続されたプロセッサと、プロセッサに動作可能に接続された記憶装置とを備える。記憶装置は、フレームをキャプチャするための統合フェーズを開始するコンピュータコードと、予め設定された動き閾値を超える動きがカメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、統合フェーズを終了させて、キャプチャされたフレームを保存するコンピュータコードと、キャプチャされたフレームについての統合フェーズの時間が画像キャプチャ期間の時間に達しない場合には、統合フェーズの総時間が画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続するコンピュータコードと、キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードとを含む。
【００１４】
本発明は更に、画像キャプチャ期間にわたりカメラモジュールを用いて画像をキャプチャするためのコンピュータプログラムを含む。コンピュータプログラムは、フレームをキャプチャするための統合フェーズを開始する手段と、予め設定された動き閾値を超える動きがカメラにおいて検出された場合、又は予め設定された統合期間の最後に達した場合に、統合フェーズを終了させて、キャプチャされたフレームを保存する手段と、キャプチャされたフレームについての統合フェーズの時間が画像キャプチャ期間の時間に達しない場合には、統合フェーズの総時間が画像キャプチャ期間の時間に達するまでフレームのキャプチャ及び保存を継続する手段と、キャプチャされたフレームの各々を合成することにより最終写真を生成するコンピュータコードと、を含む。
【００１５】
本発明は、従来のシステムでは得られない数多くの重要な利点をもたらす。本発明により、動きを単に検出するだけでよく、測定される必要はないので、高価な運動センサを使用する必要がない。この目的に関しては、単純な運動センサで極めて良好な結果をもたらすことができる。例えば、加速度計はジャイロスコープよりも遙かに小型且つ安価であり、従って、本発明の目的において特に有用となり得る。線形移動に加えて回転運動を感知するためにデバイスの境界に沿って分散された２つ又はそれ以上の加速度計を使用することが可能とすることができる。
【００１６】
本発明により、露光中にキャプチャされる画像ショットの数が最小にまで低減され、伝統的なマルチショット手法と比較して、多くの画像ショットを処理する計算コスト及び必要メモリを軽減する。更に、本発明は、システムの状態に応じた動き検出閾値のレベルの調整を可能にする。例えば、閾値は、画像のキャプチャ時に用いられるズーム比に応じて調整することができる。従って、大きなズーム比を使用した時には、小さい動きでさえも画像センサ上に投影された画像の著しいシフトを招く可能性があるので、小さな閾値が必要とされることになる。一方、ズームｘ１を使用した時には、同じ動きでも極めて小さなシフトをもたらすだけで、現在のフレームの露光時間の中断が適切とはならない。
【００１７】
本発明のシステム及び方法は、上述のマルチショット技術の利点の全てを有する。詳細には、本発明を使用すると、少ないレベルのノイズ感度をもたらし、本発明ではシステムが画像を元に戻すために逆フィルタを適用する必要がない。同時に、本発明は、シングルショット技術の利点、すなわち、少数のキャプチャ画像ショットによる必要メモリが小さく計算コストが少ないといった利点がある。
【００１８】
本発明のこれら及び他の利点並びに特徴、更にその動作の編成及び様式は、以下に示される幾つかの図面全体にわたって同じ要素が同じ数字を有する添付図面を参照しながら以下の詳細な説明を読めば明らかになるであろう。
【発明を実施するための最良の形態】
【００１９】
本発明の原理に従って構成された一般的なカメラモジュールが図１の１１０で示されている。カメラモジュール１１０は、スタンドアロン型デバイスとすることもでき、或いは、携帯電話などの他の電子デバイスに内蔵することもできる。カメラモジュール１１０は、少なくとも１つのレンズ１１２を含むハウジング１１１と、主記憶装置１１４と、カメラプロセッサ１１６と、少なくとも１つの画像センサ１１８とを含む。主記憶装置１１４は、デジタル画像及びカメラモジュール１１０における様々な機能を実行するためのコンピュータソフトウェアを格納するため、並びに本発明を実施するために使用することができる。メモリカードの形式の取り外し可能な２次記憶装置１２０もまた、追加のメモリ空間を提供するためにデジタルカメラに含めることができる。画像センサ１１８は、電荷合成素子（ＣＣＤ）、相補形金属酸化膜半導体（ＣＭＯＳ）、又は他のシステムとすることができる。カメラモジュール１１０はまた、カメラプロセッサ１１６に動作可能に接続された少なくとも１つの運動センサ１３０も含む。物体１２８の写真が撮られるときには、少なくとも１つのレンズ１１２が、光を電子的に記録する少なくとも１つの画像センサ１１８上に画像を合焦する。カメラプロセッサ１１６は次に、この電子情報をデジタルデータに分解し、このデータを主記憶装置１１４及び／又は２次記憶装置１２０上に格納することができる。
【００２０】
図２及び３は、本発明を実施することができる１つの代表的な移動電話１２を示している。しかしながら、本発明はどのようなタイプの電子デバイスにも限定されるものではなく、携帯情報端末、パーソナルコンピュータ、及び他のデバイスに内蔵することができる点に留意することが重要である。本発明は、幅広い種類の移動電話１２に内蔵することができる点を理解されたい。図２及び３の移動電話１２は、ハウジング３０、液晶ディスプレイの形式のディスプレイ３２、キーパッド３４、マイクロフォン３６、受話口３８、バッテリ４０、赤外線ポート４２、アンテナ４４、本発明の一実施形態による汎用集積回路カード（ＵＩＣＣ）形式のスマートカード４６、カードリーダ４８、無線インタフェース回路５２、コーデック回路５４、コントローラ５６、及びメモリ５８を含む。コントローラ５６は、カメラプロセッサ１１６と同じユニットであっても異なるユニットであってもよい点に留意されたい。メモリ５８は、本発明の様々な実施形態において主記憶装置１１４と同じ構成要素であってよく、そうでなくてもよい。個々の回路及び要素は、当該技術分野において、例えばＮｏｋｉａ系列の移動電話において良く知られた全てのタイプである。
【００２１】
本発明は、カメラ又はカメラモジュールにより撮られる画像ショットの数を制御する段階を含む。詳細には、本発明は、カメラのあらゆる動きの有無に基づく各画像ショットの統合時間の調整を含む。動きが検出されると常に、現在の画像ショットの統合フェーズは終了し、次の画像ショットの統合が始まる。従って、本発明は、露光中の実際のカメラの動きに適応する。カメラの動きがない場合は、長く露光された単一の画像ショットがキャプチャされる。カメラの動きがある場合は、カメラの動きの程度に応じて総露光時間が複数のショット間で分割される。本発明は、１つ又はそれ以上の運動センサの助けを借りて検出されるカメラの動きの有無によってマルチショット手法が駆動される、シングルショット手法とマルチショット手法とのハイブリッドソリューションを提供する。
【００２２】
本発明は、動きのない期間が続く限りは、又は運動センサにより検出される動きが特定の閾値を下回っている場合には、個々の各画像ショットの露光フェーズを維持する段階を含む。動きが感知される（又は閾値を超える動きが検出される）と直ちに、現在のショットの統合を終了し、次のショットのために新しい統合フェーズが始まる。
【００２３】
本発明は、カメラ又はカメラモジュールの動きの厳密な大きさについての正確な情報を必要とせず、つまりこれは、高度な運動センサは必要とされないことを意味する。本発明は、動きの有無を検出するためのメカニズムだけを必要とし、運動軌道を正確に測定する必要はないので、本発明では加速度計などの小型で安価な運動センサを使用することができる。このような動きの有無は、本明細書では動き検出閾値と呼ばれる所与の閾値と、１つ又は複数の運動センサの出力値とを比較することで容易に判断することができる。
【００２４】
上記に加え、本発明により、カメラ又はカメラモジュールはカメラの動きに応じてショット数及び各ショットの露光時間の両方を適応させることが可能となる。１つ又は複数の運動センサにより動きが検出されない場合、カメラ又はカメラモジュールは、所与の露光時間中に単一のショットを撮るだけである。一方、１つ又は複数の運動センサがカメラ又はカメラモジュールの動きを検出すると、所与の露光時間は複数の画像ショット間で分割される。この適応手法により、露光中に存在する動きに応じた最小ショット数が確保される。
【００２５】
本発明の１つの一般的な実施形態の実施は、動きが検出されると常にシャッターが閉じるようにソフトウェア又はハードウェア方法によってカメラシャッターを制御する段階を含む。本発明の種々の実施形態の実施において考慮される幾つかの基本態様がある。例えば、フレームの最小露光時間を設ける必要がある。これは、露光開始直後に動きが検出された場合に極めて短いフレームを回避するために必要とされる。更に、最大総統合時間（すなわち各ショットの個々の統合時間の合計）も設定する必要がある。各フレームの最大総統合時間は、動きがなく１つだけのフレームのみがキャプチャされる場合において統合時間に妥当な制限を設けるために必要とされる。最後に、動き検出閾値を設定すべきである。動き検出閾値は、動きの大きさ（例えば加速）の最小値を示し、該閾値よりも下では写真に影響を与えるような動きが発生していないかのようにシステムが扱われることになる。動き検出閾値は、１つ又は複数の運動センサにより生成される値の観点から「動きあり」及び「動きなし」状況を区別するのに使用される。
【００２６】
図４（ａ）から（ｃ）は、従来のシングルショット手法、従来のマルチショット手法、及び本発明の手法の間の相違を示している。図４（ａ）は、単一の統合フェーズ５００を用いて統合時間開始５１０と統合時間停止５２０との間の時間中に画像ショットをキャプチャするシングルショット手法を示している。図４（ｂ）は、各々が統合時間開始５１０及び統合時間停止５２０を有する同じ時間期間にわたる幾つかの統合フェーズ５００が存在するマルチショット手法を示している。各統合フェーズ５００に関して、統合時間開始５１０と統合時間停止５２０との間の時間の長さは、実質的に同じである。これに対し、図４（ｃ）は、本発明の実施を示している。図４（ｃ）は、図４（ｂ）のように複数の統合フェーズ５００を含む。しかしながら、各統合フェーズ５００の時間の長さは一定ではない。代わりに、各ショットの統合時間停止５２０は、検出か又は何らかの動きかもしくは予め定義されたレベルの動きにより決まり、これらの両方がステップ５３０に示されている。この処理は、光条件及び他の要因に基づいて、システムにより要求される総統合時間の最後５４０まで継続する。
【００２７】
図５は、本発明の一実施形態の実施を示すフローチャートである。図５のステップ６００において、最初の統合フェーズが始まる。これには通常、カメラシャッターの開口が伴う。ステップ６１０において、カメラシャッターは、露光時間期間中は開いたまま保持され、統合フェーズを継続させる。この時間期間は通常、最小閾値を有し、また最大閾値を有する場合もある。ステップ６２０において、１つ又はそれ以上の運動センサの値が読み取られる。次いでステップ６３０で、運動センサ出力が動き検出閾値を超えるか否かが判断される。この動き閾値は０とすることができ、又はわずかな動きと判断されるものを許容するようにより高いレベルであってもよい。動き閾値を超えない場合には、後で１つ又は複数の運動センサが再度読み取られる。これは継続的に行うことができ、又は予め定義された時間期間後に次の読み取りを行うことができる点に留意されたい。
【００２８】
運動センサ出力が閾値を超える場合、ステップ６４０で統合フェーズを終了する。この時点でカメラシャッターが閉じる。シャッターはまた、本明細書では統合期間とも呼ばれる各フレームの最大露光時間期間に達した場合に閉じることができる。本発明の他の実施形態では、完全な写真を撮るための総時間量が経過した場合にシャッターを閉じることができる。カメラシャッターの閉口にはまた、人工音の生成を伴うこともでき、カメラ又はカメラモジュールの関連する動きに関してユーザ案内を提供する。ステップ６５０において、キャプチャされたフレームが処理される。このステップは、カラー補間などのような機能を含む。ステップ６６０において、キャプチャされたフレームが最初の画像ショットであるか否かが判断される。キャプチャされたフレームが最初の画像ショットであった場合、ステップ６８０において、フレーム及び統合時間の値が記録される。キャプチャされたフレームが最初の画像ショットでなかった場合、この画像ショットは最初の画像ショットに対して位置合わせされる。これはステップ６７０で行われ、次いでステップ６８０に続き、統合時間の値が更新される。
【００２９】
ステップ６９０において、総統合時間が、画像キャプチャ期間とも呼ばれる特定の写真についての所要の統合時間よりも少ないか否かが判断される。総統合時間が所要の統合時間又は画像キャプチャ期間よりも少なくない場合には、位置合わせされた個々のショットのピクセル値を合算することにより最終ピクセル値が計算される。これはステップ７００に示されており、従って最終画像が処理されたことになる。一方、総統合時間が所要の統合時間又は画像キャプチャ期間よりも少ない場合には、処理はステップ６００に戻り、新しい統合フェーズが始まる。
【００３０】
ピクセル融合段階７００は、様々な方法で実施することができる。１つの方法は、個々の画像ショットの全てのピクセル値の加重平均として最終ピクセル値を計算する方法である。最も自然な加重は、特定の実施形態では各ショットの統合時間そのものである。従って、キャプチャされたＮ個の画像ショットの統合時間をＴ1、Ｔ2、・・・、ＴNと示すと、（ｘ、ｙ）座標に位置するピクセルの最終値は次式で与えられる。
2009508425.tif 000003
このシナリオでは、Ｉn（ｘ、ｙ）は、ｎ番目の画像ショット内の（ｘ、ｙ）ピクセルの値を示している。
【００３１】
本発明は、方法段階の一般的な状況において説明されるが、一実施形態では、ネットワーク化された環境でのコンピュータにより実行されるプログラムコードなどのコンピュータ実行可能命令を含むプログラム製品により実装することができる。
【００３２】
一般に、プログラムモジュールは、特定のタスクを実行するか又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、構成要素、データ構造、その他を含む。コンピュータ実行可能命令、関連するデータ構造、及びプログラムモジュールは、本明細書で開示される方法段階を実行するためのプログラムコードの実施例を表している。このような実行可能命令又は関連するデータ構造の特定の順序は、このような各段階で説明される機能を実施するための対応する動作の実施例を表している。
【００３３】
本発明のソフトウェア及びウェブ実装は、ルールベースロジック及び様々なデータベース検索段階、相関付け段階、比較段階、及び決定段階を行うための他のロジックを有する標準プログラミング技術で達成することができる。本明細書及び請求項で使用される「構成要素」及び「モジュール」という用語は、ソフトウェアコードの１つ又はそれ以上の行を用いた実装、及び／又はハードウェア実装、及び／又は手動入力を受けるための装置を包含するものである点にも留意されたい。
【００３４】
本発明の実施形態の上述の説明は、例証及び説明の目的のために提示された。これは網羅的なものではなく、又は開示された厳密な形式に本発明を限定するものではなく、修正形態及び変形形態が上記の教示に照らして可能であり、或いは本発明の実施から得ることができる。各実施形態は、本発明の原理及びその実施可能な応用を説明し、当業者が企図された特定の用途に好適であるような種々の実施形態及び種々の修正形態で本発明を利用できるようにするために選ばれ説明されたものである。
【図面の簡単な説明】
【００３５】
【図１】本発明の原理による一般的なデジタルカメラの側断面図である。
【図２】本発明の実施において使用することができる移動電話の斜視図である。
【図３】図２の移動電話の電話回路の概略図である。
【図４（ａ）】画像のぼけを低減するための伝統的なシングルショット手法、従来のマルチショット手法、及び本発明の動き主導のマルチショット手法の間の相違を示す図である。
【図４（ｂ）】画像のぼけを低減するための伝統的なシングルショット手法、従来のマルチショット手法、及び本発明の動き主導のマルチショット手法の間の相違を示す図である。
【図４（ｃ）】画像のぼけを低減するための伝統的なシングルショット手法、従来のマルチショット手法、及び本発明の動き主導のマルチショット手法の間の相違を示す図である。
【図５】本発明の一実施形態の実施を示すフローチャートである。
【符号の説明】
【００３６】
６００  統合フェーズが始まる（カメラシャッターを開く）
６１０  指定の最小露光時間中はカメラシャッターを開いたままにする
６２０  運動センサの値を読み取る
６３０  運動センサ出力＞動き検出閾値か？
６４０  統合フェーズを終了する（カメラシャッターを閉じる）
６５０  キャプチャされたフレームを処理する（カラー補間、その他）
６６０  これは最初の画像ショットか？
６７０  この画像ショットを最初のショットに対して位置合わせする
６８０  フレーム及び最後の統合時間の値を格納する。総統合時間値を更新する
６９０  総統合時間＜所要の統合時間？
７００  位置合わせされた個々のショット内のピクセル値を合成することで最終ピクセル値を計算する
【図１】
2009508425.tif 000004
【図２】
2009508425.tif 000005
【図３】
2009508425.tif 000006
【図４（ａ）】
2009508425.tif 000007
【図４（ｂ）】
2009508425.tif 000008
【図４（ｃ）】
2009508425.tif 000009
【図５】
2009508425.tif 000010
【国際調査報告】
2009508425.tif 000011
2009508425.tif 000012
2009508425.tif 000013
2009508425.tif 000014