(57)【要約】本発明はいくつかの連続的な撮影を用いて改善された写真を生成する方法及び装置に関する。本発明の方法は、感光センサを一連の複数回の撮影のために露光するステップを有し、感光センサの全体が同時に露光され、一連の複数回の撮影の結果は、完成写真を形成するために合成される。好ましくは、撮影結果はシャープネス改善のための補正を用いて合成される。画像安定化システムにおける動き歪みの問題は、一連の撮影の各々をグローバルシャッタを用いて行うことにより解決される。
2008533781.tif 000002
【特許請求の範囲】
【請求項１】
写真を生成する方法であって、感光センサ（３）を一連の複数回の撮影のために露光するステップを有し、前記感光センサ（３）の全体が同時に露光されるとともに、前記一連の複数回の撮影の全結果は、完成写真を形成するために合成されることを特徴とする方法。
【請求項２】
前記複数の撮影の結果は、シャープネス改善のための補正を用いて合成されることを特徴とする請求項１記載の方法。
【請求項３】
前記複数の撮影の各々が、
前記感光センサ（３）の全画素を、グローバルシャッタ（２）を閉じた状態でリセットするステップと、
前記グローバルシャッタ（２）を開くステップと、
前記感光センサ（３）を所望露出時間露光するステップと、
前記グローバルシャッタ（２）を閉じるステップと、
画素値を読み出すステップとを有することを特徴とする請求項１又は請求項２記載の方法。
【請求項４】
前記感光センサ（３）の全画素が同時にリセットされることを特徴とする請求項１記載の方法。
【請求項５】
前記画素値がローリングモードで読み出されることを特徴とする請求項３又は請求項４記載の方法。
【請求項６】
感光センサ（３）を露光するための光学系（１）と、前記感光センサ（３）の全体を同時に露光可能な機械的又は電気的なグローバルシャッタ（２）とを備える装置であって、  各撮影において前記感光センサ（３）の全体が同時に露光されるよう、前記光学系（１）は前記感光センサ（３）を一連の複数回の撮影のために露光するように構成されることを特徴とする装置。
【請求項７】
前記装置は、前記一連の複数回の撮影の結果をシャープネス改善のための補正を用いて合成するように構成されることを特徴とする請求項６記載の方法。
【請求項８】
前記装置は、前記一連の複数回の撮影の各々について、
前記感光センサ（３）の全画素を、グローバルシャッタ（２）を閉じた状態でリセットするステップと、
前記グローバルシャッタ（２）を開くステップと、
前記感光センサ（３）を所望露出時間露光するステップと、
前記グローバルシャッタ（２）を閉じるステップと、
画素値を読み出すステップとを実行するように構成されることを特徴とする請求項６又は請求項７記載の装置。
【請求項９】
前記感光センサ（３）の全画素を同時にリセットするように構成されることを特徴とする請求項８記載の装置。
【請求項１０】
前記画素値をローリングモードで読み出すように構成されることを特徴とする請求項８又は請求項９記載の装置。
【請求項１１】
前記感光センサ（３）はデジタルＣＭＯＳイメージセンサであり、前記グローバルシャッタ（２）はメカニカルシャッタであることを特徴とする請求項６乃至請求項１０のいずれか１項に記載の装置。
【請求項１２】
前記グローバルシャッタ（２）は電子シャッタであることを特徴とする請求項６乃至請求項１０のいずれか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は写真を生成する方法に関し、特にはいくつかの連続的な撮影(exposure)を用いて、改善された写真を生成する方法に関する。各々の撮影をセンサのグローバル露光で行うため、複数回の撮影結果は、改善された特性を有する複数の写真を生成するために合成される。
【０００２】
本発明はまた、本発明の方法を実行する装置にも関する。
【背景技術】
【０００３】
今日、デジタルカメラは、十分な光量を得るために一連の複数の撮影を用いることができ、それら複数の撮影結果はソフトウェアベースの画像安定化技術(image stabilization)を用いて合成される。画像安定化は、露出時間が比較的長時間な撮影時における、ユーザ手振れの影響を低減する。短い露出時間で撮影された、複数（例えば８）のディジタル化された画像が、メモリ内で加算される。ある写真が以前の１つ以上の写真と加算される際、手振れによる動きを補償するため、位置がずらされる。これにより、シャープネスが改善される。しかし、センサがローリングシャッタにより露光される場合、各写真は動き歪み(motion distortion)の影響を受けるであろう。手振れにより、動き歪みは無作為に分布するので、画像安定化で削減することが出来ない。従来のローリングシャッタ動作については、図２Ａ及び２Ｂに関して以下でさらに詳細に説明する。
【０００４】
今日存在するカメラの一部はグローバルシャッタを用いている。グローバルシャッタを用いると、センサ全体が同時に露光される。しかし、そのようなシャッタは画像安定化と一緒には用いられてこなかった。
【発明の開示】
【０００５】
本発明において、画像安定化システムにおける動き歪みの問題は、一連の複数の撮影の各々をグローバルシャッタで行うことにより解決される。この方法において、ローリングシャッタからは動き歪みが生じず、十分な累積露出時間を有する、安定化された写真を形成するために画像安定化を用いることができる。
【０００６】
第１の見地において、本発明は以下のステップを有する写真生成方法に関する。感光センサを一連の複数回の撮影のために露光するステップ、ここで、感光センサの全体が同時に露光され、前記一連の複数回の撮影の全結果は、完成写真(finished image)を形成するために合成される。
【０００７】
好ましくは、撮影結果はシャープネス改善のための補正を用いて合成される。
【０００８】
好ましい実施形態において、各撮影を行う方法は、以下のステップを有する。
感光センサの全画素を、グローバルシャッタを閉じた状態でリセットするステップと、
グローバルシャッタを開くステップと、
感光センサを所望露出時間露光するステップと、
グローバルシャッタを閉じるステップと、
画素値を読み出すステップ。
【０００９】
好ましくは感光センサの全画素は同時にリセットされる。好ましくは、画素値はローリングモードで読み出される。
【００１０】
第２の見地において本発明は、感光センサを露光するための光学系と、感光センサの全体を同時に露光可能な機械的又は電子的なグローバルシャッタとを備える装置に関する。
【００１１】
本発明によれば、各撮影において感光センサの全体が同時に露光されるよう、光学系は感光センサを一連の複数回の撮影のために露光するように構成される。
【００１２】
好ましくは、装置は、一連の撮影結果をシャープネス改善のための補正を用いて合成するように構成される。
【００１３】
好ましい実施形態において、装置は各撮影について以下のステップを実行するように構成される。
感光センサの全画素を、グローバルシャッタを閉じた状態でリセットするステップと、
グローバルシャッタを開くステップと、
感光センサを所望露出時間露光するステップと、
グローバルシャッタを閉じるステップと、
画素値を読み出すステップ。
【００１４】
好ましくは装置は、感光センサの全画素を同時にリセットするように構成される。
【００１５】
好ましくは、装置は画素値をローリングモードで読み出すように構成される。
【００１６】
一実施形態において、センサはデジタルＣＭＯＳイメージセンサであり、グローバルシャッタはメカニカルシャッタである。
【００１７】
別の実施形態において、グローバルシャッタは電子シャッタである。
【発明を実施するための最良の形態】
【００１８】
以下、添付図面を参照しながら、好ましい実施形態によって本発明をより詳細に説明する。
【００１９】
本発明は、写真を生成する方法及び、その方法を用いる装置（例えばデジタルカメラ）又は移動電話機のようなデジタルカメラを内蔵する装置に関する。既に述べたように、本発明は、低輝度環境において利用可能な光を用いて写真撮影を行うことが望ましい場合であって、いくつかの撮影が行われて、それらが好ましくは画像安定化技術を用いて合成される場合に有用である。
【００２０】
図１は、本発明に係るカメラの主要部分を模式的に示す図である。カメラは、レンズ１及びグローバルシャッタ２を含む光学系を有する。光学系は例えばデジタルＣＭＯＳイメージセンサである感光センサ３を露光させる。プロセッサ４を備える制御部は、レンズ１及びシャッタ２の動作を制御する。シャッタ２はメカニカルシャッタであっても良いし、所望の露出時間及び動作が得られるようにセンサ３が電子的に制御されても良い。プロセッサ４はセンサ３及びメモリ５と通信する。メモリ５には、画像データが格納され、また読み出される。プロセッサ４は画像処理に必要な計算を実行することが可能である。
【００２１】
レンズ１、シャッタ２及びセンサ３は従来通りのものであって良い。様々な品質及び性能を有する広範な部品が市場で入手可能である。また、様々な方法で画像データを取り扱う画像処理についても既知である。これらの構成については、本出願において詳細に説明しない。メモリ５は、装置に内蔵されているメモリ又は別個に存在しうるリムーバブルメモリカード上に存在する作業用スペースであり、完成写真及び作業用データを格納する。プロセッサ及びメモリは、カメラ設計上統合されても良いし、外部に存在していても良いし、他の機能ブロックと共用されても良い。
【００２２】
便宜上、センサ３のような感光センサの一般的な動作原理について説明する。センサは、複数の感光画像要素、いわゆる画素を、センサ全体で１〜１０Ｍ画素（１００万画素）備えている。光が画素に当ると画素は電流を生成し、この電流は光強度値を得るために積分される。知られているように、感光センサはカラーフィルタを用いることにより感色性を備えるようになる。
【００２３】
完成写真において十分な光及び色を得るため、一連の撮影が短時間に継続して行われる。撮影は、短い露出時間及び／又は小さい絞りで行われる。短い露出時間は被写体ブレを低減し、小さい絞りは被写界深度を増加させる。各撮影結果はシャープであり、原理上露出不足であるが、露光された全ての画素は光強度値を与える。光強度値は、写真に十分な光量を与えるために合成される。光強度値は、撮影間の動きが考慮され、補正が行われるよう、好ましくは画像安定化システムを用いて合成される。
【００２４】
従前のデジタルＣＭＯＳイメージセンサは、いわゆるローリングシャッタを有する。ローリングシャッタは（アナログカメラにおけるフォーカルプレーンシャッタと同様）、イメージセンサ全体を同時に露光しない。原理を図２Ａに示す。暗い四角形はイメージセンサを表している。（白い帯で示すように）一部の画素行のみが同時に露光される。露光領域は画像全体が露光されるまでセンサ上を移動する。露出時間は露光領域の高さを変化させることによって制御される。露光領域がセンサ全体に渡って移動するのに要する時間は走行時間もしくは露光期間と呼ばれ、その時点におけるフレームレートに依存する。
【００２５】
この図から、フレーム全体を露光するのに要する時間は、実際の露出時間よりも長いことが理解される。さらに、露光領域はセンサの最下部に達してから最上部へ移動する点に留意されたい。そのためセンサは、図２Ｂに示すように、しばらくの間は２つの連続するフレームについて同時に光を蓄積する。センサの最後の複数行（最下行）が露光される際、次の画像フレーム最初の複数行（最上行）もまた露光される。シャッタはあるフレームから次のフレームへ移っていく。
【００２６】
ソフトウェアベースの画像安定化の原理は、いくつかの「シャープな」撮影結果を、手振れ補正を行いながら加算することである。短い露出時間又は小さい絞りにより、個々の短かな撮影結果はかなりシャープである。しかし、カメラブレにより歪んだ画像となりうる。動き歪みと呼ばれる影響を、図３Ａ〜３Ｃに示す。動き歪みは、カメラ又は被写体が画像の撮影中に動くことによって生じる。図３Ａは歪みのない画像を、図３Ｂはカメラが水平方向に移動した場合、図３Ｃはカメラが垂直方向に移動した場合をそれぞれ示す。
【００２７】
図３Ａ〜３Ｃにおける円の形は、露出時間を変更しても変わらないことに留意されたい。短い露出時間はエッジをシャープにするだけである。一方、走行時間（フレームレート）はシャープネスではなく形に影響する。一般的な３百万画素のＣＭＯＳセンサにおいて、最大フレームレートは１０フレーム／秒であり、走行時間は１００ｍｓとなる。１００ｍｓの期間は、手振れを考えた場合には非常に長い時間である。手振れは通常、明確な方向への移動ではなく、無作為に分布する様々な方向への予測不可能な移動である。
【００２８】
個々の短時間撮影したフレームはシャープであっても、様々な方向への動き歪みが互いに加算されるので、ぶれた完成画像となるであろう。
【００２９】
本発明者は、イメージセンサの全体が同時に露光されれば、動き歪みによる問題は完全に解消されることに気付いた。これは、いわゆるグローバルシャッタを提供することによって達成可能である。グローバルシャッタは機械的なデバイスであってもよいし、センサの画素設計における電子的な構成であっても良い。
【００３０】
本発明は、個々の撮影時にメカニカルグローバルシャッタ（又は場合により電子シャッタ）を用い、個々の撮影結果を好ましくはソフトウェア画像安定化を用いて合成することを提案する。シャッタは連続する短時間撮影に応じて速やかに開閉できるように実装されるべきである。
【００３１】
メカニカルシャッタは、ＣＭＯＳセンサを有するデジタルスチルカメラの一部に用いられている。シャッタは光がセンサに到達することを機械的に遮断する。シャッタは以下のように用いる。
１）シャッタを閉じる
２）センサは、全画素を、同時又は少なくともシャッタが開く前にリセットする（グローバルリセット）
３）シャッタを開く４）センサ全体が所望の露出時間に渡って露光される
5）シャッタを閉じる
６）画素値が「ローリングモード」で、例えばセンサの最上部から最下部へ操作されて読み出される。これは閉じたシャッタの裏側で行われるため、動作が画像に影響を与えることはない。
【００３２】
図４及び図５は、８つの連続した画像フレームの撮影を示している。本発明は具体的な撮影数には限定されない。
【００３３】
図４は、従来技術によるローリングシャッタの影響を示している。
露出時間は個々のフレームの画像ブレを回避するためには十分短いにもかかわらず、フレーム全体の長い露出期間により、手振れによる動き歪みが発生し、個々の画像が合成された際にぶれた画像となってしまう。
【００３４】
図５は、本発明によるグローバルシャッタ利用の効果を説明する図である。露出時間はフレーム全体の露出期間に等しい。画像ブレ及び動き歪みの両方が回避される。撮影間に生じるいかなる手振れも、画像を重ね合わせる際に補償可能である。図４及び図５におけるセンサの最終的な累積露出時間は等しい。この図は、カメラのフレーム期間にシャッタをどのように同期させるかについても説明している。
【００３５】
ソフトウェア画像安定化の現在の設計における主要な問題が解決される。シャッタを用いずに画像安定化を用いた場合、動き歪みによる無視できない画質劣化が生じるであろう。画像安定化なしでグローバルシャッタを用いた場合、長い露出時間により画像がぶれるであろう。
【００３６】
本発明はそれぞれの技術を別々に用いて得られるよりも良好な画像品質が得られるよう、これら２つの技術の長所を組み合わせたものである。
【００３７】
通常シャッタが用いられる際には１度しか開かないが、本発明はカメラのフレームレートに同期した一連の開閉動作を提案する。
【００３８】
本発明によれば、低輝度環境においても、正しい露出のシャープな画像を生成することができる。本発明は露出時間が長くてもシャープな写真を撮影することができる。本発明の範囲は、特許請求の範囲によってのみ限定される。
【図面の簡単な説明】
【００３９】
【図１】本発明に係るカメラの主要部分を模式的に示す図である。
【図２Ａ】、
【図２Ｂ】従来技術のローリングシャッタにおける露光を模式的に示す図である。
【図３Ａ】、
【図３Ｂ】、
【図３Ｃ】様々な状況における動き歪みを示す図である。
【図４】ローリングシャッタを用いた８つの連続した画像フレームの露光を示す図である。
【図５】本発明によるグローバルシャッタを用いた８つの連続した画像フレームの露光を示す図である。
【図１】
2008533781.tif 000003
【図２Ａ】
2008533781.tif 000004
【図２Ｂ】
2008533781.tif 000005
【図３Ａ】
2008533781.tif 000006
【図３Ｂ】
2008533781.tif 000007
【図３Ｃ】
2008533781.tif 000008
【図４】
2008533781.tif 000009
【図５】
2008533781.tif 000010
【手続補正書】
【提出日】平成18年12月19日(2006.12.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
写真を生成する方法であって、感光センサ（３）を一連の複数回の撮影のために露光するステップを有し、前記感光センサ（３）の全体が同時に露光されるとともに、前記一連の複数回の撮影の各々は露出不足であり、前記一連の複数回の撮影の全結果は、完成写真を形成するために合成されることを特徴とする方法。
【請求項２】
前記一連の複数回の撮影の各々は短い露出時間で行われることを特徴とする請求項１記載の方法。
【請求項３】
前記一連の複数回の撮影の各々は小さい絞りで行われることを特徴とする請求項１記載の方法。
【請求項４】
前記複数の撮影の結果は、シャープネス改善のための補正を用いて合成されることを特徴とする請求項１乃至請求項３のいずれか１項記載の方法。
【請求項５】
前記複数の撮影の各々が、
前記感光センサ（３）の全画素を、グローバルシャッタ（２）を閉じた状態でリセットするステップと、
前記グローバルシャッタ（２）を開くステップと、
前記感光センサ（３）を所望露出時間露光するステップと、
前記グローバルシャッタ（２）を閉じるステップと、
画素値を読み出すステップとを有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の方法。
【請求項６】
前記感光センサ（３）の全画素が同時にリセットされることを特徴とする請求項５記載の方法。
【請求項７】
前記画素値がローリングモードで読み出されることを特徴とする請求項５又は請求項６記載の方法。
【請求項８】
感光センサ（３）を露光するための光学系（１）と、前記感光センサ（３）の全体を同時に露光可能な機械的又は電気的なグローバルシャッタ（２）とを備える装置であって、  各撮影において前記感光センサ（３）の全体が同時に露光されるよう、前記光学系（１）は前記感光センサ（３）を一連の複数回の撮影のために露光するように構成され、前記一連の複数回の撮影の各々は露出不足であり、前記装置は、前記一連の複数回の撮影の全結果を、完成写真を形成するために合成するように構成されることを特徴とする装置。
【請求項９】
前記一連の複数回の撮影の各々は短い露出時間で行われることを特徴とする請求項８記載の装置。
【請求項１０】
前記一連の複数回の撮影の各々は小さい絞りで行われることを特徴とする請求項８記載の装置。
【請求項１１】
前記装置は、前記一連の複数回の撮影の結果をシャープネス改善のための補正を用いて合成するように構成されることを特徴とする請求項８乃至請求項１０のいずれか１項記載の方法。
【請求項１２】
前記装置は、前記一連の複数回の撮影の各々について、
前記感光センサ（３）の全画素を、グローバルシャッタ（２）を閉じた状態でリセットするステップと、
前記グローバルシャッタ（２）を開くステップと、
前記感光センサ（３）を所望露出時間露光するステップと、
前記グローバルシャッタ（２）を閉じるステップと、
画素値を読み出すステップとを実行するように構成されることを特徴とする請求項８乃至請求項１１のいずれか１項記載の装置。
【請求項１３】
前記感光センサ（３）の全画素を同時にリセットするように構成されることを特徴とする請求項１２記載の装置。
【請求項１４】
前記画素値をローリングモードで読み出すように構成されることを特徴とする請求項１２又は請求項１３記載の装置。
【請求項１５】
前記感光センサ（３）はデジタルＣＭＯＳイメージセンサであり、前記グローバルシャッタ（２）はメカニカルシャッタであることを特徴とする請求項８乃至請求項１４のいずれか１項に記載の装置。
【請求項１６】
前記グローバルシャッタ（２）は電子シャッタであることを特徴とする請求項８乃至請求項１４のいずれか１項に記載の装置。
【手続補正書】
【提出日】平成19年11月8日(2007.11.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
写真を生成する方法であって、感光センサ（３）を一連の複数回の撮影のために露光するステップを有し、前記感光センサ（３）の全体が同時に露光されるとともに、前記一連の複数回の撮影の各々は露出不足であり、前記一連の複数回の撮影の全結果は、完成写真を形成するために合成され、
前記複数の撮影の各々が、
前記感光センサ（３）の全画素を、グローバルシャッタ（２）を閉じた状態でリセットするステップと、
前記グローバルシャッタ（２）を開くステップと、
前記感光センサ（３）を所望露出時間露光するステップと、
前記グローバルシャッタ（２）を閉じるステップと、
画素値を読み出すステップとを有することを特徴とする方法。
【請求項２】
前記一連の複数回の撮影の各々は短い露出時間で行われることを特徴とする請求項１記載の方法。
【請求項３】
前記一連の複数回の撮影の各々は小さい絞りで行われることを特徴とする請求項１記載の方法。
【請求項４】
前記複数の撮影の結果は、シャープネス改善のための補正を用いて合成されることを特徴とする請求項１乃至請求項３のいずれか１項記載の方法。
【請求項５】
前記感光センサ（３）の全画素が同時にリセットされることを特徴とする請求項１記載の方法。
【請求項６】
前記画素値がローリングモードで読み出されることを特徴とする請求項１乃至請求項５のいずれか１項に記載の方法。
【請求項７】
感光センサ（３）を露光するための光学系（１）と、前記感光センサ（３）の全体を同時に露光可能な機械的又は電気的なグローバルシャッタ（２）とを備える装置であって、  各撮影において前記感光センサ（３）の全体が同時に露光されるよう、前記光学系（１）は前記感光センサ（３）を一連の複数回の撮影のために露光するように構成され、前記一連の複数回の撮影の各々は露出不足であり、前記装置は、前記一連の複数回の撮影の全結果を、完成写真を形成するために合成するように構成され、
前記装置は、前記一連の複数回の撮影の各々について、
前記感光センサ（３）の全画素を、グローバルシャッタ（２）を閉じた状態でリセットするステップと、
前記グローバルシャッタ（２）を開くステップと、
前記感光センサ（３）を所望露出時間露光するステップと、
前記グローバルシャッタ（２）を閉じるステップと、
画素値を読み出すステップとを実行するように構成されることを特徴とする装置。
【請求項８】
前記一連の複数回の撮影の各々は短い露出時間で行われることを特徴とする請求項７記載の装置。
【請求項９】
前記一連の複数回の撮影の各々は小さい絞りで行われることを特徴とする請求項７記載の装置。
【請求項１０】
前記装置は、前記一連の複数回の撮影の結果をシャープネス改善のための補正を用いて合成するように構成されることを特徴とする請求項７乃至請求項９のいずれか１項記載の装置。
【請求項１１】
前記感光センサ（３）の全画素を同時にリセットするように構成されることを特徴とする請求項７記載の装置。
【請求項１２】
前記画素値をローリングモードで読み出すように構成されることを特徴とする請求項７乃至請求項１１のいずれか１項に記載の装置。
【請求項１３】
前記感光センサ（３）はデジタルＣＭＯＳイメージセンサであり、前記グローバルシャッタ（２）はメカニカルシャッタであることを特徴とする請求項７乃至請求項１２のいずれか１項に記載の装置。
【請求項１４】
前記グローバルシャッタ（２）は電子シャッタであることを特徴とする請求項７乃至請求項１２のいずれか１項に記載の装置。
【国際調査報告】
2008533781.tif 000011
2008533781.tif 000012
2008533781.tif 000013