(57)【要約】【課題】標準的な固体撮像デバイスを用いて低照度の被写体の撮影を行っても、十分な画像品質を有する画像を得るための撮影方法と撮影システムを提供する。【解決手段】本発明の低照度下での画像撮影システムは、所定の低照度の被写体を表す複数の画像データを前記撮像手段に順次出力させ、前記動き量検出手段に、前記第１画像データと、当該第１画像データに続いて順次出力される第２画像データとの間の動き量を順次検出させ、前記加算手段に、前記順次検出される動き量を前記第１画像データに順次重ね合わせ加算させ、前記画像メモリに、前記順次重ね合わせ加算されて得られる加算画像データを順次格納させ、前記画像メモリに格納された所定回加算された加算画像データを所定のデバイスに送信する。【選択図】図１
2009010605.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像を撮像し、フレーム毎の画像データを出力する撮像手段と、
前記撮像手段から出力される第１フレームの第１画像データと、当該第１フレームよりも後の任意の第２フレームの第２画像データとに含まれる画像の動き量を検出する動き量検出手段と、
前記動き量検出手段によって検出される前記動き量を前記第１画像データに重ね合わせ加算する重ね合わせ加算手段と、
前記動き量が重ね合わせ加算された加算画像データを一時的に保持する画像メモリと、
前記画像メモリに保持された加算画像データをプレビュー表示するプレビュー画像ディスプレイと、
を有し、
所定の低照度の被写体を表す複数の画像データを前記撮像手段に順次出力させ、
前記動き量検出手段に、前記第１画像データと、当該第１画像データに続いて順次出力される第２画像データとの間の動き量を順次検出させ、
前記加算手段に、前記順次検出される動き量を前記第１画像データに順次重ね合わせ加算させ、
前記画像メモリに、前記順次重ね合わせ加算されて得られる加算画像データを順次格納させ、
前記画像メモリに格納された所定回加算された加算画像データを所定のデバイスに送信する、低照度の被写体の画像撮影システム。
【請求項２】
前記所定の低照度は、５００ルックス以下であることを特徴とする請求項１の低照度の被写体の画像撮影システム。
【請求項３】
前記重ね合わせ加算される画像データの数は、被写体の照度に応じて設定されることを特徴とする請求項１の低照度の被写体の画像撮影システム。
【請求項４】
前記所定のデバイスは、前記画像メモリに保持された加算画像データを記憶する記憶メディアであり、前記所定の加算画像データが最終出力用画像データとして前記記憶メディアに記憶されることを特徴とする請求項１の低照度の被写体の画像撮影システム。
【請求項５】
前記被写体の撮影は、通常の露出時間よりも短い露出時間で行われることを特徴とする請求項４の低照度の被写体の画像撮影システム。
【請求項６】
前記所定の加算画像データを順次、前記プレビュー画像ディスプレイに送信することによってプレビュー動画像を表示することを特徴とする請求項１の低照度の被写体の画像撮影システム。
【請求項７】
前記プレビュー画像ディスプレイに送信されるプレビュー動画像は、通常のフレームレートより低いことを特徴とする請求項６の低照度の被写体の画像撮影システム
【請求項８】
前記画像メモリは、少なくとも２フレーム分以上の前記画像データを格納できる記憶容量を有することを特徴とする請求項１の低照度の被写体の画像撮影システム。
【請求項９】
前記動き量検出手段及び前記重ね合わせ加算手段は、ハードウェア回路として構成され、同一半導体チップ上に集積されることを特徴とする請求項１の低照度の被写体の画像撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置を用いて静止画像や動画像の撮影を行うカメラの撮影及び記憶に関し、特に、低照度の被写体の撮影を行ったときに生じる画像品質の劣化を防止した撮影システムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラやビデオカメラなどの画像撮影装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像デバイスが一般に用いられてきた（例えば、特許文献１参照）。このような標準的な固体撮像デバイスを用いたカメラは、所定の照度以上の被写体の撮影を前提としており、これ以下の低照度の被写体の撮影を行うと十分な量のフォトキャリアが発生せず、画像品質が劣化するという問題があった。低照度の被写体の撮影に適合した撮像デバイスとして、キャリア増倍型撮像デバイスがある。このキャリア増倍型撮像デバイスは、発生したフォトキャリアを半導体デバイス内で増倍させる機構を有し、低照度の被写体の撮影においても十分なフォトキャリアを発生させることができるが、複雑なデバイス構造の故に、きわめて高価であるという欠点を有する。
【特許文献１】特開２０００−２７０２７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
また、標準的な固体撮像デバイスを用いて低照度下で撮影を行うと、前記のように十分な量のフォトキャリアが発生しない。これを補うために単純にゲインを増加させただけでは信号対雑音比が劣化して画像品質が劣化するという問題があった。さらに、少ないフォトキャリアを補うために長時間露出が必要であるがこの長時間露出のために手ブレが生じて、一層、画像品質を劣化させてしまうという問題があった。
本発明はこれらの問題を解決するためになされたもので、その目的とするところは、標準的な固体撮像デバイスを用いて低照度の被写体の撮影を行っても、十分良好な画像品質の画像を得ることができる撮影システムを提供することにある。
【課題を解決するための手段】
【０００４】
本発明の低照度下での画像撮影システムは、被写体の画像を撮像し、フレーム毎の画像データを出力する撮像手段と、前記撮像手段から出力される第１フレームの第１画像データと、当該第１フレームよりも後の任意の第２フレームの第２画像データとに含まれる画像の動き量を検出する動き量検出手段と、前記動き量検出手段によって検出される前記動き量を前記第１画像データに重ね合わせ加算する重ね合わせ加算手段と、前記動き量が重ね合わせ加算された加算画像データを一時的に保持する画像メモリと、前記画像メモリに保持された加算画像データをプレビュー表示するプレビュー画像ディスプレイと、を有し、所定の低照度の被写体を表す複数の画像データを前記撮像手段に順次出力させ、前記動き量検出手段に、前記第１画像データと、当該第１画像データに続いて順次出力される第２画像データとの間の動き量を順次検出させ、前記加算手段に、前記順次検出される動き量を前記第１画像データに順次重ね合わせ加算させ、前記画像メモリに、前記順次重ね合わせ加算されて得られる加算画像データを順次格納させ、前記画像メモリに格納された所定回加算された加算画像データを所定のデバイスに送信する低照度の被写体の画像撮影システムである。
【発明の効果】
【０００５】
本発明による低照度下での画像撮影システムによれば、従来のキャリア増倍型撮像デバイスを用いたシステムに比べ大幅に製造コストを削減できるという優れた利点を有する。また、本発明による低照度下での画像撮影システムによれば、標準的な固体撮像デバイスを用いても、十分高い信号対雑音比を有する良質な画像を得ることができるとともに、手ブレによる画像品質の劣化も防止することができる。
【発明を実施するための最良の形態】
【０００６】
以下図面に従い、本発明の実施の形態について説明する。
【０００７】
図１は、本発明の低照度下での画像撮影システム１００の全体システムブロック図である。このシステムの動作は以下のようにして行われる。
【０００８】
画像撮影システム１００は、レンズ１０２、シャッター１０３、固体撮像デバイス１０４、ＡＤコンバータ１０５、重ね合わせ加算ブロック１０６、ＡＦ（自動焦点）ブロック１０７、ＡＥ（自動露出）ブロック１０８、記憶メディア１０９、動き量検出ブロック１１０、フレーム画像メモリ１１１、及びプレビュー画像ディスプレイ１１２を備える。
【０００９】
このような画像撮影システム１００では、所定の低照度の被写体１０１からの光学画像が、レンズ１０２とシャッター１０３を介してＣＣＤやＣＭＯＳセンサのような固体撮像デバイス１０４上に結像される。ここで、所定の低照度とは、例えば、５００ルックス以下の照度であり、５００ルックスを閾値にするのは、比較的暗い室内照明下の照度に相当する照度で、固体撮像装置を用いた通常のカメラで撮影を行っても、良質の撮影画像が得られない程度の照度が５００ルックスだからである。
【００１０】
固体撮像デバイス１０４は、結像された光学画像を電気信号に変換し、光学画像を表す電気信号を出力する。出力された電気信号は、ＡＤコンバータ１０５でデジタル画像データに変換される。このデジタル画像データに対しては、不図示の画像データ前処理回路にて、画像欠陥補正、レンズシェーディング補正、ＯＢクランプ等の必要な前処理が施される。
【００１１】
前処理されたデジタル画像データは、ＡＦ（自動焦点）ブロック１０７及びＡＥ（自動露出）ブロック１０８に入力される。ＡＦブロック１０７は、被写体１０１に対して合焦点となるようにレンズ１０２の位置を自動的に制御する。ＡＥ（自動露出）ブロック１０８は、画像撮影の際のシャッター速度や絞りを含む露出条件を自動的に制御する。
【００１２】
また、ＡＤコンバータ１０５でデジタル画像データに変換されたデジタル画像データは、重ね合わせ加算ブロック１０６及び動き量検出ブロック１１０に入力される。動き量検出ブロック１１０は、最初のフレーム画像と後続の任意のフレーム画像とのそれぞれの画像データ間における画像の動き量を検出するもので、例えば、動きベクトル検出法のような電子的な手段、又は加速度センサのような機械的手段のような、既知の各種の方法で実現することができる。
【００１３】
重ね合わせ加算ブロック１０６は、動き量検出ブロック１１０で検出された動き量分だけ現在のフレーム画像を前の加算フレーム画像に重ね合わせ加算する。この処理については後述する。重ね合わせ加算された加算フレームは、フレーム画像メモリ１１１に一時的に格納される。
【００１４】
フレーム画像メモリ１１１は、少なくとも２フレーム分以上の画像データを格納できる記憶容量を有する。フレーム画像メモリ１１１に一時的に格納される加算フレームのうち、所定回数、重ね合わせ加算された後の加算フレーム画像を、記憶メディア１０９に送信することによって、最終出力用の画像データが記憶メディア１０９内に記憶され、良質の静止画像が記憶メディア１０９内に記憶される。また、当該所定の加算フレーム画像を順次、プレビュー画像ディスプレイ１１２に送信することにより、良質のプレビュー動画像をプレビュー画像ディスプレイ１１２上に表示できる。
【００１５】
また、前記低照度撮影システム１００において、大量の画像データを高速に処理するために、動き量検出ブロック１１０及び重ね合わせ加算ブロック１０６をハードウェア回路として構成し、同一半導体チップ上に集積することが望ましい。
【００１６】
さらにまた、フレーム画像メモリ１１１の一部又は全部と、動き量検出ブロック１１０及び重ね合わせ加算ブロック１０６をハードウェア回路として構成し、同一半導体チップ上に集積することが望ましい。
【００１７】
図２は、本発明の低照度の被写体の画像撮影システムの基本動作を示すフローチャートである。図２を用いて、低照度の被写体の画像撮影システムの動作を説明する。ステップ２０１で、第１フレーム画像をフレーム画像メモリに格納する。
【００１８】
ステップ２０２で、第２フレーム画像をフレーム画像メモリに格納する。
【００１９】
ステップ２０３で、カメラの手ぶれによって生じた第１フレーム画像と第２フレーム画像間の動き量を検出する。
【００２０】
ステップ２０４で、検出された動き量分だけ第２フレーム画像を移動して第１フレーム画像に重ね合わせ加算して第１加算フレーム画像を得る。
【００２１】
次に、ステップ２０５で、得られた第１加算フレーム画像をフレーム画像メモリに格納する。
【００２２】
ステップ２０６で、第３フレーム画像をフレーム画像メモリに格納する。
【００２３】
ステップ２０７で、第１フレーム画像と第３フレーム画像間の動き量を検出する。
【００２４】
ステップ２０８で、検出された動き量分だけ第３フレーム画像を移動して第１加算フレーム画像に重ね合わせ加算して第２加算フレーム画像を得る。
【００２５】
ステップ２０９で、得られた第２加算フレーム画像をフレーム画像メモリに格納する。第４フレーム画像以降に対しても第１フレーム画像との間で同様な操作を繰り返し行って順次、加算フレームを得る。
【００２６】
図３は、図２の基本動作フローチャートに従った、加算フレーム画像の作成シーケンスである。図２のフローチャートに従って、入力フレーム画像Ｆ１からＦ８に対して動き量検出と重ね合わせ加算が行われ、順次、加算フレーム画像Ａ１からＡ７が作成され、所定の加算フレームＡ７が記憶メディア１０９又はプレビュー画像ディスプレイ１１２に送信される。
【００２７】
記憶メディア１０９に送信された加算フレーム画像Ａ７は、静止画像Ｓ１として当該記憶メディア１０９に記憶される。また、プレビュー画像ディスプレイ１１２に送信された加算フレーム画像Ａ７は、プレビュー動画像Ｍ１として当該ディスプレイ１１２上に表示される。
【００２８】
また、重ね合わせ加算の回数は、被写体の照度に応じて適宜、定められる。即ち、被写体の照度が低ければ、加算回数を多くして実質的にゲインを増大させるとともにＳ／Ｎ比を改善させる。前記の複数回の重ね合わせ加算により、通常の撮影では良質の画像の獲得が困難な低照度の被写体の撮影でも、鮮明な静止画像と明るいプレビュー動画像を得ることができる。
【００２９】
以下に本発明を静止画像撮影に適用した場合について、図３の右側部分を用いてさらに詳述する。シャッターボタンが押下されると、ＡＥで決定される通常の露出時間より短い露出時間で第１フレーム画像の撮影が開始され、この画像データがフレーム画像メモリに格納される。
【００３０】
引き続き同じ露出時間で第２フレーム画像の撮影が開始され、この画像データがフレーム画像メモリに格納される。第２フレーム画像と第１フレーム画像間の動き量が検出され、動き量分だけ第２フレーム画像を移動して第１フレーム画像に重ね合わせ加算し、当該加算フレーム画像をフレーム画像メモリに格納する。
【００３１】
第３フレーム画像以降についても第１フレーム画像との間で全く同様にして重ね合わせ加算を行い、当該加算フレーム画像をフレーム画像メモリに格納する。所定の回数、重ね合わせ加算を行い、当該加算フレーム画像をフレーム画像メモリに格納後、当該加算フレーム画像をフレーム画像メモリから読み出して、静止画像として記憶メディアに記憶する。前記複数回の重ね合わせ加算により、通常の撮影では困難な低照度の被写体の撮影でも、明るい、鮮明な静止画像を得ることができる。
【００３２】
以下に本発明をプレビュー動画像作成に適用した場合について、図３の左側部分を用いてさらに詳述する。カメラのスイッチがオンされると、通常のカメラの場合と同様に、３０ｆｐｓ程度のフレームレートでプレビュー画像用の縮小フレーム画像の取得が開始される。
【００３３】
取得された縮小フレーム画像は、所定の枚数（図３では８枚）を１単位として、その単位の最初のフレーム画像と後続するフレーム画像間の動き量が検出され動き量分だけ移動させて前のフレーム画像に重ね合わせ加算され、フレーム画像メモリに格納される。
【００３４】
所定回数重ね合わせ加算された加算フレーム画像をプレビュー画像ディスプレイに送信する。この操作を順次、繰り返すことにより、プレビュー動画像がプレビュー画像ディスプレイに表示される。このようなプレビュー動画像の表示方法によれば、表示の際のフレームレートが重ね合わせ回数分だけ低下する（この場合約４ｆｐｓになる）が、実用的に問題になるほどではない。
【００３５】
前記の複数回の重ね合わせ加算により、通常の撮影ではプレビュー画像の表示が困難な低照度の被写体の撮影においても、明るいプレビュー動画像を表示することができる。
【００３６】
図４は、第２フレーム画像を第１フレーム画像に重ね合わせた時の効果を説明するための図で、カメラに手ぶれがある場合、図４の上図のように、第１フレーム画像と第２フレーム画像の間で画像がずれて画像ボケが生じる。この場合、手ぶれによる動き量分だけ、第２フレーム画像を移動して第１フレーム画像に重ね合わせ加算すれば、下図のように、ずれた２つの画像が１つになって画像ボケが解消される。
【００３７】
同時に、２つの画像データが加算されるので信号量が２倍に増加する。この時、雑音は√２倍にしかならないため、１回の重ね合わせ加算によって信号対雑音比は√２倍改善される。図３に示した場合のように７回重ね合わせ加算すれば、信号対雑音比は約２√２倍まで改善されることになる。
【００３８】
図５は、極低照度（５ルックス）の被写体の撮影例で、左側が通常の撮影システムを用いて、単純なデジタルゲインアップを行って輝度を増加させた場合の撮影例、右側が本発明の低照度の被写体撮影システムを用いて、重ね合わせ加算を１０回行った場合の撮影例である。この２つの例を比較して明らかなように、本発明の低照度の被写体の画像撮影システムを用いることにより、５ルックスという極低照度の被写体の撮影でも、高いＳ／Ｎ比を有するとともに画像ボケのない、十分良質な静止画像を得ることができた。
【００３９】
以上詳述したように、本発明による低照度の被写体の撮影システムによれば、標準的な固体撮像デバイスを用いても、十分高い信号対雑音比を有する画像を得ることができるとともに、手ブレによる画像の劣化も著しく減少された画像を得ることができる。
【００４０】
なお、本発明の趣旨を逸脱しない範囲で種々の変形例が本発明に含まれることは勿論である。
【００４１】
例えば、本発明の実施例では、５００ルックス以下の低照度の被写体の撮影を行う場合について説明を行ったが、５００ルックス以上の通常の照度の被写体の撮影にも本発明の撮影システムを適用してもよいことは勿論である。この場合には、手ぶれによる画像ボケが大幅に削減された鮮明な画像を得ることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の低照度の被写体の画像撮影システムの全体システムブロック図を示す。
【図２】本発明の低照度の被写体の画像撮影システムの基本動作を示すフローチャートを示す。
【図３】図２の基本動作フローチャートに従った、加算フレーム画像の作成シーケンスである。
【図４】第２フレーム画像を第１フレーム画像に重ね合わせた時の効果を説明するための図である。
【図５】極低照度（５ルックス）の被写体の撮影例であって、左側は通常の撮影システムによるもの、右側は本発明の撮影システムによるもの、である。
【符号の説明】
【００４３】
１００  低照度の被写体の画像撮影システム
１０１  低照度の被写体
１０２  レンズ
１０３  シャッター
１０４  固体撮像デバイス
１０５  ＡＤコンバータ
１０６  重ね合わせ加算ブロック
１０７  ＡＦ（自動焦点）ブロック
１０８  ＡＥ（自動露出）ブロック
１０９  記憶メディア
１１０  動き検出ブロック
１１１  フレーム画像メモリ
１１２  プレビュー画像ディスプレイ
【図１】
2009010605.tif 000003
【図２】
2009010605.tif 000004
【図３】
2009010605.tif 000005
【図４】
2009010605.tif 000006
【図５】
2009010605.tif 000007