(57)【要約】【課題】従来にない新規な撮像方式を有する撮像装置およびその画像読出方法を提供する。【解決手段】第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する撮像装置１は、イメージセンサ１１の複数の撮像素子から出力される複数の画素データを、平均化して読み出す機能および加算して読み出す機能を有し、被写体の輝度に応じて平均化したデータを読み出して出力するか加算したデータを読み出して出力するかを選択し、選択データを出力する読出回路１２を有する。【選択図】      図１
2006041862.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、
上記撮像素子からの複数の画素データを平均化して読み出し可能な画素平均読出手段と、
上記撮像素子からの複数の画素データを加算して読み出し可能な画素加算読出手段と、
上記被写体の輝度を検出する輝度検出手段と、
上記輝度検出手段の検出出力により上記画素平均読出手段と上記画素加算読出手段とのいずれかの出力を選択する選択手段と
を有する撮像装置。
【請求項２】
上記高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部を有し、
上記画像処理部は、上記選択手段により選択された上記画素平均読出手段または上記画素加算読出手段の出力に基づき、上記第２の圧縮画像を生成する
請求項１記載の撮像装置。
【請求項３】
上記画像処理部は、上記第２の圧縮画像の加算読み出しのＲ信号レベルに基づき上記第１の圧縮画像の画像レベルを補正する
請求項２記載の撮像装置。
【請求項４】
上記輝度検出手段の出力に基づき上記画素加算読出手段における加算画素数を変更する加算画素変更手段と、
上記選択手段により選択された上記画素平均読出手段または上記画素加算読出手段の出力データをアナログデータからディジタルデータに変換する変換手段と、
上記輝度検出手段の出力または上記加算画素読出手段の出力に基づき上記変換手段の基準電圧値を変更する基準電圧変更手段と、を有する
請求項１乃至３のうちのいずれか一に記載の撮像装置。
【請求項５】
上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である
請求項１乃至４のうちのいずれか一に記載の撮像装置。
【請求項６】
シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、
上記画像処理部は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する
請求項１乃至５のうちのいずれか一に記載の撮像装置。
【請求項７】
上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する
請求項１乃至６のうちのいずれか一に記載の撮像装置。
【請求項８】
被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像読出方法であって、
上記被写体の輝度を検出する第１のステップと、
上記第１のステップの検出結果により、上記撮像素子からの複数の画素データを平均化して読み出すか、上記撮像素子からの複数の画素データを加算して読み出すかを選択する第２のステップと
を有する撮像装置の画像読出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ等の撮像装置および撮像方法に係り、より詳しくは、動画主体として取り出す画像（比較的低画素数）と静止側として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う撮像装置およびその画像読出方法に関するものである。
【背景技術】
【０００２】
従来より、撮像素子を用いて撮像した撮像信号に基づくディジタルビデオ信号を離散コサイン変換（ＤＣＴ）やウエーブレット変換と可変長符号により圧縮し、磁気テープや磁気ディスクや光ディスク等の記録媒体に記録するディジタルカメラが提案されている。
このディジタルカメラは、動画記録モードおよび静止画記録モードを有し、動画記録モードにおいては動画用の圧縮記録を行って記録媒体に記録し、静止画記録モードにおいては静止画用の圧縮を行って記録媒体に記録する。
【０００３】
また、従来より、動画撮影中に、高解像の静止画を撮影可能な撮像装置が、以下に第１〜第１５の撮像装置として示すように、種々提案されている。
【０００４】
第１の撮像装置は、動画像のフレーム周期の整数倍の周期毎に自動的に１フレームの高解像度静止画を撮影するものであって、動画像撮影時は間引き読み出し、静止画撮影時は全画素信号を２フィールドに分けて読み出す（特許文献１参照）。
【０００５】
第２の撮像装置は、動画撮影中に所定周期で静止画を撮影するものである（特許文献２参照）。
【０００６】
第３の撮像装置は、通常解像度の動画撮影中に操作者の操作により、または、自動的に一定間隔で高解像度の静止画を撮影するものであって、静止画は静止画デ一タとして記録し、動画は動画デ一タとして記録するものであり、動画再生中に静止画データありを表示し、操作者の操作でその静止画表示に切り替わる（特許文献３参照）。
【０００７】
第４の撮像装置は、所定期間の動画を撮影しつつ操作者のシャツタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである。
【０００８】
第５の撮像装置は、動画撮影時にシャッタボタンを操作すると高精細の静止画を撮影するカムコーダなどの動画記録装置であって、シャッタボタン操作時の高精細の静止画を強制的にイントラ符号化画像（Ｉピクチャ）として符号化するものである（特許文献４参照）。
【０００９】
第６の撮像装置は、動画撮影中に静止画撮影が可能なものであって、希望する静止画がない場合には、所望する動画像に対応する高解像度画像を、所望する動画像とそれと関連する静止画像とで合成するものである（特許文献５参照）。
【００１０】
第７の撮像装置は、シャッタボタンの半押で動画記録開始し、シャッタボタンの押込みで動作記録中に静止画の撮影を行うデジタルカメラであって、動画撮影中に撮影した静止画デ一夕を動画デ一夕と関連付けて記憶するものである（特許文献６参照）。
【００１１】
第８の撮像装置は、動画撮影中に操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである（特許文献７参照）。
【００１２】
第９の撮像装置は、動画と静止画のデータを一連のファイルとして記録するもの、動画は、ＭＰ＠ＭＬ（Ｍａｉｎ  Ｐｒｏｆｉｌｅ  ａｔ  Ｍａｉｎ  Ｌｅｖｅｌ）で記録し、静止画はＭＰ＠ＨＬ（Ｍａｉｎ  Ｐｒｏｆｉｌｅ  ａｔ  Ｈｉｇｈ  Ｌｅｖｅｌ）で記録するものである（特許文献８参照）。
【００１３】
第１０の撮像装置は、動画撮影時は、ＣＣＤの垂直方向電荷の混合を行い、静止画撮影時は、ＣＣＤの画素混合を行わずレベル調整手段によりゲインをたとえば６ｄＢあげるものである（特許文献９参照）。
【００１４】
第１１の撮像装置は、４画素の信号を平均化し（さらに４倍ゲインアップ）た１／２画素の画面と、通常画素の画面とを生成可能とするものである（特許文献１０参照）。
【００１５】
第１２の撮像装置は、被写体の明るさに応じて、画素加算するライン数を決定するものである（特許文献１１参照）。
【００１６】
第１３の撮像装置は、被写体の明るさに応じて、画素加算しないモードと、画素加算するモードを決定するものである（特許文献１２参照）。
【００１７】
第１４の撮像装置は、デフォルト状態下では加算撮像を行い、ユーザの設定変更により非加算撮像を行うものである（特許文献１３参照）。
【００１８】
第１４の撮像装置は、被写体の輝度が低い場合に、加算出力モードを設定し、被写体の輝度が低くない場合は、加算出力でないモードが設定されるものである（特許文献１４参照）。
【特許文献１】特開２００２−４４５３１号公報
【特許文献２】特開平７−２４５７２２号公報
【特許文献３】特開平９−５１４９８号公報
【特許文献４】特開平７−２８４０５８号公報
【特許文献５】特開２００２−５１２５２号公報
【特許文献６】特開２００２−８４４４２号公報
【特許文献７】特開平７−１４３４３９号公報
【特許文献８】特開平１１−２３４６２３号公報
【特許文献９】特開２００３−１２５２７８号公報
【特許文献１０】特開平４−１７０８７１号公報
【特許文献１１】特開平４−１７２０７３号公報
【特許文献１２】特開平１０−１５０６０１号公報
【特許文献１３】特開２００１−３５９０３８号公報
【特許文献１４】特開２００３−３１９４０７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
ところで、上述した各撮像装置においては、通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いる。  ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。
【００２０】
また、ディジタルカメラ等においては、高解像度で所望する画像を得るために、操作者が撮影対象を観察し、ここと思うタイミングでレリーズボタンを操作する必要がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば１０秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がＣＣＤ等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限となり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。
【００２１】
そこで、連写等の速度を気にせずに、かつ記録容量も実用的に抑えた上で、操作者がシャッタタイミングを気にせずに所望の高解像度静止画を得ることが可能な撮像装置を新規に開発した。
【００２２】
本発明はかかる開発にて生じた全く新規なものであり、特に、上記した高解像度生成画を得る等の課題を背景とするものではなく、従来にない全く新規な撮像方式を有する撮像装置およびその画像読出方法を提供することを目的とする。
【課題を解決するための手段】
【００２３】
本発明の第１の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置であって、上記撮像素子からの複数の画素データを平均化して読み出し可能な画素平均読出手段と、上記撮像素子からの複数の画素データを加算して読み出し可能な画素加算読出手段と、上記被写体の輝度を検出する輝度検出手段と、上記輝度検出手段の検出出力により上記画素平均読出手段と上記画素加算読出手段とのいずれかの出力を選択する選択手段とを有する。
【００２４】
好適には、上記高画素のデータをイントラフレーム圧縮した第１の圧縮画像と、上記第１の圧縮画像を生成する期間の前後の期間で、間引きによる低画素のデータをインターフレーム圧縮した第２の圧縮画像とを一連のストリームとして生成し、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する画像処理部を有し、上記画像処理部は、上記選択手段により選択された上記画素平均読出手段または上記画素加算読出手段の出力に基づき、上記第２の圧縮画像を生成する。
【００２５】
好適には、上記画像処理部は、上記第２の圧縮画像の加算読み出しのＲ信号レベルに基づき上記第１の圧縮画像の画像レベルを補正する。
【００２６】
好適には、上記輝度検出手段の出力に基づき上記画素加算読出手段における加算画素数を変更する加算画素変更手段と、上記選択手段により選択された上記画素平均読出手段または上記画素加算読出手段の出力データをアナログデータからディジタルデータに変換する変換手段と、上記輝度検出手段の出力または上記加算画素読出手段の出力に基づき上記変換手段の基準電圧値を変更する基準電圧変更手段と、を有する。
【００２７】
好適には、上記高画像データは、上記撮像素子から間引かずに読み出した画像データまたは任意の間引き量で間引いて読み出した画像データであり、上記低画像データは、上記撮像素子から当該高画像データより低い解像度となるような任意の間引き量で間引いて読み出した画像である。
【００２８】
好適には、シャッタ機能としてグローバルシャッタ機能とローリングシャッタ機能とを含み、上記画像処理部は、上記グローバルシャッタで取り込んだ画素のデータより第１の圧縮画像を生成し、上記ローリングシャッタで取り込んだ画素のデータより第２の圧縮画像を生成する。
【００２９】
好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像の画面を前後の上記第１の圧縮画像を含めた他の画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する。
【００３０】
本発明の第２の観点は、被写体の光学像を撮像素子に結像させ当該撮像素子から高解像度の高画像データまたは低解像度の低画像データを読み出し、これら画像データに対して所定の画像処理を行う撮像装置の画像読出方法であって、上記被写体の輝度を検出する第１のステップと、上記第１のステップの検出結果により、上記撮像素子からの複数の画素データを平均化して読み出すか、上記撮像素子からの複数の画素データを加算して読み出すかを選択する第２のステップとを有する。
【発明の効果】
【００３１】
本発明によれば、従来にない新規な撮像装置およびその画像読出方法が提供できる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
【００３３】
第１実施形態
図１は、本第１の実施形態における撮像装置１の全体構成を例示する図である。本撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３４】
本実施形態に係る撮像装置１は、動画撮影中、信号処理系において高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正し、両画像の出力レベルを一定にする制御を行う。
また、本実施形態に係る撮像装置１は、被写体の輝度を検出し、検出結果により撮像素子からの複数の画素データを平均化して読み出すか、撮像素子からの複数の画素データを加算して読み出すかを選択する。具体的には、被写体が低輝度の場合に加算して読み出し、高輝度の場合に平均化して読み出す。
以下、本発明の第１の実施形態として、各部の構成および機能について説明する。
【００３５】
光学系は、レンズ光学系１０およびＣＭＯＳセンサ等のイメージセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズ１０１、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズ１０１により被写体の光学像を集光して、イメージセンサ１１上に被写体の像を結像する。
【００３６】
撮像素子としてのイメージセンサ１１は、たとえば、カラーフィルタが設けられたＣＭＯＳイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。
【００３７】
信号処理系は、イメージセンサ１１の複数の撮像素子から出力される複数の画素データを、平均化して読み出す機能および加算して読み出す機能を有し、被写体の輝度に応じて平均化したデータを読み出して出力するか加算したデータを読み出して出力するかを選択し、選択データを出力する読出回路１２と、読出回路１２から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）であるＣＤＳ１３と、ＣＤＳ１３が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１４と、Ａ／Ｄ変換器１４が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１５とから構成される。
【００３８】
本実施形態においては、読出回路１２を設けて画素の平均／加算積分の画素読出制御方式を採用している。
一般に、撮像素子より小さい画素数の取り込みで良い場合、画素の間引き若しくは加算積分処理したデータを出力する。単純な間引きの場合、構造的に簡易であるが画像から画素を差し引いているため、画質の劣化が懸念される。
これに対して、加算積分させる方式では、構造的に単純な間引きに比べて複雑であるが、画素を加算するために、加算されたデータの中にはいわゆる丸め込まれた情報もふくまれており、単純な間引きに比べると画質劣化を引き起こしにくいという利点がある。
また、加算されているため、見た目上の感度が上がっており、暗いときでも多くの情報が入る利点がある。
本実施形態においては、このような特徴を含みながら、以下に説明する画素制御方式を採用している。
【００３９】
図２は、イメージセンサの概念図である。なお、図２においてＲＧＢは色の３原色の赤、青、緑を示している。
【００４０】
図２のようなセンサ図において、Ｒ色に着目する。
通常４画素の加算積分を考えると、（Ｒ）＝Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４、となる（Ｒ）が画像出力として用いられる。
通常、この（Ｒ）を後段のＡ／Ｄ変換器１４によりディジタル信号に変換する。
Ａ／Ｄ変換器１４は、Ｖｒｅｆ電圧というＡ／Ｄ変換する際の基準電圧が与えられ。このＶｒｅｆ電圧を規定のビット数で分割したものが、そのＡ／Ｄの分解能となる。
通常、単画素の飽和レベル付近を上限として基準電圧Ｖｒｅｆの値が決められる。
（Ｒ）が複数画素の加算レベルの信号であるため、明るい被写体（輝度の高い被写体）を撮像した場合、飽和してしまう可能性がある。しかし、逆に暗い被写体（輝度の低い被写体）の場合、通常の単画素では、ノイズに埋もれてしまうレベルの出力信号でも加算して取り込むことから、規定値の信号レベルを確保できる。
画素平均については、Ｒ１、Ｒ２，Ｒ３，Ｒ４をアナログレベルで平均化する。
【００４１】
図３は、以上を踏まえて構成した読出回路１２の一例を示す回路図である。
この読出回路１２は、被写体の輝度を検出する輝度検出部１２１と、イメージセンサ１１からの複数の画素データを平均化して読み出し可能な画素平均読出手段としての平均化読出回路１２２と、イメージセンサ１１からからの複数の画素データを加算して読み出し可能な画素加算読出手段として加算読出回路１２３と、輝度検出部１２１の検出出力により平均化読出回路１２２と加算読出回路１２３とのいずれかの出力を選択する選択回路１２４とを有している。
【００４２】
加算読出回路１２３は、割り算回路１２３１〜１２３４と、加算回路１２３５とを有している。
この加算読出回路１２３は、割り算回路１２３１〜１２３４においてあらかじめわかっている加算個数で各入力信号Ｒ１〜Ｒ４を割っておき、その後に加算回路１２３５で加算する。
【００４３】
図３の回路により平均画素の情報は、加算画素の情報に比べると、その出力は単画素の出力とさほど変わらないため、暗い場所は出力レベルが低いが、周辺画素の情報もふくんでいるため、単画素に比べると画質劣化の程度も低く、ノイズレベルも低い。また、加算出力に比べると、明るい場合の飽和の問題もない。
以上の根拠に基づき、選択回路１２４は、輝度検出部１２１による事前の明るさ情報（輝度情報）Ｓ１２１を受けて、あらかじめ設定した画素平均を行うか画素加算を行うかを判定するためのしきい値Ｎと比較する。
選択回路１２４は、輝度情報がしきい値Ｎより大きい場合（Ｓ１２１＞Ｎ）には、明るい被写体であるとして、平均化読出回路１２２を選択するように選択信号Ｓ１２４を出力する。
一方、選択回路１２４は、輝度情報がしきい値Ｎ以下の場合（Ｓ１２１≦Ｎ）には、暗い被写体であるとして、加算読出回路１２３を選択するように選択信号Ｓ１２４を出力する。
【００４４】
本実施形態に係る画像処理部１５は、基本的には、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
後で詳述するように、画像処理部１５は、第１の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第２の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部１５は、第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。  また、画像処理部１５は、第２の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部１５は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
【００４５】
画像処理部１５は、後で詳述するように、第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき第１の圧縮画像の画像レベルを補正することにより、第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部１５は、第１の圧縮画像の画像レベルを維持し、第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部１５は、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。
【００４６】
記録系は、制御部１７により実行される制御用プログラムと、画像処理部１５により生成された画像データの圧縮データと、を格納するメモリ１６を含んで構成される。
【００４７】
表示系は、画像処理部１５が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１９と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部２０を含んで構成される。
【００４８】
制御系は、イメージセンサ１１乃至Ａ／Ｄ変換器１４の動作タイミングを制御するタイミングジェネレータ１８と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２１と、画像処理部１５と、メモリ１６に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２１から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１７とを含んで構成される。
【００４９】
制御部１７は、一つのストリーム上で異なった画素数の画像データを取り込む際、動画の場合にはローリングシャッタ機能を用い、静止画の際にはグローバルシャッタを用いるように制御する。
【００５０】
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００５１】
すなわち、本実施形態に係る撮像装置１は、制御部１７が一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、グローバルシャッタは用いず、高画素取り込みの場合のみグローバルシャッタ（若しくはメカニカルシャッタ）を用いる若しくは用いない判断を行う。
【００５２】
通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いるか、グローバルシャッタを用いて制御する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００５３】
図４は、ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
図４のように、Ａ〜Ｆまでのラインが素子に存在すると仮定すると、その画像の制御は図５に示すようになる。
通常、このローリングシャッタを使用する場合はＡ〜Ｆライン間で露光時間のズレを生じるために画像歪みを生じさせる
【００５４】
図６は、グローバルシャッタ使用時の図４のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【００５５】
この場合、グローバルシャッタ使用時は露光時間にズレを生じさせないため、画像に歪みを生じさせない。但し、露出終了が同時に起こるため、露光開始を全画素同時に行う必要がある。また、ローリングシャッタに比べ、画像転送時間が一斉に発生するため、長い時間要する。
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ（またはメカニカルシャッタ）の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ（たとえば、ユーザー設定）、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みをを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。
【００５６】
撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してイメージセンサ１１に入射され、イメージセンサ１１により光電変換されて電気信号となる。得られた電気信号は、読出回路１２を介して読み出され、ＣＤＳ１３によりノイズ成分が除去され、Ａ／Ｄ変換器１４によってディジタル化された後、画像処理部１５が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１８による信号処理系に対する制御により、画像処理部１５が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１５が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１９によってアナログ信号に変換され、対応する画像が表示部２０に表示される。
【００５７】
表示部２０は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２１に含まれるシャッタボタンを押下（操作）した後、制御部１７は、タイミングジェネレータ１８に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１５の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１５の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１６に記録される。
【００５８】
次に、画像処理部１５において実行される特徴的な処理について説明する。
【００５９】
画素数の違う画像の取り込みにおけるゲイン変倍若しくは平均制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部１５は、画素が出力される部分で、その画素数に応じたディジタルゲインの回路（若しくはアナログゲインの回路）、もしくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００６０】
図７は、イメージセンサの概念図であって、画像処理部の処理を説明するための図である。なお、図７においてＲＧＢは色の３原色の赤、青、緑を示している。
【００６１】
図７のようなセンサ図において、静止画（高画素）を取り込む際は、ほぼ全画素に相当する画素を取り込む。それに対し、動画（低画素）の場合は画素数的にも少なくて済むために、全画素の取り込みは必要なく必要最小限の画素の取り込みを行う。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図７の（Ｒ）のように周辺のＲを積分して取り出す。
その際出力された画素データが静止画（高画素）の場合と動画（低画素）の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。
図８に、本実施形態に係る補正処理の概念図を示す。
【００６２】
高画素時のＳ／Ｎ情報制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。  低画素取り込みの場合その１画素データは複数画素の積分から生成されており、短画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、Ｓ／Ｎとしても一般的に短画素のＳ／Ｎと、比較するとＳ／Ｎ的に優れた情報である。
本実施形態においては、その積分されたデータ（動画時の情報のＳ／Ｎ情報を利用し、比較的ノイズの多いとされる短画素データ（静止画の情報）の画質向上を達成させる。
【００６３】
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたディジタルゲインの回路（あるいはアナログゲインの回路）、若しくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００６４】
図７を参照すると、図７は、４画素を積分している図を示している。
これは、すなわち単画素に比べると、そこから出力される（Ｒ）は約４倍の出力を持った画像出力となる。これはＩＳＯの感度で言えば約２段分有利に働く。この（Ｒ）情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報ｒｌ〜ｒ４の情報を利用している。
イメージセンサ１１から出力されるレベル調整のため、同一ストリーム上では、この単画素ｒｌ〜ｒ４はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがＳ／Ｎに対し重大な劣化を招く。
元を正せば（Ｒ）情報はｒｌ〜ｒ４の積分情報であるので、ノイズの少ない（Ｒ）情報から類推することができる。
一方、単画素ｒｎは、最終的にはゲインアップされたＲｎとなる。
【００６５】
すなわち、単画素が各々ゲインアップされたデータの和（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）は論理的には大元の（ｒ１＋ｒ２＋ｒ３＋ｒ４）の和である（Ｒ）と等しくなければならない。ところが、ゲインアップ等のノイズ増大により、一般的に次の関係が成立する。
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
【００６６】
したがって、動画情報（Ｒ）と単画素のアドレスから一致する（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）の成分が存在する場合は、各々に掛けられたゲインを逆算し、その大元の成分である（ｒ１＋ｒ２＋ｒ３＋ｒ４）に戻した内容とその積分で構成されているはずの（Ｒ）と比較し、
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のＲｎに
（ｒ１−ｎ１）＋（ｒ２−ｎ２）＋（ｒ３−ｎ３）＋（ｒ４−ｎ４）・・（１）
のｎ１〜ｎ４に相当するＮ１〜Ｎ４を減じる補正を施す。
【００６７】
この際、ｎ１〜ｎ４は一定値である可能性も、ｒｌ〜ｒ４の出力比である可能性も、その混合の可能性もある。それはそのカメラシステムにおけるノイズ成分がどのようなノイズが支配的かによる。
また計算上（量子化誤差等）の誤差もあるため（１）式の右辺は（Ｒ）固定ではなく、（Ｒ）±ｘである。
このときのｘは、計算上の丸め込み等の誤差で生じる誤差補正数である。
【００６８】
動画タイミング時の再生でも静止画画質を生成する方法
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質（低画素数）しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。
【００６９】
動画（低画素）と静止画（高画素）混在のストリーム上では、図９のようになる。
ここで高画素（静止画）画像データＩｎと低画素（動画）画像データｂｎとの違いは、出力される１画素相当画像情報の中、Ｉｎは相当する１画素の情報、ｂｎは積分する画素情報、の違いがある。
また、Ｉｎはディジタル的には、積分は可能なため、実質的にはＩｎ時の情報は、静止画情報および動画情報をもつことになる。
ここで、Ｉから予測される情報も含んだ動画情報ｂｎからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Ｉｎからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばｂ５の静止画生成には、Ｉ情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりｂとｂの間の画像もｂｎの物体移動情報及びＩｎの含有比率情報から作り出すことが可能である。
【００７０】
以上説明したように、本第１の実施形態における撮像装置１によれば、イメージセンサ１１の複数の撮像素子から出力される複数の画素データを、平均化して読み出す機能および加算して読み出す機能を有し、被写体の輝度に応じて平均化したデータを読み出して出力するか加算したデータを読み出して出力するかを選択し、選択データを出力する読出回路１２を有することから、明るい被写体で出力が飽和することがなく、かつ、暗い被写体でも画質劣化の程度を低く抑えることができる利点がある。
【００７１】
また、信号処理系において動画撮影中、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
【００７２】
第２実施形態
図１０は、本発明に係る撮像装置の第２の実施形態を示すブロック図である。
図１１は、第２の実施形態に係る読出回路の構成例を示すブロック図である。
【００７３】
本第２の実施形態が上述した第１の実施形態と異なる点は、読出回路１２Ａにおいて、輝度に応じて、平均（高輝度〜通常輝度）、第１所定量加算（少々低輝度）、第２所定量加算（中低期度）、第３所定量加算（かなり低輝度）を選択し、加算の度合いに応じてＡＡ／Ｄ変換器１４Ａの基準電圧Ｖｒｅｆを変更して、レベル変動を抑えるように構成したことにある。
【００７４】
具体的には、基準電圧供給回路２２に対して、選択回路１２４Ａが平均化読出処理を選択する場合には、基準電圧Ｖｒｅｆ１をＡ／Ｄ変換器１４Ａに対して供給し、第１所定量加算を選択する場合は、基準電圧Ｖｒｅｆ２をＡ／Ｄ変換器１４Ａに対して供給し、第２所定量加算を選択する場合は、基準電圧Ｖｒｅｆ３をＡ／Ｄ変換器１４Ａに対して供給し、第３所定量加算を選択する場合は、基準電圧Ｖｒｅｆ４をＡ／Ｄ変換器１４Ａに対して供給するように指示する。
この場合、選択回路１４Ａが加算画素数変更手段として機能し、選択回路１４Ａおよび基準電圧供給回路２２が基準電圧変更手段として機能する。
【００７５】
その他の構成は第１の実施形態と同様である。
【００７６】
本第２の実施形態によれば、第１の実施形態の効果に加えて、輝度変化によるレベル変動を的確に抑えることができる利点がある。
【図面の簡単な説明】
【００７７】
【図１】本発明に係る撮像装置の第１の実施形態を示すブロック図である。
【図２】イメージセンサの概念図であって、本実施形態における画素制御方式を説明するための図である。
【図３】本実施形態に係る読出回路の構成例を示すブロック図である。
【図４】ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
【図５】図４のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図６】グローバルシャッタ使用時の図４のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図７】イメージセンサの概念図であって、画像処理部の処理を説明するための図である。
【図８】本実施形態に係る補正処理の概念図を示す図である。
【図９】動画（低画素）と静止画（高画素）混在のストリーム上の概念図である。
【図１０】本発明に係る撮像装置の第２の実施形態を示すブロック図である。
【図１１】第２の実施形態に係る読出回路の構成例を示すブロック図である。
【符号の説明】
【００７８】
１，１Ａ…撮像装置
１０…レンズ光学系
１１…イメージセンサ
１２，１２Ａ…読出回路
１２１…輝度検出部
１２２…平均化読出回路
１２３…加算読出回路
１２４，１２４ＡＡ…選択回路
１３…ＣＤＳ
１４…Ａ／Ｄ変換器
１５…画像処理部
１６…メモリ
１７…制御部
１８…タイミングジェネレータ
１９…Ｄ／Ａ変換器
２０…表示部
２１…操作入力部
２２…基準電圧供給回路
【図１】
2006041862.tif 000003
【図２】
2006041862.tif 000004
【図３】
2006041862.tif 000005
【図４】
2006041862.tif 000006
【図５】
2006041862.tif 000007
【図６】
2006041862.tif 000008
【図７】
2006041862.tif 000009
【図８】
2006041862.tif 000010
【図９】
2006041862.tif 000011
【図１０】
2006041862.tif 000012
【図１１】
2006041862.tif 000013