(57)【要約】【課題】従来にない全く新規な撮像方式を有する撮像装置およびその画像生成方法を提供する。【解決手段】第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用する制御部１６と、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する画像処理部１４とを有する。【選択図】        図１
2005244760.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像を撮像素子に結像させシャッタ機能により取り込んだ当該撮像素子による画像データに対して所定の画像処理を行う撮像装置であって、
上記シャッタ機能は、グローバルシャッタ機能とローリングシャッタ機能とを含み、
一動画像データ取り込み中に上記ローリングシャッタと上記グローバルシャッタとを併用する制御部と、
上記グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、上記第１の圧縮画像を生成する期間の前後の期間で、上記ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する画像処理部と
を有する撮像装置。
【請求項２】
上記画像処理部は、第１の圧縮画像を上記撮像素子から画像データを間引かずに読み出して生成し、上記第２の圧縮画像を上記撮像素子から画像データを間引いて読み出して生成する
請求項１に記載の撮像装置。
【請求項３】
上記画像処理部は、上記第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、上記第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する
請求項１または２に記載の撮像装置。
【請求項４】
上記第２の圧縮画像を上記撮像素子からのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う
請求項２記載の撮像装置。
【請求項５】
上記画像処理部は、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する
請求項１乃至４のいずれか一に記載の撮像装置。
【請求項６】
上記画像処理部は、上記第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき上記第１の圧縮画像の画像レベルを補正することにより、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する
請求項４記載の撮像装置。
【請求項７】
上記画像処理部は、上記第１の圧縮画像の画像レベルを維持し、上記第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する
請求項４記載の撮像装置。
【請求項８】
上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像とその前後の上記第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する
請求項１乃至７のいずれか一に記載の撮像装置。
【請求項９】
被写体の光学像を撮像素子に結像させグローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能により取り込んだ撮像素子による画像データに対して所定の画像処理を行って画像データを生成する撮像装置の画像生成方法であって、
一動画像データ取り込み中に、上記グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して１画面内での第１の圧縮画像を生成し、
上記第１の圧縮画像を生成する期間の前後の期間で、上記ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する
撮像装置の画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルカメラ等の撮像装置および撮像方法に係り、より詳しくは、動画主体として取り出す画像（比較的低画素数）と静止側として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う撮像装置およびその画像生成方法に関するものである。
【背景技術】
【０００２】
従来より、動画撮影中に、高解像の静止画を撮影可能な撮像装置が、以下に第１〜第８の撮像装置として示すように、種々提案されている。
【０００３】
第１の撮像装置は、動画撮影中に所定周期で静止画を撮影するものである（特許文献１参照）。
【０００４】
第２の撮像装置は、通常解像度の動画撮影中に操作者の操作により、または、自動的に一定間隔で高解像度の静止画を撮影するものであって、静止画は静止画デ一タとして記録し、動画は動画デ一タとして記録するものであり、動画再生中に静止画データありを表示し、操作者の操作でその静止画表示に切り替わる（特許文献２参照）。
【０００５】
第３の撮像装置は、所定期間の動画を撮影しつつ操作者のシャツタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである。
【０００６】
第４の撮像装置は、動画撮影時にシャツタボタン操作すると高精細の静止画を撮影するカムコーダなどの動画記録装置であって、シャッタボタン操作時の高精細の静止画を強制的にイントラ符号化画像（Ｉピクチャ）として符号化するものである（特許文献３参照）。
【０００７】
第５の撮像装置は、動画撮影中に静止画撮影が可能なものであって、希望する静止画がない場合には、所望する動画像に対応する高解像度画像を、所望する動画像とそれと関連する静止画像とで合成するものである（特許文献４参照）。
【０００８】
第６の撮像装置は、シャッタボタンの半押で動画記録開始し、シャッタボタンの押込みで動作記録中に静止画の撮影を行うデジタルカメラであって、動画撮影中に撮影した静止画デ一夕を動画デ一夕と関連付けて記憶するものである（特許文献５参照）。
【０００９】
第７の撮像装置は、動画撮影中に操作者のシャッタボタン操作により静止画を撮影する画像記録装置であって、撮影した静止画をその前後の動画を用いて修正するものである（特許文献６参照）。
【００１０】
第８の撮像装置は、動画と静止画のデータを一連のファイルとして記録するもの、動画は、ＭＰ＠ＭＬ（Ｍａｉｎ  Ｐｒｏｆｉｌｅ  ａｔ  Ｍａｉｎ  Ｌｅｖｅｌ）で記録し、静止画はＭＰ＠ＨＬ（Ｍａｉｎ  Ｐｒｏｆｉｌｅ  ａｔ  Ｈｉｇｈ  Ｌｅｖｅｌ）で記録するものである（特許文献７参照）。
【００１１】
【特許文献１】特開平７−２４５７２２号公報
【特許文献２】特開平９−５１４９８号公報
【特許文献３】特開平７−２８４０５８号公報
【特許文献４】特開２００２−５１２５２号公報
【特許文献５】特開２００２−８４４４２号公報
【特許文献６】特開平７−１４３４３９号公報
【特許文献７】特開平１１−２３４６２３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ところで、上述した各撮像装置においては、通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いる。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、そのが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタが必要となるが、限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界がある。
【００１３】
また、ディジタルカメラ等においては、高解像度で所望する画像を得るために、操作者が撮影対象を観察し、ここと思うタイミングでレリーズボタンを操作する必要がある。
しかしながら、ここと思うタイミングで操作したとしても、必ずしも所望する画像は得られないことが多く、これを解消する連写機能が実用化されている。
しかし、高解像度で、たとえば１０秒間も秒数コマで撮影したとすると、その記録した画像データは膨大となり、現在のメモリカード等の容量を考えると実用性に乏しい。
また、このような連写機能を有するものは、数百万画素の高解像度の静止画連写の場合、連写速度の上限がＣＣＤ等の読み出し処理能力に大きく依存するため、秒数コマ程度が上限とななり、所望する画像が動きの早い被写体であると、たとえば連写を用いたとしても所望する画像を得ることはむずかしいものとなる。
【００１４】
そこで、連写等の速度を気にせずに、かつ記録容量も実用的に抑えた上で、操作者がシャッタタイミングを気にせずに所望の高解像度静止画を得ることが可能な撮像装置を新規に開発した。
【００１５】
本発明はかかる開発にて生じた全く新規なものであり、特に、上記した高解像度生成画を得る等の課題を背景とするものではなく、従来にない全く新規な撮像方式を有する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の観点は、被写体の光学像を撮像素子に結像させシャッタ機能により取り込んだ当該撮像素子による画像データに対して所定の画像処理を行う撮像装置であって、上記シャッタ機能は、グローバルシャッタ機能とローリングシャッタ機能とを含み、一動画像データ取り込み中に上記ローリングシャッタと上記グローバルシャッタとを併用する制御部と、上記グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、上記第１の圧縮画像を生成する期間の前後の期間で、上記ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する画像処理部とを有する。
【００１７】
好適には、上記画像処理部は、第１の圧縮画像を上記撮像素子から画像データを間引かずに読み出して生成し、上記第２の圧縮画像を上記撮像素子から画像データを間引いて読み出して生成する。
【００１８】
好適には、上記画像処理部は、上記第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、上記第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。
【００１９】
好適には、上記第２の圧縮画像を上記撮像素子からのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
【００２０】
好適には、上記画像処理部は、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する。
【００２１】
好適には、上記画像処理部は、上記第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき上記第１の圧縮画像の画像レベルを補正することにより、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する。
【００２２】
好適には、上記画像処理部は、上記第１の圧縮画像の画像レベルを維持し、上記第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、上記第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する。
【００２３】
好適には、上記画像処理部は、上記第２の圧縮画像の一画面を指定すると、当該第２の圧縮画像とその前後の上記第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する。
【００２４】
本発明の第２の観点は、被写体の光学像を撮像素子に結像させグローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能により取り込んだ撮像素子による画像データに対して所定の画像処理を行って画像データを生成する撮像装置の画像生成方法であって、一動画像データ取り込み中に、上記グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して１画面内での第１の圧縮画像を生成し、上記第１の圧縮画像を生成する期間の前後の期間で、上記ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
【発明の効果】
【００２５】
本発明によれば、従来にない新規な撮像装置が提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明に係る撮像装置の実施形態について、添付図面に関連付けて説明する。
【００２７】
図１は、本実施形態における撮像装置１の全体構成を例示する図である。本撮像装置１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００２８】
本実施形態に係る撮像装置１は、動画撮影中、信号処理系において高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能ちグローバルシャッタ機能とを併用する。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正する。
以下、各部の構成および機能について説明する。
【００２９】
光学系は、レンズ光学系１０およびＣＭＯＳセンサ等のイメージセンサ１１から構成される。
レンズ光学系１０は、被写体に対向する光学レンズ１０１、および図示しない光学ローパスフィルタ等を備えている。レンズ光学系１０においては、光学レンズ１０１により被写体の光学像を集光して、イメージセンサ１１上に被写体の像を結像する。
【００３０】
撮像素子としてのイメージセンサ１１は、たとえば、カラーフィルタが設けられたＣＭＯＳイメージセンサから構成され、レンズ光学系１０により結像された被写体の像を光電変換する。
また、グローバルシャッタ機能とローリングシャッタ機能とを含むシャッタ機能を有する。
シャッタ機能は、制御系の制御に従ってグローバルシャッタ機能またはローリングシャッタ機能を選択的に用いられ、ローリングシャッタで画素を取り込ませている間に、グローバルシャッタで画像を取り込ませることが可能なように制御される。すなわち、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とが併用される。
【００３１】
信号処理系は、イメージセンサ１１から出力される電気信号をサンプリングすることによってノイズを低減させるための相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）であるＣＤＳ１２と、ＣＤＳ１２が出力するアナログ信号をディジタル信号に変換するＡ／Ｄ変換器１３と、Ａ／Ｄ変換器１３が出力するディジタル信号に対して、後述する所定の画像処理を行う画像処理部１４とから構成される。
【００３２】
本実施形態に係る画像処理部１４は、基本的には、グローバルシャッタで取り込んだ画素のデータをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、ローリングシャッタで取り込んだ画素のデータをインターフレーム圧縮して第２の圧縮画像を生成する。
後で詳述するように、画像処理部１４は、第１の圧縮画像をイメージセンサから画像データを間引かずに読み出して生成し、第２の圧縮画像をイメージセンサから画像データを間引いて読み出して生成する。
画像処理部１４は、第１の圧縮画像の生成時は高画素の画像データをイントラフレーム圧縮し、第２の圧縮画像の生成時は、低画素の画像データをインターフレーム圧縮する。
また、画像処理部１４は、第２の圧縮画像をイメージセンサからのデータを間引いて読み出して生成する場合、同色の近傍の画素の積分処理を行って間引き読み出しを行う。
画像処理部１４は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
【００３３】
画像処理部１４は、後で詳述するように、第２の圧縮画像の積分処理読み出しを行ったＲレベルに基づき第１の圧縮画像の画像レベルを補正することにより、第１の圧縮画像の画像レベルと上記第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
また、画像処理部１４は、第１の圧縮画像の画像レベルを維持し、第２の圧縮画像の画像レベルは、積分処理の積分量で除して補正することにより、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルに補正する機能を有している。
そして、画像処理部１４は、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して当該指定した一画面を示す高解像度の静止画像データを生成する機能を有する。
【００３４】
記録系は、制御部１６により実行される制御用プログラムと、画像処理部１４により生成された画像データの圧縮データと、を格納するメモリ１５を含んで構成される。
【００３５】
表示系は、画像処理部１４が処理し、内蔵する画像メモリに格納する画像データをアナログ化するＤ／Ａ変換器１８と、入力される画像を表示することによりファインダとして機能するＬＣＤ(Liquid Crystal Display)等よりなる表示部１９を含んで構成される。
【００３６】
制御系は、イメージセンサ１１乃至Ａ／Ｄ変換器１３の動作タイミングを制御するタイミングジェネレータ１７と、ユーザによるシャッタ操作やその他のコマンドを入力するための操作入力部２０と、画像処理部１４と、メモリ１５に記憶されている制御用プログラムを読み出し、読み出した制御用プログラムと、操作入力部２０から入力されるユーザからのコマンド等に基づいて、撮像装置１の全体を制御するＣＰＵ(Central Processing Unit) などよりなる制御部１６とを含んで構成される。
【００３７】
制御部１６は、一つのストリーム上で異なった画素数の画像データを取り込む際、動画の場合にはローリングシャッタ機能を用い、静止画の際にはグローバルシャッタを用いるように制御する。
【００３８】
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００３９】
すなわち、本実施形態に係る撮像装置１は、制御部１６が一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）をで同一ストリーム上で取り扱う場合、低画素取り込みの場合、グローバルシャッタは用いず、高画素取り込みの場合のみグローバルシャッタ（若しくはメカニカルシャッタ）を用いる若しくは用いない判断を行う。
【００４０】
通常、動画程度の画像を取り込む場合は、ローリングシャッタを繰り返し露光−データ転送を順次行う。また、静止画の連続撮影を行う場合は、同様にローリングシャッタを連続させるか、メカニカルシャッタを用いるか、グローバルシャッタを用いて制御する。
ここで、ローリングシャッタのみの画像取り込みでは、画像の上下で画像の歪みが発生することとなる。但し、あくまで動画像なので許容できる。
しかしながら、それが静止画像の取り込みとなると、この画像歪みを許容できなくなる。そのために、メカニカルシャッタおよびグローバルシャッタが必要となる。限りなく、高速で連続画像取り込みを行うには、メカニカルシャッタ駆動にも限界があり、グローバルシャッタが不可欠となってくる。
ここでは、一つのストリーム上で異なった画素数の画像データを取り込む際、動画はローリングシャッタ機能を用い、静止画はローリングシャッタ若しくはグローバルシャッタを用いる、用いないときのカメラ状態において判断する。
【００４１】
図２は、ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定すると、その画像の制御は図３に示すようになる。
通常、このローリングシャッタを使用する場合はＡ〜Ｆライン間で露光時間のズレを生じるために画像歪みを生じさせる
【００４２】
図４は、グローバルシャッタ使用時の図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【００４３】
この場合、グローバルシャッタ使用時は露光時間にズレを生じさせないため、画像に歪みを生じさせない。但し、露出終了が同時に起こるため、露光開始を全画素同時に行う必要がある。また、ローリングシャッタに比べ、画像転送時間が一斉に発生するため、長い時間要する。
したがって、ローリングシャッタの長所としては、その取り込みのスピードがグローバルシャッタやメカニカルシャッタに比べ高速なことである。短所としては、ライン間の画像歪みを生じさせることである。
それに比べ、グローバルシャッタ（またはメカニカルシャッタ）の長所は、画像の歪みを生じさせないデータを得ることができる一方、取り込みのスピードは、ローリングシャッタに比べ遅くなる。
これらの長所、短所をカメラシステムとして、予め予測しておけば、カメラの状況に応じ（たとえば、ユーザー設定）、画像歪みは許容できるがスピード優先は絶対必要な場合はどのような、画素数の画像であろうと全てローリングシャッタで取り込みをを行い、画質優先の場合は、その必要な画像データに関してはグローバルシャッタを用いる。
なお、一連の動作の中で、違う画素数を撮像素子から取り出すシステムに限らず、同一の画素数を取り扱う場合も同様なことが言える。
【００４４】
撮像装置１においては、被写体の光学像は、レンズ光学系１０を介してイメージセンサ１１に入射され、イメージセンサ１１により光電変換されて電気信号となる。得られた電気信号は、ＣＤＳ１２によりノイズ成分が除去され、Ａ／Ｄ変換器１３によってディジタル化された後、画像処理部１４が内蔵する画像メモリに一時格納される。
通常の状態では、タイミングジェネレータ１７による信号処理系に対する制御により、画像処理部１４が内蔵する画像メモリには、一定のフレームレートで絶えず画像信号が上書きされるようになされている。画像処理部１４が内蔵する画像メモリの画像信号は、Ｄ／Ａ変換器１８によってアナログ信号に変換され、対応する画像が表示部１９に表示される。
【００４５】
表示部１９は、撮像装置１のファインダの役割も担っている。ユーザが操作入力部２０に含まれるシャッタボタンを押下（操作）した後、制御部１６は、タイミングジェネレータ１７に対し、シャッタボタンが押下された直後の画像信号を保持するように、すなわち、画像処理部１４の画像メモリに画像信号が上書きされないように、信号処理系を制御する。そして、画像処理部１４の画像メモリに保持された画像データは、所定の方式により圧縮されてメモリ１５に記録される。
【００４６】
次に、画像処理部１４において実行される特徴的な処理について説明する。
【００４７】
画素数の違う画像の取り込みにおけるゲイン変倍若しくは平均制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素取り込みの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなる。高画素取り込みの場合は、その低画素取り込み時の積分画素数に比べるとそれ以下の画素数となる。
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画像処理部１４は、画素が出力される部分で、その画素数に応じたディジタルゲインの回路（若しくはアナログゲインの回路）、もしくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００４８】
図５は、イメージセンサの概念図である。なお、図５においてＲＧＢは色の３原色の赤、青、緑を示している。
【００４９】
図５のようなセンサ図において、静止画（高画素）を取り込む際は、ほぼ全画素に相当する画素を取り込む。それに対し、動画（低画素）の場合は画素数的にも少なくて済むために、全画素の取り込みは必要なく必要最小限の画素の取り込みを行う。
通常は不必要な画素は単純な間引きにより排除されるが、動画等のクオリティを求める場合、図５の（Ｒ）のように周辺のＲを積分して取り出す。
その際出力された画素データが静止画（高画素）の場合と動画（低画素）の場合では異なり、出力のレベルの差がでる。
これを補正するため、高画素と低画素時では、その積分された画素の比に応じた係数を出力データに掛け補正するか若しくは積分された画素データをその積分された画素数に応じた係数で平均化することにより、静止画と動画時の出力レベルを補正する。  
図６に、本実施形態に係る補正処理の概念図を示す。
【００５０】
高画素時のＳ／Ｎ情報制御
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱う場合、低画素キャプチャーの場合、出力される画素は最低でもその同一色画素の１画素以上の積分された画素データからなり、高画素キャプチャーの場合は、その低画素キャプチヤー時の積分画素数に比べるとそれ以下の画素数となる。
低画素取り込みの場合その１画素データは複数画素の積分から生成されており、短画素取り込み時のそれと比較すると、出力は積分数だけ大きくなり、Ｓ／Ｎとしても一般的に短画素のＳ／Ｎと、比較するとＳ／Ｎ的に優れた情報である。
本実施形態においては、その積分されたデータ（動画時の情報のＳ／Ｎ情報を利用し、比較的ノイズの多いとされる短画素データ（静止画の情報）の画質向上を達成させる。
【００５１】
その出力された画素の１画素の出力は、元の積分された画素数の差によりおのずと異なる。その異なった１画素１画素の出力を同一なものと判断すると、画像処理において、特にその画像の輝度が異なった画像を連続して生成してしまうため、おかしな画像となってしまう。
それを解消するため、画素が出力される部分で、上述したように、画素数に応じたディジタルゲインの回路（あるいはアナログゲインの回路）、若しくは画素数分平均化する回路を設け、１画素、１画素の画像出力に差異が発生することを補正する回路を設ける。
【００５２】
図５を参照すると、図５は、４画素を積分している図を示している。
これは、すなわち単画素に比べると、そこから出力される（Ｒ）は約４倍の出力を持った画像出力となる。これはＩＳＯの感度で言えば約２段分有利に働く。この（Ｒ）情報を常時利用しているのが低画素出力時である。
それに比べ高画素出力時には、単画素出力情報ｒｌ〜ｒ４の情報を利用している。
イメージセンサ１１から出力されるレベレ調整のため、同一ストリーム上では、この単画素ｒｌ〜ｒ４はアナログ若しくはデジタルによるゲインアップにより補正される。このゲインアップがＳ／Ｎに対し重大な劣化を招く。
元を正せば（Ｒ）情報はｒｌ〜ｒ４の積分情報であるので、ノイズの少ない（Ｒ）情報から類推することができる。
一方、単画素ｒｎは、最終的にはゲインアップされたＲｎとなる。
【００５３】
すなわち、単画素が各々ゲインアップされたデータの和（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）は論理的には大元の（ｒ１＋ｒ２＋ｒ３＋ｒ４）の和である（Ｒ）と等しくなければならない。ところが、ゲインアップ等のノイズ増大により、一般的に次の関係が成立する
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
【００５４】
したがって、動画情報（Ｒ）と単画素のアドレスから一致する（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）の成分が存在する場合は、各々に掛けられたゲインが逆算し、その大元の成分である（ｒ１＋ｒ２＋ｒ３＋ｒ４）に戻した内容とその積分で構成されているはずの（Ｒ）と比較し、
ｒ１＋ｒ２＋ｒ３＋ｒ４＞＞（Ｒ）
に関係が成立した場合は、そのオーバ分はノイズと判断し、各々のＲｎに
（ｒ１−ｎ１）＋（ｒ２−ｎ２）＋（ｒ３−ｎ３）＋（ｒ４−ｎ４）・・（１）
のｎ１〜ｎ４に相当するＮ１〜Ｎ４を減じる補正を施す。
【００５５】
この際、ｎ１〜ｎ４は一定値である可能性も、ｒｌ〜ｒ４の出力比である可能性も、その混合の可能性もある。それはそのカメラシステムにおけるノイズ成分がどのようなノイズが支配的かによる。
また計算上（量子化誤差等）の誤差もあるた（１）式の右辺は（Ｒ）固定ではなく、（Ｒ）±ｘである。
このときのｘは、計算上の丸め込み等の誤差で生じる誤差補正数である。
【００５６】
動画タイミング時の再生でも静止画画質を生成する方法
一連の動作の中で、違う画素数を撮像素子から取り出すシステムにおいて、動画主体として取り出す画像（比較的低画素数）と静止画として取り扱える画像（比較的高画素数）を同一ストリーム上で取り扱い制御する方式で、その再生時に動画の画質（低画素数）しかないタイミングであっても、周囲の静止画の情報から予測された情報により動画画質を静止画として復元させる。
【００５７】
動画（低画素）と静止画（高画素）混在のストリーム上では、図７のようになる。
ここで高画素（静止画）画像データＩｎと低画素（動画）画像データｂｎとの違いは、出力される１画素相当画像情報の中、Ｉｎは相当する１画素の情報、ｂｎは積分する画素情報、の違いがある。
また、Ｉｎはディジタル的には、積分は可能なため、実質的にはＩｎ時の情報は、静止画情報および動画情報をもつことになる。
ここで、Ｉから予測される情報も含んだ動画情報ｂｎからは、積分された情報を一塊とする、物体移動情報が算出される。
また、Ｉｎからは、その積分される各々の単画素の含有比率情報が得られる。
したがって、動画画素数の情報しか持たない、たとえばｂ５の静止画生成には、Ｉ情報の変動から予想される各々の積分される単画素の構成比率を乗ずれば、ここの画素成分に復元できる。その個々の単画素情報から画像を生成することにより、静止画画質の画像を作り出せる。また、上述の理由によりｂとｂの間の画像もｂｎの物体移動情報及びＩｎの含有比率情報から作り出すことが可能である。
【００５８】
以上説明したように、本実施形態における撮像装置１によれば、信号処理系において動画撮影中、高画素の画像データをイントラフレーム圧縮して第１の圧縮画像を生成し、第１の圧縮画像を生成する期間の前後の期間で、低画素の画像データをインターフレーム圧縮して第２の圧縮画像を生成し、第２の圧縮画像の一画面を指定すると、第２の圧縮画像とその前後の第１の圧縮画像を含めた他の圧縮画像により伸長復号して指定した一画面を示す高解像度の静止画像データを生成する。
そして、本実施形態に係る撮像装置１は、一動画像データ取り込み中に、ローリングシャッタ機能とグローバルシャッタ機能とを併用することから、画像の歪みの発生を抑止しつつ、高速で連続画像取り込みを行うことが可能となる利点がある。
また、本実施形態に係る撮像装置１は、第１の圧縮画像の画像レベルと第２の圧縮画像の画像レベルとを略等しいレベルの補正することができ、画像の輝度が異なった画像を連続して生成してしまうためことを防止できる利点がある。
【図面の簡単な説明】
【００５９】
【図１】本実施形態に係る撮像装置の一実施形態を示すブロック図である。
【図２】ローリングシャッタ使用時の撮像素子（イメージセンサ）の一例を示す図である。
【図３】図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図４】グローバルシャッタ使用時の図２のように、Ａ〜Ｆまでのラインが素子に存在すると仮定したときの画像の制御波形例を示す図である。
【図５】イメージセンサの概念図である。
【図６】本実施形態に係る補正処理の概念図を示す図である。
【図７】動画（低画素）と静止画（高画素）混在のストリーム上の概念図である。
【符号の説明】
【００６０】
１…撮像装置
１０…レンズ光学系
１１…イメージセンサ
１２…ＣＤＳ
１３…Ａ／Ｄ変換器
１４…画像処理部
１５…メモリ
１６…制御部
１７…タイミングジェネレータ
１８…Ｄ／Ａ変換器
１９…表示部
２０…操作入力部
【図１】
2005244760.tif 000003
【図２】
2005244760.tif 000004
【図３】
2005244760.tif 000005
【図４】
2005244760.tif 000006
【図５】
2005244760.tif 000007
【図６】
2005244760.tif 000008
【図７】
2005244760.tif 000009