(57)【要約】【課題】画面の一部のみが動きの早い被写体であっても画面全体の蓄積時間を短くするため、動きのない部分についてはＳＮ比が劣化する。【解決手段】基準時間のＮ倍の速度で動作する撮像部１と、撮像部１の出力を記憶する記憶部２と、これらのＮ枚の画像データを用いて静止画部分と動画部分を識別する識別部３と、動画領域についてはＮ枚中１枚を選択して出力する動画部処理部５と、静止画領域については加算平均処理等の高ＳＮ化処理を施した後、出力する動画部処理部５と、動画部処理部５の出力と静止画部処理部４の出力を合成する合成部６と、合成部６の出力を基準時間に変更する時間伸長部７を備えている。【選択図】図１
2008053993.tif 000002
【特許請求の範囲】
【請求項１】
基準時間内において複数枚の画像に相当する画像データ情報を取得する撮像部と、
前記撮像部で取得された前記画像データ情報を記憶する記憶部と、
前記記憶部に記憶された前記画像データ情報が入力され、前記画像の各単位領域が動画領域であるか静止画領域であるかを識別する識別信号を出力する識別部と、
前記画像データ情報の中から少なくとも１枚の前記画像に相当する前記画像データ情報を選択して出力する動画処理部と、
前記画像データ情報の中から少なくとも２枚の前記画像に相当する前記画像データ情報を用いてノイズ低減処理を行い、出力する静止画処理部と、
前記識別信号が入力され、前記画像の各単位領域が動画領域であると判断された場合は前記動画処理部からの出力を選択し、前記画像の各単位領域が静止画領域であると判断された場合は前記静止画処理部からの出力を選択して、１枚の画像に相当する画像データ情報を合成して出力する合成部と、
を備える撮像装置。
【請求項２】
前記動画処理部は、前記識別信号により動画領域であると判断された前記単位領域については、前記複数枚の前記画像に相当する前記画像データ情報の中から少なくとも１枚の前記画像に相当する前記画像データ情報を選択して出力し、
前記静止画処理部は、前記識別信号により静止画領域であると判断された前記単位領域については、前記複数枚の前記画像に相当する前記画像データ情報の中から少なくとも２枚の前記画像に相当する前記画像データ情報を用いてノイズ低減処理を行う、
請求項１に記載の撮像装置。
【請求項３】
前記合成部から出力された画像データ情報を、表示装置に動画として表示させるための前記基準時間に対応する画像信号データ信号に変換して、出力する時間伸長部をさらに備える、
請求項１又は２に記載の撮像装置。
【請求項４】
前記静止画処理部は、前記複数枚の画像に相当する前記画像データ情報の中から少なくとも２枚の画像に相当する前記画像データ情報を選択して、加算平均することで前記ノイズ低減処理を行う、
請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記動画処理部は、前記基準時間において所定の位置に現れる前記画像に相当する画像データ情報を選択する、
請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記動画処理部は、前記基準時間において所定の周期で現れる前記画像に相当する画像データ情報を選択する、
請求項１から４のいずれかに記載の撮像装置。
【請求項７】
前記基準時間は、テレビジョン信号において１フィールドを走査するのに要する時間である、
請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記基準時間は、テレビジョン信号において１フレームを走査するのに要する時間である、
請求項１から６のいずれかに記載の撮像装置。
【請求項９】
基準時間内に複数枚の画像に相当する画像データ情報を取得する撮像部と、
前記撮像部で取得された前記画像データ情報を記憶する記憶部と、
前記記憶部に記憶された前記画像データ情報が入力され、前記画像の各単位領域が動画領域であるか静止画領域であるかを識別する識別信号を出力する識別部と、
前記画像データ情報の中から少なくとも１枚の前記画像に相当する前記画像データ情報を選択して出力する動画処理部と、
前記画像データ情報の中から少なくとも２枚の前記画像に相当する前記画像データ情報を用いてノイズ低減処理を行い、出力する静止画処理部と、
前記識別信号が入力され、前記画像の各単位領域が動画領域であると判断された場合は前記動画処理部からの出力を選択し、前記画像の各単位領域が静止画領域であると判断された場合は前記静止画処理部からの出力を選択して、１枚の画像に相当する画像データ情報を合成して出力する合成部と、
を備える集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、特に動画像を撮像できる機能を有する撮像装置および集積回路に関する。
【背景技術】
【０００２】
一般的な撮像装置に使用される撮像素子の一例としてフレームインターライン型固体撮像素子がある。フレームインターライン型固体撮像素子は、図６に示すように、主に、フォトダイオード１２により構成される光電変換領域と、光電変換された電荷を読み出すためのトランスファーゲート１３と、読み出された電荷を垂直方向に転送するための第一垂直ＣＣＤレジスタ９および第二垂直ＣＣＤレジスタ１０と、読み出された電荷を水平方向に転送するための水平ＣＣＤレジスタ１１と、不要電荷を掃出するためのドレイン８と、第一垂直ＣＣＤレジスタ９と第二垂直ＣＣＤレジスタ１０とを各々独立して駆動する電極φＶ１〜φＶ４、φＭ１〜φＭ４とを有している。このような固体撮像素子において、例えばＮＴＳＣ方式の場合には、電荷の蓄積時間は１／６０秒となり、この蓄積時間で蓄積された電荷量で像を構築するため、速く動く被写体を撮った場合には、電荷の蓄積が被写体の動作に追従できず、画像がぼける（あるいは、ぶれる）という問題が生じる。この問題を解決するため、電荷の蓄積時間を短くする電子シャッタ機能が実用化されている（例えば、特許文献１を参照。）。
この電子シャッタ機能の動作について、図７のタイミング図を用いて説明する。図７に示すように、Ａフィールドの場合、掃出しパルスを垂直転送電極φＶ１、φＶ３に印加し、Ｂフィールドの読み出しパルスからＡフィールドの掃出し期間フォトダイオード１２に蓄積された不要電荷を、第一垂直ＣＣＤレジスタ９に読み出す。読み出された不要電荷は、不要電荷掃出し転送パルスによってドレイン８で捨てられる。次に、Ａフィールドの掃出しパルスから読み出しパルスまでの期間フォトダイオード１２に蓄積された信号電荷は、読み出しパルスにより、第一垂直ＣＣＤレジスタ９に読み出された後、高速メモリ転送パルスにより第二垂直ＣＣＤレジスタ１０に転送される。さらに、第二垂直ＣＣＤレジスタ１０に転送された信号電荷は、ラインシフトパルスにより水平ＣＣＤレジスタ１１に送られ、１フレームレートで出力される。Ｂフィールドの場合も同様である（例えば、特許文献１の段落（０００２）〜（０００３）を参照）。
【０００３】
以上のような方法により、撮像素子の光電変換において、電荷の蓄積時間を短くすることができるので、動きの速い被写体を撮像する場合に生じる画像がぼける（あるいは、ぶれる）という問題が解決される。
【特許文献１】特開平６−５４２４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら上記の構成では、被写体に全く動きのない場合、あるいは画面の一部のみに動きの速い被写体がある場合においても画面全体の蓄積時間を短くすることになる。このため、画面中の動いていない領域に関しては、信号の一部を捨ててしまうことになり、ＳＮ比が劣化するという問題がある。
本発明が解決しようとする課題は、画面の一部に動きの速い被写体があった場合において、被写体が動いている領域の画像がぼける（あるいは、ぶれる）ことを防止し、かつ動きのない領域についてのＳＮ比の劣化を防止する撮像装置を実現することである。
【課題を解決するための手段】
【０００５】
第１の発明は、撮像部と、記憶部と、識別部と、動画処理部と、静止画処理部と、合成部とを備える撮像装置である。撮像部は、基準時間内において複数枚の画像に相当する画像データ情報を取得する。記憶部は、撮像部で取得された複数枚の画像に相当する画像データ情報を記憶する。識別部は、記憶部に記憶された画像データ情報が入力され、画像の各単位領域が動画領域であるか静止画領域であるかを識別する識別信号を出力する。動画処理部は、識別信号により動画領域であると判断された領域については、複数枚の画像に相当する画像データ情報の中から少なくとも１枚の画像に相当する画像データ情報を選択して出力する。静止画処理部は、識別信号により静止画領域であると判断された領域については、複数枚の画像に相当する画像データ情報の中から少なくとも２枚以上の画像に相当する画像データ情報を用いてノイズ低減処理を行い、出力する。合成部は、識別信号が入力され、画像の各単位領域が動画領域であると判断された場合は動画処理部からの出力を選択し、画像の各単位領域が静止画領域であると判断された場合は静止画処理部からの出力を選択して、１枚の画像に相当する画像データ情報を合成して出力する。
この撮像装置では、撮像部で基準時間に複数の画像に相当する画像データ情報を取得し、識別部で画像データ情報における動画領域と静止画領域とを判別する。動画領域に対しては、動画処理部で少なくとも１枚の画像に相当する画像データ情報を選択し、静止画領域に対しては、静止画処理部で少なくとも２枚以上の画像に相当する画像データ情報を用いてノイズ低減処理することでＳＮ比の劣化を防止し、合成部で、動画処理部からの出力と静止画処理部からの出力とを、識別部からの動画領域と静止画領域とを示す識別信号に基づいて、合成して出力する。したがって、動画領域については、基準時間の複数分の１の時間で撮像部に蓄積された、ぼけ（あるいは、ぶれ）のない画像データ情報による画像データ情報を出力でき、さらに、静止画領域においては、ノイズが低減された画像データ情報を出力することができる。また、この撮像装置では、合成部からの出力が、１枚の画像に相当する画像データ情報であるので、合成部からの出力を、動画として出力することができるとともに、静止画表示機能を有する表示装置等に出力することで、静止画としても出力することができる。なお、「基準時間」とは、動画として表示させる場合において、１つの画像を構成するのに要する時間のことをいい、例えば、１秒間に３０枚の画像を動画として表示させる場合は、１／３０秒が基準時間となる。また、「画像データ情報」とは、画像を形成することができるデータ情報のことをいい、例えば、２次元画像を形成することができる画像データ信号等が含まれる概念である。
【０００６】
第２の発明は、第１の発明であって、動画処理部は、識別信号により動画領域であると判断された単位領域については、複数枚の前記画像に相当する画像データ情報の中から少なくとも１枚の画像に相当する画像データ情報を選択して出力する。静止画処理部は、識別信号により静止画領域であると判断された単位領域については、複数枚の画像に相当する画像データ情報の中から少なくとも２枚の画像に相当する画像データ情報を用いてノイズ低減処理を行う。
これにより、静止画領域あるいは動画領域であると判断された単位領域についてのみ、静止画処理部あるいは動画処理部の処理がなされるので、演算処理量を少なくすることができる。
第３の発明は、第１又は第２の発明であって、合成部から出力された画像データ情報を、表示装置に動画として表示させるための基準時間に対応する画像信号データ信号に変換して、出力する時間伸長部をさらに備える。
これにより、撮像装置の出力を基準時間により表示される表示装置等に動画として表示させることができる。
第４の発明は、第１から第３のいずれかの発明であって、静止画処理部は、複数枚の画像に相当する画像データ情報の中から少なくとも２枚以上の画像に相当する画像データ情報を選択して、加算平均することでノイズ低減処理を行う。
【０００７】
これにより、画像間で相関のある画像データ情報を弱めることなく、画像間で相関のないノイズ成分を低減することができ、静止画領域においてノイズ低減された画像データ情報を出力することができる。
第５の発明は、第１から第４のいずれかの発明であって、動画処理部は、基準時間において所定の位置に現れる画像に相当する画像データ情報を選択する。
これにより、動画領域として動画処理部で選択され、出力される画像データ情報が一定間隔のものとなり、撮像装置から出力される画像データ情報が自然な動きの動画として出力される。なお、「所定の位置に現れる画像」とは、例えば、基準時間にＮ枚（Ｎは自然数、Ｎ＞１）である場合に、基準時間内の時系列でＫ番目（Ｋは自然数、Ｋ≦Ｎ）に現れる画像のことをいう。動画処理部において、基準時間内の時系列でＫ番目の画像に対応する画像データ情報を選択して、出力し続けることで、動画領域の画像は一定間隔の画像が出力されることになり、自然な動画として撮像装置から出力される。これにより、動画領域の画像の出力間隔が伸縮することで生ずる動画における不自然な動きの発生を防止することができる。
第６の発明は、第１から第４のいずれかの発明であって、動画処理部は、基準時間において所定の周期で現れる画像に相当する画像データ情報を選択する。
【０００８】
これにより、動画処理部で選択され、出力される画像データ情報が一定周期のものとなり、撮像装置から出力される画像データ情報が自然な動きの動画として出力される。
第７の発明は、第１から第６のいずれかの発明であって、基準時間は、テレビジョン信号において１フィールドを走査するのに要する時間である。なお、「１フィールドを走査するのに要する時間」とは、表示装置において１つの画面を作り出すために要する時間であり、例えば、インターレースのＮＴＳＣ方式の場合は、１／６０秒であり、インターレースのＰＡＬ方式の場合は、１／５０秒である。
第８の発明は、第１から第６のいずれかの発明であって、基準時間は、テレビジョン信号において１フレームを走査するのに要する時間である。なお、「１フレームを走査するのに要する時間」とは、表示装置において１つの画像を構成するために要する時間であり、例えば、インターレースのＮＴＳＣ方式の場合は１／３０秒、ノンインターレースのＮＴＳＣ方式の場合は１／６０秒である。
第９の発明は、撮像部と、記憶部と、識別部と、動画処理部と、静止画処理部と、合成部とを備える集積回路である。撮像部は、基準時間内に複数枚の画像に相当する画像データ情報を取得する。記憶部は、撮像部で取得された画像データ情報を記憶する。識別部は、記憶部に記憶された画像データ情報が入力され、画像の各単位領域が動画領域であるか静止画領域であるかを識別する識別信号を出力する。動画処理部は、画像データ情報の中から少なくとも１枚の画像に相当する画像データ情報を選択して出力する。静止画処理部は、画像データ情報の中から少なくとも２枚の画像に相当する画像データ情報を用いてノイズ低減処理を行い、出力する。合成部は、識別信号が入力され、画像の各単位領域が動画領域であると判断された場合は動画処理部からの出力を選択し、画像の各単位領域が静止画領域であると判断された場合は静止画処理部からの出力を選択して、１枚の画像に相当する画像データ情報を合成して出力する。
【０００９】
これにより、第１の発明である撮像装置と同様の効果を奏する。
【発明の効果】
【００１０】
本発明によれば、画面内の動画領域については基準時間の１／Ｎの蓄積時間の１枚の画像に相当する画像データ信号を用い、静止画領域については基準時間の１／Ｎの蓄積時間の複数枚の画像に相当する画像データ信号を用いて加算平均化処理等のＳＮ比改善処理（ノイズ低減処理）を施した画像データ信号を用いることになるため、動きのある領域についてはぼける（あるいは、ぶれる）ことのない画像が得られ、かつ動きのない領域についてはＳＮ比の良好な画像を得られるという優れた効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について図１から図３の図面を用いて説明する。
［第１実施形態］
＜撮像装置の全体構成＞
図１に本発明の第１実施形態に係る撮像装置１００の全体構成図を示す。図２に本発明の第１実施形態に係る撮像装置１００の各部の波形（図２（ａ）は図１のａでの波形、図２（ｂ）は図１のｂでの波形、図２（ｃ）は図１のｃでの波形）の一例を示す。
この撮像装置１００は、主に、光電変換により、画像データ情報としての画像データ信号を取得する撮像部１と、撮像部１で取得された画像データ信号を記憶する記憶部２と、記憶部２に記憶された画像データ信号に基づいて、動画領域および静止画領域を識別する識別部３と、静止画領域と判断された領域に対して処理を行う静止画処理部４と、動画領域であると判断された領域に対して処理を行う動画処理部５と、静止画処理部４および動画処理部５からの出力を合成して１枚の画像を形成する画像データ信号を出力する合成部６と、合成部６から出力された画像データ信号を動画用に時間伸長する時間伸長部７とから構成されている。なお、基準時間を１フレーム時間（例えば、インタレースのＮＴＳＣ方式なら１／３０秒、インターレースのＰＡＬ方式なら１／２５秒。）として以下説明する。
【００１２】
撮像部１は、カメラ部（不図示）から入力された光を電気信号に変換して、記憶部２に出力するもので、通常のＮ倍（Ｎは自然数）のフレームレートにて動作することができる（例えば、フレーム時間が１／３０秒で、Ｎ＝１０の場合、１／３００秒で動作することができる）ものである。撮像部１を構成する撮像素子として、例えば、ＭＯＳ型イメージセンサなどが使用される。
記憶部２は、撮像部１の出力を入力とし、撮像部１から１フレーム期間で出力されるＮ枚分の画像に相当する画像データ信号（以下、「Ｎ枚の画像データ信号」という。）を記憶する。記憶部２で記憶された画像データ信号は、識別部３、静止画処理部４および動画処理部５に出力される。記憶部２としては、例えば、メモリ素子等が用いられる。
識別部３は、記憶部２より入力されるＮ枚の画像データ信号を用いて、これらＮ枚の画像データ信号において、静止画領域と動画領域がどの領域であるかを判断するとともに、その判断された各単位領域が静止画領域であるか動画領域であるかを示す識別信号を生成し、生成した識別信号を合成部６に出力する。識別信号としては、例えば、動画領域がハイレベル、静止画領域がローレベルになるような信号である。
静止画処理部４は、記憶部２から入力されるＮ枚の画像データ信号に対して、識別部３から入力される識別信号のローレベルの領域（識別部３で静止画領域であると判断された領域）のみを選択し、Ｎ枚の画像データを加算平均して１枚の画像データ信号を出力する。このような静止画処理部４での処理により、静止画処理部４から出力される静止画領域のＳＮ比は、Ｎ0.5だけ改善されることになる。
【００１３】
動画処理部５は、記憶部２から入力されるＮ枚の画像データ信号の中から予め設定された位置（あるいは周期）の１枚の画像に相当する画像データ信号（以下、「１枚の画像データ信号」という。）を選択して、選択した１枚の画像データ信号から識別信号がハイレベルである領域（識別部３で動画領域であると判断された領域）の画像データ信号を合成部６に出力する。ここで、予め設定された位置の画像データ信号とは、例えば１フレーム期間中のＮ枚の画像データ信号のうち、時系列でＫ番目（Ｋは自然数、Ｋ≦Ｎ）に現れる画像を形成する画像データ信号をいう。このような動画処理部５での処理により、動画領域の画像の蓄積時間は、通常の１／Ｎになるため、動きによる画像のぼけ（あるいは、ぶれ）を解決できることになる。
合成部６は、静止画処理部４の出力と動画処理部５の出力と識別部３により生成される識別信号とを入力とし、識別部３からの識別信号により、静止画処理部４の出力と動画処理部５の出力とのいずれかを選択し、時間伸長部７に出力する。合成部６での静止画処理部４の出力と動画処理部５の出力との選択動作は、例えば、２入力１出力のセレクタ回路を用いて行う。
時間伸長部７は、図２（ｃ）に示すように、合成部６から出力された通常の１／Ｎ周期の画像データ信号を、通常のフレームレートの画像データ信号にするため、時間伸長処理を行う。時間伸長部７で通常のフレームレートの画像データ信号に時間伸長された画像データ信号は、ＴＶモニタ装置等の表示装置（不図示）に出力される。時間伸長部７には、例えば、書き込みクロックと読み出しクロックとを独立に入力できるメモリ素子を使用し、そのメモリ素子において、通常のＮ倍のクロック周波数で画像データを書き込み、書き込んだ画像データを通常のクロック周波数で読み出すことにより、時間伸長部７での処理を容易に実現できる。
【００１４】
以上の構成により、動きのある領域については画像がぶれることなく、かつ動きのない領域についてはＳＮ比の良好な画像を得ることができる撮像装置を実現することができる。
＜撮像装置の動作＞
図１から図４を用いて、撮像装置１００の動作について説明する。
カメラ部（不図示）で入力された被写体からの光は、撮像部１で光電変換により画像データ信号に変換され、記憶部２に出力される。このとき、撮像部１は、通常のフレームレートのＮ倍の速度で動作することができる。つまり、１フレーム期間内にＮ枚の画像を形成することができる分量の画像データ信号を撮像部１で取得することができる。撮像部１で光電変換により取得された画像データ信号は、図２（ａ）に示すように周期が通常の１／Ｎの画像データ信号として、１フレーム期間にＮ回ずつ記憶部２に対して出力される。
撮像部１から記憶部に出力された画像データ信号は、記憶部２で記憶される。記憶部２では、１フレーム期間にＮ枚の画像データ信号に相当する分量が記憶される。また、記憶部２は、１枚の画像データ信号を単位として、出力することができる。
次に、１フレーム期間内にＮ枚の画像データ信号が記憶部２から出力され、識別部３に入力される。識別部３では、入力された画像データ信号に対して、静止画領域と動画領域がどの領域であるかの判断が行われる。図３および図４を用いて識別部３の動作の詳細について説明する。図３は、識別部３の一例を示す構成図である。図３に示すように、記憶部２より入力されるＮ枚の画像データ信号（図３の端子Ｉｎ１〜ＩｎＮから入力される画像データ信号）に対して、時系列で隣接する２つの画像データ信号同士の差分（画像データ信号が構成する１つの２次元画像において同一座標をもつ画素に対応する画像データ信号についての差分）がそれぞれ減算器３ａ１〜３ａＮ−１により計算され、その結果の絶対値がコンパレータ３ｂ１〜３ｂＮ−１にそれぞれ入力される。コンパレータ３ｂ１〜３ｂＮ−１は、あらかじめ設定された閾値とこの絶対値とを比較し、閾値よりも大きい場合はハイレベルの信号を出力し、閾値よりも小さい場合はローレベルの信号を出力する。静止画領域においては、時系列で隣接する画像データ信号間の差分は、ほぼ０になるため、閾値を適当に設定し、各コンパレータ３ｂ１〜３ｂＮ−１の出力をみることで、時系列で隣接する画像間で動きがあった領域（動画領域）であるか、動きのなかった領域（静止画領域）であるかを判断することができる。各コンパレータ３ｂ１〜３ｂＮ−１が、動画領域である場合（差分の絶対値が閾値を超えた場合）はハイレベルの信号を出力し、静止画領域である場合（差分の絶対値が閾値を超えない場合）はローレベルの信号を出力するように設定し、各コンパレータ３ｂ１〜３ｂＮ−１の出力について、ＯＲゲート３０３で論理和をとることで、１フレーム期間内に動きがあった領域（動画領域）であるのか、動きがなかった領域（静止画領域）であるのかを判断することができる。つまり、識別部３からの出力端子Ｏｕｔを介して出力される出力信号がハイレベルである場合、識別対象となっている領域は、１フレーム期間内に動きがあった領域（動画領域）であると判断され、識別部３からの出力がローレベルである場合、識別対象となっている領域は、１フレーム期間内に動きがなかった領域（静止画領域）であると判断される。
【００１５】
図４は、本発明の第１実施形態に係る撮像装置の識別部の動作を説明するための画像例を示した図である。図４（ａ）は、記憶部２から識別部３に１フレーム期間内に入力されるＮ枚の画像データ信号により形成されるＮ枚の画像を時系列に示した図である。図４（ｂ）は、図３のコンパレータ３ｂ１〜３ｂＮ−１の出力を示した図である。図４（ｃ）は、識別部３からの出力を示した図である。図４（ｂ）の斜線部分の領域が、コンパレータ３ｂ１〜３ｂＮ−１でハイレベルが出力され、動画領域であると判断された領域であり、斜線部分以外の領域が、コンパレータ３ｂ１〜３ｂＮ−１でローレベルが出力され、静止画領域であると判断された領域である。
図４（ａ）に示すように、Ｎ枚の画像には動きのある物体Ｘが撮像されている。物体Ｘは、画像の左から右へ高速で移動している。この場合、図４（ｂ）に示すように、コンパレータ３ｂ１〜３ｂＮ−１の出力には、物体Ｘの位置に対応する動画領域（斜線部）が含まれている。ＯＲゲート３０３で、コンパレータ３ｂ１〜３ｂＮ−１の出力の論理和がとられ、図４（ｃ）に示す出力信号が識別部３から出力される。以上に説明したように、識別部３からの出力信号は、１フレーム期間内における動画領域と静止画領域とがどの領域であるかを示す信号となる。
【００１６】
記憶部２から出力された１フレーム期間内のＮ枚の画像データ信号と、識別部３からの出力信号とは、ぞれぞれ静止画処理部４および動画処理部５に入力される。
静止画処理部４に入力されたＮ枚の画像データ信号は、静止画処理部４に入力され、静止画処理部４で、加算平均処理がなされる。つまり、静止画処理部４では、識別部３からの出力信号により、静止画領域であると判断された領域について、Ｎ枚の画像データ信号の加算平均処理がなされ、加算平均処理された画像データ信号が合成部６に出力される。
また、動画処理部５に入力されたＮ枚の画像データ信号は、動画処理部５に入力され、Ｎ枚の画像データ信号の中から１枚の画像データ信号の選択処理がなされる。つまり、動画処理部５では、識別部３からの出力信号により、動画領域であると判断された領域に対して、Ｎ枚の画像に相当する画像データ信号の中から１枚の画像に相当する画像データ信号を選択し、その１枚の画像に相当する画像データ信号を合成部に出力する。なお、１枚の画像に相当する画像データ信号の選択方法としては、１フレーム内における時系列で真ん中に位置する１枚の画像に相当する画像データ信号を選択すればよい。つまり、１フレーム内にＮ枚の画像データがある場合、時系列で、Ｎ／２番目（Ｎ／２が自然数とならない場合は、Ｎ／２に近い自然数）に出力される画像データを選択すればよい。ただし、選択方法としては、これに限定されるものではなく、Ｎ枚の画像データの中の任意の１枚の画像データを選択するようにしてもよい。動画処理部５で、Ｎ枚の画像データの中のでＫ番目（Ｋは自然数）に現れる画像を選択するようにした場合、つぎの基準時間内での選択もＫ番目に現れる画像を選択するようにする。これにより、撮像装置１００からの出力を動画として表示装置等に出力した場合に、動画領域の出力が自然なものとなる。例えば、ボールが飛んでいるような動画において、ボールが動く距離間隔が画像間で不自然に変化することがなくなる。また、Ｋ番目の画像の選択の方法としては、順番によるものでなく、周期により選択する方法でもよい。
【００１７】
静止画処理部４から出力された画像データ信号と、動画処理部５から出力された画像データ信号とは、合成部に入力され、識別部３からの出力信号に基づき、合成され、合成された画像データ信号が時間伸長部７に出力される。つまり、識別部３からの出力信号に基づき、１フレーム期間内において、識別部３により静止画領域であると判断された領域については、静止画処理部４からの出力を、識別部３により動画領域であると判断された領域については、動画処理部５からの出力を選択することで、１枚の画像に相当する画像データ信号に合成し、時間伸長部７に出力する。
合成部６から出力された画像データ信号（例えば、図２（ｂ）に示す信号）は、時間伸長部で、通常のフレームレートの画像データ信号に時間伸長され、時間伸長された画像データ信号（例えば、図２（ｃ）に示す信号）は、ディスプレイ装置等の表示装置（不図示）に出力される。これにより、時間伸長部７から出力された画像データ信号は、通常のフレームレートの信号となるので、通常のフレームレートの信号を表示させることができる従来のディスプレイ装置等の表示装置に表示させることができる。
以上により、本発明の実施の形態によれば、１フレーム内の動画領域については、撮像部１での蓄積時間が通常フィールド期間の１／Ｎである１枚の画像に相当する画像データ信号を用い、静止画領域については、撮像部１での蓄積時間が通常フィールド期間の１／Ｎである複数の画像に相当する画像データ信号を用いて加算平均化処理等のＳＮ比改善処理を施した画像データ信号を用いることになるため、動きのある領域についてはぼける（あるいは、ぶれる）ことない画像を取得し、かつ動きのない領域についてはＳＮ比の良好な画像を取得することが可能となる撮像装置を実現することができる。
［他の実施形態］
上記実施形態においては、動画処理部５は、動画領域と判断された各単位領域に対して、選択処理を行い、静止画処理部４は、識別部３から出力される識別信号により、静止画領域と判断された各単位領域に対して、ノイズ低減処理を行っている。しかし、図５に示す撮像装置１００’のように、動画処理部５および静止画処理部４において、それぞれに入力される全ての画像データ信号に対して、それぞれ選択処理（動画処理部５での処理）およびノイズ低減処理（静止画処理部４での処理）を行い、最終的に合成部６で、識別部３からの識別信号により、静止画領域であると判断された単位領域については、静止画処理部４からの出力を選択し、識別部３からの識別信号により、動画領域であると判断された単位領域については、動画処理部５の出力を選択するようにしてもよい。
【００１８】
上記実施形態において、基準時間を１フレーム時間として説明したが、基準時間は、例えば、１フィールド時間等の他の基準時間であってもよい。
また、上記実施形態で説明した撮像装置においての処理は、画像を形成する画素に対応する画像データ信号に対して行うのがよいが、複数の画素で構成されるブロック単位で上記実施形態での処理を行うようにしてもよい。
また、上記実施の形態で説明した撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。特に、撮像部を構成する撮像素子としてＭＯＳ型イメージセンサを用いた場合、ＭＯＳ型集積回路に集積することが容易となる。
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
【００１９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
【産業上の利用可能性】
【００２０】
本発明における撮像装置は、動きのある領域についてはぼける（あるいは、ぶれる）ことなく、かつ動きのない領域についてはＳＮ比の良好な画像を得るという優れた効果を有しており、動きの早い被写体を撮像するのに使用する撮像装置として有用である。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態に係る撮像装置の全体構成図
【図２】本発明の第１実施形態に係る撮像装置の各部の波形を示す図
【図３】本発明の第１実施形態に係る撮像装置の識別部の構成図
【図４】本発明の第１実施形態に係る撮像装置の識別部の動作説明図
【図５】本発明の他の実施形態に係る撮像装置の全体構成図
【図６】従来のフレームインターライン型固体撮像素子の構成図
【図７】従来の方式を説明するためのクロックパルスのタイミング図
【符号の説明】
【００２２】
１００  撮像装置
１  撮像部
２  記憶部
３  識別部
４  静止画処理部
５  動画処理部
６  合成部
７  時間伸長部
【図１】
2008053993.tif 000003
【図２】
2008053993.tif 000004
【図３】
2008053993.tif 000005
【図４】
2008053993.tif 000006
【図５】
2008053993.tif 000007
【図６】
2008053993.tif 000008
【図７】
2008053993.tif 000009