(57)【要約】【課題】出力フォーマットがＮＴＳＣまたはＰＡＬ形式である家庭向けビデオカメラにおいては、高速クロックパルス発生器は本来備えていない。そのため新たにＣＣＤ駆動クロックパルスの２倍の周波数をもつクロックパルス発生器が必要となり、回路規模と回路検証作業が増大することになる。【解決手段】第一の発明は、二つの読出部を有するＣＣＤイメージセンサを備えた撮像装置において、前記二つの読出部のそれぞれから読み出されたデータを入力して格納する二つの第一ラインバッファ部と、前記二つの第一ラインバッファ部に格納されたデータを前記二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う画像信号処理部と、を有する撮像装置に関する。【選択図】  図１
2005006078.tif 000002
【特許請求の範囲】
【請求項１】
二つの読出部を有するＣＣＤイメージセンサを備えた撮像装置において、
前記二つの読出部のそれぞれから読み出されたデータを入力して格納する二つの第一ラインバッファ部と、
前記二つの第一ラインバッファ部に格納されたデータを前記二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う画像信号処理部と、
を有する撮像装置。
【請求項２】
前記画像信号処理部にて画像信号処理されることで生成される輝度、色差信号を格納する第二ラインバッファ部と、
前記第二ラインバッファ部に格納された前記輝度、色差信号からなるデータを順次呼び出し、水平縮小処理をする二つの水平縮小処理部と、
前記二つの水平縮小処理部で処理されたデータをそれぞれ格納する二つの第三ラインバッファ部と、
前記二つの第三ラインバッファ部に格納されたデータを一水平同期期間内に１ライン分の出力が可能な状態で格納する第四格納部と、
を有する請求項１に記載の撮像装置。
【請求項３】
前記第四格納部に格納されたデータから１フレーム分のデータを格納するフレームデータ格納部と、
前記フレームデータ格納部に格納された１フレーム分のデータを、モニターに出力するライン数の２倍のライン数とするライン数拡大処理を行うライン数拡大処理部と、
前記ライン数拡大処理部にて拡大処理されたデータのうち半分のライン数分のデータを得る半ラインデータ取得部と、
を有する請求項２に記載の撮像装置。
【請求項４】
静止画のデータを格納するための静止画データ格納部と、
２ラインについて１つの割合で垂直転送レジスタを有するＣＣＤイメージセンサから１フレームについて半分のライン数分の静止画データを前記静止画データ格納部に入力する半分静止画データ入力部と、
を有し、
前記静止画データ格納部に格納された前記ＣＣＤイメージセンサからの静止画像全体のデータの内の半分のライン数分の静止画データと、残り半分のライン数分の静止画データと、を利用して静止画全体のデータを構成する全体構成部と、を有する請求項１から３のいずれか一に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置に関するもので、特にメガピクセル以上のＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサを備えた撮像装置に関するものである。
【０００２】
【従来の技術】
動画撮影用のビデオカメラにおいて用いられるＣＣＤイメージセンサ等の固体撮像素子は、通常１ラインごとに画素データ読み出しが行われる。読み出された画素データはラインバッファと演算回路を組み合わせた信号処理回路によって処理され、ＣＣＤイメージセンサと同じ画素数をもつ画像データが生成される。
【０００３】
近年、ビデオカメラには動画だけでなく画素数の大きな静止画像を取り込む機能も取り入れられており、その手法としては文献１のように、動画と静止画のモードを切り替える方法が一般的である。
【０００４】
ところで従来のＣＣＤイメージセンサの画素数は、ＣＣＤイメージセンサを駆動するクロックパルスの周期に限界があるためせいぜい１００万画素程度であった。
【０００５】
そこで、更に大きな画素数を得るための方法として、文献２のようにＣＣＤイメージセンサの領域を左右に２分割して、それぞれの領域のデータを読み出して処理する方法が考案されている。文献２によれば、読み出されたデータを信号処理するためにＣＣＤイメージセンサから出力されたデータは一度フレームメモリーに格納し、その後で信号処理などを行う必要があると考えられる。このため１フレーム分の画像処理を１フレームの時間内で行うためには、ＣＣＤを駆動するクロックパルスの２倍の周波数をもつクロックパルスを用いて信号処理を行う必要がある。
【０００６】
【特許文献１】
特開２００１−８６３９１
【特許文献２】
特開平５−２２６６７
【０００７】
【発明が解決しようとする課題】
上記の方法では、信号処理回路を構成する場合に、ＣＣＤ駆動クロックパルスの２倍の周波数をもつクロックパルス発生器が必要となる。文献２の例のように出力としてハイビジョンフォーマットが必要な場合には、そのような高速のクロックパルス発生器をもともと備えているため問題ないが、出力フォーマットがＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）またはＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｏｎ  ｂｙ  Ｌｉｎｅ）形式である家庭向けビデオカメラにおいては、そのようなクロックパルス発生器は本来備えていない。そのため新たにＣＣＤ駆動クロックパルスの２倍の周波数をもつクロックパルス発生器が必要となり、回路規模と回路検証作業が増大することになる。一方、ＣＣＤ駆動クロックパルスが１倍の周期のものを利用して１フレーム分の画像処理を１フレーム分の時間内に完了しようとすると、フレームバッファを複数個用意して複数のフレームバッファに蓄えられているデータを並行処理することになる。そうすると１フレーム分の時間内に１フレーム分のデータ処理はできないが、１フレーム分のデータの処理が完了し、さらに次の１フレーム分のデータの処理が完了するまでの時間間隔は１フレーム分の時間以下にすることが可能となる。しかし、この方法では、フレームバッファが複数個必要となる。これは、回路規模を増大させてしまう要因になると考えられる。
【０００８】
また参考文献１で示された動画の処理方法では水平方向の解像度に関しては特に問題がないものの、垂直方向の解像度が最大でもフィールドのライン数（ＮＴＳＣで２４０本）までしか出せない。これはＣＣＤイメージセンサの画素数が垂直方向で２４０本（ＮＴＳＣ）以上あるとしても、静止画の処理回路が動画の処理回路と共用されているために生じる問題である。このために、動画と静止画をともに撮影できる装置の静止画では、垂直方向の解像度が劣化して見えてしまうことがある。
【０００９】
【課題を解決するための手段】
第一の発明は、二つの読出部を有するＣＣＤイメージセンサを備えた撮像装置において、前記二つの読出部のそれぞれから読み出されたデータを入力して格納する二つの第一ラインバッファ部と、前記二つの第一ラインバッファ部に格納されたデータを前記二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う画像信号処理部と、を有する撮像装置に関する。
【００１０】
第二の発明は、前記画像信号処理部にて画像信号処理されることで生成される輝度、色差信号を格納する第二ラインバッファ部と、前記第二ラインバッファ部に格納された前記輝度、色差信号からなるデータを順次呼び出し、水平縮小処理をする二つの水平縮小処理部と、前記二つの水平縮小処理部で処理されたデータをそれぞれ格納する二つの第三ラインバッファ部と、前記二つの第三ラインバッファ部に格納されたデータを一水平同期期間内に１ライン分の出力が可能な状態で格納する第四格納部と、を有する第一の発明に記載の撮像装置に関する。
【００１１】
第三の発明は、前記第四格納部に格納されたデータから１フレーム分のデータを格納するフレームデータ格納部と、前記フレームデータ格納部に格納された１フレーム分のデータを、モニターに出力するライン数の２倍のライン数とするライン数拡大処理を行うライン数拡大処理部と、前記ライン数拡大処理部にて拡大処理されたデータのうち半分のライン数分のデータを得る半ラインデータ取得部と、を有する第二の発明に記載の撮像装置に関する。
【００１２】
第四の発明は、静止画のデータを格納するための静止画データ格納部と、２ラインについて１つの割合で垂直転送レジスタを有するＣＣＤイメージセンサから１フレームについて半分のライン数分の静止画データを前記静止画データ格納部に入力する半分静止画データ入力部と、を有し、前記静止画データ格納部に格納された前記ＣＣＤイメージセンサからの静止画像全体のデータの内の半分のライン数分の静止画データと、残り半分のライン数分の静止画データと、を利用して静止画全体のデータを構成する全体構成部と、を有する第一の発明から第三の発明のいずれか一に記載の撮像装置に関する。
【００１３】
【発明の実施形態】
＜構成要件の明示＞
【００１４】
図１に示すように、撮像装置０１００は、ＣＣＤイメージセンサ０１０１と、二つの第一ラインバッファ部０１０６、０１０７と、画像信号処理部０１０８と、第二ラインバッファ部０１０９と、二つの水平縮小処理部０１１０、０１１１と、二つの第三ラインバッファ部０１１２、０１１３と、第四格納部０１１４と、フレームデータ格納部０１１６と、ライン数拡大処理部０１１７と、半ラインデータ取得部０１１８と、二つの半分静止画データ入力部０１１９、０１２０と、静止画データ格納部０１２１と、全体構成部０１２２と、からなる。
【００１５】
本件発明の実施形態の撮像装置は、上記必須構成要件の他に、二つのＡ／Ｄ変換部０１０２、０１０３と、二つの第一セレクタ０１０４、０１０５と、第二セレクタ０１１５と、で構成されるのが一般的である。
【００１６】
また、図２に示すように、ＣＣＤイメージセンサ０２００は、二つの読出部０２０１、０２０２を有する。
【００１７】
さらに、図３に示すのは、第二セレクタ０３０１と、フレームデータ格納部０３０２と、二つの半分静止画データ入力部０３０３、０３０４と、静止画データ格納部０３０５と、全体構成部０３０６と、の拡大図である。
【００１８】
＜構成の説明＞
【００１９】
本件発明の実施形態の撮像装置は、動画モード、静止画モニターモード、静止画撮影モードの３つのモードを有する。動画モード、静止画モニターモード、静止画撮影モードの順に説明する。
【００２０】
＜動画モードに用いられる構成要件＞
【００２１】
（構成要件：ＣＣＤイメージセンサ）
【００２２】
ＣＣＤイメージセンサは、二つの読出部を有する。二つの読出部は、ＣＣＤイメージセンサが取得した画像データを分割して、読み出す。
【００２３】
ＣＣＤイメージセンサは、光―電気変換を行うことができる画素を多数配列したイメージセンサをいう。この画素は、ＣＣＤイメージセンサの撮像面に格子状に配列されるものである。例えば、格子状に配列された画素の数は、その行方向、即ち、水平方向で２Ｈ個あり、その列方向、即ち、垂直方向でＶ個ある。つまり、画素の並びは、Ｖ行、２Ｈ列である。水平方向１行を「１ライン」という。一般に、ＣＣＤイメージセンサは、光―電気変換のためのホトダイオード、垂直転送ＣＣＤ、水平転送ＣＣＤなどで構成されている。画素は、ホトダイオードなどによって構成されている。ホトダイオードは、受けた光強度に応じた量の電荷を発生する。即ち、光―電気変換する。その電荷が垂直転送ＣＣＤに蓄えられる。垂直転送ＣＣＤに蓄えられた電荷は、１ラインごとに水平転送ＣＣＤに転送される。水平転送ＣＣＤに転送された電荷は、ＣＣＤ駆動クロックパルスによって上記二つの読出部より、それぞれ半ラインつまりＨ画素ずつ読み出される。ここで「ＣＣＤ駆動クロックパルス」とは、垂直転送ＣＣＤ、水平転送ＣＣＤの電荷を転送するためのクロックパルスで、一水平同期期間あたりＫクロックパルスあり、１クロックパルスで１画素転送できるものとする。ＫがＨ以上であれば一水平同期期間内に二つの読出部より半ラインずつ、あわせて１ライン分すなわち２Ｈ画素を読み出すことができる。ここで「一水平同期期間」とは、モニター画面の走査線が左端から右端に向かって１ライン分の画素の表示を完了するのに要する時間をいう。一般にＣＣＤイメージセンサの１ラインの画素数２Ｈとモニター画面の１ラインの画素数Ｌは同じ場合もあるが、異なる場合もある。二つの読出部より読み出された電荷は、二つのＡ／Ｄ変換部にてアナログデータからデジタルデータに変換される。このＡ／Ｄ変換は画素単位で行われ、１画素あたりＭビットに変換されるとする。
【００２４】
（構成要件：第一ラインバッファ部）
【００２５】
二つの第一ラインバッファ部は、二つの読出部のそれぞれから読み出されたデータを入力して格納する。ここで一方の読出部から読み出され、それに対応するＡ／Ｄ変換部でＡ／Ｄ変換された画素は１画素ずつ半ライン分、対応する第一ラインバッファ部に格納される。格納された半ライン分の画素は、隣り合う２画素分ずつ、つまり２Ｍビットずつ画像信号処理部に出力される。他方の第一ラインバッファ部にも同様に、１ラインの残り半ライン分の画素が格納され、隣り合う２画素分ずつ、つまり２Ｍビットずつ画像信号処理部に出力される。
【００２６】
（構成要件：画像信号処理部）
【００２７】
画像信号処理部は、二つの第一ラインバッファ部に格納されたデータを二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う。ここで「画像信号処理」には、二つの第一ラインバッファ部から読み出された画像データから、輝度信号および色差信号を計算する処理などが該当する。１画素あたりＭビットの画素は、１画素当たりＮ１ビットの輝度信号と、Ｎ２ビットの色差信号の合計（Ｎ１＋Ｎ２）ビットの画素に画像信号処理される。画像信号処理された１ライン分の画素は、隣り合う２画素分ずつ、すなわち２（Ｎ１＋Ｎ２）ビットずつ、第二ラインバッファに出力される。
【００２８】
以上のようなＣＣＤイメージセンサ、第一ラインバッファ部、画像信号処理部の構成をとることにより、１ラインの画素数２Ｈを一水平同期期間内に処理することが可能となる。
【００２９】
（構成要件：第二ラインバッファ部）
【００３０】
第二ラインバッファ部は、画像信号処理部にて画像信号処理されることで生成される輝度、色差信号を格納する。第二ラインバッファ部は、画像信号処理部からの２画素分ずつ１ライン分の画素を格納し、二つの水平縮小処理部に１ラインずつ交互に出力する。この１ラインは、１画素ずつ、つまり（Ｎ１＋Ｎ２）ビットで、順番に２Ｈ画素分出力される。
【００３１】
（構成要件：水平縮小処理部）
【００３２】
二つの水平縮小処理部は、第二ラインバッファ部に格納された輝度、色差信号からなるデータを順次呼び出し、水平縮小処理をする。ここで「水平縮小処理」とは、第二ラインバッファ部から読み出した１ラインの画素数２Ｈから、一水平同期期間内に処理可能な水平画素数Ｐ（ＰはＫ以下）に間引く処理のことをいう。
【００３３】
（構成要件：第三ラインバッファ部）
【００３４】
二つの第三ラインバッファ部は、二つの水平縮小処理部で処理されたデータをそれぞれ格納する。一方の第三ラインバッファ部は、一方の水平縮小処理部で処理された画素数Ｐの１ライン分のデータを１画素ずつ第四格納部に出力する。他方の第三ラインバッファ部も、同様に、他方の水平縮小処理部で処理された画素数Ｐの１ライン分のデータを１画素ずつ第四格納部に出力する。ここで、「一方」と「他方」の１ライン分のデータの格納は、一水平同期期間ごとに、交互に行われる。
【００３５】
（構成要件：第四格納部）
【００３６】
第四格納部は、二つの第三ラインバッファ部に格納されたデータを一水平同期期間内に１ライン分の出力が可能な状態で格納する。二つの第三ラインバッファ部から交互に出力された、１ラインのデータは、そのまま１画素ずつフレームデータ格納部に出力される。
【００３７】
以上のような第二ラインバッファ部、水平縮小処理部、第三ラインバッファ部、第四格納部の構成をとることにより、１ラインの画素数２Ｈを画素数Ｐに水平縮小し、１ラインの画素数Ｐを一水平同期期間内に処理することが可能となる。
【００３８】
（構成要件：フレームデータ格納部）
【００３９】
フレームデータ格納部は、第四格納部からのデータを格納する。第四格納部からフレームデータ格納部へのデータの転送は１画素ずつ１ラインを単位として、１フレーム分ずつ行われる。ここで「フレーム」の一例として、ＮＴＳＣの場合について説明する。ＮＴＳＣでは、１回目は粗く、２回目はその間を埋めるように走査して、合計５２５本の走査線を描く。この１回の走査面をフィールドといい、１回目と２回目を合わせた５２５本の走査面を「フレーム」という。１秒間に３０枚の画面（フレーム）があるので、６０フィールド／秒で描画される。フレームデータ格納部に格納されたデータは、２画素分つまり２（Ｎ１＋Ｎ２）ビットで、一水平同期期間に２ライン分出力される。
【００４０】
（構成要件：ライン数拡大処理部）
【００４１】
ライン数拡大処理部は、フレームデータ格納部に格納された１フレーム分のデータを、モニターに出力するライン数の２倍のライン数とするライン数拡大処理を行う。そして、フレームデータ格納部から出力される２ラインのデータを用いて、２ライン分の補間計算を行い、１ライン分のデータを半ラインデータ取得部に格納する。一例として、ＮＴＳＣ方式の場合には４５０ラインを、４８０ラインに拡大処理し、その後補間計算をして、２４０ラインに処理される。
【００４２】
（構成要件：半ラインデータ取得部）
【００４３】
半ラインデータ取得部は、ライン数拡大処理部にて拡大処理されたデータのうち半分のライン数分のデータを得る。一例として、ＮＴＳＣ方式の場合には、４８０ラインの半分のライン数、すなわち２４０ラインのデータを得る。
【００４４】
以上のようなフレームデータ格納部、ライン数拡大処理部、半ラインデータ取得部の構成をとることにより、１フレーム分のデータを１フレーム時間内に処理することが可能となる。
【００４５】
次に、静止画モニターモードの場合について説明する。
【００４６】
＜静止画モニターモードに用いられる構成要件＞
【００４７】
（構成要件：ＣＣＤイメージセンサ、第一ラインバッファ部、画像信号処理部、第二ラインバッファ部、水平縮小処理部、第三ラインバッファ部）
【００４８】
上記構成要件の説明は、（動画モードの場合）と同様なので説明を省略する。
【００４９】
（構成要件：第四格納部）
【００５０】
第四格納部は、二つの第三ラインバッファ部に格納されたデータに適当な演算を行い、モニター出力に適したライン数に縮小し、一水平同期期間内に１ライン分の出力が可能な状態で格納する。一例としては、ＮＴＳＣ方式の場合には、６００ラインが４８０ラインに垂直縮小される。
【００５１】
（構成要件：フレームデータ格納部）
【００５２】
フレームデータ格納部は、第四格納部からの静止画モニターデータを格納する。一例としては、ＮＴＳＣ方式の場合には、４８０ラインのデータが格納される。
【００５３】
（構成要件：ライン数拡大処理部）
【００５４】
ライン数拡大処理部は、フレームデータ格納部から出力されるフレームデータを１フィールドに総ライン数の半分ずつ交互にインターレース読出しで半ラインデータ取得部に格納する。一例としては、ＮＴＳＣ方式の場合には、４８０ラインのデータが２４０ラインずつ交互にインターレース読出しで半ラインデータ取得部に出力される。
【００５５】
（構成要件：半ラインデータ取得部）
【００５６】
半ラインデータ取得部は、ライン数拡大処理部からのフレームデータを取得し、モニターに出力する。一例としては、ＮＴＳＣ方式の場合には、２４０ラインずつ交互にインターレース読出しで半ラインデータ取得部に取得され、モニターに出力される。
【００５７】
次に、静止画撮影モードの場合について説明する。
【００５８】
＜静止画撮影モードに用いられる構成要件＞
【００５９】
（構成要件：ＣＣＤイメージセンサ）
【００６０】
上記構成要件の説明は、（動画モードの場合）と同様なので説明を省略する。
【００６１】
（構成要件：第一ラインバッファ部）
【００６２】
二つの第一ラインバッファ部は、全体構成部（詳細については後述する）から読み出された静止画データを入力して格納する。
【００６３】
（構成要件：画像信号処理部）
【００６４】
画像信号処理部は、二つの第一ラインバッファ部に格納されたデータを二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う。画像信号処理部で処理された静止画データは、フレームデータ格納部へ出力される。その他の構成要件の説明は、（動画モードの場合）と同様なので説明を省略する。
【００６５】
（構成要件：フレームデータ格納部）
【００６６】
フレームデータ格納部は、画像信号処理部で処理された静止画データを格納し、静止画記録系へ出力する。
【００６７】
（構成要件：半分静止画データ入力部）
【００６８】
半分静止画データ入力部は、２ラインについて１つの割合で垂直転送レジスタを有するＣＣＤイメージセンサから１フレームについて半分のライン数分の静止画データを静止画データ格納部に入力する。
【００６９】
（構成要件：静止画データ格納部）
【００７０】
静止画データ格納部は、半分静止画データ入力部からの静止画データを格納する。
【００７１】
（構成要件：全体構成部）
【００７２】
全体構成部は、フレームデータ格納部に格納されたＣＣＤイメージセンサからの静止画像全体のデータの内の半分のライン数分の静止画データと、残り半分のライン数分の静止画データと、を利用して静止画全体のデータを構成する。
【００７３】
以上のような半分静止画データ入力部、静止画データ格納部、全体構成部の構成をとることにより、ＣＣＤイメージセンサから読み出したデータを、垂直解像度を損なうことなく、モニター画面に出力することができる。
【００７４】
＜具体例に基づく説明＞
【００７５】
以下、本件発明に係る実施形態の撮像装置について、図面を参照しながら説明する。
【００７６】
（撮像装置の３つのモード）
【００７７】
本件発明の実施形態の撮像装置は、動画モード、静止画モニターモード、静止画撮影モードの３つのモードを有する。
【００７８】
（３つのモードの概要）
【００７９】
（ＣＣＤイメージセンサの画像）
【００８０】
図４に示すのは、ＣＣＤイメージセンサ０４００の画像を構成する画素配列と画素数である。ＣＣＤイメージセンサは、有効水平１６００画素×１２００ラインとする。また、左右２分割したデータを水平同期パルスに同期した形で図５の（１）のようなタイミングで左の読出部と右の読出部の２系統出力するようにコントロールされているものとする。
【００８１】
さらに、一水平同期期間はＣＣＤ駆動クロックパルスで１１００クロックパルス程度になるものとする。
【００８２】
動画モード時には、そのうち１６００画素×９００ラインを、２ライン加算読み出すように制御される。
【００８３】
静止画モニターモード時には、１６００画素×１２００ラインを２ライン加算読み出すように制御される。
【００８４】
静止画撮影モード時には、１６００画素×１２００ラインを２回に分けて１ラインおきに読み出すように制御される。
【００８５】
（画像の出力形式）
【００８６】
以上のＣＣＤイメージセンサの入力信号から、動画モード時には１フィールドの時間１／６０秒の間にＮＴＳＣフォーマットの画像データ７２０画素×２４０ラインまたは１／５０秒の間にＰＡＬフォーマットの画像データ７２０画素×２８８ラインを得るように制御される。
【００８７】
静止画モニターモード時には１フレームの時間１／３０秒の間にＮＴＳＣフォーマットの画像データ７２０画素×４８０ラインまたは１／２５秒の間にＰＡＬフォーマットの画像データ７２０画素×５７６ラインを得るように制御される。
【００８８】
静止画撮影モード時にはフレームデータ格納部に１６００画素×１２００ラインの静止画像データを得るように制御される。
【００８９】
（３つのモードの詳細説明）
【００９０】
（動画モード時）
【００９１】
図１に示すのは、本発明に係る実施形態の撮像装置のシステム構成の一例である。まず、動画を撮影するときの動作について図１をもとに説明する。動画モード時には、ＣＣＤイメージセンサの有効水平１６００画素×１２００ラインのうち１６００画素×９００ラインを２ライン加算読み出すように制御される。
【００９２】
ＣＣＤイメージセンサを左右２分割した領域のデータは２系統の出力端子より出力され、サンプルホールド、ゲインコントロールなどの処理を施された後、二つのＡ／Ｄ変換部により画素データのデジタル信号に変換される。この時Ａ／Ｄ変換されたデータのビット幅は、通常１２から１４ビット程度になるが、以下では１４ビットの場合について説明する。変換された信号は二つの第一セレクタのｂを通って二つの第一ラインバッファ部に格納される。この結果第一ラインバッファ部０１０６には左半分の画素データが、第一ラインバッファ部０１０７には右半分の画素データが格納されることになる。
【００９３】
格納された画素データは水平同期パルスに同期して読み出すが、この時隣り合う２点の画素データを２８ビットの幅に束ねて読み出し、画像信号処理部に入力する。そして水平同期期間内の前半部分では第一ラインバッファ部０１０６から左半分のデータを順次送りだし、後半部分では第一ラインバッファ部０１０７から右半分のデータを格納した順とは逆方向の読み出しをしながら送り出す。こうすることで一水平同期期間内に左右両読出部の信号を連続的に処理できるようなタイミング変換がなされたことになる。図５の（２）、（３）にこのときのタイミングを示す。
【００９４】
画像信号処理部は内部にラインバッファと演算部をもち、入力された第一ラインバッファ部からの出力信号から８ビットの輝度信号、および色差信号を計算する。１クロックパルスの時間内に画像信号処理部に入力される画素信号は、隣りあう２画素分になっている。よって輝度信号と色差信号も１クロックパルスあたり隣りあう２画素分ずつ計算され、それぞれ８ビットのデータとして出力される。そこでこの２画素分の輝度データと色差データを全て束ねて、合計３２ビットの幅で次の第二ラインバッファ部に出力する。図５の（４）に画像信号処理部から出力される信号のタイミングを示す。
【００９５】
第二ラインバッファ部から読み出す時にはこれを半分のビット幅、すなわち１６ビットで読み出すことで１ライン分の輝度、色差データが連続した状態になる。出力されたデータは二つの水平縮小処理部に１ラインごとに交互に送られる。この時のタイミングを図６の（１）に示す。一例として、第二ラインバッファ部は３ライン分のデータを格納することができる容量をもたせ、１ライン分を書き込みに、残り２ライン分を読み出しに割り当てるように順次タイミングを調整するものとする。すなわち第一水平同期パルスのときに第１ライン目のデータが１ライン目のバッファに格納され、第２第および３水平同期パルス期間の間に読み出されるものとする。同様に第２ライン目のデータは第２水平同期パルスの期間に３ライン目のバッファに格納され、第３、第４期間の間に読み出されるものとする。すると、３水平同期期間で１ライン分の処理を行うので、３ライン分のメモリー容量があれば以上の処理を順次繰り返して行うことができる。
【００９６】
二つの水平縮小処理部において演算をされたデータは間引きされて二つの第三ラインバッファ部に格納される。この時点で１ラインの画素数を７２０画素にまで縮小することになる。
【００９７】
次に水平同期パルスに同期して二つの第三ラインバッファ部から交互に７２０画素のデータ読み出しを行う。このタイミングを図６の（２）、（３）に示す。もともとの水平画素数１６００画素に対して一水平同期期間は１１００クロックパルスなので、同じクロックパルスで処理する場合には水平同期期間内に１ラインのデータを処理できなかったものが、この時点で一水平同期期間に処理可能な状態になる。
【００９８】
次段の第四格納部では処理を行わずそのまま第二セレクタを通し、フレームデータ格納部に７２０画素×４５０ラインのデータを格納する。
【００９９】
次に、フレームデータ格納部から読み出すときには、ビット幅を２倍にして読み出すことで一水平同期期間内に２ライン分のデータを読み出すことを可能にする。
【０１００】
読み出されたデータはライン数拡大処理部において、４８０本相当のデータに拡大した後に２４０本に間引く計算をほどこす。すなわち一水平同期期間内にフレーム格納部から出力される２ラインのデータを用いて、２ライン分の補間計算を行い、このうち１ライン分のデータだけを半ラインデータ取得部に間引いた形で格納していく。
【０１０１】
通常このような演算を行うと周波数折り返しによるエリアシングが問題になるが、インターレース方式の場合には大きな問題にならず、逆に垂直解像度を高めることができる。
【０１０２】
更に、フレームデータ格納部内のデータを２フィールドの間保持し、２フィールドの期間同じデータを読み出しながら、各フィールドの位相にあうような演算を行えばプログレッシブ出力と同じ効果を得ることもできる。
【０１０３】
半ラインデータ取得部に格納されたデータをＮＴＳＣ、またはＰＡＬフォーマットの同期信号に従って読み出すことで、所望のモニター出力を得ることができる。
【０１０４】
（処理の流れ）
【０１０５】
図７、８に示すのは、本件発明の実施形態の（動作モード時）の処理の流れである。
【０１０６】
最初に、ＣＣＤイメージセンサの二つの読出部から、データを二つのＡ／Ｄ変換部に出力する（ステップＳ０７０１）。次に、二つの第一セレクタは、二つの第一ラインバッファ部を選択する（ステップＳ０７０２）。次に、二つの第一ラインバッファ部は、二つの読出部のそれぞれから読み出されたデータを入力して格納する（ステップＳ０７０３）。次に、画像信号処理部は、二つの第一ラインバッファ部に格納されたデータを、二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う（ステップＳ０７０４）。次に、第二ラインバッファ部は、画像信号処理部にて画像信号処理されることで生成される輝度、色差信号を格納する（ステップＳ０７０５）。次に、水平縮小処理部は、第二ラインバッファ部に格納された輝度、色差信号からなるデータを順次呼び出し、水平縮小処理をする（ステップＳ０７０６）。次に、二つの第三ラインバッファ部は、二つの水平縮小処理部で処理されたデータをそれぞれ格納する（ステップＳ０７０７）。次に、第四格納部は、二つの第三ラインバッファ部に格納されたデータを一水平同期期間内に１ライン分の出力が可能な状態で格納する（ステップＳ０８０１）。次に、第二セレクタは、第四格納部を選択する（ステップＳ０８０２）。次に、フレームデータ格納部は、第四格納部に格納された１フレーム分のデータを格納する（ステップＳ０８０３）。次に、ライン数拡大処理部は、フレームデータ格納部に格納された１フレーム分のデータを、モニターに出力するライン数の２倍のライン数とするライン数拡大処理を行う（ステップＳ０８０４）。次に、半ラインデータ取得部は、ライン数拡大処理部にて拡大処理されたデータのうち半分のライン数分のデータを得る（ステップＳ０８０５）。そして、半ラインデータ取得部で取得されたデータをモニターに出力する（ステップＳ０８０６）。
【０１０７】
（静止画モニターモード時）
【０１０８】
次に、静止画モニターモード時の動作について説明する。
【０１０９】
静止画モニターモード時には、ＣＣＤイメージセンサの有効水平１６００画素×１２００ラインのうち、１６００画素×１２００ラインを２ライン加算読み出すように制御される。
【０１１０】
静止画モニターモード時にはＣＣＤイメージセンサ上の全てのラインについて読み出しを行う。すなわち１／３０秒の垂直同期時間をかけて２ライン加算しながら全画素の読み出しを行う。水平縮小までの動作は動画モード時と同じであるが、第四格納部により適当な演算を行い、７２０画素×４８０ライン分のデータをフレームデータ格納部に格納する。
【０１１１】
格納されたフレームデータを１フィールドに２４０ラインずつモニターに出力することによって静止画像を撮影する範囲や明るさの状態をモニターすることが可能になる。
【０１１２】
（処理の流れ）
【０１１３】
図９，１０に示すのは、本件発明の実施形態の（静止画モニターモード時）の処理の流れである。
【０１１４】
ステップＳ０９０１〜Ｓ０９０７については、ステップＳ０７０１〜Ｓ０７０７と同様なので説明を省略する。
【０１１５】
次に、第四格納部は、二つの第三ラインバッファ部に格納されたデータに適当な演算を行い、モニター出力に適したライン数に縮小し、一水平同期期間内に１ライン分の出力が可能な状態で格納する（ステップＳ１００１）。次に、第二セレクタは、第四格納部を選択する（ステップＳ１００２）。次に、フレームデータ格納部は、第四格納部に格納された１フレーム分のデータを格納する（ステップＳ１００３）。次に、ライン数拡大処理部は、フレームデータ格納部から出力されるフレームデータを１フィールドに総ライン数の半分ずつ交互にインターレース読出しで半ラインデータ取得部に格納する（ステップＳ１００４）。次に、半ラインデータ取得部は、ライン数拡大処理部からのフレームデータを取得する（ステップＳ１００５）。そして、半ラインデータ取得部で取得されたデータをモニターに出力する（ステップＳ１００６）。
【０１１６】
（静止画撮影モード）
【０１１７】
次に静止画撮影モード時の動作について説明する。
【０１１８】
静止画撮影モード時には、ＣＣＤイメージセンサの有効水平１６００画素×１２００ラインのうち、１６００画素×１２００ラインを２回に分けて１ラインおきに読み出すように制御される。
【０１１９】
静止画撮影モード時には、ＣＣＤイメージセンサから１／３０秒の垂直同期時間をかけ、１ラインおきに画素データを読み出す制御が行われる。読み出されたデータは二つのＡ／Ｄ変換部をとおった後、第二セレクタを経由して一旦半分静止画データ入力部０１１９に入力される。次に同様にして１／３０秒の垂直同期時間をかけて残りの画素データを１ラインおきに読み出し、半分静止画データ入力部０１２０に入力する。二つの半分静止画データ入力部に入力されたデータは、順次、静止画データ格納部に格納される。そして、静止画データ格納部に格納された静止画データは、全体構成部に出力される。全体構成部では、ＣＣＤイメージセンサからの静止画像全体のデータの内の半分のライン数分の静止画データと、残り半分のライン数分の静止画データと、を利用して静止画全体のデータを構成する。
【０１２０】
この結果、全体構成部に格納された画素データはフレーム状態に並び替えられる。次にこのデータを１／１５秒の垂直同期時間をかけて順次読み出す。読み出されたデータは二つの第一セレクタのａに送られ、二つの第一ラインバッファ部で動画モード時と同様の並び替えを行い、画像信号処理部で輝度、色差データを計算する。計算した画像データは３２ビット幅のまま第二セレクタに送られ、フレームデータ格納部に格納される。以上の動作によりＣＣＤイメージセンサと同じ１６００画素×１２００ラインの大きさの静止画像をフレームデータ格納部に得ることが可能になる。
【０１２１】
なお、フレームデータ格納部に格納された静止画データは、静止画記録系へ出力される。
【０１２２】
（処理の流れ）
【０１２３】
図１１、１２に示すのは、本件発明の実施形態の（静止画撮影モード時）の処理の流れである。
【０１２４】
最初に、ＣＣＤイメージセンサの二つの読出部から、データを二つのＡ／Ｄ変換部に出力する（ステップＳ１１０１）。次に、第二セレクタは、二つのＡ／Ｄ変換部を選択する（ステップＳ１１０２）。次に、半分静止画データ入力部は、２ラインについて１つの割合で垂直転送レジスタを有するＣＣＤイメージセンサから１フレームについて半分のライン数分の静止画データを静止画データ格納部に入力する（ステップＳ１１０３）。次に、全体構成部は、静止画データ格納部に格納されたＣＣＤイメージセンサからの静止画像全体のデータの内の半分のライン数分の静止画データと、残り半分のライン数分の静止画データと、を利用して静止画全体のデータを構成し、データを二つの第一セレクタに出力する（ステップＳ１１０４）。次に、二つの第一セレクタは、全体構成部を選択する（ステップＳ１１０５）。次に、二つの第一ラインバッファ部は、全体構成部から読み出されたデータを入力して格納する（ステップＳ１１０６）。次に、画像信号処理部は、二つの第一ラインバッファ部に格納されたデータを、二つの第一ラインバッファ部に入力される際のビット幅の２倍のビット幅で読み出し画像信号処理を行う（ステップＳ１１０７）。次に、第二セレクタは、画像信号処理部を選択する（ステップＳ１２０１）。次に、フレームデータ格納部は、画像信号処理部からの１フレーム分のデータを格納し、静止画記録系に出力する（ステップＳ１２０２）。
【０１２５】
＜その他＞
【０１２６】
以上の説明においては、フレームデータ格納部と静止画データ格納部とは別物として説明したが、本件発明は、上記構成に限定されるものではない。つまり、フレームデータ格納部を静止画データ格納部として動作させることもできる。これにより、回路規模の縮小を図ることが可能である。
【発明の効果】
本発明に係る撮像装置によれば、左右２つの読出部の出力端子をもったＣＣＤイメージセンサからの出力を、一水平同期期間あたりのＣＣＤ駆動クロックパルスと同じ数のクロックパルスによって信号処理することが可能となり、回路を簡易化することができる。
【０１２７】
上記撮像装置では画像信号処理された画像データに対して、水平方向の縮小処理を並列に行うことにより、その後の信号処理を水平同期期間内に行うことが可能となる。
【０１２８】
上記撮像装置では、垂直ラインをオーバーサンプリングすることによりインターレース変換による解像度の低下を最小限におさえることが可能となる。
【０１２９】
上記撮像装置で静止画像を撮影する際には、データの流れを変更するだけで、動画を処理する回路上で静止画の処理も行うことが可能となる。
【図面の簡単な説明】
【図１】本件発明の実施形態の撮像装置のシステム構成例を示す図
【図２】ＣＣＤイメージセンサの二つの読出部の概念図
【図３】第二セレクタ、フレームデータ格納部、半分静止画データ入力部、静止画データ格納部、全体構成部の拡大図
【図４】ＣＣＤイメージセンサ上のデータの配列と、読み出し方向の一例を示す図
【図５】ＣＣＤイメージセンサからデータを読み出すタイミング、およびその後の信号処理のタイミングの一例を示す図
【図６】信号処理のタイミングの一例を示す図
【図７】動画モード時の処理の流れを示すフローチャート図
【図８】動画モード時の処理の流れを示すフローチャート図（図７の続き）
【図９】静止画モニターモード時の処理の流れを示すフローチャート図
【図１０】静止画モニターモード時の処理の流れを示すフローチャート図（図９の続き）
【図１１】静止画撮影モード時の処理の流れを示すフローチャート図
【図１２】静止画撮影モード時の処理の流れを示すフローチャート図（図１１の続き）
【符号の説明】
０１０１  ＣＣＤイメージセンサ
０１０２  Ａ／Ｄ変換部
０１０３  Ａ／Ｄ変換部
０１０４  第一セレクタ
０１０５  第一セレクタ
０１０６  第一ラインバッファ部
０１０７  第一ラインバッファ部
０１０８  画像信号処理部
０１０９  第二ラインバッファ部
０１１０  水平縮小処理部
０１１１  水平縮小処理部
０１１２  第三ラインバッファ部
０１１３  第三ラインバッファ部
０１１４  第四格納部
０１１５  第二セレクタ
０１１６  フレームデータ格納部
０１１７  ライン数拡大処理部
０１１８  半ラインデータ取得部
０１１９  半分静止画データ入力部
０１２０  半分静止画データ入力部
０１２１  静止画データ格納部
０１２２  全体構成部
【図１】
2005006078.tif 000003
【図２】
2005006078.tif 000004
【図３】
2005006078.tif 000005
【図４】
2005006078.tif 000006
【図５】
2005006078.tif 000007
【図６】
2005006078.tif 000008
【図７】
2005006078.tif 000009
【図８】
2005006078.tif 000010
【図９】
2005006078.tif 000011
【図１０】
2005006078.tif 000012
【図１１】
2005006078.tif 000013
【図１２】
2005006078.tif 000014