(57)【特許請求の範囲】
【請求項１】
第１の周波数の第１のクロック信号に同期した第１のサンプル系列と、上記第１のクロック信号に同期し、上記第１のサンプル系列の（１／２）のサンプリングレートの第２のサンプル系列とが供給され、上記第１の周波数の（３／２）倍の第２の周波数の第２のクロック信号に同期した上記第１および第２のサンプル系列を合成した出力サンプル系列を生成するようにした信号処理装置において、
上記第１のサンプル系列を上記第２のクロック信号により取り込み、保持する複数の第１のレジスタと、
上記第２のサンプル系列を上記第２のクロック信号により取り込み、保持する複数の第２のレジスタと、
上記複数の第１および第２のレジスタの出力を選択し、上記出力サンプル系列を発生する出力セレクタと、
上記出力セレクタを制御するための選択信号を形成する選択信号形成手段とからなり、
上記第１のクロック信号と、上記第２のクロック信号との間の３種類の位相関係の内上記第１および第２のサンプル系列の不安定な位相関係を除く位相関係で取り込まれたサンプルを上記出力サンプル系列として選択することを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
上記３種類の位相関係は、
上記第２のクロック信号の立ち上がりエッジが上記第１のクロック信号の立ち上がりエッジの後にある第１の位相関係と、
上記第２のクロック信号の立ち上がりエッジが上記第１のクロック信号の立ち上がりエッジとほぼ一致している第２の位相関係と、
上記第２のクロック信号の立ち上がりエッジが上記第１のクロック信号の立ち上がりエッジの前にある第３の位相関係とからなり、
上記第２および第３の位相関係で取り込まれた上記第１および第２のサンプル系列中のサンプルを上記出力サンプル系列として出力することを特徴とする信号処理装置。
【請求項３】
請求項１に記載の信号処理装置において、
上記出力サンプル系列は、
上記第２のクロック信号に同期した上記選択信号に基づいて、上記第１のサンプル系列から４つのサンプルを選択した後、上記第２のサンプル系列から２つのサンプルを選択するようにしたことを特徴とする信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えばディジタル記録の電子スチルカメラに使用して好適な信号処理装置に関する。
【０００２】
【従来の技術】
最近、ディジタル電子スチルカメラが普及しつつある。ディジタル電子スチルカメラの場合、撮影時にピントを合わせたり、撮影時のカメラアングルを調整するために、撮影画像を表示するモニタ、例えば液晶モニタを設けることが多い。本願出願人も特願平８−８２０３５号において、全画素読み出し方式の撮像素子を使用して、さらにＶＲＡＭ（ビデオＲＡＭ）を設ける必要のないディジタル電子スチルカメラを実現している。
【０００３】
この特願平８−８２０３５号では、カメラ信号処理回路において、コンポーネント信号を、クロック周波数を乗せ換えることによって、多重化することができ、その後の信号処理のために配されるデータバスのビット幅を小さくすることができ、それによってクロストーク等の信号劣化を抑えることができ、またメモリのサイズを小とし、メモリの消費電力を低減することができることが効果の１つとして挙げられている。
【０００４】
この効果を奏する信号処理装置、例えばマルチプレクサの構成の一例を図１２に示す。マルチプレクサは、輝度信号Ｙおよび色信号Ｃの一方を選択する入力セレクタ１５１と、入力セレクタ１５１が直列入力として供給されるシフトレジスタ１５２と、シフトレジスタ１５２の並列出力がロードされるレジスタ１５３と、レジスタ１５３にロードされたデータを順次選択する出力セレクタ１５４と、出力セレクタ１５４に接続されたレジスタ１５５とからなる。各レジスタは、８ビット幅のものである。
【０００５】
図１３は、上述のマルチプレクサの動作を示すタイミングチャートである。３ＭＣＫは、クロックＭＣＫの周波数の３倍のクロックである。輝度信号Ｙおよび色信号Ｃは、クロックＭＣＫと同期している。（４１１）方式のコンポーネント信号であるので、４サンプルの輝度データ（例えばＹ0 、Ｙ1 、Ｙ2 、Ｙ3 ）に対して、１サンプルの赤の色差データ（例えばＣｒ0 ）と１サンプルの青の色差データ（例えばＣｂ0 ）とが対応している。
【０００６】
セレクトパルスのハイレベルで輝度データを選択し、そのローレベルで色データを選択するように、入力セレクタ１５１が制御される。シフトレジスタ１５２は、３／２ＭＣＫがクロックとして供給され、入力セレクタ１５１により選択されたデータを取り込むと共に、直列にシフトする。シフトレジスタ１５２の初段のレジスタの出力Ｑ0 は、図に示すように、Ｙ-1、Ｙ0 、Ｃｒ0 、Ｙ1 、Ｙ2 、Ｃｂ0 、Ｙ3 、・・・と変化する。
【０００７】
レジスタ１５３に対して、１／４ＭＣＫのクロックのタイミングでもって、シフトレジスタ１５２の出力が並列にロードされる。１／４ＭＣＫのクロックの周期は、３／２ＭＣＫの周期の６倍である。また、１／４ＭＣＫのクロックの位相は、互いに関連する輝度データおよび色差データの合計６サンプルがシフトレジスタ１５２からレジスタ１５３に転送されるように選定される。
【０００８】
出力セレクタ１５４は、クロック（３／２ＭＣＫ）と同期してレジスタ１５３の最も前のサンプルから順次選択し、選択されたサンプルをレジスタ１５５が取り込む。従って、レジスタ１５５からは、（Ｙ，Ｃｒ，Ｙ，Ｙ，Ｃｂ，Ｙ）の順序を有するように、多重化されたコンポーネント信号が発生する。
【０００９】
【発明が解決しようとする課題】
しかしながら、このマルチプレクサでは、クロック周波数ＭＣＫに同期した信号を３／２ＭＣＫで取り込むタイミングが輝度データＹ0 の場合、サンプルの切り換わりからクロック周波数ＭＣＫのクロック信号の１／３周期遅れたタイミングであるため、データ遅延に対するマージンが少ない問題があった。すなわち、輝度信号Ｙおよび色信号Ｃがクロック周波数ＭＣＫのクロック信号に対する遅延を有すると、３／２ＭＣＫのクロック信号でサンプリングされるデータがＹ0 とは限らずＹ-1となる場合も生じる。
【００１０】
また、マルチプレクサからの出力信号がデータが入力されてから６クロック経過した後でないと出力されないのでシステムディレイが大きい問題があった。さらに、このマルチプレクサを構成するためには、１２個のフリップフロップが必要となるため回路規模が大きくなる問題があった。
【００１１】
従って、この発明の目的は、これらの問題を鑑みて、もとのクロック周波数の３／２倍のクロック周波数にデータの乗せ換えを行う場合に、確実にデータを取り込めるようにした信号処理装置を提供することにある。
【００１２】
【課題を解決するための手段】
請求項１に記載の発明は、第１の周波数の第１のクロック信号に同期した第１のサンプル系列と、第１のクロック信号に同期し、第１のサンプル系列の（１／２）のサンプリングレートの第２のサンプル系列とが供給され、第１の周波数の（３／２）倍の第２の周波数の第２のクロック信号に同期した第１および第２のサンプル系列を合成した出力サンプル系列を生成するようにした信号処理装置において、第１のサンプル系列を第２のクロック信号により取り込み、保持する複数の第１のレジスタと、第２のサンプル系列を第２のクロック信号により取り込み、保持する複数の第２のレジスタと、複数の第１および第２のレジスタの出力を選択し、出力サンプル系列を発生する出力セレクタと、出力セレクタを制御するための選択信号を形成する選択信号形成手段とからなり、第１のクロック信号と、第２のクロック信号との間の３種類の位相関係の内第１および第２のサンプル系列の不安定な位相関係を除く位相関係で取り込まれたサンプルを出力サンプル系列として選択することを特徴とする信号処理装置である。
【００１３】
入力された輝度信号Ｙおよび色信号Ｃが３／２ＭＣＫのクロック周波数で動作するマルチプレクサに供給される。このマルチプレクサは、クロック周波数ＭＣＫの信号からその周波数の３／２倍のクロック周波数で多重化した信号に出力する。このとき、クロック周波数ＭＣＫと３／２ＭＣＫとの間に３種類の位相関係がある。その３種類の位相関係とは、３／２ＭＣＫの立ち上がりエッジがクロック周波数ＭＣＫの立ち上がりエッジの後となる位相関係の場合（第１の位相関係）、３／２ＭＣＫの立ち上がりエッジがクロック周波数ＭＣＫの立ち上がりエッジとほぼ一致している位相関係の場合（第２の位相関係）、３／２ＭＣＫの立ち上がりエッジがクロック周波数ＭＣＫの立ち上がりエッジの前となる位相関係の場合（第３の位相関係）である。この３種類の位相関係の中の第１の位相関係のとき、データが不確定となるタイミングである。よって、第１の位相関係を除く第２および第３の位相関係のときに、データを取り込むようにすることによって、取り込みマージンが増加し、電源電圧、プロセスバラツキ、クロック周波数ＭＣＫの負荷条件等の条件変動に強くなる。さらに、入力された信号と出力信号とのディレイ差が小さくすることができ回路規模も小さくすることができる。
【００１４】
【発明の実施の形態】
以下、この発明の実施の一形態について図面を参照して説明する。図１は、この発明が適用された実施の一形態の全体的構成を示す。１０１は、固体撮像素子例えばＣＣＤ撮像素子である。ＣＣＤ撮像素子１０１は、三原色フィルタ、補色フィルタ等を有する単板式のイメージャである。ＣＣＤ撮像素子１０１は、後で詳細に説明するように、全画素を読み出すフルフレーム読み出しの動作モード（第１の撮像モード）と、ライン数を減少させた信号を出力するライン間引きの動作モード（第２の撮像モード）とが切替え可能とされている。撮像素子１０１には、レンズ系１００を介して被写体光が入射される。
【００１５】
撮像素子１０１の出力信号がサンプルホールド，ＡＧＣ回路１０２に供給される。フルフレーム読み出しモードでは、１枚の画像読み出しの時間が１／３０秒であり、ライン間引きモードでは、これが１／６０秒である。サンプルホールドは、相関二重サンプリング回路の構成とされ、ノイズの除去、波形整形、欠陥画素の補償がなされる。ＡＧＣは、被写体の明るさに応じてゲインを制御するもので、また、自動絞り調整のためにもゲインが制御される。サンプルホールド，ＡＧＣ回路１０２の出力信号がＡ／Ｄ変換器１０３に供給される。Ａ／Ｄ変換器１０３からは、１サンプルが１０ビットのディジタル撮像信号が発生する。
【００１６】
ディジタル化された撮像信号がＩＣ回路の構成のカメラ信号処理回路１０４に供給される。この信号処理回路１０４は、ディジタルクランプ回路、輝度信号処理回路、色信号処理回路、輪郭補正回路、欠陥補償回路、自動絞り制御回路、自動焦点制御回路、自動ホワイトバランス補正回路、コンポーネント信号（Ｙ：輝度信号、Ｃｒ、Ｃｂ：色差信号が４：１：１の比のサンプリング周波数でサンプリングされたディジタルビデオ信号）のマルチプレクサ、同期信号発生回路、タイミング生成器、マイクロコンピュータとのインターフェース等が含まれる。信号処理回路１０４のより具体的な構成については後述する。マルチプレクサによって、コンポーネント信号が多重化データへ変換される。
【００１７】
１０５は、信号処理を制御するマイクロコンピュータであって、マイクロコンピュータ１０５からのコントロール信号がレンズ系１００、電子ボリューム１０６、カメラ信号処理回路１０４、タイミングコントローラ１０７に供給される。タイミングコントローラ１０７は、タイミング生成器１０８およびＣＣＤ駆動回路１０９から構成される。電子ボリューム１０６は、サンプルホールド，ＡＧＣ回路１０２のゲインコントロール信号を発生する。
【００１８】
カメラ信号処理回路１０４、タイミングコントローラ１０７に対しては、クロックＭＣＫの３倍の周波数のクロック３ＭＣＫが供給される。一例として、撮像素子１０１の水平画素数が７８０とされ、ＭＣＫ＝７８０ｆh （ｆh:撮像素子１０１の水平走査周波数）＝１２．３ＭHzとされている。また、カメラ信号処理回路１０４において発生した水平同期信号Ｈおよび垂直同期信号Ｖがタイミングコントローラ１０７に供給される。タイミングコントローラ１０７のＣＣＤ駆動回路１０９で発生した駆動パルスが撮像素子１０１に供給される。駆動パルスは、垂直駆動パルス、水平駆動パルス、読み出しパルス等を含む。
【００１９】
図２は、カメラ信号処理回路１０４の一例を示す。ここでは、自動絞り制御回路を含む場合の構成を示す。簡単のため、欠陥補償回路、自動焦点制御回路、自動ホワイトバランス補正回路についての図示を省略する。Ａ／Ｄ変換器１０３からの１０ビット幅のディジタル撮像信号がディジタルクランプ回路１１１を介して演算回路１１２に供給される。撮像素子が三原色フィルタを有する場合、演算回路１１２によって、三原色信号の加算または減算がなされ、輝度信号成分および色差信号成分が生成される。
【００２０】
輝度信号成分が輝度信号処理回路１１３および輪郭補正回路１１４に供給され、色差信号成分が色信号処理回路１１６に供給される。輝度信号処理回路１１３には、γ補正回路等が含まれる。輪郭補正回路１１４により生成された輪郭補正信号が輝度信号処理回路１１３の出力信号に対して加算回路１１５により加算される。加算回路１１５から輝度信号Ｙが得られる。色信号処理回路１１３には、γ補正回路、ホワイトバランス補正回路等が含まれる。色信号処理回路１１３から色差信号Ｃｒ、Ｃｂが発生する。Ｙ、Ｃｒ、Ｃｂからなるコンポーネント信号がマルチプレクサ１１７に供給される。マルチプレクサ１１７によって、後述のようにこれらの信号が合成され、その出力には、多重化コンポーネント信号が発生する。
【００２１】
タイミング、同期信号発生回路１１８が設けられており、３ＭＣＫのクロックから水平同期信号Ｈ、垂直同期信号Ｖ、クロック、タイミング信号がこの回路１１８から発生する。１１９がマイクロコンピュータ１０５とカメラ信号処理回路１０４との間のインターフェースのためのシリアルＩＯであり、１２０が検出、累算回路である。演算回路１１２で形成された輝度信号成分が検出、累算回路１２０に供給される。絞り制御の場合、撮像画面が複数の領域に分割され、領域毎に撮像信号が累算される。そして、各領域の累算データが検出、累算回路１２０からシリアルＩＯ１１９に対して出力される。
【００２２】
シリアルＩＯ１１９を通じて累算データをマイクロコンピュータ１０５が受け取り、累算データに対する重み付け演算、重み付けされた各領域のデータの総和を求める演算、絞り制御信号の生成等をマイクロコンピュータ１０５が行う。生成された絞り制御信号によって、レンズ系１００の絞り制御リングの駆動モータが駆動され、タイミングコントローラ１０７および電子ボリューム１０６が制御される。タイミングコントローラ１０７によって電子シャッタ（露光時間）が制御され、電子ボリューム１０６によってゲインが制御される。また、シリアルＩＯ１１９を通じてマイクロコンピュータ１０５から検出、累算回路１２０にコントロール信号が供給され、領域の分割のパターン等が制御される。
【００２３】
（４１１）方式のコンポーネント信号を多重化するためのマルチプレクサ１１７についてより詳細に説明する。図３に示すように、マルチプレクサ１１７は、クロックＭＣＫに同期した８ビット幅の輝度信号Ｙ、色差信号Ｃが入力され、３／２ＭＣＫ（クロックＭＣＫの３／２倍の周波数のクロック）に同期した８ビット幅の多重化コンポーネント信号を発生する。この発明は、特にマルチプレクサ１１７に関する。
【００２４】
図４は、この発明の実施の一形態を示す。マルチプレクサ１１７は、輝度信号Ｙ（第１のサンプル系列）および色信号Ｃ（第２のサンプル系列）が供給されるシフトレジスタ１２１と、シフトレジスタ１２１の出力を順次選択する出力セレクタ１２２と、出力セレクタ１２２の切り換えを制御する選択パルス生成回路１２３と、出力セレクタ１２２に接続されたレジスタ１２４とからなる。各レジスタは、８ビット幅のものである。また、シフトレジスタ１２１Y1から出力信号Ｓ０が出力され、シフトレジスタ１２１Y2から出力信号Ｓ１が出力され、シフトレジスタ１２１C3から出力信号Ｓ２が出力され、シフトレジスタ１２１C5から出力信号Ｓ３が出力される。
【００２５】
図５は、上述のマルチプレクサ１１７の動作を示すタイミングチャートである。３ＭＣＫは、クロック周波数ＭＣＫの３倍のクロックである。輝度信号Ｙおよび色信号Ｃは、クロック周波数ＭＣＫと同期している。（４１１）方式のコンポーネント信号であるので、４サンプルの輝度データ（例えばＹ0 、Ｙ1 、Ｙ2 、Ｙ3 ）に対して、１サンプルの赤の色差データ（例えばＣｒ0 ）と１サンプルの青の色差データ（例えばＣｂ0 ）とが対応している。
【００２６】
このとき、図５中のDelay ＹおよびDelay Ｃに示したように、システム全体としてクロック周波数ＭＣＫの方が３／２ＭＣＫと比べると多くのＩＣに接続されているため、負荷が重くクロック周波数ＭＣＫに同期した信号が遅れる方向にある。そのため、出力信号Ｓ０、Ｓ１、Ｓ２、Ｓ３およびシフトレジスタ１２１C1からの出力信号ＱC を見ると、Ｙ-1／Ｙ0 またはＣr0／Ｃb0に示したように、ここのタイミングでは、クロック周波数ＭＣＫの負荷条件、電源電圧、プロセスバラツキ条件によっては、ちょうどデータの切り換わるタイミングを取り込んでしまう可能性が高い。
【００２７】
この実施の一形態では、クロック周波数ＭＣＫと３／２ＭＣＫとの間の３種類の位相関係の内で輝度信号Ｙおよび色信号Ｃのサンプルが不安定となる状態がある位相関係を除いて２種類の位相関係でデータが取り込まれる。その３種類の位相関係とは、３／２ＭＣＫの立ち上がりエッジがクロック周波数ＭＣＫの立ち上がりエッジの後となる位相関係の場合（第１の位相関係）、３／２ＭＣＫの立ち上がりエッジがクロック周波数ＭＣＫの立ち上がりエッジとほぼ一致している位相関係の場合（第２の位相関係）、３／２ＭＣＫの立ち上がりエッジがクロック周波数ＭＣＫの立ち上がりエッジの前となる位相関係の場合（第３の位相関係）である。この３種類の位相関係の中の第１の位相関係のときが上述したデータ（サンプル）が遅延した時に、データが不確定となるタイミングである。よって、第１の位相関係を除く第２および第３の位相関係のときに、データを取り込むようにする。
【００２８】
そこで、データの切り換わるタイミング（第１の位相関係）を選択しないような制御信号として選択信号（ＳＰ）が選択パルス生成回路１２３から出力セレクタ１２２へ供給される。その選択信号（ＳＰ）に応じて出力セレクタ１２２から選択された信号（ＳＳ）が出力される。その出力信号は、レジスタ１２４に取り込まれる。レジスタ１２４から３／２ＭＣＫに同期した（Ｙ0 ，Ｙ1 ，Ｙ2 ，Ｙ3 ，Ｃｒ0 ，Ｃｂ0 ）の順序を有するように多重化されたコンポーネント信号（出力サンプル系列）が発生する。
【００２９】
このマルチプレクサ１１７は、データのサンプリングクロック周波数をＭＣＫから１．５倍の周波数の３／２ＭＣＫに変更することによって、８ビット幅の多重化コンポーネント信号へ変換する。マルチプレクサ１１７を設けない場合では、カメラ信号処理回路１０４から（８×２＝１６ビット）幅のデータ（輝度信号Ｙおよび色信号Ｃ）が出力される。その場合では、二つのデータバス間のクロストークが発生したり、基板配線面積が増加することによってクロストークが増加したり、メモリのデータの幅が増加することによってメモリのサイズが大きくなったり、メモリの消費電力が増大する等の種々の問題が生じる。上述したマルチプレクサ１１７を信号処理回路１０４の出力側に設けることによって、これらの問題の発生を防止することができる。
【００３０】
また、図示しないが、マルチプレクサ１１７の入力の前段に切り換えスイッチを設けることによって、モードを切り換えるようにすることで可能となる。上述では、マルチプレクサ１１７によって輝度信号Ｙおよび色信号Ｃを多重化するモードを説明したが、輝度信号Ｙおよび色信号Ｃをマルチプレクサ１１７を通過せず、直接出力するモードを持っても良い。
【００３１】
図１に戻って、この発明が適用できる実施の一形態についてさらに説明する。カメラ信号処理回路１０４からの上述したように多重化されたコンポーネント信号がデータスイッチャ１３０に供給される。データスイッチャ１３０は、カメラ信号処理回路１０４の出力と接続された出力点ａと、コンポーネント信号を三原色信号へ変換する変換回路１３４と接続された入力点ｂと、記録再生データバス１４０と接続された入出力点ｃとを有する。データスイッチャ１３０の状態は、ユーザのキー操作等に基づいて発生したモード切り換え信号１３１、１３２、１３３によって制御される。図１中のマイクロコンピュータ１０５は、主としてカメラ部の制御のために設けられており、図示しないが、記録／再生動作の制御、装置全体の制御のために、それぞれマイクロコンピュータが設けられ、これらのマイクロコンピュータ間での通信がなされる。
【００３２】
変換回路１３４により発生した三原色信号Ｒ、Ｇ、Ｂがテレビジョン表示装置例えば液晶ディスプレイ１３５に供給され、液晶ディスプレイ１３５により撮像画像が表示される。液晶ディスプレイ１３５は、１／６０秒周期のノンインターレース方式でもってカラー画像を表示する。記録再生データバス１４０に対して、ランダムアクセス可能なメモリ例えばＤＲＡＭ(Dynamic Random Access Memory)１４１およびデータ圧縮用のエンコーダ／デコーダ例えばＪＰＥＧ(Joint Photographic Experts Group)のエンコーダ／デコーダ１４２が接続される。ＪＰＥＧ以外の方式の高能率符号化を使用しても良い。エンコーダ／デコーダ１４２に対して記録媒体例えばフラシュメモリ１４３およびインターフェース１４４が接続される。ＤＲＡＭ１４１は、メモリコントローラ１４５から供給されるアドレス信号、制御信号によってその動作が制御される。
【００３３】
エンコーダ／デコーダ１４２は、ＪＰＥＧ、すなわち、適応ＤＣＴ（Discrete Cosine Transform)の符号化によって約１／１０にデータ量を圧縮する。ＪＰＥＧにおけるブロック化等の処理のために、ＤＲＡＭ１４１が設けられている。フラシュメモリ１４３は、電源を切っても記憶内容が保持され、メモリ全体あるいは分割した領域毎に電気的に一括して消去、再書込みが可能な半導体メモリである。記録媒体としては、フラシュメモリ以外の半導体メモリ等の媒体を使用しても良い。さらに、圧縮されたスチル画像データを必要に応じてパ−ソナルコンピュータに供給するためにインターフェースを設けても良い。この発明の実施の一形態において、記録とは、撮像信号を符号化してフラシュメモリ１４３に書込むことであり、再生とは、フラシュメモリ１４３内のデータを読み出し、読み出しデータを復号することである。
【００３４】
上述したデータスイッチャ１３０は、接続状態によって５種類の動作が可能とされている。これは、モニタリングモード、第１の記録モード、第２の記録モード、第１の再生モード、第２の再生モードとからなる。これらのモードは、モード切り換え信号１３１、１３２、１３３によって設定される。モード切り換え信号１３１、１３２、１３３は、図示しない記録再生系制御用のマイクロコンピュータから発生する。マイクロコンピュータ１０５によって、モード切り換え信号を発生しても良い。モニタリングモードでは、撮像画面を液晶ディスプレイ１３５に表示する。第１の記録モードでは、所望の撮像画像をＤＲＡＭ１４１に書込む。第２の記録モードでは、ＤＲＡＭ１４１に記憶された画像データを圧縮してフラッシュメモリ１４３に書込む。第１の再生モードでは、フラッシュメモリ１４３に記憶されたデータを読出し、読出しデータを復号してＤＲＡＭ１４１に書込む。第２の再生モードでは、ＤＲＡＭ１４１のデータを読出して液晶ディスプレイ１３５に表示する。
【００３５】
モニタリングモードは、データスイッチャ１３０の出力点ａと入力点ｂとが接続され、モード切り換え信号１３１がアクティブとなることによって設定される。このモニタリングモードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をライン間引きモードで動作させる。撮像素子１０１からは、読出しがされないラインが生じ、１／６０秒周期で撮像信号が読出される。モニタリングモードでは、信号処理回路１０４の出力信号がデータスイッチャ１３０を介して変換回路１３４に供給され、変換回路１３４から出力される三原色信号が液晶ディスプレイ１３５に供給され、表示される。撮像素子１０１がライン間引きモードで動作するので、液晶ディスプレイ１３５が１／６０秒周期のノンインターレスの表示を行うことができる。液晶ディスプレイ１３５の表示を見て、画角の調整等を行い、記録したいスチル画像を決定することができる。
【００３６】
第１の記録モードは、スチル画像を記録する場合のモード、すなわち、データスイッチャ１３０の出力点ａと入出力点ｃとが接続され、モード切り換え信号１３２がアクティブとなることによって設定される。この第１の記録モードでは、マイクロコンピュータ１０５は、タイミングコントローラ１０７のＣＣＤ駆動回路１０９を制御し、撮像素子１０１をフルフレーム読出しモードで動作させる。撮像素子１０１からは、全画素例えば３２万画素が読出され、１／３０秒周期で撮像信号が読出される。
【００３７】
撮像信号がカメラ信号処理回路１０４において処理され、データスイッチャ１３０の出力点ａおよび入出力点ｃ、並びに記録再生データバス１４０を通じてＤＲＡＭ１４１に書込まれる。メモリコントローラ１４５は、ＤＲＡＭ１４１を書込み状態にし、書込みアドレスをＤＲＡＭ１４１に対して供給する。メモリコントローラ１４５は、図示しない記録／再生系制御用のマイクロコンピュータによって制御される。１枚分のスチル画像データがＤＲＡＭ１４１に書込まれる。１／３０秒の画像データの書込みがなされる、第１の記録モードでは、液晶ディスプレイ１３５に画像を表示することができない。画像が表示されない時間を最小限とするために、書込みが終了すると、次の第２の記録モードに移行する。
【００３８】
ＤＲＡＭ１４１に対する１枚分の画像データの書込みが終了すると、データスイッチャ１３０が、出力点ａおよび入力点ｂが接続される第２の記録モードとなる。第２の記録モードは、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、ＤＲＡＭ１４１から画像データが読出される。読出されたデータがバス１４０を介してエンコーダ／デコーダ１４２に供給される。エンコーダ／デコーダ１４２は、ＤＲＡＭ１４１から読出したデータを例えばＪＰＥＧにより圧縮する。また、圧縮されたデータがフラッシュメモリ１４３に書込まれる。このようにして、撮像画像が圧縮されて記録される。
【００３９】
また、第２の記録モードでは、撮像素子１０１がライン間引きモードで動作するようになされ、モニタリングモードと同様に、高速で撮像素子１０１から読出された信号がカメラ信号処理回路１０４で処理され、画像信号がデータスイッチャ１３０および変換回路１３４を介して液晶ディスプレイ１３５に供給され、画像が表示される。それによって、記録時に画像の表示が消える時間を最小限とすることができる。
【００４０】
フラッシュメモリ１４３に書込まれた画像データを再生して液晶ディスプレイ１３５により表示するのが再生モードである。第１の再生モードは、データスイッチャ１３０の出力点ａと入力点ｂとが接続され、モード切り換え信号１３１がアクティブとなることによって設定される。このモードでは、フラッシュメモリ１４３からデータが読出され、読出しデータがエンコーダ／デコーダ１４２に供給される。
【００４１】
エンコーダ／デコーダ１４２によりデータが復号され、画像データが発生する。この画像データを書込むように、ＤＲＡＭ１４１が制御される。この場合、第１の記録モードと同一のデータ配列でもって、復号データがＤＲＡＭ１４１に書込まれるように、メモリコントローラ１４５がＤＲＡＭ１４１の書込みアドレスを制御する。読出し時のアドレス制御によって、同様のデータ配列を実現しても良い。この関係は、ＤＲＡＭ１４１から読出されたデジタル画像信号を変換回路１３４を介して液晶ディスプレイ１３５に供給し、液晶ディスプレイ１３５により表示する場合に、モニタリングモードで使用されるものと同一の構成を使用するためために必要である。第１の再生モードは、ライン間引きモードで撮像素子１０１が駆動され、撮像素子１０１の撮像画像が液晶ディスプレイ１３５に表示されている。
【００４２】
ＤＲＡＭ１４１に対して復号データが書込まれると、第２の再生モードとなる。第２の再生モードは、データスイッチャ１３０の入出力点ｃと入力点ｂとが接続され、モード切り換え信号１３３がアクティブとなることによって設定される。ＤＲＡＭ１４１が読出し状態とされる。そして、記録再生データバス１４０、データスイッチャ１３０、変換回路１３４を介してＤＲＡＭ１４１の読出しデータが液晶ディスプレイ１３５に供給される。従って、フラッシュメモリ１４３に記録されているデータと対応する画像を液晶ディスプレイ１３５により見ることが可能となる。この場合、フラッシュメモリ１４３に記録されているデータは、ライン間引きデータではなく、フルフレームのデータである。従って、メモリコントローラ１４５によるアドレス制御によって、撮像素子１０１がライン間引きモードで駆動される場合と同様のライン間引きを実現する。それによって、ＤＲＡＭ１４１の読出しデータを液晶ディスプレイ１３５により再生することができる。このようにしてフラッシュメモリ１４３に記憶されているスチル画像データを液晶ディスプレイ１３５により再生して見ることができる。
【００４３】
上述した固体撮像素子１０１の一例について以下に説明する。図６は、固体撮像素子例えばＣＣＤ撮像素子１の一例の概略を示す。この例では、インターライン方式を採用し、イメージエリアに２次元配列されたフォトセンサ（例えばフォトダイオード）２と、フォトセンサ２の間に設けられ、フォトセンサ２からの信号電荷を水平ＣＣＤ（水平転送部）４へ転送するための垂直ＣＣＤ（垂直転送部）３と、水平ＣＣＤ４に接続されたバッファアンプ５とを有する。フォトセンサ２には、後述するような配列の色フィルタを通った撮像光が入射する。一つのフォトセンサ２と垂直ＣＣＤ３中の１ビットとが対応するように構成され、フォトセンサ２からの信号電荷を混合することなく垂直ＣＣＤ３に読み出し、全画素の信号を順次、水平ＣＣＤ４に転送することが可能とされている。そして、水平ＣＣＤ４を駆動することによって、信号をフローティングディフュージョンエリアに転送し、順次電圧に変換してバッファアンプ５を通して出力する。
【００４４】
撮像素子１の単位画素の平面図を図７に示し、垂直ＣＣＤ３の構造を図８に示す。垂直ＣＣＤ３は、例えば３層電極３相駆動の構成とされている。図７において、６は、垂直ＣＣＤ３の転送チャンネル、７は、画素間、並びに画素および転送チャンネル間を分離するためのチャンネルストッパ、８、９および１０は、それぞれ垂直ＣＣＤ３の転送ゲートである。転送ゲート９は、読み出しゲートを兼用している。なお、図７では、遮光膜等についての図示が省略されている。転送ゲート８、９、１０は、図８に示すように、第１、第２および第３の多結晶シリコン電極を加工して形成される。これらの転送ゲート８、９、１０に対して、垂直駆動パルスφＶ1 、φＶ2 、φＶ3 がそれぞれ印加される。
【００４５】
フォトセンサ２から垂直ＣＣＤ３へ信号を読み出す場合、フォトセンサ２に隣接した転送ゲート、すなわち、読み出しゲートを兼ねる転送ゲート９に対して、垂直転送クロックφＶ2 のハイレベルより高いバイアス電圧（読み出しパルスと称する）を印加する。ゲート９に読み出しパルスを供給すると、１つの画素が垂直ＣＣＤ３の１ビットに対応しているので、全てのフォトセンサ２から信号電荷が垂直ＣＣＤ３に読み出される。水平ＣＣＤ５は、転送クロックφＨ1 、φＨ2 によって、１ライン分のデータを出力する。なお、水平ＣＣＤ５としては、例えば複合チャンネル水平ＣＣＤ構造を採用することができる。その場合、出力部が２チャンネルの構成とされる。
【００４６】
上述したＣＣＤ撮像素子は、全画素の信号を順次出力することができるので、電子スチルカメラ、画像取込みに適している。しかしながら、インターレース出力を行う同じ画素数のビデオカメラ用撮像素子と比較して、１画面（画面の上端から下端まで）の出力時間が倍となる。この例では、上述したように、モニタ用の信号、自動焦点制御等の自動制御のための撮像信号として、水平ライン数を減少させることによって、１画面の撮像信号を高速に出力するものであり、且つ、このライン間引きの場合に、カラーフィルタの配列で規定される垂直方向の色シーケンスが崩れることがないようにするものである。一方、撮影した画像をフラッシュメモリに取り込む場合では、フルフレームの撮像信号（ライン数の間引きがされてない撮像信号）を出力する。ライン間引きの場合でも、色シーケンスがフルフレームの場合と同一のため、信号処理回路が複雑となる問題を回避できる。
【００４７】
上述した全画素読み出し可能な撮像素子において、ライン数を間引くためには、フォトセンサ２からの信号電荷の読み出しに寄与している転送ゲート（第２の多結晶シリコン）９に対する配線を二つに分けることによって可能である。色シーケンスの繰り返し周期をＮで表す。図９は、（Ｎ＝２）の場合の一例である。
【００４８】
単板式のＣＣＤ撮像素子の色フィルタの配列としては、Ｒ（赤色を通すフィルタ）、Ｇ（緑色を通すフィルタ）、Ｂ（青色を通すフィルタ）を図１０Ａに示すように配列したもの（ベイヤ方式）が知られている。全体の半分の画素に感度の高いＧのフィルタを配置する。また、図１０Ｂに示す補色市松配置の色フィルタも知られている。図１０Ｂにおいて、Ｙｅ、Ｃｙ、Ｍｇは、それぞれ黄色、シアン、マゼンタのフィルタである。図１０Ｂに示す補色フィルタは、原色フィルタに比して解像度を高めることができるので、ビデオカメラに採用されることが多い。一方、図１０Ａに示す原色フィルタは、色の再現性の点で優れ、電子スチルカメラに採用されることが多い。
【００４９】
この発明における撮像素子として、原色フィルタを有する単板式撮像素子、および補色フィルタを有する単板式撮像素子の何れを使用しても良い。さらに、図示しないが、Ｇのフィルタを備えた撮像素子と、ＲおよびＢのフィルタの配列を備えた撮像素子とからなり、二つの撮像素子の位置関係が水平方向、または水平および垂直方向に画素ピッチの１／２だけずらされた方式の撮像素子（いわゆる空間絵素ずらし方式）を使用しても良い。
【００５０】
図１０Ａの配列は、垂直方向の色シーケンスの繰り返し周期Ｎが（Ｎ＝２）であり、図１０Ｂの配列は、（Ｎ＝４）である。図９は、（Ｎ＝２）であって、垂直方向の１列のフォトセンサ２、垂直ＣＣＤ３および垂直ＣＣＤ３のゲートのバス配線を１列の一部に関して示した模式図である。フォトセンサ２のうちで左上コーナーに斜線部を設けたものが一つの色フィルタ例えばＧのフィルタに対応し、斜線部を設けないものが他の色フィルタ、例えばＢのフィルタと対応している。垂直ＣＣＤ３は、上述したように３層電極３相駆動形式のもので、撮像素子の開口画素に隣接して３ビットのゲートを有する。また、垂直ＣＣＤ３は、繰り返し単位Ａと、繰り返し単位Ｂを含む。繰り返し単位Ａは、ゲート２１、２２、２３からなり、繰り返し単位Ｂは、ゲート３１、３２、３３からなる。ゲート２２および３２が転送兼読み出しゲートである。４１、４２、４２´、４３は、垂直転送用の駆動パルスφＶ1 、φＶ2 、φＶ2 ´、φＶ3 がそれぞれ供給されるバス配線である。
【００５１】
ゲート２１および３１がバス配線４１に接続され、ゲート２３および３３がバス配線４３に接続される。これらのバス配線４１、４３には、それぞれ駆動パルスφＶ1 、φＶ3 が供給される。駆動パルスφＶ2 に関して、２本のバス４２および４２´が設けられる。繰り返し単位Ａとは、転送兼読み出しゲート２２がバス４２と接続されるものを指し、繰り返し単位Ｂは、転送兼読み出しゲート３２がバス４２´と接続されるものを指す。なお、図９では、簡略化のために、バスラインが片側しか描かれていないが、両側にバスラインを配して、両側駆動するのが普通である。
【００５２】
上述の撮像素子では、ライン間引きのために、繰り返し単位Ａがｍ（ｍ＝１，２，３，・・・）並んだＡ×ｍ（ビット）の範囲と、繰り返し単位ＢがＮ×ａ並んだＢ×Ｎ×ａ（ビット）の範囲とが垂直方向に交互に形成される。図９に示す例は、（Ｎ＝２、ｍ＝３、ａ＝２）の場合である。なお、ｍおよびａの値を任意に選ぶことができるが、ｍおよびａを大きな値としても、（ｍ＋Ｎ×ａ）が有効画素数の垂直画素数より小さいことが必要である。
【００５３】
上述した撮像素子において、第１の動作モード、すなわち、全画素の信号を読み出すフルフレームの動作時では、垂直ＣＣＤ３の繰り返し単位ＡおよびＢの両者にフォトセンサ２から信号が読み出される。そのためには、バス配線４２および４２´を通じてゲート２２および３２の両者に読み出しパルスが印加される。この場合、色フィルタの配列の順序と対応する色シーケンス、例えばＧ、Ｂ、Ｇ、Ｂ、・・・のシーケンスでもって色信号が出力される。
【００５４】
一方、第２の動作モード、すなわち、ライン間引き動作時では、繰り返し単位Ａのゲート２２にのみバス配線４２を介して読み出しパルスが印加される。従って、Ａ×ｍ（ビット）の範囲から信号が読み出され、Ｂ×Ｎ×ａ（ビット）の範囲からは、信号が読み出されない。図９の例では、（ｍ＝３）ラインから信号が発生し、（Ｎ×ａ＝４）ラインから信号が発生しない。間引かれるライン数がＮの整数倍であるので、ライン間引きの場合の撮像出力の色信号の順序と対応する色シーケンスは、フルフレーム読み出しと同一の関係に保たれる。
【００５５】
図１１は、撮像素子を駆動する場合のタイミングを示し、図１１Ａがフルフレームの読み出しを行う場合のタイミングを示す。各水平ブランキング期間において、３相の駆動パルスφＶ1 、φＶ2 、φＶ2 ´、φＶ3 が垂直ＣＣＤ３の繰り返し単位Ａのゲート２１、２２および２３と、繰り返し単位Ｂのゲート３１、３２および３３にそれぞれ供給される。また、読み出しパルスもゲート２２および３２との両者に対して印加される。それによって、全てのフォトセンサから信号電荷が垂直ＣＣＤ３に対して読み出される。図１１Ｂの詳細なタイミングチャートに示すように、水平ブランキング期間内で発生する駆動パルスφＶ1 、φＶ2 、φＶ2 ´、φＶ3 が３相のものであり、ラインシフト期間によって１ラインシフトがなされる。フルフレームの読み出し時には、各水平ブランキング期間内で、１ラインシフトがなされる。
【００５６】
一方、ライン間引きの読み出しの場合では、図１１Ｃに示すように、繰り返し単位Ａのゲート２２にのみ読み出しパルスが印加される。それによって、繰り返し単位Ａに隣接したフォトセンサのみから信号電荷が読み出される。ライン間引きの場合では、間引かれたラインでは、信号電荷が読み出されず、無信号となる。この無信号期間は、後述するように、ラインシフト動作を複数回繰り返すことによって除去できる。
【００５７】
なお、上述した実施の一形態における撮像素子の具体的構成は、一例であって、この発明は、これ以外の固体撮像素子を使用することができる。例えば垂直ＣＣＤが２層電極４相駆動の構造でも良く、また、インターライン方式以外の方式の撮像素子、さらに、ＣＣＤ以外を使用した固体撮像素子であっても良い。さらに、固体撮像素子を駆動するモードとして、読み出しパルスφＶ2 ´を印加し、読み出しパルスφＶ2 を印加しない第３の動作モードを設定するようにしても良い。
【００５８】
また、この発明は、上述した構造の撮像素子に限定されず、全画素読み出しモードと読み出し画素数を減少させたモードとを選択することが可能な撮像素子を使用することができる。
【００５９】
【発明の効果】
以上説明したように、この発明に依れば、クロック周波数ＭＣＫの信号を３／２ＭＣＫに同期して取り込むときの取り込みマージンが増加し、さらに電源電圧、プロセスバラツキ、クロック周波数ＭＣＫの負荷条件などの条件の変動に強くなるため、確実にデータを取り込むことができる。
【００６０】
また、この発明に依れば、マルチプレクサの出力信号のシステムディレイが短くなるため、マルチプレクサの入力信号をそのまま出力するモード時の信号と、マルチプレクサの出力信号とのディレイ差が小さくなり、どちらのモードにおいても、同じ同期信号（ＨＤ等）を使いやすくすることができる。
【００６１】
さらに、この発明に依れば、マルチプレクサの回路規模を約半分にすることができる。
【図面の簡単な説明】
【図１】この発明が適用されたディジタル電子撮像装置の一例の構成を示すブロック図である。
【図２】この発明が適用されたカメラ信号処理回路の一例のブロック図である。
【図３】この発明のカメラ信号処理回路中のマルチプレクサの部分のブロック図である。
【図４】この発明のマルチプレクサの実施の一形態のブロック図である。
【図５】この発明のマルチプレクサの動作の実施の一形態を示すタイミングチャートである。
【図６】この発明に使用できる撮像素子の一例の概略的構成を示す略線図である。
【図７】撮像素子の一例の１画素の部分の拡大平面図である。
【図８】撮像素子の一例の垂直ＣＣＤの構造を示す略線図である。
【図９】撮像素子の一例の垂直１列のバス配線を示す略線図である。
【図１０】撮像素子の一例に使用される色フィルタの配列の一例および他の例を示す略線図である。
【図１１】撮像素子の一例を駆動するための駆動パルスのタイミングチャートである。
【図１２】従来のマルチプレクサのブロック図である。
【図１３】従来のマルチプレクサの動作のを示すタイミングチャートである。
【符号の説明】
２・・・フォトセンサ、３・・・垂直ＣＣＤ、４・・・水平ＣＣＤ、６・・・垂直ＣＣＤのチャンネル、１０１・・・撮像素子、１０４・・・カメラ信号処理回路、１０５・・・マイクロコンピュータ、１０７・・・タイミングコントローラ、１３０・・・データスイッチャ、１３５・・・液晶ディスプレイ、１４１・・・ＤＲＡＭ、１４２・・・エンコーダ／デコーダ、１４３・・・フラッシュメモリ
【図１】
0003849230.tif 000002
【図２】
0003849230.tif 000003
【図３】
0003849230.tif 000004
【図４】
0003849230.tif 000005
【図５】
0003849230.tif 000006
【図６】
0003849230.tif 000007
【図７】
0003849230.tif 000008
【図８】
0003849230.tif 000009
【図９】
0003849230.tif 000010
【図１０】
0003849230.tif 000011
【図１１】
0003849230.tif 000012
【図１２】
0003849230.tif 000013
【図１３】
0003849230.tif 000014