(57)【特許請求の範囲】
【請求項１】
ベイヤ配列の色フィルタを配した光電変換素子からなる画素を２次元状に配列してなる画素群の各画素から出力される画素データを転送して出力させる受光／転送部を備えた固体撮像素子の画素データ転送方法であって、
前記受光／転送部から垂直方向に画素データを順次転送して出力し、
前記受光／転送部から転送出力された画素データを、各々が複数の段の転送ユニットからなり、複数ライン配置された水平方向データ転送部の各ラインに順次転送し、
前記水平方向データ転送部の各ラインに転送された画素データを水平方向に順次転送して出力し、
前記水平方向データ転送部から転送出力された画素データを、前記水平方向データ転送部の段数の１／４の段数の転送ユニットからなるデータ転送部に入力するようになされ、 前記水平方向データ転送部の各ラインに転送された画素データのうち、同色の画素配列のデータを転送するラインの水平方向データ転送部から転送出力された同色の画素データを、前記水平方向データ転送部の段数の１／４の段数の転送ユニットからなるデータ転送部の同じ段の転送ユニットに転送して加算する
ことを特徴とする固体撮像素子の画素データ転送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は固体撮像素子の画素データ転送方法に関し、特に受光／転送部を特別な構成とすることなく画素間引き出力を実現できるようにした固体撮像素子の画素データ転送方法に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤなどの固体撮像素子を用いたディジタルカメラ等の電子的撮像装置における画像処理の手順としては、まずＣＣＤ撮像素子から出力された撮像信号はプリプロセス処理がなされたのち、フレームメモリに一旦記憶される。次いで、フレームメモリから画像データを読み出し、複数のイメージプロセス処理を順次行い、最後にＪＰＥＧ処理を行って、メモリカード等の記録媒体に記録するという処理がなされている。
【０００３】
ところで、イメージプロセス処理の最終段として行われるＪＰＥＧ処理は、次のようにして行われている。すなわち、図５は、一画面の画像データの左上部を切り取って示したものであるが、ＪＰＥＧ処理部ではＭＣＵ（Minimum Coded Unit）と呼ばれるブロック単位で圧縮、伸長等の処理が行われる。このＭＣＵの大きさとしては、ＪＰＥＧ処理の場合は通常８×８のブロック、あるいは８の整数倍のブロックが用いられる。そして、各ＭＣＵブロックにおいては矢印で示すように水平方向に順次データを読み出してＪＰＥＧ処理を行うようになっている。このようにＪＰＥＧ処理部ではブロック単位で処理が行われるので、このような処理に適したデータの流れを形成してやることが望ましい。
【０００４】
そこで、一旦フレームメモリに書き込んだ画像データを前段のイメージプロセス回路部へ入力するため、図６に示すような読み出し方を行う。すなわち、図６はフレームメモリに記憶されている１画面の画像データを表しているものであるが、本来画像データは行（COL)方向にスイープさせて書き込まれているが、これを列（ROW)方向に、ある一定の長さ（基本単位）101 のデータだけを、繰り返し行方向へ読み出して行き、イメージプロセス回路部に画像データを入力する方式をとる。このような読み出し入力方式をとるのは、このような順序で読み出し入力された画像データを処理して行くと、最終段のイメージプロセス回路からＭＣＵブロックに相当する画像データが出てくるように処理することができるからである。そして、上記のように、図６のようなデータ読み出し順序で読み出しを行うことで空間的な画像処理のブロックを直結して処理することが可能となる。
【０００５】
このように列方向にある一定長さのデータを繰り返し行方向へ読み出して、第１の行方向読み出し入力111 を行い、次いで第２の行方向読み出し入力112 を行うわけであるが、この際、次に述べるように第１の行方向読み出し入力111 で読み出したデータを一部重複して読み出し入力する読み出し方を行う。その重複部分を102 で示す。すなわち、イメージプロセス回路で空間的な画像処理を実行して行く場合、入力されたデータと出力されるデータとの間においてデータ数に不一致が生じる。例えば空間的フィルタを処理をする場合、出力したい処理データを得るためには、処理すべきデータの周囲の何点かのデータを用いて算出処理する必要があり、したがって出力データの他に周りの処理計算に要する余分のデータが必要となる。複数段のイメージプロセス処理を行う場合は、上記のような処理が連続的に行われるので、順次処理が行われると段々と入力されたデータより小さな領域のデータが出力されて行くことになる。
【０００６】
この態様の一例を図７に示す。この図示の態様は、ＪＰＥＧ処理部への入力ブロックＭＣＵを出力する最終段のイメージプロセス回路による画像処理を含め、３段の各イメージプロセス回路の出力を示す図である。つまり、最終的にＪＰＥＧ処理部へのＭＣＵブロックに必要なデータだけ残るように前段の各イメージプロセス回路の入力データ幅を設定してやることになる。なお、図７では、水平方向に４個のＭＣＵブロックを出力している場合の態様を示しており、121 はフレームメモリの出力、122-１は初段イメージプロセス回路の出力、122-２は中間イメージプロセス回路の出力、122-３は最終段イメージプロセス回路の出力を示している。
【０００７】
このようにイメージプロセス回路で空間的な画像処理をする場合、処理上必要とされる周辺のデータ（のり代）を、出力されるべきデータに加えて入力させる必要があるため、図６に示した第１の行方向の処理データの読み出し入力111 後の、次の第２の行方向の読み出し入力112 は、処理上必要とされる周辺データ分、すなわち列方向のある一定長さ101 のデータのうちの両端の処理上必要とされる出力データに付加されているデータ分を、第１の行方向入力と第２の行方向入力の空間的な画像処理を施して出力されるデータが隣接するように、重複させて読み出す必要がある。なお、行方向における処理上必要とされる周辺データは、各行方向読み出し入力の両端に付加されるだけである。
【０００８】
一方、ＣＣＤ撮像素子においては、画素数が多くなると間引き読み出しを行って高速読み出しができるようにさせる場合がある。かかる間引き読み出しは、例えば図８に示すように、画素列131 間に配置されている各垂直転送路132 に各画素133 から画素データを転送する際、１画素の間引き読み出しの場合、２画素分の画素データが加算されるように垂直転送部へ転送される。このように構成することにより、この図示例では８画素分のデータを４画素分のデータとして、すなわち間引いて２倍速で転送できるようにしている。
【０００９】
【発明が解決しようとする課題】
ところで、従来の固体撮像素子において、間引き読み出しを行う場合には、上記のように垂直転送路に画素データを加算させる構造部を多数形成する必要があり、複雑な構成となってしまうという問題点がある。
【００１０】
本発明は、従来の固体撮像素子における上記問題点を解消するためになされたもので、請求項１に係る発明は、受光／転送部に特別な加算構造部を設けることなく簡単な手法でカラー画素データの画素間引き出力が得られるようにした固体撮像素子の画素データ転送方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、ベイヤ配列の色フィルタを配した光電変換素子からなる画素を２次元状に配列してなる画素群の各画素から出力される画素データを転送して出力させる受光／転送部を備えた固体撮像素子の画素データ転送方法であって、前記受光／転送部から垂直方向に画素データを順次転送して出力し、前記受光／転送部から転送出力された画素データを、各々が複数の段の転送ユニットからなり、複数ライン配置された水平方向データ転送部の各ラインに順次転送し、前記水平方向データ転送部の各ラインに転送された画素データを水平方向に順次転送して出力し、前記水平方向データ転送部から転送出力された画素データを、前記水平方向データ転送部の段数の１／４の段数の転送ユニットからなるデータ転送部に入力するようになされ、前記水平方向データ転送部の各ラインに転送された画素データのうち、同色の画素配列のデータを転送するラインの水平方向データ転送部から転送出力された同色の画素データを、前記水平方向データ転送部の段数の１／４の段数の転送ユニットからなるデータ転送部の同じ段の転送ユニットに転送して加算することを特徴とするものである。
【００１２】
このように構成された固体撮像素子の画素データ転送方法においては、受光／転送部に多数の特別な加算構造部を設けることなく、簡単な手法でカラー画素データの画素間引き出力を得ることができる。
【００１３】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係る固体撮像素子の画素データ転送方法の第１の実施の形態を実施するためのＣＣＤイメージセンサの概略構成を示す図である。図１において、１は光電変換素子からなる画素を２次元状に配列し、垂直方向に配列された各画素群に沿ってそれぞれ垂直転送路を配置してなる受光／転送部、２は受光／転送部１の各垂直転送路から転送出力される画素データが順次転送入力される、並列にＮライン配置された水平方向データ転送部で、受光／転送部１の水平方向画素数であるＭ画素分の画素データを転送入力できるように構成されている。３はＮラインの水平方向データ転送部２から転送出力される画素データを入力し、順次転送して出力する垂直方向データ転送部である。
【００１４】
水平方向データ転送部２の並列ライン数は、空間的な画像処理に必要な列方向の一定長さ（基本単位）のデータを一括して転送できるライン数となっている。この列方向のある一定長さのデータのうち、画像処理上必要とされる付加データ分（のり代）は重複させて出力させる必要があるので、本実施の形態では、重複出力させるデータ数に相当するライン数の水平方向データ転送部、この図示例では３ラインの水平方向データ転送部は、最終段から垂直方向データ転送部３へ画素データを転送する際、同一画素データを当該水平方向データ転送部の初段にも転送して入力させ、水平方向データ転送部の画素データを垂直方向データ転送部３へ転送完了後も、同一画素データを当該水平方向データ転送部に保持させるように構成されている。
【００１５】
次に、このように構成されているＣＣＤイメージセンサの動作について、図２に示す受光／転送部１、水平方向データ転送部２、垂直方向データ転送部３をそれぞれ駆動制御する第１，第２，第３の転送クロックのタイミング図を参照しながら説明する。まず、垂直方向データ転送部３には水平方向データ転送部２から画素データが転送入力されており、またＮラインの水平方向データ転送部２には受光／転送部１より画素データが転送入力されているものとする。この状態において、第３の転送クロックにより垂直方向データ転送部３が駆動され、Ｎライン分の画素データが転送出力される。次いで、第２の転送クロックによりＮラインの水平方向データ転送部２が駆動され、それぞれＭ画素分の画素データが順次垂直方向データ転送部３へ転送入力され、そして順次垂直方向データ転送部３より転送出力される。Ｎラインの水平方向データ転送部２が第２の転送クロックで駆動される際、その一部、図示例では上部より３ラインの水平方向データ転送部では、最終段から垂直方向データ転送部３へ画素データを転送入力する際、同一画素データを当該水平方向データ転送部の初段へも転送して入力するように構成されているので、水平方向データ転送部２において、第２の転送クロックでＭ画素分のデータの転送が終了すると、上記３ラインには転送前と同一の画素データが再度転送入力された状態となっている。つまり画素データがコピーされ重複転送可能な状態となっている。
【００１６】
この状態において、第１の転送クロックにより受光／転送部１の垂直転送路に対して、〔Ｎライン−重複転送ライン数（この図示例では３）〕分の転送駆動を行って、〔Ｎ−３〕ライン分の画素データを、Ｎラインの水平方向データ転送部２へ順次転送入力する。これにより、上部の重複転送ライン（３ライン）に保持されていた画素データは、下部の３ラインへそれぞれ転送される。したがって、次回の第２の転送クロックの駆動によるＮラインの水平方向データ転送部２の転送動作により、前回の第２の転送クロックで転送された画素データと一部重複したデータが転送出力されることになる。
【００１７】
この際、受光／転送部１を駆動する第１の転送クロック数を制御することにより、Ｎラインの水平方向データ転送部２における重複転送ライン数を設定することができる。なお、本実施の形態ではＣＣＤイメージセンサに本発明を適用したものについて説明を行ったが、本発明はＭＯＳイメージセンサなどにも適用することができる。また、ＸＹアドレスで画素を指定して読み出すよう構成された固体撮像素子に適用して、同様の順でデータを読み出すように構成すれば同様の効果が得られる。
【００１８】
次に、第２の実施の形態を、該実施の形態を実施するためのＣＣＤイメージセンサの構成を示す図３の概略構成図に基づいて説明する。図３において、11は図１に示したＣＣＤイメージセンサにおける受光／転送部と同様に、光電変換素子からなる画素を２次元状に配列し、垂直方向に配列された各画素群に沿ってそれぞれ垂直転送路を配置してなる受光／転送部で、画素配列はベイヤ配列となっている。12は受光／転送部11の垂直方向配列の画素数Ｌと同数のライン数の水平方向データ転送部２で、各水平方向データ転送部は受光／転送部11の水平方向配列の画素数Ｍと同数の段数のユニットで構成されており、受光／転送部11を構成している垂直転送路を介して転送出力される画素データがＬラインの水平方向データ転送部に順次転送入力されるようになっている。13はＬラインの水平方向データ転送部12のライン数Ｌの１／４の段数のユニットからなる垂直方向データ転送部である。そして、Ｌラインの水平方向データ転送部12の同色（Ｒ，Ｇ）の画素データを転送する第１及び第３の水平方向データ転送部12−１，12−３から転送出力される画素データを加算するように初段のユニット13−１に共通に入力されるように構成され、また同じく同色（Ｇ，Ｂ）の画素データを転送する第６及び第８の水平方向データ転送部12−６，12−８から転送出力される画素データを加算するように２段目のユニット13−２に共通に入力されるように構成され、以下同様にして２ラインの同色の画素データが加算されるようにして垂直方向データ転送部13へ入力されている。
【００１９】
このように構成されている第２の実施の形態においては、受光／転送部11からＬラインの水平方向データ転送部12に順次転送された画素データは、垂直方向データ転送部13に転送入力される際に、同色の２画素の画素データが加算され、したがって該垂直方向データ転送部13において、２画素加算されて１画素間引かれた状態で転送出力されることになる。これにより、図８に示した従来例と同様な間引き転送動作が、受光／転送部に多数の加算処理構造を設けることなく、簡単な手法で得られる。
【００２０】
また、上記実施の形態において、垂直方向データ転送部13の各ユニットに対して、水平方向データ転送部から２画素分の画素データを加算して入力させず、一方の水平方向データ転送部からの画素データのみを入力するような手法とすることもできる。この場合は、加算させず単純な間引き動作となる。
【００２１】
また、上記実施の形態においては、同色の２画素分の画素データを加算するようにしたものを示したが、同色の３画素以上の画素データを加算するような手法とすることもでき、それに対応した間引き動作が実現できる。
【００２２】
次に、第３の実施の形態について説明する。図４は第３の実施の形態を実施するためのＣＣＤイメージセンサを示す概略構成図である。このＣＣＤイメージセンサは、図３に示したＣＣＤイメージセンサにおけるＬラインの水平方向データ転送部12を、それぞれ受光／転送部11の水平方向の画素数Ｍの１／４の段数のユニットで構成し、受光／転送部11から水平方向データ転送部12へ転送入力する際にも、画素データを加算して間引き動作を行わせるようにしたものである。
【００２３】
すなわち、受光／転送部11の第１及び第３列の同色（Ｒ，Ｇ）の画素データを水平方向データ転送部12の第１のユニットへ共通に入力して加算し、同様に受光／転送部11の第６及び第８列の同色（Ｇ，Ｂ）の画素データを水平方向データ転送部の第２のユニットへ共通に入力して加算し、以下同様にして２列の同色の画素データを加算するように水平方向データ転送部12へ転送入力する。
【００２４】
これにより、簡単な手法で垂直方向ばかりでなく水平方向の画素間引きを実現できる。この実施の形態においても、それぞれ加算数を３画素以上の画素データとすることができ、それに対応した画素間引き態様が実現できる。
【００２５】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、受光／転送部に多数の特別な加算構造部を設けることなく簡単な手法でカラー画素データの画素間引き出力を得ることが可能となる。
【図面の簡単な説明】
【図１】  本発明に係る固体撮像素子の画素データ転送方法の第１の実施の形態を実施するためのＣＣＤイメージセンサの構成を示す概略構成図である。
【図２】  図１に示したＣＣＤイメージセンサを駆動するための転送クロックを示すタイミングチャートである。
【図３】  本発明の第２の実施の形態を実施するためのＣＣＤイメージセンサの構成を示す概略構成図である。
【図４】  本発明の第３の実施の形態を実施するためのＣＣＤイメージセンサの構成を示す概略構成図である。
【図５】  一般的なＪＰＥＧ処理部における処理単位を説明するための説明図である。
【図６】  フレームメモリからイメージプロセス回路への画像データの読み出し入力態様を説明するための説明図である。
【図７】  複数段のイメージプロセス処理を行う場合における、各イメージプロセス回路部への入力画像データの態様を示す図である。
【図８】  従来の固体撮像素子における間引き読み出し態様を示す図である。
【符号の説明】
１  受光／転送部
２  水平方向データ転送部
３  垂直方向データ転送部
11  受光／転送部
12  水平方向データ転送部
13  垂直方向データ転送部
【図１】
0004426666.tif 000002
【図２】
0004426666.tif 000003
【図３】
0004426666.tif 000004
【図４】
0004426666.tif 000005
【図５】
0004426666.tif 000006
【図６】
0004426666.tif 000007
【図７】
0004426666.tif 000008
【図８】
0004426666.tif 000009