(57)【特許請求の範囲】
【請求項１】
２次元アレイ状に配置された複数の画素の配列を有する画素回路と、
この画素回路から出力される画素信号を列または行単位でＡ／Ｄ変換するＡ／Ｄ変換回路と、
このＡ／Ｄ変換回路が出力する画素データを圧縮して並列に出力する圧縮回路とを備え、
前記圧縮回路は、前記Ａ／Ｄ変換回路が出力する画像データを２次元離散コサイン変換（ＤＣＴ）する２次元離散コサイン変換回路と、
この２次元離散コサイン変換回路により変換された画像データに複数出力線可変長符号化を行う符号化回路とを備えた高速撮像装置。
【請求項２】
請求項１に記載の高速撮像装置において、
前記画素回路は、ＣＭＯＳ（相補形ＭＯＳ）によるＬＳＩ（大規模集積回路）を用いて形成されたＣＭＯＳイメージセンサである高速撮像装置。
【請求項３】
請求項２に記載の高速撮像装置において、
前記画素回路、前記Ａ／Ｄ変換回路、及び前記圧縮回路は、当該画素回路の列方向の画素から出力される画素信号を列並列に処理するように、並列に配置した高速撮像装置。
【請求項４】
請求項２又は３に記載の高速撮像装置において、
前記ＣＭＯＳのＬＳＩにより前記Ａ／Ｄ変換回路及び前記圧縮回路を前記画素回路に組み込み、当該画素回路にオンチップ化させた構造である高速撮像装置。
【請求項５】
請求項４に記載の高速撮像装置において、
前記オンチップ化の構造は、アナログ信号を扱う前記画素回路をチップ化した一方のチップと、デジタル信号を扱う前記Ａ／Ｄ変換回路及び前記圧縮回路をチップ化させたもう一方のチップとから成る２チップの構造である高速撮像装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の高速撮像装置において、
前記２次元離散コサイン変換回路は、ＤＡ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ａｒｉｔｈｍｅｔｉｃ）法を用いて４×４ピクセルを１ブロックとしてブロック毎に離散コサイン変換する回路である高速撮像装置。
【請求項７】
請求項６に記載の高速撮像装置において、
前記２次元離散コサイン変換回路は、前記Ａ／Ｄ変換回路よりデジタル量に変換された画素信号を１次元の離散コサイン変換に付す第１の１次元ＤＣＴ演算器と、この第１の１次元ＤＣＴ演算器の演算結果を転置行列演算に付す転置行列回路と、この転置行列回路の演算結果を再度、１次元の離散コサイン変換に付す第２の１次元ＤＣＴ演算器とを備える高速撮像装置。
【請求項８】
請求項６に記載の高速撮像装置において、
前記符号化回路は、前記２次元離散コサイン変換回路により処理されたデータを係数の種類毎に符号化する回路である高速撮像装置。
【請求項９】
請求項８に記載の高速撮像装置において、
前記符号化回路は、前記２次元離散コサイン変換回路により処理された各ブロックのデータをＤＣ係数とＡＣ係数とに分ける回路と、前記各ブロックのＤＣ係数とその隣接するブロックのＤＣ係数との間で差分値を演算し、この差分値を１次元ハフマン符号化テーブルに基づいて符合化する回路と、
相互に隣接する所定複数のブロックの前記ＡＣ係数をジグザグスキャン走査を行って１次元データに変換し、その１次元データの有効係数と連続する無効係数の数（ゼロラン長）を演算し、その有効係数とゼロラン長係数を共に１次元ハフマン符号化テーブルに基づいて各別に符号化する回路とを有する高速撮像装置。
【請求項１０】
請求項９に記載の高速撮像装置において、
前記圧縮回路は、符号化したＤＣ係数、ＡＣ係数、及びゼロラン長係数を各別にＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ  Ｆｉｒｓｔ−Ｏｕｔ）バッファで出力レートを制御しながら出力する回路を有する高速撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体イメージングセンサを用いて画像を高速に撮影することができる高速撮像装置に係り、特に、固体イメージングセンサとしてＣＭＯＳイメージセンサを用いて高速に撮影した画像信号を圧縮する機能を備え、かつ、画像信号の並列出力に適した高速撮像装置に関する。
【０００２】
【従来の技術】
従来、撮像用カメラとして、固体イメージセンサとしてのＣＭＯＳイメージセンサを設けたものが、例えば「Ａ．Ｋｒｙｍｓｋ  ｉ．Ｄ．Ｖ．Ｂｌｅｒｋｏｎ，Ａ．Ａｎｄｅｒｓｏｎ，ｅｔ．ａｌ．，“Ａ  ｈｉｇｈ−ｓｐｅｅｄ  ５００ｆｒａｍｅ／ｓ  １０２４×１０２４  ＣＭＯＳ  ｉｍａｇｅ  ｓｅｎｓｏｒ”Ｄｉｇ．  Ｔｅｃｈ．  Ｐａｐｅｒｓ  Ｓｙｍｐ．ｏｎ  ＶＬＳＩ  Ｃｉｒｃｕｉｔｓ，Ｎｏ．１４−３，Ｊｕｎｅ  １９９９」で知られている。これにより、ＣＭＯＳイメージセンサの特徴を活かした高速撮像用カメラが期待されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、この文献記載の高速撮像用カメラは、Ａ／Ｄ変換器に逐次比較形の変換器を用いており、１つのデータの８ビットＡ／Ｄ変換に１０クロック程度を必要として、高速撮像には限界があった。また、撮像速度の高速化に伴い、デジタル出力のデータ量も多くなるので、限られた画像メモリの元で、できる限り多くの高速画像を記録できるようにする必要があるが、従来の文献記載の高速撮像用カメラは画像圧縮機能を備えていないものであった。
【０００４】
そこで、かかる不都合を解消できる高速撮像装置は、以下のような構成を採ることができる。
【０００５】
すなわち、この高速撮像装置は、ｍ行×ｎ列のアレイに配置された複数個の画素から成る画素回路と、この画素回路からの画素信号を列または行単位でＡ／Ｄ変換するＡ／Ｄ変換手段と、この変換手段の出力を並列に画像圧縮する画像圧縮手段と、この画像圧縮手段のデジタル出力をパラレルに出力する出力手段とを備える、というものである。
【０００６】
この画像圧縮手段を備えた高速撮像装置では、画像回路としてのイメージセンサの出力側にＡ／Ｄ変換手段を成す回路が接続され、この回路の出力側に画像圧縮手段を成す回路が接続される。しかし、この高速撮像装置に従来の画像圧縮回路をそのまま利用する場合、圧縮率を高める為、二次元ハフマン符号化テーブルを用いる必要があり、回路規模が大きくなるので、改善の余地があった。また、画像圧縮後の各デジタル信号成分の出力線数が固定という理由から圧縮率も依然として低く、かかる点においても改善の余地があった。
【０００７】
本発明は、このような現状を打破するためになされたもので、実装面積が著しく小さくて済み、高速処理が可能で、かつ高い圧縮率を得ることができる高速撮像装置を提供することを、その目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る高速撮像装置は、ＣＭＯＳ  ＬＳＩの特徴であるシステム回路のオンチップ化できる点を用いて、イメージセンサに画像圧縮回路を組み込むことで出力データ量を低減させる。画像圧縮は、４Ｘ４点の２次元離散コサイン変換（ＤＣＴ）と複数線路用エントロピー符号化方式という高速画像の圧縮に適した方法で行う。これにより、極めて小面積で実装でき並列処理に適した方式であり、かつ高圧縮に形成できる。
【０００９】
本発明に係る高速撮像装置の具体的な構成は、２次元アレイ状に配置された複数の画素の配列を有する画素回路と、この画素回路から出力される画素信号を列または行単位でＡ／Ｄ変換するＡ／Ｄ変換回路と、このＡ／Ｄ変換回路が出力する画素データを圧縮して並列に出力する圧縮回路とを備え、前記圧縮回路は、前記Ａ／Ｄ変換回路が出力する画像データを２次元離散コサイン変換（ＤＣＴ）する２次元離散コサイン変換回路と、この２次元離散コサイン変換回路により変換された画像データに複数出力線可変長符号化を行う符号化回路とを備えたことを基本とする。
【００１０】
好適には、前記画素回路は、ＣＭＯＳ（相補形ＭＯＳ）によるＬＳＩ（大規模集積回路）を用いて形成されたＣＭＯＳイメージセンサである。このとき、例えば、前記画素回路、前記Ａ／Ｄ変換回路、及び前記圧縮回路は、当該画素回路の列方向の画素から出力される画素信号を列並列に処理するように、並列に配置される。好ましくは、前記ＣＭＯＳのＬＳＩにより前記Ａ／Ｄ変換回路及び前記圧縮回路を前記画素回路に組み込み、当該画素回路にオンチップ化させる。このオンチップ化の構造は、一例として、アナログ信号を扱う前記画素回路をチップ化した一方のチップと、デジタル信号を扱う前記Ａ／Ｄ変換回路及び前記圧縮回路をチップ化させたもう一方のチップとから成る２チップの構造である。
【００１１】
上述した各種の構成に係る高速撮像装置において、前記２次元離散コサイン変換回路は、ＤＡ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ａｒｉｔｈｍｅｔｉｃ）法を用いて４×４ピクセルを１ブロックとしてブロック毎に離散コサイン変換する回路とすることが望ましい。この２次元離散コサイン変換回路は、例えば、前記Ａ／Ｄ変換回路よりデジタル量に変換された画素信号を１次元の離散コサイン変換に付す第１の１次元ＤＣＴ演算器と、この第１の１次元ＤＣＴ演算器の演算結果を転置行列演算に付す転置行列回路と、この転置行列回路の演算結果を再度、１次元の離散コサイン変換に付す第２の１次元ＤＣＴ演算器とを備える。
【００１２】
また、前記符号化回路は、前記２次元離散コサイン変換回路により処理されたデータを係数の種類毎に符号化する回路に構成することが望ましい。一例として、この符号化回路は、前記２次元離散コサイン変換回路により処理された各ブロックのデータをＤＣ係数とＡＣ係数とに分ける回路と、前記各ブロックのＤＣ係数とその隣接するブロックのＤＣ係数との間で差分値を演算し、この差分値を１次元ハフマン符号化テーブルに基づいて符合化する回路と、相互に隣接する所定複数のブロックの前記ＡＣ係数をジグザグスキャン走査を行って１次元データに変換し、その１次元データの有効係数と連続する無効係数の数（ゼロラン長）を演算し、その有効係数とゼロラン長係数を共に１次元ハフマン符号化テーブルに基づいて各別に符号化する回路とを有する。
【００１３】
さらに、この符号化回路は、符号化したＤＣ係数、ＡＣ係数、及びゼロラン長係数を各別にＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ  Ｆｉｒｓｔ−Ｏｕｔ）バッファで出力レートを制御しながら出力する回路を有することが望ましい。
【００１４】
【発明の実施の形態】
以下、本発明に係る実施の形態を、添付図面を参照して説明する。
【００１５】
図１に、本実施形態に係る高速撮像装置としてのＣＭＯＳイメージセンサの概要を示す。同図に示すように、このＣＭＯＳイメージセンサは、画素回路１０、Ａ／Ｄ変換回路１１、及び画像圧縮回路１２を備える。
【００１６】
この画素回路１０、Ａ／Ｄ変換回路１１、及び画像圧縮回路１２は、それぞれの回路が並列に配置され、画素回路１０から読み出された画素信号を列並列に処理させるようになっている。また、センサ部には高感度で高速撮像に必要不可欠な電子シャッター機能とＣＤＳ（相関二重サンプリング）を設けている。
【００１７】
このＣＭＯＳイメージセンサは、本実施形態ではＣＭＯＳを用いたＬＳＩで構成される。このため、その他のＡ／Ｄ変換回路１１及び画像圧縮回路１２もＣＭＯＳ  ＬＳＩの特徴であるシステム回路でオンチップ化して構成されている。しかし、全ての回路を１チップで集積化するには、チップ面積の関係上、難しい。そこで、アナログ信号を扱う画素回路１０をオンチップ化させたアナログチップＣ１と、デジタル回路を扱うＡ／Ｄ変換回路１１及び画像圧縮回路１２とをオンチップ化させたデジタルチップＣ２との２チップのアーキテクチャを採用している。この２チップの構成にすると、アナログ回路において、デジタル回路からの雑音の影響を抑えることもできる。
【００１８】
画素回路１０は、サイズが５１２Ｘ５１２の複数の画素で形成された２次元アレイ状の画素領域１０ａを有し、ＣＭＯＳ  ＡＰＳ（Ａｃｔｉｖｅ  ＰｉｘｅｌＳｅｎｓｏｒ）に基づき、行単位で一斉読み出し可能な回路に構成されている。この画素回路１０から行単位で読み出された画素信号は、差動アンプ１０ｂで差動信号に変換され、かつ増幅された後、バッファ１０ｃを介して差動で出力される。差動アンプ１０ｂは４列毎、バッファは８列毎に配置され、出力ピンは１２８ピンである。
【００１９】
アナログチップＣ１を成す画素回路１０から出力された列毎の画素信号は、デジタルチップＣ２のＡ／Ｄ変換回路１１にそれぞれ送られる。
【００２０】
このＡ／Ｄ変換回路１１は、サンプル／ホールド増幅器１１ａ及びパイプラインＡ／Ｄ変換器１１ｂを有し、これによりパイプライン方式のＡ／Ｄ変換が行われる。差動型１．５ｂｉｔ／ｓｔａｇｅパイプラインＡ／Ｄ変換器は高速、低消費電力、かつ実装面積が小さいという特徴があるので、本実施形態では、このＡ／Ｄ変換器を、８ｂｉｔ、１チャネル／４列で、１２８個配置することで、Ａ／Ｄ変換回路１１を構成している。
【００２１】
画像圧縮回路１２は、２次元離散コサイン変換（ＤＣＴ）を行う２次元ＤＣＴ回路１２ａと、この変換結果に対して可変長で符合化処理を行う符合化回路１２ｂと、符合化した信号を出力する出力回路１２ｃとを備える。
【００２２】
列並列での処理の場合、ＤＡ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ａｒｉｔｈｍｅｔｉｃ）法を用いた４ｘ４画素（これを１ブロックとする）の２次元ＤＣＴ回路を構成すると、極めて小さい回路で実現できるので、本実施形態の２次元ＤＣＴ回路１２ａには、このブロック毎のＤＣＴ回路を１２８個並列で配置している。これにより、５１２の画素列に対して列並列の処理が可能になっている。
【００２３】
この２次元ＤＣＴ回路１２ａによるＤＣＴ演算は、図２に示すように、第１の１次元ＤＣＴ演算器２１で一度、ＤＣＴ演算を行い、その結果を転置ＲＡＭ部２２で転置し、さらに、その転置結果をもう一度、第２の１次元ＤＣＴ演算器２３でＤＣＴ演算することで達成される。このＤＣＴ演算の構成を用いて、ハードウェアの規模と圧縮率を考慮した結果、４ｘ４画素のＤＣＴ回路が最適であることが判明している。この点から、上述したように、４ｘ４画素を１ブロックとして、このブロック単位でＤＣＴ演算を行うことが好都合である。
【００２４】
１次元ＤＣＴ演算器２１，２２は、列並列処理を行うことで、その処理が高速化される。また、ＤＣＴアルゴリズムの規則性がある。つまり、ＤＣＴ演算の直交基底であるｃｏｓ係数には周期性があるので、この周期性に着目することで、図３のような簡単な回路で１次元ＤＣＴ演算器２１、２２を構成することができる。
【００２５】
またＤＣＴ演算には、固定係数の積和演算に対して効率的な演算方法である、ＤＡ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ａｒｉｔｈｍｅｔｉｃ）法が適用されている。つまり、入力データｃｏｓ係数との積和演算は、通常のワード単位ではなく、ビット列単位で処理される。
【００２６】
このビット列単位の積和演算を行うには、あらかじめ係数ＲＯＭに、入力データとｃｏｓ係数との乗算結果を記憶させておく。入力データの各ビット列状態をアドレスとしたとき、このアドレスに対応する結果を読み出し、その結果をＭＳＢからＬＳＢまで累算することでＤＣＴ係数が求められる。さらに、２ビットずつ演算することにより、積和演算回数が半分になる。
【００２７】
この２次元ＤＣＴ演算により、画素信号のＤＣ成分を反映させたＤＣ係数及びＡＣ成分を反映させたＡＣ係数が演算される。この演算は、３２クロックで１ブロック、つまり２クロック／画素のレートで２次元ＤＣＴ演算を行うことができ、極めて高速に演算速度が得られる。この演算結果であるＤＣ係数及びＡＣ係数のデータは、次段の符号化回路１２ｂに並列に送られる。
【００２８】
なお、この２次元ＤＣＴ回路１２ａは、乗算器を使わずに、加算器のみでＤＣＴ演算器が構成されるので、回路もその分、簡素化及び小規模化される。
【００２９】
符号化回路１２ｂは、以下に詳述するように複数出力線可変長符号化方式を採用しており、圧縮率を上げるために、図４に示すように相互に隣接する４ブロック（４ｘ１６画素）をまとめて符号化するように構成されている。
【００３０】
この符号化回路１２ｂにおいて、ＤＣＴ処理されたデータはＤＣ係数とＡＣ係数に分けられ、それぞれ異なる符号化手法で符号化される。
【００３１】
ＤＣ係数については、隣接するＤＣ係数（ＤＣ）との差分値（ΔＤＣ）を、１次元ハフマン符号化テーブルを用いて符号化される。
【００３２】
一方、ＡＣ係数は、図４に模式的に示すように、４ブロックを効率よくジグザグスキャン操作することで１次元データに変換され、その有効整数と連続する無効係数の数（ゼロラン長）とに分けられる。この有効整数（ＡＣ）とゼロラン長（ＺＲＬ）の各係数は、１次元ハフマン符号化テーブルを用いて、別々に符号化される。通常に用いられている画像用符号化テーブルは、ビットシリアル出力を想定しているため、各係数を識別する為の符号量が多くなるが、本実施形態では、あらかじめ各符号化データの出力ピンを特定しておくことで、データを識別する為の符号量を減らしている。つまり、有効係数とゼロラン長の係数が共に、１次元符号化テーブルを用いて符号化される。
【００３３】
この４ブロック分の画素のＤＣ係数、ＡＣ係数、及びゼロラン長係数のそれぞれが各別に符号化され、次段の出力回路１２ｃに送られる。このように符号化回路１２ｂは、エントロピー符号化であるハフマン符号化を用いて、高圧縮な符号化を行うとともに、符号化された係数をその種類毎に別々の出力ピンから出力することで、更なる高圧縮が可能となっている。
【００３４】
出力回路１２ｃは、符号化により求められたＤＣ係数、ＡＣ係数、及びゼロラン長係数の符号が各別に一次記憶するための所定数のＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ  Ｆｉｒｓｔ−Ｏｕｔ）バッファを備える。このバッファにより出力レートを係数別に制御しながら、各係数の符号が出力される。
【００３５】
具体的には、ＣＭＯＳイメージセンサの出力を複数の線で出力するようにし、ＤＣ係数、ＡＣ係数、及びゼロラン長係数のそれぞれに信号線を割り当てる。これにより、上述した如く、１次元ハフマン符号化テーブルを利用できる。また、各係数用のＦＩＦＯバッファでＤＣ係数、ＡＣ係数、及びゼロラン長係数それぞれの符号の総和が演算され、各符号毎に最適に出力ピンが割り当てられる。これにより、外部メモリに対して効率良く符号化によって求められた各係数（成分）の符号が出力される。
【００３６】
この出力ピンの割当ての例を図５（ａ）〜（ｃ）に示す。例えば、４ブロックの１次元符号化した各符号量ＤＣ、ＡＣ、ＺＲＬを同図（ａ）とする。各符号量ＤＣ、ＡＣ、ＺＲＬの総和が同図（ｂ）に示すようにそれぞれ演算される。この演算結果に基づき、同図（ｃ）に示すように、各出力ピンのデータ量がほぼ均一になるように最適配分される。
【００３７】
ここで、各係数に別々の出力ピンを割り当てることで、各係数が識別されている。なお、メモリの割当て情報は、例えばフレーム毎にヘッダに記憶させることで認識される。
【００３８】
これにより、各係数の符号の出力に割り当てる出力ピンが、各係数毎の符号データ量に応じてダイナミックに可変され、各出力線から出力される出力符号量がほぼ均等化される。このため、画像の高い圧縮率を得ることができる。
【００３９】
図６には、上述した画像圧縮回路１２を中心とする処理の動作説明図を示す。また図７には、画素回路１０の４ブロック分の画素読出しにより読み出された画素信号を列並列で処理する、Ａ／Ｄ変換回路１１及び画像圧縮回路１２のより詳細な回路ブロック図を例示する。
【００４０】
本発明者は、本発明に係る高速撮像装置により撮像された画像を評価したところ、自然画像において非常に高い圧縮率及びＰＳＮＲ（圧縮後のＳＮＲ）が得られることを確認できた。
【００４１】
なお、本発明は上述した実施形態の構成及びその変形形態の構成に限定されるものではなく、当業者であれば、特許請求の範囲に記載した本発明の要旨を逸脱しない範囲で種々の形態に変形して実施可能である。
【００４２】
【発明の効果】
以上説明したように、本発明に係る高速撮像装置によれば、アレイ状に配置された複数の画素の配列を有する画素回路から出力される画素信号を列または行単位でＡ／Ｄ変換するＡ／Ｄ変換回路と、このＡ／Ｄ変換回路が出力する画素データを圧縮して並列に出力する圧縮回路とを備え、圧縮回路は、Ａ／Ｄ変換回路が出力する画像データを２次元離散コサイン変換（ＤＣＴ）する２次元離散コサイン変換回路と、この２次元離散コサイン変換回路により変換された画像データに複数出力線可変長符号化を行う符号化回路とを備えたので、実装面積が著しく小さくて済み、高速処理が可能で、かつ高い圧縮率を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る高速撮像装置としてのＣＭＯＳイメージングセンサの概略構成を示すブロック図。
【図２】実施形態で用いる２次元ＤＣＴ回路を示すブロック図。
【図３】実施形態で用いる２次元ＤＣＴ回路の中の、１次元ＤＣＴ回路の構成図。
【図４】実施形態で用いる符号化回路における係数毎のスキャン操作を説明する図。
【図５】実施形態で用いる符号化回路における係数毎の出力ピン（出力線）の割当て動作の最適化を説明する図。
【図６】実施形態に係る画像圧縮回路のスキームの説明図。
【図７】実施形態に係る、画素回路の４ブロック分の画素から読み出された画素信号を列並列で処理するためのＡ／Ｄ変換回路及び画像圧縮回路の詳細なブロック図。
【符号の説明】
１０  画素回路
１１  Ａ／Ｄ変換回路
１２  画像圧縮回路
１２ａ  ２次元ＤＣＴ回路
１２ｂ  符号化回路
１２ｃ  出力回路
【図１】
0004087615.tif 000002
【図２】
0004087615.tif 000003
【図３】
0004087615.tif 000004
【図４】
0004087615.tif 000005
【図５】
0004087615.tif 000006
【図６】
0004087615.tif 000007
【図７】
0004087615.tif 000008