(57)【要約】【課題】画質を損なうことなく迅速に画像データを出力し得る固体撮像素子、撮像装置及び撮像方法を提供する。【解決手段】計測用画素と撮像画素とを含む画素アレイと、計測用画素によって取得された信号に対して圧縮処理を施す圧縮処理手段と、計測用画素によって取得された信号と撮像画素によって取得された信号とを出力する出力手段とを備え、計測用画素によって取得されるとともに圧縮処理手段により圧縮処理が施された信号を、出力手段を介して出力する第１のモードと、撮像画素によって取得されるとともに圧縮処理手段によって圧縮処理が施されていない信号を、出力手段を介して出力する第２のモードとで動作し得る。【選択図】図１
2019047487.tif 000002
【特許請求の範囲】
【請求項１】
計測用画素と撮像画素とを含む画素アレイと、
前記計測用画素によって取得された信号に対して圧縮処理を施す圧縮処理手段と、
前記計測用画素によって取得された信号と前記撮像画素によって取得された信号とを出力する出力手段とを備え、
前記計測用画素によって取得されるとともに前記圧縮処理手段により圧縮処理が施された信号を、前記出力手段を介して出力する第１のモードと、前記撮像画素によって取得されるとともに前記圧縮処理手段によって圧縮処理が施されていない信号を、前記出力手段を介して出力する第２のモードとで動作し得る
ことを特徴とする固体撮像素子。
【請求項２】
前記計測用画素は、遮光画素であることを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
前記計測用画素は、測距用画素であることを特徴とする請求項１又は２に記載の固体撮像素子。
【請求項４】
前記画素アレイは、第１の半導体チップに形成され、
前記圧縮処理手段及び前記出力手段は、前記第１の半導体チップと異なる第２の半導体チップに形成され、
前記第１の半導体チップと前記第２の半導体チップとが積層されていることを特徴とする請求項１から３のいずれか１項に記載の固体撮像素子。
【請求項５】
前記第２のモードにおいて、前記撮像画素によって取得されるとともに前記圧縮処理手段によって圧縮処理が施された信号を、前記出力手段を介して出力することを特徴とする請求項１から４のいずれか１項に記載の固体撮像素子。
【請求項６】
前記圧縮処理手段は、前記第１のモードで前記計測用画素によって取得された信号に対して第１の圧縮率の圧縮処理を施し、前記第２のモードで前記撮像画素によって取得された信号に対して第２の圧縮率の圧縮処理を施す、ことを特徴とする請求項５に記載の固体撮像素子。
【請求項７】
前記第２の圧縮率が、前記第１の圧縮率より低いことを特徴とする請求項６に記載の固体撮像素子。
【請求項８】
前記圧縮処理手段は、前記第１のモードで前記計測用画素によって取得された信号に対して、前記固体撮像素子を備える撮像装置の設定に応じて異なる圧縮率の圧縮処理を施すことを特徴とする請求項１から７のいずれか１項に記載の固体撮像素子。
【請求項９】
前記計測用画素が測距用画素であり、前記圧縮処理手段は、前記第１のモードで前記計測用画素によって取得された信号に対して、前記撮像装置の設定がマニュアルフォーカスモードである場合には、オートフォーカスモードである場合よりも高い圧縮率の圧縮処理を施すことを特徴とする請求項８に記載の固体撮像素子。
【請求項１０】
計測用画素と撮像画素とを含む画素アレイと、前記計測用画素によって取得された信号に対して圧縮処理を施す圧縮処理手段と、前記計測用画素によって取得された信号と前記撮像画素によって取得された信号とを出力する出力手段とを備え、前記計測用画素によって取得されるとともに前記圧縮処理手段により圧縮処理が施された信号を、前記出力手段を介して出力する第１のモードと、前記撮像画素によって取得されるとともに前記圧縮処理手段によって圧縮処理が施されていない信号を、前記出力手段を介して出力する第２のモードとで動作し得る固体撮像素子と、
前記圧縮処理手段によって圧縮処理が施された信号を復号する信号処理手段と
を有することを特徴とする撮像装置。
【請求項１１】
画素アレイに含まれる計測用画素によって取得されるとともに圧縮処理手段により圧縮処理が施された信号を、出力手段を介して出力するステップと、
前記画素アレイに含まれる撮像画素によって取得されるとともに前記圧縮処理手段によって圧縮処理が施されていない信号を、前記出力手段を介して出力するステップと
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置に備えられる固体撮像素子の画素数は、増加する傾向にある。画素数の増加に伴い、画像データのデータ量が増加するため、画像データの読み出し速度が低下する要因となる。そこで、固体撮像素子内部で画像データのデータ量を圧縮処理により削減することで、読み出し速度の低下を抑制することが提案されている。
一方、特許文献１には、撮像素子の外部でＲＡＷ画像データを非可逆圧縮および伸張する信号処理部を有する撮像装置において、撮像感度が高い場合に、圧縮動作および伸張動作を行わないようにして、画質の劣化を防止することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１３０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、画像データの圧縮機能を有する固体撮像素子において、データ量の低減と画質低下の抑制とを両立させる技術は提案されていなかった。
本発明の目的は、画質を損なうことなく迅速に画像データを出力し得る固体撮像素子、撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００５】
実施形態の一観点によれば、計測用画素と撮像画素とを含む画素アレイと、前記計測用画素によって取得された信号に対して圧縮処理を施す圧縮処理手段と、前記計測用画素によって取得された信号と前記撮像画素によって取得された信号とを出力する出力手段とを備え、前記計測用画素によって取得されるとともに前記圧縮処理手段により圧縮処理が施された信号を、前記出力手段を介して出力する第１のモードと、前記撮像画素によって取得されるとともに前記圧縮処理手段によって圧縮処理が施されていない信号を、前記出力手段を介して出力する第２のモードとで動作し得ることを特徴とする固体撮像素子が提供される。
【発明の効果】
【０００６】
本発明によれば、画質を損なうことなく迅速に画像データを出力し得る固体撮像素子、撮像装置及び撮像方法を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態による固体撮像素子を示すブロック図である。
【図２】第１実施形態による固体撮像素子の一部を示す回路図である。
【図３】第１実施形態による固体撮像素子を示す斜視図及び断面図である。
【図４】第１実施形態による固体撮像素子を示す断面図である。
【図５】第１実施形態による撮像装置を示すブロック図である。
【図６】第１実施形態による撮像装置の動作を示すフローチャートである。
【図７】第１実施形態による固体撮像素子の動作を示すタイムチャートである。
【図８】第１実施形態による撮像装置に備えられた信号処理部において行われる伸長処理の例を示すフローチャートである。
【図９】第２実施形態による撮像装置の動作を示すフローチャートである。
【図１０】実施形態による圧縮処理部の機能構成例を示すブロック図である。
【図１１】実施形態による圧縮処理部の動作を示すフローチャートである。
【図１２】第３実施形態による撮像装置の動作を示すフローチャートである。
【図１３】第４実施形態による撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００８】
本発明の実施の形態について図面を用いて以下に説明する。なお、本発明は以下の実施形態に限定されるものではなく、適宜変更可能である。また、以下に示す実施形態を適宜組み合わせるようにしてもよい。
【０００９】
［第１実施形態］
第１実施形態による固体撮像素子及びその制御方法並びに撮像装置について図１乃至図８を用いて説明する。
図３（ａ）は、本実施形態による固体撮像素子を示す斜視図である。図３（ａ）に示すように、本実施形態による固体撮像素子５０６は、第１の半導体チップ（第１の半導体基板）１０と第２の半導体チップ（第２の半導体基板）１１とを有している。固体撮像素子５０６は、第２の半導体チップ１１上に第１の半導体チップ１０が積層された積層型のイメージセンサである。第１の半導体チップ１０は、複数の画素（画素部）１０１が２次元マトリクス状、即ち、行列状に配列された画素アレイ３０６を有している。
【００１０】
画素アレイ３０６は、計測用画素と撮像画素とを含む。計測用画素としては、遮光部に位置する画素である遮光画素や、測距に用いられる画素である測距用画素が挙げられる。測距用画素は、その出力から例えば位相差検出方式による測距に用いる像信号を生成可能な画素であってよい。また、測距用画素は測距専用であってもよいし、撮像画素としても利用可能な画素であってもよい。
【００１１】
第１の半導体チップ１０は、第２の半導体チップ１１に対して光入射側に配置されている。即ち、第１の半導体チップ１０は、第２の半導体チップ１１に対して、光学像の受光側に位置している。第２の半導体チップ１１には、後述する列走査回路１１３ａ、１１３ｂ（図１参照）と、行走査回路１１２（図１参照）とを含む画素駆動回路（読み出し回路、読み出し部）等が形成されている。
【００１２】
また、第２の半導体チップ１１には、メモリ１１７（フレームメモリ）、圧縮処理部１１８等も形成されている。本実施形態では、画素１０１が形成される第１の半導体チップ１０と周辺回路が形成される第２の半導体チップ１１とが別個になっているため、画素１０１の製造プロセスと周辺回路の製造プロセスとが分離されている。このため、本実施形態においては、配線の細線化や高密度化等が周辺回路等において実現され、固体撮像素子５０６の高速化、小型化、高機能化等が実現される。
【００１３】
図３（ｂ）は、本実施形態による固体撮像素子を示す断面図である。図３（ｂ）に示すように、第１の半導体チップ１０と第２の半導体チップ１１とには、それぞれ電極パッド（マイクロパッド）４１３，４１９が形成されている。第１の半導体チップ１０に形成された電極パッド４１３と、第２の半導体チップ１１に形成された電極パッド４１９とは、バンプ（マイクロバンプ）３０１等によって電気的に接続されている。バンプ３０１は、例えば半田によって形成されている。
【００１４】
図１は、本実施形態による固体撮像素子を示すブロック図である。本実施形態による固体撮像素子５０６は、撮像層として機能する第１の半導体チップ１０と、回路層として機能する第２の半導体チップ１１とを有している。
【００１５】
第１の半導体チップ１０には、２次元マトリクス状に配列された複数の画素１０１を有する画素アレイ３０６が形成されている。また、各画素には原色ベイヤ配列に従って赤（Ｒ）、緑（Ｇｒ、Ｇｂ）、青（Ｂ）のいずれか１つのカラーフィルタが設けられている。
画素１０１は、水平方向（行方向）において、転送信号線１０３、リセット信号線１０４、行選択信号線１０５にそれぞれ接続されており、垂直方向（列方向）において、列信号出力線１０２ａ又は列信号出力線１０２ｂにそれぞれ接続されている。なお、列信号出力線１０２ａ、１０２ｂの接続先の画素１０１は、信号読み出し行によって異なっている。
【００１６】
第２の半導体チップ１１には、カラムＡＤＣブロック１１１が備えられている。カラムＡＤＣブロック１１１は、列信号出力線１０２ａ又は列信号出力線１０２ｂに接続されている。更に、第２の半導体チップ１１には、各行の画素を走査する行走査回路１１２と、各列の画素を走査する列走査回路１１３ａ、１１３ｂとが備えられている。
【００１７】
更に、第２の半導体チップ１１には、制御部５０９からの制御信号に基づいて、行走査回路１１２、列走査回路１１３ａ、１１３ｂ、カラムＡＤＣブロック１１１、切り換えスイッチ１１６、１２１の動作タイミングをそれぞれ制御するタイミング制御回路１１４が備えられている。タイミング制御回路１１４は計測用画素の位置と種別とを記憶した不揮発性メモリを有し、スイッチ１２１の制御などに用いる。
【００１８】
更に、第２の半導体チップ１１には、列走査回路１１３ａ、１１３ｂによって制御されるタイミングに従ってカラムＡＤＣブロック１１１からの信号を転送する水平信号出力線１１５ａ、１１５ｂが備えられている。第２の半導体チップ１１は、更に、切り換えスイッチ１１６、１２１、メモリ１１７、圧縮処理部１１８、及び、パラレルシリアル変換部（Ｐ／Ｓ変換部）１２０を備えている。固体撮像素子５０６によって取得される画素信号（画像信号、画像データ）は、信号処理部５０７に出力される。固体撮像素子５０６は、制御部５０９によって制御される。
【００１９】
本実施形態では、画素１０１が形成される第１の半導体チップ１０と周辺回路が形成される第２の半導体チップ１１とが別個になっているため、画素１０１の製造プロセスと周辺回路の製造プロセスとが分離されている。このため、本実施形態においては、配線の細線化や高密度化等が周辺回路等において実現され、固体撮像素子５０６の高速化、小型化、高機能化等が実現される。
【００２０】
切り換えスイッチ１１６は、水平信号出力線１１５ａを介して出力される画素信号と、水平信号出力線１１５ｂを介して出力される画素信号とを選択的に出力する。切り換えスイッチ１１６は、例えばタイミング制御回路１１４が制御する。
切り換えスイッチ１２１は、切り換えスイッチ１１６から出力される画像データをメモリ１１７またはＰ／Ｓ変換部１２０に出力する。切り換えスイッチ１２１は、例えばタイミング制御回路１１４が制御する。
メモリ１１７は、切り換えスイッチ１２１を介して供給される画素信号（画像データ）を一時的に記憶するフレームメモリである。
【００２１】
圧縮処理部１１８は、制御部５０９の制御に基づいて、メモリ１１７に保存された画像データに対して圧縮処理を適用する。圧縮処理は、画像データを符号化することによりデータ量を削減する処理である。本実施形態では、符号化効率（データ圧縮率）を高めるため、画像データを非可逆符号化する。圧縮処理が不要な場合には、切り換えスイッチ１２１をＰ／Ｓ変換部１２０に接続し、切り換えスイッチ１１６から供給される画像データをメモリ１１７に格納せずにＰ／Ｓ変換部１２０に直接供給する。
Ｐ／Ｓ変換部１２０は、スイッチ１２１またはメモリ１１７から入力される画像データに対してパラレル−シリアル変換を行う。Ｐ／Ｓ変換部１２０から出力されるシリアルの画像データは、固体撮像素子５０６から信号処理部５０７に送信される。
【００２２】
ここで、圧縮処理部１１８の構成および動作の一例について説明する。図１０は、圧縮処理部１１８の機能構成例を示すブロック図である。圧縮処理部１１８は、量子化部１１０１、符号化部１１０２、量子化テーブル１１０３、符号化テーブル１１０４を備える。
量子化部１１０１は、画素データの差分値を求め、量子化テーブル１１０４を参照して差分値を量子化する回路である。圧縮処理部１１８は、例えば第２の半導体チップ１１に設けられるＦＰＧＡなどを用いて実施することができる。量子化部１１０１は例えばスキャン方向に隣接する画素間の差分値を量子化することができるが、他の方法で求めた差分値を量子化してもよい。
【００２３】
量子化テーブル１１０３は、画素データの差分値を量子化する際に用いる量子化ステップを記憶したテーブルである。量子化ステップは一定値であってもよいし、差分値の大きさに応じた値であってもよい。
【００２４】
符号化テーブル１１０４は、出現頻度が高いデータほどビット数の少ない符号を割り当てるエントロピー符号化を実施するためのテーブルである。符号化部１１０２は、例えば量子化値を二値化し、ランレングス表記に変換した後、例えば符号化テーブル１１０４を参照してハフマン符号化することができる。
さらに、符号化部１１０２は、画素ごとの符号化データを出力する。符号化部１１０２は、量子化テーブルを特定する情報など、符号化データの復号に必要な情報を、符号化データのヘッダ情報に含める。信号処理部５０７は、符号化データのヘッダ情報に基づいて符号化データを復号する。
【００２５】
図１１は、圧縮処理部１１８による圧縮処理に関するフローチャートである。ここでは、メモリ１１７に符号化対象のＲＡＷ画像データが既に格納されているものとする。
圧縮処理が開始されると、Ｓ１２０２において、量子化部１１０１は、予め定められた符号化ブロックサイズのＲＡＷ画像データをメモリ１１７から取得する。なお、後述する様に、メモリ１１７には読み出された全ての画像データが格納されるとは限らない。
そして、量子化部１１０１は、取得したＲＡＷ画像データについて、隣接画素間の差分値を算出する。なお、符号化ブロックが複数行にわたる場合には、最上行の左端の画素から水平方向に進み、右端に達すると次の行の左端から水平方向に進むラスタスキャン順に画素が並んでいるものとして、隣接画素間の差分値を算出することができる。
【００２６】
続いて、Ｓ１２０３において、量子化部１１０１はＳ１２０２で算出した差分値を、量子化テーブル１１０３に基づく量子化ステップを用いて量子化する。量子化ステップは差分値に依存しない一定値であってもよいし、差分値に応じた値であってもよい。量子化部１１０１は、量子化された差分値（量子化値）を符号化部１１０２に出力する。
【００２７】
次に、Ｓ１２０４において、符号化部１１０２が、量子化値を符号化する。上述の通り、例えば符号化部１１０２は、量子化値を２進数に変換したのち、符号化テーブル１１０４を参照してエントロピー符号化する。また、符号化部１１０２は、復号に必要な情報（符号化パラメータ）を符号化データのヘッダ情報に含める。
【００２８】
Ｓ１２０５において、符号化部１１０２は、符号化データをタイミング制御回路１１４からの指示に応じてＰ／Ｓ変換部１２０に出力する。圧縮処理部１１８は、以上の処理を符号化ブロックごとに繰り返し実行する。符号化ブロックの大きさは、符号化対象の画像データに応じて予め定めておくことができる。
【００２９】
次に、信号処理部５０７での復号処理の詳細について説明する。信号処理部５０７は、撮像素子５０６から出力される符号化データのヘッダ情報から符号化パラメータを取得する。そして、信号処理部５０７は、取得した符号化パラメータに基づいて符号化データを復号する。
【００３０】
なお、ここで説明した符号化および復号の方法は、画像データを非可逆符号化する方法の一例に過ぎない。例えば符号化ブロックごとにＤＣＴなどの直交変換を適用してブロックを周波数成分ごとの係数に変換したのち、高周波成分の量化ステップを大きくした量子化を適用し、エントロピー符号化するなど、公知の任意の符号化方法を適用可能である。
【００３１】
図２は、本実施形態による固体撮像素子の一部を示す回路図である。図２の上側は、画素１０１を示しており、図２の下側は、カラムＡＤＣブロック１１１を示している。
図２に示すように、画素１０１は、光電変換素子であるフォトダイオード２０１と、転送トランジスタ２０２と、リセットトランジスタ２０３と、増幅トランジスタ２０４と、選択トランジスタ２０５と、フローティングディフュージョン２０６とを有している。トランジスタ２０２〜２０５としては、例えば、Ｎチャネル型のＭＯＳＦＥＴ（ＭＯＳ  Ｆｉｅｌｄ−Ｅｆｆｅｃｔ  Ｔｒａｎｓｉｓｔｏｒ）が用いられている。
【００３２】
転送トランジスタ２０２のゲートには、転送信号ＴＲＧを供給する転送信号線１０３が接続されている。リセットトランジスタ２０３のゲートには、リセット信号ＲＳＴを供給するリセット信号線１０４が接続されている。選択トランジスタ２０５のゲートには、行選択信号ＳＥＬを供給する行選択信号線１０５が接続されている。
これらの信号線１０３〜１０５は水平方向に延在しており、同一行に位置する画素１０１が同時に駆動される。これによって、ライン順次動作型のローリングシャッタ又は全行同時動作型のグローバルシャッタの動作を実現することができる。更に、選択トランジスタ２０５のソースには、列信号出力線１０２ａ又は列信号出力線１０２ｂが接続されている。
【００３３】
フォトダイオード２０１は、光電変換によって電荷を生成する。フォトダイオード２０１のアノード側は接地されており、フォトダイオード２０１のカソード側は転送トランジスタ２０２のソースに接続されている。転送トランジスタ２０２がＯＮ状態になると、フォトダイオード２０１の電荷がフローティングディフュージョン２０６に転送される。フローティングディフュージョン２０６には寄生容量が存在するため、フローティングディフュージョン２０６にはフォトダイオード２０１から転送された電荷が蓄積される。
【００３４】
増幅トランジスタ２０４のドレインには電源電圧Ｖｄｄが印加され、増幅トランジスタ２０４のゲートはフローティングディフュージョン２０６に接続されている。増幅トランジスタ２０４のゲートの電位は、フローティングディフュージョン２０６に蓄積された電荷に応じた電位となる。
選択トランジスタ２０５は、信号が読み出される画素１０１を選択するためのものであり、選択トランジスタ２０５のドレインは、増幅トランジスタ２０４のソースに接続されている。また、選択トランジスタ２０５のソースは、列信号出力線１０２ａ又は列信号出力線１０２ｂに接続されている。
選択トランジスタ２０５がＯＮ状態になると、増幅トランジスタ２０４のゲートの電位に応じた出力信号が、列信号出力線１０２ａ又は列信号出力線１０２ｂに出力される。
リセットトランジスタ２０３のドレインには電源電圧Ｖｄｄが印加され、リセットトランジスタ２０３のソースはフローティングディフュージョン２０６に接続されている。リセットトランジスタ２０３がＯＮ状態になることによって、フローティングディフュージョン２０６の電位は電源電圧Ｖｄｄにリセットされる。
【００３５】
なお、ここでは、選択トランジスタ２０５と電源電圧Ｖｄｄとの間に増幅トランジスタ２０４が位置している場合を例に説明したが、電源電圧Ｖｄｄと増幅トランジスタ２０４との間に選択トランジスタ２０５を位置させるようにしてもよい。また、ここでは、画素１０１に４つのトランジスタ２０２〜２０５が備えられている場合を例に説明したが、これに限定されるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５とを兼用するようにしてもよい。
【００３６】
画素１０１から列信号出力線１０２ａ、１０２ｂを介して出力される画素信号は、カラムＡＤＣブロック１１１に伝送される。カラムＡＤＣブロック１１１には、比較器２１１と、アップダウンカウンタ２１２と、メモリ２１３と、ＤＡＣ（デジタルアナログコンバータ）２１４とが備えられている。
【００３７】
比較器２１１は、一対の入力端子を有する。比較器２１１の一方の入力端子には、列信号出力線１０２ａ、１０２ｂが接続されている。比較器２１１の他方の入力端子には、ＤＡＣ２１４が接続される。ＤＡＣ２１４は、タイミング制御回路１１４から供給される基準信号に基づいて、信号レベルが時間の経過とともにランプ状に変化するランプ信号を出力する。
比較器２１１は、ＤＡＣ２１４から供給されるランプ信号のレベルと、列信号出力線１０２ａ、１０２ｂから供給される画素信号のレベルとを比較する。タイミング制御回路１１４は、制御部５０９から供給される制御信号に基づいて、ＤＡＣ２１４に基準信号を供給する。
比較器２１１は、画素信号のレベルがランプ信号のレベルより低い場合には、ハイレベルの信号を出力する。一方、比較器２１１は、画素信号のレベルがランプ信号のレベルより高い場合には、ローレベルの信号を出力する。アップダウンカウンタ２１２には、比較器２１１から出力される信号が供給される。
【００３８】
アップダウンカウンタ２１２は、比較器２１１から供給される信号がハイレベルである期間、又は、比較器２１１から供給される信号がローレベルである期間をカウントする。アップダウンカウンタ２１２によって行われるカウント処理によって、画素１０１から出力される画素信号はデジタル信号に変換される。なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、当該アンド回路にパルス信号を供給し、当該パルス信号の個数をアップダウンカウンタ２１２によりカウントさせるようにしてもよい。
【００３９】
メモリ２１３には、アップダウンカウンタ２１２から出力される信号が供給される。メモリ２１３には、アップダウンカウンタ２１２によりカウントされたカウント値が記憶される。なお、画素１０１をリセットした際の画素信号に基づいてリセットレベルに対応する第１のカウント値を取得し、所定の撮像時間が経過した後の画素信号に基づいた第２のカウント値を取得するようにしてもよい。そして、第１のカウント値と第２のカウント値との差分値をメモリ２１３に記憶させるようにしてもよい。メモリ２１３に記憶された画素信号は、列走査回路１１３ａ、１１３ｂから供給される信号に同期して、水平信号出力線１１５ａ、１１５ｂに伝送される。
【００４０】
図４は、本実施形態による固体撮像素子を示す断面図である。図４における下側は、光学像が入射される光照射面である。図４に示すように、第１の半導体チップ（撮像層）１０は、例えばｐ型のシリコン基板４０３を有する。第２の半導体チップ（回路層）１１は、例えばｐ型のシリコン基板４０５を有する。
【００４１】
第１の半導体チップ１０のシリコン基板４０３内には、ｎ型拡散領域４０７が形成されている。シリコン基板４０３の表面部（光入射面とは反対側の面）には、ｐ＋型拡散領域４０８が形成されている。ｎ型拡散領域４０７とｐ＋型拡散領域４０８とにより、フォトダイオード２０１が構成されている。
【００４２】
シリコン基板４０３上には、ゲート絶縁膜を介してゲート配線（ゲート電極）４１１が形成されている。ゲート配線４１１は、転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、及び、選択トランジスタ２０５のゲート電極を構成する。
【００４３】
ゲート配線４１１の両側のシリコン基板４０３内には、フローティングディフュージョン２０６を構成するｎ＋型拡散領域４０９や、トランジスタのソース／ドレインを構成するｎ＋型拡散領域４１０が形成されている。
【００４４】
ゲート配線４１１が形成されたシリコン基板４０３上には、例えば層間絶縁膜４２１と配線４１２とを含む多層配線構造４０４が形成されている。層間絶縁膜４２１は、例えばシリコン酸化膜によって形成されている。多層配線構造４０４の表面部には、電極パッド４１３が形成されている。電極パッド４１３は、例えば銅等によって形成されている。配線４１２や電極パッド４１３は、ビア４１４を介して適宜接続されている。
【００４５】
第２の半導体チップ１１のシリコン基板４０５上には、ゲート絶縁膜を介してゲート配線４１７が形成されている。ゲート配線４１７の両側のシリコン基板４０５内には、トランジスタのソース／ドレインを構成するｎ＋型拡散領域４１６が形成されている。
ゲート配線４１７が形成されたシリコン基板４０５上には、例えば層間絶縁膜４２２と配線４１８とを含む多層配線構造４０６が形成されている。層間絶縁膜４２２は、例えばシリコン酸化膜によって形成されている。多層配線構造４０６の表面部には、電極パッド４１９が形成されている。電極パッド４１９は、例えば銅等によって形成されている。配線４１８や電極パッド４１９は、ビア４２０を介して適宜接続されている。
【００４６】
電極パッド４１３と電極パッド４１９とは、バンプ３０１を介して電気的に接続されている。なお、ここでは、バンプ３０１を用いて電極パッド４１３と電極パッド４１９とを接続する場合を例に説明したが、バンプ３０１を用いることなく、電極パッド４１３と電極パッド４１９とを直接接続するようにしてもよい。
【００４７】
図５は、本実施形態による撮像装置を示すブロック図である。図５に示すように、撮像装置５００は、撮像光学系５１６と、固体撮像素子５０６と、信号処理部５０７と、メモリ５０８、５１４と、制御部５０９と、操作部５１５と、表示部５１１と、記録媒体制御部５１０と、外部インターフェース部５１３を備えている。なお、ここでは、撮像装置５００がデジタルカメラである場合を例に説明するが、撮像装置５００はデジタルカメラに限定されるものではない。
【００４８】
撮像光学系５１６は、被写体からの光を固体撮像素子５０６に集光するためのレンズ部５０１を備えている。レンズ部５０１には、フォーカスレンズやズームレンズが含まれる。撮像光学系５１６は、シャッタ（メカニカルシャッタ）５０３と、絞り５０４と、レンズ駆動部（レンズ駆動機構）５０２と、シャッタ・絞り駆動部５０５とを更に備えている。撮像光学系５１６は、撮像装置５００から着脱可能であってもよいし着脱不能であってもよい。
【００４９】
レンズ駆動部５０２は、制御部５０９からの制御信号に基づいて、レンズ部５０１を駆動する。シャッタ・絞り駆動部５０５は、制御部５０９からの制御信号に基づいて、シャッタ５０３及び絞り５０４を駆動する。撮像光学系５１６は、被写体の光学像を固体撮像素子５０６の撮像面に導く。絞り５０４は、固体撮像素子５０６の撮像面に達する光量を調整する。シャッタ５０３は、固体撮像素子５０６の撮像面に達する光の入射時間を制御する。
【００５０】
固体撮像素子５０６の撮像面には、２次元的に配置された複数の光電変換素子が設けられている。固体撮像素子５０６は、被写体の光学像を光電変換素子によって光電変換することにより、アナログの信号を生成する。また、固体撮像素子５０６は、生成したアナログの信号に対してゲイン調整を行い、ゲイン調整が施されたアナログの信号をデジタルの信号に変換するＡ／Ｄ変換を行う。こうして、固体撮像素子５０６は、Ｒ、Ｇｒ、ＧｂおよびＢの各色の画素データから構成されるＲＡＷ画素データを生成し、生成した画素データを信号処理部（画像処理部）５０７に送信する。ここで、ＲＡＷ画像データは少なくとも一部が圧縮処理されている場合がある。
【００５１】
信号処理部５０７は、固体撮像素子５０６が生成するＲＡＷ画素データに対して各種の画像処理を行う。信号処理部５０７によって行われる画像処理としては、例えば、色補間処理、ノイズ軽減処理、ローパスフィルタ処理、シェーディング処理、ホワイトバランス処理などが挙げられる。信号処理部５０７は、各種の補正処理、圧縮処理などを画像データに対してさらに行い得る。また、信号処理部５０７は、圧縮処理部１１８によって圧縮処理が施された画像データを復号することができる。
【００５２】
制御部（システム制御部）５０９は、撮像装置５００全体の制御を行うとともに各種演算処理を行う。制御部５０９は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサ（ハードウェアプロセッサ）を備える。メモリ５０８は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を備える。メモリ５０８は、画像データ等を一時的に記憶する。
【００５３】
メモリ５１４は、例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ等を備える。メモリ５１４には、例えば、撮像装置５００の各構成要素を制御するためのプログラムが記憶されている。ＣＰＵがメモリ５１４に記憶されたプログラムを実行することによって、撮像装置５００全体が制御部５０９によって統括的に制御される。メモリ５１４は、制御部５０９のワークエリアとして用いられ得る。メモリ５１４には、撮像装置５００の各種設定情報が記憶される。
【００５４】
記録媒体制御部５１０は、記録媒体５１２に対する画像データ等の書き込み及び読み出しを制御する。記録媒体５１２としては、例えば半導体メモリ等が挙げられる。記録媒体５１２は、撮像装置５００から着脱可能であってもよいし着脱不能であってもよい。
【００５５】
表示部５１１は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等の表示デバイス（図示せず）と、当該表示デバイスに対するインタフェース（図示せず）とを備えている。表示部５１１は、画像データに応じた画像を、表示デバイスの表示画面に表示する。外部インターフェース部５１３は、コンピュータ等の外部機器との間で通信を行うための入出力インターフェースである。
【００５６】
操作部５１５は、例えば、レリーズボタン、電源ボタン、操作ボタン、レバー、ダイヤル、タッチパネル等を含む。操作部５１５の各々に対してユーザによって行われる操作に応じた信号が、制御部５０９に入力される。制御部５０９は、これらの信号に応じた制御を撮像装置５００の各部に対して行う。レリーズボタンに対しては、２段階の押圧操作がユーザによって行われ得る。
【００５７】
レリーズボタンが半押しの状態になると、撮像準備動作である測光動作、測距動作などが開始される。レリーズボタンが全押しの状態になると、撮像動作が開始され、撮像によって得られる画像データが記録媒体５１２に記録される。ユーザは、操作ボタンを操作することによって、撮像装置５００に対する各種設定を行い得る。ユーザは、電源ボタンを操作することによって、撮像装置５００の電源をＯＮまたはＯＦＦにすることができる。
【００５８】
図６は、本実施形態による撮像装置の動作を示すフローチャートである。操作部５１５を介して撮影の指示がユーザによって為されると、撮像装置５００によって撮像が行われる。撮像が行われると、Ｓ６０１において、画素信号の読み出しが開始される。この後、Ｓ６０２に移行する。なお、画素アレイ３０６の画素信号をどのような順序で読み出すかは、制御部５０９からタイミング制御回路１１４に対して設定されているものとする。
【００５９】
Ｓ６０２において、タイミング制御回路１１４は、信号読み出し対象の画素が、遮光部に位置する画素、即ち、遮光画素であるか否かを判定する。この判定は、例えばタイミング制御回路１１４が有する不揮発性メモリ１１７に記憶された遮光画素の位置情報と、信号読み出し対象の画素の位置情報とを比較することにより行うことができる。
信号読み出し対象の画素が遮光画素であると判定された場合には（Ｓ６０２においてＹＥＳ）、Ｓ６０３において、タイミング制御回路１１４はスイッチ１２１をメモリ１１７に接続する。これにより、遮光画素から読み出されてＡＤ変換された信号、即ち、遮光画素データは、メモリ１１７に格納される。この後、処理はＳ６０４に移行する。信号読み出し対象の画素が遮光画素でないと判定された場合には（Ｓ６０２においてＮＯ）、処理はＳ６０７に移行する。
【００６０】
Ｓ６０４において、タイミング制御回路１１４は、全ての遮光画素の信号読み出しが完了したか否か判定する。全ての遮光画素の信号読み出しが完了していない場合には（Ｓ６０４においてＮＯ）、処理はＳ６１３に移行する。全ての遮光画素の信号読み出しが完了した場合には（Ｓ６０４においてＹＥＳ）、処理はＳ６０５に移行する。
Ｓ６０５において、圧縮処理部１１８は、メモリ１１７内に記憶されている遮光画素信号に対して圧縮処理を適用し、タイミング制御回路１１４からの指示に応じてＰ／Ｓ変換部１２０に出力する。この後、処理はＳ６０６に移行する。
Ｓ６０６においては、圧縮処理が施された遮光画素データが、Ｐ／Ｓ変換部１２０を介して信号処理部５０７に出力される。この後、処理はＳ６１３に移行する。
【００６１】
信号読み出し対象の画素が遮光画素でない場合には（Ｓ６０２においてＮＯ）、Ｓ６０７において、タイミング制御回路１１４は、信号読み出し対象の画素が測距用画素であるか否かを判定する。信号読み出し対象の画素が測距用画素である場合には（Ｓ６０７においてＹＥＳ）、Ｓ６０８において、タイミング制御回路１１４は、スイッチ１２１をメモリに接続する。これにより、測距用画素から読み出されてＡＤ変換された信号、即ち、測距画像データは、メモリ１１７に格納される。この後、処理はＳ６０９に移行する。
【００６２】
Ｓ６０９において、タイミング制御回路１１４は、予め設定されたエリア（焦点検出領域）内に位置する測距用画素の信号読み出しが完了したか否かを判定する。エリア内に位置する測距用画素の信号読み出しが完了した場合には（Ｓ６０９においてＹＥＳ）、処理はＳ６１０に移行する。エリア内に位置する測距用画素の信号読み出しが完了していない場合には（Ｓ６０９においてＮＯ）、処理はＳ６１３に移行する。
【００６３】
Ｓ６１０において、圧縮処理部１１８は、メモリ１１７内に格納されている測距信号に対して圧縮処理を適用し、タイミング制御回路１１４からの指示に応じてＰ／Ｓ変換部１２０に出力する。この後、処理はＳ６１１に移行する。Ｓ６１１においては、圧縮処理が施された測距画像データが、Ｐ／Ｓ変換部１２０を介して信号処理部５０７に出力される。この後、処理はＳ６１３に移行する。
【００６４】
信号読み出し対象の画素が測距用画素でない場合（Ｓ６０７においてＮＯ）、当該画素は、撮像用の画素、即ち、撮像画素である。この場合、Ｓ６１２において、タイミング制御回路１１４は、スイッチ１２１をＰ／Ｓ変換部１２０に接続する。それにより、撮像画素から読み出された信号をＡＤ変換した画像データは、メモリ１１７に記憶されることなく、Ｐ／Ｓ変換部１２０を介して信号処理部５０７に出力される。この後、処理はＳ６１３に移行する。
【００６５】
Ｓ６１３において、タイミング制御回路１１４は、画素アレイ３０６に備えられた全ての画素１０１の信号読み出しが完了したか否かを判定する。画素アレイ３０６に備えられた全ての画素１１０の信号読み出しが完了していない場合には（Ｓ６１３においてＮＯ）、Ｓ６０２に戻り、上記と同様の動作が繰り返される。画素アレイ３０６に備えられた全ての画素１０１の信号読み出しが完了した場合には（Ｓ６１３においてＹＥＳ）、図６に示す処理が完了する。
【００６６】
図７は、本実施形態による固体撮像素子の動作を示すタイムチャートである。図７の第１段目には、画素アレイ３０６から読み出される信号が示されている。図７に示すように、まず、遮光画素信号が読み出され、この後、画像信号及び測距信号が１行ずつ読み出される。
【００６７】
画像信号１、画像信号２、画像信号３、画像信号４は、画素アレイ３０６の第１番目、第２番目、第３番目、第４番目の行にそれぞれ位置する複数の撮像画素によって取得される信号である。測距信号１、測距信号２、測距信号３、測距信号４は、画素アレイ３０６の第１番目、第２番目、第３番目、第４番目の行にそれぞれ位置する複数の測距用画素によって取得される信号である。なお、ここでは、説明の簡略化のため、第１番目の行から第４番目の行まで読み出し処理を図示している。
【００６８】
まず、遮光画素信号が画素アレイ３０６から読み出される。画素アレイ３０６から読み出された遮光画素信号のうちの、画像用信号の基準レベルとして用いられる遮光画素信号が、メモリ１１７に格納される。この後、メモリ１１７に格納された遮光画素信号に対して、圧縮処理が施される。圧縮処理が施された遮光画素信号は、固体撮像素子５０６の外部に出力される。
【００６９】
遮光画素信号が画素アレイ３０６から読み出された後には、画素アレイ３０６の第１番目の行に位置する複数の撮像画素からの画素信号の読み出し、即ち、画像信号１の読み出しが行われる。画素アレイ３０６から読み出された画像信号１は、メモリ１１７に格納されることなく、圧縮処理も施されることなく、固体撮像素子５０６の外部に出力される。
【００７０】
画素アレイ３０６の第１番目の行に位置する複数の撮像画素から画素信号が読み出された後には、画素アレイ３０６の第１番目の行に位置する測距用画素からの画素信号の読み出しが行われる。即ち、測距信号１の読み出しが行われる。画素アレイ３０６から読み出された測距信号１は、メモリ１１７に格納される。そして、メモリ１１７に格納された測距信号１に対して圧縮処理が行われる。圧縮処理が施された測距信号１は、この段階では、固体撮像素子５０６の外部に出力されない。
【００７１】
画素アレイ３０６の第１番目の行に位置する測距用画素からの画素信号の読み出しが行われた後には、画素アレイ３０６の第２番目の行に位置する複数の撮像画素からの画素信号の読み出しが行われる。即ち、画像信号２の読み出しが行われる。画素アレイ３０６から読み出された画像信号２は、メモリ１１７に格納されることなく、圧縮処理も施されることなく、固体撮像素子５０６の外部に出力される。画像信号２の外部への出力に続いて、圧縮処理が施された測距信号１の外部への出力が行われる。
【００７２】
画素アレイ３０６の第２番目の行に位置する複数の撮像画素から画素信号が読み出された後には、画素アレイ３０６の第２番目の行に位置する測距用画素からの画素信号の読み出し、即ち、測距信号２の読み出しが行われる。画素アレイ３０６から読み出された測距信号２は、メモリ１１７に格納される。そして、メモリ１１７に格納された測距信号２に対して圧縮処理が行われる。圧縮処理が施された測距信号２は、この段階では、固体撮像素子５０６の外部に出力されない。
【００７３】
画素アレイ３０６の第２番目の行に位置する測距用画素からの画素信号の読み出しが行われた後には、画素アレイ３０６の第３番目の行に位置する複数の撮像画素からの画素信号の読み出し、即ち、画像信号３の読み出しが行われる。画素アレイ３０６から読み出された画像信号３は、メモリ１１７に格納されることなく、圧縮処理も施されることなく、固体撮像素子５０６の外部に出力される。画像信号３の外部への出力に続いて、圧縮処理が施された測距信号２の外部への出力が行われる。この後も、上記と同様にして処理が行われる。最終行に対する読み出しが完了すると、１フレーム分の読み出しが完了する。
【００７４】
なお、Ｓ６０５、Ｓ６１０においてそれぞれ行われる圧縮処理は、圧縮処理の対象となる信号の種類に応じて圧縮方式や圧縮率等を適宜設定し得る。遮光画素によって取得される遮光画素信号は、画像用信号の基準レベルとして用いられるものである。従って、複数の遮光画素信号の平均値が得られるような高圧縮率の圧縮処理を、遮光画素信号に対して施すようにしてもよい。
【００７５】
また、ここでは、測距用画素によって得られる画素信号を１行毎に圧縮する場合を例に説明した。位相差検出を横方向に行う場合には、測距用画素によって得られる画素信号を１行毎に圧縮するようにしても、特段の不都合は生じない。しかし、位相差検出を縦方向に行う場合には、測距用画素によって得られる画素信号を１行毎に圧縮すると、位相差検出に不利になる虞がある。従って、測距用画素によって得られる１フレーム分の画素信号をメモリ１１７に格納し終わった後に、当該画素信号に対して縦方向に亘る圧縮処理を施すようにしてもよい。
【００７６】
また、圧縮処理が施されたデータに対しては、信号処理部５０７において伸張処理を施す必要がある。図８は、本実施形態による撮像装置に備えられた信号処理部において行われる伸長処理の例を示すフローチャートである。ここでは、圧縮処理が施された画素信号を含む行である圧縮行と、圧縮処理が施された画素信号を含まない行である非圧縮行とが存在する場合を例に説明する。
圧縮行と非圧縮行とには、例えば異なる同期コードが付される。信号処理部５０７は、読み出し処理が行われた行が圧縮行であるのか非圧縮行であるのかを例えば同期コードに基づいて識別し得る。また、上述した様に、符号化データのヘッダ情報を参照することによっても圧縮処理されたデータなのか否かを判別することができる。
【００７７】
Ｐ／Ｓ変換部１２０を介して画素信号が信号処理部５０７に供給され始めると、Ｓ８０１において、信号処理部５０７は、当該画素信号が圧縮行の画素信号であるか否かを判定する。当該画素信号が圧縮行の画素信号である場合には（Ｓ８０１においてＹＥＳ）、Ｓ８０２に移行する。
Ｓ８０２においては、信号処理部５０７が当該画素信号に対して伸張処理を施す。この後、Ｓ８０３に移行する。Ｓ８０３においては、信号処理部５０７は、伸張処理を施した画素信号をメモリ５０８に保存する。この後、Ｓ８０４に移行する。
【００７８】
一方、当該画素信号が圧縮行の画素信号でない場合には（Ｓ８０１においてＮＯ）、Ｓ８０３において、信号処理部５０７は、当該画素信号に対して伸張処理を施すことなく、当該画素信号をメモリ５０８に保存する。この後、Ｓ８０４に移行する。
【００７９】
Ｓ８０４においては、全ての行の出力が完了したか否かを判定する。全ての行の出力が完了していない場合には（Ｓ８０４においてＮＯ）、Ｓ８０１に戻り、上記と同様の処理が繰り返される。一方、全ての行の処理が完了した場合には（Ｓ８０４においてＹＥＳ）、図８に示す処理が終了する。
【００８０】
なお、ここでは、信号処理部５０７において行われる処理が、圧縮行と非圧縮行とで異なる場合を例に説明したが、これに限定されるものではない。例えば、信号処理部５０７において行われる処理を、領域毎に異ならせてもよいし、画素単位で異ならせてもよい。
【００８１】
このように、本実施形態によれば、固体撮像素子は第１のモードと第２のモードとで動作し得る。第１のモードでは、遮光画素や測距用画素によって取得されるとともに圧縮処理部１１８により圧縮処理が施された信号が、Ｐ／Ｓ変換部１２０を介して出力される。
第２のモードでは、撮像画素によって取得されるとともに圧縮処理部１１８によって圧縮処理が施されていない信号が、Ｐ／Ｓ変換部１２０を介して出力される。このように、本実施形態では、遮光画素や測距用画素によって取得された画素信号に対して圧縮処理が施される一方、撮像画素によって取得された画素信号に対しては圧縮処理が施されない。従って、本実施形態によれば、画質を損なうことなく迅速に画像データを出力することができる。
【００８２】
［第２実施形態］
第２実施形態による固体撮像素子、撮像装置及び撮像方法について図９を用いて説明する。図１乃至図８に示す第１実施形態による固体撮像素子等と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
本実施形態は、固体撮像素子５０６の画素アレイ３０６に設けられた計測用画素が遮光画素だけであり、測距用画素がない場合の動作に関する。
【００８３】
図９は、本実施形態による撮像装置の動作を示すフローチャートである。図９において、Ｓ９０１からＳ９０６は図６のＳ６０１からＳ６０６と同一の処理である。また、Ｓ９０８は図６のＳ６１３と、Ｓ９０７は図６のＳ６１２とそれぞれ同一の処理である。
このように、固体撮像素子に測距用画素が設けられていない場合は、遮光画素を圧縮し、撮像画素を圧縮しないようにすればよい。本実施形態においても、画質を損なうことなく迅速に画像データを出力することができる。
【００８４】
［第３実施形態］
図１２は、第３実施形態による撮像装置の動作を示すフローチャートである。本実施形態の撮像装置は第１実施形態で説明した図１の構成によって実施可能であるため、以下では撮像装置の動作についてのみ説明する。本実施形態においても第２実施形態と同様、固体撮像素子５０６には測距用画素が設けられていないものとする。
【００８５】
本実施形態では、計測用画素のデータと撮像画素のデータの両方を圧縮する。そして、圧縮処理部１１８が有する量子化テーブル１１０３に、データ圧縮率が異なる複数の量子化テーブルを用意し、圧縮するデータの種類に応じて選択的に用いることにより、計測用画素のデータの圧縮率を、撮像画素のデータの圧縮率よりも高くする。
【００８６】
図１２において、図６と同じ動作を行うステップについては同じ符号を付し、説明を省略する。
Ｓ６０４において、全ての遮光画素のデータが読み出されたと判定されたとする。この場合、Ｓ１３０５において、圧縮処理部１１８は、メモリ１１７内に記憶されている遮光画素のデータ（遮光画素信号）に対して適用する圧縮処理に用いる量子化テーブルとして、第一の圧縮率のテーブルを選択する。ここで、第一の圧縮率は、第二の圧縮率よりも高く、データ削減量が多い。
【００８７】
Ｓ６０５において、圧縮処理部１１８は、量子化部１１０１における量子化において第一の圧縮率のテーブルを用いて圧縮処理を行い、Ｐ／Ｓ変換部１２０に圧縮処理後の遮光画素のデータを出力する。そして、Ｓ６０６において、Ｐ／Ｓ変換部１２０は、遮光画素のデータを信号処理部５０７に出力する。この後、処理はＳ６１３に移行する。
【００８８】
信号読み出し対象の画素が遮光画素でないと判定された場合（Ｓ６０２においてＮＯ）、処理はＳ１３０８に移行する。本実施形態では測距用画素は存在しないため、Ｓ１３０８に移行する場合、信号読み出し対象の画素は撮像画素である。また、撮像画素のデータについても圧縮処理を適用するため、Ｓ１３０８において、タイミング制御回路１１４はスイッチ１２１をメモリ１１７に接続する。これにより、撮像画素のデータもメモリ１１７に格納される。
【００８９】
Ｓ１３０９において、タイミング制御回路１１４は、全ての撮像画素の信号読み出しが完了したか否か判定する。全ての撮像画素の信号読み出しが完了していない場合には（Ｓ１３０９においてＮＯ）、処理はＳ６１３に移行する。全ての撮像画素の信号読み出しが完了した場合には（Ｓ１３０９においてＹＥＳ）、処理はＳ１３１０に移行する。
【００９０】
Ｓ１３１０において、圧縮処理部１１８は、メモリ１１７内に記憶されている撮像画素のデータ（撮像画素信号）に対して適用する圧縮処理に用いる量子化テーブルとして、第二の圧縮率のテーブルを選択する。ここで、第二の圧縮率は、第一の圧縮率よりも低く、データ削減量が少ない。
そして、Ｓ１３１１において、圧縮処理部１１８は、量子化部１１０１における量子化において第二の圧縮率のテーブルを用いて圧縮処理を行い、Ｐ／Ｓ変換部１２０に圧縮処理後の撮像画素のデータを出力する。
そして、Ｓ１３１２において、Ｐ／Ｓ変換部１２０は、撮像画素のデータを信号処理部５０７に出力する。この後、処理はＳ６１３に移行する。
【００９１】
なお、Ｓ１３０５およびＳ１３１０において選択される量子化テーブルは、圧縮処理の対象となる信号の種類に応じた圧縮率が実現できるよう、実験などを通じて適切な量子化ステップが定められる。量子化を行うためのデータの前処理の方法を異ならせて圧縮率を異ならせてもよい。
【００９２】
遮光画素のデータは、撮像画素のデータの基準レベルとして用いられるものであり、撮像画素のデータよりも圧縮率を高めても画質に対する影響は少ない。従って、本実施形態では、遮光画素のデータについて、撮像画素のデータよりも圧縮率の高い圧縮処理を適用している。なお、同種の画像データについて、撮影の条件（例えば撮影感度や露出時間）によって圧縮率を変更してもよい。
【００９３】
［第４実施形態］
図１３は、第４実施形態による撮像装置の動作を示すフローチャートである。本実施形態の撮像装置は第１実施形態で説明した図１の構成によって実施可能であるため、以下では撮像装置の動作についてのみ説明する。
【００９４】
本実施形態では、撮像画素のデータについては圧縮処理を行わず、計測用画素のデータを圧縮する。また、同種のデータについて、撮影モード（ここではＭＦモードかＡＦモードか）により圧縮率を異ならせる。
【００９５】
図１３において、図６と同じ動作を行うステップについては同じ符号を付し、説明を省略する。なお、図１３では遮光画素のデータについての処理を記載していないが、遮光画素のデータについては第１〜第３実施形態のいずれかで説明したように圧縮処理されるものとする。
【００９６】
Ｓ６０７において、信号読み出し対象の画素が測距用画素でなければ、撮像画素であり、圧縮処理を行わずにＳ６１１以降の処理を実行する。
Ｓ６０９において、タイミング制御回路１１４により、エリア内の全ての測距用画素の信号読み出しが完了したと判定されると、処理はＳ１４０５に移行する。
【００９７】
Ｓ１４０５において、圧縮処理部１１８は、撮像装置５００の測距モードがマニュアルフォーカスモード（ＭＦモード）であるか、オートフォーカスモード（ＡＦモード）であるかを判定する。そして、ＭＦモードであれば処理はＳ１４０６へ、ＡＦモードであれば処理はＳ１４０８へ移行する。
【００９８】
Ｓ１４０６において、圧縮処理部１１８は、メモリ１１７内に記憶されている測距用画素のデータ（測距用画素信号）に対して適用する圧縮処理に用いる量子化テーブルとして、第一の圧縮率のテーブルを選択する。ここで、第一の圧縮率は、第二の圧縮率よりも高く、データ削減量が多い。これは、ＭＦモードの場合、ＡＦ処理に用いる測距情報が不要なためである。
【００９９】
Ｓ１４０７において、圧縮処理部１１８は、量子化部１１０１における量子化において第一の圧縮率のテーブルを用いて圧縮処理を行い、Ｐ／Ｓ変換部１２０に圧縮処理後の測距用画素のデータを出力する。そして、Ｓ６１１において、Ｐ／Ｓ変換部１２０は、撮像画素のデータを信号処理部５０７に出力する。この後、処理はＳ６１３に移行する。
【０１００】
一方、Ｓ１４０８において、圧縮処理部１１８は、メモリ１１７内に記憶されている測距用画素のデータ（測距用画素信号）に対して適用する圧縮処理に用いる量子化テーブルとして、第二の圧縮率のテーブルを選択する。ここで、第二の圧縮率は、第一の圧縮率よりも低く、データ削減量が少ない。これは、ＡＦモードの場合、ＡＦ処理に用いる測距情報が必要なためである。
【０１０１】
Ｓ１４０９において、圧縮処理部１１８は、量子化部１１０１における量子化において第二の圧縮率のテーブルを用いて圧縮処理を行い、Ｐ／Ｓ変換部１２０に圧縮処理後の測距用画素のデータを出力する。そして、Ｓ６１１において、Ｐ／Ｓ変換部１２０は、撮像画素のデータを信号処理部５０７に出力する。この後、処理はＳ６１３に移行する。
【０１０２】
本実施形態では測距用画素のデータの圧縮率を、撮像装置の測距モードによって異ならせる例について説明したが、撮影の条件（例えば撮影感度や露出時間）によって圧縮率を変更してもよい。
【０１０３】
［変形実施形態］
本発明の実施形態は上記実施形態に限定されるものではない。発明の要旨を逸脱しない範囲で変更または修正された上記実施形態も本発明の実施形態に含まれる。
例えば、上記実施形態では、撮像装置５００がデジタルカメラである場合を例に説明したが、これに限定されるものではない。即ち、本発明は、固体撮像素子が備えられたあらゆるデバイスに適用可能である。例えば、撮像装置は、携帯電話端末、携帯型の画像ビューワ、カメラを備えたテレビ、デジタルフォトフレーム、音楽プレーヤ、ゲーム機、又は、電子ブックリーダー等であってもよい。
【０１０４】
また、本発明において、圧縮処理の対象とする計測用画素の種類や圧縮率の組み合わせに特に制限はない。また、画像の劣化が許容される範囲で撮像画素のデータを圧縮することができ、計測用画素のデータよりも撮像画素のデータに対する圧縮率が高くなってもよい。例えばライブビュー表示用の動画像の撮影時には、表示サイズが小さいうえ、各フレームの画質劣化は目に付きにくいため、圧縮率を高めることができる。一方でＡＦ精度の劣化を抑制するため、測距用画素のデータの圧縮率は動画フレームに対する圧縮率より低くしてもよい。
【０１０５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０６】
１０…第１の半導体チップ、１１…第２の半導体チップ、１０１…画素、１１７…メモリ、１１８…圧縮処理部、１１９…演算部、１２０…パラレルシリアル変換部、５０６…固体撮像素子、５０７…信号処理部。
【図１】
2019047487.tif 000003
【図２】
2019047487.tif 000004
【図３】
2019047487.tif 000005
【図４】
2019047487.tif 000006
【図５】
2019047487.tif 000007
【図６】
2019047487.tif 000008
【図７】
2019047487.tif 000009
【図８】
2019047487.tif 000010
【図９】
2019047487.tif 000011
【図１０】
2019047487.tif 000012
【図１１】
2019047487.tif 000013
【図１２】
2019047487.tif 000014
【図１３】
2019047487.tif 000015