(57)【要約】      （修正有）【課題】画質の低減を抑制する。【解決手段】撮像素子は、複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイ部１１１と、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部１１２と、前記画像データを格納するフレームメモリ１１５と、前記記憶部から前記画像データを読み出して信号処理する信号処理部１２２と、処理実行タイミングを制御し、読み出し処理、および、アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるタイミング制御部１２１とを備える。【選択図】図３
2015185927.tif 000002
【特許請求の範囲】
【請求項１】
画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
を備える撮像素子。
【請求項２】
前記制御部は、前記アナログ処理が実行されていない期間に前記デジタル処理を実行させる
請求項１に記載の撮像素子。
【請求項３】
前記制御部は、前記読み出し処理が実行されていない期間に前記デジタル処理を実行させる
請求項１に記載の撮像素子。
【請求項４】
前記制御部は、前記アナログ処理がノイズの影響を受け難い期間に前記デジタル処理を実行させる
請求項１に記載の撮像素子。
【請求項５】
前記アナログ処理は、前記アナログの画素信号を前記デジタルの画像データに変換するA/D変換処理を含む
請求項１に記載の撮像素子。
【請求項６】
前記制御部は、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
請求項５に記載の撮像素子。
【請求項７】
前記アナログ処理は、前記A/D変換処理を用いた相関二重サンプリングを含み、
前記制御部は、P相とD相のそれぞれについて、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
請求項６に記載の撮像素子。
【請求項８】
前記デジタル処理は、
前記信号処理した前記画像データを前記記憶部に格納させ、
出力する前記画像データを前記記憶部から読み出し、
前記記憶部から読み出された前記画像データを出力する出力部をさらに備え、
前記制御部は、処理実行タイミングを制御し、前記出力部による前記画像データを出力する出力処理への影響が少ないタイミングで前記デジタル処理を実行させる
請求項１に記載の撮像素子。
【請求項９】
前記制御部は、前記出力処理が実行されていない期間に前記デジタル処理を実行させる
請求項８に記載の撮像素子。
【請求項１０】
前記制御部は、処理実行タイミングを制御し、前記読み出し処理および前記アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記記憶部の制御処理を実行させる
請求項１に記載の撮像素子。
【請求項１１】
前記制御部は、前記アナログ処理が実行されていない期間に前記記憶部の制御処理を実行させる
請求項１０に記載の撮像素子。
【請求項１２】
前記制御部は、前記読み出し処理が実行されていない期間に前記記憶部の制御処理を実行させる
請求項１０に記載の撮像素子。
【請求項１３】
前記記憶部は、フレームメモリである
請求項１に記載の撮像素子。
【請求項１４】
消費電力を検出する消費電力検出部をさらに備え、
前記制御部は、前記消費電力検出部による前記消費電力の検出結果に基づいて、前記デジタル処理の処理実行タイミングを制御する
請求項１に記載の撮像素子。
【請求項１５】
前記制御部は、前記消費電力が小さい期間に前記デジタル処理を実行させる
請求項１４に記載の撮像素子。
【請求項１６】
各処理部のデジタル電源を利用して駆動する回路は、共通のデジタル電源を利用する
請求項１４に記載の撮像素子。
【請求項１７】
前記画素アレイ、前記アナログ処理部、前記信号処理部、および前記制御部は、互いに同一の半導体基板に形成される
請求項１に記載の撮像素子。
【請求項１８】
前記記憶部も前記半導体基板に形成される
請求項１７に記載の撮像素子。
【請求項１９】
処理実行タイミングを制御し、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる
制御方法。
【請求項２０】
被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像素子、制御方法、並びに、撮像装置に関し、特に、画質の低減を抑制することができるようにした撮像素子、制御方法、並びに、撮像装置に関する。
【背景技術】
【０００２】
従来のイメージセンサには、フレーム格納が可能なメモリ（DRAM（Dynamic Random Access Memory）など）や十分な量のライン格納が可能なメモリ（SRAM（Static Random Access Memory）など）がなかった。そのため、イメージセンサにおいて行われる、画素、アナログ処理、デジタル処理、出力処理等は、処理遅延のみが付加された同一のタイミングで実行されていた。ただし、この場合、デジタル処理は、主に、画素やアナログ処理の制御に関する処理であるため、その動作が画素やアナログ処理へ影響を与えることは少なかった。
【０００３】
ところで、イメージセンサにおける、画素アレイ部の各画素からの信号の読み出し方法として、画素から読み出したアナログ画素信号をデジタル化する信号処理部の後段に不揮発メモリを設け、当該不揮発メモリを用いて高速読み出しを実現する技術があった（例えば、特許文献１参照）。
【０００４】
この場合も、イメージセンサにおいて行われるデジタル処理は、信号読み出しに関する処理のみであり、その動作が画素やアナログ処理へ影響を与えることは少なかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−６４４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年、イメージセンサの高機能化（付加価値）に伴い、デジタル処理の処理量が増加してきた。そのため、デジタル処理の動作がノイズ源となり画素やアナログ処理へ画質（品質）面で影響を与える可能性が大きくなってきた。デジタル処理の機能On/Offや入力画像に依存してノイズ源が発生することにより、出力画像のレベルが変化し、帯・筋・むらとして劣化の影響が出てしまうおそれがあった。
【０００７】
本技術は、このような状況に鑑みて提案されたものであり、このようなデジタル処理による画質の低減を抑制することができるようにすることを目的とする。
【課題を解決するための手段】
【０００８】
本技術の一側面は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部から前記画像データを読み出して信号処理する信号処理部と、処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部とを備える撮像素子である。
【０００９】
前記制御部は、前記アナログ処理が実行されていない期間に前記デジタル処理を実行させることができる。
【００１０】
前記制御部は、前記読み出し処理が実行されていない期間に前記デジタル処理を実行させることができる。
【００１１】
前記制御部は、前記アナログ処理がノイズの影響を受け難い期間に前記デジタル処理を実行させることができる。
【００１２】
前記アナログ処理は、前記アナログの画素信号を前記デジタルの画像データに変換するA/D変換処理を含むことができる。
【００１３】
前記制御部は、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させることができる。
【００１４】
前記アナログ処理は、前記A/D変換処理を用いた相関二重サンプリングを含み、前記制御部は、P相とD相のそれぞれについて、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させることができる。
【００１５】
前記デジタル処理は、前記信号処理した前記画像データを前記記憶部に格納させ、出力する前記画像データを前記記憶部から読み出し、前記記憶部から読み出された前記画像データを出力する出力部をさらに備え、前記制御部は、処理実行タイミングを制御し、前記出力部による前記画像データを出力する出力処理への影響が少ないタイミングで前記デジタル処理を実行させることができる。
【００１６】
前記制御部は、前記出力処理が実行されていない期間に前記デジタル処理を実行させることができる。
【００１７】
前記制御部は、処理実行タイミングを制御し、前記読み出し処理および前記アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記記憶部の制御処理を実行させることができる。
【００１８】
前記制御部は、前記アナログ処理が実行されていない期間に前記記憶部の制御処理を実行させることができる。
【００１９】
前記制御部は、前記読み出し処理が実行されていない期間に前記記憶部の制御処理を実行させることができる。
【００２０】
前記記憶部は、フレームメモリであるようにすることができる。
【００２１】
消費電力を検出する消費電力検出部をさらに備え、前記制御部は、前記消費電力検出部による前記消費電力の検出結果に基づいて、前記デジタル処理の処理実行タイミングを制御することができる。
【００２２】
前記制御部は、前記消費電力が小さい期間に前記デジタル処理を実行させることができる。
【００２３】
各処理部のデジタル電源を利用して駆動する回路は、共通のデジタル電源を利用することができる。
【００２４】
前記画素アレイ、前記アナログ処理部、前記信号処理部、および前記制御部は、互いに同一の半導体基板に形成されることができる。
【００２５】
前記記憶部も前記半導体基板に形成されるようにすることができる。
【００２６】
本技術の一側面は、また、処理実行タイミングを制御し、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御方法である。
【００２７】
本技術の他の側面は、被写体を撮像する撮像部と、前記撮像部による撮像により得られた画像データを画像処理する画像処理部とを備え、前記撮像部は、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、前記画像データを格納する記憶部と、前記記憶部から前記画像データを読み出して信号処理する信号処理部と、処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部とを備える撮像装置である。
【００２８】
本技術の一側面においては、撮像素子において、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理が実行される。
【００２９】
本技術の他の側面においては、撮像装置において、被写体が撮像され、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号が読み出され、アナログの前記画素信号に対して信号処理が行われ、デジタルの画像データに変換されて記憶部に格納され、その記憶部から画像データが読み出されて信号処理され、読み出し処理とアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、デジタル処理が実行され、以上のような撮像により得られた画像データが画像処理される。
【発明の効果】
【００３０】
本技術によれば、撮像画像を得ることが出来る。また本技術によれば、撮像画像の画質の低減を抑制することができる。
【図面の簡単な説明】
【００３１】
【図１】イメージセンサの主な構成例を示す図である。
【図２】デジタル処理の動作による影響の例を説明する図である。
【図３】イメージセンサの主な構成例を示すブロック図である。
【図４】各処理部で実行される処理の例を示す図である。
【図５】イメージセンサの主な構成例を示すブロック図である。
【図６】単位画素の主な構成例を示す図である。
【図７】制御信号の例を示す図である。
【図８】制御処理の流れの例を説明するフローチャートである。
【図９】フレーム時間分離の例を説明する図である。
【図１０】デジタル制御処理の流れの例を説明するフローチャートである。
【図１１】ライン時間分離の例を説明する図である。
【図１２】デジタル制御処理の流れの例を説明するフローチャートである。
【図１３】DRAM制御の例を示す図である。
【図１４】フレームメモリ制御処理の流れの例を説明するフローチャートである。
【図１５】イメージセンサの主な構成例を示すブロック図である。
【図１６】デジタル制御処理の様子の例を説明する図である。
【図１７】制御処理の流れの例を説明するフローチャートである。
【図１８】デジタル制御処理の流れの例を説明するフローチャートである。
【図１９】端子の構成例を示す図である。
【図２０】イメージセンサの物理構成の例を示す図である。
【図２１】撮像装置の主な構成例を示す図である。
【発明を実施するための形態】
【００３２】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（イメージセンサ）
２．第２の実施の形態（イメージセンサ）
３．第３の実施の形態（イメージセンサ）
４．第４の実施の形態（撮像装置）
【００３３】
＜１．第１の実施の形態＞
＜デジタル処理の増加＞
従来のイメージセンサで行われるデジタル処理は、主に、画素やアナログ処理の制御に関する処理であるため、その動作が画素やアナログ処理へ影響を与えることは少なかった。そのため、従来のイメージセンサでは、画素、アナログ処理、デジタル処理、出力処理等の各処理は、処理遅延のみが付加された同一のタイミングで実行されていた。
【００３４】
ところで、特許文献１には、イメージセンサにおける、画素アレイ部の各画素からの信号の読み出し方法として、画素から読み出したアナログ画素信号をデジタル化する信号処理部の後段に不揮発メモリを設け、当該不揮発メモリを用いて高速読み出しを実現する方法が記載されている。しかしながら、この場合も、信号読み出しに関する処理以外のデジタル処理は行われておらず、処理遅延を除くと、画素、アナログ処理、デジタル処理等は同一のタイミングで実行されているが、その動作が画素やアナログ処理へ影響を与えることは少なかった。
【００３５】
近年、イメージセンサの高機能化（付加価値）に伴い、イメージセンサ内において、画素信号をA/D変換するだけでなく、そのA/D変換されたデジタルの画像データに対してデジタル処理が行われるようになってきた。例えば図１Ａに示されるイメージセンサ１０のように、画素やアナログ回路等が設けられる画素・アナログ処理部１１に加え、デジタル回路等が設けられるデジタル処理部１２が設けられるようになってきた。そして、そのデジタル処理への要求は高まる一方であり、より複雑な処理やより多様な処理を行うことが求められている。そのため、デジタル処理の処理量は増大し、デジタル回路の回路規模や消費電力量は、増加の一途を辿っている。
【００３６】
しかしながら、このようにイメージセンサで行われるデジタル処理の規模が増大すると、そのデジタル処理の動作がノイズ源となり、画素やアナログ処理へ画質（品質）面で影響を与える可能性が大きくなってきた。
【００３７】
例えば、図１Ｂに示されるように、画素・アナログ処理部１１の一部または全部の回路が、デジタル処理部１２と共通の電源（VDIG）やグランド（DGND）を有する場合がある。このような場合、デジタル処理部１２（デジタル回路）の動作によるデジタル電源・電流の変動がノイズとして、その電源配線２１やグランド配線２２を介して画素・アナログ処理部１１（画素信号の読出し回路やアナログ回路等）に伝搬するおそれがあった。
【００３８】
また、例えば、電源配線２１やグランド配線２２と画素・アナログ処理部１１の（アナログ回路の）配線との間で容量性のカップリングや相互インダクタンス（電流磁場）によるカップリングが発生し、デジタル処理部１２の動作によるノイズが画素・アナログ処理部１１に伝搬する恐れがあった。
【００３９】
このように、デジタル処理の機能On/Offや入力画像に依存してノイズ源が発生することにより、画像データにノイズ成分が混入し、結果として出力画像において、帯・筋・むらとして劣化の影響が出てしまうおそれがあった。つまり、デジタル処理がノイズ源となることにより、出力画像の画質が低減するおそれがあった。
【００４０】
例えば、１フレーム分の処理において、従来のイメージセンサでは、画素信号の読み出し処理、アナログ処理、デジタル処理、および出力処理の各処理の処理タイミングが、図２Ａに示されるように互いに重複していたが、この場合、デジタル処理において、容量性のカップリングや相互インダクタンスによるカップリングによるクロストークノイズや、電源ノイズが発生すると、そのノイズが、そのデジタル処理と並行して実行されている画素読み出し、アナログ処理、出力処理に混入（伝搬）し、出力画像の画質が低減するおそれがあった。
【００４１】
また、例えば、アナログ処理では、図２Ｂに示されるように、A/D変換における画素信号と所定の参照信号との比較中がノイズの影響を受けやすい。このような期間にアナログ処理と並行してデジタル処理が行われると、ノイズが伝搬し易く、出力画像の画質がより大きく低減するおそれがあった。
【００４２】
＜フロー制御＞
そこで、イメージセンサに、フレームや十分な量のラインを格納することができる大容量の記憶部を設け、その記憶部を用いてデジタル処理を、読み出し処理やアナログ処理とは独立に制御（フロー制御）するようにする。そして、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御するようにする。換言するに、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間に、デジタル処理を停止するようにする。
【００４３】
ここで、読み出し処理は、例えば、画素アレイの各画素から画素信号を読み出す処理であり、アナログ処理は、例えば、画素から読み出されたアナログの画素信号に対する信号処理であり、デジタル処理は、例えば、アナログの画素信号がA/D変換されたデジタルの画像データに対する信号処理である。
【００４４】
また、記憶部は、例えばDRAM（Dynamic Random Access Memory）やSRAM（Static Random Access Memory）等、任意の記憶媒体により構成される。
【００４５】
このようにすることにより、デジタル処理の動作によるノイズの、読み出し処理またはアナログ処理への影響を低減させることができるので、出力画像の画質の低減を抑制することができる。
【００４６】
なお、デジタル処理を停止する代わりに、デジタル処理の処理量を低減させるようにしてもよい。例えば、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間において、その一部のみデジタル処理の実行を停止する（換言するに、デジタル処理が実行される期間を間引く）ようにしてもよい。
【００４７】
また、記憶部を用いてデジタル処理を、出力処理に対しても独立に制御（フロー制御）するようにし、その出力処理への影響が少ないタイミングでデジタル処理を実行させるようにしてもよい。換言するに、出力処理への影響が大きい期間に、デジタル処理を停止するようにしてもよい。
【００４８】
ここで、出力処理は、例えば、画像データを撮像素子の外部に出力する処理である。
【００４９】
このようにすることにより、デジタル処理の動作によるノイズの、出力処理への影響を低減させることができるので、出力画像の画質の低減を抑制することができる。
【００５０】
＜イメージセンサ＞
このような本技術を適用した撮像素子の一実施の形態であるイメージセンサの構成例を、図３に示す。図３に示されるイメージセンサ１００は、被写体からの光を光電変換して画像データとして出力するデバイスである。例えば、イメージセンサ１００は、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサ、CCD（Charge Coupled Device）を用いたCCDイメージセンサ等として構成される。
【００５１】
図３に示されるように、イメージセンサ１００は、画素アレイ部１１１、アナログ処理部１１２、デジタル処理部１１３、メモリバス１１４、フレームメモリ１１５、および出力部１１６を有する。
【００５２】
画素アレイ部１１１は、フォトダイオード等の光電変換素子を有する画素構成（単位画素）が平面状または曲面状に配置される画素領域である。画素アレイ部１１１の各単位画素は、被写体からの光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、その電荷を画素信号として出力する。読み出し処理は、このような単位画素から画素信号を読み出す処理である。
【００５３】
アナログ処理部１１２は、画素アレイ部１１１の各単位画素から読み出されたアナログの画素信号に対してアナログ処理を行う。このアナログ処理には、例えば、画素信号をデジタルの画像データに変換するA/D変換処理が含まれる。
【００５４】
デジタル処理部１１３は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理やタイミング制御等のロジック処理を行う。図３に示されるように、デジタル処理部１１３は、タイミング制御部１２１および信号処理部１２２を有する。
【００５５】
タイミング制御部１２１は、画素アレイ部１１１、アナログ処理部１１２、信号処理部１２２、および出力部１１６の動作タイミングを制御する。信号処理部１２２は、アナログ処理部１１２によりA/D変換されたデジタルの画像データに対して信号処理を行う。このデジタル処理には、例えば、図４に示されるように、画素並び替え処理や黒レベル処理等のセンサー機能の1次処理、並びに、HDR（High Dynamic Range）処理や解像度やアスペクト比を変換するスケーリング処理等の画像処理の2次処理、並びに、出力制御等の3次処理等が含まれる。
【００５６】
また、信号処理部１２２は、画像データのフレームメモリ１１５への書き込みや読み出しを行う。例えば、画像データの書き込みを行う場合、信号処理部１２２は、画像データをメモリバス１１４を介してフレームメモリ１１５に供給する。また、画像データの読み出しを行う場合、信号処理部１２２は、所望の画像データをフレームメモリ１１５に対して要求し、メモリバス１１４を介してその画像データを取得する。さらに、信号処理部１２２は、画像データを出力させる出力制御処理を行う。例えば、画像データをイメージセンサ１００の外部に出力する場合、信号処理部１２２は、その画像データを、フレームメモリ１１５からメモリバス１１４を介して取得し、出力部１１６に供給する。
【００５７】
メモリバス１１４は、デジタル処理部１１３（信号処理部１２２）とフレームメモリ１１５との間に設けられたデータ伝送路である。フレームメモリ１１５に格納されるデータ（画像データ等）は、このメモリバス１１４を介して伝送される。
【００５８】
フレームメモリ１１５は、上述した記憶部の一実施の形態であり、１フレーム以上の画像データを格納することができる容量を有する記憶媒体である。フレームメモリ１１５は、例えばDRAMを用いて形成される。もちろん、SRAMやフラッシュメモリ等のその他の半導体メモリを用いるようにしてもよい。フレームメモリ１１５は、信号処理部１２２からメモリバス１１４を介して供給される画像データを格納する。また、フレームメモリ１１５は、信号処理部１２２の要求に応じて、格納している画像データを、メモリバス１１４を介して信号処理部１２２に供給する。つまり、フレームメモリ１１５は、画素アレイ部１１１から読み出された画素信号から生成された画像データを格納する。
【００５９】
出力部１１６は、例えば、高速I/F(MIPI（Mobile Industry Processor Interface）)やI/Oセル等よりなり、信号処理部１２２を介してフレームメモリ１１５から取得した画像データを、イメージセンサ１００の外部に出力する。
【００６０】
このようにイメージセンサ１００は、フレームメモリ１１５を有する。タイミング制御部１２１は、このフレームメモリ１１５を利用して、信号処理部１２２におけるデジタルの画像データに対する信号処理であるデジタル処理を、画素アレイ部１１１における画素信号を読み出す読み出し処理や、アナログ処理部１１２におけるアナログの画素信号に対する信号処理であるアナログ処理に対して独立に実行させるようにする（フロー制御を行う）。
【００６１】
そして、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御する。換言するに、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間に、デジタル処理を停止させる。
【００６２】
このようにすることにより、デジタル処理の動作によるノイズの、読み出し処理またはアナログ処理への影響を低減させることができる。
【００６３】
なお、タイミング制御部１２１は、このフレームメモリ１１５を利用して、デジタル処理を、出力部１１６における画像データを出力する出力処理に対しても独立に実行させるようにしてもよい。
【００６４】
そして、タイミング制御部１２１は、その出力処理への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御するようにしてもよい。換言するに、タイミング制御部１２１は、出力処理への影響が大きい期間に、デジタル処理を停止させるようにしてもよい。
【００６５】
このようにすることにより、デジタル処理の動作によるノイズの、出力処理への影響を低減させることができる。
【００６６】
つまり、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【００６７】
＜ラインメモリ＞
なお、フレームメモリ１１５の代わりにラインメモリを用いるようにしてもよい。図５にその場合のイメージセンサ１００の主な構成例を示す。図５の例の場合、イメージセンサ１００は、メモリバス１１４およびフレームメモリ１１５の代わりに、ラインメモリ１２３およびラインメモリ１２４を有する。
【００６８】
ラインメモリ１２３およびラインメモリ１２４は、上述した記憶部の一実施の形態であり、１ライン以上の画像データを格納することができる容量を有する記憶媒体である。ラインメモリ１２３およびラインメモリ１２４の記憶容量は、十分に多くのライン数の画像データを格納することができれば（十分に大容量であれば）、任意である。例えば、ラインメモリ１２３およびラインメモリ１２４がそれぞれ１フレーム分以上のライン数を記憶することができるようにしてもよい。換言するに、このラインメモリ１２３およびラインメモリ１２４をそれぞれフレームメモリとすることもできる。なお、ラインメモリ１２３の記憶容量とラインメモリ１２４の記憶容量とが同一であってもよいし、同一でなくてもよい。以上のように、記憶部の構成は任意である。
【００６９】
ラインメモリ１２３およびラインメモリ１２４は、例えばSRAMを用いて形成される。もちろん、DRAMやフラッシュメモリ等のその他の半導体メモリを用いるようにしてもよい。ラインメモリ１２３とラインメモリ１２４とが互いに同種の半導体メモリにより形成されるようにしてもよいし、互いに異なる種類の半導体メモリにより形成されるようにしてもよい。
【００７０】
ラインメモリ１２３は、アナログ処理部１１２と信号処理部１２２との間に形成される。ラインメモリ１２３は、アナログ処理部１１２から出力されるデジタルの画像データを所定ライン数分記憶する。ラインメモリ１２３は、所定のタイミングにおいて、記憶している画像データを信号処理部１２２に供給する。このとき、ラインメモリ１２３は、記憶している画像データのラインの内、一部のラインを信号処理部１２２に供給するようにしてもよいし、記憶している全ラインを信号処理部１２２に供給するようにしてもよい。
【００７１】
信号処理部１２２は、ラインメモリ１２３から読み出した所定ライン数分の画像データに対して信号処理（デジタル処理）を施し、処理後の画像データをラインメモリ１２４に供給し、記憶させる。
【００７２】
ラインメモリ１２４は、デジタル処理部１１３と出力部１１６との間に形成される。ラインメモリ１２４は、デジタル処理部１１３から出力されるデジタル処理された画像データを所定ライン数分記憶する。ラインメモリ１２４は、所定のタイミングにおいて、記憶している画像データを出力部１１６に供給する。このとき、ラインメモリ１２４は、記憶している画像データのラインの内、一部のラインを出力部１１６に供給するようにしてもよいし、記憶している全ラインを出力部１１６に供給するようにしてもよい。
【００７３】
タイミング制御部１２１は、このラインメモリ１２３を利用して、信号処理部１２２におけるデジタルの画像データに対する信号処理であるデジタル処理を、画素アレイ部１１１における画素信号を読み出す読み出し処理や、アナログ処理部１１２におけるアナログの画素信号に対する信号処理であるアナログ処理に対して独立に実行させるようにする（フロー制御を行う）。
【００７４】
そして、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御する。換言するに、タイミング制御部１２１は、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間に、デジタル処理を停止させる。
【００７５】
このようにすることにより、デジタル処理の動作によるノイズの、読み出し処理またはアナログ処理への影響を低減させることができる。
【００７６】
なお、タイミング制御部１２１は、ラインメモリ１２４を利用して、デジタル処理を、出力部１１６における画像データを出力する出力処理に対しても独立に実行させるようにしてもよい。
【００７７】
そして、タイミング制御部１２１は、その出力処理への影響が少ないタイミングでデジタル処理を実行させるように、各処理の動作タイミングを制御するようにしてもよい。換言するに、タイミング制御部１２１は、出力処理への影響が大きい期間に、デジタル処理を停止させるようにしてもよい。
【００７８】
このようにすることにより、デジタル処理の動作によるノイズの、出力処理への影響を低減させることができる。
【００７９】
つまり、イメージセンサ１００は、この場合も、図３の場合と同様に、出力画像の画質の低減を抑制することができる。
【００８０】
＜単位画素構成＞
ここで、画素アレイ部１１１に形成される各単位画素の主な構成の例を図６に示す。画素アレイ部１１１に形成される各単位画素は、図６に示される例のような、基本的に互いに同一の構成を有する。図６に示される例の場合、単位画素１３１は、フォトダイオード１４１、読み出しトランジスタ１４２、リセットトランジスタ１４３、増幅トランジスタ１４４、およびセレクトトランジスタ１４５を有する。
【００８１】
フォトダイオード（PD）１４１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード１４１のアノード電極は画素領域のグランド（画素グランド）に接続され、カソード電極は読み出しトランジスタ１４２を介してフローティングディフュージョン（FD）に接続される。
【００８２】
読み出しトランジスタ１４２は、フォトダイオード１４１からの光電荷の読み出しを制御する。読み出しトランジスタ１４２は、ドレイン電極がフローティングディフュージョンに接続され、ソース電極がフォトダイオード１４１のカソード電極に接続される。また、読み出しトランジスタ１４２のゲート電極には、画素駆動部（図示せず）から制御信号TRGが供給される。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオフ状態のとき、フォトダイオード１４１からの光電荷の読み出しが行われない（フォトダイオード１４１において光電荷が蓄積される）。制御信号TRG（すなわち、読み出しトランジスタ１４２のゲート電位）がオン状態のとき、フォトダイオード１４１に蓄積された光電荷が読み出され、フローティングディフュージョン（FD）に供給される。
【００８３】
リセットトランジスタ１４３は、フローティングディフュージョン（FD）の電位をリセットする。リセットトランジスタ１４３は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン（FD）に接続される。また、リセットトランジスタ１４３のゲート電極には、画素駆動部（図示せず）から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオフ状態のとき、フローティングディフュージョン（FD）は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ１４３のゲート電位）がオン状態のとき、フローティングディフュージョン（FD）の電荷が電源電位に捨てられ、フローティングディフュージョン（FD）がリセットされる。
【００８４】
増幅トランジスタ１４４は、フローティングディフュージョン（FD）の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ１４４は、ゲート電極がフローティングディフュージョン（FD）に接続され、ドレイン電極が電源電位に接続され、ソース電極がセレクトトランジスタ１４５のドレイン電極に接続されている。例えば、増幅トランジスタ１４４は、リセットトランジスタ１４３によってリセットされたフローティングディフュージョン（FD）の電位をリセット信号（リセットレベル）としてセレクトトランジスタ１４５に出力する。また、増幅トランジスタ１４４は、読み出しトランジスタ１４２によって光電荷が転送されたフローティングディフュージョン（FD）の電位を光蓄積信号（信号レベル）としてセレクトトランジスタ１４５に出力する。
【００８５】
セレクトトランジスタ１４５は、増幅トランジスタ１４４から供給される電気信号の垂直信号線VSLへの出力を制御する。セレクトトランジスタ１４５は、ドレイン電極が増幅トランジスタ１４４のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、セレクトトランジスタ１４５のゲート電極には、画素駆動部（図示せず）から制御信号SELが供給される。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオフ状態のとき、増幅トランジスタ１４４と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、セレクトトランジスタ１４５のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。つまり、増幅トランジスタ１４４と垂直信号線VSLが電気的に接続され、増幅トランジスタ１４４から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
【００８６】
＜制御信号＞
タイミング制御部１２１は、制御信号を信号処理部１２２に供給することにより、信号処理部１２２による信号処理（デジタル処理）の動作を制御する。
【００８７】
例えば、図７Ａの例のように、タイミング制御部１２１が、データ出力を制御するデータイネーブル信号（DATA_EN）を信号処理部１２２に供給するようにしてもよい。この場合、データイネーブル信号（DATA_EN）が"L(Low)"のとき、信号処理部１２２は、データ出力（DATA）を停止する。
【００８８】
したがって、例えば、タイミング制御部１２１は、信号処理部１２２に供給するデータイネーブル信号（DATA_EN）を"L(Low)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ない期間のみ、そのデータイネーブル信号（DATA_EN）を"H(High)"とする。また、例えば、タイミング制御部１２１は、信号処理部１２２に供給するデータイネーブル信号（DATA_EN）を"H(High)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間のみ、そのデータイネーブル信号（DATA_EN）を"L(Low)"とする。
【００８９】
また、例えば、図７Ｂの例のように、タイミング制御部１２１が、信号処理部１２２のクロック信号を制御するクロックイネーブル信号（CLK_EN）を信号処理部１２２に供給するようにしてもよい。この場合、クロックイネーブル信号（CLK_EN）が"L(Low)"のとき、信号処理部１２２へのクロック信号（CLK）の供給が停止する。
【００９０】
したがって、例えば、タイミング制御部１２１は、信号処理部１２２に供給するクロックイネーブル信号（CLK_EN）を"L(Low)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が少ない期間のみ、そのクロックイネーブル信号（CLK_EN）を"H(High)"とする。また、例えば、タイミング制御部１２１は、信号処理部１２２に供給するクロックイネーブル信号（CLK_EN）を"H(High)"とし、読み出し処理やアナログ処理の内、少なくともいずれか一方への影響が大きい期間のみ、そのクロックイネーブル信号（CLK_EN）を"L(Low)"とする。
【００９１】
以上のような制御信号を用いることにより、タイミング制御部１２１は、信号処理部１２２の動作を制御することができる。
【００９２】
＜制御処理の流れ＞
次に、図８のフローチャートを参照して、以上のような信号処理部１２２の動作の制御を行うためにタイミング制御部１２１が実行する制御処理の流れの例を説明する。制御処理が開始されると、タイミング制御部１２１は、ステップＳ１０１において、例えば、画素アレイ部１１１に制御信号を供給する等して画素アレイ部１１１の動作を制御し、画素アレイの各画素に光電変換を行わせ、各画素から画素信号を読み出させる。
【００９３】
ステップＳ１０２において、タイミング制御部１２１は、例えばアナログ処理部１１２に制御信号を供給する等してアナログ処理部１１２の動作を制御し、ステップＳ１０１の制御により得られたアナログの各画素信号に対して、例えばA/D変換等のアナログ処理を行わせる。
【００９４】
ステップＳ１０３において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号（例えば図７のデータイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN））を供給する等して信号処理部１２２の動作を制御し、他の処理（例えば、ステップＳ１０１の制御による読み出し処理、ステップＳ１０２の制御によるアナログ処理、ステップＳ１０４の制御による出力処理等）への影響が少ないタイミングで、ステップＳ１０２の制御により得られたデジタルの画像データに対してデジタル処理を行わせる。
【００９５】
ステップＳ１０４において、タイミング制御部１２１は、例えば出力部１１６に制御信号を供給する等して出力部１１６の動作を制御し、ステップＳ１０３の制御により適宜デジタル処理された画像データを出力させる。
【００９６】
ステップＳ１０４の処理が終了すると、制御処理が終了する。
【００９７】
以上の制御処理において、ステップＳ１０１の制御により実行される読み出し処理、ステップＳ１０２の制御により実行されるアナログ処理、およびステップＳ１０４の制御により実行される出力処理の各処理は、予め定められた所定のタイミングで実行される。各処理の実行タイミングはどのようなタイミングであってもよいが、一般的に、これらの処理は、少なくともその一部が、互いに並行して実行される。つまり、これらの各処理の処理実行期間の少なくとも一部が重複する。
【００９８】
これらの処理に対して、デジタル処理は、ステップＳ１０３の制御により、他の処理への影響が少ないタイミングで実行される。つまり、タイミング制御部１２１は、以上のような制御処理を実行することにより、デジタル処理を、他の処理への影響が少ないタイミングで実行させることができる。したがって、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【００９９】
なお、このデジタル処理の実行タイミングが、他の処理の実行タイミングに基づいて予め決められていてももちろんよい。
【０１００】
＜フレーム時間分離＞
次に、図８の制御処理のステップＳ１０３の制御の詳細の例について説明する。デジタル処理は、例えば、読み出し処理が実行されていない期間に実行させるようにしてもよい。また、デジタル処理は、例えば、アナログ処理が実行されていない期間に実行させるようにしてもよい。また、デジタル処理は、例えば、出力処理が実行されていない期間に実行させるようにしてもよい。また、デジタル処理は、例えば、読み出し処理、アナログ処理、および出力処理の内、少なくともいずれか１つが実行されていない期間に実行させるようにしてもよいし、これらの処理が全て実行されていない期間に実行させるようにしてもよい。
【０１０１】
例えば、図９に示されるように、１フレーム分の処理を行う期間（垂直同期期間XVS）において、読み出し処理、アナログ処理、出力処理のいずれも実行されていない期間にデジタル処理を実行するようにしてもよい。図９の例の場合、デジタル処理によりクロストークノイズや電源ノイズが発生するが、他の処理（読み出し処理、アナログ処理、出力処理）がこのデジタル処理と並行して実行されないため、そのノイズは他の処理にほとんど伝搬しない。したがって、デジタル処理によるノイズの、他の処理への影響を低減させることができる。つまり、タイミング制御部１２１が、このようにデジタル処理の実行タイミングを制御することにより、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【０１０２】
この場合の、ステップＳ１０３において実行されるデジタル制御処理の流れの例を、図１０のフローチャートを参照して説明する。
【０１０３】
デジタル制御処理が開始されると、タイミング制御部１２１は、ステップＳ１２１において信号処理部１２２を制御し、画像データに対してデジタル処理を実行させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１０２の制御により得られた画像データに対して、デジタル処理として簡易な処理である１次処理を行う。この１次処理の内容は任意であり、省略することもできる。
【０１０４】
ステップＳ１２２において、タイミング制御部１２１は、信号処理部１２２を制御し、画像データを、フレームメモリ１１５に格納させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１２１の制御によりフロントエンド処理された画像データを、メモリバス１１４を介してフレームメモリ１１５に供給し、格納させる。
【０１０５】
ステップＳ１２３において、タイミング制御部１２１は、処理対象の画像データに対して未処理のデジタル処理が存在するか否かを判定する。なお、この処理対象の画像データは、フレーム全体の画像データであってもよいし、フレーム内の一部の画像データであってもよい。また、処理対象の画像データは、ステップＳ１２２の制御によりフレームメモリ１１５に格納された画像データでなくてもよい。例えば、ステップＳ１２２の制御によりフレームメモリ１１５に格納された画像データのフレームよりも前のフレームの画像データ（以前に格納された画像データ）を、処理対象の画像データとしてもよい。
【０１０６】
未処理のデジタル処理が存在すると判定された場合、処理はステップＳ１２４に進む。
【０１０７】
ステップＳ１２４において、タイミング制御部１２１は、デジタル処理以外の他の処理（例えば、読み出し処理、アナログ処理、出力処理等）が行われていないか否かを判定する。他の処理が行われていないと判定された場合、処理はステップＳ１２５に進む。
【０１０８】
この「他の処理が行われていない」場合は、「他の処理が完全に行われていない（いずれの他の処理も行われていない）場合」であってもよいし、「少なくとも他の処理の一部が行われていない場合」であってもよい。例えば、他の処理が、読み出し処理、アナログ処理、および出力処理であるとすると、これらの処理の全てが行われていない場合のみ処理がステップＳ１２５に進むようにしてもよいし、これらの処理の内いずれか１つでも行われていない場合は、処理がステップＳ１２５に進むようにしてもよいし、これらの処理の内の所定数（例えば２つ）以上の処理が行われていない場合は、処理がステップＳ１２５に進むようにしてもよい。
【０１０９】
また、例えば、アナログ処理が行われていない場合や、アナログ処理と読み出し処理が行われていない場合等のように、他の処理の中の所定の処理が実行されていない場合に処理がステップＳ１２５に進むようにしてもよい。
【０１１０】
ステップＳ１２５において、タイミング制御部１２１は、信号処理部１２２を制御し、処理対象の画像データをフレームメモリ１１５から読み出させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、フレームメモリ１１５に格納されている処理対象の画像データを、メモリバス１１４を介してフレームメモリ１１５から取得する。
【０１１１】
ステップＳ１２６において、タイミング制御部１２１は、信号処理部１２２を制御し、画像データに対してデジタル処理を行う。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１２５の制御によりフレームメモリ１１５から読み出された画像データに対して、デジタル処理として２次処理を行う。この２次処理の内容は任意である。
【０１１２】
ステップＳ１２７において、タイミング制御部１２１は、信号処理部１２２を制御し、画像データを、フレームメモリ１１５に格納させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいて、ステップＳ１２６の制御によりバックエンド処理された画像データを、メモリバス１１４を介してフレームメモリ１１５に供給し、格納させる。
【０１１３】
ステップＳ１２７の処理が終了すると、処理はステップＳ１２３に戻り、それ以降の処理が繰り返される。
【０１１４】
また、ステップＳ１２４において、他の処理が行われていると判定された場合、ステップＳ１２５乃至ステップＳ１２７の処理が省略され、処理はステップＳ１２３に戻り、それ以降の処理が繰り返される。この「他の処理が行われている」場合は、上述した「他の処理が行われていない場合」以外の全ての場合である。
【０１１５】
以上のように、処理対象の画像データに対して未処理のデジタル処理（２次処理）が無くなるまで、ステップＳ１２３乃至ステップＳ１２７の各処理が実行される。
【０１１６】
そしてステップＳ１２３において、未処理のデジタル処理が存在しないと判定された場合、処理はステップＳ１２８に進む。ステップＳ１２８において、タイミング制御部１２１は、信号処理部１２２を制御し、処理対象の画像データ（出力する画像データ）をフレームメモリ１１５から読み出させる。信号処理部１２２は、このタイミング制御部１２１の制御に基づいてデジタル処理として３次処理を行い、フレームメモリ１１５に格納されている処理対象の画像データを、メモリバス１１４を介してフレームメモリ１１５から取得し、出力部１１６に供給する。
【０１１７】
ステップＳ１２８の処理が終了すると、デジタル制御処理が終了し、処理は、図８に戻る。
【０１１８】
以上のようにデジタル制御処理を行うことにより、タイミング制御部１２１は、デジタル処理のフロー制御を実現し、他の処理が実行されていない期間にデジタル処理を実行させるようにすることができる。したがって、デジタル処理によるノイズの、他の処理への影響を低減させることができ、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【０１１９】
また、以上のようにデジタル制御処理を行うことにより、アナログ回路とデジタル回路が同時に動作する期間が低減するので、電源配線やグランド配線に生じる、消費電力増大に伴うIR積の電圧降下であるIRドロップを低減させることができる。したがって、イメージセンサ１００は、電圧マージンを増大させることができる。
【０１２０】
＜ライン時間分離＞
また、デジタル処理は、例えば、アナログ処理がノイズの影響を受け難い期間に実行させるようにしてもよい。換言するに、アナログ処理がノイズの影響を受け易い期間は、デジタル処理を停止するようにしてもよい。そのアナログ処理は、例えば、アナログの画素信号をデジタルの画像データに変換するA/D変換処理を含むようにしてもよい。そして、アナログ処理がノイズの影響を受け易い期間は、そのA/D変換処理における、画素信号と所定の参照信号との比較している期間であるようにしてもよい。すなわち、その画素信号と所定の参照信号との比較中は、デジタル処理を停止させるようにしてもよい。換言するに、それ以外の期間に、デジタル処理を行わせるようにしてもよい。
【０１２１】
例えば、アナログ処理としてA/D変換処理を用いた相関二重サンプリングが行われるようにし、アナログ処理がノイズの影響を受け易い期間が、その相関二重サンプリングのP相とD相のそれぞれについてのA/D変換処理における、画素信号と所定の参照信号との比較している期間であるようにしてもよい。例えば、図１１に示されるように、１ライン分の処理を行う期間（水平同期期間XHS）において、アナログ処理として行われる相関二重サンプリングのＰ相とＤ相のそれぞれについてのA/D変換処理における、画素信号と所定の参照信号との比較が行われている期間において、デジタル処理を停止させ、それ以外の期間においてデジタル処理を実行させるようにしてもよい。
【０１２２】
この場合も、デジタル処理によりクロストークノイズや電源ノイズが発生するが、アナログ処理がノイズの影響を受け易い期間は、そのデジタル処理が行われないため、そのノイズはアナログ処理に伝搬し難い。したがって、デジタル処理によるノイズの、アナログ処理への影響を低減させることができる。つまり、タイミング制御部１２１が、このようにデジタル処理の実行タイミングを制御することにより、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【０１２３】
この場合の、ステップＳ１０３において実行されるデジタル制御処理の流れの例を、図１２のフローチャートを参照して説明する。この場合も、デジタル制御処理は、図１０のフローチャートを参照して説明した場合と基本的に同様に行われる。つまり、図１２のステップＳ１４１乃至ステップＳ１４３の各処理、並びに、ステップＳ１４５乃至ステップＳ１４８の各処理は、それぞれ、図１０のステップＳ１２１乃至ステップＳ１２３、並びに、ステップＳ１２５乃至ステップＳ１２８の各処理と同様に実行される。
【０１２４】
ただし、図１２の例の場合、図１０のステップＳ１２４の代わりに、ステップＳ１４４の処理が行われる。
【０１２５】
ステップＳ１４４において、タイミング制御部１２１は、ステップＳ１２４の場合と異なり、デジタル処理以外の他の処理（例えば、アナログ処理）が影響を受け難い状態であるか否かを判定する。他の処理が影響を受け難い状態であると判定された場合、処理はステップＳ１４５に進む。
【０１２６】
なお、他の処理は、アナログ処理であってもよいが、アナログ処理以外の処理であってもよい。また、この「他の処理が影響を受け難い状態である」場合は、実行される他の処理によって定まる期間であり、一般的にはどのようなものであってもよい。例えば、他の処理として、A/D変換処理等のアナログ処理が行われる場合、上述した「A/D変換処理における、画素信号と所定の参照信号との比較が行われている期間」であってもよい。
【０１２７】
この「他の処理が影響を受け難い状態」の期間は、予め定められていてもよい。その場合、タイミング制御部１２１は、現在がどの期間であるかを判定することにより、「他の処理が影響を受け難い状態」の期間であるか否かを判定することができる。また、この「他の処理が影響を受け難い状態」の期間は、予め定められていなくてもよい。その場合、タイミング制御部１２１は、何らかの方法で、実行されている他の処理が「影響を受け難い状態」であるか否かを判定するようにすればよい。この判定方法は任意である。
【０１２８】
ステップＳ１４５に処理が進むと、ステップＳ１４５乃至ステップＳ１４７の各処理が実行され、処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。
【０１２９】
また、ステップＳ１４４において、他の処理が影響を受け難い状態でないと判定された場合、ステップＳ１４５乃至ステップＳ１４７の処理が省略され、処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。この「他の処理が影響を受け難い状態」でない場合は、上述した「他の処理が影響を受け難い状態」である場合以外の全ての場合である。
【０１３０】
ステップＳ１４８の処理が終了すると、デジタル制御処理が終了し、処理は、図８に戻る。
【０１３１】
以上のようにデジタル制御処理を行うことにより、タイミング制御部１２１は、デジタル処理のフロー制御を実現し、他の処理が影響を受け難い状態である期間にデジタル処理を実行させるようにすることができる。したがって、デジタル処理によるノイズの、他の処理への影響を低減させることができ、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【０１３２】
＜DRAM制御＞
また、上述したような画像データに対するデジタル処理だけでなく、フレームメモリ１１５に対する制御処理（例えばDRAMのリフレッシュ等）についても、上述したデジタル処理の場合と同様に制御するようにしてもよい。このフレームメモリ１１５に対する制御処理には、例えばリフレッシュ制御（オートリフレッシュ等）のような、制御対象がデータでない処理が含まれるようにすることができる。つまり、このようなデータ制御でない処理についても、本技術を適用することができる。
【０１３３】
例えば、図１３に示されるように、図９の場合と同様に、１フレーム分の処理を行う期間（垂直同期期間XVS）において、読み出し処理、アナログ処理、出力処理のいずれも実行されていない期間に、フレームメモリ１１５に対する制御処理を実行するようにしてもよい。図１３の例の場合、読み出し処理やアナログ処理が行われる期間は、フレームメモリ１１５に対する制御処理が停止されている（図１３の例の場合、この期間、デジタル処理や出力処理も停止されている）。
【０１３４】
このようにすることにより、他の処理（読み出し処理、アナログ処理、出力処理）がこのノイズ源となるフレームメモリ１１５に対する制御処理と並行して実行されないため、そのノイズは他の処理にほとんど伝搬しない。したがって、フレームメモリ１１５に対する制御処理によるノイズの、他の処理への影響を低減させることができる。つまり、タイミング制御部１２１が、このようにフレームメモリ１１５に対する制御処理の実行タイミングを制御することにより、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【０１３５】
タイミング制御部１２１は、このような制御を行うために、フレームメモリ制御処理を実行する。図１４のフローチャートを参照して、このフレームメモリ制御処理の流れの例を説明する。このフレームメモリ制御処理は、上述した制御処理とは独立して実行される。例えば、このフレームメモリ制御処理が間断なく繰り返し実行されるようにしてもよいし、所定のタイミングにおいて、若しくは、何らかのトリガに基づいて、実行されるようにしてもよい。もちろん、上述した制御処理に基づく所定のタイミングにおいてフレームメモリ制御処理が実行されるようにしてもよい。
【０１３６】
フレームメモリ制御処理が開始されると、タイミング制御部１２１は、ステップＳ１６１において、他の処理が行われていないか否かを判定する。ここで他の処理とは、フレームメモリ１１５に対する制御処理以外の任意の処理である。例えば、読み出し処理、アナログ処理、出力処理の少なくともいずれか１つを含むようにしてもよいし、さらにデジタル処理を含むようにしてもよい。
【０１３７】
他の処理が行われていないと判定された場合、処理はステップＳ１６２に進む。ステップＳ１６２において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号（例えば図７のデータイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN））を供給する等して信号処理部１２２の動作を制御し、フレームメモリ１１５の制御処理を行わせる。タイミング制御部１２１は、データ制御の対象とならないリフレッシュ制御（オートリフレッシュ等）に関しても、停止や動作のコマンド設定を制御することで、フレームメモリに対する制御処理を実現する。ステップＳ１６２の処理が終了すると、フレームメモリ制御処理が終了する。
【０１３８】
また、ステップＳ１６１において、他の処理が行われていると判定された場合、ステップＳ１６２の処理が省略され、フレームメモリ制御処理が終了する。つまり、信号処理部１２２は、タイミング制御部１２１の制御に基づいて、他の処理が行われている間、フレームメモリ１１５の制御処理を停止する。
【０１３９】
タイミング制御部１２１は、以上のようなフレームメモリ制御処理を実行することにより、フレームメモリ１１５の制御処理を、他の処理への影響が少ないタイミングで実行させることができる。したがって、イメージセンサ１００は、出力画像の画質の低減を抑制することができる。
【０１４０】
なお、以上においては、他の処理が行われていない期間にフレームメモリ１１５の制御処理を行う（換言するに、他の処理が行われている期間にフレームメモリ１１５の制御処理を停止する）用に説明したが、図１１等を参照して上述したデジタル処理の例と同様に、アナログ処理がノイズの影響を受け難い期間に、フレームメモリ１１５の制御処理を実行させるようにしてもよい。換言するに、アナログ処理がノイズの影響を受け易い期間は、フレームメモリ１１５の制御処理を停止するようにしてもよい。例えば、図１１に示される例と同様に、１ライン分の処理を行う期間（水平同期期間XHS）において、アナログ処理として行われる相関二重サンプリングのＰ相とＤ相のそれぞれについてのA/D変換処理における、画素信号と所定の参照信号との比較が行われている期間において、フレームメモリ１１５の制御処理を停止させ、それ以外の期間においてフレームメモリ１１５の制御処理を実行させるようにしてもよい。
【０１４１】
＜２．第２の実施の形態＞
＜消費電力の検出＞
また、消費電力の大きさに応じてデジタル制御処理の動作タイミングを制御するようにしてもよい。その場合のイメージセンサの構成例を図１５に示す。図１５に示されるイメージセンサ２００は、本技術を適用した撮像素子の一実施の形態であり、イメージセンサ１００と同様に、被写体からの光を光電変換して画像データとして出力するデバイスである。図１５に示されるように、イメージセンサ２００は、イメージセンサ１００（図３）と基本的に同様の構成を有する。ただし、イメージセンサ２００は、さらに消費電力検出部２１１を有する。
【０１４２】
消費電力検出部２１１は、イメージセンサ２００の実際の消費電力の大きさ（または電流値）を検出する。この消費電力（若しくは電流）の大きさの検出方法は任意である。消費電力検出部２１１は、その検出結果をタイミング制御部１２１に供給する。タイミング制御部１２１は、その検出結果に基づいて、デジタル処理の動作タイミングを制御する。
【０１４３】
例えば、図１６に示される例のように、消費電力（若しくは電流）が大きい期間は、デジタル処理を停止するようにしてもよい（換言するに、消費電力（若しくは電流）が小さい期間にデジタル処理を実行するようにしてもよい）。
【０１４４】
消費電力（若しくは電流）が大きいか否かを判定する方法は任意である。例えば、予め定められた所定の閾値に基づいて消費電力（若しくは電流）が大きいか否かを判定するようにしてもよいし、消費電力（若しくは電流）のピーク値（最大値）等に基づいて、現在の消費電力（若しくは電流）の大きさを判定するようにしてもよい。もちろん、これら以外の方法であってもよい。
【０１４５】
このように、消費電力が増大する期間にデジタル処理を停止することにより、イメージセンサ２００は、デジタル処理の電源ノイズに起因する出力画像の画質劣化を抑制することができる。
【０１４６】
なお、このイメージセンサ２００も、イメージセンサ１００の場合と同様に、フレームメモリの代わりにラインメモリを用いるようにしてもよい。その場合の構成は、図５を参照して説明した場合と同様であるので、その説明を省略する。換言するに、図５の構成に加え、図１３のように消費電力検出部２１１を設けるようにしてもよい。
【０１４７】
＜制御処理の流れ＞
次に、図１７のフローチャートを参照して、この場合の制御処理の流れの例を説明する。制御処理が開始されると、消費電力検出部２１１は、ステップＳ２０１において、消費電力（若しくは電流）の計測を開始する。これ以降、消費電力（若しくは電流）の計測は継続して（連続して若しくは断続的に）行われる。
【０１４８】
ステップＳ２０２およびステップＳ２０３の各処理は、ステップＳ１０１およびステップＳ１０２の各処理（図８）と同様に実行される。
【０１４９】
ステップＳ２０４において、タイミング制御部１２１は、例えば信号処理部１２２に制御信号（例えば図７のデータイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN））を供給する等して信号処理部１２２の動作を制御し、ステップＳ２０１において開始された消費電力（若しくは電流）の検出の結果に基づくタイミングで、ステップＳ２０３の制御により得られたデジタルの画像データに対してデジタル処理を行わせる。
【０１５０】
ステップＳ２０５の処理は、ステップＳ１０４の処理（図８）と同様に実行される。
【０１５１】
ステップＳ２０５の処理が終了すると、制御処理が終了する。
【０１５２】
以上の制御処理において、デジタル処理は、ステップＳ２０４の制御により、消費電力（若しくは電流）の大きさに基づくタイミングで実行される。つまり、タイミング制御部１２１は、以上のような制御処理を実行することにより、デジタル処理を、他の処理への電源ノイズの影響が少ないタイミングで実行させることができる。したがって、イメージセンサ２００は、出力画像の画質の低減を抑制することができる。
【０１５３】
＜デジタル制御処理の流れ＞
ステップＳ２０４において実行されるデジタル制御処理の流れの例を、図１８のフローチャートを参照して説明する。この場合も、デジタル制御処理は、図１０のフローチャートを参照して説明した場合と基本的に同様に行われる。つまり、図１８のステップＳ２２１乃至ステップＳ２２３の各処理、並びに、ステップＳ２２５乃至ステップＳ２２８の各処理は、それぞれ、図１０のステップＳ１２１乃至ステップＳ１２３、並びに、ステップＳ１２５乃至ステップＳ１２８の各処理と同様に実行される。
【０１５４】
ただし、図１８の例の場合、図１０のステップＳ１２４の代わりに、ステップＳ２２４の処理が行われる。
【０１５５】
ステップＳ２２４において、タイミング制御部１２１は、ステップＳ１２４の場合と異なり、ステップＳ２０１（図１７）において開始された消費電力（若しくは電流）の検出の結果に基づいて、現在の消費電力が小さいか否かを判定する。消費電力が小さいと判定された場合、処理はステップＳ２２５に進む。
【０１５６】
ステップＳ２２５に処理が進むと、ステップＳ２２５乃至ステップＳ２２７の各処理が実行され、処理はステップＳ２２３に戻り、それ以降の処理が繰り返される。
【０１５７】
また、ステップＳ２２４において、消費電力が大きいと判定された場合、ステップＳ２２５乃至ステップＳ２２７の処理が省略され、処理はステップＳ２２３に戻り、それ以降の処理が繰り返される。
【０１５８】
ステップＳ２２８の処理が終了すると、デジタル制御処理が終了し、処理は、図１７に戻る。
【０１５９】
以上のようにデジタル制御処理を行うことにより、タイミング制御部１２１は、デジタル処理のフロー制御を実現し、消費電力が増大する期間にデジタル処理を停止することができる。したがって、イメージセンサ２００は、デジタル処理の電源ノイズに起因する出力画像の画質劣化を抑制することができる。
【０１６０】
＜電源端子＞
従来のイメージセンサ１０（図１）の場合、電源やグランド配線上に生じるIRドロップの影響を抑制するために、図１９Ａに示される例のように、デジタル電源を使用するアナログ回路であって、瞬時電流変化が大きい回路に対して、専用のパッド（デジタル電源ｘ、デジタルGNDｘ）を設ける必要があった。その分、半導体チップの面積が増大し、製造コストが増大するおそれがあった。仮にチップサイズを大きくしないとすると、回路のレイアウト設計における制約が増大し、その制約により設計がより困難になり、開発コストが増大するおそれがあった。
【０１６１】
これに対して、本技術を適用したイメージセンサ１００の場合、アナログ処理（例えばA/D変換処理）と、デジタル処理とを互いに異なる期間に実行することができる。つまり、イメージセンサ１００の場合、アナログ回路によるIRドロップの他の回路への影響を低減させることができる。したがって、イメージセンサ１００の場合、図１９Ｂに示されるように、瞬時電流変化が大きなデジタル電源を使用するアナログ回路に対して、専用のパッド（デジタル電源ｘ、デジタルGNDｘ）を設ける必要が無い。つまり、瞬時電流変化が大きなデジタル電源を使用するアナログ回路も、他のデジタル回路と同一の電源（デジタル電源）やグランド（デジタルGND）を利用する（電源やグランドの配線やパッドを共通化する）ことができる。
【０１６２】
したがって、図１９Ａのイメージセンサ１０の場合に比べて、電源やグランドに関するパッド数や配線等を低減させることができ、その分、半導体チップの面積を低減し、製造コストを低減させることができる。また、仮にチップサイズを小さくしないとすると、電源やグランドに関するパッド数や配線等が低減することにより、回路のレイアウト設計における制約が低減し、設計がより容易になり、開発コストが低減させることができる。
【０１６３】
なお、イメージセンサ２００の場合、消費電力（若しくは電流）の大きさに基づいて、デジタル処理が制御される。より具体的には、消費電力（若しくは電流）が小さい期間、すなわち、マージンがある状態においてデジタル処理が実行される。したがって、イメージセンサ２００の場合も、アナログ回路によるIRドロップの他の回路への影響を低減させることができる。つまり、この場合も、瞬時電流変化が大きなデジタル電源を使用するアナログ回路が、他のデジタル回路と同一の電源やグランドを利用するようにすることができる。
【０１６４】
＜デジタル処理の動作の制御＞
なお、以上においては、本技術を適用したイメージセンサ１００やイメージセンサ２００のタイミング制御部１２１は、条件を満たさない期間（例えば、他の処理が行われている期間、他の処理が影響を受け易い状態の期間、または、消費電力（若しくは電流）が大きい期間）において、データイネーブル信号（DATA_EN）やクロックイネーブル信号（CLK_EN）等によって信号処理部１２２を制御し、デジタル処理が行われない（若しくは処理結果が出力されない）ようにするように説明した。
【０１６５】
しかしながら、デジタル処理の制御方法はこの方法に限らない。例えば、上述したような条件を満たさない期間において、デジタル処理を完全に停止させずに、動作を間引くようにしてもよい。
【０１６６】
例えば、図７Ｂの例において、タイミング制御部１２１が、クロックイネーブル信号（CLK_EN）を"L(Low)"とする代わりに、そのクロックイネーブル信号（CLK_EN）の値（"L(Low)"若しくは"H(High)"）を所定の周波数で切り替えるようにしてもよい。つまり、図７Ｂの例において、クロックイネーブル信号（CLK_EN）を"L(Low)"とされた期間の一部において、クロックイネーブル信号（CLK_EN）が"H(High)"となり、その間だけデジタル処理が行われるようになる。換言するに、デジタル処理の動作が制限されない場合に比べて、クロックイネーブル信号（CLK_EN）が"L(Low)"の期間の分だけ、デジタル処理が実行される期間が短くなる。
【０１６７】
このように制御することにより、デジタル処理は完全に停止しないが、実行される期間が低減するので、その分、デジタル処理による他の処理への影響を低減させることができる。したがって、出力画像の画質の低減を抑制することができる。
【０１６８】
なお、デジタル処理が実行される期間を低減する制御方法は、任意であり、上述した例に限らない。例えば、低減する度合いを複数段階で制御することができるようにしてもよい。例えば、クロックイネーブル信号（CLK_EN）の値を切り替える周波数を可変としてもよい。例えば、「100MHz」、「50MHz」、「25MHz」、「"L(Low)"に固定」等のように複数の選択肢を予め用意し、条件に応じて、その中のいずれかが選択されるようにしてもよいし、条件に応じてクロックイネーブル信号（CLK_EN）の値を切り替える周波数を任意に設定することができるようにしてもよい。
【０１６９】
例えば、図１０の場合、ステップＳ１２４において他の処理が行われているか否かが判定されるが、その際、実行中の他の処理の数や負荷量等に応じて、クロックイネーブル信号（CLK_EN）の値を切り替える周波数が設定（若しくは選択）されるようにしてもよい。
【０１７０】
また、例えば、図１２の場合、ステップＳ１４４において他の処理が影響を受け難い状態であるか否かが判定されるが、その際、影響を受け易い状態の他の処理の数や負荷量等に応じて、クロックイネーブル信号（CLK_EN）の値を切り替える周波数が設定（若しくは選択）されるようにしてもよい。
【０１７１】
さらに、例えば、図１８の場合、ステップＳ２２４において消費電力が大きいか否かが判定されるが、その際、消費電力の大きさ等に応じて、クロックイネーブル信号（CLK_EN）の値を切り替える周波数が設定（若しくは選択）されるようにしてもよい。
【０１７２】
もちろん、この条件の内容は、任意であり、上述した例に限らない。また、以上においては、クロックイネーブル信号（CLK_EN）の値を周期的に切り替えるように説明したが、この切り替えは周期的でなくてもよい。また、クロックイネーブル信号（CLK_EN）の代わりに、図７Ａのように、データイネーブル信号（DATA_EN）を用いるようにしてもよい。その場合も、上述したクロックイネーブル信号（CLK_EN）の場合と同様に制御するようにすればよい。
【０１７３】
＜３．第３の実施の形態＞
＜イメージセンサの物理構成＞
なお、本技術を適用する撮像素子は、例えば、封止されたパッケージやパッケージが回路基板に設置されたモジュール等として実現することができる。例えば、パッケージとして実現する場合、そのパッケージにおいて撮像素子が、単一の半導体基板により構成されるようにしてもよいし、互いに重畳される複数の半導体基板により構成されるようにしてもよい。
【０１７４】
図２０は、本技術を適用した撮像素子であるイメージセンサ１００の物理構成の一例を示す図である。
【０１７５】
図２０Ａに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、全て単一の半導体基板に形成される。図２０Ａの例の場合、画素・アナログ処理部３１１、デジタル処理部１１３、およびフレームメモリ１１５を囲むように出力部１１６−１乃至出力部１１６−４が配置されている。画素・アナログ処理部３１１は、画素アレイ部１１１とアナログ処理部１１２の構成（例えば、画素アレイやA/D変換部等）が形成される領域である。出力部１１６−１乃至出力部１１６−４は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
【０１７６】
もちろん、図２０Ａの構成例は一例であり、各処理部の構成の配置は、この例に限らない。
【０１７７】
図２０Ｂに示される例の場合、図３を参照して説明したイメージセンサ１００の回路構成は、互いに重畳される２枚の半導体基板（積層チップ（画素チップ３２１および回路チップ３２２））に形成される。
【０１７８】
画素チップ３２１には、画素・アナログ処理部３１１、デジタル処理部１１３、並びに、出力部１１６−１および出力部１１６−２が形成される。出力部１１６−１および出力部１１６−２は、出力部１１６の構成（例えば、I/Oセル等）が配置される領域である。
【０１７９】
また、回路チップ３２２には、フレームメモリ１１５が形成されている。
【０１８０】
上述したように画素チップ３２１および回路チップ３２２は、互いに重畳され、多層構造（積層構造）を形成する。画素チップ３２１に形成されるデジタル処理部１１３と回路チップ３２２に形成されるフレームメモリ１１５は、ビア領域（VIA）３２３およびビア領域（VIA）３２４に形成される貫通ビア（VIA）等を介して互いに電気的に接続されている（メモリバス１１４が形成される）。
【０１８１】
このような積層構造のイメージセンサにも本技術を適用することができる。なお、この半導体基板（積層チップ）の数（層数）は任意であり、例えば、３層以上であってもよい。
【０１８２】
＜４．第４の実施の形態＞
＜撮像装置＞
なお、本技術は、撮像素子以外にも適用することができる。例えば、撮像装置のような、撮像素子を有する装置（電子機器等）に本技術を適用するようにしてもよい。図２１は、本技術を適用した電子機器の一例としての撮像装置の主な構成例を示すブロック図である。図２１に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。
【０１８３】
図２１に示されるように撮像装置６００は、光学部６１１、CMOSイメージセンサ６１２、画像処理部６１３、表示部６１４、コーデック処理部６１５、記憶部６１６、出力部６１７、通信部６１８、制御部６２１、操作部６２２、およびドライブ６２３を有する。
【０１８４】
光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部６１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ６１２に供給する。
【０１８５】
CMOSイメージセンサ６１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換し、CDS等の信号処理を行い、処理後の撮像画像データを画像処理部６１３に供給する。
【０１８６】
画像処理部６１３は、CMOSイメージセンサ６１２により得られた撮像画像データを画像処理する。より具体的には、画像処理部６１３は、CMOSイメージセンサ６１２から供給された撮像画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部６１３は、画像処理を施した撮像画像データを表示部６１４に供給する。
【０１８７】
表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された撮像画像データの画像（例えば、被写体の画像）を表示する。
【０１８８】
画像処理部６１３は、さらに、画像処理を施した撮像画像データを、必要に応じて、コーデック処理部６１５に供給する。
【０１８９】
コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記憶部６１６に供給する。また、コーデック処理部６１５は、記憶部６１６に記録されている符号化データを読み出し、復号して復号画像データを生成し、その復号画像データを画像処理部６１３に供給する。
【０１９０】
画像処理部６１３は、コーデック処理部６１５から供給される復号画像データに対して所定の画像処理を施す。画像処理部６１３は、画像処理を施した復号画像データを表示部６１４に供給する。表示部６１４は、例えば、液晶ディスプレイ等として構成され、画像処理部６１３から供給された復号画像データの画像を表示する。
【０１９１】
また、コーデック処理部６１５は、画像処理部６１３から供給された撮像画像データを符号化した符号化データ、または、記憶部６１６から読み出した撮像画像データの符号化データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。また、コーデック処理部６１５は、符号化前の撮像画像データ、若しくは、記憶部６１６から読み出した符号化データを復号して得られた復号画像データを出力部６１７に供給し、撮像装置６００の外部に出力させるようにしてもよい。
【０１９２】
さらに、コーデック処理部６１５は、撮像画像データ、撮像画像データの符号化データ、または、復号画像データを、通信部６１８を介して他の装置に伝送させるようにしてもよい。また、コーデック処理部６１５は、撮像画像データや画像データの符号化データを、通信部６１８を介して取得するようにしてもよい。コーデック処理部６１５は、通信部６１８を介して取得した撮像画像データや画像データの符号化データに対して、適宜、符号化や復号等を行う。コーデック処理部６１５は、得られた画像データ若しくは符号化データを、上述したように、画像処理部６１３に供給したり、記憶部６１６、出力部６１７、および通信部６１８に出力するようにしてもよい。
【０１９３】
記憶部６１６は、コーデック処理部６１５から供給される符号化データ等を記憶する。記憶部６１６に格納された符号化データは、必要に応じてコーデック処理部６１５に読み出されて復号される。復号処理により得られた撮像画像データは、表示部６１４に供給され、その撮像画像データに対応する撮像画像が表示される。
【０１９４】
出力部６１７は、外部出力端子等の外部出力インターフェイスを有し、コーデック処理部６１５を介して供給される各種データを、その外部出力インターフェイスを介して撮像装置６００の外部に出力する。
【０１９５】
通信部６１８は、コーデック処理部６１５から供給される画像データや符号化データ等の各種情報を、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置に供給する。また、通信部６１８は、所定の通信（有線通信若しくは無線通信）の通信相手である他の装置から、画像データや符号化データ等の各種情報を取得し、それをコーデック処理部６１５に供給する。
【０１９６】
制御部６２１は、撮像装置６００の各処理部（点線６２０内に示される各処理部、操作部６２２、並びに、ドライブ６２３）の動作を制御する。
【０１９７】
操作部６２２は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等の任意の入力デバイスにより構成され、例えばユーザ等による操作入力を受け、その操作入力に対応する信号を制御部６２１に供給する。
【０１９８】
ドライブ６２３は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６２４に記憶されている情報を読み出す。ドライブ６２３は、リムーバブルメディア６２４からプログラムやデータ等の各種情報を読み出し、それを制御部６２１に供給する。また、ドライブ６２３は、書き込み可能なリムーバブルメディア６２４が自身に装着された場合、制御部６２１を介して供給される、例えば画像データや符号化データ等の各種情報を、そのリムーバブルメディア６２４に記憶させる。
【０１９９】
以上のような撮像装置６００のCMOSイメージセンサ６１２として、各実施の形態において上述した本技術を適用する。すなわち、CMOSイメージセンサ６１２として、上述した各実施の形態のイメージセンサ（例えば、イメージセンサ１００、イメージセンサ２００等）が用いられる。これにより、CMOSイメージセンサ６１２は、より容易に、より多様なデータ出力を実現することができる。したがって撮像装置６００は、被写体を撮像することにより、より容易に、より多様なデータ出力を実現することができる。
【０２００】
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
【０２０１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２０２】
この記録媒体は、例えば、図２１に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア６２４により構成される。このリムーバブルメディア６２４には、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。
【０２０３】
その場合、プログラムは、そのリムーバブルメディア６２４をドライブ６２３に装着することにより、記憶部６１６にインストールすることができる。
【０２０４】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部１８で受信し、記憶部６１６にインストールすることができる。
【０２０５】
その他、このプログラムは、記憶部６１６や制御部６２１内のROM（Read Only Memory）等に、あらかじめインストールしておくこともできる。
【０２０６】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０７】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０８】
また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。
【０２０９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２１０】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２１１】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２１２】
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２１３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２１５】
また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０２１６】
なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。
【０２１７】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０２１８】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２１９】
なお、本技術は以下のような構成も取ることができる。
（１）  画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
を備える撮像素子。
（２）  前記制御部は、前記アナログ処理が実行されていない期間に前記デジタル処理を実行させる
（１）に記載の撮像素子。
（３）  前記制御部は、前記読み出し処理が実行されていない期間に前記デジタル処理を実行させる
（１）または（２）に記載の撮像素子。
（４）  前記制御部は、前記アナログ処理がノイズの影響を受け難い期間に前記デジタル処理を実行させる
（１）乃至（３）のいずれかに記載の撮像素子。
（５）  前記アナログ処理は、前記アナログの画素信号を前記デジタルの画像データに変換するA/D変換処理を含む
（１）乃至（４）のいずれかに記載の撮像素子。
（６）  前記制御部は、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
（１）乃至（５）のいずれかに記載の撮像素子。
（７）  前記アナログ処理は、前記A/D変換処理を用いた相関二重サンプリングを含み、
前記制御部は、P相とD相のそれぞれについて、前記A/D変換処理における、前記画素信号と所定の参照信号との比較中に前記デジタル処理を停止させる
（１）乃至（６）のいずれかに記載の撮像素子。
（８）  前記デジタル処理は、
前記信号処理した前記画像データを前記記憶部に格納させ、
出力する前記画像データを前記記憶部から読み出し、
前記記憶部から読み出された前記画像データを出力する出力部をさらに備え、
前記制御部は、処理実行タイミングを制御し、前記出力部による前記画像データを出力する出力処理への影響が少ないタイミングで前記デジタル処理を実行させる
（１）乃至（７）のいずれかに記載の撮像素子。
（９）  前記制御部は、前記出力処理が実行されていない期間に前記デジタル処理を実行させる
（１）乃至（８）のいずれかに記載の撮像素子。
（１０）  前記制御部は、処理実行タイミングを制御し、前記読み出し処理および前記アナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記記憶部の制御処理を実行させる
（１）乃至（９）のいずれかに記載の撮像素子。
（１１）  前記制御部は、前記アナログ処理が実行されていない期間に前記記憶部の制御処理を実行させる
（１）乃至（１０）のいずれかに記載の撮像素子。
（１２）  前記制御部は、前記読み出し処理が実行されていない期間に前記記憶部の制御処理を実行させる
（１）乃至（１１）のいずれかに記載の撮像素子。
（１３）  前記記憶部は、フレームメモリである
（１）乃至（１２）のいずれかに記載の撮像素子。
（１４）  消費電力を検出する消費電力検出部をさらに備え、
前記制御部は、前記消費電力検出部による前記消費電力の検出結果に基づいて、前記デジタル処理の処理実行タイミングを制御する
（１）乃至（１３）のいずれかに記載の撮像素子。
（１５）  前記制御部は、前記消費電力が小さい期間に前記デジタル処理を実行させる
（１）乃至（１４）のいずれかに記載の撮像素子。
（１６）  各処理部のデジタル電源を利用して駆動する回路は、共通のデジタル電源を利用する
（１）乃至（１５）のいずれかに記載の撮像素子。
（１７）  前記画素アレイ、前記アナログ処理部、前記信号処理部、および前記制御部は、互いに同一の半導体基板に形成される
（１）乃至（１６）のいずれかに記載の撮像素子。
（１８）  前記記憶部も前記半導体基板に形成される
（１）乃至（１７）のいずれかに記載の撮像素子。
（１９）  処理実行タイミングを制御し、画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す読み出し処理、並びに、前記画素アレイの各画素から読み出されたアナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる
制御方法。
（２０）  被写体を撮像する撮像部と、
前記撮像部による撮像により得られた画像データを画像処理する画像処理部と
を備え、
前記撮像部は、
画素アレイの複数の画素のそれぞれから、入射光を光電変換して得られる画素信号を読み出す画素アレイと、
アナログの前記画素信号に対して信号処理を行い、デジタルの画像データを得るアナログ処理部と、
前記画像データを格納する記憶部と、
前記記憶部から前記画像データを読み出して信号処理する信号処理部と、
処理実行タイミングを制御し、前記画素アレイによる前記画素信号を読み出す読み出し処理、および、前記アナログ処理部による前記アナログの画素信号に対する信号処理であるアナログ処理の内、少なくともいずれか一方への影響が少ないタイミングで、前記信号処理部による前記デジタルの画像データに対する信号処理であるデジタル処理を実行させる制御部と
を備える撮像装置。
【符号の説明】
【０２２０】
１００  イメージセンサ，  １１１  画素アレイ部，  １１２  アナログ処理部，  １１３  デジタル処理部，  １１４  メモリバス，  １１５  フレームメモリ，  １１６  出力部，  １２１  タイミング制御部，  １２２  信号処理部，  １２３および１２４  ラインメモリ，  ２００  イメージセンサ，  ２１１  消費電力検出部，  ３２１  画素チップ，  ３２２  回路チップ，  ６００  撮像装置，  ６１２  CMOSイメージセンサ
【図１】
2015185927.tif 000003
【図２】
2015185927.tif 000004
【図３】
2015185927.tif 000005
【図４】
2015185927.tif 000006
【図５】
2015185927.tif 000007
【図６】
2015185927.tif 000008
【図７】
2015185927.tif 000009
【図８】
2015185927.tif 000010
【図９】
2015185927.tif 000011
【図１０】
2015185927.tif 000012
【図１１】
2015185927.tif 000013
【図１２】
2015185927.tif 000014
【図１３】
2015185927.tif 000015
【図１４】
2015185927.tif 000016
【図１５】
2015185927.tif 000017
【図１６】
2015185927.tif 000018
【図１７】
2015185927.tif 000019
【図１８】
2015185927.tif 000020
【図１９】
2015185927.tif 000021
【図２０】
2015185927.tif 000022
【図２１】
2015185927.tif 000023