(57)【要約】【課題】水平シェーディングを有するストリーキングを補正することが可能な撮像装置および撮像方法を提供する。【解決手段】二次元状に配列された複数の画素からなるフォトダイオードアレイ２と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器５を備えたイメージセンサ１と、イメージセンサ１から画像信号を読み出すための水平・垂直ドライバ３、タイミングコントローラ４と、所定レベル以上の高輝度の光が入射した画素の位置を検出する光源位置検出３２と、所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行う減算部４８を有している。【選択図】  図３
2014175778.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配列された複数の画素と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子と、
上記撮像素子から画像信号を読み出すための画像信号読出部と、
所定レベル以上の高輝度の光が入射した画素の位置を検出する高輝度判定部と、
上記所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、上記所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行う補正部と、
を備えたことを特徴とする撮像装置。
【請求項２】
上記二次元状に配列された複数の画素は、第１画素群と、上記高輝度判定部により上記所定レベル以上の高輝度の光が入射した画素位置を検出するための第２画素群とを有しており、
上記画像信号読出部は、上記第１画素群の１フレームの画像信号の読み出し期間内において上記第２画素群の画像信号を読み出し、
上記高輝度判定部は、上記第２画素群の画像信号に基づいて高輝度部を検出し、
上記補正部は、上記第２画素群の読み出し期間を含む期間内に読み出された上記第１画素群から読み出された画像信号のゲイン補正を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記ゲイン値は、上記所定レベル以上の高輝度の光が入射した画素位置からの距離が長いほど小さくなるように予め設定されていることを特徴とする請求項１に記載の撮像装置。
【請求項４】
二次元状に配列された複数の画素と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子から画像信号を読み出すステップと、
所定レベル以上の高輝度の光が入射した画素の位置を検出するステップと、
上記所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、上記所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行うステップと、
を有することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元撮像素子において発生するストリーキングの影響を低減するようにした撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来より、イメージセンサに強い光が入射した際に、画像に無い横筋（ストリーキング）が生じてしまうことがあり、このストリーキングを防止する技術が種々提案されている。例えば、特許文献１には、イメージセンサの各ラインの水平遮光部の出力信号レベルから、イメージセンサの垂直遮光部の出力信号を用いて求めた黒レベルを減算し、各ラインのストリーキング補正信号を求め、イメージセンサの有効画素の出力信号からストリーキング補正信号を減算することにより、ストリーキングを補正した画像信号を得ることが提案されている。
【０００３】
また、特許文献２には、一方の入力端子に階段状に変化する参照電圧を発生する参照電圧回路の出力ラインが接続され、他方の入力端子に画素信号ラインが接続された比較器と、この比較器の出力ラインに接続されたアップダウンカウンタを有するＡＤ変換器が、画素ライン毎に配置された撮像素子において、比較器の入力端子の極性を１画素列おきに反転させることにより、比較器の出力が同時に反転して参照電圧が変動することによるストリーキングを低減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３６２７１号公報
【特許文献２】特開２０１０−１６１４８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
高輝度光が画素の一部に入射したことによる画素信号の水平方向における変動量は、撮像素子の回路構成に依存して一定でないことが多い。例えば、画素列毎にＡＤ変換（特に、列並列型ＡＤ変換器の場合）を備えた撮像素子においては、高輝度光が入射したことによる画素の電圧変動が、水平方向に水平シェーディングをもって伝播する。しかし、特許文献１に開示の技術では、このようなストリーキングを補正することができない。
【０００６】
また、特許文献２に開示の技術では、単に比較器の出力が同時に反転して参照電圧が変動しないように制御するだけであるので、高輝度光が撮像面の一部に入射したことによるストリーキングを抑制することができない。
【０００７】
本発明は、このような事情を鑑みてなされたものであり、水平シェーディングを有するストリーキングを補正することが可能な撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため第１の発明に係る撮像装置は、二次元状に配列された複数の画素と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子と、上記撮像素子から画像信号を読み出すための画像信号読出部と、所定レベル以上の高輝度の光が入射した画素の位置を検出する高輝度判定部と、上記所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、上記所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行う補正部と、を備える。
【０００９】
第２の発明に係る撮像装置は、上記第１の発明において、上記二次元状に配列された複数の画素は、第１画素群と、上記高輝度判定部により上記所定レベル以上の高輝度の光が入射した画素位置を検出するための第２画素群とを有しており、上記画像信号読出部は、上記第１画素群の１フレームの画像信号の読み出し期間内において上記第２画素群の画像信号を読み出し、上記高輝度判定部は、上記第２画素群の画像信号に基づいて高輝度部を検出し、上記補正部は、上記第２画素群の読み出し期間を含む期間内に読み出された上記第１画素群から読み出された画像信号のゲイン補正を行う。
【００１０】
第３の発明に係る撮像装置は、上記第１の発明において、上記ゲイン値は、上記所定レベル以上の高輝度の光が入射した画素位置からの距離が長いほど小さくなるように予め設定されている。
【００１１】
第４の発明に係る撮像方法は、二次元状に配列された複数の画素と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器を備えた撮像素子から画像信号を読み出すステップと、所定レベル以上の高輝度の光が入射した画素の位置を検出するステップと、上記所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、上記所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行うステップと、を有する。
【発明の効果】
【００１２】
本発明によれば、水平シェーディングを有するストリーキングを補正することが可能な撮像装置および撮像方法を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るカメラのイメージセンサの画素構成を示す平面図である。
【図２】本発明の一実施形態に係るカメラのイメージセンサの内部回路構成を示すブロック図である。
【図３】本発明の一実施形態に係るカメラにおいて、リアルタイムでストリーキングを補正するための概略回路を示すブロック図である。
【図４】本発明の一実施形態に係るカメラにおいて、図３のＡ内部の詳細回路を示すブロック図である。
【図５】本発明の一実施形態に係るカメラにおいて、ＩＳＯ感度に対する光源検出用シャッタ速度の例を示す図表である。
【図６】本発明の一実施形態に係るカメラの列並列型ＡＤＣの回路構成例を示すブロック図である。
【図７】本発明の一実施形態に係るカメラの列並列型ＡＤＣ回路において、強烈入射光による電位変動を示すグラフである。
【図８】本発明の一実施形態に係るカメラのＣＭＯＳイメージセンサの内部構成例を示すブロック図である。
【図９】本発明の一実施形態に係るカメラにおいて、ストリーキング補正の際のタイミングチャートである。
【図１０】本発明の一実施形態に係るカメラの動作を示すフローチャートである。
【図１１】本発明の一実施形態に係るカメラの動作を示すフローチャートである。
【図１２】本発明の一実施形態に係るカメラにおいて、センサ系統１出力の画素アドレスと、高輝度光アドレスの差分検出を説明する図である。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るカメラは、概略、デジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換する。撮像部内のイメージセンサの出力は第１画素群のデータを出力する系統１と、第２の画素群のデータを出力する系統２の２系統あり、それぞれ読み出しのフレームレートを独立に設定できる（言い換えると、それぞれ独立に電子シャッタ速度を設定できる）。ライブビュー表示や動画撮影時には、高速フレームレートで読み出した画像データを用いて、高輝度光が入射した画素の位置を求め、この画素位置からの距離に応じて変化するゲインを算出する。このゲインを用いて、低速フレームレートで読み出した画像データのストリーキング補正を行う。この補正された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示し、また動画モードでは動画釦の操作等に応じて取得した動画の画像データを記録する。
【００１５】
図１は、本発明の一実施形態に係るカメラのイメージセンサの画素構成を示す平面図であり、また図２は、イメージセンサの内部回路構成を示すブロック図である。
【００１６】
図１には、イメージセンサ１のフォトダイオードアレイ２（図２参照）における画素構成を示しており、有効画素２ｂは被写体像の画像データを取得するための有効画像領域の画素である。実効画素２ａは有効画像領域の内、実際に使用される画像領域の画素である。また、有効画素２ｂからなる有効画像領域の外側に、垂直方向に沿って水平ＯＢ（オプティカルブラック）画素２ｃと、水平方向に沿って垂直ＯＢ画素２ｄが配置されている。水平ＯＢ画素２ｃと垂直ＯＢ画素２ｄは、撮影レンズ１１（図３参照）によって被写体像が形成されず、暗黒下での暗電流にあたる信号を出力する。このＯＢ画素から出力される暗電流を用いて、ＯＢ補正を行う。有効画素２ｂ、水平ＯＢ画素２ｃ、垂直ＯＢ画素２ｄの外側の領域は無効画素（ダミー画素）である。
【００１７】
図２は、デジタルカメラ用のイメージセンサ１の内部回路を示す。イメージセンサ１は、内部にフォトダイオードアレイ２、水平・垂直ドライバ３、タイミングコントローラ４、ＡＤ変換器５、並び替え部６、バッファアンプ７ａ〜７ｍを有する。フォトダイオードアレイ２における画素の構成は、図１を用いて説明した通りである。
【００１８】
水平・垂直ドライバ３は、タイミングコントローラ４からのタイミング信号に従って、フォトダイオードアレイ２中の有効画素２ｂ、水平ＯＢ画素２ｃ、垂直ＯＢ画素２ｄ、無効画素２ｅ等の画像データを読み出す。なお、ＡＤ変換部５の詳細については、図６を用いて後述する。
【００１９】
ＡＤ変換器５は、タイミングコントローラ４からのタイミング信号に従って、フォトダイオードアレイ２から読み出した画像データをＡＤ変換し、並び替え部６に出力する。並び替え部６は、ライブビュー表示、静止画撮影、動画撮影等のモードに応じて、フォトダイオードアレイ２中から読み出した有効画素２ｂの画像データを適宜間引いてバッファアンプ７ａ〜７ｍに出力する。イメージセンサ１の詳細については、図８を用いて後述する。
【００２０】
このように、本実施形態のイメージセンサ１は構成されている。本実施形態に係るカメラでは、全画素静止画撮影時は記録用に有効画素２ｂをすべて利用するが、ライブビュー表示時、動画記録時、ハイスピードカメラ動作時等においては、背面液晶パネル等の表示部や、ＥＶＦ（電子ビューファインダ）、ＴＶ（テレビ）出力など、表示デバイスに合わせた画像サイズを、有効画像領域から間引いて（または切出して）読み出している。間引き又は切り出しにより読み出されない画素のデータは利用されない。
【００２１】
イメージセンサ１からのデータ出力についてみると、全画素静止画撮影時には、イメージセンサ１が有する出力チャンネルをＣｈ１〜Ｃｈｍまで使用して全チャンネルでデータ出力する。一方、ライブビュー表示時、動画記録時、ハイスピードカメラ動作時等には、データを出力する帯域が全画素静止画に比べて少なく済むため、イメージセンサが有する出力チャンネルの内の一部、例えば、チャンネル１（Ｃｈ１）とチャンネル２（Ｃｈ２）のみを使用してデータ出力を行う。なお、イメージセンサは、チャンネル１（Ｃｈ１）を読み出す際のフレームレート（電子シャッタ速度）と、チャンネル２（Ｃｈ２）を読み出す際のフレームレート（電子シャッタ速度）を異ならせることが可能である。
【００２２】
本実施形態においては、ライブビュー表示、動画記録時、静止画撮影時等において、ストリーミング補正を適切に行えるように、イメージセンサ１からの出力を２系統に分けて駆動し、補正動作を行うようにしている。
【００２３】
すなわち、全画素静止画を撮影する際には、系統１（例えばＣｈ１とＣｈ２）および系統２（例えばＣｈｎとＣｈｍ）の両方を使用してデータ転送を行い、ライブビュー表示時、動画撮影時、ハイスピードカメラ動作時には、メインの動画の画像データを系統１から取得し、ストリーキング補正用の光源検出用画像データを系統２から取得し、動画に対してリアルタイムにストリーキングを補正し、適正な画像をライブビュー表示し、また記録する。なお、静止画撮影時には、静止画撮影の移行する直前の画像データを光源検出用画像データとし、この画像データから光源位置を算出してストリーキングを補正する。
【００２４】
次に、図３を用いて、リアルタイムでストリーキングを補正するための回路の構成を説明する。前述のイメージセンサ１は、撮影レンズ１１によって形成される被写体像の結像位置付近に配置されている。撮影レンズ１は、レンズ制御部１３からの制御信号に従って駆動されるモータ１２によって光軸方向に移動する。
【００２５】
イメージンセンサ１の画像データは、系統１および系統２を介してＤＳＰ（デジタルシグナルプロセッサ：Digital Signal Processor）２０内のアンプ２３、２４に出力する。また、イメージセンサ１は、ＤＳＰ２０のアンプ２５からの読み出し制御信号等の信号を入力する。
【００２６】
ＤＳＰ２０は、画像信号読出部２２を有しており、この画像信号読出部２２は、前述のアンプ２３〜２４の他に、並替回路２６、制御ブロック２７、スイッチ回路２８、並替回路Ａ３１を有する。並替回路２６は、パススルー機能を有している。この並替回路２６は、高速で読み出される画像データの並び替えを行う。スイッチ２８は、並替回路２６から出力される画像データを、後述のＡＥ／ＡＦ（Auto Exposure／Auto focus）２９、並替回路Ａ３１、光源位置検出部３２のいずれかに切り替えて出力する。また、並替回路２６の出力はスイッチ回路２８への出力とは別に、ＤＲＡＭ５１へ一時記憶させることができる。
【００２７】
ＡＥ／ＡＦ２９は、スイッチ２８を介して入力した系統２の画像データ、またはアンプ２３から入力した系統１の画像データを入力し、露出制御用の輝度値を算出し、この輝度値に基づいてイメージセンサ１の電子シャッタのシャッタ速度を制御する。また、ＡＥ／ＡＦ２９は、系統１または系統２からの画像データの高周波成分を抽出し、レンズ制御部１３は、高周波成分に基づくコントラスト信号がピークとなるように、撮影レンズ１１の焦点調節を行う。
【００２８】
並替回路Ａ３１は、アンプ２３からの系統１の画像データおよびスイッチ２８からの系統２からの画像データを入力し、並び替えを行い、画像処理プロセッサ３４に出力する。この並替回路Ａ３１は、ライブビュー表示時や動画撮影時等においては、系統１からの画像データを用いて、表示デバイスに応じた画像サイズの画像データを画像処理プロセッサ３４に出力する。また、全画素静止画撮影時には、並替回路Ａ３１は、系統１および系統２からの画像データを用いて、全画素からなる画像データに並び替えて、画像処理プロセッサ３４に出力する。また、並替回路Ａ３１の出力は、画像処理プロセッサ３４への出力とは別に、ＤＲＡＭ５１へ一時記憶させることができる。
【００２９】
光源位置検出部３２は、高速に読み出される系統２の画像データを入力し、有効画像領域内において高輝度光源が照射されている位置を検出する。レベル設定部３３は、光源位置を検出する際に使用するレベルの設定部である。従って、光源位置検出部３２は、レベル設定部３３において設定されたレベル以上の画像データの位置を検出し、この検出結果をアドレス変換部３５に出力する。
【００３０】
アドレス変換部３５は、高速に読み出される系統２の画像データを用いて検出された光源位置を、並替回路Ａ３１から出力される画像データによって形成される画像上での位置にアドレス変換する。画像処理プロセッサ３４は、アドレス変換部３５によって変換された光源位置に応じて、ストリーキング補正を行う。ストリーキング補正がなされた画像データは、表示デバイス５２に出力され、表示に使用される。
【００３１】
ＤＲＡＭ５１は、揮発性の書き換え可能なメモリであり、並替回路２６および並替回路Ａ３１から出力される画像データ等を入力し記憶する。また、ＤＲＡＭ５１は、記憶した画像データ等を画像処理プロセッサ３４に出力する。
【００３２】
ＣＰＵ２１は、ＤＳＰ２０内の各部等からデータ等を入力し、各部等に制御信号を出力し、ＤＳＰ２０の全体制御を行う。
【００３３】
次に、図４を用いて、図３に示したＡで囲まれた領域、すなわち、並替回路Ａ３１、光源位置検出部３２、レベル設定部３３、画像処理プロセッサ３４、アドレス変換部３５の詳細な回路について説明する。なお、図３と同じ機能を有する回路等については、同一の符号を付し、詳しい説明は省略する。
【００３４】
系統２からの画像データをスイッチ２８を介して入力する画像２値化部４１は、入力した画像データがレベル設定部３３から出力されるレベルより大きい場合には“Ｈ”を、また小さい場合は“Ｌ”をＹ信号出力部４２に出力する。レベル設定部３３から出力するレベルは、高輝度といえる程度か否かを判定できる値であり、画像２値化部４１から“Ｈ”出力される領域は高輝度領域である。
【００３５】
Ｙ信号出力部４２は、画像２値化部４１からの出力に基づいて、高輝度光源の位置のＸＹアドレスを検出し、アドレス変換部３５に出力する。アドレス変換部３５は、前述したように、系統２からの画像データ上での光源位置を、並替回路Ａ３１からの出力される画像データ上でのアドレスに変換する。
【００３６】
すなわち、アドレス変換部３５は、動画記録時には、常時２系統出力されている系統２側（高速読み出し、短秒時露光データ）から光源アドレスを検出し、記録動画用フレームのアドレスに変換し、リアルタイムに系統１（記録用データ）の画像補正用として距離検出部４４に出力する。また、アドレス変換部３５は、静止画記録時は、静止画記録データの読み出しにすべてのデータ読み出しチャンネルが使用されるため、静止画読み出し開始直前の系統２側（高速読み出し、短秒時露光データ）から検出した光源アドレスを検出し、静止画記録用フレームアドレスに変換し、メモリ３５ａに一時記憶させ、静止画読み出しデータ（記録用データ）をリアルタイムに画像補正する（図４中の点線の流れ）。
【００３７】
並替回路Ａ３１によって並び替えられた画像データは、減算部４８、水平ＯＢ複数ライン平均値検出４５およびピクセルアドレス検出部４３に出力される。ピクセルアドレス検出部４３は、有効画像領域における画像データの画素位置（ピクセル位置）を検出し、距離検出部４４に出力する。すなわち、ピクセルアドレス検出部４３は、並替回路Ａ３１から出力されている画像データの画素位置（ピクセルアドレス）をリアルタイムで検出している。
【００３８】
距離検出部４４は、並替回路Ａから出力されている画像データのリアルタイムの画素位置と、アドレス変換部３５から出力されている光源位置を入力し、光源位置（ハイライト）からの距離を検出し、ゲイン調整部４７に出力する。
【００３９】
水平ＯＢ画素平均値検出部４５ａは、水平ＯＢ画素２ｃの単一ライン内の複数ＯＢ画素の平均値を算出し、水平ＯＢ複数ライン平均値検出部４５ｂに出力する。
【００４０】
水平ＯＢ複数ライン平均値検出部４５ｂは、水平ＯＢ画素平均値検出部４５ａの出力を使用して複数ラインの平均値を算出し、時間軸ＩＩＲフィルタ４６に出力する。また、水平ＯＢ複数ライン平均値検出部４５ｂは、パススルー機能を有している。時間軸ＩＩＲフィルタ４６は、無限インパルス応答によって数フレーム分のＯＢデータの平均値を算出し、ランダムノイズの影響を抑制したＯＢデータの平均値を補正値演算部４８に出力する。
【００４１】
ゲイン調整部４７は、距離検出部４４から出力される光源位置からの距離の情報を入力し、ストリーキングを補正するための補正値ゲインをリアルタイムで算出し、補正値演算部４８に出力する。
【００４２】
補正値演算部４８は、時間軸ＩＩＲフィルタ４６から出力されたＯＢ画素の平均値に、ゲイン調整部４７により算出されたゲイン値を乗算して補正値を算出し、減算部４９に出力する。
【００４３】
減算部４９は、並替回路Ａ３１から出力されるライブビュー表示用、動画記録用、または静止画記録用の画像データと、補正値演算部４８から出力される補正値を入力し、画像データから補正値を減算することにより、画像データに対してリアルタイムでストリーキングを補正する。この減算処理を行った画像データはカラー化およびその他画像処理部５０に出力し、カラー化およびその他画像処理部５０は、種々の画像処理を行う。
【００４４】
次に、図４によって処理されるストリーキング補正について説明する。ストリーキングは、イメージセンサ上の被写体の明るさに大きなレベル差（ハイライト）がある場合に発生する。すなわち、飽和電子数に近いレベルの入射光を受けたフォトダイオードに隣接するフォトダイオードの光電変換結果が、飽和よりもかなり低い場合に発生しやすい。これは後述することからわかるように、フォトダイオードアレイ２内で隣接するＦＤアンプ（光電変換アンプ：Floating Diffusion Amplifier）に流れるチャージ電流の差が大きいこと、および列並列ＡＤＣ回路を構成するＡＤＣ回路に入力する光電変換出力の差が大きいため、電源電圧Ｖｄｄや参照電圧Ｖｒｅｆに対してより大きな電圧変動を与えるためである。
【００４５】
カメラの適正露光として算出された電子シャッタ速度で露光しても、局所的に入射光量が大きいと、前述した状態が生じ、ストリーキングが発生する。そこで、本実施形態においては、ハイライト部を確実に検出するために、系統１の画像データと系統２の画像データを以下のように処理する。
【００４６】
系統１の記録用画像データは、カメラとして適正露光となる電子シャッタ速度で露光し、系統２の光源位置検出用の画像データは、適正から、例えば、２段以上の高速シャッタ速度で露光する。すなわち、系統２の画像データは、系統１よりも高速で露光することにより、入射光量が大きくても、光電変換の結果がフォトダイオードの飽和電子数以下になるように制御する。
【００４７】
ここで、高輝度光入射部とそれ以外の画素部を明確に２値化できるよう、系統２の画像データは２段以上の高速シャッタで露光されたものであることが望ましい。なお、適正露光を得るための電子シャッタのシャッタ速度を算出するにあたって、ＩＳＯ感度は、記録用画像のＩＳＯ感度を用いて算出する。
【００４８】
また、ＩＳＯ感度によって、画素が光電変換した電荷を電圧に変換する際のゲインが異なる。そこで、ＩＳＯ感度によってシャッタ速度の可変量を変化させることも有効である。図５に、その場合の一例を示す。図５から分かるように、ＩＳＯ感度が異なっても、系統２（光源検出用）のシャッタ速度は、系統１（ライブビュー、記録用等）のシャッタ速度よりも２段以上高速となっている。
【００４９】
次に、図６を用いて、ＡＤ変換器５の詳細について説明する。このＡＤ変換器５は、ＣＭＯＳイメージセンサの列並列型ＡＤＣ回路であり、図６にフォトダイオードアレイ２、水平・垂直ドライバ３等の一部も併せて示す。
【００５０】
フォトダイオードアレイ２中には、フォトダイオードＰＤ１１〜ＰＤ２２、光電変換アンプＦＤ１１〜ＦＤ２２等（実際には、二次元状に広がっている）が配置されており、垂直駆動回路３ａから制御信号を入力するスイッチＳＷ１１〜ＳＷ２２等がオンの際に、光電変換電圧をカラムアンプＡＭＰ１、ＡＭＰ２等に出力する。カラムアンプＡＭＰ１、ＡＭＰ２から出力される光電変換電圧と、参照電圧Ｖｒｅｆが比較器ＣＯＭＰ１、ＣＯＭＰ２等によって比較され、反転するまでカウンタＣＯＵＮＴ１、ＣＯＵＮＴ２等によってカウント動作を行うことにより、デジタル値に変換される。このデジタル値は、ＭＰＸ１、ＭＰＸ２等を介して、水平駆動回路３ｂによって、順次、水平方向に画素データが読み出され、出力チャンネル６１によって出力される。なお、イメージセンサ１によっては、列アンプＡＭＰ１、ＡＭＰ２が存在しない場合もある。
【００５１】
結像画像の一部に高輝度光が入射すると、この高輝度光が入射したフォトダイオードの電荷を電圧に変換する光電変換アンプで大きなチャージ電流が流れる。光電変換アンプから出力された飽和レベルの光電変換で電圧はＡＤＣ回路に入力される。またＡＤＣ回路には、飽和レベルの高い光電変換電圧と比較するために、高いレベルの参照電圧Ｖｒｅｆが入力される。さらにＡＤＣ回路においては、光電変換電圧のレベルに相応したカウント動作が行われる。以上に述べた理由により、高輝度光が入射したフォトダイオードに接続された光電変換アンプや、飽和レベルの高い光電変換電圧が入力されたＡＤＣ回路においては、光電変換アンプやＡＤＣ回路の各種電圧や消費電流が急激に変動する。この結果、この電圧や電流の変動が、回路固有のインピーダンスにより結合して、並列に接続された他の光電変換アンプやＡＤＣ回路に伝播していく。図７のグラフは、強烈入射光による電位変動をＡＤＣ回路で例示したものである。図７（ａ）は、高輝度光によって電源電圧Ｖｄｄが変動する例を示し、図７（ｂ）は、高輝度光によって基準電位（ＧＮＤ）が変動する例を示す。
【００５２】
この光電変換アンプやＡＤＣ回路の変動は、図７に示すように、高輝度光が入射したフォトダイオードに接続された部分の回路が最も大きく、距離が離れるに従って次第に小さくなる。光電変換アンプやＡＤＣ回路の電源電圧の変動に連動して、光電変換出力やＡＤ変換出力も変動する。そこで、高輝度光入射位置からの距離に応じて補正係数を変えることで、適正なストリーキングの補正を行うことが可能となる。
【００５３】
なお、光電変換アンプやＡＤＣ回路の電源電圧の変動は、電源のインピーダンスやＡＤＣ回路のサンプリングタイミングによって影響が異なる。条件によっては、光源からの距離が変わっても一様なレベルのＤＣバイアスノイズ（以下、ストリーキングノイズと記す）が重畳することもあれば、高輝度光からの距離によって、シェーディングを有するようなストリーキングノイズもある。従来のストリーキングの補正においては、高輝度光の入射位置に係らず、一様なストリーキングノイズに対しては有効に補正することができるが、ＣＭＯＳイメージセンサの有効画素部に結像した高輝度光は、高輝度光が結像した画素のアドレスが不明なため、高輝度光からの距離によるシェーディングを有するようなストリーキングに対しては、過補正や補正不足が生じてしまい、ストリーキングが補正されない画像となっていた。
【００５４】
光電変換の結果が、飽和に貼り付くと、すなわち、ＡＤ変換値の各ビットが１になるような状態では、カラムアンプやＡＤ変換器のコンパレータの入力に大電流が流れる。例えば、フォトダイオードの飽和電子数が９０００ｅｌ、電圧変換係数が５０μＶ／ｅｌだとすると、カラムアンプやコンパレータには４５０ｍＶの電圧が入力される。ＣＭＯＳイメージセンサに供給されるアナログ用の電源電圧が２．５Ｖとすると、約１／５の電圧変動が瞬時に複数の画素で発生するため、電源の電圧が変動しやすくなる。
【００５５】
また、フォトダイオードからの読み出しは、毎フレーム行われるため、高輝度光が入射した画素部を読み出す時は、毎フレームこの電圧変動が発生する。読み出し命令が出力されると、カラムアンプやコンパレータの入力部に、瞬時に変動電圧を発生させるためのチャージ電流が流れる。このチャージ電流が電源を変動させる要因の一つとなる。
【００５６】
ＣＭＯＳイメージセンサの内部回路によっては、カラムアンプを有さない場合がある。しかしこの場合でも、フォトダイオードに蓄積した電荷はコンパレータの入力部で電圧変換されるので、電源の電圧が変動しやすくなる。
【００５７】
また、回路構成によっては、カラムアンプやコンパレータの入力電圧変動が、配線容量によってカップリングし、隣接画素に伝播するケースもある。これもストリーキングを発生させる要因の一つとなる。この場合も、隣接画素を同時にＡＤ変換する列並列型ＡＤＣ回路の方で発生しやすい。なお、列並列側ＡＤＣ回路は、シリアル型ＡＤＣ回路よりもストリーキングが発生しやすい。
【００５８】
このように、ストリーキングの発生原因は複数の要素が絡み合って発生するが、電源電圧の変動が主要因の一つである。
【００５９】
なお、ＡＤ変換出力が変動する要因としては、主に以下の４つが考えられる。
（１）入力信号が変動する。
（２）ＡＤ変換器の基準電圧（基準電流）が変動する。
（３）ＡＤ変換器の電源電圧やＧＮＤ電位が変動する。
（４）ＡＤ変換器の出力に外来ノイズが重畳する。
【００６０】
電源電圧の変動は、上記（３）の電源電圧が変動するのは勿論のこと、ＣＭＯＳイメージセンサ内部で基準電圧発生回路とＡＤ変換器の電源が共通に使用されていたり、ＧＮＤ電位が共通となっているケースが多く、上記（２）の基準電圧が変動するにも影響を与えることがある。従って、ＣＭＯＳイメージセンサにおいては、電源電圧の変動がＡＤ変換出力の変動に大きく影響するといえる。
【００６１】
しかし、高輝度光入射による電源電圧の変動の態様は、イメージセンサ単体で決まるものでははく、イメージセンサを実装する基板の状態、電源回路構成、バイパスコンデンサの構成等の要因が複雑に絡まっている。このため、補正式や補正パラメータは、個々の製品毎にＬＵＴ（ルックアップテーブル）方式や近似計算式にて補正するようにすればよい。
【００６２】
次に、図８を用いて、イメージセンサ１の内部構成を説明する。本実施形態におけるイメージセンサ１は、列並列型ＡＤＣ回路を有するＣＭＯＳイメージセンサである。フォトダイオード２内には、フォトダイオードＰＤ１１、光電変換アンプＦＤ１１、スイッチＳＷ１等（図６参照）からなるユニットＵ１、Ｕ２、・・・、ＮＵ１、・・・等を有する。これらのフォトダイオードの読み出しは、垂直駆動回路３ａおよび水平駆動回路３ｂが、タイミングジェネレータ４ａからのタイミング信号に応じて実行する。また、フォトダイオードから読み出された光電変換信号は、ＡＤＣ１、ＡＤＣ２、・・・等によってＡＤ変換され、出力チャンネル選択ＭＰＸ／シフトレジスタ６５を介して出力チャンネル６１から出力される。
【００６３】
図８に示す系統１および系統２は、ＬＶＤＳ（Low voltage differential signaling）の出力チャンネルである。系統１は、ライブビュー表示出力時等に使用するチャンネルであり、また系統２は、ライブビュー表示出力時には通常使用されないチャンネルである。静止画撮影時には、系統１および系統２の全チャンネルから画像データが出力される。
【００６４】
本実施形態においては、ライブビュー表示時に使用されていないチャンネルである系統２から、図９に示すようなタイミングで光源検出用のデータを出力し、ストリーキングの補正に利用する。すなわち、系統１は、時刻Ｔ１〜Ｔ２、時刻Ｔ２〜Ｔ３、・・・の間で、ライブビュー表示用に、それぞれ画像データを出力する。また系統２は、時刻Ｔ１〜Ｔ１１、時刻Ｔ１１〜Ｔ１２、・・・の間で、それぞれ光源検出用の画像データを出力する。
【００６５】
なお、図９では、系統１および系統２のＶ同期信号（垂直同期信号）を表示しているが、実際には、このＶ同期信号は、図８の「同期コード付加」のブロックにてデジタルデータに重畳されるため、ＣＭＯＳイメージセンサ１から直接Ｖ同期信号が出力されているわけではない。
【００６６】
次に、図１０および図１１に示すフローチャートを用いて、本実施形態におけるストリーキングの補正処理を説明する。これらのフローは、ＤＳＰ２０内のＣＰＵ２１（図３参照）がメモリに記憶されたプログラムに従って、ＤＳＰ２０内の各部を制御することにより実行する。
【００６７】
図１０に示すフローに入ると、まず、センサ２系統の出力設定を行う（Ｓ１）。ここでは、画素から取得した系統１および系統２の画像データが出力されるように、イメージセンサ１の設定を行う。
【００６８】
センサ２系統の出力設定を行うと、次に、センサ系統１出力のＡＥ制御を行う（Ｓ３）。ここでは、ＡＥ／ＡＦ２９によって算出されたＩＳＯ感度および電子シャッタのシャッタ速度等を設定し、適正露光条件を決定する。
【００６９】
センサ系統１出力のＡＥ制御を行うと、次に、ステップＳ５以下、ステップＳ２１以下、ステップＳ２５以下を並行して実行する。ステップＳ５以下の処理では、まず、センサ系統２出力のＴｖ値を決定する（Ｓ５）。センサ系統２のＡＥ制御を行うにあたって、ＩＳＯ感度はセンサ系統１におけるＩＳＯ感度を使用し、このステップでは電子シャッタのシャッタ速度Ｔｖ値を決定する。
【００７０】
センサ系統１出力のＴｖ値を決定すると、次に、系統１出力のＡＥ値が一定レベル以上か否かを判定する（Ｓ７）。ここでは、背景が白か黒かをＡＥ値に応じて判定する。ＡＥ値としては、Ｂｖ値（被写体輝度値）を用いるが、これ以外にも、例えば、Ｓｖ値、Ａｖ値を加味して条件判断を行うと、より適正にハイライト画素の存在を判定できる。
【００７１】
ステップＳ７における判定の結果、ＡＥ値が一定レベル以上でなかった場合には、被写体全体が黒傾向であることから、高輝度光が入射した位置を判断するために高めのレベルを設定する。したがって、この場合には、スレッシュレベルとして“Ｈｉｇｈ”を選択する（Ｓ９）。このスレッシュレベルは、レベル設定部３３（図３、図４参照）において設定されるレベルでる。
【００７２】
ステップＳ９においてスレッシュレベルの選択を行うと、次に、画像データの２値化を行う（Ｓ１１）。ここでは、画像２値化部４１（図４参照）において、系統２からの画像データの２値化を行う。
【００７３】
画像データの２値化を行うと、次に、画像内白画素アドレスを検出する（Ｓ１３）。ここでは、Ｙ信号出力部４２（図４参照）が、高輝度光が入射した位置のアドレスを検出する。
【００７４】
ステップＳ７における判定の結果、ＡＥ値が一定レベル以上の場合には、被写体全体が白傾向であることから、電源変動が発生しやすい低輝度部の位置を判断するために低めのレベルを設定する。したがって、この場合には、スレッシュレベルとして“Ｌｏｗ”を選択する（Ｓ１５）。このスレッシュレベルは、レベル設定部３３（図３、図４参照）において設定されるレベルである。
【００７５】
ステップＳ１５においてスレッシュレベルの選択を行うと、次に、ステップＳ１１と同様に、画像データの２値化を行う（Ｓ１７）。ここでは、画像２値化部４１（図４参照）において、系統２からの画像データの２値化を行う。
【００７６】
画像データの２値化を行うと、次に、画像内黒画素アドレスを検出する（Ｓ１９）。ここでは、アドレス変換部３５（図４参照）により、被写体全体の明るさに比べ低輝度光が入射した位置のアドレスを検出する。
【００７７】
ステップＳ３を実行した後、ステップＳ２１以下の処理に入ると、まず、センサ系統１出力の画素並び替えを行う（Ｓ２１）。ここでは、系統１から入力する画像データについて、ライブビュー表示、動画記録等、設定された画像サイズとなるように、並替回路Ａ３１が画素の並び替え（間引き）を行う。
【００７８】
続いて、センサ系統１出力の処理画素のアドレスを検出する（Ｓ２３）。ここでは、ピクセルアドレス検出部４３が、画像データの画素位置（ピクセル位置）を検出する。この検出によって、現在読み込んでいる画像データの画素位置が有効画像領域内の位置や、またＯＢ画素の領域内の位置等を検出できる。なお、処理画素のアドレスは、後述する図１２の領域Ｐのアドレスに相当する。
【００７９】
また、ステップＳ３を実行した後、ステップＳ２５以下の処理に入ると、まず、センサ系統１出力の水平ＯＢ平均値を検出する（Ｓ２５）。ここでは、水平ＯＢ画素平均値検出部４５ａ、水平ＯＢ複数ライン平均値検出部４５ｂ（いずれも図４参照）が、水平ＯＢ検出部２ｃ（図１参照）からのＯＢ値を取得し、平均値を算出する。
【００８０】
水平ＯＢ平均値を検出すると、つぎに、フレーム間ＩＩＲ処理を行う（Ｓ２７）。ここでは複数フレームの水平ＯＢ平均値を用いて、ＩＩＲ処理、すなわち無限インパル応答（Infinite impulse response）処理を行う。
【００８１】
フレーム間ＩＩＲを行うと、このＩＩＲ処理結果と、ステップＳ２３において検出した処理画素アドレスを用いて、センサ系統１出力の処理画素アドレスと同一垂直アドレスのＩＩＲ結果を選択し、補正データを生成する（Ｓ４５）。
【００８２】
また、ステップＳ１３において白画素アドレスを検出すると、またはＳ１９において黒画素アドレスを検出すると、検出アドレスのアドレス変換を行う（Ｓ３１）。ここでは、アドレス変換部３５（図４参照）が、ステップＳ１３またはＳ１９において検出した系統２出力上のアドレスを、系統１出力上のアドレスに変換する。なお、静止画記録の場合は、直前の系統２の高輝度光検出アドレスのアドレス変換データを一時記憶しておく。
【００８３】
検出アドレス変換を行うと、次に、ステップＳ３１において変換された検出アドレスと、ステップＳ２３において検出された系統１出力の処理アドレスを用いて、センサ系統１出力の画素アドレスと高輝度光アドレスの差分を検出する（Ｓ３３）。ここでは、距離検出部４４が、高輝度光のアドレスと、現在、読み込んだ系統１の画像データのアドレスとの差分を算出する。
【００８４】
ステップＳ３３においてアドレスの差分を検出すると、次に、補正ゲインの設定を行う（Ｓ３５）。高輝度光から離れるとストリーキングの影響は小さくなることから、高輝度光のアドレスからの距離が離れるに従って補正ゲインを小さくするように、補正ゲインを設定する。ステップＳ３３における検出とステップＳ３５における補正ゲインの設定の詳細は、図１２を用いて後述する。
【００８５】
補正ゲイン設定を行うと、次に、設定された補正ゲインと、ステップＳ４５において選択したＩＩＲ結果を用いて補正値を決定する（Ｓ３７）。ストリーキングの補正値は、ステップＳ４５で選択した水平ＯＢ平均値のＩＩＲ結果に対して、ステップＳ３５で決定した補正ゲインを乗算した値とする。
【００８６】
ステップＳ３７において補正値を決定すると、次に、減算処理を行う（Ｓ３９）。ここでは、センサ系統１の出力（画像データ）に対して、ステップＳ３７において決定した補正値を減算する。すなわち、ストリーキングは局所的に高輝度光が入射したことにより、周囲の画素に光電子が混入することにより、実際よりも明るい画像となってしまっている。そこで、ＯＢ補正を利用し、高輝度光が入射した画素の近傍の画素に対して、高輝度光入射位置からの距離に応じて補正値を減算し、適正露光と同様の画像を得るようにしている。
【００８７】
ステップＳ３９において減算処理を行うと、次に、カラー化画像処理を行う（Ｓ４１）。ここでは、カラー化およびその他画像処理部５０が、ストリーキングの補正処理を行った画像データに対して、カラー化画像処理を行う。
【００８８】
カラー化画像処理を行うと、画像表示／画像記録を行う（Ｓ４３）。ここでは、カラー化画像処理が施された画像データを用いて、ライブビュー表示、動画記録、静止画記録等を行う。画像表示／画像記録を行うと、ステップＳ３に戻り、前述の動作を繰り返す。
【００８９】
このように、図１０、図１１に示すフローチャートにおいては、二次元状に配列された複数の画素と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器５を備えたイメージセンサ１から画像信号を読み出し（Ｓ１〜Ｓ５、Ｓ２１、Ｓ２５、図９参照）、所定レベル以上の高輝度の光が入射した画素の位置を検出し（Ｓ１３、Ｓ１９参照）、所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行うようにしている（Ｓ３１〜Ｓ３９参照）。
【００９０】
次に、図１２を用いて、ステップＳ３３、Ｓ３５（図１１参照）におけるセンサ系統１出力の画素アドレスと、高輝度光アドレスの差分検出について説明する。なお、以下に説明する処理はゲイン調整部４７が行う。図１２（ａ）は、フォトダイオードアレイ２から出力されるセンサ系統１出力の画素位置を示す。この図２において、領域Ｑは高輝度光が入射した領域を示し、高輝度光の四隅のアドレスは、（ｘstart，ｙstart）、（ｘend，ｙstart）、（ｘend，ｙstart）、（ｘend，ｙend）とする。
【００９１】
また、領域Ｒ１、Ｒ２は、ストリーキングノイズが発生した領域を示している。シェーディング特性を有し、高輝度光領域Ｑからの距離に応じてストリーキングノイズに濃淡が生じている。領域Ｓ１、Ｓ２は、高輝度光が入射せず、またストリーキングノイズも発生しない通常領域を示している。
【００９２】
今、処理対象領域Ｐに対して、ストリーキングに対する補正処理を行うとする（ステップＳ３３、Ｓ３５参照）。この領域Ｐのアドレスを、（ｘn，ｙm）とする。高輝度光領域Ｑと処理対象領域Ｐのアドレスを比較し、（ｙm）＜（ｙstart）または（ｙm）＞（ｙend）の場合には、係数を乗算することなく、ＯＢ値を減算する。この場合は、処理対象領域Ｐが通常領域Ｓ１、Ｓ２の範囲にあるため、ストリーキング補正処理を行う必要がない。
【００９３】
高輝度光領域Ｑと処理対象領域Ｐのアドレスを比較し、（ｙstart）≦（ｙm）≦（ｙend）の場合には、処理対象領域Ｐのｘ座標に応じて、下記（１）〜（３）式に基づいて高輝度光領域Ｑから処理対象領域Ｐまでのｘ方向の距離ｘdistanceを算出する。
【００９４】
まず、（ｘn）＜（ｘstart）の場合には、処理対象領域Ｐが領域Ｒ１にあることから、下記（１）式より、距離ｘdistanceを算出する。
（ｘdistance）＝（ｘstart）−（ｘn）    ・・・（１）
また、（ｘn）＞（ｘend）の場合には、処理対象領域Ｐが領域Ｒ２にあることから、下記（２）式より、距離ｘdistanceを算出する。
（ｘdistance）＝（ｘn）−（ｘend）    ・・・（２）
また、（ｘstart）≦（ｘn）≦（ｘend）の場合には、処理対象領域Ｐが高輝度光領域Ｑにあることから、下記（３）式により、距離ｘdistanceを算出する。
（ｘdistance）＝０    ・・・（３）
【００９５】
（１）式ないし（３）式より、距離ｘdistanceを算出すると、距離ｘdistanceの値によって、ステップＳ３９においてＯＢ減算する際に、ＯＢ値に乗算する係数（補正ゲイン）を変更する。図１２（ｂ）に、距離ｘdistanceに応じた係数（補正ゲイン）を予めテーブル（ＬＵＴ）に記憶しておく例を示す。この例は、ｘが４０００画素、ｙが３０００画素、総画素１２Ｍピクセルの場合である。補正演算部４８は、時間軸ＩＩＲフィルタ４６から出力されたＯＢ画素の平均値に、ゲイン調整部４７により算出されたゲイン値を乗算して補正値を算出し、減算部４９に出力する。
【００９６】
減算部４９は、並替回路Ａ３１から出力される画像データから、図１２（ｂ）に示すｘdistanceに応じた補正ゲイン値を用いて補正値演算部４８にて算出された補正値を減算した画像データを、カラー化およびその他画像処理部５０に出力する。
【００９７】
このように、本実施形態においては、高輝度部（領域Ｑ）からの距離に応じて、補正値ゲインを乗算したＯＢ補正値を、画像データから減算することにより、ストリーキング補正処理を行っている。
【００９８】
以上説明したように、本発明の一実施形態のカメラは、二次元状に配列された複数の画素（図１に示すフォトダイオードアレイ２）と、該複数の画素で生成された出力信号を同時並列的にデジタル信号に変換する複数のＡＤ変換器５を備えたイメージセンサ１と、イメージセンサ１から画像信号を読み出すための画像信号読出部（例えば、水平・垂直ドライバ３、タイミングコントローラ４）と、所定レベル以上の高輝度の光が入射した画素の位置を検出する高輝度判定部（例えば、図３の光源位置検出３２）と、所定レベル以上の高輝度の光が入射したものと判定した列に配置された画素信号のＡＤ変換値を、所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいてゲイン補正を行う補正部（例えば、図３のアドレス変換部３５、ゲイン調整部４７、減算部４９等）を有している。このように、所定レベル以上の高輝度の光が入射した画素の位置からの距離に応じたゲイン値に基づいて補正を行っているので、シェーディングを有するストリーキングを正確に補正することができる。
【００９９】
また、本発明の一実施形態においては、二次元状に配列された複数の画素は、画像記録又は画像表示に供するための第１画素群（例えば、図３、図４の系統１）と、高輝度判定部により上記所定レベル以上の高輝度の光が入射した画素位置を検出するための第２画素群（例えば、図３、図４の系統２）とを有しており、画像信号読出部は、第１画素群の１フレームの画像信号の読み出し期間内において第２画素群の画像信号を読み出し（例えば、図９参照）、高輝度判定部は、第２画素群の画像信号に基づいて高輝度部を検出し（図１０のＳ１３、Ｓ１９）、補正部は、第２画素群の読み出し期間を含む期間内に読み出された第１画素群から読み出された画像信号のゲイン補正を行うようにしている（図１１のＳ３３〜Ｓ３９）。このように、高速で読み出した第２画素群の画像信号を用いて高輝度を検出していることから、リアルタイムでストリーキング補正を行うことができる。
【０１００】
また、ゲイン値は、所定レベル以上の高輝度の光が入射した画素位置からの距離が長いほど小さくなるように予め設定されている（図１２（ｂ）参照）。このため、シェーディングを有するストリーキングを正確に補正することができる。
【０１０１】
なお、本発明の一実施形態においては、ストリーキング補正処理を行うにあたって、画像データからＯＢ値を減算する際に、ＯＢ値をストリーキングに応じた値に補正したＯＢ補正値を使用していた。しかし、これに限らず、画像データに対して、ストリーキングに応じた補正値を直接、減算、また乗算する等によって補正してもよい。この場合、高輝度光の位置に応じて補正値を変化させてシェーディングを有するストリーキングを補正するようにする。
【０１０２】
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、ストリーキングが発生するような撮像素子を有する装置であれば、本発明を適用することができる。
【０１０３】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１０４】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０５】
１・・・イメージセンサ、２・・・フォトダイオードアレイ、２ａ・・・実効画素、２ｂ・・・有効画素、２ｃ・・・水平ＯＢ画素、２ｄ・・・垂直ＯＢ画素、２ｅ・・・無効画素、３・・・水平・垂直ドライバ、４・・・タイミングコントローラ、５・・・ＡＤ変換器、６・・・並び替え部、７ａ〜７ｎ・・・バッファアンプ、１１・・・撮影レンズ、１２・・・モータ通信部、１３・・・レンズ制御部、２０・・・ＤＳＰ、２１・・・ＣＰＵ、２２・・・画像信号読出部、２３〜２５・・・アンプ、２６・・・並替回路、２７・・・制御ブロック、２８・・・スイッチ、２９・・・ＡＥ／ＡＦ、３１・・・並替回路Ａ、３２・・・光源位置検出部、３３・・・レベル設定部、３４・・・画像処理プロセッサ、３５・・・アドレス変換部、４１・・・画像２値化部、４２・・・Ｙ信号出力部、４３・・・ピクセルアドレス検出部、４４・・・距離検出部、４５ａ・・・水平ＯＢ画素平均値検出部、４５ｂ・・・水平ＯＢ複数ライン平均値検出部、４６・・・時間軸ＩＩＲフィルタ、４７・・・ゲイン調整部、４８・・・補正値演算部、４９・・・減算部、５０・・・カラー化およびその他画像処理部、５１・・・ＤＲＡＭ、５２・・・表示デバイス、６１〜６２・・・出力チャンネル、６５・・・出力チャンネル選択ＭＰＸ／シフトレジスタ
【図１】
2014175778.tif 000003
【図２】
2014175778.tif 000004
【図３】
2014175778.tif 000005
【図４】
2014175778.tif 000006
【図５】
2014175778.tif 000007
【図６】
2014175778.tif 000008
【図７】
2014175778.tif 000009
【図８】
2014175778.tif 000010
【図９】
2014175778.tif 000011
【図１０】
2014175778.tif 000012
【図１１】
2014175778.tif 000013
【図１２】
2014175778.tif 000014