(57)【要約】【課題】撮像素子自身の内部温度を的確に求めることができ、画質の低下を防ぐことができ、画質向上するための画像処理を最適化することが可能な撮像装置および撮像素子測温方法を提供する。【解決手段】撮像装置１０は、撮像素子１２と画像処理部１５を有し、画像処理部１５は、撮像素子の撮像面から暗電流出力を検出するための所定領域を選択する領域選択部１５１と、選択された所定領域の出力信号から暗電流出力を検出する暗電流検出部１５２と、選択された所定領域の出力信号から特異出力画素信号を抽出する特異画素抽出部１５３と、記検出された暗電流から抽出された特異画素信号分を除去して分散値を算出し、算出した暗電流の分散値から撮像素子の温度を得る処理部１５４とを有する。【選択図】図３
2010011161.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子の画素領域から暗電流出力を検出するための所定領域を選択する選択部と、
前記選択された所定領域の出力信号から暗電流出力を検出する検出部と、
前記選択された所定領域の出力信号から特異出力画素信号を抽出する抽出部と、
前記検出された暗電流から前記抽出された特異画素信号分を除去して分散値を算出し、当該算出した暗電流の分散値から前記撮像素子の温度を得る処理部と
を有する撮像装置。
【請求項２】
前記選択された所定領域は、前記撮像素子の光学的遮光部分を含む
請求項１記載の撮像装置。
【請求項３】
前記選択された所定領域は、前記撮像素子の有効撮像領域において、所定時間以上の蓄積時間で画像出力レベルが所定値以下となる領域を含む
請求項１記載の撮像装置。
【請求項４】
前記処理部は、
前記暗電流の分散値を、連続するフレーム毎に算出し、前記撮像素子と被写体との相対速度に応じて用いるフレーム数を変化させて換算平均を行う
請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
前記処理部の温度検出結果に応じて画像処理の制御を行う測温機能部を有する
請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
撮像素子の画像領域から暗電流出力を検出するための所定領域を選択するステップと、
前記選択された所定領域の出力信号から暗電流出力を検出するステップと、
前記選択された所定領域の出力信号から特異出力画素信号を抽出するステップと、
前記検出された暗電流から前記抽出された特異画素信号分を除去して分散値を算出するステップと、
前記算出された暗電流の分散値から前記撮像素子の温度を得るステップと
を有する撮像素子測温方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳセンサ等の撮像素子により画像を生成する撮像装置および撮像素子測温方法に関するものである。
【背景技術】
【０００２】
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面はフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
【０００３】
被写体像を電気信号に光電変換する撮像素子は、本来被写体からの反射光を受光して生成された電荷に基づき電気信号を発生するが、実際に光を受光していないにもかかわらず電荷が生成されてしまう。
【０００４】
このような電荷は暗電流と呼ばれる。暗電流の大きさは、撮像蓄積時間だけでなく撮像素子自身の温度に依存する。
特に、温度に関しては８から１０°Ｃの上昇で２倍に増加すると言われており、何らかの手法で処理を施さないと高温下の画質は暗電流が増加することにより、Ｓ／Ｎ比の低下やダイナミックレンジの低下を招く。
【０００５】
そのため、撮像装置は、暗電流の影響を除き、望ましい撮像画像を得るために撮像素子の動作環境温度を的確に把握することが必要となっている。
【０００６】
撮像素子の温度を測定する手段として、撮像素子の周辺の温度を検出することができる温度センサを備えることにより撮像素子の環境温度を測定する技術が知られている。
【０００７】
また、特許文献１には、撮像素子の画素欠陥の個数を求め、撮像装置に設けられている、あらかじめ求めておいた欠陥画素の個数と温度との関係テーブルから撮像素子自身の内部温度を算出する方法が開示されている。
【０００８】
特許文献２には、暗電流の標準温度または平均値を算出して、暗電流値と撮像素子の温度との関係を温度テーブルを用いて照らし合わせ、撮像素子自身の内部温度を算出する方法が開示されている。
【特許文献１】特開２００６−１２１２９２号公報
【特許文献２】特開２００７−２０１７３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、外部の測温手段では、撮像素子自身の温度を測定することできないために的確に必要とする撮像素子の温度を測定できないことになる。
【００１０】
一方、特許文献１においては、撮像装置に備えられているテーブルにより撮像素子自身の内部温度を画素欠陥の個数よりを求めるように考えられている。
しかしこれでは、撮像素子の個々の画素には感度ばらつきがあることや、宇宙線により新たに画素欠陥が発生してしまう後発的な画素欠陥の個数に対しては考慮することができないことになる。
したがって、特許文献１の技術では、撮像装置の画質の低下を防ぎ、画質向上するための画像処理に必要とされる撮像素子自身の内部温度を的確に求めることができないという不利益がある。
【００１１】
また、特許文献２における撮像画素からの暗電流の標準偏差または平均値に基づいて撮像素子の内部温度を推定算出することでは、固定パターンノイズや不完全な画素欠陥などの特異出力画素信号の影響を受け、適正な暗電流値を算出できないことになる。
その結果、特許文献２の技術では、撮像素子自身の内部温度との相関が取れず、撮像装置の画質の低下を防ぎ、画質向上するための画像処理に必要とされる撮像素子自身の内部温度を的確に求めることができないという不利益がある。
【００１２】
本発明は、撮像素子自身の内部温度を的確に求めることができ、画質の低下を防ぐことができ、画質向上するための画像処理を最適化することが可能な撮像装置および撮像素子測温方法を提供することにある。
【課題を解決するための手段】
【００１３】
本発明の第１の観点の撮像装置は、撮像素子と、前記撮像素子の画素領域から暗電流出力を検出するための所定領域を選択する選択部と、前記選択された所定領域の出力信号から暗電流出力を検出する検出部と、前記選択された所定領域の出力信号から特異出力画素信号を抽出する抽出部と、前記検出された暗電流から前記抽出された特異画素信号分を除去して分散値を算出し、当該算出した暗電流の分散値から前記撮像素子の温度を得る処理部とを有する。
【００１４】
好適には、前記選択された所定領域は、前記撮像素子の光学的遮光部分を含む。
【００１５】
好適には、前記選択された所定領域は、前記撮像素子の有効撮像領域において、所定時間以上の蓄積時間で画像出力レベルが所定値以下となる領域を含む。
【００１６】
好適には、前記処理部は、前記暗電流の分散値を、連続するフレーム毎に算出し、前記撮像素子と被写体との相対速度に応じて用いるフレーム数を変化させて換算平均を行う。
【００１７】
好適には、前記処理部の温度検出結果に応じて画像処理の制御を行う測温機能部を有する。
【００１８】
本発明の第２の観点の撮像素子測温方法は、撮像素子の画素領域から暗電流出力を検出するための所定領域を選択するステップと、前記選択された所定領域の出力信号から暗電流出力を検出するステップと、前記選択された所定領域の出力信号から特異出力画素信号を抽出するステップと、前記検出された暗電流から前記抽出された特異画素信号分を除去して分散値を算出するステップと、前記算出された暗電流の分散値から前記撮像素子の温度を得るステップとを有する。
【発明の効果】
【００１９】
本発明によれば、撮像素子自身の内部温度を的確に求めることができ、画質の低下を防ぐことができ、画質向上するための画像処理を最適化することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２１】
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【００２２】
本実施形態の撮像装置１０は、図１に示すように、光学系１１、撮像素子１２、アナログフロントエンド部（ＡＦＥ）１３、アナログ・デジタル変換部（ＡＤＣ）１４、画像処理部１５、および画像表示部１６を有する。
【００２３】
光学系１１は、撮影した被写体ＯＢＪの像を撮像素子１２の受光面に結像する。
【００２４】
撮像素子１２は、ＣＣＤやＣＭＯＳセンサにより形成される。
図２は、撮像素子１２の画像アレイ部の一例を示す図である。
撮像素子１２は、図２に示すように、画素がアレイ状に配列された画素アレイ部１２０を有する。
そして、画素アレイ部１２０は、中央部の有効画素領域１２１と周辺部の光学的に遮光された遮光画素領域１２２を含む。
撮像素子１２には、一般的に有効画素領域１２１と遮光画素領域１２２が存在する。有効画素領域１２１では被写体の像が結像される領域であり、遮光画素領域１２２は、画素出力の基準とするために光学的に遮光を行っている領域となる。
【００２５】
撮像素子１２は、光学系１１で取り込んだ被写体像を光電変換して画像信号としてＡＦＥ１３に出力する。
具体的には、撮像素子１２は、図示しない撮像素子駆動タイミング制御回路にて、所定の撮像蓄積および読出し時間等が制御されることにより画像信号を得る。
【００２６】
ＡＦＥ１３は、撮像素子１２による画像信号を受けて、撮像素子のリセットノイズ等の除去処理および所定の増幅処理を行い、処理後の画像信号をＡＤＣ１４に出力する。
【００２７】
ＡＤＣ１４は、ＡＦＥ１３によるアナログ画像信号をデジタル信号に変換して画像処理部１５に出力する。
【００２８】
画像処理部１５は、ＡＤＣ１４によるデジタル画像信号を受けて、所定の画像処理、具体的にはカラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、画像表示部１６への画像表示や図示しないメモリへの記録を行う。
【００２９】
画像処理部１５は、撮像素子１２の温度測定機能部（測温機能部）を有する。
画像処理部１５の測温機能部は、画像信号から暗電流を検出するための領域を選択し、選択した領域の画像信号から暗電流値を検出し、検出した暗電流値に対し特異画素信号部を除去してその分散値を求め、算出した暗電流の分散値から撮像素子１２の温度を得る。
【００３０】
測温機能部は、所定温度テーブル等との相関により得た撮像素子の環境温度に対し、所定基準値と比較して、撮像前処理部の構成である撮像素子１２またはＡＦＥ１３またはＡＤＣ１４または撮像後処理部である画像処理部１５に対し、暗電流による画像低下を防ぎ、画質向上させるために黒レベル設定や黒レベルオフセット補正やノイズ低減のための制御処理を行う。
【００３１】
画像処理部１５は、以上の測温機能部の処理により、撮像素子１２の測温を正確に行うことが可能となり、これにより測温された結果の温度により撮像装置の処理システムを停止させたり、システムを復帰させたりすることも可能に構成される。
たとえば、撮像素子の測温を正確に正しく行うことで高温になりすぎて画質が確保されない場合は、あらかじめシステムを停止し、再び画質が確保できる温度になった場合は、いち早くシステムを稼動することで、無駄のない画像処理システムを構築することができる。
【００３２】
図３は、本実施形態の画像処理部１５の測温機能部の構成例を示す図である。
【００３３】
測温機能部１５０は、図３に示すように、領域選択部１５１、暗電流検出部１５２、特異画素抽出部１５３、および処理部１５４を有する。
【００３４】
領域選択部１５１は、撮像素子１２の撮像面から暗電流出力を検出するための所定領域を選択し、選択した画素領域に相当する画像信号を暗電流検出部１５２および特異画素抽出部１５３に供給する。
【００３５】
図４（Ａ），（Ｂ）は、領域選択部による選択領域の具体例を示す図である。
領域選択部１５１は、図４（Ａ）に示すように、撮像素子１２の光学的遮光部分である遮光画素領域１２２の所定領域を選択領域１２２１として選択する。
あるいは、領域選択部１５１は、図４（Ｂ）に示すように、撮像素子１２の有効画素領域１２１において、所定時間以上の蓄積時間で画像出力レベルがある一定のレベルが確保されて、かつ所定値以下となる領域を選択領域１２１１として選択する。
【００３６】
撮像素子１２は、前述したように、２次元的に配列された画素のうち、光学的に遮光された遮光画素領域１２２と、光学系を介して取り込まれた像を受けて光電変換する有効画素領域１２１とを有する。
有効画素領域１２２で温度検出を行う場合、遮光領域を抽出する処理がないため、通常処理アルゴリズムの中で温度検出ができる。
ただし、被写体によっては、高輝度被写体などの領域で検出する際には、正しい分散値が検出できないことが考えられる。
そのため、温度検出を選択する領域を決定させるには、安定した分散値が必要となる。画像信号のレベルが高いと飽和する画素が存在するため、温度検出のための分散値を求めることができないおそれがある。この場合は、遮光画素領域１２２を選択する方が好ましい。
【００３７】
また、安定した分散値とするためには、ある一定以上の露出時間が必要となる。露出時間が短いと分散値が極端に少なくなり温度検出が正しく行われないおそれがある。この場合は、有効画素領域１２１を選択する方が好ましい。
【００３８】
暗電流検出部１５２は、領域選択部１５１で選択された所定領域の出力信号から暗電流出力を検出し、その結果を処理部１５４に出力する。
【００３９】
特異画素抽出部１５３は、領域選択部１５１で選択された所定領域の出力信号から特異出力画素信号を抽出し、抽出した信号を処理部１５２に出力する。
【００４０】
処理部１５４は、暗電流検出部１５２で検出された暗電流から、特異画素抽出部１５３で抽出された特異画素信号分を除去して分散値を算出し、算出した暗電流の分散値から撮像素子１２の温度を得る。
【００４１】
以下、暗電流出力、特異画素出力、分散値からの温度取得処理等についてより具体的に説明する。
【００４２】
図５は、本発明の実施形態に係る基本的な撮像素子測温方法おける暗電流の分散値算出処理のフローチャートである。
【００４３】
＜ステップＳＴ１＞
ステップＳＴ１では、図示しない撮像素子駆動制御タイミングの遮光画素読み出しタイミングにて領域選択部１５１が遮光部分領域１２２や有効撮像領域１２１内の暗電流検出対象領域を選択する。
【００４４】
＜ステップＳＴ２＞
次に、ステップＳＴ２では、暗電流検出部１５２が選択された領域の暗電流を検出する。そして、撮像素子１２の環境温度変化は撮像フレームレートに比べ緩やかであるため、フィルタリングやたとえば数フレーム積分手法にて、特異画素抽出部１５３が固定パターンノイズや不完全な画素欠陥などの特異画素信号が出力する画素タイミングを認識する。
【００４５】
＜ステップＳＴ３＞
ステップＳＴ３では、処理部１５４が、特異画素が認識できた以降の順次出力される撮像素子１２からの出力信号から、ステップＳＴ２にて特異画素信号として認識された画素出力信号のみをたとえばゲーティング等の手法にて取り除く。
【００４６】
＜ステップＳＴ４＞
そして、ステップＳＴ４では、処理部１５４が、特異画素が除去された暗電流ノイズ画素信号に基づいて所定遮光部分領域画素の暗電流分散値を算出する。
【００４７】
図６は、撮像素子の温度に対する暗電流出力の特性データを示す図である。図６は、常温から高温における暗電流値を示している。
【００４８】
図６に示すように、温度が高くなればなるほど暗電流出力は上がる傾向にある。
【００４９】
図７（Ａ）および（Ｂ）は、特異画素出力について説明するための図である。
【００５０】
暗電流の正確な分散値を求めるためには、何らかの欠陥により異常な値を出力する画素からの特異画素出力を除外する必要がある。
図７（Ａ）に示すように、撮像素子１２の温度が低い場合は、暗電流出力と共に特異画素出力のレベルも小さい。
撮像素子１２の温度が高い場合は、図７（Ｂ）に示すように、暗電流出力と共に特異画素出力のレベルも大きくなり、その影響は無視できないものとなる可能性が高くなる。
そこで、本実施形態においては、温度が高い状態であっても正常画素の出力が超えない程度の特異出力スレッショルドレベルＶＴＨを設けて、このレベルＶＴＨを超える画素出力を特異画素出力として除外する。
【００５１】
図８は、撮像素子の温度によって温電流の分散が異なってくることを概念的に示す図である。
【００５２】
図８は、横軸を各画素の出力値、縦軸を度数（画素の個数）としたヒストグラムを示し、常温時と高温時それぞれの画素出力値の分布状況を示している。
図８においては、説明の便宜上、常温時のグラフと高温時のグラフは横軸方向の位置を分布の中心値で合わせこんだ表し方となっている。
【００５３】
撮像素子１２の温度が常温の状態においては、分布の中心付近における度数が高く、ばらつきが少ない縦長の形状の分布となっている。
これに比べて、撮像素子の温度が高き状態では、分布の中心付近における度数が低く、ばらつきが多い幅広の形状の分布となっている。
つまり、撮像素子１２の温度が高いほど分散は大きく、逆に低いほど分散は小さいという特性がある。
したがって、この関係を用いることで暗電流出力の分散の値から撮像素子の温度を推定することが可能となる。
分散値を用いることで、平均値等を用いる場合に比べて、異常な出力の影響を受けにくくなるため、精度がよくかつ分解能の高い温度検出が可能となる。
【００５４】
図９は、ノイズ分散値と温度との関係を示す図である。
【００５５】
素子の個体差によりある幅をもっている。図９中の上下のラインにてその幅を示す。
しかしながら、各素子でのノイズ分散値は、近似的に一定の数式として示すことができる。
この場合、ある温度を境として２通りの式で近似が可能である。
【００５６】
［数１］
ｙ＝Ｂ＊Ｘ＋Ｃ
【００５７】
［数２］
ｙ＝Ａ＊ｘ ｅｘｐ３．６
【００５８】
たとえば、この近似式を用いて分散値より温度を算出する。
【００５９】
次に、時系列で得られる複数フレームのデータを用いて、より精度の高い温度検出を行う方法について説明する。
【００６０】
図１０は、時系列で得られる複数フレームのデータを用いて、より精度の高い温度検出を行う方法のアルゴリズムを示す図である。
【００６１】
この方法では、暗電流の分散値を、連続するフレーム毎に算出し、前記撮像素子と被写体との相対速度に応じて用いるフレーム数を変化させて換算平均を行う。
基本的には、時系列的に、図５のステップＳＴ１〜ＳＴ４の系列処理が繰り返される。
そして、隣接する系列処理の分散値の差分を検出して平均化処理を行う。
【００６２】
本実施形態による温度検出の精度をより高いものとするために、一回（１フレーム画面）の結果のみでなく、複数回（複数フレーム）の結果を用いて、たとえば加算平均等を行うことによってデータの信頼性を向上させるという方法をとることも可能である。
その場合、取り込む画の経時的な変化の度合いで結果のばらつきの程度も変わってくるため、用いる結果の数（フレーム数）は、撮像素子１２と被写体ＯＢＪとの相対速度によって変えることが効果的となる。
【００６３】
図１０のアルゴリズムにおいて、相対速度が速い場合、画像の更新が速い、換言すれば被写体ＯＢＪと撮像装置との動きが速いため、差分の蓄積量を多くする。
たとえば、図１０の分散値算出アルゴリズムにおいて、各フレームでの差分出力を用いる場合は、差分出力に平均化を多数フレームで行う。
この場合、ステップＳＴ５，ＳＴ６，ＳＴ７で得られる値１，２，３を平均化して算出することで、求める温度分散値に近づけることができるため、精密な温度検出が可能となる。
【００６４】
反対に、相対速度が遅い場合は、画像の更新が遅いため、蓄積量が少なくても求める温度分散値に近いため、平均化を少なくしても安定した温度検出が可能となることにより、信号処理の負担を少なくすることが可能となる。
【００６５】
ｎ個のデータｘ１，ｘ２，・・・，ｘｎがあって、／ｘ（／はバーの代わりの符号を示す）をそのデータの相加平均としてときに、（／ｘ−ｘｉ）２の平均を標本分散といい、下記式で与えられる。
【００６６】
【数３】
2010011161.tif 000003
【００６７】
本実施形態においては、この標本分散を求めることにより、分散値を得ている。
【００６８】
本実施形態によれば、撮像素子１２と画像処理部１５を有する。そして、画像処理部１５は、撮像素子の撮像面から暗電流出力を検出するための所定領域を選択する領域選択部１５１と、選択された所定領域の出力信号から暗電流出力を検出する暗電流検出部１５２と、選択された所定領域の出力信号から特異出力画素信号を抽出する特異画素抽出部１５３と、記検出された暗電流から抽出された特異画素信号分を除去して分散値を算出し、算出した暗電流の分散値から撮像素子の温度を得る処理部１５４とを有することから、以下の効果を得ることができる。
【００６９】
すなわち、撮像素子自身の内部温度を的確に求めることができる。このため、適切な温度雑音の除去処理が可能となり、撮像素子の高温下における画質の低下を防ぐことができ、画質向上するための画像処理を最適化することができる。
【００７０】
画像処理部１５は、以上の測温機能部の処理により、撮像素子１２の測温を正確に行うことが可能となり、これにより測温された結果の温度により撮像装置の処理システムを停止させたり、システムを復帰させたりすることも可能に構成することも可能となる。
たとえば、撮像素子の測温を正確に正しく行うことで高温になりすぎて画質が確保されない場合は、あらかじめシステムを停止し、再び画質が確保できる温度になった場合は、いち早くシステムを稼動することで、無駄のない画像処理システムを構築することができる。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】撮像素子の画像アレイ部の一例を示す図である。
【図３】本実施形態の画像処理部の測温機能部の構成例を示す図である。
【図４】領域選択部による選択領域の具体例を示す図である。
【図５】本発明の実施形態に係る基本的な撮像素子測温方法おける暗電流の分散値算出処理のフローチャートである。
【図６】撮像素子の温度に対する暗電流出力の特性データを示す図である。
【図７】特異画素出力について説明するための図である。
【図８】撮像素子の温度によって温電流の分散が異なってくることを概念的に示す図である。
【図９】ノイズ分散値と温度との関係を示す図である。
【図１０】時系列で得られる複数フレームのデータを用いて、より精度の高い温度検出を行う方法のアルゴリズムを示す図である。
【符号の説明】
【００７２】
１０・・・撮像装置、１１・・・光学系、１２・・・撮像素子、１３・・・アナログフロントエンド部（ＡＦＥ）、１４・・・アナログ・デジタル変換部（ＡＤＣ）、１５・・・画像処理部、１５０・・・測温機能部、１５１・・・領域選択部、１５２・・・暗電流検出部、１５３・・・特異画素抽出部、１５４・・・処理部、１６・・・画像表示部。
【図１】
2010011161.tif 000004
【図２】
2010011161.tif 000005
【図３】
2010011161.tif 000006
【図４】
2010011161.tif 000007
【図５】
2010011161.tif 000008
【図６】
2010011161.tif 000009
【図７】
2010011161.tif 000010
【図８】
2010011161.tif 000011
【図９】
2010011161.tif 000012
【図１０】
2010011161.tif 000013