(57)【要約】【課題】撮像領域の境界の信号に出現するノイズ成分に対する対策手段として、通常の映像信号に影響を与えることなく補正を行うことで画質を改善する。【解決手段】読み出し領域前部ノイズ検出回路４４は、読み出し領域の前部数ピクセルの範囲の映像信号に対して、対象とするピクセルのレベルと、対象とするピクセルの前後両隣の各ピクセルのレベル平均値との差分をとり、高域成分を検出する。この高域成分が大きいほどノイズである可能性が高くなる。読み出し領域後部高輝度検出回路４５は、直前ラインの読み出し領域の後部数ピクセルの範囲の映像信号に対して平均値を算出する。セレクタ４Ａは、乗算器４Ｆからの補正係数αと補正係数（１−α）とに応じた比率で、補間信号算出回路４１で作成された補間信号と、メモリ４２に蓄えられた入力映像信号とを混合して、ノイズ成分が減少した補正後信号を生成する。【選択図】図４
2009130777.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の撮像領域を複数に分割した複数の読み出し領域を有し、その複数の読み出し領域のそれぞれから並列に映像信号を読み出す分割読み出し方式の撮像装置であって、
前記読み出し領域から出力される映像信号から線形補間によりノイズ補正に用いる補間信号を算出する補間信号算出手段と、
前記読み出し領域から出力される映像信号の補正対象のラインの先頭ピクセルと、その直後の予め定めた数のピクセルとからなる第１のピクセル範囲において、対象とするピクセルのレベルと、対象とするピクセルの前後両隣の各ピクセルのレベル平均値との差分をとり、高域成分を検出する高域成分検出手段と、
前記読み出し領域から出力される映像信号の、前記高域成分検出手段により検出される１ラインの直前のラインにおける前記読み出し領域の境界の最終読み出しピクセルと、その直前の予め定めた数のピクセルとからなる第２のピクセル範囲において、映像信号の平均値を算出する平均値算出手段と、
前記高域成分検出手段により検出した前記高域成分と、前記平均値算出手段により算出した前記平均値とを乗算して補正係数を算出する補正係数算出手段と、
前記読み出し領域から出力される映像信号に対する前記補間信号の相対的な加算割合を、前記補正係数の値に応じて変化させて、前記映像信号と前記補間信号とを加算して補正後信号を生成する加算手段と
からなる回路部を、前記複数の読み出し領域から出力される映像信号のそれぞれに対し設けたことを特徴とする撮像装置。
【請求項２】
前記第２のピクセル範囲の各ピクセルのうち、ピクセル信号値をａ、値が所定の閾値よりも大で、かつ、前記第２のピクセル範囲内で最初にノイズが出現するピクセルの値をｂ、ピクセル信号値としての最大値をｃとしたとき、（ａ−ｂ）／（ｃ−ｂ）で表される係数を算出する係数算出手段を前記平均値算出手段に替えて設け、
前記補正係数算出手段は、前記係数算出手段で算出した前記係数と前記高域成分検出手段により検出した前記高域成分とを乗算して前記補正係数を算出する手段であることを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に係り、特に分割読み出し撮像素子を用いた撮像装置に関する。
【背景技術】
【０００２】
近年、撮像装置に使用される撮像素子の高画素、高精細化が加速しており、静止画用では数千万画素、動画用でも八百万画素を超える画素数の撮像素子が出てきている。画素数の増加に伴い、特に動画用撮像素子の場合、撮像した信号を高速に取り出すために、撮像領域を分割して分割読み出しを行うことが一般的に行われている。
【０００３】
この分割読み出し方式には、撮像素子の分割領域毎に使用する出力アンプやＡ／Ｄコンバータの違いにより、感度と出力信号の特性が異なるという問題があり、これを補正する方式として様々な提案がなされている（例えば、特許文献１、２参照）。
【０００４】
特許文献１には、分割領域毎に特定範囲の電気信号を調べ、その電気信号に基づいて、対応する分割領域の信号差を補正するための補正値を算出し、その補正値に基づいて、特定範囲を含む分割領域に使用する出力アンプやＡ／Ｄコンバータのゲイン、オフセットを調節して分割領域毎の信号特性差を抑える方式が開示されている。また、特許文献２には、各分割領域境の類似性の強い信号の平均値と、隣接する分割領域からの信号の平均値とを用いて、分割領域の撮像信号伝送系のゲイン、オフセットを調節して分割領域毎の信号特性差を抑える方式が開示されている。
【０００５】
【特許文献１】特開２００３−０１８４７２号公報
【特許文献２】特開２００４−１７９７３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、分割読み出しの撮像素子では、特許文献１や特許文献２記載の発明では解決されない他の問題がある。すなわち、分割読み出しの撮像素子では、素子によって分割された撮像領域の境界に、撮像信号の急激な変化による電源電圧の変動や信号配線の引き回しによる信号の漏れ込みに起因する１ピクセル単位のノイズが出現する場合があるという問題がある。
【０００７】
例えば、あるラインの分割領域境界の最終読み出しピクセルとその直前の数ピクセルの範囲（以下後部ピクセル）に、高輝度の信号が入力された場合、次のラインの先頭ピクセルから数ピクセルの範囲（以下前部ピクセル）の信号が影響されて、通常信号にノイズ成分が加わった信号となる場合がある。このようなノイズ成分は、分割領域の境目に出現するため、画像全体の中心部となる場合も多く、しかも後段のガンマ補正処理等で強調されるため、特に暗部において目立った画質劣化要因となる。しかしながら、このような現象に対する対策方法は、まだ何も開示されていないのが現状である。
【０００８】
本発明は上記の点に鑑みなされたもので、撮像領域の境界の信号に出現するノイズ成分に対する対策手段として、通常の映像信号に影響を与えることなく補正を行うことで画質を改善し得る撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するため、本発明は、撮像素子の撮像領域を複数に分割した複数の読み出し領域を有し、その複数の読み出し領域のそれぞれから並列に映像信号を読み出す分割読み出し方式の撮像装置であって、読み出し領域から出力される映像信号から線形補間によりノイズ補正に用いる補間信号を算出する補間信号算出手段と、読み出し領域から出力される映像信号の補正対象のラインの先頭ピクセルと、その直後の予め定めた数のピクセルとからなる第１のピクセル範囲において、対象とするピクセルのレベルと、対象とするピクセルの前後両隣の各ピクセルのレベル平均値との差分をとり、高域成分を検出する高域成分検出手段と、読み出し領域から出力される映像信号の、高域成分検出手段により検出される１ラインの直前のラインにおける読み出し領域の境界の最終読み出しピクセルと、その直前の予め定めた数のピクセルとからなる第２のピクセル範囲において、映像信号の平均値を算出する平均値算出手段と、高域成分検出手段により検出した高域成分と、平均値算出手段により算出した平均値とを乗算して補正係数を算出する補正係数算出手段と、読み出し領域から出力される映像信号に対する補間信号の相対的な加算割合を、補正係数の値に応じて変化させて、映像信号と補間信号とを加算して補正後信号を生成する加算手段とからなる回路部を、複数の読み出し領域から出力される映像信号のそれぞれに対し設けたことを特徴とする。
【００１０】
この発明では、あるラインの第２のピクセル範囲に高輝度の映像信号が入力されることにより、次のラインの第１のピクセル範囲に、信号の急激な変化による電源電圧の変動や信号配線の引き回しによる信号の漏れ込みに起因するノイズが出現する場合は、上記の平均値が高くなるため、補正係数の値が高くなり、その結果、加算手段において処理対象のピクセル（入力映像信号）に対して両隣のピクセルよりの補間値の成分（補間信号）が相対的に多く混ぜ込まれ、出力される補正後信号はノイズ成分が抑えられたものとなる。
【００１１】
ここで、上記の第２のピクセル範囲の各ピクセルのうち、ピクセル信号値をａ、値が所定の閾値よりも大で、かつ、第２のピクセル範囲内で最初にノイズが出現するピクセルの値をｂ、ピクセル信号値としての最大値をｃとしたとき、（ａ−ｂ）／（ｃ−ｂ）で表される係数を算出する係数算出手段を平均値算出手段に替えて設け、補正係数算出手段は、係数算出手段で算出した係数と高域成分検出手段により検出した高域成分とを乗算して補正係数を算出する手段としてもよい。
【発明の効果】
【００１２】
本発明によれば、分割読み出し方式の撮像素子を用いた撮像装置において、通常の撮像時の撮像信号に影響を及ぼすことなく、撮像素子の読み出し領域の第２のピクセル範囲に高輝度の信号が入った場合、次ラインの第１のピクセル範囲の通常信号が影響を受けることによって加わるノイズ成分を抑え、画質を改善することができる。
【発明を実施するための最良の形態】
【００１３】
次に、本発明の一実施の形態について図面と共に詳細に説明する。
【００１４】
図１は、本発明になる撮像装置の一実施の形態のブロック図を示す。この撮像装置１０は、撮像対象１の撮像を行う撮像部１１と、撮像後の映像信号の処理を行う処理部１２と、撮像部１１及び処理部１２の全体のタイミングやパラメータの制御を行う制御部１３とよりなる。
【００１５】
撮像部１１はアイリス１１１、レンズ１１２、高精細撮像素子１１３、アナログ／デジタル変換部１１４を備える。アイリス１１１、レンズ１１２、高精細撮像素子１１３、アナログ／デジタル変換部１１４は制御部１３により制御される。アナログ／デジタル変換部１１４は、高精細撮像素子１１３より読み出されたアナログ映像信号をデジタル映像信号に変換する。
【００１６】
ここで高精細撮像素子１１３は、図２の２１、２２、２３、２４に示すように、水平方向に４分割された４つの読み出し領域を有し、それぞれの読み出し領域毎に映像信号が読み出される撮像素子である。また、読み出し領域２１，２２，２３，２４の各々は図３に３１で示すように、制御部１３により、左上から右下へと走査して、映像信号を読み出すものとする。
【００１７】
一方、図１に示すように、処理部１２は、本実施の形態の主要部を構成する分割境界ノイズ補正部１２１と、映像信号のガンマ処理やフォーマット変換など基本的な映像信号処理を行う信号処理部１２２とからなる。分割境界ノイズ補正部１２１と信号処理部１２２とは、制御部１３により制御される。
【００１８】
図４は、分割境界ノイズ補正部１２１の一実施の形態のブロック図を示す。なお、図４の構成は、図２における読み出し領域１つ分の信号処理を担当する。よって、本実施の形態の撮像装置１０は図４の構成を４系統実装している。
【００１９】
図４において、補間信号算出回路４１は、入力映像信号よりノイズ補正に用いる補間信号を作成する。この補間信号算出回路４１は、入力映像信号中の補間対象のピクセルをノイズであると想定して、その補間対象のピクセルの前後のピクセルの値を用いて線形補間を行うことで補間信号を生成する。
【００２０】
メモリ４２は、入力映像信号をその検出処理や補間処理を行う時間、保持しておく。読み出し領域前部ノイズ検出回路４４は、読み出し領域の前部数ピクセルの範囲の映像信号に対して、対象とするピクセルのレベルと、対象とするピクセルの前後両隣の各ピクセルのレベル平均値との差分をとり、高域成分を検出する。この高域成分が大きいほどノイズである可能性が高くなる。
【００２１】
ここで検出した値はクリップ回路４７にて一定のレベルでクリップされ、正規化回路４８にて“０”〜“１”の範囲に正規化された後メモリ４Ｅに蓄えられる。クリップする理由は、極端に高いレベルの信号による誤検出防止や、測定時に確認したノイズ量を超えた場合に過補正となることを防ぐためである。ここでの高域成分検出範囲やクリップする最大、最小レベル、及び正規化時の“０”〜“１”に相当するレベルの範囲設定などは、読み出し領域前部ノイズ検出制御部４３によって決定される。また、読み出し領域前部ノイズ検出制御部４３は、制御部１３により、予め調査されたノイズの特性に応じた値が設定されている。
【００２２】
読み出し領域後部高輝度検出回路４５は、直前ラインの読み出し領域の後部数ピクセルの範囲の映像信号に対して平均値を算出する。ここで算出した値は、クリップ回路４Ｂにて前述した理由により一定のレベルでクリップされ、正規化回路４Ｃにて“０”〜“１”の範囲に正規化された後メモリ４Ｄに蓄えられる。この値が大きいほど、現ラインの読み出し領域前部にノイズが出現する可能性が高くなる。ここでの検出範囲やクリップする最大、最小レベル、及び正規化時の“０”〜“１”に相当するレベルの範囲設定などは、読み出し領域後部高輝度検出制御部４６によって決定される。また、読み出し領域後部高輝度検出制御部４６は、制御部１３により、予め調査されたノイズの特性に応じた値が設定されている。
【００２３】
正規化回路４８で正規化された読み出し領域前部ノイズ検出信号と、正規化回路４Ｃで正規化された読み出し領域後部高輝度検出信号とは、乗算器４Ｆにて掛け合わされる。この掛け合わされた値は、補正係数αとしてセレクタ４Ａに入力される。セレクタ４Ａは、補正係数αと補正係数（１−α）とに応じた比率で、補間信号算出回路４１で作成された補間信号と、メモリ４２に蓄えられた入力映像信号とを次式により混合して、ノイズ成分が減少した補正後信号を生成する。
【００２４】
補正後信号＝α×｛補間信号｝＋（１−α）×｛入力映像信号｝        （１）
このような構成の分割境界ノイズ補正部１２１から出力された補正後信号は、図１の信号処理部１２２によりガンマ補正、フォーマット変換などの信号処理が施された後、撮像装置１０より外部へ出力される。
【００２５】
図５は撮像装置１０内の高精細撮像素子１１３の分割された読み出し領域の一つから読み出された映像信号の一例を示す。同図中、横軸が読み出し領域の水平位置、縦軸が輝度を示す。実線は実際にノイズが発生している状況の信号を、破線がその直前ラインの信号をそれぞれ表している。
【００２６】
図４に示した読み出し領域前部ノイズ検出回路４４は、図５に示す読み出し領域の前部数ピクセルのノイズ検出及び補正範囲（読み出し開始水平位置から数ピクセル）５１内のそれぞれのピクセルに対して、そのピクセルのレベル（画素値）と両隣のピクセルの平均値レベル（平均画素値）との差分をとり、高域成分を抽出する。この高域成分が大きいほどノイズである可能性が高くなるが、実際の撮像対象の絵柄である可能性もある。
【００２７】
そこで、図４の読み出し領域後部高輝度検出回路４５は、図５に示す高輝度検出範囲５２内の破線で表されている直前ラインの後部の信号数ピクセル分の平均値を算出する。この平均値が高いほど現ラインのノイズ検出範囲にノイズが出ている可能性が高くなるので、読み出し領域の前部数ピクセルのノイズ検出及び補正範囲５１での検出結果と合わせて両方の検出結果が高いほど、乗算器４Ｆから出力される補正係数αの値が高くなる。
【００２８】
この結果、セレクタ４Ａにおいて、（１）式から分かるように、処理対象のピクセル（入力映像信号）に対して両隣のピクセルよりの補間値の成分（補間信号）が相対的に多く混ぜ込まれるようになる。これにより、あるラインの分割領域境界の最終読み出しピクセルとその直前の数ピクセルの範囲（後部ピクセル）に、高輝度の信号が入力されることにより、次のラインの先頭ピクセルから数ピクセルの範囲（前部ピクセル）に、信号の急激な変化による電源電圧の変動や信号配線の引き回しによる信号の漏れ込みに起因するノイズが出現する場合に、図６に示すように前部ピクセルのノイズ検出及び補正範囲６１の映像信号のノイズ成分が抑えられることになり、画質が向上する。また、本実施の形態では検出を２箇所で行っているため、正常な映像信号に対する誤検出、誤補正を防ぐことができる。
【００２９】
なお、上記検出範囲５１、５２や補正係数算出用レベル上下限値などは、予め測定して最適な値を制御部１３に設定しておく必要がある。
【００３０】
次に、本実施の形態の動作について、図７の処理手順を示すフローチャートを併せ参照して説明する。ユーザが動作開始を行うと（ステップＳ１）、図１の制御部１３は撮像部１１、処理部１２を撮像対象１と撮像条件により最適な状態に設定する（ステップＳ２）。また、処理部１２の分割境界ノイズ補正部１２１内の、読み出し領域前部ノイズ検出制御部４３、読み出し領域後部高輝度検出制御部４６に、ノイズ検出位置と検出最大最小レベル、高輝度検出範囲と検出最大最小レベルを設定し、その後撮像を開始する。
【００３１】
まず、フレーム先頭のラインの映像信号を読み出す（ステップＳ３）。続いて、読み出し領域後部高輝度検出制御部４６において、設定された範囲のライン後部数ピクセルの映像信号レベルを、読み出し領域後部高輝度検出回路４５で検出し平均化を行い（ステップＳ４）、読み出し領域後部高輝度検出制御部４６で設定された最大値／最小値を基に正規化回路４Ｃで“０”〜“１”の範囲へと正規化を行った後メモリ４Ｄへ記憶する（ステップＳ５）。
【００３２】
次に、次ラインの映像信号を読み出す（ステップＳ６）。続いて、読み出し領域前部ノイズ検出制御部４３で設定された範囲のライン前部数ピクセルの映像信号レベルより、読み出し領域前部ノイズ検出回路４４が高域成分を抽出し（ステップＳ７）、更に読み出し領域前部ノイズ検出制御部４３で設定された最大値／最小値を基に正規化回路４８で“０”〜“１”の範囲へと正規化を行った後メモリ４Ｅへ記憶する（ステップＳ８）。
【００３３】
次に、ノイズ補正用の補間値（補間信号）を補間信号算出回路４１にて作成する（ステップＳ９）。補間値（補間信号）は、入力映像信号の対象ピクセルの両隣のピクセルの映像信号レベル平均値とする。続いて、ステップＳ５で算出してメモリ４Ｄに記憶した値と、ステップＳ８で算出してメモリ４Ｅに記憶した値とを乗算器４Ｆにて掛け合わせ、その乗算結果を補正係数αとして、実際の入力映像信号とステップＳ９で算出した値の比率を変えて、（１）式に従ってセレクタ４ａにて加算することにより、入力映像信号のノイズ成分を補正した映像信号である補正後信号を出力する（ステップＳ１０）。
【００３４】
次に、ステップＳ１０で出力された補正後信号に対して、ガンマ補正やフォーマット変換などの後段の信号処理を施して撮像装置の最終出力とする（ステップＳ１１）。続いて、以上の処理がフレーム最終ラインに達しているかどうか判定し（ステップＳ１２）、達していなければ、同じフレームの次のラインへと処理を進めステップＳ４〜Ｓ１１の処理を繰り返す。最終ラインに達していれば、次のフレームへと処理を進め（ステップＳ１３）、ステップＳ３に戻り先頭ラインより上記のステップＳ４〜Ｓ１２の処理を繰り返す。
【００３５】
また、図示していないが、ユーザが動作停止を行うと、その時点で処理を終了し次の動作開始を待つ。
【００３６】
なお、本発明は、上記実施の形態に限定されるものではなく、例えば、セレクタ４Ａに供給される補正係数αは次式で表される構成としてもよい。
【００３７】
α＝α１×α２          （２）
ただし、上式中、α１は、読み出し領域後部高輝度検出回路４５により、（後部ピクセル信号値−後部ピクセルのノイズ出現開始信号値）／（最大信号値−後部ピクセルのノイズ出現開始信号値）で表される信号である。ここで、上記の「後部ピクセルのノイズ出現開始信号値」とは、後部ピクセルの各ピクセルのうち、値が所定の閾値よりも大で、かつ、最初に出現するピクセルの値である。また、上記の「最大信号値」は、ピクセル信号値として許容される最大値である。また、α２は、（前部ピクセルの対象ピクセルの信号値）−（前部ピクセルの対象ピクセルの両隣のピクセルの信号値の平均値）で表される信号である。ただし、α１＜０のときはα１＝０、α２＜０のときはα２＝０とする。
【００３８】
また、上記の実施の形態では読み出し領域が水平方向に複数に分割された撮像素子について説明したが、これに限らず本発明は垂直方向、また水平及び垂直両方向に分割された撮像素子に関しても同様の処理で画質改善を行うことができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の撮像装置の一実施の形態のブロック図である。
【図２】本発明の撮像装置における、高精細撮像素子の撮像領域の一例を示す図である。
【図３】本発明の撮像装置における、高精細撮像素子の分割撮像領域の走査方法の一例を示す図である。
【図４】図１の撮像装置における分割境界ノイズ補正部の一実施の形態のブロック図である。
【図５】本発明の撮像装置の一実施の形態におけるノイズ検出及び補正範囲と高輝度検出範囲の位置及びレベルを説明する図である。
【図６】本発明の撮像装置の一実施の形態におけるノイズ補正後のノイズ検出及び補正範囲の位置及びレベルを説明する図である。
【図７】本発明の撮像装置の一実施の形態の処理手順を示すフローチャートである。
【符号の説明】
【００４０】
１０  撮像装置
１１  撮像部
１２  信号処理部
１３  制御部
２１〜２４  高精細撮像素子の分割読み出し領域
４１  補間信号算出回路
４２、４Ｄ、４Ｅ  メモリ
４３  読み出し領域前部ノイズ検出制御部
４４  読み出し領域前部ノイズ検出回路
４５  読み出し領域後部高輝度検出回路
４６  読み出し領域後部高輝度検出制御部
４７、４Ｂ  クリップ回路
４８、４Ｃ  正規化回路
４Ａ  セレクタ
５１  ノイズ補正前、ノイズ検出及び補正範囲
５２  高輝度検出範囲
６１  ノイズ補正後、ノイズ検出及び補正範囲
１１３  高精細撮像素子
１１４  アナログ／デジタル変換部
１２１  分割境界ノイズ補正部
１２２  信号処理部
【図１】
2009130777.tif 000003
【図２】
2009130777.tif 000004
【図３】
2009130777.tif 000005
【図４】
2009130777.tif 000006
【図５】
2009130777.tif 000007
【図６】
2009130777.tif 000008
【図７】
2009130777.tif 000009