(57)【要約】【課題】オプティカルブラック領域の信号レベルが変化する場合でも、適切な信号レベルを算出でき、横引きノイズのない映像信号を得ることを目的とする。【解決手段】映像信号処理装置は、ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求める１ラインＯＢ平均算出部１０３と、ＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求める１フレームＯＢ平均算出部１０４と、１ラインＯＢ平均算出部１０３で求めたＯＢライン平均値と、１フレームＯＢ平均算出部１０４で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、ＯＢライン平均値を求めたラインを含むフレームの映像信号を、ライン平均値またはフレーム平均値を用いて補正する黒レベル補正部１０８映像補正部と、を備える。【選択図】図１
2011250249.tif 000002
【特許請求の範囲】
【請求項１】
オプティカルブラック領域を含む撮像素子から出力される映像信号が入力される入力部と、
ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求めるＯＢライン平均算出部と、
前記ＯＢライン平均算出部でＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求めるＯＢフレーム平均算出部と、
前記ＯＢライン平均算出部で求めたＯＢライン平均値と、前記ＯＢフレーム平均算出部で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、前記ＯＢライン平均値を求めたラインを含むフレームの映像信号を、前記ライン平均値または前記フレーム平均値を用いて補正する映像補正部と、
を備える映像信号処理装置。
【請求項２】
前記映像補正部は、
前記ＯＢライン平均値と前記ＯＢフレーム平均値との差が所定の閾値を超える場合に、前記ライン平均値を用いて前記映像信号を補正し、その差が所定の閾値以下の場合に、前記フレーム平均値を用いて前記映像信号を補正する
請求項１に記載の映像信号処理装置。
【請求項３】
前記映像補正部は、
比較に用いるＯＢライン平均値として、フレームを構成する１ライン目のラインについてのＯＢライン平均値を用いる
請求項１または２に記載の映像信号処理装置。
【請求項４】
前記映像補正部は、
比較に用いるＯＢライン平均値として、フレームを構成する１ライン目のラインから、前記映像信号中の表示領域の最上位ラインまでのラインのうち、少なくとも１ラインについてのＯＢライン平均値を用いる
請求項１または２に記載の映像信号処理装置。
【請求項５】
オプティカルブラック領域を含む撮像素子から出力される映像信号が入力される入力ステップと、
ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求めるＯＢライン平均算出ステップと、
前記ＯＢライン平均算出ステップでＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求めるＯＢフレーム平均算出ステップと、
前記ＯＢライン平均算出ステップで求めたＯＢライン平均値と、前記ＯＢフレーム平均算出部で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、前記ＯＢライン平均値を求めたラインを含むフレームの映像信号を、前記ライン平均値または前記フレーム平均値を用いて補正する映像補正ステップと、
を含む映像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子からの信号の光学的黒（オプティカルブラック）の信号レベルを調整する映像信号処理装置および映像信号処理方法に関するものである。
【背景技術】
【０００２】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのイメージセンサは、光を遮断した状態でも電荷が蓄積される。このように光に関係なく蓄積される電荷は暗電流と呼ばれる。この暗電流を電気的に補正して除去するために、イメージセンサの一部を遮光して、遮光した画素からの信号レベルをオプティカルブラック（以下ＯＢと略する）レベルとして出力し、信号処理装置は、このＯＢレベルをクランプして映像信号成分のみを得る補正を行う
しかしながら、イメージセンサは、温度変化によって暗電流が変化し、それによりＯＢレベルが変化するが、この変化に追従して適切な補正を行うのが困難であるという課題がある。
【０００３】
このような課題を解決する信号処理装置として、特許文献１に開示の技術がある。特許文献１の画像読取装置は、原稿を光学的に読み取って画像データに変換するカラーイメージセンサと、カラーモードと白黒モードとで、カラーイメージセンサのライン周期を変更するライン周期変更手段と、カラーイメージセンサの主走査方向および副走査方向の黒レベル検出範囲を設定する黒レベル検出範囲設定手段と、主走査方向および副走査方向の黒レベル検出範囲で各々黒レベル検出値を算出し、当該算出した黒レベル検出値に基づいて、黒減算値を算出する黒減算値算出手段と、画像データから黒減算値を減算する黒レベル補正手段と、を備えることにより、黒レベル検出精度を向上することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３３３３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術は、水平ＯＢの平均値を用いてラインごとに補正を行うため、各ラインのＯＢ領域の平均値のバラツキにより、そのバラツキを軽減することができ、横引きノイズを軽減することができるものの、横引きノイズをなくすことはできないという課題がある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、映像信号処理装置は、オプティカルブラック領域を含む撮像素子から出力される映像信号が入力される入力部と、ライン毎にオプティカルブラック領域の出力信号のＯＢライン平均値を求めるＯＢライン平均算出部と、前記ＯＢライン平均算出部でＯＢライン平均値を求めたラインを含むフレームの１フレーム前におけるフレームのオプティカルブラック領域の出力信号のＯＢフレーム平均値を求めるＯＢフレーム平均算出部と、前記ＯＢライン平均算出部で求めたＯＢライン平均値と、前記ＯＢフレーム平均算出部で求めたＯＢフレーム平均値とを比較し、比較結果に基づき、前記ＯＢライン平均値を求めたラインを含むフレームの映像信号を、前記ライン平均値または前記フレーム平均値を用いて補正する映像補正部と、を備える。
【発明の効果】
【０００７】
上記の構成によって、映像信号処理装置は、オプティカルブラック領域の信号レベルが変化する場合でも、適切な信号レベルを算出でき、横引きノイズのない映像信号を得ることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における映像信号処理装置の構成を示すブロック図
【図２】実施の形態１における映像信号処理装置の動作タイミングチャート
【図３】実施の形態１における映像信号処理装置の効果説明図
【図４】実施の形態２における映像信号処理装置の構成を示すブロック図
【図５】実施の形態２における映像信号処理装置の動作タイミングチャート
【図６】実施の形態２における撮像素子の有効領域と表示領域の関係図
【図７】実施の形態２におけるラインごとのＯＢ平均値のバラつきのイメージを示す図
【発明を実施するための形態】
【０００９】
（実施の形態１）
（１−１  構成）
図１は実施の形態１における映像信号処理装置の構成を示すブロック図である。
【００１０】
図１において、映像信号処理装置は、タイミング発生部１０２と、１ラインＯＢ平均算出部１０３と、１フレームＯＢ平均算出部１０４と、差分算出部１０５と、比較部１０６と、比較結果保持部１０７と、黒レベル補正部１０８とを含む。
【００１１】
撮像素子１０１は入射した光信号を電気信号に変換し、映像信号として出力する。撮像素子１０１は、有効映像領域と、遮光された領域でオプティカルブラック（以下ＯＢと略する）信号を出力するＯＢ領域とを有する。
【００１２】
タイミング発生部１０２は映像信号処理装置内の各ブロックの動作タイミングを制御する。１ラインＯＢ平均算出部１０３は撮像素子１０１の遮光された領域（ＯＢ領域）の出力信号のラインごとの平均値を算出する。１フレームＯＢ平均算出部１０４は撮像素子１０１のＯＢ領域の１フレームごとの平均値を算出する。差分算出部１０５は１ラインＯＢ平均算出部１０３と１フレームＯＢ平均算出部１０４との差分を求める。比較部１０６は差分算出部１０５の結果を基に、１ラインＯＢ平均算出部１０３の出力か、１フレームＯＢ平均算出部１０４の出力のいずれかを選択する。比較結果保持部１０７は比較部１０６の出力を１フレーム期間保持する。黒レベル補正部１０８は撮像素子１０１が出力する映像信号から比較結果保持部１０７の出力を減算する。タイミング発生部１０２、１ラインＯＢ平均算出部１０３、１フレームＯＢ平均算出部１０４、差分算出部１０５、比較部１０６、比較結果保持部１０７および黒レベル補正部１０８は、電子回路としてＬＳＩ上に構成される。
（１−２  動作）
上記のように構成された本実施の形態の映像信号処理装置の動作について図２のタイミングチャートを参照しながら説明する。
【００１３】
撮像素子１０１からは図２（Ａ）に示すように画素単位で信号が出力される。１ラインＯＢ平均算出部１０３はタイミング発生部１０２からの動作指示により、撮像素子１０１の出力のラインごとのＯＢ領域の平均値を算出する。図２（Ｂ）に示すように、１ラインＯＢ平均算出部１０３の算出結果は各ラインのＯＢ領域の信号が終わるタイミングで更新される。
【００１４】
１フレームＯＢ平均算出部１０４は、タイミング発生部１０２からの動作指示により、１ラインＯＢ平均算出部１０３の算出結果をライン単位で１ライン目から最終ラインまで加算し、１フレームごとのＯＢ領域の平均値を算出する。図２（Ｃ）に示すように、１フレームＯＢ平均算出部１０４の算出結果は各フレームの最終ラインのＯＢ領域の信号が終わるタイミングで更新される。
【００１５】
差分算出部１０５は、図２のＸに示すタイミング、１ラインＯＢ平均算出部１０３によって１ライン目のＯＢ領域の平均値が算出された後に、１ラインＯＢ平均算出部１０３と１フレームＯＢ平均算出部１０４の出力の差分を求める。図２のＸのタイミングに示すように、１ラインＯＢ平均算出部１０３の出力はｎ＋１フレームの１ライン目のＯＢ領域の平均値であるのに対して、１フレームＯＢ平均算出部１０４の出力は１フレーム前の、ｎフレームのフレームＯＢ領域平均値である。
【００１６】
比較部１０６は設定された閾値と差分算出部１０５の出力との比較を行う。差分算出部１０５の出力が閾値より大きい場合には、ｎフレームとｎ＋１フレーム間のＯＢ領域平均値の差が大きいことを意味する。この場合には１ラインＯＢ平均算出部１０３の出力を選択する。差分算出部１０５の出力が閾値より小さい場合には１フレームＯＢ平均算出部１０４の出力を選択する。図２（Ｅ）に示すように、比較結果保持部１０７は図２のＸのタイミングで更新され、比較部１０６の出力を１フレーム期間保持する。
【００１７】
黒レベル補正部１０８は撮像素子１０１の出力から、比較結果保持部１０７の出力を減算する。この結果、映像信号は、ＯＢ領域の信号レベルが黒レベル基準となるよう補正される。
（１−３  まとめ）
ビデオカメラ等の撮像装置内で行う映像信号処理において、撮像素子１０１で撮像した映像信号は、極力遅延することなく、表示部への表示や記録媒体への記録を行う必要がある。撮像した１フレームの映像信号全体をメモリに記憶し、同じフレーム内のＯＢ領域から有効映像領域の黒レベルを補正する方法は、１フレーム分をメモリに記憶して処理を行うため、処理が遅延するという課題がある。本実施の形態における映像信号処理装置は、１フレーム前のＯＢのフレーム平均値を用いて補正することにより、処理の遅延を回避することができる。
【００１８】
しかしながら、図３（Ｂ）に示すようにＯＢの１フレーム平均値は撮像素子１０１の出力に対して１フレーム遅延している。このため蓄積時間の異なるフレーム間でＯＢの１フレーム平均値を用いて黒レベルの補正を行うと、図３（Ｄ）に示すように、蓄積時間が変化したフレームにおいて、補正結果のＤＣ値が大きく変化してしまう。
【００１９】
本実施の形態によれば、ｎフレーム目のフレームＯＢ領域平均値とｎ＋１フレームの１ライン目のＯＢ領域の平均値を比較することにより、ｎフレームとｎ＋１フレーム間で、撮像素子の蓄積時間が変化してＯＢ領域の平均値が変化した場合に、ｎ＋１フレームの映像信号の黒レベルの補正をｎ＋１フレームの１ライン目のＯＢ領域の平均値を用いて行う。
【００２０】
この結果、図３（Ｅ）に示すように、処理の遅延を回避しつつ、補正結果のＤＣ値の変化を抑えることができる。
（実施の形態２）
（２−１  構成）
図４は実施の形態２における映像信号処理装置の構成を示すブロック図である。
【００２１】
図４において、映像信号処理装置は、タイミング発生部１０２と、１ラインＯＢ平均算出部１０３と、１フレームＯＢ平均算出部１０４と、差分算出部１０５と、比較部１０６と、比較結果保持部１０７と、黒レベル補正部１０８と、Ｍライン平均算出部とを含む。
【００２２】
本実施の形態における映像信号処理装置は、図１の構成に対して、ＭラインＯＢ平均算出部１０９を加えた構成となっている。ＭラインＯＢ平均算出部１０９は撮像素子１０１のＯＢ領域のＭライン分の平均値を算出する。タイミング発生部１０２、１ラインＯＢ平均算出部１０３、１フレームＯＢ平均算出部１０４、差分算出部１０５、比較部１０６、比較結果保持部１０７、黒レベル補正部１０８およびＭラインＯＢ平均算出部１０９は電子回路としてＬＳＩ上に構成される。
（２−２  動作）
上記のように構成された本実施の形態の映像信号処理装置の動作について図５のタイミングチャートを参照しながら説明する。
【００２３】
図６に示すように撮像素子１０１の有効映像領域に比べて表示領域が小さい場合に、表示領域が始まるまでの期間だけＯＢ領域の平均を求める。仮に表示領域が始まるまでＭライン分の期間がある場合の例について説明する。
【００２４】
撮像素子１０１からは図５（Ａ）に示すように、画素単位で信号が出力される。１ラインＯＢ平均算出部１０３はタイミング発生部１０２からの動作指示により、撮像素子１０１の出力のラインごとのＯＢ領域の平均値を算出する。図５（Ｂ）に示すように、１ラインＯＢ平均算出部１０３の算出結果は、各ラインのＯＢ領域の信号が終わるタイミングで更新される。
【００２５】
ＭラインＯＢ平均算出部１０９は、タイミング発生部１０２からの動作指示により、１ラインＯＢ平均算出部１０３の算出結果をライン単位で１ライン目からＭラインまで加算し、Ｍライン分のＯＢ領域の平均値を算出する。図５（Ｃ）に示すように、ＭラインＯＢ平均算出部１０９の算出結果は各フレームのＭラインのＯＢ領域の信号が終わるタイミングで更新される。
【００２６】
１フレームＯＢ平均算出部１０４は、タイミング発生部１０２からの動作指示により、１ラインＯＢ平均算出部１０３の算出結果をライン単位で１ライン目から最終ラインまで加算し、１フレームごとのＯＢ領域の平均値を算出する。図５（Ｄ）に示すように、１フレームＯＢ平均算出部１０４の算出結果は各フレームの最終ラインのＯＢ領域の信号が終わるタイミングで更新される。
【００２７】
差分算出部１０５は、図５のＸに示すタイミング、１ラインＯＢ平均算出部１０３によってＭライン目のＯＢ領域の平均値が算出された後に、ＭラインＯＢ平均算出部１０９と１フレームＯＢ平均算出部１０４の出力の差分を求める。図５のＸのタイミングに示すように、ＭラインＯＢ平均算出部１０９の出力はｎ＋１フレーム目の１ライン目からＭライン目までのＯＢ領域の平均値であるのに対して、１フレームＯＢ平均算出部１０４の出力は１フレーム前の、ｎフレーム目のフレームＯＢ領域平均値である。
【００２８】
比較部１０６は設定された閾値と差分算出部１０５の出力との比較を行う。差分算出部１０５の出力が閾値より大きい場合には、ｎフレームとｎ＋１フレーム間のＯＢ領域平均値の差が大きいことを意味する。この場合にはＭラインＯＢ平均算出部１０９の出力を選択する。差分算出部１０５の出力が閾値より小さい場合には１フレームＯＢ平均算出部１０４の出力を選択する。図５（Ｆ）に示すように、比較結果保持部１０７は図５のＸのタイミングで更新され、比較部１０６の出力を１フレーム期間保持する。
【００２９】
黒レベル補正部１０８は素子出力から、比較結果保持部１０７の出力を減算する。この結果、映像信号は、ＯＢ領域の信号レベルが黒レベル基準となるよう補正される。
（２−３  まとめ）
図７に示すように、ラインごとのＯＢの平均値はばらついている。そのため実施の形態１のように、ｎ＋１フレームの映像信号の黒レベルの補正をｎ＋１フレームの１ライン目のＯＢ領域の平均値のみを用いて行った場合、１ライン目のＯＢの平均値と１フレームのＯＢの平均値の差がそのまま補正誤差となってしまう。本実施の形態によれば、ｎフレーム目のフレームＯＢ領域平均値とｎ＋１フレームの１ライン目からＭライン目までのＯＢ領域の平均値を比較することにより、ｎフレームとｎ＋１フレーム間で、撮像素子１０１の蓄積時間が変化してＯＢ領域の平均値が変化した場合に、ｎ＋１フレームの映像信号の黒レベルの補正をｎ＋１フレームの１ライン目からＭライン目までのＯＢ領域の平均値を用いて行う。
【００３０】
この結果、図７に示すようにＯＢのライン間のバラつきの影響を減らして補正を行うことができる。
（他の実施の形態）
以上、本発明の実施の形態として、実施の形態１および実施の形態２を例示して説明した。しかし、本発明はこれらには限定されない。本発明の他の実施の形態を以下にまとめて説明する。
【００３１】
実施の形態１および２において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡや、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。また、上記実施の形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い
実施の形態１および２では各ラインのＯＢ領域の信号が有効領域の信号の前に出力されているが、この順番が逆になってもよい。
【００３２】
実施の形態２では、有効映像領域と表示領域の差をＭラインと固定しているが、Ｍの値については動的に変化してもよい。
【００３３】
実施の形態２では、有効映像領域と表示領域の差のライン数分の平均を求めているが、有効映像領域と表示領域の差と異なるライン数分の平均値を求めてもよい。
【産業上の利用可能性】
【００３４】
本実施の形態に係る映像信号処理装置は、蓄積時間が変化した場合においても適切に黒レベルの補正を行うことができるので、映像機器関連産業分野において、有用であり、本実施の形態に係る映像信号処理装置は、当該分野において実施することができる。
【符号の説明】
【００３５】
１０１    撮像素子
１０２    タイミング発生部
１０３    １ラインＯＢ平均算出部
１０４    １フレームＯＢ平均算出部
１０５    差分算出部
１０６    比較部
１０７    比較結果保持部
１０８    黒レベル補正部
１０９    ＭラインＯＢ平均算出部
【図１】
2011250249.tif 000003
【図２】
2011250249.tif 000004
【図３】
2011250249.tif 000005
【図４】
2011250249.tif 000006
【図５】
2011250249.tif 000007
【図６】
2011250249.tif 000008
【図７】
2011250249.tif 000009