(57)【要約】【課題】周囲環境の明るさに応じて適切に受光感度を制御すること。【解決手段】画像処理装置は、取得した画像２１１の対象画素毎に受光感度を調整するためのガウス関数を設定し、前記画像の代表画素値が大きいほど前記各ガウス関数の第１の標準偏差が小さくなるように設定し、前記第１の標準偏差を持つガウス関数に従って前記対象画素の周辺画素の画素値の重みを設定する加重設定部２と、前記重みに応じて前記各対象画素の画素値と前記各周辺画素の画素値との加重和を計算し、前記加重和を前記各対象画素の画素値に補正する補正部３と、を備える。【選択図】      図１
2010079640.tif 000002
【特許請求の範囲】
【請求項１】
取得した画像の対象画素毎に受光感度を調整するためのガウス関数を設定し、前記画像の代表画素値が大きいほど前記各ガウス関数の第１の標準偏差が小さくなるように設定し、前記第１の標準偏差を持つガウス関数に従って前記対象画素の周辺画素の画素値の重みを設定する加重設定部と、
前記重みに応じて前記各対象画素の画素値と前記各周辺画素の画素値との加重和を計算し、前記加重和を前記各対象画素の画素値に補正する補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記加重設定部は、
変換表又は変換関数を用いて前記第１の標準偏差を決定する第１の標準偏差決定部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画素の中から任意の間隔で前記対象画素を選択する画素選択部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記加重設定部は、
前記間隔に比例するように第２の標準偏差を決定する第２の標準偏差決定部と、
前記第１の標準偏差が、前記第２の標準偏差より小さい場合には、前記第２の標準偏差を選択し、それ以外の場合には、前記第１の標準偏差を選択する標準偏差選択部と、
前記選択された前記第１の標準偏差、又は、前記第２の標準偏差を持つガウス関数に従って、前記周辺画素の画素値の重みを決定する加重決定部と、
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記加重設定部は、前記各対象画素のそれぞれに設定された前記標準偏差を、前記標準偏差と前記対象画素周辺の標準偏差を用いて平滑化する平滑化部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記補正部により補正された画素値が予め設定された範囲内に収まるように調整する調整部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
取得した画像の対象画素毎に受光感度を調整するためのガウス関数を設定し、前記画像の代表画素値が大きいほど前記各ガウス関数の第１の標準偏差が小さくなるように設定し、前記第１の標準偏差を持つガウス関数に従って前記対象画素の周辺画素の画素値の重みを設定する加重設定工程と、
前記重みに応じて前記各対象画素の画素値と前記各周辺画素の画素値との加重和を計算し、前記加重和を前記各対象画素の画素値に補正する補正工程と、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータに、
取得した画像の対象画素毎に受光感度を調整するためのガウス関数を設定し、前記画像の代表画素値が大きいほど前記各ガウス関数の第１の標準偏差が小さくなるように設定し、前記第１の標準偏差を持つガウス関数に従って前記対象画素の周辺画素の画素値の重みを設定する加重設定工程と、
前記重みに応じて前記各対象画素の画素値と前記各周辺画素の画素値との加重和を計算し、前記加重和を前記各対象画素の画素値に補正する補正工程と、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその方法並びに画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１及び特許文献２に開示されているように、従来の撮像装置には、隣り合う撮像素子の電荷、又は、画素値を加算することにより、撮像素子の受光感度を擬似的に高めるものがあった。
【０００３】
また、特許文献３に開示されているように、従来の画像処理装置には、周辺画素のガウス関数に従う重み付き和を計算することにより、撮像素子の受光感度を高めるものがあった。
【特許文献１】特開平５−１４５８５９号公報
【特許文献２】特開２００２−６４７５０公報
【特許文献３】特開２００４−２１３４５公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記従来の撮像装置及び画像処理装置では、周囲環境の明るさによって、受光感度が高すぎたり、低すぎたりするという問題点があった。
【０００５】
そこで、本発明は、周囲環境の明るさに応じて適切に受光感度を制御する画像処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像処理装置は、取得した画像の対象画素毎に受光感度を調整するためのガウス関数を設定し、前記画像の代表画素値が大きいほど前記各ガウス関数の第１の標準偏差が小さくなるように設定し、前記第１の標準偏差を持つガウス関数に従って前記対象画素の周辺画素の画素値の重みを設定する加重設定部と、前記重みに応じて前記各対象画素の画素値と前記各周辺画素の画素値との加重和を計算し、前記加重和を前記各対象画素の画素値に補正する補正部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、周囲環境に応じて適切に受光感度を制御することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の一実施形態の画像処理装置について図面に基づいて説明する。
【０００９】
（第１の実施形態）
本発明の第１の実施形態の画像処理装置について図１に基づいて説明する。図１は、本実施形態に係わる画像処理装置を示すブロック図である。画像処理装置は、加重設定部２、補正部３、調整部４、画像出力部５を備える。画像取得部１は、画像処理装置の内部に設けられても良いし、画像処理装置の外部に接続されてもよい。本発明の第１の実施形態の画像処理装置の各処理工程は、コンピュータ読み取り可能な記録媒体に格納、又は、伝達された画像処理プログラムによってコンピュータに実行させることが可能である。他の実施形態の画像処理装置についても同様である。
【００１０】
画像取得部１は、イメージセンサなどの撮像素子によって撮像中の現在の１枚の画像、又は、時系列の画像、又は、予め撮像した過去の１枚の画像、又は、時系列の画像を取得する。加重設定部２は、取得した画像の対象画素の各対象画素を中心とするガウス関数を設定する。このガウス関数は、各対象画素の受光感度を調整するための関数である。そして、加重設定部２は、画像全体の代表画素値又は対象画素周辺の周辺画素の代表画素値が大きいほど各対象画素のガウス関数の標準偏差が小さくなるように設定する。そして、各対象画素について、設定された標準偏差を持つガウス関数に従ってその対象画素の周辺にある周辺画素の画素値の重みを設定する。なお、本実施形態では、画素値として各画素の輝度値を用いる。補正部３は、加重設定部２で設定された重みに応じて、各対象画素を中心とした周辺画素の画素値の加重和を計算し、この計算した加重和を各対象画素の画素値に補正する。調整部４は、補正部３により補正された各対象画素の画素値が予め設定された範囲内に収まるように調整する。画像出力部５は、調整部４により調整された各画素の画素値で構成された画像を出力する。
【００１１】
加重設定部２は、代表値計算部２１、第１の標準偏差決定部２２、加重決定部２３と、を備える。代表値計算部２１は、画像取得部１で取得した画像の代表画素値を平均画素値などから計算する。第１の標準偏差決定部２２は、代表画素値が大きいほど小さい標準偏差となるように、例えば、代表画素値と標準偏差とを関連付けて記憶された変換表２２２を用いて、ガウス関数の標準偏差を決定する。加重決定部２３は、第１の標準偏差決定部２２で決定された標準偏差を持つガウス関数に従って、周辺画素の画素値の重みを重みを決定する。
【００１２】
代表値計算部２１で計算される代表画素値の計算方法には、以下のような方法がある。第１の計算方法は、画像取得部１で取得した１枚の画像又は時系列の画像全体の平均画素値を、全ての対象画素の代表画素値とする。第２の計算方法は、画像取得部１で取得した１枚の画像又は時系列の画像を用い、それぞれの画素の周辺画素の平均画素値を代表画素値とする。第３の計算方法は、予め同じ環境で撮像しておいた画像２１１を用いて、第１の計算方法と同様に全ての画素２１１について一定の代表画素値を計算する。第４の計算方法は、予め同じ環境で撮像しておいた画像を用いて、第２の計算方法と同様にそれぞれの画素について異なる代表画素値を計算する。
【００１３】
第１の標準偏差決定部２２では、代表値計算部２１で取得した代表画素値を用いて、各対象画素の周辺画素の画素値の加重和を計算するために用いるガウス関数の標準偏差を決定する。代表画素値が小さい場合は、暗い画像であるので加重加算範囲を大きくして感度を向上する必要がある。反対に、代表画素値が大きい場合には画像取得部１で撮像された画像はすでに明るく、感度向上はあまり必要ないため標準偏差は小さく設定する必要がある。そこで、代表画素値から標準偏差への変換表２２２を用いて標準偏差を求める。代表画素値と標準偏差の対応関係は、代表画素値が小さい場合には大きい標準偏差、代表画素値が大きい場合には、小さい標準偏差となるように予め設定しておく。また、代表画素値と標準偏差が反比例関係となるような式を有する変換関数を用いてもよい。
【００１４】
加重決定部２３は、各対象画素に第１の標準偏差決定部２２で設定した標準偏差を持ち、その対象画素を中心とするガウス関数を設定する。次に、その対象画素の各周辺画素の位置において、設定したガウス関数を標本化する。そして、これら各周辺画素の画素値に関して、ガウス関数を標本化した値に従って重みの値をそれぞれ決定する。図１のような代表画素値から標準偏差への変換表２２２を用いる場合は、変換表２２２内の標準偏差に対応する重みを予め計算して、変換表２２２内に保存しておく。
【００１５】
補正部３は、加重決定部２３で決定した重みを用いて、各対象画素の画素値とその周辺の周辺画素の画素値の加重和（重み付き和）を計算して、各対象画素の画素値を補正する。
【００１６】
調整部４では、補正部３で補正された各対象画素の画素値に、以下の処理を行うことにより、出力画像の画素値として適当な値となるように調整する。第１の処理は、各対象画素の補正した画素値に任意の定数Ｌをかける。第２の処理は、各対象画素の補正した画素値が出力画素値の最大値を超えている場合は、出力画素の最大値で置き換える。出力画素が８ビット／ピクセルの場合、画素値は０から２５５までの値をとる。各対象画素の画素値がこの範囲内に収まるように、第１の処理と第２の処理を組み合わせて補正した画素値を調整する。例えば、補正した画素値が２５５を大きく超える場合、Ｌ＝０．５を補正した画素値に掛け合わせ、それでも２５５を超えている画素値を２５５に置き換える。この画素値の調整は、画素毎に調整する方法と、フレーム全体で調整する方法がある。
【００１７】
本実施形態によれば、暗い画像のときは加重加算範囲を大きくして感度を向上させ、反対に、明るい画像のときは、感度向上はあまり必要ないため標準偏差は小さく設定するため、周囲環境の明るさに応じた適切な感度制御が行える。また、本実施形態は、ガウス関数の標準偏差を画素毎に異なる値に設定することにより、画素毎に異なる適切な感度を設定することができる。
【００１８】
（第２の実施形態）
本発明の第２の実施形態の画像処理装置について図２〜図４に基づいて説明する。図２は、本実施形態に係わる画像処理装置を示すブロック図である。画像処理装置は、画素選択部６、加重設定部２、補正部３、調整部４、画像出力部５を備える。画像取得部１は、画像処理装置の内部に設けられても良いし、画像処理装置の外部に接続されてもよい。
【００１９】
画像取得部１は、画像を取得する。画素選択部２は、画像取得部１で取得した画像の中から対象画素を任意の間隔でサンプリングして選択する。加重設定部２は、画素選択部２で選択された対象画素を中心としたガウス関数に従って、対象画素の周辺画素の画素値の重みを設定する。補正部３は、加重設定部２で設定された重みを用いて、各対象画素を中心とした周辺画素の画素値の加重和を計算する。補正部３はまた、計算した周辺画素の画素値の加重和に基づいて、各対象画素の画素値を補正する。調整部４は、補正部３で補正された各対象画素の補正した画素値を任意の範囲に調整する。画像出力部５は、調整部４で調整された各対象画素の画素値で構成された画像を出力する。
【００２０】
加重設定部２は、代表値計算部２１、第１の標準偏差決定部２２、加重決定部２３、第２の標準偏差決定部２４、標準偏差選択部２５と、を備える。代表値計算部２１、第１の標準偏差決定部２２は、第１の実施形態と同様の処理を行う。また、加重決定部２３についても、標準偏差選択部２５で選択された標準偏差を用いて、第１の実施形態と同様の処理を行う。そのため、これら各部２１，２２，２３の説明は省略する。第２の標準偏差決定部２４は、画素選択部２で選択された対象画素の間隔に比例するように第２の標準偏差を決定する。これは、対象画素を中心とした周辺画素の画素値の加重和を計算する際、エイリアシングによる画像劣化を防ぐため、各周辺画素の画素値に割り当てられた異なる対象画素に関する加重の合計が十分大きくなるようにするためである。標準偏差選択部２５は、第１の標準偏差決定部２２で求めた第１の標準偏差が、第２の標準偏差より小さくなった場合には、第２の標準偏差を選択し、それ以外の場合には第１の標準偏差を選択する。
【００２１】
次に、加重設定部２の動作について説明する。画素選択部６で選択した対象画素の間隔が、第１の標準偏差決定部２２で決定した第１の標準偏差と比較して十分大きい場合、第１の標準偏差をそのまま用いて出力画像を生成すると、エイリアシングにより元の画像の高周波成分が欠落した出力画像となる。例えば、図４（ａ）の入力画像のように対象画素４０１，４０２，４０３，４０４の間隔が４画素、第１の標準偏差が０．２画素だった場合、対象画素４０１と対象画素４０２のちょうど中央に幅が１画素しかない線４０５が存在すると、この線４０５は、図４（ｂ）に示すように出力画像では欠落する。そこで、第２の標準偏差決定部２４は、このようなエイリアシングによる画像劣化を防ぐため、各周辺画素に割り当てられた異なる対象画素の画素値に関する加重の合計が十分大きくなるよう、対象画素の間隔に比例する標準偏差を設定する。
【００２２】
図３を用いて、一次元の理想的な例について説明する。ｘ１とｘ２をそれぞれ隣り合う対象画素とし、その間隔をδｘとする。それぞれの対象画素ｘ１，ｘ２の画素値について周辺画素の画素値の加算を行うためのガウス関数の標準偏差をσとする。すると、２つの対象画素ｘ１，ｘ２間にある画素ｘの対象画素ｘ１、ｘ２に関する重みは、それぞれｗ１、ｗ２となる。標準偏差を対象画素間隔のｋ倍と仮定し、ｗ１＋ｗ２ができるだけ一定となるようにｋの値を計算すると、約０．４４となる。このような標準偏差を用いると、ｗ１＋ｗ２がほぼ一定となっているため、出力画像には、入力画像の画素値が均等に重み付けされて出力され、エイリアシングによる画像劣化を防ぐことができる。実用上、ｋの値は０．４４に限定されるものではなく、エイリアシングによる画像劣化が許容範囲となるように実験的に、各周辺画素に割り当てられた異なる対象画素に関する加重の合計（上の例ではｗ１＋ｗ２）が十分大きくなるようｋの値を定める。そして、標準偏差選択部２５では、第１の標準偏差が対象画素の間隔に比べて小さくなりすぎるとエイリアシングにより出力画像が劣化するため、第１の標準偏差が第２の標準偏差より小さくなった場合には、第２の標準偏差を選択し、それ以外の場合には第１の標準偏差を選択する。
【００２３】
本実施形態によれば、入力画像の画素値をサンプリングして、入力画像より低解像度の画像を出力する場合、サンプリング間隔に応じてガウス関数の標準偏差の最小値を設定する。これにより、エイリアシングによる画像劣化の少ない高感度化を行うことができる。
【００２４】
（第３の実施形態）
本発明の第３の実施形態の画像処理装置について図５に基づいて説明する。本実施形態では、図４に示すように、第２の実施形態の加重設定部２において、平滑化部２６をさらに備える。上記第２の実施形態の加重設定部２において、各対象画素のそれぞれに設定された複数の標準偏差の少なくとも一部の標準偏差が異なる場合、標準偏差が近傍の画素で大きく異なると、出力画像にブロックノイズが現れる場合がある。
【００２５】
本実施形態では、このような出力画像の劣化を防ぐため、近傍の標準偏差が急激に変化しないように、図４のように平滑化部２６で平滑化した標準偏差を用い、加重決定部２３において重みを決定する。平滑化方法としては、ある対象画素の標準偏差を平滑化する場合、その対象画素の標準偏差と、近傍にある対象画素に関する標準偏差の平均値を計算する。
【００２６】
（第４の実施形態）
本発明の第４の実施形態の画像処理装置について説明する。本実施形態の画像処理装置は、第３の実施形態の平滑化部２６を、第１の実施形態の加重設定部２に同様に付加した場合である。すなわち、代表値計算部２１で画素毎に異なる代表画素値を計算し、第１の標準偏差決定部２２で画素毎に異なる標準偏差を決定した場合、第３の実施形態で説明したと同様にブロックノイズが現れる場合がある。
【００２７】
そこで、本実施形態では、第１の標準偏差決定部２２と加重決定部２３の間に平滑化部２６を付加して、ブロックノイズによる出力画像の劣化を防ぐ。
【００２８】
本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。第１の実施形態では、画像中の全ての画素を対象画素としたが、これに代えて、第２の実施形態のように、サンプリングした画素を対象画素として、第１の実施形態の画像処理装置を実施してもよい。上記各実施形態では、画素値として輝度値を用いたが、これに限らず、各画素の明度、色相などを用いても良い。また、上記各実施形態では、代表画素値から標準偏差への変換表２２２を用いたが、これに代えて、代表画素値と標準偏差が反比例関係となるような式を有する変換関数を用いてもよい。
【図面の簡単な説明】
【００２９】
【図１】本発明の第１の実施形態に係わる画像処理装置の構成を示すブロック図である。
【図２】第２の実施形態に係わる画像処理装置の構成を示すブロック図である。
【図３】第２の標準偏差決定部において標準偏差を決定するための説明図である。
【図４】画素選択部において選択した対象画素と出力画像の関係を示す説明図である。
【図５】第３の実施形態に係わる加重設定部の構成を示すブロック図である。
【符号の説明】
【００３０】
１    画像取得部
２    加重設定部
３    補正部
５    画像出力部
【図１】
2010079640.tif 000003
【図２】
2010079640.tif 000004
【図３】
2010079640.tif 000005
【図４】
2010079640.tif 000006
【図５】
2010079640.tif 000007