(57)【要約】【課題】  照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する場合に、視覚上、出力画像に不連続ノイズが現れるのを防止する。【解決手段】  入力画素値取得部１１は、各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に取得する。出力画素値生成部１２は、画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上の出力画素値であって、複数種類の入力画素値のうち飽和値に達していない入力画素値が示す照度と同一の照度に対応した出力画素値を生成する。【選択図】図１
2010206666.tif 000002
【特許請求の範囲】
【請求項１】
各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に取得する入力画素値取得手段と、
画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上にあり、前記複数種類の入力画素値が示す照度と同一の照度に対応した出力画素値を生成する手段であって、入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を前記照度対出力画素値曲線上の出力画素値に変換する機能を備え、前記複数種類の入力画素値の中から前記入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を選択し、この選択した入力画素値を前記照度対出力画素値曲線上の出力画素値に変換する出力画素生成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記複数種類の入力画素値の各々の利用可能範囲は、感度の高い入力画素値が感度の低い入力画素値よりも低照度側の照度を示す出力画素値の生成に利用され、かつ、感度が順位が隣り合った２種類の入力画素値間では、感度の高い入力画素値の利用可能範囲内の上限近傍の入力画素値と感度の低い入力画素値の利用可能範囲内の下限近傍の入力画素値とが共通の出力画素値に重複して変換されるように定められており、前記出力画素生成手段は、前記複数種類の入力画素値の中から前記入力画素値の種類毎に定められた利用可能範囲内にある入力画素値として、感度の順位が隣り合った２種類の入力画素値であって、感度が高い方の利用可能範囲内の上限近傍の入力画素値と感度が低い方の利用可能範囲内の下限近傍の入力画素値を選択した場合に、選択した２種類の入力画素値の各々を出力画素値に変換し、変換後の各出力画素値の荷重平均を最終的な出力画素値とし、その際に、感度が高い方の入力画素値が利用可能範囲の上限に近づき、かつ、感度が低い方の入力画素値が利用可能範囲の下限から離れる程度に従って、感度が高い方の入力画素値から得られる出力画素値に乗算する重みを小さくし、かつ、感度が低い方の入力画素値から得られる出力画素値に乗算する重みを大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画素の照度と入力画素値との関係が折れ線状になっている入力画素値を画素毎に取得する入力画素値取得手段と、
画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上の出力画素値であって、前記入力画素値が示す照度と同一の照度に対応した出力画素値を生成する出力画素値生成手段と
を具備することを特徴とする画像処理装置。
【請求項４】
コンピュータを、
各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に取得する入力画素値取得手段と、
画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上にあり、前記複数種類の入力画素値が示す照度と同一の照度に対応した出力画素値を生成する手段であって、入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を前記照度対出力画素値曲線上の出力画素値に変換する機能を備え、前記複数種類の入力画素値の中から前記入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を選択し、この選択した入力画素値を前記照度対出力画素値曲線上の出力画素値に変換する出力画素生成手段と
して機能させることを特徴とするプログラム。
【請求項５】
コンピュータを、
画素の照度と入力画素値との関係が折れ線状になっている入力画素値を画素毎に取得する入力画素値取得手段と、
画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上の出力画素値であって、前記入力画素値が示す照度と同一の照度に対応した出力画素値を生成する出力画素値生成手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、異なる感度で複数回の露光を行う機能を備えた固体撮像装置から得られる画素値の処理を行う画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
周知の通り、ＣＭＯＳ固体撮像装置やＣＣＤ固体撮像装置等の固体撮像装置では、行列をなす各画素が順次駆動され、各画素から画素信号の読み出しが行われる。最も基本的な構成では、一定時間長のフレーム（垂直走査期間）毎に全画素から画素信号を読み出す動作が繰り返される。このような構成では、１つの画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である１フレームが露光時間となり、今回読み出される画素信号の信号値である画素値は露光期間内における画素の受光量を反映したものとなる。
【０００３】
ここで、画素の受光量は、画素の照度を露光期間の開始から終了まで積分したものとなる。このため、画素値の照度に対する感度は、画素の露光時間に依存することとなる。図６（ａ）において、Ｌは露光時間が長い場合における画素の照度と画素値の関係を例示するものであり、Ｓは露光時間が短い場合における画素の照度と画素値の関係を例示するものである。図６（ａ）に示すように、照度に対する画素値の依存性には、照度の増加に応じて画素値が増加し、照度を反映した画素値が得られる傾斜区間と、照度が増加しても画素値が一定の飽和値を維持し、照度を反映した画素値が得られない飽和区間とが生じる。ここで、飽和値は、例えば画素から取り出されるアナログ画素信号をデジタル形式の画素値に変換するＡ／Ｄ変換器のＡ／Ｄ変換可能範囲の上限あるいはアナログ画素信号を増幅する増幅器の出力レベルの上限等により決定される一定値である。図６（ａ）に示すように、露光時間が長い場合には、露光時間が短い場合に比べて、照度に対する画素値の勾配が大きく、画素値の照度に対する感度が高い。しかし、露光時間が長い場合には、露光時間が短い場合に比べて、傾斜区間の照度範囲が狭くなる。一方、露光時間が短い場合には、露光時間が長い場合に比べて、照度に対する画素値の勾配が小さく、画素値の照度に対する感度が低い。しかし、露光時間が短い場合には、露光時間が長い場合よりも傾斜区間の照度範囲が広くなる。
【０００４】
そこで、長時間露光と短時間露光を各々行い、各々の露光結果である各画素値を用いて、ダイナミックレンジの広い画像データを合成する技術が各種提案されている。図６（ｂ）は、それらの技術の一例として特許文献１に開示された画像データの合成方法を示すものである。この画像データの合成方法では、次の手順により広いダイナミックレンジの画像データを構成する出力画素値を合成する。
ａ．長時間露光により得られる画素値（折れ線Ｌ上の画素値）の飽和区間Ｃでは、短時間露光により得られる画素値（直線Ｓ）に対して飽和値に近い所定値を加算することにより、直線Ｓに平行であり、かつ、長時間露光により得られる画素値の傾斜区間と飽和区間の境界である飽和点を通過するような直線Ｓ’上の画素値に変換し、この変換後の画素値を出力画素値とする。
ｂ．長時間露光により得られる画素値（折れ線Ｌ上の画素値）が飽和値よりも所定量以上低い区間Ａでは、その長時間露光により得られる画素値を出力画素値とする。
ｃ．長時間露光により得られる画素値（折れ線Ｌ上の画素値）が飽和値とこの飽和値から所定量だけ低い値との間の値となる区間Ｂでは、その長時間露光により得られる画素値と短時間露光により得られる画素値との荷重平均を出力画素値とする。その際、長時間露光により得られる画素値（折れ線Ｌ上の画素値）が飽和値から所定量だけ低い場合には、長時間露光により得られる画素値に乗算する重み係数を１、短時間露光により得られる画素値に乗算する重み係数を０とし、長時間露光により得られる画素値（折れ線Ｌ上の画素値）が飽和値に近づくに従い、長時間露光により得られる画素値に乗算する重み係数を１から０に、短時間露光により得られる画素値に乗算する重み係数を０から１に、直線的に変化させる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１９７３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した従来の技術によれば、照度に対する出力画素値の関係は、図６（ｂ）において直線Ｌの傾斜部分と直線Ｓ’とを繋いだ折れ線となる。従って、低照度領域では、照度に対する画素値の感度が高く、かつ、全体として広い照度範囲の照度を反映したダイナミックレンジの広い画素値を持った画像データが得られる。しかし、この合成方法を採用する場合、長時間露光での照度に対する画素値の感度と短時間露光での照度に対する画素値の感度の差が大きいと、合成された画像データを画像として表示したときに、長時間露光により得られた画素値に基づく表示がなされている領域と、短時間露光により得られた画素値に基づく表示がなされている領域とが分離して見え、表示画素が不自然でぎこちないものになるという問題が生じる。
【０００７】
この問題の対策として、例えば露光時間の種類を３種類以上に増やし、照度に対する感度の異なった３種類以上の画素値を取得して、上述したような各画素値の一次結合により出力画素値を合成する方法が考えられる。この方法によれば、適切な複数種類の露光時間での露光を行って、各露光の結果である画素値を合成することにより、図６（ｃ）に例示するように、照度と合成される画素値との関係を緩やかな角度で折れ曲がった折れ線にすることができる。従って、表示画像の不自然さをある程度緩和することができる。
【０００８】
しかし、例えばグラデーション画像のように位置の変化に応じて連続的かつ緩やかに明るさが変化するような被写体の撮像を複数回の露光により行って、このような画像合成を行った場合、合成された画像を表示または印刷等により可視化すると、人間の眼には、表示画像等に濃度の不連続ノイズがあるように見えるという問題が生じる。その理由は次の通りである。
【０００９】
まず、人間の視覚対象の照度と人間の視覚がその視覚対象を捉えたときに感じる明るさの関係は、直線特性ではなく、対数特性となる。そして、照度対画素値特性が折れ線状であるような画素値に基づいて印刷を行い、あるいは表示を行った場合に、元の照度（撮像対象である被写体の照度）と印刷画像や表示画像を見たときに人間が感じる照度である視覚強度との関係は、図６（ｄ）に示すように、複数種類の下に凸の曲線を繋ぎ合わせたものとなる。
【００１０】
さらに人間の視覚には、照度の変化にエッジがある場合に、そのエッジを強調して感じ取るマッハ効果がある。このマッハ効果を加味すると、元の照度（撮像対象である被写体の照度）と印刷画像や表示画像を見たときの視覚強度との関係は、図６（ｅ）に示すような特性になる。
【００１１】
このため、例えば撮像対象が左から右に照度が直線的に増加するようなグラデーション画像である場合に、長、中、短の３種類の露光時間で撮像し、図６（ｃ）に示すような折れ線状の照度対画素値特性に対応した画素値を取得して、印刷や表示を行った場合、印刷画像または表示画像を見る人間の眼には、図６（ｆ）に示すように、明るさが不連続に変化する段差が見えることとなる。
【００１２】
この発明は、以上説明した事情に鑑みてなされたものであり、照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する場合に、元の照度と出力画像を見た人間が感じる視覚強度の関係を図６（ｇ）に例示するような連続した滑らかな曲線とすることができ、不連続ノイズの発生を防止することができる画像処理装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
この発明は、各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に取得する入力画素値取得手段と、画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上にあり、前記複数種類の入力画素値が示す照度と同一の照度に対応した出力画素値を生成する手段であって、入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を前記照度対出力画素値曲線上の出力画素値に変換する機能を備え、前記複数種類の入力画素値の中から前記入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を選択し、この選択した入力画素値を前記照度対出力画素値曲線上の出力画素値に変換する出力画素生成手段とを具備することを特徴とする画像処理装置を提供する。
【００１４】
かかる発明によれば、画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線上の出力画素値が得られるので、画素の照度と出力画像を見た人間が感じる視覚強度の関係を連続した滑らかな曲線とすることができ、不連続ノイズの発生を防止することができる。
【図面の簡単な説明】
【００１５】
【図１】この発明の第１実施形態である画像処理装置１を用いた固体撮像装置の構成を示すブロック図である。
【図２】同実施形態における照度と入力画素値との関係および出力画素値生成部１２が行う入力画素値から出力画素値への変換処理を示す図である。
【図３】同実施形態における入力画素値から出力画素値への変換処理の第１の具体例を示す図である。
【図４】同実施形態における入力画素値から出力画素値への変換処理の第２の具体例を示す図である。
【図５】同実施形態における入力画素値から出力画素値への変換処理の第３の具体例を示す図である。
【図６】複数露光により広ダイナミックレンジの画像データを合成する従来の技術およびその問題点を説明する図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照し、この発明の実施形態について説明する。
＜第１実施形態＞
図１はこの発明の第１実施形態である画像処理装置１を用いた固体撮像装置の構成例を示すブロック図である。図１に示すように、この固体撮像装置は、撮像部２と、撮像制御部３と、本実施形態による画像処理装置１とを有する。撮像部２は、周知のＣＭＯＳ固体撮像装置やＣＣＤ固体撮像装置の撮像部と同様、行列状に配列された複数の画素を有し、各画素の露光時間内における照度の時間積分値を示す画素信号が画素毎に出力される構成となっている。撮像制御部３は、撮像部２に撮像を行わせ、撮像部２の各画素の照度を示す画素値を画素毎に取得する装置である。本実施形態における撮像制御部３は、１フレームの間に、露光時間の異なった複数回の露光を撮像部２に行わせ、照度に対する画素値の感度の異なった複数種類の画素値を撮像部３から取得して画像処理装置１に供給する。
【００１７】
画像処理装置１は、撮像制御部３を介して供給される複数種類の画素値を用いて広ダイナミックレンジの画像データを合成する装置である。図１に示すように、画像処理装置１は、入力画素値取得部１１と、出力画素値生成部１２と、入力画素値取得部１１および出力画素値生成部１２にワークエリアとして使用されるワークメモリ１３とを有している。この画像処理装置１の実体は、電子回路であってもよく、この固体撮像装置の制御中枢であるＣＰＵ（図示略）を以下説明する入力画素値取得部１１および出力画素値生成部１２として機能させるプログラムであってもよい。
【００１８】
図２は、画像処理装置１における入力画素値取得部１１および出力画素値生成部１２の処理内容を示す図である。入力画素値取得部１１は、各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に撮像制御部３から取得する。図２の下段には、この入力画素値取得部１１が取得する入力画素値の画素の照度に対する依存性が例示されている。この例では、入力画素値取得部１１は露光時間が長、中、短（すなわち、照度に対する感度が高、中、低）である３種類の入力画素値を取得している。
【００１９】
また、出力画素値生成部１２は、図２の上段に例示するように、画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線Ｙ上の出力画素値であって、複数種類の入力画素値（図２では３種類）が示す照度と同一の照度に対応した出力画素値を生成する。
【００２０】
さらに詳述すると、本実施形態では、図２の下段に例示するように、入力画素値の種類毎に出力画素値の生成に利用される入力画素値の範囲（以下、利用可能範囲）が予め定められている。また、これら複数種類の入力画素値の各利用可能範囲は、感度の高い入力画素値が感度の低い入力画素値よりも低照度側の照度を示す出力画素値の生成に利用されるように定められている。そして、出力画素値生成部１２は、入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を照度対出力画素値曲線Ｙ上の出力画素値に変換する機能を備えており、複数種類（図２では３種類）の入力画素値の中から入力画素値の種類毎に定められた利用可能範囲内にある入力画素値を選択し、この選択した入力画素値を照度対出力画素値曲線Ｙ上の出力画素値に変換する。このようにして画素毎に得られる出力画素値からなる画像データが表示装置や印刷装置等に供給され、可視的な画像として再生される。
【００２１】
入力画素値から出力画素値への変換を行う手段は、例えば入力画素値を出力画素値に対応付けるルックアップテーブルを利用するものであってもよいし、入力画素値を独立変数、出力画素値を従属変数とする関数を利用した演算を行うものであってもよい。あるいは、１つの利用可能範囲を２つに分け、一方の範囲に属する入力画素値はルックアップテーブルを利用して出力画素値に変換し、他方の範囲に属する入力画素値は関数演算により出力画素値に変換するようにしてもよい。
【００２２】
照度対出力画素値曲線Ｙに関して、「画素の照度に対して出力画素値が連続的に変化する」とは、照度に対する出力画素値の一次微分係数が照度対出力画素値曲線Ｙの全域において連続していることを意味する。ただし、照度対出力画素値曲線Ｙは、照度に対する出力画素値の一次微分係数が変化しない区間（すなわち、直線区間）を含んでもよい。
【００２３】
本実施形態によれば、全照度範囲において照度に対する出力画素値の一次微分係数が連続するので、グラデーション画像の再生において、元の画素の照度と再生画像を見る人間が感じる視覚強度との関係を滑らかな曲線にすることができ、視覚上、不連続ノイズが再生画像に現れるのを防止することができる。
【００２４】
複数種類の入力画素値から出力画素値への変換処理に関しては各種の具体例が考えられる。以下、それらの具体例について説明する。
【００２５】
＜第１の具体例＞
図３（ａ）および（ｂ）は、入力画素値から出力画素値への変換処理の第１の具体例を示す図である。この例において、入力画素値取得部１１は、露光時間が長、中、短である３種類の撮像により得られる３種類の入力画素値を撮像制御部３から取得する。図３（ａ）において、Ｘ１は露光時間が長である撮像により得られる入力画素値の照度対入力画素値特性を、Ｘ２は露光時間が中である撮像により得られる入力画素値の照度対入力画素値特性を、Ｘ３は露光時間が短である撮像により得られる入力画素値の照度対入力画素値特性を各々示している。図３（ａ）には、これらの照度対入力画素値特性Ｘ１、Ｘ２およびＸ３と照度軸および画素値軸を共有して、照度対出力画素値曲線Ｙが示されている。
【００２６】
この照度対出力画素値曲線Ｙは次のようにして作成されたものである。まず、照度対入力画素値特性Ｘ２の傾斜区間において、照度対入力画素値特性Ｘ１が傾斜区間から飽和区間に切り換わる照度Ｉ１から照度対入力画素値特性Ｘ２が傾斜区間から飽和区間に切り換わる照度Ｉ２までの区間Ａ２を求める。この照度対入力画素値特性Ｘ２の区間Ａ２の始点が照度対入力画素値特性Ｘ１の傾斜区間の終点Ｔ１に位置するように区間Ａ２を上方にＸｓａｔ−Ｘ２（Ｉ１）だけ平行移動する。この平行移動後の区間Ａ２の終点を点Ｔ２とする。ここで、Ｘｓａｔは入力画素値の飽和値であり、Ｘ２（Ｉ１）は照度対入力画素値特性Ｘ２における照度Ｉ１での入力画素値である。
【００２７】
次に照度対入力画素値特性Ｘ３の傾斜区間において、照度対入力画素値特性Ｘ２が傾斜区間から飽和区間に切り換わる照度Ｉ２から照度対入力画素値特性Ｘ３が傾斜区間から飽和区間に切り換わる照度Ｉ３までの区間Ａ３を求める。この照度対入力画素値特性Ｘ３の区間Ａ３の始点が上述した点Ｔ２に位置するように区間Ａ３を上方に｛Ｘｓａｔ−Ｘ３（Ｉ２）｝＋｛Ｘｓａｔ−Ｘ２（Ｉ１）｝だけ平行移動する。この平行移動後の区間Ａ３の終点を点Ｔ３とする。ここで、Ｘ３（Ｉ２）は照度対入力画素値特性Ｘ３における照度Ｉ２での入力画素値である。
【００２８】
このようにして、照度対入力画素値特性Ｘ１の始点Ｔ０から始まる折れ線状の照度対画素値特性Ｔ０−Ｔ１−Ｔ２−Ｔ３が得られる。次にこの折れ線状の照度対画素値特性Ｔ０−Ｔ１−Ｔ２−Ｔ３において頂点Ｔ１、Ｔ２における角を丸めて照度対出力画素値曲線Ｙを作成する。
【００２９】
具体的には、折れ線状の照度対画素値特性Ｔ０−Ｔ１−Ｔ２−Ｔ３において、頂点Ｔ１を間に挟むように点Ｔ１ａおよびＴ１ｂを設定し、点Ｔ１ａにおいて直線Ｔ０−Ｔ１と同じ一次微分係数を有し、かつ、点Ｔ１ｂにおいて直線Ｔ１−Ｔ２と同じ一次微分係数を有するような曲線（例えば２次関数）Ｃ１を求める。
【００３０】
また、頂点Ｔ２を間に挟むように点Ｔ２ａおよびＴ２ｂを設定し、点Ｔ２ａにおいて直線Ｔ１−Ｔ２と同じ一次微分係数を有し、かつ、点Ｔ２ｂにおいて直線Ｔ２−Ｔ３と同じ一次微分係数を有するような曲線（例えば２次関数）Ｃ２を求める。そして、直線Ｔ０−Ｔ１ａ、曲線Ｃ１（Ｔ１ａ−Ｔ１ｂ）、直線Ｔ１ｂ−Ｔ２ａ、曲線Ｃ２（Ｔ２ａ−Ｔ２ｂ）、直線Ｔ２ｂ−Ｔ３の各区間を繋いだものを照度対出力画素値曲線Ｙとするのである。
【００３１】
この具体例において出力画素値生成部１２は、照度対入力画素値特性Ｘ１では傾斜区間Ａ１を利用可能範囲Ａ１とし、照度対入力画素値特性Ｘ２では上述した区間Ａ２を利用可能範囲Ａ２とし、照度対入力画素値特性Ｘ３では上述した区間Ａ３を利用可能範囲Ａ３とし、入力画素値取得部１１によって取得される３種類の入力画素値のうち利用可能範囲内にある入力画素値を選択し、照度対出力画素値曲線Ｙ上の出力画素値への変換を行う。
【００３２】
さらに詳述すると、出力画素値生成部１２は、利用可能範囲Ａ１内の各入力画素値を照度対出力画素値曲線Ｙ上の同一照度に対応した各出力画素値に変換する第１の変換手段（ルックアップテーブルまたは関数演算手段。以下同じ。）と、利用可能範囲Ａ２内の各入力画素値を照度対出力画素値曲線Ｙ上の同一照度に対応した各出力画素値に変換する第２の変換手段と、利用可能範囲Ａ３内の各入力画素値を照度対出力画素値曲線Ｙ上の同一照度に対応した各出力画素値に変換する第３の変換手段とを有している。そして、出力画素値生成部１２は、入力画素値取得部１１によって取得される３種類の入力画素値のうち露光時間が長である撮像により得られた入力画素値が利用可能範囲Ａ１内にある場合には、その入力画素値を第１の変換手段により出力画素値に変換し、露光時間が中である撮像により得られた入力画素値が利用可能範囲Ａ２内にある場合には、その入力画素値を第２の変換手段により出力画素値に変換し、露光時間が短である撮像により得られた入力画素値が利用可能範囲Ａ３内にある場合には、その入力画素値を第３の変換手段により出力画素値に変換するのである。
【００３３】
図３（ｂ）は図３（ａ）の照度対出力画素値曲線Ｙにおける曲線区間Ｃ１の近傍部分を拡大したものである。この具体例では、利用可能範囲Ａ１、Ａ２、Ａ３の照度範囲は重複がなく、従って、利用可能範囲Ａ１、Ａ２、Ａ３内の各入力画素値の変換結果である出力画素値にも重複はない。このため、曲線区間Ｃ１上の出力画素値のうち照度Ｉ１以下の照度範囲のものは、全て露光時間が長である撮像により得られた入力画素値のうち利用可能範囲Ａ１内のものからの変換結果が採用され、照度Ｉ１以上の照度範囲のものは、全て露光時間が中である撮像により得られた入力画素値のうち利用可能範囲Ａ２内のものからの変換結果が採用される。
【００３４】
第１の変換手段は、利用可能範囲Ａ１内の全ての入力画素値をルックアップテーブルにより出力画素値に変換するものであってもよいが、出力画素値が直線区間Ｔ０−Ｔ１ａ内のものとなる入力画素値については関数演算（この場合、入力画素値をそのまま出力画素値とする。）により出力画素値に変換し、出力画素値が曲線区間Ｃ１（Ｔ１ａ−Ｔ１ｂ）内のものとなる入力画素値についてはルックアップテーブルを利用して出力画素値に変換するものであってもよい。第２および第３の変換手段も同様である。
【００３５】
＜第２の具体例＞
図４（ａ）および（ｂ）は、入力画素値から出力画素値への変換処理の第２の具体例を示す図である。この第２の具体例において、照度対出力画素値曲線Ｙを生成するための方法は、上記第１の具体例と同様である。図４（ａ）には、前掲図３（ａ）のものと同様な照度対入力画素値特性Ｘ１、Ｘ２、Ｘ３と照度対出力画素値曲線Ｙが示されている。
【００３６】
この第２の具体例が上記第１の具体例と異なるのは、第１に、利用可能範囲Ａ２およびＡ３の定め方である。すなわち、この第２の具体例では、感度の順位が隣り合った２種類の入力画素値間（この例では露光時間が中、短である撮像により得られた各入力画素値間）では、両利用可能範囲の照度範囲が部分的に重複し、感度の高い入力画素値の利用可能範囲（例えば利用可能範囲Ａ１）内の上限近傍の入力画素値と感度の低い入力画素値の利用可能範囲（例えば利用可能範囲Ａ１に対しては利用可能範囲Ａ２）内の下限近傍の入力画素値とが共通の出力画素値（例えば曲線区間Ｃ１の前半区間の出力画素値）に重複して変換されるようになっている。
【００３７】
また、第２の具体例が上記第１の具体例と異なるのは、第２に、２つの利用可能範囲の重複範囲内の各入力画素値から出力画素値を生成する方法である。すなわち、この第２の具体例において、出力画素生成部１２は、複数種類の入力画素値のうち感度の順位が隣り合った２種類の入力画素値の両方が各々について定められた各利用可能範囲に属する場合に、これら２種類の入力画素値の各々を出力画素値に変換し、変換後の各出力画素値の荷重平均を最終的な出力画素値とする。
【００３８】
図４（ｂ）は図４（ａ）の照度対出力画素値曲線Ｙにおける曲線区間Ｃ１の近傍部分を拡大したものである。以下、この図４（ｂ）を参照し、利用可能範囲Ａ１およびＡ２の重複範囲における各利用可能範囲Ａ１およびＡ２内の各入力画素値の出力画素値への変換方法について説明する。
【００３９】
図４（ｂ）では、点Ｔ１ａから頂点Ｔ１までの照度範囲内において、利用可能範囲Ａ１およびＡ２が重複している。出力画素値生成部１２は、露光時間が長である撮像により得られた入力画素値が利用可能範囲Ａ１内にあり、かつ、露光時間が中である撮像により得られた入力画素値が利用可能範囲Ａ２内にある場合（すなわち、画素の照度が点Ｔ１ａの照度から頂点Ｔ１の照度Ｉ１までの範囲内である場合）、露光時間が長である撮像により得られた入力画素値から第１の出力画素値を生成し、露光時間が中である撮像により得られた入力画素値から第２の出力画素値を生成する。そして、第１の出力画素値と第２の出力画素値の荷重平均を最終的な出力画素値とする。
【００４０】
その際、露光時間が中である撮像により得られた入力画素値が利用可能範囲Ａ２の下限値から離れ、露光時間が長である撮像により得られた入力画素値が利用可能範囲Ａ１の上限値に近づくに従い、第１の出力画素値に対する重み係数を１から０に向けて例えば直線的に減少させ、第２の出力画素値に対する重み係数を０から１に向けて例えば直線的に増加させる。
【００４１】
図４（ｂ）において、曲線区間Ｃ１内の出力画素値のうち頂点Ｔ１の照度Ｉ１よりも高照度側のものは、露光時間が中である撮像により得られた利用可能範囲Ａ２内の入力画素値からの変換結果が採用される。ここで、頂点Ｔ１の照度位置の僅かに低照度側では、第１の出力画素値と第２の出力画素値との荷重平均が最終的な出力画素値とされる。その際、第１の出力画素値に対する重み係数は限りなく０に近く、第２の出力画素値に対する重み係数は限りなく１に近い。従って、例えば製造ばらつき等により照度に対する入力画素値の感度が予め想定した理想値からずれる等の原因により、露光時間が長である入力画素値から得られる第１の出力画素値と、露光時間が中である入力画素値から得られる第２の出力画素値との間に差が生じるような場合でも、最終的に得られる出力画素値の照度に対する依存性において頂点Ｔ１の照度位置に段差が生じるのを防止することができる。
【００４２】
また、図４（ｂ）において、曲線区間Ｃ１内の出力画素値のうち点Ｔ１ａの照度位置よりも低照度側のものは、露光時間が長である撮像により得られた利用可能範囲Ａ１内の入力画素値からの変換結果が採用される。ここで、点Ｔ１ａの照度位置の僅かに高照度側では、第１の出力画素値と第２の出力画素値との荷重平均が最終的な出力画素値とされる。その際、第１の出力画素値に対する重み係数は限りなく１に近く、第２の出力画素値に対する重み係数は限りなく０に近い。従って、露光時間が長である入力画素値から得られる第１の出力画素値と、露光時間が中である入力画素値から得られる第２の出力画素値との間に差が生じるような場合でも、最終的に得られる出力画素値の照度に対する依存性において点Ｔ１ａの照度位置に段差が生じるのを防止することができる。
頂点Ｔ２の照度位置近傍での変換処理に関しても同様である。
【００４３】
＜第３の具体例＞
図５（ａ）および（ｂ）は、入力画素値から出力画素値への変換処理の第３の具体例を示す図である。上述した第１および第２の具体例では、照度対出力画素値曲線Ｙの基となる折れ線状の照度対画素値特性を得るために、感度の順位の隣り合った２つの照度対入力画素値特性のうち感度の低い方の照度対入力画素値特性（例えば照度対入力画素値特性Ｘ１およびＸ２のうちＸ２）の傾斜区間を、感度の高い方の照度対入力画素値特性（例えば照度対入力画素値特性Ｘ１）の傾斜区間と飽和区間の境界である飽和点を通過する位置まで平行移動させた。
【００４４】
これに対し、第３の具体例では、照度対出力画素値曲線Ｙの基となる折れ線状の照度対画素値特性を得るために、図５（ａ）に例示するように、感度の低い方の照度対入力画素値特性（例えば照度対入力画素値特性Ｘ１およびＸ２のうちＸ２）の傾斜区間を、感度の高い方の照度対入力画素値特性（例えば照度対入力画素値特性Ｘ１）の傾斜区間内の位置、例えば同傾斜区間内の飽和点よりも僅かに低照度側の位置において同傾斜区間と交差するように平行移動させる。
【００４５】
また、第３の具体例では、感度の高い方の照度対入力画素値特性の利用可能範囲（例えば照度対入力画素値特性Ｘ１の場合は利用可能範囲Ａ１）と感度の低い方の照度対入力画素値特性の利用可能範囲（例えば照度対入力画素値特性Ｘ２の場合は利用可能範囲Ａ２）との照度軸上での重複範囲がこの傾斜区間同士の交差点（図５（ａ）では頂点Ｔ１）を跨ぐように、両利用可能範囲が定められる。そして、照度対出力画素値曲線Ｙにおいて感度の高い直線区間と感度の低い直線区間とを接続する曲線区間（図５（ａ）では曲線区間Ｃ１）は、この重複範囲内に設けられる。
【００４６】
図５（ｂ）は図５（ａ）の照度対出力画素値曲線Ｙにおける曲線区間Ｃ１の近傍部分を拡大したものである。以下、この図５（ｂ）を参照し、利用可能範囲Ａ１およびＡ２の重複範囲における各利用可能範囲Ａ１およびＡ２内の各入力画素値の出力画素値への変換方法について説明する。
【００４７】
図５（ｂ）では、点Ｔ１ａから点Ｔ１ｂまでの照度範囲内において、利用可能範囲Ａ１およびＡ２が重複している。出力画素値生成部１２は、露光時間が長である撮像により得られた入力画素値が利用可能範囲Ａ１内にあり、かつ、露光時間が中である撮像により得られた入力画素値が利用可能範囲Ａ２内にある場合、例えば利用可能範囲Ａ１内の露光時間が長である撮像により得られた入力画素値から第１の出力画素値を生成し、例えば利用可能範囲Ａ２内の露光時間が中である撮像により得られた入力画素値から第２の出力画素値を生成する。そして、第１の出力画素値と第２の出力画素値の荷重平均を最終的な出力画素値とする。その際、露光時間が中である撮像により得られた入力画素値が利用可能範囲Ａ２の下限値から離れ、かつ、露光時間が長である撮像により得られた入力画素値が利用可能範囲Ａ１の上限値に近づくに従い、露光時間が長である入力画素値から得られた第１の出力画素値に対する重み係数を１から０に向けて例えば直線的に減少させ、露光時間が中である入力画素値から得られた第２の出力画素値に対する重み係数を０から１に向けて例えば直線的に増加させる。
【００４８】
このようにすることで、露光時間が長である入力画素値から得られる第１の出力画素値と、露光時間が中である入力画素値から得られる第２の出力画素値との間に差が生じる状況においても、出力画素値の照度に対する依存性において点Ｔ１ａの照度位置および点Ｔ１ｂの照度位置に段差が生じるのを防止することができる。
【００４９】
以上、照度対出力画素値曲線Ｙのうちこれらの照度対入力画素値特性Ｘ１およびＸ２から合成される曲線区間Ｃ１付近の部分の合成方法と、この曲線区間Ｃ１付近の照度範囲における入力画素値から出力画素値への変換方法を説明したが、曲線区間Ｃ２付近の部分の合成方法およびこの曲線区間Ｃ２付近の照度範囲における入力画素値から出力画素値への変換方法も同様である（図５（ａ）および（ｂ）では図示省略）。
【００５０】
＜第２実施形態＞
上述した第１実施形態では、画像処理装置１に対し、感度の異なった複数種類の入力画素値が与えられることを前提とした。これに対し、本実施形態では、上述した従来技術により合成された画素値、すなわち、折れ線状の照度対画素値特性を持った広ダイナミックレンジの画素値が画像処理装置に与えられる。本実施形態による画像処理装置は、このように画素の照度と入力画素値との関係が折れ線状になっている入力画素値を画素毎に取得する入力画素値取得手段を有するとともに、画素の照度に対して出力画素値が連続的に変化するように予め定められた照度対出力画素値曲線、例えば画素の照度に対する出力画素値の関係が上記折れ線における角部を丸めた照度対出力画素値曲線になるように入力画素値を出力画素値に変換して出力する出力画素値生成手段を有する。
【００５１】
本実施形態による画像処理装置は、コンピュータプログラムとしても実現可能である。すなわち、照度対画素値特性が折れ線状である入力画素値を画素毎に受け取り、照度対出力画素値特性が上に凸の緩やかな曲線状である出力画素値に変換する画質改善のためのアプリケーションプログラムである。
本実施形態においても、上記第１実施形態と同様の効果が得られる。
【００５２】
＜他の実施形態＞
以上、この発明の第１および第２実施形態を説明したが、この発明には他にも実施形態が考えられる。例えば上記各実施形態では、露光時間の異なった２回の撮像により得られる２種類の入力画素値を用いて広ダイナミックレンジの出力画素値を生成したが、撮像の回数は任意である。また、上記実施形態では、照度に対する画素値の感度を変えるために、露光時間を変えたが、感度を変えるための方法も任意である。
【符号の説明】
【００５３】
２……撮像部、３……撮像制御部、１……画像処理装置、１１……入力画素値取得部、１２……出力画素値生成部、１３……ワークメモリ。
【図１】
2010206666.tif 000003
【図２】
2010206666.tif 000004
【図３】
2010206666.tif 000005
【図４】
2010206666.tif 000006
【図５】
2010206666.tif 000007
【図６】
2010206666.tif 000008