(57)【要約】【課題】照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する処理の高精度化および高速化を容易にし、さらに出力画像の特性を自由に変更することを可能する。【解決手段】入力画素値の種類毎に各々定められた複数のルックアップテーブルであって、入力画素値の示す照度と同一の照度に対応した出力画素値を入力画素値に対応付けて記憶したルックアップテーブルを参照し、入力画素値を出力画素値に変換する処理を画素毎に行う。この変換処理では、各々画素について、当該画素の照度を最も高い感度で有効に表している入力画素を選択し、その入力画素値の種類に応じたルックアップテーブルを参照してその入力画素値を出力画素値に変換する。【選択図】図３
2010272922.tif 000002
【特許請求の範囲】
【請求項１】
各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に取得する入力画素値取得手段と、
入力画素値の種類毎に各々定められた複数のルックアップテーブルであって、当該種類の入力画素値の示す照度と同一の照度に対応した出力画素値を入力画素値に対応付けて記憶したルックアップテーブルと、
各々の画素について、前記複数種の入力画素値のうち飽和値未満かつ最大のものを選択し、当該選択した入力画素値の種類に応じたルックアップテーブルを参照し、当該選択した入力画素値を出力画素値に変換する出力画素値生成手段と
を具備することを特徴とする画像処理装置。
【請求項２】
前記複数の種類の入力画素値の各々により表される画像の撮像条件、または当該各種類の画像における画素値の出現頻度の分布、または撮像シーンにおける照度分布に応じて前記各ルックアップテーブルの格納内容を更新するテーブル更新手段、
をさらに有することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一の被写体を各々異なる露光時間で撮像した複数の画像からダイナミックレンジの広い画像を合成する技術に関する。
【背景技術】
【０００２】
周知の通り、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）固体撮像装置やＣＣＤ（Charge Coupled Device）固体撮像装置等の固体撮像装置では、複数の画素をマトリクス状に配列して撮像面が形成されている。この種の固体撮像装置では撮像面を形成する各画素が順次駆動され、各画素から画素信号の読み出しが行われる。最も基本的な構成では、一定時間長のフレーム（垂直走査期間）毎に全画素から画素信号を読み出す動作が繰り返される。このような構成では、１つの画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である１フレームが露光期間となり、今回読み出される画素信号の信号値である画素値は露光期間内における画素の受光量を反映したものとなる。
【０００３】
固体撮像装置の撮像面を形成する画素の受光量は、画素の照度を露光期間の開始から終了まで積分したものとなる。このため、画素値の照度に対する感度は、露光期間の時間長（露光時間）に依存することとなる。図６は画素の照度と画素値の関係を示す図である。図６において、Ｌは露光時間が長い場合における画素の照度と画素値の関係を例示するものであり、Ｓは露光時間が短い場合における画素の照度と画素値の関係を例示するものである。図６に示すように、照度に対する画素値の依存性には、照度の増加に応じて画素値が増加し、照度を反映した画素値が得られる傾斜区間と、照度が増加しても画素値が一定の飽和値を維持し、照度を反映した画素値が得られない飽和区間とが生じる。ここで、飽和値は、例えば画素から取り出されるアナログ画素信号をデジタル形式の画素値に変換するＡ／Ｄ変換器のＡ／Ｄ変換可能範囲の上限あるいはアナログ画素信号を増幅する増幅器の出力レベルの上限等により決定される一定値である。なお、図６に例示した照度の範囲では、露光時間が長い場合においては傾斜区間と飽和区間の両者が現れており、露光時間が長い場合においては傾斜区間の一部のみが現れている。
【０００４】
図６を参照すれば明らかなように、傾斜区間の勾配は露光時間が短い場合よりも露光時間が長い場合の方が急峻になる。つまり、露光時間が長い場合には、露光時間が短い場合に比べて、画素値の照度に対する感度は高くなるものの、ダイナミックレンジ（画素値で表現可能な照度の範囲）は狭くなり、逆に、露光時間が短い場合には、露光時間が長い場合に比べて、画素値の照度に対する感度は低いものの、ダイナミックレンジは広くなる。このため、撮像シーンの明部と暗部の照度差が大きい場合、暗部の照度に合わせて露光時間を長く設定すると、撮像画像における明部が白くつぶれてしまい、逆に明部の照度に合わせて露光時間を短く設定すると、撮像画像における暗部のコントラストが著しく低下するという問題が生じ得る。そこで、このような問題を解決するための技術が種々提案されており、その一例としては特許文献１に開示された技術が挙げられる。
【０００５】
特許文献１に開示された技術は、同一の被写体を各々異なる露光時間で撮像した複数の画像から広ダイナミックレンジの画像を合成することで上記問題を解決する。例えば、長時間露光の画像と短時間露光の画像とから広ダイナミックレンジの画像を合成する場合、短時間露光で撮像された画像の画素値を表す画素信号をこれら２種類の露光時間の比の分だけ増幅し、低照度領域については長時間露光で得られた画素信号を、高照度領域については上記増幅後の画素信号を各々用いるのである（特許文献１：段落００１２参照）。これにより、被写体の明るい部分から暗い部分に亘る全ての輝度領域において階調が良好に再現される広ダイナミックレジンの画像が得られるのである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−３０４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、特許文献１に開示された技術により広ダイナミックレンジの画像を合成する場合における画素信号の増幅は、短時間露光で得られた画素信号に露光係数（長時間露光の露光時間を短時間露光の露光時間で除算して得られる値）を乗算することで行われる。以下、露光係数の乗算により画素信号を増幅することを「正規化」と呼ぶ。例えば、１２ビット（４０９６階調）の画素信号を出力する固体撮像装置を用いて露光時間が１／４秒である画像と露光時間が１／２０４８秒である画像とを撮像し、両者を合成してダイナミックレンジの広い１つの画像を生成する場合、短時間露光で撮像された画像の画素値は４０９６×２０４８／４＝２０９７１５２階調（２１ビット）の画素値ｘ＿ｔに変換される。このようにして得られた広ダイナミックレンジの画像を液晶ディスプレイなどの一般的な表示装置に表示させる場合、さらに階調変換が必要となることが多い。一般的な表示装置では８ビット２５６階調での画素表示にしか対応していないことが多いからである。この種の階調変換は、例えば、以下の数式（１）に示す関数演算により実現され、この数式（１）にしたがって算出される値ｙが階調変換後の出力画素値となる。
ｙ＝ｆ（ｘ＿ｔ）＝ｄＣｏｕｎｔ×（ｌｏｇ（１．０＋ｘ＿ｔ／ｄＤｅｌｔａ）
−ｌｏｇ（１．０＋Ｇｍｉｎ／ｄＤｅｌｔａ））…（１）
ただし、ｄＣｏｕｎｔ＝ｄＹｍａｘ／（  ｌｏｇ（１．０＋Ｇｍａｘ／ｄＤｅｌｔａ）
−ｌｏｇ（１．０＋Ｇｍｉｎ／ｄＤｅｌｔａ））
ｄＹｍａｘ：変換後の最大出力値（すなわち、２５６）
Ｇｍａｘ：出力ゲイン最大値（本設例では、２５５）
Ｇｍｉｎ：出力ゲイン最小値（本設例では、０）
ｄＤｅｌｔａ：画質調整用パラメータ
【０００８】
しかし、固体撮像装置から出力される画素信号に正規化を施してダイナミックレンジを拡大し、さらに数式１にしたがった階調変換を施す態様には、以下のような問題点があった。すなわち、正規化により画素信号のビット数が大幅に増加するため、正規化を実行する回路の規模が大きくなり、高精度化や高速化が難しくなる、といった問題がある。また、正規化によって得られた広ダイナミックレンジ画像（例えば、２１ビット２０９７１５２階調の画像）を一般的な表示装置にさせる場合には、その表示装置の出力階調（例えば、８ビット２５６階調）に応じた画像を得るまでの中間的な演算（例えば、正規化のための演算など）のために２１ビットの画素値を格納するための記憶領域をメモリに確保することとなり、メモリの有効利用という立場からは好ましくないといった問題がある。また、階調変換を数式（１）に示す関数演算で実現する態様では、各種のパラメータ（ＧｍａｘやＧｍｉｎ、ｄＤｅｌｔａなど）の値を変更するといった程度の調整しかすることができず、出力画像の特性を自由に変化させることは困難である、という問題もあった。
【０００９】
本発明は上記課題に鑑みて為されたものであり、照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する処理の高精度化および高速化を可能にするとともに、出力画像の特性を自由に変更することを可能する技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本発明は、各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に取得する入力画素値取得手段と、入力画素値の種類毎に各々定められた複数のルックアップテーブルであって、当該種類の入力画素値の示す照度と同一の照度に対応した出力画素値を入力画素値に対応付けて記憶したルックアップテーブルと、各々の画素について、前記複数種の入力画素値のうち飽和値未満かつ最大のものを選択し、当該選択した入力画素値の種類に応じたルックアップテーブルを参照し、当該選択した入力画素値を出力画素値に変換する出力画素値生成手段とを具備することを特徴とする画像処理装置を提供する。
【００１１】
本発明によれば、画素の照度に対する画素値の感度が異なった複数種類の入力画素値のうち飽和値未満かつ最大のものを選択し、当該選択した入力画素値の種類に対応するルックアップテーブルを参照してその入力画素値を出力画素値に変換する処理が画素毎に行われる。詳細については後述するが、複数種類の入力画素値のうち飽和値未満かつ最大のものは、画素の照度を最も高い感度で有効に表すものである。つまり、本発明によれは、固体撮像装置の撮像面を形成する複数の画素の各々について、当該画素の照度を最も高い感度で有効に表している入力画素値から出力画素値が生成される。
【００１２】
ルックアップテーブルの参照による入力画素値から出力画素値への変換処理は、入力画素値を引数とする関数演算などによる変換処理に比較して演算量が少ない。このため、本発明によれば、照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する処理を少ない演算量で（すなわち、小規模な回路で）実現することが可能になり、演算精度の向上や高速化が容易になる。また、本発明においては、各ルックアップテーブルの格納内容を適宜書き換えることで入力画素値から出力画素値への変換の処理態様を変更すること（すなわち、出力画像の特性を変更すること）が可能になる。例えば、前記複数の種類毎に入力画素値が表す画像の撮像条件、または当該各種類の画像における画素値の出現頻度の分布、または、または撮像シーンにおける照度分布に応じて前記各ルックアップテーブルの格納内容を更新するテーブル更新手段を上記画像処理装置に設けるようにすれば良い。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態である画像処理装置１を用いた固体撮像装置の構成例を示す図である。
【図２】同画像処理装置１の入力画素値取得部１１および出力画素値生成部１２が実行する処理を説明するための図である。
【図３】同出力画素値生成部１２の構成例を示す図である。
【図４】各ルックアップテーブルの格納内容を説明するための図である。
【図５】入力画像における照度分布に応じて各ルックアップテーブルの格納内容を更新する態様の具体例を示す図である。
【図６】露光時間が長い場合および短い場合の各々における画素の照度と画素値との関係を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、この発明の実施形態について説明する。
図１は、この発明の一実施形態である画像処理装置１を用いた固体撮像装置の構成例を示すブロック図である。図１に示すように、この固体撮像装置は、撮像部２と、撮像制御部３と、画像処理装置１とを有する。撮像部２は、周知のＣＭＯＳ固体撮像装置やＣＣＤ固体撮像装置の撮像部と同様、複数の画素をマトリクス状に配列して形成された撮像面を有し、各画素の露光時間内における照度の時間積分値を示す１２ビット（０〜４０９５の４０９６階調）の画素信号が画素毎に出力される構成となっている。撮像制御部３は、撮像部２に撮像を行わせ、撮像部２の各画素の照度を示す画素値を画素毎に取得する装置である。撮像制御部３は、露光時間の異なった複数回の露光（本実施形態では、露光時間がＬ、Ｓ１，Ｓ２およびＳ３（Ｌ＞Ｓ１＞Ｓ２＞Ｓ３）の４回の露光）を撮像部２に行わせ、照度に対する画素値の感度の異なる４種類の画素値を撮像部２から取得して画像処理装置１に供給する。
【００１５】
画像処理装置１は、撮像制御部３を介して供給される複数種類の画素値を用いて広ダイナミックレンジの画像データを合成する装置である。画像処理装置１は、入力画素値取得部１１と、出力画素値生成部１２と、出力画素値生成部１２にワークエリアとして使用されるワークメモリ１３を有している。これら画像処理装置１の各構成要素は電子回路で構成されている。
【００１６】
図２は、画像処理装置１における入力画素値取得部１１および出力画素値生成部１２の処理内容を示す図である。入力画素値取得部１１は、各々画素の照度を示す画素値であって、画素の照度に対する画素値の感度が異なった複数種類の入力画素値を画素毎に撮像制御部３から取得する。図２の下段には、この入力画素値取得部１１が取得する入力画素値の画素の照度に対する依存性が例示されている。この例では、入力画素値取得部１１は、撮像部２の撮像面を形成する複数の画素の各々について、露光時間がＬ、Ｓ１、Ｓ２およびＳ３の４種類の入力画素値を取得し、これら４種類の入力画素値を出力画素値生成部１２に与える。
【００１７】
また、出力画素値生成部１２は、図２の上段に例示するように、入力画素値が示す照度と同一の照度に対応した出力画素値を生成する。より詳細に説明すると、出力画素値生成部１２は、撮像部２の撮像面を形成する複数の画素の各々について入力画素値取得手段１１から与えられる４種類の入力画素値のうち飽和値未満かつ最大のものを選択し、当該選択した入力画素値に前述した正規化および数式（１）に示す階調変換を施したとした場合に得られる８ビット（２５６階調）の出力画素値を出力する。本実施形態にて、出力画素値を8ビットとするのは、画像処理装置１から出力される画像データの表す画像を液晶ディスプレイなどの一般的な表示装置で表示できるようにするためである。
【００１８】
ここで、４種類の入力画素値のうち飽和値未満かつ最大のものを出力画素値生成部１２に選択させるのは、以下の理由による。
図２の下段に示すグラフを参照すれば明らかように、同一照度に対する入力画素値は、飽和値に達しているものを除くと、露光時間が長いほど大きな値になっている。前述したように、露光時間が長いほど画素の照度に対する感度は高くなるのであるから、４種類の入力画素値のうち飽和値未満かつ最大のものを選択することによって、画素の照度を最も高い感度で有効に表しているものが選択されるのである。なお、４種類の入力画素値のうち飽和値となっているものを除外するのは、入力画素値が飽和値となっているということは、所謂露出オーバーの状態であり、その状態で得られた入力画素値は、もはや画素の照度を反映してはいないからである。
【００１９】
図３は、出力画素値生成部１２の構成例を示すブロック図である。
図３に示すように出力画素値生成部１２は、４つのルックアップテーブル（ＬＵＴ―Ｌ、およびＬＵＴ−Ｓ１〜ＬＵＴ−Ｓ３）と、テーブル選択部１２０と、画素値変換部１２２と、テーブル更新部１２４とを有している。
【００２０】
ルックアップテーブルＬＵＴ−Ｌ〜ＬＵＴ−Ｓ３の各々は、デュアルポートＳＤＡＲＭなどのメモリ（図３では図示省略）に格納された状態で画像処理装置１に実装される。これら４つのルックアップテーブルの各々は、４０９６×８ビットのデータサイズを有している。ルックアップテーブルＬＵＴ−ｋ（ｋ＝Ｌ，Ｓ１，Ｓ２，Ｓ３）の各々には、露光時間ｋ（ｋ＝Ｌ，Ｓ１，Ｓ２，Ｓ３）における４０９６階調の入力画素値ｘの各々に対応づけて、その入力画素値の示す照度と同一の照度を示す出力画素値（８ビット：２５６階調）が格納されている。各ルックアップテーブルは、０〜４０９５番までの４０９６個の記憶領域（８ビットの記憶領域）に区画されており、ｎ番目（ｎ＝０〜４０９５）の記憶領域には、入力画素値ｎの示す照度と同一の照度を示す出力画素値が格納されている。つまり、ルックアップテーブルＬＵＴ−ｋを参照して入力画素値を出力画素値へ変換する処理は、その入力画素値をアドレスとし、そのアドレスの示す記憶領域に格納されている出力画素値をルックアップテーブルＬＵＴ−ｋから読み出すことで実現される。
以下、これら４つのルックアップテーブルの格納内容について説明する。
【００２１】
図４（ａ）〜図４（ｄ）の各々は、ルックアップテーブルＬＵＴ−Ｌ〜ＬＵＴ−Ｓ３の各々の格納内容を表す図である。より詳細に説明すると、ルックアップテーブルＬＵＴ−Ｌには、０〜４０９５までの入力画素値ｘの各々に対応付けて、その入力画素値ｘを露光係数ｅ０（＝Ｌ／Ｌ＝１）で正規化して得られる画素値ｘ＿ｔ（＝ｅ０×ｘ）を前掲数式（１）に代入した場合に得られる出力画素値ｙが予め格納されている。ルックアップテーブルＬＵＴ−Ｓ１には、同入力画素値ｘの各々に対応付けて、その入力画素値ｘを露光係数ｅ１（＝Ｌ／Ｓ１）で正規化して得られる画素値ｘ＿ｔ（＝ｅ１×ｘ）を前掲数式（１）のｘ＿ｔに代入した場合に得られる出力画素値ｙが予め格納されている。ルックアップテーブルＬＵＴ−Ｓ２には、同入力画素値ｘの各々に対応付けて、その入力画素値ｘを露光係数ｅ２（＝Ｌ／Ｓ２）で正規化して得られる画素値ｘ＿ｔ（＝ｅ２×ｘ）を前掲数式（１）に代入した場合に得られる出力画素値ｙが予め格納されている。そして、ルックアップテーブルＬＵＴ−Ｓ３には、同入力画素値ｘの各々に対応付けて、その入力画素値ｘを露光係数ｅ３（＝Ｌ／Ｓ３）で正規化して得られる画素値ｘ＿ｔ（ｅ３×ｘ）を数式（１）に代入した場合に得られる出力画素値ｙが予め格納されている。
【００２２】
本実施形態では、４種類のルックアップテーブルを以上に説明したように構成したため、露光時間ｋで撮像した場合の入力画素値ｘをルックアップテーブルＬＵＴ−ｋを参照して出力画素値へ変換することにより、正規化演算および関数演算による階調変換を行うことなく、入力画素値の示す照度と同一の照度を表す出力画素値を得ることができるのである。本実施形態では、入力画素値から出力画素値への変換を行う際に、正規化演算を行わないのであるから、前述したメモリの無駄遣いが回避され、また、数式（１）に示すような関数演算も行われないのであるから演算量が大幅に減少する。
【００２３】
テーブル選択部１２０は、画素毎に入力画素値取得部１１から引渡される４種類の入力画素値の大きさを比較し、これら４種類の入力画素値のうち飽和値（本実施形態では４０９５）未満かつ最大のものを選択し、その選択結果に応じた２ビットのテーブル選択信号ＴＳを画素値変換部１２２に与える。本実施形態では、テーブル選択部１２０は、露光時間Ｌの入力画素値を選択した場合には、値が“００”であるテーブル選択信号ＴＳを、露光時間Ｓ１の入力画素値を選択した場合には、値が“０１”であるテーブル選択信号ＴＳを、露光時間Ｓ２の入力画素値を選択した場合には、値が“１０”であるテーブル選択信号ＴＳを、露光時間Ｓ３の入力画素値を選択した場合には、値が“１１”であるテーブル選択信号ＴＳを、画素値変換部１２２に与える。
【００２４】
画素値変換部１２２は、テーブル選択信号ＴＳの示すルックアップテーブルを用いて入力画素値を出力画素値に変換し、後段の装置（例えば、表示装置や印刷装置など）に出力する。より詳細に説明すると、画素値変換部１２２は、テーブル選択部１２０から与えられたテーブル選択信号ＴＳが“００”である場合は、入力画素値取得部１１から引渡される４種類の画素値のうち、露光時間Ｌの入力画素値を選択し、この入力画素値に対応付けてルックアップテーブルＬＵＴ−Ｌに格納されている出力画素値を読み出し、この出力画素値を後段の装置へ出力する。同様に、画素値変換部１２は、テーブル選択部１２０から与えられたテーブル選択信号ＴＳが“０１”である場合は、露光時間Ｓ１の入力画素値に対応付けてルックアップテーブルＬＵＴ−Ｓ１に格納されている出力画素値を、同テーブル選択信号ＴＳが“１０”である場合は、露光時間Ｓ２の入力画素値に対応付けてルックアップテーブルＬＵＴ−Ｓ２に格納されている出力画素値を、同テーブル選択信号ＴＳが“１１”である場合は、露光時間Ｓ３の入力画素値に対応付けてルックアップテーブルＬＵＴ−Ｓ３に格納されている出力画素値を、出力する。これにより、複雑な関数演算を行うことなく、露光時間の異なる複数種類の入力画素値（換言すれば、照度に対する感度の異なる複数種類の入力画素値）からダイナミックレンジの広い出力画像を示す出力画素値が生成されるのである。
【００２５】
図３のテーブル更新部１２４は、撮像部２により撮像を行う際の撮像条件（本実施形態では、４種類の露光時間の各々の長さ）、または各露光時間で撮像された画像における画素値の出現頻度の分布（或いは撮像シーンにおける照度分布）に応じて各ルックアップテーブルの格納内容を更新する処理を実行する。例えば、固体撮像装置の利用者により指定された露光時間Ｌ、Ｓ１、Ｓ２およびＳ３の各々の長さに応じて正規化および出力画素値への変換（数式（１）の示す演算、或いは、数式（１）とは異なる数式に従った関数演算）を行い、その演算結果である出力画素値を各ルックアップテーブルに書き込む、といった具合である。また、各露光時間で撮像された画像における画素値の出現頻度の分布に応じて各ルックアップテーブルの格納内容を更新する態様としては、以下のものが考えられる。すなわち、上記４種類の露光時間のうちの何れかの露光時間（例えば露光時間Ｓ２）で撮像した画像において、画素値が飽和値近辺となっている画素の出現頻度が所定の閾値を超えていた場合に、露光時間Ｓ２をより短く設定し直し、露光時間の変更に同期させてルックアップテーブルＬＵＴ−Ｓ２の格納内容を更新する処理をテーブル更新部１２４に実行させる態様である。
【００２６】
また、撮像シーンにおける照度分布に応じて各ルックアップテーブルの格納内容を更新する態様としては、以下のものが考えられる。図５（ａ）は、画像処理装置１が出力する出力画素値と撮像シーンにおける照度との関係を示す図である。図５（ａ）に示す照度対画素値曲線Ｙにおいて、区間Ｋ１における照度と画素値の対応関係はルックアップテーブルＬＵＴ−Ｌの格納内容で、同区間Ｋ２における対応関係はルックアップテーブルＬＵＴ−Ｓ１の格納内容で、同区間Ｋ３における対応関係はルックアップテーブルＬＵＴ−Ｓ２の格納内容で、同区間Ｋ４における対応関係はルックアップテーブルＬＵＴ−Ｓ３の格納内容で、各々表される。図５（ｂ）に示すように、撮像シーンにおける照度分布が急峻なピークを有するものである場合には、ピーク周辺の照度のコントラストが細やかに表現されるようにするため、より急峻に立ち上がる照度対画素値曲線Ｙ´となるように各ルックアップテーブルの格納内容を更新すれば良い。逆に、図５（ｂ）に示すように、撮像シーンにおける照度分布が緩やかなピークを有するものである場合には、撮像シーン全体に亘る照度の移り変わりが滑らかに表現されるように、より緩やかな照度対画素値曲線Ｙ´となるように各ルックアップテーブルの格納内容を更新すれば良い。
【００２７】
このようにテーブル更新部１２４を設けることにより、露光時間などの撮像条件等に応じてルックアップテーブルの格納内容を更新し、より好ましい画質の出力画像を得ることが可能になる。また、従来技術においては、各々露光時間の異なる複数の画像から広ダイナミックレンジの画像を合成する度に数式（１）に示す関数演算が画素毎に行われていたのであるが、本実施形態によれば、この種の複雑な関数演算は撮像条件の変更時などにのみ実行され、その実行回数が大幅に削減される。
【００２８】
以上説明したように本実施形態によれば、照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する処理の演算量が削減され、当該処理を実行する回路の規模の増加を抑えることが可能になる。これにより、照度に対する感度の異なる複数種類の入力画素値を用いてダイナミックレンジの広い出力画像を示す出力画素値を生成する処理の高精度化および高速化が可能になる。また、本実施形態によれば、撮像条件、または撮像画像における画素値の出現頻度の分布に応じてルックアップテーブルの格納内容を更新することができるため、出力画像の特性を自由に変更することが可能になる。
【００２９】
以上、本発明の実施形態について説明したが、この実施形態を以下のように変形しても勿論良い。
（１）上述した実施形態では、４種類の露光時間（Ｌ、Ｓ１、Ｓ２およびＳ３）の各々で撮像した画像からダイナミックレンジの広い１つの画像を合成したが、何種類の露光時間で撮像した画像からダイナミックレンジの広い１つの画像を合成するのかについては任意である。例えば、各々露光時間が異なる２つの画像からダイナミックレンジの広い１つの画像を合成しても良く、また、各々露光時間の長さの異なる３つ、或いは５つ以上の画像からダイナミックレンジの広い１つの画像を合成しても勿論良い。但し、露光時間の長さ毎に、その露光時間で撮像した画像の画素値（すなわち、入力画素値）を出力画素値に変換するルックアップテーブルを用意しておく必要がある。また、上記実施形態では、照度に対する画素値の感度を変えるために、露光時間を変えたが、感度を変えるための方法も任意である。また、上述した実施形態では、入力画素値は１２ビットのデータであり、出力画素値は８ビットのデータである場合について説明したが、入力画素値と出力画素値のデータサイズがこれらに限定されるものではないことは言うまでもない。
【００３０】
（２）上述した実施形態では、入力画素値取得部１１および出力画素値生成部１２を各々電子回路で構成したが、これらをプログラムで実現するとしても勿論良い。例えばＣＰＵ（Central Processing Unit）などのコンピュータを入力画素値取得部１１および出力画素値生成部１２として機能させるプログラムを、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に書き込んで配布しても良く、インターネットなどの電気通信回線経由のダウンロードにより配布しても良い。このように、入力画素値取得部１１および出力画素値生成部１２をプログラムで実現する態様においては、ルックアップテーブルＬＵＴ−ｋ（ｋ＝Ｌ、Ｓ１、Ｓ２およびＳ３）の各々を上記プログラムに埋め込んでおいても良く、また、上記プログラムの実行過程で参照・更新を行えるようにメモリに格納しておいても良い。
【符号の説明】
【００３１】
１…画像処理装置、２…撮像部、３…撮像制御部、１１…入力画素値取得部、１２…出力画素値生成部、１２０…テーブル選択部、１２２…画素値変換部、１２４…テーブル更新部、ＬＵＴ―Ｌ，ＬＵＴ−Ｓ１，ＬＵＴ―Ｓ２，ＬＵＴ―Ｓ３…ルックアップテーブル、１３…ワークメモリ。
【図１】
2010272922.tif 000003
【図２】
2010272922.tif 000004
【図３】
2010272922.tif 000005
【図４】
2010272922.tif 000006
【図５】
2010272922.tif 000007
【図６】
2010272922.tif 000008