(57)【要約】【課題】広いダイナミックレンジの画像を簡潔に得ることができ、さらに処理遅延や演算誤差の累積による微小な画像情報の欠落を低減する画像処理装置およびそのプログラムおよびその記録媒体を提供すること。【解決手段】本発明の画像処理装置は、露光時間の異なる複数の画像信号を入力する画像信号入力部１１と、複数の画像信号のレベル変換係数を演算するレベル変換係数演算部１２、１３と、複数の画像信号の重み付け係数を演算する重み付け係数演算部１４と、複数の画像信号にそれぞれのレベル変換係数と重み付け係数とを積算したもの同士を加算する加算部１７とを備えた構成を有している。【選択図】      図１
2004266347.tif 000002
【特許請求の範囲】
【請求項１】
露光時間の異なる複数の画像信号を入力する画像信号入力部と、前記複数の画像信号のレベル変換係数を演算するレベル変換係数演算部と、前記複数の画像信号の重み付け係数を演算する重み付け係数演算部と、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算する加算部とを備えたことを特徴とする画像処理装置。
【請求項２】
前記レベル変換係数演算部は、前記レベル変換係数により、前記複数の画像信号のレベル合わせと、前記複数の画像信号の高レベル部分を圧縮するレベル圧縮とを同時に行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の画像信号からそれぞれ高周波成分を取り出す高周波成分取出部と、前記高周波成分に応じた特性の高周波レベル変換係数を演算する高周波レベル変換係数演算部とを備え、前記加算部は、前記高周波成分に前記高周波レベル変換係数を積算したものを前記レベル変換係数が積算された前記画像信号に加算して、前記重み付け係数を積算することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像信号が複数の色成分信号からなるカラー画像信号のとき、複数の前記カラー画像信号から代表値をそれぞれ算出する代表値算出部を備え、前記代表値から前記レベル変換係数と前記重み付け係数を算出することを特徴とする請求項１から請求項３の何れかに記載の画像処理装置。
【請求項５】
前記画像信号入力部は、予め定めた露光時間の画像信号を蓄積し、前記蓄積した画像信号同士のタイミングを合わせて合成し、合成した画像信号を出力する撮像装置からの画像信号を入力することを特徴とする請求項１から請求項４の何れかに記載の画像処理装置。
【請求項６】
露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレベル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算することを特徴とする画像処理装置のプログラム。
【請求項７】
前記レベル変換係数により、前記複数の画像信号のレベル合わせと、前記画像信号の高レベル部分を圧縮するレベル圧縮とを同時に行うことを特徴とする請求項６に記載の画像処理装置のプログラム。
【請求項８】
前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算することを特徴とする請求項６に記載の画像処理装置のプログラム。
【請求項９】
露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレベル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算するプログラムを記録することを特徴とする画像処理装置の記録媒体。
【請求項１０】
前記レベル変換係数により、前記複数の画像信号のレベル合わせと、前記画像信号の高レベル部分を圧縮するレベル圧縮とを同時に行うプログラムを記録することを特徴とする請求項９に記載の画像処理装置の記録媒体。
【請求項１１】
前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算するプログラムを記録することを特徴とする請求項９に記載の画像処理装置の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタルの画像処理装置に関し、特に、ダイナミックレンジの広い画像を得ることができる画像処理装置およびそのプログラムおよびその記録媒体に関する。
【０００２】
【従来の技術】
従来の画像処理装置には、広いダイナミックレンジの画像を得ることができるものもある（例えば、特許文献１参照）。
【０００３】
図９は、従来の画像処理装置の構成図を示す。
【０００４】
図９に示すように、従来の画像処理装置は、１フィールドごとに露光時間の短い画像信号と露光時間の長い画像信号とが撮像素子１から順次出力され、両方の画像信号が所定の処理後に合成されて画像信号となるもので、被写体が撮像素子１により短い露光時間と長い露光時間で撮像され、露光時間の短い画像信号はメモリ２に蓄積される。メモリ２に蓄積された露光時間の短い画像信号は、タイミング制御部９により撮像素子１から出力される露光時間の長い画像信号とタイミングが合わされ、積算部３で露光時間の比が積算されレベル重み付け処理部５に出力される。レベル重み付け処理部５は、積算部３よりの露光時間の短い画像信号に、その画像信号のレベルに合わせて重み付け係数を積算する。一方、レベル重み付け処理部４は、撮像素子１から出力される露光時間の長い画像信号にその画像信号のレベルに合わせて重み付け係数を積算する。レベル重み付け処理部４とレベル重み付け処理部５により重み付けされた露光時間の短い画像信号と露光時間の長い画像信号とは、加算部６にて加算される。露光時間の短い画像信号と露光時間の長い画像信号の読出しのために撮像素子１で通常の読出し速度よりも速い読出しを行っているため、加算部６により加算された画像信号は、加算速度変換部７でモニタなどの出力系の速度に合わせて画像信号速度が変換され、レベル圧縮部８では出力系のダイナミックレンジに合わせて画像信号レベルの高い部分が圧縮され、モニタなどに出力される。
【０００５】
従って、従来の画像処理装置は、被写体の暗い部分では露光時間の長い画像信号を使用し、被写体の明るい部分では露光時間の短い信号を使用し、画像信号の高レベル部は非線形圧縮により圧縮され、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジの画像を得ている。
【０００６】
【特許文献１】
特開平６−１４１２２９号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置は、上記したごとく露光時間の短い画像信号に露光時間の比を積算して露光時間の長い画像信号にレベルを合わせ画像信号の処理を行っているため、処理が複雑で画像信号のビット数が増加し、それに伴い回路規模が増大してしまうという問題があった。
【０００８】
また、画像信号に対する演算回数が多く、処理遅延の増加や、演算誤差の累積により微小な画像情報が欠落するという問題もあった。
【０００９】
さらに、カラー画像信号の場合には、画像信号を輝度信号と色差信号に分け、輝度信号で非線形変化の変化率で色差信号を制御しているため、輝度信号の変化率を求める演算が必要であり、さらに回路規模が増大するという問題があった。
【００１０】
本発明は、このような従来の問題を解決するためになされたもので、広いダイナミックレンジの画像を簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減する画像処理装置およびそのプログラムおよびその記録媒体を提供するものである。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、露光時間の異なる複数の画像信号を入力する画像信号入力部と、前記複数の画像信号のレベル変換係数を演算するレベル変換係数演算部と、前記複数の画像信号の重み付け係数を演算する重み付け係数演算部と、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算する加算部とを備えた構成を有している。
【００１２】
この構成により、レベル変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。
【００１３】
また、本発明の画像処理装置は、前記レベル変換係数演算部が、前記レベル変換係数により、前記複数の画像信号のレベル合わせと、前記複数の画像信号の高レベル部分を圧縮するレベル圧縮とを同時に行う構成を有している。
【００１４】
この構成により、画像信号に対する演算回数を減らし、回路規模が増大することなく的確に簡潔構成とすることができる。
【００１５】
また、本発明の画像処理装置は、前記複数の画像信号からそれぞれ高周波成分を取り出す高周波成分取出部と、前記高周波成分に応じた特性の高周波レベル変換係数を演算する高周波レベル変換係数演算部とを備え、前記加算部は、前記高周波成分に前記高周波レベル変換係数を積算したものを前記レベル変換係数が積算された前記画像信号に加算して、前記重み付け係数を積算する構成を有している。
【００１６】
この構成により、画像の高周波成分を活かしてメリハリを利かせて暗い部分から明るい部分まで広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができる。
【００１７】
また、本発明の画像処理装置は、前記画像信号が複数の色成分信号からなるカラー画像信号のとき、複数の前記カラー画像信号から代表値をそれぞれ算出する代表値算出部を備え、前記代表値から前記レベル変換係数と前記重み付け係数を算出する構成を有している。
【００１８】
この構成により、各色信号成分に対して同一のレベル変換係数を用い、色相の変化のない暗い部分から明るい部分まで広いダイナミックレンジで良質のカラーを回路規模が増大することなく簡潔に得ることができる。
【００１９】
また、本発明の画像処理装置は、前記画像信号入力部が、予め定めた露光時間の画像信号を蓄積し、前記蓄積した画像信号同士のタイミングを合わせて合成し、合成した画像信号を出力する撮像装置からの画像信号を入力する構成を有している。
【００２０】
この構成により、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を容易に得ることができる。
【００２１】
また、本発明の画像処理装置のプログラムは、露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレベル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算する手順を有している。
【００２２】
この手順により、マイクロプロセッサやデジタルシグナルプロセッサで動作させ、広いダイナミックレンジで良質の画像を容易に得ることができる。
【００２３】
また、本発明の画像処理装置のプログラムは、前記レベル変換係数により、前記複数の画像信号のレベル合わせと、前記画像信号の高レベル部分を圧縮するレベル圧縮とを同時に行う手順を有している。
【００２４】
この手順により、画像信号に対する演算回数を減らし、回路規模が増大することなく容易に簡潔にすることができる。
【００２５】
また、本発明の画像処理装置のプログラムは、前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算する手順を有している。
【００２６】
この手順により、的確なレベル変換係数を容易に得ることができる。
【００２７】
また、本発明の画像処理装置の記録媒体は、露光時間の異なる複数の画像信号を入力し、前記複数の画像信号のレベル変換係数を演算し、前記複数の画像信号の重み付け係数を演算し、前記複数の画像信号にそれぞれの前記レベル変換係数と前記重み付け係数とを積算したもの同士を加算するプログラムを記録する。
【００２８】
このプログラムの記録により、マイクロプロセッサやデジタルシグナルプロセッサで動作させ、広いダイナミックレンジで良質の画像を容易に得ることができる。
【００２９】
また、本発明の画像処理装置の記録媒体は、前記レベル変換係数により、前記複数の画像信号のレベル合わせと、前記画像信号の高レベル部分を圧縮するレベル圧縮とを同時に行うプログラムを記録する。
【００３０】
このプログラムの記録により、画像信号に対する演算回数を減らし、容易に画像信号のレベル合わせと高レベル圧縮を同時に実現できる。
【００３１】
さらに、本発明の画像処理装置の記録媒体は、前記レベル変換係数を予め定めたレベル変換係数の特性データにより演算するプログラムを記録する。
【００３２】
このプログラムの記録により、的確なレベル変換係数を容易に得ることができる。
【００３３】
【本発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３４】
図１は、本発明の第１の実施の形態の画像処理装置のブロック図を示す。
【００３５】
図１に示すように、本発明の第１の実施の形態の画像処理装置は、露光時間の長い画像の画像信号（以下、ロング画像信号と称する）と露光時間の短い画像の画像信号（以下、ショート画像信号と称する）とを入力する画像信号入力部１１と、ロング画像信号のレベル変換係数演算部１２と、ショート画像信号のレベル変換係数演算部１３と、画像信号の重み付け係数を演算する重み付け係数演算部１４と、重み付け係数演算部１４の出力とロング画像信号のレベル変換係数演算部１２の出力とを積算する積算部１５ａと、重み付け係数演算部１４の出力とショート画像信号のレベル変換係数演算部１３の出力とを積算する積算部１５ｂと、積算部１５ａの出力と画像信号入力部１１よりの画像信号とを積算する積算部１６ａと、積算部１５ｂの出力と画像信号入力部１１よりの画像信号とを積算する積算部１６ｂと、積算部１６ａの出力と積算部１６ｂの出力とを合成するため加算する加算部１７から構成されている。
【００３６】
次に、本発明の第１の実施の形態の画像処理装置の動作につき説明する。
【００３７】
画像信号入力部１１は、露光時間の異なる同じ被写体の複数の画像の画像信号が同時に処理されるように同時化された画像信号を入力する。画像信号入力部１１よりの複数の画像信号のうちのロング画像信号は、ロング画像信号のレベル変換係数演算部１２に入力し、ロング画像信号のレベル変換係数が演算される。同様に、ショート画像信号もショート画像信号のレベル変換係数演算部１３に入力し、ショート画像信号のレベル変換係数が演算される。このロングとショートの画像信号のレベル変換係数の演算方法については後述することとする。
【００３８】
重み付け係数演算部１４では、ロング画像信号のレベルを元にロング画像信号とショート画像信号の重み付け係数をそれぞれ演算する。この重み付け係数の演算方法については後述することとする。
【００３９】
ロング画像信号のレベル変換係数演算部１２で演算されたロング画像信号のレベル変換係数と、重み付け係数演算部１４で演算された重み付け係数とは積算部１５ａで積算された後、画像信号入力部１１よりの画像信号に積算部１６ａで積算され、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたロング画像信号となる。同じく、ショート画像信号のレベル変換係数演算部１３で演算されたショート画像信号のレベル変換係数と、重み付け係数演算部１４で演算された重み付け係数とは積算部１５ｂで積算された後、画像信号入力部１１よりの画像信号に積算部１６ｂで積算され、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数により重み付けがされたショート画像信号となる。
【００４０】
加算部１７では、積算部１６ａ、１６ｂよりのロング画像信号とショート画像信号を加算し、画像信号をモニタなどに出力する。
【００４１】
続いて、ロング画像信号とショート画像信号のレベル変換係数の演算方法について説明する。
【００４２】
図２は、被写体輝度に対する画像信号のグラフを示し、横軸は被写体輝度、縦軸は画像信号レベルを示している。
【００４３】
図２に示すように、ロング画像信号２１は、被写体輝度が高い部分では飽和レベル２３で飽和しており、ショート画像信号２２は、ロング画像信号２１に対して露光時間比の分だけ傾きが小さいことが分かる。つまり、被写体輝度が高い被写体の明るい部分のロング画像信号２１の画像は白く飛んだ画像となり、被写体輝度が低い被写体の暗い部分のショート画像信号２２の画像は暗くてはっきりしない画像となることが分かる。
【００４４】
そこで、本発明の第１の実施の形態の画像処理装置は、明るい部分から暗い部分まで良質の画質を得るために、ロング画像信号２１とショート画像信号２２の両方の画像信号を被写体の明るさに応じて合成する。ロング画像信号２１とショート画像信号２２とを合成するために画像信号レベルの合わせを行うが、レベル合わせのためにショート画像信号２２を露光時間比倍した画像信号２４は、画像信号２４のレンジが大きくなるためビット数が増加したものとなり、画像信号の例えばモニタなどの出力先のビット数は限られているため、所定のビット数に収める処理が必要となる。
【００４５】
そこで、画像信号の高レベル部を非線形に圧縮するレベル圧縮を行い、画像信号のビット数の圧縮を行う。
【００４６】
図３は、ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフを示す。
【００４７】
図３の（ａ）は、ロング画像信号に対するレベル圧縮関数の特性データのグラフを示す。
【００４８】
ロング画像信号のレベル圧縮関数３１をＦロング（Ｘ）とすると、このＦロング（Ｘ）の算出値Ｙは、（式１）として表すことができる。
Ｙ＝Ｆロング（Ｘ）      （式１）
Ｘ：入力画像信号
レベル圧縮関数３１は、ロング画像信号の低レベルの部分がブーストし、ロング画像信号の高レベルの部分は抑圧するような特性を自由に設定可能であり、これにより、画像信号レベルの低い部分つまり画像の暗い部分は強調されて見やすくなり、信号レベルの高い部分は信号飽和レベル以下に圧縮される。
【００４９】
また、被写体や用途に合わせて、レベル圧縮関数の特性をＳ字状にすることで、中間レベルの信号をより見やすくすることも可能であり、被写体の状態に合わせてマイコンなどで適応的にレベル圧縮関数３１の特性を制御することが可能であり、良好の画質とすることができる。
【００５０】
図３の（ｂ）は、ロング画像信号に対するレベル変換係数の特性データのグラフを示す。
【００５１】
レベル変換係数３２をＡロング（Ｘ）とすると、Ａロング（Ｘ）は、レベル圧縮関数３１のＦロング（Ｘ）に対して（式２）として表すことができる。
Ａロング（Ｘ）＝Ｆロング（Ｘ）／Ｘ      （式２）
（式３）に表すように、ロング画像信号にレベル変換係数３２を積算すると、レベル圧縮関数３１を用いたときと同じ結果を得ることができる。
Ａロング（Ｘ）＊Ｘ＝Ｆロング（Ｘ）／Ｘ＊Ｘ＝Ｙ      （式３）
つまり、ロング画像信号にレベル変換係数３２を積算することで、信号の高レベル部の圧縮を行うことができる。
【００５２】
図３の（ｃ）は、ショート画像信号に対するレベル圧縮関数の特性データのグラフを示す。
【００５３】
ロング画像信号の場合と同様に、ショート画像信号のレベル圧縮関数３３をＦショート（Ｘ）とすると、このＦショート（Ｘ）の算出値Ｙは、（式４）として表すことができる。
Ｙ＝Ｆショート（Ｘ）      （式４）
ここで、Ｆショート（Ｘ）は、（式５）を用いることで、レベル圧縮と同時にロング画像信号とショート画像信号のレベル合わせを行うことができる。
Ｆショート（Ｘ）＝Ｆロング（Ｘ＊Ｎ）      （式５）
Ｎ：露光時間の比率
図３の（ｄ）は、ショート画像信号に対するレベル変換係数の特性データのグラフを示す。
【００５４】
ロング画像信号の場合と同様に、ショート画像信号のレベル変換係数３４は、レベル圧縮関数３３のＦショート（Ｘ）に対して（式６）として表すことができる。
Ａショート（Ｘ）＝Ｆショート（Ｘ）／Ｘ      （式６）
（式７）に示すように、ショート画像信号にレベル変換係数３４を積算すると、レベル圧縮関数３３を用いた時と同じ結果を得ることができる。
Ａショート（Ｘ）＊Ｘ＝Ｆショート（Ｘ）／Ｘ＊Ｘ＝Ｙ      （式７）
つまり、ショート画像信号にレベル変換係数３４を積算することで、レベル圧縮と同時にロング画像信号とショート画像信号のレベル合わせを行うことができる。
なお、図３の（ｂ）と図３の（ｄ）とに示したレベル変換係数３２、３４は予めマイコンなどで計算し、テーブルとしてメモリなどに記録しておき、入力画像信号レベルでテーブルを参照することで、対応するレベル変換係数３２、３４を得ることができる。
【００５５】
また、図３の（ｂ）と図３（ｄ）とに示したレベル変換係数３２、３４の代表点を選び、代表点のみをテーブルとしてメモリなどに記録しておき、代表点の間は線形補間などで補完することも可能であり、この方法はメモリ削減の点でも好ましいものとなる。
【００５６】
図４は、画像信号に図３に示した変換係数を積算したときの特性のグラフを示し、横軸はレベル変換前の入力画像信号であり、縦軸はレベル変換後の出力画像信号である。ロング画像信号４１とショート画像信号４２ともに、入力が低レベルの部分は出力がブーストされており、入力が高レベルの部分は出力が抑圧されている。また、ロング画像信号４１とショート画像信号４２は、互いに入力が低レベルの部分で一致していることが分かる。
【００５７】
さらに、画像信号の重み付け係数の演算方法について説明する。
【００５８】
図５は、図１に示す重み付け係数演算部１４で演算される重み付け係数を示す。
【００５９】
重み付け係数演算部１４では、ロング画像信号の入力レベルに応じてロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２を定める。入力レベルが低い部分ではロング画像信号の重み付け係数５１を大きく、入力レベルが大きい部分ではショート画像信号の重み付け係数５２を大きくする。
【００６０】
これにより、被写体の暗い部分でノイズによる画質劣化の少ないロング画像信号を使用し、明るい部分では飽和していないショート画像信号を使用することで、良質の画質を得ることができる。
【００６１】
また、ロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２の和を常に１に保ちつつ、信号レベルに従ってロング画像信号の重み付け係数５１とショート画像信号の重み付け係数５２を変化させることで、重み付け係数を積算した画像信号を加算したときにレベル変動がなく、複数の画像信号を信号レベルに従った比率で滑らかに合成することができる。
【００６２】
さらに、画像信号乗り換え開始レベル５３と、画像信号乗り換えの傾き５４は可変とすることで、様々な条件の画像に対応することができる。
【００６３】
なお、本発明の第１の実施の形態の画像処理装置は、ロング画像信号とショート画像信号とをそれぞれ別々に処理することとしたが、ロング画像信号とショート画像信号とで行われる処理はレベル変換係数の値を除いて同じであるため、処理系を１つにして、画像信号を２倍速化してロング画像信号とショート画像信号を時分割信号としてレベル変換係数の値のみを切替えるようにし、重み付け係数演算部１４にはロング画像信号のみが入力されるようスイッチングし、加算部１７にて画像信号同士を加算処理する部分で速度変換を行うこともでき、回路規模の点から好ましいものとすることができる。
【００６４】
また、本発明の第１の実施の形態の画像処理装置は、露光時間の異なる２つの画像信号につき説明したが、３つ以上の異なる露光時間の画像信号を用いても同様の処理を行うことができ、以下の実施の形態の画像処理装置でも同様である。
【００６５】
以上のように、本発明の第１の実施の形態の画像処理装置は、レベル変換係数による画像信号のレベル合わせとレベル圧縮と、重み付け係数による重み付けにより、画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに、レベル変換係数と重み付け係数を積算することで画像信号に対する演算回数が少なく、処理遅延や、演算誤差の累積による微小な画像情報の欠落を低減することができる。
【００６６】
また、レベル変換係数を用いることで画像信号のレベル合わせと高レベル部のレベル圧縮とを同時に行うことができ、画像信号のレベル合わせの積算によるビット数増加に伴う回路規模の増大を容易に避けることができる。
【００６７】
図６は、本発明の第２の実施の形態の画像処理装置のブロック図を示す。
【００６８】
図６に示すように、本発明の第２の実施の形態の画像処理装置は、画像信号の高周波を取り出す高周波成分取出部であるＨＰＦ（ハイパスフィルタ）６５ａ、６５ｂと、ショート画像信号の高周波レベル変換係数演算部６６と、ロング画像信号の高周波レベル変換係数演算部６７とを本発明の第１の実施の形態の画像処理装置に追加した構成となっている。
【００６９】
以下、本発明の第１の実施の形態の画像処理装置との相違点につき説明する。
【００７０】
ＨＰＦ６５ａでは、入力されたロング画像信号の高周波成分を抽出し、ＨＰＦ６５ｂでは、入力されたショート画像信号の高周波成分を抽出する。高周波レベル圧縮係数演算部６６はショート画像信号の高周波成分を入力として、高周波レベル変換係数を求める。ここで、予め演算しておく高周波レベル変換係数のテーブルは、ショート画像信号のレベル変換係数と異なった、高周波成分に適した特性、例えば高レベル部分の圧縮をあまり行わないような特性を持たせておくことで、後に全ての画像信号を加算したときに高周波成分が残り、メリハリのある画像を得ることができる。
【００７１】
高周波レベル圧縮係数演算部６７も同様にロング画像信号の高周波成分を入力として、高周波レベル変換係数を求め、レベル変換係数にはロング画像信号のレベル変換係数とは異なった高周波成分に適した特性、例えば高レベル部分の圧縮をあまり行わないような特性を持たせておく。
【００７２】
加算部７０ａは、積算部６８ａでレベル変換係数演算部６２よりのレベル変換係数が積算された画像信号入力部６１よりのロング画像信号と、積算部６９ａで高周波レベル変換係数演算部６７よりの高周波レベル変換係数が積算されたＨＰＦ６５ａよりの高周波成分のロング画像信号とを加算して合成する。
【００７３】
同様に、加算部７０ｂは、積算部６８ｂでレベル変換係数演算部６３よりのレベル変換係数が積算された画像信号入力部６１よりのショート画像信号と、積算部６９ｂで高周波レベル変換係数演算部６６よりの高周波レベル変換係数が積算されたＨＰＦ６５ｂよりの高周波成分のショート画像信号とを加算して合成する。
【００７４】
加算部７２は、加算部７０ａよりの合成されたロング画像信号に積算部７１ａで重み付けがされたロング画像信号と、加算部７０ｂよりの合成されたショート画像信号に積算部７１ｂで重み付けがされたショート画像信号とを加算する。加算部７２で加算された画像信号はモニタなどに出力され画像表示が行われる。
【００７５】
以上のように、本発明の第２の実施の形態の画像処理装置は、画像信号の高周波成分を取り出し、高周波成分に適した特性の高周波レベル変換係数を積算することで、従来のように画像信号レベル合わせによるビット数増加に伴う回路規模の増加なしに、画像信号の高周波成分によるメリハリの利いた広いダイナミックレンジの良質の画像を得ることができる。
【００７６】
図７は、本発明の第３の実施の形態の画像処理装置のブロック図を示す。
【００７７】
本発明の第３の実施の形態の画像処理装置は、カラー画像の処理を行うもので、図７に示すように、ロング画像信号の代表値算出部８２ａと、ショート画像信号の代表値算出部８２ｂとを本発明の第１の実施の形態の画像処理装置に追加した構成となっている。
【００７８】
以下、本発明の第１の実施の形態の画像処理装置との相違点につき説明する。
【００７９】
カラー画像を扱う場合、画像データはレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）の原色信号か、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、イエロー（Ｙｅ）の補色信号として入力されることが一般的である。各色成分の画像信号はそれぞれ画像信号レベルが異なるため、第１の実施の形態をそのまま実施した場合、非線形変換によってそれぞれの色成分の画像信号の比率が変わってしまい、色相が変化してしまうことがある。
【００８０】
本発明の第３の実施の形態の画像処理装置は、代表値算出部８２ａ、８２ｂが各色成分の画像信号から代表値を算出し、代表値としては、補色信号においては輝度値となる平均値や、最大値を算出する。原色データの画像信号の場合には、輝度値は、一般的な（式８）により算出し、代表値とすることができる。
輝度値＝０．３＊Ｒ＋０．６＊Ｇ＋０．１＊Ｂ      （式８）
代表値算出部８２ａ、８２ｂにて算出された、ロング画像信号とショート画像信号の各々の代表値を入力としてロング画像信号のレベル変換係数演算部８３と画像信号のレベル変換係数演算部８４でそれぞれレベル変換係数を求める。また、重み付け係数演算部８５への入力も、代表値算出部８２ａにて算出されたロング画像信号の代表値とする。以降、本発明の第１の実施の形態の画像処理装置と同様に、元の各々の色成分の画像信号にレベル変換係数と重み付け係数が積算されたもの同士が加算される。
【００８１】
以上のように、本発明の第３の実施の形態の画像処理装置は、入力された色成分の各画像信号に、代表値により求められた同じ係数が積算されるため、各色成分の比率が変化することはなく、画像信号レベル合わせによるビット数増加に伴う回路規模の増加や、画像信号の変化率を得るための割り算処理なしに、色相の変化のない広いダイナミックレンジの良質のカラー画像を得ることができる。
【００８２】
図８は、本発明の実施の形態の画像処理装置に用いられる撮像装置のブロック図を示す。
【００８３】
本発明の実施の形態の画像処理装置に用いられる撮像装置は、撮像素子９１と、撮像素子９１よりのアナログ画像信号の画像処理を行うアナログ処理部９２と、アナログ画像信号をディジタル画像信号に変換するＡＤ変換部９３と、ディジタル画像信号の画像処理を行う画像信号処理ユニット９４から構成されている。画像信号処理ユニット９４は、画像信号の同時化を行うためのタイミング制御部９５と、メモリ９６と、ロング画像信号とショート画像信号を合成する画像信号合成部９７と、画像処理部９８から構成されている。
【００８４】
撮像素子９１は固体撮像素子（ＣＣＤやＣＭＯＳ）のセンサで構成され、光を電気信号に変換する。画像信号はアナログ処理部９２で、相関２重サンプリング（ＣＤＳ）や自動振幅制御（ＡＧＣ）といった処理を行った後、ＡＤ変換部９３にてディジタル化され、画像信号処理部ユニット９４に入力する。
【００８５】
タイミング制御部９５は、メモリ９６を使用して画像信号を一旦記録し、ロング画像信号とショート画像信号との同じ被写体の画像信号が同時処理されるように両者のタイミングを合わせ、ロング画像信号とショート画像信号との合成を行い、その後画像処理部９８で合成した画像信号の画像信号処理を行って出力する。
【００８６】
また、露光時間の異なる複数の画像信号を得るために、撮像素子９１とアナログ処理部９２とＡＤ変換部９３とを露光時間の異なる画像の個数倍の速度で動かし、画像データをタイミング制御部９５により一旦メモリ９６に記録しておき、他の画像信号とタイミングを合わせて読み出すことを行っている。
【００８７】
そのため、画面の単位で露光時間を切替える場合には、（式９）のメモリ容量が必要となり、
2004266347.tif 000003
行の単位で露光時間を切替える場合には、（式１０）のメモリ容量が必要となる。
2004266347.tif 000004
また、撮像素子９１とアナログ処理部９２とＡＤ変換部９３とを複数系列用意し、タイミング制御部９５とメモリ９６による画像信号の同時化が必要ない構成にすることもできる。
【００８８】
また、撮像系を複数にすることで撮像した複数の画像間に時間的なずれがない構成とすることもできる。
【００８９】
さらに、画像信号の周波数特性を変えずに画像信号レベルを抑える光量制限フィルタ（以下、ＮＤフィルタと称する）を撮像素子９１に市松状またはストライプ状に配置することで、露光時間を変化させる方法と同様の明るさの異なる複数の画像を得ることもできる。この場合には、高輝度画像と低輝度画像の画素がＮＤフィルタにより交互に出力されるため、時間的なずれを少なくでき、かつタイミング制御部９５による同時化も容易にすることができる。
【００９０】
以上のように、上記した撮像装置を本発明の実施の形態の画像処理装置に用いることにより、明るさの異なる複数の画像を撮像し、それらを合成する構成により、暗い部分の黒つぶれや、明るい部分の白飛びのない、良質の画像を得ることのできる広いダイナミックレンジの画像を得ることができる。
【００９１】
なお、上記の実施の形態では、本発明に関する画像処理装置について説明したが各処理を手順として画像処理装置のプログラムとし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。
【００９２】
また、このプログラムを記憶する画像処理装置の記憶媒体とし、広いダイナミックレンジで良質の画像を容易に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することもできる。
【００９３】
【発明の効果】
以上説明したように、本発明によれば、露光時間の異なる複数の画像信号を入力し、レベル変換と重み付けを同時に行う変換係数を用いることで画像信号に対する演算回数を減らし、暗い部分の黒つぶれや明るい部分の白飛びのない、広いダイナミックレンジで良質の画像を回路規模が増大することなく簡潔に得ることができ、さらに処理遅延や演算誤差の累積を減少し、微小な画像情報の欠落を低減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の画像処理装置のブロック図
【図２】被写体輝度に対する画像信号のグラフの図
【図３】ロング画像信号とショート画像信号とに対するレベル圧縮関数とレベル変換係数の特性データのグラフの図
【図４】画像信号に図３に示した変換係数を積算したときの特性のグラフの図
【図５】図１に示す重み付け係数演算部で演算される重み付け係数を示す図
【図６】本発明の第２の実施の形態の画像処理装置のブロック図
【図７】本発明の第３の実施の形態の画像処理装置のブロック図
【図８】本発明の実施の形態の画像処理装置に用いられる撮像装置のブロック図
【図９】従来の画像処理装置の構成図
【符号の説明】
１１、６１、８１  画像信号入力部
１２、６２、８３  ロング画像信号のレベル変換係数演算部
１３、６３、８４  ショート画像信号のレベル変換係数演算部
１４、６４、８５  重み付け係数演算部
１５ａ、１５ｂ、１６ａ、１６ｂ、６８ａ、６８ｂ、６９ａ、６９ｂ、７１ａ、７１ｂ  積算部
１７、７０ａ、７０ｂ、７２  加算部
２１、４１  ロング画像信号
２２、４２  ショート画像信号
３１  ロング画像信号のレベル圧縮関数
３２  ロング画像信号のレベル変換係数
３３  ショート画像信号のレベル圧縮関数
３４  ショート画像信号のレベル変換係数
５１  ロング画像信号の重み付け係数
５２  ショート画像信号の重み付け係数
６５ａ、６５ｂ  ＨＰＦ
６６  ロング画像信号の高周波レベル変換係数演算部
６７  ショート画像信号の高周波レベル変換係数演算部
８２ａ、８２ｂ  代表値算出部
９１  撮像素子
９２  アナログ処理部
９３  ＡＤ変換部
９４  画像信号処理ユニット
９５  タイミング制御部
９６  メモリ
９７  画像信号合成部
９８  画像処理部
【図１】
2004266347.tif 000005
【図２】
2004266347.tif 000006
【図３】
2004266347.tif 000007
【図４】
2004266347.tif 000008
【図５】
2004266347.tif 000009
【図６】
2004266347.tif 000010
【図７】
2004266347.tif 000011
【図８】
2004266347.tif 000012
【図９】
2004266347.tif 000013