(57)【要約】      （修正有）【課題】画像のダイナミックレンジの圧縮や、コントラストの強調処理によって生じる出力画像の遅延を減らし、実時間で処理画出力を得られるようにする。【解決手段】非線形平滑化部２１により非線形平滑化された画像信号Ｓhｖと非線形平滑化される前の画像信号Ｙを遅延補正部２２により混合することにより遅延補正した画像信号Ｓhｖ’を生成し、この画像信号Ｓhｖ’を元に圧縮処理用のゲイン補正係数ｇdcを算出するとともに、上記遅延補正された画像信号Ｓhv’と上記平滑化前の遅延のない入力信号Ｙの差分に階調変換を施し、元の画像信号に加える差分信号強調を行うコントラスト強調処理用の各ゲイン補正係数ｇdc，ｇccを乗算することにより圧縮・強調処理用のゲイン係数Ｇ’を得て、３チャンネルの圧縮・強調処理を施した画像信号Ｒout’，Ｇout’，Ｂout’を得る。【選択図】図２
2006157451.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、
上記混合手段により混合された画像信号を元にゲイン補正係数を算出する補正係数算出手段と、
上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する圧縮処理手段を備えることを特徴とする画像処理装置。
【請求項２】
入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、
上記混合手段により混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える差分信号強調手段を備えることを特徴とする画像処理装置。
【請求項３】
入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、
上記混合手段により混合された画像信号を元にゲイン補正係数を算出する補正係数算出手段と、
上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する圧縮処理手段と、
上記混合手段により混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える差分信号強調手段を備えることを特徴とする画像処理装置。
【請求項４】
入力画像の信号レベルが変化するエッジ成分を保存したまま上記入力画像の画素値を水平及び垂直方向に非線形平滑化し、
上記非線形平滑化された画像信号を上記入力画像信号とを混合し、
上記混合された画像信号を元にゲイン補正係数を算出し、
上記入力画像信号に上記ゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮することを特徴とする画像処理方法。
【請求項５】
入力画像の信号レベルが変化するエッジ成分を保存したまま上記入力画像の画素値を水平及び垂直方向に非線形平滑化し、
上記非線形平滑化された画像信号を上記入力画像信号とを混合し、
上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えることを特徴とする画像処理方法。
【請求項６】
入力画像の信号レベルが変化するエッジ成分を保存したまま上記入力画像の画素値を水平及び垂直方向に非線形平滑化し、
上記非線形平滑化された画像信号を上記入力画像信号とを混合し、
上記混合された画像信号を元にゲイン補正係数を算出し、
上記入力画像信号に上記ゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮するとともに、上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えることを特徴とする画像処理方法。
【請求項７】
入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、
上記混合手段により混合された画像信号を元にゲイン補正係数を算出する第１の補正係数算出手段と、
上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第１の圧縮処理手段と、
上記入力画像信号を一時記憶する記憶手段と、
上記入力画像信号を元にゲイン補正係数を算出する第２の補正係数算出手段と、
上記記憶手段から読み出される入力画像信号に上記第２の補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第２の圧縮処理手段を備えることを特徴とする画像処理装置。
【請求項８】
入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、
上記混合手段により混合された画像信号と上記入力画像の差分に階調変換を施し、元の平滑化されていない画像信号に加える第１の差分信号強調手段と、
上記入力画像信号を一時記憶する記憶手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記記憶手段から読み出される入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える第２の差分信号強調手段を備えることを特徴とする画像処理装置。
【請求項９】
入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、
上記混合手段により混合された画像信号を元にゲイン補正係数を算出する第１の補正係数算出手段と、
上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第１の圧縮処理手段と、
上記混合手段により混合された画像信号と上記入力画像の差分に階調変換を施し、元の平滑化されていない画像信号に加える第１の差分信号強調手段と、
上記入力画像信号を一時記憶する記憶手段と、
上記入力画像信号を元にゲイン補正係数を算出する第２の補正係数算出手段と、
上記記憶手段から読み出される入力画像信号に上記第２の補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第２の圧縮処理手段と、
上記非線形平滑化手段により非線形平滑化された画像信号と上記記憶手段から読み出される入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える第２の差分信号強調手段を備えることを特徴とする画像処理装置。
【請求項１０】
入力画像信号を一時記憶するとともに、上記入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化し、
上記入力画像信号を元にゲイン補正係数を算出して上記一時記憶した入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮して出力するとともに、
上記非線形平滑化された画像信号と上記入力画像信号とを混合した画像信号を元にゲイン補正係数を算出して上記入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮して出力することを特徴とする画像処理方法。
【請求項１１】
入力画像信号を一時記憶するとともに、上記入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化し、
上記非線形平滑化された画像信号と上記一時記憶した入力画像信号の差分に階調変換を施し、元の平滑化されていない画像に加えて出力するとともに、
上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えて出力することを特徴とする画像処理方法。
【請求項１２】
入力画像信号を一時記憶するとともに、上記入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化し、
上記入力画像信号を元にゲイン補正係数を算出して上記一時記憶した入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮するとともに、上記非線形平滑化された画像信号と上記一時記憶した入力画像信号の差分に階調変換を施し、元の平滑化されていない画像に加えて出力するとともに、
上記非線形平滑化された画像信号と上記入力画像信号とを混合した画像信号を元にゲイン補正係数を算出して上記入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮するとともに、上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えて出力することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、例えばビデオカメラ、電子スチルカメラ等における撮像結果の処理、記録、液晶表示装置等における画像表示、パーソナルコンピュータ等による画像処理、画像合成、さらにはこれらによる画像の伝送に適用される。
【背景技術】
【０００２】
従来、撮像装置等の種々の画像処理回路においては、画像のダイナミックレンジを圧縮して記録、再生等の種々の処理を実行するようになされている。
【０００３】
このようなダイナミックレンジを圧縮する処理としては、画像全体の階調を補正する方法と、画像の低周波数成分についてのみ階調を補正する方法とがあり、前者においては、ガンマ補正、ニー補正、さらにはいわゆるヒストグラム等価等により階調を補正してダイナミックレンジを圧縮するようになされている。これに対して後者においては、ガンマ補正、ニー補正等によりダイナミックレンジを圧縮するようになされている。
【０００４】
また、画像のダイナミックレンジを効果的に圧縮する手法として、画像信号の信号レベルが変化するエッジ成分は保存したままエッジ以外の部分を平滑化し、その平滑化されたレベルに応じて画像信号のダイナミックレンジの圧縮比を決め、それに応じて画像信号のダイナミックレンジを圧縮する手法がある（例えば、特許文献１参照）。
【０００５】
さらに、画像信号の信号レベルが変化するエッジ成分は保存したままエッジ以外の部分を平滑化し、その平滑化されたレベルに応じて画像のコントラストの強調量を決め、それに応じて画像のコントラストを強調する手法もある（例えば、特許文献２参照）。
【０００６】
これらの手法では、画像のダイナミックレンジ圧縮時は、平滑化された画像を制御信号としているため、画像の細かい振幅成分が圧縮されずに保たれた視認性の良いダイナミックレンジ圧縮画像を得ることができ、また画像のコントラスト強調時は、画像の細かい振幅成分がより強調された視認性の良いコントラスト強調画像を得ることができる。
例えば図６に示すように、画像の圧縮・強調処理を行う従来の画像処理装置２００では、３チャンネルの入力画像信号Ｒin，Ｇin，Ｂinがフレームメモリ３０１Ｒ，３０１Ｇ，３０１Ｂと圧縮・強調処理用の係数生成部３１０に供給され、上記係数生成部３１０により入力画像信号Ｒin，Ｇin，Ｂinに基づいて圧縮・強調処理用の係数Ｇを生成し、３チャンネルの乗算器３０２Ｒ，３０２Ｇ，３０２Ｂにより上記係数Ｇを上記フレームメモリ３０１Ｒ，３０１Ｇ，３０１Ｂから読み出される遅延画像信号Ｒin’，Ｇin’，Ｂin’に乗算することにより、圧縮・強調処理を施した画像信号Ｒout，Ｇout，Ｂoutを得るようにしている。
【０００７】
上記係数生成部３１０では、入力画像信号Ｒin，Ｇin，ＢinがＲＧＢ合成部３１１で混合され１チャンネルの輝度信号Ｙとされ、輝度信号Ｙは水平方向平滑化部３１２で非線形フィルタにより信号レベルが変化するエッジ成分が保存されたまま水平方向に平滑化されてフレームメモリ３１３に蓄えられる。このフレームメモリ３１３に蓄えられた信号Ｓhは該フレームメモリ３１３から垂直方向に読み出され、垂直方向平滑化部３１４で水平方向と同様の非線形フィルタにより信号レベルが変化するエッジ成分が保存されたまま垂直方向に平滑化されてフレームメモリ３１５に蓄えられる。そして、このフレームメモリ３１５に蓄えられた信号Ｓhvは、該フレームメモリ３１５からは水平方向に読み出されて、ゲイン算出部３１６にてダイナミックレンジ圧縮用のゲインあるいはコントラスト強調用のゲインを示す係数Ｇに変換される。
【０００８】
一方、入力画像信号Ｒin，Ｇin，Ｂinは、上記水平および垂直方向のフィルタ処理に要する遅延が付いた係数Ｇと位相を合わせるため、係数Ｇ算出のすべての処理が終わるまでの間、それぞれフレームメモリ３０１Ｒ，３０１Ｇ，３０１Ｂに蓄えられており、上記係数生成部３１０における全平滑化処理が終了し係数Ｇが算出されると、そのタイミングに合わせてフレームメモリ３０１Ｒ，３０１Ｇ，３０１Ｂから遅延画像信号Ｒin’，Ｇin’，Ｂin’として水平方向に読み出される。
【０００９】
そして、３チャンネルの乗算器３０２Ｒ，３０２Ｇ，３０２Ｂにより上記係数Ｇが上記遅延画像信号Ｒin’，Ｇin’，Ｂin’に乗算されることにより、圧縮・強調処理が施された画像信号Ｒout，Ｇout，Ｂoutが得られる。
【００１０】
【特許文献１】特開２００１−２７５０１５号公報
【特許文献２】特開２００１−２９８６２１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、上記特許文献１や特許文献２に開示された手法では、画像信号の信号レベルが変化するエッジ成分は保存したままエッジ以外の部分を平滑化際に、画像を十分に平滑化する必要があるため、画像に対して比較的タップ数の大きな水平、垂直フィルタをかける必要がある。そのためこの手法を採用した画像処理装置では、処理の開始から終了までの間にこの大きな平滑化フィルタを通すことによって遅延が生じ、出力される画像に比較的大きな遅延が付いてしまっていた。この出力画像の遅延は、撮像装置においては、特に焦点合わせや被写体の追跡などリアルタイム性が要求される操作において、追従性の低下により操作性が悪化するという問題があった。
【００１２】
例えば、上記図６示した構成の従来の画像処理装置２００では、フレームメモリ３０１Ｒ，３０１Ｇ，３０１Ｂでの蓄積時間分がそのまま画像出力の遅延となるため、輝度信号の処理における水平→垂直の並べ替えの分と、垂直→水平の並べ替えの分の、合わせて２フレーム分（インターレースビデオのときは２フィールド分）程度の遅延が画像信号Ｒout，Ｇout，Ｂoutに生じる。
【００１３】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、画像のダイナミックレンジを圧縮したり、画像のコントラストをする際に、それら圧縮、強調処理によって本来生じる出力画像の遅延を減らし、実時間で処理画出力を得られるようにすることにある。
【００１４】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１５】
本発明に係る画像処理装置は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、上記混合手段により混合された画像信号を元にゲイン補正係数を算出する補正係数算出手段と、上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する圧縮処理手段を備えることを特徴とする。
【００１６】
また、本発明に係る画像処理装置は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、上記混合手段により混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える差分信号強調手段を備えることを特徴とする。
【００１７】
さらに、本発明に係る画像処理装置は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、上記混合手段により混合された画像信号を元にゲイン補正係数を算出する補正係数算出手段と、上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する圧縮処理手段と、上記混合手段により混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える差分信号強調手段を備えることを特徴とする。
【００１８】
本発明に係る画像処理方法は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像の画素値を水平及び垂直方向に非線形平滑化し、上記非線形平滑化された画像信号を上記入力画像信号とを混合し、上記混合された画像信号を元にゲイン補正係数を算出し、上記入力画像信号に上記ゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮することを特徴とする。
【００１９】
また、本発明に係る画像処理方法は、入力画像の信号レベルが変化するエッジ成分を保存したまま上記入力画像の画素値を水平及び垂直方向に非線形平滑化し、上記非線形平滑化された画像信号を上記入力画像信号とを混合し、上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えることを特徴とする。
さらに、本発明に係る画像処理方法は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像の画素値を水平及び垂直方向に非線形平滑化し、上記非線形平滑化された画像信号を上記入力画像信号とを混合し、上記混合された画像信号を元にゲイン補正係数を算出し、上記入力画像信号に上記ゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮するとともに、上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えることを特徴とする。
【００２０】
本発明に係る画像処理装置は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、上記混合手段により混合された画像信号を元にゲイン補正係数を算出する第１の補正係数算出手段と、上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第１の圧縮処理手段と、上記入力画像信号を一時記憶する記憶手段と、上記入力画像信号を元にゲイン補正係数を算出する第２の補正係数算出手段と、上記記憶手段から読み出される入力画像信号に上記第２の補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第２の圧縮処理手段を備えることを特徴とする。
【００２１】
また、本発明に係る画像処理装置は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、上記混合手段により混合された画像信号と上記入力画像の差分に階調変換を施し、元の平滑化されていない画像信号に加える第１の差分信号強調手段と、上記入力画像信号を一時記憶する記憶手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記記憶手段から読み出される入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える第２の差分信号強調手段を備えることを特徴とする。
【００２２】
さらに、本発明に係る画像処理装置は、入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化する非線形平滑化手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記入力画像信号とを混合する混合手段と、上記混合手段により混合された画像信号を元にゲイン補正係数を算出する第１の補正係数算出手段と、上記入力画像信号に上記補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第１の圧縮処理手段と、上記混合手段により混合された画像信号と上記入力画像の差分に階調変換を施し、元の平滑化されていない画像信号に加える第１の差分信号強調手段と、上記入力画像信号を一時記憶する記憶手段と、上記入力画像信号を元にゲイン補正係数を算出する第２の補正係数算出手段と、上記記憶手段から読み出される入力画像信号に上記第２の補正係数算出手段により算出されたゲイン補正係数を乗算することにより、上記入力画像信号のダイナミックレンジを圧縮する第２の圧縮処理手段と、上記非線形平滑化手段により非線形平滑化された画像信号と上記記憶手段から読み出される入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加える第２の差分信号強調手段を備えることを特徴とする。
【００２３】
本発明に係る画像処理方法は、入力画像信号を一時記憶するとともに、上記入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化し、上記入力画像信号を元にゲイン補正係数を算出して上記一時記憶した入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮して出力するとともに、上記非線形平滑化された画像信号と上記入力画像信号とを混合した画像信号を元にゲイン補正係数を算出して上記入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮して出力することを特徴とする。
【００２４】
また、本発明に係る画像処理方法は、入力画像信号を一時記憶するとともに、上記入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化し、上記非線形平滑化された画像信号と上記一時記憶した入力画像信号の差分に階調変換を施し、元の平滑化されていない画像に加えて出力するとともに、上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えて出力することを特徴とする。
【００２５】
さらに、本発明に係る画像処理方法は、入力画像信号を一時記憶するとともに、上記入力画像信号の信号レベルが変化するエッジ成分を保存したまま上記入力画像信号を水平及び垂直方向に非線形平滑化し、上記入力画像信号を元にゲイン補正係数を算出して上記一時記憶した入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮するとともに、上記非線形平滑化された画像信号と上記一時記憶した入力画像信号の差分に階調変換を施し、元の平滑化されていない画像に加えて出力するとともに、上記非線形平滑化された画像信号と上記入力画像信号とを混合した画像信号を元にゲイン補正係数を算出して上記入力画像信号に乗算することにより、上記入力画像信号のダイナミックレンジを圧縮するとともに、上記混合された画像信号と上記入力画像信号の差分に階調変換を施し、元の平滑化されていない画像信号に加えて出力することを特徴とする。
【発明の効果】
【００２６】
本発明によれば、画像のダイナミックレンジを圧縮したり、画像のコントラストを強調する際に、それら圧縮、強調処理によって本来生じる出力画像の遅延を減らし、実時間で処理画出力を得ることができる。
【００２７】
従って、本願発明を例えば撮像装置に適用することによって、ビューファインダーなど操作用のモニタにリアルタイムの処理画像を表示でき、焦点合わせや被写体の追跡などの操作を容易に行うことができるようになる。
【００２８】
また、ＶＴＲRなどの記録系に適用することによって、補正によるアーティファクトの無い処理画像を送りながら、同時にビューファインダーなど操作用のモニタにはリアルタイムの処理画像を表示することができるようになる。
【００２９】
さらに、本発明によれば、画像処理に必要なフレームメモリの量を削減し回路を小型化することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００３１】
本発明は、例えば図１に示すような構成の撮像装置１０に適用される。
【００３２】
この撮像装置１０は、Ｃ−ＭＯＳイメージセンサやＣＣＤ（Charge Coupled Device ）イメージセンサ等の固体撮像素子により被写体を撮像する撮像部１、この撮像部１により撮像出力信号として得られた画像信号が供給される補正処理部２、この補正処理部２によりシェーディング成分などの補正処理が施された画像信号が供給される圧縮・強調処理部３、この圧縮・強調処理部３により圧縮・強調処理が施された画像信号が供給されるカメラ信号処理部４、このカメラ信号処理部４によりニー補正やガンマ補正などのカメラ信号処理を施した画像信号をＶＴＲ等の記録系や表示系５等に供給するようになっている。
【００３３】
この撮像装置１０における圧縮・強調処理部３は、例えば図２に示すように、上記補正処理部２によりシェーディング成分などの補正処理が施された３チャンネルの入力画像信号Ｒin，Ｇin，Ｂinが供給される３チャンネルの乗算器１１Ｒ，１１Ｇ，１１Ｂ及び圧縮・強調処理用の係数生成部１２を備え、入力画像信号Ｒin，Ｇin，Ｂinに基づいて上記係数生成部１２により圧縮・強調処理用の係数Ｇ’を生成して上記乗算器１１Ｒ，１１Ｇ，１１Ｂで入力画像信号Ｒin，Ｇin，Ｂinに乗算することにより、圧縮・強調処理を施した画像信号Ｒout’，Ｇout’，Ｂout’を得るようになっている。
【００３４】
上記係数生成部１２は、入力画像信号Ｒin，Ｇin，Ｂinが供給される非線形平滑化部２１と、この非線形平滑化部２１により非線形平滑化された画像信号Ｓhyが供給される遅延補正部２２と、この遅延補正部２２により遅延補正された画像信号Ｓhy’が供給される補正係数算出部２３からなる。
【００３５】
上記非線形平滑化部２１は、縦続接続されたＲＧＢ合成部２１Ａ、水平方向平滑化部２１Ｂ、フレームメモリ２１Ｃ、垂直方向平滑化部２１Ｄ、フレームメモリ２１Ｅにより、入力画像信号Ｒin，Ｇin，Ｂinの信号レベルが変化するエッジ成分を保存したまま上記入力画像信号Ｒin，Ｇin，Ｂinを水平及び垂直方向に非線形平滑化するように構成されている。
【００３６】
すなわち、上記非線形平滑化部２１では、入力画像信号Ｒin，Ｇin，ＢinがＲＧＢ合成部２１Ａで混合され１チャンネルの輝度信号Ｙとされ、輝度信号Ｙは水平方向平滑化部２１Ｂで非線形フィルタにより信号レベルが変化するエッジ成分が保存されたまま水平方向に平滑化されてフレームメモリ２１Ｃに蓄えられる。このフレームメモリ２１Ｃに蓄えられた信号Ｓhは該フレームメモリ２１Ｃから垂直方向に読み出され、垂直方向平滑化部２１Ｄで水平方向と同様の非線形フィルタにより信号レベルが変化するエッジ成分が保存されたまま垂直方向に平滑化されてフレームメモリ２１Ｅに蓄えられ、このフレームメモリ２１Ｅに蓄えられた信号Ｓhvが、該フレームメモリ２１Ｅからは水平方向に読み出されて、上記水平及び垂直方向に非線形平滑化された画像信号Ｓhvとして上記遅延補正部２２に供給される。
【００３７】
また、上記遅延補正部２２には、上記非線形平滑化部２１のＲＧＢ合成部２１Ａで生成された輝度信号Ｙすなわち上記水平及び垂直方向に非線形平滑化される前の画像信号が供給されている。
【００３８】
この遅延補正部２２は、上記非線形平滑化部２１により非線形平滑化された画像信号Ｓhｖと非線形平滑化される前の画像信号すなわち輝度信号Ｙを混合することにより遅延補正した画像信号Ｓhｖ’を生成して補正係数算出部２３に供給する。
【００３９】
ここで、平滑化され遅延の付いている入力信号Ｓhｖと、平滑化前の遅延のない入力信号Ｙの間には、平滑化の有無の他に、平滑化に要した時間の間に被写体が動いたことによる信号レベルの差が生じているが、この遅延補正部２２では、このレベル差の絶対値に応じて、平滑化され遅延のある信号Ｓhｖに平滑化前で遅延のない信号Ｙを混合し、擬似的に遅延のない平滑化信号Ｓhｖ’を生成する。
【００４０】
ここで２つの入力信号Ｓhｖ，Ｙのレベル差の絶対値をｍvとし、
ｍv＝|Ｓhｖ−Ｙ|                     （１）式
この値ｍvによるＳhｖとＹの混合比をα として、次のようにＳhｖとｙとがｍvに応じて内分された信号Ｓmixを生成する。
【００４１】
α＝０．０（ｍv≦level1）
α＝１．０（ｍv≧level2）
α＝（ｍv−level1 ) /（level2−leve1）  （level1＜ｍv＜level2）
Ｓmix＝α×Ｙ+（１−α）×Ｓhｖ      （２）式
すなわち、ｍv がlevel1以下すなわち平滑化され遅延のあるＳhｖと平滑化前で遅延のないＹとの差が小さいときは平滑化された信号Ｓhｖ、ｍvがlevel2 以上すなわち平滑化され遅延のあるＳhｖと平滑化前で遅延のないＹとの差が大きいときはリアルタイムの信号Ｙ、レベルがlevel1 からlevel2 の間のときは、Ｓhｖとｙとがｍvに応じて内分された信号Ｓmixを生成する。
【００４２】
ただし、この信号Ｓmix は、Ｙの混合比が高い部分は平滑化がされていないもしくは不十分であるため、Ｓmix 生成後にも平滑化フィルタをかけて、若干平滑化効果を高めている。ここでは信号レベルが変化するエッジ成分を保存したまま信号を平滑化する非線形フィルタを用いて平滑化を行い、このフィルタを通った後の信号が、擬似的に遅延のない平滑化信号Ｓhv’として出力される。
【００４３】
ここで、上記補正係数生成部２３の具体的な構成例について図３を参照して説明する。
【００４４】
図３に示す補正係数生成部２３は、圧縮処理用の第１の係数算出部３１と、コントラスト強調処理用の第２の係数算出部３２、各係数算出部３１，３２により算出された補正係数を統合する乗算器３３からなる。
【００４５】
上記第１の係数算出部３１は、例えば３２折れ線の階調変換テーブル３１Ａと除算器３１Ｂからなり、上記遅延補正部２２により遅延補正された画像信号Ｓhv’をアドレスとして上記階調変換テーブル３１Ａから読み出される階調変換信号と上記画像信号Ｓhv’との比を除算器３１Ｂにより求めることにより、圧縮処理用のゲイン補正係数ｇdcを算出する。なお、この第１の係数算出部で３１は、例えば特許文献１と同様な圧縮処理を行うためのゲイン補正係数ｇdcを算出する。
【００４６】
また、上記第２の係数算出部３２は、上記遅延補正部２２により遅延補正された画像信号Ｓhv’と上記平滑化前の遅延のない入力信号Ｙの差分を算出する減算器３２Ａと、この減算器３２Ａにより算出された差分信号にゲイン係数を乗算することにより階調変換を施す乗算器３２Ｂと、この乗算器３２Ｂにより階調変換された差分信号を上記平滑化前の遅延のない入力信号Ｙに加算する差分信号強調を行う加算器３２Ｃと、この加算器３２Ｃにより差分信号強調された信号と上記平滑化前の遅延のない入力信号Ｙとの比を算出する除算器３２Ｄからなる。この第２の係数算出部３２は、上記遅延補正部２２により遅延補正された画像信号Ｓhv’と上記平滑化前の遅延のない入力信号Ｙの差分に階調変換を施し、元の平滑化されていない画像信号に加える差分信号強調を行うコントラスト強調処理用のゲイン補正係数ｇccを算出する。なお、この係数算出部３２では、例えば特許文献２と同様なコントラスト強調処理を行うためのゲイン補正係数ｇccを算出する。
【００４７】
さらに、上記乗算器３３は、各係数算出部３１，３２により算出されたゲイン補正係数ｇdc，ｇccを乗算することにより圧縮・強調処理用のゲイン係数Ｇ’を算出する。
【００４８】
このようにして、上記係数生成部１２により入力画像信号Ｒin，Ｇin，Ｂinに基づいて生成される圧縮・強調処理用の係数Ｇ’は、上記補正処理部２によりシェーディング成分などの補正処理が施された３チャンネルの入力画像信号Ｒin，Ｇin，Ｂinが供給される上記３チャンネルの乗算器１１Ｒ，１１Ｇ，１１Ｂに供給される。
【００４９】
そして、上記３チャンネルの乗算器１１Ｒ，１１Ｇ，１１Ｂは、上記圧縮・強調処理用の係数生成部１２により生成されたゲイン係数Ｇ’を上記入力画像信号Ｒin，Ｇin，Ｂinに乗算することにより圧縮・強調処理を施した画像信号Ｒout’，Ｇout’，Ｂout’を出力する。
【００５０】
すなわち、この撮像装置１０における圧縮・強調処理部３では、遅延補正部２２により、２フレーム分の遅延を持つ水平、垂直方向に平滑化された画像信号Ｓhvを、図４に示すように、遅延を持たない平滑化前の輝度信号Ｙを用いて修正することで、擬似的に遅延のない平滑化画像信号Ｓhv’を作成し、この画像信号Ｓhv’から作成した圧縮・強調処理用の係数Ｇ’を遅延のない入力画像信号Ｒin，Ｇin，Ｂinに乗じることによって、リアルタイムに圧縮・強調処理済みの画像信号Ｒout’，Ｇout’，Ｂout’を得るようにしている。
【００５１】
このような構成をとることにより、リアルタイムで処理画出力を得られるばかりでなく、メインの信号ラインにフレームメモリを設ける必要がなくなり、回路規模の削減も同時に可能となる。
【００５２】
なお、この撮像装置１０における圧縮・強調処理部３では、上記非線形平滑化された画像信号Ｓhｖと非線形平滑化される前の画像信号Ｙを上記遅延補正部２２により混合することにより遅延補正した画像信号Ｓhｖ’を生成し、上記補正係数生成部２３において、上記第１の係数算出部３１により上記遅延補正した画像信号Ｓhｖ’を元に圧縮処理用のゲイン補正係数ｇdcを算出するとともに、上記第２の係数算出部３２により、上記遅延補正された画像信号Ｓhv’と上記平滑化前の遅延のない入力信号Ｙの差分に階調変換を施し、元の平滑化されていない画像信号に加える差分信号強調を行うコントラスト強調処理用のゲイン補正係数ｇccを算出し、各ゲイン補正係数ｇdc，ｇccを上記乗算器３３で乗算することにより圧縮・強調処理用のゲイン係数Ｇ’を得て、上記３チャンネルの乗算器１１Ｒ，１１Ｇ，１１Ｂで上記入力画像信号Ｒin，Ｇin，Ｂinに圧縮・強調処理用のゲイン係数Ｇ’乗算することにより圧縮・強調処理を施した画像信号Ｒout’，Ｇout’，Ｂout’を得るようにしたが、上記第２の係数算出部３２及び乗算器３３を省略して、圧縮処理のみを施した画像信号Ｒout’，Ｇout’，Ｂout’を得るようにしたり、あるいは、上記第１の係数算出部３１及び乗算器３３を省略して、コントラスト強調処理のみを施した画像信号Ｒout’，Ｇout’，Ｂout’を得るようにすることもできる。
【００５３】
また、この撮像装置１０における圧縮・強調処理部３は、図５に示すように、上記図２に示した構成に加えて、上記３チャンネルの入力画像信号Ｒin，Ｇin，Ｂinがフレームメモリ１０１Ｒ，１０１Ｇ，１０１Ｂを介して供給される乗算器１０２Ｒ，１０２Ｇ，１０２Ｂと、上記非線形平滑化部２１により水平及び垂直方向に非線形平滑化された画像信号Ｓhvを元に圧縮・強調処理用の係数Ｇを生成する補正係数算出部１１６とを設け、上記補正係数算出部により算出される圧縮・強調処理用の係数Ｇを上記フレームメモリ１０１  Ｒ，１０１Ｇ，１０１Ｂから読み出される遅延画像信号Ｒin’，Ｇin’，Ｂin’に乗算することにより、圧縮・強調処理が施された画像信号Ｒout，Ｇout，Ｂoutを出力するようにしてもよい。
【００５４】
このような構成をとることにより、撮像装置１０において、ＶＴＲなどの記録系へは補正を行なわずに補正によるアーティファクトのない画像信号Ｒout，Ｇout，Ｂoutを送りながら、同時に撮像装置１０の操作用としてビューファインダーには補正を行った画像信号Ｒout’，Ｇout’，Ｂout’を供給してリアルタイムの処理画像を表示することができる。
【図面の簡単な説明】
【００５５】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】上記撮像装置における圧縮・強調処理部の構成を示すブロック図である。
【図３】上記圧縮・強調処理部における補正係数生成部の具体的な構成例を示すブロック図である。
【図４】上記圧縮・強調処理部における遅延補正部により得られる遅延補正された擬似的に遅延のない平滑化画像信号を模式的に示す図である。
【図５】上記撮像装置における圧縮・強調処理部の他の構成例を示すブロック図である。
【図６】画像の圧縮・強調処理を行う従来の画像処理装置の構成例を示すブロック図である。
【符号の説明】
【００５６】
１  撮像部、２  補正処理部、３  圧縮・強調処理部、４  カメラ信号処理部、５  記録系や表示系、１０  撮像装置、１１Ｒ，１１Ｇ，１１Ｂ  乗算器、１２  係数生成部、２１  非線形平滑化部、２１Ａ  ＲＧＢ合成部、２１Ｂ  水平方向平滑化部、２１Ｃ  フレームメモリ、２１Ｄ  垂直方向平滑化部、２１Ｅ  フレームメモリ、２２  遅延補正部、２３  補正係数算出部、３１  第１の係数算出部、３１Ａ  階調変換テーブル、３１Ｂ  除算器、３２  第２の係数算出部、３２Ａ  減算器、３２Ｂ  乗算器、３２Ｃ  加算器、３２Ｄ  除算器、３３  乗算器、１０１Ｒ，１０１Ｇ，１０１Ｂ  フレームメモリ、１０２Ｒ，１０２Ｇ，１０２Ｂ  乗算器、１１６  補正係数算出部
【図１】
2006157451.tif 000003
【図２】
2006157451.tif 000004
【図３】
2006157451.tif 000005
【図４】
2006157451.tif 000006
【図５】
2006157451.tif 000007
【図６】
2006157451.tif 000008