(57)【要約】【課題】回路規模の増大化を伴うことなく、高速に画像処理の最適化を実現する。【解決手段】複数の成分からなる入力画像信号値に対して、出力画像信号値及び画像処理のための画像処理情報を登録した変換処理用テーブルを用いて、処理対象の画像信号を変換する。そして、この変換処理用テーブルを用いた画像信号の変換において、当該変換処理用テーブルから取得される画像処理情報に基づいて画像処理回路における処理パラメータを設定する。そして、変換手段変換された画像信号を、画像処理情報に基づいて処理パラメータが設定された画像処理回路によって処理する。【選択図】  図１
2007164628.tif 000002
【特許請求の範囲】
【請求項１】
複数の成分からなる入力画像信号値に対して、出力画像信号値及び画像処理のための画像処理情報を登録した変換処理用テーブルと、
前記変換処理用テーブルを用いて、処理対象の画像信号を変換する変換手段と、
前記変換手段による画像信号の変換を行うとともに、前記変換処理用テーブルから取得される画像処理情報に基づいて画像処理手段の処理パラメータを設定する設定手段と、
前記変換手段で変換された画像信号を前記設定手段で処理パラメータが設定された画像処理手段によって処理する処理手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、シャープネス補正手段を含み、
前記設定手段は、前記処理パラメータの設定により、前記シャープネス補正手段のシャープネス補正量を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、ノイズ抑制手段を含み、
前記設定手段は、前記処理パラメータの設定により、前記ノイズ抑制手段のノイズ抑制量を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像処理手段は、コントラスト補正手段を含み、
前記設定手段は、前記処理パラメータの設定により、前記コントラスト補正手段のコントラスト補正量を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ルックアップテーブルの入力値と出力値の変化量に応じて前記画像処理情報を変更する変更手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
複数の成分からなる入力画像信号値に対して、出力画像信号値及び画像処理のための画像処理情報を登録した変換処理用テーブルを用いて、処理対象の画像信号を変換する変換工程と、
前記変換工程による画像信号の変換を行うとともに、前記変換処理用テーブルから取得される画像処理情報に基づいて画像処理手段の処理パラメータを設定する設定工程と、
前記変換工程で変換された画像信号を前記設定工程で処理パラメータが設定された画像処理手段によって処理する処理工程とを備えることを特徴とする画像処理方法。
【請求項７】
前記画像処理手段は、シャープネス補正手段を含み、
前記設定工程は、前記処理パラメータの設定により、前記シャープネス補正手段のシャープネス補正量を設定することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記画像処理手段は、ノイズ抑制手段を含み、
前記設定工程は、前記処理パラメータの設定により、前記ノイズ抑制手段のノイズ抑制量を設定することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記画像処理手段は、コントラスト補正手段を含み、
前記設定工程は、前記処理パラメータの設定により、前記コントラスト補正手段のコントラスト補正量を設定することを特徴とする請求項６に記載の画像処理方法。
【請求項１０】
前記ルックアップテーブルの入力値と出力値の変化量に応じて前記画像処理情報を変更する変更工程を更に備えることを特徴とする請求項６に記載の画像処理方法。
【請求項１１】
請求項６乃至１０のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラム。
【請求項１２】
請求項１１に記載の制御プログラムを格納したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ルックアップテーブルを用いた画像処理に関する。
【背景技術】
【０００２】
一般に、シャープネス補正、ノイズ抑制、コントラスト補正といったような画像処理が知られている。この種の画像処理においては、画像全体について同じ処理が施されるのが一般的であるが、更に画質を向上させるために、画像信号中の領域に応じて画像処理を施すことも提案されている。特許文献１には、人の顔の領域に対して、アパーチャ補正信号の利得を変化させたり、周波数特性を変化させたりする構成が開示されている。
【特許文献１】特開平１１−１４６４０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示された方法では、処理対象の画像から肌色を検出し、人の顔の領域を判別するための画像処理回路が必要となり、回路規模の増大や処理時間の増加は避けられない。画像信号の色相判別やパターン認識等から画像の特徴に応じて画像処理を行う構成としても同じ問題が有る。又、画質の向上も画像信号の人の顔の領域や特定領域だけしか有効でないため十分な効果が得られていない。
【０００４】
本発明は、上記の課題に鑑みてなされたものであり、回路規模の増大化を伴うことなく、画像処理を適切に調整可能とすることを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を達成するための本発明の一態様による画像処理装置は以下の構成を備える。即ち、
複数の成分からなる入力画像信号値に対して、出力画像信号値及び画像処理のための画像処理情報を登録した変換処理用テーブルと、
前記変換処理用テーブルを用いて、処理対象の画像信号を変換する変換手段と、
前記変換手段による画像信号の変換を行うとともに、前記変換処理用テーブルから取得される画像処理情報に基づいて画像処理手段の処理パラメータを設定する設定手段と、
前記変換手段で変換された画像信号を前記設定手段で処理パラメータが設定された画像処理手段によって処理する処理手段とを備える。
【０００６】
又、上記の課題を解決するための本発明の他の態様によれば以下の画像処理方法が提供される。即ち、
複数の成分からなる入力画像信号値に対して、出力画像信号値及び画像処理のための画像処理情報を登録した変換処理用テーブルを用いて、処理対象の画像信号を変換する変換工程と、
前記変換工程による画像信号の変換を行うとともに、前記変換処理用テーブルから取得される画像処理情報に基づいて画像処理手段の処理パラメータを設定する設定工程と、
前記変換工程で変換された画像信号を前記設定工程で処理パラメータが設定された画像処理手段によって処理する処理工程とを備える画像処理方法が提供される。
【発明の効果】
【０００７】
本発明によれば、画像の持つ色領域に応じて画像処理のパラメータが設定されるので、回路規模の増大化を伴うことなく、画像処理を適切に調整することが可能となる。
【発明を実施するための最良の形態】
【０００８】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
図１は本実施形態による画像処理装置の構成を示すブロック図である。尚、本実施形態では、デジタルスチルカメラに組み込まれた画像処理装置を説明するが、本発明の適用はこれに限られるものではない。例えば、パーソナルコンピュータ等の汎用コンピュータにおいて実現されてもよいし、デジタルビデオカメラにおいて実現されてもよい。従って、処理対象の画像は映像（動画）でも静止画でもよい。又、本実施形態の画像処理装置をプリンタに適用することも可能である。更に、以下で説明する処理の一部或はすべてをハードウエアによって実現するようにしてもよい。
【０００９】
ルックアップテーブル１０１は３次の入力値に対して５次の出力値を得るルックアップテーブルであり、入力された３色の画像信号の色変換を行うと同時に画像処理パラメータを制御部１０５及び信号処理部（１０２〜１０４）に出力する。ルックアップテーブル１０１の入出力画像信号として、以下では「赤（Ｒ）、青（Ｂ）、緑（Ｇ）」を用いて説明するが、これに限られるものではない。例えば、「輝度信号（Ｙ）、色差信号Ｃｒ（Ｒ−Ｙ）、色差信号Ｃｂ（Ｂ−Ｙ）」や、「シアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）」からなる濃度信号等をルックアップテーブル１０１の入出力信号として用いてもよい。又、上記では入力色を表す色空間が３次元のものを挙げたが、４次元以上の色空間による画像信号を入出力することも可能であることは明らかである。又、ルックアップテーブル１０１の入出力信号の色空間は同じものである必要はない。例えば、ＲＧＢ空間の値を入力値とし、ＣＭＹ空間の値を出力値として得るルックアップテーブルであってもよい。
【００１０】
ルックアップテーブル１０１は、入力された３色の画像信号Ｒin、Ｇin、Ｂinを画像信号Ｒout、Ｇout、Ｂoutに変換して出力すると共に、画像情報Ｉout及び画質設定値Ｐoutを出力する。即ち、本実施形態の場合では、ルックアップテーブル１０１は、３次の入力値（Ｒin，Ｇin，Ｂin）と５次の出力値（Ｒout，Ｇout，Ｂout，Ｉout，Ｐout）を持つ。尚、本実施形態では、デジタルスチルカメラへの適用を説明しているので、ルックアップテーブル１０１に入力される画像信号は、撮影レンズを含む光学系（不図示）や撮像素子（不図示）を介して得られたデジタル画像信号である。又、以下、画像情報Ｉout及び画質設定値Ｐoutをまとめて画像処理パラメータと称する。
【００１１】
図６は画像情報Ioutと画質設定値Ｐoutの符号化例を示す図である。画像情報Ｉoutは、当該入力値の色に対応した画像内容（肌、風景、青空等）を示す。又、画質設定値Ｐoutは、シャープネス補正量、ノイズ抑制量、コントラスト補正量など複数の画像処理に対する画像処理パラメータを示す。図６に示されるような符号化値を用いて表現された画像処理パラメータがルックアップテーブル１０１に登録される。画像情報Ｉoutを用いれば、シーン判別を容易に行なうこともできる。例えば、画像情報Ｉoutが、肌の割合が一定以上である画像内容の場合に、ポートレート画像であると判別する。
【００１２】
制御部１０５において、ＣＰＵ１０５ａはＲＯＭ１０５ｂ或はＲＡＭ１０５ｃに格納された制御プログラムを実行することにより各種制御を実行する。ＲＡＭ１０５ｃはＣＰＵ１０５ａのワークメモリとしても機能する。制御部１０５は、例えば、ルックアップテーブル１０１から得られた画像処理情報（Ｉout、Ｐout）に基づいて、シャープネス補正部１０２、ノイズ抑制部１０３、コントラスト補正部１０４に対して画像処理パラメータの設定を行う。また、制御部１０５は、画像を保存する為の画像メモリ１０５ｄを有する。制御部１０５は、この画像メモリ１０５ｄから画像処理のための各回路（１０２〜１０４）に画像を送り、画像処理された画像を画像メモリ１０５ｄに記憶する。インターフェース１０５ｅは、ルックアップテーブル１０１や各回路１０２〜１０４及び各部１０６〜１０８と、ＣＰＵ１０５ａとの間のインターフェースである。
【００１３】
シャープネス補正部１０２は、複数のバンドパスフィルタを有し、各バンドパスフィルタの周波数特性及びゲインを変更することによりシャープネス補正を行う。ノイズ抑制部１０３は、カラー画像信号を所定のバンドパスフィルタに通すことにより低周波領域を検出し、低周波領域の高周波成分を除去することによりノイズを抑制する。コントラスト補正部１０４は、輝度信号に対して複数のガンマ補正係数を用意し、コントラスト補正を行う。
【００１４】
画像表示部１０６は、制御部１０５の制御下で、入力画像、出力画像や現在の処理設定等を表示する。操作部１０７は、入力画像の指定、処理の開始等のユーザ指示を入力する。又、本画像処理装置がデジタルビデオカメラやデジタルスチルカメラに適用された場合、画像処理対象となる画像の入力操作（シャッター操作、録画操作等）も、この操作部１０７によって行われることになる。記録部１０８は、処理された画像を記録し保存する。即ち、ルックアップテーブル１０１によって色変換され、ルックアップテーブル１０１から取得された画像処理情報に基づいて画像処理されて、画像メモリ１０５ｄに格納された画像は制御部１０５により記録部１０８に記録される。尚、記憶部１０８には着脱可能な記録媒体を用いてもよい。
【００１５】
図２は、本実施形態による５次元のルックアップテーブル１０１を示す図である。ルックアップテーブル１０１は、入力された３色の画像信号Ｒin、Ｇin、Ｂinを３色の画像信号Ｒout、Ｇout、Ｂoutに変換すると共に、画質設定値Ｐout,画像情報Ｉoutを出力する。Ｐout又はＩoutのいずれか一方のみを出力しても良い。或は、図３に示すようにＰout及び入力値と出力値の変化量から画像処理パラメータ算出部３０１で算出した画像処理パラメータＱoutを出力するように構成することもできる。この場合、Ｑoutの値が画像処理回路である回路１０２〜１０４に、例えば処理強度設定パラメータとして供給されることになる。例えば、|Ｒin−Ｒout|＋|Ｇin−Ｇout|＋|Ｂin−Ｂout|が所定の値を超えた場合には、色変換のレベルが大きく、トーンジャンプ等のノイズが出やすい。そのため、このような場合には、Ｐoutに因らず処理強度設定パラメータのシャープネス補正を弱にし、ノイズ抑制を強にすることにより、さらに画質を向上させることが出来る。
【００１６】
次に、画像処理パラメータの設定方法を説明する。本実施形態のルックアップテーブル１０１は、１色あたり８bitの階調を持つ３色の入力画像信号Ｒin，Ｇin，Ｂinを入力する。そして、１色当たり８bitの階調を持つ出力画像信号Ｒout，Ｇout，Ｂout、３bitの情報量をもつ画像情報Ｉout、そして５bitの情報量を持つ画像処理パラメータＰoutを出力する。従って入力は２４bit、出力は３２bitの精度が必要となる。本実施形態のルックアップテーブル１０１は２４bitのアドレス空間を持つ６４ＭbytesのＲＡＭを用いる。即ち、ルックアップテーブル１０１は、入力信号値を２４bitのアドレス空間に割り当て、出力信号値を３２bitの記憶領域に割り当てることで実現される。
【００１７】
図４はルックアップテーブルを模式的に表している。図を簡略化するため、各辺に９個の格子点を示しているが、本実施形態のルックアップテーブル１０１は、各辺に２５７個の格子点を有する。又、各格子点にはデータ長３２bitのテーブル値が格納されている。ルックアップテーブル用のＲＡＭが有する６４Ｍbytesの記録領域全てに、色変換出力値及び画像情報、画質設定値が予め書き込まれる。ルックアップテーブル用のＲＡＭへのデータの書き込みは、画像処理装置の起動時又は画像処理内容の変更時に行うだけで良く、画像処理中は、記憶領域への読み出しのみを行うため画像処理時間を無くすことが可能となる。
【００１８】
図５は、画像処理パラメータの設定例を模式的に示したものである。図５において、領域５０２は肌色の色領域を示しており、この領域内の入力画像信号に対応させて、画像情報として「肌」を表す符号化値（“０００”）をルックアップテーブル１０１（ＲＡＭ）に記憶させる。更に、当該ルックアップテーブル１０１に、領域５０２内の入力画像信号に対応させて、顔の皺が強調され無い様にするため、通常領域よりもシャープネス補正を弱くし且つコントラストを弱くするパラメータ（例えば図６の“０００００”）を記憶させる。もちろん、領域５０２の中でも色の濃さ、輝度などに応じて画質設定値を自由に設定することができる。
【００１９】
又、図５の太線で囲まれた領域５０１は、風景画像の木の葉などに代表される緑の領域である。この領域５０１は、通常領域に比べ解像感が要求され、又、ノイズに対しては鈍感な色領域である。そこで、ノイズ抑制量を抑えて且つシャープネス補正が強く掛かるような画質設定値が、領域５０１に対応するようにルックアップテーブルに登録される。尚、図５には示していないが、青空や紫の色域ではノイズに対して特に敏感な色領域であるためノイズ抑制量を最大にする画質設定値が登録される。
【００２０】
以上のような画像処理装置において、カラー画像信号が入力画像信号として入力されると、入力画像信号の各画素値（Ｒin，Ｇin，Ｂin）はルックアップテーブル１０１により出力画像信号の画素値（Ｒout，Ｇout，Ｂout）に変換される。このとき、入力された画素値に応じて画像情報（Ｉout）や画質設定値（Ｐout）が出力される。
【００２１】
ルックアップテーブル１０１から出力された画質設定値に従って、シャープネス補正回路１０２、ノイズ抑制回路１０３、コントラスト補正回路１０４に対して例えば処理強度を示すパラメータが設定される。そして、ルックアップテーブル１０１で変換された画像に対して、シャープネス補正回路１０２、ノイズ抑制回路１０３、コントラスト補正回路１０４による画像処理を実行し、結果が画像メモリ１０５ｄに保存される。例えば、ルックアップテーブル１０１には入力画像信号の入力画素列に応じて順次出力画素と画像処理パラメータが出力される。回路１０２〜１０４においては、注目画素となっている出力画素とともに出力された画像処理パラメータに基づくパラメータ設定がなされる。こうして、ルックアップテーブル１０１から出力されたパラメータ値に従って、ルックアップテーブル１０１を用いて変換処理された出力画像が処理されていくことになる。
【００２２】
図７は、本実施形態による画像処理装置の動作（即ち、制御部１０５の処理内容）を説明するフローチャートである。ステップＳ７０１において、入力画像信号より、画素毎に信号を入力する。次に、ステップＳ７０２において、ルックアップテーブル１０１を参照することにより入力された画素値を変換して変換画素値を得ると共に、画像処理パラメータを取得する。そして、ステップＳ７０３において、ステップＳ７０２で取得した画像処理パラメータに基づいて各画像処理部（図１の回路１０２〜１０４）の処理パラメータを設定する。次に、ステップＳ７０４において、ステップＳ７０３で処理パラメータが設定された画像処理部により、当該画素を注目画素とする画像処理を実行し、ステップＳ７０５で画像処理済の変換画像を出力する。ここで、出力とは、例えば、画像メモリ１０５ｄへの格納、記録部１０８への格納が挙げられる。もちろん、装置外部への画像情報の出力であってもかまわない。以上のステップＳ７０１〜Ｓ７０５の処理を、入力画像の全ての画素について実行する（ステップＳ７０６）。尚、ステップＳ７０４の画像処理において周囲の画素値を用いたフィルタリング等が行われる場合は、ステップＳ７０２で取得された変換画素値と画像処理パラメータを適宜バッファリングして、画像処理部にパラメータと画素値の供給を行えばよい。
【００２３】
以上のように、本実施形態によれば、入力画像の色領域に応じて適切な画像処理を実行させることが可能となる。尚、本実施形態では、適切な画像処理を実現するために、一般的なルックアップテーブルに比べて、画像情報や画質設定値等の画像処理パラメータを記憶するための領域を増やす必要がある。しかしながら、主として記憶領域の増加だけで画像処理の最適化に対応でき、画像処理回路規模の増加も殆ど無い。従って、本実施形態によれば、回路規模の増大化を伴うことなく、高速に画像処理の最適化を実現することができる。
【００２４】
尚、図１において各回路１０２〜１０４をソフトウエアによって実現する構成としても構わない。この場合、例えば、制御部１０５は入力された画像信号をルックアップテーブル１０１を用いて変換する。そして、この変換処理においてルックアップテーブル１０１から取得される画像処理パラメータに従って、シャープネス補正処理やノイズ抑制処理やコントラスト補正処理を行うプログラムのパラメータを設定しながら、画像処理を実行する。
【００２５】
従って、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したプログラムである。
【００２６】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００２７】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００２８】
プログラムを供給するための記録媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。
【００２９】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００３０】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。
【００３１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。
【００３２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。
【図面の簡単な説明】
【００３３】
【図１】本実施形態による画像処理装置の構成を示すブロック図である。
【図２】本実施形態によるルックアップテーブルを説明する図である。
【図３】本実施形態によるルックアップテーブルを説明する図である。
【図４】ルックアップテーブルの色変換のための部分を模式的に説明する図である。
【図５】画像処理パラメータの設定方法を模式的に説明する図である。
【図６】画質設定値、画像情報の符号化例を示す図である。
【図７】本実施形態による画像処理装置の動作を説明するフローチャートである。
【図１】
2007164628.tif 000003
【図２】
2007164628.tif 000004
【図３】
2007164628.tif 000005
【図４】
2007164628.tif 000006
【図５】
2007164628.tif 000007
【図６】
2007164628.tif 000008
【図７】
2007164628.tif 000009