(57)【要約】【課題】ノイズ除去、色調補正、シャープネスの順に補正を行った後、ノイズ除去のパラメータを変更したい場合、三つの処理を適用した結果の画像にさらにノイズ除去を適用するか、もしくは、全ての処理を取り消して最初からやり直すかだが、画像処理は適用すればするほど補正対象の画像に階調飛びなどが消じるから、すべての補正結果を破棄して、一から補正し直すことになる。【解決手段】ＣＰＵ  １０１は、異なる特性をもつ複数の画像処理の画像処理パラメータをモニタ１０５に提示し、画像処理パラメータの変更を受け付け、複数の画像処理を予め定められた順序で画像に適用する。【選択図】    図１
2005004656.tif 000002
【特許請求の範囲】
【請求項１】
ソフトウェアにより画像処理を行う画像処理方法であって、
異なる特性をもつ複数の画像処理の画像処理パラメータを提示し、
前記画像処理パラメータの変更を受け付け、
前記複数の画像処理を予め定められた順序で画像に適用することを特徴とする画像処理方法。
【請求項２】
さらに、前記複数の画像処理が施された画像を印刷することを特徴とする請求項１に記載された画像処理方法。
【請求項３】
さらに、印刷に使用する媒体のサイズや種類に応じて、前記画像処理パラメータを調整することを特徴とする請求項１に記載された画像処理方法。
【請求項４】
前記媒体のサイズが大きいほどコントラストを強調するように前記画像処理パラメータを調整することを特徴とする請求項３に記載された画像処理方法。
【請求項５】
前記媒体のサイズが大きいほどシャープネスを強くするように前記画像処理パラメータを調整することを特徴とする請求項３に記載された画像処理方法。
【請求項６】
前記媒体のサイズが大きいほどノイズ除去を強くするように前記画像処理パラメータを調整することを特徴とする請求項３に記載された画像処理方法。
【請求項７】
前記複数の画像処理を自動実行することを特徴とする請求項１に記載された画像処理方法。
【請求項８】
前記自動実行において、ユーザの好みを反映するための固有パラメータが前記画像処理パラメータの計算式に含められることを特徴とする請求項７に記載された画像処理方法。
【請求項９】
前記自動実行において、前記画像の取得時の情報が前記画像処理パラメータの計算式に含められることを特徴とする請求項７に記載された画像処理方法。
【請求項１０】
前記画像処理には、少なくとも色調・彩度補正、シャープネス、ノイズ除去、色かぶり補正、ぼかし、セピア調化、モノトーン化、ソラリゼーションおよびエンボスの何れかが含まれることを特徴とする請求項１に記載された画像処理方法。
【請求項１１】
さらに、前記画像のサイズが表示領域より大きい場合、表示可能な部分画像に前記複数の画像処理を適用することを特徴とする請求項１に記載された画像処理方法。
【請求項１２】
予め定められた条件を満たす場合、前記複数の画像処理のうち、一つ以上の画像処理を適用しないことを特徴とする請求項１に記載された画像処理方法。
【請求項１３】
前記条件は、前記画像のサイズが表示領域より大きく、かつ、前記倍率が予め定められた値より小さい場合であることを特徴とする請求項１２に記載された画像処理方法。
【請求項１４】
前記条件は、前記画像のサイズが表示領域より大きく、かつ、前記画像の表示位置を変更中であることを特徴とする請求項１２に記載された画像処理方法。
【請求項１５】
前記条件は、前記倍率が予め定められた値より小さい場合であることを特徴とする請求項１２に記載された画像処理方法。
【請求項１６】
さらに、前記複数の画像処理が施された画像を、任意のサイズ・倍率でモニタに表示することを特徴とする請求項１から請求項１５の何れかに記載された画像処理方法。
【請求項１７】
前記画像処理および前記画像表示は、前記画像処理パラメータが変更される度に実行されることを特徴とする請求項１６に記載された画像処理方法。
【請求項１８】
ソフトウェアにより画像処理を行う画像処理装置であって、
異なる特性をもつ複数の画像処理の画像処理パラメータを提示する提示手段と、
前記画像処理パラメータの変更を受け付ける受付手段と、
前記複数の画像処理を予め定められた順序で画像に適用する処理手段とを有することを特徴とする画像処理装置。
【請求項１９】
請求項１から請求項１７の何れかに記載された画像処理を画像処理装置に実行させることを特徴とするプログラム。
【請求項２０】
請求項１９に記載されたプログラムが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、画像を補正する画像処理に関する。
【０００２】
【従来の技術】
ディジタルカメラが急速に普及し、パーソナルコンピュータ（ＰＣ）も家庭で普通に利用されるようになった。ディジタルカメラで撮影された画像は、ＰＣとプリンタを使って印刷され、また、ホームページなどに公開される。
【０００３】
しかし、撮影された画像は、必ずしも撮影者の意図どおりとは限らない。例えば、期待よりも暗い画像であったり、手振れなどによって画像の先鋭度が低くなり全体的に眠い感じの画像になっていたりする。このような画像を補正する場合、Ａｄｏｂｅ（Ｒ）社のＰｈｏｔｏＳｈｏｐ（Ｒ）のような画像処理ソフトが利用可能である。ＰｈｏｔｏＳｈｏｐ（Ｒ）の「明るさ・コントラスト」「トーンカーブ」「色相・彩度」「カラーバランス」「アンシャープマスク」「エッジ強調」および「ぼかす」などの機能を、原画像に対して任意の順に適用して画像を補正する。例えば「カラーバランス」を適用し、その結果に「トーンカーブ」を適用し、さらにその結果に「アンシャープマスク」を適用するという方法で、任意の補正を任意のタイミングで適用することができる。
【０００４】
画像処理は、原画像に対して様々な処理を順に適用するものであるが、複数の処理の適用順序を入れ換えると、一般に、全く異なる結果になる。
【０００５】
様々な補正を行うのは非常に大変であるから、補正メニューを細分化するのではなく、似た補正を一つにまとめて提示する方法が考えられる。特開平１１−３４５３２１号公報は、色調補正に関連するパラメータをユーザに提示し、予め定められた順序で色調を補正する方法を記載する。
【０００６】
しかし、何れの方法においても、ノイズ除去、色調補正、シャープネスなど全く性質の異なる様々な処理のパラメータを、一つひとつ、適用する順に指定する必要がある。例えば、ノイズ除去、色調補正、シャープネスの順に補正を行い、ノイズ除去のパラメータを変更したい場合、三つの処理を適用した結果の画像にさらにノイズ除去を適用するか、もしくは、全ての処理を取り消して最初からやり直すか、何れかの方法を選択する必要がある。画像処理は適用すればするほど補正対象の画像に階調飛びなどが消じるから、基本的には、最初からやり直すを選択することになる。すなわち、すべての補正結果を破棄して、一から補正し直すことになる。
【０００７】
また、プリンタドライバのように、縮小画像に適用する効果を反映してみせたり、レタッチソフトのように、画像の一部を拡大表示してプレビューするものがあるが、その拡大率や表示サイズを自由に変えて観察することができず、実際の印刷効果を把握し難い問題がある。
【０００８】
【特許文献】
特開平１１−３４５３２１号公報
【０００９】
【発明が解決しようとする課題】
本発明は、上述の問題を個々にまたはまとめて解決するためのもので、適切な処理の順序で、画像データを補正することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００１１】
本発明は、ソフトウェアにより画像処理を行う際に、異なる特性をもつ複数の画像処理の画像処理パラメータを提示し、前記画像処理パラメータの変更を受け付け、前記複数の画像処理を予め定められた順序で画像に適用することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１３】
［概要］
以下では、異なる特性をもつ複数の画像処理の画像処理パラメータを提示し、画像処理パラメータの変更を受け付け、複数の画像処理を予め定められた順序で画像に適用し、複数の画像処理が施された画像を、任意のサイズ・倍率でモニタに表示する実施形態を説明する。
【００１４】
複数の画像処理が施された画像を印刷する場合、印刷に使用する媒体のサイズや種類に応じて、前記画像処理パラメータを調整する。具体的には、媒体のサイズが大きいほどコントラストを強調するように、シャープネスを強くするように、および／または、ノイズ除去を強くするように画像処理パラメータを調整することが好ましい。
【００１５】
また、複数の画像処理は自動実行可能である。その際、ユーザの好みを反映するための固有パラメータ、または、画像の取得時の情報を画像処理パラメータの計算式に含めることが好ましい。
【００１６】
また、画像処理には、色調・彩度補正、シャープネス、ノイズ除去、色かぶり補正、ぼかし、セピア調化、モノトーン化、ソラリゼーションおよびエンボスなどのフィルタ処理が含まれる。
【００１７】
さらに、画像のサイズが表示領域より大きい場合、表示可能な部分画像に複数の画像処理を適用する。あるいは、予め定められた条件を満たす場合、複数の画像処理のうち、一つ以上の画像処理を適用しないことが好ましい。条件としては、画像のサイズが表示領域より大きくかつ倍率が予め定められた値より小さい場合、画像のサイズが表示領域より大きくかつ画像の表示位置を変更中、あるいは、倍率が予め定められた値より小さい場合である。
【００１８】
さらに、複数の画像処理が施された画像を、任意のサイズ・倍率でモニタに表示する。画像処理および画像表示は、画像処理パラメータが変更される度に実行される。
【００１９】
【第１実施形態】
［構成］
図１は実施形態のシステムの概略を示すブロック図である。
【００２０】
ＣＰＵ  １０１は、システム全体の動作をコントロールし、一次記憶メモリ１０２に格納されたプログラムなどを実行する。一次記憶メモリ１０２は主にＲＡＭなどのメモリで、ＣＰＵ  １０１は、二次記憶メモリ１０３に記憶されたプログラムなどを読み込んで一次記憶メモリ１０２に格納する。二次記憶メモリ１０３は、例えばハードディスクなどに該当する。一般に、一次記憶メモリ１０２のメモリ容量は二次記憶メモリ１０３のメモリ容量より小さく、一次記憶メモリ１０２に格納しきれないプログラムやデータなどは二次記憶メモリ１０３に格納される。また、長時間記憶すべきデータなども二次記憶メモリ１０３に格納される。つまり、ＣＰＵ  １０１は、画像処理などのプログラムを実行する際に、二次記憶メモリ１０３に格納されたプログラムを一次記憶メモリ１０２に読み込んで実行する。
【００２１】
入力デバイス１０４は、例えば、システムのコントロールに用いるマウスやキーボードのほか、画像データの入力に必要なカードリーダ、スキャナ、フィルムスキャナ、ディジタルカメラなどに該当する。出力デバイス１０５は、例えば、モニタやプリンタなどが考えられる。なお、入力デバイス１０４および出力デバイス１０５は、図示しない汎用のインタフェイスを介してシステムバス１０９に接続されている。汎用のインタフェイスとしては、ＵＳＢ  （Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＩＥＥＥ１３９４などのシリアルバス、ＳＣＳＩやＧＰＩＢなどのパラレルインタフェイス、ＲＳ２３２ＣやＲＳ４２２などのシリアルインタフェイス、ＩｒＤＡやＢｌｕｅｔｏｏｔｈなどの赤外線・無線インタフェイスなどが利用可能である。
【００２２】
図１に示すシステムの構成は、他にも様々な形態が考えられるが、本実施形態の主眼ではないので、その説明を省略する。
【００２３】
［ユーザインタフェイス］
図２はＣＰＵ  １０１によってモニタに表示される画像補正用のグラフィカルユーザインタフェイス（ＧＵＩ）の一例を示す図である。
【００２４】
ツールバー２０２に備えられたファイルオープンボタンを押す、もしくは、メニューバー２０１のファイルメニューから「開く」を選択すると、ファイルオープンダイアログが表示され、画像ファイルを開くことができる。勿論、画像ファイルのアイコンを、補正画像の表示領域２０３にドラッグアンドドロップすることで、画像ファイルをオープンすることも可能である。
【００２５】
画像ファイルが選択されると、表示領域２０３には補正対象の画像が表示される。補正結果の画像ファイルを保存する場合は汎用の画像フォーマットで二次記憶メモリ１０３など保存すればよい。汎用の画像フォーマットにはＢＭＰ、ＪＰＥＧ、ＴＩＦＦなどを利用することができる。
【００２６】
ウィンドウ２０９は、ユーザが補正対象画像の表示倍率を設定するための表示倍率指定ウィンドウである。ウィンドウ２０９には「全体表示」「１００％」「２００％」「４００％」などの倍率を設定するためのラジオボタンがある。全体表示が選択された場合、補正対象画像は、そのアスペクト比（縦横比）が保たれたまま、表示領域２０３に収まるサイズで表示される。また、１００％の場合は等倍、２００％の場合は二倍、４００％の場合は四倍に拡大して表示される。例えば、２００％の場合は一画素を２×２画素、４００％の場合は一画素を４×４画素で表現する。以下「全体表示」を単に全体表示と呼び、これ以外の表示モードを部分表示と呼ぶ。
【００２７】
表示領域２０３に補正対象画像を表示しきれない場合はスクロールバーが表示され、ユーザがスクロールバーを操作することで、画像全体を確認することができる。また、スクロールバーが表示されている状態で、表示領域２０３をマウスでクリックした状態でドラッグすると、そのドラッグ分、画像がスクロールされる。
【００２８】
ウィンドウ２０８は、画像の向きやサイズを変更するための画像方向・サイズ指定ウィンドウで行う。ウィンドウ２０８には、画像サイズを変更する際に、ユーザが入力した縦（高さ）または横（幅）のサイズに対して、アスペクト比を保った横または縦のサイズをＣＰＵ  １０１に計算させ入力させるためのチェックボックスが備わる。
【００２９】
ウィンドウ２０５から２０７はそれぞれ、色調補正ウィンドウ、ＵＳＭ指定ウィンドウおよびノイズ除去指定ウィンドウで、各ウインドウに配置されたスライダーなどを操作することで処理パラメータを設定（変更）することができる。なお、画像補正の詳細については後述する。
【００３０】
図３はツールバー２０２の詳細なボタン配置例を示す図である。
【００３１】
ツールバー２０２には、上述したファイルオープン用のファイルオープンボタン３０１、自動補正を適用する「強」「弱」「無」の各ボタン３０２−３０４、上述したウィンドウ２０５から２０９をすべて開く開ボタン３０５およびすべて閉じる閉ボタン３０６、各ウィンドウを開閉するためのボタン３０８−３１１、並びに、画像情報を表示するためのＩｎｆｏボタン３１２が備わる。
【００３２】
強ボタン３０２を押すと強めの自動補正が適用され、弱ボタン３０３を押すと弱めの自動補正が適用される。無ボタン３０４を押せば、すべての補正が取り消され、画像は無補正の状態になる。自動補正は、ヒストグラムなどの画像特徴量のほかに、補正対象画像のデータがＥｘｉｆに準拠する場合は、Ｅｘｉｆ情報を用いて補正パラメータを決定する。なお、補正パラメータは、ノイズ除去指定ウィンドウ２０７、色調補正ウィンドウ２０５およびＵＳＭ指定ウィンドウ２０６で設定可能なパラメータである。自動補正の詳細については後述する。
【００３３】
Ｉｎｆｏボタン３１２を押すと、図４に示す画像情報が表示される。「機種」には、Ｅｘｉｆデータの０ｔｈ  ＩＦＤに格納されているＭａｋｅとＭｏｄｅｌの値を表示する。「撮影情報」としては、０ｔｈ  ＩＦＤの中のＥｘｉｆ  ＩＦＤに格納されているＣａｐｔｕｒｅ  Ｓｃｅｎｅ  Ｔｙｐｅ、Ｅｘｐｏｓｕｒｅ  Ｔｉｍｅ（もしくはＳｈｕｔｔｅｒ  Ｓｐｅｅｄ  Ｖａｌｕｅ）、Ｆ  Ｎｕｍｂｅｒ、Ｅｘｐｏｓｕｒｅ  Ｂｉａｓ  Ｖａｌｕｅ、Ｆｏｃａｌ  Ｌｅｎｇｔｈ  Ｖａｌｕｅ（もしくはＦｏｃａｌ  Ｌｅｎｇｔｈ  Ｉｎ  ３５ｍｍ  Ｆｉｌｍ）、Ｓｕｂｊｅｃｔ  Ｄｉｓｔａｎｃｅ、Ｆｌａｓｈの値を表示する。これらの値およびＩＳＯ  Ｓｐｅｅｄ  Ｒａｔｉｎｇｓの値は、後述する自動補正に利用される。
【００３４】
メニューバー２０１には「ファイル」「自動補正」「ウィンドウ」の三つのメニューが用意されている。
【００３５】
ファイルメニューには、ファイルオープンダイアログを表示するための「開く」、画像補正を終了するための「閉じる」、補正対象画像を印刷するための「印刷」、並びに、ユーザの好みを指定するための「オプション」がある。図５は「オプション」が選択されると表示されるウィンドウの一例を示す図である。図５の例では「鮮やかさ」および「コントラスト」をユーザの好みに応じて設定することができるが、アンシャープマスクに代表される画像の先鋭度など、他の要素によるユーザの好みを反映できるようにしても構わない。
【００３６】
自動補正メニューには、「強」「弱」「無」ボタン３０２−３０４に対応する「強め」「弱め」「無し」がある。以下、「強」ボタン３０２が選択された状態を、自動補正・強、「弱」ボタン３０３が選択された状態を自動補正・弱と呼ぶ。
【００３７】
「ウィンドウ」メニューには、ボタン３０７−３１１に対応する「色調補正」「シャープネス」「ノイズ除去」「画像サイズ」および「表示倍率」がある。
【００３８】
図６はステイタスバー２０４の詳細例を示す図である。ステイタスバー２０４には基本情報の表示領域６０１および撮影モードの表示領域６０２がある。基本情報の表示領域６０１には、ｆ値、シャッタ速度、平均輝度など、画像の基本的な情報が表示される。撮影モードの表示領域６０２には、画像撮影時の撮影モードが表示される。なお、平均輝度値以外は、Ｅｘｉｆ情報から抽出されるデータを表示する。
【００３９】
［画像補正］
本実施形態の画像補正には自動補正と手動補正がある。以下の画像補正は、前述の二次記憶メモリ１０３に記憶されたアプリケーションソフトのプログラムをＣＰＵ  １０１によって実行することで実現されるが、出力デバイス１０５用のプリンタドライバなど、ソフトウェア処理によって実装してもよいことはいうまでもない。自動補正は、画像の解析結果から補正パラメータを算出し、Ｅｘｉｆ情報があれば、算出した補正パラメータを修正する。なお、画像の解析結果には「オプション」で指定されたユーザの好みを反映するが、ユーザの好みを反映するための追加パラメータは後述する。
【００４０】
手動補正は、ユーザが色調補正ウィンドウ２０５、ＵＳＭ指定ウィンドウ２０６およびノイズ除去ウィンドウ２０７を使用して補正パラメータを指定する。勿論、自動補正で設定した補正パラメータを、これらのウィンドウ上のスライダを使用して修正することもできる。
【００４１】
以下、ユーザの好みを反映するための追加パラメータ、手動補正および自動補正について説明する。
【００４２】
●追加パラメータ
ユーザの好みを反映するための追加パラメータは、上述した図５に示すユーザインタフェイスで設定される。追加パラメータには、彩度調整パラメータＳｕｓｅｒとコントラスト調整パラメータＣｕｓｅｒの二つがある。
【００４３】
「鮮やかさ」は、「地味」「標準」および「派手」から選択されきるが、「地味」が選択された場合は彩度調整パラメータＳｕｓｅｒ＝−１に、「標準」が選択された場合はＳｕｓｅｒ＝０に、「派手」が選択された場合はＳｕｓｅｒ＝１になる。
【００４４】
「コントラスト」は、「低め」「標準」および「高め」から選択されるが、「低め」が選択された場合はコントラスト調整パラメータＣｕｓｅｒ＝−１に、「標準」が選択された場合はＣｕｓｅｒ＝０に、「高め」が選択された場合はＣｕｓｅｒ＝１になる。
【００４５】
これらの追加パラメータは、自動補正におけるパラメータ決定に用いられる。
【００４６】
●手動補正
図７は画像処理の構成例を示すブロック図である。入力信号は輝度色差信号ＹＣｂＣｒもしくはＲＧＢで、出力信号は入力信号と同じ形式の信号になる。例えば輝度色差信号ＹＣｂＣｒが入力される場合、出力も輝度色差信号ＹＣｂＣｒにする。また、輝度信号ＲＧＢが入力される場合は、変換器７０１によってＹＣｂＣｒ信号に変換してノイズ除去７０３、ヒストグラム補正７０５、彩度修正７０６などの画像処理を行った後、変換器７０２によってＲＧＢ信号に戻す。
【００４７】
ウィンドウ２０５−２０７の画質調整用のスライダ操作などによって補正パラメータが変更されると、輝度成分および色差成分のノイズ除去７０３、色調補正（ヒストグラム補正７０５および彩度修正７０６）、シャープネス（ＵＳＭ）７０７の各処理を、予め定められた順序で画像データに適用され、適用結果の画像が表示領域２０３に表示される。なお、本実施形態では画像処理例としてノイズ除去、色調補正、シャープネスを挙げるが、これら以外の画像処理を加えることもできる。
【００４８】
画像処理の順番は、写真などの画像の補正経験を充分にもつ人の経験に基づき決められた順番が望ましい。本実施形態では、一般的に妥当と考えられる、ノイズ除去、色調補正、シャープネスの順に処理を適用する。このように順序が決められた処理を適用することで、画像処理の未経験者や未熟な人でも、適切な画像処理を実施して、好適な補正結果を得ることが可能になる。
【００４９】
●ノイズ除去
本実施形態におけるノイズ除去７０３には、輝度成分に対するノイズ除去と色差成分に対するノイズ除去の二つがある。
【００５０】
図８はノイズ除去指定ウィンドウ２０７の詳細例を示す図で、輝度と色差の二つのスライダがあり、これらスライダにより補正パラメータＮｙｓｙｓとＮｃｓｙｓを指定する。Ｎｙｓｙｓは輝度成分のノイズ除去の強さを設定するパラメータ、Ｎｃｓｙｓは色差成分のノイズ除去の強さを設定するパラメータで、ＮｙｓｙｓとＮｃｓｙｓは０から１００の値をもつ。
【００５１】
輝度成分に対するノイズ除去には、単純化のため、次のような処理を適用する。すなわち、画素（ｉ，  ｊ）の輝度Ｙｉ，ｊを、近傍の四画素の輝度を用いて、次のように算出する。
Ｙｉ，ｊ  ＝  （２×Ｙｉ，ｊ  ＋  Ｙｉ−１，ｊ  ＋  Ｙｉ＋１，ｊ  ＋  Ｙｉ，ｊ−１  ＋  Ｙｉ，ｊ＋１）／６×（１００  −  Ｎｙｓｙｓ）／１００  ＋  Ｎｙｓｙｓ×Ｙｉ，ｊ／１００  …（１）
【００５２】
色差成分に対するノイズ除去処理にも同様に、単純化のため、次のような処理を適用する。すなわち、画素（ｉ，  ｊ）の色差Ｃｂｉ，ｊとＣｒｉ，ｊを、近傍の四画素の色差を用いて、次のように算出する。
2005004656.tif 000003
【００５３】
●色調補正
色調補正に使用するパラメータには、輝度に対するガンマＧｓｙｓ、黒レベルＢｋｓｙｓおよび明るさＬｓｙｓの三つのパラメータ、並びに、色差に対する彩度Ｓｓｙｓのパラメータがある。ここで、Ｇｓｙｓ、ＢｋｓｙｓおよびＬｓｙｓの３パラメータをヒストグラム変更パラメータと呼ぶ。
【００５４】
図９は色調補正ウィンドウ２０５の詳細例を示す図である。Ｇｓｙｓ、Ｂｋｓｙｓ、ＬｓｙｓおよびＳｓｙｓはそれぞれ、色調補正ウィンドウ２０５のスライダにより変更可能である。本実施形態では、Ｇｓｙｓの値は０．１から６．０、Ｂｋｓｙｓの値は０から２５５、Ｌｓｙｓの値は−１００から１００、Ｓｓｙｓの値は０から１５０である。
【００５５】
図１０は輝度補正の手順を示す図である。まず、画素の輝度値のヒストグラムｈｉｓｔ［２５６］をｈｉｓｔ［ｉ］＝ｉで初期化し（Ｓ１００１）、例えば次式に従いｈｉｓｔ［ｉ］を更新する（Ｓ１００２）。
ｈｉｓｔ［ｉ］  ＝  ２５５×［｛（  ｖ  ／  （  ２５５  −  Ｂｋ  ）｝１／Ｇｓｙｓ］＋  Ｌｓｙｓ×（２５５  −  ｖ  ）／２５５  …（４）
ここで、ｖ  ＝  ０    （ｉ  ＜  Ｂｋ）
ｖ  ＝  ｉ  −  Ｂｋ  （その他）
【００５６】
次に、各画素の輝度ｊをｊ＝ｈｉｓｔ［ｊ］で再計算する（Ｓ１００３）。なお、輝度値は、後述する図１２もしくは図１３の最上位のレイヤ「表示」に表示する画像を生成する際に反映される。
【００５７】
ここで、ｈｉｓｔ［ｉ］の計算式には様々な構成が考えられるが、どのような式を使ってヒストグラムを計算しても構わない。ただし、式（３）を用いることでハイライト部がカットされなくなり、色調補正による白飛びで画質を著しく低下させる可能性を減らすことができる。
【００５８】
一方、彩度補正は、各画素の色差を次式で表される色差に補正する。
ｕ’  ＝  Ｓｓｙｓ／１００×ｕ    …（５）
ここで、ｕは補正前の色差ベクトル（Ｃｂ，  Ｃｒ）
ｕ’は補正後の色差ベクトル（Ｃｂ’，  Ｃｒ’）
【００５９】
●シャープネス
シャープネスは、アンシャープマスク（ＵＳＭ）と呼ばれる処理を適用する。ＵＳＭの詳細については省略する。ＵＳＭには、適用半径Ｒｓｙｓ、適用量Ｖｓｙｓ、閾値Ｔｈｓｙｓの三つのパラメータがあり、ＵＳＭ指定ウィンドウ２０６にもこの３パラメータを調整するためのスライダがある。図１１はＵＳＭ指定ウィンドウ２０６の詳細を示す図である。
【００６０】
●自動補正
本実施形態における自動画像補正は、ヒストグラムなどの画像特徴量やＥｘｉｆ情報などの撮影条件などを用いて、補正パラメータを自動設定するものである。Ｅｘｉｆ情報には、撮影モードとして「標準」「風景」「人物」「夜景」が用意されている。この情報は、ユーザが撮影時に設定したカメラモードを保持するもので、補正パラメータをより良好に設定するために有用である。
【００６１】
また、露光時間やｆ値などの撮影条件を取り入れた式で補正パラメータを計算することで、撮影者の意図に近い補正を施すことができるようになる。例えば、ｆ値が大きければパンフォーカスに近くなることが予想される。このような場合は、シャープネスを強めに施すことが考えられる。また、フラッシュの発光量を示すガイドナンバ、露光感度を示すＩＳＯ感度、被写体までの距離である被写体距離、撮影時のｆ値、撮影時の３５ｍｍフィルム換算焦点距離を用いることで、被写体にフラッシュの光が届いたかどうか、また、届くために必要な条件を算出することができる。例えばＩＳＯ  １００の場合、ガイドナンバＧｎ、被写体距離Ｄ、絞りｆの関係は次式のようになるから、例えば、被写体距離に比べてガイドナンバが小さい場合、撮影時のｆ値と理想ｆ値を用いて、適切な明るさに補正することが考えられる。
Ｇｎ  ＝  Ｄ×ｆ    …（６）
【００６２】
以下では、補正パラメータの自動設定方法を説明する。
【００６３】
まず、輝度成分のノイズ除去パラメータＮｙｓｙｓは、隣接画素の輝度差の平均値を画像全体で計算し、その平均値ＹＤＡＶＥを、輝度差の最大値ＹＤＭＡＸで割り、さらに１００倍した値にする。
【００６４】
色差成分のノイズ補正パラメータＮｃｓｙｓは、隣接画素の色差ベクトルの差ベクトルを求め、差ベクトルのノルムの平均値を画像全体で計算し、その平均値ＣＤＡＶＥを、輝度差の最大値ＣＤＭＡＸで割り、さらに１００倍した値にする。
【００６５】
ただし、上記の処理は非常に時間が掛かるので、本実施形態では、露光時間ＴＥ（秒）を用いて、次式でＮｙｓｙｓおよびＮｃｓｙｓを求める。
ＴＥ  ＞  １または撮影モード「夜景」の場合、Ｎｙｓｙｓ  ＝  ＴＥ×２
その他の場合、Ｎｙｓｙｓ  ＝  ０
Ｎｃｓｙｓ  ＝  ０                    …（７）
【００６６】
色調補正パラメータのうち、ガンマ補正パラメータＧｓｙｓは、露光時間ＴＥ（秒）を用いて次式で算出する。
【００６７】
（自動補正・強）
ＴＥ  ＜  ３０の場合、Ｇｓｙｓ  ＝  １．４  −  ＴＥ／７５
その他の場合、Ｇｓｙｓ  ＝  １．０            …（８）
（自動補正・弱）
ＴＥ  ＜  ３０の場合、Ｇｓｙｓ  ＝  １．２  −  ＴＥ／１５０
その他の場合、Ｇｓｙｓ  ＝  １．０            …（９）
色調補正パラメータのうち、黒レベル補正パラメータＢｋｓｙｓは、露光時間ＴＥ（秒）を用いて次式で算出する。
ＴＥ  ＜  ０．０３または撮影モード「風景」の場合、
Ｂｋｓｙｓ  ＝  Ｃｕｓｅｒ×α  ＋  β  ＋  √ｆ
０．０３  ≦  ＴＥ  ＜  １または撮影モード「風景」「夜景」以外の場合、
Ｂｋｓｙｓ  ＝  Ｃｕｓｅｒ×α  ＋  β
ＴＥ  ≧  １または撮影モード「夜景」の場合、
Ｂｋｓｙｓ  ＝  Ｃｕｓｅｒ×α                              …（１０）
ここで、
【００６８】
式（１０）において、ｆは撮影情報から得られるｆ値だが、補正対象の画像データがＥｘｉｆ準拠ではないなどの理由により、撮影情報がない場合はこの項を無視する。αおよびβの値は次式で表される。
【００６９】
（自動補正・強）
α  ＝  ３
ｈｉｓｔ（ＢｋＨＩＧＨ）  ＜  ＢｋＶａｌｕｅ  ＨＩＧＨの場合、β  ＝  ｈｉｓｔ（ＢｋＨＩＧＨ）
その他の場合、β  ＝  ｈｉｓｔ（ＢｋＶａｌｕｅ  ＨＩＧＨ）
（自動補正・弱）
α  ＝  ２
ｈｉｓｔ（ＢｋＬＯＷ）  ＜  ＢｋＶａｌｕｅ  ＬＯＷの場合、β  ＝  ｈｉｓｔ（ＢｋＬＯＷ）
その他の場合、β  ＝  ｈｉｓｔ（ＢｋＶａｌｕｅ  ＬＯＷ）              …（１１）
ここでｈｉｓｔ（ＢｋＨＩＧＨ）およびｈｉｓｔ（ＢｋＬＯＷ）は、輝度が低い順に画素を所定の割り合い（ｎ％）選択して、選択した画素の中で最も明るいまたは最も暗い画素の輝度を表す。例えば、ＢｋＨＩＧＨ＝１３、ＢｋＬＯＷ＝４などである。また、ＢｋＶａｌｕｅ  ＨＩＧＨとＢｋＶａｌｕｅ  ＬＯＷは、過剰な黒レベル補正を行わないための定数で、本実施形態ではそれぞれＢｋＶａｌｕｅ  ＨＩＧＨ＝４０、ＢｋＶａｌｕｅ  ＬＯＷ＝２０である。
【００７０】
色調補正パラメータのうち、明るさ補正パラメータＬｓｙｓは、画像全体の平均輝度Ｌａｖｅを用いて次式で算出する。
Ｌａｖｅ  −  １２８  ＞  Ｌｌｉｍｉｔの場合、
Ｌｓｙｓ  ＝  Ｐｍｏｄｅ×ａ  ＋  Ｌｌｉｍｉｔ
｜Ｌａｖｅ  −  １２８｜  ＜  Ｌｌｉｍｉｔの場合、
Ｌｓｙｓ  ＝  Ｐｍｏｄｅ×ａ  ＋  １２８  −  Ｌａｖｅ
１２８  −  Ｌａｖｅ  ＞  Ｌｌｉｍｉｔの場合、
Ｌｓｙｓ  ＝  Ｐｍｏｄｅ×ａ  −  Ｌｌｉｍｉｔ        …（１２）
【００７１】
Ｌｌｉｍｉｔは、過剰な明るさ補正を適用しないための値で定数である。変数Ｐｍｏｄｅは撮影モードが「人物」か否かの状態を表し、「人物」モードであればＰｍｏｄｅ＝１、そうでなければＰｍｏｄｅ＝０である。自動補正・強の場合は、Ｌｌｉｍｉｔ＝１６およびａ＝３、自動補正・弱の場合はＬｌｉｍｉｔ＝８およびａ＝２にする。ただし、露光時間が１秒以上もしくは撮影モードが「夜景」の場合はＬａｖｅの値に関わらずＬｓｙｓ＝０にする。
【００７２】
人物の撮影は若干、露光オーバ気味がよいとされている。式（１２）を用いることで、顔検出などの複雑な処理を行うことなしに適切な補正を行うことができる。
【００７３】
シャープネスの補正パラメータ、上述したように、適用半径Ｒｓｙｓ、適用量Ｖｓｙｓ、閾値Ｔｈｓｙｓの３パラメータがあるが、本実施形態の自動補正では、適用量Ｖｓｙｓだけを次式によって自動設定し、適用半径Ｒｓｙｓ＝１および閾値Ｔｈｓｙｓ＝０にする。
ＴＥ  ＞  １または撮影モード「夜景」の場合、
Ｖｓｙｓ  ＝  ＵＳＭＭＡＸ  Ｖａｌｕｅ  −  ＴＥ
それ以外の場合、
Ｖｓｙｓ  ＝  ＵＳＭＭＡＸ  Ｖａｌｕｅ        …（１３）
【００７４】
ＵＳＭＭＡＸ  Ｖａｌｕｅは、ＵＳＭの最大適用量で、自動補正・強の場合は８０、自動補正・弱の場合は５０にする。また、Ｖｓｙｓの値が負になった場合はＶｓｙｓ＝０にする。
【００７５】
このように、Ｅｘｉｆ情報を利用して、適切な画像補正を行うことが可能になる。
【００７６】
【第２実施形態】
以下、本発明にかかる第２実施形態の画像処理装置を説明する。なお、本実施形態において、第１実施形態と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００７７】
第１実施形態では、単純に、画像全体を色補正してユーザに提示する例を説明したが、画像全体の画像処理は時間が掛かる場合が多く、画面に表示される部分だけを画像処理する方が現実的である。第２実施形態では、画面に表示する部分だけを画像処理してユーザに提示する例を説明する。
【００７８】
図１２は画像全体を表示する際の処理を説明する図である。表示領域２０３よりも補正対象画像のサイズが大きい場合、補正対象画像を表示領域２０３に内接するサイズに縮小した後、すべての補正を適用する。もし逆に、補正対象画像のサイズが表示領域２０３よりも小さい場合は、すべての補正処理を適用した後、表示する直前に拡大処理を行う。拡大・縮小のアルゴリズムには様々な方法を適用可能であるが、詳細な説明は省略する。
【００７９】
図１３は部分画像を表示する際の処理を説明する図である。表示領域２０３よりも補正対象画像のサイズが大きい場合、補正対象画像から表示領域２０３に内接するサイズの部分画像を抽出し、部分画像にすべての補正を適用し、表示領域２０３に表示する。もし逆に、補正対象画像のサイズが表示領域２０３よりも小さい場合は、すべての補正処理を適用した後、表示領域２０３の所定の位置、例えば表示領域２０３の中央に表示する。
【００８０】
このような処理により、よりスムーズに補正結果をユーザに提示することが可能になる。ここで、図１２に示す縮小処理後に補正処理を適用する系では、補正処理を補正対象画像そのものに適用する場合と、縮小画像に適用する場合とで、結果が異なる補正処理が存在する。例えばシャープネスで利用するＵＳＭは、処理に用いる半径をピクセル単位に指定すると、縮小処理によって仮想的に半径が拡大したことと同義になる。そこで、このような場合、縮小率に合わせてＵＳＭの適用半径を小さくすることが考えられる。例えば、ＵＳＭの適用半径Ｒｓｙｓ’を、補正パラメータＲｓｙｓを用いて、次式で算出する。
Ｒｓｙｓ’  ＝  Ｒｓｙｓ×Ｄｕｘ      …（１４）
ここで、Ｄｕｘ  ＝  Ｗｉｄｔｈｖｉｅｗ／Ｗｉｄｔｈｏｒｉｇ
Ｗｉｄｔｈｏｒｉｇは画像の幅（ピクセル単位）
Ｗｉｄｔｈｖｉｅｗは拡大縮小後の画像の幅（ピクセル単位）
【００８１】
【第３実施形態】
第２実施形態で、第１実施形態で説明した処理の高速化を説明したが、第３実施形態では、さらに高速に処理する方法を説明する。
【００８２】
例えば部分表示時に補正対象画像のサイズが表示領域２０３より大きいならば、スクロールバーを操作するなどして表示領域２０３に表示される部分画像を変更する場合、第２実施形態では常に部分画像を抽出し、すべての画像処理を適用して、その結果を表示することになる。ハードウェアで画像補正を実現する場合、第２実施形態の処理でも充分な速度が得られる可能性が高い。しかし、ソフトウェアで画像補正を実現する場合は、スクロール速度が遅くなったり、スムーズなスクロールができなかったりする場合がある。
【００８３】
そこで、画像全体表示における補正対象画像のサイズ変更処理、および、部分画像の表示時のスクロール操作における表示領域の変更処理中は、幾つかの画像補正、例えばノイズ除去およびシャープネスを省略することが考えられる。
【００８４】
図１４はノイズ除去およびシャープネスを省略可能にする画像処理の構成例を示すブロック図である。スイッチＳＷ  ７１１から７１９は、次に挙げるスキップ条件の何れかを満たす場合にオンになり、ノイズ除去およびシャープネスをスキップする。
（１）  表示領域２０３を含むウィンドウのリサイズ操作中
（２）  部分画像の表示時におけるスクロール操作中。つまり、表示領域２０３上でマウスボタンが押された状態でマウスが移動された場合、もしくは、スクロールバーの操作中。
【００８５】
イベントドリブンなシステムであれば、条件（２）に相当するイベントが送られてきた場合にスイッチＳＷ  ７１１から７１９をオンにして、補正処理の一部をスキップすればよい。そうでない場合は、マウス操作に伴いＣＰＵ  １０１が、例えば図１５に示すスキップ処理を行うことが考えられる。
【００８６】
まず、上記のステップ条件の何れかを満たすかチェックし（Ｓ１５０１）、何れかスキップ条件を満たす場合は図１４に示すスイッチＳＷ  ７１１から７１９をオンにして補正処理をスキップする（Ｓ１５０２）。そして、再びスキップ条件をチェックし（Ｓ１５０４）、何れかスキップ条件を満たす場合は処理をステップＳ１５０２へ戻し、ステップＳ１５０２およびＳ１５０４を繰り返す。
【００８７】
また、ステップＳ１５０１またはＳ１５０４で何れのスキップ条件も満たさない場合は、すべての補正処理を適用し（Ｓ１５０５）、処理を終了する。
【００８８】
このように、スクロールやリサイズ中は補正結果をユーザに提示する必要性が低いことを考慮して、補正処理の一部を省略することで、より快適なＧＵＩ操作をユーザに提供することができる。
【００８９】
【第４実施形態】
第４実施形態では、上述したＧＵＩを用いて補正した画像を印刷する処理を説明する。
【００９０】
印刷処理は、画像処理部を上述したどの形態で実装したとしても、図７に示す系で画像補正を行って得られる画像信号を、印刷解像度によって定まる印刷用データに合わせた画像サイズに拡大もしくは縮小して印刷画像を作成し、ＣＭＹＫなど印刷用の画像信号に変換する。その際、印刷サイズによらず、常に同じ補正パラメータを適用しても構わないが、印刷出力サイズに応じて補正パラメータを修正することが考えられる。一般に、例えばＬ判サイズなど小さい記録紙に印刷する場合は、Ａ４サイズなど大きい記録紙に印刷する場合に比べ、同じデータで印刷した場合でもコントラストが高くみえる傾向がある。そこで、例えば記録紙の面積に応じて補正パラメータを修正することが考えられる。
【００９１】
第４実施形態では、Ｌ判サイズの面積を１とした場合の面積比αを用いて、コントラストを補正する。具体的には、ヒストグラム変更パラメータのうち、黒レベルＢｋｓｙｓを補正してコントラストを調整する。また、シャープネス処理の補正パラメータのうち、ＵＳＭの適用量Ｖｓｙｓを補正する。印刷時の黒レベルＢｋｐｒｔおよび印刷時の適用量Ｖｐｒｔは次式のようになる。
Ｂｐｒｔ  ＝  α×Ｂｋｓｙｓ                （１５）
Ｖｐｒｔ  ＝  （１００  ＋  α）×Ｖｓｙｓ／１００    （１６）
【００９２】
このように補正パラメータを修正することで、印刷出力サイズによる印象の差を低減することができる。
【００９３】
以上説明したように、上述した各実施形態によれば、メタデータとして格納されている撮影情報の数値そのものを用いて、撮影時のカメラ設定を適切に反映した画像補正を行うことが可能になる。
【００９４】
また、リアルタイムに画像補正結果をユーザに提示し、処理の順序を意識させずに適切な画像補正を行うことが可能になる。また、ユーザの好みを反映した自動補正結果について、任意のパラメータの調整を行うことが可能になる。
【００９５】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００９９】
【発明の効果】
以上説明したように、本発明によれば、適切な処理の順序で、画像データを補正することができる。
【図面の簡単な説明】
【図１】実施形態のシステムの概略を示すブロック図、
【図２】モニタに表示される画像補正用のグラフィカルユーザインタフェイス（ＧＵＩ）の一例を示す図、
【図３】ツールバー２０２の詳細なボタン配置例を示す図、
【図４】画像情報の表示ウィンドウの一例を示す図、
【図５】オプションウィンドウの一例を示す図、
【図６】ステイタスバーの詳細例を示す図、
【図７】画像処理の構成例を示すブロック図、
【図８】ノイズ除去指定ウィンドウの詳細例を示す図、
【図９】色調補正ウィンドウの詳細例を示す図、
【図１０】輝度補正の手順を示す図、
【図１１】ＵＳＭ指定ウィンドウの詳細を示す図、
【図１２】画像全体を表示する際の処理を説明する図、
【図１３】部分画像を表示する際の処理を説明する図、
【図１４】ノイズ除去およびシャープネスを省略可能にする画像処理の構成例を示すブロック図、
【図１５】スキップ処理を示すフローチャートである。
【図１】
2005004656.tif 000004
【図２】
2005004656.tif 000005
【図３】
2005004656.tif 000006
【図４】
2005004656.tif 000007
【図５】
2005004656.tif 000008
【図６】
2005004656.tif 000009
【図７】
2005004656.tif 000010
【図８】
2005004656.tif 000011
【図９】
2005004656.tif 000012
【図１０】
2005004656.tif 000013
【図１１】
2005004656.tif 000014
【図１２】
2005004656.tif 000015
【図１３】
2005004656.tif 000016
【図１４】
2005004656.tif 000017
【図１５】
2005004656.tif 000018