(57)【特許請求の範囲】
【請求項１】
画像を表示する表示手段の特性、該表示手段の観察環境、および編集指示を行うユーザの特性のばらつきを補正する補正データにより補正された状態により前記画像を表示し、
該表示された画像に対して感性表現による編集指示を行い、
該編集指示に基づいて、編集環境による画像の印象のばらつきの影響を排除した編集指示内容を表す汎用感性表現スクリプトを生成し。
該汎用感性表現スクリプトに基づいて、前記画像を表す画像データに対して画像処理を施して処理済み画像データを得ることを特徴とする画像処理方法。
【請求項２】
前記汎用感性表現スクリプトが、前記補正データによる補正量を排除した前記編集指示内容を表すものであることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記処理済み画像データを出力する際の出力条件にも基づいて、前記画像データに対して画像処理を施すことを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
画像を表示する表示手段であって、該表示手段の特性、該表示手段の観察環境、および編集指示を行うユーザの特性のばらつきを補正する補正データにより補正された状態により前記画像を表示する表示手段と、
前記表示された画像に対して感性表現による編集指示を行う編集指示手段と、
該編集指示に基づいて、編集環境による画像の印象のばらつきの影響を排除した編集指示内容を表す汎用感性表現スクリプトを生成するスクリプト生成手段と、
該汎用感性表現スクリプトに基づいて、前記画像を表す画像データに対して画像処理を施して処理済み画像データを得る画像処理手段とを備えたことを特徴とする画像処理システム。
【請求項５】
前記汎用感性表現スクリプトが、前記補正データによる補正量を排除した前記編集指示内容を表すものであることを特徴とする請求項４記載の画像処理システム。
【請求項６】
前記画像処理手段は、前記処理済み画像データを出力する際の出力条件にも基づいて、前記画像データに対して画像処理を施す手段であることを特徴とする請求項４または５記載の画像処理システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、「シャープな感じ」、「柔らかい感じ」等の感性表現によって表された画像処理内容により画像データに対して画像処理を施す画像処理方法およびシステム並びに画像処理システムにおける処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
ユーザが撮影した写真を使用して、ポストカード、カレンダー、Ｔシャツ等を作成するプリントサービスが知られている。このようなサービスにおいては、ユーザから預かったネガやプリントをラボにおいてデジタル化し、ユーザが希望する画像処理を行った後にプリントがなされる。この場合の画像処理としては、レイアウト決め、トリミング、画像と文字との組み合わせの他、階調処理、色変換処理等が挙げられる。このような画像処理をユーザの希望通りに行うため、ラボにおいて得られた画像データをユーザに提供し、ユーザは所定のソフトウエアを用いてパソコン上にて画像を観察しながら希望する画像処理を行い、その画像処理の内容を記録媒体に記録し、あるいはネットワークを介してラボに転送し、ラボにおいてはユーザが作成した画像処理内容に基づいて、画像データに対して処理を行うプリント方法が知られている。この際、画像データのやりとりとしては、ＭＯやＺＩＰ等の大容量の記録メディアが用いられるが、ＦＤのような汎用的な記録メディアを用いて画像データをやりとりするために、ユーザには低解像度の画像データを提供し、ラボにおいてのみ高解像度の画像データを用いて画像処理を行うようにしたプリント方法が提案されている（特開平１０−２００７３０号）。
【０００３】
一方、画像は、「シャープである」、「柔らかい感じがする」、「暖かい感じがする」、「冷たい感じがする」等の感性的な表現によりその印象を表すことができる。この際、複数の画像の中からユーザが所望とする感性表現に対応する画像を検索するために、複数の画像と各画像に対する感性語に基づく処理内容を表す特徴量とを対応付けて記憶しておき、感性語に基づいてこの感性語に対応する特徴量を算出し、算出された特徴量に基づいて画像を検索するようにした検索装置が提案されている（特開平９−１１４８５３号）。
【０００４】
【発明が解決しようとする課題】
ここで、上述したプリント方法においても、「シャープな感じにしたい」、「柔らかい感じにしたい」、「明るい感じにしたい」等の感性表現により画像処理を施したいという要望がある。この場合、上記特開平９−１１４８５３号に記載されているように、画像と特徴量とを対応付けておき、感性表現とその特徴量により表される画像処理内容との対応を求め、求められた画像処理内容により画像データに対して処理を施すことにより、感性表現に対応した画像処理が施された画像を得ることができる。また、上記特開平１０−２００７３０号に記載された方法と同様に、感性表現に対応した画像処理内容をラボに転送して画像データに対して画像処理を施してプリントとして出力することが考えられる。
【０００５】
しかしながら、ユーザが所有するパソコンのモニタと、ラボにおいて得られるプリント等の画像出力媒体とでは、同じ感性表現に対応する画像処理を施しても、その印象が異なるものとなってしまう。例えば、モニタは発光表示媒体であり、プリントは反射表示媒体であることから、同一の画像処理を施してもその印象は異なるものとなる。また、同一の画像処理を施しても、光沢プリントはシャープな感じとなるのに対し、絹目プリントは柔らかい感じとなる。さらに、画像の印象はその画像を観察する者によっても異なり、また画像を観察する観察環境によっても異なるものとなる。
【０００６】
本発明は上記事情に鑑みなされたものであり、出力媒体や画像の観察条件が異なっても、感性的な印象を変更することなく感性表現に応じた画像処理を施すことができる画像処理方法およびシステム並びに画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００７】
【課題を解決するための手段】
本発明による画像処理方法は、画像に対して感性表現による編集指示を行い、
該編集指示の内容に基づいて汎用感性表現スクリプトを生成し、
該汎用感性表現スクリプトに基づいて、前記画像を表す画像データに対して画像処理を施して処理済み画像データを得ることを特徴とするものである。
【０００８】
ここで、「感性表現による編集指示」とは、画像に対して「シャープさ」、「柔らかさ」、「暖かさ」、「冷たさ」、「明るさ」等の感性的な表現に基づいて、シャープネスを上げたり、柔らかさを強くしたり、明るさを向上させる編集を行う指示内容のことをいう。
【０００９】
また、「汎用感性表現スクリプト」とは、感性表現による編集指示を行った際に、画像に対して編集指示を行っている者の感性、編集指示を行っている画像の観察条件等（以下編集環境とする）による画像の印象のばらつきの影響を排除した編集指示内容を表すスクリプトのことをいう。
【００１０】
なお、本発明による画像処理方法においては、前記処理済み画像データを出力する際の出力条件にも基づいて、前記画像データに対して画像処理を施すことが好ましい。
【００１１】
ここで、「出力条件」とは、処理済み画像データを出力する出力媒体の特性、観察環境、出力された画像を観察する観察者の個々人の特性のように、出力される画像の印象に影響を与える条件のことをいう。
【００１２】
本発明による画像処理装置は、画像に対して感性表現による編集指示を行う編集指示手段と、
該編集指示の内容に基づいて汎用感性表現スクリプトを生成するスクリプト生成手段と、
該汎用感性表現スクリプトに基づいて、前記画像を表す画像データに対して画像処理を施して処理済み画像データを得る画像処理手段とを備えたことを特徴とするものである。
【００１３】
なお、本発明による画像処理装置においては、前記画像処理手段は、前記処理済み画像データを出力する際の出力条件にも基づいて、前記画像データに対して画像処理を施す手段であることが好ましい。
【００１４】
本発明による編集指示装置は、画像に対して感性表現による編集指示を行う編集指示手段と、
該編集指示の内容に基づいて汎用感性表現スクリプトを生成するスクリプト生成手段とを備えたことを特徴とするものである。
【００１５】
本発明による画像処理装置は、本発明による編集指示装置において得られた汎用感性表現スクリプトに基づいて、前記画像を表す画像データに対して画像処理を施して処理済み画像データを得る画像処理手段を備えたことを特徴とするものである。
【００１６】
なお、本発明による画像処理装置においては、前記画像処理手段は、前記処理済み画像データを出力する際の出力条件にも基づいて、前記画像データに対して画像処理を施す手段であることが好ましい。
【００１７】
なお、本発明による画像処理システムにおいて行われる処理をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００１８】
【発明の効果】
本発明によれば、感性表現による編集指示の内容に基づいて汎用感性表現スクリプトを生成し、この汎用感性表現スクリプトに基づいて画像データに対して画像処理を施すようにしたものである。このため、編集環境に依存した画像の見え方のばらつきが排除された画像処理の内容により画像データに対して画像処理を施すことができ、これにより編集環境における画像の印象に影響されない画像を表す処理済み画像データを得ることができる。
【００１９】
また、処理済み画像データを出力する際の出力条件にも基づいて画像処理を行うことにより、処理済み画像データを出力する出力媒体の特性、観察環境、出力された画像を観察する観察者の個々人の特性等を考慮して、編集時と同様の印象を有する画像を表す処理済み画像データを得ることができる。
【００２０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００２１】
図１は本発明の実施形態による画像処理システムを適用した画像出力システムの構成を示す概略ブロック図である。図１に示すように本実施形態による画像出力システムは、ユーザのパソコン１において画像データＳ０に対して感性表現による編集指示を行い、その編集指示内容に基づいて汎用感性表現スクリプトＨを生成してラボに転送し、ラボ２において汎用感性表現スクリプトＨに基づいて画像データＳ１に対して画像処理を行って出力するものである。
【００２２】
パソコン１は、画像生成／入力手段３において生成された画像データＳ０に対して感性表現による編集指示を行う編集指示手段４と、編集指示手段４において編集指示を行う際の画像データＳ０の入力条件を設定する入力条件設定手段５と、編集指示手段４において行われた編集指示の内容に基づいて汎用感性表現スクリプトＨを生成するスクリプト生成手段６とを備える。なお、編集指示手段４、入力条件設定手段５およびスクリプト生成手段６において行われる処理は、パソコン１のハードディスクに記憶されたプログラムに基づいて、ＣＰＵ、メモリ、モニタを用いて行われる。
【００２３】
画像生成／入力手段３としては、例えば撮像により画像データＳ０を得るデジタルカメラ、コンピュータグラフィック生成装置が挙げられる。また、ラボ２においてユーザが持ち込んだフイルムをスキャナにより読み取ることにより画像データＳ０を得る読取装置であってもよい。画像生成／入力手段３がラボ２における読取装置である場合、画像データＳ０は読取りにより得られた高解像度の画像データの画素数を減らした低解像度の画像データであってもよく、この場合はラボ２においてＭＯ、ＺＩＰ、ＣＤ−Ｒ、ＦＤ等の記録メディアに画像データＳ０が記録されてユーザに提供される。また、ネットワークを介してラボ２から画像データＳ０が転送されるものであってもよい。なお、本実施形態においては、ラボ２の読取装置（不図示）において得られた高解像度の画像データＳ１から低解像度の画像データＳ０を生成し、この低解像度の画像データＳ０をネットワークを介してユーザのパソコン１に転送するものとし、高解像度の画像データＳ１はラボ２において保管されるものとする。
【００２４】
編集指示手段４は、「もっと明るい感じ」、「楽しい感じ」等の感性表現による編集指示を行う。編集指示手段４に対する入力はパソコン１に設けられたキーボード、マウス等の入力手段により行われる。また、編集指示手段４にはデータベース４Ａが設けられており、このデータベース４Ａに感性表現と画像処理の内容とが関連付けて記憶されている。例えば、「シャープさ」には周波数強調処理および硬階調処理が、「冷たさ」には彩度低下処理および暖色を寒色に色相変更する処理が、「柔らかさ」には周波数低減処理、寒色を暖色に色相変更する処理およびソフトフォーカス処理が対応付けられている。
【００２５】
入力条件設定手段５は、パソコン１に設けられたモニタ４Ｂの特性、モニタ４Ｂを観察する観察環境、ユーザの感性表現のばらつきを補正する補正データを保持しており、編集指示時にこの補正データに基づいて画像データＳ０を補正する。
【００２６】
スクリプト生成手段６は、編集指示手段４における編集指示の結果に基づいて、入力条件設定手段６による補正を考慮することなく、感性表現から定量性を持った汎用感性表現スクリプトＨを生成する。そして、汎用感性表現スクリプトＨはネットワークを介してラボ２に転送される。なお、画像生成／入力手段３がデジタルカメラやコンピュータやコンピュータグラフィック生成装置の場合は、画像データＳ０とともに汎用感性表現スクリプトＨがラボ２に転送される。この場合、汎用感性表現スクリプトＨあるいはこれと画像データＳ０をＭＯ、ＺＩＰ、ＣＤ−Ｒ、ＦＤ等の記録メディアに記録して、ラボ２に送るようにしてもよい。
【００２７】
編集指示手段４、入力条件設定手段５およびスクリプト生成手段６における具体的な処理を以下に説明する。図２は編集指示を行う際のモニタ４Ｂの表示画面を示す図である。図２に示すように、編集指示時においてパソコン１のモニタ４Ｂには画像を表示する画像ウィンドウ１１、編集指示を行うための指示ウィンドウ１２および編集指示に対してＯＫを出すＯＫボタン１３が表示される。指示ウィンドウ１２には、プルダウンメニュー１４が表示されており、矢印部分をクリックすることにより「シャープさ」、「冷たさ」、「柔らかさ」、「固さ」、「明るさ」、「楽しさ」、「軽やかさ」、「暖かさ」、「細かさ」等の感性表現によるメニューが表示され、所望とされるメニューをクリックすることによりそのメニューを選択することができる。プルダウンメニュー１４の下方には、選択されたメニューに対応する画像処理の程度を変更するためのボタン１５Ａ，１５Ｂが表示される。
【００２８】
そして、画像ウィンドウ１１に画像データＳ０により表される画像を表示し、所望とするメニューを選択し、ボタン１５Ａをクリックすることにより選択したメニューによる画像処理の程度が１段階向上し、ボタン１５Ｂをクリックすることにより選択したメニューによる画像処理の程度が１段階低下する。これにより、画像ウィンドウ１１には、選択されたメニューおよび設定された程度に対応する画像処理が施された画像が表示される。この際、入力条件設定手段５が、モニタの色温度、観察環境、モニタの解像度、１ドットあたりの視野角等の情報に基づいて、ボタン１５Ａ，１５Ｂの１クリックあたりの画像処理量を補正し、補正された画像が画像ウィンドウ１１に表示される。
【００２９】
なお、この場合、ユーザ個々人の感性表現と、その感性表現による処理との間には感じ方の差があるため、処理後の画像を表示した際に、処理後の画像の満足度をユーザが入力するようにし、そのデータを蓄積することにより、ユーザ個々人の感性とデータベース４Ａにおける処理内容との差異を学習し、画像ウィンドウ１１への表示の際に、この学習結果に基づいて画像処理の程度や内容を変更してもよい。
【００３０】
そして、画像ウィンドウ１１に表示された画像がユーザが満足するものであればＯＫボタン１３をクリックし、さらに程度を変更する必要があれば、ボタン１５Ａ，１５Ｂをクリックすることによりその程度を変更する。そして、ＯＫボタン１３がクリックされると、スクリプト生成手段６において汎用感性表現スクリプトＨが生成される。
【００３１】
この汎用感性表現スクリプトＨは図３に示すようなテキストファイルであり、図３に示す例においては、画像１に対してシャープネスをプラス１０、冷たさをプラス１５とする内容となっている。ここで、汎用感性表現スクリプトＨの数値は、上記ボタン１５Ａ，１５Ｂのクリック回数により変更され、例えば１クリックあたり５ポイントと設定される。また、この数値には入力条件設定手段５における補正データによる補正量を含まない値となっている。したがって、汎用感性表現スクリプトＨはモニタの特性、観察環境、ユーザ個々人の特性による補正量を含まない汎用的な感性表現による画像処理の程度を表すものとなっている。
【００３２】
ラボ２は、汎用感性表現スクリプトＨに基づいて、ラボ２に保管された高解像度の画像データＳ１に対して画像処理を施して処理済み画像データＳ２を得る画像処理手段７と、処理済み画像データＳ２を出力するプリンタ、記録メディアに処理済み画像データＳ２を記録する記録装置等の出力手段８と、画像処理の際に出力手段８における出力条件を設定する出力条件設定手段９とを備える。
【００３３】
画像処理手段７は、編集指示手段４のデータベース４Ａと同様に感性表現と画像処理の内容とが関連付けて記憶されたデータベース７Ａを有し、汎用感性表現スクリプトＨに基づいてデータベース７Ａを参照して画像データＳ０に対して画像処理を施して処理済み画像データＳ２を得るものである。
【００３４】
出力条件設定手段９は、処理済み画像データＳ２を出力する出力媒体の特性、観察環境、観察者の特性等によるばらつきを補正する補正データを保持しており、画像処理手段７は画像処理時にこの補正データに基づいて画像処理の程度を変更する。例えば、出力媒体が表面光沢の白いマグカップへのプリントである場合、出力媒体自体が元々冷たい印象を受けるものであるため、汎用感性表現スクリプトＨにおいて「冷たさ」を向上させる指示があっても、その程度をあまり上げないように画像処理の内容を補正する。また、写真プリントにおいても、光沢プリントの場合は「シャープな」感じや「冷たい」感じがあるため、「シャープさ」や「冷たさ」を向上させる指示があっても、その程度をあまり上げないように画像処理の内容を補正し、絹目プリントの場合は元々「柔らかい」感じがあるため、「柔らかさ」を向上させる指示があっても、その程度をあまり上げないように画像処理の内容を補正する。さらに、複数の画像を並べてプリントする場合において、周辺の画像が「明るい」感じの場合、「明るさ」を向上させる指示があっても、周辺の画像に負けないようにさらにその程度を上げるように画像処理の内容を補正する。この場合、入力条件設定手段５において、観察者すなわちユーザの個々人の特性を学習している場合にはその学習結果を出力条件設定手段９に入力し、この学習結果に基づいて画像処理の程度を変更してもよい。
【００３５】
次いで、本実施形態の動作について説明する。図４は本実施形態の動作を示すフローチャートである。まず、画像生成／入力手段３において画像データＳ０を取得し（ステップＳ１）、パソコン１に入力する（ステップＳ２）。そして、編集指示手段４において画像データＳ０に対して感性表現による編集指示が行われる（ステップＳ３）。この際、上述したように入力条件設定手段５に保持された補正データに基づいて処理の程度が変更されて、処理がなされた画像がモニタの画像ウィンドウ１１に表示される。そして、画像ウィンドウ１１に表示された画像における処理の程度がＯＫであれば（ステップＳ４）、スクリプト生成手段６において汎用感性表現スクリプトＨが生成され（ステップＳ５）、ラボ２へ転送される（ステップＳ６）。以上がパソコン１において行われる処理である。
【００３６】
ラボ２においては、転送された汎用感性表現スクリプトＨに基づいて、ラボ２に保管されている高解像度の画像データＳ１に対して画像処理を施して処理済み画像データＳ２が得られる（ステップＳ７）。この際、上述したように出力条件設定手段５に保持された補正データに基づいて、画像処理の程度が変更される。そして処理済み画像データＳ２が出力手段８において所定の出力媒体に出力され（ステップＳ８）、処理を終了する。
【００３７】
このように、本実施形態によれば、汎用感性表現スクリプトＨに基づいて画像データＳ１に対して画像処理を施すようにしたため、編集を行ったユーザやパソコン１のモニタの観察条件等の編集環境に依存した画像の見え方のばらつきが排除された画像処理の内容により画像データＳ１に対して画像処理を施すことができ、これにより編集時の環境における画像の印象に影響されない画像を表す処理済み画像データＳ２を得ることができる。
【００３８】
また、処理済み画像データＳ２を出力する際の出力条件にも基づいて画像処理を行うようにしたため、処理済み画像データＳ２を出力する出力媒体の特性、観察環境、出力された画像を観察する観察者の個々人の特性等を考慮して、編集時と同様の印象を有する画像を表す処理済み画像データＳ２を得ることができる。
【００３９】
なお、上記実施形態においては、感性表現と画像処理の内容とを対応付けて編集指示手段４および画像処理手段７のデータベース４Ａ，７Ａに記録しておき、これを参照してモニタ４Ｂに表示される画像および出力される画像に対して画像処理を行っているが、感性表現を引数とした画像処理関数により画像処理を行ってもよい。この場合、汎用感性表現スクリプトＨにより指示された感性表現に対応する画像処理関数を読出し、ボタン１５Ａ，１５Ｂにより設定された画像処理の程度を修正量として、修正量に基づいて画像処理関数により画像処理を施す。このような画像処理関数を用いたプログラムの例を図５に示す。図５（ａ）に示すように、関数の呼び出し例として「shori("シャープさ",10)のように設定されている場合には、汎用感性表現スクリプトＨにおける感性表現の「シャープさ」を引数としてその修正量が１０であることを表すものとする。そして、図５（ｂ）に示すようなプログラムにより処理を行うと、引数kanseiが「シャープさ」である場合には、周波数強調処理を行う関数sharpが呼び出されて、修正量（ryou）１０により周波数強調処理が行われる。また、同時に引数kanseiが「柔らかさ」である場合には、周波数低減処理を行う関数yawarakaiが呼び出されて修正量ryouにより周波数低減処理が行われる。
【００４０】
この場合、感性表現と画像処理内容との関係の知見が向上し、より高性能の関数が得られた場合には、sharp()、yawarakai()等の関数を差し替えるのみで、間単にバージョンアップを行うことができる。また、機種に応じて高性能なものは、高度な処理を行うことができるように、より高性能の関数に差し替えることができ、これにより機種の処理能力に応じた関数により画像処理を行うことができる。これらの関数の差し替えは、関数を１つのダイナミックリンクライブラリー（ＤＬＬ）に登録しておくことにより、このＤＬＬを交換するのみで実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による画像出力システムの構成を示す概略ブロック図
【図２】編集指示を行う際のモニタ表示画面を示す図
【図３】汎用感性表現スクリプトの例を示す図
【図４】本実施形態の動作を示すフローチャート
【図５】画像処理を行う関数のプログラムを示す図
【符号の説明】
１    パソコン
２    ラボ
３    画像生成／入力手段
４    編集指示手段
５    入力条件設定手段
６    スクリプト生成手段
７    画像処理手段
８    出力手段
９    出力条件設定手段
１１    画像ウィンドウ
１２    指示ウィンドウ
１３    ＯＫボタン
【図１】
0003847480.tif 000002
【図２】
0003847480.tif 000003
【図３】
0003847480.tif 000004
【図４】
0003847480.tif 000005
【図５】
0003847480.tif 000006