(57)【要約】【課題】画像を加工する際、パラメータを調整する操作がユーザにとって煩雑である。【解決手段】加工部１０は、対象画像に加工を施す。提示部３０は、加工部１０により加工されて生成された複数の候補画像をユーザに提示する。受付部４０は、複数の候補画像に対するユーザの選択を受け付ける。加工部１０は、受付部４０により受け付けられたユーザの選択結果を参照して、複数の候補画像を再生成する。提示部３０は、再生成された候補画像を再表示する。【選択図】図１
2008015632.tif 000002
【特許請求の範囲】
【請求項１】
対象画像に加工を施す加工部と、
前記加工部により加工されて生成された複数の候補画像をユーザに提示する提示部と、
前記複数の候補画像に対するユーザの選択を受け付ける受付部と、を備え、
前記加工部は、前記受付部により受け付けられたユーザの選択結果を参照して、複数の候補画像を再生成することを特徴とする画像処理装置。
【請求項２】
前記加工部は、
前記対象画像を加工するために調整するｎ（ｎは自然数）個のパラメータで記述したｎ次元のパラメータ空間内に複数の仮点を発生させる仮点発生部と、
前記仮点発生部により発生された複数の仮点から複数の候補点を取得する候補点取得部と、
前記候補点取得部で取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を生成する候補画像生成部と、
を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記加工部は、
前記候補点取得部により取得された複数の候補点をそれぞれ一つ含む領域に前記パラメータ空間を分割する空間分割部と、
前記空間分割部により分割された複数の領域のうち、前記受付部により選択された候補画像に対応する候補点を含む領域を候補空間に設定する候補空間設定部と、をさらに含み、
前記候補点取得部は、前記候補空間設定部により設定された候補空間内に複数の候補点を設置するため、前記仮点発生部により発生される複数の仮点から複数の候補点を再取得し、
前記候補画像生成部は、前記候補点取得部で再取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を再生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記加工部は、
前記仮点発生部により発生された仮点と前記受付部により選択された候補画像に対応する候補点との第１距離、および前記仮点と前記受付部により選択されなかった候補画像に対応する候補点との第２距離を算出する距離算出部と、
前記距離算出部により算出された、前記第１距離と前記第２距離とを比較する比較部と、をさらに含み、
前記候補点取得部は、前記比較部による比較の結果、前記第１距離が前記第２距離より短いときの仮点を、前記提示部が提示している候補画像の入れ替え用の候補画像を生成するための候補点として再取得し、
前記候補画像生成部は、前記候補点取得部で再取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を再生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記提示部は、前記入れ替え用の候補画像を入れ替え後の候補画像として複数再提示し、
前記距離算出部は、前記仮点発生部により新たに発生された仮点と、前記入れ替え後の複数の候補画像に対して前記受付部により選択された候補画像に対応する候補点との第１距離、および前記仮点と前記入れ替え後の複数の候補画像に対して前記受付部により選択されなかった候補画像に対応する候補点との第２距離を算出し、
前記候補点取得部は、前記比較部による比較の結果、前記受付部による一回の選択に起因する一連の処理を単位段階とするすべての段階において前記第１距離が前記第２距離より短いときの仮点を、前記提示部が提示している候補画像の入れ替え用の候補画像を生成するための候補点として取得することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記加工部は、
前記比較部による比較の結果、前記第１距離が前記第２距離より長いときの仮点のパラメータ値を参照して、前記仮点発生部により新たに仮点を発生させる前記パラメータ空間の範囲を狭める範囲制限部をさらに含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記範囲制限部は、前記比較部による比較の結果、前記第１距離が前記第２距離より長いときの仮点の各次元のパラメータ値が、前記受付部により選択された候補画像に対応する候補点の対応する各次元のパラメータ値より小さいとき、前記仮点のその次元のパラメータ値を前記パラメータ空間の対応する次元の最小値に設定し、前記第１距離が前記第２距離より短いときの仮点の各次元のパラメータ値が、前記候補空間外に存在すると判定された仮点の各次元のパラメータ値が、前記受付部により選択された候補画像に対応する候補点の対応する各次元のパラメータ値より大きいとき、前記仮点のその次元のパラメータ値を前記パラメータ空間の対応する次元の最大値に設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記範囲制限部は、前記候補点取得部により候補点が一つ取得されると、範囲制限を解除することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記提示部は、
前記対象画像を表示する第１領域と、
前記複数の候補画像を並べて表示する第２領域と、
前記第２領域に表示されている候補画像の入れ替え処理をユーザ操作により実行させるためのキーと、
前記第２領域に表示されている各候補画像の近傍にそれぞれ配置され、選択または非選択の意思をユーザ操作により入力するためのキーと、
を同一画面上に配置することを特徴とする請求項１から８のいずれかに記載の画像処理装置。
【請求項１０】
前記提示部は、
前記第２領域に表示された候補画像を前記入れ替え処理にかかわらず一時保管するため、ユーザに選択された候補画像を表示する第３領域をさらに前記同一画面上に配置することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
対象画像を加工するために調整するｎ（ｎは自然数）個のパラメータで記述したｎ次元のパラメータ空間内に複数の仮点を発生させる仮点発生ステップと、
前記複数の仮点から複数の候補点を取得する候補点取得ステップと、
前記候補点取得ステップで取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を生成する候補画像生成ステップと、
前記候補画像生成ステップにより生成された複数の候補画像をユーザに提示する提示ステップと、
前記複数の候補画像に対するユーザの選択を受け付ける受付ステップと、
前記仮点発生ステップにより新たに発生された仮点と前記受付ステップにより選択された候補画像に対応する候補点との第１距離、および前記仮点と前記受付ステップにより選択されなかった候補画像に対応する候補点との第２距離を算出する距離算出ステップと、
前記距離算出ステップにより算出された、前記第１距離と前記第２距離とを比較する比較ステップと、をさらに含み、
前記比較ステップによる比較の結果、前記第１距離が前記第２距離より短いときの仮点を、提示されている候補画像の入れ替え用の候補画像を生成するための候補点として再取得する候補点再取得ステップと、
前記候補点再取得ステップで取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を再生成する候補画像再生成ステップと、
前記候補画像再生成ステップにより生成された複数の候補画像をユーザに再提示する再提示ステップと、
を備えることを特徴とする画像処理方法。
【請求項１２】
対象画像を加工するために調整するｎ（ｎは自然数）個のパラメータで記述したｎ次元のパラメータ空間内に複数の仮点を発生させる仮点発生処理と、
前記複数の仮点から複数の候補点を取得する候補点取得処理と、
前記候補点取得処理で取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を生成する候補画像生成処理と、
前記候補画像生成処理により生成された複数の候補画像をユーザに提示する提示処理と、
前記複数の候補画像に対するユーザの選択を受け付ける受付処理と、
前記仮点発生処理により新たに発生された仮点と前記受付処理により選択された候補画像に対応する候補点との第１距離、および前記仮点と前記受付処理により選択されなかった候補画像に対応する候補点との第２距離を算出する距離算出処理と、
前記距離算出処理により算出された、前記第１距離と前記第２距離とを比較する比較処理と、をさらに含み、
前記比較処理による比較の結果、前記第１距離が前記第２距離より短いときの仮点を、提示されている候補画像の入れ替え用の候補画像を生成するための候補点として再取得する候補点再取得処理と、
前記候補点再取得処理で取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を再生成する候補画像再生成処理と、
前記候補画像再生成処理により生成された複数の候補画像をユーザに再提示する再提示処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像加工技術に関し、特に色相や彩度などの各種パラメータを変更して画像を加工する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
デジタル技術の進展により、画像をぼかしたり、シャープにしたり、ホワイトバランスを調整するなど画像を加工することが容易になってきている。例えば、ユーザは自己の嗜好に合った色に調整する場合、色相、彩度および明るさなどの各種パラメータをシステムに設定して調整する。このような処理をするための画像加工アプリケーションソフトが一般ユーザに普及するにつれ、ユーザインタフェースの重要性が高まっている。ユーザインタフェースは、ユーザに対する情報の表示様式やユーザのデータ入力方式を規定するコンピュータシステムの操作感として、非常に重要な役割を持つ。
【０００３】
画像を加工する際のユーザインタフェースとして、上述した各種パラメータをスライダーを移動させて入力するなどの手法が一般的であるが、その他にも様々なユーザインタフェースが提案されている。特許文献１は、「かわいく」といったような定義があいまいな画像処理命令をユーザが指示した場合であっても、ユーザの意図に合う画像処理を施せるようにする画像加工技術を開示する。
【特許文献１】特開２００４−３２６２８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
コンピュータの処理エンジンや画像加工アプリケーションの高性能化に伴い、調整可能なパラメータの数が増えてきており、画像に対してきめ細やかな加工を施すことが可能となってきている。反面、調整すべきパラメータの数が増えてくると、ユーザにとってスライダーを移動させるなどの煩雑な操作を伴う作業量が増大し、操作性は低下する。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、対象画像をユーザの目的とする画像に快適な操作感で加工することが可能な画像加工技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像処理装置は、対象画像に加工を施す加工部と、加工部により加工されて生成された複数の候補画像をユーザに提示する提示部と、複数の候補画像に対するユーザの選択を受け付ける受付部と、を備える。加工部は、受付部により受け付けられたユーザの選択結果を参照して、複数の候補画像を再生成する。
【０００７】
この態様によると、ユーザは画像を加工するためにパラメータを設定することなく、提示された候補画像を評価すればよいため、対象画像をユーザの目的とする画像に快適な操作感で加工することができる。
【０００８】
加工部は、対象画像を加工するために調整するｎ（ｎは自然数）個のパラメータで記述したｎ次元のパラメータ空間内に複数の仮点を発生させる仮点発生部と、仮点発生部により発生された複数の仮点から複数の候補点を取得する候補点取得部と、候補点取得部で取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を生成する候補画像生成部と、を含んでもよい。
【０００９】
本発明の別の態様は、画像処理方法である。この方法は、対象画像を加工するために調整するｎ（ｎは自然数）個のパラメータで記述したｎ次元のパラメータ空間内に複数の仮点を発生させる仮点発生ステップと、複数の仮点から複数の候補点を取得する候補点取得ステップと、候補点取得ステップで取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を生成する候補画像生成ステップと、候補画像生成ステップにより生成された複数の候補画像をユーザに提示する提示ステップと、複数の候補画像に対するユーザの選択を受け付ける受付ステップと、仮点発生ステップにより新たに発生された仮点と受付ステップにより選択された候補画像に対応する候補点との第１距離、および仮点と受付ステップにより選択されなかった候補画像に対応する候補点との第２距離を算出する距離算出ステップと、距離算出ステップにより算出された、第１距離と第２距離とを比較する比較ステップと、をさらに含む。比較ステップによる比較の結果、第１距離が第２距離より短いときの仮点を、提示されている候補画像の入れ替え用の候補画像を生成するための候補点として再取得する候補点再取得ステップと、候補点再取得ステップで取得された各候補点のパラメータ値を参照して、それぞれの候補点に対応する候補画像を再生成する候補画像再生成ステップと、候補画像再生成ステップにより生成された複数の候補画像をユーザに再提示する再提示ステップと、を備える。
【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、対象画像をユーザの目的とする画像に快適な操作感で加工することが可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明の実施形態を詳細に説明する前に、まず概要を説明する。本発明の実施形態における画像処理装置は、例えばランダムに設定したパラメータ値を用いて仮の加工処理済み画像を幾つかユーザに提示する。ユーザは、イメージするエフェクトが施された画像に比較的近い加工処理済み画像を選択する。画像処理装置は、ユーザの選択結果に基づいて、新たにパラメータ値を決定して、選択された加工処理済み画像に対する加工と近い加工を施した画像を幾つかユーザに再提示する。このようにユーザのイメージに近い画像が生成されるよう、段階的に範囲を制限してユーザに提示していくことで、ユーザは目的とする画像に到達することができる。
【００１３】
図１は、本発明の第１実施形態における画像処理装置１００の構成を示す。画像処理装置１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた加工機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１４】
画像処理装置１００は、加工部１０、提示部３０および受付部４０を備える。加工部１０は、オリジナル画像である対象画像に対して加工を施した画像を生成する。当該画像は、少なくともｎ次元のパラメータで生成される。例えば、カラー画像の場合、色のパラメータとして少なくとも赤、青、緑のパラメータを含む。加工部１０の詳細は後述するが、ｎ次元のパラメータで調整することで、画像を加工する機能を有している。提示部３０は、ディスプレイを備え、加工部１０が生成した画像を候補画像として表示する。より具体的には、対象画像に対して異なる加工が施された２枚以上の所定数の画像、例えば四枚程度の画像を表示し、ユーザに選択を促す。受付部４０は、キーボードやマウスなど、ユーザの意思決定を画像処理装置１００へ伝達するための何らかの入力手段を備える。ユーザは、提示部３０が表示した複数の候補画像から１枚を選択し、受付部４０は、その選択を受け付け、加工部１０に渡す。
【００１５】
加工部１０は、仮点発生部１２、候補点取得部１３、空間分割部１４、候補空間設定部１６、距離算出部１８、比較部２０、候補画像生成部２２および範囲制限部２４を含む。なお、第１実施形態では範囲制限部２４は必須の要素ではない。仮点発生部１２は、画像を加工するためのｎ（ｎは自然数）個のパラメータで記述されたｎ次元のパラメータ空間内に、複数の仮点を発生させる。仮点は基本的にランダムに発生されるが、ユーザに最初に候補画像を提示する段階では、パラメータ空間内に分散した複数の固定点を発生させてもよい。本実施形態の画像処理装置１００は、ユーザが最終的に満足するエフェクトを施した画像に到達できるように、段階的にユーザのイメージに近い複数の候補画像を提示していく。なお、ここでいう段階とは、受付部４０による一回の選択に起因する一連の処理であり、受付部４０による選択処理から、ユーザに選択を促すべく更新した複数の候補画像を再表示させるまでの処理を含む。なお、最初の段階は、対象画像を加工して候補画像を生成するため、受付部４０による選択処理はない。
【００１６】
候補点取得部１３は、仮点発生部１２により発生された複数の仮点から複数の候補点を取得する。候補画像生成部２２は、候補点取得部１３で取得された各候補点に対応したパラメータ値を参照して、それぞれの候補点に対応する候補画像を生成する。ある段階で取得された候補点は、次の段階で候補点を取得する際に空間を分割する基準点としても利用される。仮点および候補点は、ｎ次元のパラメータ値で表される。候補点取得部１３は、初期のパラメータ空間内または設定もしくは想定される候補空間内に設置された仮点を候補点として取得する。候補点取得部１３は、候補空間内に候補点を位置づけるために、候補空間内に存在すると判定された仮点を、提示部３０が提示している候補画像の入れ替え用の候補画像を生成するための候補点として取得する。
【００１７】
空間分割部１４は、候補点取得部１３により取得された複数の候補点をそれぞれ一つ含む領域にパラメータ空間を分割する。例えば、候補点取得部１３により取得された複数の候補点をそれぞれ母点としたボロノイ領域にパラメータ空間を分割する。ボロノイ領域とは、ある空間上の任意の位置に配置された複数個の点、すなわち母点に対して、同一空間上の他の点がどの母点に近いかによって分けられた際の各領域を指す。２次元の場合、領域の境界線は、各々の母点間を結ぶ線の二等分線の一部になる。
【００１８】
候補空間設定部１６は、空間分割部１４により分割された複数の領域のうち、ユーザの選択操作を受け付けた受付部４０により選択された候補画像に対応する候補点（以下、ユーザ選択点と呼ぶ。）を含む領域とそれまでの候補空間との重ね合わせ領域を新たな候補空間に設定する。なお、最初の候補空間はパラメータ空間の部分空間に一致する。ユーザ選択点は、設置された複数の候補点のうち、ユーザによって最も評価が高いと判断された候補画像の候補点であり、候補画像が選択されることで候補点の中から一つ選択される。また、ユーザ選択点は候補空間を決定する際の基準となる。
【００１９】
距離算出部１８は、仮点発生部１２により発生された仮点とユーザ選択点との距離（以下、第１距離と呼ぶ。）を算出する。また、その仮点と受付部４０により選択されなかった候補画像に対応する候補点（以下、非ユーザ選択点と呼ぶ。）との距離（以下、第２距離と呼ぶ。）をそれぞれ算出する。非ユーザ選択点が複数存在する場合には、その数だけ第２距離が算出される。比較部２０は、距離算出部１８により算出された、第１距離と第２距離とを比較する。空間分割部１４は、比較部２０による比較の結果、第１距離がすべての第２距離より短いときの仮点を、提示部３０が現在提示している候補画像の入れ替え用の候補画像を生成するための候補点として取得する。ここで、第１距離がすべての第２距離より短い状態は、当該仮点が候補空間内に存在することを示し、第１距離がいずれかの第２距離より長い状態は、当該仮点が候補空間外に存在することを示す。
【００２０】
図２は、２次元のパラメータ空間の例を示す。実施形態におけるパラメータ空間とは、各パラメータを軸として生成される空間のことであり、その次元数はパラメータの数と同じである。図２は、ある２つのパラメータＸ，Ｙを持つ。例えば、パラメータＸがブラック値、パラメータＹがホワイト値であってもよい。パラメータＸの取りうる値の範囲が最小値Ｘｍｉｎから最大値Ｘｍａｘ、パラメータＹの取りうる値の範囲が最小値Ｙｍｉｎから最大値Ｙｍａｘである２次元のパラメータ空間を示す。網点の領域がパラメータ空間を示す。このとき、パラメータ空間のある位置（ｘ，ｙ）は、その場所を表すパラメータの値がｘ，ｙであることを示している。実施形態では、このように表現されるパラメータ空間を分割、または分割したと同等の状態を作り出すことにより、探索範囲を制限し、効率的なパラメータ推定を行う。
【００２１】
図３は、空間分割されて形成された候補空間の例を示す。空間分割は、どの候補点に最も近いかで空間を分けることにより行われる。このようにして分割される空間は、設置された候補点を母点とするボロノイ図と同じである。分割された空間のうち、候補空間となるのはユーザ選択点を含む空間である。図３では、４つの候補点のうち、丸が非ユーザ選択点を示し、四角がユーザ選択点を示し、網点の領域が候補空間を示す。
【００２２】
このような空間分割は、空間分割部１４および候補空間設定部１６を用いて、空間の境界の方程式を求めることにより行われる。ただし、空間の次元数が多い場合、境界の方程式を求めると演算量が膨大になる。その場合、距離算出部１８および比較部２０を用いて、空間の境界を求めず、第１距離および第２距離を用いて、パラメータ空間内のある位置が候補空間内に存在するか否かを擬似的に判定する。したがって、２次元のような次元数が少ない場合、空間分割部１４および候補空間設定部１６により空間の境界を求める処理を選択し、７次元のような次元数が多い場合、距離算出部１８および比較部２０により、第１距離および第２距離を用いて、パラメータ空間内のある位置が候補空間内に存在するか否かを擬似的に判定する処理を選択してもよい。前者のみの処理を行う場合、距離算出部１８および比較部２０は必須要素でなく、後者のみの処理を行う場合、空間分割部１４および候補空間設定部１６は必須要素でない。
【００２３】
以下、パラメータ空間内にｍ個の非ユーザ選択点Ｑｉ（ｉ＝１，２・・・，ｍ）と１個のユーザ選択点Ｐがある状況を考える。例えば、４枚の候補画像を提示する場合には非ユーザ選択点の数は３となる。ユーザ選択点Ｐは、ユーザによって直近に選択された点である。このとき、パラメータ空間内のある位置に存在する仮点Ａが候補空間内に存在するか否かは、下記式１により判断可能である。
｜ＡＰ｜＜｜ＡＱｉ｜  （ｉ＝１，２・・・，ｍ）  ・・・（式１）
式１は、すべての非ユーザ選択点Ｑｉに対して仮点Ａがユーザ選択点Ｐに近いことを表している。したがって、仮点Ａが式１を満たせば、仮点Ａが存在する位置は候補空間内であることがわかる。
【００２４】
図４は、対象画像５２および４枚の候補画像６６、６８、７０、７２を表示した画面５０の例を示す。図４では、３つのパラメータ、ブラック値、ホワイト値およびガンマ値を調整して画像を加工する例を示す。ガンマ値とは、画像の明るさの変化と出入力電圧の比であり、１に近いほど自然な画像に見える。図４では、提示部３０は、オリジナルエリア（以下、第１領域と呼ぶ。）、キャンディデイトエリア（以下、第２領域と呼ぶ。）およびストアドキャンディエイトエリア（以下、第３領域と呼ぶ。）を含む画面５０を表示する。また、画面５０にはオーケーボタン６２およびキャンセルボタン６４も含まれる。
【００２５】
第１領域は、対象画像５２、オーディションボタン５４、リセットボタン５６、アンドゥボタン５８およびリドゥボタン６０を含む。オーディションボタン５４、リセットボタン５６およびアンドゥボタン５８は、第２領域に表示されている複数の候補画像６６、６８、７０、７２の入れ替え処理をユーザ操作により実行させるためのキーとして機能する。
【００２６】
ユーザがオーディションボタン５４を押下すると、加工部１０は、その時点での候補空間内で生成する４枚の候補画像６６、６８、７０、７２を生成するためのオーディション処理を開始する。オーディション処理とは、ユーザが最終的に満足するエフェクトを施した画像に到達できるように、段階的にユーザのイメージに近い複数の候補画像を提示していく処理の過程で、各段階で複数の候補画像からユーザにより１枚が選考される処理である。ここで、４枚の候補画像を生成する際、１枚の候補画像は前段階でユーザに選択された候補画像をそのまま利用してもよいし、４枚すべてを再生成してもよい。リセットボタン５６を押下すると、加工部１０は、候補空間を初期のパラメータ空間に戻して、再び４枚の候補画像を表示する。アンドゥボタン５８を押下すると、加工部１０は、１つ前のオーディション処理に戻り、その時点での候補空間内で４枚の候補画像６６、６８、７０、７２を生成し、提示部３０はそれらを表示する。リドゥボタン６０を押下すると、加工部１０は、１つ先のオーディション処理に戻り、その時点での候補空間内で４枚の候補画像６６、６８、７０、７２を生成し、提示部３０はそれらを表示する。オーケーボタン６２を押下すると、加工部１０は、第２領域内の後述するラジオボタンで選択されている候補画像をメインアプリケーションに適用する。リセットボタン５６を押下すると、加工部１０は、処理をキャンセルし終了する。
【００２７】
第２領域には、加工部１０で生成された複数の候補画像６６、６８、７０、７２が並べて表示される。各候補画像の近傍にはラジオボタンが付されており、ラジオボタンは、選択または非選択の意思をユーザ操作により加工部１０に入力するためのキーとして機能する。ユーザは探索の方向性に合った候補画像をマウス操作などで選択することができる。例えば、黒を強調した画像にしたい場合、一番右の候補画像７２を選択する。また、各候補画像の近傍には、各候補点の各パラメータ値も表示される。
【００２８】
第３領域は、第２領域に表示された候補画像のオーディション処理による入れ替えの途中にもかかわらず、候補画像をストック画像７４として一時保管することができる。第３領域は複数のストック画像７４を一時保管することができ、複数のストック画像７４は表示され続ける。ユーザは、第２領域から候補画像を第３領域にドラッグアンドドロップすることにより、候補画像を一時保管することができる。また、逆の操作によりストック画像７４を第２領域に戻すこともできる。
【００２９】
このようなユーザインタフェースは、ユーザの様々な探索意図を満足させることができる。収束的探索すなわちある最適解を想定して探索空間を絞り込みながらの探索が可能なことは勿論、網羅的探索すなわち空間全体を意識した網羅的な探索、および並行的探索すなわち複数の解への同時並行的な探索も可能である。リセットボタン５６、アンドゥボタン５８、リドゥボタン６０および第３領域を利用することにより、ユーザは探索方向を自由に変更することができる。
【００３０】
次に、空間分割が２回以上行われる場合に仮点が候補空間内に存在するか否かを擬似的に判定する処理について説明する。この候補空間の判定は、新たに分割されたボロノイ領域とそれまでの候補空間との重ね合わせを想定することにより行う。以下、ｔ回の空間分割が行われたとして、ｔ回目で設置された非ユーザ選択点とユーザ選択点をそれぞれ非ユーザ選択点Ｑｔｉ（ｉ＝１，２・・・，ｍ），ユーザ選択点Ｐｔとする。また、この非ユーザ選択点Ｑｔｉ（ｉ＝１，２・・・，ｍ），ユーザ選択点Ｐｔにより形成されるボロノイ領域により更新される領域を候補空間Ｒとする。このとき候補空間Ｒは下記式２で表される。
Ｒ＝Ｒ１∩Ｒ２∩・・・∩Ｒｔ  ・・・（式２）
式２は、各回のボロノイ領域の重なり合う部分が候補空間Ｒとなることを示している。
【００３１】
図５は、空間分割が２回行われたときの候補空間Ｒの例を示す。間隔の短いほうの点線で囲まれた領域が１回目で分割されたボロノイ領域Ｒ１を示し、間隔の長いほうの点線で囲まれた領域が２回目で分割されたボロノイ領域Ｒ２を示し、それらの領域が重なっている領域が候補空間Ｒ（Ｒ＝Ｒ１∩Ｒ２）を示す。このようなボロノイ領域の重ね合わせを考えたとき、パラメータ空間内のある位置に存在する仮点Ａがこの候補空間Ｒ内に存在するか否かは、下記式３により判断される。
｜ＡＰｊ｜＜｜ＡＱｊｉ｜  （ｊ＝１，２・・・，ｔ，  ｉ＝１，２・・・，ｍ）      ・・・（式３）
式３は、仮点Ａがボロノイ領域Ｒ１，Ｒ２，・・・，Ｒｔのすべてに存在することを示している。したがって、仮点Ａがこの式を満たすならば、仮点Ａは候補空間Ｒ内に存在していることが分かる。
【００３２】
以上の説明を前提に実施形態における画像処理装置１００の動作について説明する。
図６は、実施形態における画像処理装置１００によるパラメータ推定処理を説明するためのフローチャートである。候補点取得部１３は、仮点発生部１２により発生された複数の仮点から複数の候補点を取得し、最初の候補空間であるパラメータ空間内に設置する（Ｓ１０）。候補空間設定部１６は、当該複数の候補点に対応する候補画像に対するユーザの評価すなわち選択結果を参照して、ユーザ選択点を決定する（Ｓ１２）。候補空間設定部１６は、パラメータ推定の終了条件を満たしたか否かを判断する（Ｓ１４）。パラメータ推定の終了条件とは、オーディション処理を終了したか否かであり、オーディション処理を終了するとは、ユーザがその時点で選択した候補画像を加工処理における最終的な画像とすることである。
【００３３】
ステップＳ１４にて、終了条件を満たしていない場合（Ｓ１４のＮ）、空間分割部１４は、上述した複数の候補点に対するユーザ選択点および非ユーザ選択点を母点として空間分割する。候補空間設定部１６は、ユーザ選択点を含む分割されたボロノイ領域とそれまでの候補空間との重なり合った領域を新たな候補空間に設定することにより、候補空間を更新する（Ｓ１６）。候補点取得部１３は、仮点発生部１２により発生された複数の仮点から複数の候補点を取得し、更新された候補空間内に設置する（Ｓ１８）。以降、ステップＳ１２に遷移し、処理を続行する。ステップＳ１４にて、終了条件を満たした場合（Ｓ１４のＹ）、パラメータ推定処理は終了する。なお、候補空間設定部１６を利用せず、距離算出部１８および比較部２０により第１距離および第２距離を利用して処理する場合、候補空間の境界を求めることはないが、擬似的に同様の処理を実現することができる。
【００３４】
図７は、実施形態における画像処理装置１００による候補空間を擬似的に想定するための処理を説明するためのフローチャートである。図７は、ｔ回の空間分割が行われたときの候補空間の判定処理を示す。仮点発生部１２は、仮点Ａをランダムに発生させ、パラメータ空間内に仮点Ａを設置する（Ｓ２０）。比較部２０は、ボロノイ領域を検査するためのパラメータｊに１を初期値として設定する（Ｓ２２）。パラメータｊに１を設定することにより、最初の段階で形成されたボロノイ領域から検査を始めることになる。距離算出部１８は、直近に選択されたパラメータｊで表されるボロノイ領域内におけるユーザ選択点Ｐと仮点Ａとの第１距離｜ＡＰｊ｜とを算出する（Ｓ２４）。次に、パラメータｊで表されるボロノイ領域内における非ユーザ選択点Ｑと仮点Ａとの第２距離｜ＡＱｊｉ｜（ｉ＝１，２・・・，ｍ）を算出する（Ｓ２６）。
【００３５】
比較部２０は、仮点Ａとユーザ選択点Ｐとの第１距離｜ＡＰｊ｜と、仮点Ａとパラメータｊで表されるボロノイ領域内における非ユーザ選択点Ｑとの第２距離｜ＡＱｊｉ｜とを比較する（Ｓ２８）。第１距離がすべての第２距離より短い場合（Ｓ２８のＹ）、仮点Ａがパラメータｊで表されるボロノイ領域Ｒｊ内に存在すると判定され、次の段階で形成されたボロノイ領域の検査をするため、パラメータｊをインクリメントする（Ｓ３０）。次に、比較部２０は、パラメータｊで表されるボロノイ領域Ｒｊが存在するか否かを検査するため、インクリメント後のパラメータｊの値が空間分割回数を表すパラメータｔの値以内であるか否かを判定する（Ｓ３２）。
【００３６】
空間分割回数を表すパラメータｔの値以内である場合（Ｓ３２のＹ）、そのパラメータｊで表されるボロノイ領域Ｒｊが存在するため、ステップＳ２４に遷移し、ループ処理を続行する。インクリメント後のパラメータｊの値が空間分割回数を表すパラメータｔの値を超える場合（Ｓ３２のＮ）、比較部２０は、そのパラメータｊで表されるボロノイ領域Ｒｊが存在しないため、ループ処理を終了し、ｔ回の分割と重ね合わせにより形成された候補空間Ｒ内に仮点Ａが存在すると判定する（Ｓ３４）。
【００３７】
ステップＳ２８にて、比較部２０は、第１距離が、第２距離を構成する仮点Ａと非ユーザ選択点Ｑとの距離｜ＡＱｊｉ｜のいずれかより長いかまたは等しい場合（Ｓ２８のＮ）、ｔ回の分割と重ね合わせにより形成された候補空間Ｒ外に仮点Ａが存在すると判定する（Ｓ３６）。
【００３８】
以上説明したように第１実施形態によれば、ユーザが複数の候補画像から探索の方向性の合う候補画像を選択するといった操作を繰り返すことにより、目的や嗜好に合った画像に対象画像を加工できる。よって、ユーザにとって煩雑な操作が必要なく快適な操作感で画像を加工することができる。カメラやスキャナで取り込まれた画像の画質改善などを目的とした加工を行う場合、ユーザは色調整、シャープネス調整、コントラスト調整など複数の画像加工手法を組み合わせることが一般的である。その場合、個々の画像加工における煩雑なパラメータ調整が必要となり、ユーザには非常に厄介な操作となる。この点、本実施形態ではユーザが所望する画像加工のためのパラメータ値の組み合わせを容易に得ることが可能であるため、操作性が大幅に向上する。
【００３９】
また、本実施形態ではユーザのイメージする画像に加工するためのパラメータ値の組合せ（以下、解と呼ぶ。）が存在すると想定される候補空間と想定されない部分空間を区別し、候補空間内で候補点をランダムに発生させる。多数のパラメータで表現される空間におけるパラメータ値の最適解を求める問題に対して、解の存在するボロノイ空間を逐次求めながら空間分割処理を行うと、パラメータ数が増加するに従いその探索空間が指数関数的に増加する。このような場合、距離算出部１８および比較部２０により第１距離および第２距離を用いて、パラメータ空間内のある位置が候補空間内に存在するか否かを擬似的に判定する処理を採用することにより、ユーザを待たせず、高速に解を求めることができる。
【００４０】
次に、第２実施形態について説明する。第２実施形態は、候補空間外に仮点を設置した場合に、その位置情報を参照して新たな仮点を発生させる空間の範囲を絞り込む処理を第１実施形態に追加したものである。第２実施形態における画像処理装置１００の構成および基本動作は第１実施形態と同様である。ただし、第２実施形態では、範囲制限部２４が必須の要素となる。範囲制限部２４は、候補空間外に存在すると判定された仮点の位置を参照して、仮点発生部１２により仮点を発生させるパラメータ空間の範囲を狭める。第２実施形態で追加される処理は、空間分割部１４および候補空間設定部１６により空間の境界を求める処理、ならびに距離算出部１８および比較部２０により第１距離および第２距離を用いる処理のいずれにも適用可能であるが、特に後者の処理に適している。以下、後者の処理に適用することを前提に説明する。
【００４１】
範囲制限部２４は、比較部２０により候補空間外に存在すると判定された仮点の各次元のパラメータ値が、ユーザ選択点の対応する各次元のパラメータ値より小さいとき、仮点のその次元のパラメータ値をパラメータ空間の対応する次元の最小値に設定する。一方、候補空間外に存在すると判定された仮点の各次元のパラメータ値が、ユーザ選択点の対応する各次元のパラメータ値より大きいとき、仮点のその次元のパラメータ値をパラメータ空間の対応する次元の最大値に設定する。
【００４２】
図８は、設置範囲の絞り込み処理の例を示す。図８（ａ）は、絞り込まれる前の２次元のパラメータ空間を示す。図８（ｂ）は、絞り込まれた後の２次元のパラメータ空間を示す。図８は、２つのパラメータＸ，Ｙを持ち、空間の範囲がパラメータＸの最小値Ｘｍｉｎ，パラメータＸの最大値Ｘｍａｘ，パラメータＹの最小値Ｙｍｉｎ，パラメータＹの最大値Ｙｍａｘで規定されるパラメータ空間を示す。図８（ａ）に示すように、設置範囲の絞り込みが行われる前の仮点の設置範囲は、パラメータＸについて最小値Ｘｍｉｎから最大値Ｘｍａｘまでであり、パラメータＹについて最小値Ｙｍｉｎから最大値Ｙｍａｘまでである。設置された仮点Ａの値を（ａ，ｂ）で表し、現在のユーザ選択点Ｐの値を（Ｘ，Ｙ）と表し、仮点Ａが候補空間外に設置されたとき、新たな仮点の設置範囲は下記のように修正される。
Ｘｍｉｎ＝ａ  （ｉｆ  ａ＜Ｘ）
Ｘｍａｘ＝ａ  （ｉｆ  ａ＞Ｘ）
Ｙｍｉｎ＝ｂ  （ｉｆ  ｂ＜Ｙ）
Ｙｍａｘ＝ｂ  （ｉｆ  ｂ＞Ｙ）
なお、ａとＸが等しい場合、ａの値を最小値Ｘｍｉｎに代入するか最大値Ｘｍａｘに代入するかをあらかじめ定義しておけばよい。ｂとＹの関係についても同様である。
【００４３】
図９は、第２実施形態における画像処理装置１００による設置範囲の絞り込み処理を説明するためのフローチャートである。まず、仮点発生部１２は、パラメータ空間内に仮点を発生させ、設置する（Ｓ４０）。比較部２０は、設置された仮点が候補空間内に存在するか否かを判断する（Ｓ４２）。候補空間内に存在する場合（Ｓ４２のＹ）、候補点取得部１３は、当該仮点を候補点に確定させる（Ｓ４４）。範囲制限部２４は、候補点取得部１３により候補点が一つ確定されると、設置範囲の制限を解除する（Ｓ４５）。さらに候補点を設置する必要がある場合（Ｓ４６のＹ）、ステップＳ４０に遷移し、候補点の設置処理を続行する。候補点を設置する必要がない場合（Ｓ４６のＮ）、候補点の設置処理を終了する。候補点を設置する必要がない場合とは、各段階で必要な候補点が設置し終えたときである。
【００４４】
ステップＳ４２にて、設置された仮点が候補空間内に存在しない場合（Ｓ４２のＮ）、範囲制限部２４は、上述した手法などを用いて、仮点の設置範囲を絞り込む（Ｓ４８）。仮点発生部１２は、絞り込まれた範囲内に仮点を設置する（Ｓ５０）。以後、ステップＳ４２に遷移し、候補点の設置処理を続行する。
【００４５】
以上説明したように第２実施形態によれば、第１実施形態の作用効果に加えて、仮点の設置範囲を絞り込むことにより、候補空間が小さくても比較的少ない試行回数で候補点を設置することが可能となる。すなわち、ユーザ選択点と非ユーザ選択点より候補空間が算出または想定された後に設置される仮点は、候補空間内に設置する必要がある。この点、距離算出部１８および比較部２０を利用した処理では、空間の境界を求めず、距離情報を用いて候補空間内に含まれるか否かを判定している。よって、仮点を設置する位置が候補空間内に存在するか否かの判定を行うことは可能であるが、仮点を候補空間内に直接設置することはできない。ランダムに設置される仮点が候補空間内に設置されるまでやり直すという処理では、パラメータ空間に対して候補空間が小さければ小さいほど、仮点が候補空間内に設置される可能性が低くなる。第２実施形態では仮点の設置範囲を絞り込む処理を追加することにより、仮点が候補空間内に設置される可能性を高めることができる。
【００４６】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４７】
例えば、最初に候補画像が生成される前に、空間分割部１４などがパラメータ空間をあらかじめ分割しておいてもよい。仮点発生部１２は、あらかじめ分割された各領域に対して１つの仮点を候補点として発生させてもよい。これによれば、最初の段階で提示される複数の候補画像に対応する候補点のすべてが近接する領域に発生することにより、すべて類似する候補画像が表示されてしまうという事態を回避することができる。最初に類似画像が表示されてしまうと、ユーザは探索方向に関する大きな方針決定を下すことが困難になる。なお、分割される領域は実質的に同一の大きさの領域であることが望ましい。
【図面の簡単な説明】
【００４８】
【図１】本発明の第１実施形態における画像処理装置の構成を示す図である。
【図２】２次元のパラメータ空間の例を示す図である。
【図３】空間分割されて形成された候補空間の例を示す図である。
【図４】対象画像および４枚の候補画像を表示した画面の例を示す図である。
【図５】空間分割が２回行われたときの候補空間Ｒの例を示す図である。
【図６】実施形態における画像処理装置によるパラメータ推定処理を説明するためのフローチャートである。
【図７】実施形態における画像処理装置による候補空間を擬似的に想定するための処理を説明するためのフローチャートである。
【図８】設置範囲の絞り込み処理の例を示す図である。
【図９】第２実施形態における画像処理装置による設置範囲の絞り込み処理を説明するためのフローチャートである。
【符号の説明】
【００４９】
１０  加工部、  １２  仮点発生部、  １３  候補点取得部、  １４  空間分割部、  １６  候補空間設定部、  １８  距離算出部、  ２０  比較部、  ２２  候補画像生成部、  ２４  範囲制限部、  ３０  提示部、  ４０  受付部、  １００  画像処理装置。
【図１】
2008015632.tif 000003
【図２】
2008015632.tif 000004
【図３】
2008015632.tif 000005
【図５】
2008015632.tif 000006
【図６】
2008015632.tif 000007
【図７】
2008015632.tif 000008
【図８】
2008015632.tif 000009
【図９】
2008015632.tif 000010
【図４】
2008015632.tif 000011