(57)【要約】【課題】画像の中から、ユーザが画像処理を行なう対象となる対象領域を決定する際に、細かく分かれた領域をひとまとめにして対象領域とすることがより容易となる画像処理装置等を提供できる。【解決手段】ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出部１４と、クラスタ抽出部１４で抽出されたクラスタから、画像処理の対象となる画像領域のグループを対象領域として決定する代表クラスタ決定部１５と、対象領域に対し画像処理を行なう画像処理部１６と、を備える画像処理装置１０。【選択図】図２
2019101844.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出部と、
前記クラスタ抽出部で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定部と、
前記対象領域に対し画像処理を行なう画像処理部と、
を備える画像処理装置。
【請求項２】
ユーザの指示を受け付ける受付部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象領域決定部は、複数の前記クラスタの中から、ユーザが選択指示したものを前記対象領域とすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象領域決定部は、ユーザの指示により複数の前記クラスタの合成を行なうことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記対象領域決定部は、複数の前記クラスタの中から代表となる代表クラスタを選択し、当該代表クラスタを前記対象領域とすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記代表クラスタは、複数の前記クラスタの中で最も画素数が多く含まれるものであることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記代表クラスタは、複数の前記クラスタの中で最も有彩色の画素数が多く含まれるものであることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記受付部は、ユーザが画像処理を行なう対象となる対象領域に関する指示を受け付け、
前記指示に基づき、前記対象領域を含む概形領域を抽出する概形領域抽出部をさらに備えることを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記クラスタ抽出部は、前記概形領域中の画素の色情報を用いて抽出を行なうことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記クラスタ抽出部は、前記概形領域中の画素の画像中の位置情報をさらに用いて抽出を行なうことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記対象領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該対象領域における画像情報を色相が統一されたものとなるように統一する色相統一部をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記色相統一部は、前記対象領域が予め定められた彩度以上の高彩度の画像であったときには、色相を統一しないことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出工程と、
前記クラスタ抽出工程で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定工程と、
前記対象領域に対し画像処理を行なう画像処理工程と、
を含む画像処理方法。
【請求項１４】
画像を表示する表示装置と、
前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、
を備え、
前記画像処理装置は、
ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出部と、
前記クラスタ抽出部で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定部と、
前記対象領域に対し画像処理を行なう画像処理部と、
を備える画像処理システム。
【請求項１５】
コンピュータに、
ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出機能と、
前記クラスタ抽出機能で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定機能と、
前記対象領域に対し画像処理を行なう画像処理機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。
【背景技術】
【０００２】
近年、タブレットやスマートフォンの普及とともに画像の撮影機会が増え、撮影した画像を気軽に編集したいというユーザーのニーズが増加している。そして画像の部分的な補正や強調を行う際に、編集の対象となる領域を指定する像の領域選択（セグメンテーション）が必要となる。そのための手段としては、例えば、マウスで領域を囲むことで選択するものや、あるいはマウス操作に応じてポインタ位置の周辺領域を自動的に選択するものなどが知られている。
【０００３】
特許文献１では、画像の中でおおまかに第２領域が第２領域設定部に設定され、この第２領域内の比較的微小な第１領域が第１領域設定部に設定される。さらに、この第１領域設定部に設定された第１領域内の画素の映像パラメータの平均値が特徴パラメータ演算部により演算され、これにより得られた上記映像パラメータの平均値に基づいて、領域抽出のための所定の余裕を見込んだ上記映像パラメータの上限及び下限のしきい値がユーザにより設定される。そして、第２領域設定部に設定された第２領域内の画素のうち、上記上限及び下限のしきい値で決定される範囲内の映像パラメータ値を有する画素のみが領域抽出部により抽出されることが記載されている。
また特許文献２では、ウインドウ設定部はカラー撮像装置の出力により得られたカラー画像内の着目領域を選択する。特徴量演算部はウインドウ設定部により選択された着目領域内の色相、彩度、明度の最大値および最小値を求める。色相設定手段、彩度設定手段、明度設定手段は、特徴量演算部で求めた最大値および最小値を補正して抽出する範囲の上限値および下限値を決定する。決定した上限値および下限値を用いて、カラー撮像装置の出力から特定の色範囲の領域を抽出することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１２３９４０号公報
【特許文献２】特開平９−２３３５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の中から、ユーザが画像処理を行なう対象となる対象領域を決定する際に、細かく分かれた領域をひとまとめに扱って処理対象としたい場合がある。この処理を行なうのに、従来はひとまとめにしたい領域のを抽出する作業とまとめる作業とを繰り返して行なう必要があり多大な労力を必要としていた。
本発明は、画像の中から、ユーザが画像処理を行なう対象となる対象領域を決定する際に、細かく分かれた領域をひとまとめにして対象領域とすることがより容易となる画像処理装置等を提供する。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出部と、前記クラスタ抽出部で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定部と、前記対象領域に対し画像処理を行なう画像処理部と、を備える画像処理装置である。
請求項２に記載の発明は、ユーザの指示を受け付ける受付部をさらに備えることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記対象領域決定部は、複数の前記クラスタの中から、ユーザが選択指示したものを前記対象領域とすることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記対象領域決定部は、ユーザの指示により複数の前記クラスタの合成を行なうことを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記対象領域決定部は、複数の前記クラスタの中から代表となる代表クラスタを選択し、当該代表クラスタを前記対象領域とすることを特徴とする請求項１に記載の画像処理装置である。
請求項６に記載の発明は、前記代表クラスタは、複数の前記クラスタの中で最も画素数が多く含まれるものであることを特徴とする請求項５に記載の画像処理装置である。
請求項７に記載の発明は、前記代表クラスタは、複数の前記クラスタの中で最も有彩色の画素数が多く含まれるものであることを特徴とする請求項５に記載の画像処理装置である。
請求項８に記載の発明は、前記受付部は、ユーザが画像処理を行なう対象となる対象領域に関する指示を受け付け、前記指示に基づき、前記対象領域を含む概形領域を抽出する概形領域抽出部をさらに備えることを特徴とする請求項２に記載の画像処理装置である。
請求項９に記載の発明は、前記クラスタ抽出部は、前記概形領域中の画素の色情報を用いて抽出を行なうことを特徴とする請求項８に記載の画像処理装置である。
請求項１０に記載の発明は、前記クラスタ抽出部は、前記概形領域中の画素の画像中の位置情報をさらに用いて抽出を行なうことを特徴とする請求項９に記載の画像処理装置である。
請求項１１に記載の発明は、前記対象領域が予め定められた彩度よりも低い低彩度の画像であったときに、当該対象領域における画像情報を色相が統一されたものとなるように統一する色相統一部をさらに備えることを特徴とする請求項１に記載の画像処理装置である。
請求項１２に記載の発明は、前記色相統一部は、前記対象領域が予め定められた彩度以上の高彩度の画像であったときには、色相を統一しないことを特徴とする請求項１１に記載の画像処理装置である。
請求項１３に記載の発明は、ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出工程と、前記クラスタ抽出工程で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定工程と、前記対象領域に対し画像処理を行なう画像処理工程と、を含む画像処理方法である。
請求項１４に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される前記画像の画像情報に対し画像処理を行なう画像処理装置と、を備え、前記画像処理装置は、ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出部と、前記クラスタ抽出部で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定部と、前記対象領域に対し画像処理を行なう画像処理部と、を備える画像処理システムである。
請求項１５に記載の発明は、コンピュータに、ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出機能と、前記クラスタ抽出機能で抽出された前記クラスタから、前記画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定機能と、前記対象領域に対し画像処理を行なう画像処理機能と、を実現させるプログラムである。
【発明の効果】
【０００７】
請求項１の発明によれば、画像の中から、ユーザが画像処理を行なう対象となる対象領域を切り抜く際に、細かく分かれた領域をひとまとめにして対象領域とすることがより容易となる画像処理装置が提供できる。
請求項２の発明によれば、抽出されたクラスタに対しユーザの指示を反映させることができる。
請求項３の発明によれば、抽出されたクラスタから、ユーザが対象領域を選択することができる。
請求項４の発明によれば、複数のクラスタを１つのクラスタとして扱うことができる。
請求項５の発明によれば、抽出されたクラスタの中から対象領域を推定することができる。
請求項６の発明によれば、抽出されたクラスタの中で、最も広い画像領域を有するクラスタを、代表クラスタとしてユーザに提示することができる。
請求項７の発明によれば、ユーザが色を調節したいと推定される有彩色を含むクラスタを、優先的にユーザに提示することができる。
請求項８の発明によれば、ユーザが画像処理を行なう大まかな画像領域を概形領域として予め指定することができる。
請求項９の発明によれば、画像中における画素の間の距離に関係なく、特定の色を有する画像中の領域を集め、クラスタ解析することができる。
請求項１０の発明によれば、画像中の位置を考慮してクラスタ解析することができる。
請求項１１の発明によれば、対象領域がグレーに近い低彩度の画像であった場合でも、色調整が破綻し失敗することを抑制することができる。
請求項１２の発明によれば、対象領域が高彩度の画像であった場合、彩度を変化させないようにすることができる。
請求項１３の発明によれば、画像の中から、ユーザが画像処理を行なう対象となる対象領域を切り抜く際に、細かく分かれた領域をひとまとめにして対象領域とすることがより容易となる画像処理方法が提供できる。
請求項１４の発明によれば、画像の中から、ユーザが画像処理を行なう対象となる対象領域を切り抜く際に、ユーザの利便性がより高い画像処理システムが提供できる。
請求項１５の発明によれば、画像の中から、ユーザが画像処理を行なう対象となる対象領域を切り抜く際に、細かく分かれた領域をひとまとめにして対象領域とする機能をコンピュータにより実現できる。
【図面の簡単な説明】
【０００８】
【図１】本実施の形態における画像処理システムの構成例を示す図である。
【図２】本発明の第１の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図３】（ａ）〜（ｂ）は、概形領域の切り出しをユーザインタラクティブに行なう方法を示した図である。
【図４】最大流量最小カットの原理を説明した図である。
【図５】（ａ）〜（ｅ）は、２つのシードが与えられた場合に、原画像を２つの領域に分ける具体例である。
【図６】（ａ）〜（ｂ）は、図３に示した原画像から切り出した概形領域について説明した図である。
【図７】色情報を使用するが、位置情報を使用せずにクラスタリングすることが有効な画像の例を示した図である。
【図８】（ａ）〜（ｂ）は、色調整を行なう際に、表示装置の表示画面に表示される画面の例を示している。
【図９】第１の実施形態における画像処理装置の動作について説明したフローチャートである。
【図１０】第２の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図１１】（ａ）〜（ｂ）は、画像がグレーに近い低彩度のものであった場合の色相の分布を示した図である。
【図１２】（ａ）〜（ｂ）は、数１３式を使用した色相値の置換について説明した図である。
【図１３】第２の実施形態における画像処理装置の動作について説明したフローチャートである。
【図１４】第３の実施の形態における画像処理装置の機能構成例を表すブロック図である。
【図１５】クラスタ抽出部により抽出されたクラスタをユーザに提示した例を示した図である。
【図１６】（ａ）〜（ｂ）は、複数のクラスタを合成し、１つのクラスタとする場合を示した図である。
【図１７】第３の実施形態における画像処理装置の動作について説明したフローチャートである。
【図１８】（ａ）〜（ｃ）は、本実施の形態による色調整の結果と、従来の手法による色調整の結果とを比較した図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【００１０】
＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置５０に表示される画像の画像情報に対し画像処理を行なう画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置５０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置６０とを備える。
【００１１】
画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。
画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリ、およびＨＤＤ（Hard Disk Drive）とを備える。ここで、ＣＰＵは、ＯＳやアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリは、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤは、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェースを備える。
【００１２】
表示装置５０は、表示画面５１に画像を表示する。表示装置５０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置５０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置５０内に表示画面５１が設けられているが、表示装置５０として例えばプロジェクタを用いる場合、表示画面５１は、表示装置５０の外部に設けられたスクリーン等となる。
【００１３】
入力装置６０は、キーボードやマウス等で構成される。入力装置６０は、画像処理を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行なう際に、ユーザが画像処理装置１０に対し画像処理を行なうための指示を入力するのに使用する。
【００１４】
画像処理装置１０および表示装置５０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置６０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
【００１５】
このような画像処理システム１において、表示装置５０には、まず最初に画像処理を行なう前の画像である原画像が表示される。そしてユーザが入力装置６０を使用して、画像処理装置１０に対し画像処理を行なうための指示を入力すると、画像処理装置１０により原画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置５０に表示される画像に反映され、画像処理後の画像が再描画されて表示装置５０に表示されることになる。この場合、ユーザは、表示装置５０を見ながらインタラクティブに画像処理を行なうことができ、より直感的に、またより容易に画像処理の作業を行える。
【００１６】
なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置５０および入力装置６０として機能する。また同様に表示装置５０および入力装置６０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置５０の表示画面５１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行なうための指示を入力する。
【００１７】
＜画像処理装置の説明＞
［第１の実施の形態］
次に画像処理装置１０の第１の実施の形態について説明を行なう。
第１の実施形態では、ユーザが、まず画像処理を行なう対象として大まかな概形領域を抽出する。そして概形領域についてクラスタ解析を行ない、ユーザが画像処理を行なう対象となる対象領域を推定し、決定する。
【００１８】
図２は、本発明の第１の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち第１の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像情報を取得する画像情報取得部１１と、ユーザの指示を受け付けるユーザ指示受付部１２と、画像処理を行なう対象として大まかな概形領域を抽出する概形領域抽出部１３と、クラスタ解析を行なうクラスタ抽出部１４と、代表クラスタを決定する代表クラスタ決定部１５と、画像処理の一例として色調整を行なう画像処理部１６と、色調整後の画像情報を出力する画像情報出力部１７とを備える。
【００１９】
画像情報取得部１１は、画像処理を行なう対象となる画像の画像情報を取得する。即ち、画像情報取得部１１は、画像処理を行なう前の原画像の画像情報を取得する。この画像情報は、表示装置５０で表示を行なうための、例えば、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。
【００２０】
ユーザ指示受付部１２は、受付部の一例であり、画像処理に関するユーザによる指示を受け付ける。なおこのときユーザは、入力装置６０を用いて指示を入力する。
具体的には、ユーザ指示受付部１２は、表示装置５０で表示している画像の中から、概形領域抽出部１３が概形領域を抽出するための軌跡の入力を受け付ける。さらにユーザが画像処理を行なう対象となる対象領域に関する指示を受け付ける。具体的には、対象領域に対し、ユーザが実際に画像処理を行なう処理項目や処理量等に関する指示を受け付ける。これらの内容に関するさらに詳しい説明については後述する。
【００２１】
概形領域抽出部１３は、ユーザが画像処理を行なう対象となる対象領域を含む概形領域を抽出する。ここで「対象領域」とは、ユーザが画像処理を実際に行なわせる対象の画像領域である。対象領域は、１つ以上の画像の領域からなる。この領域は、画像情報の特徴量が共通していたり予め定められた範囲内にある領域であり、例えば、色相、彩度、明度、空間周波数、模様等について何らかの共通性を有する領域である。また「概形領域」とは、この対象領域群を含む対象より大きい画像領域である。これは画像情報の特徴量が共通の領域を含むが、この特徴量を有しない領域も含む。
【００２２】
つまり概形領域抽出部１３は、表示装置５０で表示されている原画像の中から、ユーザが画像処理を行いたい画像領域である対象領域を含む大まかな領域を、概形領域として抽出する。概形領域は、ユーザ指示受付部１２で受け付けられたユーザ指示に基づき、抽出される。実際には、概形領域抽出部１３は、ユーザ指示に基づき、表示装置５０で表示している原画像の中から、概形領域を切り出す処理を行なう。
【００２３】
この概形領域を切り出す方法は、特に限られるものではないが、例えば、色情報などの画像情報を基準にして行なう方法やユーザインタラクティブに行なう方法の２通りが挙げられる。
例えば、色情報を基準にして行なう方法では、ユーザが指定色を与え、指定色に近い色を有する画素を原画像中から抽出することで、概形領域の切り出しを行なうことができる。または指定色に対する近さで重み付けをしたマスクを用意し、このマスクを使用して画像を抽出することで、概形領域の切り出しを行なうことができる。
また、機械学習により原画像から概形領域の切り出しを行うようにしてもよい。
【００２４】
一方、概形領域の切り出しをユーザインタラクティブに行なう方法は、例えば、以下の方法を用いることができる。
図３（ａ）〜（ｂ）は、概形領域の切り出しをユーザインタラクティブに行なう方法を示した図である。
このうち図３（ａ）は、表示装置５０において表示される原画像Ｇ１を示している。この場合、表示装置５０で表示している原画像Ｇ１が、３つのオブジェクトＱ１、Ｑ２、Ｑ３が写った写真画像である場合を示している。そして原画像Ｇ１の中から、ユーザが、オブジェクトＱ１の画像領域を概形領域として選択する場合を示している。なお以後、便宜上、オブジェクトＱ１の画像領域を、「前景」、オブジェクトＱ１以外の画像領域を、「後景」と言うことがある。ただし、ここでは説明の便宜上、前景と後景とに分けるものであり、３次元空間中で、前景が、前方に位置する画像であり、後景が後方に位置する画像であることを必ずしも意味するものではない。即ち、前景が、後方に位置する画像であり、後景が前方に位置する画像であってもよい。つまりここで前景と後景とは、画像を何らかの方法で、２つの画像領域に分けたときに、便宜上一方を前景と呼び、他方を後景と言うものである。
【００２５】
そして本実施の形態では、図３（ｂ）で示すように、ユーザは、前景と後景との境界を挟み、前景および後景に対して代表となる軌跡Ｋをそれぞれ与える。図示する例では、オブジェクトＱ１の画像領域である前景に対して軌跡Ｋ１を与え、オブジェクトＱ１以外の画像領域である後景に対して軌跡Ｋ２を与えた例を示している。この軌跡Ｋは、入力装置６０により入力することができる。具体的には、入力装置６０がマウスであった場合は、マウスを操作して表示装置５０で表示している図３（ａ）の原画像Ｇ１に重畳されて表示されるマウスカーソルをドラッグし軌跡Ｋを描く。また入力装置６０がタッチパネルであった場合は、ユーザの指やタッチペン等により表示画面をなぞり移動させることで同様に軌跡Ｋを描く。なお図示するように線状ではなく、点として軌跡Ｋを与えてもよい。即ち前景と後景とでそれぞれ代表となる位置を示す情報を与えればよい。また以後、前景に対して与える軌跡等の情報を「前景シード」、後景に対して与える軌跡等の情報を「後景シード」と言うことがある。
【００２６】
そしてこの前景シードや後景シードを基にして、概形領域抽出部１３が概形領域を切り出すには、原画像Ｇ１をグラフと見立て、最大流量最小カットの原理を利用した方法がある。
この原理は、図４に示すように前景の仮想ノードを始点、後景の仮想ノードを終点として設定し、前景の仮想ノードからユーザが指定した前景領域の代表位置をリンクし、ユーザが指定した後景領域の代表位置から終点へリンクさせる。そして始点から仮想的に水を流した場合、最大流せる量はいくらかを計算する。前景から始点へのリンクの値を水道管のパイプの太さと考えて、ボトルネックになっている（流れにくい）箇所のカットの総和が最大流量であるという原理である。つまりは、ボトルネックとなるリンクをカットすることが、前景と後景とを分離することになる（いわゆるグラフカット法）。
【００２７】
またはシードを与えた後に、領域拡張の原理を利用した方法でも概形領域の切り出しを行なうことができる。
図５（ａ）〜（ｅ）は、２つのシードが与えられた場合に、原画像Ｇ１を２つの領域に分ける具体例である。
ここでは図５（ａ）の原画像Ｇ１に対し、図５（ｂ）で示すように、シードとして前景シードＳ１と後景シードＳ２の２つを与える。そして各々のシードを基点に領域を拡張していく。この場合、例えば、原画像Ｇ１における近傍画素の値との近さ等に応じて領域を拡張していくことができる。このとき図５（ｃ）に示すように領域同士のせめぎ合いがある場合は、再判定の対象画素となり、再判定の対象画素の画素値と近傍の関係でどちらの領域に属するかを決めればよい。このとき、下記文献に記載されている方法を使うことができる。
【００２８】
V.Vezhnevets and V.Konouchine: "Grow-Cut" -Interactive Multi-label N-D Image Segmentation", Proc.Graphicon.pp 150-156(2005)
【００２９】
図５（ｄ）の例では、再判定の対象画素は、最終的には後景シードＳ２の領域として判定され、図５（ｅ）に示すように２つのシードを基に、２つの領域Ｒ１、Ｒ２に切り分けられて収束する。つまりこれを図３の画像に適用した場合、前景であるオブジェクトＱ１の画像領域（この場合、概形領域）と後景であるオブジェクトＱ１以外の画像領域に切り分けられる。
以上挙げた例は、領域カットに関する例であり、領域拡張やグラフなどの原理を利用した領域の切り出し方法の具体例を示した。ただし本実施の形態では、この領域カットの方法は問わず、いかなるものでも適用可能である。
【００３０】
そして概形領域抽出部１３は、以上のように切り出した概形領域の画素に対しては、概形領域を表すフラグ（例えば、１や２５５など）を付加し、概形領域外の画像の画素には、概形領域外を表すフラグ（例えば、０など）を付加して出力する。
【００３１】
以上説明した概形領域をユーザインタラクティブに行なう方法では、概形領域の切り出しの精度がより高くなる。
【００３２】
図６（ａ）〜（ｂ）は、図３に示した原画像Ｇ１から切り出した概形領域について説明した図である。
このうち図６（ａ）は、概形領域を切り出す前の原画像Ｇ１を示しており、図３（ａ）と同様の図である。そして図６（ｂ）は、ここから切り出した概形領域Ｆ１を示している。この場合、オブジェクトＱ１の画像領域が、概形領域Ｆ１として切り出されている。
【００３３】
図２に戻り、クラスタ抽出部１４は、ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出する。クラスタ抽出部１４は、例えば、概形領域中の画素に対しクラスタ解析を行ない、クラスタを抽出する。ここで「クラスタ解析」は、異なる性質のものが混ざり合った集団から、互いに似た性質を持つものを分類してグループ化する手法であり、クラスタリングとも呼ばれる。本実施の形態では、「クラスタ解析」は、概形領域中の画素について、互いに似た特徴量を有するものを分類してグループ化する手法として使われる。これは、「クラスタ解析」は、概形領域中で、画像情報の特徴量が共通の画素の領域をグループ化する手法であると言うこともできる。つまり「クラスタ解析」は、例えば、色相、彩度、明度、空間周波数、模様等について何らかの共通性を有する画素の領域をグループ化する。そして「クラスタ」とは、分類された各グループ集団を言う。本実施の形態では、「クラスタ」は、クラスタリングにより分類された各画像領域のグループを言う。つまり本実施の形態で、「クラスタ」は、それぞれ例えば、色相、彩度、明度、空間周波数、模様等について何らかの共通性を有する。
【００３４】
クラスタ抽出部１４では概形領域に含まれるＮ個の画素において、原画像Ｇ１中の位置情報がｘｉの画素について、その画素値を、ＨＳＶ色空間に変換した値を、下記数１式で表される色情報ｖｉとする。この場合、色情報ｖｉは、色相（Ｈ）、彩度（Ｓ）、輝度（Ｖ）により表現され、（Ｈｉ、Ｓｉ、Ｖｉ）として表すことができる。ここでは、画素の色情報に基づいてクラスタを抽出する方法を例として説明する。
下記数２式で表されるように、位置情報ｘｉと色情報ｖｉとを結合した５次元データｚｉを考え、位置情報ｘｉおよび色情報ｖｉが近い画素を５次元空間内でクラスタとなるようにクラスタリングする。即ち、概形領域に含まれる画素について、画像中の距離および色が近いもの同士を同じクラスタとなるようにクラスタリングする。位置情報ｘｉは、画像中の位置であるため２次元データである。また色情報ｖｉは、ＨＳＶ色空間中の色値であるＨｉ、Ｓｉ、Ｖｉからなる３次元データである。よって画素の位置情報ｘｉと色情報ｖｉを結合すると、５次元データｚｉとなる。
【００３５】
【数１】
2019101844.tif 000003
【００３６】
【数２】
2019101844.tif 000004
【００３７】
本実施の形態では、クラスタリングするのに、例えば、平均値シフト法を用いる。平均値シフト法では、どの程度近傍までを同じクラスタとするかを決定するパラメータとして、画素位置に関するバンド幅ｈｐｏｓ、および画素値に関するバンド幅ｈｈｓｖを与え、各ｚｉについて平均値シフトを行なう。平均値シフトは、ある点群から確率密度関数の極大点を勾配法によって探索する方法であり、ある任意の点について、その点から一定距離内にある点群の平均を求め、その位置に点を移動することを繰り返し、極大点に収束させる方法である。ここで、ｚｉについてカーネル密度推定を、下記数３式のように定義する。数３式で、cは密度関数の積分値を１に正規化するための係数である。そして数３式を偏微分すると数４式のように展開される。
【００３８】
【数３】
2019101844.tif 000005
【００３９】
【数４】
2019101844.tif 000006
【００４０】
確率密度関数の極大値では、▽ｆ（ｘ、ｖ）＝０であることから、以下の手順で極大点探索を行う。まず更新前の値を、下記数５式によって初期化する。
【００４１】
【数５】
2019101844.tif 000007
【００４２】
次に、下記数６式および下記数７式を用いて更新処理を行う。ここで、添字jは更新回数を表し、添字iは画素を表す。
【００４３】
【数６】
2019101844.tif 000008
【００４４】
【数７】
2019101844.tif 000009
【００４５】
ここで、ｇｉ＾ｐｏｓおよびｇｉ＾ｈｓｖは、下記数８式および下記数９式を満たし、ｋは近傍領域をどのような分布で加味するかを決定するカーネル関数である。カーネル関数は、例えば、数１０式で表したようなガウシアンカーネルのプロファイルを利用する。
【００４６】
【数８】
2019101844.tif 000010
【００４７】
【数９】
2019101844.tif 000011
【００４８】
【数１０】
2019101844.tif 000012
【００４９】
更新処理は、下記数１１式で示すように更新時の差分が予め設定しておいた一定の閾値Ｔ１およびＴ２未満になるまで繰り返し行う。閾値Ｔ１、Ｔ２を適切に設定することで収束時のクラスタ数を変化させることができる。
【００５０】
【数１１】
2019101844.tif 000013
【００５１】
このようにして、極大点に収束したときのｚｃｏｎｖ＝（ｘｃｏｎｖ、ｖｃｏｎｖ）が得られる。すなわち、ある位置の画素がどの点に収束したかによってクラスタが形成されることになる。
【００５２】
なおここでは平均値シフト法によるクラスタリングの例を示したが、ｋ−ｍｅａｎｓ等の他のクラスタリング手法を利用してもよい。またここでは、色空間としてＨＳＶ色空間を用いたが、他の色空間であってもよい。
【００５３】
さらにここでは、クラスタ抽出部１４は、概形領域Ｆ１中の画素の色情報ｖｉおよび画像中の位置情報ｘｉの双方を用いてクラスタリングを行なう例を示したが、色情報ｖｉのみを利用してクラスタリングする方法でもよい。この場合、Ｈｉ、Ｓｉ、Ｖｉからなる３次元データによりクラスタリングを行なうことになる。
【００５４】
図７は、色情報ｖｉを使用するが、位置情報ｘｉを使用せずにクラスタリングすることが有効な画像の例を示した図である。
図示する例は、原画像Ｇ１が、チェック柄のスカートの画像Ｓｋである場合を示している。この場合、スカートの画像Ｓｋの中で、例えば、チェックの画像領域Ｃｈが、赤色であり、チェック以外の矩形の画像領域Ｋｕが青色であるとする。そしてユーザがチェックの画像領域Ｃｈを赤色から黄色に色調整をしたいような場合がある。この場合、チェックの画像領域Ｃｈをクラスタリングにより抽出する必要がある。しかしチェックの画像領域Ｃｈは、原画像Ｇ１の全体に分布しており、位置情報ｘｉを使用したクラスタリングを行なうと、互いに離れた箇所は、別々のクラスタとして扱われてしまう。よってこの場合は、色情報ｖｉを使用するが、位置情報ｘｉを使用せずにクラスタリングすることで、チェックの画像領域Ｃｈ全体を１つのクラスタとして抽出することができる。つまり画像中における画素の間の距離に関係なく、特定の色を有する画像中の領域を抽出し、同じグループとしてクラスタリングすることができる。この場合も、上記平均値シフト法を用いることができる。なお他のクラスタリング手法を利用してもよい。
【００５５】
対して、色情報ｖｉと位置情報ｘｉとをともに使用してクラスタリングする場合は、画像中の位置を考慮してクラスタリングしたい場合に有効である。例えば、画像中の離れた箇所に同色のオブジェクトが複数存在し、これらを別々のクラスタとして抽出したい場合に有効となる。
【００５６】
代表クラスタ決定部１５は、クラスタ抽出部１４が抽出したクラスタの中から、代表クラスタを決定する。ここで「代表クラスタ」とは、クラスタリングにより抽出されたクラスタの中で、予め定められた規則により代表として選択されたクラスタのことである。本実施の形態では、「代表クラスタ」は、画像情報の特徴量が共通する画像領域のグループの中で、代表となる画像領域のグループのことを言う。
【００５７】
代表クラスタ決定部１５は、第１の実施形態では、クラスタ抽出部１４の解析結果を基に、対象領域を決定する対象領域決定部の一例である。つまり代表クラスタ決定部１５は、複数のクラスタの中から代表となる代表クラスタの画像領域のグループを選択する。そしてこの代表クラスタの画像領域のグループを、ユーザが画像処理を実際に行なう画像領域であると推定し、対象領域とする。この手法によれば、概形領域から対象領域を、いわば自動的に抽出し、ユーザに提示することができる。つまりユーザにとっては、より容易な操作で対象領域を決めることができる。
【００５８】
代表クラスタ決定部１５は、例えば、複数のクラスタの中で最も画素数が多く含まれるものを代表クラスタとする。つまりこの場合、抽出されたクラスタの中で、最も広い画像領域を有するクラスタを、代表クラスタとしてユーザに提示することができる。
【００５９】
また代表クラスタ決定部１５は、例えば、複数のクラスタの中で最も有彩色の画素数が多く含まれるものを代表クラスタとしてもよい。ユーザが色を調節したいのは、有彩色に対してである場合が多い。そのため代表クラスタ決定部１５は、ユーザが特に色を調整したいであろう有彩色画素を含むクラスタであって、その画素数が最も多いものを代表クラスタとする。この場合、ユーザが色を調節したいと推定される有彩色を含むクラスタを、優先的にユーザに提示することができる。
【００６０】
画像処理部１６は、対象領域に対し色調整の画像処理を行なう。ユーザは、色調整を行なう処理項目や処理量等に関する指示を入力装置６０を用いて入力する。そしてこのユーザからの指示は、ユーザ指示受付部１２が受け付け、これに基づき画像処理部１６が対象領域に対し色調整をする。
【００６１】
図８（ａ）〜（ｂ）は、色調整を行なう際に、表示装置５０の表示画面５１に表示される画面の例を示している。
このうち図８（ａ）は、色調整を行なう前の原画像Ｇ１を表示画面５１の上側領域ＲＨに表示した例を示している。そしてここでは、図６（ｂ）に示した概形領域Ｆ１から、代表クラスタ決定部１５が、７つの円形領域以外の箇所を代表クラスタＣｄとして決定し、表示画面５１に表示した場合を示している。
【００６２】
ここで挙げた例では、代表クラスタＣｄを、色調整を行なう対象領域とし、色相、彩度、輝度の調整を行なう場合を示している。
そして表示画面５１の下側領域ＲＬには、「色相」、「彩度」、「輝度」の調整を行なうためのスライドバー５１１ａと、スライダ５１１ｂが表示される。スライダ５１１ｂは、入力装置６０の操作によりスライドバー５１１ａ上において図中左右に移動し、スライドが可能である。スライダ５１１ｂは、初期状態ではスライドバー５１１ａの中央に位置し、この位置において「色相」、「彩度」、「輝度」の調整前の状態を表す。
【００６３】
そしてユーザが、入力装置６０を使用して、「色相」、「彩度」、「輝度」の何れかのスライダ５１１ｂをスライドバー５１１ａ上で図中左右にスライドさせると、選択された指定領域に対し色調整がなされ、表示画面５１で表示される原画像Ｇ１もそれに対応して変化する。この場合、図中右方向にスライダ５１１ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを増加させる色調整がなされる。対して図中左方向にスライダ５１１ｂをスライドさせると、対応する「色相」、「彩度」、「輝度」の何れかを減少させる色調整がなされる。
【００６４】
図８（ｂ）は、色調整を行なった後の色調整後の画像Ｇ２を示している。
この場合、色相を変化させるためのスライダ５１１ｂを操作した場合を示している。そしてその結果、代表クラスタＣｄの色相が変化した場合を示している。
【００６５】
再び図２に戻り、画像情報出力部１７は、以上のように色調整がなされた後の画像情報を出力する。色調整がなされた後の画像情報は、表示装置５０に送られる。そして図８（ｂ）で示したように、表示装置５０の表示画面５１にてこの画像情報に基づき画像が表示される。
【００６６】
図９は、第１の実施形態における画像処理装置１０の動作について説明したフローチャートである。
まず画像情報取得部１１が、原画像の画像情報を取得する（ステップ１０１）。この画像情報は、例えば、ＲＧＢデータである。
【００６７】
次に概形領域抽出部１３が、ユーザが画像処理を行なう対象となる対象領域を含む概形領域を抽出する（ステップ１０２）。これは、例えば、図３、図５、図６で説明したように、ユーザが、原画像に対し軌跡Ｋを与え、そしてこれをシードとして領域拡張法により概形領域を切り出すことで行なうことができる。
【００６８】
さらにクラスタ抽出部１４が、クラスタリングにより、概形領域の中からクラスタとなる画像領域のグループを抽出する（ステップ１０３）。このときクラスタ抽出部１４は、ＲＧＢデータをＨＳＶデータに変換後、クラスタリングを行なう。
【００６９】
そして代表クラスタ決定部１５が、複数のクラスタから代表クラスタを決定する（ステップ１０４）。これは、上述したように、複数のクラスタの画像領域のグループの中で最も画素数が多く含まれるものを代表クラスタとしてもよく、複数のクラスタの中で最も有彩色の画素数が多く含まれるものを代表クラスタとしてもよい。そしてこの代表クラスタの画像領域のグループが、画像処理の対象領域となる。
【００７０】
次に画像処理部１６が、対象領域に対して画像処理として色調整を行なう（ステップ１０５）。これは図８で示したような方法で行なうことができる。
【００７１】
そして画像情報出力部１７が、色調整後の画像情報を出力する（ステップ１０６）。このとき画像情報出力部１７は、画像処理がなされた後の画像情報をＨＳＶデータからＲＧＢデータに戻して出力する。このＲＧＢデータは、表示装置５０に送られ、表示画面５１に画像処理後の画像が表示される。
【００７２】
［第２の実施の形態］
次に画像処理装置１０の第２の実施の形態について説明を行なう。
第２の実施形態では、代表クラスタの画像領域のグループの画像が予め定められた彩度よりも低い低彩度の画像であったときに、代表クラスタにおける画像情報を色相が統一されたものとなるように統一する。一方、代表クラスタが予め定められた彩度以上の高彩度の画像であったときには、色相を統一しない。即ち、色相を変化させない。
【００７３】
図１０は、第２の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図１０では、画像処理装置１０が有する種々の機能のうち第２の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、第１の実施の形態と同様に、画像情報取得部１１と、ユーザ指示受付部１２と、概形領域抽出部１３と、クラスタ抽出部１４と、代表クラスタ決定部１５と、画像処理部１６と、画像情報出力部１７とを備える。さらに本実施の形態の画像処理装置１０は、第１の実施の形態に対して彩度を判定する彩度判定部２１と、色相を統一する色相統一部２２とが加わる点で異なる。
【００７４】
第２の実施形態では、彩度判定部２１および色相統一部２２以外の機能部の動作は、第１の実施形態と同様である。よって以下、彩度判定部２１および色相統一部２２について主に説明を行なう。
【００７５】
彩度判定部２１は、代表クラスタ決定部１５が決定した代表クラスタの画像領域のグループに含まれる画像が低彩度の画像であるか否かを判定する。低彩度の画像は、例えば、グレーに近い色を有する画像である。彩度判定部２１は、例えば、代表クラスタの彩度（Ｓ）が予め定められた閾値以下である場合に、代表クラスタが低彩度の画像であると判断する。より具体的には、例えば、代表クラスタを構成する全画素のうち第１の閾値以上の割合のものが、第２の閾値以下の彩度（Ｓ）である場合、彩度判定部２１は、代表クラスタが低彩度の画像であると判定する。また例えば、代表クラスタを構成する全画素の彩度（Ｓ）の平均値が、第３の閾値以下である場合、彩度判定部２１が、代表クラスタが低彩度の画像であると判定してもよい。
【００７６】
色相統一部２２は、代表クラスタが予め定められた彩度よりも低い低彩度の画像であったときに、この代表クラスタにおける画像情報を色相（Ｈ）が統一されたものとなるように置換する。
つまり上述したように画像がグレーに近い低彩度のものであった場合は、色相（Ｈ）がほぼ全域に散らばってしまう。そしてこの状態で、彩度（Ｓ）を高める等の処理を行なうと、代表クラスタが様々な色となり、まだらな色調整結果となる。
【００７７】
図１１（ａ）〜（ｂ）は、画像がグレーに近い低彩度のものであった場合の色相の分布を示した図である。
このうち図１１（ａ）は、Ｈ−Ｖ平面における画素値の分布を示した図である。また図１１（ｂ）は、Ｈ−Ｓ平面における画素値の分布を示した図である。両図とも両矢印Ｊ１で示す範囲内で色相（Ｈ）が広範囲にばらついて分布していることがわかる。この場合、色相（Ｈ）は、図１１（ａ）のＨｍｉｎ〜Ｈｍａｘの範囲でばらついて分布する。
そしてこの状態で、図１１（ｂ）の３つの矢印Ｊ２で示すように彩度（Ｓ）を高める処理を行なうと、それぞれの画素が有する様々な色が顕在化し、ばらばらな色となる。画像がグレーに近い低彩度のものであった場合、ユーザは、画像処理を行なう前の原画像では、その画像が様々な色相（Ｈ）を有していることはわからないが、ユーザが彩度を高める処理を行った場合に、顕著に現れる問題である。
【００７８】
そこで本実施の形態では、色相統一部２２において、代表クラスタが低彩度の画像であったときには、代表クラスタにおける画像情報を色相（Ｈ）が統一されたものとなるように置換する処理を行なう。
【００７９】
具体的には、まず代表クラスタの平均色相値Ｈaveを算出する。代表クラスタ中の各画素の位置（ｘ、ｙ）における色相値をＨ（ｘ、ｙ）とすると、平均色相値Ｈaveは、以下の数１２式により算出することができる。数１２式中、Ｎは代表クラスタの画素数であり、Ｃｋは代表クラスタを表す。
【００８０】
【数１２】
2019101844.tif 000014
【００８１】
そしてこの平均色相値Ｈaveに、色相値Ｈ（ｘ、ｙ）を置換する。またこのとき彩度値Ｓ（ｘ、ｙ）、輝度値Ｖ（ｘ、ｙ）は変化させない。この処理は、以下の数１３式で表すことができる。そして変換後のＨave、Ｓ（ｘ、ｙ）、Ｖ（ｘ、ｙ）が、色相（Ｈ）が統一されたものとなるように置換した後の画像情報となる。
【００８２】
【数１３】
2019101844.tif 000015
【００８３】
図１２（ａ）〜（ｂ）は、数１３式を使用した色相値の置換について説明した図である。
ここで図１２（ａ）は、図１１（ａ）と同様の図であり、Ｈ−Ｖ平面における置換前の色相値Ｈ（ｘ、ｙ）の分布を表す。また図１２（ｂ）は、Ｈ−Ｖ平面における置換後の色相値の分布を表す。図１２（ｂ）に示すように、置換後の色相値は、平均色相値Ｈaveに置換される。
また色相値Ｈ（ｘ、ｙ）を、平均色相値Ｈaveの一律に置換せず、平均色相値Ｈaveに向けて置換してもよい。なおこの場合も彩度値Ｓ（ｘ、ｙ）、輝度値Ｖ（ｘ、ｙ）は変化させない。
【００８４】
図１３は、第２の実施形態における画像処理装置１０の動作について説明したフローチャートである。
図１３のステップ２０１〜ステップ２０４は、図９のステップ１０１〜ステップ１０４と同様であるので説明を省略する。
ステップ２０４より後は、彩度判定部２１が、代表クラスタ決定部１５が決定した代表クラスタの画像領域のグループに含まれる画像が低彩度の画像であるか否かを判定する（ステップ２０５）。
その結果、低彩度の画像であった場合（ステップ２０５でＹｅｓ）、色相統一部２２が、代表クラスタにおける画像情報を色相（Ｈ）が統一されたものとなるように置換する（ステップ２０６）。
対して低彩度の画像でなかった場合（ステップ２０５でＮｏ）、およびステップ２０６より後のステップ２０７〜ステップ２０８は、図９のステップ１０５〜ステップ１０６と同様である。
【００８５】
［第３の実施の形態］
次に画像処理装置１０の第３の実施の形態について説明を行なう。
第３の実施形態では、クラスタ抽出部１４により抽出されたクラスタをユーザに提示する。そしてその中からユーザが色調整を行ないたいクラスタの画像領域のグループを対象領域として選択する。
【００８６】
図１４は、第３の実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図１４では、画像処理装置１０が有する種々の機能のうち第３の実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、第２の実施の形態と同様に、画像情報取得部１１と、ユーザ指示受付部１２と、概形領域抽出部１３と、クラスタ抽出部１４と、画像処理部１６と、画像情報出力部１７と、彩度判定部２１と、色相統一部２２とを備える。ただし本実施の形態の画像処理装置１０は、代表クラスタ決定部１５がなく、クラスタの選択を行なうクラスタ選択部３１が加わる点で異なる。
【００８７】
第３の実施形態では、クラスタ選択部３１以外の機能部の動作は、第２の実施形態と同様である。よって以下、クラスタ選択部３１について主に説明を行なう。
【００８８】
クラスタ選択部３１は、まずクラスタ抽出部１４により抽出されたクラスタをユーザに提示する。そのために抽出されたクラスタを、表示装置５０の表示画面５１に表示する。
【００８９】
図１５は、クラスタ抽出部１４により抽出されたクラスタをユーザに提示した例を示した図である。
ここでは、表示装置５０の表示画面５１の左側領域ＲＬに、概形領域Ｆ１から、２つのクラスタであるクラスタＣｋ１およびクラスタＣｋ２が抽出されたことを示している。この場合、クラスタＣｋ１は、概形領域Ｆ１の中の７つの円形領域以外の箇所であり、クラスタＣｋ２は、７つの円形領域のうち特徴量が共通性をもつ３つの円形領域の箇所として抽出されている。そして、表示画面５１の右側領域ＲＲに、クラスタＣｋ１について、「クラスタＡ」が抽出されたことを表示し、クラスタＣｋ２について、「クラスタＢ」が抽出されたことを表示している。またクラスタＣｋ１の平均色を「クラスタＡ」の表示の左側の矩形領域５２１内に表示している。さらにクラスタＣｋ２の平均色を「クラスタＢ」の表示の左側の矩形領域５２２内に表示している。
【００９０】
そして図１５の状態から、ユーザは、入力装置６０を用いて、何れかのクラスタを選択する。その結果、これをユーザ指示としてユーザ指示受付部１２が受け付ける。この場合、ユーザ指示受付部１２は、クラスタに対するユーザの指示を受け付ける受付部として機能する。そしてクラスタ選択部３１は、複数のクラスタの中から、ユーザが選択指示したものを対象領域とする。この場合、クラスタ選択部３１は、クラスタ抽出部１４の解析結果を基に、対象領域を決定する対象領域決定部の一例であると考えることもできる。
【００９１】
またクラスタ選択部３１は、ユーザの指示により複数のクラスタの合成を行ない、１つのクラスタとして扱うこともできる。ここで「クラスタの合成」とは、クラスタリングにより分類された複数のクラスタを１つのクラスタとして扱うことを言う。つまり本実施の形態で、「クラスタの合成」は、クラスタリングにより複数のクラスタのグループの画像領域として分類されたた各画像領域をまとめて１つの対象領域として扱うことを言う。また、クラスタ選択部３１においてユーザにより複数のクラスタが選択されても、クラスタの合成を行わず、それぞれのクラスタに含まれる画像領域をまとめて１つの対象領域として扱うようにしてもよい。
図１６（ａ）〜（ｂ）は、複数のクラスタを合成し、１つのクラスタとする場合を示した図である。
このうち図１６（ａ）は、クラスタ抽出部１４により抽出されたクラスタをユーザに提示した例を示した図である。
ここでは、表示装置５０の表示画面５１の左側領域ＲＬに、概形領域Ｆ１から、３つのクラスタであるクラスタＣｋ１、クラスタＣｋ２、およびクラスタＣｋ３が抽出されたことを示している。この場合、クラスタＣｋ１は、概形領域Ｆ１の中の７つの円形領域以外の箇所として抽出されている。またクラスタＣｋ２は、７つの円形領域のうち３箇所として抽出され、クラスタＣｋ３は、７つの円形領域のうち残りの４箇所として抽出されている。そして、表示画面５１の右側領域ＲＲに、クラスタＣｋ１について、「クラスタＡ」が抽出されたことを表示している。さらにクラスタＣｋ２について、「クラスタＢ」が抽出されたことを表示し、クラスタＣｋ３について、「クラスタＣ」が抽出されたことを表示している。またクラスタＣｋ１の平均色を「クラスタＡ」の表示の左側の矩形領域５２１内に表示している。さらにクラスタＣｋ２の平均色を「クラスタＢ」の表示の左側の矩形領域５２２内に表示し、クラスタＣｋ３の平均色を「クラスタＣ」の表示の左側の矩形領域５２３内に表示している。
【００９２】
そして図１６（ａ）の状態から、ユーザは、入力装置６０を用いて、複数のクラスタを選択する。その結果、これをユーザ指示としてユーザ指示受付部１２が受け付ける。ここでは、複数のクラスタとして、ユーザがクラスタＣｋ２およびクラスタＣｋ３を選択したとする。そしてクラスタ選択部３１は、ユーザが選択した複数のクラスタを合成し、１つのクラスタとし、対象領域とする。
【００９３】
図１６（ｂ）は、クラスタを合成した後の状態をユーザに提示した例を示した図である。
この場合、クラスタＣｋ２およびクラスタＣｋ３が１つのクラスタＣｋ２３として扱われる。そして、表示画面５１の右側領域ＲＲに、クラスタＣｋ２およびクラスタＣｋ３が合成されたことを示す「クラスタＢ＋Ｃ」の表示がされる。さらにクラスタＣｋ２およびクラスタＣｋ３の平均色を「クラスタＢ＋Ｃ」の表示の左側の矩形領域５２４内に表示している。
【００９４】
図１７は、第３の実施形態における画像処理装置１０の動作について説明したフローチャートである。
図１７のステップ３０１〜ステップ３０３は、図１３のステップ２０１〜ステップ２０３と同様であるので説明を省略する。
ステップ３０３より後は、クラスタ選択部３１が、クラスタ抽出部１４により抽出されたクラスタをユーザに提示する（ステップ３０４）。抽出されたクラスタは、図１５、図１６（ａ）に示したように表示画面５１に表示される。
【００９５】
そしてユーザがクラスタを選択すると、ユーザ指示受付部１２は、これをユーザ指示として受け付ける（ステップ３０５）。
そしてクラスタ選択部３１は、複数のクラスタの中から、ユーザが選択したものを対象領域とする（ステップ３０６）。またこのとき図１６（ｂ）で説明したように、クラスタの合成を行なってもよい。
次に彩度判定部２１が、対象領域が低彩度の画像であるか否かを判定する（ステップ３０７）。
【００９６】
ステップ３０８〜ステップ３１０は、ステップ２０６〜ステップ２０８と同様である。ただし、第３の実施形態では、代表クラスタではなく、ユーザが選択したクラスタに対し、色相の統一および色調整を行なう点で異なる。
【００９７】
以上説明した第１の実施形態〜第３の実施形態によれば、クラスタリングの手法を用いることで、概形領域の中から、ユーザが画像処理を行なう対象となる対象領域を切り抜く際に、細かく分かれた領域をひとまとめにして対象領域とすることがより容易となる。これにより対象領域を切り抜く際のユーザの手間が軽減される。
さらに第２の実施の形態によれば、これに加え、代表クラスタがグレーに近い低彩度の画像であった場合でも、色調整が破綻し失敗することを抑制することができる。さらに代表クラスタがグレーに近い低彩度の画像であった場合に、着色を行なうことが容易である。
さらに第３の実施の形態によれば、さらに抽出されたクラスタから、ユーザが対象領域を選択することができる。またクラスタの合成を行なうことで、複数のクラスタを１つのクラスタとして扱い、色調整を行なうことができ、ユーザの利便性が向上する。
【００９８】
図１８（ａ）〜（ｃ）は、本実施の形態による色調整の結果と、従来の手法による色調整の結果とを比較した図である。
このうち図１８（ａ）は、図３（ａ）に示した色調整を行なう前の原画像Ｇ１である。
そして図１８（ｂ）は、本実施の形態による色調整の結果を示している。これは、図８（ｂ）に示した色調整との画像Ｇ２である。この場合、上述したように代表クラスタＣｄに対し、選択的に色調整がなされる。
対して図１８（ｃ）は、従来の手法による色調整の結果を示している。この場合、例えば、例えば平均色を変化させる色調整を行なった後の画像Ｇ２’を示している。しかしながらこの場合、概形領域Ｆ１全体に対する色調整となり、概形領域Ｆ１全体の色が変わってしまう。
【００９９】
これを回避するため、図１８（ｂ）のように代表クラスタＣｄの領域だけを選択しようとすると、従来技術では、例えば、抽出したい領域の色を中心に色空間上の一定範囲を抽出する方法がある。しかしユーザーが色空間上の抽出範囲を決定するための閾値などの設定を行う必要があり、操作が複雑になってしまう。また抽出したい領域以外の部分の画素が同系色であった場合に、領域が過抽出されてしまう場合がある。
さらに図３に示したような方法を使用する場合でも、ユーザは、シードの付与を細かく行わなければならず、多大な労力がかかる。
またこれら２つの手法を両方ともに利用する場合、場合に応じて使い分ける必要があり、色調整の作業に不慣れなユーザーにとっては使いこなすことが困難である。そのためユーザーが使いやすいと感じるには程遠い。
【０１００】
＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
【０１０１】
よって本実施の形態で、画像処理装置１０が行なう処理は、コンピュータに、ユーザが画像処理を行なう対象の画像中の画素に対し共通する画素情報をもつ画像領域のグループであるクラスタを抽出するクラスタ抽出機能と、クラスタ抽出機能で抽出されたクラスタから、画像処理の対象となる画像領域のグループを対象領域として決定する対象領域決定機能と、対象領域に対し画像処理を行なう画像処理機能と、を実現させるプログラムとして捉えることもできる。
【０１０２】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【０１０３】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【０１０４】
１…画像処理システム、１０…画像処理装置、１１…画像情報取得部、１２…ユーザ指示受付部、１３…概形領域抽出部、１４…クラスタ抽出部、１５…代表クラスタ決定部、１６…画像処理部、１７…画像情報出力部、２１…彩度判定部、２２…色相統一部、３１…クラスタ選択部、５０…表示装置、６０…入力装置
【図１】
2019101844.tif 000016
【図２】
2019101844.tif 000017
【図３】
2019101844.tif 000018
【図４】
2019101844.tif 000019
【図５】
2019101844.tif 000020
【図６】
2019101844.tif 000021
【図７】
2019101844.tif 000022
【図８】
2019101844.tif 000023
【図９】
2019101844.tif 000024
【図１０】
2019101844.tif 000025
【図１１】
2019101844.tif 000026
【図１２】
2019101844.tif 000027
【図１３】
2019101844.tif 000028
【図１４】
2019101844.tif 000029
【図１５】
2019101844.tif 000030
【図１６】
2019101844.tif 000031
【図１７】
2019101844.tif 000032
【図１８】
2019101844.tif 000033