(57)【要約】【課題】  被写体領域を特定する際の処理負荷を低減し、被写体領域の特定精度を高める。【解決手段】  本発明の画像処理装置は、入力された画像におけるシーンを判定する判定部と、画像を区分することで得られる複数の領域を、画像を構成する複数の部分領域として設定する領域設定部と、判定部により判定されたシーンに基づいて、画像を区分する際に用いるパラメータを設定するパラメータ設定部と、領域設定部にて設定された複数の部分領域を用いて、画像を分割する分割部と、を備えたことを特徴とする。【選択図】    図２
2014167696.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像におけるシーンを判定する判定部と、
前記画像を区分することで得られる複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定部と、
前記判定部により判定されたシーンに基づいて、前記画像を区分する際に用いるパラメータを設定するパラメータ設定部と、
前記領域設定部にて設定された前記複数の部分領域を用いて、前記画像を分割する分割部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記領域設定部は、
前記画像に含まれる画素をノードとして配置するとともに、配置された複数のノードのうち、隣接するノード間の重みを設定したグラフを生成するグラフ生成部と、
隣接する前記ノード間の重みのうち、最小となる前記ノード間の重みを評価する処理を繰り返し実行することで、前記グラフにおける最小全域木を求める最小全域木生成部と、
を備え、
前記領域設定部は、前記最小全域木生成部により求めた最小全域木を用いて前記複数の部分領域を設定することを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記パラメータ設定部は、前記画像におけるシーンに基づいて、前記ノード間の重みを設定する際に用いる設定用パラメータ、又は前記ノード間の重みを評価する際に用いる評価用パラメータのいずれか一方のパラメータを設定することを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記パラメータ設定部は、画像におけるシーンに対応付けられる複数のテーブルデータを備え、
前記パラメータ設定部は、前記判定部により判定されたシーンに対応するテーブルデータを用いて、前記評価用パラメータを設定することを特徴とする画像処理装置。
【請求項５】
請求項３に記載の画像処理装置において、
前記グラフ生成部は、前記画像の各画素における輝度値及び色差値と、前記設定用パラメータとを用いた加重加算より、前記隣接するノード間の重みを求めることを特徴とする画像処理装置。
【請求項６】
画像を取得する撮像素子と、
請求項１から請求項５のいずれか１項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項７】
入力された画像におけるシーンを判定する判定工程と、
前記画像を区分することで得られる複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定工程と、
前記判定工程により判定されたシーンに基づいて、前記画像を区分する際に用いるパラメータを設定するパラメータ設定工程と、
前記領域設定工程にて設定された前記複数の部分領域を用いて、前記画像を分割する分割工程と、
をコンピュータに実行させることが可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来、エッジ抽出処理など画像における特徴量を求めることで、画像に含まれる被写体の領域を特定し、特定された被写体の領域（被写体領域）と、他の領域（例えば背景領域など）とを分割する方法が考案されている。また、この他に、画像を構成する各画素の輝度値や色成分値などの特徴量の類似度を求め、隣接する画素のうち、類似度が閾値よりも高い画素を統合した領域を複数設定し、設定された複数の領域を用いて被写体の領域を特定することも考案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１９１０２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、デジタルカメラに代表される撮像装置においては、ユーザは撮影環境に応じて撮像装置におけるシーンモード（オート、ポートレート、風景、マクロなど）を切り替えて撮影を行うことが多い。一方、画像を被写体の領域と他の領域とに分割する場合、上述した閾値はシーンモードに関係なく固定値が用いられている。このため、画像によっては、設定される領域の数が多くなる場合や、設定される領域の数が少なくなる場合が発生しまい、被写体領域を特定する際の処理負荷が大きく、また、被写体領域の特定精度が悪くなるという問題がある。
【０００５】
本発明は、被写体領域を特定する際の処理負荷を低減し、被写体領域の特定精度を高めることができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、入力された画像におけるシーンを判定する判定部と、前記画像を区分することで得られる複数の領域を、前記画像を構成する部分領域として設定する領域設定部と、前記判定部により判定されたシーンに基づいて、前記画像を区分する際に用いるパラメータを設定するパラメータ設定部と、前記領域設定部にて設定された前記複数の部分領域を用いて、前記画像を分割する分割部と、を備えたことを特徴とする。
【０００７】
また、本発明の撮像装置は、画像を取得する撮像素子と、上述した画像処理装置と、を備えたことを特徴とする。
【０００８】
また、本発明の画像処理プログラムは、入力された画像におけるシーンを判定する判定工程と、前記画像を区分することで得られる複数の領域を、前記画像を構成する部分領域として設定する領域設定工程と、前記判定工程により判定されたシーンに基づいて、前記画像を区分する際に用いるパラメータを設定するするパラメータ設定工程と、前記領域設定工程にて設定された前記部分領域を用いて、前記画像を分割する分割工程と、をコンピュータに実行させることが可能なものである。
【発明の効果】
【０００９】
本発明によれば、被写体領域を特定する際の処理負荷を低減し、被写体領域の特定精度を高めることができることができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の一実施例を示す機能ブロック図である。
【図２】領域設定部の一実施例を示す機能ブロック図である。
【図３】重み付きグラフの一例を示す図である。
【図４】領域分割に係る処理の一実施例を示すフローチャートである。
【図５】部分領域を設定する処理の一実施例を示すフローチャートである。
【図６】撮像装置の一実施例を示す機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明の画像処理装置の一実施例について説明する。図１に示すように、画像処理装置１０は、色空間変換部１５、シーン判定部１６、解像度変換部１７、画像編集部１８、領域設定部１９、領域結合部２０及び領域分割部２１を有している。
【００１２】
色空間変換部１５は、入力される画像データの色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する。色空間変換部１５は、色空間を変換した画像データを解像度変換部１７に出力する。
【００１３】
シーン判定部１６は、入力される画像データに付帯される付帯情報から、撮影時に設定されるシーンモードの情報（以下、シーン情報）を読み出す。シーン判定部１６は、読み出したシーン情報から、撮影時のシーンモードを判定する。なお、撮影時のシーンモードとしては、「風景」、「夜景」、「マクロ撮影」、「花火」、「流し撮り」、「ポートレート」、「オート」などが挙げられる。この判定に基づき、シーン判定部１６は、解像度変換部１７に対して、解像度変換処理が施された画像データを画像編集部１８に出力するか、領域設定部１９に出力するかを指示する。
【００１４】
解像度変換部１７は、ＹＣｂＣｒ色空間に変換された画像データの解像度を変換する処理（以下、解像度変換処理）を実行する。解像度変換部１７は、色空間変換処理が施された画像データに対して解像度変換処理を行い、例えば６４０×４８０画素の画像サイズの画像データを生成する。そして、解像度変換部１７は、シーン判定部１６からの指示を受けて、解像度変換処理が施された画像データを画像編集部１８又は領域設定部１９のいずれかに出力する。
【００１５】
画像編集部１８は、入力される画像データに対して、画像編集処理を実行する。ここで、画像編集処理としては、例えばトリミング処理が挙げられる。画像編集部１８は、入力される画像データに対するトリミング処理を行い、被写体の領域が含まれる矩形の領域（以下、被写体領域）を切り出す。そして、画像編集部１８は、切り出した被写体領域に基づく画像データを生成する。また、画像編集部１８は、被写体領域が切り出された残りの領域（以下、背景領域）に基づく画像データも生成する。ここで、被写体の領域は、顔認識処理に係る情報、被写体追尾処理に係る情報、或いは動体情報のいずれかの情報を用いればよい。これら情報は、画像データに付帯されていてもよいし、画像データが画像処理装置に入力された後、解析を行うことで取得してもよい。
【００１６】
領域設定部１９は、解像度変換部１７から出力された画像データ、又は、画像編集部１８から出力された画像データ（被写体領域、背景領域の各領域に基づく画像データ）に対する領域設定処理を実行する。なお、領域設定処理とは、入力された画像データに基づく画像を複数の領域に区分けし、区分けした各領域を部分領域として設定する処理である。ここで、部分領域を設定する方法としては、解像度変換処理が施された画像データを用いた重み付きグラフを作成し、作成した重み付きグラフを使用して最小全域木を求める方法が挙げられる。以下、作成した重み付きグラフを用いて最小全域木を求める方法について説明するが、これに限定される必要はなく、例えば対象となる画素の色情報と隣接する画素の色情報とが、同一の色情報又は近似する色情報を類似画素としてまとめた画素群をそれぞれ、部分領域としてそれぞれ設定してもよい。
【００１７】
領域結合部２０は、画像データに対して設定された部分領域を結合する処理を実行する。上述したように、シーン判定部１６にて、シーンモードが「ポートレート」となる場合、画像編集部１８にて被写体領域からなる画像データと背景領域からなる画像データとが生成される。この場合、領域設定部１９は、これら画像データのそれぞれに対して部分領域を設定している。そこで、領域結合部２０は、部分領域が設定された被写体領域からなる画像データと、背景領域からなる画像データとを合成した後、合成された画像データに設定される部分領域を用いて、複数の部分領域を結合する。なお、複数の部分領域を結合する処理としては、例えば撮影時に得られるＡＦエリアの深度情報を用い、隣接する部分領域のうち、深度情報が近似する部分領域を結合することが挙げられる。また、この他に、隣接する部分領域の特徴量の情報をそれぞれ求め、求めた特徴量の情報が近似する部分領域を結合することも可能である。さらに、深度情報及び特徴量の情報のそれぞれを用いて隣接する部分領域を結合することも可能である。ここで、特徴量としては、例えば部分領域における輝度値、色成分値、周波数成分値などが挙げられる。以下、結合された部分領域を結合領域と称する。
【００１８】
領域分割部２１は、結合処理により生成された結合領域に基づいて、入力された画像データに対する領域分割処理を実行する。
【００１９】
次に、領域設定部１９の一実施例について説明する。図２に示すように、領域設定部１９は、グラフ生成部２５、最小全域木生成部２６、パラメータ設定部２７を備えている。グラフ生成部２５は、解像度変換処理が施された画像データを用いて、画像データに基づく画像の各画素をノード（頂点）、隣接する画素間をエッジ（辺）とした重み付きグラフを生成する。
【００２０】
まず、グラフ生成部２５は、隣接する画素の輝度値及び色差値のそれぞれの差分を求める。そして、グラフ生成部２５は、求めた輝度値の差分（ΔＬ）及び色差値の差分（ΔＣｄ）を用いた加重加算により、画素間のエッジの重みを算出する。ここで、（１）式は、エッジの重みを算出する際に用いる式である。
【００２１】
【数１】
2014167696.tif 000003
【００２２】
この（１）式における係数αは、パラメータ設定部２７によって設定される値である。グラフ生成部２５は、画像に含まれる複数の画素うち、隣接する画素間のエッジの重みを算出する。そして、グラフ生成部２５は、算出したエッジの重みを対応付けた重み付きグラフを生成する。ここで、図３は、画像データに基づいて生成された重み付きグラフの一例である。ここで、図３中、Ｎ（１，１）〜Ｎ（６，５）はノード、記号ｅはエッジを示している。
【００２３】
最小全域木生成部２６は、グラフ生成部２５によって生成された重み付きグラフを用いて最小全域木を生成する。この最小全域木を生成する手法として、例えば“Efficient Graph-Based Image Segmentation” P.Felzenszwalb, D.Huttenlocher(2004)，International Journal of Computer Vision,59 167-181の手法が挙げられる。この手法は、例えばクラスカル法を用いて実行される。上述した手法は、重み付きグラフＧ（Ｖ，Ｅ）の各エッジの重みｗ（ｅ）のうち、最小となる重みｗ（ｅ）を１つ選択し、エッジが結ぶ２つのノードのそれぞれが含まれるコンポーネントを結合するか否かを判定する。この判定は、後述するセグメンテーションの基準Ｄ（Ｃ１，Ｃ２）の評価を行うことで実行される。この判定をエッジの重みｗ（ｅ）の低い順に、全てのエッジの重みｗ（ｅ）に対して繰り返し実行する。この処理の後に、コンポーネントにおける最小全域木が閉路となるエッジがあるか否かが判定される。上述したエッジが結ぶ２つのノードのそれぞれが含まれるコンポーネントを結合するか否かの判定を行うことで、一定サイズ以下の微小なコンポーネントが他のコンポーネントに結合される。なお、重み付きグラフの最小全域木を求める手法としてクラスカル法を用いているが、これに限定される必要はなく、プリム法など、他の手法を用いることも可能である。
【００２４】
以下、セグメンテーションの基準Ｄ（Ｃ１，Ｃ２）の評価について説明する。ｖ∈Ｖは各画素に対応する重み付きグラフのノードであり、ｅ∈Ｅは隣接する画素間に対して定義したノード間のエッジである。コンポーネントとして領域Ｃを考慮した場合、領域Ｃ内の相違性をＩｎｔ（Ｃ）とすると、Ｉｎｔ（Ｃ）は（２）式で定義される。
【００２５】
【数２】
2014167696.tif 000004
【００２６】
ＭＳＴ（Ｃ，Ｅ）は領域Ｃ内の最小全域木におけるエッジを示す。
【００２７】
次に、２つの領域Ｃ１、Ｃ２間の相違性をＤｉｆ（Ｃ１，Ｃ２）とすると、Ｄｉｆ（Ｃ１，Ｃ２）は、（３）式で定義される。
【００２８】
【数３】
2014167696.tif 000005
【００２９】
２つの領域Ｃ１、Ｃ２間におけるセグメンテーションの基準Ｄ（Ｃ１，Ｃ２）は、以下の（４）式、（５）式で定義される。
【００３０】
【数４】
2014167696.tif 000006
【００３１】
【数５】
2014167696.tif 000007
【００３２】
ここで、τ（Ｃ）は係数であり、係数τ（Ｃ）は、パラメータ設定部２７により設定される値である。この係数τ（Ｃ）は、コンポーネントの面積が小さいほど大きい値となる。つまり、領域Ｃが小さいほど、Ｍ Ｉｎｔ（Ｃ１，Ｃ２）の値が大きくなる。その結果、セグメンテーションの基準Ｄが「ｆａｌｓｅ」となり、２つの領域が結合されやすくなる。また、係数τ（Ｃ）は、コンポーネントの面積が大きいほど小さい値となる。つまり、領域Ｃが大きいほど、Ｍ Ｉｎｔ（Ｃ１，Ｃ２）の値が小さくなる。その結果、セグメンテーションの基準Ｄが「ｔｒｕｅ」となり、２つの領域が結合しにくくなる。
【００３３】
パラメータ設定部２７は、上述したエッジの重みを算出する際に用いる係数α、セグメンテーションの基準の評価の際に用いる係数τ（Ｃ）の値を設定する。パラメータ設定部２７は、シーン判定部によるシーン判定の結果に基づいて、係数α及び係数τ（Ｃ）の値を設定する。
【００３４】
まず、係数αの値を設定する場合について説明する。この係数αは、上述したシーン判定の結果に基づいて調整される。シーン判定において、シーンモードが「風景」、「マクロ」、「ポートレート」及び「オート」の場合、パラメータ設定部２７は、輝度及び色差の重要度が同レベルであるとし、例えば係数αを基準値α０に設定する。この基準値α０は、予め実験・統計などから設定される値である。また、シーン判定において、シーンモードが「花火」、「夜景」と判定される場合、パラメータ設定部２７は、輝度の重要度が色差の重要度が高いとし、係数αを基準値α０から値α１（α１＞α０）に調整する。なお、値α１は、領域分割処理の対象となる画像の特徴量（輝度、色差など）に基づいて調整される。ここで、シーンモードが「オート」となる場合、パラメータ設定部２７は画像の特徴量を求めた後、求めた特徴量に応じて係数αを設定してもよい。
【００３５】
次に、係数τ（Ｃ）の値を設定する場合について説明する。パラメータ設定部２７は、上述した係数τ（Ｃ）を設定する際に用いるテーブルデータを複数記憶している。以下、パラメータ設定部２７に記憶されるテーブルデータとして第１テーブルデータ３１、第２テーブルデータ３２、第３テーブルデータ３３の３つのテーブルデータを有する場合について説明する。これらテーブルデータは、コンポーネントの面積と、係数τ（Ｃ）とが対応付けられたテーブルデータである。ここで、コンポーネントの面積が同一面積となる場合に、第１テーブルデータ３１、第３テーブルデータ３３、第２テーブルデータ３２の順に係数τ（Ｃ）の値が小さく設定される。ここで、第１のテーブルデータ３１は、シーンモードが「風景」、「流し撮り」と判定された場合に用いられる。また、第２のテーブルデータ３２は、シーンモードが「マクロ」と判定された場合に用いられる。第３のテーブルデータ３３は、シーンモードが「オート」と判定される場合に用いられる。
【００３６】
上述したシーン判定において「ポートレート」と判定された場合、画像編集部１８によって、被写体の領域に基づく画像データと、背景領域に基づく画像データがそれぞれ生成される。被写体の領域に基づく画像データの場合、パラメータ設定部２７は、第２テーブルデータ３２を用いて係数τ（Ｃ）を設定する。一方、背景領域に基づく画像データの場合、パラメータ設定部２７は、第１テーブルデータ３１を用いて係数τ（Ｃ）を設定する。なお、シーン判定にて「ポートレート」と判定された場合、被写体領域の画像データに対しては第２テーブルデータ３２を用いて係数τ（Ｃ）を設定し、背景領域の画像データに対しては第１テーブルデータ３１を用いて係数τ（Ｃ）を設定しているが、これに限定される必要はなく、被写体領域の大きさ（面積）や、画像における被写体の位置などを参照し、選択するテーブルデータを選択することも可能である。
【００３７】
ここで、パラメータ設定部２７は、例えばコンポーネントの面積に応じた係数τ（Ｃ）の値が記載されたテーブルデータを複数保持しているとしているが、これに限定される必要はなく、算出することも可能である。
【００３８】
次に、領域分割に係る処理の流れを図４のフローチャートに基づいて説明する。
【００３９】
ステップＳ１０１は、色空間変換処理である。色空間変換部１５は、入力された画像データをＲＧＢ色空間で示される画像データからＹＣｂＣｒ色空間で示される画像データに変換する。ここで、画像処理装置１０に入力される画像データが、ＹＣｂＣｒ色空間で示される画像データの場合には、色空間変換処理は省略される。一方、入力される画像データが他の色空間で示される画像データの場合には、ステップＳ１０１の処理が行われ、ＹＣｂＣｒ色空間で示される画像データに変換される。
【００４０】
ステップＳ１０２は、シーン判定を行う処理である。シーン判定部１６は、入力された画像データに付帯された付帯情報から、シーン情報を読み出す。シーン判定部１６は、読み出したシーン情報に基づき、撮影時のシーンモードを判定する。この判定に基づいて、シーン判定部１６は、領域設定部１９に対して、シーン判定の結果を示す情報を出力する。同時に、シーン判定部１６は、解像度変換部１７に対して解像度変換処理が施された画像データの出力先を指示する。
【００４１】
ステップＳ１０３は、解像度変換処理である。解像度変換部１７は、入力される画像データに対して、解像度変換処理を実行する。この解像度変換処理により、例えば６４０×４８０画素の画像サイズの画像データが生成される。
【００４２】
ステップＳ１０４は、画像データを画像編集部１８に出力するか否かを判定する処理である。シーン判定部１６は、解像度変換部１７に対して解像度変換処理が施された画像データを画像編集部１８に出力するか領域設定部１９に出力するかを指示している。これを受けて、解像度変換部１７は解像度変換処理が施された画像データを出力している。例えば解像度変換処理が施された画像データを画像編集部１８に出力する指示であれば、解像度変換部１７は、ステップＳ１０４の判定結果をＹｅｓとする。そして、解像度変換部１７は、解像度変換処理が施された画像データを画像編集部１８に出力する。この場合、ステップＳ１０５に進む。一方、解像度変換処理が施された画像データを領域設定部１９に出力する指示であれば、解像度変換部１７は、ステップＳ１０４の判定結果をＮｏとする。そして、解像度変換部１７は、解像度変換処理が施された画像データを領域設定部１９に出力する。この場合、ステップＳ１０６に進む。
【００４３】
ステップＳ１０５は、画像編集処理である。画像編集部１８は、解像度変換処理が施された画像データに対してトリミング処理を行う。そして、トリミング処理により切り出した被写体領域に基づく画像データと、背景領域に基づく画像データとをそれぞれ生成する。そして、画像編集部１８は、生成した画像データを領域設定部１９に出力する。
【００４４】
ステップＳ１０６は、部分領域を設定する処理である。領域設定部１９は、入力された画像データに対して部分領域を設定する。なお、部分領域の設定処理の詳細については、後述する。
【００４５】
ステップＳ１０７は、部分領域の結合処理である。領域結合部２０は、例えば、画像データに付帯された深度情報、画像データから抽出される特徴量の情報などを用いて、ステップＳ１０６にて設定された部分領域を結合する。
【００４６】
ここで、領域設定部１９から出力される画像データが、被写体領域からなる画像データと背景領域からなる画像データとからなる場合がある。この場合、領域結合部２０は、被写体領域からなる画像データと背景領域からなる画像データとを合成する。この合成の後、合成された画像データに設定される部分領域を用いて、複数の部分領域を結合する。
【００４７】
ステップＳ１０８は、領域分割処理である。領域分割部２１は、ステップＳ１０７の結合処理の結果を用いて、画像データに対する領域分割処理を実行する。そして、領域分割処理の結果を、画像データの付帯情報に書き込む。なお、領域分割処理の結果は、例えば美白処理などの画像補正処理の際に用いられる。
【００４８】
次に、部分領域を設定する処理について、図５のフローチャートを用いて説明する。
【００４９】
ステップＳ２０１は、パラメータを設定する処理である。ステップＳ１０２が行われることで、シーン判定部１６は、シーン判定の結果を示す情報を領域設定部１９に入力する。このシーン判定の結果を示す情報は、パラメータ設定部２７に入力される。パラメータ設定部２７は、入力される信号に基づいて、パラメータを設定する。このステップＳ１０７において設定されるパラメータは、例えば係数α及び係数τ（Ｃ）である。
【００５０】
係数αの設定について説明する。例えばシーンモードが「風景」、「マクロ」、「ポートレート」と判定される場合、パラメータ設定部２７は、輝度及び色差の重要度が同レベルであるとし、例えば係数αを基準値α０に設定する。また、シーンモードが「花火」、「夜景」と判定される場合、パラメータ設定部２７は、輝度の重要度が色差の重要度が高いとし、係数αを基準値α０から値α１（α１＞α０）に調整する。なお、上述したシーンモード以外のシーンモードとなる場合、係数αは、基準値α０に設定してもよいし、別の値であってもよい。
【００５１】
次に、係数τ（Ｃ）の設定について説明する。上述したように、パラメータ設定部２７は、第１テーブルデータ３１、第２テーブルデータ３２、第３テーブルデータ３３の３つのテーブルデータを保持している。例えばシーン判定の結果が「風景」、「流し撮り」と判定された場合、パラメータ設定部２７は、第１テーブルデータ３１を選択する。また、シーン判定の結果が「マクロ」と判定された場合、パラメータ設定部２７は第２テーブルデータ３２を選択する。なお、シーン判定の結果が、「風景」、「流し撮り」、「マクロ」及び「ポートレート」以外のシーンモードと判定される場合、パラメータ設定部２７は第３テーブルデータ３３を選択する。さらに、上述したシーン判定において「ポートレート」と判定された場合には、第１テーブルデータ３１及び第２テーブルデータ３２を選択する。ここで、シーンモードが「ポートレート」の場合、第１テーブルデータ３１は、背景領域からなる画像データに対する係数τ（Ｃ）を設定する際に用いられ、第２テーブルデータ３２は、被写体領域からなる画像データに対する係数τ（Ｃ）を設定する際に用いられる。ここで、被写体領域からなる画像データに対する係数τ（Ｃ）を設定する際に用いるテーブルデータを第２テーブルデータ３２としているが、これに限定される必要はなく、第３テーブルデータ３３としてもよい。
【００５２】
ステップＳ２０２は、重み付きグラフを作成する処理である。グラフ生成部２５は、解像度変換された画像データを用いて、各画素をノード、各画素間をエッジとした重み付きグラフを生成する。この際に、グラフ生成部２５は、ステップＳ２０１にて設定された係数αと、上述した（１）式を用いて、隣接する画素の画素値の差分をエッジの重みｗ（ｅ）として算出する。
【００５３】
ステップＳ２０３は、エッジの重みｗ（ｅ）の最小値を選択する処理である。最小全域木生成部２６は、生成された重み付きグラフを参照して、選択対象として設定される各エッジの重みｗ（ｅ）の最小値を選択する。ここで、１回目の処理においては、全てのエッジの重みｗ（ｅ）が選択対象となる。また、２回目以降の処理では、先に実行されたステップＳ２０２の処理において選択されたエッジの重みｗ（ｅ）と、後述するステップＳ２０８により選択対象外として設定されたエッジの重みｗ（ｅ）とを除いた、残りのエッジの重みｗ（ｅ）が選択対象となる。
【００５４】
ステップＳ２０４は、係数τ（Ｃ）を設定する処理である。パラメータ設定部２７は、ステップＳ２０１の処理により設定されたテーブルデータを用いて、対象となるコンポーネントの面積に基づいた係数τ（Ｃ）をセグメンテーション基準Ｄ（Ｃｉ，Ｃｊ）の評価時に用いる係数τ（Ｃ）として設定する。
【００５５】
ステップＳ２０５は、セグメンテーション基準Ｄ（Ｃｉ，Ｃｊ）を評価する処理である。最小全域木生成部１４は、上述した（４）式及び（５）式を用いてセグメンテーション基準Ｄ（Ｃｉ，Ｃｊ）を評価する。この際に、パラメータ設定部２７により設定された係数τ（Ｃ）が使用される。
【００５６】
ステップＳ２０６は、評価が「ｆａｌｓｅ」となるか否かを判定する処理である。ステップＳ２０５において、セグメンテーション基準Ｄ（Ｃｉ，Ｃｊ）の評価が「ｆａｌｓｅ」であるとき、最小全域木生成部２６はステップＳ２０６の判定処理の結果をＹｅｓとする。この場合、ステップＳ２０７に進む。一方、セグメンテーション基準Ｄ（Ｃｉ，Ｃｊ）の評価が「ｔｒｕｅ」であるとき、最小全域木生成部２６はステップＳ２０６の判定処理の結果をＮｏとする。この場合、ステップＳ２０８に進む。
【００５７】
ステップＳ２０７は、コンポーネントを結合する処理である。ステップＳ２０５のセグメンテーション基準の評価により「ｆａｌｓｅ」と判定されている。最小全域木生成部１４は、選択されたエッジの重みｗ（ｅ）が算出されたノード間のエッジを連結する。これにより、コンポーネントＣｉ及びコンポーネントＣｊが一つのコンポーネントとして結合される。
【００５８】
ステップＳ２０８は、コンポーネントに含まれるノード間において連結されていないエッジのうち、その連結時にコンポーネントにおける最小全域木が閉路となるエッジがあるか否かを判定する処理である。最小全域木が閉路となるエッジがある場合には、最小全域木生成部２６は、ステップＳ２０８の判定処理の結果をＹｅｓとする。この場合、ステップＳ２０９に進む。一方、最小全域木が閉路となるエッジがない場合には、最小全域木生成部２６は、ステップＳ２０８の判定処理の結果をＮｏとする。この場合、ステップＳ２１０に進む。
【００５９】
ステップＳ２０９は、選択対象外のエッジを設定する処理である。最小全域木生成部２６は、コンポーネントに含まれるノード間において連結されていないエッジのうち、コンポーネントにおける最小全域木が閉路となるエッジを、ステップＳ２０２の最小の重みｗ（ｅ）を選択する際の対象となるエッジから外す処理を行う。これにより、選択対象外のエッジが設定される。
【００６０】
ステップＳ２１０は、全てのエッジの重みｗ（ｅ）を選択したか否かを判定する処理である。最小全域木生成部２６は、選択対象となるエッジの重みｗ（ｅ）がないか否かを判定する。選択対象となるエッジの重みｗ（ｅ）がない場合には、最小全域木生成部２６は、ステップＳ２１０の判定処理の結果をＹｅｓとする。この場合、図５のフローチャートの処理が終了する。
【００６１】
一方、選択対象となるエッジの重みｗ（ｅ）がある場合には、最小全域木生成部２６は、ステップＳ２１０の判定処理の結果をＮｏとして、ステップＳ２０３に戻る。つまり、ステップＳ２１０の判定処理により選択対象となるエッジの重みｗ（ｅ）が全て選択されていないと判定された場合には、選択対象となるエッジの重みｗ（ｅ）が全て選択されたと判定されるまで、ステップＳ２０３〜ステップＳ２０９の処理が繰り返し実行される。この図５のフローチャートの処理が実行されることで、入力された画像データに対して複数の部分領域が設定される。
【００６２】
例えば、入力される画像データのシーンモードが、「風景」、「流し撮り」となる場合や、シーンモードが「オート」で、画像データの特徴量が、これらシーンモードを指し示すものである場合、パラメータ設定部２７は、第１テーブルデータ３１を選択する。第１テーブルデータ３１は、パラメータ設定部２７に保持されるテーブルデータのうち、コンポーネントの面積に対応する係数τ（Ｃ）の値が最も大きく設定される。つまり、この第１テーブルデータを用いて係数τ（Ｃ）を設定することで、セグメンテーション基準の評価において、「ｆａｌｓｅ」となりやすい。その結果、コンポーネントが結合されやすくなる。
【００６３】
ここで、シーンモードを「風景」に設定して撮影した場合や、シーンモードを「オート」にして風景などを撮影した場合、画像内の被写体は山、海など、テクスチャが単調となることが多い。また、シーンモードを「流し取り」に設定して撮影した場合には、画像自体がぼけていることが多い。このような場合には、部分領域を細かく設定する必要がないことから、上述した第１テーブルデータ３１を用いて係数τ（Ｃ）を設定する。この設定により、設定される部分領域を細かく設定せずに済むという利点がある。
【００６４】
一方、入力される画像データのシーンモードが「マクロ」となる場合、パラメータ設定部２７は、第２テーブルデータ３２を選択する。この第２テーブルデータ３２は、パラメータ設定部２７に保持されるテーブルデータのうち、コンポーネントの面積に対応する係数τ（Ｃ）の値が最も小さく設定される。つまり、この第２テーブルデータを用いて係数τ（Ｃ）を設定することで、セグメンテーション基準の評価において、「Ｔｒｕｅ」となりやすい。その結果コンポーネントが結合されやすくなる。
【００６５】
ここで、シーンモードを「マクロ」にした場合には、画像内の被写体は、植物や動物などテクスチャが細かく複雑であることが多い。このような場合には、部分領域を細かく設定する必要があることから、上述した第２テーブルデータ３２を用いて係数τ（Ｃ）を設定する。これにより、設定される部分領域を細かく設定することができるという利点がある。
【００６６】
また、シーンモードを、「夜景」、「花火」等に設定して撮影した場合には、パラメータ設定部２７は、エッジの重みを設定する際の係数αの値が基準値α０よりも大きい値（α１）に調整する。なお、エッジの重みは、例えば（１）式にて求めることができる。この（１）式を用いる場合、係数αの値を大きくすることで、エッジの重みを算出する際の輝度の重要度を高く設定することができる。つまり、シーンモードを「夜景」や、「花火」として設定し撮影した場合には、輝度の重要度が色差の重要度よりも高くなる。例えばシーンモードを「夜景」や「花火」に設定し撮影を行う場合、画像内の輝度差が大きい箇所が出現する。このような場合、夜景における輝度の高い領域や花火の領域に該当する画素と他の画素間のエッジの重みを輝度差に応じたエッジの重みとして設定することができる。よって、輝度差の重要度を高くしたエッジの重みを用いたセグメンテーション基準の評価を行うことで、適切にコンポーネントを結合していくことが可能となる。ここで、シーンモードが「夜景」や「花火」に設定されている場合に、係数τ（Ｃ）の設定に用いるテーブルデータは、パラメータ設定部２７に保持されるテーブルデータのいずれかを用いればよい。
【００６７】
さらに、入力される画像データのシーンモードが「ポートレート」となる場合、被写体領域からなる画像データと背景領域からなる画像データとが生成される。これら画像データに対して、異なるテーブルデータを用いた係数τ（Ｃ）が設定される。ここで、背景領域となる画像データに対しては、コンポーネントの面積に対する係数τ（Ｃ）の値が最も大きく設定される第１テーブルデータ３１を用いることで、背景領域からなる画像データに対しては、部分領域を大きく設定することができる。一方、被写体領域となる画像データに対しては、コンポーネントの面積に対する係数τ（Ｃ）の値が最も小さく設定される第２テーブルデータ３２を用いることで、被写体領域からなる画像データに対しては、部分領域を小さく設定することができる。つまり、テクスチャの変化が少ない背景領域に対しては、部分領域を大きく、テクスチャの変化が大きい被写体領域に対しては部分領域を小さく設定できるので、画像の構成に応じた部分領域の設定を行うことができ、適切に画像の領域分割処理を行うことが可能となる。
【００６８】
本実施形態では、シーンモードが「ポートレート」に設定されていた場合に用いるテーブルデータを被写体領域からなる画像データと背景領域からなる画像データのそれぞれで異なるようにしているが、これに限定される必要はなく、それぞれの画像データに対する解像度を変更することも可能である。この場合、シーン判定部１６によって、シーンモードが「ポートレート」であると判定された場合、解像度変換部１７は、例えば６４０×４８０画素の画像サイズの画像データと、３２０×２４０画素の画像サイズの画像データとを生成する。これら異なる解像度の２つの画像データを画像編集部１８に出力する。そして、画像編集部１８は、６４０×４８０画素の画像サイズの画像データに対してトリミング処理を行い、被写体領域からなる画像データを生成する、また、画像編集部１８は、３２０×２４０画素の画像サイズの画像データに対してトリミング処理を行い、被写体領域を切り抜き、背景領域からなる画像データを生成する。そして、領域設定部１９は、画像編集部１８にて生成された２つの画像データのそれぞれに対して部分領域を設定する。
【００６９】
この場合、係数τ（Ｃ）を設定する際に用いるテーブルデータは、被写体領域からなる画像データ、背景領域から成る画像データのそれぞれで異なるテーブルデータとしてもよいし、同一のテーブルデータとしてもよい。
【００７０】
本実施形態では、シーン判定が「オート」となる場合、第３テーブルデータ３３を用いて係数τ（Ｃ）を設定しているが、これに限定される必要はない。例えばシーン判定で「オート」と判定される画像データに対して、特徴量など用いて被写体領域からなる画像データと背景領域からなる画像データとを生成し、生成された画像データに対して、異なるテーブルデータを用いて係数τ（Ｃ）を設定してもよい。
【００７１】
本実施形態では、画像処理装置１０の例を取り上げているが、これに限定される必要はなく、本発明の画像処理装置を備えた撮像装置であってもよい。図６は、本発明の画像処理装置を備えた撮像装置の機能ブロック図である。撮像装置５０は、撮像光学系５１、撮像素子５２、Ａ／Ｄ変換部５３、タイミングジェネレータ（ＴＧ）５４、バッファメモリ５５、画像処理装置５６、表示制御回路５７、表示装置５８、接続用Ｉ／Ｆ５９、ＣＰＵ６０、内蔵メモリ６１、レリーズボタン６２、設定操作部６３などを備えている。なお、Ａ／Ｄ変換部５３、バッファメモリ５５、画像処理装置５６、表示制御回路５７、接続用Ｉ／Ｆ５９、ＣＰＵ６０及び内蔵メモリ６１は、バス６４により電気的に接続される。
【００７２】
この撮像装置５０に設けられる画像処理装置５６は、画素補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理などの画像処理を行う。そして、画像処理装置５６は、図１に示す色空間変換部１５、シーン判定部１６、解像度変換部１７、画像編集部１８、領域設定部１９、領域結合部２０、領域分割部２１の機能を備えている。この場合、領域分割を実施する画像は、撮像素子５２から出力される画像であってもよいし、記録用Ｉ／Ｆ５９に接続された記憶媒体６５に記憶された画像であってもよい。さらに、画像としては、レリーズボタン６２の操作に基づいて実行される撮像処理により得られる静止画像、動画像の他、撮影が行われていないときに取り込まれる画像（スルー画像）が挙げられる。このため、画像処理装置５６による領域分割処理は、撮像により得られる静止画像や動画像の他、スルー画像に対しても実行することが可能である。
【００７３】
この場合、領域分割処理に基づくデータは、画像データの付帯情報として記憶される。なお、最小全域木のデータや、領域分割処理に基づくデータを画像データの付帯情報として記憶するか否かは、設定操作部６３の操作により選択可能としてもよい。
【００７４】
本実施形態では、画像処理装置１０を例に取り上げて説明しているが、図１に示す画像処理装置１０の色空間変換部１５、シーン判定部１６、解像度変換部１７、画像編集部１８、領域設定部１９、領域結合部２０、領域分割部２１の機能や、図４及び図５に示すフローチャートの処理をコンピュータにて実行させることが可能な画像処理プログラムであってもよい。なお、この画像プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
【符号の説明】
【００７５】
１０，５６…画像処理装置、１５…色空間変換部、１６…シーン判定部、１７…解像度変換部、１８…画像編集部、１９…領域設定部、２０…領域結合部、２１…領域分割部、２５…グラフ生成部、２６…最小全域木生成部、２７…パラメータ設定部
【図１】
2014167696.tif 000008
【図２】
2014167696.tif 000009
【図３】
2014167696.tif 000010
【図４】
2014167696.tif 000011
【図５】
2014167696.tif 000012
【図６】
2014167696.tif 000013