(57)【要約】【課題】正しく被写体領域を求める。【解決手段】画像と、画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域と、を取得する手段１０１，１０２と、画像中に対象領域と、対象領域中の注目画素に対して局所領域と、を設定する設定手段と、初期領域での被写体領域かつ局所領域である局所被写体領域の輝度または色の情報を用いて注目画素が被写体領域に属する信頼度である局所被写体信頼度と、初期領域での背景領域かつ局所領域である局所背景領域の輝度または色の情報を用いて注目画素が背景領域に属する信頼度である局所背景信頼度と、を推定する手段１０３と、局所被写体信頼度および局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定することを、対象領域に対して適用する手段１０４と、被写体領域および背景領域のうちの少なくとも１つの領域情報を出力する出力手段１０４と、を具備する。【選択図】図１
2006260401.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得し、
前記画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域を取得し、
前記画像中に対象領域を設定し、
前記対象領域中の注目画素に対し局所領域を設定し、
前記初期領域における被写体領域かつ前記局所領域である局所被写体領域の輝度または色の情報を用いて、前記注目画素が被写体領域に属する信頼度である局所被写体信頼度を推定し、
前記初期領域における背景領域かつ前記局所領域である局所背景領域の輝度または色の情報を用いて、前記注目画素が背景領域に属する信頼度である局所背景信頼度を推定し、
前記局所被写体信頼度および前記局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定し、
前記対象領域に対して前記注目画素が被写体領域と背景領域とのいずれに属するかを決定することを適用し、
前記対象領域に対して前記注目画素が被写体領域と背景領域とのいずれに属するかを決定することによって得られた被写体領域および背景領域のうち少なくとも１つの領域情報を出力する、ことを特徴とする画像処理方法。
【請求項２】
前記対象領域を設定することは、前記画像中のすべての画素を対象領域として設定することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記対象領域を設定することは、
前記初期領域における前記被写体領域と前記背景領域の境界画素を算出し、
前記境界画素を含む或る画素数の幅を持った領域を対象領域として設定する、ことを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記注目画素を基準に或る図形を設定し、該図形の内部を前記局所領域とすることを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理方法。
【請求項５】
前記局所被写体信頼度として、前記注目画素の輝度または色と同じ輝度または色を持つ前記局所被写体領域内部の面積を用い、
前記局所背景信頼度として、前記注目画素の輝度または色と同じ輝度または色を持つ前記局所背景領域内部の面積を用い、
前記注目画素が被写体領域と背景領域とのいずれに属するかを決定する際には、前記局所被写体信頼度と前記局所背景信頼度のうちの信頼度の高い領域に注目画素が属すると決定することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理方法。
【請求項６】
前記画像と同じ大きさのラベル画像を取得し、
前記初期領域内の被写体領域および背景領域のそれぞれについて、前記ラベル画像のラベル値ごと、画素の輝度または色の値ごとに、前記画像、前記初期領域および前記ラベル画像を用いて重み値を求めることをさらに具備し、
前記被写体領域のマスク値、ラベル値、画素の輝度または色の３つの値から前記重み値を前記局所被写体領域内部の各画素に対して取得し、その総和を前記局所被写体信頼度および前記局所背景信頼度として用い、
前記注目画素が被写体領域と背景領域とのいずれに属するかを決定する際には、前記局所被写体信頼度と前記局所背景信頼度のうちの信頼度の高い領域に注目画素が属すると決定することを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理方法。
【請求項７】
第１の画像を取得し、
第１の画像と同じ大きさの第２の画像を取得し、
前記第１の画像と前記第２の画像の各画素に対して、その差分値が或る範囲内に収まらない場合を被写体領域、前記範囲内に収まる場合を背景領域とした初期領域を生成し、
第１の画像と前記初期領域を入力として、請求項１から請求項４のいずれか１項に記載の画像処理方法のいずれかを適用する、ことを特徴とする画像処理方法。
【請求項８】
画像を取得し、
前記画像と同じ大きさのラベル画像を取得し、
前記画像中に対象領域を設定し、
前記対象領域中の注目画素に対し局所領域を設定し、
前記注目画素が特定のラベル値に属する信頼度である局所ラベル値ごと信頼度を、前記ラベル画像における前記特定のラベル値を持つ領域かつ前記局所領域である局所特定ラベル値領域の輝度または色の情報を用いて推定し、
前記局所ラベル値ごと信頼度に基づき、注目画素がどのラベル値に属するかを決定し、
前記対象領域に対して前記注目画素がどのラベル値に属するかを決定することを適用し、
前記対象領域に対して前記注目画素がどのラベル値に属するかを決定することによって得られたラベル画像を出力する、ことを特徴とする画像処理方法。
【請求項９】
前記対象領域を設定することは、前記画像中のすべての画素を対象領域として設定することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記対象領域を設定することは、
前記ラベル画像において隣接ラベル値の異なる画素である境界画素を算出し、
前記境界画素を含む或る画素数の幅を持った領域を対象領域として設定する、ことを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
前記注目画素を基準に或る図形を設定し、該図形の内部を前記局所領域とすることを特徴とする請求項８から請求項１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記局所ラベル値ごと信頼度として、前記注目画素の輝度または色と同じ輝度または色を持つ前記局所特定ラベル値領域内部の面積を用い、
前記注目画素がどのラベル値に属するかを決定する際には、前記局所ラベル値ごと信頼度のうちの最も信頼度の高い値を持つラベル値の領域に注目画素が属すると決定することを特徴とする請求項８から請求項１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記局所特定ラベル値領域内部の面積は、
ラベル値と出現頻度の組であるハッシュ要素を保持するハッシュテーブル内で、前記ハッシュ要素がないように初期化し、
前記ハッシュテーブル内で前記ラベル値を保持する位置であるハッシュ要素位置を算出し、
前記ハッシュ要素位置に前記ラベル値が保持されていればその出現頻度の値を増やし、
前記ハッシュ要素位置に前記ラベル値が保持されていなければ前記ハッシュテーブル内に前記ラベル値と或る出現頻度値を記録した前記ハッシュ要素を作成し、
前記注目画素に対する前記局所領域内のすべての画素に対して前記ハッシュ要素を作成することを適用することにより算出されることを特徴とする請求項１２に記載の画像処理方法。
【請求項１４】
画像と、該画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域と、を取得する取得手段と、
前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、
前記初期領域における被写体領域かつ前記局所領域である局所被写体領域の輝度または色の情報を用いて前記注目画素が被写体領域に属する信頼度である局所被写体信頼度と、前記初期領域における背景領域かつ前記局所領域である局所背景領域の輝度または色の情報を用いて前記注目画素が背景領域に属する信頼度である局所背景信頼度と、を推定する推定手段と、
前記局所被写体信頼度および前記局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定することを、前記対象領域に対して適用する適用手段と、
前記適用手段によって得られた被写体領域および背景領域のうちの少なくとも１つの領域情報を出力する出力手段と、を具備することを特徴とする画像処理装置。
【請求項１５】
前記設定手段は、前記画像中のすべての画素を対象領域として設定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記設定手段は、
前記初期領域における前記被写体領域と前記背景領域の境界画素を算出する算出手段と、
前記境界画素を含む或る画素数の幅を持った領域を対象領域として設定する設定手段と、を具備することを特徴とする請求項１４に記載の画像処理装置。
【請求項１７】
前記設定手段は、前記注目画素を基準に或る図形を設定し、該図形の内部を前記局所領域とすることを特徴とする請求項１４から請求項１６のいずれか１項に記載の画像処理装置。
【請求項１８】
前記推定手段は、
前記局所被写体信頼度として、前記注目画素の輝度または色と同じ輝度または色を持つ前記局所被写体領域内部の面積を用い、
前記局所背景信頼度として、前記注目画素の輝度または色と同じ輝度または色を持つ前記局所背景領域内部の面積を用い、
前記適用手段は、前記局所被写体信頼度と前記局所背景信頼度のうちの信頼度の高い領域に注目画素が属すると決定することを特徴とする請求項１４から請求項１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記画像と同じ大きさのラベル画像を取得する取得手段と、
前記初期領域内の被写体領域および背景領域のそれぞれについて、前記ラベル画像のラベル値ごと、画素の輝度または色の値ごとに、前記画像、前記初期領域および前記ラベル画像を用いて重み値を計算する計算手段と、をさらに具備し、
前記推定手段は、前記被写体領域のマスク値、ラベル値、画素の輝度または色の３つの値から前記重み値を前記局所被写体領域内部の各画素に対して取得し、その総和を前記局所被写体信頼度および前記局所背景信頼度として用い、
前記適用手段は、前記局所被写体信頼度と前記局所背景信頼度のうちの信頼度の高い領域に注目画素が属すると決定することを特徴とする請求項１４から請求項１７のいずれか１項に記載の画像処理装置。
【請求項２０】
第１の画像と、該第１の画像と同じ大きさの第２の画像と、を取得する取得手段と、
前記第１の画像と前記第２の画像の各画素に対して、その差分値が或る範囲内に収まらない場合を被写体領域、前記範囲内に収まる場合を背景領域とした初期領域を生成する生成手段と、
第１の画像と前記初期領域を入力として、請求項１４から請求項１７のいずれか１項に記載の画像処理装置のいずれかを適用する適用手段と、を具備することを特徴とする画像処理装置。
【請求項２１】
画像と、該画像と同じ大きさのラベル画像と、を取得する取得手段と、
前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、
前記注目画素が特定のラベル値に属する信頼度である局所ラベル値ごと信頼度を、前記ラベル画像における前記特定のラベル値を持つ領域かつ前記局所領域である局所特定ラベル値領域の輝度または色の情報を用いて推定する推定手段と、
前記局所ラベル値ごと信頼度に基づき、注目画素がどのラベル値に属するかを決定することを、前記対象領域に対して適用する適用手段と、
前記適用手段によって得られたラベル画像を出力する出力手段と、を具備することを特徴とする画像処理装置。
【請求項２２】
前記設定手段は、前記画像中のすべての画素を対象領域として設定することを特徴とする請求項２１に記載の画像処理装置。
【請求項２３】
前記設定手段は、
前記ラベル画像において隣接ラベル値の異なる画素である境界画素を算出する算出手段と、
前記境界画素を含む或る画素数の幅を持った領域を対象領域として設定する設定手段と、を具備することを特徴とする請求項２１に記載の画像処理装置。
【請求項２４】
前記設定手段は、前記注目画素を基準に或る図形を設定し、該図形の内部を前記局所領域とすることを特徴とする請求項２１から請求項２３のいずれか１項に記載の画像処理装置。
【請求項２５】
前記設定手段は、
前記局所ラベル値ごと信頼度として、前記注目画素の輝度または色と同じ輝度または色を持つ前記局所特定ラベル値領域内部の面積を用い、
前記適用手段は、前記局所ラベル値ごと信頼度のうちの最も信頼度の高い値を持つラベル値の領域に注目画素が属すると決定することを特徴とする請求項２１から請求項２４のいずれか１項に記載の画像処理装置。
【請求項２６】
前記設定手段は、前記局所特定ラベル値領域内部の面積を求める場合に、
ラベル値と出現頻度の組であるハッシュ要素を保持するハッシュテーブル内で、前記ハッシュ要素がないように初期化する初期化手段と、
前記ハッシュテーブル内で前記ラベル値を保持する位置であるハッシュ要素位置を算出する算出手段と、
前記ハッシュ要素位置に前記ラベル値が保持されていればその出現頻度の値を増やし、前記ハッシュ要素位置に前記ラベル値が保持されていなければ前記ハッシュテーブル内に前記ラベル値と或る出現頻度値を記録した前記ハッシュ要素を作成する作成手段と、
前記注目画素に対する前記局所領域内のすべての画素に対して、前記作成手段を適用する適用手段と、により前記面積を算出することを特徴とする請求項２５に記載の画像処理装置。
【請求項２７】
コンピュータを、
画像と、該画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域と、を取得する取得手段と、
前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、
前記初期領域における被写体領域かつ前記局所領域である局所被写体領域の輝度または色の情報を用いて前記注目画素が被写体領域に属する信頼度である局所被写体信頼度と、前記初期領域における背景領域かつ前記局所領域である局所背景領域の輝度または色の情報を用いて前記注目画素が背景領域に属する信頼度である局所背景信頼度と、を推定する推定手段と、
前記局所被写体信頼度および前記局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定することを、前記対象領域に対して適用する適用手段と、
前記適用手段によって得られた被写体領域および背景領域のうちの少なくとも１つの領域情報を出力する出力手段として機能させるための画像処理プログラム。
【請求項２８】
コンピュータを、
画像と、該画像と同じ大きさのラベル画像と、を取得する取得手段と、
前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、
前記注目画素が特定のラベル値に属する信頼度である局所ラベル値ごと信頼度を、前記ラベル画像における前記特定のラベル値を持つ領域かつ前記局所領域である局所特定ラベル値領域の輝度または色の情報を用いて推定する推定手段と、
前記局所ラベル値ごと信頼度に基づき、注目画素がどのラベル値に属するかを決定することを、前記対象領域に対して適用する適用手段と、
前記適用手段によって得られたラベル画像を出力する出力手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、細い線状の被写体（例えば、文字や針、東京タワーの先端）の被写体領域の一部が与えられた(あるいは推定した)場合に、正確な被写体領域を求める輪郭フィッティングに関する画像処理装置、方法、およびプログラムである。
【背景技術】
【０００２】
従来の技術としては、映像中のテロップ（画像中の文字）領域を求める技術がある（例えば、特許文献１参照）。映像は、例えば、細い線状の被写体の１つを含んでいる。この文献に開示されている方法で使われる輪郭フィッティングは、対象領域全体に対して、被写体領域の輝度(または色、以下輝度は色も含むものとする)の分布を推定し、各画素に対してその輝度分布に属するか判定することで被写体領域を算出する。
【０００３】
入力としてテロップ領域に一部背景が混入した対象領域が与えられると、まず白色以外の領域を背景領域とみなして除外する。次に、ガウス分布で近似された被写体領域のガウス分布パラメータ（平均および分散）を推定し、そのパラメータから被写体の色のしきい値を定める。次に、確実に被写体領域と考えられる白色領域をシードとする。次に、前記しきい値を用いてシードの周囲画素に対する領域成長を、対象画素がなくなるまで繰り返して、被写体領域を出力する。
【特許文献１】特開２０００−１８２０５３公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、背景技術で述べた手法は、対象領域全体が１つの輝度分布であらわせると仮定しているために、対象領域中の被写体領域内に背景領域と同じ輝度の部分が存在すると、その部分が背景領域とされてしまう。
【０００５】
本発明は、上述した問題点を解決するためになされたものであり、対象領域中の被写体領域と背景領域に同じ輝度の部分が存在する場合でも、正しく被写体領域を求めることができる画像処理装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理方法は、画像を取得し、前記画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域を取得し、前記画像中に対象領域を設定し、前記対象領域中の注目画素に対し局所領域を設定し、前記初期領域における被写体領域かつ前記局所領域である局所被写体領域の輝度または色の情報を用いて、前記注目画素が被写体領域に属する信頼度である局所被写体信頼度を推定し、前記初期領域における背景領域かつ前記局所領域である局所背景領域の輝度または色の情報を用いて、前記注目画素が背景領域に属する信頼度である局所背景信頼度を推定し、前記局所被写体信頼度および前記局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定し、前記対象領域に対して前記注目画素が被写体領域と背景領域とのいずれに属するかを決定することを適用し、前記対象領域に対して前記注目画素が被写体領域と背景領域とのいずれに属するかを決定することによって得られた被写体領域および背景領域のうち少なくとも１つの領域情報を出力する、ことを特徴とする。
【０００７】
また、本発明の画像処理方法は、画像を取得し、前記画像と同じ大きさのラベル画像を取得し、前記画像中に対象領域を設定し、前記対象領域中の注目画素に対し局所領域を設定し、前記注目画素が特定のラベル値に属する信頼度である局所ラベル値ごと信頼度を、前記ラベル画像における前記特定のラベル値を持つ領域かつ前記局所領域である局所特定ラベル値領域の輝度または色の情報を用いて推定し、前記局所ラベル値ごと信頼度に基づき、注目画素がどのラベル値に属するかを決定し、前記対象領域に対して前記注目画素がどのラベル値に属するかを決定することを適用し、前記対象領域に対して前記注目画素がどのラベル値に属するかを決定することによって得られたラベル画像を出力する、ことを特徴とする。
【０００８】
本発明の画像処理装置は、画像と、該画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域と、を取得する取得手段と、前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、前記初期領域における被写体領域かつ前記局所領域である局所被写体領域の輝度または色の情報を用いて前記注目画素が被写体領域に属する信頼度である局所被写体信頼度と、前記初期領域における背景領域かつ前記局所領域である局所背景領域の輝度または色の情報を用いて前記注目画素が背景領域に属する信頼度である局所背景信頼度と、を推定する推定手段と、前記局所被写体信頼度および前記局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定することを、前記対象領域に対して適用する適用手段と、前記適用手段によって得られた被写体領域および背景領域のうちの少なくとも１つの領域情報を出力する出力手段と、を具備することを特徴とする。
【０００９】
また、本発明の画像処理装置は、画像と、該画像と同じ大きさのラベル画像と、を取得する取得手段と、前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、前記注目画素が特定のラベル値に属する信頼度である局所ラベル値ごと信頼度を、前記ラベル画像における前記特定のラベル値を持つ領域かつ前記局所領域である局所特定ラベル値領域の輝度または色の情報を用いて推定する推定手段と、前記局所ラベル値ごと信頼度に基づき、注目画素がどのラベル値に属するかを決定することを、前記対象領域に対して適用する適用手段と、前記適用手段によって得られたラベル画像を出力する出力手段と、を具備することを特徴とする。
【００１０】
本発明の画像処理プログラムは、コンピュータを、
画像と、該画像中の被写体領域および背景領域の近似的な領域をあらわす初期領域と、を取得する取得手段と、前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、前記初期領域における被写体領域かつ前記局所領域である局所被写体領域の輝度または色の情報を用いて前記注目画素が被写体領域に属する信頼度である局所被写体信頼度と、前記初期領域における背景領域かつ前記局所領域である局所背景領域の輝度または色の情報を用いて前記注目画素が背景領域に属する信頼度である局所背景信頼度と、を推定する推定手段と、前記局所被写体信頼度および前記局所背景信頼度に基づき、注目画素が被写体領域と背景領域とのいずれに属するかを決定することを、前記対象領域に対して適用する適用手段と、前記適用手段によって得られた被写体領域および背景領域のうちの少なくとも１つの領域情報を出力する出力手段として機能させるためのものである。
【００１１】
また、本発明の画像処理プログラムは、コンピュータを、
画像と、該画像と同じ大きさのラベル画像と、を取得する取得手段と、前記画像中に対象領域と、該対象領域中の注目画素に対して局所領域と、を設定する設定手段と、前記注目画素が特定のラベル値に属する信頼度である局所ラベル値ごと信頼度を、前記ラベル画像における前記特定のラベル値を持つ領域かつ前記局所領域である局所特定ラベル値領域の輝度または色の情報を用いて推定する推定手段と、前記局所ラベル値ごと信頼度に基づき、注目画素がどのラベル値に属するかを決定することを、前記対象領域に対して適用する適用手段と、前記適用手段によって得られたラベル画像を出力する出力手段として機能させるためのものである。
【発明の効果】
【００１２】
本発明の画像処理装置、方法、およびプログラムによれば、対象領域中の被写体領域と背景領域に同じ輝度の部分が存在する場合でも、正しく被写体領域を求めることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、方法、およびプログラムについて詳細に説明する。  
＜目的＞  
本発明は、画像中の被写体領域（例えば、人物）を正確に求めることを目的とする。本発明の入力は、画像、および、初期領域として、不正確であるが大まかな被写体領域（アルファマスク内の被写体領域）である。アルファマスク内の被写体領域は、被写体領域内に背景領域が混入していても、逆に背景領域に被写体領域が混入していても、またその両方でもかまわない。本発明の出力は、正確な被写体領域である。画像のうち被写体領域に属さない部分を背景領域と呼ぶことにする。対象とする画像の例として、可視光をグレイスケール、ＲＧＢ、ＹＵＶ、ＨＳＶ、Ｌ＊ａ＊ｂ＊により画素ごとに数値化した値があるが、それに限らず、例えば、赤外線、紫外線、ＭＲＩの測定値やレンジファインダで得られる奥行き値を画素ごとに数値化したものがある。
【００１４】
本発明の画像処理の手法は、画像が１次元でも多次元でも同様に扱えるため、ここでは、１次元のグレイスケールだけでなく、ＲＧＢなどの多次元色空間で表現されたものを含めて輝度と呼ぶことにする。被写体領域の表現方法の例として、画素ごとに背景領域を０、被写体領域を１で表した２値画像がある。この表現方法は背景領域＝０、被写体領域＝１に限定されず、例えば背景領域＝１、被写体領域＝０としても良い。また、値として０と１ではなく、０と２５５のように別の値を用いても良い。このような２値画像をアルファマスクと呼び、アルファマスクの値をマスク値と呼ぶ。本発明では多くの場合アルファマスクを対象とするが、他の形式で表現されたものでもアルファマスクに変換すれば適用することができる。例えば、背景領域を０、被写体領域を２５５で表した２５６階調画像で与えられた画像の場合、１２８未満を０、１２８以上を１としてアルファマスクに変換し、本発明を適用すれば良い。画像や被写体領域の表現方法はこれに限定されない。また、以下の実施形態では特に述べない限り静止画を対象として説明するが、対象が静止画を時系列に並べた時空間画像であっても、時空間画像に対応したアルファマスクがあれば適用可能である。同様に、Ｎ次元（Ｎ：次元数）の画像とＮ次元のアルファマスクが与えられれば、本発明の手法を適用することができる。
【００１５】
この目的を達成するために、本発明の実施形態では、１つ１つの画素について、その画素の周辺の輝度分布を求め、その画素が被写体領域である信頼度と背景領域である信頼度を算出し、その信頼度の高い領域に属すると決定する。
【００１６】
(第１の実施形態)   
次に、第１の実施形態に係る画像処理装置について図１を参照して説明する。  
本実施形態の画像処理装置は、図１に示したように、画像入力部１０１、アルファマスク入力部１０２、信頼度推定部１０３、マスク値決定部１０４を備えている。
【００１７】
画像入力部１０１は、画像処理を受ける画像を取得する。
【００１８】
アルファマスク入力部１０２は、アルファマスク内の被写体領域、および、アルファマスク内の背景領域を取得する。
【００１９】
信頼度推定部１０３は、対象領域内に注目画素を設定し、注目画素ごとに定めた範囲内に存在する、アルファマスク内の被写体領域とアルファマスク内の背景領域とのそれぞれの輝度を使用して、注目画素が被写体である信頼度、および、注目画素が背景である信頼度を推定する。
【００２０】
マスク値決定部１０４は、信頼度推定部１０３で得られた注目画素が被写体である信頼度と注目画素が背景である信頼度とを比較し、注目画素が被写体であるか背景であるかを判定し、注目画素のマスク値を決定する。
【００２１】
次に、図１の画像処理装置の動作について図２を参照して説明する。図２を参照して、図１の画像処理装置は、注目画素をずらしながら、画素ごとに、輝度の被写体らしさ、背景らしさを輝度分布や色分布にしたがって決めることを示す。  
画像入力部１０１が、入力として、画像を取得する（ステップＳ２０１）。また、アルファマスク入力部１０２が、アルファマスク内の被写体領域を取得する（ステップＳ２０１）。また、アルファマスク入力部１０２は、出力被写体領域を記憶するためのバッファを確保し、スキャンする画像を含む対象領域以外の部分についてアルファマスク内の被写体領域をコピーする。さらに、アルファマスク入力部１０２は、別途定めた対象領域の設定領域情報も取得する。この対象領域は、例えば、画像内全てである。別途定めた対象領域に関しては後に説明する。  
また、アルファマスク入力部１０２は、アルファマスク内の被写体領域とアルファマスク内の背景領域の境界画素を算出し、例えば、境界画素を中心に、別途定めた画素数の幅だけ領域を生成して、この領域を対象領域として設定してもよい。あるいは、中心に限定せず、境界画素を含む別途定めた画素数の幅をもった領域を、対象領域として設定することもできる。
【００２２】
次に、信頼度推定部１０３は、注目画素を、ステップＳ２０１で取得した対象領域の開始画素に設定する。信頼度推定部１０３は、注目画素ごとに決まる、別途定めた範囲にある、アルファマスク内の被写体とアルファマスク内の背景とのそれぞれの輝度を使って、注目画素が被写体である信頼度（被写体信頼度と称する）、および、注目画素が背景である信頼度（背景信頼度と称する）を推定する（ステップＳ２０２）。ここで、この「別途定めた範囲」とは、例えば、後に図３において示す円内の範囲であるが、後に詳細に説明する。
【００２３】
マスク値決定部１０４は、注目画素における、被写体信頼度と背景信頼度との２つの信頼度を比較し、注目画素に信頼度の高いほうに対応する領域を割り当てて、出力被写体領域を記憶するバッファに書き込む（ステップＳ２０３）。すなわち、マスク値決定部１０４が、注目画素が被写体であるか背景であるかを決定する。
【００２４】
マスク値決定部１０４が、対象領域内の画素がすべて処理済であるか否かを判定し、すべて処理済みでなければ注目画素を次の画素にずらしてステップＳ２０２に戻り、すべて処理済みの場合にはステップＳ２０５に進む（ステップＳ２０４）。ステップＳ２０５では、マスク値決定部１０４は、得られた被写体領域および背景領域を出力する。すなわち、マスク値決定部１０４は、バッファに記録された出力被写体領域を出力する。
【００２５】
この手法により、それぞれの注目画素は、周囲の同じような輝度を持つ領域が被写体領域であれば被写体領域とみなされる。背景領域に対しても同様である。この理由を図３、図４、図５および図６の例を参照して説明する。  
図３はステップＳ２０２の開始時の状態の一例を示している。注目画素３０１は、アルファマスク内の被写体領域に含まれるためそのマスク値は１であるが、画像内の被写体３０４には含まれていない。したがってユーザの要求は、この画素のマスク値を自動的に０にすることである。ここで、ステップＳ２０２における別途定めた範囲として、注目画素を中心とし、別途定めた半径を持つ円を考えると、注目画素が３０１のとき、信頼度の算出で利用する範囲は注目画素付近の領域３０２になる。
【００２６】
注目画素付近の領域３０２では、図４に示すように、アルファマスク内の被写体領域は画像中の被写体（図４の領域１）と画像中の背景（図４の領域２）とを含み、アルファマスク内の背景領域は画像中の背景（図４の領域３）を含む。  
ここで、信頼度の例として各輝度の出現頻度を考える。アルファマスク内の被写体領域は図４の領域１、領域２を含んでおり、これらの領域の輝度に対する出現頻度ヒストグラムは図５の５０１になる。アルファマスク内の背景領域のヒストグラムは同様に図５の５０２になる。この場合、図６に示すように、注目画素付近の領域３０２の輝度における、アルファマスク内の被写体領域、アルファマスク内の背景領域のそれぞれの出現頻度を比較すると、多くの場合、アルファマスク内の被写体領域の出現頻度が高くなる。なぜなら、多くの場合、アルファマスク内の被写体領域に混入した背景（図４の領域２）の輝度の出現頻度は、アルファマスク内の背景領域に含まれる背景の輝度の出現頻度を超えないからである。この例の場合、図６によれば、注目画素は背景領域と判定される。言い換えれば、この注目画素のマスク値は１ではなく０と判定される。ここで、出現頻度とは、被写体領域、背景領域それぞれにおいて注目画素付近の領域３０２の輝度と同じ輝度を持つ領域の面積のことである。
【００２７】
ステップＳ２０１〜Ｓ２０５を適用する、つまり注目画素をずらしながらステップＳ２０２〜ステップＳ２０４を適用することにより、図４の領域２の画素の一部は１から０に変化するため、アルファマスク内の被写体領域はユーザの期待する、画像内の被写体領域に近づく。ステップＳ２０１〜Ｓ２０５を１回適用することで所望の、画像内の被写体領域が得られるかどうかは信頼度および注目画素ごとの対象範囲（すなわち、注目画素付近の領域３０２）に依存する。１回の適用で所望の被写体領域が得られない場合でも、２回目以降については直前のステップＳ２０４の結果をその次のステップＳ２０２の入力として、ステップＳ２０２〜ステップＳ２０４を、別途定めた条件を満たすまで繰り返し適用することで、所望の被写体領域により近づく。繰り返し適用における別途定めた条件は、例えば、あらかじめ定めた回数繰り返すまでとしても良いし、ステップＳ２０２〜ステップＳ２０４を適用する前と適用した後でマスク値が変化した画素数を数えて、その画素数が０になった時点、あるいは減少しなくなった時点で打ち切るとしても良い。あるいは、あらかじめ定めた回数に達するか、マスク値が変化した画素数が前記条件を満たした場合としても良い。
【００２８】
このように単純な出現頻度ヒストグラムを用いる場合、注目画素と同じ輝度の出現頻度があれば信頼度の比較が可能である。したがって、この手法の実施においては、対象とする範囲の完全なヒストグラムを算出しなくても、アルファマスク内の被写体領域、アルファマスク内の背景領域のそれぞれについて、注目画素と同じ輝度を持つ画素数を数えて比較すれば十分である。
【００２９】
＜別途定めた範囲＞
ステップＳ２０２における注目画素ごとに決まる別途定めた範囲としては、例えば注目画素を中心とし、別途定めた半径ｒを持つ円や、対角線の交点が注目画素になるような別途定めた形の長方形とする。しかし、対角線の交点が注目画素になる必要はなく、また形状も長方形に限定されない。長方形の代わりに、正方形やひし形、平行四辺形、正６角形、正８角形などを用いても良い。以下、このような注目画素を中心として決められる範囲（半径ｒの円や正方形など）を固定形状Ｚと呼ぶことにする。なお、あらかじめ画面全体に対して後述のセグメンテーションを行ってラベル画像を生成し、注目画素ごとに、注目画素のラベル値を持つ領域をその範囲としても良い。本発明では注目画素ごとに処理を行うが、このように注目画素と同じラベル値を持つ部分のみを範囲とすると、ラベル値ごとに局所領域が同じになるためヒストグラムの算出を注目画素ごとに行わなくてもよくなり、処理速度が上がる。その代償としては、セグメンテーションに失敗した場合は得られる位置が不正確になる。セグメンテーション結果を用いたより良い結果を得る手法については後述する。
【００３０】
ステップＳ２０１における別途定めた対象領域は画面全体でもよいし、画面の一部（例えば、ユーザが求めたいと指示した部分のみ）に制限しても良い。あるいは、例えば注目画素を中心とした固定形状Ｚを範囲とするのであれば、次のように決めることもできる。まず、画像と同じ大きさで、すべてが０の値をもつマークバッファＡ、マークバッファＢを作成する。マークバッファは、０＝マークされていない、１＝マークされているという意味を持つ。次に、アルファマスクのすべての画素をスキャンして隣接画素に０と１が存在する画素を探し、隣接画素に０と１が存在する画素をすべてマークする（すなわち、マークバッファＡで対応する画素に１を設定する）。次に、マークバッファＡ上で１とされた画素すべてについて、その点を中心とした固定形状Ｚの中をすべてマークバッファＢにマークする。得られたマークバッファＢは、アルファマスク中でマスク値が変化する可能性のある画素すべてを含んでいる。マークバッファＢでマークされた画素をステップＳ２０１における別途定めた対象領域とすれば、多くの入力アルファマスクに対して、画面全体を処理することなく高速に同じ結果を得ることができる。
【００３１】
＜信頼度＞  
ステップＳ２０２における信頼度は、注目画素の被写体らしさ、背景らしさを数値で表したものである。先に述べた出現頻度はその一例であるが、ヒストグラムの計算対象の範囲内の画素数が少ないときはうまくいくとは限らない。解決方法の１つは、ヒストグラムの輝度方向の細かさを粗くする、例えば輝度０〜２５５を２５６等分ではなく１６等分するようにヒストグラムを計算することである。別の解決方法の１つは、ヒストグラムの輝度軸方向に広がるスムージングフィルタを適用することである（以下、便宜上、この例のように１以外の値を加算した値も出現頻度あるいはヒストグラムと呼ぶことにする）。
【００３２】
単純なスムージングフィルタの例としては、輝度１００の頻度に１を加算する代わりに、輝度１００の頻度に０．４、輝度９９および輝度１０１に０．２、輝度９８および輝度１０２に０．１を加算するフィルタがある。あるいは、得られたヒストグラムに対して、別途定めた正規分布（例えば、平均０、輝度軸方向の標準偏差１０の正規分布）をヒストグラムの輝度軸方向に適用しても良い。このようにスムージングフィルタを適用することで、画素数が少なくても注目画素のマスク値を正しく推定できるようになる。なお、この例では１次元のヒストグラムで説明したが、色の次元数が高いときはヒストグラムの次元数も高くしても良い。例えば、ＲＧＢやＹＵＶでは３次元、ＣＭＹＫ（cyan, magenta, yellow and black）では４次元のヒストグラムを用いて計算しても良い。また、対象範囲内の画素と注目画素の相関は、対象画素からの距離（例えば、市街地距離やユークリッド距離）が大きいほど小さくなると考えられるため、対象画素からの距離によりヒストグラムの加算値に重みをつければ適切なマスク値が選択されやすくなる。具体的には、例えば、対象画素から半径ｒの円を対象範囲として、ヒストグラムの加算値として先のようにすべての画素に対して１を加算する代わりに、対象画素からの距離がｘの画素に対する加算値を（ｒ−ｘ）／ｒとする（加算値が負になる場合は０とする）。別の加算値の一例として、対象画素からの距離ｘを別途定めた１次元の正規分布関数に代入して得られた値を重み値として利用する手法がある。なお、ヒストグラムを出現頻度の総数で除して正規化した値（輝度の出現確率）を信頼度としても良い。また、今までの説明では、被写体を背景と誤った場合と、背景を被写体と誤った場合とを同等に扱っていた。一方の誤りの増加を犠牲に一方の誤りを削減したいのであれば、いずれかの信頼度に別途定めたしきい値を加算しても良い。
【００３３】
（第２の実施形態）   
第２の実施形態に係る画像処理装置について図７を参照して説明する。  
本実施形態の画像処理装置は、図１の画像処理装置に、ラベル画像入力部７０１、重み値算出部７０２を加えたものである。その他の装置部分で図１の同様なものは同一の番号を付してその説明を省略する。
【００３４】
ラベル画像入力部７０１は、図１１に示すようなラベル画像を取得する。ラベル画像入力部７０１は、入力画像に対して、領域分割を行いラベル画像を自動生成してもよい。  
重み値算出部７０２は、アルファマスク内の被写体領域（マスク値１）およびアルファマスク内の背景領域（マスク値０）のそれぞれについて、ラベル画像のラベル値ごと、画素の輝度または色の値ごとに、画像、アルファマスク内の領域、および、ラベル画像を用いて重み値を計算する。
【００３５】
本実施形態では、第１の実施形態での信頼度とは別の信頼度の１つとして、画像およびアルファマスクに加えてラベル画像を入力として与え、それを利用する手法がある。ラベル画像とは、画像中で同一の物体領域と考えられる部分の画素に対して１つのラベル値（整数値）を与えた、画像と同じ大きさのデータ（例えば図１１）のことである。ラベル画像の生成手法には、例えばWatersheds（IEEE Trans. Pattern Anal. Machine Intell. Vol.13, No.6, pp.583-598, 1991）や、色空間に対してMean Shift（IEEE Trans. Pattern Anal. Machine Intell. Vol.17, No.8, pp.790-799, Aug.1995）を適用したセグメンテーション（領域分割）を利用することができる。あるいは、ラベル画像を別途用意してもかまわない。
【００３６】
次に、図７の画像処理装置の動作について図８を参照して説明する。図８のフローチャートのステップのうちで図２のフローチャートのステップと同様なステップは同一の番号を付してその説明を省略する。  
以下、図９の画像、図１０のアルファマスク内の被写体領域が与えられた場合に、画像内の被写体領域を求める例を説明する。先に述べたステップＳ２０１の直後に、図９の画像を用いて、セグメンテーションを行い図１１のラベル画像を自動生成する（ステップＳ８０１）。その後、図１２に示すように、同一ラベル値を持つ領域ごとに、アルファマスク内の被写体領域、アルファマスク内の背景領域のそれぞれに対して出現頻度ヒストグラム（あるいは上述のようにこのヒストグラムにスムージングフィルタを適用したもの）を作成して、それをアルファマスク内の被写体領域とアルファマスク内の背景領域のヒストグラムの合計値が１などの予め定めた値となるように正規化する（ステップＳ８０２）。
【００３７】
なお、各ラベル値内のヒストグラムの合計値が１などの予め定めた値となるように正規化しても良い。この出現頻度ヒストグラムが重み値に対応する。得られる出現頻度ヒストグラムは例えば図１３のようになる。輝度の被写体らしさおよび背景らしさを用いる場合は、さらにこのヒストグラムに基づいて、輝度ごとに、図１４に示すようなその輝度における被写体らしさと背景らしさを算出する。なお、先に述べた合計値を１などの予め定めた値とする正規化はしなくても良い。被写体らしさの計算は、輝度ごとに、（その輝度の被写体出現頻度値）／（（その輝度の被写体出現頻度値）＋（その輝度の背景出現頻度値））で得られた値を用いる。背景らしさについても同様に計算した値を用いる。ここまではステップＳ２０２以降のループの前に１度だけ行えば良い。
【００３８】
次に、信頼度推定部１０３が、被写体領域、背景領域それぞれに対して、ラベル値ごとの出現頻度ヒストグラムを利用して注目画素に対するヒストグラムを算出する（ステップＳ８０３）。マスク値決定部１０４が、注目画素におけるこれらの出現頻度を信頼度として比較することでマスク値を決める（ステップＳ８０４）。その後は、図２のフローチャートと同様である。
【００３９】
なお、注目画素に対するヒストグラムの算出にあたっては、例えば、被写体領域、背景領域のそれぞれに対し、対象範囲中で各ラベル値を持つ画素数（あるいは、上述した手法で注目画素からの距離に応じた重みをかけた画素数）を数え、ラベル値ごとのヒストグラムにこの画素数を重みとして掛けたものを足した値を用いる。あるいは、対象範囲内の各画素について、その画素のマスク値とラベル値と輝度値との３つを用いてヒストグラムの値を取得し、それらを加算して各マスク値（被写体領域、背景領域のそれぞれ）に対するヒストグラムを作成する。あるいは、対象範囲内の各画素について、その画素のマスク値とラベル値と輝度値の３つを用いて、先に述べた輝度ごとの被写体らしさ、背景らしさの値をヒストグラムの重み値としてヒストグラムを算出する。
【００４０】
例えば図１５の注目画素１５０１に対して図１５の範囲１５０２でその画素の判定を行った場合に、セグメンテーション結果を用いない手法では、注目画素付近だけを見るとアルファマスク内の被写体領域に含まれる背景（魚でない部分）の面積のほうがアルファマスク内の背景領域に含まれる背景の面積よりも大きいために、注目画素の輝度における被写体領域と背景領域の頻度の大小関係は図１６の１６０１のように、被写体領域の出現頻度のほうが高くなるため、注目画素は被写体領域内であると判別されてしまう。
【００４１】
しかし、セグメンテーション結果を用いると、図１７の１７０１、１７０２のように、ラベル内の被写体領域と背景領域の、輝度ごとの面積比に差がある場合に、背景領域の出現頻度に与えられる重みを被写体領域の出現頻度に与えられる重みよりも高くすることができる。その結果、ラベル１における被写体領域の出現頻度と比べて背景領域の出現頻度が小さくても、背景領域の出現頻度に高い重みが与えられるために、大小関係は図１６の１６０２のように背景領域の出現頻度値のほうが高くなるため、この注目画素をユーザの期待通りに背景領域と判別することができる。
【００４２】
＜＜信頼度の大小関係＞＞  
なお、上記の実施形態では信頼度の値が高いほど信頼性が高いとして説明したが、信頼度の値が低いほど信頼性が高いと判断できる指標を用いてもかまわない。この場合例えば、前記信頼度を−１倍した値を用いてもかまわない。
【００４３】
＜多値のラベル画像の場合＞  
上記の実施形態では入出力が被写体領域と背景領域の２値であるとして説明した。この手法は次のように図２のフローを一部変更して３値以上のラベル画像に拡張すれば、領域分割などで得られた画像の輪郭フィッティング（以下、画像ラベル輪郭フィッティングと呼ぶ）にも利用できる。
【００４４】
ラベル画像入力部７０１が、ステップＳ２０１で得られた、画像及び被写体のアルファマスク内の領域にセグメンテーションを行って、ラベル画像を算出する（ステップＳ８０１）。また、ステップＳ２０１とステップＳ８０１に代わって、ラベル画像入力部７０１が画像と、別途用意したラベル画像を入力してもよい。
【００４５】
信頼度推定部１０３が、注目画素ごとに決まる別途定めた範囲について、ラベル値ごとに、信頼度を求める（ステップＳ８０３）。例えば、ラベル値ごとにそのラベル値の出現頻度を求める。マスク値決定部１０４が、すべてのラベル値の信頼度を比較し、最も信頼度の高い値を注目画素に割り当てるラベル値とする（ステップＳ８０４）。
【００４６】
この変更以外は２値の場合と同様である。ラベルごとの出現頻度の算出の１つの手法は、まず全ラベルの出現頻度を０とし、局所領域内の各画素について、ラベルに対応する出現頻度を加算することである。ラベルごとの出現頻度の算出の別の手法は、空のラベル値とその出現頻度の組のリストを準備し、ラベル値に対応する要素があるかを調べ、ラベル値に対応する要素があれば出現頻度を加算し、前記要素がなければ新たに要素を作成して出現頻度を加算することである。これらの手法以外に、次に述べる高速化手法がある。
【００４７】
＜多値のラベル画像の高速アルゴリズム＞  
画像ラベル輪郭フィッティングは、２値の場合と目的および方法は変わらないが、ラベルの種類が多いと、注目画素ごとに決まる別途定めた範囲について、ラベルごとの出現頻度を求め、最も信頼度の高い値を探すステップに時間がかかる。この場合は、ハッシュ法（奥村晴彦「Ｃ言語によるアルゴリズム事典」pp.214-216、ISBN4-87408-414-1）を用いると高速に計算をすることができる。  
以下、図１８に示すようなラベル値とその出現頻度の組を記録できるハッシュテーブルの記憶領域を用いた例を説明する。例えばハッシュ関数をラベル値の３２の剰余を算出する関数、ハッシュテーブルのエントリ数を３２とし（もちろん、ハッシュ関数やハッシュテーブルのエントリ数はこれに限定されない）、ハッシュテーブルの要素がすべてない状態に設定し（ハッシュテーブルの初期化）、出現頻度の加算を行う画素ごとに、  
（１）ハッシュ関数によりハッシュテーブルのインデックスを求め、
（２）インデックスで指定されたエントリにラベル値に対応する要素があるか調べ、
（３）ラベル値に対応する要素があれば出現頻度を加算し、前記要素がなければ新たに要素を作成して出現頻度を加算する。  
これにより、ラベルごとの出現頻度が求まる。その後、ハッシュテーブルの全要素の出現頻度を比較することで、出現頻度が最大のラベル値を得る。これにより、全ラベル数がハッシュの要素数に比べはるかに大きい場合、計算速度は向上する。なお、ここではオープンハッシュを用いた例を説明したが、クローズドハッシュ（ハッシュ関数で得られた最初の要素が使用中の場合に、再度ハッシュ関数を適用して次の要素の位置を得る手法）を用いても良い。クローズドハッシュの場合は、最初の要素が使用中の場合に２回目以降に適用するハッシュ関数を、例えば、１を加算して３２の剰余を算出する関数とすれば良い。
【００４８】
＜並列計算＞  
本発明では、注目画素ごとに独立した計算を行っている。したがって、２つ以上の計算ユニットが利用可能であれば、別の注目画素に対する計算を別の計算ユニットに割り当ててやれば、より高速に計算することができるようになる。
【００４９】
＜アルファマスク内の被写体領域の与え方＞  
２値のアルファマスク内の被写体領域を与える手法の１つは、マウスやペンタブレットを用いた手入力である。また、アルファマスク内の被写体領域を自動的に求める公知の手法は本発明の入力として利用できる。そのような手法の例としては、時系列の画像を逐次入力する場合に、あらかじめ被写体のいない状態で撮影した背景画像を準備し、逐次入力された画像と背景画像の差分値がしきい値を超える場合にその部分を被写体とみなす背景差分法や、過去のフレームの画像と現在のフレームの差分値がしきい値を超える場合にその部分を被写体とみなすフレーム間差分法がある。
【００５０】
＜他の手法と比べた効果の列挙＞  
本発明の手法を従来技術と比べた場合、その最も特徴的なことは、画素ごと、マスク値ごとに別々の分布に基づいて信頼度を算出する点にある。これらに基づいて信頼度を算出することで、多くの場合に、ある画素と別の画素の間の相関はそれらの画素同士が近いほど高いという自然画像の性質を活用して性能を向上させることができる。この相関は従来の手法では活用されていない。
【００５１】
さらに、与えられたアルファマスク内の被写体領域、アルファマスク内の背景領域のいずれに対しても、その領域が確実に正しいと想定していない。これに対し、従来の領域成長法は知られ広く使われているが、領域成長法は確実に正しい領域から開始するために、いずれかの領域が確実に正しい場合でないと失敗する。
【００５２】
さらに、本発明の手法は被写体領域、背景領域の形状に対して仮定を行わないために、注目画素の周辺においてのみ被写体領域の輝度分布と背景領域の輝度分布に違いがあれば、注目画素のマスク値を正しく判別できることも利点である。例えば、与えられたアルファマスク内の被写体領域から正確な被写体領域を算出する手法として広く知られるSnakes（M. Kass et al, “Snakes-Active Contour Models”, International Journal of Computer Vision, vol.1, No.4, pp.321-331, 1987）では、滑らかな輪郭を仮定した最適化を行うために、細い線や鋭利なコーナーを正確に求めることは困難である。
【００５３】
以上に示した実施形態によれば、１つ１つの画素について、その画素の周辺の輝度分布を求め、その画素が被写体領域である信頼度と背景領域である信頼度を算出し、その信頼度の高い領域に属すると決定することにより、対象領域中の被写体領域と背景領域に同じ輝度の部分が存在する場合でも、正しく被写体領域を求めることができる。
【００５４】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の画像処理装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の画像処理装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。  
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本願発明における記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。  
また、記憶媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００５５】
なお、本願発明におけるコンピュータまたは組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本願発明の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本発明の実施形態における機能を実現することが可能な機器、装置を総称している。
【００５６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック図。
【図２】図１の画像処理装置の動作を示すフローチャート。
【図３】図２のステップＳ２０２の開始時の状態の一例を示す図。
【図４】図３の注目画素付近の領域内の領域分布を示す図。
【図５】図４の、アルファマスク内の被写体領域およびアルファマスク内の背景領域の輝度ヒストグラムを示す図。
【図６】図５の輝度ヒストグラムにおいて注目画素の輝度を示した図。
【図７】本発明の第２の実施形態に係る画像処理装置のブロック図。
【図８】図７の画像処理装置の動作を示すブロック図。
【図９】図７の場合での入力画像の一例を示す図。
【図１０】図９の入力画像にアルファマスクをかけた場合の被写体領域と背景領域を示す図。
【図１１】図９の画像にセグメンテーションを行って生成したラベル画像を示す図。
【図１２】図１１のラベル１とラベル２での書く出現頻度を示す図。
【図１３】図１１のラベル値ごとのマスク値、輝度値、および重み値を示した図。
【図１４】マスク値、ラベル値、輝度に依存した被写体らしさおよび背景らしさを示す図。
【図１５】セグメンテーションが効果的な場合の一例を示す図。
【図１６】図１５の場合の単純なヒストグラムとセグメンテーション結果で重み付けしたヒストグラムとを比較した一例を示す図。
【図１７】図１５をセグメンテーションした場合の一例を示した図。
【図１８】ハッシュテーブルの一例を示す図。
【符号の説明】
【００５８】
１０１…画像入力部、１０２…アルファマスク入力部、１０３…信頼度推定部、１０４…マスク値決定部、７０１…ラベル画像入力部、７０２…重み値算出部。
【図１】
2006260401.tif 000003
【図２】
2006260401.tif 000004
【図３】
2006260401.tif 000005
【図４】
2006260401.tif 000006
【図５】
2006260401.tif 000007
【図６】
2006260401.tif 000008
【図７】
2006260401.tif 000009
【図８】
2006260401.tif 000010
【図９】
2006260401.tif 000011
【図１０】
2006260401.tif 000012
【図１１】
2006260401.tif 000013
【図１２】
2006260401.tif 000014
【図１３】
2006260401.tif 000015
【図１４】
2006260401.tif 000016
【図１５】
2006260401.tif 000017
【図１６】
2006260401.tif 000018
【図１７】
2006260401.tif 000019
【図１８】
2006260401.tif 000020