(57)【要約】【課題】本画像データ内の色情報を基に所定の特徴部分をセグメンテイションする場合に、その精度および耐性を高めることができる画像処理方法を提供する。【解決手段】カラーエネルギ計算部１２において、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す肌確率Ｐｓｋｉｎ（ｃｕ）を生成する。肌確率Ｐｓｋｉｎ（ｃｕ）を基に、各画素データが肌領域内の画素データであることに対するエネルギを生成する。【選択図】図１
2007172224.tif 000002
【特許請求の範囲】
【請求項１】
所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成する第１の工程と、
前記第１の工程で生成した前記第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第２の工程と、
前記処理対象の画像データを構成する画素データの各々について、当該画素データと、それに隣接する画素データとの差異を検出し、当該差異に応じた第３のエネルギを計算する第３の工程と、
前記第２の工程で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１の工程で生成した前記第２の確率データを基に生成した第２のエネルギと、前記第３の工程で計算した前記第３のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる第４の工程と
を有する画像処理方法。
【請求項２】
前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第５の工程と、
前記第５の工程で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第６の工程と  をさらに有し、
前記第４の工程は、前記第６の工程で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対して前記第４のエネルギに対応して予め決められた第５のエネルギとを用いて前記エネルギを規定する
請求項１に記載の画像処理方法。
【請求項３】
前記第２の工程は、前記第１の確率データが高くなるに従って小さくなるように前記第１のエネルギを計算し、
前記第４の工程は、前記エネルギの総和が最小になるように、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる
請求項１に記載の画像処理方法。
【請求項４】
所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成し、当該第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第１のエネルギ計算手段と、
前記処理対象の画像データを構成する画素データの各々について、当該画素データと、それに隣接する画素データとの差異を検出し、当該差異に応じた第３のエネルギを計算する第２のエネルギ計算手段と、
前記第１のエネルギ計算手段が計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１のエネルギ計算手段が生成した前記第２の確率データを基に生成した第２のエネルギと、前記第２のエネルギ計算手段が計算した前記第３のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる割り当て手段と
を有する画像処理装置。
【請求項５】
コンピュータが実行するプログラムであって、
所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成する第１の手順と、
前記第１の手順で生成した前記第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第２の手順と、
前記処理対象の画像データを構成する画素データの各々について、当該画素データと、それに隣接する画素データとの差異を検出し、当該差異に応じた第３のエネルギを計算する第３の手順と、
前記第２の手順で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１の手順で生成した前記第２の確率データを基に生成した第２のエネルギと、前記第３の手順で計算した前記第３のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる第４の手順と
を前記コンピュータに実行させるプログラム。
【請求項６】
所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成する第１の工程と、
前記第１の工程で生成した前記第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第２の工程と、
前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第３の工程と、
前記第３の工程で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第４の工程と、
前記第２の工程で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１の工程で生成した前記第２の確率データを基に生成した第２のエネルギと、前記第４の工程で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対して前記第４のエネルギに対応して予め決められた第５のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる第４の工程と
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象の画像データから、所定の特徴を持つセグメントを抽出するために用いられる画像処理方法、その装置およびそのプログラムに関する。
【背景技術】
【０００２】
例えば、画像データ内で肌領域と非肌領域とを区分するスキンセグメンテイション処理が知られている。このようなスキンセグメンテイション処理は、画像データから人間の手や顔の画像を抽出して、人間の動きを認識・追跡する場合などに用いられる。
セグメンテイションの精度を高めるために、例えば、下記引用文献１に開示された技術では、セグメンテイションにおけるエネルギを定義し、そのエネルギを最小にするようにグラフカット法などを用いてセグメンテイションを行っている。
【０００３】
【特許文献１】米国公開特許２００２／００４８４０１号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のスキンセグメンテイション処理は、各画素データが示す色が、所定の色であるか否かを基に肌領域であるかを判断しており、明度障害や肌色差異などに対しての検出精度および耐性が低いという問題がある。
【０００５】
本発明は上述した従来技術の問題点を解決するために、画像データ内の色情報を基に所定の特徴部分をセグメンテイションする場合に、その精度および耐性を高めることができる画像処理方法、その装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した従来技術の問題点を解決し、上述した目的を達成するため、第１の観点の発明の画像処理方法は、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成する第１の工程と、前記第１の工程で生成した前記第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第２の工程と、前記処理対象の画像データを構成する画素データの各々について、当該画素データと、それに隣接する画素データとの差異を検出し、当該差異に応じた第３のエネルギを計算する第３の工程と、前記第２の工程で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１の工程で生成した前記第２の確率データを基に生成した第２のエネルギと、前記第３の工程で計算した前記第３のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる第４の工程とを有する。
【０００７】
第２の観点の発明の画像処理装置は、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成し、当該第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第１のエネルギ計算手段と、前記処理対象の画像データを構成する画素データの各々について、当該画素データと、それに隣接する画素データとの差異を検出し、当該差異に応じた第３のエネルギを計算する第２のエネルギ計算手段と、前記第１のエネルギ計算手段が計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１のエネルギ計算手段が生成した前記第２の確率データを基に生成した第２のエネルギと、前記第２のエネルギ計算手段が計算した前記第３のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる割り当て手段とを有する。
【０００８】
第３の観点の発明のプログラムは、コンピュータが実行するプログラムであって、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成する第１の手順と、前記第１の手順で生成した前記第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第２の手順と、前記処理対象の画像データを構成する画素データの各々について、当該画素データと、それに隣接する画素データとの差異を検出し、当該差異に応じた第３のエネルギを計算する第３の手順と、前記第２の手順で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１の手順で生成した前記第２の確率データを基に生成した第２のエネルギと、前記第３の手順で計算した前記第３のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる第４の手順とを前記コンピュータに実行させる。
【０００９】
第４の観点の発明の画像処理方法は、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す第１の確率データおよび当該画素データが示す色が前記セグメント外の色である確率を示す第２の確率データを生成する第１の工程と、前記第１の工程で生成した前記第１の確率データを基に、前記複数の画素データの各々について、当該画素データが前記セグメント内の画素データであることに対する第１のエネルギを少なくとも計算する第２の工程と、前記処理対象の画像データを構成する画素データの各々について、当該画素データに対して時間的に前あるいは後の対応する画素データとの差異を検出する第３の工程と、前記第３の工程で検出した前記差異にさらに基づいて、当該画素データが前記セグメント内の画素データであることに対する第４のエネルギを少なくとも計算する第４の工程と、前記第２の工程で計算した前記第１のエネルギと、前記画素データが前記セグメント外の画素データであることに対する予め決められたあるいは前記第１の工程で生成した前記第２の確率データを基に生成した第２のエネルギと、前記第４の工程で計算した前記第４のエネルギと、前記画素データが前記セグメント外の画素データであることに対して前記第４のエネルギに対応して予め決められた第５のエネルギとを用いて前記画像データを構成する全画素データのエネルギの総和を規定し、当該エネルギの総和を基に、前記全画素データの各々を前記セグメント内外のいずれか一方に割り当てる第４の工程とを有する。
【発明の効果】
【００１０】
本発明によれば、画像データ内の色情報を基に所定の特徴部分をセグメンテイションする場合に、その精度および耐性を高めることができる画像処理方法、その装置およびそのプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態に係わる画像処理装置について説明する。
先ず、本実施形態の構成要素と、本発明の構成要素との対応関係を説明する。
本実施形態の肌確率Ｐｓｋｉｎ（ｃｕ）が本発明の確率データの一例である。また、本実施形態のエネルギＤｓｋｉｎ（ｕ）が本発明の第１のエネルギの一例であり、本実施形態のエネルギＤｎｏｎ−ｓｋｉｎ（ｕ）が本発明の第２のエネルギの一例である。また、本実施形態のエネルギＳ（ｕ，ｖ）が本発明の第３のエネルギの一例である。また、エネルギＭｓｋｉｎ（ｕ）が本発明の第４のエネルギの一例であり、エネルギＭｎｏｎ−ｓｋｉｎ（ｕ）が本発明の第５のエネルギの一例である。
また、本実施形態のステップＳＴ１２が本発明の第１の工程の一例であり、ステップＳＴ１３が本発明の第２の工程の一例であり、ステップＳＴ１８，ＳＴ１９が本発明の第３の工程の一例であり、ステップＳＴ２，ＳＴ３が本発明の第４の工程の一例である。
さらに、図９に示す処理回路４３が、ステップＳＴ１２を実行することで本発明の確率データ生成手段が実現され、処理回路４３がステップＳＴ１３を実行することで本発明のエネルギ計算手段が実現され、処理回路４３がステップＳＴ１３を実行することで本発明の第１のエネルギ計算手段が実現され、処理回路４３がステップＳＴ１８，ＳＴ１９を実行することで本発明の第２のエネルギ計算手段が実現され、処理回路４３がステップＳＴ２，ＳＴ３を実行することで本発明の割り当て手段が実現される。
また、図９に示すプログラムＰＲＧが本発明のプログラムの一例である。
【００１２】
図１は、本発明の実施形態に係わる画像処理装置１の全体構成図である。
図１に示すように、画像処理装置１は、例えば、カメラ１０、カラーエネルギ計算部１２、動きエネルギ計算部１４、関連エネルギ計算部１６、グラフ構築部１８、マックス・フロー最適化部２０およびスキン・セグメントマスク生成部２２を有する。
画像処理装置１は、カラーエネルギ計算部１２において、所定の色が所定の特徴を持つセグメント内の色である確率を示す確率データを参照して、処理対象の画像データを構成する画素データの各々について、当該画素データが示す色が前記セグメント内の色である確率を示す肌確率Ｐｓｋｉｎ（ｃｕ）を生成する。
そして、カラーエネルギ計算部１２において、肌確率Ｐｓｋｉｎ（ｃｕ）を基に、複数の画素データの各々について、当該画素データが肌領域内の画素データであることに対するエネルギＤｓｋｉｎ（ｕ）等を生成する。
そして、グラフ構築部１８において、上記エネルギを基にグラフを構築し、マックス・フロー最適化部２０により、総エネルギを最小にするように、全画素データの各々を肌領域の内外のいずれか一方に割り当てる（セグメンテイションを行う）。
【００１３】
［カメラ１０］
カメラ１０は、撮像対象を撮像し、その撮像結果に応じた画像データＳ１０を、カラーエネルギ計算部１２、動きエネルギ計算部１４および関連エネルギ計算部１６に出力する。
画像データＳ１０は、例えば、各々がＲ，Ｇ，Ｂ値を示す複数の画素データで構成される。
【００１４】
［カラーエネルギ計算部１２］
カラーエネルギ計算部１２は、画像データＳ１０の画素データを、Ｒ，Ｇ，Ｂ値から色相値Ｈｕｅに変換する。
また、カラーエネルギ計算部１２は、図２に示すように、色相値Ｈｕｅと、肌確率Ｐｓｋｉｎとの関係を示すテーブルデータを備えている。
カラーエネルギ計算部１２は、画像データＳ１０の各画素データｕについて、その色相値ｃｕに対応する肌確率Ｐｓｋｉｎ（ｃｕ）を、上記テーブルデータを基に取得する。
カラーエネルギ計算部１２は、下記式（１）により、画素データｕが肌に対応することに対するエネルギ値を示すエネルギＤｓｋｉｎ（ｕ）を計算する。すなわち、エネルギＤｓｋｉｎ（ｕ）は、画素データｕの色相値ｃｕの肌確率Ｐｓｋｉｎ（ｃｕ）が高くなるに従って小さくなるように規定されている。
【００１５】
【数１】
2007172224.tif 000003
【００１６】
また、カラーエネルギ計算部１２は、下記式（２）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＤｎｏｎ−ｓｋｉｎ（ｕ）として、一定値Ｍを代入する。
【００１７】
【数２】
2007172224.tif 000004
【００１８】
マックス・フロー最適化部２０は、グラフカット法による最適化処理において、画像データＳ１０における肌領域と非肌領域との組み合わせパターンであるｆについて、下記式（３）により、カラーエネルギＥｃ（ｆ）を計算する。
下記式において、ｆｕは、画素データｕが肌領域と仮定されているか否かを示し、「ｆｕ＝１」の場合に肌領域と仮定され、「ｆｕ＝０」の場合に非肌領域と仮定されている。
また、Ｔ「．」は、「．」の条件が真の場合に「１」となり、偽の場合に「０」となる。
【００１９】
【数３】
2007172224.tif 000005
【００２０】
なお、カラーエネルギ計算部１２は、例えば、下記式（４）に示すようにエネルギＤｓｋｉｎ（ｕ）を計算し、下記式（５）に示すようにエネルギＤｎｏｎ−ｓｋｉｎ（ｕ）を計算してもよい。
【００２１】
【数４】
2007172224.tif 000006
【００２２】
【数５】
2007172224.tif 000007
【００２３】
なお、本実施形態では、カラーエネルギ計算部１２においてＲ，Ｇ，Ｂ値を色相値Ｈｕｅに変換してから、グラフ構築を行う場合を例示するが、Ｒ，Ｇ，Ｂ値を直接用いてグラフ構築してもよい。
【００２４】
［動きエネルギ計算部１４］
動きエネルギ計算部１４は、画像データＳ１０に動き抽出処理を施し、それをエネルギ換算する。これは、肌は、通常動きがある人間の一部であり、動き情報はスキンセグメンテーションの耐性（ロバストネス）および精度を高める上で役に立つためである。
動きエネルギ計算部１４は、カレントピクチャ（フレーム）の各画素データに対して、抽出した動き量を基に、画素データｕが肌に対応することに対するエネルギ値を示すエネルギＭｓｋｉｎ（ｕ）を計算する。すなわち、動きエネルギ計算部１４は、下記式（６）に示すように、フレーム間の差分を検出することで簡単な計算でエネルギＭｓｋｉｎ（ｕ）を算出する。
下記式（６）において、Iｔ（ｕ）は、時刻ｔのフレーム内での画素データｕ（画素位置ｕの画素データ）の画素値を示している。また、Ｃは固定値である。
【００２５】
【数６】
2007172224.tif 000008
【００２６】
また、動きエネルギ計算部１４は、下記式（７）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＭｎｏｎ−ｓｋｉｎ（ｕ）として、一定値Ｃを代入する。
【００２７】
【数７】
2007172224.tif 000009
【００２８】
マックス・フロー最適化部２０は、グラフカット法による最適化処理において、画像データＳ１０における肌領域と非肌領域との組み合わせパターンであるｆについて、下記式（８）により、動きエネルギＥＭ（ｆ）を計算する。
下記式において、ｆｕは、上述したように、画素データｕが肌領域と仮定されているか否かを示し、「ｆｕ＝１」の場合に肌領域と仮定され、「ｆｕ＝０」の場合に非肌領域と仮定されている。
【００２９】
【数８】
2007172224.tif 000010
【００３０】
［関連エネルギ計算部１６］
関連エネルギ計算部１６は、所定の画素の画素データｕと、それに隣接する画素の画素データｖとの間の関係性を示すエネルギＳ（ｕ，ｖ）を下記式（９）に示すように設定する。
下記式（９）において、I（ｕ）は、処理対象のフレーム内での画素データｕ（画素位置ｕの画素データ）の画素値を示し、Ｉ（ｖ）は隣接画素データｖの画素値を示している。また、Ｔｈｒｄは、予め決められたしきい値を示している。また、λは、所定の固定値を示している。
【００３１】
【数９】
2007172224.tif 000011
【００３２】
本実施形態では、画素データｕの隣接画素データとして、図３に示す画素位置の隣接画素データｖ１，ｖ２，ｖ３，ｖ４を用いる。なお、画素データｕの隣接画素データとして、図３に示す画素位置の隣接画素データｖ１，ｖ２，ｖ３，ｖ４を含む４個の画素データを用いてもよい。
【００３３】
マックス・フロー最適化部２０は、グラフカット法による最適化処理において、画像データＳ１０における肌領域と非肌領域との組み合わせパターンであるｆについて、下記式（１０）により、関連エネルギＥＳ（ｆ）を計算する。
【００３４】
【数１０】
2007172224.tif 000012
【００３５】
上記式（１０）において、ｆｕは上述したように画素データｕが肌領域と仮定されているか否かを示し、ｆｖは上述したように画素データｖが肌領域と仮定されているか否かを示す。本実施形態では、ｆｕとｆｖが異なる場合に、エネルギＳ（ｕ，ｖ）を累積する。これにより、隣接する画素データについては、肌領域内か否かを判断結果が同じになりやすくしている。すなわち、肌領域をスムーズに変化させている。
すなわち、関連エネルギ計算部１６は、画素データｕとｖとの間にエッジが存在する場合に、それらの間の関係が弱くするために、エッジが存在しない場合に比べてfu≠fvの時のエネルギを小さくする。
【００３６】
［グラフ構築部１８］
グラフ構築部１８は、例えば、図４に示すように、画像データＳ１０内の画素データの各々について、当該画素データとノードＮ（ｓｋｉｎ）との間のエッジＥ（ｓｋｉｎ）のエネルギとして上記式（１）に示すエネルギＤｓｋｉｎ（ｕ）と上記式（６）に示すエネルギＭｓｋｉｎ（ｕ）との加算値を割り当ててグラフデータを生成する（グラフ構築する）。
また、グラフ構築部１８は、各画素データとノードＮ（ｎｏｎ−ｓｋｉｎ）との間のエッジＥ（ｎｏｎ−ｓｋｉｎ）のエネルギとして上記式（２）に示すエネルギＤｎｏｎ−ｓｋｉｎ（ｕ）と上記式（７）に示すエネルギＭｎｏｎ−ｓｋｉｎ（ｕ）との加算値を割り当ててグラフデータを生成する。
また、グラフ構築部１８は、各画素データと、それに隣接する画素データとの間のエッジＥ（ｎｅｉ）として上記式（９）のエネルギＳ（ｕ，ｖ）を割り当ててグラフデータを生成する。
【００３７】
［マックス・フロー最適化部２０］
マックス・フロー最適化部２０は、グラフ構築部１８が生成した図４に示すグラフを基に、グラフカット法などにより、上記式（３），（８），（１０）を用いて、下記式（１１）に示すエネルギＥＳ（ｆ）を最小にする構造データｆを生成する。
ここで、構造データｆは、画像データＳ１０の各画素データに対して、肌領域であるか非肌領域であるかを示している。具体的には、マックス・フロー最適化部２０は、図５に示すように、下記式（１１）に示すエネルギＥＳ（ｆ）を最小にするようにグラフカット処理を行い、その結果として、各画素データに対応するデータとして、肌領域を示す「１」か非肌領域を示す「０」を割り当てた構造データｆを生成する。
【００３８】
【数１１】
2007172224.tif 000013
【００３９】
なお、マックス・フロー最適化部２０が行うグラフカット法としては、例えば、Yuri Boykov etc.,“Fast Approximate Energy Minimization via Graph Cuts”, IEEE TRANSACTIONS ON PTTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.23, NO.11, NOV.2001に開示されたものが用いられる。
【００４０】
［スキン・セグメントマスク生成部２２］
スキン・セグメントマスク生成部２２は、例えば、マックス・フロー最適化部２０が生成した構造データｆを基に、画像データＳ１０から肌領域の画像を抽出するためのマスクデータを生成する。
その後、画像処理装置１は、上記マスクデータを基に、画像データＳ１０から肌領域の画像データのみを抽出し、人間の動作などの検出処理を行う。
本実施形態では、例えば、図６に示す画像データＳ１０に対して上記マスクデータを用いてマスク処理を行い高精度な画像データＳ２０を生成できる。従来では、図６に示すように、マスク処理により、精度が低い画像データＳ１２０にしか得られなかった。
【００４１】
以下、図１に示す画像処理装置１の動作例を説明する。
［全体動作例］
図７は、図１に示す画像処理装置１の全体動作例を説明するためのフローチャートである。
ステップＳＴ１：
カラーエネルギ計算部１２、動きエネルギ計算部１４および関連エネルギ計算部１６が、エネルギＤｓｋｉｎ（ｕ），Ｄｎｏｎ−ｓｋｉｎ（ｕ）、エネルギＭｓｋｉｎ（ｕ），Ｍｎｏｎ−ｓｋｉｎ（ｕ）、エネルギＳ（ｕ，ｖ）を生成し、それらをグラフ構築部１８に出力する。
当該処理については後に詳細に説明する。
グラフ構築部１８は、カラーエネルギ計算部１２、動きエネルギ計算部１４および関連エネルギ計算部１６から入力した上記エネルギを、図４に示すように各エッジＥ（ｓｋｉｎ），Ｅ（ｎｏｎ−ｓｋｉｎ），Ｅ（ｎｅｉ）に割り当て、その割り当て内容を示すグラフデータを生成する。
【００４２】
ステップＳＴ２：
マックス・フロー最適化部２０は、グラフ構築部１８がステップＳＴ１で生成した図４に示すグラフのグラフデータを基に、グラフカット法などにより、上記式（１１）に示すエネルギＥＳ（ｆ）を最小にする構造データｆを生成する。
【００４３】
ステップＳＴ３：
スキン・セグメントマスク生成部２２は、例えば、マックス・フロー最適化部２０が生成した構造データｆを基に、画像データＳ１０から肌領域の画像を抽出するためのマスクデータを生成する。その後、画像処理装置１は、上記マスクデータを基に、画像データＳ１０から肌領域の画像データのみを抽出し、人間の動作などの検出処理を行う。
【００４４】
［図７のステップＳＴ１の動作例］
図８は、図７のステップＳＴ１の動作例を詳細に説明するためのフローチャートである。
ステップＳＴ１１：
カラーエネルギ計算部１２は、画像データＳ１０の画素データを、Ｒ，Ｇ，Ｂ値から色相値Ｈｕｅに変換する。
【００４５】
ステップＳＴ１２：
カラーエネルギ計算部１２は、画像データＳ１０の各画素データｕについて、その色相値ｃｕに対応する肌確率Ｐｓｋｉｎ（ｃｕ）を、上記テーブルデータを基に取得する。
【００４６】
ステップＳＴ１３：
カラーエネルギ計算部１２は、上記式（１）により、画素データｕが肌に対応することに対するエネルギ値を示すエネルギＤｓｋｉｎ（ｕ）を計算する。
【００４７】
ステップＳＴ１４：
カラーエネルギ計算部１２は、上記式（２）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＤｎｏｎ−ｓｋｉｎ（ｕ）として、一定値Ｍを設定する。
【００４８】
ステップＳＴ１５：
動きエネルギ計算部１４は、カレントピクチャ（フレーム）の各画素データに対して動き量（＝｜Ｉｔ（ｕ）−Ｉｔ−１（ｕ）｜）を抽出する。
【００４９】
ステップＳＴ１６：
動きエネルギ計算部１４は、ステップＳＴ１５で抽出した動き量を基に、上記式（６）に従って、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＭｓｋｉｎ（ｕ）を計算する。
【００５０】
ステップＳＴ１７：
動きエネルギ計算部１４は、上記式（７）に示すように、画素データｕが肌に対応しないことに対するエネルギ値を示すエネルギＭｎｏｎ−ｓｋｉｎ（ｕ）として、一定値Ｃを代入する。
【００５１】
ステップＳＴ１８：
関連エネルギ計算部１６は、所定の画素の画素データｕと、それに隣接する画素の画素データｖとの間の差分（＝｜Ｉ（ｕ）−Ｉ（ｖ）｜）を計算する。
【００５２】
ステップＳＴ１９：
関連エネルギ計算部１６は、ステップＳＴ１８で計算した差分を基に、エネルギＳ（ｕ，ｖ）を上記式（９）に示すように設定する。
【００５３】
ところで、図１に示す画像処理装置１は、例えば、図９に示すように、データ線４０を介して接続されたインターフェース４１、メモリ４２および処理回路４３によって実現できる。
この場合に、処理回路４３が、メモリ４２に記憶されたプログラムＰＲＧを読み出して、図７および図８に示す処理を実行する。
また、インターフェース４１は、図１に示すカメラ１０から画像データＳ１０を入力する。
【００５４】
本発明は上述した実施形態には限定されない。
すなわち、当業者は、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し、様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。
また、本明細書において、記録媒体により提供されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００５５】
例えば、上述した実施形態では、カラーエネルギ計算部１２の他に、動きエネルギ計算部１４および関連エネルギ計算部１６を用いる場合を例示したが、本発明は、これらの何れか一方あるいは双方を用いない場合にも適用される。
例えば、図１０に示すように、カラーコスト計算部１２と動きコスト計算部１４を用い、関連エネルギ計算部を用いなくてもよい。
また、上述した実施形態では、上記式（１１）のエネルギを最小にする構造データｆをグラフカット法を用いて決定する場合を例示したが、エネルギ最小の構造データｆを決定する手法であれば特に限定されない。
【図面の簡単な説明】
【００５６】
【図１】図１は、本発明の実施形態の画像処理装置の構成図である。
【図２】図２は、色相値Ｈｕｅと肌確率Ｐｓｋｉｎとの関係を示すテーブルデータを説明するための図である。
【図３】図３は、図１に示す関連エネルギ計算部の処理を説明するための図である。
【図４】図４は、図１に示すグラフ構築部の処理を説明するための図である。
【図５】図５は、図１に示すマックス・フロー最適化部の処理を説明するための図である。
【図６】図６は、図１に示すスキン・セグメントマスク生成部の結果を基に生成したマスクデータの効果を説明するための図である。
【図７】図７は、図１に示す画像処理装置の全体動作例を説明するためのフローチャートである。
【図８】図８は、図７に示すステップＳＴ１の処理を説明するための図である。
【図９】図９は、図１に示す画像処理装置のハードウェア構成の一例を説明するための図である。
【図１０】図１０は、本発明のその他の実施形態の画像処理装置の構成図である。
【符号の説明】
【００５７】
１…画像処理装置、１０…カメラ、１２…カラーエネルギ計算部、１４…動きエネルギ計算部、１６…関連エネルギ計算部、１８…グラフ構築部、２０…マックス・フロー最適化部、２２…スキン・セグメントマスク生成部、４１…インターフェース、４２…メモリ、４３…処理回路
【図１】
2007172224.tif 000014
【図２】
2007172224.tif 000015
【図３】
2007172224.tif 000016
【図４】
2007172224.tif 000017
【図５】
2007172224.tif 000018
【図７】
2007172224.tif 000019
【図８】
2007172224.tif 000020
【図９】
2007172224.tif 000021
【図１０】
2007172224.tif 000022
【図６】
2007172224.tif 000023