(57)【要約】【課題】画像データから人物の肌領域を抽出する際の信頼性を高める。【解決手段】ＣＣＤカメラ１の撮像により得られるシーン画像の画像データの複数の画素値をカウンタープロパゲーションネットワーク（ＣＰＮ３）に入力するとともに、オペレータが肌領域や髪領域等のカテゴリを示す教師信号を与える。ＣＰＮには学習により肌色モデルを表すカテゴリマップが形成される。次に、バックプロパゲーションネットワーク（ＢＰＮ５）に対し、カテゴリマップの各ユニットについて、そのユニットへの入力結合荷重を入力値として与え、そのユニットのカテゴリを教師信号として与える。これにより、肌色モデルに適合したＢＰＮが形成される。なお、特定の画像データをこのＢＰＮによってカテゴリ分類させた結果に基づいて、この画像データの肌色モデル及び対応するＢＰＮの構築を行ってもよい。【選択図】図１
2005222304.tif 000002
【特許請求の範囲】
【請求項１】
入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークと、
前記カウンタープロパゲーションネットワークの入力層に学習用データを入力し、グロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせ、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重及び第２の結合荷重を設定する準備手段と、
前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークと、
前記教師ありニューラルネットワークに対し前記準備手段により設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習手段と、
を備える、ことを特徴とするパターン抽出装置。
【請求項２】
請求項１に記載のパターン抽出装置において、
前記学習手段により学習を行わせた前記教師ありニューラルネットワークに対し、処理対象データを入力して含まれるパターンを複数の前記カテゴリのいずれかに分類する抽出手段を備える、ことを特徴とするパターン抽出装置。
【請求項３】
請求項２に記載のパターン抽出装置において、
前記抽出手段により前記カテゴリに分類された処理対象データのうち分類の確からしさが高い複数の処理対象データを求める手段と、
求めた前記処理対象データを学習用データとしてカウンタープロパゲーションネットワークに対する前記準備手段による処理を実施し、その結果を用いて教師ありニューラルネットワークに対する前記学習手段による処理を実施することで、前記処理対象データに適合した教師ありニューラルネットワークを構築する適合手段と、
を備える、ことを特徴とするパターン抽出装置。
【請求項４】
請求項１に記載のパターン抽出装置において、
前記教師ありニューラルネットワークの学習は誤差逆伝搬学習法によって行われる、ことを特徴とするパターン抽出装置。
【請求項５】
請求項１に記載のパターン抽出装置において、
前記学習用データは画像データであり、
前記準備手段は、前記画像データが示す色パターンを包含するカテゴリについての教師信号を入力して学習を行わせる、ことを特徴とするパターン抽出装置。
【請求項６】
請求項５に記載のパターン抽出装置において、
前記学習用データは人物の肌を表す画像データを含んでおり、
前記準備手段は、人物の肌を表す画像データに対し肌領域のカテゴリを与える教師信号を入力して学習を行わせる、ことを特徴とするパターン抽出装置。
【請求項７】
コンピュータにおいて実行されるプログラムであって、
入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークに対し、入力層に学習用データを入力しグロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせ、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重及び第２の結合荷重を設定する準備手順と、
前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークに対し、前記準備手順により設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習手順と、
を含む、ことを特徴とするパターン抽出プログラム。
【請求項８】
コンピュータが実行する方法であって、
入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークに対し、入力層に学習用データを入力しグロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせ、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重及び第２の結合荷重を設定する準備ステップと、
前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークに対し、前記準備ステップにより設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習ステップと、
を含む、ことを特徴とするパターン抽出方法。
【請求項９】
入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークに対し、入力層に学習用データを入力しグロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせることで得られる、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重を取得する取得手段と、
前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークと、
前記教師ありニューラルネットワークに対し前記取得手段により取得された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習手段と、
撮像により画像データを生成する撮像手段と、
前記学習手段により学習を行わせた前記教師ありニューラルネットワークに対して前記画像データを入力し、含まれるパターンを複数の前記カテゴリのいずれかに分類する抽出手段と、
前記抽出手段による分類結果を出力する出力手段と、
を備える、ことを特徴とするパターン抽出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ニューラルネットワークを用いてパターン抽出を行う技術に関する。
【背景技術】
【０００２】
データからパターンを抽出する様々な技術が開発されてきている。一例として、画像データから人物、特にその肌領域を抽出する技術を挙げれば、抽出方式は次の三つに大別することができる。一つ目は、肌の色が分布する色範囲の閾値を予め設定しておき比較する方式である（下記特許文献１乃至６参照）。二つ目は、人物が不在である画像データ等に基づいて予め背景画像を特定しておき、それと比較することにより人物領域を見いだす方式である（下記特許文献７乃至１０参照）。また、三つ目は、赤外線カメラを用いて人物の発する熱を検出する方式である（下記特許文献１１、１２参照）。
【０００３】
【特許文献１】特開平１２−１８７７２１号公報
【特許文献２】特開平０７−４６６２１号公報
【特許文献３】特開平０６−１６５１９６号公報
【特許文献４】特開平０７−２２９０９号公報
【特許文献５】特開２００３−３０８５３０号公報
【特許文献６】特開平０８−１５３１９７号公報
【特許文献７】特開２００１−２１１４３６号公報
【特許文献８】特開２００２−２６９５４５号公報
【特許文献９】特開平０７−３０２３２８号公報
【特許文献１０】特開平１１−１８５０２６号公報
【特許文献１１】特開２００３−６６４２号公報
【特許文献１２】特開平１０−２５８０４４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上に示した肌領域の各抽出方式は、必ずしも十分なものではない。例えば、一つ目の方式では、各個人によって異なる肌色に柔軟に対応することができない。また、二つ目の方式では、カメラの方向や拡大率などの変更に柔軟に対応できない他、動物体等による背景自体の動きにも大きく影響されてしまう。また、三つ目の方式では、赤外線カメラが高価であり、実用化・商品化が困難である。
【０００５】
本発明の目的は、ニューラルネットワークを用いることで肌領域の抽出の信頼性を向上させる点にある。
【０００６】
本発明の別の目的は、形状認識あるいは音声認識等にも広く適用可能であり、信頼性を高めたパターン抽出の技術を確立する点にある。
【０００７】
本発明のさらに別の目的は、カウンタープロパゲーションネットワークとニューラルネットワークとを融合させたパターン抽出の技術を確立する点にある。
【課題を解決するための手段】
【０００８】
本発明のパターン抽出装置は、入力層、入力層と第１の結合荷重で結び付けられたコホーネン（Ｋｏｈｏｎｅｎ）層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ（Ｇｒｏｓｓｂｅｒｇ）層によって構成されるカウンタープロパゲーションネットワークと、前記カウンタープロパゲーションネットワークの入力層に学習用データを入力し、グロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせ、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重及び第２の結合荷重を設定する準備手段と、前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークと、前記教師ありニューラルネットワークに対し前記準備手段により設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習手段と、を備える。
【０００９】
準備手段においては、学習用データ及び対応する教師信号に基づいて学習が行われる。学習用データは、静止画像あるいは動画像の画像データや音声データはもちろん、画像や音声のように認識可能に表現されていない一般の数値データであっても識別したいパターンが含まれてさえいればよい。パターンはデータ同様特に限定されず、例えば、動き、形状、音声、色などに関するパターンなど、データ中の各種の変動パターンや分布パターンを挙げることができる。教師信号が示すカテゴリとしては、一般的には、一つまたは複数のパターンを包含するものが与えられる。このカテゴリは、全体として複数個与えることができ、その中には他のカテゴリに含まれないという条件で定義される補集合的なカテゴリを設けてもよい。教師信号は学習用データに付随して予め与えられても、ユーザによって与えられてもよい。カウンタープロパゲーションネットワークにおいては、反復的な学習を反映した分類モデルとしてのカテゴリマップが形成され、また、対応する結合荷重が定められる。カテゴリマップのサイズ（コホーネン層のサイズ）は特に限定されず、また、カテゴリの数も様々に設定可能である。
【００１０】
学習手段は、教師ありニューラルネットワークに対して行われる。この教師ありニューラルネットワークは、準備手段で用いられたカウンタープロパゲーションネットワークとは別に用意されるものである。教師ありニューラルネットワークの種類は特に限定されず、階層型、相互結合型、競合学習型など様々な種類のものを採用することが可能であり、具体的には例えば、リカレントニューラルネットワークや、ＲＢＦ（放射基底関数）ネットワークなどが挙げられる。学習は、教師ありニューラルネットワークに対し、前記準備手段により設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップのカテゴリに基づいて教師信号を与えることで行われる。
【００１１】
この構成によれば、教師ありニューラルネットワークの学習はカテゴリマップを教師信号として行われる。カテゴリマップのユニット数や学習の反復回数は、ユーザ指定により設定されてもよいし、学習用データ等に基づいて決定されてもよい。こうして実施される学習により、カテゴリ区分を精度よく表現するカテゴリマップが形成される。教師ありニューラルネットワークの学習は、このカテゴリマップを用いて行われるため、質的に又は量的に十分なものとなり、信頼性の高いニューラルネットワークが形成される。
【００１２】
望ましくは、本発明のパターン抽出装置は、前記学習手段により学習を行わせた前記教師ありニューラルネットワークに対し、処理対象データを入力して含まれるパターンを複数の前記カテゴリのいずれかに分類する抽出手段を備える。処理対象データとしては、一般には、未分類のパターンを示す新たなデータが与えられる。そして、学習が行われた教師ありニューラルネットワークによって、いずれかのカテゴリに分類される。なお、処理対象データとして、前記学習用データを用いることで分類の状況を検証したり、この学習用データに基づくデータ（例えば学習用データの部分領域を高解像度で表現したデータや、学習用データを含む広範囲の領域を表現するデータ）を用いることで詳細あるいは高精度なカテゴリ分けを行うことも有効である。
【００１３】
望ましくは、本発明のパターン抽出装置は、前記抽出手段により前記カテゴリに分類された処理対象データのうち分類の確からしさが高い複数の処理対象データを求める手段と、求めた前記処理対象データを学習用データとしてカウンタープロパゲーションネットワークに対する前記準備手段による処理を実施し、その結果を用いて教師ありニューラルネットワークに対する前記学習手段による処理を実施することで、前記処理対象データに適合した教師ありニューラルネットワークを構築する適合手段と、を備える。
【００１４】
分類の確からしさとは、複数あるカテゴリのいずれに分類されるかの明確性あるいは信頼性をさし、典型的にはニューラルネットワークの出力値とカテゴリ分類の閾値との距離関係に基づいて求めることができる。この分類の確からしさが高い複数の処理対象データを学習用データとしてカウンタープロパゲーションネットワークの学習を行うことで、処理対象データに特に適合したカテゴリマップが得られる。そして、その結果に基づいて、教師ありニューラルネットワークに対する学習を行うことで、この処理対象データに特に適合したニューラルネットワークが構築される。このようにして処理対照データの特性に柔軟に対応したニューラルネットワークを構築することにより、処理対照データにおけるパターンのカテゴリ分けを的確に行うことが可能となる。なお、ここにおいて用いられるカウンタープロパゲーションネットワークは、前に用いられたカウンタープロパゲーションネットワークと同じ（カテゴリマップのサイズや結合荷重の値が同じ）であってもよいし、異なっていてもよい。また、教師ありニューラルネットワークについても、前に用いられたものと種類や結合荷重の初期値等が同じであってもよいし、異なっていてもよい。
【００１５】
望ましくは、本発明のパターン抽出装置において、前記教師ありニューラルネットワークの学習は誤差逆伝搬学習法によって行われる。誤差逆伝搬学習法に基づくニューラルネットワーク（Back Propagation Network）は、一般にパターン抽出の精度が高いとされており、カウンタープロパゲーションネットワークの結果を用いて学習をさせることでその威力を十分に発揮することが期待できる。
【００１６】
望ましくは、本発明のパターン抽出装置において、前記学習用データは画像データであり、前記準備手段は、前記画像データが示す色パターンを包含するカテゴリについての教師信号を入力して学習を行わせる。つまり、学習用データは、画像を表現するデータの一画素や複数画素の画素値に基づいて与えられる。そして、この量が表現する色パターンについてのカテゴリ分けの学習が行われる。これにより、色パターンに基づいて画像中の領域を分類したり、特定の画像あるいは画像要素を抽出したりするといった処理を行いうるニューラルネットワークが構築される。
【００１７】
望ましくは、本発明のパターン抽出装置において、前記学習用データは人物の肌を表す画像データを含んでおり、前記準備手段は、人物の肌を表す画像データに対し肌領域のカテゴリを与える教師信号を入力して学習を行わせる。肌の色には本来的な個人差や各人のコンディションによる差があり、また画像データの撮影条件等による違いも存在する。そこで、カウンタープロパゲーションネットワークのカテゴリマップ上にまず肌色モデルを生成し、この肌色モデルに基づいてニューラルネットワークの学習を行う本発明の手法が有効となる。また、個人差や撮影条件等の違いに柔軟に対応するために、その条件の下で分類の確からしさに基づく再学習を行うことで、肌の色によって特定されるパターン（肌領域など）の抽出を的確に行うことが可能となる。肌の色によって特定されるパターンを抽出するこの技術は、多くの分野に適用することができる。例えば、表情認識や顔認識（個人認識）の前処理として利用することができる。また、デジタル処理を行う動画あるいは静止画の撮像カメラや、プリンタ、モニタ（ディスプレイ）における色補正のための領域抽出処理に用いることも可能である。さらには、監視カメラ等により生成される画像データを用いたセキュリティシステムとしての人物検出にも適用することができる。
【００１８】
本発明のパターン抽出プログラムは、コンピュータにおいて実行されるプログラムであって、入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークに対し、入力層に学習用データを入力しグロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせ、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重及び第２の結合荷重を設定する準備手順と、前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークに対し、前記準備手順により設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習手順と、を含む。
【００１９】
本発明のパターン抽出方法は、コンピュータが実行する方法であって、入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークに対し、入力層に学習用データを入力しグロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせ、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重及び第２の結合荷重を設定する準備ステップと、前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークに対し、前記準備ステップにより設定された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習ステップと、を含む。
【００２０】
本発明のパターン抽出システムは、入力層、入力層と第１の結合荷重で結び付けられたコホーネン層、及び、コホーネン層と第２の結合荷重で結び付けられたグロスバーグ層によって構成されるカウンタープロパゲーションネットワークに対し、入力層に学習用データを入力しグロスバーグ層に学習用データが示すパターンのカテゴリを与える教師信号を入力して学習を行わせることで得られる、コホーネン層を複数の前記カテゴリに区分したカテゴリマップ、及び、対応する第１の結合荷重を取得する取得手段と、前記カウンタープロパゲーションネットワークとは別に用意された教師ありニューラルネットワークと、前記教師ありニューラルネットワークに対し前記取得手段により取得された第１の結合荷重に基づいて入力値を与え、対応するカテゴリマップの前記カテゴリに基づいて教師信号を与えることで学習を行わせる学習手段と、撮像により画像データを生成する撮像手段と、前記学習手段により学習を行わせた前記教師ありニューラルネットワークに対して前記画像データを入力し、含まれるパターンを複数の前記カテゴリのいずれかに分類する抽出手段と、前記抽出手段による分類結果を出力する出力手段と、を備える。
【００２１】
取得手段は、カウンタープロパゲーションネットワーク及びその学習機能を備えていてもよいし、その学習結果のみを外部から取得するものであってもよい。また、学習機能を備えている場合には、学習用データとして撮像手段により生成される画像データを用い、教師信号はユーザの指示に基づいて与えることができる。撮像手段は、動画像あるいは静止画像の画像データを生成するカメラ機能を備える。また、出力手段における方式は特に限定されず、例えば、ディスプレイ等に可視表示するものであってもよいし、スピーカを通じて音声表示するものであってもよい。出力手段はこうした表示手段自体を備えていてもよいし、外部装置としての表示手段に出力する出力端子等を備えたものであってもよい。なお、このパターン抽出システムは、据え置き型であってもよいが、ユーザによって携帯可能であることが特に望ましい。一例としては、取得手段の一部としてのＣＣＤカメラ（例えば眼鏡等に取り付ける）と出力手段の一部としてのヘッドマウントディスプレイあるいはヘッドフォン等と組み合わせ、ＣＣＤカメラからの画像データに伴うパターン抽出を行って当該ユーザに結果を伝達するシステムを挙げることができる。このように携帯可能なシステムとすることにより、障害者や高齢者等に対する情報のバリアフリーを実現することができる。
【発明の効果】
【００２２】
本発明により、処理対象データに含まれるパターンのカテゴリ分けの信頼度を向上させることが可能となる。例えば、画像データ中の肌領域の抽出精度を向上させることができる。
【発明を実施するための最良の形態】
【００２３】
以下に本発明の代表的な実施の形態を説明する。本発明に係るアルゴリズムは、現在、肌領域の抽出を対象に有効性を確認した段階にある。したがって、ここでは、肌領域の抽出過程を例に挙げて説明を行う。しかし、本実施の形態は肌領域の抽出あるいは色パターンの抽出に限らず、形状や音声等のパターン認識一般に拡張可能であることは言うまでもない。
【００２４】
図１は、本実施の形態に係る肌領域抽出システム２００の概略的な機能構成を説明するブロック図である。パターン抽出システムとしてのこの肌領域抽出システム２００は、主たる構成として、ＣＣＤカメラ１、肌領域抽出装置２１０、及び、出力装置１１を備えている。ＣＣＤカメラ１は、静止画像を撮影可能なデジタルカメラである。ユーザ指示または肌領域抽出装置２１０の指示に基づいてシーン画像の撮像を行う。また、出力装置１１は、ディスプレイ等の表示部を備えており、肌領域抽出装置２１０から送られる抽出結果を表示する。
【００２５】
肌領域抽出装置２１０は、パターン抽出装置としての機能を備えており、ＣＣＤカメラ１から送られてくる画像データを処理対象データとして肌領域の抽出を行い、結果を出力装置１１に出力する。肌領域抽出装置２１０は、ＰＣ（パーソナルコンピュータ）や携帯型小型コンピュータなどの演算・記憶機能を備えたハードウエアと、その動作を規定するソフトウエア（プログラム）によって構成される。
【００２６】
ＣＣＤカメラ１から入力されるシーン画像の画像データは、色空間変換部２によってＲＧＢ表色系からＬ*ｕ*ｖ*／Ｌ*ａ*ｂ*表色系に変換される。このうち色差成分ａ*ｂ*及びｕ*ｖ*の各画素での値がカウンタープロパゲーションネットワーク（Counter Propagation Network：CPN）３に入力されれる。ＣＰＮは入力層、コホーネン層、及び、グロスバーグ層とからなるニューラルネットワークであり、入力層−コホーネン層、及び、コホーネン層−グロスバーグ層とはそれぞれ結合荷重により結びつけられている。入力値がＣＰＮ３の入力層に与られ、教師信号がグロスバーグ層に与えられることで、ＣＰＮは学習を行ってシーン固有の肌色モデルを形成する。すなわち、コホーネン層のユニットがカテゴリに区分け（ラベル付け）されてカテゴリマップが形成され、入力値がこのカテゴリに対応づけられるようになる。教師信号は、マウスクリック等のユーザ入力手段を通じてオペレータが入力する。ＣＰＮの学習後、形成されたカテゴリマップ及び入力−コホーネン層間の結合荷重は、肌色モデル記憶装置８に保存される。この肌色モデルの構築過程は、次に述べるバックプロパゲーションネットワーク（Back Propagation Network：BPN）５の学習のための準備手段とみなすことができる。
【００２７】
ＢＰＮ５は、入力層、中間層、及び、出力層が結合荷重によって結びつけられた階層型のニューラルネットワークである。このニューラルネットワークは、入力層から与えた入力値に対して出力層から適当な出力値が出力されるようにするため、学習過程において、出力値と結合荷重の誤差が逆伝搬する方式で修正される点に特徴がある。ＢＰＮ５の学習においては、肌色モデル記憶装置８に保存された肌色モデルが用いられる。すなわち、カテゴリマップの各ユニットについて、入力層−コホーネン層間の結合荷重を入力値とし、対応するカテゴリに対応する値を教師信号としてＢＰＮ５の結合荷重を修正する学習が行われる。得られた結合荷重は結合荷重記憶装置９に保存される。こうして、まず、画像データのパターン抽出を行いカテゴリに分類し得るＢＰＮ５が、シーン画像に基づく学習により構築される。
【００２８】
学習が終了したＢＰＮ５に対しては、パターン抽出を行う処理対象データとして、色空間変換部２から色差成分ａ*ｂ*及びｕ*ｖ*が入力され、これによりシーン画像の画像データに対する肌領域抽出結果６が得られる。そして、肌領域抽出結果６を画像データに対しラベリングし、肌色領域の分布する面積に基づいて、人物の肌領域の候補となる小領域の座標位置が算出される。カメラ制御部４は、この座標位置にＣＣＤカメラ１を向け、小領域に対応したズーム画像の撮像を指示する。こうして再取得された画像（ズーム画像）データは、色空間変換部２を経由して画素毎にＢＰＮ５に入力される。そして、対応する出力値を分類の閾値と比較することでズーム画像の各画素がカテゴリに分類される。このため、同じカテゴリに分類される領域であっても、確実にそのカテゴリに分類されるものと、閾値近辺でそのカテゴリに分類されるものとが存在する。そこで、出力値と閾値との差に基づいて分類の確からしさを計算し、分類の確信度として確信度記憶装置１０に保存する。
【００２９】
次に、確信度の高い画素についての画像データを学習用データとしてＣＰＮ３の学習を行い、その結果を用いてＢＰＮ５の学習を行う。すなわち、まずＣＰＮ３に確信度の高い画素のデータ及び対応するカテゴリを入力することで、ズーム画像に適合した肌色モデルを構築する。続いて、この肌色モデルに基づいてＢＰＮ５の学習を行い、ズーム画像に適合したＢＰＮ５を構築する。そして、このズーム画像の画像データをＢＰＮ５に入力することで、ズーム画像に対する肌領域抽出結果７を得る。
【００３０】
ズーム画像に適合させる学習及び対応する肌領域抽出結果７の取得は、肌領域抽出結果６によって得られる人物の肌領域の候補となる小領域の全てについて行うことができる。肌領域抽出結果６及び７は、出力装置１１を通じてユーザに伝えられる。
【００３１】
図２は、以上の構成に基づいて画像データに含まれる人物の顔の判別を行う工程を説明するフローチャートである。まず、ＣＣＤカメラ１によってシーン画像の画像データが取得される（Ｓ１）。ついで、ＣＰＮ３の学習によってシーン固有の肌色モデルが構築される（Ｓ２）。この肌色モデルを用いてＢＰＮ５の学習を行い、学習後のＢＰＮ５にシーン画像の画像データを入力することで、画像データ中の肌領域の抽出した肌領域抽出結果６を取得する（Ｓ３）。
【００３２】
肌領域抽出結果６に対しては、面積の大きな領域から順に個々の肌領域を表す候補領域としてその座標位置が計算される（Ｓ４）。カメラ制御部４は、その座標位置に対しＣＣＤカメラ１を向けさせズームを行わせる（Ｓ５）。そして、撮像されたズーム画像データに対し、必要に応じて、前処理として円形度などの形状検査あるいは髪領域との組み合わせなどに基づいて顔か否かの判定を行う（Ｓ６）。顔でないと判断された場合には、ステップＳ４で次の候補領域を算出する。
【００３３】
一方、顔であると判断された場合には、撮像したズーム画像の画像データを取得する（Ｓ７）。そして、ＣＰＮ３の学習によりこのズーム画像に適合した個人の肌色モデルを構築する（Ｓ８）。ついで、ＢＰＮ５の学習を行って、そのズーム画像データを入力することで、個人の肌領域の抽出を行う（Ｓ９）。最後に次の候補領域の有無が確かめられ（Ｓ１０）、ない場合には処理を終了し結果の表示等を行う。また、次の候補領域がある場合には、ステップＳ４に戻りその座標位置の算出を行う。
【００３４】
次に図３乃至図５を用いて、シーン固有の肌色モデル及び個人の肌色モデルを構築しパターン抽出を行う過程を詳細に説明する。
【００３５】
図３は、シーン固有の肌色モデル形成するネットワークを示す図である。ここでは、ＣＣＤカメラ１によって撮像されたシーン画像１０１に基づいて処理が行われる。このシーン画像１０１には、人物Ａ２２０、犬２２２、人物Ｂ２２４の各顔が含まれている。シーン画像１０１の画像データはＲＧＢの３色で表現されたカラー画像データである。そして、人物Ａ２２０及び人物Ｂ２２４の顔はいわゆる肌色であり、犬２２２の顔はクリーム色である。また、人物Ａ２２０の髪は黒色であり、人物Ｂ２２４の髪は茶色である。さらにこのシーン画像１０１中には、人物Ａ２２０の腕が含まれている他、畳や壁等の背景シーンも含まれている。
【００３６】
シーン画像１０１の画像データは、色空間変換部１０５においてＲＧＢ表色系からＬ*ｕ*ｖ*／Ｌ*ａ*ｂ*表色系に変換され、そのｕ*，ｖ*，ａ*，ｂ*の各成分がＣＰＮ１０６に入力される。これは、ＲＧＢ表色系は光の分光特性から定量化された色であり、人間が心理的に知覚する色としてはＬ*ｕ*ｖ*／Ｌ*ａ*ｂ*表色系が適していることに基づく。もちろん、ＲＧＢ表色系等の他の表色系でも本実施の形態は実現可能であり、また、モノクロデータに対してもその輝度情報に基づいて同様の処理を行うことができる。
【００３７】
ＣＰＮ１０６は、入力層２３０、コホーネン層２３２、グロスバーグ層２３４、入力層−コホーネン層間の結合荷重２３６、コホーネン層−グロスバーグ層間の結合荷重２３８を含んでいる。コホーネン層は、ｕ*，ｖ*，ａ*，ｂ*の入力に対応して４ユニットからなる。コホーネン層２３２のユニット数は特に限定されず、シーン画像１０１の解像度や学習の難易度等によって適当な数が異なるが、例えば、３０×３０ユニットや５０×５０ユニット程度とすることができる。グロスバーグ層２３４は、分類したいカテゴリの数と同じにすることができる。入力された画像データは入力層２３０に入力される一方、その入力画像が肌領域、髪領域、背景の三つのカテゴリのいずれに含まれるかという教師信号がオペレータによって与えられ、グロスバーグ層２３４に入力される。この学習のための画像データの入力及び対応する教師信号の入力は、画像データ中の全ての画素について行われる必要はない。ここでは、肌領域、髪領域、背景の各カテゴリのついて、５画素×５画素の計２５画素からなる領域を５カ所選択している。すなわち、合計３７５点の学習用データに基づいて学習が行われる。学習においては、結合荷重２３６、２３８を修正する操作が繰り返される。この例においては、予備的実験結果に基づいて１００００００回の反復を行っている。この反復の後、教師信号をグロスバーグ層２３４から再入力することで、コホーネン層２３２の全ユニットに対してラベル付けがなされる。すなわち、コホーネン層２３２のユニットは、いずれもが、肌領域、髪領域、背景のいづれかのカテゴリに分類される。
【００３８】
次に、ＣＰＮ１０６の学習結果をもとに、ＢＰＮ１０７の学習を行う。ＢＰＮ１０７は、入力層２４０、中間層２６２、出力層２４４、入力層−中間層間の結合荷重２４６、中間層−出力層間の結合荷重２４８を含んでいる。入力層２４０はｕ*，ｖ*，ａ*，ｂ*の各成分の入力に対応して４ユニットからなる。中間層の数は特に限定されず、分類の難易度等に応じて適宜定められる。また、出力層は３つのカテゴリに対応して３ユニット設けられている。ＢＰＮ１０７に対する学習は、ＣＰＮ１０６のコホーネン層２３２の各ユニットに基づいて行われる。すなわち、まず、あるユニットに対する入力層−コホーネン層間の結合荷重２３６をＢＰＮ１０７の入力層２４０に入力することでＢＰＮ１０７の出力層２４４の出力値を算出し、次にそのユニットが分類されているカテゴリを表す信号を教師信号として結合荷重２４６，２４８を修正する学習を行う。学習はコホーネン層２３２の各ユニットについて行われる。
【００３９】
続いて、シーン画像１０１に対応するｕ*，ｖ*，ａ*，ｂ*の各画像データが、画素毎にＢＰＮ１０７の入力層に入力される。この結果、シーン画像１０１は、肌領域、髪領域、背景のいづれかのカテゴリに分類される。シーン画像に対する肌領域抽出結果１０３は、この分類結果のうち肌領域以外をマスクした画像である。
【００４０】
シーン画像に対する肌領域抽出結果１０３に対しては、肌領域の面積に基づいて、三つの候補領域が算出される。具体的には、人物Ａ２２０の顔付近、人物Ｂ２２４の顔付近、及び、人物Ａ２２０の腕付近の三カ所が選ばれる。各候補領域に対しては、顔であるか否かが円形度などの形状検査あるいは髪領域との組み合わせなどに基づいて判断され、顔である場合にはズーム画像が撮影される。ズーム画像１０２は、候補領域の一つである人物Ａの顔付近を高解像度で撮影した画像である。ただし、ここでは比較の都合上、シーン画像１０１と同じ原画像データに基づき、かつ、シーン画像１０１よりも解像度がよい画像データを用いている。
【００４１】
このズーム画像１０２を表す画像データは、色空間変換部１０５においてＲＧＢ表色系からＬ*ｕ*ｖ*／Ｌ*ａ*ｂ*表色系に変換され、ＢＰＮ１０７の入力層２４０に入力される。そして、出力層２４４に出力される出力値に基づいて、カテゴリ分けがなされる。ズーム画像に対する肌領域抽出結果１０４は、カテゴリ分けされた領域のうち肌領域以外をマスクした画像である。人物Ａ２２０の顔及び首の部分の肌が、よい精度で肌領域であると判定されている。なお、頬の付近におけるマスクされた領域は、似た色の背景領域であると解釈されたことを表している。
【００４２】
以上の説明においては、シーン画像１０１を用いて学習を行い、その学習用データに含まれる領域のズーム画像１０２に対して、学習結果に基づいてカテゴリ分けを行った。しかしながら、もちろん、シーン画像１０１とは異なる画像に対するカテゴリ分けを、シーン画像１０１を用いた学習結果に基づいて行うことも可能である。つまり、シーン画像１０１を用いた学習を予め行っておき、その結果に基づいて未知の画像に現れる人物の肌領域を求めることができる。このように構成した場合には、オペレータによる教師をその場で与える必要がなく、すぐさまカテゴリ分けした結果を取得できるメリットがある。
【００４３】
次に、図４と図５を用いて、個人に適合した肌色モデルを形成する過程を説明する。
【００４４】
図４は、学習用データを選び出す手順を説明する図である。ここでは、図３において説明したシーン画像に基づく学習によって、ＢＰＮ１０７の学習が行われた状況を想定している。そして、このＢＰＮ１０７の入力層２４０に対しては、図３において説明したものと同様に、ズーム画像１０２の画像データのｕ*，ｖ*，ａ*，ｂ*成分が入力される。そして、出力層２４４の各ユニットの出力値に基づいて、各ユニットに対応するカテゴリに最も確実に分類されるデータが各１０００点選ばれている。確からしさの高い肌領域１０８、確からしさの高い髪領域１０９、確からしさの高い背景領域１１０は、この結果を示したものである。例えば、確からしさの高い肌領域１０８においては、口の周りを中心に実際の顔の範囲が確からしさの高い画素として選ばれており、それ以外の領域はほとんど含まれていない。このように、確からしさの高い画素は、このズーム画像１０２に基づく学習を行うための学習用データとして十分に相応しいものである。
【００４５】
図５は、個人の肌色モデル形成するネットワークを示している。ここでは、まず、確からしさの高い各領域１０８，１０９，１１０に示された各１０００点を教師信号とし、対応するズーム画像１０２の画像データの画素値を入力信号としてＣＰＮ１０６の学習を行っている。これによりコホーネン層２３２に形成されるカテゴリマップは、ズーム画像１０２に適合した個人の肌色モデルを表すことになる。ＢＰＮ１０７の学習は、この個人の肌色モデルに基づいて行われる。すなわち、学習の結果得られた結合荷重２３６をＢＰＮ１０７に入力し、コホーネン層２３２に形成されたカテゴリマップに基づいて教師信号を与えることで、ＢＰＮ１０７の学習を実施する。こうして、ズーム画像１０２に適合したＢＰＮ１０７が構築される。肌領域再抽出結果１１１は、このＢＰＮ１０７に対し、ズーム画像１０２の画像データを入力した結果肌領域にカテゴリ分けされた部分を示している。シーン画像に基づく学習の結果得られた肌領域抽出結果１０４と比べ、頬の部分や前髪の部分の検出精度が向上していることがわかる。
【００４６】
図６は、図３乃至図５に示した画像等を比較のために高分解能表示したものである。シーン画像１０１は、低分解能の全体図、ズーム画像１０２は人物Ａ２２０の高分解能図、ズーム画像１１２は人物Ｂ２２４の高分解能図である。また、肌領域抽出結果１０３はシーン画像１０１に対しシーン画像を用いた学習結果に基づいて肌領域を抽出した結果を示している。そして、肌領域再抽出結果１１１はズーム画像１０２を用いた個別的な学習結果に基づいてズーム画像１０２の肌領域を抽出した結果を、肌領域再抽出結果１１３はズーム画像１１２を用いた個別的な学習結果に基づいてズーム画像１１２の肌領域を抽出した結果を表している。肌領域抽出結果１０３において目立っている人物Ａ２２０の鼻の周囲や首部分の欠損領域は、肌領域再抽出結果１１１においては著しく改善されている。同様に、肌領域抽出結果１０３において目立っている人物Ｂ２２４の鼻の周囲や首部分の欠損領域は、肌領域再抽出結果１１３において著しく改善されている。ただし、肌領域抽出結果１０３において肌領域であると誤判定している人物Ｂ２２４の髪の毛については、肌領域再抽出結果１１３においても改善されていない。これは、人物Ｂ２２４の茶色の髪が、照明条件などにも起因して人物Ｂの肌と極めて近い色を示したために、識別ができなかったことを示している。
【００４７】
以上に示したように、シーン画像を用いた学習が行われたＢＰＮ１０７に対して特定の画像データを入力し、分類の確からしさの高い領域を学習用データとして再学習することで、この特定の画像データの分類を的確に行いうるＢＰＮ１０７を構築することができる。このように、個人の肌領域を抽出する場合には、その個人に適合したＢＰＮ１０７を一旦構築したのちにカテゴリ分けを行うことでロバストな肌領域の抽出が可能となる。また、再学習により構築されたＢＰＮ１０７を用いて、その学習に用いられたものと異なる画像データのカテゴリ分けを行うことも有効である。すなわち、学習に用いられた特定の画像に含まれる人物の肌領域を他の画像データに基づいて分類する場合や、学習に用いられた特定の画像と類似した撮影条件（照明条件や背景条件など）下において撮影された画像に含まれる他の人物の肌領域の抽出を行う場合等に、このＢＰＮ１０７を用いることも有効である。例えば、一定時間間隔である人物の肌領域を抽出するような場合には、毎回この人物についての学習を行う必要はなく、過去の学習結果を利用することで計算時間を短縮することが可能となる。
【００４８】
ここで示した本実施の形態の技術は、１画素毎の処理に基づいて精度よく肌領域を抽出することを目指したものである。しかしながら、この技術を用いる際には、１画素ごとに処理する代わりに、周辺の複数画素との平均化（平滑化、ローパスフィルタ）処理と組み合わせることも有効である。例えば、図６の肌領域再抽出結果１１１，１１３に現れている面積の小さな欠損領域は、この結果に対してローパスフィルタをかけることで取り除きうる。また、例えば、分類の確からしさが高い画素を抽出する際には、予め処理対象となる画像データに対し平均化を行っておくことで、代表性の高い結果を得られる可能性がある。
【図面の簡単な説明】
【００４９】
【図１】本実施の形態のシステム構成を概略的に示した機能ブロック図である。
【図２】処理の流れを示すフローチャートである。
【図３】シーン固有の肌色モデル形成するネットワークを示す図である。
【図４】個人に適合した学習を行うための学習用データを取得する手順を示す図である。
【図５】個人の肌色モデル形成するネットワークを示す図である。
【図６】肌領域の抽出結果を示す図である。
【符号の説明】
【００５０】
１  ＣＣＤカメラ、２  色空間変換部、３，１０６  ＣＰＮ、４  カメラ制御部、５，１０７  ＢＰＮ、６，７  肌領域抽出結果、８  肌色モデル記憶装置、９  結合荷重記憶装置、１０  確信度記憶装置、１１  出力装置、１０１  シーン画像、１０２，１１２  ズーム画像、１０３，１０４  肌領域抽出結果、１０５  色空間変換部、１０８  確からしさの高い肌領域、１０９  確からしさの高い髪領域、１１０  確からしさの高い背景領域、１１１，１１３  肌領域再抽出結果、２００  肌領域抽出システム、２１０  肌領域抽出装置。
【図１】
2005222304.tif 000003
【図２】
2005222304.tif 000004
【図３】
2005222304.tif 000005
【図４】
2005222304.tif 000006
【図５】
2005222304.tif 000007
【図６】
2005222304.tif 000008