【手続補正書】
【提出日】平成19年6月4日(2007.6.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を含む画像を入力する入力手段と、
前記入力手段が入力した画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記画像中の被写体の領域を特定する被写体領域特定手段と、
前記被写体領域特定手段により検出された前記被写体の領域中の夫々の前記局所特徴の検出結果と、予め基準として設定した被写体画像に対する夫々の前記局所特徴の検出結果と、を用いて前記被写体のカテゴリを判別する判別手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記被写体領域特定手段は階層型ニューラルネットワークを含み、前記判別手段は当該階層型ニューラルネットワークの中間層出力を前記局所特徴の検出結果として用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被写体は顔であり、当該被写体のカテゴリは顔の表情であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記被写体領域特定手段は、前記入力手段が入力した画像において第１の局所特徴群を検出し、更に、当該第１の局所特徴群の何れかを組み合わせることで得られる第２の局所特徴群を前記画像から求める処理を繰り返し行うことで、第ｎの局所特徴群（ｎ≧２）までを求め、
前記判別手段は、前記被写体領域特定手段が特定した顔の領域中で、前記第１の局所特徴群から第ｎの局所特徴までの何れかの局所特徴群の夫々の検出結果と、当該夫々の局所特徴の予め基準として求めた検出結果とを用いて、前記顔の表情を判別することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記判別手段は、前記顔の領域中の夫々の前記局所特徴の相対位置と、前記顔の領域中の夫々の前記局所特徴について予め基準として求めた相対位置と、のずれに応じた分布が、予め求められている夫々の表情に応じた分布の何れと最も類似度が高いかを計算し、最も類似度の高い分布が示す表情と判定することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記入力手段は、前記被写体領域特定手段が顔の領域を特定する処理を完了した時点で次の画像を入力する処理を連続して行うことで、連続して画像を入力する処理を行い、
前記判別手段は、前記入力手段が画像を入力した時点で、その前段で前記入力手段が入力した画像を用いて前記被写体領域特定手段が特定した顔の領域中の夫々の前記局所特徴の相対位置と、前記顔の領域中の夫々の前記局所特徴について予め基準として求めた相対位置と、のずれに基づいて前記顔の表情を判別する処理を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記被写体は顔であり、前記判別手段は当該被写体のカテゴリとして誰の顔であるかを判別することを特徴とする請求項１に記載の画像処理装置。
【請求項８】
顔を含むフレーム画像を連続して入力する入力手段と、
前記入力手段が入力したフレーム画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記フレーム画像中の顔の領域を特定する顔領域特定手段と、
前記入力手段が入力した第１のフレームの画像において前記顔領域特定手段が特定した顔の領域と位置的に対応する、前記第１のフレームよりも後のフレームである第２のフレームの画像における領域において、前記顔領域特定手段が検出した夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、に基づいて前記顔の表情を判別する判別手段と
を備えることを特徴とする画像処理装置。
【請求項９】
顔を含む画像を入力する入力手段と、
前記入力手段が入力した画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記画像中の顔の領域を特定する顔領域特定手段と、
前記顔領域特定手段により検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力手段が入力した画像中の顔が誰の顔であるかを判別する第１の判別手段と
前記顔領域特定手段により特定された前記顔の領域中の夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、を用いて前記顔の表情を判別する第２の判別手段と
を備えることを特徴とする画像処理装置。
【請求項１０】
更に、注目顔の領域に対する前記第１の判別手段の判別結果と、当該注目顔に対する前記第２の判別手段の判別結果とを、前記注目顔を特定する情報と共に、管理情報として管理する管理手段と、
前記管理情報を参照し、前記第１，２の判別手段が予め設定された個人が予め設定された表情をしていると判別したと判断される場合には、前記注目顔を含む画像を記憶媒体に記憶させる記憶制御手段と
を備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記第２の判断手段は、前記第１の判断手段が注目顔に対して判断した結果に応じて、当該注目顔に対する表情判別の為に用いるパラメータを変更することを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
被写体を含む画像を入力する入力工程と、
前記入力工程で入力した画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記画像中の被写体の領域を特定する被写体領域特定工程と、
前記被写体領域特定工程で検出された前記被写体の領域中の夫々の前記局所特徴の検出結果と、予め基準として設定した被写体画像に対する夫々の前記局所特徴の検出結果と、を用いて前記被写体のカテゴリを判別する判別工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
顔を含むフレーム画像を連続して入力する入力工程と、
前記入力工程で入力したフレーム画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記フレーム画像中の顔の領域を特定する顔領域特定工程と、
前記入力工程で入力した第１のフレームの画像において前記顔領域特定工程で特定した顔の領域と位置的に対応する、前記第１のフレームよりも後のフレームである第２のフレームの画像における領域において、前記顔領域特定工程で検出した夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、に基づいて前記顔の表情を判別する判別工程と
を備えることを特徴とする画像処理方法。
【請求項１４】
顔を含む画像を入力する入力工程と、
前記入力工程で入力した画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記画像中の顔の領域を特定する顔領域特定工程と、
前記顔領域特定工程で検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力工程で入力した画像中の顔が誰の顔であるかを判別する第１の判別工程と
前記顔領域特定工程で特定された前記顔の領域中の夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、を用いて前記顔の表情を判別する第２の判別工程と
を備えることを特徴とする画像処理方法。
【請求項１５】
コンピュータに請求項１２乃至１４の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを格納したことを特徴とする、コンピュータ読み取り可能な記憶媒体。
【請求項１７】
請求項３乃至６、８乃至１１の何れか１項に記載の画像処理装置を備え、判別された表情が予め設定された表情である場合に、前記入力手段に入力された画像を撮像する撮像手段を備えることを特徴とする撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
即ち、顔を含むフレーム画像を連続して入力する入力手段と、
前記入力手段が入力したフレーム画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記フレーム画像中の顔の領域を特定する顔領域特定手段と、
前記入力手段が入力した第１のフレームの画像において前記顔領域特定手段が特定した顔の領域と位置的に対応する、前記第１のフレームよりも後のフレームである第２のフレームの画像における領域において、前記顔領域特定手段が検出した夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、に基づいて前記顔の表情を判別する判別手段と
を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
即ち、顔を含む画像を入力する入力手段と、
前記入力手段が入力した画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記画像中の顔の領域を特定する顔領域特定手段と、
前記顔領域特定手段により検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力手段が入力した画像中の顔が誰の顔であるかを判別する第１の判別手段と
前記顔領域特定手段により特定された前記顔の領域中の夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、を用いて前記顔の表情を判別する第２の判別手段と
を備えることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
即ち、顔を含むフレーム画像を連続して入力する入力工程と、
前記入力工程で入力したフレーム画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記フレーム画像中の顔の領域を特定する顔領域特定工程と、
前記入力工程で入力した第１のフレームの画像において前記顔領域特定工程で特定した顔の領域と位置的に対応する、前記第１のフレームよりも後のフレームである第２のフレームの画像における領域において、前記顔領域特定工程で検出した夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、に基づいて前記顔の表情を判別する判別工程と
を備えることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
即ち、顔を含む画像を入力する入力工程と、
前記入力工程で入力した画像から複数の局所特徴を検出し、当該検出した複数の局所特徴を用いて前記画像中の顔の領域を特定する顔領域特定工程と、
前記顔領域特定工程で検出された前記顔の領域中の夫々の前記局所特徴の検出結果と、それぞれの顔の画像から予め得た夫々の前記局所特徴の検出結果と、を用いて前記入力工程で入力した画像中の顔が誰の顔であるかを判別する第１の判別工程と
前記顔領域特定工程で特定された前記顔の領域中の夫々の前記局所特徴の検出結果と、予め基準として設定した顔画像に対する夫々の前記局所特徴の検出結果と、を用いて前記顔の表情を判別する第２の判別工程と
を備えることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
即ち、上記画像処理装置を備え、判別された表情が予め設定された表情である場合に、前記入力手段に入力された画像を撮像する撮像手段を備えることを特徴とする。