(57)【要約】【課題】人物画像に対して画像解析処理（個人認証技術）を行うことで、誰が写っているかを判別し、タグ入力などの手間なく、自動的に人物画像をカテゴライズ（分類）する仕組みを提供することを目的とする。【解決手段】人物画像分類装置は、機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段と、人物画像ごとに複数の人物のいずれかが含まれる複数の前記人物画像を入力する入力手段と、入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出手段と、検出した前記顔領域から、特徴量を抽出する特徴量抽出手段と、抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別手段と、前記人物ごとに、前記識別手段が識別した前記人物画像を分類する分類手段と、を備える構成とした。【選択図】図１
2015069580.tif 000002
【特許請求の範囲】
【請求項１】
機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段と、
人物の含まれる人物画像を入力する入力手段と、
入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出手段と、
検出した前記顔領域から、特徴量を抽出する特徴量抽出手段と、
抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別手段と、
を備えることを特徴とする人物画像分類装置。
【請求項２】
前記人物ごとの識別器のパラメータは、当該人物の含まれる前記人物画像において検出した前記顔領域から抽出した前記特徴量を正解データとし、当該人物とは異なる人物の含まれる前記人物画像において検出した前記顔領域から抽出した前記特徴量を非正解データとし、前記機械学習により作成したパラメータである
ことを特徴とする請求項１に記載の人物画像分類装置。
【請求項３】
前記識別手段によって正しく識別されなかった前記人物画像について、前記パラメータ記憶手段に記憶されているどの人物に対応するかを指定する指定手段と、
前記識別手段によって正しく識別されなかった前記人物画像において検出した前記顔領域から抽出した前記特徴量を用いて、指定された前記人物の前記識別器のパラメータを追加学習する追加学習手段と、
更新した前記人物の前記識別器のパラメータを、前記パラメータ記憶手段に記憶させるパラメータ更新手段と、をさらに備える
ことを特徴とする請求項１又は請求項２に記載の人物画像分類装置。
【請求項４】
前記入力手段は、人物画像ごとに複数の人物のいずれかが含まれる複数の前記人物画像を入力し、
前記人物ごとに、前記識別手段が識別した前記人物画像を分類する分類手段、をさらに備える
ことを特徴とする請求項１乃至請求項３のいずれかに記載の人物画像分類装置。
【請求項５】
前記顔領域検出手段は、Haar-like特徴量を用いる
ことを特徴とする請求項１乃至請求項４のいずれかに記載の人物画像分類装置。
【請求項６】
前記特徴量抽出手段は、前記顔領域からＬＢＰ特徴量を抽出する
ことを特徴とする請求項１乃至請求項５のいずれかに記載の人物画像分類装置。
【請求項７】
前記機械学習には、特徴量を含む特徴空間を、正解データと不正解データとをマージンを最大にして分離する超平面を構成し、この超平面の係数を識別器のパラメータとするＳＶＭを用いる
ことを特徴とする請求項１乃至請求項６のいずれかに記載の人物画像分類装置。
【請求項８】
機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段を備えるコンピュータが実行する人物画像分類方法であって、
人物の含まれる人物画像を入力する入力ステップと、
入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出ステップと、
検出した前記顔領域から、特徴量を抽出する特徴量抽出ステップと、
抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別ステップＳと、
を含むことを特徴とする人物画像分類方法。
【請求項９】
コンピュータを、
機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段、
人物の含まれる人物画像を入力する入力手段、
入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出手段、
検出した前記顔領域から、特徴量を抽出する特徴量抽出手段、
抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の人物画像を人物ごとに自動的にカテゴライズ（分類）する技術に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラを搭載したスマートフォンが普及し、一般ユーザーがデジタル写真（写真、画像ともいう。）に触れる機会が増えている。また、ブログやＳＮＳ（Social Networking Service）など、自分の撮影した写真を投稿・共有するようなインターネット上のサービスや、フォトブックのような、オリジナルアルバムを作成できるサービスなど、写真の利用用途も増加しており、その写真が、いつどこで撮影されたもので、誰が写っているのかなど、撮影された写真を正しく管理する重要性が増してきている。
【０００３】
基本的に、デジタル写真がいつ撮影されたのかは、画像に付属しているタイムスタンプで判別することができる。また、デジタル写真がどこで撮影されたのかについて、最近のカメラでは、ＧＰＳ（Global Positioning System）機能によって撮影された位置情報を画像に付加することができるものがあるので、この位置情報を利用して判別することができる。
【０００４】
しかし、デジタル写真に誰が写っているのかは、実際に画像の中身を見なければならない。同一人物同士の手動カテゴライズ作業においても、画像の点数が少なければ、作業負荷的にはたいしたものでは無いが、画像点数が膨大になれば、その作業もかなり負荷の高いものになる。
【０００５】
これに関して、Google（登録商標）が提供している写真管理ソフト「Picasa」（登録商標）では、顔が写っている画像を検出し、その画像に手動で、「名前タグ」を付加することができ、それを用いてカテゴライズすることができる。
【０００６】
また、特許文献１には、撮影したデジタル写真から顔画像を抽出し、抽出した顔画像からフェイスプリント（固有特徴）を決定し、ネットワークを介して、フェイスプリントに対応する識別データを取得し、取得した識別データをデジタル写真に関連付ける移動体デバイスの発明が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２０１２−５１８８２７
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、写真管理ソフト「Picasa」（登録商標）では、検出後の顔画像に対して、情報を入力するのは結局人であり、画像点数が膨大になれば、作業の負荷が高くなることには変わりはない。
【０００９】
また、特許文献１の発明は、顔画像から個人を識別するための特徴を算出するが、これは顔画像に紐付られた関連情報を取得するためのものであり、デジタル写真を自動で分類することには利用されていない。
【００１０】
本発明は、かかる課題を解決するためになされたものであり、人物画像に対して画像解析処理（個人認証技術）を行うことで、誰が写っているかを判別し、タグ入力などの手間なく、自動的に人物画像をカテゴライズ（分類）する仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前述した課題を解決するために第１の発明は、機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段と、人物の含まれる人物画像を入力する入力手段と、入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出手段と、検出した前記顔領域から、特徴量を抽出する特徴量抽出手段と、抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別手段と、を備えることを特徴とする人物画像分類装置である。
第１の発明により、人物画像に対して画像解析処理を行うことで、誰が写っているかを判別し、タグ入力などの手間なく、自動的に人物画像をカテゴライズ（分類）することができる。
【００１２】
前記人物ごとの識別器のパラメータは、当該人物の含まれる前記人物画像において検出した前記顔領域から抽出した前記特徴量を正解データとし、当該人物とは異なる人物の含まれる前記人物画像において検出した前記顔領域から抽出した前記特徴量を非正解データとし、前記機械学習により作成したパラメータであることが望ましい。
これにより、人物を正確に識別できる識別器をもちいて、人物画像を識別することができる。
【００１３】
前記識別手段によって正しく識別されなかった前記人物画像について、前記パラメータ記憶手段に記憶されているどの人物に対応するかを指定する指定手段と、前記識別手段によって正しく識別されなかった前記人物画像において検出した前記顔領域から抽出した前記特徴量を用いて、指定された前記人物の前記識別器のパラメータを追加学習する追加学習手段と、更新した前記人物の前記識別器のパラメータを、前記パラメータ記憶手段に記憶させるパラメータ更新手段と、をさらに備えることが望ましい。
これにより、正しく識別されなかった人物画像を用いて、識別器のパラメータを更新することができるので、識別精度を向上させることができる。
【００１４】
前記入力手段は、人物画像ごとに複数の人物のいずれかが含まれる複数の前記人物画像を入力し、前記人物ごとに、前記識別手段が識別した前記人物画像を分類する分類手段、をさらに備えることが望ましい。
これにより、複数の人物画像を自動でカテゴライズ（分類）することができる。
【００１５】
前記顔領域検出手段は、Haar-like特徴量を用いることが望ましい。
これにより、高速に人物画像の顔領域を検出することができる。
【００１６】
前記特徴量抽出手段は、前記顔領域からＬＢＰ特徴量を抽出することが望ましい。
これにより、少ない計算コストで、画像の照明変化等の影響を受けにくい特徴量を抽出することができる。
【００１７】
前記機械学習には、特徴量を含む特徴空間を、正解データと不正解データとをマージンを最大にして分離する超平面を構成し、この超平面の係数を識別器のパラメータとするＳＶＭを用いることが望ましい。
これにより、高い汎化性能をもつ機械学習の手法を用いることができる。
【００１８】
第２の発明は、機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段を備えるコンピュータが実行する人物画像分類方法であって、人物の含まれる人物画像を入力する入力ステップと、入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出ステップと、検出した前記顔領域から、特徴量を抽出する特徴量抽出ステップと、抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別ステップＳと、を含むことを特徴とする人物画像分類方法である。
第２の発明により、人物画像に対して画像解析処理を行うことで、誰が写っているかを判別し、タグ入力などの手間なく、自動的に人物画像をカテゴライズ（分類）することができる。
【００１９】
第３の発明は、コンピュータを、機械学習の識別器のパラメータを人物ごとに記憶するパラメータ記憶手段、人物の含まれる人物画像を入力する入力手段、入力した前記人物画像において、前記人物の顔領域を検出する顔領域検出手段、検出した前記顔領域から、特徴量を抽出する特徴量抽出手段、抽出した前記特徴量を前記人物ごとの前記識別器に入力して、前記人物画像が前記人物のものであるか識別する識別手段、として機能させるためのプログラムである。
第３の発明に係るプログラムを汎用コンピュータにインストールすることによって、第１の発明に係る人物画像分類装置を得て、第２の発明に係る人物画像分類方法を実行することができる。
【発明の効果】
【００２０】
本発明によれば、人物画像に対して画像解析処理（個人認証技術）を行うことで、誰が写っているかを判別し、タグ入力などの手間なく、自動的に人物画像をカテゴライズ（分類）する仕組みを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】人物画像分類装置の概要を示す図（自動分類処理の画面表示例）
【図２】人物画像分類装置のハードウェア構成を示すブロック図
【図３】人物画像分類装置の記憶部に記憶されている情報を示す図
【図４】人物画像分類装置の人物データ作成処理の流れを示すフローチャート
【図５】人物画像分類装置の人物画像の取得の際の画面表示例
【図６】Haar-like特徴量を用いた顔領域検出用の識別器を作成する例を説明する図
【図７】人物画像分類装置の顔領域検出処理の流れを示すフローチャート
【図８】人物画像分類装置の特徴量抽出処理の流れを示すフローチャート
【図９】注目画像からＬＢＰ値を算出する例を示す図
【図１０】ブロックからＬＢＰ特徴量を生成する例を示す図
【図１１】人物画像の顔領域とそのＬＢＰ値とそのＬＢＰヒストグラムの例１
【図１２】人物画像の顔領域とそのＬＢＰ値とそのＬＢＰヒストグラムの例２
【図１３】人物画像の顔領域とそのＬＢＰ値とそのＬＢＰヒストグラムの例３
【図１４】ＳＶＭの動作の仕組みを説明する模式図
【図１５】人物画像分類装置の自動分類処理の流れを示すフローチャート
【図１６】人物画像分類装置の識別処理の流れを示すフローチャート
【図１７】人物画像分類装置の人物データのアップデート処理の流れを示すフローチャート
【発明を実施するための形態】
【００２２】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
［人物画像分類装置の概要］
図１は、人物画像分類装置１の概要（自動分類処理）を画面表示例で示す図である。
人物画像分類装置１は、後述するように、制御部、記憶部、入力部、表示部等を備える汎用コンピュータ又は携帯端末等で構成される。
【００２３】
まず、人物画像分類装置１のユーザは、図１（ａ）に示すように、人物画像分類装置１のフォルダに、人物のデジタル画像（以下、人物画像ともいう。）を、人物ごとに複数用意する（ここでは、「佐藤」、「鈴木」、「田中」の３人の人物画像をフォルダに用意したとする）。
【００２４】
次に、人物画像分類装置１のユーザは、図１（ｂ）に示すように、人物画像を用意したフォルダを「処理対象フォルダ」に指定して、出力先フォルダを「出力先フォルダ」に指定して、また、設定ファイルを「設定ファイル」に指定して、「実行」ボタンを押す。
【００２５】
すると、図１（ｂ）右に示す「カテゴライズ処理を実行中」画面が表示される。
その後、処理が終了すると、「出力先フォルダパス」に指定した出力先フォルダに、図３（ｃ）に示すように、人物（ここでは、「佐藤」、「鈴木」、「田中」）ごとに、その人物の人物画像が分類される（コピー又は移動される）。
【００２６】
人物画像分類装置１は、このように、複数の人物の人物画像を自動で分類（カテゴライズ）するものである。
【００２７】
［人物画像分類装置のハードウェア構成］
図２は、人物画像分類装置１のハードウェア構成を示すブロック図である。なお、図２のハードウェア構成は一例であり、用途、目的に応じて様々な構成をとることが可能である。
【００２８】
人物画像分類装置１を実現するコンピュータは、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７、カメラ１８などが、バス１９を介して接続される。
【００２９】
制御部１１は、ＣＰＵ（Central
Processing Unit）等で構成される。ＣＰＵは、ＲＯＭ（後述）等に格納されるプログラムをＲＡＭ（後述）上のワークメモリ領域に呼び出して実行し、バス１９を介して接続された各装置を駆動制御し、人物画像分類装置１が行う後述する処理を実現する。
【００３０】
記憶部１２は、フラッシュメモリ（Flash Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成される。フラッシュメモリは、書き換え可能な、電源の供給を断ってもデータが消えない不揮発性メモリであり、ＲＯＭは、不揮発性メモリである。フラッシュメモリやＲＯＭには、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、アプリケーション、データ等を保持している。ＲＡＭは、揮発性メモリであり、ＲＯＭ等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００３１】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ROM、−Ｒ、−ＲＷ等）、DVDドライブ（−ROM、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
【００３２】
通信制御部１４は、通信制御装置、通信ポート等を有し、人物画像分類装置１とネットワーク間の通信を媒介する通信インターフェイスである。ネットワークは、有線、無線を問わない。また、通信制御部１４は、ＬＴＥ規格や、３Ｇ規格、Ｗｉｆｉ規格等に沿った無線通信の機能を備えてもよい。
【００３３】
入力部１５は、データの入力を行い、例えば、テンキー、小型キーボード等の入力装置を有する。入力部１５を介して、人物画像分類装置１に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。なお、入力部１５及び表示部１６は、タッチパネルディスプレイのように、一体となっていても良い。
【００３４】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器（プリンタ、イメージスキャナ、複合機等）とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
【００３５】
カメラ１８は、静止画像を撮影するデジタルカメラであり、撮影した静止画像を電気的信号に変換できるものであればよく、ＣＭＯＳやＣＣＤ等の撮影素子を備えたものである。
バス１９は、各ユニット間の制御信号、データ信号等の授受を媒介する経路である。
【００３６】
［人物画像分類装置の記憶部の内容］
続いて、図３を用いて、人物画像分類装置１が記憶部１２に記憶している情報について説明する。人物画像分類装置１の記憶部１２は、少なくとも図３に示す情報２１、２２、２３をもつ。なお、これらの情報は、適宜ＲＡＭに記憶しておいてもよい。
【００３７】
図３（ａ）に示す情報２１は、後述する人物データ作成処理に用いる人物ごとの情報であり、「人物ＩＤ」と「正解画像」と「人物データ」とからなる。
「人物ＩＤ」は、その人物を一意に識別する識別子である。
「正解画像」は、その人物の顔が映った画像であり、人物画像１、人物画像２、・・・、のように複数あることが望ましい。
「人物データ」は、後述する機械学習の識別器のパラメータであり、機械学習にサポートベクタマシンを用いる場合には、超平面の係数である。
【００３８】
図３（ｂ）に示す情報２２は、後述する自動分類処理に用いる情報であり、「分類対象の人物画像」からなる。
「分類対象の人物画像」は、自動分類処理で分類対象となる人物画像であり、図１（ａ）に示すように、複数（１人以上）の人物の人物画像が、人物画像１、人物画像２、人物画像３、・・・、のように混在してしている。
【００３９】
図３（ｃ）に示す情報２３は、後述する自動分類処理の結果となる情報であり、「人物ＩＤ」と「分類後の人物画像」とからなる。
「人物ＩＤ」は、その人物を一意に識別する識別子であり、情報２１の「人物ＩＤ」と紐付けられている。
「分類後の人物画像」は、「人物ＩＤ」に対応する人物の人物画像であり、「分類対象の人物画像」が分類された結果の人物画像である。
【００４０】
図３（ｄ）に示す情報２４は、後述する自動分類処理の結果で、人物データのアップデート処理に用いる情報であり、「分類されなかった人物画像」からなる。
「分類されなかった人物画像」は、人物データのアップデート処理の対象となる人物画像であり、複数（１人以上）の人物の人物画像が、人物画像１、人物画像２、人物画像３、・・・、のように混在してしている。
【００４１】
この他、人物画像分類装置１の記憶部１２は、例えば、後述する機械学習による学習処理に用いられる「負画像」（ある人物の人物画像を識別器に学習させる際に、その人物ではないとするいわゆる訓練用の人物画像）を記憶しても良い。
【００４２】
［人物画像分類装置の人物データ作成処理］
続いて、人物画像分類装置１の人物データ作成処理について、図４〜図１４を用いて説明する。図４は、人物画像分類装置１の人物データ作成処理の流れを示すフローチャートである。なお、「人物データ」とは、機械学習における人物ごとの識別器のパラメータのことである。
【００４３】
まず、人物画像分類装置１の制御部１１は、人物データを作成するための人物画像を取得する（ステップＳ１１）。具体的には、人物画像分類装置１の制御部１１は、人物データを作成したい人物の人物ＩＤに対応する正解画像である複数の人物画像を、記憶部１２から取得する（図３（ａ）参照）。
【００４４】
また、人物画像分類装置１の制御部１１は、人物データを作成したい人物とは異なる人物の複数の人物画像（負画像）を記憶部１２から取得する。この負画像は、他の人物ＩＤをもつ人物の正解画像であっても、人物画像分類装置１がその他の人物の人物画像であってもよい。
【００４５】
なお、人物画像分類装置１の制御部１１は、人物画像を、メディア入出力部１３や通信制御部１４を介して、外部から取得してもよく、また、カメラ１８で実際に人物を撮影して取得してもよい。
【００４６】
図５は、人物画像分類装置１の人物画像の取得の際の画面表示例である。画面の右上の「（１）人物データ選択・修正」において、「グループ１」が選択されており、それに対応して、画面左側に「グループ１」に含まれる人物である「佐藤」、「鈴木」、「田中」が表示されている。そして、「鈴木」が選択されており、「鈴木」のフォルダに含まれる人物画像が表示されている。この表示されている人物画像が、「鈴木」の人物ＩＤに対応する正解画像である。
ここで、ユーザによって、右下の「（３）学習」の「学習」ボタンが押されると、表示されている人物画像が、人物画像分類装置１によって取得され（読み込まれ）、後述する処理が行われる。なお、このとき、人物画像分類装置１は、選択されていない「佐藤」及び「田中」のフォルダに含まれる人物画像を負画像として取得してもよい。
【００４７】
図４の説明に戻る。
次に、人物画像分類装置１の制御部１１は、１つの人物画像を選択する（ステップＳ１２）。
次に、人物画像分類装置１の制御部１１は、選択した人物画像に対して、顔領域検出処理を行う（ステップＳ１３）。
【００４８】
人物画像分類装置1の制御部１１は、顔領域検出処理には、顔画像の学習データのHaar-like特徴量をブースティング手法により学習させて作成した顔領域検出のための識別器（以下、強識別器という。）を用いる。
Haar-like特徴量を用いた顔領域検出の手法は、公知の技術であり、例えば、非特許文献１等に記載されているため、ここでは概略を説明する。
＜非特許文献１＞ R.Lienhart,
J.Maydt, An Extended Set of Haar-like Features for Rapid Object Detection, ICIP2002
なお、顔領域検出処理には、顔領域の検出ができれば他の手法を用いてもよい。
【００４９】
図６は、顔画像の学習データのHaar-like特徴量をブースティング手法により学習させて識別器を作成する例を説明する図である。
まず、図６（ａ）のように、顔画像を含む正解データと顔画像を含まない非正解データとからなる学習データを準備し、人物画像分類装置１の制御部１１は、学習データの画像サイズと同じサイズの探索窓を設定する。
【００５０】
そして、図６（ｂ）に示すHaar-like特徴量の算出用のパターンを用いて、人物画像分類装置１の制御部１１は、各学習データの探索窓おいてHaar-like特徴量を算出する。ここで、Haar-like特徴量とは、図６（ｂ）に示した矩形中の黒色領域の画素値の和から、白色領域の画素値の和を引いた値である。
【００５１】
そして、図６（ｃ）に示すように、人物画像分類装置１の制御部１１は、算出したHaar-like特徴量を用いて、ブースティング手法により学習させ弱識別器を生成する。そして、図６（ｄ）に示すように、人物画像分類装置１の制御部１１は、生成した弱識別器のうち、識別率の高いものを連結して強識別器を作成する。
なお、人物画像分類装置１の制御部１１は、この強識別器を、予め作成しておいて用いるのが好ましい。
【００５２】
図４の説明に戻る。
そして、人物画像分類装置１の制御部１１は、人物画像の１つについて、強識別器を適用して、顔領域検出処理を行う（ステップＳ１３）。
【００５３】
図７は、顔領域検出処理の流れを示すフローチャートである。
まず、人物画像分類装置１の制御部１１は、探索窓のサイズを設定する（ステップＳ２１）。
次に、人物画像分類装置１の制御部１１は、人物画像の１つの注目画素を選択する（ステップＳ２２）。
次に、人物画像分類装置１の制御部１１は、選択した注目画素を角とする探索窓の領域に対して、強識別器を構成する弱識別器に対応するHaar-like特徴量を算出する（ステップＳ２３）。
【００５４】
次に、人物画像分類装置１の制御部１１は、算出したHaar-like特徴量を用いて、全ての弱識別器において顔領域と判定されたか、判断する（ステップＳ２４）。
全ての弱識別器において顔領域と判定された場合には（ステップＳ２４でＹｅｓ）、人物画像分類装置１の制御部１１は、注目画素を角とする探索窓の領域を顔領域とする（ステップＳ２５）。
一方、ステップＳ２４でＮｏと判定された場合には、人物画像分類装置１の制御部１１は、制御をステップＳ２６へ移動する。
【００５５】
次に、人物画像分類装置１の制御部１１は、人物画像の全ての注目画素を処理したか、判定する（ステップＳ２６）。
まだ未処理の注目画素がある場合には（ステップＳ２６でＮｏ）、人物画像分類装置１の制御部１１は、制御をステップＳ２２へ移す。
一方、全ての注目画素を処理済みの場合には（ステップＳ２６でＹｅｓ）、人物画像分類装置１の制御部１１は、顔領域検出処理を終了する。
【００５６】
なお、人物画像分類装置１の制御部１１は、ステップＳ２１で設定した探索窓のサイズを変更して、複数回、顔領域検出処理を行ってもよい。
また、人物画像分類装置１の制御部１１は、人物画像に対して、複数の顔領域を検出することもある。
【００５７】
図４の説明に戻る。
次に、人物画像分類装置１の制御部１１は、検出した顔領域に対して、特徴量抽出処理を行う（ステップＳ１４）。
特徴量（特徴ベクトル）には、ＬＢＰ（Local Binary Pattern）特徴量を用いる（非特許文献２）。ＬＢＰ特徴量は、計算コストが少なく、画像の照明変化などの変動に不変であるといわれている。
＜非特許文献２＞ T.Ojala,
M.Pietikainenand, D.Harwood, A comparative study of texture measures with
classification based on feature distribution, Pattern Recognition, Vol.29,
No.1, pp.51-59 (1996)
【００５８】
なお、ほかの特徴量、例えば、画像ベクトル化、ＡＡＭ（Active Appearance Models）、ＳＩＦＴ（Scale-Invariant
Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）等を用いてもよい。
【００５９】
図８は、特徴量抽出処理の流れを示すフローチャートである。
まず、人物画像分類装置１の制御部１１は、検出された顔領域を複数のブロックに分割する（ステップＳ３１）。
図１０（ａ）は、顔領域を５ｘ５のブロックに分割した例を示す図である。
【００６０】
次に、人物画像分類装置１の制御部１１は、分割したブロックのうち、１つのブロックを選択する（ステップＳ３２）。これには、例えば左上のブロックから順に選択していけばよい。
次に、人物画像分類装置１の制御部１１は、選択したブロックから、１つの注目画素を選択する（ステップ３３）。これには、例えば左上の画素から順に選択していけばよい。
【００６１】
次に、人物画像分類装置１の制御部１１は、注目画素とその近傍画素とからＬＢＰパターンを求める（ステップＳ３４）。具体的には、図９（ａ）のように、注目画素（この場合、中央の画素値が２０の画素）とその近傍画素の画素値がなっているとする。人物画像分類装置１の制御部１１は、注目画素の画素値Ｘと、近傍画素の画素値Ｙとを比較し、Ｙ＞Ｘならば、その近傍画素の値を１とし、Ｙ＜Ｘならば、その近傍画素の値を０とする。
【００６２】
この例の場合、左上の近傍画素の画素値は２７で、注目画素の画素値は２０なので、２７＞２０より、左上の近傍画素の値は１となる。この様子を図９（ｂ）に示す。
【００６３】
そして、人物画像分類装置１の制御部１１は、注目画素の左上の画素の値を下位ビットとして時計回りに並べた２値パターンをＬＢＰパターンとして求める。この例の場合、人物画像分類装置１の制御部１１は、ＬＢＰパターンとして１０１０１００１を求める。
【００６４】
次に、人物画像分類装置１の制御部１１は、注目画素のＬＢＰ値を算出する（ステップＳ３５）。具体的には、人物画像分類装置１の制御部１１は、図９（ｃ）に示す注目画素の近傍画素に対して予め定められた重みにより、ＬＢＰパターンを重み付けして、その和をＬＢＰ値として算出する。この例の場合、人物画像分類装置１の制御部１１は、ＬＢＰ値として１２８＋３２＋８＋１＝１６９を算出する。
【００６５】
次に、人物画像分類装置１の制御部１１は、選択したブロックの全ての画素についてＬＢＰ値を算出したか、判定する（ステップＳ３６）。算出していない場合には（ステップＳ３６でＮｏ）、人物画像分類装置１の制御部１１は、制御をステップＳ３３に移す。
【００６６】
一方、選択したブロックの全ての画素についてＬＢＰ値を算出している場合には（ステップＳ３６でＹｅｓ）、人物画像分類装置１の制御部１１は、当該ブロックのＬＢＰヒストグラムを生成する（ステップＳ３７）。具体的には、人物画像分類装置１の制御部１１は、当該ブロックの画素について左上から右下まで順に、ＬＢＰ値を並べてヒストグラムとする。この様子を図１０（ｂ）に示した。例えば、ブロックに画素が１６×１６＝２５６個あるとすると、当該ブロックのＬＢＰヒストグラムは、ＬＢＰ値を２５６個並べたヒストグラムである（図１０（ｂ）では簡略化して図示してある）。
【００６７】
次に、人物画像分類装置１の制御部１１は、全てのブロックのＬＢＰヒストグラムを生成したか、判定する（ステップＳ３８）。まだＬＢＰヒストグラムを生成していないブロックがある場合には（ステップＳ３８でＮｏ）、人物画像分類装置１の制御部１１は、制御をステップＳ３２に移す。
【００６８】
一方、全てのブロックのＬＢＰヒストグラムを生成している場合には（ステップＳ３８でＹｅｓ）、人物画像分類装置１の制御部１１は、各ブロックのＬＢＰヒストグラムを連結して、これをＬＢＰ特徴量とする（ステップＳ３９）。この様子を図１０（ｃ）に示す。例えば、顔領域を５×５のブロックに分割して、各ブロックに１６×１６＝２５６個の画素が含まれているとすると、ＬＰＢ特徴量は、２５６×５×５＝６４００次元ベクトルとなる。
【００６９】
なお、図１１〜図１３に、（ａ）顔画像と、（ｂ）その顔画像をＬＢＰ値にして、画像にマップしたもの（階調表示をしたもの）と、（ｃ）そのＬＢＰヒストグラムを示す。このように顔画像が異なると、ＬＢＰヒストグラムも異なってくることが分かる。
【００７０】
図４の説明に戻る。
次に、人物画像分類装置１の制御部１１は、また特徴量を抽出していない人物画像があるか、判定する（ステップＳ１５）。特徴量を抽出していない人物画像がある場合には（ステップＳ１５でＹｅｓ）、人物画像分類装置１の制御部１１は、制御をステップＳ１２に移す。
一方、全ての人物画像について特徴量を抽出している場合には（ステップＳ１５でＮｏ）、人物画像分類装置１の制御部１１は、制御をステップＳ１６に移す。
【００７１】
次に、人物画像分類装置１の制御部１１は、人物画像から抽出した特徴量を用いて、機械学習による学習処理を行う（ステップＳ１６）。
機械学習には、ＳＶＭ（Support
Vector Machine）を用いる。なお、機械学習には、ほかの手法、例えば、単純ベイズ分類器、ニューラルネットワーク、ブースティング等を用いてもよい。
【００７２】
ＳＶＭは、公知技術であるのでその詳細は省略するが、教師あり学習（正解データと非正解データが訓練用データとして与えられる学習）を用いる識別手法の１つで、識別性能が優れた学習モデルとして知られている。ＳＶＭは、正解データ群および非正解データ群からの距離が最大となる分離平面（超平面）を求める「マージン最大化」により、高い汎化性能をもつ。また、特徴ベクトルを高次元に射影するカーネルトリックにより、非線形の識別境界も学習可能である。
【００７３】
ＳＶＭは、特徴ベクトル（特徴量）を含む特徴空間を、正解データと非正解データとをマージンを最大にして分離する超平面を構成し、この超平面の係数を、正解データによって学習させたい対象を分類するための識別器のパラメータとする（図１４）。
また、ＳＶＭは、対象から抽出した特徴ベクトル（特徴量）をこの識別器に入力し、その結果によって（特徴ベクトルを超平面に代入したときの正負によって）、対象が正解データを含む集合（クラス）に属するか判定することができる。
【００７４】
人物画像分類装置１の制御部１１は、具体的には、前述した人物データを作成したい人物の人物ＩＤに対応する人物画像から抽出したＬＢＰ特徴量を正解データとし、それ以外の人物の人物画像（負画像）から抽出したＬＢＰ特徴量を非正解データとして、ＳＶＭにより、マージンを最大にして分離する超平面を構成し、この超平面の係数を識別器のパラメータとする。
【００７５】
次に、人物画像分類装置１の制御部１１は、機械学習による学習処理によって学習された識別器のパラメータ（超平面の係数）を、人物データとして出力する（ステップＳ１７）。すなわち、人物画像分類装置１の制御部１１は、人物ＩＤに紐付けて人物データを記憶部１２に記憶させる（図３（ａ）参照）。
以上で、人物画像分類装置１の人物データ作成処理は終了である。
【００７６】
[人物画像分類装置の自動分類処理]
続いて、人物画像分類装置１の自動分類処理について、図１５、図１等を用いて説明する。図１５は、人物画像分類装置１の自動分類処理の流れを示すフローチャートである。
【００７７】
まず、人物画像分類装置１の制御部１１は、分類（カテゴライズ）するための人物画像を取得する（ステップＳ４１）。ここで取得する人物画像は、分類したい複数の人物画像であって、図４に示した人物データ作成処理において、人物データを作成した複数の人物の人物画像が混在したものである。
【００７８】
人物画像分類装置１の制御部１１は、人物画像を、記憶部１２から取得してもよいし（図３（ｂ））、メディア入出力部１３や通信制御部１４を介して、外部から取得してもよく、また、カメラ１８で実際に人物を撮影して取得してもよい。
【００７９】
図１は、人物画像分類装置１の自動分類処理の際の画面表示例である。図１（ｂ）に示すように、ユーザは、「処理対象フォルダ」に人物画像が含まれるフォルダを指定して、「出力先フォルダ」に出力先のフォルダを指定する。また、「設定ファイル」には、図４の人物データ作成処理において作成された人物データが含まれるファイルを指定する。このとき、図１（ａ）のように、「処理対象フォルダ」の内容が表示される。
ここで、ユーザによって、図１（ｂ）の「実行」ボタンが押されると、図１（ｂ）右の画面が表示され、後述する処理が行われる。
【００８０】
図１５の説明に戻る。
次に、人物画像分類装置１の制御部１１は、１つの人物画像を選択する（ステップＳ４２）。
次に、人物画像分類装置１の制御部１１は、選択した人物画像に対して、顔領域検出処理を行う（ステップＳ４３）。この処理は、図４のステップＳ１３と同一であるので、説明を省略する。
【００８１】
次に、人物画像分類装置１の制御部１１は、検出した顔領域に対して、特徴量抽出処理を行う（ステップＳ４４）。の処理は、図４のステップＳ１４と同一であるので、説明を省略する。
【００８２】
次に、人物画像分類装置１の制御部１１は、人物画像から抽出した特徴量を用いて、機械学習による識別処理を行う（ステップＳ４５）。
【００８３】
図１６は、識別処理の流れを示すフローチャートである。
まず、人物画像分類装置１の制御部１１は、１つの人物ＩＤを選択する（ステップＳ５１）。
次に、人物画像分類装置１の制御部１１は、選択した人物ＩＤの人物データを記憶部２１より取得し（図３（ａ））、ＳＶＭの識別器を構成する（ステップＳ５２）。
【００８４】
次に、人物画像分類装置１の制御部１１は、人物画像から抽出した特徴量が、識別器によって分類される集合（人物ＩＤに紐付く正解画像の特徴量を含む集合）に属すか、判定する（ステップＳ５３）。具体的には、人物画像分類装置１の制御部１１は、ＬＢＰ特徴量を超平面に代入したとき正となるか、判定する。
【００８５】
属す場合には（ステップＳ５３でＹｅｓ）、人物画像分類装置１の制御部１１は、人物ＩＤと人物画像とを紐付ける（ステップＳ５４）。
一方、属さない場合には（ステップＳ５３でＮｏ）、人物画像分類装置１の制御部１１は、ステップＳ５５へ制御を移す。
【００８６】
次に、人物画像分類装置１の制御部１１は、全ての人物ＩＤについて処理したか、判定する（ステップＳ５５）。
未判定の人物ＩＤがある場合には（ステップＳ５５でＮｏ）、人物画像分類装置１の制御部１１は、制御をステップＳ５１へ移し、全ての人物ＩＤを処理した場合には（ステップＳ５５でＹｅｓ）、人物画像分類装置１の制御部１１は、識別処理を終了する。
【００８７】
図１５の説明に戻る。
次に、人物画像分類装置１の制御部１１は、カテゴライズ（分類）処理を行う（ステップＳ４６）。
具体的には、人物画像分類装置１の制御部１１は、人物画像が１つの人物ＩＤと紐付いている場合には、人物画像は人物ＩＤに係る人物のものとして、人物画像を、記憶部２１のその人物ＩＤに対応する「分類後の人物画像」に記憶させる（図３（ｃ）参照）。
一方、人物画像が複数の人物ＩＤと紐付いていたり、又は、いずれの人物ＩＤとも紐付いていない場合には、その人物画像は分類（識別）に失敗したものとして、記憶部２１の「分類されなかった人物画像」に記憶させる（図３（ｄ）参照）。
【００８８】
次に、人物画像分類装置１の制御部１１は、まだ分類していない人物画像があるか、判定する（ステップＳ４７）。
ある場合には（ステップＳ４７でＹｅｓ）、人物画像分類装置１の制御部１１は、制御をステップＳ４２へ移し、ない場合には（ステップＳ４７でＮｏ）、人物画像分類装置１の制御部１１は、自動分類処理を終了する。
【００８９】
人物画像分類装置１は、自動分類処理が完了すると、例えば、図１（ｃ）のような画面を表示して、人物ＩＤごとに、分類された人物画像を表示する。
【００９０】
なお、人物画像分類装置１の自動分類処理は、前述のものに限られるものではなく、その趣旨を逸脱しない範囲で変更可能である。
例えば、ステップＳ４６において、人物画像分類装置１は、人物画像が複数の人物ＩＤと紐付いていた場合には、何らかの関数や閾値を用いて、人物画像を紐付いている人物ＩＤのいずれかに分類してもよい。
また、例えば、ステップＳ４６において、人物画像分類装置１は、人物ＩＤと人物画像とを紐付けて記憶させたが、人物ＩＤに係るタグを人物画像に付与してもよい。
また、例えば、人物画像分類装置１は、ステップＳ４１で、処理対象の人物画像を予めすべて取得したが、１枚ずつ取得してもよい。
【００９１】
［人物データのアップデート処理］
続いて、人物画像分類装置１の人物データのアップデート処理について、図１７を用いて説明する。図１７は、人物画像分類装置１の人物データのアップデート処理の流れを示すフローチャートである。
【００９２】
まず、人物画像分類装置１の制御部１１は、アップデートするための人物画像を取得する（ステップＳ６１）。ここで取得する人物画像は、自動分類処理で分類されなかった人物画像であり、記憶部２１の「分類されなかった人物画像」に記憶されているものである（図３（ｄ）参照）。
【００９３】
次に、人物画像分類装置１の制御部１１は、人物データをアップデートする人物を選択を、ユーザから受け付ける（ステップＳ６２）。すると、人物画像分類装置１の制御部１１は、その人物の人物ＩＤを取得する。
【００９４】
次に、人物画像分類装置１の制御部１１は、ステップＳ６１で取得した人物画像のうち、選択した人物に紐付けたい人物画像の選択を、ユーザから受け付ける（ステップＳ６３）。具体的には、人物画像分類装置１の制御部１１は、ステップＳ６１で取得した人物画像を表示部１６に表示して、ユーザからの選択を受付ける。
【００９５】
次に、人物画像分類装置１の制御部１１は、負画像（人物データをアップデートする人物とは異なる人物の人物画像）を記憶部１２から取得する（ステップＳ６４）。
【００９６】
ステップＳ６５〜ステップＳ６８における、取得した全ての人物画像に対して、顔領域を検出し、特徴量を抽出する処理は、図４のステップＳ１２〜ステップＳ１５と同一であるので、その説明を省略する。
【００９７】
次に、人物画像分類装置１の制御部１１は、機械学習による追加学習処理を行う（ステップＳ６９）。具体的には、人物画像分類装置１の制御部１１は、ステップＳ６３で選択された人物画像から抽出したＬＢＰ特徴量、及び、ステップＳ６２で選択された人物の人物ＩＤに対応する正解画像から抽出したＬＢＰ特徴量を、正解データとし、負画像から抽出したＬＢＰ特徴量を非正解データとして、ＳＶＭにより、マージンを最大にして分離する超平面を構成し、この超平面の係数を識別器のパラメータとする。
【００９８】
なお、人物画像分類装置１の制御部１１は、ステップＳ６２で選択された人物の人物ＩＤに対応する正解画像は、ステップＳ６２又はステップＳ６４で取得して、ステップＳ６５〜ステップＳ６８で、ＬＢＰ特徴量を抽出してもよいし、図４の人物データ作成処理において抽出したＬＢＰ特徴量を記憶しておいて、再利用してもよい。
【００９９】
次に、人物画像分類装置１の制御部１１は、機械学習による学習処理によって学習された識別器のパラメータ（超平面の係数）を、アップデートした人物データとして出力する（ステップＳ７０）。すなわち、人物画像分類装置１の制御部１１は、人物ＩＤに紐付けて人物データを記憶部１２に記憶させる（図３（ａ）参照）。
以上で、人物画像分類装置１の人物データのアップデート処理は終了である。
【０１００】
［実施形態の効果］
本実施形態によれば、人物データ作成処理によって、人物画像から特徴量を抽出し、機械学習によって識別器を作成することができる。
また、本実施形態によれば、作成した識別器の用いて、自動分類処理によって、複数の人物の混在した人物画像を自動で分類（カテゴライズ）することができる。
また、本実施形態によれば、自動分類処理によって分類されなかった人物画像を用いて、人物データのアップデート処理によって、再度識別器を作成するため、分類精度を向上させることができる。具体的には、例えば、人物画像における多様な撮影環境（カメラ、照明、角度等）の違いや、個人の服装、化粧、装着物の違い、また、経年変化について、影響を低減することができ、十分な精度で分類（カテゴライズ）することができる。
なお、本実施形態は、出版、印刷、モデル事務所、写真スタジオ、学校行事その他における画像管理作業の効率化に有効である。
【０１０１】
以上、添付図面を参照しながら、本発明に係る人物画像分類装置１の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１０２】
１・・・・・・・人物画像分類装置
１１・・・・・・制御部
１２・・・・・・記憶部
１６・・・・・・表示部
１８・・・・・・カメラ
２１・・・・・・記憶部の情報（人物ＩＤ、正解画像、人物データ）
２２・・・・・・記憶部の情報（分類対象の人物画像）
２３・・・・・・記憶部の情報（人物ＩＤ、分類後の人物画像）
２４・・・・・・記憶部の情報（分類されなかった人物画像）
【図１】
2015069580.tif 000003
【図２】
2015069580.tif 000004
【図３】
2015069580.tif 000005
【図４】
2015069580.tif 000006
【図５】
2015069580.tif 000007
【図６】
2015069580.tif 000008
【図７】
2015069580.tif 000009
【図８】
2015069580.tif 000010
【図９】
2015069580.tif 000011
【図１０】
2015069580.tif 000012
【図１１】
2015069580.tif 000013
【図１２】
2015069580.tif 000014
【図１３】
2015069580.tif 000015
【図１４】
2015069580.tif 000016
【図１５】
2015069580.tif 000017
【図１６】
2015069580.tif 000018
【図１７】
2015069580.tif 000019