(57)【要約】【課題】  被写形態から被写体の重要度を求め、被写体ごとに画像を分類する技術を提供する【解決手段】  被写体重要度設定部１１で、被写体の撮影対象としての重要度を判断するため、あらかじめ被写体の重要度の重みパラメータを設定し、被写体テーブル作成部１２で、ユーザからの少なくとも１枚以上の画像群を入力し、画像毎に被写体を抽出し、また、抽出した被写体を、各被写体の抽出元画像情報と重要度の指標となる被写形態情報とを関連付け、被写体データ群テーブルを作成する。重要被写体抽出部１３で、被写体データ群と前記設定された重要度の重みパラメータにより、各被写体の重要度を判断し、重要な被写体の抽出を行い、被写体種別分類部１４で、抽出された重要な被写体について、同種の被写体を同一のものとして分類し、種類別仮名称を設定し、被写体分類部１５で、重要な被写体の分類によって設定された被写体の種類ごとに、被写体データ群を分類する。【選択図】  図１
2005148900.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、
入力画像から抽出した各被写体の被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体をクラス別に分類し、重要ではないと判断した被写体については前記クラスのいずれかに属するまたは前記クラスのいずれにも属さないと分類する手段を有することを特徴とする画像分類装置。
【請求項２】
入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類装置であって、
入力画像から抽出した各人物パターンの被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを人物ごとに分類し、重要ではないと判断した人物パターンについては前記いずれかの人物に属するまたは前記いずれの人物にも属さないと分類する手段を有することを特徴とする画像分類装置。
【請求項３】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、
入力画像から抽出した各被写体をクラス別に分類し、各被写体から求めた被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体を含むクラスを重要クラスとし、重要と判断した被写体を含まない場合には非重要クラスとする手段を有することを特徴とする画像分類装置。
【請求項４】
入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類装置であって、
入力画像から抽出した各人物パターンを人物ごとに分類し、各人物パターンから求めた被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを含むクラスを重要人物とし、重要と判断した人物パターンを含まない場合には非重要人物とする手段を有することを特徴とする画像分類装置。
【請求項５】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、
入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成手段と、
前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出手段と、
前記抽出した重要な被写体を種類別にクラスタリングする被写体種別分類手段と、
前記被写体データ群を前記クラスタリングされた種類別に分類する被写体分類手段と、を有することを特徴とする画像分類装置。
【請求項６】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、
入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成手段と、
前記被写体データを種類別にクラスタリングする被写体種別分類手段と、
前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出手段と、を有することを特徴とする画像分類装置。
【請求項７】
前記被写体は画像中に顔が写っている人物であり、前記被写形態情報は人物の顔領域の大きさ、人物の顔領域が画像中に占める割合、人物の顔の向き、人物の顔領域の鮮明度、人物の顔の表情、人物の年齢、人物の性別、画像中の人物の数、画像中の人物の位置、人物の服装、人物の姿勢のうち少なくともいずれか一つであることを特徴とする請求項５または６に記載の画像分類装置。
【請求項８】
前記被写体種別分類手段は、
入力画像中に被写体として複数の顔が存在する場合には、前記複数の顔をそれぞれ別のクラスに分類することを特徴とする請求項５〜７いずれかに記載の画像分類装置。
【請求項９】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、
入力画像から抽出した各被写体の被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体をクラス別に分類し、重要ではないと判断した被写体については前記クラスのいずれかに属するまたは前記クラスのいずれにも属さないと分類するステップを有することを特徴とする画像分類方法。
【請求項１０】
入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類方法であって、
入力画像から抽出した各人物パターンの被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを人物ごとに分類し、重要ではないと判断した人物パターンについては前記いずれかの人物に属するまたは前記いずれの人物にも属さないと分類するステップを有することを特徴とする画像分類方法。
【請求項１１】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、
入力画像から抽出した各被写体をクラス別に分類し、各被写体から求めた被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体を含むクラスを重要クラスとし、重要と判断した被写体を含まない場合には非重要クラスとするステップを有することを特徴とする画像分類方法。
【請求項１２】
入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類方法であって、
入力画像から抽出した各人物パターンを人物ごとに分類し、各人物パターンから求めた被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを含むクラスを重要人物とし、重要と判断した人物パターンを含まない場合には非重要人物とするステップを有することを特徴とする画像分類方法。
【請求項１３】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、
入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成ステップと、
前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出ステップと、
前記抽出した重要な被写体を種類別にクラスタリングする被写体種別分類ステップと、
前記被写体データ群を前記クラスタリングされた種類別に分類する被写体分類ステップと、を有することを特徴とする画像分類方法。
【請求項１４】
入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、
入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成ステップと、
前記被写体データを種類別にクラスタリングする被写体種別分類ステップと、
前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出ステップと、を有することを特徴とする画像分類方法。
【請求項１５】
前記被写体は画像中に顔が写っている人物であり、前記被写形態情報は人物の顔領域の大きさ、人物の顔領域が画像中に占める割合、人物の顔の向き、人物の顔領域の鮮明度、人物の顔の表情、人物の年齢、人物の性別、画像中の人物の数、画像中の人物の位置、人物の服装、人物の姿勢のうち少なくともいずれか一つであることを特徴とする請求項１３または１４に記載の画像分類方法。
【請求項１６】
前記被写体種別分類ステップは、
入力画像中に被写体として複数の顔が存在する場合には、前記複数の顔をそれぞれ別のクラスに分類することを特徴とする請求項１３〜１５いずれかに記載の画像分類方法。
【請求項１７】
前記請求項１〜１６のいずれか１項に記載の画像分類装置または画像分類方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが撮影した画像を、画像中の被写体の重要度によって分類する画像の被写体分類技術に関する。
【背景技術】
【０００２】
カメラ付携帯電話やデジタルカメラの普及に伴って、個人の撮影画像枚数が急速に増大し、アルバム作成やメール配信、プリントアウト等がなされている。
【０００３】
しかしながら、ユーザがメール配信やプリントアウトのために被撮影人物ごとに画像を分類するには、対象となる画像数が増えるほど作業負担が増大してしまう。
【０００４】
現在のところ、画像を被写人物別に分類する方法としては、例えば、分類対象としたい人物の画像を送信して登録作業を行った後、その人物に関しての分類を行う方法（例えば、特許文献１参照。）が知られている。
【０００５】
また、映像に対して事前に番組表を用いたり、検索者が登録することで、登場人物シーンを分類する方法（例えば、特許文献２参照。）も知られている。
【０００６】
しかし、事前の登録作業を行わなければならず、後に別の人物での検索を行いたい場合には、再登録、再分類を行わなければならなかった。
【０００７】
これに対し、入力された人物の登録を行わずに人物毎に分類を行うためには、入力人物の顔の特徴を特徴空間に写像したものを１パターンとしてクラスタリングする方法が考えられる。
【０００８】
一般的に用いられているクラスタリング手法として、最近傍法等が知られている（例えば、非特許文献１参照。）。
【０００９】
例えば、Ｎ個の入力パターンをそれぞれＰ１〜ＰＮとするとき、最近傍法では、パターンＰ１〜ＰＮが順番に特徴空間中に写像されるとする。このときの処理手順を以下に説明する。
（１）パターンＰ１を代表パターンとするクラスタＣ１をつくり、ｉ＝２とする。（２）パターンＰ１と、既存の各クラス他の代表パターンとの距離を調べ、クラスタＣｊまでの距離Ｄｉｊが最小で合った場合、Ｄｉｊの値によって、
（ｉ）Ｄｉｊ≦Ｔのとき、ＰｉはクラスタＣｊに属する（Ｔは閾値）。
（ｉｉ）Ｄｉｊ＞Ｔのとき、Ｐｉを代表パターンとする新しいクラスタを作る。（３）ｉ＝Ｎなら処理を終了し、その他のときはｉを１増やして（２〉に戻る。
【００１０】
以上により、パターンを各クラスタに分類することができる。
【００１１】
しかし、この手法では、個々のパターンの重要度は処理結果に反映されていない。つまり、主要人物を選びたい場合には、ユーザが各クラスタの人物を確認するか、所属パターン数によって判断する必要がある。例えば、偶然撮影された通行人も１つのクラスタとなり、１度しか撮影されなかった重要な人物のクラスタとの重要度の区別がつかない。そのため、ユーザはクラスタごとに重要な人物であるかを確認しなければならない。また、被撮影頻度を重要度とした場合には、同じ通行人が数回撮影されると、この通行人の方が主要人物よりも重要人物とされてしまうため、被写体としての重要度を誤って、分類してしまう恐れがあった。
【特許文献１】特開２００３−２０９７９８号公報
【特許文献２】特開２００１−１６７１１０号公報
【非特許文献１】Ｃ言語による画像処理入門、安居院猛、長尾智晴共著、昭晃堂、ＩＳＢＮ４−７８５６−３１２４−４、２０００年１１月２０日初版１刷発行
【発明の開示】
【発明が解決しようとする課題】
【００１２】
このように、従来から、ユーザが分類基準をあらかじめ登録したり、画像中から対象物を抽出し、類似画像をクラスタリングすることで、対象物ごとに画像を分類する手法が知られている。
【００１３】
しかし、前者では分類基準が多いほどユーザの負担が大きい。また、後者では、人物の顔領域を個人ごとにクラスタリングした場合、各個人の被写体としての重要度、すなわちその人物を対象として撮影したか否かは不明であった。
【００１４】
本発明はかかる事情に鑑みなされたもので、その目的は、被写体の形態から被写体の重要度を求め、被写体ごとに画像を分類する装置、方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
そこで、前記課題を解決するために、請求項１に記載の画像分類装置は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、入力画像から抽出した各被写体の被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体をクラス別に分類し、重要ではないと判断した被写体については前記クラスのいずれかに属するまたは前記クラスのいずれにも属さないと分類する手段を有することを特徴とする。
【００１６】
請求項１では、クラスごとに画像を分類することができる。また、いずれかのクラスに属する被写体を持たない画像は、いずれのクラスにも属さない画像として分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、本装置は被写体の分類を行う被写体分類装置として使用することもできる。
【００１７】
また、請求項２に記載の画像分類装置は、入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類装置であって、入力画像から抽出した各人物パターンの被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを人物ごとに分類し、重要ではないと判断した人物パターンについては前記いずれかの人物に属するまたは前記いずれの人物にも属さないと分類する手段を有することを特徴とする。
【００１８】
請求項２では、人物ごとに画像を分類することができる。また、いずれかの人物に属する人物パターンを持たない画像は、いずれの人物にも属さない画像として分類することができる。また、画像中に複数の人物パターンが存在する場合には、最も重要度が高い人物に画像を分類すること、または、いずれの人物にも分類結果として該画像を表示することができる。また、本装置は人物の分類を行う人物分類装置として使用することもできる。
【００１９】
また、請求項３に記載の画像分類装置は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、入力画像から抽出した各被写体をクラス別に分類し、各被写体から求めた被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体を含むクラスを重要クラスとし、重要と判断した被写体を含まない場合には非重要クラスとする手段を有することを特徴とする。
【００２０】
請求項３では、クラスごとに画像を分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、本装置は被写体の分類を行う被写体分類装置として使用することもできる。
【００２１】
また、請求項４に記載の画像分類装置は、入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類装置であって、入力画像から抽出した各人物パターンを人物ごとに分類し、各人物パターンから求めた被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを含むクラスを重要人物とし、重要と判断した人物パターンを含まない場合には非重要人物とする手段を有することを特徴とする。
【００２２】
請求項４では、人物ごとに画像を分類することができる。また、画像中に複数の人物が存在する場合には、最も重要度が高い人物に画像を分類すること、または、いずれの人物にも分類結果として該画像を表示することができる。また、本装置は人物の分類を行う人物分類装置として使用することもできる。
【００２３】
また、請求項５に記載の画像分類装置は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成手段と、前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出手段と、前記抽出した重要な被写体を種類別にクラスタリングする被写体種別分類手段と、前記被写体データ群を前記クラスタリングされた種類別に分類する被写体分類手段と、を有することを特徴とする。
【００２４】
請求項５では、クラスごとに画像を分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、被写体分類手段においては重要な被写体とは判断されなかった被写体をクラスタリングされた種類別に分類することができる。また、本装置は被写体の分類を行う被写体分類装置として使用することもできる。
【００２５】
また、請求項６に記載の画像分類装置は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類装置であって、入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成手段と、前記被写体データを種類別にクラスタリングする被写体種別分類手段と、前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出手段と、を有することを特徴とする。
【００２６】
請求項６では、クラスごとに画像を分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、本装置は被写体の分類を行う被写体分類装置として使用することもできる。
【００２７】
また、請求項７に記載の画像分類装置は、請求項５または６において、前記被写体は画像中に顔が写っている人物であり、前記被写形態情報は人物の顔領域の大きさ、人物の顔領域が画像中に占める割合、人物の顔の向き、人物の顔領域の鮮明度、人物の顔の表情、人物の年齢、人物の性別、画像中の人物の数、画像中の人物の位置、人物の服装、人物の姿勢のうち少なくともいずれか一つであることを特徴とする。
【００２８】
請求項７では、画像中に顔が写っている人物ごとに画像を分類することができる。
【００２９】
また、請求項８に記載の画像分類装置は、請求項５〜７いずれかにおいて、前記被写体種別分類手段は、入力画像中に被写体として複数の顔が存在する場合には、前記複数の顔をそれぞれ別のクラスに分類することを特徴とする。
【００３０】
請求項８では、画像中に複数の顔が写っている場合に、分類結果として１つのクラスに同じ画像が２以上表示されることがない。
【００３１】
また、請求項９に記載の画像分類方法は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、入力画像から抽出した各被写体の被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体をクラス別に分類し、重要ではないと判断した被写体については前記クラスのいずれかに属するまたは前記クラスのいずれにも属さないと分類するステップを有することを特徴とする。
【００３２】
請求項９では、クラスごとに画像を分類することができる。また、いずれかのクラスに属する被写体を持たない画像は、いずれのクラスにも属さない画像として分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、本方法は被写体の分類を行う被写体分類方法として使用することもできる。
【００３３】
また、請求項１０に記載の画像分類方法は、入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類方法であって、入力画像から抽出した各人物パターンの被写形態情報を求め、この被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを人物ごとに分類し、重要ではないと判断した人物パターンについては前記いずれかの人物に属するまたは前記いずれの人物にも属さないと分類するステップを有することを特徴とする。
【００３４】
請求項１０では、人物ごとに画像を分類することができる。また、いずれかの人物に属する人物パターンを持たない画像は、いずれの人物にも属さない画像として分類することができる。また、画像中に複数の人物パターンが存在する場合には、最も重要度が高い人物に画像を分類すること、または、いずれの人物にも分類結果として該画像を表示することができる。また、本方法は人物の分類を行う人物分類方法として使用することもできる。
【００３５】
また、請求項１１に記載の画像分類方法は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、入力画像から抽出した各被写体をクラス別に分類し、各被写体から求めた被写形態情報と予め設定された重要度の重みパラメータとから各被写体の重要度を判断し、重要と判断した被写体を含むクラスを重要クラスとし、重要と判断した被写体を含まない場合には非重要クラスとするステップを有することを特徴とする。
【００３６】
請求項１１では、クラスごとに画像を分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、本方法は被写体の分類を行う被写体分類方法として使用することもできる。
【００３７】
また、請求項１２に記載の画像分類方法は、入力画像から人物パターンを抽出し人物ごとに画像の分類を行う画像分類方法であって、入力画像から抽出した各人物パターンを人物ごとに分類し、各人物パターンから求めた被写形態情報と予め設定された重要度の重みパラメータとから各人物パターンの重要度を判断し、重要と判断した人物パターンを含むクラスを重要人物とし、重要と判断した人物パターンを含まない場合には非重要人物とするステップを有することを特徴とする。
【００３８】
請求項１２では、人物ごとに画像を分類することができる。また、画像中に複数の人物パターンが存在する場合には、最も重要度が高い人物に画像を分類すること、または、いずれの人物にも分類結果として該画像を表示することができる。また、本方法は人物の分類を行う人物分類方法として使用することもできる。
【００３９】
また、請求項１３に記載の画像分類方法は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成ステップと、前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出ステップと、前記抽出した重要な被写体を種類別にクラスタリングする被写体種別分類ステップと、前記被写体データ群を前記クラスタリングされた種類別に分類する被写体分類ステップと、を有することを特徴とする。
【００４０】
請求項１３では、クラスごとに画像を分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、被写体分類ステップにおいては重要な被写体とは判断されなかった被写体をクラスタリングされた種類別に分類することができる。また、本方法は被写体の分類を行う被写体分類方法として使用することもできる。
【００４１】
また、請求項１４に記載の画像分類方法は、入力画像から被写体を抽出し被写体のクラスごとに画像の分類を行う画像分類方法であって、入力された画像から被写体を抽出し、抽出した各被写体の抽出元画像情報と被写形態情報とを関連付けて被写体データ群テーブルを作成する被写体テーブル作成ステップと、前記被写体データを種類別にクラスタリングする被写体種別分類ステップと、前記被写体データ群と予め設定された重要度の重みパラメータとにより各被写体の重要度を判断し重要な被写体の抽出を行う重要被写体抽出ステップと、を有することを特徴とする。
【００４２】
請求項１４では、クラスごとに画像を分類することができる。また、画像中に複数の被写体が存在する場合には、最も重要度が高い被写体のクラスに画像を分類すること、または、いずれの被写体のクラスにも分類結果として該画像を表示することができる。また、本方法は被写体の分類を行う被写体分類方法として使用することもできる。
【００４３】
また、請求項１５に記載の画像分類方法は、請求項１３または１４において、前記被写体は画像中に顔が写っている人物であり、前記被写形態情報は人物の顔領域の大きさ、人物の顔領域が画像中に占める割合、人物の顔の向き、人物の顔領域の鮮明度、人物の顔の表情、人物の年齢、人物の性別、画像中の人物の数、画像中の人物の位置、人物の服装、人物の姿勢のうち少なくともいずれか一つであることを特徴とする。
【００４４】
請求項１５では、画像中に顔が写っている人物ごとに画像を分類することができる。
【００４５】
また、請求項１６に記載の画像分類方法は、請求項１３〜１５いずれかにおいて、前記被写体種別分類ステップは、入力画像中に被写体として複数の顔が存在する場合には、前記複数の顔をそれぞれ別のクラスに分類することを特徴とする。
【００４６】
請求項１６では、画像中に複数の顔が写っている場合に、分類結果として１つのクラスに同じ画像が２以上表示されることがない。
【００４７】
また、請求項１７に記載のプログラムは、前記請求項１〜１６のいずれか１項に記載の画像分類装置または画像分類方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００４８】
請求項１７では、前記請求項１〜１６のいずれか１項に記載の画像分類装置または画像分類方法に記載の作用効果を奏するプログラムを実現できる。
【００４９】
なお、前記画像分類装置に、画像入力装置と分類結果表示装置とを接続して一のシステムとして構成すること、または、画像入力手段と分類結果表示手段とを接続して一の装置として構成することが可能である。
【００５０】
また、分類結果表示としては、ディスプレイに表示する方法、結果をプリントアウトする方法等がある。
【００５１】
また、重要度の重みパラメータは、装置に予め設定しておくことができるが、分類の要求ごとにユーザが設定することが可能である。
【発明の効果】
【００５２】
本発明によれば、被写形態情報により重要度を判断し、重要な被写体ごとに画像を分類することができる。また、顔以外の入力パターンであっても、画像中での被写体の大きさ、向き、鮮明度等の被写形態の情報を利用することにより、同様の処理が可能である。さらに、重要度の重み付けはユーザにより可変であるため、ユーザの目的に応じた画像分類を行うことができる。
【発明を実施するための最良の形態】
【００５３】
図１は、本発明の実施形態１を示す画像の画像分類装置の構成を示す図である。図１に示すように画像の画像分類装置は、被写体重要度設定部１１、被写体テーブル作成部１２、重要被写体抽出部１３、被写体種別分類部１４、被写体分類部１５から構成される。
【００５４】
被写体重要度設定部１１では、被写体の撮影対象としての重要度を判断するため、あらかじめ被写体の重要度の重みパラメータを設定しておく。
【００５５】
被写体テーブル作成部１２では、ユーザからの少なくとも１枚以上の画像群を入力し、画像毎に被写体を抽出する。また、抽出した被写体を、各被写体の抽出元画像情報と重要度の指標となる被写形態情報とを関連付け、被写体データ群テーブルを作成する。
【００５６】
重要被写体抽出部１３では、被写体データ群と前記設定された重要度の重みパラメータにより、各被写体の重要度を判断し、重要な被写体の抽出を行う。
【００５７】
被写体種別分類部１４では、抽出された重要な被写体について、同種の被写体を同一のものとして分類し、種類別仮名称を設定する（詳しくは、図７に記述）。
【００５８】
被写体分類部１５では、重要な被写体の分類によって設定された被写体の種類ごとに、被写体データ群を分類する（詳しくは、図７に記述）。
【００５９】
図２は、本発明の実施形態２を示す画像の画像分類装置の構成を示す図である。画像の画像分類装置は、被写体重要度設定部２１、被写体テーブル作成部２２、被写体種別分類部２３、重要被写体抽出部２４から構成される。
【００６０】
被写体重要度設定部２１では、被写体の撮影対象としての重要度を判断するため、あらかじめ被写体の重要度の重みパラメータを設定しておく。
【００６１】
被写体テーブル作成部２２では、ユーザからの少なくとも１枚以上の画像群を入力し、画像毎に被写体を抽出する。また、抽出した被写体を、各被写体の抽出元画像情報と重要度の指標となる被写形態情報とを関連付け、被写体データ群テーブルを作成する。
【００６２】
被写体種別分類部２３では、抽出された被写体データ群を、同種の被写体を同一のものとして分類し、種類別仮名称を設定する（詳しくは、図８に記述）。
【００６３】
重要被写体抽出部２４では、種類別に分類した後の被写体データ群から、前記設定された重要度の重みパラメータにより、各被写体の重要度を判断し、重要な被写体の抽出を行う（詳しくは、図８に記述）。
【００６４】
ここで、重要度の指標となる被写形態情報は、被写体がもつ画像中での大きさや向き、鮮明度等の特徴であるものとし、被写体の重要度の重みパラメータは、重要度の指標となる特徴を、それぞれどの程度重要視するかを決めるパラメータをさす。例えば、被写体の画像中での大きさを鮮明度よりも重視した場合には、前者の重みを大きくするため、大きさのパラメータを鮮明度のパラメータよりも大きくする。こうしたパラメータは、デフォルトの値を設定し、この既定値を利用してもよいし、ユーザが必要に応じて変えられるものとしてもよい。重要な被写体の判断は、重要度の指標となる特徴を重み付けし、判別関数（詳細は図４で記述）を用いて決定することができる。被写体は、個々に抽出元画像情報と被写形態情報とを持つものとし、被写体データ群テーブル（詳細は図５に記述）に登録されるものとする。
【００６５】
次に被写体テーブル作成部について詳しく説明する。図３は、本発明における画像の画像分類装置の被写体テーブル作成部１２、２２の構成例を示す図である。図３に示すように被写体テーブル作成部１２、２２は、顔領域検出部３１、人物領域検出部３２、テーブル作成部３３で構成される。
【００６６】
さらに、顔領域検出部３１は、顔領域面積取得部３４、鮮明度識別部３５、表情識別部３６、顔向き識別部３７、年齢識別部３８、性別識別部３９から構成される。
【００６７】
また、人物領域検出部３２は、服装識別部４０、姿勢識別部４１からなる。
【００６８】
分類対象となる画像については、顔領域抽出部３１により顔領域の抽出を行い、該顔領域から個人特有の特徴（以下、個人識別情報と記す）を示す情報抽出及び、画像中に占める顔領域の大きさ、画像中に占める割合、顔の上下左右の向き、鮮明度、表情、年齢、性別等の被写形態情報の取得を行う。
【００６９】
ここで、鮮明度には、画像のぼけや、照明の方向、影の有無などを含むものとしてもよい。
【００７０】
次に、人物領域検出部３２により人物領域を検出し、この人物領域から人物の服装、姿勢等の被写形態情報を抽出する。
【００７１】
以上抽出した情報は、抽出元画像情報とともに、顔領域の個人識別情報に関連づけて、被写体データ群テーブルに登録する。このとき、被写体データ群テーブルに、画像にあらかじめ付与されている時刻等のメタデータを加えてもよい。
【００７２】
顔抽出から被写体データ群テーブル作成までの処理は、入力された全画像の処理が終了するまで繰り返されるものとする。
【００７３】
また、被写形態情報は、重要度の重み付けパラメータを用いた関数（詳細は図４に記述）により、人物の重要度を算出する際に用いるものである。
【００７４】
なお、顔検出においては、例えば、Ｈ．Ｓｃｈｎｅｉｄｅｒｍａｎ，Ｔ．Ｋａｎａｄｅ．’’Ａ  Ｓｔａｔｉｓｔｉｃａｌ  Ｍｅｔｈｏｄ  ｆｏｒ  ３Ｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｐｐｌｉｅｄ  ｔｏ  Ｆａｃｅｓ  ａｎｄ  Ｃａｒｓ’’．ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ  ２０００  Ｖｏｌｕｍｅ１  Ｊｕｎｅ  １３−１５，２０００）による手法などを用いても良い。
【００７５】
また、画像から人物領域を検出する手法に関しては、例えば特開２００２−２９８１４２号公報に記載された手法などを用いてもよい。
【００７６】
また、検出された顔画像の向きは、例えば特開２００１−２５０１２１号公報に記載された手法を用いてもよい。また、同手法や特開２００３−１４１５５１号公報に記載された手法を用いて計算してもよい。
【００７７】
また、表情識別に関しては、聞えば、松野勝弘、李七雨、辻三郎、’’ポテンシャルネットとＫＬ展開を用いた顔表情の認識’’、信学論（Ｄ−ＩＩ）、ｖｏ１．Ｊ７７−Ｄ−ＩＩ，ｎｏ．８，ｐｐ．１５９１−１６００，Ａｕｇ．１９９４．による手法などを用いてもよい。
【００７８】
また、年齢、性別に関しては、例えば、細井聖、瀧川えりな、川出雅人、’’ガボールウェーブレット変換とサポートベクタマシンによる性別・年代推定システム’’第８回画像センシングシンポジウム講演論文集Ｃ−１による手法などを用いてもよい。
【００７９】
次に、重要被写体抽出部における処理手順について説明する。図４は、本発明による画像の画像分類装置における重要被写体抽出部１３、２４の処理手順を例を用いて詳しく示す図である。具体的なステップは以下の通りである。
【００８０】
図４において、ステップ１では、重要度の重みづけのデフォルト値を設定する。
【００８１】
ステップ２では、被写形態情報と重要度重み付けパラメータを用いた判別関数により、人物の重要度を算出する。
【００８２】
ステップ３では、算出した重要度があらかじめ定めた閾値以上であるかを比較し、閾値以上であれば、ステップ４へ、それ以外はステップ５ヘすすむ。
【００８３】
ステップ４では、閾値以上の対象人物を重要人物として設定する。
【００８４】
ステップ５では、閾値に満たない対象人物を非重要人物として設定する。
【００８５】
ステップ６では全抽出人物の処理が終了するまで、ステップ２〜４または５を行う。
【００８６】
実施形態１の例の場合、重要人物は、人物別に分類した後に人物別仮名称設定する。抽出人物（重要でないと判断した人物を含む）はこの人物別に分類される。
【００８７】
実施形態２の例の場合、被写人物は、人物別に分類した後に人物別仮名称設定する。各人物が重要人物であるか否かは、分類後人物別に判断される。
【００８８】
被写体が重要であるかを判断する判別関数は、顔領域の画像中に占める割合、顔の左右方向の向き、目の開閉状態の特徴を用いる場合には、例えば以下のようなものであってもよい。
【００８９】
顔領域の画像中に占める割合をａ、正面向きを０度としたときの顔の左右方向の回転をｂ、目の開閉状態をｃ、対象となる画像の顔領域の割合をｘ、対象となる人物の顔の左右方向の回転をｙ、対象となる人物の目の開閉状態をｚとするとき、該人物の被写人物としての重要度を示す判別関数ｆ（ｘ，ｙ，ｚ）は、
【００９０】
【数１】
2005148900.tif 000003
【００９１】
と表す。このとき、ｆ（ｘ，ｙ，ｚ）≧Ｔ（Ｔ：閾値）であれば、重要人物と判定する。
【００９２】
ここで、ａ〜ｃは重要度を左右するパラメータｘ〜ｚの重み付けを決定する係数であり、装置側ではデフォルトを設定した上で、装置使用時には既定値を利用してもよいし、ユーザによって設定し直してもよい。さらに、判別関数には、笑顔であるか否かといった表情のパラメータ等、その他の被写形態情報を加えてもよい。また、この判別関数は線形である必要はない。
【００９３】
次に、パラメータのユーザ入力画面について説明する。図５は、本発明による画像の画像分類装置における画像中の人物の重要度を決めるパラメータのユーザ入力画面の一例を示す図である。重要度は、画像中から検出された顔の大きさ、向き、鮮明度、表情等により決定されるものとし、この重要度を決定する関数のパラメータは、あらかじめ装置側でデフォルト値を設定してある。ただし、装置使用時にユーザによって変えられるものであってもよい。
【００９４】
図５中の画面１〜５はこれらパラメータの設定画面の一例である。例えば、画像中に占める顔の割合が２０％を超えるものに関して、デフォルトで設定してある値から変更しようとする場合、割合別に複数用意された選択肢の中から、２０％を超える画像を選択し、スライドバーでパラメータを調整することができる。また、こうしたパラメータ調整及び判別関数の閾値は、ユーザが検出したい画像を例にあげ、出力結果を見ながら、必要に応じてその値を変化させられるようにしてもよい（画面５）。
【００９５】
次に、被写体テーブル作成部で作成されるテーブルについて説明する。図６は、本発明による画像の画像分類装置における被写体テーブル作成部１２、２２で作成されるテーブルの一例を示す図である。被写体テーブルには、画像から抽出された顔の個人識別情報に、抽出元画像情報、その他抽出人物に付随する顔領域の画像中に占める割合や顔の向きといった被写形態情報を関連付けてデータベース化してあるものとする。
【００９６】
次に、被写体種別分類部および被写体分類部で行われる入力パターンの分類について説明する。図７、８は、本発明による画像の画像分類装置における被写体種別分類部１４、２３、および被写体分類部１５で行われる入力パターンの分類例を示す図である。
【００９７】
抽出された人物は、画像中にしめる大きさや顔の向き、鮮明度等によって、被写人物としての重要度が変化する。具体的には、画像中にしめる割合が大きく、正面向きで、ぼけることなく人物が写し出されている画像は、その人物を撮影対象として撮影した画像である可能性が高い。つまり、該画像において、該人物の重要度は高く、後刻検索を行おうとする場合には、その人物に関する情報が重要になる。そこで、検出された人物の画像中にしめる大きさや顔の向き、鮮明度等をパラメータ化し、閾値以上であれば重要な人物であるとする。
【００９８】
実施形態１による例では、重要な人物であった場合には、その人物を入力パターンとしたクラスタリングを行い、人物ごとの分類を行う。また、クラスタごとに仮称を設定し、人物名とする（図７（ａ））。また、同一画像中に１人の人物が複数含まれる可能性は低いことから、画像１枚の中に含まれている複数の顔は必ず別クラスタとして分類できることになる。
【００９９】
さらに、このクラスタごとに重要でない人物（以下、非重要人物と記す）を含めた抽出人物の分類を行う。
【０１００】
図７中の実線の円で囲まれたクラスタは●が重要人物パターン、Ｏが非重要人物パターンである。このとき、クラスタＡＡは、重要人物パターン●を代表パターンとして形成される。ただし、重要人物パターン●の分類を行った後に、その他人物の分類を行うため、クラスタＢＢのように別画像から抽出された同一人物の重要人物パターン●が複数存在する場合もある。
【０１０１】
さらに、本手法では、重要人物である代表パターンが存在しない限り、クラスタは形成されない。同様の理由から、重要人物パターンが１つであってもクラスタＣＣは形成される。（図７（ｂ））。
【０１０２】
具体的な例として、ツアー旅行の写真において、撮影対象となっていないツアーメンバーは複数画像の背景中に含まれる可能性があるが、図７(ｂ)中の領域７１のような状態で、クラス化されない。しかし、１度しか撮影されていなくても、撮影対象となったツアーガイドさんはクラスタＣＣという情報を付与される。
【０１０３】
実施形態２による例では、抽出された人物を人物別に分類を行う。また、人物ごと仮称を設定し、人物名とする（図８（ａ））。ただし、認証を行うことができない解像度の人物等のクラスは形成されない。また、この場合も、同一画像中に１人の人物が複数含まれる可能性は低いことから、画像１枚の中に含まれている複数の顔は必ず別クラスタとして分類できることになる。
【０１０４】
さらに、このクラスタごとに重要人物の抽出を行う。図８中で実線の円で囲まれたクラスタは●が重要人物パターン、○が非重要人物パターンである。このとき、クラスタＡＡからは、重要人物パターン●を代表パターンとして抽出される。重要人物パターン●が１つでも検出されたクラスタは、重要人物として設定し、１つも検出されなかったクラスタは非重要人物とする。
【０１０５】
なお、人物別の分類に関しては、例えば特開２００３−７６９９０号公報に記載の手法を用いてもよい。
【０１０６】
これにより、抽出順に顔特徴を代表パターンとし、この顔特徴に類似する顔の検索を行い、検出された顔をもつ人物を同一人物として分類することができる。２人目以降の分類では、分類されていない人物を代表パターン及び検索対象とすることを繰り返し、被写人物の分類を行ってもよい。
【０１０７】
次に、被写テーブル作成部の処理について説明する。図９は、本発明による画像の画像分類装置における被写テーブル作成部１２、２２の処理の一部を示す図である。
【０１０８】
入力された画像（図９（ａ））について、まず顔検出を行う。次に、顔領域から、該顔領域を含む人物の個人識別情報、画像における該顔領域の割合、顔の向き、鮮明度、表情、年齢、性別等といった特徴を抽出する。また、人物領域から該人物の服装、姿勢等を認識する（図９（ｂ））。個人識別情報は、個人に特有の特徴、例えば顔部位配置等から求める（図９（ｃ））。
【０１０９】
また、画像中の人物の顔の位置を識別し、画像中における位置情報とする。その際、画像を複数の領域に分け、顔領域がある面積以上を占めている領域を顔がある領域として識別し、該画像中の位置情報とする（図９（ｄ））。
【０１１０】
次に、画像分類装置における出力について説明する。図１０、１１は、本発明による画像の画像分類装置における出力の一例を示す図である。本発明による被写体分類の処理後は重要とされる被写人物毎に、画像情報や人物に付随する特徴が分類されている（図１０）。したがって、これをもとに画像毎のインデクスを作成することも可能である（図１１（ａ））。また、人物に付随する情報のいずれか１つをもとにディレクトリ分けできるものとする。
【０１１１】
例えば、画像中に存在する人物ごとに分け、１人当たりのファイル数やサイズ等の管理を行うことができる（図１１（ｂ））。また、こうした情報をデータベース化して出力もよい（図１１（ｃ）（ｄ））。
【０１１２】
次に、画像検索時のユーザ入力画面について説明する。図１２、１３は、本発明による画像の画像分類装置を利用した画像検索時のユーザ入力画面の一例を示す図である。ユーザは画像検索依頼時に、検索キーワードを入力するが、対象となる画像は、まず被写体ごとの分類を行い、検索はその後に行うものとする（図１２（ａ））。
【０１１３】
画像検索依頼時、検索した画像群を入力すると同時に、図１２（ｂ）中の画面２において、検索したい画像の属するキーワードを入力する。ここで、人物に関するキーワード、撮像情報、例示画像といった検索項目を１つ以上任意に選択し、送信することによって検索条件の指定を行うものとする（画面２）。
【０１１４】
検索結果はサムネイル画像を、図１２（ｂ）中の画面３のようにリスト表示してユーザに提示する（画面３）。
【０１１５】
また、図１２（ｃ）は、画像検索時のキーワード指定画面の例を示す。例えば、はじめに人物画像の検索を行いたいか、人物以外の画像の検索を行いたいかを選択する（画面４）。
【０１１６】
次に、画像を取得した日時が既知の場合には、画面５に示されるようなインターフェースを利用して、カレンダー等から日時指定入力を行う。画像中の人物構図が既知の場合にも、画像６に示されるように選択指定する。
【０１１７】
さらに、特定の人が撮影されている画像が欲しい場合には、既存の画像中の人物の情報をもとに、例えば、画面７に示すように分類人物別のリストを作成しその人物を選択すると、選択された１人または複数の人物を含む画像データを表示させることができる（画面３）。
【０１１８】
ここで使用する分類人物別のリストは、事前に登録を行わないため、人物の個人名ではなく、代表画像や同一人物としてクラスタリングされた画像クラスの仮名称とする。代表画像は、１つのクラスタを形成した際の代表パターンを使用して作成するものとする。複数の代表パターンが存在する場合には、いずれか１つの代表パターンとし、画像ファイル名のアルファベット順でもっとも早いもの等で決定してもよい。また、人物の表情、顔の向き、年齢、性別、。服装、姿勢等の情報が分かっている場合にも、同様の手段により選択入力できるものとする（画面８〜１４）。
【０１１９】
このとき、画面７〜１４の情報は、画面６と関連付けて、人数に合わせて人物ごとの入力ができるものとし、人数分の反復処理を行う。これにより、２人写っている人物のうち、左側は３０代女性、右側は１０歳未満で赤い服をきてＶサインをしている男の子、といった情報を入力することができる。
【０１２０】
ただし、画面５〜１４に示される人物情報は、既知の情報のみ使用することができるものとする。
【０１２１】
なお、本発明は図１〜３に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図４〜１３で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【０１２２】
【図１】実施形態１を示す画像の画像分類装置の構成を示す図。
【図２】実施形態２を示す画像の画像分類装置の構成を示す図。
【図３】本発明における画像の画像分類装置の被写体テーブル作成部１２、２２の構成例を示す図。
【図４】画像の画像分類装置における重要被写体抽出部１３、２４の処理手順を詳しく示す図。
【図５】画像の画像分類装置における画像中の人物の重要度を決めるパラメータのユーザ入力画面の一例を示す図。
【図６】画像の画像分類装置における被写体テーブル作成部１２、２２で作成されるテーブルの一例を示す図。
【図７】画像の画像分類装置における入力パターンの分類例を示す図。
【図８】画像の画像分類装置における入力パターンの分類例を示す図。
【図９】画像の画像分類装置における被写テーブル作成部１２、２２の処理の一部を示す図。
【図１０】本発明による画像の画像分類装置における出力の一例を示す図。
【図１１】本発明による画像の画像分類装置における出力の一例を示す図。
【図１２】画像の画像分類装置を利用した画像検索時のユーザ入力画面の一例を示す図。
【図１３】画像の画像分類装置を利用した画像検索時のユーザ入力画面の一例を示す図。
【符号の説明】
【０１２３】
１１…被写体重要度設定部
１２…被写体テーブル作成部
１３…重要被写体抽出部
１４…被写体種別分類部
１５…被写体分類部
２１…被写体重要度設定部
２２…被写体テーブル作成部
２３…被写体種別分類部
２４…重要被写体抽出部
３１…顔領域抽出部
３２…人物領域検出部
３３…テーブル作成部
３４…顔領域面積取得部
３５…鮮明度識別部
３６…表情識別部
３７…顔向き識別部
３８…年齢識別部
３９…性別識別部
４０…服装識別部
４１…姿勢識別部
【図１】
2005148900.tif 000004
【図２】
2005148900.tif 000005
【図３】
2005148900.tif 000006
【図４】
2005148900.tif 000007
【図５】
2005148900.tif 000008
【図６】
2005148900.tif 000009
【図７】
2005148900.tif 000010
【図８】
2005148900.tif 000011
【図９】
2005148900.tif 000012
【図１０】
2005148900.tif 000013
【図１１】
2005148900.tif 000014
【図１２】
2005148900.tif 000015
【図１３】
2005148900.tif 000016