(57)【要約】  【課題】  画像上の顔の表情を表す指標を生成し、顔の表情に着目した画像の分類を容易に行えるようにする。  【解決手段】  画像を取得する画像取得部１１と、その画像上の顔領域を抽出する顔領域抽出部１２と、顔領域内の口領域を抽出する口領域抽出部１３と、口領域を解析して唇領域の外径、内径、口領域の面積、歯領域の面積を求める口領域解析部１４と、これらの情報から口の開き具合および歯の見え具合を求め、これらに基づき表情識別情報を生成する情報生成部１５と、この表情識別情報を被写体数で割った平均、または、各被写体ＩＤとその被写体についての表情識別情報との対応を画像に付加する情報付加部１６とを備えた。  【選択図】  図２
2005234686.tif 000002
【特許請求の範囲】
【請求項１】
画像上の被写体の唇の領域および/または歯の領域を特定する口領域解析部と、
前記口領域解析部により特定された前記唇および/または歯の領域の情報に基づき、前記被写体の表情を示す表情識別情報を生成する情報生成部と
を備えたことを特徴とする表情認識装置。
【請求項２】
前記情報生成部は、前記唇の領域の情報に基づき、口が開いている度合いを求め、当該度合いを前記表情識別情報とすることを特徴とする請求項１記載の表情認識装置。
【請求項３】
前記情報生成部は、前記歯の領域の情報に基づき、歯が見えている度合いを求め、当該度合いを前記表情識別情報とすることを特徴とする請求項１記載の表情認識装置。
【請求項４】
前記情報生成部は、前記唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、前記歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、当該第１のパラメータと当該第２のパラメータとから前記表情識別情報を決定することを特徴とする請求項１記載の表情認識装置。
【請求項５】
画像上の複数の被写体のそれぞれについて前記情報生成部が前記表情識別情報として生成した複数の数値から、前記画像についての１の固有値を算出し、当該固有値を前記画像に付加する情報付加部を備えたことを特徴とする請求項１記載の表情認識装置。
【請求項６】
画像上の複数の被写体のそれぞれについて前記情報生成部が前記表情識別情報として生成した複数の数値を、対応する被写体との関係が分かる形式で前記画像に付加する情報付加部を備えたことを特徴とする請求項１記載の表情認識装置。
【請求項７】
画像上の被写体の唇および歯の領域を特定するステップと、
特定された前記唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めるステップと、
特定された前記歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求めるステップと、
前記第１のパラメータと前記第２のパラメータとに基づき前記被写体の表情を示す表情識別情報を決定するためのテーブルを所定の記憶装置から読み出すステップと、
読み出された前記テーブルを参照することにより、前記表情識別情報を決定するステップと
を含むことを特徴とする表情認識方法。
【請求項８】
画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値から、前記画像についての１の固有値を算出し、当該固有値を前記画像に付加するステップをさらに含むことを特徴とする請求項７記載の表情認識方法。
【請求項９】
画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で前記画像に付加するステップをさらに含むことを特徴とする請求項７記載の表情認識方法。
【請求項１０】
コンピュータに、
顔の画像上で唇の領域および/または歯の領域を特定する機能と、
特定された前記唇および/または歯の領域の情報に基づき、前記顔の表情を示す表情識別情報を生成する機能と
を実現させるためのプログラム。
【請求項１１】
前記表情識別情報を生成する機能は、前記唇の領域の情報に基づき、口が開いている度合いを求め、当該度合いを前記表情識別情報とする機能であることを特徴とする請求項１０記載のプログラム。
【請求項１２】
前記表情識別情報を生成する機能は、前記歯の領域の情報に基づき、歯が見えている度合いを求め、当該度合いを前記表情識別情報とする機能であることを特徴とする請求項１０記載のプログラム。
【請求項１３】
前記表情識別情報を生成する機能は、前記唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、前記歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、当該第１のパラメータと当該第２のパラメータとから前記表情識別情報を決定する機能であることを特徴とする請求項１０記載のプログラム。
【請求項１４】
コンピュータに、
画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値から、前記画像についての１の固有値を算出し、当該固有値を前記画像に付加する機能をさらに実現させることを特徴とする請求項１０記載のプログラム。
【請求項１５】
コンピュータに、
画像上の複数の被写体のそれぞれについて前記表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で前記画像に付加する機能をさらに実現させることを特徴とする請求項１０記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、写真等の画像上の顔の表情を認識する表情認識装置等に関する。
【背景技術】
【０００２】
近年、我々の周りには写真等の画像が溢れている。その要因の１つとして、デジタルカメラ(いわゆるカメラ付き携帯電話を含む)の急速な普及が挙げられる。
銀塩カメラでは、感光剤としてハロゲン化銀を用いたフィルムに画像を記録するため、一旦撮影した画像を後で削除することはできない。これに対し、デジタルカメラでは、デジタルデータとして画像を記録するため、撮影に失敗する可能性があったとしてもとりあえず撮影しておき、失敗であれば後から削除するということも可能である。また、永久保存するかどうか判断に迷う画像については、とりあえずＰＣ(Personal Computer)等に移しておき、後で削除するか保存するかを判断することもよくある。このように我々の意識も銀塩カメラを用いる場合とは大きく異なってきており、その結果、多くの画像がデジタルカメラの中、記録媒体の中、ＰＣのハードディスクの中等に散乱する状況が生じているのである。
【０００３】
ところで、このように画像が散乱してくると、その整理を行う必要が出て来る。その場合、例えば、失敗した画像は削除し、残った画像の中から特によく撮れているものをピックアップして電子アルバムに含める等の作業が行われる。
ところが、このような作業では、散乱している多数の画像の中から電子アルバムに含めるものを１つ１つ確認しながら決めていかなればならない。画像をデジタルデータとして扱えることによる利点は大きいが、画像を閲覧するために時間がかかってしまうのは、デジタルデータとして扱うことによりもたらされる不利益な点である。
そこで、多数の画像の中から電子アルバムに含める画像をピックアップする等の画像分類作業を効率的に行えるようにするために、画像に対しその画像に関する所定の付帯情報を付加し、その付帯情報を用いて画像を自動分類することが行われていた(例えば、特許文献１、特許文献２参照。)。
【０００４】
【特許文献１】特開平７−１２３３０７号公報(第６、７頁、第１０−２３図)
【特許文献２】特開２００２−３４４８６７号公報(第６−８頁、第２、３図)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の発明は、撮影年、撮影月、撮影日、撮影時刻等を、特許文献２記載の発明は、位置情報や被写体情報等を、それぞれ、付帯情報として画像に付加するものであり、画像上の顔の表情を示す指標を付帯情報として画像に付加するものではなかった。従って、顔の表情に着目した画像の分類が行えないという問題点があった。
例えば、電子アルバムに含める画像については、一般に、暗い表情をしたものよりも、明るい表情をしたもの(例えば、笑顔)を選びたいという欲求があるが、従来、多くの画像の中から笑顔で写っている画像を選び出す作業には多大な労力を要していた。
【０００６】
本発明は、以上のような技術的課題を解決するためになされたものであって、その目的は、画像上の顔の表情を表す指標を生成することにある。
また本発明の他の目的は、画像上の顔の表情に着目した画像の分類を容易に行えるようにすることにある。
【課題を解決するための手段】
【０００７】
かかる目的のもと、本発明は、画像を解析することで被写体の顔の表情を表す情報(以下、「表情識別情報」という)を自動生成するようにしている。即ち、本発明の第１の表情認識装置は、画像上の被写体の唇の領域および/または歯の領域を特定する口領域解析部と、この口領域解析部により特定された唇および/または歯の領域の情報に基づき、被写体の表情を示す表情識別情報を生成する情報生成部とを備えている。ここで、情報生成部は、唇の領域の情報に基づき、口が開いている度合いを求め、その度合いを表情識別情報とすることが可能である。また、歯の領域の情報に基づき、歯が見えている度合いを求め、その度合いを表情識別情報としてもよい。さらに、唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、この第１のパラメータと第２のパラメータとから表情識別情報を決定するように構成することも可能である。
【０００８】
また、本発明では、生成された表情識別情報を、電子アルバムの作成等の際に画像と同時に読み込めるような構成も提案している。即ち、第一に、画像上の複数の被写体のそれぞれについて情報生成部が表情識別情報として生成した複数の数値から、画像についての１の固有値を算出し、その固有値を画像に付加する情報付加部を備えた構成である。また、第二に、画像上の複数の被写体のそれぞれについて情報生成部が表情識別情報として生成した複数の数値を、対応する被写体との関係が分かる形式で画像に付加する情報付加部を備えた構成である。
【０００９】
さらに、本発明は、画像を解析することで被写体の顔の表情を表す表情識別情報を自動生成する方法として捉えることも可能である。その場合、本発明の表情認識方法は、画像上の被写体の唇および歯の領域を特定するステップと、特定された唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めるステップと、特定された歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求めるステップと、第１のパラメータと第２のパラメータとに基づき被写体の表情を示す表情識別情報を決定するためのテーブルを所定の記憶装置から読み出すステップと、読み出されたテーブルを参照することにより、表情識別情報を決定するステップとを含んでいる。
【００１０】
また、本発明では、生成された表情識別情報を、電子アルバムの作成等の際に画像と同時に読み込めるようにするための方法も提案している。即ち、第一に、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値から、画像についての１の固有値を算出し、その固有値を画像に付加するステップをさらに含んだ方法である。また、第二に、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で画像に付加するステップをさらに含んだ構成である。
【００１１】
一方、本発明は、所定の機能をコンピュータに実現させるためのコンピュータプログラムとして捉えることもできる。その場合、本発明のプログラムは、コンピュータに、顔の画像上で唇の領域および/または歯の領域を特定する機能と、特定された唇および/または歯の領域の情報に基づき、顔の表情を示す表情識別情報を生成する機能とを実現させるものである。ここで、表情識別情報を生成する機能は、唇の領域の情報に基づき、口が開いている度合いを求め、その度合いを表情識別情報とする機能であってよい。また、歯の領域の情報に基づき、歯が見えている度合いを求め、その度合いを表情識別情報とする機能であってもよい。さらに、唇の領域の情報に基づき、口が開いている度合いである第１のパラメータを求めると共に、歯の領域の情報に基づき、歯が見えている度合いである第２のパラメータを求め、この第１のパラメータと第２のパラメータとから表情識別情報を決定する機能であってもよい。
【００１２】
また、コンピュータに、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値から、画像についての１の固有値を算出し、その固有値を画像に付加する機能をさらに実現させるようにしてもよいし、画像上の複数の被写体のそれぞれについて表情識別情報として生成された複数の数値を、対応する被写体との関係が分かる形式で画像に付加する機能をさらに実現させるようにしてもよい。
【発明の効果】
【００１３】
本発明によれば、画像上の顔の表情を表す指標を生成することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して、本発明を実施するための最良の形態(以下、「実施の形態」という)について詳細に説明する。
図１は、本実施の形態におけるデジタルカメラのハードウェア構成の一例を示した図である。このデジタルカメラは、コントローラ１０と、レンズ２０と、撮像素子３０と、Ａ/Ｄ変換回路４０と、液晶ディスプレイ５０と、操作キー６０と、内蔵メモリ７０と、補助記憶装置８０とから構成される。なお、この図は、概略を示したものであり、一般にデジタルカメラに必要な構成であっても、本発明に直接関係しないものについては、省略している場合がある。
【００１５】
コントローラ１０は、ＣＰＵ(Central Processing Unit)を有しており、Ａ/Ｄ変換回路４０からの信号入力制御、液晶ディスプレイ５０への表示制御、操作キー６０からの入力制御、内蔵メモリ７０への出力制御、補助記憶装置８０への出力制御等の各種制御を行う部分である。
レンズ２０は、被写体を撮像素子３０の上に結像するものである。撮像素子３０は、レンズ２０を通して入って来た光を電気信号に変換する素子であり、例えば、ＣＣＤ(Charge Coupled Diode)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)である。また、Ａ/Ｄ変換回路４０は、アナログ信号として入力される画像データの信号をデジタル信号に変換するための回路である。
【００１６】
液晶ディスプレイ５０は、内蔵メモリ７０に格納された画像や、デジタルカメラに対し各種設定を行うためのメニュー画面を表示するためのディスプレイである。操作キー６０は、デジタルカメラに対し各種設定操作を行うためのキーである。また、内蔵メモリ７０は、撮影した画像や、各種設定を行うためのデータ等を格納するメモリである。補助記憶装置８０は、撮影した画像を記録するための記録媒体であり、例えば、フラッシュメモリである。なお、通常、補助記憶装置８０はデジタルカメラ本体から着脱可能に構成されるが、図１においては、便宜上、コントローラ１０と結線された形で示している。
【００１７】
次に、図２を参照して、コントローラ１０の機能構成を説明する。
図２に示すように、コントローラ１０は、画像取得部１１と、顔領域抽出部１２と、口領域抽出部１３と、口領域解析部１４と、情報生成部１５と、情報付加部１６とを備える。
画像取得部１１は、Ａ/Ｄ変換回路４０、内蔵メモリ７０、または、補助記憶装置８０から画像データを取得する部分である。顔領域抽出部１２は、画像上の顔に相当する領域(以下、「顔領域」という)を抽出する部分であり、口領域抽出部１３は、顔領域内で口に相当する領域(以下、「口領域」という)を抽出する部分である。なお、口領域の抽出は、口の輪郭である唇に相当する領域(以下、「唇領域」という)を検出することにより行う。
口領域解析部１４は、口領域を解析して表情識別情報の生成に用いる値を取り出す部分である。また、情報生成部１５は、表情識別情報を生成する部分であり、情報付加部１６は、表情識別情報を画像データに付加する部分である。
【００１８】
なお、これらの各機能部は、ハードウェアのみによっても実現可能であるが、ハードウェアとソフトウェアの組み合わせによっても実現可能である。後者の場合は、コントローラ１０の図示しないＣＰＵ(Central Processing Unit)が、例えば、内蔵メモリ７０に記憶されたプログラムを読み込んで実行することにより各機能が実現される。
また、このプログラムは、コントローラ１０を含むデジタルカメラの出荷時に予めインストールされているものであってもよいし、出荷後に有線または無線の通信手段を用いてダウンロードされインストールされたものであってもよい。
【００１９】
本実施の形態は、このような構成を備えたデジタルカメラにおいて、画像データに対し表情識別情報を付加するものである。なお、表情識別情報は、撮影直後に自動的に付加してもよいし、撮影後の任意の時点における利用者の指示により付加してもよい。
ところで、電子アルバムに含める画像を選択する場合には、表情が笑顔の画像を優先的に選択したいという欲求が一般に認められる。従って、ここでは、表情識別情報として、表情が笑顔であるほど数値が大きくなるような指数(以下、「笑顔指数」という)を付加することを前提に、具体的な実施の形態について説明する。
【００２０】
(第１の実施の形態)
第１の実施の形態では、図３に示すように、画像データに対し、付帯情報として、ファイル名、撮影日時等の情報に加え、その画像データの固有値としての笑顔指数を付加する。そのような笑顔指数を撮影時に付加する場合、コントローラ１０は、撮像素子３０からＡ/Ｄ変換回路４０を介して取得した画像データに直接、または、内蔵メモリ７０に格納した後に、笑顔指数を付加して補助記憶装置８０に記憶する。また、そのような笑顔指数を撮影後の任意の時点で付加する場合、コントローラ１０は、補助記憶装置８０から画像データを読み出し、笑顔指数を付加して補助記憶装置８０に書き戻す。
【００２１】
以下、本実施の形態におけるコントローラ１０の動作について説明する。
図４は、コントローラ１０内の画像取得部１１、顔領域抽出部１２、口領域抽出部１３の動作を示すフローチャートである。
まず、画像取得部１１が、Ａ/Ｄ変換回路４０、内蔵メモリ７０、または、補助記憶装置８０から画像データを取得する(ステップ１０１)。
次に、顔領域抽出部１２が、その画像データのサイズを正規化する(ステップ１０２)。具体的には、その画像データの画素数を、顔領域や口領域を抽出するのに適切な画素数として予め設定された画素数となるように変換を行う。
【００２２】
また、顔領域抽出部１２は、この正規化された画像データを輝度・色差信号に変換する(ステップ１０３)。Ａ/Ｄ変換回路４０で変換されたままの画像データはＲＧＢ座標系により表されている。しかし、ＲＧＢ座標系のままでは、顔領域や口領域の抽出は行えないので、色相、彩度、明度を表すＨＳＶ座標系に変換する必要がある。このステップは、そのＨＳＶ座標系への変換を行うための前ステップである。
そして、ＨＳＶ座標系への変換を行い、各画素に対し、明度、色相が、それぞれ、予め定義した一定の範囲内にあるものを肌色と判断し、そのような画素を肌色画素として特定する(ステップ１０４)。なお、色相のみを用いても、肌色らしい部分を抽出することはできるが、肌色を暗くしたような色の部分(例えば、木の幹等)も一緒に抽出されてしまう虞があるので、明度も用いるようにする。
さらに、顔領域抽出部１２は、肌色画素を連結させて顔領域を特定し、ラベリング処理を行うと共に、連結させても顔領域とはならない小領域については、それらを除去する処理を行う(ステップ１０５)。
【００２３】
次に、口領域抽出部１３は、ステップ１０５で特定された顔領域内の各画素に対し、明度、色相が、それぞれ、予め定義した一定の範囲内にあるものを唇色と判断し、そのような画素を唇色画素として特定する(ステップ１０６)。なお、色相のみを用いても、唇色らしい部分を抽出することはできるが、唇色を暗くしたような色の部分も一緒に抽出されてしまう虞があるので、明度も用いるようにする。
さらに、口領域抽出部１３は、唇色画素を連結させて唇領域を特定し、ラベリング処理を行うと共に、連結させても唇領域とはならない小領域については、それらを除去する処理を行う(ステップ１０７)。
【００２４】
図５は、コントローラ１０内の口領域解析部１４、情報生成部１５、情報付加部１６の動作を示したフローチャートである。
ここでは、図６(ａ)、(ｂ)に示すような画像の口領域が、口領域抽出部１３により抽出されているものとする。図中、唇に相当する領域(図６において黒で塗りつぶした領域)を上述した通り「唇領域」と呼び、歯に相当する領域(図６において白地のままになっている領域)を「歯領域」と呼ぶこととする。
【００２５】
まず、口領域解析部１４は、唇領域の外径ｄ１と内径ｄ２と口領域の面積ｓ１と歯領域の面積ｓ２とを求める(ステップ２０１)。唇領域の外径ｄ１および内径ｄ２としては、例えば、図６(ａ)に示す部分の長さを採用することができる。即ち、唇領域に外接する矩形の高さを外径ｄ１とし、唇領域に内接する矩形の高さを内径ｄ２とすることができる。また、口領域の面積ｓ１および歯領域の面積ｓ２としては、図６(ｂ)に示す領域の面積を採用する。即ち、黒で塗りつぶした領域、白地のままになっている領域、斜線を施した領域の面積の合計を口領域の面積ｓ１とし、白地のままになっている領域の面積を歯領域の面積ｓ２とする。
【００２６】
次に、情報生成部１５は、ｄ２をｄ１で除することにより、口の開き具合を示すパラメータ(以下、「パラメータＡ」という)を求める(ステップ２０２)。また、ｓ２をｓ１で除することにより、歯の見え具合を示すパラメータ(以下、「パラメータＢ」という)を求める(ステップ２０３)。
そして、情報生成部１５は、内蔵メモリ７０に記憶された笑顔指数テーブルを参照し、笑顔指数を求める(ステップ２０４)。図７に、笑顔指数テーブルの一例を示す。図７の笑顔指数テーブルでは、パラメータＡについては閾値ＴｈＡを、パラメータＢについては閾値ＴｈＢを設け、パラメータＡがＴｈＡ以下の場合、パラメータＢがＴｈＢ以下の場合は、ともに笑顔指数には「笑顔ではない」ことを示す値(例えば、「０」)が設定されるような定義となっている。また、パラメータＡがＴｈＡより大きく、かつ、パラメータＢがＴｈＢより大きい場合は、それぞれのパラメータの値により、笑顔指数に「笑顔らしさ大」または「笑顔らしさ小」を示す値が設定されるような定義となっている。
【００２７】
但し、図７の笑顔指数テーブルはあくまで一例であり、パラメータＡとパラメータＢについての刻み幅をもっと細かく設定し、笑顔らしさをよりきめ細かく判定するようにしてもよい。
また、笑顔指数を、パラメータＡ、パラメータＢを変数とする関数と捉え、テーブルを参照するのではなく、計算により笑顔指数を求めるようにしてもよい。
なお、画像上に複数の被写体が存在し、口領域も複数存在する場合は、各口領域について以上の処理を行い、口領域の数だけの笑顔指数を求める。
【００２８】
そして、情報付加部１６が、笑顔指数を口領域の数(顔の数)で除して平均値を求め(ステップ２０５)、画像データの固有値としての笑顔指数として付加する(ステップ２０６)。
【００２９】
本実施の形態では、笑顔指数を生成して画像に付加するようにしたことにより、被写体が笑顔かどうかに着目した画像の分類を容易に行うことが可能となる。また、画像上に複数の被写体が存在する場合に全ての被写体についての笑顔指数の平均を付加するようにしたことにより、画像全体として笑顔の度合いが高いかどうか、つまり、和やかなムードで撮影された画像かどうか等も分かり、画像の分類の効率向上が図れる。
【００３０】
なお、本実施の形態では、複数の被写体についての笑顔指数の平均を画像に付加するようにしたが、笑顔指数の最大値、最頻値、中央値等の如何なる統計量を付加するようにしてもよい。
【００３１】
(第２の実施の形態)
第２の実施の形態では、図８に示すように、画像データに対し、付帯情報として、ファイル名、撮影日時等の情報に加え、その画像データに含まれる被写体の数だけ、被写体ＩＤと笑顔指数との対応関係を付加する。そのような笑顔指数を撮影時に付加する場合、コントローラ１０は、撮像素子３０からＡ/Ｄ変換回路４０を介して取得した画像データに直接、または、内蔵メモリ７０に格納した後に、笑顔指数を付加して補助記憶装置８０に記憶する。また、そのような笑顔指数を撮影後の任意の時点で付加する場合、コントローラ１０は、補助記憶装置８０から画像データを読み出し、笑顔指数を付加して補助記憶装置８０に書き戻す。
【００３２】
以下、本実施の形態におけるコントローラ１０の動作について説明する。
コントローラ１０内の画像取得部１１、顔領域抽出部１２、口領域抽出部１３の動作については、図４に示したものと同様である。
コントローラ１０内の口領域解析部１４、情報生成部１５、情報付加部１６の動作については、図９に示す。
まず、口領域解析部１４は、唇領域の外径ｄ１と内径ｄ２と口領域の面積ｓ１と歯領域の面積ｓ２とを求める(ステップ３０１)。唇領域の外径ｄ１および内径ｄ２としては、例えば、図６(ａ)に示す部分の長さを採用することができる。即ち、唇領域に外接する矩形の高さを外径ｄ１とし、唇領域に内接する矩形の高さを内径ｄ２とすることができる。また、口領域の面積ｓ１および歯領域の面積ｓ２としては、図６(ｂ)に示す領域の面積を採用する。即ち、黒で塗りつぶした領域、白地のままになっている領域、斜線を施した領域の面積の合計を口領域の面積ｓ１とし、白地のままになっている領域の面積を歯領域の面積ｓ２とする。
【００３３】
次に、情報生成部１５は、ｄ２をｄ１で除することにより、口の開き具合を示すパラメータ(以下、「パラメータＡ」という)を求める(ステップ３０２)。また、ｓ２をｓ１で除することにより、歯の見え具合を示すパラメータ(以下、「パラメータＢ」という)を求める(ステップ３０３)。そして、情報生成部１５は、図７に示した笑顔指数テーブルを参照し、笑顔指数を求める(ステップ３０４)。
なお、画像上に複数の被写体が存在し、口領域も複数存在する場合は、各口領域について以上の処理を行い、口領域の数(顔の数)だけの笑顔指数を求める。その際、本実施の形態では、各笑顔指数に対し、対応する被写体を一意に識別する被写体ＩＤを対応付けておく。なお、被写体ＩＤとしては、顔領域抽出部１２、口領域抽出部１３、または、口領域解析部１４が、自動的に採番するようにしてもよいが、利用者に入力を促してもよい。特に、画像を被写体により分類する場合は、その分類の際に用いる被写体ＩＤと、笑顔指数に対応付ける被写体ＩＤとを同じ体系のものにしておくことにより、特定の被写体が笑顔であるかどうかに着目した画像の分類も可能となる。
【００３４】
そして、情報付加部１６が、１つの被写体ＩＤと笑顔指数との対応を画像データに付加し(ステップ３０５)、他に被写体があるかどうかを判断する(ステップ３０６)。ここで、被写体があれば、ステップ３０５の処理を繰り返すが、被写体がなければ、処理を終了する。
【００３５】
本実施の形態では、笑顔指数を生成して画像に付加するようにしたことにより、被写体が笑顔かどうかに着目した画像の分類を容易に行うことが可能となる。また、画像上に複数の被写体が存在する場合に各被写体の被写体ＩＤと笑顔指数との対応関係を付加するようにしたことにより、笑顔かどうかに着目した画像の分類を被写体ごとに行うことが容易になる。
【００３６】
なお、以上述べた実施の形態においては、デジタルカメラにおいて笑顔指数を生成し画像に付加することとしたが、同様の処理は、ＰＣ等の一般のコンピュータにおいて行うことも可能である。また、この場合においても、図１に示した各機能部が、そのコンピュータ内で実現される。具体的には、コンピュータのＣＰＵ(Central Processing Unit)が、所定の記憶装置に記憶されたプログラムをメインメモリに読み込んで実行することにより実現される。
また、このプログラムは、コンピュータの出荷時に予めインストールされているものであってもよいし、出荷後に有線または無線の通信手段を用いてダウンロードされインストールされたものであってもよい。
さらに、デジタルカメラ、コンピュータのいずれで実現する場合においても、算出された笑顔指数は、画像に対し付加せずに、別の記憶領域に記憶したり、出力装置に出力したりするように構成することも可能である。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施の形態が適用されるデジタルカメラのハードウェア構成を示したブロック図である。
【図２】本発明の実施の形態におけるコントローラの機能構成を示したブロック図である。
【図３】本発明の第１の実施の形態における笑顔指数付加後の画像データの構造を示した図である。
【図４】本発明の第１および第２の実施の形態における画像取得、顔領域抽出、口領域抽出の動作を示したフローチャートである。
【図５】本発明の第１の実施の形態における口領域解析、情報生成、情報付加の動作を示したフローチャートである。
【図６】本発明の第１および第２の実施の形態における口領域の解析について説明するための図である。
【図７】本発明の第１および第２の実施の形態で参照する笑顔指数テーブルの一例を示した図である。
【図８】本発明の第２の実施の形態における笑顔指数付加後の画像データの構造を示した図である
【図９】本発明の第２の実施の形態における口領域解析、情報生成、情報付加の動作を示したフローチャートである。
【符号の説明】
【００３８】
１０…コントローラ、１１…画像取得部、１２…顔領域抽出部、１３…口領域抽出部、１４…口領域解析部、１５…情報生成部、１６…情報付加部、２０…レンズ、３０…撮像素子、４０…Ａ/Ｄ変換回路、５０…液晶ディスプレイ、６０…操作キー、７０…内蔵メモリ、８０…補助記憶装置
【図１】
2005234686.tif 000003
【図２】
2005234686.tif 000004
【図３】
2005234686.tif 000005
【図４】
2005234686.tif 000006
【図５】
2005234686.tif 000007
【図６】
2005234686.tif 000008
【図７】
2005234686.tif 000009
【図８】
2005234686.tif 000010
【図９】
2005234686.tif 000011