(57)【要約】【課題】  撮影手段により取り込まれた顔画像の特定の部位の位置を基に作図を行い、得られた図形の特徴と顔の表情とを関連づけることにより、簡便で高速な笑顔の判断ができる画像処理システムの提供。【解決手段】  顔画像中の外眼角点を検出する外眼角点検出手段と、口角点を検出する口角点検出手段と、検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段とを有することを特徴とする画像処理システム。【選択図】        図２
2005266984.tif 000002
【特許請求の範囲】
【請求項１】
顔画像中の
外眼角点を検出する外眼角点検出手段と、
口角点を検出する口角点検出手段と、
検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段とを
有することを特徴とする画像処理システム。
【請求項２】
前記矩形作図手段により作図した矩形の長辺と短辺の比を求め、
求めた前記比が予め設定した数値範囲内であるか否かを判定する判定手段を
有することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
顔画像を撮影する撮影手段と、
音声を出力する音声出力手段とを設け、
前記判定手段が、求めた前記比が予め設定した数値範囲内であると判定した時に、前記撮影手段のシャッターを切るように、もしくはシャッター音を前記音声出力手段に出力するように制御する制御手段を有することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
顔画像を保存する記憶手段と、
顔画像中の
外眼角点を検出する外眼角点検出手段と、
口角点を検出する口角点検出手段と、
検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段と、
前記記憶手段に保存されている複数の顔画像から顔画像を逐次取り込み、前記矩形作図手段により作図した矩形の長辺と短辺の比が予め設定された数値範囲内に入った顔画像を、
画像表示手段に表示する制御手段と
を有することを特徴とする画像処理システム。
【請求項５】
顔画像を保存する記憶手段と、
顔画像中の
外眼角点を検出する外眼角点検出手段と、
口角点を検出する口角点検出手段と、
検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段と、
前記記憶手段に保存されている複数の顔画像から顔画像を逐次取り込み、前記矩形作図手段により作図した矩形の長辺と短辺の比が予め設定された数値範囲内に入った顔画像のみに強調された画像枠を付与して、前記複数の顔画像を画像表示手段に表示する制御手段とを有することを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の特定部位の変化を捉え、表情の判定をする画像処理システムに関わる。
【背景技術】
【０００２】
一般に、人物写真の良し悪しを決定する大きな要素は、写真に撮られた人物の表情と、顔色と、陰影と、顔の撮影角度である。これらの要素の中でも特に支配的な要素は表情である。しかしながら、人の表情は常に変化をしており、最適なシャッターチャンスを的確につかむことは困難である。また、場合によっては、被写体となった人物が、緊張感をはじめ、その他の事情、例えば、普段笑わない人で表情筋が思うように働かない等の事情により、希望する表情ができないこともある。
【０００３】
従来のアナログ写真においては、撮影者による被撮影者に対する誘導技術と、機を逃さぬ的確なシャッターチャンスを捉える技術とにより、この問題に対応してきた。また、撮影された画像に不都合があり、且つ、再撮影が困難な場合には、撮影された元の画像に、レタッチと称する熟練者による手作業による修正を施すという対応もしてきた。とはいえ、このような手作業による修正は目つぶり顔の修正や顔の皺の除去等には程ほどの対応ができても、表情そのものを変化させることは困難であった。
【０００４】
デジタル式の撮影手段により撮影された写真、あるいは、アナログ写真からスキャナーによりデジタル化された写真においては、アナログ写真に比較して撮影後の画像処理は容易であるが、表情そのものを大きく変える画像処理を施した場合には、不自然な表情の顔画像となりやすい。
【０００５】
従って、デジタル写真でも、アナログ写真と同様に撮影された顔画像は、なるべく良い表情のものであることが望ましい。
【０００６】
代表的な、良い表情としては笑顔が挙げられるが、撮影手段により取り込んだ顔画像の表情が笑顔であるか否かを迅速に判断することができれば、最適なシャッターチャンスを掴むことが可能となる、すなわち、刻々と変化する表情の画像を取り込み、表情が笑顔の画像のみを記憶手段に保存することができる。また、記憶手段に保存された複数の顔画像から笑顔の顔画像のみを容易に抽出することも可能となる。
【０００７】
顔の表情は、０．３秒程度の瞬時に、目、眉、口の形状、位置、角度がわずかに変化することにより大きく変化するということは、従来からよく知られている事象である。このような公知の事象を基に、デジタル画像処理技術を応用して、基となる顔画像の特定の部位、例えば、目、眉、口を変形、あるいは移動させて、笑い、怒り、驚き、悲しみ等の目的の表情を作り出すという提案も多く出されている（例えば、特許文献１参照。）。
【０００８】
しかしながら、顔画像の表情を判定することについては、個々に異なる顔をした人物の顔画像から、多くのデータ処理を行い、特徴を抽出して、表情を判定することが必要であり、処理時間や装置のコストをはじめ実用上の問題を多く残している。
【０００９】
人物撮影においても、代表的な良い表情である笑顔を自動的に撮影しようとする場合、上述の問題に突き当たる。
【特許文献１】特開平１１−１６７６２６号公報（第１−２頁）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述のような状況に鑑みてなされたもので、その目的は、撮影手段により取り込まれた顔画像の特定の部位の位置を基に作図を行い、得られた図形の特徴と顔の表情とを関連づけることにより、簡便で高速な笑顔の判断ができる画像処理システムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題は、以下の項目を実現することにより達成される。
（１）顔画像中の外眼角点を検出する外眼角点検出手段と、口角点を検出する口角点検出手段と、検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段とを有することを特徴とする画像処理システム。
（２）前記矩形作図手段により作図した矩形の長辺と短辺の比を求め、求めた前記比が予め設定した数値範囲内であるか否かを判定する判定手段を有することを特徴とする（１）に記載の画像処理システム。
（３）顔画像を撮影する撮影手段と、
音声を出力する音声出力手段とを設け、
前記判定手段が、求めた前記比が予め設定した数値範囲内であると判定した時に、前記撮影手段のシャッターを切るように、もしくはシャッター音を前記音声出力手段に出力するように制御する制御手段を有することを特徴とする（２）に記載の画像処理システム。
（４）顔画像を保存する記憶手段と、顔画像中の外眼角点を検出する外眼角点検出手段と、口角点を検出する口角点検出手段と、検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段と、前記記憶手段に保存されている複数の顔画像から顔画像を逐次取り込み、前記矩形作図手段により作図した矩形の長辺と短辺の比が予め設定された数値範囲内に入った顔画像を、画像表示手段に表示する制御手段とを有することを特徴とする画像処理システム。
（５）顔画像を保存する記憶手段と、顔画像中の外眼角点を検出する外眼角点検出手段と、口角点を検出する口角点検出手段と、検出された前記外眼角点を結ぶ線分を１辺として、対向する他の１辺が検出された口角点を通過するように矩形を作図する矩形作図手段と、前記記憶手段に保存されている複数の顔画像から顔画像を逐次取り込み、前記矩形作図手段により作図した矩形の長辺と短辺の比が予め設定された数値範囲内に入った顔画像のみに強調された画像枠を付与して、前記複数の顔画像を画像表示手段に表示する制御手段とを有することを特徴とする画像処理システム。
【発明の効果】
【００１２】
請求項１に記載の発明によれば、表情の特徴を、図形の特徴に変換することができる。
【００１３】
請求項２に記載の発明によれば、請求項１に記載の発明により得られた図形の特徴から、表情の特徴を迅速に判断することができる。
【００１４】
請求項３に記載の発明によれば、被撮影者に対して、撮影した瞬間を知らせることができるので、被撮影者はその表情を自分で作り出すことができるようになる。
【００１５】
請求項４に記載の発明によれば、取り込まれた多量の顔画像の中から、条件に合った表情の顔画像を抽出をすることが可能になる。
【００１６】
請求項５に記載の発明によれば、取り込まれた多量の顔画像を、画像表示手段に表示して、条件にあった顔画像に目印を付与することにより、表示された顔画像から良い表情の顔画像を容易に選択することができる。
【発明を実施するための最良の形態】
【００１７】
以下、図を参照しながら、本発明の実施の形態の説明をする。
【００１８】
図１は、本発明に基づく画像処理システムのブロック図である。
【００１９】
本顔画像処理システムは、制御手段Ｃを中心に、撮影手段Ｉ、画像表示手段Ｄ、音声出力手段Ｓ、操作手段Ｔ、画像形成手段Ｐ、情報媒体記録手段Ｂ、通信手段Ｒ等から構成される。
【００２０】
制御手段Ｃは、ＣＰＵ、記憶手段であるメモリＭ、演算ユニットＵ、各種入出力インターフェイスＩ／Ｆを有するコンピュータシステムである。
【００２１】
メモリＭには、ソフトウエアである特徴点抽出手段１０、作図手段２０、判定手段３０等が保存され、各手段を構成するプログラムが実行されることにより、所定の処理が行われる。なお、前記特徴点抽出手段１０に用いられるソフトウエアは、顔画像認識のために使用されている適宜なものを選択することができる。
【００２２】
撮影手段Ｉは、デジタル式のカメラで、制御手段Ｃからの制御信号に従って、被写体を撮影する。撮影は、一定の時間、一定の周期で逐次、複数の画像を取り込むこともできるし、一瞬の１枚の画像を取り込む（シャッターを切る）こともできる。取り込んだ画像（原画像）は、制御手段ＣのメモリＭに送られ、所定のフォーマットで保存される。また、場合によっては、原画像に、所定の画像処理を施したり、圧縮処理をして保存することもある。
【００２３】
画像表示手段Ｄは、ＣＲＴ、液晶ディスプレイ等の文字、及び画像を表示する装置で、適宜な物を使用することができる。
【００２４】
音声出力手段Ｓは、小型のスピーカーで、撮影手段Ｉ、画像表示手段Ｄに組み込んでも良い。
【００２５】
操作手段Ｔは、キーボード、マウス等の一般のコンピュータに用いられる入力装置で、適宜な物を使用することができる。また、場合によっては、透明電極を有する透明膜を画像表示手段Ｄの画面に密接させた、タッチパネルを使用しても良い。
【００２６】
画像形成手段Ｐは、前記操作手段Ｔの指示操作により指定された画像を、ハードコピーとして出力する手段で、銀塩写真プリンタ、インクジェットプリンタ、電子写真プリンタ、熱昇華プリンタ、熱溶融プリンタ等、用途に適合する適宜な物を使用できる。
【００２７】
情報媒体手段Ｂは、フロッピー（Ｒ）ディスクドライブ、ＣＤライター、ＤＶＤライター、ＭＯディスクドライブ等、用途に適合する適宜な物を使用できる。
【００２８】
通信手段Ｒは、前記操作手段Ｔの指示操作により指定された画像を、通信回線を介して他の画像処理システムに転送するための通信用インターフェイスであり、接続する通信回線に適合する仕様の装置が使用される。
【００２９】
図２は、撮影手段Ｉにより取り込んだ画像から、特徴点検出手段１０により顔の外眼角点ａ、ｂと口角点ｃ、ｄを検出して、これらの点を基に、作図手段２０により作図した矩形（図中、点線）を示す図である。なお、眼角点とは、上まぶたと下まぶたの交点を指し、外眼角点とは前記交点の目尻側の点を指す。同様に口角点とは、上唇と下唇の交点を指す。
【００３０】
作図手段２０は、先ず、外眼角点を結ぶ線分ａｂを作図する。次いで、線分ａｂに並行で、口角点ｃ、ｄを通る直線を作る。但し、線分ａｂに平行な直線が口角点ｃ、ｄのどちらか一方の点しか通せない場合には、線分ｃｄの中点を通る直線を作る。このようにして作られた直線に、外眼角点ａ、ｂから垂線を下ろし、直線との交点ｆとｅとを求め、矩形ａｂｅｆが作図される。なお、線分ａｂ、及び線分ｅｆの長さをｘ、線分ａｆ、及び線分ｂｅの長さをｙとする。
【００３１】
図３は、撮影手段Ｉにより取り込んだ画像から、特徴点検出手段１０により顔の外眼角点と口角点を検出して、これらの点から作図手段２０の作図により得られた矩形ａｂｅｆの長辺（ｘ）と短辺（ｙ）の比を求め、この比が設定された範囲内に入っているか否かの判定をする判定手段３０により判定を行い、設定された範囲内に入ったと判定された時に、当該の顔画像を記憶手段Ｍに保存する流れを示すフローチャートである。
【００３２】
制御手段Ｃからの信号により、撮影手段Ｉは、被写体となっている人物の顔画像を取り込み、顔画像データとして、制御手段Ｃに送る（ステップＳ１）。特徴点検出手段１０は、前記画像データから、顔画像中の目と口を検出して、次いで、検出した目と口から目尻の位置（外眼角点）と、唇の両端の位置（口角点）を特定する（ステップＳ２）。
【００３３】
作図手段２０は、既に説明したような手順で、図２の点線にて示す矩形を顔画像中に作成する（ステップＳ３）。
【００３４】
表情判定手段は、前記矩形の長辺（ａｂ、あるいはｅｆ）と短辺（ａｆ、あるいはｂｅ）の長さｘ、及びｙを求め、得られた値を基に、長辺と短辺の比Ｒ（Ｒ＝ｘ／ｙ）を求める（ステップＳ４）。次いで、記憶手段Ｍ内のテーブルに予め設定されている数値Ｒ１、及びＲ２を読み出し、得られた前記Ｒの値が、Ｒ１＜Ｒ＜Ｒ２であるか否かを判定する（ステップＳ５）。
【００３５】
もし、Ｒが上記の範囲内であった場合には、笑顔の顔画像であると判定して（ステップＳ５：Ｙ）、その画像データを記憶手段Ｍの所定のファイルに保存して（ステップ６）、音声出力手段Ｓにシャッター音を出力する（ステップ７）。もし範囲外であった場合には（ステップＳ５：Ｎ）、再度、撮影手段Ｉから画像の取り込みを行い（ステップＳ１）、既に述べたステップＳ２からＳ５の処理を繰り返す。
【００３６】
なお、本フローチャートによる説明では、顔画像の取り込みは撮影手段Ｉから行うとしているが、前記撮影手段Ｉの代わりに、顔画像情報を保存している記憶手段Ｍに設けられたファイルから、逐次顔画像情報を読み出してもよい。
【００３７】
また、複数の撮影手段を設けて、一つの撮影手段により表情の判定を行い、得られた判定結果を基に、他の撮影手段のシャッターを切るように構成することもできる。この場合には、前記他の撮影手段はデジタル式のカメラに限定されず、アナログ方式のカメラも使用可能である。
【００３８】
図４は、成人男女２０名を対象にして、無表情の顔と笑顔の顔とを撮影して、得られた顔画像から上述したＲを求めて、その値の頻度をヒストグラムとして表したものである。
この場合、無表情の顔画像の場合にはＲ＝１．４０±０．０７であり（不図示）、笑顔の場合にはＲ＝１．６３±０．０４という結果が得られた。
これは、笑顔に表れる矩形のアスペクト比（＝Ｒ）が、口角を引き上げる大頬骨筋の動きで決められることによる。
【００３９】
以上の実験結果より、Ｒが在る範囲内に入っている顔画像は、笑顔の顔画像である可能性が高いことが判る。
【図面の簡単な説明】
【００４０】
【図１】画像処理システムの制御関係を示すブロック図である。
【図２】作図された矩形を説明する図である。
【図３】表情判定の流れを示すフローチャートである。
【図４】笑顔における矩形のアスペクト比の出現頻度を示すヒストグラムである。
【符号の説明】
【００４１】
１０  特徴抽出手段
２０  作図手段
３０  判定手段
Ｂ  情報媒体記録手段
Ｃ  制御手段
Ｄ  画像表示手段
Ｉ  撮影手段
Ｍ  記憶手段
Ｐ  画像形成手段
Ｒ  通信手段
Ｓ  音声出力手段
Ｔ  操作手段
【図１】
2005266984.tif 000003
【図２】
2005266984.tif 000004
【図３】
2005266984.tif 000005
【図４】
2005266984.tif 000006