(57)【要約】【構成】キー入力装置４０に向けて画像抽出操作が行われると、ＣＰＵ３８は、対象人物の顔部を表す顔画像を指定画像から探索し、探知された顔画像の表情を対象人物の人種および／またはカメラ所有者（＝操作者）の人種に応じて異なる要領で定義する。ＣＰＵ３８はさらに、定義された表情に応じて異なる出力処理を指定画像に施す。【効果】画像出力性能が向上する。【選択図】図２
2013046374.tif 000002
【特許請求の範囲】
【請求項１】
対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索手段、
前記探索手段によって探知された顔画像の表情を前記対象人物の人種および／または前記操作者の人種に応じて異なる要領で定義する定義手段、および
前記定義手段によって定義された表情に応じて異なる出力処理を前記指定画像に施す処理手段を備える、画像処理装置。
【請求項２】
前記定義手段は前記探索手段によって探知された顔画像を形成する複数の部位の特徴量に前記対象人物の人種および／または前記操作者の人種に応じて異なる重み付け演算を施す演算手段を含み、
前記処理手段は前記演算手段によって算出された演算値の大きさに応じて異なる態様で前記指定画像を出力する処理を前記探索手段の探知に対応して実行する画像出力手段を含む、請求項１記載の画像処理装置。
【請求項３】
前記画像出力手段は前記演算値の大きさに従う優先度を前記指定画像に割り当てる割り当て手段を含む、請求項２記載の画像処理装置。
【請求項４】
記録媒体に記録された複数の画像の各々を前記探索手段の処理のために指定する指定手段をさらに備え、
前記画像出力手段は前記割り当て手段によって割り当てられた優先度に従う順序で前記指定画像を再生する再生手段を含む、請求項２または３記載の画像処理装置。
【請求項５】
前記定義手段は前記対象人物の人種および／または前記操作者の人種に対応する変形関数を複数の人種にそれぞれ対応する複数の変形関数に基づいて取得する取得手段を含み、
前記処理手段は前記探索手段よって探知された顔画像が前記取得手段によって取得された変形関数を参照して変形されるように前記指定画像を加工する加工手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記取得手段によって取得された変形関数は笑顔度と変形度との関係を示す関数に相当し、
前記定義手段は、所望の笑顔度を入力する入力手段、および前記入力手段によって入力された笑顔度に対応する変形度を前記変形関数に基づいて算出する変形度算出手段をさらに含み、
前記加工手段は前記算出手段によって算出された変形度に従って前記顔画像を変形する、請求項５記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ、
前記探索ステップによって探知された顔画像の表情を前記対象人物の人種および／または前記操作者の人種に応じて異なる要領で定義する定義ステップ、および
前記定義ステップによって定義された表情に応じて異なる出力処理を前記指定画像に施す処理ステップを実行させるための、画像処理プログラム。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ、
前記探索ステップによって探知された顔画像の表情を前記対象人物の人種および／または前記操作者の人種に応じて異なる要領で定義する定義ステップ、および
前記定義ステップによって定義された表情に応じて異なる出力処理を前記指定画像に施す処理ステップを備える、画像処理方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ、
前記探索ステップによって探知された顔画像の表情を前記対象人物の人種および／または前記操作者の人種に応じて異なる要領で定義する定義ステップ、および
前記定義ステップによって定義された表情に応じて異なる出力処理を前記指定画像に施す処理ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ、
前記探索ステップによって探知された顔画像の表情を前記対象人物の人種および／または前記操作者の人種に応じて異なる要領で定義する定義ステップ、および
前記定義ステップによって定義された表情に応じて異なる出力処理を前記指定画像に施す処理ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に対象人物の感情を検出する機能を有する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、被験者の横隔膜の振動が検出手段によって検出される。被験者が笑っているか否かは、検出されたデータに基づいて判別される。笑いの身体的直接運動である横隔膜の振動の検出データに基づいて判別することで、笑い声にならないような微小な笑いも検出することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１３１３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、背景技術では、検出データが画像出力処理に反映されることはなく、出力性能に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、画像出力性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索手段(S43~S45)、探索手段によって探知された顔画像の表情を対象人物の人種および／または操作者の人種に応じて異なる要領で定義する定義手段(S51, S77, S91~S105)、および定義手段によって定義された表情に応じて異なる出力処理を指定画像に施す処理手段(S55, S63~S67, S71~S75, S107)を備える。
【０００７】
好ましくは、定義手段は探索手段によって探知された顔画像を形成する複数の部位の特徴量に対象人物の人種および／または操作者の人種に応じて異なる重み付け演算を施す演算手段(S51)を含み、処理手段は演算手段によって算出された演算値の大きさに応じて異なる態様で指定画像を出力する処理を探索手段の探知に対応して実行する画像出力手段(S55, S63~S67, S71~S75)を含む。
【０００８】
或る局面では、画像出力手段は演算値の大きさに従う優先度を指定画像に割り当てる割り当て手段(S55, S63)を含む。
【０００９】
他の局面では、記録媒体(36)に記録された複数の画像の各々を探索手段の処理のために指定する指定手段(S41, S57~S59)がさらに備えられ、画像出力手段は割り当て手段によって割り当てられた優先度に従う順序で指定画像を再生する再生手段(S65~S67, S71~S75)を含む。
【００１０】
好ましくは、定義手段は対象人物の人種および／または操作者の人種に対応する変形関数を複数の人種にそれぞれ対応する複数の変形関数に基づいて取得する取得手段(S91~S101)を含み、処理手段は探索手段よって探知された顔画像が取得手段によって取得された変形関数を参照して変形されるように指定画像を加工する加工手段(S107)を含む。
【００１１】
さらに好ましくは、取得手段によって取得された変形関数は笑顔度と変形度との関係を示す関数に相当し、定義手段は、所望の笑顔度を入力する入力手段(S77)、および入力手段によって入力された笑顔度に対応する変形度を変形関数に基づいて算出する変形度算出手段(S103~S105)をさらに含み、加工手段は算出手段によって算出された変形度に従って顔画像を変形する。
【００１２】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(38)に、対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ(S43~S45)、探索ステップによって探知された顔画像の表情を対象人物の人種および／または操作者の人種に応じて異なる要領で定義する定義ステップ(S51, S77, S91~S105)、および定義ステップによって定義された表情に応じて異なる出力処理を指定画像に施す処理ステップ(S55, S63~S67, S71~S75, S107)を実行させるための、画像処理プログラムである。
【００１３】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ(S43~S45)、探索ステップによって探知された顔画像の表情を対象人物の人種および／または操作者の人種に応じて異なる要領で定義する定義ステップ(S51, S77, S91~S105)、および定義ステップによって定義された表情に応じて異なる出力処理を指定画像に施す処理ステップ(S55, S63~S67, S71~S75, S107)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(42)に保存された内部制御プログラムに従う処理を実行するプロセッサ(38)を備える画像処理装置(10)に供給される外部制御プログラムであって、対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ(S43~S45)、探索ステップによって探知された顔画像の表情を対象人物の人種および／または操作者の人種に応じて異なる要領で定義する定義ステップ(S51, S77, S91~S105)、および定義ステップによって定義された表情に応じて異なる出力処理を指定画像に施す処理ステップ(S55, S63~S67, S71~S75, S107)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(44)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(42)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(38)を備える画像処理装置であって、外部制御プログラムは、対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する探索ステップ(S43~S45)、探索ステップによって探知された顔画像の表情を対象人物の人種および／または操作者の人種に応じて異なる要領で定義する定義ステップ(S51, S77, S91~S105)、および定義ステップによって定義された表情に応じて異なる出力処理を指定画像に施す処理ステップ(S55, S63~S67, S71~S75, S107)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
対象人物の顔の表情が対象人物の感情に応じて変化する場合、変化の態様は対象人物の人種によって異なる。また、対象人物を観察する観者が対象人物の顔の表情の変化から受け取る対象人物の感情は、観者の人種によって異なる。
【００１７】
そこで、この発明では、対象人物の人種および／または操作者の人種に応じて異なる要領で対象人物の顔画像の表情を定義し、定義された表情に応じて異なる出力処理を指定画像に施すようにしている。これによって、画像出力性能が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】（Ａ）は仕向け地情報レジスタの構成の一例を示す図解図であり、（Ｂ）はカメラ所有者情報レジスタの構成の一例を示す図解図であり、（Ｃ）は人物情報レジスタの構成の一例を示す図解図である。
【図４】（Ａ）は登録人物メニューの一例を示す図解図であり、（Ｂ）は再生順序メニューの一例を示す図解図である。
【図５】検索リストの構成の一例を示す図解図である。
【図６】（Ａ）は画像データの一例を示す図解図であり、（Ｂ）は画像データの他の一例を示す図解図であり、（Ｃ）は画像データのその他の一例を示す図解図であり、（Ｄ）は画像データのさらにその他の一例を示す図解図であり、（Ｅ）は画像データの他の一例を示す図解図である。
【図７】（Ａ）は図６（Ａ）に示す画像データの一部を示す図解図であり、（Ｂ）は図６（Ｂ）に示す画像データの一部を示す図解図であり、（Ｃ）は図６（Ｃ）に示す画像データの一部を示す図解図であり、（Ｄ）は図６（Ｄ）に示す画像データの一部を示す図解図であり、（Ｅ）は図６（Ｅ）に示す画像データの一部を示す図解図である。
【図８】（Ａ）は画像データのその他の一例を示す図解図であり、（Ｂ）は画像データのさらにその他の一例を示す図解図であり、（Ｃ）は画像データの他の一例を示す図解図であり、（Ｄ）は画像データのその他の一例を示す図解図であり、（Ｅ）は画像データのさらにその他の一例を示す図解図である。
【図９】（Ａ）は図８（Ａ）に示す画像データの一部を示す図解図であり、（Ｂ）は図８（Ｂ）に示す画像データの一部を示す図解図であり、（Ｃ）は図８（Ｃ）に示す画像データの一部を示す図解図であり、（Ｄ）は図８（Ｄ）に示す画像データの一部を示す図解図であり、（Ｅ）は図８（Ｅ）に示す画像データの一部を示す図解図である。
【図１０】（Ａ）は笑顔度と目領域の変形量との関係の一例を示すグラフであり、（Ｂ）は笑顔度と口領域の変形量との関係の一例を示すグラフである。
【図１１】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１８】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２１】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。探索手段１は、対象人物の顔部を表す顔画像を操作者の操作に応答して指定画像から探索する。定義手段２は、探索手段１によって探知された顔画像の表情を対象人物の人種および／または操作者の人種に応じて異なる要領で定義する。処理手段３は、定義手段２によって定義された表情に応じて異なる出力処理を指定画像に施す。
【００２２】
対象人物の顔の表情が対象人物の感情に応じて変化する場合、変化の態様は対象人物の人種によって異なる。また、対象人物を観察する観者が対象人物の顔の表情の変化から受け取る対象人物の感情は、観者の人種によって異なる。
【００２３】
そこで、この実施例では、対象人物の人種および／または操作者の人種に応じて異なる要領で対象人物の顔画像の表情を定義し、定義された表情に応じて異なる出力処理を指定画像に施すようにしている。これによって、画像出力性能が向上する。
［実施例］
【００２４】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａ〜１８ｃによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。
【００２５】
カメラモードが選択されたとき、ＣＰＵ３８は、動画取り込み処理を実行するべく、ドライバ１８ｃに露光動作および電荷読み出し動作の繰り返しを命令する。ドライバ１８ｃは、周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、イメージャ１６の撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２６】
信号処理回路２０は、イメージャ１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路２２を通してＳＤＲＡＭ２４のＹＵＶ画像エリア２４ａに書き込まれる。ＬＣＤドライバ２６は、ＹＵＶ画像エリア２４ａに格納された画像データをメモリ制御回路２２を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、撮像面で捉えられたシーンを表すリアルタイム動画像（スルー画像）がモニタ画面に表示される。
【００２７】
信号処理回路２０はまた、画像データを形成するＹデータをＣＰＵ３８に与える。ＣＰＵ３８は、与えられたＹデータに簡易ＡＥ処理を施して適正ＥＶ値を算出し、算出された適正ＥＶ値を定義する絞り量および露光時間をドライバ１８ｂおよび１８ｃにそれぞれ設定する。これによって、イメージャ１６から出力される生画像データひいてはＬＣＤモニタ２８に表示されるスルー画像の明るさが適度に調整される。
【００２８】
キー入力装置４０に向けて記録操作が行われると、ＣＰＵ３８は、信号処理回路２０から与えられたＹデータに厳格ＡＥ処理を施して最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間は、上述と同様、ドライバ１８ｂおよび１８ｃにそれぞれ設定される。ＣＰＵ３８はまた、信号処理回路２０から与えられたＹデータの高周波成分にＡＦ処理を施す。これによってフォーカスレンズ１２が合焦点に配置される。
【００２９】
厳格ＡＦ処理が完了すると、ＣＰＵ３８は、静止画取り込み処理を実行するとともに、記録処理の実行をメモリＩ／Ｆ３４に命令する。厳格ＡＦ処理が完了した時点のシーンを表す画像データは、静止画取り込み処理によってＹＵＶ画像エリア２４ａから静止画像エリア２４ｂに退避される。記録処理の実行を命令されたメモリＩ／Ｆ３４は、静止画像エリア２４ｂに退避された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データを収めた画像ファイルを記録媒体３６に記録する。
【００３０】
再生モードが選択されると、ＣＰＵ３８は、記録媒体３６に記録された最新の画像ファイルを指定し、指定された画像ファイルに注目した再生処理の実行をメモリＩ／Ｆ３４およびＬＣＤドライバ２６に命令する。メモリＩ／Ｆ３４は、指定された画像ファイルの画像データを記録媒体３６から読み出し、読み出された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４の静止画像エリア２４ｂに書き込む。
【００３１】
ＬＣＤドライバ２６は、静止画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、指定画像ファイルの画像データに基づく再生画像がＬＣＤモニタ２８に表示される。キー入力装置４０に向けて送り／戻し操作が行われると、ＣＰＵ３８は、後続の画像ファイルまたは先行する画像ファイルを指定する。指定された画像ファイルは上述と同様の再生処理を施され、この結果、再生画像が更新される。
【００３２】
なお、再生モードにおける処理の前提として、図３（Ａ）に示すカメラ仕向け地情報レジスタＲＧＳＴ１，図３（Ｂ）に示すカメラ所有者情報レジスタＲＧＳＴ２および図３（Ｃ）に示す人物情報レジスタＲＧＳＴ３がフラッシュメモリ４２に準備される。
【００３３】
カメラ仕向け地情報レジスタＲＧＳＴ１には、ディジタルカメラ１０の仕向け地（＝国名）を示す情報が初期的に登録される。カメラ所有者情報レジスタＲＧＳＴ２には、国籍や名前などのカメラ所有者の人物情報がユーザ操作によって登録される。人物情報レジスタＲＧＳＴ３には、所望の人物に関する顔画像の特徴量，国籍，名前などの人物情報がユーザ操作によって登録される。
【００３４】
再生モードが選択された状態でキー入力装置４０に向けて画像抽出操作が行われると、ＣＰＵ３８は、人物情報レジスタＲＧＳＴ１に１または２以上の人物名が登録されていることを条件として、これらの人物名が列挙された人物情報メニューの表示をキャラクタジェネレータ３０に命令する。
【００３５】
キャラクタジェネレータ３０は命令に従うキャラクタデータをＬＣＤドライバ２６に与え、ＬＣＤドライバ２６は与えられたキャラクタデータに基づいてＬＣＤモニタ２８を駆動する。この結果、登録人物メニューが図４（Ａ）に示す要領でモニタ画面に表示される。
【００３６】
モニタ画面に対するタッチ操作はタッチセンサ３２によって検知され、検知結果はＣＰＵ３８に与えられる。登録人物メニューに列挙された人物名の１つがタッチされると、対象人物が選択されたとみなされる。ＣＰＵ３８は、このタッチ操作に応答して再生順序メニューの表示をキャラクタジェネレータ３０に命令する。キャラクタジェネレータ３０は命令に従うキャラクタデータをＬＣＤドライバ２６に与え、ＬＣＤドライバ２６は与えられたキャラクタデータに基づいてＬＣＤモニタ２８を駆動する。この結果、再生順序メニューが図４（Ｂ）に示す要領でモニタ画面に表示される。
【００３７】
再生順序メニューの“笑顔順”がタッチされると、ＣＰＵ３８は、カメラ所有者の人種情報および対象人物の人種情報を以下の要領で設定する。
【００３８】
カメラ所有者の国籍がカメラ所有者情報レジスタＲＧＳＴ２に登録されていれば、登録された国籍に基づいてカメラ所有者の人種情報が設定される。一方、カメラ所有者の国籍がレジスタＲＧＳＴ２に登録されていなければ、仕向け地情報レジスタＲＧＳＴ１に登録された国名に基づいてカメラ所有者の人種情報が設定される。また、対象人物の国籍が人物情報レジスタＲＧＳＴ３に登録されていれば、登録された国籍に基づいて対象人物の人種情報が設定される。一方、対象人物の国籍が人物情報レジスタＲＧＳＴ３に登録されていなければ、カメラ所有者の人種情報と同じ情報が対象人物の人種情報として設定される。こうして設定された人種情報は、“コーカソイド”，“ネグロイド”，“オーストロイド”および“モンゴロイド”のいずれか１つを示す。
【００３９】
なお、再生順序メニュー上で“番号順”がタッチされた場合、上述のような人種情報設定処理は省略される。
【００４０】
ＣＰＵ３２は続いて、記録媒体３８内の１または２以上の画像ファイルに収められた画像データをメモリＩ／Ｆ３４を通して記録媒体３６から読み出し、読み出された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｃに展開する。ＣＰＵ３２はさらに、対象人物の顔画像の特徴量を人物情報レジスタＲＧＳＴ２から検出し、検出された特徴量に対する符合度が基準を上回る特徴量を有する顔画像をワークエリア２４ｃに展開された画像データから探索する。
【００４１】
探索対象の顔画像が探知されると、ＣＰＵ３２は、探知された顔画像に対して笑顔度推定処理を施し、これによって算出された笑顔度を探索対象の画像データを収めた画像ファイルのファイル名とともに図５に示す検索リストＬＳＴ１に登録する。検索リストＬＳＴ１に登録された１または２以上のファイル名は、全ての画像ファイルに対する上述の処理が完了した後に、笑顔度が大きい順にソートされる。
【００４２】
笑顔度推定処理は、以下の要領で実行される。まず、対象人物の目領域の特徴量が検出され、検出された特徴量に基づいて笑顔度が算出される。算出された笑顔度は、変数Ｖｅｙｅｓに設定される。次に、対象人物の口領域の特徴量が検出され、検出された特徴量に基づいて笑顔度が算出される。算出された笑顔度は、変数Ｖｍｏｕｔｈに設定される。さらに、カメラ所有者の人種情報を参照して重み付け量αｅおよびαｍが決定され、対象人物の人種情報を参照して重み付け量βｅおよびβｍが決定される。
【００４３】
カメラ所有者の人種情報が“モンゴロイド”であるときは、αｅ＞αｍの関係が成立するように重み付け量αｅおよびαｍが決定される。カメラ所有者の人種情報が“コーカソイド”，“ネグロイド”または“オーストロイド”であるときは、αｅ＜αｍの関係が成立するように重み付け量αｅおよびαｍが決定される。
【００４４】
同様に、対象人物の人種情報が“モンゴロイド”であるときは、βｅ＞βｍの関係が成立するように重み付け量βｅおよびβｍが決定される。対象人物の人種情報が“コーカソイド”，“ネグロイド”または“オーストロイド”であるときは、βｅ＜βｍの関係が成立するように重み付け量βｅおよびβｍが決定される。
【００４５】
上述のような重み付け量の決定処理は、アジア人は目の形を手掛かりとして顔の表情を解釈する傾向にある一方、欧米人は口の形を手掛かりとして顔の表情を解釈する傾向にあることを踏まえたものである。
【００４６】
笑顔度は、こうして算出ないし決定された笑顔度ＶｅｙｅｓおよびＶｍｏｕｔｈと重み付け量αｅ，αｍ，βｅおよびβｍとを数１に適用することで算出される。
［数式１］
笑顔度＝［αｅ＊Ｖｅｙｅｓ＋αｍ＊Ｖｍｏｕｔｈ］＊Ｗα＋［βｅ＊Ｖｅｙｅｓ＋βｍ＊Ｖｍｏｕｔｈ］＊Ｗβ
Ｗα：定数
Ｗβ：定数
【００４７】
図６（Ａ）〜図６（Ｅ）に示す画像データＪ１〜Ｊ５を収めた画像ファイルと図８（Ａ）〜図８（Ｅ）に示す画像データＥ１〜Ｅ５を収めた画像ファイルとが記録媒体３６に記録されていることを想定する。ここで、画像データＪ１〜Ｊ５に現れた５つの顔画像はそれぞれ図７（Ａ）〜図７（Ｅ）に示す表情を有し、画像データＥ１〜Ｅ５に現れた５つの顔画像はそれぞれ図９（Ａ）〜図９（Ｅ）に示す表情を有する。
【００４８】
図７（Ａ）〜図７（Ｅ）によれば、目領域については、画像Ｊ１の変形量，画像Ｊ２の変形量および画像Ｊ３の変形量が互いに略一致しつつ、画像Ｊ５→画像Ｊ４→画像Ｊ３→画像Ｊ２→画像Ｊ１の順で変形量が減少する。これに対して、口領域については、画像Ｊ３の変形量および画像Ｊ５の変形量が互いに略一致し、画像Ｊ２の変形量および画像Ｊ４の変形量が互いに略一致しつつ、画像Ｊ５→画像Ｊ３→画像Ｊ４→画像Ｊ２→画像Ｊ１の順で変形量が減少する。
【００４９】
図９（Ａ）〜図９（Ｅ）によれば、目領域については、画像Ｅ１の変形量，画像Ｅ２の変形量および画像Ｅ３の変形量が互いに略一致し、画像Ｅ４の変形量および画像Ｅ５の変形量が互いに略一致しつつ、画像Ｅ５→画像Ｅ４→画像Ｅ３→画像Ｅ２→画像Ｅ１の順で変形量が減少する。これに対して、口領域については、画像Ｅ３の変形量および画像Ｅ５の変形量が互いに略一致し、画像Ｅ２の変形量および画像Ｅ４の変形量が互いに略一致しつつ、画像Ｅ５→画像Ｅ３→画像Ｅ４→画像Ｅ２→画像Ｅ１の順で変形量が減少する。
【００５０】
これを踏まえて、カメラ所有者情報レジスタＲＧＳＴ２に登録された国籍が“日本”を示し、登録人物メニュー上で“ヒロシ”が選択され、そして再生順序メニューで“笑顔順”が選択された場合、検索リストＬＳＴ１に登録されたファイル名は画像Ｊ５→画像Ｊ４→画像Ｊ３→画像Ｊ２→画像Ｊ１の順でソートされる。ソートされた順序には、口領域の変形量よりも目領域の変形量が大きく反映される。
【００５１】
また、カメラ所有者情報レジスタＲＧＳＴ２に登録された国籍が“米国”を示し、かつ登録人物メニュー上で“ブラウン”が選択されかつ再生順序メニューで“笑顔順”が選択された場合、検索リストＬＳＴ１に登録されたファイル名は画像Ｅ５→画像Ｅ３→画像Ｅ４→画像Ｅ２→画像Ｅ１の順でソートされる。ソートされた順序には、目領域の変形量よりも口領域の変形量が大きく反映される。
【００５２】
なお、再生順序メニュー上で“番号順”が選択されたときは、笑顔度“０”が探索対象の画像データを収めた画像ファイルのファイル名とともに検索リストＬＳＴ１に登録される。また、検索リストＬＳＴ１に登録されたファイル名のソートは省略される。
【００５３】
ＣＰＵ３２はその後、検索リストＬＳＴ１の先頭カラムに記述されたファイル名を有する画像ファイルを指定し、指定された画像ファイルに注目した再生処理を実行する。この結果、再生画像がＬＣＤモニタ２８に表示される。
【００５４】
キー入力装置４０に向けて送り／戻し操作が行われると、ＣＰＵ３２は、検索リストＬＳＴ１の次カラムまたは前カラムに記述されたファイル名を有する画像ファイルを指定し、指定された画像ファイルに注目した再生処理を実行する。この結果、再生画像が更新される。
【００５５】
キー入力装置４０に向けて笑顔度指定操作が行われると、ＣＰＵ３２は、再生画像に現れた対象人物の顔画像を指定笑顔度を参照して変形する。画像変形処理は、図１０（Ａ）に示す２つの直線Ｌｅ１〜Ｌｅ２にそれぞれ相当する２つの笑顔変形関数と、図１０（Ｂ）に示す２つの直線Ｌｍ１〜Ｌｍ２にそれぞれ相当する２つの笑顔変形関数とを参照して、以下の要領で実行される。なお、図１０（Ａ）に示す２つの笑顔変形関数は目領域に対応し、図１０（Ｂ）に示す２つの笑顔変形関数は口領域に対応する。
【００５６】
まず、カメラ使用者の人種情報に対応する笑顔変形関数が、図１０（Ａ）に示す２つの笑顔変形関数の中から選択され、かつ図１０（Ｂ）に示す２つの笑顔変形関数の中から選択される。同様に、対象人物の人種情報に対応する笑顔変形関数が、図１０（Ａ）に示す２つの笑顔変形関数の中から選択され、かつ図１０（Ｂ）に示す２つの笑顔変形関数の中から選択される。
【００５７】
目領域について特定された２つの笑顔変形関数は、カメラ使用者の人種情報および対象人物の人種情報を参照した重み付け演算を施される。口領域について特定された２つの笑顔変形関数もまた、カメラ使用者の人種情報および対象人物の人種情報を参照した重み付け演算を施される。これによって、目領域に関する単一の笑顔変形関数と口領域に関する単一の笑顔変形関数とが得られる。
【００５８】
続いて、指定笑顔度に対応する目領域の笑顔変形量が目領域の笑顔変形関数を参照して算出され、指定笑顔度に対応する口領域の笑顔変形量を口領域の笑顔変形関数を参照して算出される。静止画像エリア２４ｂ上の画像データは、こうして算出された笑顔変形量に従って対象人物の顔画像が変形されるように加工される。ＬＣＤモニタ２８には、加工された画像データに基づく再生画像が表示される。
【００５９】
したがって、カメラ使用者の人種情報および対象人物の人種情報がいずれも“モンゴロイド”であれば、図１０（Ａ）〜図１０（Ｂ）に示す直線Ｌｅ１およびＬｍ１を参照して顔画像が変形される。目領域の変形量は、口領域の変形量よりも大きくなる。これに対して、カメラ使用者の人種情報および対象人物の人種情報がいずれも“コーカソノイド”であれば、図１０（Ａ）〜図１０（Ｂ）に示す直線Ｌｅ２およびＬｍ２を参照して顔画像が変形される。目領域の変形量は、口領域の変形量よりも小さくなる。
【００６０】
ＣＰＵ３８は、再生モードが選択されたとき図１１〜図１７に示す再生タスクを実行する。なお、ＣＰＵ３８は、μＩＴＲＯＮのようなマルチタスクＯＳの上で複数のタスクを並列的に実行するＣＰＵである。また、ＣＰＵ３８によって実行されるタスクに相当する制御プログラムはフラッシュメモリ４２に記憶される。
【００６１】
図１１を参照して、ステップＳ１では記録媒体３６に記録された最新の画像ファイルを指定し、ステップＳ３では指定画像ファイルに注目した再生処理をメモリＩ／Ｆ３４およびＬＣＤドライバ２６に命令する。
【００６２】
メモリＩ／Ｆ３４は、指定画像ファイルに収められた画像データを記録媒体３６から読み出し、読み出された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４の静止画像エリア２４ｂに書き込む。ＬＣＤドライバ２６は、静止画像エリア２４ｂに格納された画像データをメモリ制御回路２２を通して読み出し、読み出された画像データに基づいてＬＣＤモニタ２８を駆動する。この結果、再生画像がＬＣＤモニタ２８に表示される。
【００６３】
ステップＳ５では画像抽出操作が行われたか否かを判別し、ステップＳ７では送り／戻し操作が行われたか否かを判別する。ステップＳ７の判別結果がＹＥＳであればステップＳ９に進み、記録媒体３６に記録された次の画像ファイルまたは前の画像ファイルを指定する。指定処理が完了すると、ステップＳ３に戻る。この結果、別の再生画像がＬＣＤモニタ２８に表示される。
【００６４】
ステップＳ５の判別結果がＹＥＳであればステップＳ１１に進み、１または２以上の人物が人物情報レジスタＲＧＳＴ３に登録されているか否かを判別する。判別結果がＮＯであれば、ステップＳ５に戻る。これに対して、判別結果がＹＥＳであれば、人物情報レジスタＲＧＳＴ３に登録された１または２以上の人物名を検出し、検出された人物名が列挙された登録人物メニューの表示をキャラクタジェネレータ３０に命令する。
【００６５】
キャラクタジェネレータ３０は命令に従うキャラクタデータをＬＣＤドライバ２６に与え、ＬＣＤドライバ２６は与えられたキャラクタデータに基づいてＬＣＤモニタ２８を駆動する。この結果、登録人物メニューが図４（Ａ）に示す要領でモニタ画面に表示される。
【００６６】
ステップＳ１５では、対象人物が選択されたか否かをタッチセンサ３２の出力に基づいて判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ１７に進み、再生順序メニューの表示をキャラクタジェネレータ３０に命令する。キャラクタジェネレータ３０は命令に従うキャラクタデータをＬＣＤドライバ２６に与え、ＬＣＤドライバ２６は与えられたキャラクタデータに基づいてＬＣＤモニタ２８を駆動する。この結果、再生順序メニューが図４（Ｂ）に示す要領でモニタ画面に表示される。
【００６７】
ステップＳ１９では再生順序が選択されたか否かをタッチセンサ３２の出力に基づいて判別し、判別結果がＹＥＳであれば選択された順序が“笑顔順”および“番号順”のいずれであるかをステップＳ２１で判別する。選択された順序が“番号順”であれば、ステップＳ２３で変数Ｏｒｄｅｒ＿Ｓｍｉｌｅを“０”に設定してからステップＳ３９に進む。これに対して、選択された順序が“笑顔順”であれば、ステップＳ２５で変数Ｏｒｄｅｒ＿Ｓｍｉｌｅを“１”に設定し、ステップＳ２７〜Ｓ３７の処理を実行してからステップＳ３９に進む。
【００６８】
ステップＳ２７では、カメラ所有者の国籍がカメラ所有者情報レジスタＲＧＳＴ２に登録されているか否かを判別する。判別結果がＹＥＳであればステップＳ２９に進み、登録された国籍に基づいてカメラ所有者の人種情報を設定する。一方、判別結果がＮＯであればステップＳ３１に進み、仕向け地情報レジスタＲＧＳＴ１に登録された国名に基づいてカメラ所有者の人種情報を設定する。
【００６９】
ステップＳ３３では、登録人物メニュー上で選択された対象人物の国籍が人物情報レジスタＲＧＳＴ１に登録されているか否かを判別する。判別結果がＹＥＳであればステップＳ３５に進み、登録された国籍に基づいて対象人物の人種情報を設定する。一方、判別結果がＮＯであればステップＳ３７に進み、ステップＳ２９またはＳ３１で設定されたカメラ所有者の人種情報と同じ情報を対象人物の人種情報として設定する。
【００７０】
こうして設定された人種情報は、“コーカソイド”，“ネグロイド”，“オーストロイド”および“モンゴロイド”のいずれか１つを示す。
【００７１】
ステップＳ３９では検索リストＬＳＴ１をクリアし、ステップＳ４１では変数Ｎを“１”に設定する。ステップＳ４３では、Ｎ番目の画像ファイルに収められた画像データをメモリＩ／Ｆ３４を通して記録媒体３６から読み出し、読み出された画像データをメモリ制御回路２２を通してＳＤＲＡＭ２４のワークエリア２４ｃに展開する。
【００７２】
ステップＳ４５では、対象人物の顔画像の特徴量を人物情報レジスタＲＧＳＴ３から検出し、検出された特徴量に対する符合度が基準を上回る特徴量を有する顔画像をワークエリア２４ｃに展開された画像データから探索する。ステップＳ４７では探索対象の顔画像が探知されたか否かを判別し、判別結果がＮＯであればそのままステップＳ５７に進む一方、判別結果がＹＥＳであればステップＳ４９〜Ｓ５５の処理を経てステップＳ５７に進む。
【００７３】
ステップＳ４９では変数Ｏｒｄｅｒ＿Ｓｍｉｌｅが“１”を示すか否かを判別し、判別結果がＹＥＳであればステップＳ５１で笑顔度推定処理を実行する一方、判別結果がＮＯであればステップＳ５３で笑顔度を“０”に設定する。ステップＳ５５では、Ｎ番目の画像ファイルのファイル名とステップＳ５１またはＳ５３の処理によって得られた笑顔度とを検索リストＬＳＴ１に登録する。
【００７４】
ステップＳ５７では、変数Ｎが最大値Ｎｍａｘ（＝画像ファイルの総数）に達したか否かを判別する。判別結果がＮＯであればステップＳ５９で変数ＮをインクリメントしてからステップＳ４３に戻る一方、判別結果がＹＥＳであればステップＳ６１に進む。
【００７５】
ステップＳ６１では変数Ｏｒｄｅｒ＿Ｓｍｉｌｅが“１”を示すか否かを判別し、判別結果がＮＯであればそのままステップＳ６５に進む一方、判別結果がＹＥＳであればステップＳ６３の処理を経てステップＳ６５に進む。ステップＳ６３では、検索リストＬＳＴ１に登録された１または２以上のファイル名を笑顔度が大きい順にソートする。
【００７６】
ステップＳ６５では検索リストＬＳＴ１の先頭カラムに記述されたファイル名を有する画像ファイルを指定し、ステップＳ６７では指定された画像ファイルに注目した再生処理をステップＳ３と同じ要領で実行する。この結果、再生画像がＬＣＤモニタ２８に表示される。ステップＳ６９では終了操作が行われたか否かを判別し、ステップＳ７１では送り／戻し操作が行われたか否かを判別し、ステップＳ７７では笑顔度指定操作が行われたか否かを判別する。ステップＳ６９の判別結果がＹＥＳであればステップＳ１に戻り、ステップＳ７１の判別結果がＹＥＳであればステップＳ７３に進み、ステップＳ７７の判別結果がＹＥＳであればステップＳ７９に進む。
【００７７】
ステップＳ７３では検索リストＬＳＴ１の次カラムまたは前カラムに記述されたファイル名を有する画像ファイルを指定し、ステップＳ７５では指定された画像ファイルに注目した再生処理をステップＳ３と同じ要領で実行する。この結果、再生画像が更新される。ステップＳ７５の処理が完了するとステップＳ６９に戻る。ステップＳ７９では、再生画像に現れた対象人物の顔画像を指定笑顔度を参照して変形する。変形処理が完了すると、ステップＳ６９に戻る。
【００７８】
図１３に示すステップＳ５１の笑顔度推定処理は、図１５に示すサブルーチンに従って実行される。ステップＳ８１では、対象人物の目領域の特徴量を検出し、検出された特徴量に基づいて笑顔度を算出する。算出された笑顔度は、変数Ｖｅｙｅｓに設定される。ステップＳ８３では、対象人物の口領域の特徴量を検出し、検出された特徴量に基づいて笑顔度を算出する。算出された笑顔度は、変数Ｖｍｏｕｔｈに設定される。
【００７９】
ステップＳ８５では、ステップＳ２９またはＳ３１で設定されたカメラ所有者の人種情報を参照して重み付け量αｅおよびαｍを決定する。ステップＳ８７では、ステップＳ３５またはＳ３７で設定された対象人物の人種情報を参照して重み付け量βｅおよびβｍを決定する。ステップＳ８９では、こうして算出ないし決定された笑顔度ＶｅｙｅｓおよびＶｍｏｕｔｈと重み付け量αｅ，αｍ，βｅおよびβｍを上述した数式１に適用して笑顔度を算出する。
【００８０】
図１４に示すステップＳ７９の画像変形処理は、図１６〜図１７に示すサブルーチンに従って実行される。ステップＳ９１ではカメラ使用者の人種情報に対応する目領域の笑顔変形関数を特定し、ステップＳ９３ではカメラ使用者の人種情報に対応する口領域の笑顔変形関数を特定する。ステップＳ９５では対象人物の人種情報に対応する目領域の笑顔変形関数を特定し、ステップＳ９７では対象人物の人種情報に対応する口領域の笑顔変形関数を特定する。
【００８１】
ステップＳ９９では、ステップＳ９１で特定された笑顔変形関数とステップＳ９５で特定された笑顔変形関数とにカメラ所有者の人種情報および対象人物の人種情報を参照した重み付け演算を施し、目領域に関する単一の笑顔変形関数を算出する。ステップＳ１０１では、ステップＳ９３で特定された笑顔変形関数とステップＳ９７で特定された笑顔変形関数とにカメラ所有者の人種情報および対象人物の人種情報を参照した重み付け演算を施し、口領域に関する単一の笑顔変形関数を算出する。
【００８２】
ステップＳ１０３では、指定笑顔度に対応する目領域の笑顔変形量をステップＳ９９で修正された笑顔変形関数を参照して算出する。ステップＳ１０５では、指定笑顔度に対応する口領域の笑顔変形量をステップＳ１０１で修正された笑顔変形関数を参照して算出する。ステップＳ１０７では、こうして算出された笑顔変形量に従って対象人物の顔画像が変形されるように、静止画像エリア２４ｂ上の画像データを加工する。
【００８３】
以上の説明から分かるように、キー入力装置４０に向けて画像抽出操作が行われると、ＣＰＵ３８は、対象人物の顔部を表す顔画像を指定画像から探索し(S43~S45)、探知された顔画像の表情を対象人物の人種および／またはカメラ所有者（＝操作者）の人種に応じて異なる要領で定義する(S51, S77, S91~S105)。ＣＰＵ３８はさらに、定義された表情に応じて異なる出力処理を指定画像に施す(S55, S63~S67, S71~S75, S107)。
【００８４】
対象人物の顔の表情が対象人物の感情に応じて変化する場合、変化の態様は対象人物の人種によって異なる。また、対象人物を観察する観者が対象人物の顔の表情の変化から受け取る対象人物の感情は、観者の人種によって異なる。
【００８５】
そこで、この実施例では、対象人物の人種および／またはカメラ所有者の人種に応じて異なる要領で対象人物の顔画像の表情を定義し、定義された表情に応じて異なる出力処理を指定画像に施すようにしている。これによって、画像出力性能が向上する。
【００８６】
なお、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４２に予め記憶される。しかし、図１８に示すように通信Ｉ／Ｆ４４をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４２に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８７】
また、この実施例では、ＣＰＵ３８によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８８】
１０  …ディジタルカメラ
１２  …フォーカスレンズ
１６  …イメージャ
２０  …信号処理回路
２４  …ＳＤＲＡＭ
３８  …ＣＰＵ
【図１】
2013046374.tif 000003
【図２】
2013046374.tif 000004
【図３】
2013046374.tif 000005
【図４】
2013046374.tif 000006
【図５】
2013046374.tif 000007
【図６】
2013046374.tif 000008
【図７】
2013046374.tif 000009
【図８】
2013046374.tif 000010
【図９】
2013046374.tif 000011
【図１０】
2013046374.tif 000012
【図１１】
2013046374.tif 000013
【図１２】
2013046374.tif 000014
【図１３】
2013046374.tif 000015
【図１４】
2013046374.tif 000016
【図１５】
2013046374.tif 000017
【図１６】
2013046374.tif 000018
【図１７】
2013046374.tif 000019
【図１８】
2013046374.tif 000020