(57)【要約】【課題】  入力された映像信号から人物が笑顔のシーンの動画ファイルを生成しようとした場合、作業者に大きな負荷がかかってしまうことがあった。【解決手段】  処理装置１００の笑顔判定部１０５は、入力された映像信号から検出された人物の特徴量から笑顔度を判定し（Ｓ３０４）、処理装置１００のファイル生成部１１０は、入力された映像信号のうち笑顔度が閾値よりも高い期間の映像信号を含む動画ファイルを生成する（Ｓ３１２）。【選択図】  図１
2012065013.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を入力する入力手段と、
前記入力された映像信号から検出された人物の特徴量から笑顔度を判定する判定手段と、
前記判定された笑顔度と閾値とを比較する比較手段と、
前記入力された映像信号のうち前記判定された笑顔度が前記閾値よりも高い期間を含む期間の映像信号から動画ファイルを生成する生成手段と
を有することを特徴とする処理装置。
【請求項２】
前記比較手段は、前記入力された映像信号から検出された複数の人物の笑顔度の合計値と前記閾値とを比較し、
前記生成手段は、前記複数の人物の笑顔度の合計値が前記閾値よりも高い期間を含む期間の映像信号から動画ファイルを生成することを特徴とする請求項１に記載の処理装置。
【請求項３】
前記比較手段は、前記入力された映像信号から検出された複数の人物の笑顔度の平均値と前記閾値とを比較し、
前記生成手段は、前記複数の人物の笑顔度の平均値が前記閾値よりも高い期間の映像信号を含む動画ファイルを生成することを特徴とする請求項１に記載の処理装置。
【請求項４】
前記比較手段は、前記入力された映像信号から検出された第１の人物と第２の人物のうち、笑顔度が高い第１の人物の笑顔度と前記閾値とを比較することを特徴とする請求項１に記載の処理装置。
【請求項５】
前記入力された映像信号から検出された複数の人物から人物を指定する指定手段を有し、
前記比較手段は、前記指定手段により指定された人物の笑顔度と前記閾値とを比較することを特徴とする請求項１に記載の処理装置。
【請求項６】
前記生成手段は、前記映像信号から検出された人物の笑顔度が第１の閾値に達してから、前記人物の笑顔度が前記第１の閾値とは異なる第２の閾値に達するまでの期間の映像信号から動画ファイルを生成することを特徴とする請求項１に記載の処理装置。
【請求項７】
前記検出された人物の笑顔度に応じて前記動画ファイルを生成するための期間を開始してから、前記入力された映像信号から検出されている当該人物の笑顔度を判定するための特徴量の取得が中断した場合、前記生成手段は、当該中断中の期間の映像信号を含む動画ファイルを生成することを特徴とする請求項１乃至６のうち、いずれか１項に記載の処理装置。
【請求項８】
前記生成手段は、前記動画ファイルを生成するための期間の第１の動画フレームの第１の笑顔度よりも笑顔度が高い第２の笑顔度の第２の動画フレームに基づいて、前記動画ファイルのサムネイル画像を生成することを特徴とする請求項１乃至７のうち、いずれか１項に記載の処理装置。
【請求項９】
前記生成手段は、前記笑顔度が前記閾値に達してから、前記笑顔度が前記閾値よりも低くなってから所定時間後までの期間の映像信号から動画ファイルを生成することを特徴とする請求項１に記載の処理装置。
【請求項１０】
前記生成手段は、前記判定された笑顔度が前記閾値よりも高くなってから所定時時間後までの期間の映像信号から動画ファイルを生成することを特徴とする請求項１に記載の処理装置。
【請求項１１】
処理装置が行う動画ファイルの生成方法であって、
映像信号を入力する入力工程と、
前記入力された映像信号から検出された人物の特徴量から笑顔度を判定する判定工程と、
前記判定された笑顔度と閾値とを比較する比較工程と、
前記入力された映像信号のうち前記判定された笑顔度が前記閾値よりも高い期間を含む期間の映像信号から動画ファイルを生成する生成工程とを有することを特徴とする動画ファイルの生成方法。
【請求項１２】
コンピュータに、
映像信号を入力する入力手順と、
前記入力された映像信号から検出された人物の特徴量から笑顔度を判定する判定手順と、
前記判定された笑顔度と閾値とを比較する比較手順と、
前記入力された映像信号のうち前記判定された笑顔度が前記閾値よりも高い期間を含む期間の映像信号からから動画ファイルを生成する生成手順とを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、笑顔度に応じた期間の動画ファイルを生成する方法に関する。
【背景技術】
【０００２】
近年、被写体の画像から特定のパターンを認識したことを利用した様々な技術が注目されている。中でも、人物の画像から笑顔であることを認識して、撮影するタイミングを決定するオートシャッタ機能を持ったデジタルカメラなどが広がりつつある。
【０００３】
特許文献１では、笑顔ポイントを判定し、その結果を用いて画像を合成することで、ユーザーの満足度の高い画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９８０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、入力された映像信号から人物が笑顔のシーンの動画ファイルを生成しようとした場合、作業者に大きな負荷がかかることがあった。
例えば、作業者が、長時間の入力映像信号から人物が笑顔になっているシーンを切り取って動画ファイルを生成しようとすると、作業者に大きな負荷がかかってしまうことがあった。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、入力された映像信号から人物が笑顔のシーンの動画ファイルを生成する際の作業者の負荷を低減しつつ、満足度が高い動画ファイルを生成することである。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の処理装置は例えば、以下の構成を有する。すなわち、映像信号を入力する入力手段と、前記入力された映像信号から検出された人物の特徴量から笑顔度を判定する判定手段と、前記判定された笑顔度と閾値とを比較する比較手段と、前記入力された映像信号のうち前記判定された笑顔度が前記閾値よりも高い期間を含む期間の映像信号から動画ファイルを生成する生成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、入力された映像信号から人物が笑顔のシーンの動画ファイルを生成する際の作業者の負荷を低減しつつ、満足度が高い動画ファイルを生成できるようになる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置のブロック構成図である。
【図２】笑顔度と映像信号の切り出し部分の関係を説明するための図である。
【図３】画像処理装置の処理を説明するためのフローチャート図である。
【図４】撮像画像の画面表示例を示した図である。
【図５】画像処理装置のネットワーク接続構成を示した図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
＜第１の実施形態＞
図１は、本実施形態の画像処理装置１００（以下処理装置１００）を示すブロック構成図である。図１において、撮像部１０１はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子によって撮像された画像信号に信号処理などを施して得られたＹＵＶのフォーマットの映像信号を色変換部１０２へ出力する。本形態の映像信号は、デジタル映像信号である。また本形態の撮像部１０１は、ユーザからの指示に応じて、時間的に連続した映像信号を入力する。撮像部１０１は、処理装置１００とは別構成としても良い。この場合、撮像装置で得られた映像信号はＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）などの標準インターフェースによって処理装置１００に入力される。
色変換部１０２は、撮像部１０１からのＹＵＶの映像信号をＲＧＢの映像信号に変換する。顔検出部１０３は、色変換部１０２からのＲＧＢの映像信号に対して顔の有無及び顔の位置の検出処理を行なう。
【００１２】
本形態の顔検出部１０３は、あらかじめ記憶した大量の顔画像（正解画像）と非顔画像（不正解画像）とを用いた学習に基づいて、映像信号から顔画像を検出する。より具体的には、顔検出部１０３は、顔画像（正解画像）と非顔画像（不正解画像）とを用いた学習に基づいて、映像信号から目や口や顔の位置を検出する。ただし、顔画像の検出方法はこの方法に限らない。
【００１３】
顔追尾部１０４は、顔検出部１０３により検出された顔画像を、オプティカルフロー等により画面内追尾する。
【００１４】
笑顔判定部１０５は、顔検出部１０３で検出され、顔追尾部１０４で追尾される顔画像の特徴量から笑顔度を判定する。本形態の笑顔判定部１０５は、顔画像から眉、眼、唇を抽出する。そして笑顔判定部１０５は、眉の外側の端が下がっているほど高い笑顔度であると判定する。また、笑顔判定部１０５は、眼の瞳孔が開いているほど高い笑顔度であると判定する。また、笑顔判定部１０５は、唇の両端が中央に対して上がっているほど高い笑顔度であると判定する。ただし笑顔度の判定方法は、上記の方法に限らない。
笑顔判定部１０５は、笑顔判定部１０５による笑顔度の判定結果に応じて、スイッチ部１０９へ制御信号を入力する。スイッチ部１０９は、笑顔判定部１０５からの制御信号に基づいて、撮像部１０１からのＹＵＶの映像信号をファイル生成部１１０に渡すか否かを切り替える。すなわち、スイッチ部１０９は、顔画像の笑顔度が閾値よりも高いと判定された期間の映像信号がファイル生成部１１０に渡されるように、笑顔判定部１０５からの入力に応じて、撮像部１０１からの映像信号をファイル生成部１１０に渡すか否かを切り替える。
【００１５】
フレーム特定部１０６は、動画ファイルの期間のフレームのうち、笑顔判定部１０５で最高の笑顔度と判定された顔画像が含まれるフレームを特定する。すなわち、フレーム特定部１０６は、笑顔判定部１０５から笑顔度と、当該笑顔度が判定されたフレームの特定情報とを受信する。そして、フレーム特定部１０６は、笑顔判定部１０５から受信された笑顔度が、動画ファイルの期間が開始してから受信された他の笑顔度よりも高い場合、当該笑顔度が判定されたフレームの特定情報をフレーム切り出し部１０７に出力する。例えば、フレーム特定部１０６は、動画ファイルの期間の開始直後は、１番目のフレームの特定情報をフレーム切り出し部１０７に出力する。そして、２番目のフレームの笑顔度が、１番目のフレームの笑顔度より高いと判定された場合、フレーム特定部１０６は、２番目のフレームの特定情報を出力する。一方、２番目のフレームの笑顔度が、１番目のフレームの笑顔度よりも低いと判定された場合、フレーム特定部１０６は、２番目のフレームの特定情報をフレーム切り出し部１０７に出力しない。また、フレーム特定部１０６は、動画ファイルの期間が終了すると、そのことをフレーム切り出し部１０７に通知する。
【００１６】
フレーム切り出し部１０７は、フレーム特定部１０６で特定されたフレームを、撮像部１０１からのＹＵＶの映像信号から切り出して一時的に保持する。例えば、フレーム切り出し部１０７は、動画ファイルの期間の開始直後は、１番目のフレームの映像信号を一時的に保持する。また、例えば２番目のフレームの笑顔度が１番目のフレームの笑顔度よりも高い場合、１番目のフレームの映像信号の代わりに、２番目のフレームの映像信号を一時的に保持する。
【００１７】
このとき、処理装置１００は、色変換部１０２からフレーム特定部１０６で行う処理にかかる遅延時間を考慮したバッファを持つことで、フレーム切り出し部１０７は、フレーム特定部１０６により特定されたフレームを保持することができる。動画ファイルの期間が終了すると、フレーム切り出し部１０７は、保持しているフレームの映像信号をサムネイル生成部１０８に出力する。このときにフレーム切り出し部１０７が出力する映像信号は、動画ファイルの期間のフレームのうち、笑顔判定部１０５により判定された笑顔度が最も高いフレームの映像信号となる。
【００１８】
サムネイル生成部１０８は、フレーム切り出し部１０７により出力された映像信号から動画ファイルのサムネイル画像を生成する。このような構成により、サムネイル生成部１０８は、動画ファイルの期間の第１の動画フレーム（１番目のフレーム）の第１の笑顔度よりも高い第２の笑顔度の第２の動画フレームに基づいて、動画ファイルのサムネイルを生成する。
【００１９】
ファイル生成部１１０は、撮像部１０１からの映像信号をスイッチ部１０９を介して受け取り、例えば、ＡＶＣＨＤ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）などのフォーマットに基づいて動画ファイルを生成する。すなわち、ファイル生成部１１０は、入力された映像信号のうち、判定された笑顔度が閾値よりも高い期間を含む期間の映像信号から動画ファイルを生成する。
【００２０】
次に本形態の処理装置１００の動作について、図３のフローチャートを用いて説明する。なお、本形態では、処理装置１００の各部の処理が専用のハードウェアにより行われる例について説明するが、各部の処理の少なくとも一部を、処理装置１００が有するＣＰＵが、ＲＯＭやＨＤＤからプログラムを読み出して実行することも可能である。本形態では、図３の処理を、笑顔ファイルの生成モードが選択されたことにより開始される。ただし、例えば通常の動画撮影モードなどで開始するようにしても良い。
図３のＳ３０１（入力手順）において、撮像部１０１は撮像を行い、得られた映像信号を入力する。なお、撮像部１０１を処理装置１００とは別の撮像装置とすることも可能である。この場合、Ｓ３０１では撮像装置からの映像信号が入力される。
【００２１】
Ｓ３０２において、処理装置１００の制御部（不図示）は、動画撮影の終了が指示されたか否かを判定する。動画撮影の終了が指示されていないと判定された場合はＳ３０３へ進み、動画撮影の終了が指示されたと判定された場合は、図３の処理を終了する。
【００２２】
Ｓ３０３において、色変換部１０２は、撮像部１０１の撮像により得られたＹＵＶの映像信号から、ＲＧＢの映像信号へ色変換する。ＲＧＢの映像信号は、顔検出部１０３へ出力される。なお本形態において、ＹＵＶの映像信号、及びＲＧＢの映像信号は、共にデジタル映像信号である。また、本形態で入力される映像信号は、時間的に連続した映像信号である。
【００２３】
Ｓ３０４において、顔検出部１０３は、ＲＧＢの映像信号から人物の顔画像の検出を行う。本形態の顔検出部１０３は、あらかじめ記憶した大量の顔画像（正解画像）と非顔画像（不正解画像）とを用いた学習に基づいて、映像信号から顔画像を検出する。顔検出部１０３は、検出された顔画像の領域に対応する矩形の４つの頂点の座標データとＲＧＢの映像信号を顔追尾部１０４へ出力する。３つの顔画像が検出された場合の各顔画像の領域の例を図４に示す。
【００２４】
また、Ｓ３０４において、顔追尾部１０４は、顔検出部１０３からの座標データに基づいて、顔検出部１０３で検出された顔画像の追尾処理をする。顔検出部１０３の追尾処理により、直前のフレームと現在のフレームとでそれぞれ検出された顔画像のうち、同一人物の顔画像が対応付けられる。また、顔追尾部１０４は、対応付けた顔画像のサイズがフレーム毎に大きく変化しないように時間軸方向にスムージング処理をする。すなわち、顔追尾部１０４は、顔検出部１０３により出力された顔画像の座標データを修正する。さらに、顔追尾部１０４は、スムージング処理の結果を、顔画像のＩＤと対応付けて笑顔判定部１０５へ出力する。例えば、図４に示すように、３人の人物の顔画像（人物１、２、３）が顔検出部１０３により検出された場合、顔追尾部１０４は、人物１のＩＤと、人物１の矩形領域のスムージング処理後の座標データとを対応付けて出力する。同様に、顔追尾部１０４は、人物２のＩＤと、人物２の矩形領域のスムージング処理後の座標データとを対応付けると共に、人物３のＩＤと、人物３の矩形領域のスムージング処理後の座標データとを対応付けて出力する。
【００２５】
このように、人物をＩＤで管理することにより、例えば、ユーザにより指定された１人又は複数の人物が笑顔になっている期間の動画ファイルを生成することや、撮影されている期間が長い人物が笑顔になっている期間の動画ファイルを生成するなどが可能になる。ユーザにより指定された人物が笑顔になっている期間の動画ファイルを生成する場合、処理装置１００が備える入力部や処理装置とネットワークを介して接続される端末装置からの指定情報に基づいて、人物を指定することが可能である。すなわち、処理装置１００は、検出された複数の人物から、笑顔度の判定に用いる人物を指定する指定部（不図示）を有する。また、ＩＤによって人物を分別することにより、笑顔の合成写真を作ることや、各人物の笑顔のアイコンを作るなども可能になる。
【００２６】
また、Ｓ３０４（判定手順）において、笑顔判定部１０５は、顔追尾部１０４から出力された顔画像のＩＤと、座標データと、映像信号とに基づいて、各顔画像の笑顔度の判定を行う。本形態の笑顔判定部１０５は、座標データにより特定された顔画像から眉、眼、唇を抽出する。そして笑顔判定部１０５は、眉の外側の端が下がっているほど高い笑顔度であると判定する。また、笑顔判定部１０５は、眼の瞳孔が開いているほど高い笑顔度であると判定する。また、笑顔判定部１０５は、唇の両端が中央に対して上がっているほど高い笑顔度であると判定する。笑顔判定部１０５は、眉、眼、唇の状態に応じて、各顔画像の笑顔度を０〜１．４の範囲で判定する。笑顔判定部１０５による笑顔度の判定が完了すると、Ｓ３０５に進む。
【００２７】
また、Ｓ３０５（比較手順）において、笑顔判定部１０５は、Ｓ３０４で判定された笑顔度と閾値との比較を行う。この比較により、笑顔度が閾値よりも高いと判定された場合、Ｓ３０６へ進み、動画ファイルの生成が開始され、笑顔度が閾値よりも高い状態が継続すると、動画ファイルイの生成も継続される。一方、笑顔度が閾値よりも高くないと判定された場合、Ｓ３０９へ進み、動画ファイルの生成中であった場合は動画ファイルの生成を終了してＳ３１１へ進み、動画亜フィルの生成中でなかった場合はＳ３０１に戻る。
ここで、笑顔度と動画ファイルの期間の関係について説明する。
【００２８】
まず第１のモードは、複数人の顔画像のそれぞれに対して笑顔度を判定し、判定された笑顔度の少なくとも１つが閾値を超えている期間の動画ファイルを生成するモードである。図２は、第１のモードにおいて、３人の顔画像が検出された場合の各顔画像の笑顔度の変化と、動画ファイルの期間の関係を示している。本形態では、顔画像の笑顔度と比較する閾値を０．６とする。図２に示すように、３人の人物のうちの１人（人物２）の笑顔度が０．６を超えたタイミングから動画ファイルの記録が開始され、すべての人物の笑顔度が０．６よりも低くなったタイミングで動画ファイルの記録を終了する。
【００２９】
すなわち、スイッチ部１０９は、少なくとも１人の笑顔度が０．６を超えている期間のＹＵＶの映像信号をファイル生成部１１０へ渡し、どの人物の笑顔度も０．６を超えていない期間の映像信号をファイル生成部へ渡さない。このように、スイッチ部１０９は、笑顔判定部１０５からの笑顔度と閾値との比較結果に応じた制御信号に基づいて、撮像部１０１からのＹＵＶの映像信号の記録を制御する。言い換えると、笑顔判定部１０５は、映像信号から検出された複数の人物（例えば第１の人物、第２の人物）のうち、笑顔度が高い第１の人物の笑顔度と閾値とを比較する。そして、スイッチ部１０９は、笑顔度が高い第１の人物の笑顔度が閾値よりも高い期間の映像信号をファイル生成部１１０へ渡す。また、例えば、所定のサイズよりも大きい顔画像のうち、最も笑顔度の高い顔画像と閾値を比較するようにしても良い。
【００３０】
第２のモードは、複数人の顔画像のそれぞれに対して笑顔度を判定し、判定された笑顔度の合計値が閾値を超えている期間の動画ファイルを生成するモードである。すなわち、笑顔判定部１０５は、検出された複数の人物の笑顔度の合計値と閾値とを比較する。そして、スイッチ部１０９は、複数の人物の笑顔度の合計値が閾値よりも高い期間の映像信号をファイル生成部１１０へ渡す。また、第２のモードにおいては、閾値の設定方法を、さらに２つに分けることができる。すなわち、顔画像の数に応じて閾値を変化させるモードと、顔画像の数に関わらず閾値を一定にするモードである。第２のモードによれば、第１のモードよりも全体の笑顔度を考慮した動画ファイルの期間の決定ができる。
【００３１】
また、第３のモードは、複数人の顔画像のそれぞれに対して笑顔度を判定し、判定された笑顔度の平均値が閾値を超えている期間の動画ファイルを生成するモードである。すなわち、笑顔判定部１０５は、検出された複数の人物の笑顔度の平均値と閾値とを比較する。そして、スイッチ部１０９は、複数の人物の笑顔度の平均値が閾値よりも高い期間の映像信号をファイル生成部１１０に渡す。第３のモードによれば、顔画像の数に応じて閾値を変動させるよりも、簡単な処理で動画ファイルの期間を決定できる。顔画像の数や、取得したい動画ファイルに応じて、上記の各モードをユーザが選択できるようにすることで、より満足度の高い動画ファイルを生成できるようになる。
【００３２】
また、上記の実施形態では、笑顔度が閾値を上回ってから動画ファイルの期間を開始する例を説明しているが、例えば、笑顔度が閾値を上回ったタイミングよりも前のタイミングから動画ファイルの期間が開始するようにしても良い。このようにすることで、笑顔度が上がった原因を含む動画ファイルを生成できる可能性が向上する。
【００３３】
また、上記の実施形態では、笑顔度が閾値を下回ると、ただちに動画ファイルの期間を終了する例を説明しているが、例えば、笑顔度が閾値を下回ってから所定時間が経過してから動画ファイルの期間を終了するようにしてもよい。このようにすることで、笑顔度が短期間だけ低くなってから、またすぐに笑顔度が高くなった場合に、複数の動画ファイルに分割されてしまう可能性を低減できる。
【００３４】
また、例えば、動画ファイルの期間が開始された後に、人物が横を向いたり、下を向いたりしたことによって、顔画像の特徴量の取得が中断されることにより、笑顔度が判定できなくなる場合が考えられる。このような場合、本形態の笑顔判定部１０５は、顔追尾によって画面内には存在することがわかっているにも関わらず、特徴量の取得が中断されている人物が存在する間は、動画ファイルの期間を終了しない。
【００３５】
すなわち、笑顔判定部１０５は、人物の笑顔度に応じて動画ファイルの期間が開始してから、検出中の当該人物の笑顔度を判定するための特徴量の取得が中断した場合、当該中断中の期間の映像信号を含む動画ファイルが生成されるように制御信号の送信を制御する。このようにすることで、実際には笑顔が続いているにも関わらず動画ファイルの期間が終了してしまうといった可能性を低減できる。また、例えば、複数の人物が検出されている場合、特徴量の取得が中断されている人物の笑顔度を、他の人物の笑顔度の平均値としても良い。
【００３６】
また、上記の実施形態では、笑顔度と比較する閾値は、動画ファイルの期間の開始と終了とで同じ値（０．６）の例を説明しているが、例えば、動画ファイルの開始を決める閾値のほうが、動画ファイルの終了を決める閾値よりも高くなるようにしても良い。このようにすれば、笑顔になった原因を動画ファイルの期間に含められる可能性が向上する。また、例えば、動画ファイルの開始を決める閾値のほうが、動画ファイルの終了を決める閾値よりも低くなるようにしても良い。このようにすれば、笑顔が短期間だけ低くなってから、またすぐに笑顔度が高くなった場合に、複数の動画ファイルに分割されてしまう可能性を低減できる。
【００３７】
すなわち、笑顔判定部１０５は、動画ファイルの期間を、笑顔度が第１の閾値に達したことに応じて開始させ、笑顔度が第１の閾値とは異なる第２の閾値に達したことに応じて終了させる。また、ファイル生成部１１０は、映像信号から検出された人物の笑顔度が第１の閾値に達してから、人物の笑顔度が第１の閾値とは異なる第２の閾値に達するまでの期間の映像信号から動画ファイルを生成する。このように、動画ファイルの期間の開始を決定するための閾値と、動画ファイルの期間の終了を決定するための閾値とを異なる値にすることで、笑顔度の数値のヒステリシスも考慮した動作が可能となる。
【００３８】
図３のＳ３０７において、フレーム特定部１０６は、Ｓ３０６で記録された現在のフレームの笑顔度が、動画ファイルの期間の開始以降の他のフレームの笑顔度よりも高いか否かを判定する。そして、フレーム特定部１０６は、現在のフレームの笑顔度が、動画ファイルの開始以降のフレームの笑顔度の最高値よりも高いと判定した場合、当該フレームの特定情報をフレーム切り出し部１０７へ出力する。
【００３９】
Ｓ３０８において、フレーム特定部１０６から特定情報を受信したフレーム切り出し部１０７は、当該特定情報に対応するフレームのＹＵＶのデジタル映像信号を撮像部１０１から取得して一時記憶する。
【００４０】
Ｓ３０５において、笑顔判定部１０５は、笑顔度が閾値よりも高くないと判定した場合、Ｓ３０９に進み、現在動画記録中であるか否かを判定する。動画記録中でないと判定された場合、Ｓ３０１に戻り、動画記録中であると判定された場合、Ｓ３１０に進む。
【００４１】
Ｓ３１０において、笑顔判定部１０５は、スイッチ部１０９に動画ファイルの期間の終了を示す制御信号を出力し、スイッチ部１０９は、映像信号のファイル生成部１１０への出力を終了する。
【００４２】
Ｓ３１１において、フレーム切り出し部１０７は、フレーム特定部１０６から出力されたフレームの特定情報に対応するフレームのＹＵＶの映像信号を、サムネイル生成部１０８に渡す。そして、サムネイル生成部１０８は、フレーム切り出し部１０７から渡されたフレームの映像信号から、例えば、ＪＰＥＧなどのフォーマットに従ってサムネイル画像を生成する。サムネイル生成部１０８は、生成したサムネイル画像をファイル生成部１１０に出力する。
【００４３】
なお、図２に示すように、動画ファイルの期間の各フレームのうち、人物２が１．２の笑顔度と判定されているフレームが、最も笑顔度が高いフレームとして特定されている。本形態のサムネイル生成部１０８は、人物２が１．２の笑顔度であると判定されたフレームの映像信号からサムネイル画像を生成する。ただし、例えば複数人物の笑顔度の合計値や平均値が最も高いフレームからサムネイル画像を生成してもよい。
【００４４】
Ｓ３１２（生成手順）において、ファイル生成部１１０は、スイッチ部１０９から渡された映像信号に基づく動画ファイルを生成する。例えば、ファイル生成部１１０は、スイッチ部１０９からのＹＵＶの映像信号をＨ．２６４へ、音声信号をＤｏｌｂｙ（登録商標）で圧縮処理し、多重化することにより、ＡＶＣＨＤフォーマットの動画ファイルを生成する。ファイル生成部１１０は、生成した動画ファイルと、サムネイル生成部１０８で生成されたサムネイル画像とを関連付けて出力する。
【００４５】
以上説明したように、本形態の処理装置１００は、映像信号から検出された顔画像の笑顔度が閾値よりも高い期間を含む期間の映像信号から動画ファイルを生成する。このようにすることで、動画ファイルの作成者の負荷を低減しつつ、満足度の高い動画ファイルを生成できるようになる。
【００４６】
なお、上記の実施形態では、笑顔度が閾値よりも高いと判定されたタイミングから、閾値以下になったと判定されたタイミングまでの期間を含む映像信号から動画ファイルを生成する例を中心に説明したが、この例に限らない。たとえば、笑顔度が閾値よりも高いと判定されたタイミングから、所定時間後（たとえば５秒後）までの期間の映像信号から動画ファイルを生成するようにしてもよい。この場合、ファイル生成部１１０は、判定された笑顔度が閾値よりも高くなってから所定時間後までの期間の映像信号から動画ファイルを生成する。
【００４７】
また、図３のＳ３０６で動画記録が開始されてからＳ３０２で動画撮影終了と判定された場合、動画ファイルを生成してから処理を終了するようにしてもよい。この場合、サムネイルも生成される。
【００４８】
図５は、本実施形態の処理装置１００をホームネットワーク４００に接続した場合のネットワーク接続構成図である。図５では、処理装置１００をデジタルビデオカメラで実現する例について説明するが、これに限らず、動画を撮影可能なデジタルカメラ、ネットワークカメラ、携帯機器などでも実現可能である。また、本形態の処理装置１００は、無線ＬＡＮでホームネットワーク４００に接続する例を説明するが、有線接続であっても良い。メディアプレーヤー２００は、処理装置１００から配信された動画ファイルを受信し、復号化してテレビモニタ２０１へ出力する。ディスプレイ装置２０２は、メディアプレーヤー機能を搭載したディスプレイ装置で、例えば、デジタルフォトフレームである。ルーター３００は、無線アクセスポイント付きルーターで、処理装置１００との間で無線通信を行ない、ホームネットワーク４００との接続を仲介する。ルーター３００は、インターネット４０１へのゲートウエイの機能をも持つ。これら、処理装置１００、メディアプレーヤー２００、テレビモニタ２０１、ディスプレイ装置２０２の数は、図５の例のように限定されるものではなく、多数存在してもかまわない。また、ホームネットワーク４００に関しても、パケットデータを通すのに十分な帯域があるインターネットやイントラネットなどのネットワークでも良い。ホームネットワーク４００への物理的な接続形態として有線だけでなく無線の場合もありうるが、プロトコル的に接続されていれば、物理的な形態にこだわるものではない。また、メディアプレーヤー２００、テレビモニタ２０１、ディスプレイ装置２０２は同一の装置で実現することも可能である。
【００４９】
上記の構成の場合、処理装置１００のファイル生成部１１０は、生成した動画ファイルのメタデータとして、サムネイル生成部１０８が生成したサムネイル画像を記録する。また、処理装置１００のファイル生成部１１０は、顔画像の人物認識の機能を持たせることで、動画ファイルのメタデータに、検出された顔画像に対応する人物名等を記録することも可能である。このようにすれば、メディアプレーヤー２００で再生する動画ファイルをより簡単に選択できるようになる。
【００５０】
例えば、処理装置１００は、ＵＰｎＰ−ＡＶ（Ｕｎｉｖｅｒｓａｌ  Ｐｌｕｇ  ａｎｄ  Ｐｌａｙ  Ａｕｄｉｏ  Ｖｉｓｕａｌ）の機能であるコンテントディレクトリサービス（ＣＤＳ：ＣｏｎｔｅｎｔＤｉｒｅｃｔｏｒｙ  Ｓｅｒｖｉｃｅ）を利用することにより、例えば、“○○くんの笑顔映像”などのようなタイトルを含めたプレイリストを、予めメディアプレーヤー２００へ送信する。これにより、メディアプレーヤー２００のユーザは、ホームネットワーク４００を介して接続される処理装置１００に記録されている動画ファイルの内容を把握できる。
【００５１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012065013.tif 000003
【図２】
2012065013.tif 000004
【図３】
2012065013.tif 000005
【図４】
2012065013.tif 000006
【図５】
2012065013.tif 000007