(57)【要約】【課題】従来、動画に対して顔の静止画を与えて、当該与えた顔画像を反映した動画を生成して出力できなかった。【解決手段】顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納し得る動画格納部と、顔画像を受け付ける顔画像受付部と、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成部と、動画生成部が生成した顔画像付きの動画を出力する動画出力部とを具備する情報処理装置により、動画に対して顔の静止画を与えて、当該与えた顔画像を反映した動画を生成して出力できる。【選択図】図２
2011081590.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納し得る動画格納部と、
顔画像を受け付ける顔画像受付部と、
前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成部と、
前記動画生成部が生成した顔画像付きの動画を出力する動画出力部とを具備する情報処理装置。
【請求項２】
前記静止画情報は、
顔位置特定情報と、顔の属性を示す属性情報と、静止画とを対に有し、
前記動画生成部は、
前記２以上の各静止画情報に対して、当該各静止画情報と対になる前記属性情報に従って顔画像を変形し、前記各静止画情報と対になる顔位置特定情報により特定される位置に、前記変形した顔画像を付加して、顔画像付きの動画を生成する請求項１記載の情報処理装置。
【請求項３】
前記静止画情報は、
顔位置特定情報と、顔の大きさを特定する情報である顔大きさ情報と、静止画とを対に有し、
前記動画生成部は、
前記顔大きさ情報で特定される大きさに、前記顔画像受付部が受け付けた顔画像を拡大または縮小する拡大縮小手段と、
前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記拡大縮小手段が取得した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備する請求項１記載の情報処理装置。
【請求項４】
前記静止画情報は、
顔位置特定情報と、顔の向きを特定する顔向き情報と、静止画とを対に有し、
前記動画生成部は、
前記顔向き情報で特定される向きに、前記顔画像受付部が受け付けた顔画像を変形する向き変更手段と、
前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記向き変更手段が変形した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備する請求項１記載の情報処理装置。
【請求項５】
前記静止画情報は、
顔の表情を特定する顔表情特定情報をさらに有し、
前記動画生成部は、
前記２以上の各静止画情報に対して、各静止画情報と対になる顔表情特定情報により特定される顔の表情になるように、前記顔画像受付部が受け付けた顔画像を修正するモーフィング手段と、
前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記モーフィング手段が修正した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備する請求項１記載の情報処理装置。
【請求項６】
前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から、顔位置特定情報、または顔の属性情報を取得する顔属性取得部をさらに具備し、
前記動画生成部は、
前記顔属性取得部が取得した顔位置特定情報、または顔の属性情報を用いて、顔画像付きの動画を生成する請求項１から請求項５いずれか記載の情報処理装置。
【請求項７】
前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から生物物体の輪郭の抽出を行い、当該輪郭の情報を用いて、顔位置特定情報、顔大きさ情報、顔向き情報のうちの１以上の情報を取得する顔属性取得部をさらに具備し、
前記動画生成部は、
前記顔属性取得部が取得した顔位置特定情報、顔大きさ情報、顔向き情報のうちの１以上の情報を用いて、顔画像付きの動画を生成する請求項１から請求項４いずれか記載の情報処理装置。
【請求項８】
前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から、当該静止画に含まれる体の画像、または顔の画像を用いて、顔表情特定情報を取得する顔属性取得部をさらに具備し、
前記モーフィング手段は、
前記２以上の各静止画情報に対して、前記顔属性取得部が取得した顔表情特定情報により特定される顔の表情になるように、前記顔画像受付部が受け付けた顔画像を修正する請求項２または請求項５記載の情報処理装置。
【請求項９】
前記静止画情報は、
２以上の顔位置特定情報と当該各顔位置特定情報に対応する識別子と静止画とを有し、
前記顔画像受付部は、
２以上の識別子と、各識別子に対応する２以上の顔画像とを受け付け、
前記動画生成部は、
前記２以上の各静止画情報に対して、前記２以上の各顔位置特定情報により特定される位置に、前記各顔位置特定情報に対応する識別子と対になる、前記顔画像受付部が受け付けた２以上の各顔画像を付加して、２以上の顔画像を有する動画を生成する請求項１から請求項５いずれか記載の情報処理装置。
【請求項１０】
前記静止画は、顔画像が付加される複数の生物物体の画像を有し、
前記顔属性取得部は、
前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から、２以上の生物物体の輪郭の抽出を行い、当該２以上の生物物体の輪郭の情報を用いて、前記２以上の生物物体ごとに、顔の属性情報を取得する請求項６記載の情報処理装置。
【請求項１１】
記憶媒体に、
顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納しており、
顔画像受付部、動画生成部、および動画出力部により実現される情報処理方法であって、
前記顔画像受付部により、顔画像を受け付ける顔画像受付ステップと、
前記動画生成部により、前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成ステップと、
前記動画出力部により、前記動画生成ステップで生成された顔画像付きの動画を出力する動画出力ステップとを具備する情報処理方法。
【請求項１２】
記憶媒体に、
顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納しており、
コンピュータを、
顔画像を受け付ける顔画像受付部と、
前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成部と、
前記動画生成部が生成した顔画像付きの動画を出力する動画出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像と動画の一部の体を合成し、出力する情報処理装置等に関するものである。
【背景技術】
【０００２】
従来、顔画像から、その顔と異なる表情の顔の顔画像を生成するためのアニメーションデータを生成する画像処理装置があった（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１５６９４５号公報（第１頁、第１図等）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の情報処理装置においては、動画に対して顔の静止画を与えて、当該与えた顔画像を反映した動画を生成して出力できなかった。
【課題を解決するための手段】
【０００５】
本第一の発明の情報処理装置は、顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納し得る動画格納部と、顔画像を受け付ける顔画像受付部と、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成部と、動画生成部が生成した顔画像付きの動画を出力する動画出力部とを具備する情報処理装置である。
【０００６】
かかる構成により、動画に対して、１以上の顔の静止画を与えて、当該与えた顔画像を適切な位置に貼り付けた動画を生成して出力できる。
【０００７】
また、本第二の発明の情報処理装置は、第一の発明に対して、静止画情報は、顔位置特定情報と、顔の属性を示す属性情報と、静止画とを対に有し、動画生成部は、２以上の各静止画情報に対して、各静止画情報と対になる属性情報に従って顔画像を変形し、各静止画情報と対になる顔位置特定情報により特定される位置に、変形した顔画像を付加して、顔画像付きの動画を生成する情報処理装置である。
【０００８】
かかる構成により、与えた顔画像を反映した動画を生成する際に、状況に合致するように顔を変形できる。
【０００９】
また、本第三の発明の情報処理装置は、第一の発明に対して、静止画情報は、顔位置特定情報と、顔の大きさを特定する情報である顔大きさ情報と、静止画とを対に有し、動画生成部は、顔大きさ情報で特定される大きさに、顔画像受付部が受け付けた顔画像を拡大または縮小する拡大縮小手段と、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、拡大縮小手段が取得した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備する情報処理装置である。
【００１０】
かかる構成により、与えた顔画像を反映した動画を生成する際に、顔の大きさを体の大きさに合わせた自然な大きさにできる。
【００１１】
また、本第四の発明の情報処理装置は、第一の発明に対して、静止画情報は、顔位置特定情報と、顔の向きを特定する顔向き情報と、静止画とを対に有し、動画生成部は、顔向き情報で特定される向きに、顔画像受付部が受け付けた顔画像を変形する向き変更手段と、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、向き変更手段が変形した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備する情報処理装置である。
【００１２】
かかる構成により、与えた顔画像を反映した動画を生成する際に、顔の向きを体の向きに合わせた自然な向きにできる。
【００１３】
また、本第五の発明の情報処理装置は、第一の発明に対して、静止画情報は、顔の表情を特定する顔表情特定情報をさらに有し、動画生成部は、２以上の各静止画情報に対して、各静止画情報と対になる顔表情特定情報により特定される顔の表情になるように、顔画像受付部が受け付けた顔画像を修正するモーフィング手段と、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、モーフィング手段が修正した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備する情報処理装置である。
【００１４】
かかる構成により、与えた顔画像を反映した動画を生成する際に、顔の表情を状況に合わせた表情にできる。
【００１５】
また、本第六の発明の情報処理装置は、第一から第五いずれかの発明に対して、動画格納部の静止画情報ごとに、静止画情報に含まれる静止画から、顔位置特定情報、または顔の属性情報を取得する顔属性取得部をさらに具備し、動画生成部は、顔属性取得部が取得した顔位置特定情報、または顔の属性情報を用いて、顔画像付きの動画を生成する情報処理装置である。
【００１６】
かかる構成により、与えた顔画像を反映した動画を生成する際に利用する顔の属性等を自動的に生成できる。
【００１７】
また、本第七の発明の情報処理装置は、第一から第四いずれかの発明に対して、動画格納部の静止画情報ごとに、静止画情報に含まれる静止画から生物物体の輪郭の抽出を行い、輪郭の情報を用いて、顔位置特定情報、顔大きさ情報、顔向き情報のうちの１以上の情報を取得する顔属性取得部をさらに具備し、動画生成部は、顔属性取得部が取得した顔位置特定情報、顔大きさ情報、顔向き情報のうちの１以上の情報を用いて、顔画像付きの動画を生成する情報処理装置である。
【００１８】
かかる構成により、与えた顔画像を反映した動画を生成する際に利用する顔の位置、大きさ、向きを自動的に生成できる。
【００１９】
また、本第八の発明の情報処理装置は、第二または第五の発明に対して、動画格納部の静止画情報ごとに、静止画情報に含まれる静止画から、静止画に含まれる体の画像、または顔の画像を用いて、顔表情特定情報を取得する顔属性取得部をさらに具備し、モーフィング手段は、２以上の各静止画情報に対して、顔属性取得部が取得した顔表情特定情報により特定される顔の表情になるように、顔画像受付部が受け付けた顔画像を修正する情報処理装置である。
【００２０】
かかる構成により、与えた顔画像を反映した動画を生成する際に利用する顔の表情を特定する顔表情特定情報を自動的に生成できる。
【００２１】
また、本第九の発明の情報処理装置は、第一から第五いずれかの発明に対して、静止画情報は、２以上の顔位置特定情報と各顔位置特定情報に対応する識別子と静止画とを有し、顔画像受付部は、２以上の識別子と、各識別子に対応する２以上の顔画像とを受け付け、動画生成部は、２以上の各静止画情報に対して、２以上の各顔位置特定情報により特定される位置に、各顔位置特定情報に対応する識別子と対になる、顔画像受付部が受け付けた２以上の各顔画像を付加して、２以上の顔画像を有する動画を生成する情報処理装置である。
【００２２】
かかる構成により、動画に対して複数の顔の静止画を与えて、当該与えた顔画像を反映した動画を生成して出力できる。
【００２３】
また、本第十の発明の情報処理装置は、第六の発明に対して、静止画は、顔画像が付加される複数の生物物体の画像を有し、顔属性取得部は、動画格納部の静止画情報ごとに、静止画情報に含まれる静止画から、２以上の生物物体の輪郭の抽出を行い、２以上の生物物体の輪郭の情報を用いて、２以上の生物物体ごとに、顔の属性情報を取得する情報処理装置である。
【００２４】
かかる構成により、与えた複数の顔画像を反映した動画を生成する際に利用する顔の属性情報を自動的に生成できる。
【発明の効果】
【００２５】
本発明による情報処理装置によれば、１以上の顔の静止画を与えて、当該与えた顔画像を適切な位置に貼り付けた動画を生成して出力できる。
【図面の簡単な説明】
【００２６】
【図１】実施の形態１情報処理システム１の概念図
【図２】同情報処理システムのブロック図
【図３】同情報処理装置の動作について説明するフローチャート
【図４】同動画生成処理の動作について説明するフローチャート
【図５】同動画格納部に格納されている動画の例を示す図
【図６】同動画を構成する静止画情報のデータ構造を示す図
【図７】同出力されるウェブページの例を示す図
【図８】同出力されるウェブページの例を示す図
【図９】同画面の例を示す図
【図１０】同構成した顔画像付き動画出力指示のデータ構造を示す図
【図１１】同出力される動画の例を示す図
【図１２】実施の形態２における情報処理システムのブロック図
【図１３】同情報処理装置の動作について説明するフローチャート
【図１４】同情報取得処理１の動作について説明するフローチャート
【図１５】同情報取得処理２の動作について説明するフローチャート
【図１６】上記実施の形態におけるコンピュータシステムの概観図
【図１７】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００２７】
以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
（実施の形態１）
【００２８】
本実施の形態において、動画に対して顔の静止画を与えて、当該与えた顔画像を反映した動画を生成して出力できる情報処理システム１について説明する。
【００２９】
また、本実施の形態において、与えた顔画像を反映した動画を生成する際に、顔の大きさを拡大または縮小したり、顔の向きを変更したり、顔の表情等の顔の属性を変更したりできる情報処理システム１について説明する。
【００３０】
さらに、本実施の形態において、複数人の顔画像を、動画に反映できる情報処理システム１について説明する。
【００３１】
図１は、本実施の形態における情報処理システム１の概念図である。情報処理システム１は、情報処理装置１１、１以上の端末装置１２を備える。情報処理装置１１は、ここでは、ネットワーク上のサーバ装置である。また、端末装置１２は、ユーザが利用する端末である。
【００３２】
図２は、本実施の形態における情報処理システム１のブロック図である。
情報処理装置１１は、動画格納部１１１、顔画像受付部１１２、動画生成部１１３、動画出力部１１４を備える。
【００３３】
動画生成部１１３は、顔画像取得手段１１３１、拡大縮小手段１１３２、向き変更手段１１３３、モーフィング手段１１３４、顔画像付加手段１１３５を備える。
【００３４】
端末装置１２は、入力受付部１２１、送信部１２２、受信部１２３、出力部１２４を備える。
【００３５】
動画格納部１１１は、１以上の動画を格納している。動画は、２以上の静止画情報を有する。静止画情報は、顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する。一部の静止画情報は、静止画のみでも良い。静止画情報が静止画のみで構成されるフィールドには、顔画像は付加されなくても良い。また、静止画情報は静止画のみである場合、顔位置特定情報等の静止画以外の情報は、時間的に前の静止画情報（時間的に前のフィールド）が有する顔位置特定情報等を有するものとして処理される（継承する）ことは好適である。また、顔位置特定情報は、一点でも良いし、複数点でも良い。点とは、通常、相対的な位置を示す情報であり、例えば、画面上やウィンドウ内での相対的な位置情報を示す（ｘ，ｙ）などである。顔位置特定情報が一点の場合、顔位置特定情報は顔の重心を示す点、顔の下の中央点、首の最上部の中央点などである。顔位置特定情報が複数点の場合、顔位置特定情報は領域を示す情報であることが望ましい。かかる場合、顔位置特定情報は、顔の領域を示す矩形領域の左上点（ｘ１，ｙ１）と右下点（ｘ２，ｙ２）を有したり、顔が貼り付く体の位置を特定する１以上の点の集合（例えば、右肩の点（ｘ１，ｙ１）、左肩の点（ｘ２，ｙ２）、および首の最上部の中央点（ｘ３，ｙ３）など）であったりする。
【００３６】
また、静止画は、通常、体の画像を有する。また、静止画は、通常、キャラクタ画像を有する。また、静止画は、顔画像を有しても良いし、有さなくても良い。２以上の静止画情報または静止画は、動画を構成する。
【００３７】
また、静止画情報は、顔位置特定情報と、顔の大きさを特定する情報である顔大きさ情報と、静止画とを対に有することは好適である。また、静止画情報は、顔位置特定情報に加えて、顔の向きを示す情報である顔向き情報を有することは好適である。顔向き情報は、平面的な顔の角度、または立体的な顔の角度の情報を有する。また、顔大きさ情報は、顔の領域を特定する情報でも良い。顔大きさ情報は、例えば、顔の領域を特定する高さ（Ｈ）、幅（Ｗ）を有する情報でも良いし、体の大きさや領域を特定する情報でも良い。顔大きさ情報が、体の大きさや領域を特定する情報である場合、後述する動画生成部１１３は、例えば、体の大きさや領域を特定する情報から、体の大きさに適合する顔の大きさや領域の情報を生成することは好適である。また、静止画情報は、顔の表情を特定する顔表情特定情報を有することは好適である。また、顔表情特定情報は、例えば、通常の顔「０」、笑い「１」、悲しみ「２」、怒り「３」、泣き「４」などである。また、静止画情報は、顔色などの他の顔の属性情報を有しても良い。また、静止画情報は、静止画と、２以上の顔位置特定情報と各顔位置特定情報に対応する識別子とを有しても良い。かかる場合、２以上の顔が貼り付けられ得る。
【００３８】
動画格納部１１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【００３９】
動画格納部１１１に２以上の静止画情報が記憶される過程は問わない。例えば、記録媒体を介して静止画情報が動画格納部１１１で記憶されるようになってもよく、通信回線等を介して送信された静止画情報が動画格納部１１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された静止画情報が動画格納部１１１で記憶されるようになってもよい。また、静止画情報の一部の情報（顔の属性情報など）は、実施の形態２で説明するように、自動的に取得されることは好適である。
【００４０】
顔画像受付部１１２は、１以上の顔画像を受け付ける。また、顔画像受付部１１２は、２以上の識別子と、各識別子に対応する２以上の顔画像とを受け付けても良い。かかる場合の識別子は、顔画像が貼り付く先を特定する識別子である。また、ここでの受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信である。ただし、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。顔画像受付部１１２は、通常、有線もしくは無線の通信手段により実現され得る。
【００４１】
動画生成部１１３は、２以上の各静止画情報に対して、各静止画情報が有する顔位置特定情報により特定される位置（静止画内の位置）に、顔画像受付部１１２が受け付けた顔画像を付加して、顔画像付きの動画を生成する。
【００４２】
また、動画生成部１１３は、２以上の各静止画情報に対して、各静止画情報が有する２以上の各顔位置特定情報により特定される位置（静止画内の位置）に、各顔位置特定情報に対応する識別子と対になる、顔画像受付部１１２が受け付けた２以上の各顔画像を付加して、２以上の顔画像を有する動画を生成する。
【００４３】
また、動画生成部１１３は、２以上の各静止画情報に対して、当該各静止画情報と対になる属性情報に従って顔画像を変形し、各静止画情報と対になる顔位置特定情報により特定される位置に、変形した顔画像を付加して、顔画像付きの動画を生成することは好適である。ここで、属性情報とは、顔大きさ情報、顔向き情報、顔表情特定情報、顔色情報などである。
【００４４】
また、動画生成部１１３は、後述するように、２以上の各静止画情報が有する静止画に、顔画像を付加する際に、顔の大きさを拡大または縮小して、顔画像付きの動画を生成することは好適である。また、動画生成部１１３は、後述するように、２以上の各静止画情報が有する静止画に、顔画像を付加する際に、顔の向き（平面的な向き、または立体的な向き）を変更して、顔画像付きの動画を生成することは好適である。さらに、動画生成部１１３は、後述するように、２以上の各静止画情報が有する静止画に、顔画像を付加する際に、顔表情特定情報に従って、モーフィング技術により、顔画像を修正することは好適である。
【００４５】
動画生成部１１３は、通常、ＭＰＵやメモリ等から実現され得る。動画生成部１１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４６】
顔画像取得手段１１３１は、顔画像受付部１１２が受け付けた１以上の顔画像を取得する。顔画像受付部１１２が受け付けた顔画像が２以上である場合（かかる場合、顔画像受付部１１２は、識別子と当該識別子に対応する顔画像との組２お２組以上受け付けている）、顔画像取得手段１１３１は、識別子と当該識別子に対応する顔画像との組を、２以上、取得する。また、顔画像取得手段１１３１は、顔画像受付部１１２が受け付けた１以上の各画像から、１以上の顔画像を切り出して、取得しても良い。かかる場合、顔画像取得手段１１３１は、画像を輪郭抽出し、顔の領域を認識し、認識した領域である顔画像を切り出す。画像から顔画像の領域を認識する処理、および所定の領域の画像を切り出す処理は公知技術である。顔画像取得手段１１３１は、通常、ＭＰＵやメモリ等から実現され得る。顔画像取得手段１１３１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４７】
拡大縮小手段１１３２は、顔画像を付加する対象の静止画を有する静止画情報に含まれる顔大きさ情報で特定される大きさに、顔画像受付部１１２が受け付けた顔画像を拡大または縮小する。画像を拡大または縮小する処理は公知技術である。拡大縮小手段１１３２は、通常、ＭＰＵやメモリ等から実現され得る。拡大縮小手段１１３２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４８】
向き変更手段１１３３は、顔画像を付加する対象の静止画を有する静止画情報に含まれる顔向き情報で特定される向きに、顔画像受付部１１２が受け付けた顔画像を変形する。顔画像の向きの変更とは、平面的な向きの変更（３６０度以内の回転）でも良いし、３次元における向きの変更でも良い。３次元における向きの変更とは、ｘ、ｙ、ｚ軸での回転である。なお、画像の向きを変更する技術（回転技術）は公知技術である。向き変更手段１１３３は、通常、ＭＰＵやメモリ等から実現され得る。向き変更手段１１３３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００４９】
モーフィング手段１１３４は、２以上の各静止画情報に対して、各静止画情報と対になる顔表情特定情報により特定される顔の表情になるように、顔画像受付部１１２が受け付けた顔画像を修正する。顔画像の処理において、笑った顔にする処理、悲しい顔にする処理、怒った顔にする処理、泣いた顔にする処理等は、公知技術である（参考文献：「顔画像からの顔の３次元形状の推定とその表情の変更」、「電子情報通信学会論文誌  Ｊ73−Ｄ−ＩＩ−５ 」、（1990年５月25日）、小松功児著、電子情報通信学会発行、707頁〜716頁）。モーフィング手段１１３４は、通常、ＭＰＵやメモリ等から実現され得る。モーフィング手段１１３４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５０】
顔画像付加手段１１３５は、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、属性情報に従って変形された顔画像を付加して、顔画像付きの動画を生成する。なお、変形とは、拡大、縮小、向きの変更、表情の変更、平面の顔画像の立体化などを含む。
【００５１】
顔画像付加手段１１３５は、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、拡大縮小手段１１３２が取得した顔画像（拡大または縮小された顔画像）を付加して、顔画像付きの動画を生成する。
【００５２】
顔画像付加手段１１３５は、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、向き変更手段１１３３が変形した顔画像（平面的または立体的に傾いた顔画像）を付加して、顔画像付きの動画を生成する。
【００５３】
顔画像付加手段１１３５は、２以上の各静止画情報に対して、顔位置特定情報により特定される位置に、モーフィング手段１１３４が修正した顔画像（表情が変化した顔画像）を付加して、顔画像付きの動画を生成する。
【００５４】
顔画像付加手段１１３５は、通常、ＭＰＵやメモリ等から実現され得る。顔画像付加手段１１３５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【００５５】
動画出力部１１４は、動画生成部１１３が生成した顔画像付きの動画を出力する。動画出力部１１４は、順次、顔画像が付加された静止画を出力する。ここで、出力とは、通常、端末装置１２への送信である。ただし、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。動画出力部１１４は、通常、無線または有線の通信手段により実現され得る。
【００５６】
入力受付部１２１は、ユーザからの各種指示やデータ等を受け付ける。指示は、例えば、ユーザが入力した顔画像を付加した動画を構成し、出力する顔画像付き動画出力指示である。また、指示は、例えば、顔画像を貼り付ける１以上の動画が含まれているウェブページを呼び出す指示であるウェブページ取得指示である。その他、指示とは、各種指示やデータ等の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。入力受付部１２１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【００５７】
送信部１２２は、入力受付部１２１が受け付けた各種指示やデータ等を、情報処理装置１１に送信する。送信部１２２は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【００５８】
受信部１２３は、情報処理装置１１から、各種のデータ等を受信する。各種のデータ等とは、例えば、顔画像付きの動画である。また、各種のデータ等とは、例えば、２以上の動画のうちから、顔画像を付加する一の動画を選択するためのウェブページである。受信部１２３は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【００５９】
出力部１２４は、受信部１２３が受信した各種のデータ等を出力する。出力部１２４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１２４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
次に、情報処理システム１の動作について説明する。まず、情報処理装置１１の動作について、図３のフローチャートを用いて説明する。
【００６０】
（ステップＳ３０１）図示しない受付部（顔画像受付部１１２でも良い）は、端末装置１２から、指示を受け付けたか否かを判断する。指示を受け付ければステップＳ３０２に行き、指示を受け付けなければステップＳ３０１に戻る。
【００６１】
（ステップＳ３０２）図示しない受付部（顔画像受付部１１２でも良い）は、ステップＳ３０１で受け付けた指示が、ウェブページ取得指示であるか否かを判断する。ウェブページ取得指示であればステップＳ３０３に行き、ウェブページ取得指示でなければステップＳ３０６に行く。
【００６２】
（ステップＳ３０３）図示しない動作部（または、動画生成部１１３）は、動画格納部１１１から、１以上の動画を読み出す。なお、この動画には、動画を識別する動画識別子が付与されており、動作部は、当該動画識別子と動画を対応付けて読み出す。
【００６３】
（ステップＳ３０４）動作部（または、動画生成部１１３）は、ステップＳ３０３で読み出した１以上の動画を用いて、ユーザが顔画像を貼り付ける動画を選択し、顔画像付き動画を取得するためのウェブページを構成する。
【００６４】
（ステップＳ３０５）動作部（または動画出力部１１４）は、ステップＳ３０４で構成されたウェブページを、端末装置１２に送信する。ステップＳ３０１に戻る。
【００６５】
（ステップＳ３０６）動画生成部１１３は、ステップＳ３０１で受け付けた指示が、顔画像付き動画出力指示であるか否かを判断する。顔画像付き動画出力指示であればステップＳ３０７に行き、顔画像付き動画出力指示でなければステップＳ３０１に戻る。なお、ここで、ステップＳ３０１で受け付けた指示が、顔画像付き動画出力指示でなければ、図示しない手段が指示に対応した動作を行うことは好適である。
【００６６】
（ステップＳ３０７）動画生成部１１３は、顔画像付き動画出力指示に含まれる動画識別子（動画ＩＤ）を取得する。
【００６７】
（ステップＳ３０８）動画生成部１１３は、ステップＳ３０７で取得した動画識別子に対応する動画を、動画格納部１１１から読み出す。
【００６８】
（ステップＳ３０９）顔画像取得手段１１３１は、顔画像付き動画出力指示に含まれる１以上の顔画像を取得する。なお、顔画像付き動画出力指示に含まれる顔画像が２以上存在する場合、顔画像取得手段１１３１は、顔画像付き動画出力指示に含まれる、識別子と顔画像の組を２組以上取得する。
【００６９】
（ステップＳ３１０）動画生成部１１３は、動画生成処理を行う。動画生成処理について、図４のフローチャートを用いて説明する。
【００７０】
（ステップＳ３１１）動画出力部１１４は、ステップＳ３１０で生成された顔画像付き動画を、端末装置１２に送信する。ステップＳ３０１に戻る。
【００７１】
なお、図３のフローチャートにおいて、動画生成部１１３は、顔画像付き動画出力指示に含まれる動画識別子に対応する動画を、動画格納部１１１から読み出して利用した。しかし、動画生成部１１３は、図示しない受付部が受け付けた動画を利用しても良い。
【００７２】
また、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【００７３】
次に、ステップＳ３１０の動画生成処理について、図４のフローチャートを用いて説明する。
【００７４】
（ステップＳ４０１）動画出力部１１４は、カウンタｉに１を代入する。
【００７５】
（ステップＳ４０２）動画出力部１１４は、顔画像を貼り付ける対象の動画（ステップＳ３０８で取得された動画）の中に、ｉ番目の静止画情報が存在するか否かを判断する。ｉ番目の静止画情報が存在すればステップＳ４０３に行き、ｉ番目の静止画情報が存在しなければ上位処理にリターンする。
【００７６】
（ステップＳ４０３）動画出力部１１４の顔画像付加手段１１３５は、ｉ番目の静止画情報に含まれる静止画を取得する。
【００７７】
（ステップＳ４０４）顔画像取得手段１１３１は、カウンタｊに１を代入する。
【００７８】
（ステップＳ４０５）顔画像取得手段１１３１は、顔画像付き動画出力指示の中に、ｊ番目の顔画像が存在するか否かを判断する。ｊ番目の顔画像が存在すればステップＳ４０６に行き、ｊ番目の顔画像が存在しなければステップＳ４２４に行く。なお、ｊ番目の顔画像が存在する場合、この時点で、顔画像取得手段１１３１は、顔画像付き動画出力指示から、ｊ番目の顔画像を取得している、とする。
【００７９】
（ステップＳ４０６）拡大縮小手段１１３２等は、ｉ番目の静止画情報の中の、ｊ番目の顔画像に対応する属性情報を取得する。属性情報とは、顔大きさ情報、顔向き情報、顔表情特定情報のうちの１以上の情報である。属性情報は、顔画像を修正するための情報である。なお、一静止画の中に複数の顔画像を貼り付ける場合、すべての顔画像の属性情報が同じでも良い。かかる場合、属性情報は、静止画情報ごとに存在する。ただし、好ましくは、静止画情報は、顔画像ごとに、属性情報を有する。
【００８０】
（ステップＳ４０７）拡大縮小手段１１３２は、ステップＳ４０６で取得された属性情報の中に、顔大きさ情報が存在するか否かを判断する。顔大きさ情報が存在すればステップＳ４０８に行き、顔大きさ情報が存在しなければステップＳ４０９に行く。
【００８１】
（ステップＳ４０８）拡大縮小手段１１３２は、ステップＳ４０６で取得された属性情報の中から顔大きさ情報を取得する。ステップＳ４１０に行く。
【００８２】
（ステップＳ４０９）拡大縮小手段１１３２は、バッファに格納されている顔大きさ情報を読み出す。なお、バッファに格納されている顔大きさ情報は、過去の静止画情報の中の、時間的に最新の静止画情報に含まれる顔大きさ情報である。
【００８３】
（ステップＳ４１０）拡大縮小手段１１３２は、顔大きさ情報に従って、ｊ番目の顔画像を拡大、または縮小する。
【００８４】
（ステップＳ４１１）拡大縮小手段１１３２は、顔大きさ情報を、図示しないバッファに一時蓄積する。なお、ステップＳ４１１で顔大きさ情報を一時蓄積するのは、ステップＳ４０８の処理を行った場合（新しい顔大きさ情報を取得できた場合）のみであることは好適である。
【００８５】
（ステップＳ４１２）向き変更手段１１３３は、ステップＳ４０６で取得された属性情報の中に、顔向き情報が存在するか否かを判断する。顔向き情報が存在すればステップＳ４１３に行き、顔向き情報が存在しなければステップＳ４１４に行く。
【００８６】
（ステップＳ４１３）向き変更手段１１３３は、ステップＳ４０６で取得された属性情報の中から顔向き情報を取得する。ステップＳ４１５に行く。
【００８７】
（ステップＳ４１４）向き変更手段１１３３は、バッファに格納されている顔向き情報を読み出す。なお、バッファに格納されている顔向き情報は、過去の静止画情報の中の、時間的に最新の静止画情報に含まれる顔向き情報である。
【００８８】
（ステップＳ４１５）向き変更手段１１３３は、顔向き情報に従って、ｊ番目の顔画像の顔の向きを二次元的、または三次元的に変更する。二次元的な向きの変更は、回転である。三次元的な向きの変更は、モーフィング技術による顔の向きの変更である。なお、ここで、顔の向きの変更処理の対象は、通常、ステップＳ４１０で、拡大、または縮小処理された顔画像である。
【００８９】
（ステップＳ４１６）向き変更手段１１３３は、顔向き情報を、図示しないバッファに一時蓄積する。なお、ステップＳ４１６で顔向き情報を一時蓄積するのは、ステップＳ４１３の処理を行った場合（新しい顔向き情報を取得できた場合）のみであることは好適である。
【００９０】
（ステップＳ４１７）モーフィング手段１１３４は、ステップＳ４０６で取得された属性情報の中に、顔表情特定情報が存在するか否かを判断する。顔表情特定情報が存在すればステップＳ４１８に行き、顔表情特定情報が存在しなければステップＳ４１９に行く。
【００９１】
（ステップＳ４１８）モーフィング手段１１３４は、ステップＳ４０６で取得された属性情報の中から顔表情特定情報を取得する。ステップＳ４２０に行く。
【００９２】
（ステップＳ４１９）モーフィング手段１１３４は、バッファに格納されている顔表情特定情報を読み出す。なお、バッファに格納されている顔表情特定情報は、過去の静止画情報の中の、時間的に最新の静止画情報に含まれる顔表情特定情報である。
【００９３】
（ステップＳ４２０）モーフィング手段１１３４は、顔表情特定情報に従って、ｊ番目の顔画像の表情を変更するように、モーフィング処理を行う。なお、ここで、顔の向きの変更処理の対象は、通常、ステップＳ４１５で、顔の向きの変更処理された顔画像である。
【００９４】
（ステップＳ４２１）モーフィング手段１１３４は、顔表情特定情報を、図示しないバッファに一時蓄積する。なお、ステップＳ４１６で顔表情特定情報を一時蓄積するのは、ステップＳ４１８の処理を行った場合（新しい顔表情特定情報を取得できた場合）のみであることは好適である。
【００９５】
（ステップＳ４２２）顔画像付加手段１１３５は、ｉ番目の静止画情報に含まれる静止画の、ｊ番目の識別子に対応する顔位置特定情報により特定される位置に、ステップＳ４２０で処理された顔画像を貼り付ける。なお、静止画に顔画像を貼り付ける処理は、画像合成の処理であり、公知技術である。
【００９６】
（ステップＳ４２３）顔画像取得手段１１３１は、カウンタｊを１、インクリメントする。ステップＳ４０５に戻る。
【００９７】
（ステップＳ４２４）動画出力部１１４は、カウンタｉを１、インクリメントする。ステップＳ４０２に戻る。
【００９８】
なお、図４のフローチャートにおいて、顔画像の拡大または縮小処理、顔画像の向きの変更処理、顔画像の表情変更処理のすべての処理を行ったが、３つの処理のうち、いずれか１以上の処理を行うようにしても良い。
【００９９】
以下、本実施の形態における情報処理システム１の具体的な動作について説明する。情報処理システム１の概念図は図１である。
【０１００】
今、動画格納部１１１は、図５に示す８つの動画を格納している。８つの動画は、動画を識別する動画識別子（ここでは、ＩＤ＝１から８）と対応付けて格納されている。
【０１０１】
また、図６は、各動画を構成する静止画情報のデータ構造を示す図である。静止画情報は、ここでは、静止画と１以上の静止画付属情報を有する。静止画付属情報は、各顔（人物）の識別子ごとの情報である。静止画付属情報は、顔位置特定情報と、１以上の属性情報を有する。図６において、Ａ、Ｂ、およびＣの３つの顔（人物）の識別子に対して、静止画付属情報を有する。図６の動画を構成する２以上の静止画において、顔画像を付加する最大数は３である。また、属性情報は、ここでは、顔大きさ情報、顔向き情報、および顔表情特定情報である。さらに、図６の最も左側の属性は、静止画情報を特定する静止画情報識別子である。
【０１０２】
また、図６において、顔位置特定情報は、顔画像と体の画像の接点であり、顔画像が付加される真中の位置（点）を示す情報である。つまり、顔位置特定情報は、例えば、首の先端の中心点である。ただし、顔位置特定情報は、顔画像が付加される重心位置（中心）を示す情報など、顔画像の位置を決定できれば良い。なお、顔位置特定情報が体の一部である場合、かかる情報を決定することが容易である、という効果を奏する。
【０１０３】
また、図６において、顔大きさ情報は、顔の直径に対応する情報である。顔大きさ情報が顔の直径に対応する情報である場合、顔大きさ情報は顔画像が貼付される円領域を示すこととなる。ただし、顔大きさ情報は、他の構造（例えば、矩形領域を特定する２点の情報など）でも良い。
【０１０４】
また、図６において、顔向き情報は、２次元の中の顔の向きを示す情報である。顔向き情報は、画面上の真上を０とした、時計回りの回転角度である。顔向き情報が「０」の場合、顔画像の傾きはなく、顔画像は真正面を向いている。顔向き情報が「１５」の場合、顔画像は右側に１５度傾いている、ことを示す。なお、顔向き情報は、三次元空間における顔の向きを示す情報など、他の構造でも良い。顔向き情報が三次元空間における顔の向きを示す情報である場合、例えば、顔向き情報は、（θｘ, θｙ, θｚ）である。ここで、θｘはｘ軸方向における傾き、θｙはｙ軸方向における傾き、θｚはｚ軸方向における傾きを示す。
【０１０５】
さらに、図６において、顔表情特定情報は、通常の顔の場合は「０」、笑いの顔の場合は「１」、悲しみの顔の場合は「２」、怒りの顔の場合は「３」、泣きの顔の場合は「４」を示す。
【０１０６】
かかる状況において、ユーザは、顔画像付き動画を作成するウェブページを取得するウェブページ取得指示を入力した、とする。
【０１０７】
次に、端末装置１２の入力受付部１２１は、ウェブページ取得指示を受け付ける。そして、送信部１２２は、ウェブページ取得指示を、情報処理装置１１に送信する。
【０１０８】
次に、図示しない受付部（顔画像受付部１１２でも良い）は、ウェブページ取得指示を受信する。
【０１０９】
そして、図示しない動作部（または、動画生成部１１３）は、動画格納部１１１から、８つの動画（図５参照）を読み出す。
【０１１０】
次に、動作部（または、動画生成部１１３）は、読み出した８つの動画を用いて、ウェブページを構成する。このウェブページは、ユーザが顔画像を貼り付ける動画を選択し、顔画像付き動画を取得するためのウェブページである。
【０１１１】
次に、動作部（または動画出力部１１４）は、構成したウェブページを、端末装置１２に送信する。
【０１１２】
次に、端末装置１２の受信部１２３は、ウェブページを受信する。そして、出力部１２４は、受信されたウェブページを出力する（図７参照）。
【０１１３】
そして、端末装置１２のユーザは、「ＩＤ＝１」の動画に対応する「顔ちぇんする」ボタンを押下した、とする。この動作は、「ＩＤ＝１」の動画を選択する動作である。
【０１１４】
すると、端末装置１２から「ＩＤ＝１」の動画の選択指示が、情報処理装置１１に送信される。
【０１１５】
次に、情報処理装置１１は、当該選択指示を受信し、対応するウェブページを構成し、端末装置１２に送信する。
【０１１６】
次に、端末装置１２の受信部１２３は、当該ウェブページを受信する。そして、出力部１２４は、受信されたウェブページを出力する（図８参照）。
【０１１７】
また、図８において、ユーザが登録していた４つの顔画像が顔画像領域８１に表示されている。なお、ユーザの操作により、顔画像領域８１に、付加される候補の顔画像が登録できる、とする。かかる登録する技術は公知技術である。
【０１１８】
また、図８の画面において、ユーザが、顔画像領域８１のいずれかの顔画像を、人の識別子「Ａ」または「Ｂ」または「Ｃ」のところに、ドラッグ・アンド・ドロップすることにより、人の識別子と顔画像との対応がとれる。
【０１１９】
そして、ここで、ユーザは、最も左側の顔画像を、人の識別子「Ａ」の顔の位置にドラッグ・アンド・ドロップし、最も右側の顔画像を、人の識別子「Ｂ」の顔の位置にドラッグ・アンド・ドロップし、左から３つ目の顔画像を、人の識別子「Ｃ」の顔の位置にドラッグ・アンド・ドロップした、とする。そして、図９に示す画面が表示される。
【０１２０】
そして、ユーザは、「この写真でアップする」ボタンを押下した、とする。「この写真でアップする」ボタンの押下は、顔画像付き動画出力指示の入力である。
【０１２１】
すると、入力受付部１２１は、顔画像付き動画出力指示を受け付ける。
【０１２２】
そして、送信部１２２は、送信する顔画像付き動画出力指示を構成する。構成した顔画像付き動画出力指示は、図１０である。次に、送信部１２２は、図１０の顔画像付き動画出力指示を、情報処理装置１１に送信する。
【０１２３】
次に、顔画像受付部１１２は、３つの顔画像を有する顔画像付き動画出力指示（図１０参照）を受信する。
【０１２４】
次に、動画生成部１１３は、顔画像付き動画出力指示に含まれる動画識別子「１」を取得する。
【０１２５】
次に、動画生成部１１３は、取得した動画識別子「１」に対応する動画を、動画格納部１１１（図５参照）から読み出す。
【０１２６】
次に、顔画像取得手段１１３１は、顔画像付き動画出力指示（図９）に含まれる３組の識別子と顔画像の組を取得する。
【０１２７】
次に、動画生成部１１３等は、次のように動画生成処理を行う。つまり、まず、動画出力部１１４は、「ＩＤ＝１」の動画の１番目の静止画情報に含まれる静止画を取得する。
【０１２８】
次に、顔画像取得手段１１３１は、顔画像付き動画出力指示の中の１番目の顔画像（識別子「Ａ」に対応する顔画像）を取得する。
【０１２９】
そして、拡大縮小手段１１３２は、１番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔大きさ情報「８」を取得する。そして、拡大縮小手段１１３２は、顔大きさ情報「８」に従って、１番目の顔画像を拡大、または縮小する。ここでは、拡大縮小手段１１３２は、１番目の顔画像を円形であるとした場合の直径が「８」となるように拡大、または縮小する。
【０１３０】
次に、拡大縮小手段１１３２は、顔大きさ情報「８」を、図示しないバッファに一時蓄積する。この顔大きさ情報「８」は、次以降の静止画情報に顔大きさ情報が定義されていない場合、顔画像の拡大または縮小に使用される値である。
【０１３１】
次に、向き変更手段１１３３は、１番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔向き情報「０」を取得する。そして、向き変更手段１１３３は、顔向き情報「０」に従って、１番目の顔画像の顔の向きを、ここでは二次元的に変更する。なお、ここでは顔向き情報が「０」であるので、１番目の顔画像の顔の向きは変更されない。また、ここで向き変更の対象となる顔画像は、拡大縮小手段１１３２が処理した後の顔画像である。
【０１３２】
次に、向き変更手段１１３３は、顔向き情報「０」を、図示しないバッファに一時蓄積する。この顔向き情報「０」は、次以降の静止画情報に顔向き情報が定義されていない場合、顔画像の向きの変更のために使用される値である。
【０１３３】
次に、モーフィング手段１１３４は、１番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔表情特定情報「０」を読み出す。ここで、顔表情特定情報が「０」であるので、モーフィング手段１１３４は、当該顔画像の表情は変更しない。
【０１３４】
次に、モーフィング手段１１３４は、顔表情特定情報「０」を、図示しないバッファに一時蓄積する。この顔表情特定情報「０」は、次以降の静止画情報に顔表情特定情報が定義されていない場合、顔画像の表情の変更のために使用される値である。
【０１３５】
次に、顔画像付加手段１１３５は、１番目の静止画情報に含まれる静止画の、１番目の識別子に対応する顔位置特定情報（ｘａ１，ｙａ１）により特定される位置に、上記のように処理された識別子「Ａ」に対応する顔画像を貼り付ける。
【０１３６】
同様に、識別子「Ｂ」に対応する顔画像が、顔大きさ情報「６」に対応するように拡大または縮小され、顔位置特定情報（ｘｂ１，ｙｂ１）により特定される位置に、識別子「Ｂ」に対応する顔画像が貼り付けられる。
【０１３７】
また、同様に、識別子「Ｃ」に対応する顔画像が、顔大きさ情報「３」に対応するように拡大または縮小され、顔位置特定情報（ｘｃ１，ｙｃ１）により特定される位置に、識別子「Ｃ」に対応する顔画像が貼り付けられる。
【０１３８】
上記の処理により、図１１（ａ）に示す、顔画像付き静止画が構成された。
【０１３９】
次に、「ＩＤ＝２」以降の静止画情報に対して、３つの顔画像を変形する処理および付加する処理を行っていく。なお、静止画情報によっては、２以下の顔画像しか付加されない場合もある。さらに、静止画情報によっては、全く顔画像が付加されない場合もある。
【０１４０】
そして、「ＩＤ＝６８２」の静止画情報に対する処理を、以下のように行う、とする。
【０１４１】
つまり、まず、動画出力部１１４は、「ＩＤ＝１」の動画の６８２番目の静止画情報に含まれる静止画を取得する。
【０１４２】
そして、次に、顔画像取得手段１１３１は、バッファに格納されている識別子「Ａ」に対応する顔画像を取得する。なお、バッファに格納されている顔画像は、「ＩＤ＝６８１」の静止画情報に対する処理を行った後の顔画像である。また、ここで、顔画像取得手段１１３１は、変形される前の識別子「Ａ」に対応する顔画像（受け付けた最初の顔画像）を取得しても良い。
【０１４３】
そして、拡大縮小手段１１３２は、６８２番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔大きさ情報「８」を取得する。そして、拡大縮小手段１１３２は、顔大きさ情報「８」に従って、顔画像を拡大、または縮小する。
【０１４４】
次に、拡大縮小手段１１３２は、顔大きさ情報「８」を、図示しないバッファに一時蓄積する。
【０１４５】
次に、向き変更手段１１３３は、６８２番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔向き情報「０」を取得する。そして、向き変更手段１１３３は、顔向き情報「０」に従って、顔画像の顔の向きを、ここでは二次元的に変更する。なお、ここで向き変更の対象となる顔画像は、拡大縮小手段１１３２が処理した後の顔画像である。
【０１４６】
次に、モーフィング手段１１３４は、６８２番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔表情特定情報「３」を読み出す。ここで、顔表情特定情報「３」は、「怒り」の顔を示す。そして、モーフィング手段１１３４は、当該顔画像の表情を「怒り」の表情になるように、変形する。例えば、モーフィング手段１１３４は、顔画像を認識して得られる眉毛と目を吊り上げ、口角を下げるように画像を変形させる。なお、「怒り」の表情を作り出すように顔画像を変形する処理は、いかなる処理でもよく、公知技術である。
【０１４７】
次に、顔画像付加手段１１３５は、６８２番目の静止画情報に含まれる静止画の、１番目の識別子に対応する顔位置特定情報（ｘａ２，ｙａ２）を読み出し、当該顔位置特定情報により特定される位置に、上記のように処理された識別子「Ａ」に対応する顔画像を貼り付ける。
【０１４８】
同様に、顔画像取得手段１１３１は、バッファに格納されている識別子「Ｂ」に対応する顔画像を取得する。なお、バッファに格納されている顔画像は、「ＩＤ＝６８１」の静止画情報に対する処理を行った後の顔画像である。
【０１４９】
次に、拡大縮小手段１１３２は、顔大きさ情報「８」を読み出し、識別子「Ｂ」に対応する顔画像を、顔大きさ情報「８」に対応するように拡大または縮小する。そして、拡大縮小手段１１３２は、識別子「Ｂ」に対応付けて、顔大きさ情報「８」をバッファに格納する。
【０１５０】
次に、向き変更手段１１３３は、６８２番目の静止画情報の中の、２番目の（識別子「Ｂ」に対応する）顔画像に対応する顔向き情報「−５」を取得する。そして、向き変更手段１１３３は、顔向き情報「−５」に従って、顔画像の顔の向きを、ここでは二次元的に変更する。なお、ここでは顔向き情報が「−５」であるので、当該顔画像の顔の向きは、反時計回りに「５度」傾けられる。また、ここで向き変更の対象となる顔画像は、拡大縮小手段１１３２が処理した後の顔画像である。そして、向き変更手段１１３３は、識別子「Ｂ」に対応付けて、顔向き情報「−５」をバッファに格納する。
【０１５１】
次に、モーフィング手段１１３４は、６８２番目の静止画情報の中の、２番目の（識別子「Ｂ」に対応する）顔画像に対応する顔表情特定情報「３」を読み出す。そして、モーフィング手段１１３４は、当該顔画像の表情を「怒り」の表情になるように、変形する。そして、モーフィング手段１１３４は、識別子「Ｂ」に対応付けて、顔表情特定情報「３」をバッファに格納する。
【０１５２】
次に、顔画像付加手段１１３５は、６８２番目の静止画情報に含まれる静止画の、２番目の識別子に対応する顔位置特定情報（ｘｂ２，ｙｂ２）により特定される位置に、上記のように処理された識別子「Ｂ」に対応する顔画像を貼り付ける。
【０１５３】
次に、同様に、顔画像取得手段１１３１は、バッファに格納されている識別子「Ｃ」に対応する顔画像を取得する。なお、バッファに格納されている顔画像は、「ＩＤ＝６８１」の静止画情報に対する処理を行った後の顔画像である。
【０１５４】
次に、動画生成部１１３は、６８２番目の静止画情報に含まれる静止画の、３番目の識別子「Ｃ」に対応する属性情報を取得しようとするが、空である。したがって、動画生成部１１３は、３番目の識別子「Ｃ」に対応する顔画像の変形処理や、静止画への貼り付け処理を行わない。
【０１５５】
以上により、動画生成部１１３は、６８２番目の静止画情報の処理を完了する。そして、動画生成部１１３は、図１１（ｂ）の顔画像付きの静止画を取得する。
【０１５６】
そして、次に、動画生成部１１３は、６８３番目以降の静止画情報の処理を進める。そして、例えば、動画生成部１１３は、以下のように、１２８３番目の静止画情報の処理を行う。
【０１５７】
つまり、まず、動画出力部１１４は、「ＩＤ＝１」の動画の１２８３番目の静止画情報に含まれる静止画を取得する。
【０１５８】
次に、顔画像取得手段１１３１は、１番目の顔画像（識別子「Ａ」に対応する顔画像）を取得する。
【０１５９】
そして、拡大縮小手段１１３２は、１２８３番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔大きさ情報「２」を取得する。そして、拡大縮小手段１１３２は、顔大きさ情報「２」に従って、当該顔画像を拡大、または縮小する。
【０１６０】
次に、拡大縮小手段１１３２は、顔大きさ情報「２」を、識別子「Ａ」と対応付けて、図示しないバッファに一時蓄積する。この顔大きさ情報「２」は、次以降の静止画情報に顔大きさ情報が定義されていない場合、顔画像の拡大または縮小に使用される値である。
【０１６１】
次に、向き変更手段１１３３は、１２８３番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔向き情報「８」を取得する。そして、向き変更手段１１３３は、顔向き情報「８」に従って、１番目の顔画像の顔の向きを、ここでは二次元的に変更する。なお、ここでは顔向き情報が「８」であるので、向き変更手段１１３３は、時計回りに真上から８度傾くように、顔画像を回転させる。また、ここで向き変更の対象となる顔画像は、拡大縮小手段１１３２が処理した後の顔画像である。
【０１６２】
次に、向き変更手段１１３３は、顔向き情報「８」を、識別子「Ａ」と対応付けて、図示しないバッファに一時蓄積する。この顔向き情報「８」は、次以降の静止画情報に顔大きさ情報が定義されていない場合、顔画像の向きの変更に使用される値である。
【０１６３】
次に、モーフィング手段１１３４は、１番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔表情特定情報「０」を読み出す。ここで、顔表情特定情報が「０」であるので、モーフィング手段１１３４は、当該顔画像の表情は「通常」の表情となるようにする。そして、モーフィング手段１１３４は、顔表情特定情報「０」を、識別子「Ａ」と対応付けて、図示しないバッファに一時蓄積する。
【０１６４】
次に、顔画像付加手段１１３５は、１番目の静止画情報に含まれる静止画の、１番目の識別子に対応する顔位置特定情報（ｘａ３，ｙａ３）により特定される位置に、上記のように処理された識別子「Ａ」に対応する顔画像を貼り付ける。
【０１６５】
同様に、識別子「Ｂ」に対応する顔画像が、顔大きさ情報「２」に対応するように拡大または縮小され、また、顔向き情報「８」に対応するように顔画像の向きが変更される。そして、顔位置特定情報（ｘｂ３，ｙｂ３）により特定される位置に、識別子「Ｂ」に対応する顔画像が貼り付けられる。
【０１６６】
同様に、識別子「Ｃ」に対応する顔画像が、顔大きさ情報「２」に対応するように拡大または縮小され、また、顔向き情報「１０」に対応するように顔画像の向きが変更される。また、モーフィング手段１１３４により、顔表情特定情報「０」に対応するように表情が普通の表情に変更される。そして、顔位置特定情報（ｘｃ３，ｙｃ３）により特定される位置に、識別子「Ｂ」に対応する顔画像が貼り付けられる。
【０１６７】
以上により、顔画像付きの静止画（図１１（ｃ））が生成された。
【０１６８】
次に、「ＩＤ＝１２８４」以降の静止画情報に対して、３つの顔画像を変形する処理および付加する処理を行っていく。
【０１６９】
そして、「ＩＤ＝２１５９」の静止画情報に対する処理を、以下のように行う、とする。
【０１７０】
つまり、まず、動画出力部１１４は、「ＩＤ＝１」の動画の２１５９番目の静止画情報に含まれる静止画を取得する。
【０１７１】
そして、次に、顔画像取得手段１１３１は、バッファに格納されている識別子「Ａ」に対応する顔画像を取得する。なお、バッファに格納されている顔画像は、「ＩＤ＝２１５８」の静止画情報に対する処理を行った後の顔画像である。
【０１７２】
そして、拡大縮小手段１１３２は、２１５９番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔大きさ情報「４」を取得する。そして、拡大縮小手段１１３２は、顔大きさ情報「４」に従って、顔画像を拡大、または縮小する。そして、拡大縮小手段１１３２は、顔大きさ情報「４」を、識別子「Ａ」と対応付けて、バッファに一時蓄積する。
【０１７３】
次に、向き変更手段１１３３は、２１５９番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔向き情報「１５」を取得する。そして、向き変更手段１１３３は、顔向き情報「１５」に従って、顔画像の顔の向きを、時計回りの方向に１５度傾くように、変形する。そして、向き変更手段１１３３は、顔向き情報「１５」を、識別子「Ａ」と対応付けて、バッファに一時蓄積する。
【０１７４】
次に、モーフィング手段１１３４は、２１５９番目の静止画情報の中の、１番目の（識別子「Ａ」に対応する）顔画像に対応する顔表情特定情報を読み出す。ここで、顔表情特定情報は、空であるので、前の（２１５８番目の識別子「Ａ」の）顔表情特定情報をバッファから読み出す。そして、モーフィング手段１１３４は、かかる顔表情特定情報に応じて、顔の表情を変更する。つまり、一部に空の顔の属性情報や、顔位置特定情報が存在する場合、直前の静止画に適用された顔の属性情報や、顔位置特定情報が採用される。
【０１７５】
次に、顔画像付加手段１１３５は、２１５９番目の静止画情報に含まれる静止画の、１番目の識別子に対応する顔位置特定情報（ｘａ４，ｙａ４）により特定される位置に、上記のように処理された識別子「Ａ」に対応する顔画像を貼り付ける。
【０１７６】
同様に、顔画像取得手段１１３１は、バッファに格納されている識別子「Ｂ」に対応する顔画像を取得する。
【０１７７】
次に、拡大縮小手段１１３２は、識別子「Ｂ」に対応する顔画像を、顔大きさ情報「４」に対応するように拡大または縮小する。そして、拡大縮小手段１１３２は、顔大きさ情報「４」を、識別子「Ｂ」に対応付けて、バッファに一時蓄積する。
【０１７８】
次に、向き変更手段１１３３は、２１５９番目の静止画情報の中の、２番目の（識別子「Ｂ」に対応する）顔画像に対応する顔向き情報「空（−）」を取得する。そして、向き変更手段１１３３は、バッファに格納されている識別子「Ｂ」の顔画像に対応する顔向き情報を取得する。そして、向き変更手段１１３３は、読み出したバッファ内の顔向き情報に従って、顔画像の顔の向きを変更する。
【０１７９】
次に、モーフィング手段１１３４は、２１５９番目の静止画情報の中の、２番目の（識別子「Ｂ」に対応する）顔画像に対応する顔表情特定情報「空（−）」を読み出す。そして、モーフィング手段１１３４は、バッファに格納されている識別子「Ｂ」の顔画像に対応する顔表情特定情報を取得する。そして、モーフィング手段１１３４は、当該顔表情特定情報が示す顔の表情になるように、顔画像の表情を変更する。
【０１８０】
次に、顔画像付加手段１１３５は、２１５９番目の静止画情報に含まれる静止画の、２番目の識別子に対応する顔位置特定情報（ｘｂ４，ｙｂ４）により特定される位置に、上記のように処理された識別子「Ｂ」に対応する顔画像を貼り付ける。
【０１８１】
次に、同様に、顔画像取得手段１１３１は、バッファに格納されている識別子「Ｃ」に対応する顔画像を取得する。
【０１８２】
次に、拡大縮小手段１１３２は、顔大きさ情報「４」を取得し、当該顔大きさ情報に対応するように、識別子「Ｃ」に対応する顔画像を拡大または縮小する。そして、拡大縮小手段１１３２は、顔大きさ情報「４」を、識別子「Ｃ」に対応付けて、バッファに一時蓄積する。
【０１８３】
次に、向き変更手段１１３３は、２１５９番目の静止画情報の中の、２番目の（識別子「Ｂ」に対応する）顔画像に対応する顔向き情報「８」を取得する。そして、向き変更手段１１３３は、顔向き情報「８」に従って、顔画像の顔の向きを二次元的に変更する。なお、ここでは顔向き情報が「８」であるので、当該顔画像の顔の向きは、時計回りに「８度」傾けられる。また、ここで向き変更の対象となる顔画像は、拡大縮小手段１１３２が処理した後の顔画像である。そして、向き変更手段１１３３は、顔向き情報「８」を、識別子「Ｃ」に対応付けて、バッファに一時蓄積する。
【０１８４】
次に、モーフィング手段１１３４は、２１５９番目の静止画情報の中の、３番目の（識別子「Ｃ」に対応する）顔画像に対応する顔表情特定情報「０」を読み出す。そして、モーフィング手段１１３４は、当該顔画像の表情を「通常」の表情になるように、変形する。そして、モーフィング手段１１３４は、顔表情特定情報「０」を、識別子「Ｃ」に対応付けて、バッファに一時蓄積する。
【０１８５】
そして、動画生成部１１３は、図１１（ｅ）の顔画像付きの静止画を得る。
【０１８６】
以上の処理を、すべての静止画情報に対して、繰り返し行う。そして、動画生成部１１３は、ユーザが指定した顔画像が、動画を構成する静止画の状況（主として、属性情報）に従って変形され、貼付される。そして、ユーザが指定した顔画像が貼り付けられた動画が生成される。
【０１８７】
次に、動画出力部１１４は、ステップＳ３１０で生成された顔画像付き動画を、端末装置１２に送信する。
【０１８８】
次に、端末装置１２の受信部１２３は、動画を受信する。そして、出力部１２４は、受信部１２３が受信した動画を出力する（図１１参照）。図１１は、複数の静止画（図１１（ａ）以降の静止画）が、順次、出力されることにより、ユーザは、自分が指定した３つの顔画像が登場している動画が得られる。
【０１８９】
以上、本実施の形態によれば、ユーザが指定した顔画像が、動画を構成する静止画の状況（主として、属性情報）に従って変形され、貼付されることにより、ユーザが指定した顔画像の人物が、実際に動画に登場しているような現実感を与える動画を構成できる。
【０１９０】
なお、本実施の形態によれば、顔画像は、３種類の属性情報に基づいて変形された。しかし、いずれか１以上の属性情報に基づいて、変形されるだけでも良いし、他の属性情報（例えば、顔色、顔の肥満度など）に基づいて、顔画像が修正されても良い。属性情報の顔色が例えば、「青」である場合、動画生成部１１３は、顔画像の顔部分を青ざめた色に修正する処理を行っても良い。かかる場合、動画生成部１１３は、顔画像の顔部分を認識し、その部分の色を変更する処理を行う。かかる処理は、顔部分の輪郭抽出、顔部分の認識処理、および色の変更処理の組み合わせであり、実現可能である。また、顔の肥満度により、顔画像の縦横比を変更するなどの顔画像の処理を行っても良い。顔画像の縦横比を変更する処理は、公知技術である。
【０１９１】
また、本実施の形態によれば、一の動画に複数の顔画像を付加する処理を行った。しかし、一の動画に一の顔画像を付加する処理を行うだけでも良い。
【０１９２】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納しており、コンピュータを、顔画像を受け付ける顔画像受付部と、前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成部と、前記動画生成部が生成した顔画像付きの動画を出力する動画出力部として機能させるためのプログラム、である。
【０１９３】
また、上記プログラムにおいて、前記静止画情報は、顔位置特定情報と、顔の属性を示す属性情報と、静止画とを対に有し、前記動画生成部は、前記２以上の各静止画情報に対して、当該各静止画情報と対になる前記属性情報に従って顔画像を変形し、前記各静止画情報と対になる顔位置特定情報により特定される位置に、前記変形した顔画像を付加して、顔画像付きの動画を生成するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記静止画情報は、顔位置特定情報と、顔の大きさを特定する情報である顔大きさ情報と、静止画とを対に有し、前記動画生成部は、前記顔大きさ情報で特定される大きさに、前記顔画像受付部が受け付けた顔画像を拡大または縮小する拡大縮小手段と、前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記拡大縮小手段が取得した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備するものとして、コンピュータを機能させることは好適である。
【０１９４】
また、上記プログラムにおいて、前記静止画情報は、顔位置特定情報と、顔の向きを特定する顔向き情報と、静止画とを対に有し、前記動画生成部は、前記顔向き情報で特定される向きに、前記顔画像受付部が受け付けた顔画像を変形する向き変更手段と、前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記向き変更手段が変形した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記静止画情報は、顔の表情を特定する顔表情特定情報をさらに有し、前記動画生成部は、前記２以上の各静止画情報に対して、各静止画情報と対になる顔表情特定情報により特定される顔の表情になるように、前記顔画像受付部が受け付けた顔画像を修正するモーフィング手段と、前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記モーフィング手段が修正した顔画像を付加して、顔画像付きの動画を生成する顔画像付加手段とを具備するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記静止画情報は、２以上の顔位置特定情報と当該各顔位置特定情報に対応する識別子と静止画とを有し、前記顔画像受付部は、２以上の識別子と、各識別子に対応する２以上の顔画像とを受け付け、前記動画生成部は、前記２以上の各静止画情報に対して、前記２以上の各顔位置特定情報により特定される位置に、前記各顔位置特定情報に対応する識別子と対になる、前記顔画像受付部が受け付けた２以上の各顔画像を付加して、２以上の顔画像を有する動画を生成するものとして、コンピュータを機能させることは好適である。
（実施の形態２）
【０１９５】
本実施の形態において、実施の形態１で説明した情報処理システム１に、さらに、顔位置特定情報、顔大きさ情報、顔向き情報、顔表情特定情報などを自動取得する機能を加えた情報処理システム２について説明する。
【０１９６】
本実施の形態における情報処理システム２の概念図は、図１と同様である。図１２は、本実施の形態における情報処理システム２のブロック図である。
情報処理システム２は、情報処理装置２１、端末装置１２を備える。情報処理装置２１は、動画格納部１１１、顔属性取得部２１１、顔属性蓄積部２１２、顔画像受付部１１２、動画生成部１１３、動画出力部１１４を備える。
【０１９７】
顔属性取得部２１１は、動画格納部１１１の静止画情報ごとに、当該静止画情報に含まれる静止画から、顔位置特定情報、または顔の属性情報を取得する。また、顔属性取得部２１１は、動画格納部１１１の静止画情報ごとに、１以上の位置を用いて、顔位置特定情報を取得する。ここで、属性情報とは、顔大きさ情報、顔向き情報、顔表情特定情報、顔色情報、顔の肥満度などのうち、1以上の情報である。顔色情報とは、顔色を示す情報である。顔の肥満度とは、顔の縦横比を決定する情報である。
【０１９８】
顔属性取得部２１１は、動画格納部１１１の静止画情報ごとに、体の画像を用いて、顔表情特定情報を取得する。顔属性取得部２１１は、例えば、動画を構成する静止画ごとに、当該静止画から人の画像を輪郭抽出し、体の位置や傾きの情報を取得する。そして、顔属性取得部２１１は、例えば、体の傾きが一定以上傾いていると判断した場合（かかる場合は、ころんだ場合である）には、顔表情特定情報を「４」（泣きの顔）に設定し、体の傾きが立っている状態の場合は、顔表情特定情報を「０」（通常の顔）に設定する。
【０１９９】
また、顔属性取得部２１１は、動画格納部１１１の静止画情報ごとに、静止画の中に含まれる顔の画像から、顔表情特定情報を取得しても良い。顔属性取得部２１１は、例えば、静止画を輪郭抽出し、その静止画の中から顔の画像（輪郭）を抽出し、また、目の輪郭を抽出し、顔画像の目尻の下がり具合が、閾値より大きければ顔表情特定情報を「１」（笑いの顔）に設定する。また、顔属性取得部２１１は、例えば、静止画を輪郭抽出し、その静止画の中から顔の画像（輪郭）を抽出し、また、口の輪郭を抽出し、口が閾値より大きく開いている場合は、顔表情特定情報を「１」（笑いの顔）に設定する。さらに、顔属性取得部２１１は、例えば、静止画を輪郭抽出し、その静止画の中から顔の画像を抽出し、また、目の輪郭を抽出し、目が閉じられている場合は、顔表情特定情報を「４」（泣きの顔）に設定する。
【０２００】
顔属性取得部２１１は、動画格納部１１１の静止画情報ごと、当該静止画情報に含まれる静止画の輪郭抽出をし、２以上の生物物体の輪郭を取得し、当該２以上の生物物体の輪郭の情報を用いて、２以上の生物物体ごとに、顔の属性情報を取得することは好適である。顔属性取得部２１１は、例えば、１以上の生物物体ごとに、顔の認識を行い、顔位置特定情報、顔大きさ情報を取得する。また、顔属性取得部２１１は、例えば、１以上の生物物体ごとに、２つ以下の目の位置と鼻の位置とを取得し、当該目の位置と鼻の位置とから、顔向き情報を取得する。
【０２０１】
顔属性取得部２１１は、例えば、動画格納部１１１の静止画情報ごと、および１以上の位置の組ごとに、体の画像を用いて、顔表情特定情報を取得する。顔属性取得部２１１は、例えば、静止画を輪郭抽出し、その静止画の中から体の部分の画像を抽出し、体が横たわっていることを検出し、泣きを意味する顔表情特定情報「４」を取得する。また、顔属性取得部２１１は、例えば、静止画を輪郭抽出し、その静止画の中から足の部分の画像を抽出し、足が閾値以上大きく開いていることを検出し、笑いを意味する顔表情特定情報「１」を取得する。
【０２０２】
その他、顔属性取得部２１１は、体の輪郭（形状）、体を構成する部分の輪郭（形状）を用いて、顔表情特定情報を決定しても良い。
【０２０３】
顔属性取得部２１１は、通常、ＭＰＵやメモリ等から実現され得る。顔属性取得部２１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０２０４】
顔属性蓄積部２１２は、顔属性取得部２１１が取得した属性情報や、顔位置特定情報を、静止画と対応づけて、動画格納部１１１に蓄積する。
【０２０５】
顔属性蓄積部２１２は、通常、ＭＰＵやメモリ等から実現され得る。顔属性蓄積部２１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０２０６】
次に、情報処理システム２の動作について説明する。情報処理システム２の動作と、情報処理システム１の動作とは、自動的に静止画情報が有する属性情報などを蓄積する点のみが異なる。したがって、情報処理装置２１における、静止画情報の一部の情報を自動的に蓄積する処理について、図１３のフローチャートを用いて説明する。図１３のフローチャートにおいて、一の動画に対して、属性情報等を設定する処理について説明する。なお、複数の動画が動画格納部１１１に格納されている場合、下記のステップを繰り返せば良い。
【０２０７】
（ステップＳ１３０１）顔属性取得部２１１は、カウンタｉに１を代入する。
【０２０８】
（ステップＳ１３０２）顔属性取得部２１１は、動画格納部１１１に格納されている、処理対象の動画の中に、ｉ番目の静止画が存在するか否かを判断する。ｉ番目の静止画が存在すればステップＳ１３０３に行き、ｉ番目の静止画が存在しなければ処理を終了する。
【０２０９】
（ステップＳ１３０３）顔属性取得部２１１は、処理対象の動画から、ｉ番目の静止画を読み出す。
【０２１０】
（ステップＳ１３０４）顔属性取得部２１１は、ｉ番目の静止画に対して、輪郭抽出の処理を行う。なお、輪郭抽出の処理は公知技術であるので、説明を省略する。
【０２１１】
（ステップＳ１３０５）顔属性取得部２１１は、ステップＳ１３０４で抽出した輪郭から、０または1以上の生物物体（例えば、人や顔［生物の一部でも良い］）を認識する。
【０２１２】
（ステップＳ１３０６）顔属性取得部２１１は、カウンタｊに１を代入する。
【０２１３】
（ステップＳ１３０７）顔属性取得部２１１は、ステップＳ１３０５で認識した生物物体のうち、ｊ番目の生物物体が存在するか否かを判断する。ｊ番目の生物物体が存在すればステップＳ１３０８に行き、ｊ番目の生物物体が存在しなければステップＳ１３１４に行く。
【０２１４】
（ステップＳ１３０８）顔属性取得部２１１は、ｉ番目の静止画のｊ番目の生物物体の顔画像を取得する。
【０２１５】
（ステップＳ１３０９）顔属性取得部２１１は、ステップＳ１３０８で顔画像が取得できたか否かを判断する。顔画像が取得できればステップＳ１３１０に行き、顔画像が取得できなければステップＳ１３１３に行く。
【０２１６】
（ステップＳ１３１０）顔属性取得部２１１は、情報取得処理１を行う。情報取得処理１について、図１４のフローチャートを用いて説明する。なお、情報取得処理１は、動画が有する顔の画像を用いた属性情報等の取得である。
【０２１７】
（ステップＳ１３１１）顔属性蓄積部２１２は、属性情報等を、静止画および生物物体の識別子（実施の形態１の顔の識別子）と対応付けて、動画格納部１１１に蓄積する。属性情報等とは、ステップＳ１３１０またはステップＳ１３１３で取得した情報である。なお、動画の中に、生物物体が２以上、存在し得ない場合、顔属性蓄積部２１２は、属性情報等と静止画とを対応付けて蓄積すれば良い。
【０２１８】
（ステップＳ１３１２）顔属性取得部２１１は、カウンタｊを１、インクリメントする。ステップＳ１３０７に戻る。
【０２１９】
（ステップＳ１３１３）顔属性取得部２１１は、情報取得処理２を行う。ステップＳ１３１１に行く。情報取得処理２について、図１５のフローチャートを用いて説明する。なお、情報取得処理２は、動画が有する体の画像を用いた属性情報等の取得である。
【０２２０】
（ステップＳ１３１４）顔属性取得部２１１は、カウンタｉを１、インクリメントする。ステップＳ１３０２に戻る。
【０２２１】
なお、図１３のフローチャートにおいて、情報取得処理１を行うか否かの判断（顔画像が存在するか否かの判断）を行い、情報取得処理１を行った場合は、情報取得処理２を行わなかった。しかし、情報取得処理２の処理と、情報取得処理１の処理の両方を行うなど、他の処理、制御を行っても良い。
【０２２２】
次に、ステップＳ１３１０の情報取得処理１について、図１４のフローチャートを用いて説明する。
【０２２３】
（ステップＳ１４０１）顔属性取得部２１１は、顔画像の位置の情報を取得する。取得した情報は、顔位置特定情報となる。顔位置特定情報は、顔の中心の点（ｘ，ｙ）でも良いし、顔の領域を特定する情報でも良いし、顔の最下側の点（ｘ，ｙ）でも良い。顔の最下側の点とは、体と顔が接する点である。
【０２２４】
（ステップＳ１４０２）顔属性取得部２１１は、顔画像の輪郭から、顔大きさ情報を取得する。顔大きさ情報は、顔位置特定情報に含まれても良い（顔位置特定情報が顔の領域を特定する情報である場合）し、顔の中心からの半径でも良いし、矩形領域の対角線の長さなどでも良い。
【０２２５】
（ステップＳ１４０３）顔属性取得部２１１は、顔向き情報を取得する。顔属性取得部２１１は、例えば、顔画像の輪郭を卵形であるとして、卵形の長手方向（長い方）の軸の回転角度を顔向き情報として取得する。また、顔属性取得部２１１は、例えば、体画像の傾きを顔向き情報として取得しても良い。
【０２２６】
（ステップＳ１４０４）顔属性取得部２１１は、顔の特徴量を取得する。顔属性取得部２１１は、例えば、目の開き具合、目尻の下がり具合、口の開き具合口角の上がり／下がり具合などの情報を、顔の特徴量として取得する。
【０２２７】
（ステップＳ１４０５）顔属性取得部２１１は、ステップＳ１４０４で取得した顔の特徴量を用いて、顔表情特定情報を決定する。なお、顔属性取得部２１１は、顔表情特定情報ごとに、顔の特徴量を用いた条件を格納しており、かかる条件を適用して、顔表情特定情報を決定しても良い。また、顔属性取得部２１１は、ＳＶＲや決定木などの機械学習のアルゴリズムを用いて、顔表情特定情報を決定しても良い。つまり、顔属性取得部２１１は、複数の顔の特徴量のセットと、顔表情特定情報との組を格納しており(学習させており)、かかる学習データを用いて、機械学習のアルゴリズムにより、顔表情特定情報を決定しても良い。上位処理にリターンする。
【０２２８】
次に、ステップＳ１３１３の情報取得処理２について、図１５のフローチャートを用いて説明する。
【０２２９】
（ステップＳ１４０１）顔属性取得部２１１は、体の輪郭画像か1以上の特定の点（たとえば、両肩の端の点、両足の最下位の位置の点、首のつけねの点、両脇の点など）を取得する。
【０２３０】
（ステップＳ１４０２）顔属性取得部２１１は、ステップＳ１４０１で取得した１以上の特定の点から、顔位置特定情報を算出する。顔属性取得部２１１は、例えば、両肩の端の点を結ぶ直線の中点を、顔画像が付加される最下位の中心点であるとする。また、顔属性取得部２１１は、例えば、首のつけねの点を、顔画像が付加される最下位の中心点であるとする。
【０２３１】
（ステップＳ１４０３）顔属性取得部２１１は、ステップＳ１４０１で取得した１以上の特定の点から、体の傾き情報を取得する。この体の傾き情報は、顔向き情報と一致する。
【０２３２】
（ステップＳ１４０４）顔属性取得部２１１は、体の輪郭から、体の１以上の特徴量を抽出する。
【０２３３】
（ステップＳ１４０５）顔属性取得部２１１は、ステップＳ１４０４で取得した１以上の特徴量から、顔大きさ情報を算出する。顔属性取得部２１１は、例えば、体の長さ（例えば、ｘとする。）から、顔大きさ情報（例えば、顔の直径を（ｘ／４）とする）を算出する。
【０２３４】
（ステップＳ１４０６）顔属性取得部２１１は、ステップＳ１４０４で取得した１以上の特徴量から、顔表情特定情報を決定する。上位処理にリターンする。
【０２３５】
以上、本実施の形態によれば、与えられた動画に状況に応じて、状況に合致する適切な顔画像に変形するために、自動的に属性情報を取得できる。また、動画から、顔画像を付加する位置である顔位置特定情報を自動的に取得できる。
【０２３６】
なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、顔画像を付加する位置を特定する情報である顔位置特定情報と静止画とを対に有する２以上の静止画情報を格納しており、コンピュータを、顔画像を受け付ける顔画像受付部と、前記２以上の各静止画情報に対して、前記顔位置特定情報により特定される位置に、前記顔画像受付部が受け付けた顔画像を付加して、顔画像付きの動画を生成する動画生成部と、前記動画生成部が生成した顔画像付きの動画を出力する動画出力部として機能させるためのプログラム、である。
【０２３７】
また、上記プログラムにおいて、前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から、顔位置特定情報、または顔の属性情報を取得する顔属性取得部をさらに具備し、前記動画生成部は、前記顔属性取得部が取得した顔位置特定情報、または顔の属性情報を用いて、顔画像付きの動画を生成するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から生物物体の輪郭の抽出を行い、当該輪郭の情報を用いて、顔位置特定情報、顔大きさ情報、顔向き情報のうちの１以上の情報を取得する顔属性取得部をさらに具備し、前記動画生成部は、前記顔属性取得部が取得した顔位置特定情報、顔大きさ情報、顔向き情報のうちの１以上の情報を用いて、顔画像付きの動画を生成するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から、当該静止画に含まれる体の画像、または顔の画像を用いて、顔表情特定情報を取得する顔属性取得部をさらに具備し、前記モーフィング手段は、前記２以上の各静止画情報に対して、前記顔属性取得部が取得した顔表情特定情報により特定される顔の表情になるように、前記顔画像受付部が受け付けた顔画像を修正するものとして、コンピュータを機能させることは好適である。
また、上記プログラムにおいて、前記静止画は、顔画像が付加される複数の生物物体の画像を有し、前記顔属性取得部は、前記動画格納部の静止画情報ごとに、当該静止画情報に含まれる静止画から、２以上の生物物体の輪郭の抽出を行い、当該２以上の生物物体の輪郭の情報を用いて、前記２以上の生物物体ごとに、顔の属性情報を取得するものとして、コンピュータを機能させることは好適である。
【０２３８】
また、図１６は、本明細書で述べたプログラムを実行して、上述した実施の形態の情報処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１６は、このコンピュータシステム３４０の概観図であり、図１７は、コンピュータシステム３４０のブロック図である。
【０２３９】
図１６において、コンピュータシステム３４０は、ＦＤドライブ、ＣＤ−ＲＯＭドライブを含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
【０２４０】
図１７において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ−ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ−ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０２４１】
コンピュータシステム３４０に、上述した実施の形態の情報処理装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ−ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
【０２４２】
プログラムは、コンピュータ３４１に、上述した実施の形態の情報処理装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
【０２４３】
なお、上記プログラムにおいて、情報を送信する送信ステップや、情報を受信する受信ステップなどでは、ハードウェアによって行われる処理、例えば、送信するステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。
【０２４４】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２４５】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０２４６】
また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２４７】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２４８】
以上のように、本発明にかかる情報処理装置は、動画に対して顔の静止画を与えて、当該与えた顔画像を反映した動画を生成して出力できる、という効果を有し、情報処理装置等として有用である。
【符号の説明】
【０２４９】
１、２  情報処理システム
１１、２１  情報処理装置
１２  端末装置
１１１  動画格納部
１１２  顔画像受付部
１１３  動画生成部
１１４  動画出力部
１２１  入力受付部
１２２  送信部
１２３  受信部
１２４  出力部
２１１  顔属性取得部
２１２  顔属性蓄積部
１１３１  顔画像取得手段
１１３２  拡大縮小手段
１１３３  変更手段
１１３４  モーフィング手段
１１３５  顔画像付加手段
【図１】
2011081590.tif 000003
【図２】
2011081590.tif 000004
【図３】
2011081590.tif 000005
【図４】
2011081590.tif 000006
【図１２】
2011081590.tif 000007
【図１３】
2011081590.tif 000008
【図１４】
2011081590.tif 000009
【図１５】
2011081590.tif 000010
【図１６】
2011081590.tif 000011
【図１７】
2011081590.tif 000012
【図５】
2011081590.tif 000013
【図６】
2011081590.tif 000014
【図７】
2011081590.tif 000015
【図８】
2011081590.tif 000016
【図９】
2011081590.tif 000017
【図１０】
2011081590.tif 000018
【図１１】
2011081590.tif 000019