(57)【要約】【課題】写実的な被写体の表情または姿勢の変化を表示し得る合成動画を生成する。【解決手段】動画生成システム１００は、被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置（１０）と、複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて複数のフレームを再構成して合成動画のデータを生成するコンピュータ（２０）とを備える。類似度は、各フレーム内における被写体像の特徴量に基づいて規定されている。コンピュータ（２０）は、合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいてフレーム群から選択された複数の候補フレームから、１つのフレームを決定する。【選択図】図１
2017094527.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置と、
前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて前記複数のフレームを再構成して合成動画のデータを生成するコンピュータと、を備え、
前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定されており、
前記コンピュータは、
前記合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいて前記フレーム群から選択された複数の候補フレームから、１つのフレームを決定する、動画生成システム。
【請求項２】
前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度に基づいて、１つのフレームを決定する、請求項１に記載の動画生成システム。
【請求項３】
前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度の単調減少関数に基づいて、確率的に１つのフレームを決定する、請求項１に記載の動画生成システム。
【請求項４】
前記被写体像の特徴量は、前記被写体像に含まれる複数の特徴点の位置である、請求項１に記載の動画生成システム。
【請求項５】
前記被写体像の特徴量は、前記複数の特徴点の輝度および色の少なくとも一方をさらに含む、請求項４に記載の動画生成システム。
【請求項６】
前記フレーム群に含まれる任意の第１フレームと、前記フレーム群に含まれる前記第１フレーム以外の第２フレームとの間の前記類似度は、前記第１フレーム内における前記被写体像の各特徴点と前記第２フレーム内における対応する各特徴点との配置関係によって規定されている、請求項４に記載の動画生成システム。
【請求項７】
前記フレーム群に含まれる任意の第１フレームと、前記フレーム群に含まれる前記第１フレーム以外の第２フレームとの間の前記類似度は、前記第１フレーム内における前記被写体像の各特徴点の位置と前記第２フレーム内における対応する各特徴点の位置との距離の関数である、請求項４に記載の動画生成システム。
【請求項８】
前記複数の候補フレームは、前記類似度に基づいて算出された遷移コストに応じて選択されており、
前記第１フレームから前記第２フレームに遷移するときの遷移コストは、前記フレーム群において前記第１フレームを含む連続した所定数のフレームの第１のセット、および、前記フレーム群において前記第２フレームを含む連続した前記所定数のフレームの第２のセットについて、対応する同じ順番のフレームどうしの前記類似度の線形結合である、請求項６に記載の動画生成システム。
【請求項９】
前記コンピュータは、第Ｎ番目のフレームから前記候補フレームの各々に遷移するときの遷移コストをパラメータとして含む確率分布に従って第Ｎ＋１番目のフレームを選択する、請求項８に記載の動画生成システム。
【請求項１０】
被写体の視線を追跡し、前記視線に関する視線情報を出力する視線追跡装置をさらに備え、
前記コンピュータは、
前記視線情報に基づいて特定される、前記被写体の視線の方向が近いほど小さく、前記被写体の視線の方向が遠いほど大きい追加コストを算出し、
前記追加コストを利用して前記遷移コストを修正する、
請求項８に記載の動画生成システム。
【請求項１１】
前記フレーム群は、前記複数のフレームから選択されたフレームに加え、あらかじめ用意された複数の補間フレームを含んでいる、請求項１に記載の動画生成システム。
【請求項１２】
前記コンピュータは、前記合成動画をディスプレイに表示させる、請求項１に記載の動画生成システム。
【請求項１３】
前記コンピュータは、前記第Ｎ番目のフレームと前記第Ｎ＋１番目のフレームとの類似度に応じて、クロスディゾルブを行う、請求項１２に記載の動画生成システム。
【請求項１４】
前記被写体の少なくとも一部は人の顔および身体の少なくとも一方を含む、請求項１に記載の動画生成システム。
【請求項１５】
前記被写体像は、あらかじめ用意された複数の基底画像の各々と、複数の係数の各々との積を線形的に結合して表現され、
前記特徴量は、前記複数の係数の組み合わせによって定義される、請求項１に記載の動画生成システム。
【請求項１６】
被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置と、
前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて前記複数のフレームを再構成して合成動画のデータを生成するコンピュータと、を備え、
前記コンピュータは、
前記合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいて前記フレーム群から選択された複数の候補フレームから、一部のフレームを除外したうえで、１つのフレームを選択する、動画生成システム。
【請求項１７】
前記コンピュータは、前記合成動画を構成するフレームの順序に応じて前記一部のフレームを選択し、前記候補フレームから除外する、請求項１６に記載の動画生成システム。
【請求項１８】
前記コンピュータは、第Ｎ番目のフレームよりも前の所定数ＴLのフレーム（ＴLは２以上の整数）に所定数ＫL回以上含まれるフレーム（ＫLは１以上の整数）があるとき、当該クレームを前記一部のフレームとして選択し、前記候補フレームから除外する、請求項１７に記載の動画生成システム。
【請求項１９】
前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度に基づいて、１つのフレームを決定する、請求項１６に記載の動画生成システム。
【請求項２０】
前記コンピュータは、前記フレーム群から選択された複数の候補フレームから、前記類似度の単調減少関数に基づいて、確率的に１つのフレームを決定する、請求項１６に記載の動画生成システム。
【請求項２１】
前記合成動画を表示するディスプレイをさらに備えた、請求項１に記載の動画生成システム。
【請求項２２】
ユーザの入力を受け付けるインタフェース装置をさらに備え、
前記コンピュータは、前記ユーザの入力に応じて、前記合成動画のデータの生成、および前記動画クリップの一部である部分クリップの選択、の一方を行い、
前記ディスプレイは、生成された前記合成動画または選択された前記部分クリップを表示する、請求項２１に記載の動画生成システム。
【請求項２３】
前記記録装置、前記コンピュータ、前記ディスプレイおよび前記インタフェース装置を収容する筐体を備えた、請求項２２に記載の動画生成システム。
【請求項２４】
請求項１に記載の動画生成システムと、
端末装置と、
を備えた動画表示システムであって、
前記動画生成システムは、コンピュータによって生成された前記合成動画のデータを送信するシステム側通信回路をさらに備え、
前記端末装置は、
前記動画生成システムから送信された前記合成動画のデータを受信する装置側通信回路と、
前記合成動画を表示するディスプレイと、
を備える、動画表示システム。
【請求項２５】
前記システム側通信回路は、外部から送信された指示信号を受信することが可能であり、
前記指示信号を受信するまでは、前記コンピュータは前記合成動画のデータを生成し、
前記指示信号を受信した後は、前記コンピュータは、前記指示信号に応じて、前記動画クリップの一部である部分クリップを選択し、
前記システム側通信回路は、前記合成動画および前記部分クリップのデータを送信し、
前記端末装置のディスプレイは、前記装置側通信回路によって受信された前記合成動画および前記部分クリップを表示する、請求項２４に記載の動画表示システム。
【請求項２６】
請求項１に記載の動画生成システムにおいて用いられるデータ構造であって、
被写体像を含む複数のフレームのシーケンスである動画クリップと、
前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度を示す類似度情報であって、前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定される、類似度情報と、
を有するデータ構造。
【請求項２７】
前記被写体像の特徴量は、前記被写体像に含まれる複数の特徴点の位置である、請求項２６に記載のデータ構造。
【請求項２８】
前記被写体像の特徴量は、前記複数の特徴点の輝度および色の少なくとも一方をさらに含む、請求項２７に記載のデータ構造。
【請求項２９】
前記被写体像は、顔および姿勢を特定可能な人物の像であり、
前記類似度は、各フレームと、前記他のそれぞれのフレームとの間の、前記顔に関する特徴量の差および前記姿勢に関する特徴量の差に基づいて決定される、請求項２６に記載のデータ構造。
【請求項３０】
請求項１に記載の動画生成システムと、
表情および姿勢の少なくとも一方を変化させるための複数のアクチュエータを備えたロボットと、
前記合成動画における前記被写体像の表情および姿勢の少なくとも一方の変化に追従して前記複数のアクチュエータを駆動することにより、前記ロボットの表情および姿勢の少なくとも一方を変化させる駆動回路と、
を備えた、ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、動画生成システムおよび動画表示システムに関する。また、本願は、動画生成システムに用いられるデータ構造、および動画生成システムを備えるロボットシステムにも関している。
【背景技術】
【０００２】
コンピュータを用いる「擬人化対話エージェント（ｅｍｂｏｄｉｅｄ  ｃｏｎｖｅｒｓａｔｉｏｎａｌ  ａｇｅｎｔ）」が開発されている。擬人化対話エージェントは、人間または人間のようなキャラクターを表示装置（ディスプレイ）の画面に表示し、ユーザの音声またはキーボードによる入力に応じて、ユーザと対話を行う。ディスプレイの画面には動画が表示され、人間などの被写体が発する音声の内容に合わせて被写体像の表情（特に口の動き）および姿勢などが変化する。動画は、動画生成システムによって生成される。【０００３】
写実的な人間をディスプレイの画面に表示する主な動画生成システムは２通りに分類される。第１の動画生成システムでは、２次元（２Ｄ）の写真または動画からリップシンクアニメーションが合成される。このような合成動画の生成は、静止画のモーフィングを用いる方法（非特許文献１）、多数の口元の画像を用意して最適な順番で表示する方法（非特許文献２）が用いられ得る。第２の動画生成システムでは、人間の３次元（３Ｄ）モデルとその発話アニメーションとが作成されて描画が行われる。この描画に必要な人間の顔のモデリングおよびアニメーションの研究が行われている（非特許文献３）。写実的な描画のためには、髪の毛のモデリング、アニメーション、レンダリング、皮膚のレンダリングなどの様々な技術を組み合わせる必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６６３６２２０号明細書
【特許文献２】特開２００６−３２３７７４号公報
【非特許文献】
【０００５】
【非特許文献１】T. Ezzat and T. Poggio, "Visual speech synthesis by morphing visemes", International Journal of Computer Vision, 38（1）:45-57, 2000.
【非特許文献２】L. Wang, X. Qian, W. Han, and F. K.Soong, "Synthesizing photo-real talking head via trajectory-guided sample selection", In INTER-SPEECH, Vol. 10, pp. 446-449, 2010.
【非特許文献３】Z. Deng and J. Noh, "Computer facial animation: A survey", In Data-driven 3D facial animation, pp. 1-28. Springer, 2008.
【非特許文献４】A. Schodl, R. Szeliski, D. H. Salesin, and I. Essa, "Video Textures", In Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH '00, pp. 489-498, New York, NY, USA, 2000. ACM Press/Addison-Wesley Publishing Co.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の従来技術のうち、第１の方法によると、発話内容に合わせて口が動くだけであるため、写実的な人間の表情変化には程遠い。より自然なアニメーションを生成するためには、３Ｄモデルと組み合わせる必要がある。第２の方法による場合は、髪の毛のモデリング、アニメーション、レンダリングなどの様々な技術を組み合わせて写実的な対話シーンを描画することは困難である。【０００７】
本開示の実施形態は、写実的な人間の表情または姿勢の変化を表示し得る動画生成システムおよび動画表示システムを提供する。
【課題を解決するための手段】
【０００８】
本開示の例示的な動画生成システムは、被写体像を含む複数のフレームのシーケンスである動画クリップが記録されている記録装置と、前記複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度に基づいて前記複数のフレームを再構成して合成動画のデータを生成するコンピュータとを備え、前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定されており、前記コンピュータは、前記合成動画の第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、第Ｎ番目のフレームとの類似度に基づいて前記フレーム群から選択された複数の候補フレームから、１つのフレームを決定する。
【発明の効果】
【０００９】
本開示の実施形態によると、撮影によって得られた動画クリップのフレームシーケンスを被写体像の類似度に基づいて再構成した動画を生成することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本開示による動画生成システムの基本的な構成の一例を示す図である。
【図２】図２は、あるフレームと、そのフレームに対応づけられる「複数の候補フレーム」との関係を規定するテーブルの構成例を模試的に示す図である。
【図３】図３は、本開示による動画生成システムの限定的ではない例示的な実施形態の構成例を示す図である。
【図４】図４は、待機区間と発話区間とが交互に繰り返された動画クリップの構成例を示す図である。
【図５】図５は、撮影装置によって自動的に抽出された被写体像の複数の特徴点を示す図である。
【図６】図６は、動画クリップ内のｉ番目のフレームｉおよびｊ番目のフレームｊにおける被写体像の特徴点を模式的に示す図である。
【図７】図７は、事前計算によって得られたフレームｉとフレームｊとの間の距離Ｄi、jを規定する行列の一例を模式的に示す図である。
【図８】図８は、事前計算によって得られたフレームｉとフレームｊとの間の遷移コストＣi、jを規定する行列の一例を模式的に示す図である。
【図９】図９は、フレーム補間にクロスディゾルブ処理を用いるときのフレーム間遷移の一例を示す図である。
【図１０】図１０は、候補フレームから所定のフレームを除く例を模式的に示す図である。
【図１１】図１１は、動画表示システムの変形例を示す図である。
【図１２】図１２は、本開示によるロボットシステムの例示的な実施形態を模式的に示す図である。
【図１３】図１３は、事前に行う処理手順の一例を示すフローチャートである。
【図１４】図１４は、動画生成および動画表示の処理手順の一例を示すフローチャートである。
【図１５】図１５は、コンピュータ２０の内部構成例を示す図である。
【発明を実施するための形態】
【００１１】
＜本願発明者の知見＞  人間の写実的な動画を生成し得る技術として、「Ｖｉｄｅｏ  Ｔｅｘｔｕｒｅｓ」の技術が非特許文献４および特許文献１に開示されている。「Ｖｉｄｅｏ  Ｔｅｘｔｕｒｅｓ」とは、本来ならば始まりと終わりがある有限時間の動画クリップを撮影によって取得し、その動画クリップから合成した動画を連続的に限りなく再生し続けることが可能な技術である。この技術によれば、単に動画クリップの終点と始点とを繋げて無限にループさせるのではなく、表示される動画内のあるフレームから次のフレームへの遷移をフレーム間の類似度に基づいて確率的に行う。このため、単純な繰り返しがないフレームシーケンスを生成することができる。
【００１２】
「Ｖｉｄｅｏ  Ｔｅｘｔｕｒｅｓ」では、撮影によって取得した動画クリップを構成する多数のフレームの中から、相互に類似する複数のフレームを前もって候補フレームとして選択しておく。フレームを再配列して動画を合成するとき、現在のフレームから次のフレームへの「遷移」を類似度に応じた確率分布に従って行う。より具体的には、現在のフレームに類似する複数の候補フレームから、類似度に応じた確率分布に従って、１つのフレームが選択される。この確率分布は、フレーム間の類似度を変数とする関数で定義され、類似度の高いフレームへの遷移が高い頻度で発生することになる。
【００１３】
「Ｖｉｄｅｏ  Ｔｅｘｔｕｒｅｓ」では、フレーム間の類似度が、着目する２枚のフレームの距離（ｆｒａｍｅ−ｔｏ−ｆｒａｍｅ  ｄｉｓｔａｎｃｅ）によって与えられる。この「距離」は、２枚のフレームにおける画素値の差分（絶対値または二乗）を、フレームを構成する全ての画素について加算することによって定義される。このように定義された「距離」が小さいほど、フレーム間の類似度は高い。
【００１４】
本願発明者らの検討によると、「Ｖｉｄｅｏ  Ｔｅｘｔｕｒｅｓ」の技術を用いて動画生成システムを実現しようとすると、フレーム間の類似度の計算量が膨大であるという問題、および、類似度の高いフレーム間の遷移が不自然に繰り返されるという問題のあることがわかった。
【００１５】
本願発明者は、フレーム全体の類似度ではなく、フレーム内の被写体像の特徴量に基づいて規定される類似度を用いることにより、対話に用いられ得る自然な動画を、より少ない計算量で合成できることを見いだした。また、類似度に基づいて選択された候補フレームの範囲の一部を過去の表示状況に応じて制限する（採用しない）ことにより、合成動画におけるシーケンスの不自然な繰り返しを抑制できることを見いだした。なお、特許文献２には、顔の部品上に配置した複数の特徴点の位置を検出することが開示されている。特許文献２の装置は、撮影した顔の画像間で特徴位置の対応をとり、発声に伴う各特徴位置の動き方と映像パターンの変化の仕方が解析される。
【００１６】
本開示では、フレーム内の「被写体像の特徴量」に基づいて類似度を規定する。被写体の典型例は、人間の顔であり、人間の身体の一部または全体を含み得る。また、被写体は、擬人化され得る動物またはロボットであってもよい。好ましい実施形態において、被写体像は、人間などの表情を規定する顔、特に目および口の像を含む。このような被写体像は、パターン認識の分野で利用され得る種々の特徴量によって識別される。ある実施形態において、この特徴量は、顔の表情および向き、すなわち顔の外観を表現するために抽出された複数の点（特徴点）に基づいて規定され得る。たとえば、被写体像の特徴点のフレーム内における位置座標そのものが特徴量であり得る。この場合、２枚のフレームにおいて、対応する特徴点の位置座標の差異の総和が類似度を規定するための距離に相当する。特徴点の位置は、被写体が位置する空間内の３次元座標であってもよい。なお、被写体像の各特徴点における画素値、たとえば色度または明度を特徴量に含めてもよい。
【００１７】
このように本開示では、フレームの全体ではなく、フレームに含まれる被写体像の特徴量に基づいてフレーム間の類似度を定義するため、より少ない計算量でフレーム間の類似度を求めることができる。
【００１８】
また、本開示の他の側面によると、類似度に基づいて選択された複数の候補フレームから、合成動画を構成するフレームの順序に応じて一部のフレームを除外する。一部のフレームを除外することにより、短い期間内に類似度の高い同じフレームを繰り返して合成動画に使用することを抑制できる。たとえば、第Ｎ番目のフレームよりも前の所定数ＴLのフレーム（ＴLは２以上の整数）に所定数ＫL回以上含まれるフレーム（ＫLは１以上の整数）があるとき、当該クレームを上記の「一部のフレーム」として選択し、候補フレームから除外することができる。
【００１９】
＜本開示にかかる動画生成の原理の説明＞
以下、実施の形態の説明に先立って、本開示による動画生成システムの基本原理を説明する。
【００２０】
まず、図１を参照する。図１は、本開示による動画生成システムの基本的な構成の一例を示している。図示されている動画生成システム１００は、記録装置１０とコンピュータ２０とを備えている。
【００２１】
記録装置１０には、事前の撮影によって取得された動画クリップが記録されている。動画クリップは、たとえば正面を向いた人間などの被写体像を含む複数のフレームのシーケンスである。
【００２２】
コンピュータ２０は、動画クリップのフレーム群に含まれるフレーム間の類似度に基づいて、フレームを再構成して合成動画のデータを生成する。この「類似度」は、前述したように、各フレーム内における被写体像の特徴量に基づいて規定されている。
【００２３】
動画生成システム１００によって生成される合成動画は、表示順序が再構成された複数のフレームのシーケンスである。すなわち、撮影によって取得された動画クリップにおけるフレームの順序を、少なくとも一部において、新しい順序に並び替えたフレームによって合成動画が構成される。動画を合成する際、コンピュータ２０は、合成動画における第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームを「複数の候補フレーム」から選択する。「複数の候補フレーム」は、動画クリップのフレーム群から類似度に基づいて選択される。
【００２４】
コンピュータ１０は、このようにして選択された複数の候補フレームから、合成動画における第Ｎ＋１番目のフレームとして１つのフレーム（たとえば、被写体像１４を含むフレーム１２）を決定する。複数の候補フレームから１つのフレームを決定する仕方は多様であり得る。類似度が最も高いフレームを選択するようにすると、候補フレームから特定のフレームが常に選択されることになる。好ましい実施形態においては、類似度をパラメータとする確率分布関数に基づいて確率的にフレームが選択される。
【００２５】
このようにして生成された合成動画では、連続するフレーム間で被写体像の特徴量の変化が小さくなる。たとえば、フレーム内における顔、目および口の位置ならびにそれらの大きさが、自然に変化するように動画が合成される。しかも、同一のフレームから遷移する先のフレームは、１個に固定されておらず、確率的に変化するため、長時間、動画を表示しても、被写体の表情または動きの単調さが低減され得る。
【００２６】
「複数の候補フレーム」は、各フレームに対して事前に決定される。各フレームの中身（被写体像の外観）に応じて、そのフレームに対応づけられる「複数の候補フレーム」の構成は異なり得る。好ましい実施形態において、あるフレームと、そのフレームに対応づけられる「複数の候補フレーム」との関係は、たとえばテーブルによって表現され得る。
【００２７】
図２は、このようなテーブルの構成例を模試的に示す図である。このテーブルは、動画クリップから選択された１２枚のフレームについて、類似度に対応する値（たとえばフレーム間の「距離」）を格納し得る構成を有している。現実には、数万枚を超える膨大な枚数のフレームについてテーブルが用意され得る。１２枚のフレームは、典型的には、撮影によって取得された連続する１２枚のフレームである。しかし、フレームの順序は、必ずしも、撮影時に取得された順序に一致する必要はない。
【００２８】
ここで、ｉおよびｊを、１〜１２の整数とする。テーブルのｉ行ｊ列には、フレームｉとフレームｊとの間の類似度に対応する数値が記憶される。この例における数値は、被写体である人の顔における特徴点の座標がフレームごとにどれだけシフトしているかを示しているとする。図２のテーブルでは、簡単のため、テーブルのｉ＝３の行のみに類似度を示す数値の例が記載されている。この数値が小さいほど、被写体像の類似度が高い。すなわち、この数値が小さいほど、フレームが遷移しても、被写体である人の顔における特徴点の位置変動が小さい。
【００２９】
ｉ＝３のフレームｉに対して類似度が最も高いフレームｊは、同一フレームであるｊ＝３のフレームを除外すると、ｊ＝４のフレームである。類似度が相対的に高い３枚の候補フレームとして、たとえばｊ＝４、５、１１のフレームｊが選択される。このような候補フレームは、ｉ＝１〜１２のフレームｉとｊ＝１〜１２のフレームｊとの間で事前に類似度を求めておけば、ｉ＝１〜１２のフレームｉのそれぞれについて事前に選択しておくことが可能である。
【００３０】
複数の候補フレームから１つのフレームを決定する動作は、合成動画を生成するときにコンピュータによって実行される。前述のように、好ましい実施形態において、この決定の動作は、確率的に行われる。たとえば、ｉ＝３のフレームｉが合成動画のＮ番目のフレームである場合、第Ｎ＋１番目のフレームを複数の候補フレーム、すなわち、ｊ＝４、５、１１のフレームｊから１つのフレームが選択され得る。このとき、被写体像の類似度が最も高い（特徴点の位置変動が最も小さい）フレームを常に選択するならば、ｉ＝３のフレームｉからは、常にｊ＝４のフレームｊに遷移することになり、合成動画における被写体像の変化の多様性が失われてしまう。このような多様性を確保するためには、ｊ＝４、５、１１のフレームｊによって構成される候補フレームの中から、確率的にフレームが選択されることが好ましい。しかし、候補フレームが、相対的に類似度の高いフレームから構成されている場合、そのような候補フレームからは、類似度によらず、ランダムにフレームが選択されてもよいし、他の何らかのルールに従ってフレームが選択されてもよい。
【００３１】
動画クリップにおける被写体像の典型例は、人間であるが、擬人化された動物またはロボットであってもよい。「再構成」とは、実際に撮影された複数のフレームをそのまま用いて合成動画を生成する態様のみならず、撮影によって取得されたフレーム以外のフレームを追加的に利用して合成動画を生成する態様も含むものとする。実際に撮影された複数のフレームをそのまま用いて合成動画を生成する態様の典型例は、撮影時に取得されたフレームの表示順序を並べ替えることによって合成動画を生成することである。「撮影によって取得されたフレーム以外のフレーム」の例は、撮影時に取得されたフレームから、たとえばモーフィングによって生成されたフレームであり得る。
【００３２】
＜実施形態＞
以下、適宜図面を参照しながら、本開示による実施の形態を詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。たとえば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。本願発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供する。これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００３３】
１．基本構成
まず、図３を参照する。図３は、本開示による動画生成システムの限定的ではない例示的な実施形態の構成例を示している。
【００３４】
図示されている動画生成システム１００は、動画クリップが記録されている記録装置１０と、動画クリップを構成する複数のフレームを再構成して合成動画のデータを生成するコンピュータ２０とを備えている。
【００３５】
動画生成システム１００は、たとえば液晶ディスプレイまたは有機ＥＬディスプレイなどのディスプレイ５０の画面に合成動画を表示する。ディスプレイ５０は、スクリーン上に動画を投影するプロジェクタであってもよい。ディスプレイ５０は、常時または必要に応じて、動画生成システム１００に有線または無線によって接続され得る。動画生成システム１００における記録装置１０およびコンピュータ２０の一方または両方は、ディスプレイ５０から離れた位置に設けられていても良い。ディスプレイ５０は、動画生成システム１００の一部であってもよいし、動画生成システム１００に含まれなくてもよい。本実施形態におけるディスプレイ５０は、音声を出力するスピーカ（不図示）を内蔵している。
【００３６】
コンピュータ２０は、公知の構成を備えていれば良く、典型的には、中央演算ユニット（ＣＰＵ）およびメモリを内蔵する市販の汎用コンピュータであり得る。メモリには、コンピュータ２０による処理の順序を規定する複数の指令を含むプログラムが内蔵される。動作時において、このプログラムの指令に従ってコンピュータ２０は動作する。
【００３７】
コンピュータ２０は、前述したように、合成動画における第Ｎ番目のフレーム（Ｎは正の整数）の次のフレームである第Ｎ＋１番目のフレームとして、複数の候補フレームから１つのフレームを決定する。この「決定」は、好ましい実施形態において、待機中の被写体像を含む合成動画をディスプレイ５０に表示するモードで連続して行われ得る。合成動画のあるフレーム（第Ｎ番目のフレーム）から、次のフレーム（第Ｎ＋１番目のフレーム）に表示フレームが遷移するとき、類似度が所定の関係を満足する２枚のフレームの間で遷移が生じる。これにより、合成動画における被写体像がユーザからみて自然な動きを示すことができる。
【００３８】
図３には、動画生成システム１００を含む、動画表示システム２００が示されている。動画表示システム２００は、動画生成システム１００に加え、マイクまたはキーボードなどのインタフェース装置６０と、対話エンジン７０とを含んでいる。対話エンジン７０は、ユーザからインタフェース装置６０を介して何らかの入力を得て、この入力に応じた対話、たとえば、ユーザに適切な返事をすることをコンピュータ２０に実行させる。たとえばユーザが「こんにちは」と発声すると、ユーザの音声はインタフェース装置６０によってデジタル信号に変換されて対話エンジン７０に入力される。対話エンジン７０は、音声認識により、ユーザの発した言葉の内容を判別し、判別結果に応じた返答を行う。具体的には、コンピュータ２０は、対話エンジン７０による返答の指示に応答して、記録装置１０から動画クリップの適切な部分を読み出して再生する。
【００３９】
対話エンジン７０は、コンピュータ２０にインストールされたプログラムによって実現されてもよい。対話エンジン７０は、ディスプレイ５０から離れた位置にあってもよい。インタフェース装置６０は、典型的には、ディスプレイ５０の近くに置かれる。または、インタフェース装置６０はディスプレイ５０と一体化されてもよい。ある態様における動画表示システム２００は、記録装置１０、コンピュータ２０、ディスプレイ５０およびインタフェース装置６０を収容する筐体を備えている。
【００４０】
記録装置１０に記録されている動画クリップには、後述するように、返答のための動画部分が含まれている。これにより、ディスプレイ５０のスピーカから、たとえば「こんにちは」の音声が発せられる場合、その音声に合わせて人間が「こんにちは」と発する動画がディスプレイ５０の画面上に表示される。すなわち、「こ」、「ん」、「に」、「ち」、「わ」の音声に対応した顔の外見変化を示す動画が音声に合わせて表示される。このような動画は、前もって撮影によって取得されていた、「こんにちは」と発話する一連のフレームを撮影時のシーケンス通りに再生することによって最も簡単に生成され得る。
【００４１】
本実施形態による動画生成システムは、前述の先行技術とは異なり、入力された文字列や音声から発話アニメーションを生成するものではない。本実施形態による動画生成システムは、簡単な来客対応および予約受付システムなどのように、あらかじめ定められた台詞の中から適切な返答を選ぶ対話システムに好適に使用される。
【００４２】
ユーザからの入力がない期間、ディスプレイ５０に待機状態の被写体像が写し出される。このような期間を「待機期間」と呼ぶ。また「待機期間」における動画生成システム１００の動作状態を「待機モード」と呼ぶ。これに対して、ユーザに返答するための音声と動画が再生される期間を「発話期間」と呼ぶ。また、「発話期間」における動画生成システム１００の動作状態を「発話モード」と呼ぶ。
【００４３】
本開示の実施形態によれば、待機期間にディスプレイ５０に表示される被写体像は、静止画ではなく、コンピュータ５０によって合成された動画である。この合成動画は、図１を参照して説明したように、動画クリップのフレーム群をコンピュータ５０が再構成して生成したフレームの新しいシースケンスである。したがって、待機期間に表示される動画を構成するフレームの順序は、前述したように、確率的なフレーム間遷移によって決定される。本開示の動画生成システムによれば、待機期間の合成動画のデータと、発話期間の再生動画のデータとが、交互にディスプレイ５０に送られる。待機期間の長さは、ユーザによる入力のタイミングによって異なるが、発話期間の長さは発話の内容に応じて選択される動画部分の長さによって規定される。本実施形態における「動画クリップ」は、あらかじめ定まった台詞を発している被写体像の動画部分と、そのような台詞を発する前後の状態にある被写体像の動画部分とを含んでいる。
【００４４】
このように本実施形態におけるコンピュータ２０は、ユーザの入力に応じて、合成動画のデータの生成、および動画クリップの一部である部分クリップの選択の一方を行うようにプログラムされている。コンピュータ２０の指示により、ディスプレイ５０は、生成された合成動画または選択された部分クリップを表示する。
【００４５】
２．動画クリップの取得
動画クリップを取得するために用いる録画システムは、たとえば１台のコンピュータと１つの動画撮影装置を含む。本実施形態で使用する動画撮影装置は、Ｍｉｃｒｏｓｏｆｔ（登録商標）社製のＫｉｎｅｃｔ（登録商標）である。奥行き情報を取得しない通常のカメラなどの動画撮影装置を用いても良い。
【００４６】
対話エージェントのモデルとなる人物（被写体）に、あらかじめ用意した台詞を読み上げて演じてもらい、その様子をカメラで録画する。台詞を読み始めたタイミングを適切に記録しておく。録画は、モデルとなる俳優とコンピュータを操作する人（オペレータ）の２人で行うことが可能である。録画前に、オペレータは俳優に演じてもらう台詞を用意し、そのテキストと音声をシステムに登録しておく。
【００４７】
本実施形態では、録画開始直後、待機状態を録画するために、俳優は何もせずに待つ（対話区間）。オペレータが台詞を選択すると、選択された台詞を俳優が発話する（発話区間）。たとえば「こんにちは」という台詞が選択されたとき、俳優は「こんにちは」と声を出す。オペレータは俳優が台詞を演じ終えたタイミングをシステムに入力する。その後しばらく待機状態の録画を継続し、再びオペレータが台詞を選択すると、次の台詞の録画が始まる。
【００４８】
上記の手順を繰り返すと、図４に例示されるように、待機区間と発話区間とが交互に繰り返された動画クリップが得られる。これにより、発話状態前後の遷移位置の候補フレームが増えるため、動画生成時に、より自然なフレーム遷移を実現しやすくなる。同じ台詞を複数回録画しても良い。同じ台詞を発する発話区間の動画が複数取得されていると、動画生成時に、ユーザの入力に応答して同じ台詞を繰り返して発する場合でも、全く同じ動画を繰り返して再生することが避けられ得る。また、同じ台詞が発せられる発話状態の動画が増えると、待機状態における種々のフレームから、各発話状態における最初のフレームに遷移するときに選択可能なフレームが増えるため、自然なフレーム間遷移を実現しやすくなる。
【００４９】
必ずしも全ての録画を連続して行う必要はない。録画を連続して行えば、髪型や服装などの細かい見た目の変化を最小限に留めることができる。録画システムが保存する情報は、音声、カメラのＲＧＢデータ、顔認識の結果、姿勢認識の結果、オペレータが入力した発話の開始と終了のタイミングである。
【００５０】
図５に示すように、本実施形態によれば、撮影装置８０によって被写体像の複数の特徴点を自動的に抽出し、顔の向きおよび姿勢情報を取得することができる。図５では、動画クリップにおけるｉ番目のフレームｉにおける被写体像の顔特徴点の位置ｆi,k（１≦ｋ≦Ｆ）の幾つかが記載されている。また、被写体像の姿勢特徴点の位置ｓi,k（１≦ｋ≦Ｓ）の幾つかが記載されている。ここで、「Ｆ」および「Ｓ」は、それぞれ、処理に利用する顔特徴点の個数の最大値および姿勢特徴点の個数の最大値である。
【００５１】
被写体の顔の向き、表情、および被写体の姿勢が変化すると、これらの特徴点の位置ｆi,k、ｓi,kが変化する。対応する同じ特徴点であっても、それらの位置は、フレームごとに異なり得る。本実施形態では、被写体の撮影によって動画クリップを取得するとき、各フレームについて、所定数の特徴点位置が取得される。
【００５２】
なお、図５に示す例では、水平方向（Ｘ軸方向）に延びる一点鎖線１５Ｘと垂直方向（Ｙ軸方向）に延びる一点鎖線１５Ｙとの交点により、被写体である人間の頭の位置が示されている。また、水平方向に延びる１本の破線１６Ｘと垂直方向に延びる２本の破線１６Ｙの各々との交点により、被写体である人間の姿勢を示す位置が示されている。この撮影装置８０によれば、録画開始時との姿勢の差分を録画システムのディスプレイに表示することが可能である。撮影中にその差分が大きすぎる場合、オペレータが録画を中断したり、撮影中に休憩を挟む場合の再開時の姿勢決定に用いたりすることができる。
【００５３】
３．事前計算
次に、事前計算を行い、合成動画の生成時に行うフレーム遷移の候補フレームを決定する。
【００５４】
本実施形態では、事前計算として、録画クリップ中の任意のフレーム対について、フレーム間の遷移コストを計算し、コスト行列を求める。遷移コストとは、録画クリップ内のあるフレームから、ある別のフレームへ遷移する際の、不自然さを数値化したものである。この計算は、非特許文献４に開示されている方法に従うことができる。非特許文献４の全体の内容をここに援用する。ただし、本実施形態におけるフレーム間の類似度は、画素ごとの比較ではなく、顔認識の特徴点を用いて行われる。
【００５５】
求めたコスト行列を用いて、待機状態から待機状態への遷移と、待機状態から発話状態への遷移のそれぞれについて、コストの少ない遷移を実現する複数のフレームを抽出する。コストの少ない遷移先となる複数のフレームが、候補フレームである。候補フレームの撮影と並行して収録された音声を切り出す処理、および各フレームのＲＧＢデータを再生用に変換する処理も行う。
【００５６】
３．１．フレーム間の類似度
図６は、動画クリップ内のｉ番目のフレームｉおよびｊ番目のフレームｊにおける被写体像の特徴点を模式的に示している。ここで、１≦ｉ＜ｊとする。図６のフレームｉでは、例示的に２つの特徴点の位置ｆi,15およびｓi,2を示す矢印が記載されている。位置ｆi,15は１５番目の顔特徴点であり、ｓi,2は２番目の姿勢特徴であるとする。また、図６のｊ番目のフレームでは、フレームｉにおける２つの特徴点に対応する２つの特徴点の位置ｆj,15およびｓj,2を示す矢印が記載されている。フレームｉからフレームｊに遷移が生じるとき、１５番目の顔特徴点について、フレームｉにおけるｆi,15とフレームｊにおける位置ｆj,15との距離（差異）が発生し得る。このような距離（差異）が大きいと、動画生成時にフレームｉからフレームｊに遷移が生じるとき、特徴点の動きがユーザに認識され得る。
【００５７】
本実施形態では、フレーム間の類似度を示す値として、被写体像の特徴点の距離（差異）を用いる。この距離が小さいほど、類似度は高い。本実施形態では、まず、Ｋｉｎｅｃｔ（登録商標）による顔検出および姿勢情報から、被写体像の特徴点の距離を求める。そして、複数の特徴点の距離の合計を「フレーム間距離」として定義する。以下、この「フレーム間距離」の一例を説明する。
【００５８】
Ｋｉｎｅｃｔ（登録商標）の顔認識の仕様に従うと、顔特徴点の個数Ｆは１２１である。姿勢特徴点は、Ｋｉｎｅｃｔ（登録商標）が定義する２０個のうち、上半身の撮影で常に見えているもの（頭、右肩、左肩、肩中央）を利用することができる。この場合、姿勢特徴点の個数Ｓは４である。ｉ番目のフレームとｊ番目のフレームとの間の距離は、重み付けのパラメータαとβを導入すると、以下の式で表される。
【数１】
2017094527.tif 000003
【００５９】
本実施形態では、距離の平均で標準化し、以下の式２および式３に示すように、顔および姿勢の距離を７対３の割合で用いる。
【数２】
2017094527.tif 000004
【数３】
2017094527.tif 000005
【００６０】
このような計算によって得られたフレームｉとフレームｊとの間の距離Ｄi、jは、図７に示されるような行列として表現され得る。
【００６１】
３．２．遷移コスト
本開示の実施形態では、隣接しないフレーム間の遷移時に、クロスディゾルブ処理で補間を行う。クロスディゾルブするフレーム数は固定とし、それをｄとする。（本実施形態では、０．２５秒にあたるｄ＝３を用いる。）。画像内のエッジの距離が十分に小さいほど、自然な補間が可能となる。このエッジの距離を特徴点の距離で近似できると考える。すなわち、フレームｉからフレームｊに遷移するコストを、以下の式４を用いて定義することができる。
【数４】
2017094527.tif 000006
【００６２】
このような計算によって得られたフレームｉとフレームｊとの間の遷移コストＣi、jは、図８に示されるような行列として表現され得る。
【００６３】
ｉ番目のフレームからｉ＋１番目のフレームへの遷移コストはゼロである。また、フレーム間の静的な差異だけでなく、複数のフレームで表現される動きの差異も考慮すると、隣接する複数のフレームについて距離の和をとることが好ましい。
【００６４】
あるフレームから他のフレームに遷移するコストを、複数のフレーム（フレームセット）を利用して特定する場合には、フレームセット内のフレームの順番も考慮することが好ましい。その理由は、フレームセットによって定まる類似度を単に各フレームの類似度の和として求めると、動画が不自然になるおそれが生じるからである。たとえば、口が開く方向の合成動画をＮ枚のフレーム（フレームセット）から生成する例を考える。単に各フレームの類似度の和を利用するだけでは、口が閉じる方向のＮ枚分のフレームセットが選択されるおそれがある。その順序で再生された動画は非常に不自然である。よって、遷移コストの計算にあたっては、フレームッセット内のフレームの順番をパラメータとして加えてもよい。
【００６５】
たとえば、フレームセットを利用して、フレームｉからフレームｊに遷移するときの遷移コストを計算する際、遷移コストは、フレームｉを含む連続したフレーム群の第１のセット、および、フレームｊを含む連続したフレーム群の第２のセットについて、対応する同じ順番のフレームどうしの類似度の線形結合として得ることができる。
【００６６】
３．３．待機状態間の遷移
非特許文献１には、前述の遷移コスト行列から実際に使う遷移を選ぶ方法として、フレームごとに最小コストの遷移を選ぶ方法と、ある閾値以下のコストの遷移を選ぶ方法とが開示されている。本開示の実施形態では、前者を用いるが、より精度の高い遷移を必要最小限の数だけ選ぶためには、後者を用いても良い。
【００６７】
本開示の実施形態における動画クリップでは、前述したように、待機状態の区間と発話状態の区間とが交互に含まれている。このため、Ｖｉｄｅｏ  Ｔｅｘｔｕｒｅｓの技術を単純に適用すると、同じ区間内での遷移のみが生じる可能性がある。本開示の実施形態では、同じ区間内の遷移（局所遷移）と別区間への遷移（大域遷移）を区別し、それぞれについてコストが最小となる遷移を指定した個数だけ選ぶ。具体的には、待機状態の各フレームについて、以下の計算を実行する。
（１） 同じ区間への遷移のうち、コストが小さいものをＮL個選ぶ。
（２） 異なる区間への遷移のうち、コストが小さいものをＮG個選ぶ。
ただし、遷移先の区間が重複しないように選ぶ。
【００６８】
たとえばＮL＝１０、ＮG＝５を用いることができる。録画時の失敗などに起因して利用したくないフレームがある場合、それらのフレームを除外したフレーム群から候補フレームを選択してもよい。
【００６９】
３．４．発話状態への遷移
待機状態から発話状態への遷移は、対話エンジンからの指示によって起こる。その際、必ずしも指示の直後に遷移をする必要はなく、被写体像による「反応」までに１秒程度時間がかかるのは自然である。指示から実際の遷移までに時間的猶予を設けても良い。その場合、遷移するタイミングの候補が増え、より自然な遷移を選ぶことができる。本実施形態では、指示があった時点から発話状態の最初のフレームに到達するまでに費やして良い最大のフレーム数をｋとする。ｉ番目のフレームの表示中に、ｊ番目のフレームから始まる発話状態への遷移を指示された場合、以下に示すように遷移が生じる。
【数５】
2017094527.tif 000007
【００７０】
ただし、ａ＋ｂ≦ｋである。事前計算では、各フレームと各発話区間について、Ｃi+a,j-bが最小となるようなａとｂを求める。
【００７１】
このように、事前計算によって得られた情報に基づいて、本実施形態の動画生成システムに用いられるデータ構造が事前に用意され得る。このようなデータ構造は、被写体像を含む複数のフレームのシーケンスである動画クリップと、複数のフレームから選択されたフレーム群に含まれる各フレームと他のそれぞれのフレームとの間の類似度を示す類似度情報であって、前記類似度は、各フレーム内における前記被写体像の特徴量に基づいて規定される類似度情報とを有している。
【００７２】
４．動画生成
動画生成時、録画データおよび事前計算の結果を用いて対話エージェントを描画する。本実施形態における動画生成システムを動作させると、対話エンジンからの指示がない限り、待機状態の合成動画が生成され続ける。
【００７３】
待機モードにおける動画生成システムは、登録された台詞のどれかを発話する指示を受け付ける。すると、指示された台詞への最も良い遷移を選んで遷移し、動画を再生する。発話区間の再生が終わると、システムは再び待機モードに戻る。待機状態と発話状態、どちらへ遷移する場合も、フレーム補完を行うと、よりスムーズな遷移が可能となる。
【００７４】
４．１．遷移時のフレーム補間
フレーム補間は、隣接しないフレーム間を遷移する際に行われる。補完の方法としては、クロスディゾルブ、モーフィング、オプティカルフローを用いる方法、またはそれをさらに発展させた方法などが考えられる。
【００７５】
モーフィングに関しては、フレームごとにいくつかの特徴線さえ用意しておけば、リアルタイムに高速に描画ができる。クロスディゾルブは、ピクセルごとに線形補間を行うという最も単純な方法である。本実施形態では、フレーム補間にクロスディゾルブを用いる。
【００７６】
本実施形態では、図９に示すようにフレーム間の遷移を行う。時間ｔにフレームｉが表示されており、時間ｔ＋１にフレームｊ（ｊ≠ｉ＋１）に遷移する場合を考える。この場合、時間ｔ＋ｋでフレームｉ＋ｋとフレームｊ＋ｋ−１をｄ＋１−ｋ：ｋの比率で合成して表示する。ただし、ｄは「３．２．遷移コスト」で定義した値であり、１≦ｋ≦ｄの関係を満足する。
【００７７】
４．２．待機状態
待機状態は、クロスディゾルブによる遷移が行われている区間と、遷移が行われていない区間の２種類に分けられる。「遷移が行われていない区間」とは、たとえば、遷移する前までの動画クリップ再生区間、および遷移した後の動画クリップ再生区間を含む。今、遷移する前までの動画クリップ再生区間（時間ｔ）で、ｉ番目のフレームにいるとする。ただし、ｔは録画データと同じフレームレートによるフレーム数で表す。このとき、時間ｔ＋１にｊ番目のフレームに遷移する確率が、
【数６】
2017094527.tif 000008
となるように、事前計算で選んだＮL＋ＮG個の中から遷移先を選ぶ。σ0は小さいほどコストの小さい遷移に確率が偏る。ここまでは非特許文献に開示されている方法と全く同じである。フレームｊ（ｊ≠ｉ＋１）が選ばれた場合、時間ｔ＋１からｔ＋ｄの間クロスディゾルブ処理を行い、ｔ＋ｄ＋１で再び通常の状態に戻る。なお、待機状態では頻繁にフレーム遷移が起こるため、録画時の音声は再生しない。
【００７８】
なお、上述の数（６）は、類似度に関する単調減少関数の一例である。他の単調減少関数を用いてもよい。
【００７９】
４．３．発話状態への遷移
本実施形態における動画生成システムは、対話エンジンから台詞の発話の指示を受け付けると、待機モードから発話モードに切り替わる。動画クリップでは、同じ台詞が複数の動画部分に含まれているため、確率分布を調整するパラメータσ１を導入し、式６を用いて同様に確率を計算する。その際の遷移コストとしては前述した値を用いる。クロスディゾルブで遷移を行った後、発話状態の開始から終了までを音声付きで単純に再生する。本実施形態では、発話状態の後には待機状態が録画されている。そのため、自然と待機状態に遷移する。
【００８０】
ある実施形態における動画生成システムには、ＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ）サーバーが実装され得る。その場合、発話指示は、ＨＴＴＰリクエストとして与えられ得る。
【００８１】
４．４  待機状態の局所的な繰り返し対策
本実施形態によれば、上記の構成を採用することにより、動画全体としては繰り返しのない無限シーケンスが生成され得る。しかし、局所的には、有限回の不自然な細かい繰り返しが発生する場合がある。たとえば、あるフレームからの最も確率の高い遷移がｄフレーム前に戻る遷移だとすると、その間を何度もループしてしまう可能性が高い。
【００８２】
これを避ける方法として、事前計算でそのような遷移を除去する方法と、動画生成時に回避する方法とがある。本実施形態では、動画生成時に回避する態様を採用する。すなわち、待機状態の遷移先を選ぶ際に、過去ＴLフレーム以内にＫL回以上訪れたフレームは候補から除外する。たとえば、ＴLを１０秒に相当するフレーム数、ＫL＝２とすることができる。図１０は、たとえばＮ＋Ｘ番目（Ｘは２以上の整数）のフレームから次のフレームに遷移するとき、候補フレームの中に、過去１０秒間に２回表示に使用されたフレームが存在していた場合を模式的に示している。この場合、そのフレーム（図１０においてＸマークが付されている）が候補フレームから除外される。ただし、これにより遷移候補がひとつも無くなってしまう場合には、このような除外は行わない。各フレームで過去ＫL回分の訪れた時間の履歴を記録する。
【００８３】
４．５  動画全体の有効利用
事前計算で十分な数の大域遷移を用意すれば、確率的にはどの待機区間も再生される可能性がある。しかし、実際に再生してみると、いくつかの待機区間を往来し続け、使われる区間が極端に偏る場合がある。これを回避する方法も、事前計算と再生時の２通りが考えられるが、本実施形態では、後者を採用している。すなわち、「過去ＴG回の大域遷移の中で、ＫG回以上遷移先に選ばれた区間は、大域遷移先から除外する」というルールを適用する。たとえばＴG＝１０、ＫG＝２が設定され得る。
【００８４】
＜実施例＞
本実施例では、人間（俳優）を被写体としてＫｉｎｅｃｔ（登録商標）のカメラを用いた撮影を行った。１２８０×９６０ピクセルのＲＧＢデータを１２ＦＰＳで取得するとともに、近接モードで６４０×４８０ピクセルの深度データを３０ＦＰＳで取得した。録画時のプレビューや再生には、１２８０×９６０ピクセルのうち中央の６４０×４８０を切り抜いて用いた。これは、カメラと俳優の距離が小さいと、姿勢認識や顔認識が機能しないためである。
【００８５】
読み上げる台詞は「おはようございます」および「はじめまして」などの挨拶、デモンストレーション用の対話に用いる台詞など、合計６２個を用意し、あらかじめシステムに入力した。どの台詞も２〜３回ずつ録画し、失敗も含めて合計１７０個の発話状態を録画した。各台詞の発話後はそれぞれ５〜１０秒ほど待機状態として録画した。録画は、休憩を挟みながら３回に分けて行われた。時間はそれぞれ、７分４６秒、２５分４２秒、１０分２０秒で、合計４３分４８秒間であった。フレーム数は合計３１３１５フレームであった。
【００８６】
各休憩後の再開時には、図５を参照しながら説明した方法で姿勢を決定した。姿勢データの奥行方向についてもディスプレイの画面に表示して俳優に見せたり、姿勢制御に実際の録画画像も用いたりすることにより、被写体像の姿勢変化を更に小さくすることができる。本実施例では、大きめのサイズで録画して中央部分を切り抜いてフレームを形成している。切り抜きの対象とする中央部分の範囲を、姿勢データに基づいて調整してもよい。
【００８７】
本実施例のシステムにおけるプログラムは基本的にはＣ♯で書かれている。本実施例では、コスト行列がコンピュータ内のメモリに格納されておらず、他の記録装置として動作するハード・ディスク・ドライブ（ＨＤＤ）に格納されている。このため、ディスクアクセスの多い処理が増えている。事前計算を行ったコンピュータは、３．２ＧＨｚで動作する中央演算処理ユニット（ＣＰＵ）および８ＧＢのメモリを搭載し、７２００ｒｐｍ、５００ＧＢのＨＤＤに接続されている。画像の変換に５２分、巨大な単一ファイルである録画データをコピーして分解するのに８２分、後述の不要なフレームの除去作業に２分２０秒、コスト行列の計算と書き出しに６時間６分、最終的な遷移候補の選択に４分、合計すると約８時間３０分かかった。
【００８８】
録画時、待機状態の録画中に俳優が話してしまうなどのミスがあったため、待機状態の録画クリップを構成する一部のフレームを遷移先の候補フレームから除外した。本実施例では、顔認識の上唇と下唇の特徴点が一定以上離れているフレームとその周辺のフレームを機械的に検出し、待機状態の約２１５５１フレーム中、４７０８フレームを取り除いた。
【００８９】
本実施例の再生システムは、Ｗｉｎｄｏｗｓ ８．１（登録商標）がインストールされているタブレット（１．３３ＧＨｚで動作するＣＰＵ、２ＧＢのメモリ、および３２ＧＢのストレージメディアを備える）によって実現されている。本実施例では、人間を被写体とするビデオ映像のフレームをそのまま用いて合成動画を生成しているため、従来技術に比べると、被写体像が自然である。また、フレームの遷移も、特に注意していなければ気にならなった。
【００９０】
変形例１
本開示の動画生成システムは、被写体の視線を追跡し、この視線に関する視線情報を出力する視線追跡装置をさらに備えていてもよい。この場合、コンピュータは、視線情報に基づいて特定される被写体の視線方向が近いほど小さく、被写体の視線方向が遠いほど大きくなる追加コストを算出する。このような追加コストを利用して前述の遷移コストを修正する。このような変形例によれば、被写体像の視線方向が不連続に変化するような合成画像の生成が防止され得る。
【００９１】
変形例２
上記の実施形態では、被写体像の類似度の算出に特徴点の位置を用いているが、被写体の類似度は、この例に限定されない。被写体像は、あらかじめ用意された複数の基底画像の各々と、複数の係数の各々との積を線形的に結合して表現され得る。被写体が人の顔である場合、このような基底画像は「固有顔」と呼ばれることがある。基底画像の線形結合によって被写体像を表現するとき、被写体像の特徴量は、これらの複数の係数の組み合わせによって定義され得る。たとえば、ｉ番目のフレームに現れる「顔」を複数の顔画像の線形的な重ねあわせによって表現する場合、ｉ番目のフレームにおける顔を規定する重み係数のセットと、ｊ番目のフレームにおける顔を規定する重み係数のセットとの距離または差異によってフレーム間の「類似度」を定義しても良い。
【００９２】
変形例３
図１１は、動画表示システムの変形例を示す図である。この例における動画表示システムでは、動画生成システム１００は、生成した合成動画の一部または全部を、通信網３００を介して、複数のモバイル端末装置５００に配信することができる。
【００９３】
動画生成システム１００は、コンピュータ２０によって生成された合成動画のデータを送信するシステム側通信回路１２０を備えている。またモバイル端末装置５００は、動画生成システム１００から送信された合成動画のデータを受信する装置側通信回路５２０と、合成動画を表示するディスプレイ５５０とを備えている。
【００９４】
システム側通信回路１２０は、たとえば通信網３００を介して、外部から送信された指示信号を受信することが可能である。通信網３００の一部はインターネット回線であってもよい。指示信号は、たとえば不図示の対話エンジンにより、ユーザの音声入力などに応答して送出される。対話エンジンは、動画生成システム１００内に設けられていてもよい。システム側通信回路１２０が指示信号を受け取るまで、コンピュータ２０は合成動画のデータを生成する。指示信号を受信した後、コンピュータ２０は、指示信号に応じて、動画クリップの一部である部分クリップを選択する。システム側通信回路１２０は、通信網３００を介して、合成動画および部分クリップのデータを送信する。モバイル端末装置５００のディスプレイ５５０には、装置側通信回路５２０によって受け取られた合成動画および部分クリップが表示される。
【００９５】
変形例４
図１２は、本開示によるロボットシステムの例示的な実施形態を模式的に示す図である。この図に示されるロボットシステム４００は、前述した動画生成システム１００と、表情および姿勢の少なくとも一方を変化させるための複数のアクチュエータ（電動モータ）９２を備えたロボット９０とを備えている。ロボット９０は、合成動画における被写体像の表情および姿勢の少なくとも一方の変化に追従して複数のアクチュエータ９２を駆動することにより、ロボット９０の表情および姿勢の少なくとも一方を変化させる駆動回路９４を備えている。駆動回路９４は、合成動画の被写体像がたとえば口を開くとき、ロボット９０の口が開くように適切なアクチュエータ９２に電力を供給する。ロボット９０には、発話に用いられる不図示のスピーカが搭載されており、対話エンジン７０が選択した台詞が音声として発せられる。
【００９６】
このようなロボットシステム４００によれば、ディスプレイに表示される映像ではなく、立体的な構造を有するロボット９０がユーザと対話する。ロボット９０は、人間型である必要はなく、たとえば動物型であってもよい。
【００９７】
フローチャート
図１３は、事前に行う処理手順の一例を示すフローチャートである。
【００９８】
この例では、まず、ステップＳ１０において、待機区間および発話区間を含む動画クリップのデータが記録装置に格納される。この記録装置は、典型的には、動画生成システムが備える記録装置とは異なる記録装置であり得る。ステップＳ１２において、動画クリップを構成する多数のフレームのうち、不要なフレームを除いたフレーム群が選択される。この選択は、典型的には、人間が不要なフレームを選択して指定することによって行われ得る。次に、ステップＳ１４において、事前計算に用いるコンピュータが前述したコスト行列を計算する。計算結果は、図８を参照して説明したようにテーブルの形式で記録装置に格納される。
【００９９】
こうして、本開示の動画生成システムおよび動画表示システムで利用される動画クリップと、コスト行列とを有するデータが用意される。
【０１００】
次に、図１４を参照する。図１４は、動画生成および動画表示の処理手順の一例を示すフローチャートである。
【０１０１】
この例では、処理の開始後、ステップＳ２０において、入力装置がユーザからの入力を受けたか否かが判定される。入力がない場合、ステップＳ３０に進み、待機モードの動作を実行する。待機モードでは、あらかじめ用意されて記録装置に格納されているコスト行列を参照し、現在の表示フレームから遷移する次のフレームを含む複数の候補フレームを選択する。ステップＳ３２において、候補フレームから１つのフレームを前述した原理に従って確率的に決定する。ステップＳ３４において、決定した次のフレームをディスプレイに表示させる。この後、ステップＳ２０に進む。こうして、確率的なフレーム間遷移が実現する。
【０１０２】
ステップＳ２０において、入力装置がユーザからの入力を受けたとされたとき、ステップＳ４０に進み、発話モードの動作を実行する。ステップＳ４０において、入力に応じた発話区間を選択する。複数の発話区間がある場合、いずれかの発話区間における先頭フレームが待機モードの動作と同様の動作により、確率的に選択される。ステップＳ４２において、選択された先頭フレームがディスプレイに表示される。ステップＳ４２において、この先頭フレームを含む発話区間の動画が再生される。この動画は、動画クリップにおけるフレームシーケンスの通りにフレームが遷移する。発話内容に即した動画の再生が完了すると、ステップＳ２０に戻る。
【０１０３】
図１５は、コンピュータ２０の内部構成例を示す図である。コンピュータ２０は、ＣＰＵ２２と、メモリ２４と、ＧＰＵ２６と、インタフェース（Ｉ／Ｆ）端子２８とを備えており、これらはバスを介して相互に通信可能に接続されている。
【０１０４】
図１５には、コンピュータ２０に接続された記録装置１０も示されている。記録装置１０は、たとえばソリッド・ステート・ドライブ（ＳＳＤ）またはＨＤＤである。
【０１０５】
ＣＰＵ２２は、一つのチップ上に集積された演算回路である。メモリ２４は、プロセッサ２２による処理を規定する指令から構成されたコンピュータブログラムを格納する、ＲＯＭおよび／またはＲＡＭである。コンピュータブログラムは、上述した処理（たとえば図１４）を実現するための命令群である。コンピュータブログラムの実行時には、ＲＯＭに格納されていたコンピュータブログラムがＲＡＭに展開される。ＣＰＵ２２はコンピュータブログラムに含まれる命令をＲＡＭから逐次読み出し、解釈して実行する。
【０１０６】
ＧＰＵ２６は、いわゆるグラフィックス・プロセッシング・ユニットと呼ばれる画像処理回路である。ＧＰＵ２６は、上述した動画を生成する際の画像処理、または動画を表示する際の画像処理を行う。ＧＰＵ２６は、処理の結果得られた画像をディスプレイ５０（図３）に表示するための処理を行ってもよい。
【０１０７】
Ｉ／Ｆ端子２８は、コンピュータ２０が、コンピュータ２０の外部に設けられた機器との間で情報の授受を行う接続端子である。図３に示す例で説明する。コンピュータ２０の外部に、記録装置１０、ディスプレイ２０および対話エンジン７０が設けられているとする。コンピュータ２０と記録装置１０との接続に関しては、Ｉ／Ｆ端子２８は、たとえばシリアルＡＴＡ規格の接続端子であり得る。コンピュータ２０とディスプレイ５０との接続に関しては、Ｉ／Ｆ端子２８は、たとえばＤｉｓｐｌａｙ  Ｐｏｒｔ（登録商標）、ＨＤＭＩ（登録商標）またはＤＶＩの映像接続端子であり得る。また、コンピュータ２０と対話エンジン７０との接続に関しては、Ｉ／Ｆ端子２８は、たとえばＥｔｈｅｒｎｅｔ（登録商標）規格またはＩＥＥＥ１３９４規格の有線通信を行うことが可能な通信端子、またはＷｉ−ｆｉ（登録商標）規格等の無線通信を行うことが可能な通信回路である。
【産業上の利用可能性】
【０１０８】
本開示の動画生成システムおよび動画表示システムは、たとえばコンピュータを用いて動作する来客対応システムおよび予約受付システムなどにおける擬人化対話エージェントの動画生成および表示に利用され得る。また、本開示の動画生成システムは、ロボットが合成動画における被写体像の表情および姿勢の少なくとも一方の変化に追従して動作するシステムにも利用され得る。
【符号の説明】
【０１０９】
１０…記録装置、  ２０…コンピュータ、  ５０…ディスプレイ、  ６０…インタフェース装置、  ７０…対話エンジン、  ８０…撮影装置、  ９０…ロボット、  ９２…アクチュエータ、  ９４…駆動回路、  １００…動画生成システム、  １２０…システム側通信回路、  ２００…動画表示システム、  ３００…通信網、  ４００…ロボットシステム、  ５００…端末装置、  ５２０…装置側通信回路、  ５５０…ディスプレイ
【図１】
2017094527.tif 000009
【図２】
2017094527.tif 000010
【図３】
2017094527.tif 000011
【図４】
2017094527.tif 000012
【図５】
2017094527.tif 000013
【図６】
2017094527.tif 000014
【図７】
2017094527.tif 000015
【図８】
2017094527.tif 000016
【図９】
2017094527.tif 000017
【図１０】
2017094527.tif 000018
【図１１】
2017094527.tif 000019
【図１２】
2017094527.tif 000020
【図１３】
2017094527.tif 000021
【図１４】
2017094527.tif 000022
【図１５】
2017094527.tif 000023
【国際調査報告】
2017094527.tif 000024
2017094527.tif 000025
2017094527.tif 000026
2017094527.tif 000027