(57)【要約】【課題】人物の顔部品及び人物の顔以外の体部の動きに応じて、キャラクタの顔部品及び体部が動く動画をリアルタイムで提供すること。【解決手段】動画生成装置は、連続的に入力される第１の人物の動画から、第１の人物の顔部品の動きを連続的に検出する第１顔動き検出部と、第１の人物の顔以外の体部の動きを連続的に検出する第１体動き検出部と、仮想的な第１のキャラクタの３次元情報を格納している格納部と、第１顔動き検出部が連続的に検出した顔部品の動きと、第１体動き検出部が連続的に検出した体部の動きと、格納部が格納している第１のキャラクタの３次元情報とに基づいて、第１の人物の顔部品及び体部の動きに応じて第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が動くキャラクタ動画を生成して、生成したキャラクタ動画を、第１の人物の動画の入力に同期して出力する動画生成出力部とを備える【選択図】図１
2015184689.tif 000002
【特許請求の範囲】
【請求項１】
連続的に入力される第１の人物の動画から、前記第１の人物の顔部品の動きを連続的に検出する第１顔動き検出部と、
前記第１の人物の顔以外の体部の動きを連続的に検出する第１体動き検出部と、
仮想的な第１のキャラクタの３次元情報を格納している格納部と、
前記第１顔動き検出部が連続的に検出した前記顔部品の動きと、前記第１体動き検出部が連続的に検出した前記体部の動きと、前記格納部が格納している前記第１のキャラクタの３次元情報とに基づいて、前記第１の人物の前記顔部品及び前記体部の動きに応じて前記第１のキャラクタの顔部品及び前記第１のキャラクタの顔以外の体部が動くキャラクタ動画を生成して、生成した前記キャラクタ動画を、前記第１の人物の動画の入力に同期して出力する動画生成出力部と
を備える動画生成装置。
【請求項２】
前記第１の人物の動画の入力に同期して、前記第１の人物が発した音声を連続的に取得する音声取得部
をさらに備え、
前記動画生成出力部は、前記音声取得部が連続的に取得した前記音声を、前記キャラクタ動画に合成して出力する
請求項１に記載の動画生成装置。
【請求項３】
前記格納部は、仮想的な第２のキャラクタの３次元情報を更に格納しており、
前記動画生成装置は、
前記第１の人物の動画に同期して連続的に入力される第２の人物の動画から、前記第２の人物の顔の顔部品の動きを連続的に検出する第２顔動き検出部と、
前記第２の人物の顔以外の体部の動きを連続的に検出する第２体動き検出部と
をさらに備え、
前記動画生成出力部は、前記第１顔動き検出部が連続的に検出した前記顔部品の動きと、前記第１体動き検出部が連続的に検出した前記体部の動きと、前記格納部が格納している前記第１のキャラクタの３次元情報と、前記第２顔動き検出部が連続的に検出した前記顔部品の動きと、前記第２体動き検出部が連続的に検出した前記体部の動きと、前記格納部が格納している前記第２のキャラクタの３次元情報とに基づいて、前記第１の人物の前記顔部品及び前記体部の動きに応じて前記第１のキャラクタの顔部品及び前記第１のキャラクタの顔以外の体部が動き、前記第２の人物の前記顔部品の動き及び前記体部の動きに応じて前記第２のキャラクタの顔部品及び前記第２のキャラクタの顔以外の体部が動く前記キャラクタ動画を生成して、生成した前記キャラクタ動画を、前記第１の人物の動画及び前記第２の人物の動画の入力に同期して出力する
請求項１または２に記載の動画生成装置。
【請求項４】
前記第１の人物を連続的に撮像するカメラ部と、
前記カメラ部の撮像方向を示す情報を連続的に取得するカメラ情報取得部と
をさらに備え、
前記動画生成出力部は、前記カメラ情報取得部が取得した前記カメラ部の撮像方向を示す情報に基づいて、前記カメラ部から見た前記第１の人物の向きに合致する向きの前記第１のキャラクタの動画を生成することにより、前記カメラ部の撮像方向の変化に応じてアングルが変化する前記キャラクタ動画を生成する
請求項１から３のいずれか一項に記載の動画生成装置。
【請求項５】
コンピュータを、請求項１から４のいずれか一項に記載の動画生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画生成装置及びプログラムに関する。
【背景技術】
【０００２】
音声データから音素データを生成する手段と、音素データに基づいて二次元ないし三次元のモデルの口の部分のアニメーションを生成する手段と、上記音素データを基準にして上記音声データと上記アニメーションとを同期させて再生する手段とを有するアニメーション生成装置が知られている（例えば、特許文献１参照）。
特許文献１  特開２００２−１０８３８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
人物の顔部品及び人物の顔以外の体部の動きに応じて、キャラクタの顔部品及び体部が動く動画をリアルタイムで提供することができない。
【課題を解決するための手段】
【０００４】
第１の態様においては、動画生成装置は、連続的に入力される第１の人物の動画から、第１の人物の顔部品の動きを連続的に検出する第１顔動き検出部と、第１の人物の顔以外の体部の動きを連続的に検出する第１体動き検出部と、仮想的な第１のキャラクタの３次元情報を格納している格納部と、第１顔動き検出部が連続的に検出した顔部品の動きと、第１体動き検出部が連続的に検出した体部の動きと、格納部が格納している第１のキャラクタの３次元情報とに基づいて、第１の人物の顔部品及び体部の動きに応じて第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が動くキャラクタ動画を生成して、生成したキャラクタ動画を、第１の人物の動画の入力に同期して出力する動画生成出力部とを備える。
【０００５】
第１の人物の動画の入力に同期して、第１の人物が発した音声を連続的に取得する音声取得部をさらに備え、動画生成出力部は、音声取得部が連続的に取得した音声を、キャラクタ動画に合成して出力してよい。
【０００６】
格納部は、仮想的な第２のキャラクタの３次元情報を更に格納しており、動画生成装置は、第１の人物の動画に同期して連続的に入力される第２の人物の動画から、第２の人物の顔の顔部品の動きを検出する第２顔動き検出部と、第２の人物の顔以外の体部の動きを連続的に検出する第２体動き検出部とをさらに備え、動画生成出力部は、第１顔動き検出部が連続的に検出した顔部品の動きと、第１体動き検出部が連続的に検出した体部の動きと、格納部が格納している第１のキャラクタの３次元情報と、第２顔動き検出部が連続的に検出した顔部品の動きと、第２体動き検出部が連続的に検出した体部の動きと、格納部が格納している第２のキャラクタの３次元情報とに基づいて、第１の人物の顔部品及び体部の動きに応じて第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が動き、第２の人物の顔部品の動き及び体部の動きに応じて第２のキャラクタの顔部品及び第２のキャラクタの顔以外の体部が動くキャラクタ動画を生成して、生成したキャラクタ動画を、第１の人物の動画及び第２の人物の動画の入力に同期して出力してよい。
【０００７】
第１の人物を連続的に撮像するカメラ部と、カメラ部の撮像方向を示す情報を連続的に取得するカメラ情報取得部とをさらに備え、動画生成出力部は、カメラ情報取得部が取得したカメラ部の撮像方向を示す情報に基づいて、カメラ部から見た第１の人物の向きに合致する向きの第１のキャラクタの動画を生成することにより、カメラ部の撮像方向の変化に応じてアングルが変化するキャラクタ動画を生成してよい。
【０００８】
第２の態様においては、プログラムは、コンピュータを、上記動画生成装置として機能させる。
【０００９】
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態におけるインタラクティブシステム５の利用環境の一例を概略的に示す。
【図２】第１実施形態における動画生成出力システム１０のブロック構成の一例を模式的に示す。
【図３】第２実施形態における動画生成出力システム１２のブロック構成の一例を模式的に示す。
【発明を実施するための形態】
【００１１】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
図１は、一実施形態におけるインタラクティブシステム５の一例を概略的に示す。インタラクティブシステム５は、動画生成出力システム１０と、ユーザ端末８０と、ユーザ端末８１とを備える。
【００１３】
動画生成出力システム１０は、ユーザ端末８０及びユーザ端末８１と、ネットワーク９を通じて通信する。ネットワーク９は、インターネット、携帯電話網等を含む。ユーザ端末８０及びユーザ端末８１は、例えば、スマートフォン等の携帯端末、パーソナルコンピュータ等である。ユーザ９０は、ユーザ端末８０のユーザである。ユーザ９１は、ユーザ端末８１のユーザである。
【００１４】
動画生成出力システム１０は、声優６０及び声優６１の動作をリアルタイムに検出する。動作とは、顔の表情、顔の動き、手足等の動き等を含む。また、動画生成出力システム１０は、声優６０及び声優６１が発した音声をリアルタイムに取得する。そして、動画生成出力システム１０は、検出した声優６０及び声優６１の動作に応じて動くキャラクタの動画であるキャラクタ動画をリアルタイムに生成するとともに、声優６０及び声優６１の音声をキャラクタ動画にリアルタイムに合成して、ネットワーク９を通じて配信する。
【００１５】
ユーザ端末８０及びユーザ端末８１は、ネットワーク９を通じて、動画生成出力システム１０から動画の配信を受ける。また、ユーザ端末８０は、ユーザ９０から入力されたテキストメッセージ等のデータを、ネットワーク９を通じて、動画生成出力システム１０に送信する。ユーザ端末８１は、ユーザ９１から入力されたテキストメッセージ等のデータを、ネットワーク９を通じて、動画生成出力システム１０に送信する。
【００１６】
動画生成出力システム１０は、ユーザ端末８０及びユーザ端末８１の少なくとも一方から取得したテキストメッセージを受信すると、受信したテキストメッセージを表示する。声優６０及び声優６１は、動画生成出力システム１０で表示されたメッセージを見て、メッセージに対して動作及び音声でリアクションを行う。声優６０及び声優６１が動作及び音声でリアクションを行うと、動画生成出力システム１０は、声優６０及び声優６１が行った動作に応じて動き、声優６０及び声優６１が発した音声を含むキャラクタ動画を生成して、ネットワーク９を通じて配信する。
【００１７】
インタラクティブシステム５によれば、動画生成出力システム１０は、ユーザ９０やユーザ９１が発したメッセージに対して、キャラクタが動作や音声でリアルタイムに反応する、ライブ感のある動画を配信できる。そのため、ユーザ９０やユーザ９１は、まるでキャラクタと会話しているような感覚でチャットを楽しむことができる。
【００１８】
図２は、動画生成出力システム１０のブロック構成の一例を模式的に示す。動画生成出力システム１０は、カメラ２０と、カメラ２１と、モーションセンサ３０と、モーションセンサ３１と、カメラ４０と、表示装置５０と、表示装置５１と、動画処理装置１００と、動画処理装置２００と、サーバ３００とを備える。
【００１９】
まず、声優６０の動きに応じて動くキャラクタ動画を生成する場合を取り上げて、動画生成出力システム１０の各部の動作を説明する。
【００２０】
カメラ２０は、声優６０の顔を撮像できる位置に設けられる。カメラ２０は、声優６０の顔を連続的に撮像する。カメラ２０は、声優６０を連続的に撮像することにより生成した動画を、動画処理装置１００に出力する。カメラ２０は、声優６０の顔を撮像する位置に固定して設けられる固定カメラであってよい。
【００２１】
モーションセンサ３０は、声優６０の体の動きを示す情報を出力する。モーションセンサ３０は、声優６０の体部に設けられる。モーションセンサ３０が設けられる声優６０の体部としては、声優６０の頭部、手、腕、足等を例示できる。モーションセンサ３０は、モーションセンサ３０の位置及び向きを連続的に検出して、検出したモーションセンサ３０の位置及び向きを示す情報を、動画処理装置１００に出力する。
【００２２】
マイク７０は、声優６０に装着される。マイク７０は、声優６０の発した音声によって生成した音声信号を、動画処理装置１００に出力する。
【００２３】
動画処理装置１００は、顔動き検出部１１０と、体動き検出部１２０と、格納部１４０と、音声取得部１５０と、カメラ情報取得部１６０と、動画生成出力部１８０とを備える。動画生成出力部１８０は、動画生成部１３０と、動画出力部１７０とを備える。顔動き検出部１１０、体動き検出部１２０、動画生成部１３０、音声取得部１５０、カメラ情報取得部１６０及び動画出力部１７０は、例えばＭＰＵ等のプロセッサで実現される。格納部１４０は、ハードディスク等の不揮発性の記録媒体で実現される。
【００２４】
顔動き検出部１１０は、連続的に入力される声優６０の動画から、声優６０の顔部品の動きを連続的に検出する。具体的には、顔動き検出部１１０は、カメラ２０から出力された動画から、声優６０の顔部品の動きを連続的に検出する。なお、顔部品とは、動く要素である。顔部品とは、例えば口、目等である。顔部品の動きとは、例えば、口の大きさの時間変化、口の形状の時間変化、目の大きさの時間変化、目の形状の時間変化、目の位置の時間変化等である。
【００２５】
体動き検出部１２０は、声優６０の顔以外の体部の動きを連続的に検出する。具体的には、体動き検出部１２０は、モーションセンサ３０から出力された情報と、モーションセンサ３０が設けられた体部の部位に基づいて、モーションセンサ３０が設けられた声優６０の頭部、手、腕、足等の位置及び向きを検出する。
【００２６】
格納部１４０は、仮想的な第１のキャラクタの３次元情報を格納している。キャラクタとは、例えば人物のキャラクタである。キャラクタとは、動物のキャラクタであってもよい。また、キャラクタとは、無機物のキャラクタであってもよいし、仮想上のキャラクタであってよい。動画生成出力システム１０が扱うキャラクタとしては、擬人化されるキャラクタであることが好ましいが、擬人化されないキャラクタであっても構わない。なお、格納部１４０が格納しているキャラクタのことを、単に「キャラクタ」と総称する場合がある。
【００２７】
また、格納部１４０は、キャラクタの背景の３次元情報を更に格納している。なお、３次元情報とは、キャラクタや背景の画像をレンダリングするための情報であり、例えば、物体の形状、色、物体表面の質感等を記述する情報である。
【００２８】
動画生成出力部１８０は、声優６０の動きに応じてキャラクタが動くキャラクタ動画を生成して、生成したキャラクタ動画を、声優６０の動画の入力に同期して出力する。具体的には、動画生成出力部１８０は、声優６０の音声を含むキャラクタ動画を、声優６０の動画の入力に同期して出力する。動画生成出力部１８０が備える動画生成部１３０及び動画出力部１７０の動作について具体的に説明する。
【００２９】
動画生成部１３０は、顔動き検出部１１０が連続的に検出した顔部品の動きと、体動き検出部１２０が連続的に検出した体部の動きと、格納部１４０が格納しているキャラクタの３次元情報とに基づいて、声優６０の顔部品及び体部の動きに応じて第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が動くキャラクタ動画を生成して、生成したキャラクタ動画を、声優６０の動画の入力に同期して出力する。動画生成部１３０は、格納部１４０が格納している背景の３次元情報に更に基づいて、格納部１４０が格納している３次元情報で表される背景の前景において、第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が声優６０の顔部品及び体部の動きに応じて動くキャラクタ動画を生成する。動画生成部１３０は、キャラクタ動画を構成する複数の動画構成画像を、レンダリングによって逐次に生成することにより、複数の動画構成画像を含むキャラクタ動画を生成する。なお、動画構成画像とは、例えば動画を構成するフレーム画像であってよい。動画生成部１３０は、生成したキャラクタ動画を動画出力部１７０に出力する。このように、動画生成部１３０は、声優６０の動きに応じてキャラクタが動くキャラクタ動画を生成して、生成したキャラクタ動画を、声優６０の動画の入力に同期して出力する機能ブロックである。
【００３０】
音声取得部１５０は、声優６０の動画の入力に同期して、声優６０が発した音声を連続的に取得する。具体的には、音声取得部１５０は、声優６０に装着されたマイク７０の音声信号を取得する。音声取得部１５０は、連続的に取得した音声を動画出力部１７０に逐次に出力する。動画出力部１７０は、音声取得部１５０が連続的に取得した音声を、キャラクタ動画に合成して出力する。動画出力部１７０は、音声取得部１５０が連続的に取得した音声を、キャラクタ動画と同期して合成する。動画出力部１７０は、音声が合成されたキャラクタ動画を、サーバ３００に出力する。
【００３１】
カメラ４０は、声優６０を連続的に撮像する。カメラ４０は、例えばカメラ４０を操作する操作者４２の操作により、撮像方向、位置及び画角が可変である。カメラ４０の撮像方向、位置及び画角を示す情報は、連続的に動画処理装置１００に出力される。なお、カメラ４０は、撮像することにより生成された動画を、操作者４２に提示してよい。カメラ４０は、撮像することにより得られた動画を、動画処理装置１００に出力しなくてよい。
【００３２】
カメラ情報取得部１６０は、カメラ４０の撮像方向、位置及び画角を示す情報を連続的に取得する。具体的には、カメラ情報取得部１６０は、カメラ４０から連続的に出力された情報を取得する。動画生成部１３０は、カメラ情報取得部１６０が取得したカメラ４０の撮像方向を示す情報に基づいて、カメラ４０の撮像方向の向きからの声優６０の向きに合致する向きのキャラクタの動画を生成する。これにより、動画生成部１３０は、カメラ４０の撮像方向の変化に応じてアングルが変化するキャラクタ動画を生成する。また、動画生成部１３０は、カメラ情報取得部１６０が取得したカメラ４０の位置を示す情報に基づいて、カメラ４０の位置からカメラ４０の撮像方向の向きに見た場合の声優６０の向きに合致する向きの第１のキャラクタの動画を生成する。また、動画生成部１３０は、カメラ情報取得部１６０が取得したカメラ４０の画角を示す情報に基づいて、当該画角に対応する倍率の第１のキャラクタの動画を生成する。このように、動画生成部１３０は、カメラ４０の操作者４２の操作に応じて撮像方向、位置及び画角が変わるキャラクタ動画を生成する。
【００３３】
動画生成出力システム１０において、キャラクタ動画は、いわゆるリアルタイムに生成される。例えば、動画生成出力システム１０において、顔動き検出部１１０、体動き検出部１２０、音声取得部１５０、カメラ情報取得部１６０、動画生成部１３０及び動画出力部１７０における各処理は、実時間処理で行われる。例えば、カメラ２０で繰り返し露光動作を行う時刻から、予め定められた一定の時間内で、キャラクタ画像の対応する動画構成画像が動画生成部１３０から出力される。これにより、声優６０の動きに応じたキャラクタ動画が、リアルタイムに出力される。
【００３４】
サーバ３００は、動画出力部１７０が出力したキャラクタ動画を、ネットワーク９を介して、ユーザ端末８０及びユーザ端末８１に配信する。また、サーバ３００は、ネットワーク９を介して、ユーザ端末８０及びユーザ端末８１からテキストメッセージを取得する。表示装置５０は、声優６０が見ることができる位置に設けられる。サーバ３００は、ユーザ端末８０及びユーザ端末８１から取得したメッセージを、表示装置５０に表示させる。
【００３５】
以上に説明した動画処理装置１００によれば、声優６０が、ユーザ端末８０で入力されたメッセージを見てリアクションを行うと、そのリアクションがキャラクタ動画にリアルタイムに反映されてユーザ端末８０に配信される。そのため、ユーザ９０及びユーザ９１は、ライブ感のあるチャットを楽しむことができる。
【００３６】
次に、声優６０及び声優６１に対応する２つのキャラクタが動くキャラクタ動画を生成する場合を取り上げて、動画生成出力システム１０の各部の動作を説明する。なお、声優６０に対応する第１のキャラクタに係る処理は、上述したとおりであるので、説明を省略する。また、声優６１に対応するキャラクタの動きに関する処理について、声優６０に対応するキャラクタの動きに関する処理との相違点を主として説明する。
【００３７】
カメラ２１は、声優６１の顔を撮像できる位置に設けられる。カメラ２１は、声優６１の顔を連続的に撮像する。カメラ２１は、声優６１を連続的に撮像することにより生成した動画を、動画処理装置２００に出力する。カメラ２１は、声優６１の顔を撮像する位置に固定して設けられる固定カメラであってよい。
【００３８】
モーションセンサ３１は、声優６１の体の動きを示す情報を出力する。モーションセンサ３１は、声優６１の体部に設けられる。モーションセンサ３１が設けられる声優６１の体部としては、声優６１の頭部、手、腕、足等を例示できる。モーションセンサ３１は、モーションセンサ３１の位置及び向きを連続的に検出して、検出したモーションセンサ３１の位置及び向きを示す情報を、動画処理装置２００に出力する。
【００３９】
マイク７１は、声優６１に装着される。マイク７１は、声優６１の発した音声によって生成した音声信号を、動画処理装置１００に出力する。また、表示装置５１は、声優６１が見ることができる位置に設けられる。サーバ３００は、ユーザ端末８０及びユーザ端末８１から取得したメッセージを、表示装置５１に表示する。
【００４０】
顔動き検出部２１０の機能は、顔動き検出部１１０の機能と略同様である。そのため、顔動き検出部２１０の機能については、顔動き検出部１１０の機能との相違点を主として説明して、顔動き検出部１１０の機能と略同様の機能については説明を省略する。顔動き検出部２１０は、声優６０の動画に同期して連続的に入力される声優６１の動画から、声優６１の顔の顔部品の動きを連続的に検出する。具体的には、顔動き検出部２１０は、カメラ２１から出力された動画から、声優６１の顔部品の動きを連続的に検出する。顔動き検出部２１０は、検出した顔部品の動きを示す情報を、動画処理装置１００に出力する。
【００４１】
体動き検出部２２０は、声優６１の顔以外の体部の動きを連続的に検出する。なお、体動き検出部２２０は、体動き検出部１２０と略同様の機能を有する。具体的には、体動き検出部２２０は、モーションセンサ３１から出力された情報と、モーションセンサ３１が設けられた体部の部位に基づいて、モーションセンサ３１が設けられた声優６０の頭部、手、腕、足等の位置及び向きを検出する。体動き検出部２２０は、検出した体部の動きの動きを示す情報を、動画処理装置１００に出力する。
【００４２】
格納部１４０は、仮想的な第２のキャラクタの３次元情報を更に格納している。第２のキャラクタは、第１のキャラクタとは異なるキャラクタである。
【００４３】
動画生成部１３０は、顔動き検出部１１０が連続的に検出した顔部品の動きと、体動き検出部１２０が連続的に検出した体部の動きと、格納部１４０が格納している第１のキャラクタの３次元情報と、顔動き検出部２１０が連続的に検出した顔部品の動きと、体動き検出部２２０が連続的に検出した体部の動きと、格納部１４０が格納している第２のキャラクタの３次元情報とに基づいて、声優６０の顔部品及び体部の動きに応じて第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が動き、第２の人物の顔部品の動き及び体部の動きに応じて第２のキャラクタの顔部品及び第２のキャラクタの顔以外の体部が動くキャラクタ動画を生成して、生成したキャラクタ動画を、声優６０の動画及び第２の人物の動画の入力に同期して出力する。なお、動画生成部１３０は、格納部１４０が格納している背景の３次元情報に更に基づいて、格納部１４０が格納している３次元情報で表される背景の前景において、第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が声優６０の顔部品及び体部の動きに応じて動き、かつ、第２のキャラクタの顔部品及び第２のキャラクタの顔以外の体部が声優６１の顔部品及び体部の動きに応じて動くキャラクタ動画を生成する。
【００４４】
音声取得部１５０は、声優６１の動画の入力に同期して、声優６１が発した音声を連続的に取得する。具体的には、音声取得部１５０は、声優６１に装着されたマイク７１の音声信号を取得する。音声取得部１５０は、連続的に取得した、声優６０及び声優６１が発した音声を、動画出力部１７０に逐次に出力する。動画出力部１７０は、声優６０及び声優６１が発した音声を、キャラクタ動画に合成して出力する。動画生成部１３０は、声優６０及び声優６１が発した音声を、キャラクタ動画と同期して合成する。
【００４５】
なお、カメラ４０は、声優６０及び声優６１を連続的に撮像する。動画生成部１３０は、カメラ情報取得部１６０が取得したカメラ４０の撮像方向を示す情報に基づいて、カメラ４０の撮像方向の向きからの声優６１の向きに合致する向きの第２のキャラクタの動画を生成する。これにより、動画生成部１３０は、カメラ４０の撮像方向の変化に応じてアングルが変化するキャラクタ動画を生成する。また、動画生成部１３０は、カメラ情報取得部１６０が取得したカメラ４０の位置を示す情報に基づいて、カメラ４０の位置からカメラ４０の撮像方向の向きに見た場合の声優６１の向きに合致する向きの第２のキャラクタの動画を生成する。また、動画生成部１３０は、カメラ情報取得部１６０が取得したカメラ４０の画角を示す情報に基づいて、当該画角に対応する倍率の第２のキャラクタの動画を生成する。
【００４６】
動画生成出力システム１０によれば、動画処理装置２００が声優６１の顔部品の動きの検出及び声優６１の体部の動きの検出を担い、動画処理装置１００は、声優６１の顔部品の動き及び声優６１の体部の動きの検出結果を、動画処理装置２００から取得する。そのため、動画処理装置１００における演算負荷を軽減することができる。これにより、複数の声優に対応する複数のキャラクタの３次元情報に基づきレンダリングを行って、キャラクタ動画をリアルタイムに生成することが容易になる。また、１つの動画処理装置１００の動画生成部１３０がレンダリングを担うので、複数の声優に対応する複数のキャラクタ及び背景のレンダリングを統合的に行うことが容易になる。
【００４７】
図３は、第２実施形態における動画生成出力システム１２のブロック構成の一例を模式的に示す。動画生成出力システム１２は、カメラ２０と、カメラ２１と、モーションセンサ３０と、モーションセンサ３１と、カメラ４０と、表示装置５０と、表示装置５１と、動画処理装置１０２と、動画処理装置２０２と、サーバ３００とを備える。
【００４８】
動画処理装置１０２は、動画処理装置１００が有する機能と類似の機能を持つ。動画処理装置１０２は、動画処理装置１００が備える機能ブロックと類似の機能を持つ機能ブロックを備える。動画処理装置１０２において、顔動き検出部１１０、体動き検出部１２０、動画生成部１３０、格納部１４０、音声取得部１５０及びカメラ情報取得部１６０は、動画処理装置１００に関連して説明した機能と類似の機能を有する。そのため、ここでは動画処理装置１００に関連して説明した機能との相違点を主として説明して、動画処理装置１００に関連して説明した機能と同様の機能については、説明を省略する場合がある。
【００４９】
また、動画処理装置２０２は、動画処理装置２００が備える機能ブロックに加えて、動画生成部２３０、格納部２４０、及びカメラ情報取得部２６０を備える。動画処理装置１０２において、顔動き検出部２１０及び体動き検出部２２０は、動画処理装置２００に関連して説明した機能と類似の機能を有する。そのため、ここでは動画処理装置２００に関連して説明した機能との相違点を主として説明して、動画処理装置２００に関連して説明した機能と同様の機能については、説明を省略する場合がある。
【００５０】
動画処理装置１０２において、格納部１４０は、第１のキャラクタの３次元情報及び背景の３次元情報を格納している。格納部１４０は、第２のキャラクタの３次元情報を格納していない。
【００５１】
動画生成部１３０は、顔動き検出部１１０が連続的に検出した声優６０の顔部品の動き情報と体動き検出部１２０が連続的に検出した声優６０の体部の動き情報とを取得する。動画生成部１３０は、声優６１に関する動き情報を取得しない。顔動き検出部１１０が連続的に検出した声優６０の顔部品の動きと、体動き検出部１２０が連続的に検出した声優６０の体部の動きと、格納部１４０が格納している第１のキャラクタの３次元情報とに基づいて、声優６０の顔部品及び体部の動きに応じて第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が動く第１のキャラクタ動画を生成する。このように、動画生成部１３０は、顔動き検出部１１０が連続的に検出した声優６０の顔部品の動きと体動き検出部１２０が連続的に検出した声優６０の体部の動きに基づいて、第１のキャラクタのレンダリングを行う。なお、動画生成部１３０は、動画処理装置１００における動画生成部１３０の処理と同様に、カメラ情報取得部１６０が取得したカメラ４０の撮像方向、位置及び画角を示す情報に基づいて、第１のキャラクタ動画を生成する。
【００５２】
動画処理装置２０２において、格納部２４０は、第２のキャラクタの３次元情報を格納している。動画生成部２３０は、顔動き検出部２１０が連続的に検出した声優６１の顔部品の動き情報と体動き検出部２２０が連続的に検出した声優６１の体部の動き情報とを取得する。動画生成部２３０は、顔動き検出部２１０が連続的に検出した声優６１の顔部品の動きと、体動き検出部２２０が連続的に検出した声優６１の体部の動きと、格納部２４０が格納している第２のキャラクタの３次元情報とに基づいて、声優６１の顔部品及び体部の動きに応じて第２のキャラクタの顔部品及び第２のキャラクタの顔以外の体部が動く第２のキャラクタ動画を生成する。このように、動画生成部２３０は、顔動き検出部２１０が連続的に検出した声優６１の顔部品の動きと体動き検出部２２０が連続的に検出した声優６１の体部の動きに基づいて、第２のキャラクタのレンダリングを行う。動画生成部２３０は、生成した第２のキャラクタ動画を、動画処理装置１０２に出力する。
【００５３】
なお、カメラ情報取得部２６０は、カメラ情報取得部１６０と同様に、カメラ４０の撮像方向、位置及び画角を示す情報を連続的に取得する。動画生成部２３０は、動画処理装置１００における動画生成部１３０と同様に、カメラ情報取得部２６０が取得したカメラ４０の撮像方向、位置及び画角を示す情報に基づいて、第２のキャラクタ動画を生成する。
【００５４】
動画処理装置１０２において、動画出力部１７０は、動画生成部１３０が生成した第１のキャラクタ動画と、動画生成部２３０が生成した第２のキャラクタ動画とを合成して、１つのキャラクタ動画を生成する。また、動画出力部１７０は、格納部１４０が格納している背景の３次元情報を用いて、格納部１４０が格納している３次元情報で表される背景の前景において、第１のキャラクタの顔部品及び第１のキャラクタの顔以外の体部が声優６０の顔部品及び体部の動きに応じて動き、第２のキャラクタの顔部品及び第２のキャラクタの顔以外の体部が声優６１の顔部品及び体部の動きに応じて動くキャラクタ動画を生成する。また、動画出力部１７０は、音声取得部１５０が取得した声優６０及び声優６１の音声を、キャラクタ動画に合成して出力する。
【００５５】
第２実施形態における動画生成出力システム１２によっても、複数の声優に対応する複数のキャラクタの３次元情報に基づきレンダリングを行って、キャラクタ動画をリアルタイムに生成することができる。
【００５６】
上記の説明において、動画処理装置１００の動作として説明した処理は、プロセッサがプログラムに従って動画処理装置１００が有する各ハードウェア（例えば、ハードディスク、メモリ等）を制御することにより実現される。このように、本実施形態の動画処理装置１００に関連して説明した、動画処理装置１００の少なくとも一部の処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、ハードディスク、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータによって実現することができる。コンピュータは、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータは、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【００５７】
同様に、動画処理装置２００の動作として説明した処理は、プロセッサがプログラムに従ってコンピュータが有する各ハードウェアを制御することにより実現できる。また、動画処理装置１０２の動作として説明した処理は、プロセッサがプログラムに従ってコンピュータが有する各ハードウェアを制御することにより実現できる。また、動画処理装置２０２の動作として説明した処理は、プロセッサがプログラムに従ってコンピュータが有する各ハードウェアを制御することにより実現される。
【００５８】
なお、顔動き検出部１１０、動画生成部１３０、顔動き検出部２１０及び動画生成部２３０の機能は全体として、Ｕｎｉｔｙ  Ｔｅｃｈｎｏｌｏｇｉｅｓ社のゲームエンジン「Ｕｎｉｔｙ」によって、コンピュータに実装できる。顔動き検出部１１０及び顔動き検出部２１０の処理は、顔の動きを検出するプラグインをＵｎｉｔｙに組み込むことによって、コンピュータに実装できる。
【００５９】
なお、以上の説明において、インタラクティブシステム５が２つのユーザ端末８０及びユーザ端末８０を備える形態を取り上げて説明したが、ユーザ端末の数は２に限られない。ユーザ端末の数は、１であってよいし、３以上であってよい。同様に、キャラクタ及び声優の数は、２に限られず、１であってよいし、３以上であってよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
５  インタラクティブシステム
９  ネットワーク
１０、１２  動画生成出力システム
２０  カメラ、２１  カメラ
３０  モーションセンサ、３１  モーションセンサ
４０  カメラ
４２  操作者
５０  表示装置、５１  表示装置
６０  声優、６１  声優
７０  マイク、７１  マイク
８０  ユーザ端末、８１  ユーザ端末
９０  ユーザ、９１  ユーザ
１００、１０２  動画処理装置
１１０  顔動き検出部
１２０  体動き検出部
１３０  動画生成部
１４０  格納部
１５０  音声取得部
１６０  カメラ情報取得部
１７０  動画出力部
１８０  動画生成出力部
２００、２０２  動画処理装置
２１０  顔動き検出部
２２０  体動き検出部
２３０  動画生成部
２４０  格納部
２６０  カメラ情報取得部
３００  サーバ
【図１】
2015184689.tif 000003
【図２】
2015184689.tif 000004
【図３】
2015184689.tif 000005