(57)【特許請求の範囲】
【請求項１】
音声担当者からキャラクターの音声の入力を受け付ける音声受付部と、
前記音声担当者から、前記音声に対応する前記キャラクターの感情を示す感情情報を受け付ける感情受付部と、
受け付けた音声を動作担当者の端末に出力する音声出力部と、
前記音声出力部が前記音声の出力を開始した後、前記動作担当者の端末から、前記動作担当者の端末に表示される前記感情情報及び前記動作担当者の端末に入力される前記音声に対応する前記キャラクターの動作を受け付ける動作受付部と、
前記音声と前記動作に対応する動画とを合成して前記キャラクターの動画を生成する合成部と、
生成された前記キャラクターの動画を出力する動画出力部と、
を備える動画生成装置。
【請求項２】
前記動作受付部は、前記キャラクターの複数の動作を示す情報を前記動作担当者の端末に表示させ、当該複数の動作から一の動作の選択を受け付けることにより、前記キャラクターの動作を受け付ける、
請求項１に記載の動画生成装置。
【請求項３】
前記動作受付部は、前記感情に対応する前記キャラクターの複数の動作を示す情報を前記動作担当者の端末に表示させ、当該複数の動作から一の動作の選択を受け付けることにより、前記キャラクターの動作を受け付ける、
請求項２に記載の動画生成装置。
【請求項４】
前記キャラクターの感情と、バックグラウンドミュージックとを関連付けて記憶する記憶部と、
前記記憶部を参照して前記感情情報が示す感情に対応する前記バックグラウンドミュージックを選択する選択部と
をさらに備え、
前記合成部は、前記音声と、前記動作に対応する動画と、選択された前記バックグラウンドミュージックと、を合成して前記キャラクターの動画を生成する、
請求項１から３のいずれか１項に記載の動画生成装置。
【請求項５】
前記合成部は、前記音声の再生が開始する時刻と、前記音声に対応する前記キャラクターの動作が開始する時刻とを同期させて、前記音声と前記動作に対応する動画とを合成する、
請求項１から４のいずれか１項に記載の動画生成装置。
【請求項６】
受け付けた音声を示す音声情報を記憶する記憶部をさらに備え、
前記合成部は、前記記憶部に記憶された前記音声情報を取得し、当該音声情報が示す音声の再生が開始する時刻と、前記キャラクターの動作が開始する時刻とを同期させて、前記音声と前記動作に対応する動画とを合成する、
請求項５に記載の動画生成装置。
【請求項７】
受け付けた音声をテキストに変換する変換部をさらに備え、
前記動作受付部は、前記変換部によって変換された前記テキストを前記動作担当者の端末に表示させ、前記動作担当者の端末から前記キャラクターの動作を受け付ける、
請求項６に記載の動画生成装置。
【請求項８】
前記動画出力部は、受け付けた音声の出力が終了したことに応じて、受け付けた動作に対応する動画の出力を終了させるとともに、前記音声が入力されていない状態に対応する前記キャラクターの動画を出力する、
請求項１から７のいずれか１項に記載の動画生成装置。
【請求項９】
前記音声出力部は、受け付けた音声を演出担当者の端末に出力し、
前記音声が出力された後、前記演出担当者の端末から、前記動画の演出に係る情報を受け付ける演出受付部をさらに備え、
前記合成部は、合成された前記キャラクターの動画に対して、前記演出に対応する効果を付加する、
請求項１から８のいずれか１項に記載の動画生成装置。
【請求項１０】
コンピュータにより実行される、
音声担当者からキャラクターの音声の入力を受け付けるステップと、
前記音声担当者から、前記音声に対応する前記キャラクターの感情を示す感情情報を受け付けるステップと、
受け付けた音声を動作担当者の端末に出力するステップと、
前記音声の出力を開始した後、前記動作担当者の端末から、前記動作担当者の端末に表示される前記感情情報及び前記動作担当者の端末に入力される前記音声に対応する前記キャラクターの動作を受け付けるステップと、
前記音声と前記動作に対応する動画とを合成して前記キャラクターの動画を生成するステップと、
生成された前記キャラクターの動画を出力するステップと、
を備える動画生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画生成装置及び動画生成方法に関する。
【背景技術】
【０００２】
従来、キャラクターが登場するアニメ等の動画の制作においては、声優が、動画に登場するキャラクターの音声を吹き込むことが行われている（例えば、特許文献１参照）。このような動画の制作では、まず、シナリオが作成され、当該シナリオに基づいて音声の無い動画が生成される。そして、声優が、当該動画におけるキャラクターの動作を見ながら、シナリオに基づいて音声を吹き込む。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−２３２６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の動画の制作では、シナリオに基づいて音声の無い動画を作成し、その後、当該動画に対して音声を吹き込むことから、音声付きの動画が完成するまでに時間がかかるという問題がある。このため、例えば、アニメキャラクター等のキャラクターが登場するライブ中継を行ったり、視聴者からのリクエストに対応して、キャラクターがリアルタイムに応答したりすることができないという問題があった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、キャラクターに対応する動画をリアルタイムに生成することができる動画生成装置及び動画生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係る動画生成装置は、音声担当者からキャラクターの音声の入力を受け付ける音声受付部と、受け付けた音声を動作担当者の端末に出力する音声出力部と、前記音声が出力された後、前記動作担当者の端末から前記音声に対応する前記キャラクターの動作を受け付ける動作受付部と、前記音声と前記動作に対応する動画とを合成して前記キャラクターの動画を生成する合成部と、生成された前記キャラクターの動画を出力する動画出力部と、を備える。
【０００７】
前記動画生成装置は、前記音声担当者から、前記音声に対応する前記キャラクターの感情を示す感情情報を受け付ける感情受付部をさらに備え、前記動作受付部は、前記音声担当者から受け付けた前記感情情報を前記動作担当者の端末に表示させ、当該感情情報に対応する前記キャラクターの動作を受け付けてもよい。
【０００８】
前記動作受付部は、前記キャラクターの複数の動作を示す情報を前記動作担当者の端末に表示させ、当該複数の動作から一の動作の選択を受け付けることにより、前記キャラクターの動作を受け付けてもよい。
【０００９】
前記動作受付部は、前記感情に対応する前記キャラクターの複数の動作を示す情報を前記動作担当者の端末に表示させ、当該複数の動作から一の動作の選択を受け付けることにより、前記キャラクターの動作を受け付けてもよい。
【００１０】
前記動画生成装置は、前記キャラクターの感情と、バックグラウンドミュージックとを関連付けて記憶する記憶部と、前記記憶部を参照して前記感情情報が示す感情に対応する前記バックグラウンドミュージックを選択する選択部とをさらに備え、前記合成部は、前記音声と、前記動作に対応する動画と、選択された前記バックグラウンドミュージックとを合成して前記キャラクターの動画を生成してもよい。
【００１１】
前記合成部は、前記音声の再生が開始する時刻と、前記音声に対応する前記キャラクターの動作が開始する時刻とを同期させて、前記音声と前記動作に対応する動画とを合成してもよい。
【００１２】
前記動画生成装置は、受け付けた音声を示す音声情報を記憶する記憶部をさらに備え、前記合成部は、前記記憶部に記憶された前記音声情報を取得し、当該音声情報が示す音声の再生が開始する時刻と、前記キャラクターの動作が開始する時刻とを同期させて、前記音声と前記動作に対応する動画とを合成してもよい。
【００１３】
前記動画生成装置は、受け付けた音声をテキストに変換する変換部をさらに備え、前記動作受付部は、前記変換部によって変換された前記テキストを前記動作担当者の端末に表示させ、前記動作担当者の端末から前記キャラクターの動作を受け付けてもよい。
【００１４】
前記動画出力部は、受け付けた音声の出力が終了したことに応じて、受け付けた動作に対応する動画の出力を終了させるとともに、前記音声が入力されていない状態に対応する前記キャラクターの動画を出力してもよい。
【００１５】
前記音声出力部は、受け付けた音声を演出担当者の端末に出力し、前記動画生成装置は、前記音声が出力された後、前記演出担当者の端末から、前記動画の演出に係る情報を受け付ける演出受付部をさらに備え、前記合成部は、合成された前記キャラクターの動画に対して、前記演出に対応する効果を付加してもよい。
【００１６】
本発明の第２の態様に係る動画生成方法は、コンピュータにより実行される、音声担当者からキャラクターの音声の入力を受け付けるステップと、受け付けた音声を動作担当者の端末に出力するステップと、前記音声が出力された後、前記動作担当者の端末から前記音声に対応する前記キャラクターの動作を受け付けるステップと、前記音声と前記動作に対応する動画とを合成して前記キャラクターの動画を生成するステップと、生成された前記キャラクターの動画を出力するステップと、を備える。
【発明の効果】
【００１７】
本発明によれば、キャラクターに対応する動画をリアルタイムに生成することができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】第１の実施形態に係る動画生成システムの概要を示す図である。
【図２】第１の実施形態に係る動画生成装置の構成を示す図である。
【図３】動画生成装置がキャラクターの動画を出力するまでの処理の流れを示すシーケンス図である。
【図４】キャラクターの動作に関する情報の一例を示す図である。
【図５】バックグラウンドミュージックに関する情報の一例を示す図である。
【図６】効果音に関する情報の一例を示す図である。
【図７】音声と動作に対応する動画との合成について説明する図である。
【図８】キャラクターの動画の一例を示す図である。
【図９】第２の実施形態に係る動画生成装置の構成を示す図である。
【図１０】第３の実施形態に係る動画生成装置の構成を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について説明する。
＜第１の実施形態＞
［動画生成システムＳの概要］
図１は、第１の実施形態に係る動画生成システムＳの概要を示す図である。
動画生成システムＳは、動画生成装置１と、動作担当者端末２と、演出担当者端末３とを備える。動画生成装置１、動作担当者端末２及び演出担当者端末３は、記憶部と制御部とを備えたコンピュータである。動画生成装置１は、動作担当者端末２及び演出担当者端末３と、ＬＡＮやインターネット等の通信ネットワークを介して通信可能に接続されている。
【００２０】
動画生成装置１は、アニメ等に登場するキャラクターの動画を生成するサーバ等のコンピュータである。具体的には、動画生成装置１は、キャラクターの声を担当する音声担当者から、当該キャラクターの音声の入力を受け付ける（図１の（１））。動画生成装置１は、キャラクターの音声を受け付けると、当該音声を示す音声情報を動作担当者端末２及び演出担当者端末３に出力する（図１の（２））。
【００２１】
動画生成装置１は、動作担当者端末２から音声に対応したキャラクターの動作を示す動作情報を受け付けるとともに、演出担当者端末３から音声に対応したバックグラウンドミュージック（以下、ＢＧＭという。）や照明効果等の演出を示す演出情報を受け付ける（図１の（３）、（４））。
【００２２】
動画生成装置１は、受け付けた音声と、動作情報に対応する動画とを合成するとともに、合成した動画に対して演出情報が示す演出効果を付加することにより、キャラクターの動画を生成する（図１の（５））。動画生成装置１は、生成したキャラクターの動画を出力する（図１の（６））。
【００２３】
このように、動画生成装置１では、キャラクターが話をしながら動作する動画を出力することができる。また、動画生成装置１では、音声担当者がシナリオに基づかずに、キャラクターの音声を即興で発したとしても、当該音声に対応するように動作担当者がキャラクターの動作を決定することでキャラクターの動画を生成することができる。よって、動画生成装置１は、音声担当者が発した音声に対応して、音声付きのキャラクターの動画をリアルタイムに生成することができる。
以下、動画生成装置１の構成及び動作について説明する。
【００２４】
［動画生成装置１の構成例］
図２は、第１の実施形態に係る動画生成装置１の構成を示す図である。動画生成装置１は、通信部１１と、マイク１２と、記憶部１３と、制御部１４とを備える。
【００２５】
通信部１１は、通信ネットワークと接続するための通信インターフェイスであり、例えばＬＡＮコントローラを含んでいる。
マイク１２は、動画生成装置１の使用者から音声の入力を受け付け、入力された音声を制御部１４に出力する。本実施形態では、マイク１２は、キャラクターの音声を担当する音声担当者から音声の入力を受け付ける。
【００２６】
記憶部１３は、例えば、ＲＯＭ及びＲＡＭ等により構成される。記憶部１３は、動画生成装置１を機能させるための各種プログラムを記憶する。記憶部１３は、動画生成装置１の制御部１４を、後述する音声受付部１４１、音声出力部１４２、動作受付部１４３、演出受付部１４４、合成部１４５、及び動画出力部１４６として機能させる動画生成プログラムを記憶する。記憶部１３は、外部メモリ等の記憶媒体に記憶されたプログラムを読み取って記憶してもよく、通信ネットワークを介して外部機器からダウンロードされたプログラムを記憶してもよい。また、記憶部１３は、キャラクターの動作に対応する動画や、キャラクターの動作に合わせて再生されるＢＧＭや、動画に対して照明効果を設定するための動画編集プログラム等を記憶する。また、記憶部１３は、音声担当者から受け付けた音声を示す音声情報を一時的に記憶する音声バッファ１３１を備える。
【００２７】
制御部１４は、例えば、ＣＰＵにより構成される。制御部１４は、記憶部１３に記憶されている各種プログラムを実行することにより、動画生成装置１に係る機能を制御する。制御部１４は、音声受付部１４１と、音声出力部１４２と、動作受付部１４３と、演出受付部１４４と、合成部１４５と、動画出力部１４６とを備える。
【００２８】
以下、動画生成装置１がキャラクターの動画を出力するまでの処理の流れを示すシーケンスを参照しながら、制御部１４が備える機能について説明する。図３は、動画生成装置１がキャラクターの動画を出力するまでの処理の流れを示すシーケンス図である。
【００２９】
まず、音声受付部１４１は、マイク１２を介して、音声担当者からキャラクターの音声の入力を受け付け（Ｓ１）、入力された音声を示す音声情報を音声バッファ１３１に記憶させる（Ｓ２）。音声情報は、例えば、アナログ音声信号をデジタル符号化することにより生成されるデジタルデータである。なお、音声受付部１４１は、音声担当者が使用する音声担当者端末（不図示）から、当該音声担当者端末において入力された音声を示す音声情報を受信することにより、キャラクターの音声の入力を受け付けるようにしてもよい。
続いて、音声出力部１４２は、音声受付部１４１が受け付けたキャラクターの音声を示す音声情報を動作担当者端末２及び演出担当者端末３に出力する。
【００３０】
続いて、動作受付部１４３は、音声出力部１４２がキャラクターの音声を動作担当者端末２に出力した後、動作担当者端末２から、当該キャラクターの音声に対応するキャラクターの動作を示す動作情報を受信することにより、当該動作を受け付ける（Ｓ３）。具体的には、動作受付部１４３は、キャラクターの複数の動作を示す情報を動作担当者端末２に表示させ、当該複数の動作から一の動作の選択を受け付けることにより、キャラクターの動作を受け付ける。
【００３１】
より具体的には、例えば、記憶部１３には、図４に示すように、キャラクターの複数の動作を示す情報として、キャラクターの感情と、キャラクターの感情に対応するキャラクターの表情と、キャラクターの動作と、当該感情、表情及び動作に対応した動画とが関連付けられて記憶されている。なお、図４に示す例では、感情と表情とが１対１に関連付けられているが、一の感情に対して複数の表情が関連付けられていてもよい。
【００３２】
動作受付部１４３は、キャラクターの複数の感情を示す情報と、当該感情に対応するキャラクターの表情を示す画像とを動作担当者端末２に予め表示させておく。動作受付部１４３は、音声出力部１４２がキャラクターの音声を出力したことに応じて、動作担当者端末２からキャラクターの音声に対応するキャラクターの感情の選択を受け付ける。
【００３３】
動作受付部１４３は、キャラクターの感情が選択されると、当該感情に関連付けられている複数の動作から一の動作の選択を受け付ける動作選択画面を動作担当者端末２に表示させる。動作担当者端末２は、動作選択画面において一の動作が選択されると、選択された一の動作を示す動作情報を動画生成装置１に送信する。動作受付部１４３は、当該動作情報を受信することにより、選択された感情に対応する一の動作の選択を受け付ける。
【００３４】
動作受付部１４３は、音声出力部１４２が音声情報を出力したタイミングに同期して、キャラクターの複数の動作を示す情報を動作担当者端末２に表示させてもよい。動作受付部１４３は、例えば、音声出力部１４２が音声情報を出力すると同時にキャラクターの複数の動作を示す情報を動作担当者端末２に表示させる。このようにすることで、動作担当者は、音声担当者が音声を入力したタイミングに合わせてキャラクターの感情及び動作を選択しやすくなる。
【００３５】
なお、動作受付部１４３は、音声出力部１４２が音声情報を出力するタイミングを制御する指示を動作担当者端末２から受け付けて、受け付けた指示に基づいて、音声出力部１４２に対して、音声の出力を停止させたり、出力済の音声を再出力させたりしてもよい。このようにすることで、音声出力部１４２は、動作受付部１４３が受け付けた指示に基づくタイミングで、当該指示に対応する音声情報を音声バッファ１３１から読み出して出力することができるので、動作担当者は、選択する動作を間違えた場合であっても、適切な動作に修正することができる。
【００３６】
また、動作担当者端末２は、複数台設けられていてもよい。例えば、動作担当者端末２が２台設けられている場合、動作受付部１４３は、一方の動作担当者端末２から感情の選択を受け付け、他方の動作担当者端末２から動作の選択を受け付けてもよい。
【００３７】
続いて、演出受付部１４４は、音声出力部１４２がキャラクターの音声を演出担当者端末３に出力した後、演出担当者端末３から、キャラクターの動画の演出に係る演出情報を受け付ける（Ｓ４）。
【００３８】
具体的には、記憶部１３は、図５に示すように、バックグラウンドミュージック（以下、ＢＧＭという。）の題名と、ＢＧＭのファイルとを関連付けて記憶している。演出受付部１４４は、演出担当者端末３に、複数のＢＧＭの題名を予め表示させておく。演出受付部１４４は、音声出力部１４２がキャラクターの音声を出力したことに応じて、演出担当者端末３からキャラクターの音声とともに流すＢＧＭの題名の選択を受け付ける。演出受付部１４４は、ＢＧＭの題名が選択されたことに応じて、演出担当者端末３から、題名を示す情報を演出情報として受信する。
【００３９】
また、記憶部１３は、図６に示すように、効果音のカテゴリと、効果音の内容を示す情報と、効果音のファイルとを関連付けて記憶している。演出受付部１４４は、演出担当者端末３に、複数の効果音のそれぞれに対応するカテゴリを表示させておく。演出受付部１４４は、音声出力部１４２がキャラクターの音声を出力したことに応じて、当該カテゴリのいずれかの選択を受け付ける。演出受付部１４４は、カテゴリが選択されると、当該カテゴリに対応する効果音の内容を示す情報を演出担当者端末３に表示させ、効果音の選択を受け付ける。演出受付部１４４は、効果音が選択されたことに応じて、演出担当者端末３から、効果音を示す情報を演出情報として受信する。
【００４０】
また、記憶部１３は、キャラクターの動画に対して適用可能な照明効果の種類を示す情報を記憶している。演出受付部１４４は、演出担当者端末３に、複数の照明効果の種類を示す情報を表示させておく。演出受付部１４４は、音声出力部１４２がキャラクターの音声を出力したことに応じて、照明効果の種類の選択を受け付ける。演出受付部１４４は、照明効果の種類が選択されたことに応じて、演出担当者端末３から、当該種類を示す情報を演出情報として受信する。
【００４１】
このようにすることで、動画生成装置１は、演出担当者端末３を使用する演出担当者が、キャラクターの音声を聞きながら選択した、当該音声に適した演出効果を受け付けることができる。
なお、上述の説明では、動画生成装置１が動作を示す動作情報を受け付けた後に、演出を示す演出情報を受け付けるものとして説明したが、この順番で動作情報及び演出情報を受け付けなくてもよい。例えば、動画生成装置１は、演出情報を受け付けてから動作情報を受け付けたり、演出情報及び動作情報を同時に受け付けたりしてもよい。
【００４２】
続いて、合成部１４５は、音声受付部１４１が受け付けた音声と、動作受付部１４３が受け付けた動作に対応する動画とを合成してキャラクターの音声付きの動画を生成する（Ｓ５）。具体的には、合成部１４５は、音声の再生が開始する時刻と、音声に対応するキャラクターの動作が開始する時刻とを同期させて、音声と、動作に対応する動画とを合成する。
【００４３】
図７は、音声と動作に対応する動画との合成について説明する図である。
合成部１４５は、図７に示すように、音声受付部１４１が時刻ｔ１において音声を受け付け、音声バッファ１３１に当該音声を示す音声情報の記憶が開始されると、予め定められた待ち時間Ｗｔが経過した時刻ｔ３を、キャラクターの動画の出力が開始される時刻とする。
【００４４】
続いて、合成部１４５は、当該時刻ｔ３までに動作受付部１４３が受け付けた動作を、音声に対応する動作と決定する。図７に示す例では、合成部１４５は、時刻ｔ２において受け付けた動作を、音声に対応する動作と決定する。そして、合成部１４５は、当該動作に対応する動画の再生を開始する時刻を、動画の再生が開始する時刻ｔ３とする。
【００４５】
続いて、合成部１４５は、音声バッファ１３１に記憶された音声情報を取得し、当該音声情報が示す音声と、受け付けた動作に対応する動画とを合成して、キャラクターの音声付きの動画を生成する。
【００４６】
また、合成部１４５は、合成されたキャラクターの動画に対して、演出に対応する効果を付加する。合成部１４５は、当該時刻ｔ３までに演出受付部１４４が受け付けた演出情報が示す演出を、音声に対応する演出と決定する。そして、合成部１４５は、当該演出を開始する時刻を、動画の再生が開始する時刻ｔ３とし、合成されたキャラクターの動画に対して、演出に対応する効果を付加する。
【００４７】
動画出力部１４６は、時刻ｔ３において、生成されたキャラクターの動画を出力する（Ｓ６）。ここで、時刻ｔ３において動画出力部１４６が出力を開始したキャラクターの動画に対応する音声の入力が終了したにもかかわらず、動作受付部１４３が受け付けた動作に対応する動画が継続して出力されると、キャラクターの動画を見る人が違和感を抱く。そこで、動画出力部１４６は、生成されたキャラクターの動画の出力中に、音声受付部１４１が受け付けた音声の出力が終了したことに応じて、動作受付部１４３が受け付けた動作に対応する動画の出力を終了させる。そして、動画出力部１４６は、音声が入力されていない状態に対応するキャラクターの動画を出力する。
【００４８】
図７に示す例では、時刻ｔ４において、音声受付部１４１が受け付けた音声の出力が終了することから、動画出力部１４６は、時刻ｔ４において、動作受付部１４３が受け付けた動作に対応する動画の出力を終了させる。そして、動画出力部１４６は、音声が入力されていない状態に対応する動画として、例えば、予め定められた通常動作に対応する動画を出力する。このようにすることで、動画出力部１４６は、音声受付部１４１が受け付けた音声の出力に合わせて、動作受付部１４３が受け付けた動作に対応する動画を出力することができる。これにより、動作担当者は、動作の開始時間及び終了時間を気にすることなく、様々な動作を選択することができ、キャラクターの動画のバリエーションを増やすことができる。
【００４９】
［利用例］
続いて、キャラクターの動画の利用例について説明する。図８は、テレビのニュース番組に対してキャラクターの動画が表示された例を示す。図８に示す例では、ニュース番組の画面に含まれている領域Ａ１に対してキャラクターの動画が表示されている。ニュース番組のように、予め放送する内容が決まっている場合には、キャラクターの動作が少ないことから、音声担当者がリアルタイムで発する言葉に合わせて動作担当者が単純な動作を組み合わせることにより、動画生成装置１は、リアルタイムでキャラクターの動画を生成することができる。これにより、キャラクターの動画が含まれる生放送を実現することができる。
【００５０】
なお、図８に示すように、ニュース画面に対してメッセージ表示領域Ａ２を表示させ、視聴者が番組に対して投稿したメッセージを表示させてもよい。この場合、放送局側では、当該メッセージに対する応答担当者を設定しておく。そして、動画生成装置１が、視聴者からメッセージを受け付けるとともに、応答担当者から当該メッセージの応答メッセージを受け付ける。そして、放送局側では、動画生成装置１が受け付けたこれらのメッセージを、ニュース画面に表示させる。ここで、応答メッセージは、図８に示すキャラクターの発言として表示させてもよい。このようにすることで、視聴者に対して、あたかもキャラクターとコミュニケーションしているように思わせて、キャラクターに対する親密感を抱かせ、視聴者が番組を視聴する意欲を高めることができる。
【００５１】
また、図８に示す例では、ニュース番組に対してキャラクターの動画が表示された例について説明したが、これに限らない。例えば、ポータルサイトに掲載されたニュースのそれぞれに対応して、キャラクターの動画が表示されるようにしてもよい。この場合には、ニュースのカテゴリのそれぞれに対して、キャラクターの動画を生成するためのチームを設けておく。そして、動画生成装置１は、複数のチームのそれぞれから音声や動作を受け付けて、複数のカテゴリのそれぞれに対応するキャラクターの動画を生成する。このようにすることで、視聴者が、複数のニュースのカテゴリのいずれを視聴した場合であっても、当該視聴者に、同じキャラクターの動画を視聴させることができ、ポータルサイト全体として統一感を出すことができる。
【００５２】
また、ポータルサイト等において、視聴者からの質問に対して、キャラクターが回答するように動画を生成してもよい。この場合には、動画生成装置１は、例えば、視聴者から質問メッセージをテキスト情報で受け付け、自身の表示部に表示させる。その後、動画生成装置１は、音声担当者から、当該質問メッセージに対応する回答メッセージをキャラクターの音声で受け付け、動作担当者から、当該音声に対応する動作を受け付ける。そして、動画生成装置１は、受け付けた音声と、受け付けた動作に対応する動画とを合成することにより、質問メッセージに対してキャラクターが回答する動画を生成する。このようにすることで、視聴者は、キャラクターとリアルタイムにコミュニケーションをとることができる。
【００５３】
なお、動画生成装置１は、視聴者から質問メッセージを受け付けるときに、質問メッセージを音声で受け付けて、当該音声をテキスト情報に変換して自身の表示部に表示させてもよい。また、視聴者から質問メッセージを受け付けるときに、感情を示す情報を受け付けるようにしてもよい。このようにすることで、音声担当者は、視聴者の感情に適した回答を行い、円滑なコミュニケーションをとることができる。
【００５４】
また、ニュース番組の制作者が、状況に応じて複数のキャラクターの少なくともいずれかに対応する動画を生成してもよい。この場合には、ニュース番組の制作者は、複数のキャラクターのそれぞれの動画を生成するためチームを設けておく。そして、ニュース番組の制作者は、ニュースに対する意見を発信する場合に、意見の内容に応じて、複数のキャラクターのいずれかを選択し、当該選択されたキャラクターが意見を述べる動画を生成してもよい。例えば、一のニュースに対して異なる意見が存在する場合に、一のアナウンサーが異なる意見を同時に発信すると、価値観がぶれている等の批判を受けることがある。これに対して、ニュース番組の制作者は、複数のキャラクターにそれぞれ異なる意見を発信させることで、様々な意見を、個々のキャラクターの意見として柔軟に発信することができる。
【００５５】
［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る動画生成装置１は、音声担当者から受け付けた音声を動作担当者端末２に出力し、当該音声が出力された後、動作担当者端末２から当該音声に対応するキャラクターの動作を受け付け、当該音声と当該動作に対応する動画とを合成してキャラクターの動画を生成して出力する。
【００５６】
このようにすることで、音声担当者がシナリオ等に基づかずに即興でキャラクターの音声を発し、動作担当者が当該音声を聞きながらキャラクターの動作を決定することで、動画生成装置１は、音声付きのキャラクターの動画をリアルタイムに生成することができる。
【００５７】
なお、本実施形態では、動画生成装置１は、一のキャラクターに対応する音声、動作、及び演出を受け付けることとしたが、これに限らない。例えば、動画生成装置１は、複数のキャラクターのそれぞれに対応する音声、動作、及び演出を受け付け、複数のキャラクターを含むとともに、当該複数のキャラクターの音声が含まれる動画を生成してもよい。
【００５８】
＜第２の実施形態＞
［音声担当者が提示した感情に対応する動作を受け付ける］
続いて、第２の実施形態について説明する。第１の実施形態では、動作担当者は、動作担当者端末２に出力されたキャラクターの音声を聞きながら、キャラクターの動作を選択した。しかしながら、動作担当者が音声のみに基づいてキャラクターの動作を選択すると、音声担当者が表現したい感情と異なった動作を選択する可能性がある。これに対して、第２の実施形態では、動画生成装置１が、音声担当者から感情を示す感情情報を受け付け、当該感情情報に対応する動作を動作担当者端末２に送信することにより、動作担当者から、当該感情情報に対応する動作の選択を受け付ける。以下に、第２の実施形態に係る動画生成システムＳについて図面を参照して説明する。なお、第１の実施形態と同様の構成については同一の符号を付し、詳細な説明を省略する。
【００５９】
図９は、第２の実施形態に係る動画生成装置１の構成を示す図である。図９に示すように、動画生成装置１は、感情受付部１４７と、ＢＧＭ選択部１４８とをさらに備える。
感情受付部１４７は、音声担当者から、音声に対応するキャラクターの感情を示す感情情報を受け付ける。例えば、感情受付部１４７は、動画生成装置１の表示部（不図示）に、複数の感情から選択を受け付ける感情受付画面を表示させ、音声担当者から、音声担当者が演じているキャラクターの感情の選択を受け付ける。
【００６０】
動作受付部１４３は、音声担当者から受け付けた、キャラクターの感情を示す感情情報を動作担当者端末２に表示させ、当該感情情報に対応するキャラクターの動作を受け付ける。ここで、動作受付部１４３は、記憶部１３を参照して、受け付けた感情情報が示す感情に対応するキャラクターの複数の動作を示す情報を選択してもよい。そして、動作受付部１４３は、選択された情報を動作担当者端末２に表示させ、当該複数の動作から一の動作の選択を受け付けてもよい。この場合、動作受付部１４３は、音声担当者から感情情報を受け付けた後に音声が入力されたタイミングに同期して、感情情報が示す感情に対応するキャラクターの複数の動作を示す情報を動作担当者端末２に表示させてもよい。
【００６１】
また、第２の実施形態において、記憶部１３は、キャラクターの感情と、ＢＧＭの題名と、ＢＧＭのファイルとを関連付けて記憶しており、ＢＧＭ選択部１４８は、記憶部１３を参照して、感情受付部１４７が受け付けた感情情報が示す感情に対応するＢＧＭを選択する。なお、ＢＧＭ選択部１４８は、感情情報が示す感情に対応するＢＧＭが複数存在する場合には、当該複数のＢＧＭから一のＢＧＭをランダムに選択してもよい。また、感情情報が示す感情に対応するＢＧＭが複数存在する場合には、演出受付部１４４が、当該複数のＢＧＭを示す情報を送信し、演出担当者端末３から一のＢＧＭの選択を受け付けてもよい。
【００６２】
合成部１４５は、音声受付部１４１が受け付けた音声と、動作受付部１４３が受け付けた動作に対応する動画と、ＢＧＭ選択部１４８が選択したＢＧＭとを合成してキャラクターの動画を生成する。
【００６３】
なお、記憶部１３が、感情情報が示す感情に対応する動作を１つ記憶している場合、動作受付部１４３は、動作担当者端末２から一の動作の選択を受け付けることなく、感情情報が示す感情に対応する動作を特定してもよい。この場合、合成部１４５は、音声受付部１４１が受け付けた音声と、動作受付部１４３が特定した動作に対応する動画と、ＢＧＭ選択部１４８が選択したＢＧＭとを合成して、動作担当者及び演出担当者が介在することなく、自動的にキャラクターの動画を生成することができる。
【００６４】
また、感情受付部１４７は、感情情報とともに、又は感情情報に代えて、キャラクターの動作を示す情報を受け付けてもよい。この場合、合成部１４５は、音声受付部１４１が受け付けた音声と、感情受付部１４７が受け付けた動作に対応する動画と、ＢＧＭ選択部１４８が選択したＢＧＭとを合成して、動作担当者及び演出担当者が介在することなく、自動的にキャラクターの動画を生成することができる。
【００６５】
［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る動画生成装置１は、音声担当者から受け付けた、キャラクターの感情を示す感情情報を動作担当者端末２に表示させ、当該感情情報に対応するキャラクターの動作を受け付ける。このようにすることで、動作担当者は、音声担当者が意図したキャラクターの感情を把握し、当該感情に対応したキャラクターの動作を選択することができる。
【００６６】
なお、第２の実施形態では、音声担当者は、自身が発した音声に対応するキャラクターの感情を選択したが、これに限らず、キャラクターの表情を選択してもよい。このようにすることで、動作担当者は、音声担当者がイメージした感情及び表情に対応したキャラクターの動作を選択することができる。
【００６７】
＜第３の実施形態＞
［入力された音声を示すテキストを動作担当者端末２に表示させる］
続いて、第３の実施形態について説明する。第１の実施形態では、動作担当者が、音声担当者から受け付けた音声を聞きながら動作を選択したが、音声を聞き取れないことにより、動作を選択できないこともある。これに対して、第３の実施形態では、動画生成装置１が、音声担当者から受け付けた音声をテキストに変換し、当該テキストを動作担当者端末２に表示させる点で第１の実施形態と異なる。
【００６８】
図１０は、第３の実施形態に係る動画生成装置１の構成を示す図である。図１０に示すように、動画生成装置１は、変換部１４９をさらに備える。
変換部１４９は、音声受付部１４１が受け付けた音声を解析することにより、当該音声をテキスト情報に変換する。
動作受付部１４３は、変換部１４９によって変換されたテキスト情報を動作担当者端末２に表示させ、当該動作担当者端末からキャラクターの動作を受け付ける。
【００６９】
動画生成装置１が、第２の実施形態に係る動画生成装置１と同様に感情受付部１４７を有する場合、変換部１４９は、感情受付部１４７が受け付けた感情情報に対応するテキスト又はアイコン等を含むテキスト情報を動作担当者端末２に表示させてもよい。このようにすることで、動作担当者が動作の選択をしやすくなる。
【００７０】
［第３の実施形態における効果］
以上説明したように、第３の実施形態に係る動画生成装置１は、テキスト情報を動作担当者端末２に表示させ、当該動作担当者端末からキャラクターの動作を受け付けるので、動作担当者に音声の内容を正確に把握させることができる。
【００７１】
なお、音声出力部１４２は、動作受付部１４３が動作担当者端末２にテキスト情報の表示を開始してから、音声を動作担当者端末２に出力してもよい。このようにすることで、動作担当者端末２では、音声が出力される前に、当該音声に対応するテキスト情報が表示される。これにより、動作担当者は、テキスト情報に基づいて音声の内容を確認してから音声を聞くことができるので、音声の内容をより正確に把握することができる。
【００７２】
また、上記の説明においては、音声担当者が動作担当者及び演出担当者と異なる場合について説明したが、音声担当者が、動作担当者及び演出担当者の少なくともいずれかと同一であってもよい。
【００７３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００７４】
１・・・動画生成装置、１１・・・通信部、１２・・・マイク、１３・・・記憶部、１３１・・・音声バッファ、１４・・・制御部、１４１・・・音声受付部、１４２・・・音声出力部、１４３・・・動作受付部、１４４・・・演出受付部、１４５・・・合成部、１４６・・・動画出力部、１４７・・・感情受付部、１４８・・・ＢＧＭ選択部、１４９・・・変換部、２・・・動作担当者端末、３・・・演出担当者端末、Ｓ・・・動画生成システム
【要約】
【課題】キャラクターに対応する動画をリアルタイムに生成する。
【解決手段】動画生成装置１は、音声担当者からキャラクターの音声の入力を受け付ける音声受付部１４１と、受け付けた音声を動作担当者の端末に出力する音声出力部１４２と、音声が出力された後、動作担当者端末２から音声に対応するキャラクターの動作を受け付ける動作受付部１４３と、音声と動作に対応する動画とを合成してキャラクターの動画を生成する合成部１４５と、生成されたキャラクターの動画を出力する動画出力部１４６とを備える。
【選択図】図２【図１】
0005777233.tif 000002
【図２】
0005777233.tif 000003
【図３】
0005777233.tif 000004
【図４】
0005777233.tif 000005
【図５】
0005777233.tif 000006
【図６】
0005777233.tif 000007
【図７】
0005777233.tif 000008
【図８】
0005777233.tif 000009
【図９】
0005777233.tif 000010
【図１０】
0005777233.tif 000011