(57)【要約】【課題】リップシンク処理の処理負荷を軽減する。【解決手段】情報処理装置３を、所定の音声列に対応したキャラクタの口形状の動作パターンを取得する動作パターン取得処理部１３、キャラクタに発声させる音声の音量レベルを取得する音量レベル取得処理部１５、音量レベルに基づいてキャラクタに適用する動作パターンの大きさの度合いを適用率として決定する適用率決定処理部１７、キャラクタの発声に合わせて動作パターンを適用率に基づいた大きさで実行する動作パターン実行処理部１９、として機能させる。【選択図】図２
2019057116.tif 000002
【特許請求の範囲】
【請求項１】
情報処理装置を、
所定の音声列に対応したオブジェクトの口形状の動作パターンを取得する動作パターン取得処理部、
前記オブジェクトに発声させる音声の音量レベルを取得する音量レベル取得処理部、
前記音量レベルに基づいて前記オブジェクトに適用する前記動作パターンの大きさの度合いを適用率として決定する適用率決定処理部、
前記オブジェクトの発声に合わせて前記動作パターンを前記適用率に基づいた大きさで実行する動作パターン実行処理部、
として機能させる、リップシンク処理プログラム。
【請求項２】
前記動作パターンは、
前記オブジェクトの口形状が閉じた状態から前記音声列に対応した動作を開始するように生成されており、
前記情報処理装置を、
前記音量レベルが０又は０近傍から上昇し始めた際に、前記動作パターンが最初から実行されるように前記動作パターンの開始位置をリセットするリセット処理部、
としてさらに機能させる、
請求項１に記載のリップシンク処理プログラム。
【請求項３】
前記適用率決定処理部は、
前記音量レベルが０又は０近傍に下降した際に前記適用率を０に決定する、
請求項１又は２に記載のリップシンク処理プログラム。
【請求項４】
前記情報処理装置を、
前記音量レベル取得処理部により取得された前記音量レベルの平滑化を行う平滑化処理部、
としてさらに機能させ、
前記適用率決定処理部は、
前記平滑化処理部により平滑化された前記音量レベルに基づいて前記適用率を決定する、
請求項１乃至３のいずれか１項に記載のリップシンク処理プログラム。
【請求項５】
前記情報処理装置を、
前記動作パターン実行処理部により実行される前記オブジェクトの口形状の前記動作パターンと、前記オブジェクトの表情の動作とを合成する動作合成処理部、
としてさらに機能させる、
請求項１乃至４のいずれか１項に記載のリップシンク処理プログラム。
【請求項６】
請求項１乃至５のいずれか１項に記載のリップシンク処理プログラムを記録した、情報処理装置が読み取り可能な記録媒体。
【請求項７】
情報処理装置によって実行されるリップシンク処理方法であって、
所定の音声列に対応したオブジェクトの口形状の動作パターンを取得するステップと、
前記オブジェクトに発声させる音声の音量レベルを取得するステップと、
前記音量レベルに基づいて前記オブジェクトに適用する前記動作パターンの大きさの度合いを適用率として決定するステップと、
前記オブジェクトの発声に合わせて前記動作パターンを前記適用率に基づいた大きさで実行するステップと、
を有する、リップシンク処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リップシンク処理プログラム、当該リップシンク処理プログラムが記録された記録媒体、及びリップシンク処理方法に関する。
【背景技術】
【０００２】
近年、ゲーム、テレビ番組、映画等の各種映像コンテンツ分野において、コンピュータグラフィクスによるアニメーションが利用されている。このようなアニメーションでは、登場するキャラクタの発声と口唇形状とを同期させるリップシンク技術が用いられる。
【０００３】
例えば、特許文献１に記載されたゲーム装置においては、音声入力手段によって取り込んだプレーヤの音声を、音声解析手段により周波数分析して可聴周波数帯域の周波数成分ごとの音圧分布特徴から音を判別し、音声同期手段がキャラクタの口唇形状を音に応じて変更する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３５１４８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来技術では、音声を解析するために複雑な演算処理が必要となるため、処理負荷が重いという課題があった。
【０００６】
本発明はこのような問題点に鑑みてなされたものであり、処理負荷を軽減することが可能なリップシンク処理プログラム、記録媒体、リップシンク処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明のリップシンク処理プログラムは、情報処理装置を、所定の音声列に対応したオブジェクトの口形状の動作パターンを取得する動作パターン取得処理部、前記オブジェクトに発声させる音声の音量レベルを取得する音量レベル取得処理部、前記音量レベルに基づいて前記オブジェクトに適用する前記動作パターンの大きさの度合いを適用率として決定する適用率決定処理部、前記オブジェクトの発声に合わせて前記動作パターンを前記適用率に基づいた大きさで実行する動作パターン実行処理部、として機能させる。
【０００８】
また、上記目的を達成するために、本発明の記録媒体は、上記リップシンク処理プログラムを記録した、情報処理装置が読み取り可能な記録媒体である。
【０００９】
また、上記目的を達成するために、本発明のリップシンク処理方法は、情報処理装置によって実行されるリップシンク処理方法であって、所定の音声列に対応したオブジェクトの口形状の動作パターンを取得するステップと、前記オブジェクトに発声させる音声の音量レベルを取得するステップと、前記音量レベルに基づいて前記オブジェクトに適用する前記動作パターンの大きさの度合いを適用率として決定するステップと、前記オブジェクトの発声に合わせて前記動作パターンを前記適用率に基づいた大きさで実行するステップと、を有する。
【発明の効果】
【００１０】
本発明によれば、リップシンク処理の処理負荷を軽減することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態に係るゲームシステムの全体構成の一例を表すシステム構成図である。
【図２】情報処理装置の機能的構成の一例を表すブロック図である。
【図３】音声波形及び適用率の一例を説明するための説明図である。
【図４】適用率に基づいたキャラクタの口の開閉動作の大きさの例を説明するための説明図である。
【図５】笑った表情と口形状の動作パターンが合成された例を説明するための説明図である。
【図６】泣いた表情と口形状の動作パターンが合成された例を説明するための説明図である。
【図７】怒った表情と口形状の動作パターンが合成された例を説明するための説明図である。
【図８】情報処理装置が実行する処理手順の一例を表すフローチャートである。
【図９】情報処理装置のハードウェア構成の一例を表すブロック図である。
【図１０】音声入力装置を備えた変形例に係るゲームシステムの全体構成の一例を表すシステム構成図である。
【発明を実施するための形態】
【００１２】
＜１．発明の背景＞
まず、本発明の一実施の形態について説明する前に、発明の背景について説明する。
【００１３】
近年、ゲーム、シアター、ネット配信、テレビ番組、映画等の各種映像コンテンツ分野において、ＣＧ（コンピュータグラフィクス）によるアニメーションが利用されている。このようなアニメーションでは、登場するキャラクタが発声する音声と口形状とを同期させるリップシンク技術が使用されている。
【００１４】
一般にリップシンク技術では、キャラクタが発する音声の一音一音（例えば母音。あるいは母音と子音の組み合わせ）に対応した複数種類の口形状が予め用意されており、一音ごとに口形状を当てはめて変化させる。この場合、音を判別する必要があるため、例えば入力された音声を解析するための複雑な演算処理が必要となり、処理負荷が重くなる。また、アニメーションデータを作成する際には、例えば母音情報を手入力するといった手間が必要となり、アニメーションデータ作成の負荷が重くなる。
【００１５】
そこで本願発明者等は、鋭意研究を行った結果、キャラクタが発する音声を判別しなくても、所定の音声列に対応した口形状の動作パターンを用いることで、ある程度自然なリップシンク（キャラクタの発声と口形状とを同期させること）が可能であることに想到した。これにより、音声解析を不要として処理負荷を大幅に軽減できると共に、母音情報等を入力する手間が省けてアニメーションデータ作成の負荷を軽減することが可能となる。以下、この詳細について説明する。
【００１６】
＜２．ゲームシステムの全体構成＞
本発明の一実施の形態について図面を参照しつつ説明する。なお、本実施形態では、本発明のリップシンク処理プログラム等をゲームに適用した場合について説明するが、適用対象をゲームに限定するものではない。
【００１７】
まず、図１を用いて、本実施形態に係るゲームシステム１の全体構成の一例について説明する。図１に示すように、ゲームシステム１は、情報処理装置３と、コントローラ５と、表示装置７を有する。コントローラ５及び表示装置７の各々は、情報処理装置３と通信可能に接続されている。なお、図１には有線により接続された場合を図示しているが、無線により接続されてもよい。
【００１８】
情報処理装置３は、例えば据え置き型のゲーム機である。但しこれに限定されるものではなく、例えば入力部や表示部等を一体に備えた携帯型のゲーム機でもよい。また、ゲーム機以外にも、例えば、サーバコンピュータ、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ等のように、コンピュータとして製造、販売等されているものや、携帯電話、スマートフォン、ファブレット等のように、電話機として製造、販売等されているものでもよい。
【００１９】
プレイヤは、コントローラ５を用いて各種の操作入力を行う。図１に示す例では、コントローラ５は例えば十字キー９や複数のボタン１１等を有する。なお、コントローラ５は上記に代えて又は加えて、例えばジョイスティックやタッチパッド等を有してもよい。
【００２０】
本実施形態では、情報処理装置３により、リップシンク処理プログラムの一例であるゲームプログラムが実行される場合について説明する。
【００２１】
＜３．情報処理装置の機能的構成＞
次に、図２及び図３〜図７を用いて、情報処理装置３の機能的構成の一例について説明する。
【００２２】
図２に示すように、情報処理装置３は、動作パターン取得処理部１３と、音量レベル取得処理部１５と、適用率決定処理部１７と、動作パターン実行処理部１９と、リセット処理部２１と、平滑化処理部２３と、動作合成処理部２５とを有する。
【００２３】
動作パターン取得処理部１３は、所定の音声列に対応したキャラクタ（オブジェクトの一例）の口形状の動作パターンを取得する。所定の音声列は、例えばランダムな順番で並べられた複数の母音等で構成される。なお、ランダムでなく予め定められた順番としてもよい。また、母音だけでなく母音と子音の組み合わせを含めてもよい。
【００２４】
動作パターンは、上記音声列をキャラクタが発声する際の口形状の一連の動作であり、後述する適用率によって動作の大きさは変動するものの、キャラクタが発声する音声の内容に応じてパターンが変動されることはない。動作パターンは、口形状が閉じた状態から上記記音声列に対応した動作を開始するように生成されており、キャラクタが発声している間は上記音声列に対応した部分がリピートされる。
【００２５】
動作パターンは、キャラクタごとに１つのパターンが設定されている。例えば、キャラクタが性急な性格の場合には早口としたり、大人しい性格の場合には動作を小さめにする等、キャラクタの個性（性格や能力等）に応じて、上記音声列の内容や動作の態様を異なるように設定してもよい。なお、キャラクタごとに複数のパターンを設定してもよい。
【００２６】
なお、キャラクタの種類は、発声動作が可能な口を備えたオブジェクトであれば特に限定されるものではないが、例えば人間のキャラクタ、人間以外の動物キャラクタ、人間や動物以外の仮想的な生物キャラクタ、又は生物以外の物体等である。本実施形態では、後述の図４〜図７に示すように、オブジェクトが人間のキャラクタである場合を例にとって説明する。
【００２７】
動作パターンは、ゲームプログラムの実行によって情報処理装置３のＲＯＭ１０３やＲＡＭ１０５、記録装置１１７等（後述の図９参照）に記録される。動作パターン取得処理部１３は、それらから動作パターンを読み出して取得する。なお、動作パターンを外部のサーバ等から取得してもよい。
【００２８】
音量レベル取得処理部１５は、キャラクタに発声させる音声の音量レベルを取得する。音量レベルの取得は例えば所定の時間間隔で継続的に行われる。音量レベルは、音声の内容（台詞）等と共に音声情報に含まれており、ゲームプログラムの実行によって情報処理装置３のＲＯＭ１０３やＲＡＭ１０５、記録装置１１７等に記録される。音量レベル取得処理部１５は、それらから音量レベルを読み出して取得する。なお、マイク等の音声入力手段からリアルタイムに音声が入力される場合には、音量レベル取得処理部１５は入力された音声の音量に基づいて音量レベルを取得する（後述の図１０参照）。
【００２９】
図３の上段に音声波形の一例を示す。図３において、音声波形の振幅の大きさが音量レベルに相当する。図３に示す例では、時間Ｔ１において発声が開始され（話し始め）、時間Ｔ１からＴ２までの間は音量が比較的大きく、時間Ｔ２からＴ３までの間は音量が比較的小さく、時間Ｔ３において発声が終了する（話し終わり）。
【００３０】
図２に戻り、適用率決定処理部１７は、音量レベルに基づいてキャラクタに適用する動作パターンの大きさの度合いを適用率として決定する。適用率は例えば０％〜１００％の数値で決定され、０％の場合にはキャラクタの口形状は閉じた状態となり、数値が大きくなるにつれてキャラクタに反映される動作パターンの動作の大きさが増大され、１００％で最大となる。適用率決定処理部１７は、音量レベルが０（０近傍の場合も含む）である場合には適用率を０％に決定し、音量レベルが大きくなるにつれて適用率を大きくし、音量レベルが予め設定された最大値以上となった場合には適用率を１００％に決定する。
【００３１】
なお、図３の上段に示すように、音量レベルは急激に変動する場合がある。このため、例えば音量レベルのそのままの値に応じて適用率を決定する場合、キャラクタの口形状の動作の大きさが急激に変動することとなり、不自然な動作となってしまう。
【００３２】
そこで本実施形態では、平滑化処理部２３により音量レベルの平滑化を行う。音量レベルの平滑化処理は、音量レベルの取得間隔に合わせて音量レベルが取得される度に継続的に行われる。平滑化の手法は特に限定されるものではないが、例えばある時点で取得した音量レベルと、当該時点の前に取得した１又は複数の音量レベルとの平均値を算出し、当該時点の音量レベルとする、移動平均の手法が考えられる。なお、移動平均以外の方式を採用してもよい。上述の適用率決定処理部１７は、平滑化処理部２３により平滑化された音量レベルに基づいて適用率を決定する。
【００３３】
図３に適用率の一例を示す。図３に示す適用率は、上段に示す音声波形が平滑化処理部２３により平滑化され、当該平滑化された音量レベルに基づいて適用率決定処理部１７により決定されたものである。図３に示すように、時間Ｔ１以前では音量レベルが０のため、適用率も０となる。その後、時間Ｔ１において発声が開始されて音量レベルが急激に上昇し始めるが、音量レベルの平滑化により適用率は（急峻ではなく）なだらかに上昇し、時間Ｔ２までの間は比較的大きな値となる。その後、時間Ｔ２において音量が急激に小さくなるが、音量レベルの平滑化により適用率は（急峻ではなく）なだらかに下降し、時間Ｔ３までの間は比較的小さな値となっている。その後、時間Ｔ３において発声が終了して音量レベルが０に下降すると、適用率も０となる。
【００３４】
なお、上記では音量レベルを平滑化し、当該平滑化された音量レベルに応じて適用率を決定するようにしたが、例えば音量レベルを平滑化せずに適用率を決定し、当該決定した適用率について平滑化するようにしてもよい。
【００３５】
図２に戻り、動作パターン実行処理部１９は、キャラクタの発声に合わせて動作パターンを適用率に基づいた大きさで実行する。これにより、キャラクタが発声する音声の音量レベルのみを入力として、キャラクタの口を開閉する動きの大きさを変化させることができる。
【００３６】
図４に適用率に基づいたキャラクタの口の開閉動作の大きさの例を示す。図４に示すように、キャラクタの口の開閉動作は、適用率が大きい場合（音量レベルが大きい場合）には大きくなり、適用率が小さい場合（音量レベルが小さい場合）には小さくなる。なお、適用率の変動によって口の開閉動作の大きさは変動するものの、リピートされる動作パターンは共通であるため、適用率が変動しても口形状の一連の動き（所定の音声列に対応した動き）そのものは変化しない。
【００３７】
なお、動作パターン実行処理部１９により動作パターンはリピートして実行されるが、単純にリピートさせたままで適用率を変動する場合、例えば動作パターンにおいて口形状が閉じ始めたタイミングで適用率が０から上昇し始める（つまりキャラクタが話し始めたタイミングで口形状が閉じ始める）といった不自然な動作が生じる可能性がある。
【００３８】
そこで本実施形態では、リセット処理部２１により、音量レベルが０（０近傍の場合も含む）から上昇し始めた際に、動作パターンが最初から実行されるように動作パターンの開始位置をリセットする。前述のように、動作パターンは口形状が閉じた状態から所定の音声列に対応した動作を開始するように生成されているので、このように音量レベルが０から上昇し始めるタイミングで動作パターンの開始位置をリセットすることにより、キャラクタの話し始め（発声の開始）のタイミングに同期させた自然な口形状の動作を表現できる。
【００３９】
図２に戻り、動作合成処理部２５は、上記動作パターン実行処理部１９により実行されるキャラクタの口形状の動作パターンと、キャラクタの表情の動作とを合成する。キャラクタの表情は、キャラクタの感情等に応じて別途動作パターンが設定されている。動作合成処理部２５は、この表情の動作パターンと口形状の動作パターンとを合成することで、表情による感情の表現と音声に合わせた口の開閉動作とを組み合わせることができる。
【００４０】
図５〜図７に、表情と口形状の動作パターンが合成された例を示す。図５に示す例では、笑った顔に口形状の動作パターンが合成されている。図６に示す例では、泣き顔に口形状の動作パターンが合成されている。図７に示す例では、怒った顔に口形状の動作パターンが合成されている。これにより、キャラクタの表情による感情表現とリップシンクとを組み合わせることが可能となり、キャラクタのリアリティを向上できる。
【００４１】
なお、例えば笑った顔や怒った顔の場合には適用率を大きめに設定し、泣き顔の場合には適用率を小さめに設定する等、組み合わせる表情に応じて適用率を変化させてもよい。
【００４２】
なお、以上説明した各処理部における処理等は、これらの処理の分担の例に限定されるものではなく、例えば、更に少ない数の処理部（例えば１つの処理部）で処理されてもよく、また、更に細分化された処理部により処理されてもよい。また、上述した各処理部の機能は、後述するＣＰＵ１０１（後述の図９参照）が実行するゲームプログラムにより実装されるものであるが、例えばその一部がＡＳＩＣやＦＰＧＡ等の専用集積回路、その他の電気回路等の実際の装置により実装されてもよい。
【００４３】
＜４．情報処理装置が実行する処理手順＞
次に、図８を用いて、情報処理装置３のＣＰＵ１０１によって実行される処理手順の一例について説明する。
【００４４】
ステップＳ５では、情報処理装置３は、動作パターン取得処理部１３により、所定の音声列に対応したキャラクタの口形状の動作パターンを取得する。なお、複数のキャラクタが発声する場合は、キャラクタごとに動作パターンを取得する。
【００４５】
ステップＳ１０では、情報処理装置３は、音量レベル取得処理部１５により、キャラクタに発声させる音声の音量レベルの取得を開始する。この後、音量レベルの取得は所定の時間間隔で継続的に行われる。
【００４６】
ステップＳ１５では、情報処理装置３は、平滑化処理部２３により、上記ステップＳ１０で取得した音量レベルの平滑化を開始する。この後、音量レベルの平滑化処理は、音量レベルの取得間隔に合わせて音量レベルが取得される度に継続的に行われる。
【００４７】
ステップＳ２０では、情報処理装置３は、リセット処理部２１により、音量レベルが０（０近傍の場合も含む。以下同様）から上昇し始めたか否かを判定する。音量レベルが０のままである場合には（ステップＳ２０：ＮＯ）、ステップＳ２５に移る。
【００４８】
ステップＳ２５では、情報処理装置３は、適用率決定処理部１７により、適用率を０に決定する。
【００４９】
ステップＳ３０では、情報処理装置３は、適用率が０であるか否かを表すフラグＦを、適用率が０であることを表す「０」に設定する。その後、後述のステップＳ５５に移る。
【００５０】
一方、上記ステップＳ２０において、音量レベルが０から上昇した場合には（ステップＳ２０：ＹＥＳ）、ステップＳ３５に移る。
【００５１】
ステップＳ３５では、情報処理装置３は、リセット処理部２１により、動作パターンが最初から実行されるように動作パターンの開始位置をリセットする。
【００５２】
ステップＳ４０では、情報処理装置３は、適用率決定処理部１７により、平滑化された音量レベルに応じて適用率を決定する。
【００５３】
ステップＳ４５では、情報処理装置３は、適用率決定処理部１７により、適用率が０に降下したか否かを判定する。これは音量レベルが０（０近傍の場合も含む）に降下したか否かを判定することと同義である。適用率が０に降下した場合には（ステップＳ４５：ＹＥＳ）、上述したステップＳ３０に移り、フラグＦを「０」に設定する。一方、適用率が０となっていない場合には（ステップＳ４５：ＮＯ）、ステップＳ５０に移る。
【００５４】
ステップＳ５０では、情報処理装置３は、適用率が０であるか否かを表すフラグＦを、適用率が０でないことを表す「１」に設定する。
【００５５】
ステップＳ５５では、情報処理装置３は、動作パターン実行処理部１９により、キャラクタの発声に合わせて動作パターンを上記ステップＳ２５又は上記ステップＳ４０で決定した適用率に応じた大きさで実行する。
【００５６】
ステップＳ６０では、情報処理装置３は、動作合成処理部２５により、キャラクタの表情の動作と、上記ステップＳ５５で実行されるキャラクタの口形状の動作パターンとを合成する。
【００５７】
ステップＳ６５では、情報処理装置３は、上述したフラグＦが、適用率が０であることを表す「０」であるか否かを判定する。フラグＦが「０」でない場合には（ステップＳ６５：ＮＯ）、先のステップＳ４０に戻り、フラグＦが「０」になるまでの間（適用率が０になるまでの間）ステップＳ４０〜ステップＳ６５を繰り返す。一方、フラグＦが「０」である場合には（ステップＳ６５：ＹＥＳ）、ステップＳ７０に移る。
【００５８】
ステップＳ７０では、情報処理装置３は、例えばゲームにおけるムービーの終了やゲームの実行の終了等により、リップシンク処理を終了するか否かを判定する。リップシンク処理を終了しない場合には（ステップＳ７０：ＮＯ）、先のステップＳ２０に戻り、音量レベルが０から上昇するまでの間ステップＳ２０〜ステップＳ３０、ステップＳ５５〜ステップＳ７０を繰り返す。リップシンク処理を終了する場合には（ステップＳ７０：ＹＥＳ）、本フローを終了する。
【００５９】
なお、上述した処理手順は一例であって、上記手順の少なくとも一部を削除又は変更してもよいし、上記以外の手順を追加してもよい。また、上記手順の少なくとも一部の順番を変更してもよいし、複数の手順が単一の手順にまとめられてもよい。
【００６０】
＜５．情報処理装置のハードウェア構成＞
次に、図９を用いて、上記で説明したＣＰＵ１０１等が実行するプログラムにより実装された各処理部を実現する情報処理装置３のハードウェア構成の一例について説明する。
【００６１】
図９に示すように、情報処理装置３は、例えば、ＣＰＵ１０１と、ＲＯＭ１０３と、ＲＡＭ１０５と、ＧＰＵ１０６と、例えばＡＳＩＣ又はＦＰＧＡ等の特定の用途向けに構築された専用集積回路１０７と、入力装置１１３と、出力装置１１５と、記録装置１１７と、ドライブ１１９と、接続ポート１２１と、通信装置１２３を有する。これらの構成は、バス１０９や入出力インターフェース１１１等を介し相互に信号を伝達可能に接続されている。
【００６２】
ゲームプログラムは、例えば、ＲＯＭ１０３やＲＡＭ１０５、記録装置１１７等に記録しておくことができる。
【００６３】
また、ゲームプログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のＣＤ、ＭＯディスク、ＤＶＤ等の光ディスク、半導体メモリ等のリムーバブルな記録媒体１２５に、一時的又は永続的（非一時的）に記録しておくこともできる。このような記録媒体１２５は、いわゆるパッケージソフトウエアとして提供することもできる。この場合、これらの記録媒体１２５に記録されたゲームプログラムは、ドライブ１１９により読み出されて、入出力インターフェース１１１やバス１０９等を介し上記記録装置１１７に記録されてもよい。
【００６４】
また、ゲームプログラムは、例えば、ダウンロードサイト、他のコンピュータ、他の記録装置等（図示せず）に記録しておくこともできる。この場合、ゲームプログラムは、ＬＡＮやインターネット等のネットワークＮＷを介し転送され、通信装置１２３がこのプログラムを受信する。そして、通信装置１２３が受信したプログラムは、入出力インターフェース１１１やバス１０９等を介し上記記録装置１１７に記録されてもよい。
【００６５】
また、ゲームプログラムは、例えば、適宜の外部接続機器１２７に記録しておくこともできる。この場合、ゲームプログラムは、適宜の接続ポート１２１を介し転送され、入出力インターフェース１１１やバス１０９等を介し上記記録装置１１７に記録されてもよい。
【００６６】
そして、ＣＰＵ１０１が、上記記録装置１１７に記録されたプログラムに従い各種の処理を実行することにより、前述の動作パターン取得処理部１３や音量レベル取得処理部１５等による処理が実現される。この際、ＣＰＵ１０１は、例えば、上記記録装置１１７からプログラムを、直接読み出して実行してもよく、ＲＡＭ１０５に一旦ロードした上で実行してもよい。更にＣＰＵ１０１は、例えば、プログラムを通信装置１２３やドライブ１１９、接続ポート１２１を介し受信する場合、受信したプログラムを記録装置１１７に記録せずに直接実行してもよい。
【００６７】
また、ＣＰＵ１０１は、必要に応じて、前述のコントローラ５を含む、例えばマウス、キーボード、マイク等（図示せず）の入力装置１１３から入力する信号や情報に基づいて各種の処理を行ってもよい。
【００６８】
ＧＰＵ１０６は、ＣＰＵ１０１からの指示に応じて例えばレンダリング処理などの画像表示のための処理を行う。
【００６９】
そして、ＣＰＵ１０１及びＧＰＵ１０６は、上記の処理を実行した結果を、例えば前述の表示装置７や音声出力部を含む、出力装置１１５から出力する。さらにＣＰＵ１０１及びＧＰＵ１０６は、必要に応じてこの処理結果を通信装置１２３や接続ポート１２１を介し送信してもよく、上記記録装置１１７や記録媒体１２５に記録させてもよい。
【００７０】
＜６．実施形態の効果＞
本実施形態のゲームプログラムは、情報処理装置３を、所定の音声列に対応したキャラクタの口形状の動作パターンを取得する動作パターン取得処理部１３、キャラクタに発声させる音声の音量レベルを取得する音量レベル取得処理部１５、音量レベルに基づいてキャラクタに適用する動作パターンの大きさの度合いを適用率として決定する適用率決定処理部１７、キャラクタの発声に合わせて動作パターンを適用率に基づいた大きさで実行する動作パターン実行処理部１９、として機能させる。
【００７１】
このように、本実施形態においては、所定の音声列に対応したキャラクタの口形状の動作パターンを予め用意しておき、キャラクタに発声させる音声の音量レベルに応じて動作の大きさを変化させつつ動作パターンを実行する。これにより、母音情報等が不要となるため、例えば音声を解析するための複雑な演算処理等が不要となり、情報処理装置３の処理負荷を大幅に軽減できる。その結果、リアルタイムな音声入力に適用し易くなるので、例えばチャット、シアター、オンライン配信等への応用も可能となる。また、ＣＧアニメーションデータを作成する場合においても、例えば母音情報を手入力する手間が省けるので、アニメーションデータ作成の負荷を軽減できる。
【００７２】
また、本実施形態では特に、動作パターンは、キャラクタの口形状が閉じた状態から音声列に対応した動作を開始するように生成されており、ゲームプログラムは、情報処理装置３を、音量レベルが０又は０近傍から上昇し始めた際に、動作パターンが最初から実行されるように動作パターンの開始位置をリセットするリセット処理部２１、としてさらに機能させる。
【００７３】
これにより、例えばキャラクタが話し始めたタイミングで口形状が閉じ始める、といった不自然な動作を回避できる。したがって、キャラクタの話し始め（発声の開始）のタイミングに同期させた自然な口形状の動作を表現できる。
【００７４】
また、本実施形態では特に、適用率決定処理部１７は、音量レベルが０又は０近傍に下降した際に適用率を０に決定する。
【００７５】
これにより、キャラクタが話し終わるタイミングで口形状を閉じた状態とすることができる。したがって、キャラクタの話し終わり（発声の終了）のタイミングに同期させた自然な口形状の動作を表現できる。
【００７６】
また、本実施形態では特に、ゲームプログラムは、情報処理装置３を、音量レベル取得処理部１５により取得された音量レベルの平滑化を行う平滑化処理部２３、としてさらに機能させ、適用率決定処理部１７は、平滑化処理部２３により平滑化された音量レベルに基づいて適用率を決定する。
【００７７】
例えば音量レベルのそのままの値に応じて適用率を決定する場合、音量レベルが急激に変化した場合にキャラクタの口形状の動作の大きさが急激に変動することとなり、不自然な動作となってしまう。
【００７８】
本実施形態によれば、上記のように音量レベルを平滑化させた上で適用率を決定するので、音量レベルの急激な変化による不自然な動作を抑制でき、ユーザの違和感を低減できる。
【００７９】
また、本実施形態では特に、ゲームプログラムは、情報処理装置３を、動作パターン実行処理部１９により実行されるキャラクタの口形状の動作パターンと、キャラクタの表情の動作とを合成する動作合成処理部２５、としてさらに機能させる。
【００８０】
これにより、キャラクタの例えば笑顔、泣き顔、怒った顔等の表情による感情表現とリップシンクとを組み合わせることが可能となり、キャラクタのリアリティを向上できる。
【００８１】
＜７．変形例等＞
なお、本発明は、上記の実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。
【００８２】
上述したように、本発明は情報処理装置３の処理負荷を大幅に軽減できるので、リアルタイムな音声入力への適用が好適である。例えば、図１０に示すように、情報処理装置３にマイク等の音声入力装置２７を接続し、プレイヤの音声をリアルタイムに入力してゲーム等に登場するキャラクタに発声させてもよい。この場合、音量レベル取得処理部１５は、音声入力装置２７から入力されたプレイヤの音声の音量に基づいて音量レベルを取得する。その他の処理は上記実施形態と同様である。
【００８３】
また以上では、本発明のリップシンク処理プログラム等をゲームに適用した場合を一例として説明したが、本発明の適用対象はゲームに限定されるものではない。例えば、テレビ番組や映画等の各種映像コンテンツに適用してもよいし、チャット、３Ｄシアター、オンライン配信等に適用することも可能である。
【００８４】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。
【符号の説明】
【００８５】
３          情報処理装置
１３        動作パターン取得処理部
１５        音量レベル取得処理部
１７        適用率決定処理部
１９        動作パターン実行処理部
２１        リセット処理部
２３        平滑化処理部
２５        動作合成処理部
１２５      記録媒体
【図１】
2019057116.tif 000003
【図２】
2019057116.tif 000004
【図３】
2019057116.tif 000005
【図４】
2019057116.tif 000006
【図５】
2019057116.tif 000007
【図６】
2019057116.tif 000008
【図７】
2019057116.tif 000009
【図８】
2019057116.tif 000010
【図９】
2019057116.tif 000011
【図１０】
2019057116.tif 000012