(57)【特許請求の範囲】
【請求項１】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、
音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の該予定再生時間の終了に応じて顔の口の動きを停止させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御手段と
を備えることを特徴とする情報処理装置。
【請求項２】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、
音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、音声の再生時間中は顔の口の動きを継続させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御手段と
を備えることを特徴とする情報処理装置。
【請求項３】
制御手段は、第１動画像データの最終フレームによって示される画像の再生時間を延長することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
制御手段は、第１動画像データの最初フレームによって示される画像の再生時間を延長することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、
音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも短い場合は、音声の再生時間の終了と共に顔の口の動きを停止させる制御手段と
を備えることを特徴とする情報処理装置。
【請求項６】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、
音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の再生速度を遅くして、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続し、これに伴って顔の口の動きを継続させる制御手段と
を備えることを特徴とする情報処理装置。
【請求項７】
制御手段は、再生手段による再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を比較することを特徴とする請求項１乃至６のいずれかに記載の情報処理装置。
【請求項８】
音声データをテキスト音声合成により作成する音声合成手段と、この音声データを格納する格納手段とを更に備え、
制御手段は、格納手段内の音声データによって示される音声の再生時間を求めることを特徴とする請求項１乃至７のいずれかに記載の情報処理装置。
【請求項９】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の該予定再生時間の終了に応じて顔の口の動きを停止させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップと
を含むことを特徴とするコンピュータによる情報処理方法。
【請求項１０】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、音声の再生時間中は顔の口の動きを継続させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップと
を含むことを特徴とするコンピュータによる情報処理方法。
【請求項１１】
制御ステップにおいては、第１動画像データの最終フレームによって示される画像の再生時間を延長することを特徴とする請求項９又は１０に記載のコンピュータによる情報処理方法。
【請求項１２】
制御ステップにおいては、第１動画像データの最初フレームによって示される画像の再生時間を延長することを特徴とする請求項９又は１０に記載のコンピュータによる情報処理方法。
【請求項１３】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも短い場合は、音声の再生時間の終了と共に顔の口の動きを停止させる制御ステップと
を含むことを特徴とするコンピュータによる情報処理方法。
【請求項１４】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の再生速度を遅くして、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続し、これに伴って顔の口の動きを継続させる制御ステップと
を含むことを特徴とするコンピュータによる情報処理方法。
【請求項１５】
制御ステップにおいては、再生ステップにおける再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を比較することを特徴とする請求項９乃至１４のいずれかに記載のコンピュータによる情報処理方法。
【請求項１６】
音声データをテキスト音声合成により作成する音声合成ステップと、この音声データを格納する格納ステップとを更に含み、
制御ステップにおいては、格納ステップで格納された音声データによって示される音声の再生時間を求めることを特徴とする請求項９乃至１５のいずれかに記載のコンピュータによる情報処理方法。
【請求項１７】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、再生ステップにおける再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の該予定再生時間の終了に応じて顔の口の動きを停止させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップと
を含むことを特徴とする情報処理方法をコンピュータに実行させるためのプログラム。
【請求項１８】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、再生ステップにおける再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、音声の再生時間中は顔の口の動きを継続させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップと
を含むことを特徴とする情報処理方法をコンピュータに実行させるためのプログラム。
【請求項１９】
制御ステップにおいては、第１動画像データの最終フレームによって示される画像の再生時間を延長することを特徴とする請求項１７又は１８に記載の情報処理方法をコンピュータに実行させるためのプログラム。
【請求項２０】
制御ステップにおいては、第１動画像データの最初フレームによって示される画像の再生時間を延長することを特徴とする請求項１７又は１８に記載の情報処理装置をコンピュータに実行させるためのプログラム。
【請求項２１】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、音声の再生時間と動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも短い場合は、音声の再生時間の終了と共に顔の口の動きを停止させる制御ステップと
を含むことを特徴とする情報処理方法をコンピュータに実行させるためのプログラム。
【請求項２２】
音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、
音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、
ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の再生速度を遅くして、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続し、これに伴って顔の口の動きを継続させる制御ステップと
を含むことを特徴とする情報処理方法をコンピュータに実行させるためのプログラム。
【請求項２３】
音声データをテキスト音声合成により作成する音声合成ステップと、この音声データを格納する格納ステップとを更に含み、
制御ステップにおいては、格納ステップで格納された音声データによって示される音声の再生時間を求めることを特徴とする請求項１７乃至２２のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラム。
【請求項２４】
請求項１７乃至２３のいずれかに記載の情報処理方法をコンピュータに実行させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声及び画像を並行して再生する情報処理装置、コンピュータによる情報処理方法、情報処理方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
この種の従来の装置としては、例えば特開平８−３１５１６９号公報に記載のものがある。この装置では、音声テキストデータに対応する音声を合成して再生すると共に、音声テキストデータを各音節に分解して、これらの音節毎に、音節に対応する顔画像を合成して再生し、音声の終了時点で、終了信号を生成し、この終了信号に応答して、顔画像の合成を中止している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、音声の終了時点で、終了信号を生成する必要が有り、また終了信号の発生を監視し、この終了信号に応答して顔画像の合成を中止する必要があった。つまり、終了信号を発生したり監視する必要があり、このために装置の構成や処理過程が複雑化した。
【０００４】
また、音声の各音節に対応するそれぞれの顔画像を合成するため、複雑な画像処理が必要であった。更に、音声の再生時間の方が顔画像の再生時間よりも短い場合は、顔画像の合成がその途中で中止され、顔画像の再生が不自然に中断することがあった。
【０００５】
そこで、本発明は、上記従来の問題点に鑑みてなされたものであり、装置の構成、処理過程、及び画像処理が簡単であり、また画像の動きが中断されることがない情報処理装置、コンピュータによる情報処理方法、情報処理方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の情報処理装置は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の該予定再生時間の終了に応じて顔の口の動きを停止させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御手段とを備えている。
【０００９】
あるいは、本発明の情報処理装置は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、音声の再生時間中は顔の口の動きを継続させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御手段とを備えている。
【００１０】
この様な構成の本発明の装置によれば、音声の再生時間と動画像の予定再生時間の比較に基づいて、顔の口の動きを適宜に停止させたり継続し、また動画像の再生を継続するので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、装置の構成や処理過程を簡単化することができる。また、顔の口の動きと動画像を別々に適宜に制御することができる。
【００１１】
更に、本発明の装置においては、制御手段は、第１動画像データの最終フレームによって示される画像の再生時間を延長している。あるいは、制御手段は、第１動画像データの最初フレームによって示される画像の再生時間を延長している。
【００１２】
この様に最終フレームや最初フレームによって示される画像の再生時間を延長することにより、動画像の再生を延長することができる。
【００１３】
また、本発明の情報処理装置は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも短い場合は、音声の再生時間の終了と共に顔の口の動きを停止させる制御手段とを備えている。
【００１４】
この様な構成の本発明の装置によれば、音声の再生時間と動画像の予定再生時間の比較に基づいて、顔の口の動きを適宜に停止させるので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、装置の構成や処理過程を簡単化することができる。また、顔の口の動きと動画像を別々に適宜に制御することができる。
【００１５】
更に、本発明の情報処理装置は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力手段と、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して再生する再生手段と、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の再生速度を遅くして、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続し、これに伴って顔の口の動きを継続させる制御手段とを備えている。
【００１６】
この様な構成の本発明の装置によれば、音声の再生時間と動画像の予定再生時間の比較に基づいて、動画像の再生や顔の口の動きを継続しているので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、装置の構成や処理過程を簡単化することができる。
【００１７】
また、本発明の装置においては、制御手段は、再生手段による再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を比較している。
【００１８】
この様に再生手段による再生終了以前であれば、何時でも、音声の再生時間と動画像の予定再生時間を比較して、音声の再生時間と動画像の予定再生時間の長短を判定することができる。
【００１９】
更に、本発明の装置においては、音声データをテキスト音声合成により作成する音声合成手段と、この音声データを格納する格納手段とを更に備え、制御手段は、格納手段内の音声データによって示される音声の再生時間を求めている。
【００２０】
この様にテキスト音声合成により作成された音声データを格納手段に格納しておけば、音声データによって示される音声の再生時間を何時でも速やかに求めることができる。
【００２３】
次に、本発明のコンピュータによる情報処理方法は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の該予定再生時間の終了に応じて顔の口の動きを停止させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップとを含んでいる。
【００２４】
あるいは、本発明のコンピュータによる情報処理方法は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、音声の再生時間中は顔の口の動きを継続させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップとを含んでいる。
【００２５】
この様な構成の本発明の方法によっても、音声の再生時間と動画像の予定再生時間の比較に基づいて、顔の口の動きを適宜に停止させたり継続し、また動画像の再生を継続するので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、その処理過程を簡単化することができる。また、顔の口の動きと動画像を別々に適宜に制御することができる。
【００２６】
更に、本発明の方法の制御ステップにおいては、第１動画像データの最終フレームによって示される画像の再生時間を延長している。あるいは、制御ステップにおいては、第１動画像データの最初フレームによって示される画像の再生時間を延長している。
【００２７】
この様に最終フレームや最初フレームによって示される画像の再生時間を延長することにより、動画像の再生を延長することができる。
【００２８】
また、本発明のコンピュータによる情報処理方法は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも短い場合は、音声の再生時間の終了と共に顔の口の動きを停止させる制御ステップとを含んでいる。
【００２９】
この様な構成の本発明の方法によっても、音声の再生時間と動画像の予定再生時間の比較に基づいて、顔の口の動きを適宜に停止させるので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、その処理過程を簡単化することができる。また、顔の口の動きと動画像を別々に適宜に制御することができる。
【００３０】
更に、本発明のコンピュータによる情報処理方法は、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の再生速度を遅くして、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続し、これに伴って顔の口の動きを継続させる制御ステップとを含んでいる。
【００３１】
この様な構成の本発明の方法によっても、音声の再生時間と動画像の予定再生時間の比較に基づいて、動画像の再生や顔の口の動きを継続しているので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、その処理過程を簡単化することができる。
【００３２】
また、本発明の方法の制御ステップにおいては、再生ステップにおける再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を比較している。
【００３３】
この様に再生ステップにおける再生終了以前であれば、何時でも、音声の再生時間と動画像の予定再生時間を比較して、音声の再生時間と動画像の予定再生時間の長短を判定することができる。
【００３４】
更に、本発明の方法においては、音声データをテキスト音声合成により作成する音声合成ステップと、この音声データを格納する格納ステップとを更に含み、制御ステップにおいては、格納ステップで格納された音声データによって示される音声の再生時間を求めている。
【００３５】
この様にテキスト音声合成により作成された音声データを格納しておけば、音声データによって示される音声の再生時間を何時でも速やかに求めることができる。
【００３７】
次に、本発明の情報処理方法をコンピュータに実行させるためのプログラムは、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、再生ステップにおける再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の該予定再生時間の終了に応じて顔の口の動きを停止させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップとを含んでいる。
【００３８】
あるいは、本発明の情報処理方法をコンピュータに実行させるためのプログラムは、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、再生ステップにおける再生終了以前に、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、音声の再生時間中は顔の口の動きを継続させ、第１動画像データの各フレームのいずれかによって示される画像の再生時間を延長して、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続する制御ステップとを含んでいる。
【００３９】
更に、本発明のプログラムの制御ステップにおいては、第１動画像データの最終フレームによって示される画像の再生時間を延長している。あるいは、制御ステップにおいては、第１動画像データの最初フレームによって示される画像の再生時間を延長している。
【００４０】
また、本発明の情報処理方法をコンピュータに実行させるためのプログラムは、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、音声の再生時間と動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも短い場合は、音声の再生時間の終了と共に顔の口の動きを停止させる制御ステップとを含んでいる。
【００４１】
更に、本発明の情報処理方法をコンピュータに実行させるためのプログラムは、音声データ、複数のフレームからなる第１動画像データ、及び顔の口の動きを示す第２動画像データを入力する入力ステップと、音声データによって示される音声を再生し、この音声の再生と並行して、第１動画像データによって示される動画像及び第２動画像データによって示される顔の口の動きを合成して表示画面に再生する再生ステップと、ＣＰＵにより、音声の再生時間と第１動画像データによって示される動画像の予定再生時間を求めて比較し、音声の再生時間が第１動画像データによって示される動画像の予定再生時間よりも長い場合は、第１動画像データによって示される動画像の再生速度を遅くして、少なくとも音声の再生時間中は第１動画像データによって示される動画像の再生を継続し、これに伴って顔の口の動きを継続させる制御ステップとを含んでいる。
【００４２】
また、本発明のプログラムにおいては、音声データをテキスト音声合成により作成する音声合成ステップと、この音声データを格納する格納ステップとを更に含み、制御ステップにおいては、格納ステップで格納された音声データによって示される音声の再生時間を求めている。
【００４３】
一方、本発明の記録媒体は、上記情報処理方法を実施するためのプログラムを記録している。
【００４４】
すなわち、本発明は、情報処理装置及び情報処理方法だけではなく、この方法を実現するためのプログラムや、このプログラムを記憶した記録媒体を包含する。この様なプログラムや記録媒体を用いれば、本発明の情報処理装置及び情報処理方法と同様の作用並びに効果を達成することができる。
【００４５】
尚、記録媒体としては、マスクＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フロッピーディスク、ＭＯディスク、ＣＤＲＯＭ、ＤＶＤＲＯＭ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【００４６】
【発明の実施の形態】
以下、本発明の実施形態を添付図面を参照して詳細に説明する。
【００４７】
図１は、本発明の情報処理装置の第１実施形態を示すブロック図である。本実施形態の情報処理装置は、音声データを入力する音声入力部１０１と、動画像データを入力する動画像入力部１０２と、音声データによって示される音声を再生する音声出力部１０３と、動画像データによって示される動画像を再生する動画像出力部１０４と、音声の再生時間と動画像の予定再生時間を求めて比較し、この比較結果に基づいて、動画像の実再生時間等を制御する出力時間制御部１０５とを備えている。
【００４８】
図２は、本実施形態の情報処理装置が適用されるコンピュータシステムの構成を示すブロック図である。このシステムは、キーボード１１４と、マウス１１５と、キーボード１１４及びマウス１１５からのデータを入力する入力コントローラ１１６と、外部記憶装置１１１と、メモリ１１３と、ＣＲＴ等のディスプレイ装置１１８と、ディスプレイ装置１１８の表示制御を行なう表示コントローラ１１７と、スピーカ１２０と、スピーカ１２０の駆動制御を行なう音声コントローラ１１９と、データを入出力する入出力装置１２１と、このシステム全体を統括的に制御する中央処理装置（ＣＰＵ）１１２とを備えている。
【００４９】
ここで、図１の音声入力部１０１及び動画像入力部１０２は、外部記憶装置１１１、メモリ１１３、及び入出力装置１２１の少なくとも１つに対応する。また、図１の音声出力部１０３は、図２のスピーカ１２０、音声コントローラ１１９及びＣＰＵ１１２に対応する。更に、図１の動画像出力部１０４は、図２のディスプレイ装置１１８、表示コントローラ１１７、及びＣＰＵ１１２に対応する。また、図１の出力時間制御部１０５は、図２のＣＰＵ１１２に対応する。
【００５０】
例えば、図２のシステムにおいては、マイクロソフト（Microsoft ）社製のオペレーティングシステムであるWindows98 （商品名）を適用し、音声を出力するスレッドを起動して、音声出力を開始するＡＰＩ（Application Programming Interface ）をコールすることにより音声出力部１０３を実現することができ、また動画像を再生するスレッドを起動して、動画像出力を開始するＡＰＩをコールすることにより動画像出力部１０４を実現することができる。あるいは、音声出力のみについて、スレッドを起動して、ＡＰＩをコールし、動画像出力については、メインプログラムのループで、時刻を取得して、時刻に応じて画像の表示を繰り返しても良い。
【００５１】
一方、図１の出力時間制御部１０５（図２のＣＰＵ１１２）は、音声データや第１動画像データを外部から入出力装置１２１を通じて入力したり、音声データや第１動画像データを外部記憶装置１１１やメモリ１１３から読み出し、音声データによって示される音声の再生時間や、第１動画像データによって示される動画像の予定再生時間を求める。
【００５２】
図３及び図４は、音声データを含む単位データの構造を示している。図３に示す単位データは、ヘッダ部１３１及びデータ部１３２からなる。データ部１３２は、ＰＣＭ（Pulse Code Modulation ）形式の音声データである。また、図４に示す様にヘッダ部１３１には、データ部１３２のバイト数、１秒当たりの音声のサンプル数、及び１サンプル当たりのバイト数を記入している。ここで、音声データによって示される音声の再生時間（秒）は、次式（１）により表わされる。
【００５３】
音声の再生時間（秒）＝
（データ部１３２のバイト数）÷（（１秒当たりの音声のサンプル数）
×（１サンプル当たりのバイト数））              …（１）
出力時間制御部１０５は、音声の単位データを入力すると、音声データによって示される音声の再生時間（秒）を上式（１）に基づいて求める。音声出力部１０３は、音声の単位データを入力すると、音声データによって示される音声を図２のスピーカ１２０から再生する。
【００５４】
尚、音声データは、ＰＣＭ形式のものに限らず、音声データによって示される音声の再生時間を求めることができれば、他の方法によって符号化されたものであっても良い。
【００５５】
図５及び図６は、第１動画像データを含む単位データの構造を示している。図５に示す単位データは、ヘッダ部１４１、３次元構造データ部１４２、及び第１乃至第ｎフレームからなる。３次元構造データ部１４２と第１乃至第ｎフレームは、３次元モデルの動画像を示す動画像データに相当する。３次元構造データ部１４２は、例えば顔、頭髪、腹、左右の上腕、左右の手、腰、左右の腿、左右のふくらはぎ、左右の足、その他の各身体部分を示す静的なポリゴンデータ並びにテクスチャデータである。また、第１乃至第ｎフレームは、各身体部分の位置データをそれぞれ示す。更に、ヘッダ部１４１には、第１乃至第ｎフレームの個数と、１フレーム当たりの画像の再生時間（秒）を記入している。ここで、第１動画像データによって示される動画像の予定再生時間（秒）は、次式（２）により表わされる。
【００５６】
動画像の予定再生時間（秒）＝
（１フレーム当たりの画像の再生時間（秒））
×（第１乃至第ｎフレームの個数）                …（２）
出力時間制御部１０５は、動画像の単位データを入力すると、第１動画像データによって示される動画像の予定再生時間（秒）を上式（２）に基づいて求める。動画像出力部１０４は、動画像の単位データを入力すると、３次元構造データ部１４２から各身体部分のポリゴンデータ並びにテクスチャデータを読み出して、各身体部分の画像を生成し、各フレーム毎に、各身体部分の位置データを読み出し、各身体部分の画像をそれぞれの位置に移動させて、１つの画像を生成し、各フレームに対応するそれぞれの画像を図２のディスプレイ装置１１８の表示画面上に順次表示して、該各画像が連続してなる動画像を再生する。従って、１フレーム当たりの画像の再生時間（秒）の周期で、画像を更新して、動画像を再生する。尚、この周期の逆数がフレームレートであり、１秒当たりのフレーム数となる。
【００５７】
更に、動画像出力部１０４は、第２動画像データを外部から入出力装置１２１を通じて入力したり、第２動画像データを外部記憶装置１１１やメモリ１１３から読み出し、第２動画像データによって示される口の画像を第１動画像データによって示される顔の画像に合成する。
【００５８】
例えば、第２動画像データは、図７（ａ）、（ｂ）及び（ｃ）に示す様な閉じられた口の画像、半ば開かれた口の画像、及び開かれた口の画像を示している。動画像出力部１０４は、例えば図８（ａ）に示す様に閉じられた口を顔に合成したり、図８（ｂ）に示す様に開かれた口を顔に合成する。この後、図９に示す様に、この合成された顔の画像をテクスチャ１５１とし、このテクスチャ１５１を予め設定された３次元モデル１５２に貼り込み、図１０に示すような３次元モデル１５３を形成する。このテクスチャの貼り込みは、一般的に知られているテクスチャマッピングや３次元レンダリングの手法を用いて行われる。例えば、マイクロソフト（Microsoft ）社製のオペレーティングシステムであるWindows98 （商品名）では、同社製のDirect 3D （商品名）を用いて、顔画像をテクスチャマッピングし、任意のアングルの３次元の顔モデルを形成することが可能である。
【００５９】
動画像出力部１０４は、第１動画像データの各フレームの度に、３種類の口の画像のいずれかを顔の画像に合成する。これにより、図２のディスプレイ装置１１８の表示画面上の動画像において、あたかも何かをしゃべっている様に顔の口が開閉される。ただし、口の画像の種類を変更する周期は、予め適宜に設定されたものであり、第１動画像データの各フレームの周期に一致していない。
【００６０】
尚、図１０の３次元モデル１５３は、顔だけではなく、他の各身体部分を合成してなる立体画像である。また、ここでは、３種類の口の画像を例示したが、閉じられた口の画像と開かれた口の画像の２種類であっても、あるいは４種類以上であっても構わない。
【００６１】
さて、本実施形態の情報処理装置では、図１１に示すフローチャートに従って、音声及び動画像等を処理する。
【００６２】
まず、音声出力部１０３は、音声データを入力すると、音声データによって示される音声を図２のスピーカ１２０から再生する（ステップＳ２０１）。これと同時に、動画像出力部１０４は、第１動画像データを入力し、第１動画像データの各フレームに対応するそれぞれの画像が連続してなる動画像を図２のディスプレイ装置１１８の表示画面上に再生しつつ、第２動画像データによって示される３種類の口の画像を順次繰り返して顔の画像に合成し、顔の口の開閉を表示する（ステップＳ２０２）。そして、出力時間制御部１０５は、先に述べた様に音声データによって示される音声の再生時間（秒）を上式（１）に基づいて求めると共に、第１動画像データによって示される動画像の予定再生時間（秒）を上式（２）に基づいて求め、音声の再生時間と動画像の予定再生時間を比較し、この比較結果に基づいて、動画像の実再生時間及び顔の口の開閉の継続時間を制御する（ステップＳ２０３）。
【００６３】
例えば、図１２に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合、出力時間制御部１０５は、音声の再生時間と動画像の予定再生時間の差を求め、この差の時間と動画像の予定再生時間を制御データとして動画像出力部１０４に通知する。これに応答して動画像出力部１０４は、第１動画像データの最終フレームによって示される画像を少なくとも該差の時間だけ延長してディスプレイ装置１１８の表示画面に表示する。また、動画像出力部１０４は、動画像の予定再生時間がほぼ終了する時点まで、第２動画像データによって示される３種類の口の画像をフレーム周期Ｔ毎に繰り返して顔の画像に合成し、該時点の近傍で、閉じられた口の画像を顔の画像に合成して、この閉じられた口の顔の画像を維持する。
【００６４】
これにより、動画像の予定再生時間が終了しても、音声が再生されている間は、第１動画像データの最終フレームによって示される画像が表示され続け、かつ閉じられた口の画像が顔の画像に合成される。
【００６５】
あるいは、図１３に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合、出力時間制御部１０５は、音声の再生時間と動画像の予定再生時間の差を求め、この差の時間と音声の再生時間を制御データとして動画像出力部１０４に通知する。これに応答して動画像出力部１０４は、第１動画像データの最終フレームによって示される画像を少なくとも該差の時間だけ延長してディスプレイ装置１１８の表示画面に表示し、また音声の再生時間がほぼ終了する時点まで、第２動画像データによって示される３種類の口の画像をフレーム周期Ｔ毎に繰り返して顔の画像に合成する。
【００６６】
これにより、動画像の予定再生時間が終了しても、音声が再生されている間は、第１動画像データの最終フレームによって示される画像が表示され続け、かつ開閉される口の画像が顔の画像に合成される。
【００６７】
また、図１４に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合、出力時間制御部１０５は、音声の再生時間と動画像の予定再生時間の差を求め、この差の時間と音声の再生時間を制御データとして動画像出力部１０４に通知する。これに応答して動画像出力部１０４は、第１動画像データの最初フレームによって示される画像を該差の時間だけ延長してディスプレイ装置１１８の表示画面に表示し、この差の時間に達すると、第１動画像データの２番目以降の各フレームによって示される各画像が連続してなる動画像を表示し、また音声の再生時間がほぼ終了する時点まで、第２動画像データによって示される３種類の口の画像をフレーム周期Ｔ毎に繰り返して顔の画像に合成する。
【００６８】
これにより、その差の時間だけ、第１動画像データの最初フレームによって示される画像が表示され続け、引き続いて第１動画像データの２番目以降の各フレームによって示される各画像が連続してなる動画像が表示され、かつ音声が再生されている間は、開閉される口の画像が顔の画像に合成される。
【００６９】
更に、図１５に示す様に音声の再生時間が動画像の予定再生時間よりも短い場合、出力時間制御部１０５は、音声の再生時間を制御データとして動画像出力部１０４に通知する。これに応答して動画像出力部１０４は、第１動画像データによって示される動画像をディスプレイ装置１１８の表示画面に表示し、また音声の再生時間がほぼ終了する時点まで、第２動画像データによって示される３種類の口の画像をフレーム周期Ｔ毎に繰り返して顔の画像に合成する。
【００７０】
これにより、第１動画像データによって示される動画像が表示され、かつ音声が再生されている間は、開閉される口の画像が顔の画像に合成される。
【００７１】
また、図１６に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合、出力時間制御部１０５は、音声の再生時間と動画像の予定再生時間の差を求め、この差の時間と音声の再生時間を制御データとして動画像出力部１０４に通知する。これに応答して動画像出力部１０４は、音声の再生時間と動画像の実再生時間がほぼ一致する様に第１動画像データの各フレームによって示されるそれぞれの画像の表示時間を延長して、動画像をディスプレイ装置１１８の表示画面に表示し、また音声の再生時間がほぼ終了する時点まで、第２動画像データによって示される３種類の口の画像をフレーム周期Ｔ毎に繰り返して顔の画像に合成する。
【００７２】
これにより、音声の再生時間がほぼ終了する時点まで、動画像がスロー再生され、かつ開閉される口の画像が顔の画像に合成される。
【００７３】
この様に本実施形態の情報処理装置では、音声の再生時間と動画像の予定再生時間を求めて比較し、この比較結果に基づいて、顔の口の動きを動画像の予定再生時間の終了時点や音声の再生時間の終了時点に合わせて停止したり、動画像の実再生時間を音声の再生時間に合わせて延長しており、これらの処理の全てを時間の経過に従って制御している。このため、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、装置の構成や処理過程を簡単化することができる。また、音声の再生時間中は、顔の動画像や口の動きの再生を継続しているので、顔の動画像の再生が不自然に中断することはない。
【００７４】
尚、本実施形態では、音声の再生時間と動画像の予定再生時間の比較を音声及び動画像の再生開始後に行っているが、開始前に行ったり、音声及び動画像のいずれかが先に終了した時点で行っても良い。また、音声及び動画像の再生を１回で終了するのではなく、複数回繰り返してから終了したり、あるいは相互に異なる各音声及び各動画像の再生を連続させても構わない。更に、音声の再生開始と動画像の再生開始を正確に合わせる必要はなく、違和感を視聴者に与えない程度あれば、両者の再生開始がずれても構わない。また、図１２乃至図１６のいずれかに示す制御内容をユーザ側で選択したり組み合わせても良い。例えば、図１５に示す制御内容と、図１２、図１３、図１４、及び図１６のいずれかに示す制御内容とをユーザ側で組み合わせても良い。
【００７５】
また、第１動画像データの最終フレームや最初フレームだけでなく、中間の他のフレームによって示される画像の再生時間を延長しても良い。また、口の動きの停止を動画像の予定再生時間の終了時点や音声の再生時間の終了時点に正確に合わせる必要はなく、口の画像をフレームの区切りで停止させたり、あるいは動画像の予定再生時間の終了時点後に、口の画像を予め設定されたフレーム数だけ顔の画像に合成してから、口の画像を停止させても良い。
【００７６】
図１７は、本発明の情報処理装置の第２実施形態を示すブロック図である。本実施形態の情報処理装置では、図１の装置の音声入力部１０１の代わりに、音声合成部１６１及び音声格納部１６２を内蔵する音声入力部１０１Ａを適用している。
【００７７】
音声入力部１０１Ａにおいて、音声合成部１６１は、所望の内容のテキストを入力し、テキスト音声合成を行って、音声データを生成し、この音声データを音声格納部１６２に格納する。テキストの入力は、図２のキーボードを操作することにより行っても良いし、予め設定されているテキストを記録媒体から読み取ることにより行っても構わない。また、テキスト音声合成は、例えばWindows98 （商品名）においてはマイクロソフト（Microsoft ）社製のSpeechAPI （商品名）を経由して、これに対応した市販のテキスト音声合成モジュールを用いて実現することができる。更に、音声データは、例えば先に述べた図３及び図４に示す構造の単位データに含まれ、上式（１）に基づいて、該音声データによって示される音声の再生時間を求めることができる。勿論、音声データは、ＰＣＭ形式のものに限らず、音声データによって示される音声の再生時間を求めることができれば、他の方法によって符号化されたものであっても良い。
【００７８】
さて、本実施形態の情報処理装置では、図１８に示すフローチャートに従って、音声及び動画像等を処理する。
【００７９】
まず、音声合成部１６１に所望の内容のテキストを入力し（ステップＳ４０１）、音声合成部１６１によってテキスト音声合成を行って、音声データを生成し、この音声データを音声格納部１６２に格納する（ステップＳ４０２）。音声出力部１０３は、音声格納部１６２から音声データを読み出して入力し、音声データによって示される音声を図２のスピーカ１２０から再生する（ステップＳ４０３）。これと同時に、動画像出力部１０４は、第１動画像データを入力し、第１動画像によって示される動画像を図２のディスプレイ装置１１８の表示画面上に再生しつつ、第２動画像データによって示される３種類の口の画像を順次繰り返して顔の画像に合成し、顔の口の開閉を表示する（ステップＳ４０４）。そして、出力時間制御部１０５は、音声データによって示される音声の再生時間（秒）を上式（１）に基づいて求めると共に、第１動画像データによって示される動画像の予定再生時間（秒）を上式（２）に基づいて求め、音声の再生時間と動画像の予定再生時間を比較し、この比較結果に基づいて、動画像の実再生時間及び顔の口の開閉の継続時間を制御する（ステップＳ４０５）。この動画像の実再生時間及び顔の口の開閉の継続時間の制御内容は、先に述べた図１２乃至図１６に示すものと同様である。
【００８０】
例えば、図１２に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合は、動画像の予定再生時間が終了しても、音声が再生されている間は、第１動画像データの最終フレームによって示される画像を表示し続け、かつ閉じられた口の画像を顔の画像に合成する。
【００８１】
あるいは、図１３に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合は、動画像の予定再生時間が終了しても、音声が再生されている間は、第１動画像データの最終フレームによって示される画像を表示し続け、かつ開閉される口の画像を顔の画像に合成する。
【００８２】
また、図１４に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合は、その差の時間だけ、第１動画像データの最初フレームによって示される画像を表示し続け、引き続いて第１動画像データの２番目以降の各フレームによって示される各画像が連続してなる動画像を表示し、かつ音声が再生されている間は、開閉される口の画像を顔の画像に合成する。
【００８３】
更に、図１５に示す様に音声の再生時間が動画像の予定再生時間よりも短い場合は、第１動画像データによって示される動画像を表示し、かつ音声が再生されている間は、開閉される口の画像を顔の画像に合成する。
【００８４】
また、図１６に示す様に音声の再生時間が動画像の予定再生時間よりも長い場合は、音声の再生時間がほぼ終了する時点まで、動画像をスロー再生し、かつ開閉される口の画像を顔の画像に合成する。
【００８５】
尚、本発明は、上記各実施形態の情報処理装置だけではなく、情報処理方法、この方法を実現するためのプログラム、及びこのプログラムを記録した記録媒体を包含する。
【００８６】
プログラムは、磁気ディスク、光ディスク、コンピュータに内蔵のハードディスク等の記録媒体に記録されたり、通信ネットワークを通じて送受される。コンピュータ等は、プログラムを記録媒体から読み出したり、プログラムを通信ネットワークを通じて受信し、このプログラムを実行して、本発明を実施することができる。複数のコンピュータやインターネットからなるシステムにおいては、複数の処理を複数の端末に分散して行い得る。従って、プログラムは、コンピュータ等の単一の端末だけではなく、システムにも適用し得る。
【００８７】
記録媒体としては、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭといった半導体記憶素子、ＩＣカード、ハードディスク、フロッピーディスク、あるいはＭＯ、ＣＤ、ＭＤ、ＤＶＤ等の光ディスク、磁気テープ等を挙げることができ、プログラムを記録することが可能であれば他の種類の記録媒体であっても良い。
【００８８】
更に、本発明は、パーソナルコンピュータ、デジタルカメラ、ＣＡＤ、携帯端末、テレビゲーム等の画像処理機能を有する電子機器全般に適用することができる。
【００８９】
【発明の効果】
以上説明した様に本発明によれば、音声の再生時間と動画像の予定再生時間の比較に基づいて、顔の口の動きを適宜に停止させたり継続し、また動画像の再生を継続するので、従来の装置の様に音声の終了信号の生成や終了信号の監視を必要とせず、装置の構成や処理過程を簡単化することができる。また、音声の再生時間が動画像の予定再生時間よりも長ければ、少なくとも音声の再生時間中は動画像の再生を継続している。例えば、動画像が顔の動画像であれば、音声の再生時間中は、顔の動画像の再生を継続している。このため、顔の動画像の再生が不自然に中断することはない。また、顔の口の動きと動画像を別々に適宜に制御することができる。
【００９０】
また、再生手段による再生終了以前であれば、何時でも、音声の再生時間と動画像の予定再生時間を比較して、音声の再生時間と動画像の予定再生時間の長短を判定することができる。
【００９１】
更に、テキスト音声合成により作成された音声データを格納しているので、音声データによって示される音声の再生時間を何時でも速やかに求めることができる。
【図面の簡単な説明】
【図１】本発明の情報処理装置の第１実施形態を示すブロック図である。
【図２】図１の情報処理装置が適用されるコンピュータシステムの構成を示すブロック図である。
【図３】音声データを含む単位データの構造を示す図である。
【図４】図３の単位データのヘッダ部の構造を示す図である。
【図５】第１動画像データを含む単位データの構造を示す図である。
【図６】図５の単位データのヘッダ部の構造を示す図である。
【図７】（ａ）、（ｂ）、及び（ｃ）は、閉じられた口の画像、半ば開かれた口の画像、及び開かれた口の画像を示す図である。
【図８】（ａ）及び（ｂ）は、閉じられた口を合成した顔の画像、及び開かれた口を合成した顔の画像を示す図である。
【図９】顔画像を３次元モデルに貼り込む処理を説明するために用いた斜視図である。
【図１０】３次元モデルを示す斜視図である。
【図１１】図１の情報処理装置による処理を示す図である。
【図１２】音声、動画像、及び口の動きの再生時間の一例を示す図である。
【図１３】音声、動画像、及び口の動きの再生時間の他の例を示す図である。
【図１４】音声、動画像、及び口の動きの再生時間の別の例を示す図である。
【図１５】音声、動画像、及び口の動きの再生時間の更に他の例を示す図である。
【図１６】音声、動画像、及び口の動きの再生時間の更に別の例を示す図である。
【図１７】本発明の情報処理装置の第２実施形態を示すブロック図である。
【図１８】図１７の情報処理装置が適用されるコンピュータシステムの構成を示すブロック図である。
【符号の説明】
１０１、１０１Ａ  音声入力部
１０２  動画像入力部
１０３  音声出力部
１０４  動画像出力部
１０５  出力時間制御部
１６１  音声合成部
１６２  音声格納部
１１１  外部記憶装置
１１２  中央処理装置（ＣＰＵ）
１１３  メモリ
１１４  キーボード
１１５  マウス
１１６  入力コントローラ
１１７  表示コントローラ
１１８  ディスプレイ装置
１１９  音声コントローラ
１２０  スピーカ
１２１  入出力装置
【図１】
0003871902.tif 000002
【図２】
0003871902.tif 000003
【図３】
0003871902.tif 000004
【図４】
0003871902.tif 000005
【図５】
0003871902.tif 000006
【図６】
0003871902.tif 000007
【図７】
0003871902.tif 000008
【図８】
0003871902.tif 000009
【図９】
0003871902.tif 000010
【図１０】
0003871902.tif 000011
【図１１】
0003871902.tif 000012
【図１２】
0003871902.tif 000013
【図１３】
0003871902.tif 000014
【図１４】
0003871902.tif 000015
【図１５】
0003871902.tif 000016
【図１６】
0003871902.tif 000017
【図１７】
0003871902.tif 000018
【図１８】
0003871902.tif 000019