(57)【要約】  【課題】  音声の内容に同期してキャラクタ映像を表示できるキャラクタ映像表示機能付き電話を提供する。  【解決手段】  キャラクタ映像表示機能付き電話１１０は、音声情報を受信する電話受信部１１と、電話受信部１１１に入力された音声情報に基づいてキャラクタ映像を作成する映像生成部１１３と、電話受信部１１１に入力された音声情報を出力する音声情報出力部１１２と、映像生成部１１３にて生成されたキャラクタ映像を、音声情報に合わせて出力する映像出力部１１４とを備える。映像生成部１１３は、音声情報から音素を抽出する音素抽出部と、音素抽出部にて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する画像選択部を有する。【選択図】  図１
2006048352.tif 000002
【特許請求の範囲】
【請求項１】
音声情報を入力する音声情報入力部と、
前記音声情報入力部に入力された音声情報から音素を抽出する音素抽出部と、
前記音素抽出部にて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する映像生成部と、
前記音声情報入力部に入力された音声情報を出力する音声情報出力部と、
前記映像生成部にて生成されたキャラクタ映像を、前記音声情報に合わせて出力する映像出力部と、
を備えたことを特徴とするキャラクタ映像表示機能付き通信端末。
【請求項２】
前記音声情報入力部に入力された音声情報の音声認識を行って前記音声情報に含まれる単語を抽出する音声認識部と、
話者の発する単語と話者の感情を示す感情パラメータとを関連付けて記憶した感情パラメータ記憶部と、
前記音声認識部にて抽出された単語に対応する感情パラメータを前記感情パラメータ記憶部から読み出す感情パラメータ読出部と、
を備え、
前記映像生成部は、前記感情パラメータ読出部にて読み出された感情パラメータに基づいてキャラクタ映像を生成することを特徴とする請求項１に記載のキャラクタ映像表示機能付き通信端末。
【請求項３】
前記音声情報入力部に入力された音声の大きさに基づいて、話者の感情を示す感情パラメータを決定する感情パラメータ決定部を備え、
前記映像生成部は、前記感情パラメータ決定部にて決定された感情パラメータに基づいてキャラクタ映像を生成することを特徴とする請求項１に記載のキャラクタ映像表示機能付き通信端末。
【請求項４】
前記音声情報入力部は、通信相手端末から送信される音声情報を受信する音声情報受信部であることを特徴とする請求項１〜３のいずれかに記載のキャラクタ映像表示機能付き通信端末。
【請求項５】
話者の感情を示す感情パラメータを通信相手端末から受信する感情パラメータ受信部を備え、
前記映像生成部は、前記感情パラメータ受信部にて受信した感情パラメータに基づいてキャラクタ映像を生成することを特徴とする請求項１に記載のキャラクタ映像表示機能付き通信端末。
【請求項６】
通信相手端末に記憶された前記通信相手端末の話者の属性パラメータを前記通信相手端末から受信する属性パラメータ受信部を備え、
前記映像生成部は、前記属性パラメータ受信部にて受信した属性パラメータに基づいてキャラクタ映像を生成することを特徴とする請求項１に記載のキャラクタ映像表示機能付き通信端末。
【請求項７】
音声情報を入力する音声情報入力ステップと、
前記音声情報入力ステップにて入力された音声情報から音素を抽出する音素抽出ステップと、
前記音素抽出ステップにて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する映像生成ステップと、
前記音声情報入力ステップにて入力された音声情報を出力する音声情報出力ステップと、
前記映像生成ステップにて生成されたキャラクタ映像を、前記音声情報に合わせて出力する映像出力ステップと、
を備えたことを特徴とするキャラクタ映像表示機能付き通信端末の制御方法。
【請求項８】
キャラクタ映像表示機能付き通信端末にキャラクタ映像を表示させるためのプログラムであって、前記キャラクタ映像表示機能付き通信端末に、
音声情報を入力する音声情報入力ステップと、
前記音声情報入力ステップにて入力された音声情報から音素を抽出する音素抽出ステップと、
前記音素抽出ステップにて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する映像生成ステップと、
前記音声情報入力ステップにて入力された音声情報を出力する音声情報出力ステップと、
前記映像生成ステップにて生成されたキャラクタ映像を、前記音声情報に合わせて出力する映像出力ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャラクタ映像を表示する機能を有する通信端末に関する。
【背景技術】
【０００２】
従来から、キャラクタ映像を表示する機能を有する電話が知られていた。特許文献１は、キャラクタ映像を表示できる情報端末装置および画像配信システムの発明を開示している。図１３を参照して、特許文献１に記載された画像配信システムについて説明する。特許文献１に記載された画像配信システムは、送信端末装置３０１と受信端末装置３０２とがネットワーク３０３によって接続されている。送信端末装置３０１は、画像入力部３０４、表情特徴抽出部３０５を有し、受信端末装置３０２は、モデルデータ作成部３０６、レンダリング部３０７、モデルデータ格納部３０８を有する。この構成において、送信端末装置３０１の表情特徴抽出部３０５は、画像入力部３０４にて入力された顔画像から顔のパーツを切り出し、その情報を受信端末装置３０２へ送信する。受信端末装置３０２のモデルデータ作成部３０６は、ネットワーク３０３を介して受信した顔のパーツ情報とモデルデータ格納部３０８が保持しているモデルデータよりキャラクタ画像を生成し、レンダリング部３０７に表示する。
【特許文献１】特開２００３−１６４７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記した画像配信システムでは、キャラクタ映像に影響を与えるのは、画像入力部３０４にて取り込まれた顔画像の表情の特徴だけであり、音声データがキャラクタ映像に反映されていなかった。
【０００４】
また、受信端末装置３０２側で音声の出力と共に、音声が出力されているか否かに応じてキャラクタの唇を動かす例はあるが、キャラクタの唇の動きが音声データの内容に合っていなかった。
【０００５】
そこで本発明は上記背景に鑑み、音声の内容に同期したキャラクタ映像を表示できるキャラクタ映像表示機能付き通信端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のキャラクタ映像表示機能付き通信端末は、音声情報を入力する音声情報入力部と、前記音声情報入力部に入力された音声情報から音素を抽出する音素抽出部と、前記音素抽出部にて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する映像生成部と、前記音声情報入力部に入力された音声情報を出力する音声情報出力部と、前記映像生成部にて生成されたキャラクタ映像を、前記音声情報に合わせて出力する映像出力部とを備えた構成を有する。
【０００７】
このように音素抽出部にて音声情報から音素を抽出し、音素に合った唇の画像を含むキャラクタ映像を生成することにより、キャラクタの唇の形が音声に合わせて変化するので、キャラクタがしゃべっているように見せることができる。なお、音声情報入力部は、音声情報の入力を受け付けるマイクなどの入力機器でもよいし、通信相手端末から送信された音声情報を受信する受信機器でもよい。マイクなどの入力機器にて音声情報の入力を受け付ける場合には、生成したキャラクタ映像を音声情報と共に通信相手端末に送信することにより、通信相手端末において音声に同期したキャラクタ映像を表示できる。通信相手端末から送信された音声情報を受信機器にて受信する場合には、生成したキャラクタ画像を音声情報に合わせて表示する。
【０００８】
上記キャラクタ映像表示機能付き通信端末は、前記音声情報入力部に入力された音声情報の音声認識を行って前記音声情報に含まれる単語を抽出する音声認識部と、話者の発する単語と話者の感情を示す感情パラメータとを関連付けて記憶した感情パラメータ記憶部と、前記音声認識部にて抽出された単語に対応する感情パラメータを前記感情パラメータ記憶部から読み出す感情パラメータ読出部とを備え、前記映像生成部は、前記感情パラメータ読出部にて読み出された感情パラメータに基づいてキャラクタ映像を生成してもよい。
【０００９】
この構成により、音声情報に含まれる単語から話者の感情を推測し、その感情を反映したキャラクタを生成することができる。
【００１０】
上記キャラクタ映像表示機能付き通信端末は、前記音声情報入力部に入力された音声の大きさに基づいて、話者の感情を示す感情パラメータを決定する感情パラメータ決定部を備え、前記映像生成部は、前記感情パラメータ決定部にて決定された感情パラメータに基づいてキャラクタ映像を生成してもよい。
【００１１】
この構成により、音声の大きさから話者の感情を推測し、その感情を反映したキャラクタを生成することができる。
【００１２】
上記キャラクタ映像表示機能付き通信端末において、前記音声情報入力部は、通信相手端末から送信される音声情報を受信する音声情報受信部でもよい。
【００１３】
このように音声受信部にて受信した音声情報に基づいて受信側でキャラクタ映像を生成することにより、通信相手端末から音声データとキャラクタ映像が送信される場合に比べて、キャラクタ映像の表示と音声情報の出力とを容易に同期させることができる。
【００１４】
上記キャラクタ映像表示機能付き通信端末は、話者の感情を示す感情パラメータを通信相手端末から受信する感情パラメータ受信部を備え、前記映像生成部は、前記感情パラメータ受信部にて受信した感情パラメータに基づいてキャラクタ映像を生成してもよい。
【００１５】
このように通信相手端末から送信された感情パラメータに基づいてキャラクタ映像を生成することにより、容易かつ適切に話者の感情をキャラクタに反映させることができる。
【００１６】
上記キャラクタ映像表示機能付き通信端末は、通信相手端末に記憶された前記通信相手端末の話者の属性パラメータを前記通信相手端末から受信する属性パラメータ受信部を備え、前記映像生成部は、前記属性パラメータ受信部にて受信した属性パラメータに基づいてキャラクタ映像を生成してもよい。
【００１７】
このように通信相手端末から送信された話者の属性パラメータに基づいてキャラクタ映像を生成することにより、話者の癖や特性をキャラクタに反映させることができる。
【００１８】
本発明のキャラクタ映像表示機能付き通信端末の制御方法は、音声情報を入力する音声情報入力ステップと、前記音声情報入力ステップにて入力された音声情報から音素を抽出する音素抽出ステップと、前記音素抽出ステップにて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する映像生成ステップと、前記音声情報入力ステップにて入力された音声情報を出力する音声情報出力ステップと、前記映像生成ステップにて生成されたキャラクタ映像を、前記音声情報に合わせて出力する映像出力ステップとを備えた構成を有する。
【００１９】
この構成により、本発明のキャラクタ映像表示機能付き通信端末と同様に、キャラクタがしゃべっているように見せることができる。また、本発明のキャラクタ映像表示機能付き通信端末の各種の構成を、本発明の制御方法に適用することも可能である。
【００２０】
本発明のプログラムは、キャラクタ映像表示機能付き通信端末にキャラクタ映像を表示させるためのプログラムであって、前記キャラクタ映像表示機能付き通信端末に、音声情報を入力する音声情報入力ステップと、前記音声情報入力ステップにて入力された音声情報から音素を抽出する音素抽出ステップと、前記音素抽出ステップにて順次抽出される音素に合った唇の画像を含むキャラクタ映像を生成する映像生成ステップと、前記音声情報入力ステップにて入力された音声情報を出力する音声情報出力ステップと、前記映像生成ステップにて生成されたキャラクタ映像を、前記音声情報に合わせて出力する映像出力ステップとを実行させる。
【００２１】
この構成のプログラムを実行することにより、本発明のキャラクタ映像表示機能付き通信端末と同様に、キャラクタがしゃべっているように見せることができる。また、本発明のキャラクタ映像表示機能付き通信端末の各種の構成を、本発明のプログラムに適用することも可能である。
【発明の効果】
【００２２】
本発明は、音素抽出部にて音声情報から音素を抽出し、音素に合った唇の画像を含むキャラクタ映像を生成することにより、キャラクタの唇の形が音声に合わせて変化するのでキャラクタがしゃべっているように見せることができるというすぐれた効果を有する。
【発明を実施するための最良の形態】
【００２３】
以下、本発明のキャラクタ映像表示機能付き通信端末の実施の形態について、図面を参照しながら説明する。実施の形態においては、通信端末の例として電話を取り上げて説明する。なお、本発明はこれら実施の形態に何ら限定されるものではなく、その要旨を逸脱しない範囲において、様々なる態様で実施し得る。
【００２４】
（第１の実施の形態）
図１は第１の実施の形態におけるキャラクタ映像表示機能付き電話の機能ブロック図である。図１において、送信端末装置１００は、音声を入力するマイクなどの音声入力部１０１と、音声データを符号化して電話網１２０へ送信する電話送信部１０２とを備える。また、受信端末装置１１０は、電話網１２０から音声データを受信し、復号する電話受信部１１１と、復号した音声データを出力するスピーカなどの音声出力部１１２と、キャラクタ映像を生成する映像生成部１１３と、キャラクタ映像を表示する映像出力部１１４とを備える。送信端末装置１００と受信端末装置１１０は電話網１２０にそれぞれ接続されている。図１において、受信端末装置１１０が、キャラクタ映像を表示する機能を有する実施の形態のキャラクタ映像表示機能付き電話である。なお、図１では送信端末装置１００と受信端末装置１１０を異なる装置としているが、送信側の装置と受信側の装置のいずれにも送信端末装置１００および受信端末装置１１０の機能を持たせ、お互いに相手側端末から送信された音声データに基づいてキャラクタ映像を表示することも可能である。
【００２５】
図２は、映像生成部１１３の詳しい構成を示す図である。映像生成部１１３は、電話受信部１１１より入力された音声情報から音素を抽出する音素抽出部２０１と、抽出された音素に応じて映像を構成するキャラクタ画像を選択する画像選択部２０２とを備えている。画像選択部２０２により選択されるキャラクタ画像の候補は、キャラクタ画像データベース（以下、「キャラクタ画像ＤＢ」という）２０３に記憶されている。
【００２６】
図３（ａ）〜図３（ｅ）は、キャラクタ画像ＤＢ２０３に記憶されたキャラクタ画像の例を示す図である。図３（ａ）は日本語の５０音表の「あ」の段の音素に関連付けられた画像、図３（ｂ）は「い」の段の音素の関連付けられた画像、図３（ｃ）は「う」の段の音素の関連付けられた画像、図３（ｅ）は「え」の段の音素の関連付けられた画像、図３（ｅ）は「お」の段の音素の関連付けられた画像である。
【００２７】
画像選択部２０２は、音素抽出部２０１にて抽出された音素に対応する画像を読み出し、読み出したキャラクタ画像によってキャラクタ映像を生成する。抽出された音素が、例えば「あ」「か」「さ」等のように「あ」の段の音素である場合には、図３（ａ）のキャラクタ画像を読み出す。抽出された音素が、例えば「い」「き」「し」等のように「い」の段の音素である場合には、図３（ｂ）のキャラクタ画像を読み出す。抽出された音素が、例えば「う」「く」「す」等のように「う」の段の音素である場合には、図３（ｃ）のキャラクタ画像を読み出す。抽出された音素が、例えば「え」「け」「せ」等のように「え」の段の音素である場合には、図３（ｄ）のキャラクタ画像を読み出す。抽出された音素が、例えば「お」「こ」「そ」等のように「お」の段の音素である場合には、図３（ｅ）のキャラクタ画像を読み出す。
【００２８】
図４は、第１の実施の形態のキャラクタ映像表示機能付き電話のシーケンスを示す図である。図４を参照してキャラクタ映像表示機能付き電話の動作について説明する。
【００２９】
まず、送信端末装置１００は、マイクなどの音声入力部１０１にて入力された音声データを電話送信部１０２に送る（Ｓ１０）。電話送信部１０２は、音声入力部１０１から送られた音声データを符号化し（Ｓ１２）、符号化した音声データを電話網１２０に送信する（Ｓ１４）。ここでは、電話送信部１０２が音声データの符号化を行う例について説明したが、音声データの符号化は音声入力部１０１にて行ってもよい。
【００３０】
受信端末装置１１０は、電話網１２０を通じて送信端末装置１００から送信された音声データを電話受信部１１１にて受信する。続いて、電話受信部１１１は、受信した音声データを復号化する（Ｓ１６）。電話受信部１１１は、復号した音声データを映像生成部１１３および音声出力部１１２に送る（Ｓ１８、Ｓ２４）。ここでは、電話受信部１１１にて音声データを復号化する例について説明したが、電話受信部１１１にて復号化を行わずに、映像生成部１１３および音声出力部１１２にて音声データを復号化してもよい。
【００３１】
電話受信部１１１から音声データを受信した映像生成部１１３は、音声データに合ったキャラクタ映像を生成する（Ｓ２０）。具体的には、映像生成部１１３の音素抽出部２０１は、電話受信部１１１より入力された音声データから音素を抽出し、抽出した音素の情報を画像選択部２０２に送る。画像選択部２０２は、抽出された音素に合ったキャラクタ画像をキャラクタ画像ＤＢ２０３から読み出して、キャラクタ映像を生成する。
【００３２】
映像生成部１１３は、生成したキャラクタ映像を映像出力部１１４に送り（Ｓ２２）、これを受けた映像出力部１１４は、キャラクタ映像を受信端末装置１１０に表示する。同時に、電話受信部１１１から音声データを受信した音声出力部１１２は、音声を出力する。以上の動作を、音声データを受信するたびに繰り返し行うことにより、キャラクタ映像を音声に同期して表示させることができる。
【００３３】
本実施の形態では、電話受信部１１１から映像生成部１１３に音声データが送られ、音声データ１０６に含まれる音素に基づいてキャラクタ映像が生成される。そして、電話受信部１１１から音声出力部１１２に送られた音声データに基づいて、音声出力部１１２から音声が出力されるのに合わせてキャラクタ映像１０９を出力するので、音声に合わせてキャラクタの唇が動き、あたかもキャラクタがしゃべっているかのように見せることができる。
【００３４】
また、受信端末装置１１０にて受信した音声データに基づいてキャラクタ映像を生成するので、音声データとキャラクタ映像との同期をとるのが容易である。なお、映像生成部１１３での映像生成処理に時間を要する場合には、映像生成に要する時間分だけ、音声出力部１１２からの音声出力を遅らせることにより、キャラクタ映像と音声の同期をとることができる。
【００３５】
（第２の実施の形態）
第２の実施の形態のキャラクタ映像表示機能付き電話は、キャラクタ映像を音声に同期させる機能に加えて、話者の感情をキャラクタに反映させる機能を有する。第２の実施の形態のキャラクタ映像表示機能付き電話の基本的な構成は、第１の実施の形態のキャラクタ映像表示機能付き電話と同じであるが、映像生成部１１３の構成が第１の実施の形態とは異なる。
【００３６】
図５は、第２の実施の形態における映像生成部１１３の構成を示す図である。第２の実施の形態においては、映像生成部１１３は、音声データから音素を抽出する音素抽出部２０１と、音声データから単語を抽出する音声認識部２０４とを備えている。音声認識部２０４は、音素抽出部２０１にて抽出した音素を元に、意味のある単語を抽出する機能を有する。
【００３７】
また、映像生成部１１３は、音声データに含まれる単語と話者の感情を示すパラメータとを関連付けて記憶する感情パラメータデータベース（以下、「感情パラメータＤＢ」という）２０６と、音声データに含まれる単語に基づいて感情パラメータＤＢ２０６から感情パラメータを読み出す感情パラメータ読出部２０５と、音素抽出部２０１および感情パラメータ読出部２０５から送られる情報に基づいてキャラクタ画像を合成する画像合成部２０７とを備える。
【００３８】
図６は、感情パラメータＤＢ２０６に記憶されたデータの例を示す図である。感情パラメータＤＢ２０６には、単語と単語に対応する感情パラメータが記憶されている。例えば、図６に示す例によれば、音声認識部２０４にて「うれしい」「たのしい」という単語に「喜び」を示す感情パラメータが関連付けられている。従って、「うれしい」「たのしい」という単語に対応して、「喜び」を示す感情パラメータが読み出される。
【００３９】
画像合成部２０７は、第１の実施の形態と同様に、音素抽出部２０１にて抽出された音素に対応するキャラクタ画像を、キャラクタ画像ＤＢ２０３に記憶されたキャラクタ画像から選択する。そして、感情パラメータ読出部２０５にて読み出した感情パラメータによってキャラクタ画像を変形し、キャラクタ画像を合成する。この際、画像合成部２０７は、感情パラメータに基づく変形情報を記憶した変形情報データベース（以下、「変形情報ＤＢ」という）２０８を参照してキャラクタの変形を行う。
【００４０】
図７は、変形情報ＤＢ２０８に記憶されたデータを示す例である。変形情報ＤＢ２０８には、感情パラメータと変形情報とが関連付けて記憶されている。図７に示す例によれば、例えば、「喜び」を示す感情パラメータに関連付けられた変形情報は、「目を細める、口元を上げる」である。従って、感情パラメータ読出部２０５から送られた感情パラメータが「喜び」である場合には、図８（ａ）に示すキャラクタを、図８（ｂ）に示すように、キャラクタ画像の目を細くすると共に口元を上げる変形を行う。なお、図８（ａ）に示すキャラクタ画像から、図８（ｂ）に示す口元を上げたキャラクタ画像に移行する際に、モーフィングによってキャラクタ画像を滑らかに変化させてもよい。
【００４１】
第２の実施の形態のキャラクタ映像表示機能付き電話の動作のシーケンスは、第１の実施の形態のキャラクタ映像表示機能付き電話と基本的に同じである（図４参照）。第２の実施の形態では、キャラクタ映像の生成処理（Ｓ２０）において、音声データから話者の感情を示す感情パラメータを求め、感情パラメータに基づいてキャラクタを生成する点が第１の実施の形態とは異なる。第２の実施の形態のおけるキャラクタ映像の生成は、上記したように、映像生成部１１３の機能によって行われる。以上、第２の実施の形態のキャラクタ映像表示機能付き電話の構成および動作について説明した。
【００４２】
第２の実施の形態においては、音声データから話者の感情を示す感情パラメータを求め、感情パラメータに基づいてキャラクタ画像を生成するので、話者の感情を反映したキャラクタを表示できる。
【００４３】
また、第２の実施の形態のキャラクタ映像表示機能付き電話は、第１の実施の形態と同様に、音声データをキャラクタの唇の動きを同期させることにより、あたかもキャラクタがしゃべっているように見せることができる。
【００４４】
（第３の実施の形態）
図９は、第３の実施の形態におけるキャラクタ映像表示機能付き電話の機能ブロック図である。図９において、送信端末装置１００は、音声を入力するマイクなどの音声入力部１０１と、音声データを符号化して電話網１２０へ送信する電話送信部１０２と、情報の入力を受け付けるキーパッドなどのユーザ操作入力部１０３と、話者の癖や特性などの個性を示す属性パラメータを記憶する属性パラメータデータベース（以下、「属性パラメータＤＢ」という）１０４と、キャラクタを動作させるための感情パラメータおよび属性パラメータをパケット送信するパケット送信部１０５とを備える。受信端末装置１１０は、電話網１２０から音声データを受信し、復号する電話受信部１１１と、復号した音声データを出力するスピーカなどの音声出力部１１２と、送信端末装置１００から送信される感情パラメータおよび属性パラメータをパケット受信するパケット受信部１１５と、キャラクタ画像を生成する映像生成部１１３と、キャラクタ画像を表示する映像出力部１１４とを備える。送信端末装置１００と受信端末装置１１０は、電話網１２０およびパケット網１３０によって接続されている。
【００４５】
送信端末装置１００において、ユーザ操作入力部１０３はユーザの感情等の入力を受け付ける機能を有する。例えば、ユーザ操作入力部１０３は、「喜ぶ」「怒る」「悲しむ」等の感情を選択肢として表示し、話者に選択させる。そして、ユーザ操作入力部１０３は、ユーザの選択に応じて感情パラメータを決定し、決定された感情パラメータをパケット送信部１０５に送る。
【００４６】
属性パラメータＤＢ１０４は、話者の個性を示す属性パラメータを記憶する機能を有する。属性パラメータＤＢ１０４には、例えば、「話すときに頭を振る」「相槌をうつ」などの情報が記憶される。この情報は、話者によってあらかじめ設定される。属性パラメータＤＢ１０４に記憶された属性パラメータは、パケット送信部１０５から受信端末装置１１０に送信される。
【００４７】
次に、受信端末装置１１０について説明する。第３の実施の形態の受信端末装置１１０の基本的な構成は、第１の実施の形態の受信端末装置１１０と同じであるが、映像生成部１１３の構成が異なる。
【００４８】
図１０は、映像生成部１１３の構成を示す図である。映像生成部１１３は、音声データから音素を抽出する音素抽出部２０１と、パケット受信部１１５にて受信した感情パラメータおよび属性パラメータがそれぞれ入力される感情パラメータ入力部２０９および属性パラメータ入力部２１０と、キャラクタ画像を合成する画像合成部２０７とを備える。画像合成部２０７には、音素ごとのキャラクタ画像を記憶したキャラクタ画像ＤＢ２０３と、感情パラメータに応じてキャラクタ画像を変形するための変形情報ＤＢ２０８が接続されている。画像合成部２０７は、音素抽出部２０１にて音声データから抽出された音素に基づいてキャラクタ画像ＤＢ２０３からキャラクタ画像を選択し、感情パラメータ入力部２０９から送られた感情パラメータに基づいてキャラクタ画像を変形する。第３の実施の形態ではさらに、画像合成部２０７は、属性パラメータ入力部２１０から送られた属性パラメータに応じて、キャラクタ映像を動作させる。例えば、属性パラメータが「話すときに頭を振る」である場合、音声データが出力されるときに、図１１（ａ）に示すキャラクタを図１１（ｂ）に示すように動かす。
【００４９】
図１２は、第３の実施の形態のキャラクタ映像表示機能付き電話におけるシーケンスを示す図である。図１２を参照しながら、キャラクタ映像表示機能付き電話の動作について説明する。
【００５０】
まず、送信端末装置１００は、マイクなどの音声入力部１０１にて入力された音声データを電話送信部１０２に送る（Ｓ３０）。電話送信部１０２は、音声入力部１０１から送られた音声データを符号化し（Ｓ３２）、符号化した音声データを電話網１２０を通じて受信端末装置１１０に送信する（Ｓ３４）。ここでは、電話送信部１０２が音声データの符号化を行う例について説明したが、音声データの符号化は、音声入力部１０１にて行ってもよい。
【００５１】
次に、送信端末装置１００は、ユーザ操作部４０７を通じてユーザの操作からユーザの感情を示す感情パラメータを取得し、感情パラメータをパケット送信部１０５に送る（Ｓ３６）。また、パケット送信部１０５は、属性パラメータＤＢ１０４に記憶されている属性パラメータを読み出す（Ｓ３８）。そして、パケット送信部１０５は、感情パラメータと属性パラメータとを符号化し（Ｓ４０）、パケット網１３０を通じて受信端末装置１１０へ送信する（Ｓ４２）。なお、本実施の形態では感情パラメータと属性パラメータの両方を用いる例について説明しているが、いずれか一方のみを用いることも可能である。また、感情パラメータと属性パラメータを送信するタイミングは、同じでなくてもよい。
【００５２】
受信端末装置１１０は、電話網１２０から受信された音声データを、電話受信部１１１にて受信する。受信端末装置１１０は、パケット網１３０を通じて送信された感情パラメータおよび属性パラメータをパケット受信部１１５にて受信し、復号化する（Ｓ４４）。パケット受信部１１５は、復号化した感情パラメータおよび属性パラメータを映像生成部１１３に送る（Ｓ４６）。なお、パケット受信部１１５が暗号化されたパケットデータをそのままキャラクタ映像生成部１１３に送り、映像生成部１１３にてパケットデータを復号化する構成としてもよい。
【００５３】
また、電話受信部１１１は、受信した音声データを復号化し（Ｓ４８）、復号化した音声データを音声出力部１１２および映像生成部１１３に送る（Ｓ５０、Ｓ５６）。なお、本実施の形態では、電話受信部１１１にて音声データを復号化する例について説明したが、電話受信部１１１にて復号化を行わずに、映像生成部１１３および音声出力部１１２にて音声データを復号化してもよい。
【００５４】
映像生成部１１３では、電話受信部１１１から入力された音声データと、パケット受信部１１５から送信された感情パラメータおよび属性パラメータに基づいて、キャラクタ映像を生成する（Ｓ５２）。具体的には、まず、音素抽出部２０１にて音声データから音素を抽出し、抽出した音素に合ったキャラクタ画像を選択する。続いて、パケット受信部１１５から送られた感情パラメータにより選択したキャラクタ画像を変形する。そして、パケット受信部１１５から送られた属性パラメータによりキャラクタ映像を動作させる。例えば、属性パラメータが「話すときに頭を振る」である場合、図１１（ｂ）に示すように、音声データを出力するときにキャラクタの頭を振る映像を生成する。
【００５５】
映像生成部１１３は、生成した映像を映像出力部１１４に送る（Ｓ５４）。映像出力部１１４は、受信端末装置１１０に表示する。以上の動作を、音声データを受信するたびに繰り返し行うことにより、キャラクタ映像を音声に同期して表示させることができる。
【００５６】
第３の実施の形態のキャラクタ映像表示機能付き電話は、話者の癖などの個性を属性パラメータとして送信端末装置１００に記憶しておき、パケット送信部１０５にて読み出して受信端末装置１１０に送信し、受信端末装置１１０にて属性パラメータを反映したキャラクタ映像を表示するので、話者の属性をキャラクタに反映できる。
【００５７】
また、第３の実施の形態のキャラクタ映像表示機能付き電話は、上記した第２の実施の形態と同様に、音声データとキャラクタの唇の動きを同期させると共に話者の感情を反映したキャラクタ映像を表示することができる。第３の実施の形態では、ユーザ操作入力部１０３にて話者の感情の入力を受け付けるので、キャラクタに話者の感情を適切に反映できる。
【００５８】
以上、本発明のキャラクタ映像表示機能付き電話について、実施の形態を挙げて詳細に説明したが、本発明のキャラクタ映像表示機能付き電話は、上記した実施の形態に限定されるものではない。
【００５９】
上記した実施の形態では、受信端末装置１１０にてキャラクタ映像を生成する例について説明したが、送信端末装置１００にてキャラクタ映像を生成することも可能である。この場合、送信データから送信する音声データとキャラクタ映像との同期をとるための構成が必要となる。例えば、音声データをパケットデータとして送信する構成とし、音声データと映像データとの同期をとるための番号を音声データパケットおよび映像データパケットに付すことにより、同期をとることができる。
【００６０】
上記した実施の形態では、映像生成部１１３は、キャラクタ画像ＤＢ２０３に記憶されたキャラクタ画像を読み出し、読み出したキャラクタ画像に感情パラメータまたは属性パラメータによる変形を行ってキャラクタ映像を生成したが、キャラクタ映像を生成する方法は上記した実施の形態の方法に限られない。例えば、キャラクタ映像を構成する「目」「鼻」「口」等の顔のパーツをデータベースに記憶しておき、感情パラメータまたは属性パラメータに応じて、対応するパーツを読み出してキャラクタ画像を生成してもよい。また、属性パラメータとして性別や年代の情報を送信し、性別や年代に合ったキャラクタ映像を生成してもよい。
【００６１】
上記した第２の実施の形態では、音声認識部２０４にて音声データから抽出した単語によって話者の感情を示す感情パラメータを求めたが、別の方法によって感情パラメータを求めてもよい。例えば、音声の大きさによって感情パラメータを用いてもよいし、音声情報をフーリエ変換して音声の周波数を分析することによって感情パラメータを求めてもよい。
【００６２】
上記した実施の形態では、キャラクタ画像ＤＢ２０３には、キャラクタ画像を日本語の音素に関連付けて記憶しているが、英語やその他の外国語の音素に合わせてキャラクタ画像を記憶させてもよい。
【産業上の利用可能性】
【００６３】
以上説明したように、本発明は、音素抽出部にて音声情報から音素を抽出し、音素に合った唇の画像を含むキャラクタ映像を生成することにより、音声に合わせて唇の形が変化するのでキャラクタがしゃべっているように見せることができるというすぐれた効果を有し、キャラクタ映像表示機能付きの携帯電話等として有用である。
【図面の簡単な説明】
【００６４】
【図１】第１の実施の形態のキャラクタ映像表示機能付き電話の機能ブロック図
【図２】第１の実施の形態における映像生成部の構成を示す図
【図３】キャラクタ画像ＤＢに記憶されたデータの例を示す図
【図４】第１の実施の形態のキャラクタ映像表示機能付き電話のシーケンス
【図５】第２の実施の形態のキャラクタ映像表示機能付き電話の機能ブロック図
【図６】感情パラメータＤＢに記憶されたデータの例を示す図
【図７】変形情報ＤＢに記憶されたデータの例を示す図
【図８】感情パラメータを反映したキャラクタモデルを示す図
【図９】第３の実施の形態のキャラクタ映像表示機能付き電話の機能ブロック図
【図１０】第３の実施の形態における映像生成部の構成を示す図
【図１１】第３の実施の形態におけるキャラクタの表示例を示す図
【図１２】第３の実施の形態のキャラクタ映像表示機能付き電話のシーケンス
【図１３】従来のテレビ電話装置の機能ブロック図
【符号の説明】
【００６５】
１００  送信端末装置
１０１  音声入力部
１０２  電話送信部
１０３  ユーザ操作入力部
１０４  属性パラメータＤＢ
１０５  パケット送信部
１１０  受信端末装置
１１１  電話受信部
１１２  音声出力部
１１３  映像生成部
１１４  映像出力部
１１５  パケット受信部
１２０  電話網
１３０  パケット網
２０１  音素抽出部
２０２  画像選択部
２０３  キャラクタ画像ＤＢ
２０４  音声認識部
２０５  感情パラメータ読出部
２０６  感情パラメータＤＢ
２０７  画像合成部
２０８  変形情報ＤＢ
２０９  感情パラメータ受信部
２１０  属性パラメータ受信部
３０１  送信端末装置
３０２  受信端末装置
３０３  ネットワーク
３０４  画像入力部
３０５  表情特徴抽出部
３０６  モデルデータ作成部
３０７  レンダリング部
３０８  モデルデータ格納部
【図１】
2006048352.tif 000003
【図２】
2006048352.tif 000004
【図３】
2006048352.tif 000005
【図４】
2006048352.tif 000006
【図５】
2006048352.tif 000007
【図６】
2006048352.tif 000008
【図７】
2006048352.tif 000009
【図８】
2006048352.tif 000010
【図９】
2006048352.tif 000011
【図１０】
2006048352.tif 000012
【図１１】
2006048352.tif 000013
【図１２】
2006048352.tif 000014
【図１３】
2006048352.tif 000015