(57)【要約】      （修正有）【課題】画像と音声の出力装置上に表示された画像を、テキストデータに基づいて合成された音声と同期させてモーフィングさせ、画像が動きながら話しかけるように見せる音声合成を伴う動く画像システムを提供する。【解決手段】画像と音声の出力装置８を備え、テキストデータを音素に変換する部９と、変換した音素と音声データから音声合成する部４と、変換した音素データからモーフィングのための画像を選択する部５と、選択した画像をもとにモーフィングさせる部６と、モーフィング画像と合成された音声を同期させて出力する部７とから成る。これにより、テキストデータに対応して感情パラメータ１６により感情表現を音声と画像に反映させる音声合成を伴う動く画像システムを形成する。【選択図】図６
0003173022.tif 000002
【実用新案登録請求の範囲】
【請求項１】
モーフィングの元となる画像群の入った画像データベース１と、
音声の元となる音声データ群の入った音声データベース２と、
テキストデータを解析して音素データに変換する音素解析部９と、
音素解析部９の音素データに対応する音声データを音声データベース２から選択して音声合成をする音声合成部４と、
音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択する画像選択部５と、
画像選択部５の出力した画像のモーフィングを実行してモーフィング画像を制作するモーフィング生成部６と、
前記モーフィング画像と音声合成部４の合成した音声とを同期して出力する画像音声同期出力部７と、
画像音声同期出力部７が同期処理したモーフィング画像と音声を出力するディスプレイ及びスピーカーを有する画像音声出力装置８と、
からなる音声合成を伴う動く画像システム。
【請求項２】
請求項１に記載の画像システムにおいて、テキストデータの入ったテキストデータベース３と、テキストデータベース３からのテキストデータを音素解析処理する音素解析部９を有する音声合成を伴う動く画像システム。
【請求項３】
請求項１に記載の画像システムにおいて、テキストデータとして文字を直接入力する文字入力装置１０を備え、入力された文字を解析して音素データに変換する音素解析部９を有する音声合成を伴う動く画像システム。
【請求項４】
請求項３に記載の画像システムにおいて、文字入力装置１０に入力された文字を画像音声出力装置８のディスプレイに表示する入力文字情報出力部１１を有する音声合成を伴う動く画像システム。
【請求項５】
請求項１に記載の画像システムにおいて、テキストデータの入ったテキストデータベース３と、テキストデータベース３から音素解析部９が解析すべきテキストデータを選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項６】
請求項５に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項７】
請求項３、４又は５に記載の画像システムにおいて、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項８】
請求項１に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４とを備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項９】
請求項１乃至８のいずれかに記載の画像システムにおいて、音声合成部４に感情パラメータを入力する感情パラメータ入力手段を設け、入力された感情パラメータに基づいて前記音声合成部４が音声の合成を行う音声合成を伴う動く画像システム。
【請求項１０】
請求項１乃至９のいずれかに記載の画像システムにおいて、画像選択部５に感情パラメータを入力する感情パラメータ入力手段を設け、入力された感情パラメータに基づいて前記画像選択部５がモーフィング用の画像の選択を行う音声合成を伴う動く画像システム。
【請求項１１】
請求項９又は１０のいずれかに記載の画像システムにおいて、感情パラメータが「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか一つの感情を含む１個以上の感情パラメータからなる音声合成を伴う動く画像システム。
【請求項１２】
請求項９、１０又は１１に記載の画像システムにおいて、出力された感情パラメータに基づいてモーフィング用の画像の選択と音声の合成を行うように、テキストデータベース３に格納されたテキストデータに対応する「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか一つの感情を含む１個以上の感情パラメータの入った感情パラメータデータベース１６を設けてなる音声合成を伴う動く画像システム。
【請求項１３】
請求項１２に記載の画像システムにおいて、テキストデータベース３に格納されたテキストデータを音素解析部９で変換して音素データを音声合成部４及び画像選択部５に入力すると共に感情パラメータデータベース１６から音声合成部４及び画像選択部５にテキストデータに対応した感情パラメータを入力するように構成した音声合成を伴う動く画像システム。
【請求項１４】
請求項１３に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項１５】
請求項１３に記載の画像システムにおいて、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項１６】
請求項１３に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａとを備え、意味解析部１４ａの解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項１７】
請求項９、１０又は１１に記載の画像システムにおいて、テキストデータの意味を解析する意味解析部１４ｂと、意味解析部１４ｂの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システム。
【請求項１８】
請求項１７に記載の画像システムにおいて、テキストデータベース３からのテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システム。
【請求項１９】
請求項１８に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて意味解析部１４が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システム。
【請求項２０】
請求項９、１０又は１１に記載の画像システムにおいて、文字入力装置１０から入力されたテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システム。
【請求項２１】
請求項９、１０又は１１に記載の画像システムにおいて、文字入力装置１０から入力された文字の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システム。
【請求項２２】
請求項９、１０又は１１に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システム。
【請求項２３】
請求項１７乃至２２のいずれかに記載の画像システムにおいて、音素解析部９が意味解析部１４又は１４ｂ及び感情解析部１８を介してテキストデータの解析を行う音声合成を伴う動く画像システム。
【考案の詳細な説明】
【技術分野】
【０００１】
本考案は音声合成を伴う動く画像システムに関する。
【背景技術】
【０００２】
数少ない原画を基にモーフィングさせて動画を制作する手段は従来から知られている。また、動画と音声とを同期させて出力する手段も従来から知られている。
【考案の概要】
【考案が解決しようとする課題】
【０００３】
しかしながら、入力された音声などに対応してディスプレイ上の画像が変化して動く音声合成を伴う動く画像システムはこれまでにない。
そこで、本考案は、モニタ上に表示された絵などの画像を、テキストデータに基づいて合成された音声と同期させてモーフィングさせ、絵が動きながら話しかけるように見せる音声合成を伴う動く画像システムを提供しようとするものである。
【課題を解決するための手段】
【０００４】
本考案は、実用新案登録請求の範囲の請求項１に記載のように、
モーフィングの元となる画像群の入った画像データベース１と、
音声の元となる音声データ群の入った音声データベース２と、
テキストデータを解析して音素データに変換する音素解析部９と、
音素解析部９の音素データに対応する音声データを音声データベース２から選択して音声合成をする音声合成部４と、
音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択する画像選択部５と、
画像選択部５の出力した画像のモーフィングを実行してモーフィング画像を制作するモーフィング生成部６と、
前記モーフィング画像と音声合成部４の合成した音声とを同期して出力する画像音声同期出力部７と、
画像音声同期出力部７が同期処理したモーフィング画像と音声を出力するディスプレイ及びスピーカーを有する画像音声出力装置８と、
からなる音声合成を伴う動く画像システムを提供するものである。
【０００５】
また、本考案は、請求項２に記載のように、請求項１に記載の画像システムにおいて、テキストデータの入ったテキストデータベース３と、テキストデータベース３からのテキストデータを音素解析処理する音素解析部９を有する音声合成を伴う動く画像システムを提供するものである。
【０００６】
また、本考案は、請求項３に記載のように、請求項１に記載の画像システムにおいて、テキストデータとして文字を直接入力する文字入力装置１０を備え、入力された文字を解析して音素データに変換する音素解析部９を有する音声合成を伴う動く画像システムを提供するものである。
【０００７】
また、本考案は、請求項４に記載のように、請求項３に記載の画像システムにおいて、文字入力装置１０に入力された文字を画像音声出力装置８のディスプレイに表示する入力文字情報出力部１１を有する音声合成を伴う動く画像システムを提供するものである。
【０００８】
また、本考案は、請求項５に記載のように、請求項１に記載の画像システムにおいて、テキストデータの入ったテキストデータベース３と、テキストデータベース３から音素解析部９が解析すべきテキストデータを選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【０００９】
また、本考案は、請求項６に記載のように、請求項５に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００１０】
また、本考案は、請求項７に記載のように、請求項３、４又は５に記載の画像システムにおいて、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００１１】
また、本考案は、請求項８に記載のように、請求項１に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４とを備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００１２】
また、本考案は、請求項９に記載のように、請求項１乃至８のいずれかに記載の画像システムにおいて、音声合成部４に感情パラメータを入力する感情パラメータ入力手段を設け、入力された感情パラメータに基づいて前記音声合成部４が音声の合成を行う音声合成を伴う動く画像システムを提供するものである。
【００１３】
また、本考案は、請求項１０に記載のように、請求項１乃至９のいずれかに記載の画像システムにおいて、画像選択部５に感情パラメータを入力する感情パラメータ入力手段を設け、入力された感情パラメータに基づいて前記画像選択部５がモーフィング用の画像の選択を行う音声合成を伴う動く画像システムを提供するものである。
【００１４】
また、本考案は、請求項１１に記載のように、請求項９又は１０のいずれかに記載の画像システムにおいて、感情パラメータが「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか一つの感情を含む１個以上の感情パラメータからなる音声合成を伴う動く画像システムを提供するものである。
【００１５】
また、本考案は、請求項１２に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、出力された感情パラメータに基づいてモーフィング用の画像の選択と音声の合成を行うように、テキストデータベース３に格納されたテキストデータに対応する「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか一つの感情を含む１個以上の感情パラメータの入った感情パラメータデータベース１６を設けてなる音声合成を伴う動く画像システムを提供するものである。
【００１６】
また、本考案は、請求項１３に記載のように、請求項１２に記載の画像システムにおいて、テキストデータベース３に格納されたテキストデータを音素解析部９で変換して音素データを音声合成部４及び画像選択部５に入力すると共に感情パラメータデータベース１６から音声合成部４及び画像選択部５にテキストデータに対応した感情パラメータを入力するように構成した音声合成を伴う動く画像システムを提供するものである。
【００１７】
また、本考案は、請求項１４に記載のように、請求項１３に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００１８】
また、本考案は、請求項１５に記載のように、請求項１３に記載の画像システムにおいて、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００１９】
また、本考案は、請求項１６に記載のように、請求項１３に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａとを備え、意味解析部１４ａの解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００２０】
また、本考案は、請求項１７に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、テキストデータの意味を解析する意味解析部１４ｂと、意味解析部１４ｂの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムを提供するものである。
【００２１】
また、本考案は、請求項１８に記載のように、請求項１７に記載の画像システムにおいて、テキストデータベース３からのテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムを提供するものである。
【００２２】
また、本考案は、請求項１９に記載のように、請求項１８に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて意味解析部１４が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムを提供するものである。
【００２３】
また、本考案は、請求項２０に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、文字入力装置１０から入力されたテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムを提供するものである。
【００２４】
また、本考案は、請求項２１に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、文字入力装置１０から入力された文字の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムを提供するものである。
【００２５】
また、本考案は、請求項２２に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムを提供するものである。
【００２６】
また、本考案は、請求項２３に記載のように、請求項１７乃至２２のいずれかに記載の画像システムにおいて、音素解析部９が意味解析部１４又は１４ｂ及び感情解析部１８を介してテキストデータの解析を行う音声合成を伴う動く画像システムを提供するものである。
【考案の効果】
【００２７】
本考案によれば、実用新案登録請求の範囲の請求項１に記載のように、モーフィングの元となる画像群の入った画像データベース１と、音声の元となる音声データ群の入った音声データベース２と、テキストデータを解析して音素データに変換する音素解析部９と、音素解析部９の音素データに対応する音声データを音声データベース２から選択して音声合成をする音声合成部４と、音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択する画像選択部５と、画像選択部５の出力した画像のモーフィングを実行してモーフィング画像を制作するモーフィング生成部６と、前記モーフィング画像と音声合成部４の合成した音声とを同期して出力する画像音声同期出力部７と、画像音声同期出力部７が同期処理したモーフィング画像と音声を出力するディスプレイ及びスピーカーを有する画像音声出力装置８とからなる音声合成を伴う動く画像システムの構成を有することにより、テキストデータを解析して、テキストデータに基づくモーフィング画像を制作すると共に音声を合成して、ディスプレイ及びスピーカーを有する画像音声出力装置８から提供することができるから、例えば、モニタ画面に人物画を表示し、あらかじめ登録されたテキストデータ情報から音声合成するとともに、唇や顔の表情、手ぶりなどを言葉と同期してモーフィングし、あたかも人が話しているように見せることができる効果がある。
【００２８】
また、本考案によれば、請求項２に記載のように、請求項１に記載の画像システムにおいて、テキストデータの入ったテキストデータベース３と、テキストデータベース３からのテキストデータを音素解析処理する音素解析部９を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、サイバー美術館などにおいて、各モニタに絵画を表示し、それぞれの絵画の人物や動物などが、テキストデータベースに収納した作品の解説や描いた画家の説明のテキストデータから音声合成とモーフィングを同期させて語りかけることろができる、あるいは、作品をイメージした言葉を発声させることができる効果がある。
【００２９】
また、本考案によれば、請求項３に記載のように、請求項１に記載の画像システムにおいて、テキストデータとして文字を直接入力する文字入力装置１０を備え、入力された文字を解析して音素データに変換する音素解析部９を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段で入力されたテキスト情報から、モニタに表示された絵画中の人物や動物などが即座に音声合成とモーフィングを同期させて読上げて情報を提供することができる。
【００３０】
また、本考案によれば、請求項４に記載のように、請求項３に記載の画像システムにおいて、文字入力装置１０に入力された文字を画像音声出力装置８のディスプレイに表示する入力文字情報出力部１１を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段により入力された文字情報をそのままモニタに表示することができ、モニタに表示した絵画中の人物や動物などの音声とモーフィング画像と共に読むことができる効果がある。
【００３１】
また、本考案によれば、請求項５に記載のように、請求項１に記載の画像システムにおいて、テキストデータの入ったテキストデータベース３と、テキストデータベース３から音素解析部９が解析すべきテキストデータを選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、文章選択部１２からの指令によってテキストデータベース３から音素解析部９が解析すべきテキストデータを選択することができ、モニタに表示した絵画中の人物や動物などの音声とモーフィング画像を選択して提供することができる効果がある。
【００３２】
また、本考案によれば、請求項６に記載のように、請求項５に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、赤外線センサ、タッチセンサ、カメラなど、人を感知する装置によって、人がモニタに近づくか、タッチするなどの動きを感知して、モニタに表示した絵画中の人物や動物などが、あいさつなど、接近あるいは接触した人に話しかける言葉を音声合成とモーフィングを同期させて話かけることができる効果がある。
【００３３】
また、本考案によれば、請求項７に記載のように、請求項３、４又は５に記載の画像システムにおいて、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段により入力された文字情報にあるメッセージを選択して、モニタに表示した絵画中の人物や動物などが音声合成とモーフィングを同期させて話すことで会話を成立させることができる効果がある。
【００３４】
また、本考案によれば、請求項８に記載のように、請求項１に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４とを備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、音声入力装置から話しかけられた言葉を認識し、応答するメッセージを選択し、モニタに表示した絵画中の人物や動物などが音声合成とモーフィングを同期させて話すことで会話を成立させることができ、美術館ならば、画家の名前、作品名、ロマン主義や印象派などのカテゴリ、制作年などを訊いたり話しかけると、モニタに、該当する絵画と展示場所を次々と映し出し、音声合成とモーフィングを同期させて、モニタに表示した絵画中の人物や動物などに作品名と展示場所を音声で案内することができる効果がある。
【００３５】
また、本考案によれば、請求項９に記載のように、請求項１乃至８のいずれかに記載の画像システムにおいて、音声合成部４に感情パラメータを入力する感情パラメータ入力手段を設け、入力された感情パラメータに基づいて前記音声合成部が音声の合成を行う音声合成を伴う動く画像システムの構成を有することにより、例えば、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」などの感情パラメータにより、感情に合わせた音声合成をして情感豊かに話しかけることができる効果がある。
【００３６】
また、本考案によれば、請求項１０に記載のように、請求項１乃至９のいずれかに記載の画像システムにおいて、画像選択部５に感情パラメータを入力する感情パラメータ入力手段を設け、入力された感情パラメータに基づいて前記画像選択部５がモーフィング用の画像の選択を行う音声合成を伴う動く画像システムの構成を有することにより、例えば、「「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」などの感情パラメータにより、感情に合わせたモーフィングを作製して情感豊かな画像を見せることができる効果がある。
【００３７】
また、本考案によれば、請求項１１に記載のように、請求項９又は１０のいずれかに記載の画像システムにおいて、感情パラメータが「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか一つの感情を含む１個以上の感情パラメータからなる音声合成を伴う動く画像システムの構成を有することにより、テキスト情報から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」などの感情を読み取り、感情に合わせた音声合成と画像のモーフィングにより情感豊かに話しかけることなどができる効果がある。
【００３８】
また、本考案によれば、請求項１２に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、出力された感情パラメータに基づいてモーフィング用の画像の選択と音声の合成を行うように、テキストデータベース３に格納されたテキストデータに対応する「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか一つの感情を含む１個以上の感情パラメータの入った感情パラメータデータベース１６を設けてなる音声合成を伴う動く画像システムの構成を有することにより、電子書籍化された絵本などにおいて、絵本の中のキャラクタ(人物、擬人化した動植物など)が口の動きなどを感情豊にモーフィングしながら感情を込めて音声合成して朗読或いはセリフを話すことができる効果がある。
【００３９】
また、本考案によれば、請求項１３に記載のように、請求項１２に記載の画像システムにおいて、テキストデータベース３に格納されたテキストデータを音素解析部９で変換して音素データを音声合成部４及び画像選択部５に入力すると共に感情パラメータデータベース１６から音声合成部４及び画像選択部５にテキストデータに対応した感情パラメータを入力するように構成した音声合成を伴う動く画像システムの構成を有することにより、例えば、行楽地、施設或いは店舗に設置したモニタと音声出力装置を備えた案内板画像システムなどにおいて、その行楽地、施設或いは店舗のマスコットキャラクタの画像を感情豊にモーフィングさせながら、行楽地、施設或いは店舗の情報、当日のイベント情報、キャンペーン情報などを感情を込めて音声合成して案内することができる効果がある。
【００４０】
また、本考案によれば、請求項１４に記載のように、請求項１３に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、サイバーお化け屋敷などにおいて、赤外線センサ、タッチセンサ、カメラなど、人を感知する装置によって人がモニタに近づくか、タッチするなどの動きを感知すると、モニタに怪奇画像を突如投影し、人を怖がらせる言葉を、音声合成とモーフィングを同期させて叫ばせることができる。
【００４１】
また、本考案によれば、請求項１５に記載のように、請求項１３に記載の画像システムにおいて、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、文字入力装置から入力されたテキスト情報から意味を読み取って応答するメッセージを選択し、選択したメッセージの感情表現に合わせた音声合成と画像のモーフィングにより、文字入力者への共感、教唆、同情などの表現を伴う会話を成立させることができる。
【００４２】
また、本考案によれば、請求項１６に記載のように、請求項１３に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａとを備え、意味解析部１４ａの解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、音声入力装置から入力された音声を認識処理し、その言語情報から意味を読み取って応答するメッセージを選択し、選択したメッセージの感情表現に合わせた音声合成と画像のモーフィングにより、音声入力者への共感、教唆、同情などの表現を伴う会話を成立させることができる。
【００４３】
また、本考案によれば、請求項１７に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、テキストデータの意味を解析する意味解析部１４ｂと、意味解析部１４ｂの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有することにより、意味解析部１４ｂでテキストデータの意味を解析し、感情解析部１８でその解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力することができ、感情表現に合わせた音声合成と画像のモーフィングにより、共感、教唆、同情などの表現を伴う対話を成立させることができる効果がある。
【００４４】
また、本考案によれば、請求項１８に記載のように、請求項１７に記載の画像システムにおいて、テキストデータベース３からのテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有することにより、テキストデータベース３からのテキストデータの意味をその都度解析して対応する感情パラメータ出力することができる効果がある。
【００４５】
また、本考案によれば、請求項１９に記載のように、請求項１８に記載の画像システムにおいて、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて意味解析部１４が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、人がモニタなどに近づくか、タッチするなどの動きを感知して、モニタに表示した絵画中の人物や動物などが、その感知情報に対応してあいさつなど、接近あるいは接触した人に話しかける言葉を感情を込めて音声合成とモーフィングを同期させて話かけることができる効果がある。
【００４６】
また、本考案によれば、請求項２０に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、文字入力装置１０から入力されたテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有することにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段で入力されたテキスト情報からその意味を解析して、モニタに表示された絵画中の人物や動物などが喜怒哀楽などの感情を込めて即座に音声合成とモーフィングを同期させて語りかけることができる。
【００４７】
また、本考案によれば、請求項２１に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、文字入力装置１０から入力された文字の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有することにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段により入力された文字情報に応答する感情表現のメッセージを選択して、モニタに表示した絵画中の人物や動物などがその感情を込めた音声合成とモーフィングを同期させて物語ることができる効果がある。
【００４８】
また、本考案によれば、請求項２２に記載のように、請求項９、１０又は１１に記載の画像システムにおいて、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有することにより、例えば、行楽地、施設或いは店舗に設置したモニタと音声出力装置を備えた案内板画像システムにおいて、客の音声による質問に対応して、その行楽地、施設或いは店舗のマスコットキャラクタの画像を感情を込めてモーフィングさせながら、行楽地、施設或いは店舗の情報、当日のイベント情報、キャンペーン情報などを楽しく音声合成して案内することができる効果がある。
【００４９】
また、本考案によれば、請求項２３に記載のように、請求項１７乃至２２のいずれかに記載の画像システムにおいて、音素解析部９が意味解析部１４又は１４ｂ及び感情解析部１８を介してテキストデータの解析を行う音声合成を伴う動く画像システムの構成を有することにより、テキストデータの意味と感情表現に対応して音声合成を行える効果がある。
【図面の簡単な説明】
【００５０】
【図１】本考案システムの一実施例の基本構成図。
【図２】他の実施例の基本構成図。
【図３】他の実施例の基本構成図。
【図４】他の実施例の基本構成図。
【図５】他の実施例の基本構成図。
【図６】他の実施例の基本構成図。
【図７】他の実施例の基本構成図。
【図８】他の実施例の基本構成図。
【図９】他の実施例の基本構成図。
【図１０】他の実施例の基本構成図。
【図１１】他の実施例の基本構成図。
【図１２】他の実施例の基本構成図。
【図１３】他の実施例の基本構成図。
【図１４】他の実施例の基本構成図。
【図１５】本考案システムの一実施例の基本作動態様の説明図。
【図１６】他の実施例の基本作動態様の説明図。
【図１７】他の実施例の基本作動態様の説明図。
【考案を実施するための形態】
【００５１】
以下図示する実施例に基づいて本考案を説明する。
【実施例１】
【００５２】
図１に記載の実施例１において、１はモーフィングの元となる画像群の入った画像データベース、２は音声の元となる音声データ群の入った音声データベース、３はテキストデータが格納されたテキストデータベース。９は音素解析部で、予め格納されたテキストデータベース３からのテキストデータを解析して音素データに変換する構成を有する。音素解析部９の変換した音素データは音声合成部４と画像選択部５に入力される。音声合成部４は音素データに対応する音声データを音声データベース２から選択して音声合成をする。画像選択部５は、音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択する。６はモーフィング生成部で、画像選択部５の出力した画像のモーフィングを実行してモーフィング画像を制作するように構成されている。７は画像音声同期出力部で、モーフィング生成部６の生成したモーフィング画像と音声合成部４の合成した音声とを同期して出力し、画像音声同期出力部７が同期処理したモーフィング画像と音声は、ディスプレイ及びスピーカーを有する画像音声出力装置８から出力される。
【００５３】
図１５のフローチャートにおいて、ステップＳ１で音素解析部９にテキストデータが入力すると、ステップＳ２及びステップＳ３に記載のようにテキストデータの読みを変換して音素列を生成する。その音素データに基づいてステップＳ４及びステップＳ５に記載のように、音声合成部４は音素データに対応する音声データを音声データベース２から選択して音声合成をする。同時に、画像選択部５は、ステップＳ６において音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択し、モーフィング生成部６では、ステップＳ７において画像選択部５の出力した画像の音素対応画像列を生成し、ステップＳ８に記載のようにモーフィングを実行してモーフィング画像を制作し、ステップＳ９において、画像音声同期出力部７がモーフィング生成部６の生成したモーフィング画像と音声合成部４の合成した音声とを同期して出力し、同期処理したモーフィング画像と音声は、ディスプレイ及びスピーカーを有する画像音声出力装置８から出力される。
【００５４】
上記構成から、例えば、予め内容の決まっている商品広告や会場案内などのモニタ画面に人物画を表示し、あらかじめ登録されたテキストデータ情報から音声合成するとともに、唇や顔の表情、手ぶりなどを言葉と同期してモーフィングし、あたかも人が話しているように見せることができる効果がある。
また、サイバー美術館などにおいて、各モニタに絵画を表示し、それぞれの絵画の人物や動物などが、テキストデータベースに収納した作品の解説や描いた画家の説明のテキストデータから音声合成とモーフィングを同期させて語りかけることができる、あるいは、作品をイメージした言葉を発声させることができる。
【実施例２】
【００５５】
図２に記載の実施例２は、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータを選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有する。このことにより、例えば、赤外線センサ、タッチセンサ、カメラなど、人を感知する装置１３によって、人がモニタに近づくか、タッチするなどの動きを感知して、文章選択部１２からの指令によってテキストデータベース３から音素解析部９が解析すべきテキストデータを選択することができ、モニタに表示した絵画中の人物や動物などが、あいさつなど、接近あるいは接触した人に話しかける言葉を音声合成とモーフィングを同期させて話かけることができる。
【実施例３】
【００５６】
図３に記載の実施例３は、テキストデータとして文字を直接入力する文字入力装置１０を備え、入力された文字を解析して音素データに変換する音素解析部９を有する音声合成を伴う動く画像システムの構成を有する。このことにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段で入力されたテキスト情報から、モニタに表示された絵画中の人物や動物などが即座に音声合成とモーフィングを同期させて読上げて情報を提供することができる。
【実施例４】
【００５７】
図３、図４、図１０、図１１又は図１２に記載の実施例では、文字入力装置１０に入力された文字を画像音声出力装置８のディスプレイに表示する入力文字情報出力部１１を有する。このことにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段により入力された文字情報をそのままモニタに表示することができ、モニタに表示した絵画中の人物や動物などの音声とモーフィング画像と共に読むことができる。
【実施例５】
【００５８】
図４に記載の実施例の場合、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータを選択する指令を出す文章選択部１２を有する構成であるから、例えば、キーボード、スクリーンキーボードなどの文字入力手段により入力された文字情報に応答するメッセージを選択して、モニタに表示した絵画中の人物や動物などが音声合成とモーフィングを同期させて話すことで会話を成立させることができる効果がある。
【実施例６】
【００５９】
図５に記載の実施例は、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４とを備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する。
このことにより、例えば、音声入力装置から話しかけられた言葉を認識し、応答するメッセージを選択し、モニタに表示した絵画中の人物や動物などが音声合成とモーフィングを同期させて話すことで会話を成立させることができ、美術館ならば、画家の名前、作品名、ロマン主義や印象派などのカテゴリ、制作年などを訊いたり話しかけると、モニタに、該当する絵画と展示場所を次々と映し出し、音声合成とモーフィングを同期させて、モニタに表示した絵画中の人物や動物などに作品名と展示場所を音声で案内することができる。
【実施例７】
【００６０】
図６に記載の実施例の場合、テキストデータベース３に格納されたテキストデータを音素解析部９で変換して音素データを音声合成部４及び画像選択部５に入力すると共に、感情パラメータデータベース１６から音声合成部４及び画像選択部５にテキストデータに対応した感情パラメータを入力するように構成した音声合成を伴う動く画像システムの構成を有する。このことにより、例えば、行楽地、施設或いは店舗に設置したモニタと音声出力装置を備えた案内板画像システムなどにおいて、その行楽地、施設或いは店舗のマスコットキャラクタの画像を感情豊にモーフィングさせながら、行楽地、施設或いは店舗の情報、当日のイベント情報、キャンペーン情報などを感情を込めて音声合成して案内することができる。
【実施例８】
【００６１】
図７に記載の実施例は、テキストデータベース３からのテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有する。
このことにより、意味解析部１４でテキストデータの意味を解析し、感情解析部１８でその解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、感情解析部１８でその感情表現に対応する感情パラメータ１７を出力することができ、感情表現に合わせた音声合成と画像のモーフィングにより、共感、教唆、同情などの表現を伴う対話を成立させることができる。
【００６２】
なお、図１６のフローチャートにおいては、ステップＳ１で意味解析部１４にテキストデータが入力すると、ステップＳ２に記載のように、テキストデータに対応する「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つの感情を含む１個以上の感情パラメータの入った感情パラメータデータベース１６から感情パラメータ列を入力する。また、テキストデータが音素解析部９に入力され、ステップＳ３及びステップＳ４に記載のようにテキストデータの読みを変換して音素データ列が生成される。感情パラメータデータベース１６からの感情パラメータと音素解析部９からの音素データに基づいてステップＳ５及びステップＳ６に記載のように、音声合成部４は感情パラメータと音素データに対応する音声データを音声データベース２から選択して音声合成をする。同時に、画像選択部５は、ステップＳ７において感情パラメータデータベース１６からの感情パラメータと音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択し、モーフィング生成部６では、ステップＳ８において感情パラメータと音素データに基づいた画像列を生成し、ステップＳ９に記載のようにモーフィングを実行してモーフィング画像を制作し、ステップＳ１０において、画像音声同期出力部７がモーフィング生成部６の生成したモーフィング画像と音声合成部４の合成した音声とを同期して出力し、同期処理したモーフィング画像と音声は、ディスプレイ及びスピーカーを有する画像音声出力装置８から出力される。
【実施例９】
【００６３】
図８に記載の実施例では、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、例えば、サイバーお化け屋敷などにおいて、予め人を怖がらせる内容を画像データベース１、音声データベース２、テキストデータベース３及び感情パラメータデータベース１６に格納しておき、赤外線センサ、タッチセンサ、カメラなど、人を感知する装置によって人がモニタに近づくか、タッチするなどの動きを感知すると、モニタに怪奇画像を突如投影し、人を怖がらせる言葉を、音声合成とモーフィング画像を同期させて叫ばせることなどができる。
【実施例１０】
【００６４】
図９の実施例の場合、人の接近或いは接触を感知するセンサ又は監視カメラ１３を備え、その感知情報に基づいて意味解析部１４が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有する音声合成を伴う動く画像システムの構成を有することにより、人がモニタなどに近づくか、タッチするなどの動きを感知して、モニタに表示した絵画中の人物や動物などが、その感知情報に対応してあいさつなど、接近あるいは接触した人に話しかける言葉を感情を込めて音声合成とモーフィングを同期させて話かけることができる。
【実施例１１】
【００６５】
図１０に記載の実施例では、文字入力装置１０から入力されたテキストデータの意味を解析する意味解析部１４と、意味解析部１４の解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有することにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段で入力されたテキスト情報からその意味を解析して、モニタに表示された絵画中の人物や動物などが喜怒哀楽などの感情を込めて即座に音声合成とモーフィングを同期させて語りかけることができる。
【実施例１２】
【００６６】
図１１に記載の実施例の場合、文字入力装置１０に入力された文字の意味を解析する意味解析部１４を備え、意味解析部１４の解析した意味情報に基づいて音素解析部９が解析すべきテキストデータを選択する指令を出す文章選択部１２を有することにより、文字入力装置１０から入力されたテキスト情報から意味を読み取って応答するメッセージを選択し、選択したメッセージの感情表現に合わせた音声合成と画像のモーフィングにより、文字入力者への共感、教唆、同情などの表現を伴う会話を成立させることができる。
【実施例１３】
【００６７】
図１２に記載の実施例の場合、文字入力装置１０から入力された文字の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有する。
このことにより、例えば、キーボード、スクリーンキーボードなどの文字入力手段により入力された文字情報に応答する感情表現のメッセージを選択して、モニタに表示した絵画中の人物や動物などがその感情を込めた音声合成とモーフィングを同期させて物語ることができる。
【００６８】
図１７のフローチャートにおいては、ステップＳ１で意味解析部１４ａ及び感情解析部１９を介して文章選択部１２が選択したテキストデータが意味解析部１４ｂに入力すると、ステップＳ２及びステップＳ３に記載のように、意味解析部１４ｂにおいて意味解析をし、その解析結果からステップＳ４及びステップＳ５に記載のように、感情解析部１８において「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する。また、ステップＳ６においてテキストデータが音素解析部９に入力され、音素データ列が生成される。感情解析部１８の感情パラメータ１７と音素解析部９からの音素データに基づいてステップＳ７において、音声合成部４は感情パラメータと音素データに対応する音声データを音声データベース２から選択して音声合成をする。同時に、画像選択部５は、ステップＳ９において感情解析部１８からの感情パラメータ１７と音素解析部９からの音素データに基づき画像データベース１からモーフィングさせる画像を選択し、モーフィング生成部６では、ステップＳ１０において感情パラメータと音素データに基づいた画像列を生成し、ステップＳ１１に記載のようにモーフィングを実行してモーフィング画像を制作し、ステップＳ１２において、画像音声同期出力部７がモーフィング生成部６の生成したモーフィング画像と音声合成部４の合成した音声とを同期して出力し、同期処理したモーフィング画像と音声は、ディスプレイ及びスピーカーを有する画像音声出力装置８から出力される。
【実施例１４】
【００６９】
図１３に記載の実施例では、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａとを備え、意味解析部１４ａの解析した意味情報に基づいて音素解析部９が解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２を有することにより、音声入力装置２０から入力された音声を認識処理し、その言語情報から意味を読み取って応答するメッセージを選択し、選択したメッセージの感情表現に合わせた音声合成と画像のモーフィングにより、音声入力者への共感、教唆、同情などの表現を伴う会話を成立させることができる。
【実施例１５】
【００７０】
図１４に記載の実施例は、音声を入力する音声入力装置２０と、入力された音声を言語情報として認識する音声認識部１５と、その言語情報の意味を解析する意味解析部１４ａと、意味解析部１４ａの解析した意味から「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析する感情解析部１９と、その感情情報に基づいて意味解析部１４ｂが解析すべきテキストデータをテキストデータベース３から選択する指令を出す文章選択部１２と、テキストデータベース３から選択されたテキストデータの意味を解析し、「喜」、「怒」、「哀」、「楽」、「苦」、「痛」、「驚」、「怖」又は「平常」のいずれか１つ以上の感情表現であるかを解析して、その感情表現に対応する感情パラメータ１７を出力する感情解析部１８を設けてなる音声合成を伴う動く画像システムの構成を有する。
このことにより、例えば、行楽地、施設或いは店舗に設置したモニタと音声出力装置を備えた案内画像システムにおいて、客の音声による質問に対応して、その行楽地、施設或いは店舗のマスコットキャラクタの画像を感情を込めてモーフィングと音声合成をさせながら、行楽地、施設或いは店舗の情報、当日のイベント情報、キャンペーン情報などを楽しく案内することができる。
【実施例１６】
【００７１】
また、図７、図９、図１０、図１２又は図１４において、音素解析部９が意味解析部１４及び感情解析部１８を介してテキストデータの解析を行う音声合成を伴う動く画像システムの構成を有することにより、テキストデータの意味と感情表現に対応して音声合成を行える効果がある。
【００７２】
その他の応用例としては、音声入力装置を備え、話しかけられた言葉を認識し、応答するメッセージを選択し、モニタに表示した絵画中の人物や動物などが音声合成とモーフィングを同期させて話すことで、会話を成立させることができる。
また、電子書籍化した絵本で、絵本の中のキャラクタ(人物、擬人化した動植物など)が口の動きなどをモーフィングしながら絵本に書かれた文字を音声合成して朗読或いはセリフを話すことができる。
また、メールの読上げツールで、話者選択で話者のキャラクタ画像と音声を選択することができ、選択したキャラクタ画像をモーフィングさせながら、絵文字や顔文字を含め、メールの文字データを音声合成して、感情表現を含めて読上げることができる。
また、天気予報のWebページに組み込み、気象予報士のキャラクタ画像をモーフィングさせながら、気象概況や各地の天気、注意報・警報、地震の情報などを、そのWebページのHTML記述から抽出し、音声合成して読上げることができる。
また、モニタと音声入力装置を備えた自動販売機に対し、モニタ上に売り子を表示し、モーフィングと音声合成により客寄せを行うとともに、客の音声入力による注文(商品選択)に呼応して応対の言葉(商品名、価格、お釣りの金額、「お買い上げありがとうございました」などのあいさつなど)を話すことができる。
【符号の説明】
【００７３】
１    画像データベース
２    音声データベース
３    テキストデータベース
４    音声合成部
５    画像選択部
６    モーフィング生成部
７    画像音声同期出力部
８    画像音声出力装置
９    音素解析部
１０  文字入力装置
１１  入力文字情報出力部
１２  文章選択部
１３  センサ又は監視カメラ
１４  意味解析部
１４ａ  意味解析部
１４ｂ  意味解析部
１５  音声認識部
１６  感情パラメータデータベース
１７  感情パラメータ
１８  感情解析部
１９  感情解析部
２０  音声入力装置
【図１】
0003173022.tif 000003
【図２】
0003173022.tif 000004
【図３】
0003173022.tif 000005
【図４】
0003173022.tif 000006
【図５】
0003173022.tif 000007
【図６】
0003173022.tif 000008
【図７】
0003173022.tif 000009
【図８】
0003173022.tif 000010
【図９】
0003173022.tif 000011
【図１０】
0003173022.tif 000012
【図１１】
0003173022.tif 000013
【図１２】
0003173022.tif 000014
【図１３】
0003173022.tif 000015
【図１４】
0003173022.tif 000016
【図１５】
0003173022.tif 000017
【図１６】
0003173022.tif 000018
【図１７】
0003173022.tif 000019