(57)【要約】【課題】過去に存在した人や動物との擬似的なコミュニケーションを実現できる電子機器を実現する。【解決手段】実施形態によれば、電子機器は、記憶手段と音声認識手段と音声合成手段とを具備する。記憶手段は、過去に存在した人又は動物に関する情報を記憶する。音声認識手段は、ユーザの発話内容に応答するためのセンテンスを生成する。音声合成手段は、前記記憶手段に記憶した情報と、生成した前記センテンスに基づいて、前記人又は動物の音声を合成する。【選択図】図５
2015173857.tif 000002
【特許請求の範囲】
【請求項１】
過去に存在した人又は動物に関する情報を記憶する記憶手段と、
ユーザの発話内容に応答するためのセンテンスを生成する音声認識手段と、
前記記憶手段に記憶した情報と、生成した前記センテンスに基づいて、前記人又は動物の音声を合成する音声合成手段とを具備する電子機器。
【請求項２】
前記音声認識手段は、前記ユーザの発話による音声に対応するテキストを生成し、前記テキストと前記記憶手段に記憶した情報とに基づいて、前記センテンスを生成する請求項１記載の電子機器。
【請求項３】
前記ユーザの顔画像を用いて、前記顔画像に対応する人物と、前記顔画像に対応する表情とを決定する顔認識手段をさらに具備し、
前記音声認識手段は、前記テキストと、前記顔画像に対応する人物と、前記顔画像に対応する表情と、前記記憶手段に記憶した情報とに基づいて、前記センテンスを生成する請求項２記載の電子機器。
【請求項４】
前記センテンスと、前記顔画像に対応する人物と、前記顔画像に対応する表情と、前記記憶手段に記憶した情報とに基づいて、前記人又は動物の画像を合成する画像合成手段をさらに具備する請求項３記載の電子機器。
【請求項５】
前記画像合成手段は、前記センテンスと、前記顔画像に対応する人物と、前記顔画像に対応する表情と、前記記憶手段に記憶した情報とに基づいて、前記合成された音声に応じて変化する、前記人又は動物の動画像を合成する請求項４記載の電子機器。
【請求項６】
前記記憶手段に記憶した情報と、前記センテンスとに基づいて、前記人又は動物の画像を合成する画像合成手段をさらに具備する請求項１記載の電子機器。
【請求項７】
前記過去に存在した人又は動物に関する情報は、過去に存在した人の顔、表情、声、及び話し方の少なくとも一つを示す情報、又は過去に存在した動物の顔、表情、鳴き声、及び仕種の少なくとも一つを示す情報を含む請求項１記載の電子機器。
【請求項８】
前記過去に存在した人又は動物に関する情報は、ライフログから取得される情報を含む請求項１記載の電子機器。
【請求項９】
前記過去に存在した人又は動物に関する情報は、ソーシャルネットワーキングサービス（ＳＮＳ）のサイトから取得される情報を含む請求項１記載の電子機器。
【請求項１０】
過去に存在した人又は動物に関する情報を記憶装置に記憶し、
ユーザの発話内容に応答するためのセンテンスを生成し、
前記記憶装置に記憶された情報と、生成した前記センテンスに基づいて、前記人又は動物の音声を合成する情報処理方法。
【請求項１１】
コンピュータにより実行されるプログラムであって、前記プログラムは、
過去に存在した人又は動物に関する情報を記憶する手順と、
ユーザの発話内容に応答するためのセンテンスを生成する手順と、
前記記憶した情報と、生成した前記センテンスに基づいて、前記人又は動物の音声を合成する手順とを前記コンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声や画像を処理する電子機器、及び該機器に適用される情報処理方法に関する。
【背景技術】
【０００２】
仏壇のような祭礼用具は、例えば、家族が亡くなったときに購入され、残された家族が亡くなった家族を供養するために用いられている。また、近年では、死んだペットのための仏壇も普及してきている。このような仏壇には、戒名や遺影のような故人情報を表示できるものも提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４６８２２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし仏壇では、残された家族が、仏壇に向かって亡くなった家族や死んだペットを供養するためのお参りを行うことはできたとしても、その残された家族（特に、一人暮らしの高齢者）の孤独感や悲しみを軽減することは難しい。したがって、残された家族の孤独感や悲しみを軽減するために、過去に存在した人や動物（ペット）との擬似的なコミュニケーションを実現することが期待される場合がある。
【０００５】
本発明は、過去に存在した人や動物との擬似的なコミュニケーションを実現できる電子機器及び情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態によれば、電子機器は、記憶手段と音声認識手段と音声合成手段とを具備する。記憶手段は、過去に存在した人又は動物に関する情報を記憶する。音声認識手段は、ユーザの発話内容に応答するためのセンテンスを生成する。音声合成手段は、前記記憶手段に記憶した情報と、生成した前記センテンスに基づいて、前記人又は動物の音声を合成する。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る電子機器を備える対話システムの例を示す図。
【図２】同実施形態の電子機器を備える対話システムの別の例を示す図。
【図３】同実施形態の電子機器を用いて、ユーザに擬似的な対話が提供される例を説明するための図。
【図４】同実施形態の電子機器のシステム構成の例を示すブロック図。
【図５】同実施形態の電子機器によって実行される対話アプリケーションプログラムの機能構成の例を示すブロック図。
【図６】同実施形態の電子機器によって実行される対話制御処理の手順の例を示すフローチャート。
【図７】同実施形態の電子機器の外観の例を示す斜視図。
【発明を実施するための形態】
【０００８】
以下、実施の形態について図面を参照して説明する。
【０００９】
まず、図１を参照して、一実施形態に係る電子機器を備える、過去に存在した人（故人）との対話システムの概要を説明する。この電子機器は、例えば、タブレットコンピュータ、ノートブック型のパーソナルコンピュータ、スマートフォン、ＰＤＡ、デジタルテレビジョン受信機、または各種電子機器に内蔵される組み込みシステムとして実現され得る。以下では、この電子機器がタブレットコンピュータ２として実現されている場合を想定する。
【００１０】
本タブレットコンピュータ２は、例えば仏壇１や墓石のような、亡くなった人を供養するための祭礼用具に組み込まれている。タブレットコンピュータ２は仏壇１に固定されるものであってもよいし、仏壇１に対して取り外し可能に設置されるものであってもよい。つまり、タブレットコンピュータ２は、仏壇１に組み込まれた状態で提供（販売）されてもよいし、従来の仏壇１（例えば、家庭に既にある仏壇）にオプションとして設置されるようにしてもよい。
【００１１】
タブレットコンピュータ２には、ＡＣ外部電源又はバッテリーから電力が供給される。仏壇１内のタブレットコンピュータ２を設置する位置には、タブレットコンピュータ２にＡＣ外部電源からの電力を供給し、バッテリーを充電するためのクレードル（充電器）が設けられていてもよい。
【００１２】
タブレットコンピュータ２は、カメラ１６、タッチスクリーンディスプレイ１７、スピーカー１８Ａ，１８Ｂ、及びマイク１９Ａ，１９Ｂを備える。カメラ１６は、仏壇１にお参りする人の画像（顔画像）、すなわち、カメラ１６の前方にいる人の画像を取得する。マイク１９Ａ，１９Ｂは、その人の発話による音声を取得する。タブレットコンピュータ２は、取得されたお参りする人の画像と音声とに基づいて、亡くなった人との人工的な（擬似的な）対話のために、亡くなった人の顔画像を合成し、亡くなった人の音声を合成する。そして、タブレットコンピュータ２は、合成された顔画像と合成された音声とを用いて、顔画像をタッチスクリーンディスプレイ１７の画面に表示し、音声をスピーカー１８Ａ，１８Ｂから出力する。なお、タッチスクリーンディスプレイ１７の画面には、亡くなった人の画像だけでなく、位牌、花立、火立、香炉、供物、花仏水器、りん、等の仏具の画像が表示されてもよい。
【００１３】
これによりユーザは、対話技術が融合された仏壇１によって、亡くなった人との擬似的なコミュニケーションを図ることができるので、悲しみや孤独感を軽減することができる。
【００１４】
なお、お参りする人の画像と音声とに基づいて、亡くなった人の顔画像を合成する処理と亡くなった人の音声を合成する処理とは、クラウドサーバ３に設けられた対話エンジンによって実行されてもよい。その場合、タブレットコンピュータ２は、取得されたお参りする人の画像と音声のデータを、ネットワークを介してクラウドサーバ３に送信する。そして、タブレットコンピュータ２は、クラウドサーバ３によって合成された、亡くなった人の顔画像と音声のデータを受信し、そのデータを用いて、亡くなった人の顔画像をタッチスクリーンディスプレイ１７の画面に表示し、亡くなった人の音声をスピーカー１８Ａ，１８Ｂから出力する。
【００１５】
また、図２に示すように、仏壇１は、死んだ動物を供養するための仏壇であってもよい。タブレットコンピュータ２は、取得されたお参りする人の画像と音声とを用いて、死んだ動物との人工的な（擬似的な）コミュニケーションのために、その動物の画像（顔画像又は全身画像）を合成し、その動物の音声を合成する。そして、タブレットコンピュータ２は、合成された画像と合成された音声とを用いて、画像をタッチスクリーンディスプレイ１７の画面に表示し、音声をスピーカー１８Ａ，１８Ｂから出力する。
【００１６】
次いで、図３を参照して、ユーザ（お参りする人）と、過去に存在した人や動物との擬似的な対話（コミュニケーション）が開始されるトリガの例を説明する。
【００１７】
タブレットコンピュータ２は、例えば、カメラモジュール１６によって取得される画像からユーザの顔画像が検出された場合に対話を開始する。また、タブレットコンピュータ２は、例えば、マイク１９Ａ，１９Ｂによって取得される音声からユーザによる発話が検出された場合に対話を開始する。なお、検出される発話は、亡くなった人や死んだ動物の名前の呼びかけのような、所定の言葉を含む発話であってもよい。
【００１８】
さらに、タブレットコンピュータ２は、例えば、マイク１９Ａ，１９Ｂによって取得される音声から、仏壇１の近傍に配置される「りん」５の音が検出された場合に、亡くなった人や死んだ動物との対話を開始してもよい。また、通信機能を有する「りん」５とタブレットコンピュータ２との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）のような通信接続（有線又は無線）を確立し、ユーザが「りん」５を使用した操作に応じて、対話の開始を要求する信号がタブレットコンピュータ２に送信されるようにしてもよい。
【００１９】
図４は、タブレットコンピュータ２のシステム構成を示す図である。  
タブレットコンピュータ２は、図４に示されるように、ＣＰＵ１００、システムコントローラ１０１、タッチコントローラ１０２、メモリ１０３、表示コントローラ１０４、ＢＩＯＳ−ＲＯＭ１０５、エンベデッドマルチメディアカード（ｅＭＭＣ）１０６、電源管理ＩＣ（ＰＭＩＣ）１０８、Ａｕｄｉｏ  Ｃｏｄｅｃ１１０、３Ｇ／ＬＴＥモジュール１１１、ＬＡＮモジュール１１２、ＢＴモジュール１１３、カードコントローラ１１４、ＵＳＢコネクタ１１５、カメラモジュール１６、等を備える。
【００２０】
ＣＰＵ１００は、タブレットコンピュータ２内の各種コンポーネントの動作を制御するプロセッサーである。ＣＰＵ１００は、ストレージデバイスであるｅＭＭＣ１０６からメモリ１０３にロードされる各種ソフトウェアを実行する。ｅＭＭＣ１０６は、フラッシュメモリを利用した、組み込み機器向けの外部記憶装置であり、マルチメディアカード（ＭＭＣ）と同一のインタフェースで外部と接続される。ソフトウェアには、オペレーティングシステム（ＯＳ）２０１、及び各種アプリケーションプログラムが含まれている。また、アプリケーションプログラムには、対話アプリケーションプログラム２０２が含まれている。この対話アプリケーションプログラム２０２は、例えば、タブレットコンピュータ２を使用するユーザ（例えば、仏壇１にお参りする人）に、過去に存在した人や動物との擬似的な対話を提供する機能を有する。
【００２１】
また、ＣＰＵ１００は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。
【００２２】
システムコントローラ１０１は、ＣＰＵ１００のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０１には、メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ１０１は、ＰＣＩ  ＥＸＰＲＥＳＳ規格のシリアルバスなどを介して表示コントローラ１０４との通信を実行する機能も有している。
【００２３】
表示コントローラ１０４は、本タブレットコンピュータ２のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。この表示コントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂが配置されている。タッチコントローラ１０２は、タッチパネル１７Ｂ上での指等を用いた操作に応じて、タッチパネル１７Ｂ上の操作位置を示す操作信号をシステムコントローラ１０１に出力する。
【００２４】
さらに、システムコントローラ１０１は、Ａｕｄｉｏ  Ｃｏｄｅｃ１１０との通信を実行する機能も有している。Ａｕｄｉｏ  Ｃｏｄｅｃ１１０は、マイク１９Ａ，１９Ｂによって検出された音声（例えば、ユーザが発話したことによる音声）を符号化することによって、所定の形式のオーディオデータを生成する。また、Ａｕｄｉｏ  Ｃｏｄｅｃ１１０は、再生対象のオーディオデータを復号し、復号された音声をスピーカー１８Ａ，１８Ｂから出力する。システムコントローラ１０１は、ＵＳＢコネクタ１１５に接続されたＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行するためのＵＳＢコントローラも内蔵している。
【００２５】
ＰＭＩＣ１０８は、ＡＣ又はバッテリー１０８Ａから供給される電力を管理するためのワンチップマイクロコンピュータである。ＰＭＩＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレットコンピュータ２を電源オン又は電源オフする機能を有している。
【００２６】
カメラモジュール１６は、画像を撮影し、撮影された画像のデータをシステムコントローラ１０１に出力する。カメラモジュール１６は、動画像（映像）のような、連続した複数の画像を撮影することもできる。
【００２７】
３Ｇ／ＬＴＥモジュール１１１は、アンテナ１１１Ａを介して、３Ｇ移動通信又はＬＴＥ通信を実行するように構成されたデバイスである。ＬＡＮモジュール１１２は、アンテナ１１２Ａを介して、例えばＩＥＥＥ  ８０２．１１ｇ規格の無線通信や、ＩＥＥＥ  ８０２．３規格の有線通信を実行する通信デバイスである。Ｂｌｕｅｔｏｏｔｈモジュール１１０は、アンテナ１１３Ａを介して、外部機器とのＢｌｕｅｔｏｏｔｈ通信を実行する通信デバイスである。
【００２８】
カードコントローラ１１４は、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。人感センサ１１６は、例えば、タブレットコンピュータ２の画面の前方に人が存在するか否かを検出するセンサである。
【００２９】
次いで、図５を参照して、本タブレットコンピュータ２によって実行される対話アプリケーションプログラム２０２の機能構成を説明する。上述したように、対話アプリケーションプログラム２０２は、例えば、タブレットコンピュータ２を使用するユーザ（例えば、仏壇１にお参りする人）に、過去に存在した人や動物との擬似的な対話を提供する機能、等を有する。対話アプリケーションプログラム２０２は、音声認識部３０２、意図理解部３０３、顔・人物認識部３０５、表情認識部３０６、対話制御部３０７、音声合成部３０８、顔生成部３１０、表情合成部３１１、等を備える。
【００３０】
まず、音声認識部３０２及び顔・人物認識部３０５は、過去に存在した人や動物との対話が要求されたか否かを判定する。音声認識部３０２は、例えば、マイク１９Ａ，１９Ｂによって生成された音声から所定の音声が検出された場合に、過去に存在した人との対話が要求されたことを決定する。顔・人物認識部３０５は、例えば、カメラモジュール１６で撮影された画像から人が検出された場合に、過去に存在した人との対話が要求されたことを決定する。なお、人感センサ１１６によって人が検出された場合に、過去に存在した人との対話が要求されたことが決定されてもよい。
【００３１】
過去に存在した人との対話が要求されている場合、マイク１９Ａ，１９Ｂを用いた音声入力３０１によって、ユーザの発話による音声（音声データ）が入力され、カメラモジュール１６を用いた画像入力３０４によって、当該ユーザの画像（画像データ）が入力される。音声認識部３０２、意図理解部３０３及び対話制御部３０７は、ユーザの発話内容に応答するためのセンテンスを生成する。音声合成部３０８は、データベース４０４〜４１４に記憶された、亡くなった人又は動物（すなわち、過去に存在した人又は動物）に関する情報と、生成されたセンテンスとに基づいて、その亡くなった人又は動物の音声を合成する。また、顔生成部３１０及び表情合成部３１１は、データベース４０４〜４１４に記憶された、亡くなった人又は動物に関する情報と、生成されたセンテンスとに基づいて、その亡くなった人又は動物の画像（顔画像）を合成する。
【００３２】
音声認識部３０２は、音声認識辞書４０１を用いて、ユーザの発話による音声に音声認識処理を施すことによって、音声に対応するテキストを生成する。音声認識辞書４０１には、例えば、言葉の音の最小単位である音素と特徴量との対応を示す情報と、音素列と単語との対応を示す情報とが含まれている。
【００３３】
より具体的には、まず、音声認識部３０２は音声から雑音を除去し、特徴量を算出する。音声認識部３０２は、音声認識辞書４０１を用いて、算出された特徴量に基づいて音声に対応する音素列を生成する。そして、音声認識部３０２は、音声認識辞書４０１を用いて、変換された音素列に対応する単語を決定する。なお、音声認識部３０２は、音素列に対応する複数の単語の候補を決定し、連続する単語のつながりの尤もらしさに基づいて、音素列に対応する単語列（テキスト）を決定するようにしてもよい。
【００３４】
次いで、意図理解部３０３は、知識データベース４０２と意図理解データベース４０３とを用いて、生成されたテキスト（単語列）の意図を検出する。知識データベース４０２は、単語に対応する内容や特徴のような知識を示す情報を含む。意図理解データベース４０３は、単語に対応する知識を示す情報から、テキスト（単語列）の内容（意図）を決定するための情報を含む。意図理解部３０３は、例えば、生成されたテキストが、挨拶の言葉であることや、過去に存在した人や動物の名前の呼びかけであることを検出する。
【００３５】
また、顔・人物認識部３０５は、顔／表情データベース４０４を用いて、入力されたユーザの画像に顔認識処理を施すことによって、画像から顔画像の領域を検出し、当該顔画像に対応する人物を決定する。そして、表情認識部３０６は、顔／表情データベース４０４を用いて、ユーザの顔画像に表情認識処理を施すことによって、顔画像に対応する表情を決定する。顔／表情データベース４０４には、例えば、タブレットコンピュータ２を使用する１以上の人物に対応する顔画像を示す情報と表情を識別するための情報とが格納されている。これら情報は、画像自体ではなく、例えば特徴量として格納されている。
【００３６】
より具体的には、顔・人物認識部３０２は、ユーザの顔画像を用いて、人物を認識するための特徴量を算出する。そして、顔・人物認識部３０２は、算出された特徴量と、顔／表情データベース４０４に格納された人物の顔画像に対応する特徴量との類似度を算出し、顔／表情データベース４０４に顔画像が格納されている人物から、最も高い類似度を有する顔画像の人物を決定する。
【００３７】
表情認識部３０６は、ユーザの顔画像に対応する表情を識別する。識別される表情には、例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ、無表情、等の複数の表情が含まれる。表情認識部３０６は、ユーザの顔画像を用いて、表情を認識するための特徴量を算出する。表情認識部３０６は、ユーザの顔画像に対応する特徴量と、各表情に対応する特徴量との類似度を算出し、複数の表情から、最も高い類似度を有する表情を決定する。
【００３８】
次いで、対話制御部３０７は、ユーザの発話内容に応答するためのセンテンスを生成する。対話制御部３０７は、ユーザの発話による音声に対応するテキストと、データベース４０５〜４１０に格納された、過去に存在した人又は動物に関する情報とに基づいて、ユーザの発話内容に応答するためのセンテンスを生成する。また、音声合成部３０８は、データベース４１１〜４１３に格納された、過去に存在した人又は動物に関する情報と、生成されたセンテンスとに基づいて、過去に存在した人又は動物の音声を合成する。つまり、対話制御部３０７及び音声合成部３０８は、ユーザの発話による音声に対応するテキストと、過去に存在した人又は動物に関する情報とに基づいて、過去に存在した人又は動物の音声を合成する。
【００３９】
なお、対話制御部３０７は、ユーザの発話による音声に対応するテキストと、ユーザの顔画像に対応する人物と、当該顔画像に対応する表情と、過去に存在した人又は動物に関する情報とに基づいて、ユーザの発話内容に応答するためのセンテンスを生成してもよい。つまり、対話制御部３０７及び音声合成部３０８は、ユーザの発話による音声に対応するテキストと、ユーザの顔画像に対応する人物と、当該顔画像に対応する表情と、過去に存在した人又は動物に関する情報とに基づいて、過去に存在した人又は動物の音声を合成してもよい。
【００４０】
また、顔生成部３１０及び表情合成部３１１は、データベース４１４に格納された、過去に存在した人又は動物に関する情報と、対話制御部３０７によって生成されたセンテンスとに基づいて、過去に存在した人又は動物の画像を合成する。つまり、対話制御部３０７、顔生成部３１０及び表情合成部３１１は、ユーザの発話による音声に対応するテキストと、過去に存在した人又は動物に関する情報とに基づいて、過去に存在した人又は動物の画像を合成する。なお、対話制御部３０７、顔生成部３１０及び表情合成部３１１は、ユーザの発話による音声に対応するテキストと、ユーザの顔画像に対応する人物と、ユーザの顔画像に対応する表情と、過去に存在した人又は動物に関する情報とに基づいて、過去に存在した人又は動物の画像を合成してもよい。
【００４１】
より具体的には、ユーザが過去に存在した人（亡くなった人）と対話しようとする場合、対話制御部３０７は、家族／人物データベース４０５、故人嗜好データベース４０６、故人経験データベース４０７、雑談用データベース４０８、会話履歴データベース４０９、及び会話人物データベース４１０の少なくとも一つを用いて、意図理解部３０３によって検出されたテキストの意図と、ユーザの顔画像から決定された人物及び表情とに基づいて、ユーザの発話内容に応答するためのセンテンス（文章）を生成する。
【００４２】
家族／人物データベース４０５は、過去に存在した人の家族構成を示す家系図と友人関係とを示す情報や、過去に存在した動物（ペット）と家族等との関係を示す情報を含む。故人嗜好データベース４０６は、過去に存在した人の趣味、好きなもの、嫌いなもの、等を示す情報や、過去に存在した動物の好きなもの、嫌いなもの、等を示す情報を含む。故人経験データベース４０７は、過去に存在した人が経験した出来事や過去に存在した動物との思い出を示す情報を含む。雑談用データベース４０８は、雑談に用いられ得る会話や言葉を示す情報を含む。会話履歴データベース４０９は、過去に存在した人との会話の履歴を示す情報や、過去に存在した動物に話しかけた言葉の履歴を示す情報を含む。会話人物データベース４１０は、ユーザ（すなわち、過去に存在した人や動物と対話する人）に関する情報（例えば、年齢、性別、職業、趣味、等）を含む。
【００４３】
なお、対話制御部３０７は、ニュースや天気のような新たな情報や、現在の日付（例えば、日付に対応する季節、日付に対応するイベント）をさらに用いて、ユーザの発話内容に応答するためのセンテンスを生成してもよい。
【００４４】
そして、音声合成部３０８は、合成辞書４１１、似声データベース４１２及び話方データベース４１３を用いて、対話制御部３０７によって生成されたセンテンスを音声出力するための、過去に存在した人の音声を合成する。合成辞書４１１は、単語と音素列との対応を示す情報と、音素と音声信号（音声データ）との対応を示す情報とを含む。似声データベース４１２は、過去に存在した人の声（声質）を示す情報や、過去に存在した動物の鳴き声の声質を示す情報を含む。話方データベース４１３は、過去に存在した人の話し方のイントネーションやリズムを示す情報や、過去に存在した動物の鳴き方のリズムを示す情報を含む。
【００４５】
また、顔生成部３１０及び表情合成部３１１は、故人顔／表情データベース４１４を用いて、生成されたセンテンスと、決定された人物及び表情とに基づいて、過去に存在した人の顔画像を合成する。故人顔／表情データベース４１４は、過去に存在した人の顔画像と様々な表情（例えば、喜び、驚き、恐怖、嫌悪、怒り、悲しみ、無表情、等）とを示す情報や、死んだ動物の画像（顔画像）と様々な表情や仕種とを示す情報を含む。
【００４６】
なお、顔生成部３１０及び表情合成部３１１は、故人顔／表情データベース４１４を用いて、生成されたセンテンスと、決定された人物及び表情とに基づいて、合成された音声に応じて変化する過去に存在した人の動画像（顔の動画像）を合成してもよい。顔生成部３１０及び表情合成部３１１は、例えば、合成された音声の抑揚やリズム、当該音声で話される内容に応じて、表情が変化する動画像を合成する。
【００４７】
次いで、スピーカー１８Ａ，１８Ｂを用いた音声出力３０９によって、スピーカー１８Ａ，１８Ｂから合成された故人の音声が出力され、ＬＣＤ１７Ａを用いた顔出力（画像出力）３１２によって、ＬＣＤ１７Ａの画面に合成された故人の顔画像が表示される。
【００４８】
上述した家族／人物データベース４０５、故人嗜好データベース４０６、故人経験データベース４０７、会話履歴データベース４０９、会話人物データベース４１０、似声データベース４１２、話方データベース４１３、故人顔／表情データベース４１４は、例えば、人が亡くなる前や動物が死ぬ前に予め収集された画像、音声（会話の音声）、テキスト等を含むライフログや、その人が回答したアンケート結果等を用いて作成される。ライフログでは、例えば、日付、イベント、画像、一緒にいた人、場所、等が関連付けて記録されていることがある。このような情報を用いて、亡くなった人の思い出や経験、特徴を表す情報、又は過去に存在した動物との思い出や特徴を表す情報が格納されたデータベース４０５〜４０７、４０９、４１０、４１２〜４１４を構築することができる。
【００４９】
また、これらデータベース４０５〜４０７、４０９、４１０、４１２〜４１４は、人が亡くなった後や動物が死んだ後に、その人や動物（又は動物の飼い主）に関連するソーシャルネットワーキングサービス（ＳＮＳ）のサイト（例えば、Ｆａｃｅｂｏｏｋ（登録商標）、Ｔｗｉｔｔｅｒ（登録商標）、各種のブログ、等）、ローカルやネットワーク上のストレージ、等に保存された画像、映像、音声、テキスト、等の情報を用いて作成されてもよい。ソーシャルネットワーキングサービスのサイトでも、例えば、日付、イベント、画像、一緒にいた人、場所、等が関連付けて記録されていることがあり、このような情報を用いてデータベース４０５〜４０７、４０９、４１０、４１２〜４１４を構築することができる。  
このようなデータベースを用いることにより、過去に存在した人や動物とのより現実的な対話（コミュニケーション）を実現するができる。
【００５０】
また、ユーザが過去に存在した動物と対話しようとする場合、対話制御部３０７は、家族／人物データベース４０５、故人嗜好データベース４０６、故人経験データベース４０７、雑談用データベース４０８、会話履歴データベース４０９、及び会話人物データベース４１０の少なくとも一つを用いて、意図理解部３０３によって検出されたテキストの意図と、ユーザの顔画像から決定された人物及び表情とに基づいて、ユーザに応答するための鳴き声（鳴き方）や仕種を決定する。そして、音声合成部３０８は、似声データベース４１２及び話方データベース４１３を用いて、対話制御部３０７によって決定された鳴き声を音声出力するための、過去に存在した動物の鳴き声を合成する。
【００５１】
また、顔生成部３１０及び表情合成部３１１は、故人顔／表情データベース４１４を用いて、決定された鳴き声及び仕種と、ユーザの顔画像から決定された人物及び表情とに応じた、過去に存在した動物の画像を合成する。顔生成部３１０及び表情合成部３１１は、故人顔／表情データベース４１４を用いて、生成されたセンテンスと、ユーザの顔画像から決定された人物及び表情とに基づいて、合成された音声に応じて変化する動物の動画像を合成してもよい。顔生成部３１０及び表情合成部３１１は、例えば、合成された音声の抑揚やリズム、当該音声の内容に応じて、表情や仕種が変化する動画像を合成する。
【００５２】
そして、スピーカー１８Ａ，１８Ｂを用いた音声出力３０９によって、スピーカー１８Ａ，１８Ｂから合成された動物の音声が出力され、ＬＣＤ１７Ａを用いた顔出力（画像出力）３１２によって、ＬＣＤ１７Ａの画面上に合成された動物の画像が表示される。
【００５３】
なお、１つの仏壇１で、複数の過去に存在した人や動物のそれぞれとの対話が行われる場合も想定される。その場合、対話制御部３０７は、対話しようとするユーザに応じて、対話の相手となる過去に存在した人や動物を決定するようにしてもよい。対話制御部３０７、音声合成部３０８、顔生成部３１０、及び表情合成部３１１は、決定された過去に存在した人や動物に対応する合成された音声をスピーカー１８Ａ，１８Ｂから出力し、合成された画像をＬＣＤ１７Ａの画面に表示する。
【００５４】
次いで、図６のフローチャートを参照して、タブレットコンピュータ２によって実行される対話制御処理の手順の例を説明する。
【００５５】
まず、音声認識部３０２及び顔・人物認識部３０５は、亡くなった人との対話が要求されたか否かを判定する（ブロックＢ１０１）。音声認識部３０２及び顔・人物認識部３０５は、例えば、カメラモジュール１６で撮影された画像から人が検出された場合、マイク１９Ａ，１９Ｂによって生成された音声から所定の音声が検出された場合、人感センサ１１６によって人が検出された場合、等に、亡くなった人との対話が要求されたことを決定する。
【００５６】
対話が要求されていない場合（ブロックＢ１０１のＮＯ）、ブロックＢ１０１に戻り、対話が要求されたか否かが再度判定される。
【００５７】
一方、亡くなった人との対話が要求されている場合（ブロックＢ１０１のＹＥＳ）、マイク１９Ａ，１９Ｂを用いた音声入力３０１によって、ユーザの発話による音声が入力され、カメラモジュール１６を用いた画像入力３０４によって、当該ユーザの画像が入力される（ブロックＢ１０２）。
【００５８】
音声認識部３０２は、音声認識辞書４０１を用いて、入力された音声に対応するテキストを生成する（ブロックＢ１０３）。そして、意図理解部３０３は、知識データベース４０２と意図理解データベース４０３とを用いて、生成されたテキストの意図を検出する（ブロックＢ１０４）。
【００５９】
また、顔・人物認識部３０５は、顔／表情データベース４０４を用いて、入力された画像から顔画像を検出し、その顔画像に対応する人物を決定する（ブロックＢ１０５）。そして、表情認識部３０６は、顔／表情データベース４０４を用いて、顔・人物認識部３０５によって検出された顔画像に対応する表情を決定する（ブロックＢ１０６）。
【００６０】
次いで、対話制御部３０７は、家族／人物データベース４０５、故人嗜好データベース４０６、故人経験データベース４０７、雑談用データベース４０８、会話履歴データベース４０９、及び会話人物データベース４１０を用いて、検出されたテキストの意図と、決定された人物及び表情とに応じた、ユーザに応答するための文章（センテンス）を生成する（ブロックＢ１０７）。音声合成部３０８は、合成辞書４１１、似声データベース４１２及び話方データベース４１３を用いて、生成された文章を音声出力するための故人の音声を合成する（ブロックＢ１０８）。
【００６１】
また、顔生成部３１０及び表情合成部３１１は、故人顔／表情データベース４１４を用いて、生成された文章と、決定された人物及び表情とに応じた、故人の顔画像を合成する（ブロックＢ１０９）。そして、スピーカー１８Ａ，１８Ｂを用いた音声出力３０９によって、スピーカー１８Ａ，１８Ｂから合成された故人の音声が出力され、ＬＣＤ１７Ａを用いた顔出力（映像出力）３１２によって、ＬＣＤ１７Ａの画面に合成された故人の顔画像が表示される（ブロックＢ１１０）。
【００６２】
上述した対話制御処理は、タブレットコンピュータ２ではなく、タブレットコンピュータ２とネットワークを介して接続されたクラウドサーバ３によって実行されてもよい。その場合、タブレットコンピュータ２では、クラウドサーバ３による処理結果に基づいて、故人の合成された音声がスピーカー１８Ａ，１８Ｂから出力され、故人の合成された画像がＬＣＤ１７Ａの画面に表示される。
【００６３】
なお、上述した説明では、過去に存在した人との対話の処理の例について記載したが、過去に存在した動物との対話（コミュニケーション）も同様の処理によって実現することができる。過去に存在した動物との対話の場合には、対話制御部３０７は、ユーザに応答する文章（センテンス）の代わりに、例えば、ユーザに応答する鳴き声や仕種を決定する。
【００６４】
また、図７に示すように、本実施形態の電子機器はテレビジョン受信機５０として実現されてもよい。このテレビジョン受信機５０は、上述した過去に存在した人や動物との対話を実現する対話機能を有する。テレビジョン受信機５０に設けられるＬＣＤ５８の画面には、過去に存在した人や動物の画像だけでなく、仏壇の画像や、位牌、花立、火立、香炉、供物、花仏水器、りん、等の仏具の画像が表示されてもよい。
【００６５】
デジタルテレビジョン受信機５０は、薄い箱形の筐体を有している。デジタルテレビジョン受信機５０の前面には、この箱形の筐体に重ね合わせるように、ＬＣＤ５８が設けられている。デジタルテレビジョン受信機５０の前面下部には、受光部５１、ＬＥＤ５２、人感センサ５４、マイク５５などが配置されている。受光部５１は、リモートコントローラによって送信される信号を受信する。ＬＥＤ５２は、電源のオン／オフ、待機状態等を示す。人感センサ５４は、テレビジョン受信機５０の前方に人が存在することを検出する。マイク５５は、テレビジョン受信機５０を使用する人（例えば、テレビジョン受信機５０に画面に表示される仏壇にお参りする人）の発声による音声を取得する。また、デジタルテレビジョン受信機５０の前面上部には、テレビジョン受信機５０を使用する人の画像（顔画像）を撮影するカメラモジュール５３が設けられている。
【００６６】
さらに、デジタルテレビジョン受信機５０の側面には、操作部５６とスピーカー５７とが設けられている。操作部５６には、テレビジョン受信機５０を操作するための各種のボタンが設けられる。操作部５６は、例えば、デジタルテレビジョン受信機５０を電源オン／電源オフするための主電源ボタン、チャンネルを切り替えるためのチャンネルボタン等を備える。スピーカー５６は音声を出力する。
【００６７】
デジタルテレビジョン受信機５０で上述の対話機能が利用される場合、例えば、このデジタルテレビジョン受信機５０内に設けられるプロセッサーによって、図５を参照して説明した対話アプリケーションプログラム２０２が実行される。これにより、マイク５５によって取得されるユーザの発声による音声と、カメラモジュール５３によって取得されるユーザの顔画像と、過去に存在した人や動物に関する情報とに基づいて、スピーカー５７から過去に存在した人や動物の合成された（人工的な）音声が出力され、ＬＣＤ５８の画面に過去に存在した人や動物の合成された画像が表示される。  
したがってユーザは、テレビジョン受信機５０を用いて、亡くなった人や死んだ動物に対するお参りや、亡くなった人や死んだ動物との擬似的な対話を行うことができる。
【００６８】
以上説明したように、本実施形態によれば、過去に存在した人や死んだ動物との擬似的なコミュニケーションを実現することができる。データベース４０５〜４１４は、過去に存在した人又は動物に関する情報を記憶する。音声認識部３０２、意図理解部３０３及び対話制御部３０７は、ユーザの発話内容に応答するためのセンテンスを生成する。音声合成部３０８は、データベース４０５〜４１４に記憶された情報と、生成されたセンテンスとに基づいて、その過去に存在した人又は動物の音声を合成する。
【００６９】
ユーザ（仏壇１にお参りする人）は、合成された音声によって、過去に存在した人や動物との擬似的な会話を行うことができるので、家族やペットを亡くした悲しみや孤独感を軽減することができる。また、このような対話機能によって、故人や先祖を供養する機会が増え、またユーザは過去に存在した人や動物との出来事を思い出すことができる。
【００７０】
さらに、この対話機能は、仏壇１や墓石の新たな機能として、祭礼用具を製造・販売する業界のビジネスの機会を広げることに貢献できる。また、タブレットコンピュータ２やスマートフォン上で実行される対話アプリケーションプログラム２０２として、亡くなった人や死んだ動物に対する供養の新たな機会をユーザに提供することができる。
【００７１】
なお、本実施形態の対話制御処理の手順は全てソフトウェアによって実行することができる。このため、対話制御処理の手順を実行するプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
【００７２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７３】
２０２…対話アプリケーションプログラム、３０１…音声入力、３０２…音声認識部、３０３…意図理解部、３０４…画像入力、３０５…顔・人物認識部、３０６…表情認識部、３０７…対話制御部、３０８…音声合成部、３０９…音声出力、３１０…顔生成部、３１１…表情合成部、３１２…顔出力、４０１…音声認識辞書、４０２…知識データベース、４０３…意図理解データベース、４０４…顔／表情データベース、４０５…家族／人物データベース、４０６…故人嗜好データベース、４０７…故人経験データベース、４０８…雑談用データベース、４０９…会話履歴データベース、４１０…会話人物データベース、４１１…合成辞書、４１２…似声データベース、４１３…話方データベース、４１４…故人顔／表情データベース
【図１】
2015173857.tif 000003
【図２】
2015173857.tif 000004
【図３】
2015173857.tif 000005
【図４】
2015173857.tif 000006
【図５】
2015173857.tif 000007
【図６】
2015173857.tif 000008
【図７】
2015173857.tif 000009