(57)【要約】【課題】本発明は、表示装置を有さない場合であっても音声と画像又はテキスト文とを変換することができる音声変換装置、画像変換サーバ装置、音声変換プログラム及び画像変換プログラム目的とする。【解決手段】音声変換装置１は、文字データと画像データとを対応付けた画像データベース１５と、入力された音声を、画像データベース１５を参照して外部装置に送出する画像データに変換する音声画像変換部１１と、通信相手が送信した画像データを、画像データベース１５を参照して音声に変換する画像音声変換部１３と、画像音声変換部１３で変換されて再生された音声を出力する音声出力部１９とを備えている。【選択図】図２
2019179190.tif 000002
【特許請求の範囲】
【請求項１】
文字データと画像データとを対応付けた記憶部と、
入力された音声を、前記記憶部を参照して外部装置に送出する画像データに変換する音声画像変換部と、
通信相手が送信した画像データを、前記記憶部を参照して音声に変換する画像音声変換部と、
前記画像音声変換部で変換されて再生された音声を出力する音声出力部と
を備えることを特徴とする音声変換装置。
【請求項２】
前記音声画像変換部は、入力された前記音声に含まれる使用者の意図が推定された意図推定情報を、前記記憶部を参照して前記画像データに変換し、
前記画像音声変換部は、前記通信相手が送信した画像データを、前記記憶部を参照して、前記通信相手の意図が推定された前記音声に変換すること
を特徴とする請求項１に記載の音声変換装置。
【請求項３】
前記音声画像変換部は、
入力された音声を認識する音声認識部と、
前記音声認識部で認識されて変換された文字データに含まれる使用者の意図を推定する第一意図推定部と、
前記記憶部を参照して、前記第一意図推定部で推定された意図推定情報に対応する画像データを検索する画像データ検索部と、
前記画像データ検索部で検索された画像データを送出する画像データ送出部と
を有すること
を特徴とする請求項２に記載の音声変換装置。
【請求項４】
前記画像音声変換部は、
前記記憶部を参照して、入力された画像データに対応する文字データを選択する文字データ選択部と、
前記文字データ選択部で選択された文字データに基づいて通信相手の意図を推定する第二意図推定部と、
前記第二意図推定部で推定された意図推定情報に基づいて、再生する音声を合成する音声合成再生部と
を有すること
を特徴とする請求項２又は３に記載の音声変換装置。
【請求項５】
前記画像音声変換部は、入力された画像データを前記文字データ選択部で処理可能なデータ形式に展開する画像データ展開部を有すること
を特徴とする請求項４に記載の音声変換装置。
【請求項６】
文字データと画像データとを対応付けた記憶部と、
受信した文字データを、前記記憶部を参照して画像データに変換する文字画像変換部と、
受信した画像データを、前記記憶部を参照して文字データに変換する画像文字変換部と
を備えることを特徴とする画像変換サーバ装置。
【請求項７】
前記文字画像変換部は、受信した前記文字データであって音声に含まれる第一使用者の意図が推定された意図推定情報を、前記記憶部を参照して前記画像データに変換し、
前記画像文字変換部は、第二使用者から送信されて受信した前記画像データを、前記記憶部を参照して、前記第二使用者の意図が推定された文字データに変換すること
を特徴とする請求項６に記載の画像変換サーバ装置。
【請求項８】
前記文字画像変換部は、
受信した意図推定情報に対応する画像データを、前記記憶部を参照して検索する画像データ検索部と、
前記画像データ検索部で検索された画像データを送出する画像データ送出部と
を有すること
を特徴とする請求項７に記載の画像変換サーバ装置。
【請求項９】
前記画像文字変換部は、
前記記憶部を参照して、入力された画像データに対応する文字データを選択する文字データ選択部と、
前記文字データ選択部で選択された文字データに基づいて前記第二使用者の意図を推定する意図推定部と、
前記意図推定部で推定された意図推定情報を送出する意図推定情報送出部と
を有すること
を特徴とする請求項７又は８に記載の画像変換サーバ装置。
【請求項１０】
前記画像文字変換部は、入力された画像データを前記文字データ選択部で処理可能なデータ形式に展開する画像データ展開部を有すること
を特徴とする請求項９に記載の画像変換サーバ装置。
【請求項１１】
コンピュータを、
文字データと画像データとを対応付けた記憶部、
入力された音声を、前記記憶部を参照して外部装置に送出する画像データに変換する音声画像変換部、及び
通信相手が送信した画像データを、前記記憶部を参照して音声に変換する画像音声変換部
として機能させることを特徴とする音声変換プログラム。
【請求項１２】
コンピュータを、
文字データと画像データとを対応付けた記憶部、
受信した文字データを、前記記憶部を参照して画像データに変換する文字画像変換部、及び
受信した画像データを、前記記憶部を参照して文字データに変換する画像文字変換部
として機能させることを特徴とする画像変換プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声変換装置、画像変換サーバ装置、音声変換プログラム及び画像変換プログラムに関する。
【背景技術】
【０００２】
絵文字などを音声に変換したり音声を絵文字などに変換したりする技術が知られている（特許文献１及び２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／００２２５１号
【特許文献２】特許第４９３０５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年増加傾向にあるスマートスピーカでは、スマートフォンなどの携帯情報端末装置との間でソーシャルネットワーキングサービス（ＳＮＳ）を音声によって送受信することが可能になりつつある。しかし、表示装置を有さないスマートスピーカは、絵文字や画像を送受信することが困難であるという問題がある。
【０００５】
本発明の目的は、表示装置を有さない場合であっても音声と画像又はテキスト文とを変換することができる音声変換装置、画像変換サーバ装置、音声変換プログラム及び画像変換プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一態様による音声変換装置は、文字データと画像データとを対応付けた記憶部と、入力された音声を、前記記憶部を参照して外部装置に送出する画像データに変換する音声画像変換部と、通信相手が送信した画像データを、前記記憶部を参照して音声に変換する画像音声変換部と、前記画像音声変換部で変換されて再生された音声を出力する音声出力部とを備えることを特徴とする。
【０００７】
また、上記目的を達成するために、本発明の一態様による画像変換サーバ装置は、文字データと画像データとを対応付けた記憶部と、受信した文字データを、前記記憶部を参照して画像データに変換する文字画像変換部と、受信した画像データを、前記記憶部を参照して文字データに変換する画像文字変換部とを備えることを特徴とする。
【０００８】
また、上記目的を達成するために、本発明の一態様による音声変換プログラムは、コンピュータを、文字データと画像データとを対応付けた記憶部、入力された音声を、前記記憶部を参照して外部装置に送出する画像データに変換する音声画像変換部、及び通信相手が送信した画像データを、前記記憶部を参照して音声に変換する画像音声変換部として機能させることを特徴とする。
【０００９】
また、上記目的を達成するために、本発明の一態様による画像変換プログラムは、コンピュータを、文字データと画像データとを対応付けた記憶部、受信した文字データを、前記記憶部を参照して画像データに変換する文字画像変換部、及び受信した画像データを、前記記憶部を参照して文字データに変換する画像文字変換部として機能させることを特徴とする。
【発明の効果】
【００１０】
本発明の各態様によれば、表示装置を有さない場合であっても音声と画像又はテキスト文とを変換することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態による音声変換装置１を含むメッセージ交換システムＭＳの構成図である。
【図２】本発明の第１実施形態による音声変換装置１の概略構成を示すブロック図である。
【図３】本発明の第１実施形態の音声変換装置１の動作を説明する図であって、画像送信処理の流れの一例を示すフローチャートである。
【図４】本発明の第１実施形態の音声変換装置１の動作を説明する図であって、画像受信処理の流れの一例を示すフローチャートである。
【図５】本発明の第２実施形態による画像変換サーバ装置７の概略構成を示すブロック図である。
【図６】本発明の第２実施形態の画像変換サーバ装置７の動作を説明する図であって、画像送信処理の流れの一例を示すフローチャートである。
【図７】本発明の第２実施形態の画像変換サーバ装置７の動作を説明する図であって、画像受信処理の流れの一例を示すフローチャートである。
【図８】本発明の第１実施形態及び第２実施形態の実施例１を説明する図である。
【図９】本発明の第１実施形態及び第２実施形態の実施例２を説明する図である。
【図１０】本発明の第１実施形態及び第２実施形態の実施例３を説明する図である。
【図１１】本発明の第１実施形態及び第２実施形態の実施例４を説明する図である。
【図１２】本発明の第１実施形態及び第２実施形態の実施例５を説明する図である。
【発明を実施するための形態】
【００１２】
１．第１実施形態
本発明の第１実施形態による音声変換装置を含むメッセージ交換システムについて、図１を用いて説明する。
【００１３】
（１−１）メッセージ交換システム
図１に示すように、メッセージ交換システムＭＳは、メッセージ交換サーバ３と、メッセージ交換サーバ３との間で文字データや画像データを送受信する音声処理装置９と、メッセージ交換サーバ３との間で文字データや画像データを送受信する携帯情報端末装置Ｍとを備えている。
【００１４】
メッセージ交換サーバ３は、メッセージ交換サーバ３に接続された複数の装置（図１では、音声処理装置９及び携帯情報端末装置Ｍ）の間で文字データや画像データなどのデータの送受信を仲介するようになっている。メッセージ交換サーバ３は、例えば通信ネットワーク（不図示）を介して音声処理装置９及び携帯情報端末装置Ｍとの間でデータを送受信するようになっている。メッセージ交換サーバ３は、例えば音声処理装置９から送信された画像データを携帯情報端末装置Ｍに送信したり、携帯情報端末装置Ｍから送信された画像データを音声処理装置９に送信したりする。
【００１５】
音声処理装置９は、例えばスマートフォン、スマートスピーカ、対話式ロボットやスマート家電等の音声認識機能とネットワーク通信機能とを発揮することが可能な装置（ネットワーク型音声認識機器）である。また、音声処理装置９は、表示装置を有さず、音声処理装置９の使用者との間のインタフェースに音声を用いるようになっている。
【００１６】
詳細は後述するが、音声処理装置９は、音声変換装置１（詳細は後述）を備え、使用者が入力した音声を画像データや文字データに変換し、変換した画像データや文字データをメッセージ交換サーバ３に送信したり、メッセージ交換サーバ３から送信された画像データや文字データを音声に変換して使用者に送出したりすることができる。また、音声処理装置９は、当該機能の他に、音声によって情報検索サービスを提供できる。
【００１７】
携帯情報端末装置Ｍは、例えばスマートフォン、携帯電話機器又はモバイル型のパーソナルコンピュータなどのネットワーク通信機能を発揮することが可能な装置である。また、メッセージ交換サーバ３を介して音声処理装置９に備えられた音声変換装置１と文字データや画像データを送受信する装置は、携帯情報端末装置Ｍに限られず、据え置き型のパーソナルコンピュータであってもよい。
【００１８】
（１−２）音声交換装置の構成
本発明の第１実施形態による音声交換装置について図１を参照しつつ、図２から図４を用いて説明する。まず、本実施形態による音声変換装置１の概略構成について図２を用いて説明する。図２では、理解を容易にするため、音声変換装置１に備えられた画像データベース１５に格納された情報が模式的に図示されている。
【００１９】
図２に示すように、本実施形態による音声変換装置１は、文字データと画像データとを対応付けた画像データベース（記憶部の一例）１５を備えている。画像データベース１５は、文字データを格納する格納領域である「意味情報」と、画像データを格納する格納領域である「画像情報」とを有している。格納領域「意味情報」には、複数の文字データが格納でき、格納領域「画像情報」には、複数の画像データが格納できるようになっている。図２では、格納領域「意味情報」には、「大丈夫？」、「うるさい！」及び「ありがとう！」の３つの文字データが格納され、格納領域「画像情報」には、「ｄａｉｊｏｕｂｕ．ｐｎｇ」、「ｕｒｕｓａｉ．ｐｎｇ」及び「ａｒｉｇａｔｏ．ｐｎｇ」が格納されている。画像データベース１５において、文字データ「大丈夫？」と画像データ「ｄａｉｊｏｕｂｕ．ｐｎｇ」とが対応付けられ、文字データ「うるさい！」と画像データ「ｕｒｕｓａｉ．ｐｎｇ」とが対応付けられ、文字データ「ありがとう！」と画像データ「ａｒｉｇａｔｏ．ｐｎｇ」とが対応付けられている。図示は省略するが、画像データベース１５には、同じ意味を有するものの発話の意図が異なる文字データは、異なるデータとして格納される。例えば、「ありがとう」という意味を有する文字データであっても、感謝の程度が異なる場合には、別の文字データ及び画像データとして画像データベース１５に格納される。
【００２０】
音声変換装置１は、音声変換装置１の使用者（以下、単に「使用者」と称する）が発話した音声が入力される音声入力部１７と、音声入力部１７から入力された音声を、画像データベース（記憶部の一例）１５を参照してメッセージ交換サーバ（外部装置の一例）３に送出する画像データに変換する音声画像変換部１１を備えている。また、音声画像変換部１１は、入力された音声に含まれる使用者の意図が推定された意図推定情報を、画像データベース１５を参照して画像データに変換するようになっている。音声入力部１７は、例えばマイクで構成されている。音声処理装置９（図１参照）の使用者は、音声入力部１７から通信相手（すなわち、本例では携帯情報端末装置Ｍ（図１参照）の使用者）に対するメッセージを入力したり、検索したい情報を入力したりする。音声画像変換部１１の詳細な構成については後述する。
【００２１】
音声変換装置１は、通信相手が送信した画像データを、画像データベース１５を参照して音声に変換する画像音声変換部１３と、画像音声変換部１３で変換されて再生された音声を出力する音声出力部１９とを備えている。ここで、「画像データ」には、所定の装置間で送受信される絵文字、いわゆるスタンプ、その他の画像データが含まれる。また、画像音声変換部１３は、通信相手が送信した画像データを、画像データベース１５を参照して、当該通信相手の意図が推定された音声に変換するようになっている。音声出力部１９は、例えばスピーカで構成されている。画像音声変換部１３の詳細な構成については後述する。
【００２２】
図２に示すように、音声画像変換部１１は、音声入力部１７から入力された音声を認識する音声認識部１１１を有している。音声認識部１１１は、音声入力部１７から入力された音声を認識し、認識した音声を文字データに変換する。また、音声認識部１１１は、音声を文字データに変換することの他に、使用者が音声入力部１７に音声を入力した際の感情も認識するようになっている。音声認識部１１１は、例えば音響解析型の感情認識技術を用いて音声入力部１７に入力された音声に含まれる使用者の感情を認識する。音声認識部１１１は例えば、入力された音声に抑揚がない場合には使用者の感情が昂ぶっていないと認識し、入力された音声に抑揚がある場合には使用者の感情が昂ぶっていると認識する。
【００２３】
音声画像変換部１１は、音声認識部１１１で認識されて変換された文字データに含まれる使用者の意図を推定する第一意図推定部１１３を有している。第一意図推定部１１３は、使用者がどのような意図で発話したのかを音声認識部１１１から入力された文字データに対して推定するようになっている。第一意図推定部１１３は、例えば自然言語処理によって文字データに対する使用者の意図を推定する。第一意図推定部１１３は、音声認識部１１１から入力された文字データのみの短文で使用者の意図を推定してもよい。あるいは、第一意図推定部１１３は、音声認識部１１１から入力された文字データと、入力された音声よりも前に通信相手との間で送受信したメッセージの履歴内容とを用いて使用者の意図を推定してもよい。第一意図推定部１１３は、音声認識部１１１から入力された文字データに、使用者の意図を付加して推定した意図推定情報を生成する。
【００２４】
一方、第一意図推定部１１３は、１つの単語や短文であって使用者の意図や感情が含まれ難い文字データ（例えば、「了解」や「ＯＫ」など）が音声認識部１１１から入力された場合には、入力された文字データに対して意図推定を行わない。第一意図推定部１１３において意図推定しない文字データは、予め設定されていてもよいし、使用者が設定できるようになっていてもよいし、その両方によって設定できるようになっていてもよい。なお、音声認識部１１１において変換された文字データに対して意図推定を行うか否かの判断は、音声認識部１１１が行ってもよい。
【００２５】
音声画像変換部１１は、画像データベース１５を参照して、第一意図推定部１１３で推定された意図推定情報に対応する画像データを検索する画像データ検索部１１５を有している。画像データ検索部１１５は、画像データベース１５の格納領域「意味情報」に格納されている文字データの中から、第一意図推定部１１３から入力された意図推定情報と同一又は最も類似する文字データを選択し、選択した文字データに対応付けられた画像データを格納領域「画像情報」から取得する。画像データ検索部１１５は、意図推定情報と同一の文字データが画像データベース１５に格納されている場合には、当該同一の文字データを選択し、選択した当該同一の文字データに対応付けられた画像データを検索結果として取得する。画像データ検索部１１５は、意図推定情報と同一の文字データが画像データベース１５に格納されていない場合には、類似する文字データの中から最も類似する文字データを選択し、選択した当該最も類似する文字データに対応付けられた画像データを検索結果として取得する。画像データ検索部１１５は、意図推定情報と同一の文字データ及び類似する文字データを画像データベース１５から検索できない場合には、画像データベース１５から画像データを取得しない。このように、音声画像変換部１１は、入力された音声に基づいて使用者の意図が推定された意図推定情報を生成し、当該意図推定情報と同一又は類似の文字データに対応付けられた画像データを取得するようになっている。このため、音声画像変換部１１は、使用者の意図が推定された画像データを取得できる。
【００２６】
一方、画像データ検索部１１５は、意図推定がされていない文字データが入力された場合には、画像データベース１５の格納領域「意味情報」に格納されている文字データの中から、当該文字データと同一又は最も類似する文字データを選択し、選択した文字データに対応付けられた画像データを格納領域「画像情報」から取得する。また、画像データ検索部１１５は、当該文字データと同一の文字データ及び類似する文字データを画像データベース１５から検索できない場合には、画像データベース１５から画像データを取得しない。このように、音声画像変換部１１は、入力された音声に基づく文字データ（すなわち使用者の意図を推定されていない文字データ）と同一又は類似の文字データに対応付けられた画像データを取得することができるようになっている。
【００２７】
画像データ検索部１１５は、画像データを画像データベース１５から取得する際に、意図推定情報と画像データベース１５に格納された文字データとの同一、類似及び非類似（同一でも類似でもない）を、例えば当該意図推定情報及び当該文字データがどの程度一致しているのかを表す一致度で判定してもよい。画像データ検索部１１５は、当該一致度が１００％の場合は、意図推定情報と画像データベース１５に格納された文字データとが同一であると判定してもよい。また、画像データ検索部１１５は、当該一致度が８０％以上１００％未満の場合は、意図推定情報と画像データベース１５に格納された文字データとが類似していると判定してもよい。この場合、画像データ検索部１１５は、意図推定情報と一致度が８０％以上１００％未満の文字データが画像データベース１５に複数個格納されていると判定したら、一致度が最も高い文字データを最も類似する文字データと判定してもよい。また、画像データ検索部１１５は、当該一致度が８０％未満の場合には意図推定情報と画像データベース１５に格納された文字データとが非類似であると判定してもよい。なお、画像データ検索部１１５が当該文字データと同一の文字データ又は類似する文字データを画像データベース１５から取得する方法は、意図推定情報における上述の取得方法と同様であるため、説明は省略する。
【００２８】
音声画像変換部１１は、画像データ検索部１１５で検索された画像データを送出する画像データ送出部１１７を有している。画像データ送出部１１７は、画像データ検索部１１５から入力された画像データをメッセージ交換サーバ３に送出する。画像データ送出部１１７は、画像データだけでなく文字データも送出可能に構成されている。
【００２９】
図２に示すように、画像音声変換部１３は、メッセージ交換サーバ３から入力される画像データを受信する画像データ受信部１３１と、メッセージ交換サーバ３から画像データ受信部１３１を介して入力された画像データを文字データ選択部１３５（詳細は後述）で処理可能なデータ形式に展開する画像データ展開部１３３とを有している。画像データ展開部１３３は、例えば圧縮ファイル形式の画像データを画像データ受信部１３１が受信した場合にこの画像データを解凍する。また、画像データ展開部１３３は、入力された画像データのファイル形式が画像データベース１５に格納された画像データのファイル形式と異なる場合には、入力された画像データのファイル形式を画像データベース１５に格納された画像データのファイル形式に変換する。
【００３０】
画像音声変換部１３は、画像データベース１５を参照して、入力された画像データに対応する文字データを選択する文字データ選択部１３５を有している。文字データ選択部１３５は、画像データベース１５の格納領域「画像情報」に格納された画像データの中から、画像データ展開部１３３から入力された画像データと同一又は最も類似する画像データを検出し、検出した画像データに対応付けられた文字データを格納領域「意味情報」から選択する。文字データ選択部１３５は、入力された画像データと同一の画像データが画像データベース１５に格納されている場合には、当該同一の画像データを選択し、選択した当該同一の画像データに対応付けられた文字データを選択結果として取得する。文字データ選択部１３５は、入力された画像データと同一の画像データが画像データベース１５に格納されていない場合には、類似する画像データの中から最も類似する画像データを選択し、選択した当該最も類似する画像データに対応付けられた文字データを選択結果として取得する。文字データ選択部１３５は、入力された画像データと同一の画像データ及び類似する画像データを画像データベース１５から選択できない場合には、画像データベース１５から文字データを取得しない。
【００３１】
文字データ選択部１３５は、文字データを画像データベース１５から選択する際に、入力された画像データ（入力画像データ）と画像データベース１５に格納された画像データ（格納画像データ）との同一、類似及び非類似（同一でも類似でもない）を、例えば入力画像データ及び格納画像データがどの程度一致しているのかを表す一致度で判定してもよい。文字データ選択部１３５は、当該一致度が１００％の場合は、入力画像データと格納画像データとが同一であると判定してもよい。また、文字データ選択部１３５は、当該一致度が８０％以上１００％未満の場合は、入力画像データ格納と画像データとが類似していると判定してもよい。この場合、文字データ選択部１３５は、入力画像データと一致度が８０％以上１００％未満の格納画像データが画像データベース１５に複数個格納されていると判定したら、一致度が最も高い格納画像データを最も類似する画像データと判定してもよい。また、文字データ選択部１３５は、当該一致度が８０％未満の場合には入力画像データと格納画像データとが非類似であると判定してもよい。
【００３２】
画像音声変換部１３は、文字データ選択部１３５で選択された文字データに基づいて通信相手の意図を推定する第二意図推定部１３７を有している。第二意図推定部１３７は、通信相手がどのような意図で画像を送信したのかを文字データ選択部１３５から入力された文字データに対して推定するようになっている。第二意図推定部１３７は、例えば自然言語処理によって文字データに対する通信相手の意図を推定する。第二意図推定部１３７は、文字データ選択部１３５から入力された文字データのみに基づいて通信相手の意図を推定してもよい。あるいは、音声変換装置１が、音声変換装置１の使用者と携帯情報端末装置Ｍの使用者との間で現在行われている会話で送受信された画像データや文字データに基づくテキスト文を記憶しており、第二意図推定部１３７は、文字データ選択部１３５から入力された文字データと、記憶されたテキスト文の内容とを考慮して通信相手の意図を推定してもよい。
【００３３】
一方、第二意図推定部１３７は、１つの単語や短文であって使用者の意図や感情が含まれ難い文字データ（例えば、「了解」や「ＯＫ」など）が文字データ選択部１３５から入力された場合には、入力された文字データに対して意図推定を行わない。第二意図推定部１３７において意図推定しない文字データは、予め設定されていてもよいし、使用者が設定できるようになっていてもよいし、その両方によって設定できるようになっていてもよい。さらに、第二意図推定部１３７及び第一意図推定部１１３において意図推定しない文字データは、同一であってもよいし、異なっていてもよい。
【００３４】
画像音声変換部１３は、第二意図推定部１３７で推定された意図推定情報に基づいて、再生する音声を合成する音声合成再生部１３９を有している。音声合成再生部１３９は、例えばフォルマント合成技術を用いて人工的な音声を生成する。音声合成再生部１３９は、意図推定情報が入力された場合には、文字データ選択部１３５で選択された文字データが表す言葉に、第二意図推定部１３７で推定された意図推定情報に基づく抑揚などを付加した音声を合成する。一方、音声合成再生部１３９は、意図推定されていない文字データが入力された場合には、文字データ選択部１３５で選択された文字データが表す言葉に抑揚などが付加されない音声を合成する。このため、画像音声変換部１３は、通信相手が送信した画像データを、当該通信相手の意図が推定された音声に変換したり、当該通信相手の意図が推定されていない音声に変換したりすることができる。音声変換装置１は、音声合成再生部１３９で合成された音声を音声出力部１９から出力する。また、音声合成再生部１３９は、文字データ選択部１３５において入力された画像データに対応する文字データを選択できなかった場合に判断不能の通知文（詳細は後述）に基づく再生音声やメッセージ交換サーバ３から受信された文字データに基づく再生音声も合成するようになっている。
【００３５】
（１−３）音声変換装置の動作
本実施形態による音声交換装置の動作について、図１及び図２を参照しつつ図３及び図４を用いて説明する。図３に示す画像送信処理は、音声変換装置１に設けられた音声画像変換部１１において実行され、図４に示す画像受信処理は、音声変換装置１に設けられた画像音声変換部１３において実行される。まず、音声変換装置１が受信した音声を画像に変換し、変換した画像を送出する画像送信処理の動作について説明する。
【００３６】
（ステップＳ１１）
図３に示すように、音声画像変換部１１は、画像送信処理を開始し、まずステップＳ１１において、音声入力部１７を介して音声が入力されると、処理をステップＳ１３に移行する。
【００３７】
（ステップＳ１３）
音声画像変換部１１は、音声入力部１７を介して入力された音声を音声認識部１１１によって認識し、処理をステップＳ１５に移行する。ステップＳ１３において音声認識部１１１は、入力された音声を文字データに変換するとともに、使用者が発話した際の感情を認識する感情認識も実行する。音声認識部１１１が感情認識を実行することによって、画像データ検索部１１５において検索される画像のレベル分けを行うことができる。例えば、怒りを表す画像の場合、当該画像における怒りの表現の態様を変更することができる。
【００３８】
（ステップＳ１５）
音声画像変換部１１は、入力された音声に画像変換を指示するキーワードが含まれていたか否かを判定し、当該キーワードが含まれていた場合には処理をステップＳ１７に移行し、当該キーワードが含まれていない場合には処理をステップＳ２５に移行する。ステップＳ１５において音声画像変換部１１は、音声認識部１１１が、例えば入力された音声の最後に画像変換を指示するキーワードを認識した場合には、入力された音声を画像データに変換するために処理をステップＳ１７に移行する。一方、音声画像変換部１１は、音声認識部１１１が、入力された音声の最後に画像変換を指示するキーワードを認識しなかった場合には、入力された音声を画像データに変換しないために処理をステップＳ２５に移行する。
【００３９】
（ステップＳ１７）
音声画像変換部１１は、ステップＳ１３において変換された文字データに応じて、第一意図推定部１１３において、当該文字データに含まれる使用者の意図を推定したり推定しなかったりして、処理をステップＳ１９に移行する。ステップＳ１７において、第一意図推定部１１３は、使用者の意図を推定した場合には意図推定した結果を音声認識部１１１から入力された文字データに反映させて推定した意図推定情報を画像データ検索部１１５に出力する。一方、ステップＳ１７において、第一意図推定部１１３は、使用者の意図を推定しなかった場合には、音声認識部１１１から入力された文字データをそのまま画像データ検索部１１５に出力する。
【００４０】
（ステップＳ１９）
音声画像変換部１１は、ステップＳ１７において推定された意図推定情報又は文字データに基づく画像データを検索するために画像データベース１５を参照し、処理をステップＳ２１に移行する。
【００４１】
（ステップＳ２１）
音声画像変換部１１は、ステップＳ１９において推定された意図推定情報又は文字データに相当する画像データが画像データベース１５に格納されていると判定した場合には処理をステップＳ２３に移行し、当該意図推定情報又は当該文字データに相当する画像が画像データベース１５に格納されていないと判定した場合には処理をステップＳ２５に移行する。ステップＳ２１において、画像データ検索部１１５は、第一意図推定部１１３から入力された意図推定情報に相当する文字データが格納領域「意味情報」に格納されている場合には、当該文字データに対応付けて格納領域「画像情報」に格納された画像データを取得する。画像データ検索部１１５は、意図推定情報と同一の文字データが画像データベース１５に格納されている場合には当該同一の文字データを「意図推定情報に相当する文字データ」と判定する。また、画像データ検索部１１５は、意図推定情報と同一の文字データが画像データベース１５に格納されていない場合には、意図推定情報に類似する文字データのうちの最も類似する文字データを「意図推定情報に相当する文字データ」と判定する。一方、画像データ検索部１１５は、意図推定情報と同一の文字データ及び類似する文字データを画像データベース１５から検索できない場合には、「意図推定情報に相当する文字データ」が画像データベース１５に格納されていないと判定する。なお、ステップＳ２１において、画像データ検索部１１５は、入力された文字データについても意図推定情報と同様の処理によって画像データベース１５を検索する。
【００４２】
（ステップＳ２３）
音声画像変換部１１は、ステップＳ２１で取得した画像データを画像データ送出部１１７からメッセージ交換サーバ３に送出し、画像送信処理を終了する。
【００４３】
（ステップＳ２５）
音声画像変換部１１は、画像変換が不要と判定した場合（ステップＳ１５のＮｏ）又は意図推定情報に相当する文字データが画像データベース１５に格納されていないと判定した場合（ステップＳ２１のＮｏ）には、ステップＳ１３において入力音声を変換した文字データに基づくテキスト情報を画像データ送出部１１７からメッセージ交換サーバ３に送出し、画像送信処理を終了する。このように、音声画像変換部１１は、画像送信処理において、画像データを取得した場合には当該画像データを、画像変換が不要判定した場合又は画像データを取得できなかった場合には文字データをメッセージ交換サーバ３に送出する。
【００４４】
次に、音声変換装置１が受信した画像を音声に変換し、変換した音声を出力する画像受信処理の動作について説明する。
【００４５】
（ステップＳ１１１）
図４に示すように、画像音声変換部１３は、画像受信処理を開始すると、まずステップＳ１１１において、画像データ受信部１３１を介してデータを受信すると、処理をステップＳ１１３に移行する。
【００４６】
（ステップＳ１１３）
画像音声変換部１３は、ステップＳ１１１において画像データ受信部１３１が受信したデータが画像データか否かを判定し、画像データを受信したと判定した場合には処理をステップＳ１１５に移行し、画像データではなく文字データを受信したと判定した場合には処理をステップＳ１２５に移行する。ステップＳ１１１において、画像音声変換部１３は、画像データ展開部１３３で受信したデータを必要に応じて展開し、展開したデータが画像データか否かを判定する。
【００４７】
（ステップＳ１１５）
画像音声変換部１３は、画像データベース１５を参照し、受信した画像データと同一の画像データ又は類似する類似画像データが画像データベース１５に格納されているか否かを検索し、処理をステップＳ１１７に移行する。
【００４８】
（ステップＳ１１７）
画像音声変換部１３は、画像データ展開部１３３から入力された画像データと同一又は類似する画像データが画像データベース１５に格納されていると判定した場合には処理をステップＳ１２５に移行し、入力された画像データと同一又は類似する画像データが画像データベース１５に格納されていないと判定した場合には処理をステップＳ１１９に移行する。ステップＳ１１７において、文字データ選択部１３５は、画像データ展開部１３３から入力された画像データに相当する画像データが格納領域「画像情報」に格納されている場合には、当該画像データに対応付けて格納領域「文字情報」に格納された文字データを選択する。文字データ選択部１３５は、入力された画像データと同一の画像データが画像データベース１５に格納されている場合には当該同一の画像データを「入力された画像データに相当する画像データ」と判定する。また、文字データ選択部１３５は、入力された画像データと同一の画像データが画像データベース１５に格納されていない場合には、入力された画像データに類似する類似画像データのうちの最も類似する類似画像データを「入力された画像データに相当する画像データ」と判定する。一方、文字データ選択部１３５は、入力された画像データと同一の画像データ及び類似する画像データを画像データベース１５から検索できない場合には、「入力された画像データに相当する画像データ」が画像データベース１５に格納されていないと判定する。
【００４９】
（ステップＳ１１９）
画像音声変換部１３は、画像データの送信者に対して文字データでの再送信を要求し、処理をステップＳ１２１に移行する。ステップＳ１１９において、画像音声変換部１３は、画像データの送信者（すなわち通信相手）に対し、文字データによる再送信の要求を自動返信する。画像音声変換部１３は、画像データの送信者から文字データが再送信された場合には、元々受信して画像データベース１５に格納されていなかった画像データと、再送信された文字データとを対応付けて画像データベース１５に格納する。これにより、音声変換装置１は、画像受信処理での類似画像判断処理（ステップＳ１１５及びステップＳ１１７）及び図３に示す画像送信処理での画像データ探索処理（ステップＳ１９及びステップＳ２１）を自動強化学習することができる。画像音声変換部１３は、画像データと再送信された文字データとの画像データベース１５への格納処理は、画像受信処理とは別の処理で実行する。
【００５０】
（ステップＳ１２１）
画像音声変換部１３は、判断不能の通知文を作成し、処理をステップＳ１２３に移行する。ステップＳ１２１において、画像音声変換部１３は、受信した画像データが表す意味を判断することができない（判断不能である）ことを通知する通知文を作成する。これにより、音声変換装置１は、使用者と通信相手との間のメッセージの交換にタイムラグが生じて通信障害などの不具合が発生したと使用者が勘違いすることを防止できる。
【００５１】
（ステップＳ１２３）
画像音声変換部１３は、音声合成再生部１３９に入力された文字データに基づいて音声を合成して再生し、画像受信処理を終了する。ステップＳ１２５において、音声合成再生部１３９は、画像音声変換部１３が文字データを受信した場合（ステップＳ１１３のＮｏ）の当該文字データ、受信した画像データが表す意味を判断不能であることを通知する通知文（ステップＳ１２１）及び受信した画像データに対応するテキスト文（ステップＳ１２５（詳細は後述））のいずれかに基づいて、音声を合成して再生する。これにより、通信相手からの画像データなどによるメッセージが音声処理装置９の使用者に音声で出力される。
【００５２】
（ステップＳ１２５）
画像音声変換部１３は、文字データに基づいて使用者への送信内容が表されたテキスト文を作成し、ステップＳ１２３に移行する。ステップＳ１２５において、第二意図推定部１３７は、ステップＳ１１７において文字データ選択部１３５が選択した文字データに応じて、画像データの送信者（通信相手）の意図を推定したり推定しなかったりする。第二意図推定部１３７は、送信者（通信相手）の意図を推定した場合には、推定した意図と、当該画像データを受信する前までの当該送信者との会話の流れとを踏まえてテキスト文を作成する。一方、第二意図推定部１３７は、送信者（通信相手）の意図を推定しなかった場合には、文字データ選択部１３５から入力された文字データの意味内容のみのテキスト文を作成する。
【００５３】
このように、本実施形態による音声変換装置１は、音声によるインタフェース手段（本実施形態では音声入力部１７及び音声出力部１９）を備え、画像や文字などの視覚によるインタフェース手段（例えば表示装置）を備えていなくても、音声を画像データや文字データに変換してメッセージ交換サーバ３に送出でき、メッセージ交換サーバ３から入力された画像データや文字データを音声に変換することができる。これにより、音声変換装置１は、通信相手が使用している装置が音声の他に視覚によるインタフェース手段を有していても、円滑にメッセージを送受信することができる。
【００５４】
２．第２実施形態
本発明の第２実施形態による画像変換サーバ装置について図５から図７を用いて説明する。なお、本実施形態の説明において、理解を容易にするため、本実施形態による画像変換サーバ装置、当該画像変換サーバ装置を有するメッセージ交換サーバ、当該メッセージ交換サーバと所定データを送受信する音声処理装置については、後述の実施例におけるこれらの装置に用いる参照符号を用いることとする。
【００５５】
（２−１）メッセージ交換システム
図示は省略するが、本発明の第２実施形態におけるメッセージ交換システムは、音声変換装置５（図５参照）を備える音声処理装置４（図８参照）と、本実施形態による画像変換サーバ装置７（図５参照）を備えるメッセージ交換サーバ６（図８参照）と、携帯情報端末装置Ｍ（図８参照）とを備えている。音声処理装置４及びメッセージ交換サーバ６のそれぞれの構成が上記第１実施形態における音声処理装置９及びメッセージ交換サーバ３のそれぞれの構成と異なるものの、本実施形態におけるメッセージ交換システムは、上記第１実施形態におけるメッセージ交換システムＭＳと同様の機能を発揮するため、説明は省略する。
【００５６】
（２−２）音声交換装置の構成
本発明の第２実施形態における音声交換装置の概略構成について図５を用いて説明する。本実施形態における音声変換装置５は、上記第１実施形態による音声変換装置１に設けられた構成要素の一部を備えていない点に特徴を有している。
【００５７】
図５に示すように、音声変換装置５は、音声変換装置５の使用者（以下、単に「使用者」と称する）が発話した音声が入力される音声入力部１７と、音声入力部１７から入力された音声を認識する音声認識部１１１と、音声認識部１１１で認識されて変換された文字データに含まれる使用者の意図を推定する第一意図推定部１１３とを有している。音声変換装置５に設けられた音声入力部１７は、上記第１実施形態による音声変換装置１に設けられた音声入力部１７と同一の構成を有し同一の機能を発揮するようになっている。また、音声変換装置５に設けられた音声認識部１１１は、上記第１実施形態による音声変換装置１に設けられた音声認識部１１１と同一の構成を有し同一の機能を発揮するようになっている。また、音声変換装置５に設けられた第一意図推定部１１３は、上記第１実施形態による音声変換装置１に設けられた第一意図推定部１１３と同一の構成を有し同一の機能を発揮するようになっている。このため、音声変換装置５に設けられた音声入力部１７、音声認識部１１１及び第一意図推定部１１３の説明は省略する。
【００５８】
音声変換装置５は、第一意図推定部１１３で推定された意図推定情報を画像変換サーバ装置７（詳細は後述）に送出する第一送出部５１１を備えている。
【００５９】
音声変換装置５は、画像変換サーバ装置７から送出された意図推定情報を含む意図推定結果情報を受信する第一受信部５３１を備えている。第一受信部５３１は、意図推定結果情報の他に、画像変換サーバ装置７において意図推定されなかった文字データ、画像変換サーバ装置７が受信した画像データを判断できない場合に生成する判断不能の通知文及び画像変換サーバ装置７が受信した文字データのテキスト文の情報も受信できるように構成されている。第一受信部５３１で受信された意図推定情報やテキスト文の情報は、音声合成再生部１３９に出力される。
【００６０】
音声変換装置５は、画像変換サーバ装置７に設けられた第二意図推定部７３７（詳細は後述）で推定された意図推定情報に基づいて、再生する音声を合成する音声合成再生部１３９と、音声合成再生部１３９で再生された音声を出力する音声出力部１９とを有している。本実施形態における音声合成再生部１３９は、意図推定情報、判断不能の通知文及び受信された文字データ（いずれも詳細は後述）の送信元が音声変換装置５に設けられた構成要素ではなくメッセージ交換サーバ６に設けられた画像変換サーバ装置７である点を除いて、これらのデータの処理自体は、上記第１実施形態における音声合成再生部１３９と同様である。また、音声変換装置５に設けられた音声出力部１９は、上記第１実施形態による音声変換装置１に設けられた音声出力部１９と同一の構成を有し同一の機能を発揮するようになっている。このため、音声変換装置５に設けられた音声合成再生部１３９及び音声出力部１９の説明は省略する。
【００６１】
（２−３）画像変換サーバ装置の構成
次に、本実施形態による画像変換サーバ装置について図５から図７を用いて説明する。まず、本実施形態による画像変換サーバ装置７は、メッセージ交換サーバ６に備えられた装置であり、物理的な回路で構成されていてもよいし、メッセージ交換サーバ６の一機能として構成されていてもよい。まず、本実施形態による画像変換サーバ装置７の概略構成について図５を用いて説明する。図５では、理解を容易にするため、画像変換サーバ装置７に備えられた画像データベース７５に格納された情報が模式的に図示されている。
【００６２】
図５に示すように、画像変換サーバ装置７は、文字データと画像データとを対応付けた画像データベース（記憶部の一例）７５を備えている。画像データベース７５は、新たに対応付けられた文字データ及び画像データの提供をメッセージ交換サーバの所有者が開始する場合にもこれらのデータが格納される点を除いて、上記第１実施形態における画像データベース１５と同一の構成を有し同一の機能を発揮するようになっているため、説明は省略する。
【００６３】
画像変換サーバ装置７は、音声変換装置５から受信した文字データを、画像データベース７５を参照して画像データに変換する文字画像変換部７１を備えている。また、文字画像変換部７１は、受信した文字データであって音声に含まれる音声処理装置４の使用者（第一使用者の一例）の意図が推定された意図推定情報を、画像データベース７５を参照して画像データに変換するようになっている。文字画像変換部７１の詳細な構成については後述する。
【００６４】
画像変換サーバ装置７は、受信した画像データを、画像データベース７５を参照して文字データに変換する画像文字変換部７３を備えている。また、画像文字変換部７３は、携帯情報端末装置Ｍの使用者（第二使用者の一例）から送信されて受信した画像データを、画像データベース７５を参照して、携帯情報端末装置Ｍの使用者の意図が推定された文字データに変換するようになっている。画像文字変換部７３の詳細な構成については後述する。
【００６５】
図５に示すように、文字画像変換部７１は、音声変換装置５の第一意図推定部１１３から送出された意図推定情報又は文字データを受信する第二受信部７１１を有している。
【００６６】
文字画像変換部７１は、第二受信部７１１が受信した意図推定情報又は文字データに対応する画像データを、画像データベース７５を参照して検索する画像データ検索部７１３を有している。当該文字データは、音声処理装置４の使用者の意図が推定されていない文字データである。画像データ検索部７１３は、画像データベース７５の格納領域「意味情報」に格納されている文字データの中から、第二受信部７１１から入力された意図推定情報と同一又は最も類似する文字データを選択し、選択した文字データに対応付けられた画像データを格納領域「画像情報」から取得する。画像データ検索部７１３は、意図推定情報と同一の文字データが画像データベース７５に格納されている場合には、当該同一の文字データを選択し、選択した当該同一の文字データに対応付けられた画像データを検索結果として取得する。画像データ検索部７１３は、意図推定情報と同一の文字データが画像データベース７５に格納されていない場合には、類似する文字データの中から最も類似する文字データを選択し、選択した当該最も類似する文字データに対応付けられた画像データを検索結果として取得する。画像データ検索部７１３は、意図推定情報と同一の文字データ及び類似する文字データを画像データベース７５から検索できない場合には、画像データベース７５から画像データを取得しない。このように、受信した意図推定情報には音声処理装置４の使用者の意図が推定されており、文字画像変換部７１は、このような使用者の意図が推定された意図推定情報と同一又は類似の文字データに対応付けられた画像データを取得するようになっている。このため、文字画像変換部７１は、使用者の意図が推定された画像データを取得できる。
【００６７】
一方、画像データ検索部７１３は、意図推定がされていない文字データが入力された場合には、画像データベース７５の格納領域「意味情報」に格納されている文字データの中から、当該文字データと同一又は最も類似する文字データを選択し、選択した文字データに対応付けられた画像データを格納領域「画像情報」から取得する。また、画像データ検索部７１３は、当該文字データと同一の文字データ及び類似する文字データを画像データベース７５から検索できない場合には、画像データベース７５から画像データを取得しない。このように、文字画像変換部７１は、入力された文字データ（すなわち音声処理装置４の使用者の意図が推定されていない文字データ）と同一又は類似の文字データに対応付けられた画像データを取得することができるようになっている。
【００６８】
画像データ検索部７１３は、画像データを画像データベース７５から取得する際に、意図推定情報と画像データベース７５に格納された文字データとの同一、類似及び非類似（同一でも類似でもない）を、例えば当該意図推定情報及び当該文字データがどの程度一致しているのかを表す一致度で判定してもよい。画像データ検索部７１３は、当該一致度が１００％の場合は、意図推定情報と画像データベース７５に格納された文字データとが同一であると判定してもよい。また、画像データ検索部７１３は、当該一致度が８０％以上１００％未満の場合は、意図推定情報と画像データベース７５に格納された文字データとが類似していると判定してもよい。この場合、画像データ検索部７１３は、意図推定情報と一致度が８０％以上１００％未満の文字データが画像データベース７５に複数個格納されていると判定したら、一致度が最も高い文字データを最も類似する文字データと判定してもよい。また、画像データ検索部７１３は、当該一致度が８０％未満の場合には意図推定情報と画像データベース７５に格納された文字データとが非類似であると判定してもよい。なお、画像データ検索部７１３が当該文字データと同一の文字データ又は類似する文字データを画像データベース７５から取得する方法は、意図推定情報における上述の取得方法と同様であるため、説明は省略する。
【００６９】
文字画像変換部７１は、画像データ検索部７１３で検索された画像データを送出する画像データ送出部７１５を有している。画像データ送出部７１５は、画像データ検索部７１３から入力された画像データを送信対象の携帯情報端末装置（不図示）に送出する。画像データ送出部７１５は、画像データだけでなく文字データも送出可能に構成されている。
【００７０】
図５に示すように、画像文字変換部７３は、携帯情報端末装置から入力される画像データを受信する画像データ受信部７３１と、携帯情報端末装置から画像データ受信部７３１を介して入力された画像データを文字データ選択部７３５（詳細は後述）で処理可能なデータ形式に展開する画像データ展開部７３３とを有している。画像データ展開部７３３は、例えば圧縮ファイル形式の画像データを画像データ受信部７３１が受信した場合にこの画像データを解凍する。また、画像データ展開部７３３は、入力された画像データのファイル形式が画像データベース７５に格納された画像データのファイル形式と異なる場合には、入力された画像データのファイル形式を画像データベース７５に格納された画像データのファイル形式に変換する。
【００７１】
画像文字変換部７３は、画像データベース７５を参照して入力された画像データに対応する文字データを選択する文字データ選択部７３５を有している。文字データ選択部７３５は、画像データベース７５の格納領域「画像情報」に格納された画像データの中から画像データ展開部７３３から入力された画像データと同一又は最も類似する画像データを検出し、検出した画像データに対応付けられた文字データを格納領域「意味情報」から選択する。文字データ選択部７３５は、入力された画像データと同一の画像データが画像データベース７５に格納されている場合には、当該同一の画像データを選択し、選択した当該同一の画像データに対応付けられた文字データを選択結果として取得する。文字データ選択部７３５は、入力された画像データと同一の画像データが画像データベース７５に格納されていない場合には、類似する文字データの中から最も類似する文字データを選択し、選択した当該最も類似する画像データに対応付けられた文字データを選択結果として取得する。文字データ選択部７３５は、入力された画像データと同一の画像データ及び類似する画像データを画像データベース１５から選択できない場合には、画像データベース１５から文字データを取得しない。
【００７２】
文字データ選択部７３５は、文字データを画像データベース７５から選択する際に、入力された画像データ（入力画像データ）と画像データベース７５に格納された画像データ（格納画像データ）との同一、類似及び非類似（同一でも類似でもない）を、例えば入力画像データ及び格納画像データがどの程度一致しているのかを表す一致度で判定してもよい。文字データ選択部７３５は、当該一致度が１００％の場合は、入力画像データと格納画像データとが同一であると判定してもよい。また、文字データ選択部７３５は、当該一致度が８０％以上１００％未満の場合は、入力画像データ格納と画像データとが類似していると判定してもよい。この場合、文字データ選択部７３５は、入力画像データと一致度が８０％以上１００％未満の格納画像データが画像データベース７５に複数個格納されていると判定したら、一致度が最も高い格納画像データを最も類似する画像データと判定してもよい。また、文字データ選択部７３５は、当該一致度が８０％未満の場合には入力画像データと格納画像データとが非類似であると判定してもよい。
【００７３】
画像文字変換部７３は、文字データ選択部７３５で選択された文字データに基づいて画像データの送信者（第二使用者の一例）の意図を推定する第二意図推定部（意図推定部の一例）７３７を有している。第二意図推定部７３７は、画像データの送信者がどのような意図で画像を送信したのかを文字データ選択部７３５から入力された文字データに対して推定するようになっている。第二意図推定部７３７は、例えば自然言語処理によって文字データに対する、画像データの送信者の意図を推定する。第二意図推定部７３７は、文字データ選択部７３５から入力された文字データのみに基づいて通信相手の意図を推定してもよい。あるいは、画像変換サーバ装置７が、音声変換装置５の使用者と携帯情報端末装置Ｍの使用者との間で現在行われている会話で送受信された画像データや文字データに基づくテキスト文を記憶しており、第二意図推定部７３７は、文字データ選択部７３５から入力された文字データと、記憶されたテキスト文の内容とを考慮して画像データの送信者の意図を推定してもよい。このため、画像文字変換部７３は、携帯情報端末装置Ｍの使用者（すなわち画像データの送信者）が送信した画像データを、当該使用者の意図が推定された文字データとしての意図推定情報に変換できる。
【００７４】
一方、第二意図推定部７３７は、１つの単語や短文であって画像データの送信者の意図や感情が含まれ難い文字データ（例えば、「了解」や「ＯＫ」など）が文字データ選択部７３５から入力された場合には、入力された文字データに対して意図推定を行わない。第二意図推定部７３７において意図推定しない文字データは、予め設定されていてもよいし、使用者が設定できるようになっていてもよいし、その両方によって設定できるようになっていてもよい。
【００７５】
このように、第二意図推定部７３７は、文字データ選択部７３５から入力された文字データに応じて、当該文字データに対して意図推定したり意図推定しなかったりすることができる。これにより、画像文字変換部７３は、受信した画像データを、当該画像データの送信者の意図が推定された文字データに変換したり、当該送信者の意図が推定されていない文字データに変換したりすることができる。
【００７６】
画像文字変換部７３は、第二意図推定部７３７で推定された意図推定情報を送出する第二送出部（意図推定情報送出部の一例）７３９を有している。また、第二送出部７３９は、第二意図推定部７３７で意図推定されなかった文字データを送出することもできる。第二送出部７３９は、第二意図推定部７３７から意図推定情報が入力された場合には、当該意図推定情報を音声変換装置５に送出する。また、第二送出部７３９は、第二意図推定部７３７から文字データが入力された場合には、当該文字データを音声変換装置５に送出する。さらに、第二送出部７３９は、画像データ受信部７３１で受信された画像データを判断できない場合に生成される判断不能の通知文及び画像データ受信部７３１で受信した文字データのテキスト文の情報も送出できるように構成されている。音声変換装置５は、第二送出部７３９が送出した意図推定情報又は文字データを第一受信部５３１で受信する。
【００７７】
（２−４）画像変換サーバ装置の動作
本実施形態による画像変換サーバ装置の動作について、図５を参照しつつ図６及び図７を用いて説明する。図６に示す画像送信処理は、画像変換サーバ装置７に設けられた文字画像変換部７１において実行され、図７に示す画像受信処理は、画像変換サーバ装置７に設けられた画像文字変換部７３において実行される。まず、音声変換装置５が音声を受信したことに基づいて、画像変換サーバ装置７が画像を送出する画像送信処理の動作について説明する。
【００７８】
（ステップＳ２１１）
図３に示すように、画像変換サーバ装置７は、画像送信処理を開始すると、まずステップＳ２１１において、音声変換装置５から第二受信部７１１を介して音声認識結果情報が入力されると、処理をステップＳ２１３に移行する。当該音声認識結果情報には、音声変換装置５の第一意図推定部１１３において推定された意図推定情報が含まれている。
【００７９】
（ステップＳ２１３）
画像変換サーバ装置７は、ステップＳ２１１において受信した音声認識結果情報に画像変換を指示するキーワードが含まれていたか否かを判定し、当該キーワードが含まれていた場合には処理をステップＳ２１５に移行し、当該キーワードが含まれていない場合には処理をステップＳ２２１に移行する。ステップＳ２１３において文字画像変換部７１は、例えば入力された音声認識結果情報に意図推定情報とともに画像変換を指示するキーワードが含められていると判定した場合には、入力された意図推定情報を画像データに変換するために処理をステップＳ２１５に移行する。一方、文字画像変換部７１は、入力された音声認識結果に意図推定情報とともに画像変換を指示するキーワードが含められていないと判定した場合には、意図推定情報を画像データに変換しないために処理をステップＳ２２１に移行する。
【００８０】
（ステップＳ２１５）
文字画像変換部７１は、ステップＳ２１１において入力された意図推定情報に基づく画像データを検索するために画像データベース７５を参照し、処理をステップＳ２１７に移行する。
【００８１】
（ステップＳ２１７）
文字画像変換部７１は、ステップＳ２１１において入力された意図推定情報に対応する画像データが画像データベース７５に格納されていると判定した場合には処理をステップＳ２１９に移行し、当該意図推定情報に対応する画像が画像データベース７５に格納されていないと判定した場合には処理をステップＳ２２１に移行する。ステップＳ２１７において、画像データ検索部７１３は、音声変換装置５から入力された意図推定情報に相当する文字データが格納領域「意味情報」に格納されている場合には、当該文字データに対応付けて格納領域「画像情報」に格納された画像データを取得する。画像データ検索部７１３は、意図推定情報と同一の文字データが画像データベース７５に格納されている場合には当該同一の文字データを「意図推定情報に相当する文字データ」と判定する。また、画像データ検索部７１３は、意図推定情報と同一の文字データが画像データベース７５に格納されていない場合には、意図推定情報に類似する文字データのうちの最も類似する文字データを「意図推定情報に相当する文字データ」と判定する。一方、画像データ検索部７１３は、意図推定情報と同一の文字データ及び類似する文字データを画像データベース７５から検索できない場合には、「意図推定情報に相当する文字データ」が画像データベース７５に格納されていないと判定する。
【００８２】
（ステップＳ２１９）
文字画像変換部７１は、ステップＳ２１７で取得した画像データを画像データ送出部７１５から音声処理装置４の使用者の通信相手の携帯情報端末装置Ｍに送出し、画像送信処理を終了する。
【００８３】
（ステップＳ２２１）
文字画像変換部７１は、画像変換が不要と判定した場合（ステップＳ２１３のＮｏ）又は意図推定情報に相当する文字データが画像データベース７５に格納されていないと判定した場合（ステップＳ２１７のＮｏ）には、ステップＳ２１１において入力された意図推定情報に対応する文字データを画像データ送出部７１５から音声処理装置４の使用者の通信相手の携帯情報端末装置Ｍに送出し、画像送信処理を終了する。
【００８４】
次に、画像変換サーバ装置７が受信した画像データを、音声変換装置５から音声で出力するために、当該画像データを文字データに変換して、変換した文字データを音声変換装置５に送出する画像受信処理の動作について説明する。
【００８５】
（ステップＳ３１１）
図７に示すように、画像文字変換部７３は、画像受信処理を開始し、まずステップＳ３１１において、画像データ受信部７３１を介してデータを受信すると、処理をステップＳ３１３に移行する。
【００８６】
（ステップＳ３１３）
画像文字変換部７３は、ステップＳ３１１において画像データ受信部３３１が受信したデータが画像データか否かを判定し、画像データを受信したと判定した場合には処理をステップＳ３１５に移行し、画像データではなく文字データを受信したと判定した場合には処理をステップＳ３２５に移行する。ステップＳ３１３において、画像文字変換部７３は、受信したデータを画像データ展開部７３３で必要に応じて展開し、展開したデータが画像データか否かを判定する。
【００８７】
（ステップＳ３１５）
画像文字変換部７３は、受信した画像データを変換した文字データに基づく意図推定情報の送信先が音声処理装置であるか否かを判定し、当該意図推定情報の送信先が音声変換装置であると判定した場合には処理をステップＳ３１７に移行し、当該意図推定情報の送信先が音声処理装置でないと判定した場合には処理をステップＳ３２５に移行する。画像文字変換部７３は、例えば画像データとともに受信した送信先の識別情報に基づいて、送信先の装置の種別を判定する。
【００８８】
（ステップＳ３１７）
画像文字変換部７３は、画像データベース７５を参照し、受信した画像データと同一の画像データ又は類似する類似画像データが画像データベース７５に格納されているか否かを検索し、処理をステップＳ３１９に移行する。
【００８９】
（ステップＳ３１９）
画像文字変換部７３は、画像データ展開部７３３から入力された画像データと同一又は類似する類似画像データが画像データベース７５に格納されていると判定した場合には処理をステップＳ３２７に移行し、入力された画像データと同一又は類似する類似画像データが画像データベース７５に格納されていないと判定した場合には処理をステップＳ３２１に移行する。ステップＳ３１９において、文字データ選択部７３５は、画像データ展開部７３３から入力された画像データに相当する画像データが格納領域「画像情報」に格納されている場合には、当該画像データに対応付けて格納領域「文字情報」に格納された文字データを選択する。文字データ選択部７３５は、入力された画像データと同一の画像データが画像データベース７５に格納されている場合には当該同一の画像データを「入力された画像データに相当する画像データ」と判定する。また、文字データ選択部７３５は、入力された画像データと同一の画像データが画像データベース７５に格納されていない場合には、入力された画像データに類似する類似画像データのうちの最も類似する画像データを「入力された画像データに相当する画像データ」と判定する。一方、文字データ選択部７３５は、入力された画像データと同一の画像データ及び類似する類似画像データを画像データベース７５から検索できない場合には、「入力された画像データに相当する画像データ」が画像データベース７５に格納されていないと判定する。
【００９０】
（ステップＳ３２１）
画像文字変換部７３は、文字データでの再送信を要求し、処理をステップＳ３２３に移行する。ステップＳ３２１において、画像文字変換部７３は、画像データの送信者に対し、文字データによる再送信の要求を自動返信する。画像文字変換部７３は、画像データの送信者から文字データが再送信された場合には、元々受信していたデータであって画像データベース７５に格納されていなかった画像データと、再送信された文字データとを対応付けて画像データベース７５に格納する。これにより、画像変換サーバ装置７は、画像受信処理での類似画像判断処理（ステップＳ３１７及びステップＳ３１９）及び図６に示す画像送信処理での画像データ探索処理（ステップＳ２１５及びステップＳ２１７）を自動強化学習することができる。画像文字変換部７３は、画像データと再送信された文字データとの画像データベース７５への格納処理は、画像受信処理とは別の処理で実行する。
【００９１】
（ステップＳ３２３）
画像文字変換部７３は、判断不能の通知文を作成し、処理をステップＳ３２５に移行する。ステップＳ３２３において、画像文字変換部７３は、受信した画像データが表す意味を判断不能であることを通知する通知文を作成する。これにより、画像変換サーバ装置７は、音声処理装置４の使用者（画像変換サーバ装置７の第一使用者）と携帯情報端末装置Ｍの使用者（画像変換サーバ装置７の第二使用者）との間のメッセージの交換にタイムラグが生じて通信障害などの不具合が発生したとメッセージ交換サーバ６の使用者が勘違いすることを防止できる。
【００９２】
（ステップＳ３２５）
画像文字変換部７３は、文字データ又は画像データに基づくテキスト情報を音声変換装置５に送信し、画像受信処理を終了する。ステップＳ３２５において、画像文字変換部７３は、受信したデータが文字データであった場合（ステップＳ３１３のＮｏ）の当該文字データ、受信した画像データが表す意味を判断不能であることを通知する通知文（ステップＳ３２３）及び受信した画像データに対応する文字データ（ステップＳ３２７（詳細は後述））のいずれかに基づくテキスト情報を第二送出部７３９を介して音声変換装置５に送出する。音声変換装置５は、受信したテキスト情報に基づくメッセージを音声処理装置の使用者に対して音声で出力する。
【００９３】
（ステップＳ３２７）
画像文字変換部７３は、文字データに基づいて使用者への送信内容が表されたテキスト文を作成し、ステップＳ３２５に移行する。ステップＳ３２７において、第二意図推定部７３７は、ステップＳ３２７において文字データ選択部７３５が選択した文字データに応じて、画像データの送信者の意図を推定したり推定しなかったりする。第二意図推定部７３７は、画像データの送信者の意図を推定した場合には、推定した意図と、当該画像データを受信する前までの当該送信者との会話の流れとを踏まえてテキスト文を作成する。一方、第二意図推定部７３７は、画像データの送信者の意図を推定しなかった場合には、文字データ選択部７３５から入力された文字データの意味内容がそのままのテキスト文を作成する。
【００９４】
このように、本実施形態による画像変換サーバ装置７は、音声によるインタフェース手段（本実施形態では音声入力部１７及び音声出力部１９）を備えて画像や文字などの視覚によるインタフェース手段（例えば表示装置）を備えていない音声変換装置５から送出され音声が変換された文字データに基づく意図推定結果情報を画像データに変換し、携帯情報端末装置Ｍに送出できる。また、画像変換サーバ装置７は、携帯情報端末装置Ｍから入力された画像データを文字情報である意図推定結果情報に変換し、音声変換装置５に送出できる。これにより、画像変換サーバ装置７は、メッセージを交換する対象の装置の少なくとも１つに音声によるインタフェース手段を有する装置が存在していても、メッセージを交換する対象の装置の間で円滑にメッセージを送受信することができる。
【００９５】
３．実施例
次に、第１実施形態及び第２実施形態の実施例について図２から図７を参照しつつ図８から図１２を用いて説明する。
【００９６】
（３−１）音声変換装置から画像データを送信する実施例
図８は、実施例１による音声変換装置１及び画像変換サーバ装置７を説明する図である。図８（ａ）中の中央には、第１実施形態における音声処理装置９又は第２実施形態における音声処理装置４の使用者Ｙが発話している状態が図示され、図８（ａ）中の左側には、第１実施形態における音声処理装置９及びメッセージ交換サーバ３が図示され、図８（ａ）中の右側には、第２実施形態における音声処理装置４及びメッセージ交換サーバ６が図示されている。図８（ｂ）は、使用者Ｙの発話に基づく文字データを受信した場合の携帯情報端末装置Ｍの表示画面の一例を示す図である。図８（ｃ）は、使用者Ｙの発話に基づく文字データ及び画像データを受信した場合の携帯情報端末装置Ｍの表示画面の一例を示す図である。
【００９７】
図８（ａ）に示すように、使用者Ｙが、携帯情報端末装置Ｍの使用者の「明日の歓迎会いけそう？」というメッセージ（図８（ｂ）及び図８（ｃ）参照）に対して、「ゴメン、仕事が溜まってて」というメッセージＭＧ１と、「行けたとしても死んでそう」というメッセージＭＧ２と、「行ける時だけ連絡するよ」というメッセージＭＧ３を音声処理装置９に向かって発話したとする。
【００９８】
第１実施形態において、例えば音声変換装置１に備えられた画像データベース１５に、メッセージＭＧ１，ＭＧ２，ＭＧ３に基づく意図推定情報のいずれとも同一又は類似の文字データが格納されていなかったとする。この場合、音声変換装置１に備えられた音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ１，ＭＧ２，ＭＧ３と同一又は類似の文字データが画像データベース１５に格納されていないと判定し、文字データをメッセージ交換サーバ３に送出する（ステップＳ２５）。このため、図８（ａ）中の左側に示すように、音声変換装置１からメッセージ交換サーバ３に出力データＯＤ１が出力される。出力データＯＤ１として、メッセージＭＧ１に対応するテキスト情報ＴＤ１、メッセージＭＧ２に対応するテキスト情報ＴＤ２及びメッセージＭＧ３に対応するテキスト情報ＴＤ３が音声変換装置１からメッセージ交換サーバ３に順次送出される。
【００９９】
メッセージ交換サーバ３は、受信したテキスト情報ＴＤ１，ＴＤ２，ＴＤ３を携帯情報端末装置Ｍに送出する。その結果、図８（ｂ）に示すように、携帯情報端末装置Ｍの表示画面には、「ゴメン、仕事が溜まってて。。。」というテキストＴＸ１と、「行けたとしても死んでそう。。。」というテキストＴＸ２と、「行ける時だけ連絡するよ」というテキストＴＸ３が表示される。
【０１００】
一方、第１実施形態において、例えば音声変換装置１に備えられた画像データベース１５に、メッセージＭＧ１，ＭＧ３に基づく意図推定情報のいずれとも同一又は類似の文字データが格納されていないが、メッセージＭＧ２に基づく意図推定情報と同一の文字データが格納されていたとする。この場合、音声変換装置１に備えられた音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ１，ＭＧ３と同一又は類似の文字データが画像データベース１５に格納されていないと判定し、文字データをメッセージ交換サーバ３に送出する（ステップＳ２５）。一方、音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ２と同一の文字データが画像データベース１５に格納されていると判定し、画像データをメッセージ交換サーバ３に送出する（ステップＳ２３）。このため、図８（ａ）中の左側に示すように、音声変換装置１からメッセージ交換サーバ３に出力データＯＤ２が出力される。出力データＯＤ２として、メッセージＭＧ１に対応するテキスト情報ＴＤ１、メッセージＭＧ２に対応する画像データＰＤ１及びメッセージＭＧ３に対応するテキスト情報ＴＤ３が音声変換装置１からメッセージ交換サーバ３に順次送出される。
【０１０１】
メッセージ交換サーバ３は、受信したテキスト情報ＴＤ１，ＴＤ３及び画像データＰＤ１を携帯情報端末装置Ｍに送出する。その結果、図８（ｃ）に示すように、携帯情報端末装置Ｍの表示画面には、「ゴメン、仕事が溜まってて。。。」というテキストＴＸ１と、「行けたとしても死んでそう。。。」という意味を表す画像ＰＩ１と、「行ける時だけ連絡するよ」というテキストＴＸ３が表示される。
【０１０２】
第２実施形態において、音声処理装置４に設けられた音声変換装置５は、入力されたメッセージＭＧ１，ＭＧ１，ＭＧ３に基づく意図推定情報を含む意図推定結果情報ＭＩ１をメッセージ交換サーバ６の画像変換サーバ装置７に送出する。意図推定結果情報ＭＩ１として、メッセージＭＧ１に基づく意図推定情報ＩＤ１、メッセージＭＧ２に基づく意図推定情報ＩＤ２及びメッセージＭＧ３に基づく意図推定情報ＩＤ３が音声変換装置５から画像変換サーバ装置７に順次送出される。
【０１０３】
例えば画像変換サーバ装置７に備えられた画像データベース７５に、意図推定情報ＩＤ１，ＩＤ２，ＩＤ３のいずれとも同一又は類似の文字データが格納されていなかったとする。この場合、画像変換サーバ装置７に備えられた文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、意図推定情報ＩＤ１，ＩＤ２，ＩＤ３と同一又は類似の文字データが画像データベース７５に格納されていないと判定し、意図推定情報ＩＤ１，ＩＤ２，ＩＤ３を携帯情報端末装置Ｍに送出する（ステップＳ２２１）。
【０１０４】
その結果、図８（ｂ）に示すように、携帯情報端末装置Ｍの表示画面には、意図推定情報ＩＤ１に対応する「ゴメン、仕事が溜まってて。。。」というテキストＴＸ１と、意図推定情報ＩＤ２に対応する「行けたとしても死んでそう。。。」というテキストＴＸ２と、意図推定情報ＩＤ３に対応する「行ける時だけ連絡するよ」というテキストＴＸ３が表示される。
【０１０５】
一方、第２実施形態において、例えば画像変換サーバ装置７に備えられた画像データベース７５に、意図推定情報ＩＤ１，ＩＤ３のいずれとも同一又は類似の文字データが格納されていないが、意図推定情報ＩＤ２と同一の文字データが格納されていたとする。この場合、画像変換サーバ装置７に備えられた文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、意図推定情報ＩＤ１，ＩＤ３と同一又は類似の文字データが画像データベース７５に格納されていないと判定し、意図推定情報ＩＤ１，ＩＤ３を携帯情報端末装置Ｍに送出する（ステップＳ２２１）。一方、文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、意図推定情報ＩＤ２と同一の文字データが画像データベース７５に格納されていると判定し、当該同一の文字データに対応付けられた画像データを携帯情報端末装置Ｍに送出する（ステップＳ２１９）。
【０１０６】
メッセージ交換サーバ３は、受信した意図推定情報ＩＤ１，ＩＤ３及び画像データＰＤ１を携帯情報端末装置Ｍに送出する。その結果、図８（ｃ）に示すように、携帯情報端末装置Ｍの表示画面には、意図推定情報ＩＤ１に対応する「ゴメン、仕事が溜まってて。。。」というテキストＴＸ１と、画像データＰＤ１に対応する「行けたとしても死んでそう。。。」という意味を表す画像ＰＩ１と、意図推定情報ＩＤ３に対応する「行ける時だけ連絡するよ」というテキストＴＸ３が順次表示される。
【０１０７】
このように、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７のいずれであっても、音声処理装置４，９の使用者が発話した音声の意味内容を表した画像を携帯情報端末装置Ｍの表示画面に表示することができる。
【０１０８】
（３−２）音声変換装置から画像データを送信する実施例
図９は、実施例２による音声変換装置１及び画像変換サーバ装置７を説明する図である。図９（ａ）中の中央には、第１実施形態における音声処理装置９又は第２実施形態における音声処理装置４の使用者Ｙが発話している状態が図示され、図９（ａ）中の左側には、第１実施形態における音声処理装置９及びメッセージ交換サーバ３が図示され、図９（ａ）中の右側には、第２実施形態における音声処理装置４及びメッセージ交換サーバ６が図示されている。図９（ｂ）は、文字データを受信した場合の携帯情報端末装置Ｍの表示画面の一例を示す図である。図９（ｃ）は、画像データを受信した場合の携帯情報端末装置Ｍの表示画面の一例を示す図である。
【０１０９】
携帯情報端末装置Ｍの使用者の「あの人、何であんなこと言ったんだろうね。」及び「君が怒るのも無理ないよ。」というメッセージ（図９（ｂ）及び図９（ｃ）参照）に対し、図９（ａ）に示すように、使用者Ｙが、携帯情報端末装置Ｍの使用者の「ホントにね、マジふざけんなだよ。ありがとね。ご迷惑おかけしました。」というメッセージＭＧ４を音声処理装置９に向かって発話したとする。
【０１１０】
第１実施形態において、例えば音声変換装置１に備えられた画像データベース１５に、メッセージＭＧ４に含まれる「ホントにね、マジふざけんなだよ。」、「ありがとね。」及び「ご迷惑おかけしました。」のいずれのメッセージに基づく意図推定情報とも同一又は類似の文字データが格納されていなかったとする。この場合、音声変換装置１に備えられた音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ４に含まれる３つのメッセージに基づく意図推定情報と同一又は類似の文字データが画像データベース１５に格納されていないと判定し、文字データをメッセージ交換サーバ３に送出する（ステップＳ２５）。音声変換装置１は、例えば１つのメッセージの中に含まれた複数の意図推定情報のそれぞれと同一又は類似する文字データが画像データベース１５に含まれていないと判定した場合、当該複数の意図推定情報を一纏めにしたテキスト情報をメッセージ交換サーバ３に送出してもよい。このため、図９（ａ）中の左側に示すように、音声変換装置１からメッセージ交換サーバ３に出力データＯＤ３が出力される。出力データＯＤ３として、メッセージＭＧ４に含まれる「ホントにね、マジふざけんなだよ。ありがとね。ご迷惑おかけしました。」に対応するテキスト情報ＴＤ４が音声変換装置１からメッセージ交換サーバ３に送出される。
【０１１１】
メッセージ交換サーバ３は、受信したテキスト情報ＴＤ４を携帯情報端末装置Ｍに送出する。その結果、図９（ｂ）に示すように、携帯情報端末装置Ｍの表示画面には、「ホントにね、マジふざけんなだよ。ありがとね。ご迷惑おかけしました。」というテキストＴＸ４が表示される。
【０１１２】
一方、第１実施形態において、例えば音声変換装置１に備えられた画像データベース１５に、メッセージＭＧ４に含まれる「ホントにね、マジふざけんなだよ。」、「ありがとね。」及び「ご迷惑おかけしました。」に基づく意図推定情報のいずれも同一の文字データが格納されていたとする。この場合、音声変換装置１に備えられた音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ４に含まれる３つのメッセージに基づく意図推定情報のそれぞれと同一の文字データが画像データベース１５に格納されていると判定し、画像データをメッセージ交換サーバ３に送出する（ステップＳ２３）。音声変換装置１は、例えばメッセージの中に含まれた複数の意図推定情報の少なくとも１つと同一又は類似する文字データが画像データベース１５に含まれていると判定した場合、当該複数の意図推定情報のそれぞれを個別の意図推定情報とし、画像データを取得できた場合は当該画像データを、画像データが取得できない場合は意図推定情報に対応するテキスト情報をメッセージ交換サーバ３に送出してもよい。このため、図９（ａ）中の左側に示すように、音声変換装置１からメッセージ交換サーバ３に出力データＯＤ４が出力される。出力データＯＤ４として、メッセージＭＧ４に含まれる「ホントにね、マジふざけんなだよ。」に対応する画像データＰＤ２、「ありがとね。」に対応する画像データＰＤ３及び「ご迷惑おかけしました。」に対応する画像データＰＤ４が音声変換装置１からメッセージ交換サーバ３に順次送出される。
【０１１３】
メッセージ交換サーバ３は、受信した画像データＰＤ２，ＰＤ３，ＰＤ４を携帯情報端末装置Ｍに送出する。その結果、図９（ｃ）に示すように、携帯情報端末装置Ｍの表示画面には、「ホントにね、マジふざけんなだよ。」という意味を表す画像ＰＩ２と、「ありがとね。」という意味を表す画像ＰＩ３と、「ご迷惑おかけしました。」という意味を表す画像ＰＩ４とが表示される。
【０１１４】
一方、第２実施形態において、音声処理装置４に設けられた音声変換装置５は、入力されたメッセージＭＧ４に基づく意図推定情報を含む意図推定結果情報ＭＩ２をメッセージ交換サーバ６の画像変換サーバ装置７に送出する。意図推定結果情報ＭＩ２として、メッセージＭＧ４に対応する意図推定情報ＩＤ４が音声変換装置５から画像変換サーバ装置７に送出される。
【０１１５】
例えば画像変換サーバ装置７に備えられた画像データベース７５に、意図推定結果情報ＭＩ２に含まれる「ホントにね、マジふざけんなだよ。」、「ありがとね。」及び「ご迷惑おかけしました。」の３つのメッセージに基づく３つの意図推定情報のいずれとも同一又は類似の文字データが格納されていなかったとする。画像変換サーバ装置７は、例えば１つの意図推定結果情報の中に含まれた複数の意図推定情報のいずれとも同一又は類似する文字データが画像データベース７５に含まれていないと判定した場合、当該複数の意図推定情報を一纏めにしたテキスト情報を携帯情報端末装置Ｍに送出してもよい。このため、画像変換サーバ装置７に備えられた文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、３つの意図推定情報のそれぞれと同一又は類似の文字データが画像データベース７５に格納されていないと判定し、３つの意図推定情報を一纏めにしたテキスト情報を携帯情報端末装置Ｍに送出する（ステップＳ２２１）。
【０１１６】
その結果、図９（ｂ）に示すように、携帯情報端末装置Ｍの表示画面には、一纏めに舌テキスト情報に対応する「ホントにね、マジふざけんなだよ。ありがとね。ご迷惑おかけしました。」というテキストＴＸ４が表示される。
【０１１７】
第２実施形態において、例えば画像変換サーバ装置７に備えられた画像データベース７５に、意図推定結果情報ＭＩ２に含まれる「ホントにね、マジふざけんなだよ。」、「ありがとね。」及び「ご迷惑おかけしました。」のそれぞれの意図推定情報と同一の文字データが格納されていたとする。画像変換サーバ装置７は、例えば１つの意図推定結果情報の中に含まれた複数の意図推定情報の少なくとも１つと同一又は類似する文字データが画像データベース７５に含まれていると判定した場合、当該複数の意図推定情報のそれぞれを個別の意図推定情報とし、画像データを取得できた場合は当該画像データを、画像データが取得できない場合は意図推定情報に基づくテキスト情報を携帯情報端末装置Ｍに送出してもよい。このため、画像変換サーバ装置７に備えられた文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、意図推定結果情報ＭＩ２に含まれる「ホントにね、マジふざけんなだよ。」、「ありがとね。」及び「ご迷惑おかけしました。」のそれぞれの意図推定情報と同一の文字データが画像データベース７５に格納されていると判定し、当該同一の文字データにそれぞれ対応付けられた画像データを携帯情報端末装置Ｍに順次送出する（ステップＳ２１９）。
【０１１８】
その結果、図９（ｃ）に示すように、携帯情報端末装置Ｍの表示画面には、「ホントにね、マジふざけんなだよ。」という意味を表す画像ＰＩ２と、「ありがとね。」という意味を表す画像ＰＩ３と、「ご迷惑おかけしました。」という意味を表す画像ＰＩ４とが表示される。
【０１１９】
このように、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７のいずれであっても、音声処理装置４，９の使用者が発話した音声に複数の意味内容（複数の文章）が含まれている場合には、この複数の意味内容を１纏めの情報として処理したり、個別の情報として処理したりすることができる。これにより、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７は、当該音声を複数の意味内容に分離した画像やテキストとして携帯情報端末装置Ｍの表示画面に表示したり、当該音声を１つの画像やテキストとして携帯情報端末装置Ｍの表示画面に表示したりすることができる。
【０１２０】
（３−３）音声変換装置から画像データを送信する実施例
図１０は、実施例３による音声変換装置１及び画像変換サーバ装置７を説明する図である。図１０（ａ）中の中央には、第１実施形態における音声処理装置９又は第２実施形態における音声処理装置４の使用者Ｙが発話している状態が図示され、図１０（ａ）中の左側には、第１実施形態における音声処理装置９及びメッセージ交換サーバ３が図示され、図１０（ａ）中の右側には、第２実施形態における音声処理装置４及びメッセージ交換サーバ６が図示されている。図１０（ａ）では、感情を昂ぶらせている使用者Ｙには網掛けが付されている。図１０（ｂ）は、文字データを受信した場合の携帯情報端末装置Ｍの表示画面の一例を示す図である。図１０（ｃ）は、文字データ及び画像データを受信した場合の携帯情報端末装置Ｍの表示画面の一例を示す図である。
【０１２１】
図１０（ａ）に示すように、使用者Ｙが、携帯情報端末装置Ｍの使用者の「お土産買って帰るねぇ」というメッセージ（図１０（ｂ）及び図１０（ｃ）参照）に対して、「ありがとう！」というメッセージＭＧ５を音声処理装置９に向かって発話し、「大好きな赤福だよー」というメッセージ（図１０（ｂ）及び図１０（ｃ）参照）に対して、「マジで？！やったー！！」というメッセージＭＧ６を音声処理装置９に向かって発話したとする。また、使用者Ｙは、メッセージＭＧ５を発話する時よりもメッセージＭＧ６を発話する時の方が感情を昂ぶらせていたとする。
【０１２２】
第１実施形態において、例えば音声変換装置１に備えられた画像データベース１５に、メッセージＭＧ５，ＭＧ６に基づく意図推定情報のそれぞれと同一又は類似の文字データが格納されていなかったとする。この場合、音声変換装置１に備えられた音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ５，ＭＧ６に基づく意図推定情報のそれぞれと同一又は類似の文字データが画像データベース１５に格納されていないと判定し、当該意図推定情報に対応するテキスト情報をメッセージ交換サーバ３に送出する（ステップＳ２５）。このため、図１０（ａ）中の左側に示すように、音声変換装置１からメッセージ交換サーバ３に出力データＯＤ５，ＯＤ６が出力される。出力データＯＤ５としてメッセージＭＧ５に基づく意図推定情報に対応するテキスト情報ＴＤ５及び出力データＯＤ６としてメッセージＭＧ６に基づく意図推定情報に対応するテキスト情報ＴＤ６が音声変換装置１からメッセージ交換サーバ３に順次送出される。
【０１２３】
メッセージ交換サーバ３は、受信したテキスト情報ＴＤ５，ＴＤ６を携帯情報端末装置Ｍに順次送出する。その結果、図１０（ｂ）に示すように、携帯情報端末装置Ｍの表示画面には、テキスト情報ＴＤ５に対応する「ありがとう！」というテキストＴＸ５と、テキスト情報ＴＤ６に対応する「マジで？！やったー！！」というテキストＴＸ６とが順次表示される。
【０１２４】
一方、第１実施形態において、例えば音声変換装置１に備えられた画像データベース１５に、メッセージＭＧ５，ＭＧ６に基づく意図推定情報のそれぞれと類似の文字データが格納されていたとする。この場合、音声変換装置１に備えられた音声画像変換部１１は、図３に示す該当データの探索処理（ステップＳ１９）及び該当データの判定処理（ステップＳ２１）において、メッセージＭＧ５，ＭＧ６に基づく意図推定情報のそれぞれと類似の文字データが画像データベース１５に格納されていると判定し、当該類似の文字データに対応付けられた画像データをメッセージ交換サーバ３に送出する（ステップＳ２３）。このため、図１０（ａ）中の左側に示すように、音声変換装置１からメッセージ交換サーバ３に出力データＯＤ７，ＯＤ８が順次出力される。出力データＯＤ７としてメッセージＭＧ５に基づく意図推定情報に対応する画像データＰＤ５及び出力データＯＤ８としてメッセージＭＧ６に基づく意図推定情報に対応する画像データＰＤ６が音声変換装置１からメッセージ交換サーバ３に順次送出される。
【０１２５】
メッセージ交換サーバ３は、受信した画像データＰＤ５，ＰＤ６を携帯情報端末装置Ｍに順次送出する。その結果、図１０（ｃ）に示すように、携帯情報端末装置Ｍの表示画面には、画像データＰＤ５に対応しメッセージＭＧ５の「ありがとう！」という意味を表す画像ＰＩ５と、画像データＰＤ６に対応しメッセージＭＧ６の「マジで？！やったー！！」という意味を表す画像ＰＩ６が順次表示される。メッセージＭＧ５及びメッセージＭＧ６は、いずれも感謝を表すメッセージである。しかしながら、使用者Ｙは、メッセージＭＧ６を発話する時の方がメッセージＭＧ５を発話する時よりも感情を昂ぶらせている。音声画像変換部１１の音声認識部１１１では、使用者Ｙの感情認識も行われ、第一意図推定部１１３において推定される意図推定情報には、この感情認識の結果も含まれる。このため、図１０（ｃ）に示すように、画像ＰＩ６は、画像ＰＩ５よりも喜びが表された画像になる。
【０１２６】
一方、第２実施形態において、音声処理装置４に設けられた音声変換装置５は、入力されたメッセージＭＧ５，ＭＧ６に基づく意図推定情報を含む意図推定結果情報ＭＩ３，ＭＩ４をメッセージ交換サーバ６の画像変換サーバ装置７に送出する。意図推定結果情報ＭＩ３としてメッセージＭＧ５に基づく意図推定情報ＩＤ５及びメッセージＭＧ６に基づく意図推定情報ＩＤ６が音声変換装置５から画像変換サーバ装置７に順次送出される。
【０１２７】
例えば画像変換サーバ装置７に備えられた画像データベース７５に、音声変換装置５に入力されたメッセージＭＧ５，ＭＧ６に基づく意図推定情報ＩＤ５，ＩＤ６のそれぞれと同一又は類似の文字データが格納されていなかったとする。この場合、画像変換サーバ装置７に備えられた文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、意図推定情報ＩＤ５，ＩＤ６と同一又は類似の文字データが画像データベース７５に格納されていないと判定し、意図推定情報ＩＤ５に対応するテキスト情報と意図推定情報ＩＤ６に対応するテキスト情報を携帯情報端末装置Ｍに順次送出する（ステップＳ２２１）。
【０１２８】
その結果、図１０（ｂ）に示すように、携帯情報端末装置Ｍの表示画面には、意図推定情報ＩＤ５に対応する「ありがとう！」というテキストＴＸ５と、意図推定情報ＩＤ６に対応する「マジで？！やったー！！」というテキストＴＸ６とが順次表示される。
【０１２９】
一方、第２実施形態において、例えば画像変換サーバ装置７に備えられた画像データベース７５に、音声変換装置５に入力されたメッセージＭＧ５，ＭＧ６に基づく意図推定情報ＩＤ５，ＩＤ６と類似の文字データが格納されていたとする。この場合、画像変換サーバ装置７に備えられた文字画像変換部７１は、図６に示す該当データの探索処理（ステップＳ２１５）及び該当データの判定処理（ステップＳ２１７）において、意図推定情報ＩＤ５，ＩＤ６と類似の文字データが画像データベース７５に格納されていると判定し、当該類似の文字データに対応付けられた画像データＰＤ５，ＰＤ６を携帯情報端末装置Ｍに送出する（ステップＳ２１９）。
【０１３０】
メッセージ交換サーバ３は、受信した画像データＰＤ５，ＰＤ６を携帯情報端末装置Ｍに送出する。その結果、図１０（ｃ）に示すように、携帯情報端末装置Ｍの表示画面には、画像データＰＤ５に対応しメッセージＭＧ５の「ありがとう！」という意味を表す画像ＰＩ５と、画像データＰＤ６に対応しメッセージＭＧ６の「マジで？！やったー！！」という意味を表す画像ＰＩ６が順次表示される。メッセージＭＧ５及びメッセージＭＧ６は、いずれも感謝を表すメッセージである。しかしながら、使用者Ｙは、メッセージＭＧ６を発話する時の方がメッセージＭＧ５を発話する時よりも感情を昂ぶらせている。音声変換装置５の音声認識部１１１では、使用者Ｙの感情認識も行われ、第一意図推定部１１３において推定される意図推定情報には、この感情認識の結果も含まれる。このため、音声変換装置５からメッセージ交換サーバ６の画像変換サーバ装置７に送出されるテキスト情報ＴＤ５，ＴＤ６には、使用者Ｙの感情認識の結果も含まれている。これにより、図１０（ｃ）に示すように、画像ＰＩ６は、画像ＰＩ５よりも喜びが表された画像になる。
【０１３１】
このように、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７のいずれであっても、音声処理装置４，９の使用者が発話した音声の意味内容が同じであっても、使用者の意図を反映させて異なる画像を携帯情報端末装置Ｍの表示画面に表示することができる。
【０１３２】
（３−４）音声変換装置又は画像変換サーバ装置が画像データを受信する実施例
図１１は、実施例４による音声変換装置１及び画像変換サーバ装置７を説明する図である。図１１中の右側には、携帯情報端末装置Ｍの表示画面の一例が図示され、図１１中の左上側には、第１実施形態における音声処理装置９、メッセージ交換サーバ３及び音声処理装置９の使用者Ｙが図示され、図１１中の左下側には、第２実施形態における音声処理装置４、メッセージ交換サーバ６及び音声処理装置４の使用者Ｙが図示されている。
【０１３３】
図１１中の右側に示すように、携帯情報端末装置Ｍの使用者が、使用者Ｙの「まだ仕事中？」というメッセージに対して、仕事がまだ終わらないことを表す画像ＰＩ７を送信し、使用者Ｙの「ファイト」というメッセージに対して、感謝を表す画像ＰＩ８を送信したとする。
【０１３４】
第１実施形態において、図１１中の左上側に示すように、例えば画像ＰＩ７，ＰＩ８の画像データを順次受信したメッセージ交換サーバ３は、出力データＯＤ９，ＰＤ１０を音声処理装置９に順次出力する。出力データＯＤ９として画像ＰＩ７の画像データＰＤ７及び出力データＰＤ１０として画像ＰＩ８の画像データＰＤ８がメッセージ交換サーバ６から音声処理装置９の音声変換装置１に順次送出される。
【０１３５】
例えば音声変換装置１に備えられた画像データベース１５に、画像データＰＤ７，ＰＤ８のそれぞれと類似の画像データが格納されていたとする。この場合、音声変換装置１に備えられた画像音声変換部１３は、図４に示す同一又は類似画像判断（ステップＳ１１５及びステップＳ１１７）において、画像データＰＤ７，ＰＤ８と類似の画像データが画像データベース１５に格納されていると判定し、当該類似の画像データに対応付けられた文字データに基づく意図推定情報を用いて生成した合成音声を再生する。
【０１３６】
その結果、図１１中の左上側に示すように、音声変換装置１は、音声出力部１９を介して、画像ＰＩ７に対応する「仕事がまだ終わりません」という音声ＶＯ７を出力し、画像ＰＩ８に対応する「泣きたい」という音声ＶＯ８を出力する。
【０１３７】
一方、第２実施形態において、メッセージ交換サーバ６の画像変換サーバ装置７に備えられた画像データベース７５に、画像ＰＩ７の画像データに類似する画像データＰＤ７及び画像ＰＩ８の画像データに類似する画像データＰＤ８が格納されていたとする。画像変換サーバ装置７の画像文字変換部７３は、図７に示す同一又は類似画像判断（ステップＳ３１７及びステップＳ３１９）において、画像ＰＩ７の画像データに類似する画像データＰＤ７及び画像ＰＩ８の画像データに類似する画像データＰＤ８が画像データベース７５に格納されていると判定する。これにより、画像文字変換部７３は、画像データＰＤ７に対応付けられた文字データに基づく意図推定情報ＩＤ７を含む意図推定結果情報ＭＩ７と、画像データＰＤ８に対応付けられた文字データに基づく意図推定情報ＩＤ８を含む意図推定結果情報ＭＩ８とを音声処理装置４に順次出力する。
【０１３８】
意図推定情報ＩＤ７，ＩＤ８は、選択した文字データ及び会話の流れを踏まえて生成される。このため、意図推定情報ＩＤ７は、画像ＰＩ７の「まだ終わらない」という情報に、画像ＰＩ７の送出の直前における音声処理装置４の使用者の発話に基づく「まだ仕事中？」という情報が反映され、「仕事がまだ終わりません」という意味内容のデータとなる。一方、画像ＰＩ８の「泣く」という情報に対し、画像ＰＩ８の送出の直前における音声処理装置４の使用者の発話に基づく「ファイト」という情報を反映して音声処理装置４の使用者への感謝の意図を推定することができる。また、画像ＰＩ８の「泣く」という情報に対し、携帯情報端末装置Ｍの使用者が直前に送出した「まだ終わらない」という状況に対する悲観的な意図を推定することもできる。このため、意図推定情報ＩＤ８は、これらのいずれの意図にも推定できる「泣きたい」という意味内容のデータとなる。
【０１３９】
音声変換装置５は、受信した意図推定結果情報ＭＩ７，ＭＩ８に含まれる意図推定情報ＩＤ７，ＩＤ８に基づいて合成音声を再生する。その結果、図１１中の左下側に示すように、音声変換装置５は、音声出力部１９を介して、画像ＰＩ７に対応する「仕事がまだ終わりません」という音声ＶＯ７を出力し、画像ＰＩ８に対応する「泣きたい」という音声ＶＯ８を順次出力する。
【０１４０】
このように、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７のいずれであっても、音声変換装置１及び画像変換サーバ装置７が受信した画像の意味内容に、受信した当該画像に基づいて選択した文字データ及び会話の流れを付加した意図推定情報を生成できるので、受信した画像の意味内容、当該受信した画像に基づいて選択した文字データ及び会話の流れを踏まえた音声を音声処理装置４，９から出力できる。
【０１４１】
（３−５）音声変換装置又は画像変換サーバ装置が画像データを受信する実施例
図１２は、実施例５による音声変換装置１及び画像変換サーバ装置７を説明する図である。図１２中の右側には、携帯情報端末装置Ｍの表示画面の一例が図示され、図１２中の左上側には、第１実施形態における音声処理装置９、メッセージ交換サーバ３及び音声処理装置９の使用者Ｙが図示され、図１２中の左下側には、第２実施形態における音声処理装置４、メッセージ交換サーバ６及び音声処理装置４の使用者Ｙが図示されている。
【０１４２】
図１２中の右側に示すように、携帯情報端末装置Ｍの使用者が、使用者Ｙの「ケーキ買ったよー」というメッセージに対して、喜んでいることを表す画像ＰＩ９を送信したとする。
【０１４３】
第１実施形態において、図１２中の左上側に示すように、画像ＰＩ９を受信したメッセージ交換サーバ６は、出力データＯＤ１１を音声処理装置９に出力する。出力データＯＤ１１として画像ＰＩ９に対応する画像データＰＤ９がメッセージ交換サーバ６から音声処理装置９の音声変換装置１に送出される。
【０１４４】
例えば音声変換装置１に備えられた画像データベース１５に、画像データＰＤ９の類似の画像データが格納されていたとする。この場合、音声変換装置１に備えられた画像音声変換部１３は、図４に示す同一又は類似画像判断（ステップＳ１１５及びステップＳ１１７）において、画像データＰＤ９と類似の画像データが画像データベース１５に格納されていると判定し、当該類似の画像データに対応付けられた文字データに基づく意図推定情報を用いて合成音声を再生する。
【０１４５】
その結果、図１２中の左上側に示すように、音声変換装置１は、音声出力部１９を介して、画像ＰＩ９に対応する「泣くほど嬉しい！」という音声ＶＯ９を出力する。合成音声は、選択された文字データ及び会話の流れを踏まえて再生される。本例では、「ケーキを買った」というメッセージに対する返信であるため、画像ＰＩ９の意味内容の「泣く」とい情報に会話の流れの「嬉しい」という情報が反映される。このため、画像ＰＩ９は、図１１中に示す画像ＰＩ８と同じであるが、音声変換装置１から出力される音声は異なる。
【０１４６】
一方、第２実施形態において、メッセージ交換サーバ６の画像変換サーバ装置７に備えられた画像データベース７５に、画像ＰＩ９の画像データＰＤ９に類似する画像データが格納されていたとする。画像変換サーバ装置７の画像文字変換部７３は、図７に示す類似画像判断（ステップＳ３１７及びステップＳ３１９）において、画像データＰＤ９と類似の画像データが画像データベース７５に格納されていると判定し、当該類似の画像データに対応付けられた文字データに基づく意図推定情報ＩＤ９を含む意図推定結果情報ＭＩ７を音声処理装置４に出力する。意図推定情報ＩＤ９は、画像データベース７５から選択した文字データ及び会話の流れを踏まえて生成される。
【０１４７】
音声変換装置５は、受信した意図推定結果情報ＭＩ７に含まれる意図推定情報ＩＤ９に基づいて合成音声を再生する。その結果、図１２中の左上側に示すように、音声変換装置１は、音声出力部１９を介して、画像ＰＩ９に対応する「泣くほど嬉しい！」という音声ＶＯ９を出力する。合成音声は、選択した文字データに基づく意図推定情報を含むデータを用いて再生される。本例では、「ケーキを買った」というメッセージに対する返信であるため、画像ＰＩ９の意味内容の「泣く」とい情報に会話の流れの「嬉しい」という情報が反映される。このため、画像ＰＩ９は、図１１中に示す画像ＰＩ８と同じであるが、音声変換装置１から出力される音声は異なる。
【０１４８】
このように、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７はそれぞれ、会話の流れなどを踏まえて、受信した同じ画像データに対して異なる音声を音声処理装置４，９から出力できる。
【０１４９】
４．音声変換プログラム及び画像変換プログラム
（４−１）音声変換プログラム
本発明は、コンピュータ等のプログラムとして具体化することができる。例えば、音声変換装置１の各部、より具体的には、画像データベース１５、音声画像変換部１１（音声認識部１１１、第一意図推定部１１３、画像データ検索部１１５、画像データ送出部１１７）、画像音声変換部１３（画像データ受信部１３１、画像データ展開部１３３、文字データ選択部１３５、第二意図推定部１３７、音声合成再生部１３９）を、コンピュータやスマートスピーカ等の情報端末装置を機能させる音声変換プログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータやスマートスピーカ等の情報端末装置によって使用可能な、またはコンピュータやスマートスピーカ等の情報端末装置で可読の記憶媒体上のプログラム製品の形態をとることができ、この媒体には、コンピュータやスマートスピーカ等の情報端末装置によって使用可能な、またはコンピュータやスマートスピーカ等の情報端末装置での可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータやスマートスピーカ等の情報端末装置によって使用可能な、またはコンピュータやスマートスピーカ等の情報端末装置で可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。
【０１５０】
（４−２）画像変換プログラム
本発明は、コンピュータ等のプログラムとして具体化することができる。例えば、画像変換サーバ装置７の各部、より具体的には、画像データベース７５、文字画像変換部７１（第二受信部７１１、画像データ検索部７１３、画像データ送出部７１５）、画像文字変換部７３（画像データ受信部７３１、画像データ展開部７３３、文字データ選択部７３５、第二意図推定部７３７、第二送出部７３９）を、コンピュータや通信サーバを機能させる画像変換プログラムとして実現することもできる。したがって、本発明の一部または全ては、ハードウェアまたはソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコード、ステートマシン、ゲートアレイ等を含む）に組み入れることができる。さらに、本発明は、コンピュータや通信サーバによって使用可能な、またはコンピュータや通信サーバで可読の記憶媒体上のプログラム製品の形態をとることができ、この媒体には、コンピュータや通信サーバによって使用可能な、またはコンピュータや通信サーバでの可読のプログラムコードが組み入れられる。本明細書のコンテキストでは、コンピュータや通信サーバによって使用可能な、またはコンピュータや通信サーバで可読の媒体は、命令実行システム、装置若しくはデバイスによって、またはそれらとともに使用されるプログラムを、収録する、記憶する、通信する、伝搬する、または搬送することのできる、任意の媒体とすることができる。
【０１５１】
以上説明したように、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７は、表示装置を有さない場合であっても音声と画像又は文字とを変換することができる。特に、第１実施形態による音声変換装置１及び第２実施形態による画像変換サーバ装置７は、送受信する画像データが当該画像データの意味を表すコードを有していなくても、画像データを音声データに変換できる。
【０１５２】
本発明は、上記実施形態に限らず種々の変形が可能である。
上記第１実施形態では、第一意図推定部及び第二意図推定部が個別に設けられているが、意図推定部は、音声画像変換部と画像音声変換部とで共用されるようになっていてもよい。
【０１５３】
上記第１実施形態では、データベースが音声画像変換部と画像音声変換部とで共用されているが、音声画像変換部及び画像音声変換部はそれぞれ、専用のデータベースを有していてもよい。
【０１５４】
上記第１実施形態及び上記第２実施形態では、文字データと画像データとを対応付ける記憶部としてデータベースが用いられているが、発話意図に対して画像データを対応付けられていれば、データベース以外の記憶部であってもよい。
【０１５５】
上記第１実施形態では、入力された音声を画像に変換するか否かをキーワードによって判定しているが、使用者が予め設定できるようになっていてもよい。
【０１５６】
例えば、頻度が多い上に広告ばかりの法人アカウントなど、画像やスタンプを受信した際に、全てのアカウントで音声が再生されるのは望ましくない場合がある。そこで、上記第１実施形態及び上記第２実施形態では、法人アカウントに関しては画像受信時の音声再生機能をオフ状態に設定できたり、使用者にて選択可能（例えば音声による操作）になっていたりしてもよい。
【符号の説明】
【０１５７】
１，５  音声変換装置
３，６  メッセージ交換サーバ
４，９  音声処理装置
７  画像変換サーバ装置
１１  音声画像変換部
１３  画像音声変換部
１５，７５  画像データベース
１７  音声入力部
１９  音声出力部
７１  文字画像変換部
７３  画像文字変換部
１１１  音声認識部
１１３  第一意図推定部
１１５，７１３  画像データ検索部
１１７，７１５  画像データ送出部
１３１，７３１  画像データ受信部
１３３，７３３  画像データ展開部
１３５，７３５  文字データ選択部
１３７，７３７  第二意図推定部
１３９  音声合成再生部
３３１  画像データ受信部
５１１  第一送出部
５３１  第一受信部
７１１  第二受信部
７３９  第二送出部
Ｍ  携帯情報端末装置
ＭＳ  メッセージ交換システム
【図１】
2019179190.tif 000003
【図２】
2019179190.tif 000004
【図３】
2019179190.tif 000005
【図４】
2019179190.tif 000006
【図５】
2019179190.tif 000007
【図６】
2019179190.tif 000008
【図７】
2019179190.tif 000009
【図８】
2019179190.tif 000010
【図９】
2019179190.tif 000011
【図１０】
2019179190.tif 000012
【図１１】
2019179190.tif 000013
【図１２】
2019179190.tif 000014