(57)【要約】【課題】  異言語間のコミュニケーションにおいても、語調や間、アクセントなどの要素を伝達することができる情報送受信プログラム及びシステムを提供する。【解決手段】情報送受信プログラムは、情報送信処理と、受信情報表示処理と、を実行するプログラムであって、前記情報送信処理は、第一の言語による音声情報の入力を受け付ける音声情報入力ステップと、前記音声情報を文字情報に変換した第一文字情報を生成する第一文字情報生成ステップと、前記第一文字情報を前記第一の言語とは異なる第二の言語に翻訳した第二文字情報を生成する翻訳ステップと、前記音声情報と前記第二文字情報とを互いに関連付けた前記送信情報を生成して、送信する送信ステップと、を備える。【選択図】図３
2016091195.tif 000002
【特許請求の範囲】
【請求項１】
所定の送信情報を生成して、ネットワークを介して送信相手の端末に送信する情報送信処理と、
前記送信相手の端末から受信した受信情報を表示する受信情報表示処理と、を実行する情報送受信プログラムであって、
前記情報送信処理は、
送信元の言語である第一の言語による音声情報の入力を受け付ける音声情報入力ステップと、
前記音声情報を文字情報に変換した第一文字情報を取得する第一文字情報生成ステップと、
前記第一文字情報を前記第一の言語とは異なる送信相手の言語である第二の言語に翻訳した第二文字情報を取得する翻訳ステップと、
前記音声情報と前記第二文字情報とを互いに関連付けた前記送信情報を前記送信相手の端末に送信する送信ステップと、を備え、
前記受信情報表示処理は、
前記受信情報に含まれる第二文字情報を表示する情報表示ステップと、
前記受信情報に含まれる音声情報を出力する音声出力ステップと、を備えることを特徴とする情報送受信プログラム。
【請求項２】
予め、所定の意味をなす複数種類のイメージ情報が記憶された記憶部を備えたシステムにおいて実行される情報送受信プログラムであって、
複数の前記イメージ情報を表示して所望のイメージ情報の選択を受け付ける選択ステップと、
当該イメージ情報に関連するイメージ音声情報の入力を受け付けるイメージ音声情報入力ステップと、
前記イメージ情報と前記イメージ音声情報とを互いに関連付けて送信するイメージ情報送信ステップとを備えることを特徴とする請求項１に記載の情報送受信プログラム。
【請求項３】
所定の送信情報をネットワークを介して他の端末に送信する情報送信部と、
ネットワークを介して他の端末から情報を受信する情報受信部と、
外部から音声情報の入力を受け付ける音声入力部と、
音声情報を出力する音声出力部と、
画像情報を表示する表示部と、
第一の言語による音声情報を文字情報に変換した第一文字情報を取得する音声情報変換部と、
前記第一の言語で記述された前記第一文字情報を、当該第一の言語とは異なる第二の言語で記述した第二文字情報に変換する翻訳部と、を備えたシステムであって、
前記音声入力部が音声情報の入力を受け付けると、前記音声情報変換部は、当該音声情報を文字情報に変換し、前記翻訳部は、当該文字情報を予め指定された他の言語の第二文字情報に変換し、前記情報送信部は、前記音声情報及び当該第二文字情報を互いに関連付けた前記送信情報を生成して、他の端末に送信するものであり、
前記情報受信部が他の端末から前期第二文字情報及び前記音声情報を含む情報を受け付けると、
前記表示部は、前記所定の情報に含まれる前記第二文字情報を表示するとともに、前記音声出力部は、前記音声情報を出力することを特徴とするシステム。
【請求項４】
予め、所定の意味をなす複数種類のイメージ情報が記憶された記憶部をさらに備えたＳＮＳ用システムであって、
前記表示部は、複数の前記イメージ情報を選択可能に表示できるとともに、
複数の前記イメージ情報の中からひとつのイメージ情報が選択されると、前記音声入力部が、当該イメージ情報に関連するイメージ音声情報の入力を受け付け、
前記情報送信部が、前記選択されたイメージ情報及び前記イメージ音声情報を互いに関連付けて、他の端末に送信することを特徴とする請求項３に記載のＳＮＳ用システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットを介したコミュニケーションに用いられる情報送受信プログラム及びシステムに関する。
【背景技術】
【０００２】
近年、インターネットを通じたコミュニケーションの手段として、LINE（登録商標），Twitter（登録商標），Facebook（登録商標）などのいわゆるＳＮＳ（social networking service）が注目を集めている。このようなＳＮＳの中には、例えば、メッセンジャー（messenger）とよばれるインターネット上でリアルタイムにメッセージやデータを交換することのできるアプリケーションを用いて、相手との応答を行うものも知られている。このようなメッセンジャーは、多者間のチャットと音声チャットとをサポートし、動画ファイルや移動電話に文字メッセージも送信することもできる（例えば特許文献１）。このメッセンジャーには、ユーザ間の対話を機械翻訳した内容をトークセッション内に提供するサービスも提案されており（例えば特許文献２）、異言語間でコミュニケーションをとることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２１９６９号
【特許文献２】特開２０１３−１３１１９６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、肉声によるコミュニケーションは、文章そのものの意味の他に、語調や間、アクセントなどの要素を含んでいることで、感情を表現することができ、文字によるコミュニケーションに比べて多くの情報を相手に伝達することができる利点がある。
【０００５】
しかし、上述のように異言語間のコミュニケーションにおいて、機械翻訳後の文字又は機械翻訳後のコンピュータ音声には、上述のような肉声に含まれる語調や間、アクセントなどの要素を相手に伝達することができず、十分なコミュニケーションをとることが困難な場合もある。
【０００６】
そこで、本発明は、異言語間のコミュニケーションにおいても、語調や間、アクセントなどの要素を伝達することができる情報送受信プログラム及びシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載の情報送受信プログラムは、所定の送信情報を生成して、ネットワークを介して他の端末に送信する情報送信処理と、前記他の端末から受信した受信情報を表示する受信情報表示処理と、を実行する情報送受信プログラムであって、前記情報送信処理は、第一の言語による音声情報の入力を受け付ける音声情報入力ステップと、前記音声情報を文字情報に変換した第一文字情報を生成する第一文字情報生成ステップと、前記第一文字情報を前記第一の言語とは異なる第二の言語に翻訳した第二文字情報を生成する翻訳ステップと、前記音声情報と前記第二文字情報とを互いに関連付けた前記送信情報を生成して、送信する送信ステップと、を備え、前記受信情報表示処理は、前記受信情報に含まれる第二文字情報を表示する情報表示ステップと、前記受信情報に含まれる音声情報を出力する音声出力ステップと、を備えることを特徴としている。
【０００８】
請求項２に記載の情報送受信プログラムは、予め、所定の意味をなす複数種類のイメージ情報が記憶された記憶部を備えたシステムにおいて実行される情報送受信プログラムであって、複数の前記イメージ情報を表示して所望のイメージ情報の選択を受け付ける選択ステップと、当該イメージ情報に関連するイメージ音声情報の入力を受け付けるイメージ音声情報入力ステップと、前記イメージ情報と前記イメージ音声情報とを互いに関連付けて送信するイメージ情報送信ステップとを備えることを特徴としている。
【０００９】
請求項３に記載のシステムは、所定の送信情報をネットワークを介して他の端末に送信する情報送信部と、ネットワークを介して他の端末から情報を受信する情報受信部と、外部から音声情報の入力を受け付ける音声入力部と、音声情報を出力する音声出力部と、画像情報を表示する表示部と、第一の言語による音声情報を文字情報に変換した第一文字情報を生成する音声情報変換部と、前記第一の言語で記述された前記第一文字情報を、当該第一の言語とは異なる第二の言語で記述した第二文字情報に変換する翻訳部と、を備えたシステムであって、前記音声入力部が音声情報の入力を受け付けると、前記音声情報変換部は、当該音声情報を文字情報に変換し、前記翻訳部は、当該文字情報を予め指定された他の言語の第二文字情報に変換し、前記情報送信部は、前記音声情報及び当該第二文字情報を互いに関連付けた前記送信情報を生成して、他の端末に送信するものであり、前記情報受信部が他の端末から前期第二文字情報及び前記音声情報を含む情報を受け付けると、前記表示部は、前記所定の情報に含まれる前記第二文字情報を表示するとともに、前記音声出力部は、前記音声情報を出力することを特徴としている。
【００１０】
請求項４に記載のシステムは、予め、所定の意味をなす複数種類のイメージ情報が記憶された記憶部をさらに備えたＳＮＳ用システムであって、前記表示部は、複数の前記イメージ情報を選択可能に表示できるとともに、複数の前記イメージ情報の中からひとつのイメージ情報が選択されると、前記音声入力部が、当該イメージ情報に関連するイメージ音声情報の入力を受け付け、前記情報送信部が、前記選択されたイメージ情報及び前記イメージ音声情報を互いに関連付けて、他の端末に送信することを特徴としている。
【発明の効果】
【００１１】
請求項１に記載の情報送受信プログラムによると、音声情報入力ステップにおいて第一の言語による音声情報を受け付け、第一文字情報生成ステップにおいて当該音声情報を変換した第一文字情報を取得し、翻訳ステップにおいて当該第一文字情報を第一の言語とは異なる第二の言語に翻訳した第二文字情報を取得する。そして、音声情報と第二文字情報とを互いに関連付けた送信情報を送信するので、第一の言語による音声情報と第二の言語による第二文字情報とが送信相手に送信されることになる。したがって、送信相手は、自身の言語である第二文字情報と、送信元の言語である第一の言語による音声情報とを取得することができ、第二文字情報を確認しながら第一の言語による音声情報を聞くことができる。これにより、送信相手は、第二文字情報により、文章の内容を理解しつつ、音声情報により、語調や間、アクセントなどの情報を得ることができ、肉声の情報でしか伝わらない情報を伝達することができる。また、第二文字情報を見ながら第一の言語の音声情報を聞くことで、コミュニケーションを楽しみながら第一の言語の学習もすることができる。
【００１２】
請求項２に記載の情報送受信プログラムによると、例えば絵文字やスタンプなどのイメージ情報に、当該イメージと共に送信するイメージ音声情報を付加することができ、例えば文字を送信せずに、音声とイメージ情報とでコミュニケーションをとることができる。
【００１３】
請求項３に記載のシステムによると、音声入力部が第一の言語による音声情報を受け付け、音声情報変換部が当該音声情報を変換した第一文字情報を取得し、翻訳部が当該第一文字情報を第一の言語とは異なる第二の言語に翻訳した第二文字情報を取得する。そして、情報送信部が音声情報と第二文字情報とを互いに関連付けた送信情報を送信するので、第一の言語による音声情報と第二の言語による第二文字情報とが送信相手に送信されることになる。したがって、送信相手は、自身の言語である第二文字情報と、送信元の言語である第一の言語による音声情報とを取得することができ、第二文字情報を確認しながら第一の言語による音声情報を聞くことができる。これにより、送信相手は、第二文字情報により、文章の内容を理解しつつ、音声情報により、語調や間、アクセントなどの情報を得ることができ、肉声の情報でしか伝わらない情報を伝達することができる。また、第二文字情報を見ながら第一の言語の音声情報を聞くことで、コミュニケーションを楽しみながら第一の言語の学習もすることができる。
【００１４】
請求項４に記載のシステムによると、例えば絵文字やスタンプなどのイメージ情報に、当該イメージと共に送信するイメージ音声情報を付加することができ、例えば文字を送信せずに、音声とイメージ情報とでコミュニケーションをとることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態のシステムを示す機能ブロック図。
【図２】本実施形態の情報送受信プログラムの一例を示すフローチャート。
【図３】情報送信処理の一例を示すフローチャート。
【図４】受信情報表示処理の一例を示すフローチャート。
【図５】録音・受信選択画面の表示部を示す図。
【図６】送信先選択画面の表示部を示す図。
【図７】送信情報編集画面の表示部を示す図。
【図８】音声情報を録音中の表示部を示す図。
【図９】送信情報表示画面の表示部を示す図。
【図１０】イメージ選択画面の表示部を示す図。
【図１１】選択されたイメージ情報が表示された状態の表示部を示す図。
【図１２】イメージ音声確認画面の表示部を示す図。
【図１３】受信ＢＯＸを表示した状態の表示部を示す図。
【図１４】第二文字情報及びイメージ情報を表示した状態の表示部を示す図。
【発明を実施するための形態】
【００１６】
以下、本発明に係る情報送受信プログラム及びシステム６の最良の実施形態について、説明する。情報送受信プログラムは、例えばＳＮＳ（social networking service）のアプリケーションソフトウエアに組み込まれるプログラムである。なお、本発明の情報送受信プログラムは、ＳＮＳのアプリケーションソフトウエアに組み込まれるものに限定されるものではなく、ｅ−ｍａｉｌやインスタントメッセンジャー（Instant Messenger）のアプリケーションソフトウエアに組み込まれるものであってもよい。
【００１７】
まず、この情報送受信プログラムに基づいて処理を実行するシステム６の構成について、図１を参照しつつ説明する。システム６は、送信元端末１と、音声認識サーバ３と、翻訳サーバ４と、が互いにインターネット５を介して接続される構成である。また、インターネット５上には送信相手の受信相手端末２も接続されている。送信元端末１は、各部を制御する制御部１１と、記憶部１２と、インターフェース１３と、音声入力部１４と音声出力部１５と表示部１６とを備える。なお、受信相手端末２は送信元端末１と同様の構成であるので、各部の具体的な説明を省略する。
【００１８】
送信元端末１及び受信相手端末２は、情報送受信プログラムがインストールされた例えばスマートフォンなどの端末である。情報送受信プログラムが送信元端末１及び受信相手端末２上で起動されることで、送信元端末１と受信相手端末２との間で情報の送受信が行われ、情報送信処理又は受信情報表示処理が実行される。なお、送信元端末１及び受信相手端末２は、スマートフォンに限定されるものではなく、パソコンやタブレット端末などのインターネット５に接続可能な他の端末であってもよく、端末の種類や端末のＯＳ（Operating System）の種類に適合するように、情報送受信プログラムは作成される。
【００１９】
送信元端末１の制御部１１は、ＣＰＵ(Central Processing Unit)及びＧＰＵ（Graphics Processing Unit）により構成されており、各部の動作を制御するとともに、情報送受信プログラムを各部に実行させるプロセッサ及びその周辺ユニットである。記憶部１２は、ＲＡＭ（Random Access Memory）及び内蔵ストレージから構成されている。内蔵ストレージ内に本実施形態の情報送受信プログラムは記憶されており、当該情報送受信プログラムが実行されたときには、ＲＡＭに展開されて所望の処理がなされる。なお、本発明における記憶部１２は、送信元端末１に内蔵されている記憶部１２に限定されるものではなく、外付けのメモリーやインターネット５を介して接続されるストレージなどであってもよい。
【００２０】
インターフェース１３は、例えば携帯電話用のＲＦインターフェース、wi-fi、Bluetooth（登録商標）などの基地局やＬＡＮなどを介してインターネット５に接続可能なインターフェース１３である。また、音声入力部１４は、マイクであり、音声出力部１５はスピーカである。表示部１６は、液晶ディスプレイである。なお、本発明における「情報送信部」及び「情報受信部」は、本実施形態ではインターフェース１３がこれに相当する。
【００２１】
また、音声認識サーバ３は、音声認識プログラムがインストールされたサーバである。なお、本発明における「音声情報変換部」は本実施形態においては音声認識サーバ３がこれに相当するが、本発明の「音声情報変換部」は、例えば送信元端末１に内蔵されていてもよい。音声認識プログラムは、音響モデル及び言語モデルの予め収集された２種のデータに基づいて、入力された音声情報に最も近い語彙を推定して文字情報に変換するプログラムである。なお、音声認識プログラムは上述の音響モデル及び言語モデルのみに基づいて音声情報を文字情報に変換するものに限られず、文法規則や使用頻度などの他の情報も参照しつつ文字情報に変換するものであってもよい。送信元端末１からインターネット５を介して音声認識サーバ３に音声情報を入力すると、変換された文字情報が送信元端末１に送信される。なお、音声認識サーバ３は例えば、言語毎にそれぞれ設けられていてもよい。
【００２２】
そして、翻訳サーバ４は、機械翻訳プログラムがインストールされたサーバである。機械翻訳プログラムは、例えば辞書データ及び構文データなどの情報に基づいて、第一の言語の文字情報を第二の言語の文字情報に変換するものである。なお、第一の言語は本実施形態においては日本語であり、第二の言語は本実施形態においては英語であるが、これに限定されるものではなく、送信元端末１の使用者の使用言語を第一の言語とし、受信相手端末２の使用者の言語を第二の言語としている。なお、本発明の「翻訳部」は、本実施形態においては翻訳サーバ４がこれに相当する。
【００２３】
次に、以上のように構成されるシステム６において、主に制御部１１が、情報送受信プログラムを起動する処理の一例について説明する。図２に示すように、情報送受信プログラムを起動すると（Ｓ１００）、図５に示すように、制御部１１は、表示部１６を制御して「録音」及び「受信トレイ」を選択する画面を表示する（Ｓ１０１）。「録音」は、情報送信処理の中で送信する音声情報を録音することを意味し、受信トレイは、受信した情報を表示することを意味する。操作者は表示部１６のタッチパネルの上部の「録音」又は下部の「受信トレイ」をタップすることでいずれかを選択する。
【００２４】
そして、制御部１１は、次に「録音」が選択されたか否か判断する（Ｓ１０２）。「録音」が選択されたと判断すると（Ｓ１０２：ＹＥＳ）、情報送信処理を実行する（Ｓ２００）。一方、「録音」が選択されていないと判断すると（Ｓ１０２：ＮＯ）、次に、「受信トレイ」が選択されたか否か判断する（Ｓ１０３）。「受信トレイ」が選択されたと判断すると（Ｓ１０３：ＹＥＳ）、受信情報表示処理を実行する（Ｓ３００）。一方、「受信トレイ」が選択されていないと判断すると（Ｓ１０３：ＮＯ）、選択されるまで処理を繰り返す。
【００２５】
次に、図３を参照しつつ、情報送信処理の一例について説明する。情報送信処理では、制御部１１は表示部１６に、まず、図６に示されるような送信先選択画面を表示する（Ｓ２０１）。送信先選択画面は、予め登録されており、送信可能となっている送信先が上下に並べて複数表示されており、いずれかの送信先をタップすることで送信先を選択することができる。そして、次に、制御部１１が送信先の選択があったか否か判断する（Ｓ２０２）。送信先の選択があったと判断すると（Ｓ２０２：ＹＥＳ）、制御部１１は、図７に示すような、選択された送信先への送信情報を編集する送信情報編集画面を表示部１６に表示する（Ｓ２０３）。
【００２６】
送信情報編集画面は、中央に録音ボタンが表示されており、その右上部にイメージボタン及びキーボードボタンが表示されている。録音ボタンは録音を開始するボタンであり、イメージボタンはイメージを選択可能に一覧表示するボタンであり、キーボードボタンは表示部１６上に文字入力画面を表示するボタンであり、タップやフリックなどの操作により文字を入力する画面を表示する。そして、制御部１１は、録音ボタンがタップされたと判断すると（Ｓ２０４：ＹＥＳ）、音声入力部１４が音声の入力を受け付けるとともに（Ｓ２０５）、表示部１６に、図８に示すように録音中である旨の表示、及び、録音を停止するストップボタンを表示する。そして、そのまま録音を続け、制御部１１が表示部１６のストップボタンがタップされたと判断すると（Ｓ２０６：ＹＥＳ）、音声上表入力部の音声の入力の受け付けを停止して、音声を記憶部１２に保存する（Ｓ２０７）。
【００２７】
音声情報が保存されると（Ｓ２０７）、次に、制御部１１は、当該音声情報をインターネット５を介して音声認識サーバ３に送信し、音声認識サーバ３が当該音声情報を文字情報に変換して、第一文字情報として送信元端末１に返信する（２０８）。そして、次に制御部１１は、取得した第一文字情報を記憶部１２に保存するとともに、第一文字情報をインターネット５を介して翻訳サーバ４に送信する。翻訳サーバ４は、第一文字情報を受信すると、当該第一文字情報を第二の言語に翻訳した第二文字情報を生成し、当該第二文字情報を送信元端末１に返信する（Ｓ２０９）。以上の処理を終えると、制御部１１は、表示部１６に送信情報表示画面を表示する（Ｓ２１０）。
【００２８】
送信情報表示画面は、図９に示すように、中央に再生ボタンが表示されており、その下に第一の言語の第一文字情報が表示されている。さらにその下に編集ボタンが表示されており、この編集ボタンをタップすることで、図７に示すような送信情報編集画面に表示をバックする。また、この送信情報表示画面で左にスワイプすると、再度音声情報の入力を開始し、右にスワイプすると、送信情報の送信を開始する（Ｓ２１１）。具体的に送信情報は、第一の言語で話されている音声情報と第二の言語で記述された第二文字情報とが、インターネット５を介して受信相手端末２に送信される。
【００２９】
このように、本実施形態の情報送受信プログラム及びシステム６は、第一の言語による音声情報と第二の言語による第二文字情報とが受信相手端末２に送信されるので、受信相手端末２に接した送信相手は、自身の言語である第二文字情報と、送信元の言語である第一の言語による音声情報とを取得することができ、第二文字情報を確認しながら第一の言語による音声情報を聞くことができる。これにより、送信相手は、第二文字情報により、文章の内容を理解しつつ、音声情報により、語調や間、アクセントなどの情報を得ることができ、肉声の情報でしか伝わらない感情や強調を伝達することができる。また、第二文字情報を見ながら第一の言語の音声情報を聞くことで、コミュニケーションを楽しみながら第一の言語の学習もすることができる。
【００３０】
一方、ステップ２０３に戻って、送信情報編集画面が表示された状態で（Ｓ２０３）、制御部１１は録音ボタンがタップされていないと判断すると（Ｓ２０４：ＮＯ）、次に制御部１１はイメージボタンがタップされたか否か判断する（Ｓ２１２）。イメージボタンがタップされたと判断すると（Ｓ２１２：ＹＥＳ）、制御部１１は、図１０に示すように、複数のイメージ情報を選択可能に表示するイメージ選択画面を表示部１６に表示する（Ｓ２１３）。具体的には、図１０に示すように、制御部１１は予め記憶部１２に記憶されているイメージ情報を並べて表示する。ここで「イメージ情報」とは、例えば絵文字、絵記号、スタンプなどといわれるメール、インスタントメッセージ、ＳＮＳなどで用いられている事象や感情をイメージで表したものであり、絵のみのものや文字及び絵の組み合わせによるもの、イラストかされた文字によるものを含み、例えば写真なども含む。
【００３１】
表示されたイメージ情報の中からひとつのイメージ情報が選択されたと判断すると（Ｓ２１４：ＹＥＳ）、図１１に示すように当該イメージ情報にイメージ音声情報を付加する画面が表示される。具体的には、表示部１６の中央に表示されたイメージ情報をタップすることで、音声入力部１４が音声の入力を開始し、数秒間の音声の入力を受け付けた後（Ｓ２１５）、図１２に示すように、イメージ音声確認画面が表示される（Ｓ２１６）。
【００３２】
イメージ確認画面は、中央にイメージ情報が表示されており、このイメージ情報をタップすることで録音したイメージ音声情報を確認することができ、左にスワイプすることで再度イメージ音声情報を録音することができ、また、右にスワイプすることで、情報を送信することができる画面である。
【００３３】
イメージ音声確認画面を表示した後（Ｓ２１５）、右にスワイプされると、制御部１１は、イメージ情報及びイメージ音声情報を互いに関連付けて送信する（Ｓ２１７）。
【００３４】
このように、単に絵記号やスタンプなどのイメージ情報のみを送信するのではなく、当該イメージと共にイメージ音声情報を付加することができ、イメージ情報のみでは伝わらない感情などの情報を伝達することができ、イメージと音声による伝達であるので、送信元と送信相手とで共通言語がない場合でもある程度のコミュニケーションをとることができる。
【００３５】
次に、受信情報表示処理について、図４を参照しつつ説明する。受信情報表示処理では、まず、図１３に示すように、受信ＢＯＸが表示される（Ｓ３０１）。受信ＢＯＸは、受信した順に時系列で送信元の名前が一覧で表示されており、例えば特定の送信元、特定のグループ、未閲覧の送信情報などの情報で絞込みをかけることができるようにされている。制御部１１が、受信ＢＯＸに表示された送信元の中から受信した情報を表示する送信元が選択されたと判断すると（Ｓ３０２：ＹＥＳ）、受信した情報に含まれている第二文字情報及びイメージ情報を表示する受信情報表示画面が表示される（Ｓ３０３）。一方、制御部１１が、送信元の選択が完了していないと判断すると（Ｓ３０２：ＮＯ）、そのまま処理を待機する。
【００３６】
受信情報表示画面は、図１４に示すように、選択した送信者の送信及び受信の履歴が時系列に沿って表示されている。具体的には、受信情報に含まれている第二文字情報が表示されるとともに、スピーカを表すスピーカ記号が表示されており、このスピーカ記号がタップされると（Ｓ３０４：ＹＥＳ）、制御部１１は音声情報を音声出力部１５から出力する（Ｓ３０５）。また、この受信情報表示画面には、受信したイメージ情報も表示されており、このイメージ情報にもスピーカ記号が付加されている。そして、このスピーカ符号をタップすることにより（Ｓ３０６：ＹＥＳ）、当該イメージ情報に関連付けられたイメージ音声情報が音声出力部１５から出力される（Ｓ３０７）。
【００３７】
このように、受信情報表示画面では、当該受信相手端末２の使用者の言語である第二の言語に翻訳した第二文字情報が表示されるとともに、音声情報やイメージ音声情報として翻訳等していない送信元の肉声が出力されるので、受信相手端末２の使用者は第二文字情報によって送信された文章の内容を容易に把握することができるとともに、音声情報及びイメージ音声情報によって、送信元の肉声を聞くことができ、文字情報では伝わらない感情や強調点などの事項を伝達することができる。
【００３８】
なお、本発明の実施の形態は上述の形態に限ることなく、本発明の思想の範囲を逸脱しない範囲で適宜変更することができることは云うまでもない。
【産業上の利用可能性】
【００３９】
本発明に係る情報送受信プログラム及びシステム６は、インターネット５を介して接続された複数のスマートフォンやタブレット端末の同士でのコミュニケーションを行うＳＮＳやインスタントメッセンジャーなどの情報送受信プログラム及びシステム６として、好適に用いることができる。
【符号の説明】
【００４０】
３        音声認識サーバ（音声情報変換部）
４        翻訳サーバ（翻訳部）
６        システム
１２      記憶部
１３      インターフェース（情報送信部／情報受信部）
１４      音声入力部
１５      音声出力部
１６      表示部
【図１】
2016091195.tif 000003
【図２】
2016091195.tif 000004
【図３】
2016091195.tif 000005
【図４】
2016091195.tif 000006
【図５】
2016091195.tif 000007
【図６】
2016091195.tif 000008
【図７】
2016091195.tif 000009
【図８】
2016091195.tif 000010
【図９】
2016091195.tif 000011
【図１０】
2016091195.tif 000012
【図１１】
2016091195.tif 000013
【図１２】
2016091195.tif 000014
【図１３】
2016091195.tif 000015
【図１４】
2016091195.tif 000016