(57)【要約】【課題】補助メッセージの再生が必要であると判定した場合にだけ補助メッセージを再生させることができる音声制御装置を提供すること。【解決手段】メッセージ取得解析部６７１は、投稿順に再生される音声メッセージを取得し、取得した音声メッセージに付加されたメタデータを基に、当該音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定する。補助メッセージ制御部６７２は、メッセージ取得解析部６７１での判定の結果、取得した音声メッセージが、対象音声メッセージに対する返信メッセージである場合、その対象音声メッセージが再生されてからの経過に関する経過情報を基に、対象音声メッセージの理解を助ける補助メッセージを返信メッセージとともに再生するか否かを判定する。【選択図】図１
2013117552.tif 000002
【特許請求の範囲】
【請求項１】
投稿順に再生される複数の音声メッセージに関する処理を行う音声制御装置であって、
前記音声メッセージを取得し、取得した前記音声メッセージに付加されたメタデータを基に、前記音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定するメッセージ取得解析部と、
前記音声メッセージが返信メッセージである場合、前記対象音声メッセージが再生されてからの経過に関する経過情報を基に、前記対象音声メッセージの理解を助ける補助メッセージを前記返信メッセージとともに再生するか否かを決定する補助メッセージ制御部と、を有する、
音声制御装置。
【請求項２】
前記メッセージ取得解析部は、
前記対象音声メッセージが再生されてから前記返信メッセージを取得するまでの間に取得した音声メッセージのうち、前記対象音声メッセージに対する返信メッセージではない音声メッセージの数を算出し、
前記補助メッセージ制御部は、
前記音声メッセージの数が予め定められた閾値を超えた場合、前記補助メッセージを再生することを決定する、
請求項１記載の音声制御装置。
【請求項３】
前記補助メッセージ制御部は、
前記対象音声メッセージが再生されてから前記返信メッセージが再生されるまでの時間間隔を算出し、
前記時間間隔が予め定められた閾値を超えた場合、前記補助メッセージを再生することを決定する、
請求項１記載の音声制御装置。
【請求項４】
前記対象音声メッセージの再生中に、再生を中断するスキップ操作が行われたか否かを判定するスキップ操作判定部をさらに有し、
前記補助メッセージ制御部は、
前記スキップ操作判定部が前記対象音声メッセージの再生中に前記スキップ操作が行われたと判定した場合、前記補助メッセージを再生することを決定する、
請求項１記載の音声制御装置。
【請求項５】
前記補助メッセージ制御部は、
前記対象音声メッセージを投稿したユーザと前記補助メッセージを再生する装置に登録されたユーザとが異なる場合、前記補助メッセージを再生することを決定する、
請求項１記載の音声制御装置。
【請求項６】
前記補助メッセージについて、再生時間および再生速度の少なくとも１つを編集する再生メッセージ編集部をさらに有し、
前記再生メッセージ編集部は、
再生時間および再生速度の少なくとも１つを編集した前記補助メッセージが、前記返信メッセージの再生前または再生中のいずれかのタイミングで出力されるように編集する、
請求項１記載の音声制御装置。
【請求項７】
投稿順に再生される複数の音声メッセージに関する処理を行う音声制御方法であって、
前記音声メッセージを取得し、取得した前記音声メッセージに付加されたメタデータを基に、前記音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定するステップと、
前記音声メッセージが返信メッセージである場合、前記対象音声メッセージが再生されてからの経過に関する経過情報を基に、前記対象音声メッセージの理解を助ける補助メッセージを前記返信メッセージとともに再生するか否かを決定するステップと、を有する、
音声制御方法。
【請求項８】
投稿順に再生される複数の音声メッセージに関する処理をコンピュータに実行させるプログラムであって、
コンピュータに、
前記音声メッセージを取得し、取得した前記音声メッセージに付加されたメタデータを基に、前記音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定する処理と、
前記音声メッセージが返信メッセージである場合、前記対象音声メッセージが再生されてからの経過に関する経過情報を基に、前記対象音声メッセージの理解を助ける補助メッセージを前記返信メッセージとともに再生するか否かを決定する処理と、を実行させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、投稿順に再生される複数の音声メッセージに関する処理を行う音声制御装置、音声制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、Ｔｗｉｔｔｅｒ（登録商標）などに代表される、各種の文字つぶやきコミュニケーションサービスが普及している。文字つぶやきコミュニケーションサービスでは、複数のユーザからネットワークを介して投稿されたテキストメッセージが投稿順に表示される。
【０００３】
一方、テキストメッセージの代わりに音声メッセージを適用することで、複数のユーザからネットワークを介して、投稿された音声メッセージが投稿順に再生される音声つぶやきコミュニケーションサービスが期待されている。
【０００４】
上記した文字つぶやきコミュニケーションサービスでは、先に投稿されたメッセージに対して返信メッセージが投稿されたとすると、その返信メッセージが表示される際に、先に投稿されたメッセージも一緒に表示される。これにより、ユーザは、返信メッセージがどのメッセージに対する返信であるのかを容易に把握することができ、その結果、返信メッセージの内容を把握しやすくなる。
【０００５】
同様に、音声つぶやきコミュニケーションサービスでも、先に投稿されたメッセージに対する返信メッセージを再生する際に、返信先メッセージの理解を助ける補助メッセージを、併せて再生することが考えられる。ここで、返信先メッセージとは、返信される側のメッセージをいう。また、補助メッセージは、例えば、返信先メッセージと同一内容の音声メッセージ、あるいは、返信先メッセージの要約の音声メッセージである。
【０００６】
複数の音声を同時に再生する技術は、例えば特許文献１に開示されている。特許文献１の技術は、現在発話されている音声の特徴量と過去に発話された音声の特徴量とに基づいて過去の音声の特徴量を変更し、現在の音声と同時に再生する。
【０００７】
したがって、特許文献１の技術を適用することで、先に投稿された返信先メッセージを補助メッセージとして、返信メッセージと同時に再生すれば、ユーザは、返信メッセージがどのメッセージに対する返信であるのかを把握しやすくなる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７-８６５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、短時間のうちに多くの返信メッセージが投稿される場合、補助メッセージも大量に再生されることになる。すると、ユーザにとっては、煩わしさを感じるのみならず、かえって返信メッセージの内容を把握しにくくなるおそれがある。
【００１０】
本発明の目的は、補助メッセージの再生が必要であると判定した場合にだけ補助メッセージを再生させることができる、音声制御装置、音声制御方法およびプログラムを提供することである。
【課題を解決するための手段】
【００１１】
本発明の音声制御装置は、投稿順に再生される複数の音声メッセージに関する処理を行う音声制御装置であって、前記音声メッセージを取得し、取得した前記音声メッセージに付加されたメタデータを基に、前記音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定するメッセージ取得解析部と、前記音声メッセージが返信メッセージである場合、前記対象音声メッセージが再生されてからの経過に関する経過情報を基に、前記対象音声メッセージの理解を助ける補助メッセージを前記返信メッセージとともに再生するか否かを決定する補助メッセージ制御部と、を有する。
【００１２】
本発明の音声制御方法は、投稿順に再生される複数の音声メッセージに関する処理を行う音声制御方法であって、前記音声メッセージを取得し、取得した前記音声メッセージに付加されたメタデータを基に、前記音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定するステップと、前記音声メッセージが返信メッセージである場合、前記対象音声メッセージが再生されてからの経過に関する経過情報を基に、前記対象音声メッセージの理解を助ける補助メッセージを前記返信メッセージとともに再生するか否かを決定するステップと、を有する。
【００１３】
本発明のプログラムは、投稿順に再生される複数の音声メッセージに関する処理をコンピュータに実行させるプログラムであって、コンピュータに、前記音声メッセージを取得し、取得した前記音声メッセージに付加されたメタデータを基に、前記音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定する処理と、前記音声メッセージが返信メッセージである場合、前記対象音声メッセージが再生されてからの経過に関する経過情報を基に、前記対象音声メッセージの理解を助ける補助メッセージを前記返信メッセージとともに再生するか否かを決定する処理と、を実行させる。
【発明の効果】
【００１４】
本発明によれば、補助メッセージの再生が必要であると判定した場合にだけ補助メッセージを再生させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態１に係る音声制御装置の構成の一例を示すブロック図
【図２】本発明の実施の形態２に係る音声制御装置を含む端末装置の構成の一例を示すブロック図
【図３】本実施の形態２における制御部の構成の一例を示すブロック図
【図４】本実施の形態２における端末装置の動作の一例を示すフローチャート
【図５】本実施の形態２における端末装置の音声メッセージテーブルの一例を示す図
【図６】本実施の形態２における端末装置の音声メッセージの受信順の一例を示す模式図
【図７】本実施の形態２におけるメッセージ取得解析処理の一例を示すフローチャート
【図８】本実施の形態２における補助メッセージ制御処理の一例を示すフローチャート
【図９】本実施の形態２における端末装置の補助メッセージ長判定テーブルの一例を示す図
【図１０】本実施の形態２における再生メッセージ編集処理の一例を示すフローチャート
【図１１】本実施の形態２におけるスキップ操作判定処理の一例を示すフローチャート
【発明を実施するための形態】
【００１６】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１７】
（実施の形態１）
本発明の実施の形態１は、本発明の基本的態様の一例である。
【００１８】
図１は、本実施の形態に係る音声制御装置の構成の一例を示すブロック図である。
【００１９】
図１において、音声制御装置６００は、投稿順に再生される複数の音声メッセージに関する処理を行う音声制御装置であって、メッセージ取得解析部６７１および補助メッセージ制御部６７２を有する。
【００２０】
メッセージ取得解析部６７１は、音声メッセージを取得し、それに付加されたメタデータを基に、取得した音声メッセージが、返信先メッセージに対する返信メッセージであるか否かを判定する。返信先メッセージは、「対象音声メッセージ」ともいう。
【００２１】
補助メッセージ制御部６７２は、音声メッセージが、メッセージ取得解析部６７１での判定の結果として返信メッセージである場合、経過情報を基に、返信先メッセージの理解を助ける補助メッセージを再生するか否かを決定する。
【００２２】
経過情報とは、返信先メッセージが再生されてからの経過に関する情報である。経過情報の具体例については、後述する。
【００２３】
音声制御装置６００は、例えば、ＣＰＵ（Central Processing Unit）、および、ＲＡＭ（Random Access Memory）などの記憶媒体を有する。この場合、上記各機能部は、ＣＰＵが制御プログラムを実行することにより実現される。
【００２４】
このように、音声制御装置６００は、取得した音声メッセージについてそのメタデータを基に返信メッセージであるか否かを判定し、返信メッセージである場合は、経過情報を基に補助メッセージを再生するか否かを決定する構成である。よって、音声制御装置６００は、全ての返信メッセージに対して補助メッセージを再生させるのではなく、補助メッセージの再生が必要であると判定した場合にだけ補助メッセージを再生させることができる。
【００２５】
したがって、ユーザは、音声制御装置６００の処理を経て投稿順に再生される複数の音声メッセージを聞くことで以下の効果を得られる。すなわち、ユーザは、返信メッセージがどのメッセージに対する返信であるのかを把握しやすい状況にあるときには、補助メッセージを聞かなくて済む。また、ユーザは、返信メッセージがどのメッセージに対する返信であるのかを把握しにくい状況にあるときには、補助メッセージを聞くことができる。つまり、ユーザは、返信メッセージの内容を把握しやすくなる。
【００２６】
（実施の形態２）
本発明の実施の形態２は、本発明を、他ユーザとの音声コミュニケーションが可能な端末装置に適用した例である。
【００２７】
図２は、本発明の一実施の形態に係る音声制御装置を含む端末装置の構成の一例を示すブロック図である。
【００２８】
図２に示す端末装置１００は、インターネットあるいはイントラネットなどの通信ネットワーク２００を介して、音声メッセージ管理サーバ３００に接続可能な装置である。端末装置１００は、音声メッセージ管理サーバ３００を介して、他の端末装置（図示せず）と音声メッセージのデータ（以下、適宜「音声メッセージ」という）を共有する。
【００２９】
ここで、音声メッセージ管理サーバ３００は、音声つぶやきコミュニケーションサービスを利用するユーザにより登録されたユーザＩＤ、および、各端末装置からアップロード（「投稿」ともいう）された音声メッセージを管理する。音声メッセージ管理サーバ３００は、ユーザＩＤ毎に、複数の音声メッセージを投稿順（以下、「アップロード順）ともいう）で管理する。
【００３０】
ユーザは、音声つぶやきコミュニケーションサービスを利用する場合、例えば、端末装置１００を用いて、ユーザＩＤを入力し、音声メッセージ管理サーバ３００に対してログインを要求する。音声メッセージ管理サーバ３００は、端末装置１００から受信したユーザＩＤが予め登録されている場合にログインを許可する。そして、音声メッセージ管理サーバ３００は、ログインを許可したユーザＩＤに対応付けて管理している音声メッセージを検索する。音声メッセージ管理サーバ３００は、ログインを要求してきた端末装置１００に対し、検索した音声メッセージを送信する。
【００３１】
上述した音声メッセージは、例えば、ＷＡＶ等の所定の形式のファイルとして、伝送される。特に、音声メッセージ管理サーバ３００からの音声メッセージの配信は、ストリーミング形式のデータとして伝送してもよい。
【００３２】
本実施の形態において、音声メッセージ管理サーバ３００にアップロードされる音声メッセージには、メタデータが付随しているとする。メタデータは、少なくとも、メッセージＩＤおよびユーザＩＤを含む。ユーザＩＤとは、音声メッセージのアップロードを行ったユーザを識別可能な情報である。音声メッセージ管理サーバ３００は、アップロードされた音声メッセージを受信すると、受信した音声メッセージに対しメッセージＩＤを付与する。メッセージＩＤとは、音声メッセージ管理サーバ３００にアップロードされた音声メッセージを識別可能な情報である。
【００３３】
ここで、アップロードされる音声メッセージには、返信メッセージである場合がある。その場合、メタデータは、さらに、返信先メッセージのメッセージＩＤ、および、その返信先メッセージをアップロードしたユーザのユーザＩＤを含む。
【００３４】
上述したメタデータは、例えば、ＸＭＬ（extensible markup language）等の所定の形式のファイルとして、伝送および保存される。
【００３５】
端末装置１００は、音声入出力装置４００、操作入力装置５００、表示装置７００、および音声制御装置６００を有する。
【００３６】
音声入出力装置４００は、音声制御装置６００から入力される音声メッセージを音声化してユーザへ出力する。また、音声入出力装置４００は、ユーザから入力される音声メッセージを信号化して音声制御装置６００へ出力する。音声入出力装置４００は、例えば、マイクおよびスピーカである。
【００３７】
音声入出力装置４００が入力する音声は、アップロードを目的とするユーザの音声メッセージであるが、ユーザの発話音声に制限されず、音声合成により作成された音声や音楽等であってもよい。
【００３８】
操作入力装置５００は、ユーザの操作（以下「操作」と総称する）を検出し、検出した操作の内容を示す操作情報を、音声制御装置６００へ出力する。
【００３９】
表示装置７００は、音声メッセージ管理サーバ３００から受信したログイン用のウェブページを表示する。ログイン用のウェブページには、ユーザＩＤを入力するための入力スペースが表示される。ユーザは、音声つぶやきコミュニケーションサービスを利用する際、表示されたログイン用のウェブページ上の入力スペースにユーザＩＤを入力し、音声メッセージ管理サーバ３００に対して、ログイン要求を送信する操作を行う。なお、以下の説明において、ユーザＩＤの入力からログイン要求の送信に至る一連の操作は、「ログイン操作」という。
【００４０】
上述した音声入出力装置４００、操作入力装置５００、および表示装置７００は、例えば、有線ケーブルまたはＢｌｕｅＴｏｏｔｈ（登録商標）等の無線通信により、それぞれ音声制御装置６００と接続されているものとする。
【００４１】
音声制御装置６００は、音声メッセージ管理サーバ３００からの音声メッセージを受信し、記憶する。そして、音声制御装置６００は、記憶した音声メッセージを投稿順に、音声入出力装置４００へ出力する。
【００４２】
また、音声制御装置６００は、音声入出力装置４００から入力されたユーザの音声メッセージを、音声メッセージ管理サーバ３００へ送信する。すなわち、音声制御装置６００は、ユーザの音声メッセージを、音声メッセージ管理サーバ３００にアップロードする。
【００４３】
音声制御装置６００は、図２に示すように、通信インターフェース部６１０、音声入出力部６２０、操作入力部６３０、記憶部６４０、再生部６５０、表示部６６０、および制御部６７０を有する。
【００４４】
通信インターフェース部６１０は、通信ネットワーク２００に接続し、通信ネットワーク２００を介して、音声メッセージ管理サーバ３００およびＷＷＷ（World Wide Web）と接続して、データの送受信を行う。通信インターフェース部６１０は、例えば、有線ＬＡＮ（Local Area Network）または無線ＬＡＮの通信インターフェースである。
【００４５】
音声入出力部６２０は、音声入出力装置４００と通信可能に接続する通信インターフェースである。
【００４６】
操作入力部６３０は、操作入力装置５００と通信可能に接続する通信インターフェースである。
【００４７】
記憶部６４０は、音声制御装置６００の各部により用いられる記憶領域を有する。記憶部６４０は、例えば、メモリカード等、電源供給が停止しても記憶内容を保持する不揮発性の記憶デバイスである。
【００４８】
再生部６５０は、制御部６７０から入力された音声メッセージをデコードし、音声入出力部６２０を介して音声入出力装置４００へ出力する。このように、音声メッセージが再生部６５０および音声入出力部６２０を経て音声入出力装置４００から出力される処理は、「再生」という。
【００４９】
表示部６６０は、表示装置７００と通信可能に接続する通信インターフェースである。
【００５０】
制御部６７０は、操作入力部６３０を介して操作入力装置５００から上述のログイン操作を受け付ける。音声メッセージ管理サーバ３００へのログインに成功すると、音声メッセージ管理サーバ３００から配信される音声メッセージが、通信インターフェース部６１０を介して受信され、記憶部６４０に記憶される。その後、制御部６７０は、記憶部６４０から音声メッセージを取得する。なお、以下では、端末装置１００が音声メッセージ管理サーバ３００から受信する音声メッセージは、適宜「受信音声メッセージ」という。
【００５１】
制御部６７０は、受信音声メッセージのメタデータの解析を行い、その受信音声メッセージが、再生済み音声メッセージに対する返信メッセージであるか否かを判定する。そして、制御部６７０は、受信音声メッセージが返信メッセージである場合、経過情報を基に、補助メッセージを再生するか否かを決定する。
【００５２】
また、制御部６７０は、音声メッセージ管理サーバ３００へのログイン中、音声入出力部６２０を介して音声入出力装置４００から音声メッセージを入力する。そして、制御部６７０は、入力した音声メッセージを、通信インターフェース部６１０を介して音声メッセージ管理サーバ３００にアップロードする。
【００５３】
なお、音声制御装置６００は、例えば、ＣＰＵ、およびＲＡＭ等の記憶媒体等を含むコンピュータである。この場合、音声制御装置６００は、記憶する制御プログラムをＣＰＵが実行することによって動作する。
【００５４】
ここで、制御部６７０の詳細の一例について説明する。
【００５５】
図３は、制御部６７０の構成の一例を示すブロック図である。
【００５６】
図３に示すように、制御部６７０は、メッセージ取得解析部６７１、補助メッセージ制御部６７２、再生メッセージ編集部６７３、およびスキップ操作判定部６７４を有する。
【００５７】
メッセージ取得解析部６７１は、音声メッセージ管理サーバ３００からの受信音声メッセージを記憶部６４０から取得し、その受信音声メッセージに付随しているメタデータを解析する。
【００５８】
また、メッセージ取得解析部６７１は、受信音声メッセージに対応する音声メッセージテーブルを記憶部６４０に作成する。メッセージ取得解析部６７１は、作成した音声メッセージテーブルにおける予め定められた各パラメータに対し、メタデータの解析で得た情報を基に各値を記録する。この記録の詳細については、図６、図７を用いて後述する。
【００５９】
また、メッセージ取得解析部６７１は、メタデータの解析結果を基に、受信音声メッセージが、返信メッセージであるか、またはベースメッセージであるかを判定する。ベースメッセージとは、特定の音声メッセージに対する返信メッセージではなく、不特定多数のユーザや不特定多数の音声メッセージに対しての音声メッセージを意味する。
【００６０】
そして、メッセージ取得解析部６７１は、受信音声メッセージがベースメッセージである場合、そのベースメッセージのデータ（以下、適宜「ベースメッセージ」という）を、再生部６５０へ出力する。この複製の際、ベースメッセージには、メッセージＩＤが対応付けられる。
【００６１】
一方、メッセージ取得解析部６７１は、受信音声メッセージが返信メッセージである場合、その返信メッセージのデータ（以下、適宜「返信メッセージ」という）を、補助メッセージ制御部６７２へ出力する。また、メッセージ取得解析部６７１は、メタデータの解析で得た、返信メッセージのメッセージＩＤを、補助メッセージ制御部６７２へ出力する。
【００６２】
補助メッセージ制御部６７２は、メッセージ取得解析部６７１から返信メッセージとそのメッセージＩＤを取得する。そして、補助メッセージ制御部６７２は、記憶部６４０から、音声メッセージテーブル、補助メッセージ長判定テーブル、および予め定められた複数の閾値を読み出す。補助メッセージ長判定テーブルおよび複数の閾値については、図８、図９を用いて後述する。
【００６３】
また、補助メッセージ制御部６７２は、経過情報を基に補助メッセージを再生するか否かを決定する。記憶部６４０から読み出された閾値は、この決定に用いられる。上述した決定の詳細については、図８を用いて後述する。
【００６４】
本実施の形態で用いる経過情報の例としては、音声メッセージテーブルに記録されている値そのもの、および／または、音声メッセージテーブルに記録されている値を基に補助メッセージ制御部６７２が算出した値等が挙げられる。ここでいう値の例については、後述する。
【００６５】
また、本実施の形態で用いる補助メッセージの例としては、返信先メッセージそのもの（返信先メッセージの全部）、または、返信先メッセージを編集したもの（返信先メッセージの一部）が挙げられる。
【００６６】
そして、補助メッセージ制御部６７２は、補助メッセージを再生しないと決定した場合、返信メッセージを、再生部６５０へ出力する。
【００６７】
一方、補助メッセージ制御部６７２は、補助メッセージを再生すると決定した場合、補助メッセージ長判定テーブルおよび閾値を基に、再生する補助メッセージの長さ（以下、「補助メッセージ長」という）を算出する。この算出の詳細については、図８、図９を用いて後述する。補助メッセージ制御部６７２は、返信メッセージ、そのメッセージＩＤ、および算出した補助メッセージ長を示すデータ（以下、適宜「補助メッセージ長」という）を、再生メッセージ編集部６７３へ出力する。
【００６８】
再生メッセージ編集部６７３は、補助メッセージ制御部６７２から、返信メッセージ、そのメッセージＩＤ、および算出した補助メッセージ長を取得する。
【００６９】
また、再生メッセージ編集部６７３は、補助メッセージ制御部６７２から取得した返信メッセージのメッセージＩＤを基に、記憶部６４０の音声メッセージテーブルから返信先メッセージのメッセージＩＤを特定する。
【００７０】
再生メッセージ編集部６７３は、記憶部６４０から特定したメッセージＩＤが対応付けて記憶された返信先メッセージを特定し、補助メッセージとして読み出す。また、再生メッセージ編集部６７３は、記憶部６４０から、予め定められた識別音のデータ（以下、適宜「識別音」という）も読み出す。識別音とは、補助メッセージの再生をユーザに通知するための音である。例えば、識別音は、ジングル音、または、ナレーション音声等が挙げられる。ナレーション音声の例としては、返信先メッセージの再生時刻を示す音声、返信先メッセージをアップロードしたユーザを示す音声等が挙げられる。
【００７１】
再生メッセージ編集部６７３は、補助メッセージ制御部６７２から取得した補助メッセージ長を基に、記憶部６４０から取得した補助メッセージの長さを編集する。また、再生メッセージ編集部６７３は、長さを編集した補助メッセージの前と後の少なくとも一方に、識別音を付与する。さらに、再生メッセージ編集部６７３は、識別音を付与した補助メッセージを、返信メッセージの前に結合する。
【００７２】
再生メッセージ編集部６７３は、補助メッセージを結合した返信メッセージを再生部６５０へ出力する。
【００７３】
スキップ操作判定部６７４は、音声メッセージの再生中に、操作入力部６３０から入力される操作情報を基に、ユーザがスキップ操作を行ったか否かを判定する。そして、スキップ操作判定部６７４は、スキップ操作の有無を記憶部６４０の音声メッセージテーブルに記録する。スキップ操作とは、音声メッセージの再生を中断し、次の音声メッセージへの再生へ移行する操作である。
【００７４】
以上、制御部６７０の詳細の一例について説明した。
【００７５】
このように、制御部６７０は、受信音声メッセージについてそのメタデータを基に返信メッセージであるか否かを判定し、返信メッセージである場合、経過情報を基に補助メッセージを再生するか否かを決定する構成である。よって、制御部６７０は、全ての返信メッセージに対して補助メッセージを再生させるのではなく、補助メッセージの再生が必要であると判定した場合にだけ補助メッセージを再生させることができる。
【００７６】
したがって、ユーザは、制御部６７０の処理を経て投稿順に再生される複数の音声メッセージを聞くことで、以下の効果を得られる。すなわち、ユーザは、返信メッセージがどのメッセージに対する返信であるのかを、把握しやすい状況にあるときには補助メッセージを聞かなくて済み、把握しにくい状況にあるときに補助メッセージを聞くことができる。つまり、ユーザは、返信メッセージの内容を把握しやすくなる。
【００７７】
次に、端末装置１００の動作について説明する。
【００７８】
図４は、端末装置１００の動作の一例を示すフローチャートである。ここでは、音声メッセージ管理サーバ３００から受信した一の音声メッセージに対する処理に着目して説明を行う。
【００７９】
まず、ステップＳ１１００において、メッセージ取得解析部６７１は、記憶部６４０から取得した受信音声メッセージに対し、メッセージ取得解析処理を行う。メッセージ取得解析処理については、図７を用いて後述する。
【００８０】
ステップＳ１２００において、メッセージ取得解析部６７１は、受信音声メッセージが返信メッセージである場合（Ｓ１２００：ＹＥＳ）、ステップＳ１３００へ進む。一方、メッセージ取得解析部６７１は、受信音声メッセージが返信メッセージではなく、ベースメッセージである場合（Ｓ１２００：ＮＯ）、ステップＳ１６００へ進む。
【００８１】
そして、ステップＳ１３００において、補助メッセージ制御部６７２は、返信メッセージに対し、補助メッセージ制御処理を行う。補助メッセージ制御処理については、図８を用いて後述する。
【００８２】
ステップＳ１４００において、補助メッセージ制御部６７２は、補助メッセージを再生する場合（Ｓ１４００：ＹＥＳ）、ステップＳ１５００へ進む。一方、補助メッセージ制御部６７２は、補助メッセージを再生しない場合（Ｓ１４００：ＮＯ）、ステップＳ１６００へ進む。
【００８３】
そして、ステップＳ１５００において、再生メッセージ編集部６７３は、補助メッセージおよび返信メッセージに対し、再生メッセージ編集処理を行う。再生メッセージ編集処理については、図１０を用いて後述する。
【００８４】
そして、ステップＳ１６００において、再生部６５０、音声入出力部６２０、および音声入出力装置４００は、受信音声メッセージの音声出力処理、すなわち受信音声メッセージの再生を行う。この音声出力処理の実行中に、スキップ操作判定部６７４は、スキップ操作判定処理を行う。スキップ操作判定処理については、図１１を用いて後述する。
【００８５】
上記ステップＳ１１００〜１６００の処理は、例えば、受信音声メッセージが記憶部６４０から制御部６７０へ入力される度に行われ、一の受信音声メッセージ毎に繰り返される。ただし、一の受信音声メッセージに対する処理は、Ｓ１１００〜Ｓ１６００の処理が全て終わってから、次の受信音声メッセージに対するステップＳ１１００の処理が開始される必要はない。例えば、一の受信音声メッセージに対する処理は、ある受信音声メッセージに対しステップＳ１１００の処理が終わりステップＳ１３００の処理へ移行したら、次の受信音声メッセージに対して処理を開始するようにしてもよい。
【００８６】
次に、上述した、メッセージ取得解析処理（Ｓ１１００）、補助メッセージ制御処理（Ｓ１３００）、再生メッセージ編集処理（Ｓ１５００）、およびスキップ操作判定処理（Ｓ１６００）について、それぞれ説明する。なお、これらの説明では、図５、図６に示す具体例を適宜用いるとする。
【００８７】
図５は、端末装置１００が音声メッセージ管理サーバ３００から受信した５つの音声メッセージを投稿順に示している。すなわち、５つの音声メッセージは、メッセージＡ、Ｂ、Ｃ、Ｄ、Ｅの順に投稿されている。端末装置１００は、これら５つの音声メッセージを、図５に示す投稿順に再生する。そのため、メッセージ取得解析部６７１は、図５に示す投稿順に記憶部６４０から音声メッセージを取得する。
【００８８】
図６は、図５に示す５つの音声メッセージにそれぞれ対応して、作成される音声メッセージテーブルの例を示している。各音声メッセージテーブルは、受信音声メッセージを示すメッセージＩＤ８１０毎に作成される。メッセージＩＤ８１０には、パラメータ８１１および値８１２が対応付けられている。パラメータ８１１は、例えば、「ユーザＩＤ」、「再生時刻」、「無関係メッセージ数」、「種別」、「返信先のユーザＩＤ」、「返信先のメッセージＩＤ」、「スキップ」等の内容が含まれる。値８１２は、パラメータ８１１の内容毎に記録される。パラメータ８１１の各内容の詳細については、後述する。
【００８９】
また、図６に示す各音声メッセージテーブルは、メッセージ取得解析部６７１が記憶部６４０から音声メッセージを取得した順に作成される。すなわち、各音声メッセージテーブルは、図５に示す投稿順に作成される。より具体的には、メッセージＡの音声メッセージテーブルが、最初に作成され、それ以降は、メッセージＢ、Ｃ、Ｄ、Ｅの順に各音声メッセージテーブルが作成される。なお、図６では、メッセージＣ、Ｄの音声メッセージテーブルの詳細を省略している。また、図６において、「−」は、値８１２が記録されていないことを意味する。
【００９０】
まず、メッセージ取得解析処理（Ｓ１１００）の詳細について、説明する。
【００９１】
図７は、メッセージ取得解析部６７１が行うメッセージ取得解析処理（Ｓ１１００）の一例を示すフローチャートである。なお、図７のメッセージ取得解析処理フローの開始にあたり、ユーザが端末装置１００を用いてログイン操作を行い、音声メッセージ管理サーバ３００がログインを許可したとする。
【００９２】
まず、ステップＳ１１０１において、メッセージ取得解析部６７１は、音声メッセージ管理サーバ３００からの受信音声メッセージを、記憶部６４０から取得する。
【００９３】
次に、ステップＳ１１０２において、メッセージ取得解析部６７１は、受信音声メッセージに付随しているメタデータを解析する。メッセージ取得解析部６７１は、解析の結果、受信音声メッセージを示すメッセージＩＤ、および、受信音声メッセージをアップロードしたユーザを示すユーザＩＤを取得する。また、メッセージ取得解析部６７１は、解析の結果、受信音声メッセージが返信メッセージである場合、返信先メッセージを示すメッセージＩＤ、および、返信先メッセージをアップロードしたユーザを示すユーザＩＤを取得する。返信先メッセージを示すメッセージＩＤは、以下「返信先のメッセージＩＤ」という。また、返信先メッセージをアップロードしたユーザを示すユーザＩＤは、以下、「返信先のユーザＩＤ」という。
【００９４】
次に、ステップＳ１１０３において、メッセージ取得解析部６７１は、受信音声メッセージに対応する音声メッセージテーブルを記憶部６４０に作成する。すなわち、メッセージ取得解析部６７１は、まず、メタデータの解析により取得した、受信音声メッセージのメッセージＩＤに対応する音声メッセージテーブルを作成する。次に、メッセージ取得解析部６７１は、作成した音声メッセージテーブルにおけるパラメータ８１１の「ユーザＩＤ」に対し、メタデータの解析により取得した、ユーザＩＤを記録する。例えば、受信音声メッセージがメッセージＡである場合、メッセージＡの音声メッセージテーブルは、図６に示すように、メッセージＩＤ８１０として「メッセージＡ」が記録され、作成される。また、図６に示すように、メッセージＡの音声メッセージテーブルには、パラメータ８１１の「ユーザＩＤ」の値８１２として「ＡＢＣ」が記録される。
【００９５】
次に、ステップＳ１１０４において、メッセージ取得解析部６７１は、メタデータの解析により返信先のメッセージＩＤおよび返信先のユーザＩＤを取得できたか否かを基に、受信音声メッセージが、返信メッセージであるか否かを判定する。
【００９６】
メッセージ取得解析部６７１は、返信先のメッセージＩＤおよび返信先のユーザＩＤを取得できた場合（Ｓ１１０４：ＹＥＳ）、ステップＳ１１１０へ進む。
【００９７】
一方、メッセージ取得解析部６７１は、返信先のメッセージＩＤおよび返信先のユーザＩＤを取得できなかった場合（Ｓ１１０４：ＮＯ）、ステップＳ１１０５へ進む。
【００９８】
まず、受信音声メッセージがベースメッセージであった場合について説明する。
【００９９】
ステップＳ１１０５において、メッセージ取得解析部６７１は、ステップＳ１１０３で作成した音声メッセージテーブルにおけるパラメータ８１１の「種別」に対する値８１２として、「ベースメッセージ」と記録する。例えば、図６に示すメッセージＡの音声メッセージテーブルには、パラメータ８１１の「種別」に対する値８１２として、「ベースメッセージ」が記録される。
【０１００】
次に、ステップＳ１１０６において、メッセージ取得解析部６７１は、記憶部６４０に、ステップＳ１１０３で作成した音声メッセージテーブル以外の、他の音声メッセージテーブルがあるか否かを判定する。
【０１０１】
なお、図６の例では、メッセージＡの音声メッセージテーブルが最初に作成される。よって、ステップＳ１１０３で作成した音声メッセージテーブルがメッセージＡの音声メッセージテーブルである場合、他の音声メッセージテーブルＢ〜Ｅは、未作成のため、記憶部６４０に存在しないことになる。一方、図６の例において、ステップＳ１１０３で作成した音声メッセージテーブルが、メッセージＢ〜Ｅのいずれかの音声メッセージテーブルである場合は、他の音声メッセージテーブルが少なくとも１つは記憶部６４０に存在することになる。
【０１０２】
記憶部６４０に他の音声メッセージテーブルがないと判定した場合（Ｓ１１０６：ＮＯ）、メッセージ取得解析部６７１は、ステップＳ１１０８へ進む。
【０１０３】
一方記憶部６４０に他の音声メッセージテーブルがあると判定した場合（Ｓ１１０６：ＹＥＳ）、メッセージ取得解析部６７１は、ステップＳ１１０７へ進む。
【０１０４】
次に、ステップＳ１１０７において、メッセージ取得解析部６７１は、他の音声メッセージテーブル全てにおけるパラメータ８１１の「無関係メッセージ数」に対する値８１２を、インクリメントする。無関係メッセージとは、ある返信先メッセージについて、その返信先メッセージに対する返信ではない音声メッセージのことをいう。そして、無関係メッセージ数とは、音声メッセージテーブルに定義されている各メッセージＩＤの音声メッセージが、受信音声メッセージの返信先メッセージではなかった場合をカウントした合計数である。例えば、図６のメッセージＡの音声メッセージテーブルでは、パラメータ８１１の「無関係メッセージ数」に対する値８１２として、「３」が記録されている。この「３」という値は、メッセージＡの後に受信された４つのメッセージＢ、Ｃ、Ｄ、Ｅのうち、３つのメッセージ（メッセージＢ、Ｃ、Ｄ）がメッセージＡへの返信メッセージではなかったことを示している。
【０１０５】
次に、ステップＳ１１０８において、メッセージ取得解析部６７１は、ベースメッセージを、再生部６５０へ出力する。再生部６５０へ出力されたベースメッセージは、ステップＳ１６００の音声出力処理により、再生される。
【０１０６】
次に、ステップＳ１１０９において、メッセージ取得解析部６７１は、ベースメッセージが再生される時刻（以下、「再生時刻」という）として例えば、現在時刻を取得する。そして、メッセージ取得解析部６７１は、ステップＳ１１０３で作成した音声メッセージテーブルにおけるパラメータ８１１の「再生時刻」に対し、取得した再生時刻を値８１２として記録する。例えば、図６に示すメッセージＡの音声メッセージテーブルには、パラメータ８１１の「再生時刻」に対する値８１２として、「２０１１／８／３１／１０：１４：２５」が記録される。
【０１０７】
ステップＳ１１０９の後の処理は、音声出力処理（Ｓ１６００）へ続く。
【０１０８】
次に、受信音声メッセージが返信メッセージであった場合について説明する。
【０１０９】
ステップＳ１１１０において、メッセージ取得解析部６７１は、ステップＳ１１０３で作成した音声メッセージテーブルにおけるパラメータ８１１の「種別」に対する値８１２として、「返信メッセージ」と記録する。例えば、図６に示すメッセージＥの音声メッセージテーブルには、パラメータ８１１の「種別」に対する値８１２として、「返信メッセージ」が記録される。
【０１１０】
次に、ステップＳ１１１１において、メッセージ取得解析部６７１は、パラメータ８１１の「返信先のユーザＩＤ」および「返信先のメッセージＩＤ」に対する値８１２として、メタデータの解析により取得する。そして、メッセージ取得解析部６７１は、返信先のユーザＩＤおよび返信先のメッセージＩＤを記録する。例えば、図６に示すように、メッセージＥの音声メッセージテーブルには、パラメータ８１１の「返信先のユーザＩＤ」に対する値８１２として、「ＡＢＣ」が記録される。また、メッセージＥの音声メッセージテーブルには、パラメータ８１１の「返信先のメッセージＩＤ」に対する値８１２として、「メッセージＡ」が記録される。
【０１１１】
次に、ステップＳ１１１２において、メッセージ取得解析部６７１は、記憶部６４０に、ステップＳ１１０３で作成した音声メッセージテーブル以外の、他の音声メッセージテーブルがあるか否かを判定する。
【０１１２】
記憶部６４０に他の音声メッセージテーブルがないと判定した場合（Ｓ１１１２：ＮＯ）、メッセージ取得解析部６７１は、ステップＳ１１１４へ進む。
【０１１３】
一方、記憶部６４０に他の音声メッセージテーブルがあると判定した場合（Ｓ１１１２：ＹＥＳ）、メッセージ取得解析部６７１は、ステップＳ１１１３へ進む。
【０１１４】
次に、ステップＳ１１１３において、メッセージ取得解析部６７１は、判定した他の音声メッセージテーブルにおけるパラメータ８１１の「無関係メッセージ数」に対する値８１２を、インクリメントする。例えば、図６に示すメッセージＥにおいて、その返信先メッセージがメッセージＡである場合、メッセージ取得解析部６７１は、メッセージＡを除く、パラメータ８１１の「無関係メッセージ数」に対する値８１２を、インクリメントする。具体的には、メッセージ取得解析部６７１は、メッセージＡを除く、メッセージＢ、Ｃ、Ｄにおけるパラメータ８１１の「無関係メッセージ数」に対する値８１２を、インクリメントする。
【０１１５】
次に、ステップＳ１１１４において、メッセージ取得解析部６７１は、返信メッセージ、および、メタデータの解析により取得した返信メッセージのメッセージＩＤを、補助メッセージ制御部６７２へ出力する。
【０１１６】
ステップＳ１１１４の後の処理は、補助メッセージ制御処理（Ｓ１３００）へ続く。
【０１１７】
以上、メッセージ取得解析処理（Ｓ１１００）の詳細について説明した。
【０１１８】
次に、補助メッセージ制御処理（Ｓ１３００）の詳細について説明する。
【０１１９】
図８は、補助メッセージ制御部６７２が行う補助メッセージ制御処理（Ｓ１３００）の一例を示すフローチャートである。
【０１２０】
まず、ステップＳ１３０１において、補助メッセージ制御部６７２は、メッセージ取得解析部６７１から、返信メッセージとそのメッセージＩＤを取得する。
【０１２１】
次に、ステップＳ１３０２において、補助メッセージ制御部６７２は、記憶部６４０から、音声メッセージテーブル、補助メッセージ長判定テーブル、および予め定められた複数の閾値を読み出す。具体的には、補助メッセージ制御部６７２は、取得した返信メッセージのメッセージＩＤに基づいて、少なくとも、返信メッセージの音声メッセージテーブル、および、返信先メッセージの音声メッセージテーブルを特定する。また、補助メッセージ制御部６７２は、図９に示す予め定められた補助メッセージ長判定テーブルを記憶部６４０から読み出す。また、補助メッセージ制御部６７２は、予め定められた閾値であるＸ１、Ｘ２、Ｔ０、Ｔ１、Ｔ２を記憶部６４０から読み出す。
【０１２２】
次に、ステップＳ１３０３において、補助メッセージ制御部６７２は、返信先メッセージの音声メッセージテーブルにおけるパラメータ８１１の「無関係メッセージ数」に記録されている値８１２が、閾値Ｘ１より大きいか否かを判定する。なお、「無関係メッセージ数」に記録されている値８１２は、以下、「Ｎ」という。無関係メッセージ数Ｎは、経過情報の一例である。
【０１２３】
無関係メッセージ数Ｎが、閾値Ｘ１より大きい場合（Ｓ１３０３：ＹＥＳ）、補助メッセージ制御部６７２は、ステップＳ１３１０へ進む。
【０１２４】
一方、無関係メッセージ数Ｎが、閾値Ｘ１より大きくない場合（Ｓ１３０３：ＮＯ）、補助メッセージ制御部６７２は、ステップＳ１３０４へ進む。
【０１２５】
無関係メッセージ数Ｎは、上述した通り、返信先メッセージと返信メッセージとの間で再生される無関係メッセージの数である。このことから、無関係メッセージ数Ｎが多い場合、ユーザは、返信先メッセージの内容と無関係な内容を数多く聞くことになるので、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が低い。よって、無関係メッセージ数Ｎが多い場合は、補助メッセージを付与することが決定される。一方、無関係メッセージ数Ｎが少ない場合、ユーザは、返信先メッセージと無関係な内容を数多く聞くことにならないので、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高い。よって、無関係メッセージ数Ｎが少ない場合は、補助メッセージを付与しないことが決定される。
【０１２６】
次に、ステップＳ１３０４において、補助メッセージ制御部６７２は、読み出した音声メッセージテーブルを基に、返信先メッセージの再生時刻と返信メッセージの再生時刻を特定する。そして、補助メッセージ制御部６７２は、特定した２つの再生時刻の差である再生間隔（以下、「Ｐ」という）を算出する。再生間隔Ｐは、経過情報の一例である。
【０１２７】
次に、ステップＳ１３０５において、補助メッセージ制御部６７２は、再生間隔Ｐが、閾値Ｔ１より大きいか否かを判定する。
【０１２８】
再生間隔Ｐが、閾値Ｔ１より大きい場合（Ｓ１３０５：ＹＥＳ）、補助メッセージ制御部６７２は、ステップＳ１３１０へ進む。
【０１２９】
一方、再生間隔Ｐが、閾値Ｔ１より大きくない場合（Ｓ１３０５：ＮＯ）、補助メッセージ制御部６７２は、ステップＳ１３０６へ進む。
【０１３０】
再生間隔Ｐは、返信先メッセージが再生されてから返信メッセージが再生されるまでの時間間隔である。このことから、再生間隔Ｐが長い場合、ユーザは、返信先メッセージの再生を聞いてから時間が経過していることで、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が低い。よって、再生間隔Ｐが長い場合は、補助メッセージを付与することが決定される。一方、再生時間Ｐが短い場合、ユーザは、返信先メッセージの再生を聞いてから時間が経過していないことで、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高い。よって、再生間隔Ｐが短い場合は、補助メッセージを付与しないことが決定される。
【０１３１】
次に、ステップＳ１３０６において、補助メッセージ制御部６７２は、読み出した音声メッセージテーブルを基に、返信先メッセージに対してスキップ操作が行われたか否かを判定する。
【０１３２】
この判定にあたり、補助メッセージ制御部６７２は、まず、返信先メッセージの音声メッセージテーブルにおけるパラメータ８１１の「スキップ」に対する値８１２を、参照する。そして、図６のメッセージＡの音声メッセージテーブルに示すように値８１２として、「あり」が記録されていれば、補助メッセージ制御部６７２は、返信先メッセージの再生中にスキップ操作が行われたと判定する。一方、図６のメッセージＢの音声メッセージテーブルに示すように値８１２として「なし」が記録されていれば、補助メッセージ制御部６７２は、返信先メッセージの再生中にスキップ操作が行われなかったと判定する。パラメータ８１１「スキップ」の値８１２は、経過情報の一例である。
【０１３３】
スキップ操作が行われたと判定した場合（Ｓ１３０６：ＹＥＳ）、補助メッセージ制御部６７２は、ステップＳ１３１０へ進む。
【０１３４】
一方、スキップ操作が行われなかったと判定した場合（Ｓ１３０６：ＮＯ）、補助メッセージ制御部６７２は、ステップＳ１３０７へ進む。
【０１３５】
スキップ操作が行われたということは、返信先メッセージの再生が不完全であること（再生が中断されたこと）を意味する。一方、スキップ操作が行われなかったということは、返信先メッセージの再生が完全であること（再生が中断されなかったこと）を意味する。このことから、スキップ操作が行われた場合、ユーザは、返信先メッセージの内容を全部聞けないので、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が低い。よって、スキップ操作が行われた場合は、補助メッセージを付与することが決定される。一方、スキップ操作が行われなかった場合、ユーザは、返信先メッセージの内容を全部聞けるので、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高い。よって、スキップ操作が行われなかった場合は、補助メッセージを付与しないことが決定される。
【０１３６】
次に、ステップＳ１３０７において、補助メッセージ制御部６７２は、読み出した音声メッセージテーブルを基に、返信先メッセージのユーザＩＤが登録ユーザＩＤであるか否かを判定する。登録ユーザＩＤは、返信メッセージを再生する端末装置１００に登録されたユーザＩＤである。
【０１３７】
返信先メッセージのユーザＩＤが登録ユーザＩＤではない場合（Ｓ１３０７：ＮＯ）、補助メッセージ制御部６７２は、ステップＳ１３１０へ進む。
【０１３８】
一方、返信先メッセージのユーザＩＤが登録ユーザＩＤである場合（Ｓ１３０７：ＹＥＳ）、補助メッセージ制御部６７２は、ステップＳ１３０８へ進む。
【０１３９】
返信先メッセージのユーザＩＤが登録ユーザＩＤであるということは、端末装置１００からログインして音声メッセージを聞いているユーザが、返信先メッセージを投稿したことを意味する。一方、返信先メッセージのユーザＩＤが登録ユーザＩＤではないということは、端末装置１００からログインして音声メッセージを聞いているユーザが、返信先メッセージを投稿していないことを意味する。このことから、返信先メッセージのユーザＩＤが登録ユーザＩＤである場合、ユーザは、返信先メッセージを自分で投稿しているので、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高い。よって、返信先メッセージのユーザＩＤが登録ユーザＩＤである場合は、補助メッセージを付与しないことが決定される。一方、返信先メッセージのユーザＩＤが登録ユーザＩＤではない場合、ユーザは、返信先メッセージを自分で投稿していないので、返信メッセージの再生時に返信先メッセージの内容を把握している可能性が低い。よって、返信先メッセージのユーザＩＤが登録ユーザＩＤではない場合は、補助メッセージを付与することが決定される。
【０１４０】
ステップＳ１３０８において、補助メッセージ制御部６７２は、補助メッセージを返信メッセージに付与しないことを決定する。
【０１４１】
すなわち、本実施の形態において、補助メッセージ制御部６７２が補助メッセージを付与しないと決定する条件は、以下の４つとなる。なお、以下の４つの条件は、１つが適用されてもよいし、２つ以上が組み合わされて適用されてもよい。
【０１４２】
１つ目は、無関係メッセージ数Ｎが閾値Ｘ１未満である場合（Ｓ１３０３：ＮＯ）である。この場合に補助メッセージが付与されない理由は、返信先メッセージと返信メッセージの間で一定数の無関係メッセージの再生がないため、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高いためである。
【０１４３】
２つ目は、再生間隔Ｐが閾値Ｔ１未満である場合（Ｓ１３０５：ＮＯ）である。この場合に補助メッセージが付与されない理由は、返信先メッセージと返信メッセージの間で一定時間が経過していないので、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高いためである。
【０１４４】
３つ目は、返信先メッセージの再生中にスキップ操作が行われなかった場合（Ｓ１３０６：ＮＯ）である。この場合に補助メッセージが付与されない理由は、返信先メッセージが最初から最後まで再生されているので、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高いためである。
【０１４５】
４つ目は、返信先メッセージのユーザＩＤが登録ユーザＩＤと同じである場合（Ｓ１３０７：ＹＥＳ）である。この場合に補助メッセージが付与されない理由は、ユーザ自身が返信先メッセージを投稿したので、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握している可能性が高いためである。
【０１４６】
上記４つの場合、ユーザは、返信メッセージの再生時に、返信メッセージが返信先メッセージに対する返信であることを把握しやすい状況にあると判定される。逆に、上記４つの場合では、補助メッセージの付与があると、ユーザが煩わしく感じるおそれがある。そこで、本実施の形態において、上記４つの場合には、あえて補助メッセージを付与しないように決定することで、ユーザが、返信メッセージを快適に聞くことができるようにする。
【０１４７】
次に、ステップＳ１３０９において、補助メッセージ制御部６７２は、メッセージ取得解析部６７１から取得した返信メッセージを、再生部６５０へ出力する。再生部６５０へ出力された返信メッセージは、ステップＳ１６００の音声出力処理により、再生される。また、補助メッセージ制御部６７２は、返信メッセージの再生時刻を取得し、図７のステップＳ１１０３で作成した音声メッセージテーブルにおけるパラメータ８１１の「再生時刻」に対し、取得した再生時刻を値８１２として記録する。
【０１４８】
ステップＳ１３０９の後の処理は、音声出力処理（Ｓ１６００）へ続く。
【０１４９】
ステップＳ１３１０において、補助メッセージ制御部６７２は、補助メッセージを返信メッセージに付与することを決定する。
【０１５０】
すなわち、本実施の形態において、補助メッセージ制御部６７２が補助メッセージを付与すると決定する条件は、以下の４つとなる。なお、以下の４つの条件は、１つが適用されてもよいし、２つ以上が組み合わされて適用されてもよい。
【０１５１】
１つ目は、無関係メッセージ数Ｎが閾値Ｘ１より大きい場合（Ｓ１３０３：ＹＥＳ）である。この場合に補助メッセージが付与される理由は、返信先メッセージと返信メッセージの間で一定数の無関係メッセージの再生があるため、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握していないおそれがあるためである。
【０１５２】
２つ目は、再生間隔Ｐが閾値Ｔ１より大きい場合（Ｓ１３０５：ＹＥＳ）である。この場合に補助メッセージが付与される理由は、返信先メッセージと返信メッセージの間で一定時間が経過しているので、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握していないおそれがあるためである。
【０１５３】
３つ目は、返信先メッセージの再生中にスキップ操作が行われた場合（Ｓ１３０６：ＹＥＳ）である。この場合に補助メッセージが付与される理由は、返信先メッセージが最初から最後まで再生されていないので、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握していないおそれがあるためである。
【０１５４】
４つ目は、返信先メッセージのユーザＩＤが登録ユーザＩＤと異なる場合（Ｓ１３０７：ＮＯ）である。この場合に補助メッセージが付与される理由は、ユーザ自身が返信先メッセージを投稿したわけではないので、ユーザが返信メッセージの再生時に返信先メッセージの内容を把握していないおそれがあるためである。
【０１５５】
上記４つの場合では、ユーザは、返信メッセージの再生時に、返信メッセージが返信先メッセージに対する返信であることを把握しにくい状況にあると判定される。そこで、本実施の形態において、上記４つの場合には、補助メッセージを付与するように決定することで、ユーザが、返信メッセージが返信先メッセージに対する返信であることを容易に把握できるようにする。
【０１５６】
次に、補助メッセージ制御部６７２が、返信メッセージに対して補助メッセージの付与を決定した（Ｓ１３１０）後の処理について説明する。
【０１５７】
まず、ステップＳ１３１１において、補助メッセージ制御部６７２は、読み出した補助メッセージ長判定テーブルおよび返信先メッセージの無関係メッセージ数Ｎを基に、補助メッセージ長Ｌ１を特定する。
【０１５８】
ここでは、補助メッセージ長判定テーブルの一例について説明する。補助メッセージ長判定テーブルは、図９に示すように、無関係メッセージ数Ｎについて３つの範囲が定められており、それら３つの範囲ごとに補助メッセージ長が定められている。また、範囲を定めている閾値については、Ｘ２＞Ｘ１＞０と定められている。すなわち、無関係メッセージ数Ｎが、閾値Ｘ２より大きい場合は、補助メッセージ長を、返信先メッセージの全部の長さとすることが定められている。また、無関係メッセージ数Ｎが、閾値Ｘ１より大きく閾値Ｘ２より小さい場合は、補助メッセージ長を、返信先メッセージの２分の１の長さとすることが定められている。また、無関係メッセージ数Ｎが、０より大きく閾値Ｘ１より小さい場合は、補助メッセージ長を、返信先メッセージの３分の１の長さとすることが定められている。
【０１５９】
よって、ステップＳ１３１１において、補助メッセージ制御部６７２は、返信先メッセージの無関係メッセージ数Ｎが３つの範囲のどれに相当するかを特定し、特定した範囲に対応付けられている補助メッセージ長を、Ｌ１として採用する。
【０１６０】
次に、ステップＳ１３１２において、補助メッセージ制御部６７２は、読み出した補助メッセージ長判定テーブルおよび算出した再生間隔Ｐを基に、補助メッセージ長Ｌ２を特定する。なお、補助メッセージ制御部６７２は、再生間隔Ｐを算出していない場合（Ｓ１３０３：ＹＥＳ）、補助メッセージ長Ｌ２を０として扱う。
【０１６１】
ここでは、補助メッセージ長判定テーブルの一例について説明する。補助メッセージ長判定テーブルは、図９に示すように、再生間隔Ｐについて３つの範囲が定められており、それら３つの範囲ごとに補助メッセージ長が定められている。また、範囲を定めている閾値については、Ｔ２＞Ｔ１＞Ｔ０と定められている。すなわち、再生間隔Ｐが、閾値Ｔ２より大きい場合は、補助メッセージ長を、返信先メッセージの全部の長さとすることが定められている。また、再生間隔Ｐが、閾値Ｔ１より大きく閾値Ｔ２より小さい場合は、補助メッセージ長を、返信先メッセージの２分の１の長さとすることが定められている。また、再生間隔Ｐが、閾値Ｔ０より大きく閾値Ｔ１より小さい場合は、補助メッセージ長を、返信先メッセージの３分の１の長さとすることが定められている。
【０１６２】
よって、ステップＳ１３１２において、補助メッセージ制御部６７２は、算出した再生間隔Ｐが３つの範囲のどれに相当するかを特定し、特定した範囲に対応付けられている補助メッセージ長を、Ｌ２として採用する。
【０１６３】
次に、ステップＳ１３１３において、補助メッセージ制御部６７２は、ステップＳ１３１１で採用した補助メッセージ長Ｌ１とステップＳ１３１２で採用した補助メッセージ長Ｌ２を比較し、値が大きい方を選択する。
【０１６４】
次に、ステップＳ１３１４において、補助メッセージ制御部６７２は、メッセージ取得解析部６７１から入力した返信メッセージとそのメッセージＩＤを、再生メッセージ編集部６７３へ出力する。さらに、補助メッセージ制御部６７２は、返信メッセージとそのメッセージＩＤに加え、ステップＳ１３１３で選択した補助メッセージ長を示すデータ（以下、適宜「補助メッセージ長」という）を、再生メッセージ編集部６７３へ出力する。
【０１６５】
ステップＳ１３１４の後の処理は、再生メッセージ編集処理（Ｓ１５００）へ続く。
【０１６６】
以上、補助メッセージ制御処理（Ｓ１３００）の詳細について説明した。
【０１６７】
次に、再生メッセージ編集処理（Ｓ１５００）の詳細について説明する。
【０１６８】
図１０は、再生メッセージ編集部６７３が行う再生メッセージ編集処理（Ｓ１５００）の一例を示すフローチャートである。
【０１６９】
まず、ステップＳ１５０１において、再生メッセージ編集部６７３は、補助メッセージ制御部６７２から、返信メッセージとそのメッセージＩＤ、および補助メッセージ長を取得する。
【０１７０】
次に、ステップＳ１５０２において、再生メッセージ編集部６７３は、補助メッセージ制御部６７２から取得した返信メッセージのメッセージＩＤに基づいて、返信先メッセージの音声メッセージテーブルを記憶部６４０から読み出す。
【０１７１】
次に、ステップＳ１５０３において、再生メッセージ編集部６７３は、読み出した返信先メッセージの音声メッセージテーブルから返信先メッセージのメッセージＩＤを特定する。
【０１７２】
次に、ステップＳ１５０４において、再生メッセージ編集部６７３は、特定した返信先メッセージのメッセージＩＤを基に、記憶部６４０に記憶されている返信先メッセージを検索する。ここで、再生メッセージ編集部６７３は、特定した返信先メッセージのメッセージＩＤが対応付けられている受信音声メッセージを検索する。
【０１７３】
次に、ステップＳ１５０５において、再生メッセージ編集部６７３は、検索した返信先メッセージを、補助メッセージとして用いるために、記憶部６４０から読み出す。また、再生メッセージ編集部６７３は、記憶部６４０から識別音も読み出す。
【０１７４】
次に、ステップＳ１５０６において、再生メッセージ編集部６７３は、記憶部６４０から読み出した返信先メッセージの長さを、補助メッセージ制御部６７２から取得した補助メッセージ長を基に編集する。そして、再生メッセージ編集部６７３は、長さを編集した返信先メッセージの前と後の少なくとも一方に、識別音を付与する。
【０１７５】
次に、ステップＳ１５０７において、再生メッセージ編集部６７３は、識別音を付与した返信先メッセージを、補助メッセージ制御部６７２から取得した返信メッセージの前に結合する。
【０１７６】
次に、ステップＳ１５０８において、再生メッセージ編集部６７３は、返信先メッセージを結合した返信メッセージを、再生部６５０へ出力する。再生部６５０へ出力された返信メッセージは、ステップＳ１６００の音声出力処理により、前に結合された返信先メッセージの再生に続いて再生される。
【０１７７】
次に、ステップＳ１５０９において、再生メッセージ編集部６７３は、取得した現在時刻を、再生部６５０へ出力した返信メッセージの再生時刻、および、補助メッセージとして結合された返信先メッセージの再生時刻とする。そして、再生メッセージ編集部６７３は、各再生時刻をそれぞれの音声メッセージテーブルに記録する。再生メッセージ編集部６７３は、例えば、返信メッセージであるメッセージＥに対して、返信先メッセージであるメッセージＡが結合されたとする。この場合、再生メッセージ編集部６７３は、記憶部６４０に記憶されているメッセージＥ、および、メッセージＡの各音声メッセージテーブルにおけるパラメータ８１１の「再生時刻」に対する値８１２として、取得した現在時刻を記録する。したがって、ある返信先メッセージに対して複数の返信メッセージが投稿された場合には、同一の補助メッセージ（返信先メッセージ）が各返信メッセージに付与されることはない。
【０１７８】
ステップＳ１５０９の後の処理は、音声出力処理（Ｓ１６００）へ続く。
【０１７９】
以上、再生メッセージ編集処理（Ｓ１５００）の詳細について説明した。
【０１８０】
次に、音声出力処理におけるスキップ操作判定処理（Ｓ１６００）の詳細について説明する。
【０１８１】
図１１は、スキップ操作判定部６７４が行うスキップ操作判定処理一例を示すフローチャートである。なお、図１１のフローは、音声出力処理（Ｓ１６００）中に実行される。
【０１８２】
まず、ステップＳ１６０１において、スキップ操作判定部６７４は、受信音声メッセージの再生中に、操作入力部６３０から操作情報の入力があったか否かを判定する。
【０１８３】
操作情報の入力がなかった場合（Ｓ１６０１：ＮＯ）、スキップ操作判定部６７４は、ステップＳ１６０４へ進む。
【０１８４】
一方、操作情報の入力があった場合（Ｓ１６０１：ＹＥＳ）、スキップ操作判定部６７４は、ステップＳ１６０２へ進む。
【０１８５】
次に、ステップＳ１６０２において、スキップ操作判定部６７４は、操作入力部６３０から入力した操作情報の内容がスキップ操作を示すか否かを判定する。
【０１８６】
操作情報の内容がスキップ操作を示していなかった場合（Ｓ１６０２：ＮＯ）、スキップ操作判定部６７４は、ステップＳ１６０４へ進む。
【０１８７】
一方、操作情報の内容がスキップ操作を示していた場合（Ｓ１６０２：ＹＥＳ）、スキップ操作判定部６７４は、ステップＳ１６０３へ進む。
【０１８８】
次に、ステップＳ１６０３において、スキップ操作判定部６７４は、再生中の受信音声メッセージに対応する音声メッセージテーブルのパラメータ８１１の「スキップ」に対する値８１２として、「あり」と記録する。例えば、再生された受信音声メッセージがメッセージＢの場合、図６に示すメッセージＢの音声メッセージテーブルには、パラメータ８１１の「スキップ」に対する値８１２として、「あり」が記録される。
【０１８９】
一方、ステップＳ１６０４において、スキップ操作判定部６７４は、再生中の受信音声メッセージに対応する音声メッセージテーブルのパラメータ８１１の「スキップ」に対する値８１２として、「なし」と記録する。例えば、再生された受信音声メッセージがメッセージＡの場合、図６に示すメッセージＡの音声メッセージテーブルには、パラメータ８１１の「スキップ」に対する値８１２として、「なし」が記録される。
【０１９０】
以上、スキップ操作判定処理（Ｓ１６００）の詳細について説明した。
【０１９１】
このような動作により、端末装置１００は、一の受信音声メッセージについてそのメタデータを基に返信メッセージであるか否かを判定できる。そして、端末装置１００は、受信音声メッセージが返信メッセージである場合、経過情報を基に補助メッセージを再生するか否かを決定できる。
【０１９２】
以上のように、本実施の形態に係る音声制御装置は、複数の受信音声メッセージを投稿順に再生する場合、各受信音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定する。具体的には、音声制御装置は、各受信音声メッセージに付加されたメタデータを基に、各受信音声メッセージが、対象音声メッセージに対する返信メッセージであるか否かを判定する。そして、本実施の形態に係る音声制御装置は、受信音声メッセージが返信メッセージである場合、対象音声メッセージに対する返信メッセージの理解を助ける補助メッセージを再生するか否かを判定する。具体的には、音声制御装置は、対象音声メッセージが再生されてからの経過に関する経過情報を基に、対象音声メッセージの理解を助ける補助メッセージを再生するか否かを判定する。これにより、本実施の形態に係る音声制御装置は、全ての返信メッセージに対して補助メッセージを再生させるのではなく、補助メッセージの再生が必要であると判定した場合にだけ補助メッセージを再生させることができる。
【０１９３】
すなわち、本実施の形態に係る音声制御装置は、所定の返信メッセージがどのメッセージへの返信であるかについて、ユーザが把握しにくい状況である場合には補助メッセージを再生するようにしてもよい。また、ユーザが把握しにくい状況ではない場合では、補助メッセージを再生しないようにしてもよい。したがって、本実施の形態に係る音声制御装置を経て投稿順に再生される複数の音声メッセージを聞くユーザは、返信メッセージがどのメッセージに対する返信であるのかを把握しにくい状況にあるとき、補助メッセージを聞くことができる。そして、実施の形態に係る音声制御装置を経て投稿順に再生される複数の音声メッセージを聞くユーザは、返信メッセージがどのメッセージに対する返信であるのかを把握しやすい状況にあるとき、補助メッセージを聞かなくて済む。
【０１９４】
以上、本実施の形態について説明したが、上記説明は一例であり、種々の変形が可能である。以下、変形例について説明する。
【０１９５】
図１に示す構成または図３に示す構成は、音声メッセージ管理サーバ３００が備えてもよい。例えば、図１または図３に示す機能ブロックは、アプリケーションとしてウェブサーバ上に構築してもよい。ユーザは、端末装置１００が具備するブラウザなどのアプリケーションを用いて、ウェブサーバ上で実現される機能（図１または図３に示す機能ブロック）を利用する。
【０１９６】
また、上記実施の形態では、図８において、無関係メッセージ数Ｎを用いた判定（Ｓ１３０３）と再生間隔Ｐを用いた判定（Ｓ１３０５）を別々に行うものとしたが、これに限定されない。例えば、補助メッセージ制御部６７２は、無関係メッセージ数Ｎと無関係メッセージ数Ｐとを基に演算を行い、その演算により算出した値がどのような値をとるかに応じて、補助メッセージを付与するか否かの判定を行うようにしてもよい。
【０１９７】
また、上記実施の形態では、図８において、補助メッセージを付与するか否かの判定として、ステップＳ１３０３、ステップＳ１３０５、ステップＳ１３０６、ステップＳ１３０７の４つを行うようにしたが、これに限定されない。補助メッセージ制御部６７２は、上述した４つの判定のうち少なくとも１つを行うようにしてもよい。
【０１９８】
また、上記実施の形態では、補助メッセージとして返信先メッセージを用いる例としたが、これに限定されない。補助メッセージは、例えば、音声メッセージテーブルに記録されたユーザＩＤを読み上げる音声ナレーション等であってもよい。
【０１９９】
また、上記実施の形態では、再生メッセージ編集部６７３が、補助メッセージとしての返信先メッセージと、返信メッセージとをデータ上で結合するようにしたが、これに限定されない。例えば、再生メッセージ編集部６７３は、補助メッセージと返信メッセージを別々のデータのまま、それらの出力タイミングを制御することで、補助メッセージと返信メッセージを連続的にまたは同時に出力するようにしてもよい。連続的に出力する場合は、補助メッセージの再生の直後に返信メッセージを再生してもよいし、または、返信メッセージを先に再生し、その直後に補助メッセージを再生してもよい。同時に出力する場合は、立体音響を用い、返信メッセージと補助メッセージとを異なる音源として仮想空間に配置した上で、同時に再生するようにしてもよい。
【０２００】
本実施の形態において、再生メッセージ編集部６３７は、補助メッセージとして用いる返信先メッセージの長さを、元の返信先メッセージの長さより短くする場合、元の返信先メッセージの後部をフェードアウトするようにしてもよい。
【０２０１】
また、上記実施の形態において、再生メッセージ編集部６３７は、補助メッセージとして用いる音声メッセージの再生時間長を変更したが、これに限定されない。例えば、再生メッセージ編集部６３７は、補助メッセージとして用いる音声メッセージの再生速度を変更してもよい。より具体的には、補助メッセージ制御部６７２は、無関係メッセージ数Ｎおよび再生間隔Ｐに応じて、補助メッセージとして用いる返信先メッセージの再生速度を決定する。再生速度としては、例えば、２倍速、１．３倍速等が挙げられる。そして、再生メッセージ編集部６７３は、補助メッセージ制御部６７２が決定した再生速度を基に、補助メッセージとして用いる音声メッセージの再生速度を編集する。なお、再生メッセージ編集部６７３は、補助メッセージとして用いる音声メッセージについて、再生時間長および再生速度の両方を変更するようにしてもよい。
【０２０２】
また、上記実施の形態において、補助メッセージに対する識別音の付与は、必須でなくてもよい。
【０２０３】
また、上記実施の形態において、操作入力装置５００が受け付ける操作は、物理的なボタンやキーに対する入力操作に限定されない。操作入力装置５００は、例えば、ユーザのジェスチャを入力操作として受け付けてもよい。より具体的には、操作入力装置５００としてユーザの頭部の動き検出するセンサを用いるとともに、ユーザが頭部を左右に振るジェスチャを音声メッセージのスキップ操作と定義しておく。これにより、ユーザは、所定の音声メッセージの再生が開始されたときに、頭部を左右に振ると、その音声メッセージのスキップ操作を行うことができる。
【０２０４】
また、本実施の形態では、スキップ操作は、再生中の音声メッセージをスキップさせるための操作として説明したが、これに限定されない。本実施の形態では、例えば、再生中の音声メッセージの後に再生される音声メッセージをスキップさせるための操作を含むようにしてもよい。
【０２０５】
また、上記実施の形態において、メッセージ取得解析部６７１が、受信音声メッセージを記憶部６４０から投稿順に取得すると説明したが、これに限定されない。例えば、メッセージ取得解析部６７１は、補助メッセージとして利用する音声メッセージを、音声メッセージ管理サーバへ要求し、都度取得するとしてもよい。
【０２０６】
また、音声つぶやきコミュニケーションサービスでは、あるユーザが、先にアップロードした自分の音声メッセージに対し、補足や訂正等を意図して返信する場合がある。よって、上記実施の形態では、返信先メッセージをアップロードしたユーザと、返信メッセージをアップロードするユーザとが、同一であってもよい。
【０２０７】
また、上記実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。
【０２０８】
また、上記実施の形態の説明に用いた各機能ブロック（例えば図１または図３に示す各部）は、典型的には集積回路であるＬＳＩとして実現される。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２０９】
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。集積回路化の手法は、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２１０】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０２１１】
本発明は、時系列に再生される複数の音声メッセージを処理する、音声制御装置、音声制御方法およびプログラムとして有用である。すなわち、本発明は、例えば、携帯電話や音楽プレーヤ等、音声を再生する機能を持つ各種の機器、および、再生は行わないが時系列に再生される複数の音声メッセージに対して処理を行うサーバ等の機器に対して有用である。また、本発明は、これらの機器の製造、販売、提供、利用する産業において、経営的、継続的、反復的に利用することができる。
【符号の説明】
【０２１２】
１００  端末装置
２００  通信ネットワーク
３００  音声メッセージ管理サーバ
４００  音声入出力装置
５００  操作入力装置
６００  音声制御装置
６１０  通信インターフェース部
６２０  音声入出力部
６３０  操作入力部
６４０  記憶部
６５０  再生部
６６０  表示部
６７０  制御部
６７１  メッセージ取得解析部
６７２  補助メッセージ制御部
６７３  再生メッセージ編集部
６７４  スキップ操作判定部
７００  表示装置
【図１】
2013117552.tif 000003
【図２】
2013117552.tif 000004
【図３】
2013117552.tif 000005
【図４】
2013117552.tif 000006
【図５】
2013117552.tif 000007
【図６】
2013117552.tif 000008
【図７】
2013117552.tif 000009
【図８】
2013117552.tif 000010
【図９】
2013117552.tif 000011
【図１０】
2013117552.tif 000012
【図１１】
2013117552.tif 000013