(57)【要約】【課題】  音声通話の遅延時間と外部音再生の遅延時間との違により生じるばらつきの影響を受けずに、送信側ユーザが意図したタイミングに基づいて、受信側端末がデータを再生することができる通信装置を提供することを目的とする。【解決手段】  端末２００は、外部音の再生指示を行なう送信側端末と共通する基準時刻を管理する時刻管理部１０３と、端末１００から送信された外部音の再生指定時刻Ｔ１を取得する再生データ生成部１０８と、再生指定時刻Ｔ１および時刻管理部１０３により管理されている基準時刻に基づいて、端末１００から指示された外部音の再生処理を行なうデータ再生部１１０を備える。【選択図】図３
2017188776.tif 000002
【特許請求の範囲】
【請求項１】
再生対象の再生指示を行なう送信側端末と共通する基準時刻を管理する時刻管理手段と、
前記送信側端末から送信された前記再生対象の再生指定時刻を取得する取得手段と、
前記取得手段により取得された再生指定時刻および前記時刻管理手段により管理されている基準時刻に基づいて、前記送信側端末から指示された再生対象の再生処理を行なうデータ再生手段と、
を備える通信装置。
【請求項２】
通話回線が接続された時刻を基準時刻として現在時刻を取得する、
請求項１に記載の通信装置。
【請求項３】
前記データ再生手段は、
前記再生指定時刻に、所定の音声通話における遅延時間を加えた再生時刻に再生処理を行なう、請求項２に記載の通信装置。
【請求項４】
前記データ再生手段は、
前記現在時刻が、前記再生時刻より早い場合、前記現在時刻が当該再生時刻に達したときに再生する、
請求項３に記載の通信装置。
【請求項５】
前記データ再生手段は、
前記現在時刻が前記再生時刻より遅い時刻であって、さらに前記現在時刻が、前記再生時刻に所定時間を加算した調整時刻より遅い場合は、再生処理を行なわず、
前記現在時刻が前記再生時刻より遅い時刻であって、さらに前記現在時刻が、前記調整時刻より早い場合は、再生処理を行なう、
請求項４に記載の通信装置。
【請求項６】
受信側端末と共通する基準時刻を管理する時刻管理手段と、
前記受信側端末において再生される再生対象を指示する指示信号を生成する生成手段と、
前記再生対象を再生する前記受信側端末において再生対象が再生される時刻を指定した再生指定時刻を、前記指示信号とともに送信する送信手段と、
を備える通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通話のほかに音楽等の外部音を通話相手に提供する通信装置に関する。
【背景技術】
【０００２】
従来より、携帯電話機などを用いた音声通話に、話者の音声（通話音声）とは異なる音（外部音）を提供する技術が提案されている。たとえば下記特許文献１は、通話中に背景楽音を再生することができる電話端末装置を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２１７６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の電話端末装置のように、音声通話中に音声通話回線とは別の回線を用いて外部音の再生を指示するデータを送受信する場合、音声通話の遅延時間（話者が発話してから、前記発話が通話相手の電話端末で再生されるまでの時間）と外部音再生の遅延時間（送信側のユーザが外部音再生の指示操作をしてから、受信側の電話端末で外部音が再生されるまでの時間）が異なる。さらに外部音の再生を指示するデータを送受信する回線に帯域保証がない場合、外部音再生の遅延にはばらつきが生じる。そのため、送信側が通話音声とタイミングを合わせて外部音の再生を指示するデータを送信しても、送信側が意図したタイミングで、受信側の電話端末で外部音が再生されることが保証されない。特に、外部音として効果音を再生しようとした場合、音声と効果音とのタイミングがずれてしまうことが考えられる。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、データ通信回線の遅延のばらつきの影響を受けずに、送信側ユーザが意図したタイミングに基づいて、受信側端末がデータを再生することができる通信装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明の通信装置は、再生対象の再生指示を行なう送信側端末と共通する基準時刻を管理する時刻管理手段と、前記送信側端末から送信された前記再生対象の再生指定時刻を取得する取得手段と、前記取得手段により取得された再生指定時刻および前記時刻管理手段により管理されている基準時刻に基づいて、前記送信側端末から指示された再生対象の再生処理を行なうデータ再生手段と、を備える。
【０００７】
この発明によれば、再生指定時刻および基準時刻に基づいて、送信側端末から指示された再生対象の再生処理を行なう。これにより、送信側のユーザが意図したタイミングに基づいて受信側端末において再生対象の再生を行なうことができる。
【０００８】
また、本発明の通信装置は、通話回線が接続された時刻を基準時刻として現在時刻を取得する。この発明によれば、通話回線が接続された時刻を基準時刻として現在時刻を取得することで、送信側・受信側の両端末において通話が開始された時点に現在時刻を合わせることができ、簡単に送信側端末と共通する基準時刻を設定することができる。
【０００９】
また、本発明の通信装置において、前記データ再生手段は、前記再生指定時刻に、所定の音声通話における遅延時間を加えた再生時刻に再生処理を行なう。この発明によれば、再生指定時刻に、所定の回線遅延時間を加えた再生時刻に再生処理を行なうことで、音声通話における遅延時間を考慮したタイミングで再生処理を行うことができ、送信側のユーザが意図したタイミングに基づいた再生処理を可能にする。
【００１０】
また、本発明の通信装置において、前記再生手段は、前記現在時刻が、前記再生時刻より早い場合、前記現在時刻が当該再生時刻に達したときに再生する。
【００１１】
この発明によれば、現在時刻が、再生時刻より早い場合、現在時刻が当該再生時刻に達したときに再生する。データ通信の遅延時間が音声通話の遅延時間より短い場合があり、その場合には、再生時刻に達するまで待つことで、送信側のユーザが意図したタイミングに基づいた再生処理を可能にする。
【００１２】
また、本発明の通信装置は、前記現在時刻が前記再生時刻より遅い時刻であって、さらに前記現在時刻が、前記再生時刻に所定時間を加算した調整時刻より遅い場合は、再生処理を行なわず、前記現在時刻が前記再生時刻より遅いであって、さらに前記現在時刻が、前記調整時刻より早い場合は、再生処理を行なう。
【００１３】
この発明によれば、現在時刻が再生時刻より遅い時刻であって、さらに現在時刻が、調整時刻より遅い場合は、再生処理を行なわず、現在時刻が調整時刻より早い場合には、再生処理を行なうことにより、受信側端末のユーザにとって違和感のある時間的にずれた状態での再生処理を行なわないようにする。これにより、違和感のある再生を防止することができる。
【００１４】
また、本発明の通信装置は、受信側端末と共通する基準時間を管理する時刻管理手段と、前記受信側端末において再生される再生対象を指示する指示信号を生成する生成手段と、前記再生対象を再生する前記受信側端末において再生対象が再生される時間を指定した再生指定時間を、前記指示信号とともに送信する送信手段と、を備える。
【００１５】
この発明によれば、再生対象を再生する受信側端末において再生対象が再生される時間を指定した再生指定時間を、指示信号とともに送信することで、受信側端末においては再生指定時間に基づいた再生処理を可能にする。よって、送信側のユーザが意図したタイミングに基づいた再生処理を可能にする。
【発明の効果】
【００１６】
本発明によれば、送信側端末のユーザが意図したタイミングで、受信側端末が外部音を再生することが可能になる。
【図面の簡単な説明】
【００１７】
【図１】本実施形態の通話システムの概略構成を示す図である。
【図２】本実施形態の端末１００の機能ブロックを示す図である。
【図３】本実施形態の端末２００の機能ブロックを示す図である。
【図４】本実施形態の端末１００および端末２００のハードウェア構成図である。
【図５】本実施形態の端末１００および端末２００において実行される処理の一例を示すフローチャートである。
【図６】本実施形態の端末４００の機能ブロックを示す図である。
【図７】本実施形態の通信システムにおいて、指示信号を時刻Ｔ１＋Ｄ２の前に受信したときの処理シーケンスを示す図である。
【図８】本実施形態の通信システムにおいて、指示信号を時刻Ｔ１＋Ｄ２の後、時刻Ｔ＋Ｄ２＋Ｄ３の前に受信したときの処理シーケンスを示す図である。
【図９】本実施形態の通信システムにおいて、指示信号を時刻Ｔ１＋Ｄ２＋Ｄ３の後に受信したときの処理シーケンスを示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【００１９】
図１は、本実施形態の端末１００および端末２００を含んだ通話システムの概略構成を示す図である。図１に示すように、通話システムにおいて、ユーザ１（第１話者）とユーザ２（第２話者）との通話が行われる。通話システムでは、端末１００および端末２００（端末１００と同じ構成が好ましい）が、通話装置として用いられる。ここで、端末１００は、端末２００に対して楽曲や音声などの再生対象の再生指示のための指示情報を送信する送信側端末であり、端末２００は、それを受ける受信側端末として機能する。ユーザ１が端末１００を利用し、ユーザ２が端末２００を利用することによって、ユーザ１とユーザ２との音声通話が実現される。
【００２０】
本実施形態の通話システムにおいて、たとえば端末１００および端末２００は、通信ネットワーク３（通信網）を介して通信可能に構成されている。さらに、サーバ３００が、通信ネットワーク３を介して、端末１００および端末２００と通信可能に構成されていてもよい。
【００２１】
ここで、通話システムの動作概要の一例について説明する。たとえば、端末１００においてユーザ１の通話音声Ｖ１が入力されると、符号化された後、符号化系列として出力されて端末２００へ送信される。同時に、ユーザ１の端末１００の操作（ユーザ操作）によって端末２００内に保持されているコンテンツＶ３（通話音声とは異なる楽曲・音声等の外部音：再生対象）を再生するための指示信号が生成され、端末２００へ送信される。
【００２２】
具体的に、図１に示される通り、端末１００と端末２００とにおいて、コンテンツのセットであるコンテンツａ〜ｃが、各コンテンツを再生するための指示信号ａ〜ｃと対応付けられて保持されている。ユーザ１が選択したコンテンツに対応した指示信号がユーザ２の端末２００に送信され、端末２００で指示信号に対応するコンテンツが再生されることでユーザ１が所望するコンテンツを端末２００で再生することができる。これによって、ユーザ２は、ユーザ１の通話音声Ｖ１だけでなく、ユーザ１が所望するコンテンツＶ３も聞くことができる。同時に、ユーザ１もコンテンツＶ３を聞くことができてもよい。端末１００と端末２００とに保持されているコンテンツのセットは、すべて同じものであってもよい。また、少なくともユーザ１が選択したコンテンツが端末２００に保持されていてもよい。
【００２３】
端末１００と端末２００との構成が同じであることで、逆にユーザ１は、ユーザ２の通話音声Ｖ２だけでなく、ユーザ２が所望するコンテンツＶ３も聞くことができる。このとき、ユーザ２もコンテンツＶ３を聞くことができてもよい。
【００２４】
コンテンツＶ３の例として、たとえば効果音や、ＢＧＭのような音楽が挙げられる、ただし、コンテンツＶ３は音楽に限定されるものでなく、鳥のさえずりや駅の雑踏のような環境音、あるいはセリフなどの音声であってもよい。
【００２５】
ここで、本実施形態の通話システムでは、通話音声Ｖ１またはＶ２を送受信するための通信回線（音声通話回線）と、コンテンツＶ３を再生するための指示信号を送受信するための通信回線（データ通信回線）とを区別し、音声通話回線にはより動作が安定し、遅延のばらつきが少ない仕組みを用いる。例えば、音声通話回線には回線交換方式を、データ通信回線にはパケット交換方式を用いる、あるいは、音声通話回線にはパケット交換方式を用いたうえで帯域保証を設けてもよい。
【００２６】
なお、本実施形態の通信システムは、コンテンツが端末２００に保持されていない場合にも適用できる。その場合、コンテンツＶ４が端末１００またはサーバ３００に保持され、ユーザ１の操作に応じて端末２００に送信されてもよい。この場合、以降の説明におけるコンテンツＶ３はコンテンツＶ４に置き換えられる。
【００２７】
また、コンテンツが端末１００に保持されていない場合にも、コンテンツＶ４がサーバ３００に保持され、ユーザ１の操作に応じて端末２００に送信されてもよい。さらに、端末１００に送信されてもよい。この場合、以降の説明におけるコンテンツＶ３はコンテンツＶ４に置き換えられる。
【００２８】
図２は、本実施形態の外部音を指定する端末（送信側端末）である端末１００の機能ブロックを示す図である。図１に示したように、端末１００と、端末２００とによって、ユーザ１とユーザ２との通話が行われる。端末１００と端末２００とは同じ構成であることが好ましい。以下ではユーザ１の端末１００を例に説明する。
【００２９】
図２に示すように、端末１００は、音声通話部１０１と、データ通信部１０２とを含み、データ通信部１０２は、時刻管理部１０３（時刻管理手段）と、指示信号生成部１０４（生成手段）と、再生時刻情報付与部１０５と、データ送信部１０６（送信手段）とを含む。
【００３０】
音声通話部１０１は、ユーザ１の通話音声Ｖ１を入力し、通話音声Ｖ１を符号化して、符号化系列Ｂ１を生成し、通話相手に送信する。
【００３１】
データ通信部１０２は、ユーザ１による外部音のデータ送信指示Ｃ１を入力し、後述する再生時刻情報が含まれた送信データＣ２を生成し、ユーザ２に送信する部分である。
【００３２】
時刻管理部１０３は、音声通話部１０１が通話を開始した時刻を基準とする時刻を管理する部分である。具体的には、音声通話部１０１から通話を開始したことを示す通知が入力された時刻Ｔを０として当該音声通話における時刻を管理する。時刻管理部１０３は、必要に応じて時刻情報である現在時刻Ｔを出力する。
【００３３】
なお、時刻管理部１０３は、音声通話部１０１から通話を開始したことを示す通知が入力された時刻を０とする代わりに、実際の時刻（例：Ｘ時Ｙ分Ｚ秒）を基準時刻として記録し、以降は基準時刻との差分を出力してもよい。また、この通話を開始したことを示す通知は、音声通話部１０１以外から入力されてもよく、例えば、端末２００や、サーバ３００からデータ通信回線を利用して入力されてもよい。また、時刻管理部１０３が管理する時刻の基準は、音声通話部１０１が通話を開始した時刻に限定されるものではなく、所定の通信が端末１００と端末２００の間でなされた時刻を基準時刻としてもよい。例えば、端末１００と端末２００との間でデータ通信用のコネクションが確立された時刻を基準時刻としてもよい。また、時刻管理部１０３はデータ通信部１０２の外部にあってもよい。
【００３４】
ここで、時刻管理部１０３の動作は、音声通話の発呼側端末と着呼側端末とで異なることが好ましい。具体的には、発呼側端末は、着呼側端末が音声通話の着呼に応答したことを示す通知を受けた時刻を基準時刻とし、着呼側端末は、着呼側端末が音声通話の着呼に応答した時刻に所定時間Ｄ１を加算した時刻を基準時刻としてもよい。ここで、所定時間Ｄ１は着呼側端末が音声通話の着呼に応答したことを示す通知が、着呼側端末から発呼側端末に送信されるのにかかる時間に相当することが好ましい。これにより、着呼側端末と発呼側端末とで、基準とする時刻を同時刻に設定することができ、以降の処理で着呼側端末と発呼側端末とを区別する必要がなくなる。
【００３５】
なお、所定時間Ｄ１は、あらかじめ設定された値であるが、通話相手に応じて変化させてもよい。例えば、端末２００の電話番号に応じて変化させてもよい。電話番号、音声通話においてネットワークからもたらされる情報、端末２００やサーバ３００よりもたらされる情報より、端末１００と端末２００との物理的な距離が離れているかを判断し、例えば、距離が近いと判断した時は所定時間Ｄ１を所定値より小さくし、遠いと判断した時は所定時間Ｄ１を所定値より大きくしてもよい。
【００３６】
指示信号生成部１０４は、ユーザ１によるデータ送信指示Ｃ１を受けて、ユーザ２に送信する指示信号を生成する部分である。具体的には、ユーザ１によるデータ送信指示Ｃ１に対応するコンテンツを再生するための指示信号（図１）を生成し、出力する。
【００３７】
ここで、指示信号生成部１０４は前記指示信号を出力する代わりに、データ送信指示Ｃ１に対応するコンテンツＶ４を符号化したビットストリームを出力してもよい。また、ユーザ１によるデータ送信指示Ｃ１に対応するコンテンツの出力はユーザ１に対して行われてもよい（図示せず）、これによりユーザ１もコンテンツを聞くことができる。
【００３８】
再生時刻情報付与部１０５は、時刻管理部１０３から、ユーザ１によるデータ送信指示Ｃ１が入力された再生指定時刻Ｔ１（再生時刻情報）を取得して、指示信号生成部１０４から入力された指示信号に付与して送信データＣ２を生成し、出力する部分である。
【００３９】
データ送信部１０６は、再生時刻情報付与部１０５から入力された、送信データＣ２をユーザ２に送信する部分である。
【００４０】
つぎに、図３を用いて受信側端末である端末２００の機能ブロックについて説明する。この端末２００は、音声通話部１０１ａとデータ通信部１０２ａとを備える。データ通信部１０２ａは、時刻管理部１０３ａ（時刻管理手段）と、データ受信部１０７と、再生データ生成部１０８と、再生時刻情報抽出部１０９（取得手段）と、データ再生部１１０（データ再生手段）とを含む。
【００４１】
音声通話部１０１ａは、ユーザ２の端末２００からの通話音声Ｖ２に相当する符号化系列Ｂ２を受信し、符号化系列Ｂ２を復号し、通話音声Ｖ２を生成し、出力する部分である。
【００４２】
データ通信部１０２ａは、ユーザ２の端末２００から受信データＣ３を受信し、受信データＣ３に含まれている再生時刻情報に基づいて、受信データＣ３が指示するコンテンツＶ３を再生する。
【００４３】
時刻管理部１０３は、音声通話部１０１ａが通話を開始した時刻を基準とする時刻を管理する部分である。具体的には、音声通話部１０１ａから通話を開始したことを示す通知が出力されると、所定時間Ｄ１だけ待機した現在時刻Ｔを０として、時刻の管理を行なう。
なお、前記通話を開始したことを示す通知は、音声通話部１０１aから出力される代わりに、音声通話部１０１aの動作を監視し、通話開始を検出する通話開始検出部（図示せず）から出力されてもよい。
【００４４】
データ受信部１０７は、再生時刻情報が付与された指示信号である受信データＣ３を受信し、出力する部分である。なお、受信データＣ３は再生時刻情報が付与されたコンテンツＶ４であってもよい。例えば、このコンテンツはオーディオデータのビットストリームの形式であってもよい。
【００４５】
再生データ生成部１０８は、データ受信部１０７から入力された受信データに含まれる指示信号に対応したコンテンツＶ３（図１）を生成し、出力する部分である。具体的には、指示信号に対応し、端末１００のストレージ（図示せず）に格納されているコンテンツを読み出し、出力する。なお、データ受信部１０７から入力されたデータにコンテンツＶ４が含まれている場合にはコンテンツＶ４を出力してもよい。
【００４６】
再生時刻情報抽出部１０９は、データ受信部１０７から入力された受信データに含まれる再生時刻情報が示す再生指定時刻Ｔ１を抽出し、出力する部分である。
【００４７】
データ再生部１１０は、再生時刻情報抽出部１０９から入力された再生時刻情報が示す再生指定時刻Ｔ１と、時刻管理部１０３から得られる現在時刻Ｔに基づいて再生タイミングを調整し、再生データ生成部１０８から入力されたコンテンツＶ３を再生する部分である。データ再生部１１０が行う再生タイミングの調整は、再生時刻情報が示す再生指定時刻Ｔ１に所定時間Ｄ２を加算した時刻Ｔ１＋Ｄ２を再生時刻とすることが好ましい。ここで、所定時間Ｄ２とは、音声通話部１０１が行う音声通話の遅延時間に相当することが好ましい。この所定時間Ｄ２は、時刻管理部１０３においてあらかじめ記憶されている情報であるが、端末１００から指示信号とともに送信してもらってもよい。
【００４８】
また、再生データ生成部１０８からコンテンツが入力されたときの現在時刻Ｔが、再生時刻（再生指定時刻Ｔ１＋所定時間Ｄ２）以降である場合は、即時に再生することが好ましい。さらに、送信側端末である端末１００のユーザが意図したタイミングとかけ離れたタイミングでコンテンツが再生されることを避けるため、再生データ生成部１０８からコンテンツが入力されたときの時刻管理部１０３ａで管理する現在時刻Ｔが、時刻Ｔ１＋Ｄ２＋Ｄ３以降である場合は、コンテンツの再生をしないことが好ましい。ここで、所定時間Ｄ３とは、受信側端末である端末２００のユーザにとって違和感のない最長の時間に相当する。なお、現在時刻Ｔが時刻Ｔ１＋Ｄ２＋Ｄ３以降であるか否かの場合分けはなくてもよく、その場合、時刻Ｔ１＋Ｄ２以降に入力されたコンテンツは常に即時に再生されてもよい。
【００４９】
なお、上記の所定時間Ｄ１と同様に、所定時間Ｄ２は通話相手に応じて変化させてもよく、電話番号、音声通話においてネットワークからもたらされる情報、端末２００やサーバ３００よりもたらされる情報より、端末１００と端末２００との物理的な距離が離れているかを判断して変化させてもよい。また、所定時間Ｄ３の値はコンテンツの種類に応じて変えてもよい、例えば再生タイミングが少しでもずれると違和感を生じる効果音では短めにし、再生タイミングが多少ずれても違和感を生じないＢＧＭでは長めに設定（所定時間Ｄ３による制御を行わないことを含む）してもよい。
【００５０】
また、再生タイミングの調整は通信相手の端末や、サーバで行われてもよい。具体的には、再生指定時刻Ｔ１が入力される代わりに、通信相手の端末や、サーバが再生時刻情報として、再生指定時刻Ｔ１＋所定時間Ｄ２に調整した調整済み再生時刻Ｔ１’、端末１００に送信しても良い。
【００５１】
さらに、指示信号生成部１０４が生成する指示信号に、再生時刻情報を付与しなくてもよい。例えば、再生時刻情報を生成するタイミングでの音声通話の情報を付与してもよい。当該音声通話の情報としては、例えば、符号化系列Ｂ１（またはその一部）でもよく、通話音声Ｖ１を符号化したビットストリームでもよい。この場合、再生時刻情報抽出部１０９は、受信した音声通話の符号化系列Ｂ２や出力される通話音声Ｖ２を保持しておき、指示信号に付与されている音声通話の情報に対応する音声が音声通話部１０１から出力されるタイミング（または、それに準ずるタイミング）を再生時刻とみなしてもよい。この場合には、データ通信部１０２は時刻管理部１０３を含まなくてもよい。また、付与される音声通話の情報は上記の例に限定されず、音声通話の音声が出力されるタイミング（または、それに準ずるタイミング）を同定できる情報であればよい。
【００５２】
図６は、本実施形態の端末１００と端末２００との機能を備えた端末４００の機能ブロックを示す図である。図６に示される通り、この端末４００は、音声通話部１０１ｂとデータ通信部１０２ｂとを備える。データ通信部１０２ｂは、時刻管理部１０３と、指示信号生成部１０４と、再生時刻情報付与部１０５と、データ送信部１０６と、データ受信部１０７と、再生データ生成部１０８と、再生時刻情報抽出部１０９と、データ再生部１１０とを備えている。音声通話部１０１ｂは、音声通話部１０１および音声通話部１０１ａの両機能を有している。また、データ通信部１０２ｂは、データ送信用のデータ通信部１０２と、データ受信用のデータ通信部１０２ａとの両方の機能を有している。
【００５３】
ここで、図４を参照して、端末１００のハードウェア構成について説明する。図４は、端末１００のハードウェア構成図である。図４に示されるように、端末１００は、物理的には、１または複数のＣＰＵ（Central  Processing  unit）２１、主記憶装置であるＲＡＭ（Random  Access  Memory）２２およびＲＯＭ（Read  Only  Memory)２３、データ送受信デバイスである通信モジュール２６、半導体メモリなどの補助記憶装置２７、操作盤（操作ボタンを含む）やタッチパネルなどのユーザの入力を受け付ける入力装置２８、ディスプレイなどの出力装置２９、などのハードウェアを備えるコンピュータとして構成することができる。図２における端末１００の各機能は、たとえば、ＣＰＵ２１、ＲＡＭ２２などのハードウェア上に１または複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ２１の制御のもとで通信モジュール２６、入力装置２８、出力装置２９を動作させるとともに、ＲＡＭ２２および補助記憶装置２７におけるデータの読み出しおよび書き込みを行うことで実現することができる。なお、端末２００についても、端末１００と同様のハードウェア構成とすることができる。
【００５４】
次に、図５を参照して、本実施形態の端末１００および端末２００によって実行される通話方法について説明する。図５は、端末１００ならびに端末２００において実行される処理の一例を示すフローチャートである。このフローチャートの処理は、端末１００を利用するユーザ１（図１）と、端末２００を利用するユーザ２との通話時に実行される。
【００５５】
図５に示す例では、端末１００が音声通話の発呼側端末であり、端末２００が音声通話の着呼側端末である。また、端末１００から外部音を再生するための指示信号が端末２００に送信され、端末２００で指示信号に対応するコンテンツが再生される。言うまでもなく、本実施形態の端末１００および端末２００はこの組み合わせに限定されるものではなく、端末２００が音声通話の発呼側端末であり、端末１００が音声通話の着呼側端末であってもよい。また、端末２００から外部音を再生するための指示信号が端末１００に送信され、端末１００で指示信号に対応するコンテンツが再生されてもよい。
【００５６】
図５に示す例では、端末１００においてＳ１０１〜Ｓ１０８の処理フローが、端末２００においてＳ２０１〜Ｓ２１１の処理フローが実行される。
【００５７】
まずは、端末１００において音声通話部１０１が、端末２００に対して音声通話の発呼を行う（ステップＳ１０１）、そして端末２００では、音声通話部１０１ａにより着呼が行われる（ステップＳ２０１）。
【００５８】
次に、ユーザ２の操作によって端末２００の音声通話部１０１ａが音声通話の着呼に応答する（ステップＳ２０２）。そして音声通話が開始される（ステップＳ２０３）。
【００５９】
さらに、端末１００において音声通話部１０１は、ユーザ２が音声通話の着呼に応答したことを検出し（ステップＳ１０２）、音声通話が開始される（ステップＳ１０３）。
【００６０】
端末１００において、時刻管理部１０３は、ユーザ２が音声通話の着呼に応答したことを検出したタイミングを基準時刻に設定する（ステップＳ１０４）。具体的には端末１００の時刻管理部１０３において、時刻Ｔが０に設定される。なお、ステップＳ１０３とステップＳ１０４の順番は逆でもよい。
【００６１】
このとき、端末２００の時刻管理部１０３ａは、音声通話の着呼に応答した時点から所定時間Ｄ１だけ待機（ステップＳ２０４）したタイミングを基準時刻に設定する（Ｓ２０５）。具体的には端末２００の時刻管理部１０３ａにおいて、現在時刻Ｔが０に設定される。なお、音声通話の着呼に応答した時点から所定時間Ｄ１だけ待機せずに基準時刻を設定してもよく、この場合には端末１００からの送信データＣ２に含まれる再生指定時刻Ｔ１をＴ１＋Ｄ１として以降の処理を行えばよい。なお、ステップＳ２０３の順番は、ステップＳ２０４の後でもよいし、ステップＳ２０５の後でもよい。
【００６２】
続いて、ユーザ１の操作によって、端末１００にデータ送信指示Ｃ１が入力される（ステップＳ１０５）。端末１００は、データ送信指示Ｃ１が入力された再生指定時刻Ｔ１を時刻管理部１０３から取得して、データ送信指示Ｃ１に対応するコンテンツを再生するための指示信号に付与して送信データＣ２を生成し、端末２００に送信する（ステップＳ１０６）。
【００６３】
なお、ステップＳ１０６のタイミングで、データ送信指示Ｃ１に対応するコンテンツを端末１００で再生してもよい。これにより、ユーザ１はデータ送信指示Ｃ１に対応するコンテンツを自分で聞くことができる。
【００６４】
端末２００において、データ受信部１０７は、端末１００から送信された送信データＣ２を受信する（ステップＳ２０６）。そして、端末２００において再生時刻情報抽出部１０９は、送信データに含まれる再生指定時刻Ｔ１を抽出し、端末２００の時刻管理部１０３ａから得られる現在時刻Ｔと、再生指定時刻Ｔ１に所定時間Ｄ２を加えた再生時刻Ｔ１＋Ｄ２とを比較する（ステップＳ２０７）。
【００６５】
端末２００の時刻管理部１０３ａが管理する現在時刻Ｔが再生時刻Ｔ１＋Ｄ２よりも前の場合（ステップＳ２０７：Ｙ）、端末２００のデータ再生部１１０は再生時刻Ｔ１＋Ｄ２まで待機し（ステップＳ２０８）、送信データＣ２に含まれる指示信号に対応するコンテンツを再生する（ステップＳ２０９）。
【００６６】
端末２００の現在時刻Ｔが再生時刻Ｔ１＋Ｄ２以降の場合（ステップＳ２０７：Ｎ）、端末２００は、現在時刻Ｔと、再生指定時刻Ｔ１に所定時間Ｄ２＋Ｄ３を加えた調整時刻Ｔ１＋Ｄ２＋Ｄ３とを比較する（ステップＳ２１０）。
【００６７】
端末２００の時刻管理部１０３ａが管理する現在時刻Ｔが時刻Ｔ１＋Ｄ２＋Ｄ３よりも前の場合（ステップＳ２１０：Ｙ）、端末２００のデータ再生部１１０は送信データＣ２に含まれる指示信号に対応するコンテンツを再生する（ステップＳ２０９）。
【００６８】
端末２００の現在時刻Ｔが時刻Ｔ１＋Ｄ２＋Ｄ３以降の場合（ステップＳ２１０：Ｎ）、端末２００のデータ受信部１０７はエラー通知を端末１００に送信する（ステップＳ２１１）。このとき、端末２００で再生中のコンテンツがある場合、端末１００のコンテンツ再生状態と同期をとるために、コンテンツの再生を停止してもよい。
【００６９】
端末１００は、送信データＣ２の送信後、端末２００からエラー通知を受信した場合（ステップＳ１０７：Ｙ）、エラーをユーザ１に通知し（Ｓ１０８）、ステップＳ１０５が行われる前の状態に戻る。このとき、端末１００で再生中のコンテンツがある場合、端末２００のコンテンツ再生状態と同期をとるために、コンテンツの再生を停止してもよい。
【００７０】
端末１００は送信データＣ２の送信後、端末２００からエラー通知を受信しない場合（ステップＳ１０７：Ｎ）、ステップＳ１０５が行われる前の状態に戻る。
【００７１】
なお、端末２００でステップＳ２１０の判定を行わない場合には、ステップＳ２１０、Ｓ２１１、Ｓ１０７、Ｓ１０８の処理は不要である。端末２００の現在時刻Ｔが時刻Ｔ１＋Ｄ２以降の場合（ステップＳ２０７：Ｎ）はコンテンツを再生する（ステップＳ２０９）。
【００７２】
図４のフローにおいて、端末２００が音声通話の発呼側端末であり、端末１００が音声通話の着呼側端末である場合には、ステップＳ１０１〜Ｓ１０４とステップＳ２０１〜Ｓ２０５の位置が入れ替わる形で動作する。また、端末２００から外部音を再生するための指示信号が端末１００に送信される場合には、ステップＳ１０５〜Ｓ１０８とステップＳ２０６〜Ｓ２１１の位置が入れ替わる形で動作する。
【００７３】
このようにして図４のフローチャートの処理が繰り返し実行されることによって、ユーザ１とユーザ２との通話が進められる。
【００７４】
次に、端末１００の作用効果について、図７〜図８を用いて説明する。端末１００では、音声通話部１０１が音声通話の発呼（ステップＳ３０１）と音声通話応答の検出（ステップＳ３０２）とに従って音声通話を開始する。一方、端末２００では、音声通話部１０１ａが音声通話の着呼（ステップＳ３０１）とその応答（ステップＳ３０２）とに従って音声を通話する。
【００７５】
そして、端末１００の時刻管理部１０３が、基準時刻の設定（ステップＳ３０３）を行い、端末２００の時刻管理部１０３ａが、所定時間Ｄ１待機して基準時刻の設定（ステップＳ３０４）を行う。このように、音声通話の開始など、通話回線が接続された時刻を基準時刻として現在時刻を取得することで、送信側・受信側の両端末において通話が開始された時点に現在時刻を合わせることができ、簡単に送信側端末である端末１００と共通する基準時刻を設定することができる。
【００７６】
そして、端末１００と端末２００とはそれぞれ音声通話部１０１、１０１ａを用いて音声通話を行なう（Ｓ３０５）。その後、端末１００の指示信号生成部１０４がデータ送信指示の入力（ステップＳ１０５）を受け、指示信号を生成し、再生時刻情報付与部１０５が再生指定時刻Ｔ１を指示信号を含んだデータに付与して、データ送信部１０６が、時刻Ｔ１が付与された指示信号のデータの送信（ステップＳ３０６）を行う。
【００７７】
一方、端末２００では、データ受信部１０７が、再生指定時刻Ｔ１が付与された指示信号のデータの受信（Ｓ３０６）を行い、再生データ生成部１０８で生成されたデータを、時刻管理部１０３から取得された現在時刻Ｔおよび所定時間Ｄ１、Ｄ２と、再生時刻情報抽出部１０９で抽出された再生指定時刻Ｔ１とに基づいて調整された再生タイミングで再生（Ｓ３０７）する。
【００７８】
図７の例においては、外部音の指示信号は、時刻Ｔ１＋Ｄ２より前に端末２００において受信されたため、データ再生部１１０は時刻Ｔ１＋Ｄ２まで外部音の再生を行なう。このように、音声通話の遅延を示す所定時間Ｄ２を考慮したタイミングで再生処理を行うことができ、送信側のユーザが意図したタイミングに基づいた再生処理を可能にする。
【００７９】
以下の状況にある場合、特に再生タイミングを合わせる必要性が顕著となる。例えば、通話しているときに（１）「正解っ！」と送り、直ちに効果音で「ピンポーン♪」と送る場合や（２）音声で「なんでやねん！」と送り、直ちに効果音で「バシッ（パンチの音）♪」を送る場合、（３）音声で「お誕生日おめでとう！」と送り、直ちに「パチパチパチ（拍手の音）♪」と送る場合などである。
【００８０】
このような場合、音声と外部音（ここでは効果音）とのいずれもが、送信側のユーザで意図したタイミングで再生されないと、変な間ができてしまったりして、演出効果が損なわれる、という問題が生ずる。本実施形態の通信システムにおいては、そのような変な間がでることなく効果的な演出を実現することができる。
【００８１】
また、図８の例おいては、外部音の指示信号は、時刻Ｔ１＋Ｄ２を経過後、時刻Ｔ１＋Ｄ２＋Ｄ３より前に端末２００において受信されたことを示す（Ｓ３０６ａ）。この場合においては、データ再生部１１０は、外部音を即時に再生する。
【００８２】
一方、図９の例おいては、外部音の指示信号は、時刻Ｔ１＋Ｄ２を経過後、さらに時刻Ｔ１＋Ｄ２＋Ｄ３を経過した後に端末２００において受信されたことを示す（Ｓ３０６ｂ，Ｓ３０６ｂ）。この場合においては、端末２００は、エラー通知を端末１００に対して行なう（Ｓ３０８）。端末１００は、端末２００からエラー通知を受けた場合、表示部（図示せず）にエラーを画面に表示する。
【００８３】
これにより、本実施形態の通信装置である端末１００は、音声通話の遅延のばらつきの影響を受けずに、送信側ユーザが意図したタイミングに基づいて、受信側端末である端末２００がデータを再生することができる。また、音声通話の遅延が想定より送ら蛇場合においてはエラー通知を行うことで、ずれた状態での外部音の再生を行わないようにする。
【００８４】
また、本実施形態の端末１００および端末２００は、上述した実施形態に限定されるものではない。実施形態に含まれる各手段や処理ステップの特徴部分を適宜組み合わせた構成についても、本発明の実施形態とすることができる。
【００８５】
また、本実施形態の端末１００および端末２００は、音声通話や電話端末への適用に限定されるものではなく、二つの異なる回線を利用して第１のデータ通信と第２のデータ通信を行うシステムにおいて、受信したデータの再生タイミング調整に利用することができる。
【符号の説明】
【００８６】
１００…端末、１０１、１０１ａ…音声通話部、１０２、１０２ａ…データ通信部、１０３、１０３ａ…時刻管理部、１０４…指示信号生成部、１０５…再生時刻情報付与部、１０６…データ送信部、１０７…データ受信部、１０８…再生データ生成部、１０９…再生時刻情報抽出部、１１０…データ再生部、２００…端末、３００…サーバ。
【図１】
2017188776.tif 000003
【図２】
2017188776.tif 000004
【図３】
2017188776.tif 000005
【図４】
2017188776.tif 000006
【図５】
2017188776.tif 000007
【図６】
2017188776.tif 000008
【図７】
2017188776.tif 000009
【図８】
2017188776.tif 000010
【図９】
2017188776.tif 000011