(57)【要約】【課題】ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるとともに、他の利用者とコミュニケーションをとることも可能にし、楽曲の流れにあわせたデータの再生時においても、違和感の少ないコミュニケーションを行うこともできる通信装置、通信方法およびプログラムを提供すること。【解決手段】本発明の通信装置は、期間情報が示す同期期間以外の期間においては、リアルタイムに会話映像、会話音声に係るデータの通信を行ってコミュニケーションをとることができる一方、同期期間においては、ライブ映像、ライブ演奏の進行に合わせた歌詞映像を表示することができる。さらに、同期期間においては、送信するデータに所定の遅延処理を行うことにより、違和感の少ないコミュニケーションをとることができる。【選択図】図３
2008244889.tif 000002
【特許請求の範囲】
【請求項１】
データ各部についての時刻を規定する時刻情報を有した第１のデータを記憶する記憶手段と、
外部機器からの通信によって第２のデータを受信する受信手段と、
所定の期間を示す期間情報を取得する期間情報取得手段と、
データの読み出す時刻を示す同期情報を取得する同期情報取得手段と、
前記期間情報が示す期間において、前記同期情報と前記時刻情報との対応関係に基づいて、前記記憶手段から第１のデータを読み出す読出手段と、
前記期間情報が示す期間に基づき、前記受信手段が受信した第２のデータに対して予め設定された遅延時間の遅延処理を行って出力する受信遅延手段と、
第３のデータを生成する生成手段と、
所定の時間を示す拍情報を取得する拍情報取得手段と、
前記期間情報が示す期間に基づき、前記第３のデータに対して、前記拍情報に基づいて設定された遅延時間の遅延処理を行って出力する送信遅延手段と、
前記外部機器への通信によって、前記期間情報に基づいた期間においては、前記送信遅延手段によって出力された第３のデータを送信し、当該期間以外においては、前記生成手段によって生成された第３のデータを送信する送信手段と
を具備することを特徴とする通信装置。
【請求項２】
前記同期情報に基づいて拍情報を生成する拍情報生成手段をさらに具備し、
前記拍情報取得手段は、前記拍情報生成手段によって生成された拍情報を取得する
ことを特徴とする請求項１に記載の通信装置。
【請求項３】
予め設定された時間を示す基準情報を取得する基準情報取得手段をさらに具備し、
前記拍情報生成手段は、前記同期情報と前記基準情報とに基づいて拍情報を生成する
ことを特徴とする請求項２に記載の通信装置。
【請求項４】
前記受信手段によって受信された第２のデータまたは前記生成手段によって生成された第３のデータは、音声を示すデータであって、
当該音声に基づいて拍情報を生成する拍情報生成手段をさらに具備し、
前記拍情報取得手段は、前記拍情報生成手段によって生成された拍情報を取得する
ことを特徴とする請求項１に記載の通信装置。
【請求項５】
前記送信遅延手段に設定される遅延時間は、当該遅延時間と前記受信遅延手段に設定された遅延時間とを加えた時間が、前記拍情報が示す時間の整数倍になるように設定される
ことを特徴とする請求項３または請求項４に記載の通信装置。
【請求項６】
前記外部機器との通信に必要な通信時間を測定する通信時間測定手段をさらに具備し、
前記送信遅延手段に設定される遅延時間は、当該遅延時間と前記受信遅延手段に設定された遅延時間と前記通信時間とを加えた時間が、前記拍情報が示す時間の整数倍になるように設定される
ことを特徴とする請求項３または請求項４に記載の通信装置。
【請求項７】
前記送信遅延手段は、
前記生成手段が生成した第３のデータをバッファするバッファ手段と、
前記バッファ手段にバッファされた第３のデータを所定の速さで読み出すバッファ読出手段と
を具備し、
前記期間情報が示す期間において、
前記バッファ読出手段は、前記バッファ手段が前記送信遅延手段に設定された遅延時間に対応するデータ量の前記第３のデータをバッファした後に、前記バッファ手段にバッファされた第３のデータを前記所定の速さで読み出す
ことを特徴とする請求項１乃至請求項６のいずれかに記載の通信装置。
【請求項８】
前記期間情報に基づいた期間の終了直後の期間において、
前記バッファ読出手段は、前記バッファ手段にバッファされた第３のデータを前記所定の速度より速い速度で読み出す
ことを特徴とする請求項７に記載の通信装置。
【請求項９】
前記期間情報に基づいた期間の開始直前の期間において、
前記バッファ読出手段は、前記バッファ手段にバッファされた第３のデータを前記所定の速度より遅い速度で読み出す
ことを特徴とする請求項７または請求項８に記載の通信装置。
【請求項１０】
前記期間情報に基づいた期間の開始直前の期間において、
前記バッファ読出手段は、前記バッファ手段にバッファされた第３のデータの読み出しを停止する
ことを特徴とする請求項７または請求項８に記載の通信装置。
【請求項１１】
リファレンスデータを記憶するリファレンスデータ記憶手段と、
前記受信手段が受信した第２のデータと前記リファレンスデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す同期情報を生成するタイムアライメント手段とをさらに具備し、
前記同期情報取得手段は、前記タイムアライメント手段によって生成された同期情報を取得する
ことを特徴とする請求項１乃至請求項１０のいずれかに記載の通信装置。
【請求項１２】
データ各部についての時刻を規定する時刻情報を有した第１のデータを記憶する記憶過程と、
外部機器からの通信によって第２のデータを受信する受信過程と、
所定の期間を示す期間情報を取得する期間情報取得過程と、
データの読み出す時刻を示す同期情報を取得する同期情報取得過程と、
前記期間情報が示す期間において、前記同期情報と前記時刻情報との対応関係に基づいて、前記記憶過程において記憶した第１のデータを読み出す読出過程と、
前記期間情報が示す期間に基づき、前記受信過程において受信した第２のデータに対して予め設定された遅延時間の遅延処理を行って出力する受信遅延過程と、
第３のデータを生成する生成過程と、
所定の時間を示す拍情報を取得する拍情報取得過程と、
前記期間情報が示す期間に基づき、前記第３のデータに対して、前記拍情報に基づいて設定された遅延時間の遅延処理を行って出力する送信遅延過程と、
前記外部機器への通信によって、前記期間情報に基づいた期間においては、前記送信遅延過程によって出力された第３のデータを送信し、当該期間以外においては、前記生成過程によって生成された第３のデータを送信する送信過程と
を備えることを特徴とする通信方法。
【請求項１３】
コンピュータに、
データ各部についての時刻を規定する時刻情報を有した第１のデータを記憶する記憶機能と、
外部機器からの通信によって第２のデータを受信する受信機能と、
所定の期間を示す期間情報を取得する期間情報取得機能と、
データの読み出す時刻を示す同期情報を取得する同期情報取得機能と、
前記期間情報が示す期間において、前記同期情報と前記時刻情報との対応関係に基づいて、前記記憶機能によって記憶した第１のデータを読み出す読出機能と、
前記期間情報が示す期間に基づき、前記受信機能によって受信した第２のデータに対して予め設定された遅延時間の遅延処理を行って出力する受信遅延機能と、
第３のデータを生成する生成機能と、
所定の時間を示す拍情報を取得する拍情報取得機能と、
前記期間情報が示す期間に基づき、前記第３のデータに対して、前記拍情報に基づいて設定された遅延時間の遅延処理を行って出力する送信遅延機能と、
前記外部機器への通信によって、前記期間情報に基づいた期間においては、前記送信遅延機能によって出力された第３のデータを送信し、当該期間以外においては、前記生成機能によって生成された第３のデータを送信する送信機能と
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め記憶したデータを同期再生するとともに、受信したデータに対する遅延を制御する技術に関する。
【背景技術】
【０００２】
一般的なカラオケ装置においては、例えば、ＭＩＤＩ（Ｍｕｓｉｃａｌ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）形式の伴奏用データ、楽曲の歌詞テロップを表示するシーケンスデータである歌詞データおよび映像データなどから構成された楽曲データをそれぞれ同期させて再生することにより、利用者はその楽曲のカラオケを楽しむことができる。特許文献１には、伴奏データと映像データを別個にサーバから受信してそれらを同期させて再生させる技術が開示されている。また、特許文献２においては、ライブ演奏のような臨場感のあるカラオケ演奏を提供する技術が開示されている。
【特許文献１】特開２００３−１５６７５号公報
【特許文献２】特開２０００−３４７６７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
カラオケの映像データに対して歌詞データを同期して再生するなど、異なる２つのデータを同期して再生することがしばしば要求される。このとき、映像データに遅延を施すと好都合な場合がある。例えば、映像データがライブ演奏を撮影することによって生成されたデータである場合には、楽曲の進行におけるテンポ変動にあわせて歌詞データを再生するための同期処理を行う必要があるため、映像データに対して同期処理に必要な時間の遅延を施すことが好都合となる。
【０００４】
ここで、カラオケの映像データや伴奏データを外部機器との通信によって受信する場合には、当該外部機器との通信によりテレビ電話のようなリアルタイムに通信を行いたいという要求もある。この場合、上述したような遅延を施すことは、リアルタイムに通信を行う場合の妨げとなってしまうため、別回線を設けてテレビ電話を設置しなくてはならなかった。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるとともに、他の利用者とコミュニケーションをとることも可能にし、楽曲の流れにあわせたデータの再生時においても、違和感の少ないコミュニケーションを行うこともできる通信装置、通信方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題を解決するため、本発明は、データ各部についての時刻を規定する時刻情報を有した第１のデータを記憶する記憶手段と、外部機器からの通信によって第２のデータを受信する受信手段と、所定の期間を示す期間情報を取得する期間情報取得手段と、データの読み出す時刻を示す同期情報を取得する同期情報取得手段と、前記期間情報が示す期間において、前記同期情報と前記時刻情報との対応関係に基づいて、前記記憶手段から第１のデータを読み出す読出手段と、前記期間情報が示す期間に基づき、前記受信手段が受信した第２のデータに対して予め設定された遅延時間の遅延処理を行って出力する受信遅延手段と、第３のデータを生成する生成手段と、所定の時間を示す拍情報を取得する拍情報取得手段と、前記期間情報が示す期間に基づき、前記第３のデータに対して、前記拍情報に基づいて設定された遅延時間の遅延処理を行って出力する送信遅延手段と、前記外部機器への通信によって、前記期間情報に基づいた期間においては、前記送信遅延手段によって出力された第３のデータを送信し、当該期間以外においては、前記生成手段によって生成された第３のデータを送信する送信手段とを具備することを特徴とする通信装置を提供する。
【０００７】
また、別の好ましい態様において、前記同期情報に基づいて拍情報を生成する拍情報生成手段をさらに具備し、前記拍情報取得手段は、前記拍情報生成手段によって生成された拍情報を取得してもよい。
【０００８】
また、別の好ましい態様において、予め設定された時間を示す基準情報を取得する基準情報取得手段をさらに具備し、前記拍情報生成手段は、前記同期情報と前記基準情報とに基づいて拍情報を生成してもよい。
【０００９】
また、別の好ましい態様において、前記受信手段によって受信された第２のデータまたは前記生成手段によって生成された第３のデータは、音声を示すデータであって、当該音声に基づいて拍情報を生成する拍情報生成手段をさらに具備し、前記拍情報取得手段は、前記拍情報生成手段によって生成された拍情報を取得してもよい。
【００１０】
また、別の好ましい態様において、前記送信遅延手段に設定される遅延時間は、当該遅延時間と前記受信遅延手段に設定された遅延時間とを加えた時間が、前記拍情報が示す時間の整数倍になるように設定されてもよい。
【００１１】
また、別の好ましい態様において、前記外部機器との通信に必要な通信時間を測定する通信時間測定手段をさらに具備し、前記送信遅延手段に設定される遅延時間は、当該遅延時間と前記受信遅延手段に設定された遅延時間と前記通信時間とを加えた時間が、前記拍情報が示す時間の整数倍になるように設定されてもよい。
【００１２】
また、別の好ましい態様において、前記送信遅延手段は、前記生成手段が生成した第３のデータをバッファするバッファ手段と、前記バッファ手段にバッファされた第３のデータを所定の速さで読み出すバッファ読出手段とを具備し、前記期間情報が示す期間において、前記バッファ読出手段は、前記バッファ手段が前記送信遅延手段に設定された遅延時間に対応するデータ量の前記第３のデータをバッファした後に、前記バッファ手段にバッファされた第３のデータを前記所定の速さで読み出してもよい。
【００１３】
また、別の好ましい態様において、前記期間情報に基づいた期間の終了直後の期間において、前記バッファ読出手段は、前記バッファ手段にバッファされた第３のデータを前記所定の速度より速い速度で読み出してもよい。
【００１４】
また、別の好ましい態様において、前記期間情報に基づいた期間の開始直前の期間において、前記バッファ読出手段は、前記バッファ手段にバッファされた第３のデータを前記所定の速度より遅い速度で読み出してもよい。
【００１５】
また、別の好ましい態様において、前記期間情報に基づいた期間の開始直前の期間において、前記バッファ読出手段は、前記バッファ手段にバッファされた第３のデータの読み出しを停止してもよい。
【００１６】
また、別の好ましい態様において、リファレンスデータを記憶するリファレンスデータ記憶手段と、前記受信手段が受信した第２のデータと前記リファレンスデータとを所定時間長のフレーム単位で対応付けて、対応する部分についての時刻を示す同期情報を生成するタイムアライメント手段とをさらに具備し、前記同期情報取得手段は、前記タイムアライメント手段によって生成された同期情報を取得してもよい。
【００１７】
また、本発明は、データ各部についての時刻を規定する時刻情報を有した第１のデータを記憶する記憶過程と、外部機器からの通信によって第２のデータを受信する受信過程と、所定の期間を示す期間情報を取得する期間情報取得過程と、データの読み出す時刻を示す同期情報を取得する同期情報取得過程と、前記期間情報が示す期間において、前記同期情報と前記時刻情報との対応関係に基づいて、前記記憶過程において記憶した第１のデータを読み出す読出過程と、前記期間情報が示す期間に基づき、前記受信過程において受信した第２のデータに対して予め設定された遅延時間の遅延処理を行って出力する受信遅延過程と、第３のデータを生成する生成過程と、所定の時間を示す拍情報を取得する拍情報取得過程と、前記期間情報が示す期間に基づき、前記第３のデータに対して、前記拍情報に基づいて設定された遅延時間の遅延処理を行って出力する送信遅延過程と、前記外部機器への通信によって、前記期間情報に基づいた期間においては、前記送信遅延過程によって出力された第３のデータを送信し、当該期間以外においては、前記生成過程によって生成された第３のデータを送信する送信過程とを備えることを特徴とする通信方法を提供する。
【００１８】
また、本発明は、コンピュータに、データ各部についての時刻を規定する時刻情報を有した第１のデータを記憶する記憶機能と、外部機器からの通信によって第２のデータを受信する受信機能と、所定の期間を示す期間情報を取得する期間情報取得機能と、データの読み出す時刻を示す同期情報を取得する同期情報取得機能と、前記期間情報が示す期間において、前記同期情報と前記時刻情報との対応関係に基づいて、前記記憶機能によって記憶した第１のデータを読み出す読出機能と、前記期間情報が示す期間に基づき、前記受信機能によって受信した第２のデータに対して予め設定された遅延時間の遅延処理を行って出力する受信遅延機能と、第３のデータを生成する生成機能と、所定の時間を示す拍情報を取得する拍情報取得機能と、前記期間情報が示す期間に基づき、前記第３のデータに対して、前記拍情報に基づいて設定された遅延時間の遅延処理を行って出力する送信遅延機能と、前記外部機器への通信によって、前記期間情報に基づいた期間においては、前記送信遅延機能によって出力された第３のデータを送信し、当該期間以外においては、前記生成機能によって生成された第３のデータを送信する送信機能とを実現させるためのプログラムを提供する。
【発明の効果】
【００１９】
本発明によれば、ライブ演奏のように楽曲のテンポの変動があっても、楽曲の流れにあわせたデータの再生を簡単に行うことができるとともに、他の利用者とコミュニケーションをとることも可能にし、楽曲の流れにあわせたデータの再生時においても、違和感の少ないコミュニケーションを行うこともできる通信装置、通信方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態について説明する。
【００２１】
＜実施形態＞
本発明の実施形態に係る通信装置１は、図１に示すように、通信網１００を介して他の通信装置１とデータの送受信を行う。本実施形態においては、通信装置１−Ａ、通信装置１−Ｂがデータの送受信を行っているものとする。図２は、本発明の本実施形態に係る通信装置１のハードウエアの構成を示すブロック図である。
【００２２】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２に記憶されているプログラムを読み出して、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３にロードして実行することにより、通信装置１の各部について、バス１０を介して制御する。また、ＲＡＭ１３は、ＣＰＵ１１が各データの加工などを行う際のワークエリアとして機能する。
【００２３】
記憶部１４は、例えば、ハードディスクなどの大容量記憶手段であって、楽曲データ記憶領域１４ａに、楽曲のリファレンスデータとなるリファレンス楽曲データを記憶する。リファレンス楽曲データは、リファレンス楽音データと歌詞データ（第１のデータ）を有している。リファレンス楽音データは、楽曲の見本となる歌声や伴奏を含む演奏（以下、リファレンス演奏という）を録音したオーディオデータであって、その再生時刻を示すタイムコードが付されている。また、本実施形態においては、リファレンス楽音データは、楽曲の１拍の時間を示す基準情報を有している。歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであって、シーケンスデータの読み出し時刻を示すタイムコード（時刻情報）が付されている。そして、リファレンス楽音データと歌詞データは、同じ時刻を示すタイムコードによって読み出すことにより時間同期して再生することができ、楽曲の見本となる歌声にあった歌詞が表示されるようになっている。
【００２４】
操作部１５は、例えばキーボードやマウスなどであり、通信装置１の利用者が操作部１５を操作すると、その操作内容を表すデータがＣＰＵ１１へ出力される。また、利用者による操作部１５の操作に基づいて、ＣＰＵ１１よって楽曲情報、期間情報が生成される。楽曲情報、同期制御情報については別途説明する。
【００２５】
表示部１６は、映像を画面に表示する液晶ディスプレイなどの表示デバイスであって、入力された映像データに基づいて表示を行う。また、通信装置１を操作するためのメニュー画面などの各種画面を表示する。音声出力部１７は、スピーカなどの放音手段を有し、入力された音声データに基づいて放音する。
【００２６】
映像入力部１８は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）などのイメージセンサを有し、イメージセンサの撮影に基づいた映像データを生成する。音声入力部１９は、収音を行うマイクロフォンを有し、マイクロフォンの収音に基づいたオーディオデータである音声データを生成する。
【００２７】
通信部２０は、有線、無線などによって、通信網１００を介して他の通信装置とデータの送受信を行う通信手段である。本実施形態においては、通信部２０は、映像データ、音声データを送受信するとともに、後述する楽曲情報、期間情報についても送受信する。
【００２８】
次に、通信装置１−ＢのＣＰＵ１１が、ＲＯＭ１２に記憶されたプログラムを実行することによって実現する機能について説明する。図３は、ＣＰＵ１１が実現する機能を示したソフトウエアの構成を示すブロック図である。
【００２９】
ここで、通信装置１−Ａから送信される映像データ（第２のデータ）は、楽曲の生演奏を映像入力部１８において撮影した映像（以下、ライブ映像という）、および楽曲の生演奏の合間などに交わされる会話などのコミュニケーションの状況を撮影した映像（以下、会話映像Ａという）のデータである。また、通信装置１−Ａから送信される音声データ（第２のデータ）は、上述した映像データに対応する音のデータであって、楽曲の生演奏を音声入力部１９において収音した音（以下、ライブ演奏という）、および楽曲の生演奏の合間などに交わされる会話などのコミュニケーションの状況を収音した音（以下、会話音声Ａという）のデータである。なお、ライブ演奏には、歌手の歌声（以下、ライブボーカルという）や楽曲の伴奏などが含まれている。
【００３０】
一方、通信装置１−Ｂから送信される映像データ（第３のデータ）は、後述するように、表示部１６に表示されたライブ映像、音声出力部１７から放音されたライブ演奏にあわせて、利用者が手拍子をしている状況を映像入力部１８において撮影した映像（以下、手拍子映像という）、および表示部１６に表示された会話映像Ａ、音声出力部１７から放音された会話音声Ａに対応したコミュニケーションの状況を撮影した映像（以下、会話映像Ｂという）のデータである。また、通信装置１−Ｂから送信される音声データ（第３のデータ）は、上述した映像データに対応する音のデータであって、利用者が手拍子している状況を音声入力部１９において収音した音（以下、手拍子音声という）、およびコミュニケーションの状況を収音した音（以下、会話音声Ｂという）のデータである。
【００３１】
楽曲データ選択部１０１は、通信部２０が受信した楽曲情報を取得する。ここで、楽曲情報は、上述した生演奏を行っている楽曲を特定する情報であって、利用者が操作部１５を操作して楽曲を特定することにより生成される。本実施形態においては、通信部２０が受信した楽曲情報を楽曲データ選択部１０１が取得している。なお、楽曲データ選択部１０１は、受信側の通信装置１において生成された楽曲情報を取得してもよく、どちらを取得するかは、利用者が操作部１５を操作することにより選択すればよい。また、楽曲情報は、楽曲名や認識番号など、当該楽曲を特定できる情報であれば何でもよい。
【００３２】
そして、楽曲データ選択部１０１は、取得した楽曲情報に基づいて楽曲を特定し、楽曲データ記憶領域１４ａに記憶されているリファレンス楽曲データの中から、特定した楽曲に対応するリファレンス楽曲データを選択し、そのリファレンス楽曲データのリファレンス楽音データおよび歌詞データを読み出す。そして、読み出したリファレンス楽音データをタイムアライメント部１０２へ出力するとともに、読み出した歌詞データについては、後述するデータ読出部１０３に読み出されるまでＲＡＭ１３にバッファ（一時記憶）しておく。
【００３３】
タイムアライメント部１０２は、通信部２０が受信した期間情報および音声データを取得する。ここで、期間情報は、以下に示すタイムアライメント部１０２における処理（以下、同期処理という）を行うかどうかを示す情報であって、処理を開始するタイミング、処理を終了するタイミングによって処理を行う期間（以下、同期期間という）を示している情報である。この期間情報についても、上述のように、利用者が操作部１５を操作することにより、同期処理の開始、終了タイミングを指定することにより生成され、通常、同期期間は音声データに係る音声が、ライブ演奏である期間として指定される。本実施形態においては、通信部２０が受信した期間情報を取得しているが、受信側の通信装置１において生成された期間情報を取得してもよく、どちらを取得するかは、利用者が操作部１５を操作することにより選択すればよい。以下の説明においては、実施態様の一例として、期間情報が示す同期期間において通信部２０が受信する音声データに係る音声は、ライブ演奏であるものとして説明する。
【００３４】
そして、タイムアライメント部１０２は、取得した期間情報が示す同期期間において、通信部２０が受信した音声データ（以下、受信音声データという）を取得し、受信音声データと、楽曲データ選択部１０１から出力されたリファレンス楽音データとを比較して、受信音声データに係る音声、すなわちライブ演奏とリファレンス演奏との楽曲の進行のずれを検出し、当該楽曲の進行のずれに基づいてタイムコードを出力する機能を有している。また、楽曲の進行のずれに基づいて、リファレンス楽音データが有する基準情報が示す１拍の時間を補正した時間である拍情報を出力する機能を有している。
【００３５】
ここで、楽曲の進行のずれは、それぞれのデータを所定時間長のフレーム単位に分離し、その各々に対してＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を施して、それぞれのデータのスペクトルを算出し、これらの各フレーム間で類似したスペクトルを対応付けることにより検出する。また、楽曲の進行のずれを検出する機能について、本実施形態ではＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ：動的計画法）マッチングを用いる。具体的には以下のような処理となる。
【００３６】
タイムアライメント部１０２は、図４に示すような座標平面（以下、ＤＰプレーンという）をＲＡＭ１３に形成する。このＤＰプレーンの縦軸は、受信音声データをそれぞれ所定時間長のフレーム単位に分離してその各々に対してＦＦＴを施して得られたスペクトルについて、各フレームのスペクトルの絶対値の対数に逆フーリエ変換をかけて得られるパラメータ（ケプストラム）をａ１、ａ２、ａ３・・・ａｎとして、時間軸に従って並べたものである。また、横軸のｂ１、ｂ２、ｂ３・・・ｂｎは、リファレンス楽音データについて、上記同様に時間軸に従って並べたものである。ここで、縦軸のａ１、ａ２、ａ３・・・ａｎの間隔と横軸のｂ１、ｂ２、ｂ３・・・ｂｎの間隔は、いずれもフレームの時間長と対応している。このＤＰプレーンにおける各格子点の各々には、ａ１、ａ２、ａ３・・・ａｎの各パラメータと、ｂ１、ｂ２、ｂ３・・・ｂｎの各パラメータのユークリッド距離を夫々示す値であるＤＰマッチングスコアが対応付けられている。例えば、ａ１とｂ１とにより位置決めされる格子点（ａ１，ｂ１）には、受信音声データの一連のフレームのうち最初のフレームから得たパラメータとリファレンス楽音データの一連のフレームのうち最初のフレームから得たパラメータのユークリッド距離を示す値が対応付けられることになる。
【００３７】
そして、タイムアライメント部１０２は、このような構造を成すＤＰプレーンを形成した後、ａ１とｂ１とにより位置決めされる始端にあたる格子点（ａ１，ｂ１）からａｎとｂｎとにより位置決めされる終端にあたる格子点（ａｎ，ｂｎ）に至る全経路を探索し、探索した経路ごとに、その始端から終端までの間に辿る各格子点のＤＰマッチングスコアを累算して累算値を求める。なお、始端と終端は各データの最初のフレームと最後のフレームということではなく、各データにおける所定のフレーム数を単位として行われ、この単位における最初のフレームから最後のフレームまで行われて、これが順次処理され各データの最後のフレームまで処理されていく。
【００３８】
そして、ＤＰマッチングスコアの累算値が最小となる経路をＤＰプレーン上から特定し、その経路上の各格子点によって、受信音声データの各フレームにリファレンス楽音データの各フレームが対応付けられる。この対応関係により楽曲の進行のずれを検出することができる。例えば、図４に示すＤＰプレーン上に記された経路においては、ａ１とｂ１により位置決めされる格子点（ａ１，ｂ１）からその右上のａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）に進んでいることが分かる。この場合、ａ２のフレームとｂ２のフレームとの時間軸上の位置は当初から同じである。一方、この経路においては、ａ２とｂ２により位置決めされる格子点（ａ２，ｂ２）からその右のａ２とｂ３により位置決めされる格子点（ａ２，ｂ３）に進んでいる。楽曲の進行のずれが無ければ格子点（ａ３，ｂ３）へ進み、ｂ３のフレームの時間軸上の位置に対応すべきフレームはａ３のフレームとなるものであるが、格子点（ａ２，ｂ３）に進んでいることから、ｂ３のフレームはａ３ではなくａ２のフレームの時間軸上の位置と同じであると対応付けられ、楽曲の進行のずれが発生していることになる。すなわち、リファレンス楽音データのフレームｂ３までに進行する演奏の内容が、受信音声データのフレームａ２までに進行していることになるから、この時点においては、リファレンス演奏よりもライブ演奏の方が早く進んでいることになる。このようにして、楽曲の進行のずれを検出することができる。そして、受信音声データの全てのフレームに対して、リファレンス楽音データのフレームを対応付けて、楽曲の進行のずれを検出する。以上がＤＰマッチングの仕組みである。
【００３９】
次に、タイムアライメント部１０２が検出した楽曲の進行のずれに基づいてタイムコードを順次出力する機能について説明する。タイムアライメント部１０２は、上述したように、受信音声データの各フレームに対してリファレンス楽音データのフレームを対応付けるから、受信音声データの時間軸上の位置をリファレンス楽音データの時間軸上の位置（以下、再生位置という）として認識することができる。また、この再生位置（同期情報）の時間変化によりテンポを認識することができる。タイムアライメント部１０２は、所定の間隔で、認識した再生位置とテンポに基づいてタイムコードを生成し、順次出力する。もし、タイムアライメント部１０２から順次出力されたタイムコードを参照してリファレンス楽音データを読み出して再生したとすれば、リファレンス演奏の時間軸が伸縮され、ライブ演奏と同等な楽曲の進行で再生することができる。
【００４０】
次に、タイムアライメント部１０２が、楽曲の進行のずれに基づいて、リファレンス楽音データが有する基準情報が示す１拍の時間を補正した時間である拍情報を順次出力する機能について説明する。基準情報が示す１拍の時間は、楽曲の進行のずれが無い場合の１拍の時間を示しているが、楽曲の進行のずれが発生すると、当該ずれに応じて１拍の時間が変化することになる。例えば、ライブ演奏が、リファレンス演奏よりも早く進んでいる場合には、テンポが速くなっていることになり、１拍の時間は基準時間が示す時間より短くなる。そして、この基準時間より短くなった時間を示す拍情報を生成する。このように、楽曲の進行のずれに基づいて基準情報が示す時間を補正した拍情報を生成し、当該拍情報を後述する送信遅延部１０７へ出力する。
【００４１】
図３に戻って、説明を続ける。データ読出部１０３は、タイムアライメント部１０２から順次出力されるタイムコードと、歌詞データに付されたタイムコードとを対応させるようにして、楽曲データ選択部１０１がＲＡＭ１３にバッファした歌詞データを読み出し、データ処理部１０４に順次出力していく。そして、データ処理部１０４は、データ読出部１０３から順次出力された歌詞データに基づいて歌詞映像データを生成し、映像合成部１０６に出力する。ここで、楽曲の歌詞を示すテキストデータとそのテキストの表示タイミングを示すデータを有する歌詞データは、タイムアライメント部１０２から出力されたタイムコードを参照して読み出すことによりデータ読出部１０３から出力されるシーケンスデータであるから、歌詞映像データは、楽曲の歌詞の表示タイミングがライブ演奏の楽曲の進行にあわせて、すなわちライブボーカルにあわせて表示される映像のデータとして生成される。
【００４２】
受信遅延部１０５は、通信部２０によって受信された映像データ（以下、受信映像データという）および受信音声データに対して、期間情報に基づいた期間、所定の遅延時間（以下、受信遅延時間という）の遅延処理を行って出力する。ここで、受信遅延部１０５の構成について図５を用いて説明する。
【００４３】
受信遅延部１０５は、選択部１０５１−１、１０５１−２、受信遅延バッファ１０５２−１、１０５２−２および出力部１０５３−１、１０５３−２を有する。選択部１０５１−１には受信映像データが入力され、選択部１０５１−２には受信音声データが入力される。そして、選択部１０５１−１は、期間情報が入力され、当該期間情報が示す同期期間については、受信映像データを受信遅延バッファ１０５２−１へ出力し、同期期間以外の期間については、そのまま出力部１０５３−１へ出力する。同様にして、選択部１０５１−２は、期間情報が入力され、当該期間情報が示す同期期間については、受信音声データを受信遅延バッファ１０５２−２へ出力し、同期期間以外の期間については、そのまま出力部１０５３−２へ出力する。
【００４４】
受信遅延バッファ１０５２−１、１０５２−２は、それぞれ入力された受信映像データ、受信音声データを受信遅延時間に対応するデータ量のバッファをしてから当該受信映像データ、受信音声データを所定の速さで読み出すことにより、当該受信遅延時間の遅延処理を行う。そして、遅延処理を行った受信映像データ、受信音声データをそれぞれ出力部１０５３−１、１０５３−２へ出力する。ここで、所定の速さは、受信映像データ、受信音声データを遅延させない場合の再生速度と同じ速さになるように設定される。また、受信遅延時間は、上述したタイムアライメント部１０２が受信音声データを取得してから、データ処理部１０４が歌詞映像データを出力するまでの処理に必要な時間が設定されている。このようにすると、受信遅延バッファ１０５２−１、１０５２−２から出力された受信音声データおよび受信映像データと、データ処理部１０４から出力された歌詞映像データとは、同期期間においては時間同期したものとなる。
【００４５】
出力部１０５３−１は、選択部１０５１−１から出力された受信映像データ、受信遅延バッファ１０５２−１において遅延処理されて出力された受信映像データのいずれか一方を映像合成部１０６へ出力する。ここで、選択部１０５１−１の受信映像データの出力が、出力部１０５３−１から受信遅延バッファ１０５２−１に切り替わってから上述の受信遅延時間に対応する時間が経過するまでは、出力部１０５３−１には、受信映像データが出力されず、出力部１０５３−１からも受信映像データが出力されない。一方、選択部１０５１−１の受信映像データの出力が、受信遅延バッファ１０５２−１から出力部１０５３−１に切り替ってから上述の受信遅延時間に対応する時間が経過するまでは、出力部１０５３−１には、受信遅延バッファ１０５２−１および選択部１０５１−１の双方から受信映像データが出力されることになる。そこで、本実施形態においては、出力部１０５３−１は、選択部１０５１−１から出力される受信映像データを優先して出力する。
【００４６】
出力部１０５３−２についても、出力部１０５３−１と同様にして、選択部１０５１−２から出力された受信映像データ、受信遅延バッファ１０５２−２において遅延処理されて出力された受信映像データのいずれか一方、本実施形態においては、選択部１０５１−２から出力された受信音声データを優先して出力する。なお、本実施形態のように、出力部１０５３−１は、選択部１０５１−１から出力された受信映像データを優先させるのではなく、受信遅延バッファ１０５２−１から出力された受信映像データを優先させてもよい。出力部１０５３−２についても同様である。また、選択部１０５１−２から出力された受信音声データと受信遅延バッファ１０５２−２から出力された受信音声データについては、それぞれの受信音声データに係る音声を合成した受信音声データを出力してもよい。
【００４７】
図３に戻って、説明を続ける。映像合成部１０６は、同期期間（同期期間の開始時点から受信遅延時間に対応する時間経過までの期間は除く）においては、受信遅延部１０５から出力された受信映像データに係るライブ映像に対して、データ処理部１０４から出力された歌詞映像データに係る歌詞の映像（以下、歌詞映像という）をスーパーインポーズした合成映像データを生成して表示部１６へ出力する。ここで、合成映像データは、受信遅延部１０５において受信遅延時間の遅延処理を行った受信映像データに係るライブ映像に対して、時間同期した歌詞映像、すなわち楽曲の歌詞がライブ演奏の楽曲の進行にあわせて表示される映像をスーパーインポーズしたものであり、ライブ映像に楽曲の歌詞映像が合成されることによって、その歌詞映像がライブボーカル、ライブ演奏、ライブ映像に合った映像の映像データとして生成される。なお、同期期間のうち、同期期間の開始時点から受信遅延時間に対応する時間経過までの期間については、受信遅延部１０５から受信映像データが出力されず、データ処理部１０４から歌詞映像データも出力されていないから、映像合成部１０６は合成映像データを出力しない。
【００４８】
一方、同期期間以外の期間においては、受信遅延部１０５から出力される受信映像データは、遅延処理されていない受信映像データであって、当該受信映像データに係る映像は、会話映像である。そして、同期期間以外の期間においては、タイムアライメント部１０２は、上述した同期処理を行わない結果、タイムコードを出力しないから、データ処理部１０４からは歌詞映像データが出力されない。そのため、同期期間以外の期間においては、受信遅延部１０５から出力される受信映像データに係る映像にスーパーインポーズされる映像が無いから、映像合成部１０６が出力する合成映像データは、入力された受信映像データと同じデータとなる。
【００４９】
送信遅延部１０７は、映像入力部１８によって生成された映像データ（以下、送信映像データという）、および音声入力部１９によって生成された音声データ（以下、送信音声データという）に対して、期間情報に基づいた期間に、拍情報に基づいた遅延時間（以下、送信遅延時間という）の遅延処理を行って、通信部２０に出力する。ここで、送信遅延時間は、当該送信遅延時間に対応する時間と受信遅延時間に対応する時間を合計すると、拍情報が示す時間の整数倍となるように設定される。また、拍情報が示す時間は時間経過とともに変化するから、送信遅延時間も時間経過とともに変化する。
【００５０】
本実施形態においては、送信遅延時間は、上記条件を満たす送信遅延時間のうち最短の時間として設定される。すなわち、受信遅延時間に対応する時間が、拍情報が示す時間より短い場合には、送信遅延時間に対応する時間と受信遅延時間に対応する時間を合計が、拍情報が示す時間の１倍になるように送信遅延時間が設定される。同様にして、受信遅延時間に対応する時間が、拍情報が示す時間より長く、かつ拍情報が示す時間の２倍より短い場合には、送信遅延時間に対応する時間と受信遅延時間に対応する時間を合計が、拍情報が示す時間の２倍になるように送信遅延時間が設定される。以下、送信遅延部１０７の構成について図６を用いて説明する。
【００５１】
送信遅延部１０７は、選択部１０７１−１、１０７１−２、送信遅延バッファ１０７２−１、１０７２−２および出力部１０７３−１、１０７３−２を有する。選択部１０７１−１には送信映像データが入力され、選択部１０７１−２には送信音声データが入力される。そして、選択部１０７１−１は、期間情報が入力され、当該期間情報が示す同期期間については、送信映像データを送信遅延バッファ１０７２−１へ出力し、同期期間以外の期間については、そのまま出力部１０７３−１へ出力する。同様にして、選択部１０７１−２は、期間情報が入力され、当該期間情報が示す同期期間については、受信音声データを送信遅延バッファ１０７２−２へ出力し、同期期間以外の期間については、そのまま出力部１０７３−２へ出力する。
【００５２】
送信遅延バッファ１０７２−１、１０７２−２は、それぞれ入力された送信映像データ、送信音声データをバッファし、バッファされた送信映像データ、送信音声データを読み出して出力部１０７３−１、１０７３−２へ出力する。また、送信遅延バッファ１０７２−１、１０７２−２は、バッファされた送信映像データ、送信音声データを読み出す速さを変化させることにより、バッファされるデータ量を制御することができる。例えば、送信映像データ、送信音声データを遅延させない場合において読み出す速さより遅い速さで読み出すことにより、バッファされるデータ量を増加させることができ、逆に早く読み出すことにより、バッファされるデータ量を減少させることができる。このように、送信遅延バッファ１０７２−１、１０７２−２は、入力された拍情報に基づいて設定された送信遅延時間に相当するデータ量がバッファするように制御することによって遅延処理を行う。
【００５３】
例えば、図７（ａ）に示すように、送信遅延時間がｔ１（対応するデータ量ｄ１）からｔ２（対応するデータ量ｄ２）へ変化するような場合には、バッファされるデータ量を変化させるために、図７（ｂ）のように、データ量の変化に応じて、読み出し速度を変化させればよい。
【００５４】
ここで、同期期間が開始されて、最初に遅延処理を行うときには、送信遅延時間に相当するデータ量のバッファは、送信映像データ、送信音声データのバッファからの読み出しを中止することにより行う。そして、上述したようにバッファから読み出す速さを変えることにより行うバッファ量の制御は、拍情報が示す時間が変化することにより送信遅延時間が変化した場合に行われる。
【００５５】
このように、送信遅延バッファ１０７２−１、１０７２−２から出力された送信遅延時間の遅延処理を行った送信映像データおよび送信音声データと、通信部２０によって受信された受信映像データおよび受信音声データとは、同期期間においては楽曲の１拍に対応する時間の整数倍ずれて時間同期したものとなる。
【００５６】
出力部１０７３−１は、選択部１０７１−１から出力された送信映像データ、送信遅延バッファ１０７２−１において遅延処理されて出力された送信映像データのいずれか一方を通信部２０へ出力する。ここで、選択部１０７１−１の送信映像データの出力が、出力部１０７３−１から送信遅延バッファ１０７２−１に切り替わってから上述の送信遅延時間に対応する時間が経過するまでは、出力部１０７３−１には、送信映像データが出力されず、出力部１０７３−１からも送信映像データが出力されない。一方、選択部１０７１−１の送信映像データの出力が、送信遅延バッファ１０７２−１から出力部１０７３−１に切り替ってから上述の送信遅延時間に対応する時間が経過するまでは、出力部１０７３−１には、送信遅延バッファ１０７２−１および選択部１０７１−１の双方から送信映像データが出力されることになる。そこで、本実施形態においては、上述した受信遅延部１０５における出力部１０５３−１、１０５３−２と同様に、出力部１０７３−１は、選択部１０７１−１から出力される送信映像データを優先して出力する。
【００５７】
出力部１０７３−２についても、出力部１０７３−１と同様にして、選択部１０７１−２から出力された送信映像データ、送信遅延バッファ１０７２−２において遅延処理されて出力された送信映像データのいずれか一方、本実施形態においては、選択部１０７１−２から出力された受信音声データを優先して通信部２０へ出力する。なお、本実施形態のように、出力部１０７３−１は、選択部１０７１−１から出力された送信映像データを優先させるのではなく、送信遅延バッファ１０７２−１から出力された送信映像データを優先させてもよい。出力部１０７３−２についても同様である。また、選択部１０７１−２から出力された送信音声データと送信遅延バッファ１０７２−２から出力された送信音声データについては、それぞれの送信音声データに係る音声を合成した送信音声データを出力してもよい。
【００５８】
ここで、同期期間においては、通信装置１−Ｂの表示部１６には歌詞映像がスーパーインポーズされたライブ映像が表示され、音声出力部１７からはライブ演奏が放音されているから、通信装置１−Ｂの利用者は手拍子を行っている。そのため、送信遅延部１０７から通信部２０へ出力される遅延処理された送信映像データ、送信音声データは、それぞれ手拍子映像、手拍子音声のデータとなる。そして、上述したように、送信映像データおよび送信音声データと、通信部２０によって受信された受信映像データおよび受信音声データとは、同期期間においては楽曲の１拍に対応する時間の整数倍ずれて時間同期している。そのため、送信映像データ、送信音声データを通信装置１−Ａにおいて再生すると、通信装置１−Ａの利用者が生演奏している楽曲から１拍の整数倍遅れた手拍子映像が表示部１６に表示されるとともに、手拍子音声が音声出力部１７から放音される。ここで、遅れている時間が楽曲の１拍の整数倍の遅れに相当するから、通信装置１−Ａの利用者は、通信装置１−Ｂの利用者の手拍子が１拍ごとに行われているときには、その手拍子が楽曲の進行とずれていないように認識することができ、遅延を介してコミュニケーションをしているような違和感がなくなる。
【００５９】
一方、同期期間以外においては、通信装置１−Ｂの表示部１６には会話映像Ａが表示され、音声出力部１７からは会話音声Ａが放音されているから、通信装置１−Ｂの利用者は、通信装置１−Ａの利用者とコミュニケーションをとっている。そのため、送信遅延部１０７から通信部２０へ出力される遅延処理されていない送信映像データ、送信音声データは、それぞれ会話映像Ｂ、会話音声Ｂとなっている。
【００６０】
次に、図１に示すように、通信装置１−Ａと通信装置１−Ｂとのデータの送受信によって行われる処理について、図８、図９を用いて説明する。通信装置１−Ａの利用者（以下、利用者Ａという、また通信装置１−Ｂの利用者は同様に利用者Ｂという）の状況が図８に示すように、コミュニケーション、生演奏、コミュニケーションの順に変化、すなわち通信装置１−Ａから送信される映像データおよび音声データに係る映像と音声が「会話映像Ａ、会話音声Ａ」、「ライブ映像、ライブ演奏」、「会話映像Ａ、会話音声Ａ」の順に変化する場合を例として説明する。ここで、図８は、横軸方向は時刻の進行を示し、通信装置１−Ａが送信する映像データ、音声データ、通信装置１−Ｂにおける受信遅延部１０５の出力部１０５３−１、１０５３−２に入力される受信映像データ、受信音声データ、受信遅延部１０５から出力される受信映像データ、受信音声データ、表示部１６において表示される映像について、時系列で説明した図である。
【００６１】
一方、通信装置１−Ｂにおいては、利用者Ｂの状況が利用者Ａの状況に対応して変化し、通信装置１−Ｂから送信される映像データおよび音声データに係る映像と音声が「会話映像Ｂ、会話音声Ｂ」、「手拍子映像、手拍子音声」、「会話映像Ｂ、会話音声Ｂ」と変化しているものとする。そして、図９には、図８と同様に横軸方向は時刻の進行を示し、通信装置１−Ｂにおける表示部１６において表示されている映像、通信装置１−Ｂが生成する映像データ、音声データ、通信装置１−Ｂにおける送信遅延部１０７の出力部１０７３−１、１０７３−２に入力される送信映像データ、送信音声データ、送信遅延部１０７から出力される送信映像データ、送信音声データ、通信装置１−Ａにおける表示部１６に表示威される映像について、時系列で説明した図である。また、図中の斜線部分は、送信映像データおよび送信音声データが送信遅延時間の遅延処理がされる期間であるが、ライブ映像、ライブ音声が出力される前、すなわち楽曲が再生される前の期間であるから、手拍子を行っていない期間として区別して表している。
【００６２】
なお、実際には、通信装置１−Ａと通信装置１−Ｂとのデータの送受信においては、通信時間による時刻のずれが発生するため、時刻が一致することは無いが、説明の簡略化のため図８、図９においては通信時間による時刻のずれは考えないものとして記載している。以下の説明においても同様である。また、以下の説明においては、例えば通信部２０−Ａのように、各部の符号に「−Ａ」を付したものは、通信装置１−Ａについての各部を示したものであり、各部の符号に「−Ｂ」を付したものは、通信装置１−Ｂについての各部を示したものとする。
【００６３】
まず、利用者Ａまたは利用者Ｂは、操作部１５−Ａまたは操作部１５−Ｂを操作することにより、通信装置１−Ａと通信装置１−Ｂとについて通信網１００を介して接続する。この時点においては、映像入力部１８−Ａにおいて利用者Ａの状況を撮影した映像データが生成され、音声入力部１９−Ａにおいて利用者Ａの状況を録音した音声データが生成される。そして、通信部２０−Ａは、生成された映像データ（この時点においては、会話映像Ａのデータ）および音声データ（この時点においては、会話音声Ａのデータ）を通信装置１−Ｂへ送信する。一方、通信部２０−Ｂは、通信部１−Ａから送信された映像データおよび音声データを受信する。通信装置１−Ｂは、期間情報については受信していないから同期期間以外の期間であるとみなす。そのため、受信遅延部１０５−Ｂにおける遅延処理が行われないまま、受信映像データが表示部１６−Ｂへ出力されることにより、会話映像Ａが表示部１６−Ｂに表示される。一方、受信音声データについても、受信遅延部１０５−Ｂにおける遅延処理が行われないまま、音声出力部１７−Ｂに出力されることにより、会話音声Ａが音声出力部１７−Ｂから放音される。これにより、利用者Ｂは利用者Ａの状況をリアルタイムで確認できる。
【００６４】
一方、通信装置１−Ｂは、映像入力部１８−Ｂにおいて利用者Ｂの状況を撮影した送信映像データが生成され、音声入力部１９−Ｂにおいて利用者Ｂの状況を録音した送信音声データが生成される。そして、送信遅延部１０７−Ｂは、遅延処理を行わないから、通信部２０−Ｂは、生成された送信映像データ（この時点においては、会話映像Ｂのデータ）および送信音声データ（この時点においては、会話音声Ｂのデータ）をそのまま通信装置１−Ａへ送信する。一方、通信部２０−Ａは、通信部１−Ｂから送信された送信映像データおよび送信音声データを受信する。そして、通信装置１−Ｂと同様に、会話映像Ｂが表示部１６−Ａに表示され、会話音声Ｂが音声出力部１７−Ａから放音される。これにより、利用者Ａは利用者Ｂの状況をリアルタイムで確認できる。
【００６５】
次に、利用者Ａは、生演奏を始めるにあたって、操作部１５−Ａを操作して通信装置１−Ｂに同期処理を開始させるための指示を行うとともに、生演奏する楽曲を入力する。これにより通信部２０−Ａは、同期処理を開始させる指示、すなわち同期処理の開始タイミングを示す期間情報、および入力された楽曲を示す楽曲情報を通信装置１−Ｂへ送信する。一方、通信部２０−Ｂは、通信装置１−Ａから送信された期間情報および楽曲情報を受信する。そして、通信装置１−Ｂは、同期期間が開始したと認識し、受信遅延部１０５−Ｂは、受信映像データおよび受信音声データの遅延処理を行い、送信遅延部１０７−Ｂは、送信映像データおよび送信音声データの遅延処理を行う。
【００６６】
このとき、出力部１０５３−１−Ｂ、１０５３−２−Ｂに入力される受信映像データ、受信音声データは、受信遅延バッファ１０５２−１−Ｂ、１０５２−２−Ｂにおいて遅延された受信映像データ、受信音声データである。そのため、出力部１０５３−１−Ｂ、１０５３−２−Ｂには、同期期間の最初の時点以降の受信遅延時間に対応する時間だけ、受信映像データ、受信音声データが入力されない期間が発生する。その後、出力部１０５３−１−Ｂ、１０５３−２−Ｂには、受信遅延バッファ１０５２−１−Ｂ、１０５２−２−Ｂにおいて遅延された受信映像データ、受信音声データが入力されるから、受信遅延部１０５−Ｂからは、当該遅延された受信映像データ、受信音声データが出力される。
【００６７】
一方、タイムアライメント部１０２−Ｂは、受信音声データと楽曲情報によって特定される楽曲に係るリファレンス楽音データとに基づいて同期処理を行うことにより、データ処理部１０４−Ｂから歌詞映像データが出力される。この際、タイムアライメント部１０２からは、送信遅延部１０７−Ｂに対して拍情報も出力される。
【００６８】
そして、映像合成部１０６−Ｂは、受信遅延部１０５−Ｂから出力された受信映像データに係るライブ映像に、データ処理部１０４−Ｂから出力された歌詞映像データに係る歌詞映像をスーパーインポーズした合成映像データを表示部１６−Ｂに出力することにより、表示部１６−Ｂは、ライブ映像に歌詞映像がスーパーインポーズされた映像を表示する。一方、受信遅延部１０５−Ｂから出力された受信音声データは、音声出力部１７−Ｂに出力されることにより、ライブ演奏が音声出力部１７−Ｂから放音される。これにより、利用者Ｂは、同期期間においては、利用者Ａの状況（生演奏）を受信遅延時間だけ遅れて認識することになる。この際、表示部１６−Ｂに表示される映像は、受信音声データとリファレンス楽音データの同期処理に基づいて読み出された歌詞データから生成された歌詞映像データに係る歌詞映像、すなわち楽曲の進行に合わせた歌詞映像が、ライブ映像に対して合成された映像になっている。ここで、受信遅延部１０５−Ｂから受信映像データ、受信音声データが出力されない同期期間の最初の時点から受信遅延時間に対応する時間は、映像、音声ともに停止することになる。
【００６９】
ここで、利用者Ｂは、受信遅延時間だけ遅れて認識している、利用者Ａが生演奏している楽曲にあわせて手拍子を行う。そして、映像入力部１８−Ｂから手拍子映像を示す送信映像データが生成され、音声入力部１９−Ｂから手拍子音声を示す送信音声データが生成され、それぞれ送信遅延部１０７−Ｂに出力されて遅延処理される。このとき、出力部１０７３−１−Ｂ、１０７３−２−Ｂに入力される送信映像データ、送信音声データは、送信遅延バッファ１０７２−１−Ｂ、１０７２−２−Ｂにおいて遅延された送信映像データ、送信音声データである。そのため、出力部１０７３−１−Ｂ、１０７３−２−Ｂには、同期期間の最初の時点以降の送信遅延時間に対応する時間だけ、送信映像データ、送信音声データが入力されない期間が発生する。その後、出力部１０７３−１−Ｂ、１０７３−２−Ｂには、送信遅延バッファ１０７２−１−Ｂ、１０７２−２−Ｂにおいて遅延された送信映像データ、送信音声データが入力されるから、送信遅延部１０７−Ｂからは、当該遅延された送信映像データ、送信音声データが出力される。
【００７０】
そして、送信遅延部１０７−Ｂから出力された送信映像データ、送信音声データは、通信部２０−Ｂから通信装置１−Ａに送信される。そして、通信装置１−Ａは、同期処理を行っていないから、通信部２０−Ａによって受信した送信映像データ、送信音声データをそれぞれ表示部１６−Ａ、音声出力部１７−Ａに出力することにより、表示部１６−Ａには手拍子映像が表示され、音声出力部１７−Ａからは手拍子音声が放音される。このとき、利用者Ａは、利用者Ｂによる手拍子を利用者Ａによる楽曲の生演奏に対して、楽曲の１拍の整数倍にあたる時間だけ遅延して認識することになる。しかし、１拍の整数倍にあたる時間だけずれているから実際には楽曲の生演奏と手拍子がずれていないように感じることができ、利用者Ａは手拍子に対して違和感をなく生演奏を行うことができる。
【００７１】
次に、利用者Ａは、生演奏を終了するにあたって、操作部１５−Ａを操作して通信装置１−Ｂに同期処理を終了させるための指示を行う。これにより通信部２０−Ａは、同期処理を開始させる指示、すなわち同期処理の終了タイミングを示す期間情報を通信装置１−Ｂへ送信する。一方、通信部２０−Ｂは、通信装置１−Ａから送信された期間情報を受信する。そして、通信装置１−Ｂは、同期期間が終了したと認識し、受信遅延部１０５−Ｂは、受信映像データおよび受信音声データの遅延処理を中止し、送信遅延部１０７−Ｂは、送信映像データおよび送信音声データの遅延処理を中止する。
【００７２】
このとき、出力部１０５３−１−Ｂ、１０５３−２−Ｂには、選択部１０５１−１−Ｂ、１０５１−２−Ｂから出力された遅延されていない受信映像データ、受信音声データ、および受信遅延バッファ１０５２−１−Ｂ、１０５２−２−Ｂにおいて遅延された受信映像データ、受信音声データが入力される。そのため、出力部１０５３−１−Ｂ、１０５３−２−Ｂには、同期期間の最後の時点以降の受信遅延時間に対応する時間だけ、選択部１０５１−１−Ｂ、１０５１−２−Ｂおよび受信遅延バッファ１０５２−１−Ｂ、１０５２−２−Ｂの双方から受信映像データ、受信音声データが出力されるから、出力部１０５３−１−Ｂ、１０５３−２−Ｂは、選択部１０５１−１−Ｂ、１０５１−２−Ｂから出力された遅延されていない受信映像データ、受信音声データを優先して出力することにより、受信遅延部１０５−Ｂからは、遅延処理されていない受信映像データ、受信音声データが出力される。一方、タイムアライメント部１０２−Ｂは、同期処理を中止するから、データ処理部１０４−Ｂからの歌詞映像データの出力も中止される。そのため、映像合成部１０６−Ｂにおけるスーパーインポーズ処理も中止される。
【００７３】
これにより、受信遅延部１０５−Ｂにおける遅延処理が行われないまま、受信映像データが表示部１６−Ｂへ出力されることにより、会話映像Ａが表示部１６−Ｂに表示される。一方、受信音声データについても、受信遅延部１０５−Ｂにおける遅延処理が行われないまま、音声出力部１７−Ｂに出力されることにより、会話音声Ａが音声出力部１７−Ｂから放音される。これにより、利用者Ｂは利用者Ａの状況をリアルタイムで確認できる。ここで、同期期間の最後の時点から受信遅延時間に対応する時間は、ライブ映像、ライブ演奏は欠落することになる。
【００７４】
また、送信遅延部１０７−Ｂにおける出力部１０７３−１−Ｂ、１０７３−２−Ｂには、選択部１０７１−１−Ｂ、１０７１−２−Ｂから出力された遅延されていない送信映像データ、送信音声データ、および送信遅延バッファ１０７２−１−Ｂ、１０７２−２−Ｂにおいて遅延された送信映像データ、送信音声データが入力される。そのため、出力部１０７３−１−Ｂ、１０７３−２−Ｂには、同期期間の最後の時点以降の送信遅延時間に対応する時間だけ、選択部１０７１−１−Ｂ、１０７１−２−Ｂおよび送信遅延バッファ１０７２−１−Ｂ、１０７２−２−Ｂの双方から送信映像データ、送信音声データが出力されるから、出力部１０７３−１−Ｂ、１０７３−２−Ｂは、選択部１０７１−１−Ｂ、１０７１−２−Ｂから出力された遅延されていない送信映像データ、送信音声データを優先して出力することにより、送信遅延部１０７−Ｂからは、遅延処理されていない送信映像データ、送信音声データが出力される。
【００７５】
これにより、通信部２０−Ｂは、遅延処理されていない送信映像データ、送信音声データを通信装置１−Ａに送信する。そして、通信装置１−Ａは、送信映像データ、送信音声データを受信すると、会話映像Ｂが表示部１６−Ａに表示され、会話音声Ｂが音声出力部１７−Ａから放音される。これにより、利用者Ａは利用者Ｂの状況をリアルタイムで確認できる。ここで、同期期間の最後の時点から送信遅延時間に対応する時間は、手拍子映像、手拍子音声は欠落することになるが、利用者Ａによる楽曲の生演奏も終了しているため、利用者Ａは、欠落したことを意識することはない。
【００７６】
このように、通信装置１は、期間情報が示す同期期間以外の期間においては、リアルタイムに会話映像、会話音声に係るデータの通信を行ってコミュニケーションをとることができる一方、同期期間においては、受信したデータを遅延させるとともに、受信音声データとリファレンス楽音データの同期処理に基づいて歌詞データを読み出すことにより、ライブ映像、ライブ演奏の進行に合わせた歌詞映像を表示することができる。さらに、同期期間においては、送信するデータに所定の遅延処理を行うことにより、違和感の少ないコミュニケーションをとることができる。
【００７７】
以上、本発明の実施形態について説明したが、本発明は以下のように、さまざまな態様で実施可能である。
【００７８】
＜変形例１＞
実施形態においては、同期期間の最初の時点から受信遅延時間に対応する時間が経過した後に、受信遅延部１０５から遅延された受信映像データ、受信音声データが出力され、映像、音声が途切れるようになっていたが、映像、音声が途切れないような処理を行なってもよい。この場合には、受信遅延部１０５を以下のような構成にすればよい。受信遅延部１０５は、図１０に示すように、可変遅延バッファ１０５４−１、１０５４−２を有する。可変遅延バッファ１０５４−１は、入力された受信映像データを一旦バッファするとともに、バッファされた受信映像データを読み出して出力する。この際に、受信映像データの読み出し速度を変化させ、これにより受信映像データに係る映像の再生スピードを伸縮させることができるようになっている。そして、読み出し速度を実施形態における所定の速度より遅くすることにより、受信映像データのバッファ量が増加し、逆に、所定の速度より読み出し速度を速くすることにより、バッファ量が減少することになる。ここで、再生スピードの伸縮が行われない通常の速度で読み出している間については、バッファ量に変動は無い。可変遅延バッファ１０５４−２についても、受信音声データに対して、同様な処理が可能となっている。また、可変遅延バッファ１０５４−１、１０５４−２には期間情報が入力される。以下、同期期間前後における受信遅延部１０５の処理について、図１１を用いて説明する。
【００７９】
可変遅延バッファ１０５４−１は、期間情報が示す同期期間の開始時点になると、バッファした受信映像データの読み出し速度を遅くする。これに伴い、受信映像データのバッファ量が増加する。そして、バッファ量が所定量に達すると、可変遅延バッファ１０５４−１は、バッファした受信映像データの読み出し速度を通常の速度に戻す。ここで、所定量のバッファ量は、実施形態における受信遅延時間に対応するデータ量である。そのため、この時点においては、実施形態と同じ状況になっている。
【００８０】
その後、可変遅延バッファ１０５４−１は、期間情報が示す同期期間の終了時点になると、バッファした受信映像データの読み出し速度を早くする。これに伴い、受信映像データのバッファ量が減少する。そして、バッファした受信映像データが所定量（図１１においては、バッファ量が０）以下になると、読み出し速度を通常の速度に戻す。また、可変遅延バッファ１０５４−２についても、受信音声データに対して、同様な処理が行われる。なお、バッファ量は、遅延時間に対応するデータ量と同じことであるから、時間経過とともに受信遅延時間が変動するようにして可変遅延バッファ１０５４−１、１０５４−２におけるバッファ量を制御するとともに、当該制御に応じて受信映像データ、受信音声データを出力することもできる。
【００８１】
このようにすると、同期期間の開始部分においては、受信映像データおよび受信音声データがゆっくり再生され、同期期間の終了部分においては、受信映像データ及び受信音声データが速く再生される。そのため、同期期間の開始部分における映像、音声の停止部分がなくなるとともに、同期期間の終了部分における映像、音声の欠落をなくすことができる。なお、受信映像データ、受信音声データの双方に対して上述したような処理をせず、いずれか一方のデータ、例えば受信音声データのみに対して行なうようにしてもよい。その場合は、実施形態における受信遅延部１０５に対して、受信音声データが入力される部分のみ変形例１の構成とすればよい。また、本変形例は、受信遅延部１０５だけでなく送信遅延部１０７に対しても同様にして適用することができる。なお、受信音声データに関しては無音（所定レベル以下の）区間の音声データを削除若しくは挿入することにより再生スピードの調整を行っても良い。
【００８２】
＜変形例２＞
実施形態においては、タイムコードの生成は、受信音声データに基づいてタイムアライメント部１０２において行っていたが、他の方法によって行なわれてもよい。例えば、図１２に示すように、通信装置１−Ｂの通信部２０−Ｂは、通信装置１−Ａから同期情報を受信する。そして、同期期間において、同期情報に基づいてタイムコードを生成するタイムコード生成部１０８を設ければよい。ここで、同期情報は、再生するデータの位置の時間変化を示すものであれば、どのような情報でもよい。例えば、通信装置１−Ａは、音声入力部１９−Ａにおいて生成された音声データに基づいて同期処理を行い、再生位置とテンポを同期情報とすればよい。このようにすれば、タイムアライメント部１０２における同期処理の一部または全部を送信側である通信装置１−Ａで行うこともできる。なお、タイムアライメント部１０２における同期処理は、ＤＰマッチングを用いていたが、異なった手法によって同期処理をするようにしてもよい。例えば、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ：隠れマルコフモデル）を用いてもよいし、比較対象である各データから波形の特徴量（音程、音量など）を抽出して比較するようにしてもよい。すなわち、各データの比較をして、各データ間の類似する部分を対応させることができる手法であればどのような手法でもよい。また、通信装置１−Ｂのタイムアライメント部１０２−Ｂにおいても同期処理を行うときには、受信した同期情報も用いて同期処理を行うことにより、同期処理の精度を向上させてもよい。なお、同期情報を受信している間を期間情報が示す期間としてもよい。この場合には、通信部２０は、同期情報を受信している期間を示す期間情報を出力するようにしてもよいし、期間情報の代わりに同期情報を受信遅延部１０５、送信遅延部１０７に出力するようにしてもよい。
【００８３】
また、上述した場合には、送信遅延部１０７において用いる拍情報は、通信装置１−Ａで生成した拍情報を受信して用いればよい。この拍情報は、１拍の時間を表すものであれば、どのような情報でもよい。例えば、通信装置１−Ａにおいて、利用者が操作部１５−Ａを操作することにより基準情報を生成し、当該基準情報と上述したようにして生成した同期情報に基づいて、拍情報を生成すればよい。
【００８４】
＜変形例３＞
実施形態においては、拍情報はタイムアライメント部１０２において、基準情報に基づいて生成されていたが、別の方法で生成するようにしてもよい。例えば、図１３に示すように、拍検出部１０９を設ければよい。ここで、拍検出部１０９は、受信音声データに基づいてＢＰＭ（Ｂｅａｔｓ  Ｐｅｒ  Ｍｉｎｕｔｅ）を計算し、この計算結果に基づいて１拍の時間を示す拍情報を出力する機能を有している。オーディオデータに基づいてＢＰＭを計算する方法は、例えば特開平８−２０１５４２号公報に開示されているような技術を用いればよい。このようにすれば、タイムアライメント部１０２において拍情報を生成する必要が無いから、リファレンス楽音データに基準情報をもたせる必要がなくなる。また、拍検出部１０９に対して受信音声データではなく、送信音声データを入力し、送信音声データに基づいて、ＢＰＭを計算するようにしてもよい。送信音声データは、拍情報が必要な期間である同期期間においては、手拍子などの音声であるためビートがわかりやすく、ＢＰＭの検出を正確にすることもできる。
【００８５】
また、実施形態においては、リファレンス楽音データに基準情報をもたせていたが、基準情報については、利用者が操作部１５を操作して、１拍の時間を示す内容を入力することにより生成するようにしてもよいし、楽曲情報が基準情報を有するようにしてもよい。このように基準情報については、基準となる時間を示した情報であればよいから、どのようにして記憶しておいてもよいし、どのような方法によっても生成することができる。
【００８６】
＜変形例４＞
実施形態においては、通信装置１−Ａと通信装置１−Ｂにおけるデータの送受信における通信時間による時刻のずれを考慮せずに説明したが、通信時間が長くかかる場合には、影響を及ぼすことがある。この場合には、以下のようにして、通信時間を考慮した構成とすればよい。通信部２０−Ｂは、通信装置１−Ａに対して、現在時刻を示す情報を有するデータを送信し、通信部２０−Ａは、当該データを受信した直後に当該データを通信装置１−Ｂに送信する。そして、通信部２０−Ｂは、通信部２０−Ａから送信されたデータを受信すると、現在時刻とそのデータが示す時刻を比較し、データの送受信に要した時間を計測することができる。通信部２０は、このような処理を行って通信時間を測定することができる測定手段を有するようにすればよい。そして、送信遅延部１０７−Ｂは、計測した時間を示す通信遅延時間情報を取得し、送信遅延時間が示す時間に受信遅延時間が示す時間と通信遅延時間情報が示す時間を加えた時間が、拍情報が示す時間の整数倍になるように、送信遅延時間を設定すればよい。このようにすれば、通信時間によるずれが大きくても、実施形態の効果を得ることができる。なお、通信装置１−Ａ、通信装置１−Ｂにおけるデータ処理、例えば、映像データ、音声データのエンコード、デコードに要する時間を考慮するようにしてもよい。この場合は、送信遅延時間が示す時間に受信遅延時間が示す時間と通信遅延時間情報が示す時間とデータ処理に要する時間を加えた時間が、拍情報が示す時間の整数倍になるように、送信遅延時間を設定すればよい。
【００８７】
＜変形例５＞
実施形態においては、送信遅延バッファ１０７２−１、１０７２−２は、送信遅延時間の変動、すなわちバッファするデータ量の変動は、当該データの読み出す速さを変化させることにより制御していたが、データを読み出す速さは一定とするようにしてもよい。この場合には、送信遅延バッファ１０７２−１、１０７２−２は、バッファするデータ量を増加させるときには、読み出しを中止するようにし、バッファするデータ量を減少させるときには、不要なデータを削除するようにすればよい。このようにすると、読み出し速度の制御を行わなくてよいので、データ処理を簡易に行うことができる。
【００８８】
＜変形例６＞
実施形態においては、拍情報は楽曲の１拍の時間を示す情報であったが、他の時間を示す情報であってもよい。例えば、拍情報は楽曲の１小節の時間を示す時間であってもよいし、楽曲の１フレーズを示す時間であってもよく、どのような時間であってもよい。ここで、拍情報が示す時間は、楽曲の特徴量のうち、周期性がある特徴量があれば、その周期性に基づいて決定した時間であることが望ましい。そして、楽曲の進行に応じて周期性が変化した場合には、その変化にあわせて拍情報が示す時間が変化することが望ましい。
【００８９】
また、実施形態においては、送信遅延時間が示す時間に受信遅延時間が示す時間を加えた時間が、拍情報が示す時間の整数倍になるように、送信遅延時間が設定されていたが、必ずしも拍情報が示す時間の整数倍としなくてもよい。例えば、楽曲の曲調によっては整数倍とするよりは、０．５倍としたり、１．５倍としたりする方がよいこともある。この場合は、これらの設定については、利用者は操作部１５を操作することによって行なってもよいし、楽曲情報、拍情報などにこれらの設定を行うためのデータを付加し、当該データに基づいて行うようにしてもよい。このように、送信遅延時間は、拍情報に基づいて設定されていればよい。
【００９０】
＜変形例７＞
実施形態においては、期間情報が示す同期期間については、利用者が操作部１５を操作することによって決定していたが、自動的に決定されるようにしてもよい。例えば、生演奏を行うときに使用する楽器が使用されているかどうかを検出するセンサを楽器に取り付け、センサが楽器の使用を検出した場合には、通信装置１に対して、図示しないデータ入力手段を介して検出結果を入力し、その楽器の使用が検出されている期間を同期期間とするようにすればよい。このように、同期期間を自動的に決定すれば、さらに利用者の負担を低減することができる。
【００９１】
また、別の方法としては、映像データ、音声データを解析することにより同期期間を決定する解析手段を設けてもよい。例えば、会話映像からライブ映像に切り替わるときは、映像の動きが激しくなることが多いから、解析手段は映像データに係る映像についての動きを示す特徴量を抽出して、その特徴量が示す動きが所定量を超えた時点、または所定量を超えた状態が所定期間継続した場合に、同期期間の開始時点と決定すればよい。逆に、特徴量が示す動きが所定量以下になった時点、または所定量以下になった状態が所定期間継続した場合には、同期期間の終了時点と決定すればよい。このようにすれば、解析手段は、映像データに基づいて同期期間を決定することができるから、これを期間情報として生成すればよい。さらに、会話音声からライブ演奏に切り替わるときは、その音量、周波数特性などが大きく変化するから、解析手段は音声データに係る音声についての特徴量を抽出し、その変化に基づいて同期期間を決定するようにしてもよい。このように、解析手段は、映像データ、音声データによって同期期間を決定し、期間情報を自動的に生成することができる。なお、上記の同期期間の決定による期間情報の生成は、通信装置１−Ａによって行なわれてもよいし、通信装置１−Ｂによって行なわれてもよい。通信装置１−Ｂによって行われた場合には、期間情報を用いる通信装置１−Ｂの各部は、通信部２０から受信した期間情報に替えて、通信装置１−Ｂにおいて生成した期間情報を用いればよい。
【００９２】
＜変形例８＞
実施形態においては、楽曲情報が示す楽曲は利用者が操作部１５を操作することにより特定されていたが、通信装置１が受信音声データに基づいて楽曲の特定を行なうようにしてもよい。この場合には、受信音声データの波形などの特徴量と楽曲データ記憶領域１４ａに記憶された複数のリファレンス楽音データの特徴量とを比較し、一致度の高いリファレンス楽音データを特定することにより楽曲を特定する楽曲検索手段を設ければよい。このようにすれば、通信装置１は楽曲情報を自動で生成することができる。
【００９３】
＜変形例９＞
実施形態においては、リファレンス楽音データと対応する歌詞データは、楽曲の歌詞を示すテキストデータと当該テキストデータの各テキストの表示タイミングを示すデータとを有するシーケンスデータであったが、楽曲の歌詞をリファレンス楽音データと時間同期して再生できるようにしたタイムコードの付された映像データであってもよい。この場合、以下のようにすればよい。データ読出部１０３は、実施形態に示したようにタイムコードを参照し、映像データである歌詞データ（第１のデータ）を読み出して、データ処理部１０４に順次出力する。これにより、データ読出部１０３から順次出力された歌詞データは、読み出されるときに楽曲の進行に合わせるように時間軸が伸縮されてデータ処理部１０４に出力される。そして、データ処理部１０４は、この時間軸が伸縮された歌詞データを歌詞映像データとして生成して出力する。このようにすれば、歌詞データが映像データであっても、本発明の効果を奏することができる。なお、映像データについては、歌詞データに限らず、楽曲の楽譜など、入力された音声データの楽曲の進行に合わせて表示させたい映像のデータなら、どのような映像データでもよい。
【００９４】
また、実施形態においては、楽曲の進行に合わせて歌詞を表示させるようにしていたが、これに加えて、外部の他の装置を楽曲の進行に合わせて制御するようにしてもよい。この場合は、以下のような構成とすればよい。図１４に示すように、例えば、ＡＵＸ（Ａｕｘｉｌｉａｒｙ）端子などの制御信号出力部２１を設け、楽曲データ記憶領域１４ａに制御信号データ（第１のデータ）を記憶するようにする。ここで、制御信号データは、ＡＵＸ端子に接続される外部の装置を制御する信号とその制御のタイミングを示すデータを有するシーケンスデータであって、歌詞データと同様にリファレンス楽音データと時間同期して外部の装置を制御できるようにタイムコードが付されている。そして、データ読出部１０３によって読み出された制御信号データを制御信号出力部２１から出力するようにすればよい。このようにすると、通信装置１は、制御信号出力部に接続される外部の装置が、楽曲の進行にあわせて出力される制御信号に基づいて制御されるため、楽曲の進行にあわせて外部の装置を動作させることができる。なお、外部の装置には、照明、音響機器、ロボットなど、制御信号によって制御できるものであれば、どのようなものにも適用できる。この場合は、制御信号データは、制御したい装置にあわせたデータとしておけばよい。さらに、複数の外部の装置を同時に制御したい場合には、複数の制御信号データを用意しておき、制御信号出力部２１に複数の装置を接続できるようにしておけばよい。この接続は、有線接続であってもよいし、無線接続であってもよく、信号が伝達できるものであればよい。
【００９５】
その他にも、楽曲データ記憶領域１４ａに、リファレンス楽音データと時間同期して再生できるようにタイムコードなどの時刻情報が付されたＭＩＤＩデータ（第１のデータ）、音声データ（第１のデータ）を記憶させてもよい。このようにすれば、データ読出部１０３がこれらのデータを読み出して、音声合成手段によって受信音声データとミキシングして音声出力部１７に出力することにより、楽曲の進行に合わせて音声出力部１７からＭＩＤＩデータ、音声データに基づく楽音を放音させることができる。ここで、ＭＩＤＩデータを用いる場合には、ＭＩＤＩデータを再生して音声データとして出力する音源をデータ処理部１０４に設け、音声合成手段によってデータ処理部１０４から出力された音声データを受信音声データとミキシングして音声出力部１７に出力するようにすればよい。
【００９６】
＜変形例１０＞
実施形態においては、タイムアライメント部１０２における同期処理は、受信音声データとリファレンス楽音データを比較することにより行われていた。ここで、楽曲データ記憶領域１４ａに、楽曲の進行における映像の見本となるリファレンス映像データを記憶させることにより、タイムアライメント部１０２は、受信映像データとリファレンス映像データを比較することにより同期処理を行なうようにしてもよい。この場合は、映像全体で比較してもよいし、例えば映像のうち一部分の特徴、例えば歌唱者の唇付近を抽出して、その動きの特徴量を比較することによって同期処理を行えばよい。このようにしても、タイムアライメント部１０２における同期処理ができる。
【００９７】
＜変形例１１＞
実施形態においては、通信装置１−Ａと通信装置１−Ｂは、同一の構成であるものとしていたが、必ずしも同一の構成である必要は無い。例えば、通信装置１は実施形態における通信装置１−Ｂのみで用いることとし、期間情報、楽曲情報を当該通信装置１で生成するようにすれば、実施形態における通信装置１−Ａは、音声データが送受信できる外部機器であるデータ送受信装置とすることができる。また、通信装置１は、期間情報が示す同期期間に歌詞データを読み出している期間に対応して、受信した映像データ、音声データを受信遅延部１０５において遅延させるようにすれば、同期処理を行わなくても本発明の効果を得ることができる。
【００９８】
＜変形例１２＞
実施形態においては、出力部１０５３−１は、同期期間の開始時点から受信遅延時間に対応する時間は、受信映像データの出力を行わなかったが、それまでに入力された受信映像データのうち、最後のフレームに対応する映像に係るデータを受信映像データとして出力してもよい。一方、出力部１０５３−１は、同期期間の終了時点から所定の遅延時間に対応する時間は、遅延処理されていない受信映像データと遅延処理された受信映像データが入力され、遅延処理されていない受信映像データを優先して出力していたが、遅延処理された受信映像データに係る映像を徐々に薄くし、遅延処理されていない受信映像データに係る映像を薄い表示から徐々に濃く表示するようにして、クロスフェード効果を与えた受信映像データを生成して出力するようにしてもよい。このようにすると、同期期間の開始時点、終了時点における表示の切り替えの違和感を低減することができる。なお、本変形例については、出力部１０７３−１にも適用可能である。
【図面の簡単な説明】
【００９９】
【図１】実施形態に係る通信装置の接続の状態を示すブロック図である。
【図２】実施形態に係る通信装置のハードウエアの構成を示すブロック図である。
【図３】実施形態に係る通信装置のソフトウエアの構成を示すブロック図である。
【図４】ＤＰマッチングを行う際のＤＰプレーンを示す説明図である。
【図５】実施形態に係る受信遅延部のソフトウエアの構成を示すブロック図である。
【図６】実施形態に係る送信遅延部のソフトウエアの構成を示すブロック図である。
【図７】実施形態に係る送信遅延バッファにおける処理の説明図である。
【図８】実施形態に係る通信装置におけるソフトウエアの処理の説明図である。
【図９】実施形態に係る通信装置におけるソフトウエアの処理の説明図である。
【図１０】変形例１に係る受信遅延部のソフトウエアの構成を示すブロック図である。
【図１１】変形例１に係る受信遅延バッファにおける処理の説明図である。
【図１２】変形例２に係る通信装置のソフトウエアの構成を示すブロック図である。
【図１３】変形例３に係る通信装置のソフトウエアの構成を示すブロック図である。
【図１４】変形例９に係る通信装置のハードウエアの構成を示すブロック図である。
【符号の説明】
【０１００】
１…通信装置、１０…バス、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶部、１４ａ…楽曲データ記憶領域、１５…操作部、１６…表示部、１７…音声出力部、１８…映像入力部、１９…音声入力部、２０…通信部、２１…制御信号出力部、１００…通信網、１０１…楽曲データ選択部、１０２…タイムアライメント部、１０３…データ読出部、１０４…データ処理部、１０５…受信遅延部、１０５１−１、１０５１−２…選択部、１０５２−１、１０５２−２…受信遅延バッファ、１０５３−１、１０５３−２…出力部、１０５４−１、１０５４−２…可変遅延バッファ、１０６…映像合成部、１０７…送信遅延部、１０７１−１、１０７１−２…選択部、１０７２−１、１０７２−２…送信遅延バッファ、１０７３−１、１０７３−２…出力部、１０８…タイムコード生成部、１０９…拍検出部
【図１】
2008244889.tif 000003
【図２】
2008244889.tif 000004
【図３】
2008244889.tif 000005
【図４】
2008244889.tif 000006
【図５】
2008244889.tif 000007
【図６】
2008244889.tif 000008
【図７】
2008244889.tif 000009
【図８】
2008244889.tif 000010
【図９】
2008244889.tif 000011
【図１０】
2008244889.tif 000012
【図１１】
2008244889.tif 000013
【図１２】
2008244889.tif 000014
【図１３】
2008244889.tif 000015
【図１４】
2008244889.tif 000016