(57)【要約】【課題】  受信映像・音声に対する返信映像・音声の撮影・録音を、受信映像・音声を再生しながら、受信者の制御によって対話的に行い、なおかつ、送信者に効果的にメッセージを伝えることができるビデオメール通信方法を提供する。【解決手段】  受信したビデオメールＭ１の再生と、受信者の様子の撮影・録音（Ｍ２）を同時に行い、受信者が送信者にメッセージを残したいときには、受信者の入力（返信ボタン選択）によって再生を一時停止する。再生が一時停止されている間、受信者は送信者に対するメッセージを残す。メッセージの録音が終了すると、受信者の入力（返信終了ボタン選択）によって再生を再開する。この際、再生が一時停止された時刻（Ｓ０〜Ｓ２）と、再生が一時停止されてから再開されるまでの経過時間（ｄ０〜ｄ２）を対にして記録する。送信者側では、Ｍ１をＳ０〜Ｓ２とｄ０〜ｄ２にもとづいて一時停止しながら、Ｍ２と同期させて再生する。【選択図】  図５
2005142818.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを介して相互に接続された複数の通信端末装置が、利用者の入力に応じて、撮影・録音された映像・音声データをやりとりするビデオメール通信方法において、
ビデオメールの受信者が操作する第１の通信端末装置が、前記ビデオメールを再生しながら、前記受信者の様子を撮影・録音し、前記ビデオメールの再生を一時停止するための第１の入力を待機する第１のステップと、
前記第１の通信端末装置が、前記第１の入力を受け付けると、前記ビデオメールの再生を一時停止して、一時停止時刻を記録し、前記受信者に前記ビデオメールの送信者に対するメッセージを発するように促すとともに、前記ビデオメールの再生を再開するための第２の入力を待機する第２のステップと、
前記第１の通信端末装置が、前記第２の入力を受け付けると、前記ビデオメールの再生を再開し、前記第１の入力から前記第２の入力までの経過時間を、前記一時停止時刻と対応させて記録する第３のステップと、
前記第１の通信端末装置が、前記ビデオメールの再生が終了するまで、前記第１のステップから前記第３のステップを反復し、前記ビデオメールの再生が終了すると、前記受信者の様子の撮影・録音を終了する第４のステップと、
前記第１の通信端末装置が、前記ビデオメールの送信者が操作する第２の通信端末装置に、前記受信者の様子が撮影・録音された映像・音声データとともに、前記一時停止時刻のデータおよび前記経過時間のデータを返信する第５のステップを有することを特徴とするビデオメール通信方法。
【請求項２】
前記第１の通信端末装置が、前記第４のステップと前記第５のステップの間で、前記受信者の様子が撮影・録音された映像・音声データのうち、前記第１の入力の時刻から前記第２の入力の時刻に対応する各箇所において、該箇所の音声レベルが、所定の時間以上にわたって所定のレベル以下となる部分を削除し、削除した部分に対応する時間を前記経過時間から差し引ひいた時間を、前記経過時間に上書き記録する第６のステップをさらに有する、請求項１に記載のビデオメール通信方法。
【請求項３】
前記第２の通信端末装置が、前記第１の通信端末装置から、前記受信者の様子が撮影・録音された映像・音声データと、前記一時停止時刻のデータと、前記経過時間のデータを受信し、前記ビデオメールと、前記受信者の様子が撮影・録音された映像・音声データの同時再生を開始する第７のステップと、
前記第２の通信端末装置が、前記ビデオメールの再生時刻が前記一時停止時刻になったのを検出すると、前記ビデオメールの再生を、前記一時停止時刻と対応する前記経過時間だけ一時停止する第８のステップをさらに有する、請求項１または２に記載のビデオメール通信方法。
【請求項４】
請求項１または２に記載の各ステップを、前記通信端末装置となるべきコンピュータに実行させるビデオメール通信プログラム。
【請求項５】
請求項３に記載の前記第７のステップおよび前記第８のステップを、前記通信端末装置となるべきコンピュータに実行させるビデオメール通信プログラム。
【請求項６】
利用者の入力に応じて、ネットワークから、撮影・録音された映像・音声データを送受信するビデオメール通信端末装置において、
ビデオメールを受信すると、前記ビデオメールを再生しながら、受信者の様子を撮影・録音し、前記ビデオメールの再生を一時停止するための第１の入力を待機する第１の手段と、
前記第１の入力を受け付けると、前記ビデオメールの再生を一時停止して、一時停止時刻を記録し、前記受信者に前記ビデオメールの送信者に対するメッセージを発するように促すとともに、前記ビデオメールの再生を再開するための第２の入力を待機する第２の手段と、
前記第２の入力を受け付けると、前記ビデオメールの再生を再開して、前記第１の入力から前記第２の入力までの経過時間を、前記一時停止時刻と対応させて記録する第３の手段と、
前記ビデオメールの再生が終了するまで、前記第１の手段から前記第３の手段に処理を反復させ、前記ビデオメールの再生が終了すると、前記受信者の様子の撮影・録音を停止する第４の手段と、
前記ビデオメールの送信者が操作するビデオメール通信端末装置に、前記受信者の様子が撮影・録音された映像・音声データとともに、前記一時停止時刻のデータおよび前記経過時間のデータを返信する第５の手段を有することを特徴とするビデオメール通信端末装置。
【請求項７】
前記受信者の様子が撮影・録音された映像・音声データのうち、前記第１の入力の時刻から前記第２の入力の時刻に対応する各箇所において、該箇所の音声レベルが、所定の時間以上にわたって所定のレベル以下となる部分を削除し、削除した部分に対応する時間を前記経過時間から差し引ひいた時間を、前記経過時間に上書き記録する第６の手段をさらに有する、請求項６に記載のビデオメール通信装置。
【請求項８】
前記ビデオメールの返信として、前記受信者の様子が撮影・録音された映像・音声データと、前記一時停止時刻のデータと、前記経過時間のデータを受信し、前記ビデオメールと、前記受信者の様子が撮影・録音された映像・音声データの同時再生を開始する第７の手段と、
前記ビデオメールの再生時刻が前記一時停止時刻になったのを検出すると、前記ビデオメールの再生を、前記一時停止時刻と対応する前記経過時間だけ一時停止する第８の手段をさらに有する、請求項６または７に記載のビデオメール通信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声を用いた非同期型コミュニケーション技術であるビデオメール通信技術に関する。
【背景技術】
【０００２】
近年、ネットワークのインフラ整備、ブロードバンド化が進み、コンピュータ、ビデオカメラ、カメラ付き携帯電話が普及したことにより、日常生活においても、大量の映像・音声データの送受信が可能になってきている。
【０００３】
こうしたなか、映像・音声によるコミュニケーション技術も進展してきている。映像・音声によるコミュニケーション技術には、例えばテレビ電話がある。テレビ電話は、お互いの表情や表現のニュアンスをも伝えることができるという長所を有する。しかしながら、テレビ電話は、同期型コミュニケーション技術であるため、手軽さに欠けるという短所を有する。
【０００４】
この点、ビデオメール通信は、映像・音声によるコミュニケーション技術の長所を維持しつつ、通常のテキスト電子メールと同じ非同期型コミュニケーション技術であるため、相手の場所・都合などを選ばない、自由度のあるコミュニケーション技術であるといえる。
【０００５】
ビデオメール通信に関しては、すでにいくつかの発明が開示されている。
【０００６】
例えば、特開２００１−２８５８０６号公報（特許文献１）に記載の「映像・音声作成方法およびシステム」は、映像・音声を含む電子メールでの引用返信を実現する発明である。返信者（受信者）は、受信映像・音声の引用範囲と、新たに撮影・録音した返信映像・音声の対応、および、その再生順序を決定し、これをメタデータとして、返信映像・音声とともに返信する。これにより、相手（送信者・返信の受信者）側で対話的な映像・音声の再生が可能になるというものである。
【０００７】
また、特開２００２−２９０９０１号公報（特許文献２）に記載の「視聴者映像記録再生装置」は、送信者からの映像・音声を再生しながら、視聴者（受信者）の様子を撮影・録音し、視聴者の歓声が検知された場面の映像・音声を記録する。視聴者からの返信を受けた送信者が、歓声が検知された場面の視聴者映像・音声を、送信した映像・音声と交互に再生したり、子画面にインポーズとして再生したりすることができる発明である。
【特許文献１】特開２００１―２８５８０６号公報
【特許文献２】特開２００２―２９０９０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献に記載のビデオメール通信には、次のような問題点がある。
【０００９】
まず、特許文献１に記載の発明については、返信映像・音声の撮影・録音が、受信映像・音声の再生とは別に行われるため、返信映像・音声の撮影・録音の操作が対話的ではなく、返信映像・音声の撮影・録音の不便さ・難しさは解消されていない。また、映像・音声の配置順序を手動で決定しなければいけないという返信作業の煩雑さも未解決のままである。
【００１０】
また、特許文献２に記載の発明については、視聴者の歓声のみによって映像・音声の記録を制御しており、視聴者が望む任意の箇所での記録が難しい。また、視聴者映像・音声を記録している間も受信映像・音声の再生は進んでしまうため、受信映像・音声に対する感想や相手へのメッセージを伝えるほどの時間的余裕がない。
【００１１】
さらに、ビデオメール通信一般には、次のような問題点がある。
【００１２】
慣れない初心者が、いざビデオメール通信用の映像・音声を撮影・録音しようとしたとき、何を話していいか分からなかったり、あらかじめ話の構成を考えていたとしても途中で忘れてしまったりと、電話やテキスト電子メールなどの他のコミュニケーション技術の場合と比較して、うまくいかないことが多い。映像・音声の撮影・録音は時間の流れが強制的であり、テキストメールのように内容を視覚で確認しながら自分の好みの速度で記録を進めることができないためである。
【００１３】
これを映像・音声による返信を受け取る側の視点から見ると、返信映像・音声の再生中に何度も話者が話につまるなど、内容に空白やポーズが目立つものは、返信内容の理解が困難になるなど、コミュニケーションの効率を下げてしまう。そしてなにより、映像・音声として魅力的ではない。撮影・録音した映像・音声をより効果的・魅力的にするための映像・音声編集用ソフトウェアも存在するが、使用にはある程度の知識・経験が必要とされる。
【００１４】
そこで本発明の目的は、受信映像・音声に対する返信映像・音声の撮影・録音を、受信映像・音声を再生しながら、返信者（受信者）の制御によって対話的に行い、なおかつ、返信の受信者（送信者）に効果的にメッセージを伝えることができるビデオメール通信方法を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するために、本発明は、ビデオメール通信端末装置が、受信したビデオメールの再生と、受信者の様子の撮影・録音を同時に行い、受信者がビデオメールの送信者にメッセージを残したいときには、受信者の入力によって、ビデオメールの再生を一時停止する。ビデオメールの再生が一時停止されている間、受信者は送信者に対するメッセージを残す。メッセージの録音が終了すると、受信者の入力によって、ビデオメールの再生を再開する。
【００１６】
この際、ビデオメールの再生が一時停止された一時停止時刻と、ビデオメールの再生が一時停止されてから再開されるまでの経過時間を対にして記録する。
【００１７】
以上の処理は、ビデオメールの再生が終了するまで反復され、受信者は、ビデオメールの任意の再生箇所に対応する、受信者の様子が撮影・録音された映像・音声データの箇所に、送信者に対するメッセージを残すことができる。また、それ以外のすべての箇所でも、ビデオメールに対する受信者のリアクションを残すことができる。
【００１８】
ビデオメールの返信を行う場合には、受信者の様子が撮影・録音された映像・音声データと、上記一時停止時刻のデータと、上記経過時間のデータを返信する。
【００１９】
なお、受信者の様子が撮影・録音された映像・音声データのうち、ビデオメールの再生が一時停止された箇所に対応する箇所では、無音区間の削除を行うことが好ましい。この際、無音区間に対応する時間を上記経過時間から差し引いた時間を、新たに経過時間とする。こうすると、受信者が言葉に詰まっている区間が削除され、送信者へのメッセージ伝達が効率的になる。
【００２０】
ビデオメールの返信として、受信者の様子が撮影・録音された映像・音声データと、上記一時停止時刻のデータと、上記経過時間のデータを受信した、送信者の操作するビデオメール通信端末装置は、自ら送信したビデオメールと、受信者の様子が撮影・録音された映像・音声データを同時に再生する。そして、自ら送信したビデオメールの再生時刻が、上記一時停止時刻になるたびに、ビデオメールの再生を一時停止する。ビデオメールの再生が一時停止されている間も、受信者の様子が撮影・録音された映像・音声データは再生されつづけ、しかも、この間には、受信者が送信者に対して残したメッセージが再生される。上記一時停止時刻から上記経過時間が経過すると、ビデオメールの再生が再開される。
【００２１】
以上により、ビデオメールに対する受信者のリアクションだけでなく、受信者の送信者に対するメッセージも効率的に伝えることができる。
【発明の効果】
【００２２】
以上説明したように、本発明によれば、テキスト電子メールで用いられる引用や、通常の会話に近い感覚で、対話的な返信が可能になる。
【００２３】
また、返信映像・音声の撮影時の余分な無音部分も自動的にカットされるため、受け手へのメッセージ伝達も効果的になる。
【発明を実施するための最良の形態】
【００２４】
次に、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２５】
図１を参照すると、本発明の一実施形態のビデオメール通信端末装置１００は、キーボード１０１と、マウス１０２と、制御部１０３と、カメラ１０４と、マイク１０５と、映像・音声取得部１０６と、音声レベル測定部１０７と、映像・音声再構成部１０８と、映像・音声再生部１０９と、ディスプレイ１１０と、スピーカ１１１と、記憶部１１２と、送受信部１１３を含む。
【００２６】
キーボード１０１とマウス１０２は、制御部１０３に、ユーザからの制御情報を送信する。
【００２７】
制御部１０３は、キーボード１０１とマウス１０２から受信した制御情報にもとづいて、映像・音声取得部１０６と、音声レベル測定部１０７と、映像・音声再構成部１０８と、映像・音声再生部１０９と、送受信部１１３を制御する。また、記憶部１１２に、後述する、送信映像・音声と返信映像・音声を再構成して再生するのに必要なタイムライン情報Ｔを記録する。
【００２８】
カメラ１０４とマイク１０５は、映像・音声取得部１０６に、撮影・録音した映像・音声データを送信する。
【００２９】
映像・音声取得部１０６は、カメラ１０４とマイク１０５から受信した映像・音声データを取得する。また、音声データを音声レベル測定部１０７に送信して、音声レベル測定部１０７に無音区間の検出を行わせ、その結果を受信して、映像・音声データの編集を行う。さらに、編集した映像・音声データを記憶部１１２に記録する。
【００３０】
音声レベル測定部１０７は、映像・音声取得部１０６から受信した音声データの無音区間を検出し、その結果を映像・音声取得部１０６に送信する。
【００３１】
映像・音声再構成部１０８は、記憶部１１２または送受信部１１３から取得した映像・音声データ、記憶部１１２から取得したタイムライン情報Ｔにより、送信映像・音声データと返信映像・音声データの再構成を行う。再構成したデータは、映像・音声再生部１０９に送信する。
【００３２】
映像・音声再生部１０９は、映像・音声再構成部１０８から再構成された映像・音声データを受信した場合には、これらのデータをディスプレイ１１０とスピーカ１１１に送信する。また、制御部１０３から再生の一時停止の制御を受けた場合には、記憶部１１２にタイムライン情報Ｔを記録する。
【００３３】
ディスプレイ１１０とスピーカ１１１は、映像・音声再生部１０９から映像・音声データを受信し、映像・音声の再生を行う。
【００３４】
記憶部１１２は、映像・音声データやタイムライン情報Ｔなどを保存している。
【００３５】
送受信部１１３は、ネットワークから映像・音声データやタイムライン情報Ｔを受信し、ネットワークへ映像・音声データやタイムライン情報Ｔを送信する。
【００３６】
図２を参照すると、ビデオメール通信端末装置１００を用いたビデオメール通信システムの一例が示されている。端末Ａが、送信者（返信の受信者）の操作する端末であり、端末Ｂが、受信者（返信者）の操作する端末である。
【００３７】
端末Ａは、撮影・録音した映像・音声Ｍ１を、端末Ｂの電子メールアドレスとともに、ネットワーク上のサーバに送信する。サーバはこれを保存し、サーバ上の映像・音声Ｍ１の保存場所情報を、端末Ｂの電子メールアドレス宛に送信する。
【００３８】
端末Ｂは、サーバ上にある映像・音声Ｍ１にアクセスし、映像・音声Ｍ１のストリーミング再生を開始する。端末Ｂは、映像・音声Ｍ１を再生しながら、返信用の映像・音声Ｍ２を撮影・録音し、さらに、映像・音声Ｍ１と映像・音声Ｍ２の対応情報であるタイムライン情報Ｔを作成する。
【００３９】
端末Ｂは、映像・音声Ｍ２およびタイムライン情報Ｔの作成が終了すると、映像・音声Ｍ２を、端末Ａの電子メールアドレスとともに、サーバに送信する。サーバはこれを保存し、サーバ上の映像・音声Ｍ２の保存場所情報を、端末Ａの電子メールアドレス宛に送信する。また、端末Ｂは、電子メールでタイムライン情報Ｔを端末Ａに送信する。
【００４０】
端末Ａは、サーバ上にある映像・音声Ｍ２にアクセスして、映像・音声Ｍ２のストリーミングデータを受信し、タイムライン情報Ｔにもとづいて、映像・音声Ｍ１と映像・音声Ｍ２を再構成して再生する。
【００４１】
図３を参照すると、端末Ｂにおいて、受信映像・音声Ｍ１の再生と、返信映像・音声Ｍ２の撮影・録音を行う際の処理の流れを示すフローチャートが示されている。以下、ステップ３０１〜３１２を、図４〜６を参照しながら詳細に説明する。
【００４２】
ステップ３０１で、ユーザが、キーボード１０１やマウス１０２を用いて、映像・音声Ｍ１の再生開始を指示すると、送受信部１１３が、映像・音声Ｍ１のストリーミングデータの受信を開始する。そして、映像・音声再生部１０９が、送受信部１１３から、このストリーミングデータを受信し、ディスプレイ１１０とスピーカ１１１を通じて、映像・音声Ｍ１を再生する。また、映像・音声取得部１０６が、カメラ１０４とマイク１０５を通じて、映像・音声Ｍ１を視聴中のユーザの様子（映像・音声Ｍ２）の撮影・録音を開始する。
【００４３】
図４を参照すると、端末Ｂにおいて、受信映像・音声Ｍ１の再生と、返信映像・音声Ｍ２の撮影・録音を行う際に、ディスプレイ１１０に現れる画面の一例が示されている。
【００４４】
映像Ｍ１をメイン画面、映像Ｍ２をサブ画面で表示している。返信ボタンと返信終了ボタンは、キーボード１０１やマウス１０２によって選択できるものである。
【００４５】
再生箇所が映像・音声Ｍ１の終わりになっていなければ（ステップ３０２）、ステップ３０３で、映像・音声Ｍ１を視聴中のユーザは、視聴中の映像・音声Ｍ１に応答したい場面がある場合、ディスプレイ１１０の画面上の返信ボタンを選択する。
【００４６】
ステップ３０３で返信ボタンが選択されると、ステップ３０４で、映像・音声再生部１０９は、映像・音声Ｍ１の再生を一時停止する。そして、映像・音声再生部１０９は、停止が映像・音声Ｍ１の全体においてどの時刻（Ｓｎ）でなされたかを、タイムライン情報Ｔとして、記憶部１１２に記録する。
【００４７】
図５を参照すると、映像・音声Ｍ１の再生と視聴ユーザの反応（返信ボタンと返信終了ボタンの選択）、および、映像・音声Ｍ２の撮影・録音の時間の流れが示されている。図５の例では、最初の返信ボタン選択で、Ｓ０＝０’１８”をタイムライン情報Ｔとして、記憶部１１２に記録する。
【００４８】
そして、映像・音声Ｍ１の視聴ユーザは、撮影中のカメラ１０４に向かって応答メッセージを話す。
【００４９】
ステップ３０５で、ユーザは、応答メッセージを話し終わったら、ディスプレイ１１０の返信終了ボタンを選択する。
【００５０】
ステップ３０６で、制御部１０３は、ステップ３０３で返信ボタンが選択された時刻から、ステップ３０５で返信終了ボタンが選択された時刻までの経過時間ｄｎ（応答メッセージに要した時間）を計算し、Ｓｎと対にして、タイムライン情報Ｔとして、記憶部１１２に記録する。
【００５１】
図５の例では、最初の返信終了ボタン選択で、ｄ０＝０’１５”をＳ０＝０’１８”と対にして、タイムライン情報Ｔとして、記憶部１１２に記録する。
【００５２】
そして、映像・音声再生部１０９は、一時停止中の映像・音声Ｍ１の再生を再開する。
【００５３】
このように視聴ユーザは、再生中の映像・音声Ｍ１に対して、応答したい場面で返信ボタンを選択し、メッセージを話し終わったら返信終了ボタンを選択することで、映像・音声Ｍ１の再生を制御しながら、映像・音声Ｍ２の撮影・録音を進めていく。ステップ３０３からステップ３０６が、再生箇所が映像・音声Ｍ１の終わりになる（ステップ３０２）まで繰り返される。終わりになると、ステップ３０７で、映像・音声取得部１０６は、映像・音声Ｍ２の撮影・録音を停止する。
【００５４】
図５の例では、映像・音声Ｍ２の撮影・録音が停止される（ステップ３０７）までに、返信ボタンと返信終了ボタンが３回ずつ選択されている。その結果、記憶部１１２に記録されているタイムライン情報Ｔは、表１のようになる。
【００５５】
【表１】
2005142818.tif 000003
ステップ３０８で、制御部１０３は、記憶部１１２内のタイムライン情報Ｔが空でないかどうかを調べる。
【００５６】
視聴ユーザが意図的に返信ボタンを一度も選択しなかった場合、タイムライン情報Ｔは空になる。この場合も、映像・音声Ｍ１を視聴しているユーザの様子を撮影・録音した映像・音声Ｍ２をそのまま返信用映像・音声として使用することもできる。しかし、映像・音声Ｍ１を再度視聴してメッセージを残したいという場合も考えられる。
【００５７】
そこで、ステップ３０９で、制御部１０３は、ディスプレイ１１０を通じて、このまま処理を続けるかどうかをユーザに確認する。もう一度再生する場合にはステップ３０１に戻る。もう再生しない場合は、ステップ３１２で、映像・音声取得部１０６は、映像・音声Ｍ２を記憶部１１２に記録する。
【００５８】
ステップ３０８でタイムライン情報Ｔが空でない場合、ステップ３１０で、音声レベル測定部１０７は、映像・音声Ｍ２のうち、返信ボタンが選択（ステップ３０３）されてから返信終了ボタンを選択（ステップ３０５）されるまでの間について、話しにつまって無言になっている部分など、規定レベル以下の音声があらかじめ決めておいた時間以上続く区間を検出する。
【００５９】
ステップ３１１で、映像・音声取得部１０６は、これらの区間を公知の技術によりカットしてできた映像・音声を作成する。制御部１０３は、カットした部分を差し引いた所要時間を再計算して、これをｄｎとする。
【００６０】
図６を参照すると、端末Ｂにおいて、返信映像・音声Ｍ２の無音区間をカットする一例が示されている。
【００６１】
ステップ３１２で、映像・音声取得部１０６は、ステップ３１１で編集された映像・音声Ｍ２を記憶部１１２に記録する。制御部１０３は、再計算されたｄｎを、記憶部１１２に記録されているｄｎに上書きする。
【００６２】
図７を参照すると、端末Ａにおいて、送信映像・音声Ｍ１と返信映像・音声Ｍ２を再構成して再生する際の処理の流れを示したフローチャートが示されている。以下、ステップ７０１〜７０５を、図８〜９を参照しながら詳細に説明する。
【００６３】
ステップ７０１で、ユーザが、キーボード１０１やマウス１０２で、映像・音声Ｍ２の再生開始を指示すると、送受信部１１３が、映像・音声Ｍ２のストリーミングデータの受信を開始する。映像・音声構成部１０８が、送受信部１１３から、このストリーミングデータを受信する。さらに、映像・音声構成部１０８は、記憶部１１２から、端末Ａが送信した映像・音声Ｍ１と、端末Ｂから電子メールで既に受信しているタイムライン情報Ｔを取得する。映像・音声構成部１０８は、映像・音声Ｍ１と映像・音声Ｍ２の同期を取ったうえで、これらのデータを映像・音声再生部１０９に送信する。映像・音声再生部１０９は、ディスプレイ１１０とスピーカ１１１を通じて、映像・音声Ｍ１と映像・音声Ｍ２を再生する。
【００６４】
図８（ａ）を参照すると、端末Ａにおいて、送信映像・音声Ｍ１と返信映像・音声Ｍ２を再構成して再生する際に、ディスプレイ１１０に現れる画面の一例が示されている。図８（ａ）では、メイン画面で映像Ｍ２、サブ画面で映像Ｍ１を再生している。なお、図８（ｂ）のように、メイン画面のみの構成にしてもよい。メイン画面とサブ画面の実現（メイン画面へのサブ画面の挿入）、各々に表示する映像の切り替えなどの制御は、公知の技術により実現される。
【００６５】
映像・音声構成部１０８が映像・音声Ｍ１の終了を検出しなければ（ステップ７０２）、ステップ７０３で、映像・音声構成部１０８は、映像・音声Ｍ１の再生箇所ｔがタイムライン情報Ｔの返信ポイントＳｎに達したことを検出する。
【００６６】
ステップ７０３で返信ポイントＳｎが検出されると、ステップ７０４で、映像・音声構成部１０８は、映像・音声Ｍ１のデータの送信を一時停止する。その結果、映像・音声再生部１０９は、映像・音声Ｍ１の再生を一時停止することになる。図８（ａ）の例では、サブ画面の映像Ｍ１をＯＦＦとして、メイン画面のみの構成で映像Ｍ２を表示する。この状態をメッセージの所要時間ｄｎの間保持する。
【００６７】
ステップ７０４でメッセージの所要時間ｄｎが過ぎたら、ステップ７０５で、映像・音声構成部１０８は、映像・音声Ｍ１のデータの送信を再開する。そして、映像・音声再生部１０９は、映像・音声Ｍ１の再生を再開する。図８（ａ）の例では、サブ画面に映像Ｍ１の表示を再開する。このように、映像・音声構成部１０８は、タイムライン情報Ｔにもとづいて、映像・音声Ｍ１と映像・音声Ｍ２の再生を制御する。
【００６８】
図９を参照すると、端末Ａにおける、送信映像・音声Ｍ１と返信映像・音声Ｍ２の再構成が時間の流れで示されている。図９は、端末Ｂのユーザが映像・音声Ｍ１の視聴中に、図５に示すように反応して撮影・録音され、図６に示すように規定音声レベル以下の区間をカットされた返信映像・音声Ｍ２を、映像・音声Ｍ１と再構成したものに相当する。
【００６９】
なお、タイムライン情報Ｔが空で返信ポイントＳｎが存在しない場合は、映像・音声Ｍ１と映像・音声Ｍ２を、最初から最後までを一度も一時停止しないで表示することになる。
【００７０】
図１０を参照すると、ビデオメール通信端末装置１００を用いたビデオメール通信システムの他の例を示されている。
【００７１】
図２のシステムとの相違点は、サーバが存在せず、映像・音声をビデオメール通信端末装置１００のみで保存する点である。したがって、映像・音声を再生する場合、サーバからストリーミングデータを受信して再生するのではなく、記憶部１１２に保存されている映像・音声データを再生する。また、端末Ａは、映像・音声Ｍ２も電子メールで受信する。
【００７２】
なお、ビデオメール通信端末装置１００は、専用のハードウェアにより実現する以外に、その機能を実現するためのプログラムを、コンピュータ読み取りが可能な記録媒体に記録して、この記録媒体に記録されたプログラムをビデオメール通信端末装置１００となるべきコンピュータシステム（携帯型を含む）に読み込ませて実行することにより、実現するものでもよい。コンピュータ読み取りが可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取りが可能な記録媒体とは、インターネットを介してプログラムを送信する場合のように、短時間の間に、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、コンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００７３】
【図１】本発明の一実施形態のビデオメール通信端末装置１００の構成を示した図である。
【図２】ビデオメール通信端末装置１００を用いたビデオメール通信システムの一例を示した図である。
【図３】返信者の操作するビデオメール通信端末装置１００において、受信映像・音声の再生と、返信映像・音声の撮影・録音を行う際の処理の流れを示すフローチャートである。
【図４】返信者の操作するビデオメール通信端末装置１００において、受信映像・音声の再生と、返信映像・音声の撮影・録音を行う際に、ディスプレイ１１０に現れる画面の一例を示した図である。
【図５】返信者の操作するビデオメール通信端末装置１００における、受信映像・音声の再生とそれに対する返信者の反応（返信ボタン選択、返信終了ボタン選択）、および、返信映像・音声の撮影・録音を時間の流れで示した図である。
【図６】返信者の操作するビデオメール通信端末装置１００において、返信映像・音声の無音区間をカットする一例を示した図である。
【図７】送信者の操作するビデオメール通信端末装置１００において、送信映像・音声と返信映像・音声を再構成して再生する際の処理の流れを示したフローチャートである。
【図８】（ａ）は、送信者の操作するビデオメール通信端末装置１００において、送信映像・音声と返信映像・音声を再構成して再生する際に、ディスプレイ１１０に現れる画面の一例を示した図である。（ｂ）は、他の例を示した図である。
【図９】送信者の操作するビデオメール通信端末装置１００における、送信映像・音声と返信映像・音声の再構成を時間の流れで示した図である。
【図１０】ビデオメール通信端末装置１００を用いたビデオメール通信システムの他の例を示した図である。
【符号の説明】
【００７４】
１００  ビデオメール通信端末装置
１０１  キーボード
１０２  マウス
１０３  制御部
１０４  カメラ
１０５  マイク
１０６  映像・音声取得部
１０７  音声レベル測定部
１０８  映像・音声再構成部
１０９  映像・音声再生部
１１０  ディスプレイ
１１１  スピーカ
１１２  記憶部
１１３  送受信部
３０１〜３１２  ステップ
７０１〜７０５  ステップ
【図１】
2005142818.tif 000004
【図２】
2005142818.tif 000005
【図３】
2005142818.tif 000006
【図４】
2005142818.tif 000007
【図５】
2005142818.tif 000008
【図６】
2005142818.tif 000009
【図７】
2005142818.tif 000010
【図８】
2005142818.tif 000011
【図９】
2005142818.tif 000012
【図１０】
2005142818.tif 000013