(57)【特許請求の範囲】
【請求項１】
ネットワークを介して接続されたデータ受信装置に、１または２種以上のデータから成る動画データを送信するデータ送信装置において、
上記動画データを構成する一部の静止画データと、上記動画データに含まれる全音声データとを抽出する抽出手段と、
上記抽出手段の抽出した一部の静止画データと、上記動画データに含まれる全音声データとを含んで構成される先送りデータを作成する先送りデータ作成手段と、
上記先送りデータを上記データ受信装置へ送信する送信手段と、
上記動画データに含まれていながら上記先送りデータに含まれていないものを含んだデータ（以下“分割送信データ”という）を、上記データ受信装置に複数回に分けて分割送信する分割送信手段と、を有し、
上記抽出手段は、上記動画データを構成する１フレーム毎の静止画データに付加されているヘッダ情報に基づいて、上記静止画データと上記音声データとを区別して上記音声データを取り出し、取り出した上記音声データの全てを結合して、上記全音声データを作成すること
を特徴とするデータ送信装置。
【請求項２】
請求項１記載のデータ送信装置において、
上記先送りデータには、上記分割送信データおよび／または上記分割送信データに含まれているデータを示す、リンク情報も含まれること、
を特徴とするデータ送信装置。
【請求項３】
請求項１または２記載のデータ送信装置において、
上記抽出手段が抽出する上記動画データを構成する一部の静止画データの選択を受け付ける選択手段を、さらに有すること
を特徴とするデータ送信装置。
【請求項４】
請求項３記載のデータ送信装置において、
上記選択手段は、上記動画データを再生するとともに、該再生される動画データに含まれている上記静止画データのうちの一部の静止画データの選択を受け付けるものであること、
を特徴とするデータ送信装置。
【請求項５】
請求項１または２記載のデータ送信装置において、
上記データ受信装置からの上記分割送信の実行要求を受け付ける分割送信受付手段を有し、
上記分割送信手段は、上記分割送信受付手段が上記実行要求を受け付けた場合に上記分割送信データの分割送信を開始するものであること、
を特徴とするデータ送信装置。
【請求項６】
請求項１または２記載のデータ送信装置において、
上記分割送信において上記分割送信手段が１回に送るデータ量は、予め定められた最大データサイズ以下であること、
を特徴とするデータ送信装置。
【請求項７】
請求項６記載のデータ送信装置において、
上記１回に送るデータの量を下記数１に基づいて決定するデータサイズ決定手段を有すること、
【数１】
0003628359.tif 000006
ｄｐ：１回に送るデータの量(Byte)
ＶＬ：上記ネットワークの伝送速度（bit/sec）
ｔｃ：上記ネットワークを介しての通信における予め決                           定された遅延の許容時間（sec）
ｔｅ：ユーザが予め設定する余裕時間（sec），ｔｅ＞０
を特徴とするデータ送信装置。
【請求項８】
請求項１または２記載のデータ送信装置において、
上記分割送信手段は、上記分割送信における各回毎の送信を、別途定められた転送間隔以上の時間間隔をあけて行うものであること、
を特徴とするデータ送信装置。
【請求項９】
請求項８記載のデータ送信装置において、
上記転送間隔を下記数２に基づいて決定する転送間隔決定手段を有すること、
【数２】
0003628359.tif 000007
ｔｄ：転送間隔（sec）
Ｖｄ：上記分割送信に使用可能な上記ネットワークの                             伝送帯域の割当て幅（bit/sec）
ｄｐ：分割送信手段が１回に送るデータの量(Byte)
Ｃ：別途求められる、予め定められた時点において                             上記分割送信データの送信を並行して行なって                              いる該データ送信装置の台数（組）
ｔｉ：上記ネットワークのデータ無伝送検知時間
を特徴とするデータ送信装置。
【請求項１０】
ネットワークを介して接続された複数の情報処理端末間で、少なくとも動画を含んだビデオメールを転送するビデオメールシステムにおいて、
上記ビデオメールを送信する送信端末と、上記ビデオメールを転送するメールサーバと、上記ビデオメールを受信する受信端末と、を有し、
上記送信端末は、
上記動画データを構成する一部の静止画データと、上記動画データに含まれる全音声データとを抽出する抽出手段と、
上記抽出手段の抽出した一部の静止画データと、上記動画データに含まれる全音声データとを含んで構成される先送りデータを作成する先送りデータ作成手段と、
上記先送りデータと、該先送りデータの受け手であるユーザを示す宛先情報とを、上記メールサーバへ送信する送信手段と、
上記動画データに含まれていながら上記先送りデータに含まれていないものを含んだデータ（以下“分割送信データ”という）を、上記メールサーバに複数回に分けて分割送信する分割送信手段と、を有し、
上記抽出手段は、上記動画データを構成する１フレーム毎の静止画データに付加されているヘッダ情報に基づいて、上記静止画データと上記音声データとを区別して上記音声データを取り出し、取り出した上記音声データの全てを結合して、上記全音声データを作成し、
上記メールサーバは、
上記送信端末から送信された先送りデータおよび上記宛先情報を受信する受信手段と、
上記送信端末から複数回に分けて送信された上記分割送信データを再構成する分割受信手段と、
上記先送りデータと、上記宛先情報と、上記再構成された分割送信データとを対応付けて記憶する記憶手段と、
上記記憶手段に記憶された先送りデータを上記受信端末へ送信する送信手段と、
上記記憶手段に記憶された上記再構成された分割送信データを、上記受信端末に複数回に分けて分割送信する分割送信手段と、
上記受信端末からの問い合わせを受け付けて、所定のユーザ宛の前記先送りデータが上記記憶手段にあるか否かを確認し、該確認の結果を上記受信端末に送信する着信返答手段と、を有し、
上記受信端末は、
上記メールサーバから送信された先送りデータを受信する受信手段と、
上記送信端末から複数回に分けて送信された上記分割送信データを再構成する分割受信手段と、
上記再構成された分割送信データを記憶する記憶手段と、
所定のユーザ宛の上記先送りデータが、上記メールサーバの記憶手段に存在するか否かを問い合わせる着信確認手段と、を有すること
を特徴とするビデオメールシステム。
【請求項１１】
請求項１０記載のビデオメールシステムにおいて、
上記送信端末の上記分割送信手段は、上記メールサーバからの要求を受け付けて、上記分割送信データの送信を開始し、
上記メールサーバの上記分割送信手段は、上記受信端末からの要求を受け付けて、上記分割送信データの送信を開始すること、
を特徴とするビデオメールシステム。
【請求項１２】
１または２種類以上のデータから成る動画データを転送するデータ転送方法において、
上記動画データを構成する一部の静止画データと、上記動画データに含まれる全音声データとを抽出する抽出ステップと、
上記抽出した一部の静止画データと、上記動画データに含まれる全音声データとを含んで構成される先送りデータを作成する作成ステップと、
上記該先送りデータを送信する送信ステップと、
上記動画データに含まれていながら上記先送りデータには含まれていないものを含んだデータ（以下”分割転送データ”という）を、複数回に分けて送信する分割送信ステップと、を有し、
上記抽出ステップは、上記動画データを構成する１フレーム毎の静止画データに付加されているヘッダ情報に基づいて、上記静止画データと上記音声データとを区別して上記音声データを取り出し、取り出した上記音声データの全てを結合して、上記全音声データを作成すること
を特徴とするデータの転送方法。
【請求項１３】
請求項１２記載のデータ転送方法において、
上記先送りデータには、上記分割転送データおよび／または上記分割転送データに含まれているデータを示す、リンク情報をも含まれること、
を特徴とするデータ転送方法。
【請求項１４】
少なくとも動画データを含んだビデオメールを転送するビデオメール転送方法において、
上記動画データを構成する一部の静止画データと、上記動画データに含まれる全音声データとを抽出する抽出ステップと、
上記抽出した一部の静止画データと、上記動画データに含まれる全音声データと、上記抽出した一部の静止画データが含まれていた動画データを示すリンク情報と、を少なくとも含んで構成される先送りデータを作成する作成ステップと、
上記該先送りデータおよび該先送りデータの受け手となるユーザを指定する宛先情報を送信する送信ステップと、
上記ビデオメールに含まれていながら上記先送りデータには含まれていないものを含んだデータ（以下”分割転送データ”という）を、複数回に分けて送信する分割送信ステップと、を有し、
上記抽出ステップは、上記動画データを構成する１フレーム毎の静止画データに付加されているヘッダ情報に基づいて、上記静止画データと上記音声データとを区別して上記音声データを取り出し、取り出した上記音声データの全てを結合して、上記全音声データを作成すること
を特徴とするビデオメール転送方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、電子メールシステムにおいて、特に動画や音声などから構成されるビデオデータを電子メールとして送付する、ビデオメールのデータ転送方式に関わる。
【０００２】
【従来の技術】
一般に、コンピュータネットワークシステムは、パーソナルコンピュータ（以下”ＰＣ”と略記）やワークステーション（以下”ＷＳ”と略記）を、公衆網やローカルエリアネットワーク（以下”ＬＡＮ”と略記）等の通信媒体により接続して構成されている。このようなコンピュータネットワークシステムにおいて、最近、動画、静止画、音声等からなるマルチメディアデータを伝送する利用形態が増えている。なお、マルチメディアデータを扱うアプリケーションプログラム（以下”ＡＰ”と略記）としては、ビデオメール等がある。
【０００３】
ところが、従来から導入され敷設されているＬＡＮ等を用いて、マルチメディアＡＰをそのまま伝送しようとすると次のような問題が生じる。従来のＡＰは、マルチメディアＡＰと比較して伝送データ量が少なかった。そのため、複数のユーザがネットワークを同時にアクセスしても、ネットワークの伝送能力を圧迫するほどのトラヒックの増大を招くことはなかった。また、トラヒックの増大を招かない運用形態を確立して使用することも可能であった。しかし、マルチメディアデータはその量が膨大であるため、これをそのまま従来からのネットワークに流したのでは、ユーザの想像以上のトラヒックの増加を招き、伝送遅延等が発生する。その結果、マルチメディアＡＰの伝送のみならず、従来からのデータ通信にも悪影響を与えることとなる。特に、従来から伝送時間に制限のあるリアルタイム性を要求されるデータ通信に対しての悪影響は深刻である。
【０００４】
このような問題点を解決するための技術としては、例えば、以下のようなものが提案されている。
【０００５】
特開平４−２６３５４５には、送信するファイルデータが予め設定された所定長を超える場合は、該ファイルデータを複数のブロックに分割し、複数回に分けて、ディレーをかけて間隔をあけて転送する技術が開示されている。該技術によれば、時間に亘る回線の占有を防止することができる。
【０００６】
また、ＲＦＣ（Ｒｅｑｕｅｓｔ  Ｆｏｒ  Ｃｏｍｍｅｎｔ）１３４１に開示されているＭＩＭＥ（Ｍｕｌｔｉｐｕｒｐｏｓｅ  Ｉｎｔｅｒｎｅｔ  Ｍａｉｌ  Ｅｘｔｅｎｓｉｏｎｓ）では、メールにテキスト以外のデータ（例えば、動画データ）が含まれているか否かを記述したエンクロージャと呼ばれる情報だけを送るマルチメディアメールの方式を提案している。この方式では、動画等の情報は、受け手が必要な場合だけ送り手から回収する。そのため、実際に伝送されるのは受け手が本当に必要だと判断したデータのみとなり、トラヒックの増加を必要最小限に抑えることができる。
【０００７】
【発明が解決しようとする課題】
前記特開平４−２６３５４５に開示された技術を適用すれば、他の端末のデータパケットが割り込む機会が増えるため、現在広く普及しているＥｔｈｅｒｎｅｔのような伝送媒体をそのまま使用しても、一つの端末の伝送媒体占有による輻輳回避を図ることはできる。しかし、その反面、データの伝送時間が従来以上にかかるという問題があった。つまり、このようなデータ転送方式は、データ量は大きいものの、リアルタイム性はそれほど要求されないデータ伝送を行なうネットワークＡＰ（例えば、ビデオメール）に対してのみ有効なものである。但し、このようなリアルタイム性の要求が小さいネットワークＡＰに対しても、使用者が増えるとデータ転送時間の遅延が大きくなる恐れがある。また、緊急を要するメールへの対応という点からは十分なものではない。
【０００８】
また、前記ＭＩＭＥは、ＲＦＣ８２２等に開示されている通常のメールシステムをマルチメディアメールに拡張したものに過ぎず、転送のプロトコル等については特に言及していない。実際に動画等の情報を送る場合に生じるトラヒックの増加への対策は示していない。
【０００９】
本発明は、既存のコンピュータネットワークシステムをそのまま用いながら、従来のネットワークアプリケーションのデータ伝送（特にリアルタイム性を要求するデータ伝送）を邪魔することなく、大容量データの伝送を可能としたデータの転送方式を提供することを目的とする。
【００１０】
本発明は、既存のコンピュータネットワークシステムをそのまま用いながら、緊急を要するメールへの対応を可能としたビデオメールシステムを提供することを目的とする。
【００１１】
本発明は、既存のコンピュータネットワークシステムに適用可能なビデオメールのデータ転送方式、ビデオメールシステムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は上記目的を達成するために成されたものでその第１の態様としては、ネットワークを介して接続されたデータ受信装置に、１または２種以上のデータから成る伝送対象データを送信するデータ送信装置において、
上記伝送対象データの一部を、予め定められた基準に従って抽出する抽出手段と、上記抽出手段の抽出したデータ（以下”抽出データ”という）を含んで構成される先送りデータを作成する先送りデータ作成手段と、上記先送りデータを上記データ受信装置へ送信する送信手段と、上記伝送対象データに含まれていながら上記先送りデータに含まれていないものを含んだデータ（以下”分割送信データ”という）を、上記データ受信装置に複数回に分けて分割送信する分割送信手段と、を有することを特徴とするデータ送信装置が提供される。
【００１３】
上記先送りデータには、上記分割送信データおよび／または上記分割送信データに含まれているデータを示すリンク情報も含まれることが好ましい。
【００１４】
上記伝送対象データは、静止画のデータ（以下”静止画データ”という）を複数枚分含んで構成される動画のデータ（以下”動画データ”という）を、含んだものであり、上記抽出データには、一部の静止画データが含まれるものであってもよい。
【００１５】
上記伝送対象データは、静止画のデータ（以下”静止画データ”という）を複数枚分含んで構成される動画のデータ（以下”動画データ”という）と、音声データと、を含んで構成されるビデオデータを含んだものであり、上記抽出データには、音声データおよび一部の静止画データが含まれてもよい。
【００１６】
上記予め定められた基準は、抽出するデータの種類、抽出されるデータの位置、ユーザによって別途選択されているか否か、のうちの少なくとも一つを含んで構成されてもよい。さらには、ユーザによる上記選択を受け付ける選択手段を有すしてもよい。
【００１７】
上記伝送対象データは、静止画のデータ（以下”静止画データ”という）を複数枚分含んで構成される動画のデータ（以下”動画データ”という）を、含んだものであり、上記選択手段は、上記動画データを再生するとともに、該再生される動画に含まれている上記静止画のうちの一部の静止画の選択を受け付けるものであることが好ましい。
【００１８】
上記データ受信装置からの上記分割送信の実行要求を受け付ける分割送信受付手段を有し、上記分割送信手段は、上記分割送信受付手段が上記実行要求を受け付けた場合に上記分割送信データの分割送信を開始するものであることが好ましい。
【００１９】
上記分割送信において上記分割送信手段が１回に送るデータの量は、予め定められた最大データサイズ以下であることが好ましい。この場合、上記１回に送るデータの量を下記数１に基づいて決定するデータサイズ決定手段を有することが好ましい。
【００２０】
【数３】
0003628359.tif 000002
【００２１】
ｄＰ：１回に送るデータの量（Ｂｙｔｅ）
ＶＬ：上記ネットワークの伝送速度（ｂｉｔ／ｓｅｃ）
ｔＣ：上記ネットワークを介しての通信における予め決定された遅延の許容時間（ｓｅｃ）
ｔｅ：ユーザが予め設定する余裕時間（ｓｅｃ），ｔｅ＞０
上記分割送信手段は、上記分割送信における各回毎の送信を、別途定められた転送間隔以上の時間間隔をあけて行うものであることが好ましい。この場合、上記転送間隔を下記数４に基づいて決定する転送間隔決定手段を有することが好ましい。
【００２２】
【数４】
0003628359.tif 000003
【００２３】
ｔｄ：転送間隔（ｓｅｃ）
Ｖｄ：上記分割送信に使用可能な上記ネットワークの伝送帯域の割当て幅（ｂｉｔ／ｓｅｃ）
ｄＰ：分割送信手段が１回に送るデータの量（Ｂｙｔｅ）
Ｃ：別途求められる、予め定められた時点において上記分割送信データの送信を並行して行なって  いる該データ送信装置の台数（組）
ｔｉ：上記ネットワークのデータ無伝送検知時間
本発明の第２の態様としては、ネットワークを介して接続された上述のデータ送信装置から送られてくるデータを受信するデータ受信装置において、上記データ送信装置の上記送信手段から送られてくる上記先送りデータを受信する受信手段と、上記データ送信装置の上記分割送信手段が複数回に分けて送ってくるデータを受信し、受信したデータを１つにまとめて上記分割送信データを再構成する分割受信手段と、上記再構成した分割送信データを記憶する記憶手段と、を有することを特徴とするデータ受信装置が提供される。
【００２４】
本発明の第３の態様としては、上述のデータ送信装置から送られてくるデータを受信するデータ受信装置において、上記データ送信装置の上記送信手段から送られてくる上記先送りデータを受信する受信手段と、上記データ送信装置の上記分割送信手段が複数回に分けて送ってくるデータを受信し、受信したデータを１つにまとめて上記分割送信データを再構成する分割受信手段と、上記再構成した分割送信データを記憶する記憶手段と、を有することを特徴とするデータ受信装置が提供される。
【００２５】
本発明の第４の態様としては、先送りデータに上記分割送信データおよび／または上記分割送信データに含まれているデータを示す、リンク情報を含んでいる上述のデータ送信装置から送られてくるデータを受信するデータ受信装置において、上記データ送信装置の上記送信手段から送られてくる上記先送りデータを受信する受信手段と、上記データ送信装置の上記分割送信手段が複数回に分けて送ってくるデータを受信し、受信したデータを１つにまとめて上記分割送信データを再構成する分割受信手段と、動画データおよび静止画データを再生可能な再生手段と、を有することを特徴とするデータ受信装置が提供される。
【００２６】
本発明の第５の態様としては、上述のデータ送信装置から送られてくるデータを受信するデータ受信装置において、上記データ送信装置の上記送信手段から送られてくる上記先送りデータを受信する受信手段と、上記データ送信装置の上記分割送信手段が複数回に分けて送ってくるデータを受信し、受信したデータを１つにまとめて上記分割送信データを再構成する分割受信手段と、静止画データ、動画データおよび音声データを再生可能な再生手段と、を有することを特徴とするデータ受信装置が提供される。
【００２７】
この場合、上記再生手段は、上記先送りデータに含まれている音声データを再生する際には、これと同時に当該先送りデータに含まれている静止画データを表示することが可能であることが好ましい。
【００２８】
上記第２乃至第５の態様においては、上記データ送信装置へ、ある先送りデータに対応する分割送信データの分割送信の実行要求を送る分割送信要求手段をさらに有することが好ましい。
【００２９】
上記分割送信要求手段は、上記分割送信の実行要求を送る際に、当該先送りデータに含まれている上記リンク情報をも送るものであってもよい。
【００３０】
この場合、ある先送りデータに対応する動画データの再生指示を受け付ける再生指示手段と、上記分割送信データを保存する保存手段と、制御手段と、を備え、上記分割受信手段は、上記再構成した分割送信データを上記保存手段に格納するものであり、上記制御手段は、上記再生指示手段が上記動画データの再生指示を受け付けた時、当該先送りデータに対応する分割送信データが上記保存手段内に存在するか否かを判定し、該判定の結果、上記分割送信データが上記保存手段内に存在していなかった場合には、上記分割送信要求手段に上記実行要求を上記データ送信装置へ送らせ、その後、上記分割受信手段が受信した上記分割送信データに含まれている動画データまたはビデオデータを上記再生手段に再生を行わせ、一方、上記分割送信データが上記保存手段内に存在していた場合には、上記再生手段に、当該分割送信データに含まれている動画データまたはビデオデータの再生を行わせるものであること、を特徴とするデータ受信装置が提供される。
【００３１】
さらには、上記分割送信要求手段が上記実行要求を送ってから、上記分割受信手段が上記分割転送データの受信を完了するまでの間、分割転送データの受信中であることをユーザに知らせる転送状態告知手段をさらに有することが好ましい。
【００３２】
本発明の別の態様としては、ネットワークを介して接続された複数の情報処理端末間で、ビデオメールを転送するビデオメールシステムにおいて、上述のデータ送信装置と、上述のデータ受信装置と、を含んで構成されるサーバと、上記サーバに対してビデオメールを送信する、上述のデータ送信装置を含んで構成された送信端末と、上述のデータ受信装置を含んで構成される受信端末と、を備え、上記送信端末の有する上記送信手段は、上記先送りデータとともに、該先送りデータの受け手であるユーザを示す宛先情報を送るものであり、上記サーバの有する上記記憶手段は、上記先送りデータと上記宛先情報とを対応づけて記憶するものであり、上記受信端末は、あるユーザ宛のビデオメールが上記記憶手段内に存在するか否かを問い合わせる着信確認手段をさらに有し、上記サーバは、さらに、上記問い合わせを受けた場合には、上記ユーザ宛のビデオメールが該記憶手段内にあるか否かを確認し、該確認の結果を上記受信端末に返答する着信返答手段を有するものであることを特徴とするビデオメールシステムが提供される。
【００３３】
本発明のさらに別の態様としては、１または２種類以上の内容のデータから構成される伝送対象データを転送するデータ転送方法において、上記伝送対象データに含まれているデータのうちの一部を予め抽出し、上記抽出したデータを含んで構成される先送りデータを作成し、該先送りデータを先に送り、その後、上記伝送対象データに含まれていながら上記先送りデータには含まれていないものを含んだデータ（以下”分割転送データ”という）を、複数回に分けて送ること、を特徴とするデータの転送方法が提供される。
【００３４】
上記先送りデータには、上記分割転送データおよび／または上記分割送信データに含まれているデータを示す、リンク情報をも含まれることが好ましい。
【００３５】
上記伝送対象データには、静止画のデータ（以下”静止画データ”という）を複数枚分含んで構成される動画データを含んだものであり、上記抽出データは、一部の上記静止画データを含んで構成されてもよい。あるいは、上記伝送対象データは、静止画のデータ（以下”静止画データ”という）を複数枚分含んで構成される動画のデータ（以下”動画データ”という）と、音声データと、を含んで構成されるビデオデータを含んだものであり、上記抽出データは、音声データおよび一部の上記静止画データを含んで構成されてもよい。
【００３６】
本発明のさらに別の態様としては、少なくとも動画のデータ（以下”動画データ”という）を含んだビデオメールを転送するビデオメール転送方法において、上記動画データは、静止画のデータ（以下”静止画データ”という）を複数枚分含んで構成されるものであり、上記動画データに含まれている一部の静止画データを抽出し、上記抽出した静止画データと、該静止画データが属していたビデオデータを示すリンク情報と、を少なくとも含んで構成される先送りデータを作成し、先ず、上記先送りデータおよび該先送りデータの受け手となるユーザを指定す宛先情報を転送し、その後、上記ビデオメールに含まれていながら上記先送りデータには含まれていなかったものを含んだデータ（”分割送信データ”という）を、複数回に分けて転送すること、を特徴とするビデオメール転送方法が提供される。
【００３７】
【作用】
抽出手段は、伝送対象データの一部を、予め定められた基準（例えば、抽出するデータの種類、抽出されるデータの位置、ユーザによって別途選択されているか否か）に従って抽出する。抽出の基準として、ユーザによって選択されているか否かという条件が含まれる場合には、選択手段によって、ユーザによる選択を受け付けるようにする。伝送対象データが、動画データやビデオデータ等を含んでいる場合には、抽出データには、一部の静止画データ、さらには音声データを含めるのが好ましい。これは、このような静止画データ、音声データであれば、データ量が比較的少なくてすみ、また、必要最小限のコミュニケーションは実現可能と思われるからである。この場合、選択手段による選択は、動画データを再生しながら行うようにすれば選択がやりやすい。抽出されるデータの位置を基準として採用する場合には、例えば、動画データを構成する静止画のうち、最初あるいは最後の静止画を抽出するようにしてもよい。
【００３８】
先送りデータ作成手段は、抽出データ、リンク情報等を含んで構成される先送りデータを作成する。伝送対象データにテキストデータが含まれる場合には、該テキストデータも含めても良い。
【００３９】
送信手段は、ネットワークを通じて、先送りデータをデータ受信装置へ送信する。
【００４０】
この後、データ受信装置から送られてくる分割送信の実行要求を分割送信受付手段が受け付けると、分割送信手段は、分割送信を開始する。つまり、分割送信データを複数回に分けて送信する。
【００４１】
この場合、伝送対象データにビデオデータなどが含まれているとネットワークを長時間占有することになりかねない。このような状態は好ましくないため、データサイズ決定手段は、分割送信手段が１回に送るデータの量ｄｐが予め定められた最大データサイズ以下となるように、例えば、上述の数３に従って１回に送るデータの量を決定する。
【００４２】
また、同様の観点から、分割送信における各回毎の送信は、転送間隔決定手段が例えば数４に従って決定する転送間隔以上の時間間隔をあけて行うのがよい。
【００４３】
一方、データ受信装置は、データ送信装置の送信手段から送られてくる先送りデータを、受信手段によって受信する。この後、ユーザは、再生手段によって先送りデータに含まれている音声データおよび静止画データを再生・表示させる。
【００４４】
再生指示手段は、ある先送りデータに対応する動画データの再生指示をユーザから受け付ける。すると、制御手段は、当該先送りデータに対応する分割送信データが保存手段内に存在するか否かを判定する。
【００４５】
判定の結果、分割送信データが存在していなかった場合には、制御手段は、分割送信要求手段に実行要求およびリンク情報をデータ送信装置へ送らせる。転送状態告知手段は、分割送信要求手段が実行要求を送ってから、分割受信手段が分割転送データの受信を完了するまでの間、分割転送データの受信中であることをユーザに知らせる。分割受信手段は、分割送信されて来るデータを受信し、受信したデータを１つにまとめて分割送信データを再構成する。場合によっては、保存手段に保存する。また、再構成された分割送信データに含まれている動画データまたはビデオデータを再生手段に再生を行わせる。
【００４６】
一方、分割送信データが存在していた場合、制御手段は、すぐに、当該分割送信データに含まれている動画データまたはビデオデータの再生を、再生手段に行わせる。
【００４７】
ビデオメールシステムに適用する場合には、送信端末の送信手段は、先送りデータとともに、データの受け手を示す宛先情報を送る。サーバは、宛先情報と、ビデオメール（先送り情報、分割送信データ）とを、対応づけて記憶手段に記憶する。受信端末の着信確認手段から、着信の問い合わせがあった場合、サーバの着信返答手段は、これに返答する。
【００４８】
なお、分割送信要求手段および分割送信受付手段による分割送信要求の授受を契機とした分割送信の開始は、サーバと受信端末との間でのみ使用するようにしても良い。送信端末と、サーバとの間では、物理的な不都合がないかぎり、先送りデータを送信した後は、自動的に分割送信を行うようにする。
【００４９】
【実施例】
以下、図面を参照して、本発明の実施例について説明する。
【００５０】
本実施例は、本発明をＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）動画データをベースとした、ビデオメールシステムに適用した例である。
【００５１】
本明細書中”ビデオデータ”とは、動画データと、音声データと、を含んで構成されるものである。なお、ビデオデータの状態（圧縮／伸長）を示すため、圧縮された状態にあるビデオデータのことを、特に”圧縮ビデオデータ”と呼ぶ場合がある。同様に、圧縮された動画データを”圧縮動画データ”、圧縮された音声データを”圧縮音声データ”と呼ぶ場合がある。
【００５２】
本明細書中、”ビデオメール”とは、ビデオデータを含んで構成された電子メールである。ビデオメールには、この他にも、テキストデータ等をも含んでいても良い。
【００５３】
まず、本実施例システムおよび機能構成の概要を図１を用いて説明する。なお、図１中の実線は制御の流れを、また、破線はデータの流れを示す。
【００５４】
本システムは、ビデオメール送信端末１と、メールボックスサーバ２と、ビデオメール受信端末３と、これらを接続するネットワーク４と、によって構成されている。
【００５５】
ビデオメール送信端末１は、ビデオメール用のビデオデータの取り込み、メールデータの作成、送信処理などを行なうためのものである。ビデオメール送信端末１は、ビデオメール作成及び送信処理部１０と、ビデオデータ分割送信処理部２０ａとを含んで構成されている。ビデオメール作成及び送信処理部１０は、ビデオメールの作成及び送信を行なうためのものである。ビデオデータ分割送信処理部２０ａは、ビデオデータなどの大容量のデータを小さなサイズのデータに分割し、時間間隔をあけて転送するものである。
【００５６】
メールボックスサーバ端末２は、ビデオメールを受信者ごとにまとめて一旦保持するためのメールボックス５０を有するものである。メールボックスサーバ端末２は、ビデオデータ分割送信処理部２０ｂと、メールボックス送受信管理部３０と、ビデオデータ分割受信処理部４０ｂと、メールボックス５０と、を含んで構成されている。ビデオデータ分割送信処理部２０ｂは、ビデオメール送信端末１の備えるビデオデータ分割送信処理部２０ａと同様のものである。メールボックス５０は、ビデオメールを蓄積するためのものであり、ビデオメールを使用するユーザに一意的に対応して存在する。メールボックス送受信管理部３０は、メールボックス５０の管理を行なうものである。ビデオデータ分割受信処理部４０ｂは、該分割送信処理部２０ａから分割して送られてきたデータを受信し、これらを結合して元のデータに再構成するものである。再構成されたデータは、メールボックスに格納される。
【００５７】
なお、以下の説明においては、ビデオデータ分割送信処理部２０ａと、ビデオデータ分割送信処理部２０ｂとを、総称して、単に、”ビデオデータ分割送信処理部２０”と呼ぶ場合がある。同様に、ビデオデータ分割受信処理部４０ｂと、ビデオデータ分割受信処理部４０ｃとを、総称して、単に、”ビデオデータ分割受信処理部４０”と呼ぶ場合がある。
【００５８】
ビデオメール受信端末３は、ビデオメールの受信（つまり、メールボックス５０からのビデオメールの取り出し）、ビデオメールの再生を行なうためのものである。ビデオメール受信端末３は、ビデオデータ分割受信処理部４０ｃ、ビデオメール受信及び再生処理部６０を備えている。ビデオデータ分割受信処理部４０ｃは、メールボックスサーバ端末２の有するビデオデータ分割受信処理部４０ｂと同様のものである。ビデオメール受信及び再生処理部６０は、メールボックス５０への、ビデオメール受信端末３の現在のユーザ宛のビデオメールの着信の検知を行うものである。また、ビデオメール受信及び再生処理部６０は、該着信ビデオメールの取り出し、及び該ビデオメールの再生などを行なう機能も備えている。
【００５９】
これらの端末は、ネットワーク４で接続され、ネットワーク４を介して、互いにデータ交換が可能となっている。ネットワーク４は、例えば、ＬＡＮ、公衆網である。
【００６０】
なお、一般的に、メールの送信、或は受信の片方だけを行なうユーザはいないので、該端末１と該端末３上の機能は、共に同一の端末上にあっても構わない。
【００６１】
本実施例における動作の概要を説明する。ここでは、▲１▼ビデオメールの作成及び送信、▲２▼ビデオメールの受信（取り出し）及び再生に分けて説明を行う。
【００６２】
▲１▼ビデオメールの作成及び送信
先ずユーザは、ビデオメール送信端末１において、ビデオメール作成及び送信処理部１０の機能によりビデオメールを作成する。そして、宛先を指定して該ビデオメールの送信を指示する。なお、この時点でビデオメールに含まれているビデオデータは、一般的には圧縮されている。
【００６３】
すると、該処理部１０は、ビデオメールを構成するデータのうち、緊急性を要する優先度の高いデータ（或は、容量が大きくなくネットワークに与える影響の少ないデータ）を、通常の転送方式によって先に、メールボックス端末２のメールボックス送受信管理部３０に送る。これ以外のデータについては、ビデオデータ分割送信処理部２０ｂに渡して分割送信させる。なお、分割サイズ、転送の間隔については、後ほど詳細に説明する。
【００６４】
以後、通常の転送方式で先に処理部１０から送信するデータを”先送りデータ”と呼ぶ。本発明においては、先送りデータを、それだけである程度のコミュニケーションを果たせ、且つビデオメールを構成するデータの中でデータ容量の比較的小さいデータとしている。
【００６５】
また、先送りデータの送信後に、該処理部２０ａによって分割送信するデータを”分割送信データ”と呼ぶ。分割送信データは、ビデオメールデータの中で比較的容量の大きなデータ（例えば、動画データ、或は動画と音声により構成されるデータ）とする。
【００６６】
本実施例では、先送りデータを、ビデオデータに含まれている音声データと、ビデオデータに含まれている動画の代表フレーム（静止画）データとで構成している。また、ビデオメールとして送るデータにテキストデータも含まれている場合には、該テキストデータも先送りデータに含めることとしている。一方、分割送信データとしては、ビデオデータ（後述する圧縮ビデオデータ２５０に相当）を送るようにしている。従って、音声データについては、同じ内容のものを２回送ることになっている。
【００６７】
先送りデータが送られてきた場合、メールボックス送受信管理部３０は、当該先送りデータを、該端末１においてユーザ（送信者）が指定した宛先に対応するユーザ（受信者）に対して設けられているメールボックス５０に格納する。また、処理部１０から分割送信の要求を受け取った場合には（注：該要求自体は、処理部１０がメールボックス送受信管理部３０へ送るものである。）、メールボックス送受信管理部３０はビデオデータ分割受信処理部４０ｂに該分割送信データの受信処理を依頼する。依頼を受けた処理部４０ｂは、ビデオデータ分割送信処理部２０ａから分割されて送られてくるデータを全て受信した後、該受信データを一つのデータファイルに結合することで、分割送信データを再構成する。そして、そのデータファイルを、このビデオメールの該宛先に対応するユーザに対して設けられているメールボックス５０に格納する。メールボックス５０内においては、先送りデータと、分割送信データとは、別々に記憶されており、一体化されることはない。
【００６８】
分割送信時の全データ転送終了の検出方法は特に限定されない。例えば、データファイルの末尾を示す記号（エンドオブファイル）を、送信或いは受信する分割データ中に検出すると転送終了とみなす方法を適用可能である。あるいは、転送対象データのサイズを送信側と受信側（ここでは、メールボックスサーバ端末２）の端末で照合して判定する方法を適用可能である。
【００６９】
本発明のこのような方式では、先送りデータと、分割送信データとを、関連付けておく必要がある。本実施例では、先送りデータの中に、上記分割送信データ（本実施例では、ビデオデータ）のＩＤやデータファイル名などのリンク情報（図５におけるリンク情報３３０）を、組み込むことで両者を関連付けている。この詳細については、後ほど図５を用いて説明する。
【００７０】
▲２▼ビデオメールの受信及び再生
ビデオメール受信端末３のユーザが、ビデオメール受信及び再生処理部６０の処理を起動すると、該ビデオメール受信・再生処理部６０は、該端末３の現在のユーザのメールボックス５０へのビデオメールの着信の有無を、メールボックス送受信管理部３０に問い合わせる。
【００７１】
該管理部３０は、問い合わせのあったユーザ宛のメールが着信していれば、その旨を該処理部６０に通知する。処理部６０は、その結果をユーザに知らせる。メールを読むことを希望する場合、ユーザ（受信者）は処理部６０に取り出しを指示する。
【００７２】
指示を受けた該処理部６０は、管理部３０に当該ビデオメールの取り出しを依頼する。すると、該管理部３０は、先ず、先送りデータをメールボックス５０から取り出して、通常の転送方式で処理部６０に送る。処理部６０は、送られてきた先送りデータに含まれている音声データを再生する。また、該先送りデータに含まれている代表フレームデータの表示を行なう。
【００７３】
この時、該先送りデータに対応するビデオデータを見る（あるいは、読む）ことを希望する場合には、ユーザはその旨を処理部６０に対して指示する。すると、処理部６０は、該先送りデータに含まれているリンク情報をメールボックス送受信管理部３０に通知し、該リンク情報によって特定される分割送信データの取り出しを要求する。メールボックス送受信管理部３０は、当該分割送信データの分割送信を、ビデオデータ分割送信処理部２０ｂに行わせる。
【００７４】
処理部６０は、分割送信データの分割受信を、ビデオデータ分割受信処理部４０ｃに行わせる。処理部４０ｃは、処理部２０ｂから分割して送られてくるデータを全て受信した後、一つのデータファイルに結合する。そして、該データファイルを処理部６０に渡す。処理部６０は、該分割送信データに含まれているビデオデータを再生する。
【００７５】
次に、ビデオメール送信端末１、或はビデオメール受信端末３のハードウェア構成を図２を用いて説明する。
【００７６】
本実施例の端末１，３は、中央処理装置（ＣＰＵ）１０１と、主メモリ（メインメモリ）１０２と、時計装置（クロック）１０３と、マウス１０４と、キーボード１０５と、記憶装置１０６と、ネットワーク制御装置（ＬＡＮボード）１０７と、画像入出力制御装置１０８と、メモリ（ＶＲＡＭ：Ｖｉｄｅｏ  ＲＡＭ）１０９と、ディスプレー１１０と、カメラ１１１と、音声入出力制御装置１１２と、マイク１１３と、スピーカ１１４と、圧縮伸長装置１１５と、バス１１６と、を含んで構成されている。
【００７７】
中央処理装置（ＣＰＵ）１０１は、当該端末全体を制御するものである。主メモリ（メインメモリ）１０２は、プログラムが動作し、制御用のデータを保持するテーブルを一時的に確保するものである。時計装置（クロック）１０３は、ＣＰＵ１０１などに一定間隔で割込み信号や日時の情報を供給するものである。記憶装置１０６は、ユーザのデータを保存するためのものである。
【００７８】
マウス１０４およびキーボード１０５は、ユーザの指示入力を取り込むためのものである。
【００７９】
ディスプレー１１０は、各種処理結果を表示してユーザに伝えるためのものである。カメラ１１１は画像情報を取り込むためのものである。これらは、画像入出力制御装置１０８により制御されている。メモリ（ＶＲＡＭ）１０９は、ディスプレー１１０に表示するデータを保持するものである。該メモリ１０９には、制御装置１０８により、常に最新の表示データが書き込まれる。
【００８０】
マイク１１３は、音声情報を取り込むためのものである。スピーカ１１４は音声情報をユーザに伝えるためのものである。これらは、音声入出力制御装置１１２により制御されている。
【００８１】
ネットワーク制御装置（ＬＡＮボード）１０７はネットワークに端末を接続するためのものである。
【００８２】
圧縮伸長装置１１５は、このビデオデータの圧縮伸長処理を行うためのものである。ビデオデータはそのデータ量が莫大であるため、端末からビデオデータを取り込む場合には、ディジタル化およびデータ圧縮を行なって、一旦記憶、或は伝送する。そして、ビデオデータを再生するときは、これを伸長するのが一般的である。ビデオデータの圧縮伸長技術は各種あるが、本実施例ではＭＰＥＧ方式を採用している。このＭＰＥＧ方式は演算量が多いため、本実施例では該圧縮伸長装置１１５等のハードウェアを用いて圧縮伸長の演算を行っている。また、本実施例では、該圧縮伸長装置１１５として、動画データ、音声データいずれか一方のみしか含まれていない場合でも、圧縮伸長処理を行うことのできるものを採用している。
【００８３】
圧縮伸長装置１１５を用いることなく、主メモリ１０２およびＣＰＵ１０１上で動作するソフトウェアによって、該圧縮伸長処理を行うことも可能である。この場合には、圧縮伸長のための専用のハードウエアは省略できる。ＭＰＥＧ方式におけるビデオデータの構造等については後ほど説明する。
【００８４】
なお、メールボックスサーバ端末２のハードウェア構成は、該端末１，３と同様の構成でよい。但し、メールボックスサーバ端末２としての機能上は、画像入出力制御装置１０８と、メモリ（ＶＲＡＭ：Ｖｉｄｅｏ  ＲＡＭ）１０９と、ディスプレー１１０と、カメラ１１１と、音声入出力制御装置１１２と、マイク１１３と、スピーカ１１４と、圧縮伸長装置１１５とはなくてもよい。メールボックス５０は、記憶装置１０６上に構成されるものである。
【００８５】
図１におけるビデオメール作成送信処理部１０、ビデオデータ分割送信処理部２０ａ，２０ｂ、メールボックス送受信管理部３０、ビデオデータ分割受信処理部４０ｂ，４０ｃ、メールボックス５０、ビデオメール受信・再生処理部６０は、上記各部が密接に連携して動作することで実現されるものである。
【００８６】
例えば、ビデオメール作成送信処理部１０は、マウス１０４等から入力される指示に従って、ＣＰＵ１０１、画像入出力制御装置１０９、音声入出力制御装置１１２が動作して、カメラ１１１、マイク１１３から画像，音声データを取り込む。この取り込んだデータを圧縮伸長装置１５でエンコードすること等で実現されるものである。
【００８７】
ビデオメール分割送信処理部２０は、メモリ１０２に格納されているプログラムをＣＰＵ１０１が実行すること等によって実現されるものである。これらの処理部において必要なユーザからの指示は、マウス１０４等から入力されるものである。
【００８８】
ビデオデータ分割受信処理部４０は、メモリ１０２に格納されているプログラムをＣＰＵ１０１が実行すること等によって実現されるものである。これらの処理部において必要なユーザからの指示は、マウス１０４等から入力されるものである。また、受信したデータは、適宜記憶装置１０６へ格納される。
【００８９】
メールボックス５０は、記憶装置１０６によって実現される。
【００９０】
ビデオメール受信再生処理部６０は、マウス１０４等から入力される指示に従って、ＣＰＵ１０１、圧縮伸長装置１５等が動作することで受け取ったビデオデータをデコードし、そして、画像入出力制御装置１０９、音声入出力制御装置１１２が、このデコードされたビデオデータを、ディスプレイ１１０、スピーカ１１４から出力することで実現されるものである。また、適宜、記憶装置１０６へ格納することでビデオデータを保存している。
【００９１】
特許請求の範囲において言う”抽出手段”は、ビデオメール作成・送信処理部１０によって、特に、図７のステップ１０２２、１０２３における処理によって、実現されている。
【００９２】
”先送りデータ作成・送信手段”は、ビデオメール作成・送信処理部１０によって、特に、図７のステップ１０２４における処理によって、実現されている。”分割送信手段”とは、ビデオデータ分割送信処理部２０によって、特に、図１２の分割送信処理プログラム１１４０の実行によって実現されている。”選択手段”とは、ビデオメール作成・送信処理部１０によって、特に、図８の代表フレーム選択プログラム１０３０によって実現されるものである。”分割送信受付手段”とは、メールボックス受信管理部３０によって、特に、図１５、及び図１６のステップ１２１１、１２１３によって実現されるものである。”記憶手段”は、メールボックス５０によって、特に、図２における記憶装置１０６によって実現されるものである。”保存手段”とは、受信再生処理部６０によって、特に、図２における記憶装置１０６によって実現されるものである。”分割送信要求手段”とは、ビデオメール受信再生処理部６０、特に、図１１のステップ１１３３における処理によって実現されるものである。”再生手段”とは、ビデオメール受信再生処理部６０、特に、図１１におけるステップ１１３８によって実現されるものである。また、図２においては、画像入出力装置１０８、ディスプレイ１１０、圧縮伸長装置１１５、音声入出力制御装置１１２、スピーカ１１４等によって実現されるものである。”再生指示手段”とは、図１１におけるステップ１１３３においてその有無を判断するビデオ再生要求を入力するための、マウス１０４、キーボード１０５などに相当する。”制御手段”とは、ビデオメール受信再生処理部６０、特に、図１１における、ステップ１１３６乃至ステップ１１３８に至る一連の処理によって実現されるものである。”転送状態告知手段”とは、ビデオメール受信再生処理部６０、特に、図１１におけるステップ１１３５、ステップ１１３７に対応して、ＣＰＵ１０１がディスプレイ１１０への所定メッセージの表示／消去等を行わせることによって実現されるものである。”着信確認手段”とは、受信再生処理部６０、特に、図９におけるステップ１１１１、また、図１０におけるステップ１１２１によって実現されるものである。”着信返答手段”とは、メールボックス送受信管理部３０、特に、図１６におけるステップ１２１４、ステップ１２１５によって実現されるものである。”データサイズ決定手段”および”転送間隔決定手段”は、分割送信処理部２０によって、特に、図１２のステップ１１４２〜１１４４によって実現されるものである。
【００９３】
伝送対象データとは、ビデオメールとして送ることになるビデオデータ、テキストデータ等に相当する。”抽出データ”は、ビデオデータから抽出される代表フレームデータ、音声データに相当する。リンク情報とは、リンク情報３３０に相当する。”宛先情報”とは、メールの受け手となるユーザのＩＤなどである。
【００９４】
次に、本実施例における先送りデータの作成方法を説明する。
【００９５】
ここでは、先ず、本実施例における先送りデータ作成の前提となるＭＰＥＧ方式の概要およびデータ構造から説明する。図３に、本実施例において扱う動画データのフレーム構成を示した。
【００９６】
ＭＰＥＧ方式に限らず動画再生表示は、複数の静止画を高速に連続して表示することで行われる。この動画を構成する静止画を、動画の”フレームデータ”と呼ぶことにする。つまり、動画データは、基本的には、連続するフレームデータ４１０の集合として構成される。フレームポインタ４００は、圧縮（あるいは、非圧縮）の動画データのフレームデータのポインタである。
【００９７】
データの圧縮方式には、大きく分けて、フレーム内圧縮方式と、フレーム間圧縮方式とがある。フレーム内圧縮は、一枚のフレームデータ内の冗長度を圧縮する方式である。フレーム間圧縮は、前、或は、後のフレームデータとの差分をデータをして持つことにより、時間的なデータの冗長度を圧縮する方式である。
【００９８】
ＭＰＥＧ方式では、両圧縮方式を併用している。そのため圧縮動画データを伸長、再生するには前のフレームデータに差分データを加算するなどの処理が必要になる。
【００９９】
なお、本明細書、特に特許請求の範囲において言う”動画データ”、”音声データ”、”ビデオデータ”には、このように圧縮された状態のものをも含む概念である。
【０１００】
ＭＰＥＧ方式におけるビデオデータの圧縮処理と伸長処理との概要を図４に示した。
【０１０１】
ＭＰＥＧ方式におけるビデオデータ圧縮処理アルゴリズム２００は、動画データの圧縮処理を行なうＭＰＥＧ・Ｖｉｄｅｏエンコーダ２０１と、音声データの圧縮処理を行うＭＰＥＧ・Ａｕｄｉｏエンコーダ２０２と、を含んで構成される。カメラ１１１より取り込まれた動画像データは、エンコーダ２０１によってディジタル化および圧縮処理がなされて圧縮動画データとされる。同様に、マイク１１３によって取り込まれた音声データは、エンコーダ２０２によって圧縮音声データとされる。そして、圧縮動画データおよび圧縮音声データを１つにまとめることで、圧縮ビデオデータ２５０（図５参照）が作られる。
【０１０２】
ＭＰＥＧ方式における圧縮ビデオデータの伸長処理アルゴリズム２１０は、動画データの伸長を行なうＭＰＥＧ・Ｖｉｄｅｏデコーダ２１１と、音声データの伸長を行うＭＰＥＧ・Ａｕｄｉｏデコーダ２１２と、を含んで構成される。圧縮ビデオデータ２５０に含まれている圧縮動画データは、デコーダ２１１により伸長される。そして、伸長された動画データはディスプレー１１０で表示される。同様に、圧縮音声データは、デコーダ２１２により伸長され、伸長された音声データはスピーカ１１４で再生される。再生時の音声と動画の同期は、ＭＰＥＧ・Ｓｙｓｔｅｍと呼ばれる方式により実現される。圧縮音声データ２６０だけの場合でも、デコーダ２１２は、これを伸長して再生することができる。
【０１０３】
ＭＰＥＧ方式における圧縮ビデオデータ２５０は、図５に示すとおり、複数の圧縮動画フレームデータ２６０，２６１等と、該圧縮動画フレームデータ２６０，２６１等に対応する時間分の圧縮音声データ２７０，２７１等と、を交互に挿入して構成されている。動画データには、１フレーム毎にヘッダ情報が付いており、音声データとが区別できるようになっている。
【０１０４】
ＭＰＥＧ方式については、他の文献（例えば「マルチメディアデータの国際標準」：丸善）に記載されているため、ここではこれ以上詳細な説明は行わない。
【０１０５】
既に述べたとおり、該アルゴリズム２００，２１０は、ハードウェアでもソフトウェアでも実現することが可能である。本実施例では、圧縮伸長装置１１５が行っている。
【０１０６】
以上述べたＭＰＥＧ方式の圧縮ビデオデータ２５０から、先送りデータを作成する方法を図５を用いて説明する。
【０１０７】
先送りデータ３００は、動画の代表フレームデータ３１０と、全音声データ３２０と、リンク情報３３０と、を含んで構成される。また、別途作成された、テキストデータ３４０等も含めることができる。ユーザが、ビデオデータだけでコミュニケーションが果たせる場合は、該テキストデータ３４０はなくてもよい。
【０１０８】
代表フレームデータ３１０は、圧縮ビデオデータ２５０に含まれている動画データのうち、別途、ユーザが指定したものを抽出したものである。該指定、抽出処理は、以下の手順で行う。圧縮ビデオデータ２５０を、ＭＰＥＧデコーダ２１０でデコードし、ディスプレイ１１０へ表示させながら、ユーザの代表フレーム選択指示を受け付ける。該選択指示は、マウス１０４等によって行われる。そして、ユーザからの指示があった時点でＶＲＡＭ１０９上に存在するデータ、即ちその時点でディスプレイ１１０に表示されているフレームデータを、そのまま代表フレームデータ３１０として抽出する。従って、代表フレームデータ３１０は、伸長処理が施された状態となっている。代表フレームデータ３１０の抽出処理手順の詳細は、後述する。
【０１０９】
全音声データ３２０は、圧縮音声データ２６０、２６１等を１つに結合したものである。上述したとおり、ＭＰＥＧ方式の動画データには１フレーム毎にヘッダ情報が付いているため、音声データと動画データとは区別できる。従って、データの中身を調べながら、音声データだけ取り出して１つのデータに結合することで全音声データ３２０を作成できる。全音声データ３２０は、伸長処理を施しておらず、圧縮されたままの状態である。
【０１１０】
リンク情報３３０は、先送りデータ３００と圧縮ビデオデータ２５０との対応関係を示すものである。具体的には、リンク情報３３０として、圧縮ビデオデータ２５０のファイル名称や、内部的なＩＤ番号などを使用する。
【０１１１】
テキストデータ３４０は、必要に応じてビデオデータとは別に用意し、これを以上のデータと結合する。
【０１１２】
次に、図１を用いて説明した各処理部の詳細を説明する。
【０１１３】
上記各処理部の主要部分は、実際には、図２における各端末１，２，３に含まれているＣＰＵ１０１が主メモリ１０２上に格納されているプログラムを実行することで実現される。そこで、ここでは、ＣＰＵ１０１の実行するプログラムの処理手順についてフローチャート用いて説明する。
【０１１４】
先ず、ビデオメール作成及び送信処理部１０について説明する。
【０１１５】
ビデオメール作成及び送信処理部１０を実現するための処理としては、▲１▼ビデオメールの作成プログラム１０１０（図６）、▲２▼ビデオメールの送信プログラム１０２０（図７）、▲３▼代表フレーム選択プログラム１０３０（図８）の３つがある。これらのプログラムは、ビデオメール送信端末１の有するＣＰＵ１０１が実行するものである。以下において、これら３つのプログラムを説明する。
【０１１６】
▲１▼ビデオメール作成プログラム１０１０（図６参照）
ユーザがビデオメールの送信を行うとき、ユーザはビデオメール送信端末１のビデオメール作成処理プログラム１０１０を起動する。すると、端末１のＣＰＵ１０１は、カメラ１１１から動画像を、また、マイク１１３から音声を取り込む。そして、これらを圧縮伸長装置１１５によって圧縮させ、主メモリ１０２、或は記憶装置１０６に、圧縮ビデオデータ２５０（図５参照）として一時的に保管する（ステップ１０１１）。なお、圧縮伸長装置１１５を備えていないときには、ＣＰＵ１０１が、圧縮処理を行う。
【０１１７】
続いて、テキスト入力の有無についてユーザに確認する（ステップ１０１２）。この確認は、例えば、ディスプレイ１１０へ、所定の表示を行なうとともに、キーボード１０５からの選択指示を受け付けることで行う。確認の結果、テキスト入力が要求されていなければ、そのままステップ１０１４に進む。一方、テキスト入力の要求があった場合には、キーボード１０５からのテキスト入力を受け付けて、これを保存する（ステップ１０１３）。
【０１１８】
続くステップ１０１４では、ＣＰＵ１０１は、キーボード１０５からの宛先情報（例えば、送信先のユーザ名）の入力を受け付けて、これを取り込む。
【０１１９】
この後、ＣＰＵ１０１は、ビデオメール送信処理プログラム１０２０を起動するとともに、ステップ１０１１で作成した圧縮ビデオデータ２５０と、該宛先情報とを該プログラム１０２０に渡してビデオメールの送信を行なう（ステップ１０１５）。該ビデオメール送信処理プログラム１０２０については、図７を用いて説明する。
【０１２０】
最後に、ＣＰＵ１０１は、ステップ１０１１において取り込み、一時的に保管していた圧縮ビデオデータ２５０を削除して（ステップ１０１６）、該ビデオメールの作成プログラム１０１０を終了する。
【０１２１】
▲２▼ビデオメール送信プログラム１０２０（図７参照）
該ビデオメール送信処理プログラム１０２０は、ビデオメール作成処理プログラム１０１０（図６）のステップ１０１５において、送信する圧縮ビデオデータ２５０と送信先の宛先情報を渡されて起動されるものである。
【０１２２】
プログラム１０２０が起動されると、ＣＰＵ１０１は、先ず代表フレーム選択処理プログラム１０３０を起動し、先送りデータ３００の代表フレームデータ３１０（図５参照）の元となるフレームデータを決定させる。そして、決定されたフレームデータをＶＲＡＭ１０９に書き込む（ステップ１０２１）。なお、代表フレーム選択処理１０３０は、ユーザからの指示に従って代表フレームデータ３００を決定している。該代表フレーム選択処理１０３０の詳細は、後ほど図８を用いて説明する。
【０１２３】
ＣＰＵ１０１は、ＶＲＡＭ１０９上の代表フレームデータを、主メモリ１０２、或は記憶装置１０６に一時的に保管する（ステップ１０２２）。また、ＣＰＵ１０１は、圧縮ビデオデータ２５０から、圧縮音声データ（３２０）のみを分離抽出する（ステップ１０２３）。
【０１２４】
続いて、該圧縮音声データ３２０と、該代表フレームデータ３１０と、リンク情報３３０と、を１つに結合して、先送りデータ３００（図５参照）を構成する。テキストデータ３４０もある場合には、当該テキストデータ３４０も一緒に結合する。そして、ネットワーク４を介して、メールボックス送受信管理部３０に該先送りデータ３００を送信する（ステップ１０２４）。この場合、先送りデータ３００を送信するに先だって、当該送信データが先送りデータであることをメールボックス送受信管理部３０に知らせる。あるいは、先送りデータ３００の最初の部分に当該データが、先送りデータであることを示す情報を付加した上で送信する。
【０１２５】
なお、メールボックス送受信管理部３０は、受け取った先送りデータ３００を、該宛先情報に対応するユーザのメールボックス５０に格納する。
【０１２６】
この後、端末１のＣＰＵ１０１は、メールボックス送受信管理部３０に分割送信実行の許可を求めるメッセージと宛先情報等とを送る（ステップ１０２５）。分割送信を認める返答があると、ＣＰＵ１０１は、ビデオデータ分割送信処理部２０に依頼して該圧縮ビデオデータ２５０を分割送信させる（ステップ１０２６）。なお、依頼を受けたビデオデータ分割送信処理部２０は、後述するビデオデータ分割送信処理プログラム１１４０（図１２参照）を実行することで分割送信を行う。
【０１２７】
該図７に示したプログラム１０２０実行後、ＣＰＵ１０１は、図６のステップ１０１６に戻る。
【０１２８】
▲３▼代表フレーム選択プログラム１０３０（図８参照）
該代表フレーム選択処理プログラム１０３０は、ビデオメール送信処理プログラム１０２０（図７）のステップ１０２１において、送信する圧縮ビデオデータ２５０を渡されて起動されるものである。
【０１２９】
ＣＰＵ１０１は、該プログラム１０３０を起動されると、先ず、フレームポインタ４００が、先頭のフレームデータを指すように初期化する（ステップ１０３１）。続いて、ＣＰＵ１０１は、圧縮伸長装置１１５（ＭＰＥＧ・Ｖｉｄｅｏデコーダ２１１）に、圧縮動画データの中のフレームポインタ４００が指す１フレームデータをデコードさせる（ステップ１０３２）。そして、デコードデータをＶＲＡＭ１０９に上書きする（ステップ１０３３）。この結果、ディスプレー１１０に該フレームデータが表示される。
【０１３０】
次に、ＣＰＵ１０１は、ユーザのマウス１０４やキーボード１０５等から選択処理の停止指示が入力されたか否かを判定する（ステップ１０３４）。停止指示が入力されていた場合には、ＣＰＵ１０１は、該プログラム１０３０の処理を終了する。一方、指示が入力されていなければ、ステップ１０３５に進んで、次のフレームデータの有無を判定する。その結果、次のフレームデータがあった場合には、フレームポインタ４００を次のフレームデータを指すように更新する（ステップ１０３６）。ステップ１０３６の後は、ステップ１０３２に戻って、同様の処理を繰り返す。逆に、次のフレームデータがなかった場合（すなわち、動画データをすべて表示しおわっていた場合）には、該代表フレーム選択プログラム１０３０を終了する。該代表フレーム選択プログラム１０３０を終了した後、ＣＰＵ１０１は、図７のステップ１０２２に戻る。
【０１３１】
次に、ビデオメール受信及び再生処理部６０について説明する。
【０１３２】
ビデオメール受信及び再生処理部６０を実現するための処理としては、▲１▼ビデオメールの着信処理プログラム１１１０（図９）、▲２▼既に着信しているビデオメールの開封プログラム１１２０（図１０）、▲３▼ビデオメール再生プログラム１１３０（図１１）がある。これらのプログラムは、ビデオメール受信端末２の有するＣＰＵ１０１が実行するものである。以下において、これら３つのプログラムを説明する。
【０１３３】
▲１▼ビデオメール着信処理プログラム１１１０（図９）
ビデオメール着信処理プログラム１１１０はユーザからの指示によって起動される。
【０１３４】
該プログラム１１１０が起動されると、ＣＰＵ１０１は、端末２のメールボックス送受信管理部３０に当該ユーザ宛に新たなメールが着信しているか否かを問い合わせる（ステップ１１１１）。
【０１３５】
該問い合わせを受けたメールボックス送受信管理部３０は、メールボックス５０内に、当該ユーザ宛のメールが届いているか否かを返答する。
【０１３６】
該返答の結果、着信があった場合には、ＣＰＵ１０１は、ステップ１１１２に進み、ユーザにメールの着信を告知する。該告知は、例えば、ディスプレー１１０に着信のメッセージを表示すること等で行う。
【０１３７】
続いて、ＣＰＵ１０１は、ユーザに着信ビデオメールの取り出し指示の有無を確認する（ステップ１１１３）。この場合、ユーザは、キーボード１０５等を操作して、取り出すメールの指定、および該指定したメールの取り出し指示を入力することができる。
【０１３８】
ユーザからの取り出し指示があった場合には、ＣＰＵ１０１は、メール再生プログラム１１３０を起動して指定されたメールを取り出す（ステップ１１１４）。該メール再生プログラム１１３０の詳細については、後ほど図１１を用いて説明する。再生終了後、ＣＰＵ１０１は、該ビデオメール着信処理プログラム１１１０を終了する。
【０１３９】
ステップ１１１１において着信がなかった場合、ステップ１１１３において、取り出しが指示されなかった場合には、ＣＰＵ１０１は、そのまま該ビデオメール着信処理プログラム１１１０を終了する。
【０１４０】
▲２▼ビデオメール開封プログラム１１２０（図１０）
このビデオメール開封プログラム１１２０は、ビデオメールを再生する際に使用されるものである。前述のビデオメール着信処理プログラム１１１０が新たに着信したビデオメールのみを対象としているのに対し、該ビデオメール開封プログラム１１２０は、着信が確認されていながら見られていない（読まれていない）ビデオメール、あるいは、以前に再生したビデオメールを改めて再生する場合に使用されるものである。
【０１４１】
該ビデオメール開封プログラム１１２０は、ユーザからの指示によって起動される。
【０１４２】
ビデオメール開封プログラム１１２０が起動されると、ＣＰＵ１０１は、メール送受信管理部３０に、メールボックス５０内に格納されている当該ユーザ当てのメールの一覧表を要求する。メール送受信管理部３０は、これに応えて、メールの一覧を送信する。ＣＰＵ１０１は、該一覧表を受け取ると、これをディスプレイ１０１に表示させて、開封する着信メールの指定を待つ（ステップ１１２１）。この時、ユーザは、開封するメールの指定およびその取り出し指示をキーボード１０５等によって入力できる。該指示があると、ＣＰＵ１０１はステップ１１２２に進む。
【０１４３】
ステップ１１２２において、ＣＰＵ１０１は、メール再生プログラム１１３０を起動して、指定されたメールの取り出しを行う。該メール再生プログラム１１３０の詳細については、後ほど図１１を用いて説明する。再生終了後、ＣＰＵ１０１は、該ビデオメール開封プログラム１１２０を終了する。
【０１４４】
▲３▼ビデオメール再生プログラム１１３０（図１１）
ビデオメール再生処理プログラム１１３０は、ビデオメール着信プログラム１１１０（図９）のステップ１１１４、或は、ビデオメール開封処理プログラム１１２０（図１０）のステップ１１２２において、起動されるものである。
【０１４５】
該ビデオメール再生プログラム１１３０が起動されると、ＣＰＵ１０１は、ユーザによって指示されたメールの先送りデータ３００の取り出しを、メールボックス送受信管理部３０に依頼する（ステップ１１３１）。メールボックス送受信管理部３０は、この依頼に応えて、当該先送りデータ３００をメールボックス５０から取り出して、端末２のビデオメール受信・再生処理部６０へ送る。
【０１４６】
先送りデータ３００を受け取ると、ＣＰＵ１０１は、該先送りデータ３００に含まれている代表フレームデータ３１０をディスプレー１１０に表示させる。また、圧縮音声データ３２０を、圧縮伸長装置１１５（ＭＰＥＧ・Ａｕｄｉｏデコーダ２１２）により伸長して、スピーカ１１４から再生させる（ステップ１１３２）。また、先送りデータ３００にテキストデータが含まれているときには、該テキストデータも表示させる。
【０１４７】
続いて、ＣＰＵ１０１は、該先送りデータ３００に対応するビデオデータの再生指示が、ユーザから入力されたか否かを確認する（ステップ１１３３）。この時、ユーザは、キーボード１０５等によって該再生指示を入力できる。確認の結果、該再生指示があった場合には、ステップ１１３４に進み、今度は、当該先送りデータ３００に対応する圧縮ビデオデータ２５０を含んだ分割送信データが、該端末３の記憶装置１０６内に存在しているか否かを判定する。該判定は、ステップ１１３１で取り出した先送りデータ３００に含まれているリンク情報３３０を手がかりとして行う。このような判定を行うのは、既に述べたとおり本実施例では、ビデオメールサーバ２から取り出した先送りデータをビデオメール受信端末３では保存しないのに対し、ビデオメールサーバ２から一端取り出した分割送信データについては、ビデオメール受信端末３で保存するようにしているからである。
【０１４８】
ステップ１１３３における判定の結果、当該圧縮ビデオデータ２５０が存在していなかった場合には、ＣＰＵ１０１は、ステップ１１３５に進み、メールボックス管理部３０にリンク情報３３０（例えば、圧縮ビデオデータ２５０のファイル名）を渡して、当該圧縮ビデオデータ２５０の分割送信を要求する（これが特許請求の範囲においていう”分割送信の実行要求”に相当する）。また、ディスプレイ１１０には、分割受信中であることをユーザに伝えるメッセージを表示させる。
【０１４９】
この後、ＣＰＵ１０１は、ビデオデータ分割受信処理部４０に圧縮ビデオデータ２５０を受信させる（ステップ１１３６）。なお、ビデオデータ分割受信処理部４０は、後述するビデオデータ分割受信処理プログラム１１５０（図１３）を実行することで、該分割受信を行っている。
【０１５０】
圧縮ビデオデータ２５０の受信完了後、ＣＰＵ１０１は分割受信中の該表示を消去し（ステップ１１３７）、ステップ１１３８に進む。
【０１５１】
なお、ステップ１１３４において、端末３が圧縮ビデオデータ２５０を既に有していた場合には、直接、ステップ１１３８に進む。
【０１５２】
ステップ１１３８において、ＣＰＵ１０１は、圧縮伸長装置１１５（ＭＰＥＧデコーダ２１０）に圧縮ビデオデータ２５０の伸長処理を行わせる。そして、伸長されたビデオデータを再生させる。つまり、動画データは、画像入出力制御装置１０８によってディスプレイ１１０に出力させる。一方、音声データは、音声入出力制御装置１１２によってスピーカ１１４から出力させる。この場合、再生は、動画と、音声とで、同期をとって行われることは言うまでもない。
【０１５３】
再生処理終了後、ＣＰＵ１０１は、ユーザからのリプレイ要求を受け付ける（ステップ１１３９）。リプレイ要求があった場合には、再び、ステップ１１３８を実行する。リプレイ要求が無ければ、ＣＰＵ１０１は、該ビデオメール再生プログラム１１３０を終了する。
【０１５４】
ステップ１１３３において再生要求が無かった場合には、ＣＰＵ１０１はそのままビデオメール再生プログラム１１３０を終了する。
【０１５５】
なお、該プログラム１１３０がビデオメール着信プログラム１１１０（図９）のステップ１１１４において起動されたものである場合には、この後、ＣＰＵ１０１は該プログラム１１１０に戻り、そのまま該プログラム１１１０を終了する。同様に、ビデオメール開封プログラム１１２０（図１０）のステップ１１２２において起動されたものである場合には、この後、ＣＰＵ１０１は、該ビデオメール開封プログラム１１２０に戻り、そのまま該プログラム１１２０を終了する。
【０１５６】
次に、ビデオデータ分割送信処理部２０および、ビデオデータ分割受信処理部４０について説明する。
【０１５７】
ビデオデータ分割送信処理部２０を実現するための処理は、ビデオデータ分割送信処理プログラム１１４０（図１２）である。該プログラム１１４０は、ビデオメール送信端末１の有するＣＰＵ１０１、およびメールボックスサーバ端末２の有するＣＰＵ１０１が実行するものである。なお、ビデオデータ分割送信処理プログラム１１４０を実行する際に、設定、参照するネットワーク情報パラメータ等のデータ構造を図１４に示した。
【０１５８】
一方、ビデオデータ分割受信処理部４０を実現するための処理は、ビデオデータ分割受信処理プログラム１１５０（図１３）である。該プログラム１１５０は、ビデオメール受信端末３の有するＣＰＵ１０１、およびメールボックスサーバ端末２の有するＣＰＵ１０１が実行するものである。
【０１５９】
分割送信処理は、基本的には、分割送信処理プログラム１１４０を実行している送信側のビデオデータ分割送信処理部２０と、ビデオデータ分割受信処理プログラム１１６０を実行している受信側のビデオデータ分割受信処理部４０と、の間で行なわれる。
【０１６０】
まず、ビデオデータ分割送信処理プログラム１１４０（図１２）について説明する。
【０１６１】
該ビデオデータ分割送信処理プログラム１１４０は、ビデオメール送信端末１上では、ビデオメール送信処理プログラム１０２０（図７）のステップ１０２６において起動される。メールボックスサーバ端末２上では、後述するメールボックス管理プログラム１２１０（図１６）のステップ１２１３において起動される。なお、該ステップ１２１３は、ビデオメール受信端末３からの分割送信要求（ビデオメール再生プログラム１１３０（図１１）のステップ１１３６参照）を受けた際になされるものである。
【０１６２】
上記二つの場面のうちいずれにおいて起動された場合でも、該プログラム１１４０には、送信対象の分割送信データを識別するための情報（例えば、ファイル名）が、パラメータとして渡される。なお、ここでパラメータとして渡す情報は、先送りデータ３００のリンク情報３３０としても使用可能なものである。
【０１６３】
ビデオデータ分割送信処理プログラム１１４０が起動されると、ＣＰＵ１０１は、先ず、データの送信処理を行なうため、送信相手（ここでは、端末２、あるいは該端末３）のビデオデータ分割受信処理部４０とのコネクションを確立する（ステップ１１４１）。
【０１６４】
続いて、ＣＰＵ１０１は、分割送信処理を行うのに必要なネットワーク情報パラメータを、後述するネットワーク情報テーブル５００（図１４（ａ）参照）から読み出す（ステップ１１４２）。そして、該ネットワーク情報パラメータを用いて、データの分割サイズ、および、データの転送時間間隔を決定し、後述する転送制御情報５１０（図１４（ｂ）参照）に格納する（ステップ１１４３、１１４４）。なお、ステップ１１４２〜ステップ１１４４において用いられる各種パラメータ、分割サイズ及び転送時間間隔の決定方法については、後ほど図１４、数５、数６を用いて説明する。
【０１６５】
この後、ＣＰＵ１０１は、転送対象である分割送信データ（本実施例では、圧縮ビデオデータ２５０）を、ここで設定した分割サイズ毎に分割し、分割されたできた個々のデータブロックを、該転送間隔で転送する（ステップ１１４５）。
【０１６６】
送信すべき全てのデータ送信が終わると、ＣＰＵ１０１は、ビデオデータ分割受信処理部４０とのコネクションを切断する（ステップ１１４６）。
【０１６７】
次に、ビデオデータ分割受信処理プログラム１１５０（図１３）について説明する。
【０１６８】
該ビデオデータ分割受信処理プログラム１１５０は、ビデオメール受信端末３上では、分割送信データを受信する際（ビデオメール再生処理プログラム１１３０（図１１）のステップ１１３６参照）において起動される。メールボックスサーバ端末２上では、後述するメールボックス管理プログラム１２１０（図１６）のステップ１２１７において起動される。なお、該ステップ１２１７は、メールボックスサーバ端末２が、ビデオメール送信端末１から複数回に分けて送信されてくる分割送信データを受信する際に実行されるものである。
【０１６９】
上記二つの場面のうちのいずれにおいて起動された場合でも、該ビデオデータ分割受信処理プログラム１１５０には、送信対象の分割送信データのファイルを識別するための情報（例えば、ファイル名）がパラメータとして渡される。ここでパラメータとして渡される情報は、先送りデータ３００のリンク情報３３０としても使用可能なものである。
【０１７０】
ビデオデータ分割受信処理プログラム１１５０が起動されると、ＣＰＵ１０１は、分割送信処理部２０からのコネクション確立要求（分割送信処理プログラム（図１２）のステップ１１４１参照）に対応して、コネクションを確立する（ステップ１１５１）。
【０１７１】
続いて、ＣＰＵ１０１は、送信相手（ここでは、端末１または端末２）のビデオデータ分割送信処理部２０から送信されてくる（図１２のステップ１１４５参照）個々のデータブロックを順次受信する。この場合、ＣＰＵ１０１は、データブロックを１個受信し終わる度に、当該データブロックを、それ以前に受信しているデータブロックと統合して１つのファイルとする。このようにしてすべてのデータブロックを結合することで、分割送信データを再構成できる。そして、再構成した分割送信データのファイルを、それぞれの端末の記憶装置１０６等に格納する（ステップ１１５２）。
【０１７２】
分割送信データの受信が完了すると、ＣＰＵ１０１は、該ビデオデータ分割送信処理部２０とのコネクションを切断し（ステップ１１５３）、該プログラム１１５０の処理を終了する。
【０１７３】
分割送信の終了は、前述したとおり、エンドオブファイル記号の検出、或いは転送データサイズの照合による方法で判断する。
【０１７４】
次に、分割送信処理プログラム１１４０（図１２）のステップ１１４２〜ステップ１１４４において参照・設定される、ネットワーク情報パラメータ、分割サイズおよび転送間隔について説明する。
【０１７５】
該ネットワーク情報パラメータは、図１４（ａ）に示したネットワーク情報テーブル５００に格納されている。ネットワーク情報パラメータには、遅延許容時間５０１、伝送帯域割当て幅５０２、利用端末数５０３、伝送速度５０４、余裕時間５０５、及び無伝送検知時間５０６がある。
【０１７６】
ネットワーク４を介して既存装置間でリアルタイム通信処理を確保するためには、一の端末に所定時間以上続けてネットワーク４を占有させないようにする必要がある。遅延許容時間５０１は、一の端末が連続して占有しつづけることが許される時間の最大値である。
【０１７７】
一度に送ることのできるデータの最大サイズは、原理的には、上記遅延許容時間５０１に対応して決定されるはずである。しかし、この最大サイズぎりぎりの大きさのデータを送ったのでは、なんらかの事情によって該許容範囲内に転送を完了できない場合もある。従って、実際には、ある程度の余裕を見込んで最大サイズよりもある程度小さなサイズのデータを送るようにすることが好ましい。余裕時間５０５は、該余裕の程度を指定するものである。余裕時間５０５の具体的値は、ユーザが経験に基づいてあらかじめ与えておくものである。一般に余裕時間５０５は、０以上の値を設定する。
【０１７８】
伝送帯域幅５０２は、ネットワーク４に接続された、データの分割送信処理機能を有する端末に対して、割当て可能な伝送帯域幅である。該伝送帯域割当て幅５０２は、ネットワーク４固有にあらかじめ定まっている値である。従って、これは本システムのセットアップ時などにユーザが設定しておけばよい。
【０１７９】
利用端末数５０３は、その時点で、ネットワーク４において分割送信を行なっている端末装置の組数である。該利用端末数５０３は、分割送信処理プログラム１１４０（図１２）のステップ１１４１におけるコネクション確立時、及びステップ１１４６におけるコネクション切断時に、該テーブル５００を有している端末のＣＰＵ１０１によって更新される。
【０１８０】
伝送速度５０４は、使用するネットワークによって一意的に決まるデータの伝送速度である。
【０１８１】
無伝送検知時間５０６は、ネットワークが使用されているか否かを判定するためのものであり、いわゆるフレーム間ギャップである。ネットワーク４上において、該無伝送検知時間５０６以上の期間、データの送受信が行われていないことを確認した時点で初めて、端末は、該ネットワーク４が使用されていないと判断する。該無伝送検知時間５０６は、ネットワーク４固有にあらかじめ定まっている値である。従って、本システムのセットアップ時などにユーザが設定しておけばよい。
【０１８２】
なお、該テーブル５００は、ネットワーク４に接続されている端末全てがアクセスすることのできる情報であり、どの端末においてもよい。しかし、複数の端末に配置する場合、どの時刻においても、内容が一致している必要がある。
【０１８３】
分割送信処理プログラム１１４０（図１２）のステップ１１４３，１１４４で決定される分割サイズ（５１１）および転送間隔（５１２）は、個々の端末が有する転送制御情報テーブル５１０（図１４（ｂ）参照）に格納される。
【０１８４】
分割サイズ５１１は、転送対象となる大容量のデータ（分割送信データ）を、分割するサイズである。該分割サイズ５１１は、上述の遅延許容時間５０１、伝送速度５０４、及び余裕時間５０５を用いて、下記数５（＝数１、数３）に従って決定される。
【０１８５】
【数５】
0003628359.tif 000004
【０１８６】
なお、数５における、余裕時間５０５は必ずしも考慮する必要はないが、考慮して、分割サイズを決定するのが好ましい。当然ながら余裕時間５０５＝０の場合が、分割サイズの最大値である。特許請求の範囲において言う”最大データサイズ”とは、該数５において余裕時間５０５＝０とした場合の分割サイズ５１１に相当するものである。また、本実施例では、該分割サイズ５１１が、特許請求の範囲において言う”分割送信手段が一回に送るデータ量ｄｐ”に相当するものである。
【０１８７】
転送間隔５１２は、分割送信データを上記分割サイズで分割してできた個々のデータブロックを、転送する時間間隔である。該転送間隔５１２は、上述の帯域割当て幅５０２、分割サイズ５１１、利用端末数５０３、媒体のデータ無伝送検知時間５０６を用いて、下記数６（＝数２、数４）により計算する。
【０１８８】
【数６】
0003628359.tif 000005
【０１８９】
なお、ここで述べた分割サイズ、転送間隔の決定の仕方については、本願出願人が別途出願している特願平６−１３１９６１号に詳細に記載されている。
【０１９０】
次に、メールボックス送受信管理部３０について説明する。
【０１９１】
メールボックス送受信管理部３を実現するための処理としては、▲１▼受信処理ハンドラプログラム１２００（図１５）、▲２▼メールボックス管理プログラム１２１０（図１６）とがある。これらのプログラムは、メールボックスサーバ端末２の有するＣＰＵ１０１が実行するものである。以下において、これら２つのプログラムを説明する。
【０１９２】
▲１▼受信処理ハンドラプログラム１２００（図１５）
受信ハンドラプログラム１２００は、ネットワーク４を介してのデータ受信割込みを契機として起動される。
【０１９３】
受信ハンドラプログラム１２００が起動されると、ＣＰＵ１０１は、その受信データの内容が、該端末２上で動作するどのプログラム宛のものであるかを判定する（ステップ１２０１）。そして、メールボックス管理プログラム１２１０宛のデータは、該プログラム１２１０に処理を依頼する（ステップ１２０２）。他のプログラム宛のものについても、同様に、当該プログラムに処理を依頼する。
【０１９４】
この後、ＣＰＵ１０１は、プログラム１２００を終了する。
【０１９５】
▲２▼メールボックス管理プログラム１２１０（図１６）
該メールボックス管理プログラム１２１０は、受信ハンドラプログラム（図１５）のステップ１２０２において起動されるものである。
【０１９６】
該メールボックス管理プログラム１２１０が起動されると、ＣＰＵ１０１は受信内容の解析を行なう（ステップ１２１１）。そして、その解析結果に応じて、ステップ１２１２〜ステップ１２１７のうちのいずれかを実行する。
【０１９７】
受信内容が、ビデオメール再生プログラム１１３０の先送りデータ取り出し要求（図１１のステップ１１３１参照）であった場合には、ＣＰＵ１０１は、ステップ１２１２に進み、要求のあった先送りデータ３００を通常の伝送方式で該端末３へ送信する。
【０１９８】
受信内容が、ビデオメール受信及び再生処理部６０からの分割送信データの取り出し要求（ビデオメール再生プログラム１１３０（図１１）のステップ１１３５参照）であった場合には、ＣＰＵ１０１は、ステップ１２１３に進み、ビデオデータ分割送信プログラム１１４０（図１２）を起動し、分割送信を行わせる。
【０１９９】
受信内容が、ビデオメール受信及び再生処理部６０からのビデオメール着信確認要求（ビデオメール着信処理プログラム１１１０（図９）のステップ１１１１参照）であった場合には、ＣＰＵ１０１は、ステップ１２１４に進み、新着ビデオメールの有無に関するメッセージを、ビデオメール受信及び再生処理部６０へへ送信する。
【０２００】
受信内容が、ビデオメール受信及び再生処理部６０からの着信ビデオメール一覧データ要求（ビデオメール開封プログラム１１２０（図１０）のステップ１１２１参照）であった場合には、ＣＰＵ１０１は、ステップ１２１５に進み、問い合わせの有ったユーザ宛のビデオメールの一覧データを返答する。
【０２０１】
受信内容が、ビデオメール作成及び送信処理部１０からの先送りデータ転送要求（ビデオメール送信プログラム１０２０（図７）のステップ１０２４参照）およびその宛先情報であった場合には、ＣＰＵ１０１は、ステップ１２１６に進み、送られてくる先送りデータを受信する。そして、受信した先送りデータを該宛先に対応するメールボックス５０に格納する。
【０２０２】
受信内容が、ビデオメール作成及び送信処理部１０からの分割送信要求（ビデオメール送信プログラム１０２０（図７）のステップ１０２５参照）およびその宛先情報であれば、ＣＰＵ１０１は、ステップ１２１７に進み、ビデオデータ分割受信プログラム１１５０を起動して、分割送信データの分割受信を行わせる。そして、受信したデータを、該宛先に対応するユーザ宛のメールボックス５０に格納する。
【０２０３】
以上のステップ１２１２〜ステップ１２１７のいずれかを実行した後、ＣＰＵ１０１は、メールボックス管理プログラム１２１０を終了する。
【０２０４】
以上説明した通り本実施例では、先送りデータのみを先に送っている。動画を主体としたビデオデータは、この後、ネットワークの通信品質（例えば、遅延許容時間、制限された利用帯域）を保証するべく決定された、分割サイズおよび転送間隔で、分割送信している。そのため、緊急性への対応と、ネットワークの負荷軽減と、を両立したビデオメールの転送が実現できた。
【０２０５】
また、本実施例のビデオメールシステムを既存のコンピュータネットワークシステムに導入するには、ビデオメール機能を必要とする端末にだけ上記の分割送信のための構成を搭載するだけでよい。これだけで、従来のネットワークアプリケーションのデータ伝送、特にリアルタイム性を要求するデータ伝送を邪魔することのなく、ビデオメールのデータ転送を実現できる。従って、コスト的にも有利である。
【０２０６】
本実施例においては、ビデオメールの性格上、代表フレームデータ、音声データ、およびテキストデータを、先送りデータとし、ビデオデータを分割送信データとした。しかし、先送りデータを構成するデータの種類は、これに限定されるものではない。どのデータを先に送るかは、緊急性、優先度、データ容量等の因子により決定すればよい。あるいは様々な因子のトレードオフを考慮して決定すればよい。分割送信データを構成するデータの種類についても同様に限定されるものではない。例えば、本実施例においては、代表フレームを一枚だけとしていた。しかし、代表フレームを複数枚選択可能にしても良い。これは、例えば、代表フレーム選択プログラム１０３０を複数回実行可能にすることで容易に実現できる。また、本実施例では、音声データは、先送りデータおよび分割送信データの両方に含まれている。しかし、分割送信データには、音声データを含まないようにしてもよい。さらには、本実施例では、音声データをすべて先送りデータに含めるようにしていたが、一部の音声データのみを先送りデータとするようにしても良い。この場合には、代表フレームデータの選択時に併せて、音声データを再生し、先送りデータに含める範囲を指定できるようにすれば良い。当然、ここで述べた２つの手法を組み合わせても良い。この他、動画データのみ、あるいは、音声データのみを伝送する場合にも本発明は適用できる。
【０２０７】
本実施例では、音声データが、先送りデータと、分割送信データとの両方に含まれていた。しかし、分割送信データに音声データを含めないようにしても良い。この場合、受信端末でビデオデータを再生する際には、先送りデータに含まれて送られてきた音声データと、分割送信データに含まれて送られてきた動画データとの同期をとる必要がある。そのため、音声データと、動画データとの時間的な位置関係を示すための情報を、先送りデータ（あるいは、分割送信データ）に含めるようにする。
【０２０８】
代表フレームの選択は、画面に表示されているイメージをユーザがそのまま選択するようにしているため、選択操作は容易である。また、代表フレームデータとしては、ＶＲＡＭ１０９上にあるデータをそのまま利用する方式としている。この方式においては、デコードされたデータが代表フレームデータとなるため、ＭＰＥＧなど動画データの圧縮方式に依存することがない。従って、ベクトル量子化や、国際標準のＨ．２６１等の方式による圧縮動画データをビデオメールのデータとして採用する場合にも、本方式を適用可能である。
【０２０９】
本実施例では、代表フレームデータを、ユーザからの選択がなされなかった場合だけ、予め定められ位置（動画データの最も最後）にある静止画を自動的に選択するようにしている。しかし、当初から、このような位置にある静止画を自動的に代表フレームとして選択するようにしてもよい。自動的に選択する位置としては、この他に、最初の静止画とすることも考えられる。ここで述べたような、動画を構成している静止画のうちの”１枚目”、あるいは、”最後”といった基準が、特許請求の範囲において言う”抽出手段”が抽出を行う際の基準として用いる”抽出されるデータの位置”の一例である。
【０２１０】
本実施例では、分割送信データ（上記実施例では、圧縮ビデオデータ２５０）を分割して転送している時に、分割送信が行なわれている旨をディスプレイに表示してユーザに知らせている。そのため、例えば端末のバックグラウンド処理で分割送信を行なうような場合でも、ユーザが、転送の終了時期が分からずに不安になるといったことがない。
【０２１１】
本実施例では、分割送信データを予め決定したサイズのブロックに分割した後、各ブロック毎に複数回に分けて転送を行っていた。しかし、必ずしも、このように予めブロックに分割する必要はない。例えば、分割送信データを分割することなく転送を開始し、予め決定したデータ量（サイズ）だけ送った時点で、転送をやめる。そして、所定の時間間隔が経過した後、前回の続きから、転送を再開する処理を繰り返すようにしてもよい。
【０２１２】
本発明における、データ種別に応じた転送方式の使い分け方法、分割送信方式は、本実施例のシステム以外にも様々なシステムに適用可能である。例えば、コンピュータ端末におけるＣＰＵとメモリ等の装置との間でのデータ転送に適用すれば、バストラヒックネックを解消できる。
【０２１３】
本実施例では、ビデオメール送信端末１、メールボックスサーバ端末２、ビデオメール受信端末３とから構成されるビデオメールシステムについて述べた。しかし、本発明は、メールボックスサーバ端末２を介することなく、ビデオメール送信端末１からビデオメール受信端末３へ直接ビデオメールを送付する場合にも適用可能である。送信端末１と、受信端末３とを、専用の伝送路で接続していてもよい。この場合には、先送りデータには、必ずしもリンク情報が含まれていなくてもよい。先送りデータと、該先送りデータを受信した直後に受信した分割送信データとを対応づけるようにしてもよい。特許請求の範囲において言う”ネットワーク”とは、このように、２台の装置を結ぶ専用の伝送路をも含む概念である。一般のＬＡＮ等を用いている場合でも、分割送信データに予め定められた名前を付するようにすれば、リンク情報３３０を先送りデータに含めなくても良い。
【０２１４】
本実施例においては、リンク情報３３０は、分割送信データを示すものであった。しかし、分割送信データが、互いに別個に管理可能な複数種類の内容から構成される場合には、その内容のデータファイルを直接示すＩＤ等で構成しても良い。例えば、分割送信データが、ビデオデータと、テキストデータで構成される場合には、リンク情報として、ビデオデータのファイルを示す情報と、テキストデータのファイルを示す情報とを持つようにする。なお、この場合には、該ビデオデータのファイルを示す情報と、テキストデータのファイルを示す情報とのそれぞれが、特許請求の範囲においていうリンク情報に相当する。このようにすれば、サーバ２と受信端末３との間での分割送信の実行要求、及び、これに応えて行われる分割送信を、該分割送信データを構成する内容毎に行うことができる。その結果、ビデオデータだけを必要とする受信者は、ビデオデータだけを取り出すことが可能となり、ネットワークのトラヒックおよび通信コストのより一層の低減を図ることができる。
【０２１５】
本発明は、主として、既存のネットワークを用いてビデオメール、ビデオデータなどを送ることを目的としてなされたものである。しかしながら、本発明は、将来実現されるであろう高速のネットワークに対して適用した場合でも、特有の効果を得ることができる。例えば、必要最小限のデータを先に送るようにしているため、現在のダイレクトメールに近似した利用の仕方も考えられる。この場合には、不特定の消費者に代表的な商品の概要を記載したデータを先送り情報として送る。そして、より詳細な説明などを求める消費者にのみ、分割送信データを送るようにしても良い。この場合、本発明においては、容易に、先送りデータの内容を消費者に併せて適宜変更することができる。また、データの通信量を必要最小限に留めることで、コスト削減にもつながる。
【０２１６】
ビデオメール受信端末を携帯情報端末として実現する際には、先送りデータおよび分割送信データを保存しないようにしても良い。このようにすれば該携帯情報端末には、ビデオデータ等を保存するための大容量の記憶装置１０６等が不要となり、装置の小型化、装置コストの低減、消費電力の低減を図ることができる。
【０２１７】
【発明の効果】
本発明によれば、既存のコンピュータネットワークシステムに、新たに大容量のデータ伝送を行なうビデオメール等のアプリケーションを導入する場合に、該ビデオメールが従来のネットワークアプリケーションのデータ伝送、特にリアルタイム性を要求するデータ伝送を邪魔することなく、さらにメールの緊急性にも対応したビデオメールのデータ転送方式を提供することが可能である。
【図面の簡単な説明】
【図１】本発明の一実施例であるビデオメールシステム及びその機能構成図である。
【図２】ビデオメール送信及び受信端末のハードウェア構成図である。
【図３】動画のフレーム構成を示す図である。
【図４】ビデオデータ圧縮及び伸長処理の概要を示す図である。
【図５】先送りデータの構成及び作成方法の原理図である。
【図６】ビデオメール作成プログラムのフローチャートである。
【図７】ビデオメール送信プログラムのフローチャートである。
【図８】代表フレーム選択プログラムのフローチャートである。
【図９】ビデオメール着信処理プログラムのフローチャートである。
【図１０】ビデオメール開封プログラムのフローチャートである。
【図１１】ビデオメール再生プログラムのフローチャートである。
【図１２】分割送信処理プログラムのフローチャートである。
【図１３】分割受信処理プログラムのフローチャートである。
【図１４】ネットワーク情報パラメータのデータ構成図である。
【図１５】受信ハンドラプログラムのフローチャートである。
【図１６】メールボックス管理プログラムのフローチャートである。
【符号の説明】
１…ビデオメール送信端末、  ２…メールボックスサーバ端末、  ３…ビデオメール受信端末、  ４…ネットワーク、  １０…ビデオメール作成・送信処理部、２０…ビデオデータ分割送信処理部、  ３０…メールボックス送受信管理部、４０…ビデオデータ分割受信処理部、  ５０…メールボックス、  ６０…ビデオメール受信・再生処理部、  １０１…ＣＰＵ、  １０２…主メモリ、  １０３…時計装置（クロック）、  １０４…マウス、  １０５…キーボード、  １０６…記憶装置、  １０７…ネットワーク制御装置（ＬＡＮボード）、  １０８…画像入出力制御装置、  １０９…ＶＲＡＭ、  １１０…ディスプレイ、  １１１…カメラ、  １１２…音声入出力制御装置、  １１３…マイク、  １１４…スピーカ、  １１５…圧縮伸長装置、  ２００…ビデオデータ圧縮処理アルゴリズム、２０１…ＭＰＥＧ・Ｖｉｄｅｏエンコーダ、  ２０２…ＭＰＥＧ・Ａｕｄｉｏエンコーダ、  ２１０…ビデオデータ伸長処理アルゴリズム、  ２１１…ＭＰＥＧ・Ｖｉｄｅｏデコーダ、  ２１２…ＭＰＥＧ・Ａｕｄｉｏデコーダ、  ２５０…ビデオデータ、  ２６０…動画データ、  ２６１…動画データ、  ２７０…音声データ、  ２７１…音声データ、  ３００…先送りデータ、  ３１０…代表フレームデータ、  ３２０…全音声データ、  ３３０…リンク情報、  ３４０…テキストデータ、  ４００…フレームポインタ、  ４１０…動画フレームデータ、５００…ネットワーク情報テーブル、  ５０１…遅延許容時間、  ５０２…帯域割り当て幅、  ５０３…利用端末数、  ５０４…伝送速度、  ５０５…余裕時間、  ５０６…無伝送検知時間、  ５１０…転送制御情報テーブル、  ５１１…分割サイズ、  ５１２…転送間隔、  １０１０…ビデオメール作成プログラム、１０２０…ビデオメール送信プログラム、  １０３０…代表フレーム選択プログラム、  １１１０…ビデオメール着信処理プログラム、  １１２０…ビデオメール開封プログラム、  １１３０…ビデオメール再生プログラム、  １１４０…分割送信処理プログラム、  １１５０…分割受信処理プログラム
【図１】
0003628359.tif 000008
【図２】
0003628359.tif 000009
【図３】
0003628359.tif 000010
【図４】
0003628359.tif 000011
【図５】
0003628359.tif 000012
【図６】
0003628359.tif 000013
【図７】
0003628359.tif 000014
【図８】
0003628359.tif 000015
【図９】
0003628359.tif 000016
【図１０】
0003628359.tif 000017
【図１１】
0003628359.tif 000018
【図１２】
0003628359.tif 000019
【図１３】
0003628359.tif 000020
【図１４】
0003628359.tif 000021
【図１５】
0003628359.tif 000022
【図１６】
0003628359.tif 000023