(57)【要約】【課題】既存の携帯電話のサービスを利用して、滑らかな動きの動画データを送受信できる動画伝送装置、動画伝送方法、動画伝送システム、及び、携帯通信端末を提供することを目的とする。【解決手段】一方の携帯電話より送られてきたデータから時刻と静止画像データを取得し（ステップＳ１０２）、各々Ｔ２、Ｐ２とする（ステップＳ１０３）。ステップＳ１０５では、前回取得した静止画の時刻Ｔ１と今回取得した静止画の時刻Ｔ２との時間、及び画像周期Ｔｃとを用い補間枚数Ｎを計算する。画像Ｐ１とＰ２との間であって、Ｉ／Ｎ番目の補間画像を作成する（ステップＳ１０７）。Ｉ＞Ｎ−１となるまでステップＳ１０７〜Ｓ１０９の処理を繰り返し、Ｐ１とＰ２間であってＴｃ毎の補間画像をＮ−１枚作成する。しかる後に、Ｎ枚の画像、つまりＮ−１枚の補間画像と、１枚の今回の画像Ｐ２とからなるＮ枚の画像をＭＰＥＧ４変換して他方の携帯電話に送信する。【選択図】        図７
2004200949.tif 000002
【特許請求の範囲】
【請求項１】
間欠的に撮影されて送信される静止画データを順次受信する受信手段と、
この受信手段で順次受信される時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成する作成手段と、
この作成手段により作成された補間画像データと前記静止画データとからなる時系列的な画像データ列を送信する送信手段と
を備えることを特徴とする動画伝送装置。
【請求項２】
前記作成手段は、前記相前後する一対の静止画データの時間間隔と所定の周期とに基づき作成すべき補間画像データの数を算出する算出手段を有し、この算出手段により算出された数の補間画像データを作成することを特徴とする請求項１記載の動画伝送装置。
【請求項３】
前記受信手段は、前記静止画データとともに各静止画データの撮影タイミングを受信し、前記算出手段は、前記各静止画データの撮影タイミングに基づき、前記静止画データ間の時間間隔を算出することを特徴とする請求項２記載の動画伝送装置。
【請求項４】
前記受信手段は、前記静止画データとともに音声データをも受信し、前記送信手段は、前記時系列的な画像データ列とともに前記音声データを送信することを特徴とする請求項１から４にいずれか記載の動画伝送装置。
【請求項５】
間欠的に撮影されて送信される静止画データを順次受信する受信する受信ステップと、
この受信ステップで順次受信される時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成する作成ステップと、
この作成ステップで作成された補間画像データと前記静止画データとからなる時系列的な画像データ列を送信する送信ステップと
を含むことを特徴とする動画伝送方法。
【請求項６】
前記受信ステップでは、前記静止画データとともに音声データをも受信し、前記送信ステップでは、前記時系列的な画像データ列とともに前記音声データを送信することを特徴とする請求項５記載の動画伝送方法。
【請求項７】
静止画送信装置と動画伝送装置及び動画表示装置とで構成される動画伝送システムであって、
前記静止画送信装置は、
被写体を間欠的に撮影する撮影手段と、
この撮影手段により撮影された被写体の静止画データを順次送信する静止画データ送信手段とを備え、
前記動画伝送装置は、
前記静止画送信装置の静止画データ送信手段から送信される静止画データを順次受信する静止画データ受信手段と、
この静止画データ受信手段で順次受信される時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成する作成手段と、
この作成手段により作成された補間画像データと前記静止画データとからなる時系列的な画像データ列を送信する動画データ送信手段とを備え、
前記動画表示装置は、前記動画伝送装置の動画データ送信手段から送信される時系列的な画像列を受信する動画データ受信手段と、
この動画データ受信手段により受信された時系列的な画像データ列に基づき、動画データを表示する表示手段と
を備えることを特徴とする動画伝送システム。
【請求項８】
前記静止画送信装置は、音声データを取得する取得手段を更に備え、前記静止画送信手段は前記静止画データと前記音声データとを送信し、
前記静止画データ受信手段は前記静止画とともに前記音声データを受信し、前記動画送信データ手段は前記時系列的な画像データ列と前記音声データを送信し、
前記動画受信データ手段は、前記時系列的な画像データ列と前記音声データを受信し、前記動画表示装置は、この音声データを再生する音声再生手段を更に備えることを特徴とする請求項７記載の動画伝送システム。
【請求項９】
受信される複数の静止画データからこれらの静止画データの補完画像データ作成して動画データを作成して伝送する動画伝送システムに接続される携帯通信端末であって、
静止画データを撮影する撮影手段と、
この撮影手段により撮影された静止画データの撮影タイミングを取得する撮影タイミング取得手段と、
前記撮影手段により撮影された静止画データと、前記撮影タイミング取得手段によって取得された撮影タイミングとを対応付けて順次送信する送信手段と
を備えることを特徴とする携帯通信端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
【０００２】
本発明は、動画伝送装置、動画伝送方法、動画伝送システム、及び、携帯通信端末に関する。
【０００３】
【従来の技術】
【０００４】
今日においては、画像圧縮技術が進歩し、携帯電話にてリアルタイムに動画伝送を実現する研究等がなされている。しかし、高度の画像圧縮を行ったとしても、画像のデータ転送帯域は１００ＫＢＰＳ程度が必要であり、これに対し、音声を主体とする公衆回線網では、画像データを携帯電話から無線基地局に送る側（以下、この方向を上りといい、逆方向の携帯電話に送る側を下りと定義する。）の通信帯域は携帯電話の回線網でも１０ＫＢＰＳ相当しかない。したがって、上りの動画転送は困難であるため、１秒間に数枚の静止画を伝送したり、送り出す静止画の全データを送ることなく、前回の静止画との差分データを送るなどの手法が用いられている。また、動画データを各フレーム毎に順次圧縮処理する際に、最初のフレームの圧縮画像データの先頭のみにヘッダ情報を付与し、２番目以降のフレームについてヘッダ情報を省略する等の手法（特許文献１参照。）も提案されている。
【０００５】
【特許文献１】
特開平１０−２８５５６５号公報
【０００６】
【発明が解決しようとする課題】
【０００７】
ところで、一般にデータ転送を考えた場合、その主たる用途はネットワークを介した端末へのデータのダウンロードである。このため、携帯電話のインフラにおけるワイヤレス通信網は非対称が多く、例えばＮ−ＣＤＭＡ（狭帯域符号分割多重アクセス）方式を利用した携帯電話サービスも下りは１４４ＫＢＰＳまでの転送速度が可能であるが、上りは１４．４ＫＢＰＳである。つまり、上りのデータ伝送容量は少ないが、下りのデータ伝送容量は上りのデータ伝送容量よりも遙かに大きい。
このサービスに対し、上り、下り共に最大３８４ＫＢＰＳまでの通信速度が可能なＷ−ＣＤＭＡ（広帯域符号分割多重アクセス）方式を利用した携帯電話によるサービスが展開されており、このサービスを利用すれば滑らかな動きの動画データをリアルタイムで携帯電話から送受信することのできるＴＶ電話サービスが実現できる。
【０００８】
しかし、上記のようなＷ−ＣＤＭＡ方式で可能なＴＶ電話サービスは、現状のＮ−ＣＤＭＡ方式を利用した携帯電話では不可能であった。
【０００９】
本発明は、このような問題に鑑みてなされたものであり、既存の携帯電話のサービスを利用して、滑らかな動きの動画データを送受信できる動画伝送装置、動画伝送方法、動画伝送システム、及び、携帯通信端末を提供することを目的とするものである。
【００１０】
【課題を解決するための手段】
【００１１】
前記課題を解決するために請求項１記載の発明に係る動画伝送装置にあっては、間欠的に撮影されて送信される静止画データを順次受信する受信手段と、この受信手段で順次受信される時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成する作成手段と、この作成手段により作成された補間画像データと前記静止画データとからなる時系列的な画像データ列を送信する送信手段と
を備えることを特徴とする動画伝送装置。
【００１２】
したがって、この動画伝送装置にデータを送る上り側においては、送信されるデータが間欠的に撮影された静止画データであることから、上り側において必要となるデータ伝送容量は少ない。そして、動画伝送装置は間欠的な静止画データを受信すると、時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成し、この作成した補間画像データと前記静止画データとからなる時系列的な画像列を送信する。したがって、この動画伝送装置からデータを送る上り側においては、送信されるデータが補間画像データと静止画データとからなる時系列的な画像列であることから、上り側において必要となるデータ伝送容量は下り側よりも遙かに大きくなる。
【００１３】
しかし、非対称型通信網においては、上りのデータ伝送容量は少ないが、下りのデータ伝送容量は上りのデータ伝送容量よりも遙かに大きい。したがって、非対称型通信網を有効利用して、動画伝送装置に静止画データを送り、かつ、動画伝送装置から補間画像データと静止画データとからなる時系列的な画像列を送ることができる。
【００１４】
また、このようにして送られてくる画像列にあっては、静止画データのみならず、時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを含んでなることから、この画像データ列に基づき滑らかな動きを伴う動画を表示することができる。よって、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できるようにすることができる。
【００１５】
また、請求項２記載の発明に係る動画伝送装置にあっては、前記作成手段は、前記相前後する一対の静止画データの時間間隔と所定の周期とに基づき作成すべき補間画像データの数を算出する算出手段を有し、この算出手段により算出された数の補間画像データを作成することを特徴とする請求項１記載の動画伝送装置。したがって、当該一対の静止画データ間を適正に補間し得る数の補間画像データを作成することができる。
【００１６】
また、請求項３記載の発明に係る動画伝送装置にあっては、前記受信手段は、前記静止画データとともに各静止画データの撮影タイミングを受信し、前記算出手段は、前記各静止画データの撮影タイミングに基づき、前記静止画データ間の時間間隔を算出する。したがって、一対の静止画データ間の時間間隔が一定でない場合であっても、当該一対の静止画データ間を適正に補間し得る数の補間画像データを作成することができる。
【００１７】
また、請求項４記載の発明に係る動画伝送装置にあっては、前記受信手段は、前記静止画データとともに音声データをも受信し、前記送信手段は、前記時系列的な画像データ列とともに前記音声データを送信する。したがって、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できる動画ＴＶ（television）電話を達成することができる。
【００１８】
また、請求項５記載の発明に係る動画伝送方法にあっては、間欠的に撮影されて送信される静止画データを順次受信する受信する受信ステップと、この受信ステップで順次受信される時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成する作成ステップと、この作成ステップで作成された補間画像データと前記静止画データとからなる時系列的な画像データ列を送信する送信ステップとを含む。したがって、記載したステップに従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。
【００１９】
また、請求項６記載の発明に係る動画伝送方法にあっては、前記受信ステップでは、前記静止画データとともに音声データをも受信し、前記送信ステップでは、前記時系列的な画像データ列とともに前記音声データを送信する。したがって、記載したステップに従って処理を実行することにより、請求項４記載の発明と同様の作用効果を奏する。
【００２０】
また、請求項７に係る発明にあっては、静止画送信装置と動画伝送装置及び動画表示装置とで構成される動画伝送システムであって、前記静止画送信装置は、被写体を間欠的に撮影する撮影手段と、この撮影手段により撮影された被写体の静止画データを順次送信する静止画データ送信手段とを備え、前記動画伝送装置は、前記静止画送信装置の静止画データ送信手段から送信される静止画データを順次受信する静止画データ受信手段と、この静止画データ受信手段で順次受信される時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成する作成手段と、この作成手段により作成された補間画像データと前記静止画データとからなる時系列的な画像データ列を送信する動画データ送信手段とを備え、前記動画表示装置は、前記動画伝送装置の動画データ送信手段から送信される時系列的な画像列を受信する動画データ受信手段と、この動画データ受信手段により受信された時系列的な画像データ列に基づき、動画データを表示する表示手段とを備える。
【００２１】
したがって、静止画送信装置から動画伝送装置にデータを送る上り側においては、送信されるデータが間欠的に撮影された静止画データであることから、上り側において必要となるデータ伝送容量は少ない。そして、動画伝送装置は間欠的な静止画データを受信すると、時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを作成し、この作成した補間画像データと前記静止画データとからなる時系列的な画像データ列を動画表示装置に送信する。したがって、この動画伝送装置から動画表示装置にデータを送る上り側においては、送信されるデータが補間画像データと静止画データとからなる時系列的な画像データ列であることから、上り側において必要となるデータ伝送容量は下り側よりも遙かに大きくなる。
【００２２】
しかし、非対称型通信網においては、前述のように上りのデータ伝送容量は少ないが、下りのデータ伝送容量は上りのデータ伝送容量よりも遙かに大きい。したがって、非対称型通信網を有効利用して、静止画送信装置から動画伝送装置に静止画データを送り、かつ、動画伝送装置から動画表示装置に補間画像データと静止画データとからなる時系列的な画像データ列を送ることができる。
【００２３】
また、このようにして送られてくる画像データ列にあっては、静止画データのみならず、時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを含んでなることから、動画伝送装置においてはこの画像データ列に基づき滑らかな動きを伴う動画を表示することができる。よって、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できるシステムを構築することができる。
【００２４】
また、請求項８に係る発明にあっては、前記静止画送信装置は、音声データを取得する取得手段を更に備え、前記静止画送信手段は前記静止画データと前記音声データとを送信し、前記静止画データ受信手段は前記静止画とともに前記音声データを受信し、前記動画送信データ手段は前記時系列的な画像データ列と前記音声データを送信し、前記動画受信データ手段は、前記時系列的な画像データ列と前記音声データを受信し、前記動画表示装置は、この音声データを再生する音声再生手段を更に備える。したがって、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できる動画ＴＶ電話システムを構築することができる。また、請求項９に係る発明にあっては、受信される複数の静止画データからこれらの静止画データの補完画像データ作成して動画データを作成して伝送する動画伝送システムに接続される携帯通信端末であって、静止画データを撮影する撮影手段と、この撮影手段により撮影された静止画データの撮影タイミングを取得する撮影タイミング取得手段と、前記撮影手段により撮影された静止画データと、前記撮影タイミング取得手段によって取得された撮影タイミングとを対応付けて順次送信する送信手段とを備える。したがって、この携帯通信端末から送信される撮影タイミングに基づき、順次送信される静止画データ間の時間間隔を算出することができる。したがって、静止画データ間の時間間隔が一定でない場合であっても、当該静止画データ間を適正に補間し得る数の補間画像データを作成させることができる。
【００２５】
【発明の実施の形態】
【００２６】
以下、本発明を携帯電話による動画伝送システムに適用した実施の形態を図に従って説明する。
【００２７】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る動画伝送システムの構成を示すブロック図である。図において、携帯電話１は、通話機能と静止画撮影機能（カメラ２０）と、静止画送信機能及び動画受信機能とを備える。無線基地局２は、専用ケーブルを介して携帯電話１が加入するＮ−ＣＤＭＡ方式を利用した通信サービス事業者（インターネットプロバイダを含む）３に接続する。
【００２８】
通信サービス事業者３は、主なサービスとして提供している携帯電話サービスに必要とする交換機３４、加入者情報を格納管理するデータベース３５の他、ＷＷＷ５に接続するためのシステム（コンピュータ３１、Ｗｅｂサーバ３２）、動画処理システム３３、ＩＳＤＮ等の高速通信回線網９との接続を管理するゲートウェイサーバ３６を備えている。また、無線基地局２をＡＰ（アクセス・ポイント）として、携帯電話１をＷＷＷ５に接続させるための機能も備えている。
【００２９】
公衆回線網４は、アナログ、デジタル電話回線網であり、ＷＷＷ５は所謂インターネットである。インターネットプロバイダ８は、ＷＷＷ５に接続するためのシステム（コンピュータ８１、Ｗｅｂサーバ８２、各種システムサーバ（便宜上一つのサーバとする）８３、と加入者情報を格納管理するデータベース８４を備え、ＡＤＳＬ回線網を通じて一般家庭のパーソナルコンピュータ７に接続されている。コンピュータ７は上記インターネットプロバイダ８と接続するためのモデムを内蔵し、静止画・動画を撮影可能なカメラ７１、音声を入力するためのマイク７２、音声を出力するためのスピーカ７３とを備える。
【００３０】
一方、携帯電話１００は、上り、下り共に最大３８４ＫＢＰＳまでの通信速度が可能なＷ−ＣＤＭＡ（広帯域符号分割多重アクセス）方式に対応し、リアルタイムで動画データを送受信することができ、通話機能と動画撮影機能（カメラ１２０）と、動画送信機能及び動画受信機能とを備える。無線基地局２００は、専用ケーブルを介して携帯電話１００が加入するＷ−ＣＤＭＡ方式を利用した通信サービス事業者（インターネットプロバイダを含む）１０に接続する。
【００３１】
通信サービス事業者１０は、主なサービスとして提供している携帯電話サービスに必要とする交換機１０４、加入者情報を格納管理するデータベース１０５の他、ＷＷＷ５に接続するためのシステム（コンピュータ１０１、Ｗｅｂサーバ１０２）、ＩＳＤＮ等の高速回線網９との接続を管理するゲートウェイサーバ１０３を備えている。また、無線基地局２００をＡＰ（アクセス・ポイント）として、携帯電話１００をＷＷＷ５に接続させるための機能も備えている。
図２（ａ）は、携帯電話１の構成を示すブロック図である。図において、マイク等からなる音声入力部１１は、通話時における通話者の音声を検出し、デジタルデータに変換して音声コーデック１２に送る。音声コーデック１２は、音声デジタルデータの圧縮を行う。音声パケット生成部１３は、音声コーデック１２からの圧縮された音声データをＮ−ＣＤＭＡ方式の通信フォーマットに規格に則した音声パケットに変換する。パケット合成部１４は、この音声パケットを後述する送信データパケット生成部からのデータパケットと合成し、無線処理部１５に送る。無線処理部１５は、合成されたこれらのパケットを高周波変調し、送信部１５１からアンテナ１６を介して電波として出力する。
【００３２】
また、アンテナ１６及び無線処理部１５は、無線基地局２から送られてくる電波をアンテナ１６で受信し、無線処理部１５の受信部１５２で復調されたデジタルデータとして取り出す。パケット分離部１７は、この取り出されたデジタルデータがストリーム配信による音声付き画像ファイルである場合に、音声データと静止画データ又はＭＰＥＧ動画データを含むデータパケットとに分離する。音声データ復調部１８は、パケット分離回路１７で分離された音声データに対し、送信側で圧縮された逆のデコード処理を行い、音声データに復調する。復調された音声データは、スピーカなどで構成される音声出力部１９に送られて音声に変換されて、通話者により受聴される。
【００３３】
ＭＰＥＧ画像デコーダ２４は、パケット分離部１７で分離されたＭＰＥＧ動画データを含むデータパケットを解凍して、動画信号に戻す。表示部１５はカラー表示可能な液晶デバイスで構成されており、ＭＰＥＧ画像デコーダ２４からの動画信号に基づきリアルタイムの動画を表示する。
【００３４】
カメラ２０は、撮像レンズ、撮像モジュール、ＤＳＰ等で構成され、静止画をあるタイミング毎に撮像し、撮像した静止画を静止画圧縮部２１に送る。静止画圧縮部２１は、カメラ２０から送り出された静止画データを例えばＪＰＥＧ方式の静止画データに圧縮・変換する。またその際、静止画圧縮部２１は、タイミング作成部２３から送り出されてくる静止画取り込み信号と撮影、静止画圧縮開始信号Ｇ１に応じて、画像データを取り込み圧縮を行う。また、静止画圧縮部２１は、圧縮処理中であることを示す圧縮生成動作中信号Ｇ２を発生し、タイミング作成部２３に出力する動作も行う。
【００３５】
また、タイミング作成部２３は、現在時刻を計時する計時回路を内蔵し、静止画取り込み信号が発生した時刻（撮影時刻）として時刻転送開始信号Ｇ３を送信データパケット生成回路２２に送出する。送信データパケット生成回路２２は、この時刻転送開始信号Ｇ３と、静止画転送開始信号Ｇ５以降に入力される静止画圧縮データとを取り込み、これら２つのデータを含むデータパケットを前記パケット合成部１４に送出する。また、音声入力部１１にて入力された音声を音声コーデック１２にて圧縮し音声パケット化して送出する。
図２（ｂ）は、携帯電話１００の構成を示すブロック図である。携帯電話１００はＷ-ＣＤＭＡ方式の携帯電話サービスに対応したシステムを備えているが、アンテナ１００６による無線周波数帯、無線処理部１５の送信部１５３、受信部１５４における無線信号処理方式が上記Ｎ−ＣＤＭＡ方式の携帯電話１と異なることを除いては機能的には携帯電話１と同様である。したがって同じ機能を有する構成については、同一番号を付し、説明は省略する。携帯電話１と異なる点は、カメラ２０にて動画撮影及びリアルタイムでのＭＰＥＧ圧縮が可能な点にあり、この機能を実現させるため、静止画圧縮部２１、タイミング生成部２３に代えて、動画圧縮部１０２１を備える。
【００３６】
図３は、前記通信サービス事業者３が有する動画処理システム３３の概略構成を示すブロック図である。すなわち、受信部３３１は、携帯電話１から無線基地局２を介して送られてくる音声パケットとデータパケットからなるパケットデータを受信する。パケット分離部３３２は、受信部３３１が受信したパケットデータを音声パケットとデータパケットとに分離する。音声バッファ３３３は、分離された音声パケットと画像データとの遅延（タイミングずれ）を合わせる動作を行い、遅延された音声データはパケット合成部３３４に送られる。なお、画像と音声との遅延が無視できる場合は、音声バッファ３３３は不要である。
【００３７】
他方、モーフィング処理部３３６は、パケット分離部３３２で分離された静止画を含むデータパケットを用いて、後述する方法によって、間欠的な静止画を動画データに変換する。ＭＰＥＧ４変換部３３７は、動画データを圧縮してパケット合成部３３４に送る。パケット合成部３３４は、ＭＰＥＧ４変換部３３７からの動画データパケットと、前記音声バッファ３３３からの音声パケットとを１つの通信データにして送信部３３５に送る。送信部３３５はこの通信データを、携帯電話１が携帯電話１００と接続しているならば、通信サービス事業者１０に送信すべく、高速通信回線網９に出力し、携帯電話１がパーソナルコンピュータ７と接続しているならば、インターネットプロバイダ８に送信すべく、ＷＷＷ５に出力する。また、受信パケット変換部３３１は、高速通信回線網９を介して利用されているＴＶ電話のパケットフォーマットを、Ｎ−ＣＤＭＡ方式の下りのパケットデータフォーマット（所定時間間隔ごとの静止画データと音声データ）に変換するものである。したがって、Ｎ-ＣＤＭＡ方式に適用される静止画データと音声データとを用いて、Ｗ−ＣＤＭＡ方式の携帯電話１００とＴＶ電話として接続することができる。
【００３８】
なお、本実施の形態においては、動画処理システム３３は通信サービス事業者３における、システムサーバーとして運用されるものであるが、最小単位のハードウエアが用意されるものであれは、モーフィング処理部３３６等はソフトウエアプログラムで実現させても良い。
【００３９】
次に、以上の構成に係る本実施形態の動作について説明する。なお、以下の説明においては、携帯電話１と携帯電話１００とが接続され、携帯電話１から送信タイミングスロットにて所定時間間隔で静止画を送信し、逆に受信タイミングスロットにて携帯電話１００からストリーム配信される音声付き動画ファイルを受信する場合を想定する。
（１）携帯電話１の動作
携帯電話１において所定の操作により動画ＴＶ電話モードが設定されると、携帯電話１の各部は、図４のフローチャート、図５の信号発生説明図、及び図６のタイミングチャートに示すように動作する。すなわち、カメラ２０は、当該携帯電話１を持っている通話者側の静止画をあるタイミング毎に撮像して、静止画圧縮部２１に送る。一方、タイミング作成部２３は、撮影、静止画圧縮開始信号Ｇ１を生成して静止画圧縮部２１に出力する（ステップＳ１）。すると、静止画圧縮部２１は、撮影、静止画圧縮開始信号Ｇ１に応答して、カメラ２０から送られた静止画データの圧縮を行う。このとき、静止画圧縮部２１は、静止画データの圧縮処理中であることを示す圧縮生成動作中信号Ｇ２を生成して、これをタイミング作成部２３に送る。
【００４０】
また、タイミング作成部２３は、静止画圧縮部２１がデータの圧縮を開始した時刻、つまり撮影、静止画圧縮開始信号Ｇ１を出力した時刻を読み込み、この時刻を含む時刻転送開始信号Ｇ３を送信データパケット生成部２２に出力する（ステップＳ３）。送信データパケット生成部２２は、時刻転送開始信号Ｇ３が示す時刻と、前記静止画圧縮部２１からの静止画圧縮データとを取り込み、これら２つのデータを含むデータパケットを生成して前記パケット合成部１４に送出する。このとき、送信データパケット生成部２２は、パケット通信中信号Ｇ４をタイミング作成部２３に送り続け、データパケットの生成が終了したならば、パケット通信中信号Ｇ４の送信を停止して、データパケットの生成が終了したことを示す。
【００４１】
タイミング作成部２３は、パケット通信中信号Ｇ４の送信が停止するまで、つまり送信データパケット生成部２２によるデータパケットの生成が終了するまで待つ（ステップＳ４）。そして、送信データパケット生成部２２によるデータパケットの生成が終了したならば（ステップＳ４；＝終了）、前記静止画圧縮部２１からの圧縮生成動作中信号Ｇ２が終了するまで、つまり静止画圧縮部２１が静止画データの圧縮を終了するまで待つ（ステップＳ５）。
【００４２】
そして、静止画圧縮部２１が静止画データの圧縮を終了し、該静止画圧縮部２１からの圧縮生成動作中信号Ｇ２が終了すると（ステップＳ５；＝終了）、タイミング作成部２３は、送信データパケット生成部２２に静止画像転送開始信号を出力する（ステップＳ６）。すると、送信データパケット生成部２２は、生成した２つのデータを含むデータパケットをパケット合成部１４に送る。このとき、送信データパケット生成部２２は、パケット通信中信号Ｇ４をタイミング作成部２３に送り続け、パケット合成部１４へのデータパケットの送信が終了したならば、パケット通信中信号Ｇ４の送信を停止して、データパケットの送信が終了したことを示す。
【００４３】
タイミング作成部２３は、パケット通信中信号Ｇ４の送信が停止するまで、つまり送信データパケット生成部２２によるデータパケットの送信が終了するまで待つ（ステップＳ７）。そして、送信データパケット生成部２２によるデータパケットの生成が終了したならば（ステップＳ７；＝終了）、受信タイミングスロットに切り替えて、携帯電話１００からストリーム配信される音声付き動画ファイルを受信・再生する。
【００４４】
したがって、携帯電話１において、送信データパケット生成部２２からのデータパケットと、音声パケット生成部１３からの音声パケットとは、パケット合成部１４で合成されて、無線処理部１５で変調され送信部１５１からアンテナ１６を介して電波として出力される。
（２）動画処理システム３３の動作
【００４５】
前記携帯電話１のアンテナ１６からの電波に重畳されたパケットデータは、無線基地局２で受信されて通信サービス事業者３内の動画処理システム３３の受信部３３１で受信される。この受信されたパケットデータは、パケット分離部３３２で音声パケットとデータパケットとに分離され、音声パケットは音声バッファ３３３で遅延されて、パケット合成部３３４に送られる。他方、静止画データを含むデータパケットは、モーフィング処理部３３６に送られて、図７に示すフローチャートに示すように処理がなされる。
【００４６】
すなわち、モーフィング処理部３３６は、先ず内蔵している開始後画像取得カウンタＣをリセットしてその値を「０」にする（ステップＳ１０１）。次に、送信されたデータパケットから時刻データと静止画データを取得し（ステップＳ１０２）、この取得した時刻データをＴ２とし、取得した静止画データをＰ２とする（ステップＳ１０３）。引き続き、開始後画像取得カウンタＣの値が「０」であるか否か、つまり現時点までの静止画データ数が「０」であるかを判断し（ステップＳ１０４）、静止画データ数が「０」であるときには（ステップＳ１０４；ＹＥＳ）、補間するためのＰ２以前の静止画データＰ１がないので、補間処理のスキップを行うべくステップＳ１１１に進む。他方、静止画データ数が１以上であるときには（ステップＳ１０４；ＮＯ）、補間するためのＰ２以前の静止画データＰ１が存在することになるので、補間処理を行うべく次のステップ（ステップＳ１０５）に進む。
【００４７】
そして、このステップＳ１０５においては、前回の静止画データに対応する時刻Ｔ１と今回の静止画データに対応する時刻Ｔ２との時間、及び画像周期Ｔｃとを用い下記演算式にて補間枚数Ｎを計算する。
Ｎ＝（Ｔ２−Ｔ１）／Ｔｃ
（なお、画像周期Ｔｃは例えば３３ｍｓｅｃである。）
【００４８】
次に、補間画像カウンタＩの値を初期値「１」にセットし（ステップＳ１０６）、静止画データＰ１と静止画データＰ２との間の、Ｉ／Ｎ番目の補間画像データを作成する（ステップＳ１０７）。Ｉ＝１であったとすると、このステップＳ１０７での処理により、図８（ａ）に示すように、Ｎ枚の補間画像データうち１番目の補間画像データＩ＝１が作成されることとなる。
【００４９】
引き続き、補間画像カウンタＩの値をインクリメントした後（ステップＳ１０８）、このインクリメントした補間画像カウンタＩの値と「Ｎ−１」の値とを比較する（ステップＳ１０９）。そして、Ｉ≦Ｎ−１であるならば、ステップＳ１０７に戻り、Ｉ＞Ｎ−１となるまでステップＳ１０７〜Ｓ１０９の処理を繰り返す。したがって、Ｉ＞Ｎ−１となるまでにステップＳ１０７〜Ｓ１０９の処理がＮ回繰り返されることとなり、図８（Ｂ）に示すように、これによりＰ１とＰ２間であってＴｃ毎の補間画像データがＮ−１枚作成されることとなる。
【００５０】
しかる後に、Ｎ枚の画像データ、つまりＮ−１枚の補間画像データと、１枚の静止画像データＰ２とからなるＮ枚の画像データをＭＰＥＧ４変換部３３７に出力する（ステップＳ１２０）。さらに、静止画像データＰ２をＰ１とし、時刻Ｔ２を時刻Ｔ１とし（ステップＳ１２１）、開始後画像取得カウンタＣの値をインクリメントした後（ステップＳ１２２）、ステップＳ１０２からの処理を繰り返す。
【００５１】
そして、ＭＰＥＧ４変換部３３７により圧縮された動画データパケットはパケット合成部３３４に送られる。パケット合成部３３４は、ＭＰＥＧ４変換部３３７からの動画データパケットと、前記音声バッファ３３３からの音声パケットとを１つの通信データにして送信部３３５に送り、この通信データ（無線パケットデータ）は高速通信網９を経由して、通信サービス事業者１０、無線基地局２００を介して携帯電話１００に送信される。
（３）携帯電話１００の動作
携帯電話１００において、アンテナ１００６で受信した無線パケットデータは、ＲＦ回路１５の受信部１５４で復調されたデジタルデータとして取り出される。この取り出された受信復調データは、パケット分離回路１７で音声データとＭＰＥＧ動画データを含むデータパケットとに分離される。分離された音声データは、音声回路復調回路１８での送信側で圧縮された逆のデコード動作により、音声データに復調される。復調された音声データは、音声出力装置１９に送られて音声に変換され、携帯電話１００の通話者により受聴される。
【００５２】
他方、パケット分離回路１７で分離されたＭＰＥＧ動画データを含むデータパケットは、ＭＰＥＧ画像デコーダ２４で圧縮解凍され、通常の動画信号に戻される。そして、このＭＰＥＧ画像デコーダ２４からの動画信号に基づき、表示装置１５は動画をカラー表示する。
【００５３】
したがって、携帯電話１００の通話者は、表示装置１５に表示される動画を視認しつつ、音声出力装置１９からの音声を受聴することができる。無論、携帯電話１００で撮像された画像や音声は音声付動画ファイルとして処理され、携帯電話１００に送信されることから、携帯電話１の通話者も、表示装置１５に表示される動画を視認しつつ、音声出力装置１９からの音声を受聴することにより、携帯電話１で携帯電話１００とのＴＶ電話サービスとして実現させることができる。
【００５４】
なお、本実施の形態においては、携帯電話１ａから無線基地局２ａに静止画とその静止画が撮影された時刻とを送るようにしたが、静止画の転送を精度よく一定の時間間隔で行うことできれば、撮影時刻を送る必要はなく、これにより回路の簡略化を図ることができる。
【００５５】
また、本実施の形態においては、Ｎ−ＣＤＭＡ方式の携帯電話と、Ｗ−ＣＤＭＡ方式の携帯電話の相互接続によるＴＶ電話サービスについて述べたが、これに限らず、Ｎ−ＣＤＭＡ方式の携帯電話とインターネット接続されたパーソナルコンピュータ（図１におけるパーソナルコンピュータ７）との相互接続によりＴＶ電話サービスを実現させることも可能である。
【００５６】
この場合、上記実施の形態と異なり、通信サービス事業者３は高速通信回線網９に接続された通信サービス事業者１０ではなく、ＷＷＷ５に接続されたインターネットプロバイダ８に、携帯電話１から送信された音声データとパケットデータとを送出することになるが、動画処理システム３３からの出力内容を、既知のインターネット通信プロトコルに乗せることにより実現可能である。
【００５７】
さらにまた、本実施の形態においては、Ｎ−ＣＤＭＡ方式の携帯電話と、Ｗ−ＣＤＭＡ方式の携帯電話の相互接続によるＴＶ電話サービスについて述べたが、Ｎ−ＣＤＭＡ方式、若しくはこれに準じたパケット通信サービスの提供が可能な方式（ＰＨＳ、ＧＰＲＳ）でも適用可能である。
【００５８】
また本発明は、カメラを備えた携帯電話を利用した場合について述べたが、これに限定される必要な無く、ＰＤＡ、ノート型パーソナルコンピュータ、デジタルカメラ等の電子機器に、無線通信によるパケット通信サービスに接続可能な無線モジュールが備えられたものでも良い。
【００５９】
【発明の効果】
【００６０】
以上説明したように本発明に係る動画伝送装置及び動画伝送方法によれば、上りのデータ伝送容量は少ないが、下りのデータ伝送容量は上りのデータ伝送容量よりも遙かに大きい非対称型通信網を有効利用して、動画伝送装置が静止画データを取得し、かつ、動画伝送装置から補間画像データと静止画データとからなる時系列的な画像データ列を送ることができる。そして、動画伝送装置から送る画像データ列にあっては、静止画データのみならず、時間的に相前後する一対の静止画データ毎に、該一対の静止画データ間において経時的に変化する複数の補間画像データを含んでなることから、この画像データ列に基づき滑らかな動きを伴う動画を表示することができる。よって、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できるようにすることができ、さらには、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できる動画ＴＶ電話を達成することができる。
【００６１】
また、本発明に係る動画伝送システムによれば、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できるシステムを構築することができ、さらには、非対称型通信網を有効利用して、滑らかな動きを伴う動画を表示できる動画ＴＶ電話システムを構築することができる。
【００６２】
また、本発明に係る携帯通信端末によれば、静止画データ間の時間間隔が一定でない場合であっても、当該静止画データ間を適正に補間し得る数の補間画像データを作成させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る動画伝送システムの構成を示すブロック図である。
【図２】同実施の形態における携帯電話の構成を示すブロック図である。
【図３】同実施の形態における動画ＴＶ電話装置の概略構成を示すブロック図である。
【図４】同実施の形態における携帯電話の動作を示すフローチャートである。
【図５】同携帯電話の信号発生説明図である。
【図６】同携帯電話の動作を示すタイミングチャートである。
【図７】同実施の形態における動画ＴＶ電話装置の動作を示すフローチャートである。
【図８】モーフィングの動作説明図である。
【図９】本発明の第１の実施の形態における動画ＴＶ電話装置の概略構成を示すブロック図である。
【符号の説明】
１      携帯電話（静止画送信装置、携帯通信端末）
２      無線基地局
３      通信サービス事業者
９      高速通信回線網
１０    通信サービス事業者
１１    音声入力装置（取得手段）
１２    音声コーデック
１３    音声パケット生成部
１４    パケット合成部
１５    無線処理部
１６    アンテナ
１７    パケット分離部
１８    音声回路復調部
１９    音声出力部
２０    カメラ（撮影手段）
２１    静止画圧縮部
２２    送信データパケット生成部
２３    タイミング作成部（撮影タイミング取得手段）
２４    ＭＰＥＧ画像デコーダ
２５    表示部（表示手段）
３３    動画処理システム（動画伝送装置）
１００  携帯電話（動画表示装置）
１５１  送信部（静止画データ送信手段、送信手段）
１５４  動画データ受信手段
３３１  受信部（受信手段、静止画データ受信手段）
３３５  送信部（送信手段、動画データ送信手段）
３３６  モーフィング処理部（作成手段、算出手段）
３３８  受信パケット変換部
【図１】
2004200949.tif 000003
【図２】
2004200949.tif 000004
【図３】
2004200949.tif 000005
【図４】
2004200949.tif 000006
【図５】
2004200949.tif 000007
【図６】
2004200949.tif 000008
【図７】
2004200949.tif 000009
【図８】
2004200949.tif 000010
【図９】
2004200949.tif 000011