(57)【要約】【課題】動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生でき、そのスロー画像の画質を向上可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法を提供する。【解決手段】動画像再生端末２００は、表示手段２０６と、動画像データ内に含まれる情報によって画像データの表示タイミングを同期させる同期手段２０９と、音声再生手段２０５と、コマンド送出部２０８と、ＣＰＵ部２０７と、操作部２０１とを有し、動画像配信サーバー１００は、動画像再生端末２００のコマンドを解析するコマンド解析手段１０３と、コマンドが含む時間情報で動画像データフレームを検索する検索手段１０６と、各画像フレームに対応する時間情報を含む動画像データを送出し、音声データと動画像データの送出比率を変更可能なデータ送出部１０５とを有する。【選択図】  図１
2004180224.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク網に接続されている動画像配信装置と、該動画像配信装置に無線回線網を介して接続されている動画像再生端末とから構成される動画像通信システムにおいて、
前記動画像再生端末は、
前記動画像配信装置から動画像データを受信するデータ受信手段と、
該データ受信手段が受信した動画像を表示する表示手段と、
該表示手段に表示している動画像をスロー再生指示する指示手段と、
該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信するコマンド送信手段と、を備え、
前記動画像配信装置は、
前記動画像再生端末から送信されたコマンドを受信するコマンド受信手段と、
前記コマンド受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれた時間情報に基づいて動画像データを検索する検索手段と、
該検索手段が検索した前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信するデータ送信手段と、を備えたことを特徴とする動画像通信システム。
【請求項２】
前記データ送信手段は、前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信する際は、音声データと動画像データの送信比率を変更して送信することを特徴とする請求項１記載の動画像通信システム。
【請求項３】
前記コマンド送信手段は、前記指示手段がスロー再生を指示した際のｎ秒前の時間情報をスロー再生コマンドに含めて送信することを特徴とする請求項１記載の動画像通信システム。
【請求項４】
前記動画像データは階層符号化された動画像データにより構成され、スロー再生用の動画像データは前記階層符号化された動画像データの拡張部分にて送信することを特徴とする請求項１記載の動画像通信システム。
【請求項５】
動画像配信装置から動画像データを受信する動画像再生端末において、
動画像配信装置から動画像データを受信する受信手段と、
該受信手段が受信した動画像を表示する表示手段と、
該表示手段に表示している動画像をスロー再生指示する指示手段と、
該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信する送信手段と、を備えたことを特徴とする動画像再生端末。
【請求項６】
動画像再生端末に対して動画像データを送信する動画像配信装置において、
動画像データとスロー再生用の動画像データを記憶する記憶手段と、
前記動画像再生端末に対して動画像データを送信する送信手段と、
前記動画像再生端末から送信されたコマンドを受信する受信手段と、
前記受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれる時間情報に基づいて動画像データを検索する検索手段と、を備え、
前記送信手段は、前記検索手段が検索した前記時間情報に対応する動画像データとスロー再生用の動画像データを前記記憶手段から読み出して前記動画像再生端末に送信することを特徴とする動画像配信装置。
【請求項７】
動画像配信装置から配信される動画像を動画像再生端末においてスロー再生する動画像再生方法において、
前記動画像再生端末が動画像のスロー再生指示を検出した時は、スロー再生コマンドに前記検出した時間情報を含めて前記動画像配信装置に送信し、前記スロー再生コマンドを受信した該動画像配信装置は当該スロー再生コマンドに含まれる時間情報に対応する動画像データとスロー再生用の動画像データを動画像再生端末に送信することを特徴とする動画像再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク網に接続される動画像配信サーバーと、その動画像配信サーバーへ無線回線網を介して接続して所望の動画像データを再生する動画像再生端末とを有する画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法に関する。
【０００２】
【従来の技術】
従来の動画像再生端末の一つである携帯電話装置を構成要素とする動画像通信システムは、ネットワーク網に接続された動画像配信サーバーなどにより送信されてくる動画像データを携帯電話装置（自端末）の表示装置で再生するだけであった。また、従来の携帯電話装置は、早送り、巻き戻し及び一時停止の制御のみが行えた。また、従来の携帯電話装置は、高画質な画像が必要な場合、静止画像を受信するという手法しかとることができなかった（例えば、特許文献１，２参照）。
【０００３】
【特許文献１】
特開平２０００−２５３４００号公報
【特許文献２】
特開平２０００−２５３３９９号公報
【０００４】
【発明が解決しようとする課題】
従って、従来の動画像通信システムでは、携帯電話装置において、受信したストリームを再生中に、早送り、巻き戻し又は一時停止などの制御しかできないため、動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生することができないという問題点があった。
【０００５】
また、従来の動画像通信システムでは、動画像配信サーバーにおいて、スローで再生する画像を配信する場合、予め決められたコンテンツの決められたシーンをスローにした後に符号化するため、ユーザの所望のタイミングでスロー再生をすることができないという問題点があった。
【０００６】
さらにまた、従来の動画像通信システムでは、スローで再生しても通常の再生時と画質があまり変わらず、高画質のスロー画像を見ることができないという問題点があった。
【０００７】
本発明は、動画像配信サーバーが提供する番組についてユーザが見たい場面をスローで再生することができ、そのスロー画像の画質を向上することが可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法の提供を目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、ネットワーク網に接続されている動画像配信装置と、該動画像配信装置に無線回線網を介して接続されている動画像再生端末とから構成される動画像通信システムにおいて、前記動画像再生端末は、前記動画像配信装置から動画像データを受信するデータ受信手段と、該データ受信手段が受信した動画像を表示する表示手段と、該表示手段に表示している動画像をスロー再生指示する指示手段と、該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信するコマンド送信手段と、を備え、前記動画像配信装置は、前記動画像再生端末から送信されたコマンドを受信するコマンド受信手段と、前記コマンド受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれた時間情報に基づいて動画像データを検索する検索手段と、該検索手段が検索した前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信するデータ送信手段と、を備えたことを特徴とする。
このようにすると、ユーザは、動画像再生端末の操作部を操作することで、動画像配信装置から送信された動画像の所望部分をスロー再生して見ることができる。
【０００９】
請求項２に記載の発明は、前記データ送信手段は、前記時間情報に対応する動画像データとスロー再生用の動画像データを前記動画像再生端末に送信する際は、音声データと動画像データの送信比率を変更して送信することを特徴とする。
【００１０】
請求項３に記載の発明は、前記コマンド送信手段は、前記指示手段がスロー再生を指示した際のｎ秒前の時間情報をスロー再生コマンドに含めて送信することを特徴とする。
このようにすると、ユーザが動画像再生端末の操作部を操作することで、その操作時のｎ秒前のシーンからスロー再生することができる。
【００１１】
請求項４に記載の発明は、前記動画像データは階層符号化された動画像データにより構成され、スロー再生用の動画像データは前記階層符号化された動画像データの拡張部分にて送信することを特徴とする。
【００１２】
請求項５に記載の発明は、動画像配信装置から動画像データを受信する動画像再生端末において、動画像配信装置から動画像データを受信する受信手段と、該受信手段が受信した動画像を表示する表示手段と、該表示手段に表示している動画像をスロー再生指示する指示手段と、該指示手段がスロー再生を指示した際の時間情報を含めたスロー再生コマンドを前記動画像配信装置に送信する送信手段と、を備えたことを特徴とする。
【００１３】
請求項６に記載の発明は、動画像再生端末に対して動画像データを送信する動画像配信装置において、動画像データとスロー再生用の動画像データを記憶する記憶手段と、前記動画像再生端末に対して動画像データを送信する送信手段と、前記動画像再生端末から送信されたコマンドを受信する受信手段と、前記受信手段がスロー再生コマンドを受信した際に当該コマンドに含まれる時間情報に基づいて動画像データを検索する検索手段と、を備え、前記送信手段は、前記検索手段が検索した前記時間情報に対応する動画像データとスロー再生用の動画像データを前記記憶手段から読み出して前記動画像再生端末に送信することを特徴とする。
【００１４】
請求項７に記載の発明は、動画像配信装置から配信される動画像を動画像再生端末においてスロー再生する動画像再生方法において、前記動画像再生端末が動画像のスロー再生指示を検出した時は、スロー再生コマンドに前記検出した時間情報を含めて前記動画像配信装置に送信し、前記スロー再生コマンドを受信した該動画像配信装置は当該スロー再生コマンドに含まれる時間情報に対応する動画像データとスロー再生用の動画像データを動画像再生端末に送信することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を参照し、本発明の一実施形態に係る動画像通信システムついて説明する。
【００１６】
図１は本発明の一実施形態に係る動画像通信システムのブロック図である。本動画像通信システムは、ネットワーク網に接続される動画像配信サーバー（動画像配信装置）１００と、動画像配信サーバー１００へ無線回線網を介して接続して所望の動画像データを再生する動画像再生端末２００とを有してなる。
【００１７】
動画像再生端末２００は、少なくとも動画像を表示するための表示手段２０６と、ネットワーク網へ接続してデータを送受信するネットワークインターフェイス手段２０２と、符号化された動画像データを復号化する画像復号化手段２０４と、動画像データ内に含まれる時間情報によって復号化された画像データを表示するタイミングを同期させる同期手段２０９と、受信した符号化された音声情報を復号化する音声復号化手段２０３と、復号化された音声情報を再生する音声再生手段２０５と、動画像配信サーバー１００へコマンドを送出するコマンド送出部２０８と、ＣＰＵ部２０７と、ユーザが操作を行う操作部２０１とを有する。
【００１８】
動画像配信サーバー１００は、ネットワーク網に接続するネットワークインターフェース部１０１と、動画像再生端末２００から送られてくるコマンドを受信するコマンド受信手段１０２と、コマンドを解析するコマンド解析手段１０３と、コマンドに含まれる時間情報に基づいて時間的情報が合致する動画像データフレームを検索する検索手段１０６と、各画像フレームに対応する時間情報を含む階層符号化された動画像データ１０４を送出するとともに、音声データと動画像データ１０４の送出比率を変更可能なデータ送出部１０５とを有する。
【００１９】
次に、動画像通信システムの動作について説明する。まず、動画像再生端末２００を用いるユーザが操作部２０１を操作し、ネットワークインターフェイス手段２０２を介して動画像配信サーバー１００へ接続する。またユーザが操作部２０１を操作して所望の動画像データのコンテンツを選択することで、動画配信サーバー１００から送信されてくる動画像データを、動画像再生端末２００のネットワークインターフェイス部２０２が受信する。
【００２０】
ネットワークインターフェイス部２０２により受信された動画像データのうち、音声符号化データは、音声復号化手段２０３で復号化され、音声再生手段２０５により再生される。その受信された動画像データのうち、画像符号化データは、画像復号化手段２０４で復号化され、同期手段２０９により、動画像データに含まれる時間情報に同期して、表示手段２０６により再生される。
【００２１】
この動画像データを再生中に、ユーザがスローで再生したいシーンについて所望のタイミングで操作部２０１を操作すると、ＣＰＵ部２０７はスロー再生要求の操作が行われたことを検出する。次いで、ＣＰＵ部２０７は、現在再生を行っている画像フレームの時間情報を抽出し、その時間情報からｎ秒前の時間情報を作成し、それを格納したスロー再生コマンドをコマンド送出部２０８を介して動画像配信サーバー１００へ送出する。
【００２２】
動画像配信サーバー１００は、ネットワークインターフェイス部１０１及びコマンド受信手段１０２を介して受信したコマンドをコマンド解析手段１０３により解析する。解析したコマンドがスロー再生要求コマンドであった場合、コマンド解析手段１０３は、そのコマンド中に含まれる時間情報を抽出する。次いで、検索手段１０６が、その時間情報に対応した動画像フレームを動画像データ１０４から検索する。データ送出部１０５は、それまで送信を行っていた動画像データの送信を停止し、検索手段１０６が検索した動画像フレームから送信を行う。
【００２３】
ここで、もし、動画像データがＭＰＥＧやＨ．２６３等のようにフレーム内符号化データとフレーム間符号化データが存在するような圧縮方式で保存されており、かつ、検索手段１０６が検索した結果がフレーム間符号化データの部分であった場合には、以下の構成を動画像配信サーバー１００に設けることにより対処する。すなわち、検索手段１０６は近傍のフレーム内符号化データも検索し、動画像配信サーバー１００内に画像復号化手段を設け、その画像復号化手段により、検索されたフレーム間符号化データまで復号化を行い、再度そのフレームをフレーム内符号化することにより、正確に指定されたフレームよりデータを送出することが可能である。
また、そこまでの必要がない場合には、検索されたフレーム内符号化データの部分より、最も近いフレーム内符号化データを検索し、そこから送信を行えばよい。
【００２４】
データ送出部１０５は、それまで送信していた画像データに対して、音声フレームを削除し、かつ階層化された動画像符号化データの拡張部分を含めた動画像データの送信を開始する。この時、動画像再生端末２００がスローで再生を行うことが可能なように、画像フレームに含まれる時間情報を書き換える。時間情報は、各画像フレームの表示間隔を示すものであり、時間情報で示される表示間隔を増大することにより、動画像再生端末２００では、受信した動画像のスロー再生が可能となる。
【００２５】
また、動画像配信サーバーは階層化された動画像符号化データの拡張部分を含めた動画像データを送信するため、動画像再生端末２００ではコマ落ちがないスムースなスロー再生が行える。
この際に、データ送出部１０５は、削除された音声フレームに相当するビットレート分の画像データを余分に送出できるため、より高画質な画像データを送出することも可能になる。
【００２６】
次に、動画像データと時間情報の関係について詳細に説明する。図２は、上記動画像通信システムにおける動画像データと時間情報の関係を示す図である。通常、動画像データを再生している場合には、通常再生時の画像データ３０３で示されるように画像データを送出し、この画像データには対応する時間情報として通常再生時の時間情報３０４が付加されていく。この例では、通常再生時、２ｆｐｓで再生される動画像データを示しているが特にこの限りではない。
【００２７】
スロー再生時には、階層符号化によって得られているスロー再生時に追加される画像データ３０１を通常再生時の画像データ３０３の画像フレーム間に補完する形で挿入していく。このとき図２に示すように時間情報は、ｍ個（ｍは１以上の整数）のフレームで補完する。再生時のフレームレートを一定にする場合には、スロー再生時の時間情報３０２で示されるような形で時間情報を書き換えることにより、動画像再生端末２００側では、同一のフレームレートでスロー再生が可能となる。
【００２８】
図３は、本実施形態の動画像通信システムにおける時間軸に対応した送出データフォーマットを示す図である。図３において画像フレームのフレーム番号に関しては、図２のものと対応しており、この例では１／３倍にスロー再生を行う例を示している。
【００２９】
通常再生時には、通常再生時の送出データ４０１で示すように、通常再生時に送出する画像データと音声データを送出していく。スロー再生時には、スロー再生時の送出データ４０２で示すように、通常再生時に送出する画像データのフレーム間に、階層符号化された画像データの拡張部分のフレームを補完するように送出する。このとき音声データはスローにはできないので音声データの送出は削除してよい。
【００３０】
図４は、本実施形態の動画像通信システムにおいてリアルタイム配信をするときの構成を示すブロック図である。動画像再生端末２００は図１で示したものと同じものである。図４の動画像配信サーバー５００と図１の動画像配信サーバー１００の主な相違点は、動画像配信サーバー５００にはリアルタイムエンコーダー５０２と動画像バッファ５０１ａ，５０１ｂが設けられている点である。
【００３１】
リアルタイム配信を行う場合、リアルタイムエンコーダー５０２はリアルタイムで動画像の階層符号化を行い、動画像バッファ５０１ａ，５０１ｂへ一次記憶させる。通常再生時には、データ送出部５０５は動画像バッファ５０１ａに蓄積されているデータのうち、通常再生時に使用する画像フレームのみを送出する。動画像バッファ５０１ａ，５０１ｂは、ｎ秒前までのスロー再生に対応するために、階層化された符号データも含めてｎ秒前までの画像データを常に蓄えている。
【００３２】
スロー再生コマンドをコマンド受信手段５０４が受信し、そのコマンドがコマンド解析手段５０６により解析されると、検索手段５０７は動画像バッファ５０１ａよりその時間情報に対応したフレームを検索する。データ送出部５０５は、検索手段５０７の検索結果より、対応した画像フレームを動画像バッファ５０１ａから階層化符号データを含めた形で取り込んで送信する。
【００３３】
スロー再生中のリアルタイムエンコードされた画像データは、動画像バッファ５０２ｂに最新のｎ秒前のデータのみ常に蓄積される。スロー再生が終了した後、通常再生に戻る際には、データ送出部５０５は動画像バッファ５０１ｂに蓄積されているデータを使用する。これにより、リアルタイム配信時でもスロー再生を行うことができる。
【００３４】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【００３５】
【発明の効果】
以上説明したように、本発明によれば、動画像配信装置より送信された動画像データを動画像再生端末が受信して再生してる最中に、ユーザが所望のシーンをスローで再生することができ、なおかつスロー再生時の画質を向上させることが可能な動画像通信システム、動画再生端末、動画像配信装置及び動画像再生方法を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る動画像通信システムを示すブロック図である。
【図２】同上の動画像通信システムにおける動画像データと時間情報の関係を示す図である。
【図３】同上の動画像通信システムにおける時間軸に対応した送出データフォーマットを示す図である。
【図４】本実施形態の動画像通信システムにおいてリアルタイム配信をするときの構成を示すブロック図である。
【符号の説明】
１００    動画像配信サーバー  （動画像配信装置）
１０１    ネットワークインターフェイス部
１０２    コマンド受信手段
１０３    コマンド解析手段
１０４    動画像データ
１０５    データ送出部
１０６    検索手段
２００    動画像再生端末
２０１    操作部
２０２    ネットワークインターフェイス手段
２０３    音声復号化手段
２０４    画像復号化手段
２０５    音声再生手段
２０６    表示手段
２０７    ＣＰＵ部
２０８    コマンド送出部
２０９    同期手段
３０１    スロー再生時に追加される画像データ
３０２    スロー再生時の時間情報
３０３    通常再生時の画像データ
３０４    通常再生時の時間情報
４０１    通常再生時の送出データ
４０２    スロー再生時の送出データ
５００    （リアルタイム配信可能な）動画像配信サーバー
５０１ａ  動画像バッファ
５０１ｂ  動画像バッファ
５０２    リアルタイムエンコーダー
５０３    ネットワークインターフェース部
５０４    コマンド受信手段
５０５    データ送出部
５０６    コマンド解析手段
５０７    検索手段
【図１】
2004180224.tif 000003
【図２】
2004180224.tif 000004
【図３】
2004180224.tif 000005
【図４】
2004180224.tif 000006