(57)【要約】【課題】  蓄積された通常ストリームの映像データから読み出し負荷が多くなった場合にも対処して所定の伝送映像量を得る。【解決手段】  フレーム間予測を用いて符号化された蓄積映像のストリームから要求に応じて特殊再生映像ストリームを送信または中継するサーバ装置において、上記蓄積映像から所定の映像を読み出す負荷に応じて抽出するフレーム内符号化ピクチャの送出間隔を定めてピクチャ解析をする解析部１３と、上記解析部の解析結果に基づいて上記フレーム内符号化ピクチャのパラメータを変更するフレーム内符号化ピクチャ変換処理部１５と、上記抽出したフレーム内符号化ピクチャと同じ表示を示すリピートピクチャ付加部１６とを設けた、特殊再生処理部１１を備えた。【選択図】        図１
2005184254.tif 000002
【特許請求の範囲】
【請求項１】
フレーム間予測を用いて符号化された蓄積映像のストリームから要求に応じて特殊再生映像ストリームを送信または中継するサーバ装置において、
上記蓄積映像から所定の映像を読み出す負荷に応じて抽出するフレーム内符号化ピクチャの送出間隔を定めてピクチャ解析をする解析部と、上記解析部の解析結果に基づいて上記フレーム内符号化ピクチャのパラメータを変更するフレーム内符号化ピクチャ変換処理部と、上記抽出したフレーム内符号化ピクチャと同じ表示を示すリピートピクチャ付加部とを設けた、特殊再生処理部を備えたことを特徴とする特殊映像データ処理装置。
【請求項２】
特殊再生処理部は、フレーム内符号化ピクチャの送出間隔と所定の伝送量を満足するスタッフィング・ビットを挿入するようにしたことを特徴とする請求項１記載の特殊映像データ処理装置。
【請求項３】
フレーム間予測を用いて符号化された蓄積映像のストリームから要求に応じて特殊再生映像ストリームを送信または中継するサーバ装置と、該サーバ装置からの上記特殊再生映像ストリームを受信する端末からなる映像データ処理システムにおいて、
上記端末は複数接続され、かつ上記特殊再生映像ストリームをそのまま受信する構成とし、
上記サーバ装置は、上記蓄積映像から上記複数の端末の要求に基づいて所定の映像を読み出す負荷に応じて抽出するフレーム内符号化ピクチャの送出間隔を定めてピクチャ解析をする解析部と、上記解析部の解析結果に基づいて上記フレーム内符号化ピクチャのパラメータを変更するフレーム内符号化ピクチャ変換処理部と、上記抽出したフレーム内符号化ピクチャと同じ表示を示すリピートピクチャ付加部とを設けた、特殊再生処理部を備えた構成とすることを特徴とする特殊映像データ処理システム。
【請求項４】
フレーム間予測を用いて符号化された蓄積映像のストリームから要求に応じて特殊再生映像ストリームを送信または中継する映像データ処理方法において、
上記蓄積映像から所定の映像を読み出す負荷に応じてフレーム内符号化ピクチャの送出間隔を定めてピクチャ解析をする送出間隔設定・ピクチャ解析ステップと、
上記ピクチャ解析の解析結果に基づいて上記フレーム内符号化ピクチャのパラメータを変更するフレーム内符号化ピクチャデータ変換ステップと、
上記抽出したフレーム内符号化ピクチャと同じ表示を示すリピートピクチャを付加するリピートピクチャ付加ステップ、とを設けたことを特徴とする特殊映像データ処理方法。
【請求項５】
リピートピクチャ付加ステップの後に、フレーム内符号化ピクチャの送出間隔と所定の伝送量を満足するスタッフィング・ビットを挿入するスタッフィング・ビット挿入ステップを設けたことを特徴とする請求項４記載の特殊映像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像をサーバに記録蓄積し、端末からの要求によって蓄積している映像ストリームを要求のあった端末に配信する映像配信システムにおいて、通常の再生に対して速度及び／もしくは再生方向を変更した、例えば早送り、早巻き戻し、一時停止などの特殊再生を実現するためのデータ処理方法、データ処理装置に関するものである。
【背景技術】
【０００２】
従来、特にネットワークを利用した映像再生システムにおいて、ＭＰＥＧ−２等で圧縮された映像ストリーム（以下、特殊再生ストリームと区別するために通常再生ストリームと称する）について、再生の速度及び／もしくは再生方向を変更した特殊再生を実行しようとする場合、通常再生ストリームから時間的に断続したフレーム内符号化ピクチャ（Ｉフレーム）のみを抽出し、さらに抽出したＩフレームを連続的に端末に配信し、端末で受信後再生する構成をとるのが一般的であった。しかしながらこの方法では、通常再生ストリームからＩフレームのみを抽出するので、本来のＭＰＥＧ−２の構造から逸脱したストリームになる場合がある。そのため再生側のデコーダにＩフレームのみから構成される特殊再生ストリームの再生を可能にするために、何らかの仕組みを用意しなければならない問題があった。また、符号量の大きなＩフレームのみを高速に抽出し、連続して配信することから、単位時間当たりの転送符号量（転送レート）が非常に大きくなるために、伝送路上にあるバッファ、例えば多重装置や分離装置のバッファがオーバーフローを発生したり、ネットワークの帯域制限を越えたり、再生側のデコーダバッファのオーバーフローを発生したりする問題を有していた。そのため、転送レートが増大した特殊再生ストリームの転送を可能にするためにネットワークの帯域を拡大したり、伝送路の各バッファメモリサイズを大きくしたりするなどの対策が必要であった。特にネットワーク帯域についての問題は深刻で、Ｉフレームのみを利用した特殊再生方法ではＩフレームの符号量にもよるが通常再生に比べて一般的に３倍程度の帯域を必要とした。しかしながら、現実的に特殊再生のために帯域を上げることは困難である。
そこでひとつの対策として特殊再生ストリームを別途用意する方法が用いられる。しかし、この方法では、システムの構成上は簡単ではあるが、通常再生ストリームに加え特殊再生ストリームを別途用意するため、蓄積するデータ量が多くなる上、通常再生ストリームと特殊再生ストリームを関連付けて管理することが必要であるという問題があった。
【０００３】
この問題について特許文献１では特殊再生ストリームとしてフレームもしくはフィールド内符号化されたデータに続いて、マクロブロックの動きベクトルを０、予測誤差を０に符号化されたリピートピクチャを挿入し、データを配信する方法が提案された。このリピートピクチャを挿入する方法によると、特殊再生の実行において符号量の大きいＩフレームに続いて、符号量の非常に少ないリピートピクチャを追加することによって転送レートを大幅に削減することができるので、転送レートの上昇を防ぎ、特殊再生用に大きなメモリを確保する必要がない。さらに生成される特殊再生ストリームはシンタックス的に通常再生ストリームと同じ構成にできるため、特殊ストリームを扱う上で別途ロジックや回路の増設を必要とせず、また特殊再生時に専用のロジックに切り替える必要もない。
【０００４】
しかしながらこの方法では、複数のストリームを同時に変換するときやレートの高いストリームを変換するときでも、通常再生ストリームから、特殊再生の速度に応じた固定なレートでＩフレームを選択抽出するため、蓄積しておく蓄積装置や入力される伝送装置などの負荷が高くなってしまい、特殊再生ストリームを生成できなくなるという問題があった。
【０００５】
更に他の従来技術として、特許文献２に記載されたように、端末側から要求を出して、この要求に基づいてサーバ側で特殊再生映像を用意して配信し、端末は、ただそのまま受信するシステムが示されている。この場合、特殊再生のためにデータ変換部が指定された順序でＩピクチャ等が選択されてスケジューリング部に出力されてストリームを形成して、端末に送られる。しかしこの方法では、特殊再生の種類によってフレームの順序と数が決まっているので、複数の端末からの再生要求が集中すると、一般的には再生内容や開始時間が異なるので、サーバはこれら異なるフレームをデータ記憶部から取出そうとして、読出し動作が出来なくなることがある。
【特許文献１】特開平０８−０９８１３６号公報
【特許文献２】特開２００１−３５９０７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の特殊再生を行う方法では、特許文献２に示される改良されたものであっても、複数のストリームを同時に変換するときや再生レートの高いストリームを変換するときも、固定レートでフレーム内符号化ピクチャを抽出しているため、蓄積装置や伝送装置からの読み出し負荷が高くなり、特殊再生ストリームの生成ができないことがあるという課題がある。
【０００７】
本発明は、上述のような課題を解消するためになされたもので、蓄積された通常再生ストリームから特殊再生ストリームを生成する場合、または伝送装置から通常再生ストリームを入力して特殊再生ストリームを生成する場合に、読出しの負荷が少なく高速に生成可能な映像データ処理方法及び映像データ処理装置を提供するものである。
【課題を解決するための手段】
【０００８】
この発明に係る特殊映像データ処理装置は、フレーム間予測を用いて符号化された蓄積映像のストリームから要求に応じて特殊再生映像ストリームを送信または中継するサーバ装置において、
上記蓄積映像から所定の映像を読み出す負荷に応じて抽出するフレーム内符号化ピクチャの送出間隔を定めてピクチャ解析をする解析部と、上記解析部の解析結果に基づいて上記フレーム内符号化ピクチャのパラメータを変更するフレーム内符号化ピクチャ変換処理部と、上記抽出したフレーム内符号化ピクチャと同じ表示を示すリピートピクチャ付加部とを設けた、特殊再生処理部を備えた。
またこの発明に係る特殊映像データ処理方法は、フレーム間予測を用いて符号化された蓄積映像のストリームから要求に応じて特殊再生映像ストリームを送信または中継する映像データ処理方法において、
上記蓄積映像から所定の映像を読み出す負荷に応じてフレーム内符号化ピクチャの送出間隔を定めてピクチャ解析をする送出間隔設定・ピクチャ解析ステップと、
上記ピクチャ解析の解析結果に基づいて上記フレーム内符号化ピクチャのパラメータを変更するフレーム内符号化ピクチャデータ変換ステップと、
上記抽出したフレーム内符号化ピクチャと同じ表示を示すリピートピクチャを付加するリピートピクチャ付加ステップ、とを設けた。
【発明の効果】
【０００９】
この発明によれば、所定時間あたりの読出し負荷量に応じてＩフレームの読出し間隔を変えるようにしたので、端末への伝送レートを変えることなく特殊再生ストリームを生成して配信できる効果がある。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、本発明の一実施の形態であるネットワーク上から映像を受信して蓄積し、再配信するサーバと、サーバから配信された映像を受信し再生を行う端末から構成される映像蓄積配信システムを示している。本映像蓄積配信システムでは、映像が記録された速度と同一の再生速度である通常再生と、通常再生に対して速度を変更した特殊再生、例えば、通常再生の速度に対して２倍、５倍、１５倍等の速度を変えた早送り再生、さらに早送り再生に対して再生方向を逆にした早巻き戻し再生、また同じ映像を継続的に表示する一時停止を実現する。ここで、本実施の形態で使用する映像ストリームはＩＳＯ／ＩＥＣ１３８１８−１、いわゆるＭＰＥＧ−２のプログラムストリームで記録されているものとする。
【００１１】
サーバ１は、ハードウェア構成として、以下の各要素を持つ。即ち、まず、内部に映像ストリームを保存するための蓄積部２を有し、通常再生ストリームを複数保存する。また、サーバ１に映像ストリームを蓄積する際には、ネットワーク受信部２１を介して受信した映像通常映像ストリームをＧＯＰ抽出部２２によってＧＯＰ(Group of Picture)単位に分割し、書き込み部３によって蓄積部２に書き込まれる。また、ＧＯＰ抽出部２２は蓄積部２に書き込まれたＧＯＰ単位のデータのアドレスと再生タイムスタンプをアドレスマップ２３に記録する。読み出し部４は再生制御部６からの指示により、アドレスマップ２３に記録されているタイムスタンプとアドレス情報を元に、蓄積部２から該当ストリームの該当アドレスに記録されたＧＯＰデータを読み出す。また読み出し負荷検出部１９は、蓄積部２から読み出しを行う際の負荷量を検知し、再生制御部６へ通知する。再生制御部６は後述する端末５１〜５３からの再生要求が通常再生か、特殊再生かによって読み出し部４、スイッチ５、スイッチ７を制御することによって、蓄積部２からのストリームの流れを制御する。さらに再生制御部６は読み出し負荷検出部１９からの読み出し負荷量に応じて、Ｉピクチャ抽出部１２が読み出すＩピクチャの数を制御する。Ｉピクチャ抽出部１２は通常再生ストリームからＭＰＥＧ−２の映像単位の先頭を示すシーケンスヘッダから最初のピクチャデータであるフレーム内符号化ピクチャデータまでを抽出する。本実施の形態では、通常再生ストリームはプログラムストリーム形式で保存されているので、前記抽出作業に平行してプログラムストリームをエレメンタリーストリームに分離するデマルチプレックスも合わせて行う。
【００１２】
特殊再生処理部１１は、入力されたフレーム内符号化ピクチャの解析を行う解析部１３、生成する特殊再生ストリームのデコーダバッファの計算を行うデコーダバッファ計算部１４、入力されたフレーム内符号化ピクチャの符号化パラメータを変更するフレーム内符号化ピクチャデータ変換処理部１５、フレーム内符号化ピクチャと同じ映像表示を行うリピートピクチャを生成するリピートピクチャ付加部１６、生成する特殊再生ストリームの発生符号量を制御する符号量制御部１７、さらに特殊再生ストリームと同じ形式のプログラムストリームに多重化を行うＰＳ化部１８から構成され、通常再生ストリームのフレーム内符号化ピクチャを基に特殊再生ストリームの生成を行う。解析部１３は入力されたフレーム内符号化ピクチャのVBV Delay、Temporal Reference、Picture Coding Type、符号量等の解析を行い、特殊再生処理部１１内で必要なパラメータを取得する。デコーダバッファ計算部１４では前記解析部１３から取得したパラメータをもとに、生成する特殊再生ストリームのVBV Delayの計算を行う。フレーム内符号化ピクチャデータ変換処理部１５は入力したフレーム内符号化ピクチャが生成する特殊再生ストリームに適するように、例えばTemporal ReferenceやVBV Delay及びシーケンスヘッダ以降フレーム内符号化ピクチャまでのBit Rate ValueやVBV Buffer Size Valueを変更する。リピートピクチャ付加部１６は先行するフレーム内符号化ピクチャと表示内容が同じになるように、動きベクトルを０かつ予測誤差を０に符号化し、かつスキップドマクロブロックを使用することによって符号量を大幅に削減したデータを生成する。符号量制御部１７は生成する特殊再生ストリームの目標転送レートに対して、発生する符号量を予測し、予測符号量が目標転送レートに比べて小さいなら、スタッフィングによって目標転送レートに近づけ、一方予測符号量が目標転送レートを上回りそうであれば、一時的に目標符号量を上げるとともに関連する例えばBit Rate ValueやＳＣＲの再調整を行い、ＭＰＥＧの規格に対して矛盾が生じない処理を行うことによって、発生符号量の制御を行う。ＰＳ化部１８はビデオエレメンタリーストリームの形式で生成された特殊再生ストリームをパック単位に分割し、プログラムストリームの形式に変換を行う。配信部８は通常再生ストリーム及び特殊再生ストリームについて、例えば映像をストリーミング再生するための伝送プロトコルであるＲＴＰ（Real-time Transport Protocol）に従ってネットワーク３１を介して配信要求がなされた端末５１に対して配信を行う。
【００１３】
次に端末の構成について説明する。端末５１〜５３は全て同一構成をとるため、ここでは端末５１について説明を行う。端末５１はネットワーク３１を介して接続されたサーバ１に対して蓄積または配信を要求し、蓄積の際には希望する映像ストリームのネットワークアドレス、映像種別、蓄積時刻などを指定する。
【００１４】
また、配信の際には希望する映像ストリームの種類、通常再生か特殊再生か、特殊再生の場合は再生方向と再生速度を指定する。端末５１はサーバ１から配信された映像ストリームを受信し、さらにデコードすることによって通常再生及び特殊再生を行う。端末５１はユーザからの操作を受け付ける再生入力部４３、受け付けたユーザの要求を内部のコマンドに変換しネットワークを介してサーバ１に送信する再生指示部４４、またサーバ１からの映像ストリームを受信する受信部４５、受信した映像ストリームをデコードするデコーダ４６、デコードした映像を表示する表示部４７より構成される。
【００１５】
再生入力部４３はユーザが再生を希望するストリームの種類及び通常再生、早送り、早巻き戻し、一時停止等の再生状態の受け付けを行う。再生指示部４４はネットワーク３１を介してサーバ１に論理的に接続されている。再生入力部４３で受け付けられたユーザ要求が再生指示部４４で内部のコマンドに変換され、接続されたサーバ１に送信される。受信部４５は端末５１で受信すべきストリームの受信を行い、受信したＲＴＰパケットから必要な映像ストリームを抜き出す。デコーダ４６はＭＰＥＧ−２圧縮されたストリームをデコードし、表示部４７で表示を行う。
【００１６】
次に本実施の形態における動作を説明する。まず、端末５１においてユーザが視聴したいデータを通常再生する場合について説明する。端末５１ではユーザがリクエストしたストリームの種類及び再生状態（通常再生）が再生入力部４３に入力され、再生指示部４４はユーザのリクエスト内容を内部のコマンドに変換し、ネットワーク３１を経由してサーバ１の再生制御部６に命令を送信する。再生制御部６は再生指示部４４からの命令を受信し、命令の内容に従って読み出し部４、スイッチ５、スイッチ７を制御する。今回の場合、通常再生が指示されているので、スイッチ５をａ側に、スイッチ７をｃ側に設定する。再生制御部６は再生すべきストリームについて、アドレスマップ２３に保持されているタイムスタンプと蓄積部２の蓄積アドレスとを対応付けたテーブルを元に、再生すべきタイムスタンプから蓄積アドレスを求め、読み出し部４に対して概アドレスに記録された１つのＧＯＰデータを読み出すように指示を出す。読み出し部４は指示されたアドレスに記録されたＧＯＰデータを蓄積部２から読み出し、読み出したＧＯＰのデータをスイッチ５及びスイッチ７を経由して配信部８に送る。配信部８はプログラムストリーム形式の通常再生ストリームをＲＴＰパケット化し、ネットワーク帯域と転送レート及び再生タイムスタンプを鑑みながらネットワーク３１に配信を行う。このときＲＴＰパケットはリクエストのあった端末５１のＩＰアドレスを指定して送信が行われ、別の端末が誤って受信しないようになっている。
このように、１つのＧＯＰの配信が終了すると再生制御部６は次の配信すべきタイムスタンプと蓄積アドレスをアドレスマップ２３から求め、次の再生すべきＧＯＰの蓄積アドレスを読み出すように読み出し部４に指示を出す。読み出されたＧＯＰデータは配信部８により、先のＧＯＰデータに続いて配信が行われる。この動作を繰り返すことによって通常再生ストリームが順次読み出され、ＲＴＰパケット化されたデータとしてネットワークに送出される。
【００１７】
次に端末５１における通常再生ストリームの受信動作を説明する。端末５１では受信部４５がネットワーク３１を経由してサーバ１から送信されたＲＴＰパケットのうち、送信先として端末５１のＩＰアドレスが指定されたＲＴＰパケットのみを受信する。受信したＲＴＰパケットから再生に不要なＲＴＰパケットヘッダを取り除きプログラムストリームに変換する。さらにデコーダ４６によってＭＰＥＧ−２のデコードを行い、表示部４７で表示を行う。ＲＴＰパケットは端末５１の受信及び再生状態によらずサーバ１から次々と送信されてくる。よって受信部４５は端末５１で送信先として端末５１のＩＰアドレスが記述されたＲＴＰパケットであれば全て受信を行い、受信したデータを次々とデコーダ４６へ送信を行う。このような動作により、サーバ１と端末５１間のＲＴＰ通信による通常再生が可能となっている。
【００１８】
次に特殊再生の動作を説明する。端末５１でユーザが特殊再生、例えば早送りの指示を再生入力部４３に行うと、再生指示部４４がネットワーク３１を経由して対応する命令をサーバ１の再生制御部６に伝える。再生制御部６は特殊再生を行う場合、スイッチ５をｂ側に、スイッチ７をｄ側に設定し、特殊再生処理部１１に映像ストリームが流れるようにする。本実施の形態において早送りを行う場合、全てのＧＯＰを再生するのではなく、早送りの速度に応じて幾つかのＧＯＰをスキップする。スキップするＧＯＰの数は特殊再生ストリームに付加されるリピートピクチャ数にも依存する。例えば、リピートピクチャを２個使用し、ＧＯＰあたり３つのピクチャからなる特殊再生ストリームを構成する場合、５倍速の早送りであれば通常再生ストリームの全てのＧＯＰを読み出し、１５倍速であれば３ＧＯＰ毎に該当ＧＯＰを読み出すような構成をとる。再生制御部６は早送りの速度に合わせてアドレスマップ２３に保持されたタイムスタンプと蓄積アドレスの対応テーブルから早送りとして再生すべきタイムスタンプに対応する蓄積アドレスを求め、その蓄積アドレスを蓄積部２から読み出すように読み出し部４に命令を送る。
【００１９】
読み出し部４は蓄積アドレスに記録された特殊再生を行うストリームのＧＯＰデータを蓄積部２から読み出し、スイッチ５を経由して抽出部１２に送る。抽出部１２はプログラムストリームの形式である通常再生ストリームをビデオエレメンタリーにデマルチプレックスし、さらにフレーム内符号化ピクチャのみを抽出する。抽出したフレーム内符号化ピクチャは特殊再生処理部１１に送られ、特殊再生ストリームを生成する処理が行われる。特殊再生処理部１１では、まず解析部１３において入力されたフレーム内符号化ピクチャからVBV Delay、Temporal Reference、Picture Coding Type、符号量等のパラメータを抽出及び解析を行い、生成する特殊再生ストリームのフレーム構成を組み立てる。
【００２０】
ここで本実施の形態の特殊再生処理部１１で生成される早送りの特殊再生ストリームのフレーム構成を図２に示す。図２の上側が特殊再生ストリームを生成する元となる通常再生ストリームでＭ＝３、Ｎ＝１５のＧＯＰ構造を持つ。下側が早送りの通常再生ストリームから生成した特殊再生ストリームであり、通常再生ストリームのフレーム内符号化ピクチャＩ0 とＩ0 に続いてＩ0 の表示内容を繰り返す２フレームのリピートピクチャＢRから構成されている。その後に次のＧＯＰがＩ15と２個のリピートピクチャＢR が続いている。そしてその後に、端末への所定の伝送レートに合致するまでの間、図７のＳ７６で最小限のスタッフィング・ビットを挿入する。図２の上側と下側を比較するとわかるように、元がＧＯＰ内のフレーム数が１５フレームである通常再生ストリームに対して、特殊再生ストリームではＧＯＰ内のフレーム数が３にまで削減されており、結果として５倍速の早送り映像表示を行うことができる。同様にフレーム内符号化ピクチャＩ0と２個のリピートピクチャＢR の後に、Ｉ15を続けずに図示されていないがさらに次のＧＯＰのフレーム内符号化ピクチャであるＩ30と２個のリピートピクチャＢRを続けることによって１０倍速を実現できる。このように早送りの速度に合わせて通常再生ストリームからＩフレームを選択的に抽出することによって早送りの速度を調整することができる。
【００２１】
一方で、リピートピクチャとはフレーム内符号化ピクチャの表示内容を繰り返して表示するように符号化されたもので、例えば動きベクトル０、予測誤差０となるように符号化を行っており、さらにデータ量削減のためマクロブロックの符号化を省略したスキップドマクロブロックを使用する。ここではリピートピクチャの符号化方式として双方向予測ピクチャを用いることとするが、順方向予測ピクチャを用いてもよい。このリピートピクチャを用いることによって、図２で示すように、本実施の形態で示す特殊再生ストリームでは通常再生ストリーム１つのＧＯＰ内のＢ1 からＢ14までのピクチャデータを一切使用せず、２個のリピートピクチャＢRと若干のスタッフィングで置き換えるので符号量が非常に小さくなるとともに、生成された特殊再生ストリームを構成するフレーム内符号化ピクチャＩ0と２個のリピートピクチャＢR から構成されるＧＯＰの転送レートも小さくすることができる。そのため一般的な特殊再生として行われるＩフレームのみの転送ではその転送レートが非常に大きくなるのに対して、本実施の形態で示す特殊再生方法による特殊再生ストリームでは転送レートの上昇を防ぐことができる。例えば６Ｍｂｐｓの転送レート、１ＧＯＰが１５フレームからなる通常再生ストリームについてＩフレームのみを転送することによって１５倍速の特殊再生を行う場合、一般的に１８Ｍｂｐｓの帯域が必要となる。しかしながら本実施の形態で示すようにリピートピクチャを２個利用した特殊再生では全てのＧＯＰを再生した場合は５倍速の再生速度で６Ｍｂｐｓ、３ＧＯＰ毎の再生であれば１５倍速でも同じく６Ｍｂｐｓの帯域で特殊再生を行うことができる。この構成をとった特殊再生ストリームについて再生を行うと、同じ映像が３フレーム分再生されるが、視覚上まったく問題がない。ピクチャータイプは本実施の形態では双方向予測ピクチャとするが、もちろん順方向予測ピクチャであってもよい。
【００２２】
この発明の主旨である、負荷量に応じてＩフレームの読出し間隔を変える動作を説明する。
図３はこれを説明する図であり、図３（ａ）の通常再生ストリームに対して、解析部１３が図４に示す処理を行う。サーバ１が端末からの要求に基づいて特殊再生フレームを組み立てて送信するシステムでは、複数の端末からの読出し要求が重なると、読出しの負荷が重くなり、要求速度に追随しなくなる。解析部１３は、図４のステップＳ６１で、この負荷量を知り、ステップＳ６２で適切なＩフレームの送出間隔を設定して以降の特殊再生処理部１１に伝える。更にVBV Delayや符号量等を解析する。蓄積部２の読出し負荷が軽い場合、つまり読出しストリーム数が少ない場合は、図３（ｂ）の「低負荷時早送りストリーム」で示されるように、通常再生ストリーム中のＩフレームを３つのＧＯＰ毎に読み出し、リピートピクチャＢR を２個追加して、滑らかな特殊再生ストリームを配信する。しかし蓄積部２の読出し負荷が重い場合、つまり複数の読出し要求があって配信する場合には、Ｓ６２で設定する間隔を間引き、図３（ｃ）の「高負荷時早送りストリーム」で示される、１０個のＧＯＰ毎にＩピクチャを読み出すようにする。こうして配信される伝送レートを維持しながら、負荷を減らして、呼び出し部４の動作を維持できる。
この場合は早送り再生の場合を説明したが、他の特殊再生に対してもこの機能は同様に適用できる。
【００２３】
さて、この解析部１３で得られたVBV Delay及び通常再生ストリームの符号量を元にデコーダバッファ計算部１４では特殊再生ストリームのVBV Delayの計算を行う。通常VBV Delayは連続するストリームのＶＢＶバッファに占めるピクチャデータの遷移を示し、VBV DelayはＶＢＶバッファをオーバーフロー及びアンダーフローを発生させないような値でなければならない。よってVBV Delayを決定する場合、ＶＢＶの遷移をシミュレートすることによって正確な値の制御を行うことが必要となる。本実施の形態ではデコーダバッファ計算部１４においてVBV Delayが導出されたものとする。フレーム内符号化ピクチャデータ変換処理部１５では生成される特殊再生ストリームに対応したフレーム内符号化ピクチャになるように、そのTemporal ReferenceやVBV Delay及びシーケンスヘッダ以降フレーム内符号化ピクチャまでのBit Rate ValueやVBV Buffer Size Valueが変更される。例えば、通常再生ストリームにおいてフレーム内符号化ピクチャのTemporal Referenceが２であり、特殊再生ストリームでリピートピクチャを１個付加する場合は、Temporal Referenceは１に変更される。またVBV Delayもデコーダバッファ計算部１４で計算された特殊再生ストリーム用のVBV Delayに置き換えられる。リピートピクチャ付加部１６はフレーム内符号化ピクチャの表示内容と同じ表示を行うリピートピクチャのデータを生成し、フレーム内符号化ピクチャの後に符号化を行う。さらに符号量制御部１７では、予測する符号量が目標とする転送レートに対して少ないようであればスタッフィングを行い、上回るようであれば目標転送レートを一時的に上昇させ生成する特殊再生ストリームのデータが転送できるように調整を行う。最後にＰＳ化部１８で生成された特殊再生ストリームをプログラムストリームにマルチプレックスを行う。以上のように特殊再生処理部１１で生成された特殊再生ストリームはスイッチ７を経由して配信部８に送られる。配信部８では通常再生ストリームと同様にリクエストを行った端末を送信先ＩＰアドレスとしてＲＴＰパケット化を行い、配信を行う。この操作を特殊再生ストリームとして利用するＧＯＰ単位で繰り返すことによって特殊再生ストリームの配信が行える。
【００２４】
次に端末５１における特殊再生ストリームの受信動作を説明する。端末５１では通常再生ストリームを受信するのと同様に受信部４５がネットワーク３１を経由してサーバ１から送信されたＲＴＰパケットのうち、送信先として端末５１のＩＰアドレスが指定されたＲＴＰパケットのみを受信する。受信したＲＴＰパケットから再生に不要なＲＴＰパケットヘッダを取り除きプログラムストリームに変換する。プログラムストリームに戻された特殊再生ストリームは映像ストリームの内容は特殊再生である早送り映像であるが、シンタックス上は通常のプログラムストリームと何ら変わりがない。そのため通常再生と同様にデコーダ４６にてＭＰＥＧ−２のデコードを行い、表示部４７に再生画を表示することが可能である。
【００２５】
図５に一時停止の場合の特殊再生ストリームを示す。図２で示した早送り再生の構成に対して、使用するＩフレームが常に同じＩ0 を用いる以外同じ構成をとる。一時停止においては、通常再生ストリームにおける一時停止として表示したいＧＯＰのフレーム内符号化ピクチャＩ0を利用し、Ｉ0 に続いてリピートピクチャＢR を２個続ける。さらに同じ映像を構成するために繰り返しＩ0とリピートピクチャＢR を２個続ける構成を繰り返す。本構成により継続的に同じ映像を示す一時停止用の特殊再生ストリームを構成できる。一時停止の場合は継続的に同じ映像を表示すればいいので、リピートピクチャＢRの数を増やすことによって、サーバ及びネットワークの負荷を下げるようにすることもできる。
【００２６】
次に図１を用いて一時停止を行う動作について説明する。図１で再生制御部６はアドレスマップ２３を参照しながら常に同じタイムスタンプデータの蓄積アドレスを蓄積部２から読み出すように読み出し部４に対して指示を行う。読み出されたＧＯＰデータは特殊再生処理部１１によって図３に示すような特殊再生ストリームに変換され、配信部８から端末５１に対して配信が行われる。生成された一時停止用の特殊再生ストリームは継続的に同じ再生画が表示されるデータ構造を持ち、端末５１は通常再生や早送りのときと同じように順次デコード及び再生処理を継続するだけで一時停止の再生画を表示することができる。
【００２７】
図６に早巻き戻しの場合の特殊再生ストリームを示す。図の上側にある（ａ）が特殊再生ストリームを生成する元となる通常再生ストリームでＭ＝３、Ｎ＝１５のＧＯＰ構造を持つ。下側が通常再生ストリームから生成した早巻き戻しの特殊再生ストリームである。早巻き戻しでは時間的に後の映像が先に表示されるように構成されなければならない。そのため早巻き戻しの特殊再生ストリームは通常再生ストリームの時間的に後のフレーム内符号化ピクチャＩ15を先に、続いてリピートピクチャＢR を２個続け、さらにその後に本来時間的に先に表示されるべきフレーム内符号化ピクチャＩ0 及びリピートピクチャＢRを２個続ける構成をとる。この構成により表示映像の順が通常再生ストリームと反対になった早巻き戻し再生用の特殊再生ストリームを生成することができる。図４の上側と下側を比較するとわかるように、元がＧＯＰ内のフレーム数が１５フレームである通常再生ストリームが、特殊再生ストリームではＧＯＰ内のフレーム数が３にまで削減されており、結果として５倍速の早巻き戻し映像表示を行うことができる。さらに作成する特殊再生ストリームに使用するフレーム内符号化ピクチャを２ＧＯＰ毎にすれば１０倍速、３ＧＯＰ毎にすれば１５倍速の早巻き戻しが可能である。
【００２８】
次に図１を用いて早巻き戻しを行う動作について説明する。図１で再生制御部６は早巻き戻しの速度に合わせて読み出すべき通常再生ストリームのタイムスタンプを決定する。さらにアドレスマップ２３を参照し読み出すべきタイムスタンプデータの蓄積アドレスを決定し、蓄積部２から該当ＧＯＰデータを読み出す。読み出されたＧＯＰデータは特殊再生処理部１１によって早巻き戻しの特殊再生ストリームに変換される。同様に早巻き戻し速度に合わせて次の読み出しタイムスタンプを決定し、アドレスマップ２３から蓄積アドレスを求め、該当ＧＯＰデータを蓄積部２から読み出し特殊再生処理部１１に送りこむ動作を続けることによって図６に示すような特殊再生ストリームが生成される。生成された早巻き戻しの特殊再生ストリームは配信部８から端末５１に対して配信が行われる。生成された早巻き戻しの特殊再生ストリームは再生画が時間的に逆になったデータ構造を持ち、端末５１は通常再生のときと同じように順次デコード及び再生処理を継続するだけで早巻き戻しの再生画を表示することができる。
【００２９】
以上のように本実施の形態で示す特殊再生装置によると、特殊再生ストリームはリアルタイムに生成するため、あらかじめ記録媒体に特殊再生ストリームを用意しておく必要や、あらかじめ用意しておいた特殊再生ストリームに対する特別な管理を行う必要がない。また生成する特殊再生ストリームは通常再生ストリームから抽出したＩフレームに、符号量の少ないリピートピクチャを付加し、秒あたりの符号量を削減しているのでネットワークの負荷を上昇させることなく転送が可能である。また生成された特殊再生ストリームは再生側で通常の速度で再生することによって、あたかも特殊再生されたかのような映像を呈するように生成されているので、再生側で特殊再生ストリームを再生するにあたり特別な仕組みを設ける必要がない。さらに通常再生ストリームから抽出し特殊生成ストリームに使用するＩフレームの符号化パラメータの値を、生成する特殊再生ストリーム及びMPEG−２ストリームの規約に従うように再設定を行うので、符号化パラメータが不正な値をとることによる再生映像の乱れや、多重装置における多重化の失敗がなくなる。またデコーダバッファを制御するVBV Delayについて値を設定しなおすので、デコーダバッファの破綻を防ぐことができる。また、VBV Delayが適正な値になっているので、もし特殊再生ストリームが配信される経路上に多重装置があっても多重ミスを生じることがない。さらに生成する特殊再生ストリームに対して転送レートの調整の制御ができるので、通常再生と同じ転送レートにしたり、特殊再生のときのみ転送レート変化させたりすることができる。これらの結果、特殊再生の再生において映像の乱れが発生することがない。さらに蓄積時にＧＯＰもしくはＩフレームのアドレスを記録しているので、特殊再生ストリームを高速に生成することができる。また蓄積装置または伝送装置の負荷に応じてＩフレームの読み込み量を加減するので、負荷が高くなっても確実に特殊再生ストリームを生成することができる。
【００３０】
上記説明では、サーバ１はハードウェア要素から構成されるとして動作を説明したが、特に特殊再生処理部１１を、ハードウェアのストリーム・メモリと、ピクチャ抽出部１２以降ＰＳ化部１８までを同等の機能を持つソフトウェアで構成してもよい。即ち図７に特殊再生処理部１１が行う機能をプログラムで構成したフローを示す。
特殊再生送信の指示を受けたプログラムによる特殊再生処理部は、ステップＳ７１とＳ７２で解析部１３相当の動作を行う。即ち負荷解析してＩフレーム送出間隔を算出し、更にVBV DelayやTemporal Reference、符号量等の解析を行う。Ｓ７３ではデコーダバッファ計算部１４相当の動作をし、Ｓ７４ではハードウェアのフレーム内符号化ピクチャデータ変換処理部１５相当の動作をする。図示しないハードウェアのストリーム・メモリに必要なＩピクチャを記憶して、Ｓ７５ではＩピクチャに続いて、特殊再生の種類に応じて必要なリピートピクチャを付加する。Ｓ７６では、端末への伝送レートを考えて必要なスタッフィング・ビットを挿入してプログラムストリーム変換をして、完成した特殊再生ストリームをスイッチ７経由で配信部８に送る。
【００３１】
実施の形態２．
図８に広域監視システムにおける適用事例を示す。本実施の形態ではカメラ１０１〜１０３で撮影された映像をサーバ１２０に蓄積保存し、複数台の端末１１１〜１１３から蓄積された映像を視聴できるシステムを示している。端末は任意の映像を通常の再生速度で視聴できるほかに、早送り、早巻き戻し、一時停止などの特殊再生も可能である。
【００３２】
システムは、以下のように構成されている。監視カメラ１０１〜１０３は、撮影した映像をＭＰＥＧ−２プログラムストリームに圧縮を行い、さらにＲＴＰプロトコルに対応したＲＴＰ／ＵＤＰパケット化を行い、ネットワーク１００を経由してサーバ１２０へ送信する。サーバ１２０はカメラ１０１〜１０３が撮影した映像ストリームについて３つの蓄積方法を有しており、初期設定で選択が可能である。１つめは、カメラ１０１〜１０３からのマルチキャストストリームをエンドレスに常時受信・蓄積を行う一次蓄積サーバ機能、２つめはカメラ１０１〜１０３からのマルチキャストストリームを、アラームをトリガに受信・蓄積するアラーム蓄積サーバ機能、また別のサーバに蓄積された映像ストリームを退避する画像保存サーバ機能で、これら３つの機能を初期設定で切り替えて使用できる。ここではサーバ１２０は一次蓄積サーバ機能に設定されていると仮定して以下説明を続ける。サーバ１２０は外部からの蓄積及び配信要求に応じる要求受付モジュール１２１を設けている。要求受付モジュール１２１は端末１１１〜１１３及び図に示されていない別のサーバからの映像の配信及び蓄積の要求を受け付けるとともに、サーバ１２０内の他のモジュールに対して内部Ｉ／Ｆを利用して制御を行う。また要求のあった端末もしくはサーバに対して要求に対する応答メッセージ送信も行う。
要求受付モジュール１２１はＲＴＳＰ（Real Time Streaming Protocol）に対応しており、サーバ１２０に蓄積されている映像ストリームの通常再生及び特殊再生が可能になっている。また要求受付モジュール１２１は映像データベース１２３を利用した各種検索機能も備えており、例えば時間や撮影されたカメラを検索キーにして対象となる映像ストリームを検索することも可能である。
【００３３】
受信モジュール１２２はカメラ１０１〜１０３からマルチキャスト配信されたストリームの受信処理を行う。カメラ１０１〜１０３がマルチキャストで送信するメリットは、１つの映像ストリームを他のサーバで同時に保存が可能であることと、端末１１１〜１１３から直接カメラの映像を視聴可能にするためであり、サーバ１２０に対してのみ送信したいのであればユニキャストで送信してもよい。受信モジュール１２２は、ＲＴＰ／ＵＤＰパケットの送信ＩＰアドレスがサーバ１２０のＩＰアドレスもしくはマルチキャストアドレスで、かつポート番号が一致していたときのみ受信を行う。またＲＴＰ／ＵＤＰパケットで送られたＧＯＰの先頭データが受信モジュール１２２によって受信された時刻をタイムスタンプとして取得する。受信したＲＴＰ／ＵＤＰパケットはＲＴＰ／ＵＤＰヘッダが付加されているのでそれらを取り除き、ＲＴＰ／ＵＤＰパケットのペイロード部を結合し、プログラムストリームにする。蓄積モジュール１２５は受信したプログラムストリームである映像ストリームについてＧＯＰ単位でＨＤＤ１２７に蓄積を行うとともに、ＨＤＤ１２７に蓄積されたデータについてＧＯＰ単位で管理を行う。映像データベース１２３は蓄積モジュール１２５が管理・蓄積を行っている映像ストリーム及びＧＯＰのメタ情報についての記録・管理及び検索機能を提供する。映像ストリームのメタ情報の種類としては、例えばカメラ番号、映像の圧縮方式及び圧縮レベル、受信モジュール１２２で取得した時間を示すタイムスタンプ、撮影時刻等がある。配信モジュール１２４は要求受付モジュール１２１からの要求に従い蓄積モジュール１２５が管理する映像ストリームをネットワーク１００に配信を行う。映像ストリームをネットワーク１００経由で例えば端末１１１に対して通常再生ストリームとして配信するときは、送信データであるプログラムストリームをＲＴＰ／ＵＤＰパケット化し、送信先ＩＰアドレスとして端末１１１のＩＰアドレスを設定するとともに、映像データベース１２３に記録されているＧＯＰ毎の受信タイムスタンプを基にＧＯＰ単位の送信のタイミングの制御を行う。
【００３４】
一方特殊再生ストリームを配信するときは、蓄積モジュール１２５から読み出した通常再生ストリームを一旦特殊再生モジュール１２６に送信し、特殊再生モジュール１２６が生成した特殊再生ストリームについて配信を行う。特殊再生ストリームの配信タイミングは早送り及び早巻き戻しについては配信するＧＯＰの受信タイムスタンプ間隔を１５倍速であれば１／１５になるように配信を行う。特殊再生モジュール１２６を利用するには、通常再生ストリームからフレーム内符号化ピクチャ（Ｉフレーム）を抽出して特殊再生モジュール１２６に渡すとともに、特殊再生ストリームを生成するために必要とされるパラメータ、例えば通常再生ストリームの転送レート、希望する特殊再生ストリームの転送レート等のパラメータについても特殊再生モジュール１２６に渡し、特殊再生ストリーム生成を行う。端末１１１〜１１３はサーバ１２０に蓄積された映像ストリームを視聴することが可能であり、サーバ１２０の要求受付モジュール１２１に再生のリクエストを送ることによって視聴が可能になる。端末１１１が視聴したい映像ストリームをサーバ１２０にリクエストすると対応する映像ストリームがＲＴＰ／ＵＤＰパケット単位でサーバ１２０から配信される。端末１１１はネットワーク上のＲＴＰ／ＵＤＰパケット内の送信ＩＰアドレス及びポート番号が一致しているパケットについて受信を行うことによってリクエストした映像ストリームの再生を行うことができる。
【００３５】
次に図９を用いて特殊再生モジュール１２６について説明する。特殊再生モジュール１２６には配信モジュール１２４から転送されるＩフレームを受信するためのＩフレームバッファ１３１、受信したＩフレームデータのデータ構造や符号化パラメータの解析を行う解析部１３２、生成する特殊再生ストリームのVBV Delayの計算を行うデコーダバッファ計算部１３３、特殊再生ストリームに利用するＩフレームデータについてパラメータの変更を行うＩフレームデータ変換処理部１３４、Ｉフレームに続き、Ｉフレームと同じ表示内容を示すリピートピクチャを生成・付加するリピートピクチャ付加部１３５、生成する特殊再生ストリームの符号量を目標とする転送レートに合うように制御を行う符号量制御部１３６、生成された特殊再生ストリームをプログラムストリームに変換するＰＳ化部１３７、及び生成した特殊再生ストリームを配信モジュール１２４に伝えるための特殊再生ストリームバッファ１３８から構成される。
【００３６】
次に本実施の形態の動作について説明する。サーバ１２０は蓄積方法としてカメラ１０１〜１０３からのマルチキャストストリームをエンドレスに常時受信・蓄積を行う一次蓄積サーバに設定がなされているものとする。一次蓄積サーバに設定がなされると受信モジュール１２２は常時ネットワーク１００のＲＴＰ／ＵＤＰパケットについて監視を行い、ＲＴＰ／ＵＤＰパケットの送信先ＩＰアドレスが自らのＩＰアドレスもしくはマルチキャストアドレスであり、さらにポート番号が一致していれば該当ＲＴＰ／ＵＤＰパケットの受信を行う。受信したパケット単位の映像ストリームはプログラムストリームに変換された後に、蓄積モジュール１２５によってＧＯＰ単位でＨＤＤ１２７に記録が行われる。また映像データベース１２３は該当ＧＯＰが受信された時刻のタイムスタンプやカメラ情報、映像の圧縮方式及び圧縮レベルなどのメタ情報の記録を行う。この動作をパケット毎に繰り返すことによってサーバ１２０に映像ストリームが蓄積されていく。
【００３７】
次に再生方法について説明する。まず例えば端末１１１から任意の映像を選択し、再生する場合について説明する。まず端末１１１はサーバ１２０の要求受付モジュール１２１に対して、サーバ１２０内に蓄積されている映像ストリームの一覧を取得する。映像ストリームの一覧を要求するには、映像データベース１２３の検索機能を利用し、検索キーとして特に何も指定しないで検索を実行すると、蓄積された映像ストリームの一覧を取得することができる。こうして取得した映像ストリームの一覧から端末１１１は任意の希望する映像ストリームを選択することができる。映像ストリームはそれぞれについて重複しない映像ＩＤが割り当てられており、映像ストリームの特定には映像ＩＤが利用される。次に選択した映像ストリームを再生するために、要求受付モジュール１２１に対して選択した映像ＩＤの再生要求コマンドを発行する。再生要求を受けた要求受付モジュール１２１は配信モジュール１２４に対して指定された映像ＩＤの再生を開始するように命令を送る。配信モジュール１２４は映像ＩＤに一致し、かつ再生時間に一致する映像ストリームを取得すべく、蓄積モジュール１２５に指示を出す。蓄積モジュール１２５は対応する映像ＩＤ及び再生時間に一致した映像ストリームのＧＯＰをＨＤＤ１２７から読み出し、配信モジュール１２４に送る。配信モジュール１２４は蓄積モジュール１２５から取得したＧＯＰの配信を行う。配信モジュール１２４による配信は映像ストリームのＧＯＰをＲＴＰ／ＵＤＰパケット化し送信先ＩＰアドレスとして端末１１１のＩＰアドレス及び受信する端末と同一のポート番号を指定し、さらに映像データベース１２３に記録しておいた配信データのメタ情報のひとつである受信タイムスタンプを基に配信タイミングの制御を行う。つまり配信モジュール１２４は該当ＧＯＰの配信タイミングとして、受信モジュール１２２でＧＯＰを受信した時刻である受信タイムスタンプを再現するようにＧＯＰの配信を行う。即ち、指定のタイムスタンプを時間起点とする通常の画像配信として、カメラにて撮影され、さらにエンコードされた映像データのカメラからの配信タイミングが再現され、ネットワーク及び再生環境における各種バッファにおいてオーバーフロー及びアンダーフローを発生することなく、リアルタイムなデコード再生が可能になる。配信モジュール１２５から配信されたＲＴＰ／ＵＤＰパケットは、送信先である端末１１１により受信される。端末１１１は連続的に配信されるＲＴＰ／ＵＤＰパケットについてＲＴＰ／ＵＤＰヘッダを取り除き、複数のＲＴＰ／ＵＤＰパケットのペイロードをつなぎ合わせることによってプログラムストリームの形をした通常再生ストリームを取得できる。
以上より、端末１１１は図示しないが内部のデコーダによって取得した通常再生ストリームを再生することができる。
【００３８】
次に特殊再生について説明する。ここでは代表的な特殊再生のひとつである早送りの方法について説明する。説明の簡略化のために、蓄積されている通常再生データはＭＰＥＧ−２プログラムストリームで、Ｎ＝１５とする。早送りの場合ＧＯＰ内のＩフレームのみを順次再生すれば１５倍速であるが、リピートピクチャを２枚使用すると仮定すると５倍速になる。さらに早送りの速度を高速にするには、離散的にＧＯＰを読み出せばよく、例えば３ＧＯＰ毎に読み出せば１５倍速、６ＧＯＰ毎に読み出せば３０倍速の早送りを行うことができる。
さて、端末１１１から任意の映像について１５倍速の早送りの特殊再生がリクエストされたものと仮定する。通常再生の場合と同じように端末１１１はサーバ１２０の要求受付モジュール１２１に対して特殊再生を行う映像ＩＤと特殊再生を行う命令を発行する。再生要求を受け付けた要求受付モジュール１２１は配信モジュール１２４に対して選択された映像ＩＤと早送りのコマンドを発行する。配信モジュール１２４は映像データベース１２３を用いて選択された映像ＩＤのストリームのメタ情報を取得し、１５倍速の早送りを実現するための読み込み対象のＧＯＰを決定する。
【００３９】
図１０に低負荷時と高負荷時の、ＧＯＰと受信タイムスタンプの関係を示す。図１０においてシステムの負荷が低い時は、Ｎ＝１５時に１５倍速を実現するために、リピートピクチャが２枚として、３ＧＯＰ毎の読み出しを行えばよい。またシステムの負荷が高い場合は、リピートピクチャを９枚として、１０ＧＯＰ毎の読み出しを行えばよい。このようにして早送り速度とシステムの負荷に応じて読み込みＧＯＰを決定し、決定したＧＯＰを蓄積モジュール１２５がＨＤＤ１２７から読み出しを行う。配信モジュール１２４は取得した通常再生ストリームのＧＯＰデータからＩフレームを抽出し、特殊再生モジュール１２６に送る。図９において、特殊再生モジュールのＩフレームバッファ１３１には配信モジュール１２４から送られたＩフレームデータが格納される。解析部１３２はＩフレームバッファ１３１に格納されたＩフレームデータのVBV Delay、Temporal Reference、Picture Coding Type、符号量の解析を行い、特殊再生モジュール１２６内の各処理で必要なパラメータを取得する。デコーダバッファ計算部１３３では前記解析部１３２から取得したパラメータをもとに、生成する特殊再生ストリームのVBV Delayの計算を行う。VBV Delayの計算方法については実施の形態１で示した方法を用いるものとする。Ｉフレームデータ変換処理部１３４は入力したＩフレームピクチャが生成される特殊再生ストリームに適合するように、例えばTemporal ReferenceやVBV Delay及びシーケンスヘッダ以降ＩフレームまでのBit Rate ValueやVBV Buffer Size Valueを変更する。リピートピクチャ付加部１３５は先行するＩフレームと表示内容が同じになるように、動きベクトルを０かつ予測誤差を０になるように、かつスキップドマクロブロックを使用しデータ量を大幅に削減するように符号化されたデータを作成する。符号量制御部１３６は生成する特殊再生ストリームの目標転送レートに対して、発生する符号量を予測し、予測符号量が目標転送レートに比べて小さいなら、スタッフィングによって目標転送レートに近づけ、一方予測符号化量が目標転送レートを上回りそうであれば、一時的に目標転送レートを上げるとともに関連する例えばBit Rate ValueやＳＣＲの再調整を行い、ＭＰＥＧの規格に対して矛盾が生じない処理を行うことによって、発生符号量の制御を行う。ＰＳ化部１３７はビデオエレメンタリーストリームの形式で生成された特殊再生ストリームをパック単位に分割し、プログラムストリームの形式に変換を行う。生成されたプログラムストリームは特殊再生ストリームバッファに保存され、当該データを配信モジュール１２４に渡す。
【００４０】
配信モジュール１２４は受け取った特殊再生ストリームについても通常再生ストリームと同様にＲＴＰ／ＵＤＰパケット化し送信先ＩＰアドレスとして端末１１１のＩＰアドレス及びポート番号を指定し、さらに映像データベース１２３に記録しておいた配信データのメタ情報のひとつであるＧＯＰ毎の受信タイムスタンプを基に早送り速度を鑑みながら、つまり１５倍速であればＧＯＰ間の受信タイムスタンプの間隔が１／１５になるように、ＧＯＰ単位での配信タイミングの制御を行う。配信モジュール１２４から配信されたＲＴＰ／ＵＤＰパケットは、送信先である端末１１１により受信される。端末１１１は連続的に配信されるＲＴＰ／ＵＤＰパケットについてＲＴＰ／ＵＤＰヘッダを取り除き、プログラムストリームのパケットにし、さらに複数のペイロードパケットをつなぎ合わせることによって特殊再生ストリームを取得できる。取得した特殊再生ストリームを通常再生ストリームと同様に再生することによって、１５倍速の早送りの特殊再生を実現することができる。この特殊再生ストリームはシンタックス上通常再生ストリームとなんら変わりがないため通常再生ストリームと同様に扱うことが可能である。
以上より、端末１１１は取得した特殊再生ストリームを再生することができる。
【００４１】
ここでは早送りの１５倍速について例示したが、早送りの３０倍速であれば低負荷時で６ＧＯＰ毎、高負荷時には２０ＧＯＰ毎に１つのＩフレームを読み出し、また配信するタイムテーブルの時間間隔を１／１５にすればよく、また早巻き戻しであれば逆方向に読み出して特殊再生モジュール１２６に送ればよい。また一時停止であれば同じＧＯＰのデータを繰り返し特殊再生モジュール１２６に送ればよい。
【００４２】
早送り及び早巻き戻しの特殊再生ストリームの配信タイミングについては、受信時のタイムスタンプを元に配信することによってリアルタイム性を確保できたが、一時停止の特殊再生において配信を行うタイミングは受信時刻が同一であるため受信タイムテーブルを使用するのは無意味である。したがって、生成した特殊再生ストリームの時刻情報をもとに配信を行なう方法をとる。
【００４３】
さて、本実施の形態で示した特殊再生ストリームは再生側で通常の速度で再生することによって、あたかも特殊再生されたかのような映像を呈するように生成されているので、再生側で特殊再生ストリームを再生するにあたり特別な仕組みを設ける必要がなく通常再生ストリームと同様に扱うことができる。しかしながら、通常再生から特殊再生、もしくは特殊再生から通常再生に遷移するときに、シームレスに再生を続けるためにはプログラムストリームのＳＣＲ（System Clock Reference）及びＰＴＳ（Presentation Time Stamp）やＤＴＳ（Decoding Time Stamp）の時間情報の連続性を保証することが必要である。もしこれらの時間情報が連続していないと、デコーダによってはデコーダバッファのオーバーフローやアンダーフローが発生したり、デコードの一時中断や停止が発生したりする恐れがある。したがって通常再生と特殊再生間の切り替え時には先行するストリームの最終ＳＣＲを元に後続するストリームのＳＣＲが連続するように後続するストリームのＳＣＲにオフセットを行うことが望ましい。さらに後続するストリームのＰＴＳ及びＤＴＳについてもＳＣＲがおこなったオフセット相当を行うことも必要である。
【００４４】
以上のように本実施の形態で示す特殊再生方法によると、特殊再生ストリームはリアルタイムに生成するため、あらかじめ記録媒体に特殊再生ストリームを用意しておく必要や、あらかじめ用意しておいた特殊再生ストリームに対する特別な管理を行う必要がない。また生成する特殊再生ストリームは通常再生ストリームから抽出したＩフレームに、符号量の少ないリピートピクチャを付加し、秒あたりの符号量を削減しているのでネットワークの負荷を上昇させることなく転送が可能である。また生成された特殊再生ストリームは再生側で通常の速度で再生することによって、あたかも特殊再生されたかのような映像を呈するように生成されているので、再生側で特殊再生ストリームを再生するにあたり特別な仕組みを設ける必要がない。さらに通常再生ストリームから抽出し特殊生成ストリームに使用するＩフレームの符号化パラメータの値を、生成する特殊再生ストリーム及びＭＰＥＧ−２ストリームの規約に従うように再設定を行うので、符号化パラメータが不正な値をとることによる再生映像の乱れや、多重装置における多重化の失敗がなくなる。また生成する特殊再生ストリームに対して転送レートの調整の制御ができるので、通常再生と同じ転送レートにしたり、特殊再生のときのみ転送レートを変化したりすることができる。また特殊再生ストリームを生成する際に、システムの負荷に応じて動的または静的に蓄積部からの読み取り負荷を調整できるので、負荷を押さえて確実にストリームを生成できる。これらの結果、特殊再生の再生において映像の乱れが発生することがない。
【００４５】
以上のように、本発明によれば、蓄積装置の負荷が上昇した場合でも、通常再生ストリームからのフレーム内符号化ピクチャの読み出し間隔を変えることができるので、確実に特殊再生ストリームを生成することができる。
【図面の簡単な説明】
【００４６】
【図１】この発明の実施の形態１におけるサーバとネットワークと端末とのシステムと各装置の内部構成を示す図である。
【図２】実施の形態１における早送り再生のストリーム構造を説明する図である。
【図３】実施の形態１における低負荷時と高負荷時の早送り再生のストリーム構造を説明する図である。
【図４】実施の形態１における解析部が行う動作を示すフロー図である。
【図５】実施の形態１における一時停止再生のストリーム構造を説明する図である。
【図６】実施の形態１における早巻き戻し再生のストリーム構造を説明する図である。
【図７】実施の形態１における他の特殊再生処理部が行う動作を示すフロー図である。
【図８】実施の形態２における広域監視システムと、サーバの詳細構成を示す図である。
【図９】実施の形態２における特殊再生モジュールの構成を示す図である。
【図１０】実施の形態２における低負荷時と高負荷時のＧＯＰタイムスタンプを説明する図である。
【符号の説明】
【００４７】
１  サーバ（装置）、２  蓄積部、３  書き込み部、４  読み出し部、５  スイッチ、６  再生制御部、７  スイッチ、８  配信部、１１  特殊再生処理部、１２  Ｉピクチャ抽出部、１３  解析部、１４  デコーダバッファ計算部、１５  フレーム内符号化ピクチャデータ変換処理部、１６  リピートピクチャ付加部、１７  符号量制御部、１８  ＰＳ化部、２１  受信部、２２  ＧＯＰ抽出部、２３  アドレスマップ、３１  ネットワーク、４１  蓄積入力部、４２  蓄積指示部、４３  再生入力部、４４  再生指示部、４５  受信部、４６  デコーダ、４７  表示部、５１  端末、５２  端末、５３  端末、１００  ネットワーク、１０１  カメラ１、１０２  カメラ２、１０３  カメラ３、１１１  端末１、１１２  端末２、１１３  端末３、１２０  サーバ、１２１  要求受付モジュール、１２２  受信モジュール、１２３  映像データベース、１２４  配信モジュール、１２５  蓄積モジュール、１２６  特殊再生モジュール、１２７  ＨＤＤ、１３１  Ｉフレームバッファ、１３２  解析部、１３３  デコーダバッファ計算部、１３４  Ｉフレームデータ変換処理部、１３５  リピートピクチャ付加部、１３６  符号量制御部、１３７  ＰＳ化部、１３８  特殊再生ストリームバッファ。
【図１】
2005184254.tif 000003
【図２】
2005184254.tif 000004
【図３】
2005184254.tif 000005
【図４】
2005184254.tif 000006
【図５】
2005184254.tif 000007
【図６】
2005184254.tif 000008
【図７】
2005184254.tif 000009
【図８】
2005184254.tif 000010
【図９】
2005184254.tif 000011
【図１０】
2005184254.tif 000012