(57)【特許請求の範囲】
【請求項１】
動画像を圧縮符号化して配信する送信局と、
前記送信局で圧縮符号化されてネットワークを通じて配信された前記動画像のデータを受信する複数の受信局と
を備え、
前記送信局が、
前記動画像の１フレームの内部の情報を用いたフレーム内符号化によって生成されたフレーム内符号化データと、異なるフレーム間の差分情報を用いたフレーム間符号化によって生成されたフレーム間符号化データとをフレーム単位で時間軸に沿って混在させながら前記動画像を圧縮符号化する符号化手段と、
前記符号化手段で圧縮符号化された前記フレーム内符号化データ及び前記フレーム間符号化データを時間軸に沿って前記ネットワークに送出するデータ送出手段と
を備え、
前記送信局の前記符号化手段は、いずれかの前記受信局から新規配信の要求がある度に前記フレーム内符号化データを生成し、当該フレーム内符号化データを前記データ送出手段及び前記ネットワークを通じて受信局に配信し、
前記送信局の符号化手段は、前記動画像の複数のフレームの中から一定の周期毎にキーフレームを指定し、
前記送信局の符号化手段は、前記キーフレーム以外の複数の他のフレームそれぞれにおいて、フレームを複数のブロック領域に分割して、当該複数のブロック領域の中から特定領域を指定し、
前記キーフレームの指定周期に含まれる複数の前記他のフレームそれぞれの特定領域の位置は、互いに異なり、
前記送信局の符号化手段は、前記指定周期に含まれる複数の前記他のフレームそれぞれの特定領域を合成して生成されるフレーム１枚分の参照フレームと、キーフレームとの間の第２の差分が所定より大きい場合に当該キーフレームに対してフレーム内符号化を施す一方、前記第２の差分が所定より小さい場合に当該キーフレームに対して前記参照フレームを参照したフレーム間符号化を施すことを特徴とする動画像配信システム。
【請求項２】
請求項１に記載の動画像配信システムであって、
前記送信局の符号化手段は、前記特定領域を除くブロック領域とキーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域に対してフレーム内符号化を施す一方、前記第１の差分が所定より小さい場合に当該ブロック領域に対して当該キーフレームを参照したフレーム間符号化を施すとともに、前記特定領域に対してはフレーム内符号化を施すことを特徴とする動画像配信システム。
【請求項３】
請求項１または請求項２に記載の動画像配信システムであって、
前記送信局が、所定の撮像対象を撮像する撮像カメラを有し、
前記受信局が、前記撮像カメラで撮像された動画像を表示または記録することを特徴とする動画像配信システム。
【請求項４】
送信局において動画像を圧縮符号化し、この圧縮符号化された動画像をネットワークを通じて複数の受信局に配信する動画像配信方法であって、
ａ）前記送信局において、前記動画像の１フレームの内部の情報を用いたフレーム内符号化によって生成されたフレーム内符号化データと、異なるフレーム間の差分情報を用いたフレーム間符号化によって生成されたフレーム間符号化データとをフレーム単位で時間軸に沿って混在させながら前記動画像を圧縮符号化する工程と、
ｂ）前記送信局において、前記フレーム内符号化データ及び前記フレーム間符号化データを時間軸に沿って前記ネットワークに送出する工程と、
を備え、
前記ａ）工程は、
ａ−１）いずれかの前記受信局から新規配信の要求がある度に前記フレーム内符号化データを生成する工程と、
ａ−２）前記動画像の複数のフレームの中から一定の周期毎にキーフレームを指定し、且つ前記キーフレーム以外の複数の他のフレームそれぞれにおいて、フレームを複数のブロック領域に分割して、当該複数のブロック領域の中から特定領域を指定する工程と、
を有し、
前記キーフレームの指定周期に含まれる複数の前記他のフレームそれぞれの特定領域の位置は、互いに異なり、
前記ａ）工程では、前記指定周期に含まれる複数の前記他のフレームそれぞれの特定領域を合成して生成されるフレーム１枚分の参照フレームと、キーフレームとの間の第２の差分が所定より大きい場合は、当該キーフレームに対してフレーム内符号化が施され、前記第２の差分が所定より小さい場合は、当該キーフレームに対して前記参照フレームを参照したフレーム間符号化が施される動画像配信方法。
【請求項５】
請求項４に記載の動画像配信方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるためのプログラム。
【請求項６】
動画像を圧縮符号化して配信する送信局と、
前記送信局で圧縮符号化されてネットワークを通じて配信された前記動画像のデータを受信する受信局と
を備え、
前記送信局が、
前記動画像の１フレームの内部の情報を用いたフレーム内符号化によって生成されたフレーム内符号化データと、異なるフレーム間の差分情報を用いたフレーム間符号化によって生成されたフレーム間符号化データとをフレーム単位で時間軸に沿って混在させながら前記動画像を圧縮符号化する符号化手段と、
前記符号化手段で圧縮符号化された前記フレーム内符号化データ及び前記フレーム間符号化データを時間軸に沿って前記ネットワークに送出するデータ送出手段と
を備え、
前記送信局の符号化手段は、前記動画像の複数のフレームの中から一定の周期毎にキーフレームを指定し、
前記送信局の符号化手段は、前記キーフレーム以外の複数の他のフレームそれぞれにおいて、フレームを複数のブロック領域に分割して、当該複数のブロック領域の中から特定領域を指定し、
前記キーフレームの指定周期に含まれる複数の前記他のフレームそれぞれの特定領域の位置は、互いに異なり、
前記送信局の符号化手段は、前記指定周期に含まれる複数の前記他のフレームそれぞれの特定領域を合成して生成されるフレーム１枚分の参照フレームと、キーフレームとの間の第２の差分が所定より大きい場合に当該キーフレームに対してフレーム内符号化を施す一方、前記第２の差分が所定より小さい場合に当該キーフレームに対して前記参照フレームを参照したフレーム間符号化を施すことを特徴とする動画像配信システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、圧縮符号化された動画像を送信局から複数の受信局へ配信する動画像配信システム及びそれに関連する技術に関する。
【０００２】
【従来の技術】
一般に、動画像を遠隔地に送信することが行われている。例えば、図１０の如く、監視対象に向けて撮像カメラ１を設置しておき、この撮像カメラ１で撮像された監視映像（動画像）を、サーバ２からネットワーク３を通じて遠隔地のクライアント４ａ，４ｂ…に送信し、このクライアント４ａ，４ｂ…でモニタ表示を行って監視映像を監視し、また当該監視映像を必要に応じて記録する。
【０００３】
ところで、ネットワーク３を通じて動画像を送信する場合、通信速度やクライアント４ａ，４ｂ…での記録時のデータ容量を考慮すると、動画像を圧縮符号化してデータサイズを低減することが望ましい。即ち、図１０及び図１１の如く、例えば撮像カメラ１で撮像した動画像を符号化器６で圧縮符号化し、サーバ２からネットワーク３を通じて遠隔地の各クライアント４ａ，４ｂ…に送信する。クライアント４ａ，４ｂ…側では、サーバ２から与えられた圧縮符号化された動画像をクライアント機４を通じて受信した後、復号器７で動画像を復号し、モニタ装置５に表示する。
【０００４】
このような監視映像等の動画像を圧縮符号化する方法としては、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）と動き補償予測符号化を組み合わせた方法（第１従来技術）が一般的であり、この方法はＭＰＥＧ（Moving Picture Experts Group）方式等でも採用されている。通常、ＤＣＴは空間方向の冗長性を低下させるべくフレーム（静止画像）内の情報だけで符号化するフレーム内（イントラ）符号化に適用される。また動き補償予測符号化（フレーム間（インター）符号化）は時間方向の冗長性を低下させるべく、符号化対象フレームを他の時刻のフレームから予測し、その符号化対象フレームと予測したフレームとの差分信号に対してＤＣＴや量子化などを施すものである。この場合、差分を小さく抑えるため、符号化対象フレームは時間的に隣接するフレームから予測されることが多い。このようなフレーム内符号化や動き補償予測符号化（フレーム間符号化）の処理は、フレームを複数分割したブロックを基本処理単位として行われる。
【０００５】
図１２を参照しつつ従来の差分符号化方式の概略を説明する。撮像カメラ１から順次出力される複数のフレームｆ１，ｆ２，…は、符号化器６（図１０及び図１１）に順次入力される。このように、符号化器６に各フレームｆｎ（ｎ＝１，２，…）が入力されると（ＳＴ１００）、ステップＳＴ１０１で当該入力フレームｆｎがキーフレームか否かが条件判定される。フレームｆｎがキーフレームである場合、ステップＳＴ１０２でフレーム内符号化処理が実行される。即ち、当該フレームｆｎをブロックに分割して各ブロック毎にＤＣＴを施し、その変換係数が算出される。次いで、その変換係数を量子化した量子化係数が出力される。次にステップＳＴ１０３で、その量子化係数を可変長符号化（エントロピ符号化）した符号化データが生成され、ビットストリームにされて出力される。また、上述のステップＳＴ１０２で算出された量子化係数が、ステップＳＴ１０４で復号化（逆量子化および逆ＤＣＴ）を施された後にキーフレームメモリ１００に記憶される。
【０００６】
次に、ステップＳＴ１００で次のフレームｆｍ（ｍ＝ｎ＋１）が入力されると、ステップＳＴ１０１でフレームｆｍがキーフレームか否かが条件判定される。フレームｆｍがキーフレームで無い場合はステップＳＴ１０５に処理が移行し、キーフレームメモリ１００に記憶したキーフレームｆｎとフレームｆｍとの間でブロック単位で画素値の差分値が算出される。次いで、ステップＳＴ１０６で、その差分値が所定範囲内か否かが判定される。その差分値が所定範囲内にある場合は、ステップＳＴ１０７でフレーム間（インター）符号化、即ちキーフレームと入力フレームｆｍとの間の差分信号に対してＤＣＴおよび量子化が施される。他方、その差分値が所定範囲を超える場合は、ステップＳＴ１０８でフレーム内符号化が実行される。このようにステップＳＴ１０７，ＳＴ１０８で算出した量子化係数は、ステップＳＴ１０３で可変長符号化されビットストリームに変換後に、サーバ２を通じてネットワーク３へ出力される。
【０００７】
このようなビットストリームの復号化処理の例を図１３を参照しつつ以下に説明する。上記したビットストリームがネットワーク３を通じてクライアント４ａ，４ｂ…側に入力されると（ＳＴ１１０）、復号器７において、このビットストリームから圧縮符号化信号が取り出され、可変長復号化されて上記量子化係数が得られる。続くステップＳＴ１１１において、その量子化係数が上記圧縮符号化処理のステップＳＴ１０２でフレーム内符号化されていた場合、その復号化（フレーム内復号化）を施して所定のキーフレームメモリ１０１に蓄積する。そしてステップＳＴ１０８において、その量子化係数がフレーム内符号化されていた場合は、その復号化が施される。他方、その量子化係数が上記ステップＳＴ１０７でフレーム間符号化されていた場合は、キーフレームメモリ１０１に蓄積したキーフレームを参照してその復号化（フレーム間復号化）を施される。そして、このようにフレーム内またはフレーム間復号化された復号化画像が、モニタ装置５に表示される（ＳＴ１１２）。
【０００８】
このようなＭＰＥＧ方式に代表される動画像の圧縮符号化方式では、フレーム間の差分情報の圧縮をとることで高い圧縮効率を得ることができる。
【０００９】
この他、ＭｏｔｉｏｎＪＰＥＧ方式のように、静止画像の圧縮方式（フレーム内符号化方式）を採用し、かかる静止画像を時系列的に切り替えて表示することで、見かけ上、動画像のように再生する方式（第２従来技術）もある。
【００１０】
【発明が解決しようとする課題】
ところで、例えば上記した第１従来技術に係る差分符号化方式では、圧縮符号化された動画像（映像データ）は、多くのフレーム（キーフレーム以外の各フレーム）が時系列的な差分情報を含んだフレームにより成り立っているため、各フレームの連続による一続きのデータとなっている。
【００１１】
ここで、このような時系列差分（フレーム間符号化）を含む映像データをＰピクチャと呼ぶ一方、時系列差分を含まずにフレーム内の近接した画像同士で差分（フレーム内符号化）をとった映像データをＩピクチャと呼ぶことにする。
【００１２】
第１従来技術の場合、Ｐピクチャの挿入枚数は一般に固定となっている。このような圧縮符号化方式の場合、例えば図１４のように、タイミングＴ１の時点で一のクライアント４ａに映像データの送信が開始されると、まずフレーム内符号化されたＩピクチャ８ａをサーバ２からクライアント４ａに送信した後、このＩピクチャ８ａを起点として次々と時系列差分（フレーム間符号化）を取ったＰピクチャ９ａを送信し、一定フレーム分のＰピクチャ９ａを送信した後に、次の周期のＩピクチャ８ｂ及びＰピクチャ９ｂを送信していくことになる。
【００１３】
ところで、例えばタイミングＴ２の時点で、他のクライアント４ｂから新規配信の要求があったとする。このタイミングＴ２の時点では、サーバ２はネットワーク３に対してＰピクチャ９ａを送信している最中である。ところで、このＰピクチャ９ａは、前提となるＩピクチャ８ａを起点として、このＩピクチャ８ａを起点として次々と連鎖的に時系列差分（フレーム間符号化）を取ってできたフレームであるため、Ｉピクチャ８ａを入手しない限り、Ｐピクチャ９ａのみから動画像を復号化することは不可能である。しかしながら、最初のＩピクチャ８ａは、既にネットワーク３への排出が終了してしまっているため、クライアント４ｂ側で最初のＩピクチャ８ａを入手することはできない。したがって、クライアント４ｂは、次のＩピクチャ８ｂがサーバ２から与えられるまでは、映像データを復号化することができなくなる。
【００１４】
ただし、このような問題は、例えばフレームレートが３０ｆｐｓ程度のＭＰＥＧ２等の映像配信において、Ｉピクチャが例えば１秒毎に出現するような場合は、仮に一のクライアント４ａにＰピクチャの送信しているときに他のクライアント４ｂから新規配信の要求があっても、少なくとも一秒以内にクライアント４ｂに対してＩピクチャを送信することが可能であるため、その他のクライアント４ｂで滞り無く映像データを復号化することができる。
【００１５】
しかしながら、例えばセキュリティ目的での監視映像をサーバ２内で記録する場合、例えば３０ｆｐｓ未満でコマ落としして録画することが行われることがあり、例えば実時間として３０秒に１回のタイミングでＩピクチャが出現するような記録を行うこともある。このようなＩピクチャの出現周期の長い動画像を複数のクライアント４ａ，４ｂに配信する場合において、例えば、一のクライアント４ａにＰピクチャの送信しているときに他のクライアント４ｂから新規配信の要求があった際、最大で３０秒近くＩピクチャを送信できない場合があり得ることになる。このため、他のクライアント４ｂにおいて動画像の復号化を待機する時間が多大となってしまう。即ち、コマ落としした動画像のように、Ｉピクチャの出現周期の長い動画像圧縮符号化方式を適用した場合には、新規配信の要求をしたクライアント４ｂにとって、待ち時間が無視できない問題となる。
【００１６】
一方、第２従来技術においては、全てのフレームがフレーム内符号化されているため、任意のタイミングで配信要求をした全てのクライアント４ａ，４ｂに、そのときの個々のタイミングで、フレーム内符号化された映像データを配信することができる。しかしながら、この第２従来技術では、データ量が多大となってしまうため、フレームレートが低下するという欠点がある。
【００１７】
このような問題に鑑みてこの発明が解決しようとするところは、動画像を高い圧縮率で効率よく配信しつつ、映像データの配信途中で新規配信の要求があったときに待ち時間の少ない動画像配信システム及びそれに関連する技術を提供する点にある。
【００１８】
【課題を解決するための手段】
上記課題を解決すべく、請求項１に記載の発明は、動画像を圧縮符号化して配信する送信局と、前記送信局で圧縮符号化されてネットワークを通じて配信された前記動画像のデータを受信する複数の受信局とを備え、前記送信局が、前記動画像の１フレームの内部の情報を用いたフレーム内符号化によって生成されたフレーム内符号化データと、異なるフレーム間の差分情報を用いたフレーム間符号化によって生成されたフレーム間符号化データとをフレーム単位で時間軸に沿って混在させながら前記動画像を圧縮符号化する符号化手段と、前記符号化手段で圧縮符号化された前記フレーム内符号化データ及び前記フレーム間符号化データを時間軸に沿って前記ネットワークに送出するデータ送出手段とを備え、前記送信局の前記符号化手段は、いずれかの前記受信局から新規配信の要求がある度に前記フレーム内符号化データを生成し、当該フレーム内符号化データを前記データ送出手段及び前記ネットワークを通じて受信局に配信し、前記送信局の符号化手段は、前記動画像の複数のフレームの中から一定の周期毎にキーフレームを指定し、前記送信局の符号化手段は、前記キーフレーム以外の複数の他のフレームそれぞれにおいて、フレームを複数のブロック領域に分割して、当該複数のブロック領域の中から特定領域を指定し、前記キーフレームの指定周期に含まれる複数の前記他のフレームそれぞれの特定領域の位置は、互いに異なり、前記送信局の符号化手段は、前記指定周期に含まれる複数の前記他のフレームそれぞれの特定領域を合成して生成されるフレーム１枚分の参照フレームと、キーフレームとの間の第２の差分が所定より大きい場合に当該キーフレームに対してフレーム内符号化を施す一方、前記第２の差分が所定より小さい場合に当該キーフレームに対して前記参照フレームを参照したフレーム間符号化を施すものである。
【００１９】
請求項２に記載の発明は、請求項１に記載の動画像配信システムであって、前記送信局の符号化手段は、前記特定領域を除くブロック領域とキーフレームとの間の第１の差分が所定より大きい場合に当該ブロック領域に対してフレーム内符号化を施す一方、前記第１の差分が所定より小さい場合に当該ブロック領域に対して当該キーフレームを参照したフレーム間符号化を施すとともに、前記特定領域に対してはフレーム内符号化を施すものである。
【００２０】
請求項３に記載の発明は、請求項１または請求項２に記載の動画像配信システムであって、前記送信局が、所定の撮像対象を撮像する撮像カメラを有し、前記受信局が、前記撮像カメラで撮像された動画像を表示または記録するものである。
【００２１】
請求項４に記載の発明は、送信局において動画像を圧縮符号化し、この圧縮符号化された動画像をネットワークを通じて複数の受信局に配信する動画像配信方法であって、ａ）前記送信局において、前記動画像の１フレームの内部の情報を用いたフレーム内符号化によって生成されたフレーム内符号化データと、異なるフレーム間の差分情報を用いたフレーム間符号化によって生成されたフレーム間符号化データとをフレーム単位で時間軸に沿って混在させながら前記動画像を圧縮符号化する工程と、ｂ）前記送信局において、前記フレーム内符号化データ及び前記フレーム間符号化データを時間軸に沿って前記ネットワークに送出する工程とを備え、前記ａ）工程は、ａ−１）いずれかの前記受信局から新規配信の要求がある度に前記フレーム内符号化データを生成する工程と、ａ−２）前記動画像の複数のフレームの中から一定の周期毎にキーフレームを指定し、且つ前記キーフレーム以外の複数の他のフレームそれぞれにおいて、フレームを複数のブロック領域に分割して、当該複数のブロック領域の中から特定領域を指定する工程とを有し、前記キーフレームの指定周期に含まれる複数の前記他のフレームそれぞれの特定領域の位置は、互いに異なり、前記ａ）工程では、前記指定周期に含まれる複数の前記他のフレームそれぞれの特定領域を合成して生成されるフレーム１枚分の参照フレームと、キーフレームとの間の第２の差分が所定より大きい場合は、当該キーフレームに対してフレーム内符号化が施され、前記第２の差分が所定より小さい場合は、当該キーフレームに対して前記参照フレームを参照したフレーム間符号化が施されるものである。
【００２３】
請求項５に記載の発明は、請求項４に記載の動画像配信方法をコンピュータ上で実現するために、前記各工程をコンピュータに実行させるものである。
請求項６に記載の発明は、動画像を圧縮符号化して配信する送信局と、前記送信局で圧縮符号化されてネットワークを通じて配信された前記動画像のデータを受信する受信局とを備え、前記送信局は、前記動画像の１フレームの内部の情報を用いたフレーム内符号化によって生成されたフレーム内符号化データと、異なるフレーム間の差分情報を用いたフレーム間符号化によって生成されたフレーム間符号化データとをフレーム単位で時間軸に沿って混在させながら前記動画像を圧縮符号化する符号化手段と、前記符号化手段で圧縮符号化された前記フレーム内符号化データ及び前記フレーム間符号化データを時間軸に沿って前記ネットワークに送出するデータ送出手段とを有し、前記送信局の符号化手段は、前記動画像の複数のフレームの中から一定の周期毎にキーフレームを指定し、前記送信局の符号化手段は、前記キーフレーム以外の複数の他のフレームそれぞれにおいて、フレームを複数のブロック領域に分割して、当該複数のブロック領域の中から特定領域を指定し、前記キーフレームの指定周期に含まれる複数の前記他のフレームそれぞれの特定領域の位置は、互いに異なり、前記送信局の符号化手段は、前記指定周期に含まれる複数の前記他のフレームそれぞれの特定領域を合成して生成されるフレーム１枚分の参照フレームと、キーフレームとの間の第２の差分が所定より大きい場合に当該キーフレームに対してフレーム内符号化を施す一方、前記第２の差分が所定より小さい場合に当該キーフレームに対して前記参照フレームを参照したフレーム間符号化を施すものである。
【００２４】
【発明の実施の形態】
＜動画像配信システムの基本的概念＞
まず、この発明の一の実施の形態に使用する動画像配信システムの基本的概念について説明する。この動画像配信システムは、図１０及び図１１に示した従来例と同様に、例えば撮像カメラ１で撮像した監視映像等の動画像を符号化器６で圧縮符号化し、この動画像（圧縮フレームデータ）を、送信局としてのサーバ２からネットワーク３を通じて遠隔地の受信局としての複数のクライアント４ａ，４ｂ（クライアント機４）にストリーミング配信する。クライアント４ａ，４ｂ側では、サーバ２から与えられた圧縮符号化された動画像（圧縮フレームデータ）を復号器７で復号し、モニタ装置５に表示する。
【００２５】
ここで、符号化器６は、既存のＭＰＥＧ方式（図１２及び図１３参照）やＭＰＥＧ２方式等の既存の方法、あるいは、例えば本出願人が提案している特願平２０００−３６８５１０のような動画像の圧縮符号化方法（以下「ＳＲＶＣ方式」と称す：後述参照）を利用して、動画像を圧縮符号化する。
【００２６】
そして、符号化器６は、図１の如く、フレーム内符号化のみで生成されたフレーム内符号化データとしてのＩピクチャ１１ａを先頭フレームとし、当該Ｉピクチャ１１ａに後続する複数のフレームが、このＩピクチャ１１ａを起点として次々と連鎖的に得られる時系列差分（フレーム間符号化）の情報を含むフレーム間符号化データとしての複数のＰピクチャ１２ａとなるように、動画像を圧縮符号化する。例えばＭＰＥＧ方式またはＭＰＥＧ２方式の場合、ひとつのＩピクチャ１１ａに後続するＰピクチャのフレーム数（例えば２９フレーム）を原則的に固定とし、この１フレームのＩピクチャ１１ａと２９フレームのＰピクチャ１２ａをもって一定の周期とする。
【００２７】
そして、特に符号化器６は、各クライアント４ａ，４ｂから動画像の配信要求がそれぞれあったときに、原則的な配信タイミングとしてＰピクチャを送信すべきときであっても、その配信要求のあった時点Ｔｈ１，Ｔｈ２，Ｔｈ３の直後に、独立してフレーム内符号化されたＩピクチャ１１ｂ，１１ｃ，１１ｄを強制的に出現させるようにし、そのＩピクチャ１１ｂ，１１ｃ，１１ｄを先頭フレームとして時系列差分（フレーム間符号化）によりＰピクチャ１２ｂ，１２ｃ，１２ｄを後続させるように圧縮符号化する。
【００２８】
尚、サーバ２及びクライアント機４は、ＲＡＭ、ＲＯＭ、ハードディスクドライブ等の所定のデータ記録装置及び中央演算処理装置（ＣＰＵ）を備えたコンピュータ機器が利用され、中央演算処理装置により、データ記録装置に格納された圧縮画像データを管理し、また動画像の配信に応じた再生を行うための圧縮画像データの処理順序を決定する。この中央演算処理装置の動作手順は、データ記録装置内に予め格納されたソフトウェアプログラムにおいて規律され、このソフトウェアプログラムに従って実行される。
【００２９】
＜圧縮符号化方法＞
以下、この実施の形態を、ＳＲＶＣ方式の圧縮符号化方法に適用した例について説明する。図２は、ＳＲＶＣ方式の圧縮符号化方法を説明するための模式図、図３は、この圧縮符号化方法を実現するためのフローチャートである。
【００３０】
このＳＲＶＣ方式の圧縮符号化方法は、符号化機（符号化手段）６（図１３参照）において、直前のフレームを基準として差分をとるＭＰＥＧ方式とは異なり、図２のように、基準フレームを固定して圧縮するものであり、これにより、再生時の間引きや逆の時間方向への再生を比較的に容易に行っている。
【００３１】
この圧縮符号化方法では、図２の如く、例えば、ＣＣＤ（電荷結合素子）センサやＣＭＯＳセンサなどの撮像カメラ１（図１３参照）で時間軸に沿って順次撮像した複数の静止画像（フレーム）ｆ１，ｆ２，ｆ３，ｆ４，…が符号化器６（図１３参照）に入力される（図３中のステップＳＴ１）。
【００３２】
尚、図３中のキーブロックメモリ２１Ａには、フレームｆ１が入力される前に、所定の特定領域（キーＧＯＢ）をそのまま繋ぎ合わせて構成される参照フレームｆ０（図示省略）が格納される。この参照フレームｆ０は、復号器（復号化手段）７のキーブロックメモリ２１Ｂ（図８参照）に圧縮伝送された後、復号化されて格納されることになる。ただし、圧縮符号化を開始した時点の最初のフレームについては、この最初のフレームに先駆けたキーＧＯＢが存在していないため、参照フレームが存在しないこととなる。
【００３３】
次のステップＳＴ１ａにおいて、符号化器６は、いずれかのクライアント４ａ，４ｂ（図１２参照）から、新規配信の要求があったか否かを判断する。
【００３４】
そして、新規配信の要求があった場合は、ステップＳＴ１ｂに進み、Ｉピクチャ１１ｂ，１１ｃ，１１ｄを送信する必要があるため、入力された入力フレームに対してフレーム内符号化を行った後、ステップＳＴ１９でビットストリームデータとしてサーバ２に出力される。このときのフレーム内符号化の処理は、具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。かかる処理手順により、各クライアント４ａ，４ｂから新規配信の要求がある度に、符号化器６は改めてＩピクチャ１１ｂ，１１ｃ，１１ｄを生成してサーバ２を通じてクライアント４ａ，４ｂに出力することになる。尚、ここでクライアント４ａ，４ｂに配信されたＩピクチャ１１ｂ，１１ｃ，１１ｄは、符号化器６及び各クライアント４ａ，４ｂ側の復号器７においてキーフレームとみなして処理される。即ち、図３中のステップＳＴ８に進み、局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図３に示したキーフレームメモリ２０Ａに格納される。よって、キーフレームメモリ２０Ａにはフレーム内符号化（ＳＴ１ｂ）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号器７で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で、途中で各クライアント４ａ，４ｂからの新規配信の要求があった場合のＩピクチャ１１ｂ，１１ｃ，１１ｄ（キーフレーム）の圧縮符号化処理が終了する。
【００３５】
一方、ステップＳＴ１ａにおいて、各クライアント４ａ，４ｂからの新規配信の要求がない場合には、符号化器６は、途中で各クライアント４ａ，４ｂからの新規配信の要求のない限り、入力フレームｆ１，ｆ２，ｆ３，ｆ４，…の中から周期的にキーフレームを指定するようになっている。図２においては、入力フレームｆ１（図１中のＩピクチャ１１ａに相当）がキーフレームとなっている。
【００３６】
そして、図３中のステップＳＴ２において、その入力フレームｆ１がキーフレームか否かを条件判定する。図２においては、フレームｆ１は上述のようにキーフレームであるから、そのままステップＳＴ３に処理が移行し、フレーム内（イントラ）／フレーム間（インター）符号化処理を実行する。
【００３７】
このステップＳＴ３の処理手順を図４に示している。図４に示すように、ステップＳＴ４でキーブロックメモリ２１Ａに格納した参照フレームｆ０（図示省略）と入力フレームｆ１（キーフレーム）との間の画素値の差分値と、その差分値の絶対値和（差分絶対値和）Ｓとが算出される。ただし、入力フレームｆ１が、圧縮符号化を開始した時点の最初のフレームである場合には、上述のように参照フレームが存在していないため、画像として全ての画素がゼロであるデータを参照フレームのデータとして、差分値の絶対値和（差分絶対値和）Ｓを算出する。
【００３８】
次いで、図４中のステップＳＴ５で、差分絶対値和が所定の閾値以下か否かが条件判定される。例えば、その差分値をΔＰｉ（ｉ：各画素に対応する番号）で表現する時、差分絶対値和Ｓは、Ｓ＝｜ΔＰ１｜＋｜ΔＰ２｜＋…＋｜ΔＰｎ｜（ｎ：画素数）で表現される。差分絶対値和Ｓが閾値以下の場合は、両フレームｆ０，ｆ１間の時間的な変化が小さいとして、入力フレームｆ１はフレームｆ０を用いたフレーム間符号化を施される（ステップＳＴ６）。具体的には入力フレームｆ１とフレームｆ０との間の差分信号に対してＤＣＴ（離散コサイン変換）などの直交変換を施し、その変換係数を量子化した量子化係数が算出される。また、このようなフレーム間符号化処理は８×８画素や６×６画素などのサイズをもつ小ブロック（マクロブロック）単位で実行される。これ以後の処理も同様である。尚、この実施の形態では変換方式としてＤＣＴなどの直交変換を採用するが、ＤＣＴの代わりにＤＷＴ（離散ウェーブレット変換）を採用してもよい。この場合、フレーム間符号化処理は上記小ブロック単位で行う代わりに、実行メモリ容量などを考慮してフレーム単位、もしくはフレームをタイルと称する複数の領域に分割し各タイル単位で実行されてもよい。
【００３９】
他方、図４中のステップＳＴ５において、上記ステップＳＴ４で算出した差分絶対値和Ｓが所定の閾値を超える場合は、ステップＳＴ７に処理が移行する。例えば、入力フレームｆ１が、圧縮符号化を開始した時点の最初のフレームである場合（図１中のＩピクチャ１１ａに相当）には、上述のように画像として全ての画素がゼロであるデータを参照フレームのデータとして、差分値の絶対値和（差分絶対値和）Ｓが算出されているため、上記ステップＳＴ４で算出した差分絶対値和Ｓが所定の閾値を超えることになる。そして、入力フレームｆ１（キーフレーム）について、ステップＳＴ７において、フレーム内の情報だけで符号化するフレーム内符号化が施される。具体的にはフレームｆ１の画素値に対してＤＣＴなどの直交変換を施し、その変換係数を量子化した量子化係数が算出される。
【００４０】
尚、実際には、フレームの圧縮率を高める観点から、上記フレーム内符号化（ステップＳＴ１ｂ，ＳＴ７）またはフレーム間符号化（ステップＳＴ６）を実行する前に、入力フレームに対して色空間変換が施される。例えば、原信号が「Ｒ（赤色成分）」，「Ｇ（緑色成分）」，「Ｂ（青色成分）」のＲＧＢ空間からなる場合は、これをＮＴＳＣ（National Television System Committee）方式などで採用されているＹＵＶ座標系、ＹＩＱ座標系、ＹＣｂＣｒ座標系などを使用すればよい。例えば、ＹＣｂＣｒ座標系を使用した場合、そのＲＧＢ成分は輝度信号Ｙと２つの色差信号Ｃｂ，ＣｒとからなるＹＣｂＣｒ成分の座標系へと変換される。ＹＣｂＣｒ成分はＲＧＢ成分よりも各成分間の相関が小さいため、画像サイズを圧縮できる。
【００４１】
かかるフレーム内／フレーム間符号化処理（ステップＳＴ３、即ち、図４の処理）の実行後、図３中のステップＳＴ１９に処理が移行する。この際、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数はハフマン符号化などを含むエントロピ符号化を施され、その後フレームの画像サイズや量子化ビット数などの画像情報や、量子化テーブルや各小ブロック領域の符号化方法（フレーム内符号化、フレーム間符号化）などの圧縮情報と共に多重化されて、ビットストリームとしてサーバ２に出力される。また、上記ステップＳＴ６，ＳＴ７（図４）で算出された量子化係数は、図３中のステップＳＴ８で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）がなされ、図３に示したキーフレームメモリ２０Ａに格納される。よって、キーフレームメモリ２０Ａには符号化（ＳＴ６，ＳＴ７）と局部復号化（ＳＴ８）を通じて、量子化誤差を含んで変化したキーフレームが格納される。これにより、そのキーフレームの画像は、後述する復号器７で復号化（フレーム間復号化）される際に参照されるキーフレームの画像と同一となり、復号化する動画像の画質を劣化させることが無くなる。以上で入力フレームｆ１（キーフレーム）に対する圧縮符号化処理が終了する。
【００４２】
次に、図２に示すように、上記フレームｆ１に続いてフレームｆ２が符号化器６に入力される。そうすると、図３中のステップＳＴ２でそのフレームｆ２がキーフレームか否かが条件判定される。図２において、フレームｆ２はキーフレームでは無い。したがって、図３においてはステップＳＴ９に処理が移行する。
【００４３】
ステップＳＴ９では、フレームｆ２は複数のブロック領域（ＧＯＢ）に分割される。ここで、ＧＯＢは、１フレームの画像において、例えば６ラインまたは３２ライン分の領域で構成されており、例えば６ラインの領域を１つのＧＯＢとした場合、６４０×４８０画素の画像だと、１フレームが３０（＝４８０／６）個のＧＯＢに分割される。
【００４４】
次いで、ステップＳＴ１０において、これらＧＯＢの中から単数または複数の特定領域（キーＧＯＢ）が指定される。
【００４５】
ここで、図６（ａ）に、４個のＧＯＢに分割されたフレームｆ２を模式的に示す。フレームｆ２は垂直方向に十数画素〜数十画素単位で４個のＧＯＢに分割されており、その第１段目ＧＯＢがキーＧＯＢ（「キーＧＯＢ１」）に指定される。尚、図２（ｂ）〜（ｄ）に示すようにフレームｆ２に続いて符号化器６に順次入力するフレームｆ３〜ｆ５も複数のＧＯＢに分割されることになる。ただし、それぞれのキーＧＯＢとしては、フレームｆ３の第２段目ＧＯＢ（「キーＧＯＢ２」）、フレームｆ４の第３段目ＧＯＢ（「キーＧＯＢ３」）、フレームｆ５の第４段目ＧＯＢ（「キーＧＯＢ４」）が指定される。これら、キーフレームｆ１及びキーＧＯＢ１〜キーＧＯＢ４を含む各フレームｆ２〜ｆ５は、図２に示すように、時間軸に沿って配列されることになる。
【００４６】
再びフレームｆ２の説明に戻る。この時点で、図３中のステップＳＴ１１に処理が移行し、以後、フレームｆ２はＧＯＢを更に８×８画素または６×６画素程度の基本処理単位に分割した小ブロック毎に順次処理されることになる。ただし、このステップＳＴ１１では、処理対象であるブロックがキーＧＯＢに属するか否かが条件判定される。当該ブロックがキーＧＯＢに属する場合、ステップＳＴ１２に進む。そして、当該ブロックが上記フレーム内符号化を施された後に、ステップＳＴ１９でエントロピ符号化され上記画像情報および上記圧縮情報と共に多重化されてビットストリームとなってサーバ２に出力される。またステップＳＴ１２でブロックをフレーム内符号化して出力される量子化係数は、ステップＳＴ３で局部復号化（逆量子化および逆ＤＣＴなどの逆直交変換）を施された後にキーブロックメモリ２１Ａに蓄積される。
【００４７】
このようにしてキーＧＯＢをフレーム内符号化する際には、各キーＧＯＢのデータの先頭に、キーＧＯＢであることを示すフラグを付与しておく。
【００４８】
他方、上記ステップＳＴ１１において、ブロックがキーＧＯＢに属しない場合はステップＳＴ１４のフレーム内／フレーム間符号化処理に処理が移行する。ここで、図５はフレーム内／フレーム間符号化処理のサブルーチンの処理手順を示すフローチャートである。この図５に示すように、まずステップＳＴ５で入力フレームの当該ブロックとキーフレームメモリ２０Ａに格納されたキーフレームとの差分値と、差分絶対値和Ｓとが算出される。次いで、ステップＳＴ６でその差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、その差分絶対値和Ｓが閾値以下の場合はステップＳＴ７に処理が移行し、当該ブロックはキーフレームメモリ２０Ａに格納したキーフレームを参照して上記フレーム間符号化を施される。他方、その差分絶対値和Ｓが閾値を超えている場合はステップＳＴ１８に処理が移行し、当該ブロックは上記フレーム内符号化を施される。
【００４９】
このように上記ステップＳＴ７，ＳＴ１８で符号化された量子化係数は、図３に示すステップＳＴ１９で可変長符号化（エントロピ符号化）と上記多重化処理を施されビットストリームとなってサーバ２に出力される。以上で入力フレームｆ２に対する圧縮符号化処理が終了する。
【００５０】
次に、図２において、上記フレームｆ２に続いて符号化器６に入力するフレームｆ３，ｆ４，…も、キーフレームが入力される迄はフレームｆ２の場合と同様に処理される。ただし、上述のように、各フレームｆ２，ｆ３，ｆ４，…におけるキーＧＯＢ（キーＧＯＢ１〜キーＧＯＢ４）の位置は互いに異なっている。このようにして、上記ステップＳＴ３で局部復号化されたキーＧＯＢ１〜キーＧＯＢ４がキーブロックメモリ２１Ａにフレーム１枚分蓄積され、図２に模式的に図示するように、キーＧＯＢ１〜キーＧＯＢ４は、キーブロックメモリ２１Ａ内において、参照フレームＡに合成される。この参照フレームＡは、後に入力するキーフレームを上記ステップＳＴ３のサブルーチンでフレーム間符号化する際に利用される。
【００５１】
そして、符号化器６で圧縮符号化された動画像（圧縮画像データ）は、サーバ２からネットワーク３を通じてＴＣＰ／ＩＰ等の所定のプロトコルでクライアント４ａ，４ｂ側へストリーミング配信される。
【００５２】
このように、上記ステップＳＴ３でキーブロックメモリ２１Ａに蓄積した参照フレームとの差分の大小によりフレーム内符号化とフレーム間符号化とを選択的に実行しており、また上記ステップＳＴ９，ＳＴ１０で入力フレームを複数のＧＯＢに分割してキーＧＯＢを指定し、時間軸に沿った複数のフレームにフレーム１枚分のキーＧＯＢを分散させ、これら各キーＧＯＢがフレーム内符号化される。このためフレーム内符号化処理量が時間的に分散されることとなり、圧縮符号化処理量の急激な増大が抑えられて符号化処理量が時間的に平坦化し、伝送先において動画像の再生速度が変化せず良質の動画像を圧縮伝送できる。特にインターネットなどの帯域幅が制限された伝送路において有効である。
【００５３】
またキーブロックメモリ２１Ａでは複数のフレームに分散された上記キーＧＯＢが蓄積され、これらキーＧＯＢからなる参照フレームＡが構成される。この参照フレームＡは異なる時刻のキーＧＯＢの集積体である。この実施の形態ではこの参照フレームＡとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行される。このため、異なる時刻のキーＧＯＢからなる参照フレームＡを用いることに起因するＧＯＢ間の画質の差が緩和され、良質の動画像を圧縮伝送することが可能となる。
【００５４】
＜復号化方法＞
次に、復号化方法を詳説する。図７は、この復号化方法を説明するための模式図、図８は、この復号化方法を実現するためのフローチャートである。
【００５５】
まず、図１０及び図１１に示した従来例と同様に、サーバ２側からネットワーク３を通じて与えられた圧縮画像データが、ビットストリームデータとしてクライアント機４に与えられ、復号器７に入力される（図８中のステップＳＴ２０）。その圧縮画像データはそのビットストリームから分離された後にステップＳＴ２１で復号化される。即ち、上記符号化器６から所定の復号器７に、図７に示したフレームｆ１，ｆ２，…の圧縮データが順次入力される。この際、図８中のステップＳＴ２１において、キーフレームｆ１の圧縮データに対して、図４のステップＳＴ４〜ＳＴ７に示した処理手順と同様にして、フレーム内符号化あるいはフレーム間符号化の復号化処理が、８×８画素や６×６画素程度の小ブロック単位で施される。ここで、図７中のキーフレームｆ１の圧縮データを復号化する際、予めキーブロックメモリ２１Ｂ（図８）に格納した参照フレームｆ０（図示省略）が利用される。ここで復号化したキーフレームｆ１は、キーフレームメモリ２０Ｂ（図８）に格納される。
【００５６】
また、図７において、キーフレームｆ１の圧縮データに続いて復号器７に入力するフレームｆ２，ｆ３，…の圧縮データに対して、図３中のステップＳＴ１２，ＳＴ１４〜ＳＴ１８におけるフレーム内符号化あるいはフレーム間符号化の復号化処理と同様の処理が上記小ブロック単位で施される。尚、フレーム間符号化の復号化処理を行う際は、キーフレームメモリ２０Ｂに格納したキーフレームｆ１が利用される。またフレームｆ２，ｆ３，…が復号化される際、基本処理単位である小ブロックがキーＧＯＢに属する場合は、当該小ブロックはキーブロックメモリ２１Ｂに蓄積される。フレーム１枚分のキーＧＯＢが蓄積されると、これらキーＧＯＢからなる参照フレームＡ（図２参照）が合成される。この合成された参照フレームＡは、復号器７に入力するキーフレームの圧縮データを復号化する際に利用される。例えば、図６（ａ）〜（ｄ）に示したフレームｆ２〜ｆ５の圧縮データを復号器７に入力する場合、各キーＧＯＢを構成するブロックの圧縮データは、フレーム内復号化を施された後に、キーブロックメモリ２１Ｂに順次蓄積され、参照フレームＡを再構成する。
【００５７】
ところで、このように、ステップＳＴ２１で復号化したフレーム群ｆ１，ｆ２，…をそのまま動画像として表示する場合、上記符号化器６でフレーム内符号化したＧＯＢとフレーム間符号化したＧＯＢとの間で動画像の画質の差が顕れやすく、特にフレーム内符号化したキーＧＯＢが動画像中に判然と観られる場合がある。このことを考慮して、この実施の形態では、図８に示すステップＳＴ２２において、上記ステップＳＴ２１で復号化したキーＧＯＢのみを再び符号化した後に復号化するキーＧＯＢ再量子化処理を実行する。
【００５８】
図９は、ステップＳＴ２２のキーＧＯＢ再量子化処理のサブルーチンの処理手順を示すフローチャートである。図９に示すように、先ず８×８画素または６×６画素程度の小ブロックが入力される（ステップＳＴ３０）。次にそのブロックはステップＳＴ３１でキーＧＯＢに属するか否かを条件判定される。具体的に、このステップＳＴ３１では、データの先頭にキーＧＯＢであることを示すフラグがあるか否かをもって、当該データがキーＧＯＢであるか否かを判断する。
【００５９】
ここで、当該ブロックがキーＧＯＢに属しない場合は、当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００６０】
他方、ステップＳＴ３１において、当該ブロックがキーＧＯＢに属すると判断された場合は、ステップＳＴ３２に処理が移行し、キーフレームメモリ２０Ｂに蓄積されたキーフレームと当該ブロックとの画素値の差分値と、その差分値の差分絶対値和Ｓとが算出される。
【００６１】
次いでステップＳＴ３３で、その差分絶対値和Ｓが閾値以下か否かの条件判定がなされ、差分絶対値和Ｓが閾値を超えた場合は当該ブロックは再量子化されず、キーＧＯＢ再量子化処理は終了し、図８に示すステップＳＴ２３に処理が移行する。
【００６２】
他方、上記ステップＳＴ３３で差分絶対値和Ｓが閾値以下であると判定された場合は、ステップＳＴ３４以後に処理が移行する。先ずステップＳＴ３４において、当該ブロックとキーフレームとの差分信号を変換符号化し、次いでステップＳＴ３５でその変換係数を量子化する。これらステップＳＴ３３〜ＳＴ３５の処理は、上記符号化器６で行った差分絶対値和Ｓによる符号化方法（フレーム間符号化、フレーム内符号化）の判定処理（ＳＴ６）や、ＤＣＴなどの直交変換および量子化処理（ＳＴ７）と同じものである。
【００６３】
その後、ステップＳＴ３６でその量子化係数を逆量子化し、次いでステップＳＴ３７で上記ステップＳＴ３４の変換符号化の復号化（逆ＤＣＴなどの逆直交変換）を実行する。この結果、上記ステップＳＴ３４〜ＳＴ３７の処理に伴い、上記符号化器６でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号器７でその符号化信号を復号化した時と同様に量子化誤差を含む不可逆の差分信号が得られる。
【００６４】
次に、ステップＳＴ３８でキーフレームメモリ２０Ｂに格納したキーフレームを用いてその差分信号からブロックが再構成され出力される。
【００６５】
このキーＧＯＢ再量子化処理を施されたブロックは、図８に示すステップＳＴ２３においてフレーム（復号化画像）に合成された後に出力される。
【００６６】
以上のキーＧＯＢ再量子化工程を図６に示したフレームｆ２〜ｆ５を例に挙げて説明すると、図７に模式的に示すように、上記ステップＳＴ２１で復号化されたフレームｆ２〜ｆ５のキーＧＯＢは、キーフレームメモリ２０Ｂに格納したキーフレームとの差分をとられる。
【００６７】
次に、上記ステップＳＴ３２でその差分値の差分絶対値和Ｓが閾値以下か否か、即ちフレーム間符号化するか否かの判定がなされ、差分絶対値和Ｓが閾値以下の場合はキーＧＯＢに対してフレーム間符号化（変換符号化および量子化）が施され、次いでそのフレーム間符号化の復号化（逆量子化および逆変換復号化）が施されることで、上記フレームｆ２〜ｆ５に対応する復号化画像Ｆ１〜Ｆ５が生成される。
【００６８】
このようにして、圧縮符号化処理（ＳＴ５〜ＳＴ７）と同様の手順で、キーＧＯＢとキーフレームとの差が小ならば当該キーＧＯＢとキーフレームとの差分信号に対して圧縮符号化を施した後に、その復号化を施しキーＧＯＢを再構成するから、上記符号化器６でキーＧＯＢ以外のブロック領域をフレーム間符号化した後に復号器７でその符号化信号を復号化した場合と同様に、キーＧＯＢにフレーム間符号化及びその復号化に伴う誤差が混入される。よって、復号化した動画像を表示する際にキーＧＯＢが動画像中で目立つことが無く、その動画像を観る人に違和感を与えることが無いという効果が得られる。
【００６９】
そして、最初のフレームとしてのＩピクチャ１１ａを配信するだけでなく、各クライアント４ａ，４ｂからの新規配信の要求がある度に、その直後に改めて独立したＩピクチャ１１ｂ，１１ｃ，１１ｄを強制的に生成して送信し、このＩピクチャ１１ｂ，１１ｃ，１１ｄを基にフレーム間符号化されたＧＯＢを含むＰピクチャ１２ｂ，１２ｃ，１２ｄを後続して配信するので、後から新規配信の要求を行ったクライアント４ａ，４ｂに対して速やかにＩピクチャ１１ｂ，１１ｃ，１１ｄを送信でき、各クライアント４ａ，４ｂは、このＩピクチャ１１ｂ，１１ｃ，１１ｄを表示するなどした後、後続するＰピクチャ１２ｂ，１２ｃ，１２ｄを速やかに復号化できるため、各クライアント４ａ，４ｂの動画像再生の待ち時間が低減する。特に、符号化器６で圧縮符号化の対象となる動画像が、監視映像のコマ落とし映像のように、既に時系列的に間引かれた情報のような場合に、実時間的にはＩピクチャの出現周期が撮像時の実時間として３０秒と長いような場合に、クライアント４ａ，４ｂ側での待ち時間の短縮化を行うことで、監視の見落としのような重大な事態を回避できるという利点がある。
【００７０】
また、キーフレーム以外のフレームを配信する際には、一部のブロック（キーＧＯＢ）のみをフレーム内符号化することになるため、フレーム間符号化したデータのみを配信する第１従来技術に係る差分符号化方式に比べてデータサイズが若干増大するものの、キーフレームの送信時には、時系列差分データを送信するだけでよく、キーフレーム全体につきフレーム内符号化したデータを送信していた第１従来技術に係る差分符号化方式に比べて、キーフレームの送信データ量を大幅に削減できる。したがって、ストリーミングデータの配信において、第１従来技術で最も問題となっていたキーフレームの符号化処理量の急激な増大を抑制することができ、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にすることが可能となる。また、全てのフレームをフレーム内符号化していた第２従来技術に比べて、データ量を大幅に低減できるという利点がある。
【００７１】
尚、上記実施の形態では、クライアント４ａ，４ｂ側において、ストリーミング配信されてきた動画像をモニタ装置５に表示する例を説明したが、これに代えてまたはこれに加えて、クライアント４ａ，４ｂ側において、動画像を所定の記録装置に蓄積的に記録するようしても差し支えない。
【００７２】
【発明の効果】
請求項１ないし請求項６に記載の発明によれば、送信局において、動画像を、フレーム内符号化情報のみからなるフレーム内符号化データ（Ｉピクチャ）とフレーム間符号化情報を含むフレーム間符号化データ（Ｐピクチャ）とを、一定の規則に基づいて時間軸に沿って混在させて圧縮符号化し、複数の受信局にストリーミング配信する場合に、一の受信局へのストリーミング配信途中に、他の受信局からの新規配信の要求があると、その直後に送信局がフレーム内符号化データ（Ｉピクチャ）を生成して各送信局にストリーミング配信するので、特に後から新規配信の要求をした受信局にとっては、要求を発した直後に独立したフレーム内符号化データ（Ｉピクチャ）を入手し、これを即座に復号化できる。したがって、各受信局での待ち時間が少なくなる。
【００７３】
また、請求項１ないし請求項６に記載の発明によれば、キーフレームに対する圧縮符号化において、参照フレームとキーフレームとの差分の大小によりフレーム内符号化とフレーム間符号化とが選択的に実行されることになるので、全てのキーフレームをフレーム内符号化する場合に比べて、キーフレームの送信データ量を大幅に削減できる。したがって、ストリーミングデータの配信において、フレーム内符号化データ以外のキーフレームの符号化処理量の急激な増大を抑制することができ、その符号化処理量を時間的に平坦化し且つ動画像の画質を良好にすることが可能となる。
【図面の簡単な説明】
【図１】この発明の一の実施の形態におけるＩピクチャの出現タイミングを示す図である。
【図２】この発明の一の実施の形態に係る圧縮符号化方法を説明するための模式図である。
【図３】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図４】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図５】この発明の一の実施の形態に係る圧縮符号化方法を実現するフローチャートである。
【図６】４つのブロック領域に分割された各フレームを示す説明図である。
【図７】この発明の一の実施の形態に係る復号化方法を説明するための模式図である。
【図８】この発明の一の実施の形態に係る復号化方法を実現するフローチャートである。
【図９】再量子化処理を説明するためのフローチャートである。
【図１０】従来の動画像配信システムの概要を示す概念図である。
【図１１】従来の動画像配信システムを示すブロック図である。
【図１２】従来の符号化方法を説明するためのフローチャートである。
【図１３】従来の符号化方法を説明するためのフローチャートである。
【図１４】従来の符号化方法におけるＩピクチャの出現タイミングを示す図である。
【符号の説明】
１  撮像カメラ
２  サーバ
３  ネットワーク
４ａ，４ｂ  クライアント
５  モニタ装置
６  符号化器
７  復号器
１１ａ〜１１ｄ  Ｉピクチャ
１２ａ〜１２ｄ  Ｐピクチャ
【図１】
0004721028.tif 000002
【図２】
0004721028.tif 000003
【図３】
0004721028.tif 000004
【図４】
0004721028.tif 000005
【図５】
0004721028.tif 000006
【図６】
0004721028.tif 000007
【図７】
0004721028.tif 000008
【図８】
0004721028.tif 000009
【図９】
0004721028.tif 000010
【図１０】
0004721028.tif 000011
【図１１】
0004721028.tif 000012
【図１２】
0004721028.tif 000013
【図１３】
0004721028.tif 000014
【図１４】
0004721028.tif 000015