(57)【特許請求の範囲】
【請求項１】
動画像信号を符号化するための動画像符号化装置において、
符号化する動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出するための画像切り替え検出手段と、
動画像信号を符号化して動画像符号化データを生成するための動画像符号化手段と、
差分０のＢピクチャの符号化データを生成するための差分０符号化データ生成手段と、
前記動画像符号化手段から出力される符号化データと前記差分０符号化データ生成手段から出力される符号化データを選択するための符号化データ選択手段と、
を備え、
前記符号化データ選択手段は、符号化する動画像信号が直後のフレームの画像と同一である場合には、前記差分０符号化データ生成手段から出力される差分０の逆方向予測のＢピクチャ符号化データを選択し、符号化する動画像信号が直後のフレームの画像と異なる場合には、前記動画像符号化手段から出力される符号化データを選択することを特徴とする動画像符号化装置。
【請求項２】
ＧＯＰを構成するピクチャ数の上限を設定し、入力される動画像信号のスロー再生速度に応じて、ＧＯＰを構成するピクチャ数を設定した上限値以下で可変とすることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
動画像信号を符号化するための動画像符号化装置において、
符号化する動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出するための画像切り替え検出手段と、
動画像信号を符号化して動画像符号化データを生成するための動画像符号化手段と、
差分０のＢおよびＰピクチャの符号化データを生成するための差分０符号化データ生成手段と、
前記動画像符号化手段から出力される符号化データと前記差分０符号化データ生成手段から出力される符号化データを選択するための符号化データ選択手段と、
を備え、
前記符号化データ選択手段は、符号化する動画像信号が直前または直後のフレームの画像と同一で、ＢピクチャまたはＰピクチャとして符号化する場合には、前記差分０符号化データ生成手段から出力される差分０の逆方向予測のＢピクチャ符号化データ、差分０の順方向予測のＢピクチャ符号化データ、差分０の順方向予測のＰピクチャ符号化データのうちのいずれかを選択し、符号化する動画像信号が直後のフレームの画像と異なる場合には、前記動画像符号化手段から出力される符号化データを選択することを特徴とする動画像符号化装置。
【請求項４】
前記画像切り替え検出手段は、前記動画像符号化手段で符号化するためのバッファメモリに蓄積した動画像信号と、入力される動画像信号とを比較することにより、直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とする請求項１または３記載の動画像符号化装置。
【請求項５】
前記画像切り替え検出手段は、外部から供給される動画像信号の切り替え情報を参照して、入力される動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とする請求項１または３記載の動画像符号化装置。
【請求項６】
動画像信号を符号化した符号化データを記録再生するための動画像記録再生装置において、
請求項１または３記載の動画像符号化装置と、
動画像符号化データを記録再生するための記録メディアと、符号化データを復号するための動画像復号化手段とを備え、
前記記録メディアに記録された信号のスロー再生あるいはスチル再生を行う場合に、前記動画像復号化手段により、復号した動画像信号が直前または直後のフレームの動画像信号と同一であるか否かの切り替え情報を生成し、前記動画像符号化装置内の画像切り替え検出手段により、前記切り替え情報を参照して直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とする動画像記録再生装置。
【請求項７】
動画像信号を符号化した符号化データを記録再生するための動画像記録再生装置において、
請求項１または３記載の動画像符号化装置と、
動画像符号化データを記録再生するための記録メディアと、
外部機器から供給される動画像符号化データを復号するための動画像復号化手段とを備え、
外部機器がスロー再生あるいはスチル再生を行う場合に、前記動画像復号化手段により、前記動画像符号化データに付加された画面切り替え情報に基づいて復号した動画像信号が直前または直後のフレームの動画像信号と同一であるか否かの切り替え情報を生成し、前記動画像符号化装置内の画像切り替え検出手段により、前記切り替え情報を参照して直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とする動画像記録再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スロー再生のように、連続した同一画像の再生を一部に含む動画像信号を符号化する機能を有する動画像符号化装置およびこれを用いた動画像記録再生装置に関する。
【０００２】
【従来の技術】
近年、よく知られたＭＰＥＧ等の動画像圧縮技術を用いて、動画像信号に対して符号化処理を行い、磁気記録テープ、ハードディスク、ＤＶＤ−ＲＡＭ等の記録媒体に動画像符号化データを記録するシステムや、記録媒体に記録されている動画像符号化データに対して復号化処理を行い、動画像信号として再生するシステムが開発されている。
【０００３】
このようなシステムにおいて、記録媒体に記録された動画像符号化データを再生し、他の機器へ伝送する機能を備えた装置も開発されているが、このような機器同士の接続においては、送信機器側において、受信機器側で扱うことができる動画像符号化データ形式に変換して送出する必要があり、サーチやスローなどのトリックプレイ状態を行う場合には工夫を要する。
【０００４】
例えば、ＤＶＤへＭＰＥＧプログラムストリーム（以下、ＭＰＥＧ＿ＰＳと記す）形式で記録された信号を、ＭＰＥＧトランスポートストリーム（以下、ＭＰＥＧ＿ＴＳと記す）形式に変換して、ＩＥＥＥ１３９４経由でセットトップボックス（以下、ＳＴＢと記す）へ送信するシステムにおいて、ノーマル再生であれば、トランスコーディングと呼ばれる技術を用いて、符号化したままの状態でＭＰＥＧ＿ＰＳ形式からＭＰＥＧ＿ＴＳ形式に変換することは比較的容易である。しかしながら、スロー再生時などは、特別な仕組みを持たないＳＴＢの復号化器で復号できる形式のＭＰＥＧ＿ＴＳ形式に変換することは困難である。
【０００５】
したがって、あらゆる再生モードに対応できるように、一旦、復号化した動画像をＭＰＥＧ＿ＴＳ形式に符号化できる動画像符号化装置を追加することが容易な解決方法となるが、ＭＰＥＧの動画像符号化装置には、大規模な回路を必要とする動き補償予測符号化回路が実装されているため、大幅なコスト増を招いてしまうという問題があった。
このような問題を解決する方法の一例として、符号化データを復号化した動画像信号に対して再符号化を行う動画像再符号化装置において、復号化前の動画像圧縮データに含まれる符号化パラメータを用いて符号化することにより、動き補償予測に必要な動きベクトル検出回路を省略しながらも、高画質な再符号化を実現可能とした動画像再符号化装置が、特開２０００−２４４９２９号公報に開示されている。
【０００６】
ここで、特開２０００−２４４９２９号公報に開示されている技術を、図８〜図１０を用いて具体的に説明する。
図８は、動画像再符号化装置を含むシステムの構成を示すブロック図、図９は、動画像再符号化装置内のビデオエンコーダの構成例を示すブロック図、図１０は、動画像再符号化装置の動作タイミング例を示す模式図である。
【０００７】
図８において、１１０はデータ分離部、１１１は音声データバッファメモリ、１１２は動画像データバッファメモリ、１１３は副映像データバッファメモリ、１１４はナビゲーションデータバッファメモリ、１１５はオーディオデコーダ、１１６はビデオデコーダ、１１７は副映像デコーダ、１１８は映像オーバレイ処理部、１１９は加算部、１２０はＧＵＩ画像信号発生部、１２１はオーディオエンコーダ、１２２はビデオエンコーダ、１２３はフレームメモリ、１２４は再符号化部音声データバッファメモリ、１２５は再符号化部動画像データバッファメモリ、１２６は多重化部、１２７はＩＥＥＥ１３９４インターフェース、１２８は再符号化部、１２９は音声信号用Ｄ／Ａ変換器、１３０は映像信号用Ｄ／Ａ変換器、１３１はデータメモリ、１５０は光ディスク装置である。
【０００８】
図９において、１７０は動き補償部、１７２は動き補償モードおよびＤＣＴタイプ決定部、１７３はレート制御部、１７４はＤＣＴ処理部、１７５は量子化部、１７６は逆量子化部、１７７は逆ＤＣＴ処理部、１７８は可変長符号化部である。
【０００９】
図１０において、（ａ）は動画像符号化データの復号化タイミング、（ｂ）はビデオデコーダ１１６による１／３倍速のスロー再生時の復号化タイミング、（ｃ）は１／３倍速のスロー再生として復号化された動画像信号、（ｄ）は動画像再符号化処理タイミング、（ｅ）は再復号化信号である。
【００１０】
上述した構成からなる動画像再符号化装置を含むシステムの動作について簡単に説明する。
光ディスク装置１５０は例えばＤＶＤ規格のものであり、音声データ、符号化された動画像データ、副映像データ、ナビゲーションデータ等が多重化されて記録されている。
この光ディスク装置１５０から再生される信号は、データ分離部１１０に入力され、音声データ１５１、動画像データ１５２、副映像データ１５３、ナビゲーションデータ１５４の各データヘと分離される。分離された各データ１５１、１５２、１５３、１５４は、バッファメモリ１１１、１１２、１１３、１１４をそれぞれ経由して、オーディオデコーダ１１５、ビデオデコーダ１１６、副映像デコーダ１１７により復号化される。
【００１１】
ビデオデコーダ１１６により動画像データを復号化して得られた動画像信号１５６に対して、副映像デコーダ１１７により副映像データを復号化して得られた副映像信号１５７と、再生装置がＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画像信号発生部１２０によりユーザのオペレーション１６０に対応して独自に発生させるＧＵＩ画像信号１５９とが、加算部１１９を介して映像オーバレイ処理部（ＯＳＤ）１１８によってオーバレイ（合成）処理される。
【００１２】
そして、オーディオデコーダ１１５で音声データを復号化して得られた音声信号１５５と、映像オーバレイ処理部１１８でオーバレイ処理された動画像信号１５８は、それぞれＤ／Ａ変換器１２９、１３０によりアナログ信号１６１、１６２に変換されて外部へ出力される。さらに、これらの音声信号１５５とオーバレイ処理後の動画像信号１５８は、それぞれオーディオエンコーダ１２１、ビデオエンコーダ１２２により再符号化される。この再符号化により得られた音声データおよび動画像データは、それぞれバッファメモリ１２４、１２５を経由して、多重化部１２６によりトランスポートストリームに多重化され、さらにＩＥＥＥ１３９４インターフェース１２７からディジタル出力される。
【００１３】
また、ビデオデコーダ１１６からは、復号化と同時にマクロブロック毎の動きベクトル、符号化モード、量子化ステップ等の復号化前の動画像データ１５２に含まれる符号化パラメータ１６４が抽出され、この符号化パラメータ１６４はデータメモリ１３１に一時記憶される。ビデオエンコーダ１２２には、データメモリ１３１に一時記憶された符号化パラメータデータから、再符号化を行う画像フレームおよびマクロブロックに対応する符号化パラメータが読み出され、外部から与えられる既定の動きベクトル情報１６５とともに入力される。
【００１４】
図９に、動画像再符号化装置内のビデオエンコーダ１２２の構成例を示す。なお、図９において、図８に示す構成要素と同一の部分には、同一の符号を付している。
ビデオエンコーダ１２２は、ＭＰＥＧ２等に代表される動き補償予測直交変換符号化方式に基づいており、図９に示すように、動き補償部１７０、動き補償モード（符号化モード）およびＤＣＴタイプ決定部１７２、ＤＣＴ処理部１７４、量子化部１７５、逆量子化部１７６、逆ＤＣＴ処理部１７７、フレームメモリ１２３、レート制御部１７３、可変長符号化部１７８から構成される。
【００１５】
このビデオエンコーダ１２２は、通常のＭＰＥＧ２エンコーダ等の動画像符号化装置で必要な動きベクトル検出回路が無いことが特徴となっている。通常の動画像符号化装置では、マクロブロック毎に動きベクトルを検出するために、膨大なブロックマッチング演算を必要とする。一般に、動きベクトル検出回路が符号化装置全体に占めるハードウェアリソースは非常に高い比率を占めるが、ビデオエンコーダ１２２では、このようなハードウェア規模の大きい動きベクトル検出部が不要である。すなわち、この動画像再符号化装置では、復号化前の動画像データ１５２から抽出した符号化パラメータ１６４の動きベクトル情報と、外部から与えられる既定の動きベクトル情報１６５との両者を用いて動き補償を行う。
【００１６】
次に、動き補償モードおよびＤＣＴタイプ決定部１７２により、それぞれの動き補償による予測誤差信号のパワーまたは大きさと、符号化対象画像信号のパワーまたは大きさから、符号化パラメータ１６４の動きベクトル情報あるいは動きベクトル情報１６５のいずれを用いるか、あるいはイントラ符号化を行うかをマクロブロック毎に決定する。
次に、復号化前の動画像データ１５２から抽出した符号化パラメータ１６４の動きベクトル情報による予測符号化が選択されたマクロブロックについては、後述するＤＣＴタイプを復号化前の動画像データ１５２から抽出したＤＣＴタイプと一致させ、また、それ以外の場合は、最適なＤＣＴタイプの検出を行う。
【００１７】
レート制御部１７３では、量子化部１７５で使用するマクロブロック毎の量子化ステップの決定を行う。すなわち、まず復号化前の動画像データ１５２から抽出した符号化パラメータ１６４の動きベクトル情報による予測符号化が選択されたマクロブロックについては、出力ビットレートの制約を受けない場合は、動画像データ１６２から柚出した量子化ステップをそのまま利用し、出力ビットレートの制約を受ける場合は、所望のビットレートとなるように、発生符号量１８０を参照して量子化ステップを決定する。また、外部からの既定の動きベクトル情報１６５が選択されたマクロブロック、あるいはイントラ符号化が選択されたマクロブロックについて、出力ビットレートの制約を受けない場合は、動画像データ１５２から抽出した量子化ステップ、または予め定められた所定の量子化ステップを用い、出力ビットレートの制約を受ける場合は、所望のビットレートとなるように、発生符号量１８０を参照して量子化ステップを決定する。
【００１８】
以上のように構成された動画像再符号化装置において、ビデオデコーダ１１６に入力される動画像符号化データに対してスロー再生処理を行って復号化する方法と、前記スロー再生処理を行った復号化データに対する再符号化手順について詳細に説明する。なお、説明の都合上、スロー再生速度を１／３としてある。
【００１９】
ここで、ＭＰＥＧ方式の符号化、復号化方法の特徴について簡単に説明する。ＭＰＥＧ方式の符号化は、動き補償予測、ＤＣＴ処理および量子化処理からなり、時間軸の予測方向によって、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの３種類に分類され、１枚のＩピクチャと０枚以上のＰピクチャおよびＢピクチャからなるＧＯＰ構造に基づいて行われる。Ｉピクチャはフレーム内符号化画像、Ｐピクチャは時間的に先のＩピクチャまたはＰピクチャから予測されるフレーム間予測符号化画像、Ｂピクチャは時間的に後ろおよび先のＩピクチャおよびＰピクチャ、またはその一方から予測されるフレーム間予測符号化画像である。このため、Ｐピクチャを復号するためには予測の元になるＩピクチャが、Ｂピクチャを再生するためには予測の元になるＩピクチャおよびＰピクチャが必要となる。
【００２０】
図１０において、Ｉ、Ｂ、Ｐはそれぞれのピクチャの種類、その後ろについている数字は表示順序を示しており、例えばＩ２ピクチャはフレーム内符号化画像、Ｐ５ピクチャはＩ２ピクチャから予測されるフレーム間予測符号化画像、Ｂ０ピクチャ、Ｂ１ピクチャはＩ２ピクチャから予測されるフレーム間予測符号化画像、Ｂ３ピクチャ、Ｂ４ピクチャはＩ２ピクチャとＰ５ピクチャから予測されるフレーム間予測符号化画像である。したがって、Ｐ５ピクチャの復号にはＩ２ピクチャが必要であり、Ｂ０ピクチャとＢ１ピクチャの復号にはＩ２ピクチャが必要であり、Ｂ３ピクチャとＢ４ピクチャの復号にはＩ２ピクチャとＰ６ピクチャが必要である。
【００２１】
上述した復号化方法に沿って復号化を行った場合、一般的なＭＰＥＧの動画像の復号化タイミングは、図１０（ａ）に示すようになる。Ｂ０ピクチャ、Ｂ１ピクチャはＩ２ピクチャの処理が行われるまで参照できず、Ｂ３ピクチャ、Ｂ４ピクチャはＩ２ピクチャとＰ５ピクチャの処理が行われるまで参照できないからである。１／３倍速のスロー再生を行う場合、同一フレームのデータを３回ずつ繰り返して表示すればよいが、図１０（ｂ）に示すように、３フレーム間隔でＭＰＥＧデータを受け取っても、特別な仕掛けを持たないＭＰＥＧデコーダを備えた装置では上手く表示することができない。
【００２２】
そこで、符号化された動画像データにスロー再生処理を行って復号化を行う場合には、フレーム周期の整数倍のタイミングで複合化を行い（１／３倍速のスロー再生を実現する場合では３倍）、復号化をしていない時には同一の表示フレームを繰り返し表示することでスロー再生が実現され、復号化された動画像信号は、図１０（ｃ）に示すようになる。なお、図１０（ｃ）において、数字のみを付した部分が、同じ数字を付したＩ、Ｐ、Ｂピクチャと同一フレームのデータを繰り返し表示している部分である。
【００２３】
一方、１／３倍速のスロー再生として、復号化された動画像信号である図１０（ｃ）に示す信号に対して再符号化を行った場合、再符号化出力は符号化手順とフレーム間予測の構造を考慮して、間１０（ｄ）に示すようなタイミングで再符号化処理が行われる。符号化データを復号化した時に抽出した符号化パラメータを使用して再符号化を行うため、Ｂ０ピクチャ、Ｂ１ピクチャはＩ２ピクチャの処理が行われるまで処理できないからである。
【００２４】
ここで、Ｂ０ピクチャ、Ｂ１ピクチャのフレームは、同一の動画像フレームを繰り返しＢピクチャとして再符号化しており、またＰ２’ピクチャはＩ２ピクチャと同一の動画像フレームをＰピクチャとして再符号化したもので、そのとき参照画像と予測画像が一致するため、ゼロベクトルの動き補償予測符号化を行うことにより、予測誤差信号は常にゼロとなり符号化効率の非常に高い符号化を行うことができるとされている。
【００２５】
【発明が解決しようとする課題】
しかしながら、上述した従来の技術で示した方法では、Ｉピクチャと同一の同画像フレームをゼロベクトルを用いた動き補償予測符号化を用いてＰ’ピクチャとして再符号化する場合、Ｐ’ピクチャの差分は、既に再復号化されたＩピクチャの動画像信号と、動画像信号であるＰピクチャ（つまり再符号化前のＩピクチャ）との差分として求められるため、ゼロベクトルを用いた動き補償予測符号化を行っても、図９に示すＤＣＴ処理部１７４、量子化部１７５による処理を行うために、誤差が生じる可能性があり、差分は常に０にはならない。よって、再復号化されたＰ’ピクチャと再復号化されたＩピクチャとは同一画像にならず、再復号化された動画像信号は、図１０（ｅ）に示すようになる。
【００２６】
また、動画像データの復号化をフレーム周期の整数倍のタイミングで行い（１／３倍速のスロー再生を実現する場合では３倍）、復号化していないときは同一の表示フレームを繰り返し表示しているため、再符号化時のＧＯＰを構成するピクチャ数がフレーム周期の整数倍だけ（１／３倍速のスロー再生に対しての再符号化である場合には３倍）増加することになる。
【００２７】
この場合、再符号化した動画像圧縮データをＩＥＥＥ１３９４経由で出力し、受信側で復号して表示するだけならば問題ないが、再符号化した動画像圧縮データをランダムアクセス可能なメディアに記録する場合には、以下の問題が生じる。
すなわち、再符号化した動画像圧縮データに対して、ＧＯＰの途中から再生するといったランダムアクセスを行った場合に、Ｂ、Ｐピクチャの復号を行うために必要なＩピクチャ、Ｐピクチャの復号処理が、Ｐ２’ピクチャ、Ｐ５’ピクチャの分だけ増えてしまい、逆方向再生や逆方向スロー再生などではより顕著になるという問題が生じる。また、ＧＯＰ単位のつなぎ編集作業を行う場合に、１つのＧＯＰで構成される時間が長くなるため、自由度が低下するという問題が生じる。
【００２８】
また、上述した従来の技術における再符号化方法は、符号化データを復号化した時に抽出した符号化パタメータを使用することが前提であるため、ＤＶ方式などのＭＰＥＧ以外の動画像符号化データの場合には適応できないといった問題があった。
【００２９】
このように、上述した従来の技術では、低コストで動画像再符号化装置を追加することが可能である反面、種々の問題点があった。一方、市販されているＭＰＥＧデータ再生装置には、外部からのアナログ入力信号をＭＰＥＧ符号化して記録する回路を備えた装置もあり、このような装置においては、再符号化のためだけに、動画像符号化装置を追加する必要はないため、動き補償予測に必要な動きベクトル検出回路を実装した符号化装置を備えることができる。
【００３０】
本発明は、上述した事情に鑑み提案されたもので、動き補償予測に必要な動きベクトル検出回路を実装した符号化装置を用いることを前提とし、連続した同一画像フレームの処理に対する符号化手段において、動画像符号化データを復号化した場合であって画像の同一画像表示を維持できるように符号化し、画像の切り替わりに応じてＧＯＰ構成を制御することにより、ランダムアクセスの再生時に画面を表示するまでのピクチャ処理枚数の増加を防ぐとともに、つなぎ編集時の自由度を高め、さらに、ＭＰＥＧ以外の圧縮形態に対しても同様の符号化を行うことが可能な動画像符号化装置およびこれを用いた動画像記録再生装置を提供することを目的とする。
【００３１】
【課題を解決するための手段】
本発明に係る動画像符号化装置は、動画像信号を符号化するための動画像符号化装置において、符号化する動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出するための画像切り替え検出手段と、動画像信号を符号化して動画像符号化データを生成するための動画像符号化手段と、差分０のＢピクチャの符号化データを生成するための差分０符号化データ生成手段と、前記動画像符号化手段から出力される符号化データと前記差分０符号化データ生成手段から出力される符号化データを選択するための符号化データ選択手段と、を備え、前記符号化データ選択手段は、符号化する動画像信号が直後のフレームの画像と同一である場合には、前記差分０符号化データ生成手段から出力される差分０の逆方向予測のＢピクチャ符号化データを選択し、符号化する動画像信号が直後のフレームの画像と異なる場合には、前記動画像符号化手段から出力される符号化データを選択することを特徴とするものである。
【００３３】
また、本発明に係る動画像符号化装置は、ＧＯＰを構成するピクチャ数の上限を設定し、入力される動画像信号のスロー再生速度に応じて、ＧＯＰを構成するピクチャ数を設定した上限値以下で可変とすることを特徴とするものである。
【００３４】
また、本発明に係る動画像符号化装置は、動画像信号を符号化するための動画像符号化装置において、符号化する動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出するための画像切り替え検出手段と、動画像信号を符号化して動画像符号化データを生成するための動画像符号化手段と、差分０のＢおよびＰピクチャの符号化データを生成するための差分０符号化データ生成手段と、前記動画像符号化手段から出力される符号化データと前記差分０符号化データ生成手段から出力される符号化データを選択するための符号化データ選択手段とを備え、
前記符号化データ選択手段は、前記画像切り替え検出手段で検出された情報に基づいて、前記動画像符号化手段から出力される符号化データと前記差分０符号化データ生成手段から出力される符号化データのいずれか一方を選択することを特徴とするものである。
【００３５】
また、本発明に係る動画像符号化装置は、動画像信号を符号化するための動画像符号化装置において、符号化する動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出するための画像切り替え検出手段と、動画像信号を符号化して動画像符号化データを生成するための動画像符号化手段と、差分０のＢおよびＰピクチャの符号化データを生成するための差分０符号化データ生成手段と、前記動画像符号化手段から出力される符号化データと前記差分０符号化データ生成手段から出力される符号化データを選択するための符号化データ選択手段とを備え、前記符号化データ選択手段は、符号化する動画像信号が直前または直後のフレームの画像と同一で、ＢピクチャまたはＰピクチャとして符号化する場合には、前記差分０符号化データ生成手段から出力される差分０の逆方向予測のＢピクチャ符号化データ、差分０の順方向予測のＢピクチャ符号化データ、差分０の順方向予測のＰピクチャ符号化データのうちのいずれかを選択し、符号化する動画像信号が直後のフレームの画像と異なる場合には、前記動画像符号化手段から出力される符号化データを選択することを特徴とするものである。
【００３７】
また、本発明に係る動画像符号化装置は、前記画像切り替え検出手段が、外部から供給される動画像信号の切り替え情報を参照して、入力される動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とするものである。
【００３８】
また、本発明に係る動画像記録再生装置は、動画像信号を符号化した符号化データを記録再生するための動画像記録再生装置において、
前記動画像符号化装置と、動画像符号化データを記録再生するための記録メディアと、符号化データを復号するための動画像復号化手段とを備え、
前記記録メディアに記録された信号のスロー再生あるいはスチル再生を行う場合に、前記動画像復号化手段により、復号した動画像信号が直前または直後のフレームの動画像信号と同一であるか否かの切り替え情報を生成し、前記動画像符号化装置内の画像切り替え検出手段により、前記切り替え情報を参照して直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とするものである。
【００３９】
また、本発明に係る動画像記録再生装置は、動画像信号を符号化した符号化データを記録再生するための動画像記録再生装置において、
前記動画像符号化装置と、動画像符号化データを記録再生するための記録メディアと、外部機器から供給される動画像符号化データを復号するための動画像復号化手段とを備え、
外部機器がスロー再生あるいはスチル再生を行う場合に、前記動画像復号化手段により、前記動画像符号化データに付加された画面切り替え情報に基づいて復号した動画像信号が直前または直後のフレームの動画像信号と同一であるか否かの切り替え情報を生成し、前記動画像符号化装置内の画像切り替え検出手段により、前記切り替え情報を参照して直前または直後のフレームの動画像信号と同一であるか否かを検出することを特徴とするものである。
【００４０】
以上のような構成とすることにより、スロー再生などの同一の動画像フレームが続いた画像を処理する際に、差分０の逆方向予測のＢピクチャ符号化データ、または、差分０の順方向予測のＢピクチャ符号化データ、または、差分０の順方向予測のＰピクチャ符号化データを選択して使用して、動画像圧縮データを復号化した場合であっても同一画像表示を実現することができる。さらに、ＧＯＰ構成をユーザの意図に応じて制御することにより、ランダムアクセスの再生時に画面を表示するまでのピクチャ処理枚数の増加を防ぐことができるとともに、つなぎ編集時の自由度を高めることができる。
また、ＭＰＥＧ以外の圧縮方式に対しても、同様の符号化方法を適用することができる。
なお、ＧＯＰとは、Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓを意味する。
【００４１】
【発明の実施の形態】
以下、図面を参照して、本発明に係る動画像符号化装置の実施形態を説明する。
【００４２】
＜動画像符号化装置＞
図１〜図５は、本発明の実施形態に係る動画像符号化装置を示すもので、図１は、動画像符号化装置を含むシステム構成を示すブロック図、図２は、１／３倍速スロー再生に対する動画像符号化動作タイミング例を示す模式図、図３は、１／５倍速スロー再生に対する動画像符号化動作タイミング例を示す模式図、図４は、ノーマル再生から１／３倍速スロー再生に移行する部分を含む動画像信号に対する動画像符号化動作タイミング例を示す模式図、図５は、１／３倍速スロー再生からノーマル再生に移行する部分を含む動画像信号に対する動画像符号化動作タイミング例を示す模式図である。
【００４３】
図１において、１は動画像信号入力端子、２は動画像信号の記憶バッファ、３は画面切り替え検出回路、４は差分０のＢおよびＰピクチャ符号化データ生成部、５は符号化制御部、６はＤＣＴ処理部、７は量子化部、８、９は参照用の画像を格納するための予測メモリ「１」および「２」、１０はＢピクチャの内挿的フレーム間予測符号化のための平均化回路、１１は逆量子化部、１２は逆ＤＣＴ処理部、１３は動画像データ出力端子である。
【００４４】
図２〜図５において、各図の（ａ）は、入力される動画像信号、各図の（ｂ）は、符号化を行った場合の符号化順の符号化データ、各図の（ｃ）は、符号化を行った場合の復号化時の表示順の符号化データである。また、各図の（ａ）における「０」、「１」、「２」等の数字は、画像が切り替わる度に更新される番号である。すなわち、各図の（ａ）において、同じ番号がついている場合には、同一画像であることを示す。また、各図の（ｂ）、（ｃ）におけるＩ０、Ｐ１、Ｂ２などは、符号化時のピクチャの種類、すなわち、Ｉピクチャ、Ｐピクチャ、Ｂピクチャの識別と、対応する入力画像を識別する番号を示し、Ｂ０Ｆ、Ｂ０Ｂの最後のＦとＢはＢピクチャの予測方向、すなわち順方向（Ｆｏｒｗａｒｄ）と逆方向（Ｂａｃｋｗａｒｄ）とを示している。
【００４５】
以上のように構成された動画像符号化装置において、動画像信号入力端子１から入力された動画像信号を符号化する方法について、具体的に説明する。
まず、動画像信号入力端子１から入力された動画像信号は、動画像信号の記憶バッファ２と画面切り替え検出回路３へ入力され、画面切り替え検出回路３では、入力されたフレーム画像が、直前のフレーム画像と同一であるか否かが検出される。
【００４６】
図２（ａ）に示す動画像信号が入力された場合に、先頭のピクチャ０は２番目のピクチャ０と、２番目のピクチャ０は３番目のピクチャ０と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
３番目のピクチャ０は次のピクチャ１と同一画像でないと判断され、符号化制御部５でＩピクチャに設定され、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＩ０が、動画像データ出力端子１３へ出力されるとともに、符号化データＩ０に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
【００４７】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、Ｂピクチャ符号化データであるＢ０Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、１番目のピクチャ１は２番目のピクチャ１と、２番目のピクチャ１は３番目のピクチャ１と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
【００４８】
３番目のピクチャ１は次のピクチャ２と同一画像でないと判断され、符号化制御部５でＰピクチャに設定され、予測メモリ「１」８に格納されたＩ０の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ１が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ１に対して、逆量子化部１１、逆ＤＣＴ処理部１２で処理を行い、予測メモリ「２」９へ格納する。
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、Ｂピクチャ符号化データであるＢ１Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
【００４９】
以下、同様の手順で、ピクチャ２以降の処理を繰り返し、符号化してゆくことで、図２（ｂ）に示す符号化データを出力することができる。
なお、図２（ｂ）に示す符号化データのＧＯＰ構成は、一例として、１５フレームで巡回するように構成してあるので、ピクチャ５はＩピクチャとして符号化されている。
【００５０】
このようにして生成した図２（ｂ）に示す符号化データに対して、一般のＭＰＥＧ復号化装置で復号化処理を行うと、表示順は図２（ｃ）に示すようになる。この場合、Ｂ０Ｂ、Ｂ１Ｂ、Ｂ２Ｂなど全てのＢピクチャは差分０の逆方向予測の符号化データであるため、３フレーム期間全く同一の画像を表示することができる。
【００５１】
次に、ＧＯＰ構成の設定方法について説明する。
第１の方法は、ＧＯＰを構成するピクチャ数の上限を決める方法であり、第２の方法は、ＧＯＰを構成するピクチャ数およびＩ、Ｐ、Ｂピクチャの位置関係を一定にする方法である。
【００５２】
まず、第１の方法について詳しく説明する。一例として、ＧＯＰを構成するピクチャ数の上限を１５とし、入力される動画像信号のスロー再生速度として、１／３倍速、１／４倍速、１／５倍速、１／６倍速、１／７倍速が可能な装置とする。この時、ピクチャ数の上限は１５であるため、１／３倍速、１／５倍速時はピクチャ数１５のＧＯＰ構成、１／４倍速、１／６倍速時はピクチャ数１２のＧＯＰ構成、１／７倍速時はピクチャ数１４のＧＯＰ構成とすることで、容易に前述した符号化を適用することが可能となる。
このようにして、スロー再生速度が分かっている場合には、スロー再生速度に応じてＧＯＰを構成するピクチャ数を設定した上限値以下で可変とすることにより、ランダムアクセスやＧＯＰ単位のつなぎ編集に有利なＧＯＰ構成とすることができる。
【００５３】
次に、第２の方法について詳しく説明する。一例として、ＧＯＰを構成するピクチャ数を１５、ＩピクチャまたはＰピクチャが出現する周期を３、すなわち、その間に挿入されるＢピクチャを２とし、入力される動画像信号のスロー再生速度として、１／３倍速、１／５倍速が可能な装置とする。１／３倍速においては、本実施形態で用いた符号化方法をそのまま適用すれば、ＧＯＰを構成するピクチャ数を１５、ＩピクチャまたはＰピクチャが出現する周期を「３」として符号化することができる。
次に、１／５倍速時の動作を、図３を参照しながら説明する。１／５倍速時は、ＩピクチャまたはＰピクチャの周期と画面の切り替わりが同期していないため、工夫を要する。
【００５４】
図３（ａ）に示す動画像信号が入力された場合には、先頭のピクチャ０は直後の２番目のピクチャ０と、２番目のピクチャ０は直後の３番目のピクチャ０と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
３番目のピクチャ０は４番目のピクチャ０と同一画像であるが、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＩピクチャに設定され、ＤＣＴ処理部６、量子化部７の符号化処理を行った符号化データＩ０が、動画像データ出力端子１３へ出力されるとともに、符号化データＩ０に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
【００５５】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の逆方向予測のＢピクチャ符号化データであるＢ０Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、４番目のピクチャ０は直前の３番目のピクチャ０と、５番目のピクチャ０は直前の４番目のピクチャ０と同一画像と判断され、符号化せずに、２枚の差分０の順方向予測のＢピクチャが必要であると計数される。
【００５６】
次のピクチャ１は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「１」８に格納されたＩ０の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ１が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ１に対して、逆量子化部１１、逆ＤＣＴ処理部１２における処理を行い、予測メモリ「２」９へ格納する。
【００５７】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の順方向予測のＢピクチャ符号化データであるＢ０Ｆを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、２番目のピクチャ１は直前の１番目のピクチャ１と、３番目のピクチャ１は直前の２番目のピクチャ１と同一画像と判断され、符号化せずに、２枚の差分０の順方向予測のＢピクチャが必要であると計数される。
【００５８】
４番目のピクチャ１は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定される。ただし、４番目のピクチャ１は直前にＰピクチャとして符号化された１番目のピクチャ１と同一画像であるため、予測符号化は行わず、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０のＰピクチャ符号化データＰ１’を読み出して、動画像データ出力端子１３に出力する。
【００５９】
その後、差分０の順方向予測のＢピクチャ符号化データであるＢ１Ｆを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、５番目のピクチャ１は直前の４番目のピクチャ１と同一画像と判断され、符号化せずに、１枚の差分０の順方向予測のＢピクチャが必要であると計数される。
【００６０】
１番目のピクチャ２は直後の２番目のピクチャ２と同一画像と判断され、符号化せずに、１枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
２番目のピクチャ２は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「２」９に格納されたＰ１の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ２が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ１に対して、逆量子化部１１、逆ＤＣＴ処理部１２で処理を行い、予測メモリ「１」８へ格納する。
【００６１】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、順方向予測のＢピクチャ符号化データであるＢ１Ｆを先程計数された１回、差分０の逆方向予測のＢピクチャ符号化データであるＢ２Ｂを先程計数された１回分読み出して、動画像データ出力端子１３へ出力する。
続いて、３番目のピクチャ２は直前の２番目のピクチャ２と、４番目のピクチャ２は直前の３番目のピクチャ２と同一画像と判断され、符号化せずに、２枚の差分０の順方向予測のＢピクチャが必要であると計数される。
【００６２】
５番目のピクチャ２は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定される。ただし、５番目のピクチャ２は直前にＰピクチャとして符号化された２番目のピクチャ２と同一画像であるため、予測符号化は行わず、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の順方向予測のＰピクチャ符号化データＰ２’を読み出して、動画像データ出力端子１３へ出力する。
その後、Ｂピクチャ符号化データであるＢ２Ｆを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
【００６３】
以上の手順で符号化することにより、図３（ｂ）に示す符号化データを生成することができる。また、図３（ｂ）に示す符号化データに対して、一般のＭＰＥＧ復号化装置で復号化処理を行うと、表示順は図３（ｃ）に示すようになる。この場合、Ｂ０Ｂ、Ｂ０Ｆ、Ｂ１Ｆ、Ｂ２Ｂ、Ｂ２Ｆなど全てのＢピクチャは差分０の順方向予測または逆方向予測の符号化データであり、Ｐ１’やＰ２’ピクチャは差分０の順方向予測の符号化データであるため、５フレーム期間全く同一の画像を表示することができる。
【００６４】
なお、本実施形態では、同一画像のＩまたはＰピクチャの間に含まれるＢピクチャについて予測方向を定めているが、復号結果が同じであれば予測方向はどちらであってもよい。例えば、Ｐ１ピクチャとＰ１’ピクチャの間のＢピクチャを順方向予測のＢ１Ｆピクチャとしたが、逆方向予測のＢ１Ｂピクチャであっても復号化結果は同様になることは明白である。
【００６５】
以上説明したように、ＩピクチャまたはＰピクチャの周期と画面の切り替わりが同期していない場合であっても、入力された動画像信号が同一である場合には、それに対応する復号画像が同一となるとともに、ＧＯＰを構成するピクチャ数およびＩ、Ｐ、Ｂピクチャの位置関係を一定にして符号化することができる。
【００６６】
次に、通常再生とスロー再生との移行がある動画像信号を、上述したＧＯＰ構成の第２の方法に沿って符号化する方法について、図４、図５を用いて具体的に説明する。
【００６７】
図４において、（ａ）はノーマル再生から１／３倍速スロー再生に移行する部分を含む動画像信号、（ｂ）はＧＯＰ構成の第２の方法によって符号化を行った場合の符号化順の符号化データ、（ｃ）はＧＯＰ構成の第２の方法によって符号化を行った場合の表示順の符号化データである。
また、図５において、（ａ）は１／３倍速スロー再生からノーマル再生に移行する部分を含む動画像信号、（ｂ）はＧＯＰ構成の第２の方法によって符号化を行った場合の符号化順の符号化データ、（ｃ）はＧＯＰ構成の第２の方法によって符号化を行った場合の表示順の符号化データである。
【００６８】
まず、ノーマル再生から１／３倍速スロー再生に移行する部分を含む動画像信号に対する動画像符号化方法について説明する。
図４（ａ）に示す動画像信号が入力された場合には、ピクチャ０は直後のピクチャ１と、ピクチャ１は直後のピクチャ２と同一画像ではないため、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＢピクチャに設定される。
【００６９】
ピクチャ２は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＩピクチャに設定され、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＩ２が、動画像データ出力端子１３へ出力されるとともに、符号化データＩ２に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
【００７０】
その後、Ｂピクチャに設定されたピクチャ０、ピクチャ１に対して、予測メモリ「１」８に格納されたＩ２の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＢ０、Ｂ１が、動画像データ出力端子１３へ出力される。
続いて、ピクチャ３は直後のピクチャ４と、ピクチャ４は直後のピクチャ５と同一画像ではないため、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＢピクチャに設定される。
【００７１】
ピクチャ５は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「１」８に格納されたＩ２の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ５が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ５に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「２」９へ格納する。
その後、Ｂピクチャに設定されたピクチャ３、ピクチャ４について、予測メモリ「１」８に格納されたＩ２の復号化データ、予測メモリ「２」９に格納されたＰ５の復号化データおよびその平均との動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＢ３、Ｂ４が、動画像データ出力端子１３へ出力される。
【００７２】
１番目のピクチャ６は直後の２番目のピクチャ６と、２番目のピクチャ６は直後の３番目のピクチャ６と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
３番目のピクチャ６は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「２」９に格納されたＰ５の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ６が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ６に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
【００７３】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の逆方向予測のＢピクチャ符号化データであるＢ６Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、１番目のピクチャ７は直後の２番目のピクチャ７と、２番目のピクチャ７は直後の３番目のピクチャ７と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
【００７４】
３番目のピクチャ７は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「１」８に格納されたＰ６の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ７が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ７に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「２」９へ格納する。
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の逆方向予測のＢピクチャ符号化データであるＢ７Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
【００７５】
以上の手順で符号化することにより、図４（ｂ）に示す符号化データを生成することができる。また、図４（ｂ）に示す符号化データに対して、一般のＭＰＥＧ復号化装置で復号化処理を行うと、表示順は図４（ｃ）に示すようになる。
【００７６】
次に、１／３倍速スロー再生からノーマル再生に移行する部分を含む動画像信号に対する動画像符号化手段について説明する。
図５（ａ）に示す動画像信号が入力された場合には、１番目のピクチャ０は直後の２番目のピクチャ０と、２番目のピクチャ０は直後の３番目のピクチャ０と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
【００７７】
３番目のピクチャ０は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＩピクチャに設定され、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＩ０が、動画像データ出力端子１３へ出力されるとともに、符号化データＩ０に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
【００７８】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の逆方向予測のＢピクチャ符号化データであるＢ０Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、１番目のピクチャ１は直後の２番目のピクチャ１と、２番目のピクチャ１は直後の３番目のピクチャ１と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
【００７９】
３番目のピクチャ１は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「１」８に格納されたＩ０の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ１が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ１に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「２」９へ格納する。
【００８０】
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の逆方向予測のＢピクチャ符号化データであるＢ１Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
続いて、１番目のピクチャ２は直後の２番目のピクチャ２と、２番目のピクチャ２は直後の３番目のピクチャ２と同一画像と判断され、符号化せずに、２枚の差分０の逆方向予測のＢピクチャが必要であると計数される。
【００８１】
３番目のピクチャ２は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「２」９に格納されたＰ１の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ２が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ２に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
その後、差分０のＢおよびＰピクチャ符号化データ生成部４から、差分０の逆方向予測のＢピクチャ符号化データであるＢ２Ｂを先程計数された２回分読み出して、動画像データ出力端子１３へ出力する。
【００８２】
ピクチャ３は直後のピクチャ４と、ピクチャ４は直後のピクチャ５と同一画像ではないため、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＢピクチャに設定される。
ピクチャ５は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「１」８に格納されたＰ２の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ５が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ５に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「２」９へ格納する。
【００８３】
その後、Ｂピクチャに設定されたピクチャ３、ピクチャ４について、予測メモリ「１」８に格納された復号化データ、予測メモリ「２」９に格納されたＰ５の復号化データおよびその平均との動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＢ３、Ｂ４が、動画像データ出力端子１３へ出力される。
続いて、ピクチャ６は直後のピクチャ７と、ピクチャ７は直後のピクチャ８と同一画像ではないため、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＢピクチャに設定される。
【００８４】
ピクチャ８は、ＧＯＰ構成を遵守するために、符号化制御部５で強制的にＰピクチャに設定され、予測メモリ「２」９に格納されたＰ５の復号化データとの動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＰ８が、動画像データ出力端子１３へ出力されるとともに、符号化データＰ８に対して、逆量子化部１１、逆ＤＣＴ処理部１２で復号化処理を行い、予測メモリ「１」８へ格納する。
【００８５】
その後、Ｂピクチャに設定されたピクチャ６、ピクチャ７について、予測メモリ「１」８に格納されたＰ８の復号化データ、予測メモリ「２」９に格納されたＰ５の復号化データおよびその平均との動き予測補償後の差分に対して、ＤＣＴ処理部６、量子化部７における符号化処理を行った符号化データＢ６、Ｂ７が、動画像データ出力端子１３へ出力される。
【００８６】
以上の手順で符号化することにより、図５（ｂ）に示す符号化データを生成することができる。また、図５（ｂ）に示す符号化データに対して、一般のＭＰＥＧ復号化装置で復号化処理を行うと、表示順は図５（ｃ）に示すようになる。
このようにして、ＧＯＰ構造の途中で再生モードが変わった場合であっても、本実施形態に係る動画像符号化装置に適応することができる。
【００８７】
＜動画像記録再生装置＞
次に、図６、図７を参照して、本発明係る動画像符号化装置を用いた動画像記録再生装置を説明する。
図６、図７は、本発明に係る動画像符号化装置を用いた動画像記録再生装置を示すもので、図６は、ディスク記録再生装置のスロー再生時に適用した例、図７は、ＤＶ入力信号を復号して、再度ＭＰＥＧ符号化して記録再生する場合の構成例を示している。
【００８８】
図６において、２１は動画像信号入力端子、２２は動画像入力信号セレクタ、２３は上述した実施形態で説明したＭＰＥＧ符号化部、２４はＭＰＥＧ復号化部、２５はメディアヘの記録再生信号処理部、２６は符号化データを送受信するためのＩＥＥＥ１３９４端子、２７は記録メディア、２８は記録再生装置全体を司るシステムコントローラ、２９は動画像データ出力端子である。
また、図７において、図６と同一のブロックについては同一の符号を付してあるため、追加されたもののみ説明すると、３０はＩＥＥＥ１３９４端子２６を経由して入力されたＤＶ圧縮信号を復号するためのＤＶ復号化部、３１は動画像出力信号セレクタである。
【００８９】
以上のように構成された動画像記録再生装置において、動画像信号入力端子２１から入力された動画像信号を記録する方法、記録メディア２７に記録された符号化データをスロー再生し再度ＭＰＥＧ符号化してＩＥＥＥ１３９４端子２６から出力する方法、ＩＥＥＥ１３９４端子２６から入力されたＤＶ圧縮信号を復号し、再度ＭＰＥＧ符号化して記録メディア２７に記録する方法について、具体的に説明する。
なお、ＤＶ圧縮信号とは、「ＨＤ  ＤＩＧＩＴＡＬ  ＶＣＲ  ＣＯＮＦＥＲＥＮＣＥ」で規定され、主に民生用ディジタルＶＣＲで用いられている圧縮信号のことである。
【００９０】
まず、動画像信号入力端子２１から入力された動画像信号を記録する方法について、記録メディア２７をＤＶＤであるとして説明する。
動画像信号入力端子２１から入力された動画像信号は、動画像入力信号セレクタ２２を介して、ＭＰＥＧ符号化部２３に供給される。ＭＰＥＧ符号化部２３では、入力された動画像信号をＤＶＤの記録フィーマットであるＭＰＥＧ＿ＰＳ形式で符号化して、記録再生信号処理部２５へ供給する。記録再生信号処理部２５では、前記符号化データに対して、再生時に発生するであろう誤りを訂正するためのパリティを付加する誤り訂正符号化やディジタル変調処理を行って、記録メディア２７に記録する。
【００９１】
次に、このようにして記録メディア２７に記録された符号化データをスロー再生する場合に、再度ＭＰＥＧ符号化して、ＩＥＥＥ１３９４端子２６から出力する方法について説明する。
記録メディア２７から再生された信号は、記録再生信号処理部２５でディジタル復調された後、再生時に誤りがあった場合には訂正処理を行い、元の符号化データが再構築される。このようにして再生された符号化データは、システムコントローラ２８の指示に基づいて、ＭＰＥＧ復号化部２４へ供給され、ＭＰＥＧ復号化処理を行い、動画像信号が復元される。
【００９２】
１／３倍速のスロー再生時には、ＭＰＥＧ復号化部２４で、同一の動画像信号を３回づつ出力することにより、図２（ａ）に示すような動画像信号を出力し、その画面の切り替えタイミングをシステムコントローラ２８に伝える。前記動画像信号は、動画像データ出力端子２９から外部機器ヘ出力されるとともに、動画像入力信号セレクタ２２を介して、ＭＰＥＧ符号化部２３に供給される。
ＭＰＥＧ符号化部２３では、システムコントローラ２８から供給される画面の切り替えタイミングを参照して、画面の切り替わりを検出し、上述した実施形態で説明したような手法を用いて、入力された動画像信号をＭＰＥＧ符号化し、図２（ｂ）に示すような符号化データを生成する。
【００９３】
なお、ＩＥＥＥ１３９４端子２６で入出力できるＭＰＥＧストリームの形式は、ＭＰＥＧ＿ＴＳ形式に規定されているため、ここでは、ＭＰＥＧ＿ＴＳ形式に変換して、ＩＥＥＥ１３９４端子２６から出力する。このようにして、ＩＥＥＥ１３９４端子２６から出力されたＭＰＥＧ＿ＴＳ形式の信号を、図示しないＩＥＥＥ１３９４端子２６を備えた受信装置で受信して復号することにより、本実施形態に係る動画像記録再生装置をスロー再生して得られた動画像信号を、受信装置側でも再生することができる。
なお、本実施形態では、ＭＰＥＧ符号化部２３で符号化したデータを、ＩＥＥＥ１３９４端子２６を介して出力する例を用いたが、記録メディア２７の別の位置や図示しない他の記録メディアに記録してもよい。
【００９４】
＜記録メディアへの記録方法＞
次に、ＩＥＥＥ１３９４端子２６から入力されたＤＶ圧縮信号を復号し、再度ＭＰＥＧ符号化して記録メディア２７に記録する方法について説明する。
【００９５】
図示しないＤＶ記録再生装置から、ＩＥＥＥ１３９４端子２６を介して入力されたＤＶ圧縮信号は、ＤＶ復号化部３０へ供給される。
ＤＶ復号化部３０では、ＤＶ圧縮信号を復号化処理を行い、動画像信号が復元される。ここで、ＤＶ記録再生装置が１／３倍速のスロー再生を行った場合、ＤＶ圧縮信号はＭＰＥＧとは異なり、フレーム内符号化のみを使用しているために、３フレームずつ同一のＤＶ圧縮信号が入力される。さらに、同時に送られてくるＶＡＵＸデータと呼ばれる付加情報の中に、ＦＣ（Ｆｒａｍｅ  ＣｈａｎｇｅＦｌａｇ）という現フレームが前フレームと同一であるか否かを示す識別子が含まれているので、ＤＶ復号化部３０では、入力されたＤＶ圧縮信号をそのまま復号して出力することにより、図２（ａ）に示すような動画像信号を出力し、ＦＣという識別子を参照して得られた画面の切り替えタイミングをシステムコントローラ２８に伝える。
【００９６】
前記動画像信号は、動画像出力信号セレクタ３１を介して、動画像データ出力端子２９から外部機器へ出力されるとともに、動画像入力信号セレクタ２２を介して、ＭＰＥＧ符号化部２３に供給される。
ＭＰＥＧ符号化部２３では、システムコントローラ２８から供給される画面の切り替えタイミングを参照して、画面の切り替わりを検出し、上述した手法を用いて動画像信号をＭＰＥＧ符号化し、図２（ｂ）に示すような符号化データを生成する。
記録再生信号処理部２５では、前記符号化データに対して、再生時に発生するであろう誤りを訂正するためのパリティを付加する誤り訂正符号化や、ディジタル変調処理を行って、記録メディア２７に記録する。
【００９７】
このようにして、ＤＶ記録再生装置をスロー再生した場合であっても、ＩＥＥＥ１３９４端子２６を介して、入力されたＤＶ圧縮信号を復号し、再度ＭＰＥＧ符号化して、記録メディア２７に記録することができる。
なお、本実施形態では、ＭＰＥＧ符号化部２３で符号化したデータを記録メディア２７に記録する例を用いたが、ＩＥＥＥ１３９４端子２６を介して出力してもよい。
【００９８】
以上説明したように、本発明に係る動画像符号化装置を動画像記録再生装置に適用することにより、スロー再生時やスチル再生時など同一の画像が入力された場合におけるＭＰＥＧ符号化を効率よく行うことができるとともに、画面切り替え検出を、内部の再生モードや外部から供給される付加情報を参照してシステムコントローラからの指示で行うことにより、動画像符号化装置内部の画面切り替え検出回路を省略することができる。
【００９９】
【発明の効果】
本発明に係る動画像符号化装置は、スロー再生などで同一画像信号が入力された場合の符号化において、差分０のＢピクチャの符号化データと通常の符号化データとを適宜組み合わせて符号化データを生成する。
したがって、符号化データを復号化した際に、符号化前に同一画像であった画像は、全く同一画像として復号することができる。
【０１００】
また、本発明に係る動画像符号化装置は、ＧＯＰを構成するピクチャ数を設定した上限値以下で可変にするとともに、差分０のＰまたはＢピクチャの符号化データと通常の符号化データを適宜組み合わせて符号化データを生成する。
また、本発明に係る動画像符号化装置は、ＧＯＰを構成するピクチャ数およびＩピクチャまたはＰピクチャが出現する周期を設定して、その設定に合うようにＩピクチャ、Ｐピクチャ、Ｂピクチャを選定するとともに、ＧＯＰを構成するピクチャ数を設定した上限値以下で可変にするとともに、差分０のＰまたはＢピクチャの符号化データと通常の符号化データを適宜組み合わせて符号化データを生成する。
したがって、符号化データを復号化した際に、符号化前に同一画像であった画像は、全く同一画像として復号することができるとともに、ランダムアクセスやＧＯＰ単位のつなぎ編集に有利なＧＯＰ構成とすることができる。
【０１０１】
また、本発明に係る動画像符号化装置は、動画像符号化手段で符号化するためのバッファメモリに蓄積した動画像信号と、入力される動画像信号とを比較することにより、直前または直後のフレームの動画像信号と同一であるかどうかを検出する。
したがって、どのような入力信号に対しても上述した符号化方法を適用することができる。
【０１０２】
また、本発明に係る動画像符号化装置は、外部から供給される動画像信号の切り替え情報を参照して、入力される動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出する。
したがって、画像切り替え検出手段における処理を軽減することができる。
【０１０３】
本発明に係る動画像記録再生装置は、動画像復号化手段で生成した動画像信号切り替え情報を参照して、動画像符号化装置に入力される動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出する。
また、本発明に係る動画像記録再生装置は、外部機器から供給された動画像信号切り替え情報を参照して、動画像符号化装置に入力される動画像信号が直前または直後のフレームの動画像信号と同一であるか否かを検出する。
したがって、画像切り替え検出手段における処理を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る動画像符号化装置を含むシステム構成を示すブロック図である。
【図２】１／３倍速スロー再生に対する動画像符号化動作タイミング例を示す模式図である。
【図３】１／５倍速スロー再生に対する動画像符号化動作タイミング例を示す模式図である。
【図４】ノーマル再生から１／３倍速スロー再生に移行する部分を含む動画像信号に対する動画像符号化動作タイミング例を示す模式図である。
【図５】１／３倍速スロー再生からノーマル再生に移行する部分を含む動画像信号に対する動画像符号化動作タイミング例を示す模式図である。
【図６】本発明の実施形態に係る動画像記録再生装置の構成を示すブロック図である。
【図７】ＤＶ入力信号を復号して、再度ＭＰＥＧ符号化して記録再生する動画像記録再生装置の構成を示すブロック図である。
【図８】従来の動画像再符号化装置を含むシステムの構成例を示すブロック図である。
【図９】従来の動画像再符号化装置内のビデオエンコーダの構成例を示すブロック図である。
【図１０】従来の動画像再符号化装置の動作タイミングを示す摸式図である。
【符号の説明】
１  動画像信号入力端子
２  動画像信号の記憶バッファ
３  画面切り替え検出回路
４  差分０のＢおよびＰピクチヤ符号化データ生成部
５  符号化制御部
６  ＤＣＴ処理部
７  量子化部
８  予測メモリ「１」
９  予測メモリ「２」
１０  平均化回路
１１  逆量子化部
１２  逆ＤＣＴ処理部
１３  動画像データ出力端子
２１  動画像信号入力端子
２２  動画像入力信号セレクタ
２３  ＭＰＥＧ符号化部
２４  ＭＰＥＧ復号化部
２５  記録再生信号処理部
２６  ＩＥＥＥ１３９４端子
２７  記録メディア
２８  システムコントローラ
２９  動画像信号出力端子
３０  ＤＶ復号化部
３１  動画像出力信号セレクタ
１１０  データ分離部
１１１  音声データバッファメモリ
１１２  動画像データバッファメモリ
１１３  副映像データバッファメモリ
１１４  ナビゲーションデータバッファメモリ
１１５  オーディオデコーダ
１１６  ビデオデコーダ
１１７  副映像デコーダ
１１８  映像オーバレイ処理部
１１９  加算部
１２０  ＧＵＩ画像信号発生部
１２１  オーディオエンコーダ
１２２  ビデオエンコーダ
１２３  フレームメモリ
１２４  再符号化部音声データバッファメモリ
１２５  再符号化部動画像データバッファメモリ
１２６  多重化部
１２７  ＩＥＥＥ１３９４インターフェース
１２８  再符号化部
１２９  音声信号用Ｄ／Ａ変換器
１３０  映像信号用Ｄ／Ａ変換器
１３１  データメモリ
１５０  光ディスク装置
１５１  音声データ
１５２  動画像データ
１５３  副映像データ
１５４  ナビゲーションデータ
１５５  音声信号
１５６  動画像信号
１５７  副映像信号
１５８  動画像信号
１５９  ＧＵＩ画像信号
１６０  ユーザのオペレーション
１６１，１６２  アナログ信号
１６４  符号化パラメータ
１６５  動きベクトル情報
１７０  動き補償部
１７２  動き補償モードおよびＤＣＴタイプ決定部
１７３  レート制御部
１７４  ＤＣＴ処理部
１７５  量子化部
１７６  逆量子化部
１７７  逆ＤＣＴ処理部
１７８  可変長符号化部
１８０  発生符号量
【図１】
0003821714.tif 000002
【図２】
0003821714.tif 000003
【図３】
0003821714.tif 000004
【図４】
0003821714.tif 000005
【図５】
0003821714.tif 000006
【図６】
0003821714.tif 000007
【図７】
0003821714.tif 000008
【図８】
0003821714.tif 000009
【図９】
0003821714.tif 000010
【図１０】
0003821714.tif 000011