(57)【特許請求の範囲】
【請求項１】
画像フレームを選択的に符号化するビデオ階層符号化装置において、
第１の階層の符号化を行う第１階層符号化手段と、
該第１の階層より上位の階層の符号化を行う第２階層符号化手段と、
前記第２階層符号化手段で符号化される画像フレームを、前記第１階層符号化手段で符号化された画像フレームと重ならないように選択するフレーム選択手段とを具備し、
前記フレーム選択手段は、前記第１階層符号化手段のフレームレートに、前記第２階層符号化手段のフレームレートを加えた後のフレームレートから、入力画像フレームレートを用いてフレーム間隔を求め、該求められたフレーム間隔に基づいて前記第２階層符号化手段の符号化対象フレームを選択するようにし、第１階層符号化手段で既に符号化されたフレームを起点として、該フレームから前記フレーム間隔だけ離れたフレームを前記第２階層符号化手段の符号化対象フレームとするようにしたことを特徴とするビデオ階層符号化装置。
【請求項２】
請求項１に記載のビデオ階層符号化装置において、
前記第１階層符号化手段の符号化対象フレームと、前記第２階層符号化手段で符号化すべき対象フレームとのフレーム間隔が、前記フレーム間隔より小さい時には、該フレーム間隔で求められたフレームを前記第２階層符号化手段の符号化対象フレームとしないようにすることを特徴とするビデオ階層符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明はビデオ階層符号化装置に関し、特に、ビデオ信号の圧縮データの一部分からビデオ信号の再生を可能とするディジタル圧縮に用いて好適なビデオ階層符号化装置に関する。
【０００２】
【従来の技術】
従来、ビデオ信号を基本レイヤと拡張レイヤとに階層的に符号化する技術として、ＭＰＥＧ−２で規定されているスケーラビリティ技術がある。該スケーラビリティ技術は、例えば、符号化ビットストリームのうちの一部を復号した時に、空間解像度の低い画像が再生でき、さらにビットストリームの中の残りのデータを復号すると、空間解像度を向上させるような追加信号が得られるようにする技術である。
【０００３】
【発明が解決しようとする課題】
前記のＭＰＥＧ−２で規定されているスケーラビリティ技術は、動画像の全部のフレームが符号化されることを前提としており、低ビットレートビデオ伝送において必要とされるフレーム間引き（フレームスキップ）について、何らの配慮もされていない。また、スケーラビリティ技術は演算が複雑であるため、パソコンにおけるソフトウェアの処理が、比較的困難であるという問題があった。
【０００４】
本発明の目的は、前記した従来技術に鑑みてなされたものであり、画像情報を効率良く伝送できる、フレーム間引きを用いたビデオ階層符号化装置を提供することにある。また、他の目的は、インターネット等の低速回線上をビデオ伝送するのに適したビデオ階層符号化装置を提供することにある。
【０００５】
前記の目的を達成するために、本発明は、画像フレームを選択的に符号化するビデオ階層符号化装置において、第１の階層の符号化を行う第１階層符号化手段と、該第１の階層より上位の階層の符号化を行う第２階層符号化手段と、前記第２階層符号化手段で符号化される画像フレームを、前記第１階層符号化手段で符号化された画像フレームと重ならないように選択するフレーム選択手段とを具備し、前記フレーム選択手段は、前記第１階層符号化手段のフレームレートに、前記第２階層符号化手段のフレームレートを加えた後のフレームレートから、入力画像フレームレートを用いてフレーム間隔を求め、該求められたフレーム間隔に基づいて前記第２階層符号化手段の符号化対象フレームを選択するようにし、第１階層符号化手段で既に符号化されたフレームを起点として、該フレームから前記フレーム間隔だけ離れたフレームを前記第２階層符号化手段の符号化対象フレームとするようにした点に特徴がある。
【０００７】
前記特徴によれば、上位または第２の階層のフレームは下位または第１の階層のフレームと重複しなくなるので、伝送されるフレームレートが増加し、これらのフレームを復号した時に、画質を向上させることができるようになる。
【０００８】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の第１実施形態の原理を図１を参照して説明する。
【０００９】
この実施形態は、基本階層（ＢＬ）としてＨ．２６３ベースライン符号化を行い、第１拡張階層（ＥＬ１）としてＳＮＲスケーラビリティを用い、また第２拡張階層（ＥＬ２）として双方向予測符号化（Ｂ−ピクチャ）を行ったものである。ここに、ＳＮＲスケーラビリティは基本階層の符号化により失われた情報を回復するための情報を予測符号化するものである。なお、図示の→は、いずれも予測符号化を意味している。以下の図でも同様である。
【００１０】
この実施形態によれば、基本階層に第１拡張階層を追加することにより、フレーム画質を改善させることができる。また、第２拡張階層のフレームは、基本階層および第１拡張階層で選ばれなかったフレームを選んで符号化（Ｂ−ピクチャ）を行うようにしているので、該第２拡張階層をさらに復号すると、フレームレートが増加し、画質を向上させることができるようになる。なお、該第２拡張階層のフレームの選択の仕方については、図４に関して後述する。
【００１１】
次に、本発明の第２実施形態の原理を、図２を参照して説明する。この実施形態は、基本階層と第１拡張階層の符号化については第１実施形態と同様であるが、第２拡張階層をこれらの階層とは独立に、かつこれらの階層で選ばれなかったフレームを選んで予測符号化を行うようにした点に特徴がある。該第２拡張階層の予測符号化は、イントラ符号化（Ｉ−ピクチャ）と順方向予測符号化（Ｐ−ピクチャ）により行う。この実施形態においても、第２拡張階層をさらに復号すると、フレームレートが増加し、画質を向上させることができるようになる。
【００１２】
次に、本発明の第３実施形態の原理を、図３を参照して説明する。この実施形態は、基本階層、第１拡張階層および第２拡張階層のそれぞれが独立に、かつそれぞれの階層が下位の階層で選ばれなかったフレームを選んで予測符号化するようにした点に特徴がある。この実施形態によれば、第１拡張階層、第２拡張階層を復号すると、フレームレートを、それぞれ、基本階層のみを復号した時の２倍、３倍に改善することができる。
【００１３】
次に、前記各実施形態において、符号化対象フレームを決定する手段の一具体例を図４を参照して説明する。なお、図の実線はデータの流れを表し、点線は制御信号およびパラメータの流れを表す。
【００１４】
符号化されるべき画像データが基本階層符号化装置１１および拡張階層符号化装置１２に入力する。基本階層符号化装置１１としては、例えば、Ｈ．２６３ベースライン符号化を用いることができる。該基本階層符号化装置１１は、その内部にフレームスキップ制御機構を有しており、例えばＩＴＵから公開されている公知技術であるＴＭＮに規定されているアルゴリズムに従ってフレームスキップ制御を行う。該基本階層符号化装置１１にて符号化されたデータは、ライン１３上に送出される。また、該基本階層符号化装置１１は、基本階層でのフレームレート（フレーム／秒）と符号化済みフレームの情報ａを、符号化対象フレーム決定装置１４に出力する。
【００１５】
拡張階層符号化装置１２としては、例えばＨ．２６３に規定されている時間スケーラビリティである双方向符号化や、Ｈ．２６３ベースライン符号化等を用いることができる。該拡張階層符号化装置１２は、符号化対象フレーム決定装置１４からの指示に従って、画像フレームの符号化を行う。また、この符号化を行う時には、基本階層符号化装置１１から、画質パラメータｂ、例えば平均量子化ステップサイズ等の通知を受けて、基本階層と拡張階層とで、画質が均一になるように符号化を行う。そして、符号化を行った結果発生した情報量ｅ、および予め定められているターゲットビットレートｆとからフレームレートｃを算出して、符号化対象フレーム決定装置１４へ通知する。該フレームレートｃは、例えばｃ＝ｆ／ｅにより求めることができる。
【００１６】
符号化対象フレーム決定装置１４は、例えば基本階層符号化装置１１からＡフレーム／秒、拡張階層符号化装置１２からＢフレーム／秒の各フレームレートを受取ると、両階層を合わせた時の平均フレームレート（Ａ＋Ｂ）フレーム／秒および平均フレーム間隔３０／（Ａ＋Ｂ）を計算する。ここに、３０は１秒当りのフレーム数である。そして、前記基本階層で符号化されたフレームあるいは拡張階層で符号化されたフレームを起点として、３０／（Ａ＋Ｂ）フレームだけ離れたフレームを、拡張階層で符号化すべきフレームとして決定する。この時、３０／（Ａ＋Ｂ）が整数でない場合は、一番近い整数に丸めて用いるのが良い。また、選択されたフレームが基本階層で符号化されたフレームと、例えば｛３０／（Ａ＋Ｂ）｝／ｎフレ−ムよりも近い場合は、該フレームは符号化対象から外すようにする。ここに、ｎは１より大きな実数であればよいが、例えば２が好適である。
【００１７】
図５を参照して具体例で説明すると、いま基本階層符号化装置１１におけるフレームレートＡ＝３、拡張階層符号化装置１２で算出されたフレームレートＢ＝７とすると、３０／（Ａ＋Ｂ）は３となり、前記符号化対象フレーム決定装置１４は拡張階層符号化装置１２に、実線上向き矢印で図示されているように、基本階層で符号化されたフレームあるいは拡張階層で符号化されたフレームを起点として、３フレーム毎に、符号化すべきフレームを指示する。また、このように３フレーム毎に符号化すべきフレームを指示して行くと、９フレーム目、１９フレーム目等（点線で表記）が該当するフレームとなるが、これらのフレームは基本階層で符号化されたフレームと１フレームしか離れていないので、符号化対象フレームから外される。
【００１８】
以上のように、図４の実施形態を用いて、拡張階層符号化装置１２で符号化すべきフレームを決定すると、基本階層＋拡張階層のフレームレートを守った上で、選択されたフレームが偏らずに均等になるように選択されることになり、これらのフレームを復号した時に、従来より良好な画質が得られるようになる。
【００１９】
【発明の効果】
以上の説明から明らかなように、本発明によれば、上位または第２の階層の符号化対象フレームを、下位または第１の階層の符号化対象フレームと異ならせることができるので、伝送されるフレームレートを増加させることができ、従来の方式に比べて、画質を向上させることができるようになる。
【００２０】
また、下位または第１の階層の符号化済みのフレームを起点として、平均フレーム間隔だけ離れたフレームを符号化対象フレームとすることにより、上位または第２の階層の符号化対象フレームを、全体の画像フレームに関し、バランス良く選定あるいは抽出できるようになる。また、従来のスケーラビリティ技術に比べて、演算が大幅に簡単になる。また、本発明をインターネット等の低速回線上のビデオ伝送に適用すると、その効果は大きい。
【図面の簡単な説明】
【図１】  本発明の第１実施形態の説明図である。
【図２】  本発明の第２実施形態の説明図である。
【図３】  本発明の第３実施形態の説明図である。
【図４】  符号化対象フレーム決定手段の一具体例を示すブロック図である。
【図５】  前記符号化対象フレーム決定手段により決定される符号化対象フレームの説明図である。
【符号の説明】
１１…基本階層符号化装置、１２…拡張階層符号化装置、１４…符号化対象フレーム決定装置。
【図１】
0003841246.tif 000002
【図２】
0003841246.tif 000003
【図３】
0003841246.tif 000004
【図４】
0003841246.tif 000005
【図５】
0003841246.tif 000006