(57)【特許請求の範囲】
【請求項１】
入力映像ビットストリームを、異なるビット率を有する出力映像ビットストリームに変換するトランスコーディング方法において、
入力映像から除去される切断領域を決定する過程と、
決定された切断領域に合わせて入力映像を切断する過程と、
切断されて残った映像に合う出力映像ビットストリームを発生する過程と
を含み、
前記出力映像ビットストリーム発生過程は、
トランスコーダ出力領域にて各スライスの始まりにあるマクロブロックのＤＣＴ係数のＤＣ係数及び動きベクトルを初期化する処理をも行い、
前記出力映像ビットストリーム発生過程は、
前記入力映像ビットストリームに含まれる動きベクトルであって前記切断されて残った映像の動きベクトルについて、該動きベクトルの基準となる参照マクロブロックが前記残った映像になく前記切断される前の入力映像に含まれる場合、前記残った映像のマクロブロックの中で前記参照マクロブロックに最も近いマクロブロックを前記動きベクトルの基準となる新たな参照マクロブロックとする処理をも行うことを特徴とするトランスコーディング方法。
【請求項２】
前記切断領域決定過程は、
入力映像の符号化された領域よりディスプレイ領域が小さい場合には、ディスプレイ領域の大きさにより決定することを特徴とする請求項１に記載のトランスコーディング方法。
【請求項３】
前記切断領域決定過程は、
ビット率と画質とのトレードオフにより決定することを特徴とする請求項１に記載のトランスコーディング方法。
【請求項４】
前記出力映像ビットストリームを発生する過程は、
前記切断領域により節減されたビットを、出力映像あるいはユーザが特別に関心を有する領域に再割り当てすることにより、関心を有する領域の画質を高めることを特徴とする請求項１に記載のトランスコーディング方法。
【請求項５】
前記入力映像を切断する過程と、前記出力映像ビットストリームを発生する過程との間に、さらに、
ダウンサンプリングが必要であるか否かを検査する過程と、
もし、ダウンサンプリングが必要であれば、ダウンサンプリング処理を実行し、必要ない場合は、次の前記出力映像ビットストリームを発生する過程へ進む過程と
を備えることを特徴とする請求項１記載のトランスコーディング方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像圧縮ビットストリームの画面サイズ及びビット率を変換する方法に係り、特にユーザが関心を抱かない領域は、除去してビット率低減を達成し、節減されたビットを関心を有する領域に割り当てることにより、従来に比べて良質の画質を有する効率的なトランスコーディング方法に関する。
【０００２】
【従来の技術】
最近、ネットワークの急激な進化につれ、相異なるネットワーク間の相互互換性が非常に重要な問題として注目されている。このような問題を解決するためにゲートウエイ、多地点制御ユニットなどが使われうる。
ゲートウエイは、現在通過予定のネットワーク状態により伝送されるビット率などを適当に調節する必要がある。特に、マルチメディアサーバシステムではユーザとサービス供給者間に交渉によりビット率などのＱｏＳ（Ｑｕａｌｉｔｙ  ｏｆ  Ｓｅｒｖｉｃｅ）を決定する。
サービス供給者はＱｏＳの合意がなった後で、すでに貯蔵された圧縮映像ビットストリームが合意されたＱｏＳを満足しない場合、合意されたＱｏＳを満足する水準に、ほとんど低画質の圧縮映像ビットストリームに、圧縮映像ビットストリームを変換せねばならない。
【０００３】
一方、同時再生及び記録などのＰＶＲ（Ｐｒｅｓｏｎａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｄｅｒ）機能は、最近ＴＶやインターネットを通じた映像受信機において多くのユーザが強く要求する機能である。ＰＶＲ機能を具現するために、受信機は受信された圧縮映像ビットストリームを一時的にハードディスクドライブに貯蔵せねばならない。この時、ユーザはできるだけ多くのプログラムをハードディスクドライブに貯蔵しようとするので、このためにも圧縮映像ビットストリームのビット率変換が要求される。
【０００４】
図１は従来のトランスコーダ構成を示すブロック図である。図１に示された従来のトランスコーダは、入力される映像ビットストリームを復号する  ＦｕｌｌＤｅｃｏｄｅｒ、あるいは  Ｐａｔｉａｌ  Ｄｅｃｏｄｅｒより具現される復号器１０２と復号器１０２で復号された結果を要求されるビット率、あるいは規格に変換する符号化器１０４とを含む。Ｆｕｌｌ  Ｄｅｃｏｄｅｒを使用した場合には、復号器１０２で復号された結果からディスプレイできる再生映像を得られ、Ｐａｔｉａｌ  Ｄｅｃｏｄｅｒを使用した場合には、ＤＣＴ−ｄｏｍａｉｎの変換係数のように直ちにディスプレイできない再生映像が得られる。
【０００５】
符号化器１０４は変換パラメータにより要求される要求条件を満足する出力映像ビット列を発生する。
ここで、入力映像ビットストリームと出力映像ビットストリームとは同じ標準規格、例えばＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６１、Ｈ．２６３と同じであるか（ｈｏｍｏｇｅｎｅｏｕｓ  ｔｒａｎｓｃｏｄｅｒの場合）、相異なる標準規格（ｈｅｔｅｒｏｇｅｎｅｏｕｓ  ｔｒａｎｓｃｏｄｅｒの場合）を有しうる。また、ビット率、画面サイズ、ピクチャタイプ、ピクチャレート、ピクチャ解像度などが相異なりうる。ここで、画面サイズを変換させるための既存の方法は、周波数領域または画素領域にてフィルターリングした後でダウンサンプリングを行う方法を使用する。
【０００６】
【発明が解決しようとする課題】
周波数領域または、画素領域にてフィルターリングした後でダウンサンプリングをして画面サイズを変換するトランスコーディング技法は複雑でもあり、映像全体に関心のないユーザに不必要な情報を送ることもある。
本発明は上記の要求に応えるために案出されたものであり、映像圧縮ビットストリームの画面サイズ及びビット率変換を効率的に行う、改善されたトランスコーディング方法を提供することをその目的とする。
【０００７】
【課題を解決するための手段】
本発明による映像圧縮ビットストリームのトランスコーディング方法は、入力映像ビットストリームを、異なるビット率を有する出力映像ビットストリームに変換するトランスコーディング方法において、入力映像から除去される切断領域を決定する過程と、決定された切断領域に合わせて入力映像を切断する過程と、切断されて残った映像に合う出力映像ビットストリームを発生する過程とを含むことを特徴とする。
ここで、前記切断領域により節減されたビットを出力映像あるいはユーザが特別に関心を有する関心領域に再割り当てすることにより関心を有する領域の画質を高めることが望ましい。
【０００８】
【発明の実施の形態】
以下、添付された図面を参照して本発明の構成及び動作を詳細に説明する。
映像圧縮ビットストリームのトランスコーダは入力される映像ビットストリームと出力される映像ビットストリームの標準規格が同じ  Ｈｏｍｏｇｅｎｅｏｕｓ  Ｔｒａｎｓｃｏｄｅｒと相異なる  Ｈｅｔｅｒｏｇｅｎｅｏｕｓ  Ｔｒａｎｓｃｏｄｅｒとに区分されうる。また、具現方法により  Ｐａｒｔｉａｌ  Ｄｅｃｏｄｅｒの含まれた開放型トランスコーダと  Ｆｕｌｌ  Ｄｅｃｏｄｅｒの含まれた閉鎖型トランスコーダとに区分されうる。
【０００９】
本発明はユーザが関心を有する画面サイズに合うべくトランスコーダの出力ビット率をなす方法であり、前記言及された４種類のトランスコーダに全て利用されうる。
【００１０】
図２は、本発明による画面サイズ変換方法を示すフローチャートである。
図２に示される本発明による画面サイズ変換方法は、出力映像の大きさを決定する過程（Ｓ２０２）、Ｓ２０２で決定された大きさにより入力映像を切断する過程（Ｓ２０４）、ダウンサンプリングが必要であるか否かを検査する過程（Ｓ２０６）、ダウンサンプリング過程（Ｓ２０８）、そして出力ビット率発生過程（Ｓ２１０）を備える。
【００１１】
まず、出力映像の大きさを決定する（Ｓ２０２）。
この時、出力映像の大きさは、
１）ユーザが決定するか、
２）入力映像の符号化された領域よりディスプレイ領域が小さい場合には、ディスプレイ領域の大きさにより決定し、
３）ビット率と画質とのトレードオフにより決定される。
これにより、切断領域及びトランスコーダ出力領域が決定される。
【００１２】
次に、Ｓ２０２にて決定された切断領域だけ入力映像を切断する（Ｓ２０４）。
この時、入出力映像の可能な関係は図３のＳＴＡＧＥ−０のようである。すなわち、入力映像の上下一部を切断するか（ＳＴＡＧＥ−０の最初の場合）、入力映像の上下左右の一部を切断するか（ＳＴＡＧＥ−０の二番目の場合）、入力映像の左右の一部を切断する（ＳＴＡＧＥ−０の三番目の場合）。また、この時得られた映像は、トランスコーダの出力映像の大きさと同じであっても異なってもよい。
【００１３】
次に図２に戻り、追加的なダウンサンプリングが必要であるか否かを検査する（Ｓ２０６）。
ダウンサンプリングを行う（Ｓ２０８）。
ダウンサンプリングにより画面の全体的な大きさが縮小する。入出力映像の可能な関係は、図３のＳＴＡＧＥ−１のようである。例えば、切断された映像の垂直方向（ＳＴＡＧＥ−１の最初の場合）、垂直及び水平方向（ＳＴＡＧＥ−１の二番目の場合）、水平方向（ＳＴＡＧＥ−１の三番目の場合）に減った映像を得ることができる。
【００１４】
Ｓ２０８過程の出力を対象にトランスコーダの出力映像ビットストリームをなす（Ｓ２１０）。この時、Ｓ２０２にて定めたトランスコーダ出力領域外に該当する動きベクトルは修正されねばならない。また、新しく定義された出力領域にて各スライス（画面の分割単位の一種）の始めにあるマクロブロックのＤＣＴ係数のＤＣ係数及び動きベクトルは初期化されねばならない。
【００１５】
図４Ａないし図４Ｂは、マクロブロックのＤＣ係数及び動きベクトルを初期化することを図式的に示すために提示されたものである。図４Ａに示されたように、１フレーム４００は、複数のスライス４０２に分割され、また各スライスは複数のマクロブロック４０４より構成される。周知の如くマクロブロックは、４つの輝度信号ＤＣＴブロックと、２つの色差信号ＤＣＴブロックより構成される。各ＤＣＴブロックは８×８（単位は画素）の大きさを有する。また、ＤＣＴブロックをＤＣＴ変換して得られるＤＣＴ係数は、一つのＤＣ係数と６３個のＡＣ係数とにより構成される。これらのうちからＤＣ係数は、差分符号化方式により符号化され、ＡＣ係数はランレングス方式により符号化される。
【００１６】
ＤＣ係数を差分符号化するにおいて、各スライスの最初の輝度信号ＤＣＴブロックのＤＣ係数が基準になって、該当スライスに属する残りのＤＣＴブロックのＤＣ係数は基準になるＤＣ係数との差を符号化する。従って、復号化時の各スライスの最初の輝度信号ＤＣＴブロックのＤＣ係数を知らねばならない。
ところで、図４Ａにて点線で示された部分が切断されるとすれば、ビットストリームにてスライスの最初の輝度信号ＤＣＴブロックのＤＣ係数に該当する部分が切り出されてくるために、ＤＣ係数を正常に復元できない結果を招く。
【００１７】
従って、映像を切断し出す時に残存映像に含まれる最初のマクロブロックの輝度信号ＤＣＴ係数のＤＣ係数を基準とすべく初期化すべきである。
次に、図４Ｂに示されたところを参照すれば、現在フレームのマクロブロック４０２の動きベクトルは、以前フレームの類似マクロブロック（４１４あるいは４１６）を参照して符号化され、それらの間の座標差が動きベクトルに該当する。
【００１８】
ところで、図４Ｂの点線で示されたような残存領域４１８を残して残り領域を切り出そうとする時、参照されるマクロブロック（４１４あるいは４１６）が切り出され、その後のフレームを正常に復号できなくなる。従って、参照されるマクロブロック（４１４あるいは４１６）が切断される場合、動きベクトルを再び調整せねばならない。
その方法として、残存領域４１８において参照マクロブロック４１４に最も隣接したマクロブロック４２０を新しい参照マクロブロックに設定することである。
【００１９】
このような設定は、残存領域４１８が原映像の１／２，１／３ほどに小さく設定されないために、参照マクロブロック４１４と隣接するマクロブロック４２０とを残存領域に求められ、動きベクトルを補正せねばならないマクロブロックの数も少ないという仮定が成立するために可能である。
また、Ｓ２１０過程にて生じた出力映像ビットストリームのビット率が満足する水準にならなければ、Ｓ２０２過程からＳ２１０過程までを反復的に行える。
【００２０】
図２に示された本発明によるトランスコーディング方法において、ユーザが関心を持たない領域を切断領域に設定して除去することによりビット率を節減する。
ここで、切断領域により節減されたビットを出力映像あるいはユーザが特別に関心を有する関心領域に再割り当てすることにより、関心を有する領域にて良質の画質を有する効率的なトランスコーディングを達成できる。
【００２１】
【発明の効果】
前述の如く、本発明によるトランスコーディング方法は、ユーザが関心を持たない領域は除去してビット率低減を達成し、節減されたビットを関心を有する領域に割り当てることにより、従来の技法に比べて良質の画質を有する効率的なトランスコーディングを行える。
【図面の簡単な説明】
【図１】  従来のトランスコーダの構成を示すブロック図である。
【図２】  本発明によるトランスコーディング方法を示すフローチャートである。
【図３】  本発明によるトランスコーディング方法を行う過程を図式的に示すための図面である。
【図４Ａ】  マクロブロックのＤＣ係数及び動きベクトルを初期化することを図式的に示すために提示された図面である。
【図４Ｂ】  マクロブロックのＤＣ係数及び動きベクトルを初期化することを図式的に示すために提示された図面である。
【符号の説明】
１０２…複合器
１０４…符号器
４００…フレーム
４０２…スライス
４０４，４１４，４１６，４２０…マクロブロック
４１８…残存領域
【図１】
0003979897.tif 000002
【図２】
0003979897.tif 000003
【図３】
0003979897.tif 000004
【図４Ａ】
0003979897.tif 000005
【図４Ｂ】
0003979897.tif 000006