(57)【要約】黒い縁を有する画像フォーマットをより効率的に前処理する方法である。この方法は、ディジタルレコーダが、特に放送で用いられるいわゆるレターボックスフォーマットといったかかるフォーマットをより効率的に記録することを可能とする。
2005518728.tif 000002
【特許請求の範囲】
【請求項１】
画像を占める画素のセグメントを有する画像を処理する方法であって、前記画像は、関連のあるデータの領域と関連のないデータの領域とを有し、前記関連のないデータは前記関連のある情報の領域の外側にあり、
前記方法は、前記関連性のない情報の領域を再生成する段階を有する、方法。
【請求項２】
前記関連性のない情報の領域は縁であり、前記関連性のない情報の領域の全ての画素は共通の画素値にリセットされる、請求項１記載の方法。
【請求項３】
前記関連性のない情報の領域は、再び黒にされる黒い縁である、請求項２記載の方法。
【請求項４】
前記関連性のない情報の領域は、セグメントの縁に合わされ、望ましくは部分的に埋められたセグメントを黒にすることにより再び生成される、請求項１又は２記載の方法。
【請求項５】
前記関連性のない情報の領域は、マクロブロック境界に合わされる、請求項４記載の方法。
【請求項６】
前記関連性のない情報の領域は、ブロックのブロック境界に合わされる、請求項４記載の方法。
【請求項７】
前記ブロック内の色差情報は、４：２：０ビデオフォーマットで最適な符号化効率を達成するようミラーリングされる、請求項６記載の方法。
【請求項８】
画像を占める画素のセグメントを有する画像を処理する装置であって、前記画像は関連のあるデータの領域と関連のないデータの領域とを有し、前記関連のないデータは前記関連のある情報の領域の外側にあり、
前記装置は、前記関連性のない情報の領域を再び生成する手段を有する、装置。
【請求項９】
前記関連のない情報の領域を空にする手段を更に有する、請求項８記載の装置。
【請求項１０】
前記装置はレターボックス検出器に接続可能であり、前記レターボックス検出器は、前記検出器へ入るレターボックス伝送及び装置の入来信号Ｑinを検出すると、前処理を開始させるよう前記装置を制御する、請求項８又は９記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連のあるデータ及び関連のないデータを有する画像を処理する方法に関連する。本発明はまた、対応する装置に関連する。
【背景技術】
【０００２】
画像は、画像のビデオ内容といったユーザに関連のある情報及び通常は黒である縁といったユーザに関連のない情報を含みうる。
【０００３】
例えば、現在、テレビジョンでは４：３ディスプレイから１６：９ディスプレイへの移行しているが、多くの放送は「レターボックスフォーマット」と称される表示フォーマットを伝送する。このフォーマットでは、黒い縁は、表示されるべきピクチャの上部及び下部に加えられる。このことは、一般的にはテレビジョン受像機の４：３ディスプレイのユーザが、１６：９フォーマットをビデオ内容及び黒い縁を有する画像として見ることを可能とし、一方で、１６：９ディスプレイを有する現在のテレビジョン受像機はビデオ内容のみが表示されるようレターボックス伝送をズームする。一般的にはディジタルレコーダである、送信されたレターボックスフォーマットを受信器側で記録するレコーダは、ビデオ内容及び黒い縁の両方を有するビットストリームを記録せねばならない。
【０００４】
現在、画像は、しばしば、画像中の連続的な画素間の相関関係を利用するブロック変換符号化等の方法によって符号化及び圧縮される。これは、例えば、本発明の詳細な説明において詳述するＭＰＥＧに基づく方法において一般的である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ブロックレイヤでは、ブロックは、一般的には、ゼロである幾つかのエントリを有しうる量子化された変換係数によって表わされる。しかしながら、例えばケーブルプロバイダから消費者へのアナログ伝送中のノイズにより、上部及び下部の黒い縁は完全に黒ではなく、ノイズも含む。結果として、全ての量子化された変換係数がゼロとなるのではなく、それにより符号化器に上部及び下部の黒い縁の内側のブロックを飛ばすことを防止させる。
【０００６】
レターボックスフォーマットをＭＰＥＧ又は他のブロックベースの符号化及び圧縮法で圧縮するときに典型的に生ずる他の欠点は、黒い縁がブロック境界上に合わされていないことである。結果として、ブロック内にはビデオ内容から黒への非常に急な移行が存在する。このブロックを変換で処理した後、このブロックは、量子化の後は効率的に符号化されうる非常にわずかなゼロ変換係数を有する可能性が高い。従って、量子化された変換係数を有するブロックを記憶するのには多くのビットが必要である。この欠点はまた、非ゼロ変換係数により、連続的な画素間の急な移行に多くのビットを必要とする他のブロックベースの符号化方法にも典型的である。
【課題を解決するための手段】
【０００７】
本発明は、関連のある情報及び関連のない情報を有し、それにより符号化効率が改善される、符号化方法を提供することを目的とする。このために、本発明は、独立項に記載の方法及び装置を提供する。有利な実施例は、従属項に記載されている。
【０００８】
本発明の第１の面によれば、１つ又は複数の縁は、再生成された元の境界である。
【０００９】
本発明の望ましい実施例によれば、画像を占める画素のセグメントを有する画像を処理する方法であって、画像は、関連のあるデータの領域と関連のないデータの領域とを有し、関連のないデータは関連のある情報の領域の外側にあり、
方法は、関連性のない情報の領域を再生成する段階を有する、方法が提供される。
【００１０】
ここで、「セグメント」という用語は、少なくとも１つの画素、一般的にはより多くの画素を有する領域を意味する。セグメントは、ブロックの形でありうるが、円形等の他の形もまた可能である。実際的な実施例では、方形又は矩形のブロックが使用されうる。
【００１１】
望ましくは、関連性のない情報の領域の全ての画素は共通の画素値にリセットされる。「共通」という用語は、関連のない情報の同じ領域内の全ての画素は同じ値に設定されることを意味する。この値は、ゼロ、又は効率的に符号化されうるに任意の他の適当な値でありうる。望ましくは、関連性のない情報の領域は、再び黒にされる。
【００１２】
典型的には、黒い縁は、レターボックスの元の境界上に再生成される。「レターボックスフォーマット」以外の関連のある情報の領域及び関連のない情報の領域を有するフォーマットもまた、本発明により改善されうる。再生成される縁は黒であるため、例えばＤＣＴ係数といった全ての変換係数はゼロとなり、従ってこれらはより効率的に符号化されうる。
【００１３】
この方法は、例えばディジタルレコーダが、かかるフォーマット、特に放送で用いられるいわゆるレターボックスフォーマットをより効率的に記録することを可能とする。
【００１４】
望ましくは、関連性のない情報の領域は、セグメントの縁に合わされ、望ましくは部分的に埋められたセグメントを黒にすることにより再び生成される。「部分的に埋められた」の用語は、セグメントが少なくとも１つの黒い画素を有することを意味する。従って、部分的に埋められたことは、半分埋められたセグメントや殆ど完全に埋められたセグメントも含む。
【００１５】
本発明の幾つかの望ましい実施例の第２の面では、黒い縁は異なるブロック境界上に再生成される。
【００１６】
本発明の幾つかの望ましい実施例の第３の面では、典型的にはビデオラインである画素は、縁を合わせるために省かれうる。
【００１７】
本発明の他の望ましい実施例によれば、関連性のない情報の領域、即ち縁は、マクロブロック境界に合わされる。利点は、ＭＰＥＧ標準が、上部及び下部の黒い縁の中の空のマクロブロックを飛ばす（スキップする）方法を与えることである。
【００１８】
本発明の他の望ましい実施例によれば、縁は、望ましくはマクロブロックからなる次に高いレベルのブロックを有するブロックレベルへのブロックのブロックレベルを、ブロック境界に合わされる。
【００１９】
本発明の幾つかの望ましい実施例の第４の面では、黒い縁はマクロブロックではなくブロックに合わされ、ビデオ４：２：０フォーマットを用いるとき、最適な符号化効率を達成するよう黒の内側のクロミナンス情報をミラーリングすることが望まれうる。
【００２０】
本発明の幾つかの望ましい実施例の第５の面では、画像のビデオ内容をシフトすることにより、これをＤＣＴブロックに合わせるために最大で７本のラインが除去される必要がある。望ましくは、本発明の更なる他の面によれば、上部と下部で同じ量のラインが省かれ、例えば上部で４本、下部で３本である。
【００２１】
本発明の他の望ましい実施例によれば、画像を占める画素のセグメントを有する画像を処理する装置であって、画像は関連のあるデータの領域と関連のないデータの領域とを有し、関連のないデータは関連のある情報の領域の外側にあり、
装置は、関連性のない情報の領域を再び生成する手段を有する、装置が提供される。
【００２２】
望ましくは、装置は、関連のない情報の領域を空にする手段を更に有する。
【００２３】
望ましくは、装置は、レターボックス検出器に接続可能であり、レターボックス検出器は、検出器へ入るレターボックス伝送及び装置の入来信号Ｑinを検出すると、前処理を開始させるよう装置を制御する。
【発明を実施するための最良の形態】
【００２４】
本発明は、添付の図面と共に本発明の望ましい実施例についての以下の説明を読むことによって、より明らかに理解されよう。本発明について、添付の図面を参照して望ましい実施例について説明するが、まず、従来技術のＭＰＥＧ構造を説明することによりブロックベースの符号化の簡単な説明をする。
【００２５】
ＭＰＥＧ−２ビデオビットストリームは、階層化された構造を有する。各レイヤは、１つ又はそれ以上のサブレイヤを含む。例えば、ビデオシーケンスは、表示の順序で連続するビデオフレームの組を表わす多数のピクチャ群（groups  of  pictures）、いわゆる「ＧＯＰ」へ分割されうる。そのサブレイヤでは、フレームは１６×１６のマクロブロックへ分割されえ、これは更なる他のブロックのサブレイヤへ分割されうる。マクロブロックは、４つの８×８の輝度（luminance）離散コサイン変換（ＤＣＴ）ブロックと、符号化されたフォーマットに依存する多数の色差（chrominance）ブロックとを有する。符号化性質のうちのいくつかは、マクロブロックごとに指定され、それらのうちの幾つかは８×８ブロックごとに指定される。例えば、一組のいわゆる「動きベクトル」のみがマクロブロックごとに指定される。
【００２６】
ＭＰＥＧ処理では３種類のフレームが用いられる。即ち、他のフレームを参照することなく符号化されるイントラフレーム（Ｉフレーム）と、過去のＩフレーム又はＰフレームを参照して符号化される予測されたフレーム（Ｐフレーム）と、過去のフレーム及び未来のフレームの両方を参照して符号化される双方向に補間されたフレーム（Ｂフレーム）とである。
【００２７】
ＭＰＥＧ−２では、ピクチャ全体が８×８の画素ブロックへ分割され、これらのブロックが一般的にはＤＣＴによって処理され、元のピクチャを単独で表わす一組の圧縮された係数へ量子化されるよう、Ｉフレームは「イントラ」符号化される、という仕様を定める。ＭＰＥＧ−２仕様はまた、殆どのビデオデータ中で見いだされる時間的な冗長性を利用するためにいわゆる「動き補償」が用いられるため、全てのブロックをＤＣＴで符号化するのではなくＰフレームを考慮に入れる。動き補償は、ＧＯＰ内では、フレーム間の時間的な冗長性は、差分信号（いわゆる予測誤差）を得るために予測を適用することによって減少されるよう作用し、差分信号は空間的な相関関係を除去するためにＤＣＴを用いて更に圧縮される。その後、結果として得られるＤＣＴ係数は量子化される。
【００２８】
図１は、本例では例えばＧＯＰである一組のフレームから１つのビデオフレームである画像１に、画像の上部及び下部に黒い縁がどのように設けられ得るかを示す。画像１は、関連のあるデータの領域２と、関連のある情報の領域２の外側の関連のないデータの領域３とを含む。この図では、関連のない情報の領域３は、レターボックスフォーマットの伝送で追加された黒い縁である。図１はまた、このような伝送が４：３ディスプレイ上にどのように表示されるかを示す。１６：９ディスプレイ上では、これらの黒い縁はズームされ、従ってユーザには見えなくなる。
【００２９】
本発明の１つの面を示す図２には、この例でもビデオフレームであり、下部の黒い縁のみが示されている画像１がどのようにしてブロックへ分解されるかが示されている。ここでは、本発明の望ましい実施例による方法について、上述のＭＰＥＧ構造に基づいて説明するが、本発明は、いかなる意味においてもこの特定の符号化に制限されるものでもない。本発明の概念を逸脱することなく任意のブロックベースの符号化が使用されうる。この図中、２種類のブロックが示されており、即ち、１６×１６のマクロブロック４（そのうちの１つを示す）と、８×８のＤＣＴブロック５（そのうちの４つを示す）とが示されている。８×８のＤＣＴブロックは、破線で示す多数の色差ブロックを有するが、更に詳細には説明しない。
【００３０】
本発明の望ましい実施例によれば、関連のない情報の領域は、元の位置で再生成され、従って、元の黒い縁の中のノイズを除去しつつ、元のビデオ内容を捨てることなく、効率的に符号化されうる。
【００３１】
本発明の１つの面によれば、上部及び下部の黒い縁は、ブロック境界６上で再生成される。ブロック境界６は、半分埋められたブロック７の内側の線を黒にすることによって保証される。望ましくは、縁を合わせるためにビデオラインは省かれうる。本発明は、この特定の例のようにビデオラインに限られるものではない。画像セグメントの縁の外側の任意の画素値が、本発明の範囲に含まれる。
【００３２】
再生成される縁は黒いため、全てのＤＣＴ係数はゼロとなり、従ってＤＣＴブロックは空となる。
【００３３】
本発明の望ましい実施例によれば、縁はマクロブロック境界６に合わされる。次に、ＭＰＥＧ標準は、上部及び下部の黒い縁の中の空のマクロブロックを飛ばす（スキップする）方法を与える。
【００３４】
黒い縁がマクロブロック４ではなくブロック５に合わされる本発明の他の望ましい実施例によれば、ビデオ４：２：０フォーマットを用いているときに最適の符号化効率を達成するためにブロック内の色差情報をミラーリングすることが望まれうる。これを、図３ａ乃至図３ｃに示す。
【００３５】
図３ａは、ＤＣＴの前の８×８の色差ブロック５を示す。図３ｂは、同じものを４：２：０フォーマットを用いた輝度ブロック境界上にブロックの縁を再形成した後について示す図である。図３ｃ中、最適なパフォーマンスを達成するためにいかにして色差ブロックがミラーリングされるかを示す。
【００３６】
本発明の他の望ましい実施例によれば、縁は、マクロブロックグリッドではなくＤＣＴブロックグリッドに合わされる。この場合、ＭＰＥＧは、依然として空のブロックを効率的に符号化することが可能である。
【００３７】
半分埋められたＤＣＴブロックの内側のビデオラインが除去されるため、除去されるラインの数は最低限となるはずである。本発明の望ましい実施例によれば、これを達成するために、ビデオは、最も近いブロック境界へ合わせるために数本のライン分、上又は下へシフトされうる。本発明の他の実施例によれば、開始ポインタをメモリ内のフレームへ変更することによってこれが行われうる。
【００３８】
画像のビデオコンテンツをシフトさせることにより、これをＤＣＴブロックへ合わせるのに最大で７本のラインが除去されることが必要である。望ましくは、本発明の更なる他の実施例によれば、同じ量のラインが上部と下部とで省かれ、例えば上部で４本、下部で３本である。
【００３９】
マクロブロック境界に合わせるために、最大で１５本のライン、例えば上部で７本、下部で８本が除去される。
【００４０】
本発明の様々な実施例による方法は、幾通りかに実装されうる。ＭＰＥＧ符号化器上で耐えられ得る変化に依存して、必要とされるリソース全体を低下させることもまた可能である。図４は、装置の望ましい実施例、及びＭＰＥＧ符号化器での実装について示す。
【００４１】
図４に示す本発明の望ましい実施例によれば、信号を前処理する装置１０はＭＰＥＧ符号化器１１の前に接続される。この技術分野では周知のレターボックス検出器１２は、装置１０に接続可能である。入来信号Ｑinは、前処理のために装置１０へ、また、レターボックス検出器１２へ伝送される。この実装法を用いる場合、前処理は、黒い縁を再び作成し、必要であれば色差情報をミラーリングする。
【００４２】
装置１０は、関心のない情報の領域を再生成する手段１３と、関連のない情報の領域、一般的には全てのブロック、を空にする手段１４とを有し、従って、効率的に符号化されうる。手段１４はまた、ブロック境界上に合わせるために使用されうる。手段１３及び１４はまた、組み合わされうる。
【００４３】
図５は、装置１０の他の実装法を示す。装置１０は、ＭＰＥＧ符号化器１１の前に接続されている。入来ストリームＱinは前処理のために装置へ、またレターボックス検出器１２へ伝送される。レターボックス検出器１２は、ＭＰＥＧ符号化器１１とストリーム連結ユニット１７とに接続される。この実装法では、ＭＰＥＧ符号化器１１は、本発明による方法の可能性を全て利用することが可能となるよう変更される。この図に示すように、一定の黒い縁のストリームを与える手段１６によって得られる予め定義されたＭＰＥＧストリームＳcを使用することが可能である。一定の黒い縁のストリームを与える手段１６は、例えばＲＯＭの中にストリームに関する情報を記憶するメモリ回路（図示せず）を有しうる。もちろん、他の不揮発性半導体メモリ等の任意の他の適当な種類のメモリ回路が使用されうる。
【００４４】
記憶された予め定義されたストリームＳcは、ストリーム連結ユニット１７中で、符号化器１１によって発生されたＭＰＥＧストリームに加えられて送出ストリームＱoutを生じさせる黒い縁のために用いられうる。
【００４５】
レターボックス検出器１２がレターボックスフォーマットの放送を検出すると、符号化器１１は、黒い縁の内側のブロック／マクロブロックについては動き推定を含む処理を飛ばしてもよく、これらのマクロブロック／ブロックについては、代わりに予め定義されたＭＰＥＧストリームＳcが用いられ得る。結果として、ハードウエアは、効率的な符号化を与える一方でより少ないリソースを必要とすることとなる。
【００４６】
レコーダ内のレターボックス検出器がテレビジョン受像機内のレターボックス検出器とマッチングされると、レコーダ内のレターボックス検出器の誤りは（レターボックス伝送であると考えると、４：３放送である間は）、テレビジョン受像機によってマスクされうる。図６中、レコーダ／プレーヤ１８が入来信号Ｑinを受信する本発明の実施例が示されている。レコーダ／プレーヤ１８は、テレビジョン受像機１９に接続可能であり、信号Ｑoutを送信する。最適な実施例は、テレビジョン受像機１９へレターボックス信号Ｑletterboxを送信している間、ディスクを再生するときはレコーダ／プレーヤ１８内の同じレターボックス検出器を用いるものである。信号Ｑletterboxは、レターボックスのイエス／ノーの選択を示すよう破線で示されている。レターボックス検出器のマッチングは、レコーダ／プレーヤ１８とテレビジョン受像機の間の線Ｍによって示される。
【００４７】
レコーダが誤った動作をし、４：３放送である間に黒い縁を生成した場合、テレビジョン受像機１９は、レコーダによって黒くされた縁が見えないよう放送をズームする。しかしながら、ユーザがレターボックス検出器を無効としたときは、テレビジョン受像機はレコーダで生じた誤りをもはやマスクしない。
【００４８】
現在は、４：３から１６：９表示の移行の始まりの段階にある。幾つかのレターボックス伝送は黒い縁の中の字幕の半分を表示するため、字幕が黒い縁の中で表示される場合は幾らかの利点がなくなる。しかしながら、黒い縁に字幕を入れることは１６：９表示上では多くの不利点を生じさせるため、４：３から１６：９への移行が終わるときには、全ての放送者は黒い縁に字幕を入れるのを止めるであろう。もちろん、これは字幕が用いられるときにのみ妥当なことである。
【００４９】
本発明はまた、例えば、ＭＰＥＧソフトウエア、ＰＣベースのフォーマット変換ツール、及び、一般的には現在のワイドスクリーンＤＶＤは黒い縁を伴って符号化されるためワイドスクリーンＤＶＤで使用されうる。
【００５０】
本発明の幾つかの利点は、例えば、符号化効率が高いこと、符号化のためにあまり多くのリソースが必要でないこと（もちろん実装方法による）、及び黒い縁の開始点に量子化アーティファクトがないことである。
【００５１】
上述の実施例は、本発明を制限するものでなく例示するものであり、当業者は特許請求の範囲を逸脱することなく多くの他の実施例を設計することが可能であろう。特許請求の範囲では、括弧内に示された参照符号は請求項を制限するものと解釈されてはならない。「有する」「含む」の語は、請求項に列記された要素又は段階以外の他の要素又は段階の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウエアによって、また、適切にプログラムされたコンピュータによって実現されうる。幾つかの手段を列記した装置に関する請求項では、これらの手段のうちの幾つかはハードウエアの同一のアイテムとして実現されうる。単に幾つかの要素が異なる従属項に記載されていることは、これらの要素の組み合わせが利用されえないことを示すものではない。
【図面の簡単な説明】
【００５２】
【図１】ビデオフレームの形の画像のビデオ内容の上部及び下部に黒い縁がどのように与えられるかを示す図である。
【図２】本発明の面について説明するために、黒い縁に合わされていないブロックへ分割されたビデオフレームを示す図である。
【図３ａ】ビデオ４：２：０フォーマットを用いるとき、最適な符号化効率を達成するためのブロック内の色差情報のミラーリングを示す図である。
【図３ｂ】ビデオ４：２：０フォーマットを用いるとき、最適な符号化効率を達成するためのブロック内の色差情報のミラーリングを示す図である。
【図３ｃ】ビデオ４：２：０フォーマットを用いるとき、最適な符号化効率を達成するためのブロック内の色差情報のミラーリングを示す図である。
【図４】ＭＰＥＧ符号化器の前に接続された本発明の望ましい実施例による装置を示す図である。
【図５】変更されたＭＰＥＧ符号化器での本発明の望ましい実施例による装置の実装を示す図である。
【図６】レコーダ／プレーヤとテレビジョン受像機との間のレターボックス検出器をマッチングさせる方法を示す図である。
【図１】
2005518728.tif 000003
【図２】
2005518728.tif 000004
【図３ａ】
2005518728.tif 000005
【図３ｂ】
2005518728.tif 000006
【図３ｃ】
2005518728.tif 000007
【図４】
2005518728.tif 000008
【図５】
2005518728.tif 000009
【図６】
2005518728.tif 000010
【国際調査報告】
2005518728.tif 000011
2005518728.tif 000012
2005518728.tif 000013