(57)【特許請求の範囲】
【請求項１】
画像装置で該画像装置の画面上に表示されるビデオ画像の黒色の帯を検出する方法であって、
黒色の帯が上記ビデオ画像に存在する場合に見つけられると期待される場所にあるラインの組に対し、１ライン毎に、低い輝度値に対応した輝度範囲内で同じ輝度値を有する画素の最大個数に対応する少なくとも１つの値を計算するステップと、
上記場所にある上記ラインの組に亘って上記少なくとも１つの値を平均化して、平均値を得るステップと、
上記平均値に基づいて閾値を計算するステップと、
上記ラインの組に続くラインの夫々に対し同じ輝度値を有する画素の最大個数に対応する新しい値を計算して、該新しい値を得るステップと、
上記新しい値を上記閾値と比較するステップと
を有することを特徴とする方法。
【請求項２】
１ライン毎に計算される上記少なくとも１つの値は、当該ラインの全体又は当該ラインの一部で現れる同じ輝度値を有する画素の１番目に大きい個数であることを特徴とする請求項１記載の方法。
【請求項３】
１ライン毎に計算される上記少なくとも１つの値は、当該ラインの全体又は当該ラインの一部で現れる同じ輝度値を有する画素の１番目に大きい個数、２番目に大きい個数及び３番目に大きい個数の合計であることを特徴とする請求項１記載の方法。
【請求項４】
上記閾値の計算は、更に、上記ビデオ画像のＳＮ比に基づくことを特徴とする請求項１記載の方法。
【請求項５】
上記閾値は、上記平均値に対する割合で表わされることを特徴とする請求項１記載の方法。
【請求項６】
上記割合は、夫々のラインの全体で現れる同じ輝度値を有する画素の数に関して計算される上記ラインの組に亘る上記平均値に基づくことを特徴とする請求項５記載の方法。
【請求項７】
１ライン毎に計算される上記少なくとも１つの値は、当該ラインの全体に含まれる全ての画素に亘って求められることを特徴とする請求項１記載の方法。
【請求項８】
上記ビデオ画像は、縦に複数のゾーンに分割され、
１ライン毎に計算される上記少なくとも１つの値は、上記複数のゾーンの夫々に対応した当該ラインの部分の画素についてのみ計算されることを特徴とする請求項１記載の方法。
【請求項９】
上記新しい値と上記閾値との比較は、上記複数のゾーンの夫々について行なわれることを特徴とする請求項８記載の方法。
【請求項１０】
上記閾値は、上記ビデオ画像のＳＮ比が、上記ビデオ画像にノイズが含まれないと見なされ得る所定値よりも高いか又は該所定値と等しい場合には、上記１番目に大きい個数に依存することを特徴とする請求項２記載の方法。
【請求項１１】
上記閾値は、上記ビデオ画像のＳＮ比が、上記ビデオ画像にノイズが含まれないと見なされ得る所定値よりも低い場合には、上記１番目に大きい個数、２番目に大きい個数及び３番目に大きい個数の合計に依存することを特徴とする請求項３記載の方法。
【請求項１２】
上記新しい値と上記閾値との比較は、複数の異なるビデオ画像の夫々対して行なわれることを特徴とする請求項１乃至１１のうちいずれか一項記載の方法。
【請求項１３】
上記複数のゾーンについての上記黒色の帯の検出結果のうち同じである検出結果の数に基づいて最終的な上記黒色の帯の検出結果が得られることを特徴とする請求項９記載の方法。
【請求項１４】
上記複数の異なるビデオ画像についての上記黒色の帯の検出結果のうち同じである検出結果の数に基づいて最終的な上記黒色の帯の検出結果が得られることを特徴とする請求項１２記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、水平方向の黒色の帯を自動的に検出する方法に係わり、たとえば、１６：９の画面上に４：３のフォーマットでビデオ画像に自動的にズームを行なう方法に関する。
【０００２】
【従来の技術】
テレビジョン画像の上部と下部に水平方向のブラックバーを含むいわゆる「レターボックス」フォーマットを自動検出する方法は既に知られている。これらの方法は、一般的に、ビデオ画像の最初の数行と最後の数行に亘ってビデオレベルを測定することに基づいている。これらの最初の数行及び最後の数行に亘って平均化された輝度レベルの関数として「レターボックス」フォーマットが検出される。
【０００３】
【発明が解決しようとする課題】
しかし、従来の方法は、輝度設定値、ＳＮ比、黒色の帯へのロゴの挿入などに依存しているので、信頼性が高くない。
【０００４】
本発明の目的は、上記の従来技術による方法の欠点を緩和して、信頼性の高いブラックバーの検出方法を提供することである。
【０００５】
【課題を解決するための手段】
本発明は、ビデオ画像中の黒色の帯を検出する方法であって、低い輝度値に対応した輝度範囲内で、
黒色の帯の通常の場所にあるラインに対し、最大の出現回数、すなわち、同じ輝度値を有する点の最大個数に関係した値を１行毎に計算し、
上記ラインに関して上記値を平均化し、
上記平均化された平均値に依存して閾値を計算し、
新しいラインに対し獲得された最大の出現回数に関係した値を上記閾値と比較することを特徴とする。
【０００６】
具体的な一実施例によれば、１ラインに対し最大の出現回数に関係した値は、完全ライン又はライン部分の点の最大出現回数(Maxzone_Principali)である。
【０００７】
他の実施例によれば、１ラインに対し最大の出現回数に関係した値は、完全ライン又はライン部分の点の１番目、２番目及び３番目に大きい出現回数の和(Maxzonei)である。
【０００８】
別の実施例によれば、閾値は画像のＳＮ比に依存する。また、閾値は、完全ライン(Z1)の点に対応した出現に対し計算された上記ラインに関する平均値に依存する平均のパーセンテージでもよい。
【０００９】
別の一実施例によれば、１ラインに対し最大の出現回数に関係した値はラインの全ての点（Z1）について計算される。
【００１０】
他の一実施例によれば、画像は垂直ゾーン(Z2，Z3，Z4)に分割され、１ラインに対し最大の出現回数に関係した値は、このゾーンに対応したライン部分の点だけについて計算される。比較は複数のゾーンについて行なってもよい。
【００１１】
具体的な一実施例によれば、閾値は、ＳＮ比が高い場合には、Maxzone_Principaliに関係し、ＳＮ比が低い場合には、Maxzoneiに関係する。
【００１２】
比較は、数通りの画像に関して行なわれ、検出は種々の画像に関する同じ検出結果の回数に依存した信頼性規準に基づいて行なわれ得る。信頼性規準は種々のゾーンに対する同じ検出結果の回数に依存してもよい。
【００１３】
【発明の実施の形態】
本発明の特徴並びに効果は、一例として挙げられた以下の説明を添付図面を参照することにより明らかになるであろう。
【００１４】
図１の（ａ）は、上部ブラックバンド（黒色の帯）と下部ブラックバンドとを含む４：３フォーマットのビデオ画像が１６：９のスクリーンに表示されている様子を表わす図である。スクリーンの右半分及び左半分は、垂直ブラックバーで占められている。本発明の方法の用途の一例として、全画面（フルスクリーン）画像を表示するため、自動ズームが水平バーの検出によって開始される。
【００１５】
ブラックバンドの検出によって、画像中で、アクティブビデオと呼ばれる情報伝達中のビデオの先頭ライン及び末尾ラインが判定される。アクティブビデオの先頭ラインは、図１では参照番号１で示され、末尾ラインには参照番号２が付されている。
【００１６】
本発明において実施されたアルゴリズムの原理は、１本のビデオラインに亘り低レベルの同じ輝度値を有する画素の最大個数に対応する値を、処理されるべき画像の質に依存した閾値と比較することに基づいている。
【００１７】
画像の質を決める基準は、たとえば、６３に満たない低レベルに対する輝度ヒストグラムに亘って１ライン毎に割り当てられたビデオ点に依存する画像内のノイズレベルの関数として評価される。混じりけのない黒に近づくにつれて、ヒストグラムの最大値は大きくなる。
【００１８】
図２の（ａ）は、一様なブラックレベルを有する水平方向ブラックバンドに対応したヒストグラムである。
【００１９】
ヒストグラムのため使用されたラベリングは、縦軸が出現回数、すなわち、サンプル数であり、横軸が輝度値である。ここでは、ビデオラインに対応する７２０個のサンプルが同じ輝度値を有する場合を考える。以下の説明において、ヒストグラムの縦軸及び横軸は同じである。
【００２０】
図２の（ｂ）は種々のブラックレベルに対応したヒストグラムである。図示された例において、最も頻出する輝度レベルは、１ラインの７２０個のサンプル中に１６０回現れる。これは、１ラインのサンプルに亘る１番目の最大ピークである。
【００２１】
検出の信頼性上の理由のため、並びに、表示される挿入画又はロゴ、又は、ブラックバンドに定義されたゾーン内の表示タイプを考慮するため、画像の特徴付けが数個のゾーン、本例では４個のゾーンに亘って行なわれる。
【００２２】
図３の（ａ）にはこのような４個のゾーンＺ１〜Ｚ４が示されている。
【００２３】
第１のゾーンＺ１は、４：３フォーマット内の画像のラインの幅、すなわち、７２０点に対応する。
【００２４】
第２のゾーンＺ２、第３のゾーンＺ３及び第４のゾーンＺ４は、それぞれ、1本のビデオラインの中の最初の３分の１、次の３分の１、及び、最後の３分の１に対応し、各ゾーンには２４０点が含まれる。
【００２５】
図３の（ｂ）は、第１のゾーンＺ１に対応するヒストグラムである。値Pmax、Dmax及びTmaxは、それぞれ、輝度値毎のサンプル数に関する１番目の最大値、２番目の最大値、及び、３番目の最大値を表わす。これらの値は、１ライン中に最も頻出する３種類の低輝度値、本例では６３以下の輝度値に対応する。
【００２６】
第１のゾーンＺ１に対し選択された特性値は、各ライン毎に、同一輝度値の最大個数Pmax、並びに、Pmaxの値とDmaxの値とTmaxの値の合計である。
【００２７】
図３の（ｃ）は、第２のゾーンＺ２、第３のゾーンＺ３及び第４のゾーンＺ４に対応したヒストグラムを表わす。これらのゾーンに対し、選択された特性値は、値Pmaxiである。したがって、特性値はゾーンｉに対応したライン部分に対する最大出現回数である。
【００２８】
ビデオライン毎に複数の特性値が抽出されるので、第１のゾーンＺ１に対する７２０個のサンプルに対応したヒストグラムと、それ以外のゾーンに対する２４０個ずつのサンプルに対応したヒストグラムとが作成される。
【００２９】
選択された品質規準は、画像若しくはフレームに対して、画像のブラックバンドの通常の場所にある画像部分に亘って、測定されたこれらの特性値を平均化した平均値に対応する。たとえば、表示された最初のｎ本のビデオラインに亘る平均が使用される。具体的な例では、ｎ＝１６である。これに対し、ブラックバンドは数十本のビデオラインに対応する。尚、以下の説明で、総称的な用語である「画像」は、画像と、フレームの両方を指し示すため使用される。
【００３０】
これにより、以下の５通りの品質規準が得られる。
【００３１】
・画像若しくは画像の組に対し従来の方法で計算されたノイズレベル、又は、画像伝送条件が影響を与えないならば、予め計算されたノイズレベル。
【００３２】
・ゾーンｉ毎にｎ本のラインの組に亘って平均化された値Pmaxiの平均値。４個のゾーンに対応した４個の値Maxzone_Principaliが与えられる。
【００３３】
・ゾーンｉ毎にｎ本のラインの組に亘って平均化された値Pmax＋Dmax＋Tmaxの合計の平均値。４個のゾーンに対応した４個の値Maxzoneiが与えられる。
【００３４】
黒色の純度に関係したこれらの品質規準は画像に対し評価される。
【００３５】
ブラックバンドを検出するため、これらの品質基準毎に閾値が決められる。閾値は画像の最初のｎ本のラインに対し獲得される品質基準の値であり、この値は、閾値を計算し、後続のライン中のアクティブビデオを検出するため利用される。
【００３６】
ノイズを含まない画像（ＳＮ比Ｓ／Ｂ≧３０ｄＢ）に対し、第１のテストが値Maxzone1に関して行なわれる。
【００３７】
この値が黒色の良好な純度を表わす４８０を超えるとき、ゾーンｉに対し選択された閾値（Val_Purei）は、１２％のオーダーのマージンによって低下させられた値Maxzone_Principaliである。図４の（ａ）にはこのような例が示される。
【００３８】
この値が４８０以下であるならば、ゾーンｉに対し選択された閾値(Val_Thresholdi)は値Maxzoneiである。この値Maxzoneiは、値Maxzone_Principaliが２４０以下であるならば、２５％のマージンで低下させられ、値Maxzone_Principaliが２４０よりも大きく、より高い黒色の純度に対応する場合、１８％のマージンで低下させられる。図４の（ｂ）は、閾値がMaxzoneiに関して計算された一例である。画像の品質が良くなるとともに、マージンは小さくなる。
【００３９】
計算された閾値が下限値よりも小さい場合には、最小の閾値として第１のゾーンに対し２７０、その他のゾーンに対し２７０／３が与えられる。
【００４０】
上記の例示的なアルゴリズムは、以下に、繰り返され、他のＳＮ比の値（僅かに多くのノイズを含む画像、並びに、非常にノイズの多い画像）に対し補充される。非常にノイズの多い画像の場合に、下限閾値は、検出の際に高い信頼性を保たれるように高くされる。
【００４１】
１）ＳＮ比≧３０ｄＢのケース
Maxzone1>480  であるならば、
閾値は、
Val_Purei = Maxzone_Principali − Maxzone_Principali/8 (-12%)
であり、
Maxzone1≦480  であり、
Maxzone_Principal1≦240  であるならば、
Val_Thresholdi = Maxzonei − Maxzonei/4 (-25%)
であり、
Val_Threshold1<270  でなければ、Val_Threshold1=270  であり、
Val_Threshold2-3-4<90  でなければ、Val_Threshold2-3-4=90  であり、
Maxzone_Principal1>240  であるならば、
Val_Thresholdi = Maxzonei − Maxzonei/8 − Maxzonei/16 (-18%)
であり、
Val_Threshold1<270  でなければ、Val_Threshold1=270  であり、
Val_Threshold2-3-4<90  でなければ、Val_Threshold2-3-4=90  である。
【００４２】
２）２５ｄＢ＜ＳＮ比＜３０ｄＢのケース
Maxzone1>480  であるならば、
閾値は、
Val_Thresholdi = Maxzonei − Maxzonei/16 (-6%)
であり、
Maxzone1≦480  であるならば、
Val_Thresholdi = Maxzonei − Maxzonei/8 − Maxzonei/16 (-18%)
であり、
Val_Threshold1<270  でなければ、Val_Threshold1=270  であり、
Val_Threshold2-3-4<90  でなければ、Val_Threshold2-3-4=90  である。
【００４３】
３）ＳＮ比＜２５ｄＢのケース
Val_Thresholdi = Maxzonei − Maxzonei/16 (-6%)
であり、
Val_Threshold1>480  でなければ、Val_Threshold1=480  であり、
Val_Threshold2-3-4>160  でなければ、Val_Threshold2-3-4=160  である。
【００４４】
かくして、ヒストグラムの１番目から３番目までの最大値Maxzoneiの合計の最初のｎ本のラインに亘る平均値とノイズの値とに従って、次のラインｊ毎に、このラインｊに対する１番目から３番目までの３個の最大値の合計(Pmaxi＋Dmaxi+Tmaxi)lineｊと、関連した閾値(Val_purei)とを比較することによって検出が行なわれる。
【００４５】
「混じりけがない（純度が高い）」と格付けされた画像に対し、有用な情報は値Pmaxiに含まれる。この単一の値異関する検出は非常に正確である。
【００４６】
上記の比較はゾーン毎に行なわれるので、ゾーンに対応したラインｊの各部分に対する最大値が選ばれる。
【００４７】
閾値を黒色の純度の関数として変更することによって、より正確に検出を行なえるようになる。最初の数本のラインの測定中に、画像が僅かにノイズを含むだけで一様であると判定される場合、計算された閾値は対応して計算された平均値に近付けることができる（すなわち、マージンを小さくできる）。これらの閾値調整によって、画像の品質が良好であると判定された場合に、画像の非常に小さいゾーンだけに影響を与える挿入画、ロゴなどが検出できるようになる。
【００４８】
以下の規準はラインがアクティブビデオであることを確認若しくは定めるために使用され得る。
【００４９】
・アクティブビデオであることが検出された（１本以上の）ラインが存在する画像の一部分、たとえば、画像の最初の３分の１及び最後の３分の１が規準として使用される。２８８本のラインからなる画像の場合に、検出確認ゾーンは、たとえば、画像の上部に対しライン１６とライン２８８／３の間にあり、画像の下部に対しライン２８８×２／３とライン２８８−１６の間にある。
【００５０】
・同じフレーム中の４個の各ゾーンに亘る同一の検出結果の個数が規準として使用される。
【００５１】
・サンプルの個数と、１番目の最大値の位置とが規準として使用される。信頼レベルは、ピークの振幅及びブラックの値に依存する。
【００５２】
時間的規準を追加してもよい。４個のゾーンに対応して検出された４個の値と、選択された値とが、Ｐ枚のフレームに亘ってフレーム毎にメモリに記憶される。ゾーン形式の多数決処理が、ゾーン毎に、画像の最初のラインに対応した上部ラインと、情報伝搬用画像の最後のラインに対応した下部ラインとを判定するため行なわれる。
【００５３】
ゾーン内にロゴが存在するかどうかは、高い信頼性で検出され得る。
【００５４】
望まれる検出のタイプに依存して、すなわち、ロゴを無視するかどうか、ロゴが存在する場合にブラックバンドを保存するかどうかなどに依存して、空間的又は時間的規準に大きい重みが与えられる。
【００５５】
【発明の効果】
本発明の重要な効果は、情報伝達ビデオ、すなわち、黒色の帯の外側のビデオラインが黒（ブラック）と同じレベルである場合に、黒色の帯、すなわち、「レターボックス」フォーマットが高い信頼性で検出できることである。黒色の帯にロゴを表示させることは、このような検出を妨害しない。その理由は、黒色の帯に存在する小さい挿入画の影響を検出若しくは除去できるように、検出が垂直ゾーンに対し行なわれ得るからである。
【図面の簡単な説明】
【図１】レターボックスフォーマットの画像を示す図である。
【図２】（ａ）は一様なブラックレベルに対応したヒストグラムを示し、（ｂ）は複数のブラックレベルに対応したヒストグラムを示す図である。
【図３】（ａ）はヒストグラムの計算用の画像のゾーンへの割り当てを示し、（ｂ）はゾーン１のヒストグラムを示し、（ｃ）はゾーン２〜４のヒストグラムを示す図である。
【図４】（ａ）は考慮された閾値が最大の出現回数である場合のヒストグラムを表わし、（ｂ）は考慮された閾値が１番目、2番目及び３番目の出現回数の和に関係する場合のヒストグラムを表わす図である。
【符号の説明】
Ｚ１，Ｚ２，Ｚ３，Ｚ４    ゾーン
【図１】
0004597310.tif 000002
【図２】
0004597310.tif 000003
【図３】
0004597310.tif 000004
【図４】
0004597310.tif 000005