【手続補正書】
【提出日】平成28年9月15日(2016.9.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオの現在の画像におけるロゴの存在を検出する方法であって、当該方法は、
前記現在の画像における現在の候補ロゴ境界形状と、前記現在の画像に先行する画像における先行の候補ロゴ境界形状と、を決定するステップと、
少なくとも１つの条件が満たされた場合に前記現在の画像におけるロゴの前記存在を検出するステップであって、当該条件が、
前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、
前記現在の候補ロゴ境界形状と、前記現在の画像の、顕著性ピークの周辺にある領域を特定するための顕著性マスクとの間の重なり部分が第３の閾値よりも大きい、
ことである、前記検出するステップと、
を含む、前記方法。
【請求項２】
前記候補ロゴ境界形状は、候補ロゴ境界ボックスである、請求項１に記載の方法。
【請求項３】
ロゴの前記存在が前記ビデオの現在の画像について検出されるごとに信頼度がＮ増加し、及び他の場合にＮ減少し、前記信頼度が正のときに、ロゴの前記存在が前記現在の画像について最終的に検出される、請求項２に記載の方法。
【請求項４】
Ｎが１に等しい、請求項３に記載の方法。
【請求項５】
複数の連続した検出又は非検出となった後に、前記Ｎの値が増加する、請求項３に記載の方法。
【請求項６】
ロゴの前記存在が前記現在の画像について検出されたときに、前記現在の画像における前記ロゴが、
前記現在の候補ロゴ境界ボックスが顕著性ピークを含むかを確認し、前記確認が肯定の場合に、前記現在の候補ロゴ境界ボックスを候補ロゴ境界ボックスのリストに加え、前記リストがＭ個の候補ロゴ境界ボックスを含むとき、前記現在の画像における前記ロゴが候補ロゴ境界ボックスの前記リストから計算される境界ボックスであり、他の場合に前記現在の画像における前記ロゴが前記現在の候補ロゴ境界ボックスである、請求項２から５のいずれか１項に記載の方法。
【請求項７】
Ｍが１０に等しい、請求項６に記載の方法。
【請求項８】
前記現在の候補ロゴ境界ボックスを決定するステップは、
ａ）少なくとも１つの検索領域における検出窓の各画像についてエッジ・マップを計算することであって、前記検出窓が、現在の画像及び前記現在の画像に先行する画像を有する、前記計算することと、
ｂ）前記画像間のエッジ・マップを合計して累計エッジ・マップとし、前記累計エッジ・マップを２値化することと、
ｃ）前記２値化した累計エッジ・マップをフィルタリングして、フィルタリングされたエッジ・マップにすることと、
ｄ）前記フィルタリングされたエッジ・マップを２値化して、ブロブのマップにすることと、
ｅ）前記フィルタリングされたエッジ・マップにおいて最高値である画素値を含む前記ブロブの間で、前記フィルタリングされたエッジ・マップにおける画素値の最大合計値を含むブロブを選択することと、
ｆ）前記選択されたブロブの境界となるボックスを決定することと、
を含み、前記候補ロゴ境界ボックスは前記境界となるボックスである、請求項２から７のいずれか１項に記載の方法。
【請求項９】
前記検出窓は、ｋ個の画像分だけスライドされ、ａ）からｆ）までの前記ステップは、前記スライドされた検出窓上で繰り返されて、前記スライドされた検出窓の１つの画像についてロゴが検出され、次の画像が呼び出される、請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの探索領域は、前記現在の画像の４つの角と、上部と底部の水平バナーを含む、請求項８又は９に記載の方法。
【請求項１１】
ビデオの現在の画像におけるロゴの存在を検出する装置であって、
前記現在の画像における現在の候補ロゴ境界形状、及び前記現在の画像に先行する画像における先行の候補ロゴ境界形状を決定する手段と、
少なくとも１つの条件が満たされた場合に前記現在の画像におけるロゴの前記存在を検出する手段であって、当該条件が、
前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、
前記現在の候補ロゴ境界形状と、前記現在の画像の、顕著性ピークの周辺にある領域を特定するための顕著性マスクとの間の重なり部分が第３の閾値よりも大きい、
ことである、前記検出する手段と、
を備える、前記装置。
【請求項１２】
前記候補ロゴ境界形状は、候補ロゴ境界ボックスである、請求項１１に記載の装置。
【請求項１３】
ロゴの前記存在が前記ビデオの現在の画像について検出されるごとに信頼度をＮ増加させ、他の場合に前記信頼度をＮ減少させる手段であって、前記信頼度が正のときに、ロゴの前記存在が前記現在の画像について最終的に検出される、前記手段をさらに備える、請求項１２に記載の装置。
【請求項１４】
Ｎが１に等しい、請求項１３に記載の装置。
【請求項１５】
複数の連続した検出又は非検出となった後に、前記Ｎの値が増加する、請求項１３に記載の装置。
【請求項１６】
前記ロゴの前記存在が検出されたときに、前記現在の画像におけるロゴを決定する手段を備え、
ロゴを決定する前記手段は、前記現在の候補ロゴ境界ボックスが顕著性ピークを含むかを確認し、前記確認が肯定の場合に、前記現在の候補ロゴ境界ボックスを候補ロゴ境界ボックスのリストに加え、前記リストがＭ個の候補ロゴ境界ボックスを含むとき、前記現在の画像における前記ロゴが候補ロゴ境界ボックスの前記リストから計算される境界ボックスであり、他の場合に前記現在の画像における前記ロゴが前記現在の候補ロゴ境界ボックスである、請求項１２から１５のいずれか１項に記載の装置。
【請求項１７】
Ｍが１０に等しい、請求項１６に記載の装置。
【請求項１８】
コンピューター上で実行されたとき、請求項１から１０のいずれか１項に記載の方法のステップを実行するためのプログラムコードの命令を含む、コンピュータープログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
２０１２年１月６日に発行された特許文献１により、顕著性情報のみを用いて画像におけるロゴを検出することが知られている。より正確には、ロゴは、顕著性情報に基づいて、画像内の探索領域において大まかに検出される。探索領域は例えば、画像の４つの角である。この解決法では、全体のビデオ・セグメントが処理される間にロゴの制約が存在するようにして統計的に不透明なロゴの最も簡単な場合のみが取り扱われる。さらに、この解決法は、ロゴが画像内において最大の視覚的に顕著な領域ではないとき、例えばハイ・コントラストのオブジェクトが画像内に存在するとき、機能しない。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の目的は、従来技術の少なくとも１つの不利益を克服することである。この目的を達成するために、本発明は、ビデオの現在の画像におけるロゴの存在を検出する方法に関し、当該方法は、
現在の画像における現在の候補ロゴ境界形状と、及び現在の画像に先行する画像における先行の候補ロゴ境界形状と、を決定するステップと、
少なくとも１つの条件が満たされた場合に現在の画像におけるロゴの存在を検出するステップであって、当該条件が、
現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、または
現在の候補ロゴ境界形状、及び現在の画像の、顕著性ピークの周辺にある領域を特定するための顕著性マスクの間の重なり部分が第３の閾値よりも大きい、
ことである、検出するステップと、
を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
別の実施形態によれば、ロゴの存在が現在の画像について検出されるとき、現在の画像におけるロゴは、次に従って決定される：現在の候補ロゴ境界ボックスが顕著性ピークを含むかどうかを確認し、この確認が肯定の場合、現在の候補ロゴ境界ボックスをロゴ候補境界ボックスのリストに加え、このリストがＭ候補ロゴ境界ボックスを含むとき、候補ロゴ境界ボックスのリストから現在の画像におけるロゴが計算され、他方、現在の画像におけるロゴが、現在の候補ロゴ境界ボックスである。ロゴの局在は、従ってビデオにおいて安定し、正確である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本願発明は、さらに、ビデオの現在の画像におけるロゴの存在を検出する装置に関連し、当該装置は、
現在の画像における現在の候補ロゴ形状、及び現在の画像に先行する画像における先行の候補ロゴ形状を決定する手段と、
少なくとも１つの条件が満たされた場合に現在の画像におけるロゴの存在を検出する手段であって、当該条件が、
現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は現在の候補ロゴ境界形状、及び先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、または
現在の候補ロゴ境界形状、及び現在の画像の、およそ顕著性ピークにある領域を特定するための顕著性マスクの間の重なり部分が第３の閾値よりも大きい、
ことである、検出する手段と、
を備える。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
本願発明の別の態様によれば、当該装置は、ロゴの存在が検出されたときに、現在の画像におけるロゴを決定する手段を備え、ロゴを決定する手段は、現在の候補ロゴ境界ボックスが顕著性ピークを有するかを確認し、確認が肯定の場合にロゴ候補境界ボックスのリストに現在の候補ロゴ境界ボックスを加え、当該リストがＭ候補ロゴ境界ボックスを含むとき、現在の画像におけるロゴが候補ロゴ境界ボックスのリストから計算され、他方のとき、現在の画像におけるロゴが、現在の候補ロゴ境界ボックスである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
本発明の他の特徴、及び利点は、その実施形態のいくつかの以下の記載で見られ、この記載は、次の図面と関連してなされる。
【図１】本発明の第１の実施形態に係るビデオにおけるロゴの存在を検出する方法のフローチャートである。
【図２】本発明の第１の実施形態に係る方法の詳細なフローチャートである。
【図３】本発明の第１の実施形態に係る方法の詳細なフローチャートである。
【図４】本発明に係る時間的コヒーレンスを示す図である。
【図５】本発明の第２の実施形態に係るビデオにおけるロゴの存在を検出する方法のフローチャートである。
【図６】本発明の第２の実施形態に係る方法の詳細なフローチャートである。
【図７】本発明の第２の実施形態に係る方法の詳細なフローチャートである。
【図８】本発明の第２の実施形態に係る方法の詳細なフローチャートである。
【図９】本発明に係る候補ロゴ境界ボックスを決定する方法のフローチャートである。
【図１０】本発明に係る候補ロゴ境界ボックスを決定する方法の第１の詳細なフローチャートである。
【図１１】本発明に係る候補ロゴ境界ボックスを決定する方法の第２の詳細なフローチャートである。
【図１２】本発明に係る顕著性マスクを決定する方法のフローチャートである。
【図１３】ビデオにおけるロゴの存在を検出する装置を示す図である。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明は、ビデオ内のロゴの存在を検出する方法に関する。ロゴは、任意の形状からなる。マップは、輝度又はクロミナンス以外の情報、例えば顕著性情報、階調度情報、等が、画素と関連付けられる画像である。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
ステップ１２において、候補ロゴ境界ボックスに基づき、及び現在の画像I(t)の顕著性マスクに更に基づいて、２つのスコアが計算される。本発明は、顕著性マスクが決定される方法によって限定されるものではない。顕著性マスクは、顕著性ピークを特定する画像である。第１の例として、顕著性マスクは、顕著性マップを閾値化することにより得られる。顕著性マスクは、従って、最大突出画素が第１の値（例えば値２５５）を有し、その他の画素の全てが別の値（例えば値０）を有するような２値化画像である。顕著性マップは、顕著性値が画像の各ピクセルと関連付けられる画像である。顕著性値は、画素の視覚的な重要性を表す。より視覚的に注意を引く画素は、より高い顕著性値を有する。顕著性マップは、従って、画像において視覚的に注目の領域を特定できるようにすることができる。通常、顕著性マップは、視覚システムのモデル化に基づいて決定される。このような視覚注目モデルは、特許文献２として２００５年６月３０日に発行されたEP特許出願04804828.4において特許されている。変形例によれば、図１２を参照して説明されるような画像処理方法に従って、顕著性マスクが決定される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
スコア２は、図３に示すようにして計算される。ステップ１３０で、現在の候補ロゴ境界ボックスが、現在の顕著性マスクと比較されて、それら両方の間で十分な重なり部分があるかどうかを確認する。重なり部分が十分な場合、スコア２＝１となり、それ以外の場合、スコア２＝０となる。共通する画素の数が閾値よりも大きい場合、２つの候補ロゴ境界ボックス間の重なり部分が十分にある。２つの候補ロゴ境界ボックス間で共通する画素の数、及び顕著性マスクが閾値よりも大きい場合、重なり部分が十分にある。この閾値は、ステップ１２８で用いられるものと同一である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
第１の実施形態のステップ１２を置き換えるステップ１３において、スコア１及びスコア２に加えて、第３のスコアが計算される。スコア１及びスコア２は、ステップ１２のように計算される。スコア３は、図６に示すようにして計算される。ステップ１３２で、視覚顕著性のピークが、現在の候補ロゴ境界ボックス内に存在するかどうかが確認される。顕著性ピークが存在する場合にスコア３＝１となり、存在しない場合にスコア３＝０となる。このスコアを用いることにより、決定そのものを操るよりも、他のテストで得られる検出決定に対する信頼性を増すことができる。これは、ロゴがしばしば、常時ではないが視覚的に目立っているということの観察に基づいている。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
図１２は、現在の画像について顕著性マップから顕著性マスクを決定するための方法のフローチャートを示す。ステップ１２００において、グレースケール空間顕著性マップにおける最大値が決定される。ステップ１２０２において、最大値が、閾値SALIENCY_PEAK_MINと比較される。この最大値が、この閾値よりも小さい場合、顕著性情報を用いるためにはとても弱いものであると判断される。他方、ステップ１２０４で、顕著性マスクが構築される。２値画像SaliencyMask1が構築される。２値画像SaliencyMask1は、顕著性空間マップにおける最大値に等しいこれらの画素の位置を示すものである。第１の顕著性マスクにおいてそれぞれアクティブにした位置の周りのNEIGH画素の近隣を考慮する第２の顕著性マスクの構築が可能になる。スコア２及びスコア３を計算するために、両方の顕著性マスクを用いることができる。変形例により、最高顕著性値NB_SALIENCY_TOP_VALUESが、ステップ１２０６で考慮される。SaliencyMask1は、スコア３を計算するために優先的に用いられる。SaliencyMask2は、スコア２を計算するために用いられる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
スコア値（スコア１、スコア２、スコア３）は、２値である必要は無い。代わりに確率値とすることができる。実際、２値を用いることにより、これらのスコアが用いられる異なるステップでの決定が困難なこともある。代わりに確率値を用いることにより、決定の際に特定の信頼度を与え、あいまいな論理アプローチを用いてこれらのスコアが用いられる異なるステップでの決定をすることができる。
本発明は以下の態様を含む。
（付記１）
ビデオの現在の画像のロゴの存在を検出する方法であって、当該方法は、
前記現在の画像における現在の候補ロゴ境界形状と、前記現在の画像に先行する画像における先行の候補ロゴ境界形状と、を決定するステップ(10)と、
少なくとも１つの条件(12)が満たされた場合に前記現在の画像におけるロゴの前記存在を検出するステップ(16)であって、当該条件が、
前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、
前記現在の候補ロゴ境界形状、及び前記現在の画像の、顕著性ピークの周辺にある領域を特定するための顕著性マスクの間の重なり部分が第３の閾値よりも大きい、
ことである、前記検出するステップと、
を含む、前記方法。
（付記２）
前記候補ロゴ境界形状は、候補ロゴ境界ボックスである、付記１に記載の方法。
（付記３）
ロゴの前記存在が前記ビデオの現在の画像について検出されるごとに信頼度がＮ増加し(14)、及び他方の場合にＮ減少し、前記信頼度が正のときに、ロゴの前記存在が前記現在の画像について最終的に検出される、付記２に記載の方法。
（付記４）
Ｎが１に等しい、付記３に記載の方法。
（付記５）
各連続の検出、又は非検出がなされた後に、Ｎの前記値が増加する、付記３に記載の方法。
（付記６）
ロゴの前記存在が前記現在の画像について検出されたときに、前記現在の画像における前記ロゴが、
前記現在の候補ロゴ境界ボックスが顕著性ピークを含むかを確認し、前記確認が肯定の場合に、前記現在の候補ロゴ境界ボックスをロゴ候補境界ボックスのリストに加え、候補ロゴ境界ボックスのリストがＭ個の候補ロゴ境界ボックスを含むとき、前記現在の画像における前記ロゴが候補ロゴ境界ボックスの前記リストから計算される境界ボックスであり、他の場合に前記現在の画像における前記ロゴが前記現在の候補ロゴ境界ボックスである、付記２から５のうちのいずれか１項に記載の方法。
（付記７）
Ｍが１０に等しい、付記６に記載の方法。
（付記８）
前記現在の候補ロゴ境界ボックスを決定するステップは、
ａ）少なくとも１つの検索領域における検出窓の各画像についてエッジ・マップを計算することであって、前記検出窓が、現在の画像及び前記現在の画像に先行するＰ画像を有する、前記計算すること(92)と、
ｂ）累計エッジ・マップに画像間のエッジ・マップを合計し、前記累計エッジ・マップを２値化すること(94)と、
ｃ）前記２値化した累計エッジ・マップをフィルタリングして(96)、フィルタリングされたエッジ・マップにすることと、
ｄ）前記フィルタリングされたエッジ・マップを２値化して(98)、ブロブのマップにすることと、
ｅ）前記フィルタリングされたエッジ・マップにおいて最高値である画素値を含む前記ブロブの間で、前記フィルタリングされたエッジ・マップにおける画素値の最大値の合計を含むブロブを選択すること(100)と、
ｆ）前記選択されたブロブの境界となる、前記候補境界ボックスであるボックスを決定することと、
を含む、付記２から７のうちのいずれか１項に記載の方法。
（付記９）
前記検出窓は、ｋ個の画像分スライドされ、前記ａ）からｆ）までのステップは、前記スライドされた検出窓上で繰り返されて前記スライドされた検出窓の１つの画像についてロゴが検出され、次の画像が呼び出される、付記８に記載の方法。
（付記１０）
前記少なくとも１つの探索領域は、前記現在の画像の４つの角と、上部と底部の水平バナーを含む、付記８又は９に記載の方法。
（付記１１）
ビデオの現在の画像におけるロゴの存在を検出する装置であって、
前記現在の画像における現在の候補ロゴ形状、及び前記現在の画像に先行する画像における先行の候補ロゴ形状を決定する手段(21,22,23,24,25,26)と、
少なくとも１つの条件(21,22,23,24,25,26)が満たされた場合に前記現在の画像におけるロゴの前記存在を検出する手段(21,22,23,24,25,26)であって、当該条件が、
前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の中心の間の距離が第１の閾値より小さいか、又は前記現在の候補ロゴ境界形状、及び前記先行の候補ロゴ境界形状の間の重なり部分が第２の閾値より大きい、
前記現在の候補ロゴ境界形状、及び前記現在の画像の、顕著性ピークの周辺にある領域を特定するための顕著性マスクの間の重なり部分が第３の閾値よりも大きい、
ことである、前記検出する手段と、
を備える、前記装置。
（付記１２）
前記候補ロゴ境界形状は、候補ロゴ境界ボックスである、付記１１に記載の装置。
（付記１３）
ロゴの前記存在が前記ビデオの現在の画像について検出されるごとに信頼度がＮ増加し、他の場合にＮ減少する手段であって、前記信頼度が正のときに、ロゴの前記存在が前記現在の画像について最終的に検出される、手段をさらに備える、付記１２に記載の装置。
（付記１４）
Ｎが１に等しい、付記１３に記載の装置。
（付記１５）
各連続の検出、又は非検出がなされた後に、Ｎの前記値が増加する、付記１３に記載の装置。
（付記１６）
前記ロゴの前記存在が前記現在の画像について検出されたときに、前記現在の画像におけるロゴを決定する手段を備え、
ロゴを決定する前記手段は、前記現在の候補ロゴ境界ボックスが顕著性ピークを含むかを確認し、前記確認が肯定の場合に、前記現在の候補ロゴ境界ボックスをロゴ候補境界ボックスのリストに加え、前記リストがＭ個の候補ロゴ境界ボックスを含むとき、前記現在の画像における前記ロゴが候補ロゴ境界ボックスの前記リストから計算される境界ボックスであり、他の場合に前記現在の画像における前記ロゴが前記現在の候補ロゴ境界ボックスである、付記１２から１５のうちのいずれか１項に記載の装置。
（付記１７）
Ｍが１０に等しい、付記１６に記載の装置。
（付記１８）
付記１から１０のうちのいずれか１項による前記方法のステップを実行するためのプログラムコードの命令を含むコンピュータープログラム製品であって、前記プログラムがコンピューター上で実行される、前記コンピュータープログラム製品。