(57)【要約】【課題】ＰｉｎＰ処理が施されたコンテンツの画像における子フレームを検出する。【解決手段】本発明に係る検出装置１０は、親フレームの一部に矩形の子フレームが重畳されたＰｉｎＰ処理が施されたコンテンツの画像から子フレームを検出するものであり、画像から縦方向のエッジおよび横方向のエッジを抽出し、抽出した縦方向のエッジおよび横方向のエッジを示すエッジ画像を生成する抽出部１１と、エッジ画像における縦方向のエッジおよび横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を子フレームとして選択する検出部１２と、を備える。【選択図】図１
2019125202.tif 000002
【特許請求の範囲】
【請求項１】
親フレームの一部に矩形の子フレームが重畳されたＰｉｎＰ処理が施されたコンテンツの画像から前記子フレームを検出する検出装置であって、
前記画像から縦方向のエッジおよび横方向のエッジを抽出し、該抽出した縦方向のエッジおよび横方向のエッジを示すエッジ画像を生成する抽出部と、
前記エッジ画像における前記縦方向のエッジおよび前記横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を、前記子フレームとして選択する検出部と、を備えることを特徴とする検出装置。
【請求項２】
請求項１に記載の検出装置において、
前記検出部は、前記縦方向のエッジおよび前記横方向のエッジに基づき形成される領域のうち、前記第１の条件に加えて、前記画像の面積に対して一定範囲内の面積を有するという第２の条件を満たす領域を、前記子フレームとして検出することを特徴とする検出装置。
【請求項３】
請求項２に記載の検出装置において、
前記検出部は、前記縦方向のエッジおよび前記横方向のエッジに基づき形成される領域のうち、前記第１の条件および前記第２の条件に加えて、内角の角度が一定範囲内であること、アスペクト比が一定範囲内であること、および、傾きが一定範囲内であることのうち、少なくとも１つからなる第３の条件を満たす領域を、前記子フレームとして検出することを特徴とする検出装置。
【請求項４】
請求項１から３のいずれか一項に記載の検出装置において、
前記抽出部は、前記コンテンツの複数の画像それぞれについて、縦方向および横方向のエッジを抽出した画像を生成し、該生成した複数の画像を重み付け加算して前記エッジ画像を生成することを特徴とする検出装置。
【請求項５】
親フレームの一部に矩形の子フレームが重畳されるＰｉｎＰ処理が施されたコンテンツの画像から前記子フレームを検出する検出装置が実行する検出方法であって、
前記画像から縦方向のエッジおよび横方向のエッジを抽出したエッジ画像を生成するステップと、
前記エッジ画像における前記縦方向のエッジおよび前記横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を、前記子フレームとして検出するステップと、を含むことを特徴とする検出方法。
【請求項６】
コンピュータを、請求項１から４のいずれか一項に記載の検出装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、親フレームの一部に矩形の子フレームが重畳されたＰｉｎＰ処理が施されたコンテンツの画像から子フレームを検出する検出装置、検出方法およびプログラムに関する。
【背景技術】
【０００２】
通信ネットワーク技術の発展、および、スマートフォン、ＰＣ（Personal Computer）などの通信端末装置の進歩に伴い、動画などのコンテンツをアップロードおよびダウンロード可能なコンテンツ配信サイトが多数、開設されている。ユーザはこの種のコンテンツ配信サイトにコンテンツを手軽にアップロードできるため、コンテンツ配信サイトにアップロードされるコンテンツ数が年々増加している。このようなコンテンツ配信サイトにおいては、コンテンツの権利を有さない非権利者によりコンテンツがアップロードされることが問題となっている。そのため、非権利者によりアップロードされた違法コンテンツを検知する技術が求められている。
【０００３】
非特許文献１には、目的信号の音声・画像信号の特徴を抽出し、蓄積信号の中から、目的信号と特徴が一致する信号（コンテンツ）を探索する技術が開示されている。この技術によれば、例えば、コンテンツ配信サイトにアップロードされているコンテンツの中から、正規コンテンツを複製するなどして作製された違法コンテンツを探索（自動検知）することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】川西  隆仁、外５名、「音楽や映像を特定するメディア指紋技術とその応用」、日本応用数理学会誌「応用数理」、Ｖｏｌ．２１，Ｎｏ．４，２０１１年１２月
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、上述した正規コンテンツとの特徴の一致による違法コンテンツの自動検知を回避するために、映像信号に種々の加工（編集）が施された違法コンテンツが増加している。
【０００６】
自動検知を回避するための加工の１つとして、親フレームの一部に矩形の子フレームを重畳させるＰｉｎＰ（ピクチャー・イン・ピクチャー）処理がある。ＰｉｎＰ処理が施さた違法コンテンツでは、例えば、子フレームに正規コンテンツを複製した画像が表示される。この場合、違法コンテンツの画像全体と、正規コンテンツの画像全体とは異なるため、正規コンテンツとの特徴の一致による違法コンテンツの自動検知が困難になる。
【０００７】
上述したようなＰｉｎＰ処理が施された違法コンテンツの検知のためには、画像全体から子フレームを検出し（子フレームの位置および大きさを検出し）、子フレームに表示される画像と、正規コンテンツの画像とを比較する必要がある。そのため、ＰｉｎＰ処理が施されたコンテンツの画像における子フレームを正確に検出する必要がある。
【０００８】
上記のような問題点に鑑みてなされた本発明の目的は、ＰｉｎＰ処理が施されたコンテンツの画像における子フレームを検出することができる検出装置、検出方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る検出装置は、親フレームの一部に矩形の子フレームが重畳されたＰｉｎＰ処理が施されたコンテンツの画像から前記子フレームを検出する検出装置であって、前記画像から縦方向のエッジおよび横方向のエッジを抽出し、該抽出した縦方向のエッジおよび横方向のエッジを示すエッジ画像を生成する抽出部と、前記エッジ画像における前記縦方向のエッジおよび前記横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を、前記子フレームとして選択する検出部と、を備える。
【００１０】
また、上記課題を解決するため、本発明に係る検出方法は、親フレームの一部に矩形の子フレームが重畳されるＰｉｎＰ処理が施されたコンテンツの画像から前記子フレームを検出する検出装置が実行する検出方法であって、前記画像から縦方向のエッジおよび横方向のエッジを抽出したエッジ画像を生成するステップと、前記エッジ画像における前記縦方向のエッジおよび前記横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を、前記子フレームとして検出するステップと、を含む。
【００１１】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の検出装置として機能させる。
【発明の効果】
【００１２】
本発明に係る検出装置、検出方法およびプログラムによれば、ＰｉｎＰ処理が施されたコンテンツの画像における子フレームを検出することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る検出装置の構成例を示す図である。
【図２】図１に示す検出装置が実行する検出方法を説明するためのフローチャートである。
【図３】図１に示す抽出部が行うエッジ抽出処理を説明するためのフローチャートである。
【図４Ａ】図３に示す上方向エッジ抽出処理で用いるフィルタの構成例を示す図である。
【図４Ｂ】図３に示す下方向エッジ抽出処理で用いるフィルタの構成例を示す図である。
【図４Ｃ】図３に示す右方向エッジ抽出処理で用いるフィルタの構成例を示す図である。
【図４Ｄ】図３に示す左方向エッジ抽出処理で用いるフィルタの構成例を示す図である。
【図５】図１に示す検出部が行う矩形領域検出処理を説明するためのフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１５】
図１は、本発明の一実施形態に係る検出装置１０の構成例を示す図である。本実施形態に係る検出装置１０は、親フレームの一部に矩形の子フレームが重畳されたＰｉｎＰ処理が施されたコンテンツの画像から、子フレームを検出する（子フレームの位置および大きさを検出する）。検出装置１０による子フレームの検出結果は、例えば、ＰｉｎＰ処理が施されたコンテンツが違法コンテンツであるか否かを判定する判定装置において、子フレームに表示される画像と、正規コンテンツの画像との比較のためなどに用いられる。
【００１６】
図１に示す検出装置１０は、抽出部１１と、検出部１２とを備える。
【００１７】
抽出部１１は、ＰｉｎＰ処理が施されたコンテンツを取得し、取得したコンテンツの画像から縦方向（垂直方向）のエッジおよび横方向（水平方向）のエッジを抽出する。そして、抽出部１１は、抽出した縦方向のエッジおよび横方向のエッジを示すエッジ画像を生成し、検出部１２に出力する。
【００１８】
検出部１２は、抽出部１１から出力されたエッジ画像に基づき、コンテンツの画像における子フレームを検出し、検出結果を外部に出力する。子フレームの検出結果の出力先は、例えば、取得したコンテンツが、正規コンテンツの権利を有さない非権利者によりＰｉｎＰ処理が施されてコンテンツ配信サイトなどに投稿された違法コンテンツであるか否かを判定する判定装置である。判定装置は、検出装置１０により検出された子フレームに表示される画像と、正規コンテンツの画像とを比較することで、ＰｉｎＰ処理が施されたコンテンツが違法コンテンツであるか否かを判定することができる。なお、検出装置１０が、子フレームの検出結果に基づき、ＰｉｎＰ処理が施されたコンテンツが違法コンテンツであるか否かを判定する機能を有していてもよい。
【００１９】
次に、本実施形態に係る検出装置１０の動作について説明する。
【００２０】
図２は、検出装置１０が実行する子フレームの検出方法を説明するためのフローチャートである。
【００２１】
まず、抽出部１１は、コンテンツの画像を読み取る（ステップＳ１１）。この画像は、例えば、ＦＦｍｐｅｇなどのソフトウェアでコンテンツの映像信号をデコードして得られる、１画素あたり８ビットのグレースケール非圧縮画像である。また、コンテンツがMPEG-1/2/4やH.26Xなどの符号化方式で符号化されている場合には、Iピクチャ(Intra-Picture)をデコードすることによって画像を取得してもよい。
【００２２】
次に、抽出部１１は、エッジ抽出処理を行う（ステップＳ１２）。具体的には、抽出部１１は、読み取った画像から縦方向のエッジおよび横方向のエッジを抽出し、抽出した縦方向のエッジおよび横方向のエッジを示すエッジ画像を生成する。抽出部１１は、生成したエッジ画像を検出部１２に入力する。エッジ抽出処理の詳細については後述する。
【００２３】
検出部１２は、抽出部１１から入力された入力画像（エッジ画像）におけるエッジを強調するエッジ強調処理を行う（ステップＳ１３）。ここで、検出部１２は、エッジ強調処理として、表１に示す処理１から処理８を１つずつ所定の順番に（例えば、処理１から順に）行う。
【００２４】
【表１】
2019125202.tif 000003
【００２５】
表１に示す処理２から処理７は、子フレームが親フレームの辺や角に接していた場合に、エッジが抽出しにくいことに対応するための処理である。また、処理８は、子フレームの辺に画像が重畳されていた場合（子フレームの辺が途切れている場合や角が隠れている場合）に、エッジが抽出しにくいことに対応するための処理である。
【００２６】
次に、検出部１２は、矩形領域検出処理を行う（ステップＳ１４）。具体的には、検出部１２は、エッジ強調処理後の画像（エッジ強調処理後のエッジ画像）における縦方向のエッジおよび横方向のエッジに基づき形成される領域のうち、所定の条件を満たす矩形領域を子フレームとして検出する。
【００２７】
次に、検出部１２は、矩形領域検出処理により、矩形領域が検出されたか否かを判定する（ステップＳ１５）。
【００２８】
矩形領域が検出されていないと判定した場合には（ステップＳ１５：Ｎｏ）、検出部１２は、ステップＳ１３の処理（エッジ強調処理）に戻る。この場合、検出部１２は、エッジ強調処理として、表１に示す処理１から処理８のうち、前回行った処理とは異なる処理を行う。
【００２９】
矩形領域が検出されたと判定した場合には（ステップＳ１５：Ｙｅｓ）、検出部１２は、複数の矩形領域が検出されていれば、その複数の矩形領域の中から最適な矩形領域（例えば、全ての内角が最も直角に近い四角形）を選択する選択処理を行う（ステップＳ１６）。
【００３０】
次に、検出部１２は、検出結果として、選択した矩形領域の位置および大きさを座標により出力し（ステップＳ１７）、処理を終了する。なお、検出部１２は、矩形領域検出処理により矩形領域が１つだけ検出された場合には、その矩形領域を子フレームとして検出し、その矩形領域の座標を検出結果として出力する。
【００３１】
このように、検出装置１０は、コンテンツの画像から縦方向のエッジおよび横方向のエッジを抽出したエッジ画像を生成するステップと、エッジ画像における縦方向のエッジおよび横方向のエッジに基づき形成される領域のうち、所定の条件を満たす領域をフレームとして検出するステップと、を含む検出方法を実行する。
【００３２】
次に、抽出部１１が行うエッジ抽出処理について、図３に示すフローチャートを参照してより詳細に説明する。図３においては、複数の画像が読み取られ、その複数の画像に対して、エッジ抽出処理が行われる例について説明する。
【００３３】
まず、抽出部１１は、読み取った１枚の画像に対して、子フレームの上辺に相当するエッジを抽出する上方向エッジ抽出処理を行う（ステップＳ２１ａ）。同様に、抽出部１１は、読み取った画像に対して、子フレームの下辺、右辺、左辺それぞれに相当するエッジを抽出する下方向エッジ抽出処理（ステップＳ２１ｂ）、右方向エッジ抽出処理（ステップＳ２１ｃ）、左方向エッジ抽出処理（ステップＳ２１ｄ）を行う。
【００３４】
抽出部１１は、上方向エッジ抽出処理の場合、例えば、図４Ａに示す３×３画素のＰｒｅｗｉｔｔフィルタを用いた、画像の上側からのフィルタ処理により、上方向エッジを抽出する。また、抽出部１１は、下方向エッジ抽出処理の場合、例えば、図４Ｂに示す３×３画素のＰｒｅｗｉｔｔフィルタを用いた、画像の下側からのフィルタ処理により、下方向エッジを抽出する。また、抽出部１１は、右方向エッジ抽出処理の場合、例えば、図４Ｃに示す３×３画素のＰｒｅｗｉｔｔフィルタを用いた、画像の右側からのフィルタ処理により、右方向エッジを抽出する。また、抽出部１１は、左方向エッジ抽出処理の場合、例えば、図４Ｄに示す３×３画素のＰｒｅｗｉｔｔフィルタを用いた、画像の左側からのフィルタ処理により、左方向エッジを抽出する。
【００３５】
図３を再び参照すると、抽出部１１は、上方向エッジ抽出処理後の画像に対して、所定の閾値に基づく二値化処理を行う（ステップＳ２２ａ）。同様に、抽出部１１は、下方向エッジ抽出処理後の画像に対する二値化処理（ステップＳ２２ｂ）、右方向エッジ抽出処理後の画像に対する二値化処理（ステップＳ２２ｃ）、左方向エッジ抽出処理後の画像に対する二値化処理（ステップＳ２２ｄ）を行う。
【００３６】
次に、抽出部１１は、各方向の二値化処理後の画像に対して、ノイズ除去処理（ステップＳ２３ａ〜Ｓ２３ｄ）を行い、上下左右の四方向それぞれについてエッジを抽出した画像を生成する。
【００３７】
次に、抽出部１１は、四方向のエッジ（上方向エッジ、下方向エッジ、右方向エッジ、左方向エッジ）を抽出したそれぞれの画像を加算する（ステップＳ２４）。
【００３８】
次に、抽出部１１は、読み取った複数の画像それぞれについて生成した四方向のエッジを抽出した画像を重み付け加算して、エッジ画像を生成する（ステップＳ２５）。抽出部１１は、所定数の画像について、四方向のエッジを抽出した画像が生成されていない場合には、ステップＳ２１ａ〜２１ｄの処理に戻り、別の画像に対して、各方向のエッジ抽出処理を行う。
【００３９】
１枚の画像からでもエッジ画像を生成することは可能である。しかしながら、１枚の画像から生成されたエッジ画像では、矩形領域検出処理において、高精度に矩形領域を検出することができないことがある。一方、本実施形態のように、複数の画像を用いてエッジ画像を生成することで、矩形領域検出処理において、高精度に矩形領域を検出することができる。ＰｉｎＰ処理が施された違法コンテンツにおいて、子フレームの位置は一定であることが多い。本願発明者らが検討した結果、例えば、ＰｉｎＰ処理が施され、子フレームの位置が一定のコンテンツの映像信号から、０．１ｆｐｓ（frame per sec）（１０秒当たり１枚の画像）程度の間隔で得られる１０枚（１００秒分）程度の画像を用いてエッジ画像を生成することで、高精度に矩形領域を検出することができることが分かった。したがって、複数の画像を用いて、エッジ画像を生成することで、検出精度の向上を図ることができる。
【００４０】
次に、検出部１２が行う矩形領域検出処理について、図５に示すフローチャートを参照して説明する。
【００４１】
検出部１２は、抽出部１１により生成されたエッジ画像に対して、ノイズ除去処理を行う（ステップＳ３１）。具体的には、検出部１２は、エッジ画像を４分の１サイズ（面積）に縮小後、元のサイズに戻す。
【００４２】
次に、検出部１２は、ノイズ除去処理後のエッジ画像に対して、二値化処理を行う（ステップＳ３２）。ここで、検出部１２は、複数の手法（Ｃａｎｎｙ法、適応的二値化処理法など）を個別に実行し、複数の二値画像を生成する。検出部１２は、生成した複数の二値画像それぞれについて、以下の処理を行う。
【００４３】
検出部１２は、生成した二値画像から、縦方向のエッジおよび横方向のエッジにより形成される領域の輪郭を抽出する（ステップＳ３３）。次に、検出部１２は、抽出した輪郭を閉図形化するポリゴン化を行う（ステップＳ３４）。
【００４４】
次に、検出部１２は、縦方向のエッジおよび横方向のエッジにより形成され、ポリゴン化した領域のうち、所定の条件を満たす矩形領域を、子フレームとして検出する（ステップＳ３５）。
【００４５】
通常、子フレームの形状は、子フレームに表示する画像（テレビ放送の画像、映画の画像など）の形状に合わせて、全ての内角が直角の矩形である。したがって、検出部１２は、縦方向のエッジおよび横方向のエッジにより形成された領域のうち、四角形であり、かつ、凸輪郭であるという条件（第１の条件）を満たす領域を検出する。
【００４６】
また、テレビ放送の番組は、番組の出演者の顔のみを子フレームに表示するといった映像表現が用いられることが多い。このような子フレームは、正規コンテンツにおける映像表現として設けられたものであり、ＰｉｎＰ処理が施された違法コンテンツの画像における子フレームとは区別する必要がある。また、コンテンツの画像内に長方形の模様などが存在する場合、この長方形の模様を、ＰｉｎＰ処理が施された違法コンテンツにおける子フレームと区別する必要がある。ここで通常、違法コンテンツにおいては、子フレームに表示される画像を視認しやすいように、違法コンテンツの画像全体に対して、一定範囲内の面積を有する。
【００４７】
したがって、検出部１２は、縦方向のエッジおよび横方向のエッジにより形成された領域のうち、上述した第１の条件に加えて、コンテンツの画像の面積に対して一定範囲内の面積を有するという第２の条件を満たす領域を検出してもよい。上記の一定範囲内の面積は、例えば、コンテンツの画像の面積／９より大きく、コンテンツの画像の面積×０．９の範囲である。こうすることで、上述した番組コンテンツにおける映像表現、および、コンテンツの画像内の長方形の模様などによる影響を低減し、検出精度を高めることができる。
【００４８】
また、縦方向のエッジおよび横方向のエッジにより形成された領域（ポリゴン）の中から、子フレームに相当する領域を適切に検出するために、ポリゴンの形状、向きに基づく制約を設けてもよい。具体的には、検出部１２は、縦方向のエッジおよび横方向のエッジにより形成された領域のうち、上述した第１の条件および第２の条件に加えて、内角の角度が一定範囲内であること、アスペクト比が一定範囲内であること、および、傾きが一定範囲内であることのうち、少なくとも１つからなる第３の条件を満たす領域を検出してもよい。こうすることで、検出精度を高めることができる。
【００４９】
上述した内角の角度の範囲は、例えば、内角の余弦値の絶対値が０．３より小さい範囲である。また、上述したアスペクト比の範囲は、例えば、０．２５以上、４以下である。また、上述した傾きの範囲は、例えば、１０度以下である。
【００５０】
このように本実施形態においては、検出装置１０は、コンテンツの画像から縦方向のエッジおよび横方向のエッジを抽出し、抽出した縦方向のエッジおよび横方向のエッジを示すエッジ画像を生成する抽出部１１と、エッジ画像における縦方向のエッジおよび横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を、子フレームとして検出する検出部１２と、を備える。
【００５１】
ＰｉｎＰ処理が施されたコンテンツにおいては、子フレームは、矩形（内角が全て直角の四角形）に設けられることが多い。そこで、コンテンツの画像から検出した縦方向のエッジおよび横方向のエッジに基づき形成される領域のうち、四角形であり、かつ、凸輪郭であるという第１の条件を満たす領域を、子フレームとして検出することで、ＰｉｎＰ処理が施されたコンテンツの画像における子フレームを検出することができる。
【００５２】
インターネットの投稿動画サイトに登録されていた4216件の動画中に含まれていた84件のPinP動画を用いて本発明にかかる検出方法について評価した結果、98．8％の精度で子フレームを検出できることが分かった。
【００５３】
実施形態では特に触れていないが、検出装置１０として機能するコンピュータが行う各処理を実行するためのプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭあるいはＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００５４】
上述の実施形態は代表的な例として説明したが、本発明の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００５５】
１０    検出装置
１１    抽出部
１２    検出部
【図１】
2019125202.tif 000004
【図２】
2019125202.tif 000005
【図３】
2019125202.tif 000006
【図４Ａ】
2019125202.tif 000007
【図４Ｂ】
2019125202.tif 000008
【図４Ｃ】
2019125202.tif 000009
【図４Ｄ】
2019125202.tif 000010
【図５】
2019125202.tif 000011