(57)【要約】【課題】動画共有サイトなどに投稿された映像の中から、テレビ放送局のロゴやテレビ番組のロゴや、予め登録された映像を検出することで、無断で使用された映像を検索する画像照合装置を得る。【解決手段】入力された映像中の画像フレームをキャプチャする画像キャプチャ部１２と、キャプチャされた複数の画像フレーム群から平均画像フレームを算出する平均フレーム算出部１４と、平均画像フレームから所定の位置の領域を切り出す画像切出部１５と、切り出された画像領域を照合対象画像として画像特徴を抽出する画像特徴抽出部１６と、参照画像特徴記録部１７に予め記録された参照画像特徴と抽出された前記画像特徴とを照合する画像特徴照合手段１８とを備えて構成する。【選択図】図１
2011203790.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像中の画像フレームをキャプチャする画像キャプチャ手段と、
キャプチャされた複数の画像フレーム群から平均画像フレームを算出する平均フレーム算出手段と、
平均画像フレームから所定の位置の領域を切り出す画像切出手段と、
切り出された画像領域を照合対象画像として画像特徴を抽出する画像特徴抽出手段と、
参照画像特徴記録部に予め記録された参照画像特徴と抽出された前記画像特徴とを照合する画像特徴照合手段と、
を具備したことを特徴とする画像照合装置。
【請求項２】
入力された映像中の画像フレームをキャプチャする画像キャプチャ手段と、
キャプチャされた画像フレームから所定の位置の領域を切り出す画像切出手段と、
切り出された画像領域群から平均画像領域を算出する平均領域算出手段と、
平均画像領域を照合対象画像として画像特徴を抽出する画像特徴抽出手段と、
参照画像特徴記録部に予め記録された参照画像特徴と抽出された前記画像特徴とを照合する画像特徴照合手段と、
を具備したことを特徴とする画像照合装置。
【請求項３】
前記画像キャプチャ手段でキャプチャされた画像フレームを縮小する画像縮小手段を備えた請求項１に記載の画像照合装置。
【請求項４】
前記平均領域算出手段で算出した平均画像領域を縮小する画像縮小手段を備えた請求項２に記載の画像照合装置。
【請求項５】
前記画像切出手段は、画像フレームの画像全体を切り出す請求項１又は請求項２に記載の画像照合装置。
【請求項６】
前記平均フレーム算出手段は、入力される画像フレームが１枚のとき、当該フレームを出力する請求項１に記載の画像照合装置。
【請求項７】
前記画像キャプチャ手段でキャプチャした画像フレーム、又は、前記平均フレーム算出手段で算出した平均画像フレームから特定成分のみを抽出する特定成分抽出手段を備えた請求項１に記載の画像照合装置。
【請求項８】
前記画像キャプチャ手段でキャプチャした画像フレーム、又は、前記平均領域算出手段で算出した平均画像領域から特定成分のみを抽出する特定成分抽出手段を備えた請求項２に記載の画像照合装置。
【請求項９】
前記特定成分抽出手段は、輝度成分のみを抽出する輝度成分抽出手段である請求項７又は請求項８に記載の画像照合装置。
【請求項１０】
前記特定成分抽出手段は、所定の値よりも大きい成分のみを抽出する請求項７又は請求項８に記載の画像照合装置。
【請求項１１】
前記所定の値は、画像フレーム又は平均画像領域内で全画素の所定の割合を占める画素が含まれるよう決定される請求項１０に記載の画像照合装置。
【請求項１２】
前記画像キャプチャ手段でキャプチャされた画像フレーム全体に対して平均画素強度を算出する平均画素強度算出手段を備え、
算出された平均画素強度が所定の値よりも小さい場合に前記画像フレームをキャプチャする請求項１に記載の画像照合装置。
【請求項１３】
前記平均領域算出手段で算出する平均画像領域に対して平均画素強度を算出する平均画素強度算出手段を備え、
算出された平均画素強度が所定の値よりも小さい場合に平均画像領域を算出する請求項２に記載の画像照合装置。
【請求項１４】
前記画像キャプチャ手段でキャプチャされた画像フレーム全体に対して平坦度を測定する平坦度測定手段を備え、
測定された平坦度が所定の値よりも小さい場合に画像フレームをキャプチャする請求項１に記載の画像照合装置。
【請求項１５】
前記平均領域算出手段で算出する平均画像領域に対して平坦度を測定する平坦度測定手段を備え、
測定された平坦度が所定の値よりも小さい場合に平均画像領域を算出する請求項２に記載の画像照合装置。
【請求項１６】
前記平坦度測定手段は、画像フレーム全体のエッジヒストグラムを算出し、所定のビンにおける所定の値を平坦度とする請求項１４の画像照合装置。
【請求項１７】
前記平坦度測定手段は、平均画像領域のエッジヒストグラムを算出し、所定のビンにおける所定の値を平坦度とする請求項１５の画像照合装置。
【請求項１８】
平均フレーム算出部で算出した平均画像フレームを２値化する平均画像２値化手段を備えた請求項１の画像照合装置。
【請求項１９】
平均領域算出部で算出した平均画像領域を２値化する平均画像２値化手段を備えた請求項２の画像照合装置。
【請求項２０】
入力された映像からコマーシャル区間を検出するコマーシャル検出手段を備え、前記コマーシャル区間以外の区間から画像フレームをキャプチャする請求項１又は請求項２に記載の画像照合装置。
【請求項２１】
前記画像特徴抽出手段は、前記照合対象画像の画像モーメントを算出することで画像特徴を抽出する請求項１又は請求項２の画像照合装置。
【請求項２２】
前記画像特徴照合手段は、前記画像特徴の画像モーメントと前記参照画像特徴の画像モーメントとの距離を算出し、距離が最短である画像モーメントを持つ参照画像特徴の識別子を照合結果として出力する請求項２１に記載の画像照合装置。
【請求項２３】
前記画像照合装置は、前記画像特徴抽出手段で抽出した画像特徴から画像フレームの画像特徴代替値を算出する画像特徴代替値算出手段と、前記画像特徴代替値算出手段で算出した画像の画像特徴代替値間の距離を計算し所定値と比較する画像特徴代替値間距離比較手段を備え、
前記参照画像特徴記録部は、
前記画像キャプチャ手段により映像中の画像フレームをキャプチャし、
前記画像特徴抽出手段によりキャプチャされた画像フレームの画像モーメントを算出し、
前記画像特徴代替値算出手段により前記画像モーメントから画像フレームの画像特徴代替値を算出し、
前記画像特徴代替値間距離比較手段により隣接する画像フレームの画像特徴代替値間の距離が所定の大きさ以上の場合に、画像フレームを参照画像フレームとし、該参照画像フレームの画像モーメントを参照画像特徴として記録する
請求項１又は請求項２に記載の画像照合装置。
【請求項２４】
前記画像特徴代替値算出手段により算出する画像特徴代替値は、前記画像モーメントから算出する画像フレームの重心である請求項２３に記載の画像照合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ映像を録画したファイルなどを対象として、同一映像の検出、テレビ放送局のロゴやテレビ番組のロゴの検出により、無断で使用された画像であるかどうかの判断を可能とする画像照合装置に関する。
【背景技術】
【０００２】
従来、テレビ放送受信に際してテレビ放送局のロゴやテレビ番組のロゴを認識する手段が開示されている。
例えば、特許文献１には、画面内で所定の期間変化しない部分をロゴとして登録し、テレビのチャンネル切り替え操作から、受信した映像が表示されるまでの間、該当するテレビ放送局ロゴを表示する装置が開示されている。
【０００３】
また、特許文献２では、コンピュータでテレビ放送を受信している際に、チャンネル切り替え操作に伴い、テレビ放送受信ソフトによって表示される放送局を表すロゴを認識することで、映像の視聴率調査を行う装置が開示されている。
【０００４】
一方、非特許文献１には、テレビ映像から１秒間隔に抽出した画像フレーム群を用いてロゴを検出した上で、予めデータベースに登録されたロゴのいずれかに分類する技術が開示されている。
【０００５】
また、特許文献３及び特許文献４には、無断で使用されたテレビ番組の映像を検出するための技術が開示されている。
特許文献３は、蓄積された映像ファイルに対して注目窓をずらしながら特徴を抽出し、同様にして参照映像ファイルから注目窓をずらしながら抽出した特徴との特徴距離を計算することにより、類似する映像を検索する方法である。
特許文献４は、入力画像フレームから抽出した特徴量を時間軸方向に圧縮し、参照特徴量との間で逐次照合して途中経過を更新しながら、一致する映像シーンを探す方法である。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２９４８８５号公報
【特許文献２】特開２００９−１９４５９２号公報
【特許文献３】特開２００９−２９６４６７号公報
【特許文献４】特開２００４−３３６８０８号公報
【非特許文献】
【０００７】
【非特許文献１】N. OZAYほか、「AUTOMATIC TV LOGO DETECTION AND CLASSIFICATION IN BROADCAST VIDEOS」、EUSIPCO 2009
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１の装置は、ロゴの登録に関しては映像中の特徴を利用するが、ロゴの表示に関しては予めテレビ放送局ロゴとチャンネル番号の紐付けを行うものであり、テレビ映像からロゴを検出するものではない。
また特許文献２の装置は、コンピュータに搭載されたテレビ放送受信ソフトの画面出力を利用したものであり、テレビ映像そのものからのロゴの検出を対象としていない。
すなわち、特許文献１，２に開示されたいずれの装置においても、ファイル化されたテレビ映像からロゴを検出することができなかった。
【０００９】
一方、非特許文献１の装置では、ファイル化されたテレビ映像からロゴを検出することを可能とするが、実用的な検出精度を達成するには６０フレーム程度を利用する必要がある。また、ロゴの検出や分類において複雑な処理が必要となるため装置コストなどの観点で課題があった。
【００１０】
また、特許文献３，４に記載された映像同定方法は、対象とする映像ファイルの画像フレームから、時間方向に特徴量を逐次抽出しながら照合する必要があるため、より多くのメモリ量が必要になり、装置コストが高価になるという課題があった。
【００１１】
本発明は上記実情に鑑みて提案されたもので、ファイル化されたテレビ映像からのロゴ検出や無断使用画像検出において、例えば動画共有サイトでの著作権映像の検閲を行うに際して使用可能とするため、既登録ロゴや既登録画像との照合を行うことでロゴ検出や無断使用画像検出を簡易な処理で行うことが可能な画像照合装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため本発明は、動画共有サイトなどに投稿された映像の中から、テレビ放送局のロゴ、テレビ番組のロゴ、予め登録された画像を検出することで、無断で使用された映像を検索し、排除可能とするものである。
すなわち、請求項１の画像照合装置は、入力された映像中の画像フレームをキャプチャする画像キャプチャ手段と、キャプチャされた複数の画像フレーム群から平均画像フレームを算出する平均フレーム算出手段と、平均画像フレームから所定の位置の領域を切り出す画像切出手段と、切り出された画像領域を照合対象画像として画像特徴を抽出する画像特徴抽出手段と、参照画像特徴記録部に予め記録された参照画像特徴と抽出された前記画像特徴とを照合する画像特徴照合手段と、を具備したことを特徴としている。
【００１３】
請求項２の画像照合装置は、入力された映像中の画像フレームをキャプチャする画像キャプチャ手段と、キャプチャされた画像フレームから所定の位置の領域を切り出す画像切出手段と、切り出された画像領域群から平均画像領域を算出する平均領域算出手段と、平均画像領域を照合対象画像として画像特徴を抽出する画像特徴抽出手段と、参照画像特徴記録部に予め記録された参照画像特徴と抽出された前記画像特徴とを照合する画像特徴照合手段と、を具備したことを特徴としている。
【００１４】
請求項３は、請求項１の画像照合装置において、前記画像キャプチャ手段でキャプチャされた画像フレームを縮小する画像縮小手段を備えたことを特徴としている。
【００１５】
請求項４は、請求項２の画像照合装置において、前記平均領域算出手段で算出した平均画像領域を縮小する画像縮小手段を備えたことを特徴としている。
【００１６】
請求項５は、請求項１又は請求項２の画像照合装置において、前記画像切出手段は、画像フレームの画像全体を切り出すことを特徴としている。
【００１７】
請求項６は、請求項１の画像照合装置において、前記平均フレーム算出手段は、入力される画像フレームが１枚のとき、当該フレームを出力することを特徴としている。
【００１８】
請求項７は、請求項１の画像照合装置において、前記画像キャプチャ手段でキャプチャした画像フレーム、又は、前記平均フレーム算出手段で算出した平均画像フレームから特定成分のみを抽出する特定成分抽出手段を備えたことを特徴としている。
【００１９】
請求項８は、請求項２の画像照合装置において、前記画像キャプチャ手段でキャプチャした画像フレーム、又は、前記平均領域算出手段で算出した平均画像領域から特定成分のみを抽出する特定成分抽出手段を備えたことを特徴としている。
【００２０】
請求項９は、請求項７又は請求項８の画像照合装置において、前記特定成分抽出手段は、輝度成分のみを抽出する輝度成分抽出手段であることを特徴としている。
【００２１】
請求項１０は、請求項７又は請求項８の画像照合装置において、前記特定成分抽出手段は、所定の値よりも大きい成分のみを抽出することを特徴としている。
【００２２】
請求項１１は、請求項１０の画像照合装置において、前記所定の値は、画像フレーム又は平均画像領域内で全画素の所定の割合を占める画素が含まれるよう決定されることを特徴としている。
【００２３】
請求項１２は、請求項１の画像照合装置において、前記画像キャプチャ手段でキャプチャされた画像フレーム全体に対して平均画素強度を算出する平均画素強度算出手段を備え、算出された平均画素強度が所定の値よりも小さい場合に前記画像フレームをキャプチャすることを特徴としている。
【００２４】
請求項１３は、請求項２の画像照合装置において、前記平均領域算出手段で算出する平均画像領域に対して平均画素強度を算出する平均画素強度算出手段を備え、算出された平均画素強度が所定の値よりも小さい場合に平均画像領域を算出することを特徴としている。
【００２５】
請求項１４は、請求項１の画像照合装置において、前記画像キャプチャ手段でキャプチャされた画像フレーム全体に対して平坦度を測定する平坦度測定手段を備え、測定された平坦度が所定の値よりも小さい場合に画像フレームをキャプチャすることを特徴としている。
【００２６】
請求項１５は、請求項２の画像照合装置において、前記平均領域算出手段で算出する平均画像領域に対して平坦度を測定する平坦度測定手段を備え、測定された平坦度が所定の値よりも小さい場合に平均画像領域を算出することを特徴としている。
【００２７】
請求項１６は、請求項１４の画像照合装置において、前記平坦度測定手段は、画像フレーム全体のエッジヒストグラムを算出し、所定のビンにおける所定の値を平坦度とすることを特徴としている。
【００２８】
請求項１７は、請求項１５の画像照合装置において、前記平坦度測定手段は、平均画像領域のエッジヒストグラムを算出し、所定のビンにおける所定の値を平坦度とすることを特徴としている。
【００２９】
請求項１８は、請求項１の画像照合装置において、平均フレーム算出部で算出した平均画像フレームを２値化する平均画像２値化手段を備えたことを特徴としている。
【００３０】
請求項１９は、請求項２の画像照合装置において、平均領域算出部で算出した平均画像領域を２値化する平均画像２値化手段を備えたことを特徴としている。
【００３１】
請求項２０は、請求項１又は請求項２の画像照合装置において、入力された映像からコマーシャル区間を検出するコマーシャル検出手段を備え、前記コマーシャル区間以外の区間から画像フレームをキャプチャすることを特徴としている。
【００３２】
請求項２１は、請求項１又は請求項２の画像照合装置において、前記画像特徴抽出手段は、前記照合対象画像の画像モーメントを算出することで画像特徴を抽出することを特徴としている。
【００３３】
請求項２２は、請求項２１の画像照合装置において、前記画像特徴照合手段は、前記画像特徴の画像モーメントと前記参照画像特徴の画像モーメントとの距離を算出し、距離が最短である画像モーメントを持つ参照画像特徴の識別子を照合結果として出力することを特徴としている。
【００３４】
請求項２３は、請求項１又は請求項２の画像照合装置において、前記画像照合装置は、前記画像特徴抽出手段で抽出した画像特徴から画像フレームの画像特徴代替値を算出する画像特徴代替値算出手段と、前記画像特徴代替値算出手段で算出した画像の画像特徴代替値間の距離を計算し所定値と比較する画像特徴代替値間距離比較手段を備え、
前記参照画像特徴記録部は、
前記画像キャプチャ手段により映像中の画像フレームをキャプチャし、
前記画像特徴抽出手段によりキャプチャされた画像フレームの画像モーメントを算出し、
前記画像特徴代替値算出手段により前記画像モーメントから画像フレームの画像特徴代替値を算出し、
前記画像特徴代替値間距離比較手段により隣接する画像フレームの画像特徴代替値間の距離が所定の大きさ以上の場合に、画像フレームを参照画像フレームとし、該参照画像フレームの画像モーメントを参照画像特徴として記録することを特徴としている。
【００３５】
請求項２４は、請求項２３の画像照合装置において、前記画像特徴代替値算出手段により算出する画像特徴代替値は、前記画像モーメントから算出する画像フレームの重心であることを特徴としている。
【発明の効果】
【００３６】
本発明の画像照合装置によれば、動画共有サイトなどに投稿された映像のうち、無断で使用された映像の検出（画像検出）や、テレビ放送局やテレビ番組のロゴの検出（ロゴ検出）を低コスト且つ正確に行うことで、テレビ映像を録画した投稿映像を照合可能とする。そして、これらの投稿映像が排除されることで、テレビ放送局が作成した映像が無断で使用されることを防止することができる。
【００３７】
画像照合装置に対して、キャプチャされた画像フレームや算出した平均画像領域を縮小する画像縮小手段を備えることで、画像メモリに格納される画像フレームや平均画像領域のデータ量の削減を図ることができる。
【００３８】
画像照合装置の画像切出手段について、画像フレームの画像全体を切り出すように構成することで、画像検出を行う照合装置とすることができる。
【００３９】
画像キャプチャ手段でキャプチャした画像フレーム、又は、平均フレーム算出手段で算出した平均画像フレームから輝度成分等の特定成分のみを抽出する特定成分抽出手段を備えることで、処理コストの削減を図ることができる。
【００４０】
画像キャプチャ手段でキャプチャされた画像フレームや平均領域算出手段で算出する平均画像領域に対して、平均画素強度を算出する平均画素強度算出手段を備えることで、ロゴ検出におけるロゴの可視性を高めることができる。
【００４１】
画像キャプチャ手段でキャプチャされた画像フレームや平均領域算出手段で算出する平均画像領域に対して、平坦度を測定する平坦度測定手段を備えることで、ロゴ検出におけるロゴ付近のノイズ低減を図ることができる。
【００４２】
平均フレーム算出部で算出した平均画像フレームや、平均領域算出部で算出した平均画像領域を２値化する平均画像２値化手段を備えることで、画像特徴抽出手段で画像特徴を抽出する際にノイズを低減することができる。
【００４３】
入力された映像からコマーシャル区間を検出するコマーシャル検出手段を備えることで、コマーシャル区間以外の区間から画像フレームをキャプチャしてロゴ検出の精度を高くすることができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の画像照合装置の第１の実施例の構成を示すブロック図である。
【図２】本発明の画像照合装置の第２の実施例の構成を示すブロック図である。
【図３】本発明の画像照合装置の第３の実施例の構成を示すブロック図である。
【図４】本発明の画像照合装置の第４の実施例の構成を示すブロック図である。
【図５】図４の画像照合装置における参照画像特徴記録部へ記録される参照画像記録の生成手順を示すフローチャート図である。
【発明を実施するための形態】
【００４５】
本発明は、入力される映像より抽出したロゴと予め記録されているロゴ（参照画像特徴）とを照合することでロゴ検出を行う装置と、入力される映像と予め記録されている映像（参照画像特徴）とを照合することでコピー検出を行う画像照合装置に具現化することができる。
【００４６】
先ず、ロゴ検出を行う画像照合装置の第１の実施例について、図１を参照しながら説明する。
この画像照合装置において、入力されることで画像照合を行う映像は、ファイル化された映像を対象として説明するが、ファイルの形式は任意でよい。また、映像単体のファイルでもよく、音響や字幕その他のデータが多重化されているファイルであってもよい。更に、画像照合装置で取り込みが可能な形式であれば、ファイル化されていなくてもよい。
【００４７】
画像照合装置１０は、例えばインターネットに接続されたユーザ端末から投稿映像をサイトに送信する場合、前記サイトを管理するサーバ内等に設けることで、投稿映像中に無断で使用する映像が含まれているかを照合する検査が可能なように構成されている。
そして、画像照合装置１０は、投稿映像が入力される映像データ読込部１１と、投稿映像を静止画データ化する画像キャプチャ部１２と、静止画データ化した画像を記録する画像メモリ１３と、静止画データ化した複数画像を平均化する平均フレーム算出部１４と、平均化された画像から一部領域を切り出す画像切出部１５と、一部領域から画像特徴を抽出する画像特徴抽出部１６と、照合する画像特徴を予め記録する参照画像特徴記録部１７と、画像同士の照合を行う画像特徴照合部１７と、照合結果を記録する照合結果記録部１９とを備えて構成されている。
【００４８】
映像データ読込部１１には、画像照合を行う対象となる投稿映像が入力される。投稿映像のファイル形式は上述したように任意でよい。
【００４９】
画像キャプチャ部１２は、入力された投稿映像を構成する画像フレームを任意の間隔でキャプチャ（静止画データ化）する。キャプチャの際には、例えば映像ファイルに含まれる全ての画像フレームを静止画データ化の対象とする。また、画像フレームを記録する画像メモリ１３の容量を小さくするため、例えば（１）Ｎ秒単位（Ｎ＞０）でキャプチャする、（２）映像ファイル内で予め決められた総数Ｘフレーム（Ｘ＞０）をキャプチャする、（３）映像における「ショット」や「シーン」などの意味的単位で非等間隔にキャプチャする、等により行ってもよい。
前記した「ショット」は、単一のカメラ操作で撮影された連続するフレーム群である。また、前記した「シーン」は、同じ意味や状況を共有する連続したショット群である。
【００５０】
画像メモリ１３は、画像キャプチャ部１２でキャプチャされた複数の画像フレームから構成される画像フレーム群を格納するものである。
【００５１】
平均フレーム算出部１４は、画像メモリ１３に記録された画像フレーム群から、平均画像フレームを算出する。平均画像フレームの算出手段としては、画像フレーム群における同位置の画素値を累計した値を、キャプチャされた画像フレームの総数で除することにより実現できる。また、上述した「シーン」や「ショット」などの非等間隔でキャプチャされた場合には、対象となる「ショット」や「シーン」の長さなどによって重み付けして平均画像フレームを算出することもできる。
【００５２】
例えば、あるショットＳの長さをＴＳ、ショットＳにおいてキャプチャした画像フレームの座標（ｘ，ｙ）における画素強度（または画素値）をＦＳ（ｘ，ｙ）とするとき、平均画像フレームの画素強度Ａ（ｘ，ｙ）は、以下の式（数１）で算出できる。
算出された平均画像フレームは、再度画像メモリ１３に格納される。
【００５３】
Ａ（ｘ，ｙ）＝ΣＳ｛ＴＳ×ＦＳ（ｘ，ｙ）｝／ΣＳＴＳ（数１）
【００５４】
画像切出部１５は、画像メモリ１３に格納された平均画像フレームから、所定の位置の画像領域を切り出すものである。現在、日本の地上波デジタル放送における放送局のロゴは、通常、画像フレームの右上部分に挿入されている。また、番組のロゴも番組ごとに決まった位置に挿入されている。画像フレームからロゴを検出するためには、ロゴのみが含まれる画像領域を切り出して、当該画像領域から抽出できる画像特徴を用いればよい。そのため、画像切出部１５によりロゴが出現する付近の画像領域を切り出す。
また、地上波アナログ放送においては、画像フレームの右上部分に「アナログ」という文字列が挿入されているため、これをロゴと解釈することでデジタル放送とアナログ放送のどちらにも適用することができる。
【００５５】
画像特徴抽出部１６は、画像切出部１５で切り出された画像領域を照合対象画像として画像特徴を抽出するものである。ロゴは２次元形状であるため、形状に関する任意の画像特徴を抽出することができ、例えば照合対象画像から画像モーメントを算出することで画像特徴を抽出することができる。画像モーメントは、物理学におけるモーメントを抽象化した概念であり、２次元画像Ｆ（ｘ，ｙ）の（ｍ＋ｎ）次モーメントＭｍｎは以下の式（数２）で表わされる。
【００５６】
Ｍｍｎ＝ΣｘΣｙｘｍｙｎＦ（ｘ，ｙ）（数２）
【００５７】
また、（Ｍ１０／Ｍ００，Ｍ０１／Ｍ００）は重心を表し、この重心に対する重心モーメントμｍｎは、平行移動に不変である。重心モーメントμｍｎは、以下の式（数３）で表わされる。
【００５８】
μｍｎ＝ΣｘΣｙ（ｘ−Ｍ１０／Ｍ００）ｍ（ｙ−Ｍ０１／Ｍ００）ｎＦ（ｘ，ｙ）（数３）
【００５９】
更に、μ００で正規化された重心モーメントηｉｊ（ｉ＋ｊ≧２）は、拡大縮小に不変である。正規化重心モーメントηｉｊは、以下の式（数４）で表わされる。
【００６０】
ηｉｊ＝μｉｊ／μ００｛１＋（ｉ＋ｊ）／２｝（数４）
【００６１】
参照画像特徴記録部１７は、投稿映像と照合を行うロゴの画像特徴を参照画像特徴として予め記録するものである。参照画像特徴は、オリジナルの高解像度（例えばフルハイビジョン解像度）のテレビ映像からロゴ部分の領域を抽出したものを利用することが望ましいが、これに限定されない。
【００６２】
画像特徴照合部１８は、参照画像特徴記録部１７の参照画像特徴と、画像特徴抽出部１６で画像領域から抽出した画像特徴とを照合を行うものである。
正規化重心モーメントηｉｊは拡大縮小に不変であるため、例えば予め記録しておく参照画像領域を高解像度とすることで、入力された投稿映像が動画共有サイトへの投稿を目的として低解像度化（例えばＱＶＧA〜ＶＧＡ解像度）されていても、正しく照合することができる。
また、画像特徴の参照画像領域は、平行移動に不変であるため、例えば画像切り出しの位置が照合対象画像の画像領域と参照画像領域で異なっていても、正しく照合することができる。
【００６３】
画像特徴照合部１８では、前記切り出された画像領域から抽出された正規化重心モーメントをｑηｉｊとし、別途記録された参照画像領域の正規化重心モーメントをｒηｉｊとしたとき、それらの距離を算出し、その距離が最小となる参照画像領域が、入力された画像領域と合致すると判断する。すなわち、画像特徴の画像モーメントと参照画像特徴の画像モーメントとの距離を算出し、距離が最短である画像モーメントを持つ参照画像特徴の識別子を照合結果として出力する。このとき、ｉ，ｊ（ｉ＋ｊ≧２）は任意のものを使用することができる。
例えば、正規化重心モーメントとしてη０２とη２０を用いる場合、そのＬ２距離ｄは、以下の式（数５）で表わされる。
【００６４】
ｄ＝√｛（ｑη０２−ｒη０２）２＋（ｑη２０−ｒη２０）２｝（数５）
【００６５】
照合結果記録部１９は、画像特徴照合部１８から出力される照合結果を記録する。また、画像照合装置１０が設置されている管理サーバ内において、照合結果記録部１９の結果を受け、投稿画像（切り出された画像領域から抽出された画像特徴）が参照画像（参照画像特徴）と一致した場合は、当該投稿映像の削除等の処理が行なわれる。
【００６６】
本発明の画像照合装置の第２の実施例について、図２を参照しながら説明する。
図２の画像照合装置は、図１の画像照合装置と同様にロゴ検出を行う装置であるが、テレビロゴ検出の検出精度をより高めるために、投稿映像からコマーシャル部分を検出するコマーシャル検出部２１、キャプチャする画像フレームの平均画素強度を算出する平均画素強度算出部２２、キャプチャする画像フレームの平坦度を測定する平坦度測定部２３、平均フレーム算出部１４で得た値を２値化する平均領域２値化部２４を備えている。他の構成は、図１の画像照合装置と同一であり、同一構成を採る部分については、同一符号を付している。
【００６７】
コマーシャル検出部２１は、入力された投稿映像からコマーシャル区間を検出し、その区間以外の区間から画像フレームをキャプチャする対象として以降の処理を行う。すなわち、放送局が放送する番組の映像において、放送局ロゴや番組ロゴは、通常、番組映像そのものには含まれるがコマーシャル区間には含まれないので、その区間以外の区間からの画像フレームをキャプチャするようにする。
【００６８】
ロゴが含まれないコマーシャル区間の画像フレームをキャプチャすると、平均画像フレームを作成する際にロゴの画像成分が弱まってしまうため、予めコマーシャル区間を検出してコマーシャル区間の画像フレームをキャプチャ対象から外すことで、ロゴ検出の精度を高くすることができる。
コマーシャル区間の検出には、公知の技術が用いられ、例えば特開２００４−１２８５５０に開示されている手段などを適用することにより達成される。
【００６９】
平均画素強度算出部２２は、画像フレームの平均画素強度を算出することで画像フレームの特性を評価し、この平均画素強度によりキャプチャする画像フレームを適応的に選択するものである。平均画素強度算出部２２は、キャプチャする画像フレーム全体の平均画素強度を算出する。
例えば、日本の地上波デジタル放送における放送局ロゴや地上波アナログ放送における「アナログ」ロゴは、半透明のロゴとして番組の画面に挿入されている。半透明ロゴの場合、ロゴの背景領域の特性に依存して可視性が変化する。すなわち、ロゴの背景領域の画素強度が高い（明るい）場合には、半透明ロゴは可視性が低くなる。逆に、ロゴの背景領域の画素強度が低い（暗い）場合には、半透明ロゴは可視性が高くなる。これ以降の画像キャプチャ部１２で行われる画像フレームのキャプチャにおいて、算出された平均画素強度を考慮して画像フレームの選択を行うようにすれば、キャプチャされた各画像フレームにおいてロゴの可視性を高めておくことが可能となる。
すなわち、例えばキャプチャする画像フレームの平均画素強度Ｉを算出し、平均画素強度Ｉが所定の閾値ＴＨＩよりも大きい場合にはキャプチャをせず次の画像フレームを選択し、平均画素強度Ｉが当該閾値よりも小さい場合にのみ画像をキャプチャすることによって、平均画像フレーム作成時に半透明ロゴを顕著にすることができる。
【００７０】
平坦度測定部２３は、投稿映像においてロゴが出現する付近の領域に存在するノイズを除去するために、キャプチャされた画像フレームの平坦度Ｅを測定するものであり、画像キャプチャ部１２では、キャプチャする画像フレームの平坦度Ｅを参照して適応的に選択することが行われるようにしてもよい。測定された平坦度が所定の値よりも小さい場合に画像フレームをキャプチャする。
例えば、平坦度Ｅが所定の閾値ＴＨＥよりも大きい場合にはキャプチャをせず次の画像フレームを選択し、平坦度Ｅが当該閾値よりも小さい場合にのみ画像をキャプチャすることによって、平均画像フレーム作成時に半透明のロゴ付近のノイズを低減させることができる。
【００７１】
平坦度Ｅは、エッジヒストグラムを用いて測定することができる。すなわち、対象となる画像フレーム全体において、ＭＰＥＧ−７などで規定されているエッジヒストグラムを算出し、例えば全てのビンの平均値を平坦度Ｅと設定することができる。平坦度Ｅが所定の閾値ＴＨＥより小さいことは、有効なエッジ成分が含まれないことを意味するため、結果としてロゴ以外には有効なエッジが含まれない領域を選択することができる。その他、画像フレーム内の特徴点（コーナー）の数や、周波数領域における高周波成分のエネルギー総和などを利用して、平坦度Ｅを測定できる。
【００７２】
平均領域２値化部２４は、平均フレーム算出部１４で算出された平均画像フレームのデータを２値化するものであり、２値化された平均画像フレームデータは画像メモリ１３に格納される。平均画像フレームの２値化を行うことで、画像特徴抽出部１６で画像特徴を抽出する際にノイズを低減することができる。
【００７３】
図１及び図２の画像照合装置では、平均フレーム算出部１４で算出する平均画像フレームは、画像フレームを構成する全ての色成分や輝度成分・色差成分に対して計算することを想定しているが、画像メモリ１３の容量や平均フレーム算出部１４での画像フレームの算出コストを考慮して、特定の成分だけを抽出するように構成してもよい。
例えば、図１の画像照合装置の場合、画像キャプチャ部１２の次段にキャプチャされた画像フレームから特定成分のみを抽出する特定成分抽出手段として輝度成分抽出部（図示せず）を備えることで、輝度成分に関するデータから構成される画像フレームを画像メモリ１３に格納することができ、以降のデータ処理について、輝度成分のデータのみで算出、抽出、照合が可能となる。
【００７４】
また、この輝度成分抽出部は、予め設定した所定の値よりも大きい成分のみを抽出するようにする。所定の値は、画像キャプチャ部１２でキャプチャされる画像フレーム内で全画素の所定の割合を占める画素が含まれるよう決定される。
上述の例では、特定成分抽出手段を輝度成分のみを抽出する輝度成分抽出部としたが、他の色成分や輝度成分・色差成分を抽出するものであってもよい。
【００７５】
本発明の画像照合装置の第３の実施例について、図３を参照しながら説明する。
図３の画像照合装置は、図１の画像照合装置と同様にロゴ検出を行う装置であるが、装置コストをより軽減するために、図１の画像切出部１５を画像キャプチャ部１２の次に配置された画像切出部３１と輝度成分抽出部３２を備える。また、図１の平均フレーム算出部１４に代えて、切り出された画像領域群から平均画像領域を算出する平均領域算出部３３を備えている。また、画像特徴抽出部１６は、平均領域算出部３３で算出した平均画像領域を照合対象画像として画像特徴を抽出する。
この例によれば、輝度成分抽出部３２を備えることで、画像切出部３１で切り出された画像領域から輝度成分だけを抽出して、輝度成分に関する平均画像領域を算出することができる。他の構成は、図１及び図２の画像照合装置と同一であり、同一構成を採る部分については、同一符号を付している。
【００７６】
この構成により、先ず、映像データ読込部１１で投稿映像が読み込まれ、画像をキャプチャした後に、ロゴの出現が予想される領域付近を切り出し、輝度成分に関する画像フレームが画像メモリ１３に格納される。
上述した構成の装置によれば、画像メモリ１３に格納されるデータは画像切出部３１で切り取られた画像フレームの一部領域となるので、画像メモリ１３への格納量を削減できるだけでなく、平均領域算出部３３での平均画像領域の算出コストや、画像特徴抽出部１６での画像特徴の抽出コストの低減を図ることができる。
また、輝度成分抽出部３２は、平均領域算出部３３の出力側に設けてもよい。
【００７７】
また、図２の画像照合装置に設けた平均画素強度算出部及び平坦度測定部を平均領域算出部３３の出力側に備えるようにしてもよい。平均画素強度算出部は、平均領域算出部３３で算出した平均画像領域に対して、平均画素強度を算出する。この場合、算出された平均画素強度が所定の値よりも小さい場合に平均画像領域を算出する。
平坦度測定部は、平均領域算出部３３で算出した平均画像領域に対して平坦度を測定し、測定された平坦度が所定の値よりも小さい場合に平均画像領域を算出する。
平坦度測定部は、平均領域算出部３３で算出した平均画像領域のエッジヒストグラムを算出し、所定のビンにおける所定の値を平坦度とすることで算出する。
【００７８】
また、図２の画像照合装置に設けた平均画像２値化部を平均領域算出部３３の出力側に備えてもよい。平均画像２値化部は、平均領域算出部３３で算出した平均画像領域を２値化する。
【００７９】
図１乃至図３の画像照合装置においては、キャプチャされた画像フレームや画像メモリ１３に格納されるデータは、縮小することなく使用するが、処理工程においてデータの縮小技術を用いることができる。
例えば、図１及び図２の画像照合装置においては、画像キャプチャ部１２の次段でキャプチャされた画像フレームを縮小する画像縮小手段を備えることで、画像メモリ１３に格納される画像フレームのデータ量を削減することができる。
また、図３の画像照合装置においては、平均領域算出部３３で算出した平均画像領域を縮小する画像縮小手段を備えることで、画像メモリ１３に格納される画像フレームの平均領域のデータ量を削減することができる。画像縮小手段は、画像メモリ１３に格納されるデータ量を削減するだけでなく、画像特徴抽出部１６での画像特徴の抽出コストを低減することにも寄与する。
【００８０】
本発明の画像照合装置の第４の実施例について、図４を参照しながら説明する。
図４の画像照合装置は、図１乃至図３の画像照合装置が投稿映像からロゴを検出して既知のロゴと照合を行う装置であるのに対して、入力される投稿映像から画像を抽出し、予め記録されている画像との照合を行う映像同定を目的とした画像照合装置である。
図４の画像照合装置では、画像キャプチャ部１２の後段側に画像縮小部４１及び輝度成分抽出部３２を設けて構成されている。
また、参照画像特徴記録部１７に画像の参照画像特徴のうち代表的なものだけを記録するための画像特徴代替値算出部４３及び画像特徴代替値間距離比較部４５を設けている。他の構成は、図１乃至図３の画像照合装置と同一であり、同一構成を採る部分については、同一符号を付している。なお、図４の構成は、画像照合を行う手段と、画像照合に必要な参照画像特徴の記録を行う手段とが含まれており、いずれかまたは両方が動作する３通りの様態がある。
【００８１】
画像縮小部４１は、画像キャプチャ部１２でキャプチャされた画像フレームについて、以降の処理負荷を軽減するために縮小画像フレームを作成するものである。
輝度成分抽出部３２は、図３の画像照合装置における輝度成分抽出部３２と同じ構成である。
【００８２】
画像特徴代替値算出部４３は、参照画像特徴記録部１７における参照画像特徴のデータベースを作成するため、予め登録する画像に対して画像特徴抽出部１６で画像特徴から算出した画像モーメントから画像フレームの重心等の画像特徴代替値を算出する。画像特徴代替値としては、重心以外にも任意次数の画像モーメントの任意の組み合わせを利用することができる。
画像特徴代替値間距離比較部４５は、隣接する２枚の画像フレームで算出された重心等の画像特徴代替値間の距離を計算し、この距離がある大きさ以上である場合に、参照画像特徴の画像モーメントとして参照画像特徴記録部１７に記録する。
【００８３】
図４の画像照合装置によれば、図１乃至図３のロゴ検出とは異なり、対象となる投稿映像がデータベースとなる参照画像特徴記憶部１７に予め登録された画像特徴と一致するかどうかを判定する。これにより、許諾を得ていない無断使用の映像などが投稿画像に含まれているかを検出することができる。
【００８４】
この装置では、映像ファイルに含まれる画像フレームの画像特徴が、予め登録されている画像ファイルの参照画像特徴と一致しているかどうかを判定するため、投稿映像の映像ファイルから画像キャプチャ部１２でキャプチャする画像フレームは１枚でよい。
この画像フレームは、処理負荷を軽減するため画像縮小部４１で縮小画像フレームが作成され、さらに輝度成分抽出部３２において縮小画像フレームから輝度成分を抽出する。このとき、単一の画像フレームとして有する特徴を顕著にするために、例えば縮小画像フレーム内で全画素の１０％程度が含まれる閾値を設定し、それ以上の輝度値を持つ画素を有効領域として抽出する。また、図１乃至図３の画像照合装置のように、ロゴ検出を行わないので、画像フレームから一部領域を切り出す画像切出部（図１及び図２の画像切出部１５、図３の画像切出部３１）も必要ない。ただし、ピクチャインピクチャとして異なる映像に重畳されている映像に対する同定を行うために、画像切出部を具備してもよい。
【００８５】
図４の画像照合装置では、画像縮小部４１は輝度成分抽出部３２の前段に配置しているが、後段に配置してもよい。尚、この例では、投稿映像から１枚のみ画像フレームをキャプチャし、画像特徴抽出部１６で画像の特徴を抽出した後に画像特徴照合部１８においてこの画像フレームと参照画像特徴記録部１７に既登録の画像との照合を行うので、平均フレーム算出部１４では、入力された画像フレームがそのまま同じ状態で出力されるように構成している。これは、ソフトの書き換え等により映像同定とロゴ検出のどちらの画像照合装置にも使用可能な構成とするためであり、映像同定にのみ使用する画像照合装置であれば、平均フレーム算出部１４に代えて画像メモリ１３内に読み込まれる投稿映像から１枚の画像フレームを記録する画像フレーム記録部を備えた構成であってもよい。
画像特徴抽出部１６、画像特徴照合部１８、照合結果記録部１９における処理は、既に説明した画像照合装置と同様である。
【００８６】
次に、図４に示した映像同定を目的とした画像照合装置の参照画像特徴記録部１７に予め記録される参照画像特徴の生成手順について、図５を参照しながら説明する。
参照画像特徴記録部１７への記録は、画像照合装置における映像データ読込部１１、映像キャプチャ部１２、輝度成分抽出部３２、画像特徴抽出部１６、画像特徴代替値算出部４３、画像特徴代替値間距離比較部４５によって行われる。画像特徴抽出部１６からの出力は、参照画像特徴記録部１７へ直接記録することもできるが、参照画像特徴の記録容量を減らす目的で代表的な参照画像特徴のみを記録する構成が考えられ、これは画像特徴代替値算出部４３と画像特徴代替値間距離比較部４５を用いて達成される。
【００８７】
参照画像特徴記録部１７への複数の参照画像特徴の記録は、放送局の番組等の映像を予め読み込ませることで行われる。この映像読込は、予め行われているものとする。
先ず、映像データ読込部１１から映像データを読み込み（ステップ５１）、画像キャプチャ部１２で画像フレームをキャプチャし（ステップ５２）、輝度成分抽出部３２により輝度成分を抽出したデータとし（ステップ５３）、画像特徴抽出部１６で画像特徴としての画像モーメントを算出する（ステップ５４）。ここまでの手順は、投稿映像からの画像特徴抽出と同一であるが、この参照画像特徴はオフラインで作成されることから、画像縮小部１２による画像フレームの縮小は省略される。
【００８８】
続いて、画像特徴代替値算出部４３によりこの画像モーメントから画像フレームの重心を算出する（ステップ５５）。
そして、画像特徴代替値間距離比較部４５において、前記した重心（Ｍ１０／Ｍ００，Ｍ０１／Ｍ００）を用いて、隣接する２枚の画像フレームにおける重心間の距離を計算し、予め設定された値と比較する（ステップ５６）。
この距離がある大きさ以上である場合、例えば画像フレームの幅、高さに対して、それぞれその１／１０よりも距離が離れているときに、画像特徴が変化したとみなす。
そして当該画像フレームを新たな参照画像として順次記録し、その画像特徴である画像モーメントを参照画像特徴として参照画像特徴記録部１７に登録する（ステップ５７）。
【００８９】
上述した図１〜図４の画像照合装置例においては、図１〜図３はロゴ検出を行う画像照合装置として説明したが、図１及び図２の画像切出部１５や図３の画像切出部３１について、画像フレームの画像全体を切り出すように構成すれば、画像検出の画像照合装置として使用できる。なお、この場合、参照画像特徴記録部１７に記録されている参照画像特徴は、ロゴの画像ではなく図４で示したような画像フレームの特徴量（画像モーメント）であることが必要である。
【００９０】
また、図１〜図３の画像照合装置を映像同定の画像照合装置として使用する場合、処理負荷を軽減するために、図４で説明した画像縮小部４１を適宜位置に設けるようにしても良い。
例えば、図１〜図３の画像照合装置の場合、画像キャプチャ部１２の出力側に画像フレームを縮小する画像縮小部を設けてもよい。図２の画像照合装置の場合は、平均領域算出部３３の出力側に平均画像領域を縮小する画像縮小部を設けてもよい。
【００９１】
上述した各画像照合装置によれば、テレビ放送で使用されるロゴ表示を検出したり、映像画像の画像フレームを映像同定することにより、動画共有サイトなどに投稿された映像データ（投稿映像）の中から、予め登録された放送局ロゴや番組ロゴ、放送番組の映像特徴を検出することで、該当する放送局の番組映像が無断で使用されることを知見することが可能となる。
【符号の説明】
【００９２】
１０…画像照合装置、  １１…映像データ読込部、  １２…画像キャプチャ部、  １３…画像メモリ、  １４…平均フレーム算出部、  １５…画像切出部、  １６…画像特徴抽出部、  １７…参照画像特徴記録部、  １８…画像特徴照合部、  １９…照合結果記録部、  ２１…コマーシャル検出部、  ２２…平均画素強度算出部、  ２３…平坦度測定部、  ２４…平均画像２値化部、  ３１…画像切出部、  ３２…輝度成分抽出部、  ３３…平均領域算出部、  ４１…画像縮小部、  ４３…画像特徴代替値算出部、  ４５…画像特徴代替値間距離比較部。
【図１】
2011203790.tif 000003
【図２】
2011203790.tif 000004
【図３】
2011203790.tif 000005
【図４】
2011203790.tif 000006
【図５】
2011203790.tif 000007