(57)【要約】  本発明は、フィンガープリントに基づく広告検出システム及び方法に関するものであって、放送コンテンツをリアルタイムで保存するコンテンツストリーム保存部と、前記コンテンツストリーム保存部によって保存された放送コンテンツの中でリファレンス区間とテスト区間を選択する区間選択部と、前記区間選択部によって選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出するフィンガープリント抽出部と、前記フィンガープリント抽出部で抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントを比較してマッチングを行うフィンガープリントマッチング部と、前記フィンガープリントマッチング部で行われたマッチング結果に基づいてテスト区間から広告セグメントを決める広告区間決定部と、前記広告区間決定部によって決定された広告セグメントに対するセグメント情報を広告データベースに保存し、広告データベースを管理する広告データベース管理部と、前記区間選択部で選択されたリファレンス区間とテスト区間を変更する区間更新部を含むフィンガープリントに基づく広告検出システム及びこれを用いた方法を提供する。【選択図】図１
2016524875.tif 000002
【特許請求の範囲】
【請求項１】
フィンガープリントに基づく広告検出システムであって、
放送コンテンツをリアルタイムで保存するコンテンツストリーム保存部と、
前記コンテンツストリーム保存部によって保存された放送コンテンツの中でリファレンス区間とテスト区間を選択する区間選択部と、
前記区間選択部によって選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出するフィンガープリント抽出部と、
前記フィンガープリント抽出部で抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントとを比較してマッチングを行うフィンガープリントマッチング部と、
前記フィンガープリントマッチング部で行われたマッチング結果に基づいて、テスト区間から広告セグメントを決める広告区間決定部と、
前記広告区間決定部によって決定された広告セグメントに対するセグメント情報を広告データベースに保存し、広告データベースを管理する広告データベース管理部と、
前記区間選択部で選択されたリファレンス区間とテスト区間を変更する区間更新部と、
を含むフィンガープリントに基づく広告検出システム。
【請求項２】
前記区間分割部は、前記コンテンツストリーム保存部によって保存された放送コンテンツの中で最も最近に保存された始点から所定時間区間をテスト区間に選択し、前記テスト区間の終点から所定時間区間をリファレンス区間に選択することを特徴とする請求項１に記載のフィンガープリントに基づく広告検出システム。
【請求項３】
前記テスト区間は、前記リファレンス区間よりも時間の長さが短いことを特徴とする請求項２に記載のフィンガープリントに基づく広告検出システム。
【請求項４】
前記フィンガープリント抽出部は、
前記リファレンス区間とテスト区間をそれぞれ予め設定された時間の長さだけの単位区間に分割して各単位区間に対してフィンガープリント抽出方式のいずれかの方式によりフィンガープリントを抽出し、
前記フィンガープリントマッチング部は、
前記テスト区間のそれぞれの単位区間に対して抽出されたフィンガープリントとリファレンス区間のすべての単位区間に対して抽出されたフィンガープリントを比較する過程をテスト区間のすべての単位区間に対して行うことにより、マッチングを行うこと、
を特徴とする請求項１に記載のフィンガープリントに基づく広告検出システム。
【請求項５】
前記単位区間の始点は、時間の長さＳだけ間隔を持つことを特徴とする請求項４に記載のフィンガープリントに基づく広告検出システム。
【請求項６】
前記単位区間の始点との間の時間の長さＳは、前記単位区間の時間長さよりも短いことを特徴とする請求項５に記載のフィンガープリントに基づく広告検出システム。
【請求項７】
前記広告区間決定部は、
前記フィンガープリントマッチング部のマッチング遂行結果によってリファレンス区間の単位区間とマッチングされるテスト区間の連続する単位区間を広告セグメントに決めることを特徴とする請求項４に記載のフィンガープリントに基づく広告検出システム。
【請求項８】
前記フィンガープリント抽出部は、
前記広告セグメントとリファレンス区間のうち前記広告セグメントに相応する区間をそれぞれ予め設定された時間の長さだけの単位区間に分割し、各単位区間に対して前記リファレンス区間とテスト区間に対してフィンガープリントを抽出した方式以外の少なくとも一つ以上の他の方式によってフィンガープリントを抽出し、
前記フィンガープリントマッチング部は、
前記広告セグメントのそれぞれの単位区間に対して抽出されたフィンガープリントと前記リファレンス区間のうち、前記広告セグメントに相応するすべての単位区間に対して抽出されたフィンガープリントを比較する過程を広告セグメントのすべての単位区間に対して行うことにより、マッチングを行うこと、
を特徴とする請求項７に記載のフィンガープリントに基づく広告検出システム。
【請求項９】
前記広告区間決定部は、
前記フィンガープリントマッチング部のマッチング遂行結果により前記リファレンス区間のうち、前記広告セグメントに相応する単位区間とマッチングされる広告セグメントの連続する単位区間を広告セグメントに最終的に決めることを特徴とする請求項８に記載のフィンガープリントに基づく広告検出システム。
【請求項１０】
前記広告区間決定部は、
前記広告セグメントと広告データベースに既に登録されている広告セグメントのフィンガープリントを比較して広告セグメントに最終的に決めることを特徴とする請求項７に記載のフィンガープリントに基づく広告検出システム。
【請求項１１】
前記フィンガープリントは、前記リファレンス区間とテスト区間に対してフィンガープリントを抽出した方式以外の少なくとも一つ以上の他の方式によるフィンガープリントであることを特徴とする請求項１０に記載のフィンガープリントに基づく広告検出システム。
【請求項１２】
前記広告データベース管理部は、
前記広告区間決定部によって決定された広告セグメントに対する少なくとも一つ以上のフィンガープリントと広告セグメントの時間情報をセグメント情報として広告データベースに保存することを特徴とする請求項１に記載のフィンガープリントに基づく広告検出システム。
【請求項１３】
前記区間更新部は、
前記テスト区間から決定された広告セグメントの終点までをリファレンス区間に含ませてリファレンス区間を変更することを特徴とする請求項１に記載のフィンガープリントに基づく広告検出システム。
【請求項１４】
前記広告セグメントが複数である場合、最後の広告セグメントの終点までをリファレンス区間に含ませてリファレンス区間を変更することを特徴とする請求項１３に記載のフィンガープリントに基づく広告検出システム。
【請求項１５】
前記リファレンス区間に新規に含まれる長さだけリファレンス区間の始点の位置を変更してリファレンス区間の全体の長さが一定になるようにすることを特徴とする請求項１３または請求項１４に記載のフィンガープリントに基づく広告検出システム。
【請求項１６】
前記区間更新部は、
リファレンス区間の始点の位置が変更された長さだけテスト区間の長さを延長させることを特徴とする請求項１５に記載のフィンガープリントに基づく広告検出システム。
【請求項１７】
前記区間更新部は、
前記広告区間決定部で決定された広告セグメントに相応するリファレンス区間の始点の時間情報を広告セグメントヒストリーに保存し、一定時間の経過時ごとに予め設定された広告セグメントヒストリーの探索区間を確認して前記探索区間に含まれた時間情報のうち、最小値の以前の始点に該当する区間をリファレンス区間から除去することを特徴とする請求項１に記載のフィンガープリントに基づく広告検出システム。
【請求項１８】
前記広告データベース管理部は、広告データベースに保存される広告セグメントの中で２つの広告セグメントを選択し、選択された広告セグメントのフィンガープリントを比較して同一区間を検出した後、前記選択された広告セグメントの同一区間と残りの区間を分割することにより、新規広告セグメント形成過程を行うことを特徴とする請求項１に記載のフィンガープリントに基づく広告検出システム。
【請求項１９】
前記分割以前の広告セグメントは、広告データベースから除去されることを特徴とする請求項１８に記載のフィンガープリントに基づく広告検出システム。
【請求項２０】
前記新規広告セグメントの形成過程は、任意の２つの広告セグメントに対して予め設定された回数Ｎだけ繰り返すことを特徴とする請求項１８に記載のフィンガープリントに基づく広告検出システム。
【請求項２１】
前記新規広告セグメントの形成過程は、時間の長さが一定時間の長さＫ以上である２つのセグメントに対して行われることを特徴とする請求項１８に記載のフィンガープリントに基づく広告検出システム。
【請求項２２】
前記新規広告セグメントの形成過程は、広告データベースに含まれたすべての広告セグメントの中で互いに同一区間を有する広告セグメントが存在しないときまでに繰り返し行われることを特徴とする請求項１８に記載のフィンガープリントに基づく広告検出システム。
【請求項２３】
前記広告データベース管理部は、前記形成された新規広告セグメントに対するフィンガープリントと時間情報を更新することを特徴とする請求項１８に記載のフィンガープリントに基づく広告検出システム。
【請求項２４】
フィンガープリントに基づく広告検出方法であって、
放送コンテンツをリアルタイムで保存する第１の段階と、
前記保存された放送コンテンツの中でリファレンス区間とテスト区間を選択する第２の段階と、
前記選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出する第３の段階と、
前記抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントを比較してマッチングを行う第４の段階と、
前記マッチング遂行結果に基づいてテスト区間から広告セグメントを決める第５の段階と、
前記決定された広告セグメントに対するセグメント情報を広告データベースに保存する第６の段階と、
前記リファレンス区間とテスト区間を変更する第７の段階と、
を含むフィンガープリントに基づく広告検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広告検出システム及び方法に関し、より詳細には、フィンガープリントに基づいて放送コンテンツに含まれる広告を検出することができるシステム及び方法に関する。
【背景技術】
【０００２】
ＴＶ放送コンテンツは、大きくＴＶ番組区間と広告区間とに分けられる。一般に、広告区間は、視聴者の立場から見るとき、重要度が低いか、不必要な区間として認識される。そのため、これを自動的に検出、除去し、他の方式により再加工した後、ＴＶ放送コンテンツをユーザに提供する技術の研究が多く行われてきた。
【０００３】
一方、ＴＶ広告を対象とする関連事業を行ったり、競合他社の広告の継続的なモニタリングを必要とする場合もある。したがって、番組区間が重要なのか、そうでなければ広告区間が重要なのかに関わらず、この二つの区間を自動的に区別できれば、利便性を高めることができる。
【０００４】
しかし、ＴＶ放送コンテンツにおける番組区間と広告区間との区別は、従来、手作業で行われる場合がほとんどであり、これを自動的に区別しようとする研究が進められているが、未だ非効率である。
【０００５】
従来から知られている広告区間の検出方法としては、例えば、広告の開始と終了時点で黒い画面を挿入されることを利用して、黒い画面を検出することにより、広告区間を検出する方法がある。
【０００６】
または、非特許文献１記載されたように、広告への切替え時にオーディオ信号が存在しないということを利用する方法も知られている。
【０００７】
また、広告の長さが、例えば１５秒または３０秒など、一定期間で区切られる、または同一広告が放送内で繰り返し出現することを利用して、ＴＶ番組区間で継続的に表示される放送のロゴを検出する方法を使用したこともあり、前記に挙げた様々な方式を組み合わせて広告区間を検出したこともある。
【０００８】
しかし、広告区間の信号特性は、国別、放送チャンネル別に異なる場合が多く、既存の方式を全ての国に適用して解決することは困難である。例えば、米国の場合、広告の開始時点と終了時点に黒い画面(ｂｌａｃｋ ｆｒａｍｅ）が挿入されることが多いが、他の国では、必ずしも黒い画面は挿入されない。
【０００９】
また、既存の広告をデータベース化し、これを広告区間の検出に使用することもできるが、予めすべての広告が含まれたデータベースを構築することは、非常に困難である。
【００１０】
一方、特許文献１は、「広告映像検出方法及び装置」に関するもので、映像再生装置によって再生されるＴＶ放送コンテンツと広告映像が混合されたモニタリング対象映像の複数のフレームのそれぞれを所定の大きさの部分ブロックに分割する段階と、前記所定の大きさの部分ブロックの中で予め設定されたた位置にあたる部分ブロックのそれぞれに対する特徴情報を算出する段階と、前記特徴情報を特徴情報ベクターに変換する段階と、データベースに予め保存された検出しようとする参照広告映像の特徴情報ベクターと前記特徴情報ベクターを比較して前記参照広告映像を検出する段階と、を含む広告映像検出方法について開示している。
【００１１】
しかし、このような技術は、予め広告映像に対する特徴情報を予め正確に保存しなければならず、また、モニタリング対象映像と広告映像の特徴情報が完全に一致する場合にのみ適用することができるため、広告区間の一部分のみが同一である場合には、適用できない。さらに、このような技術では、データベースが固定されているため、時間の経過に応じてデータベースが動的にアップデートされない。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】韓国公開特許第10-2011-0129325号公報
【非特許文献】
【００１３】
【非特許文献１】D. A. Sadlier et al.,「Automatic TV advertisement detection from mpeg bitstream」,Journal of the Patt. Rec. Society, vol. 35, no. 12, pp. 215, Dec. 2002.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
本発明は、前記のような限界点を解決するためのものであって、放送コンテンツから持続的に表示される広告区間を検出し、これをデータベース化する過程を繰り返し行うことにより広告区間を正確かつ効果的に検出することができる広告検出システム及び方法を提供することを目的とする。
【００１５】
また、本発明は、リアルタイムで持続的に放送コンテンツを保存し、保存された放送コンテンツに対してリファレンス区間とテスト区間とを選択して広告区間を検出し、その結果に応じてリファレンス区間とテスト区間とを変更できるようにすることにより、連続的に受信される放送コンテンツの比較対象区間を効率的に選択し、動的に対処できるシステム及び方法を提供することを他の目的とする。
【００１６】
また、本発明は、フィンガープリントに基づいて繰り返される広告区間を検出し、検出された広告区間をセグメント化してデータベースに保存した後、保存されたセグメントに対してより細分化された単位の広告区間に分割するようにすることにより、より正確かつ効率的な広告検出を行うことができるシステム及び方法を提供することを他の目的とする。
【課題を解決するための手段】
【００１７】
前記のような課題を解決するため、本発明は、フィンガープリントに基づく広告検出システムにおいて、放送コンテンツをリアルタイムで保存するコンテンツストリーム保存部と、前記コンテンツストリーム保存部によって保存された放送コンテンツの中でリファレンス区間とテスト区間を選択する区間選択部と、前記区間選択部によって選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出するフィンガープリント抽出部と、前記フィンガープリント抽出部で抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントを比較してマッチングを行うフィンガープリントマッチング部と、前記フィンガープリントマッチング部で行われたマッチング結果に基づいてテスト区間から広告セグメントを決める広告区間決定部と、前記広告区間決定部によって決定された広告セグメントに対するセグメント情報を広告データベースに保存し、広告データベースを管理する広告データベース管理部と、前記区間選択部で選択されたリファレンス区間とテスト区間を変更する区間更新部と、を含むフィンガープリントに基づく広告検出システムを提供する。
【００１８】
ここで、前記区間分割部は、前記コンテンツストリーム保存部によって保存された放送コンテンツの中で最も最近に保存された始点から所定時間区間をテスト区間に選択し、前記テスト区間の終点から所定時間区間をリファレンス区間に選択することができる。
【００１９】
また、前記テスト区間は、前記リファレンス区間よりも時間の長さが短いように構成することもできる。
【００２０】
また、前記フィンガープリント抽出部は、前記リファレンス区間とテスト区間とをそれぞれ予め設定された時間の長さだけの単位区間に分割し、各単位区間に対してフィンガープリント抽出方式のいずれかの方式によりフィンガープリントを抽出し、前記フィンガープリントマッチング部は、前記テスト区間のそれぞれの単位区間に対して抽出されたフィンガープリントとリファレンス区間のすべての単位区間に対して抽出されたフィンガープリントを比較する過程をテスト区間のすべての単位区間に対して行うことにより、マッチングを行うするように構成することもできる。
【００２１】
また、前記単位区間の始点は、時間の長さＳだけ間隔を持つように構成することもできる。
【００２２】
また、前記単位区間の始点との間の時間の長さＳは、前記単位区間の時間長さよりも短くすることが好ましい。
【００２３】
また、前記広告区間決定部は、前記フィンガープリントマッチング部のマッチング遂行結果によってリファレンス区間の単位区間とマッチングされるテスト区間の連続する単位区間を広告セグメントに決めることができる。
【００２４】
また、前記フィンガープリント抽出部は、前記広告セグメントとリファレンス区間のうち、前記広告セグメントに相応する区間をそれぞれ予め設定された時間の長さだけの単位区間に分割し、各単位区間に対して前記リファレンス区間とテスト区間に対してフィンガープリントを抽出した方式以外の少なくとも一つ以上の他の方式によってフィンガープリントを抽出し、前記フィンガープリントマッチング部は、前記広告セグメントのそれぞれの単位区間に対して抽出されたフィンガープリントと前記リファレンス区間のうち、前記広告セグメントに相応するすべての単位区間に対して抽出されたフィンガープリントを比較する過程を広告セグメントのすべての単位区間に対して行うことにより、マッチングを行うことができる。
【００２５】
また、前記広告区間決定部は、前記フィンガープリントマッチング部のマッチング遂行結果により前記リファレンス区間のうち、前記広告セグメントに相応する単位区間とマッチングされる広告セグメントの連続する単位区間を広告セグメントに最終的に決めることができる。
【００２６】
また、前記広告区間決定部は、前記広告セグメントと広告データベースに既に登録されている広告セグメントのフィンガープリントを比較して広告セグメントに最終的に決めることもできる。
【００２７】
また、前記フィンガープリントは、前記リファレンス区間とテスト区間に対してフィンガープリントを抽出した方式以外の少なくとも一つ以上の他の方式によるフィンガープリントでもよい。
【００２８】
また、前記広告データベース管理部は、前記広告区間決定部によって決定された広告セグメントに対する少なくとも一つ以上のフィンガープリントと広告セグメントの時間情報をセグメント情報として広告データベースに保存することができる。
【００２９】
また、前記区間更新部は、前記テスト区間から決定された広告セグメントの終点までをリファレンス区間に含ませてリファレンス区間を変更するように構成することもできる。
【００３０】
また、前記広告セグメントが複数である場合、最後の広告セグメントの終点までをリファレンス区間に含ませてリファレンス区間を変更するように構成することもできる。
【００３１】
また、前記リファレンス区間に新規に含まれる長さだけリファレンス区間の始点の位置を変更して、リファレンス区間の全体の長さが一定になるようにすることもできる。
【００３２】
また、前記区間更新部は、リファレンス区間の始点の位置が変更された長さだけテスト区間の長さを延長させるように構成することもできる。
【００３３】
また、前記区間更新部は、前記テスト区間から決定された広告セグメントの始点以前までをリファレンス区間に含ませてリファレンス区間を変更するように構成することもできる。
【００３４】
また、前記広告セグメントが複数である場合、最初の広告セグメントの始点以前までをリファレンス区間に含ませてリファレンス区間を変更するようにすることもできる。
【００３５】
また、前記リファレンス区間に新規に含まれる長さだけリファレンス区間の始点の位置を変更してリファレンス区間の全体の長さが一定になるように構成することもできる。
【００３６】
また、前記区間更新部は、前記広告区間決定部で決定された広告セグメントに相応するリファレンス区間の始点の時間情報を広告セグメントヒストリーに保存し、一定時間の経過時ごとに予め設定された広告セグメントヒストリーの探索区間を確認して前記探索区間に含まれた時間情報のうち最小値以前の始点に該当する区間をリファレンス区間から除去することもできる。
【００３７】
また、前記広告データベース管理部は、広告データベースに保存される広告セグメントのうちの２つの広告セグメントを選択し、選択された広告セグメントのフィンガープリントを比較して同一区間を検出した後、前記選択された広告セグメントの同一区間と残り区間を分割することにより、新規広告セグメントの形成過程を行うこともできる。
【００３８】
また、前記分割以前の広告セグメントは、広告データベースから除去されることができる。
【００３９】
また、前記新規広告セグメントの形成過程は、任意の２つの広告セグメントに対して予め設定された回数Ｎだけ繰り返すこともできる。
【００４０】
また、前記新規広告セグメントの形成過程は、時間の長さが一定時間の長さＫ以上である２つのセグメントに対して行うことができる。
【００４１】
また、前記新規広告セグメントの形成過程は、広告データベースに含まれたすべての広告セグメントの中で互いに同一区間を有する広告セグメントが存在しない時までに繰り返し行われるようにすることもできる。
【００４２】
また、前記広告データベース管理部は、前記形成された新規広告セグメントに対するフィンガープリントと時間情報を更新することができる。
【００４３】
本発明の他の側面によれば、フィンガープリントに基づく広告検出方法において、放送コンテンツをリアルタイムで保存する第１の段階と、前記保存された放送コンテンツの中でリファレンス区間とテスト区間を選択する第２の段階と、 前記選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出する第３の段階と、前記抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントを比較してマッチングを行う第４の段階と、前記マッチング遂行結果に基づいてテスト区間から広告セグメントを決める第５の段階と、前記決定された広告セグメントに対するセグメント情報を広告データベースに保存する第６の段階と、前記リファレンス区間とテスト区間を変更する第７の段階と、を含むフィンガープリントに基づく広告検出方法を提供することができる。
【発明の効果】
【００４４】
本発明によれば、放送コンテンツから持続的に表示される広告区間を検出し、これをデータベース化する過程を繰り返し行うことにより、広告区間を正確かつ効果的に検出することができる広告検出システム及び方法を提供することができる。
【００４５】
また、本発明は、リアルタイムで持続的に放送コンテンツを保存し、保存された放送コンテンツに対してリファレンス区間とテスト区間を選択して広告区間を検出し、その結果に応じてリファレンス区間とテスト区間を変更できるようにすることにより、連続的に受信される放送コンテンツの比較対象区間を効率的に選択し、動的に対処できるシステム及び方法を提供することができる効果がある。
【００４６】
また、本発明によれば、フィンガープリントに基づいて繰り返される広告区間を検出し、検出された広告区間をセグメント化してデータベースに保存した後、保存されたセグメントに対して、より細分化された単位の広告区間に分割するようにすることにより、より正確かつ効率的な広告の検出を行うことができるシステム及び方法を提供することができる。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施例によるフィンガープリントに基づく広告検出システム１００の全体構成を示す図である。
【図２】区間選択部２０でリファレンス区間とテスト区間を選択する方法の一例を説明するための図である。
【図３】フィンガープリント抽出部３０とフィンガープリントマッチング部４０の動作を説明するための図である。
【図４】テスト区間２２で広告セグメントを決める過程を説明するための図である。
【図５】広告データベース８０に保存されるセグメント情報の一例を示す図である。
【図６】区間更新部７０でリファレンス区間を変更する方法の一例を説明するための図である。
【図７】広告データベース管理部６０で広告セグメントを小さな単位の広告セグメントに分割して、新規広告セグメントを形成する過程を説明するための図である。
【図８】広告セグメントを分割する過程を示す図である。
【図９】広告セグメントを分割する過程を示す図である。
【図１０】本発明による広告検出方法の一実施例を示す図である。
【発明を実施するための形態】
【００４８】
以下、添付図面を参照して、本発明による実施例を詳細に説明する。
【００４９】
図１は、本発明の一実施例によるフィンガープリントに基づく広告検出システム１００の全体構成を示す図である。
【００５０】
図１に示すように、本実施例のフィンガープリントに基づく広告検出システム(１００、以下、広告検出システム１００という）は、コンテンツストリーム保存部１０、区間選択部２０、フィンガープリント抽出部３０、フィンガープリントマッチング部４０、広告区間決定部５０、広告データベース管理部６０、区間更新部７０、及び広告データベース８０を含む。
【００５１】
コンテンツストリーム保存部１０は、放送コンテンツをリアルタイムで保存する機能を有する。放送コンテンツは、例えば、ＴＶ地上波、ケーブルテレビなどを介して提供されるコンテンツであってもよい。コンテンツストリーム保存部１０は、このような放送コンテンツをリアルタイムで連続的に保存する。
【００５２】
区間選択部２０は、コンテンツストリーム保存部１０によって保存された放送コンテンツの中でリファレンス区間とテスト区間とを選択する機能を有する。
【００５３】
テスト区間は、広告が含まれているかどうかを識別するための区間であり、リファレンス区間は、テスト区間に広告が含まれているかどうかを識別できるようにする比較対象となる区間を意味する。
【００５４】
区間選択部２０は、コンテンツストリーム保存部１０によって保存された放送コンテンツの中で最も最近に保存された始点から所定時間の区間をテスト区間に選択し、テスト区間の終点から所定時間の区間をリファレンス区間に選択することができる。
【００５５】
図２は、区間選択部２０でリファレンス区間とテスト区間とを選択する方法の一例を説明するための図である。
【００５６】
図２に示すように、保存された放送コンテンツを時間基準で見るとき、右側に最も最近の始点ｔ０があるとすると、右側の最後の始点、すなわち、最も最近に保存された始点ｔ０から一定時間の長さＮだけの始点ｔ１までの区間をテスト区間２２に選択することができる。また、前記テスト区間２２の終点ｔ１から一定時間の長さＬとなる始点ｔ２までの区間をリファレンス区間２１に選択することができる。
【００５７】
このとき、テスト区間２２は、リファレンス区間２１よりも時間の長さが短いことが好ましい。すなわち、リファレンス区間２１の時間の長さは、テスト区間２１に比べて長くすることが好ましいが、これは、テスト区間２２に含まれる広告を検出する際、リファレンス区間２１が長いほど、識別力が高くなるためである。例えば、テスト区間２２を１０時間の長さの区間に選択し、リファレンス区間２１を３日分の長さの区間に選択することができる。
【００５８】
図１に戻って、フィンガープリント抽出部３０は、区間選択部２０によって選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出する機能を有する。フィンガープリントマッチング部４０は、フィンガープリント抽出部３０で抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントを比較してマッチングを行う。一方、広告区間決定部５０は、フィンガープリントマッチング部４０で行われたマッチング結果に基づいて、テスト区間から広告セグメントを決める機能を有する。
【００５９】
すなわち、フィンガープリント抽出部３０は、リファレンス区間とテスト区間をそれぞれ予め設定された時間の長さだけの単位区間に分割し、各単位区間に対してフィンガープリント抽出方式のいずれかの方式によりフィンガープリントを抽出する。フィンガープリントマッチング部４０は、テスト区間のそれぞれの単位区間に対して抽出されたフィンガープリントとリファレンス区間のすべての単位区間に対して抽出されたフィンガープリントを比較する過程をテスト区間のすべての単位区間に対して行うことにより、マッチングを行う。そして、広告区間決定部５０は、マッチング遂行結果によってテスト区間から広告セグメントを決める。
【００６０】
図３は、フィンガープリント抽出部３０とフィンガープリントマッチング部４０の動作を説明するための図である。
【００６１】
図３に示すように、先ず、テスト区間２２のうち、始点ｔ1から予め設定しておいた時間の長さだけの単位区間を生成する。そして、リファレンス区間２１に対しても始点ｔ２からテスト区間２２における単位区間の時間長さだけの単位区間を生成し、これらの両方の単位区間に対してフィンガープリント抽出部３０がフィンガープリントを抽出し、フィンガープリントマッチング部４０は、抽出されたフィンガープリントに対してマッチングを行う。
【００６２】
フィンガープリントマッチング部４０は、マッチングの結果、例えば、マッチングスコアを一時的に保存し、リファレンス区間２１の次の単位区間を生成して再びフィンガープリントマッチングを行う。このとき、次の単位区間の始点は、先に生成した単位区間の始点と時間軸上で単位区間の時間の長さよりも短い移動長さＳだけの間隔を持つことが好ましい。すなわち、各単位区間は、時間軸上で重なり合う区間を持つようにすることが好ましい。
【００６３】
このような過程をリファレンス区間２１の終点であるt1までのすべての区間に対して行うと、テスト区間２２に対して生成した一つの単位区間に対するフィンガープリントマッチングが完了される。
【００６４】
テスト区間２２の一番目の単位区間に対して、リファレンス区間２１のすべての単位区間でフィンガープリントの抽出、及びマッチングが完了すると、テスト区間２２の次の単位区間を生成し、上述の過程を繰り返す。このとき、テスト区間２２の次の単位区間の始点も以前の単位区間の始点と単位区間の時間長さよりも小さい時間の長さを有することが好ましい。
【００６５】
テスト区間２２の単位区間の始点との間の間隔と、リファレンス区間２１の単位区間の始点との間の間隔とは、同一でもよく、異なってもよい。
【００６６】
このような過程をテスト区間２２の最後の単位区間までに繰り返し行うと、テスト区間２２の単位区間ごとにリファレンス区間２１に対するフィンガープリントマッチングの結果を得ることができる。広告区間決定部５０は、各単位区間に対するフィンガープリントマッチングの結果、すなわち、フィンガープリントマッチングスコアに基づいてマッチングの可否を判断し、マッチングされる単位区間に対する連続区間を判断して連続する単位区間を広告セグメントに決める。
【００６７】
図４は、テスト区間２２で広告セグメントを決める過程を説明するための図である。
【００６８】
図４の右側のテスト区間２２に青色で表示された区間は、リファレンス区間２１とフィンガープリントがマッチングされる連続区間を示したものであって、２つの連続した区間ta〜tb、tc〜tdが広告セグメントに決定されたことが分かる。
【００６９】
本発明でフィンガープリント(ｆｉｎｇｅｒｐｒｉｎｔ）とは、オーディオデータ、イメージデータ、またはビデオデータなどのようなデータの特徴を示す特徴データを意味するもので、指紋データ、ＤＮＡデータ、または遺伝子データとも呼ばれている。このようなフィンガープリントを抽出し、これを比較する技術としては、従来の技術によっていくつかの方式が提案されていて、このようなフィンガープリントを活用すると、データの同一性の可否を容易に判別することができるため、著作権管理(ＤＲＭ）の分野などで最近幅広く使用されている。
【００７０】
例えば、オーディオデータの場合、オーディオデータの特徴を表す様々な特徴データ(例えば、周波数、振幅など）を用いてフィンガープリントを生成することができる。また、イメージやビデオデータの場合、イメージやビデオデータの様々な特徴データ(例えば、フレームのモーションベクトル情報、色情報など）を用いてフィンガープリントを生成することができる。
【００７１】
なお、本発明は、このようなフィンガープリントデータを抽出(生成)する方法それ自体に関するものではなく、従来技術であるフィンガープリントの生成/抽出方法をそのまま使用することができるため、これに対する詳細な説明は、省略する。
【００７２】
本出願人が出願した大韓民国特許出願番号第１０−２００７−００４４２５１号(オーディオフィンガープリントデータの生成方法及び装置、及びこれを用いたオーディオデータの比較方法及び装置）、第１０−２００７−００５４６０１号(動画データの同一性の判断及び同一区間検出方法並びに装置）、第１０−２００７−００６０９７８号(動画データを互いに同一性がある動画データ同士のクラスタリングする方法及びシステム）、第１０−２００７−００７１６３３号(動画データクラスタを用いた動画データ検索サービス提供方法及び装置）、第１０−２００７−００９１５８７号(動画データクラスタを用いた広告データの設定及び提供方法並びに装置）、 及び第１０−２００８−００５１６８８号(動画処理方法及びその装置）によれば、オーディオ、イメージまたはビデオデータのフィンガープリントを生成する方法とこのようなフィンガープリントを用いてデータを比較する方法に対して記載されていて、このような本出願人のフィンガープリント抽出方法を本発明に使用できることは言うまでもない。要するに、本発明は、フィンガープリントを抽出する方式がどのようなものであるかには関係なく、従来から知られているフィンガープリント抽出技術をそのまま使用することができる。
【００７３】
このようにフィンガープリントを抽出する方式は、様々な方式を使用することができるが、前述のように、広告区間決定部５０で広告セグメントが決定されると、広告セグメントに対して、他のフィンガープリント抽出方式を用いてフィンガープリントを抽出し、これをリファレンス区間と比較して２次的なマッチングを行うように構成することもできる。
【００７４】
すなわち、フィンガープリント抽出部３０は、広告区間決定部５０で決定された広告セグメントに対して、広告セグメントとリファレンス区間のうち前記広告セグメントに相応する区間をそれぞれ予め設定された時間の長さだけの単位区間に分割し、各単位区間に対してリファレンス区間とテスト区間に対してフィンガープリントを抽出した方式以外の少なくとも一つ以上の他の方式によってフィンガープリントを抽出することができる。 そして、フィンガープリントマッチング部４０は、広告セグメントのそれぞれの単位区間に対して抽出されたフィンガープリントとリファレンス区間のうち、広告セグメントに相応するすべての単位区間に対して抽出されたフィンガープリントを比較する過程を広告セグメントのすべての単位区間に対して行うことにより、マッチングを行うようにすることができる。
【００７５】
このようなマッチングを行った後、広告区間決定部５０は、フィンガープリントマッチング部４０のマッチング遂行結果によってリファレンス区間のうち、広告セグメントに相応する単位区間とマッチングされる広告セグメントの連続する単位区間を広告セグメントに最終的に決めることができる。
【００７６】
一方、広告区間決定部５０は、広告セグメントに決定された区間のフィンガープリントと広告データベース８０に既に登録されている広告セグメントのフィンガープリントとを比較してマッチングする場合、該当広告セグメントを広告セグメントとして最終的に決めるように構成することもできる。このときのフィンガープリントは、前過程でリファレンス区間とテスト区間に対してフィンガープリントを抽出した方式以外の少なくとも一つ以上の他の方式によるフィンガープリントであることが好ましい。
【００７７】
図１に戻り、広告データベース管理部６０と区間更新部７０について説明する。
【００７８】
広告データベース管理部６０は、広告区間決定部(によって決定された広告セグメントに対するセグメント情報を広告データベース８０に保存し、広告データベース８０を管理する機能を行う。
【００７９】
図５は、広告データベース８０に保存されるセグメント情報の一例を示す図である。
【００８０】
図５に示すように、セグメント情報は、セグメント識別子、区間の始点の時間情報、区間の長さ、及びフィンガープリントを含む。
【００８１】
セグメント識別子(ｓｅｇｍｅｎｔ ｉｄｅｎｔｉｆｉｅｒ）は、それぞれの広告セグメントを識別することができるように固有に付与される識別子ＩＤを意味し、区間の始点の時間情報は、例えば、２０１３年５月２０日１１時５９分３５秒(２０１３−０５−２０/１１：５９：３５）などのように保存することができる。区間の長さは、広告セグメントの区間の全体の長さとして、例えば３０秒、２０秒などのように保存することができる。
【００８２】
フィンガープリントは、前述のように、フィンガープリント抽出部３０で抽出されるフィンガープリントである。前述のように、本発明においてフィンガープリント抽出方式は、様々な方式を使用できるため、セグメント情報に保存されるフィンガープリントも使用した方式ごとに抽出された多数の方式によるフィンガープリントでありうる。
【００８３】
区間更新部７０は、区間選択部２０で選択されたリファレンス区間とテスト区間を変更する機能を有する。
【００８４】
区間更新部７０は、広告区間決定部５０によってテスト区間から決定された広告セグメントがリファレンス区間に含まれるように、すなわち、テスト区間から決定された広告セグメントの終点までをリファレンス区間に含ませてリファレンス区間を変更することができる。例えば、図４に示すように、時間区間ｔａ〜ｔｂの広告セグメントの終点であるｔｂまでの区間、すなわち、ｔ１〜ｔｂがリファレンス区間に含まれるようにリファレンス区間を変更することができる。
【００８５】
一方、広告セグメントが複数である場合、最後の広告セグメントの終点(図４の場合には、ｔｄ）までがリファレンス区間に含まれるようにリファレンス区間を変更することができる。
【００８６】
このようにリファレンス区間が変更される場合、リファレンス区間に新規に含まれる長さだけリファレンス区間の始点の位置を変更してリファレンス区間の全体の長さが一定になるようにすることができる。例えば、図４に示すように、リファレンス区間は、時間Ｌだけの長さを持つので、ｔ１〜ｔdの区間が新たにリファレンス区間に含まれる場合、 ｔ２から右方向にｔ１〜ｔdだけを除去することにより、全体の時間の長さがＬになるようにすることもできる。
【００８７】
このように、リファレンス区間の始点の位置が変更された場合、テスト区間の始点がそれだけ短縮されたものなので、リファレンス区間の始点の位置が変更された長さだけテスト区間の終点を延長させるように構成することもできる。
【００８８】
テスト区間とリファレンス区間が、このような方式により区間更新部７０によって変更されると、前述のように、フィンガープリント抽出部３０、フィンガープリントマッチング部４０、及び広告区間決定部５０によって再びテスト区間とリファレンス区間のフィンガープリントをマッチングして広告区間を決める過程を繰り返し行うことができる。
【００８９】
一方、区間更新部７０は、図６に示した方法によってリファレンス区間を変更することもできる。図６は、区間更新部７０でリファレンス区間を変更する方法の一例を説明するための図である。
【００９０】
区間更新部７０は、広告区間決定部５０で決定された広告セグメントに相応するリファレンス区間の始点の時間情報を図６に示すように、広告セグメントヒストリー(ｈｉｓｔｏｒｙ、７１）に広告セグメントが決定されるときごとに上から順次的に保存し、一定時間の経過時ごとに最下方、すなわち、最も最近に保存された時間情報から予め設定された長さＷだけの広告セグメントヒストリーの探索区間に保存された時間情報のうち最小値を判別し、該当最小値以前の始点に該当する区間をリファレンス区間から除去するように構成することができる。これは、該当最小値以前の始点に該当する区間は、一定期間の間に広告の発生頻度が殆どないリファレンス区間に該当するので、これらをリファレンス区間から除去するためである
【００９１】
一方、前述のような過程によって広告セグメントが決定され、決定された広告セグメントに対するセグメント情報が図５のように広告データベース８０に保存されると、広告データベース管理部６０は、保存されたそれぞれの広告セグメントをより小さな単位の広告セグメントに分割することができる。これは、例えば、同じ製品の広告であっても時間情報を異にして編集される場合があるためである。
【００９２】
図７は、広告データベース管理部６０で広告セグメントを小さな単位の広告セグメントに分割して新規広告セグメントを形成する過程を説明するための図である。
【００９３】
図７に示すように、広告セグメントはＫ個存在し、広告セグメント１は、[Ａ] [Ｂ] [Ｚ]から構成され、広告セグメント２は、[Ａ] [Ｂ] [Ｃ]から構成され、広告セグメントＫは、[Ｂ] [Ｃ] [Ａ] [Ｒ]から構成されていると仮定する。ここで、同一文字は、同一区間を示す。
【００９４】
このような状態で、それぞれの広告セグメントの中で任意の２つの広告セグメントを選択し、選択した広告セグメントのフィンガープリントを比較して同一区間を検出した後、選択された広告セグメントの同一区間と残りの区間を分割することにより、新規広告セグメントを形成するようにすることができる。
【００９５】
例えば、[Ａ] [Ｂ] [Ｚ]から構成される広告セグメント１と、[Ａ] [Ｂ] [Ｃ]から構成される広告セグメント２とを比較すると、同一区間の[Ａ] [Ｂ]を検出することができ、これらの区間と残りの区間([Ｚ]、[Ｃ]）を分割して新規広告セグメントを形成することができる。これを、それぞれの広告セグメントのうち、２つを選択して繰り返し行うと、図７の１次新規広告セグメントで示したような新規広告セグメントを形成することができる。次に、これらに対しても同一過程を繰り返し行うと、図７に示すように、最終の新規広告セグメントを形成することができる。
【００９６】
図８及び図９は、広告セグメントを分割する過程を示す図である。
【００９７】
図８は、図７の広告セグメント１及び２を比較して同一区間を検出する過程を示したもので、同一区間は、[Ａ] [Ｂ]であり、これらは、図１〜図６で説明したように、フィンガープリントを抽出して比較する過程を介して検出することができる。
【００９８】
同一区間が検出されると、同一区間と残りの区間、すなわち、同一でない区間を元の広告セグメント１及び２からそれぞれ分割すると、図８の右側に示すように、[Ａ] [Ｂ]、[Ｚ]、[Ｃ]からそれぞれ構成される新規広告セグメントが形成される。
【００９９】
新規広告セグメントを形成しながら分割前の広告セグメント、すなわち、広告セグメント１、２は、広告データベースから除去される。
【０１００】
図９は、図７の広告セグメントＫと図８で新規生成された新規広告セグメントの中で[Ｃ]から構成される広告セグメントを比較して同一区間を検出する過程を示したもので、同一区間は、[Ｃ]であり、同一区間[Ｃ]を分離すると、右側の[Ａ] [Ｒ]と左側の[Ｂ]から構成される２つの新規広告セグメントを形成できることを知ることができる。以降、既存の広告セグメントＫは、広告データベース８０から除去される。
【０１０１】
このような過程を広告データベース８０に保存されている広告セグメントに対して繰り返し行うと、図７に示すように、最終の新規広告セグメントが得られるようになる。
【０１０２】
ここで、このような新規広告セグメントの形成過程は、任意の２つの広告セグメントに対して予め設定された回数Ｎだけ繰り返すようにすることができる。
【０１０３】
また、時間の長さが一定時間の長さＫ以上である２つのセグメントに対してのみ行われるようにすることもできる。
【０１０４】
また、新規広告セグメントの形成過程は、広告データベースに含まれたすべての広告セグメントの中で互いに同一区間を持つ広告セグメントがこれ以上存在しないときまで繰り返し行われるようにすることもできる。
【０１０５】
一方、前述のような過程を経て、最終的に新規広告セグメントが形成されると、広告データベース管理部７０は、新規広告セグメントに対するセグメント情報、すなわち、フィンガープリントと時間情報(図５参照）を新規広告セグメントに相応するように更新する。
【０１０６】
図１０は、図１〜図９を参照して説明した広告検出システム１００で行われる広告検出方法の一実施例を示す図である。
【０１０７】
先ず、コンテンツストリーム保存部１０は、放送コンテンツをリアルタイムで保存し(Ｓ１００）、区間選択部２０は、コンテンツストリーム保存部１０によって保存された放送コンテンツの中でリファレンス区間とテスト区間を選択する(Ｓ１１０）。
【０１０８】
フィンガープリント抽出部３０は、区間選択部２０によって選択されたリファレンス区間とテスト区間に対して少なくとも１つ以上の方式によりフィンガープリントを抽出し(Ｓ１２０）、フィンガープリントマッチング部４０は、フィンガープリント抽出部３０で抽出されたテスト区間に対するフィンガープリントとリファレンス区間に対するフィンガープリントを比較してマッチングを行う(Ｓ１３０）。
【０１０９】
広告区間決定部５０は、フィンガープリントマッチング部４０で行われたマッチング結果に基づいて、テスト区間から広告セグメントを決定し(Ｓ１４０）、広告データベース管理部６０は、広告区間決定部５０にによって決定された広告セグメントに対するセグメント情報を広告データベース８０に保存する(Ｓ１５０）。
【０１１０】
次に、一定周期ごとに、または所定の条件の発生時、区間更新部７０は、区間選択部２０で選択されたリファレンス区間とテスト区間を変更する(Ｓ１６０）。
【０１１１】
以上、本発明による好ましい実施例を参照して本発明を説明したが、本発明は、上記実施例に限定されるものではなく、様々な形態の修正、変形実施が可能であることは、当業者に自明であろう。
【図１】
2016524875.tif 000003
【図２】
2016524875.tif 000004
【図３】
2016524875.tif 000005
【図４】
2016524875.tif 000006
【図５】
2016524875.tif 000007
【図６】
2016524875.tif 000008
【図７】
2016524875.tif 000009
【図８】
2016524875.tif 000010
【図９】
2016524875.tif 000011
【図１０】
2016524875.tif 000012
【国際調査報告】
2016524875.tif 000013
2016524875.tif 000014
2016524875.tif 000015
2016524875.tif 000016