(57)【特許請求の範囲】
【請求項１】
直接反応広告検出及び分類システムにおいて、
放送ストリームから検出される広告区間に対して広告候補セグメントを生成する広告候補セグメント生成部；
広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別するマッチング部；
前記マッチング部で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する直接反応広告判定部；
前記直接反応広告判定部で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する直接反応広告登録部；及び
前記マッチング部によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う直接反応広告グループ化部；
を含み、
前記直接反応広告判定部は、
前記広告候補セグメントに相応する広告が映像信号である場合、該当の広告映像信号をなすイメージフレームの中の少なくともいずれか一つに直接反応広告であることを示す予め指定された文字列が含まれているかどうかを判別することによって直接反応広告であるかを判定することを特徴とする、直接反応広告検出及び分類システム。
【請求項２】
前記直接反応広告判定部は、イメージフレーム内で予め指定された文字列が表示される位置に対する少なくとも一つ以上の領域情報を獲得し、
前記直接反応広告登録部は、前記領域情報、前記予め指定された文字列及び当該文字列がイメージフレームに含まれているかどうかの判別時の信頼度情報を広告セグメントに対する広告セグメント情報として広告データベースに保存することを特徴とする、請求項１に記載の直接反応広告検出及び分類システム。
【請求項３】
直接反応広告検出及び分類システムにおいて、
放送ストリームから検出される広告区間に対して広告候補セグメントを生成する広告候補セグメント生成部；
広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別するマッチング部；
前記マッチング部で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する直接反応広告判定部；
前記直接反応広告判定部で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する直接反応広告登録部；及び
前記マッチング部によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う直接反応広告グループ化部；
を含み、
前記直接反応広告判定部は、
前記広告候補セグメントに相応する広告が音声信号である場合、該当の広告音声信号に直接反応広告であることを示す予め指定された音声信号が含まれているかどうかを判別することによって直接反応広告を判定することを特徴とする、直接反応広告検出及び分類システム。
【請求項４】
前記直接反応広告判定部は、前記予め指定された音声信号が現れる位置に対する少なくとも一つ以上の時間情報を獲得し、
前記直接反応広告登録部は、前記時間情報、前記指定された音声信号及び当該音声信号が前記広告音声信号に含まれているかどうかの判別時の信頼度情報を広告セグメントに対する広告セグメント情報として広告データベースに保存することを特徴とする、請求項３に記載の直接反応広告検出及び分類システム。
【請求項５】
前記直接反応広告登録部は、
前記広告データベースに保存した広告セグメントを該当の直接反応広告のマスターセグメントに設定することを特徴とする、請求項２または４に記載の直接反応広告検出及び分類システム。
【請求項６】
前記直接反応広告グループ化部は、前記広告候補セグメントと前記広告候補セグメントとマッチングする広告セグメントのマスターセグメントである広告セグメントを比較して同一性有無を判断し、
前記同一性有無の判断結果、
前記広告候補セグメントが、マスターセグメントである広告セグメントと同一である場合、前記広告候補セグメントをマスターセグメントのインスタンスセグメントに設定し、マスターセグメントである広告セグメントと同一でない場合、前記広告候補セグメントをマスターセグメントの変異セグメントに設定することを特徴とする、請求項５に記載の直接反応広告検出及び分類システム。
【請求項７】
前記直接反応広告グループ化部は、前記広告候補セグメントと前記広告候補セグメントとマッチングする広告セグメントのマスターセグメントである広告セグメントを比較して同一性有無を判断し、
前記同一性有無の判断結果、前記広告候補セグメントが、マスターセグメントである広告セグメントと同一である場合、前記広告候補セグメントをマスターセグメントのインスタンスセグメントに設定し、マスターセグメントである広告セグメントと同一でない場合、前記広告候補セグメントを前記マスターセグメントの変異セグメントである広告セグメントと比較して同一性有無を判断し、同一性有無の判断結果、前記広告候補セグメントが、変異セグメントである広告セグメントと同一である場合、前記広告候補セグメントを当該変異セグメントのインスタンスセグメントに設定し、変異セグメントである広告セグメントと同一でない場合、前記広告候補セグメントをマスターセグメントの新規の変異セグメントに設定することを特徴とする、請求項６に記載の直接反応広告検出及び分類システム。
【請求項８】
前記同一性有無の判断は、前記広告候補セグメントに含まれている直接反応広告であることを示す文字列が位置する領域情報に相応する領域のイメージと比較対象の広告セグメントに対する文字列の領域情報に相応する領域のイメージを比較して判断することを特徴とする、請求項６または７に記載の直接反応広告検出及び分類システム。
【請求項９】
前記イメージの比較は、比較対象であるイメージ間の距離関数の計算結果によってなされることを特徴とする、請求項８に記載の直接反応広告検出及び分類システム。
【請求項１０】
前記同一性有無の判断は、前記広告候補セグメントに含まれている直接反応広告であることを示す文字列情報と比較対象の広告セグメントに対して保存されている文字列情報を比較して判断することを特徴とする、請求項６または７に記載の直接反応広告検出及び分類システム。
【請求項１１】
直接反応広告検出及び分類方法において、
放送ストリームから検出される広告区間に対して広告候補セグメントを生成する第１段階；
広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別する第２段階；
前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する第３段階；
前記第３段階で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する第４段階；及び
前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う第５段階；
を含み、
前記第３段階では、
前記広告候補セグメントに相応する広告が映像信号である場合、該当の広告映像信号をなすイメージフレームの中の少なくともいずれか一つに直接反応広告であることを示す予め指定された文字列が含まれているかどうかを判別することによって直接反応広告であるかを判定することを特徴とする、直接反応広告検出及び分類方法。
【請求項１２】
直接反応広告検出及び分類方法において、
放送ストリームから検出される広告区間に対して広告候補セグメントを生成する第１段階；
広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別する第２段階；
前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する第３段階；
前記第３段階で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する第４段階；及び
前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う第５段階；
を含み、
前記第３段階では、
前記広告候補セグメントに相応する広告が音声信号である場合、該当の広告音声信号に直接反応広告であることを示す予め指定された音声信号が含まれているかどうかを判別することによって直接反応広告を判定することを特徴とする、直接反応広告検出及び分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は直接反応広告（Ｄｉｒｅｃｔ Ｒｅｓｐｏｎｓｅ Ａｄｖｅｒｔｉｓｉｎｇ、 ＤＲ Ａｄ．（ＤＲ広告））検出及び分類システム並びに方法に係り、より詳しくは放送を通じて提供される直接反応広告を検出し、検出される直接反応広告を互いに同一性を有するもの同士グルーピングすることができる直接反応広告検出及び分類システム並びに方法に関するものである。
【背景技術】
【０００２】
ＴＶ広告放送の中では、視聴者あるいは使用者が広告商品に対する相談や問い合わせまたは製品注文が可能となるように、電話番号、インターネットホームページ住所、価格などの情報を広告映像物内の特定位置で一定時間のうちに露出されるなどの方式を使うものもある。このような種類の広告を直接反応広告（Ｄｉｒｅｃｔ Ｒｅｓｐｏｎｓｅ Ａｄｖｅｒｔｉｓｉｎｇ、ＤＲ Ａｄ．（ＤＲ広告））と言う。
【０００３】
このようなＤＲ広告は、同一広告放送コンテンツに対して国家別にあるいは特定国家の各地域別に該当の地域に合うように、電話番号、インターネットホームページ住所、価格などの情報が変更されて送出されることもある。同一広告内で発生するこのような種類の変形形態の広告に対して各変形形態別に放送送出回数などのような統計情報が提供できれば非常に有用である。
【０００４】
一方、放送中に広告が含まれる場合、これを検出する方法としては、非特許文献１の論文において知られたような技術が知られている。
【０００５】
また、特許文献１（２０１１年１２月１日公開）は“広告映像検出方法及び装置”に関するもので、映像再生装置によって再生される放送コンテンツと広告映像が混合されたモニタリング対象映像の複数のフレームのそれぞれを所定の大きさの部分ブロックに分割する段階；前記所定の大きさの部分ブロックの中で予め設定されたた位置にあたる部分ブロックのそれぞれに対する特徴情報を算出する段階；前記特徴情報を特徴情報ベクターに変換する段階；及びデータベースに予め保存された検出しようとする参照広告映像の特徴情報ベクターと前記特徴情報ベクターを比較して前記参照広告映像を検出する段階；を含む広告映像検出方法について開示している。
【０００６】
しかし、このような技術はいずれも単純に放送中に事前にＤＢに登録された広告が再生されるかどうかを判別するのに止まっているので、使用者の直接的な反応を誘導する直接反応広告を検出することはできず、直接反応広告を変形形態別にグループ化することもできないという限界がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】韓国公開特許第１０−２０１１−０１２９３２５号公報
【非特許文献】
【０００８】
【非特許文献１】D. A. Sadlier et al., “Automatic TV advertisement detection from mpeg bitstream,” Journal of the Patt. Rec. Society, vol. 35, no. 12, pp. 215, Dec. 2002.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は前述したような限界点を解決するためのもので、放送ストリームから広告区間が検出することで、該当の広告区間が直接反応広告であるかどうかを判別することができるシステム及び方法を提供することを目的とする。
【００１０】
また、本発明は直接反応広告に判別された広告を互いに同一性を有するもの同士グループ化することができるシステム及び方法を提供することをさらに他の目的とする。
【００１１】
また、本発明は、直接反応広告を変形形態別にグループ化することで、それぞれの変形形態別に多様な統計情報及び付加情報を提供することにより、直接反応広告に係わる広告の効率性を正確に評価することができるシステム及び方法を提供することをさらに他の目的とする。
【課題を解決するための手段】
【００１２】
前述したような課題を解決するために、本発明は、直接反応広告検出及び分類システムにおいて、放送ストリームから検出される広告区間に対して広告候補セグメントを生成する広告候補セグメント生成部；広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別するマッチング部；前記マッチング部で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する直接反応広告判定部；前記直接反応広告判定部で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する直接反応広告登録部；及び前記マッチング部によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う直接反応広告グループ化部；を含み、前記直接反応広告判定部は、前記広告候補セグメントに相応する広告が映像信号である場合、該当の広告映像信号をなすイメージフレームの中の少なくともいずれか一つに直接反応広告であることを示す予め指定された文字列が含まれているかどうかを判別することによって直接反応広告であるかを判定する直接反応広告検出及び分類システムを提供する。
また、本発明は、直接反応広告検出及び分類システムにおいて、放送ストリームから検出される広告区間に対して広告候補セグメントを生成する広告候補セグメント生成部；広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別するマッチング部；前記マッチング部で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する直接反応広告判定部；前記直接反応広告判定部で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する直接反応広告登録部；及び前記マッチング部によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う直接反応広告グループ化部；を含み、前記直接反応広告判定部は、前記広告候補セグメントに相応する広告が音声信号である場合、該当の広告音声信号に直接反応広告であることを示す予め指定された音声信号が含まれているかどうかを判別することによって直接反応広告を判定する直接反応広告検出及び分類システムを提供する。
【００１４】
また、前記直接反応広告判定部は、イメージフレーム内で予め指定された文字列が表示される位置に対する少なくとも一つ以上の領域情報を獲得し、前記直接反応広告登録部は、前記領域情報、前記予め指定された文字列及び当該文字列がイメージフレームに含まれているかどうかの判別時の信頼度情報を広告セグメントに対する広告セグメント情報として広告データベースに保存するようにすることもできる。
【００１６】
また、前記直接反応広告判定部は、前記予め指定された音声信号が現れる位置に対する少なくとも一つ以上の時間情報を獲得し、前記直接反応広告登録部は、前記時間情報、前記指定された音声信号及び当該音声信号が前記広告音声信号に含まれているかどうかの判別時の信頼度情報を広告セグメントに対する広告セグメント情報として広告データベースに保存するように構成することもできる。
【００１７】
また、前記直接反応広告登録部は、前記広告データベースに保存した広告セグメントを該当の直接反応広告のマスターセグメントに設定するように構成することもできる。
【００１８】
また、前記直接反応広告グループ化部は、前記広告候補セグメントと前記広告候補セグメントとマッチングする広告セグメントのマスターセグメントである広告セグメントを比較して同一性有無を判断し、前記同一性有無の判断結果、前記広告候補セグメントが、マスターセグメントである広告セグメントと同一である場合、前記広告候補セグメントをマスターセグメントのインスタンスセグメントに設定し、マスターセグメントである広告セグメントと同一でない場合、前記広告候補セグメントをマスターセグメントの変異セグメントに設定するように構成することもできる。
【００１９】
また、前記直接反応広告グループ化部は、前記広告候補セグメントと前記広告候補セグメントとマッチングする広告セグメントのマスターセグメントである広告セグメントを比較して同一性有無を判断し、前記同一性有無の判断結果、前記広告候補セグメントが、マスターセグメントである広告セグメントと同一である場合、前記広告候補セグメントをマスターセグメントのインスタンスセグメントに設定し、マスターセグメントである広告セグメントと同一でない場合、前記広告候補セグメントを前記マスターセグメントの変異セグメントである広告セグメントと比較して同一性有無を判断し、同一性有無の判断結果、前記広告候補セグメントが、変異セグメントである広告セグメントと同一である場合、前記広告候補セグメントを当該変異セグメントのインスタンスセグメントに設定し、変異セグメントである広告セグメントと同一でない場合、前記広告候補セグメントをマスターセグメントの新規の変異セグメントに設定するように構成することもできる。
【００２０】
また、前記同一性有無の判断は、前記広告候補セグメントに含まれている直接反応広告であることを示す文字列が位置する領域情報に相応する領域のイメージと比較対象の広告セグメントに対する文字列の領域情報に相応する領域のイメージを比較して判断するように構成することもできる。
【００２１】
また、前記イメージの比較は、比較対象であるイメージ間の距離関数の計算結果によってなされることができる。
【００２２】
また、前記同一性有無の判断は、前記広告候補セグメントに含まれている直接反応広告であることを示す文字列情報と比較対象の広告セグメントに対して保存されている文字列情報を比較して判断するように構成することもできる。
【００２３】
本発明の他の側面によれば、直接反応広告検出及び分類方法において、放送ストリームから検出される広告区間に対して広告候補セグメントを生成する第１段階；広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別する第２段階；前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する第３段階；前記第３段階で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する第４段階；及び前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う第５段階；を含み、前記第３段階では、前記広告候補セグメントに相応する広告が映像信号である場合、該当の広告映像信号をなすイメージフレームの中の少なくともいずれか一つに直接反応広告であることを示す予め指定された文字列が含まれているかどうかを判別することによって直接反応広告であるかを判定する直接反応広告検出及び分類方法を提供する。
また、本発明の他の側面によれば、直接反応広告検出及び分類方法において、放送ストリームから検出される広告区間に対して広告候補セグメントを生成する第１段階；広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかどうかを判別する第２段階；前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、当該広告候補セグメントが直接反応広告であるかどうかを判定する第３段階；前記第３段階で直接反応広告であると判定された広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する第４段階；及び前記第２段階で広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、当該広告候補セグメントを広告データベースに保存されている直接反応広告である広告セグメントに対してグループ化を行う第５段階；を含み、前記第３段階では、前記広告候補セグメントに相応する広告が音声信号である場合、該当の広告音声信号に直接反応広告であることを示す予め指定された音声信号が含まれているかどうかを判別することによって直接反応広告を判定する直接反応広告検出及び分類方法を提供する。
【発明の効果】
【００２４】
本発明によれば、放送ストリームから広告区間が検出することで、該当の広告区間が直接反応広告であるかどうかを判別することができるシステム及び方法を提供することができる。
【００２５】
また、本発明によれば、直接反応広告に判別された広告を互いに同一性を有するもの同士グループ化することができるシステム及び方法を提供することができる。
【００２６】
また、本発明によれば、直接反応広告を変形形態別にグループ化することで、各変形形態別に多様な統計情報及び付加情報を提供するようにすることにより、直接反応広告に係わる広告の効率性を正確に評価することができるシステム及び方法を提供することができる効果がある。
【図面の簡単な説明】
【００２７】
【図１】本発明による直接反応広告検出及び分類システム１００の一実施例の構成を示した図である。
【図２】領域情報を獲得する過程を説明するための図である。
【図３】直接反応広告グループ化部５０によるグループ化過程の概念を説明するための図である。
【図４】図３で説明したようなマスターセグメント及び変異セグメント、そしてそれぞれのマスターセグメントまたは変異セグメントのインスタンスセグメントを実際画面とともに例示的に示したものである。
【図５】領域情報の同一性を判断する過程を説明するための図である。
【図６】変異セグメントを設定する過程を説明するための例示図である。
【図７】本発明のシステム１００で使われる広告データベース６０に保存される広告セグメント情報の一例を示した図である。
【図８】図１〜図７を参照して説明した本発明による直接反応広告検出及び分類システム１００からなる方法の一実施例を示したフローチャートである。
【図９】図８の段階（Ｓ１５０）のグループ化過程を説明する詳細フローチャートである。
【発明を実施するための形態】
【００２８】
以下、添付図面に基づいて本発明による実施例を詳細に説明する。
【００２９】
図１は本発明による直接反応広告検出及び分類システム１００（以下、簡単に“システム１００”という）の一実施例の構成を示した図である。
【００３０】
図１を参照すれば、システム１００は、広告候補セグメント生成部１０、マッチング部２０、直接反応広告判定部３０、直接反応広告登録部４０及び直接反応広告グループ化遂行部５０を含む。また、システム１００は広告データベース６０をさらに含む。
【００３１】
広告候補セグメント生成部１０は、放送ストリームから検出される広告区間に対して広告候補セグメントを生成する機能を遂行する。放送ストリーム（ｂｒｏａｄｃａｓｔ ｓｔｒｅａｍ）とは、例えば空中波ＴＶ放送、ケーブルＴＶ放送を通じて提供される放送信号を意味し、広告候補セグメント生成部１０は放送ストリームを受信しながら放送ストリーム中に広告が含まれているか、つまり広告区間が含まれているかどうかを検出する。
【００３２】
放送ストリームから広告区間を検出する技術は従来技術によって知られている技術で、どのものでも使うことができ、広告区間検出そのものは本発明の直接的な目的ではないので、詳細な説明は省略する。一方、本出願人によって出願された大韓民国特許出願第１０−２０１３−００６８３０５号は“フィンガープリントに基づいた広告検出システム及び方法”に関するもので、これに開示された広告検出方法を使うこともできる。
【００３３】
広告候補セグメント生成部１０は広告区間を検出し、検出された広告区間に対して広告候補セグメント（ａｄｖｅｒｔｉｓｅｍｅｎｔ ｃａｎｄｉｄａｔｅ ｓｅｇｍｅｎｔ）を生成する。ここで、広告候補セグメントは所定時間の長さ単位に分割されて生成できる。また、広告候補セグメント生成部１０は生成された広告候補セグメントに対する広告候補セグメント情報を獲得する。
【００３４】
広告候補セグメント情報は、広告区間が検出された放送ストリームを提供する放送チャネル情報、広告区間が検出された放送ストリームが提供される時間についての時間情報、広告区間についての時間情報を含むことができる。また、広告候補セグメント情報は、該当の広告区間の少なくとも一部分に対するフィンガープリント情報を含むことができる。また、広告候補セグメント情報は、検出される広告が映像（ｖｉｄｅｏ）で提供される場合、該当の広告映像の原本デジタルデータを含むことができる。検出される広告が音声（ａｕｄｉｏ）として提供される場合、該当の広告音声の原本デジタルデータを含むことができる。
【００３５】
広告候補セグメント生成部１０はこのように広告候補セグメントを生成しながら広告候補セグメント情報を一緒に獲得する。
【００３６】
マッチング部（ｍａｔｃｈｉｎｇ ｕｎｉｔ）２０は、広告候補セグメント生成部１０で生成された広告候補セグメントが広告データベース６０に保存された広告セグメントとマッチングするかどうかを判別する機能を遂行する。マッチング可否の判別は前述した広告候補セグメント生成部１０で広告候補セグメントのフィンガープリント情報と広告データベース６０に保存された広告セグメントのフィンガープリント情報を比較することでなされることができる。フィンガープリント情報を比較してマッチングを行う技術も本発明の直接的な目的ではなく、従来技術によって知られているものをそのまま使うことができるので、これについても詳細な説明は省略する。
【００３７】
このために、広告データベース６０は、広告セグメントのフィンガープリント情報を広告セグメント情報として保存している。ここで、広告セグメントとは、直接反応広告判定部３０、直接反応広告登録部４０及び直接反応広告グループ化部５０によって、後述するような所定の過程によって直接反応広告としてまたは一般広告として広告データベースに登録された広告候補セグメントを意味する。すなわち、広告セグメントは広告候補セグメントに対して直接反応広告であるかまたは一般広告であるかを区分して保存されたものを意味する。広告データベース６０に保存される広告セグメントは、広告セグメント情報として前述した広告候補セグメント情報の外にセグメント識別子（ｓｅｇｍｅｎｔ ｉｄｅｎｔｉｆｉｅｒ（ＩＤ））、直接反応広告種類識別子、及びインスタンス番号をさらに含むことができる。また、その他の付加情報として直接反応広告であることを示す文字列が表示される位置に対する領域情報、直接反応広告であることを示す音声信号が位置する区間についての時間情報をさらに含むこともできる。また、その他の事情によって必要な多様なメタ情報をさらに含むことができる。
【００３８】
直接反応広告判定部３０は、マッチング部２０で広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、広告候補セグメントが直接反応広告であるかどうかを判定する機能を遂行する。
【００３９】
直接反応広告（Ｄｉｒｅｃｔ ｒｅｓｐｏｎｓｅ ａｄｖｅｒｔｉｓｅｍｅｎｔ、ＤＲ ａｄ（ＤＲ広告））は周知のように、例えばＴＶ広告放送を通じて視聴者が広告商品に対する製品注文や相談や問い合わせが可能となるように、電話番号、インターネットホームページ住所（ＵＲＬ）、価格などのような情報を広告映像内の特定位置に一定時間のうちに露出されることにより、視聴者の直接的な反応を導き出す広告を言う。このような直接反応広告は、広告映像の場合、広告映像の特定の位置に、例えば製品購買用電話番号（例：８００−３２３−８３７０）を露出させることになり、直接反応広告判定部３０はこのように露出される電話番号を判別して直接反応広告であるかを判定することができる。
【００４０】
すなわち、直接反応広告判定部３０は、広告候補セグメントに相応する広告が映像信号である場合、該当の広告映像信号をなすイメージフレームの中で少なくともいずれか一つに直接反応広告であることを示す予め指定された文字列（例えば、電話番号）が含まれているかどうかを判別することにより、直接反応広告であるかを判定することができる。
【００４１】
この際、予め指定された文字列は、例えば電話番号、インターネットホームページ住所、価格などのようなものであることができる。例えば、電話番号としては、電話番号の全部ではない電話番号の一部のみを予め指定しておくことができる。例えば、ホームショッピング業者が一般に“８００”の局番を使うときは“８００”のみを指定しておくことができる。また、インターネット住所であることを示す“ｗｗｗ”のみを予め指定しておくこともできる。
【００４２】
このような文字列がイメージフレームに含まれているかどうかは従来技術によって知られた文字認識技術を用いることができる。文字認識技術そのものは本発明の直接的な目的ではなく、従来技術をそのまま使うことができるので、これについての詳細な説明は省略する。
【００４３】
直接反応広告判定部３０は、イメージフレーム内に予め指定された文字列が含まれている場合、該当の文字列が表示される位置についての少なくとも一つ以上の領域情報を獲得する。
【００４４】
図２は領域情報を獲得する過程を説明するための図である。
【００４５】
図２を参照すれば、上端の写真は放送ストリームを通じて提供される広告映像をキャプチャーしたもので、広告映像中に予め設定しておいた文字列（図２では電話番号８００−３２３−８３７０）が含まれているイメージフレームの一つを示したものである。ここで、該当の文字列が表示される位置についての領域情報は図２の下端に示したように四角形として現すことができ、この四角形の左上端頂点（ｗ１１、ｈ１１）と右下端頂点（ｗ１２、ｈ１２）によってＲ１＝［（ｗ１１、ｈ１１）、（ｗ１２、ｈ１２）］として表示することができる。
【００４６】
このような領域情報は一つの広告映像、つまり広告候補セグメントにおいて複数存在することができ、これらはそれぞれ前述したように左上端頂点と右下端頂点によってＲ２＝［（ｗ２１、ｈ２１）、（ｗ２２、ｈ２２）］、Ｒ３＝［（ｗ３１、ｈ３１）、（ｗ３２、ｈ３２）］、．．．などとして表示することができる。
【００４７】
このような領域情報は広告セグメント情報として保存され、後述するように直接反応広告グループ化部５０で直接反応広告をグループ化するのに使われる。
【００４８】
一方、直接反応広告判定部３０は、広告が音声信号である場合、にも直接反応広告であるかを判定することができる。これは音声認識技術によって直接反応広告であることを示す予め指定された音声信号が広告音声に含まれているかどうかを判別することによってなされることができる。この際、直接反応広告判定部３０は、予め指定された音声信号が現れる位置についての少なくとも一つ以上の時間情報を獲得することができる。音声認識技術も本発明の直接的な目的ではなく、従来技術をそのまま使うことができるので、これについての詳細な説明は省略する。
【００４９】
また、図１を参照して直接反応広告登録部４０について説明する。
【００５０】
直接反応広告登録部４０は直接反応広告判定部３０によって直接反応広告であると判定された広告候補セグメントを広告セグメントとして広告データベース６０に保存する機能を遂行する。この際、該当の広告候補セグメントは直接反応広告である広告セグメントとして広告データベース６０に保存される。
【００５１】
また、直接反応広告登録部４０は、直接反応広告判定部３０で獲得された直接反応広告であることを示す予め指定された文字列が表示されるイメージフレーム内の領域情報と該当の文字列情報を広告データベースに保存することができる。
【００５２】
また、文字列情報の判別時に使用された文字認識結果の信頼度情報を広告セグメントに対する広告セグメント情報としてさらに広告データベースに保存することもできる。周知のように、文字認識技術は文字認識結果の信頼度を一緒に把握することができ、このような信頼度を広告セグメント情報として広告データベース６０に一緒に保存することにより、後述するマスターセグメント設定の際に使うことができるようにする。
【００５３】
また、直接反応広告登録部４０は、広告が音声として提供される場合、該当の広告候補セグメントで予め指定された音声信号が現れる時間についての時間情報と、前記指定された音声信号情報を広告データベース６０に保存することができる。また、映像の場合と同様に、音声信号情報判別時の信頼度情報を広告セグメントに対する広告セグメント情報として広告データベースにさらに保存することができる。
【００５４】
一方、直接反応広告判定部３０によって直接反応広告であると判定されなかった広告候補セグメントは一般広告セグメントとして広告データベース６０に保存される。
【００５５】
一方、直接反応広告登録部４０は広告データベース６０に保存する広告セグメントを直接反応広告のマスターセグメントに設定する。直接反応広告登録部４０によって登録される広告セグメントは直接反応広告判定部３０によって直接反応広告であると判定されたものであり、直接反応広告判定部３０によって処理される広告候補セグメントはマッチング部２０によって該当の広告候補セグメントにマッチングする広告セグメントが存在しないと判別されたものであるので、直接反応広告登録部４０によって広告データベース６０に保存される広告候補セグメントは該当の直接反応広告に対して最初に現れる広告であるので、その広告セグメントを該当の直接反応広告のマスターセグメントに設定する。マスターセグメントの具体的な作用は直接反応広告グループ化部５０を参照して後述する。
【００５６】
直接反応広告グループ化部５０は、マッチング部２０によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、広告候補セグメントを広告データベース６０に保存されている直接反応広告である広告セグメントに対してグループ化を行う機能を担当する。
【００５７】
ここで、グループ化（ｇｒｏｕｐｉｎｇ）とは、広告候補セグメントを広告セグメントとして広告データベースに保存するとき、既に保存されている広告セグメントとの同一性によって既に保存されている広告セグメントに連関して保存することを意味する。
【００５８】
図３は直接反応広告グループ化部５０によるグループ化過程の概念を説明するための図である。
【００５９】
前述したように、直接反応広告は同一広告コンテンツに対して国家別または地域別にその国家または地域の特性に合うように、電話番号、インターネットホームページ住所、価格などの情報を変更して提供される場合が多い。直接反応広告グループ化部５０におけるグループ化はこのような点に鑑みて直接反応広告を分類することができる方法を提供する。
【００６０】
図３を参照すれば、図３の縦軸は同一広告コンテンツに対してマスターセグメント及び変異セグメントに区分されていることが分かる。ここで、マスターセグメントは直接反応広告の中で最初に現れるかその他の条件によって指定される直接反応広告である広告セグメントで、特定の直接反応広告に対して基準点としての役目をする広告セグメントを意味する。
【００６１】
変異セグメントは広告コンテンツの内容面においてはマスターセグメントと同一性があるが、前述したように、電話番号、インターネットホームページ住所、価格などの情報が異なる広告セグメントを意味し、マスターセグメントに対して変形された形態の広告セグメントを意味する。
【００６２】
変異セグメントは、電話番号、インターネットホームページ住所、価格などの情報が異なる場合のみならず、このような情報が広告映像で現れる位置が異なる場合、つまり図２で説明した領域情報が異なる場合を含むこともできる。また、広告コンテンツの内容そのものが部分的に異なる場合を含むこともできる。
【００６３】
特定の直接反応広告に対してマスターセグメントは一つであり、変異セグメントは複数存在することができる。
【００６４】
一方、図３の横軸はマスターセグメントまたは変異セグメントのそれぞれに対して同一性を有する広告セグメントが連関されていることを示したもので、このようにマスターセグメントまたは変異セグメントと同一性を有する広告セグメントは本発明においてはインスタンス（ｉｎｓｔａｎｃｅ）セグメントと称することにする。それぞれのマスターセグメントまたは変異セグメントの横軸に存在するインスタンスセグメントは各横軸の左端のマスターセグメントまたは変異セグメントと同一性を有する広告セグメントである。
【００６５】
図４は図３で説明したようなマスターセグメント及び変異セグメント、そしてそれぞれのマスターセグメントまたは変異セグメントのインスタンスセグメントを実際の画面とともに例示的に示したものである。
【００６６】
図４において、左端の縦軸の最上端は特定の直接反応広告に対するマスターセグメント４００であり、その下の画面はそれぞれ変異セグメント４０１、４０２を示す。マスターセグメント４００と変異セグメント４０１、４０２の横軸に存在する画面は各セグメントのインスタンスセグメントを示したものである。
【００６７】
マスターセグメント４００と変異セグメント４０１、４０２を比較すると、これらはそれぞれ電話番号において違いがあることが分かる。
【００６８】
直接反応広告グループ化部５０は、マッチング部２０によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、広告候補セグメントを広告データベース６０に保存されている直接反応広告である広告セグメントに対して図３及び図４で説明したような方式でグループ化を行ってマスターセグメントまたは変異セグメントに区分して広告データベース６０に保存するかあるいはマスターセグメントまたは変異セグメントのインスタンスセグメントとして広告データベース６０に保存する。
【００６９】
これをより詳細に説明すれば次のようである。
【００７０】
まず、特定の直接反応広告Ａに対する広告候補セグメントが最初に直接反応広告判定部３０によって直接反応広告であると判定されれば、その広告候補セグメントは前述したように広告データベース６０に広告セグメントとして保存されながらマスターセグメントに設定される。
【００７１】
このような状態で、任意の広告候補セグメントが広告候補セグメント生成部１０によって生成されれば、その広告候補セグメントはマッチング部２０によってマッチングする広告セグメント（直接反応広告）が広告データベース６０に存在するかどうかが判別され、マッチングする広告セグメントが存在し、その広告セグメントが直接反応広告である場合、直接反応広告グループ化部５０によってグループ化を遂行するようになる。この際、直接反応広告グループ化部５０は、広告候補セグメントとマッチングする広告セグメントのマスターセグメントを比較して同一性有無を判断する。広告候補セグメントは、マッチングする広告セグメントのマスターセグメントと同一性を有する場合、広告候補セグメントをマスターセグメントのインスタンスセグメントに設定する。同一性を有しない場合には、広告候補セグメントをマスターセグメントの変異セグメントに設定する。
【００７２】
特定の直接反応広告（広告セグメント）に対してマスターセグメント及び変異セグメントの両者が存在する場合には、直接反応広告グループ化部５０は、広告候補セグメントと広告候補セグメントとマッチングする広告セグメントのマスターセグメントから変異セグメントに対して順次同一性有無を判断するようになる。
【００７３】
すなわち、優先的に広告候補セグメントとマスターセグメントを比較して同一性有無を判断し、同一性有無の判断結果、広告候補セグメントがマスターセグメントである広告セグメントと同一である場合、広告候補セグメントをマスターセグメントのインスタンスセグメントに設定する。
【００７４】
広告候補セグメントがマスターセグメントである広告セグメントと同一でない場合には、広告候補セグメントをマスターセグメントの変異セグメントである広告セグメントと比較して同一性有無を判断し、同一性有無判断結果、広告候補セグメントが変異セグメントである広告セグメントと同一である場合、広告候補セグメントを変異セグメントのインスタンスセグメントに設定し、変異セグメントである広告セグメントと同一でない場合、広告候補セグメントをマスターセグメントの新規の変異セグメントに設定する。この際、変異セグメントが複数存在する場合には、変異セグメントに対して順次同一性有無を判断して前述したような過程を遂行する。
【００７５】
一方、前述した過程において、同一性有無の判断は次のような方法を使うことができる。
【００７６】
すなわち、広告候補セグメントに含まれている直接反応広告であることを示す予め指定された文字列が位置する領域情報に相応する領域のイメージと比較対象の広告セグメント（マスターセグメントまたは変異セグメント）に対して保存されている領域情報に相応する領域のイメージを比較する方法を使うことができる。これは、例えば該当領域のイメージのフィンガープリントを抽出して比較する方法によってなされることができる。
【００７７】
図５は領域情報の同一性を判断する過程を説明するための図である。
【００７８】
図５の（ａ）及び（ｂ）は比較する領域情報に相応する領域が互いに△ｈ及び△ｗの分だけ差がある場合を示したものである。このように、文字列が位置する領域は上下左右方向に△ｈ及び／または△ｗだけの位置変更や画面拡張現象が発生するとか該当領域の映像ぼやけ（ｂｌｕｒｒｉｎｇ）などが発生する。このような場合は同一性があると判断することができる。このために、比較対象である領域に対する距離関数を下記の式のように定義し、この距離関数による計算結果によって同一性有無を判断することができる。
【００７９】
【数１】
0005882546.tif 000002
【００８０】
ここで、Ｒｎ、Ｒｍはそれぞれの領域を示し、ｗ、ｈは図２で説明したような領域の左上端及び右下端の座標値を示す。△ｈ及び△ｗは比較される領域間の上下高さ及び左右長さの差を意味する。フィンガープリントを比較する場合には、前記距離関数は比較される二領域のフィンガープリントの比較結果の差値であることができる。このような距離関数による計算結果と予め設定しておいた臨界値を比較し、臨界値以下の場合は同一性があると判断し、臨界値を超える場合は同一性がないと判断することができる。
【００８１】
さらに他の方法として、広告候補セグメントに含まれている直接反応広告であることを示す予め指定された文字列の認識された文字列情報と比較対象の広告セグメントの文字列情報を比較する方法を使うこともできる。
【００８２】
一方、広告候補セグメントに含まれている直接反応広告であることを示す予め指定された文字列が位置する領域情報を獲得し、これを比較対象の広告セグメント（マスターセグメントまたは変異セグメント）に対して保存されている領域情報と比較して同一性有無を判断するようにすることもできる。この際、領域情報の同一性有無は図２に示したような座標値が全く同一である場合のみならず、所定の臨界値範囲内で差がある場合も同一であると判断するようにすることもできる。
【００８３】
このような過程を遂行すれば、直接反応広告グループ化部５０は、広告候補セグメントを広告データベース６０に保存されている広告セグメント（マスターセグメント、変異セグメント）との同一性有無に基づいてグループ化を遂行し、後述する図７のような構造を持つように該当の広告候補セグメントを広告セグメントとして広告データベース６０に保存するようになる。
【００８４】
図６は変異セグメントを設定する過程を説明するための例示図である。
【００８５】
図６において、（ａ）を既に保存されているマスターセグメントである広告セグメントとし、（ｂ）を（ａ）と比較するとき、他のすべての情報は同一であるが電話番号だけが異なる広告候補セグメントとするとき、（ｂ）を（ａ）と比較する場合、該当の領域情報に相応するイメージや該当の文字列情報を比較すれば（ｂ）は（ａ）の変異セグメントとしてグループ化される。
【００８６】
一方、（ｃ）を（ａ）と比較するとき、他のすべての情報は同一で、領域情報に含まれた電話番号だけが異なる広告候補セグメントであり、（ｃ）を（ａ）と比較すると、（ｃ）は（ａ）の変異セグメントとして分類される。
【００８７】
もし、（ｃ）と（ｂ）を比較すると、（ｃ）は領域情報に含まれた電話番号が同一で、位置だけが異なるため、（ｃ）は（ｂ）のインスタンスセグメントとなるであろう。
【００８８】
一方、マスターセグメントに対してインスタンスセグメントが設定された場合、前述したように文字列情報の判別時に使用された文字認識方法の信頼度情報を比較し、マスターセグメントとインスタンスセグメントの中で信頼度情報がより高いものをマスターセグメントに設定するようにすることもできる。これは変異セグメントのインスタンスセグメントの場合にも同様である。
【００８９】
また、直接反応広告グループ化部５０でグループ化が遂行された後、管理者コンピュータの使用者インターフェースを介してグループ化結果を表示するようにし、管理者が該当の内容を確認して最終的にグループ化を承認するとか変更するように構成することもできる。これだけでなく、直接反応広告判定部３０及び直接反応広告登録部４０で遂行された結果を管理者コンピュータに表示するようにし、これに対しても管理者が該当の内容を承認するとか変更するように構成することもできる。
【００９０】
また、図示しなかったが、システム１００は統計部をさらに含むようにして、それぞれの直接反応広告に対する各種の情報をマスターセグメント及び変異セグメントに区分して提供することもできる。統計部によって特定の直接反応広告がどの形態に変形されて放送を通じて提供されるかを多様な付加情報とともに受けることができるようになる。
【００９１】
図７は前述したようなシステム１００で使われる広告データベース６０に保存される広告セグメント情報の一例を示した図である。
【００９２】
図７を参照すれば、広告セグメント情報は、セグメント識別子、直接反応広告区分子、インスタンス番号、チャネル放送開始時点情報、区間情報、フィンガープリント情報、原本データ情報及び付加情報を含むことができる。
【００９３】
セグメント識別子（ｓｅｇｍｅｎｔ ｉｄｅｎｔｉｆｉｅｒ）はそれぞれの広告セグメントを識別するために固有に付与される識別子である。
【００９４】
直接反応広告区分子は、前述したように、マスターセグメントであるかまたは変異セグメントであるかを区分するための識別子であり、図７においてＭはマスターセグメントを示し、Ｖは変異セグメントを示す。
【００９５】
図７の第１行と第４行の直接反応広告区分子は同一であるが、これらの中でマスターセグメントの区分はインスタンス番号によって区別することができる。すなわち、インスタンス番号が０であるものがマスターセグメントであり、インスタンス番号が１であるものは該当のマスターセグメントに最初に登録されたインスタンスセグメントであることを示す。図７の直接反応広告区分子において、ＭまたはＶの次の数字はセグメント識別子を示す。
【００９６】
一方、図７の第２行と第５行の直接反応広告区分子はいずれもＶであり、Ｖの次のセグメント識別子は９９００１８で、９９００１８のセグメント識別子に対する変異セグメントであることをそれぞれ示す。この際、９９００１８の次の数字は変異セグメントの順番を示すもので、１は第１変異セグメント、２は第２変異セグメントであることをそれぞれ示す。
【００９７】
チャネル放送開始時点は該当の広告セグメントが放送されたチャネルの名前と該当のチャネルで広告が放送された開始時間についての情報を意味し、区間情報は放送開始時点から広告が再生された時間についての情報を保存する。
【００９８】
フィンガープリント情報は広告セグメントの広告映像または音声に対して少なくとも一部に対して抽出されたフィンガープリント情報であり、原本データは該当の広告映像または音声映像そのものに対する原本デジタルデータを意味する。
【００９９】
付加情報としては、前述したように、例えば左上端及び右下端の座標値として表示される領域情報、直接反応広告であることを示す文字列が判別された場合の判別された文字列情報などを含むことができる。
【０１００】
図８は図１〜図７を参照して説明した本発明による直接反応広告検出及び分類システム１００で行われる方法の一実施例を示したフローチャートである。
【０１０１】
図８を参照すれば、まず広告候補セグメント生成部１０は、放送ストリームから検出される広告区間に対して広告候補セグメントを生成する（Ｓ１００）。
【０１０２】
次に、マッチング部２０は段階（Ｓ１００）で生成された広告候補セグメントが広告データベースに保存された広告セグメントとマッチングするかを判別する（Ｓ１１０）。
【０１０３】
段階（Ｓ１１０）でマッチング部２０によって広告候補セグメントにマッチングする広告セグメントが存在しないと判別された場合、直接反応広告判定部３０は広告候補セグメントが直接反応広告であるかを判定する（Ｓ１２０）。
【０１０４】
段階（Ｓ１３０）で広告候補セグメントが直接反応広告であると判定された場合、直接反応広告登録部４０は該当の広告候補セグメントを直接反応広告である広告セグメントとして広告データベースに保存する（Ｓ１４０）。
【０１０５】
一方、段階（Ｓ１１０）でマッチング部２０によって広告候補セグメントにマッチングする広告セグメントが存在すると判別されるとともにマッチングする広告セグメントが直接反応広告である場合、直接反応広告グループ化部５０は、広告候補セグメントを広告データベース６０に保存されている直接反応広告である広告セグメントに対してグループ化を遂行する（Ｓ１５０）。
【０１０６】
図９は図８の段階（Ｓ１５０）のグループ化過程の詳細フローチャートである。
【０１０７】
図９の詳細フローチャートはグループ化過程でマスターセグメント及び変異セグメントを設定する過程とマスターセグメントまたは変異セグメントに対するインスタンスセグメントを設定する過程を示したもので、図３〜図６を参照して説明した内容に基づいたものである。
【０１０８】
まず、広告候補セグメントとマッチングする広告セグメントのマスターセグメントを、例えば図７のように構成された広告データベース６０から確認する（Ｓ１５１）。
【０１０９】
マスターセグメントが確認されれば、広告候補セグメントがマスターセグメントと同一性があるかを判断する（Ｓ１５２）。
【０１１０】
マスターセグメントと同一性がある場合には、広告候補セグメントを該当のマスターセグメントのインスタンスセグメントとして広告データベース６０に登録及び保存する（Ｓ１５３）。
【０１１１】
マスターセグメントと同一性がない場合には、マスターセグメントに対して変異セグメントが存在するかどうかを図７のような広告データベース６０から確認し（Ｓ１５４）、変異セグメントが存在しない場合であれば、広告候補セグメントをマスターセグメントに対する新規の変異セグメントとして登録する（Ｓ１５５）。
【０１１２】
変異セグメントが存在する場合には、変異セグメントと同一性があるかを判断し（Ｓ１５６）、変異セグメントと同一性がある場合には、広告候補セグメントを変異セグメントのインスタンスセグメントとして広告データベース６０に保存する（Ｓ１５７）。変異セグメントと同一性がない場合には、広告候補セグメントをマスターセグメントに対する新規の変異セグメントとして登録する（Ｓ１５５）。
【０１１３】
以上、本発明による好適な実施例に基づいて本発明を説明したが、本発明は前記実施例に限定されるものではなく、多様な形態の修正や変形の実施が可能であるのは当業者に明らかであろう。
【図５】
0005882546.tif 000003
【図６】
0005882546.tif 000004
【図１】
0005882546.tif 000005
【図２】
0005882546.tif 000006
【図３】
0005882546.tif 000007
【図４】
0005882546.tif 000008
【図７】
0005882546.tif 000009
【図８】
0005882546.tif 000010
【図９】
0005882546.tif 000011