(57)【要約】【課題】番組における提供クレジット表示の検出の高精度化を図る。【解決手段】本発明に係る提供クレジット表示検出装置１００は、提供クレジット表示が検出済みの番組から、提供クレジット表示が表示された静止画と、提供クレジット表示が表示されていない静止画とを学習データとして作成する学習データ作成部１４０と、学習データ作成部１４０により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部１５０と、学習部１５０により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部１７０と、を備える。【選択図】図１
2019213065.tif 000002
【特許請求の範囲】
【請求項１】
番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置であって、
前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示が表示された静止画と、前記提供クレジット表示が表示されていない静止画とを学習データとして作成する学習データ作成部と、
前記学習データ作成部により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部と、
前記学習部により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部と、
を備えることを特徴とする提供クレジット表示検出装置。
【請求項２】
請求項１に記載の提供クレジット表示検出装置において、
前記提供クレジット表示検出部は、
前記認識対象の番組の静止画を前記検出モデルに時系列的に入力し、各静止画に対する前記検出モデルの出力値に基づき、各静止画における提供クレジット表示の有無を時系列的に示す時系列信号を生成する信号生成部と、
前記信号生成部により生成された時系列信号において、前記提供クレジット表示ありと判定された静止画が所定時間以上連続する区間を、前記提供クレジット表示が表示された提供クレジット表示区間として検出し、該検出した提供クレジット表示区間の時刻情報を出力する時刻情報出力部と、
を備えることを特徴とする提供クレジット表示検出装置。
【請求項３】
請求項１又は２に記載の提供クレジット表示検出部において、
前記学習データ作成部は、曜日ごとの前記提供クレジット表示が検出済みの番組から、曜日ごとに前記学習データを作成し、
前記学習部は、前記学習データ作成部により作成された曜日ごとの学習データを用いて、前記パラメータを曜日ごとに学習し、
前記提供クレジット表示検出部は、前記認識対象の番組が放送される曜日について学習されたパラメータを前記検出モデルに適用して、前記認識対象の番組における提供クレジット表示を検出することを特徴とする提供クレジット表示検出装置。
【請求項４】
請求項３に記載の提供クレジット表示検出装置において、
前記学習部は、曜日ごとに、前記学習データ作成部により作成された最新の学習データを用いて学習し、前記検出モデルに適用するパラメータを更新することを特徴とする提供クレジット表示検出装置。
【請求項５】
請求項１から４のいずれか一項に記載の提供クレジット表示検出装置において、
前記学習データ作成部は、前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示ありの静止画及び該静止画が放送された時刻と、前記提供クレジット表示なしの静止画及び該静止画が放送された時刻とを学習データとして作成することを特徴とする提供クレジット表示検出装置。
【請求項６】
番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置における提供クレジット表示検出方法であって、
前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示ありの静止画と、前記提供クレジットなしの静止画とを学習データとして作成するステップと、
前記作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習するステップと、
前記学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出するステップと、
を含むことを特徴とする提供クレジット表示検出方法。
【請求項７】
コンピュータを、請求項１から５のいずれか一項に記載の提供クレジット表示検出装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組における、その番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムに関する。
【背景技術】
【０００２】
非特許文献１には、動画像に対する画像解析を行い、動画像に映る様々なイベントを検出する技術が開示されている。この技術では、動画像の撮影された場所、動画像に登場する物体、人などの情報を数値化して特徴ベクトルとして表現し、その特徴ベクトルを用いて、動画像に映る様々なイベント（誕生日会、タイヤ交換、料理、パレードなど）を検出する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】M. Merler, B. Huang, L. Xie, G. Hua, and A. Natsev, "Semantic Model Vectors for Complex Video Event Recognition", IEEE Transactions on Multimedia, vol.14, no.1, 586, pp.88-101, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、テレビ放送などにより放送される番組には、コマーシャル（以下、「ＣＭ」（Commercial Message）と称する）及びその番組のスポンサーを示す提供クレジット表示が含まれることがある。近年、ＣＭの効果の測定などのために、番組におけるＣＭを特定してカウントすることが求められている。また、特定したＣＭが、番組のスポンサーによるＣＭ（以下、「タイムＣＭ」と称する）であるか、放送局が定めた放送枠で放送されるＣＭ（以下、「スポットＣＭ」と称する）であるかを区別することが求められている。タイムＣＭは、番組に紐づけられたＣＭであるのに対し、スポットＣＭは、番組に紐づけられたＣＭではない。そのため、番組に含まれるタイムＣＭとスポットＣＭとを区別するためには、番組のスポンサーを示す提供クレジット表示を検出することが有用である。
【０００５】
従来は、作業者の目視による提供クレジット表示の確認が行われており、コストの増加を招いていた。また、提供クレジット表示には様々なバリエーションが存在し、非特許文献１に記載の技術では、様々なバリエーションの提供クレジット表示を高精度に検出することは困難であった。
【０００６】
上記のような問題点に鑑みてなされた本発明の目的は、番組における提供クレジット表示の検出の高精度化を図ることができる提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明に係る提供クレジット表示検出装置は、番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置であって、前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示が表示された静止画と、前記提供クレジット表示が表示されていない静止画とを学習データとして作成する学習データ作成部と、前記学習データ作成部により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部と、前記学習部により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部と、を備える。
【０００８】
また、上記課題を解決するため、本発明に係る提供クレジット表示検出方法は、番組における、該番組のスポンサーを示す提供クレジット表示を検出する提供クレジット表示検出装置における提供クレジット表示検出方法であって、前記提供クレジット表示が検出済みの番組から、前記提供クレジット表示ありの静止画と、前記提供クレジットなしの静止画とを学習データとして作成するステップと、前記作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習するステップと、前記学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出するステップと、を含む。
【０００９】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記の提供クレジット表示検出装置として機能させる。
【発明の効果】
【００１０】
本発明に係る提供クレジット表示検出装置、提供クレジット表示検出方法及びプログラムによれば、番組における提供クレジット表示の検出の高精度化を図ることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。
【図２】図１に示す提供クレジット表示検出装置における提供クレジット表示検出方法の一例を示すフローチャートである。
【図３】本発明の第２の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。
【図４】図３に示す提供クレジット表示検出装置における、曜日ごとの学習データを用いた再学習と、提供クレジット表示の検出精度の評価について説明するための図である。
【図５Ａ】図３に示す提供クレジット表示検出装置による、提供クレジット表示の検出の再現率（Ｒｅｃａｌｌ）の評価結果を示す図である。
【図５Ｂ】図３に示す提供クレジット表示検出装置による、提供クレジット表示の検出の適合率（Ｐｒｅｃｉｓｉｏｎ）の評価結果を示す図である。
【図６】本発明の第３の実施形態に係る提供クレジット表示検出装置の構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る提供クレジット表示検出装置１００の構成例を示す図である。本実施形態に係る提供クレジット表示検出装置１００は、番組における、その番組のスポンサーを示す提供クレジット表示を検出するものである。
【００１４】
図１に示す提供クレジット表示検出装置１００は、放送映像／音声信号蓄積部１１０と、正解メタデータ蓄積部１２０と、パラメータ蓄積部１３０と、学習データ作成部１４０と、学習部１５０と、検出用画像データ作成部１６０と、提供クレジット表示検出部１７０とを備える。提供クレジット表示検出部１７０は、信号生成部１７１と、時刻情報出力部１７２とを備える。
【００１５】
放送映像／音声信号蓄積部１１０は、放送された番組を固定時間長（例えば、６５分）でエンコードした放送映像／音声信号を蓄積する。放送映像／音声信号蓄積部１１０は、例えば、番組の映像信号をＨ．２６４方式でエンコードした信号と、番組の音声信号をＡＡＣ（Advanced Audio Coding）方式でエンコードした信号とをＭＰ４ファイル形式で格納する。放送映像／音声信号蓄積部１１０は、例えば、作業者などにより提供クレジット表示が表示される時刻が検出済みの番組（以下、「提供クレジット表示が検出済みの番組」と称する）、及び、提供クレジット表示の検出対象の番組（以下、「認識対象の番組」と称する）の放送映像／音声信号を蓄積する。なお、放送映像／音声信号蓄積部１１０は、放送用の番組の映像／音声信号に限られず、インターネット配信用の番組の映像／音声信号を蓄積してもよい。
【００１６】
正解メタデータ蓄積部１２０は、番組における、提供クレジット表示が表示された時刻を示す時刻情報を蓄積する。提供クレジット表示が表示された時刻は、例えば、予め作業者により目視により確認され、正解メタデータ蓄積部１２０に蓄積される。
【００１７】
パラメータ蓄積部１３０は、後述する、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを蓄積する。検出モデルは、例えば、畳み込みニューラルネットワークを用いたモデルである。詳細な説明は省略するが、畳み込みニューラルネットワークは、一般に、入力側から、畳み込み層とプーリング層とがこの順に、複数回繰り返して配置され、その後、全結合層が配置された構成を有する。畳み込み層では、入力画像に対して畳み込みフィルタを適用する処理が行われる。プーリング層では、畳み込み層の出力に対して、矩形フィルタを順次ずらしていきながら適用し、矩形フィルタ内の最大の値を取り出して新しい画像を生成する処理が行われる。全結合層では、畳み込み層及びプーリング層により特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換された値を出力する処理が行われる。パラメータ蓄積部１３０は、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、各層で適用するフィルタのフィルタ重み、及び、畳み込み層の出力に加算するバイアスパラメータなどを蓄積する。
【００１８】
学習データ作成部１４０は、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部１４０は、その番組において提供クレジット表示が表示された時刻を示す時刻情報を正解メタデータ蓄積部１２０から取得する。学習データ作成部１４０は、提供クレジット表示が検出済みの番組から、提供クレジット表示が表示された静止画（以下、「提供クレジット表示ありの静止画」と称する）と、提供クレジットが表示されていない静止画（以下、「提供クレジット表示なしの静止画」と称する）とを学習データとして作成する。
【００１９】
具体的には、学習データ作成部１４０は、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。なお、静止画は、画面内符号化が行われたＩフレームのみを用いて作成してもよい。例えば、学習データ作成部１４０は、１秒ごとに静止画を作成する。この場合、学習データ作成部１４０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
【００２０】
次に、学習データ作成部１４０は、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、学習データ作成部１４０は、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。学習データ作成部１４０は、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。学習データ作成部１４０は、例えば、提供クレジット表示が検出済みの番組の放送時間が６５分である場合、複数の番組に対して上述した処理を行い、必要数の静止画を抽出する。学習データ作成部１４０は、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を学習データとして学習部１５０に出力する。
【００２１】
学習部１５０は、学習データ作成部１４０により作成された学習データ（提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、学習部１５０は、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。学習部１５０は、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
【００２２】
検出用画像データ作成部１６０は、放送映像／音声信号蓄積部１１０から、認識対象の番組の映像信号を取得する。検出用画像データ作成部１６０は、取得した認識対象の番組の映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、検出用画像データ作成部１６０は、１秒ごとに静止画を作成する。この場合、検出用画像データ作成部１６０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。検出用画像データ作成部１６０は、作成した時系列的に連続する静止画を信号生成部１７１に出力する。
【００２３】
提供クレジット表示検出部１７０は、学習部１５０により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する。上述したように、提供クレジット表示検出部１７０は、信号生成部１７１と、時刻情報出力部１７２とを備える。
【００２４】
信号生成部１７１は、検出用画像データ作成部１６０から出力された、検出用画像データ（認識対象の番組の時系列的に連続する静止画）を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、信号生成部１７１は、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジットの有無を時系列的に示す時系列信号を生成する。ここで、信号生成部１７１は、パラメータ蓄積部１３０に蓄積されたパラメータを検出モデルに適用する。
【００２５】
具体的には、信号生成部１７１は、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、パラメータ蓄積部１３０に蓄積されたパラメータを固定値としたネットワーク（検出モデル）を構築する。信号生成部１７１は、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定し、例えば、信号「１」を出力する。また、信号生成部１７１は、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定し、例えば、信号「０」を出力する。信号生成部１７１は、認識対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、各静止画での提供クレジット表示の有無を、信号「０」又は信号「１」で示すバイナリ時系列信号を生成し、時刻情報出力部１７２に出力する。
【００２６】
時刻情報出力部１７２は、信号生成部１７１により生成されたバイナリ時系列信号において、提供クレジット表示ありと判定された静止画が所定時間以上連続する区間を、提供クレジット表示が表示された提供クレジット表示区間として検出する。そして、時刻情報出力部１７２は、検出した提供クレジット表示区間の時刻情報を出力する。
【００２７】
具体的には、時刻情報出力部１７２は、ノイズ除去を目的として、信号生成部１７１により生成されたバイナリ時系列信号に対して、中央値フィルタを適用する。そして、時刻情報出力部１７２は、中央値フィルタ処理後の時系列信号において、提供クレジット表示ありと判定された静止画が所定時間以上連続する区間、上述した例では、信号「１」が所定時間以上連続して並ぶ区間を、提供クレジット表示区間として検出する。静止画が１秒間隔で作成された場合、例えば、３００番目から３１０番目に信号「１」が連続して並んでいれば、時刻情報出力部１７２は、５分００秒から５分１０秒の区間を提供クレジット表示区間として検出し、時刻情報を出力する。
【００２８】
次に、本実施形態に係る提供クレジット表示検出装置１００における提供クレジット表示検出方法について、図２に示すフローチャートを参照して説明する。
【００２９】
まず、学習データ作成部１４０は、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画と、提供クレジットなしの静止画とを学習データとして作成する（ステップＳ１０１）。
【００３０】
次に、学習部１５０は、作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する（ステップＳ１０２）。
【００３１】
次に、検出用画像データ作成部１６０は、認識対象の番組から、認識対象の番組の時系列的に連続する静止画を検出用画像データとして作成する（ステップＳ１０３）。
【００３２】
次に、提供クレジット表示検出部１７０は、検出用画像データ作成部１６０により検出用画像データとして作成された認識対象の番組の時系列的に連続する静止画を、学習されたパラメータを適用した検出モデルに入力して、認識対象の番組における提供クレジット表示を検出する（ステップＳ１０４）。
【００３３】
提供クレジット表示では、スポンサー名を示す文字として、黒枠で縁取られた白文字、カラー文字などが用いられることがある。また、提供クレジット表示では、スポンサー名を示す文字として、種々のフォントの文字が用いられることがある。また、提供クレジット表示であっても、「提供」という文字が含まれる場合と、「提供」という文字が含まれない場合がある。また、提供クレジット表示が、スポンサーロゴのみを含む場合もある。さらに、提供クレジット表示の位置が、画面全体、右下、左下、右上、左上あるいは中央下である場合もある。このように、提供クレジット表示には、様々なバリエーションが存在する。このような様々なバリエーションの提供クレジット表示を、例えば、画像に登場する物体の特徴ベクトルなどを用いて検出することは困難である。
【００３４】
この点、本実施形態においては、提供クレジット表示検出装置１００は、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画と、提供クレジット表示なしの静止画とを学習データとして作成する学習データ作成部１４０と、学習データ作成部１４０により作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する学習部１５０と、学習部１５０により学習されたパラメータを適用した検出モデルを用いて、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部１７０と、を備える。そのため、様々なバリエーションの提供クレジット表示を学習データとすることで、上述したような様々なバリエーションの提供クレジット表示の検出が可能となり、提供クレジット表示の検出の高精度化を図ることができる。
【００３５】
（第２の実施形態）
図３は、本発明の第２の実施形態に係る提供クレジット表示検出装置１００Ａの構成例を示す図である。図３において、図１と同様の構成については同じ符号を付し、説明を省略する。
【００３６】
一般に、同じ番組であれば、毎週、同じ曜日に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。本実施形態に係る提供クレジット表示検出装置１００Ａは、このような傾向を利用して、提供クレジット表示の検出の更なる高精度化を図るものである。
【００３７】
図３に示す提供クレジット表示検出装置１００Ａは、図１に示す提供クレジット表示検出装置１００と比較して、学習データ作成部１４０を学習データ作成部１４０Ａに変更した点と、学習部１５０を学習部１５０Ａに変更した点と、提供クレジット表示検出部１７０を提供クレジット表示検出部１７０Ａに変更した点とが異なる。
【００３８】
学習データ作成部１４０Ａは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部１４０Ａは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。学習データ作成部１４０Ａは、取得した提供クレジット表示が検出済みの各曜日の番組から、曜日ごとの学習データを作成し、学習部１５０Ａに出力する。学習データ作成部１４０Ａは、初期学習用学習データ作成部１４１Ａと、曜日別再学習用学習データ作成部１４２Ａとを備える。
【００３９】
初期学習用学習データ作成部１４１Ａは、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部１４１Ａは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部１４１Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、初期学習用学習データ作成部１４１Ａは、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
【００４０】
具体的には、初期学習用学習データ作成部１４１Ａは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、初期学習用学習データ作成部１４１Ａは、１秒ごとに静止画を作成する。この場合、初期学習用学習データ作成部１４１Ａは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
【００４１】
次に、初期学習用学習データ作成部１４１Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、初期学習用学習データ作成部１４１Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部１４１Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。初期学習用学習データ作成部１４１Ａは、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、検出モデルの初期学習用の学習データとして学習部１５０Ａに出力する。
【００４２】
曜日別再学習用学習データ作成部１４２Ａは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部１４２Ａは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部１４２Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、曜日別再学習用学習データ作成部１４２Ａは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
【００４３】
具体的には、曜日別再学習用学習データ作成部１４２Ａは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、曜日別再学習用学習データ作成部１４２Ａは、１秒ごとに静止画を作成する。この場合、曜日別再学習用学習データ作成部１４２Ａは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
【００４４】
次に、曜日別再学習用学習データ作成部１４２Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、曜日別再学習用学習データ作成部１４２Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部１４２Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、１０００枚程度、抽出する。曜日別再学習用学習データ作成部１４２Ａは、上述した処理を曜日ごとに行う。そして、曜日別再学習用学習データ作成部１４２Ａは、曜日ごとに抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、曜日ごとの再学習用データとして学習部１５０Ａに出力する。
【００４５】
学習部１５０Ａは、学習データ作成部１４０Ａにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部１５０Ａは、初期学習部１５１Ａと、曜日別再学習部１５２Ａとを備える。
【００４６】
初期学習部１５１Ａは、初期学習用学習データ作成部１４１Ａにより作成された初期学習用の学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部１５１Ａは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部１５１Ａは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
【００４７】
曜日別再学習部１５２Ａは、曜日別再学習用学習データ作成部１４２Ａにより作成された曜日ごとの再学習用データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部１５２Ａは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。すなわち、曜日別再学習部１５２Ａは、曜日ごとに、検出モデルに適用するパラメータを学習し、パラメータ蓄積部１３０に蓄積する。曜日ごとの再学習用データを用いて検出モデルに適用するパラメータを学習（再学習）することで、曜日ごとの番組における提供クレジット表示の検出に適したパラメータを設定することができる。
【００４８】
提供クレジット表示検出部１７０Ａは、パラメータ蓄積部１３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用して、認識対象の番組における提供クレジット表示を検出する。提供クレジット表示検出部１７０Ａは、提供クレジット表示検出部１７０と比較して、信号生成部１７１を信号生成部１７１Ａに変更した点が異なる。
【００４９】
信号生成部１７１Ａは、検出用画像データ作成部１６０から出力された、認識対象の番組の時系列的に連続する静止画を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、信号生成部１７１Ａは、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジットの有無を時系列的に示す時系列信号を生成する。ここで、信号生成部１７１Ａは、パラメータ蓄積部１３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用する。
【００５０】
具体的には、信号生成部１７１Ａは、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、パラメータ蓄積部１３０に蓄積された、認識対象の番組が放送される曜日について学習されたパラメータを固定値としたネットワーク（検出モデル）を構築する。信号生成部１７１Ａは、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定し、例えば、信号「１」を出力する。また、信号生成部１７１Ａは、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定し、例えば、信号「０」を出力する。信号生成部１７１Ａは、認識対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、各静止画での提供クレジット表示の有無を、信号「０」又は信号「１」で示すバイナリ時系列信号を生成し、時刻情報出力部１７２に出力する。なお、信号生成部１７１Ａは、学習部１５０Ａにより曜日ごとに学習されたパラメータをそれぞれ適用した、曜日ごとの検出モデルを構築し、認識対象の番組が放送される曜日に対応する検出モデルを用いてもよい。
【００５１】
次に、本実施形態に係る提供クレジット表示検出装置１００Ａによる、提供クレジット表示の検出精度の評価結果について説明する。
【００５２】
図４は、提供クレジット表示検出装置１００Ａにおける、曜日ごとの学習データを用いた再学習と、提供クレジット表示の検出精度の評価について説明するための図である。
【００５３】
図４に示すように、まず、第Ｎ−１週の月曜日Ｍｏｎ(Ｎ−１)に、初期学習用データを用いて学習したパラメータを適用した検出モデル（初期モデル）を構築した。そして、この初期モデルを用いて、火曜日Ｔｕｅ（Ｎ−１）の番組を認識対象の番組として、提供クレジット表示の検出を行った。水曜日Ｗｅｄ（Ｎ−１）、木曜日Ｔｈｕ（Ｎ−１）、金曜日Ｆｒｉ（Ｎ−１）、土曜日Ｓａｔ（Ｎ−１）についても同様に、当日の番組を認識対象の番組として、提供クレジット表示の検出を行った。次に、火曜日Ｔｕｅ（Ｎ−１）、水曜日Ｗｅｄ（Ｎ−１）、木曜日Ｔｈｕ（Ｎ−１）、金曜日Ｆｒｉ（Ｎ−１）、土曜日Ｓａｔ（Ｎ−１）にそれぞれ、当日の番組から作成した曜日ごとの再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、初期モデルを更新した。
【００５４】
続いて、火曜日Ｔｕｅ（Ｎ−１）に構築した検出モデルを用いて、当日（火曜日Ｔｕｅ（Ｎ））の番組を認識対象の番組として、提供クレジット表示の検出を行った。水曜日Ｗｅｄ（Ｎ）、木曜日Ｔｈｕ（Ｎ）、金曜日Ｆｒｉ（Ｎ）、土曜日Ｓａｔ（Ｎ）についても同様に、当日の番組を認識対象の番組として、提供クレジット表示の検出を行った。そして、第Ｎ週の火曜日Ｔｕｅ（Ｎ）に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、第Ｎ−１週の火曜日Ｔｕｅ（Ｎ−１）に構築した検出モデルを更新した。第Ｎ週の水曜日Ｗｅｄ（Ｎ）、木曜日Ｔｈｕ（Ｎ）、金曜日Ｆｒｉ（Ｎ）、土曜日Ｓａｔ（Ｎ）についても同様に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、前週に構築した検出モデルを更新した。
【００５５】
続いて、火曜日Ｔｕｅ（Ｎ）に構築した検出モデルを用いて、当日（火曜日Ｔｕｅ（Ｎ＋１））の番組を認識対象の番組として、提供クレジット表示の検出を行った。水曜日Ｗｅｄ（Ｎ＋１）についても同様に、当日の番組を認識対象の番組として、提供クレジット表示の検出を行った。そして、第Ｎ＋１週の火曜日Ｔｕｅ（Ｎ＋１）に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、第Ｎ週の火曜日Ｔｕｅ（Ｎ）に構築した検出モデルを更新した。第Ｎ週の水曜日Ｗｅｄ（Ｎ）についても同様に、当日の番組から作成した再学習用データを用いて再学習したパラメータを適用した検出モデルを構築し、前週に構築した検出モデルを更新した。
【００５６】
図５Ａは、提供クレジット表示検出装置１００Ａによる、提供クレジット表示の検出の再現率（Ｒｅｃａｌｌ）を、曜日ごとに第Ｎ−１週から第Ｎ＋１あるいは第Ｎ−１週から第Ｎ週で比較した結果を示す図である。また、図５Ｂは、提供クレジット表示検出装置１００Ａによる、提供クレジット表示の検出の適合率（Ｐｒｅｃｉｓｉｏｎ）を、曜日ごとに第Ｎ−１週から第Ｎ＋１あるいは第Ｎ−１週から第Ｎ週で比較した結果を示す図である。なお、再現率（Ｒｅｃａｌｌ）とは、検出されるべき提供クレジット表示のうち、実際に検出された提供クレジット表示の割合である。また、適合率（Ｐｒｅｃｉｓｉｏｎ）とは、提供クレジット表示として検出されたもののうち、正しく検出された提供クレジット表示の割合である。
【００５７】
図５Ａに示すように、いずれの曜日においても、再学習を繰り返すほど、再現率が向上している。また、図５Ｂに示すように、いずれの曜日においても、再学習を繰り返すほど、適合率が向上している。このように、学習部１５０Ａが、曜日ごとに、学習データ作成部１４０Ａにより作成された最新の学習データを用いて学習（再学習）し、検出モデルに適用するパラメータを更新することで、提供クレジット表示の検出精度の向上を図ることができる。
【００５８】
このように本実施形態においては、提供クレジット表示検出装置１００Ａは、提供クレジット表示が検出済みの各曜日の番組から、曜日ごとに学習データを作成する学習データ作成部１４０Ａと、学習データ作成部１４０Ａにより作成された曜日ごとの学習データを用いて、パラメータを曜日ごとに学習する学習部１５０Ａと、認識対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用して、認識対象の番組における提供クレジット表示を検出する提供クレジット表示検出部１７０Ａとを備える。
【００５９】
一般に、同じ番組であれば、毎週、同じ曜日に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、曜日ごとに学習データを作成し、その学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。なお、本実施形態においては、曜日ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われる例を用いて説明したが、これに限られるものではない。例えば、平日と、土曜日と、日曜日とに分けて、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。また、例えば、番組ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。
【００６０】
また、本実施形態においては、学習部１５０Ａは、各曜日について、学習データ作成部１４０Ａにより作成された最新の学習データを用いて学習（再学習）し、検出モデルに適用するパラメータを更新する。最新の学習データを用いて、学習（再学習）を繰り返すことで、提供クレジット表示の検出精度の更なる向上を図ることができる。
【００６１】
（第３の実施形態）
図６は、本発明の第３の実施形態に係る提供クレジット表示検出装置１００Ｂの構成例を示す図である。図６において、図１，３と同様の構成については同じ符号を付し、説明を省略する。
【００６２】
一般に、同じ番組であれば、毎週、同じ曜日の同じ時間帯に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。本実施形態に係る提供クレジット表示検出装置１００Ｂは、このような傾向を利用して、提供クレジット表示の検出の更なる高精度化を図るものである。
【００６３】
図６に示す提供クレジット表示検出装置１００Ｂは、図３に示す提供クレジット表示検出装置１００Ａと比較して、学習データ作成部１４０Ａを学習データ作成部１４０Ｂに変更した点と、学習部１５０Ａを学習部１５０Ｂに変更した点とが異なる。
【００６４】
学習データ作成部１４０Ｂは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部１４０Ｂは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。学習データ作成部１４０Ｂは、曜日ごとに取得した提供クレジット表示が検出済みの番組から、曜日ごとの学習データを作成し、学習部１５０Ｂに出力する。具体的には、学習データ作成部１４０Ｂは、曜日ごとに、提供クレジット表示が検出済みの番組及び提供クレジット表示の時刻情報から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成する。学習データ作成部１４０Ｂは、学習データ作成部１４０Ａと比較して、初期学習用学習データ作成部１４１Ａを初期学習用学習データ作成部１４１Ｂに変更した点と、曜日別再学習用学習データ作成部１４２Ａを曜日別再学習用学習データ作成部１４２Ｂに変更した点とが異なる。
【００６５】
初期学習用学習データ作成部１４１Ｂは、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部１４１Ｂは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部１４１Ｂは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、初期学習用学習データ作成部１４１Ｂは、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
【００６６】
具体的には、初期学習用学習データ作成部１４１Ｂは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、初期学習用学習データ作成部１４１Ｂは、１秒ごとに静止画を作成する。この場合、初期学習用学習データ作成部１４１Ｂは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
【００６７】
次に、初期学習用学習データ作成部１４１Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を、その静止画が放送された時刻とペアにして抽出する。また、初期学習用学習データ作成部１４１Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部１４１Ｂは、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアをそれぞれ、例えば、８０００ペア程度、抽出する。初期学習用学習データ作成部１４１Ｂは、抽出した提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、検出モデルの初期学習用の学習データとして学習部１５０Ｂに出力する。
【００６８】
曜日別再学習用学習データ作成部１４２Ｂは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部１４２Ｂは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部１４２Ｂは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部１２０から取得する。そして、曜日別再学習用学習データ作成部１４２Ｂは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
【００６９】
具体的には、曜日別再学習用学習データ作成部１４２Ｂは、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、曜日別再学習用学習データ作成部１４２Ｂは、１秒ごとに静止画を作成する。この場合、曜日別再学習用学習データ作成部１４２Ｂは、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
【００７０】
次に、曜日別再学習用学習データ作成部１４２Ｂは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を、その静止画が放送された時刻とペアにして抽出する。また、曜日別再学習用学習データ作成部１４２Ｂは、生成した静止画から、提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部１４２Ｂは、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアをそれぞれ、例えば、１０００ペア程度、抽出する。曜日別再学習用学習データ作成部１４２Ｂは、上述した処理を、曜日ごとに行う。そして、曜日別再学習用学習データ作成部１４２Ｂは、曜日ごとに抽出した、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、曜日ごとの再学習用データとして学習部１５０Ｂに出力する。
【００７１】
学習部１５０Ｂは、学習データ作成部１４０Ｂにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部１５０Ｂは、初期学習部１５１Ｂと、曜日別再学習部１５２Ｂとを備える。
【００７２】
初期学習部１５１Ｂは、初期学習用学習データ作成部１４１Ｂにより作成された初期学習用の学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部１５１Ｂは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部１５１Ｂは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
【００７３】
曜日別再学習部１５２Ｂは、曜日別再学習用学習データ作成部１４２Ｂにより作成された曜日ごとの再学習用データ（曜日ごとの、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部１５２Ｂは、学習したパラメータをパラメータ蓄積部１３０に蓄積する。
【００７４】
なお、本実施形態においては、学習データ作成部１４０Ｂは、曜日ごとに、学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を作成し、学習部１５０Ｂは、学習データ作成部１４０Ｂにより作成された学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習する例を用いて説明したが、これに限られるものではない。学習データ作成部１４０Ｂは、曜日は区別することなく、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを学習データとして作成してもよい。すなわち、学習データ作成部１４０Ｂは、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成してもよい。また、学習部１５０Ｂは、曜日は区別することなく、学習データ作成部１４０Ｂにより作成された学習データを用いて、検出モデルに適用するパラメータを学習してもよい。
【００７５】
このように本実施形態においては、提供クレジット表示検出装置１００Ｂは、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成する学習データ作成部１４０Ｂを備える。
【００７６】
一般に、同じ番組であれば、毎週、同じ曜日の同じ時間帯に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成し、その学習データを用いて、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。
【００７７】
なお、上述した第１から第３の実施形態においては、検出モデルは、畳み込みニューラルネットワークを用いて構築される例を説明したが、これに限られるものではない。提供クレジット表示の有無を検出する検出モデルは、例えば、ＳＶＭ（Support Vector Machine）などを用いて構築してもよい。
【００７８】
以上、提供クレジット表示検出装置１００，１００Ａ，１００Ｂについて説明したが、提供クレジット表示検出装置１００，１００Ａ，１００Ｂとして機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、提供クレジット表示検出装置１００，１００Ａ，１００Ｂの各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【００７９】
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【００８０】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００８１】
１００，１００Ａ，１００Ｂ  提供クレジット表示検出装置
１１０                      放送映像／音声信号蓄積部
１２０                      正解メタデータ蓄積部
１３０                      パラメータ蓄積部
１４０，１４０Ａ，１４０Ｂ  学習データ作成部
１４１Ａ，１４１Ｂ          初期学習用データ作成部
１４２Ａ，１４２Ｂ          曜日別再学習データ作成部
１５０，１５０Ａ，１５０Ｂ  学習部
１５１Ａ，１５１Ｂ          初期学習部
１５２Ａ，１５２Ｂ          曜日別再学習部
１６０                      検出用画像データ作成部
１７０，１７０Ａ            クレジット表示検出部
１７１，１７１Ａ            信号生成部
１７２                      時刻情報出力部
【図１】
2019213065.tif 000003
【図２】
2019213065.tif 000004
【図３】
2019213065.tif 000005
【図４】
2019213065.tif 000006
【図５Ａ】
2019213065.tif 000007
【図５Ｂ】
2019213065.tif 000008
【図６】
2019213065.tif 000009