(57)【要約】【課題】番組に含まれるＣＭに関する情報を自動的に付与する。【解決手段】ＣＭ情報生成装置１００は、番組の音量と音量閾値とを比較することにより、前記番組内の１以上のＣＭ区間を検出するＣＭ区間検出部１２０と、ＣＭ区間検出部１２０により検出されたＣＭ区間のＣＭである検出ＣＭと、あらかじめ出稿元の企業名が対応付けられたＣＭマスタとを照合することにより、前記検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成するＣＭ検出リスト生成部１５０と、番組のスポンサーを示す提供クレジット表示により特定される企業名を記載した企業名リストを生成する企業名リスト生成部１７０と、ＣＭ検出リストと企業名リストとを比較することにより、前記検出ＣＭに関するＣＭ情報を生成するＣＭ情報生成部１８０と、を備える。【選択図】図１
2019212047.tif 000002
【特許請求の範囲】
【請求項１】
番組に含まれるＣＭに関する情報を生成するＣＭ情報生成装置であって、
番組の音量と音量閾値とを比較することにより、前記番組内の１以上のＣＭ区間を検出するＣＭ区間検出部と、
前記ＣＭ区間のＣＭである検出ＣＭと、あらかじめ出稿元の企業名が対応付けられたＣＭマスタとを照合することにより、前記検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成するＣＭ検出リスト生成部と、
前記番組のスポンサーを示す提供クレジット表示により特定される企業名を記載した企業名リストを生成する企業名リスト生成部と、
前記ＣＭ検出リストと前記企業名リストとを比較することにより、前記検出ＣＭに関するＣＭ情報を生成するＣＭ情報生成部と、
を備えることを特徴とするＣＭ情報生成装置。
【請求項２】
請求項１に記載のＣＭ情報生成装置において、
前記ＣＭ情報生成部は、前記検出ＣＭがタイムＣＭであるかスポットＣＭであるかを示すＣＭ種別を含むＣＭ情報を生成することを特徴とするＣＭ情報生成装置。
【請求項３】
請求項１又は２に記載のＣＭ情報生成装置において、
前記ＣＭ情報生成部は、ＣＭマスタに一致しない検出ＣＭを出稿した企業名の候補を含むＣＭ情報を生成することを特徴とするＣＭ情報生成装置。
【請求項４】
請求項１から３のいずれか一項に記載のＣＭ情報生成装置において、
前記ＣＭ区間検出部は、前記番組の音量が音量閾値未満であり、かつ前フレームからの変化量が画素変化閾値以上であるフレームが再生される時点であるカット点を抽出し、該カット点の間隔とＣＭ規定長とを比較することにより１以上のＣＭ区間を検出し、検出したＣＭ区間を示す検出ＣＭ区間を生成することを特徴とするＣＭ情報生成装置。
【請求項５】
請求項１から４のいずれか一項に記載のＣＭ情報生成装置において、
検出モデルを用いて、前記番組における提供クレジット表示区間を推定する提供クレジット表示区間推定部をさらに備え、
前記検出モデルに適用されるパラメータは、前記提供クレジット表示が検出済みの学習用番組における、前記提供クレジット表示が表示された静止画及び前記提供クレジット表示が表示されていない静止画を含む学習データを用いて、あらかじめ学習されており、
前記企業名リスト生成部は、前記番組の前記提供クレジット表示区間に表示される提供クレジット表示を用いて前記企業名リストを生成することを特徴とするＣＭ情報生成装置。
【請求項６】
請求項１から４のいずれか一項に記載のＣＭ情報生成装置において、
前記番組の音声信号の音声認識の結果から、前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句を検出し、該関連語句の出現時刻を起点として、所定の期間を提供クレジット表示区間と推定する提供クレジット表示区間推定部をさらに備え、
前記企業名リスト生成部は、前記番組の前記提供クレジット表示区間に表示される提供クレジット表示を用いて前記企業名リストを生成することを特徴とするＣＭ情報生成装置。
【請求項７】
請求項１から４のいずれか一項に記載のＣＭ情報生成装置において、
検出モデルを用いて、前記番組における第１の提供クレジット表示区間を推定するとともに、前記番組の音声信号の音声認識の結果から、前記提供クレジット表示のアナウンスに含まれ、前記提供クレジット表示に関連する関連語句を検出し、該関連語句の出現時刻を起点として、所定の期間を第２の提供クレジット表示区間と推定する提供クレジット表示区間推定部をさらに備え、
前記検出モデルに適用されるパラメータは、前記提供クレジット表示が検出済みの学習用番組における、前記提供クレジット表示が表示された静止画及び前記提供クレジット表示が表示されていない静止画を含む学習データを用いて、あらかじめ学習されており、
前記企業名リスト生成部は、前記第１の提供クレジット表示区間及び前記第２の提供クレジット表示区間の共通部分又は和集合で示される区間に表示される提供クレジット表示を用いて前記企業名リストを生成することを特徴とするＣＭ情報生成装置。
【請求項８】
番組に含まれるＣＭに関する情報を生成するＣＭ情報生成装置におけるＣＭ情報生成方法であって、
番組の音量と音量閾値とを比較することにより、前記番組内の１以上のＣＭ区間を検出するステップと、
前記ＣＭ区間のＣＭである検出ＣＭと、あらかじめＣＭと該ＣＭを出稿した企業の企業名とを対応付けたＣＭマスタとを照合することにより、前記検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成するＣＭ検出リスト生成ステップと、
前記番組内の提供クレジット表示により特定される企業名を記載した企業名リストを生成する企業名リスト生成ステップと、
前記ＣＭ検出リストと前記企業名リストとを比較し、前記検出ＣＭに関するＣＭ情報を生成するＣＭ情報生成ステップと、
を含むことを特徴とするＣＭ情報生成方法。
【請求項９】
コンピュータを、請求項１から７のいずれか一項に記載のＣＭ情報生成装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組に含まれるコマーシャル（以下、「ＣＭ」（Commercial Message）と称する）の区間を検出するＣＭ情報生成装置、ＣＭ情報生成方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、テレビ放送などにより放送される放送番組に含まれるＣＭの部分を判定する方法が知られている。例えば、特許文献１には、番組本編とＣＭとの間に再生される音の音量が所定値よりも低くなることを利用してＣＭ部分を判定するＣＭ部分認識装置が記載されている。具体的には、特許文献１に記載のＣＭ部分認識装置は、音量が所定時間（例えば、０．１秒）以上、所定値を下回る時間帯をブランクとし、互いに隣接する２つのブランクの間をＣＭ部分と判定している。
【０００３】
また、非特許文献１には、指定された音や映像の断片からなる目的信号と、データベースに蓄えられた音や映像の蓄積信号を時系列で数値化し、数値化された目的信号と蓄積信号との類似の度合である類似値を算出することによって、目的信号に最も類似した蓄積信号を探索することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３２２０７６号公報
【非特許文献】
【０００５】
【非特許文献１】川西  隆二、外５名、「音楽や映像を特定するメディア指紋技術とその応用」、日本応用数理学会、Vol.21(2011)、p.289-292
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の技術を用いても、番組に含まれるＣＭに対して、放送番組のスポンサーによるＣＭ（以下、「タイムＣＭ」と称する）なのか、放送局が定めた放送枠で放送されるＣＭ（以下、「スポットＣＭ」と称する）なのかを示すＣＭ種別などの新たな情報を自動的に判別して付与することはできなかった。
【０００７】
上記のような問題点に鑑みてなされた本発明の目的は、番組に含まれるＣＭに関する情報を自動的に付与することが可能なＣＭ情報生成装置、ＣＭ情報生成方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係るＣＭ情報生成装置は、番組に含まれるＣＭに関する情報を生成するＣＭ情報生成装置であって、番組の音量と音量閾値とを比較することにより、前記番組内の１以上のＣＭ区間を検出するＣＭ区間検出部と、前記ＣＭ区間のＣＭである検出ＣＭと、あらかじめ出稿元の企業名が対応付けられたＣＭマスタとを照合することにより、前記検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成するＣＭ検出リスト生成部と、前記番組のスポンサーを示す提供クレジット表示により特定される企業名を記載した企業名リストを生成する企業名リスト生成部と、前記ＣＭ検出リストと前記企業名リストとを比較することにより、前記検出ＣＭに関するＣＭ情報を生成するＣＭ情報生成部と、を備えることを特徴とする。
【０００９】
また、上記課題を解決するため、本発明に係るＣＭ情報生成方法は、番組に含まれるＣＭに関する情報を生成するＣＭ情報生成装置におけるＣＭ情報生成方法であって、番組の音量と音量閾値とを比較することにより、前記番組内の１以上のＣＭ区間を検出するステップと、前記ＣＭ区間のＣＭである検出ＣＭと、あらかじめＣＭと該ＣＭを出稿した企業の企業名とを対応付けたＣＭマスタとを照合することにより、前記検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成するＣＭ検出リスト生成ステップと、前記番組内の提供クレジット表示により特定される企業名を記載した企業名リストを生成する企業名リスト生成ステップと、前記ＣＭ検出リストと前記企業名リストとを比較し、前記検出ＣＭに関するＣＭ情報を生成するＣＭ情報生成ステップと、を含むことを特徴とする。
【００１０】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記のＣＭ情報生成装置として機能させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、番組に含まれるＣＭに関する情報を自動的に付与することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係るＣＭ情報生成装置の構成例を示す図である。
【図２】本発明の一実施形態に係るＣＭ情報生成装置における提供クレジット表示区間推定部の構成例を示す図である。
【図３】本発明の一実施形態に係るＣＭ情報生成装置におけるＣＭ情報生成部の処理を説明する図である。
【図４】本発明の一実施形態に係るＣＭ情報生成装置におけるＣＭ区間検出部の構成例を示す図である。
【図５】本発明の一実施形態に係るＣＭ情報生成装置におけるＣＭ境界候補区間の一例を示す模式図である。
【図６】本発明の一実施形態に係るＣＭ情報生成装置におけるカット点の一例を示す図である。
【図７】本発明の一実施形態に係るＣＭ情報生成装置におけるＣＭ区間決定部の処理を説明するための図である。
【図８】本発明の一実施形態に係るＣＭ情報生成装置におけるＣＭ境界の第１の決定例を示す図である。
【図９】本発明の一実施形態に係るＣＭ情報生成装置におけるＣＭ境界の第２の決定例を示す図である。
【図１０】本発明の一実施形態に係るＣＭ情報生成装置における画像認識部の構成例を示す図である。
【図１１】本発明の一実施形態に係るＣＭ情報生成装置における画像認識部の他の構成例を示す図である。
【図１２】本発明の一実施形態に係るＣＭ情報生成装置における音声認識部の構成例を示す図である。
【図１３】本発明の一実施形態に係るＣＭ情報生成装置における音声認識部による音声認識の結果の一例を示す図である。
【図１４】本発明の一実施形態に係るＣＭ情報生成方法の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
【００１４】
図１は、本発明の第１の実施形態に係るＣＭ情報生成装置の構成例を示す図である。図１に示すＣＭ情報生成装置１００は、放送映像／音声信号蓄積部１１０と、ＣＭ区間検出部１２０と、提供クレジット表示区間推定部１３０と、ＣＭ蓄積部１４０と、ＣＭ検出リスト生成部１５０と、企業ロゴ蓄積部１６０と、企業名リスト生成部１７０と、ＣＭ情報生成部１８０とを備える。
【００１５】
ＣＭ情報生成装置１００は、番組における、該番組のスポンサーを示す提供クレジットが表示された区間（以下、「提供クレジット表示区間」という）を用いて、番組に含まれるＣＭの区間を検出し、検出したＣＭに関する情報であるＣＭ情報を生成するものである。
【００１６】
放送映像／音声信号蓄積部１１０は、番組を固定時間長（例えば、６５分）でエンコードした放送映像／音声信号を蓄積する。放送映像／音声信号蓄積部１１０は、例えば、番組の映像信号をＨ．２６４方式でエンコードした信号と、番組の音声信号をＡＡＣ（Advanced Audio Coding）方式でエンコードした信号とをＭＰ４ファイル形式で格納する。なお、放送映像／音声信号蓄積部１１０は、放送用の番組の映像／音声信号に限られず、インターネット配信用の番組の映像／音声信号を蓄積してもよい。
【００１７】
ＣＭ区間検出部１２０は、放送映像／音声信号蓄積部１１０から、提供クレジット表示の検出対象となる番組の音声信号を取得し、番組の音声信号の大きさ（音量）と音量閾値とを比較することにより、番組内の１以上のＣＭ区間を検出し、ＣＭ区間の検出結果であるＣＭ時刻情報をＣＭ検出リスト生成部１５０に出力する。
【００１８】
ＣＭ区間検出部１２０は、より正確にＣＭ区間を検出する場合には、番組の音量が音量閾値未満であり、かつ前フレームからの変化量が画素変化閾値以上であるフレームが再生される時点であるカット点を検出し、該カット点の間隔とＣＭ規定長とを比較することにより１以上のＣＭ区間を検出する。ＣＭ規定長は、１つのＣＭの長さであり、１５秒、３０秒、６０秒などと規定されている。ＣＭ区間検出部１２０の詳細については後述する。
【００１９】
提供クレジット表示区間推定部１３０は、放送映像／音声信号蓄積部１１０から取得した番組の提供クレジット表示区間を推定し、推定結果を示す信号（本実施形態では、バイナリ時系列信号）を企業名リスト生成部１７０に出力する。
【００２０】
図２は、提供クレジット表示区間推定部１３０の構成例を示す図である。提供クレジット表示区間推定部１３０は、画像認識部２００と、音声認識部３００と、提供クレジット表示区間出力部４００とを備える。提供クレジット表示区間推定部１３０は、画像認識部２００及び音声認識部３００の一方のみを備える構成としてもよく、その場合には、提供クレジット表示区間出力部４００は不要となる。
【００２１】
画像認識部２００は、放送映像／音声信号蓄積部１１０から取得した番組の映像信号に基づき、検出モデルを用いて提供クレジット表示区間を推定し、推定結果を示す信号（本実施形態では、バイナリ時系列信号）を提供クレジット表示区間出力部４００に出力する。検出モデルに適用されるパラメータは、提供クレジット表示が検出済みの学習用番組における、提供クレジット表示が表示された静止画及び提供クレジット表示が表示されていない静止画を含む学習データを用いてあらかじめ学習されているものとする。画像認識部２００の詳細については後述する。
【００２２】
音声認識部３００は、放送映像／音声信号蓄積部１１０から取得した番組の音声信号に基づき、提供クレジット表示区間を推定し、推定結果を示す信号（本実施形態では、バイナリ時系列信号）を提供クレジット表示区間出力部４００に出力する。音声認識部３００は、番組の音声信号の音声認識の結果から、提供クレジット表示のアナウンスに含まれ、提供クレジット表示に関連する関連語句を検出し、該関連語句の出現時刻を起点として、所定の期間を提供クレジット表示区間と推定する。音声認識部３００の詳細については後述する。
【００２３】
提供クレジット表示区間出力部４００は、画像認識部２００により推定された提供クレジット表示区間と、音声認識部３００により推定された提供クレジット表示区間の共通部分又は和集合を最終的な提供クレジット表示区間として企業名リスト生成部１７０に出力する。本実施形態では、提供クレジット表示区間がバイナリ時系列信号であるため、和集合は論理和演算により求まり、共通部分は論理積演算により求まる。
【００２４】
ＣＭ蓄積部１４０は、あらかじめ映像/音声信号からなるＣＭマスタを、該ＣＭマスタを出稿した企業の企業名を含むメタデータを対応付けて蓄積する。ＣＭマスタは、例えば過去３ヶ月間に放送されたＣＭである。
【００２５】
ＣＭ検出リスト生成部１５０は、ＣＭ区間検出部１２０により検出されたＣＭ区間のＣＭ（以下、「検出ＣＭ」という）と、あらかじめ出稿元の企業名が対応付けられたＣＭマスタとを照合することにより、検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成し、ＣＭ情報生成部１８０に出力する。
【００２６】
具体的には、ＣＭ検出リスト生成部１５０は、検出ＣＭを放送映像／音声信号蓄積部１１０から取得する。そして、検出ＣＭと、ＣＭ蓄積部１４０に蓄積されたＣＭマスタとを照合する。この照合は、ロバストメディア探索（ＲＭＳ：Robust Media Search）技術などの既知の技術を用いて行うことができる。検出ＣＭがＣＭマスタと一致した場合には、ＣＭマスタに付随するメタデータから、該検出ＣＭの識別子及び企業名を特定する。ＣＭの識別子は、ＣＭタイトルやＣＭの放送時刻であってもよい。検出ＣＭがどのＣＭマスタにも一致しない場合には、該検出ＣＭを新規ＣＭとみなす。そして、ＣＭ検出リスト生成部１５０は、検出ＣＭごとに、ＣＭタイトル及び企業名、あるいは新規ＣＭであることを示す情報を記載したＣＭ検出リストを生成する。
【００２７】
企業ロゴ蓄積部１６０は、あらかじめ企業のロゴ画像を蓄積する。
【００２８】
企業名リスト生成部１７０は、提供クレジット表示により特定される企業名を記載した企業名リストを生成し、ＣＭ情報生成部１８０に出力する。本実施形態では、企業名リスト生成部１７０は、提供クレジット表示区間推定部１３０により推定された提供クレジット表示区間に表示される提供クレジット表示を用いて企業名リストを生成する。
【００２９】
具体的には、企業名リスト生成部１７０は、提供クレジット表示区間推定部１３０により提供クレジット表示区間であると推定された時刻の静止画（以下、「提供クレジット表示画像」という）を放送映像／音声信号蓄積部１１０から取得する。そして、提供クレジット表示画像と、企業ロゴ蓄積部１６０に蓄積されたロゴ画像とを照合し、提供クレジット表示画像に記載された企業ロゴを認識する。この照合は、アングルフリー物体探索技術などの既知の技術を用いて行うことができる。企業名リスト生成部１７０は、認識した企業ロゴを記載した企業名のリスト、すなわち放送映像／音声信号蓄積部１１０から取得した番組のＣＭを出稿した企業名のリストを企業名リストとして生成する。
【００３０】
ＣＭ情報生成部１８０は、ＣＭ検出リスト生成部１５０により生成されたＣＭ検出リストと企業名リスト生成部１７０により生成された企業名リストとを比較し、検出ＣＭに関するＣＭ情報を生成し、外部に出力する。
【００３１】
ＣＭ情報の第１の例として、ＣＭ情報生成部１８０は、検出ＣＭが「タイムＣＭ」であるか「スポットＣＭ」であるかを示すＣＭ種別を含むＣＭ情報を生成することができる。ＣＭ情報生成部１８０は、企業名リストに記載された企業名に対応付けられた検出ＣＭを「タイムＣＭ」であると判定し、それ以外の検出ＣＭを「スポットＣＭ」であると判定する。なお、新規ＣＭはラベル付けの対象としない。
【００３２】
ＣＭ情報の第２の例として、ＣＭ情報生成部１８０は、ＣＭマスタに一致しない検出ＣＭである新規ＣＭを出稿した企業名の候補を含むＣＭ情報を生成することができる。ＣＭ情報生成部１８０は、企業名リストに記載された企業名のうち、ＣＭ検出リストに記載されていない企業名が存在する場合には、該企業名を、新規ＣＭを出稿した企業名の候補と判定する。なお、ここでいう「企業名の候補」の概念には、企業名を一意に特定できる場合を含んでもよい。すなわち、ＣＭ情報生成部１８０は、企業名リストに記載された企業名のうち、ＣＭ検出リストに記載されていない企業名が複数存在する場合には、該複数の企業名を、新規ＣＭを出稿した企業名の候補と判定し、企業名リストに記載された企業名のうち、ＣＭ検出リストに記載されていない企業名が１つのみ存在する場合には、該１つの企業名を、新規ＣＭを出稿した企業名と判定してもよい。
【００３３】
図３は、ＣＭ情報生成部１８０の処理を説明する図である。図３（ａ）は、企業名リスト生成部１７０により生成された企業名リストの一例であり、この例では企業名として「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」が記載されている。図３（ｂ）は、ＣＭ検出リスト生成部１５０により生成されたＣＭ検出リストの一例であり、この例ではＣＭタイトルが「○○」のＣＭを出稿した企業名が「Ａ」であり、ＣＭタイトルが「□□」のＣＭを出稿した企業名が「Ｂ」であり、ＣＭタイトルが「△△」のＣＭを出稿した企業名が「Ｘ」であり、ＣＭタイトル及び企業名が不明の新規ＣＭが１つ存在することが記載されている。
【００３４】
図３（ｃ）は、ＣＭ情報の第１の例を示している。図３（ｂ）のＣＭ検出リストに記載された企業名「Ａ」及び「Ｂ」は、図３（ａ）の企業名リストに記載された企業名と一致する。そのため、ＣＭ情報生成部１８０は、ＣＭタイトルが「○○」及び「□□」のＣＭ種別は「タイムＣＭ」であると判定し、ラベル付けする。また、ＣＭ検出リストに記載された企業名「Ｘ」は、企業名リストに記載された企業名と一致しない。そのため、ＣＭ情報生成部１８０は、ＣＭタイトルが「△△」のＣＭ種別は「スポットＣＭ」であると判定し、ラベル付けする。なお、図３（ｃ）に示すように、ＣＭ情報には、ＣＭ区間検出部１２０により検出されたＣＭ時刻情報を含めてもよい。
【００３５】
図３（ｄ）は、ＣＭ情報の第２の例を示している。図３（ａ）の企業名リストに記載された企業名のうち「Ｃ」及び「Ｄ」は、図３（ｂ）のＣＭ検出リストに記載された企業名と一致しない。そのため、ＣＭ情報生成部１８０は、新規ＣＭを出稿した企業名の候補を「Ｃ」及び「Ｄ」と判定し、ラベル付けする。なお、ＣＭ情報として、上述したＣＭ種別、及び新規ＣＭを出稿した企業名の候補の双方を含めてもよい。
【００３６】
＜ＣＭ区間検出部＞
次に、ＣＭ区間検出部１２０の詳細について説明する。図４は、ＣＭ区間検出部１２０の構成例を示す図である。ＣＭ区間検出部１２０は、検出用データ作成部１２１と、音量算出部１２２と、ＣＭ境界候補区間決定部１２３と、カット点抽出部１２４と、ＣＭ区間決定部１２５とを備える。
【００３７】
検出用データ作成部１２１は、放送映像／音声信号蓄積部１１０から取得した音声信号をデコードして、所定の形式のＣＭ識別用の音声信号（例えば、ＷＡＶ形式、１６ｋＨｚ、１６ビット、モノラル音声信号）を作成し、音量算出部１２２に出力する。また、検出用データ作成部１２１は、放送映像／音声信号蓄積部１１０から取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成し、カット点抽出部１２４に出力する。
【００３８】
音量算出部１２２は、音声データの時系列での音量を算出し、算出結果をＣＭ境界候補区間決定部１２３に出力する。
【００３９】
ＣＭ境界候補区間決定部１２３は、音量算出部１２２によって算出された音量の時系列データから所定時間（例えば０．１秒）以上、音量が音量閾値未満となる低音量区間を複数検出し、低音量区間同士の間隔が略ＣＭ規定長（ＣＭ規定長との差が誤差閾値未満）となる部分をＣＭとして検出する。そして、ＣＭ境界候補区間決定部１２３は、検出したＣＭの端部の低音量区間を含む時間帯をＣＭ境界候補区間として決定する。すなわち、低音量区間同士の間隔とＣＭ規定長との差が誤差閾値未満である場合に、該低音量区間の前後に所定時間を付した区間をＣＭ境界候補区間と決定する。なお、ＣＭ境界とは、２つの連続したＣＭの区切りとなる時点、及び番組とＣＭとの区切りとなる時点である。
【００４０】
図５は、ＣＭ境界候補区間の一例を示す模式図である。ＣＭ境界候補区間決定部１２３は、低音量区間Ａと低音量区間Ｃとの間が略ＣＭ規定長である場合に、低音量区間Ａと低音量区間Ｃとの間をＣＭとして検出する。そして、ＣＭ境界候補区間決定部１２３は、低音量区間Ａの前後に所定時間（図５の例では、０．５秒）を付した区間、及び低音量区間Ｃの前後に所定時間（図５の例では、０．５秒）を付した区間を、それぞれＣＭ境界候補区間Ｔと決定する。
【００４１】
カット点抽出部１２４は、放送映像／音声信号蓄積部１１０から取得した映像信号をデコードして、時系列的に連続するフレームを作成する。そして、ＣＭ境界候補区間決定部１２３によって決定されたＣＭ境界候補区間Ｔｋ（ｋ＝１〜ｎ（ｎは２以上の整数））それぞれから、ＣＭ境界候補区間内で前フレームからの変化量が画素変化閾値以上であるフレームが再生される時点（以下、「カット点」という）をＣ_ｋ（０以上の整数）個抽出する。変化量は、各フレームの画素値と、該各フレームの前フレームの画素値との差分又は比に基づく値である。例えば、変化量は、各フレームを構成する各画素の画素値と、各フレームの各画素にそれぞれ対応する、前フレームの画素の画素値との差分に基づく値であってもよい。差分に基づく値とは、例えば、各画素についての差分の絶対値の和、平均値、若しくは中央値、又は差分の二乗平均値である。また、変化量は、隣接するフレーム間の画素の平均値の比であってもよい。再生時点は、番組が始めから再生される場合の開始を基準時点としたときの、該基準時点からの経過時間である。カット点抽出部１２４は、変化量が画素変化閾値以上であるフレームの再生時点をカット点として抽出する。例えば、カット点抽出部１２４は、変化量の比及び差それぞれが画素変化閾値以上であるフレームの再生時点をカット点としてもよい。なお、実験においては、各ＣＭ境界候補区間Ｔから６〜８個程度のカット点が抽出されることが多い。
【００４２】
図６は、カット点の一例を示す図である。この例では、カット点抽出部１２４は、ＣＭ境界候補区間Ｔ１から２個のカット点Ｐ１１，Ｐ１２を抽出し、ＣＭ境界候補区間Ｔ２から３個のカット点Ｐ２１，Ｐ２２，Ｐ１２を抽出し、ＣＭ境界候補区間Ｔ３から１個のカット点Ｐ３１を抽出し、ＣＭ境界候補区間Ｔｋから２個のカット点Ｐｋ１，Ｐｋ２を抽出する。
【００４３】
ＣＭ区間決定部１２５は、ＣＭ規定長との差が少なくなるように、ＣＭ境界候補区間Ｔごとにカット点を選択し、選択したカット点の間の区間をＣＭ区間と決定し、決定したＣＭ区間を示す情報を提供クレジット表示区間推定部１３０に出力する。
【００４４】
具体的には、ＣＭ区間決定部１２５は、ＣＭ境界候補区間それぞれから１個ずつ選択されたカット点の組み合わせで構成される複数のカット点系列Ｓｊを生成する。カット点系列Ｓｊは、複数のＣＭ境界候補区間それぞれから選択されたカット点の組み合わせであり、カット点系列Ｓｊの全数Ｃａｌｌは式（１）に示すとおりである。なお、ＣＭ境界候補区間Ｔｋにおいてカット点が検出されなかった場合、Ｃ_ｋ＝１とする。
Ｃａｌｌ＝Ｃ_１×Ｃ_２×・・・×Ｃ_ｋ×・・・×Ｃ_ｎ                （１）
そして、ＣＭ区間決定部１２５は、隣接するＣＭ境界候補区間において、１個ずつ選択されたカット点の間の時間である隣接カット点時間の差の合計が最小となるカット点系列を決定し、該カット点系列のカット点の間の区間をＣＭ区間と決定する。隣接カット点時間とは、ＣＭ境界候補区間Ｔｋ内の１つのカット点とＣＭ境界候補区間Ｔｋ-1内の１つのカット点との間の時間である。
【００４５】
例えば、ＣＭ区間決定部１２５は、各隣接カット点時間とＣＭ規定長との差を算出する。ＣＭ区間決定部１２５は、ノイズの影響を加味して、該差が時間差閾値未満である数（以下、「一致数」という）をカット点系列Ｓｊごとに算出する。時間差閾値は、例えば、放送映像の所定フレーム数が再生される時間であり、所定フレーム数が２フレームで、放送映像のフレームレートが３０ｆｐｓである場合には、時間差閾値は（２／３０）秒である。
【００４６】
図７を参照して、ＣＭ区間決定部１２５の処理について説明する。ここでは、ＣＭ境界候補区間決定部１２３が、３つのＣＭ境界候補区間Ｔ１〜Ｔ３を決定し、カット点抽出部１２４が、ＣＭ境界候補区間Ｔ１から２個のカット点Ｐ１１，Ｐ１２を抽出し、ＣＭ境界候補区間Ｔ２から３個のカット点Ｐ２１，Ｐ２２，Ｐ２３を抽出し、ＣＭ境界候補区間Ｔ３から１個のカット点Ｐ３１を抽出したものとする。
【００４７】
図７に示す例では、カット点系列Ｓｊの全数ＣａｌｌはＣ_１×Ｃ_２×Ｃ_３＝２×３×１＝６個である。カット点系列Ｓ１は、カット点Ｐ１１，Ｐ２１，Ｐ３１の組合せで構成される系列であり、カット点系列Ｓ２は、カット点Ｐ１１，Ｐ２２，Ｐ３１の組合せで構成される系列であり、カット点系列Ｓ３は、カット点Ｐ１１，Ｐ２３，Ｐ３１の組合せで構成される系列であり、カット点系列Ｓ４は、カット点Ｐ１２，Ｐ２１，Ｐ３１の組合せで構成される系列であり、カット点系列Ｓ５は、カット点Ｐ１２，Ｐ２２，Ｐ３１の組合せで構成される系列であり、カット点系列Ｓ６は、カット点Ｐ１２，Ｐ２３，Ｐ３１の組合せで構成される系列である。
【００４８】
ＣＭ区間決定部１２５は、カット点系列Ｓｊ（ｊ＝１〜６）それぞれにおける各隣接カット点時間とＣＭ規定長との差を算出する。ＣＭ規定長を１５秒、所定範囲が（２／３０）秒であるとすると、ＣＭ区間決定部１２５は、カット点系列Ｓ１〜Ｓ６の一致数をそれぞれ０，２，０，０，１，０と算出する。
【００４９】
ＣＭ区間決定部１２５は、一致数が最大となるカット点系列Ｓｊが１つである場合には、該カット点系列Ｓｊを境界系列と判定し、一致数が最大となるカット点系列Ｓｊが複数存在する場合には、一致数が最大の複数のカット点系列Ｓｊのうち、各隣接カット点時間とＣＭ規定長との差の合計が最小であるカット点系列Ｓｊを境界系列と判定する。図７に示す例では、ＣＭ区間決定部１２５は、カット点系列Ｓ１〜Ｓ６のうち、一致数が最大のカット点系列はカット点系列Ｓ２の１つであるため、カット点系列Ｓ２を境界系列と判定する。そして、ＣＭ区間決定部１２５は、境界系列において、隣接カット点時間が略ＣＭ規定長に一致するカット点が含まれる場合には、該カット点をＣＭ境界とみなすことができる。そのため、ＣＭ区間決定部１２５は、隣接カット点時間が略ＣＭ規定長に一致するカット点の間の区間をＣＭ区間と決定する。
【００５０】
また、ＣＭ区間決定部１２５は、境界系列において、隣接カット点時間が略ＣＭ規定長に一致するカット点（以下、「有効なカット点」という）が含まれないＣＭ境界候補区間のＣＭ境界を、隣接するＣＭ境界候補区間において決定されたＣＭ境界とＣＭ規定長とに基づいて決定する。この場合の具体例を、図８及び図９を参照して説明する。
【００５１】
図８は、有効なカット点が含まれないＣＭ境界候補区間のＣＭ境界の第１の決定例を示す図である。第１の決定例では、ＣＭ区間決定部１２５は、隣接するＣＭ境界候補区間におけるＣＭ境界からの時間が略ＣＭ規定長となる時点をＣＭ境界と決定する。図８に示す例では、境界系列はカット点Ｐ１１，Ｐ２２，Ｐ３２，Ｐ４１，Ｐ５３で構成されるカット点系列である。この境界系列において、ＣＭ区間決定部１２５により、カット点Ｐ２２について、隣接カット点時間がＣＭ規定長である１５秒に一致していると判定され、カット点Ｐ３２について、隣接カット点時間が１６．５秒であるため、隣接カット点時間とＣＭ規定長との差が時間差閾値以上であり、ＣＭ境界候補区間Ｔ３は有効なカット点が含まれないＣＭ境界候補区間であると判定されているものとする。
【００５２】
この場合、ＣＭ区間決定部１２５は、カット点Ｐ２２をＣＭ境界候補区間Ｔ２におけるＣＭ境界と決定する。また、ＣＭ区間決定部１２５は、カット点Ｐ２２に、ＣＭ規定長に許容時間を加算又は減算した時間を加算した時点を、有効なカット点が含まれないＣＭ境界候補区間Ｔ３におけるＣＭ境界と決定する。許容時間は、ＣＭ境界候補区間ごとに異なる時間である。各ＣＭ境界候補区間の許容時間は、ＣＭ規定長に許容時間を加算又は減算した時間の合計がＣＭ全体の再生時間となるように調整される。
【００５３】
図９は、有効なカット点が含まれないＣＭ境界候補区間のＣＭ境界の第２の決定例を示す図である。第２の決定例では、カット点抽出部１２４によってＣＭ境界候補区間Ｔｋにおいてカット点が抽出されなかった場合、ＣＭ区間決定部１２５は、隣接するＣＭ境界候補区間におけるＣＭ境界からの時間が略ＣＭ規定長となる時点をＣＭ境界と決定する。例えば、ＣＭ境界近傍の映像がブラックアウトしている場合、ＣＭ境界候補区間においてカット点が抽出されないことがある。
【００５４】
図９（ａ）に示す例では、境界系列はカット点Ｐ１１，Ｐ２２，Ｐ４１，Ｐ５３で構成されるカット点系列であり、ＣＭ境界候補区間Ｔ３はカット点を有していない。この場合、ＣＭ区間決定部１２５は、図９（ｂ）に示すように、ＣＭ境界候補区間Ｔ３の前のＣＭ境界候補区間Ｔ２において抽出されたＣＭ境界（カット点Ｐ２２）に、ＣＭ規定長に許容時間を加算又は減算した時間を加算した時点をＣＭ境界候補区間Ｔ３におけるＣＭ境界と決定する。これにより、ＣＭ境界候補区間において映像の変更量が少なく、カット点が抽出されなかった場合においても、ＣＭ境界を正確に検出することができる。
【００５５】
なお、ＣＭ区間決定部１２５は、ＣＭ区間の決定に要する時間が許容時間以下となるように、番組を分割してから上述の処理を行うようにしてもよい。例えば、ＣＭ区間決定部１２５は、分割された各番組に含まれるカット点系列Ｓｊの全数Ｃａｌｌを算出し、全数Ｃａｌｌが閾値以下である場合には、番組を分割せず、全数Ｃａｌｌが閾値を超えた場合には、分割された番組のカット点系列Ｓｎの全数Ｃａｌｌが閾値以下となるように番組を分割する。このとき、ＣＭ区間決定部１２５は、カット点の位置で番組を分割する。これにより、カット点とカット点との間のＣＭの途中と推定される時点で番組が分割されることを防止できる。また、ＣＭ区間決定部１２５は、分割された番組の長さの差が所定範囲内となるように番組を等分割してもよいし、分割された番組におけるカット点系列Ｓｊの全数Ｃａｌｌが規定値となるように、番組を分割してもよい。
【００５６】
＜画像認識部＞
次に、画像認識部２００の詳細について説明する。図１０は、画像認識部２００の構成例を示す図である。図１０に示す画像認識部２００は、正解メタデータ蓄積部２１０と、パラメータ蓄積部２２０と、学習データ作成部２３０と、学習部２４０と、検出用画像データ作成部２５０と、提供クレジット表示区間推定部２６０とを備える。
【００５７】
正解メタデータ蓄積部２１０は、番組における、提供クレジット表示が表示された時刻を示す時刻情報を蓄積する。提供クレジット表示が表示された時刻は、例えば、あらかじめ作業者により目視により確認され、正解メタデータ蓄積部２１０に蓄積される。
【００５８】
パラメータ蓄積部２２０は、後述する、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを蓄積する。
【００５９】
検出モデルは、例えば、畳み込みニューラルネットワークを用いたモデルである。詳細な説明は省略するが、畳み込みニューラルネットワークは、一般に、入力側から、畳み込み層とプーリング層とがこの順に、複数回繰り返して配置され、その後、全結合層が配置された構成を有する。畳み込み層では、入力画像に対して畳み込みフィルタを適用する処理が行われる。プーリング層では、畳み込み層の出力に対して、矩形フィルタを順次ずらしていきながら適用し、矩形フィルタ内の最大の値を取り出して新しい画像を生成する処理が行われる。全結合層では、畳み込み層及びプーリング層により特徴部分が取り出された画像データを１つのノードに結合し、活性化関数によって変換された値を出力する処理が行われる。パラメータ蓄積部２２０は、例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、各層で適用するフィルタのフィルタ重み、及び、畳み込み層の出力に加算するバイアスパラメータなどを蓄積する。なお、検出モデルは、畳み込みニューラルネットワークを用いて構築されるものに限定されるものではなく、例えば、ＳＶＭ（Support Vector Machine）などを用いて構築してもよい。
【００６０】
学習データ作成部２３０は、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの学習用番組の映像信号を取得する。また、学習データ作成部２３０は、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２１０から取得する。学習データ作成部２３０は、提供クレジット表示が検出済みの学習用番組から、提供クレジット表示が表示された静止画（以下、「提供クレジット表示ありの静止画」と称する）と、提供クレジットが表示されていない静止画（以下、「提供クレジット表示なしの静止画」と称する）とを学習データとして作成する。
【００６１】
具体的には、学習データ作成部２３０は、取得した映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。なお、静止画は、画面内符号化が行われたＩフレームのみを用いて作成してもよい。例えば、学習データ作成部２３０は、１秒ごとに静止画を作成する。この場合、学習データ作成部２３０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。
【００６２】
次に、学習データ作成部２３０は、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、学習データ作成部２３０は、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。学習データ作成部２３０は、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。学習データ作成部２３０は、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を学習データとして学習部２４０に出力する。
【００６３】
学習部２４０は、学習データ作成部２３０により作成された学習データ（提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、学習部２４０は、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。学習部２４０は、学習したパラメータをパラメータ蓄積部２２０に蓄積する。
【００６４】
検出用画像データ作成部２５０は、放送映像／音声信号蓄積部１１０から、提供クレジット表示の検出対象の番組の映像信号を取得する。検出用画像データ作成部２５０は、取得した番組の映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を作成する。例えば、検出用画像データ作成部２５０は、１秒ごとに静止画を作成する。この場合、検出用画像データ作成部２５０は、例えば、６５分の番組に対して、１秒間隔で時系列的に連続する３９００枚の静止画を作成する。検出用画像データ作成部２５０は、作成した時系列的に連続する静止画を提供クレジット表示区間推定部２６０に出力する。
【００６５】
提供クレジット表示区間推定部２６０は、学習部２４０により学習されたパラメータを適用した検出モデルを用いて、提供クレジット表示の検出対象の番組における提供クレジット表示区間を推定する。
【００６６】
具体的には、提供クレジット表示区間推定部２６０は、検出用画像データ作成部２５０から出力された、検出用画像データ（提供クレジット表示の検出対象の番組の静止画）を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、提供クレジット表示区間推定部２６０は、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジット表示の有無を時系列的に示す時系列信号を生成する。ここで、提供クレジット表示区間推定部２６０は、パラメータ蓄積部２２０に蓄積されたパラメータを検出モデルに適用する。例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、提供クレジット表示区間推定部２６０は、パラメータ蓄積部２２０に蓄積されたパラメータを固定値としたネットワーク（検出モデル）を構築する。
【００６７】
提供クレジット表示区間推定部２６０は、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定する。また、提供クレジット表示区間推定部２６０は、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定する。提供クレジット表示区間推定部２６０は、提供クレジット表示の検出対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、判定結果を示す信号（本実施形態では、バイナリ時系列信号）を生成し、提供クレジット表示区間と推定される区間については信号「１」、それ以外の区間については信号「０」である信号を提供クレジット表示区間出力部４００に出力する。
【００６８】
一般に、提供クレジット表示では、スポンサー名を示す文字として、黒枠で縁取られた白文字、カラー文字などが用いられる。また、提供クレジット表示では、スポンサー名を示す文字として、種々のフォントの文字が用いられる。また、提供クレジット表示であっても、「提供」という文字が含まれる場合と、「提供」という文字が含まれない場合とがある。また、提供クレジット表示が、スポンサーロゴのみを含む場合もある。さらに、提供クレジット表示の位置が、画面全体、右下、左下、右上、左上あるいは中央下である場合もある。このように、提供クレジット表示には、様々なバリエーションが存在する。このような様々なバリエーションの提供クレジット表示を、例えば、画像に登場する物体の特徴ベクトルなどを用いて検出することは困難である。
【００６９】
この点、画像認識部２００においては、提供クレジット表示が検出済みの番組から学習データが作成され、その学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータが学習される。そして、画像認識部２００においては、学習したパラメータを適用した検出モデルを用いて、提供クレジット表示の検出対象の番組における提供クレジット表示区間が推定される。そのため、画像認識部２００によれば、様々なバリエーションの提供クレジット表示を学習データとすることで、上述したような様々なバリエーションの提供クレジット表示に対しても提供クレジット表示区間を検出することができる。また、画像認識部２００によれば、提供クレジット表示の検出対象の番組の映像信号を用いるので、アナウンスがない場合にも、提供クレジット表示区間を検出することができる。
【００７０】
＜画像認識部の変形例＞
次に、画像認識部の変形例について説明する。図１１は、画像認識部の他の構成例を示す図である。図１１において、図１０と同様の構成については同じ符号を付し、説明を省略する。図１１に示す画像認識部２００Ａは、図１０示す画像認識部２００と比較して、学習データ作成部２３０を学習データ作成部２３０Ａに変更した点と、学習部２４０を学習部２４０Ａに変更した点と、提供クレジット表示区間推定部２６０を提供クレジット表示区間推定部２６０Ａに変更した点とが異なる。
【００７１】
学習データ作成部２３０Ａは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。また、学習データ作成部２３０Ａは、その番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２１０から取得する。学習データ作成部２３０Ａは、取得した提供クレジット表示が検出済みの各曜日の番組から、曜日ごとの学習データを作成し、学習部２４０Ａに出力する。学習データ作成部２３０Ａは、初期学習用学習データ作成部２３１Ａと、曜日別再学習用学習データ作成部２３２Ａとを備える。
【００７２】
初期学習用学習データ作成部２３１Ａは、放送映像／音声信号蓄積部１１０から、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、初期学習用学習データ作成部２３１Ａは、１カ月前の１日分の番組の映像信号を取得する。また、初期学習用学習データ作成部２３１Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２１０から取得する。そして、初期学習用学習データ作成部２３１Ａは、取得した提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの初期学習用の学習データを作成する。
【００７３】
具体的には、初期学習用学習データ作成部２３１Ａは、取得した映像信号をデコードして、所定の時間間隔（例えば、１秒ごと）で、時系列的に連続する静止画を作成する。
【００７４】
次に、初期学習用学習データ作成部２３１Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画を抽出する。また、初期学習用学習データ作成部２３１Ａは、生成した静止画から、提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。初期学習用学習データ作成部２３１Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、８０００枚程度、抽出する。初期学習用学習データ作成部２３１Ａは、抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、検出モデルの初期学習用の学習データとして学習部２４０Ａに出力する。
【００７５】
曜日別再学習用学習データ作成部２３２Ａは、放送映像／音声信号蓄積部１１０から、曜日ごとに、提供クレジット表示が検出済みの番組の映像信号を取得する。例えば、曜日別再学習用学習データ作成部２３２Ａは、前週の曜日ごとの番組の映像信号を取得する。また、曜日別再学習用学習データ作成部２３２Ａは、映像信号を取得した番組における提供クレジット表示の時刻情報を正解メタデータ蓄積部２１０から取得する。そして、曜日別再学習用学習データ作成部２３２Ａは、曜日ごとに、提供クレジット表示が検出済みの番組から、その番組における提供クレジット表示の時刻情報に基づき、検出モデルの再学習用の学習データを作成する。
【００７６】
具体的には、曜日別再学習用学習データ作成部２３２Ａは、取得した放送映像／音声信号をデコードして、所定の時間間隔（例えば、１秒ごと）で、時系列的に連続する静止画を作成する。
【００７７】
次に、曜日別再学習用学習データ作成部２３２Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画、及び提供クレジット表示なしの静止画を抽出する。提供クレジット表示なしの静止画は、取得した時刻情報に示される時刻以外の時刻の静止画からランダムに抽出される。曜日別再学習用学習データ作成部２３２Ａは、提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画をそれぞれ、例えば、１０００枚程度、抽出する。曜日別再学習用学習データ作成部２３２Ａは、上述した処理を曜日ごとに行う。そして、曜日別再学習用学習データ作成部２３２Ａは、曜日ごとに抽出した提供クレジット表示ありの静止画及び提供クレジット表示なしの静止画を、曜日ごとの再学習用データとして学習部２４０Ａに出力する。
【００７８】
学習部２４０Ａは、学習データ作成部２３０Ａにより作成された曜日ごとの学習データを用いて、検出モデルに適用するパラメータを曜日ごとに学習（再学習）する。学習部２４０Ａは、初期学習部２４１Ａと、曜日別再学習部２４２Ａとを備える。
【００７９】
初期学習部２４１Ａは、初期学習用学習データ作成部２３１Ａにより作成された初期学習用の学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。例えば、検出モデルが上述した畳み込みニューラルネットワークを用いたモデルである場合、初期学習部２４１Ａは、確率的勾配法を利用して、フィルタ重み及びバイアスパラメータを学習する。初期学習部２４１Ａは、学習したパラメータをパラメータ蓄積部２２０に蓄積する。
【００８０】
曜日別再学習部２４２Ａは、曜日別再学習用学習データ作成部２３２Ａにより作成された曜日ごとの再学習用データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部２４２Ａは、学習したパラメータをパラメータ蓄積部２２０に蓄積する。すなわち、曜日別再学習部２４２Ａは、曜日ごとに、検出モデルに適用するパラメータを学習し、パラメータ蓄積部２２０に蓄積する。曜日ごとの再学習用データを用いて検出モデルに適用するパラメータを学習（再学習）することで、曜日ごとの番組における提供クレジット表示の検出に適したパラメータを設定することができる。
【００８１】
提供クレジット表示区間推定部２６０Ａは、パラメータ蓄積部２２０に蓄積された、提供クレジット表示の検出対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用して、提供クレジット表示の検出対象の番組における提供クレジット表示区間を推定する。
【００８２】
具体的には、提供クレジット表示区間推定部２６０Ａは、検出用画像データ作成部２５０から出力された、提供クレジット表示の検出対象の番組の時系列的に連続する静止画を順次、番組における提供クレジット表示を検出する検出モデルに入力する。そして、提供クレジット表示区間推定部２６０Ａは、各静止画に対する検出モデルの出力値に基づき、各静止画における提供クレジット表示の有無を時系列的に示す時系列信号を生成する。ここで、提供クレジット表示区間推定部２６０Ａは、パラメータ蓄積部２２０に蓄積された、提供クレジット表示の検出対象の番組が放送される曜日について学習されたパラメータを検出モデルに適用する。
【００８３】
例えば、検出モデルが畳み込みニューラルネットワークを用いたモデルである場合には、提供クレジット表示区間推定部２６０Ａは、パラメータ蓄積部２２０に蓄積された、提供クレジット表示の検出対象の番組が放送される曜日について学習されたパラメータを固定値としたネットワーク（検出モデル）を構築する。
【００８４】
提供クレジット表示区間推定部２６０Ａは、検出モデルの出力値が所定の閾値以上である場合、入力した静止画は、提供クレジット表示ありの静止画であると判定する。また、提供クレジット表示区間推定部２６０Ａは、検出モデルの出力値が所定の閾値より小さい場合、入力した静止画は、提供クレジット表示なしの静止画であると判定する。提供クレジット表示区間推定部２６０Ａは、提供クレジット表示の検出対象の番組の時系列的に連続する静止画それぞれに対して、上述した判定を行い、判定結果を示す信号（本実施形態では、バイナリ時系列信号）を生成し、提供クレジット表示区間と推定される区間については信号「１」、それ以外の区間については信号「０」である信号を出力部１４０Ａに出力する。なお、提供クレジット表示区間推定部２６０Ａは、学習部２４０Ａにより曜日ごとに学習されたパラメータをそれぞれ適用した、曜日ごとの検出モデルを構築し、提供クレジット表示の検出対象の番組が放送される曜日に対応する検出モデルを用いてもよい。
【００８５】
一般に、同じ番組であれば、毎週、同じ曜日に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、画像認識部２００Ａによれば、曜日ごとに学習データを作成し、その学習データを用いて、曜日ごとに、検出モデルに適用するパラメータを学習することで、提供クレジット表示の検出精度の向上を図ることができる。なお、本実施形態においては、曜日ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われる例を用いて説明したが、これに限られるものではない。例えば、平日と、土曜日と、日曜日とに分けて、学習データの作成および検出モデルに適用するパラメータの学習が行われてもよい。また、例えば、番組ごとに、学習データの作成及び検出モデルに適用するパラメータの学習が行われてもよい。
【００８６】
ここで、初期学習用学習データ作成部２３１Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画、及び提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出し、抽出した提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、検出モデルの初期学習用の学習データとして学習部２４０Ａに出力するようにしてもよい。
この場合には、初期学習部２４１Ａは、初期学習用学習データ作成部２３１Ａにより作成された初期学習用の学習データ（提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。
【００８７】
また、曜日別再学習用学習データ作成部２３２Ａは、取得した時刻情報に基づき、生成した静止画から、提供クレジット表示ありの静止画、及び提供クレジット表示なしの静止画を、その静止画が放送された時刻とペアにして抽出し、曜日ごとに抽出した、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを、曜日ごとの再学習用データとして学習部２４０Ａに出力するようにしてもよい。
この場合には、曜日別再学習部２４２Ａは、曜日別再学習用学習データ作成部２３２Ａにより作成された曜日ごとの再学習用データ（曜日ごとの、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペア）を用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを曜日ごとに学習する。曜日別再学習部２４２Ａは、学習したパラメータをパラメータ蓄積部２２０に蓄積する。
【００８８】
なお、学習データ作成部２３０Ａは、曜日は区別することなく、提供クレジット表示ありの静止画とその静止画が放送された時刻とのペア、及び、提供クレジット表示なしの静止画とその静止画が放送された時刻とのペアを学習データとして作成してもよい。すなわち、学習データ作成部２３０Ａは、提供クレジット表示が検出済みの番組から、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成してもよい。また、学習部２４０Ａは、曜日は区別することなく、学習データ作成部２３０Ａにより作成された学習データを用いて、検出モデルに適用するパラメータを学習してもよい。
【００８９】
一般に、同じ番組であれば、毎週、同じ曜日の同じ時間帯に放送されることが多い。このような番組では、同じ形式の提供クレジット表示が表示される傾向がある。そのため、提供クレジット表示ありの静止画及びその静止画が放送された時刻と、提供クレジット表示なしの静止画及びその静止画が放送された時刻とを学習データとして作成し、その学習データを用いて、検出モデルに適用するパラメータを学習することで、さらに提供クレジット表示の検出精度の向上を図ることができる。
【００９０】
＜音声認識部＞
次に、音声認識部３００の詳細について説明する。図１２は、音声認識部３００の構成例を示す図である。図１２に示す音声認識部３００は、関連語句蓄積部３１０と、音声データ作成部３２０と、音声認識処理部３３０と、関連語句検出部３４０と、提供クレジット表示区間推定部３５０とを備える。
【００９１】
関連語句蓄積部３１０は、提供クレジット表示のアナウンス（提供クレジット表示の際に流れるアナウンス）に含まれ、提供クレジット表示に関連する関連語句を蓄積する。関連語句としては、例えば、提供クレジット表示のアナウンスに含まれることが多い、「ご覧の」、「スポンサー」、「提供」、「お送り（お送りします／お送りしました）」などの語句がある。また、関連語句としては、例えば、企業名を示す語句などがある。
【００９２】
また、関連語句蓄積部３１０は、関連語句に対応付けて、その関連語句の出現時刻の前後少なくとも一方の所定の期間を提供クレジット表示区間と推定する推定期間を蓄積する。関連語句の推定期間は、提供クレジット表示のアナウンスにおいて、その関連語句が出現する可能性が高い位置に応じて設定される。
【００９３】
例えば、提供クレジット表示のアナウンスとしては、「この番組は、ご覧のスポンサーの提供でお送りします／お送りしました」という定型文が用いられることが多い。このような定型文では、「番組」、「ご覧の」などの関連語句はアナウンスの前半に、「スポンサー」、「提供」などの関連語句はアナウンスの中頃に、「お送り」などの関連語句はアナウンスの後半に出現することが多いという傾向がある。関連語句の推定期間は、このような傾向に基づき設定される。
【００９４】
例えば、アナウンスの前半に出現する可能性が高い関連語句「番組」に対しては、推定期間として、「０秒〜＋５秒」が設定される。また、アナウンスの中頃に出現する可能性が高い関連語句「提供」に対しては、推定期間として、「−３秒〜＋２秒」が設定される。また、アナウンスの後半に出現する可能性が高い関連語句「お送り」に対しては、推定期間として、「−４秒〜＋１秒」が設定される。なお、「−Ｘ秒〜＋Ｙ秒」とは、関連語句の出現時刻の前Ｘ秒から、関連語句の出現時刻の後Ｙ秒までの区間を指す。
【００９５】
音声データ作成部３２０は、放送映像／音声信号蓄積部１１０から、提供クレジット表示の検出対象の番組の音声信号を取得する。音声データ作成部３２０は、取得した音声信号をデコードして、所定の形式の音声認識用の音声信号（例えば、ＷＡＶ形式、１６ｋＨｚ、１６ビット、モノラル音声信号）を音声認識用の音声データとして作成し、音声認識処理部３３０に出力する。
【００９６】
音声認識処理部３３０は、音声データ作成部３２０から出力された、音声認識用の音声データ（提供クレジット表示の検出対象の番組の音声信号）に対する音声認識を行う。具体的には、音声認識処理部３３０は、提供クレジット表示の検出用にチューニングされた、音声認識用の音響モデル／言語モデルに適用するパラメータを蓄積している。音声認識処理部３３０は、蓄積しているパラメータを適用した音響モデル／言語モデルを用いて、提供クレジット表示の検出対象の番組の音声信号に対する音声認識を行い、音声認識の結果を関連語句検出部３４０に出力する。なお、音響モデル／言語モデルに適用するパラメータは、不図示の蓄積部に蓄積されていてもよい。
【００９７】
図１３は、音声認識処理部３３０による音声認識の結果の一例を示す図である。ここでは、「ここからはご覧のスポンサーの提供でお送りします」という文言の音声信号に対する音声認識の結果を示している。
【００９８】
図１３に示すように、音声認識処理部３３０は、音声信号に対する音声認識により、対象の文言を複数の語句（"Word Name"）に分割して、テキストデータとして書き起こす。また、音声認識処理部３３０は、各語句（"Word Name"）に対応付けて、その語句を識別するＩＤ（"Word ID"）、その語句の開始時刻（"Word Start Time"）及びその語句の終了時刻（"Word End Time"）を音声認識の結果として出力する。
【００９９】
図１２を再び参照すると、関連語句検出部３４０は、音声認識処理部３３０による音声認識の結果から、関連語句蓄積部３１０に蓄積されている関連語句を検出し、検出結果を示す信号（本実施形態では、バイナリ時系列信号）を提供クレジット表示区間推定部３５０に出力する。関連語句検出部３４０は、例えば、関連語句が検出された時刻については、信号「１」を、それ以外の時刻については、信号「０」を提供クレジット表示区間推定部３５０に出力する。関連語句検出部３４０は、上述した処理を所定の時間間隔で行う。したがって、例えば、提供クレジット表示の検出対象の番組が６５分であり、１秒間隔で上述した処理を行う場合、関連語句検出部３４０は、時系列的に信号「１」又は信号「０」が３９００個連続するバイナリ時系列信号を提供クレジット表示区間推定部３５０に出力する。
【０１００】
提供クレジット表示区間推定部３５０は、関連語句検出部３４０から出力されたバイナリ時系列信号に基づき、提供クレジット表示区間を推定する。具体的には、提供クレジット表示区間推定部３５０は、検出された関連語句の出現時刻（信号「１」に対応する時刻）を起点として、検出された関連語句に対応付けて関連語句蓄積部３１０に蓄積されている推定期間に相当する期間を、提供クレジット表示区間と推定する。例えば、ある関連語句に対応付けて、推定期間として「−Ｘ秒〜＋Ｙ秒」が設定されており、その関連語句が時刻ｔに検出されたとする。この場合、提供クレジット表示区間推定部３５０は、時刻ｔを起点として、時刻ｔ−Ｘから時刻ｔ＋Ｙまでを提供クレジット表示区間と推定する。なお、提供クレジット表示区間推定部３５０は、音声認識処理部３３０による音声認識の結果を、音声認識処理部３３０あるいは関連語句検出部３４０から出力する。提供クレジット表示区間推定部３５０は、音声認識処理部３３０による音声認識の結果を取得することで、バイナリ時系列信号に含まれる信号「１」が、どの関連語句に対応する信号であるかを特定することができる。
【０１０１】
提供クレジット表示区間推定部３５０は、提供クレジット表示区間の推定結果を示す信号（本実施形態では、バイナリ時系列信号）を提供クレジット表示区間出力部４００に出力する。提供クレジット表示区間推定部３５０は、上述した処理を所定の時間間隔で行う。したがって、例えば、提供クレジット表示の検出対象の番組が６５分であり、１秒間隔で上述した処理を行う場合、提供クレジット表示区間推定部３５０は、時系列的に１ビットの信号が３９００個連続するバイナリ時系列信号を提供クレジット表示区間出力部４００に出力する。
【０１０２】
番組内において、提供クレジット表示区間外に関連語句が出現した場合、提供クレジット表示区間推定部３５０からは信号「１」が出力される。しかしながら、この場合、その語句の前後に、さらに関連語句が出現しなければ、信号「１」が出力される期間は、その関連語句に対応付けられた推定期間に相当する期間だけである。一方、提供クレジット表示区間は通常、関連語句が連続して出現し、例えば、十数秒程度の長さを有している。したがって、信号「１」が所定時間以上連続する区間を、提供クレジット表示区間として検出することで、高精度に提供クレジット表示区間を検出することができる。
【０１０３】
＜ＣＭ情報生成方法＞
次に、ＣＭ情報生成装置１００によるＣＭ情報生成方法について、図１４を参照して説明する。図１４は、本発明の一実施形態に係るＣＭ情報生成方法の一例を示すフローチャートである。
【０１０４】
ステップＳ１１では、検出用データ作成部１２１により、ＣＭ識別用の音声データを作成する。
【０１０５】
ステップＳ１２では、音量算出部１２２により、ステップＳ１１で作成された音声データの時系列での音量を算出する。
【０１０６】
ステップＳ１３では、ＣＭ境界候補区間決定部１２３により、ステップＳ１２で算出された音量が音量閾値未満となる低音量区間を抽出する。そして、互いに隣接する低音量区間の間隔が略ＣＭ規定長となる部分をＣＭとして検出する。そして、検出したＣＭの端部の低音量区間を含む時間帯をＣＭ境界候補区間と決定する。
【０１０７】
ステップＳ１４では、カット点抽出部１２４により、ステップＳ１３で決定されたＣＭ境界候補区間の映像からカット点を抽出する。
【０１０８】
ステップＳ１５では、ＣＭ区間決定部１２５により、ステップＳ１４で抽出された各ＣＭ境界候補区間内のカット点の組合せによって構成される全てのカット点系列Ｓｊについて、各隣接カット点時間とＣＭ規定長との差が時間差閾値未満となる一致数を算出し、一致数が最大のカット点系列Ｓｊが１つである場合には、該カット点系列Ｓｊを境界系列と判定し、一致数が最大のカット点系列Ｓｊが複数ある場合には、一致数が最大のカット点系列Ｓｊのうち、隣接カット点時間のＣＭ規定長との差が最小であるカット点系列Ｓｊを境界系列と判定する。そして、ＣＭ区間決定部１２６により、境界系列において、隣接カット点時間が略ＣＭ規定長に一致するカット点をＣＭ境界と決定し、隣接するＣＭ境界の間の区間をＣＭ区間と決定する。
【０１０９】
ステップＳ１６では、ＣＭ検出リスト生成部１５０により、ステップＳ１５で検出されたＣＭ区間の映像／音声信号である検出ＣＭと、あらかじめ出稿元の企業名が対応付けられたＣＭマスタとを照合することにより、検出ＣＭを出稿した企業の企業名を記載したＣＭ検出リストを生成する。
【０１１０】
ステップＳ２１では、学習データ作成部２３０により、提供クレジット表示が検出済みの番組の映像信号から、提供クレジット表示ありの静止画、及び提供クレジット表示なしの静止画を学習データとして作成する。
【０１１１】
ステップＳ２２では、学習部２４０により、ステップＳ２１で作成された学習データを用いて、番組における提供クレジット表示を検出する検出モデルに適用するパラメータを学習する。
【０１１２】
ステップＳ２３では、検出用画像データ作成部２５０により、提供クレジット表示の検出対象の番組の映像信号をデコードして、所定の時間間隔で、時系列的に連続する静止画を検出用画像データとして作成する。
【０１１３】
ステップＳ２４では、提供クレジット表示区間推定部２６０により、ステップＳ２３で学習されたパラメータを適用した検出モデルを用いて、提供クレジット表示の検出対象の番組における提供クレジット表示区間を推定する。
【０１１４】
ステップＳ３１では、音声データ作成部３２０により、提供クレジット表示の検出対象の番組の音声信号から音声認識用の音声データを作成する。
【０１１５】
ステップＳ３２では、音声認識処理部３３０により、ステップＳ３１で作成された認識用音声データに対して音声認識処理を行う。
【０１１６】
ステップＳ３３では、関連語句検出部３４０により、ステップＳ３２で得られた音声認識の結果から、提供クレジット表示に関連する関連語句を検出する。
【０１１７】
ステップＳ３４では、提供クレジット表示区間推定部３５０により、ステップＳ３３で検出された関連語句に基づき、提供クレジット表示区間を推定する。
【０１１８】
ステップＳ２５では、提供クレジット表示区間出力部４００により、ステップＳ２４で推定された提供クレジット表示区間と、ステップＳ３４で推定された提供クレジット表示区間の共通部分又は和集合を最終的な提供クレジット表示区間として出力する。例えば、できるだけ漏れなく提供クレジット表示区間を検出したい場合には、和集合を提供クレジット表示区間とし、できるだけ提供クレジット表示区間の誤検出率を下げたい場合には、共通部分を提供クレジット表示区間とする。なお、ステップＳ２１からステップＳ２４の処理と、ステップＳ３１からステップＳ３４の処理とは、並行して行われてもよいし、いずれか一方が先に行われてもよい。
【０１１９】
ステップＳ２６では、企業名リスト生成部１７０により、ステップＳ２５にて得られた提供クレジット表示区間の提供クレジット表示画像をロゴ画像と照合して、提供クレジット表示画像に記載された企業ロゴを認識し、認識した企業ロゴを記載した企業名リストを生成する。
【０１２０】
ステップＳ１７では、ＣＭ情報生成部１８０により、ステップＳ１６により生成されたＣＭ検出リストと、ステップＳ２６により生成された企業名リストとを比較し、検出ＣＭに関するＣＭ情報を生成する。
【０１２１】
以上説明したように、本発明では、ＣＭ検出リスト及び企業名リストを生成し、両者を比較することにより、番組から検出したＣＭに関するＣＭ情報を自動で生成することが可能となる。
【０１２２】
また、ＣＭ区間検出部１２０は、番組の音声信号の音量が音量閾値未満であり、かつ前フレームからの変化量が画素変化閾値以上であるフレームが再生される時点であるカット点を抽出し、該カット点の間隔とＣＭ規定長とを比較することによりＣＭ区間を検出する。ＣＭとＣＭの間、及びＣＭと番組の間では、映像が切り替わることが多い。すなわち、ＣＭ境界はカット点であることが多い。したがって、本発明によれば、音量にのみ基づいてＣＭ境界を検出する場合に比べて、低音量区間を含む候補区間におけるカット点に基づいてＣＭ区間を境界することによって、ＣＭ区間を高精度に検出することが可能となる。
【０１２３】
なお、発明者らによる検証実験において、ＣＭ区間検出部１２０が、７４２個のＣＭを含む、１７時間の再生時間の番組のＣＭ境界を検出した結果、実際のＣＭ境界との差の合計は計３．７秒であった。これに対して、従来のように低音量区間のみに基づいてＣＭ境界が検出された場合、実際のＣＭ境界との差の合計は計１７．７秒であった。また、この検証実験において、従来の判定における適合率は９３．５％であったのに対してＣＭ区間検出部１２０による判定の適合率は９３．９％であった。また、従来の判定における再現率は９７．３％であったのに対して、ＣＭ区間検出部１２０による判定の再現率は９９．０％であった。このことから、ＣＭ区間検出部１２０は従来に比べて正確にＣＭ境界を判定可能であることが検証された。
【０１２４】
また、画像認識部２００は、あらかじめ学習データを用いて学習されたパラメータを適用した検出モデルを用いて、提供クレジット表示の検出対象の番組における提供クレジット表示を検出するため、様々なバリエーションの提供クレジット表示を学習データとすることで、様々なバリエーションの提供クレジット表示の検出が可能となる。そのため、画像認識部２００により提供クレジット表示区間を高精度に検出することができる。そして、画像認識部２００により検出された高精度の提供クレジット表示区間を用いることにより、企業名リスト生成部１７０により企業名を高精度に推定することができる。
【０１２５】
また、音声認識部３００は、音声認識処理により検出された関連語句の前後の推定期間を提供クレジット表示区間と推定するため、関連語句が連続して出現する区間だけを提供クレジット表示区間として検出することが可能となる。番組内において、提供クレジット表示区間外に関連語句が出現する場合があるが、提供クレジット表示区間外において、関連語句が連続して出現することは少ないため、提供クレジット表示とは無関係に、関連語句が出現しても、提供クレジット表示区間とは検出されず、提供クレジット表示の際に関連語句が連続して出現した区間だけが提供クレジット表示区間として検出される。そのため、音声認識部３００により提供クレジット表示区間を高精度に検出することができる。そして、音声認識部３００により検出された高精度の提供クレジット表示区間を用いることにより、企業名リスト生成部１７０により企業名を高精度に推定することができる。
【０１２６】
以上、ＣＭ情報生成装置１００について説明したが、ＣＭ情報生成装置１００として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、ＣＭ情報生成装置１００の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。
【０１２７】
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。
【０１２８】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換が可能であることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形及び変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【０１２９】
１００            ＣＭ情報生成装置
１１０            放送映像／音声信号蓄積部
１２０            ＣＭ区間検出部
１２１            検出用データ作成部
１２２            音量算出部
１２３            ＣＭ境界候補区間決定部
１２４            カット点抽出部
１２５            ＣＭ区間決定部
１３０            提供クレジット表示区間推定部
１４０            ＣＭ蓄積部
１５０            ＣＭ検出リスト生成部
１６０            企業ロゴ蓄積部
１７０            企業名リスト生成部
１８０            ＣＭ情報生成部
２００            画像認識部
２１０            正解メタデータ蓄積部
２２０            パラメータ蓄積部
２３０，２３０Ａ  学習データ作成部
２３１Ａ          初期学習用学習データ作成部
２３２Ａ          曜日別再学習用学習データ作成部
２４０，２４０Ａ  学習部
２４１Ａ          初期学習部
２４２Ａ          曜日別再学習部
２５０            検出用画像データ作成部
２６０，２６０Ａ  提供クレジット表示区間推定部
３００            音声認識部
３１０            関連語句蓄積部
３２０            音声データ作成部
３３０            音声認識処理部
３４０            関連語句検出部
３５０            提供クレジット表示区間推定部
４００            提供クレジット表示区間出力部
【図１】
2019212047.tif 000003
【図２】
2019212047.tif 000004
【図３】
2019212047.tif 000005
【図４】
2019212047.tif 000006
【図５】
2019212047.tif 000007
【図６】
2019212047.tif 000008
【図７】
2019212047.tif 000009
【図８】
2019212047.tif 000010
【図９】
2019212047.tif 000011
【図１０】
2019212047.tif 000012
【図１１】
2019212047.tif 000013
【図１２】
2019212047.tif 000014
【図１３】
2019212047.tif 000015
【図１４】
2019212047.tif 000016