(57)【特許請求の範囲】
【請求項１】
映像コンテンツからクレジット情報の表示区間を検出するクレジット情報区間検出装置であって、
映像コンテンツの映像データを入力する入力手段と、
クレジット表示区間内におけるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定する探索開始点決定手段と、
前記開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことによって、前記クレジット情報の表示区間を判定する表示区間判定手段とを
備えたことを特徴とするクレジット情報区間検出装置。
【請求項２】
表示区間判定手段は、開始点におけるクレジット情報の探索処理でクレジット情報が存在しないと判定した場合には、クレジット情報が存在する時間位置が見つかるまで探索処理の開始点を再決定するよう、探索開始点決定手段に通知を行い、再決定された探索開始点でクレジット情報が存在すると判定された位置から探索処理を開始することによって、クレジット情報の表示区間を判定する
請求項１記載のクレジット情報区間検出装置。
【請求項３】
クレジット情報の高文字密度部が存在する確率を、複数の映像コンテンツを学習することによって求め、求めた確率情報を高密度クレジット情報部出現確率情報として記憶する学習結果記憶手段を備え、
探索開始点決定手段は、前記学習結果記憶手段が記憶する高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する
請求項１または請求項２に記載のクレジット情報区間検出装置。
【請求項４】
学習結果記憶手段は、映像コンテンツ内でクレジット情報が表示される区間を学習することにより算出されるコンテンツ内クレジット情報出現確率情報と、クレジット情報が表示される区間中の文字密度を学習することにより算出されるクレジット情報内高文字密度部出現確率情報とを記憶し、
前記コンテンツ内クレジット情報出現確率情報およびクレジット情報内高文字密度部出現確率情報をもとに高密度クレジット情報部出現確率情報を算出する出現確率情報算出手段を備え、
探索開始点決定手段は、前記出現確率情報算出手段が算出する高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する
請求項１または請求項２に記載のクレジット情報区間検出装置。
【請求項５】
学習結果記憶手段は、中央部付近が高くなる仮定の分布をクレジット情報内高文字密度部出現確率情報として記憶する
請求項４記載のクレジット情報区間検出装置。
【請求項６】
探索開始点決定手段は、入力される映像コンテンツの映像データを解析して得られる特徴量を利用してクレジット情報の高文字密度部が存在する確率を推定し、クレジット情報の探索処理を開始する開始点を決定する
請求項１または請求項２に記載のクレジット情報区間検出装置。
【請求項７】
特徴量はエッジ数分布であり、
探索開始点決定手段は、入力される映像データからフレーム画像を生成し、生成したフレーム画像に対してエッジ成分を算出してフレームエッジ画像を生成し、前記フレームエッジ画像のエッジ数のコンテンツ内における分布を解析して高密度クレジット情報部出現確率情報を算出し、算出した高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する
請求項６記載のクレジット情報区間検出装置。
【請求項８】
特徴量はヘッダ情報から得られる統計量であり、映像データは圧縮されたデータであり、
探索開始点決定手段は、入力される圧縮された映像データに含まれるヘッダ情報を抽出し、抽出されたヘッダ情報を解析して高密度クレジット情報部出現確率情報を算出し、算出した高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する
請求項６記載のクレジット情報区間検出装置。
【請求項９】
統計量はマクロブロック毎に決定される動きベクトルであり、
探索開始点決定手段は、フレーム画像内で前記動きベクトルの向きの一致する度合いを解析することによって、高密度クレジット情報部出現確率情報を算出する
請求項８記載のクレジット情報区間検出装置。
【請求項１０】
統計量はマクロブロック毎に決定されるＤＣＴのモードであり、
探索開始点決定手段は、フレーム画像内でフィールドＤＣＴが選択される頻度または分布を利用して高周波成分の有無を解析することによって、高密度クレジット情報部出現確率情報を算出する
請求項８記載のクレジット情報区間検出装置。
【請求項１１】
表示区間判定手段は、クレジット情報を高い信頼度で検出可能な区間を高信頼度クレジット区間として検出し、前記高信頼度クレジット区間の前後にクレジット情報の探索処理を行う区間を広げて行きクレジット情報表示区間の開始点及び終了点を検出する
請求項１または請求項２に記載のクレジット情報区間検出装置。
【請求項１２】
表示区間判定手段は、入力手段から入力された映像データに対して、クレジット情報表示区間の開始点の候補点についてテロップ表示フレームの検出処理を行い、クレジット情報表示区間はその他のテロップ表示区間と比べて長いことが多い性質を利用して、前記テロップ表示フレームの連続性を判定することによって、高信頼度クレジット区間情報を算出する
請求項１１に記載のクレジット情報区間検出装置。
【請求項１３】
表示区間判定手段は、高信頼度クレジット区間の前後近接区間について、テロップ表示フレームの検出処理におけるパラメータ値を、テロップ表示フレームが検出しやすくなるように再決定し、再決定したパラメータ値を利用してテロップ表示フレーム検出処理を行うことによりクレジット情報区間を判定する
請求項１２に記載のクレジット情報区間検出装置。
【請求項１４】
表示区間判定手段は、入力手段から入力された映像データに対して、高信頼度クレジット区間情報で指定される区間に対して映像解析を行うことにより得られるテロップ関連特徴量を利用して、前記高信頼度クレジット区間の前後近接区間を解析することによって、クレジット情報区間を判定する
請求項１２に記載のクレジット情報区間検出装置。
【請求項１５】
テロップ関連特徴量はテロップの文字移動量であり、
表示区間判定手段は、高信頼度クレジット区間の前後近接区間において、前記文字移動量に相当する動き補償を行うことによるフレーム画像内のエッジ数変化を解析することによってクレジット情報区間を判定する
請求項１４に記載のクレジット情報区間検出装置。
【請求項１６】
テロップ関連特徴量は文字列の表示されている可能性の高いフレーム画像内の領域における文字色であり、
表示区間判定手段は、高信頼度クレジット区間の前後近接区間において、フレーム画像内の前記領域において前記文字色が含有する割合を解析することによりクレジット情報区間を判定する
請求項１４記載のクレジット情報区間検出装置。
【請求項１７】
テロップ関連特徴量はテロップの表示領域情報であり、
表示区間判定手段は、高信頼度クレジット区間の前後近接区間において、フレーム画像内の前記表示領域情報で特定される領域に対する重み付けを行った上でテロップの検出処理を行うことによって、クレジット情報区間を判定する
請求項１４記載のクレジット情報区間検出装置。
【請求項１８】
映像コンテンツからクレジット情報の表示区間を検出するクレジット情報区間検出方法であって、
映像コンテンツの映像データを入力し、
クレジット表示区間内におけるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定し、
前記開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことによって、前記クレジット情報の表示区間を判定する
ことを特徴とするクレジット情報区間検出方法。
【請求項１９】
開始点におけるクレジット情報の探索処理でクレジット情報が存在しないと判定した場合には、クレジット情報が存在する時間位置が見つかるまで探索処理の開始点を再決定するよう通知し、再決定された探索開始点でクレジット情報が存在すると判定された位置から探索処理を開始することによって、クレジット情報の表示区間を判定する
請求項１８記載のクレジット情報区間検出方法。
【請求項２０】
クレジット情報の高文字密度部が存在する確率を、複数の映像コンテンツを学習することによって求め、
求めた確率情報を高密度クレジット情報部出現確率情報として記憶し、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する
請求項１８または請求項１９に記載のクレジット情報区間検出方法。
【請求項２１】
映像コンテンツ内でクレジット情報が表示される区間を学習することにより算出されるコンテンツ内クレジット情報出現確率情報と、クレジット情報が表示される区間中の文字密度を学習することにより算出されるクレジット情報内高文字密度部出現確率情報とを記憶するステップと、
前記コンテンツ内クレジット情報出現確率情報およびクレジット情報内高文字密度部出現確率情報をもとに高密度クレジット情報部出現確率情報を算出するステップと、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定するステップとを含む
請求項１８または請求項１９に記載のクレジット情報区間検出方法。
【請求項２２】
中央部付近が高くなる仮定の分布をクレジット情報内高文字密度部出現確率情報として記憶する
請求項２１記載のクレジット情報区間検出方法。
【請求項２３】
入力される映像コンテンツの映像データを解析して得られる特徴量を利用してクレジット情報の高文字密度部が存在する確率を推定し、クレジット情報の探索処理を開始する開始点を決定する
請求項１８または請求項１９に記載のクレジット情報区間検出方法。
【請求項２４】
特徴量はエッジ数分布であり、
入力される映像データからフレーム画像を生成するステップと、
前記フレーム画像に対してエッジ成分を算出してフレームエッジ画像を生成するステップと、
前記フレームエッジ画像のエッジ数のコンテンツ内における分布を解析して高密度クレジット情報部出現確率情報を算出するステップと、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定するステップとを含む
請求項２３記載のクレジット情報区間検出方法。
【請求項２５】
特徴量はヘッダ情報から得られる統計量であり、映像データは圧縮されたデータであり、
入力される圧縮された映像データに含まれるヘッダ情報を抽出するステップと、
抽出されたヘッダ情報を解析して高密度クレジット情報部出現確率情報を算出するステップと、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定するステップとを含む
請求項２３記載のクレジット情報区間検出方法。
【請求項２６】
統計量がマクロブロック毎に決定される動きベクトルであり、
フレーム画像内で前記動きベクトルの向きの一致する度合いを解析することによって、高密度クレジット情報部出現確率情報を算出する
請求項２５記載のクレジット情報区間検出方法。
【請求項２７】
統計量がマクロブロック毎に決定されるＤＣＴのモードであり、
フレーム画像内でフィールドＤＣＴが選択される頻度または分布を利用して高周波成分の有無を解析することによって、高密度クレジット情報部出現確率情報を算出する
請求項２５記載のクレジット情報区間検出方法。
【請求項２８】
クレジット情報を高い信頼度で検出可能な区間を高信頼度クレジット区間として検出するステップと、
前記高信頼度クレジット区間の前後にクレジット情報の探索処理を行う区間を広げて行きクレジット情報表示区間の開始点及び終了点を検出するステップとを含む
請求項１８または請求項１９に記載のクレジット情報区間検出方法。
【請求項２９】
入力された映像データに対して、クレジット情報表示区間の開始点の候補点についてテロップ表示フレームの検出処理を行い、クレジット情報表示区間はその他のテロップ表示区間と比べて長いことが多い性質を利用して、前記テロップ表示フレームの連続性を判定することによって、高信頼度クレジット区間情報を算出する
請求項２８に記載のクレジット情報区間検出方法。
【請求項３０】
高信頼度クレジット区間の前後近接区間について、テロップ表示フレームの検出処理におけるパラメータ値を、テロップ表示フレームが検出しやすくなるように再決定し、再決定したパラメータ値を利用してテロップ表示フレーム検出処理を行うことによりクレジット情報区間を判定する
請求項２９に記載のクレジット情報区間検出方法。
【請求項３１】
入力された映像データに対して、高信頼度クレジット区間情報で指定される区間に対して映像解析を行うことにより得られるテロップ関連特徴量を利用して、前記高信頼度クレジット区間の前後近接区間を解析することによって、クレジット情報区間を判定する
請求項２９に記載のクレジット情報区間検出方法。
【請求項３２】
テロップ関連特徴量はテロップの文字移動量であり、
高信頼度クレジット区間の前後近接区間において、前記文字移動量に相当する動き補償を行うことによるフレーム画像内のエッジ数変化を解析することによってクレジット情報区間を判定する
請求項３１に記載のクレジット情報区間検出方法。
【請求項３３】
テロップ関連特徴量は文字列の表示されている可能性の高いフレーム画像内の領域における文字色であり、
高信頼度クレジット区間の前後近接区間において、フレーム画像内の前記領域において前記文字色が含有する割合を解析することによりクレジット情報区間を判定する
請求項３１記載のクレジット情報区間検出方法。
【請求項３４】
テロップ関連特徴量はテロップの表示領域情報であり、
高信頼度クレジット区間の前後近接区間において、フレーム画像内の前記表示領域情報で特定される領域に対する重み付けを行った上でテロップの検出処理を行うことによって、クレジット情報区間を判定する
請求項３１記載のクレジット情報区間検出方法。
【請求項３５】
映像コンテンツからクレジット情報の表示区間を検出するクレジット情報区間検出装置におけるコンピュータに、
映像コンテンツの映像データを入力する処理と、
クレジット表示区間内において文字が高密度に表示されるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定する処理と、
前記開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことによって、前記クレジット情報の表示区間を判定する処理とを実行させるための
クレジット情報区間検出プログラム。
【請求項３６】
コンピュータに、
開始点におけるクレジット情報の探索処理でクレジット情報が存在しないと判定した場合には、クレジット情報が存在する時間位置が見つかるまで探索処理の開始点を再決定するよう通知する処理を実行し、再決定された探索開始点でクレジット情報が存在すると判定された位置から探索処理を開始することによって、クレジット情報の表示区間を判定する処理を実行させるための
請求項３５記載のクレジット情報区間検出プログラム。
【請求項３７】
コンピュータに、
クレジット情報の高文字密度部が存在する確率を、複数の映像コンテンツを学習することによって求める処理と、
求めた確率情報を高密度クレジット情報部出現確率情報として記憶する処理と、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する処理とを実行させるための
請求項３５または請求項３６に記載のクレジット情報区間検出プログラム。
【請求項３８】
コンピュータに、
映像コンテンツ内でクレジット情報が表示される区間を学習することにより算出されるコンテンツ内クレジット情報出現確率情報と、クレジット情報が表示される区間中の文字密度を学習することにより算出されるクレジット情報内高文字密度部出現確率情報とを記憶する処理と、
前記コンテンツ内クレジット情報出現確率情報およびクレジット情報内高文字密度部出現確率情報をもとに高密度クレジット情報部出現確率情報を算出する処理と、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する処理とを実行させるための
請求項３５または請求項３６に記載のクレジット情報区間検出プログラム。
【請求項３９】
コンピュータに、
中央部付近が高くなる仮定の分布をクレジット情報内高文字密度部出現確率情報として記憶する処理を実行させるための
請求項３８記載のクレジット情報区間検出プログラム。
【請求項４０】
コンピュータに、
入力される映像コンテンツの映像データを解析して得られる特徴量を利用してクレジット情報の高文字密度部が存在する確率を推定し、クレジット情報の探索処理を開始する開始点を決定する処理を実行させるための
請求項３５または請求項３６に記載のクレジット情報区間検出プログラム。
【請求項４１】
特徴量はエッジ数分布であり、
コンピュータに、
入力される映像データからフレーム画像を生成する処理と、
前記フレーム画像に対してエッジ成分を算出してフレームエッジ画像を生成する処理と、
前記フレームエッジ画像のエッジ数のコンテンツ内における分布を解析して高密度クレジット情報部出現確率情報を算出する処理と、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する処理とを実行させるための
請求項４０記載のクレジット情報区間検出プログラム。
【請求項４２】
特徴量はヘッダ情報から得られる統計量であり、
コンピュータに、
映像コンテンツが圧縮されている場合に、
入力される圧縮された映像データに含まれるヘッダ情報を抽出する処理と、
抽出されたヘッダ情報を解析して高密度クレジット情報部出現確率情報を算出する処理と、
前記高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する処理とを実行させるための
請求項４０記載のクレジット情報区間検出プログラム。
【請求項４３】
統計量はマクロブロック毎に決定される動きベクトルであり、
コンピュータに、
フレーム画像内で前記動きベクトルの向きの一致する度合いを解析することによって、高密度クレジット情報部出現確率情報を算出する処理を実行させるための
請求項４２記載のクレジット情報区間検出プログラム。
【請求項４４】
統計量がマクロブロック毎に決定されるＤＣＴのモードであり、
コンピュータに、
フレーム画像内でフィールドＤＣＴが選択される頻度または分布を利用して高周波成分の有無を解析することによって、高密度クレジット情報部出現確率情報を算出する処理を実行させるための
請求項４２記載のクレジット情報区間検出プログラム。
【請求項４５】
コンピュータに、
クレジット情報を高い信頼度で検出可能な区間を高信頼度クレジット区間として検出する処理と、
前記高信頼度クレジット区間の前後にクレジット情報の探索処理を行う区間を広げて行きクレジット情報表示区間の開始点及び終了点を検出する処理とを実行させるための
請求項３５または請求項３６に記載のクレジット情報区間検出プログラム。
【請求項４６】
コンピュータに、
入力された映像データに対して、クレジット情報表示区間の開始点の候補点についてテロップ表示フレームの検出処理を行う処理と、
クレジット情報表示区間はその他のテロップ表示区間と比べて長いことが多い性質を利用して、前記テロップ表示フレームの連続性を判定することによって、高信頼度クレジット区間情報を算出する処理とを実行させるための
請求項４５記載のクレジット情報区間検出プログラム。
【請求項４７】
コンピュータに、
高信頼度クレジット区間の前後近接区間について、テロップ表示フレームの検出処理におけるパラメータ値を、テロップ表示フレームが検出しやすくなるように再決定する処理と、
再決定したパラメータ値を利用してテロップ表示フレーム検出処理を行うことによりクレジット情報区間を判定する処理とを実行させるための
請求項４６記載のクレジット情報区間検出プログラム。
【請求項４８】
コンピュータに、
入力された映像データに対して、高信頼度クレジット区間情報で指定される区間に対して映像解析を行うことにより得られるテロップ関連特徴量を利用して、前記高信頼度クレジット区間の前後近接区間を解析することによって、クレジット情報区間を判定する処理を実行させるための
請求項４６記載のクレジット情報区間検出プログラム。
【請求項４９】
テロップ関連特徴量はテロップの文字移動量であり、
コンピュータに、
高信頼度クレジット区間の前後近接区間において、前記文字移動量に相当する動き補償を行うことによるフレーム画像内のエッジ数変化を解析することによってクレジット情報区間を判定する処理を実行させるための
請求項４８記載のクレジット情報区間検出プログラム。
【請求項５０】
テロップ関連特徴量は文字列の表示されている可能性の高いフレーム画像内の領域における文字色であり、
コンピュータに、
高信頼度クレジット区間の前後近接区間において、フレーム画像内の前記領域において前記文字色が含有する割合を解析することによりクレジット情報区間を判定する処理を実行させるための
請求項４８記載のクレジット情報区間検出プログラム。
【請求項５１】
テロップ関連特徴量はテロップの表示領域情報であり、
コンピュータに、
高信頼度クレジット区間の前後近接区間において、フレーム画像内の前記表示領域情報で特定される領域に対する重み付けを行った上でテロップの検出処理を行うことによって、クレジット情報区間を判定する処理を実行させるための
請求項４８記載のクレジット情報区間検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クレジット情報（著作権者、出演者などを流すテロップ等）の区間を検出するクレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラムに関し、特に、映像コンテンツ中に重畳されたクレジット情報の検出・認識において、高速かつ高精度な該クレジット情報の区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラムに関する。
【背景技術】
【０００２】
映像コンテンツに重畳されたテロップの検出や認識に関して、各フレーム画像のテロップ周辺から抽出されるエッジ成分等の特徴量、及びテロップの表示時間長に着目した手法が数多く提案されている。【０００３】
特許文献１には、移動しないテロップを対象として、映像から自動的にテロップを抽出するテロップ情報表示装置が記載されている。特許文献１に記載されたテロップ情報表示装置が用いるテロップの検出方法は、入力された映像の全フレームを対象とする方法と、一定の規則でサンプリングしたフレームのみを対象とする方法とがある。いずれの場合も複数のサンプリングした画像からそれぞれエッジ検出を行って作成されるエッジ画像を２値化した後、得られた複数の２値化画像の論理積によって算出された不動エッジ画像を用いて、テロップの存在する候補領域を絞って抽出処理を行っている。この検出手法の場合、映像コンテンツ中の終盤にテロップが存在する場合でも、映像コンテンツの終盤に集中してテロップが存在する場合でも、映像の序盤から検出処理を行うことになる。【０００４】
特許文献２には、動きながら表示される字幕文字を検出する映像中字幕文字検出方法が記載されている。特許文献２に記載された映像中字幕文字検出方法では、映像から一定時間間隔毎にフレーム画像を獲得し、獲得した各フレーム画像から文字部分に特徴的に現れる特徴点を検出した後、その検出した特徴点の空間分布から字幕文字の出現の検知を行い、字幕文字の出現が検知されたフレーム画像とそのフレーム画像に引き続いて獲得されたフレーム画像における特徴点同士を照合することにより字幕全体の移動量を算出する。この算出された移動量に基づいて、当該フレーム画像間で共通して表示される字幕全体が空間的に重なるように一方の画像の座標値を変換することにより、字幕文字を検出している。この検出手法の場合、特許文献１に記載されたテロップ情報表示装置が用いる検出方法と同様、映像コンテンツの終盤に集中してテロップが存在する場合でも、映像の序盤から検出処理を行うことになると共に、フレーム画像中に表示される文字の密度が著しく異なる字幕についても、全て同一の検出処理を行うことになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８５７１６号公報（段落００１４、段落００３３−００５１）
【特許文献２】特許第３４３９１０５号公報（段落０００７、段落００２９−００４０）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載されたテロップの検出方法、または特許文献２に記載された字幕の検出方法では、文字が一定時間継続して表示される性質を利用して、時系列に検出を行う。これらの方法を用いて、放送番組の映像コンテンツからその著作権者または出演者などを表示するテロップに相当するクレジット情報を検出しようとすると、番組の終盤に出現する可能性が高いクレジット情報を番組の冒頭から探索していくため、検出処理に時間がかかる。また、全てのテロップが検出対象になるため、そこからクレジット情報のみを分離することができない。また、テロップ検出処理を一様に同じパラメータで行うため、クレジット情報の序盤や終盤における文字列密度が低いところでは、テロップの検出漏れが生じやすくクレジット情報として検出し損なうおそれもある。【０００７】
そこで、本発明は、クレジット情報を検出する処理時間を低減することができ、さらにクレジット情報だけを精度良く検出することができる、クレジット情報区間検出方法、クレジット情報区間検出装置及びクレジット情報区間検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によるクレジット情報区間検出装置は、映像コンテンツからクレジット情報の表示区間を検出するクレジット情報区間検出装置であって、映像コンテンツの映像データを入力する入力手段と、クレジット表示区間内において文字が高密度に表示されるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定する探索開始点決定手段と、開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことにより、クレジット情報の表示区間を判定する表示区間判定手段とを備えたことを特徴とする。【０００９】
本発明によるクレジット情報区間検出方法は、映像コンテンツからクレジット情報の表示区間を検出するクレジット情報区間検出方法であって、映像コンテンツの映像データを入力し、クレジット表示区間内において文字が高密度に表示されるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定し、開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことにより、クレジット情報の表示区間を判定することを特徴とする。【００１０】
本発明によるクレジット情報区間検出プログラムは、映像コンテンツからクレジット情報の表示区間を検出するクレジット情報区間検出装置におけるコンピュータに、映像コンテンツの映像データを入力する処理と、クレジット表示区間内において文字が高密度に表示されるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定する処理と、開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことにより、クレジット情報の表示区間を判定する処理とを実行させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、映像コンテンツ中に重畳されたクレジット情報の検出処理速度を高速化し、クレジット情報の検出処理精度を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明によるクレジット情報区間検出装置の第１の実施形態の概略構成を示すブロック図である。
【図２】図１に示されたクレジット情報区間検出装置の処理を示すフローチャートである。
【図３】クレジット情報探索開始点決定手段の構成例を示すブロック図である。
【図４】クレジット情報探索開始点決定手段の構成例を示すブロック図である。
【図５】クレジット情報区間判定手段の構成例を表すブロック図である。
【図６】高信頼度クレジット情報表示区間検出手段の構成例を示すブロック図である。
【図７】高信頼度クレジット情報表示区間検出手段の動作例を示すフローチャートである。
【図８】高信頼度クレジット情報表示区間の開始点を決定する処理を示すフローチャートである。
【図９】高信頼度クレジット情報表示区間の終了点を決定する処理を示すフローチャートである。
【図１０】クレジット情報表示区間開始点／終了点検出手段の構成例を示すブロック図である。
【図１１】クレジット情報表示区間開始点／終了点検出手段の構成例を示すブロック図である。
【図１２】本発明によるクレジット情報区間検出装置の第２の実施形態の概略構成を示すブロック図である。
【図１３】図１２に示されたクレジット情報探索開始点決定手段の構成例を示すブロック図である。
【図１４】図１２に示されたクレジット情報探索開始点決定手段の構成例を示すブロック図である。
【図１５】ヘッダ情報解析手段の構成例を示すブロック図である。
【図１６】ヘッダ情報解析手段の構成例を示すブロック図である。
【図１７】本発明によるクレジット情報区間検出装置の主要部を示すブロック図である。
【発明を実施するための形態】
【００１３】
実施形態１．
本発明によるクレジット情報区間検出装置の第１の実施形態（実施形態１）について図面を参照して説明する。
【００１４】
図１は、本発明によるクレジット情報区間検出装置の第１の実施形態の概略構成を示すブロック図である。第１の実施形態のクレジット情報区間検出装置は、処理対象の映像データを入力する入力手段１１、クレジット情報の探索処理を開始する時間位置を示す開始点を決定するクレジット情報探索開始点決定手段１２、クレジット情報探索開始点決定手段１２で決定された探索開始点に対して探索処理を行い、クレジット情報が存在しない場合はその判定結果をクレジット情報探索開始点決定手段１２に返却し、クレジット情報が存在すればその前後に探索処理を広げクレジット情報の表示区間を判定するクレジット情報区間判定手段１３、及び判定されたクレジット情報の表示区間の結果を出力する出力手段１４を備えている。
【００１５】
入力手段１１では、圧縮された映像または当該映像を復号した映像が映像データとして入力される。圧縮された映像が入力される場合、その圧縮形式は、ＭＰＥＧ、Ｈ．２６４、ＭＪＰＥＧ（Motion JPEG ）、ＷＭＶ（Windows（登録商標） Media Video ）またはＲｅａｌＶｉｄｅｏなど、復号可能なものであれば何でも良い。
【００１６】
クレジット情報探索開始点決定手段１２は、入力手段１１から入力される映像データに対してクレジット情報の探索処理を行うにあたり、その開始点を決定しクレジット情報区間判定手段１３に出力する。クレジット情報区間判定手段１３からクレジット情報の表示区間が存在しないという判定結果が返却された場合には、クレジット情報探索開始点決定手段１２は、再度、探索開始点を決定する。クレジット情報探索開始点決定手段１２は、例えば、あらかじめ定められたルールに則って動作するプログラムを搭載したＣＰＵによって実現される。クレジット情報探索開始点決定手段１２の詳細については後述する。
【００１７】
クレジット情報区間判定手段１３は、入力手段１１から入力される映像データに対し、クレジット情報探索開始点決定手段１２で決定される探索開始点について探索処理を行う。クレジット情報が見つかった場合には、その前後に探索処理を広げることによりクレジット情報の表示区間を判定し、開始フレーム及び終了フレームといった、表示区間に関する情報を出力手段１４に出力する。一方、クレジット情報が見つからなかった場合には、その判定結果をクレジット情報探索開始点決定手段１２に返却し、再度決定された探索開始点についてクレジット情報の表示区間判定を行う。クレジット情報区間判定手段１３は、例えば、あらかじめ定められたルールに従って動作するプログラムを搭載したＣＰＵにより実現される。クレジット情報区間判定手段１３の詳細については後述する。
【００１８】
出力手段１４は、クレジット情報区間判定手段１３でクレジット情報が存在すると判定された場合に、その表示区間に関する情報を出力する。例えば、本発明によるクレジット情報区間検出方法がプログラムとして実装され、後段の処理を行うプログラムにメモリを介して情報を通知する場合には、出力手段１４は、表示区間に関する情報をメモリに出力する。
【００１９】
図２は、図１に示されたクレジット情報区間検出装置の処理を示すフローチャートである。図２を参照して、図１に示されたクレジット情報区間検出装置の全体的な処理を説明する。
【００２０】
ステップＳ１１において、映像データが入力手段１１から入力される（ステップＳ１０１）。ステップＳ１２において、クレジット情報の探索処理を開始する時間位置を示す開始点がクレジット情報探索開始点決定手段１２によって決定される（ステップＳ１０２）。
【００２１】
ステップＳ１３において、クレジット情報区間判定手段１３は、開始点にクレジット情報が存在するか否かを判定する（ステップＳ１０３）。ステップＳ１０３において、クレジット情報が存在しない場合には、クレジット情報区間判定手段１３はクレジット情報探索開始点決定手段１２に通知し、クレジット情報探索開始点決定手段１２は再度クレジット情報探索開始点の決定を行う（ステップＳ１０２）。ステップＳ１０３において、クレジット情報が存在する場合は、クレジット情報区間判定手段１３は、開始点の前後に探索範囲を広げクレジット情報開始点／終了点の決定を行う（ステップＳ１０４）。
【００２２】
ステップＳ１０４において、クレジット情報の開始点／終了点が決定された後、ステップＳ１４において、出力手段１４はクレジット情報区間に関する情報を出力し（ステップＳ１０４）、処理を終了する。
【００２３】
図３及び図４は、クレジット情報探索開始点決定手段の構成例を示すブロック図である。図３及び図４を参照して、クレジット情報探索開始点決定手段１２の構成例であるクレジット情報探索開始点決定手段１２ａ及びクレジット情報探索開始点決定手段１２ｂを説明する。
【００２４】
図３に示すクレジット情報探索開始点決定手段１２ａは、映像学習結果記憶手段１０１ａおよび探索開始点選択手段１０２を備えている。映像学習結果記憶手段１０１ａは、複数の番組を学習することにより得られるクレジット情報の特性に関する情報を記憶する。特に、図３に示す映像学習結果記憶手段１０１ａには、クレジット情報の文字が高密度になる時間位置情報を多数の番組において視認等で取得することにより推定される高密度クレジット情報部出現確率情報が蓄積される。なお、視認以外の手段によって番組を学習する場合には、例えば、番組に対して既存のテロップ検出方法によるテロップ検出を行って取得したテロップ検出結果に基づいて、番組中にクレジット情報が表示される時間区間及びその時間区間内における文字密度を推定するようにしても良い。また、映像学習結果記憶手段１０１ａに蓄積される情報は、縦方向に移動するクレジット情報、横方向に移動するクレジット情報など、クレジット情報の種類に応じて分けて求めておき、クレジット情報のタイプに応じて切り替えるようになっていても良い。
【００２５】
クレジット情報探索開始点決定手段１２ａにおいて、探索開始点選択手段１０２は、映像学習結果記憶手段１０１ａから高密度クレジット情報部出現確率情報を読み出し、その情報をもとに探索開始点を決定しクレジット情報区間判定手段１３に出力する。例えば、該高密度クレジット情報部出現確率の分布の確率値が最大となる時間位置（フレーム）を探索開始点として決定する。クレジット情報区間判定手段１３は、該探索開始点にクレジット情報が存在するか否か判定する。
【００２６】
クレジット情報区間判定手段１３から、該探索開始点にクレジット情報が存在しないという判定結果が返却された場合には、探索開始点選択手段１０２は、例えば、一度選択した開始点を除く別の時間位置（フレーム）で高密度クレジット情報部出現確率の分布の確率値が最大となる時間位置（フレーム）を探索開始点として再決定しクレジット情報区間判定手段１３に出力する。この際、一度選択した開始点の近傍の時間位置を除いて決定するようになっていても良い。
【００２７】
なお、クレジット情報探索開始点決定手段１２ａにおいて、探索開始点を、ある特定の時間位置（フレーム）ではなく、時間的な幅を持った探索開始区間とすることも可能である。その場合、例えば、探索開始点選択手段１０２は、該高密度クレジット情報部出現確率の分布に対して一定幅の窓をスライドさせる。そして、各窓枠内で確率値を積算し、その積算値が最大となる窓の領域を探索開始区間として決定する。クレジット情報区間判定手段１３から、該探索開始区間にクレジット情報が存在しないという判定結果が返却された場合には、探索開始点選択手段１０２は、一度選択した窓を除く別の窓において、窓枠内の確率値の積算値が最大となる窓の領域を探索開始区間として再決定しクレジット情報区間判定手段１３に出力する。または、該高密度クレジット情報部出現確率の分布において極大となる点を考え、極大値が最大となる点の時間的な前後一定領域を探索開始区間として決定しても良い。または、出現確率分布の値が一定以上となる連続区間を探索開始区間として決定しても良い。
【００２８】
図４に示すクレジット情報探索開始点決定手段１２ｂは、映像学習結果記憶手段１０１ｂ、探索開始点選択手段１０２及び高密度クレジット情報部出現確率情報算出手段１０３を備えている。探索開始点選択手段１０２の機能は、図３に示す探索開始点選択手段１０２と同様であり、詳細な説明は省略する。
【００２９】
映像学習結果記憶手段１０１ｂには、コンテンツ内クレジット情報出現確率情報とクレジット情報内高文字密度部出現確率情報とが記憶される。コンテンツ内クレジット情報出現確率情報は、クレジット情報が表示され始める時間位置及びクレジット情報の表示が終わる時間位置を多数の番組において視認等で取得することによって推定される。コンテンツ内クレジット情報出現確率情報は、クレジット情報の特定の位置を表す時点の出現確率を示す情報であり、例えば、クレジット情報の開始点を用いて求めることが出来る。開始点の代わりに、終了点や中央点等、あらかじめ定めた任意の点を用いても良い。クレジット情報内高文字密度部出現確率情報は、クレジット情報が表示されている区間における文字密度変化を多数の番組において視認等で取得することによって推定される。クレジット情報内高文字密度部出現確率情報は、クレジット表示区間内で文字が高密度に表示される点の出現する確率を示す情報であり、これも多数の番組データから取得できる。クレジット情報を表示している時間区間の長さ（連続する複数フレームで構成される一塊のクレジット情報のフレーム長）が異なる場合には、クレジット情報の長さを正規化して求めれば良い。クレジットの正規化とは、例えば、番組データごとに長さが異なるクレジット情報のクレジット長を単位時間長にマッピングして表現すれば良い。また、縦方向に移動するクレジット情報、横方向に移動するクレジット情報など、クレジット情報の種類に応じて分けて求めておき、クレジット情報のタイプに応じて切り替えるようになっていても良い。
【００３０】
高密度クレジット情報部出現確率情報算出手段１０３は、映像学習結果記憶手段１０１ｂからコンテンツ内クレジット情報出現確率情報及びクレジット情報内高文字密度部出現確率情報を読み出し、例えば、コンテンツ内クレジット情報出現確率に対しクレジット情報内高文字密度部出現確率を窓関数として重ね合わせを行うことにより、高密度クレジット情報部出現確率情報を算出する。また、高密度クレジット情報部出現確率情報算出手段１０３は、映像学習結果記憶手段１０１ｂからコンテンツ内クレジット情報出現確率情報のみを読み出し、クレジット情報内高文字密度部出現確率はクレジット情報表示区間の中央部付近がピークとなる分布と考え、高密度クレジット情報部出現確率情報を算出しても良い。
【００３１】
次に、クレジット情報区間判定手段１３について詳述する。図５は、クレジット情報区間判定手段の構成例を表すブロック図である。図５に示すクレジット情報区間判定手段１３は、高信頼度クレジット情報表示区間検出手段２０１及びクレジット情報表示区間開始点／終了点検出手段２０２を備えている。
【００３２】
高信頼度クレジット情報表示区間検出手段２０１は、入力手段１１から映像データを、クレジット情報探索開始点決定手段１２から探索開始点情報をそれぞれ入力する。高信頼度クレジット情報表示区間検出手段２０１は、探索開始点を含む一定の時間幅を持つ解析窓を考え、この解析窓内のフレームを用いてクレジット情報の有無の判定を行う。この判定で、クレジット情報が存在していると判定される場合には、高信頼度クレジット情報の探索処理に移る。高信頼度クレジット情報の探索処理は、クレジット情報が存在すると高信頼度で判定される区間を決定する処理である。
【００３３】
具体的には、解析窓の位置から考えて、時間的に前方向・後方向にそれぞれ解析窓を逐次スライドさせ、各解析窓の位置においてクレジット情報の有無の判定をさらに行う。この時、クレジット情報が表示されていると判定される解析窓を連結した区間は高信頼度でクレジット情報が表示されている区間であると考え、高信頼度クレジット表示区間情報として出力する。最初に判定を行う解析窓の位置にクレジット情報が存在しないと判定した場合には、高信頼度クレジット情報表示区間検出手段２０１は、その判定結果をクレジット情報探索開始点決定手段１２に対して返却する。
【００３４】
高信頼度クレジット情報表示区間検出手段２０１は、クレジット情報探索開始点決定手段１２から入力する情報が、特定の時間位置（フレーム）を示す探索開始点ではなく時間的な幅を持った探索開始区間である場合には、探索開始区間内に実際にクレジット情報が存在して、有効な探索開始点が存在するかどうか調べる。クレジット情報の有無の判定方法は、探索開始点が入力される場合と同様である。有効な探索開始点が見つかった時点で、高信頼度クレジット情報探索処理に移る。その後の処理は、クレジット情報探索開始点決定手段１２から探索開始点を入力した場合と同様の処理を行う。探索開始区間内に有効な探索開始点が存在しないと判定した場合には、高信頼度クレジット情報表示区間検出手段２０１は、その判定結果をクレジット情報探索開始点決定手段１２に返却する。
【００３５】
なお、高信頼度クレジット情報表示区間検出手段２０１が行うクレジット情報の探索処理において、クレジット情報が存在しているか否かの判定は、例えば、探索処理対象となっている解析窓内のフレームに関してテロップ検出処理を行った場合の、テロップが表示されていると判定されるフレームの連続性やフレーム数の割合等を利用することによって実現可能である。ここでは従来の様々なテロップ検出手法を利用することが可能である。この時、解析窓を配置する区間は、もともと高文字密度を仮定して決定されている区間であることを考慮し、精緻な検出でなくても良い。高信頼度クレジット情報表示区間検出手段２０１のより詳細な説明は後述する。
【００３６】
クレジット情報表示区間開始点／終了点検出手段２０２は、入力手段１１から映像データを、高信頼度クレジット情報表示区間検出手段２０１から高信頼度クレジット表示区間情報をそれぞれ入力する。クレジット情報表示区間開始点／終了点検出手段２０２は、該映像データにおける高信頼度クレジット区間の前後方向に探索処理を広げていくことにより、クレジット情報表示区間の開始点及び終了点を検出し、その結果得られるクレジット情報表示区間に関する情報を出力する。例えば、該区間の開始フレーム番号と終了フレーム番号のみを出力する。クレジット情報表示区間開始点／終了点検出手段２０２のより詳細な説明は後述する。
【００３７】
図６は、高信頼度クレジット情報表示区間検出手段の構成例を示すブロック図である。図６を参照して、高信頼度クレジット情報表示区間検出手段２０１について詳細に説明する。
【００３８】
高信頼度クレジット情報表示区間検出手段２０１は、処理対象フレーム制御手段２００１、テロップ表示フレーム検出手段２００２及びクレジット情報有無判定手段２００３を備えている。
【００３９】
処理対象フレーム制御手段２００１は、クレジット情報探索開始点決定手段１２から特定の時間位置（フレーム）を示す探索開始点または時間的な幅を持った探索開始区間を入力する。クレジット情報探索開始点決定手段１２から入力する情報が特定の時間位置（フレーム）を示す探索開始点である場合には、処理対象フレーム制御手段２００１は、クレジット情報の表示区間はその他のテロップ表示区間と比べて長いことが多いという性質を利用して、探索開始点を含む区間における一定幅のフレーム解析窓を決定する。処理対象フレーム制御手段２００１は、決定した解析窓内に含まれるフレームの中からテロップ検出処理するフレームを選択し、そのフレーム番号をテロップ表示フレーム検出手段２００２に出力する。
【００４０】
処理対象フレーム制御手段２００１がクレジット情報探索開始点決定手段１２から入力する情報が時間的な幅を持った探索開始区間である場合には、処理対象フレーム制御手段２００１は、該探索開始区間内の各フレーム位置を探索開始点とした時に、解析窓内に含まれるフレームの集合からなるフレーム群の中からテロップ検出処理するフレームを選択し、そのフレーム番号をテロップ表示フレーム検出手段２００２に出力する。処理するフレームは、例えば、該対象フレーム群の先頭フレームから時系列に選択しても良いし、最終フレームから時間的に逆方向にフレームを選択しても良い。
【００４１】
テロップ表示フレーム検出手段２００２は、入力手段１１から映像データを、処理対象フレーム制御手段２００１からフレーム番号を入力する。テロップ表示フレーム検出手段２００２は、入力した映像データにおいて、入力したフレーム番号のフレームにテロップが表示されているか判定し、その結果をクレジット情報有無判定手段２００３に出力する。例えば、テロップ表示フレーム検出手段２００２は、まず、該映像データの該フレーム番号のフレーム画像を生成し、該映像データが圧縮映像である場合には該フレーム番号のデータを復号し、フレーム画像の構築を行う。その後、生成されたフレーム画像に対し、２次元のラプラシアンフィルタやCanny フィルタ等のエッジ検出フィルタを適用し、フレームエッジ画像を生成する。テロップが存在する箇所からはエッジ成分が多く算出されるため、ここで生成されるフレームエッジ画像は、テロップの存在候補領域を示す画像となる。該フレームエッジ画像を利用することで、テロップ表示フレームが検出される。なお、このテロップ表示フレームの検出において、特許文献２に記載された映像中字幕文字検出方法で使用されているエッジペア特徴量等を使用することも可能であり、検出処理の開始点から時間的にどちらの方向に処理を行っても良い。
【００４２】
クレジット情報有無判定手段２００３は、テロップ表示フレーム検出手段２００２からテロップ表示フレーム検出結果を入力し、処理対象フレーム制御手段２００１で設定された各フレームに対する解析窓内に、テロップ表示フレームが一定の割合以上連続して出現するか、または一定の割合以上のテロップ表示フレームが存在するか、などを利用して、クレジット情報の有無を判定する。クレジット情報有無判定手段２００３は、その判定結果をクレジット情報有無判定結果として処理対象フレーム制御手段２００１に出力する。
【００４３】
クレジット情報探索開始点決定手段１２から入力した探索開始点または探索開始区間のフレームに関してクレジット情報探索処理を行った結果、クレジット情報有無判定手段２００３からクレジット情報が存在するという判定結果が処理対象フレーム制御手段２００１に出力される場合には、探索開始点または探索開始区間のフレームの位置から考えて、時間的に前方向または後方向にそれぞれ解析窓を逐次スライドさせ、クレジット情報有無判定手段２００３は、各解析窓の位置においてクレジット情報の有無判定をさらに行う。そして、クレジット情報が存在しないという判定結果が処理対象フレーム制御手段２００１に出力された時点で、処理対象フレーム制御手段２００１は、それまでにクレジット情報が表示されていると判定された解析窓を連結した区間を高信頼度クレジット表示区間情報としてクレジット情報表示区間開始点／終了点検出手段２０２に出力する。
【００４４】
一方、クレジット情報探索開始点決定手段１２から入力した探索開始点または探索開始区間内のフレームに関してクレジット情報探索処理を行った結果、クレジット情報有無判定手段２００３からクレジット情報が存在しないという判定結果が処理対象フレーム制御手段２００１に出力された場合には、処理対象フレーム制御手段２００１は、その判定結果をクレジット情報有無判定結果としてクレジット情報探索開始点決定手段１２に対して通知する。
【００４５】
図７は、高信頼度クレジット情報表示区間検出手段の動作例を示すフローチャートである。図７を参照して、高信頼度クレジット情報表示区間検出手段２０１の動作例について説明する。図７は、図６に示す処理対象フレーム制御手段２００１に対し、特定の時間位置（フレーム）を示す探索開始点が入力された場合の高信頼度クレジット情報表示区間検出手段２０１の動作例を示している。
【００４６】
まず、処理対象フレーム制御手段２００１は、探索開始点（探索開始フレーム番号：フレームＩ０とする）を取得し（ステップＳ２００１）、探索開始点を中心にして窓幅が２ｗ＋１であるフレーム解析窓を設定し、その解析窓内を探索区間（フレームＩ１〜Ｉ２とする）として設定する（ステップＳ２００２）。処理対象フレーム制御手段２００１は、ステップＳ２００２において設定した探索区間の先頭フレーム（フレームＩ１）を最初の処理対象フレームとして設定する（ステップＳ２００３）。テロップ表示フレーム検出手段２００２は、該処理対象フレームに対するテロップ検出処理を行う（ステップＳ２００４）。ステップＳ２００４の処理は、フレームにテロップが表示されているか判定し、テロップが表示されている場合にはｆ（Ｉ）＝１とし、テロップが表示されていない場合にはｆ（Ｉ）＝０とする処理である。
【００４７】
テロップ表示フレーム検出手段２００２は、処理対象フレームをずらして同様の処理を行う（ステップＳ２００５）。なお、図７において、処理対象フレームをずらすことが「Ｉ＋＋」として示されている。探索区間の終了フレームまでテロップ検出処理が終了すると（ステップＳ２００６）、すなわち、Ｉ≧Ｉ２を満たす場合には、クレジット情報有無判定手段２００３は、探索区間内でテロップ検出フレームが一定の割合（Ｎｔｈとする）を超えて含まれているか否か調べることによって、クレジット情報の有無を判定する（ステップＳ２００７）。判定の結果、クレジット情報が存在しない場合には、その結果をクレジット情報探索開始点決定手段１２に通知する（ステップＳ２００８）。クレジット情報が存在すると判定された場合には、高信頼度でクレジット情報が表示されている区間の開始点（Ｉｓｔａｒｔ）及び終了点（Ｉｅｎｄ）の検出処理を行う（ステップＳ２００９）。そして、検出処理によって得られる高信頼度クレジット表示区間情報をクレジット情報表示区間開始点／終了点検出手段２０２に出力する（ステップＳ２０１０）。ステップＳ２００９の動作例のより詳細な説明は後述する。なお、ステップＳ２００１において、時間的な幅を持った探索開始区間が入力される場合は、該探索開始区間内のある一点をステップＳ２００２〜Ｓ２０１０の処理における探索開始点と考えることにより、ステップＳ２００２〜Ｓ２０１０の処理フローをそのまま適用可能である。
【００４８】
図８は、図７のステップＳ２００９における処理のうち、高信頼度クレジット情報表示区間の開始点を決定する処理を示すフローチャートである。
【００４９】
まず、処理対象フレーム制御手段２００１は、図７のステップＳ２００２において設定したフレーム解析窓を時間的に前方向にスライドさせることにより、クレジット情報の有無判定に用いる区間を変更する（ステップＳ２０１１）。そして、テロップ表示フレーム検出手段２００２は、解析窓（フレームＪ１〜Ｊ２とする）内に新たに加わったフレーム（フレームＪ１）に関してテロップ表示フレーム検出処理を行う（ステップＳ２００３）。クレジット情報有無判定手段２００３は、解析窓内でテロップ検出フレームが一定の割合を超えて含まれているかを調べることによって、クレジット情報の有無を判定する（ステップＳ２００７）。クレジット情報が存在すると判定された場合には、さらにフレーム解析窓を前方向にスライドさせ（ステップＳ２０１２）、上記処理を行う。なお、図８では、フレーム解析窓を前方向にスライドさせることが、「Ｊ１−−」および「Ｊ２−−」として示されている。クレジット情報が存在しないと判定された場合には、その時のフレーム解析窓の先頭フレームを、高信頼度クレジット表示区間の開始点（Ｉｓｔａｒｔ）として決定する。ここでは先頭フレームを開始点とするが、先頭フレームから一定フレーム数だけずれたフレームを開始点としても良い。例えば、信頼度を重視して、先頭フレームＪ１に僅かなマージンＭを取り、開始点をＪ１＋Ｍとしても良い。
【００５０】
図９は、図７のステップＳ２００９における処理のうち、高信頼度クレジット情報表示区間の終了点を決定する処理を示すフローチャートである。
【００５１】
まず、処理対象フレーム制御手段２００１は、図７のステップＳ２００２において設定したフレーム解析窓を時間的に後方向にスライドさせることにより、クレジット情報の有無判定に用いる区間を変更する（ステップＳ２０１４）。そして、テロップ表示フレーム検出手段２００２は、解析窓内に新たに加わったフレーム（フレームＫ２）に関してテロップ表示フレーム検出処理を行う（ステップＳ２００３）。クレジット情報有無判定手段２００３は、解析窓内でテロップ検出フレームが一定の割合を超えて含まれているかを調べることによって、クレジット情報の有無を判定する（ステップＳ２００７）。クレジット情報が存在すると判定された場合には、さらにフレーム解析窓を後方向にスライドさせ（ステップＳ２０１５）、上記処理を行う。なお、図９では、フレーム解析窓を後方向にスライドさせることが、「Ｋ１＋＋」および「Ｋ２＋＋」として示されている。クレジット情報が存在しないと判定された場合には、その時のフレーム解析窓の終了フレームを、高信頼度クレジット表示区間の終了点として決定する。ここでは終了フレームを終了点とするが、終了フレームから一定フレーム数だけずれたフレームを終了点としても良い。例えば、信頼度を重視して、終了フレームＫ２に僅かなマージンＭを取り、終了点をＫ２−Ｍとしても良い。図８及び図９に示される高信頼度クレジット表示区間の開始点及び終了点の決定処理は、どちらを先に行っても良い。
【００５２】
図１０及び図１１は、クレジット情報表示区間開始点／終了点検出手段の構成例を示すブロック図である。図１０及び図１１を参照して、クレジット情報表示区間開始点／終了点検出手段２０２の構成例であるクレジット情報表示区間開始点／終了点検出手段２０２ａ及びクレジット情報表示区間開始点／終了点検出手段２０２ｂを説明する。
【００５３】
図１０に示すクレジット情報表示区間開始点／終了点検出手段２０２ａは、クレジット区間判定制御手段２１０１、高信頼度クレジット区間映像解析手段２１０２、テロップ表示フレーム検出手段２１０３及びクレジット情報有無判定手段２００３を備えている。
【００５４】
クレジット区間判定制御手段２１０１は、高信頼度クレジット情報表示区間検出手段２０１から高信頼度クレジット表示区間情報を入力し、高信頼度クレジット表示区間情報に含まれる高信頼度クレジット区間の開始点及び終了点に隣接するフレームから順に、それぞれ処理対象のフレームとして選択し、そのフレーム番号をテロップ表示フレーム検出手段２１０３に出力していく。ここで、クレジット区間判定制御手段２１０１は、図６に示された処理対象フレーム制御手段２００１がフレーム解析窓を設定する処理と同様に一定幅のフレーム解析窓を設定する。クレジット区間判定制御手段２１０１が設定するフレーム解析窓の窓幅は、処理対象フレーム制御手段２００１が決定するフレーム解析窓の窓幅と同一でもそうでなくても良い。
【００５５】
高信頼度クレジット区間映像解析手段２１０２は、入力手段１１から映像データを、高信頼度クレジット情報表示区間検出手段２０１から高信頼度クレジット区間情報をそれぞれ入力する。高信頼度クレジット区間映像解析手段２１０２は、高信頼度クレジット区間内の映像データを解析して、その解析結果、特にクレジット情報中の文字が共通して持つ性質を利用した解析結果を高信頼度クレジット区間映像解析結果としてテロップ表示フレーム検出手段２１０３に出力する。これは、テロップ表示フレーム検出手段２１０３における検出精度向上に寄与する情報を抽出するためである。
【００５６】
高信頼度クレジット区間映像解析手段２１０２が解析して得られる情報には、例えば、文字移動量情報（移動するタイプのクレジット情報限定）、文字内の色・縁の有無・縁の色・文字のストローク幅・文字の縦横比・文字の大きさ・文字のレイアウト等といった文字フォント情報、または文字が表示される領域情報など、様々な物が考えられる。
【００５７】
このうち、例えば、クレジット情報が移動するタイプのクレジット情報である場合には、高信頼度クレジット区間映像解析手段２１０２は、フレーム毎に算出可能なフィールド間文字移動量を該高信頼度クレジット区間内の各フレーム画像で算出する。クレジット情報中の文字は一般に一定方向に一定速度で移動する性質を持つことを利用すると、ここで算出されるフィールド間文字移動量の該高信頼度クレジット区間内における最頻値は、クレジット情報中の文字の移動速度を示す数値となる。
【００５８】
また、文字フォント、特に文字の色に着目する場合には、具体的には、高信頼度クレジット区間映像解析手段２１０２は、まず該高信頼度クレジット区間内のフレームエッジ画像を算出し、連続するフレームでエッジが高密度で出現するエリアをフレーム内高確度文字表示領域として決定する。次に、該フレーム内高確度文字表示領域において、エッジが抽出される画素の色情報を取得する。クレジット情報中で使用される文字の色は同一であることが多い性質を考慮すると、ここで取得される色情報は、クレジット情報中の文字色を多く含んだ情報となる。文字の色以外の文字フォント情報に着目する場合にも、高信頼度クレジット区間映像解析手段２１０２は、文字色に着目する場合と同様に、まずフレーム内高確度文字表示領域を決定することにより取得することが可能である。
【００５９】
文字が表示される領域に着目する場合には、クレジット情報が画面上の特定の領域に一定時間継続して表示される性質を利用し、さらに、高信頼度クレジット区間全体におけるフレーム内高確度文字表示領域の連続性を利用して、高信頼度クレジット区間映像解析手段２１０２は、クレジット情報中の文字が表示されている確率が高い領域を決定する。具体的には、一定幅の解析窓を考え、解析窓内のフレームを利用してフレーム内高確度文字表示領域を算出した後、解析窓をスライドして、同様にフレーム内高確度文字表示領域の算出を行う。高信頼度クレジット区間映像解析手段２１０２は、これを高信頼度クレジット区間全体に対して行う。各解析窓の位置で算出されたフレーム内高確度文字表示領域において最も重なりが大きい領域は、高い確率でクレジット情報中の文字が表示されていると考えられる領域になる。
【００６０】
テロップ表示フレーム検出手段２１０３は、以下に示す相違点以外は、図６に示されたテロップ表示フレーム検出手段２００２が行うテロップ検出処理と同様のテロップ検出処理を行う。相違点は、テロップ表示フレーム検出手段２１０３が、高信頼度クレジット区間映像解析手段２１０２から高信頼度クレジット区間の映像解析結果を入力し、それを利用してテロップ検出処理を行うことである。
【００６１】
例えば、テロップ表示フレーム検出手段２１０３は、高信頼度クレジット区間映像解析手段２１０２から高信頼度クレジット区間の映像解析結果として文字移動量に関する情報を入力する場合には、該文字移動量に相当する動き補償を行うことによるフレーム画像内のエッジ数変化を解析することによってテロップ検出処理を行う。また、文字色に関する情報を入力する場合には、フレーム内高確度文字表示領域に関する情報もあわせて取得し、該フレーム内高確度文字表示領域において該文字色が含有する割合を算出することによってテロップ検出処理を行う。また、文字表示領域に関する情報を入力する場合には、フレーム画像内の文字表示領域に対する重み付けを行った上でテロップ検出処理を行う。
【００６２】
クレジット情報有無判定手段２００３は、クレジット区間判定制御手段２１０１で設定された解析窓内に関して、テロップ表示フレームが一定の割合以上連続して出現するか、または一定の割合以上のテロップ表示フレームが存在するか、などを利用して、クレジット情報の有無を判定する。クレジット情報有無判定手段２００３は、判定結果をクレジット情報有無判定結果としてクレジット区間判定制御手段２１０１に対して出力する。この機能は、図６におけるクレジット情報有無判定手段２００３が有する機能と同じである。
【００６３】
ここで、クレジット情報表示区間開始点／終了点検出手段２０２ａは、時間的に前方向または後ろ方向へのクレジット情報の探索処理を行うことができる。時間的に前方向への探索を行う場合には、クレジット情報表示区間開始点／終了点検出手段２０２ａは、その先頭フレームが図８のステップＳ２０１３で決定されてクレジット情報表示区間開始点／終了点検出手段２０２ａに入力された高信頼度クレジット表示区間の開始点の１フレーム前となるような位置から解析窓を用いた探索を開始する。時間的に後方向への探索を行う場合には、その終了フレームが図９のステップＳ２０１６で決定されてクレジット情報表示区間開始点／終了点検出手段２０２ａに入力された高信頼度クレジット表示区間の終了点の１フレーム後となるような位置から、解析窓を用いた探索を開始する。これらの解析窓内のフレームに関してクレジット情報の有無判定を行った結果、クレジット情報有無判定手段２００３から、これらの解析窓内にクレジット情報が存在するという判定結果が返却される場合、解析窓を逐次スライドさせ、各解析窓の位置においてクレジット情報の有無判定処理をさらに行う。そして、クレジット情報が存在しないという判定結果が返却された時点で、それまでにクレジット情報が表示されていると判定された解析窓を連結した区間をクレジット情報区間として出力手段１４に出力する。
【００６４】
図１１に示すクレジット情報表示区間開始点／終了点検出手段２０２ｂは、高信頼度クレジット区間前後近接区間パラメータ再決定手段２１０４、テロップ表示フレーム検出手段２１０５及びクレジット情報有無判定手段２００３を備えている。
【００６５】
高信頼度クレジット区間前後近接区間パラメータ再決定手段２１０４は、図１０に示されたクレジット区間判定制御手段２１０１が有する機能を含み、高信頼度クレジット情報表示区間検出手段２０１から高信頼度クレジット区間情報を入力し、高信頼度クレジット区間の前後に近接する区間に関して、処理対象となるフレームとパラメータ値を再決定する。具体的には、高信頼度クレジット情報表示区間検出手段２０１中での処理よりもテロップ表示フレームが検出しやすくなる方向にエッジ検出等のパラメータ値を変化させ、変化させたパラメータ値を処理対象となるフレーム番号情報と共にテロップ表示フレーム検出手段２１０５に出力する。
【００６６】
テロップ表示フレーム検出手段２１０５は、高信頼度クレジット区間前後近接区間パラメータ再決定手段２１０４で再決定されたパラメータ値を利用してテロップ表示フレームの検出処理を行う点を除き、図６に示されたテロップ表示フレーム検出手段２００２が行うテロップ検出処理と同様のテロップ検出処理を行うので、詳細な説明は省略する。また、クレジット情報有無判定手段２００３は、図１０に示されたクレジット情報有無判定手段２００３が行うクレジット情報の有無の判定処理と同様の判定処理を行う。
【００６７】
第１の実施形態におけるクレジット情報検出では、多数の番組を利用して、映像データの先頭フレームからではなくクレジット情報が存在する確率の高い領域から処理を開始できるため、クレジット情報を検出する処理の高速化が可能となる。また、高信頼度でクレジット情報が表示されていると考えられる区間を検出した後、さらに探索範囲を広げ、クレジット情報表示区間の開始点及び終了点を検出するという２段階の処理を行うことによって、クレジット情報区間検出処理の高精度化が可能になる。
【００６８】
実施形態２．
本発明によるクレジット情報区間検出装置の第２の実施形態（実施形態２）について図面を参照して説明する。
【００６９】
図１２は、本発明によるクレジット情報区間検出装置の第２の実施形態の概略構成を示すブロック図である。第２の実施形態の概略構成は、クレジット情報探索開始点決定手段２２に対して入力手段２１から映像データが入力される点が第１の実施形態と異なる。その他の構成要素については、図１に示された第１の実施形態の概略構成と同様であり、詳細な説明は省略する。クレジット情報探索開始点決定手段２２は、映像学習結果を用いるのではなく、入力手段２１から映像データを直接入力し、該映像データを利用して探索開始点を決定する。クレジット情報探索開始点決定手段２２のより詳細な説明は後述する。
【００７０】
図１３及び図１４は、図１２に示されたクレジット情報探索開始点決定手段の構成例を示すブロック図である。図１３及び図１４を参照して、クレジット情報探索開始点決定手段２２の構成例であるクレジット情報探索開始点決定手段２２ａ及びクレジット情報探索開始点決定手段２２ｂを説明する。
【００７１】
図１３に示すクレジット情報探索開始点決定手段２２ａは、フレーム画像生成手段１１１、フレームエッジ画像生成手段１１２、コンテンツ内エッジ数分布解析手段１１３及び探索開始点選択手段１０２を備えている。探索開始点選択手段１０２は、第１の実施形態の探索開始点選択手段１０２と同様であり、詳細な説明は省略する。
【００７２】
フレーム画像生成手段１１１は、入力手段２１から映像データを入力し、フレーム画像を生成する。映像データが圧縮映像である場合には、該圧縮映像を復号してフレーム画像の構築を行う。映像データが既に復号化された非圧縮映像である場合には、抽出によりフレーム画像の構築を行う。この時、処理対象とするフレームを、毎フレームではなく一定の間隔置きとすることが望ましい。
【００７３】
フレームエッジ画像生成手段１１２は、フレーム画像生成手段１１１からフレーム画像を入力し、該フレーム画像に対し２次元のラプラシアンフィルタやCanny フィルタ等のエッジ検出フィルタを使用し、フレームエッジ画像を生成する。
【００７４】
コンテンツ内エッジ数分布解析手段１１３は、フレームエッジ画像生成手段１１２からフレームエッジ画像におけるエッジ数を、フレーム画像生成手段１１１から処理対象であるフレーム画像のフレーム番号をそれぞれ入力し、高密度クレジット情報部出現確率情報を算出する。この確率は、一定フレーム間隔中のエッジ数が密になっている領域においては、クレジット情報中で文字密度が高い領域であると判定されるために高い値を持ち、逆にエッジ数が疎になっている領域においては低い値を持つ。
【００７５】
図１４に示すクレジット情報探索開始点決定手段２２ｂは、ヘッダ情報抽出手段１２１、ヘッダ情報解析手段１２２及び探索開始点選択手段１０２を備えている。探索開始点選択手段１０２は、第１の実施形態の探索開始点選択手段１０２と同様であり、詳細な説明は省略する。
【００７６】
ヘッダ情報抽出手段１２１は、入力手段２１から入力される圧縮映像中のヘッダ情報を抽出する。例えば、ＭＰＥＧ形式で圧縮された映像が入力される場合には、ヘッダ情報中にはマクロブロック毎に決定される動きベクトルの情報が格納されており、これをヘッダ情報抽出手段１２１で取得する。また、マクロブロック単位で使用されたＤＣＴのモード（フレームＤＣＴかフィールドＤＣＴか）に関する情報も格納されており、この情報を取得しても良い。
【００７７】
ヘッダ情報解析手段１２２は、ヘッダ情報抽出手段１２１からヘッダ情報を入力し、高密度クレジット情報部出現確率情報を算出する。ヘッダ情報解析手段１２２のより詳細な説明は後述する。
【００７８】
図１５及び図１６は、ヘッダ情報解析手段の構成例を示すブロック図である。図１５及び図１６を参照して、ヘッダ情報解析手段１２２の構成例であるヘッダ情報解析手段１２２ａ及びヘッダ情報解析手段１２２ｂを説明する。
【００７９】
図１５に示すヘッダ情報解析手段１２２ａは、フレーム画像内動きベクトル解析手段１２２１で構成することが可能である。ただし、この構成が可能であるのは、移動するタイプのクレジット情報である場合のみである。このような構成の場合には、フレーム画像内動きベクトル解析手段１２２１は、ヘッダ情報抽出手段１２１から動きベクトル情報及びフレーム番号を抽出し、それらを使用して高密度クレジット情報部出現確率情報を算出する。この確率は、フレーム画像内で動きベクトルの向きが一致する度合いが大きく、かつ一定フレーム間隔中でそれらの向きが大きく変化しない領域においては、クレジット情報中で文字密度が高い領域が存在する領域であると判定されるために高い値を持つ。逆に、フレーム画像内で動きベクトルの向きが一致する度合いが小さい領域においては小さい値を持つ。これは、移動するタイプのクレジット情報の場合、その移動方向及び移動速度は一定であるというクレジット情報の性質による。
【００８０】
図１６に示すヘッダ情報解析手段１２２ｂは、フレーム画像内高周波成分有無解析手段１２２２で構成することが可能である。ただし、この構成が可能であるのも、移動するタイプのクレジット情報である場合のみである。このような構成の場合には、フレーム画像内高周波成分有無解析手段１２２２は、ヘッダ情報抽出手段１２１から選択されたＤＣＴモードに関する情報及びフレーム番号を抽出し、それらを使用して高密度クレジット情報部出現確率情報を算出する。この確率は、フレーム画像内でフィールドＤＣＴが多数選択され、かつ一定フレーム間隔中でその傾向が継続している場合には、その領域においては、クレジット情報中で文字密度が高い領域であると判定されるために高い値を持つ。逆に、フレームＤＣＴが多数選択されている領域においては小さい値を持つ。これは、クレジット情報が重畳されている区間においては、縦方向に１画素ずつ画素値の高低が繰り返される領域がフレーム画像内に多く存在するため、高周波成分が大きくなり、フィールドＤＣＴが選択されやすくなることによる。
【００８１】
第２の実施形態におけるクレジット情報検出では、まず、クレジット情報が存在する確率の高い領域を粗く検出した後、その領域から検出処理を開始するため、映像データの先頭フレームから処理をする必要がなく、クレジット情報を検出する処理の高速化が可能となる。また、高信頼度でクレジット情報が表示されていると考えられる区間を検出した後、さらにそこから探索範囲を広げ、クレジット情報表示区間の開始点及び終了点を検出するという２段階の処理を行うことによって、クレジット情報区間検出処理の高精度化が可能になる。
【００８２】
図１７は、本発明によるクレジット情報区間検出装置の主要部を示すブロック図である。図１７に示すように、クレジット情報区間検出装置１は、映像コンテンツの映像データを入力する入力手段２（例えば、図１に示す入力手段１１に相当）と、クレジット表示区間内において文字が高密度に表示されるクレジット情報の高文字密度部が存在する確率に基づいて、クレジット情報の探索処理を開始する時間位置を示す開始点を決定する探索開始点決定手段３（例えば、図１に示すクレジット情報探索開始点決定手段１２に相当）と、開始点に対してクレジット情報の探索処理を行った後、その前後に探索処理を行う区間を広げていくことにより、クレジット情報の表示区間を判定する表示区間判定手段４（例えば、図１に示すクレジット情報区間判定手段１３に相当）とを備えたことを特徴とする。このようなクレジット情報区間検出装置では、クレジット情報の中の文字列密度が高くクレジット情報を検出する可能性が高い高文字密度部から探索してクレジット情報の表示区間を判定し、表示区間におけるクレジット情報の探索を行うので、クレジット情報の検出速度を高速化し、クレジット情報の検出処理制度を向上させることができる。
【００８３】
また、上記の各実施形態のクレジット情報区間検出装置には、以下の（１）〜（１６）に示すようなクレジット情報区間検出装置も開示されている。
【００８４】
（１）表示区間判定手段が、開始点におけるクレジット情報の探索処理で、クレジット情報が存在しないと判定した場合には、クレジット情報が存在する時間位置が見つかるまで探索処理の開始点を再決定するよう、探索開始点決定手段に通知を行い、再決定された探索開始点でクレジット情報が存在すると判定された位置から探索処理を開始することにより、クレジット情報の表示区間を判定するクレジット情報区間検出装置（例えば、ステップＳ１０２〜Ｓ１０４の動作によって実現される。）。そのように構成されたクレジット情報区間検出装置では、クレジット情報の検出速度を高速化させることができる。
【００８５】
（２）クレジット情報の高文字密度部が存在する確率を、複数の映像コンテンツを学習することによって求め、求めた確率情報を高密度クレジット情報部出現確率情報として記憶する学習結果記憶手段（例えば、図３に示す映像学習結果記憶手段１０１に相当）を備え、探索開始点決定手段が、学習結果記憶手段が記憶する高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する（例えば、第１の実施形態のクレジット情報探索開始点決定手段１２ａによって実現される。）クレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、予め学習して蓄積したクレジット情報の特性に関する情報に基づいてクレジット情報の探索開始点を探索して決定するので、クレジット情報の検出速度を高速化することができる。
【００８６】
（３）学習結果記憶手段（例えば、図４に示す映像学習結果記憶手段１０１ｂに相当）が、映像コンテンツ内でクレジット情報が表示される区間を学習することにより算出されるコンテンツ内クレジット情報出現確率情報と、クレジット情報が表示される区間中の文字密度を学習することにより算出されるクレジット情報内高文字密度部出現確率情報とを記憶し、コンテンツ内クレジット情報出現確率情報およびクレジット情報内高文字密度部出現確率情報をもとに高密度クレジット情報部出現確率情報を算出する出現確率情報算出手段を備え、探索開始点決定手段が、出現確率情報算出手段が算出する高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定する（例えば、第１の実施形態のクレジット情報探索開始点決定手段１２ｂによって実現される。）クレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、予め学習して蓄積したクレジット情報の特性に関する情報に基づいてクレジット情報の探索開始点を探索して決定するので、クレジット情報の検出速度を高速化することができる。
【００８７】
（４）学習結果記憶手段が、中央部付近が高くなる仮定の分布をクレジット情報内高文字密度部出現確率情報として記憶するクレジット情報区間検出装置（例えば、第１の実施形態の高密度クレジット情報部出現確率情報算出手段１０３における処理の一例に示されている。）。そのように構成されたクレジット情報区間検出装置では、クレジット情報内高文字密度部出現確率情報を読み出して算出される高密度クレジット情報部出現確率情報の算出処理における速度を向上させることができる。
【００８８】
（５）探索開始点決定手段が、入力される映像コンテンツの映像データを解析して得られる特徴量を利用してクレジット情報の高文字密度部が存在する確率を推定し、クレジット情報の探索処理を開始する開始点を決定する（例えば、実施形態２のクレジット情報探索開始点決定手段２２によって実現される。）クレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、例えば、クレジット情報が存在する確率の高い領域を粗く検出した後、その領域から検出処理を開始することによって、映像データの先頭フレームから処理をする必要がなく、クレジット情報を検出する処理の高速化を実現できる。
【００８９】
（６）特徴量がエッジ数分布であり、探索開始点決定手段が、入力される映像データからフレーム画像を生成し（例えば、フレーム画像生成手段１１１に相当）、生成したフレーム画像に対してエッジ成分を算出してフレームエッジ画像を生成し（例えば、フレームエッジ画像生成手段１１２に相当）、フレームエッジ画像のエッジ数のコンテンツ内における分布を解析して高密度クレジット情報部出現確率情報を算出し（例えば、コンテンツ内エッジ数分布解析手段１１３に相当）、算出した高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定するクレジット情報区間検出装置（例えば、第２の実施形態のクレジット情報探索開始点決定手段２２ａによって実現される。）。そのように構成されたクレジット情報区間検出装置では、エッジ数の分析を利用することによって、クレジット情報探索処理開始点を決定する処理精度を向上でき、決定した開始点にクレジット情報が存在する可能性を向上させることができる。
【００９０】
（７）特徴量がヘッダ情報から得られる統計量であり、映像データが圧縮されたデータであり、探索開始点決定手段が、入力される圧縮された映像データに含まれるヘッダ情報を抽出し（例えば、ヘッダ情報抽出手段１２１に相当）、抽出されたヘッダ情報を解析して高密度クレジット情報部出現確率情報を算出し（例えば、ヘッダ情報抽出手段１２２に相当）、算出した高密度クレジット情報部出現確率情報に基づいて、クレジット情報の探索処理を開始する開始点を決定するクレジット情報区間検出装置（例えば、第２の実施形態のクレジット情報探索開始点決定手段２２ｂによって実現される。）。そのように構成されたクレジット情報区間検出装置では、ヘッダ情報を利用することによって、クレジット情報探索処理開始点を決定する処理精度を向上でき、決定した開始点にクレジット情報が存在する可能性を向上させることができる。
【００９１】
（８）統計量がマクロブロック毎に決定される動きベクトルであり、探索開始点決定手段が、フレーム画像内で動きベクトルの向きの一致する度合いを解析する（例えば、フレーム画像内動きベクトル解析手段１２２１に相当）ことによって、高密度クレジット情報部出現確率情報を算出するクレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、フレーム画像内における動きベクトルの向きが一致する度合いを解析することによって、クレジット情報探索処理開始点を決定する処理精度を向上でき、決定した開始点にクレジット情報が存在する可能性を向上させることができる。
【００９２】
（９）統計量がマクロブロック毎に決定されるＤＣＴのモードであり、探索開始点決定手段が、フレーム画像内でフィールドＤＣＴが選択される頻度または分布を利用して高周波成分の有無を解析する（例えば、フレーム画像内高周波成分有無解析手段１２２２に相当）ことによって、高密度クレジット情報部出現確率情報を算出するクレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、フレーム画像内の高周波成分の有無を解析することによって、クレジット情報探索処理開始点を決定する処理精度を向上でき、決定した開始点にクレジット情報が存在する可能性を向上させることができる。
【００９３】
（１０）表示区間判定手段が、クレジット情報を高い信頼度で検出可能な区間を高信頼度クレジット区間として検出し、高信頼度クレジット区間の前後にクレジット情報の探索処理を行う区間を広げて行きクレジット情報表示区間の開始点及び終了点を検出するクレジット情報区間検出装置（例えば、クレジット情報表示区間開始点／終了点検出手段２０２によって実現される。）。そのように構成されたクレジット情報区間検出装置では、高信頼度でクレジット情報が表示されていると考えられる区間を検出した後、さらに探索範囲を広げ、クレジット情報表示区間の開始点及び終了点を検出するという２段階の処理を行うことによって、クレジット情報区間検出処理の精度を向上させることができる。
【００９４】
（１１）表示区間判定手段が、入力手段から入力された映像データに対して、クレジット情報表示区間の開始点の候補点についてテロップ表示フレームの検出処理を行い、クレジット情報表示区間はその他のテロップ表示区間と比べて長いことが多い性質を利用して、テロップ表示フレームの連続性を判定することにより、高信頼度クレジット区間情報を算出するクレジット情報区間検出装置（例えば、ステップＳ２００１〜Ｓ２０１０の動作によって実現される。）。そのように構成されたクレジット情報区間検出装置では、テロップ表示フレームの連続性から高信頼度でクレジット情報が存在する区間についての情報を算出するので、クレジット情報区間検出処理の効率を向上させることができる。
【００９５】
（１２）表示区間判定手段が、高信頼度クレジット区間の前後近接区間について、テロップ表示フレームの検出処理におけるパラメータ値を、テロップ表示フレームが検出しやすくなるように再決定し（例えば、高信頼度クレジット区間前後近接区間パラメータ再決定手段２１０４に相当）、再決定したパラメータ値を利用してテロップ表示フレーム検出処理（例えば、テロップ表示フレーム検出手段２１０５）を行うことによりクレジット情報区間を判定する（例えば、クレジット情報表示区間開始点／終了点検出手段２０２ｂに含まれるクレジット情報有無判定手段２００３に相当）クレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、テロップ表示フレームの検出処理における効率を向上させることができる。
【００９６】
（１３）表示区間判定手段が、入力手段から入力された映像データに対して、高信頼度クレジット区間情報で指定される区間に対して映像解析を行う（例えば、高信頼度クレジット区間映像解析手段２１０２に相当）ことにより得られるテロップ関連特徴量を利用して、高信頼度クレジット区間の前後近接区間を解析することにより、クレジット情報区間を判定するクレジット情報区間検出装置。そのように構成されたクレジット情報区間検出装置では、テロップ関連特徴量を利用することによって、テロップ表示フレームの検出精度を向上させることができる。
【００９７】
（１４）テロップ関連特徴量がテロップの文字移動量であり、表示区間判定手段が、高信頼度クレジット区間の前後近接区間において、文字移動量に相当する動き補償を行うことによるフレーム画像内のエッジ数変化を解析することによってクレジット情報区間を判定するクレジット情報区間検出装置（例えば、クレジット情報が移動するタイプのクレジット情報である場合の高信頼度クレジット区間映像解析手段２１０２の動作によって実現される。）。そのように構成されたクレジット情報区間検出装置では、テロップ関連特徴量を利用することによって、テロップ表示フレームの検出精度を向上させることができる。
【００９８】
（１５）テロップ関連特徴量が文字列の表示されている可能性の高いフレーム画像内の領域における文字色であり、表示区間判定手段が、高信頼度クレジット区間の前後近接区間において、フレーム画像内の領域において文字色が含有する割合を解析することによりクレジット情報区間を判定するクレジット情報区間検出装置（例えば、文字の色に着目した場合の高信頼度クレジット区間映像解析手段２１０２の動作によって実現される。）。そのように構成されたクレジット情報区間検出装置では、テロップ関連特徴量を利用することによって、テロップ表示フレームの検出精度を向上させることができる。
【００９９】
（１６）テロップ関連特徴量がテロップの表示領域情報であり、表示区間判定手段が、高信頼度クレジット区間の前後近接区間において、フレーム画像内の表示領域情報で特定される領域に対する重み付けを行った上でテロップの検出処理を行うことにより、クレジット情報区間を判定するクレジット情報区間検出装置（例えば、文字が表示される領域に着目した場合の高信頼度クレジット区間映像解析手段２１０２の動作によって実現される。）。そのように構成されたクレジット情報区間検出装置では、テロップ関連特徴量を利用することによって、テロップ表示フレームの検出精度を向上させることができる。
【０１００】
以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０１】
この出願は、２００９年１月６日に出願された日本特許出願２００９−１１７２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１０２】
本発明は、放送番組等で使用されるクレジット情報（著作権者、出演者などを流すテロップ等）の区間検出の実現により、放送番組の２次利用に向けた権利情報を抽出するシステムに適用可能である。
【符号の説明】
【０１０３】
１        クレジット情報区間検出装置
２        入力手段
３        探索開始点決定手段
４        表示区間判定手段
１１      入力手段
１２、１２ａ、１２ｂ、２２、２２ａ、２２ｂ  クレジット情報探索開始点決定手段
１３      クレジット情報区間判定手段
１４      出力手段
１０１、１０１ａ、１０１ｂ  映像学習結果記憶手段
１０２    探索開始点選択手段
１０３    高密度クレジット情報部出現確率情報算出手段
１１１    フレーム画像生成手段
１１２    フレームエッジ画像生成手段
１１３    コンテンツ内エッジ数分布解析手段
１２１    ヘッダ情報抽出手段
１２２、１２２ａ、１２２ｂ  ヘッダ情報解析手段
２０１    高信頼度クレジット情報表示区間検出手段
２０２、２０２ａ、２０２ｂ  クレジット情報表示区間開始点／終了点検出手段
１２２１  フレーム画像内動きベクトル解析手段
１２２２  フレーム画像内高周波成分有無解析手段
２００１  処理対象フレーム制御手段
２００２  テロップ表示フレーム検出手段
２００３  クレジット情報有無判定手段
２１０１  クレジット区間判定制御手段
２１０２  高信頼度クレジット区間映像解析手段
２１０３  テロップ表示フレーム検出手段
２１０４  高信頼度クレジット区間前後近接区間パラメータ再決定手段
２１０５  テロップ表示フレーム検出手段
【図１】
0005445467.tif 000002
【図２】
0005445467.tif 000003
【図３】
0005445467.tif 000004
【図４】
0005445467.tif 000005
【図５】
0005445467.tif 000006
【図６】
0005445467.tif 000007
【図７】
0005445467.tif 000008
【図８】
0005445467.tif 000009
【図９】
0005445467.tif 000010
【図１０】
0005445467.tif 000011
【図１１】
0005445467.tif 000012
【図１２】
0005445467.tif 000013
【図１３】
0005445467.tif 000014
【図１４】
0005445467.tif 000015
【図１５】
0005445467.tif 000016
【図１６】
0005445467.tif 000017
【図１７】
0005445467.tif 000018