(57)【特許請求の範囲】
【請求項１】
映像入力手段と、
上記映像入力手段によって入力されたニュース映像を音声と動画とに分離する映像分離手段と、
上記映像分離手段によって分離された動画から、動画の変化点であるカット点画像を検出するカット点画像検出手段と、
上記分離された動画からテロップを検出するテロップ検出手段と、
上記分離された動画から顔の画像を検出する顔検出手段と、
上記カット点画像のうち、上記テロップ検出手段によって検出されたテロップの直前に位置して顔が映っているカット点画像間の類似度を算出する類似度算出手段と、
上記映像分離手段によって分離された音声から無音部分を検出する無音検出手段と、
上記テロップの直前に位置して顔が映っているカット点画像のうち類似度の高いカット点画像を選出し、この選出カット点画像近傍に在る無音部分の間を記事として切り出す記事切り出し手段
を備えたことを特徴とするニュース記事切り出し装置。
【請求項２】
請求項１に記載のニュース記事切り出し装置において、
上記記事切り出し手段によって記事を切り出すに先立って、上記カット点画像検出手段によって検出された各カット点画像間のうち、コマーシャルメッセージに該当するカット点画像間を検出して除去するコマーシャルメッセージ除去手段を備えたことを特徴とするニュース切り出し装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ニュース映像をデータベース化する場合に検索単位となるニュース記事を映像から自動的に切り出すニュース記事切り出し装置に関する。
【０００２】
【従来の技術】
従来のニュース映像データベースにおいては、「情報処理学会誌Ｖol,37 Ｎo.9“Informedia:ＣＭＵディジタルビデオライブラリプロジェクト”」等に記載された技術によって、映像のセグメンテーションや検索のための索引付けが行なわれている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の技術においては、映像のセグメンテーションについて要素技術が列挙されてはいるものの、具体的な解は開示されていない。
【０００４】
そこで、この発明の目的は、ニュース映像からニュース映像の特性を用いてニュース記事を切り出すことができるニュース記事切り出し装置を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、この発明のニュース記事切り出し装置は、映像入力手段と、上記映像入力手段によって入力されたニュース映像を音声と動画とに分離する映像分離手段と、上記映像分離手段によって分離された動画から,動画の変化点であるカット点画像を検出するカット点画像検出手段と、上記分離された動画からテロップを検出するテロップ検出手段と、上記分離された動画から顔の画像を検出する顔検出手段と、上記カット点画像のうち,上記テロップ検出手段によって検出されたテロップの直前に位置して顔が映っているカット点画像間の類似度を算出する類似度算出手段と、上記映像分離手段によって分離された音声から無音部分を検出する無音検出手段と、上記テロップの直前に位置して顔が映っているカット点画像のうち類似度の高いカット点画像を選出し,この選出カット点画像近傍に在る無音部分の間を記事として切り出す記事切り出し手段を備えたことを特徴としている。
【０００６】
上記構成によれば、映像入力手段によって入力されたニュース映像が、映像分離手段によって動画部分と音声部分に分離される。そして、カット点画像検出手段によって、上記分離された動画から、動画の変化点であるカット点画像が検出される。また、テロップ検出手段によって、上記分離された動画からテロップが検出される。また、顔検出手段によって、上記分離された動画から顔の画像が検出される。また、無音検出手段によって、上記分離された音声から無音部分が検出される。さらに、類似度算出手段によって、上記カット点画像のうち、上記テロップ検出手段によって検出されたテロップの直前に位置して顔が映っているカット点画像間の類似度が算出される。そうすると、記事切り出し手段によって、上記テロップの直前に位置して顔が映っているカット点画像のうち類似度の高いカット点画像が選出され、この選出カット点画像近傍に在る無音部分の間が記事として切り出される。
【０００７】
また、上記ニュース記事切り出し装置は、上記記事切り出し手段によって記事を切り出すに先立って、上記カット点画像検出手段によって検出された各カット点画像間のうち、コマーシャルメッセージ(ＣＭ)に該当するカット点画像間を検出して除去するＣＭ除去手段を備えることが望ましい。
【０００８】
上記構成によれば、ニュース記事が切り出されるに先立って、ＣＭ除去手段によって、上記検出された各カット点画像間のうち、ＣＭに該当するカット点画像間が検出されて除去される。したがって、以後に行われる上記記事切り出し手段による記事切り出しの際には、上記ＣＭの区間は除外されてニュース記事のみが切り出される。
【０００９】
【発明の実施の形態】
以下、この発明を図示の実施の形態により詳細に説明する。図１は、本実施の形態のニュース記事切り出し装置のブロック図である。
【００１０】
Ａ/Ｄ変換部１は、入力された映像をＡ/Ｄ変換してデジタル化する。映像分離部２は、Ａ/Ｄ変換部１によってデジタル化された映像を動画像部分と音声部分に分離する。こうして分離された動画像データと音声データはメモリ３に保存される。こうしてメモリ３に保存された動画像は、動画像解析部４によって解析される。また、メモリ３に保存された音声は、音声解析部５によって解析される。そして、動画像および音声の夫々の解析結果はメモリ３に格納される。
【００１１】
解析結果統合部６は、上記動画像解析部４および音声解析部５による解析結果をメモリ３から読み出して統合し、後に詳述するようにしてニュース記事を切り出す。こうして切り出されたニュース記事は、映像蓄積部７に蓄積されるのである。
【００１２】
図２は、図１に示すニュース記事切り出し装置によって実行されるニュース記事切り出し手順の概略を示すフローチャートである。以下、図２に従って、ニュース記事切り出し手順について説明する。
【００１３】
先ず、ステップＳ1で、上記映像分離部２によって、Ａ/Ｄ変換部１からのデジタル映像データが動画像データと音声データとに分離される。ステップＳ2で、動画像解析部４によって、上記分離された動画像データに基づいて動画像が解析される。尚、この動画像解析によって、後に詳述するように、動画の変化点であるカット点画像や、テロップが映っているフレーム(テロップフレーム)や、人物の顔が映っているフレームが検出される。
【００１４】
ステップＳ3で、上記音声解析部５によって、上記分離された音声データに基づいて音声が解析される。尚、この音声解析によって、後に詳述するように、無音区間が検出される。ステップＳ4で、解析結果統合部６によって、動画像解析結果と音声解析結果とが統合されてニュース記事の切り出しが行われる。
【００１５】
図３は、図２に示すニュース記事切り出し手順におけるステップＳ2の動画像解析時に行われるカット点画像検出処理動作のフローチャートである。先ず、ステップＳ11で、フレーム数frameが「０」に初期化される。ステップＳ12で、直前フレームの色相ヒストグラムhist2および現フレームの色相ヒストグラムhist1が「０」に初期化される。ステップＳ13で、上記メモリ３に格納されている動画像データから処理すべきフレームデータが読み出される。ステップＳ14で、色相ヒストグラムhist1が生成されて更新される。尚、色相ヒストグラムhist1の生成については後に詳述する。ステップＳ15で、フレーム数frameがインクリメントされる。
【００１６】
ステップＳ16で、frame＝１であるか否かが判別される。その結果、frame＝１であればステップＳ21に進む一方、そうでなければステップＳ17に進む。ステップＳ17で、直前フレームの色相ヒストグラムhist2と現フレームの色相ヒストグラムhist1との差分Ｄが求められる。尚、差分Ｄは式(１)によって算出するが、他の計算方法によって算出しても構わない。
0004253410.tif 000002
ステップＳ18で、差分Ｄが閾値ＴＨより小さいか否かが判別される。その結果、上記閾値ＴＨより小さければステップＳ19に進み、閾値ＴＨ以上であればステップＳ20に進む。ステップＳ19で、直前フレームからの色相ヒストグラムの変化量が小さいために現フレームは動画の変化点とは見なされず、非カット点画像であると判定される。ステップＳ20で、現フレームはカット点画像であると判定される。そして、例えばカット点画像の位置を表わすカット点画像テーブルに登録される。ステップＳ21で、直前フレームの色相ヒストグラムhist2が、現フレームの色相ヒストグラムhist1で更新される。ステップＳ22で、メモリ３に未処理のフレームデータが在るか否かが判別される。その結果、在ればステップＳ13に戻り、次のフレームの処理に移行する。なければカット点画像検出処理動作を終了する。
【００１７】
このように、本実施の形態においては、現フレームの色相ヒストグラムhist1が直前フレームの色相ヒストグラムhist2に対して閾値ＴＨ以上変化した場合には、現フレームは動画の変化点であると見なし、現フレームをカット点画像として検出するのである。
【００１８】
図４は、図３示すカット点画像検出処理動作の上記ステップＳ14において実行される色相ヒストグラム生成処理動作のフローチャートである。先ず、ステップＳ31で、図３示すカット点画像検出処理動作の上記ステップＳ13においてメモリ３から取り込まれたフレームデータから、１画素の画素値Ｒ,Ｇ,Ｂが読み出される。ステップＳ32で、式(２)によって座標変換が行われる。
0004253410.tif 000003
ステップＳ33で、式(３)によってヒストグラムのインクリメントが行なわれる。
hist[ｉ]＝hist[ｉ]＋１                        … (３)
ｉ＝Ｈ/Ｈ ＱＵＡＮＴ
但し、Ｈ_ＱＵＡＮＴ：色相の量子化定数
ステップＳ34で、当該フレームデータに未処理画素が在るか否かが判別される。その結果、在ればステップＳ31に戻って次の画素値Ｒ,Ｇ,Ｂの処理に移行する。なければ色相ヒストグラム生成処理動作を終了する。
【００１９】
図５は、図２示すニュース記事切り出し手順におけるステップＳ2の動画像解析時に行われるテロップフレーム検出処理動作のフローチャートである。以下の説明においては、横書きのテロップに関する検出方法を例に説明するが、縦書きのテロップを検出する場合にはｘ軸とｙ軸とを入れ換えれば同様に実行できる。
【００２０】
ステップＳ41で、フレーム数frameが「０」に初期化される。ステップＳ42で、直前フレームのエッジ画像edge2および現フレームのエッジ画像edge1が「０」に初期化される。ステップＳ43で、メモリ３に格納されている動画像データから処理すべきフレームデータが読み出される。ステップＳ44で、エッジ画像edge1が生成されて更新される。尚、エッジ画像の生成については後に詳述する。ステップＳ45で、フレーム数frameがインクリメントされる。
【００２１】
ステップＳ46で、frame＝１であるか否かが判別される。その結果、frame＝１であればステップＳ55に進む一方、そうでなければステップＳ47に進む。ステップＳ47で、後述する投影ヒストグラム生成方法によって、エッジ画像edge1のｙ軸への投影ヒストグラムが生成される。ステップＳ48で、上記ステップＳ47において生成されたヒストグラムが解析されて、テロップの候補領域となる山の範囲[ｙ1,ｙ2]が閾値等に基づいて検出される。ここで、通常、テロップの周囲にはエッジが集中している。そのために、横書きの場合には、図６に示すようなｙ軸への投影ヒストグラムには山が検出される。そこで、上記ステップＳ48においては、ｙ軸への投影ヒストグラムの山を検出してテロップの候補領域とするのである。次に、ステップＳ49で、上記ステップＳ48における山の範囲の検出結果に基づいて、山が在るか否かが判別される。その結果、山が在ればテロップの候補領域は在りとしてステップＳ50に進む一方、山がなければテロップの候補領域は無しとして上記ステップＳ55に進む。
【００２２】
ステップＳ50で、上記ｙ1からｙ2までの範囲のエッジがｘ軸に投影されてエッジ画像の投影ヒストグラムが生成される。ステップＳ51で、上記ステップＳ50において生成されたヒストグラムから、文字部分の山の範囲が閾値等に基づいて検出される。ステップＳ52で、上記ステップＳ51における山の範囲の検出結果に基づいて、山が在るか否かが判別される。その結果、山が在ればステップＳ54に進み、なければステップＳ53に進む。
【００２３】
ステップＳ53で、現フレームが非テロップフレームであると判定される。ステップＳ54で、現フレームがテロップフレームであると判定される。そして、例えばテロップフレームの位置を表わすテロップフレームテーブルに登録される。ステップＳ55で、直前フレームのエッジ画像edge2が現フレームのエッジ画像edge1で更新される。ステップＳ56で、メモリ３に未処理のフレームデータが在るか否かが判別される。その結果、在ればステップＳ43に戻り、次のフレームの処理に移行する。なければテロップフレーム検出処理動作を終了する。
【００２４】
このように、本実施の形態においては、生成した上記エッジ画像edge1のｙ軸への投影ヒストグラムに山が在り、且つ、ｘ軸への投影ヒストグラムにも山が在る場合には、現フレームにテロップ文字列が在ると判定し、現フレームをテロップフレームとして検出するのである。
【００２５】
図７は、図５示すテロップフレーム検出処理動作の上記ステップＳ44において実行されるエッジ画像生成処理動作のフローチャートである。ステップＳ61で、現フレームのエッジ画像edge1が「０」に初期化される。ステップＳ62で、図５示すテロップフレーム検出処理動作の上記ステップＳ43においてメモリ３から取り込まれたフレームデータから濃淡画像grayが生成される。ここで、濃淡画像grayとは、上記フレームデータから得られた画素値Ｒ,Ｇ,Ｂを式(２)によって座標変換を行ない、Ｖ値を画素値として表現した画像のことである。ステップＳ63で、変数Ｗに濃淡画像grayの幅の値が設定される。一方、変数Ｈには濃淡画像grayの高さの値が設定される。ステップＳ64で、変数ｉに初期値「１」が設定される。ステップＳ65で、変数ｊに初期値「１」が設定される。ステップＳ66で、水平エッジh edge[i][j]および垂直エッジv edge[i][j]が式(３)によって算出される。
h edge[i][j]＝abs(gray[i-1][j]−gray[i+1][j])        … (４)
v edge[i][j]＝abs(gray[i][j-1]−gray[i][j+1])
ここで、gray[i][j]は、濃淡画像grayにおける座標(j,i)の画素値である。
【００２６】
ステップＳ67で、変数ｊの内容がインクリメントされる。ステップＳ68で、ｊ＜(Ｗ−１)であるか否かが判別される。その結果、ｊ＜(Ｗ−１)であればステップＳ66に戻って水平エッジ及び垂直エッジの算出が続行される。一方、ｊ≧(Ｗ−１)であればステップＳ69に進む。ステップＳ69で、変数ｉがインクリメントされる。ステップＳ70で、ｉ＜(Ｈ−１)であるか否かが判別される。その結果ｉ＜(Ｈ−１)であればステップＳ65に戻って水平エッジおよび垂直エッジの算出が続行される。一方、ｉ≧(Ｈ−１)であればエッジ画像生成処理動作を終了する。
【００２７】
つまり、本実施の形態においては、１≦ｊ≦(Ｗ−１)及び１≦ｉ≦(Ｈ−１)の範囲で求めた水平方向の両隣画素のＶ値の差の絶対値であるh edge[i][j]を画素値とする画像h edgeと、１≦ｊ≦(Ｗ−１)及び１≦ｉ≦(Ｈ−１)の範囲で求めた垂直方向の両隣画素のＶ値の差の絶対値であるv edge[i][j]を画素値とする画像v edgeとをもって、上記エッジ画像edgeとするのである。
【００２８】
尚、本実施の形態においては、上述の方法によってエッシ画像edgeを生成するのであるが、それに限定されるものではなく他のエッジ検出方法を用いても差し支えない。
【００２９】
図８は、図５示すテロップフレーム検出処理動作の上記ステップＳ47あるいはステップＳ50において実行される投影ヒストグラム生成処理動作のフローチャートである。ステップＳ71で、図５示すテロップフレーム検出処理動作の上記ステップＳ44において、図７に示すエッジ画像生成処理動作に従って生成された現フレームのエッジ画像edge1(h edge1,v edge1)、および、作業バッファ等に保持されている前フレームのエッジ画像edge2(h edge2,v edge2)が入力される。
【００３０】
ステップＳ72で、投影する範囲(ｘmin,ｙmin)〜(ｘmax,ｙmax)が設定される。但し、本処理動作が図５示すテロップフレーム検出処理動作の上記ステップＳ47において呼び出された場合には、エッジ画像edge1,edge1の全体が対象となるために、投影範囲は(０,０)〜(Ｗ−１,Ｈ−１)となる。また、テロップフレーム検出処理動作の上記ステップＳ50から呼び出された場合には、投影範囲は(０,ｙ1)〜(Ｗ−１,ｙ2)となる。ステップＳ73で、ｙ軸への投影ヒストグラムｙhistおよびｘ軸への投影ヒストグラムｘhistが「０」に初期化される。ステップＳ74で、上記ステップＳ72において設定された投影範囲内の一つの画素に関して、ｙ軸への投影ヒストグラムｙhistおよびｘ軸への投影ヒストグラムｘhistが式(５)によって生成される。
ｘhist[j]＝ｘhist[j]＋Ｍin(h edge1[i][j],h edge2[i][j])  …（５）
ｙhist[j]＝ｙhist[j]＋Ｍin(v edge1[i][j],v edge2[i][j])
但し、本処理動作が、図５示すテロップフレーム検出処理動作の上記ステップＳ47において呼び出された場合には、ｙ軸への投影ヒストグラムｙhistが算出される。一方、テロップフレーム検出処理動作の上記ステップＳ50から呼び出された場合には、ｘ軸への投影ヒストグラムｘhistが算出される。ステップＳ75で、未処理画素が在るか否かが判別される。その結果、在ればステップＳ74に戻って次の画素に関する処理に移行し、なければ投影ヒストグラム生成処理動作を終了する。
【００３１】
図９は、図２に示すニュース記事切り出し手順におけるステップＳ2の動画像解析時に行われる人物の顔検出処理動作のフローチャートである。尚、本実施の形態においては、図１０に示す状態遷移モデルと呼ばれる階層構造を有するモデルの照合によって顔検出を行なっているが、ニューラルネットワークやその他の手法を用いても差し支えない。
【００３２】
ステップＳ81で、上記メモリ３から顔の検出用の画像が入力される。ステップＳ82で、上記入力された画像が、隣接する画素が類似色であるような画素の集合でなる領域に分割される。ステップＳ83で、上記分割された各領域の色,位置,形状の特微量が抽出される。ステップＳ84で、上記各領域(領域数Ｎ)が、図１０に示す状態遷移モデルの初期状態であるcolor segなる状態ラベルが与えられることによって初期化される。ステップＳ85で、領域番号ｉと状態が変化した領域数を表す変数changeとの夫々が、「０」に初期化される。
【００３３】
ステップＳ86で、領域[i]の特徴量と、領域[i]が遷移可能な状態への遷移する場合に満たすべき状態遷移ルールとの照合が行なわれる。その結果、領域[i]が如何なる状態遷移ルールをも満たさない場合にはステップＳ88に進む。一方、満たす場合にはステップＳ87に進む。ステップＳ87で、領域[i]の状態ラベルが、満たしている状態遷移ルールに対応する状態の状態ラベルに更新される。そうした後、変数changeの内容がインクリメントされる。例えば、領域[i]の状態ラベルがcolor_segであり、図１０に示す状態遷移モデルを用いる場合を考えると、状態ラベルcolor_segから遷移可能な状態はskin_segおよびblack_segである。この場合、領域[i]が上記両状態に遷移するために満たすべき状態遷移ルールは、図１０において上記状態ラベルcolor_segから状態ラベルskin_segおよび状態ラベルblack_segへの矢印に設定されている「ＩsＳkin」及び「ＩsＢlack」である。すなわち、領域[i]の特微量が状態遷移ルール「ＩsＳkin」を満たしていれば領域[i]の状態ラベルをskin_segに更新する。同様に、状態遷移ルール「ＩsＢlack」を満たしていればblack_segに更新するのである。
【００３４】
ステップＳ88で、領域番号ｉがインクリメントされる。ステップＳ89で、領域番号ｉが領域数Ｎより小さいか否かが判別される。その結果、ｉ＜ＮであればステップＳ86に戻って次の領域に対する処理に移行する。一方、ｉ≧ＮであればステップＳ90に進む。ステップＳ90で、change＝０であるか否か、つまり状態が遷移した領域が在るか否かが判別される。その結果、在ればステップＳ85に戻る。こうして、上述の処理が、状態ラベルが変化した領域が存在しなくなるまで繰り返される。
【００３５】
ステップＳ91で、総ての領域の状態ラベルをチェックすることによって、状態ラベルfaceを持つ領域が存在するか否かが判別される。その結果、存在すればステップＳ92に進み、存在しなければステップＳ93に進む。ステップＳ92で、人物の顔が検出されたとして、例えば人物の顔があるフレームの位置を表わす顔フレームテーブルに登録される。そうした後、人物の顔検出処理動作を終了する。ステップＳ93で、人物の顔は検出されなかったとして、人物の顔検出処理動作を終了する。
【００３６】
このように、本実施の形態においては、入力画像を類似色の領域に分割し、各領域の特微量を抽出し、各領域の特徴量が図１０に示す状態遷移モデルの状態遷移ルールを満たしていれば当該領域の状態を遷移させ、この処理を総ての領域が状態遷移しなくなるまで繰り返す。そして、状態ラベルfaceを持つ領域が存在した場合には、人物の顔を検出したと判断するのである。
【００３７】
図１１は、図２に示すニュース記事切り出し手順におけるステップＳ3の音声解析時に行われる無音区間検出処理動作のフローチャートである。先ず、ステップＳ101で、無音区間であることを表す変数Ｓilenceが「FALSE」に初期化される。ステップＳ102で、区間[sp,ep]の長さ分の音声データが読み込まれる。ステップＳ103で、上記読み込まれた音声データから音声パワーｐが算出される。ステップＳl04で、上記音声パワーｐの分散値が式(６)によって算出される。
0004253410.tif 000004
ステップＳ105で、上記算出された分散値Ｖarが閾値ＴＨより小さいか否かが判別される。その結果、Ｖar＜ＴＨであれば区間[sp,ep]は無音区間であると判断されステップＳ108に進む。一方、Ｖar≧ＴＨであれば無音区間ではないと判断されステップＳ106に進む。
【００３８】
ステップＳ106で、上記変数Ｓilenceが「TRUE」であるか、つまり直前の処理区間は無音区間であるか否かが判別される。その結果、「TRUE」でなければ上記ステップＳ101に戻って、同様の処理が繰り返される。一方、「TRUE」であればステップＳ107に進む。ステップＳ107で、後述するようにステップＳ109,Ｓ111において値が設定された始端「start」と終端「end」に基づいて、無音区間[start,end]が検出される。そして、無音区間の位置を表わす無音区間テーブルに登録される。そうした後、上記ステップＳ101に戻って、同様の処理が繰り返される。
【００３９】
ステップＳ108で、上記変数Ｓilenceが「TRUE」であるか否かが判定される。その結果、「TRUE」でなければ、現在の区間[sp,ep]は無音区間の開始点であるとしてステップＳ109に進む。一方、「TRUE」であれば、現在の区間[sp,ep]は直前の無音区間の継続区間であるとしてステップＳ111に進む。ステップＳ109で、無音区間の始端「start」に「sp」が設定される。ステップＳ111で、変数Ｓilenceに「TRUE」が設定される。そうした後にステップＳ112に進む。ステップＳ111で、無音区間の終端「end」に「ep」が設定される。ステップＳ112で、未処理の音声データが在るか否かが判別される。その結果、在ればステップＳ102に戻って次の音声データの処理に移行する。そして、上記ステップＳ105において「Ｖar≧ＴＨ」と判定され、上記ステップＳ106において「直前の処理区間は無音区間である」と判定されると、上記ステップＳ107において無音区間[start(＝sp),end(＝ep)]が検出されるのである。一方、未処理の音声データがなければ無音区間検出処理動作を終了する。
【００４０】
このように、本実施の形態においては、音声区間[sp,ep]におけるパワーｐの分散値Ｖarが閾値ＴＨより小さい場合には、区間[sp,ep]は無音区間であると判断する。さらに、直前区間が無音区間であれば区間[sp,ep]は上記直前の無音区間の継続区間であると判定する。一方、直前区間が無音区間でなければ区間[sp,ep]は無音区間の開始点であると判定する。そして、次に分散値Ｖarが閾値ＴＨ以上になると、無音区間[start(＝sp),end(＝ep)]を検出するのである。
【００４１】
図１２は、図２示すニュース記事切り出し手順のステップＳ4において、解析結果統合部６によって行われるニュース記事切り出し処理動作のフローチャートである。尚、本ニュース記事切り出し処理動作においては、動画像解析部４によって図３に示すカット点画像検出処理動作に従って検出されたカット点画像に基づいて、ニュース記事を切り出すものである。
【００４２】
ステップＳ121で、図３に示すカット点画像検出処理動作によって上記カット点画像テーブルに登録されているカット点画像の集合Ｃut:{ｃi|ｉ＝１,２,…,Ｎcut}が得られる。そして、この集合{ｃi}を対象として、後述するようなクラスタリングによって、第１クラスタに属するカット点画像の集合Ｃlst：{clsti|ｉ＝１,２,…,Ｎclst}⊂Ｃutが得られる。ステップＳ122で、集合{clsti}のインデックスｉが「１」に初期化される。
【００４３】
ステップＳ123で、clstiがニュース記事の始点として設定される。ステップＳ124で、ｉがインクリメントされる。ステップＳ125で、clstiがニュース記事の終点として設定される。こうして一つのニュース記事が切り出されるのである。ステップＳ126で、ｉが最大値「Ｎclst」よりも小さいか否かが判別される。その結果、ｉ＜Ｎclstであれば上記ステップＳ123に戻って次のニュース記事の切り出し処理に移行する。一方、ｉ≧Ｎclstであればニュース記事切り出し処理動作を終了する。
【００４４】
図１３は、図１２に示すニュース記事切り出し処理動作のステップＳ121において実行されるクラスタリング処理動作のフローチャートである。ステップＳ131で、総てのカット点画像間の類似度Ｓimilar(ｉ,ｊ)が算出される。ここで、ｉ,ｊは類似度を算出する２つのカット点画像の番号である。尚、本実施の形態においては、類似度Ｓimilar(ｉ,ｊ)として式(１)の逆数を用いるが、他の類似度を用いても構わない。ステップＳ132で、頻度ヒストグラムＨist[i],Ｈist[j]が「０」に初期化される。ステップＳ133で、類似度Ｓimilar(ｉ,ｊ)が閾値ＴＨより大きいか否かが判別される。その結果、Ｓimilar(ｉ,ｊ)＞ＴＨであればステップＳ134に進み、Ｓimilar(ｉ,ｊ)≦ＴＨであればステップＳ135に進む。ステップＳ134で、頻度ヒストグラムＨist[i],Ｈist[j]がインクリメントされる。ステップＳ135で、未処理の類似度Ｓimilar(ｉ,ｊ)が在るか否かが判別される。その結果、在れば上記ステップＳ133に戻って、次の類似度Ｓimilar(ｉ,ｊ)に対する処理に移行する。
【００４５】
ステップＳ136で、上記生成された頻度ヒストグラムＨist[i],Ｈist[j]に基づいて最大頻度位置Ｍaxが検出される。ステップＳ137で、現在のクラスタが空集合であるか否かが判別される。その結果、空集合であればステップＳ139に進む一方、空集合でなければステップＳ138に進む。ステップＳ138で、上記検出された最大頻度位置Ｍaxが第１クラスタに含まれるか否かが判別される。その結果、含まれていればステップＳ139に進む一方、含まれていなければクラスタリング処理動作を終了する。ステップＳ139で、総てのＳimilar(Ｍax,j)が閾値ＴＨより大きくなるようなｊが第１クラスタに追加される。ステップＳ140で、頻度ヒストグラムＨist[i]，Ｈist[j]からＭaxが除外される。そうした後、上記ステップＳ136に戻って上術の処理が繰り返され、上記ステップＳ138において最大頻度位置Ｍaxが第１クラスタに含まれていないと判別されるとクラスタリング処理動作を終了するのである。
【００４６】
一般的に、ニュース映像においては、一つのニュース記事が終了する毎に、静止しているニュースキャスタの映像に切り換り、次のニュース記事の解説等があってから次のニュース記事の映像が開始されるようになっている。つまり、各ニュース記事の間には、「静止しているニュースキャスタの映像」という非常に類似した動画の変化点が存在するのである。
【００４７】
そこで、本実施の形態においては、上述のように、上記カット点画像の集合に対して、総てのカット点画像間の類似度Ｓimilar(ｉ,ｊ)を算出し、この類似度Ｓimilar(ｉ,ｊ)が閾値ＴＨより大きい頻度を表す頻度ヒストグラムＨist[i]，Ｈist[j]の最大頻度位置Ｍaxを含むようにクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clst間を一つのニュース記事として切り出すのである。
【００４８】
図１４は、図２示すニュース記事切り出し手順のステップＳ4における解析結果統合部６によって行われる図１２とは異なるニュース記事切り出し処理動作のフローチャートである。尚、本ニュース記事切り出し処理動作においては、上記カット点画像に加えて、動画像解析部４によって図５に示すテロップフレーム検出処理動作に従って検出されたテロップフレームに基づいて、ニュース記事を切り出すものである。
【００４９】
ステップＳ141で、図３に示すカット点画像検出処理動作によって上記カット点画像テーブルに登録されているカット点画像の集合Ｃut:{ｃi|ｉ＝１,２,…,Ｎcut}が得られる。さらに、図５に示すテロップフレーム検出処理動作によって上記テロップフレームテーブルに登録されているテロップフレームの集合Ｔelop:{ｔi|ｉ＝１,２,…,Ｎtelop}が得られる。そして、テロップフレームｔiの直前のカット点画像がカット点画像の集合{ｃi}から抽出される。ステップＳ142で、図１３に示すクラスタリング処理動作によってクラスタリングが行われ、第１クラスタに属するカット点画像の集合Ｃlst：{clsti|ｉ＝１,２,…,Ｎclst}⊂Ｃutが得られる。ステップＳ143で、集合｛clsti}のインデックスｉが「１」に初期化される。
【００５０】
ステップＳ144で、clstiがニュース記事の始点として設定される。ステップＳ145で、ｉがインクリメントされる。ステップＳ146で、clstiがニュース記事の終点として設定される。こうして一つのニュース記事が切り出されるのである。ステップＳ147で、ｉが最大値「Ｎclst」よりも小さいか否かが判別される。その結果、ｉ＜Ｎclstであれば上記ステップＳ144に戻って次のニュース記事の切り出し処理に移行する。一方、ｉ≧Ｎclstであればニュース記事切り出し処理動作を終了する。
【００５１】
上述したように、ニュース映像においては、各ニュース記事の間には「静止しているニュースキャスタの映像」という類似映像が存在し、この映像がニュース映像と言う動画像全体の中の変化点となっている。また、上記ニュースキャスタの映像の直後にはテロップフレームが存在するのが常である。
【００５２】
そこで、本実施の形態においては、テロップフレームの直前に在るカット点画像の集合に対して、上記類似度を用いたクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clst間を一つのニュース記事として切り出すのである。
【００５３】
図１５は、図２示すニュース記事切り出し手順のステップＳ4において、解析結果統合部６によって行われる図１２および図１４とは異なるニュース記事切り出し処理動作のフローチャートである。尚、本ニュース記事切り出し処理動作においては、上記カット点画像およびテロップフレームに加えて、動画像解析部４によって図９に示す人物の顔検出処理動作に従って検出された人物の顔に基づいて、ニュース記事を切り出すものである。
【００５４】
ステップＳ151で、図３に示すカット点画像検出処理動作によって上記カット点画像テーブルに登録されているカット点画像の集合Ｃut:{ｃi|ｉ＝１,２,…,Ｎcut}が得られる。さらに、図５に示すテロップフレーム検出処理動作によって上記テロップフレームテーブルに登録されているテロップフレームの集合Ｔelop:{ｔi|ｉ＝１,２,…,Ｎtelop}が得られる。更に、図９に示す人物の顔検出処理動作によって上記顔フレームテーブルに登録されているフレームの集合Ｆace：｛ｆi|ｉ＝１,２,…,Ｎface}⊂Ｃutが得られる。そして、テロップフレームｔiの直前のカット点画像であり且つ顔が検出されたカット点画像がカット点画像の集合{ｃi}から抽出される。
【００５５】
ステップＳ152で、図１３に示すクラスタリング処理動作によってクラスタリングが行われ、第１クラスタに属するカット点画像の集合Ｃlst：{clsti|ｉ＝１,２,…,Ｎclst}⊂Ｆace⊂Ｃutが得られる。ステップＳ153で、集合｛clsti}のインデックスｉが「１」に初期化される。
【００５６】
ステップＳ154で、clstiがニュース記事の始点として設定される。ステップＳ155で、ｉがインクリメントされる。ステップＳ156で、clstiがニュース記事の終点として設定される。こうして一つのニュース記事が切り出されるのである。ステップＳ157で、ｉが最大値「Ｎclst」よりも小さいか否かが判別される。その結果、ｉ＜Ｎclstであれば上記ステップＳ154に戻って次のニュース記事の切り出し処理に移行する。一方、ｉ≧Ｎclstであればニュース記事切り出し処理動作を終了する。
【００５７】
上述したように、ニュース映像におけるテロップフレームの直前には「静止しているニュースキャスタの映像」という類似している人物の顔の映像が存在し、この映像がニュース映像と言う動画像全体の中の変化点となっている。
【００５８】
そこで、本実施の形態においては、テロップフレームの直前に在って、且つ、人の顔が検出されたカット点画像の集合に対して、上記類似度を用いたクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clst間を一つのニュース記事として切り出すのである。
【００５９】
図１６は、図２示すニュース記事切り出し手順のステップＳ4において、解析結果統合部６によって行われる図１２,図１４および図１５とは異なるニュース記事切り出し処理動作のフローチャートである。尚、本ニュース記事切り出し処理動作においては、音声解析部５によって図１１示す無音区間検出検出処理動作に従って検出された無音区間に基づいて、ニュース記事を切り出すものである。
【００６０】
ステップＳ161で、図１１に示す無音区間検出処理動作によって上記無音区間テーブルに登録された上記無音区間の集合Ｓilent：{[ｓi,ｅi]|ｉ＝１,２,…,Ｎsilent}が得られる。そして、集合{[ｓi,ｅi]}のインデックスｉが「１」に初期化されるのである。
【００６１】
ステップＳ162で、上記無音区間の終点ｅiがニュース記事の始点として設定される。ステップＳ163で、ｉがインクリメントされる。ステップＳ164で、無音区間の始点ｓiがニュース記事の終点として設定される。こうして一つのニュース記事が切り出されるのである。ステップＳ165で、ｉが最大値「Ｎsilent」よりも小さいか否かが判別される。その結果、ｉ＜Ｎsilentであれば上記ステップＳ162に戻って次のニュース記事の切り出し処理に移行する。一方、ｉ≧Ｎsilentであればニュース記事切り出し処理動作を終了する。
【００６２】
上述したように、ニュース映像には「静止しているニュースキャスタの映像」が存在するのであるが、このニュースキャスタは、次のニュース記事の解説に入る前に一次的に無言状態となる。そこで、本実施の形態においては、無音区間の間を一つのニュース記事として切り出すのである。
【００６３】
図１７は、図２示すニュース記事切り出し手順のステップＳ4において、解析結果統合部６によって行われる図１２および図１４〜図１６とは異なるニュース記事切り出し処理動作のフローチャートである。尚、本ニュース記事切り出し処理動作においては、上記カット点画像,テロップフレーム,人物の顔および無音区間に基づいて、ニュース記事を切り出すものである。
【００６４】
ステップＳ171で、図３に示すカット点画像検出処理動作によって上記カット点画像テーブルに登録されているカット点画像の集合Ｃut:{ｃi|ｉ＝１,２,…,Ｎcut}が得られる。さらに、図５に示すテロップフレーム検出処理動作によって上記テロップフレームテーブルに登録されているテロップフレームの集合Ｔelop:{ｔi|ｉ＝１,２,…,Ｎtelop}が得られる。更に、図９に示す人物の顔検出処理動作によって上記顔フレームテーブルに登録されたフレームの集合Ｆace:{ｆi|ｉ＝１,２,…,Ｎface}⊂Ｃutが得られる。更に、図１１に示す無音区間検出処理動作によって上記無音区間テーブルに登録された無音区間の集合Ｓilent：{[ｓi,ｅi]|ｉ＝１,２,…,Ｎsilent}が得られる。そして、テロップフレームｔiの直前のカット点画像であり且つ顔が検出されたカット点画像がカット点画像の集合{ｃi}から抽出される。
【００６５】
ステップＳ172で、図１３に示すクラスタリング処理動作によってクラスタリングが行われ、第１クラスタに属するカット点画像の集合Ｃlst：{clsti|ｉ＝１,２,…,Ｎclst}⊂Ｆace⊂Ｃutが得られる。ステップＳ173で、集合｛clsti}のインデックスｉが「１」に初期化される。
【００６６】
ステップＳ174で、clstiがニュース記事の仮の始点startとして設定される。ステップＳ175で、ｉがインクリメントされる。ステップＳ176で、clstiがニュース記事の仮の終点endとして設定される。ステップＳ177で、仮の終点end付近に無音区間が存在するか否かが判別される。その結果、存在する場合にはステップＳl79に進み、存在しない場合にはステップＳ178に進む。ステップＳl78で、ｉが最大値「Ｎclst」よりも小さいか否かが判別される。その結果、ｉ＜Ｎclstであれば、上記ステップＳ175に戻って仮の終点endの更新が行われる。一方、ｉ≧Ｎclstであれば、ニュース記事切り出し処理動作を終了する。
【００６７】
ステップＳ179で、仮の始点start付近に在る無音区間終点が検出されて「Ｓ」として設定される。ステップＳ180で、仮の終点end付近に在る無音区間始点が検出されて「Ｅ」として設定される。ステップＳ181で、区間[Ｓ,Ｅ]がニュース記事として切り出される。ステップＳ182で、ｉが最大値「Ｎclst」よりも小さいか否かが判別される。その結果、ｉ＜Ｎclstであれば上記ステップＳ174に戻って次のニュース記事の切り出し処理に移行する。一方、ｉ≧Ｎclstであればニュース記事切り出し処理動作を終了する。
【００６８】
上述したように、ニュース映像におけるテロップフレームの直前には「静止しているニュースキャスタの映像」という類似している人物の顔の映像が存在し、この映像がニュース映像と言う動画像全体の中の変化点となっている。また、上記ニュースキャスタは、次のニュース記事の解説に入る前に一次的に無言状態となる。
【００６９】
そこで、本実施の形態においては、テロップフレームの直前に在って、且つ、人の顔が検出されたカット点画像の集合に対して、上記類似度を用いたクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clstから一つのニュース記事の仮の始点startと仮の終点endとを求める。そして、上記仮の始点start付近の無音区間終点Ｓと仮の終点end付近の無音区間始点Ｅとの間を一つのニュース記事として切り出すのである。
【００７０】
図１８は、上記解析結果統合部６によって、図１２,図１４〜図１７に示すニュース記事切り出し処理動作が行われるに先立って実行されるＣＭ区間を除去するＣＭ除去処理動作のフローチャートである。但し、図１８に示すＣＭ除去処理動作のフローチャートは、１５秒間のＣＭを検出除去するものである。したがって、３０秒間のＣＭを検出除去する場合には、図１８に示すＣＭ除去処理動作のフローチャート中における数字「１５」を「３０」に変更すればよい。
【００７１】
ステップＳ191で、開始カット点画像番号startが「０」に初期化される。ステップＳ192で、カット点画像間累積時間intervalが「０」に初期化され、終了カット点画像番号endが「start＋１」に初期化される。ステップＳ193で、図３に示すカット点画像検出処理動作によって検出されたカット点画像に間して、「end−1」番目のカット点画像と「end」番目のカット点画像との間（カット点画像間[end−1，end]）の時間が取得されて、カット点画像間累積時間intervalに加算される。ステップＳ194で、カット点画像間累積時間intervalが「１５」であるか否かが判別される。その結果、interval＝１５であればステップＳ195に進み、そうでなければステップＳ197に進む。
【００７２】
ステップＳ195で、当該カット点画像間[end−1，end]がＣＭ区間と判定されて映像データが削除される。そして、開始カット点画像番号startが「end」に更新される。こうすることによって、以降のニュース記事切り出し処理動作等においては、ＣＭ区間が処理対象から外されることになる。
【００７３】
ステップＳ196で、上記開始カット点画像番号startが「総カット点画像数Ｎ−１」よりも小さいか否かが判別される。その結果、start＜(Ｎ−１)であれば、上記ステップＳ192に戻って次のＣＭの検出処理に移行する。一方、start≧(Ｎ−１)であればＣＭ除去処理動作を終了する。
【００７４】
ステップＳ197で、上記開始カット点画像番号startが、「総カット点画像数Ｎ−１」よりも小さいか否かが判別される。その結果、start＜(Ｎ−１)であればステップＳ198に進み、start≧(Ｎ−１)であればＣＭ除去処理動作を終了する。ステップＳ198で、上記カット点画像間累積時間intervalが「１５」以上であるか否かが判別される。その結果、interval≧１５である場合にはステップＳ200に進み、interval＜１５である場合にはステップＳ199に進む。ステップＳl99で、終了カット点画像番号endがインクリメントされる。そうした後、上記ステップＳl93に戻って当該ＣＭの検出処理が続行される。ステップＳ200で、上記開始カット点画像番号startがインクリメントされる。そうした後、上記ステップＳ192に戻って、次のＣＭの検出処理に移行する。そして、上記ステップＳ196,Ｓ197において、start≧(Ｎ−１)であると判別されるとＣＭ除去処理動作を終了する。
【００７５】
このように、本実施の形態においては、図３に示すカット点画像検出処理動作によって検出されたカット点画像に間して、先頭から順次カット点画像間の累積時間を取得する。そして、カット点画像間累積時間が１５秒になった場合には、そのカット点画像間はＣＭ区間であるとしてその間の映像を削除する。そうすることによって、以後のニュース記事切り出し処理等において、ＣＭ区間を処理対象から外すことができるのである。
【００７６】
尚、本実施の形態においては、上述の方法によってＣＭを検出したが、他の方法によってＣＭ検出を行なっても一向に構わない。
【００７７】
上述のように、本実施の形態においては、映像分離部２によって、入力映像を動画像部分と音声部分に分離する。そして、動画像解析部４によって上記動画像が解析され、音声解析部５によって上記音声が解析される。
【００７８】
その場合における動画像の解析は、
(１) 現フレームの色相ヒストグラムhist1が、直前フレームの色相ヒストグラムhist2に対して閾値ＴＨ以上変化した場合には、現フレームをカット点画像として検出する。
(２) 両隣画素のＶ値の差の絶対値を画素値とするエッジ画像edge1のｙ軸への投影ヒストグラムおよびｘ軸への投影ヒストグラムに山が在る場合には、現フレームをテロップフレームとして検出する。
(３) 入力画像を類似色の領域に分割して特微量を抽出し、各領域の特徴量に基づいて上記状態遷移モデルにしたがって各領域の状態の遷移を繰り返す。そして、最終的に状態ラベルfaceを持つ領域が存在する場合には、人物の顔を検出したと判断する。
【００７９】
また、上記音声の解析は、
(４) 音声区間[sp,ep]におけるパワーｐの分散値Ｖarが閾値ＴＨより小さく、直前区間が無音区間でなければ無音区間の始端startに「sp」を設定する一方、上記直前区間が無音区間であれば無音区間の終端endに「ep」を設定する。そして、次に上記分散値Ｖarが閾値ＴＨ以上になると、区間[start,end]を無音区間として検出する。
【００８０】
そして、上記動画像解結果および音声解析結果に基づいて、解析結果統合部６によって、以下の方法によってニュース記事を切り出す。
【００８１】
(Ａ) 総てのカット点画像間の類似度Ｓimilar(ｉ,ｊ)が閾値ＴＨより大きい頻度を表す頻度ヒストグラムＨist[i],Ｈist[j]を求め、最大頻度位置Ｍaxを含むようにクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clst間を一つのニュース記事として切り出す。
【００８２】
したがって、上記色相ヒストグラムの変化点であるカット点画像(ニュースキャスタの画像)に基づいて、ニュース映像からニュース記事を切り出すことができる。
【００８３】
(Ｂ) テロップフレームの直前に在るカット点画像の集合に対して、上記類似度を用いたクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clst間を一つのニュース記事として切り出す。
【００８４】
したがって、上記カット点画像(ニュースキャスタの画像)とテロップフレームとに基づいて、ニュース映像から更に精度よくニュース記事を切り出すことができる。
【００８５】
(Ｃ) テロップフレームの直前に在って、且つ、顔が検出されたカット点画像の集合に対して、上記類似度を用いたクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clst間を一つのニュース記事として切り出す。
【００８６】
したがって、上記テロップフレームと顔が検出されたカット点画像(ニュースキャスタの画像)とに基づいて、ニュース映像から更に精度よくニュース記事を切り出すことができる。
【００８７】
(Ｄ) 無音区間の間を一つのニュース記事として切り出す。したがって、音声情報(ニュースキャスタの無言区間)に基づいて、ニュース映像からニュース記事を切り出すことができる。
【００８８】
(Ｅ) テロップフレームの直前に在って、且つ、顔が検出されたカット点画像の集合に対して、上記類似度を用いたクラスタリングを行う。そして、第１クラスタに属する夫々のカット点画像clstから一つのニュース記事の仮の始点startと仮の終点endとを求める。そして、仮の始点start付近の無音区間終点Ｓと仮の終点end付近の無音区間始点Ｅとの間を一つのニュース記事として切り出す。
【００８９】
したがって、上記テロップフレームと顔が検出されたカット点画像(ニュースキャスタの画像)と音声情報(ニュースキャスタの無言区間)とに基づいて、ニュース映像から更に精度よくニュース記事を切り出すことができる。
【００９０】
さらに、上記解析結果統合部６は、上述のようなニュース記事切り出し処理を行うに先立って、上記カット点画像の列から累積時間が１５秒になるカット点画像間を検索し、累積時間が１５秒であるカット点画像間をＣＭと確定して削除する。したがって、以後のニュース記事切り出し処理等において、上記ＣＭ区間を処理対象から外すことができるのである。
【００９１】
尚、この発明のニュース記事切り出し装置においては、上記色相ヒストグラムの変化点であるカット点画像に基づくニュース記事切り出し方法、上記カット点画像とテロップフレームとに基づくニュース記事切り出し方法、上記テロップフレームと顔が検出されたカット点画像とに基づくニュース記事切り出し方法、音声情報(無音区間)に基づくニュース記事切り出し方法、上記テロップフレームと顔が検出されたカット点画像と音声情報(無音区間)とに基づくニュース記事切り出し方法の総てが実現可能な構成を有する必要は無い。上記各ニュース記事切り出し方法から適宜選択すればよい。
【００９２】
【発明の効果】
以上より明らかなように、この発明のニュース記事切り出し装置は、映像分離手段によってニュース映像を動画部分と音声部分とに分離し、この分離された動画からカット点画像検出手段によってカット点画像(動画の変化点)を検出し、テロップ検出手段によってテロップを検出し、顔検出手段によって顔の画像を検出し、上記分離された音声から無音検出手段によって無音部分を検出し、類似度算出手段によって、上記テロップの直前に位置して人物の顔が映っているカット点画像間の類似度を算出し、記事切り出し手段によって、上記テロップの直前に位置して顔が映っている類似度の高いカット点画像を選出し、この選出カット点画像近傍に在る無音部分の間を記事として切り出すので、テロップの直前に在る類似している人物の顔が映っている動画の変化点の位置の近傍の無音部分間で、ニュース記事を切り出すことができる。
【００９３】
すなわち、この発明によれば、テロップの映像を参照して、上記動画像が人物の映像、すなわちニュースキャスタの映像に切り変った時点であって、且つ、次のニュース記事の開始前に上記ニュースキャスタが無言状態になった時点を的確に検出して、ニュース記事を更に正しく切り出すことができるのである。
【００９４】
また、上記ニュース記事切り出し装置は、上記記事の切り出しに先立って、上記検出された各カット点画像間のうちＣＭに該当するカット点画像間を検出して除去するＣＭ除去手段を備えれば、ＣＭ区間のニュース映像を事前に除去できる。したがって、以後に行われる上記記事切り出し手段による記事切り出しの際にはニュース記事のみを切り出すことができ、誤検出を低減した精度の高いニュース記事切り出しが可能になるのである。
【図面の簡単な説明】
【図１】  この発明のニュース記事切り出し装置のブロック図である。
【図２】  図１に示すニュース記事切り出し装置によって実行されるニュース記事切り出し手順の概略を示すフローチャートである。
【図３】  図２における動画像解析時に行われるカット点画像検出処理動作のフローチャートである。
【図４】  図３に示すカット点画像検出処理動作において実行される色相ヒストグラム生成処理動作のフローチャートである。
【図５】  図２における動画像解析時に行われるテロップフレーム検出処理動作のフローチャートである。
【図６】  テロップの候補領域と投影ヒストグラムの山との関係を示す図である。
【図７】  図５示すテロップフレーム検出処理動作において実行されるエッジ画像生成処理動作のフローチャートである。
【図８】  図５示すテロップフレーム検出処理動作において実行される投影ヒストグラム生成処理動作のフローチャートである。
【図９】  図２における動画像解析時に行われる人物の顔検出処理動作のフローチャートである。
【図１０】  状態遷移モデルの一例を示す図である。
【図１１】  図２における音声解析時に行われる無音区間検出処理動作のフローチャートである。
【図１２】  図１における解析結果統合部によって行われるニュース記事切り出し処理動作のフローチャートである。
【図１３】  図１２に示すニュース記事切り出し処理動作において実行されるクラスタリング処理動作のフローチャートである。
【図１４】  図１２とは異なるニュース記事切り出し処理動作のフローチャート図である。
【図１５】  図１２および図１４とは異なるニュース記事切り出し処理動作のフローチャートである。
【図１６】  図１２,図１４および図１５とは異なるニュース記事切り出し処理動作のフローチャートである。
【図１７】  図１２および図１４〜図１６とは異なるニュース記事切り出し処理動作のフローチャートである。
【図１８】  図１における解析結果統合部によって実行されるＣＭ除去処理動作のフローチャートである。
【符号の説明】
１…Ａ/Ｄ変換部、
２…映像分離部、
３…メモリ、
４…動画像解析部、
５…音声解析部、
６…解析結果統合部、
７…映像蓄積部。
【図１】
0004253410.tif 000005
【図２】
0004253410.tif 000006
【図３】
0004253410.tif 000007
【図４】
0004253410.tif 000008
【図５】
0004253410.tif 000009
【図６】
0004253410.tif 000010
【図７】
0004253410.tif 000011
【図８】
0004253410.tif 000012
【図９】
0004253410.tif 000013
【図１０】
0004253410.tif 000014
【図１１】
0004253410.tif 000015
【図１２】
0004253410.tif 000016
【図１３】
0004253410.tif 000017
【図１４】
0004253410.tif 000018
【図１５】
0004253410.tif 000019
【図１６】
0004253410.tif 000020
【図１７】
0004253410.tif 000021
【図１８】
0004253410.tif 000022