(57)【要約】【課題】  アンカーショット検出方法及び装置を提供する。【解決手段】  動映像をオーディオ信号及びビデオ信号に分離する段階と、前記ビデオ信号を利用してショットの境界を決定する段階と、前記オーディオ信号において、第１閾値より長いショットのうち、第２閾値より長い黙音区間を有するショットを前記境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして決定する段階とを備えることを特徴とするアンカーショット検出方法である。これにより、既定のアンカー映像モデルなしにアンカーショットを有するニュースのような動映像に適応してアンカー映像モデルを生成でき、アンカーの服やアンカーの顔色が背景色と似ている場合にもアンカーショットを確実に検出でき、最初のアンカーショットがなくてもアンカーショットを検出でき、アンカーショットと類似したリポートショットをアンカーショットと誤って検出する可能性を排除できるなど、アンカーショットを正確に検出できる。【選択図】      図１
2005237001.tif 000002
【特許請求の範囲】
【請求項１】
動映像をオーディオ信号及びビデオ信号に分離する段階と、
前記ビデオ信号を利用してショットの境界を決定する段階と、
前記オーディオ信号において、第１閾値より長いショットのうち、第２閾値より長い黙音区間を有するショットを前記境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして決定する段階と
を備えることを特徴とするアンカーショット検出方法。
【請求項２】
前記ショットの境界を決定する段階は、
前記動映像の変化が相対的に大きい部分を前記境界として決定する段階を備えることを特徴とする請求項１に記載のアンカーショット検出方法。
【請求項３】
前記ショットの境界を決定する段階は、
前記動映像の明るさ、色量及び動きのうち少なくとも１つの変化を感知して前記境界を決定することを特徴とする請求項２に記載のアンカーショット検出方法。
【請求項４】
前記アンカーショット検出方法は、
前記オーディオ信号をダウンサンプリングする段階をさらに備え、
前記ダウンサンプリングされたオーディオ信号において、前記第１閾値より長いショットのうち、前記第２閾値より長い前記黙音区間を有するショットを前記境界を利用して前記アンカー音声ショットとして決定することを特徴とする請求項１に記載のアンカーショット検出方法。
【請求項５】
前記アンカー音声ショットを決定する段階は、
前記ショットの境界を利用して前記ショットそれぞれの長さを求める段階と、
前記ショットのうちから前記第１閾値を超える長さを有するショットを選択する段階と、
前記選択されたショットそれぞれの黙音区間の長さを求める段階と、
前記選択されたショットのうちから前記第２閾値を超える長さの前記黙音区間を有するショットを抽出する段階と
を備えることを特徴とする請求項４に記載のアンカーショット検出方法。
【請求項６】
前記選択されたショットそれぞれの前記黙音区間の長さを求める段階は、
前記選択されたショットそれぞれに含まれたフレームそれぞれのエネルギーを求める段階と、
前記エネルギーを利用して黙音閾値を求める段階と、
前記選択されたショットそれぞれの黙音区間を前記黙音閾値を利用して決定する段階と、
前記黙音区間に含まれたフレームの個数をカウントし、カウントされた結果を前記黙音区間の長さとして決定する段階と
を備えることを特徴とする請求項５に記載のアンカーショット検出方法。
【請求項７】
前記選択されたショットそれぞれに含まれたフレームそれぞれの前記エネルギーは、下記式（１）のように求められることを特徴とする請求項６に記載のアンカーショット検出方法：
2005237001.tif 000012
前記式（１）で、Ｅiは、前記各ショットに含まれたフレームのうちｉ番目のフレームのエネルギーを意味し、ｆdは、前記オーディオ信号をダウンサンプリングする周波数を意味し、ｔfは、前記ｉ番目のフレームの長さを意味し、ｐｃｍは、前記ｉ番目のフレームに含まれた各サンプルのパルスコード変調値を意味する。
【請求項８】
前記黙音閾値を求める段階は、
前記求められたエネルギーそれぞれを整数化する段階と、
前記整数化された結果を利用してエネルギー毎のフレームの分布を求める段階と、
前記エネルギー毎のフレームの分布において基準エネルギーを前記黙音閾値として決定する段階と
を備え、
前記基準エネルギー以下のエネルギーに分布されたフレームの個数は、
前記選択されたショットに含まれた総フレーム個数の所定パーセントに該当する個数に近似することを特徴とする請求項６に記載のアンカーショット検出方法。
【請求項９】
前記アンカー音声ショットを決定する段階は、
前記抽出されたショットのうちから相対的に長い所定パーセントのショットのみを選択し、前記アンカー音声ショットとして決定する段階をさらに備えることを特徴とする請求項５に記載のアンカーショット検出方法。
【請求項１０】
前記カウントする段階で、前記選択されたショットそれぞれの最終フレームは、カウントされないことを特徴とする請求項６に記載のアンカーショット検出方法。
【請求項１１】
前記カウントする段階で、前記黙音閾値を超えるエネルギーを有するフレームが連続すれば、前記カウント動作が中止されることを特徴とする請求項６に記載のアンカーショット検出方法。
【請求項１２】
前記アンカーショット検出方法は、
前記アンカー音声ショットのうち複数のアンカーの音声が含まれたショットである複数アンカー音声ショットを分離する段階と、
前記アンカー音声ショットのうち前記複数アンカー音声ショットを除外したショットである単一アンカー音声ショットをグルーピングし、前記複数アンカー音声ショットをグルーピングし、グルーピングされた結果を類似グループとして決定する段階と、
前記類似グループそれぞれの代表値をアンカー音声モデルとして求める段階と
をさらに備えることを特徴とする請求項１に記載のアンカーショット検出方法。
【請求項１３】
前記アンカー音声ショットのうち前記複数アンカー音声ショットを分離する段階は、
前記アンカー音声ショットそれぞれから黙音フレーム及び子音フレームを除去する段階と、
前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに含まれたフレームそれぞれの係数別にメル周波数ケプストラム係数を求め、前記複数アンカー音声ショットを前記メル周波数ケプストラム係数を利用して検出する段階と
を備えることを特徴とする請求項１２に記載のアンカーショット検出方法。
【請求項１４】
前記黙音フレームを除去する段階は、
前記アンカー音声ショットそれぞれに含まれたフレームそれぞれのエネルギーを求める段階と、
前記エネルギーを利用して黙音閾値を求める段階と、
前記黙音閾値を利用して前記アンカー音声ショットそれぞれの黙音区間を決定する段階と、
前記アンカー音声ショットそれぞれから、前記決定された黙音区間に含まれた前記黙音フレームを除去する段階と
を備えることを特徴とする請求項１３に記載のアンカーショット検出方法。
【請求項１５】
前記子音フレームを除去する段階は、
前記アンカー音声ショットそれぞれに含まれたフレーム別ゼロクロッシング比率を求める段階と、
前記アンカー音声ショットそれぞれに含まれたフレームそれぞれの前記ゼロクロッシング比率を利用して子音フレームを決定する段階と、
前記アンカー音声ショットそれぞれから、前記決定された子音フレームを除去する段階と
を備えることを特徴とする請求項１３に記載のアンカーショット検出方法。
【請求項１６】
前記ゼロクロッシング比率は、下記式（２）のように表現されることを特徴とする請求項１５に記載のアンカーショット検出方法：
2005237001.tif 000013
ここで、ＺＣＲは、ゼロクロッシング比率を意味し、＃は、パルスコード変調データのデシベル値の符号が変化する回数を意味し、ｆdは、前記オーディオ信号をダウンサンプリングする周波数を意味し、ｔfは、前記ゼロクロッシング比率を求めるフレームの長さを意味する。
【請求項１７】
前記子音フレームを決定する段階は、
前記アンカー音声ショットに含まれたフレームの前記ゼロクロッシング比率の平均値を求める段階と、
前記アンカー音声ショットそれぞれから、前記平均値の所定倍数より大きい前記ゼロクロッシング比率を有するフレームを前記子音フレームとして決定する段階と
を備えることを特徴とする請求項１５に記載のアンカーショット検出方法。
【請求項１８】
前記複数アンカー音声ショットを検出する段階は、
前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに対して、所定長さを有するウィンドウを所定時間間隔で移動させながら、前記各ウィンドウに含まれたフレームの係数別メル周波数ケプストラム係数の平均値を求める段階と、
隣接する前記ウィンドウ間に前記メル周波数ケプストラム係数の平均値間の差を求める段階と、
前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれから、第３閾値より大きい前記差を有する前記アンカー音声ショットを前記複数アンカー音声ショットとして決定する段階と
を備えることを特徴とする請求項１３に記載のアンカーショット検出方法。
【請求項１９】
前記複数アンカー音声ショットを検出する段階は、
前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに含まれたフレームそれぞれにおいて、前記係数別メル周波数ケプストラム係数と所定周波数帯域の電力スペクトル密度とを求め、前記複数アンカー音声ショットを前記係数別メル周波数ケプストラム係数と電力スペクトル密度とを利用して検出することを特徴とする請求項１３に記載のアンカーショット検出方法。
【請求項２０】
前記複数アンカー音声ショットを検出する段階は、
前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに対して、所定長さを有するウィンドウを所定時間間隔で移動させながら、前記各ウィンドウに含まれたフレームの前記係数別メル周波数ケプストラム係数の平均値と前記所定周波数帯域の電力スペクトル密度の平均デシベル値とを求める段階と、
隣接する前記ウィンドウ間で前記メル周波数ケプストラム係数の平均値間の差と前記電力スペクトル密度の平均デシベル値間の差とを求める段階と、
前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれで、前記メル周波数ケプストラム係数の平均値間の差と前記電力スペクトル密度の平均デシベル値間の差の加重和を求める段階と、
第４閾値より大きい前記加重和を有する前記アンカー音声ショットを前記複数アンカー音声ショットとして決定する段階と
を備えることを特徴とする請求項１９に記載のアンカーショット検出方法。
【請求項２１】
前記単一アンカー音声ショットをグルーピングし、前記類似グループを決定する段階は、
前記単一アンカー音声ショットそれぞれから、係数別メル周波数ケプストラム係数の平均値を求める段階と、
２つの単一アンカー音声ショットの係数別メル周波数ケプストラム係数の平均値を利用して算出されたメル周波数ケプストラム係数の距離がアンカー音声ショットのうち最も近くて第５閾値より小さい場合、前記２つの単一アンカー音声ショットを類似候補ショットとして決定する段階と、
前記類似候補ショットの所定周波数帯域の電力スペクトル密度の平均デシベル値間の差を求める段階と、
第６閾値より前記平均デシベル値間の差が小さい場合、前記類似候補ショットをグルーピングし、前記類似グループとして決定する段階と、
あらゆる前記単一アンカー音声ショットがグルーピングされているか否かを判断する段階とを備え、
前記あらゆる単一アンカー音声ショットがグルーピングされていないと判断されれば、他の２つの単一アンカー音声ショットに対して前記類似候補ショットを決定する段階、前記差を求める段階及び前記類似グループを決定する段階が行われることを特徴とする請求項１２に記載のアンカーショット検出方法。
【請求項２２】
前記所定周波数帯域は、１００ないし１５０Ｈｚであることを特徴とする請求項１９または２１に記載のアンカーショット検出方法。
【請求項２３】
前記単一アンカー音声ショットをグルーピングし、前記類似グループを決定する段階は、
前記第６閾値より前記平均デシベル値間の前記差が小さくない場合、前記類似候補ショットにフラグを割り当てる段階をさらに備え、
前記フラグを割り当てた後に、前記フラグが割り当てられた前記類似候補ショットに対して前記類似候補ショットを決定する段階、前記差を求める段階及び前記類似グループを決定する段階が再び行われないことを特徴とする請求項２１に記載のアンカーショット検出方法。
【請求項２４】
前記代表値は、前記類似グループに属するショットの係数別メル周波数ケプストラム係数の平均値及び前記類似グループに属するショットの所定周波数帯域の電力スペクトル密度の平均デシベル値であることを特徴とする請求項１２に記載のアンカーショット検出方法。
【請求項２５】
前記アンカーショット検出方法は、
前記類似グループそれぞれに含まれたフレームのうち、初期フレームについての情報を利用して別途の音声モデルを生成する段階をさらに備えることを特徴とする請求項１２に記載のアンカーショット検出方法。
【請求項２６】
前記アンカーショット検出方法は、アンカー映像モデルを生成する段階をさらに備えることを特徴とする請求項１，１２及び２５のうちいずれか１項に記載のアンカーショット検出方法。
【請求項２７】
前記アンカーショット検出方法は、
前記生成されたアンカー映像モデルを分割されたショットそれぞれのキーフレームと比較し、アンカー候補ショットを検出する段階をさらに備えることを特徴とする請求項２６に記載のアンカーショット検出方法。
【請求項２８】
前記アンカーショット検出方法は、
前記別途の音声モデルと前記アンカー音声モデルとを利用し、前記アンカー候補ショットがアンカー映像を含んでいる実際アンカーショットであるか否かを検証する段階をさらに備えることを特徴とする請求項２７に記載のアンカーショット検出方法。
【請求項２９】
前記アンカー映像モデルは、前記アンカー音声ショットを利用して生成されることを特徴とする請求項２６に記載のアンカーショット検出方法。
【請求項３０】
前記アンカー映像モデルは、ビジュアル情報を利用して生成されることを特徴とする請求項２６に記載のアンカーショット検出方法。
【請求項３１】
前記アンカー映像モデルは、前記類似グループを利用して生成されることを特徴とする請求項２６に記載のアンカーショット検出方法。
【請求項３２】
前記実際アンカーショットであるか否かを検証する段階は、
前記アンカー候補ショットそれぞれの代表値を前記アンカー候補ショットを検出する時に求められた前記アンカー候補ショットの発生時間を利用して求める段階と、
前記アンカー候補ショットそれぞれの代表値と前記アンカー音声モデルとの差を求める段階と、
前記アンカー候補ショットそれぞれに対して、前記アンカー候補ショットを検出する時に求められた前記アンカー候補ショットと前記アンカー映像モデルとの色差情報と前記差との加重和を求める段階と、
第７閾値より前記加重和が小さいとき、前記アンカー候補ショットを前記実際アンカーショットとして決定する段階と
をさらに備えることを特徴とする請求項２８に記載のアンカーショット検出方法。
【請求項３３】
動映像をオーディオ信号及びビデオ信号に分離する信号分離部と、
前記分離されたビデオ信号を利用してショットの境界を決定する境界決定部と、
前記オーディオ信号において、第１閾値より長いショットのうち、第２閾値より長い黙音区間を有するショットを前記境界決定部から入力した境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして出力するアンカー音声ショット抽出部と
を備えることを特徴とするアンカーショット検出装置。
【請求項３４】
前記アンカーショット検出装置は、
前記分離されたオーディオ信号をダウンサンプリングするダウンサンプリング部をさらに備え、
前記アンカー音声ショット抽出部は、前記ダウンサンプリングされたオーディオ信号において、前記第１閾値より長いショットのうち、前記第２閾値より長い前記黙音区間を有するショットを前記境界を利用し、前記アンカー音声ショットとして抽出することを特徴とする請求項３３に記載のアンカーショット検出装置。
【請求項３５】
前記アンカーショット検出装置は、
前記アンカー音声ショットのうち複数のアンカーの音声が含まれたショットを分離するショット分離部と、
前記アンカー音声ショットのうち、前記複数のアンカーの音声が含まれたショットである複数アンカー音声ショットを除外したショットである単一アンカー音声ショットをグルーピングし、前記複数アンカー音声ショットをグルーピングし、グルーピングされた結果を類似グループとして決定するショットグルーピング部と、
前記類似グループそれぞれの代表値を計算してアンカー音声モデルとして出力する代表値生成部と
をさらに備えることを特徴とする請求項３３に記載のアンカーショット検出装置。
【請求項３６】
前記アンカーショット検出装置は、
前記類似グループそれぞれに含まれたフレームのうち、初期フレームについての情報を利用して別途の音声モデルを生成する別途の音声モデル生成部をさらに備えることを特徴とする請求項３５に記載のアンカーショット検出装置。
【請求項３７】
前記アンカーショット検出装置は、
アンカー映像モデルを生成する映像モデル生成部をさらに備えることを特徴とする請求項３３，３５及び３６のうちいずれか１項に記載のアンカーショット検出装置。
【請求項３８】
前記アンカーショット検出装置は、
前記生成されたアンカー映像モデルを分割されたショットそれぞれのキーフレームと比較し、アンカー候補ショットを検出するアンカー候補ショット検出部をさらに備えることを特徴とする請求項３７に記載のアンカーショット検出装置。
【請求項３９】
前記アンカーショット検出装置は、
前記別途の音声モデルと前記アンカー音声モデルとを利用し、前記アンカー候補ショットがアンカー映像を含んでいる実際アンカーショットであるか否かを検証するアンカーショット検証部をさらに備えることを特徴とする請求項３８に記載のアンカーショット検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動映像の処理に係り、特に動映像でアンカーショット（ａｎｃｈｏｒｐｅｒｓｏｎ  ｓｈｏｔ）を検出する方法及び装置に関する。
【背景技術】
【０００２】
ニュースのような放送信号及び映画の動映像でアンカーショットを検出する従来の方法のうち一つは、アンカーショットに対するテンプレートを使用してアンカーショットを検出することである。このような従来の方法は、アンカーショットのフォーマット情報をあらかじめ仮定して認知し、認知したフォーマット情報を利用してアンカーショットを抽出したり、またはアンカーの顔やアンカーの服の色を利用して生成したテンプレートを利用してアンカーショットを抽出したりする。しかし、このような方法は、既定のアンカー映像モデル（ｔｅｍｐｌａｔｅ  ｏｆ  ｔｈｅ  ａｎｃｈｏｒｐｅｒｓｏｎ）を使用するために、アンカーショットのフォーマット変化によってアンカーショットの検出性能を非常に低下させることがある。その上、顔や服の色を利用してアンカーショットを検出する従来の方法は、顔や服の色が背景の色と似ているとき、または照明が変わるときにアンカーショット検出性能が低下する。また、最初のアンカーショットを利用してアンカーショット情報を求める従来の方法は、アンカーを検出するときに当該ニュースでアンカーの数やアンカーのフォーマットが変わる程度によって影響を受けるという問題点を有する。すなわち、最初のアンカーショットを誤って検出した場合、アンカー検出性能が低下する。
【０００３】
一方、アンカーショットを検出する従来の方法のうち他の一つは、アンカーショット内に類似色分布やショットの発生時点のような特性値をクラスタリング（ｃｌｕｓｔｅｒｉｎｇ）してアンカーショットを検出する。このような従来の方法は、アンカーショットと類似した色分布を有するリポート（ｒｅｐｏｒｔ）ショットをアンカーショットと誤って検出し、１つの突発的に発生するアンカーショットを検出できないという問題点を有する。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、動映像から分離されたオーディオ信号を利用し、すなわちアンカーの音声情報を利用し、アンカーショットを検出できるアンカーショット検出方法を提供するところにある。
【０００５】
本発明が解決しようとする他の技術的課題は、動映像から分離されたオーディオ信号を利用し、すなわちアンカーの音声情報を利用し、アンカーショットを検出できるアンカーショット検出装置を提供するところにある。
【課題を解決するための手段】
【０００６】
本発明に係るアンカーショット検出方法は、動映像をオーディオ信号及びビデオ信号に分離する段階と、前記ビデオ信号を利用してショットの境界を決定する段階と前記オーディオ信号において、第１閾値より長いショットのうち、第２閾値より長い黙音区間（ｓｉｌｅｎｔ ｓｅｃｔｉｏｎ）を有するショットを前記境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして決定する段階とを備えて構成される。
【０００７】
ここで、前記境界を利用してショットを抽出する段階では、前記オーディオ信号における第１の所定長さを有する部分から、前段において決定されたショットの境界を利用して、第２の所定長さを有する黙音区間を抽出している。そして、第１の所定長さを有する部分は、第１の閾値との比較により決定されるものであり、黙音区間は、第２の閾値との比較により決定されるものである。
【０００８】
前記ショットの境界を決定する段階は、前記動映像の変化が相対的に大きい部分を前記境界として決定する段階を備えることが好ましい。
【０００９】
前記ショットの境界を決定する段階は、前記動映像の明るさ、色量及び動きのうち少なくとも１つの変化を感知して前記境界を決定することが好ましい。
【００１０】
前記アンカーショット検出方法は、前記オーディオ信号をダウンサンプリングする段階をさらに備え、前記ダウンサンプリングされたオーディオ信号において、前記第１閾値より長いショットのうち、前記第２閾値より長い前記黙音区間を有するショットを前記境界を利用して前記アンカー音声ショットとして決定することが好ましい。
【００１１】
前記アンカー音声ショットを決定する段階は、前記ショットの境界を利用して前記ショットそれぞれの長さを求める段階と、前記ショットのうちから前記第１閾値を超える長さを有するショットを選択する段階と、前記選択されたショットそれぞれの黙音区間の長さを求める段階と、前記選択されたショットのうちから前記第２閾値を超える長さの前記黙音区間を有するショットを抽出する段階とを備えることが好ましい。
【００１２】
前記選択されたショットそれぞれの前記黙音区間の長さを求める段階は、前記選択されたショットそれぞれに含まれたフレームそれぞれのエネルギーを求める段階と、前記エネルギーを利用して黙音閾値を求める段階と、前記選択されたショットそれぞれの黙音区間を前記黙音閾値を利用して決定する段階と、前記黙音区間に含まれたフレームの個数をカウントし、カウントされた結果を前記黙音区間の長さとして決定する段階とを備えることが好ましい。
【００１３】
前記選択されたショットそれぞれに含まれたフレームそれぞれの前記エネルギーは、下記式（１）のように求められることが好ましい。
【数１】
2005237001.tif 000003
【００１４】
前記式（１）で、Ｅiは、前記各ショットに含まれたフレームのうちｉ番目のフレームのエネルギーを意味し、ｆdは、前記オーディオ信号をダウンサンプリングする周波数を意味し、ｔfは、前記ｉ番目のフレームの長さを意味し、ｐｃｍは、前記ｉ番目のフレームに含まれた各サンプルのパルスコード変調値を意味する。
【００１５】
前記黙音閾値を求める段階は、前記求められたエネルギーそれぞれを整数化する段階と、前記整数化された結果を利用してエネルギー毎のフレームの分布を求める段階と、前記エネルギー毎のフレームの分布において基準エネルギーを前記黙音閾値として決定する段階とを備え、前記基準エネルギー以下のエネルギーに分布されたフレームの個数は、前記選択されたショットに含まれた総フレーム個数の所定パーセントに該当する個数に近似することが好ましい。
【００１６】
前記アンカー音声ショットを決定する段階は、前記抽出されたショットのうちから相対的に長い所定パーセントのショットのみを選択し、前記アンカー音声ショットとして決定する段階をさらに備えることが好ましい。
【００１７】
前記カウントする段階で、前記選択されたショットそれぞれの最終フレームは、カウントされないことが好ましい。
【００１８】
前記カウントする段階で、前記黙音閾値を超えるエネルギーを有するフレームが連続すれば、前記カウント動作が中止されることが好ましい。
【００１９】
前記アンカーショット検出方法は、前記アンカー音声ショットのうち複数のアンカーの音声が含まれたショットである複数アンカー音声ショットを分離する段階と、前記アンカー音声ショットのうち前記複数アンカー音声ショットを除外したショットである単一アンカー音声ショットをグルーピングし、前記複数アンカー音声ショットをグルーピングし、グルーピングされた結果を類似グループとして決定する段階と、前記類似グループそれぞれの代表値をアンカー音声モデルとして求める段階と
をさらに備えることが好ましい。
【００２０】
前記アンカー音声ショットのうち前記複数アンカー音声ショットを分離する段階は、前記アンカー音声ショットそれぞれから黙音フレーム及び子音フレームを除去する段階と、前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに含まれたフレームそれぞれの係数別にメル周波数ケプストラム係数を求め、前記複数アンカー音声ショットを前記メル周波数ケプストラム係数を利用して検出する段階とを備えることが好ましい。
【００２１】
前記黙音フレームを除去する段階は、前記アンカー音声ショットそれぞれに含まれたフレームそれぞれのエネルギーを求める段階と、前記エネルギーを利用して黙音閾値を求める段階と、前記黙音閾値を利用して前記アンカー音声ショットそれぞれの黙音区間を決定する段階と、前記アンカー音声ショットそれぞれから、前記決定された黙音区間に含まれた前記黙音フレームを除去する段階とを備えることが好ましい。
【００２２】
前記子音フレームを除去する段階は、前記アンカー音声ショットそれぞれに含まれたフレーム別ゼロクロッシング比率を求める段階と、前記アンカー音声ショットそれぞれに含まれたフレームそれぞれの前記ゼロクロッシング比率を利用して子音フレームを決定する段階と、前記アンカー音声ショットそれぞれから、前記決定された子音フレームを除去する段階とを備えることが好ましい。
【００２３】
前記ゼロクロッシング比率は、下記式（２）のように表現されることが好ましい。
【数２】
2005237001.tif 000004
【００２４】
ここで、ＺＣＲは、ゼロクロッシング比率を意味し、＃は、パルスコード変調データのデシベル値の符号が変化する回数を意味し、ｆdは、前記オーディオ信号をダウンサンプリングする周波数を意味し、ｔfは、前記ゼロクロッシング比率を求めるフレームの長さを意味する。
【００２５】
前記子音フレームを決定する段階は、前記アンカー音声ショットに含まれたフレームの前記ゼロクロッシング比率の平均値を求める段階と、前記アンカー音声ショットそれぞれから、前記平均値の所定倍数より大きい前記ゼロクロッシング比率を有するフレームを前記子音フレームとして決定する段階とを備えることが好ましい。
【００２６】
前記複数アンカー音声ショットを検出する段階は、前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに対して、所定長さを有するウィンドウを所定時間間隔で移動させながら、前記各ウィンドウに含まれたフレームの係数別メル周波数ケプストラム係数の平均値を求める段階と、隣接する前記ウィンドウ間に前記メル周波数ケプストラム係数の平均値間の差を求める段階と、前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれから、第３閾値より大きい前記差を有する前記アンカー音声ショットを前記複数アンカー音声ショットとして決定する段階とを備えることが好ましい。
【００２７】
前記複数アンカー音声ショットを検出する段階は、前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに含まれたフレームそれぞれにおいて、前記係数別メル周波数ケプストラム係数と所定周波数帯域の電力スペクトル密度とを求め、前記複数アンカー音声ショットを前記係数別メル周波数ケプストラム係数と電力スペクトル密度とを利用して検出することが好ましい。
【００２８】
前記複数アンカー音声ショットを検出する段階は、前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれに対して、所定長さを有するウィンドウを所定時間間隔で移動させながら、前記各ウィンドウに含まれたフレームの前記係数別メル周波数ケプストラム係数の平均値と前記所定周波数帯域の電力スペクトル密度の平均デシベル値とを求める段階と、隣接する前記ウィンドウ間で前記メル周波数ケプストラム係数の平均値間の差と前記電力スペクトル密度の平均デシベル値間の差とを求める段階と、前記黙音フレーム及び前記子音フレームが除去された前記アンカー音声ショットそれぞれで、前記メル周波数ケプストラム係数の平均値間の差と前記電力スペクトル密度の平均デシベル値間の差の加重和を求める段階と、第４閾値より大きい前記加重和を有する前記アンカー音声ショットを前記複数アンカー音声ショットとして決定する段階とを備えることが好ましい。
【００２９】
前記単一アンカー音声ショットをグルーピングし、前記類似グループを決定する段階は、前記単一アンカー音声ショットそれぞれから、係数別メル周波数ケプストラム係数の平均値を求める段階と、２つの単一アンカー音声ショットの係数別メル周波数ケプストラム係数の平均値を利用して算出されたメル周波数ケプストラム係数の距離がアンカー音声ショットのうち最も近くて第５閾値より小さい場合、前記２つの単一アンカー音声ショットを類似候補ショットとして決定する段階と、前記類似候補ショットの所定周波数帯域の電力スペクトル密度の平均デシベル値間の差を求める段階と、第６閾値より前記平均デシベル値間の差が小さい場合、前記類似候補ショットをグルーピングし、前記類似グループとして決定する段階と、あらゆる前記単一アンカー音声ショットがグルーピングされているか否かを判断する段階とを備え、前記あらゆる単一アンカー音声ショットがグルーピングされていないと判断されれば、他の２つの単一アンカー音声ショットに対して前記類似候補ショットを決定する段階、前記差を求める段階及び前記類似グループを決定する段階が行われることが好ましい。
【００３０】
前記所定周波数帯域は、１００ないし１５０Ｈｚであることが好ましい。
【００３１】
前記単一アンカー音声ショットをグルーピングし、前記類似グループを決定する段階は、前記第６閾値より前記平均デシベル値間の前記差が小さくない場合、前記類似候補ショットにフラグを割り当てる段階をさらに備え、前記フラグを割り当てた後に、前記フラグが割り当てられた前記類似候補ショットに対して前記類似候補ショットを決定する段階、前記差を求める段階及び前記類似グループを決定する段階が再び行われないことが好ましい。
【００３２】
前記代表値は、前記類似グループに属するショットの係数別メル周波数ケプストラム係数の平均値及び前記類似グループに属するショットの所定周波数帯域の電力スペクトル密度の平均デシベル値であることが好ましい。
【００３３】
前記アンカーショット検出方法は、前記類似グループそれぞれに含まれたフレームのうち、初期フレームについての情報を利用して別途の音声モデルを生成する段階をさらに備えることが好ましい。
【００３４】
前記アンカーショット検出方法は、アンカー映像モデルを生成する段階をさらに備えることが好ましい。
【００３５】
前記アンカーショット検出方法は、前記生成されたアンカー映像モデルを分割されたショットそれぞれのキーフレームと比較し、アンカー候補ショットを検出する段階をさらに備えることが好ましい。
【００３６】
前記アンカーショット検出方法は、前記別途の音声モデルと前記アンカー音声モデルとを利用し、前記アンカー候補ショットがアンカー映像を含んでいる実際アンカーショットであるか否かを検証する段階をさらに備えることが好ましい。
【００３７】
前記アンカー映像モデルは、前記アンカー音声ショットを利用して生成されることが好ましい。
【００３８】
前記アンカー映像モデルは、ビジュアル情報を利用して生成されることが好ましい。
【００３９】
前記アンカー映像モデルは、前記類似グループを利用して生成されることが好ましい。
【００４０】
前記実際アンカーショットであるか否かを検証する段階は、前記アンカー候補ショットそれぞれの代表値を前記アンカー候補ショットを検出するときに求められた前記アンカー候補ショットの発生時間を利用して求める段階と、前記アンカー候補ショットそれぞれの代表値と前記アンカー音声モデルとの差を求める段階と、前記アンカー候補ショットそれぞれに対して、前記アンカー候補ショットを検出するときに求められた前記アンカー候補ショットと前記アンカー映像モデルとの色差情報と前記差との加重和を求める段階と、第７閾値より前記加重和が小さいとき、前記アンカー候補ショットを前記実際アンカーショットとして決定する段階とをさらに備えることが好ましい。
【００４１】
本発明に係るアンカーショット検出装置は、動映像をオーディオ信号及びビデオ信号に分離する信号分離部と、前記分離されたビデオ信号を利用してショットの境界を決定する境界決定部と、前記オーディオ信号において、第１閾値より長いショットのうち、第２閾値より長い黙音区間を有するショットを前記境界決定部から入力した境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして出力するアンカー音声ショット抽出部とを備えることが好ましい。
【００４２】
前記アンカーショット検出装置は、前記分離されたオーディオ信号をダウンサンプリングするダウンサンプリング部をさらに備え、前記アンカー音声ショット抽出部は、前記ダウンサンプリングされたオーディオ信号において、前記第１閾値より長いショットのうち、前記第２閾値より長い前記黙音区間を有するショットを前記境界を利用し、前記アンカー音声ショットとして抽出することが好ましい。
【００４３】
前記アンカーショット検出装置は、前記アンカー音声ショットのうち複数のアンカーの音声が含まれたショットを分離するショット分離部と、前記アンカー音声ショットのうち、前記複数のアンカーの音声が含まれたショットである複数アンカー音声ショットを除外したショットである単一アンカー音声ショットをグルーピングし、前記複数アンカー音声ショットをグルーピングし、グルーピングされた結果を類似グループとして決定するショットグルーピング部と、前記類似グループそれぞれの代表値を計算してアンカー音声モデルとして出力する代表値生成部とをさらに備えることが好ましい。
【００４４】
前記アンカーショット検出装置は、前記類似グループそれぞれに含まれたフレームのうち、初期フレームについての情報を利用して別途の音声モデルを生成する別途の音声モデル生成部をさらに備えることが好ましい。
【００４５】
前記アンカーショット検出装置は、アンカー映像モデルを生成する映像モデル生成部をさらに備えることが好ましい。
【００４６】
前記アンカーショット検出装置は、前記生成されたアンカー映像モデルを分割されたショットそれぞれのキーフレームと比較し、アンカー候補ショットを検出するアンカー候補ショット検出部をさらに備えることが好ましい。
【００４７】
前記アンカーショット検出装置は、前記別途の音声モデルと前記アンカー音声モデルとを利用し、前記アンカー候補ショットがアンカー映像を含んでいる実際アンカーショットであるか否かを検証するアンカーショット検証部をさらに備えることが好ましい。
【発明の効果】
【００４８】
本発明によるアンカーショット検出方法及び装置は、既定のアンカー映像モデルなしにアンカーショットを有するニュースのような動映像に適応してアンカー映像モデルを生成でき、アンカーの服やアンカーの顔色が背景色と似ている場合にもアンカーショットを確実に検出でき、最初のアンカーショットがなくてもアンカーショットを検出でき、アンカーショットと類似したリポートショットをアンカーショットと誤って検出する可能性を排除できるなど、アンカーショットを正確に検出でき、ストーリ単位でニュースを分割し、アンカーショットの種類を音声別または性別にグルーピングし、家庭用オーディオ／ビデオ記憶装置やコンテンツ提供用著作道具で動映像の内容にインデックスをつけ、ユーザが所望するアンカーのコメントが入ったアンカーショットのみを抽出して検索したり、または要約したりすることができるようにする。
【発明を実施するための最良の形態】
【００４９】
以下、本発明によるアンカーショット検出方法及びその方法の実施例それぞれを添付した図面を参照して次の通り説明する。
【００５０】
図１は本発明によるアンカーショット検出方法の一実施例を説明するためのフローチャートであり、動映像からアンカー音声ショットを求める段階（第１０ないし第１６段階）及びアンカー音声ショットからアンカー音声モデルを求める段階（第１８ないし第２４段階）からなる。
【００５１】
本発明によるアンカーショット検出方法は、まず動映像をオーディオ信号及びビデオ信号に分離する（第１０段階）。以下、動映像とは、映像だけではなく音声も含むと定義する。このとき、動映像は、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）により圧縮されたデータでありうる。もし、動映像がＭＰＥＧ−１で圧縮された場合、分離されたオーディオ信号の周波数は、例えば４８ｋＨｚまたは４４．１ｋＨｚになることがあり、これはコンパクトディスクの音質に該当する。第１０段階を行うために、動映像からロー（ｒａｗ）パルスコード変調（ＰＣＭ：Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）フォーマットを抽出し、抽出されたローＰＣＭフォーマットを分離されたオーディオ信号として決定できる。第１０段階後に、ビデオ信号を利用してショットの境界を決定する（第１２段階）。このために、動映像の変化が相対的に大きい部分を感知し、感知された変化の大きい部分をショットの境界として決定する。本発明によれば、動映像の明るさ、色量及び動きのうち少なくとも１つの変化を感知し、感知された結果で急激な変化がある部分をショットの境界として決定できる。
【００５２】
図２Ａ及び図２Ｂは、図１に図示された第１４段階を説明するための例示的な波形図であり、図２Ａは、分離されたオーディオ信号の波形図を表し、図２Ｂは、ダウンサンプリングされたオーディオ信号の波形図を表す。
【００５３】
第１２段階後に、オーディオ信号をダウンサンプリングする（第１４段階）。分離されたオーディオ信号のサイズは大きすぎるので、オーディオ信号の全体を分析せずともよい。従って、分離されたオーディオ信号を、例えば８ｋＨｚ、１２ｋＨｚあるいは１６ｋＨｚなどのダウンサンプリング周波数でダウンサンプリングする。このとき、ダウンサンプリングされた結果は、ウェーブフォーマットとして保存されうる。ここで、第１４段階は、図１に図示されたところと異なり、第１２段階が行われる以前に行われることもあり、または第１２段階と同時に行われることもある。
【００５４】
もし、動映像がＭＰＥＧ−１で圧縮され、分離されたオーディオ信号の周波数が４８ｋＨｚであり、分離されたオーディオ信号を８ｋＨｚでダウンサンプリングするなら、図２Ａに図示されたオーディオ信号は、図２Ｂに図示されたようにダウンサンプリングされうる。
【００５５】
第１４段階後に、ダウンサンプリングされたオーディオ信号のうち、第１閾値ＴＨ１より長く、第２閾値ＴＨ２より長い黙音区間を有するショットを第１２段階で求めた境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして決定する（第１６段階）。ここで、アンカー音声ショットとは、アンカーの音声を含むショットを意味するが、これに限定されずに記者の音声を含むショットまたはユーザに意味のある対象の音声を含むショットを意味することもある。一般的に、アンカーショットの長さは、ほとんどが１０秒以上とかなり長いだけではなく、アンカーショットとリポートショットとが連続して存在するとき、アンカーショットとリポートショットとの境界であるアンカーショットが終わる部分に若干の黙音区間が存在する。本発明では、そのようなアンカーショットの特徴を基に、第１６段階でアンカー音声ショットを決定する。すなわち、どのショットがアンカー音声ショットであるかを知るためには、そのショットの長さは、第１閾値ＴＨ１より長くなければならず、そのショットの境界部分、特にそのショットが終わる部分に第２閾値ＴＨ２より長い黙音区間が存在しなければならない。
【００５６】
本発明によれば、図１に図示されたアンカーショット検出方法は、第１４段階を設けないこともある。この場合、第１２段階後に、オーディオ信号のうち、第１閾値ＴＨ１より長く、第２閾値ＴＨ２より長い黙音区間を有するショットを第１２段階で求められた境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして決定する（第１６段階）。
【００５７】
図３は、図１に図示された第１６段階についての本発明による実施例（１６Ａ）を説明するためのフローチャートであり、ショットの長さと黙音区間の長さとを利用してアンカー音声ショットを決定する段階（第３０ないし第３８段階）からなる。
【００５８】
まず、第１２段階で求められたショットの境界を利用してショットそれぞれの長さを求める（第３０段階）。ここで、ショットの境界は、ショットの終わりと次のショットの始まりとの間の部分を表すので、ショットの長さを求めるのに利用されうる。
【００５９】
第３０段階後に、ショットのうち第１閾値ＴＨ１を超える長さを有するショットを選択する（第３２段階）。すなわち、ショットのうち長いショットを選択する。
【００６０】
第３２段階後に、選択されたショットそれぞれの黙音区間の長さを求める（第３４段階）。ここで、黙音区間とは、意味のある声を有さない区間を表す。
【００６１】
図４は、図３に図示された第３４段階についての本発明による実施例（３４Ａ）を説明するためのフローチャートであり、フレームのオーディオエネルギーを利用して黙音閾値を求める段階（第５０及び第５２段階）及び黙音閾値を利用して求めた黙音区間に含まれたフレームの個数をカウントする段階（第５４及び第５６段階）からなる。
【００６２】
図５は、第３２段階で選択されたショットのうち任意のショットの例示的な構造を表す図面であり、Ｎ個のフレーム（ＦＲＡＭＥ  １、ＦＲＡＭＥ  ２、ＦＲＡＭＥ  ３、…、ＦＲＡＭＥ  ｉ、…及びＦＲＡＭＥ  Ｎ）から構成される。ここで、Ｎは、１以上の正の整数であり、１≦ｉ≦Ｎであり、便宜上ＦＲＡＭＥ  １を開始フレームとしてＦＲＡＭＥ  Ｎを終了フレームとする。
【００６３】
まず、第３２段階で選択されたショットそれぞれに含まれたフレーム（ＦＲＡＭＥ  １、ＦＲＡＭＥ  ２、ＦＲＡＭＥ  ３、…、ＦＲＡＭＥ  ｉ、…及びＦＲＡＭＥ  Ｎ）それぞれのエネルギーを求める（第５０段階）。ここで、第３２段階で選択されたショットそれぞれに含まれたフレームそれぞれのエネルギーは、次の式（３）のように求められうる。
【００６４】
【数３】
2005237001.tif 000005
【００６５】
ここで、Ｅiは、任意のショットに含まれたフレームのうちｉ番目のフレームのエネルギーを意味し、ｆdは、オーディオ信号をダウンサンプリングするダウン周波数を意味し、ｔfは、ｉ番目のフレームの長さ（図５の７０）を表し、ｐｃｍは、ｉ番目のフレームに含まれた各サンプルのＰＣＭ値であって整数である。ここで、ｆdが８ｋＨｚであってｔfが２５ｍｓである場合、ｆdｔfは、２００になる。すなわち、ｉ番目のフレーム内に２００個のサンプルが存在する。
【００６６】
第５０段階後に、第３２段階で選択されたショットに含まれたフレームのエネルギーを利用して黙音閾値を求める（第５２段階）。ニュースのような動映像で黙音区間に含まれたフレームのエネルギーのサイズは放送社ごとに相異なることがある。従って、第５０段階で求められたエネルギーを利用して黙音閾値を求める。
【００６７】
図６は、図４に図示された第５２段階についての本発明による実施例（５２Ａ）を説明するためのフローチャートであり、整数化したエネルギーを利用してエネルギー別（エネルギー毎の）フレーム分布を求める段階（第８０及び第８２段階）及び該当するエネルギーを黙音閾値として決定する段階（第８４段階）からなる。
【００６８】
図７は、エネルギー別フレーム分布を例示的に表すグラフであり、横軸はエネルギーを表し、縦軸はフレームの個数を表す。
【００６９】
第３２段階で選択されたショットそれぞれに含まれたフレームについて第５０段階で求められたエネルギーそれぞれを整数化する（第８０段階）。すなわち、少数点以下の値で表現されうるエネルギーを整数値で表現する。第８０段階後に、整数化された結果を利用してエネルギー別フレームの分布を求める（第８２段階）。例えば、第３２段階で選択されたショットそれぞれに含まれたフレームそれぞれのエネルギーを図７に図示されたようなエネルギー別フレームの分布として図示する。
【００７０】
第８２段階後に、エネルギー別フレームの分布で、基準エネルギーを黙音閾値として決定し、第５４段階に進む（第８４段階）。ここで、基準エネルギー以下のエネルギーに分布されたフレームの個数が第３２段階で選択されたショットに含まれた総フレーム数（Ｘ）の所定パーセント（Ｙ％）に該当する個数、すなわちＸＹ／１００に近似するように、基準エネルギーを選択する。例えば、エネルギー別フレーム分布が図７に図示されたようであり、Ｘ＝４５００であってＹ＝２０である場合、９００個程度のフレームを含んでいる初期値「８」ほどのエネルギー（図７の矢印９０）が基準エネルギーとして選択されうる。
【００７１】
図８は、図４に図示された第５４段階の理解を助けるためのエネルギー別フレーム分布の例示であり、１つのアンカー音声ショット後半部のエネルギー分布を例示する。ここで、横軸はフレームの個数（時間の流れ）を表し、縦軸はエネルギーを表す。
【００７２】
第５２段階後に、第３２段階で選択されたショットそれぞれの黙音区間を黙音閾値を利用して決定する（第５４段階）。例えば、図８に図示されたように、黙音閾値（グラフの符号１００）以下のエネルギーを有するフレームが属する区間を黙音区間（グラフの符号１０２）として決定する。
【００７３】
図９は、図４に図示された第５６段階の理解を助けるために、第３２段階で選択されたショットのうち任意のショットの例示的な構造を表す図面であり、Ｎ個のフレーム（ＦＲＡＭＥ  Ｎ、ＦＲＡＭＥ  Ｎ−１、…及びＦＲＡＭＥ  １）より構成される。
【００７４】
第５４段階後に、第３２段階で選択されたショットそれぞれから、黙音フレームの個数をカウントし、カウントされた結果を黙音区間の長さとして決定し、第３６段階に進む（第５６段階）。ここで、黙音フレームとは、黙音区間に含まれたフレームであり、黙音閾値以下のエネルギーを有するフレームを意味する。例えば、図９に図示されたように、第３２段階で選択されたショットそれぞれの最終フレーム（ＦＲＡＭＥ  Ｎ）から開始フレーム（ＦＲＡＭＥ  １）の方向（図９の矢印１１０）にカウントを行うこともある。
【００７５】
ここで、第３２段階で選択されたショットそれぞれの最終フレームをカウントしないこともある。なぜならば、選択されたショットそれぞれの最終フレームは、ｆdｔfを超えない個数のサンプルを有するためである。
【００７６】
また、本発明によれば、黙音区間に属するフレームの個数をカウントするとき、すなわちどのフレームが黙音区間に属するフレームであるかを判断するとき、黙音閾値を超えるエネルギーを有するフレームが連続して存在すれば、カウント動作を中止することもある。例えば、第３２段階で選択されたショットそれぞれで、フレームが黙音フレームであるかを検討するとき、Ｌ番目のフレームが黙音フレームでないとしても、Ｌ−１番目のフレームが黙音フレームならば、Ｌ番目のフレームを黙音フレームと見なす。また、Ｌ−Ｍ番目のフレームとＬ−Ｍ−１番目のフレームとがいずれも黙音フレームでなければ、カウント動作を中止する。
【００７７】
図３に図示された第３４段階後に、第３２段階で選択されたショットのうち、第２閾値ＴＨ２を超える長さの黙音区間を有するショットを抽出する（第３６段階）。例えば、フレームの長さ（ｔf）が２５ｍｓであり、第２閾値ＴＨ２が０．８５秒と設定された場合、あるショットの黙音区間に含まれた黙音フレームの個数が３４より多ければ、そのショットは第３６段階で抽出される。
【００７８】
第３６段階後に、Ｐ（ここで、Ｐは正の整数である。）個の抽出されたショットのうち、相対的に長い所定パーセント（Ｑ％）のショット（ＰＱ／１００）だけを選択してアンカー音声ショットとして決定し、第１８段階に進む（第３８段階）。例えば、Ｐが２００であってＱが８０である場合、第３６段階で抽出された２００個のショットのうち４０個の短いショットを捨て、１６０個の長いショットのみを選択してアンカー音声ショットとして決定できる。
【００７９】
本発明によれば、図３に図示された第１６Ａ段階は、長い黙音区間を有するリポートショットがアンカー音声ショットとして抽出されることを防止するために、第３８段階を設ける。しかし、第１６Ａ段階は、第３８段階を設けないこともある。この場合、第３６段階が行われた後で第１８段階に進む。
【００８０】
図１０Ａないし図１０Ｅは、図１に図示された第１６段階で決定されるアンカー音声ショットの例示的な図面である。
【００８１】
図１に図示された第１０ないし第１６段階を行い、動映像から、例えば図１０Ａないし図１０Ｅに図示されたようなアンカー音声ショットだけが抽出されうる。
【００８２】
一方、第１６段階後に、アンカー音声ショットのうち複数のアンカーの音声が含まれたショットである複数アンカー音声ショットを分離する（第１８段階）。ここで、複数のアンカーとは、同性のアンカーである場合もあり、または異性のアンカーである場合もある。すなわち、複数アンカー音声ショットは、男性アンカーだけの音声を含んでいることもあり、または女性アンカーだけの音声を含んでいることもあり、男性アンカーと女性アンカーの音声をいずれも含んでいることもある。
【００８３】
図１１は、図１に図示された第１８段階についての本発明による実施例（１８Ａ）を説明するためのフローチャートであり、アンカー音声ショットそれぞれから黙音フレーム及び子音フレームを除去した後で複数アンカーの音声ショットを検出する段階（第１３０及び第１３２段階）からなる。
【００８４】
第１６段階後に、アンカー音声ショットそれぞれから黙音フレーム及び子音フレームを除去する（第１３０段階）。
【００８５】
図１２は、黙音フレームを除去する図１１に図示された第１３０段階についての本発明による実施例（１３０Ａ）を説明するためのフローチャートであり、フレームのエネルギーを利用して求めた黙音閾値により決定した黙音区間に属するフレームを除去する段階（第１５０ないし第１５６段階）からなる。
【００８６】
アンカー音声ショットそれぞれから、黙音フレームを除去するために、アンカー音声ショットそれぞれに含まれたフレームそれぞれのエネルギーを求める（第１５０段階）。
【００８７】
第１５０段階後に、アンカー音声ショットそれぞれに含まれたフレームのエネルギーを利用して黙音閾値を求める（第１５２段階）。第１５２段階後に、黙音閾値を利用してアンカー音声ショットそれぞれの黙音区間を決定する（第１５４段階）。第１５４段階後に、アンカー音声ショットそれぞれから、決定された黙音区間に含まれたフレームの黙音フレームを除去する（第１５６段階）。
【００８８】
ここで、図１２に図示された第１５０、第１５２及び第１５４段階は、第１６段階で決定されたアンカー音声ショットそれぞれに対して行われ、図４に図示された第５０、第５２及び第５４段階は、第３２段階で選択されたショットそれぞれに対して行われる。これを除外すれば、図１２に図示された第１５０、第１５２及び第１５４段階は、図４に図示された第５０、第５２及び第５４段階とそれぞれ同じ役割を行う。従って、第３２段階で選択されたショットに対して行われることを第１６段階で決定されたアンカー音声ショットに対して行われると置換すれば、図６ないし図８についての説明が図１２に図示された第１５０、第１５２及び第１５４段階についても適用されうる。
【００８９】
または、第１６段階で決定されたアンカー音声ショットの黙音フレームを図１２に図示された第１５０ないし第１５４段階で別途に求める必要なく、第５０ないし５４段階で既定の黙音区間のうち第１６段階で決定されたアンカー音声ショットの黙音区間だけを利用すればよい。従って、アンカー音声ショットそれぞれに対して、第５４段階で既定の黙音区間に含まれたフレームを黙音フレームと見なして除去すればよい（第１５６段階）。
【００９０】
図１３は、子音フレームを除去する図１１に図示された第１３０段階についての本発明による実施例（１３０Ｂ）を説明するためのフローチャートであり、アンカー音声ショットそれぞれからフレーム別に求めたゼロクロッシング比率（ＺＣＲ：Ｚｅｒｏ  Ｃｒｏｓｓｉｎｇ  Ｒａｔｅ）を利用して子音フレームを決定する段階（第１７０及び第１７２段階）及び決定された子音フレームを除去する段階（第１７４段階）からなる。
【００９１】
まず、アンカー音声ショットそれぞれに含まれたそれぞれのフレームに対してＺＣＲを求める（第１７０段階）。ここで、本発明によれば、ＺＣＲは次の式（４）のように表現されうる。
【００９２】
【数４】
2005237001.tif 000006
【００９３】
ここで、ＺＣＲは、ゼロクロッシング比率、＃は、ＰＣＭデータのデシベル値の符号変化の個数であり、ｔfは、ＺＣＲが求められるフレームの長さを表す。このとき、ＺＣＲは、オーディオ信号の周波数が大きいほど高まる特性を有し、アンカーの音声のうち子音部分と母音部分とを区別するために利用される。なぜならば、音声の主な周波数は、音声で主に母音部分に存在するためである。
【００９４】
第１７０段階後に、アンカー音声ショットそれぞれに含まれたフレームそれぞれのＺＣＲを利用して子音フレームを決定する（第１７２段階）。
【００９５】
図１４は、図１３に図示された第１７２段階についての本発明による実施例（１７２Ａ）を説明するためのフローチャートであり、ＺＣＲの平均値を利用して子音フレームを決定する段階（第１９０及び第１９２段階）からなる。
【００９６】
第１７０段階後に、アンカー音声ショットそれぞれに含まれたフレームのＺＣＲの平均値を求める（第１９０段階）。第１９０段階後に、アンカー音声ショットそれぞれで、ＺＣＲの平均値の所定倍数より大きいＺＣＲを有するフレームを子音フレームとして決定し、第１７４段階に進む（第１９２段階）。ここで、所定倍数は、「２」と設定されうる。
【００９７】
第１７２段階後に、アンカー音声ショットそれぞれから、決定された子音フレームを除去する（第１７４段階）。
【００９８】
図１２に図示された第１３０Ａ段階と図１３に図示された第１３０Ｂ段階とは同時に行われることもある。この場合、図１２及び図１３に図示されたように、図１２に図示された第１５６段階後に第１３２段階に進み、図１３に図示された第１７４段階後に第１３２段階に進む。
【００９９】
または、図１２に図示された第１３０Ａ段階が行われた後に図１３に図示された第１３０Ｂ段階が行われることもある。この場合、図１２に図示されたところとは異なり、図１２に図示された第１５６段階後に第１７０段階に進む。
【０１００】
または、図１２に図示された第１３０Ａ段階が行われる以前に図１３に図示された第１３０Ｂ段階が行われることもある。この場合、図１３に図示されたところとは違い、図１３に図示された第１７４段階後に第１５０段階に進む。
【０１０１】
一方、本発明の一実施例によれば、第１３０段階後に、黙音フレーム及び子音フレームが除去されたアンカー音声ショットそれぞれに含まれたフレームそれぞれの係数別のメル周波数ケプストラム係数（ＭＦＣＣ：Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ  Ｃｅｐｓｔｒａｌ  Ｃｏｅｆｆｉｃｉｅｎｔ）を求め、複数アンカー音声ショットをＭＦＣＣを利用して検出する（第１３２段階）。ここで、ＭＦＣＣについては、Ｄａｖｉｓ  Ｓ．Ｂ．及びＭｅｒｍｅｌｓｔｅｉｎ  Ｐ．により、“Ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ｐａｒａｍｅｔｒｉｃ  ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｏｆ  ｍｏｎｏｓｙｌｌａｂｉｃ  ｗｏｒｄ  ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  ｃｏｎｔｉｎｕｏｕｓｌｙ  ｓｐｏｋｅｎ  ｓｅｎｔｅｎｃｅｓ”という題目でＩＥＥＥ  Ｔｒａｎｓ．Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，２８で１９８０年度に発表された論文のｐｐ．３５７−３６６に開示されている。
【０１０２】
図１５は、図１１に図示された第１３２段階についての本発明による一実施例（１３２Ａ）を説明するためのフローチャートであり、各アンカー音声ショットでＭＦＣＣを利用して複数アンカー音声ショットを決定する段階（第２１０ないし第２１４段階）からなる。
【０１０３】
図１６Ａないし図１６Ｅは、図１１に図示された第１３２段階の理解を助けるための図面であり、図１６Ａはアンカー音声ショットの例示的な図面であり、図１６Ｂないし図１６Ｅは、ウィンドウの例示的な図面である。
【０１０４】
本発明の一実施例によれば、黙音フレーム及び子音フレームが除去されたアンカー音声ショットそれぞれに対して、所定長さを有するウィンドウを所定時間間隔で移動させつつ、各ウィンドウに含まれたフレームの係数別ＭＦＣＣの平均値を求める（第２１０段階）。ここで、ＭＦＣＣは主に音声認識のために広く利用される特性値であり、一般にフレーム当たり１３個の係数それぞれに対する値を有する。このとき、０番目の係数を除外した１２個の係数のＭＦＣＣが音声認識に利用される。
【０１０５】
このとき、各ウィンドウは、複数個のフレームを含むことがあり、各フレームは、係数別ＭＦＣＣを有する。従って、各ウィンドウに含まれた複数個のフレームの係数別ＭＦＣＣを平均して各ウィンドウの係数別ＭＦＣＣの平均値を求める。
【０１０６】
第２１０段階後に、隣接するウィンドウ間でＭＦＣＣの平均値間の差を求める（第２１２段階）。第２１２段階後に、黙音フレーム及び子音フレームが除去されたアンカー音声ショットそれぞれで、隣接するウィンドウ間でＭＦＣＣの平均値間の差が第３閾値（ＴＨ３）より大きければ、そのアンカー音声ショットを複数アンカー音声ショットとして決定する（第２１４段階）。
【０１０７】
例えば、図１６を参照すれば、ウィンドウの所定長さが３秒（ｓ：ｓｅｃｏｎｄ）であり、ウィンドウを移動させる所定時間間隔が１秒であるという場合、図１６Ｂないし図１６Ｅに図示されたようにウィンドウを１秒間隔で移動させつつ、各ウィンドウに含まれたフレームの係数別ＭＦＣＣの平均値を求める（第２１０段階）。このとき、本発明によれば、各ウィンドウに対して求められるＭＦＣＣ平均値は、７、８、９、１０、１１及び１２番目の係数に対して求められうる。このとき、ＭＦＣＣの平均値間の差は、図１６Ｂと図１６Ｃに図示された隣接するウィンドウ間、図１６Ｃと図１６Ｄに図示された隣接するウィンドウ間、図１６Ｄと図１６Ｅとに図示された隣接するウィンドウ間についてそれぞれ求められうる（第２１２段階）。もし、第２１２段階で求められた差のうち一つでも第３閾値（ＴＨ３）より大きければ、図１６Ａに図示されたアンカー音声ショットを複数アンカー音声ショットとして決定する（第２１４段階）。
【０１０８】
本発明の他の実施例によれば、第１３０段階後に、黙音フレーム及び子音フレームが除去されたアンカー音声ショットそれぞれに含まれたフレームそれぞれで、係数別ＭＦＣＣと所定周波数帯域の電力スペクトル密度（ＰＳＤ：Ｐｏｗｅｒ  Ｓｐｅｃｔｒａｌ  Ｄｅｎｓｉｔｙ）とを求め、複数アンカー音声ショットを係数別ＭＦＣＣとＰＳＤとを利用して検出する（第１３２段階）。ここで、所定周波数帯域とは、男性音声と女性音声の平均スペクトル差が大きい周波数帯域であり、例えば１００ないし１５０Ｈｚと設定されうる。ここで、男性と女性のスペクトル差については、Ｈ．Ｉｒｉｉ、Ｋ．Ｉｔｏｈ及びＮ．Ｋｉｔａｗａｋｉにより１９８７年度に“Ｍｕｌｔｉ−ｌｉｎｇｕａｌ  ｓｐｅｅｃｈ  ｄａｔａｂａｓｅ  ｆｏｒ  ｓｐｅｅｃｈ  ｑｕａｌｉｔｙ  ｍｅａｓｕｒｅｍｅｎｔｓ  ａｎｄ  ｉｔｓ  ｓｔａｔｉｓｔｉｃ  ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ”という題目でＴｒａｎｓ．Ｃｏｍｍｉｔｔｅｅ  ｏｎ  Ｓｐｅｅｃｈ  Ｒｅｓｅａｒｃｈ，Ａｃｏｕｓｔ．Ｓｏｃ．Ｊａｐで発表された論文のｐｐ．８７−６９に開示されており、Ｓ．Ｓａｉｔｏ、Ｋ．Ｋａｔｏ及びＮ．Ｔｅｒａｎｉｓｈｉにより１９５８年度に、“Ｓｔａｔｉｓｔｉｃａｌ  ｐｒｏｐｅｒｔｉｅｓ  ｏｆ  Ｆｕｎｄａｍｅｎｔａｌ  ｆｒｅｑｕｅｎｃｉｅｓ  ｏｆ  Ｊａｐａｎｅｓｅ  ｓｐｅｅｃｈ  ｖｏｉｃｅｓ”という題目で、Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ｊａｐ．，１４，２に発表された論文のｐｐ．１１１−１１６に開示されている。
【０１０９】
図１７は、図１１に図示された第１３２段階についての本発明による他の実施例（１３２Ｂ）を説明するためのフローチャートであり、各アンカー音声ショットでＭＦＣＣ及び所定周波数帯域のＰＳＤを利用して複数アンカー音声ショットを決定する段階（第２３０ないし第２３６段階）からなる。
【０１１０】
本発明の他の実施例によれば、黙音フレーム及び子音フレームが除去されたアンカー音声ショットそれぞれに対して、所定長さを有するウィンドウを所定時間間隔で移動させつつ、各ウィンドウに含まれた各フレームの係数別ＭＦＣＣの平均値と所定周波数帯域のＰＳＤの平均デシベル値とを求める（第２３０段階）。ここで、各ウィンドウの所定周波数帯域のＰＳＤの平均デシベル値とは、各ウィンドウに含まれたフレームそれぞれの所定周波数帯域でスペクトルを計算し、計算されたスペクトルを平均した後、計算された平均スペクトルをデシベル値に換算した結果である。
【０１１１】
例えば、図１６Ｂないし図１６Ｅに図示されたように、３秒の長さを有するウィンドウを１秒の時間間隔で移動させつつ、各ウィンドウに含まれたフレームの係数別ＭＦＣＣの平均値を求めるだけではなく、各ウィンドウに含まれた所定周波数帯域のＰＳＤの平均デシベル値を求める。ここで、各ウィンドウに含まれた３個のフレームそれぞれは、所定周波数帯域のＰＳＤのデシベル値を有する。従って、各ウィンドウに含まれた３個のフレームのＰＳＤのデシベル値を平均して各ウィンドウの所定周波数帯域のＰＳＤの平均デシベル値を求める。
【０１１２】
第２３０段階後に、隣接するウィンドウ（ＷＤ１及びＷＤ２）間でＭＦＣＣの平均値間の差Δ１及び隣接するウィンドウ（ＷＤ１及びＷＤ２）間でＰＳＤの平均デシベル値間の差Δ２を求める（第２３２段階）。
【０１１３】
第２３２段階後に、黙音フレーム及び子音フレームが除去されたアンカー音声ショットそれぞれから、差（Δ１及びΔ２）の加重和を求める（第２３４段階）。ここで、加重和（ＷＳ１）は次の式（５）のように求められうる。
【０１１４】
【数５】
2005237001.tif 000007
【０１１５】
ここで、ＷＳ１は加重和を表し、Ｗ1は、第１加重値を表す。
【０１１６】
第２３４段階後に、第４閾値（ＴＨ４）より大きい加重和（ＷＳ１）を有するアンカー音声ショットを複数アンカー音声ショットとして決定し、第２０段階に進む（第２３６段階）。
【０１１７】
図１５に図示された第１３２Ａ段階で、ＭＦＣＣの平均値だけを利用してＰＳＤの平均デシベル値は利用していない。従って、図１５に図示された第１３２Ａ段階は、アンカー音声ショットから異なる声を有する複数の同性アンカーがコメントする複数アンカー音声ショットを決定するのに有用に適用できる。このとき、図１７に図示された第１３２Ｂ段階で、ＭＦＣＣの平均値だけではなくＰＳＤの平均デシベル値も利用した。このように、ＰＳＤの平均デシベル値も利用すれば、図１７に図示された第１３２Ｂ段階は、アンカー音声ショットから男性アンカーと女性アンカーとがいずれもコメントする複数アンカー音声ショットを決定するのに有用に適用できる。
【０１１８】
一方、第１８段階後に、複数アンカー音声ショットをグルーピング（あるいは、クラスタリング）し、アンカー音声ショットのうち複数アンカー音声ショットを除外したショットである単一アンカー音声ショットをグルーピングし、グルーピングされた結果を類似グループとして決定する（第２０段階）。
【０１１９】
図１８は、単一アンカー音声ショットをグルーピングし、類似グループを決定する図１に図示された第２０段階についての本発明による実施例（２０Ａ）を説明するためのフローチャートであり、ＭＦＣＣ及びＰＳＤを利用して類似グループを決定する段階（第２５０ないし第２５８段階）からなる。
【０１２０】
図１８を参照すれば、単一アンカー音声ショットそれぞれで、係数別ＭＦＣＣの平均値を求める（第２５０段階）。
【０１２１】
第２５０段階後に、２つの単一アンカー音声ショット（Ｓj及びＳj+1）の係数別ＭＦＣＣの平均値を利用し、算出されたＭＦＣＣの平均値間の差（距離）がアンカー音声ショットのうち最も近く、第５閾値（ＴＨ５）より小さい場合、この２つの単一アンカー音声ショット（Ｓj及びＳj+1）を類似候補ショット（Ｓj’及びＳj+1’）として決定する（第２５２段階）。ここで、第２５２段階で利用される係数別ＭＦＣＣの平均値の係数は、３ないし１２番目の係数であり、ｊは単一アンカー音声ショットのインデックスを表し、第２５０段階で初期化される。このとき、ＭＦＣＣ距離（ＷＭＦＣＣ）は次の式（６）のように求められうる。
【０１２２】
【数６】
2005237001.tif 000008
【０１２３】
ここで、ａ1、ａ2、…及びａkは、単一アンカー音声ショット（Ｓj）の係数別ＭＦＣＣの平均値を表し、ｂ1、ｂ2、…及びｂkは、単一アンカー音声ショット（Ｓj+1）の係数別ＭＦＣＣの平均値を表し、ｋは、単一アンカー音声ショット（ＳjまたはＳj+1）から求められる係数別ＭＦＣＣの平均値における係数の総個数を表す。
【０１２４】
第２５２段階後に、類似候補ショット（Ｓj’及びＳj+1’）の所定周波数帯域のＰＳＤの平均デシベル値間の差を求める（第２５４段階）。
【０１２５】
第２５４段階後に、ＰＳＤの平均デシベル値間の第２５４段階で求めた差が第６閾値（ＴＨ６）より小さい場合、類似候補ショット（Ｓj’及びＳj+1’）をグルーピングして類似グループとして決定する（第２５６段階）。このとき、本発明によれば、第６閾値（ＴＨ６）より平均デシベル間の差が大きい場合、ＭＦＣＣ平均値が類似した類似候補ショットにフラグを割り当てることができる。これは、フラグが割り当てられた類似候補ショットに対して、第２５２、第２５４及び第２５６段階がさらに行われることを防止するためである。
【０１２６】
第２５６段階後に、あらゆる単一アンカー音声ショットがグルーピングされているか否かを判断する（第２５８段階）。もし、あらゆる単一アンカー音声ショットがグルーピングされていないと判断されれば、第２５２段階に進み、他の２つのＭＦＣＣ平均値が最も近い単一アンカー音声ショット（Ｓj+1及びＳj+2）に対して第２５２、第２５４及び第２５６段階を行う。しかし、あらゆる単一アンカー音声ショットがグルーピングされていると判断されれば、図１８に図示された第２０Ａ段階を終了する。
【０１２７】
図１９Ａないし図１９Ｃは、図１０Ａないし図１０Ｅに図示されたアンカー音声ショットをグルーピングして決定した類似グループの例示的な図面である。
【０１２８】
例えば、図１に図示された第２０段階で、図１０Ａないし図１０Ｅに図示されたアンカー音声ショットをグルーピングすれば、図１９Ａに図示されたように男性アンカーショットが１つの類似グループにグルーピングされ、図１９Ｂに図示されたように女性アンカーショットが他の１つの類似グループにグルーピングされ、図１９Ｃに図示されたように複数アンカーの音声ショットがさらに他の１つの類似グループにグルーピングされうる。
【０１２９】
一方、第２０段階後に、類似グループそれぞれの代表値をアンカー音声モデルとして求める（第２２段階）。ここで、代表値は、類似グループに属するショットの係数別ＭＦＣＣの平均値及び類似グループに属するショットの所定周波数帯域のＰＳＤの平均デシベル値である。
【０１３０】
第２２段階後に、類似グループそれぞれに含まれたショットそれぞれのフレームのうち初期フレームについての情報を利用して別途の音声モデルを生成する（第２４段階）。ここで、初期フレームとは、類似グループそれぞれに含まれた各ショットで初期４秒に該当するフレームでありうる。例えば、初期フレームについての情報を平均し、平均した結果を別途の音声モデルとして決定することもある。
【０１３１】
図２０は、本発明によるアンカーショット検出方法の他の実施例を説明するためのフローチャートであり、アンカー映像モデルを利用して検出したアンカー候補ショットが実際アンカーショットであるか否かを検証する段階（第２７０ないし第２７４段階）からなる。
【０１３２】
本発明によるアンカーショット検出方法によれば、まずアンカー映像モデルを生成する（第２７０段階）。
【０１３３】
第２７０段階後に、生成されたアンカー映像モデルを利用してアンカーショットであると思われるショット（アンカー候補ショット）を検出する（第２７２段階）。例えば、動映像を複数個のショットに分割し、分割された複数個のショットそれぞれのキーフレームとアンカー映像モデルの色差を比較してアンカー候補ショットを検出できる。本発明によれば、色差を求めるために、まず動映像に含まれた複数個のショットそれぞれをＲ×Ｒ（ここで、Ｒは１以上の正の整数である。）個のサブブロックに分割し、アンカー映像モデルをＲ×Ｒ個のサブブロックに分割する。このとき、対象となるショットのサブブロック及びそのサブブロックと同じ位置に存在するアンカー映像モデルのサブブロックの色を比較し、比較された結果をそのサブブロックの色差として決定する。もし、あるショットのキーフレームとアンカー映像モデルの色差が色差閾値より小さければ、そのショットをアンカー候補ショットと決定する。
ここで、色差は、グレイワールド理論（Ｇｒｅｙ  Ｗｏｒｌｄ  Ｔｈｅｏｒｙ）に基づいて正規化された値であり、若干の照明変化にも確実なように決定されうる。グレイワールド理論は、Ｅ．Ｈ．Ｌａｎｄ、Ｊ．Ｊ．ＭｃＣａｎｎにより、“Ｌｉｇｈｔｎｅｓｓ  ａｎｄ  ｒｅｔｉｎｅｘ  ｔｈｅｏｒｙ”という題目でＪｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａのｖｏｌ．６１に１９７１年度に発表された論文のｐｐ．１−１１に開示されている。
【０１３４】
第２７２段階後に、別途の音声モデルとアンカー音声モデルとを利用してアンカー候補ショットがアンカー映像を含んでいる実際のアンカーショットであるか否かを検証する（第２７４段階）。ここで、例えば６秒以下の非常に短いアンカー候補ショットは、別途の音声モデルを利用して実際アンカーショットであるか否かを検証する。従って、長いアンカー候補ショットが実際アンカーショットであるか否かを検証するとき、別途の音声モデルは、利用されない。この場合、図１に図示された本発明によるアンカーショット検出方法は、第２４段階を設けないこともある。
【０１３５】
図２１は、図２０に図示された第２７４段階についての本発明による実施例（２７４Ａ）を説明するためのフローチャートであり、アンカー候補ショットの色差情報と、発生時間と、代表値とを利用してアンカー候補ショットが実際アンカーショットであるか否かを検証する段階（第２９２ないし第２９８段階）からなる。
【０１３６】
アンカー候補ショットそれぞれの代表値をアンカー候補ショットの発生時間を利用して求める（第２９２段階）。ここで、アンカー候補ショットの代表値とは、そのショットに属するフレームの係数別ＭＦＣＣの平均値及びそのショットに属するフレームの所定周波数帯域のＰＳＤの平均デシベル値である。また、アンカー候補ショットの発生時間は、第２７２段階で求められ、アンカー候補ショットが始まる時間と終わる時間とを意味する。
【０１３７】
第２９２段階後に、アンカー候補ショットそれぞれの代表値とアンカー音声モデル間の差（ＤＩＦＦ）とを求める（第２９４段階）。ここで、ＤＩＦＦは次の式（７）のように求められうる。
【０１３８】
【数７】
2005237001.tif 000009
【０１３９】
ここで、Ｗ2は、第２加重値を表し、Δ３は、アンカー候補ショットとアンカー音声モデルの係数別ＭＦＣＣの平均値間の差を表し、Δ４は、アンカー候補ショットとアンカー音声モデルのＰＳＤの平均デシベル値間の差を表す。
【０１４０】
第２９４段階後に、アンカー候補ショットそれぞれに対して、色差情報（ΔＣＯＬＯＲ）と、例えば式（７）のように表現されうる差（ＤＩＦＦ）の加重和（ＷＳ２）を求める（第２９６段階）。ここで、色差情報（ΔＣＯＬＯＲ）とは、第２７２段階で検出されたアンカー候補ショットとアンカー映像モデルとの間の色差についての情報を意味し、第２９６段階で求められる加重和（ＷＳ２）は次の式（８）のように求められうる。
【０１４１】
【数８】
2005237001.tif 000010
【０１４２】
ここで、Ｗ3は第３加重値を表す。このとき、加重和（ＷＳ２）は、動映像のビデオ情報の色差情報（ΔＣＯＬＯＲ）とオーディオ情報の差（ＤＩＦＦ）をいずれも反映しているので、マルチモダル情報（Ｍｕｌｔｉ−Ｍｏｄａｌ  Ｉｎｆｏｒｍａｔｉｏｎ）という。
【０１４３】
第２９６段階後に、第７閾値（ＴＨ７）より加重和（ＷＳ２）が大きくないとき、アンカー候補ショットを実際アンカーショットとして決定する（第２９８段階）。しかし、第７閾値（ＴＨ７）より加重和（ＷＳ２）が大きいとき、アンカー候補ショットを実際アンカーショットではないと決定する。
【０１４４】
本発明の一実施例によれば、図２０に図示された第２７０段階でアンカー映像モデルは、ビジュアル情報を利用して生成されることもある。ここで、ビジュアル情報とは、アンカーの顔、背景色、アンカーの服色または類似代表フレーム発生頻度のうち少なくとも一つを意味する。ここで、ビジュアル情報を利用してアンカー映像モデルを生成する従来の方法は、Ｈｏｎｇ  Ｊｉａｎｇ  Ｚｈａｎｇ、Ｙｉｈｏｎｇ  Ｇｏｎｇ、Ｓｍｏｌｉａｒ，Ｓ．Ｗ．及び’ＳｈｕａｎｇＹｅｏ  Ｔａｎにより、“Ａｕｔｏｍａｔｉｃ  ｐａｒｓｉｎｇ  ｏｆ  ｎｅｗｓ  ｖｉｄｅｏ”という題目でＭｕｌｔｉｍｅｄｉａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｓｙｓｔｅｍｓ，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎに１９９４年度に発表された論文のｐｐ．４５−５４、Ｈａｎｊａｌｉｃ，Ａ．、Ｌａｇｅｎｓｉｊｋ，Ｒ．Ｌ．及び’Ｂｉｅｍｏｎｄ，Ｊ．により“Ｔｅｍｐｌａｔｅ−ｂａｓｅｄ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ａｎｃｈｏｒｐｅｒｓｏｎ  Ｓｈｏｔｓ  ｉｎ  Ｎｅｗｓ  Ｐｒｏｇｒａｍ”という題目で、Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ＩＣＩＰ  ９８．Ｐｒｏｃｅｅｄｉｎｇｓ，Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ，ｖ３に１９９８年度に発表された論文のｐｐ．１４８−１５２、Ｍ．Ｔｅｋａｌｐ  ｅｔ  ａｌ．により、“Ｖｅｄｉｏ  ｉｎｄｅｘｉｎｇ  ｔｈｒｏｕｇｈ  ｉｎｔｅｇｒａｔｉｏｎ  ｏｆ  ｓｙｎｔａｃｔｉｃ  ａｎｄ  ｓｅｍａｎｔｉｃ  ｆｅａｔｕｒｅｓ”という題目でＰｒｏｃ．Ｗｏｒｋｓｈｏｐ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  １９９６に発表された論文、Ｎａｋａｊｉｍａ，Ｙ．、Ｙａｍｇｕｃｈｉ，Ｄ．、Ｋａｔｏ，Ｈ．、Ｙａｎａｇｉｈａｒａ，Ｈ．及びＨａｔｏｒｉ，Ｙ．により“Ａｕｔｏｍａｔｉｃ  ａｎｃｈｏｒｐｅｒｓｏｎ  ｄｅｔｅｃｔｉｏｎ  ｆｒｏｍ  ａｎ  ＭＰＥＧ  ｃｏｄｅｄ  ＴＶ  ｐｒｏｇｒａｍ”という題目でＣｏｎｓｕｍｅｒ  Ｅｌｅｃｔｒｏｎｉｃｓ，ＩＣＣＥ．２００２  Ｄｉｇｅｓｔ  ｏｆ  Ｔｅｃｈｎｉｃａｌ  Ｐａｐｅｒｓ．Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎに発表された論文のｐｐ．１２２，１２３に開示されている。このように、アンカー映像モデルが生成される場合、第２７０及び第２７２段階は、図１に図示されたアンカーショット検出方法が行われる間行われる。このとき、第２７４段階は、第２４及び第２７２段階が行われた後に行われる。
【０１４５】
本発明の他の実施例によれば、第２７０段階でアンカー映像モデルは、図１に図示された第１６または第２０段階でそれぞれ求められたアンカー音声ショットまたは類似グループを利用して生成されることもある。この場合、アンカー音声ショットまたは類似グループを利用してショット代表フレーム内のアンカーの位置を把握し、把握されたアンカーの位置を利用してアンカー映像モデルを生成する（第２７０段階）。
【０１４６】
もし、アンカー映像モデルが図１に図示された第１６段階で求められたアンカー音声ショットを利用して生成されるならば、第２７０及び第２７２段階は、図１に図示された第１６段階後に第１８ないし第２４段階が行われる間行われる。このとき、第２７４段階は、第２４段階後に行われる。
【０１４７】
または、アンカー映像モデルが図１に図示された第２０段階で求められた類似グループを利用して生成されるならば、第２７０及び第２７２段階は、図１に図示された第２０段階後に行われる。このとき、第２７４段階は第２４段階後に行われる。
【０１４８】
一方、図２０に図示されたアンカーショット検出方法は、第２７０及び第２７２段階だけで具現されることもある。
【０１４９】
このとき、本発明によれば、第２７０段階でアンカー映像モデルが図１に図示された第１６段階で求められたアンカー音声ショットを利用して生成される場合、第２７０及び第２７２段階は、図１に図示された第１６段階後に行われる。このとき、図１に図示されたアンカーショット検出方法は、第１８ないし第２４段階を設ける必要がない。
【０１５０】
本発明の他の実施例によれば、第２７０段階でアンカー映像モデルが図１に図示された第２０段階で求められた類似グループを利用して生成される場合、第２７０及び第２７２段階は、図１に図示された第２０段階後に行われる。このとき、図１に図示されたアンカーショット検出方法は、第２２及び第２４段階を設ける必要がない。
【０１５１】
以下、本発明によるアンカーショット検出装置及びその装置の実施例をそれぞれの構成及び動作を添付した図面を参照して次の通り説明する。
【０１５２】
図２２は、本発明によるアンカーショット検出装置の一実施例のブロック図であり、信号分離部４００、境界決定部４０２、ダウンサンプリング部４０４、アンカー音声ショット抽出部４０６、ショット分離部４０８、ショットグルーピング部４１０、代表値生成部４１２及び別途の音声モデル生成部４１４より構成される。
【０１５３】
図２２に図示されたアンカーショット検出装置は、図１に図示されたアンカーショット検出方法を行うことができる。
【０１５４】
図１に図示された第１０段階を行うために、信号分離部４００は、入力端子ＩＮ１を介して入力した動映像をオーディオ信号及びビデオ信号に分離し、分離されたオーディオ信号をダウンサンプリング部４０４に出力し、分離されたビデオ信号を境界決定部４０２に出力する。
【０１５５】
第１２段階を行うために、境界決定部４０２は、信号分離部４００から入力した分離されたビデオ信号を利用してショットの境界を決定し、決定されたショットの境界をアンカー音声ショット抽出部４０６に出力する。
【０１５６】
第１４段階を行うために、ダウンサンプリング部４０４は、信号分離部４００から入力した分離されたオーディオ信号をダウンサンプリングし、ダウンサンプリングされた結果をアンカー音声ショット抽出部４０６に出力する。
【０１５７】
第１６段階を行うために、アンカー音声ショット抽出部４０６は、ダウンサンプリング部４０４から入力したダウンサンプリングされたオーディオ信号のうち、第１閾値ＴＨ１より長く、第２閾値ＴＨ２より長い黙音区間を有するショットを境界決定部４０２から入力した境界を利用してアンカー音声ショットとして抽出し、抽出されたアンカー音声ショットをショット分離部４０８に出力する一方、出力端子ＯＵＴ２を介して出力する。
【０１５８】
前述の通り、図１に図示されたアンカーショット検出方法が第１４段階を設けていない場合、図２２に図示されたアンカーショット検出装置は、ダウンサンプリング部４０４を設けないこともある。この場合、アンカー音声ショット抽出部４０６は、信号分離部４００から直接入力した分離されたオーディオ信号のうち、第１閾値ＴＨ１より長く、第２閾値ＴＨ２より長い黙音区間を有するショットを境界決定部４０２から入力したショットの境界を利用して抽出し、抽出されたショットをアンカー音声ショットとして出力する。
【０１５９】
一方、第１８段階を行うために、ショット分離部４０８は、アンカー音声ショット抽出部４０６から入力したアンカー音声ショットのうち複数アンカー音声ショットを分離し、分離された結果をショットグルーピング部４１０に出力する。
【０１６０】
第２０段階を行うために、ショットグルーピング部４１０は、アンカー音声ショットのうち複数アンカー音声ショットと単一アンカー音声ショットをグルーピングし、グルーピングされた結果を類似グループとして決定して代表値生成部４１２に出力端子ＯＵＴ３を介して出力する。
【０１６１】
第２２段階を行うために、代表値生成部４１２は、ショットグルーピング部４１０から入力した類似グループそれぞれの代表値を計算し、アンカー音声モデルとして別途の音声モデル生成部４１４に出力する。
【０１６２】
第２４段階を行うために、別途の音声モデル生成部４１４は、類似グループそれぞれに含まれたショットのフレームのうち初期フレームについての情報を利用して別途の音声モデルを生成し、生成された別途の音声モデルを出力端子ＯＵＴ１を介して出力する。
【０１６３】
前述の通り、図１に図示されたアンカーショット検出方法が第２４段階を設けていない場合、図２２に図示されたアンカーショット検出装置は、別途の音声モデル生成部４１４を設けないこともある。
【０１６４】
図２３は、本発明によるアンカーショット検出装置の他の実施例のブロック図であり、映像モデル生成部４４０、アンカー候補ショット検出部４４２及びアンカーショット検証部４４４より構成される。
【０１６５】
図２３に図示された本発明によるアンカーショット検出装置は、図２０に図示されたアンカーショット検出方法を行うことができる。
【０１６６】
映像モデル生成部４４０は、アンカー映像モデルを生成し、生成された映像モデルをアンカー候補ショット検出部４４２に出力する。このとき、映像モデル生成部４４０は、図２２に図示されたアンカー音声ショット抽出部４０６から出力されたアンカー音声ショットを入力端子ＩＮ２を介して入力し、入力したアンカー音声ショットを利用してアンカー映像モデルを生成できる。または、映像モデル生成部４４０は、図２２に図示されたショットグルーピング部４１０から出力される類似グループを入力端子ＩＮ２を介して入力し、入力した類似グループを利用してアンカー映像モデルを生成することもできる。
【０１６７】
第２７２段階を行うために、アンカー候補ショット検出部４４２は、映像モデル生成部４４０で生成されたアンカー映像モデルを入力端子ＩＮ３を介して入力した分割されたショットそれぞれのキーフレームと比較してアンカー候補ショットを検出し、検出されたアンカー候補ショットをアンカーショット検証部４４４に出力する。
【０１６８】
第２７４段階を行うために、アンカーショット検証部４４４は、入力端子ＩＮ４を介して別途の音声モデル生成部４１４及び代表値生成部４１２からそれぞれ入力した別途の音声モデル及びアンカー音声モデルを利用し、アンカー候補ショット検出部４４２から入力したアンカー候補ショットがアンカー映像を含んでいる実際アンカーショットであるか否かを検証し、検証された結果を出力端子ＯＵＴ４を介して出力する。
【０１６９】
前述した第１加重値（Ｗ1）を０．５と設定し、第３加重値（Ｗ3）を０．５と設定し、第１閾値ＴＨ１を６秒と設定し、第２閾値ＴＨ２を０．８５秒と設定し、第４閾値（ＴＨ４）を４と設定し、第７閾値（ＴＨ７）を０．５１と設定できる。この場合、さまざまな放送社で編成された７２０分のニュース動映像について、本発明によるアンカーショット検出方法及び装置を適用した結果と従来のアンカーショット検出方法を適用した結果とを比較すれば、次の表１の通りである。ここで、使われた従来の方法は、Ｘｉｎｂｏ  Ｇａｏ、Ｊｉｅ  Ｌｉ及びＢｉｎｇ  Ｙａｎｇにより著述され、“Ａ  Ｇｒａｐｈ−Ｔｈｅｏｒｅｔｉｃａｌ  Ｃｌｕｓｔｅｒｉｎｇ  ｂａｓｅｄ  Ａｎｃｈｏｒｐｅｒｓｏｎ  Ｓｈｏｔ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  ｎｅｗｓＶｉｄｅｏ  Ｉｎｄｅｘｉｎｇ”という題目で２００３年度にＩＣＣＩＭＡで発表された技術を使用した。
【０１７０】
【表１】
2005237001.tif 000011
【０１７１】
表１により、本発明によるアンカーショット検出方法及び装置は、従来のアンカーショット検出方法より優秀であることが分かる。
【０１７２】
前述した本発明によるアンカーショット検出方法及び装置により検出されたアンカーショットをニュースのストーリ単位に分類することにより、ユーザにまるでインターネットのニュースストーリボードを見るような効果を与えられる。これにより、ユーザは自身の関心のある記事を選択し、該当する動映像リポートを簡略に見ることができる。すなわち、ユーザは、動映像の所望のコンデンツを所望の時間に自動録画し、録画された部分のうち、本発明によるアンカーショット検出方法及び装置を利用し、自身が最も関心のあるショットを選択して見られる。
【０１７３】
現在、放送やインターネットや、それ以外のさまざまなメディアを介してビデオコンテンツが氾濫し、個人用ビデオレコーダ（ＰＶＲ：Ｐｅｒｓｏｎａｌ  Ｖｉｄｅｏ  Ｒｅｃｏｄｅｒ）、ＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）及び大容量ハードドライブの登場により従来のテレビ視聴文化のパラダイムが変わりつつある状況で、スポーツやニュースのように定形化された構造を有し、録画された後にも長時間視聴できる動映像について本発明によるアンカーショット検出方法及び装置は、簡略化されたストーリボードやハイライトを提供してくれる。
【０１７４】
本発明は、動映像でアンカーショットを処理する分野に利用できる。
【図面の簡単な説明】
【０１７５】
【図１】本発明によるアンカーショット検出方法の一実施例を説明するためのフローチャートである。
【図２Ａ】図１に図示された第１４段階を説明するための例示的な波形図である。
【図２Ｂ】図１に図示された第１４段階を説明するための例示的な波形図である。
【図３】図１に図示された第１６段階についての本発明による実施例を説明するためのフローチャートである。
【図４】図３に図示された第３４段階についての本発明による実施例を説明するためのフローチャートである。
【図５】第３２段階で選択されたショットのうち任意のショットの例示的な構造を表す図面である。
【図６】図４に図示された第５２段階についての本発明による実施例を説明するためのフローチャートである。
【図７】エネルギー別フレーム分布を例示的に表すグラフである。
【図８】図４に図示された第５４段階の理解を助けるためのエネルギー別フレーム分布の例示的な他のグラフである。
【図９】図４に図示された第５６段階の理解を助けるために、第３２段階で選択されたショットのうち任意のショットの例示的な構造を表す図面である。
【図１０Ａ】図１に図示された第１６段階で決定されるアンカー音声ショットの例示的な図面である。
【図１０Ｂ】図１に図示された第１６段階で決定されるアンカー音声ショットの例示的な図面である。
【図１０Ｃ】図１に図示された第１６段階で決定されるアンカー音声ショットの例示的な図面である。
【図１０Ｄ】図１に図示された第１６段階で決定されるアンカー音声ショットの例示的な図面である。
【図１０Ｅ】図１に図示された第１６段階で決定されるアンカー音声ショットの例示的な図面である。
【図１１】図１に図示された第１８段階についての本発明による実施例を説明するためのフローチャートである。
【図１２】黙音フレームを除去する図１１に図示された第１３０段階についての本発明による実施例を説明するためのフローチャートである。
【図１３】子音フレームを除去する図１１に図示された第１３０段階についての実施例を説明するためのフローチャートである。
【図１４】図１３に図示された第１７２段階についての本発明による実施例を説明するためのフローチャートである。
【図１５】図１１に図示された第１３２段階についての本発明による一実施例を説明するためのフローチャートである。
【図１６Ａ】図１１に図示された第１３２段階の理解を助けるための図面である。
【図１６Ｂ】図１１に図示された第１３２段階の理解を助けるための図面である。
【図１６Ｃ】図１１に図示された第１３２段階の理解を助けるための図面である。
【図１６Ｄ】図１１に図示された第１３２段階の理解を助けるための図面である。
【図１６Ｅ】図１１に図示された第１３２段階の理解を助けるための図面である。
【図１７】図１１に図示された第１３２段階についての本発明による他の実施例を説明するためのフローチャートである。
【図１８】単一アンカー音声ショットをグルーピングして類似グループを決定する図１に図示された第２０段階についての本発明による実施例を説明するためのフローチャートである。
【図１９Ａ】図１０Ａないし図１０Ｅに図示されたアンカー音声ショットをグルーピングして決定した類似グループの例示的な図面である。
【図１９Ｂ】図１０Ａないし図１０Ｅに図示されたアンカー音声ショットをグルーピングして決定した類似グループの例示的な図面である。
【図１９Ｃ】図１０Ａないし図１０Ｅに図示されたアンカー音声ショットをグルーピングして決定した類似グループの例示的な図面である。
【図２０】本発明によるアンカーショット検出方法の他の実施例を説明するためのフローチャートである。
【図２１】図２０に図示された第２７４段階についての本発明による実施例を説明するためのフローチャートである。
【図２２】本発明によるアンカーショット検出装置の一実施例のブロック図である。
【図２３】本発明によるアンカーショット検出装置の他の実施例のブロック図である。
【符号の説明】
【０１７６】
４００  信号分離部
４０２  境界決定部
４０４  ダウンサンプリング部
４０６  アンカー音声ショット抽出部
４０８  ショット分離部
４１０  ショットグルーピング部
４１２  代表値生成部
４１４  別途の音声モデル生成部
４４０  映像モデル生成部
４４２  アンカー候補ショット検出部
４４４  アンカーショット検証部
【図１】
2005237001.tif 000014
【図３】
2005237001.tif 000015
【図４】
2005237001.tif 000016
【図５】
2005237001.tif 000017
【図６】
2005237001.tif 000018
【図７】
2005237001.tif 000019
【図８】
2005237001.tif 000020
【図９】
2005237001.tif 000021
【図１１】
2005237001.tif 000022
【図１２】
2005237001.tif 000023
【図１３】
2005237001.tif 000024
【図１４】
2005237001.tif 000025
【図１５】
2005237001.tif 000026
【図１６Ａ】
2005237001.tif 000027
【図１６Ｂ】
2005237001.tif 000028
【図１６Ｃ】
2005237001.tif 000029
【図１６Ｄ】
2005237001.tif 000030
【図１６Ｅ】
2005237001.tif 000031
【図１７】
2005237001.tif 000032
【図１８】
2005237001.tif 000033
【図２０】
2005237001.tif 000034
【図２１】
2005237001.tif 000035
【図２２】
2005237001.tif 000036
【図２３】
2005237001.tif 000037
【図２Ａ】
2005237001.tif 000038
【図２Ｂ】
2005237001.tif 000039
【図１０Ａ】
2005237001.tif 000040
【図１０Ｂ】
2005237001.tif 000041
【図１０Ｃ】
2005237001.tif 000042
【図１０Ｄ】
2005237001.tif 000043
【図１０Ｅ】
2005237001.tif 000044
【図１９Ａ】
2005237001.tif 000045
【図１９Ｂ】
2005237001.tif 000046
【図１９Ｃ】
2005237001.tif 000047