(57)【特許請求の範囲】
【請求項１】
コンテンツ信号の特性を表す信号特徴量を任意の時間長さを持つ区間毎に分割する分割部と、
前記各区間に対応する信号特徴量の互いの類似度に基づいて、前記類似度が高い前記信号特徴量に対応する前記区間を一つのクラスに分類するクラスタリング部と、
前記各クラスに属する前記区間に関して、前記コンテンツ信号の経過時間に対して前記各区間が存在する確率を表す存在確率関数を求める関数導出部と、
前記各クラスの存在確率関数同士の類似度をそれぞれ計算する類似度算出部と、
前記類似度が高い前記存在確率関数のクラス同士を統合して統合クラスを求める統合部と、
前記各区間が属する前記統合クラスの識別情報を出力する出力部と、
を備え、
前記関数導出部で求める存在確率関数は、前記各区間における個々の存在確率関数の集合であって、
前記個々の存在確率関数は、
（１）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における開始時刻の存在確率を１とし、前記開始時刻から過去の時刻に遡るほど前記存在確率を減少させるか、又は、（２）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における終了時刻の存在確率を１とし、前記終了時刻から未来の時刻にいくほど前記存在確率を減少させるようにした確率関数である、
ことを特徴とする信号処理装置。
【請求項２】
前記コンテンツ信号が、複数の話者の音声が含まれた音声信号であって、前記信号特徴量が、前記音声信号の特性を表す音声特徴量である、
請求項１記載の信号処理装置。
【請求項３】
前記コンテンツ信号が、複数の動画像内容が含まれた動画像信号であって、前記信号特徴量が、前記動画像信号の特性を表す画像特徴量である、
請求項１記載の信号処理装置。
【請求項４】
前記分割部は、前記信号特徴量を一定時間毎に分割する、
請求項１記載の信号処理装置。
【請求項５】
前記分割部は、前記信号特徴量の変動が大きい時刻毎に分割する、
請求項１記載の信号処理装置。
【請求項６】
前記関数導出部は、
前記開始時刻から過去の時刻に遡るほど前記存在確率を減少させる減少率は、前記開始時刻と最も近い過去にある前記区間の終了時刻との時間差に基づいて求める、
請求項１記載の信号処理装置。
【請求項７】
前記関数導出部は、
前記終了時刻から未来の時刻にいくほど前記存在確率を減少させる減少率は、前記終了時刻と最も近い未来にある前記区間の開始時刻との時間差に基づいて求める、
請求項１記載の信号処理装置。
【請求項８】
前記関数導出部は、
任意の窓幅時間を有する分析窓中に観測された前記存在確率関数から計算できる正規分布を、任意のシフト幅時間を有するシフト幅毎に求め、
前記正規分布の結合によって、前記コンテンツ信号の経過時間の各時刻における前記存在確率関数を導出する、
請求項１記載の信号処理装置。
【請求項９】
前記出力部は、
前記統合クラスの識別情報を、前記コンテンツ信号の経過時間の時刻毎に出力する、
請求項１記載の信号処理装置。
【請求項１０】
前記統合クラス毎の前記存在確率関数を表す存在確率関数を再導出する関数再導出部を更に備え、
前記出力部は、前記再導出した存在確率関数に基づいて、前記各区間のクラスの識別情報を出力する、
請求項１記載の信号処理装置。
【請求項１１】
前記出力部は、
同じ前記統合クラスに属する前記区間の個々の存在確率関数に基づいて、前記各統合クラスに対して前記存在確率関数を導出し、
前記コンテンツ信号の経過時間の各時刻において、０より大きい存在確率を持つ統合クラスの中で、前記統合クラスの総出現時間に応じて出力優先度を決定し、
前記区間が属する前記統合クラスの識別情報と前記存在確率関数の情報を出力する、
請求項１記載の信号処理装置。
【請求項１２】
前記出力部は、
同じ前記統合クラスに属する前記区間の個々の存在確率関数に基づいて、前記各統合クラスに対して前記存在確率関数を導出し、
前記コンテンツ信号の経過時間の各時刻において、０より大きい存在確率を持つ統合クラスの中で、前記存在確率の高さに応じて出力優先度を決定し、前記区間が属する前記統合クラスの識別情報と前記存在確率関数の情報を出力する、
請求項１記載の信号処理装置。
【請求項１３】
前記出力部は、
同じ前記統合クラスに属する前記区間の個々の存在確率関数に基づいて、前記各統合クラスに対して前記存在確率関数を導出し、
前記コンテンツ信号の経過時間の各時刻において、０より大きい存在確率を持つ統合クラスの中で、前記出現が観測できていたか否かに応じて出力優先度を決定し、前記区間が属する前記統合クラスの識別情報と前記存在確率関数の情報を出力する、
請求項１記載の信号処理装置。
【請求項１４】
コンテンツ信号の特性を表す信号特徴量を任意の時間長さを持つ区間毎に分割する分割ステップと、
前記各区間に対応する信号特徴量の互いの類似度に基づいて、前記類似度が高い前記信号特徴量に対応する前記区間を一つのクラスに分類するクラスタリングステップと、
前記各クラスに属する前記区間に関して、前記コンテンツ信号の経過時間に対して前記各区間が存在する確率を表す存在確率関数を求める関数導出ステップと、
前記各クラスの存在確率関数同士の類似度をそれぞれ計算する類似度算出ステップと、
前記類似度が高い前記存在確率関数のクラス同士を統合して統合クラスを求める統合ステップと、
前記各区間が属する前記統合クラスの識別情報を出力する出力ステップと、
備え、
前記関数導出ステップで求める存在確率関数は、前記各区間における個々の存在確率関数の集合であって、
前記個々の存在確率関数は、
（１）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における開始時刻の存在確率を１とし、前記開始時刻から過去の時刻に遡るほど前記存在確率を減少させるか、又は、（２）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における終了時刻の存在確率を１とし、前記終了時刻から未来の時刻にいくほど前記存在確率を減少させるようにした確率関数である、
ことを特徴とした信号処理方法。
【請求項１５】
コンピュータに、
コンテンツ信号の特性を表す信号特徴量を任意の時間長さを持つ区間毎に分割する分割機能と、
前記各区間に対応する信号特徴量の互いの類似度に基づいて、前記類似度が高い前記信号特徴量に対応する前記区間を一つのクラスに分類するクラスタリング機能と、
前記各クラスに属する前記区間に関して、前記コンテンツ信号の経過時間に対して前記各区間が存在する確率を表す存在確率関数を求める関数導出機能と、
前記各クラスの存在確率関数同士の類似度をそれぞれ計算する類似度算出機能と、
前記類似度が高い前記存在確率関数のクラス同士を統合して統合クラスを求める統合機能と、
前記各区間が属する前記統合クラスの識別情報を出力する出力機能と、
を実現させ、
前記関数導出機能で求める存在確率関数は、前記各区間における個々の存在確率関数の集合であって、
前記個々の存在確率関数は、
（１）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における開始時刻の存在確率を１とし、前記開始時刻から過去の時刻に遡るほど前記存在確率を減少させるか、又は、（２）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における終了時刻の存在確率を１とし、前記終了時刻から未来の時刻にいくほど前記存在確率を減少させるようにした確率関数である、
ことを特徴とする信号処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ信号を再生し、視聴する場合において、利便性を高めるための映像の構造化を行うことのできる信号処理装置及びその方法に関する。
【背景技術】
【０００２】
ユーザーが映像コンテンツを再生、視聴するとき、映像を構造化しておくことは利便性を高める上で重要であり、コーナー境界時刻やコーナーの識別を可能にする技術が求められている。
【０００３】
映像コンテンツにおける動画像の構造化では、まず、映像が別のカメラによる映像に切り替わる（カメラアングルが変わる）時や、映っている人物、物体、風景が変わる時を区切りとしてショットと呼ばれる部分動画像の単位に分割する。そして、類似したショット同士を１つのグループにまとめ、いつどの種類のショットが出現したかという情報をユーザーに提示する方法が考えられている。
【０００４】
ここで、コーナー境界前後では出現するショットの種類が異なるとすると、提示されたショット情報からコーナー境界時刻の推定が可能となり、さらには、コーナーを構成するショットの種類から類似コーナーの認識も可能となる。
【０００５】
また、同一コーナーに含まれる複数のショットを一まとまりにして提示する方法も考えられている。特許文献１では、どの範囲のショットを一まとめにするかを決定するため、時系列上でのショットの出現傾向の処理方法について述べられている。
【０００６】
一方、映像コンテンツにおける音声の構造化では、発話者（音）の切り替わる時を区切りとして発話の単位で処理が行われる。そのため、コーナー境界前後で出現する発話の種類（話者、出演者の構成）が異なるとすると、発話情報を用いてもショット情報を用いた場合と同様に、コーナー境界時刻の推定や、類似コーナーの認識が可能となる。
【特許文献１】特開２００５−１３０４１６公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、いつどの種類のショットが出現したかという情報がユーザー提示されている状況下において、種類が多くなると、ユーザーはより多くの種類のショットに対して時系列上で出現しなくなったことを確認し、コーナー境界時刻を推定しなければならない。
【０００８】
また、より多くの種類のショットがコーナー同士で出現しているかを確認し、類似コーナーかどうかの判断をしなければならない。
【０００９】
また、ショットの出現傾向から同一コーナーに含まれる複数のショットを一まとまりにする場合は、種類が多くなると、より多くの種類のショット出現状況を把握することになる。そのため、ショットの種類によっては出現可能性に関する情報が埋もれてしまう。埋もれてしまったショット情報はコーナーの継続性に貢献している可能性があり、しいては誤ったコーナー境界時刻を検出する可能性がある。
【００１０】
したがって、ショット／発話の種類が多くなればなるほど、出現傾向の把握が困難になり、コーナー境界時刻の推定や類似コーナーかどうかの判断を誤る可能性がある。
【００１１】
そこで、本発明は上記問題点に鑑みてなされたものであって、コーナー境界時刻の把握や類似コーナーの認識を容易にさせることが可能な信号処理装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、コンテンツ信号の特性を表す信号特徴量を任意の時間長さを持つ区間毎に分割する分割部と、前記各区間に対応する信号特徴量の互いの類似度に基づいて、前記類似度が高い前記信号特徴量に対応する前記区間を一つのクラスに分類するクラスタリング部と、前記各クラスに属する前記区間に関して、前記コンテンツ信号の経過時間に対して前記各区間が存在する確率を表す存在確率関数を求める関数導出部と、前記各クラスの存在確率関数同士の類似度をそれぞれ計算する類似度算出部と、前記類似度が高い前記存在確率関数のクラス同士を統合して統合クラスを求める統合部と、前記各区間が属する前記統合クラスの識別情報を出力する出力部と、を備え、前記関数導出部で求める存在確率関数は、前記各区間における個々の存在確率関数の集合であって、前記個々の存在確率関数は、（１）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における開始時刻の存在確率を１とし、前記開始時刻から過去の時刻に遡るほど前記存在確率を減少させるか、又は、（２）前記区間において前記信号特徴量の出現が観測できる前記コンテンツ信号の前記経過時間における終了時刻の存在確率を１とし、前記終了時刻から未来の時刻にいくほど前記存在確率を減少させるようにした確率関数である、ことを特徴とする信号処理装置である。
【発明の効果】
【００１３】
本発明によれば、コンテンツ信号中において存在確率関数同士の類似度が高いクラス同士を統合するため、例えば同一コーナーで共起するようなクラスの異なるショット／発話を一まとめにすることができる。
【発明を実施するための最良の形態】
【００１４】
以下に添付図面を参照して、本発明の一実施形態の信号処理装置１００について説明する。
【００１５】
［第１の実施形態］
第１の実施形態の信号処理装置１００について図１〜図１８に基づいて説明する。
【００１６】
（１）信号処理装置１００のハードウェア構成
図１は、信号処理装置１００のハードウェア構成を示したブロック図である。
【００１７】
図１に示すように、信号処理装置１００は、ＣＰＵ（Central Processing Unit）１０１、操作部１０２、表示部１０３、ＲＯＭ（Read Only Memory）１０４、ＲＡＭ（Random Access Memory）１０５、信号入力部１０６、記憶部１０７を備え、各部はバス１０８により接続されている。
【００１８】
ＣＰＵ１０１は、ＲＡＭ１０５の所定領域を作業領域として、ＲＯＭ１０４に予め記憶された各種制御プログラムとの協働により各種処理を実行し、信号装置１００を構成する各部の動作を統括的に制御する。また、ＣＰＵ１０１は、ＲＯＭ１０４に予め記憶された所のプログラムとの協働により、後述する特徴量抽出部１１、区間分割部１２、クラスタリング部１３、存在確率関数導出部１４、存在確率関数類似度算出部１５、クラスタ統合部１６及びクラスタ情報出力部１７（図２参照）の各機能部を実現させる。なお、各機能部の動作については後述する。
【００１９】
操作部１０２は、各種入力キー等を備え、ユーザーから操作入力された情報を入力信号として受け付け、その入力信号をＣＰＵ１０１に出力する。
【００２０】
表示部１０３は、ＬＣＤ（Liquid Crystal Display）等の表示手段により構成され、ＣＰＵ１０１からの表示信号に基づいて、各種情報を表示する。なお、表示部１０３は、操作部１０２と一体的にタッチパネルを構成する態様としてもよい。
【００２１】
ＲＯＭ１０４は、信号処理装置１００の制御にかかるプログラムや各種設定情報等を書き換え不可能に記憶する。
【００２２】
ＲＡＭ１０５は、ＳＤＲＡＭ等の記憶手段であって、ＣＰＵ１０１の作業エリアとして機能し、バッファ等の役割を果たす。
【００２３】
信号入力部１０６は、動画像や音声を電気信号に変換し、映像信号としてＣＰＵ１０１に出力するものである。信号入力部１０６は、放送番組受信機（チューナー）などを用いることができる。
【００２４】
記憶部１０７は、磁気的又は光学的に記録可能な記憶媒体を有し、信号入力部１０６を介して取得された映像信号や、図示しない通信部やＩ／Ｆ（インターフェース）等を介して外部から入力される映像信号等のデータを記憶する。また、記憶部１０７は、後述するクラスタ情報出力処理によりラベル（索引）が付与された映像信号を記憶する。
【００２５】
（２）信号処理装置１００の機能構成
図２は、信号処理装置１００の機能構成を示したブロック図である。
【００２６】
図２に示すように、信号処理装置１００は、特徴量抽出部１１、区間分割部１２、クラスタリング部１３、存在確率関数導出部１４、存在確率関数類似度算出部１５、クラスタ統合部１６及びクラスタ情報出力部１７を備えている。
【００２７】
以下、各機能について説明する。
【００２８】
（３）特徴量抽出部１１
特徴量抽出部１１は、信号入力部１０６等を解して入力された映像信号から一定の時間長ｃ１毎に一定の時間長ｃ２分の特徴量を抽出し、抽出した特徴量を区間分割部１２に出力する。ここで、「特徴量」としては、話者性といった音声信号の特性を表す音声特徴量や、撮影対象のヒストグラムといった動画像信号の特性を表す画像特徴量が用いられる。
【００２９】
特徴量抽出部１１は、音声特徴量を抽出できる。音声特徴量抽出には、一定時間長ｃ３毎に一定時間長ｃ４分の信号から抽出したＭＦＣＣやＬＰＣケプストラムといったケプストラム系特徴量を求め、一定時間ｃ１毎に一定時間ｃ２分の平均値を音声特徴量として用いれば良い。
【００３０】
他にも、Y.Akitaらによる「Unsupervised Speaker Indexing using Anchor Models and Automatic Transcription of Discussions」, ISCA 8th European Conf. Speech Communication and Technology （Eurospeech）, September 2003の方法などを用いることもできる。この方法によれば、一定時間長ｃ３毎に一定時間長ｃ４分の信号に含まれるＭＦＣＣやＬＰＣケプストラムといったケプストラム系特徴量に対し、予め用意した複数の音響モデルに対しての尤度をそれぞれ求め、求めた尤度を成分にもつ尤度ベクトルを音声特徴量とできる。なお、時間長ｃ１〜ｃ４には、ｃ３＜＝ｃ４＜＝ｃ１＜＝ｃ２の関係を有し、例えば、ｃ１として０．２５秒、ｃ２として０．５秒、ｃ３として１０ｍ秒、ｃ４として２５ｍ秒という値を設定できる。
【００３１】
また、特徴量抽出部１１は、画像特徴量を抽出できる。画像特徴量抽出には、特許文献１で述べられている方法などを用いれば良い。この方法によれば、一定時間ｃ５毎に得られる画像に属する画素の色和（ｈｅｕ）値から、３６分割のヒストグラムを計算し、３６分割それぞれの度数を成分としたベクトルを画像特徴量とできる。なお、時間長ｃ１、ｃ２、ｃ５には、ｃ５＜＝ｃ１＜＝ｃ２の関係を有し、例えば、ｃ１、ｃ２、ｃ５として０．５秒という値を設定できる。
【００３２】
（４）区間分割部１２
区間分割部１２は、特徴量抽出部１１によって入力された特徴量を一定時間ｃ６毎に分割し、クラスタリング部１３に出力する。時間長ｃ６はｃ２＜＝ｃ６の関係を有し、例えば、ｃ６として１秒という時間を設定できる。
【００３３】
また、区間分割部１２は、特徴量抽出部１１によって入力された音声特徴量を用いて、図３に示すように、時系列上で隣り合う特徴量同士の類似度が閾値ｔｈ１以下で極小となった時刻を検出し、検出した時刻毎に特徴量を分割し、クラスタリング部１３に出力する。ここで類似度には、例えばベクトル表現された特徴量同士のユークリッド距離による歪みにマイナス１を掛け合わせたものを用いれば良い。また、閾値ｔｈ１は経験的に設定でき、話者交代が発生するような時刻で区間が分割されるようになるため、クラスタリング部１３では発話単位で区間を扱うことができる。
【００３４】
また、区間分割部１２は、特徴量抽出部１１によって入力された画像特徴量を用いて、図４に示すように、時系列上で隣り合う特徴量同士の類似度が閾値ｔｈ２以下で極小となった時刻を検出し、検出した時刻毎に特徴量を分割し、クラスタリング部１３に出力する。ここで類似度には、ヒストグラム差分にマイナス１を掛け合わせたものを用いれば良い。また、閾値ｔｈ２は経験的に設定でき、クラスタリング部１３ではショット単位で区間を扱うことができる。
【００３５】
（５）クラスタリング部１３
クラスタリング部１３では、入力された全ての区間のうち、類似した特徴量を持つ区間同士を１つのクラス（集合）としてまとめ、当該クラスに属した全ての区間に共通の識別子（クラス番号）を付与する。
【００３６】
そして、クラスタリング部１３は、区間情報（区間の開始、終了時刻及び属するクラスの識別子情報）を存在確率関数導出部１４に出力する。
【００３７】
ここで、区間同士が類似しているか否かの判定は、例えば、まず区間に含まれるベクトル表現された特徴量に対して平均を求め、平均同士のユークリッド距離による歪みが小さいか否かで判断すれば良く、まとめるときに利用するアルゴリズムとしては、公知のｋ−ｍｅａｎｓ法等を用いることとすれば良い。
【００３８】
図５は、コンテンツ信号が４つのクラスに分類され、Ａ、Ｂ、Ｃ、Ｄという識別子が付けられたクラスタリング結果の例である。なお、出力情報には、区間情報のほかに各クラスにおける累積区間長や区間数を追加しても良い。
【００３９】
（６）存在確率関数導出部１４
次に、存在確率関数導出部１４について説明する。
【００４０】
（６−１）存在関数
存在確率関数導出部１４では、まず、各クラスに対して時刻毎に該当クラスに属した区間が存在したか（１）、否か（０）の２値で表現された存在関数を求める。例として、図６は図５のクラスタリング結果を受けたときの処理結果であり、上から順にクラスＡ、Ｂ、Ｃ、Ｄの区間の存在状況を示している。ここでは、クラスＣの存在関数ＦＣ（ｔ）は、（１）式となる。
【数１】
0005060224.tif 000002
【００４１】
同様にして、クラスＡ、Ｂ、Ｄの存在関数ＦＡ（ｔ）、ＦＢ（ｔ）、ＦＤ（ｔ）も求められる。
【００４２】
（６−２）存在確率
次に、各存在関数に対し、値が１である時刻に対しては、１の存在確率を与え、値が０である時間方向に対して、減衰させながら１以下の存在確率を与える。存在確率関数を求めるにあたり、まず以下の（２）式の関数Ｌ（ｘ）を用意する。
【数２】
0005060224.tif 000003
【００４３】
ここで、時刻ｉｋ（１＜＝ｋ＜＝Ｉ）を境に存在関数の値が０から１に変化したとき、時刻ｔにおける存在確率候補を求める関数Ｉｋ（ｔ）を
【数３】
0005060224.tif 000004
【００４４】
と定義する。
【００４５】
また、時刻ｊｋ（１＜＝ｋ＜＝Ｊ）を境に存在関数の値が１から０に変化したとき、時刻ｔにおける存在確率候補を求める関数Ｊｋ（ｔ）を
【数４】
0005060224.tif 000005
【００４６】
と定義する。
【００４７】
そして、クラスＸに関する存在確率関数ＧＸ（ｔ）は、（５）式となる。
【数５】
0005060224.tif 000006
【００４８】
例えば、図７（ａ）の例は、図６の存在関数を使って存在確率関数を求めたものとなっており、クラスＣの存在確率関数ＧＣ（ｔ）は、
【数６】
0005060224.tif 000007
【００４９】
となる。同様にクラスＡ、Ｂ、Ｄの存在確率関数ＧＡ（ｔ）、ＧＢ（ｔ）、ＧＤ（ｔ）も求められる。
【００５０】
そして、区間情報に存在確率関数の情報を加え、存在確率関数類似度算出部１５に出力する。
【００５１】
また、存在確率関数導出部１４では、クラス毎に求められた存在関数に対し、値が０である時間方向に対して、減衰させながら１以下の存在確率を与えるとき、未来の時刻における存在関数の値を使い減衰率を変化させる。例えば図７（ａ）にて、使用されていた関数Ｉｋ（ｔ）、Ｊｋ（ｔ）を
【数７】
0005060224.tif 000008
【数８】
0005060224.tif 000009
【００５２】
のように変更することで実現できる。ここで時間長Ｒは過去及び未来に対して、どの程度の時間の存在関数の値を考慮するかを決定するための値である。時間長Ｒは自由に設定することができ、例えばＲとして、３秒を設定すれば良い。よって、図６の存在関数が与えられれば、図７（ｂ）のようにクラスＣの存在確率関数ＧＣ（ｔ）は、
【数９】
0005060224.tif 000010
【００５３】
となる。同様にクラスＡ、Ｂ、Ｄの存在確率関数ＧＡ（ｔ）、ＧＢ（ｔ）、ＧＤ（ｔ）も求められる。
【００５４】
そして、区間情報に存在確率関数の情報を加え、存在確率関数類似度算出部１５に出力する。
【００５５】
（６−３）存在確率関数
さらに、存在確率関数導出部１４では、窓幅時間ｃ７からなる分析窓中の存在関数の値から計算できる正規分布をシフト幅時間ｃ８からなるシフト幅毎に求める。この求めた正規分布の結合によって存在確率関数を決定する。
【００５６】
なお、窓幅時間ｃ７、シフト幅時間ｃ８はｃ１＜＝ｃ６＜＝ｃ８＜＝ｃ７という関係を有し、例えば、ｃ７として４秒、ｃ８として１秒と設定できる。ｋ番目の分析窓の範囲を［ｐｋ，ｑｋ］（ｑｋ−ｐｋ＝ｃ７）とするとき、分析単位時間τを使って、クラスＣのｋ番目の分析窓における平均μｋと分散σｋ２は以下のように表現できる。
【数１０】
0005060224.tif 000011
【数１１】
0005060224.tif 000012
【００５７】
なお、分析単位時刻τは十分小さい値とし（例えば０．１秒）、ΣＦｃ（ｔ）＝０となる分析窓に対しては平均、分散は求めない。以上を踏まえ、ｋ番目の分析窓における正規分布Ｈｋ（ｔ）は、
【数１２】
0005060224.tif 000013
【００５８】
とできる。
【００５９】
また、
【数１３】
0005060224.tif 000014
【００６０】
で表されるような重み係数ｈｋを用いて、
【数１４】
0005060224.tif 000015
【００６１】
ともできる。したがって、分析窓がＮ個できるような場合、クラスＣの存在確率関数ＧＣ（ｔ）は、
【数１５】
0005060224.tif 000016
【００６２】
となる。同様にクラスＡ、Ｂ、Ｄの存在確率関数ＧＡ（ｔ）、ＧＢ（ｔ）、ＧＤ（ｔ）も求められ、例えば求めた結果は図６の存在関数に対して存在確率関数を求めた結果は図７（ｃ）のようになる。そして、区間情報に存在確率関数の情報を加え、存在確率関数類似度算出部１５に出力する。
【００６３】
（７）存在確率関数類似度算出部１５
存在確率関数類似度算出部１５は、入力された存在確率関数の全ての組合せに対して類似度を求め、その結果を類似度テーブルに記録し、クラスタ統合部１６へ出力する。
【００６４】
以下、図８、図９（ａ）、図９（ｂ）、図９（ｃ）を参照して、存在確率関数類似度算出部１５の動作について説明する。
【００６５】
ここで、図８は、存在確率関数類似度算出部１５により、実行される存在確率関数類似度算出処理の手順を示したフローチャートである。
【００６６】
また、図９（ａ）、図９（ｂ）、図９（ｃ）はそれぞれ、図７（ａ）、図７（ｂ）、図７（ｃ）の存在確率関数を用いた動作の結果記録された類似度テーブルを示す。
【００６７】
まず、存在確率関数類似度算出部１５は、変数ａ＝１を設定する（ステップＳ１１）。
【００６８】
次に、変数ｂ＝ａ＋１を設定する（ステップＳ１２）。
【００６９】
この２つの変数は何番目と何番目のクラスの存在確率関数類似度を計算対象とするかに用いる。そして、ｂがクラス数Ｍを超えていないかを確認する（ステップＳ１３）。
【００７０】
超えていれば、ａ＝ａ＋１とし（ステップＳ１４）、ａがクラス数Ｍでないかを確認し（ステップＳ１５）、ＭでなければステップＳ１２に戻りｂ＝ａ＋１と設定し直す。
【００７１】
ステップＳ１５においてａがクラス数Ｍである場合は、全ての存在確率関数の組合せに対して類似度計算が終了したことを意味するため、処理を終了とする。
【００７２】
ステップＳ１３において、ｂがクラス数Ｍを超えていなければ、ａ番目のクラスとｂ番目のクラスの存在確率関数の類似度Ｓ（ａ，ｂ）を計算する（ステップＳ１６）。類似度の計算方法は、例えば、
【数１６】
0005060224.tif 000017
【００７３】
というように、番組長Ｔにおいて、ａ番目のクラスとｂ番目のクラスの存在確率関数の重なり部分を算出し、ａ番目のクラスの累積確率に対する割合とｂ番目のクラスの累積確率に対する割合の平均を求めることができる。
【００７４】
また、分析単位時間τを使って存在確率関数をベクトル表現に直し、ユークリッド距離による類似度を求めても良い。
【００７５】
そして、求めた類似度と類似度を求めるのに比較したクラスの組合せ情報を類似度テーブルに記録する（ステップＳ１７）。
【００７６】
記録したら、ｂの値をｂ＋１にセットし（ステップＳ１８）、ステップＳ１３に戻ることで新しい組合せにおける類似度計算処理に移る。
【００７７】
（８）クラスタ統合部１６
クラスタ統合部１６では、入力された類似度テーブル情報をもとに、複数のクラス情報を統合して統合クラスを求める処理を行い、新たに得られた各区間の所属クラス情報をクラスタ情報出力部１７へ出力する。
【００７８】
以下、図１０を参照して、クラスタ統合部１６の動作について説明する。ここで、図１０は、クラスタ統合部１６により、実行されるクラスタ統合処理の手順を示したフローチャートである。
【００７９】
まず、ステップＳ２１において、クラスタ統合部１６は、変数ａ＝クラス数Ｍ−１を設定する。
【００８０】
次に、ステップＳ２２において、変数ｂ＝ａ＋１を設定する。この２つの変数は何番目と何番目のクラスの統合判定を行うかに用いる。ｂがクラス数Ｍを超えていればステップＳ２４に進み、ｂがクラス数Ｍを超えていなければステップＳ２６に進む。
【００８１】
次に、ステップＳ２３において、ｂがクラス数Ｍを超えていないかを確認する。
【００８２】
次に、ステップＳ２４において、ｂがクラス数Ｍを超えているので、ａ＝ａ−１とする。
【００８３】
次に、ステップＳ２５において、ａが０でないかを確認する。０でなければステップＳ２２に戻りｂ＝ａ＋１と設定し直す。ａが０である場合は、全てのクラスの組合せに対して統合判定が終了したことを意味するため、処理を終了とする。
【００８４】
次に、ステップＳ２６において、ｂがクラス数Ｍを超えていないので、ａ番目のクラスとｂ番目のクラスの類似度Ｓ（ａ，ｂ）を参照する。Ｓ（ａ，ｂ）がｔｈ３を超えているかどうかを調べる統合判定処理を行う。ここでの閾値ｔｈ３は経験的に設定すれば良い。
【００８５】
次に、ステップＳ２７において、類似度が閾値ｔｈ３を超えているので、ｂ番目のクラスに属する全ての区間の識別子をａ番目のクラスの識別子に変更する。
【００８６】
次に、ステップＳ２８において、ステップＳ２７終了後、或いはステップＳ２６にて閾値ｔｈ３を超えていなかった場合、ｂの値をｂ＋１にセットし、ステップＳ２３に戻ることで新しい組合せにおける統合判定処理に移る。
【００８７】
クラスタ統合部１６にて、例えば閾値ｔｈ３を０．５とすれば、図９（ａ）、図９（ｂ）、図９（ｃ）においては、共通の結果が得られ、図６の存在状況に対して、クラスＡ、Ｄを統合して統合クラスを求め、クラスＢ、Ｃを統合して統合クラスを求める処理が行われることになる。
【００８８】
なお、図１０の処理フローでは、ＤをＡの識別子にＣをＢの識別子に変更する処理となるが、処理終了後、同じ識別子が付与された全ての区間に対し、新たな識別子を付与しなおすことも可能である。
【００８９】
（９）クラスタ情報出力部１７
クラスタ情報出力部１７は、クラスタ統合部１６の出力結果を受けて、各区間に付与されている属するクラス（すなわち、統合クラス）の識別子と、区間の開始、終了時刻を出力する。
【００９０】
また、各クラスにおいて、該当クラスに属する区間の累積区間長に関する情報も出力する。例えば、図６の存在状況に対して、クラスタ統合部までの処理が行われれば、図１１（ａ）の出力結果を得る。
【００９１】
また、累積区間長に基づいて付与した出力優先度も出力して良い。これは、例えば、図１１（ｂ）のように、映像コンテンツの構造把握のため、タイムバー上に表示される区間の所属クラスが変化すると色が変わるように表示する状況を想定したものである。この表示状況では、利用可能な色の種類には限りがあることから、全てのクラスに色を割り当てることは必ずしもできないため、そのときの優先度として利用できる。
【００９２】
（１０）処理内容
図１２は、本実施形態の信号処理装置１００による処理の流れを示したフローチャートである。以下、図１２を参照して、本実施形態の処理について説明する。
【００９３】
まず、ステップＳ１０１において、信号入力部１０６を介して映像信号が入力される。
【００９４】
次に、ステップＳ１０２において、特徴量抽出部１１は、入力された信号から信号の特性を表す特徴量を一定の時間長ｃ１毎に抽出する。なお、入力された信号が音声信号ならば話者性を表す音声特徴量が、動画像信号ならば撮影対象のヒストグラムといった画像特徴量が抽出される。ここで、抽出された特徴量は、特徴量抽出部１１により区間分割部１２に出力される。
【００９５】
次に、ステップＳ１０３において、区間分割部１２は、入力された特徴量を任意の長さを持つ区間毎に分割する。なお、区間の分割は一定時間ｃ６毎でも、音声特徴量、画像特徴量の時系列上の変化が極小となった箇所毎でも良い。ここで、分割された特徴量と対応する開始、終了時刻の情報がクラスタリング部１３に出力される。
【００９６】
次に、ステップＳ１０４において、クラスタリング部１３は、区間の特徴量同士の類似性を求め分類することで、類似した区間同士を１つの集合（クラス）にする。ここで、各クラスには互いを区別するために識別子を付与し、識別子が付与された各区間の情報を存在確率関数導出部１４に出力する。
【００９７】
次に、ステップＳ１０５において、存在確率関数導出部１４では、分類されたクラス毎に、その該当クラスに属する区間の存在状況を基に存在確率関数を導出する。ここで、導出された存在確率関数は存在確率関数類似度算出部１５に出力される。
【００９８】
次に、ステップＳ１０６において、存在確率関数類似度算出処理により、全てのクラスの組合せに対して存在確率関数の類似度テーブルが作成される。存在確率関数類似度算出部１５は、クラス識別子が付与された区間情報と得られた類似度テーブルの情報をクラスタ統合部１６に出力する。
【００９９】
次に、ステップＳ１０７において、クラスタ統合部１６は、クラスタ統合処理により、類似度の高い存在確率関数を持つクラス同士に同じ識別子を付与する。クラスタ統合部１６は、変更を含んだ最新の識別子が付与された各区間の情報をクラスタ情報出力部１７に出力する。
【０１００】
最後に、ステップＳ１０８において、クラスタ情報出力部１７は、各区間に付与されている属するクラスの識別子と区間の開始、終了時刻情報、各クラスの存在累積区間長及び区間数の情報、累積区間長情報に基づいた出力優先度情報を記録した後、本処理を終了する。
【０１０１】
（１１）効果
（１１−１）効果１
以上のように本実施形態によれば、クラスタリング部１６の結果から各クラスまたは各区間の情報を提示するより、クラスタリング部１６の結果を用いてクラス毎の存在確率関数を導出し、存在確率関数同士の類似度が高いクラス同士を統合することにより、情報量が削減された簡易な結果を提示することができる。
【０１０２】
例えば、クラスタリング部１６の結果が図５であるとき、クラスタ情報出力部１７の出力結果は図１１に示すものとなる。ここで、コーナー境界前後では、存在するクラスの傾向が変化するとすると、クラスＡ、ＤのまとまりとクラスＢ、Ｃのまとまりによってコーナーは形成されている。図１１では表示する識別子の数を４から２に削減しており、コーナーの識別が容易である。
【０１０３】
（１１−２）効果２
また、本実施形態によれば、１つのコーナーがより多くのクラスに分類されている場合も、存在確率関数類似度を求めることで、クラスタ情報出力部１７では、同一の結果を得ることができる。例えば、図１３に示すように、図５のクラスタリング結果におけるクラスＤが二つのクラスＤとＥで構成されている状況下においては、図１４、図１５に示した存在関数、存在確率関数が求められる。
【０１０４】
したがって、この例での存在確率関数類似度算出部にて得られる類似度テーブルは図１６に示すものとなり、閾値０．５を設定すると、クラスＡ、Ｄ、Ｅが統合され、結果、図５のクラスタリング結果を利用し得られた図１１のクラスタ情報出力部の出力結果と同一のものが得られる。
【０１０５】
ここで、図１３において、二つのクラスＤとＥに、類似性があるとき、ＤとＥを一まとまりで扱うかを決定する閾値設定が必要となり、本発明では一まとまりでなくても同じ出力結果が得られることから、そのような閾値設定を容易にできる。
【０１０６】
（１１−３）効果３
さらに、本実施形態によれば、１つのコーナーがより多くのクラスに分類されている場合のコーナー境界時刻の検出処理において、検出処理を変えることなく、同一の検出結果を得ることができる。
【０１０７】
例えば、図１７（ａ）は、図５のクラスタリング結果からクラスタリング結果からコーナー境界時刻の検出を試みた動作例である。コーナー境界を検出するにあたり、隣接する一定時間の類似度を計算し、その類似度は共通して含まれる識別子の時間長に応じて求めている。図１７（ａ）ではクラスＡ、Ｄで構成されるコーナーとクラスＢ、Ｃで構成されるコーナーの境界を類似度極小時刻として検出できている。しかし、図１３のように図５より多くのクラスが存在したとき、コーナー境界時刻の検出処理は図１７（ｂ）となり、図１７（ａ）のように類似度極小時刻が一意に定まらない結果となっている。
【０１０８】
これは、図５でのクラスＤの区間がクラスＤとＥの区間に分かれたことで、クラスＢ、Ｃが存在するコーナーにてクラスＥの区間が存在している可能性が考慮されてしまったためである。一方、本実施形態の処理結果を用いた場合、クラスタ情報出力部１７では、図１３のクラスタリング結果に対しても図５の場合と同様に図１１に示される出力結果が得られる。
【０１０９】
そのため、図１８に示すようにコーナー境界時刻の検出は同じ結果となり、コーナーの境界を類似度極小時刻として検出することができる。
【０１１０】
［第２の実施形態］
次に、第２の実施形態の信号処理装置１００について図１９〜図２１に基づいて説明する。なお、上述した第１の実施形態と同様の構成については、同一の符号を付与し、その説明を省略する。
【０１１１】
（１）信号処理装置１００の構成
図１９は、第２の実施形態における信号処理装置１００の機能構成を示したブロック図である。
【０１１２】
図１９に示すように、本実施形態の信号処理装置１００は、特徴量抽出部１１、区間分割部１２、クラスタリング部１３、存在確率関数導出部１４、存在確率関数類似度算出部１５、クラスタ統合部２１、存在確率関数再導出部２２及びクラスタ情報出力部２３から構成される。
【０１１３】
なお、図１９において、クラスタ統合部２１、存在確率関数再導出部２２及びクラスタ情報出力部２３は、特徴量抽出部１１、区間分割部１２、クラスタリング部１３、存在確率関数導出部１４及び存在確率関数類似度算出部１５と同様、ＣＰＵ１０１とＲＯＭ１０４に予め記憶された所定のプログラムとの協働により実現される機能部である。
【０１１４】
（２）クラスタ統合部２１
クラスタ統合部２１は、存在確率類似度算出部１５により入力された類似度テーブル情報をもとに、複数のクラス情報を統合する処理を行い、新たに得られた各区間の所属クラス情報を存在確率関数再導出部２２へ出力する。
【０１１５】
（３）存在確率再導出部２２
存在確率再導出部２２は、まず、クラスタ統合部２１により入力された変更を含んだ最新の識別子が付与された区間情報に基づき、クラス毎に存在関数を求める。そして、新たに求められた存在関数を用いて、各クラスの存在確率関数を導出し、最新の区間情報と各クラスの累積区間長情報及び各クラスの存在確率関数の情報をクラスタ情報出力部２３へ出力する。
【０１１６】
（４）クラスタ情報出力部２３
クラスタ情報出力部２３は、存在確率再導出部２２の出力結果より、各時刻におけるクラス毎の存在確率の値の情報と、各クラスの累積区間長、区間数の情報を出力する。図２０はクラスタ統合部２１の出力結果、存在確率再導出部２２の出力結果及びクラスタ情報出力部２３の出力結果の例である。
【０１１７】
ここで、存在確率の値ｇがｇ＝０ならばレベル０、０＜ｇ＜０．２５を満たせばレベル１とするといったようにＬ段階の形式（レベル）で記憶すれば、レベルが同じ時刻を統合して作成された各区間のクラス毎の存在確率の値レベルと、区間の開始、終了時刻を出力することができる。
【０１１８】
また、タイムバー上に表示される区間の所属クラスが変化すると色が変わるように表示する状況を想定したとき、利用可能な色（クラス）の数の上限Ｙが設定されることになるため、各区間で最も値レベルの大きいクラスの色を、存在確率の値レベルに応じた濃淡をつけることで表示することもできる。このとき、記憶すべきクラスの存在確率の値は利用可能なクラスに限定しても良い。なお、図２１の例では存在確率の値の５段階（Ｌ＝５、存在確率の値ｇについて、ｇ＝０ならレベル０、０＜ｇ＜０．２５ならレベル１、０．２５＜＝ｇ＜０．５ならレベル２、０．５＜＝ｇ＜０．７５ならレベル３、０．７５＜＝ｇ＜１ならレベル４、ｇ＝１ならレベル５）とし、存在確率の利用可能な色の数の上限Ｙは２にしている。
【０１１９】
（５）処理内容
図２１は、本実施形態の信号処理装置１００による処理の流れを示したフローチャートである。以下、図２１を参照して、本実施形態の処理について説明する。
【０１２０】
まず、ステップＳ２０１において、信号入力部１０６を介して映像信号が入力される。
【０１２１】
次に、ステップＳ２０２において、特徴量抽出部１１は、入力された信号から信号の特性を表す特徴量を一定の時間長ｃ１毎に抽出する。なお、入力された信号が音声信号ならば話者性を表す音声特徴量が、動画像信号ならば撮影対象のヒストグラムといった画像特徴量が抽出される。ここで、抽出された特徴量は、特徴量抽出部１１により区間分割部１２に出力される。
【０１２２】
次に、ステップＳ２０３において、区間分割部１２は、入力された特徴量を任意の長さを持つ区間毎に分割する。なお、区間の分割は一定時間ｃ６毎でも、音声特徴量、画像特徴量の時系列上の変化が極小となった箇所毎でも良い。ここで、分割された特徴量と対応する開始、終了時刻の情報がクラスタリング部１３に出力される。
【０１２３】
次に、ステップＳ２０４において、クラスタリング部１３は、区間の特徴量同士の類似性を求め分類することで、類似した区間同士を１つの集合（クラス）にする。ここで、各クラスには互いを区別するために識別子を付与し、識別子が付与された各区間の情報を存在確率関数導出部１４に出力する。
【０１２４】
次に、ステップＳ２０５において、存在確率関数導出部１４では、分類されたクラス毎に、その該当クラスに属する区間の存在状況を基に存在確率関数を導出する。ここで、導出された存在確率関数は存在確率関数類似度算出部１５に出力される。
【０１２５】
次に、ステップＳ２０６において、存在確率関数類似度算出処理により、全てのクラスの組合せに対して存在確率関数の類似度テーブルが作成される。存在確率関数類似度算出部１５は、クラス識別子が付与された区間情報と得られた類似度テーブルの情報をクラスタ統合部２１に出力する。
【０１２６】
次に、ステップＳ２０７において、クラスタ統合部２１は、クラスタ統合処理により、類似度の高い存在確率関数を持つクラス同士に同じ識別子を付与する。クラスタ統合部２１は、変更を含んだ最新の識別子が付与された各区間の情報を存在確率関数再導出部２２に出力する。
【０１２７】
次に、ステップＳ２０８において、存在確率関数再導出部２２は、最新の区間情報に基づき、クラス毎に存在確率関数を導出し、存在確率関数の情報をクラスタ情報出力部２３へ出力する。
【０１２８】
最後に、ステップＳ２０９において、クラスタ情報出力部２３は、各時刻におけるクラス毎の存在確率の値と、各クラスの存在確率関数の情報を記録した後、本処理を終了する。
【０１２９】
（６）効果
以上のように本実施形態によれば、特に結果を示すクラス数の上限を設定したとき、存在確率関数の値があるクラス情報を提示することで、出力できないはずの区間情報を示すことができる。
【０１３０】
そのため、出現するクラスの傾向が変化することでコーナー境界の存在が確認できるとすると、本発明により、コーナーの継続性を存在確率によって暗示することが可能となる。
【０１３１】
［変更例］
以上、発明の実施の形態について説明したが、本発明はこれに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加などが可能である。
【図面の簡単な説明】
【０１３２】
【図１】信号処理装置のハードウェア構成を示した図である。
【図２】第１の実施形態における信号処理装置の機能構成を示した図である。
【図３】音声特徴量を用いた区間分割部に関する動作例である。
【図４】画像特徴量を用いた区間分割部に関する動作例である。
【図５】クラスタリング部のクラスタリング結果に関する動作例である。
【図６】存在確率関数導出部の存在関数導出に関する動作例である。
【図７】（ａ）は、存在確率関数導出部の存在確率関数導出に関する動作例である。（ｂ）は、存在確率関数導出部の存在確率関数導出に関する動作例である。（ｃ）は、存在確率関数導出部の存在確率関数導出に関する動作例である。
【図８】存在確率関数類似度算出部の動作の手順を示したフローチャートである。
【図９】（ａ）は、存在確率関数類似度算出部の類似度テーブルに関する動作例である。（ｂ）は、存在確率関数類似度算出部の類似度テーブルに関する動作例である。（ｃ）は、存在確率関数類似度算出部の類似度テーブルに関する動作例である。
【図１０】クラスタ統合部の動作の手順を示したフローチャートである。
【図１１】（ａ）は、クラスタ情報出力部の出力結果に関する動作例である。（ｂ）は、クラスタ情報出力部の出力結果に関する動作例である。
【図１２】第１の実施形態における信号処理装置の処理の手順を示したフローチャートである。
【図１３】クラスタリング部のクラスタリング結果に関する動作例である。
【図１４】存在確率関数導出部の存在関数導出に関する動作例である。
【図１５】存在確率関数導出部の存在確率関数導出に関する動作例である。
【図１６】存在確率関数類似度算出部の類似度テーブルに関する動作例である。
【図１７】（ａ）は、クラスタリング部のクラスタリング結果を用いたコーナー境界時刻の検出に関する動作例である。（ｂ）は、クラスタリング部のクラスタリング結果を用いたコーナー境界時刻の検出に関する動作例である。
【図１８】クラスタ情報出力部の出力結果を用いたコーナー境界時刻の検出に関する動作例である。
【図１９】第２の実施形態における信号処理装置の機能構成を示した図である。
【図２０】クラスタ情報出力部の出力結果に関する動作例である。
【図２１】信号処理装置の処理の手順を示したフローチャートである。
【符号の説明】
【０１３３】
１００  信号処理装置
１０１  ＣＰＵ
１０２  操作部
１０３  表示部
１０４  ＲＯＭ
１０５  ＲＡＭ
１０６  信号入力部
１０７  記憶部
１０８  バス
１１  特徴量抽出部
１２  区間分割部
１３  クラスタリング部
１４  存在確率関数導出部
１５  存在確率関数類似度算出部
１６  クラスタ統合部
１７  クラスタ情報出力部
２１  クラスタ統合部
２２  存在確率関数再導出部
２３  クラスタ情報出力部
【図１】
0005060224.tif 000018
【図２】
0005060224.tif 000019
【図３】
0005060224.tif 000020
【図４】
0005060224.tif 000021
【図５】
0005060224.tif 000022
【図６】
0005060224.tif 000023
【図７】
0005060224.tif 000024
【図８】
0005060224.tif 000025
【図９】
0005060224.tif 000026
【図１０】
0005060224.tif 000027
【図１１】
0005060224.tif 000028
【図１２】
0005060224.tif 000029
【図１３】
0005060224.tif 000030
【図１４】
0005060224.tif 000031
【図１５】
0005060224.tif 000032
【図１６】
0005060224.tif 000033
【図１７】
0005060224.tif 000034
【図１８】
0005060224.tif 000035
【図１９】
0005060224.tif 000036
【図２１】
0005060224.tif 000037
【図２０】
0005060224.tif 000038