(57)【要約】【課題】可能な限りインデクスの作成対象の映像又は音声の内容構成をよく表す分類項目だけを利用してインデクスの作成を可能にする。【解決手段】特徴量抽出部１１０はインデクスの作成対象の映像などの信号から特徴量を抽出し、情報取得部１２０はその映像等の映像音声情報を取得し、分類決定部１３０はその映像等の映像音声情報を基に複数の分類項目を決定し、決定した複数の分類項目に映像等を分類するための分類基準データを決定し、判別部１４０は決定された分類基準データと抽出された特徴量とを基に分類項目の判別を行い、インデクス作成部１５０は判別部１４０の判別結果を映像等のインデクスを作成する。【選択図】図１
2007310552.tif 000002
【特許請求の範囲】
【請求項１】
インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出手段と、
前記映像又は音声の内容に関連する映像音声情報を取得する情報取得手段と、
前記情報取得手段により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定手段と、
前記分類決定手段により決定される分類基準データと前記特徴量抽出手段により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別手段と、
前記判別手段による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成手段と、
を備えることを特徴とするインデクス作成装置。
【請求項２】
前記分類決定手段は、
映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積手段と、
分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積手段と、
前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定する基準データ抽出手段と、
を備えることを特徴とする請求項１記載のインデクス作成装置。
【請求項３】
前記情報取得手段は、
映像又は音声の内容に関連する映像音声情報を蓄積する映像音声情報蓄積手段と、
ネットワークを介して映像又は音声の映像音声情報を取得し、取得した映像又は音声の映像音声情報を前記映像音声情報蓄積手段に格納する通信手段と、
インデクスの作成対象の映像又は音声の映像音声情報を前記映像音声情報蓄積手段から読み出して前記分類決定手段へ出力する映像音声管理手段と、
を備えることを特徴とする請求項１記載のインデクス作成装置。
【請求項４】
前記情報取得手段は、ユーザからの映像又は音声の映像音声情報の入力を受け付け、受け付けた映像又は音声の映像音声情報を前記映像音声情報蓄積手段に格納するユーザ入力手段を更に備えることを特徴とする請求項３記載のインデクス作成装置。
【請求項５】
前記インデクス作成装置は、映像又は音声の分類項目の判別を１回以上行うものであって、
前記分類決定手段は、
最初の分類項目の判別を行う場合には、前記情報取得手段により取得される映像音声情報を基に又は任意に分類項目の決定及び分類基準データの決定を行い、
２回目以降の分類項目の判別を行う場合には、前記判別手段による判別結果を基に分類項目の再決定及び分類基準データの再決定を行う
ことを特徴とする請求項１記載のインデクス作成装置。
【請求項６】
前記インデクス作成装置は、映像又は音声の分類項目の判別を１回以上行うものであって、
前記分類決定手段は、前記判別手段による判別結果を評価して分類項目の再判別を行うかを決定する判別結果評価手段を更に備え、
前記基準データ抽出手段は、
最初の分類項目の判別を行う場合には、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定し、
前記判別結果評価手段により再判別を行うと決定された場合には、前記分類項目蓄積手段の蓄積内容を参照して前記判別結果評価手段による評価結果を基に複数の分類項目を再決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して再決定し、
前記判別手段は、前記判別結果評価手段により再判別を行わないと決定された場合に、判別結果を前記インデクス作成手段へ出力することを特徴とする請求項２記載のインデクス作成装置。
【請求項７】
前記特徴量抽出手段により抽出される特徴量を蓄積する特徴量蓄積手段を更に備え、
前記判別手段は、最初の分類項目の判別を行う場合には、前記特徴量抽出手段により抽出される特徴量を用い、２回目以降の分類項目の判別を行う場合には、前記特徴量蓄積手段に蓄積されている特徴量を用いることを特徴とする請求項５又は請求項６記載のインデクス作成装置。
【請求項８】
前記分類決定手段は、前記情報取得手段により取得される映像音声情報を基に映像又は音声の分類項目の判別に用いる特徴量の内容を決定する利用特徴量決定手段を備え、
前記特徴量抽出手段は、前記利用特徴量決定手段による決定結果に基づき信号からの特徴量の抽出を行うことを特徴とする請求項１記載のインデクス作成装置。
【請求項９】
前記分類項目蓄積手段は映像音声情報に対応してカスタマイズ化された分類項目の組み合わせを更に蓄積しており、
前記基準データ抽出手段は、
最初の分類項目の判別を行う場合に前記情報取得手段により取得される映像音声情報に対応したカスタマイズ化された分類項目の組み合わせが前記分類項目蓄積手段に蓄積されている場合にはカスタマイズ化された分類項目の組み合わせを利用する分類項目として決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定し、
前記判別結果評価手段により再判別を行わないと決定された場合に、再判別を行わないと決定された際の分類項目の組み合わせを基に前記分類項目蓄積手段の蓄積内容を更新する
ことを特徴とする請求項６記載のインデクス作成装置。
【請求項１０】
前記情報取得手段は、映像の撮影時又は音声の録音時に関する情報を取得する撮影録音情報取得手段を更に備え、
前記分類決定手段は、前記撮影録音情報取得手段により取得される情報を基に利用する複数の分類項目の変更及び分類基準データの変更を行うことを特徴とする請求項３記載のインデクス作成装置。
【請求項１１】
インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出回路と、
前記映像又は音声の内容に関連する映像音声情報を取得する情報取得回路と、
前記情報取得回路により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定回路と、
前記分類決定回路により決定される分類基準データと前記特徴量抽出回路により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別回路と、
前記判別回路による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成回路と、
を備えることを特徴とする集積回路。
【請求項１２】
前記分類決定回路は、
映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積回路と、
分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積回路と、
前記分類項目蓄積回路の蓄積内容を参照して前記情報取得回路により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積回路から読み出して決定する基準データ抽出回路と、
を備えることを特徴とする請求項１１記載の集積回路。
【請求項１３】
映像又は音声のインデクスを作成するインデクス作成装置により行われるインデクス作成方法であって、
インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出手順と、
前記映像又は音声の内容に関連する映像音声情報を取得する情報取得手順と、
前記情報取得手順により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定手順と、
前記分類決定手順により決定される分類基準データと前記特徴量抽出手順により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別手順と、
前記判別手順による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成手順と、
を有することを特徴とするインデクス作成方法。
【請求項１４】
前記インデクス作成装置は、映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積手段と、分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積手段と、を有し、
前記分類定義決定手順は、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定することを特徴とする請求項１３記載のインデクス作成方法。
【請求項１５】
映像又は音声のインデクスを作成するインデクス作成装置としてのコンピュータに、
インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出手順と、
前記映像又は音声の内容に関連する映像音声情報を取得する情報取得手順と、
前記情報取得手順により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定手順と、
前記分類決定手順により決定される分類基準データと前記特徴量抽出手順により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別手順と、
前記判別手順による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成手順と、
を実行させることを特徴とするインデクス作成プログラム。
【請求項１６】
前記コンピュータは、映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積手段と、分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積手段と、を有し、
前記分類定義決定手順は、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定することを特徴とする請求項１５記載のインデクス作成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像番組や音声番組などを効果的に視聴することができるようにインデクスを作成する技術に関する。
【背景技術】
【０００２】
近年、映像の構成内容を知るための映像解析方法が多数提案されており、映像解析方法としては、映像データから画像信号、音声信号、テキスト信号等の解析を行い、低次元から高次元までの様々な映像に関する特徴量を抽出する方法がある。
さらに、その解析結果などを利用した効率的に映像を視聴するための方法として映像のセグメント化やインデクス化など様々なものがある。例えば、映像のインデクスの作成において、同じジャンルの映像では重要な内容が類似しているという性質を利用し、ジャンル毎に利用する特徴量を決定する方法がある（例えば、特許文献１参照。）。
【０００３】
特に、効率的に映像を視聴するためには、映像の内容にあった映像のセグメント化やインデクス化が重要であり、そのための一手法として、映像の各映像区間の映像信号に対して分類項目の判別を行って映像のインデクスを作成する手法がある。例えば、オーディオ信号をGMM（Gaussian Mixture Model）やSVM（Support Vector Machines）などの判別器を利用して、映像信号の各映像区間の映像信号に対して分類項目の判別を行って、その判別結果を用いてインデクスやハイライトを作成する方法がある（例えば、特許文献２参照）。
【０００４】
ここで、「分類項目」とは、音声、音楽、拍手、背景雑音、笑い声など、映像又は音声の信号を分類する項目のことである。また、「分類項目の判別」とは、GMMやSVMなどの判別器を用いて、予め設定している判別基準又は正解データを用いてトレーニングすることにより得られる判別基準により、各信号区間の信号から抽出した特徴量等から各信号区間が属する分類項目を判別し、映像又は音声を各分類項目に分類することである。
【特許文献１】特表２００４−５２０７５６号公報
【特許文献２】特開２００４−２５８６５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、映像はその内容構成が多岐にわたることから、数種類の分類項目で映像を分類する場合、例えば、音声の分類項目として「男性の声」、「女性の声」、「英語」など複数使用できず、「音声」といった広範囲な分類項目を使用せざるを得ない。このため、ニュース番組では、映像の殆どの区間が分類項目「音声」となり、効率的な映像のインデクスを作成できなかった。
【０００６】
これを解決するには、内容構成が多岐にわたる映像では非常に多くの分類項目を用意して映像の内容構成をよく表す分類項目に分類できるようにする必要がある。
この場合、用意した分類項目にはインデクス作成の対象の映像にあまり関係のない分類項目が存在することになるため、あまり関係のない分類項目も含めて映像を分類項目に分類することになる。あまり関係のない分類項目を含めることによる分類項目の増加は、不必要に分類項目の判別に関連する演算量の増加につながるとともに、分類項目同士の相関関係により各分類項目の判別できる範囲（以下、「判別尤度」という。）を狭めるという問題を有する。
【０００７】
そこで、本発明は、可能な限りインデクスの作成対象の映像又は音声の内容構成をよく表す分類項目だけを利用してインデクスの作成を可能にするインデクス作成装置、集積回路、インデクス作成方法及びインデクス作成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明のインデクス作成装置は、インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出手段と、前記映像又は音声の内容に関連する映像音声情報を取得する情報取得手段と、前記情報取得手段により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定手段と、前記分類決定手段により決定される分類基準データと前記特徴量抽出手段により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別手段と、前記判別手段による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成手段と、を備える。
【０００９】
本発明の集積回路は、インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出回路と、前記映像又は音声の内容に関連する映像音声情報を取得する情報取得回路と、前記情報取得回路により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定回路と、前記分類決定回路により決定される分類基準データと前記特徴量抽出回路により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別回路と、前記判別回路による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成回路と、を備える。
【００１０】
本発明のインデクス作成方法は、映像又は音声のインデクスを作成するインデクス作成装置により行われるインデクス作成方法であって、インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出手順と、前記映像又は音声の内容に関連する映像音声情報を取得する情報取得手順と、前記情報取得手順により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定手順と、前記分類決定手順により決定される分類基準データと前記特徴量抽出手順により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別手順と、前記判別手順による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成手順と、を有する。
【００１１】
本発明のインデクス作成プログラムは、映像又は音声のインデクスを作成するインデクス作成装置としてのコンピュータに、インデクスの作成対象の映像又は音声の各信号区間の信号から特徴量を抽出する特徴量抽出手順と、前記映像又は音声の内容に関連する映像音声情報を取得する情報取得手順と、前記情報取得手順により取得される前記映像又は音声の映像音声情報を基に当該映像又は音声の各信号区間の信号を分類する複数の分類項目を決定し、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる分類基準データを決定する分類決定手順と、前記分類決定手順により決定される分類基準データと前記特徴量抽出手順により抽出される特徴量とを基に前記決定した分類項目のうち特徴量を抽出した信号区間の信号が属する分類項目を判別する判別手順と、前記判別手順による判別結果を基に前記映像又は音声のインデクスを作成するインデクス作成手順と、を実行させる。
【発明の効果】
【００１２】
上記インデクス作成装置、集積回路、インデクス作成方法及びインデクス作成プログラムによれば、インデクスの作成対象の映像又は音声の内容に関連した映像音声情報を利用して利用する分類項目を決定するようにしているため、可能な限りインデクスの作成対象の映像又は音声の内容をよく表す分類項目だけを利用してインデクスの作成が可能になる。この結果、演算量を抑えつつ、分類項目の判別を精度よく行うことが可能になる。
【００１３】
上記のインデクス作成装置において、前記分類決定手段は、映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積手段と、分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積手段と、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定する基準データ抽出手段と、を備えるようにしてもよい。
【００１４】
上記の集積回路において、前記分類決定回路は、映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積回路と、分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積回路と、前記分類項目蓄積回路の蓄積内容を参照して前記情報取得回路により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積回路から読み出して決定する基準データ抽出回路と、を備えるようにしてもよい。
【００１５】
上記のインデクス作成方法において、前記インデクス作成装置は、映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積手段と、分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積手段と、を有し、前記分類定義決定手順は、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定するようにしてもよい。
【００１６】
上記のインデクス作成プログラムにおいて、前記コンピュータは、映像音声情報に対応して使用され得る複数の分類項目を蓄積する分類項目蓄積手段と、分類項目の組み合わせに対応して分類基準データを蓄積する基準データ蓄積手段と、を有し、前記分類定義決定手順は、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に使用する複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定するようにしてもよい。
【００１７】
これらによれば、インデクスの作成対象の映像又は音声の内容に関連した映像音声情報に対応した複数の分類項目の決定及び分類基準データの決定を行うことができる。
上記のインデクス作成装置において、前記情報取得手段は、映像又は音声の内容に関連する映像音声情報を蓄積する映像音声情報蓄積手段と、ネットワークを介して映像又は音声の映像音声情報を取得し、取得した映像又は音声の映像音声情報を前記映像音声情報蓄積手段に格納する通信手段と、インデクスの作成対象の映像又は音声の映像音声情報を前記映像音声情報蓄積手段から読み出して前記分類決定手段へ出力する映像音声管理手段と、を備えるようにしてもよい。
【００１８】
これによれば、分類項目の決定や分類基準データの決定の際に利用する映像音声情報を外部から取得することが可能になる。
上記のインデクス作成装置において、前記情報取得手段は、ユーザからの映像又は音声の映像音声情報の入力を受け付け、受け付けた映像又は音声の映像音声情報を前記映像音声情報蓄積手段に格納するユーザ入力手段を更に備えるようにしてもよい。
【００１９】
これによれば、通信手段で取得することができない例えばホームムービ等で撮影した映像の映像音声情報を取得することができるようになる。
上記のインデクス作成装置において、前記インデクス作成装置は、映像又は音声の分類項目の判別を１回以上行うものであって、前記分類決定手段は、最初の分類項目の判別を行う場合には、前記情報取得手段により取得される映像音声情報を基に又は任意に分類項目の決定及び分類基準データの決定を行い、２回目以降の分類項目の判別を行う場合には、前記判別手段による判別結果を基に分類項目の再決定及び分類基準データの再決定を行うようにしてもよい。
【００２０】
これによれば、繰り返して分類項目の判別を行うため、映像又は音声を分類する複数の分類項目を最適化することが可能となる。
上記のインデクス作成装置において、前記インデクス作成装置は、映像又は音声の分類項目の判別を１回以上行うものであって、前記分類決定手段は、前記判別手段による判別結果を評価して分類項目の再判別を行うかを決定する判別結果評価手段を更に備え、前記基準データ抽出手段は、最初の分類項目の判別を行う場合には、前記分類項目蓄積手段の蓄積内容を参照して前記情報取得手段により取得される映像音声情報を基に複数の分類項目を決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定し、前記判別結果評価手段により再判別を行うと決定された場合には、前記分類項目蓄積手段の蓄積内容を参照して前記判別結果評価手段による評価結果を基に複数の分類項目を再決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して再決定し、前記判別手段は、前記判別結果評価手段により再判別を行わないと決定された場合に、判別結果を前記インデクス作成手段へ出力するようにしてもよい。
【００２１】
これによれば、繰り返して分類項目の判別を行うため、映像又は音声を分類する複数の分類項目を最適化することが可能となる。
上記のインデクス作成装置において、前記特徴量抽出手段により抽出される特徴量を蓄積する特徴量蓄積手段を更に備え、前記判別手段は、最初の分類項目の判別を行う場合には、前記特徴量抽出手段により抽出される特徴量を用い、２回目以降の分類項目の判別を行う場合には、前記特徴量蓄積手段に蓄積されている特徴量を用いるようにしてもよい。
【００２２】
これによれば、特徴量抽出手段で抽出した特徴量を特徴量抽出手段に蓄積するため、繰り返して分類項目の判別を行う場合であっても、演算量の負荷が大きい特徴量の抽出は１回行われるだけになり、インデクスの作成の高速化を実現することができる。
上記のインデクス作成装置において、前記分類決定手段は、前記情報取得手段により取得される映像音声情報を基に映像又は音声の分類項目の判別に用いる特徴量の内容を決定する利用特徴量決定手段を備え、前記特徴量抽出手段は、前記利用特徴量決定手段による決定結果に基づき信号からの特徴量の抽出を行うようにしてもよい。
【００２３】
これによれば、映像又は音声を分類項目に分類する際に利用する特徴量の内容を映像音声情報に応じたものにすることができるため、より映像又は音声の内容に即したインデクスの作成を行うことができるようになる。
上記のインデクス作成装置において、前記分類項目蓄積手段は映像音声情報に対応してカスタマイズ化された分類項目の組み合わせを更に蓄積しており、前記基準データ抽出手段は、最初の分類項目の判別を行う場合に前記情報取得手段により取得される映像音声情報に対応したカスタマイズ化された分類項目の組み合わせが前記分類項目蓄積手段に蓄積されている場合にはカスタマイズ化された分類項目の組み合わせを利用する分類項目として決定し、決定した分類項目の組み合わせに対応した前記分類基準データを前記基準データ蓄積手段から読み出して決定し、前記判別結果評価手段により再判別を行わないと決定された場合に、再判別を行わないと決定された際の分類項目の組み合わせを基に前記分類項目蓄積手段の蓄積内容を更新するようにしてもよい。
【００２４】
これによれば、最初の分類項目の判別からインデクスの作成対象の映像又は音声の内容構成に適した分類項目の決定及び分類基準データの決定を行うことができ、分類項目の判別の繰り返し回数を少なくすることが可能になる。
上記のインデクス作成装置において、前記情報取得手段は、映像の撮影時又は音声の録音時に関する情報を取得する撮影録音情報取得手段を更に備え、前記分類決定手段は、前記撮影録音情報取得手段により取得される情報を基に利用する複数の分類項目の変更及び分類基準データの変更を行うようにしてもよい。
【００２５】
これによれば、撮影時の状況や録音時の状況など撮影時や録音時に関する情報を考慮して利用する複数の分類項目及び分類基準データを変更するため、映像又は音声の内容に適したインデクスの作成を行うことが可能になる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を参照しながら説明する。なお、本発明について、以下の実施の形態および添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。
≪第１の実施の形態≫
以下、本発明の第１の実施の形態について図面を参照しつつ説明する。
［構成］
本実施の形態のインデックス作成装置の機能構成について図１を参照しつつ説明する。図１は、本実施の形態のインデクス作成装置の機能ブロック図である。
【００２７】
インデックス作成装置１０は、信号入力部１００、特徴量抽出部１１０、情報取得部１２０、分類決定部１３０、判別部１４０及びインデクス作成部１５０を備える。
＜信号入力部＞
信号入力部１００は、映像や音声のインデクスの作成が開始されると、インデクスの作成対象の映像の音声信号や画像信号、クローズドキャプション等のテキスト信号、音声の音声信号を予めそれらが蓄積されているストレージデバイス（不図示）から抽出し、抽出した信号を特徴量抽出部１１０へ出力する。
【００２８】
ここで、「映像」は、衛星放送或いは地上波放送のテレビ番組やオンデマンド配信等における動画コンテンツ、または、ホームビデオ等で撮影された動画等であり、「音声」は、ラジオ放送やポッドキャスティング（Podcasting）のようなネットラジオのラジオ番組等である。
また、ストレージデバイスとは、例えばHDD（Hard Disk Drive）やDVD等の大容量メディアディスク、半導体メモリ等のことである。
【００２９】
なお、放送中の番組や撮影中の映像や録音中の音声から信号を直接特徴量抽出部１１０へ出力する場合には、信号入力部１００はテレビチューナやラジオチューナのようなものであってもよい。
なお、映像や音声のインデクス作成の開始は、ユーザによる指示や予め設定している定期的な時間間隔または映像の録画完了や撮影終了のタイミング等であればよく、そのタイミングは特に限定されるものではない。
＜特徴量抽出部＞
特徴量抽出部１１０は、信号入力部１００から入力される処理対象の信号から特徴量を抽出し、抽出した特徴量を判別部１４０へ出力する。
【００３０】
例えば、音声信号の場合、抽出する特徴量としてエネルギ系やスペクトラム系等がある。エネルギ系としては短時間エネルギ及びその時間差分があり、スペクトラム系としてはスペクトラムのロールオフ、MFCC（Mel Frequency Cepstrum Coefficient）及びその時間差分、Flux等がある。その他にも、MPEG７（Moving Picture Experts Group Phase 7）の規格の中で、MPEG７-Audio Featuresとして記載されているものが多数ある。
【００３１】
Lowレベルでの特徴量としては、Audio Power, Audio Spectrum Envelope, Audio Spectrum Centroid, Harmonic Spectral Deviation, Harmonic Spectral Spread 等がある。なお、Hyoung-Gook Kim等著の「MPEG7 AUDIO AND BEYOND」, John Wiley & Sons Ltd, 2005に詳細が記載されている。
具体的に、音声信号の特徴量を抽出する場合は、例えば、分類項目の判別を行う信号区間のセグメント長が500msecの時間間隔であり、特徴量の抽出タイミングが50msec毎であるならば、50msec毎に抽出された特徴量を500msec毎に平均化して出力する。
【００３２】
画像信号の場合、抽出する特徴量として色差成分や輝度成分等がある。
テキスト信号の場合、キーワードセット等がある。
＜情報取得部＞
情報取得部１２０は、インデクスの作成対象の映像又は音声の内容に関係する情報（以下、「映像音声情報」という。）を取得し、取得した映像音声情報を分類決定部１３０へ出力する。ただし、映像音声情報として、タイトル、出演者、放送時間や撮影時間、ジャンル及び映像の簡易構成や撮影趣旨等が挙げられる。
【００３３】
例えば、映像音声情報は、図２に示すような内容であり、放送日、映像時間［min］、ジャンル、出演者、撮影日、及び撮影場所があり、それらの全部又は一部の内容が映像又は音声に与えられる。
（情報取得部の構成）
図１の情報取得部１２０の機能構成の一例について図３を参照しつつ説明する。図３は図１の情報取得部の機能ブロック図である。
【００３４】
情報取得部１２０は、映像音声情報蓄積部１２１、通信部１２２、ユーザ入力部１２３及び映像音声管理部１２４を備える。
映像音声情報蓄積部１２１は、各々の映像と各々の音声について映像音声情報を蓄積しており、その一例が図２である。
通信部１２２は、定期的に又はユーザの指示により、インターネット又は無線ネットワークを介して事前に設定した場所にアクセスし、又は、放送波に重畳されているデータから、映像又は音声の映像音声情報を取得し、取得した映像音声情報を映像音声情報蓄積部１２１に格納する。なお、映像音声情報蓄積部の取得に際して、電子プログラムガイド（EPG：Electronic Program Guide）を利用することができる。
【００３５】
ユーザ入力部１２３は、例えば、ユーザからの映像又は音声の映像音声情報の入力を受け付け、取得した映像音声情報を映像音声情報蓄積部１２１に格納する。なお、ユーザ入力部１２３は、予めプリセットとして設定されている映像音声情報の項目をユーザが択一的に選択決定できるように構成され、ユーザによる映像音声情報の項目の選択決定を受け付けて、各項目の選択内容を映像音声情報として映像音声情報蓄積部１２１に格納する。
【００３６】
なお、撮影時刻情報等は、撮影機器内蔵の時計センサを利用して取得することもできる。また、テレビ番組等の映像であってもユーザ入力部１２３により映像音声情報を入力できるようにしたり、通信部１２２を用いて映像音声情報として入力できる項目を定期的にアップデートしたり、イベント毎に映像音声情報のテンプレートをかえたりしてもよい。
映像音声管理部１２４は、映像又は音声の編集開始に伴い編集対象である映像又は音声（インデクスの作成対象の映像又は音声）に対応した映像音声情報を映像音声情報蓄積部１２１から読み出し、読み出した映像音声情報を分類決定部１３０へ出力する。
＜分類決定部＞
分類決定部１３０は、情報取得部１２０から入力される映像音声情報の中から分類項目を定める際に用いる映像音声情報を取り出し、取り出した映像音声情報を用いてインデクスの作成対象の映像又は音声を分類する複数の分類項目を決定する。続いて、分類決定部１３０は、決定した複数の分類項目に映像又は音声の各信号区間の信号を分類する際に用いる判別基準としての分類基準データを決定する。そして、分類決定部１３０は、決定内容を判別部１４０へ出力する。
（分類決定部の構成）
図１の分類決定部１３０の機能構成の一例について図４を参照しつつ説明する。図４は図１の分類決定部の機能ブロック図である。
【００３７】
分類決定部１３０は、分類項目蓄積部１３１、基準データ蓄積部１３２及び基準データ抽出部１３３を備える。
分類項目蓄積部１３１は図５に一例を示す基準データ選択表と図６に一例を示す優先度表とを蓄積する。
基準データ選択表は、映像又は音声の分類に用いる分類項目と分類基準データとを記述したものであり、図５の例は映像音声情報の一つの「ジャンル」に関するものである。なお、情報取得部１２０から入力される映像音声情報を用いて分類項目と分類基準データを決定することが可能な基準データ選択表であればどのようなものであってもよい。
【００３８】
優先度表は、分類項目及び分類基準データの決定に使用する映像音声情報を決定する際に用いられるものであり、図６の例では、映像音声情報の種類と優先度とを対応付けて記述されている。優先度の値が小さい（優先度が高い）映像音声情報から順に分類項目及び分類基準データの決定に用いられる。
基準データ蓄積部１３２は、映像又は音声の分類の際に利用される可能性のある全ての分類基準データを蓄積している。
【００３９】
分類基準データは、分類項目の分類基準となるデータが記述されたデータのことである。分類基準データは、例えば、予め用意された分類項目毎の正解データセットの特徴量により、分類項目の判別に用いる判別器でトレーニングされ作成される。
例えば、音声信号の特徴量であるMFCCを利用して、分類項目「音楽」と分類項目「非音楽」とを識別するための分類基準データを作成する場合には、音楽と非音楽の正解音声信号のセットを予め用意し、正解データから算出したMFCCを用いて、利用する判別器でトレーニングを行う。そして、利用する判別器の判断基準として、特徴量の平均値と分散を利用する場合には、音楽データと非音楽データにおけるMFCCの平均値や分散値が記述されたデータとして分類基準データが作成される。
【００４０】
基準データ抽出部１３３は、情報取得部１２０から入力される映像音声情報から、図６に一例を示した優先度表に従って、使用する映像音声情報を抜き出す。そして、基準データ抽出部１３３は、抜き出した映像音声情報に関する分類項目蓄積部１３１内の基準データ選択表を参照して、抜き出した映像音声情報の内容に対応した分類項目を読み出して決定すると共に、使用する分類規準データの名称を読み出す。続いて、基準データ抽出部１３３は、読み出した名称の分類基準データを基準データ蓄積部１３２から読み出して決定する。
【００４１】
例えば、インデクスの作成対象が図２の映像Ａであり、分類項目選択表及び優先度表が図５及び図６に示すものであるとする。
基準データ抽出部１３３は、分類項目蓄積部１３１内の優先度表を参照し、情報取得部１２０から入力される映像音声情報から優先度の最も高い映像音声情報「ジャンル」を抜き出す。基準データ抽出部１３３は、映像Ａの映像音声情報「ジャンル」が「ニュース」であることから、分類項目蓄積部１３１内の分類項目選択表を参照し、分類項目「男性の声」、「女性の声」、「効果音」、「その他」を読み出して使用する分類項目に決定するとともに、分類基準データ「分類基準データＤ１」を読み出す。続いて、基準データ抽出部１３３は、読み出した名称の分類基準データを基準データ蓄積部１３２から読み出して決定する。
【００４２】
なお、インデクスの作成対象の映像又は音声の映像音声情報にジャンルの情報がない場合には、次に優先度の高い撮影場所が使用する映像音声情報になる。
＜判別部＞
判別部１４０は、分類決定部１３０から入力される分類基準データを判別基準として、特徴量抽出部１１０から入力される特徴量によって、分類決定部１３０により決定された複数の分類項目のうち、その特徴量が抽出された信号区間の信号が属する１又は複数の分類項目を判別する。
【００４３】
具体的手段としては、GMMやSVMなどの判別器を利用する。まず、判別部１４０は、判別器に分類基準データをセットし、入力されてくる特徴量を用いて分類項目の判別を行う。なお、判別器は、ある判別基準に従って、ある特徴量を持った信号が属する、ある定義された分類項目を判別することができる方法であればよい。
＜インデクス作成部＞
インデクス作成部１５０は、判別部１４０から入力される映像又は音声の各信号区間の分類結果を用いて、映像のセグメント化やインデクスの作成を行う。なお、映像又は音声の各信号区間の分類結果を基本として、映像又は音声のインデクスの作成を行う方法は様々であり、分類項目の区間の開始点と終了点をインデクスとして作成すること等が考えられる。
【００４４】
例えば、音声と音楽と歓声とを分類項目とし、スポーツ番組などの歓声部分に関するインデクスを作成する場合、全ての歓声区間又はある一定時間以上歓声が継続している歓声区間の開始点と終了点を抽出し、それらをインデクスとして作成する。
また、ある音楽番組に対する判別部１４０による分類結果が図７であったとする。インデクス作成部１５０は、図７に示す分類結果を用いて、音声から楽曲に遷移するポイントを楽曲の開始点として抽出し、楽曲から音声に遷移するポイントを楽曲の終了点として抽出し、音楽番組内の楽曲に関する開始点と終了点とのインデクスを作成する。
【００４５】
なお、インデクス作成部１５０が判別部１４０による分類結果を用いてシーン変化点を抽出し、抽出結果を用いてインデクスを作成することができる方法であればよい。また、インデクス作成のために、判別部１４０による分類結果とその他の情報とを用いてシーン変化点等を抽出し、抽出結果を用いてインデクスを作成することができる方法であればよい。
［動作］
上述したインデクス作成装置の動作の概要を説明する。
【００４６】
信号入力部１００は、インデクスの作成対象の映像又は音声の信号を特徴量抽出部１１０へ逐次出力する。
このとき、情報取得部１２０の映像音声管理部１２４は映像音声情報蓄積部１２１の蓄積内容を参照してインデクスの作成対象の映像又は音声の映像音声情報を分類決定部１３０へ出力する。
【００４７】
分類決定部１３０の基準データ抽出部１３３は、分類項目蓄積部１３１の蓄積内容を参照して、分類決定部１３０から入力される映像音声情報から、使用する映像音声情報を抜き出す。そして、基準データ抽出部１３３は、分類項目蓄積部１３１の基準データ選択表を参照して抜き出した映像音声情報に対応した分類項目と分類基準データの名称を読み出し、続いて、読み出した名称の分類基準データを基準データ蓄積部１３２から読み出す。
【００４８】
特徴量抽出部１１０は、信号入力部１００から入力される信号に対して各信号区間から特徴量を抽出し、抽出した特徴量を判別部１４０へ逐次出力する。
判別部１４０は、分類決定部１３０から入力される分類基準データを基準として、特徴量抽出部１１０から逐次入力される特徴量から、特徴量が抽出された信号区間の信号が属する分類項目の判別を行い、判別結果をインデクス作成部１５０へ逐次出力する。
【００４９】
インデクス作成部１５０は、判別部１５０から逐次入力される判別結果を基に映像又は音声のインデクスを作成する。
［効果］
本実施の形態によれば、分類決定部１３０により、映像音声情報から映像内容又は音声内容をよく表す分類項目を限定して決定し、その分類項目に対する分類基準データを利用して、映像又は音声の分類項目の判別を行う。このため、映像又は音声を映像内容又は音声内容を良く表す分類項目に少ない演算量でかつ高精度にある程度の判別尤度をもって判別し分類することができ、効率的に映像又は音声を視聴するための映像又は音声のセグメント化やインデクス作成を行うことができる。
［補足］
（１）１つの映像音声情報を用いて分類項目の決定など行う場合を説明したが、これに限らず、複数の映像音声情報を用いて分類項目の決定などを行うようにしてもよい。
（２）優先度表を用いて使用する映像音声情報を決定する場合を説明したが、これに限らず、使用する映像音声情報を決定することができる方法であればよい。
≪第２の実施の形態≫
以下、本発明の第２の実施の形態について図面を参照しつつ説明する。本実施の形態のインデクス作成装置は、第１の実施の形態のインデクス作成装置に、判別部による判別結果を基に分類項目の再決定及び分類基準データの再決定を行う機能を追加したものである。なお、本実施の形態において、第１の実施の形態と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
［構成］
本実施の形態のインデックス作成装置の機能構成について図８を参照しつつ説明する。図８は、本実施の形態のインデクス作成装置の機能ブロック図である。
【００５０】
インデックス作成装置２０は、信号入力部１００、特徴量抽出部１１０、情報取得部１２０、分類決定部１３０ａ、判別部１４０ａ及びインデクス作成部１５０を備える。
＜判別部＞
判別部１４０ａは、判別部１４０と同じ動作により分類項目の判別を行い、判別結果を分類決定部１３０ａへ出力する。また、判別部１４０ａは、分類決定部１３０ａからインデクス作成部１５０への判別結果の出力命令を受けて、判別結果をインデクス作成部１５０へ出力する。
＜分類決定部＞
分類決定部１３０ａは、分類項目の決定や再決定及び分類基準データの決定や再決定を行う。また、分類決定部１３０ａは、判別部１４０ａに対してインデクス作成部１５０への判別結果の出力命令を行う。
（分類決定部の構成）
図８の分類決定部１３０ａの機能構成の一例について図９を参照しつつ説明する。図９は図８の分類決定部の機能ブロック図である。
【００５１】
分類決定部１３０ａは、分類項目蓄積部１３１ａ、基準データ蓄積部１３２、基準データ抽出部１３３ａ及び判別結果評価部１３４を備える。
分類項目蓄積部１３１は図１０に一例を示す分類項目選択表と図１１に一例を示す基準データ選択表と図６に一例を示す優先度表とを蓄積する。
分類項目選択表は、映像又は音声の分類に使用する分類項目を決定し又は再決定する際に用いられるものであり、基本分類項目とサブ分類項目と優先度とを対応付けて記述したものである。例えば、ジャンル「ニュース」に関する分類項目選択表の一例を図１０に示す。優先度の値が小さい（優先度が高い）サブ分類項目から順に利用する分類項目として決定される。なお、図１０において、優先度「１」のサブ分類項目が基本分類項目であり、優先度「２」〜「６」のサブ分類項目が代替分類項目である。
【００５２】
なお、ジャンル「ニュース」以外の基本利用分類項目及び代替分類項目の例を図１５に示す。ただし、基本分類項目に優先度「１」が割り当てられ、代替分類項目に優先度「２」以降の値が適宜割り当てられる。
基準データ選択表は、映像又は音声の分類に用いる分類項目と分類基準データとを記述したものであり、図１１の例は映像音声情報の一つの「ジャンル」に関するものである。
【００５３】
基準データ抽出部１３３ａは、情報取得部１２０から入力される映像音声情報から、図６に一例を示した優先度表に従って、使用する映像音声情報を抜き出す。そして、基準データ抽出部１３３ａは、抜き出した映像音声信号に関係した分類項目蓄積部１３１ａ内の分類項目選択表を参照して、２回目以降の判別の場合には判別結果評価部１３４の評価結果も含めて、使用する複数の分類項目を決定又は再決定する。続いて、基準データ抽出部１３３ａは、抜き出した映像音声情報に関する分類項目蓄積部１３１ａ内の基準データ選択表を参照して、抜き出した映像音声情報の内容と決定又は再決定した分類項目に対応した分類規準データの名称を読み出す。そして、基準データ抽出部１３３ａは、読み出した名称の分類基準データを基準データ蓄積部１３２から読み出して決定又は再決定する。
【００５４】
判別結果評価部１３４は、図１２に一例を示す検出率閾値表を内部保持している。
検出率閾値表は、分類項目の確定又は変更する分類項目の決定を行う際に用いられるものであり、基本分類項目とサブ分類項目と検出率閾値とを対応付けて記述したものである。例えば、ジャンル「ニュース」に関する分類項目選択表の一例を図１２に示す。
判別結果評価部１３４は、判別部１４０ａから入力される判別結果を基に各分類項目の検出率を算出し、全ての分類項目の検出率が検出率閾値表の検出率閾値を越えているかを評価する。検出率の算出は、例えば、分類項目に割り振られた時間を映像全体の時間で割り、１００をかけることにより行う。
【００５５】
判別結果評価部１３４は、全ての分類項目の検出率が検出率閾値を超えている場合、判別部１４０ａに対して判別結果をインデクス作成部１５０へ出力するように命令する。一方、判別結果評価部１３４は、全ての分類項目の検出率が検出率閾値を超えていない場合、検出率が検出率閾値を越えていない分類項目を変更する分類項目として基準データ抽出部１３３ａへ出力する。
（分類決定部の動作）
図９の分類決定部１３０ａの動作について図１３を参照しつつ説明する。図１３は図９の分類決定部の処理の流れを示すフローチャートである。
【００５６】
優先度表が図６、分類項目選択表が図１０、基準データ選択表が図１１、検出率閾値表が図１２に示すものであり、図１３の処理結果が図１４に示すものであるとし、インデクスの作成対象が図２の映像Ａであるとする。
分類決定部１３０ａは、判別部１４０ａによる分類項目の判別に利用する分類項目及び分類基準データの決定を開始する（ステップＳ１０１）。
【００５７】
基準データ抽出部１３３ａは、情報取得部１２０から入力される映像情報の中から、優先度表を参照して、映像音声情報「ジャンル」を抜き出す。そして、基準データ抽出部１３３ａは、ジャンルに関する分類項目選択表を参照して、優先度の値が「１」である分類項目「男性の声」、「女性の声」、「効果音」、「その他全般」を利用する分類項目に決定する。さらに、基準データ抽出部１３３ａは、ジャンルに関する基準データ選択表を参照して、抜き出した映像音声情報の内容「ニュース」と決定した分類項目とに対応した分類基準データ「分類基準データＤ１１」を利用する分類基準データに決定し、基準データ蓄積部１３２から分類基準データを読み出す（ステップＳ１０２）。判別部１４０ａは、読み出した分類項目と分類基準データとを利用して分類項目の判別を行う。
【００５８】
判別結果評価部１３４は、判別部１４０ａから入力される判別結果を基に各分類項目の検出率を算出し、検出率閾値表を参照して、各分類項目の検出率が検出率閾値を超えているかを評価する（ステップＳ１０３）。
判別結果評価部１３４は、評価結果（図１４の第１回目）を基に全ての分類項目の検出率が検出率閾値以上であるかを判定し（ステップＳ１０４）、分類項目「女性の声」の検出率が検出率閾値を超えていないので（Ｓ１０４：ＮＯ）、ステップＳ１０５の処理へ進む。
【００５９】
基準データ抽出部１３３ａは、分類項目選択表を参照して、代替分類項目の全てが利用されているかを判断し（ステップＳ１０５）、ここでは、全てが利用されていないとして（Ｓ１０５：ＮＯ）、ステップＳ１０２の処理に戻る。
基準データ抽出部１３３ａは、分類項目選択表を参照して、分類項目「女性の声」の代わりに優先度の値が「２」である分類項目「強調音声」を選択し、「男性の声」、「強調音声」、「効果音」、「その他全般」を利用する分類項目に決定する。さらに、基準データ抽出部１３３ａは、基準データ選択表を参照して、抜き出した映像音声情報の内容「ニュース」と決定した分類項目とに対応した分類基準データ「分類基準データＤ１２」を利用する分類基準データに決定し、基準データ蓄積部１３２から分類基準データを読み出す（ステップＳ１０２）。判別部１４０ａは、読み出した分類項目と分類基準データとを利用して分類項目の判別を行う。
【００６０】
判別結果評価部１３４は、判別部１４０ａから入力される判別結果を基に各分類項目の検出率を算出し、検出率閾値表を参照して、各分類項目の検出率が検出率閾値を超えているかを評価する（ステップＳ１０３）。
判別結果評価部１３４は、評価結果（図１４の第２回目）を基に全ての分類項目の検出率が検出率閾値以上であるかを判定し（ステップＳ１０４）、分類項目「効果音」の検出率が検出率閾値を超えていないので（Ｓ１０４：ＮＯ）、ステップＳ１０５の処理へ進む。
【００６１】
基準データ抽出部１３３ａは、分類項目選択表を参照して、代替分類項目の全てが利用されているかを判断し（ステップＳ１０５）、ここでは、全てが利用されていないとして（Ｓ１０５：ＮＯ）、ステップＳ１０２の処理に戻る。
基準データ抽出部１３３ａは、分類項目選択表を参照して、分類項目「効果音」の代わりに優先度の値が「３」である分類項目「ＢＧＭ」を選択し、「男性の声」、「強調音声」、「ＢＧＭ」、「その他全般」を利用する分類項目に決定する。さらに、基準データ抽出部１３３ａは、基準データ選択表を参照して、抜き出した映像音声情報の内容「ニュース」と決定した分類項目とに対応した分類基準データ「分類基準データＤ１３」を利用する分類基準データに決定し、基準データ蓄積部１３２から分類基準データを読み出す（ステップＳ１０２）。判別部１４０ａは、読み出した分類項目と分類基準データとを利用して分類項目の判別を行う。
【００６２】
判別結果評価部１３４は、判別部１４０ａから入力される判別結果を基に各分類項目の検出率を算出し、検出率閾値表を参照して、各分類項目の検出率が検出率閾値を超えているかを評価する（ステップＳ１０３）。
判別結果評価部１３４は、評価結果（図１４の第３回目）を基に、全ての分類項目の検出率が検出率閾値以上であるかを判定し（ステップＳ１０４）、全ての分類項目の検出率が検出率閾値を超えているので（Ｓ１０４：ＹＥＳ）、ステップＳ１０６へ進む。
【００６３】
判別結果評価部１３４は、分類項目「男性の声」、「強調音声」、「ＢＧＭ」、「その他全般」を利用する分類項目に決定し、分類基準データ「分類基準データＤ１３」を利用する分類基準データに決定し、判別部１４０ａに対して判別結果をインデクス作成部１５０へ出力するように命令する（ステップＳ１０６）。
なお、ステップＳ１０５において、代替分類項目が全て利用されていると判断された場合（Ｓ１０５：ＮＯ）、ステップＳ１０６の処理へ進む。
［効果］
本実施の形態によれば、分類決定部１３０ａにより、利用する分類項目及び分類基準データの決定及び再決定を繰り返し行うため、映像内容又は音声内容をよりよく表す最適な分類項目を限定して決定し、その分類項目に対する分類基準データを利用して、映像又は音声の分類項目の判別を行う。このため、さらに効率的に映像又は音声を視聴するための映像又は音声のセグメント化やインデクス作成を行うことができる。
［補足］
（１）最初の判別に利用する分類項目及び分類基準データとして、映像音声情報を基に決定した分類項目及び分類基準データを用いる代わりに、予め設定した全ての映像音声情報に共通の分類項目及び分類基準データを用いるようにしてもよい。
（２）ステップＳ１０２からステップＳ１０５のループ回数を設定するようにしてもよい。
（３）全映像時間の分類項目の検出率に限らず、映像の一部やある間隔毎の分類項目の検出率を利用してもよい。また、一定間隔で、例えばCM区間毎のタイミングで判別を行い、最適な分類項目の再決定を行うことや、代替分類項目として他のジャンルの分類項目を利用するようにしてもよい。
（４）利用する分類項目及び分類基準データの再決定を繰り返し行うかどうかの判定基準として、検出率以外のものであっても分類項目の判別結果から決めることができる方法であればよい。例えば、分類項目の判別結果の時間的な分布や分類項目の判別された量を表すヒストグラムの形状、または分類項目間の遷移回数等の利用が考えられる。
（５）最初に一般的な分類項目及びそれに対する分類基準データの決定を行ってから、分類項目の再決定及び分類基準データの再決定を繰り返すようにしてもよい。
【００６４】
一般的な分類項目の決定手順の例を図１６に示す。
分類決定部１３３ａは、音声に関する分類項目を決定する処理を開始し、「一般音声」、「男性の声」、「女性の声」、「強調音声」を分類項目とする分類項目の判別が判別部１４０ａにより行われる（ステップＳ２０１）。
分類決定部１３３ａは、判別部１４０ａによる判別結果を基に、一般音声の検出率が６０％以上であるかを判定する（ステップＳ２０２）。一般音声の検出率が６０％以上である場合（Ｓ２０２：ＹＥＳ）、分類決定部１３３ａは一般音声を設定し（ステップＳ２０５）、ステップＳ２０６の処理へ進む。
【００６５】
一方、一般音声の検出率が６０％以上でない場合（Ｓ２０２：ＮＯ）、分類決定部１３３ａは、判別部１４０ａによる判別結果を基に、「男性の声」、「女性の声」、「強調音声」の分類項目の検出率を算出し（ステップＳ２０３）、最も検出率が高い分類項目を設定し（ステップＳ２０４）、ステップＳ２０６の処理へ進む。
分類決定部１３３ａは、ステップＳ２０４又はステップＳ２０５で設定した分類項目を音声の分類項目に決定し（ステップＳ２０６）、処理を終了する。
【００６６】
分類決定部１３３ａは、音楽に関する分類項目を決定する処理を開始し、「一般音楽」、「楽曲」、「ＢＧＭ」、「効果音」を分類項目とする分類項目の判別が判別部１４０ａにより行われる（ステップＳ２２１）。
分類決定部１３３ａは、判別部１４０ａによる判別結果を基に、一般音楽の検出率が５０％以上であるかを判定する（ステップＳ２２２）。一般音楽の検出率が５０％以上である場合（Ｓ２２２：ＹＥＳ）、分類決定部１３３ａは一般音楽を設定し（ステップＳ２２５）、ステップＳ２２６の処理へ進む。
【００６７】
一方、一般音楽の検出率が５０％以上でない場合（Ｓ２２２：ＮＯ）、分類決定部１３３ａは、判別部１４０ａによる判別結果を基に、「楽曲」、「ＢＧＭ」、「効果音」の分類項目の検出率を算出し（ステップＳ２２３）、最も検出率が高い分類項目を設定し（ステップＳ２２４）、ステップＳ２２６の処理へ進む。
分類決定部１３３ａは、ステップＳ２２４又はステップＳ２２５で設定した分類項目を音楽の分類項目に決定し（ステップＳ２２６）、処理を終了する。
【００６８】
分類決定部１３３ａは、歓声に関する分類項目を決定する処理を開始し、「一般歓声」、「応援」、「拍手」、「笑い」を分類項目とする分類項目の判別が判別部１４０ａにより行われる（ステップＳ２４１）。
分類決定部１３３ａは、判別部１４０ａによる判別結果を基に、一般歓声の検出率が４０％以上であるかを判定する（ステップＳ２４２）。一般歓声の検出率が４０％以上である場合（Ｓ２４２：ＹＥＳ）、分類決定部１３３ａは一般歓声を設定し（ステップＳ２４５）、ステップＳ２４６の処理へ進む。
【００６９】
一方、一般歓声の検出率が４０％以上でない場合（Ｓ２４２：ＮＯ）、分類決定部１３３ａは、判別部１４０ａによる判別結果を基に、「応援」、「拍手」、「笑い」の分類項目の検出率を算出し（ステップＳ２４３）、最も検出率が高い分類項目を設定し（ステップＳ２４４）、ステップＳ２４６の処理へ進む。
分類決定部１３３ａは、ステップＳ２４４又はステップＳ２４５で設定した分類項目を音楽の分類項目に決定し（ステップＳ２４６）、処理を終了する。
≪第３の実施の形態≫
以下、本発明の第３の実施の形態について図面を参照しつつ説明する。本実施の形態のインデクス作成装置は、第２の実施の形態のインデクス作成装置に、分類項目の判別の際に映像音声情報に応じた特徴量を利用することを可能にする機能と抽出された特徴量を蓄積する機能とを追加したものである。なお、本実施の形態において、第１の実施の形態又は第２の実施の形態と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
［構成］
本実施の形態のインデックス作成装置の機能構成について図１７を参照しつつ説明する。図１７は、本実施の形態のインデクス作成装置の機能ブロック図である。
【００７０】
インデックス作成装置３０は、信号入力部１００、特徴量抽出部１１０ｂ、情報取得部１２０、分類決定部１３０ｂ、判別部１４０ｂ及びインデクス作成部１５０を備える。
＜特徴量抽出部＞
特徴量抽出部１１０ｂは、分類決定部１３０ｂから入力される利用する特徴量の内容に従って、信号入力部１００から入力される処理対象の信号から特徴量を抽出し、抽出した特徴量を判別部１４０ａへ出力するとともに、特徴量蓄積部２００に格納する。
＜特徴量蓄積部＞
特徴量蓄積部２００は、特徴量抽出部１１０ｂで抽出された特徴量を蓄積するストレージデバイスであり、例えばHDDやDVD等の大容量メディアディスク、半導体メモリ等である。
＜判別部＞
判別部１４０ａが常に分類項目の判別に特徴量抽出部１１０から出力される特徴量を用いるのに対して、判別部１４０ｂは、最初の分類項目の判別では特徴量抽出部１１０ｂから出力される特徴量を用い、２回目以降の分類項目の判別では特徴量蓄積部２００に蓄積されている特徴量を用いる。なお、判別部１４０ｂのこれ以外の動作は、判別部１４０ａと同じである。
＜分類決定部＞
分類決定部１３０ｂは、分類決定部１３０ａと同じ動作を行い、さらに、情報取得部１２０から入力される映像音声情報を基に分類項目の判別に利用する特徴量の内容を決定し、決定結果を特徴量抽出部１１０ａへ出力する。
（分類決定部の構成）
図１７の分類決定部１３０ｂの機能構成の一例について図１８を参照しつつ説明する。図１８は図１７の分類決定部の機能ブロック図である。
【００７１】
分類決定部１３０ｂは、利用特徴量決定部１３５、分類項目蓄積部１３１ａ、基準データ蓄積部１３２、基準データ抽出部１３３ａ及び判別結果評価部１３４を備える。
利用特徴量決定部１３５は、情報取得部１２０から入力される映像音声情報から特徴量抽出部１１０ｂで利用する特徴量の内容を決定する。
特徴量としては、画像信号、音声信号、テキスト信号等から抽出される特徴量がある。
【００７２】
例えば、映像音声情報の一つである「ジャンル」から利用する特徴量の内容を決定する際には、サッカ等のスポーツ番組では、実況アナウンサの音声信号に特徴があると考えられ、音声信号から得られる特徴としてアナウンサの感情的な情報を含むF0（基本周波数）を利用することや音声信号の短時間パワー値の変化率を利用することが考えられる。また、ニュース番組等のようにキャスタや司会者の登場する場面に特徴がある映像では、キャスタが登場する画像情報として、例えば人物に関する輝度情報やエッジ検出による顔の輪郭情報を利用すること等が考えられる。なお、映像信号から得られる特徴量で、映像音声情報により判別において有効な特徴量かどうかを判別できるものであれば、種類は問わない。
［効果］
分類決定部１３０ｂにおいて分類項目の判別を行う際には、特徴量抽出部１１０ｂにおいて抽出される映像又は音声の特徴量が必要となる。一般的に映像等から特徴量を抽出するためには、圧縮された映像等をデコードして解析する必要があり、そのための演算量が非常に多く処理に時間がかかる。
【００７３】
分類項目の判別を繰り返す場合にその都度特徴量の抽出を行うと、繰り返す回数に応じて演算量が増加し、処理に時間がかかることになる。
これに対して、本実施の形態では、特徴量抽出部１１０ｂの抽出結果を特徴量蓄積部２００に蓄積し、２回目以降の判別では特徴量蓄積部２００に蓄積されている特徴量を利用するようになっているため、特徴量の抽出を一度だけ行えばよく、演算速度の高速化が可能となる。
【００７４】
利用特徴量決定部１３５において判別に利用する特徴量の内容を映像音声情報に応じて決定しているため、より分類項目の判別の精度を向上させることが可能となり、映像又は音声のインデクス作成の精度が向上する。
≪第４の実施の形態≫
以下、本発明の第４の実施の形態について図面を参照しつつ説明する。本実施の形態のインデクス作成装置は、分類項目及び分類基準データをカスタマイズする機能を備えるものである。なお、本実施の形態において、上記の実施の形態と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
［構成］
（分類決定部の構成）
本実施の形態の分類決定部１３０ｃの機能構成の一例について図１９を参照しつつ説明する。図１９は本実施の形態の分類決定部の機能ブロック図である。
【００７５】
分類決定部１３０ｃは、分類項目蓄積部１３１ｃ、基準データ蓄積部１３２、基準データカスタマイズ部１３６及び判別結果評価部１３４を備える。
分類項目蓄積部１３１ｃは図１０に一例を示す分類項目選択表と図１１に一例を示す基準データ選択表と図６に一例を示す優先度表と図２０に一例を示すカスタマイズ選択表とを蓄積する。
【００７６】
カスタマイズ選択表は、よく似た構成内容の映像又は音声の分類項目の判別が以前に行われている場合に、映像又は音声の最初の分類項目の判別に利用する分類項目及び分類基準データを決定する際に利用されるものであり、分類項目と分類基準データとを記述したものである。図２０の例は映像音声情報の一つの映像名に関するものである。
基準データカスタマイズ部１３６について具体例を挙げながら説明する。
【００７７】
例えば、映像や音声の中でも毎週放送されている番組や司会者が同じ人物で同じジャンルの番組や出演者が同じ番組では、映像や音声の内容構成が基本的に同じであると考えられる。ここでは、例えば、毎週又は毎日放送されるテレビ番組に関して、映像名で、次回からの判別に利用する分類項目と分類基準データとを最適化する場合で説明する。
基準データカスタマイズ部１３６は、情報取得部１２０から入力される映像音声情報から予め定められた映像音声情報（ここでは、映像名）を抜き出し、カスタマイズ選択表に抜き出した映像名「テレビ番組ＡＡ」に対応するものが存在すれば、映像名「テレビ番組ＡＡ」に対応した分類項目「男性の声」、「女性の声」、「効果音」、「その他全般」を利用する分類項目に決定し、「分類基準データＤ１１」の分類基準データを基準データ蓄積部１３２から読み出して利用する分類基準データに決定する。そして、判別部１４０ａにおいてこの決定結果に従って判別処理が行われ、判別部１４０ａによる判別結果が判別結果評価部１３４で評価される。
【００７８】
再判別を行わない評価結果であった場合には、カスタマイズ選択表の内容をそのままにしておく。
一方、再判別を行う評価結果であった場合には、基準データカスタマイズ部１３６は、再判別を行わない評価結果になるまで、第２の実施の形態で説明した基準データ抽出部１３３ａの動作と同様の動作を行って分類項目の再決定及び分類基準データの再決定を繰り返し行う。そして、基準データカスタマイズ部１３６は、カスタマイズ選択表に記述されている映像名「テレビ番組ＡＡ」の分類項目と分類基準データとを再判別を行わない評価結果となったときの分類項目と分類基準データとに置き換える。
【００７９】
カスタマイズ選択表に抜き出した映像名「テレビ番組ＡＢ」に対応するものが存在しなければ、基準データカスタマイズ部１３６は、最初の判別に利用する分類項目と分類基準データとを第２の実施の形態で説明した基準データ抽出部１３３ａの動作と同様の動作を行って決定する。そして、この決定内容に対する判別部１４０ａによる判別結果が判別結果評価部１３４で評価される。
【００８０】
基準データカスタマイズ部１３６は、判別結果評価部１３４の評価結果が再判別を行わないと判別されるまで、第２の実施の形態で説明した基準データ抽出部１３３ａの動作と同様の動作を行って分類項目の再決定及び分類基準データの再決定を繰り返し行う。そして、基準データカスタマイズ部１３６は、カスタマイズ選択表に新たに映像名「テレビ番組ＡＢ」を追加し、これに対応付けて再判別を行わない評価結果となったときの分類項目と分類基準データとを新たに記述する。
［効果］
本実施の形態によれば、例えば、同じテレビ番組名での２回目以降の映像のインデクス作成時には、利用する分類項目及び分類基準データが、既にある程度映像内容をよく表す分類項目及び分類基準データとして保存されているため、１回目の分類項目の判別から、ある程度精度の良い判別を行うことが可能となる。さらに、各分類項目の検出率が悪い場合等では、分類項目の再決定及び分類基準データの再決定を繰り返して行うため、より適した分類項目及び分類基準データを用いたインデクスの作成が可能になると共に、次回の映像などのインデクスの作成では更新後の分類項目及び分類基準データを１回目の分類項目の判別から利用することができるようになる。
［補足］
（１）映像又は音声の構成内容が基本的に同じであると考えられるものとして、映像名の他に司会者名や出演者名や番組の時間帯とジャンル情報等、映像情報として取得できるものであればよい。
（２）カスタマイズ選択表に新たに記述する又は書き換える分類項目及び分類基準データは、再判別を行わない評価結果となったときの分類項目及び分類基準データである必要はなく、最適化することができる方法であればよい。例えば、これまでの再判別を行わない評価結果となったときの分類項目及び分類基準データの統計処理を行い、最も出現する頻度の高い分類項目及び分類基準データとするようにしてもよい。また、これまでの再判別を行わない評価結果となったときの分類項目及び分類基準データの確からしさといった評価値を算出し、その評価値に従ってカスタマイズ選択表に新たに記述する又は書き換える分類項目及び分類基準データを決定するようにしてもよい。
≪第５の実施の形態≫
以下、本発明の第５の実施の形態について図面を参照しつつ説明する。本実施の形態のインデクス作成装置は、第１の実施の形態のインデクス作成装置に、映像の撮影時又は音声の録音時の状況に応じて利用する分類項目及び分類基準データを可変にする機能を追加したものである。なお、本実施の形態において、第１の実施の形態と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
［構成］
（情報取得部の構成）
本実施の形態の情報取得部１２０ａの機能構成の一例について図２１を参照しつつ説明する。図２１は本実施の形態の情報取得部の機能ブロック図である。
【００８１】
情報取得部１２０ａは、映像音声情報蓄積部１２１、通信部１２２、ユーザ入力部１２３、映像音声管理部１２４ａ及びセンサ部１２５を備える。
センサ部１２５は、ホームビデオ等の映像の撮影時の手振れやノイズ量等の情報をセンシングし、その情報を映像情報管理部１２４ａへ出力する。
映像情報の中でも、特に撮影時の情報に合わせて、分類項目及び分類基準データを決定し分類項目の判別を行う例としては、撮影時のカット点や背景音の変化点の利用が考えられる。撮影時のカット点や背景音の変化点では、撮影の意図が変わっていたり、判別すべき特徴量が変化していたりするからである。
【００８２】
例えば、雑音の存在しない状況での音声信号と、雑音が少し存在する状況での音声信号と、雑音が多く存在する状況での音声信号では、音声であると判別する際の音声信号から得られる特徴量が大きく異なる。そのため、ある決まった複数の分類項目及び分類基準データを常に用いて判別を行うと、各分類項目の判別において判別精度が良い場合や悪い場合の結果が混じったものとなる。さらに、映像内容をよく表す分類項目ではない分類項目の判別をしている可能性もある。
【００８３】
映像音声管理部１２４ａは、映像音声情報蓄積部１２１からインデクスの作成対象の映像又は音声の映像音声情報を取り出し、取り出した映像音声情報とともにセンサ部１２５から入力される情報を分類決定部１３０へ出力する。
分類決定手段１３０は、映像音声管理部１２４ａから入力されるセンサ部１２５によるセンシングの結果を基に、利用する複数の分類項目及び分類基準データを変更するタイミングを判断し、その判断されたタイミング毎に、映像音声管理部１２４ａから入力される映像音声情報を基に複数の分類項目の決定及び分類基準データの決定を行う。
【００８４】
利用する分類項目及び分類基準データの変更を行うべき条件は、例えば、撮影の開始点や撮影している画像状況の変化や背景音の変化、または音声と雑音のSN比等が考えられる。なお、撮影時又は録音時にセンサ等により得られる情報であればよい。
［効果］
以上のように、映像情報取得手段１２０において、撮影状況の情報を取得し、映像分類定義決定手段においてその情報を利用することによって、映像判別において、常に最適な分類項目の定義及び分類基準データを利用することが可能となり、精度良く映像判別を行うことが出来る。よって、撮影映像に関するインデキシングの精度が向上するという効果が得られる。
［補足］
（１）センサ部１２５により取得される撮影時や録音時の状況などの情報をストレージデバイスに蓄積し、撮影又は録音後のインデクスの作成にそれらを用いるようにしてもよい。
≪補足≫
（１）上記の実施の形態では、主に映像又は音声のインデクスの作成に関して説明を行ったが、分類項目の判別を利用した映像のチャプタ作成やハイライト作成及び要約映像作成等に応用できる。
【００８５】
分類項目の判別を利用したスポーツハイライト作成の例としては、Isao Otsuka等著の「A Highlight Scene Detection and Video Summarization System using Audio Feature for a Personal Video Recorder」, IEEE Transactions on Consumer Electronics, Vol.51, No.1, FEBRUARY 2005に記載されている。
（２）上記の実施の形態では、主にインデクス作成装置に関する説明を行ったが、これらの特徴的な機能を集積回路として実現したり、インデクス作成方法として実現したり、パーソナルコンピュータ等に実行させるプログラムとして実現したりすることもできる。そして、そのプログラムをDVD等の記録媒体やインターネット等の伝送媒体を介して広く流通させることもできる。
【産業上の利用可能性】
【００８６】
本発明のインデクス作成装置は、映像又は音声のインデクス作成など映像又は音声を効率的に視聴するための映像又は音声編集に利用することができる。
【図面の簡単な説明】
【００８７】
【図１】第１の実施の形態のインデクス作成装置の機能ブロック図。
【図２】図１の情報取得部に蓄積される映像音声情報の一例を示す図。
【図３】図１の情報取得部の機能ブロック図。
【図４】図１の分類決定部の機能ブロック図。
【図５】図４の分類項目蓄積部に蓄積されている基準データ選択表の一例を示す図。
【図６】図４の分類項目蓄積部に蓄積されている優先度表の一例を示す図。
【図７】図１のインデクス作成部によるインデクス作成の具体例を説明するための図。
【図８】第２の実施の形態のインデクス作成装置の機能ブロック図。
【図９】図８の分類決定部の機能ブロック図。
【図１０】図９の分類項目蓄積部に蓄積されている分類項目選択表の一例を示す図。
【図１１】図９の分類項目蓄積部に蓄積されている基準データ選択表の一例を示す図。
【図１２】図９の判別結果評価部に内部保持されている検出率閾値表の一例を示す図。
【図１３】図９の分類決定部の処理の流れを示すフローチャート。
【図１４】図９の分類決定部の処理結果の一例を示す図。
【図１５】図９の分類項目蓄積部に蓄積されている分類項目選択表の一例を示す図。
【図１６】図９の分類決定部の一般的な分類項目を決定する処理の流れを示すフローチャート。
【図１７】第３の実施の形態のインデクス作成装置の機能ブロック図。
【図１８】図１７の分類決定部の機能ブロック図。
【図１９】第４の実施の形態の分類決定部の機能ブロック図。
【図２０】図１９の分類項目蓄積部に蓄積されているカスタマイズ選択表の一例を示す図。
【図２１】第５の実施の形態の情報取得部の機能ブロック図。
【符号の説明】
【００８８】
１０  インデクス作成装置
１００  信号入力部
１１０  特徴量抽出部
１２０  情報取得部
１２１  映像音声情報蓄積部
１２２  通信部
１２３  ユーザ入力部
１２４  映像音声管理部
１３０  分類決定部
１３１  分類項目蓄積部
１３２  分類基準データ蓄積部
１３３  基準データ抽出部
１４０  判別部
１５０  インデクス作成部
【図１】
2007310552.tif 000003
【図２】
2007310552.tif 000004
【図３】
2007310552.tif 000005
【図４】
2007310552.tif 000006
【図５】
2007310552.tif 000007
【図６】
2007310552.tif 000008
【図７】
2007310552.tif 000009
【図８】
2007310552.tif 000010
【図９】
2007310552.tif 000011
【図１０】
2007310552.tif 000012
【図１１】
2007310552.tif 000013
【図１２】
2007310552.tif 000014
【図１３】
2007310552.tif 000015
【図１４】
2007310552.tif 000016
【図１５】
2007310552.tif 000017
【図１６】
2007310552.tif 000018
【図１７】
2007310552.tif 000019
【図１８】
2007310552.tif 000020
【図１９】
2007310552.tif 000021
【図２０】
2007310552.tif 000022
【図２１】
2007310552.tif 000023