(57)【要約】【課題】  映像構成単位の抽出のためにシステムが検出ロジックを自動生成し、映像のカテゴリや映像コンテンツの変化に柔軟に対応可能な映像構成単位の自動抽出を行う。【解決手段】  本発明は、教示・学習処理において、実例教示によって利用者の意図を学習し、検出ロジック（単位境界判定基準）を生成し、判定処理において、検出ロジックを用いて検出対象映像から単位境界を判定する。【選択図】  図１
2006048405.tif 000002
【特許請求の範囲】
【請求項１】
利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する教示処理及び学習処理を行う装置における映像処理方法において、
教示により利用者の端末から単位境界情報と教示情報を獲得し、教示データベースに格納する教示処理過程と、
前記教示データベースに格納されている教示に使用する映像（以下、「教示映像」と記す）の解析結果と、前記教示情報との間の関連を学習することにより単位境界判定基準を生成し、単位境界判定基準記憶手段に格納する学習処理過程と、
を行なうことを特徴とする映像処理方法。
【請求項２】
前記教示処理過程において、
前記利用者が意図する境界が含まれている単位境界候補を前記利用者の端末に提示する単位境界候補提示過程と、
前記単位境界候補から単位境界もしくは非単位境界の実例を、前記利用者の端末で選択させることにより、境界情報を獲得する単位境界指定過程と、
を行なう請求項１記載の映像処理方法。
【請求項３】
前記学習処理過程において、
前記教示映像の単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する属性（以下、「点属性」と記す）と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する属性（以下、「領域属性」と記す）をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する属性（以下、「条件属性」と記す）とし、教示サンプルとして前記利用者の端末で選択された各境界候補に対して、前記教示情報から単位境界であるか、非単位境界であるかを示す属性（以下、「目的属性」と記す）を計算し、教示サンプルとして該利用者の端末で選択された各境界候補に対して該条件属性と該目的属性を並べたものを行とする教示属性テーブルを作成する属性算出過程と、
前記教示属性テーブルを統計的もしくは情報論的に最適に表現する前記単位境界判定基準を学習により獲得し、前記単位境界判定基準記憶手段に格納する単位境界判定基準生成過程と、
を行なう請求項１記載の映像処理方法。
【請求項４】
前記単位境界候補提示過程において、
前記教示データベースに蓄積されている教示対象とする映像から単位境界候補の検出を行う単位境界候補検出過程と、
検出された単位境界候補の連続する単位境界候補で挟まれた映像区間の代表画像を選択する代表画像選択過程と、
選択された代表画像をサムネイルとして映像の時間順に２次元に配置し、前記利用者が前記利用者の端末の該サムネイルもしくは該サムネイル近隣のボタンをクリックした場合に該当区間の初めから再生されるようにすることで、該利用者が映像を確認できるようにし、該サムネイルの近隣にその区間の開始境界を学習サンプルと指定することを可能とする入力欄を設けた教示画面を表示する教示画面表示過程と、
を行なう請求項２記載の映像処理方法。
【請求項５】
前記単位境界判定基準生成過程において、
前記教示属性テーブルを情報論的に最適に表現する前記単位境界判定基準の獲得を、該教示属性テーブルを用いて学習することにより単位境界判定基準の決定木を生成することで行う請求項３記載の映像処理方法。
【請求項６】
前記属性算出過程において、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の点属性は、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
である請求項３記載の映像処理方法。
【請求項７】
前記属性算出過程において、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性は、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
である請求項３記載の映像処理方法。
【請求項８】
利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する判定処理を行う装置における映像処理方法において、
単位境界検出を行う映像（以下「検出対象映像」と記す）を検出対象映像データベースから読み込み、解析した解析結果と、教示処理及び学習処理を行う装置で生成された単位境界判定基準記憶手段に格納されている単位境界判定基準から単位境界を検出する判定処理過程を行うことを特徴とする映像処理方法。
【請求項９】
前記判定処理過程において、
前記検出対象映像データベースから読み込まれた前記検出対象映像の単位境界候補を検出する単位境界候補検出過程と、
前記単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する点属性と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する領域属性をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する条件属性として判定属性テーブルに格納する属性算出過程と、
前記判定属性テーブルに格納されている前記条件属性と、前記単位境界判定基準記憶手段に格納されている前記単位境界判定基準から、該単位境界候補が単位境界であるかどうかを判定する単位境界判定処理過程と、
を行なう請求項８記載の映像処理方法。
【請求項１０】
前記属性算出過程において、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の点属性は、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
である請求項９記載の映像処理方法。
【請求項１１】
前記属性算出過程において、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性は、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
である請求項９記載の映像処理方法。
【請求項１２】
利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する教示処理及び学習処理を行う映像処理装置であって、
教示により利用者の端末から単位境界情報と教示情報を獲得し、教示データベースに格納する教示処理手段と、
前記教示データベースに格納されている教示に使用する映像（以下、「教示映像」と記す）の解析結果と、前記教示情報との間の関連を学習することにより単位境界判定基準を生成し、単位境界判定基準記憶手段に格納する学習処理手段と、
を有することを特徴とする映像処理装置。
【請求項１３】
前記教示処理手段は、
前記利用者が意図する境界が含まれている単位境界候補を前記利用者の端末に提示する単位境界候補提示手段と、
前記単位境界候補から単位境界もしくは非単位境界の実例を、前記利用者の端末で選択させることにより、境界情報を獲得する単位境界指定手段と、
を含む請求項１２記載の映像処理装置。
【請求項１４】
前記学習処理手段は、
前記教示映像の単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する属性（以下、「点属性」と記す）と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する属性（以下、「領域属性」と記す）をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する属性（以下、「条件属性」と記す）とし、教示サンプルとして前記利用者の端末で選択された各境界候補に対して、前記教示情報から単位境界であるか、非単位境界であるかを示す属性（以下、「目的属性」とする）を計算し、教示サンプルとして該利用者の端末で選択された各境界候補に対して該条件属性と該目的属性を並べたものを行とする教示属性テーブルを作成する属性算出手段と、
前記教示属性テーブルを統計的もしくは情報論的に最適に表現する前記単位境界判定基準を学習により獲得し、前記単位境界判定基準記憶手段に格納する単位境界判定基準生成手段と、
を含む請求項１２記載の映像処理装置。
【請求項１５】
前記単位境界候補提示手段は、
前記教示データベースに蓄積されている教示対象とする映像から単位境界候補の検出を行う単位境界候補検出手段と、
検出された単位境界候補の連続する単位境界候補で挟まれた映像区間の代表画像を選択する代表画像選択手段と、
選択された代表画像をサムネイルとして映像の時間順に２次元に配置し、前記利用者が前記利用者の端末の該サムネイルもしくは該サムネイル近隣のボタンをクリックした場合に該当区間の初めから再生されるようにすることで、該利用者が映像を確認できるようにし、該サムネイルの近隣にその区間の開始境界を学習サンプルと指定することを可能とする入力欄を設けた教示画面を表示する教示画面表示手段と、
を含む請求項１３記載の映像処理装置。
【請求項１６】
前記単位境界判定基準生成手段は、
前記教示属性テーブルを情報論的に最適に表現する前記単位境界判定基準の獲得を、該教示属性テーブルを用いて学習することにより単位境界判定基準の決定木を生成することで行う手段を含む請求項１４記載の映像処理装置。
【請求項１７】
前記属性算出手段は、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の点属性を、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
とする請求項１４記載の映像処理装置。
【請求項１８】
前記属性算出手段は、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性を、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
とする請求項１４記載の映像処理装置。
【請求項１９】
利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する判定処理を行う映像処理装置であって、
単位境界検出を行う映像（以下「検出対象映像」と記す）を検出対象映像データベースから読み込み、解析した解析結果と、教示処理及び学習処理を行う装置で生成され、単位境界判定基準記憶手段に格納されている単位境界判定基準から単位境界を検出する判定処理手段を有することを特徴とする映像処理装置。
【請求項２０】
前記判定処理手段は、
前記検出対象映像データベースから読み込まれた前記検出対象映像の単位境界候補を検出する単位境界候補検出手段と、
前記単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する点属性と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する領域属性をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する条件属性として判定属性テーブルに格納する属性算出手段と、
前記判定属性テーブルに格納されている前記条件属性と、前記単位境界判定基準記憶手段に格納されている前記単位境界判定基準から、該単位境界候補が単位境界であるかどうかを判定する単位境界判定処理手段と、
を含む請求項１９記載の映像処理装置。
【請求項２１】
前記属性算出手段は、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の点属性を、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
とする請求項２０記載の映像処理装置。
【請求項２２】
前記属性算出手段は、
前記教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性を、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
とする請求項２０記載の映像処理装置。
【請求項２３】
利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する教示処理及び学習処理を行う映像処理プログラムであって、
前記請求項１乃至７記載の映像処理方法の実現に用いられる処理をコンピュータに実行させることを特徴とする映像処理プログラム。
【請求項２４】
利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する判定処理を行う映像処理プログラムであって、
前記請求項８乃至１１記載の映像処理方法の実現に用いられる処理をコンピュータに実行させることを特徴とする映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理方法及び装置及びプログラムに係り、特に、利用者が望む映像構成単位での、映像構成単位境界を検出するための映像処理方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
近年、小型ビデオカメラの普及により一般の人々による映像撮影が進んできている。また、放送や映像の歴史において過去撮影された膨大な映像を映像アーカイブとしてディジタル的に整理・保存し、公開する活動も盛んである。これら撮影された映像は、映像をディジタル化し、ハードディスクに編集中の作業を記録することで、ランダムアクセスを可能にするノンリニア編集装置を利用して編集が施され、ローカルストレージ上やネットワーク上で視聴可能な形態で保存される。さらに、映像の内容に関する情報が映像メタデータとし、オーサリングツールを用いて作成され、映像のブラウジングや検索等に利用されることも多い。
【０００３】
映像メタデータには、テキスト検索のためのタイトルや概要、キーワード等のテキスト情報の他に、映像中の構成単位（話題、トピックス、コーナー等）毎の視聴のための情報として、構成単位による映像の構成が記述されることも多い。この映像構成単位の抽出は通常人手で行なうが、映像全体の中から映像構成単位を選び出すことは手間及び熟練を要する作業であり、簡易に行なえる技術が望まれている。この作業を補助するために、映像シーンの切り替わり点（カット点）を自動で検出し、そのカット点間の映像をショット映像として分解する機能を持ったオーサリングツールもあるが、これら自動カット点検出付きオーサリングツールを用いて編集を行なう場合でも、一般にカット点は数秒単位で対象映像中に多数検出されることから、映像全体の中からショットを併合しながら利用者が望む映像構成単位を見つけ出すことは、相変わらず労力のかかる作業となる。
【０００４】
映像を特定のカテゴリに固定して、人手ではなく自動で映像構成単位を検出する技術として、ニュース映像において、アンカーショットを先頭とする複数ショットをまとめ、記事単位の視聴ポイントを検出する技術が提案されている（例えば、特許文献１参照）。
【０００５】
しかしながら、カテゴリとして「ニュース映像」、検出単位として「アンカーショットと先頭とする記事単位」のように映像カテゴリ（この場合、ニュース映像）や検出単位（この場合、アンカーショットを先頭とする記事単位）が固定されており、他の構成単位で検出を行うためには、それ毎に新たに検出のロジックをヒューリスティックに考え直す必要がある。また、ニュース映像という同じカテゴリの映像に対しても、ニュース番組毎に異なる特徴量と検出ロジックを必要とすることも多く、それぞれに対して人がヒューリスティックに検出ロジックを見つけることは困難である。
【特許文献１】特開２００３−３２５８３「ニュースビデオブラウジングシステムでアンカーショットの自動検出方法」
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記のように、従来の技術においては、以下のような問題がある。
【０００７】
・現状人手により映像構成単位が抽出されている。映像アーカイブ等の膨大な映像に対して行なうためには莫大なコストが掛かる。
【０００８】
・カット点検出で検出されるショットは、利用者が話題と見做す単位やブラウジングする単位としては小さく、これをもとにさらに人手で併合等を行い、利用者が望む構成単位にする必要がある。
【０００９】
・ニュース映像に対するアンカーショット検出のような特定映像カテゴリ、特定映像構成単位のための検出技術はあるが、他のカテゴリや構成単位の検出をするためには、それ毎の検出のロジックをヒューリスティックに考案する必要がある。また、同じカテゴリの映像に対しても通常番組が違うと異なる検出ロジックを必要とする。これらにそれぞれ人手で検出ロジックを考案して対処するのは大変である。
【００１０】
本発明は、上記の点に鑑みなされたもので、映像構成単位の抽出のためにシステムが検出ロジック（単位境界判定基準）を自動生成することで、映像のカテゴリや映像コンテンツの変化に柔軟に対応可能な映像構成単位の自動抽出を行うことが可能な映像処理方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理を説明するための図である。
【００１２】
本発明（請求項１）は、利用者が望む映像構成単位での、単位境界を検出する教示処理及び学習処理を行う装置における映像処理方法において、
教示により利用者の端末から単位境界情報と教示情報を獲得し、教示データベースに格納する教示処理過程（ステップ１０）と、
教示データベースに格納されている教示に使用する教示映像の解析結果と、教示情報との間の関連を学習することにより単位境界判定基準を生成し、単位境界判定基準記憶手段に格納する学習処理過程（ステップ２０）と、を行なう。
【００１３】
本発明（請求項２）は、教示処理過程（ステップ１０）において、
利用者が意図する境界が含まれている単位境界候補を利用者の端末に提示する単位境界候補提示過程（ステップ１１）と、
単位境界候補から単位境界もしくは非単位境界の実例を、利用者の端末で選択させることにより、境界情報を獲得する単位境界指定過程（ステップ１２）と、を行なう。
【００１４】
本発明（請求項３）は、学習処理過程（ステップ２０）において、
教示映像の単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する点属性と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する領域属性をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する条件属性とし、教示サンプルとして利用者の端末で選択された各境界候補に対して、教示情報から単位境界であるか、非単位境界であるかを示す目的属性を計算し、教示サンプルとして該利用者の端末で選択された各境界候補に対して該条件属性と該目的属性を並べたものを行とする教示属性テーブルを作成する属性算出過程（ステップ２１）と、
教示属性テーブルを統計的もしくは情報論的に最適に表現する単位境界判定基準を学習により獲得し、単位境界判定基準記憶手段に格納する単位境界判定基準生成過程（ステップ２２）と、を行なう。
【００１５】
本発明（請求項４）は、単位境界候補提示過程（ステップ１１）において、
教示データベースに蓄積されている教示対象とする映像から単位境界候補の検出を行う単位境界候補検出過程と、
検出された単位境界候補の連続する単位境界候補で挟まれた映像区間の代表画像を選択する代表画像選択過程と、
選択された代表画像をサムネイルとして映像の時間順に２次元に配置し、利用者が利用者の端末の該サムネイルもしくは該サムネイル近隣のボタンをクリックした場合に該当区間の初めから再生されるようにすることで、該利用者が映像を確認できるようにし、該サムネイルの近隣にその区間の開始境界を学習サンプルと指定することを可能とする入力欄を設けた教示画面を表示する教示画面表示過程と、を行なう。
【００１６】
本発明（請求項５）は、単位境界判定基準生成過程（ステップ２２）において、
教示属性テーブルを情報論的に最適に表現する単位境界判定基準の獲得を、該教示属性テーブルを用いて学習することにより単位境界判定基準の決定木を生成することで行う。
【００１７】
本発明（請求項６）は、属性算出過程（ステップ２１）において、
教示映像の単位境界候補に対して計算される１つもしくは複数の点属性は、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
である。
【００１８】
本発明（請求項７）は、属性算出過程（ステップ２１）において、
教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性は、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
である。
【００１９】
本発明（請求項８）は、利用者が望む映像構成単位での、単位境界を検出する判定処理を行う装置における映像処理方法において、
検出対象映像を検出対象映像データベースから読み込み、解析した解析結果と、教示処理及び学習処理を行う装置で生成され、単位境界判定基準記憶手段に格納されている単位境界判定基準から単位境界を検出する判定処理過程（ステップ３０）を行う。
【００２０】
本発明（請求項９）は、判定処理過程（ステップ３０）において、
検出対象映像データベースから読み込まれた検出対象映像の単位境界候補を検出する単位境界候補検出過程（ステップ３１）と、
単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する点属性と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する領域属性をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する条件属性とする属性算出過程（ステップ３２）と、
条件属性と単位境界判定基準から、該単位境界候補が単位境界であるかどうかを判定する単位境界判定処理過程（ステップ３３）と、を行なう。
【００２１】
本発明（請求項１０）は、属性算出過程（ステップ３２）において、
教示映像の単位境界候補に対して計算される１つもしくは複数の点属性は、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
である。
【００２２】
本発明（請求項１１）は、属性算出過程（ステップ３２）において、
教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性は、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
である。
【００２３】
図２は、本発明の原理構成図である。
【００２４】
本発明（請求項１２）は、利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する教示処理及び学習処理を行う映像処理装置であって、
教示により利用者の端末から単位境界情報と教示情報を獲得し、教示データベース４０に格納する教示処理手段１０と、
教示データベース４０に格納されている教示に使用する映像（以下、「教示映像」と記す）の解析結果と、教示情報との間の関連を学習することにより単位境界判定基準を生成し、単位境界判定基準記憶手段６０に格納する学習処理手段２０と、を有する。
【００２５】
本発明（請求項１３）は、教示処理手段１０において、
利用者が意図する境界が含まれている単位境界候補を利用者の端末に提示する単位境界候補提示手段１２と、
単位境界候補から単位境界もしくは非単位境界の実例を、利用者の端末で選択させることにより、境界情報を獲得する単位境界指定手段１３と、を含む。
【００２６】
本発明（請求項１４）は、学習処理手段２０において、教示映像の単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する点属性と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する領域属性をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する条件属性とし、教示サンプルとして利用者の端末で選択された各境界候補に対して、教示情報から単位境界であるか、非単位境界であるかを示す目的属性を計算し、教示サンプルとして該利用者の端末で選択された各境界候補に対して該条件属性と該目的属性を並べたものを行とする教示属性テーブル５０を作成する属性算出手段２１と、
教示属性テーブル５０を統計的もしくは情報論的に最適に表現する単位境界判定基準を学習により獲得し、単位境界判定基準記憶手段６０に格納する単位境界判定基準生成手段２２と、を含む。
【００２７】
本発明（請求項１５）は、単位境界候補提示手段１２において、
教示データベースに蓄積されている教示対象とする映像から単位境界候補の検出を行う単位境界候補検出手段１１と、
検出された単位境界候補の連続する単位境界候補で挟まれた映像区間の代表画像を選択する代表画像選択手段と、
選択された代表画像をサムネイルとして映像の時間順に２次元に配置し、利用者が利用者の端末の該サムネイルもしくは該サムネイル近隣のボタンをクリックした場合に該当区間の初めから再生されるようにすることで、該利用者が映像を確認できるようにし、該サムネイルの近隣にその区間の開始境界を学習サンプルと指定することを可能とする入力欄を設けた教示画面を表示する教示画面表示手段と、を含む。
【００２８】
本発明（請求項１６）は、単位境界判定基準生成手段２２において、
教示属性テーブル５０を情報論的に最適に表現する単位境界判定基準の獲得を、該教示属性テーブルを用いて学習することにより単位境界判定基準の決定木を生成することで行う手段を含む。
【００２９】
本発明（請求項１７）は、属性算出手段２１において、
教示映像の単位境界候補に対して計算される１つもしくは複数の点属性を、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
とする。
【００３０】
本発明（請求項１８）は、属性算出手段２１において、
教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性を、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
とする。
【００３１】
本発明（請求項１９）は、利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出する判定処理を行う映像処理装置であって、
検出対象映像を検出対象映像データベース７０から読み込み、解析した解析結果と、教示処理及び学習処理を行う装置で生成され、単位境界判定基準記憶手段６０に格納されている単位境界判定基準から単位境界を検出する判定処理手段３０を有する。
【００３２】
本発明（請求項２０）は、判定処理手段３０において、
検出対象映像データベース７０から読み込まれた検出対象映像の単位境界候補を検出する単位境界候補検出手段３１と、
単位境界候補に対して、該単位境界候補に相対的にサンプリング位置を設け、該サンプリング位置での映像・音声特徴から計算する点属性と、該単位境界候補に相対的に領域を設け、該領域での映像・音声特徴から計算する領域属性をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する条件属性として判定属性テーブル８０に格納する属性算出手段３２と、
判定属性テーブル８０に格納されている条件属性と、単位境界判定基準記憶手段６０に格納されている単位境界判定基準から、該単位境界候補が単位境界であるかどうかを判定する単位境界判定処理手段３３と、を含む。
【００３３】
本発明（請求項２１）は、属性算出手段３２において、
教示映像の単位境界候補に対して計算される１つもしくは複数の点属性を、
・その映像位置でシーンの切り替わりがあるかどうかを示す２値属性；
・その映像位置にテロップが出ているかどうかの２値属性；
・その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
・その映像位置で音楽が鳴っているかどうかを示す２値属性；
・その映像位置で人の音声があるかどうかを示す２値属性；
・その映像位置のフレーム画像の分類値を示す多値属性；
とする。
【００３４】
本発明（請求項２２）は、属性算出手段３２において、
教示映像の単位境界候補に対して計算される１つもしくは複数の領域属性を、
・その領域内でのカット点の頻度を示す多値属性；
・その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
・その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
・その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
とする。
【００３５】
本発明（請求項２３）は、利用者が望む映像構成単位での、単位境界を検出する教示処理及び学習処理を行う映像処理プログラムであって、請求項１乃至７記載の映像処理方法の実現に用いられる処理をコンピュータに実行させる映像処理プログラムである。
【００３６】
本発明（請求項２４）は、利用者が望む映像構成単位での、単位境界を検出する判定処理を行う映像処理プログラムであって、請求項８乃至１１記載の映像処理方法の実現に用いられる処理をコンピュータに実行させる映像処理プログラムである。
【発明の効果】
【００３７】
上記のように、本発明によれば、利用者が映像構成単位境界を実例で示すことにより、単位境界を教示し、その教示箇所や教示内容と解析した映像コンテンツとの関係を学習し、そのように学習した知識を用いて利用者の定義する映像構成単位での抽出を自動で可能とする。利用者が考える構成単位は、利用者の検出目的毎に、また、映像コンテンツのカテゴリ毎に、さらには、番組シリーズ毎に検出ロジックが変わる可能性があるが、本発明では、その検出ロジックをシステム設計者が個々に考え出す必要はなく、利用者が境界の実例を教示で示すことにより自動生成するため、利用者の意図に応じた柔軟な検出が可能となる。
【発明を実施するための最良の形態】
【００３８】
以下、図面と共に本発明の実施の形態を説明する。
【００３９】
最初に本発明の動作の概要を説明する。
【００４０】
図３は、本発明の一実施の形態における教示・学習処理の概要を説明するための図である。まず、利用者による実例教示、教示データを用いた映像構成単位検出ロジックの学習処理を行う。
【００４１】
より詳細には、利用者が望む映像構成単位での、映像構成単位境界（以下、「単位境界」と記す）を検出するために、映像構成単位境界候補を検出する。
【００４２】
映像構成単位境界候補の検出処理としては、
（１）シーンの切り替わりのカット点で区切られる映像上の点を単位境界候補として検出
する；
（２）一定の短い時間間隔で区切られる映像上の点を単位境界候補として検出する；
等の方法がある。
【００４３】
次に、教示処理として、利用者にサムネイル等で映像構成単位境界の情報を境界候補一覧として提示し、教示により利用者から単位境界の情報を獲得する。
【００４４】
このために、単位境界候補の検出を行い、その連続する単位境界候補で挟まれた映像区間の代表画像を選択し、その代表画像をサムネイルとして映像の時間順に、２次元に配置し、利用者がサムネイルもしくはサムネイル近隣のボタンをクリックした場合に、該当区間の初めから再生されるようにすることで、利用者が映像を確認できるようにし、サムネイルの近隣にその区間の開始境界を学習サンプルとして指定することを可能とする入力欄を設けた教示画面を利用者に対して表示する。これにより、利用者は、表示された境界候補一覧の単位境界もしくは非単位境界の実例について、入力欄に学習のサンプルとしてチェックを入れる等の操作を行なう。
【００４５】
上記の映像区間の代表画像を選択する処理としては、
（１）単位境界候補で挟まれた映像区間の代表画像として、区間の最初のフレーム画像を選択する；
（２）単位境界候補で挟まれた映像区間の代表画像として、区間の最初から一定期間後のフレーム画像を選択する；
等の方法がある。
【００４６】
上記の教示処理における学習サンプルを取得する方法としては、
（１）単位境界候補の中から利用者に単位境界を指定してもらい、学習の単位境界サンプルとし、さらに、利用者が指定していない単位境界候補から確率的にサンプリングして学習の非単位境界サンプルとする；
（２）単位境界候補の中から利用者に非単位境界を指定してもらい、学習の非単位境界サンプルとし、さらに、利用者が指定していない単位境界候補から確率的にサンプリングして学習の単位境界サンプルとする；
（３）単位境界候補の中から利用者に単位境界と非単位境界を指定してもらい、それぞれを学習の単位境界サンプル、非単位境界サンプルとする；
等の方法がある。
【００４７】
このようにして利用者により選択された境界情報を取得する。
【００４８】
次に、学習処理として、教示にしようする映像（以下「教示映像」と記す）の解析結果と教示情報との間の関連を学習することにより、単位境界判定基準を自動生成する。
【００４９】
詳しくは、教示映像の単位境界候補に対して、単位境界候補に相対的にサンプリング位置を設け、その場所での映像・音声特徴から計算する属性（以下「点属性」と記す）と、単位境界候補に相対的に領域を設け、その領域での映像・音声特徴から計算する属性（以下、「領域属性」と記す）をそれぞれ１つもしくは複数計算して、それらを単位境界かどうかの判定に使用する属性（以下「条件属性」と記す）とし、教示サンプルとして選択された各境界候補に対して、教示情報から単位境界であるか、非単位境界であるかを示す属性（以下「目的属性」と記す）を計算し、教示サンプルとして選択された各境界候補に対して条件属性と目的属性を並べたものを行とする教示属性テーブルを作成し、その教示属性テーブルを統計的もしくは情報論的に最適に表現する単位境界判定基準を学習により獲得する。教示属性テーブルを情報論的に最適に表現する単位境界判定基準の獲得を、教示属性テーブルからの学習により単位境界判定基準の決定木を生成することにより行う。
【００５０】
次に、図４に示すように、学習により自動生成された検出ロジックを用いて映像から構成単位検出を行う。
【００５１】
構成単位検出のための判定処理は、単位境界検出を行う映像（以下、「検出対象映像」と記す）の解析結果と、単位境界判定基準から単位境界を検出する。検出後の単位境界候補に対して、点属性、領域属性をそれぞれ一つもしくは、複数計算して、それらを条件属性とし、判定属性テーブルに書き込む。この条件属性と学習により獲得された単位境界判定基準からその候補が単位境界であるかどうかを判定し、判定した結果を判定属性テーブルに書き込む。
【００５２】
図５は、本発明の一実施の形態における装置構成を示す。
【００５３】
同図に示す装置は、利用者による実例教示を行なう教示処理部１０、教示情報を用いた単位境界抽出ロジックの学習を行なう学習処理部２０、学習により自動生成された単位境界検出ロジックを用いて映像から単位境界検出を行う判定処理部３０、教示映像情報、単位境界候補位置情報、境界／非境界指定情報等が格納される教示データベース４０、教示属性（学習サンプルに対する条件属性と目的属性）が格納されるメモリや記憶媒体上の教示属性テーブル５０、決定木情報が格納される決定木記憶部６０、検出対象映像情報データベース７０、属性及び判定結果が格納されるメモリや記憶媒体上の判定属性テーブル８０から構成される。
【００５４】
同図に示す装置において、教示処理、学習処理、判定処理を行うことで、図６に示すように映像構成単位ａは単位境界ｂ−ｃで挟まれた映像区間であるので、映像構成単位の検出と、映像構成単位境界の検出は同等である。
【００５５】
以下に、教示処理部１０の各処理部の個々の機能と動作を説明する。
【００５６】
教示処理部１０は、学習処理部２０において必要とする単位境界サンプルと非単位境界サンプルを獲得するものであり、単位境界候補検出部１１、単位境界候補一覧作成部１２、単位境界指定部１３から構成される。また、単位境界候補一覧作成部１２には、利用者の端末の一覧表示手段が接続され、単位境界指定部１３には、指定情報入力手段が接続されている。
【００５７】
単位境界候補検出部１１は、教示データベース４０から教示対象とする映像を読み込んで、図７に示すような単位境界候補を検出する。単位境界候補には、比較的容易に検出が可能で、その中に利用者が意図する境界が含まれているものであれば利用可能である。例えば、同図（ａ）に示すようなシーンの切り替わりのカット点や、同図（ｂ）に示すような一定の短い時間間隔を単位境界候補とすることができる。
【００５８】
単位境界候補一覧作成部１２は、単位境界候補検出部１１で検出された単位境界候補を一覧表示手段を介して利用者に一覧表示する。
【００５９】
単位境界指定部１３は、単位境界一覧作成部１２で一覧表示した単位境界候補について、利用者が利用する指定情報入力手段から、当該利用者が検出を望む単位境界もしくは、非単位境界の指定を受け付ける。利用者の指定情報入力手段からの指定方法としては、図８に示すように以下の３通りが考えられ、対象映像のカテゴリや、操作性等を考慮して利用者もしくはシステム設計者が選択する。
【００６０】
図８（ａ）に示す境界教示による指定は、単位境界候補の中から単位境界を指定してもらい、学習の単位境界サンプルとする。さらに、利用者が指定していない単位境界候補から確立的にサンプリングして学習の非単位境界サンプルとする。
【００６１】
図８（ｂ）に示す非境界教示による指定は、単位境界候補の中から単位境界でない境界候補を指定してもらい、学習の非単位境界サンプルとする。利用者が指定していない単位境界候補から確率的にサンプリングして学習の単位境界サンプルとする。
【００６２】
図８（ｃ）に示す両面教示による指定は、単位境界候補の中から非単位境界を指定してもらい、それぞれ学習の単位境界サンプル、非単位境界サンプルとする。
【００６３】
この教示のための利用者とのやり取りのインタフェースとして、図９に示すように、各単位境界候補の代表画像（例えば、単位境界候補位置のフレーム画像や、候補位置から一定時間後のフレーム画像等）をサムネイル画像として映像の時間順に２次元に配置し、そのサムネイルをクリックすることで該当映像構成単位境界から再生されるようにすることで、利用者が映像の単位境界の映像中での位置及び内容を確認できるようにし、サムネイルの上部に学習サンプル指定のためのチェックボックスを設ける。利用者による指定が終了したタイミングで利用者が指定情報入力手段の教示ボタンを押すことで、単位境界指定部１３は、上記の３つの指定法のそれぞれの場合に従い、どれを教示映像とし、そのどの映像位置を単位境界サンプル、非単位境界サンプルとしたかの情報を教示データベース４０に登録する。
【００６４】
図１０は、本発明の一実施の形態における教示処理のフローチャートである。
【００６５】
ステップ１０１）  単位境界候補検出部１１において、教示データベース４０から教示映像を読み込んで、シーンの切り替わりのカット点や、一定の短い時間間隔を単位境界候補として検出する。
【００６６】
ステップ１０２）  単位境界候補一覧作成部１２において、単位境界候補検出部１１で検出された単位境界候補を一覧表示手段を介して利用者に一覧表示する。一覧表示する際に、連続する単位境界候補で挟まれた映像区間の代表画像を選択し、その代表画像をサムネイルとして映像の時間順に２次元に配置し、利用者がサムネイルもしくは、サムネイル近隣のボタンをクリックした場合に該当区間の初めから再生されるようにすることで、利用者が映像を確認できるようにし、サムネイルの近隣にその区間の開始境界を学習サンプルと指定することを可能にする入力欄を設けた一覧画面として一覧表示手段に表示する。
【００６７】
ステップ１０３）  単位境界指定部１３において、単位境界一覧作成部１２で一覧表示した単位境界候補について、利用者が指定情報入力手段から、当該利用者が検出を望む単位境界もしくは、非単位境界の指定を受け付け、「境界教示」、「非境界教示」、「両面教示」のいずれであるか判定する。「境界教示」の場合には、ステップ１０４に移行し、「非境界教示」の場合にはステップ１０６に移行し、「両面教示」である場合にはステップ１０８に移行する。
【００６８】
ステップ１０４）  「境界教示」である場合には、単位境界候補の中から単位境界を指定してもらい、学習の単位境界サンプルとする。
【００６９】
ステップ１０５）  さらに、利用者が指定していない単位境界候補から確立的にサンプリングして学習の非単位境界サンプルとし、ステップ１０９に移行する。
【００７０】
ステップ１０６）  「非境界教示」である場合には、単位境界候補の中から単位境界でない境界候補を指定してもらい、学習の非単位境界サンプルとする。
【００７１】
ステップ１０７）  利用者が指定していない単位境界候補から確率的にサンプリングして学習の単位境界サンプルとし、ステップ１０９に移行する。
【００７２】
ステップ１０８）  「両面教示」である場合には、単位境界候補の中から非単位境界を指定してもらい、それぞれ学習の単位境界サンプル、非単位境界サンプルとする。
【００７３】
ステップ１０９）  単位境界指定部１３において、虚時映像情報と境界サンプル、非境界サンプルの映像中の位置情報を教示データベース４０に登録する。
【００７４】
次に、学習処理部２０の各機能と動作を説明する。
【００７５】
学習処理部２０は、教示データベース４０に格納されている教示データを用いて映像構成単位検出ロジックの学習を行うものであり、属性算出部２１と決定木生成部２２とを有する。
【００７６】
学習処理部２０が学習を行なうタイミングは、利用者が指定情報入力手段の教示ボタンを押したタイミングで教示データベース４０に登録された全ての教示映像に対して自動的に行われる方法と、教示データベース４０から学習対象とする教示映像を１つもしくは複数選択した後に明示的に行う方法とが考えられ、利用者やシステムの設計者が選ぶことができる。
【００７７】
属性算出部２１は、教示データベース４０の各教示映像の単位境界候補毎にその位置での映像・音声の特徴を示す属性値を複数計算し、教示属性テーブル５０に格納する。属性値には、点属性、領域属性、条件属性、目的属性がある。
【００７８】
点属性は、教示映像の単位境界候補に対して、単位境界候補に相対的にサンプリング位置を設け、その場所での映像・音声特徴から計算する。
【００７９】
領域属性は、単位境界候補に相対的に領域を設け、その領域での領域・音声特徴から１つもしくは複数計算する。
【００８０】
条件属性は、点属性・領域属性を単位境界かどうかの判定に使用する。
【００８１】
目的属性は、教示サンプルとして選択された各境界候補に対して、教示情報から単位境界であるか、非単位境界であるかを示す。
【００８２】
教示サンプルとして選択された各境界候補に対して条件属性と目的属性を並べたものを行とする教示属性テーブル５０を生成する。教示属性テーブル５０の詳細については後述する。
【００８３】
決定木生成部２２は、教示属性テーブル５０を統計的もしくは情報論的に最適に表現する単位境界判定基準を学習により獲得する。具体的には、その教示属性テーブル５０を情報論的に最適に表現する単位境界判定基準の獲得を、教示属性テーブル５０からの学習により単位境界判定基準の決定木を生成する。決定木の詳細については後述する。
【００８４】
図１１は、本発明の一実施の形態における学習処理のフローチャートである。
【００８５】
ステップ２０１）  属性算出部２１が、教示データベース４０から学習対象となる教示データを獲得する。
【００８６】
ステップ２０２）  属性算出部２１において、取得した学習サンプル毎に属性値を計算する。属性は、単位境界候補に相対的にサンプリング位置を設け、その場所での映像・音声特徴から属性値を計算する点属性と、単位境界候補に相対的に領域を設け、その領域での映像・音声特徴から属性値を計算する領域属性がある。図１２は、単位境界候補に相対的に設定された点属性のサンプリング位置の例を示す。サンプリング位置で計算される点属性としては、
ＰＦ１）その映像位置でシーンの切り替わり（カット点）があるかどうかを示す２値属性；
ＰＦ２）その映像位置にテロップが出ているかどうかの２値属性；
ＰＦ３）その映像位置でパン・チルト・ズーム等のカメラワークが行なわれているかどうかの２値属性；
ＰＦ４）その映像位置で音楽が鳴っているかどうかを示す２値属性；
ＰＦ５）その映像位置で人の音声があるかどうかを示す２値属性；
ＰＦ６）その映像位置のフレーム画像の分類値を示す多値属性；
等があげられるが、これらに限定されるものではない。
【００８７】
図１３は、単位境界候補に相対的に設定された領域属性の計算領域を示す。領域の設定は、
Ｒ１）単位境界候補周りに、境界の前、境界付近、境界の後の３領域を設定する；
Ｒ２）連続する単位境界候補で挟まれる領域を計算領域とする；
等があげられる。Ｒ１）は、図１３（ａ）に示すように、単位境界候補の付近の前後関係を積極的に用いる点に特徴があり、Ｒ２）は、図１３（ｂ）に示すように、シーンの切り替わりのような単位境界候補で囲まれた不自然に途切れることのない領域を用いる点に特徴がある。勿論、属性値の計算領域の設定は、これらに限定されるものではない。
【００８８】
領域属性としては、
ＲＦ１）その領域内でのカット点の頻度を示す多値属性；
ＲＦ２）その領域内でのテロップ開始、終了、継続等のイベントの生起パターンを示す多値属性；
ＲＦ３）その領域内でのカメラワーク開始、終了、継続等イベントの生起パターンを示す多値属性；
ＲＦ４）その領域内での音声開始、終了、継続等イベントの生起パターンを示す多値属性；
ＲＦ５）その領域内での音楽開始、終了、継続等イベントの生起パターンを示す多値属性；
等があげられるが、これらに限定されるものではない。ＲＦ１）の頻度は、頻度閾値を設定することで多値属性化できる。例えば、Ｓ１，Ｓ２，Ｓ３，Ｓ４を、
Ｓ１＜Ｓ２＜Ｓ３＜Ｓ４
なる頻度閾値とする。このとき、
頻度＝０                  →頻度属性値＝０
０＜頻度＜＝Ｓ１          →頻度属性値＝１
Ｓ１＜頻度＜＝Ｓ２        →頻度属性値＝２
Ｓ２＜頻度＜＝Ｓ３        →頻度属性値＝３
Ｓ３＜頻度＜＝Ｓ４        →頻度属性値＝４
Ｓ４＜頻度                →頻度属性値＝５
なる条件で頻度属性値を計算し、設定することが可能である。また、ＲＦ２）〜ＲＦ５）の開始・終了・継続等イベントの生起パターンは、図１４のように値を定めることで領域内での映像・音声のイベントの出現パターンを多値属性化できる。
【００８９】
ステップ２０２）  学習の境界サンプル、非境界サンプル毎に点属性、領域属性を計算し、教示属性テーブル５０の条件属性とする。
【００９０】
ステップ２０３）  学習の境界サンプル、非境界サンプル毎にそれが境界サンプルならば値１を、非境界サンプルならば値０を目的属性として教示属性テーブル５０に設定する。
【００９１】
上記のステップ２０２，２０３において、学習サンプルの単位境界サンプル、非単位境界サンプルに対して、教示属性テーブル５０をメモリまたは、記憶手段上に作成する。図１５にあるように、教示属性テーブル５０の各行が学習の単位境界サンプル、もしくは、非単位境界サンプルに対応し、サンプルの映像・音声状況を表す条件属性と、そのサンプルが境界か非境界かを示す目的属性からなる。条件属性には、その学習サンプルの点属性を含む全サンプリング位置を全てに対して並べ、さらに、領域属性を全ての領域に渡って並べる。目的属性にはそれが、単位境界サンプルならば値１を、非単位境界サンプルならば値０を設定する。ある映像の境界候補に対しての条件属性が与えられたときに単位境界であるか、非単位境界であるかを決定する判定基準をこの教示属性テーブル５０の条件属性と目的属性の対応を反映するように決定することが学習である。
【００９２】
ステップ２０４）  条件属性と目的属性の対応の学習法に決定木学習法を用いることができる。決定木とは、条件属性が与えられた時に、目的属性値がどの値になるかを木構造のルールの形で表現したものである（例えば、福田、森本、徳山「データマイニング」共立出版株式会社）。図１６に、単位境界かどうかの判定のための決定木の例を模式的に示す。教示属性テーブル５０が与えられたときに、決定木を計算する方法として、例えば、相互情報量に基づく目的関数を最適化するように分割テストを構成し、学習サンプルデータを木の頂点からこの最適分割テストにより分割していく「貪欲アルゴリズム」を用いることができる。この決定木学習法の詳細は、上記の文献（「データマイニング」）に述べられている。
【００９３】
決定木学習方法を以下に述べる。
【００９４】
決定木を作るとき、どの条件属性に対するどのような分割テストをどのような順番で適用するかで、木の大きさや形が大きく変わる。一般的には、判定するためのテストが少なくて済むように、木をできるだけ小さくしたい。しかし、外部パスの合計長（根から葉へのパス長を全ての葉について合計したもの）を最小とする決定木を作る問題はＮＰ困難であることが知られている。木の大きさを測る基準を木のノードの数とした場合でも、ＮＰ困難であろうと考えられている。
【００９５】
この理論的な困難さにもかかわらず、以下に示すアルゴリズムのように、データを木の頂点から再帰的に相互情報量などに基づいた最適分割テストにより（バックトラックせずに）分割していく貪欲アルゴリズム（greedy algorithm）を用いると、実用的には小さい木構造を構築することができる。
【００９６】
以下に、決定木構築のアルゴリズムを示す。
【００９７】
主ルーチン  MAIN()
（１）データベース中の全学習データＤを読み出す。
【００９８】
（２）SPLIT(D)
サブルーチン  SPLIT（データ集合Ｄ）
（１）IF  （Ｄが分割終了条件を満たす）THEN 終了
（２）各カテゴリ型属性に対し最適な分割テストを探す。
【００９９】
（３）（２）で見つかった全ての最適分割テストのうち、最も目的関数値のよいテストでデータ集合ＤをＤ１とＤ２に分割する。
【０１００】
（４）SPLIT(D1)
（５）SPLIT(D2)
上記アルゴリズムの分割の終了条件としては、以下のようなものがあげられる。
【０１０１】
１．決定木の場合、データ集合Ｄの目的属性値がすべて同じ値か、一つの目的属性値の存在比率が他の値と比べて十分大きい。
【０１０２】
２．条件属性上で定義可能な分割ルールでは、データ集合Ｄをこれ以上分割できない。
【０１０３】
３．データ数｜Ｄ｜が全学習データ数に対して十分小さい。
【０１０４】
上記のアルゴリズムは２分木構造の決定木を構築する。
【０１０５】
次に、判定処理部３０の各処理部の個々の機能と動作を説明する。
【０１０６】
図５に示す判定処理部３０は、単位境界検出を行う映像（検出対象映像）の解析結果と、単位境界判定基準から単位境界を検出するものであり、単位境界候補検出部３１、属性算出部３２、単位境界判定部３３を有する。
【０１０７】
単位境界候補検出部３１は、対象映像情報データベース７０から検出対象の映像を読み込み、単位境界候補を検出する。検出の方法は、教示処理部１０の単位境界候補検出部１１の動作と同様である。
【０１０８】
属性算出部３２は、単位境界候補検出部３１で検出された単位境界候補に対して、点属性、領域属性をそれぞれ１つもしくは複数計算して、それらを条件属性として判定属性テーブル８０に格納する。属性の計算方法は、学習処理部２０の属性算出部２１の動作と同様である。
【０１０９】
単位境界判定部３３は、決定木記憶部６０に格納されている決定木（単位境界判定基準）と、判定属性テーブル８０に格納されている条件属性から、単位境界候補検出部３１で得られた単位境界候補が単位境界であるかを判定し、判定結果を判定属性テーブル８０に格納する。
【０１１０】
次に、上記の構成における動作を説明する。
【０１１１】
図１７は、本発明の一実施の形態における判定処理のフローチャートである。
【０１１２】
ステップ３０１）  利用者が単位境界検出を行う映像（検出対象映像）が与えられたとする。その検出対象映像を利用者が教示で実例指示したような基準で映像構成単位で分けるために、まず、単位境界候補検出部３１において、検出対象映像情報データベース７０から検出対象映像を読み込んで、前述のステップ１０１と同様の方法で単位境界候補の検出を行う。
【０１１３】
ステップ３０２）  そして、得られた単位境界候補のそれぞれに対して、属性算出部３２において、前述のステップ２０２の方法と同様の方法で点属性、領域属性を検出し、条件属性とし、判定属性テーブル８０に格納する。判定属性テーブル８０は、図１８に示すような構成を有し、各単位境界候補に対応付けて、条件属性及び目的属性の他に、映像中の位置情報を記憶している点が、教示属性テーブル５０と異なる。これは、判定結果である目的属性をそれに対応する位置情報と共に出力するためである。
【０１１４】
ステップ３０３）  学習処理により決定木記憶部６０に格納されている決定木を用いて、図１６にあるように、それらの候補が単位境界か非単位境界かを、木の頂点から木構造に沿って条件属性と決定木のノードにある条件式とを比べながら逐次判断することで最終的に末端の葉の部分で決定する。
【０１１５】
ステップ３０４）  決定木の末端の葉の判定が単位境界候補である場合には、ステップ３０５に移行し、非単位境界候補である場合にはステップ３０６に移行する。
【０１１６】
ステップ３０５）  単位境界候補である場合には、「単位境界」を結果として判定属性テーブル８０の目的属性の欄に書き込み、また、当該候補の位置情報を判定属性テーブル８０の位置情報の欄に書き込む。
【０１１７】
ステップ３０６）  非単位境界候補である場合には、「非単位境界」を結果として判定属性テーブル８０の目的属性の欄に書き込み、また、当該候補の位置情報を判定属性テーブル８０の位置情報の欄に書き込む。
【０１１８】
なお、本実施の形態では、一例として、決定木学習法を用いて学習処理及び判定処理を行うようにしたが、学習の手法として、ニューラルネットワークや、統計的に学習を行なうその他の手法を適用することも可能である。
【０１１９】
なお、上記の実施の形態では、図５に示す教示処理部１０、学習処理部２０、判定処理部３０を１つの装置として記載しているが、教示処理部１０と学習処理部２０からなる装置と、判定処理部３０を有する装置とに分けて構成してもよい。
【０１２０】
また、図１０、図１１、図１７に示されるフローチャートの動作をプログラムとして構築し、コンピュータにインストールする、または、ネットワーク介して流通させることも可能である。
【０１２１】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１２２】
本発明は、映像中から映像構成単位を抽出するための技術に適用可能である。
【図面の簡単な説明】
【０１２３】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における教示・学習処理の概要を説明するための図である。
【図４】本発明の一実施の形態における判定処理の概要を説明するための図である。
【図５】本発明の一実施の形態における装置構成図である。
【図６】本発明の一実施の形態における映像構成単位と映像構成単位境界を示す図である。
【図７】本発明の一実施の形態における単位境界候補の検出処理を示す図である。
【図８】本発明の一実施の形態における教示における単位境界指定法を説明するための図である。
【図９】本発明の一実施の形態における教示画面の例である。
【図１０】本発明の一実施の形態における教示処理のフローチャートである。
【図１１】本発明の一実施の形態における学習処理のフローチャートである。
【図１２】本発明の一実施の形態における点属性のサンプリング位置を示す図である。
【図１３】本発明の一実施の形態における領域属性の計算領域を示す図である。
【図１４】本発明の一実施の形態における映像・音声イベントの出現パターンの多値属性化を示す図である。
【図１５】本発明の一実施の形態における教示属性テーブルの構成例である。
【図１６】本発明の一実施の形態における決定木の例である。
【図１７】本発明の一実施の形態における判定処理のフローチャートである。
【図１８】本発明の一実施の形態における判定属性テーブルの構成例である。
【符号の説明】
【０１２４】
１０  教示処理手段、教示処理部
１１  単位境界候補検出手段、単位境界候補検出部
１２  単位境界候補提示手段、単位境界候補一覧作成部
１３  単位境界指定手段、単位境界指定部
２０  学習手段、学習部
２１  属性算出手段、属性算出部
２２  単位境界判定基準生成手段、決定木生成部
３０  判定処理手段、判定処理部
３１  単位境界候補検出手段、単位境界候補検出部
３２  属性算出手段、属性算出部
３３  単位境界判定手段、単位境界判定部
４０  教示データベース
５０  教示属性テーブル
６０  単位境界判定基準記憶手段、決定木記憶部
７０  検出対象映像情報データベース
８０  判定属性テーブル
【図１】
2006048405.tif 000003
【図２】
2006048405.tif 000004
【図３】
2006048405.tif 000005
【図４】
2006048405.tif 000006
【図５】
2006048405.tif 000007
【図６】
2006048405.tif 000008
【図７】
2006048405.tif 000009
【図８】
2006048405.tif 000010
【図９】
2006048405.tif 000011
【図１０】
2006048405.tif 000012
【図１１】
2006048405.tif 000013
【図１２】
2006048405.tif 000014
【図１３】
2006048405.tif 000015
【図１４】
2006048405.tif 000016
【図１５】
2006048405.tif 000017
【図１６】
2006048405.tif 000018
【図１７】
2006048405.tif 000019
【図１８】
2006048405.tif 000020