(57)【特許請求の範囲】
【請求項１】
マルチメディアコンテンツの要約システムにおいて、
コンテンツを構成する複数のメディアに対し、それぞれ重要度分布を作成する重要度分布作成部と、
利用者から指定された要約時間や要約の割合を表す要約率を受け取る利用者情報取得部と、
前記要約時間や要約率に基づいてメディア毎の重みを決める重み算出部と、
メディアそれぞれの前記重要度分布に前記重みを付与して加算することによって総合重要度分布を作成する総合重要度分布作成部と、
総合重要度分布から前記要約時間や要約率に応じてマルチメディアコンテンツの要約を作成する要約作成部を持つ
ことを特徴とするマルチメディアコンテンツの要約システム。
【請求項２】
前記重み算出部は、
前記要約時間や要約率が低い場合は、音声メディアに比べ映像メディアの重みを高くし、
前記要約時間や要約率が高い場合は、映像メディアに比べ音声メディアの重みを高くする
ことを特徴とする請求項１記載のマルチメディアコンテンツの要約システム。
【請求項３】
コンピュータを請求項１または請求項２に記載のマルチメディアコンテンツの要約システムの各処理部として機能させるためのマルチメディアコンテンツの要約プログラム。
【請求項４】
請求項３記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディアコンテンツの要約システム及びマルチメディアコンテンツの要約プログラム及び当該プログラムを記録した記録媒体に関するものである。
【０００２】
【従来の技術】
時間の進行に併せて情報を伝達する映像や音声メディアを含むマルチメディアコンテンツは概して最初から最後まで視聴しなければ内容が理解できない。このようなコンテンツに対し、短時間で内容を把握することが可能となる要約の作成手法として、従来、コンテンツ内の重要個所の時間情報を抽出し、その時間情報を元に切断・結合または、スキップ再生させる手法が多く用いられている。
【０００３】
重要個所の判別は、コンテンツを構成するある単一メディアに注目し、重要個所に関連性のある特徴量を検出・分析することにより行い、分析結果より重要度分布を作成する。
【０００４】
例えば、音声メディアに注目した場合には、音声の抑揚という特徴量が重要個所と相関関係にあるという知見に基づき、音声の抑揚データを検出・分析し、重要度分布を作成する手法などが存在する。
【０００５】
要約を自動生成する場合、要約コンテンツ長をシステムが一意に決定する場合と、利用者が入力指定（コンテンツ時間・元のコンテンツに対する割合）により決定する場合が存在するが、システムが一意に決定する場合も、利用者が入力する場合も同様に、重要度分布に対し、重要度の高い個所から順に選択し、選択された個所の総計時間を逐次算出する。この合計時間が、システムの決定する値および利用者の入力値に最も近似するように重要度分布に対し閾値を算出する。閾値を越える重要個所の時間情報より要約を作成する。
【０００６】
【発明が解決しようとする課題】
重要個所の判別の際、従来、コンテンツを構成するある単一メディアに注目して以後処理を行っている。
【０００７】
しかし人間が要約を作成する場合には通常、コンテンツを構成するすべてのメディアを総合的に判断して重要個所を判別しているが、複数のメディアによって構成されるマルチメディアコンテンツに対し、単一のメディアから重要個所を判別し要約を作成する従来手法では、注目した単一メディアに偏った要約となり、複数メディアにより構成されるマルチメディアコンテンツに適切な要約となりえないことが生じる。
【０００８】
本発明は、メディアごとに重要度分布を求め、メディアの重みを加味させて要約の割合を表す要約率に沿うように要約を得るようにすることを目的としている。
【０００９】
【課題を解決するための手段】
本発明においては、
（ｉ）要約の作成において、メディアごとに重要度分布を求め、要約率から各メディアの重みを決め、重みにより総合重要度分布を求め、要約率に沿うように重要部分のみの要約を作成する。
【００１０】
（ii) 要約率の指定によって動的に重みを変化させて総合重要度分布を作成する。
【００１１】
従来手法の重み付けにおいては、いかなる要約率においても一定の重みを用い、付与する手法がとられていた。
【００１２】
即ち本発明は
(1) コンテンツを構成する複数のメディアに対し、それぞれ重要度分布を作成する重要度分布作成部により、それをある重みを付与して加算することによって総合重要度分布を作成し、総合重要度分布から要約を作成する。
【００１３】
▲２▼また、総合重要度分布を作成する際、要約コンテンツの内容を理解しやすくするために適した重みは、要約コンテンツ長によって異なるものである。要約率を
（要約コンテンツ長［時間］）／（元のコンテンツ長［時間］）
で定義し、例えば要約率が低い場合は、コンテンツ内の音声メディアに比べ映像メディアの重みを高くした総合重要度分布から要約を作成した方が内容を理解しやすく、逆に要約率が高い場合は、映像メディアに比べ音声メディアの重みを高くした総合重要度分布から要約を作成した方が内容を理解しやすいという実験データが存在する。
【００１４】
この事実を考慮すると、適した要約コンテンツ作成のためには総合重要度分布を作成する際の重みは、要約コンテンツ長と対になって動的に変化しなければならない。このために、利用者情報取得部により、利用者から指定された要約時間や要約率を受け取る。
【００１５】
利用者に指定された時間、割合に応じて、メディア毎の重みを決める重み算出部により、動的に各構成メディアの重要度分布に付与する重みを算出し、その上で総合重要度分布作成部により総合重要度分布を作成する。そして要約時間や要約率に応じて、要約作成部により要約を作成する。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態の概要を図１に示し、図中の符号１００は計算機、２００はコンテンツ、３００は利用者による要約コンテンツ時間・割合入力、４００は要約コンテンツを示す。
【００１７】
図２は本発明を実現するための計算機内のブロック構成例を示す。
図中１はコンテンツ読込部、２はメディア判別部、３はメディア抽出部、４は特徴量検出部、５は特徴量分析部、６は重要度分布作成部、７は利用者情報取得部、８は重み算出部、９は重み付与・加算部、１０は総合重要度分布作成部、１１は閾値算出部、１２は時間情報取得部、１３は要約作成部を示す。
【００１８】
本発明の実施例は基本的には一つの計算機によりスタンドアロンで行うことができる。
【００１９】
処理（１）コンテンツ読込部１により、元となるマルチメディアコンテンツ２００を読み込み、メディア判別部２に渡す。
【００２０】
処理（２）メディア判別部２により、コンテンツ２００を構成するメディアを判別する。
【００２１】
処理（３）メディア抽出部３により、それぞれメディア判別部２において判別されたメディアの抽出を行い、特徴量検出部４に渡す。なお特徴量検出部４においては、検出すべき特徴量の数と同数の検出機能をもつ検出部が必要となる。例えば、映像メディアの場合、特徴量検出部に相当するものは、「テロップ検出部」、「カット点検出部」、「カメラパーン検出部」、「輝度変化検出部」、「人物検出部」等が考えられる。
【００２２】
処理（４）特徴量検出部４により、特徴量自動検出技術により各メディアについての特徴量検出を行い、特徴量分析部５へ渡す。なお特徴量分析部５においては、特徴量検出部にて得られた多くの特徴量をどのように処理するかを司る。例えば、テロップ検出個所の重要度を上げたり、カット点と次カット点の間から必ず一個所、重要度の高い個所を設定する、といったような重要度分布を作成するための処理を行う。
【００２３】
処理（５）特徴量分析部５により、特徴量の分析を行い、分析結果を重要度分布作成部６へ渡す。重要度分布作成部６により、重要度分布を作成する。
【００２４】
処理（６）そして、マルチメディアコンテンツ２００を構成するすべてのメディアに対し、重要度分布が作成されるまで前述処理（３）〜（５）までの処理を繰り返す。
【００２５】
処理（７）利用者情報取得部７により、利用者から要約コンテンツ長の時間・割合の入力を受け取り、重み算出部８へと渡す。
【００２６】
処理（８）重み算出部８により、各メディアの重要度分布を加算する際に付与する重みを算出する。重みの算出方法は、図３の例に示すような、利用者の入力値に対し、構成メディアの重要度分布加算時の適した重み「１」、「２」、「３」、「４」、「５」などを予め対応付けた重み参照表２０を用意しておいて、当該表２０を参照し重みを決定する方法と、図４の例に示すような、入力値ｘを受けて適した重みｙを算出する関数ｆ（ｘ）を用意しておき、入力ごとに毎回重みの算出を行う方法とが存在する。重み付与・加算部９で得られた重みの値を総合重要度分布作成部１０へ渡す。
【００２７】
処理（９）重み付与・加算部９により、受け取った重みの値を図５の例で示すように、すべての構成メディアから作成した重要度分布の値にそれぞれ掛け合わせた上ですべて加算し、総合重要度分布作成部１０に渡し、当該総合重要度分布作成部１０において総合重要度分布を作成する。
【００２８】
処理（１０）閾値算出部１１により、利用者による要約コンテンツ時間・割合入力３００から得られている利用者の入力値と、総合重要度分布作成部１０により得られた総合重要度分布とから閾値を決定する。総合重要度分布に対し、重要度の高い個所から順に選択し、選択された個所の総計時間を逐次算出する。この合計時間が、利用者の入力値に最も近似するように総合重要度分布に対し閾値を算出する。
【００２９】
処理（１１）時間情報取得部１２により、総合重要度分布において、図６の例に示すような、閾値を越える重要個所の時間情報を取得し、要約作成部１３に渡す。
【００３０】
処理（１２）要約作成部１３により、時間情報から元のコンテンツを図７の例に示すような、切断・結合または、スキップ再生させる手法で要約コンテンツ４００を作成する。
【００３１】
全体の流れのフローチャート図を図８に示す。
ステップ（Ｓ１）：コンテンツ２００を読込む。
ステップ（Ｓ２）：コンテンツ２００を構成するメディア（音声や映像やテキストなど）の種類を判別する。
ステップ（Ｓ３）：すべてのメディアに対する処理が終了したか否かをチェックする。
ステップ（Ｓ４）：ステップ（Ｓ３）でＮＯであれば、メディアを抽出する。
ステップ（Ｓ５）：特徴量を検出する。
ステップ（Ｓ６）：特徴量を分析する。
ステップ（Ｓ７）：重要度分布を作成する。
ステップ（Ｓ８）：ステップ（Ｓ３）でＹＥＳであれば、求める要約コンテンツの時間・割合入力を受取る。
ステップ（Ｓ９）：付与する重みを算出する。
ステップ（Ｓ10）：総合重要度分布を作成する。
ステップ（Ｓ11）：閾値を算出する。
ステップ（Ｓ12）：総合重要度分布において、閾値を越える部分の時間情報を取得する。
ステップ（Ｓ13）：時間情報から、要約コンテンツ４００を作成する。
【００３２】
講演などの中継で利用されるマルチメディアコンテンツを扱い、要約作成実験を行った。実験に用いた講演コンテンツは、講演者の音声、映像、および講演スライド資料（以後、資料という）で構成され、講演者音声、映像の時間進行に同期させ、資料の提示切り替えを行う技術により作成されたマルチメディアコンテンツである。コンテンツ長は全体で１２２４秒、資料は１６枚、講演者は男性１名である。被験者は資料内容を一通り見て、各発話分と各資料とに対し、高、中、低の３段階より重要さを判断し、その統計からそれぞれ重要度分布を作成した。被験者数は１５名である。
【００３３】
講演コンテンツを構成するメディアごとの重要度分布をすべて加味したものを総合重要度分布と定義し、総合重要度分布から理想要約を作成するようにした。本実験では、発話文重要度分布と資料重要度分布とを均等の重みで加算したものを総合重要度分布として扱うようにした。
【００３４】
総合重要度分布から実際に総合理想要約を作成した。総合理想要約の要約率が１０％（要約コンテンツ長：約２分）、２５％（同：約５分）、４０％（同：約９分）となるように閾値を決定し、３つの総合理想要約を作成した。
【００３５】
要約率は、（要約コンテンツ長［時間］）／（元のコンテンツ長［時間］）である。
【００３６】
３つの総合理想要約と同じ要約率の３つの従来の発話文による要約を作成し、３０名の被験者に対するアンケートによる比較評価実験を行い、それぞれの特徴をまとめたものが表１に示されている。
【００３７】
【表１】
0003977664.tif 000002
【００３８】
以上、マルチメディアコンテンツの要約方法及び要約システムについて説明したが、当該要約方法は計算機が処理できるプログラムの形で記述することができまた当該プログラムを記録媒体に記録しておくことができる。したがって、本発明はこれらプログラムや記録媒体をも権利範囲に含むものである。
【００３９】
【発明の効果】
以上説明した如く、本発明によれば、
▲１▼コンテンツを構成する複数のメディアから作成されるそれぞれの重要度分布に対し、ある重みを付与して加算することから総合重要度分布を作成し、総合重要度分布から要約を作成することによって、人間が通常行っている総合的な重要さの判別と同様な、単一メディアに偏ることのない要約コンテンツを自動生成することが可能となり要約精度が向上する。
【００４０】
▲２▼利用者に指定された時間、割合に応じて動的に各構成メディアの重要度分布に付与する重みを算出し、総合重要度分布を作成することにより、より精度の高い要約コンテンツを自動生成することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態の概要を示す。
【図２】本発明を実現するための計算機内のブロック構成例を示す。
【図３】重み算出の一例を示す。
【図４】重み算出の他の例を示す。
【図５】総合重要度分布の作成例を示す。
【図６】時間情報取得例を示す。
【図７】要約作成例を示す。
【図８】処理フローチャートを示す。
【符号の説明】
１：コンテンツ読込部
２：メディア判別部
３：メディア抽出部
４：特徴量検出部
５：特徴量分析部
６：重要度分布作成部
７：利用者情報取得部
８：重み算出部
９：重み付与・加算部
１０：総合重要度分布作成部
１１：閾値算出部
１２：時間情報取得部
１３：要約作成部
１００：計算機
２００：コンテンツ
３００：利用者による要約コンテンツ時間・割合入力
４００：要約コンテンツ
【図１】
0003977664.tif 000003
【図２】
0003977664.tif 000004
【図３】
0003977664.tif 000005
【図４】
0003977664.tif 000006
【図５】
0003977664.tif 000007
【図６】
0003977664.tif 000008
【図７】
0003977664.tif 000009
【図８】
0003977664.tif 000010