(57)【要約】スポーツに関する映像コンテンツから特徴的な試合中の選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置において、前記コンテンツから特徴的な試合中の選手の動作等のイベント情報を取得するイベント情報取得部と、このイベント情報に基づき試合展開の概略を記述した内部表現情報に基づき前記コンテンツを要約した内部表現情報の生成を行う内部表現情報生成部と、この内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成部と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力部とを具備するようにした。
2004012100.tif 000002
【特許請求の範囲】
【請求項１】
放映中の番組又は放映前の素材映像やＶＴＲテープ等の記録媒体に記録されたスポーツに関するコンテンツから特徴的な試合中の選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置であって、前記コンテンツから特徴的な試合中の選手の動作等のイベント情報を取得するイベント情報取得部と、このイベント情報に基づき試合の概略を記述した内部表現情報の生成を行う内部表現情報生成部と、この内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成部と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力部とを具備することを特徴とするコンテンツ要約装置。
【請求項２】
利用者の興味や嗜好を示す利用者情報を受け付ける利用者情報受付部を備え、前記表層文情報生成部が、この利用者情報に基づき、前記内部表現情報に利用者の興味・嗜好を反映させた表層文情報を生成することを特徴とする請求の範囲第１項記載のコンテンツ要約装置。
【請求項３】
当該コンテンツの試合展開や選手の動作等を表現し得る語句で構成される要約用テキスト要素を格納する要約用テキスト要素格納部を備え、前記表層文情報生成部がこの要約用テキスト要素に基づき表層文情報を生成することを特徴とする請求の範囲第１項又は第２項記載のコンテンツ要約装置。
【請求項４】
前記イベント情報が、当該スポーツのルール上の構造、選手の動作等その試合を記述可能な単位に基づく階層的構造を有していることを特徴とする請求の範囲第１項、第２項又は第３項記載のコンテンツ要約装置。
【請求項５】
前記イベント情報が、試合の経過を示す試合経過時間情報を含んでいることを特徴とする請求の範囲第１項、第２項、第３項又は第４項記載のコンテンツ要約装置。
【請求項６】
前記コンテンツ要約情報出力部が出力するコンテンツ要約情報が、前記階層的構造順序あるいは前記試合経過時間情報に基づいてソートしたものであることを特徴とする請求の範囲第４項又は第５項記載のコンテンツ要約装置。
【請求項７】
前記イベント情報が、得点や成績等を示すスコア情報又は個々の選手の特徴的な動作を示すプレイイベント情報のうち少なくともいずれか一方を含むように構成していることを特徴とする請求の範囲第１項、第２項、第３項、第４項、第５項又は第６項記載のコンテンツ要約装置。
【請求項８】
前記利用者情報受付部が利用者の視聴希望時間を受け付けるように構成するとともに、この利用者情報受付部で受け付けた視聴希望時間と前記コンテンツ要約情報出力部が出力するコンテンツ要約情報の合計時間とを比較する要約時間照合部を設け、この要約時間照合部が視聴希望時間をコンテンツ要約情報の合計時間より小さいと判断した場合、前記コンテンツ要約情報出力部が前記利用者情報受付部で受け付けた利用者の興味・嗜好に基づきコンテンツ要約情報を視聴希望時間内に収まるように編集して出力するように構成していることを特徴とする請求の範囲第１項、第２項、第３項、第４項、第５項、第６項又は第７項記載のコンテンツ要約装置。
【請求項９】
前記スコア情報に基づき、任意の試合経過時における一の選手のスコア情報と他の選手とのスコア情報とを比較して、一の選手と他の選手との試合展開における優勢度合いを表す優勢度情報を生成する優勢度情報生成部を備え、この優勢度情報に基づき前記内部表現情報生成部が内部表現情報を生成することを特徴とする請求の範囲第７項記載のコンテンツ要約装置。
【請求項１０】
前記優勢度情報が、任意の試合経過時における優勢度情報を累積したものであることを特徴とする請求の範囲第９項記載のコンテンツ要約装置。
【請求項１１】
前記表層文情報生成部が、前記表層文情報を前記内部表現情報で表現される試合展開に関連した表層文試合展開情報と顕著な選手動作に関連した表層文選手動作情報とに分類して生成することを特徴とする請求の範囲第９項又は第１０項記載のコンテンツ要約装置。
【請求項１２】
放映中の番組又は放映前の素材映像やＶＴＲテープ等の記録媒体に記録されたスポーツに関するコンテンツから特徴的な試合の流れを示す選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置であって、前記コンテンツから得点や成績等を示すスコア情報とともに個々の選手の特徴的な動作を示すプレイイベント情報とをイベント情報として取得するイベント情報取得部と、前記スコア情報に基づき任意の試合経過時における一の選手のスコア情報と他の選手とのスコア情報とを比較して一の選手と他の選手との試合展開における優勢度合いを表す優勢度情報を生成する優勢度情報生成部と、この優勢度情報に基づき試合展開の概略を記述した内部表現情報の生成を行う内部表現情報生成部とこの内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成部と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力部とを具備することを特徴とするコンテンツ要約装置。
【請求項１３】
コンピュータを作動させて、放映中の番組又は放映前の素材映像やＶＴＲテープ等の記録媒体に記録されたスポーツに関するコンテンツから特徴的な試合中の選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置を稼動するプログラムであって、当該コンピュータを、前記コンテンツから特徴的な試合中の選手の動作等のイベント情報を取得するイベント情報取得手段と、このイベント情報に基づき試合の概略を記述した内部表現情報の生成を行う内部表現情報生成手段と、この内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成手段と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力手段として機能させることを特徴とするコンテンツ要約プログラム。
【請求項１４】
コンピュータを作動させて、放映中の番組又は放映前の素材映像やＶＴＲテープ等の記録媒体に記録されたスポーツに関するコンテンツから特徴的な試合の流れを示す選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置を稼動するプログラムであって、当該コンピュータを、前記コンテンツから得点や成績等を示すスコア情報とともに個々の選手の特徴的な動作を示すプレイイベント情報とをイベント情報として取得するイベント情報取得手段と、前記スコア情報に基づき任意の試合経過時における一の選手のスコア情報と他の選手とのスコア情報とを比較して一の選手と他の選手との試合展開における優勢度合いを表す優勢度情報を生成する優勢度情報生成手段と、この優勢度情報に基づき試合展開の概略を記述した内部表現情報の生成を行う内部表現情報生成手段と、この内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成手段と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力手段として機能させることを特徴とするコンテンツ要約プログラム。
【発明の詳細な説明】
【技術分野】  本発明は、放映前の素材映像、放映または記録媒体に記録されたスポーツ番組等のスポーツに関するコンテンツから要約したコンテンツ要約を生成するコンテンツ要約装置及びコンテンツ要約プログラムに関するものである。
【背景技術】  近年、さまざまな分野においてユーザが利用できるデジタル映像情報が増加の一途をたどっている。インターネット社会の発展とともに、コンピュータ機器・通信環境・インタフェイスが高速化・広帯域化し、様々な映像データが大量に随所に蓄積されるようになると、これら膨大な情報にアクセスし、映像中の自分の見たい箇所だけ、あるいは、ハイライト部分だけを短時間に視聴するための映像要約技術がますます重要視されている。このような映像要約に関する技術は、次に示す２つの技術に分類することができる。
１つ目の技術は、映像から、色やテクスチャ、カメラ操作、人物の顔、キャプション、音の種別や大きさ、書き起こしデータに対するＴＦＩＤＦ、等様々なメディアから得られる低レベルの特徴量を自動解析によって抽出し、これらの組み合わせや時間的変化によって重要場面を特定するものであり、特に、ニュース映像など比較的分かりやすい文脈構造をもつ映像に適用されることが多い。
２つ目の技術は、要約に必要なデータ入力を手作業で行うことを大幅に許容して、内容に関連したインデックスを扱いやすいように設計し、これを生成・利用するものであり、一度入力ができれば、文脈の流れや個々の特徴的な場面を表現するインデックスが利用可能なため、目的に応じた柔軟な要約が実現できる。
ところが、前記１つ目の技術では、基本的に低レベル特徴に基づいているため、個々の場面が何を表現しているかといった意味的な具体的内容の特定が困難であった。また、２つ目の技術では、適用範囲が限定される点、人手によるコストや負荷を軽減するための工夫が必要であった。
【発明の開示】
上記の課題を解決するために、本発明は、次のような手段を講じたものである。
すなわち、本発明は、放映中の番組又は放映前の素材映像やＶＴＲテープ等の記録媒体に記録されたスポーツに関するコンテンツから特徴的な試合中の選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置であって、前記コンテンツから特徴的な試合中の選手の動作等のイベント情報を取得するイベント情報取得部と、このイベント情報に基づき試合の概略を記述した内部表現情報の生成を行う内部表現情報生成部と、この内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成部と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力部とを具備することを特徴とする。
このようなものであれば、イベント情報取得部で取得した特徴的な試合中の選手の動作等のイベント情報における試合の概略を表す内部表現情報を内部表現情報生成部が生成し、さらに表層文情報生成部がこの内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報を生成し、さらに、コンテンツ要約情報出力部が、表層文情報と前記イベント情報に対応する画像情報とを関連付けてコンテンツ要約情報として出力するため、不必要な人手が要らず簡単に意味的な内容を含んだコンテンツ要約情報を生成するコンテンツ要約装置を提供することができる。
特に、利用者の興味や嗜好等に対応した要約を生成するためには、コンテンツ要約装置に利用者の興味や嗜好を示す利用者情報を受け付ける利用者情報受付部を設け、前記表層文情報生成部が、この利用者情報に基づき、前記内部表現情報に利用者の興味・嗜好を反映させた表層文情報を生成することが望ましい。
また、要約したコンテンツを表現する文章を効率的に得るためには、当該コンテンツの試合展開や選手の動作等を表現し得る語句で構成される要約用テキスト要素を格納する要約用テキスト要素格納部をさらに設け、前記表層文情報生成部がこの要約用テキスト要素に基づき表層文情報を生成するようにすればよい。
ところで、試合中の任意時刻における選手の動作や試合の状態を把握可能にするためには、前記イベント情報が、当該スポーツのルール上の構造、選手の動作等その試合を記述可能な単位に基づく階層的構造を有するように構成し、さらに前記イベント情報が、試合の経過を示す試合経過時間情報を含むように構成すればよい。
そして、利用者が要約したコンテンツの試合経過を好適に把握できるようにするためには、前記コンテンツ要約情報出力部が出力するコンテンツ要約情報が、前記階層的構造順序あるいは前記試合経過時間情報に基づいてソートしたものであればよい。
また、好ましいコンテンツの要約箇所としては、前記イベント情報が、得点や成績等を示すスコア情報又は個々の選手の特徴的な動作を示すプレイイベント情報のうち少なくともいずれか一方を含むようにすることが望ましい。
なお、コンテンツ要約情報を利用者の希望する視聴希望時間内に編集して利用者に提供するためには、前記利用者情報受付部が利用者の視聴希望時間を受け付けるように構成するとともに、この利用者情報受付部で受け付けた視聴希望時間と前記コンテンツ要約情報出力部が出力するコンテンツ要約情報の合計時間とを比較する要約時間照合部を設け、この要約時間照合部が視聴希望時間をコンテンツ要約情報の合計時間より小さいと判断した場合、前記コンテンツ要約情報出力部が前記利用者情報受付部で受け付けた利用者の興味・嗜好に基づきコンテンツ要約情報を視聴希望時間内に収まるように編集して出力するように構成していることが好ましい。
さらに、どの選手が有利に試合を展開したかを知るためには、前記スコア情報に基づき、任意の試合経過時における一の選手のスコア情報と他の選手とのスコア情報とを比較して、一の選手と他の選手との試合展開における優勢度合いを表す優勢度情報を生成する優勢度情報生成部を設け、この優勢度情報に基づき前記内部表現情報生成部が内部表現情報を生成するようにすればよく、さらに、前記優勢度情報を、任意の試合経過時における優勢度情報を累積したものとすることが望ましい。
そして、試合が終了する直前に得点した選手の動作を含むシーンあるいは着目した選手を中心に要約したシーン等、利用者の興味や嗜好により具体的に対応したコンテンツ要約情報を得るためには、前記表層文情報生成部を、前記表層文情報を前記内部表現情報で表現される試合展開に関連した表層文試合展開情報と顕著な選手動作に関連した表層文選手動作情報とに分類して生成するように構成することが好ましい。
また、本発明の好ましい態様としては、放映中の番組やＶＴＲテープ等の記録媒体に記録されたスポーツに関するコンテンツから特徴的な試合の流れを示す選手の動作を抽出し所望の時間に要約して視聴可能にするコンテンツ要約装置であって、前記コンテンツから得点や成績等を示すスコア情報とともに個々の選手の特徴的な動作を示すプレイイベント情報とをイベント情報として取得するイベント情報取得部と、前記スコア情報に基づき任意の試合経過時における一の選手のスコア情報と他の選手とのスコア情報とを比較して一の選手と他の選手との試合展開における優勢度合いを表す優勢度情報を生成する優勢度情報生成部と、この優勢度情報に基づき試合展開の概略を記述した内部表現情報の生成を行う内部表現情報生成部と、この内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報の生成を行う表層文情報生成部と、この表層文情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を出力するコンテンツ要約情報出力部とを具備したものが挙げられる。
【図面の簡単な説明】第１図は、本発明の実施形態におけるコンテンツ要約装置の機器構成図である。
第２図は、同実施形態における機能ブロック図である。
第３図は、同実施形態における要約用テキスト要素の格納態様を示す図である。
第４図は、同実施形態におけるコンテンツ要約情報を生成する過程を示すフロー図である。
第５図は、本発明の他の実施形態におけるコシテンツ要約装置の機能ブロック図である。
第６図は、同実施形態における累積優勢度情報をグラフ化した図である。
第７図は、同実施形態におけるコンテンツ要約情報を生成する過程を示すフロー図である。
【発明を実施するための最良の形態】＜第１実施形態＞
以下、本発明の第１実施形態について、該実施形態におけるスポーツに関するコンテンツをテニスとし、２人の選手が対戦する場面を録画した録画物から利用者の希望するコンテンツ要約情報を生成する場合を、第１図〜第４図を参照して説明する。
第１図は、本実施形態におけるコンテンツ要約装置１の機器構成を示す機器構成図である。第２図は、同実施形態における機能ブロック図である。
本実施形態に係るコンテンツ要約装置１は、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を抽出し所望の時間に要約したコンテンツ要約情報を生成するものであって、第１図に示すように、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置と接続される入出力インタフェイス１１と、データやプログラム等を記憶するＨＤＤ等の外部記憶装置１２や内部メモリ１３と、前記外部記憶装置１２等に記憶させたプログラムにしたがって作動し当該装置をコンテンツ要約装置１として機能させるＣＰＵ１４と、ユーザの利用者情報を受け付けるキーボードやマウス等のユーザインタフェイス１５等とを主な構成要素としている。なお、ここで「コンテンツ」とは、選手の動作、コート斜め上から縦方向にコートが映るようなアングルで撮影されたショット、審判、観客のアップとなるショット等を含む映像や解説者等の音声を含む一般的なテニス番組に設定している。
一方、このコンテンツ要約装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第２図に示すように、イベント情報取得部１０１、内部表現情報生成部１０２、要約用テキスト要素格納部１０３、利用者情報受付部１０４、表層文情報生成部１０５、コンテンツ要約情報出力部１０６、要約時間照合部１０７等としての機能を有している。
以下、これら各部を詳述する。
イベント情報取得部１０１は、前記コンテンツから特徴的な試合中の選手の動作等を示すイベント情報を取得するものであって、前記入出力インタフェイス１１を利用して構成している。なお、本実施形態では、コンテンツの映像情報から２値画像処理等によって抽出した選手とボールとの位置関係からフォアハンドスイング等の選手の動作を識別することによりイベント情報を取得するように設定している。そして、取得したこのイベント情報は、当該スポーツのルール上の構造、選手の動作等その試合を記述可能な単位に基づく階層的構造と試合の経過を示す試合経過時間情報とを有するように構成して前記内部表現情報生成部１０２に出力するようにしている。
内部表現情報生成部１０２は、前記イベント情報に基づき試合の概略を記述した内部表現情報を生成するものである。より具体的には、例えば、サービスエースやダブルフォルトといった選手の顕著な動作を、１ゲーム毎あるいは１セット毎に評価して、「サービスエースが多く決まったゲームであった。」「ダブルフォルトの多いセットであった。」といった試合展開等に関する内部表現情報を生成する。
要約用テキスト要素格納部１０３は、当該コンテンツの試合展開や選手の動作等を表現し得る語句で構成される要約用テキスト要素を格納するものであって、前記外部記憶装置１２及び内部メモリ１３の所定領域を利用して形成している。なお、本実施形態では、この要約用テキスト要素は、第３図に示すように、本システムにおいてユニークな値を示す要約用テキスト要素ＩＤと対応させて格納するようにしている。
利用者情報受付部１０４は、例えば、要約して視聴したい試合の内容に関する内容構成、利用者がどちらの選手あるいはチームを重視するかといった点を指定するための項目である着目選手、視聴希望時間を示す要約時間等、利用者の興味や嗜好を示す利用者情報を受け付けるためのものであって、前記ユーザインタフェイス１５を利用して構成されている。
表層文情報生成部１０５は、前記要約用テキスト要素と利用者情報とに基づいて、コンテンツを要約した文章で表現する表層文情報を生成するものである。また、表層文情報生成の際には、前記利用者入力情報に基づき、前記着目選手を中心とした表現を用いるようにしている。これにより、前記表層文情報は指定された選手やチームの観点から表現されて形成されることになる。
コンテンツ要約情報出力部１０６は、前記表層文試合展開情報及び前記表層文選手動作情報と前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を前記テレビジョン受像機ＴＶ等に出力するものである。なお、前記表層文試合展開情報に関連した映像としては、セット及びゲームが終了する直前にポイントした選手の最後の打撃イベントを含むシーンや、接戦あるいは一方的と判断される全てのゲームの中で最も頻繁に起きた動作イベントを含むシーンを各セットから選択するように設定している。また、前記表層文選手動作情報に関連した映像としては、パッシングやサービスエースといったスーパープレイに類するものに予め順位付けしておき、試合展開と前記着目選手に対応する選手の動作イベントを順位の高いものから各セット毎に選択するように設定している。さらに、個々の特徴的なイベントを含む映像場面の中からは、指定された選手やチームが主体的に関連したものに対してより重みがかけられて選択されるようにしている。また、本実施形態において、このコンテンツ要約情報を、当該スポーツのルール上の構造、選手の動作等その試合を記述可能な単位を示す階層的構造順序あるいは試合の経過を示す試合経過時間情報に基づきソートして出力するように設定している。
要約時間照合部１０７は、利用者情報受付部１０４で受け付けた視聴希望時間と前記コンテンツ要約情報出力部１０６が出力するコンテンツ要約情報の合計時間とを比較して、視聴希望時間をコンテンツ要約情報の合計時間より小さいと判断した場合、前記コンテンツ要約情報出力部１０６に前記利用者情報受付部１０４で受け付けた利用者の興味・嗜好に基づきコンテンツ要約情報を視聴希望時間内に収まるように編集して出力する旨の指示を行うものである。
次に、本実施形態のコンテンツ要約装置１の動作を第４図に示すフロー図を用いて説明する。
第４図は、テニスの試合を行う選手ＯｋａとＨｉｎｏｎｕｒａとの対戦が録画されている録画物から、利用者の希望するコンテンツ要約情報を生成する過程を示すフロー図である。
まず、イベント情報取得部１０１が、前記記録再生装置で再生する録画物からイベント情報を取得すると（ステップＳ１０１）、このイベント情報に基づき、試合展開を表現する内部表現情報が内部表現情報生成部１０２で生成される（ステップＳ１０２）。そして、この内部表現情報と利用者情報受付部１０４が受け付ける利用者情報と要約用テキスト要素格納部１０３に格納している要約用テキスト要素とに基づき、表層文生成部が表層文情報を生成する（ステップＳ１０３）。具体的には、このステップＳ１０３において、例えば、受け付ける利用者情報が、内容構成＝サービスエース重視、着目選手＝Ｏｋａ、要約時間＝３０（ｓｅｃ）であった場合には、「第１セットは、」、「Ｏｋａがサービスエースを連発し、」、「選手Ｏｋａが６−２で危なげなくとった。」、「第２セットは、Ｈｉｎｏｍｕｒａがサービスエースを一時決めたものの」、「ほぼ互角の接戦となり、」、「選手Ｏｋａが６−４で逃げ切った。」といったサービスエース重視で選手Ｏｋａに着目した表層文選手動作情報が生成される。なお、生成される表層文情報「第１セットは、」における、「第」「セット」「は」はそれぞれ要約用テキスト要素ＩＤ０００、００１、００９を参照して生成するようにしている。また、利用者情報が、内容構成＝ダブルフォルト重視、着目選手＝Ｏｋａ、要約時間＝３０（ｓｅｃ）、であった場合には、「第１セットは、Ｏｋａのダブルフォルトに始まったが、」、「Ｈｉｎｏｍｕｒａがダブルフォルトを連発し、」、「選手Ｏｋａが６−２で危なげなくとった。」、「第２セットは、Ｏｋａのダブルフォルトが目立ったが、」、「後半は、ダブルフォルトも無く安定したプレイで」、「選手Ｏｋａが６−４で逃げ切った。」といった顕著なプレイ重視で選手Ｏｋａに着目した表層文選手動作情報が生成される。
このようにして、表層文生成部が生成した表層文情報に基づき、コンテンツ要約情報出力部１０６が、前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を編集し（ステップＳ１０４）、要約時間照合部１０７が、利用者情報受付部１０４で受け付けた視聴希望時間と前記コンテンツ要約情報出力部１０６が出力するコンテンツ要約情報の合計時間とを比較して、視聴希望時間がコンテンツ要約情報の合計時間より大きいと判断した場合（ステップＳ１０５）、そのまま前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を前記テレビジョン受像機ＴＶ等に出力し（ステップＳ１０６）、一方、視聴希望時間がコンテンツ要約情報の合計時間より小さいと判断した場合（ステップＳ１０５）、前記コンテンツ要約情報出力部１０６に前記利用者情報受付部１０４で受け付けた利用者の興味・嗜好に基づきコンテンツ要約情報を視聴希望時間内に収まるように編集するように設定している（ステップＳ１０４）。そして、コンテンツ要約再生時には、表層文情報（上記で示した要約例の「  」で囲まれた１行分に相当）とそれに対応した各映像シーンが同期してテレビジョン受像機ＴＶに表示され、ダイジェストを視聴できることとなる。
以上のようなコンテンツ要約装置１であれば、イベント情報取得部１０１で取得した特徴的な試合中の選手の動作等のイベント情報における試合展開の概略を表す内部表現情報を内部表現情報生成部１０２が生成し、さらに表層文情報生成部１０５がこの内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報を生成し、さらに、コンテンツ要約情報出力部１０６が、表層文情報と前記イベント情報に対応する画像情報とを関連付けてコンテンツ要約情報として出力するため、不必要な人手が要らず簡単に、試合中の任意時刻における選手の動作や試合の状態を把握したり要約したコンテンツの試合経過を好適に把握可能な意味的な内容を含んだコンテンツ要約情報を生成するコンテンツ要約装置１を提供することができる。
また、利用者情報受付部１０４で受け付ける着目選手等を変化させれば、要約用テキスト要素格納部を参照し文脈の流れを保持しつつ、利用者の嗜好に応じた要約内容を有するコンテンツ要約情報を効率的に生成し提供することができる。
さらに、利用者は、自分の希望する視聴希望時間内で要約したコンテンツを楽しむことができる。
なお、本実施形態において、要約対象とするコンテンツをテニスとしたが、バドミントンや卓球等他のスポーツに関するコンテンツであってもよい。
また、本実施形態では、コンテンツ要約情報を、テレビジョン受像機ＴＶに出力するようにしていたが、これに限らず、例えば、ＶＴＲ等の記録再生装置に出力してしかるべき記録媒体に記録させるなど各種出力方法が考えられる。
＜第２実施形態＞
以下、本発明の第２実施形態について、該実施形態におけるスポーツに関するコンテンツをテニスとし、２人の選手が対戦する場面を放映中の番組から利用者の希望するコンテンツ要約情報を生成する場合を、第５図〜第７図等を参照して説明する。
本実施形態に係るコンテンツ要約装置１の機器構成は、第１実施形態で説明したものと同様の機器構成であるため説明を省略する。第５図は、本実施形態における他のコンテンツ要約装置１の機能ブロック図である。
このコンテンツ要約装置１を機能面で説明すると、前記ＣＰＵ１４等が動作することにより、第５図に示すように、イベント情報取得部１０１、優勢度情報生成部１１１、内部表現情報生成部１０２、要約用テキスト要素格納部１０３、利用者情報受付部１０４、表層文情報生成部１０５、コンテンツ要約情報出力部１０６、要約時間照合部１０７等としての機能を有している。
以下、これら各部を詳述するが、第１実施形態と同様の構成作用効果を示すものは同一の名称及び同一の符号を与えて説明を省略する。
イベント情報取得部１０１は、前記コンテンツから特徴的な試合の流れを示す選手の動作等のイベント情報及び得点や成績等を示すスコア情報を取得するものであって、前記入出力インタフェイス１１を利用して構成している。なお、本実施形態も前述の第１実施形態と同様、コンテンツの映像情報から２値画像処理等によって抽出した選手とボールとの位置関係からフォアハンドスイング等の選手の動作を識別することによりイベント情報を取得するように設定している。そして、スコア情報は、映像中に表示されるスコアを手入力して取得するように設定している。また、取得したこのイベント情報及びスコア情報は、当該スポーツのルール上の構造、選手の動作等その試合を記述可能な単位に基づく階層的構造と試合の経過を示す試合経過時間情報とを有するように構成して優勢度情報生成部及び内部表現情報生成部に出力するようにしている。
優勢度情報生成部１１１は、前記イベント情報取得部１０１が取得するスコア情報に基づき、任意の試合経過時における一の選手のスコア情報と他の選手とのスコア情報とを比較して、一の選手と他の選手との試合展開におけるセット又はゲームの優勢度合いを表すセット優勢度情報又はゲーム優勢度情報（以下、「優勢度情報」と総称する。）を生成するものである。なお、このセット優勢度情報は、任意のセットにおいて、どちらの選手が有利にそのセットを展開したかを示す指標で、計算式Ｓｓ＝ｄｓｉ／ｄｓｍａｘで定義している。ここで、ｄｓｉ＝（そのセットの最後の１ゲームを取るまでにつけることのできたゲーム差）、ｄｓｍａｘ＝（そのセットの最後の１ゲームを取るまでにつけることのできた最大のゲーム差）としている。また、ゲーム優勢度情報は、任意のゲームにおいて、どちらの選手が有利にそのゲームを展開したかを示す指標で、計算式Ｓｇ＝ｄｇｉ／ｄｇｍａｘで定義している。ここで、ｄｇｉ＝（そのゲームの最後の１ポイントを取るまでにつけることのできたポイント差）、ｄｇｍａｘ＝（そのゲームの最後の１ポイントをとるまでにつけることのできた最大のポイント差）としている。
さらに、各ゲーム毎のゲーム優勢度情報を累積して得られる試合のある時点における累積優勢度情報を生成し、どちらの選手が有利にそのセットあるいはゲームを展開したかを示すように設定している。より具体的には、この累積優勢度情報は、ある時点までの試合の流れを表す指標となるもので計算式Ｓｒ＝ΣＳｇで定義している。なお、本実施形態では累積優勢度情報をゲーム優勢度情報を累積して得るものとしたが、セット優勢度情報を累積して得ることも考えられる。
内部表現情報生成部１０２は、前記優勢度情報生成部１１１が生成した優勢度情報に基づき、各セットあるいはゲームにおける試合の優勢度及びその推移から試合展開の概略を分析して、試合展開の概略を記述した内部表現情報を生成するものである。
より具体的には、前記優勢度情報Ｓｓが、｜Ｓｓ｜≦０．２ならば接戦、｜Ｓｓ｜≧０．６ならば一方的、０．２≦｜Ｓｓ｜≦０．６ならば順調、な試合展開であったと分析し、▲１▼一方的であったか、▲２▼接戦であったか、▲３▼いずれでもなく順調な展開であったか、といったセットの展開の概略を記述した内部表現情報を生成する。例えば、６−２で決まったセットにおけるセット優勢度情報は、Ｓｓ＝３／５＝０．６となり、そのセットの展開が「一方的であった」ことを示す内部表現情報が生成される。
前記ゲーム優勢度情報Ｓｇが、｜Ｓｇ｜≦０．２５ならば接戦、｜Ｓｇ｜≧０．６ならば一方的、０．２５≦｜Ｓｇ｜≦０．６ならば順調、な試合展開であったと分析し、▲１▼一方的であったか、▲２▼接戦であったか、▲３▼いずれでもなく順調な展開であったか、といったゲームの展開の概略を記述した内部表現情報を生成する。例えば、２回目のｄｅｕｃｅで決まったゲームのゲーム優勢度情報は、４０−Ａ（得点に直すと４−５）であり、Ｓｇ＝−１／５＝−０．２となって、そのゲームの展開が「接戦であった」ことを示す内部表現情報が生成される。なお、各優勢度におけるマイナスは他方の選手が優勢であることを示している。
また、前記累積優先度は、例えば、第６図に示すように、各ゲーム毎のゲーム優先度情報を累積させて表示したグラフにおいて、そのグラフの傾き等を見ることにより、▲１▼そのセット全体を通して持続したか、▲２▼前半・後半で変化したか、といった試合展開の概略が記述される内部表現を生成するように設定している。より具体的に第６図において、試合１は、前半からマイナス側の選手が有利に試合を展開し、後半は完全にマイナス側の選手の一方的な試合展開になっていることを示す内部表現情報が生成される。一方、試合２は、前半はほとんど均衡状態で、中盤、一時的にプラス側の選手が有利になり再びマイナス側の選手に盛り返されるが、後半はプラス側の選手に有利な試合展開になったことを示す内部表現情報が生成される。
表層文情報生成部１０５は、前記要約用テキスト要素と利用者情報とに基づいて、コンテンツを要約した文章で表現する表層文情報を生成するものである。なお、本実施形態において、各セットについて、前記内部表現情報で表現される試合展開等に関連した表層文試合展開情報と顕著な選手動作に関連した表層文選手動作情報との２種類を生成するように設定しており、例えば、第１セットの試合展開がほぼ一方的であった場合には、「第１セットは、選手Ｏｋａが６−２で危なげなくとった。」といった表層文試合展開情報や「パッシングやサーブ＆ボレーを決めるなどしたが、」といった表層文選手動作情報が生成される。また、表層文情報生成の際には、前記利用者入力情報に基づき、前記着目選手を中心とした表現を用いるようにしている。これにより、前記表層文情報は指定された選手やチームの観点から表現されて形成されることになる。
次に、本実施形態のコンテンツ要約装置１の動作を第７図に示すフロー図を用いて説明する。
第７図は、テニスの試合を行う選手ＯｋａとＨｉｎｏｎｕｒａとの対戦が放映されている番組から、利用者の希望するコンテンツ要約情報を生成する過程を示すフロー図である。
まず、イベント情報取得部１０１が、前記テレビジョン受像機に放映中の番組からイベント情報及びスコア情報を取得すると（ステップＳ２０１）、優勢度情報生成部１１１が、セット優勢度情報及びゲーム優勢度情報と、このゲーム優勢度情報を各ゲーム毎に累積した累積優勢度情報を生成する（ステップＳ２０２）。次に、これらセット優勢度情報及びゲーム優勢度情報と累積優勢度情報とイベント情報とに基づき、試合展開を表現する内部表現情報が内部表現情報生成部１０２で生成される（ステップＳ２０３）。そして、この内部表現情報と利用者情報受付部１０４が受け付ける利用者情報と要約用テキスト要素格納部１０３に格納している要約用テキスト要素とに基づき、表層文生成部が表層文情報を生成する（ステップＳ２０４）。
そして、このステップＳ２０５において、例えば、利用者情報が、内容構成＝試合展開重視、着目選手＝Ｏｋａ、要約時間＝３０（ｓｅｃ）であった場合には、「第１セットは、」、「Ｏｋａのほぼ一方的な展開となり、」、「選手Ｏｋａが６−２で危なげなくとった。」、「第２セットは、Ｈｉｎｏｍｕｒａが一時有利に試合を進めるものの」、「ほぼ互角の接戦となり、」、「選手Ｏｋａが６−４で逃げ切った。」といった試合展開重視で選手Ｏｋａに着目した表層文試合展開情報が生成される。なお、生成される表層文情報「第１セットは、」において、「第」「セット」「は」はそれぞれ要約用テキスト要素ＩＤ０００、００１、００９を参照して生成するようにしている。また、利用者情報が、内容構成＝顕著なプレイ重視、着目選手＝Ｏｋａ、要約時間＝３０（ｓｅｃ）、であった場合には、「第１セットは、パッシングや」、「サーブ＆ボレーを決めるなどしてリードした」、「選手Ｏｋａが６−２で危なげなくとった。」、「第２セットは、Ｏｋａがサービスエースや」、「ストロークエースを決めるなどしたが、」、「選手Ｏｋａが６−４で逃げ切った。」といった顕著なプレイ重視で選手Ｏｋａに着目した表層文選手動作情報が生成される。さらにまた、利用者情報が、内容構成＝顕著なプレイ重視、着目選手＝Ｈｉｎｏｍｕｒａ、要約時間＝３０（ｓｅｃ）であった場合には、「第１セットは、Ｈｉｎｏｍｕｒａがサーブ＆ボレーや」、「サービスエースを決めるなどして好プレイを見せたが」、「選手Ｏｋａに６−２で危なげなく取られた。」、「第２セットは、Ｈｉｎｏｍｕｒａがパッシングや」、「ストロークエースを決めるなどして好プレイを見せたが」、「選手Ｏｋａに６−４で逃げ切られた。」といった顕著なプレイ重視で選手Ｈｉｎｏｍｕｒａに着目した表層文選手動作情報が生成される。
このようにして、表層文生成部が生成した表層文情報に基づき、コンテンツ要約情報出力部１０６が、前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を編集し（ステップＳ２０５）、要約時間照合部１０７が、利用者情報受付部１０４で受け付けた視聴希望時間と前記コンテンツ要約情報出力部１０６が出力するコンテンツ要約情報の合計時間とを比較して、視聴希望時間がコンテンツ要約情報の合計時間より大きいと判断した場合（ステップＳ２０６）、そのまま前記イベント情報に対応する画像情報とを関連付けたコンテンツ要約情報を前記テレビジョン受像機ＴＶ等に出力し（ステップＳ２０７）、一方、視聴希望時間がコンテンツ要約情報の合計時間より小さいと判断した場合（ステップＳ２０６）、前記コンテンツ要約情報出力部１０６に前記利用者情報受付部１０４で受け付けた利用者の興味・嗜好に基づきコンテンツ要約情報を視聴希望時間内に収まるように編集して出力する旨の指示を行うように設定している（ステップＳ２０５）。そして、コンテンツ要約再生時には、表層文情報（上記で示した要約例の「  」で囲まれた１行分に相当）とそれに対応した各映像シーンが同期してテレビジョン受像機ＴＶに表示され、ダイジェストを視聴できることとなる。
以上のようなコンテンツ要約装置１であれば、イベント情報取得部１０１で取得した特徴的な試合の流れを示す選手の動作等のイベント情報やスコア情報に基づき試合展開の概略を表す内部表現情報を内部表現情報生成部１０２が生成され、さらに表層文情報生成部１０５がこの内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報を生成し、さらに、コンテンツ要約情報出力部１０６が、表層文情報と前記イベント情報に対応する画像情報とを関連付けてコンテンツ要約情報として出力するため、不必要な人手が要らず簡単にどの選手が有利に試合を展開したかをより的確に知ることができるといった意味的な内容を含んだコンテンツ要約情報を生成するコンテンツ要約装置１を提供することができる。
なお、イベント情報取得部がスコア情報を取得する方法を、映像中に表示されるスコアを手入力して取得するように構成していたが、映像中に表示されるスコアを自動解析して取得したり解説者等の音響情報に基づき取得したりするように構成するなど、スコア情報を取得する方法は本実施形態に限られるものではない。
また、優勢度情報をスコア情報に基づき生成するように構成していたが、スコア情報と解説者等の音響情報とを組み合わせて生成するように構成するなど、優勢度情報を生成する方法は本実施形態に限られるものではない。
さらに、テレビジョン受像機ＴＶやＶＴＲ等の記録再生装置を用いて表示する放映中の番組や記録媒体などに記録されるスポーツに関するコンテンツから、特徴的な試合中の選手の動作を抽出し所望の時間に要約して視聴可能にするように構成していたが、例えば、スタジアムで当該スポーツを撮影した放映される前の素材映像やインターネット上にアーカイブ化されている映像情報から、特徴的な試合中の動作を抽出し所望の時間に要約して視聴可能にするなど、要約を行うコンテンツの対象となる媒体は本実施形態に限られるものではない。
その他、各部の具体的構成についても上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で種々変形が可能である。
【産業上の利用可能性】  上述したように、本発明によれば、イベント情報取得部で取得した特徴的な試合中の選手の動作等のイベント情報における試合展開の概略を表す内部表現情報を内部表現情報生成部が生成し、さらに表層文情報生成部がこの内部表現情報に基づき前記コンテンツを要約した文章で表現する表層文情報を生成し、さらに、コンテンツ要約情報出力部が、表層文情報と前記イベント情報に対応する画像情報とを関連付けてコンテンツ要約情報として出力するため、不必要な人手が要らず簡単に意味的な内容を含んだコンテンツ要約情報を生成するコンテンツ要約装置を提供することができる。
【図１】
2004012100.tif 000003
【図２】
2004012100.tif 000004
【図３】
2004012100.tif 000005
【図４】
2004012100.tif 000006
【図５】
2004012100.tif 000007
【図６】
2004012100.tif 000008
【図７】
2004012100.tif 000009
【国際調査報告】
2004012100.tif 000010
2004012100.tif 000011
2004012100.tif 000012
2004012100.tif 000013