(57)【特許請求の範囲】
【請求項１】
映像に関する情報を要約すると共に要約された情報を印刷する映像情報印刷装置であって、
情報要約時の条件である要約条件および要約情報印刷時の印刷書式を設定する条件設定手段と、
前記映像の構造を木構造で表す映像構造インデックスと前記要約条件とに基づいて前記映像に関する情報を要約する映像情報要約手段と、
前記映像情報要約手段によって要約された情報を前記印刷書式に基づいて整形する印刷情報整形手段と、
前記映像情報要約手段によって要約され、かつ、前記印刷情報整形手段によって整形された情報を印刷物として出力する印刷出力手段と、
を備えることを特徴とする映像情報印刷装置。
【請求項２】
前記要約条件は、前記映像構造インデックスで定義されている前記映像を構成する各セグメントのフレーム画像を代表する代表フレーム群から、前記各代表フレームを集約した参照フレームを抽出するための抽出条件を含むことを特徴とする請求項１に記載の映像情報印刷装置。
【請求項３】
さらに、前記要約条件と前記印刷書式とを登録する登録手段を備えることを特徴とする請求項１または２に記載の映像情報印刷装置。
【請求項４】
前記映像情報要約手段は、映像から抽出された画像の特徴量を取得する特徴量取得手段と、画像間において、前記特徴量取得手段によって取得された特徴量の差を取得する特徴量差取得手段とを備え、前記特徴量差取得手段によって取得された特徴量の差が所定の値以下である複数の画像を１つの画像で代表することを特徴とする請求項１〜３のいずれか一つに記載の映像情報印刷装置。
【請求項５】
前記印刷情報整形手段は、印刷時のレイアウトを複数記憶するレイアウト記憶手段を有し、前記レイアウト記憶手段に記憶されているレイアウトを使用して前記映像情報要約手段によって要約された情報を整形することを特徴とする請求項１〜４のいずれか一つに記載の映像情報印刷装置。
【請求項６】
前記レイアウト記憶手段は、映像メディアの識別ラベルを対象としたレイアウトを記憶することを特徴とする請求項５に記載の映像情報印刷装置。
【請求項７】
さらに、前記印刷情報整形手段によって整形された情報に含まれる画像の映像における位置に関する映像位置情報を前記印刷情報に付す位置情報付加手段を備え、前記印刷出力手段は、前記印刷情報と共に前記映像位置情報を印刷物として出力することを特徴とする請求項１〜５のいずれか一つに記載の映像情報印刷装置。
【請求項８】
映像に関する情報を要約すると共に、印刷可能な形式に整形する映像情報要約方法であって、
情報要約時の条件である要約条件および要約情報印刷時の印刷書式を設定する条件設定工程と、
前記映像の構造を木構造で表す映像構造インデックスと前記要約条件とに基づいて前記映像に関する情報を要約する映像情報要約工程と、
前記情報要約工程において要約された情報を前記印刷書式に基づいて整形する印刷情報整形工程と、
を含むことを特徴とする映像情報要約方法。
【請求項９】
前記要約条件は、前記映像構造インデックスで定義されている前記映像を構成する各セグメントのフレーム画像を代表する代表フレーム群から、前記各代表フレームを集約した参照フレームを抽出するための抽出条件を含むことを特徴とする請求項８に記載の映像情報要約方法。
【請求項１０】
前記情報要約工程は、映像から抽出された画像の特徴量を取得する特徴量取得工程と、画像間において、前記特徴量取得工程において取得された特徴量の差を取得する特徴量差取得工程とを含み、前記特徴量差取得工程において取得された特徴量の差が所定の値以下である複数の画像を１つの画像で代表することを特徴とする請求項８または９に記載の映像情報要約方法。
【請求項１１】
前記請求項８〜１０に記載の映像情報要約方法のいずれか一つをコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像情報印刷装置、映像情報要約方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
例えばビデオテープやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）といった情報を映像として記録できる記録媒体（映像記録媒体）が普及している。このような映像記録媒体には、記録されている映像の内容が一見して分かるインデックスが一般的に付されており、映像記録媒体の整理や管理に利用されている。
【０００３】
現在、インデックスを簡易に作成できる構成として、特開平６−２４５１７９号公報に記載された発明、特開平８−２９４０８０号公報に記載された発明、特開平９−９３５２７号公報に記載された発明がある。このうちの特開平６−２４５１７９号公報に記載された発明は、フリーズボタンの押下によって映像信号をメモリに蓄積し、蓄積された映像信号によって表される静止画像を印刷している。
【０００４】
また、特開平８−２９４０８０号公報に記載された発明は、映像記録媒体にインデックス領域を設け、インデックス領域に映像データの代表画面、撮影日時、撮影場所などを記録することによってインデックスデータを作成する。インデックスデータとして記録された代表画面は、表示画面に表示することも紙に出力することもできる。また、この際、代表画面と対応させて撮影日時や撮影場所を表示、あるいは紙出力することができる。
【０００５】
また、特開平９−９３５２７号公報に記載された発明は、再生された映像中のシーンチェンジに基づいて（基本的に）代表画像を抽出し、抽出された代表画像を格納してインデックスを作成するものである。このインデックスは代表画像の一覧であって、表示部に表示することも印刷することも可能である。以上の特開平６−２４５１７９号公報に記載された発明、特開平８−２９４０８０号公報に記載された発明、特開平９−９３５２７号公報に記載された発明によれば、いずれも映像に含まれる画像を紙に印刷して出力することができる。そして、出力された印刷物は、映像記録媒体のインデックスとして利用することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記した従来の発明は、いずれもインデックスとして映像に含まれる画像を主に使用している。画像を主にしたインデックスは、映像の内容をある程度理解することに有効ではあるものの、理解のために必須の情報が欠落する、あるいは不要な情報が混在する可能性がある。
【０００７】
また、従来の発明は、情報の欠落を補うために撮影日時や撮影場所といった簡単な情報を付加する、あるいはシーンチェンジに基づいて決定した代表画像を手動で置き換えているものの、映像の内容を充分に理解できるインデックスを作成するには未だ改善の余地があるものといえる。
【０００８】
また、インデックスを利用して映像記録媒体を整理する場合、例えば、インデックスを映像記録媒体のケースなどに直接貼付する、あるいはインデックスのみをファイリングすることが考えられる。しかしながら、上記した従来の発明は、作成したデータインデックスを印刷する際の印刷レイアウトをインデックスの利用方法に合せて変更することができない。このため、利用者は、印刷されたインデックスを利用方法に合せて加工することが必要であった。
【０００９】
ところで、現在、映像の編集、加工を容易にするために映像を構造化する映像構造化装置が提唱されている。映像の構造化とは、映像を構成する画像の変化点を検出するなどして映像を分割し、分割されたまとまりごとに映像を検索できるようにする処理をいう。
【００１０】
映像を構造化する映像構造化装置の公知例としては、例えば、特開平８−３３９３７９号公報、特開平１０−１３７７３号公報があり、さらに、特願平１１−２７７３６１号として映像を木構造として管理する映像構造化装置が出願されている。構造化された映像には分割されたまとまりごとに内容を示す情報が付加されているが、この情報を印刷して映像記録媒体のインデックスとして使用する技術は未だ完成していない。
【００１１】
本発明は上述の問題点を解決するために成されたものであり、その第１の目的は、映像記録媒体の紙出力されるインデックス中に映像の内容を理解するのに十分な情報を付加し、簡易かつ確実に映像の内容が理解できるインデックスを作成することができる映像情報印刷装置、映像情報要約方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１２】
その第２の目的は、インデックスのレイアウトをユーザの要求に応じて決定し、映像記録媒体ケースへの貼付、あるいはファイリングといった使用方法に最適なインデックスを作成することができる映像情報印刷装置、映像情報要約方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記した課題を解決し、目的を達成するため、請求項１に記載の発明にかかる映像情報印刷装置は、映像に関する情報を要約すると共に要約された情報を印刷する映像情報印刷装置であって、情報要約時の条件である要約条件および要約情報印刷時の印刷書式を設定する条件設定手段と、前記映像の構造を木構造で表す映像構造インデックスと前記要約条件とに基づいて前記映像に関する情報を要約する映像情報要約手段と、前記映像情報要約手段によって要約された情報を前記印刷書式に基づいて整形する印刷情報整形手段と、前記映像情報要約手段によって要約され、かつ、前記印刷情報整形手段によって整形された情報を印刷物として出力する印刷出力手段と、を備えることを特徴とする。
【００１４】
この請求項１に記載の発明によれば、木構造の映像構造インデックスを利用し、映像に関する情報を要約条件に沿って要約することができる。また、要約した情報を印刷書式に沿って印刷することができる。
【００１５】
請求項２に記載の発明にかかる映像情報印刷装置は、前記要約条件が、前記映像構造インデックスで定義されている前記映像を構成する各セグメントのフレーム画像を代表する代表フレーム群から、前記各代表フレームを集約した参照フレームを抽出するための抽出条件を含むことを特徴とする。
【００１６】
この請求項２に記載の発明によれば、映像構造インデックスを利用して映像をあらわす画像（代表フレーム群）を映像情報から抽出することにより効率的に映像情報を検索し、抽出条件に従って代表フレーム群から参照フレームを抽出することができる。
【００１７】
請求項３に記載の発明にかかる映像情報印刷装置は、前記要約条件と前記印刷書式とを登録する登録手段を備えることを特徴とする。
【００１８】
この請求項３に記載の発明によれば、要約条件と印刷書式とを登録することができ、映像情報印刷のたびに要約条件や印刷書式を入力する必要をなくすことができる。また、オペレータが、映像情報印刷装置に新たな要約条件や印刷書式を記憶させることができる。
【００１９】
請求項４に記載の発明にかかる映像情報印刷装置は、前記映像情報要約手段が、映像から抽出された画像の特徴量を取得する特徴量取得手段と、画像間において、前記特徴量取得手段によって取得された特徴量の差を取得する特徴量差取得手段とを備え、前記特徴量差取得手段によって取得された特徴量の差が所定の値以下である複数の画像を１つの画像で代表することを特徴とする。
【００２０】
この請求項４に記載の発明によれば、抽出された画像を１つの画像で表すことができる。また、特徴量の差が小さい画像を１つの画像で代表することにより、抽出された画像全体に含まれる情報量の低下を抑えることができる。
【００２１】
請求項５に記載の発明にかかる映像情報印刷装置は、前記印刷情報整形手段が、印刷時のレイアウトを複数記憶するレイアウト記憶手段を有し、前記レイアウト記憶手段に記憶されているレイアウトを使用して前記映像情報要約手段によって要約された情報を整形することを特徴とする。
【００２２】
この請求項５に記載の発明によれば、印刷時のレイアウトを予め記憶しておくことができ、印刷のたびにレイアウトを入力する必要をなくすことができる。また、オペレータが、新たなレイアウトを映像情報印刷装置に記憶させることができる。
【００２３】
請求項６に記載の発明にかかる映像情報印刷装置は、前記レイアウト記憶手段が、映像メディアの識別ラベルを対象としたレイアウトを記憶することを特徴とするものである。
【００２４】
この請求項６に記載の発明によれば、要約された映像に関する情報を映像メディアの識別ラベルに最適なレイアウトで印刷することができる。
【００２５】
請求項７に記載の発明にかかる映像情報印刷装置は、さらに、前記印刷情報整形手段によって整形された情報に含まれる画像の映像における位置に関する映像位置情報を前記印刷情報に付す位置情報付加手段を備え、前記印刷出力手段は、前記印刷情報と共に前記映像位置情報を印刷物として出力することを特徴とする。
【００２６】
この請求項７に記載の発明によれば、印刷物中に映像における画像の位置に関する情報を付加することができる。
【００２７】
請求項８に記載の発明にかかる映像情報要約方法は、映像に関する情報を要約すると共に、印刷可能な形式に整形する映像情報要約方法であって、情報要約時の条件である要約条件および要約情報印刷時の印刷書式を設定する条件設定工程と、前記映像の構造を木構造で表す映像構造インデックスと前記要約条件とに基づいて前記映像に関する情報を要約する映像情報要約工程と、前記情報要約工程において要約された情報を前記印刷書式に基づいて整形する印刷情報整形工程と、を含むことを特徴とする。
【００２８】
この請求項８に記載の発明によれば、木構造の映像構造インデックスを利用し、映像に関する情報を要約条件に沿って要約することができる。
【００２９】
請求項９に記載の発明にかかる映像情報要約方法は、前記要約条件が、前記映像構造インデックスで定義されている前記映像を構成する各セグメントのフレーム画像を代表する代表フレーム群から、前記各代表フレームを集約した参照フレームを抽出するための抽出条件を含むことを特徴とする。
【００３０】
この請求項９に記載の発明によれば、映像構造インデックスを利用して映像をあらわす画像（代表フレーム群）を映像情報から抽出することにより効率的に映像情報を検索し、抽出条件に従って代表フレーム群から参照フレームを抽出することができる。
【００３１】
請求項１０に記載の発明にかかる映像情報要約方法は、前記情報要約工程が、映像から抽出された画像の特徴量を取得する特徴量取得工程と、画像間において、前記特徴量取得工程において取得された特徴量の差を取得する特徴量差取得工程とを含み、前記特徴量差取得工程において取得された特徴量の差が所定の値以下である複数の画像を１つの画像で代表することを特徴とする。
【００３２】
この請求項１０に記載の発明によれば、抽出された画像を１つの画像で表すことができる。また、特徴量の差が小さい画像を１つの画像で代表することにより、抽出された画像全体に含まれる情報量の低下を抑えることができる。
【００３３】
請求項１１に記載の発明にかかる記録媒体は、前記請求項８〜１０に記載の映像情報要約方法のいずれか一つをコンピュータに実行させるプログラムを記録することができる。
【００３４】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる映像情報印刷装置の好適な実施の形態を詳細に説明する。なお、本明細書の実施の形態でいう映像の要約とは、構造化された映像に基づいて映像に含まれるフレーム画像を、フレーム画像に付加されている文書と共に抽出する処理をいうものとする。
【００３５】
図１は、本実施の形態の映像情報印刷装置を説明するためのブロック図である。本実施の形態の映像情報印刷装置は、映像（映像情報１０２）を要約して要約情報を作成し、作成された要約情報を印刷する映像情報印刷装置である。
【００３６】
図示した映像情報印刷装置は、映像構造解釈部１０３、入力部１０４、登録部１１１を備えた映像要約生成部１０５、印刷整形部１０６、印刷言語生成部１０７、映像参照フレーム抽出部１０９、バーコード付加部１１０、印刷部１０８を備えている。なお、本実施の形態の映像情報印刷装置で処理される映像は、映像情報（映像本体）１０２と、映像情報１０２に付され、かつ、映像の構造を木構造で表す映像構造インデックス１０１とからなっている。
【００３７】
図２は、本実施の形態の映像情報印刷装置で使用する映像構造インデックス１０１を説明するための図である。映像構造インデックス１０１は、階層的な木構造として構成されている。木構造の階層は、情報の詳細さの度合いによって分けられていて、下位の階層ほど映像に関する詳細な情報を保持している。図示した木構造は、記録メディア全体に対して１つのルート・ディレクトリ２０１を持つ映像管理データを表すものである。
【００３８】
映像構造インデックス１０１は、映像情報１０２を構造化して表すデータである。映像情報１０２の構造化とは、映像情報で表される映像を連続するフレーム画像（動画を分割して作成された画像）としてとらえ、フレーム画像を所定の単位にまとめる処理をいう。構造化によってまとめられた複数のフレーム画像のまとまりは、セグメントとよばれる。映像構造インデックス１０１によれば、各セグメントがどのような画像のまとまりであるかを示す情報を得ることができる。
【００３９】
本実施の形態では、撮影ごとにセグメントを作成し、撮影ごとにまとめられたセグメントをさらにカット・ショット変化点ごとにまとめてセグメントを作成した。カット・ショット変化点とは、映像の記録開始から起算される記録時間、あるいは画像記録数に基づいて配列されたフレーム画像において、隣り合って配列され、かつ特徴量の差が所定の値よりも大きいフレーム画像間に設けられるものである。なお、特徴量としては、例えば以下のものがある。
・カラーヒストグラム
・空間色分布
・空間エッジ分布
・空間テクスチャ分布
・オブジェクト形状
【００４０】
図２中、Ｘは環境情報を示し、Ｙはカメラ情報を表し、Ｚは代表フレームの静止画特徴量をそれぞれ表すものとする。環境情報Ｘとは、撮影時の外部環境に関する情報であって、日時、位置（緯度および経度）、高度、気温、湿度に関する情報を含んでいる。なお、映像構造インデックス１０１を作成する映像構造化装置は、このような情報を取得するための時計（ＧＭＴ時間を標準とする）、ＧＰＳ（Global Positioning System）、気圧センサ、温度センサ、湿度センサを備えている。
【００４１】
また、カメラ情報Ｙとは、あるセグメントに含まれるフレーム画像（動画像を分割して作成された画像）を撮影したときの焦点距離、絞り値、シャッタースピード、ピント合焦距離といった情報を含んでいる。このような情報のうち、焦点距離に関する情報からは、フレーム画像の撮影対象物が風景か、あるいは人物や物といったオブジェクトか、広角撮影かあるいは望遠撮影かといった点ついて推測することができる。また、絞り値に関する情報からは、撮影対象物が風景か、あるいはオブジェクトかといった判断に加えて、撮影場所の明暗についても推測することができる。
【００４２】
また、シャッタースピードに関する情報からは、撮影対象物が静止したものか、あるいは移動しているものかについて、さらに撮影場所の明暗について推測することができる。そして、ピント合焦距離に関する情報からは、映像記録装置のカメラ部分と撮影対象物との距離がおおよそ推測できる。上記した情報を複合的に解釈することにより、例えば、シャッタースピードに関わらず絞り値が低く、合焦距離が近くて焦点距離が遠いこと場合には、オブジェクトを撮影した可能性が高いというような推測ができるようになる。
【００４３】
さらに、静止画特徴量Ｚとは、フレーム画像を静止画像として見た場合の、特徴量を表す情報である。
【００４４】
ルート・ディレクトリ２０１の直下に位置するカット・ショット統括情報２０２Ａ、カット・ショット情報２０３Ａは、映像情報１０２すべてに共通の情報である。さらに、カット・ショット統括情報２０２Ｂは、カット・ショット情報２０３Ａによって管理されるセグメントのカット・ショット変化点に関する統括的な情報である。
【００４５】
図２に示した木構造中には、撮影が進むにつれて作成された撮影ごとのセグメントが２つあって、２つのセグメントにはそれぞれカット・ショット情報２０３Ｂ、２０３Ｃが付されている。また２つのセグメントのいずれにもカメラ情報Ｙが付加されている。
【００４６】
さらに、カット・ショット情報２０３Ｂ、２２０３Ｃが付加されたセグメントの下位には、各セグメントに含まれるカット・ショットセグメントが４つ配置されている。４つのセグメントは、カット・ショット情報２０３Ｂが付加されたセグメントをカット・ショット変化点で分割して作成されたものである。そして、４つのカット・ショットセグメントには、それぞれカット・ショット情報２０３Ｄ、２０３Ｅ、２０３Ｆ、２０３Ｇが配置されている。また、カット・ショット情報２０３Ｃが付加されたセグメントの下位に配置された４つのセグメントには、カット・ショット情報２０３Ｈ、２０３Ｌ、２０３Ｊ、２０３Ｋが付加されている。カット・ショット情報２０３Ｄ〜Ｇ、カット・ショット情報２０３Ｈ〜Ｋには、それぞれカメラ情報Ｙが付加されている。
【００４７】
さらに、カット・ショット情報２０３Ｄ〜Ｇ、カット・ショット情報２０３Ｈ〜Ｋには、各カット・ショット情報が付加されたセグメントに含まれるフレーム画像を代表する代表フレーム（キーフレームともいう）画像の情報（代表フレーム情報）２０４Ａ、２０４Ｂ、２０４Ｃ、２０４Ｄと、代表フレーム情報２０４Ｅ、２０４Ｆ、２０４Ｇ、２０４Ｈとがそれぞれ付加されている。さらに、代表フレーム情報２０４Ａ〜Ｄ、代表フレーム情報２０４Ｅ〜Ｈには、各代表フレームの静止画特徴量Ｚが付加されている。
【００４８】
代表フレーム情報２０４Ａ〜Ｄ、代表フレーム情報２０４Ｅ〜Ｈは、各代表フレームの静止画特徴量Ｚの他、それぞれの代表フレームを説明する文書を含んでいる。代表フレームを説明する文書は、映像構造インデックス１０１の作成時にオペレータによって作成されたもの、あるいは特徴量に応じて自動的に付加されたサンプル文書である。映像構造インデックス１０１においては、各代表フレームを説明する文書を含む代表フレーム情報２０４Ａ〜Ｄ、代表フレーム情報２０４Ｅ〜Ｈとが印刷可能な情報である。
【００４９】
本実施の形態の映像情報印刷装置の入力部１０４は、映像要約生成部１０５による要約に使用される条件である要約条件（図中条件Ａと記す）、印刷整形部１０６による情報の整形に使用される印刷書式（図中条件Ｂと記す）を入力する。入力された要約条件、印刷書式は、映像情報印刷装置に設定される。また、映像構造解釈部１０３は、映像構造インデックス１０１の構造を解釈する。映像要約生成部１０５、映像参照フレーム抽出部は、映像構造解釈部１０３によって解釈された映像構造インデックス１０１と要約条件とに基づいて映像情報１０２を要約する。印刷整形部１０６は、映像要約生成部１０５、映像参照フレーム抽出部１０９が映像情報１０２を要約して生成した情報（映像要約）を印刷書式に基づいて印刷可能な形式にする（整形）。
【００５０】
なお、本実施の形態は、要約条件として映像要約のうちに画像が占める割合および文字が占める割合、要約時の精度、映像参照フレーム抽出部１０９において行われる参照フレーム（印刷されるフレーム画像）の抽出条件、抽出される参照フレームの数を設定する。また、印刷書式として印刷時のレイアウトを設定するものとした。要約条件および印刷書式は、入力部１０４から入力する他、映像要約生成部１０５の登録部１１１に予め登録しておくこともできる。
【００５１】
上記した要約条件のうち、要約時の精度は、木構造の階層を指定することによって設定される。また、参照フレームの抽出条件は、オペレータが入力部１０４に入力したキーワードや画像、あるいは登録部１１１に登録されているキーワードや画像によって設定される。
【００５２】
設定されたキーワードや画像は、映像要約生成部１０５を介して映像参照フレーム抽出部１０９に入力する。映像参照フレーム抽出部１０９は、キーワードに基づいてフレーム画像（本実施の形態では代表フレームを対象にするものとする）を検索し、該当する代表フレームを抽出する。あるいは抽出条件に設定された画像と類似する画像を抽出する。抽出された画像が要約条件の参照フレームの数よりも多い場合、映像参照フレーム抽出部１０９は、図３に示す方法で代表フレームを絞り込む。
【００５３】
すなわち、図３によれば、抽出の初期の段階で代表フレームａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇの７枚が抽出された場合、代表フレームａ〜ｇ間で互いの類似度を比較する。この類似度は、例えば、特徴量によって判別しても良い。類似度の比較の結果、代表フレームａと代表フレームｅとが類似する（例えば特徴量の相違が予め設定されている基準よりも小さい）と判断された場合、映像参照フレーム抽出部１０９は、代表フレームａまたは代表フレームｅの一方だけを残す。残った代表フレームａまたはｅは、代表フレームｈとなる。すなわち、代表フレームｈは、代表フレームａとｅとを代表することになる。同様に、代表フレームｃと代表フレームｆとが類似すると判断された場合、代表フレームｃまたは代表フレームｆの一方だけを残すことによって代表フレームｃ、代表フレームｆを代表フレームｊで代表する。以上の処理により、代表フレームａ〜ｇの７枚は、代表フレームｈ、ｉ、ｊ、ｋ、ｌの５枚に絞り込まれる。
【００５４】
さらに、映像参照フレーム抽出部１０９は、代表フレームｈ〜ｌの５枚に対して代表フレームａ〜ｇに対して行った絞り込みの処理と同様の処理を施し、代表フレームｈ〜ｌの５枚を代表フレームｍ、ｎ、ｏの３枚に絞り込む。３という数値が要約条件として設定された抽出すべき参照フレームの数に合致する場合、映像参照フレーム抽出部１０９は、代表フレームｍ〜ｏを抽出したという情報を映像要約生成部１０５および印刷整形部１０６に出力する。
【００５５】
映像要約生成部１０５は、代表フレームｍ〜ｏと代表フレームｍ〜ｏに付されている文書との量を要約条件として設定された画像が占める割合および文字が占める割合と比較する。代表フレームｍ〜ｏと代表フレームｍ〜ｏに付されている文書との量は、例えば、印刷された画像において抽出された参照フレームが占める面積比と文字が占める面積比とをシミュレーションによって求めるものであっても良い。このとき、要約条件として設定された画像が占める割合および文字が占める割合とは、印刷された画像において画像が占める面積比と文字が占める面積比とによって設定される。
【００５６】
そして、映像要約生成部１０５は、参照フレームとして抽出された代表フレーム（以下、参照フレームと記す）が占める割合と文字が占める割合とが要約条件に一致しなかった場合、参照フレームが占める割合と文字が占める割合とが要約条件に一致するように調整する。この調整は、例えば、抽出された参照フレームを削除してその空間を文字にあてる、あるいは文字で表される情報を削除する方法によって行われる。なお、文字情報を削除する場合、映像要約生成部１０５は、例えば、文字情報を対象にして重要な語句を抽出する。そして、重要な語句が多く含まれている文書ほど重要度が高く、少ない文書ほど重要度が低いと判断し、重要度が低いと判断された文書を優先して削除するようにしても良い。
【００５７】
さらに、映像要約生成部１０５は、以上のようにして割合を調整した参照フレームと文書とに関する情報を印刷整形部１０６に出力する。印刷整形部１０６は、参照フレームと文書とを印刷書式として設定されたレイアウトにしたがって配置し、印刷言語生成部１０７に出力する。また、この際、印刷整形部１０６は、参照フレームに関する情報から参照フレームの映像における位置をバーコード付加部１１０に出力する。バーコード付加部１１０は、参照フレームの映像における位置をバーコードで表す情報に変換し、印刷言語生成部１０７に出力する。なお、参照フレームの映像における位置は、参照フレームが映像を構成するフレーム画像において何番目に位置するか、あるいは参照フレームが映像の再生開始から何時間（分、秒）後に再生されるかで示される時間的位置であっても良い。
【００５８】
図４（ａ）、（ｂ）、（ｃ）は、印刷書式として設定されるレイアウトを例示する図である。図４（ａ）は、画像を主体とする画像主体レイアウトである。また、（ｂ）は、画像と文書とが比較的近い割合で配分された画像・文字混合レイアウトである。また、（ｃ）は、文書を主体とした文字主体レイアウトである。
【００５９】
本実施の形態の映像情報印刷装置は、図４で例示したレイアウトを含む複数のレイアウトを例えば印刷整形部１０６に保存しておく。このとき、本実施の形態では、ビデオテープやＤＶＤといった映像メディアの識別ラベル（付箋紙）を対象としたレイアウトをも印刷整形部１０６に保存しておくものとする。そして、印刷書式の入力時、図示しない表示部にレイアウトの一覧を表示し、オペレータが任意のレイアウトを指定するものとする。また、レイアウトは、予め保存されるものに限るものでなく、オペレータが登録部１１１に登録することも可能である。
【００６０】
レイアウトに沿って印刷整形された参照フォームおよび文書は、印刷整形部１０６から印刷言語生成部１０７に出力される。また、バーコード付加部１１０は、バーコードに変換した参照フレームの映像における位置を印刷言語生成部１０７に出力する。印刷言語生成部１０７は、印刷整形された参照フォームおよび文書とバーコードとを印刷部１０８で使用されている印刷言語に変換して印刷部１０８に出力する。印刷部１０８は、参照フォームおよび文書とバーコードとを同一の用紙上に印刷、出力する。この際、レイアウトにバーコード専用の領域を設けておくようにしても良い。
【００６１】
次に、以上説明した映像情報印刷装置で行われる処理を図５に示すフローチャートを用いて説明する。なお、図５に示した処理は、本発明の一実施の形態の映像情報要約方法を含むものである。図５に示すように、本実施の形態の映像情報印刷装置は、図示しない表示部に要約条件、印刷書式入力を入力する画面を表示することによって要約条件と印刷書式とを入力する（ステップＳ５０１）。
【００６２】
このとき、映像情報印刷装置は、オペレータが登録部１１１に登録されている要約条件（キーワードなど）や印刷書式（レイアウトなど）を指定したか否か判断し（ステップＳ５０２）、登録データが指定された場合には（ステップＳ５０２：Ｙｅｓ）、登録部１１１から登録データを読み出す（ステップＳ５１０）。また、登録データが指定されていない場合には（ステップＳ５０２：Ｎｏ）、映像構造インデックス１０１に基づいて映像情報１０２で表される映像の構造を解釈する（ステップＳ５０３）。
【００６３】
次に、映像情報印刷装置は、映像要約作成サブルーチンを実行する（ステップＳ５０４）。映像要約作成サブルーチンは、映像要約生成部１０５、映像参照フレーム抽出部１０９においてなされる処理である。そして、要約条件にしたがって参照フレームを抽出する処理、抽出された参照フレームに付加されている文書と参照フレームとの割合を調整する処理、参照フレームの映像における位置を特定する処理を含むものである。
【００６４】
次に、映像情報印刷装置は、映像要約サブルーチンの処理によって得られる参照フレームおよび文書を印刷書式に基づいてレイアウトに配置し、参照フレームおよび文書を印刷時の様式に整形する（ステップＳ５０５）。また、参照フレームの位置に関する情報をバーコード付加部１１０でバーコードに変換すると共に参照フレームおよび文書に付加する（ステップＳ５０６）。そして、印刷時の様式に整形された参照フレームおよび文書とバーコードとを印刷部１０８で使用される言語に変換して印刷言語を生成し（ステップＳ５０７）、印刷部１０８で印刷する（ステップＳ５０８）。
【００６５】
さらに、本実施の形態の映像情報印刷装置は、今回使用した要約条件と印刷書式とをオペレータが登録するか否か判断し（ステップＳ５０９）、登録する場合には（ステップＳ５０９：Ｙｅｓ）、要約条件および印刷書式を登録部１１１に登録する（ステップＳ５１１）。また、登録しない場合には（ステップＳ５０９：Ｎｏ）、登録を行うことなく処理を終了する。
【００６６】
なお、本実施の形態で説明した映像情報要約方法は、予め用意されたプログラムをパーソナル・コンピューターやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、伝送媒体としてまたは上記記録媒体を介して、インターネット等のネットワークを介して配布することができる。
【００６７】
以上説明した本実施の形態の映像情報印刷装置は、映像構造インデックスを利用して映像をあらわす画像および文書を映像情報から抽出することにより効率的に映像情報を検索し、参照フレームを抽出することができる。また、参照フレームを説明するための文書を比較的簡易に取得することができる。
【００６８】
また、オペレータが設定した要約条件に沿って映像を要約し、オペレータが設定した印刷書式に沿って印刷することにより、参照フレームおよび文書の選択にユーザの目的や嗜好を反映させることができる。また、参照フレームおよび文書を印刷する際のレイアウトにもユーザの目的や嗜好を反映させることができる。さらに、要約条件や印刷書式をオペレータが登録することにより、任意の要約条件によって抽出された参照フレームおよび文書を任意のレイアウトで印刷することができる。印刷物を映像記録媒体のインデックスに利用すれば、各ユーザにオリジナルのインデックスを作成することができる。
【００６９】
また、本実施の形態の映像情報印刷装置は、映像情報を要約した情報を紙出力することにより、映像情報を紙によって閲覧することができる。また、映像の要約情報を紙によって保存、管理することができるため、例えば料理番組で料理のレシピを保管しておく場合にも便利である。
【００７０】
【発明の効果】
以上説明したように、請求項1に記載の発明は、木構造の映像構造インデックスを利用して映像に関する情報を要約するため、映像の内容を理解するのに充分な情報を得ることができる映像情報印刷装置を提供することができる。また、要約条件に沿って映像に関する情報を要約することができるため、目的に沿った内容の要約の情報を得ることができる映像情報印刷装置を提供することができる。さらに、要約の情報を印刷書式に沿って印刷することができるため、映像の内容を理解するのに充分な情報を紙に出力できる映像情報印刷装置を提供することができる。さらに、インデックスのレイアウトをユーザの要求に応じて決定し、映像記録媒体ケースへの貼付、あるいはファイリングといった使用方法に最適なインデックスを作成することができる映像情報印刷装置を提供することができる。また、実施の形態１に記載の発明は、映像の要約を含む情報を紙によって一覧することができ、映像情報の処理に紙の利便性（場所を問わず閲覧できる、再生装置など特別な装置がなくても閲覧できるなど）を生かすことができる映像情報印刷装置を提供することができる。また、映像を文書に変換できる映像情報印刷装置を提供することができる。
【００７１】
請求項２に記載の発明は、映像構造インデックスを利用して映像をあらわす画像（代表フレーム群）を映像情報から抽出することにより効率的に映像情報を検索し、抽出条件に従って代表フレーム群から参照フレームを抽出することができる映像情報印刷装置を提供することができる。
【００７２】
請求項３に記載の発明は、要約条件と印刷書式とを登録することができるため、映像情報印刷のたびに要約条件および印刷書式を入力する必要がなく操作性の高い映像情報印刷装置を提供することができる。また、オペレータによってユーザの嗜好を反映した要約条件および印刷書式を登録することにより、ユーザの嗜好を反映したインデックスを得ることができる映像情報印刷装置を提供することができる。
【００７３】
請求項４に記載の発明は、抽出された画像を１つの画像で表すことができ、必要な画像の数に合せて抽出された画像を絞り込むことができる。このため、映像を表す情報から任意の数の画像を抽出することができる映像情報印刷装置を提供することができる。
【００７４】
請求項５に記載の発明は、印刷のたびにレイアウトを入力する必要がない操作性の高い映像情報印刷装置を提供することができる。また、オペレータがユーザの嗜好を反映したレイアウトを登録することにより、ユーザの嗜好を反映したレイアウトで印刷されたインデックスを得ることができる映像情報印刷装置を提供することができる。
【００７５】
請求項６に記載の発明は、要約された映像に関する情報を映像メディアの識別ラベルに最適なレイアウトで印刷することができ、映像メディアの識別ラベルに最適な印刷物を得ることができる映像情報印刷装置を提供することができる。
【００７６】
請求項７に記載の発明は、印刷物中に映像における画像の位置に関する情報を付加することができ、画像が示す内容を映像から簡単に検索することができる。このため、映像の加工、編集に便利なインデックスを得ることができる映像情報印刷装置を提供することができる。
【００７７】
請求項８に記載の発明は、木構造の映像構造インデックスを利用して映像に関する情報を要約するため、映像の内容を理解するのに充分な情報を得ることができる映像情報要約方法を提供することができる。また、要約条件に沿って映像に関する情報を要約することができるため、目的に沿った内容の要約の情報を得ることができる映像情報要約方法を提供することができる。
【００７８】
請求項９に記載の発明は、映像構造インデックスを利用して映像をあらわす画像（代表フレーム群）を映像情報から抽出することにより効率的に映像情報を検索し、抽出条件に従って代表フレーム群から参照フレームを抽出することができる映像情報要約方法を提供することができる。
【００７９】
請求項１０に記載の発明は、抽出された画像を１つの画像で表すことができ、必要な画像の数に合せて抽出された画像を絞り込むことができる。このため、映像を表す情報から任意の数の画像を抽出することができる映像情報要約方法を提供することができる。
【００８０】
請求項１１に記載の発明にかかる記録媒体は、前記請求項８〜１０に記載の映像情報要約方法のいずれか一つをコンピュータに実行させるプログラムを記録することができるため、前記請求項８〜１０に記載の映像情報要約方法のいずれか一つをコンピュータに実行させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の映像情報印刷装置を説明するためのブロック図である。
【図２】本発明の一実施の形態の映像情報印刷装置で使用する映像構造インデックスを説明するための図である。
【図３】参照フレームの絞り込みを説明するための図である。
【図４】本発明の一実施の形態で印刷書式として設定されるレイアウトを例示する図である。
【図５】本発明の映像情報要約方法を説明するための図である。
【符号の説明】
１０１  映像構造インデックス
１０２  映像情報
１０３  映像構造解釈部
１０４  入力部
１０５  映像要約生成部
１０６  印刷整形部
１０７  印刷言語生成部
１０８  印刷部
１０９  映像参照フレーム抽出部
１１０  バーコード付加部
１１１  登録部
【図１】
0003831180.tif 000002
【図２】
0003831180.tif 000003
【図３】
0003831180.tif 000004
【図４】
0003831180.tif 000005
【図５】
0003831180.tif 000006