【事件の表示】
　特許第３２０８１１６号「映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法」の請求項１ないし１３に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３２０８１１６号の請求項１ないし１１に係る特許を維持する。
【理　由】
１．訂正の適否
（１）訂正の内容
　特許権者が求めている訂正の要旨は、以下の訂正事項ａないしｊのとおりである。
訂正事項ａ
　特許請求の範囲の請求項１の記載を「【請求項１】　映像情報を解析して作成した映像インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、前記映像インデックス情報は、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報は、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を複数配置したデータ構造であることを特徴とする映像インデックス情報を記録した記録媒体。」と訂正する。
訂正事項ｂ
　特許請求の範囲の請求項４の記載を「【請求項４】　少なくとも複数のフレームを含む映像情報を解析して、前記映像情報とは別に前記映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより前記映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、前記映像インデックス情報は、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報は、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を複数配置し、前記映像インデックス情報のツリー構造および構造要素オブジェクトを用いて前記映像情報を管理することを特徴とする映像インデックス情報を用いた映像情報管理方法。」と訂正する。
訂正事項ｃ
　特許請求の範囲の請求項１１および請求項１２の記載を削除する。
訂正事項ｄ
　特許時の特許請求の範囲の請求項１３の記載を「【請求項１１】　前記映像インデックス情報を前記映像情報と分離して保存することを特徴とする請求項４〜１０記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法。」と訂正する。
訂正事項ｅ
　特許時の特許請求の範囲の請求項１４の記載を「【請求項１２】　音声情報を解析して作成した音声インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、前記音声インデックス情報は、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報は、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置したことを特徴とする音声インデックス情報を記録した記録媒体。」と訂正する。
訂正事項ｆ
　特許時の特許請求の範囲の請求項１５の記載を「【請求項１３】　前記構造要素オブジェクトのうち、少なくとも１種類の構造要素オブジェクトは、その構造要素オブジェクトが直接または間接的に管理する音声の内容を検索するための検索情報を有することを特徴とする請求項１２記載の音声インデックス情報を記録した記録媒体。」と訂正する。
訂正事項ｇ
　特許時の特許請求の範囲の請求項１６の記載を「【請求項１４】　前記構造要素オブジェクトは、それぞれその構造要素オブジェクトが直接または間接的に管理する音声の内容を検索するための検索情報を有することを特徴とする請求項１２記載の音声インデックス情報を記録した記録媒体。」と訂正する。
訂正事項ｈ
　特許時の特許請求の範囲の請求項１７の記載を「【請求項１５】　音声情報を解析して、前記音声情報とは別に前記音声情報を管理するための音声インデックス情報を生成し、生成した音声インデックス情報を参照することにより前記音声情報を管理する音声インデックス情報を用いた音声情報管理方法であって、前記音声インデックス情報は、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報は、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置し、前記音声インデックス情報のツリー構造および構造要素オブジェクトを用いて前記音声情報を管理することを特徴とする音声インデックス情報を用いた音声情報管理方法。」と訂正する。
訂正事項ｉ
　特許時の特許請求の範囲の請求項１８の記載を「【請求項１６】　前記音声インデックス情報を前記音声情報と分離して保存することを特徴とする請求項１５記載の音声インデックス情報を用いた音声情報管理方法。」と訂正する。
訂正事項ｊ
　上記特許請求の範囲の訂正に伴い、この特許請求の範囲の記載と発明の詳細な説明の記載との整合をとるため、【発明の属する技術分野】、【発明が解決しようとする課題】、【課題を解決するための手段】および【発明の効果】の欄を下記のように訂正する。
　（ａ）段落００１７の記載を削除する。
　（ｂ）段落００１８の記載を「【００１８】　本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を記録した記録媒体を提供することを第４の目的とする。」と訂正する。
　（ｃ）段落００１９の記載を「【００１９】　また、本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を用いることにより、音声検索の利便性の向上を図った音声インデックス情報を記録した記録媒体を提供することを第５の目的とする。」と訂正する。
　（ｄ）段落００２０の記載を「【００２０】　また、本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能とし、音声情報の利用・活用を容易にし、音声情報の再現方法の自由度を高め、音声情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することを第６の目的とする。」と訂正する。
　（ｅ）段落００２１の記載を「【００２１】【課題を解決するための手段】　上記第１および第２の目的を達成するために，請求項１に係る映像インデックス情報を記録した記録媒体は、映像情報を解析して作成した映像インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、前記映像インデックス情報が、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を複数配置したデータ構造であるものである。」と訂正する。
　（ｆ）段落００２４の記載を「【００２４】　また、上記第３の目的を達成するために、請求項４に係る映像インデックス情報を用いた映像情報管理方法は、少なくとも複数のフレームを含む映像情報を解析して、前記映像情報とは別に前記映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより前記映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、前記映像インデックス情報が、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を複数配置し、前記映像インデックス情報のツリー構造および構造要素オブジェクトを用いて前記映像情報を管理するものである。」と訂正する。
　（ｇ）段落００３１、００３２の記載を削除する。
　（ｈ）段落００３３の記載を「【００３３】　また、請求項１１に係る映像インデックス情報を用いた映像情報管理方法は、請求項４〜１０記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法において、前記映像インデックス情報を前記映像情報と分離して保存するものである。」と訂正する。
　（ｉ）段落００３４の記載を「【００３４】　また、上記第４および５の目的を達成するために、請求項１２に係る音声インデックス情報を記録した記録媒体は、音声情報を解析して作成した音声インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、前記音声インデックス情報が、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置したものである。」と訂正する。
（ｊ）段落００３５の記載を「【００３５】　また、請求項１３に係る音声インデックス情報を記録した記録媒体は、請求項１２記載の音声インデックス情報を記録した記録媒体において、前記構造要素オブジェクトのうち、少なくとも１種類の構造要素オブジェクトが、その構造要素オブジェクトが直接または間接的に管理する音声の内容を検索するための検索情報を有するものである。」と訂正する。
（ｋ）段落００３６の記載を「【００３６】　また、請求項１４に係る音声インデックス情報を記録した記録媒体は、請求項１２記載の音声インデックス情報を記録した記録媒体において、前記構造要素オブジェクトが、それぞれその構造要素オブジェクトが直接または間接的に管理する音声の内容を検索するための検索情報を有するものである。」と訂正する。
（ｌ）段落００３７の記載を「【００３７】　また、上記第６の目的を達成するために、請求項１５に係る音声インデックス情報を用いた音声情報管理方法は、音声情報を解析して，前記音声情報とは別に前記音声情報を管理するための音声インデックス情報を生成し、生成した音声インデックス情報を参照することにより前記音声情報を管理する音声インデックス情報を用いた音声情報管理方法であって、前記音声インデックス情報が、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置し、前記音声インデックス情報のツリー構造および構造要素オブジェクトを用いて前記音声情報を管理するものである。」と訂正する。
　（ｍ）段落００３８の記載を「【００３８】　また、請求項１６に係る音声インデックス情報を用いた音声情報管理方法は、請求項１５記載の音声インデックス情報を用いた音声情報管理方法において、前記音声インデックス情報を前記音声情報と分離して保存するものである。」と訂正する。
　（ｎ）段落０１５０の記載を「【０１５０】　また、本発明の映像インデックス情報を用いた映像情報管理方法（請求項４〜１７）は、少なくとも複数のフレームを含む映像情報を解析して、映像情報とは別に映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、映像インデックス情報は、映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報であるフレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらにセグメント情報は、そのセグメント情報が管理するフレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、ツリー構造において、１つのセグメント情報の下位に、フレーム情報およびサウンド情報に加えてパッケージ情報を配置し、映像インデックス情報のツリー構造および構造要素オブジェクトを用いて映像情報を管理するため、映像情報の内部の論理構造を表現可能とし、映像情報の利用・活用を容易にし、映像情報の再現方法の自由度を高め、映像情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することができる。また、映像情報の内容にまで踏み込んだ検索や、分類等を行うこともできる。」と訂正する。
　（ｏ）段落０１５１の記載を削除する。
　（ｐ）段落０１５２の記載を「【０１５２】　また、本発明の音声インデックス情報を記録した記録媒体（請求項１２〜１４）は、音声情報の内部の論理構造を表現可能なデータ構造を有すると共に、音声検索の利便性の向上を図った音声インデックス情報を記録した記録媒体を提供することができる。」と訂正する。
　（ｑ）段落０１５３の記載を「【０１５３】　また、本発明の音声インデックス情報を用いた音声情報管理方法（請求項１５、１６）は、音声情報を解析して、音声情報とは別に音声情報を管理するための音声インデックス情報を生成し、生成した音声インデックス情報を参照することにより音声情報を管理する音声インデックス情報を用いた音声情報管理方法であって、音声インデックス情報は、音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報であるサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらにセグメント情報は、そのセグメント情報が管理するサウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、ツリー構造において、１つのセグメント情報の下位に、サウンド情報に加えてパッケージ情報を配置し、音声インデックス情報のツリー構造および構造要素オブジェクトを用いて音声情報を管理するため、音声情報の内部の論理構造を表現可能とし、音声情報の利用・活用を容易にし、音声情報の再現方法の自由度を高め、音声情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することができる。また、音声情報の内容にまで踏み込んだ検索や、分類等を行うこともできる。」と訂正する。
　
（２）訂正の適否
　訂正事項ａは請求項１について、「前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を配置したデータ構造である」と記載されていた構成を、「前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を複数配置したデータ構造である」という構成とするものであり、訂正前の「パッケージ情報を配置」を「パッケージ情報を複数配置」と限定するものである。また、訂正事項ａは特許明細書の段落番号【００６９】ないし【００７０】に記載された事項の範囲内である。したがって訂正事項ａは、特許請求の範囲の減縮に該当し、新規事項の追加に該当せず、また実質的に特許請求の範囲を拡張し、又は変更するものでもない。
　訂正事項ｂの請求項４の訂正についても同様である。
　訂正事項ｃは請求項１１及び請求項１２の記載を削除するものであり、明らかに特許請求の範囲の減縮を目的としたものである。
　また、その他の訂正事項ｄないしｊは、上記訂正事項ａないしｃによる訂正にともなって特許請求の範囲あるいは発明の詳細な説明の記載を整合させるものであって、明りょうでない記載の釈明を目的としたものであり、新規事項の追加に該当せず、また実質的に特許請求の範囲を拡張し、又は変更するものでもない。
　したがって訂正事項ａないしｊは、特許法第１２０条の４第２項及び同条第３項で準用する第１２６条第２項及び第３項の規定に適合するものである。
　よって上記訂正を認める。
　
２．異議申立てについての判断
（１）本件発明
　上記の通り、訂正は認められるから、本件特許の請求項１ないし１１に係る発明は、訂正明細書の特許請求の範囲の請求項１ないし１１に記載された事項により特定されるとおりのものである。（以下、本件特許の請求項１に係る発明を、「本件発明１」という。）
　
（２）取消理由で引用された刊行物に記載された発明
　当審が通知した取消理由通知（特許法２９条第２項違反の２つの理由）に引用された刊行物は以下のとおりである。
　理由１
刊行物１　特開平５−２８２３７９号公報
刊行物２　特開平５−２６５８４１号公報
刊行物３　特開平７−２２５７７０号公報
刊行物４　特開平７−２７２４４５号公報
　上記刊行物１には、「フレーム列をシーンの内容に基づいて編集して作成した階層木１０を蓄積したデータファイル３３であって、前記階層木１０は、フレーム列の識別子５４、開始フレーム番号５５、終了フレーム番号５６を有し、フレーム列の階層構造は親フレーム列の識別子６１と子フレーム列の識別子６２を組みとしたレコードで示されたツリー構造であることを特徴とする動画像情報の蓄積方法」が記載されている。（段落番号【０００６】、【０００９】、【００１３】、【００１９】）
　上記刊行物２には、図２、図３とともに、「各セクションは、キャラクタ（データ）、イメージ、音声、及び動画の各媒体のインデックスで構成される。各インデックスは図３の（ａ）に示すように、メディア種別、対応機器種別、起動プログラム、データ登録位置、各メディアに対する実行の重み付け係数、及び備考から構成される。実データ部には、図３に示すように各セクションの各媒体のインデックスに対応するデータが媒体毎に格納されており、各インデックスのデータ登録位置から実データを読み出すことができる。」と記載されている。（段落番号【００２１】ないし【００２２】）
　上記刊行物３には、図１２と共に、「第２の態様によるデータ構造では、１つのノードの情報を２次記憶上で複数の領域に分割して割り付ける態様である。・・・（中略）・・・ここでのポインタ１２１ｂによって、指示される子ノードの集合１２２と、ポインタ１２１ｃにより指示される属性の集合１２３は、ノード間のリンク情報１２１とは分割されて別の２次記憶の領域に割り付けられる。」と記載されている。（段落番号【００２１】）
　上記刊行物４には、「ここで、ストーリー番号２０８およびプログラム番号２０９について説明する。・・・（中略）・・・この場合、プログラム０、１、２、５、６はストーリーＡとＢとで共用して、ディスク容量を効率的利用を図っている。」と記載されている。（段落番号【００２０】ないし【００２２】）
　
　理由２
刊行物１　特開平７−３０６８６６号公報
刊行物２　特開平５−２６５８４１号公報
刊行物３　特開平４−２３９３７９号公報
刊行物４　特開平９−２３８２９８号公報
刊行物５　特開平８−１１０９１２号公報
刊行物６　特開平７−３１２７４９号公報
　上記刊行物１−６は、各々特許異議申立人沖島和子の提出した甲第１号証ないし甲６号証であり、それぞれ特許異議申立書第７ページないし第１１ページ「証拠の説明」の項の（ａ）−（ｆ）記載の発明が記載されている。
　
（３）判断
（３−１）本件発明１の判断
　本件発明１の、ツリー構造において１つのセグメント情報の下位に、パッケージ情報を複数配置したデータ構造が上記刊行物に示されているかについて検討する。理由１の刊行物４の段落番号【００２１】〜【００２２】には、２つのストーリーを記録することについて記載されているが、該記載はストーリーを複数記録することを示すものであり、パッケージ情報を複数とすることを示唆するものではない。また、当審が通知した取消理由の理由１及び理由２で引用されたその余の刊行物を検討しても、上記データ構造は記載も示唆もされていない。
　したがって、本件発明１は上記各刊行物に記載された発明に基づいて当業者が容易に発明をすることができたものとすることはできない。
（３−２）他の請求項に係る発明の判断
　請求項２ないし請求項３に係る発明は、本件発明１を引用し、本件発明１を更に限定するものである。
　請求項４に係る発明は本件発明１と同様、ツリー構造において１つのセグメント情報の下位に、パッケージ情報を複数配置したデータ構造を有している。
　請求項５ないし請求項１１に係る発明は、請求項４に係る発明を直接的あるいは間接的に引用し、請求項４に係る発明を更に限定するものである。
　したがって、本件特許の請求項２ないし請求項１１に係る発明は、本件発明１と同様の理由で上記各刊行物に記載された発明に基づいて当業者が容易に発明をすることができたものとすることはできない。
　
（４）むすび
　以上のとおりであるから、特許異議申立ての理由及び証拠並びに当審で通知した取消理由によっては、本件発明についての特許を取り消すことはできない。
　
３．結論
　よって、結論のとおり決定する。
【異議決定日】
平成１５年４月２４日（２００３．４．２４）
【訂正の要旨】
▲１▼訂正事項ａ
　特許請求の範囲の請求項１の記載を
　「【請求項１】　映像情報を解析して作成した映像インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、
　前記映像インデックス情報は、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
と訂正する。
▲２▼訂正事項ｂ
　特許請求の範囲の請求項４の記載を
　「【請求項４】　少なくとも複数のフレームを含む映像情報を解析して、前記映像情報とは別に前記映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより前記映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、
　前記映像インデックス情報は、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
　前記映像インデックス情報のツリー構造および構造要素オブジェクトを用いて前記映像情報を管理することを特徴とする映像インデックス情報を用いた映像情報管理方法。」
と訂正する。
▲３▼訂正事項ｃ
　特許請求の範囲の請求項１１および請求項１２の記載を削除する。
▲４▼訂正事項ｄ
　特許時の特許請求の範囲の請求項１３の記載を
　「
【請求項１１】
０
と訂正する。
▲５▼訂正事項ｅ
　特許時の特許請求の範囲の請求項１４の記載を
　「
【請求項１２】
　前記音声インデックス情報は、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置したことを特徴とする音声インデックス情報を記録した記録媒体。」
と訂正する。
▲６▼訂正事項ｆ
　特許時の特許請求の範囲の請求項１５の記載を
　「【
請求項１３
２
と訂正する。
▲７▼訂正事項ｇ
　特許時の特許請求の範囲の請求項１６の記載を
　「【
請求項１４
２
と訂正する。
▲８▼訂正事項ｈ
　特許時の特許請求の範囲の請求項１７の記載を
　「【
請求項１５
　前記音声インデックス情報は、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置し、
　前記音声インデックス情報のツリー構造および構造要素オブジェクトを用いて前記音声情報を管理することを特徴とする音声インデックス情報を用いた音声情報管理方法。」
と訂正する。
▲９▼訂正事項ｉ
　特許時の特許請求の範囲の請求項１８の記載を
　「【
請求項１６
５
と訂正する。
▲１０▼訂正事項ｊ
　上記特許請求の範囲の訂正に伴い、この特許請求の範囲の記載と発明の詳細な説明の記載との整合をとるため、【発明の属する技術分野】、【発明が解決しようとする課題】、【課題を解決するための手段】および【発明の効果】の欄を下記のように訂正する。
（ａ）段落００１７の記載を削除する。
（ｂ）段落００１８の記載を
　「【００１８】
　本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を記録した記録媒体を提供することを第
４
と訂正する。
（ｃ）段落００１９の記載を
　「【００１９】
　また、本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を用いることにより、音声検索の利便性の向上を図った音声インデックス情報を記録した記録媒体を提供することを第
５
と訂正する。
（ｄ）段落００２０の記載を
　「【００２０】
　また、本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能とし、音声情報の利用・活用を容易にし、音声情報の再現方法の自由度を高め、音声情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することを第
６
と訂正する。
（ｅ）段落００２１の記載を
　「【００２１】
　【課題を解決するための手段】
　上記第１および第２の目的を達成するために、請求項１に係る映像インデックス情報を記録した記録媒体は、映像情報を解析して作成した映像インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、前記映像インデックス情報が、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
と訂正する。
（ｆ）段落００２４の記載を
　「【００２４】
　また、上記第３の目的を達成するために、請求項４に係る映像インデックス情報を用いた映像情報管理方法は、少なくとも複数のフレームを含む映像情報を解析して、前記映像情報とは別に前記映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより前記映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、前記映像インデックス情報が、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
と訂正する。
（ｇ）段落００３１、００３２の記載を削除する。
（ｈ）段落００３３の記載を
　「【００３３】
　また、請求項１
１
０
と訂正する。
（ｉ）段落００３４の記載を
　「【００３４】
　また、上記第
４
５
２
と訂正する。
（ｊ）段落００３５の記載を
　「【００３５】
　また、請求項１
３
２
と訂正する。
（ｋ）段落００３６の記載を
　「【００３６】
　また、請求項１
４
２
と訂正する。
（ｌ）段落００３７の記載を
　「【００３７】
　また、上記第
６
５
と訂正する。
（ｍ）段落００３８の記載を
　「【００３８】
　また、請求項１
６
５
と訂正する。
（ｎ）段落０１５０の記載を
　「【０１５０】
　また、本発明の映像インデックス情報を用いた映像情報管理方法（請求項４〜１
１
と訂正する。
（ｏ）段落０１５１の記載を削除する。
（ｐ）段落０１５２の記載を
　「【０１５２】
　また、本発明の音声インデックス情報を記録した記録媒体（請求項１
２
４
と訂正する。
（ｑ）段落０１５３の記載を
　「【０１５３】
　また、本発明の音声インデックス情報を用いた音声情報管理方法（請求項１
５
６
と訂正する。
（５４）【発明の名称】
映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法
（５７）【特許請求の範囲】
　【請求項１】　映像情報を解析して作成した映像インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、
　前記映像インデックス情報は、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
　【請求項２】　前記構造要素オブジェクトのうち、少なくとも１種類の構造要素オブジェクトは、その構造要素オブジェクトが直接または間接的に管理するフレームまたは／および音声の内容を検索するための検索情報を有することを特徴とする請求項１記載の映像インデックス情報を記録した記録媒体。
　【請求項３】　前記構造要素オブジェクトは、それぞれその構造要素オブジェクトが直接または間接的に管理するフレームまたは／および音声の内容を検索するための検索情報を有することを特徴とする請求項１記載の映像インデックス情報を記録した記録媒体。
　【請求項４】　少なくとも複数のフレームを含む映像情報を解析して、前記映像情報とは別に前記映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより前記映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、
　前記映像インデックス情報は、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
　前記映像インデックス情報のツリー構造および構造要素オブジェクトを用いて前記映像情報を管理することを特徴とする映像インデックス情報を用いた映像情報管理方法。
　【請求項５】　前記映像インデックス情報のツリー構造中の特定の構造要素オブジェクトを指定し、該当する構造要素オブジェクトのみを可視または／および可聴することを特徴とする請求項４記載の映像インデックス情報を用いた映像情報管理方法。
　【請求項６】　前記フレーム情報は、ツリー構造中のノードＩＤ、そのフレーム情報で管理する連続するフレームの範囲、および前記映像情報における位置を示すポインタを有していることを特徴とする請求項４または５記載の映像インデックス情報を用いた映像情報管理方法。
　【請求項７】　前記サウンド情報は、ツリー構造中のノードＩＤ、そのサウンド情報で管理する任意の範囲、および前記映像情報における位置を示すポインタを有していることを特徴とする請求項４〜６記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法。
　【請求項８】　前記セグメント情報は、ツリー構造中のノードＩＤ、そのセグメント情報で管理するフレーム情報・サウンド情報・パッケージ情報を特定するための特定情報、および、そのセグメント情報が属する上位のパッケージ情報へのポインタを有していることを特徴とする請求項４〜７記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法。
　【請求項９】　前記パッケージ情報は、ツリー構造中のノードＩＤ、そのパッケージ情報で管理するセグメント情報のリスト、および、そのパッケージ情報が属する上位のセグメント情報へのポインタを有していることを特徴とする請求項４〜８記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法。
　【請求項１０】　さらに前記映像インデックス情報は、そのツリー構造中に任意の属性オブジェクトを配置することが可能であり、前記映像インデックス情報中の全ての構造要素オブジェクトは、前記属性オブジェクトへのポインタを有し、前記属性オブジェクトおよび前記属性オブジェクトへのポインタを用いて、任意の構造要素オブジェクトに対して任意の付加情報を追加することが可能であることを特徴とする請求項４〜９記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法。
　【請求項１１】　
前記映像インデックス情報を前記映像情報と分離して保存することを特徴とする請求項４〜１０記載のいずれか一つの
　【請求項１２】　
音声情報を解析して作成した音声インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、
　前記音声インデックス情報は、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置したことを特徴とする音声インデックス情報を記録した記録媒体。
　【請求項１３】　
前記構造要素オブジェクトのうち、少なくとも１種類の構造要素オブジェクトは、その構造要素オブジェクトが直接または間接的に管理する音声の内容を検索するための検索情報を有することを特徴とする請求項１２記載の音声インデックス情報を記録した記録媒体。
　【請求項１４】　
前記構造要素オブジェクトは、それぞれその構造要素オブジェクトが直接または間接的に管理する音声の内容を検索するための検索情報を有することを特徴とする請求項１２記載の
　【請求項１５】　
音声情報を解析して、前記音声情報とは別に前記音声情報を管理するための音声インデックス情報を生成し、生成した音声インデックス情報を参照することにより前記音声情報を管理する音声インデックス情報を用いた音声情報管理方法であって、
　前記音声インデックス情報は、前記音声情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記サウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、
　さらに前記セグメント情報は、そのセグメント情報が管理する前記サウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、
　前記ツリー構造において、１つのセグメント情報の下位に、前記サウンド情報に加えて前記パッケージ情報を配置し、
　前記音声インデックス情報のツリー構造および構造要素オブジェクトを用いて前記音声情報を管理することを特徴とする音声インデックス情報を用いた音声情報管理方法。
　【請求項１６】　
前記音声インデックス情報を前記音声情報と分離して保存することを特徴とする請求項１５記載の音声インデックス情報を用いた音声情報管理方法。
【発明の詳細な説明】
　【０００１】
　【発明の属する技術分野】
　本発明は、映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法に関し、より詳細には、動画または／および音声の検索、放送情報へのインデックス付与、映像番組の編集・作成、映像情報に対する新たな情報サービスの提供等に利用可能な映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法に関する。
　【０００２】
　【従来の技術】
　近年、コンピュータ関連技術、情報処理技術の発展や、インターネット、イントラネット、エクストラネット等の電子ネットワークの普及に伴って、日常の生活・業務・サービス等で利用される身の回りのあらゆる情報が電子化され、電子情報として伝達されたり、あるいはコンピュータ世界のデータベース等に蓄積されて、利用・活用されている。
　【０００３】
　したがって、電子情報は、その情報がアナログデータであるか、デジタルデータであるかに関わらず、様々な形で利用・活用（例えば、情報の加工・情報の検索・情報の伝達等）されており、この電子情報そのものを利用・活用し易い形式・データ構造で扱う技術が種々提供されている。
　【０００４】
　例えば、電子情報の一つであるテキスト情報は、その論理的な構造を表現するために、ＳＧＭＬ、ＨＴＭＬ、ＸＭＬ等の論理構造を表現する構造タグが定義され、情報を伝達するときに、内容とその論理構造で表現することができるようになっている。このため、テキスト情報を利用・活用する際に、例えば、内部の論理構造を用いて、効率的な検索・適切な要約文の生成・処理速度の高速化等を図ることができる。
　【０００５】
　また、電子情報の一つである画像情報に関しても、静止画や、動画を効率的に蓄積したり、検索したりできる画像ファイリング技術が提供されている。
　【０００６】
　さらに、映像を検索するための従来技術としては、例えば、特開平９−１８４３２号公報『映像音声素材管理検索システム』や、特開平９−５０４３６号公報『映像検索方法』、特開平１０−４０２６０号公報『映像検索方法』が提供されている。
　【０００７】
　【発明が解決しようとする課題】
　しかしながら、上記従来の技術によれば、音声と動画とを有する映像情報に関しては、映像情報の内部の論理構造を表現する方法が提供されていないため、他の情報と比較して映像情報の利用・活用が容易でないという問題点や、映像情報を再現する際の再現方法に制約があるという問題点があった。換言すれば、映像情報の操作性・作業性・取扱性の向上を図れる十分なユーザ・インターフェースの手法が提供されていないという問題点があった。
　【０００８】
　具体的には、例えば、▲１▼映像情報の内部情報に及んだ検索ができないという不具合や、▲２▼目的のシーンを特定するためには、一度映像情報を全て観ることによってマークを付ける等の処理を行わないと頭だしができないという不具合や、▲３▼映像情報の要約（ダイジェスト）を作成するには専門の機器や技術が必要であるという不具合等があった。
　【０００９】
　また、上記映像を検索するための従来の技術によれば、複数の映像情報（例えば、複数の動画コンテンツ）の中から所望の映像（シーン）が含まれる映像情報を検索したり、または１つの映像情報中において所望の映像が含まれる位置（区間）を特定することが可能であるものの、以下の不具合が存在するため、一般化して全ての映像情報に適用することはできないという問題点があった。
　【００１０】
　特開平９−１８４３２号公報『映像音声素材管理検索システム』によれば、放送局や、大量・多量の映像情報を扱う会社・施設等で使用するシステムが前提であり、かつ、検索対象となる映像がニュース番組等のように映像の内容を文字で表現した原稿が存在するものに限られるという不具合があった。
　【００１１】
　また、特開平９−５０４３６号公報『映像検索方法』によれば、各映像情報に対して検索用キーワードが付与されているので、所望の映像情報を示す検索キーワードを入力することにより、検索キーワードと一致する検索用キーワードが付与された映像情報を所望の映像情報として検索することができるものの、検索用キーワードを付与する際に、基本的には対象となる映像情報全体の内容を考慮して検索用キーワードを付与する必要があるため、例えば、１つの映像情報に多数のトピックスが存在する場合や、１つの映像情報の時間が長い場合には、検索用キーワードを選択または決定して付与することが面倒であるという不具合があった。
　【００１２】
　また、特開平１０−４０２６０号公報『映像検索方法』では、検索対象となる映像情報中にテロップ等の文字情報が含まれることが前提であるため、テロップ等を含まない映像情報には適用できないという不具合があった。
　【００１３】
　また、同様に上記従来の技術によれば、音声情報に関しても、音声情報の内部の論理構造を表現する方法が提供されていないため、他の情報と比較して音声情報の利用・活用が容易でないという問題点や、音声情報を再現する際の再現方法に制約があるという問題点があった。換言すれば、音声情報の操作性・作業性・取扱性の向上を図れる十分なユーザ・インターフェースの手法が提供されていないという問題点があった。
　【００１４】
　本発明は上記に鑑みてなされたものであって、映像情報の内部の論理構造を表現可能なデータ構造を有する映像インデックス情報を記録した記録媒体を提供することを第１の目的とする。
　【００１５】
　また、本発明は上記に鑑みてなされたものであって、映像情報の内部の論理構造を表現可能なデータ構造を有する映像インデックス情報を用いることにより、映像検索の利便性の向上を図った映像インデックス情報を記録した記録媒体を提供することを第２の目的とする。
　【００１６】
　また、本発明は上記に鑑みてなされたものであって、映像情報の内部の論理構造を表現可能とし、映像情報の利用・活用を容易にし、映像情報の再現方法の自由度を高め、映像情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することを第３の目的とする。
　【００１８】
　本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を記録した記録媒体を提供することを第
４
　【００１９】
　また、本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を用いることにより、音声検索の利便性の向上を図った音声インデックス情報を記録した記録媒体を提供することを第
５
　【００２０】
　また、本発明は上記に鑑みてなされたものであって、音声情報の内部の論理構造を表現可能とし、音声情報の利用・活用を容易にし、音声情報の再現方法の自由度を高め、音声情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することを第
６
　【００２１】
　【課題を解決するための手段】
　上記第１および第２の目的を達成するために、請求項１に係る映像インデックス情報を記録した記録媒体は、映像情報を解析して作成した映像インデックス情報を記録したコンピュータ読み取り可能な記録媒体であって、前記映像インデックス情報が、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
　【００２２】
　また、請求項２に係る映像インデックス情報を記録した記録媒体は、請求項１記載の映像インデックス情報を記録した記録媒体において、前記構造要素オブジェクトのうち、少なくとも１種類の構造要素オブジェクトが、その構造要素オブジェクトが直接または間接的に管理するフレームまたは／および音声の内容を検索するための検索情報を有するものである。
　【００２３】
　また、請求項３に係る映像インデックス情報を記録した記録媒体は、請求項１記載の映像インデックス情報を記録した記録媒体において、前記構造要素オブジェクトが、それぞれその構造要素オブジェクトが直接または間接的に管理するフレームまたは／および音声の内容を検索するための検索情報を有するものである。
　【００２４】
　また、上記第３の目的を達成するために、請求項４に係る映像インデックス情報を用いた映像情報管理方法は、少なくとも複数のフレームを含む映像情報を解析して、前記映像情報とは別に前記映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより前記映像情報を管理する映像インデックス情報を用いた映像情報管理方法であって、前記映像インデックス情報が、前記映像情報中の任意の連続するフレームを１単位の情報として管理する少なくとも１つのフレーム情報と、前記映像情報中の任意の範囲に対応した音声を１単位の情報として管理する少なくとも１つのサウンド情報と、１単位の情報である前記フレーム情報およびサウンド情報を分類して、所望の意味のある集合として管理する少なくとも１つのセグメント情報と、前記セグメント情報を複数まとめて管理するためのパッケージ情報と、を構造要素オブジェクトとしたツリー構造であり、さらに前記セグメント情報が、そのセグメント情報が管理する前記フレーム情報およびサウンド情報と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、前記ツリー構造において、１つのセグメント情報の下位に、前記フレーム情報およびサウンド情報に加えて前記パッケージ情報を
複数
　【００２５】
　また、請求項５に係る映像インデックス情報を用いた映像情報管理方法は、請求項４記載の映像インデックス情報を用いた映像情報管理方法において、前記映像インデックス情報のツリー構造中の特定の構造要素オブジェクトを指定し、該当する構造要素オブジェクトのみを可視または／および可聴するものである。
　【００２６】
　また、請求項６に係る映像インデックス情報を用いた映像情報管理方法は、請求項４または５記載の映像インデックス情報を用いた映像情報管理方法において、前記フレーム情報が、ツリー構造中のノードＩＤ、そのフレーム情報で管理する連続するフレームの範囲、および前記映像情報における位置を示すポインタを有しているものである。
　【００２７】
　また、請求項７に係る映像インデックス情報を用いた映像情報管理方法は、請求項４〜６記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法において、前記サウンド情報が、ツリー構造中のノードＩＤ、そのサウンド情報で管理する任意の範囲、および前記映像情報における位置を示すポインタを有しているものである。
　【００２８】
　また、請求項８に係る映像インデックス情報を用いた映像情報管理方法は、請求項４〜７記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法において、前記セグメント情報が、ツリー構造中のノードＩＤ、そのセグメント情報で管理するフレーム情報・サウンド情報・パッケージ情報を特定するための特定情報、および、そのセグメント情報が属する上位のパッケージ情報へのポインタを有しているものである。
　【００２９】
　また、請求項９に係る映像インデックス情報を用いた映像情報管理方法は、請求項４〜８記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法において、前記パッケージ情報が、ツリー構造中のノードＩＤ、そのパッケージ情報で管理するセグメント情報のリスト、および、そのパッケージ情報が属する上位のセグメント情報へのポインタを有しているものである。
　【００３０】
　また、請求項１０に係る映像インデックス情報を用いた映像情報管理方法は、請求項４〜９記載のいずれか一つの映像インデックス情報を用いた映像情報管理方法において、さらに前記映像インデックス情報が、そのツリー構造中に任意の属性オブジェクトを配置することが可能であり、前記映像インデックス情報中の全ての構造要素オブジェクトは、前記属性オブジェクトへのポインタを有し、前記属性オブジェクトおよび前記属性オブジェクトへのポインタを用いて、任意の構造要素オブジェクトに対して任意の付加情報を追加することが可能であるものである。
　【００３３】
　また、請求項１
１
０
　【００３４】
　また、上記第
４
５
２
　【００３５】
　また、請求項１
３
２
　【００３６】
　また、請求項１
４
２
　【００３７】
　また、上記第
６
５
　【００３８】
　また、請求項１
６
５
　【００３９】
　【発明の実施の形態】
　以下、本発明の映像インデックス情報を記録した記録媒体、映像インデックス情報を用いた映像情報管理方法、音声インデックス情報を記録した記録媒体および音声インデックス情報を用いた音声情報管理方法について、〔実施の形態１〕〜〔実施の形態３〕の順で、添付の図面を参照して詳細に説明する。
　【００４０】
〔実施の形態１〕
　実施の形態１の映像インデックス情報を用いた映像情報管理方法では、映像情報として、例えば、放送情報、ビデオ情報等のように動画と音声とを含む情報を対象としており、少なくとも複数のフレームを含む映像情報を解析して、映像情報とは別に映像情報を管理するための映像インデックス情報を生成する。この映像インデックス情報は、基本的に後述するフレーム情報、サウンド情報、セグメント情報およびパッケージ情報を構造要素オブジェクトとしたツリー構造で構成されており、この生成した映像インデックス情報のツリー構造および構造要素オブジェクトを用いて映像情報を管理するものである。
　【００４１】
　また、後述するように、ツリー構造中に任意の属性オブジェクトを配置することが可能であり、この属性オブジェクトを用いて、上記構造要素オブジェクトに対応させて必要なデータを保持することができる構成である。なお、この属性オブジェクトとして、各構造要素オブジェクトが直接または間接的に管理するフレームまたは／音声の内容を検索するための検索情報を設定することにより、映像インデックス情報によって構造化された映像情報の詳細な検索を容易に行うことが可能となる。
　【００４２】
　以下、実施の形態１の映像インデックス情報を用いた映像情報管理方法について、
　▲１▼　実施の形態１の映像インデックス情報のデータ構造
　▲２▼　実施の形態１の映像インデックス情報の生成方法
　▲３▼　応用例
の順で詳細に説明する。
　【００４３】
▲１▼　実施の形態１の映像インデックス情報のデータ構造
　図１は、映像インデックス情報のデータ構造を示す説明図である。映像インデックス情報１００は、図示の如く、複数の構造要素オブジェクトを階層化したツリー構造で構成されており、この映像インデックス情報１００そのものを一つのデータ・ファイル（インデックス・ファイル）として取り扱うことができる。したがって、映像インデックス情報１００は、映像情報と一体で保存することも可能であり、また映像情報と分離して保存することも可能である。
　【００４４】
　映像インデックス情報１００の構造要素オブジェクトは、ツリー情報１０１と、フレーム情報１０２（１０２Ａ〜１０２Ｆ）と、サウンド情報１０３（１０３Ａ〜１０３Ｆ）と、セグメント情報１０４（１０４Ａ〜１０４Ｆ）と、パッケージ情報１０５（１０５Ａ〜１０５Ｃ）と、から構成される。
　【００４５】
　ツリー情報１０１は、１つの映像インデックス情報１００のツリー構造の最上位に設定される情報であり、１つの映像情報に関する全ての構造要素オブジェクトがこの下位の層に配置されている。換言すれば、１つの映像インデックス情報１００の入口を宣言する情報である。また、このツリー情報１０１の下位には、映像情報（音声および動画）全体を表す１つのパッケージ情報１０５Ａが配置されており、このパッケージ情報１０５Ａの下には映像情報全体を表す１つのセグメント情報１０４Ａが配置されている。
　【００４６】
　フレーム情報１０２は、映像情報中の任意の連続するフレームを１単位の情報として管理するための情報であり、ツリー構造中のノードＩＤ、そのフレーム情報で管理する連続するフレームの範囲、および映像情報における位置を示すポインタを有している。
　【００４７】
　サウンド情報１０３は、映像情報中の任意の範囲に対応した音声を１単位の情報として管理するための情報であり、ツリー構造中のノードＩＤ、そのサウンド情報で管理する任意の範囲、および映像情報における位置を示すポインタを有している。
　【００４８】
　セグメント情報１０４は、１単位の情報であるフレーム情報１０２およびサウンド情報１０３を分類して、所望の意味のある集合として管理するための情報であると共に、そのセグメント情報１０４が管理するフレーム情報１０２およびサウンド情報１０３と同一の範囲のフレームおよび音声を用いて生成された他のセグメント情報１０４を複数まとめて管理するためのパッケージ情報１０５を管理するための情報である。なお、セグメント情報１０４は、ツリー構造中のノードＩＤ、そのセグメント情報１０４で管理するフレーム情報・サウンド情報・パッケージ情報を特定するための特定情報、および、そのセグメント情報１０４が属する上位のパッケージ情報１０５へのポインタを有している。
　【００４９】
　例えば、図において、セグメント情報１０４Ａは、フレーム情報１０２Ａ、サウンド情報１０３Ａおよびパッケージ情報１０５Ｂを管理するための情報であり、セグメント情報１０４ＡのノードＩＤと、フレーム情報１０２Ａ・サウンド情報１０３Ａ・パッケージ情報１０５Ｂを特定するための特定情報と、そのセグメント情報１０４Ａが属する上位のパッケージ情報１０５Ａへのポインタとを有している。
　【００５０】
　パッケージ情報１０５は、セグメント情報１０４を複数まとめて管理するための情報であり、ツリー構造中のノードＩＤ、そのパッケージ情報１０５で管理するセグメント情報１０４のリスト、および、そのパッケージ情報１０５が属する上位のセグメント情報１０４へのポインタを有している。
　【００５１】
　例えば、図において、パッケージ情報１０５Ｂは、３つのセグメント情報１０４Ｂ〜１０４Ｄをまとめて管理するための情報であり、ツリー構造中のノードＩＤ、そのパッケージ情報１０５Ｂで管理するセグメント情報１０４Ｂ〜１０４Ｃのリスト、および、そのパッケージ情報１０５Ｂが属する上位のセグメント情報１０４Ａへのポインタを有している。
　【００５２】
　なお、上記の如く、映像インデックス情報１００は、各構造要素オブジェクトからなるツリー構造において、１つのセグメント情報１０４の下位に、フレーム情報１０２およびサウンド情報１０３に加えてパッケージ情報１０５を配置することができる。
　【００５３】
　さらに映像インデックス情報１００は、そのツリー構造中に任意の属性オブジェクトを配置することが可能である。また、映像インデックス情報１００中の全ての構造要素オブジェクト（ツリー情報１０１、フレーム情報１０２、サウンド情報１０３、セグメント情報１０４およびパッケージ情報１０５）は、属性オブジェクトへのポインタを有し、属性オブジェクトおよび属性オブジェクトへのポインタを用いて、任意の構造要素オブジェクトに対して任意の付加情報を追加することが可能である。
　【００５４】
　図２は、映像インデックス情報１００のツリー構造中に属性オブジェクトを配置した例を示し、図２では、付加情報の追加を行いたい構造要素オブジェクト（ここでは、パッケージ情報１０５Ａ〜１０５Ｃ）の下層に、属性オブジェクト１０６（属性オブジェクト１０６Ａ〜１０６Ｃ）を配置し、対応する属性オブジェクト１０６へのポインタ１０７をそれぞれの構造要素オブジェクトに設定した例を示している。なお、属性オブジェクト１０６の配置場所は特に限定するものではなく、例えば、ツリー構造中の特定の場所に属性オブジェクト１０６のみを集めて配置し、各構造要素オブジェクトからポインタ１０７を介して対応する属性オブジェクト１０６にリンクさせる構成でも良い。
　【００５５】
▲２▼　実施の形態１の映像インデックス情報の生成方法
　次に、映像情報を解析して映像インデックス情報１００を生成する方法について簡単に説明する。
　【００５６】
　映像インデックス情報１００におけるセグメント情報１０４は、分割された映像（動画および音声）のフレーム連続および音声連続の塊を表し、構造化された映像の１単位の情報として定義できる。１つの長大な映像情報も、はじめは全体をひと塊とみなすことができるので、１つのセグメント情報１０４Ａ（図１参照）として存在する。セグメント情報１０４Ａ以外の他のセグメント情報１０４は、親となるセグメント情報１０４を分割した一部分である。例えば、セグメント情報１０４Ｂ〜１０４Ｄはそれぞれ親となるセグメント情報１０４Ａを分割した一部分であり、セグメント情報１０４Ｅ、１０４Ｆはそれぞれ親となるセグメント情報１０４Ｃを分割した一部分である。
　【００５７】
　また、親となるセグメント情報１０４（例えば、セグメント情報１０４Ｃ）を複数に分割した場合、その分割された一部分であるセグメント情報１０４（ここでは、１０４Ｅ、１０４Ｆ）同士をまとめて管理するものがパッケージ情報１０５であるということができる。
　【００５８】
　実施の形態１において、映像情報を解析して映像インデックス情報１００を生成する場合、先ず、映像情報を解析する必要があるが、この映像情報の解析は、映像情報をどうのような目的で利用・活用するかによって様々な解析方法を適用することができる。例えば、単純に背景色に注目して映像情報を解析する方法や、動きに注目して解析する方法、特定のオブジェクトの存在有無によって解析する方法、単純な時分割によって解析する方法等が考えられる。換言すれば、映像情報の解析は、当該映像情報をどうのような目的で利用・活用するかに基づいて作成されたアルゴリズム（目的に応じたアルゴリズム）を適用して自由に行うことができ、その解析方法は特に限定されるべきではない。さらに付け加えれば、特別な解析アルゴリズムによらず、利用者が直接映像情報を見て、手操作で解析結果を入力する方法でも良い。
　【００５９】
　例えば、背景色に注目して映像情報を解析し、この解析結果を用いて映像インデックス情報１００を生成する方法について説明する。
　【００６０】
　図３（ａ）〜（ｃ）は、ツリーを段階的に２回セグメント分割した場合の、セグメント情報１０４とパッケージ情報１０５との関係を示す説明図である。なお、同図の右側はツリー構造を示し、左側は対応する映像情報の状態をフレームの連続で示したものである。ただし、この映像情報の状態は、説明を分かりやすくするために映像インデックス情報１００中のフレーム情報１０２およびサウンド情報１０３を抽象化（イメージ化）して表したものであり、実際に生の映像情報（オリジナルの映像情報）の状態を示しているものではない。
　【００６１】
　同図（ａ）に示すように、当初は映像情報が全く構造化されていないので、映像インデックス情報１００のツリー構造としては、ツリー情報１０１と、１つのパッケージ情報１０５およびセグメント情報１０４のみが存在する。すなわち、１つの映像インデックス情報１００の入口を宣言するツリー情報１０１の下に、映像情報（音声および動画）全体を表す１つのパッケージ情報１０５Ａが配置されており、このパッケージ情報１０５Ａの下には映像情報全体を表す１つのセグメント情報１０４Ａが配置されている。この状態の映像情報に対して背景色の変化を検出するアルゴリズムを適用し、矢印の部分で映像情報（連続するフレーム）を分割し、同図（ｂ）の状態のツリー構造および映像情報のフレームの状態を生成する。
　【００６２】
　同図（ｂ）に右側は、分割によってセグメント情報１０４Ａの下位に３つのセグメント情報１０４Ｂ〜１０４Ｄが作成され、ツリーが構造化（階層化）されたようすを示している。なお、これらの３つのセグメント情報１０４Ｂ〜１０４Ｄはパッケージ情報１０５Ｂによってまとめられ、セグメント情報１０４Ａで管理されることになる。
　【００６３】
　ここで、先程と同じアルゴリズムでパラメータを細かく設定したものを適用して、さらに同図（ｂ）の左側の矢印で示す部分で映像情報をそれぞれ分割し、同図（ｃ）の状態のツリー構造および映像情報のフレームの状態を生成する。
　【００６４】
　同図（ｃ）の右側に示すように、各セグメント情報１０４Ｂ〜１０４Ｄに対して、下位パッケージ情報１０５Ｃ〜１０５Ｅが作成され、パッケージ情報１０５Ｃに分割されたセグメント情報１０４Ｅ、１０４Ｆが格納され、パッケージ情報１０５Ｄに分割されたセグメント情報１０４Ｇ、１０４Ｈが格納され、パッケージ情報１０５Ｅに分割されたセグメント情報１０４Ｉ、１０４Ｊが格納される。作成されたツリー構造は、背景の変化によるシーン抽出（背景色の変化を検出するアルゴリズム）によって、下位にいくほど細かく構造化されたものとなる。
　【００６５】
　なお、各セグメント情報１０４に対応するフレーム情報１０２およびセグメント情報１０４は、探査モジュールによって検出され、図１で示したようにツリー構造中の対応するセグメント情報１０４の下位に保持される。
　【００６６】
　また、各セグメント情報１０４およびパッケージ情報１０５を生成する際に、属性オブジェクト１０６を用いて、利用・活用する目的に応じて所望の情報を付加情報（例えば，検索情報）として生成し、後で検索等に利用することもできる。具体的は、属性オブジェクト１０６としてテキスト情報を用いて、各構造要素オブジェクトの特徴となるキーワード等を設定し、後にキーワードを用いて検索したり、分類したりすることができる。
　【００６７】
　このようにセグメント情報１０４の分割操作によって、下位にパッケージ情報１０５を作成したり、フレーム情報１０２およびサウンド情報１０３を登録することにより、映像インデックス情報１００の生成を行うことができる。
　【００６８】
　このようにして生成した映像インデックス情報１００が、例えば、図１に示すようなツリー構造として提供されることになる。以上の説明から明らかなように映像インデックス情報１００は、文書（テキスト情報）を章、節、項等で構造化するように、映像をセグメント分割により構造化して表したものであるため、文書でのタイトルのように、分割したセグメント情報１０４およびパッケージ情報１０５を用いて、所望のフレーム情報１０２や、サウンド情報１０３の検索に役立てることができる。また、ツリー構造中の特定の構造要素オブジェクトを指定し、該当する構造要素オブジェクトのみを可視または／および可聴が容易に行える。
　【００６９】
　次に、図４（ａ）〜（ｃ）を参照して、同一の映像情報に異なるアルゴリズムを適用して解析し、映像インデックス情報１００を生成した場合、または同一の映像情報を異なる分割の仕方で分割して、複数のパッケージ情報を生成した場合について説明する。
　【００７０】
　同図（ａ）に示すように、第１のアルゴリズムを適用して、セグメント情報１０４Ａを矢印の部分で３つのセグメント情報１０４Ｂ〜１０４Ｄに分割し、パッケージ情報１０５Ｂを生成する。次に、同図（ｂ）に示すように、第２のアルゴリズムを適用して、セグメント情報１０４Ａを矢印の部分で２つのセグメント情報１０４Ｅ、１０４Ｆに分割してパッケージ情報１０５Ｃを生成すると、映像インデックス情報１００は、同図（ｃ）に示すように、セグメント情報１０４Ａの下位に２つのパッケージ情報１０５Ｂ、１０５Ｃが配置されたツリー構造となる。
　【００７１】
　なお、同図（ａ）と同図（ｂ）の操作は、連続して行っても良く、同一の時間に異なる場所で異なる作業として行っても良い。すなわち、映像インデックス情報１００がツリー構造であり、さらに実際の映像情報を加工するものではないため、同一のセグメント情報１０４に対する操作（換言すれば、該当するセグメント情報１０４の下位のツリー構造の生成）であっても、異なる作業者が異なる場所で同一の時間に行う等、何の制約もなく行うことができる。また、それぞれが生成した映像インデックス情報１００は、同一の映像情報であれば、一つのツリー情報１０１の下にマージして管理することができる。
　【００７２】
　同図（ｃ）の状態も、２つの異なるアルゴリズムを適用して生成した映像インデックス情報１００を１つのツリー情報１０１の下にマージした状態と認識することもできる。
　【００７３】
▲３▼　応用例
　次に、実施の形態１の映像インデックス情報を用いた映像情報管理方法を具体的に実施した場合の応用例について説明する。
　【００７４】
（応用例１）
　図５は、応用例１を示す説明図である。応用例１としては、映像インデックス情報１００と実際の映像情報の分離が可能なことを利用して、テレビ放送等によって映像情報が実際に送信される前に、センター５０１から映像インデックス情報１００をインターネットを介して専用の端末装置５０２に配信する。あるいは、放送予定番組の番組表を専用に放送するチャネルを有する場合には、番組表と共に映像インデックス情報を放送しても良い。
　【００７５】
　端末装置５０２側では、映像インデックス情報１００を用いて録画したい部分のみを選択して、録画予約を行い。実際に映像情報を放送で受信した際に、必要な部分のみを録画することができる。あるいは、映像情報を録画しておき、先に受信した映像インデックス情報１００を用いて、希望の映像の部分のみを再生して観ることもできる。
　【００７６】
（応用例２）
　図６は、応用例２を示す説明図である。応用例２は、映像インデックス情報１００を映像情報の検索ツールに利用した例を示し、複数の映像情報を記憶した映像情報ライブラリィ６０１と、映像情報ライブラリィ６０１の各映像情報に対応した複数の映像インデックス情報を記憶した映像インデックス情報データベース６０２と、映像インデックス情報を用いた専用の映像情報検索ツール６０３と、を用いて、例えば、過去の映像をアーカイブして必要な時に再利用するサービス等がテレビ局等で実際された場合、必要な映像を検索する場合に、タイトルのみの検索だけでなく、映像情報の内容で、『〜が登場し、〜と喋った映像』とか、『このシーンに似ているシーンがある映像』、『この音楽が使われている映像』といったように映像情報の内容の情報に及んだ検索を行うことができる。この場合には予め属性オブジェクト１０６に検索情報としてキーワードを詳細に設定することが望ましいのは勿論である。
　【００７７】
　また、視聴者の趣味を反映した自動録画で、『クリントンの出ているシーン全て』とか、希望した情報のみの収集で『ニュースの株価の情報のみを収録せよ』とか、希望した情報によるチャンネル変更で『尾崎のティーショットになったら見せろ』とか、ダイジェストの作成で『この映画を５分程度でブラウズしたい』等の要望に応えるサービスを提供することも可能となる。
　【００７８】
（応用例３）
　応用例３は、あらかじめ各映像情報に対応させて作成した映像インデックス情報を参照して、複数の映像情報の中から検索条件に一致する所望の映像情報を検索するものである。
　【００７９】
　図７は、応用例３において用いる映像インデックス情報２００のデータ構造を示す説明図である。なお、図１に示した実施の形態１の映像インデックス情報１００と共通の構成は同一の符号を付して説明を省略する。
　【００８０】
　映像インデックス情報２００は、ツリー情報１０１を最上位（入口）とするツリー構造の構造要素オブジェクトとして、フレーム情報１０２と、サウンド情報１０３と、セグメント情報１０４と、パッケージ情報１０５とを有している。
　【００８１】
　なお、構造要素オブジェクトのうち、セグメント情報１０４には、その下位に存在するフレーム情報１０２およびサウンド情報１０３の内容を検索するための検索情報２０１（２０１Ａ〜２０１Ｆ）が付与されている。また、ツリー情報１０１には、映像インデックス情報２００と対応する映像情報（ストリーム全体）の再生時間やフォーマットを示す基本的な情報が含まれており、この情報もまた検索情報として利用される。
　【００８２】
　図８は、応用例３における映像検索処理の概略フローチャートを示す。なお、システムの構成としては、図６に示したように複数の映像情報を記憶した映像情報ライブラリィ６０１と、映像情報ライブラリィ６０１の各映像情報に対応した複数の映像インデックス情報（ここでは、映像インデックス情報２００）を記憶した映像インデックス情報データベース６０２と、映像インデックス情報を用いた専用の映像情報検索ツール６０３と、を用いるものとする。
　【００８３】
　先ず、所望の映像の条件である検索条件と、必要に応じて検索条件を構成する検索項目に対する重み付けを入力する（Ｓ８０１）。あらかじめ異なる複数の映像情報から作成された複数の映像インデックス情報４００を検索して検索条件と一致する検索情報を含む映像インデックス情報を特定し（Ｓ８０２）、特定した映像インデックス情報に対応した映像情報のリストを検索結果として出力する（Ｓ８０３）。
　【００８４】
　次に、上記映像検索処理について、検索条件および検索結果（リスト）の例を挙げて具体的に説明する。検索対象となる映像情報（換言すれば、映像インデックス情報２００）の数は１つ以上幾つでも良いが、ここでは説明を簡単にするために、検索対象として２つの映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）が存在する場合を例として説明する。なお、図９は、２つの映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）に対応する映像インデックス情報２００Ａ、２００Ｂを示すものである。
　【００８５】
　映像インデックス情報２００Ａ、２００Ｂは、それぞれツリー情報の下に１つのパッケージ情報を有し、そのパッケージ情報の下に３つのセグメント情報（および検索情報）が配置され、セグメント情報の下にフレーム情報およびサウンド情報が配置されたツリー構造である。
　【００８６】
　Ｍｏｖｉｅ１を構造化した映像インデックス情報２００Ａには、以下に示すように、検索情報として、ツリー情報に『再生時間、フォーマット』が付加され、他の３つのセグメント情報にはそれぞれ『セグメントの再生区間（再生時間の範囲）、キーフレームＩＤ（代表となるフレーム）、登場人物』が付加されている。
　Ｍｏｖｉｅ１：
　　Ｔｒｅｅ（ツリー情報中の検索情報）
　　　　　再生時間：　００：３０：００
　　　　　フォーマット：　　ＭＰＥＧ２
　　Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報）
　　　　　セグメントの再生区間：　００：００：００−００：１５：００
　　　　　キーフーレームＩＤ：　　０
　　　　　登場人物：　　Ａ，Ｂ
　　Ｓｅｇｍｅｎｔ＃２（セグメント情報の検索情報）
　　　　　セグメントの再生区間：　００：１５：００−００：２０：００
　　　　　キーフーレームＩＤ：　　２７０００
　　　　　登場人物：　　Ａ，Ｃ
　　Ｓｅｇｍｅｎｔ＃３（セグメント情報の検索情報）
　　　　　セグメントの再生区間：　００：２０：００−００：３０：００
　　　　　キーフーレームＩＤ：　　３６０００
　　　　　登場人物：　　Ｃ，Ｂ
　【００８７】
　Ｍｏｖｉｅ２を構造化した映像インデックス情報２００Ｂには、以下に示すように、検索情報として、ツリー情報に『再生時間、フォーマット』が付加され、他の３つのセグメント情報にはそれぞれ『セグメントの再生区間、キーフレームＩＤ（代表となるフレーム）、登場人物』が付加されている。
　Ｍｏｖｉｅ２：
　　Ｔｒｅｅ（ツリー情報中の検索情報）
　　　　　再生時間：　００：１０：００
　　　　　フォーマット：　　ＭＰＥＧ１
　　Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報）
　　　　　セグメントの再生区間：　００：００：００−００：０３：００
　　　　　キーフーレームＩＤ：　　０
　　　　　登場人物：　　Ｄ，Ｅ
　　Ｓｅｇｍｅｎｔ＃２（セグメント情報の検索情報）
　　　　　セグメントの再生区間：　００：０３：００−００：０５：００
　　　　　キーフーレームＩＤ：　　５４００
　　　　　登場人物：　　Ａ，Ｅ
　　Ｓｅｇｍｅｎｔ＃１（セグメント情報の検索情報）
　　　　　セグメントの再生区間：　００：０５：００−００：１０：００
　　　　　キーフーレームＩＤ：　　９０００
　　　　　登場人物：　　Ｃ，Ｅ
　【００８８】
　ただし、映像インデックス情報２００の検索情報は上記の項目に限定するものではなく、例えば、セグメント情報の下位に存在するサウンド情報によって特定される音声中の曲名・曲調・音声の内容等を設定しても良く、フレーム情報によって特定される映像中に存在する特定の物・色・場所・映像の内容等を設定しても良いのは勿論である。
　【００８９】
　次に、所望の映像を検索するための検索条件として、図１０に示すような、それぞれ３つの検索項目を有する条件１〜条件５の検索条件を与えたものとする。なお、これらの検索条件において、再生時間、フォーマット、登場人物の各検索項目の関係は、一般的なブーリアン検索式と同様にＡＮＤ、ＯＲを用いて定義できるものとする。
　【００９０】
　例えば、条件１〜条件５において、各検索項目をそれぞれＡＮＤで検索すると、検索条件は（１）式のようになり、検索結果のリストは図１１に示すようになる。
　　（再生時間）ＡＮＤ（フォーマット）ＡＮＤ（登場人物）　　‥‥‥（１）
　【００９１】
　図１１に示すように、検索結果としては、条件（検索条件）と、該当する検索条件によって検索された結果と、検索された結果に与えられた評価値（スコア）と、検索の際の一致内容とが出力される。例えば、条件１で検索を行うと、Ｍｏｖｉｅ２が検索され、スコアが１（一致内容：登場人物の一致が１回）である。また、条件２で検索を行うと、Ｍｏｖｉｅ１とＭｏｖｉｅ２の２つが検索され、スコアはＭｏｖｉｅ１が２（一致内容：登場人物の一致が２回）で、Ｍｏｖｉｅ２が１（一致内容：登場人物の一致が１回）である。条件２で示すように、該当する映像情報が複数存在する場合は、スコア（評価値）に基づいてランキング順（ここではスコアの大きな順に）に出力する。このようにランキング順に出力することよって、利用者は所望の映像に最も近い映像をランキングから判断することができる。
　【００９２】
　また、条件１〜条件５において、各検索項目をそれぞれＯＲで検索すると、検索条件は（２）式のようになり、検索結果のリストは図１２に示すようになる。
　　（再生時間）ＯＲ（フォーマット）ＯＲ（登場人物）　　　　‥‥‥（２）
　【００９３】
　図１２に示すように、検索結果としては、条件（検索条件）と、該当する検索条件によって検索された結果と、検索された結果に与えられた評価値（スコア）と、検索の際の一致内容とが出力される。例えば、条件３で検索を行うと、Ｍｏｖｉｅ１とＭｏｖｉｅ２の２つが検索され、スコアはＭｏｖｉｅ１が２（一致内容：登場人物の一致が２回）で、Ｍｏｖｉｅ１が１（一致内容：再生時間の一致が１回、登場人物の一致が１回）である。また、条件５で検索を行うと、Ｍｏｖｉｅ２とＭｏｖｉｅ１の２つが検索され、スコアはＭｏｖｉｅ２が３（一致内容：再生時間の一致が１回、フォーマットの一致が１回、登場人物の一致が１回）で、Ｍｏｖｉｅ１が２（一致内容：登場人物の一致が２回）である。ここでも、該当する映像情報が複数存在する場合は、スコア（評価値）に基づいてランキング順（ここではスコアの大きな順に）に出力する。また、ランキング順に出力することに加えて、一致内容を出力するので、利用者は所望の映像に最も近い映像をランキングから判断できると共に、さらに一致内容に基づいて、最も重要な検索項目の一致した映像を選択することができる。
　【００９４】
　さらに、応用例３では、条件１〜５の検索項目に対してそれぞれ独立した重み付けを行うことが可能である。したがって、重要な検索項目に対して重みを付けることにより、利用者の意図する所望の映像を検索し易くすることができる。また、検索結果として出力するリスト上の各映像情報には、検索項目の重み付けに基づいて評価された評価値が付与される。
　【００９５】
　例えば、検索項目の一つである登場人物に２倍の重みをかけ、条件１〜条件５をそれぞれＡＮＤで検索すると、検索結果のリストは図１３に示すようになる。
　【００９６】
　また、検索項目の一つである登場人物に２倍の重みをかけ、条件１〜条件５をそれぞれＯＲで検索すると、検索結果のリストは図１４に示すようになる。
　【００９７】
　検索項目の一つに２倍の重みをかけた図１３および図１４を、検索項目に重みの差を設けていない図１１および図１２と比較すると明らかなように、図１３および図１４では検索結果のリストのスコア（評価値）の値のバラツキが大きくなり、リスト上での比較検討が容易になる。換言すれば、利用者が重要と認識している検索項目をスコア上に反映できるので、より所望の映像を検索し易くなる。
　【００９８】
　具体的には、条件５のスコアのように、図１２ではＭｏｖｉｅ２、Ｍｏｖｉｅ１の順のランキングであったものが、図１４では同一のランキングとなり、利用者の意図がより反映された形となっている。なお、応用例３では検索対象となる映像情報を２つとしたため、ランキングの入れ替わりが分かりにくいが、検索結果として数十の映像（映像情報）がリスト上にランキングされてる場合には、重み付けによるランキングの入れ替わりが大きく、ランキングの上位に適切な映像が配置されることになる。
　【００９９】
　また、重みを大きくすることにより、ランキングを変化させ、所望の映像をランキングの上位に配置することもできる。例えば、登場人物に３倍の重みをかけ、条件１〜条件５をそれぞれＯＲで検索すると、検索結果のリストは図１５に示すようになる。
　【０１００】
　図１５の条件５のスコアを参照すると、図１２ではＭｏｖｉｅ２、Ｍｏｖｉｅ１の順のランキングであったものが、図１４では同一のランキングとなり、図１５ではＭｏｖｉｅ１、Ｍｏｖｉｅ２の順のランキングに入れ替わっているのが分かる。
　【０１０１】
　さらに、応用例３では、映像インデックス情報のセグメント情報に検索情報を付加してあるため、検索結果として出力されるリスト上の各映像情報に対して、検索条件と一致する検索情報を有するセグメント情報に基づいて所望の映像の位置を特定した位置情報を付加して出力することが可能である。
　【０１０２】
　例えば、Ｍｏｖｉｅ２とＭｏｖｉｅ１を検索対象とし、検索条件『登場人物ＡあるいはＥが出演している映像』で検索を行い、検索結果のリストに位置情報（検索条件と一致する検索情報を有するセグメント情報を特定する情報）を付加して出力すると図１６に示すようになる。
　【０１０３】
　図１６では、検索条件に対して、Ｍｏｖｉｅ２、Ｍｏｖｉｅ１の順でランキングされており、さらにＭｏｖｉｅ２の中で検索条件と一致した検索情報を有するセグメント情報を特定するための情報として位置情報が、スコア（セグメントスコア）と共にランキングされて出力されている。これによって、利用者は所望の映像が存在する映像情報（Ｍｏｖｉｅ２）を検索できると共に、位置情報（Ｓｅｇｍｅｎｔ＃２）から映像情報中のどの部分に所望の映像が存在するか容易に知ることができる。このように映像情報を特定し、さらに詳細な位置が判別できるのは、映像インデックス情報のデータ構造によるものである。
　【０１０４】
　前述したように応用例３の映像インデックス情報を用いた映像検索方法によれば、映像情報の内部の論理構造を表現可能なデータ構造を有する映像インデックス情報を用いることにより、映像検索の利便性の向上を図ると共に、全ての映像情報に適用可能な映像検索方法を提供することができる。
　【０１０５】
（応用例４）
　応用例４は、あらかじめ作成した映像インデックス情報を参照して、１つの映像情報の中から検索条件に一致する所望の映像を検索するものである。
　【０１０６】
　換言すれば、応用例４では、後述する映像インデックス情報３００のデータ構造において、所望の映像の条件である検索条件を入力し、映像インデックス情報３００を検索して検索条件と一致する検索情報を含む構造要素オブジェクトを特定し、特定した構造要素オブジェクトのリストを検索結果として出力するものである。
　【０１０７】
　図１７は、応用例４の映像インデックス情報３００のデータ構造を示す説明図である。なお、図１に示した実施の形態１の映像インデックス情報１００と共通の構成は同一の符号を付して説明を省略する。
　【０１０８】
　映像インデックス情報３００は、ツリー情報１０１を最上位（入口）とするツリー構造の構造要素オブジェクトとして、フレーム情報１０２と、サウンド情報１０３と、セグメント情報１０４と、パッケージ情報１０５とを有しており、さらに、各構造要素オブジェクトには、その下位に存在するフレーム情報１０２およびサウンド情報１０３の内容を検索するための検索情報が付与されている。また、ツリー情報１０１には、映像インデックス情報３００と対応する映像情報（ストリーム全体）の再生時間やフォーマットを示す基本的な情報が含まれており、この情報もまた検索情報として利用される。
　【０１０９】
　また、応用例４は、検索条件と共に映像インデックス情報３００のツリー構造中における深さ方向の階層レベルを検索範囲として入力し、映像インデックス情報３００中の検索範囲に存在する構造要素オブジェクトの検索情報のみを検索対象として、検索条件と一致する検索情報を含む構造要素オブジェクトを特定し、特定した構造要素オブジェクトのリストを検索結果として出力できるようにしている。
　【０１１０】
　映像インデックス情報３００のツリー構造中における深さ方向の階層レベルの定義の仕方は、特に限定するものではないが、例えば、図１８に示すように、映像インデックス情報３００中に階層的に存在するパッケージ情報１０５を基準として、先ず、最上位のツリー情報１０１の階層レベルを『０』とし、ツリー情報１０１の直下にぶら下がるパッケージ情報１０５Ａと、パッケージ情報１０５Ａから次のパッケージ情報１０５Ｂの間に存在する構造要素オブジェクト（セグメント情報１０４Ａ、フレーム情報１０２Ａ、サウンド情報１０３Ａ）を階層レベル『１』として、以下同様にパッケージ情報１０５を基準単位として階層レベルを定義しても良い。なお、この場合、例えば、階層レベル『３』が指定されると、階層レベル『０』〜『２』までを含むものとする。
　【０１１１】
　また、図１９に示すように、構造要素オブジェクトを基準として階層レベルを定義しても良い。
　【０１１２】
　このように階層レベルを定義し、検索する範囲を階層レベルで指定可能とすることにより、例えば、検索対象となる映像情報の映像インデックス情報３００が膨大であり、詳細に検索情報が設定されている場合に、階層レベルを指定することで、検索する検索情報の量（範囲）を減らし、検索時間を短縮して検索することが可能となる。逆に、より詳細な検索を行いたい場合には、階層レベルを深くして検索範囲を指定することにより、映像情報中の個々の映像（一部のシーン）にまで及んだ検索を行えるようになる。
　【０１１３】
　さらに、映像インデックス情報３００のデータ構造において、階層レベルを指定して検索可能であることから、逆に、映像インデックス情報３００中に検索情報を設定する場合に、上位の階層レベルで全体の概略に関する検索情報を設定し、下位になる程、詳細な検索情報を設定できるので、検索情報の設定が容易となると共に、結果的に精度の高い検索情報の設定が可能となる。また、映像情報の全体の内容には無関係であるが、ある映像（特定のシーン）の視覚的特徴や、映像中に登場する物等を示す情報を、該当する構造要素オブジェクト（例えば、フレーム情報１０２）の検索情報に設定した場合でも、全体の検索効率や検索精度を低下させることなく、検索を行うことができるようになる。
　【０１１４】
　図２０は、応用例４における映像検索処理の概略フローチャートを示す。なお、システムの構成としては、図６に示したように複数の映像情報を記憶した映像情報ライブラリィ６０１と、映像情報ライブラリィ６０１の各映像情報に対応した複数の映像インデックス情報（ここでは、映像インデックス情報３００）を記憶した映像インデックス情報データベース６０２と、映像インデックス情報を用いた専用の映像情報検索ツール６０３と、を用いるものとする。
　【０１１５】
　先ず、映像検索を行う映像情報を指定し（Ｓ２００１）、所望の映像の条件である検索条件（必要に応じて検索条件を構成する検索項目に対する重み付けする）と、検索範囲として階層レベルを入力する（Ｓ２００２）。例えば、映像情報として、『アメリカの対日政策』というタイトルの番組ビデオを指定し、検索条件として、『クリントン大統領、自動車、円高をキーワードとして、ＯＲ検索で自動車の重みを２倍』を設定し、検索範囲として階層レベル『３』を指定する。
　【０１１６】
　次に、指定された映像情報と対応する映像インデックス情報３００を、指定された検索範囲で検索して、検索条件と一致する検索情報を含む構造要素オブジェクトを特定する（Ｓ２００３）。ここで例えば、検索条件に一致した検索情報を有する４つの構造要素オブジェクトが存在し、それぞれの検索情報の階層レベルおよび内容が以下の通りであるものとする。
　▲１▼　『階層レベル１：クリントン大統領の発言』
　▲２▼　『階層レベル２：円高と貿易摩擦』
　▲３▼　『階層レベル３：円安による自動車産業の被害、クリントン発言』
　▲４▼　『階層レベル３：円高による米国自動車産業の日本向け輸出不振』
　検索範囲として階層レベル３まで指定されているので、上記▲１▼〜▲４▼の４つの構造要素オブジェクトが該当するものとして特定されるが、検索範囲が階層レベル２であれば▲３▼と▲４▼が検索されず、▲１▼と▲２▼の２つの構造要素オブジェクトのみが検索されるのは明らかである。
　【０１１７】
　その後、特定した構造要素オブジェクトのリストを検索結果として出力する（Ｓ２００４）。構造要素オブジェクトのリストは、図２１に示すように、重み付けに基づいてランキング順に出力される。したがって、ランキングに基づいて、利用者は最も相応しい映像（所望の映像）を容易に選択することができる。また、所望の映像が含まれる構造要素オブジェクトを特定するので、構造要素オブジェクトの有する情報から容易に映像情報中の該当する映像を呼び出して確認することができる。
　【０１１８】
　前述したように応用例４によれば、映像情報の内部の論理構造を表現可能なデータ構造を有する映像インデックス情報を用いることにより、映像検索の利便性の向上を図ると共に、全ての映像情報に適用可能な映像検索方法を提供することができる。
　【０１１９】
　このように、実施の形態１の映像インデックス情報を用いた映像情報管理方法によれば、ツリー情報、フレーム情報、サウンド情報、セグメント情報、パッケージ情報を構造要素オブジェクトとしたツリー構造を有する映像インデックス情報を用いて映像情報を管理するので、映像情報の内部の論理構造を表現可能とし、映像情報の利用・活用を容易にし、映像情報の再現方法の自由度を高め、映像情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することができる。
　【０１２０】
　また、実施の形態１では、映像インデックス情報を記録媒体に記録することにより、映像情報の内部の論理構造を表現可能なデータ構造を有する映像インデックス情報を記録した記録媒体を提供することができる。例えば、映像インデックス情報は、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出すことによって様々な利用方法を提供することが可能である。また、この映像インデックス情報は記録媒体を介して配布することもできる。
　【０１２１】
　また、実施の形態１の映像インデックス情報は、どのような映像情報に対しても、特に制約なく、自由に作成することができるので、この映像インデックス情報を用いることにより、映像検索の利便性の向上を図ることができると共に、全ての映像情報の検索に適用できる映像検索方法を提供することが可能となる。
　【０１２２】
〔実施の形態２〕
　実施の形態２の映像インデックス情報を用いた映像情報管理方法は、少なくとも映像情報の内部情報が管理されていることを前提として、映像情報中の内部情報をどのようにたどるかを設定および管理できるようにしたものである。
　【０１２３】
　なお、実施の形態２の映像インデックス情報を用いた映像情報管理方法も、実施の形態１と同様に、少なくとも複数のフレームを含む映像情報を解析して、映像情報とは別に映像情報を管理するための映像インデックス情報を生成し、生成した映像インデックス情報を参照することにより映像情報を管理するものである。
　【０１２４】
　図２２は、実施の形態２の映像インデックス情報４００のデータ構造を示す説明図である。なお、図１に示した実施の形態１の映像インデックス情報１００と共通の構成は同一の符号を付して説明を省略する。
　【０１２５】
　映像インデックス情報４００は、少なくとも映像情報中の任意の連続するフレームの範囲を管理するための複数のセグメント情報１０４と、複数のセグメント情報１０４をどのような順序でたどるかを示すセグメント情報間のリンクリストからなるビュー情報４０１（４０１Ａ〜４０１Ｃ）と、を有している。なお、ここでは、映像インデックス情報４００をツリー構造で示すが特に限定するものではない。
　【０１２６】
　また、ビュー情報４０１Ａ〜４０１Ｃは、複数設定されており、あらかじめ映像情報を構成する複数のセグメント情報１０４の中から、所望の数のセグメント情報１０４を所望の順序でたどるリンクリストを複数（ここでは、３つ）生成し、各々のリンクリストに対応するビュー情報４０１Ａ〜４０１Ｃとして設定する。実施の形態２では、この複数のビュー情報４０１Ａ〜４０１Ｃを有する映像インデックス情報４００を用いて映像情報を管理するものである。
　【０１２７】
　なお、映像インデックス情報４００も、実施の形態１の映像インデックス情報１００と同様に映像情報と分離して保存することも可能である。
　【０１２８】
　ビュー情報４０１は、１つの映像情報をある視点で表現するために、セグメント情報１０４（またはパッケージ情報１０５）のたどりかたをリンクリストとして表現したものである。なお、セグメント情報１０４だけのリンクリスト、パッケージ情報１０５だけのリンクリスト、混在するリンクリストの何れでも表現可能であるが、基本的にはセグメント情報１０４のリンクリストと同一のものである。また、ビュー情報４０１の作成方法については省略するが、専用の作成モジュールによって容易に作成可能である。
　【０１２９】
　次に、図２３を参照して、ビュー情報４０１のリンクリストについて具体的に説明する。ビュー情報４０１のリンクリストの設定の仕方によって、１つのビュー情報４０１で映像情報全体を特定の視点で観たダイジェスト（要約）を作成することもでき、または単純に２つのセグメント情報１０４をつなぐことも自由である。
　【０１３０】
　図において、例えば、映像情報全体をある目的で分割したパッケージ情報Ｂのセグメント情報をおおまかにを再生する場合を例として、リンクリストについて説明する。ここで、このパッケージ情報Ｂは３つのセグメント情報で構成されており、またパッケージ情報Ｂの先頭部分のセグメント情報には、下位パッケージ情報Ｅ、Ｆが存在する。
　【０１３１】
　先ず、パッケージ情報Ｂのみを指定して単純に再生すると、パッケージ情報Ｂ中の３つのセグメント情報Ｂ１〜Ｂ３がそのまま再生される。ここで、リンクリストとして（セグメント情報Ｅ１→Ｅ２→Ｂ２→Ｂ３）を作成すると、図中の（１）に示す順序でセグメント情報が再生される。すなわち、セグメント情報Ｂ１のうち、セグメント情報Ｆ１に相当する部分が再生されないことと同じであり、セグメント情報Ｂ１がおおまかに再生されたことになる。
　【０１３２】
　このようにビュー情報４０１のリンクリストを作成することにより、所望の順序でセグメント情報を指定することができる。
　【０１３３】
　また、リンクリストを（セグメント情報Ｇ１→Ｇ２→Ｇ３→Ｃ３→Ｄ１）として作成すると図中の（２）で示す順序でセグメント情報が再生される。リンクリストを（セグメント情報Ｇ１→Ｇ２→Ｇ３→Ｃ３→Ｉ１→Ｉ２）として作成すると図中の（３）で示す順序でセグメント情報が再生される。
　【０１３４】
　また、セグメント情報そのものを再生することに代えて、各セグメント情報の代表フレーム（例えば、各セグメント情報の先頭の所定時間分のフレーム情報）を再生するようにすると、さらにダイジェスト再生（要約再生）を顕著にすることができる。具体的には、セグメント情報そのものをたどることに代えて、セグメント情報中のフレーム情報をたどる場合を想定するとリンクリストの効果が実感し易い。例えば、図中の（１）の場合、パッケージ情報Ｂは１時間ビデオを２０分ずつの３つのセグメント情報Ｂ１〜Ｂ３に分け、セグメント情報Ｂ１を分けたパッケージ情報Ｅが５分ずつの２つのセグメント情報Ｅ１、Ｅ２で構成され、パッケージ情報Ｆが１０分のセグメント情報Ｆ１で構成されている場合、それぞれのセグメント情報から各１分ずづのフレーム情報を再生することで、内容的に１／５、１／５、１／２０、１／２０の粗さとなり、ダイジェストの意図を反映することができる。
　【０１３５】
　なお、図２３では、リンクリストは、セグメント情報を時系列にたどる例のみを示したが、例えば、リンクリストとして（セグメント情報Ｅ２→Ｇ３→Ｈ２→Ｉ２→Ｄ２）のように飛び飛びにリンクしても良い。また、時系列を無視して、所望の順序でリンクリストを作成しても良い。
　【０１３６】
　また、予め映像情報の内容に応じて、例えば、暴力シーンを除いたセグメント情報のみをリンクしたリンクリストを有するビュー情報や、激写シーンのセグメント情報のみをリンクしたリンクリストを有するビュー情報等のように、利用・活用する目的に応じたビュー情報を複数設定しておき、必要に応じて所望のビュー情報を選択することにより、１つの映像情報（コンテンツ）を多目的な立場から観ることが可能となる。
　【０１３７】
　また、マルチメディア放送等において、製作者側で、映像情報に複数のビュー情報４０１を有する映像インデックス情報４００を付けて、配布することができ、さらに視聴者側では、リンクリストを選択することにより、１つの映像情報（番組）を自分の嗜好にあった観方で観ることができる。
　【０１３８】
　実施の形態２によれば、リンクリストを有するビュー情報を用いるため、映像情報の再現方法の自由度を高めて、映像情報を効率的・効果的に利用・活用できるユーザ・インターフェースの手法を提供することができる。
　【０１３９】
　このように作成した映像インデックス情報４００の複数のビュー情報の中から特定のビュー情報を指定し、指定したビュー情報のリンクリストを用いて映像情報中の一部を可視または／および可聴することができる。
　【０１４０】
〔実施の形態３〕
　実施の形態３の音声インデックス情報を用いた音声情報管理方法は、基本的に実施の形態１の映像インデックス情報を用いた映像情報管理方法における映像インデックス情報１００からフレーム情報１０２を除いたものを音声インデックス情報として定義したものである。なお、対象となる情報が映像情報から音声情報に変わった点以外は、実施の形態１と共通であるため、ここでは異なる部分のみを説明する。
　【０１４１】
　音声インデックス情報は、サウンド情報と、セグメント情報と、パッケージ情報とを構造要素オブジェクトとしたツリー構造である。
　【０１４２】
　また、サウンド情報は、音声情報中の任意の範囲に対応した音声を１単位の情報として管理するものである。セグメント情報は、この１単位の情報であるサウンド情報を分類して、所望の意味のある集合として管理する。パッケージ情報は、セグメント情報を複数まとめて管理する。さらにセグメント情報は、そのセグメント情報が管理するサウンド情報と同一の範囲の音声を用いて生成された他のセグメント情報を複数まとめて管理するためのパッケージ情報を管理し、ツリー構造において、１つのセグメント情報の下位に、サウンド情報に加えてパッケージ情報を配置し、音声インデックス情報のツリー構造および構造要素オブジェクトを用いて音声情報を管理するものである。
　【０１４３】
　この音声インデックス情報は、実施の形態１と同様に音声情報と分離して保存することができる。
　【０１４４】
　このように音声インデックス情報を構成することにより、音声情報の内部の論理構造を表現可能とし、音声情報の利用・活用を容易にし、音声情報の再現方法の自由度を高め、音声情報の操作性・作業性・取扱性の向上を図ったユーザ・インターフェースの手法を提供することができる。
　【０１４５】
　以下に実施の形態３の音声インデックス情報を用いた音声情報管理方法の応用例として、音声インデックス情報を用いた音声検索方法を説明する。以下に説明する音声検索方法においては、基本的に実施の形態１の応用例３または応用例４で説明した映像インデックス情報を用いた映像検索方法における映像インデックス情報２００、３００からフレーム情報１０２を除いたものを音声インデックス情報として定義する。なお、対象となる情報が映像情報から音声情報に変わった点以外は、実施の形態１の応用例３または応用例４と共通であるため、ここでは異なる部分のみを説明する。
　【０１４６】
　音声インデックス情報は、サウンド情報と、セグメント情報と、パッケージ情報とを構造要素オブジェクトとしたツリー構造である。
　【０１４７】
　例えば、『鳥の鳴き声』を収録した音声情報から所望の音声を検索する場合や、複数の音声情報の中から『鳥の鳴き声』を収録した音声情報を検索する場合を想定する。検索条件として『カワセミの鳴き声、せせらぎの音』を入力し、音声インデックス情報を用いて音声検索を行うことにより、実施の形態１の応用例３または応用例４と同様に検索結果（リスト）を出力することができる。
　【０１４８】
　すなわち、実施の形態３の応用例によれば、音声情報の内部の論理構造を表現可能なデータ構造を有する音声インデックス情報を用いることにより、音声検索の利便性の向上を図った音声検索方法を提供することができる。したがって、例えば、音楽ＣＤ等において音声インデックス情報を用いることにより、聞きたい曲の特定の一部分のみを再生したり、楽しい曲・爽やかな曲・賑やかな曲等のように音楽の内容に及んだ検索を行うことも可能となる。
　【０１４９】
　【発明の効果】
　以上説明したように、本発明の映像インデックス情報を記録した記録媒体（請求項１〜３）は、映像情報の内部の論理構造を表現可能なデータ構造を有すると共に、映像検索の利便性の向上を図った映像インデックス情報を記録した記録媒体を提供することができる。
　【０１５０】
　また、本発明の映像インデックス情報を用いた映像情報管理方法（請求項４〜１
１
　【０１５２】
　また、本発明の音声インデックス情報を記録した記録媒体（請求項１
２
４
　【０１５３】
　また、本発明の音声インデックス情報を用いた音声情報管理方法（請求項１
５
６
【図面の簡単な説明】
　【図１】
　実施の形態１の映像インデックス情報を用いた映像情報管理方法における映像インデックス情報のデータ構造を示す説明図である。
　【図２】
　実施の形態１の映像インデックス情報のツリー構造中に属性オブジェクトを配置した例を示す説明図である。
　【図３】
　実施の形態１において映像インデックス情報を生成する方法を示す説明図である。
　【図４】
　実施の形態１において、同一の映像情報に異なるアルゴリズムを適用して解析して映像インデックス情報を生成した場合、または同一の映像情報を異なる分割の仕方で分割して複数のパッケージ情報を生成した場合を示す説明図である。
　【図５】
　実施の形態１の応用例１を示す説明図である。
　【図６】
　実施の形態１の応用例２を示す説明図である。
　【図７】
　実施の形態１の応用例３において用いる映像インデックス情報のデータ構造を示す説明図である。
　【図８】
　実施の形態１の応用例３における映像検索処理の概略フローチャートである。
　【図９】
　実施の形態１の応用例３において、検索対象の例である２つの映像情報（Ｍｏｖｉｅ１、Ｍｏｖｉｅ２）に対応するそれぞれの映像インデックス情報を示す説明図である。
　【図１０】
　実施の形態１の応用例３において、検索条件の例（条件１〜条件５）を示す説明図である。
　【図１１】
　実施の形態１の応用例３において、図１０に示す各条件中の各検索項目をそれぞれＡＮＤで検索した場合の検索結果の一例を示す説明図である。
　【図１２】
　実施の形態１の応用例３において、図１０に示す各条件中の各検索項目をそれぞれＯＲで検索した場合の検索結果の一例を示す説明図である。
　【図１３】
　実施の形態１の応用例３において、図１０に示す各条件中の検索項目の一つに２倍の重みをかけ、各検索項目をそれぞれＡＮＤで検索した場合の検索結果の一例を示す説明図である。
　【図１４】
　実施の形態１の応用例３において、図１０に示す各条件中の検索項目の一つに２倍の重みをかけ、各検索項目をそれぞれＯＲで検索した場合の検索結果の一例を示す説明図である。
　【図１５】
　実施の形態１の応用例３において、図１０に示す各条件中の検索項目の一つに３倍の重みをかけ、各検索項目をそれぞれＯＲで検索した場合の検索結果の一例を示す説明図である。
　【図１６】
　実施の形態１の応用例３において、検索条件と一致した検索情報が存在する位置を示す位置情報を含む検索結果の一例を示す説明図である。
　【図１７】
　実施の形態１の応用例４において用いる映像インデックス情報のデータ構造を示す説明図である。
　【図１８】
　実施の形態１の応用例４において、映像インデックス情報のツリー構造中における深さ方向の階層レベルの定義例を示す説明図である。
　【図１９】
　実施の形態１の応用例４において、映像インデックス情報のツリー構造中における深さ方向の階層レベルの定義例を示す説明図である。
　【図２０】
　実施の形態１の応用例４における映像検索処理の概略フローチャートである。
　【図２１】
　実施の形態１の応用例４において、映像インデックス情報中の構造要素オブジェクトを検索した検索結果の一例を示す説明図である。
　【図２２】
　実施の形態２の映像インデックス情報を用いた映像情報管理方法における映像インデックス情報のデータ構造を示す説明図である。
　【図２３】
　実施の形態２のビュー情報のリンクリストを示す説明図である。
　【符号の説明】
　１００　　映像インデックス情報
　１０２　　ツリー情報
　１０２　　フレーム情報
　１０３　　サウンド情報
　１０４　　セグメント情報
　１０５　　パッケージ情報
　１０６　　属性オブジェクト
　２００　　映像インデックス情報
　２０１　　検索情報
　３００　　映像インデックス情報
　４００　　映像インデックス情報
　４０１　　ビュー情報