(57)【特許請求の範囲】
【請求項１】
映像データと音声データの組み合わせからなるＡＶコンテンツを検索する情報検索装置であって、
各ＡＶコンテンツの音声の特徴量と音声識別コードを連結した音声データベースと、
各ＡＶコンテンツの映像の特徴量と映像識別コードを連結した映像データベースと、
各ＡＶコンテンツの音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルと、
検索対象となるＡＶコンテンツを映像信号と音声信号に分離する分離手段と、
前記分離した音声信号から抽出した特徴量を前記音声データベースと照合して、該当する音声識別コードを抽出する第１の音声データ照合手段と、
前記音声データ検索手段と並行して、前記分離した映像信号から抽出した特徴量を前記映像データベースと照合して、該当する映像識別コードを抽出する第１の映像データ照合手段と、
前記ＡＶコンテンツ・テーブルを参照して、前記第１の音声データ照合手段が抽出した音声識別コードに連結された映像識別コードを抽出するとともに、前記第１の映像データ照合手段が抽出した映像識別コードに連結された音声識別コードを抽出するＡＶコンテンツ・テーブル参照手段と、
前記ＡＶコンテンツ・テーブル参照手段が抽出した音声識別コードが前記第１の音声データ照合手段が前記音声データベースと照合して抽出した音声識別コードと合致するか否かを確認する第２の音声データ照合手段と、
前記ＡＶコンテンツ・テーブル参照手段が抽出した映像識別コードが前記第１の映像データ照合手段が前記映像データベースと照合して抽出した映像識別コードと合致するか否かを確認する第２の映像データ照合手段と、
前記第２の音声データ照合手段又は前記第２の映像データ照合手段のうち早期に確認が得られた結果に基づいて、前記ＡＶコンテンツ・テーブルから該当するＡＶコンテンツを決定するＡＶコンテンツ決定手段と、
を具備することを特徴とする情報検索装置。
【請求項２】
検索対象となるＡＶコンテンツのコンテンツ識別コード取得手段をさらに備え、
該コンテンツ識別コードに対応するＡＶコンテンツに対して優先的に照合を行う、
ことを特徴とする請求項１に記載の情報検索装置。
【請求項３】
コンピュータを用いて映像データと音声データの組み合わせからなるＡＶコンテンツを検索する情報検索方法であって、前記コンピュータは各ＡＶコンテンツの音声の特徴量と音声識別コードを連結した音声データベースと、各ＡＶコンテンツの映像の特徴量と映像識別コードを連結した映像データベースと、各ＡＶコンテンツの音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルを有し、前記情報検索方法は、
前記コンピュータが備える分離手段が、検索対象となるＡＶコンテンツを映像信号と音声信号に分離する分離ステップと、
前記コンピュータが備える第１の音声データ照合手段が、前記分離した音声信号から抽出した特徴量を前記音声データベースと照合して、該当する音声識別コードを抽出する第１の音声データ照合ステップと、
前記コンピュータが備える第１の映像データ照合手段が、前記音声データ検索ステップと並行して、前記分離した映像信号から抽出した特徴量を前記映像データベースと照合して、該当する映像識別コードを抽出する第１の映像データ照合ステップと、
前記コンピュータが備えるＡＶコンテンツ・テーブル参照手段が、前記ＡＶコンテンツ・テーブルを参照して、前記第１の音声データ照合ステップで抽出された音声識別コードに連結された映像識別コードを抽出するとともに、前記第１の映像データ照合ステップで抽出された映像識別コードに連結された音声識別コードを抽出するＡＶコンテンツ・テーブル参照ステップと、
前記コンピュータが備える第２の音声データ照合手段が、前記ＡＶコンテンツ・テーブル参照ステップで抽出された音声識別コードが前記第１の音声データ照合ステップで前記音声データベースと照合して抽出した音声識別コードと合致するか否かを確認する第２の音声データ照合ステップと、
前記コンピュータが備える第２の映像データ照合手段が、前記ＡＶコンテンツ・テーブル参照ステップで抽出された映像識別コードが前記第１の映像データ照合ステップで前記映像データベースと照合して抽出した映像識別コードと合致するか否かを確認する第２の映像データ照合ステップと、
前記コンピュータが備えるＡＶコンテンツ決定手段が、前記第２の音声データ照合ステップ又は前記第２の映像データ照合ステップのうち早期に確認が得られた結果に基づいて、前記ＡＶコンテンツ・テーブルから該当するＡＶコンテンツを決定するＡＶコンテンツ決定ステップと、
を有することを特徴とする情報検索方法。
【請求項４】
前記コンピュータが備えるコンテンツ識別コード取得手段が、検索対象となるＡＶコンテンツのコンテンツ識別コード取得ステップをさらに有し、
該コンテンツ識別コードに対応するＡＶコンテンツに対して優先的に照合を行う、
ことを特徴とする請求項３に記載の情報検索方法。
【請求項５】
映像データと音声データの組み合わせからなるＡＶコンテンツを検索する情報検索処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、
前記コンピュータは各ＡＶコンテンツの音声の特徴量と音声識別コードを連結した音声データベースと、各ＡＶコンテンツの映像の特徴量と映像識別コードを連結した映像データベースと、各ＡＶコンテンツの音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルを有し、
前記コンピュータ・ソフトウェアは、前記コンピュータに、
検索対象となるＡＶコンテンツを映像信号と音声信号に分離する分離ステップと、
前記分離した音声信号から抽出した特徴量を前記音声データベースと照合して、該当する音声識別コードを抽出する第１の音声データ照合ステップと、
前記音声データ検索ステップと並行して、前記分離した映像信号から抽出した特徴量を前記映像データベースと照合して、該当する映像識別コードを抽出する第１の映像データ照合ステップと、
前記ＡＶコンテンツ・テーブルを参照して、前記第１の音声データ照合ステップで抽出された音声識別コードに連結された映像識別コードを抽出するとともに、前記第１の映像データ照合ステップで抽出された映像識別コードに連結された音声識別コードを抽出するＡＶコンテンツ・テーブル参照ステップと、
前記ＡＶコンテンツ・テーブル参照ステップで抽出された音声識別コードが前記第１の音声データ照合手段が前記音声データベースと照合して抽出した音声識別コードと合致するか否かを確認する第２の音声データ照合ステップと、
前記ＡＶコンテンツ・テーブル参照ステップで抽出された映像識別コードが前記第１の映像データ照合手段が前記映像データベースと照合して抽出した映像識別コードと合致するか否かを確認する第２の映像データ照合ステップと、
前記第２の音声データ照合ステップ又は前記第２の映像データ照合ステップのうち早期に確認が得られた結果に基づいて、前記ＡＶコンテンツ・テーブルから該当するＡＶコンテンツを決定するＡＶコンテンツ決定手段と、
を実行させることを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報検索技術に係り、特に、映像との音楽の各データからなるＡＶコンテンツを検索する情報検索技術に関する。
【０００２】
更に詳しくは、本発明は、元データが持つ特徴量に基づくＡＶコンテンツのための情報検索技術に係り、特に、映像と音楽の両方の特徴量を利用してＡＶコンテンツを検索する情報検索技術に関する。
【０００３】
【従来の技術】
昨今、コンピュータ上での演算処理をベースとした情報処理技術が飛躍的に向上している。これに伴い、単なるコンピュータ・データ以外に、映像や音声などの各種のデータ・コンテンツもデジタル化され、コンピュータ・ファイルとして取り扱われるようになってきている。したがって、情報資源の有効活用という観点からも、各種のデータ・コンテンツに関する検索技術は重要度を増している。
【０００４】
あるいは、コンテンツの配信や放送の分野において、コンテンツ使用量に関して従量課金制を導入した場合や、著作権保護の観点からコンテンツの使用を取り締まる場合など、各コンテンツに対して配信又は放送された回数を計数したり監視しなければならない。例えば、いま配信されたコンテンツが何であったかを特定するために、情報検索技術が適用される。
【０００５】
例えば、テキスト形式の比較的小サイズのデータ検索であれば、コンピュータの演算能力に頼ってテキストの一致を基調とする全数検索を行うこともできる。これに対し、映像や音楽データからなるＡＶコンテンツの場合、一般にデータ量が膨大であるため、コンテンツの初めから終わりまで全数検索を行うことは技術的に不可能である。
【０００６】
音楽情報検索として、楽曲データを採譜して検索対象となる楽曲データとの照合（全数検索）を行うものがある。この方法では、楽曲の初めから終わりまでパターン・マッチングを行う。しかしながら、インデックスを使用しない全数検索は、検索速度が遅いという欠点がある。
【０００７】
例えば音楽放送においては、音譜ベースでの比較照合ではなく、信号の特徴抽出による監視が既に実施されている。すなわち、ＩＳＲＣ（International Standard Recording Number）のような楽曲のユニーク・コードと対応させた楽曲の特徴量をあらかじめデータベースに登録しておく。ＩＳＲＣや楽曲の採取には、ＣＤ（Compact Disc）などの既存の記録メディアを利用する。そして、放送を受信してその特徴量とデータベースに登録済みの特徴量とを比較照合して、受信した楽曲のＩＳＲＣを特定する（図６を参照のこと）。
【０００８】
音楽放送で実施されている同一検索を、ＡＶコンテンツにまでそのまま適用範囲を拡張する場合、音声で行うと無音部分では抽出できないという問題がある。例えば、音楽のみのコンテンツに比べ、映画などでは無音部分がかなりあるので、音楽データの特徴抽出に基づく検索には限界がある。
【０００９】
一方、映像だけでＡＶコンテンツを検索することを考えた場合、登場人物がしゃべっているシーンなど映像の内容の変化が少ない部分が多いので、映像データの特徴抽出に基づく検索には限界がある。
【００１０】
また、映画業界においては、同じ映画でも販売先となるそれぞれの国や地域の公用語などに応じた言語対応、すなわち音声の吹き替え処理が行われる。吹き替え処理の結果、音声ベースでのコンテンツ検索を行うと、同じ映画であっても一致しなくなる。
【００１１】
【発明が解決しようとする課題】
本発明の目的は、映像との音楽の各データからなるＡＶコンテンツを高速且つ確実に検索することができる、優れた情報検索装置及び方法を提供することにある。
【００１２】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、映像データと音声データの組み合わせからなるＡＶコンテンツを検索する情報検索装置又は方法であって、
音声の特徴量と音声識別コードを連結した音声データベースと、
映像の特徴量と映像識別コードを連結した映像データベースと、
音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルと、
音声データベースを用いて音声の検索を行う音声データ検索手段又はステップと、
映像データベースを用いて映像の検索を行う映像データ検索手段又はステップと、
前記音声データ検索手段又はステップ、及び、前記映像データ検索手段又はステップにより抽出された音声識別コード及び映像識別コードに基づいて、前記ＡＶコンテンツ・テーブルから該当するＡＶコンテンツを決定するＡＶコンテンツ決定手段又はステップと、
を具備することを特徴とする情報検索装置又は方法である。
【００１３】
本発明に係る情報検索装置又は方法は、音声の特徴量と音声識別コードを連結したデータベースと、映像の特徴量と映像識別コードを連結したデータベースと、音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルを用意する。そして、映像の検索と音声の検索を並行して実行する。
【００１４】
例えば、映像の検索で見つかった場合にその映像識別コードをＡＶコンテンツ・テーブルで参照して、該当する音声識別コードを引き出す。このコードを音声の検索に与えて、照合がとれれば検索は完了する。同様に、音声の検索で見つかった場合にその音声識別コードをＡＶコンテンツ・テーブルで参照して、該当する映像識別コードを引き出す。このコードを映像の検索に与えて、照合がとれれば検索は完了する。
【００１５】
放送系になどでこのような検索を行う場合、マルチパスの影響や、送信・受信回路の歪や圧縮による歪など、系としてある程度の歪を許容しなければならない場合がある。この場合、完全な同一検索では検索不能になるので、特徴量の照合時に、ある程度の判定の許容度を与える必要がある。逆に許容度を与えることによって、ある１つの検索対象に対して複数の検索結果が出現する可能性がある。
【００１６】
検索の高速化を狙った場合、複数の検索結果が出てしまう可能性は必然的に高まる。このような事態を解消するためには、映像と音声の両方を検索対象にして、信頼性を上げるようにすればよい。
【００１７】
映像で検索して先に見つかった場合には、この映像識別コードをＡＶコンテンツ・テーブルを参照して、音声の検索に音声識別コードを与えて照合を図る。また、その逆に、音声で検索して先に見つかった場合に、この音声識別コードをＡＶコンテンツ・テーブルを参照して、映像の検索に映像識別コードを与えて照合を図る。そして、映像及び音声の両方の結果が一致することを見て判断する。映像、音声の検索結果がそれぞれ複数出現する場合には、すべての組み合わせについて判断し、誤差が少ない結果を選択するようにする。
【００１８】
本発明の第１の側面に係る情報検索装置又は方法は、さらに検索対象となるＡＶコンテンツのコンテンツ識別コード取得手段又はステップを備えて、前記音声データ検索手段又はステップ、及び／又は、映像データ検索手段又はステップは、該コンテンツ識別コードに対応するＡＶコンテンツに対して優先的に照合を行うようにしてもよい。
【００１９】
コンテンツを識別する識別コードなどの情報を入手するメカニズムが用意されている場合であって、しかも改竄のおそれがなく入手できる場合には、信号の照合も必要がない。しかし、コンテンツの著作権者は、再生機や記録機をユーザが改竄したりして偽りの識別コードが生成されることを恐れる。そこで、改竄を確認するための信号の照合を行う必要がある。
【００２０】
多くの場合は改竄されていないので、コンテンツ識別コードに対応するコンテンツを優先して照合処理することによって、システム全体の情報検索速度を高速化することができる。
【００２１】
また、前記音声データ検索手段又はステップ、及び／又は、映像データ検索手段又はステップは、明かに相違するＡＶコンテンツに対する照合処理を省略するようにしてもよい。
【００２２】
明かに相違することが容易に分かるＡＶコンテンツに関しては、音声データ検索並びに映像データ検索を行う必要がなく、かかる工程を省略することにより計算機負荷を軽減することができるとともに、より類似するコンテンツに関して誤差を小さくして高精度な照合処理を行うことができる。また、明かに相違するコンテンツに対する余分な照合処理を省くので、システム全体の情報検索速度を高速化することができる。
【００２３】
本発明の第２の側面は、映像データと音声データの組み合わせからなるＡＶコンテンツを検索する情報検索処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
音声の特徴量と音声識別コードを連結した音声データベースを用いて音声の検索を行う音声データ検索ステップと、
映像の特徴量と映像識別コードを連結した映像データベースを用いて映像の検索を行う映像データ検索ステップと、
前記音声データ検索ステップ及び前記映像データ検索ステップにより抽出された音声識別コード及び映像識別コードに基づいて、音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルから該当するＡＶコンテンツを決定するＡＶコンテンツ決定ステップと、
を具備することを特徴とする記憶媒体である。
【００２４】
本発明の第２の側面に係る記憶媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・ソフトウェアをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＣＤ（Compact Disc）やＦＤ（Floppy Disk）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・ソフトウェアを特定のコンピュータ・システムに提供することも技術的に可能である。
【００２５】
このような記憶媒体は、コンピュータ・システム上で所定のコンピュータ・ソフトウェアの機能を実現するための、コンピュータ・ソフトウェアと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第２の側面に係る記憶媒体を介して所定のコンピュータ・ソフトウェアをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報検索装置及び方法と同様の作用効果を得ることができる。
【００２６】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００２７】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００２８】
図１には、本発明の一実施形態に係る情報検索装置１の構成を模式的に示している。以下、同図を参照しながら、情報検索装置１の各コンポーネントについて説明する。
【００２９】
ＣＰＵ（Central Processing Unit）１１は、情報検索装置１全体の動作を統括的に制御する中央コントローラであり、オペレーティング・システム（ＯＳ）が提供するプログラム実行環境下で、メモリ１２に格納された（又はロードされた）制御プログラムや他のメモリ１３に格納された（又はロードされた）一致判別プログラムを実行するようになっている。
【００３０】
ここで言う一致判別プログラムには、映像の特徴値による映像データベースの照合処理、音声の特徴値による音声データーベースの照合処理、映像並びに音声データベースの照合結果に基づくＡＶコンテンツ・テーブルの照合処理などが含まれる。また、制御プログラムには、一致判別結果に基づくＡＶコンテンツの特定処理などのＡＶコンテンツに関する情報検索処理プログラムが含まれる。
【００３１】
ＣＰＵ１１は、バス２２を介して装置１内の各モジュールと相互接続されている。バス２２は、アドレス・バス、データ・バス、コントロール・バスを含んだ共通信号伝送路である。
【００３２】
映像・音声特徴抽出部１４は、ＡＶコンテンツから映像及び音声データへのデマルチプレクス処理、並びに、映像データの特徴抽出処理、音声データの特徴抽出処理を行う。映像・音声特徴抽出部１４によって抽出された映像並びに音声の特徴値は、一致判別プログラムに投入される。
【００３３】
特徴データベース１５は、ＡＶコンテンツに関する照合・情報検索処理に利用されるデータベースで構成される。より具体的には、特徴データベース１５は、音声の特徴量と音声識別コードを連結した音声データベースと、映像の特徴量と映像識別コードを連結した映像データベースと、音声識別コードと映像識別コードを連結したＡＶコンテンツ・テーブルとで構成される。このうち映画に関するＡＶコンテンツ・テーブルの構成例を以下に示しておく。
【００３４】
【表１】
0004736201.tif 000002
【００３５】
上記に示したＡＶコンテンツ・テーブルでは、各レコードは、映画名と、映像識別コードと、音声識別コードと、ＡＶコンテンツ識別コードの組み合わせで構成される。したがって、映像識別コードが判明するとこれにヒットする音声識別コードを絞り込むことができるし、逆に、音声識別コードが判明するとこれにヒットする映像識別コードを絞り込むことができる。また、映像識別コードと音声識別コードの双方を特定すると、このＡＶコンテンツ・テーブルを参照することによってＡＶコンテンツ識別コードすなわちＡＶコンテンツが一意に定まる。
【００３６】
優先照合リスト１６、並びに映像・音声照合リスト１７は、情報検索すなわちＡＶコンテンツの照合処理を行うときの一部の作業データを一時的に保管するために使用される。
【００３７】
優先照合リスト１６は、優先的に照合処理を行うべきＡＶコンテンツをリストするための記憶モジュールである。例えば、外部からコンテンツ識別コードが渡されたＡＶコンテンツに関しては、この識別コードにより照合・検索範囲を限定して処理時間を高速化することができるまで、優先照合リスト１６に登録する。
【００３８】
映像・音声照合リスト１７は、各映像データ及び音声データについてのデータベース照合結果を一時的に保管するために使用される。例えば、映像データが一致するが対応する音声データが一致しない場合は、映像データの照合処理を行う必要がないので、映像照合リストにその旨を記入する。また、逆に音声データが一致するが対応する映像データが一致しない場合は、音声データの照合処理を行う必要がないので、音声照合リストにその旨を記入する。また、音声が明らかに違う場合には、音声照合リストにその旨を記入して高精度の照合処理をスキップさせるようにするし、映像が明らかに違う場合には、映像照合リストにその旨を記入して照合処理をスキップさせるようにする。
【００３９】
情報入力部１８は、外部機器から情報を入力する機能モジュールである。ここで入力される情報には、映像データと音声データがマルチプレクスされたＡＶコンテンツや、そのコンテンツ識別コードなどが含まれる。また、情報を入出力する媒体として、ＬＡＮ（Local Area Network）やインターネットなどのコンピュータ・ネットワーク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの可搬型記録メディアなどを挙げることができる。情報入力部１８を介して外部の装置から供給された情報は、例えば、バッファ・メモリ１９上に一時格納される。
【００４０】
表示部２０は、ＣＰＵ１１による演算結果を画面出力してユーザに対して情報の視覚的なフィードバックを行う。また、ユーザ入力部２１は、例えばキーボードやマウス（いずれも図示しない）などの入力装置で構成され、ユーザからのコマンドやデータの入力を受容する。
【００４１】
なお、情報検索装置１は、例えば一般的な計算機システムを利用して構成することができる。かかる計算機システムの例は、米ＩＢＭ社のＰＣ／ＡＴ（Personal Computer/Advanced Technology）互換機又はその後継機である。
【００４２】
図２には、情報検索装置１上で実行されるＡＶコンテンツの検索処理についての概略的な手順を、フローチャートの形式で示している。以下、このフローチャートを参照しながら、本実施形態に係るＡＶコンテンツの検索処理の流れを概略的に説明する。
【００４３】
まず、検索対象となるＡＶコンテンツをデマルチプレクスして、映像信号と音声信号に分離する（ステップＳ１）。なお、図示しないが、必要に応じて映像信号と音声信号をそれぞれ圧縮を解凍する。
【００４４】
次いで、映像信号と音声信号からそれぞれ特徴量を抽出して、特徴データベース１５にあらかじめ登録された各データと照合して、コンテンツ識別コードを抽出する。ステップＳ２Ａの音声照合とステップＳ２Ｂの映像照合は並行して行う。コンテンツ識別コードは、特徴データベース１５中のＡＶコンテンツ・テーブル（前述）を参照して、音声であればそれに組み合わされる映像の識別コードを抽出し（ステップＳ３Ａ）、映像であればそれに組み合わされる音声の識別コードを抽出する（ステップＳ３Ｂ）。
【００４５】
抽出された音声識別コードは音声照合２（ステップＳ４Ａ）に渡され、そのコンテンツ識別コードに該当する特徴量を音声データベースと照合することで、該当する音声のコンテンツ識別コードを確認あるいは選別する。同様に、抽出された映像識別コードは映像照合２（ステップＳ４Ｂ）に渡され、そのコンテンツ識別コードに該当する特徴量を映像データベースと照合することで、該当する映像のコンテンツ識別コードを確認あるいは選別する。
【００４６】
音声照合２あるいは映像照合２で得られたコンテンツ識別コードのうち早期に得られたものを採用するように決定論理（ステップＳ５）を組むことによって、ＡＶコンテンツの識別の高速化を図ることができる。
【００４７】
［表１］に示したＡＶコンテンツ・テーブルを使用した場合、例えば、映像照合により映像識別コード（４）を抽出してＡＶコンテンツ・テーブルを参照すると、対応する音声識別コードとして（６，７，８）を取り出すことができる。これら音声識別コードを音声照合２に投入して、そこで照合が合致することによってＡＶコンテンツ識別コード（例えば、４−７）が判断される。
【００４８】
伝送系の歪、伝送時のマルチパスや圧縮や記録再生時の歪など、完全な同一検索ではなく、歪に対応するため、ある程度の許容度を照合時に認める場合には、ただ１つの識別コードに対して照合時に２つのコンテンツが対応してしまうことがある。このような場合には、音声照合２と映像照合２が一致した識別コードを採用するように、決定論理を構成して、信頼性の向上を図ることができる。
【００４９】
図２に示したフローチャートにおいて、点線で記したパスを設けて、音声照合２又は映像照合２から識別コードが得られなかった場合には、映像照合又は音声成功空の識別コードを直接利用して、「音声が正常ではないようですが映像から識別コードはＸＸＸＸＸと読めます」、あるいは「映像が正常ではないようですが音声から識別コードはＸＸＸＸＸと読めます」などのユーザ・フィードバックを、表示部２０などを介して行うようにしてもよい。
【００５０】
図３には、本実施形態に係る情報検索装置１上で実行されるＡＶコンテンツの検索処理の具体的な手順の一例を、フローチャートの形式で示している。同図に示す処理手順は、照合に誤差を許容しない場合の例である。
【００５１】
まず、検索対象となるＡＶコンテンツをデマルチプレクスして、映像信号と音声信号に分離する（ステップＳ１１）。なお、図示しないが、必要に応じて映像信号と音声信号をそれぞれ圧縮を解凍する。
【００５２】
次いで、映像信号と音声信号からそれぞれ特徴量を抽出する（ステップＳ１２）。そして、映像並びに音声それぞれの特徴値を特徴データベース１５にあらかじめ登録された各データと照合して（ステップＳ１３）、一致するか否かを判断する（ステップＳ１４）。映像及び音声の照合の速度はコンテンツによって区々である。本実施形態では、映像及び音声の照合処理をそれぞれベストエフォートで同時並行的に実行する。
【００５３】
映像並びに音声のいずれについても一致を見出せなかった場合には（ステップＳ１４）、特徴データベース中の次のコンテンツに進んで（ステップＳ２０）、同様に映像・音声の特徴量の照合を繰り返し実行する。そして、特徴データベース中で一致するコンテンツが見つからなかった場合には、該当コンテンツがない旨の表示を表示部２０から出力してユーザに通知し（ステップＳ２１）、本処理ルーチン全体を終了する。
【００５４】
映像について一致するデータが見つかった場合（ステップＳ１５）、音声照合リストを参照して、この映像データに対応する音声について、一致するものがあったか否かを判別する（ステップＳ１８）。対応音声について一致するものがない場合には、映像照合リスト中に当該映像は一致しない旨を記録した後（ステップＳ１９）、ステップＳ１３に復帰して、対応映像のコンテンツにジャンプして、映像の特徴データベースと比較照合する。
【００５５】
また、音声について一致するデータが見つかった場合（ステップＳ１５）、映像照合リストを参照して、この音声データに対応する映像について、一致するものがあったか否かを判別する（ステップＳ１６）。対応映像については一致するものがない場合には、音声照合リスト中に当該音声は一致しない旨を記録した後（ステップＳ１７）、ステップＳ１３に復帰して、対応音声のコンテンツにジャンプして、音声の特徴データベースと比較照合する。
【００５６】
判断ブロックＳ１６又はＳ１８の結果、映像及び音声について一致するＡＶコンテンツが見つかった場合、そのコンテンツ識別コードを検索結果として出力して、本処理ルーチン全体を終了する。
【００５７】
また、図４には、本実施形態に係る情報検索装置１上で実行されるＡＶコンテンツの検索処理の具体的な手順の他の例を、フローチャートの形式で示している。同図に示す処理手順は、何らかの手段により与えられたコンテンツ識別コードを利用して検索し、照合に誤差を許容しない場合の例である。
【００５８】
まず、何らかの手段により、検索対象となるＡＶコンテンツのコンテンツ識別コードを取得して（ステップＳ３１）、これを優先照合リスト１６に登録する（ステップＳ３２）。本実施形態に係る情報検索装置１は、例えば検索対象としてのＡＶコンテンツを絶え間なく入力し続けるような場合、優先照合リスト１６に登録されたＡＶコンテンツを優先的に照合処理する。
【００５９】
次いで、優先照合リスト１６に登録された最優先のコンテンツ識別コードに対応するＡＶコンテンツをデマルチプレクスして、映像信号と音声信号に分離する（ステップＳ３３）。なお、図示しないが、必要に応じて映像信号と音声信号をそれぞれ圧縮を解凍する。
【００６０】
次いで、映像信号と音声信号からそれぞれ特徴量を抽出する（ステップＳ３４）。そして、映像並びに音声それぞれの特徴値を特徴データベース１５にあらかじめ登録された各データと照合して（ステップＳ３５）、一致するか否かを判断する（ステップＳ３６）。映像及び音声の照合の速度はコンテンツによって区々である。本実施形態では、映像及び音声の照合処理をそれぞれベストエフォートで同時並行的に実行する。
【００６１】
映像並びに音声のいずれについても一致を見出せなかった場合には（ステップＳ３６）、特徴データベース中の次のコンテンツに進んで（ステップＳ４２）、同様に映像・音声の特徴量の照合を繰り返し実行する。そして、特徴データベース中で一致するコンテンツが見つからなかった場合には、該当コンテンツがない旨の表示を表示部２０から出力してユーザに通知し（ステップＳ４３）、本処理ルーチン全体を終了する。
【００６２】
映像について一致するデータが見つかった場合（ステップＳ３７）、音声照合リストを参照して、この映像データに対応する音声について、一致するものがあったか否かを判別する（ステップＳ４０）。対応音声について一致するものがないない場合には、映像照合リスト中に当該映像は一致しない旨を記録した後（ステップＳ４１）、ステップＳ３５に復帰して、対応映像のコンテンツにジャンプして、映像の特徴データベースと比較照合する。
【００６３】
また、音声について一致するデータが見つかった場合（ステップＳ３７）、映像照合リストを参照して、この音声データに対応する映像について、一致するものがあったか否かを判別する（ステップＳ３８）。対応映像については一致するものがない場合には、音声照合リスト中に当該音声は一致しない旨を記録した後（ステップＳ３９）、ステップＳ３５に復帰して、対応音声のコンテンツにジャンプして、音声の特徴データベースと比較照合する。
【００６４】
判断ブロックＳ３８又はＳ４０の結果、映像及び音声について一致するＡＶコンテンツが見つかった場合、そのコンテンツ識別コードを検索結果として出力して、本処理ルーチン全体を終了する。
【００６５】
検索対象となるＡＶコンテンツのコンテンツＩＤを改竄のおそれなく入手できる場合、信号の照合も必要ない。しかしながら、コンテンツの著作権者は、再生機や記録機を改造したりして偽りのＩＤが作られることをおそれる。そこで、その改竄を確認するため、信号の照合を行う必要がある。多くの場合は改竄されていないので、上述したように優先照合リスト１６中のコンテンツを優先して照合して、一致していればそれでコンテンツ検索を終了することができるので、検索速度を大幅に高速化することができる。
【００６６】
また、図５には、本実施形態に係る情報検索装置１上で実行されるＡＶコンテンツの検索処理の具体的な手順の他の例を、フローチャートの形式で示している。同図に示す処理手順は、特徴データベースに登録されたＡＶコンテンツのうち検索対象となるＡＶコンテンツとは明らかに相違するものを除外して照合処理することにより、高速化を図った例である。
【００６７】
まず、検索対象となるＡＶコンテンツをデマルチプレクスして、映像信号と音声信号に分離する（ステップＳ５１）。なお、図示しないが、必要に応じて映像信号と音声信号をそれぞれ圧縮を解凍する。
【００６８】
次いで、映像信号と音声信号からそれぞれ特徴量を抽出する（ステップＳ５２）。そして、映像並びに音声それぞれの特徴値を特徴データベース１５にあらかじめ登録された各データと照合して（ステップＳ５３）、検索対象となるＡＶコンテンツとは明らかに相違するか否かを判断する（ステップＳ５４）。映像及び音声の照合の速度はコンテンツによって区々である。本実施形態では、映像及び音声の照合処理をそれぞれベストエフォートで同時並行的に実行する。ここでは、コンテンツの相違を検証することのみを目的とするので、ステップＳ５３では比較的大きな誤差を認めた照合処理を行えばよい。
【００６９】
ステップＳ５４において、明らかに相違すると判断された場合、映像又は音声のうちいずれが明らかに相違するかをさらに判別する（ステップＳ５５）。
【００７０】
映像に関して明らかに相違する場合には、映像照合リスト中に当該映像は一致しない旨を記録した後（ステップＳ５６）、ステップＳ５３に復帰して、対応映像の照合処理をスキップする。
【００７１】
また、音声に関して明らかに相違する場合には、音声照合リスト中に当該音声は一致しない旨を記録した後（ステップＳ５７）、ステップＳ５３に復帰して、対応音声の照合処理をスキップする。
【００７２】
検索対象となるＡＶコンテンツと明らかに相違する訳ではない場合には、特徴データベース中の次のコンテンツに進んで（ステップＳ５８）、同様に検索対象となるＡＶコンテンツと明らかに相違しないか否かを判別する処理を繰り返し実行する。
【００７３】
特徴データベース中のすべてのデータについて、検索対象となるＡＶコンテンツとの相違を検証した後、映像並びに音声それぞれの特徴値を特徴データベース１５にあらかじめ登録された各データと照合して（ステップＳ５９）、検索対象となるＡＶコンテンツとは相違するか否かを判断する（ステップＳ６０）。映像及び音声の照合の速度はコンテンツによって区々である。本実施形態では、映像及び音声の照合処理をそれぞれベストエフォートで同時並行的に実行する。ここでは、データの絞込みを目的とするので、ステップＳ５９では先行ステップＳ５３よりも誤差を小さくした照合処理を行う。
【００７４】
ステップＳ６０において、相違すると判断された場合、映像又は音声のうちいずれが相違するかをさらに判別する（ステップＳ６１）。
【００７５】
映像に関して相違する場合には、映像照合リスト中に当該映像は一致しない旨を記録した後（ステップＳ６２）、ステップＳ５９に復帰して、対応映像の照合処理をスキップする。
【００７６】
また、音声に関して相違する場合には、音声照合リスト中に当該音声は一致しない旨を記録した後（ステップＳ６３）、ステップＳ５９に復帰して、対応音声の照合処理をスキップする。
【００７７】
特徴データベース中のすべてのデータについて、検索対象となるＡＶコンテンツとの相違を検証した後、本処理ルーチン全体を終了する。
【００７８】
このようにして照合の誤差を徐々に小さくしていくことで、最終的に特徴が近いコンテンツを高速に探索することができる。ステップＳ５８までの工程では、明らかに相違する訳でないコンテンツがただ１つに絞り込まれた場合には、ステップＳ５９以降の工程を合えて実行する必要はない。
【００７９】
また、被検信号に歪が多いことが想定される場合には、ステップＳ５３〜Ｓ５８の工程において、違う程度を徐々に小さくして何回も繰り返すことで、誤差の最も小さいコンテンツを詳細に探索することができる。
【００８０】
以上、検索性能の改善について述べてきたが、最後に本発明に係る情報検索の応用例について説明しておく。
【００８１】
（１）まず第１の応用例は、放送の監視である。放送番組のスポンサと放送事業者との間では、一般に、広告の挿入に応じてスポンサから放送事業者に相当額（スポンサ料）を支払うという事業モデルが構築されている。
【００８２】
しかしながら、約束通りに広告が挿入されない可能性があるので、スポンサは実際の放送を監視する必要がある。このような場合、あらかじめ広告の特徴量をデータベースに登録しておき、放送を受信し放送コンテンツから特徴抽出してデータベースと照合する。
【００８３】
（２）さらに、不当に放送コンテンツが複製され放送に利用されていないかを、番組を制作した著作権者が監視するというアプリケーションを挙げることができる。
【００８４】
テープなどの記録メディアで複製又はその一部を持っている場合、アーカイブの中からその本編を探し出すという目的に、本発明に係る情報検索手法を使用することができる。
【００８５】
番組制作のための撮影時に、特徴抽出を同時に行い、特徴量のデータベースを作っておくことも賢明な方法である。この場合、カメラや撮影者の識別コード、日時、ＧＰＳ（Global Positioning System）などを用いた緯度・経度などのデータも対応させて登録しておけば、さらに便利である。
【００８６】
（３）家庭においても、ＶＴＲ（Video Tape Recorder）やディスク・レコーダで記録されたコンテンツから特徴抽出を行い、視聴履歴から関連する番組をお薦め版としてユーザに通知したり、自動録画したりするサービスも考えられる。特徴抽出は、複数のＶＴＲ、ＤＶＤ（Digital Versatile Disc）プレーヤやその他の記録再生機器、チューナなどすべてのコンテンツが集まる受像機間で行うことで、合理化を図ることができる。
【００８７】
ユーザの視聴履歴から関連する番組をお薦め版としてユーザに教えるようなサービスでは、視聴者別のサービスなので、視聴者を特定するために受信機器の識別コードが必要となる。
【００８８】
さらに、家庭内の個人を特定するには、リモート・コマンダを個人毎に占有し、その識別コードを使用する。これらの識別コードも、サービス供給者に送る必要がある。受信時には、時刻やチャネルが判ると検索が容易になる。また、信号の品質（受信時、再生時、再生のモード（例えば標準と３倍））が判ると、これをデータベース側に送り、照合時の許容度を適応的に制御することによって、検索速度又は検索の確実度を向上させることができる。
【００８９】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９０】
【発明の効果】
以上詳記したように、本発明によれば、映像との音楽の各データからなるＡＶコンテンツを高速且つ確実に検索することができる、優れた情報検索装置及び方を提供することができる。
【００９１】
本発明に係る情報検索装置及び方法によれば、映像だけ、又は音声だけでＡＶコンテンツを検索するよりも迅速に検索することができる。また、系における歪を許容して検索する場合においても、より確実にＡＶコンテンツを検索することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る情報検索装置１の構成を模式的に示した図である。
【図２】情報検索装置１上で実行されるＡＶコンテンツの検索処理についての概略的な手順を示したフローチャートである。
【図３】情報検索装置１上で実行されるＡＶコンテンツの検索処理の具体的な手順の一例を示したフローチャートである。
【図４】情報検索装置１上で実行されるＡＶコンテンツの検索処理の具体的な手順の他の例を示したフローチャートである。
【図５】情報検索装置１上で実行されるＡＶコンテンツの検索処理の具体的な手順の他の例を示したフローチャートである。
【図６】ＩＳＲＣのような楽曲のユニーク・コードを利用した音楽検索のメカニズムを示した図（従来例）である。
【符号の説明】
１…情報検索装置
１１…ＣＰＵ
１２…メモリ（制御プログラム）
１３…メモリ（一致判別プログラム）
１４…特徴抽出部
１５…特徴データベース
１６…優先照合リスト
１７…映像・音声照合リスト
１８…情報入力部
１９…バッファ
２０…表示部
２１…ユーザ入力部
【図１】
0004736201.tif 000003
【図２】
0004736201.tif 000004
【図３】
0004736201.tif 000005
【図４】
0004736201.tif 000006
【図５】
0004736201.tif 000007
【図６】
0004736201.tif 000008