【事件の表示】
　特許第３２５２２８２号「シーンを検索する方法及びその装置」の請求項１ないし４、９ないし１３、１６、１８に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３２５２２８２号の請求項１ないし３及び請求項７に係る特許を維持する。
【理　由】
１．手続の経緯
　本件特許は、平成１１年１２月１３日に出願され、平成１３年１１月２２日に設定登録がなされ、その後、大木茂より異議申立てがなされ、取消しの理由が通知され、その指定期間内である平成１５年３月１７日に意見書及び訂正請求書が提出されたものである。
　
２．訂正の適否
２−１．訂正の内容
ア．訂正事項ａ
　特許請求の範囲の記載を次のとおりに訂正する。（下線部が訂正事項。）
【請求項１】　映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成する検索データ生成部と、入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索する検索処理部とを具備する映像検索装置
であって、
　
前記検索データ生成部から前記検索処理部に対して伝送媒体を介して前記映像信号、音声信号及びインデックスが伝達され、
　
前記検索データ生成部は、映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力する多重化部を備え、前記検索処理部は、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離する多重分離部を備える映像検索装置
【請求項２】　前記検索処理部は、入力されるキーワードをサブワード系列に変換し、サブワード系列の順序に従ってサブワード毎の類似度を加算（累積）することで、キーワードに対する類似度を求め、求めた類似度の高い区間を所望の映像として検索することを特徴とする請求項１記載の映像検索装置。
【請求項３】　前記伝送媒体は、放送網、通信網又は記録媒体のいずれかであることを特徴とする
請求項１
【請求項４】　前記多重化部は、前記インデックスをユニットに分割する単位を、対応する映像信号のＧＯＰ（Group  of  Pictures）単位と一致させることを特徴とする
請求項１
【請求項５】　時間同期情報としてインデックスのユニット部に対応する映像信号のタイムコードを記録することを特徴とする
請求項４
【請求項６】　前記インデックスのユニット部に記録するタイムコードは、そのユニット部に対応する映像信号の開始時刻及び継続時間であることを特徴とする
請求項５
【請求項７】　映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成するインデックス作成工程と、入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索する検索工程とを具備する映像検索方法
であって、
　
前記映像信号、前記音声信号及び前記インデックス作成工程で生成したインデックスを多重化してデータストリームの形式で出力する多重化工程と、
前記多重化工程で多重化された映像信号、音声信号及びインデックスを、伝送媒体を介して、前記検索工程を実行する検索場所へ伝達する伝達工程と、
　
前記検索場所へ伝達された多重化データストリームを映像信号、音声信号及びインデックスに分離する多重分離工程と、を備える映像検索方法。
イ．訂正事項ｂ
　段落［０１８８］及び［０１８９］を削除する。
　
２−２．訂正の目的の適否・新規事項の有無、及び特許請求の範囲の拡張・変更の存否
　上記訂正事項ａは、請求項１ないし３及び請求項７については構成要件を加えたものであるが、願書に添付された明細書の段落［００８０］ないし［００８９］に記載されているから、特許請求の範囲の減縮を目的とした訂正に該当し、請求項４ないし６については従属元の請求項の項数の繰り上げに伴う訂正であるから、明りょうでない記載の釈明を目的とした訂正に該当する。また、上記訂正事項ｂは、上記訂正事項ａと発明の効果との整合をとるために、発明の効果の欄から上記訂正事項ａに係わる効果以外の事項を削除したものであるから、明りょうでない記載の釈明を目的とした訂正に該当する。よって、上記訂正事項ａ及びｂは、いずれも新規事項の追加に該当せず、実質上特許請求の範囲を拡張し、又は変更するものではない。
　
２−３．むすび
　上記訂正は、特許法第１２０条の４第２項及び同条第３項で準用する第１２６条第２項及び第３項の規定に適合するので、当該訂正を認める。
　
３．特許異議の申立てについての判断
３−１．申立ての理由の概要
　特許異議申立人大木茂（以下、「異議申立人」という。）は、請求項１ないし４、９ないし１３、１６及び１８に係る発明は、甲第１号証ないし甲第２号証から容易に発明することができたものであるから特許法第２９条第２項の規定により特許を受けることができないものであるから、特許を取り消すべきものと主張している。
　なお、上記「２−１．訂正の内容」で記載されたとおり特許請求の範囲が訂正され、異議申立の対象となる請求項は、請求項１ないし３及び請求項７となった。
　
３−２．請求項１ないし３及び請求項７に係る発明
　本件特許の請求項１ないし３及び請求項７に係る発明は、上記「２−１．訂正の内容」中の訂正事項ａに記載された請求項１ないし３及び請求項７に記載された事項により特定されるとおりのものである。
　
３−３．刊行物記載の発明
　異議申立人が提出した刊行物の「１９９７　ＩＥＥＥ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌｕｍｅ　Ｉ　ｏｆ　Ｖ　ｐ．１９９−２０２（Ａｐｒｉｌ　２１−２４，１９９７）」（甲第１号証、以下「刊行物１」という。）、「Ｐｒｏｃｅｅｄｉｎｇｓ　ＡＣＭ　Ｍｕｌｔｉｍｅｄｅｉａ　９６　ｐ．３０７−３１５　（Ｎｏｖｅｍｂｅｒ　１８−２２，１９９６）」（甲第２号証、以下「刊行物２」という。）には、提出された翻訳文を参考にするとそれぞれ以下の発明が記載されている。
　
　刊行物１について
（Ａ）図１及び図２と共に、「各ビデオドキュメントがデータベースに追加される場合には、サウンドトラック用に複数の音仮定を表す音格子が計算される。・・・（中略）・・・音声分解は、辞書や規則ベースアルゴリズムから容易に見つけられる。・・・（中略）・・・明りょうとするために、音響スコアと始端時刻は示されていない。・・・（中略）・・・ＶＭＲシステムでは、音格子は話者から独立した連結状態の正確な二重音を使って生成する。・・・（中略）・・・復号には、基本となるビタビ・アルゴリズムをトークン・パッシング方式で実装し、単に拡張したものを用いる。この方法では、各部分状態／フレーム同期パスは、各時間ステップで状態から状態に伝搬されるトークンによって表現される。パスは、トークンを調べて接続するすべての状態を求め、遷移確率及び出力確率の対数値を追加し、最適なトークンのみを伝搬することによって反復的に伸張する。音素ｑに伝搬されるトークンは、接続する全ての音素ｐから出る可能性が最も高いトークンを選ぶことによって選択される。各トークンは、音素遷移レベルの連鎖リストにその履歴を記録する。トークンｔが音素ｐから別の音素ｑに遷移する毎に、ｐの識別子（及び現在の時刻）がｔの履歴リストに付加される。・・・（中略）・・・スコアは、仮キーワードの継続時間にまたがる最も可能性の高い音声シーケンスの見込みログによって、キーワード例に対応する見込みログを伸び縮みさせて、正規化される。」（１９９頁右欄の下から１４行〜２００頁右欄２１行）
（Ｂ）「基本ユーザインターフェイスは、検索照会の入力と検索されたメッセージの格付けリストの表示を行うウィンドウからなる。図３にこの例を示すが、ここではメッセージの格付けリストは照会“folk　festival　Cambrige”の結果である。メッセージの右側にあるバーは、各メッセージの相対スコアをグラフ表示したものである。メッセージの格付けリストが表示されると、ユーザは第４図に示す映像閲覧を起動することができる。これは、キーワードの出現が重ね合わされた固定の水平時間線によって、現在の映像メール・メッセージの時間的進展を示す。図示した閲覧では、時間線は黒のバーであり、目盛りは秒単位の時間を示す。再生中、あるいはマウスでポイントすると、ヒットした語が強調表示され、その名前が表示される。時間バーで希望する時間をクリックするだけでいつでもメッセージを再生することが可能なため、ユーザはメッセージ全体ではなく、関心ある範囲を選んで再生することができる。」（２０１頁左欄の下から９行〜右欄１１行）
　
　刊行物２について
（Ｃ）図１と共に、「ＯＲＬが開発したＭｅｄｕｓａソフトウェアは、極めて分散した環境においてマルチメディアを処理する。Ｍｅｄｕｓａサーバーは、各ネットワーク・エンドポイント上およびピア・ツー・ピア・アーキテクチャーでネットワーク化された各ワークステーション上で稼働する。」（３０８頁右欄８行〜同欄１１行）
（Ｄ）「図６に、メッセージの先頭から約８秒後に始まるキーワード・ヒット「folk」」及び「festival」（強調表示）が時間バー上に表示された状態を示す。時間カーソル（三角のバー）は、現在の再生経過時間を示す。このアプローチは、様々な検索語を異なる色で表示したり、語または文書の頻度に応じて重みを付けたりする（それによって特異性の低い検索語は表示を目立たなくする）ことによって拡張することが可能である。」（３１４頁左欄下から６行〜右欄３行）
　
３−４．対比・判断
（１）請求項１に係る発明について
　請求項１の発明と刊行物１ないし２に記載された発明とを対比すると、引用例１ないし２には、次に掲げる本願発明の主要な事項の記載も示唆もない。
　「前記検索データ生成部は、映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力する多重化部を備え、前記検索処理部は、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離する多重分離部を備える」点。
　そしてそれにより、「映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力することができるので、既存のデータ形式で容易に配信することができる。また、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離することができるので、検索者側に既存のデータ形式で配信された情報から容易に検索をかけることもできる。」といった引用例１ないし２にはない顕著な効果を有している。
　したがって、請求項１に係る発明は、刊行物１ないし２に記載された発明に基づいて当業者が容易に発明できたものとすることができない。
　
（２）請求項２に係る発明について
　請求項２に係る発明は、請求項１に係る発明の構成要件を全て含み、さらに他の構成要件を付加したものに相当するから、上記（１）で示したのと同様の理由により、刊行物１ないし２に記載された発明に基づいて当業者が容易に発明することができたものとすることができない。
　
（３）請求項３に係る発明について
　請求項３に係る発明は、請求項１に係る発明の構成要件を全て含み、さらに他の構成要件を付加したものに相当するから、上記（１）で示したのと同様の理由により、刊行物１ないし２に記載された発明に基づいて当業者が容易に発明することができたものとすることができない。
　
（４）請求項７に係る発明について
　請求項７の発明と刊行物１ないし２に記載された発明とを対比すると、引用例１ないし２には、次に掲げる本願発明の主要な事項の記載も示唆もない。　
　「映像信号、音声信号及びインデックス作成工程で生成したインデックスを多重化してデータストリームの形式で出力する多重化工程」及び「検索場所へ伝達された多重化データストリームを映像信号、音声信号及びインデックスに分離する多重分離工程」とを備える点。
　そしてそれにより、「映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力することができるので、既存のデータ形式で容易に配信することができる。また、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離することができるので、検索者側に既存のデータ形式で配信された情報から容易に検索をかけることもできる。」といった引用例１ないし２にはない顕著な効果を有している。
　したがって、請求項７に係る発明は、刊行物１ないし２に記載された発明に基づいて当業者が容易に発明できたものとすることができない。
　
４．むすび
　以上のとおりであるから、請求項１ないし３及び請求項７に係る発明の特許は、特許異議申立の理由及び証拠によっては取り消すことはできない。
　また、他に請求項１ないし３及び請求項７に係る特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
平成１５年４月１日（２００３．４．１）
【訂正の要旨】
ａ．特許請求の範囲を以下のとおり訂正する。
「　　［請求項１］　映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成する検索データ生成部と、入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索する検索処理部とを具備する映像検索装置
であって、
　
前記検索データ生成部から前記検索処理部に対して伝送媒体を介して前記映像信号、音声信号及びインデックスが伝達され、
　
前記検索データ生成部は、映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力する多重化部を備え、前記検索処理部は、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離する多重分離部を備える映像検索装置。
　［請求項２］　前記検索処理部は、入力されるキーワードをサブワード系列に変換し、サブワード系列の順序に従ってサブワード毎の類似度を加算（累積）することで、キーワードに対する類似度を求め、求めた類似度の高い区間を所望の映像として検索することを特徴とする請求項１記載の映像検索装置。
　［請求項３］　前記伝送媒体は、放送網、通信網又は記録媒体のいずれかであることを特徴とする
請求項１
　［請求項４］　前記多重化部は、前記インデックスをユニットに分割する単位を、対応する映像信号のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）単位と一致させることを特徴とする
請求項１
　［請求項５］　時間同期情報としてインデックスのユニット部に対応する映像信号のタイムコードを記録することを特徴とする
請求項４
　［請求項６］　前記インデックスのユニット部に記録するタイムコードは、そのユニット部に対応する映像信号の開始時刻及び継続時間であることを特徴とする
請求項５
　［請求項７］　映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成するインデックス作成工程と、入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索する検索工程とを具備する映像検索方法
であって、
　
前記映像信号、前記音声信号及び前記インデックス作成工程で生成したインデックスを多重化してデータストリームの形式で出力する多重化工程と、
　
前記多重化工程で多重化された映像信号、音声信号及びインデックスを、伝送媒体を介して、前記検索工程を実行する検索場所へ伝達する伝達工程と、
　
前記検嵌場所へ伝達された多重化データストリームを映像信号、音声信号及びインデックスに分離する多重分離工程と、を備える映像検索方法。
ｂ．段落［０１８８］、［０１８９］を削除する。
（５４）【発明の名称】
シーンを検索する方法及びその装置
（５７）【特許請求の範囲】
　【請求項１】　映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成する検索データ生成部と、入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索する検索処理部とを具備する映像検索装置
であって、
　
前記検索データ生成部から前記検索処理部に対して伝送媒体を介して前記映像信号、音声信号及びインデックスが伝達され、
　
前記検索データ生成部は、映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力する多重化部を備え、前記検索処理部は、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離する多重分離部を備える映像検索装置。
　【請求項２】　前記検索処理部は、入力されるキーワードをサブワード系列に変換し、サブワード系列の順序に従ってサブワード毎の類似度を加算（累積）することで、キーワードに対する類似度を求め、求めた類似度の高い区間を所望の映像として検索することを特徴とする請求項１記載の映像検索装置。
　【請求項３】　前記伝送媒体は、放送網、通信網又は記録媒体のいずれかであることを特徴とする
請求項１
　【請求項４】　前記多重化部は、前記インデックスをユニットに分割する単位を、対応する映像信号のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）単位と一致させることを特徴とする
請求項１
　【請求項５】　時間同期情報としてインデックスのユニット部に対応する映像信号のタイムコードを記録することを特徴とする
請求項４
　【請求項６】　前記インデックスのユニット部に記録するタイムコードは、そのユニット部に対応する映像信号の開始時刻及び継続時間であることを特徴とする
請求項５
　【請求項７】　映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成するインデックス作成工程と、入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索する検索工程とを具備する映像検索方法
であって、
　
前記映像信号、前記音声信号及び前記インデックス作成工程で生成したインデックスを多重化してデータストリームの形式で出力する多重化工程と、
　
前記多重化工程で多重化された映像信号、音声信号及びインデックスを、伝送媒体を介して、前記検索工程を実行する検索場所へ伝達する伝達工程と、
　
前記検索場所へ伝達された多重化データストリームを映像信号、音声信号及びインデックスに分離する多重分離工程と、を備える映像検索方法。
【発明の詳細な説明】
　【０００１】
　【発明の属する技術分野】
　本発明は、キーワードを用いて所望のシーン（映像及び又は音声）を検索するこのできる方法及びその装置に関する。
　【０００２】
　【従来の技術】
　近年、テレビジョン放送の多チャンネル化やインターネットに代表されるコンピュータネットワークの急速な普及に伴い膨大な映像が家庭を含めた社会に流通している。一方、記録メディア容量の増大に伴い、家庭において大量の映像信号の蓄積が可能になっている。そこで、このような大量の映像信号の中からユーザが希望する映像シーンを簡単に且つ高い精度で取り出すための技術が必要になる。
　【０００３】
　これまでは、映像信号の変化から映像信号の変わり目を検出してその部分の映像シーンを表示する方式や、画像認識技術を用いて特定のオブジェクトで構成される特定シーンを検出して表示する方式などの検索システムが考えられている。しかしながら、これらの検索システムは、検索された映像シーンが必ずしもユーザの検索意図をよく反映したシーンとは限らないといった問題がある。
　【０００４】
　また、字幕情報や，米国のテレビジョン放送で採用されているクローズドキャプション情報を，映像中から文字認識によって読取り、特定シーンを検出する検索システムがある。しかし、この検索システムは、字幕情報やクローズドキャプションを良く反映したシーンでは検索意図を良く反映したシーンが得られるものの、こうした情報は、人手を介して付加されることから一部の放送番組に限られているために、広く一般の映像に適用することは困難である。
　【０００５】
　ところで、映像に付随している音声情報をキーワードとして用いることができれば、検索意図を良く反映した検索システムの実現が期待される。特開平６−６８１６８号公報には、音声キーワードを用いて所望のシーンを検索する映像検索システムが開示されている。
　【０００６】
　図１２に、上記特開平６−６８１６８号公報に開示された検索システムの機能ブロックが示されている。音声信号及び映像信号が音声映像入力部２０１にて受信され、受信された音声信号は音声信号記録部２０２へ蓄積され、受信された映像信号は映像信号記録部２０３に蓄積される。音声信号は音声分析部２０４において分析され、音声の特徴を表わした特徴パラメータの時系列データが生成される。生成された特徴パラメータの時系列は音声特徴記憶部２０５へ格納される。
　【０００７】
　一方、ユーザが後からシーン検索に使用するためのキーワードが、音声の形式でキーワード特徴分析部２０６に与えられる。キーワード特徴分析部２０６は、キーワードとしての音声を分析して、音声キーワードの特徴を表わした特徴パラメータの時系列データを生成する。生成した特徴パラメータの時系列データはキーワード特徴パラメータ記憶部２０７に格納される。
　【０００８】
　キーワード区間抽出部２０８は、記憶部２０２に蓄積されている音声信号の特徴パラメータの時系列データと、キーワード音声の特徴パラメータの時系列データとを比較して、音声信号中のキーワード区間を抽出する。インデックス付与部２０９は、抽出されたキーワード区間とその音声信号に対応する映像信号のフレーム番号とを対応付けるインデックス位置データ２１０を作成する。
　【０００９】
　検索時にインデックス位置データ２１０を使用して検索すれば、音声信号からキーワードが出現する映像信号のフレーム番号を指定することが出来、映像音声出力部２１１から該当する映像と音声を出力でき、ユーザが所望とする映像、音声を提示することができる。
　【００１０】
　【発明が解決しようとする課題】
　しかしながら、予め検索に使用すべき音声キーワードを登録しなければならず、それ以外のキーワードを使用して検索することができないといった問題がある。特に、ユーザが不確かなキーワードを入力した場合には、検索エラーとなってしまって検索意図を反映したシーンを検索できなかった。
　【００１１】
　本発明は、以上のような実情に鑑みてなされたものであり、映像及び又は音声の検索においてユーザが希望するシーンを、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できる装置及び方法を提供することを目的とする。
　【００１２】
　【課題を解決するための手段】
　本発明は、検索データの生成と検索処理とに一連の音声認識処理手順を分割して適用することにより、ユーザが希望する映像・音声シーンを高速に検索でき、高速に再生できるシーン検索システムである。
　【００１３】
　また、検索データ作成時には、映像信号に同期した音声信号から特徴パタンを抽出し、サブワードを単位とした標準音声パタンを用いて類似度を計算し、時間同期情報を含んだサブワード単位のインデックスを生成する一方、検索処理時には入力されるキーワードに対する時間情報を前記インデックスの組合せから導出し、所望とする映像を検索するようにした。
　【００１４】
　これにより、単語辞書又は予め登録した検索キーワードとの照合が無くなるため、未登録の単語キーワードに対応できないいわゆる未知語の問題が解決される。また、ユーザが不確かなキーワードを入力しても最も確からしい映像・音声シーンを検索する事ができる。
　【００１５】
　また、検索インデックスであるサブ゛ワードのスコアの時系列データを、映像信号、音声信号と共にデータストリームに多重化するので、放送網やインターネットなどの通信網を介した検索インデックスの流通も可能になる。
　【００１６】
　サブワードとは、単語よりも小さい音響モデルの基本単位をいい、音素や子音−母音、母音−子音−母音等の音節、半音節（Ｄｅｍｉｓｙｌｌａｂｌｅ）などが挙げられる。各単語はサブワードの系列として表わされる。
　【００１７】
　【発明の実施の形態】
　本発明の第１の態様は、映像信号に同期した音声信号から特徴パタンを抽出して映像検索のためのインデックスを生成する検索データ生成部と、検索者から入力されるキーワードと前記インデックスとを照合して所望とする映像を検索する検索処理部とを具備する映像検索装置である。
　【００１８】
　このように、検索データの生成と検索処理とに一連の音声認識処理手順を分割して適用することにより、ユーザが希望する映像・音声シーンを高速に検索でき、高速に再生できる。
　【００１９】
　本発明の第２の態様は、第１の態様の映像検索装置において、前記検索データ生成部は、入力された音声信号から音声特徴量を抽出する音声特徴パタン抽出部と、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出する計算部と、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデックスを生成するインデックス生成部とを備える。
　【００２０】
　このように、音声特徴量と標準音声パタンとの間の類似度を計算して、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデックスを生成するので、後で入力されるキーワードを標準音声パタンに変換することにより、インデックスの中からキーワードに類似したインデックスを探す事ができる。
　【００２１】
　本発明の第３の態様は、第２の態様の映像検索装置において、前記音声特徴パタン抽出部は、入力された音声信号からサブワードに相当する区間から前記音声特徴量を抽出し、前記計算部は、サブワードを単位とした標準音声パタンを用いて類似度を計算する。
　【００２２】
　これにより、後で入力されるキーワードをサブワードに変換することにより、インデックスの中からキーワードに類似したインデックスを探す事ができる。
　【００２３】
　本発明の第４の態様は、第１の態様の映像検索装置において、前記検索処理部は、検索者から入力されるキーワードを音声特徴量の時系列パタンに変換するキーワード変換部と、変換されたキーワードを音声特徴量の時系列パタンと前記インデックスとを照合してキーワードと類似度の高い区間を検出するキーワードパタン照合部とを備える。
　【００２４】
　このように、入力されるキーワードを音声特徴量の時系列パタンに変換し、変換されたキーワードを音声特徴量の時系列パタンとインデックスとを照合してキーワードと類似度の高い区間を検出することにより、検索意図を反映したシーンを検索できる。
　【００２５】
　本発明の第５の態様は、第４の態様の映像検索装置において、前記キーワードパタン照合部は、前記音声信号の検索対象期間に亘って作成されたインデックスで構成される音素類似度表の中から前記入力キーワードに含まれるサブワードに対応したインデックスだけを抽出し、抽出したインデクスを時系列データに変換してキーワードを復元し、復元されたキーワード毎に類似度を加算する。
　【００２６】
　このように、音素類似度表の中から入力キーワードに含まれるサブワードに対応したインデックスだけを抽出し、抽出したインデクスを時系列データに変換してキーワードを復元するので、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できる。
　【００２７】
　本発明の第６の態様は、第１の態様の映像検索装置において、前記検索データ生成部から前記検索処理部に対して伝送媒体を介して前記映像信号、音声信号及びインデックスが伝達される。
　【００２８】
　これにより、検索データ生成部と検索処理部とを物理的に離れた場所に配置して運用する事ができる。
　【００２９】
　本発明の第７の態様は、第６の態様の映像検索装置において、前記伝送媒体は、放送網、通信網又は記録媒体のいずれかである。
　【００３０】
　これにより、放送局や情報提供者等の情報発信元でインデックスを生成し、映像信号又は音声信号等の情報と共に送信できる。
　【００３１】
　本発明の第８の態様は、第６の態様の映像検索装置において、前記検索データ生成部は、映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力する多重化部を備え、前記検索処理部は、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離する多重分離部を備える。
　【００３２】
　これにより、映像信号、音声信号及びインデックスを多重化してデータストリームの形式で出力することができるので、既存のデータ形式で容易に配信する事ができる。また、多重化されたデータストリームを映像信号、音声信号及びインデックスに分離することができるので、検索者側に既存のデータ形式で配信された情報から容易に検索をかけることもできる。
　【００３３】
　本発明の第９の態様は、第８の態様の映像検索装置において、前記多重化部は、前記インデックスをユニットに分割する単位を、対応する映像信号のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ）単位と一致させる。
　【００３４】
　これにより、検索処理時には入力したキーワードに該当する検索インデックスと対応するＧＯＰにアクセスすることにより、容易に所望の映像シーンを再生開始することができるものとなる。
　【００３５】
　本発明の第１０の態様は、第９の態様の映像検索装置において、映像信号及び音声信号とインデックスとの時間同期情報としてインデックスのユニット部に対応する映像信号のタイムコードを記録する。
　【００３６】
　これにより、インデックスのユニット部に記録された映像信号のタイムコードに基づいて映像信号を特定できるので、既存のデータ形式を使って高速に所望のシーンいアクセスできる。
　【００３７】
　本発明の第１１の態様は、第１０の態様の映像検索装置において、前記インデックスのユニット部に記録するタイムコードは、そのユニット部に対応する映像信号の開始時刻及び継続時間である。
　【００３８】
　これにより、所望のシーンの高速再生が可能になる。
　【００３９】
　本発明の第１２の態様は、映像信号に同期した音声信号から特徴パタンを抽出して映像検索のためのインデックスを生成する検索データ生成部と、検索者から入力されるキーワードと前記インデックスとを照合して所望とする映像を検索する検索処理部とを具備し、前記検索処理部は、通信網を経由して接続された検索端末からキーワードを受信する受信部と、検索された映像信号を前記通信網を経由して前記検索端末へ送信する送信部とを有する、映像検索装置である。
　【００４０】
　このように、検索処理部が通信網を経由して接続された検索端末からキーワードを受信し、検索された映像信号を検索端末へ送信するので、ユーザ端末に検索エンジンを持つ必要がなくなり、ユーザの負担を軽減できる。
　【００４１】
　本発明の第１３の態様は、音声信号から特徴パタンを抽出して音声検索のためのインデックスを生成する検索データ生成部と、検索者から入力されるキーワードと前記インデックスとを照合して所望とする音声を検索する検索処理部とを具備する音声検索装置である。
　【００４２】
　これにより、上記第１の態様と同様にして音声のシーン検索が可能になる。
　【００４３】
　本発明の第１４の態様は、第１３の音声検索装置において、前記検索データ生成部は、入力された音声信号から音声特徴量を抽出する音声特徴パタン抽出部と、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出する計算部と、計算された類似度及び対応する音声信号との時間同期情報を含んだインデックスを生成するインデックス生成部とを備える。
　【００４４】
　これにより、音声特徴量と標準音声パタンとの間の類似度を算出し、計算された類似度及び対応する音声信号との時間同期情報を含んだインデックスを生成するので、入力されたキーワードを標準音声パタンに対応した系列に変換すればインデックスから音声のシーンを検索できる。
　【００４５】
　本発明の第１５の態様は、映像信号に同期した音声信号から音声特徴量を抽出する音声特徴パタン抽出部と、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出する計算部と、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデックスを生成するインデックス生成部とを備える映像検索インデックス生成装置である。
　【００４６】
　本発明の第１６の態様は、第１５の態様の映像検索インデックス生成装置において、前記音声特徴パタン抽出部は、入力された音声信号からサブワードに相当する区間から前記音声特徴量を抽出し、前記計算部は、サブワードを単位とした標準音声パタンを用いて類似度を計算する。
　【００４７】
　これにより、入力音声信号をサブワードを単位とした標準音声パタンとの類似度の形式で保存する事ができる。
　【００４８】
　本発明の第１７の態様は、映像信号とこの映像信号に同期した音声信号とこの音声信号から生成された音素類似度表とが蓄積された記録部と、検索者から入力されるキーワードを音声特徴量の時系列パタンに変換するキーワード変換部と、変換されたキーワードを音声特徴量の時系列パタンと前記音素類似度表のインデックスとを照合してキーワードと類似度の高い区間を検出するキーワードパタン照合部と、検出区間の先頭サブワードの始端時刻に基づいて前記記録部から該当する映像信号を取り出す制御部とを備える検索処理装置である。
　【００４９】
　本発明の第１８の態様は、第１７の態様の検索処理装置において、前記キーワードパタン照合部は、音素類似度表の中から前記入力キーワードに含まれるサブワードに対応したインデックスだけを抽出し、抽出したインデクスを時系列データに変換してキーワードを復元し、復元されたキーワード毎に類似度を加算する。
　【００５０】
　本発明の第１９の態様は、記録媒体を有するビデオ録画装置において、ビデオ録画時に入力される音声信号から人物の発声帯域における発声特徴パタンを抽出する発声特徴パタン抽出部と、前記発声特徴パタンをビデオ信号への同期情報とともに前記記録媒体に映像検索インデクスとして記録するインデクス記録制御部とを備える事を特徴とするビデオ録画装置である。
　【００５１】
　本発明の第２０の態様は、記録媒体を有するビデオ録画装置において、ビデオ録画時に入力される音声信号から人物の発声帯域における発声特徴パタンを抽出する発声特徴パタン抽出部と、抽出された発声特徴パタンデータと予め登録されている複数のサブワードの各発声特徴パタンとの類似度を算出して類似度及び時刻情報を持った映像検索インデクスを生成するインデックス生成部と、入力音声対して作成された映像検索インデクスで構成される音素類似度表とビデオ信号とを前記記録媒体に記録する記録制御部とを備えるビデオ録画装置である。
　【００５２】
　本発明の第２１の態様は、第１９の態様において、発声特徴パタン抽出部は、ビデオ録画時に入力される映像信号に対して予め登録されてある発声音ごとの口唇画像特徴パタンデータとの照合を行ない、映像信号から人物発声時の視覚特徴パタンデータを抽出する。
　【００５３】
　これにより、音声に雑音などが入っていても精度よく所望のシーンを検索できる。
　【００５４】
　本発明の第２２の態様は、ビデオ信号の再生を行うビデオ再生装置において、入力音声に対して作成された映像検索インデクスとビデオ信号とが記録された記録媒体と、検索者から入力されたキーワードをパタン照合用データに変換するキーワードパタン変換部と、前記キーワードのパタン照合用データと既に前記記録媒体に記録されているビデオ番組の前記映像検索インデクス内のパタン照合用データとのパタン照合を行うキーワードパタン照合部とを備えるビデオ再生装置である。
　【００５５】
　本発明の第２３の態様は、ビデオ信号の再生を行うビデオ再生装置において、入力音声に対して作成された映像検索インデクスから構成された音素類似度表とビデオ信号とが記録された記録媒体と、入力されたキーワードのサブワード系列と前記音素類似度表内の各サブワードごとの類似度によってキーワード検出を行うキーワードパタン変換部とを備えたビデオ再生装置。
　【００５６】
　本発明の第２４の態様は、第２２の態様のビデオ再生装置において、前記キーワードパタン変換部は、入力されるキーワードを視覚特徴パタンデータへの変換を行い、前記キーワードパタン照合部が、予め記録媒体に記録されている映像検索インデックスとして人物発声時の視覚特徴パタンデータを用いて、入力されたキーワードの視覚特徴パタンデータとの照合を行う。
　【００５７】
　本発明の第２５の態様は、第２２の態様のビデオ再生装置において、音声入力のためのマイクロフォンを備え、前記キーワードパタン変換部が前記マイクロフォンから入力されたキーワードの音声信号を発声特徴パタンデータへ変換する。
　【００５８】
　これにより、キーワードを音声にて入力できる。
　【００５９】
　本発明の第２６の態様は、第２２の態様のビデオ再生装置において、マイクロフォンと動画像入力のためのカメラ装置とを備え、前記キーワードパタン変換部は、利用者のキーワード発声時にカメラ装置から入力される映像信号に対して予め登録されてある発声音ごとの口唇画像特徴パタンとの照合を行ない、キーワード発声時の映像信号からキーワードの視覚特徴パタンデータへの変換を行う。
　【００６０】
　本発明の第２７の態様は、映像信号に同期した音声信号から音声特徴量を抽出し、抽出された音声特徴量と予め登録された標準音声パタンとの間の類似度を算出し、計算された類似度及び対応する映像信号又は音声信号との時間同期情報を含んだインデックスを生成し、検索者から入力されるキーワードと前記インデックスとを照合して所望とする映像を検索する映像検索方法である。
　【００６１】
　（第１の実施の形態）
　図１に、第１の実施の形態にかかるシーン検索システムの機能ブロック図が示されている。本実施の形態のシーン検索システムは、蓄積されている映像の中から所望のシーンを検索するための映像検索インデックスを生成する検索データ生成部１００と、入力された検索キーワードと映像検索インデックスとを照合して検索意図を良く反映したシーンを検索する検索処理部２００とを有する。
　【００６２】
　検索データ生成部１００は、映像信号を受信する映像信号入力部１０１と、その映像信号に付随（同期）した音声信号を受信する音声信号入力部１０２とを有する。映像信号入力部１０１及び音声信号入力部１０２から入力された映像信号及び音声信号は、検索処理部２００に設けられた記録部２０１に格納される。さらに、音声信号入力部１０２から入力された音声信号は、音声特徴パタン抽出部１０３へも入力される。音声特徴パタン抽出部１０３は、音声信号を分析して音声特徴パタンを抽出する。抽出された音声特徴パタンは映像検索インデクス生成部１０４へ与えられる。映像検索インデクス生成部１０４は、抽出された音声特徴パタンと標準音声特徴パタン格納部１０５に格納されている標準音声パタンとを比較して、最も良く一致するサブワードの｛始端時刻、終端時刻、類似度を示すスコア｝の組を映像検索インデックスとして出力する。この映像検索インデックスは検索処理部２００にある記録部２０１に格納される。
　【００６３】
　検索処理部２００は、映像信号、音声信号及び映像検索インデックスが格納された記録部２０１を有する。記録部２０１には映像検索インデックスによる音素類似度表が形成されている。音素類似度表については後述する。制御部２０２は、記録部２０１に格納されている映像信号、音声信号の読出し位置を制御している。記録部２０１に格納されている映像の中から所望の映像シーンを検索するための検索キーワードはキーワード入力部２０３から入力される。入力されたキーワードはキーワード変換部２０４により入力キーワードを構成しているサブワードの時系列に変換される。キーワードパタン照合部２０５は、入力キーワードのサブワードと一致するサブワードの映像検索インデックスを記録部２０１から取り出す。記録部２０１から取り出された映像検索インデックスによって検索キーワードを復元し、復元された各キーワードのスコアを計算する。制御部２０２がスコアの高い復元キーワードの先頭サブワードの始端時刻に基づいて記録部２０１から該当する映像シーンを取り出す。記録部２０１から取り出される映像シーンを構成する映像信号は映像信号出力部２０６から外部へ出力され、その映像信号に付随した音声信号は音声信号出力部２０７から外部へ出力される。
　【００６４】
　次に、検索データ生成部１００において映像検索インデックスを生成する処理の詳細について説明する。音声特徴パタン抽出部１０３は、入力した音声信号を順次１０ｍｓｅｃの分析フレームに分割し、その各分析フレームを高速フーリエ変換して人物の発声周波数帯域の音響特性をあらわした音響特性データに変換する。さらに、発声周波数帯域の音響特性データを、音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータに変換する。このベクトルデータが音声特徴パタンとなる。音声特徴パタンに変換される音響特徴量として、入力音声の発声周波数帯域における短時間スペクトル又はスペクトルの対数値、入力音声の一定時間内での対数エネルギーなどを用いるのが望ましい。
　【００６５】
　このように、入力音声は１０ｍｓｅｃ毎に音声特徴パタン（ベクトルデータ）に変換され、順次変換された音声特徴パタンが映像検索インデクス生成部１０４へ出力される。なお、分析フレームのフレーム長は１０ｍｓｅｃに限定されるものではない。
　【００６６】
　標準音声特徴パタン格納部１０５に、サブワード（＃Ｖ，＃ＣＶ，＃ＣｊＶ、ＣＶ，ＣｊＶ、ＶＣ，ＱＣ，ＶＱ，ＶＶ，Ｖ＃、但し、Ｃは子音、Ｖは母音、ｊは拗音、Ｑは促音、＃は無音である）が標準音声パタンとして予め用意されている。予め複数の話者から収集した発声を分析して、サブワード単位で音声特徴パタンを抽出する。抽出された音声特徴パタンを統計的処理して標準音声パタンとして登録している。具体的には、個々のサブワードと、それらの標準音声パタン（抽出した音声特徴パタン）と、を対応させたテーブルが標準音声特徴パタン格納部１０５に格納されている。図２に標準音声パタンの具体例が示されている。標準音声パタンを５００個程度用意している。標準音声特徴パタン格納部１０５に格納すべき標準音声パタンの個数は５００個に限定されるものではなく、計算量と要求される検索精度との関係で適宜決められるべきである。
　【００６７】
　映像検索インデクス生成部１０４は、標準音声特徴パタン格納部１０５から第１番目の標準音声パタンを取り出し、第１番目の標準音声パタンと入力音声の音声特徴パタンとの類似度を音声認識処理によって求める。音声認識処理には、ＤＰ照合法、ＨＭＭなどの音声認識手法を用いる事が望ましい。第１番目の標準音声パタンに対して最も高い類似度を示す区間をサブワード区間として検出し、検出したサブワード区間の始端時刻と終端時刻と類似度であるスコアとを求める。このようにして求めた第１番目の標準音声パタンの検出サブワード区間に関して｛始端時刻、終端時刻、スコア｝の組が１つの映像検索インデックスとして出力される。すなわち、１つの映像検索インデックスは音素記号、始端時刻、終端時刻、スコアで構成されている。
　【００６８】
　第１番目の標準音声パタンに対する映像検索インデックスが求められたならば、第２番目の標準音声パタンが標準音声特徴パタン格納部１０５から取り出される。そして同一音声区間の音声特徴パタンと第２番目の標準音声パタンとを比較し、上記同様にして第２番目の標準音声パタンについてサブワード区間を検出し、検出サブワード区間に関する｛始端時刻、終端時刻、スコア｝の組を映像検索インデックスとして出力する。以下同様に、同一音声区間の音声特徴パタンに対して、標準音声パタンを切換えながら、残りの全ての標準音声パタンとの類似度をそれぞれ検出し、全ての標準音声パタンに関して｛始端時刻、終端時刻、スコア｝の組からなる映像検索インデックスを生成する。
　【００６９】
　入力音声のある音声区間において全ての標準音声パタンに関して映像検索インデックスが生成されたならば、処理対象となる音声区間を隣接する次の音声区間に移して同様の処理を実行する。以下同様に、処理対象となる音声区間をシフトしていき、入力音声の全区間に亘り検索インデクを生成したところで処理を完了する。
　【００７０】
　次に、検索処理部２００においてキーワードを用いて映像シーンを検索する処理の詳細について説明する。
　【００７１】
　図３に映像検索インデックスのラティス構造の一部が示されている。１０ｍｓｅｃ単位で分割した入力音声の各音声区間の終端を、その音声区間に対して生成した各映像検索インデックスの終端とし、同一音声区間における映像検索インデックスを生成された順番に配置すると、入力音声の全体では映像検索インデックスがラティス状に配列される。このような映像検索インデックスのラティス構造を音素類似度表と呼ぶこととする。音素類似度表において、各映像検索インデックスは始端時刻に対応した長さとそのスコアの組で表わされている。図３には、映像検索インデックスの音素類似度表の中から「Ａ」「ＫＡ」「ＳＡ」「ＴＡ」「ＮＡ」の５種類のサブワードだけを代表で示している。
　【００７２】
　いま、キーワード入力部２０３が検索キーワードとして「空」を受信したものとする。キーワード変換部２０４は、検索キーワード「空」をサブワードの系列に変換する。「空」は「ＳＯ、ＯＲ、ＲＡ」に変換される。
　【００７３】
　キーワードパタン照合部２０５は、音素類似度表の中から、検索キーワードを構成するサブワードだけをピックアップする。すなわち、各時刻のラティスから、検索キーワードを構成するサブワード「ＳＯ」「ＯＲ」「ＲＡ」だけを、ピックアップする。図４は検索キーワードのサブワード「ＳＯ」「ＯＲ」「ＲＡ」だけがピックアップされたラティスを示している。
　【００７４】
　ピックアップされた複数のラティス上のサブワード「ＳＯ」「ＯＲ」「ＲＡ」を、検索キーワードを変換したサブワードの系列順に隙間なく接続する。ある時刻のラティスから最後のサブワード「ＲＡ」を取り出し、「ＲＡ」の始端時刻にあたるラティスからその前のサブワード「ＯＲ」を取り出し、さらに「ＯＲ」の始端時刻にあたるラティスからさらに前のサブワード「ＳＯ」を取り出し、最後のサブワード「ＲＡ」の終端を基準にして「ＳＯ」「ＯＲ」「ＲＡ」を連結する。
　【００７５】
　このように「ＳＯ」「ＯＲ」「ＲＡ」を連結することにより復元されたキーワードについて、その復元キーワードのスコアを計算する。復元されたキーワードを構成するサブワード「ＳＯ」「ＯＲ」「ＲＡ」に付与されているスコアを加算する。この加算値が復元キーワードのスコアである。以下同様に、サブワード「ＲＡ」の終端時刻をずらした復元キーワードを全ての時刻について順次作成し、各復元キーワードについてそのスコアを計算する。図５にサブワード「ＲＡ」の終端時刻をずらした復元キーワードが示されている。
　【００７６】
　キーワードパタン照合部２０５は、音声の伸縮特性を考慮して各復元キーワード（サブワードの時系列データ）に対してＤＰ照合法などにより圧縮・伸張処理を加える。そして、全ての復元キーワードのスコアを計算する。これら復元キーワードのスコアを制御部２０２へ入力する。
　【００７７】
　制御部２０２は、スコアが上位となる復元キーワードの先頭サブワードの始端時刻から対応する映像信号のタイムコードを算出し、記録部２０１に蓄積された映像・音声信号の該当部分を再生するための制御を行う。この結果、映像信号出力部２０６、音声信号出力部２０７から再生された映像信号及び音声信号が出力される。
　【００７８】
　このように、検索対象の映像信号に付随した音声信号からスコアの付与されたサブワードの時系列データを作成して映像検索インデックスとしてそのまま記録部２０１に保存する一方、検索時にはキーワードをサブワードに変換して映像検索インデックスと照合するようにしたので、単語辞書又は検索キーワードを予め登録した格納部を排除する事ができ、未知語の問題も発生しないといった利点がある。
　【００７９】
　しかも、予め登録した検索キーワードとの照合を行わないことから、ユーザが不確かなキーワードを入力した場合であっても最も確からしい映像シーンを検索することができるといった優れた効果を奏することができる。
　【００８０】
　（第２の実施の形態）
　本発明の第２の実施の形態にかかるシーン検索システムは、検索データ生成装置で生成した映像検索インデックスを、伝送媒体を介して検索装置へ伝送するようにしている。
　【００８１】
　図６に第２の実施の形態にかかるシーン検索システムの構成が示されている。上述した第１の実施の形態と同一機能を有する部分には同一符号が使われている。このシーン検索システムは、映像信号に付属した音声信号から生成された映像検索インデックスをデータストリームに多重化する検索データ生成装置１２０と、検索キーワードのサブワードと映像検索インデックスとを照合して所望の映像シーンを検索する検索装置２２０と、検索データ生成装置１２０で映像検索インデックスの多重化されたデータストリームを、検索装置２２０へ伝送するための伝送媒体２３０とから構成されている。伝送媒体２３０には、放送網、通信網、記録メディア等が含まれる。放送網には地上波放送網又はケーブル放送網があり、通信網にはインターネットがある。音声シーンの検索であればラジオ放送網も含まれる。
　【００８２】
　検索データ生成装置１２０は、映像信号入力部１０１、音声信号入力部１０２、音声特徴パタン抽出部１０３、映像検索インデクス生成部１０４、標準音声パタン格納部１０５を備えている。さらに、検索データ生成装置１２０は、映像検索インデクス生成部１０４で生成した映像検索インデックスと映像信号と音声信号とを多重化する多重化部１２１を有する。多重化部１２１は、映像検索インデックスと映像信号と音声信号とを、ＭＰＥＧストリーム上に多重化することが望ましいが、それ以外のデータストリーム上に多重化する事も可能である。
　【００８３】
　検索装置２２０は、記録部２０１、制御部２０２、キーワード入力部２０３、キーワード変換部２０４、キーワードパタン照合部２０５、映像信号出力部２０６、音声信号出力部２０７を備えている。さらに、検索装置２２０は、映像検索インデックスと映像信号と音声信号とが多重化されたデータストリームから、映像検索インデックス、映像信号及び音声信号をそれぞれ分離する多重分離部２２１を有する。
　【００８４】
　検索データ生成装置１２０に設けられた映像検索インデクス生成部１０４において、上述した第１の実施の形態と同様にして入力音声から映像検索インデックスが作成される。作成された映像検索インデックスは多重化部１２１へ出力される。なお、映像信号入力部１０１で受信された映像信号及び音声信号入力部１０２で受信された音声信号が多重化部１２１へ出力されている。
　【００８５】
　多重化部１２１は、映像信号、音声信号、映像検索インデックスを、それぞれ複数の映像ストリーム（映像ストリーム（１）〜映像ストリーム（ｎ））と、音声ストリーム（音声ストリーム（１）〜音声ストリーム（ｎ））と、ユーザデータを格納するためのプライベートストリーム（このストリームを映像検索インデックスの伝送に使うので、検索データストリームと呼ぶ：検索データストリーム（１）〜検索データストリーム（ｎ））に変換する。
　【００８６】
　図７（１）に、映像信号、音声信号及び映像検索インデックスが多重化されたＭＰＥＧストリームのフレーム構成が示されている。ＭＰＥＧストリームの先頭にはストリームを識別するためのストリームヘッダ１０１が付加される。図７（２）に映像ストリームの構成が示されている。映像ストリームは、複数のＧＯＰ（Ｇｒｏｕｐ　ｏｆ　Ｐｉｃｔｕｒｅｓ：ＧＯＰ（１）〜ＧＯＰ（ｎ））で構成されている。図７（３）にＧＯＰの構成が示されている。ＧＯＰは、フレーム内で符号化されるＩピクチャ（Ｉ（１））、Ｉピクチャ又はＰピクチャを参照して動き補償予測により符号化されるＰピクチャ（Ｐ（２）〜Ｐ（ｍ））、時間的に前後に位置するＩピクチャ、Ｐピクチャを参照して双方からの動き補償予測により符号化されるＢピクチャ（Ｂ（−１）〜Ｂ（ｍ−１））の一連のグループにより構成される。図７（４）に検索データストリームの構成を示されている。ＧＯＰを構成している一連の映像フレームに対応して、映像検索インデックス（映像検索インデックス（１）〜映像検索インデックス（ｎ））をユニット化する。
　【００８７】
　多重化部１２１によって多重化されたＭＰＥＧストリームは、伝送媒体２３０を介して検索装置２２０へ伝送され、記録部２０１に記録される。検索装置２２０では、多重分離部２２１が多重化されたＭＰＥＧストリームから検索インデクスを分離してキーワードパタン照合部２０５へ与える。映像検索インデックスと検索キーワードとを照合し、第１の実施の形態と同様にして復元キーワードを作成する。制御部２０２が、スコアの高い復元キーワードの始端時刻から対応するＧＯＰにアクセスして映像シーンを取り出す。なお、ＭＰＥＧストリームから映像検索インデックスを分離する時に一緒に映像信号及び音声信号も分離して、記録部２０１に記録するようにしても良い。
　【００８８】
　このように、入力音声のサブワードの単位で構成された映像検索インデックスを、映像信号及び音声信号とともにデータストリームに多重化したので、放送網や通信網を利用してユーザに映像と一緒に映像検索インデックスを渡す事ができる。
　【００８９】
　また、ＭＰＥＧの映像再生単位はＧＯＰなので、検索インデックスのユニット単位を一致させておくと、検索処理時には入力したキーワードに該当する検索インデックスと対応するＧＯＰにアクセスすることにより、容易に所望の映像シーンを再生開始することが可能になる。
　【００９０】
　（第３の実施の形態）
　第３の実施の形態は、ユーザ端末から検索キーワードを入力したら、そのユーザ端末に通信網を介して接続されたサーバシステムから該当するシーンが提供されるようにしたシーン検索システムである。
　【００９１】
　図８に、第３の実施の形態にかかるシーン検索システムのシステム構成が示されている。図８において、上述した第１の実施の形態及び第２の実施の形態のシーン検索システムと同一機能を有する部分には同一符号を使用している。サーバシステムは、検索データ生成部１００と、検索処理部２３０とで構成されている、ユーザが希望する映像シーンを検索してユーザ端末へ送信する。
　【００９２】
　検索データ生成部１００は、映像信号入力部１０１、音声信号入力部１０２、音声特徴パタン抽出部１０３及び映像検索インデクス生成部１０４で構成されている。
　【００９３】
　検索処理部２３０は、記録部２０１、制御部２０２、キーワードパタン照合部２０５を備える。さらに、検索処理部２３０は、ユーザ端末３００から伝送媒体２３０を経由して送られてくる検索キーワードのデータを受信するキーワード受信部２３１と、検索されたシーンの映像信号と音声信号とをデータストリーム上に多重化して伝送媒体２３０を経由してユーザ端末３００へ送信する多重化部２３２とを有する。
　【００９４】
　ユーザ端末３００は、キーワード入力部２０３、キーワード変換部２０４、検索されたシーンの映像信号を出力する音声信号出力部２０７、検索されたシーンの音声信号を出力する音声信号出力部２０６を備える。さらに、ユーザ端末３００は、キーワード変換部２０４によって変換された検索キーワードのサブワードを伝送媒体２３０を介して検索処理部２３０へ送信するキーワード送信部３０１と、検索処理部２３０から伝送媒体２３０を介して受信したデータストリームから映像信号及び音声信号を分離する多重分離部３０２とを有する。
　【００９５】
　以上のように構成されたシーン検索システムでは、ユーザ端末３００において検索キーワードが入力される。ユーザ端末３００では、入力されたキーワードがキーワード変換部２０４により入力キーワードのサブワードに変換される。そして入力キーワードのサブワードがキーワード送信部３０１から伝送媒体２３０を介してへ送信される。本実施の形態における伝送媒体２３０はインターネットなどの通信網が望ましい。
　【００９６】
　検索処理部２３０の記録部２０１には、上述した第１の実施の形態と同様にして映像信号、音声信号及びラティス構造の映像検索インデックスが記録されている。キーワード受信部２３１が受信したキーワードデータはキーワードパタン照合部２０５へ渡される。キーワードパタン照合部２０５は、上述したように映像検索インデックスのラティス構造からキーワードのサブワードと一致する音素記号を持つ映像検索インデックスをピックアップして、各時刻における復元キーワードを作成する。そして制御部２０２がスコアの高い復元キーワードの始端時刻に基づいて該当する映像信号及び音声信号を取り出す。このようにして検索されたシーンの映像信号及び音声信号は多重化部２３２でデータストリームの多重化された後、伝送媒体２３０を経由してユーザ端末３００へ送られる。
　【００９７】
　ユーザ端末３００では、多重分離部３０２が検索キーワードに対して送られてきたデータストリームから映像信号及び音声信号を分離する。分離された映像信号及び音声信号は映像信号出力部２０６及び音声信号出力部２０７からそれぞれ再生される。
　【００９８】
　このように、ユーザ端末３００とサーバシステム（検索データ生成部１００及び検索処理部２３０）とを通信網２３０を介して接続する事により、映像検索インデックスを生成する機能及び検索する機能を持たないユーザ端末３００から所望のシーンを検索することができる。
　【００９９】
　なお、上記した第３の実施の形態では、ユーザ端末３００にキーワード変換部２０４を備えているが、キーワード変換部２０４を検索処理部２３０に配置するように構成しても良い。この構成によれば、既存のユーザ端末に新たなソフトウエアのインストールすることなく、上述検索を行う事ができる。
　【０１００】
　（第４の実施の形態）
　第４の実施の形態は、本発明のシーン検索システムをビデオ録画装置に適用した例である。本実施の形態にかかるビデオ録画装置は、ビデオ録画時に得られる音声信号から人物の発声音を検出して、発声音から得られる音響特性データを発声特徴パタンデータとして抽出する。さらに、発声特徴パタンデータを時刻情報を添付したインデックス構造に成形したのち、映像信号及び音声信号と共に記録媒体へ記録する。
　【０１０１】
　図９に本実施の形態にかかるビデオ録画装置の構成が示されている。外部から入力されるビデオ録画指示制御信号等は制御信号入力部１で受信される。ビデオ録画制御部２は、受信された制御信号の種別に応じて装置を構成する各ブロックへ録画開始指示信号や停止指示信号を発行する。
　【０１０２】
　一方、ビデオ録画開始とともに入力されるアナログ音声信号は音声信号入力部３でデジタル音声信号に変換され、さらにデジタル音声信号が音声信号エンコード部４でＭＰＥＧ等の圧縮処理を施される。また、ビデオ録画開始とともに入力されるアナログ映像信号は映像信号入力部５でデジタル映像信号に変換され、さらにデジタル映像信号が映像信号エンコード部６でＭＰＥＧ等の圧縮処理を施される。
　【０１０３】
　音声信号入力部３からデジタル音声信号が発声特徴パターン抽出部１０へ分配入力される。発声特徴パターン抽出部１０は、入力したデジタル音声信号から人物の発声音の音響特性データを検出して発声特徴パターンデータを取得する。映像検索インデックス生成部１１は、発声特徴パターン抽出部１０から供給される発声特徴パターンデータを映像信号と同期した時間周期でパケット化し、時刻情報を添付した映像検索用インデックス構造に成形する。
　【０１０４】
　圧縮された映像信号及び音声信号と映像検索インデックスは、ビデオ録画制御部２から指示を受けた複合データ記録処理部７によって重畳されてＤＶＤ等の記録フォーマットで映像記録媒体９に記録される。映像記録媒体９は光ディスクまたはＨＤＤ（磁気ディスク）またはメモリカードまたは磁気テープ等で構成される。複合データ記録処理部７からの制御指示により映像記録媒体９の記録位置のシーク等の物理的な制御を記録媒体動作制御部８が行う。以上のように構成されたビデオ録画装置はマイクロコンピュータ組み込み機器または専用ＬＳＩ回路群等で構成することができる。このビデオ録画装置では、発声特徴パタン抽出手段は発声特徴パタン抽出部１０から構成され、インデックス情報記録手段は映像検索インデックス生成部１１と複合データ記録処理部７から構成される。
　【０１０５】
　次にこの装置の動作について説明する。
　【０１０６】
　制御信号入力部１は、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ録画指示の制御信号を受け付けると、装置に適合した信号形式に変換した後にビデオ録画制御部２にビデオ録画指示信号を発行する。ビデオ録画指示信号を受けたビデオ録画制御部２は、装置を構成する各部にビデオ録画開始の指示を行い装置状態をビデオ録画状態に遷移させる。
　【０１０７】
　ビデオ録画開始の指示を受けた音声信号入力部３は、外部のテレビジョン信号チューナー装置またはマイクロフォンまたはＶＴＲ装置等から入力される音声信号に対してＡ／Ｄ変換処理を施し量子化を行った後、音声信号エンコード部４及び発声特徴パタン抽出部１０へ逐次音声信号を供給する。音声信号エンコード部４に供給された音声信号はＭＰＥＧ等の音声信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
　【０１０８】
　音声信号入力部３から音声信号の分配供給を受けた発声特徴パタン抽出部１０では、一定時間単位の音声信号信号に対してＦＦＴ（高速フーリエ変換）処理を行い、人物の発声周波数帯域の音響特性データを抽出し、さらに抽出した周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の、音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータである発声特徴パタンデータを生成する。
　【０１０９】
　発声特徴パタン抽出部１０で抽出生成された発声特徴パタンデータは逐次映像検索インデクス生成部１１に出力される。映像検索インデクス生成部１１は、逐次入力されてくる個々の発声特徴パタンデータを、その時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめてパケット化し、パケット毎に発声特徴パタンデータである事を示す識別と時刻情報を付与する。これにより、発声特徴パタンデータの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造が生成される。生成したインデクス構造パケットを複合データ記録処理部７に逐次転送する。
　【０１１０】
　一方、同じくビデオ録画開始の指示を受けた映像信号入力部５は、外部のテレビジョン信号チューナー装置またはカメラまたはＶＴＲ装置等から入力される映像信号に対してＡ／Ｄ変換処理を施し量子化を行い所定のデジタル映像信号信号として、映像信号エンコード部６に供給する。映像信号エンコード部６に供給されたデジタル映像信号信号はＭＰＥＧ等の映像信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
　【０１１１】
　ビデオ録画開始の指示を受けた複合データ記録処理部７は、データの記録開始に先立ち、記録媒体動作制御部８に制御信号を発行して、記録媒体９へのデータ記録開始位置の保持を行う。各々信号帯域圧縮処理を施された映像信号ならびに音声信号及び映像検索用インデクス生成部１１にて生成されたインデクス構造パケットを受け取った複合データ記録処理部７は、ＭＰＥＧ等の所定のフォーマットで映像信号と音声信号及びインデクス構造パケットを多重化し、記録媒体動作制御部８への制御信号を発行して映像記録媒体９の所定の位置に多重化したデータをＤＶＤ等の記録フォーマットにしたがって記録する。
　【０１１２】
　こうした一連の動作は、ビデオ録画開始からビデオ録画時間終了または外部からの映像信号入力の終了または外部からの制御信号によるビデオ録画停止指示、及び装置内各部からのエラー通知をビデオ録画制御部２が検出するまで繰り返される。ビデオ録画制御部２はこれらを検出した際は装置を構成する各部にビデオ録画停止指示を行い、装置を初期状態に遷移させる事で動作を終了する。
　【０１１３】
　ここで、上記インデクス構造パケットは発声特徴パタンデータの時系列で構成されていたが、映像検索インデックス生成部１１が発声特徴パタンデータの時系列に対して音素認識処理を施す事により、インデックス構造パケットをサブワード毎の時系列パタン照合結果である音素類似度表の時系列にする事ができる。
　【０１１４】
　すなわち、映像検索インデックス生成部１１が、発声特徴パタン抽出部１０より逐次入力される発声特徴パタンデータの時系列に対して、映像検索インデックス生成部１１に予め登録内蔵されてある各サブワードごとの標準パタンとの類似度を算出し音素類似度表を作成する。
　【０１１５】
　この際、各サブワードごとの標準音声パタンは発声特徴パタンデータと同様に短時間スペクトルデータ等の音素時系列である。そして入力されてくる発声特徴パタンデータに関しても照合区間を一定の時間長に固定しておき、標準音声パタンの音素時系列と発声特徴パタンデータの音素時系列とをＤＰ（ダイナミックプログラミング）照合法等を用いた時系列パタン照合を行なう。
　【０１１６】
　時系列パタン照合では、すべてのサブワードごとに標準音声パタンに最も類似した発声特徴パタンデータの時系列内での照合区間を求め、照合結果を音素類似度表としてまとめる。尚、音素類似度表は各サブワードの識別（音素記号）とそのサブワードに最も類似した照合区間である発声区間（始端時刻、終端時刻）と類似度とから列を構成する。音素類似度表は標準音声パタンで保持するサブワード個数分の行で構成する。
　【０１１７】
　作成された音素類似度表から、類似度の高い順に上位Ｍ個（Ｍは任意の自然数）までを抜き出して前記類似度表を再構成し、時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめてパケット化し、パケット毎に音素類似度表データである事を示す識別と時刻情報を付与する事で音素類似度表データの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造パケットを生成し、複合データ記録処理部７に逐次転送する。
　【０１１８】
　このようにして作成された音素類似度表データ時系列で構成されたインデクス構造パケットは、複合データ記録処理部７を経由して映像検索用インデクスとして、映像記録媒体９へ所定の記録フォーマットで記録される。
　【０１１９】
　このように、ビデオ録画時に音声信号から音素類似度表の時系列で構成された検索用インデクスを生成し、複合データ記録処理部７によりインデクスと映像信号と音声信号とを多重化して映像記録媒体９へ蓄積するようにしたので、後から映像検索インデックスを用いて用意に希望の映像信号及び音声信号にアクセスできる。本実施の形態で作成される検索用インデクスは上述した第１の実施の形態における映像検索インデックスと同じ構造であるので、第１の実施の形態と同様のキーワード検索も可能である。
　【０１２０】
　（第５の実施の形態）
　第５の実施の形態にかかるビデオ録画装置は、映像信号から人物発声時の視覚特徴パタンデータを抽出し、視覚特徴パタンデータを映像検索用インデックスとして記録する。
　【０１２１】
　図１０に本実施の形態にかかるビデオ録画装置の構成が示されている。外部から入力されるビデオ録画指示制御信号等は制御信号入力部１で受信される。ビデオ録画制御部２は、受信された制御信号の種別に応じて装置を構成する各ブロックへ録画開始指示信号や停止指示信号を発行する。
　【０１２２】
　一方、ビデオ録画開始とともに入力されるアナログ音声信号は音声信号入力部３でデジタル音声信号に変換され、さらにデジタル音声信号が音声信号エンコード部４でＭＰＥＧ等の圧縮処理を施される。また、ビデオ録画開始とともに入力されるアナログ映像信号は映像信号入力部５でデジタル映像信号に変換され、さらにデジタル映像信号が映像信号エンコード部６でＭＰＥＧ等の圧縮処理を施される。
　【０１２３】
　音声信号入力部３からデジタル音声信号が発声特徴パターン抽出部１０へ分配入力される。発声特徴パターン抽出部１０は、入力した音声信号から人物の発声音の音響特性データを検出して発声特徴パターンデータを取得する。また、映像信号入力部５からデジタル映像信号が視覚特徴パタン抽出部１２へ分配入力される。視覚特徴パタン抽出部１２は、入力した映像信号から人物の口唇領域画像を検出し視覚特徴パタンデータを抽出する。映像検索インデックス生成部１１は、発声特徴パタン抽出部１０から供給される発声特徴パタンデータと視覚特徴パタン抽出部１２から供給される視覚特徴パタンデータを各々映像信号と同期した時間周期でパケット化し、時刻情報ならびにパタンデータ種別を添付した映像検索用インデックス構造に成形する。
　【０１２４】
　圧縮された映像信号及び音声信号と映像検索インデックスは、ビデオ録画制御部２から指示を受けた複合データ記録処理部７によって重畳されてＤＶＤ等の記録フォーマットで映像記録媒体９に記録される。映像記録媒体９は光ディスクまたはＨＤＤ（磁気ディスク）またはメモリカードまたは磁気テープ等で構成される。複合データ記録処理部７からの制御指示により映像記録媒体９の記録位置のシーク等の物理的な制御を記録媒体動作制御部８が行う。以上のように構成されたビデオ録画装置はマイクロコンピュータ組み込み機器または専用ＬＳＩ回路群等で構成することができる。
　【０１２５】
　次に、この装置の動作について説明する。
　【０１２６】
　制御信号入力部１は、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ録画指示の制御信号を受け付けると、装置内部の信号形式に変換した後にビデオ録画制御部２にビデオ録画指示信号を発行する。ビデオ録画指示信号を受けたビデオ録画制御部２は、装置を構成する各部にビデオ録画開始の指示を行い装置状態をビデオ録画状態に遷移させる。
　【０１２７】
　ビデオ録画開始の指示を受けた音声信号入力部３は、外部のテレビジョン信号チューナー装置またはマイクロフォンまたはＶＴＲ装置等から入力される音声信号に対してＡ／Ｄ変換処理を施し量子化を行った後、音声信号エンコード部４及び発声特徴パタン抽出部１０へ逐次音声信号信号の供給をおこなう。音声信号エンコード部４に供給された音声信号信号はＭＰＥＧ等の音声信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
　【０１２８】
　音声信号入力部３から音声信号信号の分配供給を受けた発声特徴パタン抽出部１０では、一定時間単位の音声信号信号に対してＦＦＴ（高速フーリエ変換）処理を行い、人物の発声周波数帯域の音響特性データを抽出し、さらに抽出した周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータであり、本発明ではこれを発声特徴パタンデータとして用いる。
　【０１２９】
　発声特徴パタン抽出部１０で抽出された発声特徴パタンデータは逐次映像検索インデクス生成部１１に出力される。映像検索インデクス生成部１１は、逐次入力されてくる個々の発声特徴パタンデータを、その時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめてパケット化し、パケット毎に時刻情報を付与する。これにより、発声特徴パタンデータの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造を生成し、生成したインデクス構造パケットを複合データ記録処理部７に逐次転送する。
　【０１３０】
　一方、同じくビデオ録画開始の指示を受けた映像信号入力部は、外部のテレビジョン信号チューナー装置またはカメラまたはＶＴＲ装置等から入力される映像信号に対してＡ／Ｄ変換処理を施し量子化を行い所定のデジタル映像信号信号として、映像信号エンコード部６及び視覚特徴パタン抽出部１２に供給する。映像信号エンコード部６に供給されたデジタル映像信号信号はＭＰＥＧ等の映像信号帯域圧縮処理が施され、複合データ記録処理部７へと逐次転送される。
　【０１３１】
　映像信号入力部５から映像信号信号の分配供給を受けた視覚特徴パタン抽出部１２では、入力される映像信号信号の画像フレーム毎に予め視覚特徴パタン抽出部１２に登録・内蔵してある人物の口唇周辺画像から取り出した口唇特徴標準パタンを用いて、人物の口唇周辺部の検出及び口唇周辺画像の抽出処理を行う。口唇領域の検出と口唇領域画像の抽出には、画像特徴パタンデータとして口唇領域での色空間上の色分布ヒストグラムや、画像空間上の色分布として口唇領域画像をｎ×ｍ個（ｎ、ｍは任意の自然数でｎはＸ軸上の分割数をｍはＹ軸上の分割数）の画像ブロックに分割した各々のブロック内の色平均情報または輝度平均情報等の色情報を用い、入力される画像フレーム内の口唇領域の大きさがまちまちである事を考慮して口唇領域画像サイズを変数化して口唇領域の検出および口唇領域画像の抽出を行う。
　【０１３２】
　視覚特徴パタン抽出部１２は、入力された画像フレームから口唇領域を検出及び抽出できた場合、抽出した口唇領域画像からさらに人物発声時の視覚特徴パタンデータの抽出を行う。
　【０１３３】
　視覚特徴パタンデータは口唇の形状を代表する情報を用いる。例えば前記口唇領域画像抽出時に用いた口唇領域画像空間を任意の個数に分割した画像ブロックのおのおのの色平均情報または輝度平均情報から構成される分割した画像ブロック数分成分からなるベクトルデータや、または視覚特徴抽出した口唇領域画像データに対してさらに色フィルター等を用いて口唇部分のみを抽出し、口唇部分の面積重心点から垂直方向の唇外接点２点（上下）と水平方向外接点２点（左右）につきそれぞれ前記重心点からの相対距離を算出した４個の数値成分からなるベクトルデータ等である。
　【０１３４】
　発声特徴パタン抽出部１０で抽出された発声特徴パタンデータと視覚特徴パタン抽出部１２で抽出された視覚特徴パタンデータは、逐次映像検索インデクス生成部１１に出力される。映像検索インデクス部１１は、各々逐次入力されてくる個々の発声特徴パタンデータと視覚特徴パタンデータを時系列を保持したまま映像信号及び音声信号間で同期可能な時間単位分にまとめて特徴パタンデータの種別ごとにパケット化し、パケット毎に特徴パタンデータの種別を表わす識別と時刻情報を付与する事で、発声特徴パタンデータ及び視覚特徴パタンデータの位置から時刻情報を参照して映像信号または音声信号にアクセス可能なインデクス構造パケットを生成し複合データ記録処理部７に逐次転送する。
　【０１３５】
　ビデオ録画開始の指示を受けた複合データ記録処理部７は、データの記録開始に先立ち、記録媒体動作制御部８に制御信号を発行して、記録媒体９へのデータ記録開始位置の保持を行う。各々信号帯域圧縮処理を施された映像信号ならびに音声信号、及び映像検索用インデクス生成部１１にて生成されたインデクス構造パケットデータを受け取った複合データ記録処理部７は、ＭＰＥＧ等の所定のフォーマットで映像信号と音声信号及びインデクス構造パケットデータを多重化処理し、記録媒体動作制御部８への制御信号を発行して映像記録媒体９の所定の位置に多重化したデータをＤＶＤ等の記録フォーマットにしたがって記録する。
　【０１３６】
　こうした一連の動作は、ビデオ録画開始からビデオ録画時間終了または外部からの映像信号入力の終了または外部からの制御信号によるビデオ録画停止指示、及び装置内各部からのエラー通知をビデオ録画制御部２が検出するまで繰り返され、ビデオ録画制御部２はこれらを検出した際は装置を構成する各部にビデオ録画停止指示を行い、装置を初期状態に遷移させる事で動作を終了する。
　【０１３７】
　このように、映像信号から人物発声時の視覚特徴パタンを抽出し、発生特徴パタンデータとともに映像検索用インデックスを作成したので、ＢＧＭ（バックグラウンドミュージック）や環境ノイズなどにより音声認識精度が低下する場合に、認識精度を補完することができる。
　【０１３８】
　（第６の実施の形態）
　第６の実施の形態にかかるビデオ再生装置は、第４、第５の実施の形態に記述した方式で記録された映像検索用インデクスを用いて、キーワードによる映像検索ならびに早見を行う。
　【０１３９】
　図１１に第６の実施の形態にかかるビデオ再生装置の構成が示されている。外部から入力されるビデオ再生指示制御信号等は制御信号入力部１で受信される。ビデオ再生制御部１３は、受信された制御信号の種別に応じて装置を構成する各ブロックに対して録画開始指示信号や停止指示信号を発行する。映像記録媒体９に、上述した第４、第５の実施の形態に記述した方式で生成された映像検索用インデクスを含む映像信号及び音声信号がＤＶＤ等の所定の記録フォーマットで記録されている。映像記録媒体９として光ディスクまたはＨＤＤ（磁気ディスク）またはメモリカードまたは磁気テープ等を用いる事ができる。複合データ読出処理部７は、ビデオ再生制御部１３からの指示により映像記録媒体９での記録フォーマットに従いビデオ再生位置を示す時刻位置から映像信号と音声信号を読み出し、さらに映映像検索インデックスを読み出す。このとき、記録媒体動作制御部８は複合データ読出処理部７からの制御指示により読み出しデータが記録された位置へのシーク等の物理的な制御を行う。
　【０１４０】
　音声信号デコード部１５は複合データ読出処理部１４から供給されるＭＰＥＧ等の信号帯域圧縮処理が施された音声信号の信号帯域を伸張し、音声信号出力部１６は信号帯域伸張処理を施された音声信号をＤ／Ａ変換して外部へ出力する。また、映像信号デコード部１７は複合データ読出処理部１４から供給されるＭＰＥＧ等の信号帯域圧縮処理が施された映像信号の信号帯域を伸張し、映像信号出力部１８は信号帯域伸張処理を施された映像信号をＤ／Ａ変換して外部へ出力する。
　【０１４１】
　映像検索インデクス形成部２１は、複合データ読出処理部１４から供給される映像検索用インデクスデータから映像検索用インデクス表の形成を行う。形成されたインデクス表は記憶回路２３に一時蓄積される。
　【０１４２】
　一方、外部から入力されたキーワードはキーワード入力部１９で受け付けられる。キーワードパタン変換部２０は入力されたキーワードを音素符号列に変換し、さらにパタン照合で使用するパタンデータに変換する。キーワードパタン照合部２２は、キーワードの特徴パタンデータの時系列を、記憶回路２３から読み出した映像検索用インデクス表内の特徴パタンデータの時系列とパタン照合する。以上のように構成されたビデオ再生装置はマイクロコンピュータ組み込み機器または専用ＬＳＩ回路群等で構成される。
　【０１４３】
　次に、この装置の動作について説明する。
　【０１４４】
　制御信号入力部１は、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ再生指示の制御信号を受け付けると、装置内部の信号形式に変換した後にビデオ再生制御部１３にビデオ録画指示信号を発行する。ビデオ録画指示信号を受けたビデオ再生制御部１３は、複合データ読出処理部１４に対して例えばビデオ信号の先頭を示す時刻情報とともにビデオ録画開始の指示を行う。
　【０１４５】
　ビデオ再生開始の指示を受けた複合データ読出処理部１４は、映像記録媒体９にＤＶＤ等の所定の記録フォーマットで記録されている予めＭＰＥＧ等の信号帯域圧縮処理を施されている映像信号と音声信号の読み出し位置を指示された時刻情報により決定して、記録媒体動作制御部８に映像信号と音声信号の読み出し位置へのシーク等の制御信号を発行し、映像記録媒体９から映像信号と音声信号とを時間同期を保ちながら読み出す。
　【０１４６】
　複合データ読出処理部１４により読み出された映像信号は、映像信号デコード部１７に供給されＭＰＥＧ等の信号帯域伸張処理を施され後、映像信号出力部１８に供給されＤ／Ａ変換処理によりＮＴＳＣアナログ信号等に変換されて、外部のテレビジョンモニター装置等へ出力される。
　【０１４７】
　同じく複合データ読出処理部１４により読み出された音声信号は、音声信号デコード部１５に供給されＭＰＥＧ等の信号帯域伸張処理を施され後、音声信号出力部１６に供給されＤ／Ａ変換処理によりアナログ音声信号に変換されて、外部のスピーカ装置等へ出力される。
　【０１４８】
　制御信号入力部１が、外部のリモートコントロール装置またはキーボード等の入力装置からビデオ検索指示の制御信号を受け付けると、装置内部の信号形式に変換した後にビデオ再生制御部１３にビデオ検索指示を発行する。
　【０１４９】
　ビデオ検索指示を受けたビデオ再生制御部１３は、キーワード入力部１９にキーワード入力を促す制御信号を発行する。
　【０１５０】
　キーワード入力部１９は、外部のキーボード等の入力装置からキーワードが入力されたら、ビデオ再生制御部１３へキーワード入力完了の通知を行ない、入力されたキーワード情報をキーワードパタン変換部２０へ転送する。
　【０１５１】
　キーワード入力完了通知を受けたビデオ再生制御部１３は、ビデオ信号内のキーワード検出位置を示す時刻情報を管理用にビデオ再生制御部１３内部に持つキーワード検出位置管理表を初期化した後、複合データ読出処理部１４へ映像検索用インデクスデータ読み出し指示を発行し、キーワードパタン照合部２２へパタン照合開始の指示を発行する。この際、映像記録媒体９がメモリーカードやＨＤＤまたは光ディスク等の高いアクセス性が保証される記録媒体を用いている場合は通常のビデオ再生は継続して行われており、映像記録媒体９が磁気テープ等の高いアクセス性が得られない記録媒体を用いている場合は一旦通常のビデオ再生は停止される。
　【０１５２】
　キーワード情報を受け取ったキーワードパタン変換部２０は、キーワードを音素符号列に変換し、さらに予め内部に登録してある各サブワードの発声特徴パタンデータ時系列からなる標準音声パタンを参照してキーワードの音素符号列をキーワード構成サブワード分の発声特徴パタンデータ時系列に変換し、キーワードパタン照合部２２へ転送する。
　【０１５３】
　ここで、標準音声パタン及び発声特徴パタンデータ時系列として用いるデータは、上記第４、第５の実施の形態で用いた発声特徴パタンデータと同様に人物の発声周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータの時系列である。
　【０１５４】
　一方、ビデオ再生制御部１３からの映像検索用インデクスデータ読み出し指示を受け付けた複合データ読出処理部１４は、記録媒体動作制御部８に映像検索用インデクスデータの読み出し位置のシーク及び高速読み出し等の制御信号を発行し、映像記録媒体９に所定の記録フォーマットで記録されている映像検索用インデクスデータを高速に読み出し、読み出された映像検索用インデクスデータは逐次映像検索インデクス形成部２１へ転送される。
　【０１５５】
　映像検索用インデクスデータは、第４，第５の実施の形態で記述した方式で一定時間単位でパケット化されており、パケット毎にインデクスデータの種別と映像信号及び音声信号に同期した時刻情報が添付された発声特徴パタンデータまたは視覚特徴パタンデータまたは各サブワードごとの時系列パタン照合結果である音素類似度表からなる時系列データである。
　【０１５６】
　映像検索インデクス形成部２１では、複合データ読出処理部１４から転送された映像検索用インデクスデータを前記パケット単位に再形成して形成されたインデクス構造パケットを、インデクスデータ種別ごとに時系列を保ってキーワードの照合対象となるに十分な時間長分のＦＩＦＯ（ファストイン・ファストアウト）メモリ構造または循環メモリ構造を持つ記憶回路２３に書き込む。その後キーワードパタン照合部２２によって一時記憶回路２３からのインデクス構造パケットが読み捨てらてると、その都度映像検索インデクス形成部２１は記憶回路２３上の空き記憶領域に新たに転送されて形成されるインデクス構造パケットの補充書き込みを行う。尚、映像検索インデクス形成部２１はインデクスデータの最終部分を検出したらキーワードパタン照合部２２へのインデクス読み出し終了通知を行う。
　【０１５７】
　一方、ビデオ再生制御部１３からパタン照合開始指示をうけたキーワードパタン照合部２２は、内部の処理及び記憶回路２３を初期化した後、キーワードパタン変換部２０より転送されてくるキーワードの発声特徴パタンデータ時系列を受け取って、映像検索インデクス形成部２１によりパタン照合に十分な時間区間長をもって記憶回路２３内に時刻順に並べられたインデクス構造パケット内の発声特徴パタンデータ時系列と、受け取ったキーワードの発声特徴パタンデータの時系列とのパタン照合を行う。
　【０１５８】
　このパタン照合では、記憶回路２３に時刻順に並べられたインデクス構造パケット内の発声特徴パタンデータ時系列内での一定の時刻区間内で、ＤＰ照合法等を用いて照合区間を伸縮しながら、キーワードの発声特徴パタンデータの時系列として形成した場合の各発声特徴パタンデータ間の類似度の和によって一定の類似性が得られた照合区間をキーワードの検出区間とする事となる。
　【０１５９】
　パタン照合の際は、ＤＰ照合法等の時系列パタン照合を用いて、記憶回路２３内の照合を終えたインデクス構造パケットを逐次読み捨て更新しながら照合を繰り返し、照合を繰り返す過程で一定の類似性を得られた場合は、発声特徴パタンデータ時系列の最初の発声特徴パタンデータが存在するインデクス構造パケットに添付された時刻情報を、キーワード検出位置としてその都度ビデオ再生制御部１３へ通知する。尚、キーワードパタン照合部２２は、映像検索インデクス形成部２１からインデクス読み出し終了が通知された場合は、記憶回路２３内の残りのインデクス構造パケットの発声特徴パタンデータの照合処理を終えてから、ビデオ再生制御部１３へキーワード照合の終了を通知する。
　【０１６０】
　ビデオ再生制御部１３は、キーワードパタン照合部２２より１回目のキーワード検出位置を示す時刻情報を受け取ると一旦内部のキーワード検出位置管理表の先頭に受け取った時刻情報を記録して、受け取った時刻情報からのビデオ再生指示を複合データ読出処理部１４に発行し、その後この装置は通常のビデオ再生と同様の処理を経て、キーワードを検出した時刻情報位置からの映像信号及び音声信号を装置外部に出力する。
　【０１６１】
　ビデオ再生制御部１３は、キーワードパタン照合部２２より２回目以降のキーワード検出位置を示す時刻情報を受け取ると、前記キーワード検出位置管理表の先頭から２番目に位置以降に受け取った時刻情報を順次記録して、外部からの次候補再生を示す指示が制御信号入力部１を経由して指示された場合のみ前記キーワード検出時刻管理表から順次時刻情報を取り出して、指定時刻位置からのビデオ再生指示を複合データ読出処理部１４に発行し、その後この装置は通常のビデオ再生と同様の処理を経て、キーワードを検出した時刻情報位置からの映像信号及び音声信号を装置外部に出力する。
　【０１６２】
　ビデオ再生制御部１３は、キーワードパタン照合部２２からキーワード照合の終了を通知されても前記キーワード検出位置管理表の内容は維持されており、キーワードパタン照合動作が終了してからも外部からの次候補再生指示を受け取る度に、前記キーワード検出時刻管理表から順次時刻情報を取り出して、指定時刻位置からのビデオ再生指示を複合データ読出処理部１４に発行可能であり、前記キーワード検出位置管理表は外部からの次のビデオ検索指示による新たなキーワードが外部から入力される事で初期化される。
　【０１６３】
　この装置は、こうした一連の動作を外部からのキーワードによるビデオ検索指示を受け付ける度に繰り返えす事で、ビデオ番組の発声情報へのキーワード照合で映像シーンの特定し、特定した位置からのビデオ再生による早見が可能である。
　【０１６４】
　以上の説明ではインデクス構造パケットデータが発声特徴パタンデータの時系列であった。さらに、キーワードパタン照合部２２において、入力されたキーワードのサブワード列と前記音素類似度表内での各サブワードごとの類似度を用いたパタン照合を行う方式を採る事もできる。この場合、キーワードパタン変換部２０は、キーワード入力部１９から転送されてきたキーワードをその音素符号列に変換しキーワードパタン照合部２２へ転送する。
　【０１６５】
　キーワードパタン照合部２２は、ビデオ再生制御部１３からパタン照合開始指示をうけると内部の処理及び記憶回路２３を初期化した後、キーワードパタン変換部２０より転送されてくるキーワードの音素符号列を受け取って、映像検索インデクス形成部２１によりパタン照合に十分な時間区間長をもって記憶回路２３内に時刻順に並べられたインデクス構造パケット内の音素類似度表データ時系列と、受け取ったキーワードの音素符号列との時系列パタン照合を行う。
　【０１６６】
　このパタン照合では、記憶回路２３内に時刻順に並べられたインデクス構造パケット内の音素類似度表データ時系列内での一定の時刻区間内で、照合区間をＤＰ照合法で用いられる時間伸縮の手法等によって伸縮しながらキーワードの音素系列として形成した場合のサブワードごとの類似度の和によって一定の類似性得られた照合区間をキーワードの検出区間とする。
　【０１６７】
　すなわち、記録映像と同じ時間幅を持っている音素類似度表からパタン照合に十分な区間長のインデクス構造パケット群を取り出し、取り出された各インデクス構造パケットの発声特徴パタンデータ（始端時刻、終端時刻、類似度を持つ）を時刻順に並べる。音素類似度表における１区間には全標準音声パタン（サブワード）に対応した数の発声特徴パタンデータが同一時間軸上に配列されている。そのような発声特徴パタンデータの列が、パタン照合に十分な区間長に存在する区間の数だけ連続して配列される。このような映像検索インデックスの発声特徴パタンデータの時系列と，キーワードを構成しているサブワードの発声特徴パタンデータの時系列と，をＤＰ照合法を用いて照合区間を伸縮しながら照合し、両者の類似度が所定値以上とな照合期間をキーワードの検出区間とする。両者の類似度は、キーワードを構成しているサブワード系列の順に該当するインデクス構造パケットの発声特徴パタンデータを取り出す、その取り出された各発声特徴パタンデータが持つ類似度を加算した値をである。
　【０１６８】
　キーワード検出区間の最初のサブワードの始端時刻を、キーワード検出位置としてその都度ビデオ再生制御部１３へ通知する。
　【０１６９】
　こうしたパタン照合方式によれば、パタン照合処理の際に例えば発声特徴パタンデータ時系列のような音響特性成分からなるベクトルデータ間の照合処理を行う必要がない事から、照合処理時間を大幅に削減することが可能である。
　【０１７０】
　また、映像検索インデックスを，登録されたキーワードに対応させた固定的した形で持つのではなく，入力音声の音素類似度表といった中間状態の形で保存するので、検索キーワードを予め登録する必要がなく、ユーザが不確定なキーワードを入力した場合にも検索意図を最も良く反映した映像を検索する事ができる。
　【０１７１】
　また、キーワードパタン変換部が、入力されるキーワードを視覚特徴パタンデータへの変換を行い、前記キーワードパタン照合部が、予め記録媒体に記録されている映像検索用インデクスとして第５の実施の形態で記述した人物発声時の視覚特徴パタンデータを用い、入力されたキーワードの視覚特徴パタンデータとの照合を行うように構成する事が以下に可能である。
　【０１７２】
　この場合、キーワードパタン変換部２０は、キーワード入力部１９から転送されてきたキーワード情報を音素符号列に変換し、さらに予め内部に登録してある各サブワードの発声特徴パタンデータ時系列からなる音素標準パタン、及び各発声サブワードの視覚特徴パタンデータからなる視覚特徴標準パタンを参照参照してキーワードの音素符号列をキーワード構成サブワード分の発声特徴パタンデータ時系列と視覚特徴パタンデータ時系列に変換して、キーワードパタン照合部２２へ転送する。
　【０１７３】
　ビデオ再生制御部１３からパタン照合開始指示をうけたキーワードパタン照合部２２は、内部の処理及び記憶回路２３を初期化した後、キーワードパタン変換部２０より転送されてくる前記キーワードの発声特徴パタンデータ時系列と視覚特徴パタンデータ時系列を受け取って、映像検索インデクス形成部２１により記憶回路２３内に発声特徴パタンデータで構成されるインデクス構造パケットと視覚特徴パタンデータで構成されるインデクス構造パケット別に時刻順に並べられたインデクス構造パケット内のデータ時系列とのパタン照合を、それぞれのデータ種別ごとに行う。
　【０１７４】
　各々のパタン照合では、記憶回路２３内に時刻順に並べられたインデクス構造パケット内のそれぞれの特徴パタンデータ時系列内での一定の時刻区間内で、ＤＰ照合法等を用いて照合区間を伸縮しながらキーワードのそれぞれの特徴パタンデータ時系列とのパタン照合を行いデータ種別ごとに各サブワードの特徴パタンデータ間の類似度の和を求めキーワード類似度とする。
　【０１７５】
　このようにして求められた発声特徴パタンデータ時系列照合でのキーワード類似度と、視覚特徴パタンデータ時系列照合でのキーワード類似度の和から一定の類似性得られた照合区間をキーワードの検出区間とし、検出した区間の発声特徴パタンデータ時系列の最初の発声特徴パタンデータが存在するインデクス構造パケットに添付された時刻情報を、キーワード検出位置としてその都度ビデオ再生制御部１３へ通知する。
　【０１７６】
　このように音声からの発声特徴パタンデータと、映像からの視覚特徴パタンデータを併用したパタン照合をする事により、例えば録画したビデオ番組等でＢＧＭ（バックグラウンドミュージック）や騒音などによってインデクス構造デパケット内発声特徴パタンデータを構成する音響特性データの精度が下がっている場合でも、視覚特徴パタンデータを利用する事でキーワードの検出精度の大幅な低下を防ぐ事が可能である。
　【０１７７】
　また、キーワード入力部が音声入力用マイクロフォンを備え、キーワードパタン変換部が入力されたキーワードの音声信号からキーワードの発声特徴パタンデータへの変換を行うように構成する事が以下に可能である。
　【０１７８】
　キーワード入力部１９は、外部のマイクロフォン等の音声入力装置からキーワードが入力されたら、ビデオ再生制御部１３へキーワード入力完了の通知を行ない、入力されたキーワード音声信号にＡ／Ｄ変換処理を施してキーワードパタン変換部２０へ供給する。
　【０１７９】
　キーワードパタン変換部２０は、入力されたキーワード音声信号信号に対し、一定時間単位でＦＦＴ（高速フーリエ変換）処理を行い、人物の発声周波数帯域の音響特性データを抽出し、さらに抽出した周波数帯域内での短時間スペクトルデータまたはスペクトルの対数値や、一定時間単位内の音声信号の対数エネルギー値等の音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータからなる発声特徴パタンデータ時系列を生成し、キーワードパタン照合部２２へ転送する。
　【０１８０】
　このように、マイクロフォン等を用いた音声によるキーワードの入力と、入力された音声信号からキーワード照合に必要なキーワードの発声特徴パタンデータ時系列を生成する事が可能となる。
　【０１８１】
　また、キーワード入力部がマイクロフォンと動画像入力用カメラ装置とを備え、前記キーワードパタン変換部が利用者のキーワード発声時に入力される映像信号に対して予め登録されてある発声音ごとの口唇画像特徴パタンとの照合を行ない、キーワード発声時の映像信号からキーワードの視覚特徴パタンデータへの変換を行うように構成する事が以下に可能である。
　【０１８２】
　この場合、キーワード入力部１９は、外部のマイクロフォン等の音声入力装置及びビデオカメラ装置とからキーワード情報が入力されたら、ビデオ再生制御部１３へキーワード入力完了の通知を行ない、入力されたキーワード音声信号及びキーワード発声時の人物の顔を捉えた映像信号にＡ／Ｄ変換処理を施してキーワードパタン変換部２０へ供給する。
　【０１８３】
　キーワードパタン変換部２０は、入力されたキーワード音声信号信号からは、音声認識処理で一般的に用いられる音響特徴量から構成されるＮ個（Ｎは任意の自然数）の成分を持つベクトルデータからなる発声特徴パタンデータ時系列を生成し、同じく入力されたキーワード映像信号信号の画像フレーム毎に予め登録してある人物の口唇周辺画像から取り出した口唇特徴標準パタンを用いて、人物の口唇周辺部の検出及び口唇周辺画像の抽出処理を行い、抽出した口唇領域画像からさらに口唇の形状を代表する情報からなる人物発声時の視覚特徴パタンデータを抽出し、キーワード発声時間分の視覚特徴パタンデータ時系列生成し、それぞれキーワードパタン照合部２２へ転送する。
　【０１８４】
　視覚特徴パタンデータは、例えば前記口唇領域画像抽出時に用いた口唇領域画像空間を任意の個数に分割した画像ブロックのおのおのの色平均情報または輝度平均情報から構成される分割した画像ブロック数分成分がらなるベクトルデータや、または視覚特徴抽出した口唇領域画像データに対してさらに色フィルター等を用いて口唇部分のみを抽出し、口唇部分の面積重心点から垂直方向の唇外接点２点（上下）と水平方向外接点２点（左右）につきそれぞれ前記重心点からの相対距離を算出した４個の数値成分からなるベクトルデータ等である。
　【０１８５】
　このように、マイクロフォン及びビデオカメラ装置を用いた映像・音声によるキーワードの入力と、入力された音声信号からはキーワードの発声特徴パタンデータ時系列を、映像信号からはキーワードの視覚特徴パタンデータ時系列を生成する事が可能となる。
　【０１８６】
　また、本発明のシーン検索システムは音声だけのシーン検索に適用することができる。上述した方式にしたがって映像信号と音声信号と映像検索インデックス、又は音声信号と音声映像検索インデックスとを記録媒体に蓄積する。音声映像検索インデックスは上記映像検索インデックスと同じ構造のものを用いる事ができる。キーワード検出区間の先頭サブワードの始端時刻に対応する位置から音声信号の取り出しを開始すればよい。
　【０１８７】
　【発明の効果】
　以上詳記したように本発明によれば、映像及び又は音声の検索においてユーザが希望するシーンを、あらかじめ辞書などに登録された単語やキーワード以外の未知語や、ユーザが入力した不確かなキーワードであっても、正確かつ高速に検索できる。
　【０１８８】
　【０１８９】
【図面の簡単な説明】
　【図１】
　本発明の第１の実施の形態にかかるシーン検索システムの機能ブロック図
　【図２】
　標準音声パタンのデータ構成図
　【図３】
　音素類似度表を示す図
　【図４】
　音素類似度表からキーワードの音素系列に相当するサブワードをピックアップした状態を示す図
　【図５】
　ピックアップしたサブワードをキーワードの音素系列の順に配列した状態を示す図
　【図６】
　本発明の第２の実施の形態にかかるシーン検索システムの機能ブロック図
　【図７】
　（１）　映像信号、音声信号及び映像検索インデクスを多重化したＭＰＥＧストリームの構成図
　（２）　映像ストリームの構成図
　（３）　ＧＯＰの構成図
　（４）　検索データストリームの構成図
　【図８】
　本発明の第３の実施の形態にかかるシーン検索システムの機能ブロック図
　【図９】
　本発明の第４の実施の形態にかかるビデオ録画装置の機能ブロック図
　【図１０】
　本発明の第５の実施の形態にかかるビデオ録画装置の機能ブロック図
　【図１１】
　本発明の第６の実施の形態にかかるビデオ再生装置の機能ブロック図
　【図１２】
　既存の映像検索システムの機能ブロック図
　【符号の説明】
　１　制御信号入力部
　２　ビデオ録画制御部
　３　音声信号入力部
　４　音声信号エンコード部
　５　映像信号入力部
　６　映像信号エンコード部
　７　複合データ記録処理部
　８　記録媒体動作制御部
　９　映像記録媒体
　１０　発声特徴パタン抽出部
　１１　映像検索インデクス生成部
　１２　視覚特徴パタン抽出部
　１３　ビデオ再生制御部
　１４　複合データ読出処理部
　１５　音声信号デコード部
　１６　音声信号出力部
　１７　映像信号デコード部
　１８　映像信号出力部
　１９　キーワード入力部
　２０　キーワードパタン変換部
　２１　映像検索インデクス形成部
　２２　キーワードパタン照合部
　２３　記憶回路
　１００　検索データ生成部
　１０３　音声特徴パタン抽出部
　１０４　映像検索インデクス生成部
　１０５　標準音声特徴パタン格納部
　２００　検索処理部
　２０１　記録部
　２０３　キーワード入力部
　２０５　キーワードパタン照合部