(57)【特許請求の範囲】
【請求項１】
音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積し、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する番組記録方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録方法。
【請求項２】
音声認識を行いながら番組を記録する手段と、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積する手段と、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する手段と、を備えた番組記録装置であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録装置。
【請求項３】
音声認識を行いながら番組を記録する手段と、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する再生手段と、を備えた番組記録再生装置であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録再生装置。
【請求項４】
上記請求項３における番組記録再生装置において、
前記音声認識単位の出現頻度の高い順に表示して適宜選択し、該選択された音声認識単位のテキストデータに関連する番組を再生することを特徴とする番組記録再生装置。
【請求項５】
上記請求項３における番組記録再生装置において、
前記テキストデータから番組プログラムの内容を解析する手段を備え、該解析したプログラムの内容を記録し且つ蓄積することを特徴とする番組記録再生装置。
【請求項６】
上記請求項５における番組記録再生装置において、
前記蓄積されている番組プログラムの内容を表示して適宜選択し、該選択された番組プログラムの内容に関連する番組を再生することを特徴とする番組記録再生装置。
【請求項７】
音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する番組記録再生方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法に関する。詳しくは、音声信号を認識しながら番組を記録する際に認識した音声信号をテキストデータに変換して記録し且つ蓄積する番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法に関する。
【０００２】
【従来の技術】
従来、放送番組を記録する時は、ＥＰＧ（電子番組ガイド）等を検索して番組内容を確認し、所望の放送番組を記録している。又、記録媒体に記録している放送番組を検索する時は、記録した放送番組名一覧が表示され、その中から所望の番組を選択する方法や、記録した番組の先頭を検出して再生する頭出し機能による方法等がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、ＥＰＧの情報は分類方法が定型的であり、検索する時は所望のキーワードで検索することができない、又、ＥＰＧが付加されていない放送番組もある。一方、同一の記録媒体に多くの番組を記録している場合に、所望の放送番組や放送番組の見たい場面を検索したり、これらの検索を任意のキーワードで行うことができないという問題がある。
【０００４】
従って、記録した放送番組や放送番組内の所望の場面をユーザが入力するキーワードで検索できるようにすることに解決しなければならない課題を有する。
【０００５】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法は、次に示す構成にすることである。
【０００６】
（１）音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積し、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する番組記録方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録方法。
【０００７】
（２）音声認識を行いながら番組を記録する手段と、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、
前記テキストデータから番組プログラムの内容を解析し、該解析した番組プログラムの内容を記録し且つ蓄積する手段と、
特定の音声信号をキーにして、蓄積されているテキストデータを検索する手段と、を備えた番組記録装置であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録装置。
【０００８】
（３）音声認識を行いながら番組を記録する手段と、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積する手段と、
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する再生手段と、を備えた番組記録再生装置であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録する手段を備えたことを特徴とする番組記録再生装置。
（４）上記（３）における番組記録再生装置において、
前記音声認識単位の出現頻度の高い順に表示して適宜選択し、該選択された音声認識単位のテキストデータに関連する番組を再生することを特徴とする番組記録再生装置。
（５）上記（３）における番組記録再生装置において、
前記テキストデータから番組プログラムの内容を解析する手段を備え、該解析したプログラムの内容を記録し且つ蓄積することを特徴とする番組記録再生装置。
（６）上記（５）における番組記録再生装置において、
前記蓄積されている番組プログラムの内容を表示して適宜選択し、該選択された番組プログラムの内容に関連する番組を再生することを特徴とする番組記録再生装置。
（７）音声認識を行いながら番組を記録し、
該音声認識の結果をテキストデータに変換して記録し且つ蓄積し、
入力したキーワードと前記蓄積されているテキストデータとを比較して一致したテキストデータに関連する番組を再生する番組記録再生方法であって、
前記音声認識の結果と共に各音声認識単位の出現頻度をも記録することを特徴とする番組記録再生方法。
【０００９】
このように、番組を記録する際に、その音声信号を認識してテキストデータとして記録蓄積することにより、このテキストデータに基づいて後に番組の内容について検索したり、このテキストデータを加工してユーザに提示等する二次利用がし易くなる。
【００１０】
【発明の実施の形態】
次に、本発明に係る番組記録方法及び番組記録装置及び番組記録再生装置及び番組記録再生方法の実施の形態を図面を参照して説明する。
【００１１】
本発明に係る番組記録方法及び番組記録再生装置及び番組記録再生方法を具現化する番組記録装置は、図１に示すように、デジタル放送番組ＴＳ（トランスポートストリーム）を所定のパケットに分別するＤＭＵＸ部１０と、蓄積するデータの制御を行う制御部２０と、音声認識の結果を処理する音声信号処理部３０と、テキストデータを含む放送番組に関するデータを蓄積する情報蓄積部４０と、情報蓄積部４０に蓄積されているデータを所定のパケットにするＭＵＸ部５０とから大略構成されている。
【００１２】
ＤＭＵＸ部１０は、デマルチプレクサであり、デジタル放送番組ＴＳ（トランスポートストリーム）を画像パケット、音声パケット、カウンター値としての時間情報、その他のストリームに関する情報であるプログラム情報に分別して出力する。
【００１３】
制御部２０は、プログラム情報や外部からの入力情報に従い、情報蓄積部４０に対してパケットの記録や消去及び出力などの指示を行う。
【００１４】
音声信号処理部３０は、時間情報に従い音声パケットから音声信号を復元するＤＥＣ部３１と、音声信号を認識して文字データに変換する音声認識部３２と、音声パケットと文字データの同期を取るための時間情報を生成するシフト部３３と、文字データと時間情報を合成して出力する合成部３４から構成されている。
【００１５】
情報蓄積部４０は、制御部２０の制御に従い、音声パケットや画像パケット、音声処理部３０で処理された文字データ（テキストデータ）、プログラム情報等を記録媒体４１に記録して蓄積する。又、制御部２０から指定されたこれらの蓄積情報を記録媒体４１から抽出してＭＵＸ部５０へ出力する。
【００１６】
ＭＵＸ部５０は、マルチプレクサであり、制御部２０からの指示に従って、情報蓄積部４０から抽出された音声パケット、画像パケット、文字データ及びプログラム情報を放送番組ストリーム（ＴＳ；トランスポートストリーム）に合成して出力する。
【００１７】
このような構成の番組記録装置により、デジタル放送番組を記録する際に音声認識の結果をテキストデータにして記録し、その記録したデータを検索して再生する時の動作を説明する。
【００１８】
まず、外部チューナ等から受信されたデジタル放送信号（ＭＰＥＧ２−ＴＳ）がＤＭＵＸ部１０へ送られる。ＤＭＵＸ部１０はこのデジタル放送信号を解析して、画像パケット、音声パケット、システムクロックに同期する時間情報（カウンター値）、プログラム情報に分離して出力する。
【００１９】
出力された音声パケット、画像パケットは情報蓄積部４０へ送られ、プログラム情報は制御部２０へ送られる。同時に音声パケットと時間情報は音声処理部３０にも送られる。
【００２０】
制御部２０は、ＤＭＵＸ部１０から出力されたプログラム情報に基づき情報蓄積部４０に対して送られてくる音声パケット、画像パケットを記録媒体４１に記録するように指示を行う。
【００２１】
一方、音声処理部３０はＤＭＵＸ部１０からの音声パケットと時間情報により音声認識してその結果を文字データ（テキストデータ）に変換する処理を行う。この処理する過程を図３を併用して図２を参照して以下説明する。
【００２２】
先ず、ＤＭＵＸ部１０から出力された音声パケットは、図２（Ａ）に示すように、時間情報Ｔ１〜Ｔ５をそれぞれに持った音声信号パケットＡ〜Ｅである。
【００２３】
ＤＥＣ部３１は、このような音声信号パケットＡ〜Ｅを時間情報Ｔ１〜Ｔ５順に従って、ベースバンドの音声信号Ａ'〜Ｅ'に復元して音声認識部３２へ送る（図２（Ｂ）参照）。音声認識部３２では、音声信号Ａ'〜Ｅ'を音声認識して文字データ（テキストデータ）ａ〜ｅに変換して合成部３４へ送る。音声信号から文字データに変換するまでの変換時間αを要するため、認識した文字データａ〜ｅの時間情報は、文字変換前に有していた時間Ｔ１〜Ｔ５に対して変換時間αだけ遅延することになる。又、この文字データａ〜ｅは単語ｗ１〜ｗｎが集合したものであるので、その単語ｗ１〜ｗｎのそれぞれが変換時間α１〜αｎの遅延を含んだ時間ｔ１〜ｔｎという時間情報を持つ（図２（Ｃ）参照）。
【００２４】
一方、シフト部３３では、音声認識部３２で音声認識や文字データへの変換時間αの遅延を管理しカウンター値として合成部３４へ送る。合成部３４は、記録媒体４１に記録された音声パケットと文字データａ〜ｅとを同期させる為、音声認識部３２から送られてくる文字データａ〜ｅの単語ｗ１〜ｗｎが持つ時間情報ｔ１〜ｔｎから、単語の変換時間α１〜αｎ（遅延分）を差し引いた（ｔ１−α１）〜（ｔｎ−αｎ）という新たな時間情報を生成する。そして、この時間情報（ｔ１−α１）〜（ｔｎ−αｎ）を対応する各単語ｗ１〜ｗｎに新たな時間情報として付加する（図２（Ｄ）参照）。
【００２５】
このような処理を行うことにより、図３に示すような音声パケットとの同期がとれた時間情報ｔ１'〜ｔｎ'をもつ文字データａ'〜ｅ'が生成され、この文字データａ'〜ｅ'を情報蓄積部４０へ送る。情報蓄積部４０は、制御部２０に従い、ＤＭＵＸ部１０から送られてくる画像パケット、音声パケット、プログラム情報と、音声認識されて変換された文字データを各属性に分別して記録媒体４１へ記録して蓄積する（図４参照）。
【００２６】
そして、このように蓄積された放送番組を検索する時に所望のキーワードを入力されると、入力されたキーワードは、制御部２０で処理されて情報蓄積部４０へ送られる。情報蓄積部４０は、入力されたキーワードと記録媒体４１に蓄積されている文字データを比較参照し、一致する文字データを検索する。そして、一致した文字データがあれば、その文字データの時間情報と関連する画像パケット、音声パケット、プログラム情報を抽出して文字データと共にＭＵＸ部５０へ出力する。ＭＵＸ部５０では、制御部２０の指示により情報蓄積部４０から抽出された文字データ、画像パケット、音声パケットとプログラム情報をＴＳに合成して出力する。このキーワードは、即ち、検索するためのキーであり、特定の音声信号、例えば特定の歌手の音声信号や特定の音楽メロディーでも良く、適宜設定選択することができる。
【００２７】
このように放送番組の内容が文字データとして情報蓄積部４０に蓄積されているので、所望のキーワードを入力すると、制御部２０でキーワードにより蓄積された文字データを検索し、一致すれば所望の内容の場面が再生される。又、ＥＰＧを参照して文字データとの比較分析を行い、番組内容概要を文字データとして表示させたり、文字データをそのまま若しくは翻訳等の変換を行って表示させることもできる。
【００２８】
尚、音声認識部３２で音声認識する単位は任意の長さで良く、合成部３４で付加する時間情報も単語毎でなく任意長の識別単位の文字データに付加するようにしても良い。又、この識別単位の文字データを複数まとめて時間情報を付加して時間情報のデータ量を減らせば、記憶媒体の容量節約ができる。更に自然界の音や楽器等の音声以外の音は別途区別され、これに任意に識別できる文字データを割当てて処理することも可能である。
【００２９】
次に、第２の実施の形態の番組記録装置について、第１の実施の形態で参照した図１を用いて説明する。
【００３０】
第２の実施の形態の番組記録装置は、音声認識した文字データの出現頻度をデータ化するものであり、その装置構成は第１の実施の形態と同じであるため説明は省略する。又、各部で同じ動作を行っている場合にもその説明は省略する。
【００３１】
図１の音声処理部３０の音声認識部３２は、ＤＥＣ部３１で復元された音声信号を音声認識して文字データに変換し、更にこの文字データの各単語Ａ〜Ｄ・・・の出現頻度ａ〜ｃ・・・を調べて図５のヒストグラムのようにデータ化し、この出現頻度ａ〜ｃ・・・を各単語Ａ〜Ｄに付加して、図６に示すようなＨｉｓｔデータを生成する。そして、このＨｉｓｔデータを文字データと共に情報蓄積部４０へ送り、記録媒体４１に記録して蓄積する。
【００３２】
そして、ユーザーによりキーワードが入力されると、そのキーワードとＨｉｓｔデータを参照して、記録されている放送番組からそのキーワードの出現頻度の高い放送番組名を順に一覧表示したり、更にＥＰＧと組み合わせて記録する放送番組を検索することもできる。尚、出現頻度は単語ではなく任意長の文字データの出現頻度でもよいことは勿論である。
【００３３】
【発明の効果】
以上説明したように、番組を記録する際、番組の音声信号を音声認識させ、これを文字データとして蓄積させることにより、ユーザが任意のキーワードで記録した番組及びこの番組のある一場面を検索することができ、より効率的できめ細かい検索が可能になる。
【００３４】
更に、ＥＰＧ等を利用することで番組内容の概要を知ることもできる。又、ＥＰＧを持たない番組の検索も容易になり、加えて、文字データをそのまま若しくは翻訳して表示させることにより字幕として使用することもできる。
【図面の簡単な説明】
【図１】  本発明に係る番組記録装置の主要部を示したブロック図である。
【図２】  本発明係る番組記録装置で音声パケットを音声認識して文字データに変換する時の時系列を表す説明図である。
【図３】  本発明係る文字データのフォーマット形式の一例を表す概念図である。
【図４】  本発明係る番組記録装置の記録媒体に記録されたデータのファイル構造を表す概念図である。
【図５】  本発明係る番組記録装置で文字データの出現頻度をヒストグラム化した状態を表す概念図である。
【図６】  出現頻度を付加した文字データのフォーマット形式の一例を表す概念図である。
【符号の説明】
１０；ＤＭＵＸ部、２０；制御部、３０；音声処理部、３１；ＤＥＣ部、３２；音声認識部、３３；シフト部、３４；合成部、４０；情報蓄積部、４１；記録媒体、５０；ＭＵＸ部
【図１】
0004513165.tif 000002
【図２】
0004513165.tif 000003
【図３】
0004513165.tif 000004
【図４】
0004513165.tif 000005
【図５】
0004513165.tif 000006
【図６】
0004513165.tif 000007