【手続補正書】
【提出日】平成17年4月4日(2005.4.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】  明細書
【発明の名称】  音声対話装置及び音声対話方法
【特許請求の範囲】
【請求項１】  入力信号から電子番組ガイドを抽出する電子番組ガイドデコーダと、
前記電子番組ガイドの項目を検索用識別子が付与された番組レコードに変換する知識抽出部と、
前記番組レコードを記憶する番組データベースと、
ユーザから入力された音声を認識して前記検索用識別子を付与した音声理解結果を出力する音声理解部と、
前記音声理解部から出力された前記音声理解結果を用いて前記番組データベースの前記番組レコードを検索し、当該検索の結果を用いて応答文を作成する対話制御部と、
前記応答文を出力する音声出力部と、
を含む音声対話装置。
【請求項２】  字幕放送信号から字幕放送データを抽出し、前記検索用識別子が付加された字幕放送レコードを出力する字幕放送デコーダと、
前記字幕放送レコードを記憶する字幕データベースと、を更に含み、
前記対話制御部が、更に、前記認識結果を用いて前記字幕放送データベースを検索する請求項１記載の音声対話装置。
【請求項３】  電子メールを取り込み、前記検索用識別子が付与された電子メールレコードに変換する電子メールインポート部と、
前記電子メールを記憶する電子メールデータベースと、を更に含み、
前記対話制御部が、更に、前記認識結果を用いて前記電子メールデータベースを検索する請求項１記載の音声対話装置。
【請求項４】  前記検索用識別子と関連づけた画像又は音楽を記憶する画像・音楽ライブラリと、
前記画像又は音楽を出力する画像・音楽出力部と、を更に含み、
前記対話制御部が、更に、前記認識結果を用いて前記画像又は音楽を前記画像・音楽ライブラリから読み出して前記画像・音楽出力部に出力する、請求項１記載の音声対話装置。
【請求項５】  前記番組レコードが、番組の出演者を示す項目、または、西暦又は和暦により番組放送の日時を示す項目を含む、請求項１から４までのいずれか一つに記載の音声対話装置。
【請求項６】  前記番組レコードを所定の基準により前記番組データベースに残す、データベース整理部を、
更に含む、請求項１から４までのいずれか一つに記載の音声対話装置。
【請求項７】  前記所定の基準は、
予め定めた放送日時の番組レコード、視聴された番組レコード、録画された番組レコード、または、前記対話制御部により検索された番組レコード、
を前記番組データベースに残す、請求項６に記載の音声対話装置。
【請求項８】  前記番組レコードは、番組の録画、番組の視聴、または、前記対話制御部による検索の有無を示す項目を含む、請求項７に記載の音声対話装置。
【請求項９】  前記応答文が、テレビ番組に関する情報である請求項１から８までのいずれか一つに記載の音声対話装置。
【請求項１０】  知識抽出部が、電子番組ガイドの項目を検索用識別子が付与された番組レコードに変換するステップと、
前記番組レコードを番組データベースに記憶するステップと、
音声理解部が、ユーザから入力された音声を認識して前記検索用識別子を付与して音声理解結果を出力するステップと、
前記対話制御部が、前記音声理解部から出力された前記音声理解結果を用いて前記番組データベースの前記番組レコードを検索し、当該検索の結果を用いて応答文を作成するステップと、
音声出力部が前記応答文を出力するステップと、
を含む音声対話方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音声対話装置、特にＴＶ番組に関する情報を問い合わせることができる音声対話装置に関する。
【０００２】
【従来の技術】
従来、音声対話装置は特開２０００−２５０５７５号公報に記載されたものが知られている。図１５に従来の音声対話装置の構成を示す。
【０００３】
１００１は、電子番組ガイド（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ：ＥＰＧ）をデコードする電子番組ガイドデコーダを示し、１００２は、ＥＰＧから番組に関する情報を、音声理解技術に合わせたキーワードとして抽出する知識抽出部を示し、１００３は、知識抽出部が抽出した番組に関する情報を蓄積する番組データベースを示し、１００８は、番組データベースに蓄積された番組情報を周期的に削除するエクスパイヤ部を示し、１００５は、入力される音声信号から口述リクエストの語義内容を解釈する音声理解部を示し、１００６は、キーワードからリクエストされた番組に関する情報を番組データベースから検索する対話制御部を示し、１００７は、口述リクエストの内容を補完するために、質問事項を音声信号として出力する音声出力部を示す。
【０００４】
従来の音声対話装置は、情報を蓄積する処理と口述リクエストに基づき情報を検索し、番組を選択する処理である。
【０００５】
情報を蓄積する処理は、電子番組デコーダによりデコードしたＥＰＧを知識抽出部に出力し、知識抽出部が番組に関する情報を音声理解技術に合わせたキーワードとして抽出し、番組データベースに蓄積する。ここで、番組データベースの蓄積内容はエクスパイヤ部により監視され、放送終了など番組選択上意味のなくなった番組レコードが周期的に取り除かれる。
【０００６】
次に、口述リクエストに基づき情報を検索し、番組を選択する処理は、音声理解部により口述リクエストから語義内容を解釈し、番組に関するキーワードを抽出し、対話制御部が、得られたキーワードにより番組データベースの検索及び番組の選択を行い、テレビチャンネルを選局する。また、音声理解部に入力される口述リクエストの内容が、チャンネル選択に不足している場合は、対話制御部の要求に従って質問を出力し、情報不足を補完する。
【０００７】
【発明が解決しようとする課題】
しかし、従来の音声対話装置では、蓄積された番組に関する情報は、周期的に削除されるため、一定期間が経過した過去分に関する番組に関する情報を得ることが不可能であり、また、番組に関する情報源もＥＰＧに限られているため、ユーザ個人の事情を含んだ番組に関する情報を得ることは不可能であるという問題点が存在する。
【０００８】
【課題を解決するための手段】
この課題を解決するために本発明の音声対話装置は、入力信号から電子番組ガイドを抽出する電子番組ガイドデコーダと、前記電子番組ガイドの項目を検索用識別子が付与された番組レコードに変換する知識抽出部と、前記番組レコードを記憶する番組データベースと、ユーザから入力された音声を認識して前記検索用識別子を付与した音声理解結果を出力する音声理解部と、前記音声理解部から出力された前記音声理解結果を用いて前記番組データベースの前記番組レコードを検索し、当該検索の結果を用いて応答文を作成する対話制御部と前記応答文を出力する音声出力部と、を含む。
【０００９】
【発明の実施の形態】
本発明の実施形態は、入力信号からテレビ番組表を電子化した電子番組ガイドを抽出する電子番組ガイドデコーダと、前記電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコードに変換する知識抽出部と、前記番組レコードを記憶する番組データベースと、前記番組レコードを予め定めた基準により整理するデータベース整理部と、番組に関する情報を要求する口述リクエストの音声信号が入力され、前記音声信号から語義内容を解釈する音声理解部と、前記音声理解部の出力信号を用いて前記番組データベースを検索し、前記検索結果を用いて応答文を作成する対話制御部と、前記応答文を出力する音声出力部とを含む音声対話装置としたものであり、ＥＰＧ情報から抽出された番組レコードを番組データベースとして蓄積し、音声対話によって、番組に関する情報を提供することができるという作用を有する。
【００１０】
好ましくは、番組レコードが、更に、番組の出演者を示す項目を含む音声対話装置としたものであり、出演者名による番組の検索や、番組レコード内の出演者名の提供が行えるという作用を有する。
【００１１】
好ましくは、番組レコードが、更に、西暦又は和暦により番組放送の日時を示す項目を含む音声対話装置としたものであり、ＥＰＧの放送日時を西暦又は和暦により表示することで、検索を容易にすることができるという作用を有する。
【００１２】
好ましくは、番組レコードが、更に、録画、視聴及び検索の有無を示す重要度の項目を含む音声対話装置としたものであり、番組レコードの並べ替えや削除などの処理を容易にすることができるという作用を有する。
【００１３】
好ましくは、番組レコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００１４】
好ましくは、データベース整理部が、予め定めた放送日時の番組レコード、視聴された番組レコード、録画された番組レコード及び対話制御部により検索された番組レコードを番組データベースに残す音声対話装置としたものであり、使用者の嗜好に合わせた番組レコードの保存ができるという作用を有する。
【００１５】
好ましくは、字幕放送信号から字幕放送データを抽出し、検索用識別子を付加した字幕放送レコードを出力する字幕放送デコーダと、前記字幕放送レコードを記憶する字幕データベースとを更に含み、対話制御部が、更に、前記字幕放送データベースを検索する音声対話装置としたものであり、音声対話により、字幕放送レコード及び番組レコードが関連付けられた番組情報を、提供することができるという作用を有する。
【００１６】
好ましくは、字幕放送レコードが、更に、録画、視聴及び検索の有無を示す重要度の項目を含む音声対話装置としたものであり、字幕放送レコードの並べ替えや削除などの処理を容易にすることができるという作用を有する。
【００１７】
好ましくは、字幕放送レコードが、更に、西暦又は和暦により放送の日時を示す項目を含む音声対話装置としたものであり、字幕放送レコードの放送日時を西暦又は和暦により表示することで、検索を容易にすることができるという作用を有する。
【００１８】
好ましくは、字幕放送レコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００１９】
好ましくは、データベース整理部が、予め定めた放送日時の字幕放送レコード、視聴された字幕放送レコード及び対話制御部により検索された字幕放送レコードを字幕放送データベースに残す音声対話装置としたものであり、使用者の嗜好に合わせた番組レコードの保存ができるという作用を有する。
【００２０】
好ましくは、電子メールを取り込み、検索用識別子を付与した電子メールレコードに変換する電子メールインポート部と、前記電子メールを記憶する電子メールデータベースとを更に含み、対話制御部が、更に、前記電子メールデータベースを検索する音声対話装置としたものであり、音声対話により、電子メールレコード及び番組レコードが関連付けられた番組情報を、提供することができるという作用を有する。
【００２１】
好ましくは、電子メールレコードが、更に、検索の有無を示す重要度の項目を含む音声対話装置としたものであり、電子メールレコードの並べ替えや削除などの処理を容易にすることができるという作用を有する。
【００２２】
好ましくは、電子メールレコードが、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００２３】
好ましくは、データベース整理部が、予め定めた送信日の電子メールレコード及び対話制御部により検索された電子メールレコードを電子メールデータベースに残す音声対話装置としたものであり、使用者の嗜好に合わせた電子メールレコードの保存ができるという作用を有する。
【００２４】
好ましくは、画像又は音楽を記憶する画像・音楽ライブラリと、前記画像又は音楽を出力する画像・音楽出力部とを更に含み、対話制御部が、更に、前記画像又は音楽を前記画像・音楽ライブラリから読み出しする音声対話装置としたものであり、ＥＰＧ情報から抽出された番組情報を番組データベースとして蓄積し、音声対話によって情報を提供することができると共に、画像・音楽コンテンツを提示することができるという作用を有する。
【００２５】
好ましくは、画像又は音楽が、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語により記述される音声対話装置としたものであり、番組レコードの検索を容易にすることができるという作用を有する。
【００２６】
好ましくは、応答文が、テレビ番組に関する情報である音声対話装置としたものであり、音声対話によりテレビ番組に関する情報を提供できるという作用を有する。
【００２７】
以下、本発明の実施の形態について、図１から図１４を用いて説明する。
【００２８】
（実施の形態１）
本発明の技術によれば、音声対話技術を用いて、テレビ番組に関する知識内容を知ることができる。
【００２９】
図１は、本発明第１の実施の形態による音声対話装置を示す。ここで、１０１は、入力信号からテレビ番組表を電子化した電子番組ガイドを抽出する電子番組ガイドデコーダを示し、１０２は、電子番組ガイドの項目を統合又は分割し、検索用識別子を付与した番組レコード３０１に変換する知識抽出部を示し、１０３は、番組レコード３０１を記憶する番組データベースを示し、１０４は、番組レコード３０１を予め定めた基準により整理するデータベース整理部を示し、１０５は、口述リクエストの音声信号が入力され、音声信号から語義内容を解釈する音声理解部を示し、１０６は、音声理解部１０５の出力信号を用いて番組データベース１０３を検索し、検索結果を用いて応答文を作成する対話制御部を示し、１０７は、応答文を出力する音声出力部を示す。
【００３０】
音声対話装置は、テレビに内蔵されていることが好ましい。しかし、この装置は、外付けテレビチューナ（Ｓｅｔ  Ｔｏｐ  Ｂｏｘ：ＳＴＢ）やビデオ録画装置に内蔵することもできる。
【００３１】
また、ＥＰＧデータは、テレビ放送信号、電話通信回線を介するインターネット系サービスプロバイダ及び専用のダイヤル呼出式ＥＰＧサービスプロバイダからダウンロードすることができる。
【００３２】
音声対話装置の動作には、ＥＰＧから番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、入力された口述リクエストの語義を解釈し、番組情報を含む応答文を出力する第２の処理がある。
【００３３】
図２に第１の処理のフローチャートを示し、図３に第２の処理のフローチャートを示す。
【００３４】
まず、第１の処理について説明する。電子番組ガイドを含む信号が入力され（Ｓ２０１）、電子番組ガイドデコーダ１０１は、入力信号をデコードし（Ｓ２０２）、テキスト形式に変換及びフォーマットされたＥＰＧデータとし、図１には図示していないが、必要ならばテレビ画面などに表示され、知識抽出部１０２に出力される。
【００３５】
ここで、図４に、デコードされたＥＰＧデータ２０１を示す。項目としては、ＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）、開始日、開始時間、持続時間、ジャンル、タイトル及びテキストを示す。ＩＤは、テレビ番組を特定する識別子を示し、開始日は、テレビ番組の放送開始の日付を示し、開始時間は、放送開始の時刻を示し、持続時間は、テレビ番組の放送時間を示し、ジャンルは、テレビ番組の属するジャンルを示し、タイトルは、テレビ番組のタイトルを示し、テキストは、テレビ番組に関する内容等を示す。
【００３６】
また、開始日は、ディジタル衛星放送（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ：ＢＳディジタル放送）のＥＰＧを用いているため、ＢＳディジタル放送開始日である２００１年５月１０日からの相対的な日付が採用されている。
【００３７】
更に、ジャンルには、「映画（邦画）」などの表現が見られる。これは、上位概念＝映画、下位概念＝邦画という概念情報を別途記憶されている。また、タイトルには、「（字）（Ｓ）ドラマＡ『第１０話Ｂ』」と記載され、（字）及び（Ｓ）は、字幕放送及びステレオ放送を示し、『』はサブタイトルを示す。また、テキストは、「監：」は、番組を作製した監督を示し、「出：」は、番組の出演者を示す。
【００３８】
知識抽出部１０２は、デコードされたＥＰＧデータ２０１を番組データベース１０３内に格納し、検索を容易に実行するためのフォーマットに再構成する機能を有する（Ｓ２０３）。再構成された結果を番組レコード３０１と呼ぶ。この番組レコード３０１は、予め決められた一連の項目に関する検索可能な形式を有しており、例えば、これに限るわけではないが、放送日時、タイトル名、出演者及び主題歌を含む項目となる。
【００３９】
図５に、知識抽出部１０２から出力され、文書内のデータに対して、独自の属性情報や論理構造を定義できる言語であるＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ：ＸＭＬ）形式により、記述された番組レコード３０１を示す。ＥＰＧデータ２０１の項目を番組レコード３０１の項目とすることもできるが、より高度な検索を行うためには、ＥＰＧデータ２０１の各項目を検索しやすいように加工した方がよい。また、各項目が＜＞で開始し、＜／＞で終了する。
【００４０】
ＩＤは、テレビ番組に固有の識別子であるため、ここでは、変換することなく使用する。放送日時は、図４で示した開始日とＢＳディジタル放送開始日とから放送日を計算して、更に開始時間を含み、放送開始時間が２００２年４月２０日２１時ならば「２００２０４２０２１００」と表記し、ジャンルには、下位概念を用いて「邦画」と表記し、タイトルには、（字）、（Ｓ）及び『』内のサブタイトルを削除し、映画Ａ又はドラマＡと表記する。
【００４１】
なお、放送開始日時は、和暦であってもよい。
【００４２】
また、番組に関係する人物は、図４のテキストの項目から、「監：」「出：」で始まる文字列をそれぞれ、監督、出演者と判定し、それ続く「、」で区切られた部分を人名と見なし、項目を「監督」及び「出演者」と表記する。
【００４３】
このようにして、図５のように、番組レコード形式のＩＤ、放送日時、ジャンル、タイトル、サブタイトル、監督及び出演者の項目を埋めることができる。
ここで、項目を検索用識別子とすることで、出演者が俳優Ａである番組を検索することや、特定の番組の出演者に対するリクエストに対して、俳優Ａと答えることができる。
【００４４】
番組データベース１０３は、知識抽出部１０２で作成された番組レコード３０１を蓄積し（Ｓ２０４）、対話制御部１０６の応答に対して番組レコード３０１を出力し、更に、データベース整理部１０４により、不要と判断された番組レコード３０１は随時削除される。
【００４５】
データベース整理部１０４は、番組レコード３０１を所定の基準により整理する。例えば、現在放送中の番組、これから放送される番組、放送終了後一週間以内の番組、録画された番組、視聴された番組及び対話制御部１０６により検索された項目を含む番組の番組レコード３０１を残し（Ｓ２０５）、それ以外の番組レコード３０１を削除する（Ｓ２０６）。そのためには、番組レコード３０１に、録画、視聴及び検索の有無を示す重要度の項目を追加し、管理する。
【００４６】
次に、第２の処理について説明する。口述リクエストとして音声信号が、音声理解部１０５に入力される（Ｓ３０１）。音声は、音声認識技術により、音声認識結果の単語列に変換される。ここで、適当な音声認識技術が、リー・Ｋによる「語彙話者不特定連続音声認識（Ｔｈｅ  Ｓｐｈｉｎｘ  Ｓｙｓｔｅｍｓ，  Ｐｈ．Ｄ．  Ｔｈｅｓｉｓ，  Ｃａｒｎｅｇｉｅ  Ｍｅｌｌｏｎ  Ｕｎｉｖｅｒｓｉｔｙ，  １９８８）」に教示されている。音声認識結果の単語列は、音声理解部１０５に含まれるフレーズ辞書を参照して、検索コマンドに変換され、音声理解結果となる（Ｓ３０２）。
【００４７】
図６に、フレーズ辞書４０１を示す。各辞書項目は３つのパートからなる。１つ目のパートは、表記であり、番組レコード３０１内の表現である。２つ目のパートは、表記に対応する読み情報であり、発音記号に変換して音声認識に利用する。ここでは、カタカナで表記する。３つ目のパートは、番組レコード３０１の項目や検索結果の出力に対する指定を表したもので検索コマンドを表記する。
【００４８】
例えば、１行目には、「監督Ａ＋カントクエー＋監督」と記載されており、番組レコード３０１内での表記が監督Ａであり、読み情報がカントクエーであり、項目及び検索コマンドが監督である。
【００４９】
対話制御部１０６は、検索コマンドを用いて、番組データベース１０３から適当な番組レコード３０１を呼び出し、番組レコード３０１内の項目を含むように応答文を生成し、音声出力部１０７に出力する（Ｓ３０３）。応答文の生成は、予め問い合わせ応答文パターンとして、例えば、「〔出演者〕です」を用意しておき、〔〕内を具体的な内容に置きかえることで実現できる（Ｓ３０７）。
【００５０】
音声出力部１０７は、応答文を音声合成し、出力する（Ｓ３０８）。音声合成処理は、テキスト文を発音記号の列に変換し、予め用意しておいた発音記号に対する波形データを、発音記号の列にしたがって接続することで実現できる。
【００５１】
以下に対話例を示す。
【００５２】
ユーザが「ドラマＡで俳優Ａと共演していたのは誰？」と質問し、システムが「俳優Ｂ、俳優Ｃ及び俳優Ｄです。」と応答する。
【００５３】
この対話例は、以下の手順で動作している。
【００５４】
まず、音声理解部１０５が、ユーザの質問を音声認識技術により単語列化する。この単語列は、いくつかのキーフレーズ、すなわち、「ドラマＡ」、「俳優Ａ」「共演していたのは誰？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（タイトル＝ドラマＡ）、（出演者＝俳優Ａ）、（共演者リクエスト＝共演していたのは誰）｝という検索コマンドに変換され、対話制御部１０６に渡される。
【００５５】
次に、対話制御部１０６では、番組データベース１０３から、タイトルが「ドラマＡ」であり、出演者が「俳優Ａ」である番組レコード３０１を検索する。これにより、番組レコード３０１が特定され、出力すべき共演者を求める。すなわち、全出演者｛俳優Ａ、俳優Ｂ、俳優Ｃ、俳優Ｄ｝を得て、俳優Ａを除いた出演者｛俳優Ｂ、俳優Ｃ、俳優Ｄ｝を用いて、応答文「俳優Ｂ、俳優Ｃ及び俳優Ｄです。」を作成し、音声出力部１０７に出力する。
【００５６】
最後に、音声出力部１０７が、音声合成技術により、応答文の文字を音声信号に変換して出力する。
【００５７】
なお、検索結果が複数である場合は（Ｓ３０４）、対話制御部１０６が口述リクエストの検索範囲を限定する応答文を作成し（Ｓ３０５）、音声出力部１０７から出力し（Ｓ３０６）、更なる口述リクエストを要求することで、絞り込みを行うことができる。
【００５８】
このようにして、音声による要求に応じて、番組データベース１０３から所望の項目を検出し、音声による提示が可能となる。
【００５９】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【００６０】
（実施の形態２）
図７は、本発明第２の実施の形態による音声対話装置を示す。ここで、５０１は、字幕放送信号から字幕放送データを抽出する字幕放送デコーダを示し、５０２は、字幕放送レコードを記憶する字幕データベースを示し、５０３は、音声理解部１０５の出力信号を用いて字幕放送データベース及び番組データベース１０３を検索し、検索結果を用いて応答文を作成する対話制御部を示す。
【００６１】
本発明第２の実施の形態による音声対話装置は、字幕放送された内容を用いて、テレビ番組に関する情報を出力するものであり、ＥＰＧデータ２０１から番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、字幕放送からＸＭＬ形式の字幕放送レコード６０１を作製し、字幕データベース５０２に蓄積する第２の処理と、入力された口述リクエストの語義を解釈し、字幕データベース５０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する第３の処理から構成される。
【００６２】
ここで、第１の処理及び第３の処理の入力された口述リクエストの語義の解釈に関する処理は、第１の実施の形態と同様の動作をするので、説明を省略し、残りの第２の処理及び第３の処理の字幕データベース５０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する処理について説明する。
【００６３】
また、図８は第２の実施の形態による第２の処理のフローチャートを示す。
【００６４】
まず、第２の処理について説明する。字幕放送を含む信号が入力され（Ｓ８０１）、字幕放送デコーダ５０１は、字幕放送信号から字幕放送データを抽出し（Ｓ８０２）、字幕のテキストに変換し、放送日時などのタグ付き情報を加えて、字幕放送レコードを作成する（Ｓ８０３）。字幕放送レコード６０１を図９に示す。項目として、放送日時と字幕放送の内容が記述されている。放送日時は、２００２年４月５日１９時であるため、「２００２０４０５１９」と記述される。また、内容については、字幕放送データをフレーズに変換することによる装置への負荷を軽減するために、字幕放送データを全て記述する。また、各項目は番組レコード３０１と同様に、＜＞により開始し、＜／＞により終了している。
【００６５】
また、字幕データベース５０２は、字幕放送デコーダ５０１により作成された字幕放送レコードを蓄積し（Ｓ８０４）、対話制御部５０３の応答に対して字幕放送レコードを出力し、更に、第１の実施の形態と同様にデータベース整理部１０４により、不要と判断された場合は（Ｓ８０５）、字幕放送レコードは随時削除される（Ｓ８０６）。そのためには、字幕放送レコード６０１に、録画、視聴及び検索の有無を示す重要度の項目を追加し、管理する。
【００６６】
次に、第３の処理について説明する。対話制御部５０３は、音声理解部１０５から入力される音声理解結果を用いて字幕放送データベースを検索し、検索結果を踏まえて、更に番組データベース１０３を検索し、応答文を作成する。
【００６７】
以下に対話例を示す。
【００６８】
口述リクエストが「Ｂ事件が発生した時期に、俳優Ａの出演していたドラマは何？」と入力され、音声出力部１０７が「ドラマＡです。」と出力する。
【００６９】
この対話例は、以下の手順で動作している。まず、音声理解部１０５により、口述リクエストが音声認識技術により単語列化する。この単語列は、いくつかのキーフレーズ、すなわち、「Ｂ事件が発生した時期」、「俳優Ａ」「ドラマは何？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（放送日時＝（字幕検索＝Ｂ事件））、（出演者＝俳優Ａ）、（タイトルリクエスト＝出演していたドラマは何？）｝という検索コマンドに変換され、対話制御部５０３に渡される。
【００７０】
次に、対話制御部５０３では、字幕データベース５０２から「Ｂ事件」を含む字幕放送レコードを検索し、その放送日時を得る。この放送日時が２００２年４月５日１９時であったとする。この日時で検索を行っても良いが、検索範囲を広げるために、２００２年４月ＸＸ日ＸＸ時とした方が良い。ここで、ＸＸは、任意の数字と照合できるものとする。この日付を用いて、上記の検索コマンドは、｛（放送日時＝２００２０４ＸＸＸＸ）、（出演者＝俳優Ａ）、（タイトルリクエスト＝出演していたドラマは何？）｝と置きかえられる。次に、番組データベース１０３から、放送日時が「２００２０４ＸＸＸＸ」、出演者が「俳優Ａ」である番組レコード３０１を検索する。これにより、番組レコード３０１が特定され、出力すべきタイトル「ドラマＡ」を得る。そこで、応答文「ドラマＡです。」を作成し、音声出力部１０７に出力する。音声出力部１０７は、音声合成技術により、応答文の文字を音声信号に変換して出力する。
【００７１】
このようにして、音声による口述リクエストに応じて、字幕放送データベース及び番組データベース１０３から所望の項目を求め、音声による応答が可能となる。
【００７２】
なお、字幕の放送日時は、和暦で示されてもよい。
【００７３】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【００７４】
（実施の形態３）
図１０は、本発明第３の実施の形態による音声対話装置を示す。ここで、７０１は、電子メールをＸＭＬ形式に変換して取り込む電子メールインポート部を示し、７０２は、電子メールを記憶する電子メールデータベースを示し、７０３は、音声理解部１０５の出力信号を用いて電子メールデータベース及び番組データベース１０３を検索し、検索結果を用いて応答文を作成する対話制御部を示す。
【００７５】
第３の実施の形態による音声対話装置は、入力された電子メールの内容を用いて、テレビ番組に関する情報を出力するものであり、ＥＰＧデータ２０１から番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、入力された電子メールから電子メールレコード８０１を作製し、電子メールデータベース７０２に蓄積する第２の処理と、入力された口述リクエストの語義を解釈し、電子メールデータベース７０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する第３の処理から構成される。
【００７６】
ここで、第１の処理及び第３の処理の入力された口述リクエストの語義の解釈に関する処理は、第１の実施の形態と同様の動作をするので、説明を省略し、残りの第２の処理及び第３の処理の電子メールデータベース７０２及び番組データベース１０３を検索し、番組情報を含む応答文を出力する処理について説明する。
【００７７】
図１１は、第３の実施の形態による第２の処理のフローチャートを示す。
【００７８】
まず、第２の処理について説明する。まず、電子メールインポート部７０１は、携帯電話及びパソコンなどに蓄積されている電子メールを取り込み（Ｓ１１０１）、差出人、宛先、送信日、受信日、件名及び本文などの識別子付けを行った電子メールレコード８０１を作成する（Ｓ１１０２）。
【００７９】
図１２に電子メールレコード８０１を示す。第１の実施の形態に示した番組レコード３０１と同様に、各項目は＜＞により開始し、＜／＞により終了する。ここで、差出人、宛先及び件名は、取り込まれた電子メールから変換することなく記述され、送信日は、２００２年４月２２日の送信日が「２００２０４２２」と記述され、本文は、電子メールデータをフレーズに変換することによる装置への負荷を軽減するために、本文の全てを記述する。
【００８０】
また、電子メールデータベース７０２は、電子メールインポート部７０１により取り込まれた電子メールレコード８０１を蓄積し（Ｓ１１０３）、対話制御部７０３の応答に対して電子メールレコード８０１を出力し、更に、第１の実施の形態と同様にデータベース整理部１０４により、不要と判断された場合は（Ｓ１１０４）、電子メールレコード８０１は随時削除される（Ｓ１１０５）。
【００８１】
次に、第３の処理について説明する。対話制御部７０３は、音声理解部１０５から入力される音声理解結果を用いて電子メールデータベース７０２を検索し、検索結果を踏まえて、更に番組データベース１０３を検索し、応答文を作成する。
【００８２】
以下に、第３の対話例を示す。
【００８３】
口述リクエストが「私が骨折していた時期に放送していた、俳優Ａの出演していたドラマは何？」と入力され、音声出力部１０７が「ドラマＡです。」と出力する。
【００８４】
この対話例は、以下の手順で動作している。まず、音声理解部１０５が、口述リクエストを音声認識技術により単語列化する。この単語列は、いくつかのキーフレーズ、すなわち、「私が骨折していた時期」、「俳優Ａ」「ドラマは何？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（放送日時＝（電子メール検索＝私が骨折））、（出演者＝俳優Ａ）、（タイトルリクエスト＝ドラマは何）｝という検索コマンドに変換され、対話制御部７０３に渡される。
【００８５】
次に、対話制御部７０３では、電子メールデータベース７０２から「私が骨折」を含む電子メールレコード８０１を検索し、その送信日を得る。その際、「私」「が」「骨折」と単語に分割し、それぞれについて検索を実行し、更に３つの単語を検索条件により組み合わせ、検索結果を絞り込むことができる。この電子メール送信日が２００２年４月２２日であったとする。この日付で検索を行っても良いが、検索範囲を広げるために、２００２年４月ＸＸ日ＸＸ時とした方が良い。ここで、ＸＸは、任意の数字と照合できるものとする。この日付を用いて、上記の検索コマンドは、｛（放送日時＝２００２０４ＸＸＸＸ）、（出演者＝俳優Ａ）、（タイトルリクエスト＝ドラマは何）｝と置きかえられる。
【００８６】
更に、番組データベース１０３から、放送日時が「２００２０４ＸＸＸＸ」、出演者が「俳優Ａ」である番組レコード３０１を検索する。これにより、番組レコード３０１が特定され、出力すべきタイトル「ドラマＡ」を得る。そこで、応答文「ドラマＡです。」を作成し、音声出力部１０７に出力する。音声出力部１０７７は、音声合成技術により、応答文の文字を音声信号に変換して出力する。
【００８７】
このようにして、音声による口述リクエストに応じて、電子メールデータベース７０２及び番組データベース１０３から所望の項目を求め、音声による応答が可能となる。
【００８８】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【００８９】
（実施の形態４）
図１３は、本発明第４の実施の形態による音声対話装置を示す。ここで、９０１は、画像又は音楽を記憶する画像・音楽ライブラリを示し、９０２は、音声理解部１０５の出力信号を用いて番組データベース１０３を検索し、前記検索結果を用いて、応答文の作成及び前記画像又は音楽の前記画像・音楽ライブラリ９０１からの読み出しを行う対話制御部を示し、９０３は、前記画像又は音楽を出力する画像・音楽出力部を示し、９０４は、画像・音楽ライブラリ９０１と対話制御部９０２を接続するネットワークを示す。
【００９０】
本発明第４の実施の形態による音声対話装置は、ネットワーク９０４に接続された画像・音楽データベースから、テレビ番組に関する情報を出力するものであり、ＥＰＧデータ２０１から番組レコード３０１を作製し、番組データベース１０３に蓄積する第１の処理と、入力された口述リクエストの語義を解釈し、画像・音楽データベース及び番組データベース１０３を検索し、番組情報を含む応答文を出力する第２の処理から構成される。
【００９１】
ここで、第１の処理及び第２の処理の入力された口述リクエストの語義の解釈に関する処理は、第１の実施の形態と同様の動作をするので、説明を省略し、第２の処理の画像・音楽データベース及び番組データベース１０３を検索し、番組情報を含む応答文を出力する処理について説明する。
【００９２】
図１４は、第４の実施の形態による第２の処理のフローチャートを示す。
【００９３】
第２の処理について説明する。まず、画像・音楽ライブラリ９０１は、静止画及び動画を含むテレビ番組に関わる製作者及び出演者の画像、ドラマの主題歌に関するＸＭＬ形式などて記述された画像及び音楽のコンテンツを保持するライブラリであり、音声対話装置の内部にあっても外部にあってもよいが、ここでは、ネットワーク９０４に接続している場合について説明する。
【００９４】
次に、対話制御部９０２は、音声理解結果を用いて番組データベース１０３を検索し、応答文を作成するとともに、必要に応じて画像又は音楽コンテンツを画像・音楽ライブラリ９０１から読み出す。
【００９５】
更に、画像・音楽出力部９０３は、図１３には図示していないが、画像コンテンツをディスプレイに出力、音楽コンテンツをスピーカーから出力することで確認することができる。
【００９６】
以下に対話例を示す。
【００９７】
口述リクエストが「ドラマＡで俳優Ａと共演していたのは誰？」と入力され、音声出力部１０７が「俳優Ｂ、俳優Ｃ、俳優Ｄです。」と出力する。更に口述リクエストが「俳優Ｃの画像は？」と入力され、音声出力部１０７が「こちらの画像です。」と出力すると同時に、顔画像をテレビ画面に表示する。
【００９８】
この対話例は、以下の手順で動作している。口述リクエストが入力され（Ｓ１４０１）、音声出力部１０７が応答文を出力する処理は、第１の実施の形態と同様である。続いて、入力される口述リクエストを音声認識技術により単語列化する（Ｓ１４０２）。この単語列は、いくつかのキーフレーズ、すなわち、「俳優Ｃ」、「画像は？」を有している。これらのキーフレーズはフレーズ辞書４０１を参照して、｛（出演者＝俳優Ｃ）、（画像リクエスト＝画像は？）｝という検索コマンドに変換され、対話制御部９０２に出力される（Ｓ１４０３）。
【００９９】
次に、対話制御部９０２では、画像・音楽ライブラリ９０１から、俳優Ｃの画像コンテンツを検索し（Ｓ１４０７）、該当する画像又は音楽が蓄積されている場合は（Ｓ１４０８）、画像・音楽出力部９０３に出力し、「こちらの画像です。」という応答文を作成して（Ｓ１４１０）、音声出力部１０７に出力する。
【０１００】
更に、音声出力部１０７は、音声合成技術により、応答文の文字を音声信号に変換して出力する（Ｓ１４１１）。また、画像・音楽出力部９０３では、画像をテレビ画面に出力する（Ｓ１４０９）。
【０１０１】
このようにして、音声による口述リクエストに応じて、画像・音楽ライブラリ９０１及び番組データベース１０３から所望の項目を求め、音声による応答及びテレビ画面への表示が可能となる。
【０１０２】
なお、検索結果が複数である場合は（Ｓ１４０４）、対話制御部９０２が口述リクエストの検索範囲を限定する応答文を作成し（Ｓ１４０５）、音声出力部１０７から出力し（Ｓ１４０６）、更なる口述リクエストを要求することで、絞り込みを行うことができる。
【０１０３】
なお、放送日時の指定として曜日を指定し、カレンダーを参照して検索を行うことも可能である。
【０１０４】
なお、本発明の実施の形態は、他の実施の形態と組み合わせて用いることが可能である。
【０１０５】
【発明の効果】
以上のように本発明によれば、番組データベースに蓄積したデータの削除する場合は、ユーザの嗜好を考慮し、選択的に蓄積データの削除を行い、更に、ＥＰＧ以外の情報であるニュースの字幕放送、ユーザの電子メール及びネットワーク上に蓄積されている画像及び音楽データと、番組に関する知識内容を関連付けすることで、過去、現在及び未来の放送番組に関する情報が得られるという有利な効果が得られる。
【図面の簡単な説明】
【図１】
本発明第１の実施の形態による音声対話装置の構成を示す図
【図２】
同第１の実施の形態による第１の処理を示すフローチャート
【図３】
同第１の実施の形態による第２の処理を示すフローチャート
【図４】
同第１の実施の形態によるＥＰＧデータを示す図
【図５】
同第１の実施の形態による番組データベースに記憶される番組レコードを示す図
【図６】
同第１の実施の形態による辞書構成を示す図
【図７】
同第２の実施の形態による音声対話装置の構成を示す図
【図８】
同第２の実施の形態による第２の処理を示すフローチャート
【図９】
同第２の実施の形態による字幕放送レコードを示す図
【図１０】
同第３の実施の形態による音声対話装置の構成を示す図
【図１１】
同第３の実施の形態による第２の処理を示すフローチャート
【図１２】
同第３の実施の形態による電子メールレコードを示す図
【図１３】
同第４の実施の形態による音声対話装置の構成を示す図
【図１４】
同第４の実施の形態による第１の処理を示すフローチャート
【図１５】
従来の音声対話装置の構成を示す図
【符号の説明】
１０１  電子番組ガイドデコーダ
１０２  知識抽出部
１０３  番組データベース
１０４  データベース整理部
１０５  音声理解部
１０６  対話制御部
１０７  音声出力部
２０１  ＥＰＧデータ
３０１  番組レコード
４０１  フレーズ辞書
５０１  字幕放送デコーダ
５０２  字幕データベース
５０３  対話制御部
６０１  字幕放送レコード
７０１  電子メールインポート部
７０２  電子メールデータベース
７０３  対話制御部
８０１  電子メールレコード
９０１  画像・音楽ライブラリ
９０２  対話制御部
９０３  画像・音楽出力部
９０４  ネットワーク