(57)【要約】【課題】声を文字情報にして提示する際に、内容全てを文字情報として提示するのではなく、内容を要約し、情報量を低減して提示することが可能な情報提示装置を提供する。【解決手段】画面表示を行う表示装置５０と、音声を音声認識して音声テキストデータ７２ａに変換する音声認識部７２と、音声認識部７２により変換された音声テキストデータ７２ａの要約処理を行い、要約テキストデータ７３ａを作成する要約部７３と、要約部７３で作成された要約テキストデータ７３ａを表示装置５０の情報提示画面に文字表示させる表示制御部７４とを備えたものである。【選択図】図１
2007156888.tif 000002
【特許請求の範囲】
【請求項１】
画面表示を行う表示装置と、
音声を音声認識してテキストデータに変換する音声認識部と、
該音声認識部により変換されたテキストデータの要約処理を行い、要約テキストデータを作成する要約部と、
該要約部で作成された要約テキストデータを前記表示装置の情報提示画面に文字表示させる表示制御部と、
を備えたことを特徴とする情報提示装置。
【請求項２】
講師による講義映像データ及び講義内容に関する資料データを取得する情報取得部を備え、前記音声は講師による講義音声であり、前記表示制御部は、前記情報提示画面に、前記講義映像データ、資料データ及び要約テキストデータをそれぞれ表示することを特徴とする請求項１記載の情報提示装置。
【請求項３】
前記要約部は、過去に行われた講義、講演の際の音声に基づき作成されたテキストデータを用いて要約処理を行うことを特徴とする請求項２記載の情報提示装置。
【請求項４】
前記要約部は、tf/idf法を用いて要約処理を行うことを特徴とする請求項１乃至請求項３の何れかに記載の情報提示装置。
【請求項５】
前記要約部で作成された要約テキストデータの内容を手話に置き換えた手話映像データを作成する手話映像作成部を備え、前記表示制御部は、前記手話映像作成部で作成された前記手話映像データを前記情報提示画面に表示することを特徴とする請求項１乃至請求項４の何れかに記載の情報提示装置。
【請求項６】
コンピュータを、請求項１乃至請求項５の何れかに記載の情報提示装置の前記各部として機能させるための情報提示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報提示装置に係り、特に、例えば講義、講演など実際に人物が動作、発声によって提示する情報を、その映像及び音声といったそのままの情報として提示するに加えて補足的な情報を提示することで、例えば聴覚に障碍がある人に対する情報伝達を助けるための装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来この種の装置として、講義や講演などを行う当事者である講師の映像や講師の音声を提示することに加え、音声認識技術を用いて講師の音声を認識し、講師による説明内容を即時または後に字幕として表示するようにしたものがある（例えば特許文献１参照）。このように字幕として表示することで、例えば聴覚障碍者などに情報提供を行うことが可能となっている。
【特許文献１】特開２００２−３０５４８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来技術では、音声認識により得られた情報量を低減して提示することについて配慮されておらず、このため、一定時間内に表示される文字情報の量が多すぎ、文字が表示されている時間内に例えば聴覚障碍者が十分に情報を理解することができないという問題があった。
【０００４】
このようなことから、音声を文字情報にして提示する際に、内容全てを文字情報として提示するのではなく、内容を要約し、情報量を低減して提示することが可能な情報提示装置の開発が望まれていた。
【０００５】
また、講師の発声内容を手話に置き換えて提示することが可能な情報提示装置及びそのプログラムの開発が望まれていた。
【課題を解決するための手段】
【０００６】
本発明に係る情報提示装置は、画面表示を行う表示装置と、音声を音声認識してテキストデータに変換する音声認識部と、該音声認識部により変換されたテキストデータを要約して要約テキストデータを作成する要約部と、該要約部で作成された要約テキストデータを前記表示装置の情報提示画面に文字表示させる表示制御部とを備えたものである。
【０００７】
また、本発明に係る情報提示プログラムは、コンピュータを、上記の情報提示装置の各部として機能させるためのものである。
【発明の効果】
【０００８】
本発明によれば、音声を要約して文字表示するようにしたので、音声認識した結果全てをそのまま字幕表示する場合に比べ、一定時間内に表示される字幕の量を低減できる。よって、例えば聴覚障碍者であっても、字幕によって音声による内容を効率良く把握することが可能となる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、本実施の形態１の情報提示装置１の構成を示すブロック図である。
情報提示装置１は、音声を文字情報として字幕表示する機能を備えた装置であり、特に、元々の音声による内容を情報要約技術を用いて要約した上で字幕表示するようにしたもので、このようにすることで、字幕として提示される情報量が多くなりすぎることを防ぎ、例えば聴覚障碍者が情報内容をより理解しやすいようにしたものである。本例では、例えば講演会などにおいて講師による講義内容を要約して文字表示する場合を例に説明する。
【００１０】
情報提示装置１は、講師の映像を取得する映像入力手段としてのビデオ１０と、講師の音声を取得する音声入力手段としてのマイク２０と、講義資料を入力する講義資料入力手段３０と、音声出力手段としてのスピーカ４０と、各種表示を行う表示装置５０と、記憶装置６０と、装置全体を統括して制御する処理装置７０とを備えており、具体的にはパソコンなどのコンピュータで構成されている。
【００１１】
ビデオ１０は、講師が講義を行っている様子、講義の雰囲気を伝えるための教室内の学生の様子などを撮影し、その講師映像データ１０ａを後述の情報取得部７１に出力する。マイク２０は、講師が講義中に発声した講義内容の音声を取り込み、その講師音声データ２０ａを情報取得部７１に出力する。また講義資料入力手段３０は、予め用意された講義資料や講義中に講師によって作成された講義資料などの講義資料データ３０ａを入力し、情報取得部７１に出力する。具体的には例えば既存のプレゼンテーションソフトで構成される。すなわち、例えば既存のプレゼンテーションソフトで作成された資料を入力するものである。
【００１２】
記憶装置６０には、ＯＳ（オペレーティングシステム）や、本発明に係る各種の処理を行なうための情報提示プログラム６１と、過去音声テキストデータＤＢ６２とが記憶されている。
【００１３】
過去音声テキストデータＤＢ６２には、過去に行われた講義の音声テキストデータが蓄積記憶されている。過去音声テキストデータは、後述の要約部７３における要約処理の際に使用されるもので、要約部７３で使用可能な形式としてテキスト形式とされている。なお、過去の音声テキストデータは、必ずしも過去に実際に行われた講義のものである必要はなく、講義の練習を行った際に本構成のシステムを動作させて蓄積した音声テキストデータであっても良い。
【００１４】
処理装置７０は、記憶装置６０に記憶された情報提示プログラム６１に従って装置全体の動作を制御する手段で、情報取得部７１と、音声認識部７２と、要約部７３と、表示制御部７４とを備えている。
【００１５】
情報取得部７１は、ビデオ１０からの講師映像データ１０ａ、マイク２０からの講師音声データ２０ａ及び講義資料入力手段３０からの講義資料データ３０ａを取得し、それぞれ対応の処理部へ送信する。すなわち講師映像データ１０ａ及び講義資料データ３０ａを表示制御部７４に送信し、講師音声データ２０ａを音声認識部７２に送信する。情報取得部７１は、具体的には、ビデオ１０からの映像情報を入力するビデオインタフェースと、マイク２０からの音声情報を入力する音声インタフェースと、講義資料データ３０ａを入力するファイルインタフェースとから構成される。
【００１６】
音声認識部７２は、情報取得部７１から講師音声データ２０ａを受信し、既存の音声認識技術を用いて音声認識処理を実施し、音声テキストデータ７２ａを作成する。そして、作成した音声テキストデータ７２ａを要約部７３に送信する。ここで、音声テキストデータ７２ａは、要約部７３で使用可能な形式、例えば単純なテキストデータとされる。なお、音声認識処理の際には、単語用の辞書など、図１に図示されていない要素を用いても良い。
【００１７】
要約部７３は、音声認識部７２から音声テキストデータ７２ａを受信すると共に、過去音声テキストデータＤＢ６２及び図示されない一般辞書データＤＢからそれぞれ過去音声テキストデータ及び一般辞書データを取得する。そして、取得した過去音声テキストデータ及び一般辞書データを用いて音声テキストデータ７２ａの要約処理を行い、要約テキストデータ７３ａを作成する。要約処理は、既存の文章要約技術を用いることとし、作成された要約テキストデータ７３ａは、情報を伝達するのに重要な意味を持つ単語を有するテキストデータとなる。要約処理の詳細については後述する。
【００１８】
表示制御部７４は、情報取得部７１から取得した講師映像データ１０ａ及び講義資料データ３０ａと、要約部７３で作成された要約テキストデータ７３ａに基づいて後述の図２に示すような講義情報提示画面８０を作成し、表示装置５０に表示させる。
【００１９】
図２は、講義情報提示画面８０の一例を示す図である。
講義情報提示画面８０は、講義映像表示部８１と、資料表示部８２と、字幕表示部８３とから構成されている。講義映像表示部８１には、例えば、講師が講義を行っている様子、講義の雰囲気を伝えるために教室の学生の様子など、ビデオ１０で撮影された映像が表示される。資料表示部８２には、講義資料データ３０ａが講義の資料として表示される。字幕表示部８３には、講師が講義中に発声した音声を要約された内容の文字情報が字幕として表示される。
【００２０】
以下、情報提示装置１の動作を説明する。
まず、講師自身または講師の講演を支援するオペレータによって、ビデオ１０及びマイク２０のセッティング、講義資料入力手段３０を用いた講義資料の入力が行われる。これにより、ビデオ１０から講師映像データ１０ａが、マイク２０から講師音声データ２０ａが、講義資料入力手段３０から講義資料データ３０ａが情報取得部７１に入力される。
【００２１】
情報取得部７１は、これらのデータをそれぞれ対応の処理部に送信する。すなわち、撮影データ及び講義資料データ３０ａを表示制御部７４に送信するとともに、講師音声データ２０ａを音声認識部７２に送信する。表示制御部７４は、情報取得部７１からの講師映像データ１０ａ及び講義資料データ３０ａを受信すると、講師映像データ１０ａを講義映像表示部８１に表示するとともに講義資料データ３０ａを資料表示部８２に表示する。講師音声データ２０ａは、音声認識部７２及び要約部７３を介して最終的には要約テキストデータ７３ａに変換され、その後、表示制御部７４に入力されて表示制御部７４により講義情報提示画面８０の字幕表示部８３に表示される。
【００２２】
以下、情報取得部７１に入力された講師音声データ２０ａが講義情報提示画面８０の字幕表示部８３に表示されるまでの処理の流れについて、図３に基づいて詳細に説明する。
【００２３】
図３は、情報取得部７１に入力された講師音声データ２０ａが講義情報提示画面８０の字幕表示部８３に表示されるまでの処理装置７０内での処理の流れを示すフローチャート、図４は、図３のステップＳ３の要約処理の流れを示すフローチャートである。
【００２４】
情報取得部７１は、マイク２０から講師音声データ２０ａを入力すると（Ｓ１）、音声認識部７２に送信する。音声認識部７２は、入力された講師音声データ２０ａを音声テキストデータに変換し（Ｓ２）、音声テキストデータを要約部７３に送信する。この変換処理に際し、音声認識部７２は、既存の音声テキスト変換技術を用いて行う。単語用の辞書など、図１に図示されていない要素を用いてもよい。
【００２５】
要約部７３は、音声認識部７２からの音声テキストデータ７２ａを受信すると、要約処理を行い、要約テキストデータ７３ａを作成する（Ｓ３）。すなわち、過去の音声テキストデータや図示されていない一般コーパスなどを用い、音声テキストデータから情報の重要性の高い単語を抽出し、逆に重要性の低い単語を削除して内容を要約した要約テキストデータ７３ａを作成する。これにより、単語数を減らしつつも、重要な情報を保持した要約テキストデータ７３ａが作成される。
【００２６】
要約処理の具体的なアルゴリズムとしては、例えば、既存のアルゴリズムであるtf(Term Frequency)/idf(Inverted Document Frequency)法を用いる。なお、この方法は、入力されるテキストデータを、一般的なコーパスや文章の性質を表すデータ（入力されるテキストの特徴を現すデータ）を用いて解析し、入力されるテキストの、単語レベルでの相対的な重要性を評価する方法である。
【００２７】
このtf/idf法を本例に適用した場合の要約処理を、図４のフローチャート及び図５の要約処理の具体的説明図を参照して説明する。
まず、要約部７３は、音声テキストファイルから音声テキストデータを一文取り出し（Ｓ１１）、取り出した音声テキストデータ７２ａを形態素解析して単語に分割する（Ｓ１２）。図５（ａ）の「えーっと、ここの説明は３０ページに載っています。」を形態素解析すると、図５（ｂ）の各枠に示すように一文が分割される。そして、分割した形態素を一つ取り出し（Ｓ１３）、その形態素に関するtf/idf値を、文章の性質を表すデータ及び既存の辞書データ（一般辞書コーパス）を用いて計算する（Ｓ１４）。
【００２８】
ここで、本例では、文章の性質を表すデータとして、過去の講義における音声テキストデータを用いる。一般に、講義、公演などにおいての内容は、過去に実施された時の内容と著しく変化することは少ない。そのため、過去に実施された講義、公演の際の音声テキストデータを保持しておき、それを、要約処理の際の指標の一部として用い、実際の講義中に発話される音声をテキストに変換する。その後、要約を行うことで、重要な情報は保ちつつテキストの数の少ない良質な要約を行うことができる。
【００２９】
そして、ステップＳ１４で形態素に関するtf/idf値を計算した後、そのtf/idf値が閾値以上か否かを判定し（Ｓ１５）、閾値以上であれば、その形態素を要約テキストデータ７３ａに追加し（Ｓ１６）、閾値未満であれば、ステップＳ１６の処理を省略してステップＳ１７に移行する。ステップＳ１７では、ステップＳ１１で取り出した一文内に、形態素がまだあるかをチェックし（Ｓ１７）、ある場合、ステップＳ１３に戻って同様の処理を繰り返す。ステップＳ１３〜ステップＳ１７の処理を、ステップＳ１１で取り出した一文内の全ての形態素について繰り返し行う。
【００３０】
ステップＳ１１で取り出した一文内の全ての形態素について、ステップＳ１３〜ステップＳ１７の処理が終了すると、音声テキストファイル内に、形態素解析が終わっていない音声テキストデータがまだあるかをチェックする（Ｓ１８）。形態素解析が終わっていない音声テキストデータがある場合、ステップＳ１１に戻って次の音声テキストデータを取り出し、その音声テキストデータに対して上記と同様の処理を繰り返す。そして、音声テキストファイル内の全ての音声テキストデータについてステップＳ１１〜Ｓ１７の処理が終了すると（Ｓ１８）、要約テキストデータ７３ａが完成し、要約処理を終了する。
【００３１】
以上の要約処理を、図５（ａ）に示す「えーっと、ここの説明は３０ページに載っています。」に対して行うと、まず、上述したように図５（ｂ）に示すようにして各形態素に分割される。そして、その各形態素についてtf/idf値を求め、閾値以上か否かの判断を行った結果が図５（ｃ）に示す「説明」、「３０」及び「ページ」となる。よって、最終的には図５（ｄ）に示すように「説明３０ページ」に要約される。
【００３２】
要約部７３は、以上のようにして要約テキストデータ７３ａを作成すると、表示制御部７４に送信する。表示制御部７４は、要約テキストデータ７３ａを受信すると、講義情報提示画面８０の字幕表示部８３に字幕テキストとして表示させる（Ｓ４）。
【００３３】
以上の図３及び図４のフローチャートに示した処理を、講義が終了するまで繰り返し行う。
【００３４】
このように本実施の形態１によれば、講師音声データ２０ａの内容を要約して表示するようにしたので、音声認識した結果全てをそのまま字幕表示する場合に比べ、一定時間内に表示される字幕の量を低減できる。よって、聴覚障碍者であっても、字幕により講演内容を効率良く把握することが可能となる。
【００３５】
また、講義情報提示画面８０により講義映像及び音声を提示し、また、音声の要約テキストを字幕として表示すること加え、講義資料も表示するようにしたので、更に情報提示能力に優れた情報提示装置１を得ることができる。
【００３６】
また本例では、要約処理に際し、文章の性質を表すデータとして過去の講義での音声テキストデータを用いているので、すなわち、一般に、講義、公演などにおいて内容が著しく変化することの少ないデータを用いているので、重要な情報は保ちつつ単語数を低減した良質性の高い要約を行うことができる。
【００３７】
また、本実施の形態１では、要約字幕提示が聴覚障碍者に対して有効であるとして説明したが、音声が聞き取り難い状況において健聴者に対しても有効である。
【００３８】
実施の形態２．
実施の形態２では、実施の形態１に加え、更に、聴覚障碍者の母語である手話によって講義情報を提示するようにしたものである。
【００３９】
図６は、実施の形態２の情報提示装置の構成を示すブロック図である。
実施の形態２の情報提示装置１００は、図１に示した実施の形態１の情報提示装置１に、更に手話映像作成部１０１を備えたもので、その他の構成は図１と同様である。実施の形態１と重畳する部分についての説明は省略する。
手話映像作成部１０１は、要約部７３から要約テキストデータ７３ａを入力し、要約テキストデータ７３ａの内容を手話に置き換えた手話映像データ１０１ａを作成し、表示制御部７４に送信する。ここで作成される手話映像データ１０１ａは、手話映像表示部１１１で処理可能な形式とされる。なお、文章データを手話映像に変換して表示する技術は、特開平６−８３８６７号公報に開示されるような既存の技術を用いることができる。また、同様に既存のコンピュータグラフィクスを用いる方法を採用して手話映像を構成するようにしても良い。
【００４０】
図７は、実施の形態２の情報提示装置１００に表示される講義情報提示画面１１０の一例を示す図である。
この講義情報提示画面１１０は、実施の形態１の講義情報提示画面１１０に更に手話映像表示部１１１が設けられた構成となっており、手話映像表示部１１１には、字幕表示部８３に表示された内容を手話表現した映像が表示される。
【００４１】
以下、実施の形態２の情報提示装置１００の動作について図面を参照して説明する。
【００４２】
図８は、情報取得部７１に入力された講師音声データ２０ａに基づいて講義情報提示画面１１０の字幕表示部８３及び手話映像表示部１１１が表示されるまでの処理装置７０内での処理の流れを示すフローチャートである。図８において、ステップＳ１〜Ｓ４までの動作は実施の形態１と同様であるので説明を省略し、ステップＳ２１及びステップＳ２２に示す手話映像表示動作について説明する。
【００４３】
要約部７３は、要約テキストデータ７３ａを作成すると、要約テキストデータ７３ａを表示制御部７４に送信する一方、手話映像作成部１０１にも送信する。手話映像作成部１０１は要約テキストデータ７３ａを受信すると、要約テキストデータ７３ａに基づいて手話映像データ１０１ａを作成し（Ｓ２１）、表示制御部７４に送信する。
【００４４】
表示制御部７４は、手話映像データ１０１ａを手話映像作成部１０１から受信すると、その受信した手話映像データ１０１ａを手話映像表示部１１１に表示する。
【００４５】
講義が終了するまで上記の処理を繰り返す。
【００４６】
このように実施の形態２によれば、手話映像を表示することで、先天性もしくは若年性の聴覚障碍者の母語である手話で情報の提示を行うことが可能となる。このため、文字情報を読みとり難い聴覚障碍者であっても、講義の内容を確実に把握することができる。また、手話映像は、要約テキストデータ７３ａに基づき作成しているため、すなわち「この」「あの」などの不明瞭な指示語や冗長な表現が省かれたデータに基づき作成しているため、手話映像作成の処理負荷を少なくすることができる。また、不明瞭な部分を除いて要点を明確且つ簡潔に表現した手話映像表現を行うことが可能となるため、聴覚障碍者に対して、効率良く内容を提示することが可能となる。
【００４７】
以上に実施の形態を説明したが、本発明はこれに限定されるものではなく、以下のように適宜変更することができる。
（１）文章要約のアルゴリズムとしてtf/idf法を例示したがこれは同様の効果が得られる他の文章要約アルゴリズムとしても良い。
（２）各表示部８１〜８３、１１１を同一画面上に表示する構成を示したが、それぞれ別の画面として表示する構成でもよい。また、各表示部は明瞭に分割されている必要はなく、同一画面上に各表示部８１〜８３、１１１が重畳されるような形式でもよい。
（３）講義情報提示画面８０、１１０では、各表示部を全て表示するようにしているが、情報提示装置１、１００の使用者の好み、必要に応じて表示したり、非表示にできるような構成としてもよい。
（４）講義資料は文字データの例を示したが、文字データに限られたものではなく、映像、ＣＧなど講義において資料として使われる資料であれば、他の形式のデータでもかまわない。
（５）講義情報提示画面８０、１１０を作成するに際し、本例では情報提示装置１、１００に直接接続されたビデオ１０及びマイク２０によって取得されたデータを用いているが、情報提示装置１、１００とは別の装置（例えば講師専用端末）に接続したビデオ及びマイク２０で取得したデータを用いてもよい。すなわち、講師専用端末側で取得したデータをネットワークを介して取得し、講義情報提示画面８０、１１０の作成に用いてもよい。
【図面の簡単な説明】
【００４８】
【図１】本実施の形態１の情報提示装置１の構成を示すブロック図である。
【図２】講義情報提示画面８０の一例を示す図である。
【図３】情報取得部７１に入力された講師音声データ２０ａが講義情報提示画面８０の字幕表示部３に表示されるまでの処理装置内での処理の流れを示すフローチャートである。
【図４】図３のステップＳ３の要約処理の流れを示すフローチャートである。
【図５】要約処理の具体的説明図である。
【図６】実施の形態２の情報提示装置１００の構成を示すブロック図である。
【図７】実施の形態２の情報提示装置１００に表示される講義情報提示画面１１０の一例を示す図である。
【図８】情報取得部７１に入力された講師音声データ２０ａに基づいて講義情報提示画面１１０の字幕表示部８３及び手話映像表示部１１１が表示されるまでの処理装置７０内での処理の流れを示すフローチャートである。
【符号の説明】
【００４９】
１，１００  情報提示装置
１０ａ  講師映像データ
２０ａ  講師音声データ
３０ａ  講義資料データ
５０  表示装置
６０  記憶装置
６１  情報提示プログラム
６２  過去音声テキストデータＤＢ
７１  情報取得部
７２  音声認識部
７３  要約部
７３ａ  要約テキストデータ
７４  表示制御部
８０，１１０  講義情報提示画面
１０１  手話映像作成部
１０１ａ  手話映像データ
【図１】
2007156888.tif 000003
【図２】
2007156888.tif 000004
【図３】
2007156888.tif 000005
【図４】
2007156888.tif 000006
【図５】
2007156888.tif 000007
【図６】
2007156888.tif 000008
【図７】
2007156888.tif 000009
【図８】
2007156888.tif 000010