(57)【要約】 【課題】  会議の内容に参加者の興味ある部分があった場合に、該会議参加者に通知すること。【解決手段】  キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶手段と、処理対象として音声データを取得するデータ取得部９１、前記処理対象取得手段により取得される前記音声データにより表される音声を文字列として認識する音声認識部８９、及び前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶手段により記憶される登録者データが示す登録者に対する所定の通知処理を行う通知部８２、としてコンピュータを機能させることを特徴とする。【選択図】      図４
2005345508.tif 000002
【特許請求の範囲】
【請求項１】
キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶手段、
処理対象として音声データを取得する処理対象取得手段、
前記処理対象取得手段により取得される前記音声データにより表される音声を文字列として認識する音声認識手段、及び
前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶手段により記憶される登録者データが示す登録者に対する所定の通知処理を行う通知手段、
としてコンピュータを機能させることを特徴とする聴取支援プログラム。
【請求項２】
請求項１に記載の聴取支援プログラムにおいて、
話者を示す話者データと、該話者データを登録した登録者を示す登録者データと、を対応付けて記憶する話者記憶手段、及び
前記処理対象取得手段により取得される前記音声データが表す音声の話者を特定する話者特定手段、
として前記コンピュータをさらに機能させ、
前記通知手段は、前記キーワードである文字列として前記音声認識手段により認識される音声の話者として特定される話者を示す話者データが、前記話者記憶手段により記憶される話者データに含まれる場合に、該話者データと対応付けて前記話者記憶手段により記憶される登録者データが示す登録者に対する前記所定の通知処理を行う、
ことを特徴とする聴取支援プログラム。
【請求項３】
請求項１に記載の聴取支援プログラムにおいて、
前記処理対象取得手段により取得される前記音声データが表す音声の話者を特定する話者特定手段、
として前記コンピュータをさらに機能させ、
前記キーワード記憶手段は、前記キーワードデータと、話者を示す話者データと、前記登録者データと、を対応付けて記憶し、
前記通知手段は、前記特定される話者を示す話者データが前記話者記憶手段により記憶される話者データに含まれる場合であって、前記文字列に前記キーワード記憶手段により該話者データと対応付けて記憶されるキーワードデータにより示されるキーワードが含まれる場合に、前記所定の通知処理を行う、
ことを特徴とする聴取支援プログラム。
【請求項４】
請求項２又は３に記載の聴取支援プログラムにおいて、
前記音声データは、該音声データが表す音声の話者の映像を含む映像を伴って、前記処理対象取得手段により取得され、
前記話者特定手段は、前記映像に含まれる前記話者の映像をパターン認識することにより、前記音声の話者を特定する、
ことを特徴とする聴取支援プログラム。
【請求項５】
請求項２又は３に記載の聴取支援プログラムにおいて、
前記話者特定手段は、前記音声の声紋をパターン認識することにより、該音声の話者を特定する、
ことを特徴とする聴取支援プログラム。
【請求項６】
請求項１から５のいずれか１項に記載の聴取支援プログラムにおいて、
前記処理対象取得手段により取得される音声を記憶する音声信号記憶手段、
前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードである文字列として前記音声認識手段により認識される音声の、前記音声内における発生タイミングを示す情報を記憶するタイミング情報記憶手段、
前記音声信号記憶手段により記憶される音声を、前記発生タイミングを示す情報に応じて、再生する音声信号再生手段、
として前記コンピュータをさらに機能させることを特徴とする聴取支援プログラム。
【請求項７】
キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶手段と、
処理対象として音声を表す音声データを取得する処理対象取得手段と、
前記処理対象取得手段により取得される前記音声データにより表される音声を文字列として認識する音声認識手段と、
前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶手段により記憶される登録者データが示す登録者に対する所定の通知処理を行う通知手段と、
を含むことを特徴とする聴取支援装置。
【請求項８】
キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶ステップと、
処理対象として音声を表す音声データを取得する処理対象取得ステップと、
前記処理対象取得ステップにおいて取得される前記音声データにより表される音声を文字列として認識する音声認識ステップと、
前記文字列に前記キーワード記憶ステップにおいて記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶ステップにおいて記憶される登録者データが示す登録者に対する所定の通知処理を行う通知ステップと、
を含むことを特徴とする聴取支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、聴取支援プログラム、聴取支援装置及び聴取支援方法に関し、例えば遠隔会議において該会議の内容に参加者の興味ある部分があった場合に、該会議参加者に通知する技術に関する。
【背景技術】
【０００２】
従来、ネットワークを介して会議を行う遠隔会議においては、話者と聞き手が遠隔地にいるため、特に多地点会議である場合に、メイン業務を行いつつ、副次的な業務として会議に参加する人が多く見受けられる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、副次的な業務として遠隔会議に参加していると、遠隔会議の模様を流し続けるのみとなりがちであり、興味ある部分を聞き逃したり、発言の機会を逸したりすることがある。
【０００４】
本発明は上記課題に鑑みてなされたものであって、その目的の一つは、会議の内容に参加者の興味ある部分があった場合に、該会議参加者に通知することを可能とする聴取支援プログラム、聴取支援装置及び聴取支援方法を提供することにある。
【課題を解決するための手段】
【０００５】
上記課題を解決するための本発明に係る聴取支援プログラムは、キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶手段、処理対象として音声データを取得する処理対象取得手段、前記処理対象取得手段により取得される前記音声データにより表される音声を文字列として認識する音声認識手段、及び前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶手段により記憶される登録者データが示す登録者に対する所定の通知処理を行う通知手段、としてコンピュータを機能させることを特徴とする。
【０００６】
このようにすることにより、会議の内容に参加者の興味ある部分があった場合に、該会議参加者に通知することが可能となる。
【０００７】
また、上記聴取支援プログラムにおいて、話者を示す話者データと、該話者データを登録した登録者を示す登録者データと、を対応付けて記憶する話者記憶手段、及び前記処理対象取得手段により取得される前記音声データが表す音声の話者を特定する話者特定手段、として前記コンピュータをさらに機能させ、前記通知手段は、前記キーワードである文字列として前記音声認識手段により認識される音声の話者として特定される話者を示す話者データが、前記話者記憶手段により記憶される話者データに含まれる場合に、該話者データと対応付けて前記話者記憶手段により記憶される登録者データが示す登録者に対する前記所定の通知処理を行う、こととしてもよい。
【０００８】
このようにすれば、キーワードとともに、話者についても特定して通知処理をおこなうことができる。
【０００９】
また、上記聴取支援プログラムにおいて、前記処理対象取得手段により取得される前記音声データが表す音声の話者を特定する話者特定手段、として前記コンピュータをさらに機能させ、前記キーワード記憶手段は、前記キーワードデータと、話者を示す話者データと、前記登録者データと、を対応付けて記憶し、前記通知手段は、前記特定される話者を示す話者データが前記話者記憶手段により記憶される話者データに含まれる場合であって、前記文字列に前記キーワード記憶手段により該話者データと対応付けて記憶されるキーワードデータにより示されるキーワードが含まれる場合に、前記所定の通知処理を行う、こととしてもよい。
【００１０】
このようにしても、キーワードとともに、話者についても特定して通知処理をおこなうことができる。
【００１１】
また、上記聴取支援プログラムにおいて、前記音声データは、該音声データが表す音声の話者の映像を含む映像を伴って、前記処理対象取得手段により取得され、前記話者特定手段は、前記映像に含まれる前記話者の映像をパターン認識することにより、前記音声の話者を特定する、こととしてもよい。
【００１２】
また、上記聴取支援プログラムにおいて、前記話者特定手段は、前記音声の声紋をパターン認識することにより、該音声の話者を特定する、こととしてもよい。
【００１３】
また、上記聴取支援プログラムにおいて、前記処理対象取得手段により取得される音声を記憶する音声信号記憶手段、前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードである文字列として前記音声認識手段により認識される音声の、前記音声内における発生タイミングを示す情報を記憶するタイミング情報記憶手段、前記音声信号記憶手段により記憶される音声を、前記発生タイミングを示す情報に応じて、再生する音声信号再生手段、として前記コンピュータをさらに機能させることとしてもよい。
【００１４】
このようにすれば、過去の処理対象データを再生することができる。
【００１５】
また、本発明に係る聴取支援装置は、キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶手段と、処理対象として音声を表す音声データを取得する処理対象取得手段と、前記処理対象取得手段により取得される前記音声データにより表される音声を文字列として認識する音声認識手段と、前記文字列に前記キーワード記憶手段により記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶手段により記憶される登録者データが示す登録者に対する所定の通知処理を行う通知手段と、を含むことを特徴とする。
【００１６】
また、本発明に係る聴取支援方法は、キーワードを示すキーワードデータと、該キーワードデータを登録した登録者を特定する登録者データと、を対応付けて記憶するキーワード記憶ステップと、処理対象として音声を表す音声データを取得する処理対象取得ステップと、前記処理対象取得ステップにおいて取得される前記音声データにより表される音声を文字列として認識する音声認識ステップと、前記文字列に前記キーワード記憶ステップにおいて記憶されるキーワードデータにより示されるキーワードが含まれる場合に、該キーワードデータと対応付けて前記キーワード記憶ステップにおいて記憶される登録者データが示す登録者に対する所定の通知処理を行う通知ステップと、を含むことを特徴とする。
【発明を実施するための最良の形態】
【００１７】
本発明の実施の形態について、図面を参照しながら説明する。
【００１８】
本実施の形態に係る聴取支援システム１は、図１に示すように、通信ネットワーク２を介して相互に接続される複数の通信装置３、サーバコンピュータ４、録画装置５、ディスプレイ６、クライアントコンピュータ７、カメラ８及びマイクロフォン９を含んで構成されている。
【００１９】
通信ネットワーク２は、例えば聴取支援システム１をテレビ電話会議システムの一部として使用する場合には、多地点のテレビ電話網であってもよいし、ＩＰ電話網すなわちインターネットであってもよい。また、聴取支援システム１をテレビ電話システムの一部として使用する場合には、電話網であってもよいし、ＩＰ電話網すなわちインターネットであってもよい。さらに、聴取支援システム１を電話システムの一部として使用する場合にも、電話網であってもよいし、ＩＰ電話網すなわちインターネットであってもよい。
【００２０】
通信装置３は、通信ネットワーク２とのインターフェイスとなる装置である。各通信装置３は以下に説明する他の装置の一部であってもよいし、独立した装置であってもよい。通信ネットワーク２が電話網である場合には、通信装置３はダイヤル機能を備えていてもよい。また、通信ネットワーク２がインターネットである場合には、通信装置３は例えばＬＡＮカードであったり、ダイヤルアップのためのモデムであったりする。
【００２１】
サーバコンピュータ４は、図２に示すように、バス４０、制御部４１、主記憶部４２、入出力制御部４３、通信部４４、データベース４５及び副記憶部４６を含んで構成されている。制御部４１、主記憶部４２、入出力制御部４３はバス４０を介して相互に接続され、データの入出力を行っている。通信部４４、データベース４５及び副記憶部４６は入出力制御部４３に接続され、同じくデータの入出力を行っている。なお、サーバコンピュータ４は、多地点テレビ会議サーバとして使用することもできる。
【００２２】
制御部４１は、サーバコンピュータ４の各部を制御する。主記憶部４２は、制御部４１のワークメモリとして動作するとともに、制御部４１によって行われる各種処理に関わるプログラムやパラメータを保持している。入出力制御部４３は、制御部４１からの指示に従い、該入出力制御部４３に接続される各部を制御するとともに、該各部から入力されるデータを制御部４１に出力したり、制御部４１から入力されるデータを該各部に出力したり、といった処理を行う。通信部４４は、通信ネットワーク２との間でデータの送受信を行う。そして、受信したデータを入出力制御部４３に対して出力したり、入出力制御部４３から入力されるデータを通信ネットワーク２に送信したり、といった処理を行う。データベース４５は、例えば従来公知のリレーショナルデータベースを使用することができる。副記憶部４６は、ハードディスクや外部記憶媒体であり、サーバコンピュータ４で利用する各種データを記憶したり、制御部４１を動作させるための本実施の形態に係るプログラムを記憶したりする。そして、制御部４１は該プログラムを主記憶部４２に展開し、実行する。
【００２３】
なお、サーバコンピュータ４を多地点テレビ会議サーバとして使用する場合には、制御部４１は、通信部４４が受信する複数のカメラ８及びマイクロフォン９からの映像データ及び音声データである処理対象データを合成し、複数のディスプレイ６に対して送信する。
【００２４】
録画装置５はビデオデッキやＤＶＤレコーダー等の従来公知の録画手段を使用することができる。また、後述するクライアントコンピュータ７の副記憶部７７に録画することとしてもよい。そして、該録画装置５は通信装置３に接続され、通信装置３が受信する音声データや映像データを録画することができるとともに、録画したデータをディスプレイ６に対して出力することができる。
【００２５】
ディスプレイ６はテレビやＣＲＴ等の従来公知の画像表示手段を利用することができ、一般的にはスピーカを含んで構成される。そして、該ディスプレイ６は通信装置３に接続され、通信装置３が受信する音声データや映像データを出力するとともに、録画装置５から入力される録画データを出力することができる。
【００２６】
クライアントコンピュータ７は、図３に示すように、バス７０、制御部７１、主記憶部７２、入出力制御部７３、通信部７４、操作部７５、表示部７６及び副記憶部７７を含んで構成されている。制御部７１、主記憶部７２、入出力制御部７３はバス７０を介して相互に接続され、データの入出力を行っている。通信部７４、操作部７５、表示部７６及び副記憶部７７は入出力制御部７３に接続され、同じくデータの入出力を行っている。
【００２７】
制御部７１は、クライアントコンピュータ７の各部を制御する。主記憶部７２は、制御部７１のワークメモリとして動作するとともに、制御部７１によって行われる各種処理に関わるプログラムやパラメータを保持している。また、ディスプレイ６に対する表示や、音量の変更といった処理も行う。入出力制御部７３は、制御部７１からの指示に従い、該入出力制御部７３に接続される各部を制御するとともに、該各部から入力されるデータを制御部７１に出力したり、制御部７１から入力されるデータを該各部に出力したり、といった処理を行う。通信部７４は、通信ネットワーク２との間でデータの送受信を行う。そして、受信したデータを入出力制御部７３に対して出力したり、入出力制御部７３から入力されるデータを通信ネットワーク２に送信したり、といった処理を行う。操作部７５は、例えばマウスやキーボードを含んで構成されており、クライアントコンピュータ７の利用者からの入力を受け付けて入出力制御部７３に出力している。表示部７６は、例えば液晶表示装置を含んで構成されており、入出力制御部７３から入力される信号に従って情報を表示出力する。なお、ディスプレイ６は該表示部７６であってもよい。副記憶部７７は、ハードディスクや外部記憶媒体であり、クライアントコンピュータ７で利用する各種データを記憶したり、制御部７１を動作させるための例えば本実施の形態に係るプログラムを記憶したりする。そして、制御部７１は該プログラムを主記憶部７２に展開し、実行する。
【００２８】
次に、図４は聴取支援システム１をテレビ会議システムとして使用する場合の機能ブロック図である。図４に示すように、該聴取支援システム１は、通信開始部８０、再生指示部８１、通知部８２、話者設定部８３、キーワード設定部８４、再生動作設定部８５、通知設定部８６、再生部８７、照合部８８、音声認識部８９、記録媒体９０、データ取得部９１、カメラ８及びマイクロフォン９を含んで構成されている。これらの各部は全て１のクライアントコンピュータ７にあってもよいし、一部がサーバコンピュータ４にあってもよい。ここではまず全て１のクライアントコンピュータ７に存在するとして説明し、後にサーバコンピュータ４に移した場合の処理について述べる。
【００２９】
通信開始部８０は、クライアントコンピュータ７と通信ネットワーク２との間での通信を開始するとともに、テレビ会議の相手となる通信装置３との間での通信を開始する。そして、通信を開始した場合には、データ取得部９１において、通信相手となる通信装置に接続されているカメラ８及びマイクロフォン９からの映像データ及び音声データである処理対象データの取得を開始する。なお、この場合の映像データの例を図５に示す。該映像データには、テレビ会議の相手の上半身画像２０が含まれている。
【００３０】
記録媒体９０は、録画装置５において使用される記録媒体であり、データ取得部が取得した処理対象データを逐次記録する。
【００３１】
音声認識部８９は、データ取得部９１が取得する音声データを音声認識し、文字列として取得する。音声認識手段には、従来から各種販売されている音声認識ソフトを使用することができる。そして、映像データと、文字列として取得された音声データと、を照合部８８に出力する。
【００３２】
照合部８８は、後述するキーワード設定部８４において設定されるキーワードデータにより示されるキーワードが、音声認識部８９から入力される文字列に含まれるか否かを判定する。具体的には、該文字列を所定時間ごとに単語に区切り、単語集合として取得し、該単語集合にキーワードが含まれるか否かを判定することとしてもよい。また、順次取得される音声データから順次単語を抽出し、該単語がキーワードに含まれるか否かを判定することとしてもよい。さらに、該キーワードである文字列が音声データに含まれるタイミングを記憶することとしてもよい。具体的には、例えばテレビ会議が開始してからの秒数で記憶してもよいし、時刻で記憶することもできる。
【００３３】
さらに照合部８８は、後述する話者設定部８３において設定される話者データにより示される話者が、音声認識部８９から入力される映像データ又は音声データに含まれるか否かを判定することとしてもよい。すなわち、話者データにより示される話者が、キーワードを喋ったのか否かを判定する。具体的には、映像データをパターン認識することにより、話者の映像を抽出し、該話者の映像がニューラルネットによって記憶される話者データが示す話者と判定できるか否かを判断することとしてもよいし、音声データをパターン認識することにより、話者の声紋を抽出し、該話者の声紋がニューラルネットによって記憶される話者データが示す話者と判定できるか否かを判断することとしてもよい。
【００３４】
以上のようにして、照合部８８は処理対象データに含まれる話者とキーワードを取得することができる。なお、話者とキーワードを取得する処理は、どちらを先に行ってもよい。例えば話者が話者データにより示される話者として判定される場合に、キーワードが文字列に含まれるか否かを判定することとしてもよいし、キーワードが文字列に含まれる場合に、話者が話者データにより示される話者として判定されるか否かを判断してもよい。
【００３５】
ここで、話者設定部８３、キーワード設定部８４、再生動作設定部８５及び通知設定部８６における処理について詳述する。
【００３６】
話者設定部８３、キーワード設定部８４、再生動作設定部８５及び通知設定部８６は、操作部７５において、クライアントコンピュータ７のユーザが後述する各データを設定するための機能部である。具体的には、例えば表示部７６において図６に示すようなメニュー画面を表示することにより、ＧＵＩによりユーザが各データを設定することとしてもよい。図６を例に取り、話者設定部８３、キーワード設定部８４、再生動作設定部８５及び通知設定部８６について説明する。
【００３７】
話者設定部８３は、話者データを登録するために話者データを設定するための機能部であり、図６においてはメンバーを入力する入力欄２２において話者データを入力することにより設定することができる。話者データとしては、ここでは話者の名前を用いている。なお、複数の話者データを設定できることとしてもよい。
【００３８】
キーワード設定部８４は、キーワードデータを登録するためにキーワードデータを設定するための機能部であり、図６においては発言キーワードを入力する入力欄２３においてキーワードデータを入力することにより設定することができる。キーワードデータとしてはここではキーワードとして使用される文字列そのものを用いている。また、複数のキーワードデータを設定することができることとしてもよい。
【００３９】
通知設定部８６は、後述する通知部８２において通知処理を行う際の処理方法について入力することにより設定する。ここでは、「アイコン点滅」としており、例えば図５のアイコン２１が点滅することによりユーザに対する通知処理を行うことを設定する。なお、他にも例えば音量を増大することによって通知することとしてもよいし、ページャを鳴らすことにより通知することとしてもよい。これらのうち、複数の通知処理を行うように設定することとしてもよい。
【００４０】
再生動作設定部８５は、後述する再生部８７において記録媒体９０に逐次記録される処理対象データを再生する際の方法を入力することにより設定する。再生方法は、例えば「キーワードがあったタイミング（発言時）の１分前から再生する」というように、いつから再生するのかを設定することもできるし、例えば「会議の模様をリアルタイムでディスプレイ６に流し続けながら、ディスプレイ６において子画面表示により再生する」というように、表示の方法を設定することとしてもよい。もちろん、「再生しない」というように表示方法を設定することもできる。
【００４１】
なお、話者設定部８３、キーワード設定部８４、再生動作設定部８５及び通知設定部８６は、図６におけるアイコン２６が押下された場合に、各部ともに設定処理を行うこととすることができる。設定処理とは、設定された各データを、主記憶部７２に記憶することにより、照合部８８でキーワードデータや話者データを参照できるようにしたり、再生部８７で再生する際に、再生指示部８１が再生方法を参照できるようにしたり、通知部８２で通知処理を行う際に、通知方法を参照できるようにしたり、といった処理である。この場合、例えばキーワードと話者を対応付けて記憶することとしてもよい。すなわち、複数の話者を設定する場合に、各話者について、それぞれ異なるキーワードを記憶することとしてもよい。こうすれば、照合部８８において、話者が複数の話者のうちいずれの話者であるか否かに応じて、キーワードが文字列に含まれるか否かを判定することができる。すなわち、話者ごとに通知されるキーワードを設定することができる。
【００４２】
次に、再生指示部８１及び再生部８７の処理について説明する。再生指示部８１は、照合部８８においてキーワードが含まれると判断され、かつ話者が話者データとして設定された話者であると判断される場合に、再生動作設定部８５において設定された再生方法に従って記録媒体９０に記録された処理対象データを再生することを、再生部８７に対して指示する。この再生の際の具体例を図７に示す。図７は図５と同様にテレビ会議の相手の上半身画像２７が映像として写っている。そしてさらにアイコン２８が表示される。ユーザが該アイコン２８をクリックした場合には、再生を終了し通常のテレビ会議の映像に戻す処理を行う。この場合において、再生中も引き続きデータ取得部９１において取得される処理対象データを記録し続けることとしてもよいし、再生中は一旦電話を切断し、アイコン２８がクリックした段階で再度接続することとしてもよい。
【００４３】
通知部８２は、照合部８８においてキーワードが含まれると判断され、かつ話者が話者データとして設定された話者であると判断される場合に、所定の通知処理を行う。所定の通知処理は上述の通り、通知設定部８６において設定された通知方法にて、通知処理を行う。該通知処理により、ユーザはテレビ電話の相手がキーワードを発言したことを知ることができる。さらには、そのキーワードを発言した相手が設定した人間であることを知ることができる。
【００４４】
以上の説明においては、各部がクライアントコンピュータ７に存在するとして説明したが、次にサーバコンピュータ４において一部の処理を行った場合の処理について述べる。
【００４５】
サーバコンピュータ４において処理を行う場合には、複数のクライアントコンピュータ７の話者設定部８３、キーワード設定部８４、再生動作設定部８５及び通知設定部８６でそれぞれ設定された各データを、データベース４５に記憶する。記憶する際には、各データを各クライアントコンピュータ７のユーザである各データの登録者を特定する登録者データと対応付けて記憶する。登録者データとしては、通知部８２における通知処理に応じた登録者データを記憶する。例えば通知処理がアイコンの点滅や音量の増大である場合には、クライアントコンピュータ７のＩＰアドレスであるとすることができる。また、通知処理がページャの鳴動である場合には、ページャのアドレスとることもできる。さらに、サーバコンピュータ４を多地点テレビ会議サーバとして使用する場合には、各ディスプレイ６に対する映像に通知のための映像を合成するためのデータとすることもできる。データベース４５に記憶されるテーブルの具体的な例を図９に示す。図９に示すように、登録者データ、キーワードデータ、話者データ、通知方法及び再生方法は、対応付けて記憶することができる。そしてこのようにこれらを対応付けて記憶した場合には、特定の話者が特定のキーワードを喋った場合に、特定の通知方法で通知し、特定の再生方法で再生する、ということが可能になる。ただし、これら全てのデータを対応付けなくても、個別にそれぞれ対応付けて記憶するだけでもよい。
【００４６】
サーバコンピュータ４にもデータ取得部９１を設け処理対象データを取得するとともに、該処理対象データについて、同じくサーバコンピュータ４に設置される音声認識部８９、照合部８８において上記処理を行うこととしてもよい。また、記録媒体９０としてサーバコンピュータ４の副記憶部４６を使用することとしてもよい。さらに、再生指示部８１、再生部８７及び通知部８２をサーバコンピュータ４に設置することとしてもよい。以下では、音声認識部８９、照合部８８、記録媒体９０、再生指示部８１、再生部８７及び通知部８２はサーバコンピュータ４に設置されるものとして説明する。さらに、サーバコンピュータ４を多地点テレビ会議サーバとして使用するものとして説明する。
【００４７】
音声認識部８９は、データ取得部９１において取得された処理対象データについて、上述の文字列として取得する処理を行う。そして照合部８８は、データベース４５に記憶されるキーワードが該文字列に含まれるか否かを判定する。含まれる場合には、上述の処理により、該キーワードと対応付けて記憶される登録者データと対応付けてデータベース４５に記憶される話者データにより示される話者が、音声認識部８９から入力される映像データ又は音声データに含まれるか否かを判定することとしてもよい。
【００４８】
このようにすると、登録者データごとに、キーワードを検出し、該キーワードの話者を取得することができる。そして、通知部８２は、登録者データに対して、該登録者データと対応付けて記憶される通知方法にて通知処理を行う。また、再生指示部８１も同様に、登録者データが特定する登録者の指示（例えばアイコン２１のクリック）を該登録者が使用するクライアントコンピュータ７から受信した場合に、該クライアントコンピュータと対応するディスプレイ６に対して送信する映像に、該登録者データと対応付けて記憶される再生方法に従って、再生部８７が再生する記録媒体９０に記録される映像を合成して送信する。
【００４９】
以上のようにすることにより、サーバコンピュータ４を利用して登録者データごとにキーワードを検出し、該キーワードの話者を取得し、通知処理を実行し、再生映像を送信する、といった処理を行うことができる。
【００５０】
以上の処理を、１のクライアントコンピュータ７で処理を行う場合についてフロー図を参照しながら説明する。
【００５１】
図８は、クライアントコンピュータ７で行われる処理の一例を示すフロー図である。
【００５２】
まず、音声データ及び映像データである処理対象データを取得する（Ｓ１００）。ここでは、処理対象データは時間毎に区切って取得するものとして説明する。そして、その中に含まれる話者を特定する（Ｓ１０２）とともに、音声認識処理により音声データを文字列化して取得する（Ｓ１０４）。そして、該文字列を単語に分割し、単語と、話者と、発話時刻と、を対応付けて記憶する（Ｓ１０６）。なお、時間毎に区切られた処理対象データを、その開始時刻と対応付けて記憶してもよい。ただしこの場合にも話者は単語と対応付けられることが望ましい。なお記憶するのは、単語でなくても文節を使用することもできる。文節の場合にはそれ自身でひとまとまりの音声上の特徴を有するので、より音声認識には適していると考えられる。
【００５３】
そして、上記各単語が、記憶されるキーワードに含まれるか否かを判定する（Ｓ１０８）。なお、上述のように単語に変えて文節を記憶する場合には、単語として入力されるキーワードは文節の一部となるので、該文節の一部にキーワードが含まれるか否かについても判定する必要がある。そして、該文節の一部にキーワードが含まれる場合には、該文節が、記憶されるキーワードに含まれると判定する。そして、含まれると判定される場合には次のＳ１１０の処理に進み、含まれないと判定される場合には、Ｓ１００に戻り、次の処理対象データを取得する。
【００５４】
Ｓ１１０の処理では、キーワードを含む単語について対応付けて記憶される話者が、記憶されている話者に含まれるか否かを判定する。すなわち、キーワードを喋った人間が登録者の登録した話者か否かを判定する。そして、記憶される話者である場合には、次のＳ１１２の処理に進み、含まれないと判定される場合には、Ｓ１００に戻り、次の処理対象データを取得する。もちろん、キーワードは複数含まれる場合があるので、各キーワードについて処理を行い、１つでも記憶される話者が喋ったキーワードである場合には次のＳ１１２の処理に進む。
【００５５】
Ｓ１１２では、登録者に対する所定の通知処理を行う。上述のように、アイコンを点滅させたり、音量を増大させたり、といった処理である。
【００５６】
そして、登録者によって繰り返し再生することを要求されたか否かを監視することにより判定する（Ｓ１１４）。すなわち、予め登録者によって設定された再生方法にて再生することを要求されたか否かを判定する。要求されたと判定する場合には、次のＳ１１６の処理に進み、要求されないと判定される場合（タイムアウトする場合）には、Ｓ１００に戻り、次の処理対象データを取得する。
【００５７】
Ｓ１１６では、上記話者が話すキーワードを含んでいた単語と対応付けられて記憶される発話時刻から計算し、１分前の時刻から、再生処理を行う。このとき、記録媒体９０によって新たな処理対象データが逐次記録されていく場合には、それを逐次読み出すことにより、次の処理によって登録者が再生停止を要求するまでの間、常に一分遅れの処理対象データを再生し続けることも可能である。
【００５８】
次に、再生終了が要求されたか、又は再生が最後まで終了したか、を監視し、判定する（Ｓ１１８）。そして、肯定判定された場合には、再生を終了し、通常のテレビ会議に戻す（Ｓ１２０）。そして、Ｓ１００に戻り、次の処理対象データを取得する。否定判定された場合には、肯定判定またはタイムアウトまで繰り返し該判定処理を行う。
【００５９】
以上のようにすることにより、会議の内容に参加者の興味ある部分があった場合に、該会議参加者に通知することが可能とする。そして、興味ある部分を、話者の発言に含まれるキーワードにより特定することができる。また、キーワードを話した話者によって処理を変更することも可能である。
【００６０】
なお、本発明は上記実施の形態に限定されるものではない。
【００６１】
例えば、本発明はテレビ会議以外にも適用できる。すなわち、音声からキーワードをリアルタイムで抽出する必要があるような場合に本発明を適用することができる。また、キーワードを抽出せずに、話者のみを特定して、所定の通知処理を行うとすることもできる。このようにすれば、例えばテレビ会議で特定の話者が話し始めた時に所定の通知処理を行うことができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態にかかる聴取支援システムの構成を示すブロック図である。
【図２】本発明の実施の形態にかかるサーバコンピュータのハードウェア構成を示すブロック図である。
【図３】本発明の実施の形態にかかるクライアントコンピュータのハードウェア構成を示すブロック図である。
【図４】本発明の実施の形態にかかる聴取支援システムの機能ブロック図である。
【図５】本発明の実施の形態にかかるディスプレイにおける表示例である。
【図６】本発明の実施の形態にかかるディスプレイにおける表示例である。
【図７】本発明の実施の形態にかかるディスプレイにおける表示例である。
【図８】本発明の実施の形態にかかる処理のフロー図である。
【図９】本発明の実施の形態にかかるデータベースに記憶されるテーブルである。
【符号の説明】
【００６３】
１  聴取支援システム、２  通信ネットワーク、３  通信装置、４  サーバコンピュータ、５  録画装置、６  ディスプレイ、７  クライアントコンピュータ、８  カメラ、９  マイクロフォン、４０  バス、４１，７１  制御部、４２，７２  主記憶部、４３，７３  入出力記憶部、４４，７４  通信部、４５  データベース、４６，７７  副記憶部、７５  操作部、７６  表示部、８０  通信開始部、８１  再生指示部、８２  通知部、８３  話者設定部、８４  キーワード設定部、８５  再生動作設定部、８６  通知設定部、８７  再生部、８８  照合部、８９  音声認識部、９０  記録媒体、９１  データ取得部。
【図１】
2005345508.tif 000003
【図２】
2005345508.tif 000004
【図３】
2005345508.tif 000005
【図４】
2005345508.tif 000006
【図５】
2005345508.tif 000007
【図６】
2005345508.tif 000008
【図７】
2005345508.tif 000009
【図８】
2005345508.tif 000010
【図９】
2005345508.tif 000011