(57)【要約】      （修正有）【課題】音声情報検索技術において、複数の発話者に対応する。【解決手段】情報提供装置５０は発話者１０，１２，１４，１６からの音声を、複数の発話者のそれぞれを識別する識別情報に対応付けて取得する音声取得部と、複数の発話者のうちの第１発話者の音声が示す第１情報と、第２発話者の音声が示す第２情報との関連度に基づいて、第１発話者と第２発話者との間に会話が成立しているか否かを判断する会話判断部と、会話判断部により第１発話者と第２発話者との間に会話が成立していると判断された場合に、第１発話者の識別情報および第２発話者の識別情報に対応付けて、会話が成立していることを示す情報を出力する情報出力部とを備える。【選択図】図１
2014178621.tif 000002
【特許請求の範囲】
【請求項１】
複数の発話者からの音声を、前記複数の発話者のそれぞれを識別する識別情報に対応付けて取得する音声取得部と、
前記複数の発話者のうちの第１発話者の音声が示す第１情報と、第２発話者の音声が示す第２情報との関連度に基づいて、前記第１発話者と前記第２発話者との間に会話が成立しているか否かを判断する会話判断部と、
前記会話判断部により前記第１発話者と前記第２発話者との間に会話が成立していると判断された場合に、前記第１発話者の識別情報と前記第２発話者との識別情報に対応付けて、会話が成立していることを示す情報を出力する情報出力部と
を備える情報提供装置。
【請求項２】
前記会話判断部は、予め定められた時間ごとに、前記第１発話者と前記第２発話者との間に会話が成立しているか否かを判断することを特徴とする請求項１に記載の情報提供装置。
【請求項３】
前記複数の発話者の位置を前記識別情報に対応付けて取得する位置取得部をさらに備え、
前記会話判断部は、前記関連度が閾値以上である場合に、前記第１発話者と、前記第２発話者との間に会話が成立していると判断し、
前記会話判断部は、前記位置取得部により取得された前記複数の発話者の位置が離れているほど前記閾値を上げて判断することを特徴とする請求項１又は２に記載の情報提供装置。
【請求項４】
前記第１発話者と前記第２発話者との間に会話が成立しているか否かを、前記第１発話者および前記第２発話者との前記識別情報に対応付けて記録する記録部とをさらに備え、
前記会話判断部は、前記関連度が閾値以上である場合に、前記第１発話者と前記第２発話者との間に会話が成立していると判断して、前記会話が成立していることを示す情報を前記記録部に記録し、
前記会話判断部は、前記複数の発話者のうち判断の対象とする発話者について前記記録部に他の発話者との会話が成立していることを示す情報が記録されていない場合に、前記閾値を前回よりも下げて判断することを特徴とする請求項３に記載の情報提供装置。
【請求項５】
前記情報出力部は、前記第１発話者および前記第２発話者に提供する提供情報を出力することを特徴とする請求項１から４の何れか１項に記載の情報提供装置。
【請求項６】
前記情報出力部は、前記会話判断部が会話が成立したと判断した関連度を取得するのに使用した前記第１情報もしくは第２情報に関連する提供情報を、会話が成立した前記第１発話者と前記第２発話者に提供することを特徴とする請求項１から４の何れか１項に記載の情報提供装置。
【請求項７】
前記情報出力部は、会話が成立しなかった前記複数の発話者に対し、会話が成立した前記第１発話者と前記第２発話者とは異なった態様で前記提供情報を出力することを特徴とする請求項５又は６に記載の情報提供装置。
【請求項８】
前記情報出力部は、前記提供情報として、会話が成立した前記第１発話者と前記第２発話者との音声が示す前記第１情報もしくは第２情報に関連する画像を、会話が成立した前記第１発話者と前記第２発話者には大きく表示させ、会話が成立しなかった前記複数の発話者には小さく表示させるように、前記画像を出力することを特徴とする請求項７に記載の情報提供装置。
【請求項９】
前記情報出力部は、前記提供情報として、会話が成立した前記第１発話者と前記第２発話者との音声を、会話が成立した前記第１発話者と前記第２発話者には大きい音量で出力し、会話が成立しなかった前記複数の発話者には小さい音量で出力することを特徴とする請求項７から８のいずれか一項に記載の情報提供装置。
【請求項１０】
複数の発話者からの音声を、前記複数の発話者のそれぞれを識別する識別情報に対応付けて取得する音声取得機能と、
前記複数の発話者のうちの第１発話者の音声が示す第１情報と、第２発話者の音声が示す第２情報との関連度に基づいて、前記第１発話者と前記第２発話者との間に会話が成立しているか否かを判断する会話判断機能と、
前記会話判断機能により前記第１発話者と前記第２発話者との間に会話が成立していると判断された場合に、会話が成立していることを示す情報を出力する情報出力機能と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提供装置およびプログラムに関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータなどの検索装置から情報を検索する技術が知られている（例えば、特許文献１参照）。
［特許文献１］特開２００７−０１７９９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記技術においては、単一の使用者しか想定されていないので、複数の使用者に対応するものではなかった。
【課題を解決するための手段】
【０００４】
本発明の第一態様として、複数の発話者からの音声を、複数の発話者のそれぞれを識別する識別情報に対応付けて取得する音声取得部と、複数の発話者のうちの第１発話者の音声が示す第１情報と、第２発話者の音声が示す第２情報との関連度に基づいて、第１発話者と第２発話者との間に会話が成立しているか否かを判断する会話判断部と、会話判断部により第１発話者と第２発話者との間に会話が成立していると判断された場合に、第１発話者の識別情報および第２発話者の識別情報に対応付けて、会話が成立していることを示す情報を出力する情報出力部とを備える情報提供装置が提供される。
【０００５】
本発明の第二態様として、複数の発話者からの音声を、複数の発話者のそれぞれを識別する識別情報に対応付けて取得する音声取得機能と、複数の発話者のうちの第１発話者の音声が示す第１情報と、第２発話者の音声が示す第２情報との関連度に基づいて、第１発話者と第２発話者との間に会話が成立しているか否かを判断する会話判断機能と、会話判断部により第１発話者と第２発話者との間に会話が成立していると判断された場合に、会話が成立していることを示す情報を出力する情報出力機能とをコンピュータに実行させるプログラムが提供される。
【０００６】
上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。これら特徴群のサブコンビネーションもまた発明となり得る。
【図面の簡単な説明】
【０００７】
【図１】情報提供システムの一例を示す。
【図２】情報提供システムの機能ブロック図を示す。
【図３】音声データベースの一例を示す。
【図４】会話成立データベースの一例を示す。
【図５】画像提供処理の動作を説明するフローチャートである。
【図６】会話成立判断処理の動作を説明するフローチャートである。
【図７】画像検索処理の動作を説明するフローチャートである。
【図８】表示部に表示された表示画面の一例を示す。
【図９】類義語データベースの一例を示す。
【図１０】閾値データベースの一例を示す。
【図１１】閾値が変更された閾値データベースの一例を示す。
【図１２】表示部に表示された別の表示画面の一例を示す。
【図１３】別の情報提供システムの一例を示す。
【図１４】別の情報提供システムの機能ブロック図を示す。
【図１５】発話者の位置データの一例を示す。
【図１６】発話者の位置データの一例を示す。
【図１７】閾値が変更された閾値データベースの一例を示す。
【図１８】別の情報提供システムの一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、情報提供システム１の一例を示す。図１において、情報提供システム１は、情報提供装置５０と、画像検索装置７０と、４つの端末３０と、３２と、３４と、３６と、これらをつなげるネットワーク４０とを有する。端末３０、３２、３４、および３６は、それぞれ音声入力部２０、２２、２４、２６と、表示部２１、２３、２５、２７と有する。音声入力部２０、２２、２４、および２６は、発話者１０、１２、１４、および、１６の会話を音声データとして対応する端末に入力する。画音声入力部２０、２２、２４、および２６の一例は集音マイクであり、端末３０、３２、３４、３６は、例えば、パーソナルコンピュータであってもよく、タブレット型のコンピュータであってもよく、スマートフォン等の携帯電話であってもよい。
【００１０】
端末３０、３２、３４、および３６に入力された音声データは、ネットワーク４０を介して情報提供装置５０に出力される。情報提供装置５０は、音声データから発話者１０、１２、１４、および１６から会話が成立しているか否かを判断して、会話が成立している発話者を特定する。
【００１１】
一方、情報提供装置５０は、会話が成立している発話者に対して、音声データから会話に関連する画像データを画像検索装置７０から取得する。情報提供装置５０は、画像データを端末に出力して、会話が成立している発話者に当該画像を表示させる。なお、画像は、提供情報の一例である。
【００１２】
図２は、情報提供システム１の機能ブロック図を示す。端末３０は、音声入力部２０と、表示部２１とを有する。音声入力部２０は、発話者１０の音声を端末３０に音声データとして入力する。表示部２１は、情報提供装置５０から出力される画像データを画像として表示する。なお、端末３２、３４、および３６の構成は、端末３０と同じなので説明を省略する。
【００１３】
情報提供装置５０は、音声取得部５２と、記録部５４と、会話判断部５６と、情報出力部５８とを有する。音声取得部５２は、複数の発話者からの音声データを、複数の発話者１０、１２、１４、および１６を識別する端末３０、３２、３４、および３６の端末ＩＤに対応付けて取得する。なお、端末ＩＤは、識別情報の一例である。音声取得部５２は、言語解析により音声に含まれる名詞データを抽出して、当該名詞データを端末ＩＤと対応付ける。
【００１４】
記録部５４は、情報提供装置５０を動作させる目的で使用される種々のデータベースを格納する。会話判断部５６は、音声取得部５２から出力された名詞データを記録部５４に格納されたデータベースに記録する。会話判断部５６は、複数の発話者１０、１２、１４、および１６のうちの第１発話者の音声が示す第１情報と、第２発話者の音声が示す第２情報との関連度に基づいて、第１発話者と第２発話者との間に会話が成立しているか否かを判断する。音声を特定の言語ととらえたときに、当該言語に含まれる意味内容は、上記音声が示す情報の一例である。なお、音声が示す情報との関連度の一例は、第１発話者の音声データから取得された名詞データと、第２発話者の音声データから取得された名詞データとの一致数である。会話判断部５６は、当該一致数が多いほど第１発話者と第２発話者との関連度は高いと判断する。
【００１５】
情報出力部５８は、画像検索式を作成して、画像検索装置７０へ出力する。画像検索式に使用するキーワードの一例は、会話判断部５６が、関連度を取得するのに使用した第１発話者と第２発話者との間で一致した名詞である。情報出力部５８は、当該画像検索式に適合する画像データを画像検索装置７０から取得する。情報出力部５８は、画像データを第１発話者の端末ＩＤおよび第２発話者の端末ＩＤに対応付けて、第１発話者の端末、および第２発話者の端末へ出力する。
【００１６】
画像検索装置７０は、画像検索部７２と、画像格納部７４とを有する。画像検索部７２は、情報出力部５８から出力された画像検索式に適合する画像データを、画像格納部７４に格納されている画像データの中から検索する。画像検索部７２は、画像検索式に適合した画像データを画像格納部７４から読み出して、情報出力部５８へ出力する。当該画像データは、第１発話者と第２発話者との間で一致した名詞データを用いた画像検索式で抽出されるので、当該画像データは、会話が成立したと判断した関連度を取得するのに使用した情報に関連したものとなる。
【００１７】
上記音声取得部５２、会話判断部５６および情報出力部５８の少なくとも一部の機能が、記録部５４に格納されたプログラムを読み出すことにより実行されてもよい。当該プログラムは、媒体から読み込まれて、記録部５４に格納されてもよく、ネットワーク４０から読み込まれて、記録部５４に格納されてもよい。
【００１８】
図３は、音声データベース８０の一例を示す。音声データベース８０は、記録部５４に格納されている。音声データベース８０には、発話者１０、１２、１４および１６の名前と装置ＩＤが記録される。会話判断部５６は、名詞データに対応付けられた装置ＩＤを確認して、当該装置ＩＤと一致する行に、名詞データを記録する。
【００１９】
図４は、会話成立データベース８２の一例を示す。会話成立データベース８２は、記録部５４に格納されている。会話成立データベース８２は、第１発話者と第２発話者との間に会話が成立しているか否かを記録する。
【００２０】
会話成立データベース８２には、最左列と最上行に装置ＩＤが記録され、行と列とが交差する枠に、最左列に記録された装置ＩＤと最上行に記録された装置ＩＤに対応する発話者の間で会話が成立したか否かが記録される。すなわち、当該枠に「１」のフラグが立っている場合に、当該枠の行の左端に記録された装置ＩＤに対応する発話者と、当該枠の列の最上に記録された装置ＩＤに対応する発話者との間で会話が成立していることを示す。一方、当該枠に「０」が示されている場合には会話が成立していないことを示す。
【００２１】
図５は、画像提供処理の動作を説明するフローチャートである。画像提供処理の動作は、発話者がそれぞれの端末から情報提供システムにログインすることによって開始する。発話者１０は、ログイン時に端末３０から発話者１０の名前を入力する（Ｓ１０１）。端末３０は、当該入力を受け付けると、ネットワーク４０を介して発話者１０の名前と端末ＩＤとを情報提供装置５０の音声取得部５２へ出力する。
【００２２】
音声取得部５２は、ログインした発話者１０の名前と、端末ＩＤを取得すると、会話判断部５６に出力する。会話判断部５６は、記録部５４に格納されている音声データベース８０に名前と端末ＩＤを最左列に記録する。また、会話判断部５６は、会話成立データベース８２の最左列と、最上行に端末ＩＤを記録する。なお、既に他の発話者の端末ＩＤが記録されている場合は、記録された端末ＩＤの下枠、または右枠に記録する。
【００２３】
音声取得部５２は、前回会話が成立しているか否かを判断した時点から、予め定められた時間が経過したかを判断する（Ｓ１０２）。予め定められた時間は、例えば、１０分である。
【００２４】
なお、ステップＳ１０２において、音声取得部５２は、音声データベース８０に名詞データが記録されていない発話者がいることを条件として、処理をステップＳ１０３へ進める。これにより、音声取得部５２は、初めて会話が成立しているか否かを判断する場合に対応できる。また、音声取得部５２は、音声データベース８０に名詞データが記録されていない発話者がいることを条件として、処理をステップＳ１０３へと進める。これにより、新たな発話者がログインした場合に、迅速に新たな発話者を含めて会話が成立しているか否かを判断することができる。
【００２５】
音声取得部５２は、前回会話が成立しているか否かを判断した時点から、１０分経過したと判断した場合（Ｓ１０２：Ｙｅｓ）、音声データを予め定められた時間取得するまで待機する（Ｓ１０３）。予め定められた時間は、上記「１０分」より短く、例えば、３分である。音声取得部５２は、３分の間、音声入力部２０、２２、２４および２６からの音声データを、発話者の装置ＩＤに対応付けて受付ける。音声取得部５２は、３分間音声データが取得できたと判断すると（Ｓ１０３：Ｙｅｓ）、処理をステップＳ１０４に進める。
【００２６】
音声取得部５２は、前回会話が成立しているか否かを判断した時点から、１０分経過していないと判断した場合（Ｓ１０２：Ｎｏ）、音声データを予め定められた時間取得するまで待機する（Ｓ１０５）。この場合において、予め定められた時間は、例えば、３０秒である。音声取得部５２は、３０秒の間、音声入力部２０、２２、２４および２６からの音声データを、話者の装置ＩＤに対応付けて受付ける。音声取得部５２は、３０秒間音声データが取得できたと判断すると（Ｓ１０５：Ｙｅｓ）、処理をステップＳ１０６に進める。
【００２７】
ステップＳ１０３の処理とステップＳ１０４の処理とでは、音声データを取得する時間が異なる。ステップＳ１０３の処理においては、発話者に画像を提供する目的だけでなく、発話者の会話が成立しているか否かを判断するので、判断の誤検知を防止することを目的として、ステップＳ１０４と比較して長い時間音声データを取得する。一方、ステップＳ１０４の処理においては、発話者に画像をタイムリーに提供する目的で、ステップＳ１０３と比較して短い時間音声データを取得する。
【００２８】
ステップＳ１０３に続いて、音声取得部５２、および会話判断部５６は、会話成立判断処理を行う（Ｓ１０４）。会話成立判断処理において、会話が成立しているか否かを判断する。
【００２９】
ステップＳ１０４に続いて、情報出力部５８は、画像検索処理を行う（Ｓ１０６）。画像検索処理において、画像を検索する。
【００３０】
ステップＳ１０６に続いて、情報出力部５８は、記録部５４に格納された、音声データベース８０と、会話成立データベース８２から、会話が成立している発話者の装置ＩＤと名前を取得する。情報出力部５８は、画像データ、および名前を、会話が成立している発話者の装置ＩＤに対応付けて、端末ＩＤに対応する端末へ出力する（Ｓ１０７）。端末の表示部２１は、画像データ、および名前を表示する。発話者は、当該画像と、会話が成立している発話者の名前が視認できる。なお、画像データ、および名前は、会話が成立していることを示す情報の一例である。
【００３１】
ステップＳ１０７に続いて、音声取得部５２は、発話者により終了が選択されたかを判断する（Ｓ１０８）。音声取得部５２は、全ての発話者がログオフした場合に、発話者により終了が選択されたと判断して（Ｓ１０８：Ｙｅｓ）、画像提供処理の動作を終了する。一方、音声取得部５２は、いずれかの発話者がログオフしていない場合は、発話者により終了が選択されていないと判断して（Ｓ１０８：Ｎｏ）、処理をステップ１０２に戻す。
【００３２】
図６は、会話成立判断処理の動作を説明するフローチャートである。会話成立判断処理の動作は、音声取得部５２によって３分間音声データが取得した後に実行される（Ｓ１０３：Ｙｅｓ）。
【００３３】
音声取得部５２は、音声データを言語解析して（Ｓ２０１）、当該音声データから名詞データを抽出する。本実施形態では、言語声解析として、例えば、辞書等に記載された名詞データを記録したデータベースを予め準備しておき、音声データを語句ごとに分断して作成した語句データとデータベースに記録した名詞データとで一致検索する。
【００３４】
当該語句データとデータベースに登録された名詞データとが一致する場合に、音声取得部５２は、当該語句は名詞であると判断して、当該語句データを名詞データとして抽出する。一方、当該語句データがデータベースに登録された名詞データと一致しない場合には、当該語句は名詞ではないと判断して、当該語句データを消去する。このようにして、音声データから名詞データを抽出する。音声取得部５２は、抽出した名詞データを発話した発話者の装置ＩＤに対応付けて会話判断部５６に出力する。
【００３５】
会話判断部５６は、取得した名詞データを、記録部５４に格納された音声データベース８０に記録する（Ｓ２０２）。会話判断部５６は、名詞データに対応付けられた装置ＩＤと一致する装置ＩＤが記録された行に当該名詞データを記録する。
【００３６】
音声取得部５２から取得した名詞データの記録が終了したら、会話判断部５６は、それぞれの発話者の名詞データを確認して、一致する名詞データの数を計測する（Ｓ２０３）。会話判断部５６は、まず、発話者１０と発話者１２とで一致する名詞データの数を計測する。図３に示した音声データベース８０の例においては、発話者１０と発話者１２とは、「お城」と、「かぼちゃ馬車」が一致しているので一致数は２となる。
【００３７】
会話判断部５６は、計測した一致数が閾値以上であるかを判断する（Ｓ２０４）。なお、閾値は、例えば２０である。会話判断部５６は、一致数が閾値以上であった場合に、閾値を超えたと判断して（Ｓ２０４：Ｙｅｓ）、発話者１０と発話者１２とで会話が成立していると判断する（Ｓ２０５）。一方、会話判断部５６は、一致数が閾値より小さい場合に、閾値を超えていないと判断して（Ｓ２０４：Ｙｅｓ）、発話者１０と発話者１２とで会話が成立していないと判断する（Ｓ２０６）。
【００３８】
図３に示した音声データベース８０の例においては、発話者１０と発話者１２との名詞データで一致したものが「お城」と、「かぼちゃ馬車」の２つを含めて２０個以上あった場合、会話判断部５６は、発話者１０と発話者１２とで会話が成立していると判断する。一方、発話者１０と発話者１２との一致数が上記２個であった場合、会話判断部５６は、発話者１０と発話者１２とで会話が成立していないと判断する。
【００３９】
会話判断部５６は、会話成立データベースの値を全て「０」に変更する。会話判断部５６は、ステップＳ２０５、およびステップＳ２０６の判断にしたがい、会話が成立しているならば「１」のフラグを立て、会話が成立していないならば「０」のままとして、会話成立データベース８２のフラグを更新する（Ｓ２０７）。
【００４０】
会話判断部５６は、全組み合わせについて一致数の確認を行い、会話の成立を確認したかを判断する（Ｓ２０８）。全組み合わせについて会話の成立を確認したと判断した場合（Ｓ２０８：Ｙｅｓ）、会話成立判断処理は終了する。一方、会話判断部５６は、全組み合わせについて会話が成立したか確認していないと判断した場合（Ｓ２０７：Ｎｏ）、処理をステップＳ２０３に戻して、例えば、発話者１０と発話者１４、発話者１０と発話者１６といった順番に、会話の成立を確認していく。
【００４１】
音声取得部５２は、ステップＳ１０２において、予め定められて時間である１０分を経過するごとに、ステップＳ１０３にて予め定められた時間である３分間、音声データを取得する。このため、会話判断部５６は、予め定められた時間である１０分ごとに、第１発話者と第２発話者との間に会話が成立しているか否かを判断する。
【００４２】
図７は、画像検索処理の動作を説明するフローチャートである。像検索処理の動作は、会話成立判断処理が行われた後（Ｓ１０４）、または、音声取得部５２によって、３０秒間音声データを取得した後に実行される（Ｓ１０５：Ｙｓｅ）。
【００４３】
会話判断部５６は、音声データベース８０から、一致した名詞データを抽出して、会話が成立していると判断した発話者の装置ＩＤに対応付けて当該名詞データを情報出力部５８に出力する。なお、会話判断部５６は、ステップＳ１０４で一致した名詞データを抽出している場合は、当該データを情報出力部５８に出力する。会話判断部５６は、会話が成立していると判断した発話者の装置ＩＤに対応付けて発話者の名前を情報出力部５８に出力する。情報出力部５８は、会話が成立していると判断された発話者の装置ＩＤに対応付いた名詞データと発話者の名前を取得する（Ｓ３０１）。
【００４４】
情報出力部５８は、名詞データから画像検索式を作成する（Ｓ３０２）。画像検索式は、取得した名詞データを論理積（ＡＮＤ）で結合した検索式でもよく、論理和（ＯＲ）で結合した検索式でもよい。名詞データを結合する条件は、情報提供システム１を利用する発話者により任意に変更できてよい。
【００４５】
情報出力部５８は、ネットワーク４０を介して画像検索式を画像検索装置７０の画像検索部７２に出力する（Ｓ３０３）。画像検索部７２は、画像検索式に適合する画像データを、画像格納部７４内に格納されている画像データの中から検索する。画像検索部７２は、画像検索式に適合する画像データを画像格納部７４から読み出して、ネットワーク４０を介して情報出力部５８に出力する。
【００４６】
情報出力部５８は、画像検索部７２から画像データを取得したかを判断する（Ｓ３０４）。情報出力部５８は、画像データを取得できたと判断した場合（Ｓ３０４：Ｙｅｓ）、画像検索処理の動作フローは終了する。一方、情報出力部５８は、画像検索部７２から画像を取得できないと判断した場合（Ｓ３０４：Ｎｏ）、処理をステップＳ１０２へ戻す。
【００４７】
図８は、表示部２１に表示された表示画面の一例を示す。図８は、発話者１０と１２との会話が成立した場合における、表示部２１に表示された表示画面の一例を示す。表示部２１には、会話が成立した発話者１２の名前が表示される会話者表示欄９２と、図３で示した音声データベース８０で一致した名詞データである「お城」と「かぼちゃ馬車」に関する画像が表示される画像表示欄９４とが表示される。
【００４８】
情報出力部５８は、会話が成立している発話者の端末ＩＤに対応付けて画像データ、および会話が成立している発話者の名前を当該会話が成立している発話者の端末に出力するが、当該会話が成立していない発話者の端末には出力しない。会話が成立している発話者の端末ＩＤに対応付けることによって、表示画面に会話が成立した発話者の名前を会話者表示欄９２に表示させることができる。
【００４９】
このように、情報出力部５８は、会話判断部５６により第１発話者と第２発話者との間に会話が成立していると判断された場合に、会話が成立している発話者の名前を会話者表示欄に表示される。これにより、会話が成立している発話者に会話を継続することを促すことができる。
【００５０】
また、情報出力部５８は、会話判断部５６により第１発話者と第２発話者との間に会話が成立していると判断された場合に、会話が成立している第１発話者および第２発話者に画像を提供する。これにより、異なる会話をしている発話者に、別の話題の情報を提供することを防止できる。
【００５１】
次に、関連度の他の例について説明する。図９は、類義語データベース８４の一例を示す。類義語データベース８４は、記録部５４に格納される。類義語データベース８４には、左端欄に記載された名詞データに対応する単数、または複数の類義語データが同じ行に記録される。会話判断部５６は、第１発話者の音声データから抽出した名詞データと、第２発話者の音声データから抽出した名詞データとで一致する名詞データがない場合であっても、名詞データに対応する類義語データと一致する名詞データが有れば、一致したとして一致数に加算して、加算しない場合よりも関連度を高めてもよい。
【００５２】
さらに、関連度の他の例について説明する。発話者の音声データから固有名詞データが言語解析で抽出できた場合であって、当該固有名詞データが他の登録された発話者の名前と一致する場合、会話判断部５６は、一致した名前を有する他の発話者の音声データベース８０に、当該固有名詞データが記録されていなくても、一致したとして一致数に加算して、加算しない場合よりも関連度を高めてもよい。また、名前と一致した固有名詞データがある場合、加算する数を１よりも多くして、重み付けをしてもよい。この場合には、ログイン時に登録された発話者の名前を、会話判断部５６が言語解析用のデータベースに登録して、音声取得部５２が一致検索を行う。
【００５３】
図１０は、閾値データベース８６の一例を示す。閾値データベース８６は、左列および最上行に発話者の装置ＩＤが記録されており、左列に記録された装置ＩＤに対応する発話者と上段行に記録された装置ＩＤに対応する発話者との閾値が、行と列の交差する枠に記録されている。図１０に示した閾値データベース８６は、初期の閾値が記録されているので、「２０」が記録されている。
【００５４】
図１１は、閾値が変更された閾値データベース８６の一例を示す。会話判断部５６は、会話が成立していない発話者の組合わせに対応した閾値を前回よりも下げてもよい。図１１に示した例は、発話者１０と１２との間と、発話者１４と１６との間とで会話が成立していると判断した後における閾値データベース８６を示している。具体的には、会話判断部５６は、会話が成立していると判断した、発話者１０と１２、および発話者１４と１６に対応した閾値以外の閾値を「２０」から「１８」に変更している。
【００５５】
会話判断部５６は、上記閾値の「下げる単位」と「下限値」とを記憶している。本実施形態において、例えば、「下げる単位」は「２」であり、「下減値」は「１０」である。
【００５６】
会話判断部５６は、記録部５４に格納された会話成立データベース８２を参照して、会話成立データベース８２に、会話が成立している旨が記録されていない場合に閾値を前回の値よりも「２」下げる。会話判断部５６は、その次も会話が成立していない場合は、更に「２」下げる。会話判断部５６は、閾値が「１０」まで下がった場合、その次は会話が成立していなくても閾値を「１０」に維持する。なお、一度会話が成立すると、会話判断部５６は、閾値を「２０」に戻す。
【００５７】
閾値の変更は、図６に示した会話成立判断処理の動作フローにおけるステップＳ２０７において実行される。会話判断部５６は、会話成立データベース８２を更新するとともに、閾値データベース８６を変更する。
【００５８】
会話判断部５６は、前回会話が成立していない発話者同士の閾値を前回よりも下げる。これにより、情報提供装置５０は、多くの発話者に対して、会話の成立を知らせてより会話を促すことができる。
【００５９】
図１２は、表示部に表示された別の表示画面の一例を示す。図１２は、発話者１０と発話者１２との間で会話が成立しており、発話者１４と発話者１６との間で会話が成立している例における、発話者１０の表示部２１に表示される表示画面の一例を示している。
【００６０】
表示部２１には、会話者表示欄９２と、画像表示欄９４とが表示されるとともに、会話が成立していない発話者１４と発話者１６の会話者表示欄９６と、画像表示欄９８とが表示されている。会話者表示欄９６には、発話者１０とは会話が成立していないが、会話が成立している発話者１４と発話者１６の名前が表示される。画像表示欄９８には、発話者１４と発話者１６とで一致した名詞データ「国立競技場」で検索された画像が表示される。会話者表示欄９６、および画像表示欄９８は、会話者表示欄９２と画像表示欄９４に比べて小さく表示される。
【００６１】
このように、情報出力部５８は、会話が成立しなかった複数の発話者に対し、会話が成立した第１発話者と第２発話者とは異なった態様で提供情報を出力する。具体的には、情報出力部５８は、提供情報として、会話が成立した第１発話者と第２発話者との音声が示す情報に関連する画像を、会話が成立した第１発話者と第２発話者には大きく表示させ、会話が成立しなかった複数の発話者には小さく表示させる。
【００６２】
情報出力部５８は、会話が成立しなかった複数の発話者に対し、会話が成立した第１発話者と第２発話者とは異なった態様で画像を出力する。これにより、情報提供装置５０は、会話に入っていない発話者に、会話に入っていないことを視認させて、会話に入るように促すことができる。
【００６３】
情報出力部５８は、提供情報として、会話が成立した第１発話者と第２発話者との音声が示す情報に関連する画像を、会話が成立した第１発話者と第２発話者には大きく表示させ、会話が成立しなかった複数の発話者には小さく表示させる。これにより、情報提供装置５０は、発話者の会話を活発にできるとともに、会話が成立していない発話者にも、会話に邪魔にならない程度の情報を与えることができる。
【００６４】
また、情報出力部５８は、逆に、会話が成立した第１発話者と第２発話者との音声が示す情報に関連する画像を、会話が成立した第１発話者と第２発話者には小さく表示させ、会話が成立しなかった複数の発話者には大きく表示させてもよい。これにより、情報提供装置５０は、会話が成立した発話者に会話が成立しなかった発話者と会話するための情報を与えることができる。なお、当該処理は、会話が成立しているか否かを判断してから次の判断を行うまでの時間よりも長い時間が経過した後に行うことが好ましい。例えば、会話が成立したかの判断を複数回行っても会話が成立しない発話者に対して、当該処理を行ってもよい。これにより、会話に参加していない発話者を当該会話に参加することを促すにあたり、すでに会話が成立している発話者同士の会話を邪魔するのを防ぐことができる。
【００６５】
次に、提供情報の他の例として、発話者の音声を提供情報として用いる場合について説明する。第１発話者の音声は、情報提供装置５０を介して、第２発話者へ出力される。情報出力部５８は、会話が成立した第１発話者と第２発話者との音声を、会話が成立した第１発話者と第２発話者には大きい音量で出力し、会話が成立しなかった他の複数の発話者には小さい音量で出力させてもよい。これにより、情報提供装置５０は、会話が成立している発話者を、さらに会話に集中させることができる。
【００６６】
図１３は、別の情報提供システム２の一例を示す。図１３において図１と共通の要素には、同じ参照番号を付して重複する説明を省く。情報提供システム２は、端末１００と、情報提供装置１３０と画像検索装置７０とこれらをつなげるネットワーク４０とを有する。
【００６７】
端末１００は、６つの音声入力部１１４、１１６、１１８、１２０、１２２、１２４と、１つの表示部１２６とを有する。６つの音声入力部の位置は、それぞれの音声入力部のＩＰアドレスに対応付けて定められている。６つの音声入力部は、６人の発話者１０２、１０４、１０６、１０８、１１０、および１１２の音声を音声データとして、音声入力部のＩＰアドレスに対応付けて端末１００に入力する。なお、ＩＰアドレスは、識別情報の一例である。
【００６８】
表示部１２６は、１つの表示画面を、対応する音声入力部の位置に合せて６つの領域１４０、１４２、１４４、１４６、１４８、１５０に分割している。表示部１２６は、６つの領域に個別に画像を表示する。
【００６９】
６つの音声入力部の相対位置、および発話者の名前は、発話者により予め入力される。情報提供装置１３０は、６つの音声入力部の位置を取得して、位置データとして記録する。情報提供装置１３０は、当該位置データを用いて、発話者１０２、１０４、１０６、１０８、１１０、および１１２の距離を特定する。情報提供装置１３０は、発話者間の距離の長短により、会話が成立しているか否かの判断基準である閾値を変更する。
【００７０】
図１４は、別の情報提供システム２の機能ブロック図を示す。図１４において、図２と共通の要素には、同じ参照番号を付して重複する説明を省く。端末１００は、６つの音声入力部１１４、１１６、１１８、１２０、１２２、１２４と、表示部１２６と、送信部１２８とを有する。
【００７１】
発話者は、６つの音声入力部の相対位置と発話者の名前を、ＩＰアドレスに対応付けて端末１００に入力する。送信部１２８は、ネットワーク４０を介してＩＰアドレスに対応付けた６つの音声入力部の相対位置データと発話者の名前とを位置取得部６０へ出力する。
【００７２】
６つの音声入力部から入力された発話者の音声データは、音声入力部のＩＰアドレスに対応付けて、送信部１２８に出力される。送信部１２８は、ネットワーク４０を介してＩＰアドレスに対応付けた音声を音声取得部５２へ出力する。
【００７３】
情報提供装置１３０は、音声取得部５２と、記録部５４と、会話判断部５６と、情報出力部５８と、位置取得部６０とを有する。位置取得部６０は、上記の通り６つの音声入力部の相対位置データを取得する。６つの音声入力部の相対位置データは、音声入力部のＩＰアドレスに対応付けられて記録される。また、６人の発話者の名前は、音声データベース８０に音声入力部のＩＰアドレスに対応付けて記録される。６人の発話者の位置データは、ＩＰアドレスに対応付いた音声入力部の相対位置データで示される。したがって、位置取得部６０は、６人それぞれの発話者の位置データを音声入力部のＩＰアドレスに対応付けて取得する。位置取得部６０は、会話判断部５６を介して、発話者の位置データを記録部５４に格納する。
【００７４】
図１５は、発話者の位置データの一例を示す。会話判断部５６は、記録部５４に格納された発話者の位置データを参照して、発話者間の距離を特定する。図１５において、発話者１０２と隣り合う発話者１０４、および発話者１０８との距離に比べ、斜めに位置する発話者１１０との距離は遠くなる。同様に、図１５の矢印で示した斜めに位置する発話者同士の距離は、発話者１０２と発話者１１０と同じとなる。会話判断部５６は、当該発話者同士の位置が離れているほど閾値を上げる。したがって、会話判断部５６は、発話者１０２と発話者１１０と同じ距離となる発話者同士の閾値を初期値「２０」から「３０」に変更する。
【００７５】
図１６は、図１５同様の発話者の位置データの一例を示す。図１６において矢印で示した発話者１０２と発話者１０６、発話者１０２と発話者１１２、発話者１０６と発話者１０８、発話者１０８と発話者１１２との距離はさらに遠くなる。会話判断部５６は、当該発話者同士の位置が離れているほど閾値を上げる。したがって、会話判断部５６は、発話者１０２と発話者１１０と同じ距離となる発話者同士の閾値を初期値「２０」から「５０」に変更する。
【００７６】
図１７は、閾値が変更された閾値データベース８６の一例を示す。会話判断部５６は、上記閾値の変更を行うことで、初期値が「２０」であった閾値を、図１７に示したように、発話者同士の位置が離れている発話者の閾値を「２０」から「３０」または「５０」に変更する。
【００７７】
再び、図１４を参照して、情報出力部５８は、会話判断部５６から、会話が成立していると判断された発話者のＩＰアドレスに対応付いた名詞データと、ＩＰアドレスに対応付いた名前とを取得する。情報出力部５８は、当該名詞データから検索式を作成して、画像検索装置７０へ出力する。
【００７８】
情報出力部５８は、画像検索装置７０から検索された画像を取得する。情報出力部５８は、会話が成立している発話者のＩＰアドレスに対応付けて、名前と取得した画像を表示部１２６へ出力する。表示部１２６は、当該ＩＰアドレスを参照して、対応する表示画面の領域に、図８に示したような会話者表示欄９２と画像表示欄９４を表示する。
【００７９】
情報提供装置１３０は、会話判断部５６が、発話者同士の位置が離れている発話者の閾値を上げる。これにより、情報提供装置１３０は、発話者に近い距離での会話を促進できる。また、情報提供装置１３０は、距離が離れている発話者同士は、会話していない蓋然性が高いので、たまたま共通する名詞を基準以上の回数発話した場合に会話が成立してしまう、といった会話成立の誤検知を防止することもできる。
【００８０】
図１８は、別の情報提供システム３の一例を示す。情報提供システム３は、６個のスピーカー１６０、１６２、１６４、１６６、１６８、１７０を有する点以外は、図１３に示した情報提供システム２と同じである。ここでは、６個のスピーカーについて説明する。
【００８１】
６つの音声入力部は、それぞれ１つのスピーカーを有する。６個のスピーカーは、会話が成立していない発話差の逆位相の音声を出力する。音声取得部から入力された音声データは、送信部１２８からネットワーク４０を介して、音声取得部５２に出力される。
【００８２】
音声取得部５２は、取得した音声データを複製して、一方を言語解析に使用して、他方を逆位相の音声データを作成するのに使用する。音声取得部５２は、作成した逆位相の音声データを会話判断部５６に出力する。会話判断部５６は、会話成立データベース８２を参照して会話が成立している発話者と、会話が成立していない発話者とを特定する。会話判断部５６は、会話が成立していない発話者の逆位相の音声信号を、会話が成立している発話者のＩＰアドレスに対応付けて、情報出力部５８に出力する。
【００８３】
情報出力部５８は、対応するＩＰアドレスの音声入力部が有するスピーカーから、逆位相の音声を出力させる。会話が成立している発話者のスピーカーから会話が成立していない発話者に向けて、当該発話者の逆位相の音声を出力する、これにより、会話が成立していない発話者の音声を消去することができ、会話が成立している発話者を会話に集中させることができる。
【００８４】
なお、本実施形態において、情報提供装置５０、１３０、および画像検索装置７０は、端末３０、３２、３４および３６とは別に設けたが、端末３０、３２、３４および３６の何れかが、情報提供装置５０、または画像検索装置７０の機能を有していてもよい。また、端末３０、３２、３４および３６の何れかが、情報提供装置５０、および画像検索装置７０の機能を有してもよい。
【００８５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。また、上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。更に、変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることは、特許請求の範囲の記載から明らかである。
【００８６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８７】
１、２、３  情報提供システム、１０、１２、１４、１６、１０２、１０４、１０６、１０８、１１０、１１２  発話者、２０、２２、２４、２６、１１４、１１６、１１８、１２０、１２２、１２４  音声入力部、２１、２３、２５、２７、１２６  表示部、３０、３２、３４、３６、１００  端末、４０  ネットワーク、５０、１３０  情報提供装置、５２  音声取得部、５４  記録部、５６  会話判断部、５８  情報出力部、６０  位置取得部、７０  画像検索装置、７２  画像検索部、７４  画像格納部、８０  音声データベース、８２  会話成立データベース、８４  類義語データベース、８６  閾値データベース、９２、９６  会話者表示欄、９４、９８  画像表示欄、１２８  送信部、１４０、１４２、１４４、１４６、１４８、１５０  領域、１６０、１６２、１６４、１６６、１６８、１７０  スピーカー
【図１】
2014178621.tif 000003
【図２】
2014178621.tif 000004
【図３】
2014178621.tif 000005
【図４】
2014178621.tif 000006
【図５】
2014178621.tif 000007
【図６】
2014178621.tif 000008
【図７】
2014178621.tif 000009
【図８】
2014178621.tif 000010
【図９】
2014178621.tif 000011
【図１０】
2014178621.tif 000012
【図１１】
2014178621.tif 000013
【図１２】
2014178621.tif 000014
【図１３】
2014178621.tif 000015
【図１４】
2014178621.tif 000016
【図１５】
2014178621.tif 000017
【図１６】
2014178621.tif 000018
【図１７】
2014178621.tif 000019
【図１８】
2014178621.tif 000020