(57)【要約】【課題】煩雑な解析処理を行わずに、容易に複数の利用者間のコミュニケーション状況を判定するコミュニケーション判定装置を提供する。【解決手段】  複数の利用者端末に対して行われた操作を示す操作情報を取得する操作履歴取得部と、複数の利用者の音声データを取得する音声データ取得部と、操作情報に基づいて、利用者端末における操作の入力の有無を示す操作活性度と、音声データに基づいて利用者の音声の有無を示す音声活性度と、を算出する活性度算出部と、操作活性度から、各利用者端末において操作の入力の有無が連動している否かを示す連動情報を算出する操作連動判定部と、連動情報及び行為活性度から、各利用者端末において操作の入力の有無及び各利用者において行為の入力の有無が連動しているか否かを算出し、複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定部と、を備える。【選択図】        図２
2008301290.tif 000002
【特許請求の範囲】
【請求項１】
複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得部と、
複数の利用者が行った行為を示す行為情報を、取得する行為情報取得部と、
前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出部と、
前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無が連動しているか否かを示す連動情報を算出する連動算出部と、
前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無及び各前記利用者において行為の入力の有無が連動しているか否かを算出し、前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定部と、
を備えることを特徴とするコミュニケーション判定装置。
【請求項２】
前記行為情報取得部は、前記行為情報として、利用者の音声を発した音声情報を取得し、
前記活性度算出部は、前記音声情報に基づいて、前記利用者における音声の入力の有無を示す音声活性度を算出すること、
を特徴とする請求項１に記載のコミュニケーション判定装置。
【請求項３】
前記コミュニケーション判定部は、前記連動情報で各前記利用者端末の操作の入力が有りから無しに変化した時及び前記音声活性度で各前記利用者の音声入力の有無が変化した時に基づいて前記コミュニケーション期間の開始と判定し、前記連動情報で各前記利用者端末の操作の入力が無しから有りに変化した時及び前記音声活性度で各前記利用者の音声入力の有無が変化した時に基づいて前記コミュニケーション期間の終了と判定すること、
を特徴とする請求項２に記載のコミュニケーション判定装置。
【請求項４】
前記コミュニケーション判定部は、前記連動情報で各前記利用者端末の操作の入力が有りから無しに変化した時及び前記音声活性度で前記所定の音量以上に変化した時に基づいて前記コミュニケーション期間の開始を判定し、複数の前記利用者端末の操作の入力が無しから有りに変化した時及び前記音声活性度で前記所定の音量以下に変化した時に基づいて前記コミュニケーション期間の終了と判定すること、
を特徴とする請求項３に記載のコミュニケーション判定装置。
【請求項５】
前記コミュニケーション期間と、当該コミュニケーション期間内に操作が連動していると判断された複数の前記利用者端末のうちいずれか一つの前記利用者端末で、操作の対象であった所定の情報と、を対応付けて記憶する情報記憶部をさらに備えること、
を特徴とする請求項１乃至４のいずれか一つに記載のコミュニケーション判定装置。
【請求項６】
前記操作取得部は、さらに前記利用者端末に対して入力された操作内容を含む前記操作情報を取得し、
前記操作情報に含まれる前記操作内容から、前記コミュニケーション期間で、前記利用者端末で、前記所定の情報に対して行った操作を特定する操作状況を判定する操作状況判定部を、さらに備えたことを特徴とする請求項５に記載のコミュニケーション判定装置。
【請求項７】
前記情報記憶部は、さらに前記操作状況を対応付けて記憶すること、を特徴とする請求項６に記載のコミュニケーション判定装置。
【請求項８】
入力された時間が、前記情報記憶手段に記憶された前記コミュニケーション期間に含まれている場合に、当該コミュニケーション期間と対応付けられた前記所定の情報を、前記情報記憶部から検索する検索部をさらに備えることを特徴とする請求項５に記載のコミュニケーション判定装置。
【請求項９】
前記連動情報と、前記音声情報とに基づいて、現在、前記利用者端末で複数の利用者がコミュニケーションを開始したか否かを判定するコミュニケーション開始判定部と、
前記コミュニケーションの開始と判定された場合に、当該コミュニケーションで連動している複数の前記利用者端末と、前記情報記憶手段で対応付けられている所定の前記情報を検索する類似状況検索部と、をさらに備えることを特徴とする請求項５に記載のコミュニケーション判定装置。
【請求項１０】
前記行為情報取得部は、前記行為情報として、利用者の動作を示す動作情報を取得すること、
前記活性度算出部は、前記動作情報に基づいて、前記利用者における動作の入力の有無を示す動作活性度を算出すること、
を特徴とする請求項１に記載のコミュニケーション判定装置。
【請求項１１】
前記行為情報取得部は、前記行為情報として、利用者の位置を示す位置情報を取得すること、
前記活性度算出部は、前記位置情報に基づいて、前記利用者における移動の入力の有無を示す移動活性度を算出すること、
を特徴とする請求項１又は１０に記載のコミュニケーション判定装置。
【請求項１２】
複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得ステップと、
複数の利用者が行った行為を示す行為情報を取得する行為情報取得ステップと、
取得した前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出ステップと、
前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無が連動しているか否かを示す連動情報を算出する連動算出ステップと、
前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無及び各前記利用者において行為の入力の有無が連動しているか否かを算出し、前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定ステップと、
を有することを特徴とするコミュニケーション判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、利用者間のコミュニケーションの状況を判定するコミュニケーション判定装置、及び方法に関するものである。
【背景技術】
【０００２】
近年、コンピュータ技術の発達に伴い、さまざまな環境にコンピュータが導入されている。これに伴い、あらゆる情報が電子データ化される傾向にある。例えば、会議などで利用者が発した音声や、利用者がＰＣ(Personal Computer)に対して行った操作履歴や、会議などの状況を撮影した動画なども電子データ化して、コンピュータ上に格納することができる。
【０００３】
そして、電子データ化された情報を、他の情報と関連付けて格納することで、検索や閲覧時の利便性を向上させることができる。例えば、特許文献１に記載された技術では、利用者の作業時において文書、作業の参加者、会話内容などの活動内容を、時間、場所に対応付けて格納している。これにより、利用者が作業時の状況を想起して検索条件に設定することで、作業時に編集した文書などを特定することが可能となる。
【０００４】
【特許文献１】特開２００６−９２３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、文書と対応付ける活動内容を、音声データや動画データからどのように抽出するかが問題となる。
【０００６】
本発明は、上記に鑑みてなされたものであって、煩雑な解析処理を行わずに、容易に複数の利用者間のコミュニケーション状況を判定するコミュニケーション判定装置、及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明にかかるコミュニケーション判定装置は、複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得部と、複数の利用者が行った行為を示す行為情報を、取得する行為情報取得部と、前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出部と、前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無が連動しているか否かを示す連動情報を算出する連動算出部と、前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無及び各前記利用者において行為の入力の有無が連動しているか否かを算出し、前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定部と、を備えることを特徴とする。
【０００８】
また、本発明にかかるコミュニケーション判定方法は、複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得ステップと、複数の利用者が行った行為を示す行為情報を取得する行為情報取得ステップと、取得した前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出ステップと、前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無が連動しているか否かを示す連動情報を算出する連動算出ステップと、前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無及び各前記利用者において行為の入力の有無が連動しているか否かを算出し、前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定ステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、容易に複数の利用者間のコミュニケーション状況を判定できるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下に添付図面を参照して、この発明にかかるコミュニケーション判定装置を検索サーバに適用した最良な実施の形態を詳細に説明する。なお、コミュニケーション判定装置は検索サーバ以外の様々な装置に対して適用することができる。
【００１１】
（第１の実施の形態）
図１は、本実施の形態にかかる検索システムの概要を示した説明図である。図１に示すように、本実施の形態にかかる検索システムにおいては、検索サーバ１００と、ユーザ端末装置１５０、１５１とがネットワーク１７０を介して接続されている。そして、ユーザ端末装置１５０、１５１のそれぞれに対してマイク１６０が備え付けられているものとする。これにより、ユーザ端末装置付近で利用者が会話を開始した場合に、当該会話の音声データを録音することが可能となる。そして、ユーザ端末装置１５０、１５１で記録された音声データや、ユーザ端末装置１５０、１５１に対する利用者の操作履歴や、ユーザ端末装置１５０、１５１で編集された文書データの情報などは検索サーバ１００で管理する。なお、マイクはユーザ端末装置毎に備えるものでなくとも良い。
【００１２】
本実施形態の想定する利用状況としては、オフィスにおける居室や小規模な打ち合わせスペース等とする。より詳細には、アドホックに行われるような小規模で非公式な会議を想定としている。
【００１３】
図２に示すように、ユーザ端末装置１５０は、音声入力Ｉ／Ｆ２５１と、操作記録部２５２と、ユーザ認識部２５３と、通信部２５４とを備えている。このユーザ端末装置１５０、１５１は、ユーザ毎に割り当てられたものとし、利用者の数に応じて設置されるユーザ端末装置の数も変化する。また、ユーザ端末装置１５０、１５１は、本実施の形態ではＰＣを想定しているが、これに制限するものではなく例えば専用端末や、携帯端末等の様々な装置であってもよい。
【００１４】
音声入力Ｉ／Ｆ２５１は、マイク１６０と接続するためのインターフェースとする。当該音声入力Ｉ／Ｆ２５１を備えることで、音声データを生成することができる。また、生成した音声データは、後述する通信部２５４により、検索サーバ１００に送信される。マイク１６０は、ユーザ端末装置１５０の備え付けのものであっても、外付けするものであってもよい。音声データは、いずれの形式でも良く、例えば時系列に従った音声信号、または時系列に従った音量以外の特徴量を用いても良い。
【００１５】
操作記録部２５２は、ユーザ端末装置１５０が受け付けた操作を、操作情報として記録する処理を行う。そして、記録された操作情報は、後述する通信部２５４により、検索サーバ１００に送信される。
【００１６】
図３に示すように、生成された操作情報では、日時と、行った操作とが対応付けられている。これにより、利用者がユーザ端末装置１５０に対して、いつ、どのような操作を行っていたのかを特定することができる。この操作は、例えば“ウィンドウの切替え”、“マウスクリック”、“文書を開く”、“アプリケーション又はプロセスの起動”などが挙げられるが，これらに限るものではない。
【００１７】
また、操作記録部２５２は、ユーザ端末装置１５０で行われた操作を記録可能なものであればよく、アプリケーション又は装置であるかは問わない。また、ユーザ端末装置１５０には、図示しない記憶手段を備え、生成した操作情報を格納する。この記憶手段は、操作情報を蓄積可能であればよく、ＨＤＤ、光ディスク、メモリカード、ＲＡＭのいずれの記憶手段を用いても良い。
【００１８】
ユーザ認識部２５３は、ユーザ端末装置１５０に対してログインする利用者の認証を行う。利用者の認証は、いずれの手法を用いても良いが、本実施の形態ではユーザ名とパスワードによる認証を行うこととする。なお、認証に用いるユーザ名とパスワードは、後述する検索サーバ１００の利用者情報記憶部２０１に格納されているものを用いる。また、認証する際、利用者が入力されたユーザ名は、後述する通信部２５４により、検索サーバ１００に送信される。
【００１９】
通信部２５４は、ネットワーク１７０等を介して検索サーバ１００や、ユーザ端末装置１５１の間でデータの送受信を行う。例えば、通信部２５４は、音声データ及び操作情報を、ユーザ認識部２５３で認証されたユーザ情報と対応付けて、検索サーバ１００に対して送信する。他に通信部２５４は、ユーザ端末装置１５０で利用者が操作していたデータ（例えば文書データ）、及び当該データに関する情報（例えばファイル名や当該データが格納されているパス情報等）を、ユーザ情報と対応付けて送信する。
【００２０】
ユーザ端末装置１５１は、マイク１６１と接続している。また、ユーザ端末装置１５１は、ユーザ端末装置１５０と同様の構成を備えているものとして説明を省略する。そして、ユーザ端末装置１５０、１５１から送信された音声データや操作情報等に基づいて、検索サーバ１００が利用者の状況を判定している。次に、検索サーバ１００について説明する。
【００２１】
図２に示すように、検索サーバ１００は、利用者情報記憶部２０１と、音声履歴記憶部２０２と、操作履歴記憶部２０３と、操作状況判定ルール格納部２０４と、コミュニケーション区間記憶部２０５と、情報記憶部２０６と、受信部２０７と、通知部２０８と、データ取得部２０９と、ユーザ情報取得部２１０と、音声データ取得部２１１と、操作履歴取得部２１２と、操作状況判定部２１３と、活性度算出部２１４と、操作連動判定部２１５と、コミュニケーション判定部２１６と、情報対応付部２１７と、検索部２１８と、コミュニケーション開始判定部２１９と、類似状況検索部２２０と、を備える。
【００２２】
利用者情報記憶部２０１は、ユーザ端末装置１５０を操作する利用者の情報を管理する記憶手段とする。図４に示すように、利用者情報記憶部２０１は、ユーザ端末ＩＤと、ユーザ名と、パスワードとを対応付けて記憶している。ユーザ端末ＩＤは、当該ユーザが利用するユーザ端末装置を識別するＩＤとする。そして、検索サーバ１００が、ユーザ端末装置１５０、１５１との間で利用者情報記憶部２０１に格納された情報を送受信することで、利用者の認証を行うことができる。
【００２３】
音声履歴記憶部２０２は、ユーザ端末装置１５０、１５１から取得した音声データを、ユーザ端末装置１５０、１５１を識別するユーザ端末ＩＤ、及び当該ユーザ端末装置を利用していた利用者を識別するユーザ名と対応付けて記憶する。これにより、ユーザ端末装置付近で利用者が発話していたのか否かを判定することができる。格納されている音声データなどは、後述するコミュニケーション判定部２１６により利用される。
【００２４】
操作履歴記憶部２０３は、ユーザ端末装置１５０、１５１から取得した操作情報を、ユーザ端末装置１５０、１５１を識別するユーザ端末ＩＤ、及び当該ユーザ端末装置を利用していた利用者を識別するユーザ名と対応付けて記憶する。操作履歴記憶部２０３が記憶している情報を利用することで、時間の経過と共に、利用者がユーザ端末装置を操作していたのか否かを判定することができる。この格納されている操作情報等は、後述する活性度算出部２１４、操作状況判定部２１３等に利用される。
【００２５】
操作状況判定ルール格納部２０４は、操作情報から利用者がどのような操作を行っていたのか判定するためのルールを保持している。図５に示すように、操作状況判定ルール格納部２０４は、ルール毎に入力デバイスと、判定条件と、操作状況と、を対応付けて格納している。そして、後述する操作状況判定部２１３が、操作状況判定ルール格納部２０４は、操作履歴記憶部２０３に記録された操作情報が“入力デバイス”及び“判定条件”を満足した場合に、対応付けられた“操作状況”による操作が行われたと判定する。なお、操作状況判定ルールの入力デバイス、判定条件、操作状況のそれぞれのフィールドは、利用者が使用状況に応じて適切な値を設定するものとする。
【００２６】
コミュニケーション区間記憶部２０５は、後述するコミュニケーション判定部２１６で判定されたコミュニケーション区間を記憶する。なお、コミュニケーション区間とは、任意の利用者間で会話等のコミュニケーションが行われた区間とする。図６に示すようにコミュニケーション区間記憶部２０５は、コミュニケーション識別ＩＤと、日時と、開始時間と、終了時間と、音声検出先ユーザ端末ＩＤと、連動ユーザとを対応付けて記憶する。コミュニケーション識別ＩＤとはコミュニケーション区間を識別するＩＤとする。開始時間は、コミュニケーションが開始された日時とする。終了時間は、コミュニケーションが終了した日時とする。音声検出先ユーザ端末ＩＤは、当該コミュニケーション区間において音声を検出したユーザ端末装置のＩＤとする。連動ユーザとは、当該コミュニケーション区間でコミュニケーションを行っていた利用者のユーザ名とする。
【００２７】
情報記憶部２０６は、利用者が使用した文書等のデータと、当該データが使用された際に行われたコミュニケーション区間と、当該データに関連する情報などと対応付けて記憶する。図７に示すように情報記憶部２０６は、ユーザ端末ＩＤと、当該データが使用された日時と、当該データが開始時間と、終了時間と、ユーザと、関連ユーザと、ファイル名と、オリジナル格納フォルダと、種別と、操作状況とを対応付けて記憶する。
【００２８】
ユーザ端末ＩＤは、当該文書が使用されたユーザ端末装置を識別するユーザ端末ＩＤとする。日時、開始時間、終了時間は、当該データが使用した際に行われたコミュニケーションの区間を示す。ユーザは、当該コミュニケーション時に当該データを使用していたユーザとする。関連ユーザは、当該ユーザとコミュニケーションを行っていたユーザとする。ファイル名は、コミュニケーション時に利用者が使用したデータを識別するファイル名とする。オリジナル格納フォルダは、当該データの元データが格納されていたフォルダとする。種別は、当該データを識別する情報とする。操作状況は、当該データに対して利用者がコミュニケーション時に行った操作を示している。
【００２９】
また、上述した利用者情報記憶部２０１、音声履歴記憶部２０２、操作履歴記憶部２０３、操作状況判定ルール格納部２０４、コミュニケーション区間記憶部２０５、及び情報記憶部２０６は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、光ディスク、メモリカード、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの一般的に利用されているあらゆる記憶手段により構成することができる。
【００３０】
受信部２０７は、ユーザ端末装置１５０、１５１から送信された情報を受信する。なお、ユーザ端末装置１５０、１５１から送信される情報としては、例えば操作情報、音声データ、ユーザが利用したデータ及び当該データの表す情報とする。
【００３１】
ユーザ情報取得部２１０は、ユーザ端末装置１５０、１５１と受信部２０７を介してデータを送受信することで、ユーザ端末装置１５０、１５１に対してログインしたユーザ情報（例えば、ユーザ名、及びパスワード）などを取得する。これにより、各ユーザ端末装置１５０、１５１を使用しているユーザを特定することができる。
【００３２】
音声データ取得部２１１は、受信部２０７を介して、ユーザ端末装置１５０、１５１から音声データを取得する。そして、音声データ取得部２１１は、取得した音声データと、当該ユーザ端末装置１５０、１５１にログインしていたユーザ名、当該音声を検出した時を示す日時を対応付けて、音声履歴記憶部２０２に記憶する。
【００３３】
操作履歴取得部２１２は、受信部２０７を介して、ユーザ端末装置１５０、１５１から、操作情報を取得する。そして、操作履歴取得部２１２は、取得した操作情報を、ユーザ端末装置１５０、１５１を識別するユーザ端末ＩＤ、及び当該ユーザ端末装置を利用していた利用者を識別するユーザ名と対応付けて記憶する。
【００３４】
活性度算出部２１４は、各種活性度の算出を行う。本実施の形態にかかる活性度算出部２１４は、操作履歴記憶部２０３の各利用者の操作情報から、利用者毎の操作活性度を算出する。以下の式（１）に利用者毎の操作活性度を算出する式を示す。入力種別typeは、操作活性度を算出するための操作の種類を示す。入力種別typeは、本実施の形態においてはマウスクリックや、キーボードからの入力など利用者からの操作であればどのような操作でもよい。そして、操作活性度を示すActivity(t)が１以上であれば、利用者に操作が行われている時間ｔにおいて操作が行われていたと判断できる。
【００３５】
【数１】
2008301290.tif 000003
【００３６】
なお、式（１）は、ユーザ毎の操作活性度を算出する一例を示したものであり、利用者の操作の有無（操作の活性度）が得られる関数であれば、これに限るものではない。
【００３７】
また、活性度算出部２１４は、各利用者の音声履歴記憶部２０２に記憶された音声データから、操作活性度と比較するために音声活性度を算出する。この音声活性度は、時系列に従って表される音声入力の有無を示す値とする。本実施の形態にかかる音声活性度は、一定音量の有無を１、０に正規化した時系列データとする（なお、０が一定音声を検出しなかった場合を示し、１が一定音量を検出した場合を示している）。この一定音量は、利用者が発した声の音量に基づいて設定される。
【００３８】
なお、本実施の形態では、活性度算出部２１４で、音声活性度と、操作活性度とを算出することとしたが、それぞれ別の構成要素で算出しても良い。
【００３９】
図２に戻り、操作連動判定部２１５は、活性度算出部２１４で算出された各利用者の操作活性度を比較して、複数の利用者の操作の有無が連動している区間を示す連動区間を判定する。連動とは、複数の利用者による操作の開始又は終了が所定の時間内に行われた状況をいう。
【００４０】
つまり、操作連動判定部２１５は、図８に示すように、符号７０１で示したユーザＡの操作活性度が１（１以上も含む７）から０に変化した時間と、符号７０２で示したユーザＢの操作活性度が１から０に変化した時間との時間間隔が、所定時間（例えば１０秒）以内であれば操作の連動が開始したと判断する。そして、操作連動判定部２１５は、時間７０１と時間７０２とを用いて、操作の連動の開始時間７０３を算出する。なお、開始時間７０３の算出手法はどのような手法を用いても良い。
【００４１】
この操作の連動の開始時間７０３は、複数の利用者の操作をほぼ同時に停止したという状態の開始時刻であることを意味している。なお、複数の利用者の連動の遅延時間である所定の時間に関しては、ヒューリスティックに決定し、例えば３０秒又は１２０秒でも良い。以降についても同様とする。
【００４２】
また、操作の連動の開始時間は、所定の複数ユーザ間で、操作の連動の終了を検出する前に、連続して発生することはないものとする。なお、操作の連動の終了時間についても同様とする。
【００４３】
また、図８に示すように、符号７０４で示したユーザＡの操作活性度が０から１に変化した時間と、符号７０４で示したユーザＢの操作活性度が０から１に変更した時間との時間間隔が、所定時間以内であれば連動していると判断する。そして、操作連動判定部２１５は、時間７０４と時間７０５とを用いて、操作の連動の終了時間７０６を算出する。
【００４４】
そして、この連動の開始時間７０３から連動の終了時間７０６の間を連動区間とする。また、符号７０７が示すように、連動区間において操作活性度が変化してもよいものとする。
【００４５】
図２に戻り、操作状況判定部２１３は、操作状況判定ルール格納部２０４に格納されている操作状況判定ルールを用いて、操作情報から利用者が行った操作状況を判定する。なお、操作状況とは、文書などのデータに対して行った具体的な操作をいう。特に本実施の形態においては、操作状況判定部２１３は、連動区間内に行われた操作状況を判定する（例えば、図８の符号７０７に対応する操作状況）。これにより、連動区間内において、利用者が行った操作状況（例えば、修正、閲覧、実行）を特定することができる。
【００４６】
コミュニケーション判定部２１６は、操作連動判定部２１５により判定された連動区間と、音声履歴記憶部２０２に記憶された音声データと、から、コミュニケーションが行われたか否か判定し、コミュニケーションが行われた場合にはコミュニケーション区間を取得する。
【００４７】
図９に示すように、コミュニケーション判定部２１６は、連動区間（Ａ）と、ユーザＡ（ユーザＡが使用したユーザ端末装置）の音声活性度（Ｂ）又はユーザＢ（ユーザＢが利用したユーザ端末装置）の音声活性度（Ｃ）とが、所定時間（例えば１０秒）以内に連動しているか否か判定する。所定時間内に連動していると判定した場合にコミュニケーションが行われたものとする。なお、図９で示した連動区間（Ａ）は、ユーザＡの操作とユーザＢの操作が連動していると判定されたものである。
【００４８】
そして、図９で示した例では、連動区間（Ａ）の開始時間９０１と、ユーザＡの音声活性度が０から１に変化した時間（つまり音声を初めて検出した時間）９０２との差が所定時間内であったとする。同様に、連動区間（Ａ）の終了時間９０３と、ユーザＡの音声活性度が１から０に変化した時間（つまり音声の検出が終了した時間）９０４との差が所定時間内であったとする。この場合、コミュニケーション判定部２１６は、連動区間（Ａ）とユーザＡの音声活性度（Ｂ）とが連動していると判定する。
【００４９】
これにより、コミュニケーション判定部２１６は、ユーザＡが使用したユーザ端末装置付近で、ユーザＡとユーザＢとがコミュニケーションを行ったと判断できる。そして、コミュニケーション判定部２１６は、連動時間の開始時間、終了時間、及び音声活性度の変化した時間を用いて、コミュニケーションの開始時間をＳｅｇｓと、コミュニケーションの終了時間をＳｅｇeとを算出する。なお、算出手法は、どのような手法を用いても良い。そして、開始時間Ｓｅｇｓと終了時間Ｓｅｇeとの間をコミュニケーション区間とする。
【００５０】
また、コミュニケーション判定部２１６は、任意の音声活性度が連動区間と連動していると判定した場合、当該音声活性度で特定されるユーザが使用していたユーザ端末装置を、音声検出先ユーザ端末とする。そして、音声検出先ユーザ端末を識別するユーザ端末ＩＤを、音声検出先ユーザ端末ＩＤとする。
【００５１】
そして、コミュニケーション判定部２１６は、コミュニケーション識別ＩＤをユニークに生成した後、コミュニケーション識別ＩＤと、日時と、開始時間と、終了時間と、音声検出先ユーザ端末ＩＤと、連動ユーザとを対応付けて、コミュニケーション区間記憶部２０５に登録する。
【００５２】
データ取得部２０９は、音声検出先ユーザ端末ＩＤで示されるユーザ端末装置１５０、１５１から、コミュニケーション区間に使用された文書等のデータ、及び当該データに関する情報を取得する。このデータに関する情報としては、当該データを特定するための情報を含み、例えばデータ名、データが格納されていたフォルダ名、当該データの種別とする。
【００５３】
情報対応付部２１７は、コミュニケーション判定部２１６により判定されたコミュニケーション区間と、データ取得部２０９が取得したデータに関する情報と、操作状況判定部２１３が当該コミュニケーション区間の利用者の操作状況と、を対応付けて、情報記憶部２０６に登録する。また、情報対応付部２１７は、データに関する情報により特定されるデータも、情報記憶部２０６に格納する。
【００５４】
検索部２１８は、ユーザ端末装置１５０、１５１等から入力された検索条件（例えば検索クエリ）に基づいて、情報記憶部２０６に格納されているデータの検索を行う。そして、検索部２１８は、検出されたデータ、又は当該データに関する情報を、後述する通知部２０８を介して、ユーザ端末装置１５０、１５１に通知する。
【００５５】
図１０に示すように、利用者端末装置１５０、１５１で提示される検索画面は、検索フィールド１００１、検索実行ボタン１００２及び検索結果フィールド１００３で構成されている。そして、検索部２１８は、検索フィールド１００１に入力された検索条件に基づいて、情報記憶部２０６に対してデータの検索を行う。
【００５６】
検索条件には、コミュニケーション区間、コミュニケーションを行ったユーザ、及びコミュニケーション区間の操作状況などを設定することができる。この検索条件の例としては、“XX，□□と一緒に見た文書”を検索したい場合、利用者は検索フィールド１００１に“user: XX，□□”と入力した後、検索実行ボタン１００２を押下する。これにより、検索フィールド１００１に入力されている文字列が、検索サーバ１００に通知されて、検索が行われる。
【００５７】
他の例としては、“XX，□□と一緒に修正した文書”の場合、利用者は検索フィールド１００１に“user:XX，□□ op:修正”と入力することで、同様に検索が行われる。なお、これら検索クエリは一実施例を示したものであり、これらの表現に限定されるものではない。さらに操作状況やユーザなどは重みを付けたパラメータを加えることで、検索結果のランキングに反映しても良い。
【００５８】
コミュニケーション開始判定部２１９は、操作連動区間及び音声データから、現在、ユーザ端末装置１５０、１５１においてコミュニケーションが開始されたか否かを判定する。そして、コミュニケーション開始判定部２１９は、コミュニケーションが開始されたと判定した場合、音声検出先ユーザ端末ＩＤと、連動しているユーザ名と共に、開始された旨を、類似状況検索部２２０に出力する。なお、コミュニケーションの開始の判定手法は、コミュニケーション判定部２１６の開始時間の検出と同様なので説明を省略する。
【００５９】
類似状況検索部２２０は、コミュニケーション開始判定部２１９により、音声検出先ユーザ端末ＩＤと、連動しているユーザ名と共に、開始された旨が入力された場合に、これら条件を検索キーとして、情報記憶部２０６に対して検索を行う。これにより、現在コミュニケーションが開始された複数の利用者間で、以前のコミュニケーションで使用されたデータを特定することができる。
【００６０】
通知部２０８は、ユーザ端末装置１５０、１５１に対してデータの通知などを行う。また、通知部２０８は、類似状況検索部２２０により検索されたデータ、又はデータに関する情報を、ユーザ端末装置１５０、１５１に通知する。これにより、コミュニケーションが開始された付近に存在するユーザ端末装置で、以前コミュニケーションに使用したデータを提示することができる。
【００６１】
次に、検索サーバ１００が利用者端末装置１５０、１５１から受信した情報を用いて実行する処理について、図１１を用いて説明する。
【００６２】
まず、ユーザ情報取得部２１０は、各ユーザ端末装置からログインしている利用者の情報（ユーザ名等）を取得する（ステップＳ１１０１）。これにより、ユーザ端末装置を使用している利用者を特定することができる。
【００６３】
次に、受信部２０７が、各ユーザ端末装置１５０、１５１から音声データ、操作情報の受信を開始する（ステップＳ１１０２）。
【００６４】
そして、検索サーバ１００は、受信した音声データ及び操作情報から、コミュニケーション区間を特定する（ステップＳ１１０３）。なお、詳細な処理手順については後述する。
【００６５】
その後、受信部２０７は、ユーザ端末装置１５０、１５１からのデータ、操作情報の受信が終了したか否か判断する（ステップＳ１１０４）。終了していないと判断した場合（ステップＳ１１０４：Ｎｏ）、再びコミュニケーション区間等の特定する処理を行う（ステップＳ１１０３）。
【００６６】
そして、受信部２０７が受信を終了したと判断した場合（ステップＳ１１０４：Ｙｅｓ）、処理を終了する。
【００６７】
次に、検索サーバが、図１１のステップＳ１１０３に示したコミュニケーション区間等の特定する処理手順について、図１２を用いて説明する。
【００６８】
まず、音声データ取得部２１１が、受信部２０７を介して、各ユーザ端末装置から音声データを取得する（ステップＳ１２０１）。そして、取得した音声データは、ユーザ名などと対応付けて、音声履歴記憶部２０２に記録される。
【００６９】
次に、操作履歴取得部２１２が、受信部２０７を介して、各ユーザ端末装置から操作情報を取得する（ステップＳ１２０２）。そして、取得した操作情報は、ユーザ名などと対応付けて、操作履歴記憶部２０３に記録される。
【００７０】
そして、活性度算出部２１４が、操作履歴記憶部２０３に記憶されているユーザ端末装置毎の操作情報から、利用者毎の操作活性度を算出する。また、活性度算出部２１４が、音声履歴記憶部２０２に記録されている音声データから、利用者毎の音声活性度を算出する（ステップＳ１２０３）。なお、詳細な処理については既に説明したので省略する。
【００７１】
次に、操作連動判定部２１５は、活性度算出部２１４で算出された各利用者の操作活性度を比較して、複数の利用者の操作の有無が連動している区間を示す連動区間が存在しているか否か判定する（ステップＳ１２０４）。連動区間が存在していないと判定した場合（ステップＳ１２０４：Ｎｏ）、再びステップＳ１２０１の音声データの取得から開始する。
【００７２】
また、操作連動判定部２１５は連動区間が存在していると判定した場合（ステップＳ１２０４：Ｙｅｓ）、操作状況判定部２１３は、各ユーザ端末装置の操作情報から、利用者が行った操作状況を判定する（ステップＳ１２０５）。
【００７３】
そして、コミュニケーション判定部２１６は、連動区間及び音声活性度から、コミュニケーションが行われたか否かを判定する（ステップＳ１２０６）。そして、コミュニケーションが行われなかったと判定した場合（ステップＳ１２０６：Ｎｏ）、再びステップＳ１２０１の音声データの取得から開始する。
【００７４】
コミュニケーション判定部２１６が、コミュニケーションが行われたと判定した場合（ステップＳ１２０６：Ｙｅｓ）、連動区間及び音声活性度から、コミュニケーション区間を取得する（ステップＳ１２０７）。なお、詳細な処理については既に説明したので省略する。
【００７５】
そして、データ取得部２０９は、ユーザ端末装置１５０、１５１から、コミュニケーション区間に使用された文書等のデータ、及び当該データに関する情報を取得する（ステップＳ１２０８）。
【００７６】
次に、情報対応付部２１７は、ステップＳ１２０７で判定されたコミュニケーション区間と、ステップＳ１２０８で取得したデータに関する情報と、ステップＳ１２０５で判定された操作状況と、を対応付ける（ステップＳ１２０９）
【００７７】
そして、情報対応付部２１７は、対応付けた情報を情報記憶部２０６に登録する（ステップＳ１２１０）。
【００７８】
上述した処理手順により、文書などのデータと、コミュニケーション区間と、操作状況とが対応付けて情報記憶部２０６に登録されたことで、様々な検索条件でデータを検索することが可能となる。
【００７９】
次に、ユーザ端末装置においてコミュニケーションが開始された場合に、検索サーバ１００が実行する類似状況検索の処理手順について、図１３を用いて説明する。
【００８０】
まず、コミュニケーション開始判定部２１９は、操作連動区間及び音声データから、現在、ユーザ端末装置１５０、１５１においてコミュニケーションが開始されたか否かを判定する（ステップＳ１３０１）。コミュニケーションの開始されていないと判定した場合（ステップＳ１３０１：Ｎｏ）、コミュニケーションの開始と判定されるまで、特に処理を行わない。
【００８１】
次に、コミュニケーションが開始されたと判定した場合（ステップＳ１３０１：Ｙｅｓ）、類似状況検索部２２０は、情報記憶部２０６のユーザ、関連ユーザのフィールドに対して、コミュニケーションの開始が連動していた利用者を示すユーザ名を検索条件（検索キー）に設定して、検索を行う（ステップＳ１３０２）。なお、コミュニケーションを行った利用者を示すユーザ名は、コミュニケーション開始判定部２１９により特定される。
【００８２】
そして、類似状況検索部２２０は、該当するレコード情報があるか否か確認する（ステップＳ１３０３）。レコード情報がないことを確認した場合（ステップＳ１３０３：Ｎｏ）、次のコミュニケーションが開始されるまで特に処理を行わない。
【００８３】
次に、類似状況検索部２２０が、レコード情報があることを確認した場合（ステップＳ１３０３：Ｙｅｓ）、通知部２０８は、当該レコード情報に格納されているファイル名等の情報、又はファイル名で特定されるデータを、当該コミュニケーションの音声データを送信したユーザ端末装置に対して通知する（ステップＳ１３０４）。
【００８４】
このように、コミュニケーション開始判定部２１９が、コミュニケーション開始の判定を随時行うことで、現在どのユーザがコミュニケーションを行っているかを検出する。そして、コミュニケーションを行っているユーザを検索条件と設定して検索を行うことで、過去に同じユーザとコミュニケーションをしていたときの文書など，過去の類似した状況で使用されたデータの閲覧、修正が可能になる。つまり、コミュニケーションに必要なデータを検索するための操作負担を軽減することができる。
【００８５】
上述した実施の形態にかかる検索サーバ１００では、利用者が二者の場合の操作の連動性を判定している。しかしながら、連動の判定を二者に制限するものではなく三者以上で判定しても良い。なお、三者以上の判定処理は、二者の場合の判定処理と同様なので説明を省略する。
【００８６】
上述した実施の形態では、サーバ・クライアント型に適用した一実施形態について説明した。しかしながら、このようなサーバ・クライアント型に限るものではなく、ユーザ端末装置において、上述した検索サーバ１００の機能を備えることにしても良い。この場合、ユーザ端末装置間の通信手法としては、Ｐ２Ｐ通信など様々な通信手法が考えられる。
【００８７】
上述した実施の形態にかかる検索サーバ１００では、コミュニケーション区間を特定することで、利用者が任意の時間においてコミュニケーションを行っているか否かを特定できる。このように利用者の状況を電子化して保持することで、利用者の状況に基づいた検索などを効率的に行うことができる。
【００８８】
また、検索サーバ１００において、コミュニケーション区間と、データとを対応付けて保持することで、利用者の状況に基づいて検索を行うことで、当該状況で使用したデータ等の検索などを容易にする。
【００８９】
また、検索サーバ１００では、利用者間のコミュニケーションの有無のみならず、操作状況も対応付けて保持することで、検索がさらに容易となる。例えば、“1週間前に実験室で○○さんに見せた文書”、“先日，居室でXXさんと修正・確認しながら作業した文書”などの状況に応じた文書等の検索が可能となる。
【００９０】
つまり、利用者がデータの更新した日時などを正確に記憶していることはまれであり、曖昧な記憶に基づいてデータを検索することが多い。この場合に、本実施の形態にかかる検索サーバ１００では、利用者がデータの使用した状況に基づいて、データを検索できるので、目的のデータの検出が容易になる。
【００９１】
（第２の実施の形態）
第１の実施の形態にかかる検索サーバ１００では、利用者が音声を発したという行為をコミュニケーションの判断する基準として適用した例について説明した。しかしながら、コミュニケーションの有無を判断するための行為を、利用者が発した音声に制限するものではない。そこで、第２の実施携帯では、コミュニケーションの有無を判定するために加速度センサ、ＲＦＩＤを使用した例について説明する。
【００９２】
図１４に示すように、第２の実施の形態に係る検索システムでは、さらにＲＦＩＤ１４７０ａ〜ｎと、位置検出装置１４６０と、加速度センサ１４９０ａ〜ｎと、動作検出装置１４８０とが追加され、ユーザ端末装置１５０及び１５１と構成が異なるユーザ端末装置１４５０及び１４５１を備え、検索サーバ１００と構成が異なる検索サーバ１４００を備えている点で異なる。なお、本実施の形態の検索システムの構成で、第１の実施の形態と共通な構成については説明を省略する。
【００９３】
ＲＦＩＤ１４７０ａ〜ｎは、利用者に備え付けられているものとする。そして、位置検出装置１４６０が、ＲＦＩＤ１４７０ａ〜ｎから出力されている信号から特定される利用者の位置情報を、検索サーバ１４００に出力する。また、位置の検出は、ＲＦＩＤ以外を用いても良く、例えばＧＰＳ等を利用しても良い。
【００９４】
加速度センサ１４９０ａ〜ｎは、利用者に備え付けられているものとする。そして、動作検出装置１４８０は、加速度センサ１４９０ａ〜ｎから出力された信号から利用者の動作を検出して、利用者が行った動作情報を、検索サーバ１４００に出力する。
【００９５】
ユーザ端末装置１４５０、１４５１は、第１の実施の形態にかかるユーザ端末装置１５０、１５１とは、音声入力Ｉ／Ｆ２５１が削除された点のみ異なり、他の構成及び実施する処理については同様として、説明を省略する。
【００９６】
検索サーバ１４００は、上述した第１の実施の形態に係る検索サーバ１００とは、音声履歴記憶部２０２と音声データ取得部２１１とが削除され、動作履歴記憶部１４０１と位置履歴記憶部１４０２と動作・位置情報取得部１４０３とが追加され、活性度算出部２１４と処理が異なる活性度算出部１４０５に変更され、コミュニケーション判定部２１６と処理が異なるコミュニケーション判定部１４０４に変更された点で異なる。
【００９７】
動作履歴記憶部１４０１は、受信部２０７が受信した動作情報を、ユーザ名と対応付けて、時系列に従って履歴として記憶している。位置履歴記憶部１４０２は、受信部２０７が受信した位置情報を、ユーザ名と対応付けて、時系列に従って履歴として記憶している。
【００９８】
動作・位置情報取得部１４０３は、受信部２０７を介して、位置検出装置１４６０から受信した位置情報を、ユーザ名と対応付けて、時系列順に位置履歴記憶部１４０２に登録する。また、動作・位置情報取得部１４０３は、受信部２０７を介して、動作検出装置１４８０から受信した動作情報を、ユーザ名と対応付けて、時系列順に動作履歴記憶部１４０１に登録する。
【００９９】
活性度算出部１４０５は、第１の実施の形態の活性度算出部２１４と同様に操作活性度を算出するほか、動作履歴記憶部１４０１に格納されている動作情報から、コミュニケーション時に行われるジェスチャの有無を示す動作活性度を算出する。また、活性度算出部１４０５は、位置履歴記憶部１４０２に格納されている位置情報から、他の利用者端末装置付近まで移動したか否かを示す移動活性度を算出する。
【０１００】
コミュニケーション判定部１４０４は、活性度算出部１４０５により算出された動作活性度、活性度算出部１４０５により算出された移動活性度、及び操作連動判定部２１５により判定された連動区間に基づいて、コミュニケーションが行われたか否か判定し、コミュニケーションが行われた場合にはコミュニケーション区間を取得する。
【０１０１】
なお、コミュニケーションが行われたか否かの判定には、動作活性度により利用者がコミュニケーションのためのジェスチャを開始又は終了した時間や、利用者が存在する位置が他の利用者の存在する位置（本実施の形態では他の利用者の利用端末装置）に近づいた又は離れた時間などを利用する。そして、第１の実施の形態と同様の処理を行うことで、コミュニケーション区間を判定する。
【０１０２】
上述した処理を行うことで、第２の実施の形態にかかる検索サーバ１４００は、第１の実施の実施形態にかかる検索サーバ１００と同様の効果を得ることができる。
【０１０３】
図１５０に示すように、上述した実施の形態の検索サーバ１００、１４００は、ＣＰＵ１５０１と、ＲＯＭ１５０２と、ＲＡＭ１５０３と、通信Ｉ／Ｆ１５０４と、外部記憶装置１５０５と、これらを接続するバス１５０６とを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【０１０４】
なお、上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムは、ＲＯＭ１５０２等に予め組み込まれて提供される。
【０１０５】
上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１０６】
この場合には、情報検索プログラムは、検索サーバ１００、１４００において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【０１０７】
また、上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、上述した実施の形態にかかる検索サーバ１００、１４００で実行される情報検索プログラムプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【図面の簡単な説明】
【０１０８】
【図１】第１の実施の形態にかかる検索システムの概要を示した説明図である。
【図２】第１の実施の形態にかかる検索システムの機能構成を示すブロック図である。
【図３】ユーザ端末装置が生成する操作情報の一例を示した図である。
【図４】ユーザ情報記憶部が保持するテーブル構造の例を示した図である。
【図５】操作状況判定ルール格納部が保持する操作状況判定ルールの例を示した図である。
【図６】コミュニケーション区間記憶部が保持するテーブル構造の例を示した図である。
【図７】情報記憶部が保持するテーブル構造の例を示した図である。
【図８】操作連動判定部が、複数の利用者の操作活性度から連動区間を判定する処理を説明する図である。
【図９】コミュニケーション判定部が、連動区間と、複数の利用者の音声活性度からコミュニケーション区間を判定する処理を説明する図である。
【図１０】ユーザ端末装置に表示される検索画面の例を示す図である。
【図１１】検索サーバによる利用者端末から受信した情報を用いて実行する処理を示したフローチャートである。
【図１２】検索サーバによるコミュニケーション区間等の特定する処理手順を示したフローチャートである。
【図１３】検索サーバによる類似状況検索の処理手順を示したフローチャートである。
【図１４】第２の実施の形態にかかる検索システムの機能構成を示すブロック図である。
【図１５】検索サーバのハードウェア構成を示した図である。
【符号の説明】
【０１０９】
１００、１４００  検索サーバ
１５０、１５１、１４５０、１４５１  ユーザ端末装置
１６０、１６１  マイク
１７０  ネットワーク
２０１  利用者情報記憶部
２０２  音声履歴記憶部
２０３  操作履歴記憶部
２０４  操作状況判定ルール格納部
２０５  コミュニケーション区間記憶部
２０６  情報記憶部
２０７  受信部
２０８  通知部
２０９  データ取得部
２１０  ユーザ情報取得部
２１１  音声データ取得部
２１２  操作履歴取得部
２１３  操作状況判定部
２１４  活性度算出部
２１５  操作連動判定部
２１６、１４０４  コミュニケーション判定部
２１７  情報対応付部
２１８  検索部
２１９  コミュニケーション開始判定部
２２０  類似状況検索部
２５１  音声Ｉ／Ｆ
２５２  操作記録部
２５３  ユーザ認識部
２５４  通信部
１４０１  動作履歴記憶部
１４０２  位置履歴記憶部
１４０３  動作・位置情報取得部
１４６０  位置検出装置
１４７０ａ〜ｎ  ＲＦＩＤ
１４８０  動作検出装置
１４９０ａ〜ｎ  加速度センサ
１５０１  ＣＰＵ
１５０２  ＲＯＭ
１５０３  ＲＡＭ
１５０４  通信Ｉ／Ｆ
１５０５  外部記憶装置
１５０６  バス
【図１】
2008301290.tif 000004
【図２】
2008301290.tif 000005
【図３】
2008301290.tif 000006
【図４】
2008301290.tif 000007
【図５】
2008301290.tif 000008
【図６】
2008301290.tif 000009
【図７】
2008301290.tif 000010
【図８】
2008301290.tif 000011
【図９】
2008301290.tif 000012
【図１０】
2008301290.tif 000013
【図１１】
2008301290.tif 000014
【図１２】
2008301290.tif 000015
【図１３】
2008301290.tif 000016
【図１４】
2008301290.tif 000017
【図１５】
2008301290.tif 000018
【手続補正書】
【提出日】平成19年6月29日(2007.6.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得部と、
複数の利用者が行った行為を示す行為情報を、取得する行為情報取得部と、
前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出部と、
前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末間において操作の入力の有無の変化が複数の前記利用者端末で発生した場合に連動していることを示す連動情報を算出する連動算出部と、
前記連動情報及び前記行為活性度から、各前記利用者端末間において操作の入力の有無の変化と、各前記利用者において行為の入力の有無の変化と、が所定時間内に複数の前記利用者端末で発生したか否かを算出し、発生した場合にはコミュニケーションの開始又は終了と判断して前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定部と、
を備えることを特徴とするコミュニケーション判定装置。
【請求項２】
前記行為情報取得部は、前記行為情報として、利用者の音声を発した音声情報を取得し、
前記活性度算出部は、前記音声情報に基づいて、前記利用者における音声の入力の有無を示す音声活性度を算出すること、
を特徴とする請求項１に記載のコミュニケーション判定装置。
【請求項３】
前記コミュニケーション判定部は、前記連動情報で前記所定時間内に各前記利用者端末の操作の入力が有りから無しに変化した時及び前記音声活性度で各前記利用者の音声入力の有無が変化した時に基づいて前記コミュニケーション期間の開始と判定し、前記連動情報で前記所定時間内に各前記利用者端末の操作の入力が無しから有りに変化した時及び前記音声活性度で各前記利用者の音声入力の有無が変化した時に基づいて前記コミュニケーション期間の終了と判定すること、
を特徴とする請求項２に記載のコミュニケーション判定装置。
【請求項４】
前記コミュニケーション判定部は、前記連動情報で前記所定時間内に各前記利用者端末の操作の入力が有りから無しに変化した時及び前記音声活性度で前記所定の音量以上に変化した時に基づいて前記コミュニケーション期間の開始を判定し、前記所定時間内に各前記利用者端末の操作の入力が無しから有りに変化した時及び前記音声活性度で前記所定の音量以下に変化した時に基づいて前記コミュニケーション期間の終了と判定すること、
を特徴とする請求項３に記載のコミュニケーション判定装置。
【請求項５】
前記コミュニケーション期間と、当該コミュニケーション期間内に操作が連動していると判断された複数の前記利用者端末のうちいずれか一つの前記利用者端末で、操作の対象であった所定の情報と、を対応付けて記憶する情報記憶部をさらに備えること、
を特徴とする請求項１乃至４のいずれか一つに記載のコミュニケーション判定装置。
【請求項６】
前記操作取得部は、さらに前記利用者端末に対して入力された操作内容を含む前記操作情報を取得し、
前記操作情報に含まれる前記操作内容から、前記コミュニケーション期間で、前記利用者端末で、前記所定の情報に対して行った操作を特定する操作状況を判定する操作状況判定部を、さらに備えたことを特徴とする請求項５に記載のコミュニケーション判定装置。
【請求項７】
前記情報記憶部は、さらに前記操作状況を対応付けて記憶すること、を特徴とする請求項６に記載のコミュニケーション判定装置。
【請求項８】
入力された時間が、前記情報記憶手段に記憶された前記コミュニケーション期間に含まれている場合に、当該コミュニケーション期間と対応付けられた前記所定の情報を、前記情報記憶部から検索する検索部をさらに備えることを特徴とする請求項５に記載のコミュニケーション判定装置。
【請求項９】
前記連動情報と、前記音声情報とに基づいて、現在、前記利用者端末で複数の利用者がコミュニケーションを開始したか否かを判定するコミュニケーション開始判定部と、
前記コミュニケーションの開始と判定された場合に、当該コミュニケーションで連動している複数の前記利用者端末と、前記情報記憶手段で対応付けられている所定の前記情報を検索する類似状況検索部と、をさらに備えることを特徴とする請求項５に記載のコミュニケーション判定装置。
【請求項１０】
前記行為情報取得部は、前記行為情報として、利用者の動作を示す動作情報を取得すること、
前記活性度算出部は、前記動作情報に基づいて、前記利用者における動作の入力の有無を示す動作活性度を算出すること、
を特徴とする請求項１に記載のコミュニケーション判定装置。
【請求項１１】
前記行為情報取得部は、前記行為情報として、利用者の位置を示す位置情報を取得すること、
前記活性度算出部は、前記位置情報に基づいて、前記利用者における移動の入力の有無を示す移動活性度を算出すること、
を特徴とする請求項１又は１０に記載のコミュニケーション判定装置。
【請求項１２】
複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得ステップと、
複数の利用者が行った行為を示す行為情報を取得する行為情報取得ステップと、
取得した前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出ステップと、
前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無の変化が複数の前記利用者端末で発生した場合に連動していることを示す連動情報を算出する連動算出ステップと、
前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無の変化と、各前記利用者において行為の入力の有無の変化と、が所定時間内に複数の前記利用者端末で発生したか否かを算出し、発生した場合にはコミュニケーションの開始又は終了と判断してコミュニケーション期間を判定するコミュニケーション判定ステップと、
を有することを特徴とするコミュニケーション判定方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上述した課題を解決し、目的を達成するために、本発明にかかるコミュニケーション判定装置は、複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得部と、複数の利用者が行った行為を示す行為情報を、取得する行為情報取得部と、前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出部と、前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末間において操作の入力の有無の変化が複数の前記利用者端末で発生した場合に連動していることを示す連動情報を算出する連動算出部と、前記連動情報及び前記行為活性度から、各前記利用者端末間において操作の入力の有無の変化と、各前記利用者において行為の入力の有無の変化と、が所定時間内に複数の前記利用者端末で発生したか否かを算出し、発生した場合にはコミュニケーションの開始又は終了と判断して前記複数の利用者によるコミュニケーション期間を判定するコミュニケーション判定部と、を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明にかかるコミュニケーション判定方法は、複数の利用者端末に対して行われた操作を示す操作情報を、前記利用者端末毎に取得する操作取得ステップと、複数の利用者が行った行為を示す行為情報を取得する行為情報取得ステップと、取得した前記操作情報に基づいて、前記利用者端末における操作の入力の有無を示す操作活性度と、前記行為情報に基づいて、前記利用者における行為の入力の有無を示す行為活性度と、を算出する活性度算出ステップと、前記利用者端末毎に取得した前記操作活性度から、各前記利用者端末において操作の入力の有無の変化が複数の前記利用者端末で発生した場合に連動していることを示す連動情報を算出する連動算出ステップと、前記連動情報及び前記行為活性度から、各前記利用者端末において操作の入力の有無の変化と、各前記利用者において行為の入力の有無の変化と、が所定時間内に複数の前記利用者端末で発生したか否かを算出し、発生した場合にはコミュニケーションの開始又は終了と判断してコミュニケーション期間を判定するコミュニケーション判定ステップと、を有することを特徴とする。