(57)【要約】【課題】複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録することができる会話管理システムを提供する。【解決手段】ウェアラブル端末２０が、会話相手の一般ユーザを識別する相手識別情報をカメラ４０で取得する。ウェアラブル端末２０と発言内容管理サーバ１０との少なくとも一方が、相手識別情報から会話相手の一般ユーザを顔認識部１２で識別する。ウェアラブル端末２０が、少なくとも利用する一般ユーザの発言をマイク３０で取得する。発言内容管理サーバ１０が、相手識別情報が相互に取得されたときを会話の始端として複数の一般ユーザの発言を音声認識結果管理部１３で記録する。相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を面会履歴管理部１４で終了する。【選択図】図１
2011180645.tif 000002
【特許請求の範囲】
【請求項１】
会話する複数の一般ユーザに個々に利用される複数のウェアラブル端末と、複数の前記ウェアラブル端末とデータ通信する一個の管理サーバと、を有し、
前記ウェアラブル端末が、会話相手の前記一般ユーザを識別する相手識別情報を取得する識別取得手段を有し、
前記ウェアラブル端末と前記管理サーバとの少なくとも一方が、前記相手識別情報から会話相手の前記一般ユーザを識別するユーザ識別手段を有し、
前記ウェアラブル端末が、少なくとも利用する前記一般ユーザの発言を取得する発言取得手段を有し、
前記管理サーバが、前記相手識別情報が相互に取得されると複数の前記一般ユーザの前記会話の記録を開始する記録開始手段と、前記相手識別情報が相互に取得されない状態が所定時間まで経過すると前記会話の記録を終了する記録終了手段と、を有する会話管理システム。
【請求項２】
前記記録開始手段は、三人以上の前記一般ユーザの前記相手識別情報が相互に取得されたときも前記会話を記録し、
前記記録終了手段は、前記会話が記録されている三人以上の全員の前記相手識別情報が相互に取得されない状態が所定時間まで経過すると前記会話の記録を終了する請求項１に記載の会話管理システム。
【請求項３】
前記所定時間が経過すると前記相手識別情報が相互に取得されなくなったときを終端として前記会話を保存する会話保存手段を、さらに有する請求項１または２に記載の発言内容管理サーバ。
【請求項４】
前記管理サーバは、前記会話相手と識別された前記一般ユーザに記録された前記会話を前記ウェアラブル端末で閲覧させる閲覧許可手段を、さらに有する請求項１ないし３の何れか一項に記載の会話管理システム。
【請求項５】
前記発言取得手段は、利用する前記一般ユーザが発言する検索キーを取得し、
前記閲覧許可手段は、取得された前記検索キーで前記会話を検索して閲覧させる請求項４に記載の会話管理システム。
【請求項６】
前記ウェアラブル端末と前記管理サーバとの少なくとも一方が、取得された前記発言を音声認識してテキストデータとする音声認識手段を、さらに有し、
前記記録開始手段は、前記会話を前記テキストデータで記録する請求項１ないし５の何れか一項に記載の会話管理システム。
【請求項７】
前記ウェアラブル端末は、会話相手の前記一般ユーザの顔画像を前記相手識別情報として取得する画像取得手段を、さらに有する請求項１ないし６の何れか一項に記載の会話管理システム。
【請求項８】
前記ウェアラブル端末は、会話相手の前記一般ユーザの前記ウェアラブル端末から前記相手識別情報を取得する請求項１ないし６の何れか一項に記載の会話管理システム。
【請求項９】
請求項１ないし８の何れか一項に記載の会話管理システムの前記管理サーバであって、
前記相手識別情報が相互に取得されると複数の前記一般ユーザの前記会話の記録を開始する記録開始手段と、
前記相手識別情報が相互に取得されない状態が所定時間まで経過すると前記会話の記録を終了する記録終了手段と、
を有する管理サーバ。
【請求項１０】
前記ウェアラブル端末で取得された会話相手の前記一般ユーザを識別する前記相手識別情報から会話相手の前記一般ユーザを識別するユーザ識別手段を、さらに有する請求項９に記載の管理サーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会話する複数の一般ユーザに個々に利用される複数のウェアラブル端末と、複数のウェアラブル端末とデータ通信する一個の管理サーバと、を有する会話管理システムおよび管理サーバに関する。
【背景技術】
【０００２】
現在、会話を記録し、後から検索、閲覧したいという場合において、従来の方法としてはＩＣ(Integrated Circuit)レコーダなどで明示的な操作によって記録し、後から音声を書き起こすという方法がある。
【０００３】
この方法では明示的な操作をすることへの心理的抵抗やわずらわしさ、音声データをＰＣ(Personal Computer)に移したり、音声を文字データにする作業のわずらわしさなどの理由から特定の重要な会話でしか実施されていない。
【０００４】
一方、ウェアラブル端末が普及しはじめており、ウェアラブル端末を装着している人は、ウェアラブル端末に付属したマイクにより、常に自分の発言を記録できる環境にある。
【０００５】
また、顔認証により、個人を特定する技術もでてきている。より詳細には、顔画像の大きさを正規化して顔画像から輪郭線を検出し、輪郭線が閉じた閉領域からなる一般特徴と、輪郭線が開端になる線分および孤立した点からなる固有特徴と、を検出し、登録された特徴処理済み顔画像ファイルをパターンマッチングで照合し本人認証する。
【０００６】
このため、画像処理によって特徴処理済み登録顔画像と、訪問者の撮像顔画像からの特徴処理した顔画像と、を照合させることによってパターンマッチング処理を簡易にすることができる（特許文献１）。
【０００７】
さらに、上述のような技術として、任意の自由な状況で常時通話、常時記録を可能にしつつ、記録された内容の証拠的価値を高めることのできるコミュニケーション記録システムの提案がある。
【０００８】
その技術では、ヘッドセットは、当該ヘッドセットの装着者の音声を検出し第一の音声信号を生成するマイクロホンと、第一の音声信号を、ブルートゥース規格に準拠した近距離無線通信により機器に送信する送信手段とを備える。
【０００９】
機器は、ヘッドセットからの第一の音声信号をブルートゥース規格に準拠した近距離無線通信により受信する受信手段と、ヘッドセットの装着者以外の者の音声を検出して第二の音声信号を生成する音声入力手段と、第一および第二の音声信号の発生時刻を取得する時刻情報取得手段と、第一および第二の音声信号に時刻情報を対応付けて、格納すべき情報を作成する情報作成手段と、作成された情報を格納する記憶手段とを備える（特許文献２）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−２４２４３２号公報
【特許文献２】特開２００５−２３７０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ウェアラブル端末を双方の話者が装着した会話の場合に、人と話した内容を効率的に記録し、後から検索、閲覧したいというニーズがある。しかし、従来の方法ではウェアラブル端末では自分の発言のみが記録されているため、相手の発言を検索、閲覧することはできなかった。
【００１２】
特許文献２の技術では、上述のような課題を解決することができる。しかし、複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録することは困難である。
【００１３】
本発明は上述のような課題に鑑みてなされたものであり、複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録することができる会話管理システムおよび管理サーバを提供するものである。
【課題を解決するための手段】
【００１４】
本発明の会話管理システムは、会話する複数の一般ユーザに個々に利用される複数のウェアラブル端末と、複数のウェアラブル端末とデータ通信する一個の管理サーバと、を有し、ウェアラブル端末が、会話相手の一般ユーザを識別する相手識別情報を取得する識別取得手段を有し、ウェアラブル端末と管理サーバとの少なくとも一方が、相手識別情報から会話相手の一般ユーザを識別するユーザ識別手段を有し、ウェアラブル端末が、少なくとも利用する一般ユーザの発言を取得する発言取得手段を有し、管理サーバが、相手識別情報が相互に取得されると複数の一般ユーザの会話の記録を開始する記録開始手段と、相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を終了する記録終了手段と、を有する。
【００１５】
本発明の管理サーバは、本発明の会話管理システムの管理サーバであって、相手識別情報が相互に取得されると複数の一般ユーザの会話の記録を開始する記録開始手段と、相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を終了する記録終了手段と、を有する。
【００１６】
なお、本発明の各種の構成要素は、その機能を実現するように形成されていればよく、例えば、所定の機能を発揮する専用のハードウェア、所定の機能がコンピュータプログラムにより付与された発言内容管理サーバ、コンピュータプログラムにより発言内容管理サーバに実現された所定の機能、これらの任意の組み合わせ、等として実現することができる。
【００１７】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【発明の効果】
【００１８】
本発明の会話管理システムでは、ウェアラブル端末が、会話相手の一般ユーザを識別する相手識別情報を識別取得手段で取得する。ウェアラブル端末と管理サーバとの少なくとも一方が、相手識別情報から会話相手の一般ユーザをユーザ識別手段で識別する。ウェアラブル端末が、少なくとも利用する一般ユーザの発言を発言取得手段で取得する。管理サーバが、相手識別情報が相互に取得されると複数の一般ユーザの会話の記録を記録開始手段で記録する。相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を記録終了手段で終了する。このため、複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態のデータ処理システムの論理構造を示す模式的なブロック図である。
【図２】会話の記録工程を示す模式的なタイムチャートである。
【図３】ある会話ログのデータ構造を示す模式図である。
【図４】二人の一般ユーザの会話の記録工程を示す模式的なタイムチャートである。
【図５】一般ユーザのＩＤのデータ構造を示す模式図である。
【図６】会話の開始を認識する工程を示すフローチャートである。
【図７】記録された複数の会話のデータ構造を示す模式図である。
【図８】一つの会話での発言内容などのデータ構造を示す模式図である。
【図９】会話の終了を認識する工程を示すフローチャートである。
【図１０】眼鏡型ディスプレイに会話履歴表示メニューが表示された状態を示す模式図である。
【図１１】眼鏡型ディスプレイに検索結果が表示された状態を示す模式図である。
【図１２】三人の一般ユーザの会話の記録工程を示す模式的なタイムチャートである。
【発明を実施するための形態】
【００２０】
本発明の実施の一形態を図面を参照して以下に説明する。図１を参照すると、本発明の会話管理システムは、会話する複数の一般ユーザに個々に利用される複数のウェアラブル端末２０と、複数のウェアラブル端末２０とデータ通信する一個の発言内容管理サーバ１０と、を有する。
【００２１】
ウェアラブル端末２０が、会話相手の一般ユーザを識別する相手識別情報を取得する識別取得手段であるカメラ４０を有する。発言内容管理サーバ１０が、相手識別情報から会話相手の一般ユーザを識別するユーザ識別手段である顔認識部１２を有する。
【００２２】
ウェアラブル端末２０が、少なくとも利用する一般ユーザの発言を取得する発言取得手段であるマイク３０を有する。発言内容管理サーバ１０が、相手識別情報が相互に取得されると複数の一般ユーザの会話の記録を開始する記録開始手段である音声認識結果管理部１３と、相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を終了する記録終了手段である面会履歴管理部１４と、を有する。
【００２３】
面会履歴管理部１４は、上述の所定時間が経過すると相手識別情報が相互に取得されなくなったときを終端として会話を音声認識結果管理部１３に保存する。ただし、ウェアラブル端末２０が、取得された発言を音声認識してテキストデータとする音声認識部２１を有するので、音声認識結果管理部１３は、会話をテキストデータで記録する。
【００２４】
発言内容管理サーバ１０は、会話相手と識別された一般ユーザに記録された会話をウェアラブル端末２０で閲覧させる。ウェアラブル端末２０のマイク３０は、利用する一般ユーザが発言する検索キーを取得し、発言内容管理サーバ１０は、取得された検索キーで会話を検索して閲覧させる。
【００２５】
ウェアラブル端末２０は、会話相手の一般ユーザの顔画像を相手識別情報として取得する。また、ウェアラブル端末２０は、会話相手の一般ユーザのウェアラブル端末２０から相手識別情報を取得することもできる。
【００２６】
さらに、詳細には後述するが、音声認識結果管理部１３は、三人以上の一般ユーザの相手識別情報が相互に取得されたときも会話を記録し、面会履歴管理部１４は、会話が記録されている三人以上の全員の相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を終了する。
【００２７】
より具体的には、発言内容管理サーバ１０と、ウェアラブル端末２０はプログラム制御により動作し、インターネット等のデータネットワーク１００を介して相互に接続されている。
【００２８】
発言内容管理サーバ１０は、インターネット上に設置されているワークステーション・サーバ等の情報処理装置であり、ＩＤ管理部１１、顔認識部１２、音声認識結果管理部１３、面会履歴管理部１４、検索部１５、等を論理的に有する。
【００２９】
ウェアラブル端末２０は、小型パーソナルコンピュータ等の情報処理装置であり、音声認識部２１、マイク３０、カメラ４０、眼鏡型ディスプレイ５０、操作キー６０、等を具備している。
【００３０】
また、ウェアラブル端末２０は、カメラ４０で撮影した情報を、データネットワーク１００を介して発言内容管理サーバ１０に送信する機能を備えている。さらに、発言内容管理サーバ１０が送信するデータを受信し、眼鏡型ディスプレイ５０上の画面に表示する機能も有する。
【００３１】
また、マイク３０が認識した音声を音声認識部２１で文字情報に変換し、発言内容管理サーバ１０に送信する機能を有する。ここで、音声認識部２１は構成によっては発言内容管理サーバ１０上に具備し、ウェアラブル端末２０は音声データを、そのまま発言内容管理サーバ１０に送信してもよい。
【００３２】
次に、図１〜図１１を参照して本実施例の動作について詳細に説明する。図２のように、ＡさんとＢさんが10:00-10:02まで会話をする場合において、図３および図４を参照して詳細を説明する。
【００３３】
まず、Ａさんのウェアラブル端末２０はカメラ４０を介してＢさんの映像を発言内容管理サーバ１０へ送信する（ステップＡ１）。ここで、ウェアラブル端末２０は一定間隔で常に映像を発言内容管理サーバ１０へ送信するように動作している。
【００３４】
次に、発言内容管理サーバ１０は受け取った映像を顔認識部１２で顔認識またはウェアラブル端末２０のＩＤ認識によってＩＤ管理部に格納されたＩＤ情報と突合せ、Ｂさんと判定する（ステップＡ２）。
【００３５】
ここで、ウェアラブル端末には個々のＩＤが付与されており、ＩＤ管理部１１により、図５のように個人を特定できる状態で管理されている。ウェアラブル端末２０のＩＤ認識は、例えば、眼鏡型ディスプレイ５０の前面に二次元コードなどで表記しておくことができる(図示せず)。
【００３６】
次に、面会履歴管理部１４は、図６のような判定ロジックにより、図７のように、認識した時刻を会話の開始時刻と終了時刻とにセットし、Ａさんを話者1、Ｂさんを話者２にセットし、状態を認識待ちとする（ステップＡ３）。
【００３７】
同様に、Ｂさんのウェアラブル端末２０はカメラ４０を解してＡさんの映像を発言内容管理サーバ１０へ送信すると、面会履歴管理部１４は、ＡさんとＢさんが認識待ちであることから、ＡさんとＢさんの双方向の認識が完了し、会話が始まったと判断し、認識した時刻を会話終了時刻にセットし、状態を会話中とする。
【００３８】
次に、Ａさんのウェアラブル端末２０はマイク３０を介して入力された音声を、音声認識部２１によってテキストに変換し（ステップＡ４）、テキストを発言内容管理サーバ１０に送信する（ステップＡ５）。
【００３９】
次に、発言内容管理サーバ１０は受け取ったテキストを、図８のように、音声認識結果管理部１３に格納する（ステップＡ６）。このように会話は継続されていくが、図９のような判定ロジックにより、面会履歴管理部１４を参照し、一定時間お互いの顔認識が行われず、会話終了時刻が更新されなかった場合には会話が終了したと判断し、状態を終了とする。
【００４０】
次に、利用者によって、操作キー６０による操作で、図１０のように、会話履歴表示メニューを眼鏡型ディスプレイ５０に表示する。このとき、ウェアラブル端末２０は発言内容管理サーバ１０に会話履歴の検索を要求する（ステップＡ７）。
【００４１】
次に、発言内容管理サーバ１０内の検索部１５は面会履歴管理部１４から利用者が会話をした時間と会話相手を抽出し、その時間の発言を音声認識結果管理部１３から抽出し（ステップＡ８）、ウェアラブル端末２０に送信する（ステップＡ９）。
【００４２】
次に、ウェアラブル端末２０は会話履歴を眼鏡型ディスプレイ５０に表示する（ステップＡ１０）。ここで、図１１のように、音声入力などによりキーワードを入力し、発言やその他の情報を検索するような仕組みとすることも考えられる。
【００４３】
本実施の形態の会話管理システムでは、上述のようにウェアラブル端末２０が、会話相手の一般ユーザを識別する相手識別情報をカメラ４０で取得する。発言内容管理サーバ１０が、相手識別情報から会話相手の一般ユーザを顔認識部１２で識別する。
【００４４】
ウェアラブル端末２０が、少なくとも利用する一般ユーザの発言をマイク３０で取得する。発言内容管理サーバ１０が、相手識別情報が相互に取得されたときを会話の始端として複数の一般ユーザの発言を音声認識結果管理部１３で記録し、相手識別情報が相互に取得されない状態が所定時間まで経過すると会話の記録を面会履歴管理部１４で終了する。
【００４５】
このため、本実施の形態の会話管理システムでは、複数の一般ユーザによる会話の開始と終了とを正確に認識し、必要な会話のみを記録することができる。さらに、会話相手の端末で記録された音声認識結果テキストを自分の端末で表示できる。
【００４６】
その理由は、顔認識またはＩＤ認識により特定されたＩＤ情報と時刻を活用し、会話していた時間を判別し、対話していた時間の発言のみを会話相手と相互に共有できるようにしたためである。
【００４７】
また、複数人の会話であっても会話に参加していた全員が相互の発言を参照できる。その理由は、一対一の会話の組を複数同時に成立した場合に複数人で会話したとみなすようにしたためである。
【００４８】
図１２を参照して、三人で会話を行う場合の例をあげる。ＡさんとＢさんの会話が成立し、かつ、ＡさんとＣさんの会話が成立し、かつ、ＢさんとＣさんの会話が成立した場合に、三人の会話が成立したと判断する。さらに、図９の終了ロジックにより、三人のいずれも顔を認識せずに一定時間経ったときに会話が終了したと判断する。
【００４９】
なお、本発明は本実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で各種の変形を許容する。例えば、上記形態では相手識別情報から会話相手の一般ユーザを識別するユーザ識別手段である顔認識部１２が発言内容管理サーバ１０にあることを例示した。しかし、このような顔認識部１２がウェアラブル端末２０にあってもよい。
【００５０】
また、前述のように取得された発言を音声認識してテキストデータとする音声認識部２１がウェアラブル端末２０にあることを例示した。しかし、このような音声認識部２１が発言内容管理サーバ１０にあってもよい。
【００５１】
さらに、本実施の形態では発言内容管理サーバ１０やウェアラブル端末２０の各部がコンピュータプログラムにより各種機能として論理的に実現されることを例示した。しかし、このような各部の各々を固有のハードウェアとして形成することもでき、ソフトウェアとハードウェアとの組み合わせとして実現することもできる。
【００５２】
また、上記形態ではデータネットワーク１００として現状のインターネットを例示したが、これが次世代のインターネットであるＮＧＮ（Next Generation Network）でもよい。
【００５３】
なお、当然ながら、上述した実施の形態および複数の変形例は、その内容が相反しない範囲で組み合わせることができる。また、上述した実施の形態および変形例では、各部の構造などを具体的に説明したが、その構造などは本願発明を満足する範囲で各種に変更することができる。
【符号の説明】
【００５４】
１０    発言内容管理サーバ
１１    ＩＤ管理部
１２    顔認識部
１３    音声認識結果管理部
１４    面会履歴管理部
１５    検索部
２０    ウェアラブル端末
２１    音声認識部
３０    マイク
４０    カメラ
５０    眼鏡型ディスプレイ
６０    操作キー
１００    データネットワーク
【図１】
2011180645.tif 000003
【図２】
2011180645.tif 000004
【図３】
2011180645.tif 000005
【図４】
2011180645.tif 000006
【図５】
2011180645.tif 000007
【図６】
2011180645.tif 000008
【図７】
2011180645.tif 000009
【図８】
2011180645.tif 000010
【図９】
2011180645.tif 000011
【図１０】
2011180645.tif 000012
【図１１】
2011180645.tif 000013
【図１２】
2011180645.tif 000014