(57)【特許請求の範囲】
【請求項１】
会議の資料情報を表示する資料情報表示手段と、
会議に参加したユーザによる発話を集音する２つ以上の発話集音手段と、
前記発話集音手段で集音した音声情報を記録する発話記録手段と、
前記発話記録手段で記録した音声情報から発話情報のターンテイキング構造を生成する生成手段と、
前記生成手段で生成した前記ターンテイキング構造における所定時間内の特定ユーザの発話率に基づいて、前記発話情報を、一人の発話者が一方的に発話している説明タイプと発話者が同等に発話している討議タイプとに分類する第１の分類手段と、
前記第１の分類手段によって討議タイプと分類された前記発話情報を、前記資料情報表示手段によって表示されている前記資料情報の作成者の発話率に基づいて、前記作成者が討議に加わっている質疑応答タイプと前記作成者が討議にほとんど加わっていない問題議論タイプとに分類する第２の分類手段と、
前記第１の分類手段または前記第２の分類手段によって分類された前記発話情報と前記資料情報表示手段によって表示された前記資料情報とを関連付けて記録する会話情報記録手段と、
を有することを特徴とする会議支援装置。
【請求項２】
請求項１に記載の会議支援装置において、
会議の様子を撮影して会議の映像情報を記録する映像記録手段と、
前記生成手段で生成した前記ターンテイキング構造と、前記映像記録手段から得られる前記映像情報と、前記資料情報表示手段によって表示された前記資料情報と、を会議情報として記録する会議情報記録手段と、
前記会議情報記録手段で記録された前記会議情報を検索するためのクエリー情報を入力する会議情報検索入力手段と、
前記会議情報検索入力手段で入力された前記クエリー情報を参照してユーザが所望する前記会議情報を検索する会議情報検索手段と、
前記会議情報検索手段で検索された前記会議情報を表示する会議情報表示手段と、
を有することを特徴とする会議支援装置。
【請求項３】
請求項１又は２に記載の会議支援装置において、
前記資料情報表示手段で表示された資料情報に加筆する資料情報加筆手段と、
前記資料情報加筆手段で加筆した加筆情報に、前記生成手段で生成した前記ターンテイキング構造を関連付けする加筆会話状況関連付け手段と、
を有することを特徴とする会議支援装置。
【請求項４】
請求項１乃至３の何れか一項に記載の会議支援装置において、
前記発話集音手段で集音したユーザによる発話の発話方向を検出する発話方向検出手段と、
前記資料情報表示手段で表示された資料情報から資料作成者情報を取得する作成者情報取得手段と、
前記作成者情報取得手段で取得した資料作成者情報と、前記発話方向検出手段により検出した発話方向のユーザとを対応付けるユーザ関連付け手段と、を備えたことを特徴とする会議支援装置。
【請求項５】
会議支援装置による会議支援方法であって、
前記会議支援装置が備える資料情報表示手段が会議の資料情報を表示する資料情報表示ステップと、
前記会議支援装置が備える２つ以上の発話集音手段が会議に参加したユーザによる発話を集音する発話集音ステップと、
前記会議支援装置が備える発話記録手段が、前記発話集音ステップで集音した音声情報を記録する発話記録ステップと、
前記会議支援装置が備える生成手段が、前記発話記録ステップで記録した音声情報から発話情報のターンテイキング構造を生成する生成ステップと、
前記会議支援装置が備える第１の分類手段が、前記生成ステップで生成した発話情報のターンテイキング構造における所定時間内の特定ユーザの発話率に基づいて、前記発話情報を、一人の発話者が一方的に発話している説明タイプと発話者が同等に発話している討議タイプとに分類する第１の分類ステップと、
前記会議支援装置が備える第２の分類手段が、前記第１の分類ステップによって討議タイプと分類された前記発話情報を、前記資料情報表示ステップによって表示されている会議の資料情報の作成者の発話率に基づいて、前記作成者が討議に加わっている質疑応答タイプと、前記作成者が討議にほとんど加わっていない問題議論タイプとに分類する第２の分類ステップと、
前記会議支援装置が備える前記会話情報記録手段が、前記第１の分類ステップまたは前記第２の分類ステップによって分類された前記発話情報と、前記資料情報表示ステップによって表示された資料情報とを関連付けて記録する会話情報記録ステップと、
を有することを特徴とする会議支援方法。
【請求項６】
請求項５に記載の会議支援方法において、
前記会議支援装置が備える資料情報加筆手段が、前記資料情報表示手段で表示された資料情報に加筆する資料情報加筆ステップと、
前記会議支援装置が備える加筆会話状況関連付け手段が、前記資料情報加筆ステップで加筆した加筆情報に、前記生成ステップで生成した前記ターンテイキング構造を関連付けする加筆会話状況関連付け手段と、
を有することを特徴とする会議支援方法。
【請求項７】
請求項５又は６に記載の会議支援方法をコンピュータに実行させるための会議支援プログラム。
【請求項８】
請求項７に記載の会議支援プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議の参加者が発言する発言内容や発表する模様を音声や動画に記録し、会議内容のレビューや議事録作成などを支援する会議支援装置に関する。
【背景技術】
【０００２】
会議室などで、その会議の参加者が発言する発言内容や発表する模様を音声や動画に記録し、会議内容のレビューや議事録作成などを支援する必要性が高まっている。その場合、特に、記録された長時間の音声情報、あるいは動画像を含むビデオ情報の中で、見たい区間を簡単に検索できたり、会議で使用した資料を簡単に検索できたりする装置及び方法の必要性が高まっている。このような場合の検索方法としては、例えば、「先週、ＡさんがＢさんへ説明した内容」または「前回の会議に参加していたＣさんとＤさんが討論していたときの内容や資料」のように、会議中のコミュニケーション状況を検索キーにして、動画像データや利用した資料等を検索することができれば、人間の行動様式に近い自然な方法で会議の記録情報を探し出すことができる。そして、これらの要求を満たすための技術が各種提案されている。
【０００３】
例えば、特許文献１には、マイクアレイを利用して音声の到達時間差から音源の方向を推定し、発言者各人の発言を区別して記録する技術が開示されており、マイクロホンアレイの近傍にビデオカメラを配設し、発言ごとに判定される音源方向にビデオカメラを振り向け、その方向の画像を表示することにより、音声の検索を容易にしている。
また、特許文献２には、マイクアレイにより音源方向を推定するとともに全体の画像を記録し、その画像上で音源方向に対応する位置と名前を入力し、発言と名前を関連付けする方式が開示されている。
さらに、特許文献３には、会議記録装置にユーザ認証を行うと同時にユーザの位置を登録することで、マイクアレイによって音源方向を推定した音声データをユーザと対応付けて、音声の検索を容易にする技術が開示されている。
【０００４】
特許文献５には、マイクアレイで録音した音声から複数ユーザの会話のかぶりを取り除いて、発話内容を話者ごとに高精度で分離できる発話イベント分離方法を用いて、会話を構造化する技術が開示されている。
その他に、人間の行動様式に近い自然な方法で会議の記録情報を探し出すための技術として、例えば、特許文献４には、ユーザにＲＦ−ＩＤタグを携帯させてユーザを認識させ、ユーザが操作した資料などのオブジェクトに対する作業履歴を管理して、人間の行動様式に近い自然な方法でユーザが操作した資料を検索可能にする技術が開示されている。この作業履歴の管理には、会議などの共同作業中の管理も含まれる。
【０００５】
また、特許文献６には、会議に参加したユーザが所有するノートＰＣ又は携帯端末に付属したマイクによってユーザが発話したことを検出し、その発話情報群からコミュニケーション状況を判定する技術が開示されている。
また、会話状況を判定する技術としては、特許文献７には、会話の先導者が発話した音声をマイクで集音するだけで、会話の状況を説明タイプ、対話タイプ、無音タイプに判定する技術が開示されている。
さらに、特許文献８には、会議への参加者に関する情報を自然な操作で登録するために、マイクと認証装置とを備えた会議用端末を参加者ごとに準備しておき、会議等の周囲の情景を音声または動画像データとして取り込んで記録する技術が開示されている。
【０００６】
上述の特許文献１によると、表示された画像を人間が観察して発言者を判断することによって、会議内容に索引付けを行う装置である。しかし、装置に用いられる装置自体は音源方向とその画像を取得するだけであり、発せられた各発言が誰のものかは認識していない。それ故、誰が誰と話しているかの情報を検出できないためにコミュニケーション状況を把握することができないという欠点があった。
また、上述の特許文献２では、画像上での音源方向に対応する位置と名前を入力して、会議支援装置が記録した発話情報とユーザ情報を関連付けることができることとした。しかし、同文献では、音声画像の記録とは別に、ユーザが位置と名前を入力する必要があるので、ユーザが参加者全員の位置と名前を入力する場合などは、入力操作が非常に煩雑になるという欠点があった。
また、特許文献８では、個人別の参加登録を行って記録として残すためには、参加者一人につきそのための一台の端末が必要となるために、コストがかかるという欠点があった。
特許文献３では、ユーザが会議支援装置に認証動作すると同時にユーザ位置情報を取得するように設計することで会議中の発話者が誰であるかを判定しているが、記録した会議情報からコミュニケーション状況を把握することが考慮されていなかったために、人間の行動様式に近い自然な方法で情報を検索できないという欠点があった。
【０００７】
また、特許文献５では、マイクアレイの録音した音声から会話のかぶりを取り除いて、発話内容を話者毎に高精度で分離を行うことはできるが、その情報からコミュニケーション状況を把握することが考慮されていないために、人間の行動様式に近い自然な方法で情報を検索できないという欠点があった。
また、特許文献４では、ユーザにＲＦ−ＩＤタグを携帯させてユーザとユーザ操作を検出するために、ＲＦ−ＩＤタグの読み取り機械の設置が必要となるために会議支援装置の構築にコストがかかるという欠点があった。
また、特許文献６では、会議に参加したユーザが所有するノートＰＣ又は携帯端末に付属したマイクによってユーザが発話したことを判定して、その発話情報の群からコミュニケーション状態を把握できるが、参加者全員がノートＰＣ又は携帯端末に付属したマイクが必要になるために会議支援装置の構築にコストがかかるという欠点があった。
また、特許文献７では、会話の先導者の音声だけを集音すれば良いので会議支援装置の構築コストは安価に実現できる。しかし、会話の先導者の音声だけで会話状況が説明タイプ、対話タイプ、無音タイプであるかを判定しているので、会話の先導者が誰と会話をしていたかを特定することができないという欠点があった。また、対話タイプの際に、１対１で対話を行っているのか複数のユーザと対話を行っているのかの判定が出来ないという欠点もあった。
【０００８】
特許文献３には、会議室などで記録された音声や動画を見たい区間で簡単に検索できたり、会議で使用した資料を簡単に検索できたりする会議支援装置を提供することが目的で、マイクアレイを利用して音声の到達時間差から音源の方向を推定し、発言者各人の発言を区別して記録する技術について開示されており、会議記録装置へのユーザ認証を行うと同時にユーザの位置を登録することで、マイクアレイによって音源方向を推定した音声データをユーザと対応付けて、音声の検索を容易にする技術について開示されている。
特許文献３には、マイクアレイを利用して発言者各人の発言を区別して記録する技術を提供する点について開示されている。しかしながら、上述したように、会議で記録された発話情報群から会議のコミュニケーション状況を推定することが考慮されていないために、人間の行動様式に近い自然な方法で情報を検索できないという問題は解消できていない。また、発話情報とユーザを対応付けるために、特許文献３ではユーザの装置認証動作と同時にユーザ位置情報を登録することで発話情報とユーザを対応付けているが、ユーザの装置認証動作が実行されないと、発話情報とユーザを対応付けることができないという問題は解消できていない。
【０００９】
特許文献６には、検索方法として「先週、ＡさんがＢさんへ説明した内容」または「前回の会議に参加していたＣさんとＤさんが討論していたときの内容や資料」のように、人間の行動様式に近い自然な検索方法を提供することが目的で、会議に参加したユーザが所有するノートＰＣ又は携帯端末に付属したマイクによってユーザが発話したことを検出し、その発話情報群からコミュニケーション状況を判定し、判定したコミュニケーション状況を用いて資料等を探索する技術について開示されている。
特許文献６には、人間の行動様式に近い自然な検索方法を提供する点について開示されている。しかしながら、上述したように、会議の参加者全員がノートＰＣ又は携帯端末に付属したマイク機器を所持することが必要となるために会議支援装置の構築にコストがかかるという問題は解消できていない。また、特許文献６に記載された発明を実現するには参加者全員のノートＰＣ又は携帯端末に記録された音声情報を音声処理サーバへ転送しなければ、コミュニケーション状況が算出できない。参加者全員が保持するノートＰＣ又は携帯端末を任意の音声処理サーバへ接続するには、セキュリティの観点から問題になること、ユーザの作業負担が大きくなるという問題は解消できていない。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来の会議支援装置では、マイクアレイを使用して会議中の発言者の方向を検出し、記録した会議情報から見たい区間を検索する際の利便性を向上させることは可能であった。
しかしながら、従来の会議支援装置では、簡易な会議支援装置を利用して、記録した会議情報からコミュニケーション状況を把握することが考慮されていなかったために、人間の行動様式に近い自然な方法で情報を検索できないといった問題があった。
本発明は、会議で行われた会話情報を記録して、記録した会話情報からコミュニケーション状態を把握して、会議の記録結果を人間の行動様式に近い自然な方法で情報を検索できるような会議支援装置を安価に提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、請求項１の発明は、会議の資料情報を表示する資料情報表示手段と、会議に参加したユーザによる発話を集音する２つ以上の発話集音手段と、前記発話集音手段で集音した音声情報を記録する発話記録手段と、前記発話記録手段で記録した音声情報から発話情報のターンテイキング構造を生成する生成手段と、前記生成手段で生成した前記ターンテイキング構造における所定時間内の特定ユーザの発話率に基づいて、前記発話情報を、一人の発話者が一方的に発話している説明タイプと発話者が同等に発話している討議タイプとに分類する第１の分類手段と、前記第１の分類手段によって討議タイプと分類された前記発話情報を、前記資料情報表示手段によって表示されている前記資料情報の作成者の発話率に基づいて、前記作成者が討議に加わっている質疑応答タイプと前記作成者が討議にほとんど加わっていない問題議論タイプとに分類する第２の分類手段と、前記第１の分類手段または前記第２の分類手段によって分類された前記発話情報と前記資料情報表示手段によって表示された前記資料情報とを関連付けて記録する会話情報記録手段と、を有する会議支援装置を特徴とする。
また、請求項２の発明は、請求項１に記載の会議支援装置において、会議の様子を撮影して会議の映像情報を記録する映像記録手段と、前記生成手段で生成した前記ターンテイキング構造と、前記映像記録手段から得られる前記映像情報と、前記資料情報表示手段によって表示された前記資料情報と、を会議情報として記録する会議情報記録手段と、前記会議情報記録手段で記録された前記会議情報を検索するためのクエリー情報を入力する会議情報検索入力手段と、前記会議情報検索入力手段で入力された前記クエリー情報を参照してユーザが所望する前記会議情報を検索する会議情報検索手段と、前記会議情報検索手段で検索された前記会議情報を表示する会議情報表示手段と、を有する会議支援装置を特徴とする。
【００１２】
また、請求項３の発明は、請求項１又は２に記載の会議支援装置において、前記資料情報表示手段で表示された資料情報に加筆する資料情報加筆手段と、前記資料情報加筆手段で加筆した加筆情報に、前記生成手段で生成した前記ターンテイキング構造を関連付けする加筆会話状況関連付け手段と、を有する会議支援装置を特徴とする。
また、請求項４の発明は、請求項１乃至３の何れか一項に記載の会議支援装置において、前記発話集音手段で集音したユーザによる発話の発話方向を検出する発話方向検出手段と、前記資料情報表示手段で表示された資料情報から資料作成者情報を取得する作成者情報取得手段と、前記作成者情報取得手段で取得した資料作成者情報と、前記発話方向検出手段により検出した発話方向のユーザとを対応付けるユーザ関連付け手段と、を備えた会議支援装置を特徴とする。
また、請求項５の発明は、会議支援装置による会議支援方法であって、前記会議支援装置が備える資料情報表示手段が会議の資料情報を表示する資料情報表示ステップと、前記会議支援装置が備える２つ以上の発話集音手段が会議に参加したユーザによる発話を集音する発話集音ステップと、前記会議支援装置が備える発話記録手段が、前記発話集音ステップで集音した音声情報を記録する発話記録ステップと、前記会議支援装置が備える生成手段が、前記発話記録ステップで記録した音声情報から発話情報のターンテイキング構造を生成する生成ステップと、前記会議支援装置が備える第１の分類手段が、前記生成ステップで生成した発話情報のターンテイキング構造における所定時間内の特定ユーザの発話率に基づいて、前記発話情報を、一人の発話者が一方的に発話している説明タイプと発話者が同等に発話している討議タイプとに分類する第１の分類ステップと、前記会議支援装置が備える第２の分類手段が、前記第１の分類ステップによって討議タイプと分類された前記発話情報を、前記資料情報表示ステップによって表示されている会議の資料情報の作成者の発話率に基づいて、前記作成者が討議に加わっている質疑応答タイプと、前記作成者が討議にほとんど加わっていない問題議論タイプとに分類する第２の分類ステップと、前記会議支援装置が備える前記会話情報記録手段が、前記第１の分類ステップまたは前記第２の分類ステップによって分類された前記発話情報と、前記資料情報表示ステップによって表示された資料情報とを関連付けて記録する会話情報記録ステップと、を有する会議支援方法を特徴とする。
【００１３】
また、請求項６の発明は、請求項５に記載の会議支援方法において、前記会議支援装置が備える資料情報加筆手段が、前記資料情報表示手段で表示された資料情報に加筆する資料情報加筆ステップと、前記会議支援装置が備える加筆会話状況関連付け手段が、前記資料情報加筆ステップで加筆した加筆情報に、前記生成ステップで生成した前記ターンテイキング構造を関連付けする加筆会話状況関連付け手段と、を有する会議支援方法を特徴とする。
また、請求項７の発明は、請求項５又は６に記載の会議支援方法をコンピュータに実行させるための会議支援プログラムを特徴とする。
また、請求項８の発明は、請求項７に記載の会議支援プログラムを記録したコンピュータ読み取り可能な記録媒体を特徴とする。
【発明の効果】
【００１９】
本発明の会議支援装置によれば、会議で行われた会話情報を記録して、記録した会話情報からコミュニケーション状況を把握して、会議の記録結果を人間の行動様式に近い自然な検索方法で振り返ることができる会議支援装置を、簡易な会議支援装置（会議資料等の表示ディスプレイの一体型デバイスにマイクアレイを設置した装置）を用いるだけで提供することができる。
また、本発明の会議支援装置によれば、会議資料等を表示するディスプレイデバイスに取り付けたマイクアレイで会議参加者の発話情報群を録音して、録音した音声の到達時間差から音源方向を推定して発言者各人の発話を区別し、区別された発話情報群の時系列情報（ターンテイキング）からコミュニケーション状況を判別できるので、判別したコミュニケーション状況を利用して、人間の行動様式に近い自然な検索方法で、会議の記録結果を振り返ることができる会議支援装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態の会議支援装置について説明する図。
【図２】本発明の第１の実施形態の会議支援装置のハードウエア構成について説明する図。
【図３】本発明の第１の実施形態の会議支援装置の機能モジュールについて説明する図。
【図４】会話状況推定処理について説明するためのフローチャート。
【図５】発話方向情報の記録形式の一例を示す図。
【図６】会話のターンテイキング構造の一例（その１）を示す図。
【図７】会話のターンテイキング構造の一例（その２）を示す図。
【図８】会議情報の検索入力画面の一例を示す図。
【図９】会議情報の検索結果の一例を示す図。
【図１０】資料情報と会話状況情報とを関連付けたデータの一例を示す図。
【図１１】本発明の第２の実施形態の会議支援装置の機能構成について説明する図。
【図１２】本発明の第３の実施形態の会議支援装置の機能構成について説明する図。
【図１３】加筆情報と会話状況情報の関連付けしたデータの一例を示す図。
【発明を実施するための形態】
【００２１】
本発明の実施の形態について説明する。本発明は、会議参加者の発話情報を記録して、発話情報を再利用するための処理に際して、以下の特徴を有する。
会議支援装置は、会議資料等を表示するディスプレイデバイスに取り付けたマイクアレイで会議参加者の発話情報群を録音して、録音した音声の到達時間差から音源方向を推定して発話情報の発言者を特定し、特定された発話情報群の時系列情報（ターンテイキング）からコミュニケーション状況を判別する。そして、会議の記録情報を再利用する際に、判別したコミュニケーション状況の情報を利用して、見たいシーンや会議で表示された資料を簡易に検索できる会議支援装置を提供することを特徴とする。
【００２２】
上記記載の本発明の特徴について、以下の図面を参照して詳細に説明する。
＜第１実施形態＞
図１は、本発明の第１の実施形態に係る会議支援装置の概要図について説明する図である。
本発明の会議支援装置の概要図は、会議にて発表する資料を表示するディスプレイデバイス１５に、会議参加者が発話した音声情報を録音するマイクアレイ（マイク１７、１８）と、会議の映像を記録するビデオカメラ２５が取り付けられた形態である。
ユーザが本会議支援装置のディスプレイデバイス１５に資料を表示させて会議を行うと、会議中に発話した音声情報と会議中の状態を示す映像情報が記録される。記録された会議中の情報は、会議支援装置内で処理されて、再利用しやすい形態に編集されて記録される。ユーザは会議支援装置が提供する検索クエリー画面に検索文字を入力することで会議情報を検索できる。
【００２３】
図２は、会議支援装置のハードウエア構成図を説明する図である。
会議支援装置１は、中央演算装置（ＣＰＵ）１１、ランダムアクセスメモリ（ＲＡＭ）１２、ハードディスク１３、キーボード１４、マウス２２、大型のディスプレイデバイス１５が装置バス２０で相互に接続された一般的な計算機である。しかし、本実施の形態における会議支援装置１は一般的な計算機で構成しなくても良い。
また、会議支援装置１には、２つのマイク１７、１８が、音声インタフェース１６を介して装置バス２０に接続されている。この２つのマイクで会議参加者の発話を集音することで発話者の音源方向を特定する。また同様に、ビデオカメラ２５がビデオインタフェース（ビデオＩＦ）１９を介して装置バス２０に接続されている。これらのマイク１７、１８、ビデオカメラ２５が装置バス２０と接続されることによって、それぞれ音声データおよび画像データはハードディスク１３に取り込まれて格納される。ここで、画像データは動画データが好適であるが、必ずしも動画データである必要はなく、状況によっては複数の静止画データであっても良い。また、装置バス２０は、ネットワークインタフェース（ネットワークＩＦ）２１を介してネットワーク５に接続され、外部と通信が可能である。
【００２４】
図３は、本発明の第１の実施形態に係る会議支援装置を構成する機能モジュールについて説明する図である。
図３に示す会議支援装置は、発話集音部３１、発話記録部３２、発話方向算出部３３、会話状況推定部３４、映像記録部３５、外部入力部３６、資料表示部３７、会議情報記録部３８、会議情報検索入力部３９、会議情報検索部４０、会議情報表示部４１などの機能モジュールから構成されている。なお、ＣＰＵ１１はハードディスク１３に記憶されているソフトウエアからなる各機能モジュールをＲＡＭ１２に読み出して実行する。
図３に示す発話集音部３１は、ディスプレイデバイス１５の上部の両端２箇所に取り付けたマイク１７、１８によって行う。発話方向算出部３３で発話方向を算出する際にマイク１７、１８の取り付けた場所の位置関係情報を使用するために、発話集音部３１は２箇所のマイク１７、１８の取り付け位置を特定しておく。取り付け位置の一例としては、ディスプレイデバイス１５の表示面に対して平行に例えば１メートルの間隔を空けて取り付ける。
【００２５】
発話記録部３２は、２箇所に取り付けたマイク１７、１８で集音した音声情報とその音声情報を集音した際の時間情報とをハードディスク１３に記録する。
映像記録部３５は、ディスプレイデバイス１５の上方に取り付けたビデオカメラ２５で会議の様子を撮影してこの会議の映像情報をハードディスク１３に記録する。
発話方向算出部３３は、上記発話記録部３２でハードディスク１３に記録した音声情報と時間情報とから、音声を発生した音源方向を算出する。音源方向の算出例としては、例えば特許文献１に開示された技術を用いる。ここで、ディスプレイデバイス１５の上方２箇所に取り付けたマイク１７、１８の取り付け位置と、映像記録部３５となるビデオカメラ２５の取り付け位置とを特定しておくことで、算出した音源方向とビデオカメラで撮影した画像情報とをあらかじめ対応付けることができる。
会話状況推定部３４は、会議で行われた会話の状況を推定する。
【００２６】
図４は、会話状況の推定方法の一例としての会話状況推定処理を示すフローチャートである。なお、ＣＰＵ１１はハードディスク１３に記憶されている本フローチャートの各ステップＳ１〜Ｓ４をＲＡＭ１２に読み出して順次に実行する。
図４のステップＳ１では、ＣＰＵ１１は発話方向算出部３３から発話方向情報とその発話がされた時間情報を取得する。
図５は、ハードディスク１３に記録された発話方向情報と時間情報との記録形式の一例を示す図である。
図５では、５秒おきに発話方向情報を記録している例を示している。なお、発話方向情報が記録されていないところは発話情報が録音されていなかった区間を表す。
【００２７】
図４に戻り、ステップＳ２では、ＣＰＵ１１は発話方向の変化から発話しているユーザの変化を判定する。判定方法の一例としては、発話方向情報が任意の閾値よりも大きく変化したときには、発話しているユーザが変化したと判定する。
図５に示す時間情報は、左から右に、年月日、時分秒の順に構成されている。図５に示す例では、時間情報が２０１０．０１．１５−１３：００：４５と２０１０．０１．１５−１３：００：５０のとき、２０１０．０１．１５−１３：０１：１５と２０１０．０１．１５−１３：０１：２０のとき、２０１０．０１．１５−１３：０２：００と２０１０．０１．１５−１３：０２：０５のとき、に発話方向情報が大きく変化しているので発話しているユーザが変化したと判定する。
次いで、ステップ３では、ＣＰＵ１１はステップ２で判定した発話ユーザの変化から会話のターンテイキング構造を生成する。
【００２８】
図６は、ターンテイキング構造を生成した際の一例を示す図である。
図６に示すグラフの横軸は時間情報を、縦軸はユーザ情報を、黒線はユーザが発話したことをそれぞれ示す。図６に示す一例では、ユーザＡが発話を５０秒間行い、その次にユーザＢが発話を３０秒間行い、その次にユーザＣが発話を４５秒間行って、次にまたユーザＡが発話を２０秒間行ったことを示す。
次いで、ステップ４では、ＣＰＵ１１はステップ３から生成した会話のターンテイキング構造から会話状況を推定する。会話状況の推定では、一人のユーザが一方的に発話している「説明タイプ」と、様々なユーザが同等に発話している「討議タイプ」との２つに大きく分かれる。
これら２タイプの判定方法の一例としては、３分間のターンテイキング構造を閲覧し、一人のユーザの発話率が例えば８０％を超えていれば、その区間を「説明タイプ」と判定し、反対に例えば８０％以下であれば「討議タイプ」と判定する。
【００２９】
また「討議タイプ」と判定された場合には３分間の区間で何人のユーザが発話を行ったかを算出して発話を行ったユーザの合計人数ごとに会話状況を分類しても良い。会議支援装置のディスプレイに表示された資料情報の作成者と発話したユーザとの関連付けが既知の際には、３分間の区間で資料情報の作成者の発話が例えば３０％以上であったかを判定し、例えば３０％以上であれば資料情報の作成者が多く発話を行っているので質疑応答タイプとし、例えば３０％以下であれば作成者以外のユーザが多く発話を行っているので「問題議論タイプ」として分類しても良い。
また、図６に示すターンテイキング構造の一例では、同じ時間帯に２人以上のユーザが発話を行っている状態（会話のかぶり）はないが、議論が白熱している場合には会話のかぶりが多数出現することがある。このため、任意区間内の発話かぶりの合計時間を算出し、一定の閾値以上であるかを判定して、会話状況を示す情報として付随しても良い。
【００３０】
図７は、会話かぶりがある場合のターンテイキング構造の一例を示す図である。
図７では、ユーザＡとユーザＢとの会話かぶり時間が２０秒間、ユーザＢとユーザＣのかぶり時間が１０秒間あった例である。従って、この区間での会話かぶりの合計時間は３０秒間となる。
上記ステップＳ１〜Ｓ４をそれぞれ処理することで、発話方向情報とその発話がされた時間情報から会話状況の推定を行うことができる。
図３に戻り、外部入力部３６は、会議でディスプレイデバイス１５に表示する資料情報を外部機器から入力する。外部入力部３６の一例としては、会議支援装置１に外部からの映像信号を受信するためのＶＧＡ端子を設けておき、ユーザが作成した資料情報が保存されているノートＰＣからのＶＧＡケーブルを上記ＶＧＡ端子に接続させて、資料情報の映像出力情報を会議支援装置１に受信する形態にしても良い。また、ＬＡＮ等から構成されるネットワーク５を経由して、ユーザのノートＰＣから送信されるデータファイル形式の資料情報をネットワーク５、ネットワークＩＦ２１を介して会議支援装置１に受信してハードディスク１３に保存しても良い。
【００３１】
資料表示部３７は、外部入力部３６で入力された資料情報を会議支援装置１のディスプレイデバイス１５上に表示する。資料情報がＶＧＡケーブルを経由して入力されている場合には、ＶＧＡ信号をそのままディスプレイデバイス１５上に表示する。なお、会議支援装置１でＶＧＡ信号から生成される画像情報を一旦、ハードディスク１３の記録領域に保存してからディスプレイデバイス１５上に表示するようにしても良い。また、ＬＡＮ等から構成されるネットワーク５を経由して受信した資料情報がデータファイル形式で会議支援装置１のハードディスク１３に保存されている場合には、会議支援装置１でデータファイル形式の資料情報をハードディスク１３からＲＡＭ１２に読み出して当該資料情報から映像情報を生成して、ディスプレイデバイス１５上に表示する。
会議情報記録部３８は、会話状況推定部３４から得られる会話状況情報と、映像記録部３５から得られる会議映像情報と、資料表示部３７から得られる資料情報とを会議情報としてハードディスク１３に記録する。会話状況情報と会議映像情報および資料情報の関連付けは、これらの情報がハードディスク１３に記録された時間情報を参照して関連付けを行ってハードディスク１３に記録される。図１０に、関連付け方法の一例として資料情報と会話状況情報とを関連付けたデータを示す。
会議情報検索入力部３９は、会議情報記録部３８においてハードディスク１３に記録された会議情報から、ユーザが閲覧したい会議情報を得るために、ユーザが入力した検索クエリーなどを受け付けて入力する。
【００３２】
図８は、会議情報検索入力部３９の一例を示す図である。図８では、会議情報を検索するために、ユーザがキーボード１４からテキストボックス５１にキーワード又は文章を入力し、マウス２２で検索実行ボタン５２をクリックすることで会議情報の検索が行われる。
会議情報検索部４０は、会議情報検索入力部３９で入力されたキーワード又は文章を参照して、会議情報記録部３８でハードディスク１３に保存された会議情報からユーザが閲覧したい会議情報を検索する。ユーザによって入力された情報が、図８に示すような文章『先週、〇〇さんと〇〇さんが討議していたときの資料情報を検索』であった場合には、この文章のテキストデータから検索キーワードを検出する。図８に示す文章の例から、検索キーワードは、会話状況が『討議タイプ』であって、この討議は『〇〇さん』と『〇〇さん』を含む人達で行われた討議であって、会議が行われた期間は先週であるので『〇年〇日』〜『〇年〇日』までというキーワードが検出できる。これらのキーワードを参照して、会議情報記録部３８で、ハードディスク１３に記録されている会話状況情報や時間情報などが関連付けられている会議情報から対象となる会議情報の検索処理を行う。
会議情報表示部４１は、会議情報検索部４０でハードディスク１３から検索された会議情報の結果をディスプレイデバイス１５に表示する。
【００３３】
図９は、会議情報の表示結果の一例を示す図である。図９では、検索条件にした情報と、会議情報の結果として会議の映像情報と、ディスプレイデバイス１５に表示していた資料情報と、会話状況情報とをディスプレイデバイス１５に表示している状態を示す。なお、検索結果が複数検出された場合には、時系列順に検索結果を並べてディスプレイデバイス１５に表示しても良い。
以上のように各部によって、会議で行われた会話情報を記録してコミュニケーション状態を把握し、会議の記録結果を人間の行動様式に近い自然な検索方法で振り返ることができる会議支援装置を提供することができる。
【００３４】
＜第２実施形態＞
図１１は、本発明の第２の実施形態に係る会議支援装置の機能モジュールについて説明する図である。
本発明の第２の実施形態に係る会議支援装置のハードウエア構成は、図２に示すハードウエア構成と同様であるので、その説明を省略する。なお、ＣＰＵ１１はハードディスク１３に記憶されているソフトウエアからなる各機能モジュールをＲＡＭ１２に読み出して実行する。
図１１に示す発話集音部３１、発話記録部３２、発話方向算出部３３、会話状況推定部３４、映像記録部３５、外部入力部３６、資料表示部３７、会議情報記録部３８、会議情報検索入力部３９、会議情報検索部４０、会議情報表示部４１については、図３に示す同一名称の各部の機能モジュールと同様であるので、その説明を省略する。
図１１において、作成者情報取得部７１は、会議支援装置のディスプレイデバイス１５に表示する資料情報から資料を作成した作成者を検出する。検出方法の一例としては、資料情報がＰｏｗｅｒＰｏｉｎｔ（登録商標）やＷｏｒｄ（登録商標）などＭｉｃｒｏｓｏｆｔ社製のＯｆｆｉｃｅ（登録商標）のアプリケーションにより作成されていれば、資料ファイルのプロパティ情報から作成者情報を検出することが可能である。また、その他のアプリケーションで作成されており、作成者情報が自動的に検出できない場合には、ユーザに作成者情報を入力させるために、資料の作成者情報を入力する画面を表示しても良い。
【００３５】
ユーザ関連付け部７２は、作成者情報取得部７１で取得した作成者情報と、発話方向算出部３３で取得した発話方向のユーザとを関連付ける。関連付け方法の一例としては、ディスプレイデバイス１５に資料が表示されてから、最初にある程度の時間以上に発話が続いている発話方向にいるユーザを資料の作成者とみなして関連付けを行う。ユーザ関連付け部７２によって、会議に参加したユーザの位置を登録しなくても、資料を発表したユーザがどの位置に座っていたかを検出できる。
以上のように各部によって、会議で行われた会話情報を記録してコミュニケーション状態を把握し、会議の記録結果を人間の行動様式に近い自然な検索方法で振り返ることができる会議支援装置を提供することができる。
【００３６】
＜第３実施形態＞
図１２は、本発明の第３の実施形態に係る会議支援装置の機能モジュールについて説明する図である。
本発明の第３の実施形態に係る会議支援装置のハードウエア構成は、図２に示すハードウエア構成と同様であるので、その説明を省略する。なお、ＣＰＵ１１はハードディスク１３に記憶されているソフトウエアからなる各機能モジュールをＲＡＭ１２に読み出して実行する。
図１２に示す発話集音部３１、発話記録部３２、発話方向算出部３３、会話状況推定部３４、映像記録部３５、外部入力部３６、資料表示部３７、会議情報記録部３８、会議情報検索入力部３９、会議情報検索部４０、会議情報表示部４１については、図３に示す同一名称の各部の機能モジュールと同様であるので、その説明を省略する。
【００３７】
図１２において、資料情報加筆部８１は、会議支援装置のディスプレイデバイス１５に表示された資料情報にユーザがペンで加筆する機能を提供する。資料情報加筆部８１の一例としては、ディスプレイデバイス１５の前面にペンの加筆位置を取得するタッチパネルを設置しておき、ユーザがペンで加筆したときの位置情報を記録し、加筆情報をディスプレイデバイス１５の画面に重畳して表示することで実現できる。タッチパネルで位置情報を計測する方法としては、ユーザがペンで加筆した際の筆圧を検知する抵抗膜方式や、磁界を発生する特別なペンでタッチしたことをパネル側で検出する電磁誘導方式など多数の方式があり、本発明ではどの方式を採用しても良い。
加筆会話状況関連付け部８２は、加筆した加筆情報に会話状況推定部３４で推定した会話状況情報を関連付けする。関連付け方法としては、加筆した際の時間情報と会話状況情報の時間情報とが同じものを関連付ける。
【００３８】
図１３は、加筆情報と会話状況情報との関連付けしたデータの一例を示す図である。これより、ユーザは資料情報に加筆されたときに会議でどのような会話状況であったかを振り返ることができる。
以上のように各部によって、会議で行われた会話情報を記録してコミュニケーション状態を把握し、会議の記録結果を人間の行動様式に近い自然な検索方法で振り返ることができる会議支援装置を提供することができる。
【符号の説明】
【００３９】
１  会議支援装置、５  ネットワーク、１１  中央演算装置（ＣＰＵ）、１２  ランダムアクセスメモリ（ＲＡＭ）、１３  ハードディスク、１４  キーボード、１５  ディスプレイデバイス、１６  音声インタフェース、１７、１８  マイク、１９  ビデオインタフェース、２０  装置バス、２１  ネットワークインタフェース、２２  マウス、２５  ビデオカメラ、３１  発話集音部、３２  発話記録部、３３  発話方向算出部、３４  会話状況推定部、３５  映像記録部、３６  外部入力部、３７  資料表示部、３８  会議情報記録部、３９  会議情報検索入力部、４０  会議情報検索部、４１  会議情報表示部、５１  検索ボタン、７１  作成者情報取得部、７２  ユーザ関連付け部、８１  資料情報加筆部、８２  加筆会話状況関連付け部
【先行技術文献】
【特許文献】
【００４０】
【特許文献１】特開２０００−１２５２７４公報
【特許文献２】特開２００２−２４７４８９公報
【特許文献３】特開２００４−２０８１８８公報
【特許文献４】特開２００４−２５８８０２公報
【特許文献５】特開２００７−２３３２３９公報
【特許文献６】特開２００８−２４２８３７公報
【特許文献７】特開２００５−１９６０２５公報
【特許文献８】特開２００２−２５１３９３公報
【図１】
0005573402.tif 000002
【図２】
0005573402.tif 000003
【図３】
0005573402.tif 000004
【図４】
0005573402.tif 000005
【図５】
0005573402.tif 000006
【図６】
0005573402.tif 000007
【図７】
0005573402.tif 000008
【図８】
0005573402.tif 000009
【図９】
0005573402.tif 000010
【図１０】
0005573402.tif 000011
【図１１】
0005573402.tif 000012
【図１２】
0005573402.tif 000013
【図１３】
0005573402.tif 000014