(57)【要約】【課題】会議録データの手書きデータから音声や映像データの時間位置を検索する。【解決手段】会議システムは、映像入力部１５及び音声入力部１６を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部１７から出力する映像・音声共有部２１と、前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録する映像・音声記録部２２と、手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加する追加部２４と、前記紙面データを他端末と共有し、表示部１３に表示する紙面共有部２３と、前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与する手書き属性付与部２５と、前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録する紙面記録部２６と、を備える。【選択図】図１
2016063477.tif 000002
【特許請求の範囲】
【請求項１】
映像入力部及び音声入力部を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部から出力する映像・音声共有部と、
前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録する映像・音声記録部と、
手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加する追加部と、
前記紙面データを他端末と共有し、表示部に表示する紙面共有部と、
前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与する手書き属性付与部と、
前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録する紙面記録部と、
を備える会議システム。
【請求項２】
請求項１において、
前記紙面データファイルに含まれる紙面データ及び手書きデータを表示部に表示する紙面表示部と、
表示された手書きデータの選択を受け付け、選択された手書きデータに付与されている前記ユーザ情報を前記表示部に表示する手書き属性表示部と、
選択された手書きデータに付与されている時刻情報に基づいて、映像及び音声のデータの再生位置を指定する再生位置指定部と、
前記映像・音声データファイルに含まれる映像及び音声のデータを、指定された再生位置から再生し、映像及び音声を映像出力部及び音声出力部から出力する映像・音声再生部と、
をさらに備えることを特徴とする会議システム。
【請求項３】
請求項２において、
時刻の指定を受け付ける指定時刻受付部と、
指定時刻に対応する前記時刻情報が付与された手書きデータを抽出する手書き抽出部と、
をさらに備え、
前記紙面表示部は、抽出された手書きデータ、及び該手書きデータを含む紙面データを表示部に表示することを特徴とする会議システム。
【請求項４】
映像入力部及び音声入力部を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部から出力するステップと、
前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録するステップと、
手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加するステップと、
前記紙面データを他端末と共有し、表示部に表示するステップと、
前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与するステップと、
前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録するステップと、
を備える情報処理方法。
【請求項５】
請求項４において、
前記紙面データファイルに含まれる紙面データ及び手書きデータを表示部に表示するステップと、
表示された手書きデータの選択を受け付け、選択された手書きデータに付与されている前記ユーザ情報を前記表示部に表示するステップと、
選択された手書きデータに付与されている時刻情報に基づいて、映像及び音声のデータの再生位置を指定するステップと、
前記映像・音声データファイルに含まれる映像及び音声のデータを、指定された再生位置から再生し、映像及び音声を映像出力部及び音声出力部から出力するステップと、
をさらに備えることを特徴とする情報処理方法。
【請求項６】
映像入力部及び音声入力部を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部から出力するステップと、
前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録するステップと、
手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加するステップと、
前記紙面データを他端末と共有し、表示部に表示するステップと、
前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与するステップと、
前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録するステップと、
をコンピュータに実行させるプログラム。
【請求項７】
請求項６において、
前記紙面データファイルに含まれる紙面データ及び手書きデータを表示部に表示するステップと、
表示された手書きデータの選択を受け付け、選択された手書きデータに付与されている前記ユーザ情報を前記表示部に表示するステップと、
選択された手書きデータに付与されている時刻情報に基づいて、映像及び音声のデータの再生位置を指定するステップと、
前記映像・音声データファイルに含まれる映像及び音声のデータを、指定された再生位置から再生し、映像及び音声を映像出力部及び音声出力部から出力するステップと、
をさらにコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の端末を用いて会議を行うための会議システム、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、プロジェクタやフラットディスプレイ等の表示装置に表示している資料に、インタラクティブホワイトボードやタブレットＰＣ等の手書き入力装置を利用して手書きを加えながら会議を行うことがある。また、複数の端末をネットワーク経由で接続し、１つの端末で行った操作内容を他の端末にリアルタイムで反映させる仕組みを、遠距離間での音声や映像の通信が可能な会議システム（例えば、電話会議システム、テレビ会議システム、ウェブ会議システム等）と組み合わせることで、遠隔拠点間で資料を共有し、資料に手書きを加えながら会議を行うことができる。
【０００３】
遠隔拠点間の会議内容の記録にはビデオカメラやマイクが使用され、会議録データとして、音声データ、映像データ、共有された資料データ、手書きデータが記録される。後日、会議の音声データや映像データの確認が必要になった場合は、音声データや映像データを先頭から再生したり、資料上の説明箇所から会議録データの時間位置を検索したりしていた（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１１８８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
資料に手書きを加えながら会議を行った場合、会議録データに手書きデータを含めることができる。しかし、従来の会議システムでは、会議録データに含まれる手書きデータから、音声や映像データの時間位置を検索することができなかった。そのため、手書きデータが誰によって書かれ、その時どのような議論が行われていたかを速やかに確認することが出来なかった。
【０００６】
本発明は、上記従来の実状に鑑みてなされたものであり、会議録データの手書きデータから音声や映像データの時間位置を検索することができる会議システム、情報処理方法、及びプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の一態様による会議システムは、映像入力部及び音声入力部を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部から出力する映像・音声共有部と、前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録する映像・音声記録部と、手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加する追加部と、前記紙面データを他端末と共有し、表示部に表示する紙面共有部と、前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与する手書き属性付与部と、前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録する紙面記録部と、を備えるものである。
【０００８】
本発明の一態様による会議システムは、前記紙面データファイルに含まれる紙面データ及び手書きデータを表示部に表示する紙面表示部と、表示された手書きデータの選択を受け付け、選択された手書きデータに付与されている前記ユーザ情報を前記表示部に表示する手書き属性表示部と、選択された手書きデータに付与されている時刻情報に基づいて、映像及び音声のデータの再生位置を指定する再生位置指定部と、前記映像・音声データファイルに含まれる映像及び音声のデータを、指定された再生位置から再生し、映像及び音声を映像出力部及び音声出力部から出力する映像・音声再生部と、をさらに備えることが好ましい。
【０００９】
本発明の一態様による会議システムは、時刻の指定を受け付ける指定時刻受付部と、指定時刻に対応する前記時刻情報が付与された手書きデータを抽出する手書き抽出部と、をさらに備え、前記紙面表示部は、抽出された手書きデータ、及び該手書きデータを含む紙面データを表示部に表示してもよい。
【００１０】
本発明の一態様による情報処理方法は、映像入力部及び音声入力部を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部から出力するステップと、前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録するステップと、手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加するステップと、前記紙面データを他端末と共有し、表示部に表示するステップと、前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与するステップと、前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録するステップと、を備えるものである。
【００１１】
本発明の一態様による情報処理方法は、前記紙面データファイルに含まれる紙面データ及び手書きデータを表示部に表示するステップと、表示された手書きデータの選択を受け付け、選択された手書きデータに付与されている前記ユーザ情報を前記表示部に表示するステップと、選択された手書きデータに付与されている時刻情報に基づいて、映像及び音声のデータの再生位置を指定するステップと、前記映像・音声データファイルに含まれる映像及び音声のデータを、指定された再生位置から再生し、映像及び音声を映像出力部及び音声出力部から出力するステップと、をさらに備えるものである。
【００１２】
本発明の一態様によるプログラムは、映像入力部及び音声入力部を介して入力された会議の映像及び音声を他端末と共有し、映像出力部及び音声出力部から出力するステップと、前記他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録するステップと、手書き入力可能な紙面データに、手書き入力装置を介して入力された手書きデータを追加するステップと、前記紙面データを他端末と共有し、表示部に表示するステップと、前記手書きデータに該手書きデータの入力を行ったユーザのユーザ情報及び時刻情報を付与するステップと、前記ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録するステップと、をコンピュータに実行させるものである。
【００１３】
本発明の一態様によるプログラムは、前記紙面データファイルに含まれる紙面データ及び手書きデータを表示部に表示するステップと、表示された手書きデータの選択を受け付け、選択された手書きデータに付与されている前記ユーザ情報を前記表示部に表示するステップと、選択された手書きデータに付与されている時刻情報に基づいて、映像及び音声のデータの再生位置を指定するステップと、前記映像・音声データファイルに含まれる映像及び音声のデータを、指定された再生位置から再生し、映像及び音声を映像出力部及び音声出力部から出力するステップと、をさらにコンピュータに実行させることが好ましい。
【発明の効果】
【００１４】
本発明によれば、会議録データの手書きデータから音声や映像データの時間位置を検索することができ、手書きデータが誰によって書かれ、その時どのような議論が行われていたかを容易に確認することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る会議システムの概念図である。
【図２】同実施形態に係るユーザ端末のハードウェア構成図である。
【図３】同実施形態に係るユーザ端末の機能ブロック図である。
【図４】会議中に共有される紙面データの表示例を示す図である。
【図５】紙面データファイルの構成を説明する概略図である。
【図６】同実施形態に係るユーザ端末の機能ブロック図である。
【図７】会議録の再生画面の一例を示す図である。
【図８】変形例によるユーザ端末の機能ブロック図である。
【図９】変形例による会議システムの概念図である。
【発明を実施するための形態】
【００１６】
以下に本発明の実施の形態を詳細に説明する。
【００１７】
図１は本発明の実施形態に係る会議システムの概念図である。図１の通り、この会議システムでは、会議の参加者ＰＡと参加者ＰＢとが異なる拠点におり、各自のユーザ端末１を使用し、遠隔拠点間で共有した資料をユーザ端末１に表示したり、ユーザ端末１に表示した資料に手書きを加えたりしながら、会議が行われる。ユーザ端末１は例えばタブレットＰＣであり、手書き入力には例えばスタイラスペン２（以下、単にペン２という）が用いられる。
【００１８】
図１に示す例では、説明の便宜上、会議の参加者を２人としているが、参加者は３人以上でもよく、参加者は同じ場所にいてもよいし、異なる場所にいてもよい。
【００１９】
参加者ＰＡ、ＰＢのユーザ端末１Ａ、１Ｂは、ネットワークＮを介して通信可能に接続されており、会議システムサーバＳにより、資料や手書き紙面等の紙面データや、会議の映像及び音声のデータを共有できるようになっている。例えば参加者ＰＡが自身のユーザ端末１Ａ及びペン２Ａを用いて資料に手書きを行うと、これが紙面データに追加され、ユーザ端末１Ｂに表示される資料にも、この手書きが反映される。
【００２０】
共有される会議の映像は、例えば、ユーザ端末１Ａに搭載されているカメラが参加者ＰＡを撮影した映像、及びユーザ端末１Ｂに搭載されているカメラが参加者ＰＢを撮影した映像である。共有される会議の音声は、例えば、ユーザ端末１Ａに搭載されているマイクが集音した参加者ＰＡの音声、及びユーザ端末１Ｂに搭載されているマイクが集音した参加者ＰＢの音声である。
【００２１】
ユーザ端末１Ａ、１Ｂが撮影した映像は、ユーザ端末１Ａ、１Ｂのディスプレイに表示される。ユーザ端末１Ａに搭載されているマイクが集音した参加者ＰＡの音声は、ユーザ端末１Ｂに搭載されているスピーカから出力される。ユーザ端末１Ｂに搭載されているマイクが集音した参加者ＰＢの音声は、ユーザ端末１Ａに搭載されているスピーカから出力される。
【００２２】
これにより、参加者ＰＡ及びＰＢは、ユーザ端末１Ａ、１Ｂを用いて、相手の顔をみたり、音声を聞いたりしながら、資料や互いの手書きを確認して、会議を行うことができる。後述するように、会議終了後、手書きが加えられた紙面は紙面データファイルとして保存され、会議中の映像や音声は映像・音声データファイルとして保存される。後日、紙面データファイルや映像・音声データファイルを再生することで、会議録を確認することができる。また、後述するように、本実施形態では、手書きデータを入力したユーザの情報や、手書きデータが入力された時刻の情報が保存されるため、後日、手書きデータの入力者を確認したり、手書きデータの入力時刻から映像・音声データが再生できるようになっている。
【００２３】
図２は、ユーザ端末１のハードウェア構成を示す。図２に示すように、ユーザ端末１は、ＣＰＵ１０、記憶部１１、通信部１２、表示部１３、手書き入力部１４、映像入力部１５、音声入力部１６、及び音声出力部１７を備えている。
【００２４】
記憶部１１は、メインメモリやハードディスクドライブ等を有し、会議システムクライアントプログラム及び手書きプログラムを格納する。通信部１２は、ネットワークＮを介して会議システムサーバＳや他のユーザ端末１との通信を行う。
【００２５】
表示部１３は、他のユーザ端末１と共有している映像データや紙面データを表示する。手書き入力部１４は、ペン２を用いた手書き文字等の入力を受け付ける。例えば、ユーザ端末１は、表示部１３としての機能と、手書き入力部１４としての機能とを兼ね備えたタッチパネルを有する。
【００２６】
映像入力部１５は、ユーザ端末１の筐体の前面や背面に設けられたカメラである。音声入力部１６及び音声出力部１７は、ユーザ端末１に搭載されたマイク及びスピーカである。
【００２７】
ＣＰＵ１０は、会議システムクライアントプログラム及び手書きプログラムをメインメモリにロードして、実行する。図３にこれらのプログラムを実行することで実現される機能ブロック図を示す。会議システムクライアントプログラムの実行により、映像・音声共有部２１及び映像・音声記録部２２が実現される。手書きプログラムの実行により、紙面共有部２３、手書き追加部２４、手書き属性付与部２５、及び紙面記録部２６が実現される。
【００２８】
映像・音声共有部２１は、各ユーザ端末１（自端末及び他端末）の映像入力部１５から入力された会議中の映像及び音声入力部１６から入力された会議中の音声を取得し、映像出力部（本実施形態では表示部１３）及び音声出力部１７から出力する。これにより、図１に示すユーザ端末１Ａとユーザ端末１Ｂとで、参加者ＰＡ及びＰＢの映像や音声をリアルタイムに共有することができる。
【００２９】
映像・音声記録部２２は、他端末と共有している映像及び音声のデータを映像・音声データファイルとして記録する。映像・音声データファイルは例えば、記憶部１１に格納されてもよいし、ネットワークＮ上に設けられたファイルサーバに格納されてもよい。この映像・音声データファイルに含まれる映像及び音声のデータを再生することで、後日、会議の様子を視聴することができる。
【００３０】
紙面共有部２３は、ユーザが自由に手書きを行うことができる紙面データを他端末と共有する。手書き追加部２４は、手書き入力部１４により入力された手書きデータを紙面データに追加する。例えば、紙面共有部２３は、取り込んだ資料を表示部１３に表示させるとともに、通信部１２を介して他端末へ送信する。これにより、資料を複数のユーザ端末１でリアルタイムに共有することができる。また、紙面共有部２３は、資料等の紙面に手書きデータが入力されると、入力された手書きデータを、手書きデータの入力者の情報（ユーザ情報）とともに、通信部１２を介して他端末へ送信し、他端末で表示される紙面に手書きを反映させる。これにより、１つのユーザ端末１で入力された手書きデータを複数のユーザ端末１でリアルタイムに共有することができる。また、ユーザ端末１は、手書きデータの入力を行ったユーザについてのユーザ情報を取得することができる。
【００３１】
図４は、ユーザ端末１Ａとユーザ端末１Ｂとの間で共有される紙面データの表示例を示す。初期状態では、ユーザ端末１Ａ、１Ｂは、１ページの白紙の紙面データ１１０、２１０を共有しているものとする。表示画面の端部（図４では左側）には、共有している紙面データのリストが設けられている。
【００３２】
ユーザ端末１Ａにて紙面データ１１０に手書きデータ１１２が入力されると、ユーザ端末１Ｂの紙面データ２１０にも手書きデータ２１２が追加され、ユーザ端末１Ａにおける手書きがユーザ端末１Ｂに反映される。
【００３３】
次に、ユーザ端末１Ａにて紙面データ１１０に手書きデータ１１４が入力されると、ユーザ端末１Ｂの紙面データ２１０にも手書きデータ２１４が追加され、ユーザ端末１Ａにおける手書きがユーザ端末１Ｂに反映される。
【００３４】
次に、ユーザ端末１Ａにて２ページの資料データ１２０、１３０を取り込み、資料データ１２０を選択して表示させると、ユーザ端末１Ｂにも同じ資料データ２２０、２３０が追加され、表示するページが資料データ２２０に切り替わる。
【００３５】
続いて、ユーザ端末１Ｂにて資料データ２２０に手書きデータ２２２が入力されると、ユーザ端末１Ａの資料データ１２０にも手書きデータ１２２が追加され、ユーザ端末１Ｂにおける手書きがユーザ端末１Ａに反映される。
【００３６】
次に、ユーザ端末１Ｂにて表示ページを資料データ２３０に切り替え、資料データ２３０に手書きデータ２３２が入力されると、ユーザ端末１Ａにおいて、表示するページが資料データ１３０に切り替わり、手書きデータ１３２が追加される。ユーザ端末１Ｂにおけるページ切り替え及び手書きがユーザ端末１Ａに反映される。
【００３７】
このように、複数のユーザ端末１間で、手書きデータを含む紙面データが共有され、いずれかのユーザ端末１で行われた手書き、資料取り込み（紙面追加）、表示ページの切り替え等が、他のユーザ端末１に反映される。
【００３８】
図３に示す手書き属性付与部２５は、入力された手書きデータに、ユーザ情報及び時刻情報を付与する。ユーザ情報は、手書きを行ったユーザを示すものである。例えば、図４に示す例では、ユーザ端末１Ａの手書き属性付与部２５は、手書きデータ１１２、１１４に参加者ＰＡを示すユーザ情報を付与し、手書きデータ１２２、１３２には参加者ＰＢを示すユーザ情報を付与する。時刻情報は、手書きデータが入力された時刻を示す。時刻情報は、標準時でもよいし、会議を開始してからの経過時間でもよい。
【００３９】
紙面記録部２６は、ユーザ情報及び時刻情報が付与された手書きデータを含む紙面データを紙面データファイルとして記録する。手書きデータは、点列の集まりとして各点の位置を示すデータとして記録してもよいし、手書きされた文字や図形の画像データとして記録してもよい。紙面データファイルの保存形式は、再利用可能となるような形式であればよく、例えばＯＰＣファイルアーカイブで保存する。紙面データファイルは、例えば、記憶部１１に格納されてもよいし、ネットワークＮ上に設けられたファイルサーバに格納されてもよい。紙面データファイルは映像・音声データファイルとともに会議録データとして保存される。
【００４０】
図４に示すような紙面データが共有されていた場合の紙面データファイルの構成例を図５に示す。紙面データファイルには、ユーザ端末１Ａ、１Ｂで共有されていた紙面データ１１０、紙面データ１１０に追加された手書きデータ１１２、１１４、資料データ１２０、資料データ１２０に追加された手書きデータ１２２、資料データ１３０、及び資料データに追加された手書きデータ１３２が含まれる。また、手書きデータ１１２、１１４、１２２、１３２には、それぞれユーザ情報及び時刻情報が付加される。
【００４１】
この紙面データファイルを開くことで、後日、会議で使用された資料や手書きの紙面を確認することができる。
【００４２】
次に、会議録データの再生を行う会議録再生端末について説明する。会議録再生端末は例えばタブレットＰＣであり、ここではユーザ端末１が会議録再生端末としても用いられるものとする。
【００４３】
ユーザ端末１の記憶部１１は、会議録再生プログラム、映像・音声データファイル及び紙面データファイルを格納し、ＣＰＵ１０は、この会議録再生プログラムをメインメモリにロードして、実行する。図６に会議録再生プログラムを実行することで実現される機能ブロック図を示す。会議録再生プログラムの実行により、紙面表示部３１、手書き属性表示部３２、再生位置指定部３３及び映像・音声再生部３４が実現される。
【００４４】
紙面表示部３１は、紙面データファイル内の紙面データを表示部１３に表示する。また、紙面表示部３１は、紙面データに含まれる手書きデータが選択可能となるように表示部１３に表示する。手書きデータの選択は、例えば、ペン２による手書き部分のタッチである。
【００４５】
手書き属性表示部３２は、選択された手書きデータに紐付けられているユーザ情報を表示部１３に表示する。ユーザ情報とともに時刻情報を表示してもよい。これにより、複数の会議参加者により手書きが加えられた場合であっても、それぞれの手書きがどの参加者によって加えられたものであるかを確認することができる。
【００４６】
また、手書き属性表示部３２は、手書きデータが選択されると、この手書きデータが入力された時刻からの映像・音声の再生指示を受け付ける再生指示ボタンを表示部１３に表示する。
【００４７】
再生位置指定部３３は、表示部１３上の再生指示ボタンが選択（ペン２によりタッチ）されると、再生指示を受け付け、映像・音声データの再生開始位置を指定する。再生開始位置は、手書きデータに紐付けられた時刻情報が示す時刻である。
【００４８】
映像・音声再生部３４は、映像・音声データファイルに含まれる映像及び音声のデータを、再生位置指定部３３により指定された再生開始位置（再生開始時刻）から再生し、映像及び音声を映像出力部（ここでは表示部１３）及び音声出力部１７から出力する。
【００４９】
図７に、会議録データの再生画面の一例を示す。会議録再生プログラムが実行されると、紙面データファイル及び映像・音声データファイルが取り込まれ、紙面表示部３１が、ユーザ端末１の画面の端部に、紙面データファイルに含まれる紙面データ１１０、１２０、１３０をリスト表示し、ユーザにより選択された紙面データを拡大表示する。図７では、画面の左側にリスト表示され、紙面データ１２０が選択されて拡大表示されている。
【００５０】
拡大表示された紙面データ１２０には手書きデータ１２２が含まれており、紙面表示部３１は、この手書きデータ１２２を選択可能に表示する。ペン２によりタッチされるなどして手書きデータ１２２が選択されると、手書き属性表示部３２は、この手書きデータ１２２に紐付けられたユーザ情報３１０及び再生指示ボタン３２０を含むポップアップ画面３００を表示する。
【００５１】
再生指示ボタン３２０がペン２でタッチされるなどして選択されると、再生位置指定部３３は、手書きデータ１２２に紐付けられた時刻情報が示す時刻を、映像・音声データの再生開始位置として指定する。映像・音声再生部３４は、指定された再生開始位置から映像及び音声のデータを再生する。例えば、ポップアップ画面３３０で映像が再生され、ユーザ端末１に搭載されたスピーカから音声が出力される。このようにして、手書きが行われていたときの音声・映像を速やかに再生することができる。
【００５２】
上述したように、本実施形態では、会議録の再生時に、紙面データに含まれる手書きデータに紐付けられた時刻情報から、音声・映像データの再生位置を特定する。そのため、ユーザ端末１は、会議開始に伴い他端末と通信接続を行い、音声・映像・紙面データの共有を開始すると、その後、映像・音声の記録を開始するとともに、記録開始時刻を保存する。
【００５３】
また、ユーザ端末１は、会議終了時に記録終了時刻を保存する。そして、映像・音声の記録を終了し、映像・音声データを映像・音声データファイルとして保存する。続いて、音声・映像・紙面データの共有を終了し、他端末との通信接続を切断する。そして、手書きデータを含む紙面データ、記録開始時刻、記録終了時刻を紙面データファイルに保存する。会議中に音声・映像記録を一時停止したり、再開したりした場合は、それぞれの操作時刻も保存しておき、紙面データファイルに保存する。
【００５４】
このように、紙面データファイルに記録の開始時刻、終了時刻、一時停止時刻、再開時刻等を保存しておくことで、手書きデータの入力時刻と、映像・音声の再生時刻とを正確に対応付けることができる。
【００５５】
本実施形態による会議システムによれば、紙面データに含まれる手書きデータにユーザ情報及び時刻情報が付与されているため、手書きデータから音声や映像データの時間位置を検索することができ、手書きデータが誰によって書かれ、その時どのような議論が行われていたかを容易に確認することができる。
【００５６】
上記実施形態では、手書きデータが選択されると、選択された手書きデータの入力時刻から映像・音声データを再生していたが、時刻の指定を受け付け、指定された時刻の手書きデータを抽出して表示できるようにしてもよい。
【００５７】
この場合、会議録再生プログラムを実行すると、図８に示すように、紙面表示部３１、手書き属性表示部３２、再生位置指定部３３及び映像・音声再生部３４に加えて、さらに指定時刻受付部３５及び手書き抽出部３６が実現される。
【００５８】
指定時刻受付部３５は、ユーザから時刻の指定や、時間範囲の入力を受け付ける。手書き抽出部３６は、指定時刻受付部３５が受け付けた指定時刻を中心とする時間範囲内に入力時刻が含まれる手書きデータを抽出する。紙面表示部３１は、抽出された手書きデータを、紙面データとともに表示部１３に表示する。さらに、手書き属性表示部３２が、抽出された手書きデータに紐付けられているユーザ情報を表示してもよい。また、映像・音声再生部３４が、抽出された手書きデータに紐付けられている時刻情報に基づいて、映像・音声データの再生を行ってもよい。
【００５９】
上記実施形態では、図１に示すように、会議参加者のユーザ端末１を用いて会議を行う例について説明したが、会議室に設けられた設備を利用してもよい。例えば、図９に示すように、拠点Ａでは、参加者Ｐ１〜Ｐ５が各自のユーザ端末１を使用しながら、会議室に設置されたプロジェクタ３、カメラ４、スピーカフォン５、スクリーン６等の設備も使用する。一方、拠点Ｂの会議室では、このような設備は使用されず（設けられておらず）、参加者Ｐ６及びＰ７は各自のユーザ端末１を用いて会議に参加する。
【００６０】
各参加者Ｐ１〜Ｐ７のユーザ端末１は、資料や手書き紙面等の紙面データや、会議の映像及び音声のデータを共有する。そのため、例えば参加者Ｐ１が自身のユーザ端末１及びペン２を用いて資料に手書きを行うと、これが紙面データに追加され、全ての参加者Ｐ１〜Ｐ７のユーザ端末１に表示される資料にこの手書きが反映される。各ユーザ端末１は、手書きデータと合わせて、手書きを行った参加者の情報も受信する。
【００６１】
参加者Ｐ１〜Ｐ７のユーザ端末１で共有される映像は、カメラ４が撮影している拠点Ａの会議室の映像や、拠点Ｂにいる参加者Ｐ６及びＰ７のユーザ端末１に搭載されているカメラが参加者Ｐ６及びＰ７を撮影した映像である。共有される会議の映像及び紙面データは、プロジェクタ３によりスクリーン６に映し出すことができる。
【００６２】
共有される会議の音声は、例えばスピーカフォン５が集音している拠点Ａの会議室の音声や、拠点Ｂにいる参加者Ｐ６及びＰ７のユーザ端末１に搭載されているマイクが集音した音声である。スピーカフォン５で集音された拠点Ａの会議室内の音声は、拠点Ｂの参加者Ｐ６及びＰ７のユーザ端末１に搭載されているスピーカから出力される。また、参加者Ｐ６及びＰ７のユーザ端末１に搭載されているマイクにより集音された参加者Ｐ６及びＰ７の音声は、拠点Ａのスピーカフォン５から出力される。これにより、拠点Ａと拠点Ｂとで音声を共有しながら会議を行うことができる。
【００６３】
共有される会議の映像・音声データは、各ユーザ端末１で映像・音声データファイルとして保存することができる。また、共有される手書きデータを含む紙面データは、手書きデータを入力した参加者のユーザ情報及び時刻情報とともに、各ユーザ端末１において、紙面データファイルとして保存することができる。
【００６４】
拠点Ａの参加者Ｐ１〜Ｐ５のユーザ端末１では、映像入力部１５はカメラ４を介して映像を入力し、音声入力部１６及び音声出力部１７はスピーカフォン５を介して音声の入出力を行う。また、拠点Ａでは、ユーザ端末１の表示部１３に紙面データを表示するとともに、映像出力部としてのプロジェクタ３から、端末間で共有している紙面や映像を出力することができる。
【００６５】
このように、本実施形態による会議システムは、ユーザ端末１だけでなく、会議室の設備を利用したものであってもよい。
【００６６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。また、上記実施形態に開示されている複数の構成要素を適宜組み合わせたり、実施形態に示される全構成要素から幾つかの構成要素を削除したりしてもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００６７】
１  ユーザ端末
２  スタイラスペン
１１  記憶部
１２  通信部
１３  表示部
１４  手書き入力部
１５  映像入力部
１６  音声入力部
１７  音声出力部
２１  映像・音声共有部
２２  映像・音声記録部
２３  紙面共有部
２４  手書き追加部
２５  手書き属性付与部
２６  紙面記録部
３１  紙面表示部
３２  手書き属性表示部
３３  再生位置指定部
３４  映像・音声再生部
【図１】
2016063477.tif 000003
【図２】
2016063477.tif 000004
【図３】
2016063477.tif 000005
【図４】
2016063477.tif 000006
【図５】
2016063477.tif 000007
【図６】
2016063477.tif 000008
【図７】
2016063477.tif 000009
【図８】
2016063477.tif 000010
【図９】
2016063477.tif 000011