(57)【要約】【課題】データ容量が小さく、議事内容を書き忘れると警告する議事録作成補助装置、電子会議装置および電子会議システムを提供することにある。【解決手段】音声に関する処理を行い、発話が開始されたことを示す発話開始を判断する音声処理部１０２と、操作に関する処理を行い、操作がなされたことを示す操作実行を判断する操作処理部１０３と、表示に関する処理を行う表示処理部１０４と、音声処理部１０２が発話開始を判断すると、発話開始時刻と警告時刻とを更新し、現在時刻が警告時刻に達すると警告処理を行い、警告時刻に達する前に操作処理部１０３が操作実行を判断すると、処理を終了する制御部１０１とを有する。【選択図】図１
2015070299.tif 000002
【特許請求の範囲】
【請求項１】
音声に関する処理を行い、発話が開始されたことを示す発話開始を判断する音声処理部と、
操作に関する処理を行い、操作がなされたことを示す操作実行を判断する操作処理部と、
表示に関する処理を行う表示処理部と、
前記音声処理部が前記発話開始を判断すると、発話開始時刻と警告時刻とを更新し、現在時刻が前記警告時刻に達すると警告処理を行い、前記警告時刻に達する前に前記操作処理部が前記操作実行を判断すると、処理を終了する制御部とを有する議事録作成補助装置。
【請求項２】
前記操作処理部は、文字を入力する操作がなされた時を前記操作実行と判断する
ことを特徴とする請求項１に記載の議事録作成補助装置。
【請求項３】
さらに音声を文字に変換する音声文字変換部を有し、
前記制御部は、前記音声文字変換部が変換した変換テキストと、前記文字を入力する操作がなされて入力された操作テキストと、に相関があるか否かを判定し、相関があると判定すると処理を終了する
ことを特徴とする請求項１または請求項２に記載の議事録作成補助装置。
【請求項４】
前記制御部は前記変換テキストから１以上の単語を抽出し、前記１以上の単語と、前記操作テキストと、に相関があるか否かを判定し、相関があると判定すると処理を終了する
ことを特徴とする請求項３に記載の議事録作成補助装置。
【請求項５】
前記音声文字変換部が音声データを文字に変換できた時を前記発話開始と判断する
ことを特徴とする請求項３または請求項４に記載の議事録作成補助装置。
【請求項６】
前記発話開始と、前記操作実行と、において、１以上を前記制御部が判断する
ことを特徴とする請求項１乃至請求項５のいづれかに記載の議事録作成補助装置。
【請求項７】
前記警告処理は、警告音を発せさせる、マウスカーソルの形状を変更させる、メッセージやアイコンを表示させる、または画面の一部もしくは全体を点滅させる、または画面の一部もしくは全体の色を変更させる、またはこれらのうち２以上の組み合わせの処理である
ことを特徴とする請求項１乃至請求項６のいづれかに記載の議事録作成補助装置。
【請求項８】
請求項１乃至請求項７のいづれかに記載の議事録作成補助装置を備える電子会議装置。
【請求項９】
請求項８に記載の電子会議装置を備え、ネットワークを介して、複数の端末を前記電子会議装置に接続させる電子会議システム。
【請求項１０】
前記複数の端末が
音声に関する処理を行い、発話が開始されたことを示す発話開始を判断する音声処理部と、
操作に関する処理を行い、操作がなされたことを示す操作実行を判断する操作処理部と、
表示に関する処理を行う表示処理部と、のうち、１以上を有する
ことを特徴とする請求項９に記載の電子会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、議事録作成補助装置、電子会議装置および電子会議システムにおける議事録作成に関する。
【背景技術】
【０００２】
例えば、新製品の特長を検討する会議など、議題に関して自由に議論する会議では、会議室などの１つの場所に複数の参加者が集まり、ホワイトボードを利用して、意見を説明したり、要点をまとめたり、する。しかし、このような会議の場合、口頭での意見が多く、議論が活発になると、議論の要点や決定事項などを記録せずに、議論が先に進んでしまい、これらをホワイトボードに書き忘れる課題があった。
【０００３】
この課題を解決する装置および手段が特許文献１に開示されている。
【０００４】
特許文献１には、音声データを記録し、入力された文字データや画像データとともに記録した音声データを画面に表示し、文字データや画像データに選択された音声データが関連付けられて記録する音声記録装置、音声記録方法、音声記録プログラム及び記録媒体が開示されている。
【０００５】
また、会議はネットワークを利用した多地点間の電子会議でも行われ、電子会議においてこの課題を解決する装置が特許文献２に開示されている。
【０００６】
特許文献２には、撮影した動画データや、入力されたテキストデータなどともに、記録開始および停止が操作されて音声データを記録し、記録した音声データが再生され、編集されて議事録を作成するマルチメディア会議録作成装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１８５５１４
【特許文献２】特開平７−１２３３８４
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１および特許文献２は記録担当者が必要であり、専任の記録担当者がいる会議は少なく、多くの場合、発言者が記録担当者を兼務する。ゆえに、議論が活発になると、議事内容を記録しないまま、議論を進めてしまう可能性がある。また、音声データを記録するため、データ容量が大きい。
【０００９】
これらを鑑み、本発明の目的は、データ容量が小さく、議事内容を書き忘れると警告する議事録作成補助装置、電子会議装置および電子会議システムを提供することである。
【課題を解決するための手段】
【００１０】
本発明の議事録作成補助装置は、音声に関する処理を行い、発話が開始されたことを示す発話開始を判断する音声処理部と、操作に関する処理を行い、操作がなされたことを示す操作実行を判断する操作処理部と、表示に関する処理を行う表示処理部と、前記音声処理部が前記発話開始を判断すると、発話開始時刻と警告時刻とを更新し、現在時刻が前記警告時刻に達すると警告処理を行い、前記警告時刻に達する前に前記操作処理部が前記操作実行を判断すると、処理を終了する制御部とを有することを特徴とする。
【００１１】
本発明の電子会議装置は、音声に関する処理を行い、発話が開始されたことを示す発話開始を判断する音声処理部と、操作に関する処理を行い、操作がなされたことを示す操作実行を判断する操作処理部と、表示に関する処理を行う表示処理部と、前記音声処理部が前記発話開始を判断すると、発話開始時刻と警告時刻とを更新し、現在時刻が前記警告時刻に達すると警告処理を行い、前記警告時刻に達する前に前記操作処理部が前記操作実行を判断すると、処理を終了する制御部とを有する議事録作成補助装置を備えることを特徴とする。
【００１２】
本発明の電子会議システムは、音声に関する処理を行い、発話が開始されたことを示す発話開始を判断する音声処理部と、操作に関する処理を行い、操作がなされたことを示す操作実行を判断する操作処理部と、表示に関する処理を行う表示処理部と、前記音声処理部が前記発話開始を判断すると、発話開始時刻と警告時刻とを更新し、現在時刻が前記警告時刻に達すると警告処理を行い、前記警告時刻に達する前に前記操作処理部が前記操作実行を判断すると、処理を終了する制御部とを有する議事録作成補助装置を備え、ネットワークを介して、複数の端末を接続させる電子会議装置を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、データ容量を小さくし、議事内容の書き忘れを抑制することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明におけるシステムの概略構成例を示す図である。
【図２】記憶するデータの例を示す図である。
【図３】ユーザの行動の例を示す図である。
【図４】表示画面の例を示す図である。
【図５】実施形態の処理の例を示すフローチャートである。
【図６】表示画面の例を示す図である。
【図７】記憶するデータの例を示す図である。
【図８】本発明におけるシステムの概略構成例を示す図である。
【図９】記憶するデータの例を示す図である。
【図１０】実施形態の処理の例を示すフローチャートである。
【図１１】記憶するデータの例を示す図である。
【図１２】本発明におけるシステムの概略構成例を示す図である。
【図１３】表示画面の例を示す図である。
【発明を実施するための形態】
【００１５】
以下に、本発明を実施するための形態について図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を限定するものではない。
【００１６】
本発明は議事録作成補助装置であるが、適用例の１つである電子会議システムとして説明する。
【００１７】
第１の実施形態について説明する。
【００１８】
図１は第１の実施形態に係る電子会議システムの概略構成例を示す図である。
【００１９】
電子会議システム１０は、電子会議装置１００と、記憶装置１１０と、音声入力装置１２１と、音声出力装置１２２と、操作入力装置１２３と、表示装置１２４とで構成される。
【００２０】
電子会議装置１００はパソコンやサーバなどであって、会議制御部１０１と、音声処理部１０２と、操作処理部１０３と、表示処理部１０４とを備える。
【００２１】
会議制御部１０１は電子会議システム１０と、電子会議装置１００と、音声処理部１０２と、操作処理部１０３と、表示処理部１０４とを制御する部位である。また、会議制御部１０１は音声処理部１０２が発話開始を判断すると、発話開始時刻（Ｖ）と警告時刻（Ｎ）とを更新し、現在時刻が警告時刻（Ｎ）に達すると警告処理を行い、警告時刻（Ｎ）に達する前に操作処理部１０３が操作実行を判断すると、操作終了時刻（Ｌ）を更新して、処理を終了する。
【００２２】
音声処理部１０２は、音声入力装置１２１から入力された音声と、音声装置１２２から出力する音声とに関する処理を行う部位である。音声処理部１０２は音声データに基づき、発話開始（発話が開始されたこと）と、発話継続中（発話が継続されていること）とを判断する。例えば、音声データの振幅の大きさが所定の大きさに達すると発話が開始されたと判断する。そして、所定の大きさに達しなくなった後、所定の時間以内に再び所定の大きさに達すれば、発話は継続中と判断し、所定の大きさに達しないまま、所定の時間が経過すれば、発話は終了と判断する。なお、会議制御部１０１が発話開始と、発話継続中とを判断する、とすることができる。
【００２３】
操作処理部１０３は、操作入力装置１２３がなされた操作に関する処理を行う部位である。例えば、操作処理部１０３はキーボードの操作がなされて入力される文字やテキストを判断したり、マウスの操作がなされて行う処理を判断したりする。
【００２４】
表示処理部１０４は、表示装置１２４における表示に関する処理を行う部位であって、会議制御部１０１からの指示を受け、例えば、メッセージ表示、アイコン表示または点滅表示あるいは色を変化させたり、これらを組み合わせたりして書き忘れが発生していることを表示させる処理を行う。
【００２５】
記憶装置１１０は、ハードディスクやメモリなどであって、電子会議装置１００内蔵であってもよいし、外付けであってもよい。
【００２６】
ここで、記憶装置１１０に記憶するデータについて説明する。
【００２７】
図２は会議制御部１０１が記憶装置１１０に記憶して管理するデータの例であり、図３は時刻を横軸とした概念図である。
【００２８】
発話継続中は音声処理部１０２が発話継続中か否かを判断した際に会議制御部１０１が記憶する結果である。
【００２９】
発話開始時刻（Ｖ）は音声処理部１０２が発話開始を判断した際に会議制御部１０１が記憶する時刻である。
【００３０】
操作終了時刻（Ｌ）は操作処理部１０３が文字またはテキストを入力する操作がなされたと判断した際に会議制御部１０１が記憶する時刻である。
【００３１】
警告時刻（Ｎ）は警告時間（Ｘ）と発話開始時刻（Ｖ）とによって決定される時刻である。なお、警告時間（Ｘ）は設定されて記憶装置１１０に記憶している。
【００３２】
音声入力装置１２１はマイクなどであって、ＯＮ／ＯＦＦのスイッチをつけることができ、複数であってもよい。
【００３３】
音声出力装置１２２はスピーカなどであって、電子会議装置１００内蔵であってもよい。
【００３４】
操作入力装置１２３はキーボードやマウス、タッチパネルなどである。
【００３５】
表示装置１２４は液晶ディスプレイなどであって、表示される画面の例を図４に示す。画面２０には、作業領域２１と、ツールバー２２と、マウスカーソル２３とが表示され、操作入力装置１２３が操作されると、作業領域２１に画像２１Ａやテキスト２１Ｂが表示される。画像２１Ａは会議中に入力された図形の例である。テキスト２１Ｂは会議中に入力されたテキストの例であり、会議制御部１０１が発話に対し、操作がなされたことを判断するテキストの例である。
【００３６】
なお、音声入力装置１２１と、音声出力装置１２２と、操作入力装置１２３と、表示装置１２４とは、２以上の装置と組み合わせた端末装置とすることができる。また、電子会議装置１００に対し、複数とすることができる。
【００３７】
次に本実施形態に係る電子会議装置の動作について、説明する。
【００３８】
図４は本実施形態の処理の例を示すフローチャートである。
【００３９】
会議制御部１０１は、発話が開始されたと音声処理部１０２が判断すると次の処理を実行する。
【００４０】
会議制御部１０１は、発話（Ｓ１）があって、発話が継続中（Ｓ２）ではないと音声処理部１０２が判断すると、発話が開始されたと判断し、発話開始時刻（Ｖ）および警告時刻（Ｎ）を更新する（Ｓ３）。なお、発話があっても、発話が継続中と音声処理部１０２が判断すれば、発話開始時刻（Ｖ）および警告時刻（Ｎ）は更新しない。
【００４１】
会議制御部１０１は、現在時刻が警告時刻（Ｎ）に達する（Ｓ４）と、警告処理を行い（Ｓ５）、解除の操作がなされると、警告処理を中止して、処理を終了する。現在時刻が警告時刻（Ｎ）に達する前に、操作がなされた（Ｓ６）と操作処理部１０３が判断すると、会議制御部１０１は操作終了時刻（Ｌ）を更新（Ｓ７）し、処理を終了する。
【００４２】
警告処理とは、音声出力装置１２３から警告音を発したり、表示装置１２４に表示しているマウスカーソルの形状を変更したり、メッセージやアイコンを表示したり、または画面の一部もしくは全体の色を変更したり、または画面の一部もしくは全体を点滅したり、またはこれらのうち２以上の組み合わせを行わせる処理である。警告処理を行った画面の例を図６に示す。図６は、色が変化したマウスカーソル２３Ａと、書き忘れが発生していることを示すメッセージ２５と、アイコン２６との表示例である。
【００４３】
ここで、管理するデータの推移について説明する。
【００４４】
図７は音声処理部１０２および操作処理部１０３の判断に対するデータの推移を一定の時間間隔において時系列順に示した例である。各時刻における数値は便宜上の相対時刻を示し、例えば、「１」を０９：００：０１とすれば、「７」は０９：００：０７であり、警告時刻（Ｎ）は警告時間（Ｘ）を時間間隔「５」で設定した例である。
【００４５】
発話および発話継続中は、音声処理部１０２が判断した結果を示す。
【００４６】
操作は、同様に、操作処理部１０３が判断した結果を示す。
【００４７】
例えば、時刻「３」では、文字を入力する操作がなされたため、操作終了時刻（Ｌ）を更新し、時刻「４」以降は、時刻「２」〜「４」の発話に対する処理を終了している。時刻「７」では音声処理部１０２が発話開始を判断したため、発話開始時刻（Ｖ）と警告時刻（Ｎ）とを更新している。時刻「１２」では警告時刻（Ｎ）に達するので警告処理を行うことになる。
【００４８】
次に、第２の実施形態について説明する。
【００４９】
図８は第２の実施形態に係る電子会議装置の概略構成例を示す図である。
【００５０】
第１の実施形態に対し、音声文字変換部１０２１を追加し、追加に応じた管理データとし、次に説明する処理を追加している。
【００５１】
図９は会議制御部１０１が記憶装置１１０に記憶して管理するデータの例である。
【００５２】
音声文字変換部１０２１がテキストに変換し更新した変換更新内容と、さらに変換更新内容から単語を抽出した抽出単語と、操作内容を更新した操作更新内容と、を追加している。
【００５３】
次に第２の実施形態に係る電子会議装置の動作について、説明する。
【００５４】
図１０は本実施形態の処理フローの例を示す図である。
【００５５】
第１の実施形態に対し、ステップＳ１１からステップＳ１６を追加している。
【００５６】
会議制御部１０１は発話が開始されたと判断し、発話開始時刻および警告時刻を更新すると、発話の内容を記憶装置１１０に記憶し始める（Ｓ１１）。
【００５７】
会議制御部１０１は第１の実施形態と同様に、現在時刻が警告時刻に達すると、警告処理を行い、解除の操作がなされると、警告処理を中止して、処理を終了する。
【００５８】
現在時刻が警告時刻に達する前に発話が終了したと音声処理部１０２が判断する（Ｓ１２）と、会議制御部１０１は発話内容の記憶を終了する（Ｓ１３）。
【００５９】
また、現在時刻が警告時刻に達する前に操作がなされたと操作処理部１０３が判断すると、会議制御部１０１は操作がなされて入力されたテキスト内容を記憶し（Ｓ１４）、記憶したテキストと、音声文字変換部１０２１が変換したテキストとに相関があるか否か（Ｓ１５）を判断し、相関があれば、操作終了時刻を更新する。相関がなければ、操作がなされて入力される次のテキストを待ち、処理を終了するまで、テキストを累積し、更新し続ける。さらに、変換したテキストから単語を抽出し、操作がなされて入力されたテキストとの相関を判断する、とすることができる。相関の判定方法は公知であって、例えば、相関の強さを０から１．０の数値で表し、その相関の強さがある閾値を超えた場合に相関があると判断する。
【００６０】
会議制御部１０１は操作終了時刻を更新すると、処理を終了するか否かの選択画面を表示させ、処理終了が選択されると、処理を終了し（Ｓ１６）、選択されないと、テキストの入力を待つ。ステップＳ１６はあることが望ましいが、なくすことができる。
【００６１】
ここで、管理するデータの推移について説明する。
【００６２】
図１１は音声処理部１０２および操作処理部１０３の判断に対するデータの推移を一定の時間間隔において時系列順に示した例である。
【００６３】
変換内容は時間間隔においてユーザの発話を変換した内容を示す。
【００６４】
変換更新内容は発話終了と判断するまで、ユーザの発話を変換した内容を更新し続けた内容を示す。
【００６５】
操作内容および操作更新内容も同様で、時間間隔において操作されて入力された内容とその内容を更新し続けた内容を示す。
【００６６】
例えば、時刻「５」では発話終了を判断する時間が経過していないため、発話継続中を示し、変換更新内容と操作更新内容とに相関があると判断したため、操作終了時刻（Ｌ）を更新し、時刻「２」〜「４」における発話に対する処理を終了している。時刻「９」〜「１１」では誤った内容が操作されて入力されているため、時刻「７」〜「１１」の発話に対し、相関がない状態が続き、時刻「１２」において、警告時刻に達するため、警告処理を行うことになる。
【００６７】
次に、第３の実施形態について説明する。
【００６８】
図１２に示すように、ネットワーク３００を介して参加者端末２００を本電子会議装置１０に接続させることで、多地点間の電子会議システムとすることができる。
【００６９】
参加者端末２００はネットワーク３００を介して、電子会議装置１０に接続可能なパソコン、タブレット端末などであって、音声入力装置１２１と音声出力装置１２２とを備える。また、参加者端末２００は音声処理部１０２と、操作処理部１０３と、表示処理部１０４と、のうち、１以上を有することができ、さらに音声文字変換部１０２１を有することができる。
【００７０】
ネットワーク３００はインターネットまたはイントラネット、あるいはその組み合わせである。
【００７１】
以上のように、本発明によれば、音声データをテキスト化するため、データ容量を小さくすることができる。また、議事内容を書き忘れると警告するため、議事内容の書き忘れを抑制することができる。
【００７２】
また、図１３に例示するように、画面２０を作業領域２１と、議事録領域２４と、に分割することで、議事録領域２４のみを操作および比較の対象とすることができる。すなわち議事内容とは直接関係ないテキストの入力操作および比較を避けることができ、判断精度を向上させることができる。議事録領域２４は作業領域２１内に表示した入力欄や別に表示した議事録専用画面であってもよいし、ユーザが指定した入力欄や領域であってもよい。また、議事録領域２４はテキスト内容や履歴などに基づき、会議制御部１０１が判断した入力欄や領域であってもよい。また、議事録の入力欄や領域、専用画面は複数とすることができる。
【００７３】
上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００７４】
（付記１）前記複数の端末がさらに音声を文字に変換する音声文字変換部を有する
ことを特徴とする請求項１０に記載の電子会議システム。
【符号の説明】
【００７５】
１０    電子会議システム
１００    電子会議装置
１１０    記憶装置
１２１    音声入力装置
１２２    音声出力装置
１２３    操作入力装置
１２４    表示装置
２００    参加者端末
３００    ネットワーク
【図１】
2015070299.tif 000003
【図２】
2015070299.tif 000004
【図３】
2015070299.tif 000005
【図４】
2015070299.tif 000006
【図５】
2015070299.tif 000007
【図６】
2015070299.tif 000008
【図７】
2015070299.tif 000009
【図８】
2015070299.tif 000010
【図９】
2015070299.tif 000011
【図１０】
2015070299.tif 000012
【図１１】
2015070299.tif 000013
【図１２】
2015070299.tif 000014
【図１３】
2015070299.tif 000015