(57)【要約】【課題】手書き入力された文字の識字を支援することを目的としている。【解決手段】描画装置に対する操作に対応したストローク情報を含む描画データと、音声データを収集する端末装置の利用者のユーザ情報と、前記ユーザ情報と対応付けられた音声データと、を記憶する記憶部と、前記描画データを取得した時刻を含む所定時間において収集された前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する分析部と、を有する。【選択図】図５
2018077707.tif 000002
【特許請求の範囲】
【請求項１】
描画装置に対する操作に対応したストローク情報を含む描画データと、音声データを収集する端末装置の利用者のユーザ情報と、前記ユーザ情報と対応付けられた音声データと、を記憶する記憶部と、
前記描画データを取得した時刻を含む所定時間において収集された前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、
前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する分析部と、を有する情報処理装置。
【請求項２】
前記分析部は、
前記第一のテキストデータのうち、前記描画データを取得した時刻と、収集された時刻が近い音声データに基づくテキストデータから順に、前記ストローク情報が示すストロークと照合する、請求項１記載の情報処理装置。
【請求項３】
前記分析部は、
前記第一のテキストデータに含まれる単語を抽出し、
抽出された単語と、前記ストローク情報が示すストロークの一部と、を照合し、
前記単語と前記ストロークの一部が同じ文字列を示すと判定された単語を用いて、前記第二のテキストデータを生成する、請求項２記載の情報処理装置。
【請求項４】
前記所定時間において収集された前記音声データは、前記端末装置が収集した複数の利用者の音声データのうち、最も音量が大きい音声データである請求項１乃至３の何れか一項に記載の情報処理装置。
【請求項５】
前記ストローク情報は、
前記描画装置の入力装置に対する接触が検知されてから、前記入力装置に対する接触が検知されなくなったあと、所定期間が経過するまでの間における、前記入力装置に対する操作の軌跡を示す座標情報である、請求項１乃至４の何れか一項に記載の情報処理装置。
【請求項６】
描画装置に対する操作に対応したストローク情報を含む描画データと、音声データを収集する端末装置の利用者のユーザ情報と、前記ユーザ情報と対応付けられた音声データと、を記憶部に記憶する処理と、
前記描画データを取得した時刻を含む所定時間において収集された前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する処理と、
前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する処理と、をコンピュータに実行させる情報処理プログラム。
【請求項７】
複数の装置によって実現される情報処理システムであって、
描画装置に対する操作に対応したストローク情報を含む描画データと、音声データを収集する端末装置の利用者のユーザ情報と、前記ユーザ情報と対応付けられた音声データと、を記憶する記憶部と、
前記描画データを取得した時刻を含む所定時間において収集された前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、
前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する分析部と、を有する情報処理システム。
【請求項８】
前記複数の装置は、前記描画装置を含む請求項７記載の情報処理システム。
【請求項９】
複数の装置によって実現される情報処理システムによる情報処理方法であって、前記情報処理システムが、
描画装置に対する操作に対応したストローク情報を含む描画データと、音声データを収集する端末装置の利用者のユーザ情報と、前記ユーザ情報と対応付けられた音声データと、を記憶部に記憶し、
前記描画データを取得した時刻を含む所定時間において収集された前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得し、
前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する、を情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理プログラム及び言語処理方法に関する。
【背景技術】
【０００２】
近年では、会議や講義、授業等に参加する複数の参加者間で情報を共有する手段として、板書した情報を画像データとして表示するインタラクティブホワイトボード（以下、ＩＷＢと呼ぶ）が普及しつつある。この電子黒板では、例えば表示された画像データを保存することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えば会議等において、上述した電子黒板を使用した場合、電子黒板に表示された画像データを議事録の一種として保存することが考えられる。この場合、電子黒板では、手書きで入力された文字等が、画像データとして保存される。そのため、保存された画像データには、例えば走り書きのように入力された文字等も含まれる場合があり、識字が困難な文字が存在する可能性がある。
【０００４】
開示の技術は、手書き入力された文字の識字を支援することを目的としている。
【課題を解決するための手段】
【０００５】
開示の技術は、描画装置に対する操作に対応したストローク情報を含む描画データと、音声データを収集する端末装置の利用者のユーザ情報と、前記ユーザ情報と対応付けられた音声データと、を記憶する記憶部と、前記描画データを取得した時刻を含む所定時間において収集された前記音声データに基づく第一のテキストデータへの変換要求を言語処理装置に対して行い、前記言語処理装置から前記第一のテキストデータを取得する変換要求部と、前記ストローク情報と、前記第一のテキストデータと、に基づき、前記ストローク情報が示す内容を第二のテキストデータに変換する分析部と、を有する情報処理装置である。
【発明の効果】
【０００６】
手書き入力された文字の識字を支援できる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムの概要を説明する図である。
【図２】言語処理装置のハードウェア構成の一例を示す図である。
【図３】電子黒板のハードウェア構成の一例を示す図である。
【図４】端末装置のハードウェア構成の一例を示す図である。
【図５】第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。
【図６】第一の実施形態の会議支援サーバの会議管理情報データベースの一例を示す図である。
【図７】第一の実施形態の会議情報データベースの一例を示す図である。
【図８】会議情報の収集の仕方を説明する図である。
【図９】画面描画データの収集の仕方を説明する図である。
【図１０】画面描画データ取得部の処理を説明するフローチャートである。
【図１１】画面描画データにより描画される画像の例を示す図である。
【図１２】会議情報分析部の機能を説明する図である。
【図１３】会議情報分析部の処理を説明する第一のフローチャートである。
【図１４】会議情報分析部の処理を説明する第二のフローチャートである。
【図１５】発話者特定部の処理を説明する図である。
【図１６】ストローク情報と単語との照合を説明する図である。
【図１７】電子黒板にテキストデータが表示された例を示す図である。
【発明を実施するための形態】
【０００８】
以下に図面を参照して実施形態について説明する。図１は、情報処理システムの概要を説明する図である。
【０００９】
本実施形態の情報処理システム１００は、会議支援サービスを提供する企業により機能が実装された会議支援サーバ２００と、言語処理サービスを提供する企業により機能が実装された言語処理装置３００とを有する。
【００１０】
本実施形態の情報処理システム１００において、言語処理装置３００は、会議支援サーバ２００から、会議情報に含まれる音声データの変換要求を受け付けると、会議支援サーバ２００から音声データを取得し、テキストデータに変換する。
【００１１】
図１では、会議支援サーバ２００は、例えば、オフィスで行われた会議の会議情報を蓄積する。本実施形態の会議情報は、会議を識別する会議ＩＤと、会議の参加者毎の音声データと、後述する電子黒板に描画された文字や画像の描画データとが対応付けられた情報である。会議情報の詳細は後述する。
【００１２】
オフィスでの会議は、例えば、電子黒板４００と、会議の参加者であるユーザＡの端末装置５００−１、ユーザＢの端末装置５００−２、ユーザＣの端末装置５００−３、ユーザＤの端末装置５００−４と、を用いて行われる。
【００１３】
電子黒板４００は、ディスプレイに対して手書き入力を行うことが可能であり、入力された文字や画像を描画データとして記憶する描画装置である。この会議では、例えば会議の進行役であるユーザＸが、電子黒板４００を用いて会議の進行に応じた事項を電子黒板４００に記述する。
【００１４】
電子黒板４００は、記述された内容を示す画面描画データを、電子黒板４００を識別する端末ＩＤ及び会議ＩＤと対応付けて、会議情報の一部として会議支援サーバ２００へ送信する。
【００１５】
また、端末装置５００−１、５００−２、５００−３、５００−４のそれぞれは、音声入力装置（集音装置）であるマイクを有している。各端末装置５００は、マイクから入力された音声データを記憶し、各端末装置を識別する端末ＩＤと対応付けて、会議情報の一部として会議支援サーバ２００へ送信する。言い換えれば、本実施形態において、各端末装置５００は、各端末装置５００を利用する参加者毎の音声データを端末ＩＤ及び会議ＩＤと対応付けて会議支援サーバ２００へ送信する。
【００１６】
本実施形態では、このようにして、１つの会議における会議情報が会議ＩＤと対応付けられた会議支援サーバ２００に蓄積される。
【００１７】
尚、端末装置５００−１、５００−２、５００−３、５００−４のそれぞれを区別しない場合には、端末装置５００と呼ぶ。
【００１８】
本実施形態の会議支援サーバ２００は、例えば、電子黒板４００から、画面描画データに含まれる文字のテキストの表示要求を受けると、言語処理装置３００に対し、音声データとテキストデータへの変換要求とを送信する。尚、このとき、音声データは端末ＩＤが対応付けられた状態で言語処理装置３００へ送信される。
【００１９】
言語処理装置３００は、音声データをテキストデータ（第一のテキストデータ）へ変換し、会議支援サーバ２００へ送信する。
【００２０】
会議支援サーバ２００は、言語処理装置３００からテキストデータを取得すると、このテキストデータと、会議情報として蓄積された音声データと、を用いて、画面描画データに含まれる文字をテキストデータ（第二のテキストデータ）に変換する。
【００２１】
以上のよう、本実施形態では、蓄積された会議情報と、言語処理装置３００の機能と、を用いて、電子黒板４００から取得した画面描画データにより描画される文字を、テキストデータへ変換する。よって、本実施形態によれば、例えば画面描画データを電子黒板４００に表示された際に、表示された画像において識字が困難であった場合でも、テキストデータを表示させることで、識字を支援することができる。
【００２２】
尚、図１では、会議に用いられる端末装置５００を４台としているが、これに限定されない。会議に用いられる端末装置５００の台数は任意であって良い。さらに、図１では、会議を行う団体の一例を企業としているが、これに限定されない。会議を行う団体は、教員機関であっても良いし、学生のグループ等であっても良い。つまり、団体とは、複数人のグループであれば良く、会議とは、複数人で議論をすることであれば良い。
【００２３】
また、会議支援サーバ２００機能と言語処理装置３００とは別々の装置でなくてもよく、会議支援サーバ２００が有する機能と、言語処理装置３００が有する機能とを、一台の情報処理装置により実現してもよい。あるいは、一の企業が有するシステムとして、会議支援サービス及び言語処理サービスを提供する一台以上の情報処理装置により実現してもよい。従って、本実施形態では、各団体の電子黒板４００と、端末装置５００と、会議支援サーバ２００と、により、会議支援システムを構成しても良い。さらに、各団体における会議では、電子黒板４００の代わりに、一般的に端末装置５００が用いられても良い。つまり、会議支援システムは、端末装置５００と、会議支援サーバ２００と、により形成されても良い。さらに、端末装置５００を音声入力装置としても良い。
【００２４】
少なくとも、端末装置５００は録音機能を有していればよく、例えば、時計型やメガネ型の装置であってもよい。但し、端末装置５００自体に情報処理システム１００とネットワークを介して通信する機能が無い場合には、会議室で利用される各端末装置５００により録音された音声データを取得して情報処理システム１００に送信する、ハブとなる中継装置が必要になる。つまり、端末装置５００は、録音した音声データが入力される音声入力装置と、情報処理システム１００にネットワークを介して音声データを送信する音声出力装置と、を有するが、音声入力装置と音声出力装置は、音声データの送受ができるように構成されていれば、一つのデバイスで構成されていても複数のデバイスで構成されていてもよい。
【００２５】
さらに、本実施形態の情報処理システム１００には、電子黒板４００が含まれていても良い。
【００２６】
以下に、本実施形態の情報処理システム１００の有する各装置について説明する。図２は、言語処理装置のハードウェア構成の一例を示す図である。
【００２７】
本実施形態の言語処理装置３００は、一般の情報処理装置であり、それぞれバスＢで相互に接続されている入力装置３１、出力装置３２、ドライブ装置３３、補助記憶装置３４、メモリ装置３５、演算処理装置３６及びインターフェース装置３７を有する。
【００２８】
入力装置３１は、例えばマウスやキーボードであり、各種の情報を入力するために用いられる。出力装置３２は、例えばディスプレイ等であり、各種信号の表示（出力）に用いられる。インターフェース装置３７は、モデム，ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。
【００２９】
言語処理プログラムは、言語処理装置３００を制御する各種プログラムの少なくとも一部である。言語処理プログラムは例えば記録媒体３８の配布やネットワークからのダウンロードなどによって提供される。言語処理プログラムを記録した記録媒体３８は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００３０】
また、言語処理プログラムを記録した記録媒体３８がドライブ装置３３にセットされると、言語処理プログラムは記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。ネットワークからダウンロードされた通信プログラムは、インターフェース装置３７を介して補助記憶装置３４にインストールされる。
【００３１】
補助記憶装置３４は、インストールされた言語処理プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置３５は、コンピュータの起動時に補助記憶装置３４から言語処理プログラムを読み出して格納する。そして、演算処理装置３６はメモリ装置３５に格納された各プログラムに従って、後述するような各種処理を実現している。
【００３２】
本実施形態の会議支援サーバ２００は、一般のコンピュータであり、そのハードウェア構成は、言語処理装置３００と同様であるから、説明を省略する。
【００３３】
次に、図３を参照して、本実施形態の電子黒板４００のハードウェア構成を説明する。図３は、電子黒板のハードウェア構成の一例を示す図である。
【００３４】
本実施形態に係る電子黒板４００は、入力装置４１と、表示装置４２と、外部Ｉ／Ｆ４３と、通信Ｉ／Ｆ４４と、ＲＯＭ４５（Read Only Memory）とを有する。また、本実施形態に係る電子黒板４００は、ＲＡＭ（Random Access Memory）４６と、ＣＰＵ（Central Processing Unit）４７と、ＨＤＤ（Hard Disk Drive）４８と、集音装置４９とを有する。これらの各ハードウェアは、それぞれがバスＢ１で接続されている。
【００３５】
入力装置４１は、タッチパネル等であり、ユーザによる各種操作（例えば、音声テキスト変換（日本語）や音声テキスト変換（英語）等の機能の選択操作）を入力するのに用いられる。表示装置４２は、ディスプレイ等であり、各種情報（例えば、音声テキスト変換（日本語）による変換結果を示すテキスト等）を表示する。
【００３６】
外部Ｉ／Ｆ４３は、外部装置とのインターフェースである。外部装置には、記録媒体４３ａ等がある。これにより、電子黒板４００は、外部Ｉ／Ｆ４３を介して、記録媒体４３ａ等の読み取りや書き込みを行うことができる。なお、記録媒体４３ａには、例えば、ＵＳＢメモリやＣＤ、ＤＶＤ、ＳＤメモリカード等がある。
【００３７】
通信Ｉ／Ｆ４４は、電子黒板４００をネットワークＮ１等に接続するためのインターフェースである。これにより、電子黒板４００は、通信Ｉ／Ｆ４４を介して、他の装置（と通信を行うことができる。
【００３８】
ＨＤＤ４８は、プログラムやデータを格納している不揮発性の記憶装置である。ＨＤＤ４８に格納されるプログラムやデータには、電子黒板４００全体を制御する基本ソフトウェアであるＯＳ（Operating System）、ＯＳ上において各種機能を提供するアプリケーションプログラム等がある。
【００３９】
また、ＨＤＤ４８は、格納しているプログラムやデータを所定のファイルシステム及び／又はＤＢ（データベース）により管理している。なお、電子黒板４００は、ＨＤＤ４８に代えて、記録媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）を有していても良い。
【００４０】
ＲＯＭ４５は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリである。ＲＯＭ４５には、電子黒板４００の起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定等のプログラムやデータが格納されている。ＲＡＭ４６は、プログラムやデータを一時保持する揮発性の半導体メモリである。
【００４１】
ＣＰＵ４７は、ＲＯＭ４５やＨＤＤ４８等の記憶装置からプログラムやデータをＲＡＭ４６上に読み出し、処理を実行することで、電子黒板４００全体の制御や機能を実現する演算装置である。
【００４２】
集音装置４９は、例えばマイクロフォン（マイク）等であり、電子黒板４００の周囲の音を集音する。
【００４３】
本実施形態に係る電子黒板４００は、図３に示すハードウェア構成を有することにより、後述するような各種処理を実現できる。
【００４４】
次に、図４を参照して本実施形態の端末装置５００のハードウェア構成について説明する。図４は、端末装置のハードウェア構成の一例を示す図である。
【００４５】
本実施形態の端末装置５００は、一般の情報処理装置であり、それぞれバスＢ２で相互に接続されている入力装置５１、出力装置５２、ドライブ装置５３、補助記憶装置５４、メモリ装置５５、演算処理装置５６、インターフェース装置５７及び集音装置５８を有する。
【００４６】
入力装置５１は、例えばマウスやキーボードであり、各種の情報を入力するために用いられる。出力装置５２は、例えばディスプレイ等であり、各種信号の表示（出力）に用いられる。インターフェース装置５７は、モデム，ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。
【００４７】
集音装置５８は、例えばマイクロフォン（マイク）等であり、端末装置５００の周囲の音を集音する。
【００４８】
情報処理プログラムは、端末装置５００を制御する各種プログラムの少なくとも一部である。情報処理プログラムは例えば記録媒体５９の配布やネットワークからのダウンロードなどによって提供される。情報処理プログラムを記録した記録媒体５９は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００４９】
また、情報処理プログラムを記録した記録媒体５９がドライブ装置５３にセットされると、情報処理プログラムは記録媒体５９からドライブ装置５３を介して補助記憶装置５４にインストールされる。ネットワークからダウンロードされた通信プログラムは、インターフェース装置５７を介して補助記憶装置５４にインストールされる。
【００５０】
補助記憶装置５４は、インストールされた情報処理プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置５５は、コンピュータの起動時に補助記憶装置５４から言語処理プログラムを読み出して格納する。
【００５１】
そして、演算処理装置５６はメモリ装置５５に格納された各プログラムに従って、後述するような各種処理を実現している。
【００５２】
次に、図５を参照して、情報処理システム１００の有する各装置の機能について説明する。図５は、第一の実施形態の情報処理システムの有する各装置の機能を説明する図である。はじめに、会議支援サーバ２００の機能について説明する。
【００５３】
本実施形態の会議支援サーバ２００は、会議管理情報データベース２１０、会議情報データベース２２０、会議登録部２３０、会議管理部２４０、会議情報収集部２５０、会議情報分析部２６０、変換要求部２７０を有する。
【００５４】
会議管理情報データベース２１０は、ユーザにより開催される会議を管理するための会議管理情報が格納される。会議情報データベース２２０は、会議毎の会議情報が格納される。各データベースの詳細は後述する。
【００５５】
会議登録部２３０は、開催される会議に応じた新規登録の要求をユーザから受け付けると、新たに会議ＩＤを発行し、その会議を管理する会議管理情報を、会議管理情報データベース２１０へ登録する。
【００５６】
会議管理部２４０は、開催される会議及び開催される会議を管理する。具体的には、会議管理部２４０は、例えば会議管理情報データベース２１０に会議管理情報が格納されている会議の開催要求に合わせて、会議情報収集部２５０に会議情報の収集を開始させたりする。
【００５７】
会議情報収集部２５０は、会議に参加する装置（電子黒板４００や端末装置５００など）により入力された会議情報を収集する。会議情報の収集の詳細は後述する。
【００５８】
会議情報分析部２６０は、会議情報に含まれる画面描画データによって描画される画像に含まれる文字を、テキストデータに変換する。会議情報分析部２６０の詳細は後述する。
【００５９】
変換要求部２７０は、言語処理装置３００に対して、会議情報に含まれる音声データのテキストデータへの変換要求を行う。
【００６０】
本実施形態の変換要求部２７０は、例えば会議情報分析部２６０から、音声データの変換指示を受けて、会議情報データベース２２０に格納された音声データの変換要求を言語処理装置３００へ送信しても良い。
【００６１】
また、本実施形態の変換要求部２７０は、例えば会議情報収集部２５０が会議情報として音声データを取得すると、取得した音声データ及び取得元の装置を識別する端末ＩＤを変換要求と共に言語処理装置３００へ送信しても良い。
【００６２】
次に、言語処理装置３００について説明する。
【００６３】
本実施形態の言語処理装置３００は、音声変換部３１０を有する。本実施形態の言語処理装置３００は、例えば人工知能を有している。本実施形態の音声変換部３１０は、各辞書データベースを参照し、音声データをテキスト（文字）データへ変換（翻訳）する。本実施形態の音声変換部３１０は、音声データからテキストデータへの変換を行う度に、入力と出力の関係を学習し、変換の精度を高めて行く機能を有しているものとした。
【００６４】
次に、本実施形態の電子黒板４００と端末装置５００について説明する。本実施形態の電子黒板４００は、会議支援処理部４１０、表示制御部４２０、制御部４３０、操作制御部４４０、音声データ取得部４５０、画面描画データ取得部４６０を有する。
【００６５】
会議支援処理部４１０は、会議を支援するための各種の処理を行う。具体的には、例えば、会議支援サーバ２００にアクセスし、会議管理情報データベース２１０に登録されている会議リストを取得し、取得した会議リストから何れの会議に参加するかをユーザに指定させるための入力画面を表示制御部４２０に表示させる。また、会議支援処理部４１０は、電子黒板４００の画面に対して手入力された内容の画像データを会議支援サーバ２００へ送信したりする。
【００６６】
表示制御部４２０は、電子黒板４００における画面表示を制御する。制御部４３０は、電子黒板４００の全体的な動作を制御する。操作制御部４４０は、電子黒板４００の有する操作部材に対する操作を受け付ける。音声データ取得部４５０は、電子黒板４００に備え付けられた集音装置４９が収集する音声データを取得し、保持する。
【００６７】
画面描画データ取得部４６０は、電子黒板４００の有するタッチパネルに対して手書き入力された情報を取得し、画面描画データとする。
【００６８】
本実施形態では、タッチパネルに対し、ユーザの指やポインティングデバイス等が接触してから非接触となるまでの軌跡を１ストロークとする。１ストロークは、複数の点により表される。本実施形態の画面描画データ取得部４６０は、ストロークを示す複数の点の座標情報を、ストローク毎にストローク情報として保持する。
【００６９】
電子黒板４００に入力される文字や画像は、複数のストロークにより描かれる。よって本実施形態では、画面描画データとして、文字や画像を示す複数のストローク毎のストローク情報を取得する。また、本実施形態では、画面描画データとして、ストローク情報を取得した時刻を示す情報も含むものとする。本実施形態の画面描画データの取得の詳細は後述する。
【００７０】
本実施形態の端末装置５００は、表示制御部５１０と、操作制御部５２０、音声データ取得部５３０とを有する。表示制御部５１０は、端末装置５００の表示部における表示を制御する。操作制御部５２０は、端末装置５００に対して行われた操作と対応する処理を行う。音声データ取得部５３０は、端末装置５００が有する集音装置５８が収集した音声データを取得し、保持する。
【００７１】
次に、本実施形態の会議支援サーバ２００と、言語処理装置３００と、が有する各データベースについて説明する。
【００７２】
図６は、会議管理情報データベースの一例を示す図である。
【００７３】
本実施形態の会議管理情報データベース２１０は、情報の項目として、会議ＩＤを入力する項目と、会議名を入力する項目と、その会議ＩＤの会議に参加した電子黒板４００や端末装置５００の端末ＩＤを入力する項目とを有し、これらは対応付けられている。以下の説明では、会議管理情報データベース２１０において、項目「会議ＩＤ」の値と、項目「会議名」の値と、項目「端末ＩＤ」の値とを含む情報を、会議管理情報と呼ぶ。
【００７４】
項目「会議ＩＤ」の値は、ユーザからの登録要求に応じて登録された会議を識別するための識別子を示す。項目「会議名」の値は、会議の名称を示す。項目「会議ＩＤ」と項目「会議名」の値は、例えば会議の進行役となる参加者の端末装置５００により、会議が開催されるより前に入力されて良い。
【００７５】
項目「端末ＩＤ」の値は、項目「会議ＩＤ」の値により特定される会議に参加している参加者が利用している端末装置５００の端末ＩＤを示す。
【００７６】
端末ＩＤは、端末装置５００からインターネット等を利用して会議支援サーバ２００にアクセスし、登録された会議のうち未開催の会議の会議リストから、ユーザが参加する会議を選択し参加を指示する操作をすることで、会議支援サーバ２００により登録される。
【００７７】
より詳細には、ユーザによる参加を指示する操作に応じて、端末装置５００が端末ＩＤと共に会議の参加要求を会議支援サーバ２００に送信する。会議支援サーバ２００は、会議登録部２３０により、会議管理情報データベース２１０に、選択された会議の会議ＩＤに対応付けて参加要求と共に送信された端末ＩＤを登録する。
【００７８】
図６の例では、会議ＩＤ「００１」の会議の会議名は「マーケット戦略」であり、この会議には、端末ＩＤ「０１」、「０２」、「０３」、「０５」の端末装置５００の利用者が参加していることがわかる。つまり、本実施形態では、端末ＩＤは、端末装置５００を使用しながら会議に参加している利用者を特定する情報となる。
【００７９】
図７は、会議情報データベースの一例を示す図である。本実施形態の会議情報データベース２２０は、情報の項目として、会議ＩＤ、端末ＩＤ、音声データ、画面描画データを含み、項目「会議ＩＤ」と、その他の項目とが対応付けられている。以下の説明では、会議情報データベースにおいて、項目「会議ＩＤ」の値と、その他の項目の値とを含む情報を会議情報と呼ぶ。
【００８０】
項目「音声データ」の値は、項目「端末ＩＤ」の値が特定する端末装置５００の集音装置５８等により取得された音声データを示す。尚、音声データには、音声を取得した時刻を示す時刻情報も含まれるものとした。
項目「画面描画データ」の値は、例えば、ユーザの入力操作に応じて操作制御部４４０が表示画面に対し描画処理を行ったタイミングで電子黒板４００から送信された、電子黒板４００に描画された内容を記憶した画像データを示す。本実施形態の画面描画データには、電子黒板４００において情報が描画された時刻を示す時刻情報が含まれるものとした。
【００８１】
図７の例では、会議ＩＤ「００２」と、会議ＩＤ「００２」の会議において、端末ＩＤ「０１」の端末装置５００が取得した音声データ１、端末ＩＤ「０２」の端末装置５００が取得した音声データ２、端末ＩＤ「０３」の端末装置５００が取得した音声データ３、端末ＩＤ「０４」の端末装置５００が取得した音声データ４とが対応付けられている。
【００８２】
また、図７の例では、会議ＩＤ「００２」と、会議ＩＤ「００２」の会議において、端末ＩＤ「０５」の電子黒板４００が取得した音声データ５と、電子黒板４００が取得した画面描画データ１、２、３が対応付けられている。
【００８３】
この会議情報によれば、会議ＩＤ「００２」の会議において、端末ＩＤ「０１」〜「０５」の端末装置５００の利用者が発言した内容と、そのとき電子黒板４００に描画されていた内容と、がわかる。
【００８４】
次に、図８を参照して本実施形態の会議支援サーバ２００の会議情報収集部２５０による会議情報の収集について説明する。図８は、会議情報の収集の仕方を説明する図である。
【００８５】
図８では、ユーザＡ、Ｂ、Ｃ、Ｄ、Ｘが会議に参加しており、ユーザＡは端末ＩＤ「０１」の端末装置５００−１を利用し、ユーザＢは端末ＩＤ「０２」の端末装置５００−２を利用し、ユーザＣは端末ＩＤ「０３」の端末装置５００−３を利用し、ユーザＤは端末ＩＤ「０４」の端末装置５００−４を利用している。また、図８の例では、ユーザＸが会議の進行役を担っており、電子黒板４００を利用している。
【００８６】
ここで、本実施形態では、各参加者が利用する装置の端末ＩＤが、各ユーザのユーザＩＤと同義の情報として扱われていても良い。この場合には、各ユーザは、会議に参加する前に、各ユーザが利用する装置において、参加する予定の会議の会議ＩＤと、自身の利用する装置の端末ＩＤとを入力しても良い。
【００８７】
各ユーザが利用する端末装置５００、電子黒板４００は、入力された会議ＩＤを会議支援サーバ２００へ送信する。会議支援サーバ２００は、送信された情報に基づき、会議ＩＤと、各参加者が利用する装置の端末ＩＤとを対応付けた会議管理情報を生成し、会議管理情報データベース２１０に格納する。
【００８８】
本実施形態では、この手順により、会議支援サーバ２００において、各ユーザの音声データ等を含む会議情報を収集する準備が完了したことになる。
【００８９】
本実施形態では、音声データは、会議の各参加者が利用している端末装置５００の端末ＩＤと対応付けられて会議支援サーバ２００に送信される。
【００９０】
例えば、端末装置５００−１を利用しているユーザＡの発話は、端末装置５００−１の集音装置５８によって音声データとして収集され、端末装置５００−１の端末ＩＤと対応付けられて会議支援サーバ２００に送信される。
【００９１】
また、例えば、端末装置５００−３を利用しているユーザＣの発話は、端末装置５００−３の集音装置５８によって音声データとして収集され、端末装置５００−３の端末ＩＤと対応付けられて会議支援サーバ２００に送信される。言い換えれば、端末装置５００−３の集音装置５８によって収集された音声データは、端末装置５００−３のユーザのユーザ情報（端末ＩＤ）と対応付けられて会議支援サーバ２００へ送信される。
【００９２】
また、本実施形態では、会議の進行役を担っているユーザが電子黒板４００の利用者となる。図８の例では、電子黒板４００の端末ＩＤは、「０５」であり、電子黒板４００の利用者は、ユーザＸである。よって、ユーザＸの発話は、電子黒板４００の集音装置４９によって、音声データとして収集され、端末ＩＤ「０５」と対応付けられて会議支援サーバ２００へ送信される。言い換えれば、電子黒板４００の集音装置４９によって収集された音声データは、電子黒板４００のユーザのユーザ情報と対応付けられて会議支援サーバ２００へ送信される。
【００９３】
また、電子黒板４００では、ユーザＸ等によってディスプレイに手書き入力された文字や画像を、画面描画データとして記憶し、電子黒板４００の端末ＩＤと対応付けて会議支援サーバ２００へ送信する。
【００９４】
会議支援サーバ２００では、端末装置５００や電子黒板４００から送信される音声データや、電子黒板４００から送信される画面描画データに、各データと対応付いた端末ＩＤと子も付いた会議ＩＤを付与し、会議情報として会議情報データベース２２０へ格納する。
【００９５】
ここで、図９を参照して本実施形態の画面描画データの収集について説明する。図９は、画面描画データの収集の仕方を説明する図である。
【００９６】
図９の例では、画像Ｇ１と対応する画面描画データ１と、画像Ｇ２と対応する画面描画データ２と、画像Ｇ３と対応する画面描画データ３と、を取得する場合を示している。
【００９７】
本実施形態では、人が文字や文章を入力する場合には、一画書き終わったら、すぐに次の一画（１ストローク）を書くため、一画と一画の間の時間が短くなる、という点に着目している。
【００９８】
上記の点に着目し、本実施形態の画面描画データ取得部４６０では、ユーザの指又はポインタデバイス等が電子黒板４００のタッチパネルから離れた時から、次のストロークの入力が開始されるまでの時間が、所定期間以上となったとき、ストロークの入力が完了されたものと判定する。
【００９９】
言い換えれば、画面描画データ取得部４６０は、電子黒板４００のタッチパネルに対する接触が検知され、その接触が検知されなくなってから、次に接触が検知されるまでの時間が、所定時間以上となった場合に、文字の入力が完了されたものと判定する。
【０１００】
そして、画面描画データ取得部４６０は、タッチパネルに対する接触を検出してから、ストロークの入力が完了したものと判定されるまでに入力されたストローク情報を、画面描画データとして、取得する。
【０１０１】
例えば、図９の例では、時刻Ｔ１１において、電子黒板４００のタッチパネルに対する接触が検知され、時刻Ｔ１２までの間、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間は所定期間未満である。そして、時刻Ｔ１２において、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間が所定期間以上となった。
【０１０２】
この場合、電子黒板４００のユーザは、時刻Ｔ１１から時刻Ｔ１２までの期間Ｎ１の間に、ユーザが１つのかたまりと考えている情報について、手書き入力を行ったと言える。
【０１０３】
よって、本実施形態の画面描画データ取得部４６０は、期間Ｎ１において入力されたストローク情報と、情報の入力が開始された時刻Ｔ１１とを対応付けて、画面描画データ１とし、会議支援サーバ２００へ送信する。
【０１０４】
次に、電子黒板４００では、時刻Ｔ１３において、再度タッチパネルに対する接触が検知され、時刻Ｔ１４において、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間が所定期間以上となった。
【０１０５】
よって、画面描画データ取得部４６０は、時刻Ｔ１３から時刻Ｔ１４までの期間Ｎ２において入力されたストローク情報を取得する。そして、画面描画データ取得部４６０は、画面描画データ１として取得したストローク情報と、期間Ｎ２において取得したストローク情報とを、時刻Ｔ１３と対応付けて、画面描画データ２とし、会議支援サーバ２００へ送信する。
【０１０６】
このように、本実施形態では、１つ前の画面描画データ１として取得されたストローク情報を、新たに取得されたストローク情報と共に画面描画データ２として保持する。よって、本実施形態によれば、画面描画データ２を電子黒板４００に表示させれば、時刻Ｔ１４においてタッチパネル上に描画された画像Ｇ２を描画することができる。
【０１０７】
次に、電子黒板４００では、時刻Ｔ１５において、再度タッチパネルに対する接触が検知され、時刻Ｔ１６において、タッチパネルに対する接触が検知されなくなってから、次の接触が検知されるまでの時間が所定期間以上となった。
【０１０８】
よって、画面描画データ取得部４６０は、時刻Ｔ１５から時刻Ｔ１６までの期間Ｎ３において入力されたストローク情報と、画面描画データ２として取得したストローク情報と、時刻Ｔ１５を、画面描画データ３として取得し、会議支援サーバ２００へ送信する。
【０１０９】
よって、本実施形態によれば、画面描画データ３を電子黒板４００に表示させれば、時刻Ｔ１６おいてタッチパネル上に描画された画像Ｇ３を描画することができる。
【０１１０】
以下に、図１０を参照して本実施形態の画面描画データ取得部４６０による処理を説明する。図１０は、画面描画データ取得部の処理を説明するフローチャートである。
【０１１１】
本実施形態の画面描画データ取得部４６０は、手書き入力を受け付けたか否かを判定する（ステップＳ１００１）。言い換えれば、画面描画データ取得部４６０は、電子黒板４００のタッチパネルに対する接触を検知したか否かを判定する。
【０１１２】
ステップＳ１００１において、手書き入力を受け付けない場合、画面描画データ取得部４６０は、受け付けるまで待機する。
【０１１３】
ステップＳ１００１において、手書き入力を受け付けると、画面描画データ取得部４６０は、ストローク情報の取得を開始する（ステップＳ１００２）。
【０１１４】
続いて、画面描画データ取得部４６０は、ストローク情報が入力されていない時間が、所定期間以上となったか否かを判定する（ステップＳ１００３）。言い換えれば、画面描画データ取得部４６０は、タッチパネルに対して接触がなくなってから所定期間以上が経過したか否かを判定している。
【０１１５】
ステップＳ１００３において、所定期間以上でない場合、画面描画データ取得部４６０
は、ストローク情報の取得を継続する。
【０１１６】
ステップＳ１００３において、所定期間以上である場合、画面描画データ取得部４６０は、取得したストローク情報を、直前に取得した画面描画データに含まれるストローク情報と、ステップＳ１００２でストローク情報の取得を開始した時刻とを対応付けて画面描画データとする（ステップＳ１００４）。
【０１１７】
続いて、画面描画データ取得部４６０は、画面描画データを会議支援サーバ２００へ送信する（ステップＳ１００５）。このとき、画面描画データ取得部４６０は、画面描画データと共に、会議ＩＤと端末ＩＤとを会議支援サーバ２００へ送信する。
【０１１８】
続いて、画面描画データ取得部４６０は、電子黒板４００の電源オフの指示を受け付けたか否かを判定する（ステップＳ１００６）。ステップＳ１００６において、電源オフの指示を受け付けていない場合、画面描画データ取得部４６０は、ステップＳ１００１へ戻る。
【０１１９】
ステップＳ１００６において、電源オフの指示を受け付けると、画面描画データ取得部４６０は、と処理を終了する。
【０１２０】
図１１は、画面描画データにより描画される画像の例を示す図である。図１１（Ａ）は、画面描画データ１により描画される画像Ｇ１を示す。図１１（Ｂ）は、画面描画データ２により描画される画像Ｇ２を示す。図１１（Ｃ）は、画面描画データ３により描画される画像Ｇ３を示す。
【０１２１】
画像Ｇ１では、期間Ｎ１において取得されたストローク情報が示す画像１１１が表示されている。画像Ｇ２では、画像１１１に加え、期間Ｎ２において取得されたストローク情報が示す画像１１２が表示されている。画像Ｇ３では、画像１１１、１１２に加え、期間Ｎ３において取得されたストローク情報が示す画像１１３が表示されている。
【０１２２】
このように、本実施形態では、電子黒板４００に、１つのかたまりとしての情報が書き込まれる毎に、画面描画データとして保存することができる。よって、本実施形態によれば、例えば文章の途中の画像や、文字を書いている途中の画像等、情報としての価値が高いとは言い難い画像データが保存されることを抑制できる。
【０１２３】
尚、所定期間は、例えば会議に参加するユーザの板書の速度等に応じて、任意に設定されて良い。
【０１２４】
本実施形態では、以上のようにして、会議ＩＤ毎の画面描画データが収集される。
【０１２５】
次に、図１２を参照して、本実施形態の会議情報分析部２６０について説明する。図１２は、会議情報分析部の機能を説明する図である。
【０１２６】
本実施形態の会議情報分析部２６０は、発話者特定部２６１、音声データ抽出部２６２、変換指示部２６３、テキスト取得部２６４、分析対象特定部２６５、単語抽出部２６６、単語選択部２６７、ストローク情報照合部２６８、テキストデータ生成部２６９、出力部２７１を有する。
【０１２７】
本実施形態の会議情報分析部２６０は、会議情報に含まれる画面描画データに含まれる文字を、画面描画データが取得された時刻の前後に収集された音声データに基づき、テキストデータへ変換する。
【０１２８】
会議等では、議事進行役のユーザＸは、他の参加者の発言の内容や、議題、議論の要点等を電子黒板４００に書き留めて、会議の参加者との情報共有を試みることが想定される。そのため、電子黒板４００に書き留められた文章（文字）は、電子黒板４００に対して書き込みを開始した時刻の前後において、発言された内容と近い内容となることが想定される。
【０１２９】
本実施形態では、この点に着目し、画面描画データに含まれる時刻の前後の音声データをテキストデータに変換し、このテキストデータと、画面描画データに含まれるストローク情報とを照合しながら、ストローク情報によって示される文字をテキストデータに変換する。
【０１３０】
発話者特定部２６１は、会議ＩＤが示す会議の会議情報に含まれる音声データに基づき、画面描画データに含まれる時刻の前後における発話者を特定する。
【０１３１】
音声データ抽出部２６２は、会議ＩＤが示す会議の会議情報から、発話者特定部２６１が特定した発話者の、画面描画データに含まれる時刻の前後における音声データを抽出する。
【０１３２】
変換指示部２６３は、音声データ抽出部２６２により抽出された音声データを、テキストデータへの変換指示と共に、変換要求部２７０へ渡す。変換要求部２７０は、音声データと変換要求を言語処理装置３００へ送信し、言語処理装置３００から、テキストデータを受信する。
【０１３３】
テキスト取得部２６４は、変換要求部２７０が受信したテキストデータを取得する。
【０１３４】
分析対象特定部２６５は、テキスト取得部２６４が取得したテキストデータのうち、分析の対象となるテキストデータを特定する。テキストデータの特定の仕方の詳細は後述する。
【０１３５】
単語抽出部２６６は、分析対象として特定されたテキストデータから、単語を抽出する。ここで、単語抽出部２６６は、例えば、テキストデータに対して形態素解析等を行い、形態素の列に分割し、この形態素を単語として抽出しても良い。形態素とは、言語で意味を持つ最小の単位を示す。
【０１３６】
単語選択部２６７は、単語抽出部２６６により抽出された単語から、ストローク情報と照合される単語を選択する。
【０１３７】
ストローク情報照合部２６８は、選択された単語に含まれる文字の形状と、画面描画データに含まれるストローク情報によって示される形状とを照合し、手書き入力された文字と、テキストデータから抽出された文字とが同じ文字であるか否かを判定する。
【０１３８】
テキストデータ生成部２６９は、ストローク情報照合部２６８による照合により、ストローク情報と各文字が一致すると判定された単語を含むテキストデータを生成する。
【０１３９】
出力部２７１は、テキストデータ生成部２６９が生成したテキストデータを電子黒板４００へ出力する。
【０１４０】
以下に、図１３及び図１４を参照して、本実施形態の会議情報分析部２６０の処理について説明する。
【０１４１】
図１３は、会議情報分析部の処理を説明する第一のフローチャートである。
【０１４２】
本実施形態の会議情報分析部２６０は、画面描画データのテキストデータへの変換指示を受けると、会議情報データベース２２０から、画面描画データを取得する（ステップＳ１３０１）。
【０１４３】
このとき、会議情報分析部２６０は、例えば会議情報収集部２５０により、画面描画データと会議ＩＤと端末ＩＤとが会議情報データベース２２０に格納されたとき、変換指示を受けたものとしても良い。また、会議情報分析部２６０は、例えば会議ＩＤの指定を受けたとき、変換指示を受けたものとしても良い。その場合、会議情報分析部２６０は、会議情報データベース２２０に格納された会議情報から、指定された会議ＩＤと対応する画面描画データを取得しても良い。
【０１４４】
続いて、会議情報分析部２６０は、発話者特定部２６１により、画面描画データから、時刻を示す情報を抽出する（ステップＳ１３０２）。
【０１４５】
続いて、会議情報分析部２６０は、発話者特定部２６１により、会議情報に含まれる音声データから、画面描画データから抽出された時刻を中心とした所定時間の音声データを取得し、所定時間内の発話者を特定する（ステップＳ１３０３）。発話者特定部２６１の処理の詳細は後述する。尚、本実施形態では、所定時間は、画面描画データから抽出された時刻を中心とした所定時間としたが、これに限定されない。画面描画データから抽出された時刻は、所定時間に含まれていれば良く、所定時間の中心でなくても良い。
【０１４６】
続いて、会議情報分析部２６０は、音声データ抽出部２６２により、特定された発話者の音声データのうち、所定時間における音声データを抽出し、変換指示部２６３により、抽出した音声データと、テキストデータへの変換指示を変換要求部２７０へ渡す（ステップＳ１３０４）。
【０１４７】
続いて、会議情報分析部２６０は、テキスト取得部２６４により、変換要求部２７０が言語処理装置３００から受信したテキストデータ（第一のテキストデータ）を取得する（ステップＳ１３０５）。
【０１４８】
続いて、会議情報分析部２６０は、テキストデータとストローク情報とを照合して、画面描画データ内の文字をテキストデータ（第二のテキストデータ）に変換する（ステップＳ１３０６）。ステップＳ１３０６の処理の詳細は後述する。
【０１４９】
続いて、会議情報分析部２６０は、出力部２７１により、テキストデータを電子黒板４００へ出力する（ステップＳ１３０７）。
【０１５０】
次に、図１４を参照して、図１３のステップＳ１３０６の処理について説明する。図１４は、会議情報分析部の処理を説明する第二のフローチャートである。
【０１５１】
会議情報分析部２６０は、分析対象特定部２６５により、ステップ１３０５で取得したテキストデータにおいて、ステップＳ１３０２で抽出した時刻情報が示す時刻と最も近い時刻に収集された音声データに基づくテキストデータを特定する（ステップＳ１４０１）。
【０１５２】
続いて、会議情報分析部２６０は、単語抽出部２６６により、特定したテキストデータに対して、形態素解析等を行い、形態素を単語として抽出し、単語選択部２６７により、抽出された単語のうち、最初の単語を選択する（ステップＳ１４０２）。
【０１５３】
続いて、会議情報分析部２６０は、ストローク情報照合部２６８により、ステップＳ１３０１で取得した画面描画データに含まれるストローク情報を参照する（ステップＳ１４０３）。次に、ストローク情報照合部２６８は、ストローク情報と、選択された単語とを照合し、選択された単語が示す文字列が、ストローク情報の一部と一致するか否かを判定する（ステップＳ１４０４）。
【０１５４】
具体的には、ストローク情報照合部２６８は、ストローク情報を公知の手書き文字認識技術等によりテキスト化し、テキスト化した結果の文字列と、選択された単語とを照合し、一致しているか否かを判定しても良い。また、ストローク情報照合部２６８は、ストローク情報により描かれるストロークの形状と、抽出された単語が示す文字列とを比較し、類似度が所定の値以上となった場合に、両者が一致していると判定しても良い。
【０１５５】
ステップＳ１４０４において、両者が一致していないと判定された場合、会議情報分析部２６０は、後述するステップＳ１４０６へ進む。
【０１５６】
ステップＳ１４０４において、両者が一致していると判定された場合、会議情報分析部２６０は、テキストデータ生成部２６９は、選択した単語を取得して保持する（ステップＳ１４０５）。
【０１５７】
続いて、会議情報分析部２６０は、抽出した全ての単語について処理をしたか否かを判定する（ステップＳ１４０６）。
【０１５８】
ステップＳ１４０６において全ての単語について処理していない場合、会議情報分析
部２６０は、ストローク情報照合部２６８は、ストローク情報において、次の照合位置を決定する（ステップＳ１４０７）。
【０１５９】
具体的には、例えばステップＳ１４０４において照合したストローク情報が単語と一致すると判定された場合、ストローク情報照合部２６８は、ストローク情報が示すストロークのうち、照合済みのストロークの次のストロークを次の照合位置に決定する。また、ステップＳ１４０４において照合したストローク情報が単語と一致すると判定された場合、ストローク情報照合部２６８は、ストローク情報のうち、前回照合したストロークと同じストロークを次の照合位置に決定する。
【０１６０】
続いて、会議情報分析部２６０は、単語選択部２６７により、単語抽出部２６６が抽出した単語のうち、次の単語を選択し（ステップＳ１４０８）、ステップＳ１４０３へ戻る。
【０１６１】
ステップＳ１４０６において、全ての単語について処理した場合、テキストデータ生成部２６９は、画面描画データに含まれるストローク情報全てについて照合したか否かを判定する（ステップＳ１４０９）。
【０１６２】
ステップＳ１４０９において、ストローク情報全てについて照合していない場合、会議情報分析部２６０は、分析対象特定部２６５により、画面描画データから抽出した時刻情報が示す時刻から次に近い時刻に収集された音声データと対応するテキストデータを特定し（ステップＳ１４１０）、ステップＳ１４０２へ戻る。
【０１６３】
ステップＳ１４０９において、ストローク情報全てについて照合した場合、会議情報分析部２６０は、テキストデータ生成部２６９により、保持している単語をつなげて、テキストデータを生成し（ステップＳ１４１１）、処理を終了する。
【０１６４】
本実施形態の
以下に、図１５乃至図１７を参照し、会議情報分析部２６０の処理を具体的に説明する。はじめに、図１５を参照して、会議情報分析部２６０の発話者特定部２６１の処理を説明する。
【０１６５】
図１５は、発話者特定部の処理を説明する図である。
【０１６６】
本実施形態の発話者特定部２６１は、画面描画データに含まれる時刻情報が示す時刻において、最も音量が大きい音声データを収集した端末装置５００のユーザを、その時刻の発話者に特定する。
【０１６７】
図１５の例では、ある時刻において、端末装置５００−１から収集された音声データと、端末装置５００−３から収集された音声データが存在したとする。この場合、端末装置５００−１において収集された音声データの音量の方が、端末装置５００−３において収集された音声データの音量よりも大きい。
【０１６８】
よって、発話者特定部２６１は、この時刻において、最も音量が大きい音声データを収集した端末装置５００−１のユーザを、この時刻における発話者に特定する。
【０１６９】
また、本実施形態の端末装置５００では、例えば端末装置５００が収集した複数のユーザの音声データのうち、最も音量が大きい音声データを端末装置５００のユーザの音声データとする。
【０１７０】
次に、図１６を参照して、会議情報分析部２６０によるストローク情報と単語との照合について説明する。図１６は、ストローク情報と単語との照合を説明する図である。
【０１７１】
図１６の例では、画像Ｇ２と対応する画面描画データ２に含まれるストローク情報をテキストデータに変換する場合の例を示している。
【０１７２】
この場合、会議情報分析部２６０は発話者特定部２６１により、画面描画データ２から、時刻Ｔ１３を示す時刻情報を抽出し、音声データ抽出部２６２により、時刻Ｔ１３を中心とした所定時間Ｋの間に収集された音声データを抽出する。
【０１７３】
ここで、所定時間Ｋは、予め会議支援サーバ２００の管理者等により設定されていても良い。
【０１７４】
図１６の例では、所定時間Ｋにおいて抽出された音声データは、音声データＳｐ１〜Ｓｐ４とした（図９参照）。音声データＳｐ１は、電子黒板４００により、時刻Ｔ１において収集されたデータのうち、最も音量が大きい音声データである。最も音量が大きい音声データは、電子黒板４００と一番近い位置にいる参加者の発話である可能性が高い。よって、本実施形態では、音声データＳｐ１の発話者はユーザＸとされる。
【０１７５】
音声データＳｐ２は、時刻Ｔ２において収集されたデータのうち、最も音量が大きい音声データである。端末装置５００−２により、時刻Ｔ２において収集されたデータのうち、最も音量が大きい音声データである。よって音声データＳｐ２の発話者は、端末装置５００−２と一番近い位置にいるユーザＢとされる。
【０１７６】
同様に、音声データＳｐ３は、時刻Ｔ３において収集されたデータのうち、最も音量が大きい音声データであり、音声データＳｐ３の発話者は、電子黒板４００と一番近い位置にいるユーザＸとされる。音声データＳｐ４は、時刻Ｔ４において収集されたデータのうち、最も音量が大きい音声データであり、音声データＳｐ４の発話者は、端末装置５００−１と一番近い位置にいるユーザＡとされる。
【０１７７】
続いて、音声データＳｐ１〜Ｓｐ４は、テキストデータへの変換要求と共に言語処理装置３００へ送信される。
【０１７８】
会議情報分析部２６０は、言語処理装置３００によりテキストデータを取得する。図１６の例では、音声データＳｐ１をテキストへ変換した結果が、テキストデータＴｘ１であり、音声データＳｐ２をテキストへ変換した結果が、テキストデータＴｘ２である。また、音声データＳｐ３をテキストへ変換した結果が、テキストデータＴｘ３であり、音声データＳｐ４をテキストへ変換した結果が、テキストデータＴｘ４である。
【０１７９】
図１６の例では、画面描画データ２から取得した時刻Ｔ１３と最も近い時刻に収集された音声データと対応するテキストデータとして、テキストデータＴｘ３を特定する。
【０１８０】
テキストデータＴｘ３からは、「サイド」という単語１６１、「タイムライン」という単語１６２、「時間」という単語１６３、「表示」という単語１６４、「画面ログ」という単語１６５、「保存」という単語１６６等の単語が抽出される。
【０１８１】
よって、会議情報分析部２６０は、画面描画データ２におけるストローク情報により描画された画像１１２と、「サイド」とを照合する。
【０１８２】
このとき、単語１６１は３文字の文字列である。よって、会議情報分析部２６０では、画像１１２において、例えば手書き文字認識により、ストローク情報が示す最初の３文字を判別し、単語１６１と、ストローク情報が示す３文字とが一致するか否かを判定する。
【０１８３】
両者が一致する場合、会議情報分析部２６０は、単語１６１である「サイド」を、画像１１２として描画されている文字列に含まれるものとして、保持する。
【０１８４】
本実施形態の会議情報分析部２６０は、以上のようにして、単語１６２以降についても同様の処理を行う。
【０１８５】
図１６の例では、単語１６１〜１６６が全て画像１１２を示すストローク情報に含まれることがわかる。よって、テキストデータ生成部２６９は、単語１６１〜１６６に基づき、テキストデータ１７０を生成する。
【０１８６】
尚、このとき、テキストデータ生成部２６９は、例えばテキストデータＴｘ３を参照して、テキストデータ１７０を生成しても良い。具体的には、例えば、テキストデータＴｘ３では、単語１６１の「サイド」と単語１６２の「タイムライン」の間には、「に」という文字がある。よって、テキストデータ生成部２６９は、単語１６１の「サイド」と単語１６２の「タイムライン」の間に「に」を挿入すればよい。
【０１８７】
生成されたテキストデータ１７０は、図１６に示す画像Ｇ２Ａのように、画像１１２の近傍に表示されても良い。このとき、テキストデータ１７０は、例えば、画像１１１、１１２よりも輝度を下げた状態で表示されても良い。
【０１８８】
図１７は、電子黒板にテキストデータが表示された例を示す図である。本実施形態の電子黒板４００では、例えば、電子黒板４００を利用しているユーザＸにより、テキストデータ１７０が確定されると、画像Ｇ２−１に示すように、画像１１２をテキストデータ１７０に置き換えても良い。
【０１８９】
尚、電子黒板４００では、タッチパネルに画像Ｇ２を表示しておき、テキストデータ１７０が生成されると、画像Ｇ２−１を表示させても良い。
【０１９０】
また、本実施形態では、テキストデータ１７０に対して、手書きで文字を上書することで、テキストデータ１７０の内容を修正したり、変更したりできる。また、本実施形態では、画像Ｇ２−１上に、テキストデータ１７０を修正したり変更するためのソフトウェアキーボード等を表示させても良い。
【０１９１】
また、本実施形態では、例えばテキストデータ１７０が表示された画像Ｇ２−１に対して、テキストデータ１７０を確定させるための操作部品等を表示させても良い。そして、電子黒板４００は、この操作部品が操作されると、テキストデータ１７０を画面描画データ２と対応付けて会議支援サーバ２００へ送信しても良い。会議支援サーバ２００は、画面描画データ２と対応付けられたテキストデータを会議情報に含め、会議情報データベース２２０に格納しても良い。
【０１９２】
以上のように、本実施形態によれば、電子黒板４００に対して手書き入力された文字の識字を支援できる。
【０１９３】
本発明は、具体的に開示された実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０１９４】
１００  情報処理システム
２００  会議支援サーバ
２１０  会議管理情報データベース
２２０  会議情報データベース
２５０  会議情報収集部
２６０  会議情報分析部
２７０  変換要求部
３００  言語処理装置
３１０  音声変換部
４００  電子黒板
５００  端末装置
【先行技術文献】
【特許文献】
【０１９５】
【特許文献１】特開２０１５−０４１３７３号公報
【図１】
2018077707.tif 000003
【図２】
2018077707.tif 000004
【図３】
2018077707.tif 000005
【図４】
2018077707.tif 000006
【図５】
2018077707.tif 000007
【図６】
2018077707.tif 000008
【図７】
2018077707.tif 000009
【図８】
2018077707.tif 000010
【図９】
2018077707.tif 000011
【図１０】
2018077707.tif 000012
【図１１】
2018077707.tif 000013
【図１２】
2018077707.tif 000014
【図１３】
2018077707.tif 000015
【図１４】
2018077707.tif 000016
【図１５】
2018077707.tif 000017
【図１６】
2018077707.tif 000018
【図１７】
2018077707.tif 000019