(57)【要約】【課題】議事録等の内容を迅速にデータ化して複数のユーザ間で共有可能とする。【解決手段】電子黒板４等に記載された議事録に対して、所定のマークを付し、端末装置１の撮像部で撮像してサーバ装置２に送信する。サーバ装置２は、受信した撮像画像を解析することで、各文字等に付されているマークに基づいて、議題、日時、決定事項及び担当者等に議事録の内容を分類して記憶部に記憶する。そして、サーバ装置２は、端末装置１から送信要求を受信した際に、記憶部から議事録のデータを読み出して端末装置１に送信する。これにより、議事録の内容を迅速にデータ化して複数のユーザ間で共有可能とすることができる。【選択図】図１
2020021288.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に含まれる所定のマークを検出するマーク検出部と、
前記マークが付された文字を、前記マークに基づいて分類して認識する文字認識部と、
検出されたマーク及び認識された文字をそれぞれ関連付けし、分類して記憶部に記憶する記憶制御部と
を有する情報処理装置。
【請求項２】
前記記憶部に記憶された、少なくとも前記文字を外部機器に送信するように送信部を送信制御する送信制御部を、さらに備えること
を特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記マークは、前記文字に付す下線であり、前記文字の内容に応じた線種の前記下線が前記文字に付されること
を特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項４】
マーク検出部が、撮像画像に含まれる所定のマークを検出するマーク検出ステップと、
文字認識部が、前記マークが付された文字を、前記マークに基づいて分類して認識する文字認識ステップと、
記憶制御部が、検出されたマーク及び認識された文字をそれぞれ関連付けし、分類して記憶部に記憶する記憶制御ステップと
を有する情報処理方法。
【請求項５】
請求項１から請求項３のうち、いずれか一項に記載の情報処理装置を有すると共に、
前記撮像画像を撮像する撮像部と、
撮像された前記撮像画像を前記情報処理装置に送信し、前記情報処理装置から、前記記憶部に記憶された、少なくとも前記文字を受信する通信部と、
前記情報処理装置から受信した、少なくとも前記文字を表示する表示部と、を備えた外部機器を有すること
を特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及び情報処理システムに関する。
【背景技術】
【０００２】
今日において、電子黒板（ＩＷＢ）が知られている。この電子黒板は会議等に用いられ、議題、決定事項、担当者、日時等が書き込まれる。
【０００３】
特許文献１（特開２０１６−０２１１０９号公報）には、帳票に記載された手書き文字を認識し、認識結果を格納する帳票処理システムが開示されている。この帳票処理システムは、原本帳票を読み取った認識対象の手書き文字を認識し、認識結果を確認するために文字コードに対応するイメージパターンが印刷された確認用帳票と、認識結果を訂正するための訂正用帳票とを印刷し、確認用帳票は認識結果の一致率の低い文字については強調表示して印刷を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、会議又は打ち合わせ後に行われる作業として、議題、結論、アクションアイテムをまとめ、さらに電子黒板を撮像し、写真と共に保存するという作業が行われる。しかし、このような作業は手間と労力を要し、会議結果の共有が遅くなるという問題がある。
【０００５】
本発明は、上述の課題に鑑みてなされたものであり、電子黒板等の記載内容を迅速にデータ化して共有可能とすることができるような情報処理装置、情報処理方法及び情報処理システムの提供を目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、撮像画像に含まれる所定のマークを検出するマーク検出部と、マークが付された文字を、マークに基づいて分類して認識する文字認識部と、検出されたマーク及び認識された文字をそれぞれ関連付けし、分類して記憶部に記憶する記憶制御部とを有する。
【発明の効果】
【０００７】
本発明によれば、電子黒板等の記載内容を迅速にデータ化して共有可能とすることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施の形態の自動議事録システムのシステム構成を示す図である。
【図２】図２は、端末装置のハードウェア構成を示す図である。
【図３】図３は、サーバ装置のハードウェア構成を示す図である。
【図４】図４は、サーバ装置のＣＰＵが記載解析プログラムを実行することで実現される各機能の機能ブロック図である。
【図５】図５は、マークアップ処理用のマークの一例を示す図である。
【図６】図６は、このようなマークが付された議事録の一例を示す図である。
【図７】図７は、サーバ装置における記載内容の解析処理の流れを示すフローチャートである。
【図８】図８は、各テーブルに記憶されたデータの一例を示す図である。
【図９】図９は、第２の実施の形態の自動議事録システムのシステム構成図である。
【発明を実施するための形態】
【０００９】
以下、情報処理装置、情報処理方法及び情報処理システムを適用した実施の形態となる自動議事録システムの説明をする。
【００１０】
（システム構成）
図１は、実施の形態の自動議事録システムのシステム構成を示す図である。この図１に示すように、実施の形態の自動議事録システムは、端末装置１及びサーバ装置２を、ネットワーク３を介して相互に接続することで構成されている。端末装置１としては、カメラ機能付きのスマートフォン、カメラ付きのタブレット端末装置、又は、カメラ付きのパーソナルコンピュータ装置等を用いることができる。後述するが、このような自動議事録システムは、例えば電子黒板４を、端末装置１のカメラ機能で撮像すると、この撮像画像に基づいて、電子黒板４に記載された記載内容を自動的に認識してデータ化し、サーバ装置２に保存するようになっている。
【００１１】
（端末装置のハードウェア構成）
図２は、端末装置１のハードウェア構成を示す図である。この図２に示すように、端末装置１は、ＣＰＵ（Central  Processing  Unit）１１、ＲＯＭ（Read  Only  Memory）１２、ＲＡＭ（Random  Access  Memory）１３、通信部１４、撮像部１５、及び、タッチパネル１６を有している。
【００１２】
ＲＯＭ１２には、オペレーションシステム、及び、各種アプリケーションプログラム等が記憶されている。ＣＰＵ１１は、オペレーションシステム又は各種アプリケーションプログラムに基づいて、撮像部１５の撮像制御、タッチパネル１６の操作制御、及び、通信部１４の通信制御等を行う。カメラ機能である撮像部１５は、電子黒板４の板面を撮像する。通信部１４は、撮像部１５で撮像された電子黒板４の板面の撮像データをサーバ装置３に送信する。また、サーバ装置３によりデータ化された電子黒板４の記載内容を示すデータを受信する。タッチパネル１６は、透明電極等で形成された接触操作部を表示部上に設けて形成されており、データの表示及びユーザの接触操作の検出等を行う。
【００１３】
（サーバ装置のハードウェア構成）
図３は、サーバ装置２のハードウェア構成を示す図である。この図３に示すように、サーバ装置２は、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ＨＤＤ２４及び通信部２５を有している。ＨＤＤ２４には、端末装置１から受信した電子黒板４の板面の撮像画像に基づいて、記載内容を解析する記載解析プログラムが記憶されている。ＣＰＵ２１は、この記載解析プログラムをＲＡＭ２３に展開して実行することで、電子黒板４の記載内容を解析する。そして、ＣＰＵ２１は、解析結果となる議題、結論及びアクションアイテムを、ＨＤＤ２４内の記憶領域である議題テーブル、結論テーブル及びアクションアイテムテーブルに保存する。また、ＣＰＵ２１は、端末装置１から記載内容の送信要求を受信した際に、上述の各テーブルから議題、結論及びアクションアイテム等の各データを読み出し、端末装置１に送信する。
【００１４】
（サーバ装置のソフトウェア構成）
図４は、サーバ装置２のＣＰＵ２１が記載解析プログラムを実行することで実現される各機能の機能ブロック図である。この図４に示すように、ＣＰＵ２１は、記載解析プログラムを実行することで、第１のＯＣＲ（Optical  Character  Recognition）実行部３１、第２のＯＣＲ実行部３２、記憶制御部３３、及び、通信制御部３４を実現する。
【００１５】
第１のＯＣＲ実行部３１は、所定の取り決め及び所定の色で、電子黒板の記載に対してユーザがマークアップ（記載）したマークの位置、種類、番号及び内容等を認識処理する。第２のＯＣＲ実行部３２は、ユーザによりマークアップされた箇所に記載されている議題、結論及びアクションアイテムを認識処理する。記憶制御部３３は、各ＯＣＲ実行部３２で認識された議題、結論及びアクションアイテムを、ＨＤＤ２４に設けられている議題テーブル、結論テーブル及びアクションアイテムテーブルにそれぞれ記憶制御する。通信制御部３４は、通信部２５を介して端末装置１に、解析結果を送信する。
【００１６】
なお、第１のＯＣＲ実行部３１〜通信制御部３４のうち、一部をソフトウェアで実現し、他の部分を、例えばＩＣ（Integrated  Circuit）等のハードウェアで実現してもよい。また、第１のＯＣＲ実行部３１〜通信制御部３４の各処理は、記載解析プログラム単体で実行しても良いし、他のプログラムに一部の処理を実行させてもよい。或いは、第１のＯＣＲ実行部３１〜通信制御部３４の各処理は、他のプログラムを介して間接的に実行させても良い。
【００１７】
また、記載解析プログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、記載解析プログラムは、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ブルーレイディスク（登録商標）、半導体メモリなどのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、記載解析プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよいし、機器内のＲＯＭ等に予め組み込んで提供してもよい。
【００１８】
（記載解析処理）
実施の形態の自動議事録システムの場合、電子黒板等の板面に記載された記載事項に対して、ユーザが解析用の所定のマークを付すマークアップ処理を施す。また、ユーザは、このマークアップ処理を施した電子黒板の板面を撮像部１５で撮像し、この撮像画像をサーバ装置２に送信する。サーバ装置２は、端末装置１から受信した電子黒板４の板面の撮像画像に基づいて、マークの解析及びＯＣＲ解析等を行うことで、記載内容を解析し、データ化してＨＤＤ２４の各テーブルに記憶する。
【００１９】
（マークの種類）
図５は、マークアップ処理用のマークの一例を示す図である。各マークは、予め定められている。具体的には、図５（ａ）のマークは、ユーザが議題の記載箇所に付すマークである。すなわち、ユーザは、議題の文字に対して、青色の実線で下線を引き、例えば数字を丸で囲む丸数字でナンバリングする。青色の実線の下線が、議題の記載箇所を示すマークとなり、丸数字が何番目の議題か、ということを示す。図５（ｂ）のマークは、ユーザが会議等の結論の記載箇所に付すマークである。すなわち、ユーザは、結論に相当する文字に対して、青色の点線で下線を引き、上述の丸数字でナンバリングする。この青色の点線の下線が、結論の記載箇所を示すマークとなり、丸数字が何番目の結論か、ということを示す。
【００２０】
図５（ｃ）のマークは、実行事項（アクションアイテム）の記載箇所に付すマークである。すなわち、ユーザは、アクションアイテムに相当する文字に対して、青色の一点鎖線で下線を引き、上述の丸数字でナンバリングする。この青色の一点鎖線の下線が、アクションアイテムの記載箇所を示すマークとなっており、ナンバリングされた数字で何番目のアクションアイテムか、ということを示す。図５（ｄ）のマークは、アクションアイテムと、このアクションアイテムを実行する人物の記載箇所に付すマークである。すなわち、ユーザは、アクションアイテムに相当する文字に対して、例えば青色の一点鎖線で下線を引いてナンバリングすると共に、アクションアイテムの終端に「＠」を付し、この「＠」に続けて、例えば「ｔａｋｅｈａｒａ」等の、アクションアイテムの担当者名を記載する。この記載の仕方が、アクションアイテム及び担当者名を示すマークとなっている。
【００２１】
なお、このようなマークの色及び線種等の記載形態は、あくまでも一例であり、設定等に応じて、種々の変更が可能である。
【００２２】
図６は、このようなマークが付された議事録の一例を示す図である。この図６の例は、「商品化のタスク洗い出し」との文章が第１の議題である。このため、図５（ａ）に示した青色の実線の下線が、この第１の議題に相当する文章に付されている。また、図６の例は、「価格を決める」とのアクションアイテムを、「ｔａｋｅｈａｒａ」さんが実行することが決まったことを示している。このため、図５（ｄ）に示した青色の一点鎖線が、「価格を決める」とのアクションアイテムの下線として付され、「＠」に続けて担当者名である「ｔａｋｅｈａｒａ」の文字が記載されている。
【００２３】
また、図６の例は、「契約書を作成する」とのアクションアイテムを、「ｔａｎａｋａ」さんが実行することが決まったことを示している。このため、図５（ｄ）に示した青色の一点鎖線が、「契約書を作成する」とのアクションアイテムの下線として付され、「＠」に続けて担当者名である「ｔａｎａｋａ」の文字が記載されている。また、図６の例は、「発売日を決める」との文章が第２の議題である。このため、図５（ａ）に示した青色の実線の下線が、この第２の議題に相当する文章に付されている。また、図６の例は、「７月７日」との日付が結論である。このため、図５（ｂ）に示した青色の点線が、この結論に相当する日付に付されている。
【００２４】
なお、各マークを付した文字の終端に、例えば「商品化のタスクを洗い出し／」又は「価格を決める＠ｔａｋｅｈａｒａ／」等のように、スラッシュ（／）のマークを付して、一つの処理単位（区切り）であることを示すようにしてもよい。
【００２５】
（記載解析処理の流れ）
図７は、このようなサーバ装置２における記載内容の解析処理の流れを示すフローチャートである。端末装置１のユーザは、このように議事録に対してマークアップ処理を施すと、撮像部１５でマークアップ処理を施した電子黒板の板面を撮像し、この撮像画像をサーバ装置２に送信する（ステップＳ１）。サーバ装置２のＣＰＵ２１は、端末装置１から撮像画像を受信すると、ＨＤＤ２４に記憶されている記載解析プログラムに基づいて、議事録の記載内容の解析を行う。
【００２６】
具体的には、まず、第１のＯＣＲ実行部３１が、撮像画像に含まれる青色の各線の位置及び種類を認識する（ステップＳ２）。すなわち、このステップＳ２では、第１のＯＣＲ実行部３１が、図５（ａ）〜図５（ｄ）を用いて説明した青色の実線、点線及び一点鎖線の線種、及び、撮像画像上の位置を認識する。青色の各線の位置（マークの位置）を認識する場合、第１のＯＣＲ実行部３１は、線の書き始めとなる左側の端点から、線の書き終わりとなる右側の端点までの間を１つのマークの位置として認識する。
【００２７】
次に、第１のＯＣＲ実行部３１は、認識した各線に付されている番号（ナンバリングの番号）を認識する（ステップＳ３）。図６の例では、青色の実線が付された「商品のタスク洗い出し」との議題には、丸数字の「１」がナンバリングされ、青色の実線が付された「発売日を決める」との議題には、丸数字の「２」がナンバリングされている。ステップＳ３では、このようなナンバリングされた番号を認識する。
【００２８】
次に、第１のＯＣＲ実行部３１は、アクションアイテムに「＠」で関連付けされている担当者（紐付け先）を認識する（ステップＳ４）。図６の例では、「価格を決める」とのアクションアイテムに関連付けされている担当者として「ｔａｋｅｈａｒａ」さんを認識し、また、「契約書を作成する」とのアクションアイテムに関連付けされている担当者として「ｔａｎａｋａ」さんを認識する。
【００２９】
次に、第２のＯＣＲ実行部３２は、第１のＯＣＲ実行部３１により認識されたマークアップ箇所に例えば黒色で記載されている文字を抽出し、認識しているマーク及びナンバリングされた番号にそれぞれ関連付けする（ステップＳ５）。すなわち、図６の例の場合、第２のＯＣＲ実行部３２は、例えば「商品のタスク洗い出し」という議題の黒文字と、青色の実線及びナンバリングされた丸数字の「１」とを関連付けし、「７月７日」という結論の黒文字と、点線及びナンバリングされた丸数字の「２」とを関連付けする。
【００３０】
なお、一例ではあるが、第２のＯＣＲ実行部３２は、第１のＯＣＲ実行部３１により認識されたマークから例えば２ｃｍ〜４ｃｍ等の所定距離内に位置している文字を、「マークが付された文字」として認識する。
【００３１】
次に、記憶制御部３３は、認識しているマークに基づいて、ＨＤＤ２４に記憶されている各テーブルのうち、データの記憶に用いるテーブルを判別する。そして、判別したテーブルに、マークを示すデータ、ナンバリングされた番号を示すデータ及び認識した黒文字のデータを、それぞれ関連付けし識別番号を付して記憶する。
【００３２】
図８は、各テーブルに記憶されたデータの一例を示す図である。図８（ａ）は、議題テーブルの記憶内容を示している。図６の例の場合、青色の実線、「商品のタスク洗い出し」との議題の黒文字、及び、番号を示す「１」が関連付けされている。また、図６の例の場合、青色の実線、「発売日を決める」との議題の黒文字、及び、番号を示す「２」が関連付けされている。このため、図８（ａ）に示すように、これらの関連付けされたデータが、例えば「ｇ１」又は「ｇ２」との識別番号が付されて議題テーブルに記憶される。
【００３３】
同様に、図８（ｂ）は、結論テーブルの記憶内容を示している。図６の例の場合、青色の点線、「７月７日」との結論の黒文字、及び、番号を示す「１」が関連付けされている。このため、図８（ｂ）に示すように、これらの関連付けされたデータが、その結論に対して付された識別番号「ｋ０」及びその結論が対応する上述の議題に付された識別番号（この場合は、２番目にナンバリングされた議題に付された「ｇ２」の識別番号）と共に結論テーブルに記憶される。
【００３４】
同様に、図８（ｃ）は、アクションアイテムテーブルの記憶内容を示している。図６の例の場合、「価格を決める」とのアクションアイテムに対しては、担当者として「ｔａｋｅｈａｒａ」さんが関連付けられており、また、「契約書を作成する」とのアクションアイテムに対しては、担当者として「ｔａｎａｋａ」さんが関連付けられている。このため、図８（ｃ）に示すように、これらの関連付けされたデータが、そのアクションアイテムに対して付された識別番号「ａ０」又は「ａ１」及びそのアクションアイテムが対応する上述の議題に付された識別番号（この場合は、１番目にナンバリングされた議題に付された「ｇ１」の識別番号）と共にアクションアイテムテーブルに記憶される。
【００３５】
これにより、議事録の内容が、議題、日時、決定事項及び担当者等に分類されて各テーブルに記憶される。そして、ユーザの端末装置１から送信要求を受信した際に、記憶制御部３３が、要求された議事録のデータを各テーブルから読み出し、この読み出したデータを、通信制御部３４が端末装置１に送信する（ステップＳ７）。これにより、ユーザの端末装置１に、要求した議事録の内容が、例えば図６の例のように表示される。
【００３６】
（第１の実施の形態の効果）
以上の説明から明らかなように、第１の実施の形態の自動議事録システムは、電子黒板４等に記載された議事録に対して、所定のマークを付し、端末装置１の撮像部１５で撮像してサーバ装置２に送信する。サーバ装置２は、受信した撮像画像を解析することで、各文字等に付されているマークに基づいて、議題、日時、決定事項及び担当者等に議事録の内容を分類してＨＤＤ２４等の記憶部に記憶する。そして、サーバ装置２は、端末装置１から送信要求を受信した際に、記憶部から議事録のデータを読み出して端末装置１に送信する。これにより、議事録の内容を迅速にデータ化して複数のユーザ間で共有可能とすることができる。
【００３７】
（第２の実施の形態）
次に、第２の実施の形態の自動議事録システムの説明をする。上述の第１の実施の形態の説明では、電子黒板に記載された議事録の内容を、端末装置１の撮像部１５で撮像してサーバ装置２に送信する例であった。これに対して、第２の実施の形態は、電子黒板に設けられタ撮像部で記載内容を撮像してサーバ装置２に送信する例である。
【００３８】
図９は、第２の実施の形態の自動議事録システムのシステム構成図である。この図９に示すように、第２の実施の形態の自動議事録システムは、電子黒板１００が、撮像部１０３を有している。そして、この撮像部１０３で、電子黒板１００の板面１０１に記載された記載内容を撮像し、ネットワーク３を介してサーバ装置２に送信する。これにより、サーバ装置２において、上述のように会議等の内容がデータ化され、複数のユーザで共有可能となる。
【００３９】
なお、この図９の例では、撮像部１０３が一つ設けられている状態を図示しているが、複数の撮像部を設けて一つの画像に合成して、サーバ装置２に送信してもよい。
【００４０】
最後に、上述の各実施の形態は、一例として提示したものであり、本発明の範囲を限定することは意図していない。この新規な各実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことも可能である。また、実施の形態及び実施の形態の変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００４１】
１  端末装置
２  サーバ装置
３  ネットワーク
４  電子黒板
３１  第１のＯＣＲ実行部
３２  第２のＯＣＲ実行部
３３  記憶制御部
３４  通信制御部
【先行技術文献】
【特許文献】
【００４２】
【特許文献１】特開２０１６−０２１１０９号公報
【図１】
2020021288.tif 000003
【図２】
2020021288.tif 000004
【図３】
2020021288.tif 000005
【図４】
2020021288.tif 000006
【図５】
2020021288.tif 000007
【図６】
2020021288.tif 000008
【図７】
2020021288.tif 000009
【図８】
2020021288.tif 000010
【図９】
2020021288.tif 000011