(57)【要約】      （修正有）【課題】検索者にとって有用な情報を容易に再生できる手段を提供する。【解決手段】情報記録再生装置１は、モニタ上に表示されるテキスト情報及び画像情報を入力するための入出力部２と、入出力部２に入力された画像情報の構成単位を抽出した上で、上記構成単位について、モニタ上における幾何形状と、上記テキスト情報若しくは他の構成単位との位置関係を特定する要素間関係分析部４と、予め記憶された幾何形状及び位置関係についての典型パターンと要素間関係分析部４により特定された幾何形状及び位置関係との類似性を判定し、最も類似性が高い典型パターンを特定する類似性判定部５と、類似性判定部５で特定された最も類似性が高い典型パターンが示す意味付け情報をテキスト情報及び画像情報と併せて記憶する記憶部６とを備える。入出力部２は記憶部６に記憶された意味付け情報に基づいて、記憶部６に記憶された情報を読み出す。【選択図】図１
2017021418.tif 000002
【特許請求の範囲】
【請求項１】
モニタ上に表示されるテキスト情報及び画像情報を入力するための入力手段と、
前記入力手段に入力された前記画像情報の構成単位を抽出した上で、前記構成単位について、前記モニタ上における幾何形状と、前記テキスト情報若しくは他の前記構成単位との位置関係を特定する分析手段と、
予め記憶された前記幾何形状及び前記位置関係についての典型パターンと前記分析手段により特定された前記幾何形状及び前記位置関係との類似性を判定し、最も類似性が高い前記典型パターンを特定する判定手段と、
前記判定手段で特定された最も類似性が高い前記典型パターンが示す意味付け情報を前記テキスト情報及び前記画像情報と併せて記憶する記憶手段と、
前記記憶手段に記憶された前記意味付け情報に基づいて、前記記憶手段に記憶された情報を読み出すための出力手段とを備えた情報記録再生装置。
【請求項２】
さらに、前記分析手段は、前記入力手段に入力された前記テキスト情報をグループ化する請求項１に記載の情報記録再生装置。
【請求項３】
さらに、前記分析手段は、前記入力手段に入力された情報の順番を特定し、
前記記憶手段は、前記分析手段で特定された前記順番を示す情報を記憶し、
前記出力手段は、前記順番を示す情報に基づいて前記記憶手段に記憶された前記情報を読み出す請求項１又は２に記載の情報記録再生装置。
【請求項４】
さらに、前記入力手段には音声情報が入力され、
前記分析手段は、前記音声情報をグループ化する請求項３に記載の情報記録再生装置。
【請求項５】
さらに、前記典型パターンは、テキスト情報の内容若しくは文脈のうち少なくとも一方を含み、
前記判定手段は、前記テキスト情報の内容若しくは文脈の少なくとも一方と、前記典型パターンに含まれた対応する前記内容若しくは文脈の少なくとも一方との類似性を判定する請求項１に記載の情報記録再生装置。
【請求項６】
前記判定手段で特定された最も類似性が高い前記典型パターンから想定される次入力候補を前記モニタ上に表示させる入力候補表示手段をさらに備えた請求項１に記載の情報記録再生装置。
【請求項７】
モニタ上に表示されるテキスト情報及び画像情報を入力する第１のステップと、
前記第１のステップで入力された前記画像情報の構成単位を抽出する第２のステップと、
抽出された前記構成単位について、前記モニタ上における幾何形状と、前記テキスト情報若しくは他の前記構成単位との位置関係を特定する第３のステップと、
予め記憶された前記幾何形状及び前記位置関係についての典型パターンと前記第３のステップで特定された前記幾何形状及び前記位置関係との類似性を判定し、最も類似性が高い前記典型パターンを特定する第４のステップと、
前記第４のステップで特定された最も類似性が高い前記典型パターンが示す意味付け情報を前記テキスト情報及び前記画像情報と併せて記憶する第５のステップと、
前記第５のステップで記憶された前記意味付け情報に基づいて、前記第５のステップで記憶された情報を読み出す第６のステップとを有する情報記録再生方法。
【請求項８】
さらに、前記第２のステップでは、前記第１のステップで入力された前記テキスト情報をグループ化する請求項７に記載の情報記録再生方法。
【請求項９】
さらに、前記第３のステップでは、前記第１のステップで入力された情報の順番を特定し、
前記第５のステップでは、前記第３のステップで特定された前記順番を示す情報を記憶し、
前記第６のステップでは、前記順番を示す情報に基づいて前記第５のステップで記憶された前記情報を読み出す請求項７又は８に記載の情報記録再生方法。
【請求項１０】
さらに、前記第１のステップでは音声情報を入力し、
前記第２のステップでは、前記音声情報をグループ化する請求項９に記載の情報記録再生方法。
【請求項１１】
さらに、前記典型パターンは、テキスト情報の内容若しくは文脈のうち少なくとも一方を含み、
前記第４のステップでは、前記テキスト情報の内容若しくは文脈の少なくとも一方と、前記典型パターンに含まれた対応する前記内容若しくは文脈の少なくとも一方との類似性を判定する請求項７に記載の情報記録再生方法。
【請求項１２】
前記第４のステップで特定された最も類似性が高い前記典型パターンから想定される次入力候補を前記モニタ上に表示させる第７のステップをさらに有する請求項７に記載の情報記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を記録し再生するための装置及び方法に関するものである。
【背景技術】
【０００２】
特許文献１には、画像を含む文書において、当該画像の特徴量と当該文書中から抽出された用語とを当該画像のインデックスとすることによって、当該文書中の画像を複雑な条件下で検索しうるシステム等が開示されている。
【０００３】
また、特許文献２には、手書き入力された筆跡データを検索して文書データと共に表示しうる文書ブラウザ等が開示されている。
【０００４】
また、特許文献３及び４には、文章を構成する複数の文を意味付けし構造化する技術が開示されている。非特許文献１には、画面上に表示されたウェブページをグルーピングする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２５０３５９号公報
【特許文献２】特開２００４−１３９５０１号公報
【特許文献３】特開２０１４−１３５４９号公報
【特許文献４】特開２００５−１８７８０号公報
【非特許文献】
【０００６】
【非特許文献１】後藤孝行, 武田英明, 「グルーピングによる情報構造化手法の提案」、第２４回人工知能学会全国大会講演論文集、2010年、No. 2G2-OS9-5
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、先行技術ではモニタ上に混在して配置されたテキスト情報と画像情報間の位置関係や幾何情報に基づく情報間の関係の柔軟な意味づけ、及び同意味づけに基づく検索は不可能という問題がある。
【０００８】
そこで、本発明は、このような問題を解決するためになされたもので、入力及び記憶された複数の情報の幾何情報等や相互の位置関係を踏まえた検索を実現することによって、検索者に有用な情報を容易に再生することのできる情報記録再生装置及び情報記録再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、モニタ上に表示されるテキスト情報及び画像情報を入力するための入力手段と、入力手段に入力された画像情報の構成単位を抽出した上で、上記構成単位について、モニタ上における幾何形状と、上記テキスト情報若しくは他の構成単位との位置関係を特定する分析手段と、予め記憶された幾何形状及び位置関係についての典型パターンと分析手段により特定された幾何形状及び位置関係との類似性を判定し、最も類似性が高い典型パターンを特定する判定手段と、判定手段で特定された最も類似性が高い典型パターンが示す意味付け情報をテキスト情報及び画像情報と併せて記憶する記憶手段と、記憶手段に記憶された意味付け情報に基づいて、記憶手段に記憶された情報を読み出すための出力手段とを備えた情報記録再生装置を提供する。
【００１０】
また、上記課題を解決するため、本発明は、モニタ上に表示されるテキスト情報及び画像情報を入力する第１のステップと、第１のステップで入力された画像情報の構成単位を抽出する第２のステップと、抽出された構成単位について、モニタ上における幾何形状と、上記テキスト情報若しくは他の上記構成単位との位置関係を特定する第３のステップと、予め記憶された幾何形状及び位置関係についての典型パターンと第３のステップで特定された幾何形状及び位置関係との類似性を判定し、最も類似性が高い典型パターンを特定する第４のステップと、第４のステップで特定された最も類似性が高い典型パターンが示す意味付け情報をテキスト情報及び画像情報と併せて記憶する第５のステップと、第５のステップで記憶された意味付け情報に基づいて、第５のステップで記憶された情報を読み出す第６のステップとを有する情報記録再生方法を提供する。
【発明の効果】
【００１１】
本発明によれば、検索者に有用な情報を容易に再生することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る情報記録再生装置１の構成を示すブロック図である。
【図２】図１に示された情報記録再生装置１の動作を説明するためのフローチャートである。
【図３】図１に示された入出力部２に入力されることにより、入出力部２に含まれるモニタ１０に表示されたテキスト情報Ｔ１及び画像情報Ｐ１，Ｄ１，Ｄ２の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
【００１４】
図１は、本発明の実施の形態に係る情報記録再生装置１の構成を示すブロック図である。なお、情報記録再生装置１は、タブレット端末などとして実現されるものである。
【００１５】
図１に示されるように、本発明の実施の形態に係る情報記録再生装置１は、入出力部２、制御部３、要素間関係分析部４、類似性判定部５、記憶部６、要素パターンデータベース７、及び入力候補データベース８を備える。
【００１６】
なお、要素パターンデータベース７及び入力候補データベース８は、後述する要素パターンや入力候補を記憶するものであればよいため、必ずしもデータベースに限られず、情報記録再生装置１の外部に配置されるようにしてもよい。
【００１７】
ここで、制御部３と要素間関係分析部４は入出力部２に接続され、類似性判定部５は要素間関係分析部４に接続され、記憶部６は入出力部２、制御部３、及び類似性判定部５に接続される。
【００１８】
また、要素パターンデータベース７は類似性判定部５に接続され、入力候補データベース８は入出力部２と類似性判定部５に接続される。
【００１９】
以下において、図２を参照しつつ、図１に示された情報記録再生装置１の動作を詳しく説明する。
【００２０】
まずステップＳ１で、入出力部２にテキスト情報及び画像情報が入力される。このとき、入出力部２に含まれたモニタ１０上には、例えば、図３に示されるように、テキスト情報Ｔ１と画像情報Ｐ１、手書き入力等により自由に描画された画像情報Ｄ１，Ｄ２が表示される。
【００２１】
次に、ステップＳ２において、入力されたテキスト情報をグループ化すると共に、入力された画像情報の構成単位を抽出する。なお、以下においては、上記グループ及び構成単位を「要素」と呼ぶ。
【００２２】
具体的には、上記の例では、要素間関係分析部４は、図３に示された「この部分の処置について…」と記されたテキスト情報をひとまとまりとしてグループ化すると共に、人の画像情報Ｐ１、描画された二つの画像情報Ｄ１，Ｄ２をそれぞれ別個の構成単位として抽出する。
【００２３】
次に、ステップＳ３において、ステップＳ２で抽出された構成単位について、幾何形状と、他の要素に対するモニタ上の位置関係を特定する。
【００２４】
具体的には、上記の例では、要素間関係分析部４は、描画された画像情報Ｄ１の幾何形状が円であり、位置関係は人を示す画像情報Ｐ１と重なっていることを特定する。また、要素間関係分析部４は、描画された画像情報Ｄ１は描画された画像情報Ｄ２と接続された位置関係にあることを特定する。さらに、要素間関係分析部４は、描画された画像情報Ｄ２は幾何形状が線状で、テキスト情報Ｔ１と接続された位置関係にあることを特定する。
【００２５】
次に、ステップＳ４において、予め記憶された幾何形状及び位置関係についての典型パターンとステップＳ３で特定された幾何形状及び位置関係との類似性を判定し、最も類似性が高い典型パターンを特定する。
【００２６】
具体的には、要素パターンデータベース７には予め上記構成単位の幾何形状と要素相互間の位置関係に関する種々の典型パターンが記憶される。そして、上記の例では、類似性判定部５は、要素間関係分析部４により特定されたパターン、すなわち画像Ｐ１上に描画による円形の画像情報Ｄ１が存在し、併せて画像情報Ｄ１には線状の画像情報Ｄ２が紐付けられており、画像情報Ｄ２の他端にはテキスト情報Ｔ１が位置するパターン、と要素パターンデータベース７に予め記憶された種々の典型バターンとの類似性を判定し、最も類似性が高い典型パターンを特定する。
【００２７】
ここで、上記典型パターンには、テキスト情報の内容若しくは文脈のうち少なくとも一方が記され、類似性判定部５はさらに、要素間関係分析部４によりグループ化されたテキスト情報の内容若しくは文脈の少なくとも一方と、上記典型パターンに含まれた対応する内容若しくは文脈の少なくとも一方との類似性を判定するようにすれば、判定精度を高めることができる。
【００２８】
なお、類似性判定部５は、入出力部２に入力された画像情報に対し既存の画像認識技術を適用することにより、上記判定精度をさらに高めることができる。
【００２９】
次に、ステップＳ５において、ステップＳ４で特定された最も類似性が高い典型パターンが示す意味付け情報をテキスト情報及び画像情報と併せて記憶すると共に、本典型パターンから想定される次入力候補をモニタ１０上に表示させる。
【００３０】
ここで、意味付け情報とは、例えば「原因」又は「結果」、「部分」又は「全体」、「対象」又は「その説明」など、要素相互の位置付けを示す情報を意味する。
【００３１】
具体的には、上記の例では、類似性判定部５によって最も類似性が高い典型パターンが参照されることにより、円形の画像情報Ｄ１には「指示箇所」との意味付け情報、テキスト情報Ｔ１には「当該指示箇所に対する説明」との意味付け情報がそれぞれ付与され、入出力部２から供給されたテキスト情報Ｔ１及び画像情報Ｄ１と併せて記憶部６に記憶される。
【００３２】
また、類似性判定部５は、ステップＳ４で特定された最も類似性が高い典型パターンを参照することにより、次のタイミングで入出力部２への入力が想定される情報を入力候補データベース８から読み出し、入出力部２に含まれたモニタ１０上に入力候補として表示させる。
【００３３】
次に、ステップＳ６において、ステップＳ５で記憶された意味付け情報に基づいて、ステップＳ５で記憶された情報を読み出す。
【００３４】
具体的には、例えば、ユーザが図３に示された円形の画像情報Ｄ１が指示する箇所に相当する「腕」との文字を入出力部２へ入力してキーワード検索したとき、制御部３は、「腕」を含む画像情報Ｐ１と共に、上記意味付け情報に基づいて「腕」に対する説明であるテキスト情報Ｔ１を記憶部６から読み出し、検索結果として入出力部２に含まれたモニタ１０に表示する。
【００３５】
以上が、図１に示された情報記録再生装置１の動作であるが、入出力部２にテキスト情報や画像情報のみならず音声情報も入力しうるようにすれば、情報を記録再生する自由度を高めることができる。
【００３６】
ここで、要素間関係分析部４はさらに、これら種々の情報が入出力部２に入力された情報の順番を特定し、記憶部６は要素間関係分析部４で特定された順番を示す情報を記憶し、上記のような検索の結果として、上記の順番を示す情報に基づいて記憶部６に記憶された各種の情報を読み出すようにすれば、漏れのない検索を実現することができる。
【００３７】
具体的には、例えば上記の例において、図３に示されたテキスト情報Ｔ１が入力された次の順番に当該説明に対する質問及び応答が音声情報として入力されたときは、連続して入力されたことを意味する順番を示す情報に基づいてテキスト情報Ｔ１と共に当該音声情報を入出力部２に読み出すようにしてもよい。
【００３８】
なお、入出力部２に入力された音声情報は、要素間関係分析部４により上記テキスト情報と同様にグループ化される。
【００３９】
以上より、本発明の実施の形態に係る情報記録再生装置１によれば、入出力部２に入力され記憶部６に記憶された複数の情報相互の位置付けを踏まえた検索を実現することができるため、検索者にとって有用な情報を容易に再生することができる。
【００４０】
なお、上記においては、図２のフローチャートを図１に示された情報記録再生装置１の動作として説明したが、図２に示されたアルゴリズムによる情報記録再生方法は、図１に示された情報記録再生装置１にとどまらず広く適用できることはいうまでもない。
【００４１】
上記の情報記録再生装置１は、テキストや画像、あるいは手書きによる描画をタブレット端末等において自由に表現するニーズがある医療や介護分野等のサービス専門職における業務設計などにとりわけ有効活用される。
【００４２】
より具体的には、サービス業を行う職員がタブレット端末等を利用して業務中の状況や対応方法等を自由に入力すると、情報記録再生装置１が上記のように動作することにより、業務要素に関する次入力候補がモニタ１０上に表示されると共に、入力されたテキスト情報、画像情報、音声情報といった種々の情報が記録される。
【００４３】
そして、このようにして記録された情報の中から検索者にとって有用な情報が容易に再生されるため、必要情報へのアクセスを改善することによって業務設計の効率化を図ることができる。
【符号の説明】
【００４４】
１  情報記録再生装置
２  入出力部
３  制御部
４  要素間関係分析部
５  類似性判定部
６  記憶部
７  要素パターンデータベース
８  入力候補データベース
１０  モニタ
【図１】
2017021418.tif 000003
【図２】
2017021418.tif 000004
【図３】
2017021418.tif 000005