(57)【要約】【課題】電子ファイルの操作に関連して作成された手書きの情報と当該電子ファイルとを適切に関連付けることのできる情報管理装置の提供を目的とする。【解決手段】情報蓄積手段と情報検索手段とを有する情報管理装置であって、情報蓄積手段は、電子データに対する操作に応じ、当該電子データの識別情報と操作の発生時期を示す時期情報とを関連付けて記憶装置に記録し、少なくとも一部が手書きの紙文書が撮像された画像データを画像入力装置より取得し、画像データの特徴量を抽出し、画像データの取得の時期を示す時期情報と特徴量とを関連付けて記憶装置に記録し、情報検索手段は、画像入力装置より入力される画像データの特徴量を抽出し、該特徴量と合致する特徴量を記憶装置より検索し、検索された特徴量に係る時期情報が示す時期から所定の期間内の時期情報に関連付けられている識別情報を記憶装置より取得することにより上記課題を解決する。【選択図】図２
2010039643.tif 000002
【特許請求の範囲】
【請求項１】
情報蓄積手段と情報検索手段とを有する情報管理装置であって、
前記情報蓄積手段は、
電子データに対する操作の発生に応じ、当該電子データの識別情報と前記操作の発生時期を示す時期情報とを関連付けて記憶装置に記録する操作時期記録手段と、
少なくとも一部が手書きの紙文書が撮像された画像データを画像入力装置より取得する第一の画像データ取得手段と、
前記画像データの特徴量を抽出する第一の特徴量抽出手段と、
前記画像データの取得の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録する特徴量記録手段とを有し、
前記情報検索手段は、
画像入力装置より入力される画像データの特徴量を抽出する第二の特徴量抽出手段と、
抽出された特徴量と合致する特徴量を前記記憶装置より検索する検索手段と、
検索された特徴量に関連付けられている前記時期情報が示す時期から所定の期間内の時期に係る前記時期情報に関連付けられている前記識別情報を前記記憶装置より取得する関連情報取得手段と、
取得された前記識別情報に基づく情報を表示させる表示制御手段とを有する情報管理装置。
【請求項２】
前記操作時期記録手段は、前記電子データに係る画像データが出力装置より出力されるときに当該電子データの識別情報と出力された時期を示す時期情報とを関連付けて記憶装置に記録し、
前記第一の特徴量抽出手段は、前記出力装置より出力された画像データの特徴量を抽出し、
前記特徴量記録手段は、前記画像データの出力の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録することを特徴とする請求項１記載の情報管理装置。
【請求項３】
前記情報蓄積手段は、
前記記憶装置に記録された前記特徴量の中で合致する特徴量を検索し、検索された特徴量に係る情報の関連付け情報を前記記憶装置に記録する関連付け手段を有することを特徴とする請求項１又は２記載の情報管理装置。
【請求項４】
前記特徴量は、前記画像データにおける複数の特徴点に関する属性情報の集合であることを特徴とする請求項１乃至３いずれか一項記載の情報管理装置。
【請求項５】
情報蓄積手段と情報検索手段とを有する情報管理装置による情報管理方法あって、
前記情報蓄積手段が、電子データに対する操作の発生に応じ、当該電子データの識別情報と前記操作の発生時期を示す時期情報とを関連付けて記憶装置に記録する操作時期記録手順と、
前記情報蓄積手段が、少なくとも一部が手書きの紙文書が撮像された画像データを画像入力装置より取得する第一の画像データ取得手順と、
前記情報蓄積手段が、前記画像データの特徴量を抽出する第一の特徴量抽出手順と、
前記情報蓄積手段が、前記画像データの取得の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録する特徴量記録手順と、
前記情報検索手段が、画像入力装置より入力される画像データの特徴量を抽出する第二の特徴量抽出手順と、
前記情報検索手段が、抽出された特徴量と合致する特徴量を前記記憶装置より検索する検索手順と、
前記情報検索手段が、検索された特徴量に関連付けられている前記時期情報が示す時期から所定の期間内の時期に係る前記時期情報に関連付けられている前記識別情報を前記記憶装置より取得する関連情報取得手順と、
前記情報検索手段が、取得された前記識別情報に基づく情報を表示させる表示制御手順とを有する情報管理方法。
【請求項６】
前記操作時期記録手順は、前記電子データに係る画像データが出力装置より出力されるときに当該電子データの識別情報と出力された時期を示す時期情報とを関連付けて記憶装置に記録し、
前記第一の特徴量抽出手順は、前記出力装置より出力された画像データの特徴量を抽出し、
前記特徴量記録手順は、前記画像データの出力の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録することを特徴とする請求項５記載の情報管理方法。
【請求項７】
前記情報蓄積手段が、前記記憶装置に記録された前記特徴量の中で合致する特徴量を検索し、検索された特徴量に係る情報の関連付け情報を前記記憶装置に記録する関連付け手順を有することを特徴とする請求項５又は６記載の情報管理方法。
【請求項８】
前記特徴量は、前記画像データにおける複数の特徴点に関する属性情報の集合であることを特徴とする請求項５乃至７いずれか一項記載の情報管理方法。
【請求項９】
コンピュータを情報蓄積手段と情報検索手段として機能させるためのプログラムであって、
前記情報蓄積手段は、
電子データに対する操作の発生に応じ、当該電子データの識別情報と前記操作の発生時期を示す時期情報とを関連付けて記憶装置に記録する操作時期記録手段と、
少なくとも一部が手書きの紙文書が撮像された画像データを画像入力装置より取得する第一の画像データ取得手段と、
前記画像データの特徴量を抽出する第一の特徴量抽出手段と、
前記画像データの取得の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録する特徴量記録手段とを有し、
前記情報検索手段は、
画像入力装置より入力される画像データの特徴量を抽出する第二の特徴量抽出手段と、
抽出された特徴量と合致する特徴量を前記記憶装置より検索する検索手段と、
検索された特徴量に関連付けられている前記時期情報が示す時期から所定の期間内の時期に係る前記時期情報に関連付けられている前記識別情報を前記記憶装置より取得する関連情報取得手段と、
取得された前記識別情報に基づく情報を表示させる表示制御手段とを有するプログラム。
【請求項１０】
前記操作時期記録手段は、前記電子データに係る画像データが出力装置より出力されるときに当該電子データの識別情報と出力された時期を示す時期情報とを関連付けて記憶装置に記録し、
前記第一の特徴量抽出手段は、前記出力装置より出力された画像データの特徴量を抽出し、
前記特徴量記録手段は、前記画像データの出力の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録することを特徴とする請求項９記載のプログラム。
【請求項１１】
前記情報蓄積手段は、
前記記憶装置に記録された前記特徴量の中で合致する特徴量を検索し、検索された特徴量に係る情報の関連付け情報を前記記憶装置に記録する関連付け手段を有することを特徴とする請求項９又は１０記載のプログラム。
【請求項１２】
前記特徴量は、前記画像データにおける複数の特徴点に関する属性情報の集合であることを特徴とする請求項９乃至１１いずれか一項記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報管理装置、情報管理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、文書等は電子的に作成及び管理されることが一般的になる一方で、依然として手書きの文書も存在している。特に、手書きは簡単なメモ等を作成する際に便利である。
【０００３】
ところで、電子文書と手書きの文書との間で関連性が存在する場合がある。例えば、電子ファイルがプロジェクタによって投影された映像や、電子ファイルに基づいて印刷された配付資料を参照した会議が行われている際に、手帳等の用紙に対してメモ等を手書きで記載することがある。この場合、投影されている電子文書又は配布元の電子文書と、会議中に手書きされたメモ等は関連性が有るといえる。
【０００４】
そこで、従来、関連性を有する電子文書と手書きの文書とを関連付けて管理する技術が検討されている（例えば、特許文献１、特許文献２）。
【特許文献１】特開２００４−０８０６０１号公報
【特許文献２】特開２００７−０４８２１７号公報
【特許文献３】特開２００６−２６０５２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の技術では、例えば、手帳やノート等に対して行われた手書きのメモと当該電子文書とを関連付けて管理するのは困難であった。また、関連付けのためにはバーコードが印字されている用紙に対して手書きが行われる必要がある等、各種の制限が存在していた。
【０００６】
本発明は、上記の点に鑑みてなされたものであって、電子ファイルの操作に関連して作成された手書きの情報と当該電子ファイルとを適切に関連付けることのできる情報管理装置、情報管理方法、及びプログラムの提供を目的とする。
【課題を解決するための手段】
【０００７】
そこで上記課題を解決するため、本発明は、情報蓄積手段と情報検索手段とを有する情報管理装置であって、前記情報蓄積手段は、電子データに対する操作の発生に応じ、当該電子データの識別情報と前記操作の発生時期を示す時期情報とを関連付けて記憶装置に記録する操作時期記録手段と、少なくとも一部が手書きの紙文書が撮像された画像データを画像入力装置より取得する第一の画像データ取得手段と、前記画像データの特徴量を抽出する第一の特徴量抽出手段と、前記画像データの取得の時期を示す時期情報と前記特徴量とを関連付けて前記記憶装置に記録する特徴量記録手段とを有し、前記情報検索手段は、画像入力装置より入力される画像データの特徴量を抽出する第二の特徴量抽出手段と、抽出された特徴量と合致する特徴量を前記記憶装置より検索する検索手段と、検索された特徴量に関連付けられている前記時期情報が示す時期から所定の期間内の時期に係る前記時期情報に関連付けられている前記識別情報を前記記憶装置より取得する関連情報取得手段と、取得された前記識別情報に基づく情報を表示させる表示制御手段とを有することを特徴とする。
【０００８】
このような情報管理装置では、電子ファイルの操作に関連して作成された手書きの情報と当該電子ファイルとを適切に関連付けることができる。
【発明の効果】
【０００９】
本発明によれば、電子ファイルの操作に関連して作成された手書きの情報と当該電子ファイルとを適切に関連付けることのできる情報管理装置、情報管理方法、及びプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における情報管理装置のハードウェア構成例を示す図である。同図において情報管理装置１０は、それぞれバスBで相互に接続されているドライブ装置１００と、補助記憶装置１０２と、メモリ装置１０３と、ＣＰＵ１０４と等を有する。
【００１１】
情報管理装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記録した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００１２】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムにしたがって情報管理装置１０に係る機能を実現する。
【００１３】
また、情報管理装置１０は、所定のハードウェアインタフェース（例えばＵＳＢ（Universal Serial Bus）コネクタ等）を介して表示装置１０６、入力装置１０７、投影装置１０８、及び画像入力装置１０９等と接続可能である。表示装置１０６は、例えば、ＣＲＴディスプレイ又は液晶ディスプレイであり、プログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。投影装置１０８は、いわゆるプロジェクタであり、投影対象とされた画像（例えば、表示装置１０６において表示されている画像）を投影する。画像入力装置１０９は、例えば、スキャナ、デジタルカメラ、又はカメラ付き携帯電話等であり、被写体の画像を撮像する。なお、投影装置１０８及び画像入力装置１０９は、情報管理装置１０に常時接続されている必要はなく、必要なとき（画像の投影時又は画像の入力時等）に接続されればよい。
【００１４】
図２は、本発明の実施の形態における情報管理装置のソフトウェア構成例を示す図である。同図において、情報管理装置１０は、情報蓄積部１１、情報検索部１２、イベントデータベース１３、関連付けデータベース１４、及びＯＳ（Operating System）１５等を有する。
【００１５】
情報蓄積部１１は、補助記憶装置１０２に保存されている電子ファイル（電子文書）に対する操作や、画像入力装置１０９からの画像データの入力等に応じて当該電子ファイル又は当該画像データ（以下、両者を区別しない場合、「電子データ」という。）に関する情報をイベントデータベース１３及び関連付けデータベース１４に蓄積（記録）する。同図において情報蓄積部１１は、イベント取得部１１１、ラスター化部１１２、特徴量抽出部１１３、画像取得部１１４、画像合成部１１５、情報記録部１１６、及び関連生成部１１７等を含む。
【００１６】
一方、情報検索部１２は、画像入力装置１０９から入力される画像データに関連する情報の検索要求の入力に応じ、イベントデータベース１３に蓄積されている電子データに関する情報の中から当該画像データに関連する情報を検索する。同図において情報検索部１２は、画像入力部１２１、フレーム選択部１２２、特徴量抽出部１２３、特徴量比較部１２４、関連情報検索部１２５、及び検索結果表示部１２６等を含む。
【００１７】
イベントデータベース１３は、情報蓄積部１１によって電子データに関する情報が蓄積されるデータベースであり、補助記憶装置１０２内に構築（記録）される。関連付けデータベース１４は、イベントデータベース１３に記録された情報の関連付け情報を保持するデータベースであり、補助記憶装置１０２内に構築（記録）される。
【００１８】
なお、図２では、情報蓄積部１１と情報検索部１２とが同一の装置（情報管理装置１０）内に含まれている例が示されているが、それぞれはネットワークを介して接続される別個の装置に実装されていてもよい。すなわち、本実施の形態における情報管理装置１０は、複数の装置（コンピュータ）からなるシステムをも表現する。
【００１９】
以下、情報管理装置１０の処理手順について、情報蓄積時と情報検索時とに分けて説明する。
【００２０】
図３は、情報蓄積時における情報管理装置の処理手順を説明するためのフローチャートである。
【００２１】
イベント取得部１１１は、操作者による操作入力（操作入力に基づくＯＳ１５からのイベントの通知）を常時監視している（Ｓ１０１、Ｓ１０２）。イベント取得部１１１は、操作者による操作入力（イベント）を検知すると（Ｓ１０２でＹｅｓ）、イベントの種別に応じて処理を分岐させる。
【００２２】
例えば、非図示のアプリケーションプログラムによって補助記憶装置１０２に保存されている電子ファイルが開かれると、イベント取得部１１１は、電子ファイルが開かれた（オープンされた）ことを示すイベントを検知する。この場合（Ｓ１０３でＹｅｓ）、イベント取得部１１１は、電子ファイルのファイル名、イベント（電子ファイルのオープン）の発生日時、及び電子ファイルの内容を取得する（Ｓ１０４）。また、イベント取得部１１１は、イベントの発生日時が属する時間帯を判定する。ここで、時間帯とは、例えば、１日の２４時間を所定の単位を区切ることによって規定される期間を示す情報をいう。例えば、所定の単位を２時間とする場合、１〜１２の時間帯が規定される。続いて、情報記録部１１６は、イベント取得部１１１によって取得された情報等を１つのレコード（エントリー）としてイベントデータベース１３に登録（記録）する（Ｓ１０５）。
【００２３】
図４は、イベントデータベースの構成例を示す図である。同図においてイベントデータベース１３は、イベント毎にイベントＩＤ、ファイル名、イベント種別、発生日時、時間帯、特徴量、及びラスター画像を管理可能なように構成されている。イベントＩＤは、イベントごと（イベントデータベース１３のレコード（行）ごと）に一意なＩＤであり、情報記録部１１６によって割り当てられる。ファイル名は、イベントの対象とされたファイル名であり、イベント取得部１１１によって取得された値が登録される。イベント種別は、イベントの種別であり、ここではファイルのオープン（「開く」）が該当する。発生日時、時間帯は、イベントの発生日時、当該発生日時が属する時間帯であり、イベント取得部１１１によって取得された値が登録される。特徴量及びラスター画像については後述する。なお、イベントデータベース１３のレコードを、以下「イベントレコード」という。
【００２４】
また、開かれていた電子ファイルが閉じられた場合も同様の処理が実行される（Ｓ１１１〜Ｓ１１３）。したがって、この場合、イベント種別が「閉じる」のイベントレコードがイベントデータベース１３に登録される。
【００２５】
また、電子ファイルについて印刷が実行されると、イベント取得部１１１は、電子ファイルが印刷されたことを示すイベントを検知する。この場合（Ｓ１２１でＹｅｓ）、イベント取得部１１１は、印刷された電子ファイルのファイル名、イベント（電子ファイルの印刷）の発生日時、電子ファイルの内容、及び印刷ページ等を取得する（Ｓ１２２）。また、イベント取得部１１１は、イベントの発生日時が属する時間帯を判定する。続いて、ラスター化部１１２は、電子ファイルにおいて印刷ページに係るデータを画像データ（ラスター画像）に変換する（Ｓ１２３）。続いて、特徴量抽出部１１３は、ラスター化部１１２によって生成された画像データの特徴量を抽出（生成）する（Ｓ１２４）。特徴量の詳細については後述する。
【００２６】
続いて、情報記録部１１６は、ステップＳ１０５又はＳ１１３等と同様に、イベント取得部１１１によって取得された情報を１つのイベントレコードとしてイベントデータベース１３に追加登録する（Ｓ１２５）。但し、この場合（印刷の場合）、ラスター化部１１２によって生成された画像データ（ラスター画像）及び当該画像データの特徴量も同一イベントレコードに登録される。
【００２７】
また、投影装置１０８による投影が開始されると（すなわち、投影装置１０８に映像が出力されると）、イベント取得部１１１は、投影の開始（プロジェクタへの映像の出力）を示すイベントを検知する。この場合（Ｓ１３１でＹｅｓ）、イベント取得部１１１は、投影装置１０８へ出力される映像に含まれるアクティブな（操作対象とされている）アプリケーションによって開かれている電子ファイルのファイル名、イベント（映像の出力）の発生日時、及び電子ファイルの内容等を取得する（Ｓ１３２）。また、イベント取得部１１１は、イベントの発生日時が属する時間帯を判定する。続いて、ラスター化部１１２は、電子ファイルにおいて現在表示（投影）されているページに係るデータを画像データ（ラスター画像）に変換する（Ｓ１３３）。続いて、特徴量抽出部１１３は、ラスター化部１１２によって生成された画像データの特徴量を抽出（生成）する（Ｓ１３４）。続いて、情報記録部１１６は、ステップＳ１２５と同様に、イベント取得部１１１によって取得された情報、画像データ、及び特徴量を１イベントレコードとしてイベントデータベース１３に追加登録する（Ｓ１３５）。
【００２８】
更に、画像入力装置１０９より紙文書の画像データが撮像され、当該画像データが情報管理装置１０入力されると、イベント取得部１１１は、画像データの入力を示すイベントを検知する。この場合（Ｓ１４１でＹｅｓ）、画像取得部１１４は、入力される画像データを取得し、メモリ装置１０３に記録する。なお、画像入力装置１０９からの画像データの入力は、有線に限られず、Ｂｌｕｅｔｏｏｔｈや赤外線などの無線通信が利用されてもよい。また、画像入力装置１０９としての位置付けとして、画像データが記録された記録媒体（メモリカード等）、画像データを管理する外部コンピュータ等であってもよい。
【００２９】
ところで、画像入力装置１０９からは、１枚以上の静止画データ又は動画データが入力されうる。紙文書のように静止している被写体について動画データが入力されうるのは、紙文書の一部を連続的に撮像しながらカメラを移動させて紙文書の全面又は一部を撮像するというケースである。こうすることによりカメラの解像度が低い場合であっても、高解像度の画像を得ることができる。
【００３０】
画像取得部１１４が取得した画像データが静止画データある場合（Ｓ１４２でＹｅｓ）、画像取得部１１４は、メモリ装置１０３に記録されている画像データを補助記憶装置１０２にファイルとして保存（記録）する（Ｓ１４３）。したがって、当該画像データにはファイル名が自動的に又は操作者からの入力に基づいて割り当てられる。また、イベント取得部１１１は、当該画像データのファイル名及びイベント（画像データの入力）の発生日時を取得する。更に、イベント取得部１１１は、イベントの発生日時が属する時間帯を判定する。
【００３１】
続いて、特徴量抽出部１１３は、ファイルに保存された画像データの特徴量を抽出（生成）する（Ｓ１４４）。続いて、情報記録部１１６は、イベント取得部１１１によって取得された情報、画像データ、及び特徴量を１イベントレコードとしてイベントデータベース１３に追加登録する（Ｓ１４５）。
【００３２】
一方、画像取得部１１４が取得した画像データが動画データである場合（Ｓ１４２でＮｏ）、画像合成部１１５は、動画データから一枚の静止画データを生成する（Ｓ１５１）。当該静止画データは、紙文書上においてカメラが移動された領域（例えば、全面）に対する画像データとなる。動画データから一枚の大きな静止画データを作るには、特開２００４−３３４８４３号公報等に記載されている、複数の部分画像を合成して大きな画像を生成する技術等を利用すればよい。
【００３３】
続いて、画像合成部１１５は、生成した画像データ（静止画データ）を補助記憶装置１０２にファイルとして保存する（Ｓ１５２）。また、イベント取得部１１１は、当該画像データのファイル名及びイベント（画像データの入力）の発生日時を取得する。更に、イベント取得部１１１は、イベントの発生日時が属する時間帯を判定する。続いて、特徴量抽出部１１３は、ファイルに保存された画像データの特徴量を抽出（生成）する（Ｓ１５３）。続いて、情報記録部１１６は、イベント取得部１１１によって取得された情報、画像データ、及び特徴量を１イベントレコードとしてイベントデータベース１３に追加登録する（Ｓ１５４）。
【００３４】
ステップＳ１４５又はステップＳ１５４に続いて、関連生成部１１７は、今回の画像データの入力に応じて登録されたイベントレコード（以下、「キーイベントレコード」という。）と関連を有する他のイベントレコード（以下、「関連イベントレコード」という。）を検索する（Ｓ１５５）。当該ステップの詳細を説明する。
【００３５】
図５は、関連生成部による関連イベントレコードの検索処理を説明するためフローチャートである。
【００３６】
まず、キーイベントレコードの特徴量と合致する特徴量を有するイベントレコードを検索し（Ｓ２０１）、検索されたイベントレコードが有る場合（Ｓ２０２でＹｅｓ）、当該イベントレコードを関連イベントレコードとする（Ｓ２０３）。なお、合致には、完全一致だけでなく、特徴量が類似又は近似している状態を含めてもよい。類似又は近似の判断は、特徴量の性質又は構成等によって異なるが、採用する特徴量に関する閾値に基づいて行えばよい。
【００３７】
続いて、キーイベントレコードの時間帯と同じ又は近い時間帯に係るイベントレコードを検索し（Ｓ２０４）、検索されたイベントレコードが有る場合（Ｓ２０５でＹｅｓ）、当該イベントレコードを関連イベントレコードとする（Ｓ２０６）。なお、近い時間帯は、予め補助記憶装置１０２に設定されている閾値に基づいて判定すればよい。例えば、近い時間帯を判定するための閾値が「２」の場合、同一の時間帯と、一つ前の時間帯に係るイベントレコードが関連イベントレコードとされる。
【００３８】
すなわち、キーイベントレコードと関連イベントレコードとの関連とは、特徴量が一致すること、又は時間帯が近い（所定の範囲内である）ことをいう。なお、関連イベントレコードは複数検索されうる。
【００３９】
図３に戻る。関連イベントレコードが検索された場合、関連生成部１１７は、キーイベントレコードと、関連イベントレコードとの関連付け情報を示すレコード（以下、「関連付けレコード」という。）を関連付けデータベース１４に登録する（Ｓ１５６）。
【００４０】
図６は、関連付けデータベースの構成例を示す図である。同図において関連付けデータベース１４は、関連付け情報（関連付けレコード）ごとに、リレーションＩＤ、キーイベントＩＤ、関連数、ＩＤ列、関連種別、発生日、及び時間帯を管理可能なように構成されている。リレーションＩＤは、関連付け情報ごとに一意なＩＤである。キーイベントＩＤは、キーイベントレコードのイベントＩＤである。関連数は、キーイベントレコードに基づいて関連を有すると判定されたイベントレコードの数であり、同図の例では、キーイベントレコード自体もカウントされている。関連ＩＤ列は、関連イベントレコードのＩＤの集合であり、同図の例では、キーイベントＩＤも含まれている。関連種別は、特徴量又は時間のいずれに基づいて関連付けられたかを示す情報である。特徴量に基づいて関連付けられた場合は、関連イベントレコードのイベント種別が登録される。すなわち、一つのキーイベントレコードに対する複数の関連イベントレコードが複数種類のイベント種別に分類される場合、関連付けレコードはイベント種別ごとに複数登録される。発生日は、キーイベントレコードに係るイベントの発生日である。時間帯は、関連付けられたイベントレコードが属する時間帯である。
【００４１】
例えば、画像入力された紙文書が既に印刷されたことのある電子ファイルに係るものである場合には、特徴量の一致に基づいて入力された画像データとその元となる電子ファイルとが関連付けられることになる（ケースＡ）。また、入力された画像データと、当該画像データの入力の時間帯と近い時間帯に操作（オープン、クローズ、印刷、投影等）された電子ファイルとが関連付けられることになる（ケースＢ）。
【００４２】
ケースＡの場合は、電子ファイルの印刷物である紙文書に対して行った手書きメモと当該電子ファイルとを関連付けることができる。ケースＢの場合は、電子ファイルの操作中にノートや手帳等、電子ファイルの印刷物以外の用紙に対して行った手書きメモと、当該電子ファイルとを関連付けることができる。
【００４３】
なお、各操作に応じたイベントは、ＯＳ１５に対して、入力装置１０６、投影装置１０８、画像入力装置１０９等からの割り込みが発生することにより検知される。すなわち、イベント取得部１１１は、ＯＳ１５に対する割り込みの発生を監視することにより各イベントを検知する。
【００４４】
例えば、操作者が入力装置１０７に対して入力を行ったときは、入力装置１０７から情報管理装置１０に当該入力に対応するデータが入力され、当該データに基づいて、表示装置１０６への映像の出力が行われる。これらの入出力に対応するイベント情報は、ＯＳ１５から取得可能である。したがって、イベント取得部１１１は、斯かるイベント情報を参照することにより、イベントの種別を判定することができる。
【００４５】
ところで、図４のイベントデータベース１３は、次のような具体例に対応する。まず、ａａａ．ｐｐｔが２００８年２月１日１３時５５分に開かれる。ａａａ．ｐｐｔの編集後、１４時２０分に印刷が行われ、ファイルが閉じられる。なお、ａａａ．ｐｐｔの印刷物は会議の配付資料として利用される。続いて、１５時からの会議でａａａ．ｐｐｔが１５時２分に開かれ、投影装置１０８で投影される。会議中には、ａａａ．ｐｐｔの印刷物（配布資料）や、ノート等の用紙に対してメモ書きが行われる。会議が終了し、１６時４分にａａａ．ｐｐｔが閉じられる。その後、会議中にメモ書きが行われた用紙の画像データ（以下、「画像データＡ」という。）が画像入力装置１０９（スキャナ又はデジタルカメラ等）から入力され、ｓｔｉｌｌ１．ｊｐｇとして保存される。また、ａａａ．ｐｐｔの印刷物（配布資料）に対してメモ書きが行われたものの画像データ（以下、「画像データＢ」という。）が動画形式で画像入力装置１０９より入力され、画像合成によって１枚の大きなサイズの静止画データのファイル（ｃｏｍｂｉｎｅｄ１．ｊｐｇ）として保存される。
【００４６】
画像データＡが入力されたとき（イベントＩＤ＝７のイベントレコードが作成されたとき）には、特徴量検索が行われる。画像データＡは、配布資料とは別の用紙を撮像したものであるため、特徴量検索では関連イベントレコードは検索されない。続いて、時間帯検索が行われ、イベントＩＤ＝４〜７のイベントレコードが関連イベントレコードとして検索される。当該検索結果は、リレーションＩＤ＝１の関連付けレコードとして関連付けデータベース１４に登録される。
【００４７】
画像データＢが入力されたとき（イベントＩＤ＝７のイベントレコードが作成されたとき）にも、特徴量検索が行われる。画像データＢは、配布資料（ａａａ．ｐｐｔの印刷物）に対してメモ書きを行ったものが動画形式で入力され、静止画データに合成されたものである。したがって、特徴量検索によってａａａ．ｐｐｔの特徴量を有しているイベントＩＤ＝２、イベントＩＤ＝５の二つのイベントレコードが関連イベントレコードとして検索される。二つの関連イベントレコードのイベント種別は異なるため、それぞれの関連イベントレコードに対して、リレーションＩＤ＝２、リレーションＩＤ＝３の関連付けレコードが登録される。続いて、時間帯検索が行われ、イベントＩＤ＝４〜７のイベントレコードが関連イベントレコードとして検索される。当該検索結果は、リレーションＩＤ＝４の関連付けレコードとして関連付けデータベース１４に登録される。
【００４８】
次に、情報検索時について説明する。例えば、数日後、会議中の手書きメモが記載された手帳やノート又は会議の配付資料等の紙文書等が手元に有り、当該紙文書に関連する情報（電子ファイル等）を検索したい場合である。
【００４９】
図７は、情報検索時における情報管理装置の処理手順を説明するためのフローチャートである。
【００５０】
ステップＳ３０１において、手帳やノートの手書きメモ、又は会議の配布資料が画像入力装置１０９によって撮像されると、画像データ入力部１２１は、撮像された画像データ（静止画データ又は動画データ）を画像入力装置１０９より情報管理装置１０に入力し（取り込み）、メモリ装置１０３に記録する。入力画像が動画データである場合（Ｓ３０２でＮｏ）、フレーム選択部１２２は、動画データの画像シーケンス（フレーム）中の一枚のフレームを選択し、選択されたフレームに係る画像データを特徴量抽出部１２３に入力する（Ｓ３０３）。フレーム選択部１２２によるフレームの選択は、例えば、各フレームについてエッジ強度抽出行い、その結果が所定の条件（例えば、各画素の微分値の総和が所定値以上であること）を満たすか否かによって行えばよい。この場合、当該所定の条件を満たすフレームが選択される。
【００５１】
一方、入力画像が静止画データである場合は（Ｓ３０２でＹｅｓ）、当該静止画データが特徴量抽出部１２３にそのまま入力される。
【００５２】
続いて、特徴量抽出部１２３は、で入力された画像データの特徴量を、情報蓄積部１１の特徴量抽出部１１３による方法と同じ方法で抽出（生成）する（Ｓ３０４）。ここで抽出された特徴量を以下、「カレント特徴量」という。続いて、特徴量比較部１２４は、カレント特徴量とイベントデータベース１３に登録されている特徴量とを比較し、カレント特徴量に合致（近似又は類似も含む。）する特徴量に係るイベントレコードを検索する（Ｓ３０５）。
【００５３】
検索されたイベントレコードが有る場合（Ｓ３０６でＹｅｓ）、関連情報検索部１２５は、当該イベントレコードのイベントＩＤを関連ＩＤ列に含む関連付けレコードを関連付けデータベース１４より検索し、当該関連付けレコードの関連ＩＤ列を取得する（Ｓ３０７）。続いて、関連情報検索部１２５は、取得された関連ＩＤ列に含まれる各イベントＩＤに係るイベントレコードをイベントデータベースより検索する（Ｓ３０８）。続いて、検索結果表示部１２６は、検索されたイベントレコードに基づいて、検索結果画面を表示装置１０６に表示させる（Ｓ３０９）。
【００５４】
図８は、検索結果画面の表示例を示す図である。同図において検索結果画面５１０には、カレント特徴量と一致した特徴量に係るイベントレコードのファイル名（ｓｔｉｌｌ．ｊｐｇ）と、当該イベントレコードと関連付けられているイベントレコードのファイル名、イベント種別、時間帯の一覧が表示されている。また、検索結果画面５１０の左側には、当該イベントの発生日が表示されている。なお、表示項目は、運用に応じて適宜変更すればよい。少なくとも、操作者が、検索の種として入力された画像データと関連付けられている電子ファイルを識別可能な情報（すなわち、電子ファイルの識別情報。本実施の形態ではファイル名）が表示されればよい。また、電子ファイルのサムネイル画像を生成し、当該サムネイル画像を検索結果画面５１０に表示させるようにしてもよい。
【００５５】
操作者は、このような検索結果画面５１０を参照することによって、手書きのメモ等に関連付けられている電子ファイルを容易に特定することができる。
【００５６】
続いて、操作者によって、検索結果画面５１０に表示された一覧の中から所望の行が選択されると、検索結果表示部１２６は、選択された行のファイル名に係る電子ファイルを表示装置１０６に表示させる（Ｓ３１０）。
【００５７】
上述したように、本実施の形態における情報管理装置１０によれば、手書きが行われたメモ又は印刷物と、それらと同じ時間帯に扱われていた電子ファイルとを適切に関連付けることができる。したがって、ユーザは、手書きのメモ等に基づいて、当該メモが作成されていたときに利用されていた電子ファイルを容易に検索することができる。
【００５８】
なお、関連付けデータベース１４は、必ずしも必要ではない。情報検索時において、関連付けデータベース１４への登録処理に対応する処理が行われてもよい。但し、関連付けデータベース１４を情報蓄積時に生成しておくことで、手書きが行われたメモ又は印刷物と関連する電子ファイル等を高速に検索することができる。
【００５９】
なお、特徴量抽出部１１３又は特徴量抽出部１２３による特徴量の抽出方法を以下に説明する。図９は、本実施の形態における特徴量の抽出方法を説明するためのフローチャートである。
【００６０】
まず、入力画像（特徴量の抽出対象の画像データ。ここでは、テキスト書類の画像データであるとする。）を二値化する（Ｓ４０１）。二値化には例えば特許第４０１８３１０号に記載された記述を用いればよい。続いて、二値画像に対して距離変換を適用し、距離画像を生成する（Ｓ４０２）。距離変換とは、二値画像の各画素から黒画素までの最短距離を求め、それを画素の値とする処理である。距離画像では、テキスト書類の文字の隙間や行間に尾根状に極大値が現れる。続いて、距離画像の極大値をスケルトン化して、一画素幅の線（尾根）の連結を作成する。続いて、当該線が交差（Ｔ字交差、十字交差等）する点を特徴点とする（Ｓ４０４）。したがって、複数の特徴点が検出されうる。
【００６１】
当該特徴点は、テキスト書類の空白スペース内にある又は一様な色の領域内に存在する。したがって、当該特徴点の利用は、それらが安定性及び反復可能性において優れている。すなわち、テキスト書類において、テキスト部分は多くの場合高周波の画像成分(high  frequency  image  content)を含み、その画像成分は容易に劣化する。これに対して、テキスト書類中の白色空間(背景部分)は殆ど安定的であり、周波数領域で殆どＤＣである成分を含む。白色空間中のノイズは、特徴的な場所に影響を及ぼさずに容易に選別できる。当該特徴点の位置は、各特徴点付近のテキストは通常同じように劣化するので、ノイズに対して堅牢(ロバスト的)である。
【００６２】
続いて、各特徴点のスケール（特徴スケール）を判定する（Ｓ４０５）。特徴点での距離変換値は、各特徴点に固有である。したがって特徴スケールは、特徴点の距離変換値に因子αを乗算した値として割り当てられる。
【００６３】
特徴点を中心とし特徴スケールを半径とする円の内側の内容は、カメラの面内回転及びズーム（又は、カメラの光軸が紙に垂直な場合、紙文書までの距離）に対して不変である。この特徴は局所的、即ち、当該円は小さいので、この特徴も、用紙に対するカメラの視野角の変化（面外回転）に対して堅牢である。言い換えれば、全体的な投影歪みが生じても、そのような投影歪みは局所的には非常に小さく、特徴スケールに及ぶ影響は、広範囲に亘るカメラの面外回転に関して無視できる。このように、特徴点の位置と同様に、特徴スケールも安定的で反復可能である。特徴スケールは、スケルトンに基づいて計算され、それ故に安定的になる。
【００６４】
続いて、各特徴点について、スケルトンの線が伸びている方向（特徴方向）を判定（抽出）する（Ｓ４０６）。各特徴点に関する２次元局所座標系は、特徴点を原点とし、局所的な向きをｘ軸とするように決定される。特徴方向は、この局所的な座標系に基づいて計算される。特徴方向を導出するため、特徴点を中心とし、その特徴スケールで決定される半径の円を計算する。当該円は、いくつかの位置でスケルトンの線と交わる。（スケルトンと交わる円周上の点全てのペアの中で）最も離れた２つの交点の位置を特徴方向とする。同様な距離のペアが２つあった場合、より水平方向に近いペアを選択する。例えば、当該円とスケルトンの線とが三つの点Ａ、Ｂ、及びＣにおいて交わるとする。二つの点Ａ及びＢが最も長い距離を有する場合、線分ＡＢの方向が特徴方向となる。
【００６５】
局所的な向きは、ノイズに敏感であり、いくつかの向きは異常値にさえなる可能性があるので、全体的な向き（ｇｌｏｂａｌ  ｏｒｉｅｎｔａｔｉｏｎ）の推定を利用する。特に、局所的方向を伴う特徴点により、画像の全体的な向きを推定することができる。この推定は、局所的な特徴方向の数を360ビン（各ビンにつき１度）にわたって計数することで行われる(投票)。向きのヒストグラムの最大値は、全体的な方向として選択される。投票の後、全特徴点は、選択された全体的な向きに一致した向きに割り当て直される。本実施の形態では、ヒストグラムについて数を数える際、粗分割の手法を使用し、ノイズで乱される場合でもヒストグラムが円滑に変化することを保証する。
【００６６】
特徴方向はスケルトンによって決定され、スケルトンは上述したように安定的である。したがって、特徴方向も安定的になる。
【００６７】
以上において導出された、特徴点ごとの位置及び方向の集合（配列）が入力画像の特徴量となる。
【００６８】
続いて、斯かる特徴量のマッチング方法について説明する。比較される二つの画像データから抽出される特徴量は、上記のように特徴点ごとの位置と方向（各特徴点の属性情報）の集合（配列）である。したがって、特徴量のマッチングは、二つの配列を照合することにより行われる。一方の配列が他方の配列の少なくとも一部に合致すれば、一方の画像データは、他方の画像データの少なくとも一部であること、及び当該一部の位置を判定することができる。なお、特徴点の位置と方向との比較は、完全一致のみならず、所定の閾値の範囲内であれば合致すると判定するようにするとよい。
【００６９】
以上のような特徴量によれば、完全一致のみならず類似の判定も可能である。また、一部と全体との比較も可能である。具体的には、情報蓄積時に紙面の一部のみの画像データが撮像され、情報検索時に紙面全面の画像データが撮像された場合や、その逆の場合（情報蓄積時に紙面全面の画像データが撮像され、情報検索時に紙面の一部の画像データが撮像された場合）であっても、両者をマッチングすることができる。したがって、例えば、情報検索時にカメラ付き携帯電話等によってメモ等の一部を手軽に撮像し、当該メモ等に関連する電子ファイルを検索することもできる。但し、本発明に適用可能な特徴量を以下のものに限定する趣旨ではない。例えば、ハッシュ値等を特徴量として用いてもよい。
【００７０】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態における情報管理装置のハードウェア構成例を示す図である。
【図２】本発明の実施の形態における情報管理装置のソフトウェア構成例を示す図である。
【図３】情報蓄積時における情報管理装置の処理手順を説明するためのフローチャートである。
【図４】イベントデータベースの構成例を示す図である。
【図５】関連生成部による関連イベントレコードの検索処理を説明するためフローチャートである。
【図６】関連付けデータベースの構成例を示す図である。
【図７】情報検索時における情報管理装置の処理手順を説明するためのフローチャートである。
【図８】検索結果画面の表示例を示す図である。
【図９】本実施の形態における特徴量の抽出方法を説明するためのフローチャートである。
【符号の説明】
【００７２】
１０      情報管理装置
１１      情報蓄積部
１２      情報検索部
１３      イベントデータベース
１４      関連付けデータベース
１５      ＯＳ（Operating System）
１００    ドライブ装置
１０１    記録媒体
１０２    補助記憶装置
１０３    メモリ装置
１０４    ＣＰＵ
１０６    表示装置
１０７    入力装置
１０８    投影装置
１０９    画像入力装置
１１１    イベント取得部
１１２    ラスター化部
１１３    特徴量抽出部
１１４    画像取得部
１１５    画像合成部
１１６    情報記録部
１１７    関連生成部
Ｂ            バス
【図１】
2010039643.tif 000003
【図２】
2010039643.tif 000004
【図３】
2010039643.tif 000005
【図４】
2010039643.tif 000006
【図５】
2010039643.tif 000007
【図６】
2010039643.tif 000008
【図７】
2010039643.tif 000009
【図８】
2010039643.tif 000010
【図９】
2010039643.tif 000011