(57)【要約】【課題】  ドキュメント画像をその内容に応じた領域毎の単位で扱うことによりそれらのメタデータを普遍的に扱うことができ、もって、管理、検索、操作などの利便性を向上させる。【解決手段】  ドキュメント画像に関するコンテンツおよびコンテキストのメタデータを管理を行うために、ドキュメント画像の画像内容に基づいて所定の画像領域を画像オブジェクトとして解析し、解析された画像オブジェクトのコンテンツに基づいて属性情報を抽出し、抽出されたコンテンツのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理すると共に、ドキュメント画像のドキュメントの状況に基づいて属性情報を抽出し、抽出されたコンテキストのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するようにした。【選択図】  図１
2006120125.tif 000002
【特許請求の範囲】
【請求項１】
ドキュメント画像に関するコンテンツおよびコンテキストのメタデータを管理するドキュメント画像情報管理装置であって、
ドキュメント画像の画像内容に基づいて所定の画像領域を画像オブジェクトとして解析する画像解析部と、
前記画像解析部により解析された画像オブジェクトのコンテンツに基づいて属性情報を抽出するコンテンツメタデータ抽出部と、
前記コンテンツメタデータ抽出部により抽出されたコンテンツのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテンツメタデータ管理部と、
前記ドキュメント画像のドキュメントの状況に基づいて属性情報を抽出するコンテキストメタデータ抽出部と、
前記コンテキストメタデータ抽出部により抽出されたコンテキストのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテキストメタデータ管理部と
を備えてなるドキュメント画像情報管理装置。
【請求項２】
請求項１に記載のドキュメント画像情報管理装置において、
前記コンテンツメタデータ管理部に管理されているコンテンツメタデータ及び前記コンテキストメタデータ管理部に管理されているコンテキストメタデータに対する検索キーを発行し、該検索キーに基づいて前記ドキュメント画像および前記画像オブジェクトを検索する検索部を備えてなるドキュメント画像情報管理装置。
【請求項３】
請求項２に記載のドキュメント画像情報管理装置において、
前記検索部は、ユーザの要求に基づいて検索キーを発行するユーザ要求検索部であるドキュメント画像情報管理装置。
【請求項４】
請求項２に記載のドキュメント画像情報管理装置において、
前記検索部は、ユーザの状況を判定して検索キーを発行するユーザ状況判定検索部であるドキュメント画像情報管理装置。
【請求項５】
請求項２に記載のドキュメント画像情報管理装置において、
前記検索部により検索されたドキュメント画像および画像オブジェクトを表示する画面を構成する検索結果画面構成部を備えるドキュメント画像情報管理装置。
【請求項６】
ドキュメント画像に関するコンテンツおよびコンテキストのメタデータを管理をコンピュータに実行させるドキュメント画像情報管理プログラムであって、
ドキュメント画像の画像内容に基づいて所定の画像領域を画像オブジェクトとして解析する画像解析ステップと、
前記画像解析ステップにより解析された画像オブジェクトのコンテンツに基づいて属性情報を抽出するコンテンツメタデータ抽出ステップと、
前記コンテンツメタデータ抽出部により抽出されたコンテンツのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテンツメタデータ管理ステップと、
前記ドキュメント画像のドキュメントの状況に基づいて属性情報を抽出するコンテキストメタデータ抽出ステップと、
前記コンテキストメタデータ抽出部により抽出されたコンテキストのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテキストメタデータ管理ステップと
をコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項７】
請求項６に記載のドキュメント画像情報管理プログラムにおいて、
前記コンテンツメタデータ管理ステップにおいて管理されているコンテンツメタデータ及び前記コンテキストメタデータ管理ステップにおいて管理されているコンテキストメタデータに対する検索キーを発行し、該検索キーに基づいて前記ドキュメント画像および前記画像オブジェクトを検索する検索ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項８】
請求項７に記載のドキュメント画像情報管理プログラムにおいて、
前記検索ステップは、ユーザの要求に基づいて検索キーを発行し検索を行うユーザ要求検索ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項９】
請求項７に記載のドキュメント画像情報管理プログラムにおいて、
前記検索ステップは、ユーザの状況を判定して検索キーを発行し検索を行うユーザ状況判定検索ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項１０】
請求項７に記載のドキュメント画像情報管理プログラムにおいて、
前記検索ステップにより検索されたドキュメント画像および画像オブジェクトを表示する画面を構成する検索結果画面構成ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項１１】
請求項１０に記載のドキュメント画像情報管理プログラムにおいて、
前記検索結果画面構成ステップは、前記検索ステップにより複数のドキュメント画像及び画像オブジェクトが検索された場合に、前記検索キーと異なる他の所定のメタデータを用いて検索された前記複数のドキュメント画像及び画像オブジェクトを変更して一覧表示する画面制御ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項１２】
請求項１０に記載のドキュメント画像情報管理プログラムにおいて、
前記検索結果画面構成ステップにより構成された画面に対して、ユーザの要求に基づいて表示制御を行うユーザ要求画面制御ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項１３】
請求項１０に記載のドキュメント画像情報管理プログラムにおいて、
前記検索結果画面構成ステップにより構成された画面に対して、ユーザの状況を判定すると共に該判定状況に基づいて表示制御を行うユーザ状況判定画面制御ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【請求項１４】
請求項６に記載のドキュメント画像情報管理プログラムにおいて、
前記コンテンツメタデータ管理ステップ又は前記コンテキストメタデータ管理ステップにおいて管理されている前記ドキュメント画像及び画像オブジェクトに対しての作業に関するコンテキストのメタデータを抽出する管理下ドキュメントメタデータ抽出ステップをコンピュータに実行させるドキュメント画像情報管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ドキュメント画像に関するコンテンツおよびコンテキストのメタデータを管理するドキュメント画像情報管理装置及びドキュメント画像情報管理プログラムに関するものである。
【背景技術】
【０００２】
従来より知られているドキュメント画像情報管理装置におけるドキュメント画像情報の管理においては、特定のフォーマットに従って構成されたファイルなどの実体、またはそこに含まれる個々のページの単位で行われる。そして、それらの単位でのコンテンツ、コンテキスト、インスタンス、それぞれに関するメタデータが収集されて登録され、それら収集されたメタデータはドキュメント画像と関連付けられてドキュメント画像の管理・操作・検索に利用される。
【０００３】
尚、このような従来技術に関する特許文献として、例えば、下記特許文献１が知られる。
【特許文献１】特開２００２−１１６９４６号公報が知られる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来のドキュメント画像情報管理装置では、装置において設定された単位に依存したメタデータしか扱うことができず、例えば、ある画像中の特定の領域をコピーしたり、他のドキュメントに画像として貼り付けたりするような場合に、元のドキュメントが保持していたメタデータを継承することはできないという問題があった。
【０００５】
これは画像読取装置や画像形成装置などのドキュメント入出力システムに依存した特定のメタデータにおいても同様であり、例えばスキャンしたドキュメント画像を解析して得られたコンテンツのメタデータと、スキャンした人や日時といったコンテキストのメタデータと、そのドキュメント画像の保管場所やサイズといったインスタンスのメタデータとを統合して扱うような場合において、スキャンしたドキュメント画像の特定領域（例えばタイトルとみなされるような領域）を画像として抽出しても、その領域の画像が元は誰によって、何時スキャン等によって得られた画像であるかといった情報は失われるという問題があった。
【０００６】
この発明は上述した問題点を解決するためになされたものであり、ドキュメント画像をその内容に応じた領域毎の単位で扱うことによりそれらのメタデータを普遍的に扱うことができ、もって、管理、検索、操作などの利便性を向上させることができるドキュメント画像情報管理装置及びドキュメント画像情報管理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上述した課題を解決するため、本発明は、ドキュメント画像に関するコンテンツおよびコンテキストのメタデータを管理するドキュメント画像情報管理装置であって、ドキュメント画像の画像内容に基づいて所定の画像領域を画像オブジェクトとして解析する画像解析部と、前記画像解析部により解析された画像オブジェクトのコンテンツに基づいて属性情報を抽出するコンテンツメタデータ抽出部と、前記コンテンツメタデータ抽出部により抽出されたコンテンツのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテンツメタデータ管理部と、前記ドキュメント画像のドキュメントの状況に基づいて属性情報を抽出するコンテキストメタデータ抽出部と、前記コンテキストメタデータ抽出部により抽出されたコンテキストのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテキストメタデータ管理部とを備えてなる。
【０００８】
また、本発明は、ドキュメント画像に関するコンテンツおよびコンテキストのメタデータの管理をコンピュータに実行させるドキュメント画像情報管理プログラムであって、ドキュメント画像の画像内容に基づいて所定の画像領域を画像オブジェクトとして解析する画像解析ステップと、前記画像解析ステップにより解析された画像オブジェクトのコンテンツに基づいて属性情報を抽出するコンテンツメタデータ抽出ステップと、前記コンテンツメタデータ抽出部により抽出されたコンテンツのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテンツメタデータ管理ステップと、前記ドキュメント画像のドキュメントの状況に基づいて属性情報を抽出するコンテキストメタデータ抽出ステップと、前記コンテキストメタデータ抽出部により抽出されたコンテキストのメタデータをドキュメント画像および前記画像オブジェクトと関連付けて管理するコンテキストメタデータ管理ステップとを備えてコンピュータに実行させる。
【発明の効果】
【０００９】
ドキュメント画像をその内容に応じた領域毎の単位で扱うことによりそれらのメタデータを普遍的に扱うことができ、もって、管理、検索、操作などの利便性を向上させることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照しつつ説明する。
尚、以下の記述において、[ＸＸ]はＸＸがメタデータの名称を表し、“ＸＸ”はＸＸがメタデータの持つ値又は内容を表すものとする。また、図の各ブロックにより示される各部（例えば画像解析部）は、必要に応じて、ハードウェア又はソフトフェア（モジュール）或いはこれらの組み合わせにより構成され得るものである。更に、本明細書において、ドキュメントとは、アプリケーションの文書ファイルや、画像・音声などのフォーマットを持ったデータファイルを意味している。そして、ドキュメントの実体とは、ドキュメントが記述されている様式、フォーマットに依存した実際の実体を意味し、例えば、Windows（登録商標）のファイルシステムではその上で管理されているファイルや、ドキュメントマネージメントシステムではその上の画像を管理しているデータベース内に保管されているデータレコードなどを意味するものとする。様式やフォーマットとしては、TIFF、PDF（登録商標）やドキュメントマネージメントシステム独自の保管形式などがある。
【００１１】
図１は、本発明の実施の形態におけるドキュメント画像情報管理システムを示す全体ブロック図、図２は同システムのネットワーク構成図、図３は本実施の形態におけるドキュメントの概念を説明する図である。
【００１２】
本実施の形態のドキュメント画像情報管理システムは、図１に示されるように、ドキュメント画像情報管理装置１００とこれらに適宜接続されることができる画像読取り装置１０１、画面表示装置１０２、印刷装置１０３を備えて構成される。また、図２に示されるように、ドキュメント画像情報管理装置１００はネットワークサーバ１００Ａにおいて構成され、また、画像読取り装置１０１、画面表示装置１０２及び印刷装置１０３は、ＭＦＰ（デジタル多機能複合機）１０４により構成されている。もちろん、これら画像読取り装置１０１、画面表示装置１０２及び印刷装置１０３は、それぞれ別個の装置により構成されてネットワーク接続されていても良い。
【００１３】
ドキュメント情報管理装置１００は、画像解析部１と、ドキュメント画像管理部２と、コンテンツメタデータ抽出部３と、コンテンツメタデータ管理部４と、コンテキストメタデータ抽出部５とを備える。
【００１４】
さらに、ドキュメント情報管理装置１００は、コンテキストメタデータ管理部６と、ユーザ要求検索部７と、検索結果画面構成部８と、ユーザ要求画面制御部９と、ユーザ状況判定検索部１０と、ユーザ状況判定画面制御部１１と、管理下ドキュメントメタデータ抽出部１２とを備えている。ユーザ要求検索部７とユーザ状況判定検索部１０は本発明の検索部を構成している。
【００１５】
画像解析部１は、ドキュメント画像の内容を走査し、画像を構成している、ある特定の領域を抽出する部であり、例えば、文字が複数の行に亘って書かれている段落があればそれを文字領域として認識し、図が描かれている領域は図領域として認識する。認識された個々の画像の領域は、画像オブジェクトとして個別に扱う。
【００１６】
ドキュメント画像管理部２は、ドキュメント画像および画像オブジェクトを管理する部であり、例えばリレーショナルデータベースシステム中のテーブルで、テーブル内部でドキュメント画像および画像オブジェクトを一意に認識可能な識別子をレコードとして管理する。
【００１７】
コンテンツメタデータ抽出部３は、ドキュメントのコンテンツに関するメタデータを抽出する部であり、画像解析部１によって抽出された領域に対し、その画像領域が持つ意味的な属性情報を抽出する。例えば、文字領域として認識された領域に対して、領域のタイプの識別情報（タイプ=文字など）や、その座標情報、また文字を文字認識（OCR）した結果のテキスト情報などをメタデータとして抽出する。
【００１８】
コンテンツメタデータとしては、ドキュメントが画像情報として存在する場合、文字領域・画像領域・図表領域の区別や領域座標や領域面積や全体画像中に占める率、文字の色・フォント・文字サイズ・字体情報、レイアウトを解析した結果からの画像上の構成情報（タイトルと思われる領域、日付と思われる領域などの領域座標や領域面積や全体画像中に占める率）などが含まれる。
【００１９】
ドキュメントが文書の構造情報を持った形式（ワープロアプリのファイル形式やXMLなどの、本文のテキスト情報などと共に、フォント情報、段組情報などをデータとして持った形式）として存在する場合は、対応する領域とそのデータ、領域の意味的な属性（タイトル、作者名など）も含まれる。
【００２０】
コンテンツメタデータ管理部４は、元々のドキュメント画像および画像オブジェクトと、抽出されたコンテンツメタデータを関連付けて管理する部である。例えばリレーショナルデータベースシステム中のテーブルで、ドキュメント画像管理部２によって管理されるドキュメント画像および画像オブジェクトの識別子に対応するコンテンツメタデータを識別子に関連付けられたレコードとしてテーブル内部で管理する。
【００２１】
コンテキストメタデータ抽出部５は、ドキュメントに対する操作や作業、及びそのドキュメントが置かれている周辺環境といった状況が持つ意味的な属性情報を抽出する部である。例えば、ドキュメント画像が紙原稿をドキュメント入力装置によってスキャンされた画像であった場合、そのスキャンしたユーザが誰であるかといった情報や、さらにそれに依存する情報としてそのユーザが所属するグループはどこであるかといった情報などをメタデータとして抽出する。ドキュメント入力装置としては、画像読み取り装置（スキャナ）や通信装置（ＦＡＸ）などがあげられる。
【００２２】
コンテキストメタデータとしては、該当ドキュメントの作成者、作成者の属するグループ、作成者の主に常駐する場所、使用者、使用者の属するグループ、使用者の主に常駐する場所、作成時の日時、作成時の天候、作成時の作成者の周囲の環境、使用時の日時、使用時の天候、使用者の周囲の環境、などの属性及びプロパティ情報等が含まれる。
【００２３】
コンテキストメタデータ管理部６は、対象となるドキュメントのドキュメント画像および画像オブジェクトと、抽出されたコンテキストメタデータを関連付けて管理する部であり、例えばリレーショナルデータベースシステム中のテーブルで、ドキュメント画像管理部２によって管理されるドキュメント画像および画像オブジェクトの識別子に対応するコンテキストメタデータを、識別子に関連付けられたレコードとしてテーブル内部で管理する。
【００２４】
ユーザ要求検索部７は、ユーザから画像検索の要求を受け取って検索を行う部であり、例えば、ユーザから特定のメタデータの値にマッチする画像を検索したいとの要求に応じて検索キーを作成（発行）し、コンテンツメタデータ管理部４およびコンテキストメタデータ管理部６からその検索キーにマッチするドキュメント画像および画像オブジェクトの識別子を検索結果として受け取り、ドキュメント画像管理部２からその識別子にマッチする画像を取得する。
【００２５】
検索結果画面構成部８は、ユーザ要求検索部７にて検索結果として得られたドキュメント画像および画像オブジェクトをユーザに提示する画面を構成する部であり、例えば、検索キーにマッチした画像がドキュメント画像管理部２から複数取得された場合、それらを別のメタデータの値でソートし画像オブジェクトを一覧してユーザに表示する画面を構成する。
【００２６】
ユーザ要求画面制御部９は、検索結果画面構成部８にて構成された画面に対してユーザの要求に応じて表示を制御する部であり、例えば、あるメタデータの値でソートして画像オブジェクトを一覧した画面に対し、別のメタデータの値でフィルタをかけたりソートをし直したりして一覧画面を表示（変更表示）する。
【００２７】
ユーザ状況判定検索部１０は、ユーザの置かれている状況に応じた画像検索の要求を受け取って検索を行う部である。このユーザ状況判定検索部１０は、例えば、図２に示すようにドキュメント画像情報管理装置１００に複数の画像を登録する画像読取り装置１０１が接続され、それらの印刷装置１０３にはそれぞれ画面表示装置１０２が直接接続されている場合において、ユーザがドキュメントの検索において画面表示装置１０２を操作する場合には、ユーザが画面表示装置１０２を操作していることを認識することができる。そして、それによってユーザの置かれている状況として、ユーザが画面表示装置１０２に接続されている印刷装置１０３の傍に居るということを判定し、それによって、既に登録されているドキュメント画像で、この特定された印刷装置１０３によってスキャンされたドキュメントであるというような検索を自動的に行うことができる。
【００２８】
ユーザ状況判定画面制御部１１は、検索結果画面構成部８にて構成された画面に対してユーザの置かれている状況に応じて表示を制御する部である。例えば、検索結果画面構成部８にて構成された画面を画面表示装置１０２に表示する時の日時を認識し、そこから定期的なイベントを現在の操作に関係するものであると特定することができる。そして、ドキュメント画像を一覧した画面に対し、この特定されたイベントに関するタイミングによってスキャンされたドキュメント、というようなフィルタを自動的に行い一覧画面を表示する。
【００２９】
管理下ドキュメントメタデータ抽出部１２は、既に登録されているドキュメント画像に対しての処理がもつ意味的な属性情報を抽出する部である。
印刷装置１０３は、電子的なフォーマットを持った画像ファイル（PDF、TIFFなど）や、アプリケーションによって作成されたドキュメント（ワープロアプリケーションなどで作成された文書ファイルなど）の内容をビットマップなどの形式に変換したものを用紙に印刷する。
【００３０】
図３に示すように、本発明で取り扱われるドキュメントは、メディアの状態によって、紙原稿A-1として、紙に描画或いは印刷されたもの、アプリケーションファイルA-2として、ワープロなどの特定のアプリケーション形式の電子ファイル、画像フォーマットファイルA-3として、JPEGなどの特定のフォーマットに従って構成された電子ファイルなどの分類がある。
【００３１】
電子的に存在するドキュメントに対しては、［作成アプリ］や［保存されているファイルパス］などのインスタンスに関するメタデータが存在する。
また、それらをシステムが管理可能な画像形式のドキュメント画像にするためには、スキャンするなどの作業B-1として、ドキュメントの入力装置の画像読取り装置１０１や、デジタルカメラなどによる画像取り込みの作業がある。また、RIPによるラスタライズなどの作業B-2として、アプリケーションからの印刷要求に従いドキュメント出力装置の印刷装置１０３などに対応したドライバなどによって、例えばビットマップ化された形式に変換する作業がある。また、フォーマット変換などの作業B-3として、既にある画像フォーマットファイルをシステムに登録するために、特定のフォーマットへの変換を行う作業などがある。
【００３２】
そして、システムへドキュメント画像を登録する際に、これらの作業に対して、［画像作成ユーザ］や［変換した日時］などの、コンテキストに関するメタデータが存在する。またさらに、［画像作成ユーザ］に対しては、そのユーザが所属する［ユーザ所属グループ］などの依存関係のあるメタデータも存在する。これらの依存関係を持ったメタデータの取得には、ユーザ管理データをシステムの内部もしくは外部に備え、必要に応じて問い合わせができるようになっている必要がある。
【００３３】
実施の形態１．
以下、本発明の実施の形態１について説明する。実施の形態１は、上述した図１の構成において、画像解析部１、ドキュメント画像管理部２、コンテンツメタデータ抽出部３、コンテンツメタデータ管理部４、コンテキストメタデータ抽出部５、コンテキストメタデータ管理部６、ユーザ要求検索部７、検索結果画面構成部８、ユーザ要求画面制御部９を備えて構成され得る。
【００３４】
実施の形態１で行われる処理の一例として、紙原稿をスキャナなどの画像読取り装置１０１で読み込んだドキュメント画像に対し、画像解析を行った上でコンテンツメタデータを抽出し、さらにスキャン時のコンテキストメタデータを抽出し、それらをドキュメント画像および画像オブジェクトと共に管理するという処理について説明する。
【００３５】
ここでは、画像読取り装置１０１で紙原稿をスキャンし、その取得されたドキュメント画像に対して画像内容を解析し、[タイトル]のコンテンツメタデータを抽出し、さらにスキャンした際に画像読取り装置１０１により[スキャンしたユーザ]を抽出し、それらのメタデータをドキュメント画像およびタイトルに相当する画像オブジェクトを管理する。
【００３６】
以下、実施の形態１の動作を図４に示すフローチャートを用いて説明する。
まず、画像解析部１は、画像読取り装置１０１が紙原稿をスキャンして得られるドキュメント画像を保管する場所の監視を開始する（Flow1-2）。ここでのドキュメント画像は画像読取り装置１０１に依存したフォーマットであり、必要があれば画像解析部１が解析を行うことのできるフォーマットに変換を行う。
【００３７】
この例では、この保管場所に保管されるドキュメント画像は、画像読取り装置１０１によってスキャンされたドキュメント画像であるが、これは画像読取り装置１０１が当システム内部に含まれている場合だけでなく、ネットワークの接続機能により、スキャンされたドキュメント画像がデータとしてシステムの保管場所に送信されてくる場合もある。他にもFax送信された画像を受信して画像として保管したり、電子メールに添付されているファイルを自動的に画像に変換して保管したり、コピー機でコピーされた画像を用紙に印刷すると共に電子的に保管したりする場合もある。また、図３の作業B-2、B-3によって画像を保管する場合もある。
【００３８】
これらの結果により、保管場所に新規の画像データが検出される（Flow1-3）と、そのドキュメント画像はドキュメント画像管理部２によって一意に識別可能な識別子を与えられ管理される（Flow1-4）。ドキュメント画像管理部２では、図５に示すように、リレーショナルデータベースシステムのテーブル（ドキュメント画像の管理テーブル）に、ドキュメント画像の識別子（doc20040727_001）とそのドキュメント画像の配置場所（C:￥ImageFolder￥doc20040727_001.pdf）がファイルシステムのファイルパスで記述されて管理されている。他にも、ドキュメント画像をバイナリのレコードとして直接にテーブル内に格納したりする場合も考えられる。この例では、ドキュメント画像はPDFの形式で管理されているものとし、スキャンされた複数のページがまとめて一つのファイル（doc20040727_001.pdf）に含まれている。
【００３９】
次に、画像解析部１はドキュメント画像の解析（画像解析ステップ）を行う（Flow1-5）。この解析では、従来より知られている技術によって、例えば画像を２値の画素に変換し画素が存在する領域をブロック化しその傾向から画像を解析するという手法によって解析を行う。この解析により、ドキュメント画像が一定のまとまりを持つ画像オブジェクトを持つものであるかどうかの認識を行う（Flow1-6）。
【００４０】
もしドキュメント画像中に画像オブジェクトが認識されれば、その領域は個々の画像として分割される。分割された個々の画像オブジェクトは個別の画像として扱うことができ、ドキュメント画像管理部２によって一意に識別可能な識別子を与えられて管理される（Flow1-7）。ドキュメント画像管理部２では、図６に示すように、リレーショナルデータベースシステムのテーブルに、元となるドキュメント画像の識別子（doc20040727_001）と画像オブジェクトの識別子（doc20040727_001_01）とその画像オブジェクトの配置場所（C: ￥ImageFolder￥doc20040727_001_01.jpg）がファイルシステムのファイルパスで記述されて管理されている。他にも、画像オブジェクトをバイナリのレコードとして直接にテーブル内に格納したりする場合も考えられる。
【００４１】
この例では、画像オブジェクトはJPEGの形式で管理されているものとし、個々の画像オブジェクトが一つのファイル（doc20040727_001_01.jpg）として管理される。さらにコンテンツメタデータ抽出部３は、その画像オブジェクトがなんらかの意味的なまとまりであるかどうかを認識し、そこから画像オブジェクトのコンテンツのメタデータを抽出する（コンテンツメタデータ抽出ステップ：Flow1-8）。例えば、画像解析部１によってブロック化された領域の傾向から文字が何行かに亘って書かれているものであると認識されていた場合、コンテンツメタデータ抽出部３はその画像オブジェクトの[領域のタイプ]が“文字”であるというメタデータとして抽出する（図３、メタデータC-1-1）。また、その領域が画像中に占める位置や割合から、その領域がこのドキュメント画像におけるタイトルに相当する部分であると認識し、[画像中の意味構造]は“タイトル部分”である、というメタデータを抽出する（図３、メタデータC-1-2）。
【００４２】
さらに、従来より知られているOCRの技術によって、その画像オブジェクトに書かれた文字列を抽出することができ、タイトル部分に書かれている[文字列]は“特許提案書”であるというメタデータを抽出する（図３メタデータC-1-3）。こうして得られたコンテンツのメタデータは、コンテンツメタデータ管理部４によって管理される。ここでは、ドキュメント画像管理部２によって画像オブジェクトに与えられた一意に識別可能な識別子と関連付けて管理される（コンテンツメタデータ管理ステップ：Flow1-9）。コンテンツメタデータ管理部４では、図７に示すようにリレーショナルデータベースシステムのテーブルに、対象となる画像オブジェクトの識別子（doc20040727_001_01）とその画像オブジェクトに関するコンテンツのメタデータが管理されている。
【００４３】
Flow1-6にて画像オブジェクトが認識されたかどうかに関わらず、コンテキストメタデータ抽出部５は、画像読取り装置１０１でのスキャン作業に関する情報を取得し、そこからメタデータを抽出する（コンテキストメタデータ抽出ステップ：Flow1-10）。この例では、画像読取り装置１０１にてスキャン作業を行う際にユーザは画像読取り装置１０１に対してログイン作業が要求されているものとする。メタデータである“XXX太郎”がそのログイン作業を行ったユーザ名である場合、画像読取り装置１０１は画像の保管場所にそのユーザ名を記述したファイルを同時に置いているものとすると、コンテキストメタデータ抽出部５はそのファイルを読み込むことで、ログイン後にスキャンを行ったユーザ名を認識し、[画像作成ユーザ]は“XXX太郎”である、というコンテキストのメタデータを抽出することができる（図３、メタデータB-1-1）。
【００４４】
またユーザが所属しているグループが別途管理されている場合、例えば組織内の統合アドレス帳やLDAPサーバなどが運用されている場合は、これら統合アドレス帳やLDAPサーバから該当するユーザの所属しているグループが取得することができ、[ユーザ所属グループ]は“XXX第３課”である、というコンテキストのメタデータを抽出することができる（図３、メタデータB-1-2）。
【００４５】
また、図２に示すように、複数の画像読取り装置１０１がネットワークにて接続されている場合においては、本ドキュメント画像情報管理装置はネットワークのサーバ上で動作しており、画像読取り装置１０１はそのネットワーク上に複数配置可能なネットワーク通信機能を持った複合機の中のスキャン機能を提供する装置となり得る。
【００４６】
この場合、スキャン作業を行った画像読取り装置１０１は自己に設定されている装置の名前（MFP_01）を知ることができ、これにより[画像作成装置]は“MFP_01”である、というコンテキストのメタデータを抽出することができる（図３、メタデータB-1-3）。
【００４７】
さらに、このスキャンが行われた日時から、その作業に関連するイベントを推測することもできる。例えば、会議召集情報などのイベント情報がメーラやスケジュール管理システムで管理されている場合で、ある日時にある装置（MFP_01）でスキャンが行われたとすると、それはイベント情報の開催日時や開催場所と照らし合わせることによって、どのイベントに関係してスキャンされたかを推測することができる。
【００４８】
ここでは、毎週火曜日に開催されている“火曜日定例会”という会議がスケジュール帳に登録されており、その開催場所が“MFP_01”の設置場所の近くである場合を考える。
【００４９】
コンテキストメタデータ抽出部５は、あるスキャン作業が発生した場合に、登録されているイベント情報とスキャン作業の情報から、このスキャン動作が“火曜日定例会”で使用された会議資料がスキャンされたものであると推定し、メタデータの名称である[関連イベント]はその内容が“火曜日定例会”であるというコンテキストのメタデータを抽出することができる（図３、メタデータB-1-4）。
【００５０】
これら抽出されたコンテキストのメタデータはコンテキストメタデータ管理部６によって管理される（コンテキストメタデータ抽出ステップ：Flow1-11）。ここでは、ドキュメント画像管理部２によって画像オブジェクトに与えられた一意に識別可能な識別子と関連付けて管理される。コンテキストメタデータ管理部６では、図８のようにリレーショナルデータベースシステムのテーブルに、対象となるドキュメント画像の識別子（doc20040727_001）とそのドキュメント画像に関するコンテキストのメタデータが管理されている。[ユーザ所属グループ]といった、外部で別途管理されているデータから得られるような２次的なメタデータは、必ずしも図８に示すように、コンテキストメタデータ管理部６で管理されている必要はなく、後述するような問い合わせが発生した際に随時その外部管理されているデータを参照しても良い。
【００５１】
実施の形態２．
実施の形態２では、実施の形態１の構成に加えて、さらにユーザ要求検索部７と、検索結果画面構成部８と、ユーザ要求画面制御部９とを備える。
【００５２】
これらによって行われる処理の一例として、ユーザがスキャンによって登録されたドキュメント画像を、そのタイトル領域の一覧を閲覧することによってドキュメントを探したり、さらにその一覧の並びを指定することによってドキュメントをさらに探しやすくするような機能を実現する場合について説明する。
【００５３】
ここでは、ユーザが既にスキャンされたドキュメント画像を、そのドキュメント画像から解析された画像オブジェクトの[画像中の意味構造]が“タイトル”として認識された画像オブジェクトの一覧が画面表示装置１０２に表示されてそれを閲覧することによって探すと共に、さらにその一覧を[画像作成ユーザ]の値（ここではその名前）でフィルタをかけることによって一覧の閲覧性を向上させて探すようにする。以下、かかる実施の形態２の動作を図９のフローチャートを用いて説明する。
【００５４】
まず、ユーザ要求検索部７は、ユーザから既に登録されているドキュメント画像を、そのタイトルとして認識された画像オブジェクトにおいて一覧したい、との要求を受け取る（Flow2-2）。これは、本装置がそのようなユーザ要求を受け付けられるような画面を用意している場合もあれば、後述する検索結果画面構成部８によって対象となる画像の一覧を表示するための画面を有して、都度そこに最新の登録されたドキュメント画像および画像オブジェクトを表示するようになっており、自動的にユーザ要求としてユーザ要求検索部７に要求を出す場合もある。
【００５５】
ユーザ要求検索部７はコンテンツメタデータ管理部４に対して、[画像中の意味領域]の値が“タイトル”である画像オブジェクトの識別子（複数あり得る）を問い合わせるための検索式を発行する（ユーザ要求検索ステップ（検索ステップ）：Flow2-3）。この検索式を図７のテーブルに対して評価した結果、該当する画像オブジェクトが存在すれば（Flow2-4）、ユーザ要求検索部７はその識別子を元にドキュメント画像管理部２から対象となる画像オブジェクトの画像データを図６のテーブルに対して問い合わせることによって取得する（Flow2-5）。
【００５６】
次に、検索結果画面構成部８は、その取得された画像データを元に、画像オブジェクトの一覧を提示する画面を構成する（検索結果画面構成ステップ：Flow2-6）。この画面は、図１０に示すように、“タイトル”の「ＡＡＡＡＡＡ」の部分は抽出された画像そのものである画像オブジェクトのみを識別しやすいように並べるような画面である。構成された画面は、画面表示装置１０２に表示することによってユーザに提示する。ユーザはこの並べられた画面を自由にスクロールさせることによって、所望の画像を容易に探し出すことができる。
【００５７】
また、“タイトル”の画像オブジェクトを元に所望のドキュメントを探すことができた場合は、その画像を指定する。例えばクリックすることによって、元々のドキュメント画像全体を表示させたり、複数のページが存在する場合はそれらを全て表示させたりするような画面を構成することによって内容を確認することができる。
【００５８】
Flow2-4にて、該当する画像オブジェクトが存在しなければ、検索結果画面構成部８は該当する画像が無かった、ということをユーザに通知する（Flow2-14）。これは、検索結果画面構成部８がその旨を記述した画面を構成し、画面表示装置１０２に表示することによってユーザに通知することができる。
【００５９】
ユーザは、“タイトル”の画像オブジェクトの一覧から所望のドキュメントを探そうとするが、この一覧の画像オブジェクトの数が多い場合、ユーザはその中から所望のドキュメントを探すのが困難である。そのような場合、ユーザはフィルタ条件を与えてその条件にマッチしたもののみを一覧し、ドキュメントを容易に探せるようにする。
【００６０】
この例として、ユーザが過去に自分（XXX太郎）がスキャンした画像のみをフィルタ条件に設定する場合について記述する。ユーザ要求画面制御部９は、ユーザから、画像をスキャンした特定の人に限定して一覧を閲覧したい、という要求を受け取る（Flow2-7）ことがある。この要求の指示は、図１０のように構成された画面において、フィルタの条件が「スキャンした人」などの言葉で表現されて、その値を選択することで指示できるようになっている。ここで選択できる値は、予め登録しておいたり、過去に登録されたドキュメントの[画像作成ユーザ]の値の一覧を取得したりすることで収集することができる。
【００６１】
この要求により、ユーザ要求画面制御部９は、ユーザ要求検索部７に対し、さらに[画像作成ユーザ]が“XXX太郎”である画像オブジェクトのみを取得したい、との要求があったことを伝える（Flow2-8）。すると、ユーザ要求検索部７は、コンテキストメタデータ抽出部５に対して、さらなる条件として、[画像作成ユーザ]が“XXX太郎”である画像オブジェクトの識別子を問い合わせるための検索式を発行する（Flow2-9）。
【００６２】
この検索式を図８のテーブルに対して評価した結果、該当する画像オブジェクトが存在すれば（Flow2-10）、ユーザ要求検索部７は、その識別子を元にドキュメント画像管理部２から対象となる画像オブジェクトの画像データを、図6のテーブルに対して問い合わせることによって取得する（Flow2-11）。
【００６３】
そして、検索結果画面構成部８は、Flow2-6で作成された画面の一覧に対して、さらにその取得された画像オブジェクトの画像データの情報のみの一覧を提示する画面を構成する（画面制御ステップ（ユーザ要求画面制御ステップ）：Flow2-12）ことによってフィルタの機能を実現（複数のドキュメント画像及び画像オブジェクトを変更して一覧表示）する。
【００６４】
実施の形態３．
実施の形態３では、実施の形態２の構成に加えて、更に、ユーザ状況判定検索部１０と、ユーザ状況判定画面制御部１１とを備える。
【００６５】
これらによって行われる処理の一例を以下に説明する。
ユーザが画面表示装置１０２に表示された画面を操作することによって、ユーザ状況判定検索部１０は、その画面表示装置１０２が直接に接続された画像読取り装置１０１が“MFP_01”であることを認識することができる。そこでユーザ状況判定検索部１０は、ユーザ要求検索部７に対し、既に登録されているドキュメント画像のうち、[画像作成装置]が“MFP_01”であるドキュメントのみを選択することができる。
【００６６】
さらに、ユーザが画面を操作している日時から、過去に同様の傾向を持った操作をされた日時を定期的イベントとして推定し、そのイベントと関連するドキュメントのみをフィルタするように画面を制御する。以下、実施の形態３の動作を図１１のフローチャートを用いて説明する。
【００６７】
まず、ユーザ状況判定検索部１０は、ユーザが操作している画面表示装置１０２がMFP_01であることから、ユーザの置かれている状況、すなわちユーザが現在どの場所にいるか、ということに対して、“MFP_01”が設定されている場所にいる、と認識する（Flow3-2）。これより、ユーザ状況判定検索部１０は、ユーザ要求検索部７に対し、既に登録されているドキュメント画像を、その画像が作成された装置が“MFP_01”であり、そのタイトルとして認識された画像オブジェクトを一覧したい、との要求として伝える（Flow3-3）。
【００６８】
ユーザ要求検索部７は、コンテキストメタデータ管理部６とコンテンツメタデータ管理部４に対して、[画像作成装置]の値が“MFP_01”であり、[画像中の意味領域]の値が“タイトル”である画像オブジェクトの識別子（複数ありえる）を問い合わせるための検索式を発行する（ユーザ状況判定検索ステップ：Flow3-4）。この検索式を図７と図８のテーブルに対して評価した結果、該当する画像オブジェクトが存在すれば（Flow3-5）、ユーザ要求検索部７は、その識別子を元にドキュメント画像管理部２から対象となる画像オブジェクトの画像データを図６のテーブルに対して問い合わせることによって取得する（Flow3-6）。
【００６９】
次に、検索結果画面構成部８は、その取得された画像データを元に、画像オブジェクトの一覧を提示する画面を構成する（検索結果画面構成ステップ：Flow3-7）。この画面は、図１０に示すように、“タイトル”の画像オブジェクトのみを識別し易いように並べるような画面である。構成された画面は、画面表示装置１０２に表示することによってユーザに提示する。ユーザはこの並べられた画面を自由にスクロールさせることによって、所望の画像を容易に探し出すことができる。また、“タイトル”の画像オブジェクトを元に所望のドキュメントを探すことができた場合は、その画像を指定する、例えばクリックすることによって、元々のドキュメント画像全体を表示させたり、複数のページが存在する場合はそれらを全て表示させたりするような画面を構成することによって内容を確認することができる。
【００７０】
Flow3-5にて該当する画像オブジェクトが存在しなければ、検索結果画面構成部８は、該当する画像が無かった、ということをユーザに通知する（Flow3-14）。これは、検索結果画面構成部８がその旨を記述した画面を構成し、画面表示装置１０２に表示することによってユーザに通知することができる。
【００７１】
ユーザは、[画像作成装置]が“MFP_01”である“タイトル”の画像オブジェクトの一覧から所望のドキュメントを探そうとするが、この一覧の画像オブジェクトの数が多い場合、ユーザはその中から所望のドキュメントを探すのが困難である。そのような場合、ユーザ状況判定画面制御部１１は、ユーザの状況を自動的に判定し、それをフィルタ条件を与えてその条件にマッチしたもののみを一覧し、ドキュメントを容易に探せるようにする。この例として、ユーザが操作している日時から、対応する現実世界のイベントを推測する場合について記述する。既に述べているように、イベント情報がメーラやスケジュール管理システムで管理されており、ある日時にある装置で作業が行われた場合に、その情報から対応するイベントが推測されデータとして取得されるものとする。
【００７２】
ユーザ状況判定画面制御部１１は、操作が行われている現在の日時と操作されている画面表示装置１０２から、ユーザが[関連イベント]として“火曜日定例会”について何らかの操作を行っているものと判定する。
【００７３】
これは例えば、“火曜日定例会”の開催日時が毎週火曜日の13時から15時で、その開催場所がA会議室であるような場合、操作が行われているのが火曜日の12時50分で、その装置がA会議室に設定されている装置“MFP_01”であることから、“火曜日定例会”に関係した操作であると判定するような手法をとる。これより、ユーザ状況判定画面制御部１１は、ユーザ要求検索部７に対し、既に登録されているドキュメント画像を、その画像に関連するイベントが“火曜日定例会”であり、そのタイトルとして認識された画像オブジェクトを一覧したい、との要求として伝える（Flow3-8）。
【００７４】
ユーザ状況判定検索部１０は、コンテキストメタデータ管理部６とコンテンツメタデータ管理部４に対して、[関連イベント]の値が“火曜日定例会”であり、[画像中の意味領域]の値が“タイトル”である画像オブジェクトの識別子（複数あり得る）を問い合わせるための検索式を発行する（Flow3-9）。
【００７５】
この検索式を図８と図７のテーブルに対して評価した結果、該当する画像オブジェクトが存在すれば（Flow3-10）、ユーザ状況判定検索部１０はその識別子を元にドキュメント画像管理部２から対象となる画像オブジェクトの画像データを、図６のテーブルに対して問い合わせることによって取得する（Flow3-11）。
【００７６】
そして、検索結果画面構成部８は、Flow3-7で作成された画面の一覧に対して、さらにその取得された画像オブジェクトの画像データの情報のみの一覧を提示する画面を構成する（画面制御ステップ（ユーザ状況判定画面制御ステップ）：Flow3-12）ことによってフィルタの機能を実現する。
【００７７】
実施の形態４．
実施の形態４では、実施の形態３の構成に加えて、さらに、管理下ドキュメントメタデータ抽出部１２を備える。
【００７８】
この例では、印刷装置１０３によって、既に登録されているドキュメント画像を印刷する場合について説明する。
【００７９】
印刷装置１０３によってドキュメント画像の印刷が行われると、その印刷した結果のドキュメント画像は、新たにメディアが紙原稿であるドキュメントとして作成されることになる。管理下ドキュメントメタデータ抽出部１２は、コンテキストメタデータ抽出部５と同様、その作業やその周辺環境といった状況が持つ意味的な属性情報を抽出する。この抽出ステップは本発明の管理下ドキュメントメタデータ抽出ステップを構成するが、その詳細動作は図４，図９，図１１に示したものと同様であり、ここでの説明を省略する。
【００８０】
そのドキュメントに関するコンテキストメタデータを記述したのが図１２であり、コンテキストメタデータ管理部６のテーブルにて管理される。ここで与えられた識別子は、例えば紙に印字する際に、電子透かしやバーコードなどで印刷され、再びスキャンすることによって読取られることが可能な状態で紙メディアに対して付加されている。このように管理されたコンテキストメタデータは、実施の形態２，３で述べたような検索において、他のメタデータと同様に検索対象とすることができる。
【００８１】
以上に述べた実施の形態におけるドキュメント画像情報管理装置は、各種メタデータを統合して管理することができる。またそれらメタデータとドキュメントを対応付けて管理することができる。更にこの場合に、ドキュメントは画像中の個々の領域のオブジェクトの単位で管理される。そして、本装置によれば、管理されたメタデータを利用してドキュメントを検索、操作できると共に、ユーザが必要とするドキュメントを領域のオブジェクト単位で取得し、閲覧を可能にすることができる。更に、管理されたドキュメントに対する継続的な情報の収集を行い統合的に管理することができるという効果を奏する。
【００８２】
本発明の実施の形態においては、装置内部に発明を実施する機能（プログラム）が予め記録されている場合で説明したが、これに限らず同様の機能をネットワークから装置にダウンロードしても良いし、同様の機能を記録媒体に記憶させたものを装置にインストールしても良い。記録媒体としては、ＣＤ−ＲＯＭ等プログラムを記憶でき、且つ装置が読取り可能な記録媒体であれば，その形態は何れの形態であっても良い。またこのように予めインストールやダウンロードにより得る機能は装置内部のＯＳ（オペレーティング・システム）等と協働してその機能を実現させるものであっても良い。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施の形態におけるドキュメント画像情報管理システムを示す全体ブロック図である。
【図２】同システムのネットワーク構成図である。
【図３】本実施の形態におけるドキュメントの概念を説明する図である。
【図４】実施の形態１の動作を示すフローチャートである。
【図５】ドキュメント画像管理部におけるドキュメント画像の管理テーブルの一例を示す図である。
【図６】ドキュメント画像管理部における画像オブジェクトの管理テーブルの一例を示す図である。
【図７】コンテンツメタデータ管理部におけるコンテンツメタデータの管理テーブルの一例を示す図である。
【図８】コンテキストメタデータ管理部におけるコンテキストメタデータの管理テーブルの一例を示す図である。
【図９】実施の形態２の動作を示すフローチャートである。
【図１０】検索結果画面構成部により構成される画面を示す図である。
【図１１】実施の形態３の動作を示すフローチャートである。
【図１２】実施の形態３におけるコンテキストメタデータの管理テーブルの一例を示す図である。
【符号の説明】
【００８４】
１  画像解析部、２  ドキュメント画像管理部、３  コンテンツメタデータ抽出部、４  コンテンツメタデータ管理部、５  コンテキストメタデータ抽出部、６  コンテキストメタデータ管理部、７  ユーザ要求検索部、８  検索結果画面構成部、９  ユーザ要求画面制御部、１０  ユーザ状況判定検索部、１１  ユーザ状況判定画面制御部、１２  管理下ドキュメントメタデータ抽出部、１３  検索部、１００  ドキュメント画像情報管理装置、１０１  画像読取り装置、１０２  画面表示装置、１０３  印刷装置。
【図１】
2006120125.tif 000003
【図２】
2006120125.tif 000004
【図３】
2006120125.tif 000005
【図４】
2006120125.tif 000006
【図５】
2006120125.tif 000007
【図６】
2006120125.tif 000008
【図７】
2006120125.tif 000009
【図８】
2006120125.tif 000010
【図９】
2006120125.tif 000011
【図１０】
2006120125.tif 000012
【図１１】
2006120125.tif 000013
【図１２】
2006120125.tif 000014