(57)【要約】【課題】  原稿画像の電子文書を検索する際に、当該原稿に「オブジェクトのベクトル化は不可」というセキュリティレベルを示す情報が埋め込まれていると、検索に使うオブジェクトの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要する場合がある。【解決手段】  原稿画像を読み取り、読み取った画像を像域の属性に応じて分割し、分割した像域のうち、画像をベクトル化する像域の指定を受け付け、指定された像域に含まれる付加情報を抽出し(S3601-S3602)、付加情報の有無または付加情報の解読結果に応じて、原稿画像に対応するデータファイルの検索処理、および、検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための指定像域のベクトル化を制御する(S3603-S3605)。【選択図】  図17
2006243942.tif 000002
【特許請求の範囲】
【請求項１】
原稿画像を読み取る読取手段と、
前記読取手段によって読み取った画像を像域の属性に応じて分割する分割手段と、
前記分割された像域のうち、画像をベクトル化する像域の指定を受け付ける受付手段と、
前記指定された像域に含まれる付加情報を抽出する抽出手段と、
前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御するベクトル化手段とを有することを特徴とする画像処理装置。
【請求項２】
前記ベクトル化手段は、前記付加情報の有無または前記付加情報が示す制限に応じて、前記指定像域のベクトル化を制御することを特徴とする請求項1に記載された画像処理装置
【請求項３】
さらに、ユーザ認証を行う認証手段を有し、前記ベクトル化手段は、前記付加情報の有無、または、前記付加情報が示す制限および前記ユーザ認証の結果に基づき、前記指定像域のベクトル化を制御することを特徴とする請求項1に記載された画像処理装置。
【請求項４】
前記ベクトル化手段は、前記付加情報の有無または前記付加情報が示す制限に応じて、前記指定像域の、前記検索用および前記生成用のベクトル化をそれぞれ制御することを特徴とする請求項1に記載された画像処理装置。
【請求項５】
さらに、ユーザ認証を行う認証手段を有し、前記ベクトル化手段は、前記付加情報の有無、または、前記付加情報が示す制限および前記ユーザ認証の結果に基づき、前記指定像域の、前記検索用および前記生成用のベクトル化をそれぞれ制御することを特徴とする請求項1に記載された画像処理装置。
【請求項６】
前記ベクトル化手段は、前記指定像域の一部を、前記検索用のベクトルデータとしてベクトル化することを特徴とする請求項2から請求項5の何れかに記載された画像処理装置。
【請求項７】
さらに、前記検索処理を実行する検索手段を有し、前記検索手段は、前記ベクトル化手段から供給されるベクトルデータおよび前記分割された像域の情報に基づき記憶装置を検索することを特徴とする請求項1から請求項6の何れかに記載された画像処理装置。
【請求項８】
前記記憶装置はネットワーク上に配置されていることを特徴とする請求項7に記載された画像処理装置。
【請求項９】
さらに、前記生成処理を実行する生成手段を有し、前記生成手段は、前記検索処理によって検出されるデータファイル、前記ベクトル化手段によって供給されるベクトルデータ、および、前記分割された像域の画像を利用して、前記再利用可能なデータを生成することを特徴とする請求項1から請求項8の何れかに記載された画像処理装置。
【請求項１０】
前記生成手段は、生成した再利用可能なデータを記憶装置に格納することを特徴とする請求項9に記載された画像処理装置。
【請求項１１】
原稿画像を読み取り、
前記読み取った画像を像域の属性に応じて分割し、
前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、
前記指定された像域に含まれる付加情報を抽出し、
前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御することを特徴とする画像処理方法。
【請求項１２】
原稿画像を読み取り、
前記読み取った画像を像域の属性に応じて分割し、
前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、
前記原稿画像の付加情報を抽出し、
前記付加情報に応じて、前記原稿画像に対応するベクトル化処理を検索用に限定することを特徴とする画像処理方法。
【請求項１３】
前記ベクトル化処理は、データベースの作成目的には禁止されることを特徴とする請求項12項記載の画像処理方法。
【請求項１４】
画像処理装置を制御して、請求項11から請求項13の何れかに記載された画像処理を実現することを特徴とするプログラム。
【請求項１５】
請求項14に記載されたプログラムが記録されたことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置およびその方法に関し、例えば、原稿画像から再利用可能なデータを生成する画像処理に関する。
【背景技術】
【０００２】
情報の電子化により、情報の広範囲な共有や活用がより容易に行えるようになった。とくに、紙に記録された文書を電子データ（電子文書）として再利用するニーズが増加している。紙に記録された文書（原稿）から電子文書を作成する手法として、原稿画像を読み取ってオリジナルの電子文書を検索する手法が提案されている（例えば、特許文献1）。
【０００３】
また、上記の提案における検索効率を向上させた例として、原稿画像を読み取った後、画像のオブジェクトをブロックごとにベクトル化し、原稿画像のレイアウト情報やブロックごとのベクトル化情報を基に、電子文書を検索するシステムが提案されている。
【０００４】
さらに、原稿画像をベクトル化して電子データとして再利用する際は、改竄防止やセキュリティ保護の必要性も増す。例えば、特許文献2には、画像を読み取った原稿が機密原稿か否かを判断する方法として、機密原稿の地紋パターンを予め登録しておき、読み取った原稿画像の地紋パターンが登録された地紋パターンに一致するか否かを判断して、機密原稿の画像か否かを判断する技術が記載されている（特許文献2を参照）。
【０００５】
文書別にセキュリティレベルを変える提案もあるが、原稿画像の電子文書を検索する際に、当該原稿に「オブジェクトのベクトル化は不可」というセキュリティレベルを示す情報が埋め込まれていると、検索に使うオブジェクトの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要する場合がある。
【０００６】
【特許文献１】特許第3017851号公報
【特許文献２】特開2004-164538公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、原稿画像からデータファイルを検索する際に、セキュリティを保持しつつ、検索効率および検索精度の向上を図ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像処理装置は、原稿画像を読み取る読取手段と、前記読取手段によって読み取った画像を像域の属性に応じて分割する分割手段と、前記分割された像域のうち、画像をベクトル化する像域の指定を受け付ける受付手段と、前記指定された像域に含まれる付加情報を抽出する抽出手段と、前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御するベクトル化手段とを有することを特徴とする。
【００１０】
本発明にかかる画像処理方法は、原稿画像を読み取り、前記読み取った画像を像域の属性に応じて分割し、前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、前記指定された像域に含まれる付加情報を抽出し、前記付加情報に応じて、前記原稿画像に対応するデータファイルの検索処理、および、前記検索処理の結果に基づく再利用可能なデータの生成処理に供給するベクトルデータを生成するための前記指定像域の前記ベクトル化を制御することを特徴とする。
【００１１】
また、原稿画像を読み取り、前記読み取った画像を像域の属性に応じて分割し、前記分割した像域のうち、画像をベクトル化する像域の指定を受け付け、前記原稿画像の付加情報を抽出し、前記付加情報に応じて、前記原稿画像に対応するベクトル化処理を検索用に限定することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、原稿画像からデータファイルを検索する際に、セキュリティを保持しつつ、検索効率および検索精度の向上を図ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。
【実施例１】
【００１４】
［画像処理システム］
図1は、機能が拡張された記録装置であるMFP（マルチファンクション複合機）を使用して情報の電子化を行う画像処理システムの構成例を示すブロック図である。
【００１５】
この画像処理システムは、オフィス（のような複数の区分）10と20がインターネットのようなWAN 104で接続された環境で実現される。
【００１６】
オフィス10内に構築されたLAN 107には、複合機(MFP: Multi-Function Processor) 100、MFP 100を制御するマネージメントPC 101、クライアントPC 102、文書管理サーバ106、文書管理サーバによって管理されるデータベースサーバ105などが接続されている。オフィス20はオフイス10とほぼ同様の構成を有するが、オフィス20内に構築されたLAN 108には、少なくとも文書管理サーバ106、文書管理サーバによって管理されるデータベースサーバ105などが接続されている。オフィス10のLAN 107とオフィス20のLAN 108は、LAN 107に接続されたプロキシサーバ103、WAN 104、および、LAN 108に接続されたプロキシサーバ103を介して、相互に接続されている。
【００１７】
MFP 100は、文書画像を読み取り、読み取った画像を処理する画像処理の一部を担当する。MFP 100から出力される画像信号は、通信線109を介してマネージメントPC 101に入力される。マネージメントPC 101は、通常のパーソナルコンピュータ(PC)で、画像記憶するハードディスクなどのメモリ、ハードウェアまたはソフトウェアで構成される画像処理部、CRTやLCDなどのモニタ、マウスやキーボードなどの入力部を有するが、その一部はMFP 100に一体化して構成されている。なお、以下では、マネージメントPC 101において、下記の検索処理などを実行する例を説明するが、マネージメントPC 101が行う処理をMFP 100で実行するようにしても構わない。
【００１８】
［MFP］
図2はMFP 100の構成例を示すブロック図である。
【００１９】
オートドキュメントフィーダ(ADF)を含む画像読取部110は、一枚または重ねられた複数の原稿それぞれの画像を、光源で照射し、原稿からの反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ順の画像読取信号（例えば600dpi、8ビット）を得る。原稿を複写する場合は、この画像読取信号をデータ処理部115で記録信号へ変換し、複数枚の記録紙に複写する場合は、一旦、記憶部111に一頁分の記録信号を記憶した後、記録信号を繰り返し記録部112に出力することで、複数の記録紙に画像を形成する。
【００２０】
一方、クライアントPC 102から出力されるプリントデータは、LAN 107を介してネットワークインタフェイス(I/F)114へ入力され、データ処理部装置115によって記録可能なラスタデータに変換された後、記録部112によって記録紙上に画像として形成される。
【００２１】
MFP 100に対する操作者の指示は、MFP 100に装備されたキー操作部とマネージメントPC 101のキーボードやマウスからなる入力部113によって行われる。操作入力の表示および画像処理状態の表示などは表示部116によって行われる。
【００２２】
上記のMFP 100の動作は、データ処理部115内の、例えばワンチップマイクロコントローラで構成される制御部115aで制御される。
【００２３】
なお、記憶部111は、マネージメントPC 101からも制御可能である。MFP 100とマネージメントPC 101と間のデータの授受および制御は、ネットワークI/F 117および両者を直結する信号線109を介して行われる。
【００２４】
なお、MFP 100は、ディジタルカメラやディジタルビデオなどの撮像装置、ポータブルデータアシスタント(PDA)などの形態端末装置、ファクシミリなどから画像データを入手するインタフェイスを入力部113の一部として備えていてもよい。
【００２５】
また、入力部113には、ユーザを識別するためのユーザ認識部118が接続されている。ユーザ認識部118は、例えばICカードリーダ、IDや暗証入力用のキー、あるいは、指紋、手紋、毛細血管パターンや虹彩などの生体情報を識別する生体認証装置などで、MFP 100を使用するユーザを特定する情報（以下「ユーザ特定情報」と呼ぶ）を入力し、入力部113を介してデータ処理部115へユーザ特定情報を出力する。
【００２６】
一方、データ処理部115が管理する不揮発性メモリ、または、マネージメントPC 101の不揮発性メモリ（例えばハードディスク）には、MFP 100のユーザごとのセキュリティレベルを示す情報が設定され、記憶されている。従って、データ処理部115は、ユーザ認識部118から入力されるユーザ特定情報に対応するセキュリティレベルを取得することができる。また、ユーザ認識部118としてICカードリーダを使用する場合、ユーザ認識部118からデータ処理部115へICカード内のメモリに記憶されたセキュリティレベルが通知されるようにしてもよい。
【００２７】
なお、以下では、データ処理部115が、ユーザ認識部118により取得されたユーザ特定情報に対応するセキュリティレベルを取得する（または、ユーザ認識部118から直接、セキュリティレベルを取得する）ことを「ユーザ認証」と呼ぶ。
【００２８】
また、MFP 100におけるデータの送信、蓄積は、入力部113またはクライアントPC 102からマネージメントPC 101に指示される。この場合、画像読取部110で読み取った、または、クライアントPC 102から受信した画像信号は、データ処理装置115によって記録信号に変換された後、ネットワークI/F 114（または117）を介して送信、または、記憶部111に蓄積される。
【００２９】
さらに、原稿の画像を再利用可能な電子データへの変換は、入力部113からマネージメントPC 101に指示される。この場合は、画像読取部110で読み取った画像信号は、マネージメントPC101によってベクトル化（ベクトル化については後述する）された後、ネットワークI/F 114（または117）を介して送信、または、記憶部111に蓄積される。
【００３０】
［処理の流れ］
図3は上記の画像処理システムによる処理の流れを説明するフローチャートで、マネージメントPC 101またはデータ処理部115、あるいは、それらの組み合わせによって実行される処理である。
【００３１】
まず、MFP 100は、ユーザ認証を行い(S300)、ユーザ認証に失敗した場合は表示装置116にその旨を表示して、操作を受け付けない。MFP 100は、ユーザ認証に成功すると、画像読取部110を動作させて、一枚の原稿の画像をラスタ走査して、画像読取信号を取得する。画像読取信号は、データ処理部115によって前処理され、入力画像の一頁分の画像データとして、記憶部111に保存される(S301)。
【００３２】
なお、クライアントPC 102からジョブを指示された場合、マネージメントPC 101は、クライアントPC 102に認証を要求し、これに対して入力されるユーザ特定情報に基づきユーザ認証を行う(S300)。そして、ユーザ認証に失敗した場合はクライアントPC 102にその旨を返し、ジョブを受け付けない。また、ユーザ認証に成功すると、マネージメントPC 101はデータ処理部115を制御して、クライアントPC 102から画像データを受け取らせ、前処理させて、入力画像の一頁分の画像データとして、記憶部111に保存させる(S301)。
【００３３】
次に、マネージメントPC 101は、ブロックセレクション(BS)処理を行い、記憶部111に格納された画像データを、文字または線画を含む文字・線画領域、ハーフトーンの写真領域、不定形の画像領域、その他の領域に分割する。さらに、文字・線画領域については、主に文字を含む文字領域、主に表、図形などを含む線画領域を分離し、線画領域は表領域および図形領域に分離する(S302)。なお、実施例1では連結画素を検知し、連結画素の外接矩形領域の形状、サイズ、画素密度などを用いて、属性ごとの領域に分割するが、その他の領域分割手法を用いても構わない。
【００３４】
文字領域は、段落などの塊をブロックとして矩形ブロック（文字領域矩形ブロック）にセグメント化する。線画領域は、表、図形などの個々のオブジェクト（表領域矩形ブロック、線画領域矩形ブロック）ごとに、矩形ブロックにセグメント化する。また、ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロックなどの矩形ブロックにセグメント化する。なお、これら矩形ブロックの情報を「領域分割情報」という。
【００３５】
次に、データ処理部115は、BS処理によって得られた領域分割情報と、入力画像を合成して、図4に一例を示すように、表示部116の操作画面上に表示する(S303)。操作画面の左側には入力画像そのものが表示され、右側に領域分割情報が矩形ブロックとして表示される。なお、図4には、矩形ブロックの理解を容易にするため、各ブロックに、その属性を示す文字列TEXT、PICTURE、LINE、TABLEなどを示すが、実際の操作画面には属性情報は表示されず、矩形ブロックが枠線として表示される。属性情報TEXTは文字属性を、PICTUREは図形属性を、PHOTOは写真属性を、LINEは線画属性を、TABLEは表属性をそれぞれ表す。勿論、図4のように入力画像と領域分割情報とを左右に並置表示する以外に、これらを重ね合わせて入力画像上に矩形ブロックを表示するなど、多様な表示形態が可能である。
【００３６】
次に、ユーザは、操作画面に表示された矩形ブロックからベクトル化の対象にする矩形ブロック（セグメント）を指定する(S304)。領域の指定方法としては、例えば、ユーザがポインティングデバイスを用いて、一または複数のセグメントを指示してもよいし、操作画面をタッチパネルにして、ユーザが所望するセグメントを指で触れて指示する方法など、種々の方法を採用し得る。
【００３７】
次に、マネージメントPC 101は、データ処理部115から通知される指定領域に以下の処理を施すために、指定領域の画像データを切り出し(S305)、ベクトル化処理を実行して、切り出した指定領域の画像データをベクトルデータに変換する(S306)。なお、指定領域が写真属性の場合、その画像データはベクトル化しない。
【００３８】
次に、マネージメントPC 101は、指定領域の画像を含むデータファイル（または、そのオリジナルデータファイル）を、記憶部111、文書管理サーバ106（データベースサーバ105）、クライアントPC 102のローカルハードディスクから検索する(S307)。その際、詳細は後述するが、例えば、指定領域のOCRの結果から重要単語を抽出し、重要単語を含む文書を全文検索する、あるいは、指定領域のベクトルデータを参照して、矩形や特殊図形の有無、表形式データの有無などの情報に基づく検索、各セグメントの位置関係や配列といった情報から得られるレイアウト情報を用いるいわゆるレイアウト検索などを行う。
【００３９】
次に、マネージメントPC 101は、検索の結果、類似度が高いデータファイルが検出された場合、検索結果として候補のデータファイルを表示部116に表示する(S308)。その際、類似度の順にデータファイルをリストしたり、候補のデータファイルのサムネイル画像も表示することが好ましい。もし、複数の候補を検出した場合など、操作者によるデータファイルの選択が必要な場合は、複数の候補の中から選択の旨を表示部116に表示して操作者に選択させることで、データファイルを特定する。なお、ユーザは、オリジナルデータファイルを特定することが困難と判断した場合は、この処理をパスすることができる。また、候補が一つで類似度が高い場合は、ステップS308をスルーパスして処理をステップS310に進めてもよい。
【００４０】
次に、マネージメントPC 101は、データファイルが特定されたか否かを判定し(S309)、特定されなかった場合は処理をステップS312へ進める。また、特定された場合は、特定されたデータファイルが、ラスタ形式またはBMPやTIFFに代表されるラスタデータを符号化した画像データファイルか否かを判定し(S310)、これらの画像データファイルの場合は、処理をステップS312へ進める。一方、特定されたデータファイルが、文字コードやベクトルデータなど再利用が容易なデータ形式の場合は、そのデータファイルを取得し(S311)、その後、処理をステップS312へ進める。
【００４１】
データファイルが特定されなかった場合、特定された入力画像データと同様のラスタデータ形式のデータ形態の場合は、ステップS306で作成したベクトルデータをアプリケーションのデータ形式に変換し、再利用が容易なデータ形態のオリジナルデータを取得した場合は、取得したデータをアプリケーションデータ形式に変換する(S312)。これは、データ形式は使用するアプリケーションに依存するため、目的に応じたファイル形式に変換する処理である。例えば、代表的なアプリケーションソフトウェアのワードプロセッサソフトウェアや表計算ソフトウェアなどでは、それぞれ目的に応じたファイル形式が定義され、その形式でデータファイルを生成する必要がある。
【００４２】
より汎用的なファイル形式としては、例えばMicrosoft(R)が策定したRich Text Format (RTF)形式や、近年使用されるようになった、World Wide Web Consortium (W3C)が提唱するScalable Vector Graphics (SVG)形式、あるいは、単純にテキストデータのみを扱うプレーンテキスト形式などがあり、これらのデータ形式はアプリケーションソフトウェアにおいて共通に使用できる可能が高い。
【００４３】
次に、ステップS313の判定により、指定された領域すべてをアプリケーションデータ形式に変換するまで、ステップS305からS312の処理を繰り返す。勿論、指定領域すべてを含む一つのデータファイルが特定された場合は、ステップS305からS312の処理は一回で終了する。
【００４４】
なお、実施例1は、指定領域をベクトルデータに変換し、それ以外の領域は入力画像データのままとして、両者を合成して上記のようなアプリケーションデータ形式に変換する。このとき、入力画像における指定領域の位置情報を保存して、入力画像全体を再現できるようにする。
【００４５】
以上の構成により、ユーザが希望する領域（指定領域）のみがベクトルデータに変換され、編集等の再利用が容易になる。また写真属性のセグメントなど、ベクトル化できない領域、ベクトル化すべきでない領域を誤ってベクトル化する事故を防ぐことができる。
【００４６】
以下では、図3に示した主要なステップの処理について詳細に説明する。
【００４７】
［ブロックセレクション(S302)］
ブロックセレクションは、図4に示す一頁の画像をオブジェクトの集合体と認識して、各オブジェクトの属性を文字(TEXT)、図形(PICTURE)、写真(PHOTO)、線画(LINE)、表(TABLE)に判別し、異なる属性を持つセグメント（ブロック）に分割する処理である。次に、ブロックセレクションの具体例を説明する。
【００４８】
先ず、処理すべき画像を白黒画像に二値化して、輪郭線追跡によって黒画素で囲まれる画素の塊を抽出する。所定面積以上の黒画素の塊については、その内部の白画素について輪郭線追跡を行い白画素の塊を抽出する。さらに、所定面積以上の白画素の塊の内部の黒画素の塊を抽出するというように、黒画素および白画素の塊の抽出を再帰的に繰り返す。
【００４９】
このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさおよび形状に基づき属性を判定する。例えば、縦横比が1に近く、大きさが所定範囲の画素塊を文字属性の画素塊とし、さらに、近接する文字属性の画素塊が整列していてグループ化が可能な場合はそれらを文字領域とする。また、縦横比が小さい扁平な画素塊を線画領域に、所定以上の大きさで、かつ、矩形に近い形状を有し、整列した白画素塊を内包する黒画素塊が占める範囲を表領域に、不定形の画素塊が散在する領域を写真領域、その他の任意形状の画素塊を図画領域に、のようにそれぞれ分類する。
【００５０】
図5はブロックセレクションの結果の一例を示す図で、図5(a)は抽出された各矩形ブロックのブロック情報を示す。ブロック情報には、各ブロックの属性、位置の座標X、Y、幅W、高さH、OCR情報などが含まれる。属性は1〜5の数値で与えられ、「1」は文字属性、「2」は図形属性、「3」は表属性、「4」は線画属性、「5」は写真属性を表す。また、座標X、Yは入力画像における各矩形ブロックの始点のXY座標（左上角の座標）を、幅W、高さHは矩形ブロックのX座標方向の幅、Y座標方向の高さを、OCR情報の有無をそれぞれ表す。
【００５１】
また、図5(b)は入力ファイル情報で、ブロックセレクションによって抽出された矩形ブロックの総数を示す。
【００５２】
これら矩形ブロックごとのブロック情報は指定領域のベクトル化に利用される。また、ブロック情報によって、ベクトル化された指定領域とラスタデータの相対位置関係を特定することができ、入力画像のレイアウトを損わずにベクトル化領域とラスタデータ領域を合成することが可能になる。
【００５３】
［ベクトル化処理(S306)］
まず、ベクトル化方法には、次の手法が存在する。
【００５４】
（a）文字属性の指定領域の場合は、OCR処理により文字画像を文字コードに変換する、または、文字のサイズ、スタイル、字体を認識して視覚的に忠実なフォントデータに変換する。
【００５５】
（b）線画または文字属性の指定領域で、OCR処理による文字認識が不可能な場合は、線画または文字の輪郭を追跡し、輪郭情報（アウトライン）を線分のつながりとして表現する形式に変換する。
【００５６】
（c）図形属性の指定領域の場合は、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
【００５７】
（d）上記(b)または(c)の手法で得られた線分形式のアウトライン情報をベジェ関数などでフィッティングして関数情報に変換する。
【００５８】
（e）上記(c)の手法で得られた図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形などの図形定義情報に変換する。
【００５９】
（f）表属性の指定領域の場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。
【００６０】
以上の手法のほかにも、画像データをコード情報、図形情報、関数情報などのコマンド定義形の情報に置き替える種々のベクトル化処理が考えられる。
【００６１】
［文字領域のベクトル化］
図6はベクトル化処理(S306)の詳細を示すフローチャートで、データ処理部115（またはマネージメントPC 101）によって実行される処理である。
【００６２】
まず、ブロック情報を参照して文字属性のセグメントか否か判断し(S901)、文字属性のセグメントであればステップS902に進んでパターンマッチングの一手法を用いて文字認識を行い、対応する文字コードを得る。
【００６３】
また、文字属性のセグメント以外の場合は、詳細は後述するが、画像の輪郭に基づくベクトル化を実行する(S912)。
【００６４】
文字属性のセグメントの場合は、横書き、縦書きの判定（組み方向の判定）を行うために、画素値に対する水平、垂直の射影をとり(S902)、射影の分散を評価し(S903)、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定して、その判定結果に基づき、行の切り出した後、文字を切り出して文字画像を得る(S904)。
【００６５】
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出した行に対する垂直方向の射影から文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行えばよい。なお、行、文字の切り出しに際して、文字のサイズも検出し得る。
【００６６】
次に、切り出した各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する(S905)。特徴ベクトルの抽出には種々の公知手法があるが、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
【００６７】
次に、観測特徴ベクトルと、予め字種ごとに求めてある辞書特徴ベクトルとを比較して、観測特徴ベクトルと辞書特徴ベクトルの距離を算出し(S906)、算出した距離を評価して、最も距離の近い字種を認識結果とする(S907)。さらに、距離の評価結果から最短距離と閾値を比較して、最短距離が閾値未満であれば類似度が高いと判定し、最短距離が閾値以上であれば類似度が低いと判定する(S908)。最短距離が閾値以上の場合（類似度が低い場合）は、形状が類似する他の文字と誤認識している可能性が高いので、ステップS907の認識結果を採用せず、文字画像を線画と同様に扱い、文字画像のアウトラインをベクトル化する(S911)。言い換えれば、誤認識の可能性が高い文字画像は、視覚的に忠実なアウトラインのベクトルデータを生成する。
【００６８】
一方、類似度が高い場合は、ステップS907の認識結果を採用するとともに、文字認識に用いる字種数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで文字フォントを認識する(S909)。続いて、文字認識およびフォント認識よって得られた文字コードおよびフォント情報を参照し、文字コードおよびフォント情報それぞれに対応して予め用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する(S910)。なお、カラー画像データの場合は、文字の色を抽出してベクトルデータとともに記録する。
【００６９】
以上の処理により、文字属性のセグメントに含まれる文字画像をほぼ形状、大きさ、色が忠実なベクトルデータに変換することができる。
【００７０】
［文字領域以外のベクトル化(S912)］
文字属性のセグメント以外、すなわち図形属性、線画属性、表属性と判定されるセグメントは、黒画素塊を抽出し、その輪郭をベクトルデータに変換する。なお、写真属性のセグメントは、ベクトル化せず画像データのままにする。
【００７１】
文字領域以外のベクトル化は、まず、線画などを直線および/または曲線の組み合わせとして表現するために、曲線を複数の区間（画素列）に区切る「角」を検出する。図7はベクトル化における角抽出処理を説明する図で、角は曲率が極大になる点で、図7の曲線上の画素Piが角か否かは以下のように判定する。
【００７２】
画素Piを起点とし、線画曲線に沿って画素Piから両方向に所定画素数kずつ離れた画素Pi-k、Pi+kを線分Lで結ぶ。画素Pi-k、Pi+k間の距離をd1、画素Piから線分Lに直交するように下した線分の長さ（画素piと線分Lの距離）をd2が極大になる場合、あるいは、画素Pi-k、Pi+k間の弧の長さをAと距離d1の比d1/Aが所定の閾値以下になる場合、画素Piを角と判定する。
【００７３】
角を検出後、角によって分割された線画曲線の画素列を直線あるいは曲線で近似する。直線への近似は最小二乗法などにより実行し、曲線への近似は三次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似曲線における始端または終端になる。
【００７４】
さらに、ベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判定し、内輪郭が存在する場合はその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に黒画素塊および白画素塊の内輪郭をベクトル化する。
【００７５】
以上のように、輪郭の区分線を直線または曲線で近似する方法を用いれば、任意形状の図形のアウトラインをベクトル化することができる。また、入力画像がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【００７６】
図8はベクトル化において輪郭線をまとめる処理を説明する図である。
【００７７】
輪郭線の注目区間で外輪郭PRjと、内輪郭PRj+1または他の外輪郭が近接している場合、二つまたは三つ以上の輪郭線をひとまとめにして、太さをもつ線として表現することができる。例えば、輪郭PRj+1上の画素Pと、画素Piと最短距離の輪郭PRj上の画素Q間の距離PQを算出し、複数の画素間の距離PQiのばらつきが僅かである場合は、輪郭PRjおよびPRj+1を注目区間を線分PQの中点Mの点列に沿う直線または曲線で近似する。そして、中点Mの点列に沿う近似直線または近似曲線の太さは、例えば、距離PQiの平均値とすればよい。
【００７８】
線や線の集合体である表罫線は、太さをもつ線の集合として表すことにより、効率よくベクトル表現することができる。
【００７９】
［図形の認識］
以上で線図形などのアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
【００８０】
図9はベクトル化で生成したベクトルデータのグループ化処理を示すフローチャートで、ベクトルデータを図形オブジェクトごとにグループ化する処理を示している。
【００８１】
まず、各ベクトルデータの始点および終点を算出し(S1401)、始点および終点の情報を用いて、図形要素を検出する(S1402)。図形要素とは、区分線によって構成される閉図形であり、検出に際しては、始点、終点になっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成するベクトル群はそれぞれ、その両端に連結するベクトルを有するという原理を応用する。
【００８２】
次に、図形要素内に他の図形要素もしくは区分線が存在するか否かを判定し(S1403)、存在すれば、ステップS1401およびS1402を再帰的に繰り返して、それらをグループ化して一つの図形オブジェクトとし(S1404)、存在しなければ、その図形要素を図形オブジェクトとする(S1405)。
【００８３】
なお、図9には一つの図形オブジェクト分の処理しか示さないが、他の図形オブジェクトが存在すれば、その分、図9の処理を繰り返す。
【００８４】
●図形要素の検出(S1402)
図10は図形要素の検出処理を示すフローチャートである。
【００８５】
まず、ベクトルデータより、両端に連結するベクトルを有しないベクトルを除去して、閉図形を構成するベクトルを抽出する(S1501)。
【００８６】
次に、閉図形を構成するベクトルについて、ベクトルの何れかの端点（始点または終点）を開始点として、一定方向（例えば時計回り）に順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを一回りして開始点に戻ると、通過したベクトルすべてを一つの図形要素を構成する閉図形としてグループ化する(S1502)。また、閉図形内部にある閉図形を構成するベクトルもすべて再帰的にグループ化する。さらに、グループ化されていないベクトルの始点を開始点とし、上記と同様の処理を繰り返す。
【００８７】
そして、除去したベクトルのうち、閉図形としてグループ化したベクトルに端点が近接しているベクトル（閉図形に連結するベクトル）を検出し、検出したベクトルをそのグループにグループ化する(S1503)。
【００８８】
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱うことが可能になる。
【００８９】
以上のベクトル化処理は、通常、入力画像全体に対して行う必要性は低く、ユーザが指定した領域のみに対して行えば充分な場合が多い。ユーザが指定する領域のみに対してベクトル化を行うことにより、処理のパフォーマンスを向上し、かつ、ユーザが所望する部分のみを効率よくベクトル化して、次の検索処理に利用したり、もしくは、画像のうちの必要な部分だけを効果的に再編集したり再利用したりすることが可能になる。
【００９０】
［ファイルの検索(S307)］
図11はデータファイルの検索処理を示すフローチャートである。なお、BS処理の結果、図4に示す矩形ブロックに分離し、図5に示すブロック情報および入力ファイル情報を得て、ユーザから指示された領域のベクトル化情報を保持しているものとする。
【００９１】
図6に示すように、ブロック1〜6の六個の各セグメントについて、属性、座標、幅、高さ、ポイント情報の有無が記録され、属性は文字、画像、表、図形、テキスト、図形、写真に分類されている。また、入力ファイル情報のブロック総数は入力画像中の全セグメントの数を示す、ブロック総数N=6である。ブロック情報には、例えば、座標Xが小さい順にセグメントが配列され、座標Xが同一のセグメントは座標Yの小さい順に配列される。これらの情報を使用して、例えばデータベースサーバ105に登録されたデータファイルのブロック情報（またはブロック情報に類似する情報）を参照して、指定領域の画像に類似するデータファイルを検索する。
【００９２】
まず、初期設定を行い、後述する類似率を零に初期化し(S1101)、入力ファイル情報のブロック総数Nとの差が所定値以内（N-ΔN＜n＜N+ΔN）のブロック総数をもつデータファイルが存在するか否かを判定し(S1102)、条件を満たさなければ処理をステップS1114へ進める。
【００９３】
上記の条件に合致するデータファイルが存在する場合、そのデータファイルの矩形ブロック情報と入力画像の矩形ブロック情報を比較して、上位のセグメントから、属性の比較(S1103)、サイズの比較(S1105)、OCR情報の有無の比較(S1107)を行い、セグメントの、属性が一致すれば属性類似率を更新し(S1104)、サイズが一致すればサイズ類似率を更新し(S1106)、OCR情報が有ればOCR情報を比較して(S1108)、OCR類似率を更新する(S1109)。そして、入力画像の矩形ブロック情報に記録された全セグメントの比較が終了したか否かを判定し(S1110)、未了であれば処理をステップS1103へ戻し、次のセグメントの比較を行う。
【００９４】
なお、属性が一致しない場合は総ての類似率を更新せず、サイズが一致しない場合はサイズおよびOCR情報の類似率を更新せず、OCR情報がなければOCR情報類似率を更新せずに、処理をステップS1110へ進める。
【００９５】
全セグメントの比較が終了すると、属性類似率、サイズ類似率、OCR情報類似率に基き比較対象のデータファイルの総合類似率を算出し(S1111)、総合類似率が予め設定された閾値Thを超えるか否か判定し(S1112)、超える場合は、そのデータファイルを候補として記録する(S1113)。
【００９６】
次に、データベースサーバ105に登録された、総てのデータファイルとの比較が終了したか否かを判定し(S1114)、未了の場合は処理をステップS1101へ戻し、次のデータファイルの比較を行う。また、データファイルの比較が終了すると、ステップS308で、候補として記録したデータファイルを表示部116にリスト表示する。
【００９７】
また、属性類似率の更新は、例えば類似度+1/N（Nはブロック総数）にすることである。また、サイズの一致とは、サイズの差が所定範囲内W-ΔW＜w＜W+ΔW、かつ、H-ΔH＜h＜H+ΔHにあることであり、サイズ類似率の更新は、例えば、1 - (w - W)/W（Wは入力画像の当該セグメントのサイズ）を各セグメントのサイズ類似率とし、さらに、全セグメントのサイズ類似度の平均値を求めることである。また、OCR情報類似率の更新は、例えば、OCR情報の文字列を比較して、一致する文字の比率を求め、さらに、全セグメントのOCR情報類似率の平均値を求めることである。さらに、総合類似率の算出は、類似率を総和してもよいが、各類似率に所定の重みを与え、その総和をとってもよい。
【００９８】
また、セグメントのサイズ比較だけでなく、位置情報（座標X、Y）の比較を加えてもよい。
【００９９】
以上の処理において、ファイル検索(S307)に利用可能なベクトルデータとして、ユーザに指定された領域に対してステップS306で生成したベクトルデータ、OCRによる文字コード情報、縦書/横書といったレイアウト情報、図形認識による図形の個数や配置、フォント認識による文書中のフォント情報などがある。
【０１００】
このように、BS処理によって得られるレイアウト情報に加え、ユーザが着目（指定）する領域の詳細なベクトルデータを、ファイル検索における類似度の算出に利用するので、ファイル検索の時間短縮、精度向上が期待できる。また、ファイル検索において、指定領域のベクトルデータの重みを高め、ユーザが着目する部分を重視して類似度を求めることができるので、ユーザの希望に沿った検索結果を得ることができる。
【０１０１】
［アプリケーションデータ形式への変換(S312)］
図12はベクトル化処理の結果を示す中間データの形式を示す図で、中間データはいわゆるドキュメントアナリシスアウトプットフォーマット(DAOF)と呼ばれる形式で保存される。
【０１０２】
DAOFは、ヘッダ1601、レイアウト記述データ部1602、文字認識記述データ部1603、表記述データ部1604および画像記述データ部1605からなり、ヘッダ1601は処理対象の入力画像に関する情報を保持する。
【０１０３】
レイアウト記述データ部1602は、入力画像中の矩形セグメントの属性を示すTEXT（文字）、TITLE（タイトル）、CAPTION（キャプション）、LINE（線画）、PICTURE（図形） 、FRAME（枠）、TABLE（表）、PHOTO（写真）などの情報と、それら矩形セグメントの位置情報を保持する。
【０１０４】
文字認識記述データ部1603は、TEXT、TITLE、CAPTIONなどの文字属性の矩形セグメントのうち、ユーザにより指定された領域について、文字認識して得た文字認識結果を保持する。
【０１０５】
表記述データ部1604は表属性の矩形セグメントの表構造の詳細を保持し、画像記述データ部1605は、図形属性や線画属性の矩形セグメントにおける、入力画像データから切り出した画像データを保持する。
【０１０６】
ベクトル化した指定領域の画像記述データ部1605には、ベクトル化処理により得られたセグメントの内部構造や、画像の形状や文字コード等を表すデータの集合が保持される。一方、ベクトル化しない指定領域以外のセグメントに対しては、入力画像データそのものが保持される。
【０１０７】
図13はアプリケーションデータ形式への変換処理を示すフローチャートである。
【０１０８】
まず、DAOF形式のデータを入力し(S1701)、アプリケーションデータの基になる文書構造ツリーを生成し(S1702)、文書構造ツリーに基づき、DAOF内の実データを取得してアプリケーションデータを生成する(S1703)。
【０１０９】
図14は文書構造ツリーの生成処理(S1703)の詳細を示すフローチャートである。なお、この処理における、全体制御の基本ルールとして、処理の流れはミクロブロック（単一矩形ブロック）からマクロブロック（矩形ブロックの集合体）へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。
【０１１０】
まず、矩形ブロック単位に、縦方向の関連性に基づき矩形ブロックをグループ化する(S1801)。なお、図14に示す処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位の判定になる。ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一である、などの特徴によって定義される。また、距離、幅、高さなどの情報はDAOFを参照する。
【０１１１】
例えば、図15に示す入力画像の場合、その最上部で矩形ブロックT1、T2が横方向に並置されている。矩形ブロックT1、T2の下には横方向セパレータS1が存在し、横方向セパレータS1の下に矩形ブロックT3、T4、T5、T6、T7が存在する。矩形ブロックT3、T4、T5は、横方向セパレータS1の下側領域の左半部に、上から下に縦方向に配置され、矩形ブロックT6、T7は、横方向セパレータS1の下側領域の右半部に、上下に配置されている。
【０１１２】
ステップS1801で、縦方向の関連性に基づくグルーピングを実行すると、矩形ブロックT3、T4、T5が一つのグループ（矩形ブロックV1）にまとめられ、矩形ブロックT6、T7が一つのグループ（矩形ブロックV2）にまとめられる。グループV1、V2は同一階層になる。
【０１１３】
次に、縦方向のセパレータの有無をチェックする(S1802)。セパレータは、DAOF中で線画属性をもつオブジェクトであり、アプリケーションソフトウェア中では、明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域をセパレータを境界として左右に分割する。図15の例には、縦方向のセパレータは存在しない。
【０１１４】
次に、縦方向のグループの高さの合計が、入力画像の高さに等しいか否かを判定する(S1803)。すなわち、縦方向（例えば上から下）に処理対象の領域を移動しながら、横方向のグルーピングを行えば、入力画像全体の処理が終了した場合は、グループの高さの合計が入力画像の高さになることを利用して、処理の終了を判断する。
【０１１５】
グルーピングが未了の場合は、横方向の関連位に基づき矩形ブロックをグループ化する(S1804)。これによって、図15に示す矩形ブロックT1、T2が一つのグループ（矩形ブロックH1）にまとめられ、矩形ブロックV1、V2が一つのグループ（矩形ブロックH2）にまとめられる。グループH1、H2は同一階層になる。ここでも、処理開始直後はミクロブロック単位での判定になる。
【０１１６】
次に、横方向のセパレータの有無をチェックする(S1805)。セパレータを検出すると、処理対象の階層において、入力画像の領域をセパレータを境界として上下に分割する。なお、図15には、横方向のセパレータS1が存在する。
【０１１７】
次に、横方向のグループの幅の合計が、入力画像の幅に等しいか否かを判定する(S1806)。これによって横方向のグルーピングに関する終了を判定する。横方向のグループの幅の合計が入力画像の幅（ページ幅）になった場合は、文書構造ツリーの生成処理を終了する。横方向のグループの幅の合計がページ幅未満であれば、処理をステップS1801に戻し、もう一段上の階層で縦方向の関連性チェックから繰り返す。
【０１１８】
図16は、図15に示す画像V0から得られる文書構造ツリーを示す図である。
【０１１９】
画像V0は、最上位階層にグループH1、H2、セパレータS1を有し、グループH1には第二階層の矩形ブロックT1、T2が属する。また、グループH2には、第二階層のグループV1、V2が属し、グループV1には、第三階層の矩形ブロックT3、T4、T5が属し、グループV2には、第三階層の矩形ブロックT6、T7が属する。
【０１２０】
図16に示すツリーに達した段階で、横方向のグループの幅の合計がページ幅になるので、処理を終了し、最後にページ全体を表す最上位階層のV0を文書構造ツリーに付加する。そして、文書構造ツリーが完成した後、その情報に基づきアプリケーションデータを生成する。
【０１２１】
まず、グループH1が横方向に二つの矩形ブロックT1、T2を有するので2カラムとして、T1のDAOFを参照し、その内部情報（文字認識結果の文章、画像等）を一つ目のカラム（左カラム）に出力する。その後、二つ目のカラム（右カラム）に移動して、T2の内部情報を出力し、その儀、セパレータS1を出力する。
【０１２２】
次に、グループH2に移り、グループH2は横方向に二個の矩形ブロックV1、V2を有するので2カラムとして、グループV1の矩形ブロックT3、T4、T5の順にその内部情報を一つ目のカラム（左カラム）出力し、その後、二つ目のカラム（右カラム）に移動して、V2の矩形ブロックT6、T7の順にその内部情報を出力する。
【０１２３】
以上の処理により、アプリケーションデータ形式への変換処理が実行される。
【０１２４】
なお、上記において、ベクトル化対象の領域の指定は、BS処理によって自動的に生成された矩形ブロックの一つまたは複数を、入力部113などによりユーザが指定する例を説明したが、これに限定されるわけではなく、例えば、原稿上の所望する領域をラインマーカなどの軌跡で囲むことにより、領域を指定してもよい。
【０１２５】
［セキュリティ］
上述したように、改竄防止やセキュリティ保護の必要性から、文書全体またはセグメント（オブジェクト）に「セグメントのベクトル化は不可」といったセキュリティレベルを示す情報（以下「付加情報」と呼ぶ）が、例えばバーコード、二次元コード、電子透かし、地紋などによって埋め込まれている場合がある。このような原稿画像をベクトル化して再利用可能なアプリケーションデータにしようとすると、検索に利用可能なセグメントの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要する場合がある。
【０１２６】
勿論、検索用にのみベクトル化を許可する設定も可能だが、検索時にネットワーク上にベクトル化情報が存在することになり、セキュリティを充分に保持した状態とは言えない。
【０１２７】
なお、付加情報の付加する手法としては、電子ファイルの作成時に付加情報を付加するアプリケーションを利用する、文書を記録紙に記録する際にデバイスドライバによって付加する、などがある。また、付加情報によって、ベクトル化の可否、ベクトル化を許可するユーザのユーザ特定情報またはセキュリティレベルなど、つまりベクトル化の制限を指定する。
【０１２８】
そこで、以下では、ベクトル化が制限されているセグメントがある場合に、当該セグメントのオブジェクトの一部をベクトル化して、検索に利用するセグメントの情報の不足を補う方法を説明する。
【０１２９】
図17はベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャートで、図3に示すステップS306において、マネージメントPC 101が実行する処理である。
【０１３０】
まず、ステップS305で切り出した指定領域の画像データに付加情報が含まれるか否かを判定し(S3601)、付加情報が含まれる場合は当該付加情報を抽出して解読し(S3602)、付加情報の解読結果とステップS300で取得したユーザ特定情報またはセキュリティレベルから、指定領域の画像データのベクトル化が可能か否かを判定する(S3603)。勿論、セグメントによっては操作者にかかわらずベクトル化不可の場合もあり得る。
【０１３１】
付加情報がない、または、付加情報はあるがベクトル化が可能と判定した場合は、指定領域の画像データををベクトル化する(S3604)。一方、付加情報があり、ベクトル化が不可能と判定した場合は、指定領域の画像データの一部をベクトル化する(S3605)。
【０１３２】
なお、図17に示す処理を指定領域それぞれについて実行することは言うまでもない。
【０１３３】
図18および図19は画像データの一部をベクトル化する手法を説明する図である。
【０１３４】
図4に示したように、ブロックセレクション処理(S302)により矩形ブロックごとにその属性が判別されるが、例えば、ベクトル化が不可の表属性のセグメント1801が存在する場合は、図18に示すように、表の枠組および一行目だけをベクトル化したベクトルデータ1802を生成する。また、ベクトル化が不可のテキスト属性のセグメント1901が存在する場合は、図19に示すように、一行分の文字列だけをベクトル化したベクトルデータ1902を生成する。また、ベクトル化が不可の図形属性や線画属性のセグメントが存在する場合は、セグメントの相対面積または絶対面積の一部（例えば左上の1/10の面積、右上の100×100ドット分など）をベクトル化する。
【０１３５】
また、写真属性のセグメントについては、上述したように、ベクトル化はしない。しかし、写真属性のセグメントにベクトル化を制限する付加情報が付加されていて、かつ、指定領域の場合は、当該セグメントの一部（例えば中央の1/9の面積）の画像を検索用に利用すればよい。
【０１３６】
また、ステップS310でデータファイルが特定されたと判定した後、ステップS311で当該データファイルを取得する際、付加情報が付加されたセグメントは、ベクトル化データの利用が禁止されているので、ビットマップ形式の画像データまたは空白データとして取得される。勿論、ステップS3603で当該セグメントのベクトル化が可能と判定された場合は、ステップS3604でベクトル化したデータを用いてステップS312でアプリケーションデータを作成することができる。
【０１３７】
このように、原稿画像をベクトル化して再利用可能なアプリケーションデータにしようとする際、ベクトル化が制限されたセグメント（オブジェクト）がある場合、その制限に応じて当該セグメント（オブジェクト）全体または一部をベクトル化して、データファイルの検索に利用することができる。従って、セキュリティを保持しつつ、検索に利用可能なセグメントの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要するといった問題や、検索精度の低下を軽減することができる。
【実施例２】
【０１３８】
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【０１３９】
図20は、実施例2のベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャートで、図3に示すステップS306において、マネージメントPC 101が実行する処理である。
【０１４０】
ステップS3601からS3605の各処理は図17に示した実施例1の処理と同じであるが、実施例2の場合は、ステップS3603において付加情報があり、指定領域の画像データのベクトル化が不可能と判定した場合は、付加情報の解析結果と、操作者のユーザ特定情報またはセキュリティレベルから検索時のベクトル化は可能か否かを判定し(S3606)、不可と判定した場合はベクトル化を行わず、一部可能と判定した場合は指定領域の画像データの一部を検索用にベクトル化し(S3605)、可能と判定した場合は検索用に指定領域の画像データ全体をベクトル化する(S3607)。この場合、検索用にのみベクトル化を許すわけで、ベクトル化されたベクトルデータを再利用可能にデータファイルに格納することは許されない。つまり、ベクトル化を検索目的のみに限定し、データファイルの作成やデータベースへの登録を前提とするベクトル化を禁止する。
【０１４１】
このように、原稿画像をベクトル化して再利用可能なアプリケーションデータにしようとする際、ベクトル化が制限されたセグメント（オブジェクト）がある場合、その制限に応じて当該セグメント（オブジェクト）全体をベクトル化、あるいは、検索用にその一部または全体をベクトル化して、データファイルの検索に利用することができる。従って、実施例1よりも柔軟に、セキュリティを保持しつつ、検索に利用可能なセグメントの情報が不足して、うまく検索できない、あるいは、多大な検索時間を要するといった問題や、検索精度の低下を軽減することができる。
【０１４２】
［他の実施例］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１４３】
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１４４】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１４５】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１４６】
【図１】複合機を使用して情報の電子化を行う画像処理システムの構成例を示すブロック図、
【図２】MFPの構成例を示すブロック図、
【図３】図1に示す画像処理システムによる処理の概要を説明するフローチャート、
【図４】操作画面の表示例を示す図、
【図５】ブロックセレクションの結果の一例を示す図、
【図６】ベクトル化処理の詳細を示すフローチャート、
【図７】ベクトル化における角抽出処理を説明する図、
【図８】ベクトル化において輪郭線をまとめる処理を説明する図、
【図９】ベクトル化で生成したベクトルデータのグループ化処理を示すフローチャート、
【図１０】図形要素の検出処理を示すフローチャート、
【図１１】データファイルの検索処理を示すフローチャート、
【図１２】ベクトル化処理の結果を示す中間データの形式を示す図、
【図１３】アプリケーションデータ形式への変換処理を示すフローチャート、
【図１４】文書構造ツリーの生成処理(S1703)の詳細を示すフローチャート、
【図１５】入力画像の一例を示す図、
【図１６】図15に示す画像から得られる文書構造ツリーを示す図、
【図１７】ベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャート、
【図１８】画像データの一部をベクトル化する手法を説明する図、
【図１９】画像データの一部をベクトル化する手法を説明する図、
【図２０】実施例2のベクトル化が不可のセグメントがある場合を考慮したベクトル化処理を説明するフローチャートである。
【図１】
2006243942.tif 000003
【図２】
2006243942.tif 000004
【図３】
2006243942.tif 000005
【図４】
2006243942.tif 000006
【図５】
2006243942.tif 000007
【図６】
2006243942.tif 000008
【図７】
2006243942.tif 000009
【図８】
2006243942.tif 000010
【図９】
2006243942.tif 000011
【図１０】
2006243942.tif 000012
【図１１】
2006243942.tif 000013
【図１２】
2006243942.tif 000014
【図１３】
2006243942.tif 000015
【図１４】
2006243942.tif 000016
【図１５】
2006243942.tif 000017
【図１６】
2006243942.tif 000018
【図１７】
2006243942.tif 000019
【図１８】
2006243942.tif 000020
【図１９】
2006243942.tif 000021
【図２０】
2006243942.tif 000022