(57)【要約】【課題】文書ごとのレイアウトの違いを任意に検索に反映させることで、検索精度の向上を図ることを目的とする。【解決手段】入力される文書画像に類似する画像データを検索する検索工程を複数（ステップＳ１２０９、Ｓ１２１１、Ｓ１２１２）有する場合の情報処理方法であって、前記各検索工程により算出された類似度に対して、重み付けを行うための重み付け情報を入力する工程（ステップＳ１２００）と、前記重み付け情報に基づいて、前記画像データごとに、前記各検索手段により算出された類似度に対して重み付けを行い、総合類似度を算出する工程と、前記算出された総合類似度に基づいて、前記類似する画像データを表示する工程（ステップＳ１２１３）とを備える。【選択図】  図１２
2004334339.tif 000002
【特許請求の範囲】
【請求項１】
入力される文書画像に類似する画像データを検索する検索手段を複数有する情報処理装置であって、
前記各検索手段により算出された類似度に対して、重み付けを行うための重み付け情報を入力する入力手段と、
前記重み付け情報に基づいて、前記画像データごとに、前記各検索手段により算出された類似度に対して重み付けを行い、総合類似度を算出する算出手段と、前記算出された総合類似度に基づいて、前記類似する画像データを表示する表示手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記表示手段は、
前記画像データごとの総合類似度に関する情報と、該総合類似度に影響した検索手段に関する情報とを、総合類似度の高い順にソーティングして表示することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表示手段は、前記類似する画像データの総合類似度をグラフ表示することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記表示手段は、前記画像データごとに、前記総合類似度に影響した検索手段の種別を更に表示することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記入力される文書画像を属性ごとの領域に分割する分割手段を備え、
前記複数の検索手段は、
前記分割手段により分割された領域のうち、テキスト領域から文字認識により抽出されたテキストデータに基づいて全文検索する手段と、
前記テキストデータに基づいて概念検索する手段と、
前記分割手段により分割された領域のうち、イメージ領域から抽出された特徴量に基づいてイメージ検索する手段と
を備えることを特徴とする請求項１に記載の情報処理装置。
【請求項６】
更に、前記入力される文書画像を属性毎の領域に分割する分割手段と、
前記分割した領域のうち、前記複数の検索手段での検索に用いる領域を、ユーザの指示に基づいて指定する検索領域指定手段と、を備え、
前記算出手段は、前記検索領域指定手段で指定された領域について類似度を求め、当該求めた類似度に対して重み付けを行い、総合類似度を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
更に、前記入力される文書画像を属性ごとの領域に分割する分割手段と、
前記分割した領域のうち、検索時に重視する領域を、ユーザの指示に基づいて指定する領域指定手段と、を備え、
前記算出手段は、前記領域指定手段で指定された領域の重み付けが大きくなるようにして、前記総合類似度を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記算出手段により算出された総合類似度が所定値以下の場合に、前記入力される文書画像をベクトルデータに変換する変換手段を更に備えることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記変換手段は、
前記入力される文書画像中の文字を認識する文字認識手段を備えることを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記入力される文書画像を属性ごとの領域に分割する分割手段を更に備え、
前記変換手段は、
前記入力される文書画像を前記分割された領域ごとにベクトルデータに変換することを特徴とする請求項８に記載の情報処理装置。
【請求項１１】
入力される文書画像に類似する画像データを検索する検索工程を複数有する場合の情報処理方法であって、
前記各検索工程により算出された類似度に対して、重み付けを行うための重み付け情報を入力する入力工程と、
前記重み付け情報に基づいて、前記画像データごとに、前記各検索手段により算出された類似度に対して重み付けを行い、総合類似度を算出する算出工程と、前記算出された総合類似度に基づいて、前記類似する画像データを表示する表示工程と
を備えることを特徴とする情報処理方法。
【請求項１２】
前記表示工程は、
前記画像データごとの総合類似度に関する情報と、該総合類似度に影響した検索工程に関する情報とを、総合類似度の高い順にソーティングして表示することを特徴とする請求項１１に記載の情報処理方法。
【請求項１３】
前記表示工程は、前記類似する画像データの総合類似度をグラフ表示することを特徴とする請求項１１に記載の情報処理方法。
【請求項１４】
前記表示工程は、前記画像データごとに、前記総合類似度に影響した検索手段の種別を更に表示することを特徴とする請求項１１に記載の情報処理方法。
【請求項１５】
前記入力される文書画像をオブジェクトごとに分割する分割工程を備え、
前記複数の検索工程は、
前記分割工程により分割された領域のうち、テキスト領域から文字認識により抽出されたテキストデータに基づいて全文検索する工程と、
前記テキストデータに基づいて概念検索する工程と、
前記分割工程により分割された領域のうち、イメージ領域から抽出された特徴量に基づいてイメージ検索する工程と
を備えることを特徴とする請求項１１に記載の情報処理方法。
【請求項１６】
更に、前記入力される文書画像を属性毎の領域に分割する分割工程と、
前記分割した領域のうち、前記複数の検索工程での検索に用いる領域を、ユーザの指示に基づいて指定する検索領域指定工程と、を備え、
前記算出工程は、前記検索領域指定工程で指定された領域について類似度を求め、当該求めた類似度に対して重み付けを行い、総合類似度を算出することを特徴とする請求項１１に記載の情報処理方法。
【請求項１７】
更に、前記入力される文書画像を属性ごとの領域に分割する分割工程と、
前記分割した領域のうち、検索時に重視する領域を、ユーザの指示に基づいて指定する領域指定工程と、を備え、
前記算出工程は、前記領域指定工程で指定された領域の重み付けが大きくなるようにして、前記総合類似度を算出することを特徴とする請求項１１に記載の情報処理方法。
【請求項１８】
前記算出工程により算出された総合類似度が所定値以下の場合に、前記入力される文書画像をベクトルデータに変換する変換工程を更に備えることを特徴とする請求項１１に記載の情報処理方法。
【請求項１９】
前記変換工程は、
前記入力される文書画像中の文字を認識する文字認識工程を備えることを特徴とする請求項１８に記載の情報処理方法。
【請求項２０】
前記入力される文書画像を属性ごとの領域に分割する分割手段を更に備え、
前記変換工程は、
前記入力される文書画像を前記分割されたオブジェクトごとにベクトルデータに変換することを特徴とする請求項１８に記載の情報処理方法。
【請求項２１】
請求項１１乃至２０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。
【請求項２２】
請求項１１乃至２０のいずれか１つに記載の情報処理方法をコンピュータによって実現させるための制御プログラム。
【請求項２３】
入力される文書画像に類似する画像データを検索する検索手段を複数有する情報処理装置であって、
画像データごとに、前記各検索手段により算出された類似度に対して重み付けを行い、総合類似度を算出する算出手段と、
前記算出された総合類似度の高い順にソーティングして、類似する画像データと当該画像データそれぞれの総合類似度とを表示する表示手段と
を備えることを特徴とする情報処理装置。
【請求項２４】
入力される文書画像に類似する画像データを検索する検索手段を複数有する情報処理装置であって、
前記入力される文書画像を属性毎の領域に分割する分割手段と、
前記分割した領域のうち、前記複数の検索手段での検索に用いる領域を、ユーザの指示に基づいて指定する検索領域指定手段と、
前記検索領域指定手段で指定された領域について前記各検索手段により類似度を算出し、前記各検索手段により算出された類似度に対して重み付けを行い、画像データごとの総合類似度を算出する算出手段と、
前記算出された総合類似度に基づいて、類似する画像データを表示する表示手段と
を備えることを特徴とする情報処理装置。
【請求項２５】
入力される文書画像に類似する画像データを検索する検索手段を複数有する情報処理装置であって、
前記入力される文書画像を属性毎の領域に分割する分割手段と、
前記分割した領域のうち、検索時に重視する領域を、ユーザの指示に基づいて指定する領域指定手段と、
前記分割された領域について前記各検索手段により類似度を算出し、前記領域指定手段で指定された領域に対する重み付け情報と前記各検索手段に対する重み付け情報とに基づいて、前記各検索手段により算出された類似度に対して重み付けを行い、画像データごとの総合類似度を算出する算出手段と、
前記算出された総合類似度に基づいて、類似する画像データを表示する表示手段と
を備えることを特徴とする情報処理装置。
【請求項２６】
入力される文書画像に類似する画像データを検索する検索工程を複数有する場合の情報処理方法であって、
画像データごとに、前記各検索工程により算出された類似度に対して重み付けを行い、総合類似度を算出する算出工程と、
前記算出された総合類似度の高い順にソーティングして、類似する画像データと当該画像データそれぞれの総合類似度とを表示する表示工程と
を備えることを特徴とする情報処理方法。
【請求項２７】
入力される文書画像に類似する画像データを検索する検索工程を複数有する場合の情報処理方法であって、
前記入力される文書画像を属性毎の領域に分割する分割工程と、
前記分割した領域のうち、前記複数の検索工程での検索に用いる領域を、ユーザの指示に基づいて指定する検索領域指定工程と、
前記検索領域指定工程で指定された領域について前記各検索工程により類似度を算出し、前記各検索工程により算出された類似度に対して重み付けを行い、画像データごとの総合類似度を算出する算出工程と、
前記算出された総合類似度に基づいて、類似する画像データを表示する表示工程と
を備えることを特徴とする情報処理方法。
【請求項２８】
入力される文書画像に類似する画像データを検索する検索工程を複数有する場合の情報処理方法であって、
前記入力される文書画像を属性毎の領域に分割する分割工程と、
前記分割した領域のうち、検索時に重視する領域を、ユーザの指示に基づいて指定する領域指定工程と、
前記分割された領域について前記各検索工程により類似度を算出し、前記領域指定工程で指定された領域に対する重み付け情報と前記各検索工程に対する重み付け情報とに基づいて、前記各検索工程により算出された類似度に対して重み付けを行い、画像データごとの総合類似度を算出する算出工程と、
前記算出された総合類似度に基づいて、類似する画像データを表示する表示工程と
を備えることを特徴とする情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スキャナなどの入力装置で読み取られた画像と類似する画像データを、データベースから検索する検索技術に関するものである。
【０００２】
【従来の技術】
近年、オフィスでのペーパーレス化は急速に進み、ＰＣ上で作成された書類はもちろん、旧来よりバインダー等で蓄積されていた過去の紙文書もスキャナを用いて画像データなどの電子ファイルに変換され、データベース上に蓄積されるようになってきている。
【０００３】
一方で、会議での配付資料等には依然として紙が好まれ、データベースに蓄積された電子ファイルが、紙へとプリントアウトされてユーザの手に渡る機会も多い。
【０００４】
ここで、紙文書を受けとったユーザが、それを電子的に保管や送信、あるいは内容を抽出して再利用したいと考えた時、その紙を再電子化して電子ファイルを得る代りに、データベースよりオリジナルの電子ファイルを取得して利用することができれば、紙を経たことによる情報損失がなくなり、利便性が向上する。
【０００５】
しかしながら、そのためにＰＣを介してクエリーを考案しキー入力を行うことは、通常のユーザにとって大きな苦痛を伴う。
【０００６】
かかる問題を解決すべく、下記特許文献１では、紙をスキャナで読み取り、その内容と類似するデータをデータベースより検索することが可能なシステムが考案されている。
【０００７】
【特許文献１】
特許第３０１７８５１号公報
【０００８】
【発明が解決しようとする課題】
本出願人は、さらに、オフィス等で一般的に利用される文書の場合、文書ページ内には大きく分けて文字情報と写真や図などの非文字情報とが存在していることから、検索の際にそれぞれの特性に応じた類似度算出処理を行なうことで、より高精度な検索処理が可能となると考えている。
【０００９】
例えば、米国特許第５６８０４７８号明細書において開示されているような領域識別処理を利用して、スキャン文書のページ画像と登録文書のページ画像とから、それぞれ文字領域および写真領域を抽出し、更に、文字領域については文字認識処理により文字列の特徴を用いた類似度を、写真領域については色、エッジ等の画像的特徴量を用いた類似度をそれぞれ得ることによって（つまり、文字領域と写真領域とで異なる検索手段を用いて類似度を求めることによって）、高精度な検索処理を実現することを考えている。
【００１０】
特に、文書ページ中に含まれる写真や図画などは、そのページの特徴を表わすことが多く、写真や図画の類似度を高精度に求めることは、このような検索システムの性能向上に大きく貢献するものと期待される。
【００１１】
しかしながら、かかる検索システムにおいて、取り扱われる文書は、テキスト属性の多い文書から、写真・線画の多い文書にいたるまで多岐にわたっており、文書ごとにレイアウトが大きく異なっている。そして、このように検索対象中に、レイアウトが大きく異なる文書が混在している場合には、複数の異なる検索手段の検索結果を一律に評価する検索方法では、文書によっては検索精度が低下してしまうという問題があった。
【００１２】
本発明は、上記課題を鑑みてなされたものであり、複数の検索手段を用いて入力画像と登録画像との類似度を求め、入力画像に類似する登録画像を検索する場合において、文書ごとのレイアウトの違いを任意に検索に反映させることで、検索精度の向上を図ることを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
入力される文書画像に類似する画像データを検索する検索手段を複数有する情報処理装置であって、
前記各検索手段により算出された類似度に対して、重み付けを行うための重み付け情報を入力する入力手段と、
前記重み付け情報に基づいて、前記画像データごとに、前記各検索手段により算出された類似度に対して重み付けを行い、総合類似度を算出する算出手段と、前記算出された総合類似度に基づいて、前記類似する画像データを表示する表示手段とを備える。
【００１４】
【発明の実施の形態】
以下、図面を参照しながら、各実施の形態を詳細に説明していく。
【００１５】
【第１の実施形態】
本発明の第１の実施形態について説明する。図１は本発明にかかる情報処理方法を実現する画像処理システムの構成を示す図である。同図に示すように、本実施形態では、本発明にかかる情報処理方法を実現する画像処理システムが、オフィス１０及びオフィス２０がインターネット１０４で接続されている環境において構築されているものとする。
【００１６】
オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段を備える）１０２、文書管理サーバ１０６−１及びそのデータベース１０５−１、プロキシサーバ１０３−１がそれぞれ接続されている。同様にオフィス２０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６−２及びそのデータベース１０５−２が接続されている。また、オフィス１０内のＬＡＮ１０７とオフィス２０内のＬＡＮ１０８とはプロキシサーバ１０３−１、１０３−２を介してインターネット１０４に接続されている。
【００１７】
かかる構成を備える画像処理システムにおいて、検索対象となる登録画像の格納場所は特に限定されないものとする。ＭＦＰ１００内の記憶装置（後述）に格納されていても、マネージメントＰＣ１０１内のハードディスク（不図示）に格納されていても、また、文書管理サーバ１０６−１のデータベース（１０５−１）に格納されていてもよい。ただし、当該格納された登録画像が自由に検索できるように、いずれの格納場所であってもＬＡＮ１０７または１０８を介して外部からアクセス可能な状態になっているものとする。
【００１８】
また、本発明にかかる情報処理方法（検索機能）は、図１に示す画像処理システム内の任意の装置上で実現可能であるものとする。例えば、ＭＦＰ１００内のデータ処理装置（後述）が当該検索機能を備えていても、マネージメントＰＣ１０１が当該検索機能を備えていても、あるいは、文書管理サーバ１０６−１が当該検索機能を備えていてもよい。
【００１９】
図２はＭＦＰ１００の構成図である。図２においてオートドキュメントフィーダー（以降、ＡＤＦと記す）を含む画像読み取り部２０１は束状の或いは１枚の紙文書（原稿）を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像信号を６００ＤＰＩの密度のイメージ情報として得る。通常の複写処理の場合はこの画像信号をデータ処理装置２０６で記録信号に変換し、複数枚の複写処理の場合は記憶装置２０２に１ページ分の記録データを一旦記憶保持した後、記録装置２０３に順次出力して紙上に画像を形成する。
【００２０】
一方、クライアントＰＣ１０２から送信されるプリントデータはＬＡＮ１０７及びネットワークＩＦ２０５を経てデータ処理装置２０６で記録可能なラスターデータに変換された後、記録装置２０２で紙上に記録画像として形成される。ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備されたキー操作部（入力装置２０４）またはマネージメントＰＣ１０１のキーボード及びマウスを介して行われ、これら一連の動作はデータ処理装置２０６内の図示しない制御部で制御される。
【００２１】
一方、操作入力の状態表示及び処理状態の表示は表示装置２０７で行われる。なお、記憶装置２０２はマネージメントＰＣ１０１からも制御され、これらＭＦＰ１００とマネージメントＰＣ１０１とのデータの授受及び制御はネットワークＩＦ２０８および直結したＬＡＮ１０９を介して行われる。
【００２２】
［処理概要］
次に、図１に示す画像処理システムにおける、本発明にかかる情報処理方法による処理を含む画像処理の全体概要について、図３を用いて説明する。
【００２３】
なお、説明を簡単にするために、以降では、登録画像を備えるデータベースはマネージメントＰＣ１０１内のハードディスク（不図示）において構築されているものとし、また、本発明にかかる情報処理方法はマネージメントＰＣ１０１およびＭＦＰ１００が一体となって動作することで実現されるものとする。
【００２４】
図３に示すように、まず、ＭＦＰ１００の画像読み取り部２０１を動作させ１枚の原稿をラスター状に走査し、６００ＤＰＩ−８ビットの画像信号を得る（イメージ入力  ステップＳ３０１）。そして、該画像信号をデータ処理装置２０６において前処理し、記憶装置２０２に１ページ分の画像データとして保存する。次にマネージメントＰＣ１０１のＣＰＵは該格納された画像信号を、文字／線画部分とハーフトーンの画像部分とに領域分離し、文字／線画部分については、更に段落を塊としてまとまっているブロック毎に、或いは、線で構成された表、図形ごとに分離し、各々セグメント化する。一方、ハーフトーンで表現される画像部分については、矩形に分離されたブロックの画像部分、背景部等、所謂ブロック毎に独立したオブジェクトに分割する（ブロックセレクション（ＢＳ）処理  ステップＳ３０２）。
【００２５】
このとき入力画像中に付加情報として記録された２次元バーコード、或いはＵＲＬに該当するオブジェクトを検出し、ＵＲＬについてはＯＣＲで文字認識し、２次元バーコードについては該マークを解読して（ステップＳ３０３）、該原稿のオリジナル電子ファイルが格納されているハードディスク内のポインタ情報を検出する（ステップＳ３０４）。なお、ポインタ情報を付加する手段は他に文字と文字の間隔に情報を埋め込む方法やハーフトーンの画像に埋め込む方法等、直接可視化されない、所謂電子透かしによる方法であってもよい。
【００２６】
ポインタ情報が検出された場合には、ステップＳ３０５においてステップＳ３０７に分岐し、ポインタで示されたアドレスからオリジナル電子ファイルを検索する。本実施形態ではオリジナル電子ファイルはマネージメントＰＣ１０１内のハードディスクに格納されており、ステップＳ３０４で得られたアドレス情報に従って当該ハードディスク内が検索される。なお、オリジナル電子ファイルの格納場所はこれに限られるものではなく、図１においてクライアントＰＣ１０２内のハードディスク内、或いはオフィス１０或いは２０のＬＡＮ１０７、１０８に接続された文書管理サーバ１０６−１、１０６−２内のデータベース１０５−１、１０５−２内、或いはＭＦＰ１００自体が有する記憶装置２０２のいずれであってもよい。
【００２７】
ステップＳ３０７でオリジナル電子ファイルが見つからなかった場合、見つかったがＰＤＦあるいはｔｉｆｆに代表されるいわゆるイメージファイルであった場合、或いはポインタ情報自体が存在しなかった場合（ステップＳ３０５で「ＮＯ」の場合）はステップＳ３０６に分岐し、ファイル検索処理を行う。ステップＳ３０６では所謂複合検索処理が行われる（詳細は後述）。
【００２８】
ステップＳ３０６におけるファイル検索処理の結果、類似度の高いオリジナル電子ファイルが見つかった場合には、サムネイル等を表示し（ステップＳ３０８）、複数のファイルの中から必要に応じて操作者が入力操作することでファイルの特定を行う。
【００２９】
ファイル候補が１ファイルの場合には、自動的にステップＳ３０９からステップＳ３１４に分岐し、格納アドレスを通知する。ステップＳ３０６のファイル検索処理でオリジナル電子ファイルが見つからなかった場合、或いは、見つかったがＰＤＦあるいはｔｉｆｆに代表される所謂イメージファイルであった場合には、ステップＳ３１０に分岐する。
【００３０】
ステップＳ３１０では、ラスターイメージデータからベクトルデータへの変換処理を行なうことで、オリジナル電子ファイルに近く、編集容易でかつ容量の小さい電子ファイルに変換される。かかる処理により、イメージデータを用いる場合に比べて、情報量が削減され、蓄積効率が高まり、伝送時間が短縮され、又記録表示する際には高品位なデータとして非常に優位となる。
【００３１】
ステップＳ３１０においてベクトル化処理を各ブロックに対して行った後、更に文書のレイアウト情報を活用して、例えば、ｒｔｆに変換（ステップＳ３１１）して、入力画像をオリジナル電子ファイルとして記憶装置２０２に格納（ステップＳ３１２）する。
【００３２】
ベクトル化した入力画像は、以降同様の処理を行う際に直接オリジナル電子ファイルとして検索できるように、ステップＳ３１３において検索の為のインデックス情報を生成して検索用インデックスファイルに追加する。ステップＳ３１４では、該オリジナル電子ファイルの格納アドレスを操作者に通知する。
【００３３】
同様に、ステップＳ３０７でポインタ情報からオリジナル電子ファイルが特定できた場合（ステップＳ３０７で「ＹＥＳ」の場合）、ファイル検索処理でオリジナル電子ファイルが特定できた場合（ステップＳ３０９で「ＹＥＳ」の場合）も、該オリジナル電子ファイルの格納アドレスを操作者に通知する（ステップＳ３１４）。
【００３４】
次にステップＳ３１５において、操作者が行いたい処理が「記録」であると判断された場合にはステップＳ３１６に分岐し、ポインタ情報をイメージデータとしてファイルに付加した上でステップＳ３１７に進み、画像編集、蓄積、伝送、記録等の各種処理を実行する。
【００３５】
以下、図３のフローチャートに示した各処理工程について詳細に説明する。先ずステップＳ３０２で示すブロックセレクション処理について説明する。
【００３６】
［ブロックセレクション処理（ステップＳ３０２）］
ブロックセレクション処理とは、ステップＳ３０１で読み取った一頁のイメージデータ（図４（Ａ））を図４（Ｂ）に示す様に、各オブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等のいずれかの属性として判定し、異なる属性を持つ領域に分割する処理である。ブロックセレクション処理の実施形態を以下に説明する。
【００３７】
先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００３８】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化されうる部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。
【００３９】
ブロックセレクション処理で得られた各ブロックに対するブロック情報を図５に示す。これらのブロック毎の情報は以降に説明するベクトル化、或いは検索の為の情報として用いる。
【００４０】
［ポインタ情報の検出（ステップＳ３０４）］
次に、オリジナル電子ファイルの格納位置をイメージ情報から抽出する為のポインタ情報検出処理（ステップＳ３０４）について説明する。
【００４１】
図６は入力画像中に付加された２次元バーコード（ＱＲコードシンボル）を復号して、データ文字列を出力する過程を示すフローチャートである。２次元バーコードの付加された原稿の一例を図７に示す。
【００４２】
まず、データ処理装置２０６内のページメモリに格納された原稿７０１を表す入力画像をＣＰＵ（不図示）で走査して、先に説明したブロックセレクション処理の結果から所定の２次元バーコードシンボル７０３の位置を検出する（ステップＳ６０１）。ＱＲコードの位置検出パターンは、シンボルの４隅のうち３隅に配置される同一の位置検出要素パターンから構成される。
【００４３】
次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る（ステップＳ６０２）。
【００４４】
シンボルの型番を決定した（ステップＳ６０３）後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをＸＯＲ演算することによってマスク処理を解除する（ステップＳ６０４）。
【００４５】
なお、モデルに対応する配置規則に従い、シンボルキャラクタを読み取り、メッセージのデータ及び誤り訂正コード語を復元する（ステップＳ６０５）。
【００４６】
復元されたコード上に、誤りがあるかどうかの検出を行い（ステップＳ６０６）、誤りが検出された場合には、ステップＳ６０７に分岐し、これを訂正する。
【００４７】
誤り訂正されたデータのモード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する（ステップＳ６０８）。
【００４８】
最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する（ステップＳ６０９）。
【００４９】
なお、２次元バーコード内に組み込まれたデータは、対応するオリジナル電子ファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で、或いは、対応するオリジナル電子ファイルへのＵＲＬで構成される。
【００５０】
本実施形態ではポインタ情報が２次元バーコードにより付与された原稿７０１について説明したが、直接文字列でポインタ情報が記録される場合は所定のルールに従った文字列のブロックを先のブロックセレクション処理で検出し、該ポインタ情報を示す文字列の各文字を文字認識することで、直接、オリジナル電子ファイルのアドレス情報を得ることが可能である。
【００５１】
又、図７の原稿７０１の文字ブロック７０２、或いは７０４の文字列に対して隣接する文字と文字の間隔等に視認し難い程度の変調を加え、該文字間隔に情報を埋め込むことでもポインタ情報を付与できる。該所謂透かし情報は後述する文字認識処理を行う際に各文字の間隔を検出すれば、ポインタ情報が得られる。又、自然画７０５の中に電子透かしとしてポインタ情報を付加することも可能である。
【００５２】
［ポインタ情報によるオリジナル電子ファイル検索］
次に、図３のステップＳ３０５およびステップＳ３０７に示す、ポインタ情報からのオリジナル電子ファイルの検索処理について図８のフローチャートを使用して説明する。
【００５３】
まず、ポインタ情報に含まれるアドレスに基づいて，ファイルサーバを特定する（ステップＳ８０１）。なお、本実施形態においては、ファイルサーバとはマネージメントＰＣ１０１内のハードディスクを指すが、オリジナル電子ファイルの格納先がクライアントＰＣ１０２や、文書管理サーバ１０６−１、１０６−２内のデータベース１０５−１、１０５−２や、ＭＦＰ１００内の記憶装置２０２であった場合には、それらを指す。また、アドレスとはＵＲＬや、サーバ名とファイル名からなるパス情報である。
【００５４】
ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送する（ステップＳ８０２）。ファイルサーバは、アドレスを受信すると、該当するオリジナル電子ファイルを検索する（ステップＳ８０３）。オリジナル電子ファイルが存在しない場合（ステップＳ８０４の「ＮＯ」の場合）には、ＭＦＰ１００に対してその旨通知する。
【００５５】
オリジナル電子ファイルが存在した場合（ステップＳ８０４の「ＹＥＳ」の場合）には、図３で説明したように、オリジナル電子ファイルのアドレスを通知（ステップＳ３１４）すると共に、ユーザの希望する処理がオリジナル電子ファイルの取得であれば、ＭＦＰ１００に対してオリジナル電子ファイルを転送する（ステップＳ８０５）。
【００５６】
［複合検索］
次に、本発明の主眼となる図３のステップＳ３０６、Ｓ３０８で示すファイル検索処理（複合検索）、候補表示／選択処理の詳細について図１２、図１３Ａ、図１３Ｂ、図１４を用いて説明する。
【００５７】
まず、複合検索は各検索用のインデックスファイルが生成されていることが前提となる（ここではインデックス生成に関しては特に説明はしない）。
【００５８】
図１２に示すように、まずステップＳ１２００で各検索方法の重み付けをあらかじめ設定する画面を表示し、ユーザに入力を促す。図１３Ａは設定画面の一例である。本図では、全文検索、概念検索、イメージ検索の重み付けを設定できるようになっている。
【００５９】
重み付けを設定した後、ステップＳ１２０１で、前述したブロックセレクション処理により抽出された各ブロックを入力する。さらに、ステップＳ１２０２では、当該ブロックが、テキストブロックか否かを判別し、テキストブロックであれば、ステップＳ１２０３でＯＣＲ処理を行い、制御をステップＳ１２０４へ移行する。一方、テキストブロックでなければ、ステップＳ１２０５に制御を移行し、さらに当該ブロックがイメージブロックか否かを判別する。
【００６０】
イメージブロックであれば、当該ブロックから所定の特徴量（色ヒストグラムや色モーメントのような色に関する特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、フーリエ記述子等の形状特徴量などのうち最適な組み合わせを用いる）を抽出し、制御をステップＳ１２０４へ移行する。一方、イメージブロックでなければ、制御をステップＳ１２０４へ移行する。
【００６１】
ステップＳ１２０４では、次のブロックが存在するか否かを判断し、存在する場合は、ステップＳ１２０７で、次のブロックへポインタを進め、再びステップＳ１２０２からの制御を繰り返す。もし当該入力画像中にさらなるブロックが無い場合は、ステップＳ１２０８へ制御を移行する。
【００６２】
ステップＳ１２０８では、ステップＳ１２０３においてコード化されたテキストより、重要語抽出を行い、さらにステップＳ１２０９において、所定のインデックス（例えば、データベースに格納されている電子ファイルのテキスト情報から作成された全文検索用インデックス）と全文検索手法により比較を行い、その範疇で入力画像と類似するファイル及びその類似度を求める。
【００６３】
ステップＳ１２１０では、やはりステップＳ１２０３においてコード化されたテキストより、要約文を生成し、ステップＳ１２１１において、所定のインデックス（例えば、データベースに格納されている電子ファイルのテキスト情報から作成された概念検索用インデックス）と概念検索手法により比較を行い、その範疇で入力画像と類似するファイル及びその類似度を求める。
【００６４】
ステップＳ１２１２では、ステップＳ１２０６において抽出された特徴量を、所定のインデックスとイメージ検索手法により比較を行い、その範疇で入力画像と類似するファイル及びその類似度を求める。
【００６５】
ステップＳ１２１３においては、ステップＳ１２０９、Ｓ１２１１、Ｓ１２１２において求められた各結果に対し、ステップＳ１２００で設定した重み付けに従って、その類似度を調整し、最終的なファイルの順位を決定し、表示を行う。その表示画面の一例を図１３Ｂに示す。本図に示すように、各検索手法の発火状況（使用状況）と総合類似度がソーティングされ、ファイル名と共に表示される。
【００６６】
図１３Ｂでは、「ｅｎｇｉｎｅ」の欄に検索結果に影響した検索手法（使用された検索手法）の種別がアルファベットで示され（Ｉ：イメージ検索、Ｆ：全文検索、Ｃ：概念検索）、「ランク表示」の欄に総合類似度が棒グラフ形式で示されている。なお、検索手法の種別はアルファベット以外（例えば、アイコンなど）で示されるものであっても構わないし、「ランク表示」は棒グラフ以外（例えば数値）で示されるものであっても構わない。もちろん、各検索手法の詳細な類似度を併せて表示することも可能である。
【００６７】
なお、図１４に総合類似度を算出するための算出処理の概念を示す。図１４の（Ａ）は図１３Ａに示す設定画面において入力された検索のための条件を一覧にしたものである。また、図１４の（Ｂ）は当該条件に基づいて総合類似度を算出した結果を示したものである。図１４（Ｂ）に示すように、指定された検索場所内に保持される各オリジナル電子ファイル（登録文書１、登録文書２・・・等）に対して、イメージ検索、全文検索、概念検索を行った場合の類似度（Ｄ１１、Ｄ１２、・・・）が算出される。総合類似度は、当該類似度に対して、予め設定された重み付けを行うことで求める。図１４の（Ｂ）において、例えば、登録文書１の場合、イメージ検索による類似度がＤ１１、全文検索による類似度がＤ１２、概念検索による類似度がＤ１３であり、総合類似度はα×Ｄ１１＋β×Ｄ１２＋γ×Ｄ１３として算出される。
【００６８】
［ベクトル化処理］
ファイルサーバにオリジナル電子ファイルが存在しない場合は、イメージデータを各ブロック毎にベクトル化する。
【００６９】
ここではステップＳ３１０で示されるベクトル化について詳説する。まず文字ブロックに対しては各文字に対して文字認識処理を行う。
【００７０】
（文字認識）
文字認識処理においては、文字単位で切り出された入力画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法等が挙げられる。
【００７１】
ブロックセレクション（ステップＳ３０２）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定を行い、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域と、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。なお、この時文字のサイズが検出できる。
【００７２】
（フォント認識）
文字認識の際に用いる、字種数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識できる。
【００７３】
（文字のベクトル化）
前記文字認識およびフォント認識によって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
【００７４】
以上の処理により文字ブロックに属するイメージ情報を形状、大きさ、色が忠実なベクトルデータに変換できる。
【００７５】
（文字以外の部分のベクトル化）
ブロックセレクション処理（ステップＳ３０２）で、図画あるいは線、表領域とされた領域を対象に、領域内で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図１０に図示するように、任意点Ｐｉに対し左右ｋ個の離れた点Ｐｉ−ｋ、Ｐｉ＋ｋの間に弦を引いたとき、この弦とＰｉの距離が極大となる点として求められる。さらに、Ｐｉ−ｋ、Ｐｉ＋ｋ間の弦の長さ／弧の長さをＲとし、Ｒの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線の場合は点列に対する最小二乗法など、曲線の場合は３次スプライン関数などを用いてベクトル化することができる。
【００７６】
また、対象が内輪郭を持つ場合、ブロックセレクション処理で抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。
【００７７】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。入力画像がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【００７８】
さらに、図１１に示すように、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Ｐｉから別輪郭上で最短距離となる点Ｑｉまで線を引き、各距離ＰＱｉが平均的に一定長以下の場合、注目区間はＰＱｉ中点を点列として直線あるいは曲線で近似し、その太さをＰＱｉの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。
【００７９】
尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本発明では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。即ち、文字認識処理で誤認識を起こす文字に対しては誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化を行うことができる。
【００８０】
又、写真と判定されたブロックに対しては本発明では、ベクトル化出来ない為、イメージデータのままとする。
【００８１】
［アプリデータへの変換処理］
ところで、一頁分のイメージデータをブロックセレクション処理（ステップＳ３０２）し、ベクトル化処理（ステップＳ３１０）した結果は図１５に示す様な中間データ形式のファイルとして変換されているが、このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。
【００８２】
図１５はＤＡＯＦのデータ構造を示す図である。図１５において、１５０１はＨｅａｄｅｒであり、処理対象の入力画像に関する情報が保持される。レイアウト記述データ部１５０２では、入力画像中のＴＥＸＴ（文字）、ＴＩＴＬＥ（タイトル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲＴ（線画）、ＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部１５０３では、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等のＴＥＸＴブロックを文字認識して得られる文字認識結果を保持する。表記述データ部１５０４では、ＴＡＢＬＥブロックの構造の詳細を格納する。画像記述データ部１５０５は、ＰＩＣＴＵＲＥやＬＩＮＥＡＲＴ等のブロックのイメージデータを入力画像タから切り出して保持する。
【００８３】
このようなＤＡＯＦは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用することはできない。そこで、次にこのＤＡＯＦからアプリデータに変換する処理（ステップＳ３１１）について詳説する。
【００８４】
図１６は、アプリデータに変換する処理（ステップＳ３１１）の流れを示すフローチャートである。
【００８５】
ステップＳ１６０１では、ＤＡＯＦデータの入力を行う。ステップＳ１６０２では、アプリデータの元となる文書構造ツリー生成を行う。ステップＳ１６０３では、文書構造ツリーを元に、ＤＡＯＦ内の実データを流し込み、実際のアプリデータを生成する。
【００８６】
図１７は、ステップＳ１６０２の文書構造ツリー生成処理の詳細フローであり、図１８は、文書構造ツリーを説明するための図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。
【００８７】
以後ブロックとは、ミクロブロック、及びマクロブロック全体を指す。ステップＳ１７０１は、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。
【００８８】
ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。また、距離、幅、高さなどの情報はＧＡＯＦを参照し、抽出する。
【００８９】
図１８（Ａ）は実際のページ構成、（Ｂ）はその文書構造ツリーである。ステップＳ１７０１の結果、Ｔ３、Ｔ４、Ｔ５が一つのグループＶ１として、Ｔ６、Ｔ７が一つのグループＶ２として、それぞれ同じ階層のグループが生成される。
【００９０】
ステップＳ１７０２は、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはＤＡＯＦ中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。
【００９１】
ステップＳ１７０３は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、縦方向のグループ長がページ高さとなっている場合は、文書構造ツリー生成は終了する。
【００９２】
図１８の場合は、セパレータもなく、グループ高さはページ高さではないので、ステップＳ１７０４に進む。ステップＳ１７０４は、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。なお、関連性及びその判定情報の定義は、縦方向の場合と同じである。
【００９３】
図１８の場合は、Ｔ１、Ｔ２でＨ１が、Ｖ１、Ｖ２でＨ２が、それぞれＶ１、Ｖ２の１つ上の同じ階層のグループとして生成される。
【００９４】
ステップＳ１７０５では、横方向セパレータの有無をチェックする。図１８ではＳ１があるので、これをツリーに登録し、Ｈ１、Ｓ１、Ｈ２という階層が生成される。
【００９５】
ステップＳ１７０６では、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。そうでない場合は、ステップＳ１７０１に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【００９６】
図１８の場合は、分割幅がページ幅になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ０が文書構造ツリーに付加される。文書構造ツリーが完成した後、その情報を元にステップＳ１６０３においてアプリデータの生成を行う。
【００９７】
図１８の場合は、具体的には、以下のようになる。すなわち、Ｈ１は横方向に２つのブロックＴ１とＴ２があるので、２カラムとし、Ｔ１の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、Ｔ２の内部情報出力、その後Ｓ１を出力となる。
【００９８】
Ｈ２は横方向に２つのブロックＶ１とＶ２があるので、２カラムとして出力、Ｖ１はＴ３、Ｔ４、Ｔ５の順にその内部情報を出力、その後カラムを変え、Ｖ２のＴ６、Ｔ７の内部情報を出力する。以上によりアプリデータへの変換処理が行える。
【００９９】
［ポインタ情報の付加］
次に、ステップＳ３１６に示す、ポインタ情報付加処理について説明する。処理すべきオリジナル電子ファイルが検索処理で特定された場合、あるいはベクトル化によってオリジナル電子ファイルが再生できた場合であって、該オリジナル電子ファイルを記録処理する場合には、紙への記録の際にポインタ情報を付与することで、この紙文書を用いて再度各種処理を行う際に簡単にオリジナル電子ファイルを取得できる。
【０１００】
図１９はポインタ情報としてのデータ文字列を２次元バーコード（ＱＲコードシンボル：ＪＩＳ  Ｘ０５１０）７０３にて符号化して画像中に付加する過程を示すフローチャートである。
【０１０１】
２次元バーコード内に組み込むデータは、対応するオリジナル電子ファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。或いは、対応するオリジナル電子ファイルへのＵＲＬや、対応するオリジナル電子ファイルの格納されているハードディスク内あるいはＭＦＰ１００自体が有する記憶装置２０２内で管理されるファイルＩＤ等で構成される。
【０１０２】
まず、符号化する種々の異なる文字を識別するため、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する（ステップＳ１９００）。
【０１０３】
次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード（数字、英数字、８ビットバイト、漢字等）を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する（ステップＳ１９０１）。
【０１０４】
この時、誤り訂正を行うため、コード語列を型番および誤り訂正レベルに応じて所定のブロック数に分割し、各ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する（ステップＳ１９０２）。
【０１０５】
該ステップＳ１９０２で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語、必要に応じて剰余コード語を後続する（ステップＳ１９０３）。
【０１０６】
次に、マトリクスに位置検出パターン、分離パターン、タイミングパターンおよび位置合わせパターン等とともにコード語モジュールを配置する（ステップＳ１９０４）。
【０１０７】
更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンをステップＳ１９０４で得られたモジュールにＸＯＲ演算により変換する（ステップＳ１９０５）。
【０１０８】
最後に、ステップＳ１９０５で得られたモジュールに形式情報および型番情報を生成して、２次元コードシンボルを完成する（ステップＳ１９０６）。
【０１０９】
上記に説明した、アドレス情報の組み込まれた２次元バーコードは、例えば、クライアントＰＣ１０２からオリジナル電子ファイルをプリントデータとして送信し、記録装置２０３により紙上に記録画像として形成する場合に、データ処理装置２０６内で記録可能なラスターデータに変換された後に、ラスターデータ上の所定の個所に付加されて画像形成される。ここで画像形成された紙を配布されたユーザは、画像読み取り部２０１で読み取ることにより、前述したステップＳ３０４にてポインタ情報からオリジナル電子ファイルの格納場所を検出することができる。
【０１１０】
尚、同様の目的で付加情報を付与する手段は、本実施形態で説明した２次元バーコードの他に、例えば、ポインタ情報を直接文字列で文書に付加する方法、文書内の文字列、特に文字と文字の間隔を変調して情報を埋め込む方法、入力画像中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる方法が適用できる。
【０１１１】
【第２の実施形態（ファイルアクセス権に関する他の実施形態）】
上記実施形態ではファイルサーバに蓄積されたオリジナル電子ファイルは全て自由にアクセスでき、ファイル全体、或いはその一部のオブジェクトは全て再利用が可能なことを前提に説明した。しかし、取り扱われるオリジナル電子ファイルの中には、第三者による再利用を制限すべきものがある。そこで、本実施形態では、ポインタ情報からオリジナル電子ファイルを検索した際に、検索の結果、特定できたオリジナル電子ファイルにアクセス権の制限が有る場合についての処理について図９を用いて説明する。なお、ステップＳ９０３までは上記実施形態と同様の為、説明は省略する。
【０１１２】
ステップＳ９０４でオリジナル電子ファイルが特定された場合、ファイルサーバはそのオリジナル電子ファイルのアクセス権情報を調べ、アクセス制限がある場合（ステップＳ９０５の「ＮＯ」の場合）には、ＭＦＰ１００に対してパスワードの送信を要求する（ステップＳ９０６）。
【０１１３】
ＭＦＰ１００は操作者に対してパスワードの入力を促し、入力されたパスワードをファイルサーバに送信する（ステップＳ９０７）。ファイルサーバは送信されたパスワードを照合し、一致した場合には（ステップＳ９０８）、図３で説明した様に、オリジナル電子ファイルのアドレスを通知（ステップＳ３１４）すると共に、ユーザの希望する処理がオリジナル電子ファイルの取得であれば、ＭＦＰ１００に対してオリジナル電子ファイルを転送する（ステップＳ９０９）。なお、アクセス権の制御を行う為の認証の方法は、ステップＳ９０６、Ｓ９０７に示したパスワードによる方法に限定されず、例えば、指紋認証等の一般に広く用いられている生体認証、カードによる認証等、いかなる認証手段であってもよい。
【０１１４】
又、本実施形態では紙文書に付加的に付与されたポインタ情報によりオリジナル電子ファイルを特定した場合の実施形態を示したが、図３のステップＳ３０６、Ｓ３０８で示す所謂複合検索処理でオリジナル電子ファイルを特定した場合においても同様の制御が可能である。
【０１１５】
一方、ファイルサーバ内からオリジナル電子ファイルを特定できなかった場合には、図３のステップＳ３１０で説明したベクトル化処理において、制限を加えることができる。即ち、紙文書を走査して得られたイメージ情報から該紙文書に対してのアクセス権の制限の存在を検出した場合には、認証確認が取れた場合のみベクトル化処理を行うことで、機密性の高い文書の使用に制限をかけることができる。
【０１１６】
【第３の実施形態】
上記実施形態では、ファイル検索において、入力画像とデータベースのオリジナル電子ファイルとを比較する際、全ての入力画像の全てのブロックについて、レイアウト情報およびブロックの内部情報の比較を行った。しかし、ブロック内部情報の比較を行わずともレイアウトの情報を比較した段階である程度ファイルを選別することが可能である。すなわち、入力画像とレイアウトが全く異なるデータベース上のオリジナル電子ファイルはブロック内部情報の比較処理を省くことが可能である。図２０にレイアウト情報によるファイル選別を実施した際のフローチャートを示す。
【０１１７】
まず、入力画像の全てのブロックに対し、位置、サイズ、属性の比較を行い、その類似率を求め、オリジナル電子ファイル全体のレイアウト類似率を求める（ステップＳ２００１）。レイアウト類似率が閾値より低い場合は、ブロック内部情報比較は行わない（ステップＳ２００２）。一方、閾値より高い場合、つまりレイアウトが似ている場合のみ、ブロック内部情報の比較（ステップＳ２００３）を行い、先に求めたレイアウト類似率とブロック内部の類似率より、オリジナル電子ファイル全体の総合類似度が求まる（ステップＳ２００４）。ブロック毎の類似率からの総合類似度の求める手法は、図１２のステップＳ１２１３と同様の処理であり、説明を省略する。該類似率が閾値以上のオリジナル電子ァイルに関しては候補として保存する。ブロック内部情報の類似率を求める処理は特に写真ブロックの一致を調べるときなど、一般的に重い処理となる。よって、レイアウトである程度ファイルを絞り込むことで、検索処理量の軽減、処理の高速化が行え、効率よく所望のオリジナル電子ファイルを検索できる。
【０１１８】
【第４の実施形態】
上記各実施形態では、ファイル検索時に、ユーザが何も指定せずに検索を行った場合の検索処理について説明した。しかし、ユーザに入力画像内の特徴となる部分（ブロックセレクションより求められるブロック）を指定させるか、もしくは無駄なブロックを省くか、または入力画像内の特徴を指定させることで、ファイル検索をより最適化することが可能になる。
【０１１９】
図２１は検索時、ユーザによる検索オプション指定のユーザインタフェース画面（２１０１）の例である。入力画像はブロックセレクション処理により、複数のブロックに分割されており、入力画面にはファイル上のテキスト、写真、表、線画など各ブロックがサムネイルとなり表示される（２１１１〜２１１７）。ユーザは表示されたブロック中から、特徴となるブロックを選択する。このとき選択するブロックは複数であってもよい。例として、ブロック２１１４を選択したとする。ブロック２１１４が選択された状態で、ボタン「重視」（２１０２）を押したとき、ブロック２１１４をより重視した検索処理を行うようにする。重視した検索とは、例えば、ブロック毎の類似率から総合類似度を求める際の指定されたブロック２１１４の重み係数を大きくし、選択外のブロックの重み係数を小さくするようにすることをいう。複数回「重視」ボタン（２１０２）を押せば、選択されたブロックの重み係数を大きくし、ブロックをより重視した検索が行える。また、除外ボタン（２１０３）を押せば、選択されたブロック２１１４を省いた状態で検索処理を行う。これにより、ブロックが誤って認識された場合などには、無駄な検索処理を省略し、かつ誤った検索処理を防止できる。また、詳細設定（２１０４）によりブロックの属性の変更を実現可能とし、ブロックセレクション（ステップＳ３０２）で誤って属性を認識した場合でもユーザが修正することで、正確な検索ができる。また、詳細設定２１０４では、ユーザにより、ブロックの検索優先する重みを細かく調節することができる。このように、検索する際、ユーザが特徴となるブロックを指定、設定することで、検索の最適化が図れる。
【０１２０】
一方、入力画像によっては、レイアウトが特殊な場合も考えられる。このような入力画像に関しては、図２１のレイアウト優先ボタン（２１０５）を選択することにより、レイアウトを重視したファイル検索を可能とする。この場合、レイアウトの類似率の結果をより重視するように、重み付けすることで実現する。また、テキスト優先ボタン（２１０６）では、テキストブロックのみの検索を実行し、処理の軽減を図ることができる。
【０１２１】
このように、ユーザに画像の特徴を選択させることで、入力画像の特徴を重視した検索が行える。また、ユーザという人為的手段を信頼する、すなわちユーザ指定により重みを変更する際に、それに伴い変更された重みが閾値以下になる選択外ブロックを検索処理しないなどの制限を加えれば、ユーザの簡単な操作で、無駄なブロックの検索処理を大幅に削減できることも可能である。
【０１２２】
【第５の実施形態】
また、第１の実施形態では、入力画像をコード化して得たテキストを用いて、ステップＳ１２０９及びＳ１２１１において全文検索手法及び概念検索手法により検索を行っていたが、テキストを用いた他の検索手法を用いるようにしても構わない。
【０１２３】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１２５】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２６】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１２７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２９】
【発明の効果】
以上説明したように本発明によれば、複数の検索手段を用いて入力画像と登録画像との類似度を求め、入力画像に類似する登録画像を検索する場合において、文書ごとのレイアウトの違いを任意に反映させることで、検索精度の向上を実現できる。
【図面の簡単な説明】
【図１】本発明にかかる情報処理方法を実現する画像処理システムの構成を示す図である。
【図２】ＭＦＰの詳細を示す図である。
【図３】本発明にかかる情報処理方法を実現する画像処理システムにおける処理の流れを示すフローチャートである。
【図４】ページ画像データに対する領域分割処理の一例を示す図である。
【図５】ブロックセレクション処理で得られた各ブロックに対するブロック情報を示す図である。
【図６】原稿画像中に付加された２次元バーコード（ＱＲコードシンボル）を復号して、データ文字列を出力する過程を示すフローチャートである。
【図７】２次元バーコードの付加された原稿の一例を示す図である。
【図８】ポインタ情報からのオリジナル電子ファイルの検索についての処理の流れを示すフローチャートである。
【図９】ポインタ情報からオリジナル電子ファイルを検索した際に、検索の結果、特定できたオリジナル電子ファイルにアクセス権の制限が有る場合についての処理の流れを示すフローチャートである。
【図１０】ブロックセレクション処理の概要を説明するための図である。
【図１１】ベクトル化処理の一例を示す図である。
【図１２】本発明にかかる情報処理方法を実現する画像処理システムにおける検索処理の流れを示すフローチャートである。
【図１３Ａ】本発明にかかる情報処理方法を実現する画像処理システムにおいて、検索方法の重み付けを行うための設定画面の一例を示す図である。
【図１３Ｂ】本発明にかかる情報処理方法を実現する画像処理システムにおいて、順位決定されたオリジナル電子ファイルが表示された表示画面の一例を示す図である。
【図１４】本発明にかかる情報処理方法を実現する画像処理システムにおける総合類似度算出処理の概念を示す図である。
【図１５】ベクトル化処理されたオリジナル電子ファイルの一例を示す図である。
【図１６】アプリデータに変換する処理の流れを示すフローチャートである。
【図１７】文書構造ツリー生成処理の流れを示すフローチャートである。
【図１８】文書構造ツリーを説明するための図である。
【図１９】ポインタ情報としてのデータ文字列を２次元バーコード（ＱＲコードシンボル：ＪＩＳ  Ｘ０５１０）にて符号化して入力画像中に付加する過程を示すフローチャートである。
【図２０】レイアウト情報によるファイル選別を実施した際の処理の流れを示すフローチャートである。
【図２１】ユーザにより検索オプションを指定した場合の、ユーザインタフェース画面の一例を示す図である。
【図１】
2004334339.tif 000003
【図２】
2004334339.tif 000004
【図３】
2004334339.tif 000005
【図４】
2004334339.tif 000006
【図５】
2004334339.tif 000007
【図６】
2004334339.tif 000008
【図７】
2004334339.tif 000009
【図８】
2004334339.tif 000010
【図９】
2004334339.tif 000011
【図１０】
2004334339.tif 000012
【図１１】
2004334339.tif 000013
【図１２】
2004334339.tif 000014
【図１３Ａ】
2004334339.tif 000015
【図１３Ｂ】
2004334339.tif 000016
【図１４】
2004334339.tif 000017
【図１５】
2004334339.tif 000018
【図１６】
2004334339.tif 000019
【図１７】
2004334339.tif 000020
【図１８】
2004334339.tif 000021
【図１９】
2004334339.tif 000022
【図２０】
2004334339.tif 000023
【図２１】
2004334339.tif 000024