(57)【要約】【課題】画質の劣化も少なく、また記憶容量も少なくて済むようにして格納されたイメージ情報に関して、再利用が容易になるような画像処理方法を提供する。【解決手段】入力されたイメージそれぞれに対して、格納手段に格納されているオリジナル電子データを検索し、オリジナル電子データが検索されなかった場合、前記入力されたイメージをベクトルデータ化して電子データとして格納手段に格納し、前記検索ステップでオリジナル電子データが検索された場合において当該検索されたオリジナル電子データに関する情報、あるいは前記検索ステップでオリジナル電子データが検索されなかった場合において前記ベクトル化ステップでベクトル化されて前記格納ステップで格納された電子データに関する情報、の少なくともいずれかを含むシートを生成することにより、再利用が容易になるシートを提供する。【選択図】      図３
2004252843.tif 000002
【特許請求の範囲】
【請求項１】
入力されたイメージそれぞれに対して、格納手段に格納されているオリジナル電子データを検索する検索ステップと、
前記検索ステップでオリジナル電子データが検索されなかった場合、前記入力されたイメージをベクトルデータ化するベクトル化ステップと、
前記ベクトル化ステップでベクトルデータ化されたイメージを電子データとして格納手段に格納する格納ステップと、
前記検索ステップでオリジナル電子データが検索された場合において当該検索されたオリジナル電子データに関する情報、あるいは前記検索ステップでオリジナル電子データが検索されなかった場合において前記ベクトル化ステップでベクトル化されて前記格納ステップで格納された電子データに関する情報、の少なくともいずれかを含むシートを生成するシート生成ステップと
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本願発明は、複写機などの画像処理装置で読み取った画像データを、Ｗｏｒｄ等所謂文書作成アプリケーションソフトで再利用可能なベクトルデータに変換し、それらを簡便に利用する画像処理方法に関する。
【０００２】
【従来の技術】
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでおり、電子文書を取り扱う各種技術が考え出されている。
【０００３】
例えば、特許文献１では、紙文書をスキャナーで読み取り、電子文書フォーマット（ＪＰＥＧやＰＤＦなど）に変換して、画像記憶手段に格納させるものが記載されている。
【０００４】
また、特許文献２では、文書画像内に含まれる属性毎の領域を検出し、該領域毎にコンテンツとして、文書を管理する文書管理システムが記載されている。
【０００５】
また、特許文献３では、デジタル複合機（コピー機能、スキャン機能、プリント機能などを備える）において、スキャンしたイメージ中にページＩＤを示すグラフィック・コードがあるかどうか確認し、グラフィック・コードが見つかれば、該当するページＩＤをデータベース上で検索する。そして、もし、データベース上でページＩＤが見つかれば、今取り込んだばかりのスキャン・イメージを廃棄し、これに代わってページＩＤに関連付けられた印刷データを取り出して、プリント操作によって印刷イメージを生成し且つ用紙に印刷する技術が記載されている。一方、データベース上で該当するページＩＤが見つからなかった場合、コピー操作時はスキャン・イメージをそのまま用紙に複写し、ファクシミリ操作時やファイリング操作時は、スキャン・イメージにＰＤＬコマンドを付与してＰＤＬフォーマットにして送信することが記載されている。
【０００６】
【特許文献１】
特開２００１−３５８８６３号公報
【特許文献２】
特開平８−１４７４４５号公報
【特許文献３】
特開平１０−２８５３７８号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献１の技術では、スキャナーで読み取った画像をコンパクトな情報量のＪＰＥＧファイルやＰＤＦファイルとして保存可能であるが、プリントされた文書から保存されているファイルを検索することができないので、プリントとスキャンを繰り返すと、保存している文書の画像が劣化していってしまうという課題がある。
【０００８】
また、特許文献２の技術では、画像を複数の領域に分割してコンテンツ毎に再利用可能としているが、ユーザの指示に基づいて、コンテンツを検索し、更にその中から使用するコンテンツを決めるため、格納されているコンテンツを利用して文書を作成する際、ユーザはどのコンテンツを用いるか決めなければならず非常に手間がかかってしまうという課題がある。
【０００９】
また、特許文献３の技術では、紙文書に対応するオリジナルの電子文書が見つからなかった場合にスキャン・イメージにＰＤＬコマンドを付与してＰＤＬフォーマットにしているが、単にイメージにＰＤＬコマンドを付与してＰＤＬフォーマットにするだけではファイルサイズが比較的大きくなってしまうという課題がある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理方法は、入力されたイメージそれぞれに対して、格納手段に格納されているオリジナル電子データを検索する検索ステップと、前記検索ステップでオリジナル電子データが検索されなかった場合、前記入力されたイメージをベクトルデータ化するベクトル化ステップと、前記ベクトル化ステップでベクトルデータ化されたイメージを電子データとして格納手段に格納する格納ステップと、前記検索ステップでオリジナル電子データが検索された場合において当該検索されたオリジナル電子データに関する情報あるいは前記検索ステップでオリジナル電子データが検索されなかった場合において前記ベクトル化ステップでベクトル化されて前記格納ステップで格納された電子データに関する情報の少なくともいずれかを含むシートを生成するシート生成ステップとを有することを特徴とする。
【００１１】
【発明の実施の形態】
本願発明の実施の形態について説明する。図１は本願発明にかかる画像処理システム構成例を示すブロック図である。この画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続された環境で実現する。オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ、デジタル複合機）１００、該ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６、そのデータベース１０５、およびプロキシサーバ１０３が接続されている。ＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８はプロキシサーバ１０３を介してインターネット１０４に接続される。ＭＦＰ１００は本発明において紙文書の画像読み取り処理（スキャナー）と読み取った画像信号に対する画像処理の一部を担当し、画像信号はＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力する。マネージメントＰＣは通常のＰＣであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有するが、その一部はＭＦＰ１００に一体化されて構成されているものとする。
【００１２】
図２はＭＦＰ１００の構成図である。図２においてオートドキュメントフィーダー（以降ＡＤＦと記す）を含む画像読み取り部１１０は束状の或いは１枚の原稿画像を図示しない光源で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号を例えば６００ＤＰＩの密度のイメージ情報として得る。通常の複写機能はこの画像信号をデータ処理部１１５で記録信号へ画像処理し、複数毎複写の場合は記録装置１１１に一旦記録データを記憶保持した後、記録装置１１２に順次出力して紙上に画像を形成する。
【００１３】
一方クライアントＰＣ１０２から出力されるプリントデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能なラスターデータに変換した後、前記記録装置で紙上に記録画像として形成される。
【００１４】
ＭＦＰ１００への操作者の指示は、ＭＦＰに装備されたキー操作部とマネージメントＰＣに入力されるキーボード、及び、マウスからなる入力装置１１３から行われ、これら一連の動作はデータ処理装置１１５内の図示しない制御部で制御される。
【００１５】
一方、操作入力の状態表示及び処理中の画像データの表示は表示装置１１６で行われる。尚記憶装置１１１はマネージメントＰＣからも制御され、これらＭＦＰとマネージメントＰＣとのデータの授受及び制御はネットワークＩＦ１１７および直結したＬＡＮ１０９を用いて行われる。
【００１６】
なお、本発明は、図２に示した装置ないし図１に示したシステムにおいて実行されうるものであり、例えば、図２の記憶装置１１１に記憶されたコンピュータ実行可能な制御プログラム（なお、この場合、本発明を構成する制御プログラムは記憶装置１１１に記憶されていてもいいし、外部装置から通信回線等を介して読み込まれて実行されるものであってもよい。また記憶装置は内蔵型ハードディスクに限らずリムーバブルディスクなどであってもよい）を、データ処理装置１１５の制御部（ＣＰＵ）が実行することにより、後述する本発明の処理が実行されるものであってもよいし、また、前記データ処理装置１１５の制御部の全部又は一部が電気回路のハードウェアで構成され該電気回路で信号を処理することにより本発明の処理を実行するものであってもよい。
【００１７】
＜＜処理概要＞＞
次に本発明による画像処理全体の概要を図３を用いて説明する。
【００１８】
図３においてまず、ＭＦＰ１００の画像読み取り部１１０を動作させ１枚の原稿をラスター状に走査し、イメージ情報入力処理１２０で６００ＤＰＩ−８ビットの画像信号を得る。該画像信号をデータ処理部１１５で前処理を施し記憶装置１１１に１ページ分の画像データとして保存する。マネージメントＰＣ１０１のＣＰＵは該格納された画像信号から先ず、文字／線画部分とハーフトーンの画像部分とに領域を分離し、文字部は更に段落で塊として纏まっているブロック毎に分離し、また、線画部分は線で構成された表、図形毎に分離し、各々セグメント化する。一方、ハーフトーンで表現される画像部分は、矩形に分離されたブロックの画像部分、背景部等、所謂ブロック毎に独立したオブジェクトに分割する（ステップ１２１）。
【００１９】
このとき原稿画像中に付加情報として記録された２次元バーコード、或いはＵＲＬに該当するオブジェクトを検出し、ＵＲＬについては文字認識処理（ＯＣＲ）を実行し、或いは２次元バーコードなら該マークを解読（ＯＭＲ）して（ステップ１２２）、該原稿のオリジナル電子ファイルが格納されている記憶装置内のポインター情報を検出する（ステップ１２３）。尚、ポインター情報を付加する手法としては、他に文字と文字の間隔を微小に変化させることによって情報を埋め込む手法や、ハーフトーンの画像に電子透かしとして埋め込む手法等であってもよい。
【００２０】
ポインター情報が検出された場合、ステップ１２５に分岐し、ポインターで示されたアドレスから元の電子ファイルを検索する。電子ファイルは図１においてクライアントＰＣ内のハードディスク内、或いはオフィス１０或いは２０のＬＡＮに接続された文書管理サーバ１０６によって管理されるデータベース１０５内、或いはＭＦＰ１００自体が有する記憶装置１１１のいずれかに格納されており、ステップ１２３で得られたアドレス情報に従ってこれらの記憶装置内を検索する。ステップ１２５で電子ファイルが見つからなかった場合、見つかったがＪＰＥＧやＰＤＦあるいはｔｉｆｆに代表される所謂イメージファイルであった場合、或いは、ステップ１２４でポインター情報自体が存在しなかった場合は、ステップ１２６に分岐する。１２５でポインター情報に基づく電子ファイルが見つかった場合、ステップ１３３へ分岐する。
【００２１】
ステップ１２６は所謂文書検索処理ルーチンである。まずステップ１２２で各文字ブロックに対して行ったＯＣＲの結果から単語を抽出して電子ファイル内に含まれる単語と比較することにより全文検索、或いは各オブジェクトの配列と各オブジェクトの属性を電子ファイルのオブジェクト配列及びオブジェクト属性と比較することにより所謂レイアウト検索を行う。検索の結果、類似度の高い電子ファイルが見つかった場合、サムネイル等で候補の電子ファイルを表示（ステップ１２７）し、複数の候補中から操作者の選択が必要なら操作者の入力操作によってファイルの特定を行う。電子ファイルが特定された場合はステップ１３３に進むが、ステップ１２６の検索処理で電子ファイルが見つからなかった場合、或いは、特定された電子ファイルがＰＤＦあるいはｔｉｆｆに代表される所謂イメージファイルであった場合、ステップ１２９に分岐する。
【００２２】
ステップ１２９はイメージデータからベクトルデータへの変換処理部であり、イメージ情報をベクトル化した電子ファイルに変換する。先ず、ステップ１２２でＯＣＲされた文字ブロックに対しては、更に文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。一方、線で構成される表、図形ブロックに対してはアウトライン化する。写真などの自然画像ブロックに対してはイメージデータとして個別のＪＰＥＧファイルとして処理する。これらのベクトル化処理は各オブジェクト毎に行い、更に各オブジェクトのレイアウト情報を保存して、ステップ１３０で一般のアプリケーションで編集可能なアプリデータに変換され、ステップ１３１で電子ファイルとして記憶装置１１１に格納され、更に、以降同様の処理を行う際に直接電子ファイルとして検索出来るように、ステップ１３２において検索の為のインデックス情報を生成して検索用インデックスファイルに追加される。なお、ステップ１３０で、汎用のファイル形式として、例えば、ｒｔｆ（Ｒｉｃｈ  Ｔｅｘｔ  Ｆｏｒｍａｔ）形式に変換するようにしてもよい。
【００２３】
以上の処理が終了した後、ステップ１３３で当該ページが最終ページか否かを判別し、そうでない場合は、ステップ１２０に制御を戻し、次のページの処理を再び繰り返す。
【００２４】
最終ページであった場合は、ステップ１３４に制御を移行する。
【００２５】
ステップ１３４では、本発明の主眼を為す処理で、上記、スキャン、検索、ベクトル化を経て特定された全ページのページ情報（例えば、サムネイル、タイトル、要約、キーワード、ＩＤ、日付、著作者、及び処理結果へのポインター情報など）を含むインデックスシート（以後ポータルシートと呼ぶことにする）を生成し、出力する。
【００２６】
以下、各処理ブロックに対して詳細に説明する。
【００２７】
＜＜ブロックセレクション処理＞＞
先ずステップ１２１で示すブロックセレクション処理について説明する。
【００２８】
ブロックセレクション処理とは、図４の右に示すように、ステップ１２０で入力されたイメージデータ（図４左）を、各オブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定し、異なる属性を持つ領域に分割する処理である。
【００２９】
ブロックセレクション処理の実施例を以下に説明する。
【００３０】
先ず、入力画像を白黒に二値化し、黒画素の輪郭線追跡をおこなって、黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００３１】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊として、さらに近接する文字の画素塊が整列良くグループ化可能な部分を文字領域とし、また、扁平な画素塊を線領域とし、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域とし、不定形の画素塊が散在している領域を写真領域とし、それ以外の任意形状の画素塊を図画領域、などとする。
【００３２】
ブロックセレクション処理で得られた各ブロックに対するブロック情報と、入力画像に含まれるブロックを管理するための入力ファイル情報とを図５に示す。これらのブロック毎の情報は以降に説明するベクトル化、或いは検索の為の情報として用いる。
【００３３】
＜＜ポインター情報の検出＞＞
次に、ファイルの格納位置をイメージ情報から抽出する為のＯＣＲ／ＯＭＲ処理（ステップ１２２）について説明する。
【００３４】
図６は原稿画像中に付加された２次元バーコード（ＱＲコードシンボル）を復号して、データ文字列を出力する過程を示すフローチャートである。２次元バーコードの付加された原稿３１０の一例を図７に示す。
【００３５】
まず、データ処理装置１１５内のページメモリに格納された原稿３１０を表すイメージ画像をＣＰＵ（不図示）で走査して、先に説明したブロックセレクション処理の結果から、所定の２次元バーコードシンボル３１１の位置を検出する。ＱＲコードの位置検出パターンは、シンボルの４隅のうちの３隅に配置される同一の位置検出要素パターンから構成される（ステップ３００）。
【００３６】
次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る（ステップ３０１）。
【００３７】
シンボルの型番を決定した（ステップ３０２）後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをＸＯＲ演算することによってマスク処理を解除する（ステップ３０３）。
【００３８】
尚、モデルに対応する配置規則に従い、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する（ステップ３０４）。
【００３９】
復元されたコード上に、誤りがあるかどうかの検出を行い（ステップ３０５）、誤りが検出された場合、ステップ３０６に分岐し、これを訂正する。
【００４０】
誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する（ステップ３０７）。
【００４１】
最後に、仕様モードに基づいてデータ文字を復号し、結果を出力する（ステップ３０８）。
【００４２】
尚、２次元バーコード内に組み込まれたデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。或いは、対応するファイルへのＵＲＬで構成されるものであってもよい。
【００４３】
本実施例ではポインター情報が２次元バーコードを用いて付与された原稿３１０について説明したが、文字列でポインター情報が記録されるようにしてもよい。その場合は所定のルールに従った文字列のブロック（例えば予め決められた位置にある文字ブロック）を先のブロックセレクション処理で検出し、該ポインター情報を示す文字列ブロックの各文字を文字認識する事で、元ファイルのアドレス情報を得る事が可能である。
【００４４】
又、図７の文書３１０の文字ブロック３１２、或いは３１３の文字列に対して隣接する文字と文字の間隔等に微小な変調を加えるなどすることにより、該文字間隔に情報を埋め込むことでもポインター情報を付与できるので、例えば、後述する文字認識処理を行う際に各文字の間隔を検出すれば、ポインター情報が得られる。又、自然画３１４の中に不可視の電子透かしとしてポインター情報を付加する事も可能である。
【００４５】
＜＜ポインター情報によるファイル検索＞＞
次に、図３のステップ１２５で示した、ポインター情報からの電子ファイルの検索について、図８のフローチャートを使用して説明する。
【００４６】
まず、ポインタ情報に含まれるアドレスに基づいて，ファイル・サーバーを特定する（ステップ４００）。
【００４７】
ここでファイルサーバとは、クライアントＰＣ１０２や、データベース１０５を内蔵する文書管理サーバ１０６や、記憶装置１１１を内蔵するＭＦＰ１００自身を指す。また、ここでアドレスとは、ＵＲＬや、サーバ名とファイル名からなるパス情報である。
【００４８】
ファイルサーバが特定できたら、ファイルサーバに対してアドレスを転送する（ステップ４０１）。ファイル・サーバは，アドレスを受信すると、該当するファイルを検索する（ステップ４０２）。ファイルが存在しない場合（ステップ４０３−Ｎ）には、ＭＦＰに対してその旨通知する。
【００４９】
一方、ファイルが存在した場合（ステップ４０３−Ｙ）には、ファイルのアドレスを通知し、ステップ１３４の処理で用いるようにする（ステップ４０８）。
【００５０】
＜＜ファイル検索処理＞＞
次に、図３のステップ１２６で示すファイル検索処理の詳細について図５、図１０を使用して説明を行う。
【００５１】
ステップ１２６の処理は、前述したように、ステップ１２４で入力原稿（入力ファイル）にポインタ情報が存在しなかった場合、または、ステップ１２５でポインタ情報は在るが電子ファイルが見つからなかった場合、或いは電子ファイルがイメージファイルであった場合に行われる。
【００５２】
ここでは、ステップ１２２の結果、抽出された各ブロック及び入力ファイルが、図５に示す情報（ブロック情報、入力ファイル情報）を備えるものとする。情報内容として、属性、座標位置、幅と高さのサイズ、ＯＣＲ情報有無を例としてあげる。属性は、文字、線、写真、絵、表、その他に分類する。また簡単に説明を行うため、ブロックは座標Ｘの小さい順、即ち（例、Ｘ１＜Ｘ２＜Ｘ３＜Ｘ４＜Ｘ５＜Ｘ６）にブロック１、ブロック２、ブロック３、ブロック４、ブロック５，ブロック６と名前をつけている。ブロック総数は、入力ファイル中の全ブロック数であり、図１０の場合は、ブロック総数は６である。以下、これらの情報を使用して、データベース内から、入力ファイルに類似したファイルのレイアウト検索を行うフローチャートを図１０に示す。ここで、データベースに格納されているファイルは、図５と同様の種類の情報（ブロック情報、ファイル情報）を備えることを前提とする。
【００５３】
フローチャートの流れは、入力ファイルとデータベース中のファイルを順次比較するものである。まず、ステップ５１０にて、後述する類似率などの初期化を行う。次に、ステップ５１１にてブロック総数の比較を行い、ここで、真の場合、さらにファイル内のブロックの情報を順次比較する。ブロックの情報比較では、ステップ５１３、５１５、５１８にて、属性類似率、サイズ類似率、ＯＣＲ類似率をそれぞれ算出し、ステップ５２２にてそれらをもとに総合類似率を算出する。各類似率の算出方法については、公知の技術を用いることができるので説明を省略する。ステップ５２３にて総合類似率が、予め設定された閾値Ｔｈより高ければステップ５２４にてそのファイルを類似候補としてあげる。但し、図中のＮ、Ｗ、Ｈは、入力ファイルのブロック総数、各ブロック幅、各ブロック高さとし、ΔＮ、ΔＷ、ΔＨは、入力ファイルのブロック情報を基準として誤差を考慮したものである。ｎ、ｗ、ｈは、データベースに格納されているファイルのブロック総数、各ブロック幅、各ブロック高さとする。また、不図示ではあるが、ステップ５１４にてサイズ比較時に、位置情報ＸＹの比較などを行ってもよい。
【００５４】
以上、検索の結果、類似度が閾値Ｔｈより高く、候補として保存されたデータベースファイル（ステップ５２４）をサムネイル等で表示（ステップ１２７）する。そして、複数の候補が表示された場合、この中から操作者の入力操作よってファイルの特定を行う。
【００５５】
＜＜ベクトル化処理＞＞
次に、図３のステップ１２９で示されるベクトル化処理について詳説する。ここでは、ファイルサーバにオリジナル電子ファイルが存在しないと判断された場合に、図４に示すイメージデータ（スキャン入力されたイメージデータ）を各ブロック毎にベクトル化していく。
【００５６】
＜文字ブロックのベクトル化＞
まず、文字ブロックに対しては各文字に対して文字認識処理を行う。文字認識部では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応する文字コードを得る。この認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルと比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【００５７】
ブロックセレクション（ステップ１２１）で抽出された文字領域に対して文字認識を行う場合は、まず該当領域に対し横書き、縦書きの判定をおこない、各々対応する方向に行を切り出し、その後文字を切り出して文字画像を得る。横書き、縦書きの判定は、該当領域内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き領域、垂直射影の分散が大きい場合は縦書き領域と判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことでおこなう。縦書きの文字領域に対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出出来る。
【００５８】
次に、該文字ブロック内の各文字のフォント種別を認識する。文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォントが認識出来る。
【００５９】
前記文字認識およびフォント認識よって得られた、文字コードおよびフォント情報を用いて、文字コード及びフォントごとにあらかじめ用意されたアウトラインデータを用いて、文字部分の情報をベクトルデータに変換する。なお、元原稿がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
【００６０】
以上の処理により文字ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
【００６１】
＜線画ブロック、図画ブロック等のベクトル化＞
ブロックセレクション処理（ステップ１２１）で、線画、図画、あるいは表領域とされた領域を対象に、該領域中で抽出された画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図１１に図示するように、任意点Ｐｉに対し左右ｋ個の離れた点Ｐｉ−ｋとＰｉ＋ｋの間に弦を引いたとき、この弦とＰｉの距離が極大となる点として求められる。さらに、（Ｐｉ−ｋとＰｉ＋ｋ間の弦の長さ／弧の長さ）をＲとし、Ｒの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は３次スプライン関数などを用いてベクトル化することができる。
【００６２】
また、対象が内輪郭を持つ場合、白画素の輪郭線追跡を行い、抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。
【００６３】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【００６４】
さらに、図１２に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Ｐｉから別輪郭上で最短距離となる点Ｑｉまで線を引き、各距離ＰＱｉが平均的に一定長以下の場合、注目区間はＰＱｉ中点を点列として直線あるいは曲線で近似し、その太さはＰＱｉの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。
【００６５】
尚、先に文字ブロックに対する文字認識処理を用いたベクトル化を説明したが、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いるが、この距離が所定値以上の場合は、必ずしも本来の文字に一致せず、形状が類似する文字に誤認識している場合が多い。従って、本発明では、この様な文字に対しては、上記した様に、一般的な線画と同じに扱い、該文字をアウトライン化する。即ち、従来文字認識処理で誤認識を起こす文字に対しても誤った文字にベクトル化されず、可視的にイメージデータに忠実なアウトライン化によるベクトル化が行える。
【００６６】
なお、写真と判定されたブロックに対しては本発明では、ベクトル化出来ない為、イメージデータのままとする。
【００６７】
上述したように任意形状の図形のアウトラインをベクトル化した後、これらベクトル化された区分線を図形オブジェクト毎にグループ化する処理について説明する。
【００６８】
図１３は、ベクトルデータを図形オブジェクト毎にグループ化するまでのフローチャートを示している。まず、各ベクトルデータの始点、終点を算出する（７００）。次に各ベクトルの始点、終点情報を用いて、図形要素を検出する（７０１）。図形要素の検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする（７０２）。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
【００６９】
図１４は、図形要素を検出するフローチャートを示している。先ず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（７１０）。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する（７１１）。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、７１０で除去された不要ベクトルのうち、７１１で閉図形としてグループ化されたベクトルに接合しているものを検出し一つの図形要素としてグループ化する（７１２）。
【００７０】
以上によって図形ブロックを個別に再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
【００７１】
＜＜アプリデータへの変換処理＞＞
ところで、一頁分のイメージデータをブロック毎にベクトル化処理（ステップ１２９）した結果は、図１５に示す様な中間データ形式のファイルとして変換されている。このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。
【００７２】
図１５はＤＡＯＦのデータ構造を示す図である。図１５において、７９１はＨｅａｄｅｒであり、処理対象の文書画像データに関する情報が保持される。レイアウト記述データ部７９２では、文書画像データ中のＴＥＸＴ（文字）、ＴＩＴＬＥ（タイトル）、ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥＡＲＴ（線画）、ＰＩＣＴＵＲＥ（自然画）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）等の属性毎に認識された各ブロックの属性情報とその矩形アドレス情報を保持する。文字認識記述データ部７９３では、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等のＴＥＸＴブロックを文字認識して得られる文字認識結果を保持する。表記述データ部７９４では、ＴＡＢＬＥブロックの構造の詳細を格納する。画像記述データ部７９５は、ＰＩＣＴＵＲＥやＬＩＮＥＡＲＴ等のブロックのイメージデータを文書画像データから切り出して保持する。
【００７３】
このようなＤＡＯＦは、中間データとしてのみならず、それ自体がファイル化されて保存される場合もあるが、このファイルの状態では、所謂一般の文書作成アプリケーションで個々のオブジェクトを再利用する事は出来ない。そこで、次に、図１６を用いて、このＤＡＯＦからアプリデータに変換する処理（ステップ１３０）について詳説する。
【００７４】
ステップ８０００では、ＤＡＯＦデータの入力を行う。
【００７５】
ステップ８００２は、アプリデータの元となる文書構造ツリー生成を行う。
【００７６】
ステップ８００４は、文書構造ツリーを元に、ＤＡＯＦ内の実データを流し込み、実際のアプリデータを生成する。
【００７７】
図１７は、ステップ８００２での文書構造ツリー生成の詳細フロー、図１８は、文書構造ツリーの説明図である。全体制御の基本ルールとして、処理の流れはミクロブロック（単一ブロック）からマクロブロック（ブロックの集合体）へ移行する。以後ブロックとは、ミクロブロック、及びマクロブロックについて示すものとする。
【００７８】
ステップ８１００では、ブロック単位で縦方向の関連性を元に再グループ化する。スタート直後はミクロブロック単位での判定となる。ここで、関連性とは、距離の近さや、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどで定義することができる。また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。
【００７９】
図１８（ａ）はページ構成例、（ｂ）はその文書構造ツリーである。ステップ８１００の結果、Ｔ３、Ｔ４、Ｔ５が同じ階層のグループＶ１として生成され、Ｔ６、Ｔ７が同じ階層のグループＶ２としてまず生成される。
【００８０】
ステップ８１０２では、縦方向のセパレータの有無をチェックする。セパレータは、例えば物理的にはＤＡＯＦ中でライン属性を持つオブジェクトである。また論理的な意味としては、アプリ中で明示的にブロックを分割する要素である。ここでセパレータを検出した場合は、同じ階層で再分割する。
【００８１】
ステップ８１０４では、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、縦方向のグループ長がページ高さ（該ページに存在する複数のブロックの最上端と際下端の距離）となっている場合は、文書構造ツリー生成は終了する。図１８の場合は、グループＶ１，Ｖ２には、セパレータもなく、グループ高さはページ高さではないので、ステップ８１０６に進む。
【００８２】
ステップ８１０６では、ブロック単位で横方向の関連性を元に再グループ化する。ここもスタート直後の第一回目はミクロブロック単位で判定を行うことになる。このときの関連性、及びその判定情報の定義は、縦方向の場合と同じである。
【００８３】
図１８の場合は、Ｔ１，Ｔ２でグループＨ１が生成され、また、Ｖ１，Ｖ２でグループＨ２が生成される。グループＨ１とグループＨ２は、Ｖ１，Ｖ２の１つ上の同じ階層のグループとして生成される。
【００８４】
ステップ８１０８では、横方向セパレータの有無をチェックする。図１８では、Ｓ１があるので、これをツリーに登録し、Ｈ１、Ｓ１、Ｈ２という階層が生成される。
【００８５】
ステップ８１１０は、分割がこれ以上存在し得ないか否かをグループ長を利用して判定する。ここで、横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成は終了する。
【００８６】
そうでない場合は、８１０２に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【００８７】
図１８の場合は、分割幅がページ幅（該ページに存在する複数のブロックの最左端と最右端の距離）になっているので、ここで終了し、最後にページ全体を表す最上位階層のＶ０が文書構造ツリーに付加される。
【００８８】
文書構造ツリーが完成した後、その情報を元に８００４においてアプリデータの生成を行う。図１８の場合は、具体的には、以下のようになる。
【００８９】
すなわち、Ｈ１は横方向に２つのブロックＴ１とＴ２があるので、２カラムとし、Ｔ１の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、Ｔ２の内部情報出力、その後Ｓ１を出力となる。
【００９０】
Ｈ２は横方向に２つのブロックＶ１とＶ２があるので、２カラムとして出力、Ｖ１はＴ３、Ｔ４、Ｔ５の順にその内部情報を出力、その後カラムを変え、Ｖ２のＴ６、Ｔ７の内部情報を出力する。
【００９１】
以上により出力された順番でアプリデータへの変換処理が行えるので、例えば文字領域の読み順などを正しい順番でアプリデータへ変換できる。
【００９２】
＜＜ポータルシート作成＞＞
まず、図１９を参照してポータルシート２２０１について説明する。図１９のポータルシートには、６つの原稿の情報（ステップ１２０で入力されたイメージに係る情報）が記録されている。それぞれは、以下の２２０２−２２０５の情報からなっている。
【００９３】
２２０３は、原稿の縮小画像（サムネール）で、１ページ目を表している。
【００９４】
２２０２，２２０４は日付、タイトル、作者、ＩＤ、キーワード、要約等であり、サムネール２２０３に関連する情報で、予め原稿に付随している情報であったり、ユーザが入力した情報であったり、原稿の内容から自動的に抽出された情報であったりする。
【００９５】
２２０５は原稿の蓄積場所等を示すためのポインタである。ここでは二次元バーコードで表されているが、１次元バーコードであったり、電子透かしであっても問わない。
【００９６】
次に、図３の１３４の処理にあたる、ポータルシートの作成方法について、図２０を使用して説明する。
【００９７】
まず操作者が、あらかじめ操作パネル（図示せず）よりポータルシートを出力するモードを選択し、１枚に表示する件数（ページ内原稿数）を操作パネルのテンキーにて入力する。本例では、６が設定されているものとする。
【００９８】
まず、ステップ２２１１において、ポータルシートのページ内に原稿が配置されているかを確認する。最初は、原稿が配置されていないので、２２１２にてポータルシートページの初期化処理を行なう。
【００９９】
次に前述した各原稿の日付やタイトル等の原稿情報を取得し（２２１３）、それらを図１９のようにポータルシートページ上に配置する（２２１４）。また、ステップ２２１４では、各原稿のポインタ情報も付加する。
【０１００】
次にポータルシートページ内に配置した原稿数が、操作者が指定したページ内原稿数に達しているかどうかを確認し（２２１５）、もし達していた場合には現ページをプリンタへ出力する。
【０１０１】
最後にすべての原稿を配置したかどうかを確認し（２２１７）、まだ未配置の原稿が存在すれば２２１１の処理に戻り、すべて配置し終わっていたら、必要に応じて最後のページを出力して（２２１８，２２１９）、終了する。
【０１０２】
次に、ステップ２２１３で取得され２２１４で配置される原稿情報（タイトル、キーワード、ＩＤ、日付、著作者、要約、目次など）の作成方法について説明する。
【０１０３】
原稿に含まれるテキストデータに対してタイトルを抽出する方法としては、例えば、前述の方法により抽出したレイアウト情報およびフォント情報を利用し、テキストデータの最初の部分に現れるフォントの大きい文で、かつテキストデータ中に使用される頻度の高い文をタイトルとして抽出するようにする。
【０１０４】
原稿に含まれるテキストデータに対してキーワードを抽出する方法としては、例えば、まずテキストデータ全体を形態素解析などにより、単語に分解する。全単語を使用頻度によりソートし、頻度の高いものから順にキーワードとする。さらに、より有効なキーワードを抽出するには、予め用意したキーワード用のデータベースと照合するようにしても良い。
【０１０５】
ＩＤ、日付、著作者の情報に関しては、電子ファイルの検索によりファイルが存在した場合に、そのファイルの属性情報として取得する。
【０１０６】
要約情報に関しては、文字コード列で構成されるテキストデータに対して、その要約を作成する方法としては、次のようなものがある。まずテキストデータを文あるいは文節単位に分解する。これは句読点の文字コードを境界として機械的に分割することができる。次にそれぞれの文あるいは文節に対し重要度を計算して付与する。この重要度の計算方法としては、テキストデータ全体に含まれる単語に対して出現頻度を求め、頻繁に出現する単語に高い点数を与え、各文あるいは文節の重要度は、その中に含まれる各単語の点数の総和とする方法、レイアウト情報やフォント情報を用いて、タイトルや見出しに相当する文を検出し、その文自体の重要度を高めたり、文に含まれる単語の点数を上げて重要度を計算したりする方法、などがある。最後に、重要度が上位の文あるいは文節を抽出することで要約文が作成される。このとき、上位何位まで抽出するかを変化させて、所望のサイズの要約文を生成することが可能である。
【０１０７】
目次情報の作成に関しては、例えば、複数ページに渡るようなテキストデータに対して目次を作成する場合には、テキストをレイアウト上の空白などから段落に分割し、それぞれに要約を施して一行程度の要約文を割りあてればよい。特に、前述のようにレイアウト情報やフォント情報からタイトルや見出しとして抽出された文は、目次として最適である。
【０１０８】
次に、図１９の２２０５等に示されている原稿の蓄積場所を示すためのポインタ情報付加処理について説明する。このポインタ情報付加処理は、ステップ２２１４の原稿情報配置時に行われるものとする。
【０１０９】
図２１はポインター情報としてのデータ文字列を２次元バーコード（ＱＲコードシンボル：ＪＩＳ  Ｘ０５１０）３１１にて符号化する過程を示すフローチャートである。
【０１１０】
２次元バーコード内に組み込むデータは、対応するファイルのアドレス情報を表しており、例えばファイルサーバ名およびファイル名からなるパス情報で構成される。或いは、対応するファイルへのＵＲＬや、対応するファイルの格納されているデータベース１０５内あるいはＭＦＰ１００自体が有する記憶装置内で管理されるファイルＩＤ等で構成される。
【０１１１】
まず、符号化する種種の異なる文字を識別するため、入力データ列を分析する。また、誤り検出及び誤り訂正レベルを選択し、入力データが収容できる最小型番を選択する。（ステップ９００）。
【０１１２】
次に、入力データ列を所定のビット列に変換し、必要に応じてデータのモード（数字、英数字、８ビットバイト、漢字等）を表す指示子や、終端パターンを付加する。さらに所定のビットコード語に変換する。（ステップ９０１）。
【０１１３】
この時、誤り訂正を行うため、コード語列を型番および誤り訂正レベルに応じて所定のブロック数に分割し、各ブロック毎に誤り訂正コード語を生成し、データコード語列の後に付加する（ステップ９０２）。
【０１１４】
該ステップ９０２で得られた各ブロックのデータコード語を接続し、各ブロックの誤り訂正コード語、必要に応じて剰余コード語を後続する。（ステップ９０３）。
【０１１５】
次に、マトリクスに位置検出パターン、分離パターン、タイミングパターンおよび位置合わせパターン等とともにコード語モジュールを配置する。（ステップ９０４）。
【０１１６】
更に、シンボルの符号化領域に対して最適なマスクパターンを選択して、マスク処理パターンをステップ９０４で得られたモジュールにＸＯＲ演算により変換する（ステップ９０５）。
【０１１７】
最後に、ステップ９０５で得られたモジュールに形式情報および型番情報を生成して、２次元コードシンボルを完成する（ステップ９０６）。
【０１１８】
上記に説明した、アドレス情報の組み込まれた２次元バーコードは、ステップ２２１４の原稿情報配置時に行われるものとするが、例えば、クライアントＰＣ１０２からポータルシートを生成する場合に、データ処理装置１１５内で記録可能なラスターデータに変換された後にラスターデータ上の所定の個所に付加されて画像形成されるようにしても構わない。
【０１１９】
尚、同様の目的で付加情報を付与する手段は、本実施例で説明した２次元バーコードの他に、例えば、ポインター情報を直接文字列で文書に付加する方法、文書内の文字列、特に文字と文字の間隔を微小に変調して情報を埋め込む方法、文書中の中間調画像中に埋め込む方法等、一般に電子透かしと呼ばれる方法が適用出来る。
【０１２０】
以下電子透かしを適用して、ポータルシート上に掲載される中間調画像（サムネール画像）中へコード情報を埋め込む例について説明する。
【０１２１】
コード情報はバイナリデータ列として画像上の各色成分一画素について一ビットを重み付けて埋め込まれる。画素にコード情報を埋め込む際、近傍画素で構成される一つのブロックに対し一つのコード情報を埋め込む。コード情報は互いに重ならない複数のブロックに対して繰り返し埋め込まれる。ここで、同じコード情報が埋め込まれた複数のブロックが構成するブロックをマクロブロックとよぶ。なお、サムネール画像全体をマクロブロックとすることも可能である。埋め込まれたコード情報を取り出す際はマクロブロックよりブロック毎の相互相関を求め、その統計量よりコード情報が抽出できる。
【０１２２】
このような画像へのコード情報の埋め込みは人間の視覚では認識できないレベルで画素を変化させることで十分埋め込み可能であるが、ポータルシートで使用するサムネール画像では、その目的上、画質はそれほど気にされないため、より重みを強くして埋め込むことで耐性を持った埋め込みも可能である。
【０１２３】
＜＜ポータルシートの編集＞＞
次に、上述したようにして作成されたポータルシートについて説明する。
【０１２４】
まず、スキャンしたポータルシートを使用して、指定ページ、指定段落、指定画像、指定文書の指定ページ、指定文書の指定ページの指定段落、指定文書の指定ページの指定画像等にアクセスするための所望のポータルシートの編集について、図２２、図２３を使用して説明を行う。但し、ここで示す実施例は基本形であり、拡張は任意とする。なお、ここではポータルシートをスキャンして得たポータルシートの編集について述べるが、上述したようにして作成されたポータルシートをそのまま電子データとして保持しておき、その保持しておいたポータルシートを編集するようにしてもよい。
【０１２５】
図２２の２５０１は、ＭＦＰなどのユーザーインターフェース（以下ＵＩとする）の概略図である。前述したように、ポータルシートをスキャンすることにより、電子透かしなどから、サムネイル、タイトル、日付、要約、キーワード、ポインター情報などの情報を得られるため、これらをＵＩ上に表示し、ユーザは、その情報を見て所望とする新規ポータルシートの編集を行う。
【０１２６】
以下、ＵＩに表示されている各図について説明を行う。
【０１２７】
２５０２〜２５０６は、表示されているサムネイルを利用してポータルシートを編集するための、ボタンであり、それぞれ順に、“追加”、“削除”、“全選択”、“部分情報へアクセス”、“終了”、などの機能を備える。また、２５３０、２５３１は、複数のポータルシートをスキャンした場合のため、“前のページへ戻る”、“次のページへ進む”の機能を備えるボタンである。２５１０〜２５１５は、ポータルシートのスキャン後に得られるサムネイル及びタイトル、日付などの情報を示す図である。２５２０〜２５２５は、編集後のポータルシート、（以下、新規ポータルシート）を示す図である。
【０１２８】
図２２におけるポータルシートの編集操作について説明する。ユーザは、画面左（スキャンしたポータルシート画面）の所望とするサムネイルに、指またはペンで触れ、サムネイルをアクティブな状態にした後、追加ボタン２５０２を押すことにより、画面右（新規ポータルシート画面）にそのサムネイルを追加することが可能である。また、全選択ボタン２５０４を押すことにより、画面左に表示されている全てのサムネイルをアクティブな状態にすることも可能である。新規ポータルシートから削除したいサムネイルは、削除ボタン２５０３を押すことにより削除可能である。次のスキャンしたポータルシートを画面左に表示させたい場合は、ページ変更ボタン２５３０，２５３１を押す。そして、所望の編集終了後、“編集の終了”ボタン２５０６を押すことで作業を終了する。図２２では、２５１１、２５１５を選択（アクティブな状態）し、追加ボタンを押した結果を示している。なお、ボタンによる操作以外にも、ドラッグ＆ドロップでポータルシートの編集を行うことも可能である。具体的には、スキャンしたポータルシート画面の所望とするサムネイルに触れたままドラッグして、新規ポータルシート画面の所望の追加位置にドロップする（離す）ことにより、追加することができる。なお、ドロップした追加位置に既にサムネイルが登録されていた場合は、既に登録されていたサムネイルを順にずらして、該追加位置にドロップしたサムネイルを追加する。また、新規ポータルシート画面の所望のポータルシートに指で触れ、そのままドラッグして新規ポータルシート画面外の位置にドロップすることにより、新規ポータルシートから該ポータルシートを削除することができる。また、ドラッグ＆ドロップにより、新規ポータルシート画面に登録されているサムネイルの順序を変更することも可能である。例えば新規ポータルシート画面において、サムネイルＦをドラッグして２５２０の位置でドロップすると、サムネイルＢの登録順がずれて２５２１の位置に表示されるとともにサムネイルＦは２５２０の位置に表示されることになる。
【０１２９】
また、不図示ではあるが、タイトルその他の情報を編集することも可能とする。また、これらの画面右の編集結果は、画面左のポータルシートの内部的な情報（電子透かしによるオリジナル画像へのポインタ情報など）を継承し、新規ポータルシートとして作成される。このようにして、必要な情報のみを集めた新規ポータルシートを作成することが可能になる。
【０１３０】
図２３は図２２にある“部分情報へアクセス”（２５０５）を選択した際に表示されるＵＩ画面である。画面左側の２６３０は、図２２のポータルシート中から選択したサムネイルのポインター情報に基づいてオリジナル電子データ（原稿ページ単位のデータ）を表示するものである。このオリジナル電子データは、タイトルや本文やイラストなどの属性で領域分割され、この分割された領域毎のオブジェクトが識別可能な状態で表示されている（２６３１，２６３２）。図２３は、このオブジェクトを、図２２のポータルシートに追加することを可能とするためのＵＩ画面を提供するものである。
【０１３１】
２６３３は現在表示しているサムネイルのページ番号を表示するもので、２６３４と２６３５を用いて他のページに移動することができる。２６４３〜２６４６は、左側に表示されたオリジナル電子データから選択されたオブジェクトを表示するもので、２６４０〜２６４２により表示を移動させることが可能となる。また、オブジェクトの追加・削除の機能、および編集終了の機能は、ボタン２６５０〜２６５２を用いて行われる。なお、ドラッグ＆ドロップによるオブジェクトの追加・削除・順序変更などの編集操作を図２２と同様に行うことも可能である。
【０１３２】
以下、ポータルシートをスキャンして得られた情報を図２２のようにサムネイルとしてＵＩ上に表示して、そのサムネイルとして表示されている文書の部分情報（指定ページ、指定段落、指定画像等）を使用して新規ポータルシートを作成する際の詳細な説明を行う。ユーザはポータルシートをスキャンして得られたサムネイル表示（２５１０〜２５１５）のうち、部分情報にアクセスしたいものを選択し、“部分情報にアクセス”（２５０５）を選択する。すると、図２３に示されているようなＵＩ画面が表示され、選択したサムネイルのオリジナル電子データが２６３０として表示される。さらに、この２６３０はベクトル化されたオブジェクト（段落、画像等）毎に分割されているのが一目でわかるようになっており、ユーザがアクセス（使用）したい部分情報にタッチ選択し、“追加”ボタンを押下することにより、選択対象の部分情報（オブジェクト）を示す右側の画面に、追加することができる。また、指定ページにアクセスしたい場合は２６３４、２６３５でページを移動させることによりアクセスが可能となる。また、追加された部分情報は“削除”ボタンにより削除を行うことができる。また、“終了”ボタンにより、部分情報へのアクセスは終了して図２２に戻り、図２３で選択した部分情報（図２３の右側画面に表示されているオブジェクト）は、順に図２２の新規ポータルシートに追加（２５２０〜２５２５）されることになる。このようにして、“部分情報にアクセス”ボタンを用いることにより、部分情報（指定ページ、指定段落、指定画像等）単位で新規ポータルシートに追加することも可能になり、必要な部分だけをポータルシートにすることができる。
【０１３３】
＜＜ポータルシートの利用＞＞
上述したように作成あるいは編集作成されたポータルシートを用いて、閲覧や送信や印刷などの処理を行いたいページやオブジェクトを選択することが容易になる。例えば、ポータルシートをスキャンすると、図２２左側のように、スキャンしたポータルシートが表示され、該ポータルシートから処理を行いたいページ（あるいはオブジェクト）を選択し、所望の処理モードを選択して“ＳＴＡＲＴ”ボタンを押下すると、該選択されたページ（あるいはオブジェクト）のポインター情報からオリジナル電子データを取得し、該オリジナル電子データに対して所望の処理（閲覧や送信や印刷など）が実行される。
【０１３４】
（その他の実施形態）
＜ファイルアクセス権に関する別実施例＞
我々が扱う文書ファイルの中には、第三者による再利用を制限すべき物がある。先の実施例ではファイルサーバに蓄積されたファイルは全て自由にアクセス出来、ファイル全体、或いはその一部のオブジェクトは全て再利用が可能な事を前提に説明した。そこで、先の実施例でポインター情報からファイルを検索した際に、検索の結果、特定出来たファイルにアクセス権の制限が有る場合についての別実施例を図９を用いて説明する。ステップ４０３までは先の実施例と同様の為、説明は省略する。ステップ４０３でファイルが特定された場合、ステップ４０４でファイルサーバはそのファイルのアクセス権情報を調べ、アクセス制限がある場合には、ＭＦＰに対してパスワードの送信を要求する（ステップ４０５）。
【０１３５】
ＭＦＰは操作者に対してパスワードの入力を促し、入力されたパスワードをファイルサーバに送信する（ステップ４０６）。
【０１３６】
ファイルサーバは送信されたパスワードを照合して認証を行い（ステップ４０７）、認証成功した場合には、図３で説明した様に、ファイルのアドレスを通知（ステップ１３４）すると共に、ユーザの希望する処理が画像ファイルデータの取得であれば、ＭＦＰに対してファイルを転送する（ステップ４０８）。
【０１３７】
尚、アクセス権の制御を行う為の認証の方法は、ステップ４０５、４０６に示したパスワードによる方法に限定されず、例えば、指紋認証等の一般に広く用いられている生体認証、カードによる認証等、様々な認証手段を用いる事が出来る。
【０１３８】
又、本別実施例では紙文書に付加的に付与されたポインター情報によりファイルを特定した場合の実施例を示したが、図３のステップ１２６−１２８で示す所謂検索処理でファイルを特定した場合においても同様の制御が可能である。
【０１３９】
一方、図３のステップ１２９で説明したベクトル化処理に対しても、制限を加える事が出来る。即ち紙文書を走査して得られたイメージ情報から、透かし等により該文書に対してのアクセス権の制限の存在を検出した場合には、認証確認が取れた場合のみベクトル化処理を行う事で、機密性の高い文書の使用に制限をかける事が出来る。
【０１４０】
＜ファイル特定に関する別実施例＞
先の実施例では原稿走査して得られるイメージ情報から元ファイルデータを特定する手段は、図３に示す様に、文書中に付与されたポインター情報に基づいて特定するか、或いは文書中に記載された各オブジェクト情報に基づいて対応する電子ファイルを検索するかのいずれかに依るが、より正確に元ファイルを特定するには、該両手段を満足する電子ファイルを特定すれば良い。即ち、原稿中から得られるポインター情報から元ファイルの存在が検出出来たとしても、更に該文書中のオブジェクト情報を使って、例えば、レイアウト情報に従うレイアウト検索、文字認識されたキーワードによる全文検索などを検出されたファイルに対して行い、高い一致が得られた場合に、該検出したファイルを、正式に元ファイルであると特定する。これは、例えば、ポインター情報の下位の部分が曖昧で有ったり、誤り訂正でも訂正できなかった場合に対して、検索の範囲を絞り込んでファイルを特定出来る為、より高速で、確度の高いファイル特定が行える。
【０１４１】
＜ベクトル化の別実施例＞
先の実施例では検索手段で、元ファイルの特定が出来ない場合、イメージ画像全体に対してベクトル化処理を行うが、例えば、一般の文書の場合、文書中のオブジェクト全て新規に作成された物でなく、一部のオブジェクトは他のファイルから流用して作成される場合がある。例えば、背景オブジェクト（壁紙）は文書作成アプリケーションで幾つかのパターンを予め用意してあり、その中から選択して用いるのが通常である。従って、このようなオブジェクトは文書ファイルデータベースの中の他の文書ファイル中に存在している可能性が高く、又再利用可能なベクトルデータとして存在する可能性が高い。
【０１４２】
そこで、図３のベクトル化処理１２９の別実施例として、ブロックセレクション処理で個別のオブジェクトに分割された各オブジェクトに対して、該オブジェクト単位でデータベース中から該一致するオブジェクトを一部に含むファイルを検索し、一致したオブジェクトに対して個別に該ファイルからオブジェクト単位でベクトルデータを取得する。これに依って、文書全体をベクトル化する必要が無くなり、より高速にベクトル化出来、更にベクトル化による画質劣化を防止出来る。
【０１４３】
一方、図３において検索処理１２６−１２８で元ファイルがＰＤＦとして特定できた場合、該ＰＤＦがその文書の文字オブジェクトに対して既に文字認識された文字コードを付加ファイルとして有している場合がある。このようなＰＤＦファイルをベクトル化する際には、該文字コードファイルを用いれば、１２９以降のベクトル化処理の中の文字認識処理を省く事が出来る。即ち、ベクトル化処理をより高速に処理する事が可能に成る。
【０１４４】
＜ポータルシート化対象の別実施例＞
先の実施例では制御対象文書は、文書イメージのページ単位でポータルシート化していたが、何もこれに限ることは無く、複数文書のページ単位でポータルシートを生成しても良いし、文書単位でその表紙等をサムネイルとして表示してポータルシートを作成するようにしても良い。また、文書単位、ページ単位の情報が混在していても良い。
【０１４５】
上述した実施形態１及びその他の実施形態の記載に基づき、本発明を以下に総括する。
【０１４６】
（実施態様１）
入力されたイメージそれぞれに対して、格納手段に格納されているオリジナル電子データを検索する検索ステップと、前記検索ステップでオリジナル電子データが検索されなかった場合、前記入力されたイメージをベクトルデータ化するベクトル化ステップと、前記ベクトル化ステップでベクトルデータ化されたイメージを電子データとして格納手段に格納する格納ステップと、前記検索ステップでオリジナル電子データが検索された場合において当該検索されたオリジナル電子データに関する情報あるいは前記検索ステップでオリジナル電子データが検索されなかった場合において前記ベクトル化ステップでベクトル化されて前記格納ステップで格納された電子データに関する情報の少なくともいずれかを含むシートを生成するシート生成ステップとを有することを特徴とする画像処理方法。
【０１４７】
（実施態様２）
前記シート生成ステップで生成されたシートに含まれる、オリジナル電子データに関する情報あるいは前記格納ステップで格納された電子データに関する情報は、それぞれ、当該検索されたオリジナル電子データの格納アドレスあるいは前記格納ステップで格納された電子データの格納アドレスを含むことを特徴とする請求項１に記載の画像処理方法。
【０１４８】
（実施態様３）
前記検索ステップでは、前記入力されたイメージに付加されている、前記オリジナル電子データが格納されているアドレスを示す識別子を認識し、該識別子を認識した結果に基づいて前記オリジナル電子データを検索することを特徴とする実施態様１に記載の画像処理方法。
【０１４９】
（実施態様４）
前記ベクトル化ステップでは、前記イメージ内に含まれる文字ブロックを文字認識した結果に基づいてベクトル化することを特徴とする実施態様１に記載の画像処理方法。
【０１５０】
（実施態様５）
前記ベクトル化ステップでは、有意な画素の輪郭に基づいてアウトライン化してベクトル化することを特徴とする実施態様１に記載の画像処理方法。
【０１５１】
（実施態様６）
更に、前記ベクトル化ステップでベクトルデータ化されたイメージを、既存の文書作成アプリケーションで扱える既定のフォーマットに変換するフォーマット変換ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０１５２】
（実施態様７）
前記ベクトル化ステップでは、前記イメージ中に含まれるオブジェクトごとにベクトルデータ化することを特徴とする実施態様１に記載の画像処理方法。
【０１５３】
（実施態様８）
前記シート生成ステップで生成されたシートに含まれる、オリジナル電子データに関する情報あるいは前記格納ステップで格納された電子データに関する情報は、それぞれの電子データのサムネイル、タイトル、要約、キーワード、ＩＤ、日付、著作者の少なくともいずれかを含むことを特徴とする実施態様１に記載の画像処理方法。
【０１５４】
（実施態様９）
更に、前記生成されたシートを編集する編集ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０１５５】
（実施態様１０）
前記編集ステップでは、前記シートに含まれるオリジナル電子データに関する情報あるいは前記格納ステップで格納された電子データに関する情報の中から、所望のデータを選択して新規シートを編集して作成することを特徴とする実施態様９に記載の画像処理方法。
【０１５６】
（実施態様１１）
前記編集ステップでは、前記シートに含まれるオリジナル電子データに関する情報あるいは前記格納ステップで格納された電子データに関する情報の中から、所望のデータを選択し、更に、当該選択したデータ中の所望の部分情報を選択することにより、当該選択された部分情報を用いて編集することを特徴とする実施態様９に記載の画像処理方法。
【０１５７】
（実施態様１２）
更に、前記生成されたシートをスキャンして得たイメージを表示し、当該表示されたイメージにおいてユーザにより選択された電子データに関する情報に基づいて、処理を実行する処理ステップを有することを特徴とする実施態様１に記載の画像処理方法。
【０１５８】
（実施態様１３）
前記処理ステップでは、前記ユーザにより選択された情報に対応するオリジナル電子データあるいは電子データに対して、所望の処理が実行されることを特徴とする実施態様１２に記載の画像処理方法。
【０１５９】
（実施態様１４）
前記格納アドレスに関する情報は、電子透かしあるいはバーコードの少なくともいずれかで記載されることを特徴とする実施態様２に記載の画像処理方法。
【０１６０】
（実施態様１５）
実施態様１乃至１４のいずれかに記載の各ステップを、コンピュータに実行させるためのコンピュータプログラム、あるいは該コンピュータプログラムを格納した記憶媒体も本発明を実現しうる。
【０１６１】
（実施態様１６）
入力されたイメージそれぞれに対して、格納手段に格納されているオリジナル電子データを検索する検索手段と、前記検索手段でオリジナル電子データが検索されなかった場合、前記入力されたイメージをベクトルデータ化するベクトル化手段と、前記ベクトル化手段でベクトルデータ化されたイメージを電子データとして格納手段に格納する保存手段と、前記検索手段でオリジナル電子データが検索された場合において当該検索されたオリジナル電子データに関する情報あるいは前記検索手段でオリジナル電子データが検索されなかった場合において前記ベクトル化手段でベクトル化されて保存手段で格納された電子データに関する情報の少なくともいずれかを含むシートを生成するシート生成手段とを有することを特徴とする画像処理システム。
【０１６２】
【発明の効果】
以上説明したように、本発明によれば、入力されたイメージのポータルシートを作成するので、該ポータルシートを用いて、記憶手段に格納されている電子データを容易に再利用できるという効果がある。
【０１６３】
また、オリジナル電子データを特定するためのポインター情報が付加されているので、オリジナル電子データの検索も容易であるという効果がある。
【０１６４】
また、オブジェクト単位（ブロック単位）でポータルシートを編集作成できるので、必要な部分だけを扱うことができ、閲覧などの処理時の選択が容易になるという効果がある。
【０１６５】
また、ベクトルデータで格納しているので、記憶容量が少なくて済むという効果がある。また、オリジナル電子データが見つかった場合は、そのオリジナル電子データを用いるようにするので、画質の劣化も少なくて済むという効果がある。
【図面の簡単な説明】
【図１】画像処理システム構成例
【図２】ＭＦＰ構成例
【図３】画像処理の全体動作の概要を示すフローチャート
【図４】ブロックセレクション処理の例
【図５】ブロック情報および入力ファイル情報の構成例
【図６】２次元バーコードの復号処理フローチャート
【図７】２次元バーコードが付加された原稿の例
【図８】ポインター情報によるファイル検索フローチャート
【図９】アクセス制限つきのファイル検索フローチャート
【図１０】ファイルのレイアウト検索処理フローチャート
【図１１】ベクトル化処理の説明図
【図１２】ベクトル化処理の説明図
【図１３】ベクトルデータのグループ化処理フローチャート
【図１４】図形要素検出フローチャート
【図１５】ＤＡＯＦのデータ構造
【図１６】アプリデータ変換フローチャート
【図１７】文書構造ツリー作成フローチャート
【図１８】文書構造ツリー作成説明図
【図１９】ポータルシートの例
【図２０】ポータルシート作成処理フローチャート
【図２１】ポインター情報符号化処理フローチャート
【図２２】ポータルシート編集画面
【図２３】部分情報へのアクセス時のポータルシート編集画面
【図１】
2004252843.tif 000003
【図２】
2004252843.tif 000004
【図３】
2004252843.tif 000005
【図４】
2004252843.tif 000006
【図５】
2004252843.tif 000007
【図６】
2004252843.tif 000008
【図７】
2004252843.tif 000009
【図８】
2004252843.tif 000010
【図９】
2004252843.tif 000011
【図１０】
2004252843.tif 000012
【図１１】
2004252843.tif 000013
【図１２】
2004252843.tif 000014
【図１３】
2004252843.tif 000015
【図１４】
2004252843.tif 000016
【図１５】
2004252843.tif 000017
【図１６】
2004252843.tif 000018
【図１７】
2004252843.tif 000019
【図１８】
2004252843.tif 000020
【図１９】
2004252843.tif 000021
【図２０】
2004252843.tif 000022
【図２１】
2004252843.tif 000023
【図２２】
2004252843.tif 000024
【図２３】
2004252843.tif 000025