(57)【要約】【課題】  紙文書をスキャンすることにより得られた画像データについて、画像データの内容を維持したまま、より見やすく編集することを目的とする。【解決手段】  属性の異なる複数のオブジェクトを含む文書をスキャンすることにより得られた画像データを処理する画像処理方法であって、前記画像データを、属性の異なるオブジェクトからなるブロック毎に分割する分割工程と、属性が文字であると判定されたオブジェクトについてベクトル化する文字処理工程と、前記ベクトル化されたオブジェクトが、前記分割工程により分割されたブロックのうち、表ブロックを構成するセル内に位置していた場合に、該オブジェクトからなる文字ブロックを該セルに内接するよう拡大し（ステップＳ１６０２）、該拡大された文字ブロックに対応して、該文字ブロックに含まれる該オブジェクトを拡大する文字拡大工程（ステップＳ１６０３）とを備える。【選択図】  図１６
2006345314.tif 000002
【特許請求の範囲】
【請求項１】
属性の異なる複数のオブジェクトを含む文書をスキャンすることにより得られた画像データを処理する画像処理装置であって、
前記画像データを、互いに属性の異なるオブジェクトからなるブロック毎に分割する分割手段と、
前記分割手段により属性が文字であると判定されたオブジェクトをベクトル化する文字処理手段と、
前記文字処理手段によりベクトル化されたオブジェクトが、前記分割手段により分割されたブロックのうち、表ブロックを構成するセル内に位置していた場合に、該オブジェクトからなる文字ブロックを該セルに内接するよう拡大し、該拡大された文字ブロックに対応して、該文字ブロックに含まれる該オブジェクトを拡大する文字拡大手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記分割手段により属性が表であると判定されたオブジェクトをベクトル化する表処理手段と、
前記表処理手段によりベクトル化されたオブジェクトからなる表ブロックを、他のブロックに外接するまで拡大することで、該オブジェクトを拡大する表ブロック拡大手段と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記文字処理手段によりベクトル化されたオブジェクトからなる文字ブロックを、他のブロックに外接するまで拡大することで該オブジェクトを拡大する文字ブロック拡大手段を更に備えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記文字ブロック拡大手段は、
前記文字処理手段によりベクトル化されたオブジェクトが、前記分割手段により分割されたブロックのうち、表ブロックを構成するセル内に位置していた場合には、前記表ブロック拡大手段による拡大に応じて、該オブジェクトを拡大することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記文字ブロック拡大手段は、前記拡大された文字ブロック内に含まれる文字のオブジェクトについて、当該文字ブロックからはみ出さない範囲で文字行の折り返し位置を決定することにより、当該文字のオブジェクトを拡大することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
属性の異なる複数のオブジェクトを含む文書をスキャンすることにより得られた画像データを処理する画像処理装置における画像処理方法であって、
前記画像データを、互いに属性の異なるオブジェクトからなるブロック毎に分割する分割工程と、
前記分割工程により属性が文字であると判定されたオブジェクトをベクトル化する文字処理工程と、
前記文字処理工程によりベクトル化されたオブジェクトが、前記分割工程により分割されたブロックのうち、表ブロックを構成するセル内に位置していた場合に、該オブジェクトからなる文字ブロックを該セルに内接するよう拡大し、該拡大された文字ブロックに対応して、該文字ブロックに含まれる該オブジェクトを拡大する文字拡大工程と
を備えることを特徴とする画像処理方法。
【請求項７】
前記分割工程により属性が表であると判定されたオブジェクトをベクトル化する表処理工程と、
前記表処理工程によりベクトル化されたオブジェクトからなる表ブロックを、他のブロックに外接するまで拡大することで、該オブジェクトを拡大する表ブロック拡大工程と
を更に備えることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記文字処理工程によりベクトル化されたオブジェクトからなる文字ブロックを、他のブロックに外接するまで拡大することで該オブジェクトを拡大する文字ブロック拡大工程を更に備えることを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記文字ブロック拡大工程は、
前記文字処理工程によりベクトル化されたオブジェクトが、前記分割工程により分割されたブロックのうち、表ブロックを構成するセル内に位置していた場合には、前記表ブロック拡大工程による拡大に応じて、該オブジェクトを拡大することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記文字ブロック拡大工程は、前記拡大された文字ブロック内に含まれる文字のオブジェクトについて、当該文字ブロックからはみ出さない範囲で文字行の折り返し位置を決定することにより、当該文字のオブジェクトを拡大することを特徴とする請求項６に記載の画像処理方法。
【請求項１１】
請求項６乃至１０のいずれかに記載の画像処理方法をコンピュータによって実現させるための制御プログラムを格納した記憶媒体。
【請求項１２】
請求項６乃至１０のいずれかに記載の画像処理方法をコンピュータによって実現させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙文書をスキャナ等の読取装置を用いて読み取ることにより生成された画像データについての処理技術に関するものである。
【背景技術】
【０００２】
近年オフィス内の機器のデジタル化、ネットワーク化に伴って、複写機は単に紙文書の複製物を作成するための装置として機能するだけでなく、ＦＡＸや紙文書の電子化、さらにはネットワークを介しての画像データの送付等を行うための装置としても機能するようになってきている。
【０００３】
このように多機能化された複写機は一般にＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）と呼ばれており、オフィスにおいて紙文書を取り扱う業務を行う際の中心的な支援ツールとなりつつある。そして、それに対応して、ＭＦＰ自身も、紙文書をあたかも画像データのように簡易に扱えるよう、様々な機能が整えられるようになってきている。
【０００４】
例えば、特許文献１には、スキャンした紙文書を編集可能な画像データに変換する技術が記載されている。
【特許文献１】特開２００４−２６５３８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されているような技術によって変換された画像データを用いることにより、ユーザがＭＦＰのタッチパネル上に表示された画像データをワンタッチで編集し、当該編集した画像データを出力することで編集後の紙文書を容易に獲得できるようにすることを、本出願人は考えている。
【０００６】
紙文書を編集可能な画像データに変換するにあたり、ＭＦＰでは次のような手順で処理を実行する。まず、紙文書をスキャンすることにより生成された画像データを像域分離し、テキスト、表、写真、線画といった属性ごとに矩形領域（ブロック）に領域分割する。
【０００７】
次に、領域分割することにより得られた各ブロックのオブジェクトについて、例えばテキスト領域（テキストブロック）であればＯＣＲし文字認識したのち、文字オブジェクトを全体画像より切り出しアウトラインベクトル化する。このように、アウトラインベクトル化することで、文字オブジェクトは拡大／縮小しても画質の変わらない非解像度依存の画像データとして取り扱うことが可能となる。
【０００８】
また、表オブジェクトについては表罫線を表現している画素を全体画像より切り出した後、アウトラインベクトル化し非解像度依存の画像データに変換した後、さらに図形認識を行って表構造を認識する。また、写真、線画等についても同様にして全体画像より切り出しそれぞれ個別に変換する。
【０００９】
このように全体画像よりオブジェクトを切り出し、個別に最適な処理が施された画像データについては、それぞれ個別にレイアウトを変更する等の編集処理を行うことが可能であり、それを紙文書として出力したり、また抽出された画像データを任意に選択し画像データとして保存・送付したりすることが可能である。
【００１０】
このように、スキャンした紙文書を編集する編集機能が付加されたＭＦＰでは、さらに、高齢者のような視力が低下した人への資料の再発行を行うべく、紙文書中の文字を任意の大きさで簡易に拡大する、いわゆる「原本の再発行機能」の実現が望まれている。
【００１１】
「原本の再発行機能」を簡易に実現する方法としては、例えば、紙文書をスキャンした後、像域分離した各オブジェクトをタッチパネル上で任意に拡大し、出力する方法が考えられる。このようにＭＦＰ上で行うＰＣレスの簡易な方法は、ＰＣの複雑な操作を嫌う高齢者にとっては非常に適した方法であるといえる。さらに、テキストを任意の大きさで拡大し、レイアウトする一連の作業を自動化させれば、視力の低下した人にとっては、より親切な機能となる。
【００１２】
しかし、上述のように原本の再発行機能を実現するにあたり、例えば、像域分離することにより切り出されたオブジェクト（例えば、テキスト領域の文字オブジェクト）を文字認識したのち、該認識されたテキストコード等の情報を用いて拡大処理を行ったのでは、文字認識において誤認識があった場合に、当該誤った情報を拡大してしまうおそれがある。このため、拡大処理を行うにあたっては、文字のアウトラインのような形状情報を用いた画像ベースの拡大処理を行うことが望ましい。
【００１３】
そして、このようなオブジェクトの形状情報を用いた画像ベースの拡大処理を行うにあたっては、拡大したいオブジェクトが含まれる矩形領域（ブロック）を、紙文書上の他のオブジェクトが含まれる矩形領域と被らないように、かつ矩形領域間の隙間をなくすようにして行うのが望ましいと考えられる。
【００１４】
しかしながら、このような拡大処理の場合、拡大処理しようとするオブジェクトが入れ子（互いに属性の異なるオブジェクトを含む矩形領域同士が重なった状態）になっていた場合には、元々、オブジェクトを含む矩形領域同士が被っているため、両方のオブジェクトを一体として扱うようにしなければ、オブジェクトを拡大することができないといった問題がある。オブジェクト毎に別個に扱った場合、オブジェクト同士の位置ずれが生じ、画像データの内容が変わってしまうおそれがあるからである。
【００１５】
具体例を挙げて説明すると、表のようなオブジェクトの場合、表罫線オブジェクトと、文字オブジェクトとは入れ子になっている。このため、表罫線オブジェクトと文字オブジェクトとをそれぞれ別の拡大率で拡大したのでは、表セルから文字がはみ出るなどして、表の内容が変わってしまう場合がある。
【００１６】
このため、表罫線オブジェクトと文字オブジェクトとを同じ拡大率で拡大することが考えられるが、一般に、表罫線オブジェクトの拡大は、その大きさが元々文書画像内においてある程度大きい場合が多いため、更に拡大することができないことが多く、それゆえ、セル中の文字オブジェクトも同じ拡大率で拡大した場合、文字オブジェクトを十分拡大することができないといった結果をまねくことになる。
【００１７】
本発明は上記課題に鑑みてなされたものであり、紙文書をスキャンすることにより得られた画像データについて、画像データの内容を維持したまま、より見やすく編集することを目的とする。
【課題を解決するための手段】
【００１８】
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
属性の異なる複数のオブジェクトを含む文書をスキャンすることにより得られた画像データを処理する画像処理装置であって、
前記画像データを、互いに属性の異なるオブジェクトからなるブロック毎に分割する分割手段と、
前記分割手段により属性が文字であると判定されたオブジェクトをベクトル化する文字処理手段と、
前記文字処理手段によりベクトル化されたオブジェクトが、前記分割手段により分割されたブロックのうち、表ブロックを構成するセル内に位置していた場合に、該オブジェクトからなる文字ブロックを該セルに内接するよう拡大し、該拡大された文字ブロックに対応して、該文字ブロックに含まれる該オブジェクトを拡大する文字拡大手段とを備える。
【発明の効果】
【００１９】
本発明によれば、紙文書をスキャンすることにより得られた画像データについて、画像データの内容を維持したまま、より見やすく編集することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、必要に応じて添付図面を参照しながら本発明の実施形態を詳細に説明する。
【００２１】
［第１の実施形態］
１．文書管理システムの構成
本発明の第１の実施形態について説明する。図１は本発明の第１の実施形態にかかる画像処理装置（ＭＦＰ１００）を備える文書管理システムの構成を示す図である。同図に示すように、当該文書管理システムはオフィス１２０とオフィス１３０とがインターネット１０４で接続された環境において実現している。
【００２２】
オフィス１２０内に構築されたＬＡＮ１０７には、ＭＦＰ１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６−１、文書管理サーバ１０６−１のデータベース１０５−１がそれぞれ接続され、それらはプロキシサーバ１０３−１に接続されている。
【００２３】
同様にオフィス１３０内に構築されたＬＡＮ１０８には、文書管理サーバ１０６−２及びそのデータベース１０５−２がそれぞれ接続されている。また、オフィス１２０内のＬＡＮ１０７とオフィス１３０内のＬＡＮ１０８とはプロキシサーバ１０３−１、１０３−２を介してインターネット１０４に接続されている。
【００２４】
このように、本実施形態にかかる画像処理装置（ＭＦＰ１００）は、文書管理システムを構成する機器として機能させることができる。具体的には、ＭＦＰ１００は、紙文書の画像読み取り部と読み取った画像データに対する画像処理の一部を担当し、画像処理された画像データはＬＡＮ１０９を用いてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は通常のＰＣであり、内部に画像記憶手段、画像処理手段、表示手段、入力手段を有する。
【００２５】
２．画像処理装置（ＭＦＰ１００）の構成
図２は、本発明の第１の実施形態にかかる画像処理装置（ＭＦＰ１００）の機能構成を示す図である。以下、図２について図１を参照しながら説明する。
【００２６】
図２において、オートドキュメントフィーダ（以降ＡＤＦと記す）を含む画像読み取り部２０１は、紙文書（原稿画像）を図示しない光源で照射することにより得られた原稿反射像をレンズで固体撮像素子上に結像することで、固体撮像素子からラスター上の画像読み取り信号を６００ＤＰＩの密度の画像信号として得る。
【００２７】
通常の複写機能はこの画像信号をデータ処理部２０６で記録信号へと画像処理し、複数枚複写にあっては記録装置２０２に一旦一ページ分の記録データを記憶保持した後、記録装置２０３に順次出力して紙上に画像を形成する。
【００２８】
一方、クライアントＰＣ１０２から出力されるプリントデータにあってはＬＡＮ１０７からネットワークＩＦ２０５を経てデータ処理装置２０６で記録可能なラスターデータに変換した後、前記記録装置２０３により紙上に画像を形成する。
【００２９】
このように、本実施形態にかかるＭＦＰ１００は、通常のＭＦＰの複写・出力機能を持つ一方、編集・出力機能として次に述べる機能も有する。
【００３０】
例えば、大型タッチパネルを含む表示・入力装置２０７へのベクトル画像表示が指示されていた場合（ユーザによる指示は、表示・入力装置２０７を介して行われる、以下同じ）、画像読み取り部２０１における読み込み処理により読み込まれた画像信号は、データ処理装置２０６で編集可能な画像信号へ画像処理され、ベクトルデータへと変換処理された後、表示・入力装置２０７上に表示される。
【００３１】
表示・入力装置２０７へ表示されたベクトルデータは、ユーザによる指示に従い、データ処理装置２０６にて所望の編集処理が施される。そして、編集処理されたベクトルデータは再度表示・入力装置２０７上に表示される。
【００３２】
また、ユーザによる出力指示に従って、データ処理装置２０７ではベクトルデータを記録信号へと画像処理し、記録装置２０３に順次出力して紙上に画像を形成する。また、ユーザによる転送指示に従って、ベクトルデータはネットワークＩＦ２０８からＬＡＮ１０７を経て文書管理サーバ１０６−１、クライアントＰＣ１０２、文書管理サーバ１０６−２等へ送られる。尚、本発明は紙文書を画像読み取り部を用いて読み取ることにより生成された画像データについての処理技術に関するものであり、以下では当該処理概要について詳説する。
【００３３】
３．画像処理装置における処理
３．１  全体処理
ＭＦＰ１００における編集・出力機能に関する全体処理概要を図３を用いて説明する。図３に示すように、ステップＳ３０１では、まず、画像読み取り部２０１を動作させ１枚の原稿をラスター状に走査することでイメージ情報として入力し、６００ＤＰＩ−８ビットの画像信号を得る。
【００３４】
ステップＳ３０２では、該画像信号をデータ処理装置２０６にて前処理し、記憶装置２０２に１ページ分の画像データとして保存する。そして、該保存した画像データを、文字／線画部分とハーフトーンの画像部分とに領域分割し、文字部分はさらに段落の塊として纏まっているブロック毎に、或は、線で構成された表ごとに、ならびに線画・図画ごとに分離し、各々セグメント化する。一方、ハーフトーンで表現される画像部分については、矩形領域に分離されたブロックの画像部分（写真）、背景部分等、所望のブロック毎に独立したオブジェクトに分解する。
【００３５】
ステップＳ３０３では、ステップＳ３０２にて分割された各ブロックのオブジェクトについて、オブジェクト毎にベクトルデータに変換する。ベクトルデータへの変換は、以下のように実行される。
【００３６】
先ず、文字（ＴＥＸＴ）として抽出されたブロック（文字（ＴＥＸＴ）ブロック）については、２値化して得られる文字形状をアウトライン化することで解像度に依存しない形状情報を取得する。一方、ブロックの内部解析情報として、ＯＣＲ（文字認識）しそのテキスト情報、更には文字のサイズ、スタイル、字体を認識し、原稿を走査して得られたイメージ情報から再現可能なフォントデータを抽出する。
【００３７】
また、線で構成される表（ＴＡＢＬＥ）、線画（ＬＩＮＥ）、図画（ＰＩＣＴＵＲＥ）ブロックに対しては、アウトライン化し解像度に依存しないグラフィックス情報を抽出する一方、図形形状が認識できるものについては、認識処理によりその形状情報を取得する。特に表は矩形の集合として認識可能である。
【００３８】
写真（ＰＨＯＴＯ）ブロックに対してはイメージデータとして個別のＪＰＥＧファイルとして処理する。以上、ベクトル化処理により、各オブジェクトは個別に扱うことが可能であり、オブジェクト単位で自由にレイアウト変更、拡大／縮小することが可能である。
【００３９】
ステップＳ３０４では、ステップＳ３０３のベクトル化処理によって得られた情報をベクトルデータとして記憶装置２０２に記憶するとともに、各オブジェクトを組み合わせて一枚の紙原稿を再現するようレイアウトした後、表示・入力装置２０７上に表示する。
【００４０】
ステップＳ３０４にて、表示・入力装置２０７へ表示されたベクトルデータは、表示・入力装置２０７へのユーザの入力操作に従って、オブジェクトの構成・大きさ・配置を自由に変更することが可能である（ステップＳ３０５）。これらユーザの変更操作結果は随時表示・入力装置２０７上に表示され、インタラクティブにレイアウト変更することが可能である。
【００４１】
ステップＳ３０５にてユーザ所望の編集処理がなされたベクトルデータは、ステップＳ３０６にて、ユーザの指示により、紙面上へ出力、もしくは文書管理サーバ１０６−１、１０６−２、クライアントＰＣ１０２等へ配信される。以下、各処理ステップについて詳細を説明する。
【００４２】
３．２  ブロックセレクション（領域分割）処理（ステップＳ３０２）
ブロックセレクション処理（ステップＳ３０２）とは、図４（ａ）に示す画像データ（ステップＳ３０１で読み取られた画像データ）を図４（ｂ）に示すように、各オブジェクトを含む矩形領域（ブロック）毎の塊として認識し、該ブロック各々について文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線画（ＬＩＮＥ）／表（ＴＡＢＬＥ）等の属性判定を行い、異なる属性を持つブロックに分割する処理である。ブロックセレクション処理の具体例を以下に説明する。
【００４３】
先ず、画像データを白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行い白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００４４】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つブロックへ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字（ＴＥＸＴ）ブロック、扁平な画素塊を線（ＬＩＮＥ）ブロック、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表（ＴＡＬＢＬＥ）ブロック、不定形の画素塊が散在している領域を写真（ＰＨＯＴＯ）ブロック、それ以外の任意形状の画素塊を図画（ＰＩＣＴＵＲＥ）ブロック、などとする。また、これら属性についてどの属性にも判定されない領域を背景（ＢＡＣＫＧＲＯＵＮＤ）として抽出する。
【００４５】
ブロックセレクション処理で得られた各ブロックに対するブロック情報の一例を図５に示す。同図に示すように、ブロック情報は各ブロックごとにその“属性”および紙文書内の位置情報（“座標Ｘ”、“座標Ｙ”）、ブロックの形状（“幅Ｗ”、“高さＨ”）、ならびに“ＯＣＲ情報”の有無についての情報が記載されている。これらブロック毎の情報は以降に説明するベクトル化処理の際に用いられる。
【００４６】
３．３  ベクトル化処理（ステップＳ３０３）
ブロックセレクション処理（ステップＳ３０２）で得られた各ブロックに対して行うベクトル化処理について図６を用いて説明する。ベクトル化処理とは、各ブロックの属性に応じて適応的に処理を行い、各ブロックの再利用性を実現しつつ、高圧縮で高品質なデータへと変換する処理である。
【００４７】
図６に示すように、ブロックセレクション処理（ステップＳ３０２）により得られるブロックのうち、ＴＥＸＴブロックについては、２値化処理部６０１にてブロック内を２値化し、抽出した文字オブジェクトについて文字認識部６０２にて文字認識処理を行い、各文字のテキストコードを抽出する。また、各文字形状はアウトライン作成部６０３にてアウトライン化し、直線及び滑らかな曲線で表現された解像度に依存しないデータに変換する。
【００４８】
また、ＴＡＢＬＥブロックについては、２値化処理部６０４にて２値化し表枠の２値画像を抽出し、抽出した２値画像に対しアウトライン作成部６０５にてアウトライン化したのち、表処理部６０６にて表処理を行い、表枠を罫線により表現する。なお、ＴＡＢＬＥブロックの２値化では、ブロックセレクション処理において抽出したＴＡＢＬＥブロック内のＴＥＸＴブロックを排除し２値化することで、表枠のみの２値画像が抽出できる。
【００４９】
また、ＬＩＮＥブロックについては、ＴＥＸＴブロック、ＴＡＢＬＥブロック同様に２値化処理部６０７にてブロック内を２値化しＬＩＮＥ２値画像を抽出し、アウトライン作成部６０８にてアウトライン化し滑らかな曲線及び直線により表現し、図形認識部６０９にて図形認識を行い、罫線、円、楕円、多角形といった情報を抽出する。
【００５０】
また、ＰＨＯＴＯ、ＢＡＣＫＧＲＯＵＮＤブロックについては、適応圧縮部６１０にてイメージ情報として取り出しそれぞれ圧縮する。
【００５１】
以下、各処理について詳説する。尚、２値化処理部６０１、６０４、６０７における２値化処理、アウトライン作成部６０３、６０５、６０８におけるアウトライン化処理はそれぞれ同じ処理である。
【００５２】
３．３．１  ２値化処理
２値化処理部（６０１、６０４、６０７）では、画像データより輝度情報を抽出し、その輝度値のヒストグラムを作成する。ヒストグラム上より複数の閾値を設定し、各々の閾値で２値化された２値画像上の黒画素の連結等を解析することで最適な閾値を導出し、該閾値による２値画像を得る。
【００５３】
３．３．２  文字認識処理
文字認識部６０２では、文字単位で切り出された画像に対し、パターンマッチの一手法を用いて認識を行い、対応するテキストコードを得る。この認識処理は、文字オブジェクトから得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とする処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法が挙げられる。
【００５４】
ブロックセレクション処理（ステップＳ３０２）で抽出したＴＥＸＴブロックに対して文字認識を行う場合は、まず該当ブロックに対し横書き、縦書きの判定を行い、各々対応する方向に行を切り出し、その後文字オブジェクトを切り出して文字画像を得る。横書き、縦書きの判定は、該当ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書きブロック、垂直射影の分散が大きい場合は縦書きブロックと判断すればよい。
【００５５】
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。縦書きのＴＥＸＴブロックに対しては、水平と垂直を逆にすればよい。なお、この時文字のサイズが検出できる。
【００５６】
３．３．３  アウトライン作成処理
アウトライン作成部６０３では、ブロックセレクション処理（ステップＳ３０２）で、図画（ＰＩＣＴＵＲＥ）あるいは線画（ＬＩＮＥ）、表（ＴＡＢＬＥ）ブロックとされたブロックを対象に、ブロック中で抽出された画素塊の輪郭を直線及び曲線で表現されるアウトラインデータに変換する。
【００５７】
具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図７に図示するように、任意点Ｐｉに対し左右ｋ個の離れた点Ｐｉ−ｋ、Ｐｉ＋ｋの間に弦を引いたとき、この弦とＰｉの距離が極大となる点として求められる。さらに、Ｐｉ−ｋ、Ｐｉ＋ｋ間の弦の長さ／弧の長さをＲとし、Ｒの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は３次スプライン関数などを用いてベクトル化することができる。
【００５８】
また、対象が内輪郭を持つ場合、ブロックセレクション処理（ステップＳ３０２）で抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。
【００５９】
図８にアウトライン化する前の画像データとアウトライン化したベクトルデータの例を示す。図８（ａ）がアウトライン化する前の画像データであり、図８（ｂ）がアウトライン化した画像データである。このように、直線あるいは曲線で近似された文字形状、もしくは表枠、線画は、拡大縮小しても画質の損失がない、即ち解像度に依存しないベクトルデータである。
【００６０】
３．３．４  表処理
表処理部６０６では、表中のセル及びその構成を認識し、表枠を罫線の集合として表現する。図９（ａ）は２値画像をアウトライン化したベクトルデータを示す。アウトライン化した結果、外輪郭と内輪郭が求められるが、例えば外輪郭９０１と内輪郭９０２、９０３、９０４の構成関係により９１１、９１２といったセルの角点を求めていく。角点を求めていった結果、図９（ｂ）のように角点の構成が抽出され、セルの構成及び罫線情報が求められる。次に、求められた各罫線が図９（ａ）の各輪郭線の合間を通るように位置を調整し、輪郭線との位置関係より太さを求める。
【００６１】
以上の処理により、表を太さをもつ罫線により表現することが可能である。尚、このような２値画像より表の構成を認識する処理では、黒く塗りつぶされた領域が抽出される可能性がある。図１０の領域Ａに一例を示す。このような領域が抽出された場合は、本来セルであるが２値化処理部６０４における２値化処理の際に２値化閾値によりセルが抽出されていない可能性があるのでブロック内のエッジ情報を調べたり、もしくは再度２値化処理およびアウトライン作成処理をしセルを抽出することで、より忠実に表をベクトル表現することが可能となる。
【００６２】
３．３．５  図形認識
図形認識部６０９では、２値画像上の罫線、円や楕円、多角形といった図形表現可能な部位を抽出する。図形認識の例について図１１を用いて説明する。図１１は２値画像をアウトライン化した画像データである。各閉曲線について、アウトラインの曲率、角点情報より円、楕円、多角形情報を抽出する。円は曲率が一定であるかで判断でき、楕円は曲率の遷移情報を用いて判断できる。また、多角形は角点と角点間の曲率で判断できる。例えば図１１では、円、矩形といった図形情報が抽出される。
【００６３】
次に、抽出された図形アウトラインと周辺のアウトラインとの関係を調べる。例として円アウトライン１１０３について詳しく述べると、円アウトライン１１０３の外輪郭アウトライン１１０４の角点１１１１〜１１１６間の曲率と角点間の距離との関係からアウトライン１１０１は太さをもつ円曲線として図形表現される。
【００６４】
この時、角点間１１１１〜１１１２、１１１３〜１１１４、１１１５〜１１１６との円を構成しない部位はアウトラインとして分割する。尚、予め２値画像を細線化すれば、円と線の結合部位１１２１〜１１２３が効率的に抽出することも可能である。最後に各アウトラインの直線部位を検出し、抽出された直線と対となる直線が存在するか判定し、存在すれば、太さをもつ罫線に置き換える。
【００６５】
以上によりアウトラインより図形形状を抽出する。尚、図形として認識されなかったものについては、そのままアウトラインで記述する。
【００６６】
３．３．６  適応圧縮
適応圧縮部６１０では、ブロックセレクション処理（ステップＳ３０２）によりＰＨＯＴＯブロックと判定されたブロック及びＢＡＣＫＧＲＯＵＮＤ（背景）を、ラスターデータとして個別のＪＰＥＧファイルで処理する。この時、背景は紙原稿中のいらない部位を意味し、場合によっては低解像度、もしくは高圧縮によってイメージデータを作成するものとする。これにより、最終的にアプリケーションデータとしてベクトルデータを作成する際に、そのデータ量を減らすことが可能となる。
【００６７】
３．４  ベクトルデータ表示処理（ステップＳ３０４）
以上の通り、一頁分の画像データをブロックセレクション処理（ステップＳ３０２）し、ベクトル化処理（ステップＳ３０３）することで、図１２に示すような中間データ形式のファイルが生成される。このようなデータ形式はドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる。図１２はＤＡＯＦのデータ構造の一例を示す図である。
【００６８】
図１２において、１２０１はｈｅａｄｅｒであり、処理対象の画像データに関する情報が保持される。レイアウト記述データ部１２０２では、画像データ中のＴＥＸＴ（文字）、ＬＩＮＥ（線画）、ＰＩＣＴＵＲＥ（図画）、ＴＡＢＬＥ（表）、ＰＨＯＴＯ（写真）等の属性毎に認識された各ブロックの属性とその位置情報を保持する。
【００６９】
文字認識記述データ部１２０３では、ＴＥＸＴブロックを文字認識することにより得られる文字認識結果を保持する。表記述データ部１２０４では、ＴＡＢＬＥブロックの構造の詳細を格納する。画像記述データ部１２０５では、ＰＩＣＴＵＲＥやＬＩＮＥ等のブロックの画像データを紙文書の画像データから切り出して保持する。
【００７０】
一方で、ブロック情報より紙原稿中の文書構造ツリーを作成する。ここで文書構造ツリーについて図１３を用いて説明する。図１３（ａ）はブロック情報により得られる各ブロックとそれぞれの属性ならびにグルーピングブロックの一例を示す図である。各ブロックについて、ブロック間の距離が近い、ブロック幅がほぼ同一である、といったブロック間の関連性を判定しグルーピングしていく。例えばブロック間の関連性によりＴ３、Ｔ４、Ｔ５よりグルーピングブロックＶ１が、また、Ｔ６、Ｔ７よりグルーピングブロックＶ２がそれぞれ生成され、このようなグルーピングを繰り返すことで図１３（ａ）から図１３（ｂ）に示す文書構造ツリーが作成される。
【００７１】
尚、Ｖ０はページ全体を表す最上位階層である。ところで、文書構造ツリーの各ブロックの実データは、ＤＡＯＦに格納されており、文書構造ツリーと関連付けられている。例えばＴＥＸＴブロックであれば、アウトライン形状であったり、もしくはテキストコードであったり、ＤＡＯＦの実データを文書構造ツリーに流し込むことで各種画像が生成可能である。ステップＳ３０４では、以上作成されたベクトルデータを表示する。尚、ＴＥＸＴブロックは文字の誤認識による画像の損失を回避するため文字形状アウトラインを表示する。
【００７２】
３．５  ベクトル編集処理（ステップＳ３０５）
ステップＳ３０５では、表示されたベクトルデータをユーザの指示に従い編集する。なお、本実施形態では、目の不自由な人を対象とした、ＴＥＸＴブロック内のベクトルデータの編集機能について述べるが、本発明の目的は特にこれに限られない。ステップＳ３０５における編集処理は、各ブロックのレイアウトの変更、またブロック内部データの変更等、ユーザの所望の編集処理が可能であるものとし、以下に述べる文字オブジェクトのベクトルデータの編集はその一例である。
【００７３】
尚、ベクトルデータの編集は、ブロック内部の編集にあってはＤＡＯＦのデータを変更することで、またレイアウト変更にあっては文書構造ツリー及びＤＡＯＦを変更することで、ベクトルデータが編集される。
【００７４】
また、例えばＴＥＸＴブロックにおける文字形状とテキストコードといったブロック内部の情報の切り替えは文書構造ツリーへ流し込むＤＡＯＦデータの切り替えにより可能である。
【００７５】
以下、ＴＥＸＴブロックの編集機能について述べる。図１４は紙文書中の所定のブロックに対して簡易文字拡大を実現する場合のＵＩの一例を示す図である。
【００７６】
同図において、１４０１はスキャン原稿表示部であり、スキャンしベクトル化したベクトルデータが自動的に表示される。ベクトル化したデータは、各ブロック毎にブロックセレクション処理により得られた属性がわかるよう表示されており、ＵＩ上ではブロック毎に選択することができる。
【００７７】
ここで、「文字拡大」ボタン１４０２を押すと、選択されたブロックについて文字が拡大されたレイアウトで再度表示される。ユーザは表示結果が妥当と判断した場合には「出力」ボタン１４０４を押し、出力処理を実行させる。尚、所望の結果が得られていないと判断した場合には「元に戻る」ボタン１４０３を押す。これにより、拡大操作は解除され元の状態へ戻すことが可能である。
【００７８】
ここで、文字拡大によるレイアウト手法に関して詳説する。図１５（ａ）は本実施形態の説明で用いるベクトル化された紙文書である。尚、後の説明を簡単にするため、拡大する文字形状を点線矩形にて示しているが、点線内部にアウトライン化された文字形状が入っているものとする。図１５（ｂ）には、図１５（ａ）をブロックセレクション処理することにより得られた情報を示したものである。図中、１５１１及び１５１２は、ＴＡＢＬＥと判断されたブロック（実線矩形）であり、それ以外はＴＥＸＴと判断されたブロック（一点鎖線矩形）である。
【００７９】
図１６は紙文書中の文字を拡大したベクトルデータを作成するためのフローチャートである。
【００８０】
ステップＳ１６０１では文字（ＴＥＸＴ）・表（ＴＡＢＬＥ）ブロックを拡大する。ステップＳ１６０１の文字・表ブロックの拡大では、ブロックが重なっている、例えば表ブロック内の文字ブロックについては、外側の表ブロックと内側の文字オブジェクトをセットとして考え、外側の表ブロックの拡大に合わせて同じ拡大率で表ブロック内にマッピングするようにする。よって、文字・表ブロックの拡大では、図１５（ｂ）のオブジェクトのうち、図１７（ａ）の太枠で示したブロックの拡大レイアウトを考える。
【００８１】
次に拡大手法について説明する。各ブロックの縦横比を一定に保ち、ブロックを広げていき、他のブロックもしくはテキストブロックではない他のオブジェクトと重なったとき拡大終了とし、その領域をブロックの拡大領域とする。結果として図１７（ａ）の各領域は、図１７（ｂ）のように拡大される。この時、ブロックの枠の位置は周辺の他のブロック及びオブジェクトとの位置関係が変わらない限り、多少ずれても構わない。尚、ブロックの拡大により各文字オブジェクトの文字形状、表オブジェクトの罫線等も線形変換により拡大される。
【００８２】
次にステップＳ１６０２では文字ブロックを拡大する。ステップＳ１６０２における文字ブロックの拡大では、ブロックセレクション処理で得られる各文字ブロックの枠のみを拡大するだけであって、ブロック内部の文字形状は枠の拡大に合わせて拡大しない。この文字ブロックの枠の拡大では、縦横比は一定ではなくブロックの四方についてそれぞれ拡大できるか判断し、広げられる限り広げる。この時、表オブジェクト内の文字ブロックであれば、ステップＳ６０６でセル構成及び表罫線の忠実な位置が抽出されていることから、ステップＳ１６０１で表枠が拡大した各セルの領域がそのまま文字ブロックの枠の拡大領域となる。結果、図１５（ａ）の紙文書については図１８のような結果が得られる。
【００８３】
ステップＳ１６０３では、ステップＳ１６０２で拡大した各文字ブロック内の文字形状を拡大する。ここでは、ステップＳ６０２の文字認識処理により、文字単位で各文字形状が切り出されており、各文字は文字列として扱うことが可能である。この文字形状の拡大について図１９を用いて説明する。
【００８４】
図１９（ａ）はステップＳ１６０２による文字ブロックの枠と文字ブロック内の文字形状を示したものである。１９０１はステップＳ１６０２で得られる文字ブロックの枠（図１９（ａ））について各文字幅をΔα拡大したのが図１９（ｂ）である。Δα拡大したことにより、左端の文字２３００は文字ブロックの枠をはみ出してしまうが、文字列として扱うことで、図１９（ｃ）のようにはみ出した文字形状を次の行へ反映させることができる。尚、次の行への移行で新しく行を作成する際は文字サイズに応じて行間を決定する。また、行間は文字サイズに応じて変更してもよい。また、次の行へ追加したことによって、次の行が文字ブロックの枠をはみ出してしまった場合は、再度次の行へ追加する。以上のΔαの拡大を文字列が文字ブロックの枠に収まる範囲で繰り返す。
【００８５】
以上の処理を実行することにより、図１５（ａ）の紙文書から、図２０のような文字拡大画像を生成することができる。
【００８６】
尚、本実施形態では、「文字拡大」ボタン１４０２のワンタッチで文字を最大限拡大する「文字拡大」の一例について述べたが、特にこれに限定されるものではなく、例えば、「文字拡大」ボタン１４０２の一回のタッチにおけるステップＳ１６０１〜ステップＳ１６０３の各拡大率を予め設定しておき、ユーザに複数回のタッチによって所望の結果を得るように構成することも可能である。
【００８７】
３．６  ベクトル出力
ステップＳ３０６では、ベクトルデータを出力する。ベクトルデータは、出力する際に一旦アプリケーションデータへ変換される。アプリケーションデータは、ステップＳ３０４で作成されたＤＡＯＦと文書ツリー構造を用いて生成可能である。尚、ＤＡＯＦと文書ツリー構造はステップＳ３０５のベクトル編集処理により変更されている。
【００８８】
図１３の場合の文書ツリー構造についてのアプリケーションデータ生成処理について説明する。図１８において、Ｈ１は横方向に２つのブロックＴ１とＴ２があるので、２カラムとし、Ｔ１の内部情報（ＤＡＯＦを参照、文字認識結果の文章、画像など）を出力後、カラムを変え、Ｔ２の内部情報出力、その後Ｓ１を出力となる。Ｈ２は横方向に２つのブロックＶ１とＶ２があるので、２カラムとして出力、Ｖ１はＴ３、Ｔ４、Ｔ５の順にその内部情報を出力、その後カラムを変え、Ｖ２のＴ６、Ｔ７の内部情報を出力する。以上によりアプリケーションデータを生成し、該アプリケーションデータを紙面上へ出力、またはネットワーク上へ出力する。
【００８９】
以上の説明から明らかなように、本実施形態によれば、紙文書より表オブジェクト及び各セル罫線位置情報を抽出し、各文字形状を拡大することで、紙文書中のレイアウトを崩すことなく、元々文字の小さいことが多い紙文書中の表内文字について大きく拡大することが可能となる。尚、文字形状はベクトル化処理によりアウトライン化されているので解像度に依存せず、画像ベースの拡大に比べ画像の損失がなく拡大できる。
【００９０】
尚、表内の文字を非常に大きく拡大可能な反面、表内に存在する複数の文字オブジェクトを別々の拡大率で拡大しては、反って表全体として画像を損なう可能性があるが、表構成を予め認識しているので、文字を拡大する際に表内部の全ての文字の拡大率を揃える等の工夫も種々可能である。
【００９１】
［第２の実施形態］
上記第１の実施形態では、拡大する倍率を最大限大きくすることとしたが、本発明は特にこれに限られない。表について、たとえ同じセル内では等倍に文字が拡大されていたとしても、各セルごとに倍率がバラバラでは、かえって紙文書中の文字として見づらいことが多い。そこで、文字を拡大する際に、ブロックセレクション処理により抽出された表全ての文字について倍率をそろえるようにしてもよい。また、倍率をそろえることは項目毎でも問題ないため、列毎、行毎に設定する手段を設けるようにしてもよい。
【００９２】
［第３の実施形態］
上記第１の実施形態では、文字の拡大レイアウトとしてアウトライン化した文字形状を使用したが、本発明は特にこれに限られない。アウトライン化した文字形状を使用したのは文字の誤認識による画像の損失を考慮したためであり、文字認識部６０２の精度、さらにフォント認識の精度が十分であれば、文字形状を認識したテキストコードによるフォント情報に置き換えてもよい。
【００９３】
尚、フォント認識処理については文字認識部６０２における文字認識の後に実施することとし、文字認識の際に用いる、字種数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力するようにしてもよい。これにより、文字フォントの認識処理が実現できる。
【００９４】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００９６】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９７】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００９８】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１００】
【図１】本発明の第１の実施形態にかかる画像処理装置（ＭＦＰ１００）を備える文書管理システムの構成例を示すブロック図である。
【図２】本発明の第１の実施形態にかかる画像処理装置（ＭＦＰ１００）の機能構成を示す図である。
【図３】ＭＦＰ１００における全体処理概要を示す図である。
【図４】ブロックセレクション処理の概要を説明するための図である。
【図５】ブロックセレクション処理で得られた各ブロックに対するブロック情報の一例を示す図である。
【図６】ブロックセレクション処理（ステップＳ３０２）で得られた各ブロックに対して行うベクトル化処理の流れを示すフローチャートである。
【図７】アウトライン作成部における処理の概要を説明するための図である。
【図８】アウトライン化する前の画像データとアウトライン化したベクトルデータの例を示す図である。
【図９】表処理部における処理の概要を説明するための図である。
【図１０】表処理部における処理の概要を説明するための図である。
【図１１】図形認識部における処理の概要を説明するための図である。
【図１２】ＤＡＯＦのデータ構造の一例を示す図である。
【図１３】文書構造ツリーを説明するための図である。
【図１４】紙原稿中の簡易文字拡大を実現する一例を示すＵＩを示す図である。
【図１５】文字拡大によるレイアウト手法について説明するための図である。
【図１６】紙原稿中の文字を拡大したベクトル画像を作成するためのフローチャートである。
【図１７】原稿内のオブジェクト領域拡大を行う場合の一例を示す図である。
【図１８】セル罫線を用いて文字領域拡大を行う場合の一例を示す図である。
【図１９】文字オブジェクト領域内で各文字を拡大マッピングする場合の一例を示す図である。
【図２０】文字拡大レイアウトを行った場合の一例を示す図である。
【図１】
2006345314.tif 000003
【図２】
2006345314.tif 000004
【図３】
2006345314.tif 000005
【図４】
2006345314.tif 000006
【図５】
2006345314.tif 000007
【図６】
2006345314.tif 000008
【図７】
2006345314.tif 000009
【図８】
2006345314.tif 000010
【図９】
2006345314.tif 000011
【図１０】
2006345314.tif 000012
【図１１】
2006345314.tif 000013
【図１２】
2006345314.tif 000014
【図１３】
2006345314.tif 000015
【図１４】
2006345314.tif 000016
【図１５】
2006345314.tif 000017
【図１６】
2006345314.tif 000018
【図１７】
2006345314.tif 000019
【図１８】
2006345314.tif 000020
【図１９】
2006345314.tif 000021
【図２０】
2006345314.tif 000022