(57)【特許請求の範囲】
【請求項１】
コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケを補正するボケ画像補正装置において、
前記スキャン画像から各種領域を判別して抽出する領域判別抽出手段と、
前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定手段と、
前記領域判別抽出手段により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正手段と、を備え、
前記ボケ画像補正手段は、
前記各種領域のうち文字矩形領域に対して、
前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくし、
その中で、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くすることを特徴とするボケ画像補正装置。
【請求項２】
前記ボケ画像補正手段は、
前記文字矩形領域に対して、
前記ボケ補正フィルタの幅を調節するパラメータσの値が他の領域に比べて小さく設定された下記（１）式に示されるフィルタを用いて、前記フィルタの強度を調節するパラメータｋの値が他の領域に比べて大きく設定された下記（２）式に示される計算式により、前記ボケ補正処理を施した画像ｓ（x,y）を出力し、
さらに、下記（２）式における前記フィルタの強度を調節するパラメータｋの重み係数ｐを、前記浮きの高さに応じて設定することを特徴とする請求項１記載のボケ画像補正装置。
【数１】
0004318874.tif 000006
【数２】
0004318874.tif 000007
【請求項３】
コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケ補正をコンピュータに実行させるプログラムであって、前記コンピュータに、
前記スキャン画像から各種領域を判別して抽出する領域判別抽出機能と、
前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定機能と、
前記領域判別抽出機能により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正機能と、を実行させ、
前記ボケ画像補正機能は、
前記各種領域のうち文字矩形領域に対して、
前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくし、
その中で、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くすることを特徴とするプログラム。
【請求項４】
前記ボケ画像補正機能は、
前記文字矩形領域に対して、
前記ボケ補正フィルタの幅を調節するパラメータσの値が他の領域に比べて小さく設定された下記（１）式に示されるフィルタを用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された下記（２）式に示される計算式により、前記ボケ補正処理を施した画像ｓ（x,y）を出力し、
さらに、下記（２）式における前記フィルタの強度を調節するパラメータｋの重み係数ｐを、前記浮きの高さに応じて設定することを特徴とする請求項３記載のプログラム。
【数１】
0004318874.tif 000008
【数２】
0004318874.tif 000009
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ボケ画像補正装置及びプログラムに関する。
【０００２】
【従来の技術】
フラッドベットスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、ブック原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上にブック原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿としてブック原稿を用いた場合には、図２７に示すように、ブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このようにブック原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、ブック原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、ブック原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、画像の濃度情報から物体の３次元形状を推定する方法を用いて、画像の歪みを補正する方法が提案されている。このような画像の濃度情報から物体の３次元形状を推定する方法としては、
T. Wada, H. Uchida and T. Matsuyama, “Shape from Shading with Interreflections under a Proximal Light Source: Distortion-Free Copying of an Unfolded Book”, International Journal Computer Vision 24(2), 125-135(1997)
に記載されているShape from Shadingと呼ばれる方法が代表的な例である。
【０００５】
また、特開平5-161002号公報には、三角測量方式により書籍の形状を測定し、歪みを補正する方法が提案されている。
【０００６】
さらに、特開平11-41455号公報には、読み取りスキャン画像のページ外形の形状を用いて書籍表面の３次元形状を推定する方法が提案されている。
【０００７】
【発明が解決しようとする課題】
ところで、ブック原稿のコンタクトガラスからの浮き上がりが高くなるほどボケの程度は増すので、ブック原稿の表面形状変化による文字ボケの補正処理の際に、スキャン画像全体に同一の文字ボケ補正処理を施した場合には、地肌領域のノイズが強調されたり、写真領域のコントラストが不自然になったり、浮き上がりの深い部分と浅い部分とで文字ボケ補正にむらが生じたりするという問題がある。
【０００８】
しかしながら、前述したShape from Shadingと呼ばれる方法によれば、歪み補正処理の際に幾何学的歪み補正と輝度補正とを行っているが、文字ボケ補正は行っていない。
【０００９】
また、特開平5-161002号公報に記載されている方法によれば、ラプラシアン処理により文字ボケ補正を行っているが、文字ボケ補正（エッジ強調処理）を行うときのノイズの影響を考慮していない。加えて、特開平5-161002号公報に記載されている方法によれば、書籍表面形状変化による文字ボケの状況変化を考慮していないし、写真領域と文字領域とを区別して処理してない。このように写真領域と文字領域とを区別して処理していない場合、写真領域をエッジ強調すると画像のコントラストが高くなりすぎる場合がある。
【００１０】
さらに、特開平11-41455号公報に記載されている方法でも、文字ボケ補正（エッジ強調処理）を行うときのノイズの影響を考慮していないし、写真領域と文字領域とを区別して処理してない。
【００１１】
本発明の目的は、ブック原稿の表面形状変化による文字ボケの補正処理の際に、地肌領域のノイズが強調されてしまうのを抑制するとともに、写真領域のコントラストが不自然になってしまうのを防止し、最適な文字ボケ補正を行うことができるボケ画像補正装置及びプログラムを提供することである。
【００１２】
本発明の目的は、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することができるボケ画像補正装置及びプログラムを提供することである。
【００１３】
本発明の目的は、ブック原稿のコンタクトガラスからの浮きの高さが０の場合には、ボケ補正処理の実施を回避することで、処理の高速化を図ることができるボケ画像補正装置及びプログラムを提供することである。
【００１４】
【課題を解決するための手段】
請求項１記載の発明のボケ画像補正装置は、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケを補正するボケ画像補正装置において、前記スキャン画像から各種領域を判別して抽出する領域判別抽出手段と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定手段と、前記領域判別抽出手段により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正手段と、を備え、前記ボケ画像補正手段が、前記各種領域のうち文字矩形領域に対して、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくし、その中で、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くする。
【００１５】
したがって、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理が施される。これにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することが可能になるとともに、写真領域のコントラストが不自然になってしまうのを防止することが可能になるので、最適な文字ボケ補正を行うことが可能になる。
また、ブック原稿の表面形状変化によりボケてしまった文字矩形領域が確実にエッジ強調されるので、スキャン画像の文字が読み易くなり、さらには、文字矩形サイズが小さいほどエッジ強調されるので、さらにスキャン画像の文字が読み易くなる。
【００１６】
請求項２記載の発明は、請求項１記載のボケ画像補正装置において、前記ボケ画像補正手段が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項２に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項２に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定する。
【００１７】
したがって、ブック原稿のコンタクトガラスからの浮きの高さが推定され、この浮きの高さに応じて各種領域に対するフィルタの強度が調節される。これにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことが可能になるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することが可能になる。
【００３２】
請求項３記載の発明のプログラムは、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケ補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像から各種領域を判別して抽出する領域判別抽出機能と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定機能と、前記領域判別抽出機能により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正機能と、を実行させ、前記ボケ画像補正機能が、前記各種領域のうち文字矩形領域に対して、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくし、その中で、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くする。
【００３３】
したがって、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理が施される。これにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することが可能になるとともに、写真領域のコントラストが不自然になってしまうのを防止することが可能になるので、最適な文字ボケ補正を行うことが可能になる。
また、ブック原稿の表面形状変化によりボケてしまった文字矩形領域が確実にエッジ強調されるので、スキャン画像の文字が読み易くなり、さらには、文字矩形サイズが小さいほどエッジ強調されるので、さらにスキャン画像の文字が読み易くなる。
【００３４】
請求項４記載の発明は、請求項３記載のプログラムにおいて、前記ボケ画像補正機能が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項４に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項４に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定する。
【００３５】
したがって、ブック原稿のコンタクトガラスからの浮きの高さが推定され、この浮きの高さに応じて各種領域に対するフィルタの強度が調節される。これにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことが可能になるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することが可能になる。
【００４６】
【発明の実施の形態】
本発明の実施の一形態を図１ないし図２６に基づいて説明する。本実施の形態のボケ画像補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００４７】
ここで、図１はスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００４８】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００４９】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００５０】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００５１】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８、スキャン画像のボケ画像補正機能を含む歪み補正機能を実現する画像歪み補正部２９から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００５２】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００５３】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００５４】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フロッピーディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００５５】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像のボケ画像補正機能を実現するボケ画像補正装置である画像歪み補正部２９におけるスキャン画像のボケ補正処理についてのみ説明する。
【００５６】
図６は、スキャン画像のボケ補正処理の流れを概略的に示すフローチャートである。なお、ここでは、図７に示すように、ブック原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合について説明する。
【００５７】
まず、ステップＳ１において、３次元形状の復元を行い、この３次元形状に基づいてスキャン画像の歪み補正を行う。以下において、図８を参照しつつ形状補正処理について詳細に説明する。
【００５８】
図８に示すように、まずステップＳ１１において、画像データ処理部２８から出力されたコンタクトガラス２に載置されているブック原稿４０のスキャン画像を入力する。ここで、図９は入力した画像の一例を示したものである。そして、図１０に示すように、入力されたブック原稿４０のスキャン画像には、ページ綴じ部４１の近傍において歪みが生じている。
【００５９】
続いて、ブック原稿４０のスキャン画像（例えば、モノクロ多値画像）の最適２値化処理を実行し（ステップＳ１２）、副走査方向の黒画素（スキャン画像の画素の中でその画素値が予め定めた濃度値よりも濃い画素）数のヒストグラムを求める（ステップＳ１３）。図１１は、図９に示した画像の黒画素ヒストグラムである。図１１中の横軸は、副走査方向の黒画素（スキャン画像の画素の中でその画素値が予め定めた濃度値よりも濃い画素）の位置を示し、図１１中の縦軸は、その位置毎の黒画素数を示すものである。
【００６０】
次に、ステップＳ１４において、歪み補正処理を文字情報を利用して行うか罫線情報を利用して行うかの指定に待機する。
【００６１】
操作パネル２２等を介して歪み補正処理を文字情報を利用して行う旨の宣言がなされた場合には（ステップＳ１４のＮ）、ステップＳ１５に進み、文字が横書きであるか縦書きであるかを判別する。文字が横書きであるか縦書きであるかの判別は、ステップＳ１３で求めた横方向（副走査方向）の黒画素数のヒストグラムに基づいて行う。例えば、図９に示すような横書きの画像の場合には、ヒストグラムに山谷の繰り返しパターンが現れ、縦書きの場合はこのパターンはない。この特徴を用いることにより、文字が横書きであるか縦書きであるかを判別する。
【００６２】
なお、スキャン画像がカラー多値画像の場合における２値化処理は、例えばＲＧＢ成分の何れか一つの成分に着目し（例えばＧ成分）、Ｇ成分の所定の濃度閾値よりも大きいものを黒画素とし、Ｇ成分の所定の濃度閾値よりも小さいものを白画素とすれば良い。また、ＲＧＢを色変換して輝度成分と色差成分とに分け、輝度成分で閾値処理を行うようにしても良い。
【００６３】
文字が横書きであると判別された場合には（ステップＳ１５のＹ）、黒画素が連続に繋がる文字単位の矩形抽出処理を行うとともに（ステップＳ１６）、文字行の抽出処理を行って最適な基準文字行を選択する（ステップＳ１７）。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、二値化されたスキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図１２に示す。文字外接矩形抽出処理および文字行抽出処理後には、数多くの行が得られるが、その中で一定の長さ以上の行を選び、さらにその中でもっとも湾曲量が大きい行を最適な基準文字行として選択する。なお、一定の長さ以上の行とは、例えば、最も長い行の８０％より長い行とする。また、ブック原稿４０のページ綴じ部４１の境界線より左側１行、右側１行をそれぞれ選択する。さらに、湾曲量は、文字行に含まれる各文字外接矩形の中心座標の主走査方向における位置によって測定し、中心座標の最大値と最小値との差が大きいほど湾曲量が大きいとみなす。
【００６４】
続いて、ステップＳ１７で抽出した基準文字行の直線部分を抽出する（ステップＳ１８）。基準文字行の直線部分の抽出は、各矩形中心座標値のHough変換により行う。
【００６５】
Hough変換の原理を以下に示す。図１３に示すように画像上の点Ｐ（ｘ，ｙ）を通過する直線は次の式（１）を満たす。
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ          ・・・（１）
ここで、（ｘ，ｙ）は点Ｐの座標であり、ρは原点０と点Ｐとの距離である。θは直線ＰＯとｘ軸とがなす角度である。矩形中心座標（ｘｉ，ｙｉ）を離散化（メッシュ化）された（ρ，θ）パラメータ平面へと射影する。（ｘ，ｙ）平面の１点は、（ρ，θ）平面では１本の曲線に射影される。平面上の各メッシュについて曲線の通過数をカウントすると、通過数の多いメッシュは対応する直線があることを示す。１つの文字行には１本の直線しかないので曲線が最も多く通過するメッシュを見つければ、直線を抽出することができる。この方法は、ノイズに非常に強く、直線と曲線が混在する場合にも直線部分を抽出することができる。図１２の直線を抽出した結果を図１４に示す。
【００６６】
続いて、基準文字行の曲線部分を求める（ステップＳ１９）。ステップＳ１７で抽出した基準文字行を以下に示す多項式（２）で近似し、最小２乗法により多項式の係数を求める。つまり、ステップＳ１９は、行の曲線部分を多項式で近似するものである。
ｙ＝ａ０＋ａ１ｘ１＋ａ２ｘ２＋・・・＋ａｎｘｎ            ・・・（２）
ここで、（ｘ，ｙ）文字矩形中心の座標であり、（ａ０，ａ１，ａ２，・・・，ａｎ）は多項式の係数である。抽出した曲線部分の結果を図１５に示す。
【００６７】
次に、ステップＳ１８で求めた基準文字行の直線部分とステップＳ１９で求めた基準文字行の曲線部分との間の距離を測定し（ステップＳ２０）、３次元形状復元を行う（ステップＳ２１）。図１６は、基準文字行の直線部分と基準文字行の曲線部分との距離を示したものである。
【００６８】
スキャンの主走査方向とブック原稿４０のページ綴じ部４１の境界線が平行な場合、レンズユニット１０等のスキャナレンズによるブック原稿４０を読み取るとき、結像系は次の特性を持つ。主走査方向は中心投影であり、副走査方向は平射投影である。ここで、これらの特性を利用して、３次元形状復元を行う。中心投影する場合、図１７と図１８に示すようにブック原稿４０の表面はコンタクトガラス２の表面から浮いて結像距離が遠くなり、画像の拡大倍率は小さくなるので、外形エッジの直線はだんだん内側に湾曲していく。図１８の縮む量ＡＢを測定すれば、図１７に浮いた本の表面の高さｄを計算できる。従って、直線の内側への歪み量を測定すれば、３次元形状（ブック原稿４０のコンタクトガラス２からの浮き上がりの量）を復元できる。
【００６９】
ここで、ブック原稿４０を水平にコンタクトガラス２上に置くことを仮定する。そうすると、３次元の形状は２次元になる。スキャナレンズの結像関係を図１９に示す。ＯＯ´はレンズの光軸であり、０はレンズの中心である。Ｆはレンズの中心０からスキャナ表面（コンタクトガラス２）までの距離で、これを、スキャナの焦点距離と言う。スキャナ表面上の点Ｂは結像面でＤに結像する。浮いた製本（ブック原稿４０）の表面上の点ＣはＥに結像する。それぞれの結像面の中心０との距離はｙ´とｙである（第一走行体５および第二走行体８が副走査方向に移動することによって、中心０も移動するが、その軌跡を結像中心線と呼ぶことにする）。三角形の相似関係により次の関係式（３），（４）が得られる。
ｄ／Ｆ＝ＡＢ／ＡＯ´                        ・・・（３）
ＡＢ／ＡＯ´＝（ｙ´−ｙ）／ｙ              ・・・（４）
また、式（３），（４）により、ブック原稿４０の浮き上がりの量ｄが次式（５）により得られる。
ｄ＝Ｆ×（（ｙ´−ｙ）／ｙ）                ・・・（５）
この式（５）により２次元の歪み量から３次元形状が求められることがわかる。ここで、歪み量（ｙ´−ｙ）と距離yは画像から求められるが、本実施の形態では、これを文字行あるいは罫線の直線成分と曲線部分との距離から求めるものである。レンズの焦点距離Ｆはスキャナ部１によって定まる既知量であり、スキャナ部１の設定値かレンズの校正値を用いる。ここに、高さ推定手段の機能が実行される。
【００７０】
続いて、３次元形状に基づいてスキャン画像の歪み補正を行うとともに（ステップＳ２２）、画像の輝度補正を行う（ステップＳ２３）。ブック原稿４０のページ綴じ部４１に平行な方向では、図２０に示すように画像下部分の外形が直線となるようにスキャン画像の縦方向を１列ずつシフトする。そして、スキャン画像の上部の点線から内側へ縮む量により縮小倍率を計算し、変倍処理を行う。垂直方向では、ブック原稿４０の表面に沿って、スキャン画像を引き伸ばす。また、縦方向の各画素列のもっとも白い画像を基準にして、画像の輝度補正を行う。詳細については、特開平11-41455号公報に開示されているためその説明は省略する。
【００７１】
一方、文字が縦書きであると判別された場合には（ステップＳ１５のＮ）、ステップＳ２４に進み、矩形抽出と縦方向の行の抽出処理を行う。ステップＳ２４では、図２１に示すように行の一番上あるいは一番下の矩形を求め、これを基準文字行とし、縦行の外形を求める。
【００７２】
続くステップＳ１８〜Ｓ２３では、この基準文字行を構成する各矩形の中心座標を用いて、画像の歪み補正処理を行う。
【００７３】
また、歪み補正処理を罫線情報を利用して行う旨の宣言がなされた場合には（ステップＳ１４のＹ）、横方向（副走査方向）に描いた罫線を抽出する（ステップＳ２５）。ステップＳ２５では、ステップＳ１３で求めた横方向（副走査方向）の黒画素数のヒストグラムを用いる。図２２に示すように、横方向に描いた罫線が存在する場合には、ヒストグラムに細高いピークが現れるので、それを利用して罫線を抽出し、その中から一定の長さ以上の罫線を選ぶ。一定の長さを指定するとき、例えば、もっとも長い罫線の８０％より長い罫線とする。そして、選択した罫線の中で画像の上端もしくは下端に最も近い罫線を基準罫線として選択する。また、ブック原稿４０のページ綴じ部４１の境界線より左側１罫線、右側１罫線をそれぞれ選択する。
【００７４】
続くステップＳ１８〜Ｓ２３は、基本的に文字情報を利用した場合と同様であるため、説明は省略する。
【００７５】
ここで、図２３は歪みを補正した画像を示す平面図である。以上の処理によれば、図９に示したようなブック原稿４０のページ綴じ部４１の近傍において生じていたスキャン画像の歪みが、図２３に示すように補正されることになる。
【００７６】
ところで、このようにブック原稿４０のページ綴じ部４１がコンタクトガラス２から浮き上がってしまった場合には、スキャナレンズのピントはコンタクトガラス２の面に合わせてあるので、コンタクトガラス２からブック原稿４０が浮き上がってしまったページ綴じ部４１の近傍の文字部分のスキャン画像はボケてしまう。すなわち、図１９に示したＤにおいてはシャープに結像するが、Ｅにおいてはボケた画像になる。そこで、続くステップＳ２〜ステップＳ８においては、ボケた画像（特に文字ボケ）を補正するボケ補正処理を行う。
【００７７】
次に、ボケ補正処理について説明する。一般に、ボケ補正される前の原画像をｆ（ｘ，ｙ）とし、原画像ｆ（ｘ，ｙ）の高周波成分を強調したエッジ強調画像をｇ（ｘ，ｙ）とした場合、原画像ｆ（ｘ，ｙ）とエッジ強調画像ｇ（ｘ，ｙ）との重み付き和を求めるとアンシャープフィルタ画像ｓ（ｘ，ｙ）が得られ、このアンシャープフィルタ画像ｓ（ｘ，ｙ）は、下記の式（６）、
ｓ（ｘ，ｙ）＝ｆ（ｘ，ｙ）+ｋ・ｇ（ｘ，ｙ）      ・・・（６）
で表される。ここで、ｋは重み係数である。しかしながら、このようにして文字のエッジを強調した場合には地肌領域のノイズも一緒に強調されてしまう傾向がある。そこで、本実施の形態のボケ補正処理においては、文字ボケの補正の際に地肌領域のノイズも一緒に強調されてしまうのを防止するために、平滑化効果と高周波成分強調の効果を同時に持っているボケ補正フィルタを用いて文字ボケの補正を行うものである。
【００７８】
ここで、ボケ補正フィルタについて詳細に説明する。本実施の形態のボケ補正フィルタは、重み係数ｋとともにLaplacian of Gaussianフィルタ（以下、LoGフィルタという）を導入したものであって、このLoGフィルタは、下記の式（７）、
【００７９】
【数１】
0004318874.tif 000002
で表される。ただし、σはフィルタの広がり幅を決めるパラメータである。
【００８０】
そして、アンシャープフィルタ画像ｓ（ｘ，ｙ）は、下記の式（８）、
【００８１】
【数２】
0004318874.tif 000003
で表される。
【００８２】
また、エッジ強調画像ｇ（ｘ，ｙ）は、下記の式（９）、
【００８３】
【数３】
0004318874.tif 000004
で表される。
【００８４】
ここで、図２４はボケ補正される前の原画像ｆ（ｘ，ｙ）を示し、図２５はボケ補正フィルタにより図２４の原画像ｆ（ｘ，ｙ）の高周波成分を強調したエッジ強調画像ｇ（ｘ，ｙ）を示し、図２６はボケ補正フィルタにより図２４の原画像ｆ（ｘ，ｙ）をアンシャープフィルタ処理したアンシャープフィルタ画像ｓ（ｘ，ｙ）を示すものである。
【００８５】
このようにボケ補正フィルタには、二つのパラメータσとｋがある。パラメータσは、その値が大きいければ大きいほどフィルタの幅が広くなるので平滑化の効果が大きくなり、その値が小さいければ小さいほどフィルタの幅が狭くなるのでエッジ強調の効果が大きくなる。ボケ補正フィルタのパラメータσを０に近づけるとラプラシアンフィルタに近似する。つまり、このパラメータσを調整することで、ノイズの抑制とエッジ強調のシャープさを調整することができる。一方、パラメータｋは、その値が大きければ大きいほどエッジ強調の効果が大きくなり、その値が小さいほどボケ復元の効果が小さくなる。そこで、本実施の形態においては、形状補正後のスキャン画像を写真領域、文字矩形領域、地肌領域にそれぞれ分け、各領域毎に異なるボケ補正フィルタのパラメータを設定し、各領域に対して最適なボケ補正を行うようにする。
【００８６】
すなわち、図６に示すように、形状補正後のスキャン画像の中に写真領域が存在する場合にはスキャン画像から写真領域を抽出し（ステップＳ２：領域判別抽出手段）、形状補正後のスキャン画像の中に文字矩形領域が存在する場合にはスキャン画像から文字矩形領域を抽出し（ステップＳ３：領域判別抽出手段）、形状補正後のスキャン画像の中の写真領域でも文字矩形領域でもない領域は地肌領域として抽出する（ステップＳ４：領域判別抽出手段）。また、ステップＳ３においては、抽出した文字矩形のサイズ（各文字矩形の一辺の長さの平均や各文字矩形の対角線の長さの平均等）も求める。なお、スキャン画像からの写真領域の抽出処理、スキャン画像からの文字矩形領域の抽出処理については周知の技術であるので、その説明は省略する。
【００８７】
続くステップＳ５で領域毎に最適なパラメータσをそれぞれ設定し、ステップＳ６で領域毎に最適なパラメータｋをそれぞれ設定する。以下において、領域毎のボケ補正フィルタのパラメータ設定について説明する。
【００８８】
写真領域においては、ボケ補正フィルタのパラメータｋを小さく設定してエッジ強調し過ぎないようにするとともに、ボケ補正フィルタのパラメータσを大きく設定してノイズを抑えるようにする。
【００８９】
文字矩形領域においては、エッジ強調効果を高めるため、ボケ補正フィルタのパラメータｋを大きく設定する。一方、ボケ補正フィルタのパラメータσは基本的に小さく設定するが、さらに平均矩形サイズも考慮し、矩形が小さいほどパラメータσをより小さく設定する。
【００９０】
地肌領域においては、ボケ補正フィルタのパラメータｋを小さく設定し、かつ、ボケ補正フィルタのパラメータσを写真領域よりも大きく設定してノイズを抑える。
【００９１】
次いで、ステップＳ７において、式（５）により求められたブック原稿４０の浮き上がりの高さｄに応じ、ボケ補正フィルタのパラメータｋの重み係数ｐを設定する。ここに、強度調節手段の機能が実行される。これは、下記の式（１０）、
【００９２】
【数４】
0004318874.tif 000005
で表される。これにより、ブック原稿４０の浮き上がりの高さｄが０の場合にはフィルタ処理を施さないのと同等で、ブック原稿４０の浮き上がりの高さｄが高くなるにつれて、ボケ補正フィルタの強度を増してボケ補正効果を高めることが可能になる。
【００９３】
そして、このようにして各パラメータσ，ｋ，ｐが設定されたボケ補正フィルタによりスキャン画像の文字ボケ等を補正し（ステップＳ８）、画像を出力する（ステップＳ９）。以上のステップＳ５〜Ｓ８により、ボケ画像補正手段の機能が実行される。
【００９４】
なお、本実施の形態においては、ボケ補正フィルタにLoGフィルタを導入したが、これに限るものではなく、パラメータによりフィルタの幅が調節できるようなボケ補正フィルタであれば良い。
【００９５】
ここに、スキャン画像の各種領域に関して強度調節及び幅調節可能なボケ補正フィルタを用いて適応的にボケ補正処理が施される。これにより、ブック原稿４０の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することが可能になるとともに、写真領域のコントラストが不自然になってしまうのを防止することが可能になるので、最適な文字ボケ補正を行うことが可能になる。
【００９６】
また、ブック原稿４０のコンタクトガラス２からの浮きの高さｄが推定され、この浮きの高さｄに応じて各種領域に対するボケ補正フィルタの強度が調節される。これにより、ブック原稿４０のコンタクトガラス２からの浮きの高さｄが高くなるに従ってボケ補正フィルタの強度を増すことが可能になるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することが可能になる。
【００９７】
さらに、ブック原稿４０のコンタクトガラス２からの浮きの高さｄが０の場合には、画像読取手段のブック原稿４０に対するピントは合っていることからスキャン画像がボケることはないので、ボケ補正処理の実施を回避することにより、処理の高速化を図ることが可能になる。
【００９８】
なお、本実施の形態においては、ボケ画像補正装置を画像形成装置であるデジタル複写機１６に備え、デジタル複写機１６のスキャナ部１で読み取ったスキャン画像に対して画像のボケ補正処理を施すようにしたが、これに限るものではない。例えば、原稿画像を読み取る画像読取手段を備えたイメージスキャナを、図５に示したメイン制御部１９と同等なシステム構成を備えたパーソナルコンピュータに接続するとともに、このパーソナルコンピュータのＨＤＤに記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムをインストールし、このプログラムに従ってパーソナルコンピュータのＣＰＵを動作させることによってボケ画像補正装置を構成しても、前述したような各種の作用効果と同様の作用効果を得ることができる。また、記憶媒体であるＣＤ−ＲＯＭ３７に格納されたプログラムを、図５に示したメイン制御部１９と同等なシステム構成を備えたパーソナルコンピュータのＨＤＤにインストールし、このプログラムに従ってパーソナルコンピュータのＣＰＵを動作させることによってボケ画像補正装置を構成し、予め画像読取手段により読み取られたスキャン画像に対してボケ補正処理を施すようにしても良い。
【００９９】
【発明の効果】
請求項１記載の発明のボケ画像補正装置によれば、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケを補正するボケ画像補正装置において、前記スキャン画像から各種領域を判別して抽出する領域判別抽出手段と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定手段と、前記領域判別抽出手段により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正手段と、を備え、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理を施すことにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することができるとともに、写真領域のコントラストが不自然になってしまうのを防止することができるので、最適な文字ボケ補正を行うことができる。また、前記領域判別抽出手段により抽出された前記各種領域のうち文字矩形領域については、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくすることにより、ブック原稿の表面形状変化によりボケてしまった文字矩形領域を確実にエッジ強調することができるので、スキャン画像の文字を読み易くすることができる。さらに、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くすることにより、文字矩形サイズが小さいほどエッジ強調することができるので、さらにスキャン画像の文字を読み易くすることができる。
【０１００】
請求項２記載の発明によれば、請求項１記載のボケ画像補正装置において、前記ボケ画像補正手段が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項２に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項２に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定することにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことができるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することができる。
【０１０８】
請求項３記載の発明のプログラムによれば、コンタクトガラス上に載置されたブック原稿を画像読取手段により読み取ったスキャン画像のボケ補正をコンピュータに実行させるプログラムであって、前記コンピュータに、前記スキャン画像から各種領域を判別して抽出する領域判別抽出機能と、前記スキャン画像に基づいて前記ブック原稿の前記コンタクトガラスからの浮きの高さを推定する高さ推定機能と、前記領域判別抽出機能により抽出された前記各種領域に基づきパラメータを設定することでボケ補正フィルタの幅及び強度を調節し、さらに、前記高さ推定手段により推定された前記浮きの高さに基づきパラメータの重み係数を設定することでボケ補正フィルタの強度を調節し、前記スキャン画像の前記各種領域に適したボケ補正処理を施すボケ画像補正機能と、を実行させ、スキャン画像の各種領域に関して強度調節及び幅調節可能なフィルタを用いて適応的にボケ補正処理を施すことにより、ブック原稿の表面形状変化による文字ボケの補正処理の際に、例えば地肌領域のノイズが強調されてしまうのを抑制することができるとともに、写真領域のコントラストが不自然になってしまうのを防止することができるので、最適な文字ボケ補正を行うことができる。また、前記領域判別抽出機能により抽出された前記各種領域のうち文字矩形領域については、前記ボケ補正フィルタの幅を他の領域に比べて相対的に狭くするとともに、前記ボケ補正フィルタの強度を他の領域に比べて相対的に大きくすることにより、ブック原稿の表面形状変化によりボケてしまった文字矩形領域を確実にエッジ強調することができるので、スキャン画像の文字を読み易くすることができる。さらに、当該文字矩形領域中の文字矩形サイズが小さいほど前記ボケ補正フィルタの幅を狭くすることにより、文字矩形サイズが小さいほどエッジ強調することができるので、さらにスキャン画像の文字を読み易くすることができる。
【０１０９】
請求項４記載の発明によれば、請求項３記載のプログラムにおいて、前記ボケ画像補正機能が、前記文字矩形領域に対して、前記ボケ補正フィルタの幅を調節するパラメータの値が他の領域に比べて小さく設定されたフィルタ（請求項４に記載の（１）式で示されるフィルタ）を用いて、前記フィルタの強度を調節するパラメータの値が他の領域に比べて大きく設定された所定の計算式（請求項４に記載の（２）式）により、前記ボケ補正処理を施した画像を出力し、さらに、所定の計算式における前記フィルタの強度を調節するパラメータの重み係数を、前記浮きの高さに応じて設定することにより、ブック原稿のコンタクトガラスからの浮きの高さが高くなるに従ってフィルタの強度を増すことができるので、浮き上がりの深い部分と浅い部分とでの文字等のボケ補正にムラが生じることを防止することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像のボケ補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上にブック原稿を載置した状態を示す斜視図である。
【図８】形状補正処理の流れを概略的に示すフローチャートである。
【図９】入力した画像の一例を示す平面図である。
【図１０】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１１】図９に示した画像の黒画素ヒストグラムである。
【図１２】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図１３】  Hough変換の原理を示す説明図である。
【図１４】  Hough変換により図１２の直線を抽出した結果を示す説明図である。
【図１５】最小２乗法により図１２の曲線部分を抽出した結果を示す説明図である。
【図１６】基準文字行の直線部分と基準文字行の曲線部分との距離を示す説明図である。
【図１７】本の表面の浮いた高さを示す説明図である。
【図１８】画像が縮む量を示す説明図である。
【図１９】スキャナレンズの結像関係を示す説明図である。
【図２０】画像シフトを示す説明図である。
【図２１】文字が縦書きである場合の基準文字行を示す説明図である。
【図２２】横方向に描いた罫線を示す説明図である。
【図２３】形状補正した画像を示す平面図である。
【図２４】ボケ補正される前の原画像を示す説明図である。
【図２５】ボケ補正フィルタにより図２４の原画像の高周波成分を強調したエッジ強調画像を示す説明図である。
【図２６】ボケ補正フィルタにより図２４の原画像をアンシャープフィルタ処理したアンシャープフィルタ画像を示す説明図である。
【図２７】コンタクトガラス上にブック原稿を載置した状態を示す正面図である。
【符号の説明】
１        画像読取装置
２        コンタクトガラス
１６      画像形成装置
２９      ボケ画像補正装置
４０      ブック原稿
【図１】
0004318874.tif 000010
【図２】
0004318874.tif 000011
【図３】
0004318874.tif 000012
【図４】
0004318874.tif 000013
【図５】
0004318874.tif 000014
【図６】
0004318874.tif 000015
【図７】
0004318874.tif 000016
【図８】
0004318874.tif 000017
【図９】
0004318874.tif 000018
【図１０】
0004318874.tif 000019
【図１１】
0004318874.tif 000020
【図１２】
0004318874.tif 000021
【図１３】
0004318874.tif 000022
【図１４】
0004318874.tif 000023
【図１５】
0004318874.tif 000024
【図１６】
0004318874.tif 000025
【図１７】
0004318874.tif 000026
【図１８】
0004318874.tif 000027
【図１９】
0004318874.tif 000028
【図２０】
0004318874.tif 000029
【図２１】
0004318874.tif 000030
【図２２】
0004318874.tif 000031
【図２３】
0004318874.tif 000032
【図２４】
0004318874.tif 000033
【図２５】
0004318874.tif 000034
【図２６】
0004318874.tif 000035
【図２７】
0004318874.tif 000036