(57)【要約】【課題】  筋状等のノイズが生じることなく、高精度の地肌補正を行なうことができるようにする。【解決手段】  書籍原稿を読み取った書籍画像について、地肌補正を行なう（ステップＳ１）。具体的には、読取画像全体の明度から、書籍原稿の平坦部の基準値を求め、この基準値で地肌補正を行なう。例えば、色情報を持つ画素値を色相、彩度、明度に変換し、画像中の明度の分布から書籍原稿の綴じ部に垂直な方向に沿った明度プロフィールを求め、この明度プロフィールから平坦部の明度を求め、この平坦部の明度を用いて明度プロフィールを正規化した正規化明度プロフィールを用いて、地肌補正を行なう。【選択図】    図６
2005348103.tif 000002
【特許請求の範囲】
【請求項１】
書籍原稿の見開き面を読み取った読取画像を対象に当該画像の全体的な情報から前記読取画像中における前記書籍原稿の平坦部の基準値を求め、この基準値に基づいて前記読取画像の地肌補正を行なう手段と、
前記読取画像で前記書籍原稿の歪みの補正を行なう手段と、
を備えている画像補正装置。
【請求項２】
前記地肌補正を行なう手段は、前記全体的な情報としての前記読取画像全体の明度から前記基準値を求める、請求項１に記載の画像補正装置。
【請求項３】
前記地肌補正を行なう手段は、色情報を持つ画素値を色相、彩度、明度に変換し、画像中の明度の分布から前記書籍原稿の綴じ部に垂直な方向に沿った明度プロフィールを求め、この明度プロフィールから前記平坦部の明度を求め、この平坦部の明度を用いて前記明度プロフィールを正規化した正規化明度プロフィールを用いて前記補正を行なう、請求項２に記載の画像補正装置。
【請求項４】
前記地肌補正を行なう手段は、色情報を持つ画素値から明度を求め、前記書籍原稿の綴じ部に垂直な方向に沿った明度プロフィールを求め、この明度プロフィールから前記平坦部の明度を求め、この平坦部の明度を用いて前記明度プロフィールを正規化した正規化明度プロフィールを用いて前記補正を行なう、請求項２に記載の画像補正装置。
【請求項５】
前記地肌補正を行なう手段は、色情報を持つ画素値から前記書籍原稿の綴じ部に垂直な方向に沿った各画素値に対応するプロフィールを求め、この各プロフィールから前記平坦部の各基準値を求め、この各基準値を用いて前記プロフィールを正規化した正規化プロフィールを用いて前記補正を行なう、請求項１に記載の画像補正装置。
【請求項６】
前記地肌補正を行なう手段は、前記読取画像を前記綴じ部と垂直な方向に複数の領域に分割し、この各領域に対して前記補正を行なう、請求項２〜５のいずれかの一に記載の画像補正装置。
【請求項７】
前記地肌補正を行なう手段は、前記読取画像を前記綴じ部と平行な方向に複数の領域に分割し、この各領域に対して前記補正を行なう、請求項２〜５のいずれかの一に記載の画像補正装置。
【請求項８】
前記地肌補正を行なう手段は、前記読取画像を前記綴じ部と垂直な方向及び平行な方向に複数の領域に分割し、この各領域に対して前記補正を行なう、請求項２〜５のいずれかの一に記載の画像補正装置。
【請求項９】
前記歪みの補正を行なう手段は、前記読取画像から前記書籍原稿のページ外形、罫線又は文字行を抽出し、このページ外形、罫線又は文字行から前記歪み部の形状を認識して当該歪み部の補正を行なう、請求項１〜８のいずれかの一に記載の画像補正装置。
【請求項１０】
請求項１〜９のいずれかの一に記載の画像補正装置を備え、
書籍原稿の読取画像について前記画像補正装置で処理する、画像読取装置。
【請求項１１】
書籍原稿の見開き面を読み取った読取画像を対象に当該画像の全体的な情報から前記読取画像中における前記書籍原稿の平坦部の基準値を求め、この基準値に基づいて前記読取画像の地肌補正を行なう手段と、
前記読取画像で前記書籍原稿の歪みの補正を行なう手段と、
をコンピュータに実行させるコンピュータに読み取り可能なプログラム。
【請求項１２】
前記地肌補正を行なう手段は、前記全体的な情報としての前記読取画像全体の明度から前記基準値を求める、請求項１１に記載のプログラム。
【請求項１３】
前記地肌補正を行なう手段は、色情報を持つ画素値を色相、彩度、明度に変換し、画像中の明度の分布から前記書籍原稿の綴じ部に垂直な方向に沿った明度プロフィールを求め、この明度プロフィールから前記平坦部の明度を求め、この平坦部の明度を用いて前記明度プロフィールを正規化した正規化明度プロフィールを用いて前記補正を行なう、請求項１２に記載のプログラム。
【請求項１４】
前記地肌補正を行なう手段は、色情報を持つ画素値から明度を求め、前記書籍原稿の綴じ部に垂直な方向に沿った明度プロフィールを求め、この明度プロフィールから前記平坦部の明度を求め、この平坦部の明度を用いて前記明度プロフィールを正規化した正規化明度プロフィールを用いて前記補正を行なう、請求項１２に記載のプログラム。
【請求項１５】
前記地肌補正を行なう手段は、色情報を持つ画素値から前記書籍原稿の綴じ部に垂直な方向に沿った各画素値に対応するプロフィールを求め、この各プロフィールから前記平坦部の各基準値を求め、この各基準値を用いて前記プロフィールを正規化した正規化プロフィールを用いて前記補正を行なう、請求項１１に記載のプログラム。
【請求項１６】
前記地肌補正を行なう手段は、前記読取画像を前記綴じ部と垂直な方向に複数の領域に分割し、この各領域に対して前記補正を行なう、請求項１２〜１５のいずれかの一に記載のプログラム。
【請求項１７】
前記地肌補正を行なう手段は、前記読取画像を前記綴じ部と平行な方向に複数の領域に分割し、この各領域に対して前記補正を行なう、請求項１２〜１５のいずれかの一に記載のプログラム。
【請求項１８】
前記地肌補正を行なう手段は、前記読取画像を前記綴じ部と垂直な方向及び平行な方向に複数の領域に分割し、この各領域に対して前記補正を行なう、請求項１２〜１５のいずれかの一に記載のプログラム。
【請求項１９】
請求項１１〜１８のいずれかの一に記載のプログラムを記憶している、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、書籍原稿画像を画像読取装置により読み取ったスキャン画像を補正する画像補正装置、画像補正装置を備えている画像読取装置、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
フラットベッドスキャナを用いて読み取る原稿の多くはシート状の原稿であり、コンタクトガラス上に開閉自在の圧板を設け、コンタクトガラス上に原稿を載置した後に圧板を閉じて原稿をスキャンするようにしている。しかし、原稿としてはシート状のものに限られず、書籍原稿（本、冊子など）も原稿として扱われることがあり、そのような場合にもコンタクトガラス上に書籍原稿を載置し、原稿をスキャンすることになる。
【０００３】
ところが、原稿として書籍原稿を用いた場合には、図４３に示すように、書籍原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまう。このように書籍原稿１００のページ綴じ部１０１がコンタクトガラス１０２から浮き上がってしまった場合には、ページ綴じ部１０１が焦点面から離れてしまうため、浮き上がった部分のスキャン画像には、画像歪み、影、文字ぼけなどの画像劣化が発生する。劣化した画像のページ綴じ部１０１は読みにくく、ＯＣＲにより文字認識処理を行うときの認識率が著しく低下する。特に、厚手製本ではその割合が高く、また、書籍原稿１００のページ綴じ部１０１を焦点面から離れないように加圧作業した場合には、書籍原稿１００自体を破損してしまうこともある。
【０００４】
このような問題を解決すべく、書籍原稿画像を画像読取装置により読み取ったスキャン画像の歪みを補正する技術が知られている。特許文献１には、書籍原稿のスキャン画像に対する輝度補正処理に係る複数の処理モードから選択された所望の処理モードに従ってスキャン画像における地肌値を指定し、この指定された地肌値に基づきスキャン画像に対する輝度補正処理を実行する技術について開示されている。すなわち、輝度補正処理の基準とすべき地肌値を抽出するスキャン画像上の位置が画像読取装置の種類によって異なるが、この技術により、ユーザは、使用する画像読取装置に最も適した処理モードを選択してスキャン画像に対する輝度補正処理を実行することができるので、輝度補正後の画像品質の向上を図ることができる。
【０００５】
【特許文献１】特開２００３−１９８８４５公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示の技術では、画像中のある局所的な情報により、基準となる地肌色を求めているため（特に、特許文献１の図２９を参照）、ノイズにより地肌色より明るい色（白画素等）が存在する場合、あるいは、色地肌の場合には地肌色より明るい色が存在する場合には、その画素が基準となるため、補正後の画像に筋状等のノイズが生じてしまうという不具合がある。
【０００７】
本発明の目的は、筋状等のノイズが生じることなく、高精度の地肌補正を行なうことができるようにすることである。
【課題を解決するための手段】
【０００８】
本発明は、書籍原稿の見開き面を読み取った読取画像を対象に当該画像の全体的な情報から前記読取画像中における前記書籍原稿の平坦部の基準値を求め、この基準値に基づいて前記読取画像の地肌補正を行なう手段と、前記読取画像で前記書籍原稿の歪みの補正を行なう手段と、を備えている画像補正装置である。
【０００９】
別の面から見た本発明は、書籍原稿の見開き面を読み取った読取画像を対象に当該画像の全体的な情報から前記読取画像中における前記書籍原稿の平坦部の基準値を求め、この基準値に基づいて前記読取画像の地肌補正を行なう手段と、前記読取画像で前記書籍原稿の歪みの補正を行なう手段と、をコンピュータに実行させるコンピュータに読み取り可能なプログラムである。
【発明の効果】
【００１０】
本発明によれば、読取画像の全体的な情報から書籍原稿の平坦部の基準値を求めるので、筋状等のノイズが生じることなく、高精度の地肌補正を行なうことができる。
【発明を実施するための最良の形態】
【００１１】
本発明を実施するための最良の一形態について説明する。
【００１２】
本実施の形態の画像歪み補正装置は画像形成装置であるデジタル複写機に備えられており、画像読取装置としてはデジタル複写機のスキャナ部が適用されている。
【００１３】
ここで、図１は、画像読取装置であるスキャナ部１の構成を示す縦断正面図である。図１に示すように、スキャナ部１は、原稿を載置するコンタクトガラス２と、原稿の露光用の露光ランプ３および第一反射ミラー４からなる第一走行体５と、第二反射ミラー６および第三反射ミラー７からなる第二走行体８と、原稿の画像を読み取る撮像素子としてのＣＣＤ（Charge Coupled Device）９と、このＣＣＤ９に結像させるためのレンズユニット１０と、原稿を載置する基準になるとともにコンタクトガラス２のズレや外れを防止する原稿スケール１１と、この原稿スケール１１の下側に設置されたシェーディング補正用の白基準板１２と、フレーム１４とを備えている。ＣＣＤ９はセンサボード１３上に形成されている。
【００１４】
原稿の走査時には、第一走行体５および第二走行体８はステッピングモータ２４（図３参照）によって副走査方向に移動する。すなわち、第一走行体５および第二走行体８がコンタクトガラス２の下を走行して、露光ランプ３で原稿を露光走査し、その反射光を第一反射ミラー４、第二反射ミラー６および第三反射ミラー７で反射して、レンズユニット１０を通してＣＣＤ９に結像させる。ここに、画像読取手段が実現されている。
【００１５】
このようなスキャナ部１は、このスキャナ部１で読み取られた原稿の画像に基づく画像データに応じ、例えば電子写真方式で用紙上に画像の形成を行う画像印刷装置であるプリンタ部（図示せず）を備えるデジタル複写機１６に搭載されている。図２は、スキャナ部１を搭載したデジタル複写機１６の上部部分を示す斜視図である。図２に示すように、スキャナ部１には、コンタクトガラス２に対して開閉自在な圧板１７と、この圧板１７の開閉を検出する開閉センサ１８とが設けられている。なお、デジタル複写機１６に備えられるプリンタとしては、電子写真方式のほか、インクジェット方式、昇華型熱転写方式、銀塩写真方式、直接感熱記録方式、溶融型熱転写方式など、種々の印刷方式を適用することができる。その具体的な構成については周知であるため、詳細な説明は省略する。
【００１６】
図３は、スキャナ部１の制御系の電気的な接続を示すブロック図である。図３に示すように、この制御系は、スキャナ部１の全体を制御するメイン制御部１９に、ＣＣＤ９で読み取った画像データに各種の画像処理を施す回路である画像処理部２０と、第一走行体５および第二走行体８を制御する回路である走行体制御部２１と、デジタル複写機１６への各種操作を受け付け、また、各種メッセージを表示する操作パネル２２と、ＣＣＤ９で読み取った画像データや所定のデータ等を記憶するメモリ２３とが接続されている。なお、操作パネル２２には、コピー開始を宣言するためのコピースタートキー等が設けられている。また、走行体制御部２１には、露光ランプ３と、第一走行体５および第二走行体８を駆動するステッピングモータ２４と、第一走行体５および第二走行体８がホームポジションにあるか否かを検出するスキャナホームポジションセンサ（ＨＰセンサ）２５と、開閉センサ１８とが接続されている。
【００１７】
ここで、図４は画像処理部２０の基本的な内部構成を示すブロック図である。図４に示すように、画像処理部２０は、原稿をＣＣＤ９により読み取ったアナログ画像信号の増幅処理やデジタル変換処理等を行うアナログビデオ処理部２６、シェーディング補正処理を行うシェーディング補正処理部２７、シェーディング補正処理後のデジタル画像信号に、ＭＴＦ補正、変倍処理、γ補正等の各種画像データ処理を行いスキャン画像を生成する画像データ処理部２８から構成されている。以上のような画像処理後のデジタル画像信号は、メイン制御部１９を介してプリンタ部に送信されて、画像形成に供される。
【００１８】
メイン制御部１９は、図５に示すように、各部を集中的に制御するＣＰＵ（Central Processing Unit）３１を備えており、このＣＰＵ３１には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Read Only Memory）３２と、各種データを書換え可能に記憶してＣＰＵ３１の作業エリアとして機能するＲＡＭ（Random Access Memory）３３とがバス３４で接続されており、マイクロコンピュータを構成している。さらにバス３４には、制御プログラムが記憶されたＨＤＤ３５と、ＣＤ（Compact Disc）−ＲＯＭ３７を読み取るＣＤ−ＲＯＭドライブ３６と、プリンタ部等との通信を司るインタフェース（Ｉ／Ｆ）３８とが接続されている。
【００１９】
図５に示すＣＤ−ＲＯＭ３７は、この発明の記憶媒体を実施するものであり、所定の制御プログラムが記憶されている。ＣＰＵ３１は、ＣＤ−ＲＯＭ３７に記憶されている制御プログラムをＣＤ−ＲＯＭドライブ３６で読み取り、ＨＤＤ３５にインストールする。これにより、メイン制御部１９は、後述するような各種の処理を行うことが可能な状態となる。
【００２０】
なお、記憶媒体としては、ＣＤ−ＲＯＭ３７のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブルディスクなどの各種磁気ディスク、半導体メモリ等、各種方式のメディアを用いることができる。また、インターネットなどのネットワークからプログラムをダウンロードし、ＨＤＤ３５にインストールするようにしてもよい。この場合に、送信側のサーバでプログラムを記憶している記憶装置も、この発明の記憶媒体である。なお、プログラムは、所定のＯＳ（Operating System）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、ワープロソフトなど所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００２１】
次に、メイン制御部１９に設けられたＣＰＵ３１が制御プログラムに基づいて実行する各種処理の内容について説明する。ここでは、ＣＰＵ３１が実行する処理のうち、本実施の形態のスキャナ部１が備える特長的な機能であるスキャン画像の補正機能を実現するスキャン画像の補正処理についてのみ説明する。すなわち、メイン制御部１９は読取画像補正装置として機能するものである。
【００２２】
図６は、スキャン画像の歪み補正処理の流れを概略的に示すフローチャートである。図７は、書籍原稿４０の見開き面をスキャナ部１で読み取る際の様子、図８は、その読み取り画像の一例、図９は、書籍原稿４０の見開き面を図示している。なお、ここでは、図７に示すように、書籍原稿４０がそのページ綴じ部４１とスキャナ部１の画像読み取りの主走査方向とが平行になるように位置させてコンタクトガラス２に載置されている場合を図示している。
【００２３】
そして、図６の処理は、書籍原稿を読み取った書籍画像について、地肌補正を行ない（ステップＳ１）、書籍画像中の書籍原稿の歪み形状を認識して、その歪み形状を補正するものである（ステップＳ２）。
【００２４】
まず、地肌補正処理について説明する（ステップＳ１）。
【００２５】
この処理は、書籍原稿４０の見開き面を読み取った読取画像を対象に、当該画像の全体的な情報から前記読取画像中の前記書籍原稿４０の平坦部の基準値を求め、この基準値に基づいて前記読取画像の地肌補正を行なうものである。
【００２６】
ここで、「読取画像の全体的な情報」とは、前述の特許文献１に開示の技術のような画像中のある局所的な情報ではなく、読取画像の全体の大局的な特定の情報である。この例では、例えば、読取画像全体の明度から（後述の地肌補正処理１，２の場合）、あるいは読取画像全体のＲ，Ｇ，Ｂの画素値から後述の地肌補正処理３の場合）、書籍原稿４０の平坦部の基準値を求める。
【００２７】
この点を具体的に説明する。すなわち、書籍原稿４０がスキャナ面２から離れる（綴じ部４１付近に近づく）にしたがって、画像の明度および彩度は低下し、一方、色相は、ほとんど変化しない。そこで、書籍の曲面部分の色補正は、低下した明度・彩度を書籍の平坦部分と同程度になるように強調することで可能になる。
【００２８】
入力画像中の各画素の色について、どの程度、明度・彩度を強調すればよいかについては、平坦部分における地肌色を検出し、その明度・彩度と一致するように補正する方法が考えられるが、この方法では、一般に地肌色は白あるいはクリーム色等の彩度の低い色である場合が多いため、曲面部分の彩度を十分に強調することができない。そこで、本実施の形態では「正規化明度プロフィール」という考えを導入し、それを用いた地肌補正方法を提案する。
【００２９】
［地肌補正処理１］
地肌補正処理のためには、以下の１．〜７．の処理を順次実行する。
【００３０】
１．読み取り画像の明度（Value）、彩度（Saturation）、色相（Hue）を求める
入力画像の赤、緑、青成分を用いて、各画素における明度（Value）、彩度（Saturation）、色相（Hue）の値を求める。
【００３１】
すなわち、各画素の座標（ｘ，ｙ）における赤、緑、青成分をＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）、明度、彩度、色相の値をＶ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｈ（ｘ，ｙ）とする。これらの値は、例えば、次のように求める。
【００３２】
Ｖ（ｘ，ｙ）＝０．３＊Ｒ（ｘ，ｙ）＋０．５９＊Ｇ（ｘ，ｙ）
＋０．１１＊Ｂ（ｘ，ｙ）
Ｃ１（ｘ，ｙ）＝Ｒ（ｘ，ｙ）−Ｖ（ｘ，ｙ）
Ｃ２（ｘ，ｙ）＝Ｂ（ｘ，ｙ）−Ｖ（ｘ，ｙ）
Ｈ（ｘ，ｙ）＝Tan−１（Ｃ１（ｘ，ｙ）／Ｃ２（ｘ，ｙ））
Ｓ（ｘ，ｙ）＝√（Ｃ１（ｘ，ｙ）２＋Ｃ２（ｘ，ｙ）２）
２．読み取り画像について有彩色、無彩色の判定を行なう
前述のＳ（ｘ，ｙ）と適当なしきい値Ｓｔ（例えば、＝１５）とを用いて、読み取り画像の各画素を、次のように有彩色または無彩色に分類する。
【００３３】
Ｓ（ｘ，ｙ）≦Ｓｔならば、無彩色である。
【００３４】
Ｓ（ｘ，ｙ）＞Ｓｔならば、有彩色である。
【００３５】
３．明度プロフィールを作成する
前述のＶ（ｘ，ｙ）を用いて、綴じ部４１に垂直な方向（図１０の点線方向、ｙ方向）に沿った明度プロフィールｖ（ｙ）を作成する。具体的には、
・各ｙにおけるＶ（ｘ，ｙ）の１次元画像Ｖ（ｘ）についてヒストグラムを求め、明るい方からＶｔ個（以上）の画素が存在する明度の範囲（v１〜ｖ２の範囲とする）を求める。ここで、Ｖｔの値は、例えば、“Ｖｔ＝（画像の幅の画素数）×０．１”とする。
【００３６】
・そして、ｖ１〜ｖ２の範囲について明度の平均値（図１１参照）を求め、それをｖ（ｙ）とする。これはラインごとの値である。
【００３７】
４．明度プロフィールの平滑化を行なう
前述の明度プロフィールｖ（ｙ）を、雑音除去のため平滑化する。
【００３８】
各ｙについて、ｙを中心にしたｖ（ｙ−ｎ）からｖ（ｙ+ｎ）の平均値をｖ（ｙ）の値にする（例えば、ｎ＝３）。これを数回繰り返す。
【００３９】
５．明度プロフィールから書籍原稿４０の平坦部分の明度を求める
具体的には、明度プロフィールｖ（ｙ）から平坦部分の明度を算出する。
【００４０】
・まず、ｖ（ｙ）の値（明度）についてのヒストグラムを作成する（図１２参照）。
【００４１】
・そして、最も頻度が高い明度が書籍原稿４０の平坦部分の明度（図１２参照）に対応することから、その明度を中心に、±Ｖｍ（例えば、Ｖｍ＝２）の範囲について明度の平均値を求め（図１３参照）、それを書籍原稿４０の平坦部の基準値となる明度Ｖflatとする。
【００４２】
６．正規化明度プロフィールを求める
正規化明度プロフィールｖｎ（ｙ）を以下の式で算出する。平坦部分の値を１．０とする比を明度プロフィール全体に乗じ、０〜１の範囲に正規化する。
【００４３】
ｖｎ（ｙ）＝ｖ（ｙ）／Ｖflat
７．地肌補正を行なう
各画素（ｘ，ｙ）について、次の処理を行なう。
【００４４】
・その画素（ｘ，ｙ）が有彩色の場合は、
Ｓ’（ｘ，ｙ）＝Ｓ（ｘ，ｙ）／ｖｎ（ｙ）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）／ｖｎ（ｙ）
として彩度と明度を補正し、Ｈ（ｘ，ｙ），Ｓ’（ｘ，ｙ），Ｖ’（ｘ，ｙ）から、Ｒ，Ｇ，Ｂの値を求める。
【００４５】
・その画素（ｘ，ｙ）が無彩色の場合は、
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）／ｖｎ（ｙ）
として明度のみ補正し、Ｈ（ｘ，ｙ），Ｓ’（ｘ，ｙ），Ｖ’（ｘ，ｙ）から、Ｒ，Ｇ，Ｂの値を求める。
【００４６】
［地肌補正処理２］
次に、地肌補正処理の他の例を地肌補正処理２として説明する。
【００４７】
この処理は、前述の地肌補正処理１とは異なり、有彩色／無彩色に分別せずに、Ｒ，Ｇ，Ｂ値を直接補正するものである。これは、次の１．〜６．の処理を順次実行する。
【００４８】
１．明度（Value）を求める
入力画像の赤、緑、青成分を用いて、各画素における明度（Value）の値を求める。
【００４９】
まず、各画素の座標（ｘ，ｙ）における赤、緑、青成分をＲ（ｘ，ｙ），Ｇ（ｘ，ｙ）,Ｂ（ｘ，ｙ）、明度の値をＶ（ｘ，ｙ）とする。
【００５０】
明度の値をＶ（ｘ，ｙ）は、例えば、
Ｖ（ｘ，ｙ）＝０．３＊Ｒ（ｘ，ｙ）＋０．５９＊Ｇ（ｘ，ｙ）
＋０．１１＊Ｂ（ｘ，ｙ）
として求められる。
【００５１】
なお、グレースケール画像の場合は、画素値そのものをＶ（ｘ，ｙ）として扱い、処理を行う。
【００５２】
２．明度プロフィールを作成する
前述のＶ（ｘ，ｙ）を用いて、綴じ部４１に垂直な方向（図１０の点線方向、ｙ方向）に沿った明度プロフィールｖ（ｙ）を作成する。具体的には、
・各ｙにおけるＶ（ｘ，ｙ）の１次元画像Ｖ（ｘ）についてヒストグラムを求め、明るい方からＶｔ個（以上）の画素が存在する明度の範囲（v１〜ｖ２の範囲とする）を求める。ここで、Ｖｔの値は、例えば、“Ｖｔ＝（画像の幅の画素数）×０．１”とする。
【００５３】
・そして、ｖ１〜ｖ２の範囲について明度の平均値（図１１参照）を求め、それをｖ（ｙ）とする。これはラインごとの値である。
【００５４】
３．明度プロフィールの平滑化を行なう
前述の明度プロフィールｖ（ｙ）を、雑音除去のため平滑化する。
【００５５】
各ｙについて、ｙを中心にしたｖ（ｙ−ｎ）からｖ（ｙ+ｎ）の平均値をｖ（ｙ）の値にする（例えば、ｎ＝３）。これを数回繰り返す。
【００５６】
４．明度プロフィールから書籍原稿４０の平坦部分の明度を求める
具体的には、明度プロフィールｖ（ｙ）から平坦部分の明度を算出する。
【００５７】
・まず、ｖ（ｙ）の値（明度）についてのヒストグラムを作成する。
【００５８】
・そして、最も頻度が高い明度が書籍原稿４０の平坦部分の明度に対応することから、その明度を中心に、±Ｖｍ（例えば、Ｖｍ＝２）の範囲について明度の平均値を求め、それを書籍原稿４０の平坦部の基準値となる明度Ｖflatとする。
【００５９】
５．正規化明度プロフィールを求める
地肌補正を行なうための基準値となる正規化明度プロフィールｖｎ（ｙ）を以下の式で算出する。平坦部分の値を１．０とする比を明度プロフィール全体に乗じ、０〜１の範囲に正規化する。
【００６０】
ｖｎ（ｙ）＝ｖ（ｙ）／Ｖflat
６．地肌補正を行なう
これは、各画素（ｘ，ｙ）について、Ｒ，Ｇ，Ｂの値を直接補正する。
【００６１】
すなわち、
Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）／ｖｎ（ｙ）
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／ｖｎ（ｙ）
Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）／ｖｎ（ｙ）
により、Ｒ，Ｇ，Ｂの値の補正値Ｒ’，Ｇ’，Ｂ’を求める。
【００６２】
この地肌補正処理２では、前述した地肌補正処理１とは異なり、Ｖ（ｘ，ｙ）のみを求めればよく、有彩色、無彩色の分類処理は必要ないため、処理速度を向上させ、処理に必要なメモリ容量を低減できるという利点がある。
【００６３】
［地肌補正処理３］
次に、地肌補正処理の他の例を地肌補正処理３として説明する。
【００６４】
この処理は、前述の地肌補正処理１，２とは異なり、画素値Ｒ，Ｇ，Ｂの各画像について、直接正規化（Ｒ，Ｇ，Ｂ）プロフィールを求め、それを用いて、対応するＲ，Ｇ，Ｂ画像の補正を行うものである。これは、次の１．〜６．の処理を順次実行する。
【００６５】
１．画素値のプロフィールを作成する
Ｒ，Ｇ，Ｂの各画素値について、各１次元画像における画素値の最大値（ヒストグラムを求め、値の大きい方から、ｐ％の画素値の平均値）を求め、それをｒ（ｙ），ｇ（ｙ），ｂ（ｙ）とする。
【００６６】
なお、グレースケール画像の場合は、画素値そのものをｇ（ｙ）として扱い、同様の処理を行う。
【００６７】
２．画素値のプロフィールの平滑化を行なう
前述のプロフィールｒ（ｙ），ｇ（ｙ），ｂ（ｙ）を、雑音除去のため平滑化する。各yについて、yを中心にしたｒ（ｙ−ｎ）からｒ（ｙ＋ｎ），ｇ（ｙ−ｎ）からｇ（ｙ＋ｎ）,ｂ（ｙ−ｎ）からｂ（ｙ＋ｎ）の平均値をｒ（ｙ），ｇ（ｙ），ｂ（ｙ）の値にする（例えば、ｎ＝３）。これを数回繰り返す。
【００６８】
３．画素値のプロフィールから書籍原稿４０の平坦部分の明度を求める
プロフィールｒ（ｙ），ｇ（ｙ），ｂ（ｙ）から書籍原稿４０の平坦部分を算出する。
【００６９】
・まず、ｒ（ｙ），ｇ（ｙ），ｂ（ｙ）についてのヒストグラムを作成する。
【００７０】
・最も頻度が高い値が書籍原稿４０の平坦部分に対応することから、その値を中心に、±mの範囲（例えば、ｍ＝２）について平均値を求め、それを書籍原稿４０の平坦部の基準値ｒflat，ｇflat，ｂflatとする。
【００７１】
４．正規化プロフィールを求める
正規化プロフィールｐｒ（ｙ），ｐｇ（ｙ），ｐｂ（ｙ）を以下の式で算出する。書籍原稿４０の平坦部分の値を１．０とする比をプロフィール全体に乗じ、０〜１の範囲に正規化する。
【００７２】
ｐｒ（ｙ）＝ｒ（ｙ）／ｒflat
ｐｇ（ｙ）＝ｇ（ｙ）／ｇflat
ｐｂ（ｙ）＝ｂ（ｙ）／ｂflat
５．地肌補正を行なう
各画素（ｘ，ｙ）について、Ｒ，Ｇ，Ｂの値を直接補正する。
【００７３】
Ｒ’（ｘ，ｙ）＝Ｒ（ｘ，ｙ）／ｐｒ（ｙ）
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）／ｐｇ（ｙ）
Ｂ’（ｘ，ｙ）＝Ｂ（ｘ，ｙ）／ｐｂ（ｙ）
以上説明した地肌補正処理３では、地肌補正処理１，２と異なり、Ｖ（ｘ，ｙ），Ｓ（ｘ，ｙ），Ｈ（ｘ，ｙ）を求める必要がなく、有彩色、無彩色の分類処理も必要無いため、処理速度の向上、処理に必要なメモリ容量の低減という点で利点がある。
【００７４】
次に、書籍原稿４０の読取画像データについて、前述の地肌補正処理１〜３を実行するための具体的な処理の例について説明する。
【００７５】
［処理例１］
まず、図１４に示すように、読取画像を、書籍原稿４０の綴じ部４１の長さ方向（ｘ軸方向）に複数の領域Ｌに分割し（すなわち、ｙ軸方向を長さ方向とするラインで分割し）、この各領域Ｌに対して、地肌補正処理１，２，又は３を実行する。なお、図１４の例では、ｘ軸方向の分割は５分割している。
【００７６】
この例は、スキューしている、あるいは、「ハの字」配置にある書籍画像４０に有効である。このような処理によれば、読取画像のｘ軸方向において、画像の地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、ｘ軸方向に対して画像を分割し、それぞれの部分画像にてプロフィールを求め、補正を行う方法が有効である。
【００７７】
［処理例２］
まず、図１５に示すように、読取画像を、書籍原稿４０の綴じ部４１の長さ方向と垂直な方向（ｙ軸方向）に複数の領域Ｌに分割し（すなわち、ｘ軸方向の長さ方向とするラインで分割し）、この各領域Ｌに対して、地肌補正処理１，２，又は３を実行する。なお、図１５の例では、ｙ軸方向の分割は、綴じ部４１の線の上下で２分割している。
【００７８】
この処理では、見開きの両ページがそれぞれ異なる地肌色の書籍原稿４０に対するもので、左右又は上下の両ページで地肌色が異なるために、画像のｙ軸（垂直）方向において、地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、ｙ軸方向に対して画像を分割し、それぞれの領域Ｌにおいてプロフィールを求め、補正を行うものである。
【００７９】
具体的には、次の１．２．の処理による。
【００８０】
１．入力書籍画像において、綴部４１の両端の位置を検出する（綴部４１の直線を求める）。この位置の検出については、書籍原稿４０のページ外形の検出処理（一番内側に入り込んでいる箇所を検出する）、画像中央部の濃度（一番濃い箇所）、または、明度の変化を利用することで検出が可能である。
【００８１】
具体的には、例えば、図４２に示すように、ページ外形頂点検出処理を行なう。この処理は、ページ外形の主走査方向の座標値が最も内部に食い込んでいる座標をページ外形頂点とするものである。より具体的には、図１８に示すように、上辺のページ外形の頂点についてはその主走査方向（図１８中、ｙ方向）の座標値が最小の点をページ外形頂点とし、下辺のページ外形の頂点についてはその主走査方向の座標値が最大の点をページ外形頂点とする。
【００８２】
２．上記で求められた直線によって入力画像を上下に分割し、地肌補正を行う。
【００８３】
［処理例３］
この処理は、処理例１と２を組み合わせるものであり、図１６に示すように、書籍原稿４０の綴じ部４１の長さ方向（ｘ軸方向）、綴じ部４１の長さ方向と垂直な方向（ｙ軸方向）に、それぞれ複数の領域Ｌに複数に分割し、この各領域Ｌに対して、地肌補正処理１，２，又は３を実行する。なお、図１６の例では、ｘ軸方向の分割は５分割し、ｙ軸方向の分割は綴じ部４１の線の上下で２分割している。
【００８４】
この処理は、スキューしている、あるいは、「ハの字」配置にある書籍原稿４０であり、かつ、左右又は上下のページがそれぞれ異なる地肌色の書籍原稿４０に対するものある。書籍原稿４０が、スキューおよび「ハの字」配置、上下のページで地肌色が異なるという理由から、画像のｘ，ｙ軸方向において、地肌色のプロフィールが変化しているため、同一のプロフィールを用いて補正するのではなく、ｘ，ｙ軸の両方向に対して画像を分割し、それぞれの部分画像にてプロフィールを求め、補正を行う方法が有効である。
【００８５】
次に、図６の処理において、書籍画像中の書籍原稿４０の歪み形状を認識して、その歪み形状を補正する処理について説明する（ステップＳ２）。
【００８６】
図１７は、ステップＳ２の概要を説明するフローチャートである。ステップＳ２の処理は、書籍画像中の書籍原稿４０についてページ外形／罫線／文字行の抽出処理を行い（ステップＳ１１）、書籍画像中の書籍原稿４０の画像歪み補正処理を行なう（ステップＳ１２）ものである。
【００８７】
まず、ステップＳ１１においては、ページ外形／罫線／文字行の抽出処理を実行する。ここで、図１８は、ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【００８８】
［スキャン画像からのページ外形の抽出］
まず、ステップＳ４１におけるスキャン画像からのページ外形の抽出処理について説明する。ここで、図１９は上端にページ外形が存在するスキャン画像の一例を示す説明図、図２０は図１９に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。図２０に示すヒストグラムのｘ軸はスキャン画像の主走査方向（図１９の上下方向）を示すものであり、スキャン画像の上端はヒストグラムの左端に対応付けられている。なお、ページ外形が下端に存在するスキャン画像の場合には、スキャン画像の下端がヒストグラムの右端に対応付けられることになる。したがって、図１９に示すようにスキャン画像の上端にページ外形が存在する場合、スキャン画像の上部に黒い帯が現れることから、図２０に示すヒストグラムの左端には高い縦棒が現れることになる。本実施の形態では、このような特性を利用して、スキャン画像にページ外形が存在するか否かの判断を行う。
【００８９】
より具体的には、図２０に示すように、綴じ部境界線からスキャン画像の左端（図１９の左端）までの距離ＡＯ、ヒストグラム縦棒の高さＢＯとし、その比率を下記に示す式（１）により算出し、
【００９０】
【数１】
2005348103.tif 000003
【００９１】
算出された比率ｋが、予め定められた閾値よりも大きい場合に、スキャン画像にページ外形が存在すると判断する。
【００９２】
なお、スキャン画像の上下にページ外形が存在する場合には、ヒストグラムの左右両端に高い縦棒が現れることになるので、このような場合には、ヒストグラムの左右両端の高い縦棒に基づいてスキャン画像にページ外形が存在するか否かの判断がそれぞれ実行される。
【００９３】
以上の処理により、スキャン画像にページ外形が存在すると判断された場合には、左右ページの上下辺のいずれにページ外形が存在しているのかという情報とともにページ外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【００９４】
なお、このスキャン画像にページ外形が存在するか否かの判断処理は、スキャン画像の綴じ部境界線を境にした左右ページ毎に実行される。
【００９５】
［スキャン画像からの罫線の抽出］
続くステップＳ４２においては、スキャン画像からの罫線の抽出処理を実行する。ステップＳ４２におけるスキャン画像からの罫線の抽出処理について説明する。
【００９６】
［罫線候補の検出］
ここで、図２１は罫線が存在するスキャン画像の一例を示す説明図である。本実施の形態では、罫線の矩形抽出を導入し、図２１に示すようなスキャン画像に存在する罫線を１つの矩形として抽出する。なお、詳細については後述するが、ただ単に矩形抽出を行うだけでは罫線が単独で抽出できない場合もあるために、本実施の形態では、ランの登録に制限を設けた矩形抽出を行う。
【００９７】
図２２は、２値化した画像に矩形抽出を施した結果を示す説明図である。図２２に示すように、黒画素が連結している箇所が１つの矩形として抽出される。図２２に示すように、罫線が存在していれば、副走査方向に細長い矩形として抽出されることから、細長い矩形の有無や抽出した矩形の形状（長さ・縦横比）や位置を基に罫線の有無の判定を行う。
【００９８】
ただし、ただ単に矩形抽出を行うだけでは、罫線が単独で抽出できない場合もある。図２３に示すように、罫線がノイズと接触している場合、ノイズを含む矩形が抽出されてしまう。また、図２４のような表が含まれる画像の場合は、副走査方向の罫線は主走査方向の罫線と交差するため、表全体が１つの矩形として抽出され罫線が単独で抽出できない。
【００９９】
［ランの登録に制限を設けた矩形抽出］
そこで、罫線を単独で抽出するために、ランの登録に制限を設けた矩形抽出を行う。図２３に示すような罫線とノイズが接触している画像に対して、主走査方向（垂直方向）に一定値未満のランのみを登録し矩形を抽出すると、図２５に示すように罫線を構成する黒画素は登録対象のランとなるが、ノイズを構成する黒画素はランとして登録されない。罫線を構成する黒画素を対象として矩形抽出を行うため、罫線を単独で抽出することができる。
【０１００】
なお、罫線を矩形抽出するにあたって、副走査方向（水平方向）に長いランのみを対象に矩形抽出を行う方法もあるが、この方法だと綴じ部付近の歪み部分は矩形内に含まれない。ところが、本実施の形態の方式を用いることにより、罫線の綴じ部付近の歪み部分も矩形内に含めることが可能となり、より正確な罫線の位置や長さを検出することが出来る。
【０１０１】
［矩形統合］
表など、副走査方向（水平方向）の罫線と主走査方向（垂直方向）の罫線とが交差している画像に矩形抽出を行うと、主走査方向の罫線はランとして登録されないため、副走査方向に矩形が細切れに抽出されてしまう。すると、図２６に示すように、副走査方向に長い罫線があるにもかかわらず、その罫線は１つの矩形として抽出されず、複数の細切れの矩形となって抽出される。
【０１０２】
そこで、矩形統合を行う。副走査方向における距離が一定値以下の矩形同士を統合する。図２７は、矩形統合を施した例である。矩形統合は、図２７に示すように、細切れになっていた矩形を１つの矩形に統合し、罫線の矩形を抽出するものである。この矩形統合は、かすれた罫線や点線の罫線に対して行っても、罫線全体が１つの矩形として抽出されるため有効な方法である。
【０１０３】
［最適罫線の選択］
次いで、一定値未満のランのみを登録した矩形抽出を行い、副走査方向に細長い矩形の有無にて罫線の有無を判定する。このような罫線の有無の判定は、画像の左上・左下・右上・右下の４箇所それぞれにおいて行う。例えば、図２８に示す画像の場合、左上にのみ罫線が存在しないということになる。ある箇所にて複数罫線が存在する場合は、補正に利用する罫線を以下の優先順位で決定する。
【０１０４】
１．綴じ部付近まで食い込んでいる罫線
例えば、図２８に示す画像の右下の場合、綴じ部付近まで食い込んでいる罫線が補正に利用される。
【０１０５】
２．長さが長い方の罫線
例えば、図２８に示す画像の右上の場合、双方の罫線は綴じ部付近まで食い込んでいるため、長さが長い方の罫線が補正に利用される。
【０１０６】
３．位置が外側の罫線
例えば、図２８に示す画像の左下の場合、双方の罫線は綴じ部付近まで食い込んでいて、なおかつ、長さがほぼ同じため、画像の外側に位置する罫線が補正に利用される。
【０１０７】
［最適罫線の座標値検出］
以上のようにして最適罫線を選択した後、各罫線の座標値を検出する。罫線の位置座標は、抽出された矩形の座標から得ることができる。なお、特殊な例として、副走査方向に細長い矩形の位置が画像の上端や下端に接している場合は、その矩形がノイズである可能性を考慮して、罫線とはみなさないものとする。また、左右のページそれぞれで細長い矩形が抽出された場合（例えば、左上と右上、左下と右下）、画像によっては、綴じ部をまたがる形で左右ページの矩形が統合されることがある。すると、水平方向画像全体に細長い矩形が抽出されることから、抽出された矩形にそのような特徴が見られた場合は、綴じ部位置を境にその矩形を分割する。
【０１０８】
以上の処理により、スキャン画像に罫線が存在すると判断された場合には、左右各ページのいずれの位置に罫線が存在しているのかという情報とともに罫線を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１０９】
［スキャン画像からの文字行の抽出］
続くステップＳ４３においては、スキャン画像からの文字行の抽出処理を実行する。ステップＳ４３におけるスキャン画像からの文字行の抽出処理について説明する。本実施の形態においては、まず、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別を行う。
【０１１０】
［文字行の判別］
スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別手法について説明する。ここで、図２９は図８に示した画像の副走査方向の黒白反転数ヒストグラムである。図２９中の横軸は、副走査方向（左右方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の主走査方向上での位置を示し、図２９中の縦軸は、その位置毎の黒画素数を示すものである。また、図３０は図８に示した画像の主走査方向の黒白反転数ヒストグラムである。図３０中の横軸は、主走査方向（上下方向）の黒画素（スキャン画像を黒白反転させた画素の中でその濃度値が予め定めた濃度値よりも濃い画素）の副走査方向上での位置を示し、図３０中の縦軸は、その位置毎の黒画素数を示すものである。画像中の文字が横書きの図８に示したようなスキャン画像の場合、図２９に示すような副走査方向のヒストグラムは激しく変化するが、図３０に示すような主走査方向のヒストグラムの変化は少ない。また、特に図示しないが、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムは激しく変化するが、副走査方向のヒストグラムの変化は少ない。
【０１１１】
上述したような判別手法は、具体的には下記に示す各式により実現される。まず、下記に示す式（２）により、
【０１１２】
【数２】
2005348103.tif 000004
【０１１３】
主走査方向ｙの位置でのヒストグラム値Pnt（ｙ）の平均値meanＨが算出される。ここで、heightは画像の高さである。
そして、下記に示す式（３）により、
【０１１４】
【数３】
2005348103.tif 000005
【０１１５】
副走査方向のヒストグラムの主走査方向に関する分散σＨが得られる。
同様に、下記に示す式（４）により、
【０１１６】
【数４】
2005348103.tif 000006
【０１１７】
副走査方向ｘの位置でのヒストグラム値Pnt（ｘ）の平均値meanＶが算出される。ここで、widthは画像の幅である。
そして、下記に示す式（５）により、
【０１１８】
【数５】
2005348103.tif 000007
【０１１９】
主走査方向のヒストグラムの副走査方向に関する分散σｖが得られる。
【０１２０】
上述したようにスキャン画像中の文字行が横書き文字行である場合には、副走査方向のヒストグラムの主走査方向に関する分散σＨが、主走査方向のヒストグラムの副走査方向に関する分散σｖより大きい。逆に、スキャン画像中の文字行が縦書き文字行である場合には、主走査方向のヒストグラムの副走査方向に関する分散σｖが、副走査方向のヒストグラムの主走査方向に関する分散σＨより大きい。つまり、分散σＨと分散σｖとの比較により、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別が可能になっている。
【０１２１】
なお、スキャン画像中の文字行が縦書き文字行なのか、横書き文字行なのかの判別に、黒白反転数ヒストグラムを用いたのは、文字行と写真部分との混同を避けるためである。一般に、黒画素ヒストグラムの値が同程度の場合、文字領域のほうが写真領域よりも黒白反転数ヒストグラムの値が大きくなるからである。
【０１２２】
［横書き文字行の座標検出］
以上のようにして文字行を判別した後、まず、各横書き文字行の座標を検出する。横書き文字行の座標の検出にあたっては、文字単位の外接矩形抽出処理を行うとともに、横書き文字行の抽出処理を行う。なお、文字認識処理については周知の技術であるので、その説明は省略する。ここで、スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を図３１に示す。そして、各文字の外接矩形の中心点の座標をその文字の座標とみなし、横書き文字行の座標を検出する。
【０１２３】
［最適横書き文字行の選択］
次に、抽出した横書き文字行の中から歪み補正に最適な横書き文字行を選択する。複数の横書き文字行が検出される場合、どの横書き文字行を用いて歪み補正するかを選択する必要がある。最適な横書き文字行の選択基準の一例としては、前述した最適な罫線の選択基準と基本的に同様であって、図３２に示すように横書き文字行の長さＢＣが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内（図３２の網掛け領域）に横書き文字行の一部Ｃがかかっていることを条件とし、その中で上下何れかのページ外形に最も近い横書き文字行を選択するようにする。ここで、Ｂは文字行の一番左の矩形の中心であり、Ｃは一番右の矩形の中心である。なお、最適な横書き文字行の選択は、左右ページから各１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良いし、左右ページをさらに上下部分に分け、その各４ブロックにおいて１本ずつのページ外形に最も近い横書き文字行を選択するものであっても良い。
【０１２４】
なお、上記２条件（横書き文字行の長さが予め定められた閾値より長く、かつ、綴じ部境界線を挟んだ左右の一定幅領域内に横書き文字行の一部がかかっている）については、その両方ではなく何れか一方のみを満足するものであっても良い。また、選択基準として上例では「ページ外形に最も近い」を用いているが、これに限るものではなく、「横書き文字行の湾曲が最も大きい」を用いても良い。ここで、「横書き文字行の湾曲」は横書き文字行の両端の文字外接矩形の中心座標の主走査方向の座標値の差で表すものとする。
【０１２５】
［最適横書き文字行の座標値の決定］
最適な横書き文字行が選択された場合には、横書き文字行の（主走査方向の）座標値を決定する。横書き文字行の（主走査方向の）座標値は、横書き文字行内の各文字外接矩形の中心点を連結し、直線部分と曲線部分とを近似して抽出することにより横書き文字行の（主走査方向の）座標値を決定することになる。より詳細には、図３２に示すＤは綴じ部境界線であり、ＢＤの間は多項式近似曲線で（主走査方向の）座標値を推定し、一番左端のＡとＢとの間は近似直線の値で（主走査方向の）座標値を推定する。
【０１２６】
［不適切な横書き文字行の排除］
最後に不適切な横書き文字行を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような横書き文字行を排除するものである。不適切な近似曲線形状の例としては、前述した罫線の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１２７】
なお、推定曲線の形状が不適切であるとして横書き文字行を排除した場合には、再び最適な横書き文字行を選択し、上記の処理を繰り返すことになる。
【０１２８】
以上の処理により、スキャン画像に横書き文字行が存在すると判断された場合には、左右各ページのいずれの位置に横書き文字行が存在しているのかという情報とともに横書き文字行を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１２９】
［縦書き文字行に基づく横書き文字行の抽出］
次に、各縦書き文字行から横書き文字行を抽出する。
【０１３０】
図３３は、各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。図３３に示すように、まず、縦書き文字行の行切り出し矩形を抽出する（ステップＳ２０１）。なお、縦書き文字行の行切り出し矩形の抽出処理は、ＯＣＲ等で一般に用いられている周知の技術をそのまま利用することができるので、その説明は省略する。図３４は、抽出した行切り出し矩形を例示的に示す説明図である。
【０１３１】
次いで、縦書き文字行の先頭（もしくは末尾）のｙ座標が最大（もしくは最小）の縦書き文字行を抽出し、さらに、そこから予め定めた距離範囲内に先頭（もしくは末尾）が存在する縦書き文字行を抽出する（ステップＳ２０２）。より具体的には、図３４に示した例においては、図３５に示すように、縦書き文字行の先頭文字のｙ座標が最大の縦書き文字行はＡで示した縦書き文字行である。そして、その先頭位置から予め定めた距離範囲ｈ内に存在する行先頭文字は、図３５中、黒丸“●”で示した文字である。すなわち、黒丸“●”で示す文字を含む縦書き文字行のみを抽出し、それ以外の縦書き文字行Ｂ，Ｃは除外する。なお、ｈはスキャン画像の解像度によって定められる定数である。
【０１３２】
次に、抽出した縦書き文字行の先頭（もしくは末尾）のｙ座標に関してヒストグラムを構成する（ステップＳ２０３）。図３６では、ページの左端に近い縦書き文字行Ｄを基準行とし、その先頭のｙ座標（ｙＤ）を基準座標としている。以後、ｙＤに対して一定幅ｄ（例えば抽出した縦書き文字行の平均幅の１／２）の範囲内に先頭が存在する縦書き文字行の数を、ｙＤに関するヒストグラムの値とする。図３６では、ｙＤを示す直線を上下に挟む点線の範囲内に先頭が存在する縦書き文字行がその対象となる。したがって、ページの左端に近い縦書き文字行Ｄの右隣の縦書き文字行Ｅは、その範囲外である。このように、既存の基準座標の対象範囲に先頭が含まれない縦書き文字行が出現した場合は、その縦書き文字行を新たな基準行とし、その先頭座標を新たな基準座標（ここでは、ｙＥ）とする。また、縦書き文字行Ｅの右隣の縦書き文字行Ｆの行先頭座標はｙＤの対象範囲に含まれるので、新たな基準座標を設けることなく、ｙＤに関するヒストグラムの値を１だけカウントアップする。
【０１３３】
以下、同様の処理を綴じ部境界線に向かって続けて行く。その結果、図３６に示す例では、ｙＤの対象範囲に含まれる縦書き文字行は斜線を施した矩形で囲まれた７つで、ｙＥの対象範囲に含まれる縦書き文字行は網掛けを施した矩形で囲まれた４つとなる（これら以外の矩形で囲まれた縦書き文字行に関しても、基準行、基準座標と対象範囲がそれぞれ定められるが、図３６では省略している）。なお、ｙＤの対象範囲には本来無関係であるべき縦書き文字行Ｇも含まれているが、次のステップＳ２０４にてこれは除外される。
【０１３４】
続いて、ステップＳ２０３にて構成したヒストグラムの中で、最大の値に対応する基準行の対象範囲に含まれる縦書き文字行の中で、最もページの左端（もしくは右端）にある縦書き文字行（基準行）を開始行として、綴じ部境界線へ向かって、先頭（もしくは末尾）のｙ座標が近接した縦書き文字行を抽出する（ステップＳ２０４）。図３６では、基準座標ｙＤの対象範囲に含まれる文字行が７つと最大であったので、その中の左端の縦書き文字行Ｄを開始行とし、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出していく。
【０１３５】
ところで、開始行（縦書き文字行Ｄ）から綴じ部境界線へ向かって先頭のｙ座標が近接した縦書き文字行を抽出する際には、画像の歪みを生じていない部分と歪みを生じている部分とで処理内容を切り替える。
【０１３６】
まず、画像の歪みを生じていない部分における処理について図３７を参照しつつ説明する。画像の歪みを生じていない部分では、着目行Ｈを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の正方向（図３７中、上方へ向かう方向）に関して、着目行Ｈの先頭位置から一定範囲内ｂ１（例えば平均文字行幅の１／２）に抽出する縦書き文字行の先頭が存在すること
２．ｙ座標の負方向（図３７中、下方へ向かう方向）に関して、着目行Ｈの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ２／ａ１）で表している）の範囲内に抽出する縦書き文字行の先頭が存在すること
すなわち、着目行Ｈの次の縦書き文字行Ｉの先頭は上記の範囲外なので除外することになるが、さらに次の縦書き文字行Ｊの先頭は範囲内に存在するので抽出することになる。以下、縦書き文字行Ｊを新たな着目行として同様の処理を続ける。
【０１３７】
次に、画像の歪みを生じている部分における処理について図３８を参照しつつ説明する。画像の歪みを生じている部分では、着目行Ｌを基準として、次の２条件を満足する縦書き文字行を抽出する。
１．ｙ座標の負方向（図３８中、下方へ向かう方向）に関して、着目行Ｌの先頭位置から見てｘ座標の正方向（綴じ部境界線へ向かう方向）に対して予め定めた一定角度（ここでは、角度を直線の傾き（ｂ３／ａ２）で表しているが、歪みを生じている部分では基本的にページの内側へ文字行の先頭が食い込んでいくのを考慮して、ｂ２／ａ１＜ｂ３／ａ２とする）の範囲内に抽出する縦書き文字行の先頭が存在すること
２．着目行Ｌの先頭位置と抽出する縦書き文字行の先頭位置を結ぶ直線の傾き（ｂ４／ａ２）が、着目行Ｌの先頭位置と直前の抽出行Ｋの先頭位置を結ぶ直線の傾き（ｂ５／ａ３）から一定値αを引いた値よりも大きい。すなわち、“ｂ４／ａ２＞ｂ５／ａ３−α”を満足すること（基本的には、“ｂ４／ａ２＞ｂ５／ａ３”で良いが、誤差を考慮して一定値αを導入する。一定値αは予め定めた値である）
すなわち、着目行Ｌの次の縦書き文字行Ｍの先頭はこの条件外なので除外することになるが、さらに次の縦書き文字行Ｎの先頭は条件を満足するので抽出することになる。以下、縦書き文字行Ｎを新たな着目行として同様の処理を続ける。
【０１３８】
さて、ここで問題となるのは、歪みを生じていない部分と歪みを生じている部分をいかに識別するかであるが、これは次のように行っている。すなわち、着目行と次の抽出行の先頭のｙ座標をそれぞれｙＣ，ｙＮとすると、“ｙＮ−ｙＣ”が一定値（例えば、平均文字行幅の１／４）以上となれば、それ以降を歪みを生じている部分とする。
【０１３９】
以上の方法により図３６から抽出した縦書き文字行を、図３９において斜線を施した矩形で囲んで示す。
【０１４０】
最後に、抽出した縦書き文字行の先頭（もしくは末尾）の位置座標に関する近似曲線多項式を算出する（ステップＳ２０５）。抽出した各縦書き文字行の行切り出し矩形の先頭を連結して外形を形成する場合には、図４０に示すように、連結する各縦書き文字行の行切り出し矩形の上辺中心点に基づき、抽出した縦書き文字行の先頭の位置座標に関する近似曲線多項式を算出する。また、抽出した各縦書き文字行の行切り出し矩形の末尾を連結して外形を形成する場合には、図４０に示すように、連結する各縦書き文字行の行切り出し矩形の下辺中心点に基づき、抽出した縦書き文字行の末尾の位置座標に関する近似曲線多項式を算出する。
【０１４１】
なお、最後に不適切な縦書き文字行の外形を排除する。これは、前述したように多項式近似により座標値を推定する際に、多項式近似による推定曲線の形状が不適切である場合には補正の際にかえって歪みが増大する恐れがあるので、このような縦書き文字行の外形を排除するものである。不適切な近似曲線形状の例としては、前述した罫線や横書き文字行の場合と同様であって、特に図示しないが、曲線が書籍の外側へ向かうような場合や、中心線を超えて大きく内側へ食い込むような場合である。
【０１４２】
なお、推定曲線の形状が不適切であるとして縦書き文字行の外形を排除した場合には、歪み補正用の縦書き文字行の外形は無いということになる。
【０１４３】
以上の処理により、スキャン画像に縦書き文字行の外形が存在すると判断された場合には、左右各ページのいずれの位置に縦書き文字行の外形が存在しているのかという情報とともに縦書き文字行の外形を抽出し、ＲＡＭ３３に一時的に記憶する。
【０１４４】
なお、以下においては、横書き文字行及び縦書き文字行の外形を文字行として扱うものとする。
【０１４５】
以上、ステップＳ４１〜Ｓ４３の処理により、ページ外形／罫線／文字行の抽出処理（ステップＳ１１）が終了する。
【０１４６】
続くステップＳ１２（図１７参照）においては、画像歪み補正処理を実行する。画像歪み補正処理は、図４１に示すように、概略的には、歪み補正（伸長）に際しての基準となる線（基準線）としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行の何れかを選択する処理（ステップＳ５１：基準線選択処理）、基準線に対応するものであって補正率（伸長率）の算出用の参照線としてスキャン画像の上辺（もしくは下辺）の近傍に位置するページ外形／罫線／文字行の何れかを選択する処理（ステップＳ５２：参照線選択処理）、基準線が罫線や文字行の場合に、基準線より下部の画像情報の欠落を最小限にするための仮想的なページ外形を算出する処理（ステップＳ５３：仮想ページ外形算出処理）、仮想的なページ外形に基づいてスキャン画像に伸長処理を施して主走査方向の歪みを補正する処理（ステップＳ５４：主走査方向歪み補正処理）、補正画像の文字外接矩形に基づいてスキャン画像に伸長処理を施して副走査方向の歪みを補正する処理（ステップＳ５５：副走査方向歪み補正処理）により構成されている。このステップＳ１２の処理については公知であるため、詳細な説明は省略する（その詳細については、特開2003-69807公報等を参照）。
【図面の簡単な説明】
【０１４７】
【図１】本発明の実施の一形態のスキャナ部の構成を示す縦断正面図である。
【図２】スキャナ部を搭載したデジタル複写機の上部部分を示す斜視図である。
【図３】スキャナ部の制御系の電気的な接続を示すブロック図である。
【図４】画像処理部の基本的な内部構成を示すブロック図である。
【図５】メイン制御部の電気的な接続を示すブロック図である。
【図６】スキャン画像の補正処理の流れを概略的に示すフローチャートである。
【図７】スキャナ部のコンタクトガラス上に書籍原稿を載置した状態を示す斜視図である。
【図８】入力した画像の一例を示す平面図である。
【図９】スキャン画像のページ綴じ部の近傍の歪みを示す説明図である。
【図１０】地肌除去処理の明度プロフィールの作成についての説明図である。
【図１１】地肌除去処理の明度プロフィールの作成についての説明図である。
【図１２】地肌除去処理の明度プロフィールから書籍原稿の平坦部分の明度を求める処理についての説明図である。
【図１３】地肌除去処理の明度プロフィールから書籍原稿の平坦部分の明度を求める処理についての説明図である。
【図１４】処理例１の説明図である。
【図１５】処理例２の説明図である。
【図１６】処理例３の説明図である。
【図１７】読取画像の歪み補正処理の流れを概略的に示すフローチャートである。
【図１８】ページ外形／罫線／文字行の抽出処理の流れを概略的に示すフローチャートである。
【図１９】上端にページ外形が存在するスキャン画像の一例を示す説明図である。
【図２０】図１２に示したスキャン画像の綴じ部境界線左側の黒画素ヒストグラムである。
【図２１】長い罫線が存在するスキャン画像の一例を示す説明図である。
【図２２】２値化した画像に矩形抽出を施した結果を示す説明図である。
【図２３】罫線がノイズと接触している場合を示す説明図である。
【図２４】表が含まれる画像を示す説明図である。
【図２５】一定値未満のランのみを登録し矩形を抽出した結果を示す説明図である。
【図２６】副走査方向に矩形が細切れに抽出されてしまう場合を示す説明図である。
【図２７】矩形統合を施した例を示す説明図である。
【図２８】矩形抽出を行った結果を示す説明図である。
【図２９】図８に示した画像の副走査方向の黒白反転数ヒストグラムである。
【図３０】図８に示した画像の主走査方向の黒白反転数ヒストグラムである。
【図３１】スキャン画像の文字外接矩形抽出処理および文字行抽出処理の結果の一例を示す説明図である。
【図３２】最適な横書き文字行の選択を示す説明図である。
【図３３】各縦書き文字行からの横書き文字行の抽出処理の流れを概略的に示すフローチャートである。
【図３４】抽出した行切り出し矩形を例示的に示す説明図である。
【図３５】予め定めた距離範囲内に先頭が存在する縦書き文字行を例示的に示す説明図である。
【図３６】抽出した縦書き文字行の先頭のｙ座標に関してヒストグラムを構成する状態を示す説明図である。
【図３７】画像の歪みを生じていない部分における処理を示す説明図である。
【図３８】画像の歪みを生じている部分における処理を示す説明図である。
【図３９】抽出した縦書き文字行を示す説明図である。
【図４０】縦書き文字行の行切り出し矩形を示す説明図である。
【図４１】画像歪み補正処理の流れを概略的に示すフローチャートである。
【図４２】ページ外形頂点検出処理について説明する説明図である。
【図４３】背景技術について説明する説明図である。
【符号の説明】
【０１４８】
１  画像読取装置
３７  記憶媒体
４０  書籍原稿
４１  綴じ部
【図１】
2005348103.tif 000008
【図２】
2005348103.tif 000009
【図３】
2005348103.tif 000010
【図４】
2005348103.tif 000011
【図５】
2005348103.tif 000012
【図６】
2005348103.tif 000013
【図７】
2005348103.tif 000014
【図８】
2005348103.tif 000015
【図９】
2005348103.tif 000016
【図１０】
2005348103.tif 000017
【図１１】
2005348103.tif 000018
【図１２】
2005348103.tif 000019
【図１３】
2005348103.tif 000020
【図１４】
2005348103.tif 000021
【図１５】
2005348103.tif 000022
【図１６】
2005348103.tif 000023
【図１７】
2005348103.tif 000024
【図１８】
2005348103.tif 000025
【図１９】
2005348103.tif 000026
【図２０】
2005348103.tif 000027
【図２１】
2005348103.tif 000028
【図２２】
2005348103.tif 000029
【図２３】
2005348103.tif 000030
【図２４】
2005348103.tif 000031
【図２５】
2005348103.tif 000032
【図２６】
2005348103.tif 000033
【図２７】
2005348103.tif 000034
【図２８】
2005348103.tif 000035
【図２９】
2005348103.tif 000036
【図３０】
2005348103.tif 000037
【図３１】
2005348103.tif 000038
【図３２】
2005348103.tif 000039
【図３３】
2005348103.tif 000040
【図３４】
2005348103.tif 000041
【図３５】
2005348103.tif 000042
【図３６】
2005348103.tif 000043
【図３７】
2005348103.tif 000044
【図３８】
2005348103.tif 000045
【図３９】
2005348103.tif 000046
【図４０】
2005348103.tif 000047
【図４１】
2005348103.tif 000048
【図４２】
2005348103.tif 000049
【図４３】
2005348103.tif 000050