(57)【要約】【課題】利用者にとって好ましいと印象づける補正結果のみが得られる原稿画像データの補正処理手段の提供を目的とする。【解決手段】画像データの特性に基づき原稿のほぼ全面が写真または絵柄である絵柄ページか、それ以外のページであるのかを判定し、画像データが絵柄ページの原稿であると判定された場合には、前記画像データ全体に対して絵柄／写真向け画像補正処理を実施し、画像データが絵柄ページの原稿ではないと判定された場合には、前記画像データ全体に対して文書原稿向け画像補正処理を実施する。【選択図】　　　　図２
2004048130.tif 000002
【特許請求の範囲】
【請求項１】
画像データとして入力された原稿に対して、所定の画像処理を実施する画像処理方法であって、
前記原稿が、当該原稿のほぼ全体が絵柄または写真で占められた絵柄ページであるのか、あるいは前記絵柄ページ以外の非絵柄ページであるのかを判定する絵柄ページ判定ステップと、
当該絵柄ページ判定ステップによる判定結果に基づいて、絵柄ページと非絵柄ページとで、前記画像データ全体に対してそれぞれ異なる画像処理を実施する画像処理ステップと、
を備えることを特徴とする画像処理方法。
【請求項２】
前記絵柄ページ判定ステップにおいて、前記画像データとして入力された原稿が絵柄ページであると判定されたとき、当該画像データに絵柄または写真向けの画像処理を実施することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記絵柄ページ判定ステップにおいて、前記画像データとして入力された原稿が非絵柄ページであると判定されたとき、当該画像データに対して文書原稿としての属性を判定する文書原稿属性判定ステップと、
前記文書原稿属性判定ステップにより判定された文書原稿属性に基づいて、当該画像データに適用する文書向け画像処理を選択する文書原稿画像処理選択ステップと、
を更に有することを特徴とする請求項１に記載の画像処理方法。
【請求項４】
前記文書原稿属性判定ステップにより判定された文書原稿属性に基づいて、前記文書原稿画像処理選択ステップで選択された文書向け画像処理の各種パラメータを決定するパラメータ決定ステップを更に有することを特徴とする請求項３に記載の画像処理方法。
【請求項５】
前記画像処理選択ステップにより複数の画像処理が選択された場合に、前記文書原稿属性に基づいて、前記複数の画像処理の実施順序を決定する画像処理順序決定ステップを更に有することを特徴とする請求項３に記載の画像処理方法。
【請求項６】
前記画像処理順序決定ステップにより決定された画像処理順序を、選択された文書向け画像処理の各種パラメータに反映させる処理順序型パラメータ調整ステップとを、更に有することを特徴とする請求項５に記載の画像処理方法。
【請求項７】
前記文書原稿画像処理選択ステップは、前記画像データの回転処理を文書向け画像処理として選択可能であることを特徴とする請求項３に記載の画像処理方法。
【請求項８】
前記文書原稿画像処理選択ステップは、前記画像データとして入力された原稿から不要な領域の除去処理を文書向け画像処理として選択可能であることを特徴とする請求項３に記載の画像処理方法。
【請求項９】
画像データとして入力された原稿に対して、所定の画像処理を実施する画像処理装置であって、
前記原稿が、当該原稿のほぼ全体が絵柄または写真で占められた絵柄ページであるのか、あるいは前記絵柄ページ以外の非絵柄ページであるのかを判定する絵柄ページ判定手段と、
前記絵柄ページ判定手段において、前記画像データとして入力された原稿が絵柄ページであると判定された場合に、当該画像データ全体に絵柄または写真向けの画像処理を実施する絵柄画像処理手段と、
前記絵柄ページ判定手段において、前記画像データとして入力された原稿が非絵柄ページであると判定された場合に、当該画像データに対して文書原稿としての属性を判定する文書原稿属性判定手段と、
前記文書原稿属性判定手段により判定された文書原稿属性に基づいて、当該画像データ全体に所定の文書向け画像処理を実施する文書画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項１０】
前記画像処理選択手段により複数の画像処理が選択された場合に、前記文書原稿属性に基づいて、前記複数の画像処理の実施順序を決定する画像処理順序決定手段を更に有することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理選択手段により選択された画像処理の実施順序を決定する画像処理順序決定手段を更に有することを特徴とする請求項９に記載の画像処理装置。
【請求項１２】
画像データとして入力された原稿に対して、所定の画像処理を実施する画像処理プログラムを記録した媒体であって、
このプログラムは、コンピュータに、前記原稿が、当該原稿のほぼ全体が絵柄または写真で占められた絵柄ページであるのか、あるいは前記絵柄ページ以外の非絵柄ページであるのかを判定し、
前記画像データとして入力された原稿が絵柄ページであると判定された場合に、当該画像データ全体に絵柄または写真向けの絵柄画像処理を実施し、
前記画像データとして入力された原稿が非絵柄ページであると判定された場合に、当該画像データに対して文書原稿としての属性を判定し、
文書原稿属性の判定結果に基づいて、当該画像データ全体に所定の文書向け画像処理を実施する画像処理プログラムを記録した媒体。
【請求項１３】
前記文書原稿属性の判定結果に基づいて、選択された文書向け画像処理の各種パラメータを決定することを特徴とする請求項１２に記載の画像処理プログラムを記録した媒体。
【請求項１４】
複数の文書向け画像処理が選択された場合に、前記文書原稿属性に基づいて画像処理の実施順序を決定することを特徴とする請求項１２に記載の画像処理プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、スキャナやデジタルカメラなどにより取得された画像データに対し、ファイリングや複写といった再利用を前提として画像補正処理を実施する画像処理方法、画像処理装置および画像処理プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
近年、オフィスや家庭を取り巻くネットワーク環境が急速に発達しており、情報の伝達や蓄積する手段として電子データ化された文書が広く用いられている。このような環境下において、ワードプロセッサなどの電子文書作成手段によりあらかじめ電子的に作成された文書だけでなく、新聞や雑誌などの紙面上の文書をも一元的に扱いたいというニーズが高まっている。これを実現する最も基本的な手段として、紙面上の文書情報を画像データとしてイメージスキャナなどを用いて光学的に取得することが知られている。
【０００３】
光学的に取得された画像データに対して、従来からファイリングや複写といった再利用を前提に、利用者にとって見やすい印象を与えるよう様々な画像補正処理が適用されている。
【０００４】
例えば、画像データに文字が存在する場合には、当該部分に精細度補正処理を行うことで文字の先鋭度を高め、利用者の目にくっきりと読みやすい文字としたり、写真や絵柄が存在する場合には当該部分において明度、彩度補正処理を行うことで利用者が好ましいと感じるような画像データへ変換するような処理を実施することが可能である。
【０００５】
また、スキャナにより画像データを取得する際、原稿台の上に原稿が傾いた状態で置かれたために、取得した画像データも傾いてしまったり、冊子など厚みのある原稿を対象とした場合などで比較的発生しやすい現象として、原稿範囲外の領域が画像データの一部として取得されてしまうことで余分な要素（原稿端から画像端にかけての枠状に現れる領域など）が写り込み、利用者にとって見づらい画像データとなってしまった場合でも、これらを補正するような画像処理を適用することが可能である。
【０００６】
一般に、原稿にレイアウトされた文字領域と写真／絵柄領域がそれぞれ明確に分離している場合には、レイアウト解析などの公知の技術を用いることで自動的にそれぞれの領域を特定し、特定した領域毎に最適な画像補正処理を実施することができる。
【０００７】
レイアウト解析の例として、例えば特開平９−９１４５０号公報では、取得した画像データについて二値化処理を実施し画素の連結性を調べ、連結している画素同士をひとつの領域として抽出し、その位置や大きさ等の特徴量を利用して領域の属性を識別する技術が開示されている。この方式の場合、前処理として二値化を行なっているため、写真等の中間的な濃度値を含んだ領域を正確に抽出することが困難であるが、この技術を拡張したものとして特開平１１−２５２３６０号公報では、多値画像を複数枚の二値画像に変換し、各々の二値画像に対してレイアウト解析を行うことにより、写真等の中間的な濃度値を含んだ領域を正確に抽出する技術が開示されている。
【０００８】
前記で挙げた技術などにより文字領域を正確に特定できれば、文字を構成する画素に基づいて原稿の傾き角度を検出することが可能となるため、取得した画像データの傾き補正も可能となる。例えば特開平７−１９２０８５号公報では、二値化された画像データにおいて、黒画素の連結成分を検出し、検出した連結成分のうち文字を構成する連結成分を抽出、抽出した連結成分のうち近接する連結成分同士を結合し仮の文字行として推定した後、推定した仮の文字行に対して水平方向及び垂直方向からそれぞれ所定の角度だけ傾いた直線に接する最も外側の輪郭点を検出、これらの位置関係から仮の文字行の傾きを算出、各々の仮の文字行から傾き角度を参照し画像データの傾き角を求める技術が開示されている。
【０００９】
さらに、前記のように原稿の各領域の特定が正しく行われているのであれば、前記冊子など厚みのある原稿をスキャナで取得した際に発生する、原稿端から画像端にかけての枠状の領域など、本来原稿としては不要な成分を、取得した画像データから削除するような補正も可能である。
【００１０】
【発明が解決しようとする課題】
しかしながら実際には雑誌の表紙や広告など、文字や写真／絵柄が複雑に重なり合うレイアウト構造を持つ原稿も少なくなく、このような原稿から生成した画像データに対して、前記特開平１１−２５２３６０号公報に記載されているような矩形による領域識別を行うと、領域が不自然に分割されたり、誤った分割結果を得たりする恐れがある。そのような領域識別結果に基づいて局所的に前記文字の精細度補正処理や写真／絵柄の明度、彩度補正処理を施すと、逆に利用者にとって見づらい画像データとなる恐れがある。
【００１１】
さらに領域識別結果の信頼性が低い場合には、前記特開平７−１９２０８５号公報に記載されているような技術を用いて原稿の傾き角度を検出したとしても、やはり検出された傾き角度自体の精度が低いものになると予想され、結果として利用者に対し不本意な補正結果を導く恐れがある。特に、格納されている画像データをディスプレイ上に表示して閲覧することが主な利用法であるケースでは、原稿の微妙な傾きでさえ気になるなど、用途によっては、多少でも不完全な領域識別手段を用いて前記補正処理を実施するのであれば、むしろ補正処理を実施しない方がよいことも少なくない。
【００１２】
原稿の傾きを補正する場合、原稿にレイアウトされた文章や写真／絵柄等の領域を識別しなくても適用が可能な方式がある。例えば特開平７−３１１８１４号公報では、画像データを複数のブロックに分割し、分割した各ブロックのデータに対して、各試行回転角で座標回転したディスクリート・コサイン変換を行うＲＤＣＴ処理を行い、該ＲＤＣＴ処理により変換された係数を評価関数に基づき評価値を算出し、複数の試行回転角に対して得られる複数の評価値に基づき、評価値の最小または最大のピークに対応するピーク試行回転角を算出し、該ピーク試行回転角を原稿画像の傾き角として推定する技術が開示されている。
【００１３】
しかし、これら原稿のレイアウトに依存しない方式は、あらかじめ原稿が文章主体であることがわかっているような場合には有効であるが、仮に原稿の全体が写真／絵柄であるような画像データに適用すると、場合によっては原稿の傾き角度として誤った値を導いてしまい、やはり利用者に対し不本意な補正結果となる恐れがある。一般的に、原稿の傾き角度算出が困難であるような画像に対しては、はじめから傾き補正処理を実施しない方がよいことも少なくない。
【００１４】
本発明は前記の事情に鑑みてなされたものであり、利用者にとって好ましいと印象づける補正結果のみが得られる原稿画像データの補正処理手段の提供を目的とする。
【００１５】
【課題を解決するための手段】
上述の目的を達成するための本発明は、画像データとして入力された原稿に対して、所定の画像処理を実施する画像処理方法であって、前記原稿が、当該原稿のほぼ全体が絵柄または写真で占められた絵柄ページであるのか、あるいは前記絵柄ページ以外の非絵柄ページであるのかを判定する絵柄ページ判定ステップと、当該絵柄ページ判定ステップによる判定結果に基づいて、絵柄ページと非絵柄ページとで、前記画像データ全体に対してそれぞれ異なる画像処理を実施する画像処理ステップと、を備える。
【００１６】
望ましくは、前記画像処理方法は、前記絵柄ページ判定ステップにおいて、前記画像データとして入力された原稿が絵柄ページであると判定されたとき、当該画像データに絵柄または写真向けの画像処理を実施する。
【００１７】
また、望ましくは、前記画像処理方法は、前記絵柄ページ判定ステップにおいて、前記画像データとして入力された原稿が非絵柄ページであると判定されたとき、当該画像データに対して文書原稿としての属性を判定する文書原稿属性判定ステップと、前記文書原稿属性判定ステップにより判定された文書原稿属性に基づいて、当該画像データに適用する文書向け画像処理を選択する文書原稿画像処理選択ステップと、を更に有する。
【００１８】
また、望ましくは、前記画像処理方法は、前記文書原稿属性判定ステップにより判定された文書原稿属性に基づいて、前記文書原稿画像処理選択ステップで選択された文書向け画像処理の各種パラメータを決定するパラメータ決定ステップを更に有する。
【００１９】
また、望ましくは、前記画像処理方法は、前記文書原稿画像処理選択ステップにより複数の画像処理が選択された場合に、前記文書原稿属性に基づいて、前記複数の画像処理の実施順序を決定する画像処理順序決定ステップを更に有する。
【００２０】
また、望ましくは、前記画像処理方法は、前記画像処理順序決定ステップにより決定された画像処理順序を、選択された文書向け画像処理の各種パラメータに反映させる処理順序型パラメータ調整ステップとを、更に有する。
【００２１】
また、望ましくは、前記文書原稿画像処理選択ステップは、前記画像データの回転処理を文書向け画像処理として選択可能であることを含む。望ましくは、前記文書原稿画像処理選択ステップは、前記画像データとして入力された原稿から不要な領域の除去処理を文書向け画像処理として選択可能であることを含む。
【００２２】
本発明は、画像データとして入力された原稿に対して、所定の画像処理を実施する画像処理装置であって、前記原稿が、当該原稿のほぼ全体が絵柄または写真で占められた絵柄ページであるのか、あるいは前記絵柄ページ以外の非絵柄ページであるのかを判定する絵柄ページ判定手段と、前記絵柄ページ判定手段において、前記画像データとして入力された原稿が絵柄ページであると判定された場合に、当該画像データ全体に絵柄または写真向けの画像処理を実施する絵柄画像処理手段と、前記絵柄ページ判定手段において、前記画像データとして入力された原稿が非絵柄ページであると判定された場合に、当該画像データに対して文書原稿としての属性を判定する文書原稿属性判定手段と、前記文書原稿属性判定手段により判定された文書原稿属性に基づいて、当該画像データ全体に所定の文書向け画像処理を実施する文書画像処理手段と、を備える。
【００２３】
望ましくは、前記画像処理装置は、前記画像処理選択手段により複数の画像処理が選択された場合に、前記文書原稿属性に基づいて、前記複数の画像処理の実施順序を決定する。
【００２４】
また、望ましくは、前記画像処理装置は、前記画像処理選択手段により選択された画像処理の実施順序を決定する画像処理順序決定手段を更に有する。
【００２５】
本発明は、画像データとして入力された原稿に対して、所定の画像処理を実施する画像処理プログラムを記録した媒体であって、このプログラムは、コンピュータに、前記原稿が、当該原稿のほぼ全体が絵柄または写真で占められた絵柄ページであるのか、あるいは前記絵柄ページ以外の非絵柄ページであるのかを判定し、前記画像データとして入力された原稿が絵柄ページであると判定された場合に、当該画像データ全体に絵柄または写真向けの絵柄画像処理を実施し、前記画像データとして入力された原稿が非絵柄ページであると判定された場合に、当該画像データに対して文書原稿としての属性を判定し、文書原稿属性の判定結果に基づいて、当該画像データ全体に所定の文書向け画像処理を実施する。
【００２６】
望ましくは、前記媒体に記録された画像処理プログラムは、前記文書原稿属性の判定結果に基づいて、選択された文書向け画像処理の各種パラメータを決定する。
【００２７】
また、望ましくは、前記媒体に記録された画像処理プログラムは、複数の文書向け画像処理が選択された場合に、前記文書原稿属性に基づいて画像処理の実施順序を決定する。
【００２８】
【発明の実施の形態】
本発明の実施形態について、図面を参照して詳細に説明する。
【００２９】
［１］　実施形態の画像処理装置の構成例
図１に本発明の実施形態である画像処理装置の構成例を示す。画像処理装置１００は、画像処理装置１００全体を制御するためのＣＰＵ１０１と、画像処理装置１００の内部バスの制御を行うバスコントローラ１０２と、後述の画像蓄積部１１０に蓄積されている画像データに基づいて各種表示を行うＣＲＴ１０３と、ＣＲＴ１０３を制御するためのＣＲＴコントローラ１０４と、各種データを入力するためのマウスやデジタイザなどのポインティングデバイスやキーボード等を含む操作部１０５と、操作部１０５とバスとの間のインターフェース動作を行うインターフェース部１０６と、制御用プログラムあるいは制御用データなどを記憶するＲＯＭ１０７と、各種データを一時的に記憶するためのＲＡＭ１０８と、ダイレクトメモリアクセスコントロールを行うためのＤＭＡコントローラ１０９と、を備える。
【００３０】
さらに画像処理装置１００は、原稿の画像データなどの各種画像データを蓄積するための画像蓄積部１１０と、画像蓄積部１１０に蓄積されている画像の特性などを判定するための画像判別部１１１、画像補正処理を行う画像補正部１１２と、画像原稿を読み取って画像データを生成するためのスキャナ１１３と、画像出力を行うための電子写真方式やインクジェット方式のプリンタ１１４と、スキャナ１１３と内部バスとの間のインターフェース動作を行うインターフェース部１１５と、プリンタ１１４と内部バスとの間のインターフェース動作を行うインターフェース部１１６と、ネットワーク１１８と画像処理装置１００との間のインターフェース動作を行うインターフェース部１１７と、を備えて構成されている。
【００３１】
この場合において、ＣＰＵ１０１及びバスコントローラ１０２は操作部１０５を介して操作者が対話入力を行うことにより他の構成部を制御している。前記構成において、操作者は、例えばスキャナ１１３で原稿画像を読込み、画像蓄積部１１０に格納した後、ＣＲＴ１０３に表示させながら操作部１０５を通じて所望の画像を選択し、選択した画像に対して画像補正部１１２で補正処理を実施した後、ネットワーク１１８へ送信したりする等の画像処理を行う。また、ネットワーク１１８から入手した画像データを画像蓄積部１１０に格納し、格納したすべての画像データの属性を画像判別部１１１で判別、判別結果に従い画像補正部１１２で補正処理を施した後、再び画像蓄積部１１０に格納したり、プリンタ１１４から出力するような処理も可能である。
【００３２】
［２］　実施形態の動作
次に図１及び図２のフローチャートに従って、本発明の実施形態における動作について詳細に説明する。まず、処理対象となる原稿の画像データはバスを介して入力され、画像蓄積部１１０に一旦格納される。ここで画像データの入力は例えばスキャナ１１３で原稿を走査入力してもよいし、あるいはネットワーク１１８の通信手段を経由して入手しても良い。画像蓄積部１１０では、それらの入力画像は例えば、ＢＧＲ各色８ビット／画素の形式で蓄積格納される（Ｓ１０１）。画像判別部１１１では、画像蓄積部１１０に格納されている画像データの特性に基づき原稿のほぼ全面が絵柄または写真である絵柄ページか、それ以外のページであるのかを判定する絵柄ページ判定処理を実施する（Ｓ１０２）。ステップＳ１０２の判定において、画像データが絵柄ページの原稿であると判定された場合には（ステップＳ１０３；Ｙｅｓ）、画像蓄積部１１０に格納されている対象画像は画像補正部１１２に送られ、画像補正部１１２において絵柄／写真原稿向け画像補正処理が実施される（Ｓ１０４）。ステップＳ１０２の判定において、画像データが絵柄ページの原稿ではないと判定された場合には（ステップＳ１０３；Ｎｏ）、画像蓄積部１１０に格納されている対象画像は画像補正部１１２に送られ、画像補正部１１２において文書原稿向け画像補正処理が実施される（Ｓ１０５）。ステップＳ１０４またはステップＳ１０５において画像データに対し各種補正処理が実施された後、補正された画像データが出力される（Ｓ１０６）。ステップＳ１０６における画像データの出力先としては、プリンタ１１４でもよいし、ネットワーク１１８の通信手段を経由して他のプリンタやストレージ手段でもよい。あるいは画像蓄積部１１０に格納され、必要に応じてＣＲＴ１０３により表示させてもよい。
【００３３】
［２．１］　絵柄ページ判定処理の動作
図２のフローチャートにおいて、ステップＳ１０２で実施する絵柄ページ判定処理について詳細に説明する。本発明における絵柄ページ判定処理として従来のレイアウト解析技術に基づく方式を用いてもよいが、本実施形態では、画像データ対し二値化処理を行って前景（ＯＮ画素）と背景（ＯＦＦ画素）とを分離した二値画像において、主走査方向および副走査方向にＯＮ画素を投影した投影ヒストグラムの投影値、および各走査線におけるＯＮ画素のラン長に基づいて画像データが絵柄ページであるのか、またはそれ以外のページであるのかを判定する方式を例とする。
【００３４】
図３のフローチャート、および図４を用いて絵柄ページ判定手段の動作を詳細に説明する。まず、画像蓄積部１１０にＢＧＲ各色８ビット／画素の形式で格納されている画像データの各画素において輝度値Ｙを算出する（Ｓ２０１）。本実施形態では、輝度値Ｙとして以下の式で算出される値を用いている。
【００３５】
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ
【００３６】
図４（ａ）は、ＢＧＲ各色８ビット／画素形式の画像データを、輝度値Ｙに変換した画像データの例を示している。
【００３７】
つぎに、ステップＳ２０１で算出した輝度値Ｙから、画像データにおける各画素のＯＮ／ＯＦＦを決定する二値化処理を実施する。本実施形態では、注目画素とその周辺画素における平均輝度値をＹａｖｅとし、所定の輝度値しきい値をＹｔｈ１およびＹｔｈ２としたときに、
Ｙ＜Ｙｔｈ１、または、Ｙａｖｅ−Ｙ＞Ｙｔｈ２
を満足するとき、注目画素をＯＮ画素、それ以外をＯＦＦ画素として二値化を実施する（Ｓ２０２）。当該二値化処理を実施することにより、主に原稿中の写真や絵柄などではＹｔｈ１以下の輝度の低い領域がＯＮ画素となり、文字においては、背景部とのコントラストが低い場合であってもその輝度値の差がＹｔｈ２以上確保されていればＯＮ画素となる。
【００３８】
ステップＳ２０２で得られた二値画像に対し、主走査方向および副走査方向の各走査線毎にＯＮ画素の数を投影した投影ヒストグラムを作成する（Ｓ２０３）と同時に、各走査線毎のＯＮ画素のラン長において最長の値を取得する（Ｓ２０４）。図４（ｂ）は、図４（ａ）で示す画像データを本実施形態による二値化処理により二値化した画像データと、二値化画像データのＯＮ画素（同図では黒画素）を主走査方向および副走査方向に投影した例を示している。
【００３９】
いま、原稿の主走査方向のサイズをＳｉｚｅＸ、主走査方向におけるｎ番目の走査線上のＯＮ画素投影値をＰｎｈ、および最長ラン長をＲｎｈとしたとき、
Ｐｎｈ＞ＳｉｚｅＸ・Ｓｉｚｅｔｈ１、かつ、Ｒｎｈ＞Ｐｎｈ・Ｐｔｈ１
を満足する場合、当該ｎ番目の主走査方向の走査線は写真または絵柄を含むと判定する。ここで、Ｓｉｚｅｔｈ１およびＰｔｈ１はともに乗数としての所定のしきい値であり、
０＜Ｓｉｚｅｔｈ１＜１、および　０＜Ｐｔｈ１＜１
である。同様に、原稿の副走査方向のサイズをＳｉｚｅＹ、副走査方向におけるｎ番目の走査線上のＯＮ画素投影値をＰｎｖ、および最長ラン長をＲｎｖとしたとき、
Ｐｎｖ＞ＳｉｚｅＹ・Ｓｉｚｅｔｈ１、かつ、Ｒｎｖ＞Ｐｎｖ・Ｐｔｈ１
を満足する場合、当該ｎ番目の副走査方向の走査線は写真または絵柄を含むと判定する。この判定処理を主走査方向および副走査方向のすべての走査線に対し実施し、主走査方向における絵柄または写真を含む走査線の数Ｎ１ｈと、副走査方向における絵柄または写真を含む走査線の数Ｎ１ｖとを取得する（Ｓ２０５）。図４（ｃ）は、副走査方向の投影ヒストグラムにおける投影値Ｐｖと、投影値に対するしきい値ＳｉｚｅＹ・Ｓｉｚｅｔｈ１との関係を示している。この例では、投影区間ＡとＢに含まれる走査線から、絵柄または写真を含む走査線の有無が判定されることになる。
【００４０】
つぎに、ステップＳ２０３で作成した主走査方向の投影ヒストグラムにおいてＯＮ画素が分布する走査線の数をＮ２ｈ、および副走査方向の投影ヒストグラムにおいてＯＮ画素が分布する走査線の数をＮ２ｖとして取得する。そして、前記ステップＳ２０５で取得した絵柄または写真を含むと判定された主走査方向の走査線数をＮ１ｈ、および副走査方向の走査線数をＮ１ｖとしたとき、
Ｎ１ｈ＞Ｎ２ｈ・Ｎｔｈ１、かつ、Ｎ１ｖ＞Ｎ２ｖ・Ｎｔｈ１
を満足する場合、当該画像データが示す原稿はほぼ全体が写真または絵柄のページであると判定する（Ｓ２０６）。ここで、Ｎｔｈ１は乗数としての所定のしきい値であり、
０＜Ｎｔｈ１＜１
である。図４（ｃ）の例では、投影区間ＡとＢに属す副走査方向の走査線のすべてが絵柄または写真を含むものであると仮定したとき、Ｎ１ｖ＝Ａ＋Ｂとなり、ＯＮ画素が分布する副走査方向の走査線の数Ｎ２ｖは、Ｎ２ｖ＝Ｃとなる。
【００４１】
［２．２］　絵柄／写真原稿向け画像補正処理
図２のフローチャートにおいて、ステップＳ１０４において実施する絵柄／写真原稿向け画像補正処理について説明する。本発明における当該画像補正処理では、既に公知となっている技術の利用を想定している。本実施形態においては、特開２００１−２３０９４１号公報に開示されている技術を用いるものとしてその詳細な説明を割愛するが、当該技術によれば、画像データの明度および彩度信号の値に応じて連続的に補正係数を算出しているため、急激な切り替わりなく自然に彩度や明度を強調できるようになるだけでなく、入力画像の特徴に応じて彩度や明度の強調度合いを調整しているため、強調が必要な画像についてのみ的確に強調処理を行うことができ、自然な色合いを保ちながら彩度や明度の補正を施すことが可能である。
【００４２】
［２．３］　文書原稿向け画像補正処理
つぎに、図２のフローチャートにおいて、ステップＳ１０５において実施する文書原稿向け画像補正処理について説明する。本発明における当該画像補正処理としては既に公知となっている技術を利用してもよいが、本実施形態では原稿全体に対して一様な画像補正処理を適用するため、処理対象である原稿における文字が占める文字領域と絵柄や写真が占める絵柄領域の比率で定義する文字絵柄割合を算出し、算出した文字絵柄割合に基づいて下地除去処理やコントラスト補正処理、精細度補正処理などの画像補正処理を適用する構成とする。本実施形態における文書原稿向け画像補正処理の動作を図５に示すフローチャートを用いて説明する。
【００４３】
［２．３．１］　文書原稿の属性判定
まず、画像データについて、文字絵柄割合Ｒｃｆを算出する（Ｓ３０１）。ステップＳ３０１の詳細を図６に示すフローチャートと図７を用いて説明する。前記ステップＳ２０２で得られた原稿の二値画像データにおいて、ＯＮ画素の連結画素成分を抽出し、各連結画素成分毎に外接矩形を作成、作成した矩形の高さを当該連結画素成分の高さ、矩形の幅を連結画素成分の幅の値として取得する。取得した外接矩形の面積と外接矩形内の当該連結画素成分のＯＮ画素数との比率を矩形密度として算出し、これらに基づいて各連結画素成分にノイズ候補、文字候補、絵柄／写真候補、およびその他の要素という属性を与える（Ｓ４０１）。本実施形態では、ｎ番目の連結画素成分の高さをＨｎ、幅をＷｎ、外接矩形の矩形密度をＤｎとし、連結画素成分の高さおよび幅に関わる所定のしきい値をＳｉｚｅｔｈ２、Ｓｉｚｅｔｈ３（ただし、Ｓｉｚｅｔｈ２＜Ｓｉｚｅｔｈ３）、外接矩形の矩形密度に関わる所定のしきい値をＤｔｈ１としたとき、
Ｈｎ≦Ｓｉｚｅｔｈ２、かつ、Ｗｎ≦Ｓｉｚｅｔｈ２
を満足するような連結画素成分はノイズ候補であると判断し、
Ｓｉｚｅｔｈ２＜Ｈｎ≦Ｓｉｚｅｔｈ３、かつ、Ｓｉｚｅｔｈ２＜Ｗｎ≦Ｓｉｚｅｔｈ３を満足するような連結画素成分は文字候補であると判断する。さらに、
Ｓｉｚｅｔｈ３＜Ｈｎ、かつ、Ｓｉｚｅｔｈ３＜Ｗｎ、かつ、Ｄｔｈ１≦Ｄｎ
を満足するような連結画素成分は絵柄／写真候補であると判断し、これらのどの条件にも当てはまらない連結画素成分はその他の要素と判断する。
【００４４】
つぎに、ステップＳ２０２で得られた二値画像におけるＯＮ画素のうち、ステップＳ４０１においてノイズ候補ではないと判断された連結画素成分を構成するＯＮ画素について、主走査方向および副走査方向に投影ヒストグラムを作成し、原稿の有効領域を特定する（Ｓ４０２）。当該有効領域は、前記で作成した主走査方向および副走査方向の投影ヒストグラムにおいてＯＮ画素が分布する範囲で決定する。図７（ａ）に示す例では、（Ｘｌｅｆｔ，Ｙｒｉｇｈｔ）と（Ｘｒｉｇｈｔ，Ｙｂｏｔｔｏｍ）で決定される矩形領域を原稿有効領域とする。ただし、本や雑誌などの厚みのある原稿をフラットベットスキャナで取得した際には、原稿端から画像端にかけて枠がついたように不要な成分が写りこんでしまうことがあるため、あらかじめこの影響を軽減するために、決定される有効領域の最大サイズを制限しておいてもよい。
【００４５】
つぎに、ステップＳ４０２で特定した原稿有効領域を複数のブロックに分割し、前記ステップＳ４０１で各連結画素成分に与えた候補属性に基づき各ブロックの属性を決定する（Ｓ４０３）。図７（ｂ）は、原稿の有効領域を複数のブロックに分割した例を示している。各分割ブロックにおいて、存在する連結画素成分の候補属性が唯一であればその候補属性を当該分割ブロックの候補属性とする。分割ブロックにおいて、異なる候補属性を持つ連結画素成分が複数存在する場合、注目ブロックにおいて最大面積を占める外接矩形を持つ連結画素成分の候補属性を、そのブロックの候補属性とする。そして、ステップＳ４０３において決定した原稿有効領域内の分割ブロック候補属性に基づき、画像データにおける文字候補ブロックと絵柄／写真候補ブロックの割合をその原稿の文字絵柄割合Ｒｃｆとして算出する（Ｓ４０４）。
【００４６】
さて、ステップＳ３０１で前記のように文字絵柄割合Ｒｃｆを算出した後、所定のしきい値Ｒｔｈ１、およびＲｔｈ２と算出した文字絵柄割合Ｒｃｆに基づき、ステップＳ１０１で取得した画像データに対して文字主体の原稿（Ｓ３０２；Ｙｅｓ→Ｓ３０４）、および絵柄／写真主体の原稿（Ｓ３０２；Ｎｏ，Ｓ３０３；Ｎｏ→Ｓ３０６）、そしてそれらの中間として文字と絵柄／写真が適度に混在する原稿（Ｓ３０２；Ｎｏ，Ｓ３０３；Ｙｅｓ→Ｓ３０５）という属性を与える。
【００４７】
［２．３．２］　文書原稿向け画像補正処理
つぎに前記で分類した原稿の属性に関わらず、原稿の方向を９０度、１８０度、および２７０度という単位で補正する原稿方向補正処理を実施する（Ｓ３０７）。本実施形態では、既に公知となっている技術の利用を想定している。たとえば特願平１０−１４７６２０号公報では、文書画像の中の文字領域を言語種毎に抽出し、それぞれの文字領域に含まれる文字パターンを０，９０，１８０，２７０度の４方向に回転させて各々について先に判定された言語種に適した辞書或は方法で所定数の文字パターンを文字認識を行い、文字認識の結果得た平均類似度の最も高い方向を正立方向と判断し、その正立方向の角度（０，９０，１８０，２７０度のいずれか）を出力する技術が開示されている。これらの技術を利用し、算出した角度に応じて画像回転処理を実施することで原稿の方向補正処理を実施する。
【００４８】
つぎに、ステップＳ３０４において画像データが文字主体の原稿であると判定されたもの、およびステップＳ３０５において画像データが文字と絵柄／写真が適度に混在する原稿であると判定されたものに対し、数度レベルの原稿の微妙な傾き（スキュー）を補正する原稿スキュー補正処理を実施する（Ｓ３０８）。本実施形態では、ステップＳ３０７における原稿方向補正処理と同様に、この処理についても既に公知となっている技術の利用を想定している。たとえば特開平３−２１３０５３号公報では、二値画像の黒画素に対し黒画素を含む外接矩形を求め、外接矩形から傾き検知の基準となる点を抽出、この基準点に基づき入力原稿の傾きを算出する技術が開示されている。これらの技術を利用し、算出した角度に応じて画像回転処理を実施することで原稿のスキュー補正処理を実施する。
【００４９】
なお、ステップＳ３０６で画像データが絵柄／写真主体の原稿であると判定された場合には、ステップＳ３０８による原稿スキュー補正処理を実施しない。主な理由として、絵柄／写真が主体の原稿では、前記で例を挙げた公知の技術を用いた場合に、正しく原稿のスキューを検出できない可能性が高いことが挙げられる。
【００５０】
ステップＳ３０８で原稿のスキュー補正処理を実施した後、ステップＳ３０４において画像データが文字主体の原稿であると判定されている場合には、さらに不要成分除去処理を実施する（Ｓ３０９）。本実施形態では、不要成分として例えば微小なノイズや、前記のとおり本や雑誌などの厚みのある原稿をフラットベットスキャナで光学的に取得した際に、原稿端から画像端にかけて枠がついたように写りこんでしまう不要な領域をいう。いうまでもないが不要成分が存在すると、利用者にとって画像データが見づらいものとなってしまう。不要成分の除去手段としては、微小ノイズを対象とした場合、例えば図６に示すフローチャートにおいてステップＳ４０１で属性を判定した二値画像の連結画素成分のうち、ノイズ候補と判断される連結画素成分を構成する画素において、対応する画像データの画素が持つＲＧＢの値を、その周囲の画素が持つ値で置き換えるなどの手法が考えられる。また、原稿端から画像端にかけて発生する枠状の不要成分を対象とした場合、上下左右の画像端部から所定の画像サイズに関わるしきい値Ｓｉｚｅｔｈ４で特定される一定幅の範囲内に、前記ステップＳ４０１で文字候補以外と判定された連結画素成分が包含されるように存在する場合、当該連結画素成分を不要成分とみなし、対応する画像データの画素が持つＲＧＢの値を、特定の値、たとえば白色に置き換えるなどの手法が考えられる。
【００５１】
なお、ステップＳ３０５で画像データが文字と絵柄／写真が適度に混在する原稿と判定された場合、およびステップＳ３０６で画像データが絵柄／写真主体の原稿であると判定された場合には、ステップＳ３０９における不要成分除去処理を実施しない。主な理由として、これらの原稿においては、公知の技術で原稿中にレイアウトされている絵柄／写真領域と不要成分とを明確に区別することが困難であることが挙げられる。
【００５２】
さて、ステップＳ３０４において画像データが文字主体の原稿であると判定されたものについては、ステップＳ３０９において画像データの不要成分除去処理を実施した後、下地かぶりや原稿裏面の画像の映し出しを除去することを目的に下地除去処理を実施する（Ｓ３０９）。例えば、新聞紙面などをスキャナによりＢＧＲ各色８ビット／画素形式の画像データとして取得した場合、文字以外の背景部は実際の紙面と比較して見た目以上にグレイがかってしまうことがある。これは、原稿として高級印刷や写真のプリント等におけるように光を透過させにくい厚みのある紙がある反面、新聞紙などのように比較的光を透過させやすい紙でプラテンカバー裏の影響による下地かぶりが発生したり、原稿の裏面に画像がある場合にその裏面の画像が表面に映し出されてしまうことがあるためである。これらは原稿を読み難くする要因であることから、やはり補正処理を実施することが望ましい。本実施形態では、特開平５−２０７２８０号公報で開示されている技術を用いるものとしてその詳細な説明を割愛するが、本技術によれば、原稿の下地レベルを検出する下地検出手段、検出した下地レベルのデータに基づいて補正データを一次関数で近似して求めるデータ補正手段を備えることにより、プリスキャンにて原稿の下地レベルを検出して補正データを求め、該補正データにより色変換手段のパラメータを変更することで、下地かぶりや原稿裏面の画像の映し出しを除去する。
【００５３】
つぎに、ステップＳ３１０で画像データの下地除去処理を実施した後、輝度コントラスト補正処理を実施する（Ｓ３１１）。一般に、アプリケーションソフトウェアにより作成された電子文書は、スキャナにより取得された画像データに比べコントラストが高く、両者をディスプレイに表示させて閲覧するような用途では、特に後者のコントラストの低さが目につくことがあり、やはり補正処理を実施することが望ましい。本実施形態では、特開平１０−２８３４７０号公報で開示されている技術を用いるものとしてその詳細な説明を割愛するが、本実施形態では、前記ステップＳ２０１で算出した画像データの輝度値Ｙについてのヒストグラムを作成し、作成した輝度ヒストグラムからその特徴量として平均輝度値Ｙａｖｅ２を算出する。つぎに、算出した平均輝度値Ｙａｖｅ２と所定の輝度値に関わるしきい値Ｙｔｈ３とを比較することで、画像データが明るめの画像なのか暗めの画像なのかを判断し、明るめであれば画像データを暗くするように、暗めであれば明るくするような補正データを生成する（すなわち、補正後の画像データの平均輝度値がしきい値Ｙｔｈ３側へ近づくような補正データを生成する）。この補正データを用いて、階調変換を行うと同時にコントラスト補正効果を実現する。
【００５４】
つぎに、ステップＳ３１１で輝度コントラストの補正処理を実施した後、スキャナによる画像データ取得の際に発生するエッジ部のなまりを補正する（Ｓ３１２）。本処理についても、前記他の補正処理と同様、既に公知となっている技術の利用を想定している。本実施形態では、一般的にも広く用いられているアンシャープネスマスクフィルタを用いて精細度補正を実施することとする。この際、画像の解像度に合わせてマスクのサイズを変更したり、フィルタの係数を変更するなど文字の読みやすさに重点を置いたパラメータ設定を実施することで、より好ましい補正結果を得ることができる。以上の工程により、ステップＳ３０４で文字主体の原稿のものであると判定された画像データに対する補正処理を終了する。
【００５５】
一方、ステップＳ３０５で画像データが文字と絵柄／写真が適度に混在する原稿と判定された場合、およびステップＳ３０６で画像データが絵柄／写真主体の原稿であると判定された場合には、ステップＳ３０４で文字主体の原稿のもであると判定された画像データに対する補正とは逆に、輝度コントラストの補正処理を実施（Ｓ３１３）した後、下地除去処理を実施する（Ｓ３１４）。なぜなら、絵柄／写真領域が原稿の有効領域に占める割合が大きくなると、当然ながら文字領域の補正に傾倒した処理形態よりも、文字領域と絵柄領域がバランスよくきれいに見えるような処理形態の方が望ましいからである。ステップＳ３１０で実施する下地除去処理は、下地かぶりや原稿裏面の画像の映し出しを除去するために実施するわけではあるが、一般的に写真／絵柄では背景の下地に近いハイライトの再現も重視されており、仮に画像データが全体的に明るめである場合にはこのハイライト部分の再現性が大きく失われてしまい、利用者にとって不本意な補正結果となる可能性がある。そこで、あらかじめ前記コントラスト補正を実施しておき適正な階調を得た上で、前記下地除去処理を実施する構成としている。このような構成とすることで、画像によっては多少文字領域の下地が除去しきれずに残ることがあるものの、絵柄／写真領域においては過度にハイライト部が消失してしまうこともなく、原稿全体として捉えたときに文字領域と絵柄／写真領域でバランスのよい補正結果を得ることができる。逆にいえば、画像データが文字主体である原稿である場合には、確実に下地かぶりや原稿の裏画像の映し出しを除去するために、図５に示すような処理構成が適しているといえる。以上のように、下地除去処理と輝度コントラスト補正処理により得られる効果はトレードオフの面があるものの、ステップＳ３０１で算出した文字絵柄割合Ｒｃｆを利用することにより、これら補正処理の適切な効果を引き出すことができる。
【００５６】
なお、ステップＳ３１０とステップＳ３１４における下地除去処理においてそれぞれ異なるパラメータを設定したり、さらにはステップＳ３１４だけに着目したとき画像データがステップＳ３０５で文字と絵柄／写真が適度に混在する原稿と判定された場合と、ステップＳ３０６で絵柄／写真主体の原稿であると判定された場合にそれぞれ異なるパラメータを設定したりすることで、より好ましい補正結果を得ることができる。同様に、ステップＳ３１１とステップＳ３１３における輝度コントラスト補正処理についても、それぞれ異なるパラメータを設定したり、さらにはステップＳ３１３だけに着目したとき画像データがステップＳ３０５で文字と絵柄／写真が適度に混在する原稿と判定された場合と、ステップＳ３０６で絵柄／写真主体の原稿であると判定された場合にそれぞれ異なるパラメータを設定したりすることで、より好ましい補正結果を得ることができる。
【００５７】
つぎに、ステップＳ３１４下地除去処理を実施した後、ステップＳ３０５で画像データが文字主体の原稿であると判定された場合の処理と同様、スキャナによる画像データ取得の際に発生するエッジ部のなまりを補正する（Ｓ３１２）。ただし、当該処理においても、ステップＳ３０４〜Ｓ３０６で判定した原稿の種類に応じて適切にパラメータを設定することで、より好ましい補正結果を得ることができる。以上の工程により、文書原稿向けの画像補正処理を終了する。
【００５８】
【発明の効果】
以上説明したように本発明によれば、画像データを文字領域や絵柄領域といった属性毎に分割して補正処理を実施するわけではなく、画像全面に適切な補正処理を一様に実施するため、文章だけのシンプルな原稿から文字や写真／絵柄が複雑にレイアウトされた原稿に至るまで、領域分離処理のエラーに依存する画質的な不具合がなく、たとえ補正効果が小さい場合でも利用者が好ましいと感じる補正結果のみを得ることができる。
【００５９】
さらに、画像データのほぼ全面が絵柄／写真である原稿と、それ以外の原稿とで異なる補正処理を実施するため、利用者が絵柄／写真を“観る”ために好ましいと感じる画像補正処理と、文書を“読む”ために好ましいと感じる画像補正処理を的確に使い分けることができる。たとえば文字領域に対しては、精細度補正処理を施すことによって文字のエッジ部分を強調し、くっきりとした読みやすい文字とした方が好まれるのに対し、写真の場合は滑らかな階調を再現するために平滑化処理を施すことによってざらつき感の少ない奇麗な出力が好まれることが知られている。
【００６０】
また、領域の属性毎に種類の異なる画像処理を適用したり、そもそも複雑な領域分割処理自体を実施しないため処理にかかる時間が短かくてすみ、ハードウェアの支援を用いなくても、ソフトウェアのみで処理を構成することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態における画像処理装置の機能構成を示す図である。
【図２】本発明の実施形態における画像処理装置の全体の動作を示すフローチャートである。
【図３】本発明の実施形態における絵柄ページ判定処理の動作を示すフローチャートである。
【図４】本発明の実施形態における絵柄ページ判定処理に関わる画像処理例を示す図である。
【図５】本発明の実施形態における文書原稿ページ向け画像補正処理の動作を示すフローチャートである。
【図６】本発明の実施形態における文書原稿の属性判定処理の動作を示すフローチャートである。
【図７】本発明の実施形態における原稿の有効領域を特定する処理に関わる画像処理例を示す図である。
【符号の説明】
１００　画像処理装置、１０１　ＣＰＵ、１０２　バスコントローラ、１０３ＣＲＴ、１０４　ＣＲＴコントローラ、１０５　操作部、１０６　インターフェース部、１０７　ＲＯＭ、１０８　ＲＡＭ、１０９　ＤＭＡコントローラ、１１０　画像蓄積部、１１１　画像判別部、１１２　画像補正部、１１３　スキャナ、１１４　プリンタ、１１５　インターフェース部、１１６　インターフェース部、１１７　インターフェース部、１１８　ネットワーク。
【図１】
2004048130.tif 000003
【図２】
2004048130.tif 000004
【図３】
2004048130.tif 000005
【図４】
2004048130.tif 000006
【図５】
2004048130.tif 000007
【図６】
2004048130.tif 000008
【図７】
2004048130.tif 000009