(57)【要約】【課題】回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすること。【解決手段】画像処理装置は、入力された画像情報から特定領域を抽出する抽出部（Ｓ１４）と、画像情報の傾きを検出する傾き検出部（Ｓ１５）と、傾きに応じた回転角で画像情報を回転させる画像回転部（Ｓ１７）と、画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出部（Ｓ１６）と、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定部（Ｓ１６）と、回転後の画像情報から、切出範囲を切出す画像切出部（Ｓ１８）とを備える。【選択図】　　　　図３
2004046632.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像情報から特定領域を抽出する抽出手段と、
前記画像情報の傾きを検出する傾き検出手段と、
前記検出された傾きに応じた回転角で前記画像情報を回転させる画像回転手段と、
前記画像回転手段により前記画像情報が回転された場合に、回転後の前記画像情報の特定領域が回転前の前記画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出手段と、
前記はみ出し検出手段により回転後の前記画像情報の特定領域が回転前の前記画像情報の画像範囲からはみ出すことが検出された場合、回転後の前記画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定手段と、
前記画像回転手段により回転された後の前記画像情報から、前記決定された切出範囲を切出す画像切出手段とを備えた、画像処理装置。
【請求項２】
前記切出範囲決定手段は、前記はみ出し検出手段により回転後の前記画像情報の特定領域が回転前の前記画像情報の画像範囲からはみ出さないことが検出された場合、回転前の前記画像情報の画像範囲を切出範囲に決定する、請求項１に記載の画像処理装置。
【請求項３】
前記特定領域は、余白領域以外の情報を含む領域、あるいは、前記画像情報から重要でない情報を含む領域を除いた領域である、請求項１に記載の画像処理装置。
【請求項４】
前記抽出手段は、
前記入力された画像情報から、前記特定領域の候補となる複数の候補領域を抽出する第１抽出手段と、
前記複数の候補領域のうち、前記画像情報の画像範囲に対する前記複数の候補領域それぞれの相対位置、あるいは、前記複数の候補領域それぞれの属性に応じた候補領域を前記特定領域として抽出する第２抽出手段とを含む、請求項１に記載の画像処理装置。
【請求項５】
入力された画像情報から特定領域を抽出する抽出手段と、
前記画像情報の傾きを検出する傾き検出手段と、
前記検出された傾きに応じた回転角で前記画像情報を回転させる画像回転手段と、
前記画像回転手段により回転された後の前記画像情報に含まれる特定領域に対する相対位置に応じて、前記画像回転手段により回転される前の前記画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点を付与する得点付与手段と、
前記得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲を切出範囲に決定する切出範囲決定手段と、
前記画像回転手段により回転された後の前記画像情報から、前記決定された切出範囲を切出す画像切出手段とを備えた、画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関し、特に、画像を補正するのに適した画像処理装置に関する。
【０００２】
【従来の技術】
紙などの記録媒体（原稿）上に形成された文字情報、図形情報、写真情報等の情報を電子データに変換するために、図２１（Ａ）に示すような原稿をイメージスキャナまたはデジタルカメラ等の画像入力装置で入力することが一般的に行われている。
【０００３】
しかしながら、イメージスキャナに原稿が傾いてセットされた場合、または、デジタルカメラで傾いて原稿が撮影された場合に、図２１（Ｂ）に示すように、イメージスキャナまたはデジタルカメラ等で入力して得られた電子データとしての画像情報に含まれる文字情報、図形情報、写真情報等の情報が傾いている場合がある。この傾きは、矩形の画像情報のある辺を基準にした角度で得られる。
【０００４】
この傾きを補正するために、得られた画像情報に含まれる情報の画像情報に対する傾きを検出して、図２１（Ｃ）に示すように、検出した傾きに応じた回転角で画像情報を回転変換させて補正する回転補正が一般的に行なわれている。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の回転補正では、回転補正前の画像情報の所定の座標位置、たとえば、重心を中心に回転させるものであったため、図２１（Ｃ）に示すように、回転補正後の画像情報は、その一部が回転補正前の画像情報の範囲からはみ出してしまう場合がある。このため、はみ出した部分に情報が含まれていた場合には、そのはみ出し部分の情報が失われてしまうといった問題があった。また、切出される範囲中の情報の位置が考慮されないため、切出された画像中でいずれかの方向に情報が偏って切出されてしまうこともあった。
【０００６】
このはみ出し部分の情報が失われるのを防止するための技術として、特開２０００−３６９０２公報には、入力されて回転補正された画像と、切出範囲とを重畳表示し、操作者からの指示により、その切出範囲の位置を決定し、決定された切出範囲を切出す画像処理装置が記載されている。しかし、特開２０００−３６９０２公報に記載の画像処理装置では、操作者が切出範囲を決定するため、作業が煩雑であった。また、必要以上に大きな切出範囲を指定することもできるため、その場合には、無駄な領域を多く含む画像情報が切り出されることになる。その結果、不必要な情報を多く含み、情報量の大きな画像情報が切出されてしまうといった問題があった。また、操作者が切出範囲を指定するため、切出される範囲中の情報の位置は操作者の操作に委ねられており、依然として切出された画像中でいずれかの方向に情報が偏って切出されてしまう可能性が残る。
【０００７】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすることが可能な画像処理装置を提供することである。
【０００８】
この発明の他の目的は、回転補正後の画像情報に含まれる情報の配置を最適化することが可能な画像処理装置を提供することである。
【０００９】
【課題を解決するための手段】
上述の目的を達成するために、この発明のある局面によれば、画像処理装置は、入力された画像情報から特定領域を抽出する抽出手段と、画像情報の傾きを検出する傾き検出手段と、検出された傾きに応じた回転角で画像情報を回転させる画像回転手段と、画像回転手段により画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かを検出するはみ出し検出手段と、はみ出し検出手段により回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲を切出範囲に決定する切出範囲決定手段と、画像回転手段により回転された後の画像情報から、決定された切出範囲を切出す画像切出手段とを備える。
【００１０】
この発明に従えば、入力された画像情報から特定領域が抽出され、画像情報の傾きが検出され、検出された傾きに応じた回転角で画像情報が回転される。そして、画像情報が回転された場合に、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すか否かが検出され、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出すことが検出された場合、回転後の画像情報の特定領域を含む最小矩形範囲が切出範囲に決定され、回転された後の画像情報から、決定された切出範囲が切出される。このため、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出す場合、回転された後の画像情報から回転後の画像情報の特定領域を含む最小矩形範囲が切出されるので、回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすることが可能な画像処理装置を提供することができる。
【００１１】
好ましくは、切出範囲決定手段は、はみ出し検出手段により回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出さないことが検出された場合、回転前の画像情報の画像範囲を切出範囲に決定する。
【００１２】
この発明に従えば、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出さない場合、回転後の画像情報から回転前の画像情報の画像範囲が切出される。このため、入力された画像情報と同じ大きさの画像を出力することができる。
【００１３】
好ましくは、特定領域は、余白領域以外の情報を含む領域、あるいは、画像情報から重要でない情報を含む領域を除いた領域である。余白領域以外の情報とは、たとえば、文字情報、図形情報、写真情報、および、罫線情報などである。重要でない情報とは、たとえば、罫線情報である。重要でない情報を含む領域を除いた領域とは、たとえば、主に文字情報を含む文字領域、主に図形情報を含む図形領域、および、主に写真情報を含む写真領域などである。
【００１４】
この発明に従えば、余白領域以外の情報を含む領域、あるいは、画像情報から重要でない情報を含む領域を除いた領域を抽出するので、回転補正後の画像情報から必要な情報が失われるのを防止することができる。
【００１５】
好ましくは、抽出手段は、入力された画像情報から、特定領域の候補となる複数の候補領域を抽出する第１抽出手段と、複数の候補領域のうち、画像情報の画像範囲に対する複数の候補領域それぞれの相対位置、あるいは、複数の候補領域それぞれの属性に応じた候補領域を特定領域として抽出する第２抽出手段とを含む。候補領域の属性は、その候補領域に主に含まれる情報の種類を示し、たとえば、文字情報を含む文字属性、図形情報を含む図形属性、写真情報を含む写真属性、罫線情報を含む罫線属性がある。
【００１６】
この発明に従えば、入力された画像情報から、特定領域の候補となる複数の候補領域が抽出され、複数の候補領域のうち、画像情報の画像範囲に対する複数の候補領域それぞれの相対位置、あるいは、複数の候補領域それぞれの属性に応じた候補領域が特定領域として抽出される。その結果、回転補正後の画像情報から、画像情報の画像範囲に対して特定の相対位置にある情報、あるいは、特定の属性の情報が失われるのを防止することができる。
【００１７】
この発明の他の局面によれば、画像処理装置は、入力された画像情報から特定領域を抽出する抽出手段と、画像情報の傾きを検出する傾き検出手段と、検出された傾きに応じた回転角で画像情報を回転させる画像回転手段と、画像回転手段により回転された後の画像情報に含まれる特定領域に対する相対位置に応じて、画像回転手段により回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点を付与する得点付与手段と、得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲を切出範囲に決定する切出範囲決定手段と、画像回転手段により回転された後の画像情報から、決定された切出範囲を切出す画像切出手段とを備える。
【００１８】
この発明に従えば、入力された画像情報から特定領域が抽出され、画像情報の傾きが検出され、検出された傾きに応じた回転角で画像情報が回転される。そして、回転された後の画像情報に含まれる特定領域に対する相対位置に応じて、回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点が付与され、得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲が切出範囲に決定され、回転された後の画像情報から、決定された切出範囲が切出される。このため、回転された後の画像情報から、特定領域に対する相対位置に応じて、画像範囲が切出されるので、回転補正後の画像情報から重要な情報が失われるのを防止することが可能な画像処理装置を提供することができる。また、回転補正後の画像情報に含まれる情報の配置を最適化することが可能な画像処理装置を提供することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。なお、図中同一符号は同一または相当する部材を示し、重複する説明は繰返さない。
【００２０】
［第１の実施の形態］
図１は、本発明の実施の形態の１つにおける画像処理システムの構成の一例を示す図である。図１を参照して、画像処理システムは、画像処理装置１００と、画像入力装置２００と、外部記憶装置３００と、画像出力装置４００とを含む。
【００２１】
画像処理装置１００は、パーソナルコンピュータ（以下、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）という）などのコンピュータで構成される。画像処理装置１００は、画像処理装置１００の全体を制御するための制御部と、画像処理装置１００に所定の情報を入力するための入力部と、画像処理装置１００から所定の情報を出力するための出力部と、所定の情報を記憶するための記憶部と、画像処理装置をネットワークと接続するためのインタフェースである通信部とを含む。
【００２２】
画像入力装置２００は、スキャナまたはデジタルカメラ等であり、画像を取込み、取込まれた画像情報を一時記憶し、一時記憶された画像情報を出力する。画像入力装置２００は、画像処理装置１００に接続され、画像処理装置１００に画像情報を出力する。
【００２３】
外部記憶装置３００は、ＦＤＤ（Ｆｌｏｐｐｙ（Ｒ）Ｄｉｓｋ　Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ）ドライブ、ＭＯ（Ｍａｇｎｅｔｏ　Ｏｐｔｉｃａｌ　ｄｉｓｋ）ドライブ等であり、記録媒体３０１に記録されたプログラムやデータを読込み、画像処理装置１００に送信する。また、画像処理装置１００からの指示により、画像処理装置１００で処理された画像情報などの必要な情報を記録媒体３０１に書込む。
【００２４】
コンピュータ読取可能な記録媒体１８１としては、磁気テープ、カセットテープ、フロッピー（Ｒ）ディスク、ハードディスク等の磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）等の光ディスク、ＭＯ、ＭＤ（ＭｉｎｉＤｉｓｃ）等の光磁気ディスク、ＩＣカード、光カード等のメモリカード、あるいは、マスクＲＯＭ，ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｏｎｉｃａｌｌｙ　Ｅｒａｓａｂｌｅ　ａｎｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュＲＯＭ等の半導体メモリを含めた、固定的にプログラムを担持する記録媒体である。
【００２５】
画像出力装置４００は、プリンタ等であり、画像情報を紙などの媒体に出力する。画像出力装置４００は、画像処理装置１００に接続され、画像処理装置１００で処理された画像情報を出力する。
【００２６】
図２は、第１の実施の形態における画像処理装置１００の機能を示す機能ブロック図である。図２を参照して、画像処理装置１００は、画像入力装置２００から入力された画像情報を縮小する画像サイズ縮小部１１１と、画像サイズ縮小部１１１で縮小された画像情報から下地色を除去する下地色除去部１１２と、下地色除去部１１２で下地色を除去された画像情報を候補領域に分離する領域分離部１１３と、領域分離部１１３で分離された候補領域から特定領域を抽出する特定領域抽出部１１４と、特定領域抽出部１１４で特定領域を抽出された画像情報の傾きを検出する画像傾き検出部１１５と、画像傾き検出部１１５で検出された傾きおよび特定領域抽出部１１４で特定領域を抽出された画像情報から切出範囲を決定する切出範囲決定部１１６と、画像傾き検出部１１５で検出された傾きに応じた回転角で、画像入力装置２００から入力された画像情報を回転させる画像回転部１１７と、画像回転部１１７で回転された後の画像情報から、切出範囲決定部１１６で決定された切出範囲を切出す画像切出部１１８とを含む。
【００２７】
画像サイズ縮小部１１１は、画像入力装置２００から入力された画像情報を縮小して、縮小された画像情報を下地色除去部１１２に送る。画像情報の縮小は、以後の画像処理を高速化するために行われる。したがって、画像処理を高速化する必要がない場合には、画像サイズ縮小部１１１を設ける必要はない。
【００２８】
下地色除去部１１２は、画像サイズ縮小部１１１で縮小された画像情報から背景領域に存在する下地色を除去し、下地色を除去された画像情報を領域分離部１１３に送る。下地色とは、再生紙などをスキャンしたときに発生する淡い黄色、あるいは、画像の背景に存在する薄い下地模様の色などである。画像情報の下地色除去は、文字情報、図形情報、写真情報などの情報の抽出を容易にするために行われる。画像の背景が均一な白である場合などは、下地色を除去する必要はない。この場合には、下地色除去部１１２を設ける必要はない。
【００２９】
領域分離部１１３は、下地色除去部１１３で下地色を除去された画像情報から、候補領域を分離する。候補領域は、文字領域、図形領域、写真領域、罫線領域、および、余白領域などを含む。文字領域とは、主に文字情報を含む領域である。図形領域、写真領域、および、罫線領域は、それぞれ、主に図形情報、写真情報、および、罫線情報を含む領域である。余白領域は、画像情報の全領域のうち、図形領域、写真領域、および、罫線領域など情報が含まれる領域以外の領域である。また、領域分離部１１３は、画像入力装置２００から入力された画像情報、あるいは、画像サイズ縮小部１１１で縮小された画像情報から候補領域を分離するようにしてもよい。
【００３０】
特定領域抽出部１１４は、領域分離部１１３で分離された候補領域から所定の条件を満たす候補領域を特定領域として抽出する。所定の条件は、候補領域の属性で定められる。候補領域の属性は、候補領域が文字領域である場合は文字属性、図形領域である場合は図形属性、写真領域である場合は写真属性、および、罫線領域である場合は罫線属性である。所定の条件は、これらの属性の１つであってもよいし、これらの属性から抽出された複数の組合せであってもよい。
【００３１】
画像傾き検出部１１５は、特定領域抽出部１１４で特定領域が抽出された画像情報から画像情報の傾きを検出する。また、画像傾き検出部１１５は、画像入力装置２００から入力された画像情報、画像サイズ縮小部１１１で縮小された画像情報、下地色除去部１１２で下地色を除去された画像情報、あるいは、領域分離部１１３で候補領域が分離された画像情報から画像情報の傾きを検出するようにしてもよい。
【００３２】
切出範囲決定部１１６は、特定領域抽出部１１４で抽出された特定領域のデータと、画像傾き検出部１１５で検出された画像情報の傾きとに基づいて、切出範囲を決定する。
【００３３】
画像回転部１１７は、画像傾き検出部１１５で検出された画像情報の傾きに応じた回転角で、画像入力装置２００から入力された画像情報を回転させる。また、画像回転部１１７は、画像サイズ縮小部１１１で縮小された画像情報、下地色除去部１１２で下地色を除去された画像情報、領域分離部１１３で候補領域が分離された画像情報、あるいは、特定領域抽出部１１４で特定領域が抽出された画像情報を回転させるようにしてもよい。
【００３４】
画像切出部１１８は、画像回転部１１７で回転された後の画像情報から、切出範囲決定部１１６で決定された切出範囲を切出し、切出された切出範囲の画像情報を外部記憶装置３００あるいは画像出力装置４００に出力する。
【００３５】
図３は、第１の実施の形態における画像処理装置１００で行なわれる画像処理の流れを示すフローチャートである。図３を参照して、まず、画像入力装置２００から、ＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）の各色成分で表される画像情報が入力され（ステップＳ１１）、画像サイズ縮小部１１１により、ステップＳ１１で入力された画像情報に対して、画像サイズを縮小する処理が施される（ステップＳ１２）。画像サイズを縮小する方法としては、たとえば、画像情報を複数の矩形領域に分割し、それぞれの矩形領域を平均濃度値によって置き換えるという方法がある。このときの矩形領域のサイズは、解像度や画像情報の大きさに基づいて決定すればよい。具体的には、短辺の長さが５００〜１０００画素程度になるように、縮小処理を施すようにすることが望ましい。縮小処理は、以後の画像処理を高速化するために行なうものである。このため、ステップＳ１２は選択的に実行されるようにしてもよい。
【００３６】
そして、下地色除去部１１２により、ステップＳ１２で縮小された画像情報から、下地色が除去される（ステップＳ１３）。下地色を除去する方法としては、たとえば、画像情報のコントラストを強調し、ハイライト領域を除去するという方法がある。ステップＳ１３は選択的に実行されるようにしてもよい。下地色除去処理については、後述する図４で説明する。
【００３７】
次に、ステップＳ１３で下地色を除去された画像情報から、特定領域を抽出する領域抽出処理が実行される（ステップＳ１４）。領域抽出処理については、後述する図５で説明する。
【００３８】
次に、ステップＳ１４で特定領域が抽出された画像情報から、画像情報の傾きを検出する画像傾き検出処理が実行される（ステップＳ１５）。画像傾き検出処理については、後述する図８で説明する。
【００３９】
そして、ステップＳ１４で抽出された特定領域、および、ステップＳ１５で検出された画像情報の傾きに基づき、画像情報が回転された場合に、回転後の画像情報から切出される切出範囲が決定される（ステップＳ１６）。切出範囲決定処理については、後述する図１１で説明する。
【００４０】
最後に、ステップＳ１５で検出された画像情報の傾きに応じた回転角で、ステップＳ１１で入力された画像情報が回転され（ステップＳ１７）、回転後の画像情報から、ステップＳ１６で決定された切出範囲が切出され（ステップＳ１８）、切出された切出範囲の画像情報が、外部記憶装置３００あるいは画像出力装置４００に出力される（ステップＳ１９）。
【００４１】
なお、ステップＳ１７で実行される画像回転処理は、ステップＳ１６で実行される切出範囲決定処理の前に実行されてもよい。
【００４２】
図４は、第１の実施の形態における画像処理装置１００で行なわれる下地色除去処理を説明するための濃度ヒストグラムである。下地色除去処理は、図３で説明した画像処理のステップＳ１３で実行される処理である。図４（Ａ）は、伸張処理前の濃度ヒストグラムである。図４（Ｂ）は、伸張処理後の濃度ヒストグラムである。
【００４３】
図４（Ａ）および図４（Ｂ）を参照して、まず、画像情報のＲＧＢ各成分の濃度ヒストグラムが作成され（図４（Ａ））、各ヒストグラムを最大値方向および最小値方向に伸張する濃度変換処理が行なわれる（図４（Ｂ））。そして、伸張された結果、濃度階調の最大値および最小値を超えた濃度階調については、それぞれ、濃度階調の最大値および最小値とする。このときに、最大値方向の伸張量を大きめに設定することにより、ハイライト領域を除去することが可能である。これによって、下地色を除去することができる。さらに、下地色除去処理は、画像情報全体に対してではなく、画像情報を複数の矩形領域に分割しておき、矩形領域ごとに伸張量を異ならせて行なうようにしてもよい。このようにすることによって、下地色や下地模様の濃淡に左右されることなく、下地色除去処理を施すことが可能となる。
【００４４】
図５は、第１の実施の形態における画像処理装置１００で行なわれる領域抽出処理の流れを示すフローチャートである。領域抽出処理は、図３で説明した画像処理のステップＳ１４で実行される処理である。図５を参照して、領域分離部１１３において、まず、ステップＳ１３で下地色を除去された画像情報が複数の矩形領域に分割される（ステップＳ２１）。
【００４５】
図６は、第１の実施の形態における画像処理装置１００で行なわれる領域抽出処理において画像情報を複数の領域に分割する一例を示す図である。図６（Ａ）は、複数の矩形領域に分割された画像情報を示す図である。図６（Ｂ）は、分割された矩形領域の拡大図である。図６（Ａ）および図６（Ｂ）を参照して、各矩形領域は、本実施の形態においては、８画素×８画素の大きさのブロックとしている。ブロックの大きさは、文字領域と罫線領域とを判別するために、文字の大きさ程度であることが望ましい。
【００４６】
図５に戻って、領域分離部１１３において、ステップＳ２１で分割されたすべての矩形領域について、それぞれ、以下の各ステップが実行される（ステップＳ２２）。まず、矩形領域の明度ヒストグラムが計算される（ステップＳ２３）。そして、ヒストグラム分布が全明度について一様であるか否かが判断され（ステップＳ２４）、一様である場合は、矩形領域が写真領域であると判定され、ステップＳ３６に進み（ステップＳ２５）、一様でない場合は、ステップＳ２６に進む。
【００４７】
次に、ヒストグラム分布がハイライト領域に集中しているか否かが判断され（ステップＳ２６）、ハイライト領域に集中している場合は、矩形領域が余白領域であると判定され、ステップＳ３６に進む（ステップＳ２７）。ヒストグラム分布がハイライト領域に集中しているか否かは、たとえば、明度値を０〜２５５の範囲の値とした場合には、明度値が２３０以上の領域に集中しているか否かによって、判断される。ハイライト領域に集中していない場合は、ステップＳ２８に進む。そして、ステップＳ２８で、矩形領域の彩度成分が一定値以上の画素をカラー画素として、矩形領域に含まれるカラー画素数が計算される。矩形領域に含まれるカラー画素数が一定値以上の場合は、矩形領域が図形領域であると判定され（ステップＳ３１）、ステップＳ３６に進み、矩形領域に含まれるカラー画素数が一定値以下の場合は、ステップＳ３２に進む。
【００４８】
そして、矩形領域に含まれる白画素以外の画素の連結成分が抽出され（ステップＳ３２）、連結成分が矩形領域を横断しているか否かが判断される（ステップＳ３３）。連結成分とは、白画素以外の画素で隣接する画素からなる画素の集合体である。白画素以外の画素の連結成分を抽出する処理に代えて、たとえば、明度成分が一定値以下の画素の連結成分を抽出する処理を行うようにしてもよい。さらに、黒画素（明度値が０の画素）のみの連結成分を抽出するようにしてもよい。連結成分が矩形領域を横断している場合は、矩形領域が罫線領域であると判定され、ステップＳ３６に進み（ステップＳ３４）、連結成分が矩形領域を横断していない場合は、矩形領域が文字領域であると判定され、ステップＳ３６に進む（ステップＳ３５）。
【００４９】
そして、すべての矩形領域についてステップＳ２２〜ステップＳ３５の処理が繰り返され（ステップＳ３６）、各矩形領域は、それぞれ各属性の領域に分離される。次に、隣接する同じ属性の矩形領域がまとめられ、まとめられた矩形領域は、その属性の候補領域として抽出される（ステップＳ３７）。ここで、ある矩形領域Ａ０の縦横斜めの８方向で隣接する８つの矩形領域Ａ１〜Ａ８の過半数が同一の属性ｂである場合、その８つの矩形領域Ａ１〜Ａ８に囲まれる矩形領域Ａ０の属性ｂ０が属性ｂでない場合であっても、矩形領域Ａ０の属性を属性ｂとみなすようにしてもよい。
【００５０】
最後に、特定領域抽出部１１４により、ステップＳ３７で抽出された候補領域が所定の条件を満たすか否かが判断され（ステップＳ３８）、所定の条件を満たす場合は、候補領域が特定領域として抽出される（ステップＳ３９）。ステップ３８およびステップＳ３９で行われる処理を特定領域抽出処理という。そして、図３で説明した画像処理のステップＳ１４に戻る。所定の条件とは、画像情報の画像範囲に対する候補領域の相対位置、あるいは、候補領域の属性により定まる条件であり、予め設定しておいてもよいし、画像情報が入力されるごとにユーザが指定するようにしてもよい。候補領域が重要であるか否かをユーザが指定する方法については、後述する図７で説明する。所定の条件が、画像情報の画像範囲に対する候補領域の相対位置により定まる条件である場合については、後述する第１の実施の形態の変形例で説明する。たとえば、入力する画像情報が文字情報、図形情報、写真情報、罫線情報を含む画像情報であれば、所定の条件は、候補領域が余白領域以外の情報を含む領域であること、つまり、候補領域が文字領域、図形領域、写真領域、罫線領域であること、あるいは、候補領域が画像情報から重要でない情報を含む領域を除いた領域であること、つまり、候補領域が文字領域、図形領域、写真領域であることとすればよい。また、実験結果のデータなどのように、数字や文字にのみ重要性が高い場合には、所定の条件は、候補領域が文字領域であることとすればよい。
【００５１】
なお、画像入力装置１００から入力される画像情報が、ＲＧＢ成分を含む画像情報でなく、グレースケールの画像情報である場合は、ステップＳ２８およびステップＳ２９の処理は行なう必要はない。この場合、図形領域と罫線領域とが同じ属性の領域としてみなされる。
【００５２】
図７は、第１の実施の形態における画像処理装置１００で特定領域を抽出するための条件を設定する設定画面の一例を示す図である。図７を参照して、設定画面は、特定領域を抽出する条件を設定するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）による複数のボタンを含む。そして、複数のボタンのいずれかが指定されることにより、候補領域のうちから特定領域を抽出するための条件として、指定されたボタンに対応する属性が設定される。設定画面は、文字領域および写真領域を特定領域として抽出する条件と設定するための「文字／写真」ボタン、文字領域および図形領域を特定領域として抽出する条件と設定するための「文字／図形」ボタン、文字領域および罫線領域を特定領域として抽出する条件と設定するための「文字／罫線」ボタン、文字領域を特定領域として抽出する条件と設定するための「文字」ボタン、写真領域を特定領域として抽出する条件と設定するための「写真」ボタン、図形領域を特定領域として抽出する条件と設定するための「図形」ボタン、および、罫線領域を特定領域として抽出する条件と設定するための「罫線」ボタンを含む。また、これらのボタンの他に、他の属性を設定するためのボタン、あるいは、複数の属性の組合せを設定するためのボタンが含まれてもよい。
【００５３】
図８は、第１の実施の形態における画像処理装置１００で行なわれる画像傾き検出処理の流れを示すフローチャートである。画像傾き検出処理は、図３で説明した画像処理のステップＳ１５で実行される処理である。
【００５４】
図８を参照して、画像傾き検出部１１５において、まず、画像情報の各画素の明度成分が計算され、明度画像が作成される（ステップＳ４１）。そして、作成された明度画像に対して所定の閾値で２値化処理が行なわれ、２値画像が作成される（ステップＳ４２）。閾値を求める方法としては、たとえば、一般的なエッジ検出フィルタであるＳｏｂｅｌフィルタを用いて画像情報からエッジ成分を求め、全てのエッジ画素に対応する明度値の平均値を求め、この平均値をしきい値とする方法がある。この方法は、２値化のしきい値となる明度値は、文字や図形の境界部分に存在する可能性が高いという性質を利用したものである。
【００５５】
次に、ステップＳ４２で作成された２値画像において、特定領域以外の画素について、画素値が０に変換される（ステップＳ４３）。そして、ステップＳ４３で変換された２値画像から、エッジ成分を最も多く含む正方形領域が、傾き検出領域として検出される（ステップＳ４４）。
【００５６】
図９は、２値画像からエッジ成分を多く含む傾き検出領域を検出する処理の一例を示す図である。図９を参照して、図８で説明した画像傾き検出処理のステップＳ４２で作成された２値画像から、エッジ成分を最も多く含む正方形領域が傾き検出領域として検出される。一般的に、文字が表わされた領域にエッジ成分が比較的多く含まれるため、画像情報に文字が表わされた領域が含まれる場合には、文字が表わされた領域が傾き検出領域として検出されることになる。また、傾き検出領域を正方形領域とすることにより、正方形領域を９０度回転させることで、同じ傾き検出基準で、横書き原稿だけでなく、縦書き原稿についても、画像傾き検出処理を行なうことができる。傾き検出領域は、縦横５００画素程度のサイズであることが好ましい。
【００５７】
図８に戻って、傾き角度検出部１１５において、全検出角度について、ステップＳ４５〜ステップＳ４８のループが実行される（ステップＳ４５）。検出角度とは、後述する累積ヒストグラムを作成する際の傾き検出領域に対する角度をいう。たとえば、−４５度〜４５度までの範囲で、ステップ量を１度とした場合には、９１個の検出角度となり、すべての検出角度について、ステップＳ４５〜ステップＳ４８のループが実行される。まず、傾き検出領域における検出角度方向の各ラインごとに、値が１である画素数がカウントされ、検出角度に対する累積ヒストグラムが作成される（ステップＳ４６）。そして、累積ヒストグラムの起伏度ＵＤ１（ｓ）が数式（１）に従って計算される（ステップＳ４７）。ここで、ｓは、検出角度を示す。そして、ステップＳ４５〜ステップＳ４８のループが繰返される（ステップＳ４８）。
【００５８】
図１０は、検出角度方向の各ラインに対する値が１の画素の数を示す累積ヒストグラムである。図１０（Ａ）は、傾き検出領域の一例を模式的に示す図である。図１０（Ａ）を参照して、矢印は、検出角度方向の各ラインを示している。ラインとは、傾き検出領域を横切る１画素幅の線である。
【００５９】
図１０（Ｂ）は、傾き検出領域に対する累積ヒストグラムの一例である。図１０（Ｂ）を参照して、累積ヒストグラムは、傾き検出領域中のすべてのラインについて、各ライン（第ｉライン）に存在する値が１の画素の度数ｆ（ｉ）を示す。累積ヒストグラムの起伏度ＵＤ１（ｓ）は、ｆ（ｉ）を用いて、数式（１）により計算される。
【００６０】
【数１】
2004046632.tif 000003
【００６１】
図８に戻って、次に、傾き検出領域が９０度回転され（ステップＳ４９）、ステップＳ４５〜ステップＳ４８の処理と同様の処理が、ステップＳ５１〜ステップＳ５４の処理で実行され、各検出角度ｓに対する起伏度ＵＤ２（ｓ）が数式（１）に従って計算される。
【００６２】
最後に、ステップＳ４５〜ステップＳ４８の処理およびステップＳ５１〜ステップＳ５４の処理で計算された起伏度ＵＤ１（ｓ）およびＵＤ２（ｓ）のうち、最も大きい起伏度に対する検出角度ｓが、画像情報の傾きとして検出され（ステップＳ５５）、図３で説明した画像処理のステップＳ１５に戻る。
【００６３】
図１１は、第１の実施の形態における画像処理装置１００で行なわれる切出範囲決定処理の流れを示すフローチャートである。切出範囲決定処理は、図３で説明した画像処理のステップＳ１６で実行される処理である。図１１を参照して、切出範囲決定部１１６において、まず、図３のステップＳ１５で検出された画像情報の傾きに基づき、図３のステップＳ１４で抽出された特定領域が画像情報の重心を中心に回転され、回転後の特定領域が、回転前の画像情報の画像範囲からはみ出すか否かが検出される（ステップＳ６１）。そして、特定領域がはみ出すことが検出された場合は、ステップＳ６２に進み、特定領域がはみ出さないことが検出された場合は、ステップＳ６３に進む。
【００６４】
具体的には、特定領域の輪郭の座標について回転後の座標が計算され、回転後の輪郭の座標が回転前の画像情報の画像範囲からはみ出すか否かが判断される。これは、できるだけ処理する画素数を減らして、処理を高速に行うためである。あるいは、予め、特定領域を囲む最小矩形領域が求められ、その最小矩形領域の４隅の座標について回転後の座標が計算され、回転後の最小矩形領域の４隅の座標が回転前の画像情報の画像範囲からはみ出すか否かが判断されるようにしてもよい。また、特定領域のすべての画素について回転後の座標が計算され、回転後の特定領域のすべての画素の座標が回転前の画像情報の画像範囲からはみ出すか否かが判断されるようにしてもよい。
【００６５】
そして、特定領域がはみ出すことが検出された場合は、ステップＳ６１で回転された特定領域を含む最小矩形範囲が切出範囲に決定され、（ステップＳ６２）図３で説明した画像処理のステップＳ１６に戻る。
【００６６】
また、特定領域がはみ出さないことが検出された場合は、回転前の画像情報の画像範囲が切出範囲に決定され（ステップＳ６３）、図３で説明した画像処理のステップＳ１６に戻る。
【００６７】
図１２は、第１の実施の形態における画像処理装置１００で行なわれる画像処理を説明するための図である。図１２（Ａ）は、原稿５０１を示す図である。図１２（Ａ）を参照して、原稿５０１は、文字情報および図形情報を含む。そして、原稿５０１が画像入力装置２００で画像情報として取込まれ、画像処理装置１００に入力される。このときに、原稿５０１が傾いた状態で取込まれる場合について説明する。
【００６８】
図１２（Ｂ）は、回転前の画像情報５０２を示す図である。図１２（Ｂ）を参照して、画像処理装置１００に入力される回転前の画像情報５０２は、文字情報および図形情報を含む最小矩形範囲の画像情報として入力される。そして、回転前の画像情報５０２から特定領域５１１，５１２が抽出され、画像情報の傾きが検出される。ここで、画像情報に文字情報および図形情報が含まれるので、文字領域５１１および図形領域５１２を特定領域として抽出する条件が設定されている場合は、文字領域および図形領域が特定領域として抽出される。
【００６９】
図１２（Ｃ）は、回転後の画像情報５０３を示す図である。図１２（Ｃ）を参照して、図１２（Ｂ）で検出された傾きに応じた回転角で回転前の画像情報５０２が回転された場合に、回転後の画像情報５０３の特定領域が、回転前の画像情報５０２の画像範囲からはみ出すか否かが検出される。ここでは、回転後の画像情報５０３の特定領域が、回転前の画像情報５０２の画像範囲からはみ出すことが検出される。
【００７０】
図１２（Ｄ）は、切出画像情報５０４を示す図である。図１２（Ｄ）を参照して、図１２（Ｃ）ではみ出すと検出されたので、回転後の画像情報５０３の特定領域５１１，５１２を含む最小矩形範囲が切出範囲に決定され、切出範囲が切出画像情報５０４として切出される。
【００７１】
以上説明したように、第１の実施の形態における画像処理装置１００においては、回転後の画像情報５０３の特定領域が回転前の画像情報５０２の画像範囲からはみ出す場合、回転された後の画像情報から回転後の画像情報５０３の特定領域を含む最小矩形範囲が切出されるので、回転補正後の画像情報から情報が失われるのを防止するとともに、回転補正後の画像情報のデータ量をできるだけ小さくすることができる。
【００７２】
また、第１の実施の形態における画像処理装置１００においては、回転後の画像情報の特定領域が回転前の画像情報の画像範囲からはみ出さない場合、回転後の画像情報から回転前の画像情報の画像範囲が切出される。このため、入力された画像情報と同じ大きさの画像を出力することができる。
【００７３】
さらに、第１の実施の形態における画像処理装置１００においては、予め定められた属性、あるいは、ユーザにより設定された属性の領域が抽出されるので、回転補正後の画像情報から特定の属性の情報が失われるのを防止することができる。
【００７４】
なお、第１の実施の形態においては、画像処理装置１００で行なわれる処理について説明したが、図３に示した処理を実行する画像処理方法、図３に示した処理をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体として発明を捉えることができる。
【００７５】
（第１の実施の形態の変形例）
第１の実施の形態においては、画像処理装置１００の特定領域抽出部１１４で特定領域を抽出するときに、領域の属性に応じて、特定領域を抽出するようにした。これに対して、第１の実施の形態の変形例においては、特定領域抽出部１１４で特定領域を抽出する条件を、画像情報の画像範囲に対する候補領域の相対位置により定まる条件とした。
【００７６】
第１の実施の形態の変形例は、第１の実施の形態の図５で説明した領域抽出処理のステップ３８およびステップＳ３９で行われる特定領域抽出処理を改良したものである。
【００７７】
図１３は、第１の実施の形態の変形例における画像処理装置１００で行なわれる特定領域抽出処理を説明するための図である。図１３（Ａ）は、入力された画像情報を示す図である。図１３（Ａ）を参照して、入力された画像情報は、文字情報と図形情報と罫線情報とを含む。罫線情報は、それぞれ、画像情報の上端の近傍と下端の近傍とに配置されている。
【００７８】
図１３（Ｂ）は、抽出された候補領域を示す図である。図１３（Ｂ）を参照して、画像入力装置２００から画像処理装置１００に、原稿が画像情報として入力される。そして、文字情報、図形情報、および、罫線情報を含む領域が、それぞれ、文字領域５１１、図形領域５１２、および、罫線領域５１３として抽出される。
【００７９】
図１３（Ｃ）は、候補領域の重心を示す図である。図１３（Ｃ）を参照して、文字領域５１１の重心Ｇ１，Ｇ２、図形領域５１２の重心Ｇ３、および、罫線領域５１３の重心Ｇ０，Ｇ４が求められる。
【００８０】
図１３（Ｄ）は、画像情報の重心と候補領域の重心との相対位置を示す図である。図１３（Ｄ）を参照して、画像情報の画像範囲に対する候補領域の相対位置に応じて、それぞれの候補領域の評価値が計算される。具体的には、画像情報の画像範囲の重心に対する候補領域の重心の相対位置に応じて、それぞれの候補領域の評価値が計算される。
【００８１】
図１４は、画像情報に対する候補領域の相対位置を示す図である。図１４を参照して、画像情報の画像範囲の重心Ｏを原点とした場合、候補領域の重心Ｇｎの座標は、（ａｎ，ｂｎ）と表わせる。また、画像情報の画像範囲の横方向の長さをｗ、および、縦方向の長さをｈとする。このときの候補領域の評価値Ｐｎは、たとえば、数式（２）で計算することができる。
【００８２】
数式（２）によれば、画像情報の画像範囲の重心Ｏに対する候補領域の重心Ｇｎの相対位置が近いほど、評価値Ｐｎが大きくなり、候補領域の重心Ｇｎが画像情報の画像範囲の重心Ｏと重なっている場合は、評価値Ｐｎ＝１００となる。また、候補領域の重心Ｇｎが画像情報の画像範囲の最端部にある場合は、評価値Ｐｎ＝０となる。すなわち、評価値Ｐｎは、候補領域の重心Ｇｎのｘ座標値の絶対値｜ａｎ｜と、ｙ座標値の絶対値｜ｂｎ｜とに比例する。
【００８３】
候補領域の評価値Ｐｎの計算方法については、画像情報の画像範囲に対する候補領域の相対位置により評価値Ｐｎが計算されるものであれば、他の方法、たとえば、数式（３）を用いることができる。
【００８４】
数式（３）によれば、候補領域の重心Ｇｎが画像情報の画像範囲の重心Ｏと重なっている場合は、評価値Ｐｎ＝ｗｈとなる。また、候補領域の重心Ｇｎが画像情報の画像範囲の最端部にある場合は、評価値Ｐｎ＝０となる。
【００８５】
数式（２）あるいは数式（３）により計算される評価値Ｐｎは、候補領域の重心Ｇｎが画像情報の画像範囲の重心Ｏに近いほど大きい値になる。このため、所定の条件を、評価値Ｐｎがある値以上であるという条件とすることにより、画像情報の画像範囲の重心に近い候補領域が、特定領域として抽出されることになる。
【００８６】
また、数式（２）および数式（３）で計算される評価値Ｐｎは、候補領域の重心Ｇｎが画像情報の画像範囲の重心Ｏと近いほど、大きい値になるが、候補領域の重心Ｇｎが画像情報の画像範囲の重心Ｏと近いほど、評価値Ｐｎが小さな値になるような計算方法であってもよい。この場合は、所定の条件を、評価値Ｐｎがある値以下であるという条件とすることにより、画像情報の画像範囲の重心に近い候補領域が、特定領域として抽出されることになる。さらに、画像情報の画像範囲に対する候補領域の相対位置に相関して単調増加あるいは単調減少する候補領域の評価値であれば、他の評価値であってもよい。
【００８７】
図１３（Ｄ）に戻って、数式（２）によって、各候補領域の重心Ｇ０〜Ｇ４に対する評価値が、それぞれ、Ｐ０＝５０，Ｐ１＝９０，Ｐ２＝８０，Ｐ３＝７０，Ｐ４＝５０と計算されたとする。
【００８８】
ここで、所定の条件が、たとえば、画像情報に対する候補領域の相対位置から計算される評価値Ｐｎがしきい値６０を超えることが条件として、予め定められている場合、評価値Ｐ０，Ｐ４に対応する２つの罫線領域５１３は特定領域として抽出されず、評価値Ｐ１，Ｐ２，Ｐ３に対応する２つの文字領域５１１および図形領域５１２は特定領域として抽出される。
【００８９】
また、所定の条件は、画像情報の画像範囲に対する候補領域の相対位置および候補領域の属性により定まる条件としてもよい。たとえば、画像情報に対する候補領域の相対位置から計算される評価値Ｐｎに候補領域の属性に応じた係数Ｋを掛けることによって、Ｐｎ’＝Ｋ×Ｐｎを計算し、Ｐｎ’が予め定められたしきい値を超える候補領域を特定領域として抽出する。具体的には、文字領域、図形領域、写真領域、罫線領域、および、余白領域に対する係数Ｋを、それぞれ、Ｋ１＝１．０，Ｋ２＝０．８，Ｋ３＝０．８，Ｋ４＝０．６，Ｋ５＝０とした場合、評価値Ｐｎ’は、Ｐ０’＝５０×Ｋ４＝３０，Ｐ１’＝９０×Ｋ１＝９０，Ｐ２’＝８０×Ｋ１＝８０，Ｐ３’＝７０×Ｋ２＝５６，Ｐ４’＝５０×Ｋ４＝３０となる。そして、所定の条件が、たとえば、画像情報に対する候補領域の相対位置から計算される評価値Ｐｎ’がしきい値５０を超えることが条件であるとすると、評価値Ｐ１’，Ｐ２’，Ｐ３’に対応する２つの文字領域５１１および図形領域５１２が特定領域として抽出される。
【００９０】
また、所定の条件は、候補領域の大きさにより定まる条件としてもよい。この場合、候補領域の大きさに応じて候補領域の評価値が計算され、その評価値に応じて特定領域が抽出される。すなわち、候補領域の大きさに相関して単調増加あるいは単調減少する候補領域の評価値が計算され、その評価値が所定の条件を満たす候補領域が特定領域として抽出される。
【００９１】
さらに、所定の条件は、候補領域の属性および大きさにより定まる条件としてもよいし、候補領域の大きさおよび画像情報の画像範囲に対する候補領域の相対位置により定まる条件としてもよいし、候補領域の属性、大きさおよび画像情報の画像範囲に対する候補領域の相対位置により定まる条件としてもよい。
【００９２】
図１５は、第１の実施の形態の変形例における画像処理装置１００で行なわれる画像処理を説明するための図である。図１５（Ａ）は、原稿５０１を示す図である。図１５（Ａ）を参照して、原稿５０１は、文字情報および図形情報を含む。そして、原稿５０１が画像入力装置２００で画像情報として取込まれ、画像処理装置１００に入力される。このときに、原稿５０１が傾いた状態で取込まれる場合について説明する。
【００９３】
図１５（Ｂ）は、回転前の画像情報５０２を示す図である。図１５（Ｂ）を参照して、画像処理装置１００に入力される回転前の画像情報５０２は、文字情報および図形情報を含む最小矩形範囲の画像情報として入力される。そして、回転前の画像情報５０２から文字領域５１１および図形領域５１２が候補領域として抽出され、画像情報の傾きが検出される。そして、文字領域５１１の重心Ｇ１（ａ１，ｂ１）、および、図形領域５１２の重心Ｇ２（ａ２，ｂ２）が求められ、それぞれの重心に対する評価値Ｐ１，Ｐ２が計算される。ここでは、評価値Ｐ１が予め定められたしきい値を越し、評価値Ｐ２が予め定められたしきい値を越さないとする。そうすると、文字領域５１１が特定領域として抽出され、図形領域５１２は特定領域として抽出されない。
【００９４】
図１５（Ｃ）は、回転後の画像情報５０３を示す図である。図１５（Ｃ）を参照して、図１５（Ｂ）で検出された傾きに応じた回転角で回転前の画像情報５０２が回転された場合に、特定領域として抽出された文字領域５１１が、回転前の画像情報５０２の画像範囲からはみ出すか否かが検出される。ここでは、文字領域５１１が、回転前の画像情報５０２の画像範囲からはみ出す。
【００９５】
図１５（Ｄ）は、切出画像情報５０４を示す図である。図１５（Ｄ）を参照して、図１５（Ｃ）ではみ出すと検出されたので、特定領域として抽出された文字領域５１１を含む最小矩形範囲が切出範囲に決定され、切出範囲が切出画像情報５０４として切出される。
【００９６】
第１の実施の形態の変形例においては、画像情報の画像範囲の重心を基準点として候補領域の相対位置を求めるようにしたが、基準点は、重心に限られず、画像情報の画像範囲中の点であれば、基準点を任意に定めることができる。
【００９７】
以上説明したように、第１の実施の形態の変形例における画像処理装置１００においては、入力された画像情報から、特定領域の候補となる複数の候補領域が抽出され、画像情報の画像範囲に対する候補領域の相対位置に基づいて、複数の候補領域のうちから、候補領域が特定領域として抽出される。その結果、回転補正後の画像情報から画像情報の画像範囲に対して特定の相対位置にある情報が失われるのを防止することができる。
【００９８】
【数２】
2004046632.tif 000004
【００９９】
［第２の実施の形態］
第１の実施の形態においては、画像処理装置１００の切出範囲決定部１１６で切出範囲を決定するときに、特定領域を含むように切出範囲を決定するようにしたが、第２の実施の形態においては、画像処理装置１００Ａの切出範囲決定部１１６Ａで切出範囲を決定するときに、特定領域に対する相対位置が所定の条件を満たすように切出範囲を決定する。
【０１００】
第２の実施の形態の画像処理システムの構成は、図１で説明した第１の実施の形態の画像処理システムと同様であるので説明は繰返さない。
【０１０１】
図１６は、第２の実施の形態における画像処理装置１００Ａの機能を示す機能ブロック図である。図１６を参照して、画像処理装置１００Ａは、画像サイズ縮小部１１１と、下地色除去部１１２と、領域分離部１１３と、特定領域抽出部１１４と、画像傾き検出部１１５と、切出範囲決定部１１６Ａと、画像回転部１１７と、画像切出部１１８とを含む。
【０１０２】
画像サイズ縮小部１１１と、下地色除去部１１２と、領域分離部１１３と、特定領域抽出部１１４と、画像傾き検出部１１５と、画像回転部１１７と、画像切出部１１８とは、図２で説明した第１の実施の形態における画像処理装置１００の機能と同様であるので説明は繰返さない。
【０１０３】
切出範囲決定部１１６Ａは、特定領域抽出部１１４で抽出された特定領域が画像傾き検出部１１５で検出された画像情報の傾きに基づいて回転された後の特定領域に対する相対位置に応じて、回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に得点を付与し、得点を付与された複数の候補範囲のうち、得点が最も良くなる候補範囲を切出範囲に決定する。切出範囲を決定することは、すなわち、切出範囲の位置を決定することである。
【０１０４】
図１７は、候補範囲５０５に対する特定領域の相対位置を示す図である。図１７を参照して、画像情報の画像範囲の重心Ｏを原点とした場合、特定領域の重心Ｇｎの座標は、（ａｎ，ｂｎ）と表わせる。画像情報の画像範囲の横方向の長さはｗ、および、縦方向の長さはｈである。また、切出範囲を決定するための候補範囲の重心Ｇの座標は、（ｘ，ｙ）とする。そして、特定領域に対する候補範囲の相対位置が所定の条件を満たすよう候補範囲の重心Ｇの位置を最適化することによって、切出範囲が決定される。
【０１０５】
第２の実施の形態における画像処理装置１００Ａで行なわれる画像処理の流れは、図３で説明した第１の実施の形態における画像処理装置１００で行なわれる画像処理の流れのステップＳ１６で実行される切出範囲決定処理を変更したものである。
【０１０６】
図１８は、第２の実施の形態における画像処理装置１００Ａで行なわれる切出範囲決定処理の流れを示すフローチャートである。図１８を参照して、画像処理装置１００Ａの切出範囲決定部１１６においては、まず、画像情報の画像範囲の横方向の長さｗ、および、縦方向の長さｈが取得され（ステップＳ７１）、回転後の特定領域の重心Ｇｎの座標（ａｎ，ｂｎ）が計算される（ステップＳ７２）。
【０１０７】
そして、候補範囲に対する各特定領域に対して評価値Ｐｎ（ｘ，ｙ）が計算される（ステップＳ７３）。ステップＳ７３で計算される評価値は、候補範囲に対する評価値である。ステップＳ７３で計算された各特定領域の評価値Ｐｎ（ｘ，ｙ）の合計である評価関数Ｐ（ｘ，ｙ）が計算される（ステップＳ７４）。すなわち、ステップＳ７３およびステップＳ７４において、数式（４）で表わされる候補範囲に対する評価関数Ｐ（ｘ，ｙ）が計算される。
【０１０８】
次に、評価関数Ｐ（ｘ，ｙ）について、最適化が終了しているか否かが判断され（ステップＳ７５）、最適化が終了していると判断された場合は、ステップＳ７７に進み、最適化が終了していないと判断された場合は、候補範囲の重心（ｘ，ｙ）が変更されて（ステップＳ７６）、ステップＳ７３に戻る。ここで、最適化とは、評価関数Ｐ（ｘ，ｙ）の値を最大とする候補範囲の重心（ｘ，ｙ）を求めることである。
【０１０９】
なお、評価関数Ｐ（ｘ，ｙ）は、数式（４）で表わされるものには限定されず、特定領域に対する画像範囲の相対位置によって表わされる数式であれば、他の数式、たとえば、数式（５）を用いることができる。
【０１１０】
最後に、ステップＳ７３〜Ｓ７６で最適化された点（ｘ，ｙ）を重心とする候補範囲が切出範囲に決定される（ステップＳ７７）。
【０１１１】
図１８で説明した切出範囲決定処理においては、特定領域に対する画像範囲の相対位置が所定の条件を満たすような候補範囲を切出範囲に決定するようにしたが、特定領域に対する画像範囲の相対位置および特定領域の属性により定まる評価関数Ｐ’（ｘ，ｙ）を最適化するような点（ｘ，ｙ）を重心とする候補範囲を切出範囲に決定するようにしてもよい。評価関数Ｐ’（ｘ，ｙ）は、たとえば、数式（６）を用いることができる。
【０１１２】
ここで、Ｋｎは、その特定領域の属性に応じた係数である。たとえば、特定領域が文字領域の場合は、Ｋｎ＝１．０であり、同様に、特定領域が図形領域、写真領域、罫線領域、および、余白領域の場合は、それぞれ、Ｋｎ＝０．８，Ｋｎ＝０．８，Ｋｎ＝０．６，Ｋｎ＝０である。
【０１１３】
また、特定領域に対する画像範囲の相対位置、および、特定領域の大きさにより定まる評価関数を最適化するような点を重心とする候補範囲を切出範囲に決定するようにしてもよいし、特定領域に対する画像範囲の相対位置、特定領域の属性、および、特定領域の大きさにより定まる評価関数を最適化するような点を重心とする候補範囲を切出範囲に決定するようにしてもよい。
【０１１４】
さらに、数式（４）、数式（５）あるいは数式（６）で計算される評価値Ｐあるいは評価値Ｐ’は、切出範囲の重心Ｇ（ｘ，ｙ）が各特定領域の重心Ｇｎ（ａｎ，ｂｎ）に対して最も良い位置にあるときに、最も大きい値になるが、逆に、切出範囲の重心Ｇ（ｘ，ｙ）が各特定領域の重心Ｇｎ（ａｎ，ｂｎ）に対して最も良い位置にあるときに、最も値が小さくなる評価関数を用いるようにしてもよい。
【０１１５】
図１９は、第２の実施の形態における画像処理装置１００Ａで行なわれる画像処理を説明するための第１の図である。図１９（Ａ）は、原稿５０１を示す図である。図１９（Ａ）を参照して、原稿５０１は、左上に文字情報を含む。そして、原稿５０１が画像入力装置２００で画像情報として取込まれ、画像処理装置１００Ａに入力される。このときに、原稿５０１が傾いた状態で取込まれる場合について説明する。
【０１１６】
図１９（Ｂ）は、回転前の画像情報５０２を示す図である。図１９（Ｂ）を参照して、画像処理装置１００Ａに入力される回転前の画像情報５０２は、文字情報を含む。そして、回転前の画像情報５０２から特定領域が抽出され、画像情報の傾きが検出される。ここでは、特定領域抽出処理で、文字領域が特定領域として抽出される。
【０１１７】
図１９（Ｃ）は、回転後の画像情報５０３を示す図である。図１９（Ｃ）を参照して、回転後の特定領域に対する相対位置に応じて、回転前の画像情報５０２と方向および大きさが同じ複数の候補範囲に評価値が付与され、評価値を付与された複数の候補領域のうち、評価値が最も良くなる候補範囲５０４が切出範囲に決定される。ここでは、図１９で説明した数式（４）で示される評価関数Ｐ（ｘ，ｙ）を最適化する点（ｘ，ｙ）を重心とする候補範囲５０４が切出範囲に決定される。このように、特定領域が１つである場合は、特定領域の重心が重心となる候補範囲が切出範囲に決定される。
【０１１８】
図１９（Ｄ）は、切出画像情報５０４を示す図である。図１９（Ｄ）を参照して、図１９（Ｃ）で決定された切出範囲が切出画像情報５０４として切出される。
【０１１９】
図２０は、第２の実施の形態における画像処理装置１００Ａで行なわれる画像処理を説明するための第２の図である。図２０（Ａ）は、原稿５０１を示す図である。図２０（Ａ）を参照して、原稿５０１は、罫線情報と、文字情報と、図形情報とを含む。そして、原稿５０１が画像入力装置２００で画像情報として取込まれ、画像処理装置１００Ａに入力される。このときに、原稿５０１が傾いた状態で取込まれる場合について説明する。
【０１２０】
図２０（Ｂ）は、回転前の画像情報５０２を示す図である。図２０（Ｂ）を参照して、画像処理装置１００Ａに入力される回転前の画像情報５０２は、罫線情報と、文字情報と、図形情報とを含む。そして、回転前の画像情報５０２から特定領域が抽出され、画像情報の傾きが検出される。ここでは、特定領域抽出処理で、罫線領域と、文字領域と、図形領域とが特定領域として抽出される。
【０１２１】
図２０（Ｃ）は、回転後の画像情報５０３を示す図である。図２０（Ｃ）を参照して、回転後の特定領域に対する相対位置に応じて、回転前の画像情報５０２と方向および大きさが同じ複数の候補範囲に評価値が付与され、評価値を付与された複数の候補領域のうち、評価値が最も良くなる候補範囲５０４が切出し範囲に決定される。ここでは、図１９で説明した数式（６）で示される評価関数Ｐ’（ｘ，ｙ）を最適化する点ＧＢ（ｘＢ，ｙＢ）を重心とする候補範囲５０４が切出範囲に決定される。つまり、候補範囲５０４の重心ＧＢ（ｘＢ，ｙＢ）に対する評価値ＰＢ（ｘＢ，ｙＢ）は、他の候補範囲５０２の重心ＧＡ（ｘＡ，ｙＡ）に対する評価値ＰＡ（ｘＡ，ｙＡ）と比較して、最も高い値となる。他の候補範囲５０２では、文字領域と図形領域との一部がはみ出す。一方、候補範囲５０４では、罫線領域の一部ははみ出すが、文字領域と図形領域ははみ出さない。このため、候補範囲５０４が切出範囲に決定されることにより、文字情報および図形情報などの重要な情報が切出範囲から失われるのを防止することができる。
【０１２２】
図２０（Ｄ）は、切出画像情報５０４を示す図である。図２０（Ｄ）を参照して、図２０（Ｃ）で決定された切出範囲が切出し画像情報５０４として切出される。
【０１２３】
以上説明したように、第２の実施の形態における画像処理装置１００Ａにおいては、回転された後の画像情報から特定領域に対する相対位置に応じて、回転される前の画像情報の画像範囲と方向および大きさが同じ複数の候補範囲に評価値（得点）が付与され、評価値（得点）を付与された複数の候補範囲のうち、評価値（得点）が最も良くなる候補範囲が切出されるので、回転補正後の画像情報から重要な情報が失われるのを防止することができる。また、回転補正後の画像情報に含まれる情報の配置を最適化することができる。その結果、特定領域が１つである場合は、特定領域は切出範囲の中心に配置される。また、特定領域が複数ある場合は、切出範囲に対する複数の特定領域の相対位置が最も良くなる切出範囲で切出される。
【０１２４】
なお、第２の実施の形態においては、画像処理装置１００Ａで行なわれる処理について説明したが、図３に示した処理のステップＳ１６で図１８に示した切出範囲決定処理を行なうようにした処理を実行する画像処理方法、図３に示した処理のステップＳ１６で図１８に示した切出範囲決定処理を行なうようにした処理をコンピュータに実行させるための画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体として発明を捉えることができる。
【０１２５】
【数３】
2004046632.tif 000005
【０１２６】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および、範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本発明の実施の形態の１つにおける画像処理システムの構成の一例を示す図である。
【図２】第１の実施の形態における画像処理装置の機能を示す機能ブロック図である。
【図３】第１の実施の形態における画像処理装置で行なわれる画像処理の流れを示すフローチャートである。
【図４】第１の実施の形態における画像処理装置で行なわれる下地色除去処理を説明するための濃度ヒストグラムである。
【図５】第１の実施の形態における画像処理装置で行なわれる領域抽出処理の流れを示すフローチャートである。
【図６】第１の実施の形態における画像処理装置で行なわれる領域抽出処理において画像情報を複数の領域に分割する一例を示す図である。
【図７】第１の実施の形態における画像処理装置で特定領域を抽出するための条件を設定する設定画面の一例を示す図である。
【図８】第１の実施の形態における画像処理装置で行なわれる画像傾き検出処理の流れを示すフローチャートである。
【図９】２値画像からエッジ成分を多く含む傾き検出領域を検出する処理の一例を示す図である。
【図１０】検出角度方向の各ラインに対する値が１の画素の数を示す累積ヒストグラムである。
【図１１】第１の実施の形態における画像処理装置で行なわれる切出範囲決定処理の流れを示すフローチャートである。
【図１２】第１の実施の形態における画像処理装置で行なわれる画像処理を説明するための図である。
【図１３】第１の実施の形態の変形例における画像処理装置で行なわれる特定領域抽出処理を説明するための図である。
【図１４】画像情報に対する候補領域の相対位置を示す図である。
【図１５】第１の実施の形態の変形例における画像処理装置で行なわれる画像処理を説明するための図である。
【図１６】第２の実施の形態における画像処理装置の機能を示す機能ブロック図である。
【図１７】候補範囲に対する特定領域の相対位置を示す図である。
【図１８】第２の実施の形態における画像処理装置で行なわれる切出範囲決定処理の流れを示すフローチャートである。
【図１９】第２の実施の形態における画像処理装置で行なわれる画像処理を説明するための第１の図である。
【図２０】第２の実施の形態における画像処理装置で行なわれる画像処理を説明するための第２の図である。
【図２１】従来の技術における画像処理装置で行なわれる画像処理を説明するための図である。
【符号の説明】
１００　画像処理装置、１１１　画像サイズ縮小部、１１２　下地色除去部、１１３　領域分離部、１１４　特定領域抽出部、１１５　画像傾き検出部、１１６，１１６Ａ　切出範囲決定部、１１８　画像回転部、１１９　画像切出部、２００　画像入力装置、３００　外部記憶装置、４００　画像出力装置、５０１　原稿、５０２　回転前の画像情報、５０３　回転後の画像情報、５０４　切出画像情報、５０５　候補範囲、５１１　文字領域、５１２　図形領域、５１３　罫線領域。
【図１】
2004046632.tif 000006
【図２】
2004046632.tif 000007
【図３】
2004046632.tif 000008
【図４】
2004046632.tif 000009
【図５】
2004046632.tif 000010
【図６】
2004046632.tif 000011
【図７】
2004046632.tif 000012
【図８】
2004046632.tif 000013
【図９】
2004046632.tif 000014
【図１０】
2004046632.tif 000015
【図１１】
2004046632.tif 000016
【図１２】
2004046632.tif 000017
【図１３】
2004046632.tif 000018
【図１４】
2004046632.tif 000019
【図１５】
2004046632.tif 000020
【図１６】
2004046632.tif 000021
【図１７】
2004046632.tif 000022
【図１８】
2004046632.tif 000023
【図１９】
2004046632.tif 000024
【図２０】
2004046632.tif 000025
【図２１】
2004046632.tif 000026