(57)【特許請求の範囲】
【請求項１】
原稿を撮影して得られた画像のエッジを検出するエッジ検出手段と、
上記エッジから原稿のスキューを検出するスキュー検出手段と、
該スキュー検出手段により検出されたスキューに応じて上記画像中の所定領域の範囲（Ｌ０）を変化させるとともに、その検出されたスキューに基づいて上記所定領域の画像のみの変形を行う画像変形手段と、
該画像変形手段により変形された画像のエッジから原稿の高さを計算する高さ演算手段と、
上記画像変形手段により変形された画像のエッジから画像の拡大率を計算する拡大率演算手段と、
上記原稿の高さと上記拡大率とに基づいて上記画像変形手段により変形された画像を伸縮変換して歪みを補正する歪み補正手段とを備えたことを特徴とする画像処理装置。
【請求項２】
原稿を撮影して得られた画像のエッジを検出するエッジ検出手段と、
上記エッジから原稿のスキューを検出するスキュー検出手段と、
上記エッジから原稿の高さを計算する高さ演算手段と、
上記エッジから画像の拡大率を計算する拡大率演算手段と、
上記スキュー検出手段により検出されたスキューに基づいて上記画像中の所定領域の画像を複数の台形領域に分割し、上記スキューと上記原稿の高さと上記拡大率とに基づいて上記台形領域ごとに伸縮変換して歪みを補正する歪み補正手段とを備えたことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、上記歪み補正手段は、スキューに応じて上記所定領域の範囲（Ｌ０）を変化させることを特徴とする画像処理装置。
【請求項４】
請求項１〜３に記載の画像処理装置において、上記歪み補正手段で歪み補正された画像の輝度値を補正する輝度補正部をさらに備えたことを特徴とする画像処理装置。
【請求項５】
請求項１〜３に記載の画像処理装置において、上記エッジ検出手段は、画像のエッジの変化量が大きくなるに応じて検出区間を小さくすることを特徴とする画像処理装置。
【請求項６】
画像変形手段は、上記所定領域の範囲を画像の原稿の綴じ目が、画像中の原稿の綴じ目の予め定める基準線（ｂ）と垂直になるように変化させることを特徴とする請求項１〜５のうちの１つに記載の画像処理装置。
【請求項７】
スキュー検出手段は、
エッジ検出手段によって検出されたエッジのうち、極小、極大の各点を求め、これらの極小点と極大点とを結ぶ直線（ａ）と、画像中の原稿の綴じ目の予め定める基準線（ｂ）との角度αをスキューとして検出することを特徴とする請求項１〜６のうちの１つに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関するものであり、特に本等の空間的に曲がった原稿の画像を歪みのない画像に補正するための画像処理装置に関する。
【０００２】
【従来の技術】
従来の技術として、例えば特開平６−１６４８５２号公報に示されているように、表面を黒くした原稿ガイドを原稿台に設け、本等の原稿の像と原稿台の像との境界を検出し、その検出結果に基づいて画像の変倍率を算出し、画像の歪みを補正するものがある。
【０００３】
また、特開平５ー１６１００４号公報に示されているように、原稿と原稿台との境界から画像の歪み及び輝度むらを補正するものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平６−１６４８５２号公報の技術では、行曲がり補正（原稿の縦方向の膨らみの歪み補正）しか行っておらず、原稿の傾斜や回転による歪み補正については述べられてない。加えて、輝度補正を行っていないため、本の綴じ目付近の影になる部分が黒く写るといった問題があった。
【０００５】
また、上記技術では、原稿の傾斜や回転といったスキューが全く考慮されていず、原稿の高さを本の綴じ目と垂直な方向で同一として、原稿上部の境界からのエッジのみを用いて補正を行うため、原稿を傾けたり、回転させて置いた場合、本の綴じ目付近の歪みの大きい部分を補正する際、原稿下部を正しく補正できないといった問題があった。
【０００６】
さらに、原稿ガイドに沿って被写体である原稿を配置しても、通常、原稿のスキューが生じ、この場合も同様に、本の綴じ目付近の歪み補正が充分できないといった問題があった。
【０００７】
本発明の目的は、上記問題点を解決するため、スキューがかかった原稿であっても、歪みを補正し、自然な画像を出力することのできる画像処理装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、原稿を撮影して得られた画像のエッジを検出するエッジ検出手段と、
上記エッジから原稿のスキューを検出するスキュー検出手段と、
該スキュー検出手段により検出されたスキューに応じて上記画像中の所定領域の範囲（Ｌ０）を変化させるとともに、その検出されたスキューに基づいて上記所定領域の画像のみの変形を行う画像変形手段と、
該画像変形手段により変形された画像のエッジから原稿の高さを計算する高さ演算手段と、
上記画像変形手段により変形された画像のエッジから画像の拡大率を計算する拡大率演算手段と、
上記原稿の高さと上記拡大率とに基づいて上記画像変形手段により変形された画像を伸縮変換して歪みを補正する歪み補正手段とを備えたことを特徴とする画像処理装置である。
【０００９】
本発明は、原稿を撮影して得られた画像のエッジを検出するエッジ検出手段と、
上記エッジから原稿のスキューを検出するスキュー検出手段と、
上記エッジから原稿の高さを計算する高さ演算手段と、
上記エッジから画像の拡大率を計算する拡大率演算手段と、
上記スキュー検出手段により検出されたスキューに基づいて上記画像中の所定領域の画像を複数の台形領域に分割し、上記スキューと上記原稿の高さと上記拡大率とに基づいて上記台形領域ごとに伸縮変換して歪みを補正する歪み補正手段とを備えたことを特徴とする画像処理装置である。
【００１０】
本発明は、前記画像処理装置において、上記歪み補正手段は、スキューに応じて上記所定領域の範囲（Ｌ０）を変化させることを特徴とする画像処理装置である。
【００１１】
本発明は、前記画像処理装置において、上記歪み補正手段で歪み補正された画像の輝度値を補正する輝度補正部をさらに備えたことを特徴とする。
【００１２】
本発明は、前記画像処理装置において、上記エッジ検出手段は、画像のエッジの変化量が大きくなるに応じて検出区間を小さくすることを特徴とする。
【００１３】
本発明は、画像変形手段は、上記所定領域の範囲を画像の原稿の綴じ目が、画像中の原稿の綴じ目の予め定める基準線（ｂ）と垂直になるように変化させることを特徴とする。
【００１４】
本発明は、スキュー検出手段は、
エッジ検出手段によって検出されたエッジのうち、極小、極大の各点を求め、これらの極小点と極大点とを結ぶ直線（ａ）と、画像中の原稿の綴じ目の予め定める基準線（ｂ）との角度αをスキューとして検出することを特徴とする。
【００１５】
【発明の実施の形態】
以下、図面を用いて、本発明の実施の形態について詳細に説明する。
【００１６】
（第１参考例）
図１に、原稿を上向きに配置して原稿を読み取る形態の画像入力装置の模式図を示す。本等の綴じ目のある原稿１は上向きにして原稿ガイド２に沿って原稿台３に配置され、上部のＣＣＤの撮像素子とレンズ系で構成される画像撮像部４によって撮影される。原稿台３と原稿ガイド２は互いに垂直に配設され、原稿１の背景色の白色と区別できる黒色になっている。原稿１は原稿台２の上に置かれるため、高いところほど画像撮像部４に近付き、画像は拡大される。画像撮像部４で撮影された信号をＡ／Ｄ変換してメモリや記憶媒体に一旦記憶された画像に対して、画像処理を行う。なお、第１参考例では、画像撮像部４は、原稿１に対して固定であり、原稿１の画像全体を取り込めるが、原稿１が大きな場合は、画像撮像部４は、原稿１に対して相対的に可動できるようにしてもよい。
【００１７】
図２に、画像撮像部４で撮影された信号をＡ／Ｄ変換してメモリ等に一旦記憶された画像を模式的に示す。ｘｙ座標は、メモリ等に一旦記憶された画像の画素の位置を表現するための座標であり、原稿像２１から求められるエッジは、原稿ガイド像２２と原稿台像２３とで形成されるベースライン２４までの距離ｙ０とベースライン２４からの変位ｄ（ｘ）により表現される。
【００１８】
図３に、原稿を下向きに配置して原稿を読み取る形態の画像入力装置の模式図を示す。このような画像入力装置は、例えば、フラットベットのスキャナや複写機がある。原稿１は下向きに原稿台のガラス面５に配置され、画像撮像部６をスキャンして撮影される。原稿のエッジを検出するため、例えばスキャナの蓋を黒色にする、もしくは蓋を空けたまま撮影された信号をＡ／Ｄ変換してメモリや記憶媒体に一旦記憶される。原稿下向きの場合は、本の綴じ目など、ガラス面５から浮いた部分は画像撮像部６から遠ざかるため、画像は縮小される。
【００１９】
図４に、画像撮像部６で撮影した画像を模式的に示す。図４の符号は、図２と同様であるので、説明は省略する。
【００２０】
図５に、第１参考例の画像処理装置のブロック図を示す。画像処理装置は、中央処理部や計算結果を記憶するレジスタ等の通常の計算機で構成され、画像入力装置内に設けてもよいし、別途設けても良い。ここで、画像処理の対象は、原稿を上向きにして画像入力した場合、下向きにして画像入力した場合のいづれの画像でもよい。１０は入力された画像から原稿と原稿台または原稿ガイドとの境界からエッジを検出するエッジ検出部であり、１１はエッジ検出部１０が検出したエッジに基づいて原稿の綴じ目（基準線）とそのスキューを検出するスキュー検出部であり、１２はスキュー検出部１１で検出したスキューから画像全体の回転を補正する回転補正部であり、１３，１４は回転補正部１２により回転補正された画像をエッジ検出部１０により再びエッジの検出を行い、検出されたエッジに基づき画像の拡大率を計算する拡大率演算部、原稿の高さを計算する高さ演算部である。１５は回転補正部１２によって回転補正された画像を、拡大率演算部１３及び高さ演算部１４より得られた情報に基づき画像全体の歪みを補正して、矩形形状の画像を得るための歪み補正部であり、１６は歪み補正部１５により歪みが補正された画像の輝度を補正する輝度補正部である。
【００２１】
図７及び図８を用いて、エッジ検出部１０がエッジ検出を行う手順について説明する。エッジ検出部１０は、図７に示すように、原稿のエッジ付近の色が白色である場合、画像中の原稿の外側の点Ａからｙ方向にスキャンし、輝度値がある閾値を越える位置を原稿のエッジとする。なお、図８に示すように、原稿のエッジを検出する際、ノイズ等の影響をなくすため、ある閾値を越える点が数点しか連続しない場合、その点をエッジとはせず、エッジの探索を続ける。
【００２２】
閾値でエッジを判断した場合、画像からのエッジの位置は画素に対応した離散値しかとりえない。そのため、第１参考例ではエッジの位置から高さ、倍率などを演算するため、画像をなめらかに補正できないといった問題がある。そこで、エッジを検出するにはｘ方向に数画素おきにし、間を直線で補間するとよい。また、原稿の綴じ目付近のエッジをなめらかに検出するには、エッジを検出する間隔は、エッジの位置座標の変化の大きい所を細かくする方がよい。
【００２３】
図９を用いて、スキュー検出部１１の動作を説明する。図９は、エッジ検出部１０で検出された原稿の綴じ目付近の上下の位置座標点列であるエッジデータを示している。原稿が上向きの場合も下向きの場合も、原稿の綴じ目付近はそのまわりよりも縮小されて撮影されるため、エッジの極小点及び極大点が綴じ目の位置となる。スキュー検出部１１は、エッジ検出部１０からのエッジデータを探索して、ｙ方向の極小点及び極大点の位置座標を求め、原稿上下の綴じ目の位置座標（ｘｂ１，ｙｂ１），（ｘｂ２，ｙｂ２）を特定して、式（１）のように原稿のスキュー角度αを算出する。
【００２４】
【数１】
0003631333.tif 000002
【００２５】
次に、回転補正部１２は、スキュー検出部１１により検出されたスキュー角度αを用い、例えば、画像全体に対して式（２）の回転変換を行う事によりスキューを補正することができる。本実施の形態では、スキューの補正を原点に対し直接行っているが、座標変換をしてから行っても良い。
【００２６】
【数２】
0003631333.tif 000003
【００２７】
図１０を用いて、拡大率演算部１３の動作を説明する。スキュー補正がなされた画像から再びエッジ検出部１０はエッジデータを求め、原稿台上の高さにあると、ベースライン２４の位置で結像するエッジデータが点Ａで結像するとき、点Ａのｙ方向の拡大率ｒ（ｘ）は式（３）で求められる。
【００２８】
【数３】
0003631333.tif 000004
【００２９】
フラットベットのスキャナ等のように、レンズとラインセンサ等の撮像素子をｘ方向に走査し、撮像した画像の場合、ｘ方向には平行投影となるため、ｘ方向の拡大、縮小はない。また、レンズの位置を固定して撮像した画像の場合、点投影となるため、ｘ方向の拡大率はｙ方向と同じｒ（ｘ）となる。
【００３０】
図６を用いて、高さ演算部１４の動作を説明する。図６に、原稿のｘ方向から見たときの原稿のエッジとベースラインと原稿の高さＨ（ｘ）の撮像素子上、つまり画像中での対応関係を示す。高さＨ（ｘ）のところにある原稿のエッジは画像中のベースライン２１よりもｄ（ｘ）だけ離れた場所で像を結ぶ。レンズと撮像素子間の距離をｆとしたとき、原稿の撮像素子上での見かけの高さｈ（ｘ）は式（４）で求めることができる。高さ演算部１４は、スキュー補正がなされた画像のエッジデータからｘ方向でｈ（ｘ）を求める。
【００３１】
【数４】
0003631333.tif 000005
【００３２】
なお、原稿下向きの場合は、エッジの変位ｄ（ｘ）を負として、式（４）で高さｈ（ｘ）を求めることができる。
【００３３】
図１１を用いて、歪み補正部１５の動作を説明する。原稿の見かけの高さｈ（ｘ）を求めると、画像をｘ方向で適当な区間に分割し、区間の長さ△ｘでの高さの差を△ｈとすると、原稿の見かけの長さ△ｌは式（５）のように近似できる。
【００３４】
【数５】
0003631333.tif 000006
【００３５】
原稿面の傾きによるｘ方向の歪みは、各区間毎に画像をｘ方向に△ｌ／△ｘ倍に拡大して補正する。ただし、レンズ固定で入力した画像の場合、ｘ方向にもレンズとの距離の違いによる拡大縮小があるため、ｘ方向の拡大率は式（６）となる。
【００３６】
【数６】
0003631333.tif 000007
【００３７】
また、ｙ方向の拡大縮小による歪みは、各ｘの位置で画像を縦方向に１／ｒ（ｘ）倍すれば補正できる。以上の結果、歪み補正がされた矩形形状の画像が得られる。
【００３８】
図１２を用いて輝度補正部１６の動作を説明する。ｙ方向に画素の輝度値を調べ、その最大値がＬＭＡＸ  だったとする。このとき、ある閾値ｔｈを設け、それ以上の値をもつ画素に対し、画素の最大値が例えば２５５になるように演算を行う。画素の値をｖａｌ、補正後の値をｖａｌ′とすると式（７）のように計算できる。なお、ＬＭＡＸ  は輝度の高い数画素の平均にしても良い。
【００３９】
【数７】
0003631333.tif 000008
【００４０】
以上の説明では、白黒画像を入力画像としたが、カラー画像の場合にも同様にして処理できる。即ち、カラー画像の場合には、Ｒ，Ｇ，Ｂの画像から輝度成分及び色差に変換して、輝度成分を抽出して原稿のエッジ検出を白黒画像と同様にして行えばよく、また、歪み補正については、Ｒ，Ｇ，Ｂのデータに対して伸縮変換すればよく、さらに、輝度補正については、輝度成分に補正をかけてＲ，Ｇ，Ｂに変換すればよい。
【００４１】
（第１の実施の形態）
図１３に、第１の実施の形態の画像処理装置のブロック図を示す。１７はスキュー検出部１１によって検出された原稿の綴じ目を予め定める基準線に基づいて画像の一部領域を変形させる画像変形部である。第１参考例と第１の実施の形態との違いは、前者が回転補正部１２により画像を回転して補正するのに対し、後者は画像変形部１７によって原稿の綴じ目を含む入力画像の一部を変形させている点のみであり、画像変形部１７以外は第１参考例と同様に動作する。
【００４２】
図１４を用いて、画像変形部１７の動作を説明する。画像変形は、スキュー検出部１１で検出された原稿の綴じ目の中点である中心点から±Ｌ0 の範囲で変形を行い、綴じ目を表す直線ａが直線ｂ（予め定める基準線）のようにｘ軸と垂直になるように変形する。このとき、直線ｄ，ａ間の距離をＬda（ｙ）、直線ｅ，ａ間の距離をＬea（ｙ）として、画像のそれぞれの座標を、直線ｄから直線ａの範囲はＬ0／Ｌda（ｙ）倍、直線ｅから直線ａの範囲はＬ0／Ｌea（ｙ）倍することにより綴じ目を表す直線ａが直線ｂに一致するように変形する。なお、第２参考例では、画像変形部１７で画像変形を行うＬ0の範囲は固定値でもよいが、本発明の第１の実施の形態では、画像変形部１７が設定するＬ0の範囲をスキュー検出部１１で検出されたスキュー角度に応じて可変にして、スキュー角度が大きくなるにつれ、Ｌ0の範囲を大きくするようにした方が、より自然な画像が得られるので望ましい。
【００４３】
本実施の形態は、第１参考例と比較して、画像の歪み補正は幾分悪くなるものの、原稿の綴じ目付近の歪みの多い領域を補正でき、画像変形領域が少ないので処理量が少なくてすみ、処理速度を向上させることができる。
【００４４】
（第２の実施の形態）
図１５に、第２の実施の形態の画像処理装置のブロック図を示す。１０は入力された画像からエッジを検出するエッジ検出部であり、１１，１３，１４はそれぞれ、エッジ検出部１０が検出したエッジに基づいて、原稿の綴じ目（基準線）とスキューを検出するスキュー検出部、画像の拡大率を計算する拡大率演算部、原稿の高さを計算する高さ演算部である。１８はスキュー検出部１１、拡大率演算部１３、及び高さ演算部１４より得られた情報に基づき、入力画像の歪みを補正する歪み補正部であり、１９は歪み補正部１８で歪みを補正された画像の輝度をスキュー検出部１１から得られるスキューを基に補正する輝度補正部である。歪み補正部１８と輝度補正部１９以外は前述の参考例と同様に動作する。
【００４５】
図１６を用いて、歪み補正部１８を説明する。スキュー検出部１１で検出された原稿の綴じ目の中点である中心点から±Ｌ０  の範囲で、原稿の綴じ目を表す線ａとして、直線ｂ，ａ間、及び直線ａ，ｃ間のスキュー角度が徐々にｙ方向に合致するように、直線ｂ，ａ間、及び直線ａ，ｃ間の画像を段階的に傾けた複数の台形形状の画像に分割する。ここで、画像の補正を行うのは全体の領域であり、Ｌ０の範囲以外では分割された画像は矩形形状になっている。なお、歪み補正部１８で歪み補正を行うＬ０の範囲は固定値でもよいが、歪み補正部１８が設定するＬ０の範囲をスキュー検出部１１で検出されたスキュー角度に応じて可変にして、スキュー角度が大きくなるにつれ、Ｌ０の範囲を大きくするようにした方が、より自然な画像が得られるので望ましい。
【００４６】
ｘ方向の補正では、先に計算した拡大率、原稿の高さの値は、綴じ目のｙ座標のライン上の値であるとし、台形をこれらの値からｘ方向に拡大して、原稿の傾斜を延ばす。また、ｙ方向の補正では、原稿面での点Ａの高さは点Ｂと同一とし、点Ｂのｘ座標をｘＢ  とすると、画像を直線ＢＡ方向に１／ｒ（ｘＢ  ）倍することにより補正を行う。このように、それぞれの台形で同様の補正を行い、補正後のエッジが矩形形状の画像が得られる。
【００４７】
次に、輝度補正部１９の動作を説明する。輝度補正は前述の参考例と同様にして行うが、スキュー検出部１１から得られた各台形のスキュー角度の方向、つまり歪み補正部１８による補正方向に沿って、輝度値の最大値ＬM A X を求めて輝度補正を行う。
【００４８】
上記実施の形態は、第１の実施の形態と比較して画像の歪み補正はより自然になり、前述の参考例と比較して歪み補正領域が少ないので処理量が少なくてすみ、処理速度を向上させることができる。
【００５０】
【発明の効果】
本発明によれば、スキューがかかった画像であっても、画像の一部の所定領域のみ変形を行ってから歪み補正をするので、処理速度が向上すると共に、自然な画像を得ることができる。スキューに応じて上記画像中の上記所定領域の範囲を選択するので、適切な画像変形の処理範囲を選択できる。
【００５１】
本発明によれば、スキューがかかった画像であっても、画像の一部の所定領域を台形領域ごとに分割して歪み補正をするので、処理速度が向上すると共に、自然な画像を得ることができる。
【００５２】
本発明によれば、本等の原稿の綴じ目付近の像が見やすい画像が得られる。
【００５３】
本発明によれば、本等の原稿の綴じ目付近のエッジを正確かつ滑らかに検出できる。
【００５５】
本発明によれば、スキューに応じて所定領域の範囲を選択するので、適切な歪み補正の処理範囲を選択できる。
【図面の簡単な説明】
【図１】第１参考例の原稿上向きの画像入力装置を示す。
【図２】原稿上向きの画像を取り込んだ様子を示す。
【図３】原稿下向きの画像入力装置を示す。
【図４】原稿下向きの画像を取り込んだ様子を示す。
【図５】第１参考例の画像処理装置のブロック図を示す。
【図６】原稿と画像撮像部の距離と撮像位置の関係を説明するための図である。
【図７】画像のエッジ検出を説明するための図である。
【図８】画像のエッジ検出のフローチャートである。
【図９】画像のスキュー検出を説明するための図である。
【図１０】画像の拡大率計算を説明するための図である。
【図１１】画像の歪み補正を説明するための図である。
【図１２】画像の輝度補正を説明するための図である。
【図１３】第１の実施の形態の画像処理装置のブロック図である。
【図１４】第１の実施の形態の画像変形を説明するための図である。
【図１５】第２の実施の形態の画像処理装置のブロック図である。
【図１６】第２の実施の形態の歪み補正を説明するための図である。
【符号の説明】
１  原稿
２  原稿ガイド
３  原稿台
４，６  画像撮像部
５  ガラス面
１０  エッジ検出部
１１  スキュー検出部
１２  回転補正部
１３  拡大率演算部
１４  高さ演算部
１５，１８  歪み補正部
１６，１９  輝度補正部
１７  画像変形部
【図１】
0003631333.tif 000009
【図２】
0003631333.tif 000010
【図３】
0003631333.tif 000011
【図４】
0003631333.tif 000012
【図５】
0003631333.tif 000013
【図６】
0003631333.tif 000014
【図７】
0003631333.tif 000015
【図８】
0003631333.tif 000016
【図９】
0003631333.tif 000017
【図１０】
0003631333.tif 000018
【図１１】
0003631333.tif 000019
【図１２】
0003631333.tif 000020
【図１３】
0003631333.tif 000021
【図１４】
0003631333.tif 000022
【図１５】
0003631333.tif 000023
【図１６】
0003631333.tif 000024