(57)【要約】【課題】印刷物の傾き検出の信頼性を向上させることが可能な画像傾き検出装置を提供する。【解決手段】情報抽出手段１２では、印刷物を画像入力した画像情報から、印刷物の表面情報と裏面情報とを抽出する。特徴抽出手段１３では、情報抽出手段１２で抽出した表面情報及び裏面情報からそれぞれ画像の特徴を抽出する。画像傾き算出手段１４では、特徴抽出手段１３で抽出した表面情報の特徴及び裏面情報の特徴から、印刷物の画像上での傾きをそれぞれ算出する。画像傾き検出手段１５では、画像傾き算出手段１４で算出した表面情報による画像上での傾きと裏面情報による画像上での傾きとに基づいて、印刷物の画像上での傾きを検出する。【選択図】　　　　図１
2004054593.tif 000002
【特許請求の範囲】
【請求項１】
印刷物を画像入力した画像情報から該印刷物の画像上での傾きを検出する画像傾き検出方法において、前記印刷物の表面情報と裏面情報とを利用することを特徴とする画像傾き検出方法。
【請求項２】
前記裏面情報は裏写り情報であることを特徴とする請求項１記載の画像傾き検出方法。
【請求項３】
前記表面情報から算出した前記印刷物の画像上での傾きと前記裏面情報から算出した前記印刷物の画像上での傾きとに基づいて、前記印刷物の画像上での傾きを検出することを特徴とする請求項１又は２記載の画像傾き検出方法。
【請求項４】
前記裏面情報の信頼度を求め、該信頼度が所定の値に満たない場合は、前記裏面情報の利用を取りやめることを特徴とする請求項１乃至３のいずれか１記載の画像傾き検出方法。
【請求項５】
前記裏面情報は前記印刷物の裏面に描かれた文字及び／又は直線成分に関する情報であることを特徴とする請求項１乃至４のいずれか１記載の画像傾き検出方法。
【請求項６】
請求項１乃至５のいずれか１記載の画像傾き検出方法により検出した前記印刷物の画像上での傾きを用いて、前記印刷物の画像上での傾きを補正する画像傾き補正方法。
【請求項７】
印刷物を画像入力した画像情報から、該印刷物の裏面情報又は裏面情報及び表面情報を抽出する情報抽出手段と、裏面情報から画像の特徴を抽出する、或いは裏面情報及び表面情報からそれぞれ画像の特徴を抽出する特徴抽出手段と、裏面情報の特徴から前記印刷物の画像上での傾きを算出する、或いは裏面情報の特徴及び表面情報の特徴から前記印刷物の画像上での傾きをそれぞれ算出する画像傾き算出手段と、表面情報による画像上での傾きと裏面情報による画像上での傾きとに基づいて、前記印刷物の画像上での傾きを検出する画像傾き検出手段と、を備えることを特徴とする画像傾き検出装置。
【請求項８】
請求項７記載の画像傾き検出装置と、該画像傾き検出装置で検出した印刷物の画像上での傾きを補正する画像傾き補正手段と、を備えることを特徴とする画像傾き補正装置。
【請求項９】
請求項１乃至５のいずれか１記載の画像傾き検出方法をコンピュータに実行させるための、又は請求項６記載の画像傾き補正方法をコンピュータに実行させるための、又は請求項７記載の画像傾き検出装置としてコンピュータを機能させるための、又は請求項８記載の画像傾き補正装置としてコンピュータを機能させるための、プログラム。
【請求項１０】
請求項９記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、印刷物を画像入力した画像情報から印刷物の傾きを検出する画像傾き検出方法、画像傾き補正方法、装置、プログラム、及び記録媒体に関する。本発明は、例えば、文書処理時，文字認識時（文字認識の前処理として），電子ファイリング時，ネットワーク配送等の文書配信時などに適用可能である。
【０００２】
【従来の技術】
従来から、紙などの原稿（印刷物）を画像データとして読み取るためのイメージスキャナ等の画像読取装置やそれを画像処理する画像処理装置が、様々な形態で提案されている。画像読取装置にて読み取られた画像データは、文字認識装置、文書データベースなどにおける前処理として、文書画像の傾きの正規化が必要となる。画像の傾きを検出する方法としては、例えば本出願人による特開平７−１４１４６５号公報，特開平７−１０５３１０号公報などに記載の検出方法が挙げられる。
【０００３】
特開平７−１４１４６５号公報には、圧縮画像より黒画素連結成分を抽出し、文字列検出、傾き角度検出を行う、文書画像の傾き検出方法及び装置が記載されている。同公報に記載の発明においては、文書画像を圧縮した圧縮画像から黒画素連結成分の外接矩形を求め、その圧縮画像の文字列方向を検出し、外接矩形から文字列に相当する矩形を判別し、判別された各矩形において一乃至複数の基準点を設定し、その文字列方向が横方向である場合、横方向の近傍矩形の基準点間を結ぶ直線の傾きのヒストグラムと縦方向の近傍矩形の基準点間を結ぶ直線の傾きのヒストグラムとを作成し、作成された各ヒストグラムを基にその圧縮画像の横方向の傾きと確信度及び縦方向の傾きと確信度を算出し、算出された各確信度と各ヒストグラムから得られる情報に基づいて、横方向又は縦方向の何れか一方の傾きを文書画像の傾きと決定することで、文字列方向に係らず正確に傾きを検出することを可能としている。
【０００４】
特開平７−１０５３１０号公報には、近傍内の黒ラン統合により罫線を抽出し、スキューを補正する、画像傾き検出方法及び表処理方法が記載されている。同公報に記載の発明においては、入力画像上の一定値以上の長さの黒ランを抽出し、抽出した黒ランで予め定められた距離内にある黒ランを、それら全てを包含する矩形に統合し、この黒ランの統合の際に統合される黒ランの相互の位置関係によって入力画像の傾きの方向を判定することで、罫線を含む画像の傾きを検出し、傾いた画像上の表中の文字を正確に認識することを可能としている。
【０００５】
例えば、黒ラン統合部で入力画像上の主走査方向，副走査方向の長い黒ランを抽出し、矩形統合部で所定距離内の黒ランを矩形に統合し、罫線矩形抽出部で所定距離内の矩形を統合して罫線矩形を抽出する。そして、傾き検出部において、矩形統合部で統合される黒ランのペアの始点座標，終点座標の比較、及び罫線矩形抽出部で統合される矩形のペアの始点座標，終点座標の比較によって、入力画像の傾き方向を判定する。
【０００６】
【発明が解決しようとする課題】
原稿画像に対する傾き検出として、上述した特開平７−１０５３１０号公報，特開平７−１４１４６５号公報など、様々な方法が提案されているが、これらの方法では、原稿の表面（主撮像面）のみの情報を利用して傾きを検出している。
【０００７】
しかしながら、特に表面だけでは文字や罫線等、傾き抽出に有用な情報が少ないような場合に対しては、検出された傾きの信頼性が低い。
【０００８】
本発明は、上述のごとき実情に鑑みてなされたものであり、印刷物を画像入力した画像情報から印刷物の画像上での傾きを信頼性高く検出することが可能な画像傾き検出方法、その方法で検出された傾きを用いて傾きを補正する画像傾き補正方法、それらの装置、それらのプログラム、及びそのプログラムを記録したコンピュータ読取可能な記録媒体を提供することをその目的とする。
【０００９】
【課題を解決するための手段】
請求項１の発明は、印刷物を画像入力した画像情報から該印刷物の画像上での傾きを検出する画像傾き検出方法において、前記印刷物の表面情報と裏面情報とを利用することを特徴としたものである。
【００１０】
請求項２の発明は、請求項１の発明において、前記裏面情報は裏写り情報であることを特徴としたものである。
【００１１】
請求項３の発明は、請求項１又は２の発明において、前記表面情報から算出した前記印刷物の画像上での傾きと前記裏面情報から算出した前記印刷物の画像上での傾きとに基づいて、前記印刷物の画像上での傾きを検出することを特徴としたものである。
【００１２】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記裏面情報の信頼度を求め、該信頼度が所定の値に満たない場合は、前記裏面情報の利用を取りやめることを特徴としたもである。
【００１３】
請求項５の発明は、請求項１乃至４のいずれか１の発明において、前記裏面情報は前記印刷物の裏面に描かれた文字及び／又は直線成分に関する情報であることを特徴としたものである。
【００１４】
請求項６の発明は、請求項１乃至５のいずれか１記載の画像傾き検出方法により検出した前記印刷物の画像上での傾きを用いて、前記印刷物の画像上での傾きを補正する画像傾き補正方法である。
【００１５】
請求項７の発明は、印刷物を画像入力した画像情報から、該印刷物の裏面情報又は裏面情報及び表面情報を抽出する情報抽出手段と、裏面情報から画像の特徴を抽出する、或いは裏面情報及び表面情報からそれぞれ画像の特徴を抽出する特徴抽出手段と、裏面情報の特徴から前記印刷物の画像上での傾きを算出する、或いは裏面情報の特徴及び表面情報の特徴から前記印刷物の画像上での傾きをそれぞれ算出する画像傾き算出手段と、表面情報による画像上での傾きと裏面情報による画像上での傾きとに基づいて、前記印刷物の画像上での傾きを検出する画像傾き検出手段と、を備えることを特徴としたものである。
【００１６】
請求項８の発明は、請求項７記載の画像傾き検出装置と、該画像傾き検出装置で検出した印刷物の画像上での傾きを補正する画像傾き補正手段と、を備えることを特徴とする画像傾き補正装置である。
【００１７】
請求項９の発明は、請求項１乃至５のいずれか１記載の画像傾き検出方法をコンピュータに実行させるための、又は請求項６記載の画像傾き補正方法をコンピュータに実行させるための、又は請求項７記載の画像傾き検出装置としてコンピュータを機能させるための、又は請求項８記載の画像傾き補正装置としてコンピュータを機能させるための、プログラムである。
【００１８】
請求項１０の発明は、請求項９記載のプログラムを記録したコンピュータ読取可能な記録媒体である。
【００１９】
【発明の実施の形態】
図１は、本発明の一実施形態に係る画像傾き検出装置の構成例を示す図で、図中、１は画像傾き検出装置である。
本発明の一実施形態に係る画像傾き検出装置１は、画像入力手段１１と、情報抽出手段１２と、特徴抽出手段１３と、画像傾き算出手段１４と、画像傾き検出手段１５とを、少なくとも備えた装置であり、画像処理装置の一構成要素となり得る装置である。図１では、さらにＲＡＭ，ＲＯＭ等のデータ記憶部１６と、各処理の制御を行うＣＰＵ等の制御部１７と、各手段１１〜１５及び各部１６，１７間を接続する、バス，ネットワーク等のデータ転送路及び制御通信路１８とで、画像傾き検出装置１が構成されているものとして説明する。
【００２０】
情報抽出手段１２では、印刷物を画像入力した画像情報から、その印刷物の表面情報と裏面情報とを抽出する。情報抽出手段１２は表面情報抽出手段と裏面情報抽出手段からなり、それぞれ別々の方法で表面情報，裏面情報を抽出してもよく、また、表面情報を抽出したデータが取得可能な場合には情報抽出手段１２を裏面情報のみを抽出する手段としてもよい。特徴抽出手段１３では、情報抽出手段１２等で抽出した表面情報及び裏面情報からそれぞれ画像の特徴を抽出する。特徴抽出手段１３も表面情報の特徴を抽出したデータが取得可能な場合には裏面情報の特徴のみを抽出する手段としてもよい。画像傾き算出手段１４では、特徴抽出手段１３等で抽出した表面情報の特徴及び裏面情報の特徴から、印刷物の画像上での傾きをそれぞれ算出する。画像傾き算出手段１４も表面情報による傾きのデータが取得可能な場合には裏面情報による傾きのみを算出する手段としてもよい。画像傾き検出手段１５では、画像傾き算出手段１４等で算出した表面情報による画像上での傾きと裏面情報による画像上での傾きとに基づいて、印刷物の画像上での傾きを検出する。
【００２１】
図１で例示する構成例においては、画像入力手段１１としてのイメージスキャナ，デジタルカメラ等の画像入力機器から入力された画像（カラー画像も含む）は、ＲＡＭに蓄積される。また、後述する一連の処理は、ＲＯＭに蓄積されたプログラムをＣＰＵが読み出すことによって実行される。また、処理の途中経過や途中結果は、ＣＲＴ，ＬＣＤ等の表示装置（図示せず）を通してユーザに提示され、必要に応じて、キーボード，マウス等の入力装置（図示せず）からユーザが処理に必要なパラメータを入力指定する。後述する処理の実行中に作られる中間データはＲＡＭに蓄積され、必要に応じて、ＣＰＵによって読み出し、修正・書き込みが行われる。
【００２２】
図２は、図１の画像傾き検出装置における処理の一例を説明するためのフロー図である。
図１の画像傾き検出装置における画像傾き検出処理としては、まず画像入力手段１１によって原稿画像（画像情報）を得る（ステップＳ１）。この画像入力手段１１はスキャナなどでもよく、また既に電子ファイリングされている画像情報を取得するようにしてもよく、さらにネットワーク配信された画像情報を取得するようにしてもよい。
【００２３】
次に裏面用の情報抽出手段１２で原稿の裏面の情報を抽出する（ステップＳ２）。表面の情報がない場合にはここで抽出してもよい。原稿の裏面の情報を抽出するには、裏面用の画像入力手段１１として、表面とは別に裏面を撮像する手段を設け、この裏面撮像手段により行ってもよいし、裏写り情報を利用してもよい。
【００２４】
裏写り情報を利用する場合は、本出願人による特開平９−３１２７７０号公報や特開２００１−１６９０８０号公報のような既知の方法を用いてもよい。これらの公報に記載の発明は、原稿の裏面情報を特定し原稿画像を見栄えよく補正する方法に関するものであり、裏面情報を画像補正以外の他の目的に利用せずに破棄されていたが、本発明においては、ここで得た裏面情報を用いて原稿の傾き補正を行うようにしてもよい。以下に、これらの公報に記載の発明を簡単に説明する。
【００２５】
特開平９−３１２７７０号公報には、裏面撮像情報を元に補正情報を作成し、裏写り除去する画像読取装置が記載されている。同公報に記載の画像読取装置においては、原稿紙面の表面の画像を読み取るためのラインイメージセンサを有する第１の原稿画像読取手段と、原稿紙面の裏面の画像を読み取るためのラインイメージセンサを有する第２の原稿画像読取手段と、第１の原稿画像読取手段の読取信号を、第２の原稿画像読取手段の読取信号よりも、所定時間遅延させる遅延手段と、遅延手段より出力される遅延読取信号及び第２の原稿画像読取手段の読取信号に基づき、原稿紙面の裏面の画像による表面への裏写りの画像成分に対応した信号成分を、遅延読取信号より除去する第１の読取信号補正手段と、遅延手段より出力される遅延読取信号及び第２の原稿画像読取手段の読取信号に基づき、原稿紙面の表面の画像による裏面への裏写りの画像成分に対応した信号成分を、遅延読取信号より除去する第２の読取信号補正手段と、を備えることで、原稿の裏写りの影響を除去して、良好な両面読取画像を得ることを可能としている。
【００２６】
一方、特開２００１−１６９０８０号公報には、エッジ強度検出とカラー閾値処理に基づき裏写り成分を除去して画像を処理する、カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体が記載されている。同公報に記載のカラー画像処理方法においては、紙の両面にカラー印刷された原稿の片面をデジタル入力して得られるデジタルカラー原画像に対してエッジを検出し、検出したエッジの強度の低い部分に対する紙の背景色又は片面側の背景色画像を推定し、原画像において、裏写り成分であるエッジ強度の低い部分を推定した背景色又は背景色画像に置き換えるカラー閾値処理を行うことにより、裏写り成分を除去した裏写り除去画像を生成することで、両面印刷されたカラー原稿に対して、特殊な入力デバイスに依存することなく紙の片面の画像情報だけを用いて裏写りを除去することを可能としている。例えば、入力カラー画像の解像度を縮小し、カラー座標系を独立性が高いものに変換する。エッジ強度計算を行い、二値化処理によりエッジを検出し、エッジ以外の領域に対してカラー閾値処理を行って背景色画像を推定し、裏写り除去画像を合成する。そして、原画像と裏写り除去画像のエッジ強度からエッジ差分画像を生成し、不適切な処理により画像が劣化している個所を検出する。その個所の周囲で処理スケール（ウインドウサイズ）を縮小して処理を再度実行する。裏写り除去画像と縮小原画像の差分計算により裏写り部分を同定し、元の解像度の原画像での裏写り部分を除去し、画像を出力する。
【００２７】
ステップＳ２の後、表面情報による傾きを算出する。まず、特徴抽出手段１３により表面に書かれている文字，罫線などの特徴情報を特徴抽出手段１３により抽出し（ステップＳ３）、画像傾き算出手段１４により原稿の傾き（印刷物の画像上での傾き）を算出する（ステップＳ４）。これには上述した特開平７−１０５３１０号公報や特開平７−１４１４６５号公報に記載されているような既知の方法を用いればよい。
【００２８】
次に、先に求めた裏面情報から裏面情報による傾きを算出する。まず、ステップＳ２で求めた裏面情報から裏面に書かれている文字，罫線などの特徴情報を特徴抽出手段１３により抽出し（ステップＳ５）、画像傾き算出手段１４により原稿の傾きを求める（ステップＳ６）。特開平７−１０５３１０号公報や特開平７−１４１４６５号公報では表面から文字，罫線情報の特定を行っているが同様な方法を裏面情報に対し適用すればよい。
【００２９】
なお、図２では、傾きを求める順番を表面，裏面の順で記載しているが逆の順番で行ってもよい。また、表面から傾きの検出を行う前に裏写り情報を利用し、特開平９−３１２７７０号公報や特開２００１−１６９０８０号公報のように表面原稿画像を補正しておいてもよい。また、本発明に係る処理の前（画像入力後）には、Ａ／Ｄ変換，濃度補正などの前処理が、後には中間調処理などが行われることがある。
【００３０】
上述のごとき処理手順を実行することで、原稿の表面，裏面からそれぞれ傾きの抽出結果が得られる。これら両面からの傾き情報を勘案して最終的に原稿の傾きを傾き検出結果として求める（ステップＳ７）。例えば、それぞれの面の傾きの信頼度を求めておき、（１）いずれか一方の信頼度が所定の値以下のときは他方で求めた傾きを原稿の傾きとする、（２）双方の信頼度が所定の値以上のときは双方の傾きの中間の値とする、等により原稿の傾きを決定する。裏面情報の信頼度が所定の値に満たない場合に、その裏面情報の利用を取りやめるようにしてもよい。
【００３１】
以上により、従来の表面情報のみならず原稿の裏面の情報をも利用して原稿の傾きを特定することができる。特に表面だけでは文字や罫線等、傾き抽出に有用な情報が少ないような場合に対しては、表面情報だけを用いるよりも検出された傾きの信頼性をさらに向上させることができる。また極端な話、片面印刷の原稿を裏向きに置いたような場合でも本発明により原稿の傾きを得ることができる。
【００３２】
図３は、本発明の一実施形態に係る画像傾き補正装置の構成例を示す図で、図中、２は画像傾き補正装置である。また、図４は、図３の画像傾き補正装置における処理の一例を説明するためのフロー図である。
本発明の一実施形態に係る画像傾き補正装置２は、図１で説明した画像傾き検出装置１に、画像傾き検出装置１で検出した印刷物の画像傾きを補正する画像傾き補正手段２１を加えて構成した装置であり、画像処理装置の一構成要素となり得る装置である。画像傾き補正装置２の処理手順は、図２で説明した処理手順（ステップＳ１〜Ｓ７）の後に、結果として検出された印刷物の画像上での傾きに基づいて、画像上における印刷物の傾きを補正する（ステップＳ８）。一連の処理の結果として印刷物の画像上での傾きが補正されるが、画像処理装置に本発明を適用する場合などは、例えば、ＲＡＭに格納された補正後の画像情報を、中間調処理等の後処理の後、ＲＡＭから読み出し、プリンタ等の画像印刷機器（図示せず）や表示装置に出力することとなる。
【００３３】
以上、本発明の画像傾き検出装置及び画像傾き補正装置を中心に各実施形態を説明してきたが、上述した各実施形態における装置の処理手順をフロー図を用いて説明したようにその処理手順を実行する画像傾き検出方法，画像傾き補正方法としての形態も採り得る。また、本発明は、上述した各実施形態における装置に係る説明で説明したように、コンピュータをそれら装置（又は装置の各手段）として機能させるための、或いはコンピュータにそれら方法の処理手順を実行させるためのプログラムとしても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としての形態も可能である。
【００３４】
本発明による画像傾き検出，補正の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、メモリスティック、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態の装置の機能をコンピュータに実行させ、画像傾き検出，補正の機能を実現するためのプログラムを記録して流通させることにより、当機能の実現を容易にする。そして情報処理装置に上述のごとくの記録媒体を装着して、情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記録媒体に当プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に係わる画像傾き検出，補正の機能を実行することができる。
【００３５】
【発明の効果】
本発明によれば、従来の表面だけからの情報に比べ、裏面の情報を利用することにより、印刷物の傾き検出の信頼性を向上させることができる。
【００３６】
また、本発明によれば、高い信頼性をもつ傾き検出に基づいて印刷物の傾きを補正することが可能であり、印刷物の傾き補正の信頼性をも向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る画像傾き検出装置の構成例を示す図である。
【図２】図１の画像傾き検出装置における処理の一例を説明するためのフロー図である。
【図３】本発明の一実施形態に係る画像傾き補正装置の構成例を示す図である。
【図４】図３の画像傾き補正装置における処理の一例を説明するためのフロー図である。
【符号の説明】
１…画像傾き検出装置、２…画像傾き補正装置、１１…画像入力手段、１２…情報抽出手段、１３…特徴抽出手段、１４…画像傾き算出手段、１５…画像傾き検出手段、１６…データ記憶部、１７…制御部、１８…データ転送路及び制御通信路、２１…画像傾き補正手段。
【図１】
2004054593.tif 000003
【図２】
2004054593.tif 000004
【図３】
2004054593.tif 000005
【図４】
2004054593.tif 000006