(57)【要約】【解決課題】  部分画像各々の原画像に対する状態の違いが存在することを想定し、かつ、共通する複数の特徴点を検索する処理の高速化を図ることができるようにする。【解決手段】  原画像を複数回に分けて一部分が重複するように読み取り、複数の部分画像を表す複数の部分読取画像データを生成し（１００〜１０５）、部分画像各々の原画像に対する傾き角度及び正立方向を検出し（１１０、１１２）、検出された傾き角度に対応するフィルタを用いて部分画像各々における複数の特徴点を抽出し（１１６）、抽出した特徴点に基づいて、複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索し（１１７〜１１９）、検索された部分画像の組を共通する複数の特徴点が重畳するように接合して、原画像を表す原画像データを生成する（１２０）。【選択図】  図２
2006268371.tif 000002
【特許請求の範囲】
【請求項１】
原画像を複数回に分けて一部分が重複するように読み取ることにより得られた複数の部分読取画像データの各々で表される部分画像各々の前記原画像に対する状態を示す情報を検出する検出手段と、
前記検出された情報及び前記部分画像各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索する検索手段と、
前記検索された部分画像の組を前記共通する複数の特徴点が重畳するように接合して、前記原画像を表す原画像データを生成する接合生成手段と、
を含む画像処理装置。
【請求項２】
前記検出手段は、前記原画像に対する状態を示す情報として、前記原画像の所定方向を基準とした前記部分画像各々の傾き角度、前記原画像に対する前記部分画像各々の正立方向、及び前記原画像に対する前記部分画像各々の位置の少なくとも１つを検出する請求項１に記載の画像処理装置。
【請求項３】
前記検索手段は、前記検出された情報に対応するフィルタを用いて前記複数の部分読取画像データを処理することにより、前記部分画像各々における複数の特徴点を抽出し、前記検出された情報及び前記抽出された前記部分画像各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索する請求項１又は２に記載の画像処理装置。
【請求項４】
前記検索手段は、前記検出された情報に基づいて前記複数の部分画像各々の前記原画像に対する状態が一致するように前記複数の部分読取画像データを補正した後、補正された前記複数の部分読取画像データに基づいて、前記部分画像各々における複数の特徴点を抽出し、前記抽出された前記部分画像の各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索する請求項１又は２に記載の画像処理装置。
【請求項５】
前記検出手段は、前記原画像に対する状態を示す情報として、前記原画像の所定方向を基準とした前記部分画像各々の傾き角度、及び前記原画像に対する前記部分画像各々の正立方向の少なくとも１つを検出し、
前記検索手段は、前記検出された前記原画像の所定方向を基準とした前記部分画像各々の傾き角度、及び前記原画像に対する前記部分画像各々の正立方向の少なくとも１つが一致するように前記複数の部分読取画像データを回転補正した後、前記回転補正された前記複数の部分読取画像データに基づいて、前記部分画像各々における複数の特徴点を抽出し、前記抽出された前記部分画像各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索する請求項１に記載の画像処理装置。
【請求項６】
原画像を複数回に分けて一部分が重複するように読み取ることにより得られた複数の部分読取画像データの各々で表される部分画像各々の前記原画像に対する状態を示す情報を検出し、
前記検出された情報及び前記部分画像各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索し、
前記検索された部分画像の組を前記共通する複数の特徴点が重畳するように接合して、前記原画像を表す原画像データを生成することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置及び画像処理方法に係り、特に、原画像を複数に分けて読み取ることによって得られた複数の部分画像を接合する画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、原画像を一部分が重複するように読み取る位置を変えて複数回読み取ることによって得られた複数の部分画像を接合する場合には、部分画像から特徴点を抽出すると共に、隣接する部分画像から共通する２つの特徴点を検索し、この共通する２つの特徴点が重なるように複数の部分画像を接合処理していた。
【０００３】
また、複数の部分画像の各々が原画像に対して傾いていたり、正立方向が異なっている場合があるので、部分画像の原画像に対する傾きや方向などの状態の違いが存在することを想定して、部分画像から抽出する特徴点の種類を増やしたり、２つの特徴点の位置によるベクトルの方向を回転させながら検索範囲を拡大して共通する２つの特徴点を検索していた。
【０００４】
画像を接合処理する装置では、一方の画像のエッジ上の点を特徴点として抽出し、各特徴点毎に他方の画像内のエッジ上の点との相関を求めて、相関に基づいて２つの画像の対応領域を定め、ずれを打ち消すように変形しながら画像データを合成する画像合成装置が知られている（特許文献１）。
【０００５】
また、部分画に対してローパスフィルタを施した画像に撮影されている２つの特徴点により、一方の部分画が他方の部分画に対してどの程度の角度回転しているかを求め、部分画を回転させながら合成する画像合成方法が知られている（特許文献２）。
【特許文献１】特開平１１―０１５９５１号公報
【特許文献２】特開２０００―０７８４６７
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の画像合成装置では、画像の原画像に対する傾きや方向などの状態の違いが存在することを想定すると、一方の画像の特徴点との相関を求める他方の画像内の点の数が多くなるため、対応領域を定めるための各特徴点毎の相関算出処理に時間がかかる、という問題がある。また、特許文献２に記載の画像合成方法では、部分画の原画像に対する傾きや方向などの状態の違いが存在することを想定すると、撮影されている２つの特徴点を検索する処理に時間がかかる、という問題がある。
【０００７】
本発明は、上記の問題点を解決するためになされたもので、部分画像各々の原画像に対する状態の違いが存在することを想定し、かつ、共通する複数の特徴点を検索する処理の高速化を図ることができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る画像処理装置は、原画像を複数回に分けて一部分が重複するように読み取ることにより得られた複数の部分読取画像データの各々で表される部分画像各々の前記原画像に対する状態を示す情報を検出する検出手段と、  前記検出された情報及び前記部分画像各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索する検索手段と、前記検索された部分画像の組を前記共通する複数の特徴点が重畳するように接合して、前記原画像を表す原画像データを生成する接合生成手段と、を含んで構成されている。
【０００９】
また、本発明に係る画像処理方法は、原画像を複数回に分けて一部分が重複するように読み取ることにより得られた複数の部分読取画像データの各々で表される部分画像各々の前記原画像に対する状態を示す情報を検出し、前記検出された情報及び前記部分画像各々における複数の特徴点に基づいて、前記複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索し、前記検索された部分画像の組を前記共通する複数の特徴点が重畳するように接合して、前記原画像を表す原画像データを生成することを特徴としている。
【００１０】
本発明によれば、原画像を複数回に分けて一部分が重複するように読み取ることにより得られた複数の部分読取画像データの各々で表される部分画像各々の原画像に対する状態を示す情報を検出し、検出された情報及び部分画像各々における複数の特徴点に基づいて、複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索し、検索された部分画像の組を前記共通する複数の特徴点が重畳するように接合して、原画像を表す原画像データを生成する。
【００１１】
従って、部分画像各々の原画像に対する状態を示す情報を検出することにより、接合する部分画像の組に共通する複数の特徴点を検索する範囲を、部分画像の状態の違いが存在することを想定して拡大する必要がないため、共通する複数の特徴点を検索する処理の高速化を図ることができる。
【００１２】
また、検出手段は、原画像に対する状態を示す情報として、原画像の所定方向を基準とした部分画像各々の傾き角度、原画像に対する部分画像各々の正立方向、及び原画像に対する部分画像各々の位置の少なくとも１つを検出することができる。これにより、部分画像各々の傾き角度や正立方向が異なっていても、接合する部分画像の組に共通する複数の特徴点を検索する範囲を拡大する必要がなく、また、原画像に対する部分画像各々の位置を検出することにより、共通する複数の特徴点を検索する範囲を特定することができ、共通する複数の特徴点を検索する処理の高速化を図ることができる。
【００１３】
また、検索手段は、検出された情報に対応するフィルタを用いて複数の部分読取画像データを処理することにより、部分画像各々における複数の特徴点を抽出し、検出された情報及び抽出された部分画像各々における複数の特徴点に基づいて、複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索することができる。これによって、部分画像の原画像に対する状態の違いにより、誤った特徴点を共通する複数の特徴点として検索することを防止できるため、接合処理の精度を向上させることができる。
【００１４】
また、検索手段は、検出された情報に基づいて複数の部分画像各々の原画像に対する状態が一致するように複数の部分読取画像データを補正した後、補正された複数の部分読取画像データに基づいて、部分画像各々における複数の特徴点を抽出し、抽出された部分画像の各々における複数の特徴点に基づいて、複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索することができる。複数の部分画像各々の原画像に対する状態が一致するように複数の部分読取画像データを補正することにより、接合する部分画像の組に共通する複数の特徴点を検索する範囲を、部分画像の状態の違いが存在することを想定して拡大する必要がないため、共通する複数の特徴点を検索する処理の高速化を図ることができる。
【００１５】
また、検出手段は、原画像に対する状態を示す情報として、原画像の所定方向を基準とした部分画像各々の傾き角度、及び原画像に対する部分画像各々の正立方向の少なくとも１つを検出し、検索手段は、検出された原画像の所定方向を基準とした部分画像各々の傾き角度、及び原画像に対する部分画像各々の正立方向の少なくとも１つが一致するように複数の部分読取画像データを回転補正した後、回転補正された複数の部分読取画像データに基づいて、部分画像各々における複数の特徴点を抽出し、抽出された部分画像各々における複数の特徴点に基づいて、複数の部分画像から共通する複数の特徴点を有する部分画像の組を検索することができる。これにより、部分画像各々の傾き角度や正立方向が異なっていても、接合する部分画像の組に共通する複数の特徴点を検索する範囲を拡大する必要がないため、共通する複数の特徴点を検索する処理の高速化を図ることができる。
【発明の効果】
【００１６】
以上説明したように、本発明の画像処理装置及び画像処理方法によれば、部分画像各々の原画像に対する状態を示す情報を検出することにより、部分画像各々の原画像に対する状態の違いが存在することを想定し、かつ、共通する複数の特徴点を検索する処理の高速化を図ることができる、という効果が得られる。
【発明を実施するための最良の形態】
【００１７】
以下に、本発明の第１の実施の形態について図面を参照して説明する。本発明の第１の実施の形態は、スキャナ装置に本発明を適用したものである。
【００１８】
図１に示すように、画像処理システム１０は、原稿に形成された画像を読み取り各種画像処理を行う本発明の第１の実施の形態に係るスキャナ装置１２、及び画像の作成、加工、編集等の画像処理や文書作成を行う複数のクライアントＰＣ１４から構成されており、スキャナ装置１２とクライアントＰＣ１４とはＬＡＮなどのネットワーク１６によって接続されている。
【００１９】
スキャナ装置１２には、後述する読取画像接合処理ルーチンのプログラムを含む各種プログラムやパラメータ等が記憶されたＲＯＭ２０、各種プログラムを実行するＣＰＵ２２、ＣＰＵ２２による各種プログラムの実行時におけるワークエリア等として用いられるＲＡＭ２４、設けられた撮像素子（図示省略）が走査することによって原稿に形成された原画像を読み取って部分読取画像データを生成する画像読取部２６、画像データを格納するためのＨＤＤ２８、ネットワークインタフェース３０、及びこれらを相互に接続するためのバス３２が設けられている。スキャナ装置１２は、その他、従来公知の一般的機能を備えており、読取機能に関する説明は省略する。
【００２０】
また、クライアントＰＣ１４には、スキャナ装置１２に備えた各種の処理機能に対する指示（以下「読取設定」という）を設定するためのドライバ（図示省略）が設けられている。なお、クライアントＰＣ１４は、従来公知のパーソナルコンピュータの一般的構成を備えたものであればよく、本実施の形態では、クライアントＰＣ１４の一般的処理の説明を省略する。
【００２１】
次に、第１の実施の形態の読取画像接合処理ルーチンについて図２を用いて説明する。第１の実施の形態は、原画像を３回に分けてスキャンした場合を例に説明する。
【００２２】
スキャナ装置１２では、まず、ステップ１００で、クライアントＰＣ１４からスキャン指示がなされたか否かを判定する。ユーザによって、原稿が表す原画像の高さ方向及び幅方向の何れか一方がスキャナ装置の副走査方向と等しくなるように、原画像を表す原稿の一部分がスキャナ装置１２の画像読取部２６にセットされ、クライアントＰＣ１４からスキャン指示が入力されると、ステップ１００からステップ１０１に進み、ステップ１０１において、スキャン処理が実行され、カラー画像データである部分読取画像データＡ1が生成される。そして、ステップ１０２で、クライアントＰＣ１４からスキャン指示が入力されたか否かを判定し、ユーザによってスキャナ装置１２の画像読取部２６にセットされている原画像を表す原稿の位置が変更され、ステップ１０１でスキャン処理された部分読取画像データＡ1が表す部分画像Ｓ1と一部分が重複するように原稿がスキャナ装置１２の画像読取部２６にセットされ、クライアントＰＣ１４からのスキャン指示が入力されると、ステップ１０３において、スキャン処理が実行され、部分画像Ｓ2を表す部分読取画像データＡ2が生成される。また、同様にステップ１０４、１０５においてスキャン処理が実行され、部分画像Ｓ3を表す部分読取画像データＡ3が生成される。
【００２３】
そして、次のステップ１０８では、部分読取画像データＡ1、Ａ2、Ａ3を濃度に応じて二値化処理して、二値画像データＢ1、Ｂ2、Ｂ3を生成し、二値画像データＢ1、Ｂ2、Ｂ3に対して、データを間引くことにより縮小処理を行い、縮小二値画像データＣ1、Ｃ2、Ｃ3を生成し、ステップ１１０において、後述する傾き検出処理によって、画像読取部２６にセットされた原稿が表す原画像の傾き角度を縮小二値画像データＣ1、Ｃ2、Ｃ3が表す部分画像Ｓ1、Ｓ2、Ｓ3について検出する。
【００２４】
次に、上記のステップ１１０の処理を実現する傾き検出処理ルーチンについて図３を用いて説明する。まず、ステップ１４０で、縮小二値画像データＣ1、Ｃ2、Ｃ3に対して、輪郭抽出を行い、輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3を生成する。例えば、輪郭抽出処理は、オン画素とオフ画素とが隣接しているところのオン画素、オフ画素、及びオン画素とオフ画素との両方の何れかを抽出する。そして、ステップ１４２において、輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3のオン画素に対してハフ変換処理を行い、輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3の各々に対してハフ空間データを生成する。ハフ変換処理とは、ｘｙ直交座標上の直線を、ρθ極座標上の座標値に変換する処理であり、図４（ａ）に示すように、ρθ直交座標上の１点の座標値となる。また、ｘｙ直交座標上の１点は、ハフ変換処理により、ρθ極座標上の線に変換され、この線における極座標上の座標値をρθ直交座標で表すと、図４（ｂ）に示すような曲線で表すことができる。この曲線は、以下の式で表すことができる。
ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ
ただし、θはｘ軸との角度、ρはｘｙ直交座標の原点からの距離、ｘ、ｙはｘｙ直交座標上の座標を示す。
【００２５】
輪郭縮小二値画像データのオン画素の画素位置を表すｘｙ直交座標上の１点は、上記の式によりρθ直交座標上の曲線に変換すことができ、輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3の各々の全てのオン画素について、上記の式によりρθ直交座標上の曲線に変換し、座標（ρ、θ）が変換された曲線上の点となる頻度を算出し、この算出された頻度がρθ極座標空間上のヒストグラムとなり、このヒストグラムがハフ空間データとして輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3の各々に対して生成される。
【００２６】
次のステップ１４４では、ハフ空間データのヒストグラムをθ軸上へ投影して頻度を合計演算する演算投影処理を行い、以下に説明する輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3の各々の演算投影ヒストグラムデータを生成する。まず、輪郭縮小二値画像データが表す画像の対角線の長さＤ（縦の長さの２乗と横の長さの２乗との和の平方根）を求め、θを０〜πまででπ／１８０ごと増加させた値とし、頻度の密集度である演算投影ヒストグラムデータを以下の式により求める。
【００２７】
【数１】
2006268371.tif 000003
【００２８】
ただし、ｆｒｅｑ（θ、ρ）はハフ空間データにおける極座標（θ、ρ）の頻度である。
【００２９】
そして、ステップ１４６では、輪郭縮小二値画像データＤ1、Ｄ2、Ｄ3の各々の演算投影ヒストグラムデータに基づいて、ｈｉｓｔ（θ）が最大となるθを部分読取画像データＡ1、Ａ2、Ａ3が表す部分画像Ｓ1、Ｓ2、Ｓ3の各々の傾き角度として算出し、傾き検出処理ルーチンを終了する。
【００３０】
そして、図２の読取画像接合処理ルーチンのステップ１１２で、図５に示す正立方向検出処理ルーチンを実行する。まず、ステップ１６０において、縮小二値画像データＣ1、Ｃ2、Ｃ3に対して文字部分抽出処理を行う。例えば、縮小二値画像データＣ1、Ｃ2、Ｃ3のオン画素に基づいて外接矩形を算出し、外接矩形の縦横比から文字部分であると推定される外接矩形を特定し、その外接矩形の領域を文字部分として抽出する。そして、ステップ１６２において、ステップ１６０で抽出した文字部分に対し文字認識処理を行う。文字認識処理によって、文字部分から認識した文字を表す文字データと文字部分が表示する文字が認識された文字である確率を表す確率データとを作成し、文字部分の文字方向を所定角度、例えば９０度ずつ回転させて４回文字認識処理を行い、４つの文字方向毎に文字データと確率データと作成し、この文字認識処理をステップ１６０で抽出された複数の文字部分に対して実行する。
【００３１】
次のステップ１６４では、ステップ１６２で作成された複数の確率データに基づいて、どの文字方向の確率データが最も高いかを判定する。例えば、文字方向毎に全ての確率データを合計し、この合計値を比較することにより、どの文字方向の確率データが最も高いかを縮小二値画像データＣ1、Ｃ2、Ｃ3の各々に対し判定し、確率データが最も高い文字方向の各々を部分読取画像データＡ1、Ａ2、Ａ3が表す部分画像Ｓ1、Ｓ2、Ｓ3の各々の正立方向として算出し、正立方向検出処理ルーチンを終了する。
【００３２】
そして、図２の読取画像接合処理ルーチンのステップ１１４において、ステップ１１０、１１２で補正された部分読取画像データＡ1、Ａ2、Ａ3を濃度に応じて二値化処理して二値画像データE1、E2、E3を生成し、ステップ１０１、１０３、１０５における読取時の濃度の違いによる二値画像データE1、E2、E3の各々が表す線の太さを等しくするために細線化処理を行い、細線二値画像データF1、F2、F3を生成する。そして、ステップ１１６において、細線二値画像データF1をフィルタ処理することにより特徴点を抽出する。例えば、「＋」、「⊥」、及び「Ｌ」などの予め定められた複数の図形パターンの輪郭上の交点を表す画素を特徴点として検索する。予め定められた小矩形領域が細線二値画像データF1上を走査し、小矩形領域で複数の図形パターンの各々に対応するフィルタをかけることにより、小矩形領域が予め定められた図形パターンの輪郭を表しているか否かを判定する。このとき、ステップ１１０で算出された傾き角度に基づいて、図形パターンの各々に対応するフィルタを算出された傾き角度だけ傾けた図形パターンの各々に対応するフィルタに変更し、変更されたフィルタを用いて判定を行う。何れかの図形パターンの輪郭に該当する判定されると、その輪郭上の交点に位置する画素位置情報と図形パターン情報とを特徴点データに記録する。また、特徴点は複数抽出されるため、特徴点データには、画像位置情報と図形パターン情報とが複数記録される。そして、細線二値画像データF2、F3についても同様にフィルタ処理し、特徴点を抽出する。
【００３３】
次のステップ１１７では、細線二値画像データF1の特徴点データと細線二値画像データF2の特徴点データとに基づいて、部分画像Ｓ1と部分画像Ｓ2とに共通する２つの特徴点を検索する。例えば、細線二値画像データF1の特徴点データに記録された１つ目の特徴点と同じ図形パターンである第１の共通特徴点を細線二値画像データF2の特徴点データから検索する。
【００３４】
第１の共通特徴点が検索されると、細線二値画像データF2の特徴点データに基づいて、細線二値画像データF1の特徴点データに記録された２つ目の特徴点と同じ図形パターンの特徴点で、かつ、第１の共通特徴点の画素位置から、１つ目の特徴点の画素位置から２つ目の特徴点の画素位置へのベクトル分だけ移動した画素位置周辺から第２の共通特徴点を検索する。このとき、ステップ１１０で算出された傾き方向及びステップ１１２で算出された正立方向に基づいて、部分画像Ｓ1の正立方向に対するベクトルの方向と、部分画像Ｓ2の正立方向に対するベクトルの方向とが同一となるようにし、このベクトル分だけ移動した画素位置周辺から第２の共通特徴点を検索する。
【００３５】
第２の共通特徴点が検索されると、第１の共通特徴点と第２の共通特徴点とを共通特徴点データに記録し、また、共通特徴点画像データに部分読取画像データＡ1、Ａ2の組を記録する。一方、第２の共通特徴点が検索されなかった場合には、細線二値画像データF2の特徴点データから他の第１の共通特徴点を検索し、検索されると、細線二値画像データF2の特徴点データから第２の共通特徴点を検索する。
【００３６】
上記の検索処理を、第１の共通特徴点と第２の共通特徴点とが検索されるまで、又は、細線二値画像データF1の特徴点データに記録された特徴点の全ての組み合わせについて、第１の共通特徴点及び第２の共通特徴点を検索するまで実行される。
【００３７】
そして、ステップ１１８において、ステップ１１７と同様に、細線二値画像データF1の特徴点データと細線二値画像データF3の特徴点データとに基づいて、部分画像Ｓ1と部分画像Ｓ3とに共通する２つの特徴点を検索し、共通する２つの特徴点が検索されると、この２つの特徴点を共通特徴点データに記録し、共通特徴点画像データに部分読取画像データＡ1、Ａ3の組を記録する。また、次のステップ１１９においても、ステップ１１７と同様に、細線二値画像データF2の特徴点データと細線二値画像データF3の特徴点データとに基づいて、部分画像Ｓ2と部分画像Ｓ3とに共通する２つの特徴点を検索し、共通する２つの特徴点が検索されると、この２つの特徴点を共通特徴点データに記録し、共通特徴点画像データに部分読取画像データＡ2、Ａ3の組を記録する。
【００３８】
そして、ステップ１２０では、共通特徴点画像データに記録された部分読取画像データの組が表す部分画像の組を、共通特徴点データに記録された２つの特徴点が重なり合うように接合処理し、原画像を表す原画像データを生成し、ステップ１２２で、原画像データをクライアントＰＣ１４へ出力し、読取画像接合処理ルーチンを終了する。
【００３９】
以上説明したように、第１の実施の形態に係るスキャナ装置によれば、部分画像各々の原画像に対する傾き角度及び正立方向を検出することにより、部分画像各々の原画像に対する傾き角度及び正立方向の違いを想定して、接合する部分画像の組に共通する２つの特徴点を検索する範囲を拡大する必要がなく、また、特徴点として抽出する図形パターンの種類を増やす必要がないため、共通する２つの特徴点を検索する処理の高速化を図ることができる。また、部分画像各々の原画像に対する傾き角度及び正立方向の違いにより、誤った特徴点を共通する２つの特徴点として検索することを防止できるため、接合処理の精度を向上させることができる。
【００４０】
なお、上記の第１の実施の形態では、二値画像から輪郭抽出処理を実施した画像に対して傾き検出処理を行っている場合を例に説明したが、入力画像のような濃度を持つ画像に対して微分フィルタ処理を行ってエッジ抽出処理を行い、エッジ抽出画像から傾きを検出してもよい。
【００４１】
また、縮小画像に対して、傾き検出処理や正立方向検出を行っている場合を例に説明したが、縮小処理を行わない同サイズの画像に対して、傾き検出処理や正立方向検出を行ってもよい。
【００４２】
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同一部分について同一符号を付してその詳細な説明を省略する。
【００４３】
第２の実施の形態では、第１の実施の形態で説明した傾き検出処理によって検出された傾き角度及び正立方向検出処理によって検出された正立方向に基づいて、部分読取画像データを補正し、補正された部分読取画像データに基づいて、特徴点を抽出し、共通する特徴点を検索する点が第１の実施の形態と異なる。なお、第２の実施の形態の構成は、第１の実施の形態の構成と同一であるので、構成に関する説明を省略する。
【００４４】
次に、第２の実施の形態の読取画像接合処理ルーチンについて図６を用いて説明する。なお、第１の実施の形態の処理と同一処理については、同一符号を付して詳細な説明を省略する。
【００４５】
スキャナ装置１２では、まず、ステップ１００、１０１で、スキャナ装置１２で原稿が表す原画像の一部分のスキャン処理が実行され、カラー画像データである部分読取画像データＡ1が生成され、ステップ１０２、１０３で、ステップ１０１でスキャン処理された原画像の一部分である部分画像Ｓ1と一部が重複するように原稿がスキャナ装置１２の画像読取部２６にセットされ、部分画像Ｓ2を表す部分読取画像データＡ2が生成される。また、同様にステップ１０４、１０５においてスキャン処理が実行され、部分画像Ｓ3を表す部分読取画像データＡ3が生成される。次のステップ１０８では、縮小二値画像データＣ1、Ｃ2、Ｃ3を生成し、ステップ１１０において、画像読取部２６にセットされた原稿が表す原画像の傾き角度を部分画像Ｓ1、Ｓ2、Ｓ3について検出する。
【００４６】
そして、ステップ２００では、部分画像Ｓ1、Ｓ2、Ｓ3の傾き角度が一致するように部分読取画像データＡ1、Ａ2、Ａ3を回転補正処理する。例えば、部分読取画像データＡ1、Ａ2、Ａ3に対して、ステップ１４６で検出された各々の傾き角度だけ部分画像Ｓ1、Ｓ2、Ｓ3各々を逆回転させるように回転補正処理を行い、部分画像Ｓ1、Ｓ2、Ｓ3の傾き角度を０にする。なお、部分読取画像データＡ2、Ａ3の各々に対して、ステップ１４６で検出された部分画像Ｓ1の傾き角度との差だけ回転補正処理を行い、部分画像Ｓ1、Ｓ2、Ｓ3の傾き角度を一致させるようにしてもよい。また、回転補正処理の方法としては、例えばＡｆｆｉｎｅ変換などの周知の方法を用いればよいため、回転補正処理の詳細な説明は省略する。
【００４７】
次のステップ１１２では、部分画像Ｓ1、Ｓ2、Ｓ3の正立方向を検出し、ステップ２０２で、ステップ２００で回転補正された部分画像Ｓ1、Ｓ2、Ｓ3の正立方向が一致するように、部分読取画像データＡ1、Ａ2、Ａ3に対し回転補正処理を実行する。このときに、部分画像Ｓ1、Ｓ2、Ｓ3の各々の正立方向が原画像の正立方向となるように、部分読取画像データＡ1、Ａ2、Ａ3をそれぞれ回転補正処理してもよく、また、部分画像Ｓ2、Ｓ3を部分画像Ｓ1の正立方向に一致させるように、部分画像Ｓ2、Ｓ3だけを回転補正処理してもよい。
【００４８】
そして、ステップ２０４において、ステップ２００、２０２で補正処理された部分読取画像データＡ1、Ａ2、Ａ3を濃度に応じて二値化処理して二値画像データE1、E2、E3を生成し、二値画像データE1、E2、E3が表す線の太さを等しくするために細線化処理を行い、細線二値画像データF1、F2、F3を生成する。ステップ２０６では、予め定められた小矩形領域が細線二値画像データF1、F2、F3上を走査し、小矩形領域で複数の図形パターンの各々に対応するフィルタをかけることにより、部分画像Ｓ1、Ｓ2、Ｓ3の各々から特徴点を抽出し、特徴点の画素位置情報と図形パターン情報とを記録した特徴点データを細線二値画像データF1、F2、F3の各々について生成する。
【００４９】
なお、上記のステップ２００の回転補正処理において、部分画像Ｓ1、Ｓ2、Ｓ3の傾き角度が一致するように部分読取画像データＡ2、Ａ3のみが回転補正処理された場合には、予め定められた複数の図形パターンを部分画像Ｓ1の傾き角度に一致するように回転させ、回転させられた図形パターンに対応するように、特徴点を抽出する際に使用するフィルタも変更する。
【００５０】
そして、ステップ２０８において、細線二値画像データF1の特徴点データと細線二値画像データF2の特徴点データとに基づいて、部分画像Ｓ1と部分画像Ｓ2とに共通する２つの特徴点を検索し、共通する２つの特徴点が検索されると、この２つの特徴点を共通特徴点データに記録し、共通特徴点画像データに部分読取画像データＡ1、Ａ2の組を記録する。なお、部分画像Ｓ1、Ｓ2の傾き角度及び正立方向が一致するように補正されているので、部分画像Ｓ1における１つ目の特徴点から２つ目の特徴点へのベクトルの方向と、部分画像Ｓ2における第１の共通特徴点から第２の共通特徴点へのベクトルの方向とは、同一である。
【００５１】
そして、ステップ２１０において、細線二値画像データF1の特徴点データと細線二値画像データF3の特徴点データとに基づいて、部分画像Ｓ1と部分画像Ｓ3とに共通する２つの特徴点を検索し、共通する２つの特徴点が検索されると、この２つの特徴点を共通特徴点データに記録し、共通特徴点画像データに部分読取画像データＡ1、Ａ3の組を記録する。また、同様にステップ２１２において、細線二値画像データF2の特徴点データと細線二値画像データF3の特徴点データとに基づいて、部分画像Ｓ2と部分画像Ｓ3とに共通する２つの特徴点を検索し、共通する２つの特徴点が検索されると、この２つの特徴点を共通特徴点データに記録し、共通特徴点画像データに部分読取画像データＡ2、Ａ3の組を記録する。
【００５２】
そして、ステップ１２０では、共通特徴点画像データに記録された部分読取画像データの組が表す部分画像の組を、共通特徴点データに記録された２つの特徴点が重なり合うように接合し、原画像を表す原画像データを生成し、ステップ１２２で、原稿画像データをクライアントＰＣ１４へ出力し、読取画像接合処理ルーチンを終了する。
【００５３】
以上説明したように、第２の実施の形態に係るスキャナ装置によれば、複数の部分画像各々の原画像に対する傾き角度及び正立方向が一致するように複数の部分読取画像データを回転補正処理することにより、接合する部分画像の組に共通する複数の特徴点を検索する範囲を、傾き角度及び正立方向の違いを想定して拡大する必要がなく、また、傾き角度及び正立方向の違いを想定して特徴点の図形パターンの種類を増やす必要がないため、共通する複数の特徴点を検索する処理の高速化を図ることができる。
【００５４】
次に、本発明の第３の実施の形態について説明する。なお、第１の実施の形態と同一部分について同一符号を付してその詳細な説明を省略する。
【００５５】
第３の実施の形態では、第１の実施の形態で説明した傾き算出処理及び正立方向算出処理に加え、原画像に対する部分画像Ｓ1、Ｓ2、Ｓ3の配置位置を算出する処理を実行する点が第１の実施の形態と異なる。なお、第３の実施の形態の構成は、第１の実施の形態の構成と同一であるので、構成に関する説明を省略する。
【００５６】
次に、第３の実施の形態の読取画像接合処理ルーチンについて図７を用いて説明する。なお、第１の実施の形態の処理と同一処理については、同一符号を付して詳細な説明を省略する。
【００５７】
スキャナ装置１２では、まず、ステップ１００、１０１で、スキャナ装置１２で原稿が表す原画像の一部分のスキャン処理が実行され、部分読取画像データＡ1が生成され、ステップ１０２、１０３で、部分画像Ｓ2を表す部分読取画像データＡ2が生成される。また、同様にステップ１０４、１０５においてスキャン処理が実行され、部分画像Ｓ3を表す部分読取画像データＡ3が生成される。次のステップ１０８では、縮小二値画像データＣ1、Ｃ2、Ｃ3を生成し、ステップ１１０において、画像読取部２６にセットされた原稿が表す原画像の傾き角度を部分画像Ｓ1、Ｓ2、Ｓ3について検出し、ステップ１１２では、部分画像Ｓ1、Ｓ2、Ｓ3の正立方向を検出する。
【００５８】
次のステップ２５０では、図８に示す配置位置検出処理ルーチンを実行する。まず、ステップ２７０において、縮小二値画像データＣ1に基づいて、部分画像Ｓ1の上部、下部、右部、及び左部の各々の領域から予め定められた複数の図形パターンの特徴点を抽出し、特徴点の図形パターン情報と画素位置情報とからなる特徴点データを上部、下部、右部、及び左部の各々について作成する。そして、同様に部分画像Ｓ2、Ｓ3についても上部、下部、右部、及び左部の各々の特徴点データを生成する。このとき、ステップ１１０で算出した部分画像Ｓ1、Ｓ2、Ｓ3の傾き角度に基づいて、図形パターンを抽出するためのフィルタを修正し、部分画像Ｓ1、Ｓ2、Ｓ3から特徴点を抽出する。
【００５９】
そして、ステップ２７２では、部分画像Ｓ1の特徴点データと部分画像Ｓ2の特徴点データとに基づいて、部分画像Ｓ1と部分画像Ｓ2との配置位置検出処理を実行する。例えば、ステップ１１２で算出された部分画像Ｓ1、Ｓ2各々の正立方向に基づいて、部分画像Ｓ1の正立方向から見た上部の特徴点データと部分画像Ｓ2の正立方向から見た下部の特徴点データとに基づいて、共通する２つの特徴点があるかを検索する。また、同様に、部分画像Ｓ1の正立方向から見た下部の特徴点データと部分画像Ｓ2の正立方向から見た上部の特徴点データ、部分画像Ｓ1の正立方向から見た右部の特徴点データと部分画像Ｓ2の正立方向から見た左部の特徴点データ、及び部分画像Ｓ1の正立方向から見た左部の特徴点データと部分画像Ｓ2の正立方向から見た右部の特徴点データに基づいて、部分画像Ｓ1と部分画像Ｓ2とに共通する２つの特徴点を検索し、共通する２つの特徴点が検索されると、この２つの特徴点を有する部分読取画像データの組が表す部分画像の配置位置情報と、この２つの特徴点の画素位置情報と図形パターン情報とからなる概略共通点情報とを作成する。
【００６０】
次のステップ２７４では、ステップ２７２と同様に、部分画像Ｓ1の特徴点データと部分画像Ｓ3の特徴点データとに基づいて、部分画像Ｓ1と部分画像Ｓ3との配置位置検出処理を実行し、部分画像Ｓ1と部分画像Ｓ3とに共通する２つの特徴点が検索されると、配置位置情報と概略共通点情報とが生成され、ステップ２７６において、部分画像Ｓ2の特徴点データと部分画像Ｓ3の特徴点データとに基づいて、部分画像Ｓ2と部分画像Ｓ3との配置位置検出処理を実行し、部分画像Ｓ2と部分画像Ｓ3とに共通する２つの特徴点が検索されると、配置位置情報と概略共通点情報とが生成され、配置位置検出処理ルーチンを終了する。
【００６１】
そして、図７の読取画像接合処理ルーチンのステップ１１４において、部分読取画像データＡ1、Ａ2、Ａ3に対して二値化処理及び細線化処理を実行して細線二値画像データF1、F2、F3を生成し、ステップ２５１において、概略共通点情報と細線二値画像データF1、F2、F3とに基づいて、部分画像Ｓ1、Ｓ2、Ｓ3から特徴点を抽出し、部分画像Ｓ1、Ｓ2、Ｓ3の各々について特徴点データを生成する。このとき、上記のステップ２５０で生成された概略共通点情報の画素位置情報が表す細線二値画像データにおける画素位置周辺から、概略共通点情報の図形パターン情報と同じ図形パターン情報を持つ特徴点のみを抽出する。
【００６２】
次のステップ２５２では、共通する２つの特徴点を有する部分画像の組を表す細線二値画像データの組を示す番号ｎに初期値として１を設定し、次のステップ２５４では、ｎ番目の細線二値画像データの組が表す部分画像の組に共通する２つの特徴点を検索し、検索された２つの特徴点を共通特徴点データに記録し、共通する２つの特徴点を有する部分読取画像データの組を共通特徴点画像データに記録する。
【００６３】
次のステップ２５６では、ｎ＋１番目の細線二値画像データの組があるか否かを判定し、判定が肯定されると、ステップ２５８でｎの値をインクリメントしてステップ２５４へ戻るが、全ての細線二値画像データの組について、ステップ２５４の共通する特徴点を検索する処理を実行すると、ステップ２５６の判定が否定され、ステップ１２０において、共通特徴点画像データに記録された部分読取画像データの組が表す部分画像の組を、共通特徴点データに記録された２つの特徴点が重なり合うように接合し、原画像を表す原画像データを生成し、ステップ１２２で、原画像データをクライアントＰＣ１４へ出力し、読取画像接合処理ルーチンを終了する。
【００６４】
以上説明したように、第３の実施の形態に係るスキャナ装置によれば、原画像に対する部分画像各々の配置位置を検出することにより、接合する部分画像の組に共通する複数の特徴点を検索する範囲を限定することができるため、共通する複数の特徴点を検索する処理の高速化を図ることができる。
【００６５】
なお、上記の実施の形態では、細線二値画像データの各々から特徴点を抽出し、抽出された特徴点の中から共通する２つの特徴点を検索する場合を例に説明したが、共通する特徴点を検索する対象となっている２つの細線二値画像データを、参照側の細線二値画像データと探索側の細線二値画像データとし、参照側の細線二値画像データから複数の特徴点を抽出し、抽出した特徴点と同じ特徴点が探索側の細線二値画像データから抽出できるか否かを判定するようにして、共通する２つの特徴点を検索するようにしてもよい。
【図面の簡単な説明】
【００６６】
【図１】本発明の第１の実施の形態に係る画像処理システムの構成を示す概略図である。
【図２】本発明の第１の実施の形態に係る読取画像接合処理ルーチンを示すフローチャートである。
【図３】本発明の第１の実施の形態に係る傾き検出処理ルーチンを示すフローチャートである。
【図４】本発明の第１の実施の形態に係る傾き検出処理ルーチンにおけるハフ変換処理の内容を説明するイメージ図である。
【図５】本発明の第１の実施の形態に係る正立方向検出処理ルーチンを示すフローチャートである。
【図６】本発明の第２の実施の形態に係る読取画像接合処理ルーチンを示すフローチャートである。
【図７】本発明の第３の実施の形態に係る読取画像接合処理ルーチンを示すフローチャートである。
【図８】本発明の第３の実施の形態に係る配置位置検出処理ルーチンを示すフローチャートである。
【符号の説明】
【００６７】
１０  画像処理システム
１２  スキャナ装置
１４  クライアントＰＣ
２０  ＲＯＭ
２２  ＣＰＵ
２４  ＲＡＭ
２６  画像読取部
２８  ＨＤＤ
Ａ1、Ａ2、Ａ3  部分読取画像データ
Ｓ1、Ｓ2、Ｓ3  部分画像
【図１】
2006268371.tif 000004
【図２】
2006268371.tif 000005
【図３】
2006268371.tif 000006
【図４】
2006268371.tif 000007
【図５】
2006268371.tif 000008
【図６】
2006268371.tif 000009
【図７】
2006268371.tif 000010
【図８】
2006268371.tif 000011