(57)【要約】【課題】原画像データを形成する複数の画像データブロックを正確に接合する。【解決手段】取得した画像データブロックに係る元画像と参照画像とを幾何変換式Ｔを用いて重ね合わせたときの重なり領域を抽出する（Ｓ５０２）。元画像及び参照画像の重なり領域における特徴点を抽出する（Ｓ５０３、Ｓ５０５）。幾何変換式Ｔを用いて、各特徴点に対応する元画像及び参照画像の重なり領域における対応点を抽出する（Ｓ５０４、Ｓ５０６）。複数の特徴点及びこれに対応する複数の対応点の一致度が最も高くなるように幾何変換式Ｔを生成する（Ｓ５０７）。解像度Ｒが、最大処理解像度となるまで、解像度Ｒを段階的に大きくしつつ、幾何変換式Ｔを繰り返し修正する（Ｓ５０８、Ｓ５０９）。【選択図】図７
2009044612.tif 000002
【特許請求の範囲】
【請求項１】
一方向に関して互いに一部が重なり合うように配置されることによって１つの原画像データを形成する複数の画像データブロックを記憶する画像記憶手段と、
前記画像記憶手段が記憶している互いに重なり合う２つの前記画像データブロック毎に、一方の前記画像データブロックである元画像と、他方の前記画像データブロックである参照画像との位置合わせを行う概略位置合わせ手段と、
前記元画像及び前記参照画像のそれぞれにおいて互いに重なる領域を抽出する領域抽出手段と、
前記元画像及び前記参照画像の各領域について１又は複数の特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段が特徴点を抽出した各領域について、当該領域の各特徴点に対応する、当該領域に重なり合う他の前記領域における対応点を、当該特徴点の座標位置を基準とした正規化相関を行うことによって抽出する対応点抽出手段と、
各領域における複数の前記特徴点及びこれに対応する複数の前記対応点の一致度が最も高くなるように、前記元画像を移動させる幾何変換式を算出するとともに、算出した幾何変換式に基づいて前記元画像を移動させることによって、前記元画像と前記参照画像との位置合わせを行う詳細位置合わせ手段と、
前記詳細位置合わせ手段によって位置合わせされた前記元画像と前記参照画像とを接合する接合手段とを備えていることを特徴とする画像処理装置。
【請求項２】
前記概略位置合わせ手段が、前記元画像の前記一方向に関する一方端部近傍と、前記参照画像の前記一方向に関する他方端部近傍との間で位相相関を得ることができるように、前記元画像を移動させる幾何変換式を算出するとともに、算出した幾何変換式に基づいて前記元画像を移動させることによって、前記元画像と前記参照画像との位置合わせを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記概略位置合わせ手段が、前記元画像の前記一方端部近傍と、前記参照画像の前記他方端部近傍との間で位相相関を得ることができなかったときに、前記元画像及び前記参照画像全体の間で位相相関を得ることができるように、前記元画像を移動させる幾何変換式を算出することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像記憶手段が記憶している各画像データブロックを複数の解像度で低解像度化した前記画像データブロックを生成して前記画像記憶手段に記憶させる多重解像度化手段をさらに備えており、
前記領域抽出手段は、前記画像記憶手段が記憶している最も低い解像度から解像度が高くなる順に、前記詳細位置合わせ手段が位置合わせした前記元画像及び前記参照画像に関する各領域を抽出し、
前記接合手段が、前記画像記憶手段が記憶している最も高い解像度に関して前記詳細位置合わせ手段が位置合わせした前記元画像と前記参照画像とを接合することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記画像記憶手段に記憶された各画像データブロックを所定のサイズを有する処理画像に分割する分割手段をさらに備えており、
前記接合手段が、前記分割手段によって分割された前記処理画像単位で前記元画像と前記参照画像とを接合することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
一方向に関して互いに一部が重なり合うように配置されることによって１つの原画像データを形成する複数の画像データブロックを記憶する画像記憶手段、
前記画像記憶手段が記憶している互いに重なり合う２つの前記画像データブロック毎に、一方の前記画像データブロックである元画像と、他方の前記画像データブロックである参照画像との位置合わせを行う概略位置合わせ手段、
前記元画像及び前記参照画像のそれぞれにおいて互いに重なる領域を抽出する領域抽出手段、
前記元画像及び前記参照画像の各領域について１又は複数の特徴点を抽出する特徴点抽出手段、
前記特徴点抽出手段が特徴点を抽出した各領域について、当該領域の各特徴点に対応する、当該領域に重なり合う他の前記領域における対応点を、当該特徴点の座標位置を基準とした正規化相関を行うことによって抽出する対応点抽出手段、
各領域における複数の前記特徴点及びこれに対応する複数の前記対応点の一致度が最も高くなるように、前記元画像を移動させる幾何変換式を算出するとともに、算出した幾何変換式に基づいて前記元画像を移動させることによって、前記元画像と前記参照画像との位置合わせを行う詳細位置合わせ手段、及び、
前記詳細位置合わせ手段によって位置合わせされた前記元画像と前記参照画像とを接合する接合手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像データブロックを接合して原画像データを生成する画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
大型の原稿をデジタルデータ化するために、移動式のスキャナを用いて、原稿を複数回に分けて読み込み、読み込んだときに生成される各画像データブロックを後工程で接合することによって原稿の原画像データを生成することが行われている。この後工程においては、オペレータが汎用の画像編集ソフトウェアを操作して、各画像データブロックを接合することも可能であるが、作業が繁雑で時間がかかるばかりか、十分な画像品質を得ることができないことがある。そこで、画像データブロック同士の接合を精度よく、且つ、自動的に行う技術が知られている。例えば、位置情報を示す印が形成された透過版上に原稿を配置し、透過版に記された印を元に、各画像データブロックの配置位置を割り出し、割り出した配置位置に基づいて読み込んだ画像データブロック同士の接合を自動的に行う画像読取装置が知られている（特許文献１参照）。特許文献１に開示された画像読取装置では、新たな原稿をスキャンするたびに透過版を設置する必要があり、スキャンする原稿が大型の場合、透過板も大型となり、透過板を設置する手間が繁雑である。さらに、透過板を分解して持ち運ぶことが困難である。そこで、接合する画像データブロックに対してパターンマッチングを行ってマッチングポイントを抽出し、抽出したマッチングポイントを用いて画像データブロック同士を接合する画像処理装置が知られている（例えば、特許文献２参照）。
【０００３】
【特許文献１】特開平５−２５２３４９号公報（図４）
【特許文献２】特開２００３−１８９１１１号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献２に開示された画像処理装置においては、透過版を設置することなく画像データブロック同士を接合することができる。しかしながら、スキャナを移動させつつ、複数回に分割して原稿を読み込むときに、原稿に対するスキャナの姿勢が僅かに変化することある。このような変化は、パターンマッチングにおいて、マッチングポイントを抽出するときの外乱となるため、画像データブロック同士を正確に接合することが難しい。
【０００５】
そこで、本発明は、原画像データを形成する複数の画像データブロックを正確に接合することができる画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、一方向に関して互いに一部が重なり合うように配置されることによって１つの原画像データを形成する複数の画像データブロックを記憶する画像記憶手段と、前記画像記憶手段が記憶している互いに重なり合う２つの前記画像データブロック毎に、一方の前記画像データブロックである元画像と、他方の前記画像データブロックである参照画像との位置合わせを行う概略位置合わせ手段と、前記元画像及び前記参照画像のそれぞれにおいて互いに重なる領域を抽出する領域抽出手段と、前記元画像及び前記参照画像の各領域について１又は複数の特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段が特徴点を抽出した各領域について、当該領域の各特徴点に対応する、当該領域に重なり合う他の前記領域における対応点を、当該特徴点の座標位置を基準とした正規化相関を行うことによって抽出する対応点抽出手段と、各領域における複数の前記特徴点及びこれに対応する複数の前記対応点の一致度が最も高くなるように、前記元画像を移動させる幾何変換式を算出するとともに、算出した幾何変換式に基づいて前記元画像を移動させることによって、前記元画像と前記参照画像との位置合わせを行う詳細位置合わせ手段と、前記詳細位置合わせ手段によって位置合わせされた前記元画像と前記参照画像とを接合する接合手段とを備えている。
【０００７】
本発明のプログラムは、一方向に関して互いに一部が重なり合うように配置されることによって１つの原画像データを形成する複数の画像データブロックを記憶する画像記憶手段、前記画像記憶手段が記憶している互いに重なり合う２つの前記画像データブロック毎に、一方の前記画像データブロックである元画像と、他方の前記画像データブロックである参照画像との位置合わせを行う概略位置合わせ手段、前記元画像及び前記参照画像のそれぞれにおいて互いに重なる領域を抽出する領域抽出手段、前記元画像及び前記参照画像の各領域について１又は複数の特徴点を抽出する特徴点抽出手段、前記特徴点抽出手段が特徴点を抽出した各領域について、当該領域の各特徴点に対応する、当該領域に重なり合う他の前記領域における対応点を、当該特徴点の座標位置を基準とした正規化相関を行うことによって抽出する対応点抽出手段、各領域における複数の前記特徴点及びこれに対応する複数の前記対応点の一致度が最も高くなるように、前記元画像を移動させる幾何変換式を算出するとともに、算出した幾何変換式に基づいて前記元画像を移動させることによって、前記元画像と前記参照画像との位置合わせを行う詳細位置合わせ手段、及び、前記詳細位置合わせ手段によって位置合わせされた前記元画像と前記参照画像とを接合する接合手段としてコンピュータを機能させる。
【０００８】
これら本発明によると、元画像の領域及び参照画像の領域のそれぞれについて、特徴点とこれに対応する対応点とを抽出し、抽出した複数の特徴点及びこれに対応する複数の対応点の一致度が最も高くなるように、幾何変換式を算出するため、ロバストな幾何変換式を得ることが可能となり、複数の画像データブロックを正確に接合することができる。
【０００９】
本発明においては、前記概略位置合わせ手段が、前記元画像の前記一方向に関する一方端部近傍と、前記参照画像の前記一方向に関する他方端部近傍との間で位相相関を得ることができるように、前記元画像を移動させる幾何変換式を算出するとともに、算出した幾何変換式に基づいて前記元画像を移動させることによって、前記元画像と前記参照画像との位置合わせを行うことが好ましい。これによると、概略位置合わせにおいて、位相相関法を用いて、幾何変換式を算出するため、正規化相関の一致度のみで幾何変換式を算出する場合と比較して素早く幾何変換式を算出することができる。
【００１０】
このとき、前記概略位置合わせ手段が、前記元画像の前記一方端部近傍と、前記参照画像の前記他方端部近傍との間で位相相関を得ることができなかったときに、前記元画像及び前記参照画像全体の間で位相相関を得ることができるように、前記元画像を移動させる幾何変換式を算出することがより好ましい。これによると、画像データブロックの大半が重なり合う場合であっても幾何変換式を素早く算出することができる。
【００１１】
また、本発明においては、前記画像記憶手段が記憶している各画像データブロックを複数の解像度で低解像度化した前記画像データブロックを生成して前記画像記憶手段に記憶させる多重解像度化手段をさらに備えており、前記領域抽出手段は、前記画像記憶手段が記憶している最も低い解像度から解像度が高くなる順に、前記詳細位置合わせ手段が位置合わせした前記元画像及び前記参照画像に関する各領域を抽出し、前記接合手段が、前記画像記憶手段が記憶している最も高い解像度に関して前記詳細位置合わせ手段が位置合わせした前記元画像と前記参照画像とを接合することが好ましい。これによると、最も低い解像度から解像度が高くなる順に、幾何変換式が修正されるため、ロバストな幾何変換式を算出することができる。
【００１２】
さらに、本発明においては、前記画像記憶手段に記憶された各画像データブロックを所定のサイズを有する処理画像に分割する分割手段をさらに備えており、前記接合手段が、前記分割手段によって分割された前記処理画像単位で前記元画像と前記参照画像とを接合することが好ましい。これによると、メモリに展開できないような高解像度の画像データブロックに対応することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。
【００１４】
図１は、本発明に係る好適な実施形態の画像処理装置である制御装置の機能ブロック図である。図１に示すように、制御装置１は、スキャナ２が大型の原稿を分割して読み込むことによって生成した複数の画像データブロックを接合して原画像データとなる接合画像データを生成するものであり、ＰＣ（パーソナルコンピュータ）上で起動する制御プログラムによって実現される。なお、ＰＣは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard disk drive）などを含んでおり、ＣＰＵが制御プログラムを実行することによって、制御装置１の後述する各機能部を実現する。また、制御装置１は、スキャナ２と通信可能に接続されている。さらに、制御装置１は、画像データブロックや接合画像データの内容を確認するためのディスプレイ２０と、図示しないマウスやキーボードなどの入力デバイスが接続されている。
【００１５】
制御装置１は、画像記憶部（画像記憶手段）１１と、前処理部１２と、概略位置合わせ部（概略位置合わせ手段）１３と、重なり領域抽出部（領域抽出手段）１４と、特徴点抽出部（特徴点抽出手段）１５と、対応点抽出部（対応点抽出手段）１６と、詳細位置合わせ部（詳細位置合わせ手段）１７と、グローバル幾何変換式生成部１８と、接合部（接合手段）１９とを有している。画像記憶部１１は、スキャナ２が読み込んだ原稿に関する複数の入力画像に係る画像データブロックを記憶するものである。図２を参照しつつ、スキャナ２の原稿の読み込み方法について説明する。図２は、スキャナ２が原稿を読み込むときの動作を示した図である。スキャナ２は、一方向に移動可能となっている。図２に示すように、スキャナ２は、原稿の長手方向に関する複数位置のそれぞれにおいて、原稿の一部を読み込んで画像データブロックを生成し、生成した画像データブロックを制御装置１に送信する。このように、スキャナ２は、原稿を複数に分割して読み込むことによって複数の入力画像に係る画像データブロックを生成する。このとき、複数の画像データブロックは、移動方向（一方向）に関して互いに一部（本実施形態においては、５〜１０ｃｍ）が重なり合うように生成される。したがって、この複数の画像データブロックが示す入力画像が、移動方向に関して互いに一部が重なり合うように配置されることによって原画像データが示す原稿の画像を形成することになる。なお、本実施形態においては、画像データブロックの解像度は６００ｄｐｉとなっている。
【００１６】
前処理部１２は、原画像データを生成するにあたって、画像記憶部１１が記憶している各画像データブロックの前処理を行うものであり、多重解像度化部（多重解像度化手段）１２ａと分割部（分割手段）１２ｂとを有している。多重解像度化部１２ａは、画像記憶部１１が記憶している各画像データブロックを複数の解像度で低解像度化するものである。具体的には、多重解像度化部１２ａは、画像データブロックが、後述する分割画像データブロックのサイズ以下になるまで、画像データブロックを累積的に１／（１／２乗）を乗ずる。例えば、本実施形態においては、画像データブロックの解像度が６００ｄｐｉとなっているので、６００ｄｐｉ→４２４ｄｐｉ→３００ｄｐｉ→２１２ｄｐｉ→・・・の低解像度化された画像データブロックが順に生成される。
【００１７】
分割部１２ｂは、多重解像度化部１２ａによって低解像度化された画像データブロックを所定サイズの分割画像データブロック（処理画像）によりタイル状に分割して画像記憶部１１に記憶させるものである。分割画像データブロックは、２５６×２５６ドットで構成される。また、分割画像データブロックにおける、低解像度化された画像データブロックのサイズを超える領域については、全てのドットの値が０となっている。さらに、分割画像データブロックはＪＰＥＧフォーマットで出力され、セキュリティ機能向上のため、共通鍵暗号方式により暗号化されている。なお、分割画像データブロックは、ビットマップなど他のファーマットで出力されてもよいし、他の暗号方式により暗号化されてもよいし、暗号化されなくてもよい。
【００１８】
概略位置合わせ部１３は、画像記憶部１１に記憶されている複数の画像データブロックのうち、原画像データにおいて互いに重なり合う２つの画像データブロックの一方が示す画像を元画像とし、他方の画像データブロックが示す画像を参照画像としたとき、元画像と参照画像とが位置合わせされるように、参照画像に対して元画像を移動させる概算幾何変換式を生成するものである。
【００１９】
また、概略位置合わせ部１３は、位相相関幾何変換式生成部１３ａを有している。位相相関幾何変換式生成部１３ａは、まず、元画像における参照画像側のエッジ部（一方向に関する一方端部近傍）と参照画像における元画像側のエッジ部（一方向に関する他方端部近傍）とを、粗い解像度（本実施形態においては、２０ｄｐｉ）でリサンプリングする。ここで、リサンプリングとは、画像記憶部１１に記憶されている画像データブロックのうち、この粗い解像度に最も近い解像度を有する低解像度化された画像データブロックから解像度変換を行い、解像度変換を行った画像データブロックから所望の領域を取得することをいう。そして、位相相関（Phase Correlation）法を用いて、元画像のエッジ部と参照画像のエッジ部との間で位相相関を得ることができるような、元画像のエッジ部に係る参照画像のエッジ部に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する。その後、生成した概略幾何変換式に基づいて元画像のエッジ部を平行移動させたときの、元画像及び参照画像のエッジ部の一致度を示す正規化相関値を算出する。ここで、正規化相関値が所定値（例えば、０．８〜１）以上になっていない場合は、当該元画像と参照画像とが、エッジ部より深く重なり合っていると判断して、元画像全体と参照画像全体とを、粗い解像度でリサンプリングし、再度、位相相関法を用いて、元画像に係る参照画像に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する。
【００２０】
重なり領域抽出部１４は、画像記憶部１１から元画像及び参照画像を示す画像データブロックを取得し、取得した画像データブロックにおける、概略位置合わせ部１３によって生成された概算幾何変換式又は詳細位置合わせ部１７によって生成された詳細幾何変換式（後述）である幾何変換式Ｔを用いて元画像と参照画像とを重ね合わせたときに、元画像及び参照画像において互いに重なり合う重なり領域を抽出するものである。この重なり領域は矩形状となっている。
【００２１】
特徴点抽出部１５は、Moravecのインタレスト・オペレータを用いて、重なり領域抽出部１４によって抽出された元画像及び参照画像の各重なり領域における特徴点を抽出するものである。本実施形態において、特徴点とは、周辺に配置された他のドットに対する輝度の変化が大きいドットである。具体的には、特徴点抽出部１５は、元画像及び参照画像をグレースケールに変換する。そして、グレースケールに変換した画像に対してMoravecのインタレスト・オペレータを適用し、インタレスト値の平均値及び標準偏差を求める。そして、各インタレスト値が平均値よりも標準偏差の３倍以上大きく、且つ、一定範囲内に他の特徴点が存在しない場合に、当該インタレスト値に係るドットを特徴点として抽出する。なお、他の手法により特徴点を抽出してもよい。
【００２２】
対応点抽出部１６は、特徴点抽出部１５が特徴点を抽出した各重なり領域について、当該重なり領域の各特徴点に対応する、当該重なり領域に重なり合う他の重なり領域における対応点を抽出するものである。具体的には、まず、元画像の重なり領域における各特徴点を中心とした±３ピクセル（７×７ピクセル）の周辺領域である特徴領域を抽出する。また、各特徴点に幾何変換式Ｔを適用することによって、参照画像の重なり領域上の点であるサーチ基準点を算出し、参照画像の重なり領域における各サーチ基準点を中心とした±１０ピクセル（２１×２１ピクセル）の周辺領域であるサーチ領域を抽出する。そして、正規化相関法を用いて、サーチ領域における特徴領域との一致度が高い領域をサーチする。サーチの結果、発見された領域の中心点を特徴点に対応する対応点として抽出する。次に、参照画像の重なり領域における各特徴点についても同様の処理を行って、各特徴点に対応する元画像の重なり領域上の対応点を抽出する。なお、参照画像の重なり領域に係る各特徴点には、幾何変換式Ｔの逆変換を適用することによって、元照画像の重なり領域上の点であるサーチ基準点を算出する。そして、抽出された特徴点と、当該特徴点に対応する対応点との組は、特徴点リストとして記憶される。
【００２３】
詳細位置合わせ部１７は、各重なり領域における特徴点抽出部１５が抽出した複数の特徴点及びこれに対応する複数の対応点の一致度が最も高くなるように、参照画像に対して元画像を移動させる詳細幾何変換式を生成するものである。ここでは、対応点抽出部１６が生成した特徴点リストに対して、ＲＡＮＳＡＣ（Random Sample Consensus）法、最小メディアン法、最小二乗法を混合させた方法を用いて、詳細幾何変換式をロバスト推定により生成する。なお、当てはめる幾何変換にはヘルマート変換を用いる。具体的には、特徴点リストから特徴点及びこれに対応する対応点の組をランダムに２組選択し、これらについて連立方程式を解いてヘルマート変換式を生成する。そして、このヘルマート変換式について、特徴点及びこれに対応する対応点の組の二乗誤差を求める。さらに、この二乗誤差に関するメディアン（中央値）を求め、このメディアンよりも二乗誤差が大きい特徴点及びこれに対応する対応点の組を除外して、最小二乗法により再度ヘルマート変換式を生成する。以上の処理を所定回数（本実施形態においては１００回）繰り返し、メディアンが最小、言い換えれば、複数の特徴点及びこれに対応する複数の対応点の一致度が最も高くなるヘルマート変換式を詳細幾何変換式とする。
【００２４】
グローバル幾何変換式生成部１８は、原画像データが生成されるように、画像記憶部１１に記憶されている各画像データブロックを移動させるグローバル幾何変換式を生成するものである。例えば、画像記憶部１１に記憶されている画像データブロックが示す入力画像ａ〜入力画像ｄが、スキャナ２の移動方向に関して順に配列するものであり、詳細位置合わせ部１７が生成した複数の詳細幾何変換式（元画像を移動させる幾何変換式）が、入力画像ａ〜入力画像ｄに対応してＴａ〜Ｔｄであるとき、入力画像ｂに係るグローバル幾何変換式Ｔｇｂは、Ｔｇｂ＝Ｔａ・Ｔｂとなり、入力画像ｃに係るグローバル幾何変換式Ｔｇｃは、Ｔｇｂ＝Ｔａ・Ｔｂ・Ｔｃとなり、入力画像ｄに係るグローバル幾何変換式Ｔｇｄは、Ｔｇｄ＝Ｔａ・Ｔｂ・Ｔｃ・Ｔｄとなる。なお、入力画像ａは元画像とならないためＴａ＝Ｔｇａ＝恒等変換式となる。
【００２５】
接合部１９は、グローバル幾何変換式生成部１８によって生成された各画像データブロックに関するグローバル幾何変換式によって、各画像データブロックを接合して原画像データとなる接合画像データを生成するものである。また、接合部１９は、各画像データブロックを接合するときに、多重解像度スプライン合成を行うことによって、接合部の平滑化を行う。多重解像度スプライン合成については後述する。
【００２６】
次に、図３を参照しつつ制御装置１の動作、特に、スキャナ２によって読み込まれた画像データブロックを接合して原画像データを生成する画像処理について説明する。図３は、制御装置１の動作を示すフローチャートである。図３に示すように、原画像データを生成する画像処理が開始されると、ステップＳ１０１（以下、Ｓ１０１と称する。他のステップも同様）に移行し、前処理部１２が、画像記憶部１１が記憶している各画像データブロックの前処理である多重解像度画像生成処理を行う。そしてＳ１０２に移行し、画像記憶部１１に記憶されている複数の画像データブロックの位置合わせ処理である、画像位置合わせ処理を行う。さらに、Ｓ１０３に移行し、画像位置合わせ処理によって位置合わせされた画像データブロックのうち、隣接する関係にある画像データブロック同士の画像接合処理を行って原画像データを生成し、図３のフローチャートを終了する。以下、多重解像度画像生成処理、画像位置合わせ処理、及び、画像接合処理の詳細な内容について順に説明する。
【００２７】
図４を参照しつつ、多重解像度画像生成処理について説明する。図４は、多重解像度画像生成処理の動作を示すフローチャートである。図４に示すように、多重解像度画像生成処理が開始されると、Ｓ２０１に移行し、生成すべき解像度を示すスケールを１．０に初期化する。その後、Ｓ２０２に移行し、画像記憶部１１が記憶している各画像データブロックをＲＡＭ上の作業エリアに順に読み出す。そして、Ｓ２０３に移行し、多重解像度化部１２ａが、読み出した各画像データブロックを、スケールの値に基づいてスケーリングする。後述するように、スケールの値は、スケーリングを行う毎に、初期値１．０から１／（１／２乗）を乗じて小さくなっていく。すなわち、スケーリングにより低解像度化することになる。Ｓ２０４に移行し、分割部１２ｂが、多重解像度化部１２ａによって低解像度化された画像データブロックを、所定サイズの分割画像データブロックによりタイル状に分割して画像記憶部１１に記憶させる。上述したように、分割画像データブロックは、２５６×２５６ドットで構成されるものである。そして、分割画像データブロックにおける、画像データブロックのサイズを超える領域については、全てのドットの値が０となっている。また、分割画像データブロックは共通鍵暗号方式により暗号化されたＪＰＥＧフォーマットで出力される。
【００２８】
そして、Ｓ２０５に移行し、分割部１２ｂが、分割した分割画像データブロックの数が１以下であるか否かを判断する。分割した分割画像データブロックの数が１以下でない場合は（Ｓ２０５：ＮＯ）、Ｓ２０６に移行し、スケールに１／（１／２乗）を乗じて、再びＳ２０２に移行し、上述した処理を繰り返す。これにより、６００ｄｐｉ→４２４ｄｐｉ→３００ｄｐｉ→２１２ｄｐｉ→・・・の画像データブロックが順に生成され、各画像データブロックに係る分割画像データブロックが生成される。一方、分割した分割画像データブロックの数が１以下である場合は（Ｓ２０５：ＹＥＳ）、図４のフローチャートを終了する。
【００２９】
図５を参照しつつ、画像位置合わせ処理について説明する。図５は、画像位置合わせ処理の動作を示すフローチャートである。図５に示すように、画像位置合わせ処理が開始されると、Ｓ３０１に移行し、概略位置合わせ部１３が、画像記憶部１１に記憶されている複数の画像データブロックのうち、原画像データを形成するにあたって、互いに重なり合う２つの画像データブロック同士を、元画像及び参照画像として選択する。そして、Ｓ３０２に移行し、概略位置合わせ部１３が、選択された元画像及び参照画像に関する概略位置合わせ処理を行う。その後、Ｓ３０３に移行し、概略位置合わせ処理による位置合わせの結果に基づいて、当該元画像及び参照画像に関する詳細位置合わせ処理を行う。そして、Ｓ３０４に移行し、互いに重なり合う２つの画像データブロックの他の組み合わせがあるか否かを判断する。他の組み合わせがある場合は（Ｓ３０４：ＹＥＳ）、再びＳ３０１に移行し、他の組み合わせを選択して上述した処理を繰り返す。
【００３０】
一方、他の組み合わせがない場合は（Ｓ３０４：ＮＯ）、Ｓ３０５に移行して、接合部１９が、詳細位置合わせ処理による位置合わせの結果に基づいて、隣接する各画像データブロック同士を接合して原画像データを生成する画像接合処理を行う。そして、図５のフローチャートを終了する。以下、概略位置合わせ処理、詳細位置合わせ処理、及び、画像接合処理の詳細な内容について順に説明する。
【００３１】
まず、図６を参照しつつ、概略位置合わせ処理について詳細に説明する。図６は、概略位置合わせ処理の動作を示すフローチャートである。図６に示すように、概略位置合わせ処理が開始されると、Ｓ４０１に移行し、概略位置合わせ部１３の位相相関幾何変換式生成部１３ａが、先に選択された元画像における参照画像側のエッジ部と参照画像の元画像側のエッジ部とを、２０ｄｐｉでリサンプリングする。上述したように、このとき、位相相関幾何変換式生成部１３ａは、画像記憶部１１に記憶されている画像データブロックのうち、２０ｄｐｉに最も近い解像度を有する画像データブロックから解像度変換を行い、解像度変換を行った画像データブロックから所望の領域を取得することによってリサンプリングを行う。そして、Ｓ４０２に移行し、位相相関幾何変換式生成部１３ａが、位相相関法を用いて、元画像のエッジ部に係る参照画像のエッジ部に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する。その後、Ｓ４０３に移行し、生成した幾何変換式に基づいて元画像のエッジ部を平行移動させて、元画像及び参照画像のエッジ部の正規化相関値を算出する。そして、Ｓ４０４に移行し、算出した正規化相関値が所定値（例えば、０．８〜１）以上か否かを判断する。正規化相関値が所定値以上と判断する場合は（Ｓ４０４：ＹＥＳ）、図６のフローチャートを終了する。
【００３２】
一方、正規化相関値が所定値以上でないと判断する場合は（Ｓ４０４：ＮＯ）、元画像と参照画像とが、エッジ部より深く重なり合っていると判断して、Ｓ４０５に移行し、元画像全体と参照画像全体とを、２０ｄｐｉ以下の解像度でリサンプリングする。そして、Ｓ４０６に移行し、再度、位相相関法を用いて、元画像に係る参照画像に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する。
【００３３】
次に、図７を参照しつつ、詳細位置合わせ処理について詳細に説明する。図７は、詳細位置合わせ処理の動作を示すフローチャートである。図７に示すように、詳細位置合わせ処理が開始されると、Ｓ５０１に移行し、処理対象となる画像データブロックの解像度を示す解像度Ｒの値を、前処理部１２の多重解像度化部１２ａによって生成された画像データブロックのうち、最も低い解像度に初期化するとともに、幾何変換式Ｔを概略位置合わせ処理において生成された概算幾何変換式に初期化する。
【００３４】
Ｓ５０２に移行し、重なり領域抽出部１４が、画像記憶部１１から元画像及び参照画像を示す解像度Ｒの画像データブロックを取得し、取得した画像データブロックに係る元画像と参照画像とを幾何変換式Ｔを用いて重ね合わせたときに、元画像及び参照画像において互いに重なり合う重なり領域を抽出する。そして、Ｓ５０３に移行し、特徴点抽出部１５が、Moravecのインタレスト・オペレータを用いて、元画像の重なり領域における特徴点を抽出する。さらに、Ｓ５０４に移行し、対応点抽出部１６が、幾何変換式Ｔを用いて、元画像の重なり領域における各特徴点に対応する、参照画像の重なり領域における対応点を抽出する。また、Ｓ５０５に移行し、特徴点抽出部１５が、Moravecのインタレスト・オペレータを用いて、参照画像の重なり領域における特徴点を抽出する。さらに、Ｓ５０６に移行し、対応点抽出部１６が、幾何変換式Ｔの逆変換を用いて、参照画像の重なり領域における各特徴点に対応する、元画像の重なり領域における対応点を抽出する。上述したように、このとき、抽出された特徴点と、当該特徴点に対応する対応点との組が、特徴点リストとして記憶される。
【００３５】
その後、Ｓ５０７に移行し、詳細位置合わせ部１７が、対応点抽出部１６が生成した特徴点リストに対して、ＲＡＮＳＡＣ法、最小メディアン法、最小二乗法を混合させた方法を用いて、詳細幾何変換式Ｔをロバスト推定により生成する。言い換えれば、元画像及び参照画像の各重なり領域における複数の特徴点及びこれに対応する複数の対応点の一致度が最も高くなるように、参照画像に対して元画像を移動させる詳細幾何変換式を生成する。そして、生成した詳細幾何変換式を次の幾何変換式Ｔとする。
【００３６】
そして、Ｓ５０８に移行し、解像度Ｒの値が、予め決定された最大処理解像度となっているか否かを判断する。解像度Ｒの値が、最大処理解像度となっている場合は（Ｓ５０８：ＹＥＳ）、現在の幾何変換式Ｔを詳細幾何変換式として、図７のフローチャートを終了する。一方、解像度Ｒの値が、最大処理解像度となっていない場合は（Ｓ５０８：ＮＯ）、解像度Ｒの値に次に大きい解像度を登録して、Ｓ５０２に移行し、上述した処理を繰り返す。このように、詳細位置合わせ処理においては、解像度Ｒを段階的に大きくしつつ、重なり領域抽出部１４が、詳細幾何変換式によって移動された元画像及び参照画像に関する重なり領域を抽出し、当該重なり領域の特徴点及び当該特徴点に対応する対応点とから幾何変換式Ｔを修正していく。
【００３７】
さらに、図８〜図１２を参照しつつ画像接合処理について詳細に説明する。図８は、画像接合処理の動作を示すフローチャートである。図９は、入力画像ピラミッドの構築手順を示したブロック図である。図１０は、ブレンド画像ピラミッドの構築手順を示したブロック図である。図１１は、出力画像ピラミッドの構築手順を示したブロック図である。図１２は、原画像データの生成手順を示したブロック図である。なお、図９〜図１２においては、画像記憶部１１にＭ個の入力画像に係る画像データブロックＩｉ（ｉ＝０〜Ｍ）が記憶されているものとする。図８に示すように、画像接合処理が開始されると、Ｓ６０１に移行し、画像記憶部１１にＭ個の入力画像に係る画像データブロックＩｉを順に読み出し、各画像データブロックに対して当該画像データブロックＩｉに係るグローバル幾何変換式Ｔを適用する。
【００３８】
以下、多重解像度スプライン合成による画像データブロックＩｉ同士の接合部の平滑化を行う。まず、Ｓ６０２に移行して、各画像データブロックＩｉについて、Burt＆Adelsonによる入力画像ピラミッドを構築する。入力画像ピラミッドは、画像データブロックＩｉを解像度の異なるＮ＋１個のレベル（０〜Ｎ）で表現するものである。なお、レベル０からレベルＮの順に解像度が小さくなるものとする。具体的には、図９に示すように、詳細幾何変換Ｔを適用した画像データブロックＩｉを、入力画像ピラミッドのレベル０のガウシアン画像ＩＧｉ，０としてコピーする。次に、反復的にREDUCE操作（低解像度化）を実行することによって、入力画像ピラミッドの各レベル０〜Ｎのガウシアン画像ＩＧｉ，１〜ＩＧｉ，Ｎを作成する。次に、１つ上のレベルのガウシアン画像ＩＧｉ，１〜ＩＧｉ，ＮにEXPAND操作（高解像度化）を施したものと、当該レベルのガウシアン画像ＩＧｉ，０〜ＩＧｉ，Ｎ−１との差を取ることによって、各レベルのラプラシアン画像ＩＧｉ，０〜ＩＧｉ，Ｎ−１を作成する。ただし、最上位のレベルＮについては、ガウシアン画像ＩＧｉ，Ｎをそのままラプラシアン画像ＩＬｉ，Ｎとして用いる。
【００３９】
なお、入力画像ピラミッドの構築にあたって、各画像データブロックに対して各種の演算を行う必要があるが、本実施形態においては、画像データブロックが大容量であるため、画像データブロックの全体をＲＡＭの作業エリアに展開することが出来ない。そのため、分割部１２ｂにおいて生成された分割画像データブロックをメモリキャッシュで管理するようにした。具体的には、処理に必要な分割画像データブロックのみ演算を実行するようにし、演算が完了した分割画像データブロックをＬＲＵ(Last Recently Used)法で管理されるメモリキャッシュに格納して、その分割画像データブロックが後で再び必要となった場合、当該分割画像データブロックをメモリキャッシュ内で検索し、見つかった場合はメモリキャッシュから当該分割画像データブロックを取り出して再利用するようにした。
【００４０】
そして、Ｓ６０３に移行し、各画像データブロックＩｉについて、ブレンドマスクＢｉを作成する。まず、次式の重み付け関数を設定する。
ｗｉ＝ｗ（ξ，η）＝−ｍａｘ（ａｂｓ（ξ），ａｂｓ（η））
ｗｉ：ｉ番目の入力画像に関する重み付けの値。
ξ、η：ｉ番目の入力画像の正規化座標。
ｍａｘ：最大値関数。
ａｂｓ：絶対値関数。
なお、正規化座標ξ、ηは次式を用いる。
ξ＝２（ｘ／Ｗ−１）
η＝２（ｙ／Ｈ−１）
ｘ、ｙ：ｉ番目の入力画像のグローバル幾何変換式適用後の座標。
Ｗ、Ｈ：入力画像の幅および高さ。
そして、上記のｗｉを各入力画像（１≦ｉ≦Ｍ）の画素毎に計算する。そして、当該画素のブレンドマスクＢｉ（１≦ｉ≦Ｍ）を次のように生成する。ｗｉ≧ｗｊが全ての１≦ｊ≦Ｍに対して成り立つ場合は、ブレンドマスクＢｉの画素値を１とし、ｗｉ＜ｗｊを満たす１≦ｊ≦Ｍが存在する場合は、ブレンドマスクＢｉの画素値を０とする。ただし、このままでは Burt & Adelson のブレンドマスクの規準（つなぎ目では５０％の値を持つ必要がある）を満たさないため、１画素分の膨張処理を行い、つなぎ目では隣接する二画像のブレンドマスクＢｉの画素値がともに１とする。ｗｉは入力画像の中心に近いほど大きな値を取るため、入力画像の近傍領域を抽出するための比較関数として用いることが出来、ブレンドマスク作成の用途に適している。
【００４１】
さらに、Ｓ６０４に移行し、各画像データブロックＩｉについて、ブレンドマスクＢｉを用いて、ブレンド画像ピラミッドを構築する。具体的には、図１０に示すように、詳細幾何変換Ｔを適用したブレンドマスクＢｉを、ブレンド画像ピラミッドのレベル０のガウシアン画像ＢＧｉ，０としてコピーする。次に、反復的にREDUCE操作を実行することによって、ブレンド画像ピラミッドの各レベル０〜Ｎのガウシアン画像ＢＧｉ，０〜ＢＧｉ，Ｎを作成する。
【００４２】
そして、Ｓ６０５に移行し、出力画像ピラミッドを構築する。具体的には、図１１に示すように、画像データブロックＩ１〜ＩＭに関して、ブレンド画像ピラミッドのガウシアン画像ＢＧｉ，０〜ＢＧｉ，Ｎの画素値を比として、入力画像ピラミッドのラプラシアン画像ＬＧｉ，０〜ＬＧｉ，Ｎの画素値に掛け合わせ、掛け合わせた結果を、足し合わせてラプラシアン画像ＯＬｉを作成する。これを全てのレベル０〜Ｎについて行うことによって、出力画像ピラミッドのラプラシアン画像ＯＬ０〜ＯＬＮを構築する。なお、図１１は、画像データブロックＩ１（ｉ＝１）に関する処理についてのみ示している。
【００４３】
その後、Ｓ６０６に移行し、出力画像ピラミッドを展開することによって、接合画像データＯを出力する。具体的には、図１２に示すように、出力画像ピラミッドの各レベル０〜Ｎについて、１つ上のレベルのガウシアン画像ＯＧ１〜ＯＧＮにEXPAND操作を施したものと、当該レベルのラプラシアン画像ＯＬ０〜ＯＬＮ−１の和を取ることによって、各レベル０〜Ｎのガウシアン画像ＯＧ０〜ＯＧＮを作成する。ただし、最上位のレベルＮについては、ラプラシアン画像ＯＬＮをそのままガウシアン画像ＯＧＮとする。最後に、出力画像ピラミッドのレベル０のガウシアン画像ＯＧ０を接合画像データＯとして出力する。この接合画像データＯが原画像データとなる。そして、図８のフローチャートを終了する。
【００４４】
なお、上述した多重スプライン合成における各画像ピラミッドの演算においては、画素値を表すデータ型として単精度浮動小数点を用いる。これは、ラプラシアン画像の画素値は一般に正負の両方の符号を持ち、また、REDUCE操作およびEXPAND操作の結果を十分な精度で表現するためには、一般に実数値が必要になるためである。
【００４５】
以上、説明した本実施形態によると、元画像の領域及び参照画像の領域のそれぞれについて、特徴点とこれに対応する対応点とを抽出し、抽出した複数の特徴点及びこれに対応する複数の対応点の一致度が最も高くなるように、詳細幾何変換式を算出するため、ロバストな詳細幾何変換式を得ることが可能となり、各画像データブロックを正確に接合することができる。これにより、原画像データの精度が向上する。
【００４６】
概略位置合わせ部１３が、位相相関法を用いて、元画像のエッジ部に係る参照画像のエッジ部に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成するため、概略位置合わせ処理において、正規化相関によるマッチングのみで概算幾何変換式を生成する場合と比較して素早く概算幾何変換式を生成することができる。
【００４７】
このとき、概略位置合わせ部１３が、生成した概略幾何変換式に基づいて元画像のエッジを平行移動させたときの、元画像及び参照画像のエッジ部の正規化相関値が所定値以上になっていない場合は、再度、位相相関法を用いて、元画像全体に係る参照画像全体に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する。このため、元画像と参照画像とが深く重なり合っている場合であっても素早く概算幾何変換式を生成することができる。
【００４８】
また、多重解像度化部１２ａが、各画像データブロックを複数の解像度で低解像度化した画像データブロックを生成する。そして、詳細位置合わせ処理においては、解像度を段階的に大きくしつつ、重なり領域抽出部１４が、詳細幾何変換式によって移動された元画像及び参照画像に関する重なり領域を抽出し、当該重なり領域の特徴点及び当該特徴点に対応する対応点とから幾何変換式Ｔを修正するため、さらにロバストな詳細幾何変換式を生成することができる。
【００４９】
以上、本発明の好適な実施形態について説明したが、本発明は上述の実施形態に限られるものではなく、特許請求の範囲に記載した限りにおいて様々な変更が可能なものである。例えば、上述した実施形態においては、概略位置合わせ部１３が、位相相関法を用いて、元画像のエッジ部に係る参照画像のエッジ部に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する構成であるが、位相相関法を用いることなく正規化相関法により、元画像のエッジ部に係る参照画像のエッジ部に対する平行移動量を算出する構成であってもよい。
【００５０】
また、上述した実施形態においては、概略位置合わせ部１３が、生成した概略幾何変換式に基づいて元画像のエッジを平行移動させたときの、元画像及び参照画像のエッジ部の正規化相関値が所定値以上になっていない場合は、再度、位相相関法を用いて、元画像全体に係る参照画像全体に対する平行移動量を算出し、算出した平行移動量から概算幾何変換式を生成する構成であるが、元画像及び参照画像のエッジ部の正規化相関値が所定値以上になっていない場合は、正規化相関法を用いて、元画像全体に係る参照画像全体に対する平行移動量を算出する構成であってもよい。
【００５１】
さらに、上述した実施形態においては、解像度を段階的に大きくしつつ、重なり領域抽出部１４が、詳細幾何変換式によって移動された元画像及び参照画像に関する重なり領域を抽出し、当該重なり領域の特徴点及び当該特徴点に対応する対応点とから幾何変換式Ｔを修正していく構成となっているが、解像度を段階的に大きくすることなく比較的解像度の高い元画像及び参照画像を用いて、１度だけ詳細幾何変換式を生成する構成であってもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の好適な実施形態に係る制御装置の機能ブロック図である。
【図２】図１に示すスキャナが原稿を読み込むときの動作を示した図である。
【図３】図１に示す制御装置の動作を示すフローチャートである。
【図４】図３に示す多重解像度画像生成処理の動作を示すフローチャートである。
【図５】図３に示す画像位置合わせ処理の動作を示すフローチャートである。
【図６】図５に示す概略位置合わせ処理の動作を示すフローチャートである。
【図７】図５に示す詳細位置合わせ処理の動作を示すフローチャートである。
【図８】図３に示す画像接合処理の動作を示すフローチャートである。
【図９】図８に示す入力画像ピラミッドの構築手順を示したブロック図である。
【図１０】図８に示すブレンド画像ピラミッドの構築手順を示したブロック図である。
【図１１】図８に示す出力画像ピラミッドの構築手順を示したブロック図である。
【図１２】図８に示す原画像データの生成手順を示したブロック図である。
【符号の説明】
【００５３】
１    制御装置（画像処理装置）
２    スキャナ
１１    画像記憶部（画像記憶手段）
１２    前処理部
１２ａ    多重解像度化部（多重解像度化手段）
１２ｂ    分割部（分割手段）
１３    概略位置合わせ部（概略位置合わせ手段）
１３ａ    位相相関幾何変換式生成部
１４    領域抽出部（領域抽出手段）
１５    特徴点抽出部（特徴点抽出手段）
１６    対応点抽出部（対応点抽出手段）
１７    詳細位置合わせ部（詳細位置合わせ手段）
１８    グローバル幾何変換式生成部
１９    接合部（接合手段）
２０    ディスプレイ
【図１】
2009044612.tif 000003
【図２】
2009044612.tif 000004
【図３】
2009044612.tif 000005
【図４】
2009044612.tif 000006
【図５】
2009044612.tif 000007
【図６】
2009044612.tif 000008
【図７】
2009044612.tif 000009
【図８】
2009044612.tif 000010
【図９】
2009044612.tif 000011
【図１０】
2009044612.tif 000012
【図１１】
2009044612.tif 000013
【図１２】
2009044612.tif 000014