(57)【特許請求の範囲】
【請求項１】
互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成する画像処理方法において、
第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求め、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することを特徴とする画像処理方法。
【請求項２】
前記３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記画像を平面射影変換することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことを特徴とする請求項１又は請求項２に記載の画像処理方法。
【請求項４】
互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成すべくなしてある画像処理装置において、
第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付ける受付手段と、該受付手段から入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去する正規化手段と、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求める第１対応点抽出手段と、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求める第２対応点抽出手段と、前記第１及び第２対応点抽出手段から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出する算出手段と、算出した平面射影変換行列に基づき前記第２画像の平面射影変換を行う画像変換手段と、該画像変換手段により平面射影変換された第２画像を前記第１及び第３画像に合成する画像合成手段とを備えることを特徴とする画像処理装置。
【請求項５】
前記正規化手段は、各画像上にて互いに平行となるべき異なる２つの線分の指定を受付ける手段と、該手段により指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出する手段と、算出した平面射影変換行列に基づき前記画像の平面射影変換を行う手段とを備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成をすべくなしてあることを特徴とする請求項４又は請求項５に記載の画像処理装置。
【請求項７】
コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムにおいて、
コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラム。
【請求項８】
コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体において、
コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラムが記録されていることを特徴とするコンピュータでの読取りが可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を貼り合わせた合成画像を作成する画像処理方法、画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録されている記録媒体に関する。
【０００２】
【従来の技術】
文化遺産、美術・工芸品を後生へ残すべく、カメラで撮像した画像をデジタル化する作業が進められている。また、デジタル化した画像を単に２次元画像として記録するだけでなく、例えば、仏像、彫刻等の３次元形状を有する工芸品にあっては、複数の方向から撮像した画像をデジタル化し、得られた複数の２次元画像から画像処理を施して３次元画像を作成することも行われている。
【０００３】
また、日本絵巻のように幅方向に長い撮像対象物にあっては、２次元のデジタル画像として記録に残す場合、複数のカメラにより分割して撮像することが行われている。そこで、分割して撮像された画像をデジタル化し、画像処理によりそれらを継ぎ目なく貼り合わせることが望まれている。
【０００４】
一方、デジタルカメラの普及に伴い、複数の画像（２次元デジタル画像）を貼り合わせて視野が広く、解像度が高い画像を作成する技術（画像モザイク）が活発に研究されている。例えば、２次元剛体変換、アフィン変換のような幾何変換を２枚の画像間について算出し、算出した幾何変換を利用して２枚の画像を貼り合わせることにより合成画像を作成する。３枚以上の画像がある場合も同様であり、まず、２枚の画像間について幾何変換を求めて合成画像を作成し、その後、合成された画像と該画像に貼り合わせるべき画像との間の幾何変換を求めて、画像合成を行う。そして順次、合成された画像と該画像に貼り合わせるべき画像との間の幾何変換を求めて、画像合成を行う。
【０００５】
【発明が解決しようとする課題】
しかしながら、絵巻画像の貼り合わせにあっては、前述の剛体変換、アフィン変換を単純に用いた場合では、精度良く合成することができない。その原因は、撮像環境にある。絵巻の幅は非常に広いため、それをすべて広げて撮像することは困難であり、少しずつ分割して撮像される。この際、撮像対象物がカメラから十分に遠い場合、又は非常に焦点距離が長い望遠レンズで撮像した場合、撮像して得られた画像は平行投影と仮定することができるため、問題を簡略化することができるが、実際には有限の距離から撮像したものであって、一般には透視投影歪を含んだ画像となる。
【０００６】
また、絵巻は、１６世紀頃に作成された古いものであるため、取り扱いに注意が必要であり、撮像し直すことが困難である。そのため、既に撮像された画像のみを用いる必要がある。
【０００７】
以上のような撮像条件で撮像された画像は、一般に平行投影を仮定することが出来ず、透視投影歪を含んだものであって、透視投影歪が厳密に考慮されていない剛体変換、アフィン変換等の幾何変換を用いた場合には、良好に貼り合わせた画像を得ることができない。
【０００８】
そこで、透視投影歪を考慮した手法として平面射影変換が利用されている。図９は、平面射影変換により合成した画像を模式的に示した図である。平面射影変換により画像変換して画像合成を行う場合も前述と同様に、まず、２枚の画像間（画像１及び画像２）について平面射影変換を求めて画像合成を施す。次いで、合成された画像（画像１と画像２との合成画像）と次に貼り合わせるべき画像（画像３）との間の平面射影変換を求めて、合成画像を作成する。そして、合成された画像と該画像に貼り合わせるべき画像との間の平面射影変換を求めて、順次合成画像の作成を行う。
【０００９】
平面射影変換では、剛体変換、アフィン変換等の幾何変換で除去されない透視投影歪を除去することができるものの、合成した画像はある視点から広角レンズで撮像したような画像となる。すなわち、図９に示した如く、注視点にある画像１の歪みは少ないが、画像１から距離が離れるに従い、画像の歪みが大きくなるという問題点を有していた。
【００１０】
また、撮像された各画像は一般に縮尺が異なっているが、そのような画像を用いた場合であっても、合成された画像は、絵柄の高さが一定であり、絵柄の上下の境界線は一端側から他端側まで略平行であることが望ましい。このような絵巻の貼り合わせは、従来の手法では困難であり、精度良く、かつ絵柄の高さが一定になるように合成画像を作成することができる画像処理方法の開発が望まれていた。
【００１１】
本発明は斯かる事情に鑑みてなされたものであり、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づいて算出した平面射影変換行列を利用して第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することにより、画像間の縮尺の整合をとり、精度良く画像を貼り合わせることができる画像処理方法、画像処理装置、該画像処理装置を実現するためのコンピュータプログラム、該コンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体を提供することを目的とする。
【００１２】
本発明の他の目的は、３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分が平行になるように、２つの線分の端点の座標に基づいて平面射影変換行列を算出する構成とすることにより、容易に画像の高さを正規化することができる画像処理方法及び画像処理装置を提供することにある。
【００１３】
本発明の更に他の目的は、夫々の画像が重なり合う領域の画素に対し、画像間で対応する画素の位置関係を前記領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことにより、画像の大局的な幾何変換に加えて局所的な位置合わせをすることができる画像処理方法及び画像処理装置を提供することにある。
【００１４】
【課題を解決するための手段】
第１発明に係る画像処理方法は、互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成する画像処理方法において、第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求め、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成することを特徴とする。
【００１５】
第２発明に係る画像処理方法は、第１発明に係る画像処理方法において、前記３つの画像の高さを正規化する際、各画像上にて互いに平行となるべき異なる２つの線分を指定し、指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出し、算出した平面射影変換行列に基づき前記画像を平面射影変換することを特徴とする。
【００１６】
第３発明に係る画像処理方法は、第１発明又は第２発明に係る画像処理方法において、前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うことを特徴とする。
【００１８】
第４発明に係る画像処理装置は、互いに重なるべき領域を有する複数の画像を前記領域にて合成して、一の画像を生成すべくなしてある画像処理装置において、第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像の入力を受付ける受付手段と、該受付手段から入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去する正規化手段と、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求める第１対応点抽出手段と、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求める第２対応点抽出手段と、前記第１及び第２対応点抽出手段から求めた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出する算出手段と、算出した平面射影変換行列に基づき前記第２画像の平面射影変換を行う画像変換手段と、該画像変換手段により平面射影変換された第２画像を前記第１及び第３画像に合成する画像合成手段とを備えることを特徴とする。
【００１９】
第５発明に係る画像処理装置は、第４発明に係る画像処理装置において、前記正規化手段は、各画像上にて互いに平行となるべき異なる２つの線分の指定を受付ける手段と、該手段により指定された２つの線分を平行にすべく、前記２つの線分の端点の座標に基づいて平面射影変換行列を算出する手段と、算出した平面射影変換行列に基づき前記画像の平面射影変換を行う手段とを備えることを特徴とする。
【００２０】
第６発明に係る画像処理装置は、第４発明又は第５発明に係る画像処理装置において、前記第２画像を前記第１及び第３画像に合成する際、前記第２画像上の画素と該画素に対応する前記第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成をすべくなしてあることを特徴とする。
【００２２】
第７発明に係るコンピュータプログラムは、コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムにおいて、コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とする。
【００２３】
第８発明に係るコンピュータでの読取りが可能な記録媒体は、コンピュータに、入力された互いに重なるべき領域を有する複数の画像を前記領域にて合成させ、一の画像を生成させるステップを有するコンピュータプログラムが記録されているコンピュータでの読取りが可能な記録媒体において、コンピュータに、入力された第１画像、該第１画像と重なるべき領域を有する第２画像、及び該第２画像と重なるべき領域を有する第３画像に対し、３つの画像の高さを正規化して高さ方向の透視投影歪みを除去させるステップと、コンピュータに、高さを正規化した第１及び第２画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、高さを正規化した第２及び第３画像から互いの画像上で対応する複数の対応点を求めさせるステップと、コンピュータに、夫々の画像間にて求めさせた対応点に基づき、前記第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出させるステップと、コンピュータに、算出させた平面射影変換行列に基づき、前記第２画像を平面射影変換させるステップと、コンピュータに、平面射影変換された第２画像を前記第１及び第３画像に合成させるステップとを有することを特徴とするコンピュータプログラムが記録されていることを特徴とする。
【００２４】
第１発明、第４発明、第７発明、及び第８発明にあっては、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成するようにしている。撮像して得られた複数の画像間で縮尺が異なり、しかも各画像に透視投影歪みが含まれる場合であっても、画像の高さが統一され、平面射影変換を行う度に歪みが大きくなることなく、画像の合成を行うことが可能である。
【００２５】
第２発明及び第５発明にあっては、３つの画像の高さを正規化する際、各画像上にて平行となるべき異なる２つの線分を指定し、指定された２つの線分が互いに平行となるように前記線分の端点の座標を利用して平面射影変換を求め、画像合成を行う。したがって、絵巻の画像を合成する際、絵柄の上下の境界線を利用して容易に絵柄の高さを正規化することが可能である。
【００２６】
第３発明及び第６発明にあっては、第２画像上の画素と、該画素に対応する第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うようにしている。したがって、大局的な幾何変換に加えて局所的な位置合わせが可能となる。
【００２８】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本発明の画像処理装置を説明する模式図である。図中１０は、本発明の画像処理装置であり、具体的にはパーソナルコンピュータ、ワークステーション等のコンピュータである。本発明では、例えば、日本絵巻のように幅方向に長い撮像対象物１をカメラ、デジタルカメラ等の撮像装置２を利用し、撮像した画像が互いに重なる領域を有するように少しずつ撮像領域をずらして撮像する。そして、撮像した画像を画像データとして画像処理装置１０に読込み、読込んだ画像データを貼り合わせて、合成画像を作成する。
【００２９】
図２は本発明の画像処理装置１０の内部構成を示すブロック図である。画像処理装置１０はＣＰＵ１１を備えている。ＣＰＵ１１にはバス１２を介して、ＲＯＭ１３、ＲＡＭ１４、表示部１５、操作部１６、画像入力部１７、内部記憶装置１８、外部記憶装置１９等のハードウェア各部に接続されており、ＲＯＭ１３に格納された制御プログラムに従って、それらの動作を制御する。
【００３０】
ＲＡＭ１４は、ＳＲＡＭ又はフラッシュメモリ等で構成されており、ＲＯＭ１３に格納された制御プログラムの実行時に発生するデータ、画像処理を施すべき画像データ等を一時的に記憶する。
【００３１】
表示部１５は、ＣＲＴ表示装置又は液晶表示装置を備えており、画像処理を施す前の画像、画像処理を施して作成した合成画像、本発明のコンピュータプログラムからの指示等が表示される。
【００３２】
操作部１６は、キーボード、マウス等の入力装置からなり、前述のコンピュータプログラムの指示に従って所要の情報の入力、選択操作等を行う。
【００３３】
画像入力部１７は、光学式の画像読取り装置であるスキャナ装置、フィルムスキャナ等であって、撮像装置２によって得られた銀塩写真、写真フィルム等による画像を入力してデジタルデータに変換する。画像入力部７を用いて画像データを入力する代わりに、デジタルカメラで撮像された画像データが記録されている可搬型のメモリを利用し、該メモリの読取り装置を用いて画像データを入力する形態であっても良い。入力された画像データは、内部記憶装置１８に記憶される。
【００３４】
内部記憶装置１８は、ハードディスクのような記憶装置であり、前述の画像データが記憶されている他、本発明のコンピュータプログラムがインストールされていて、該コンピュータプログラムが起動された場合、所定のコンピュータプログラム部分がＲＡＭ１４上に展開され、処理が実行されることにより、画像処理装置１０として動作する。
【００３５】
外部記憶装置１９は、本発明のコンピュータプログラム及びデータを記録したＣＤ−ＲＯＭ等の記録媒体２０からコンピュータプログラム及びデータを読取るＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラム及びデータは、内部記憶装置１８に記憶される。
【００３６】
本発明の画像処理装置１０では、画像入力部１７から画像データを入力し、前述のコンピュータプログラムを実行させてパノラマ画像を合成し、その結果を表示部１５に表示すると共に、内部記憶装置１８に記憶される。
【００３７】
図３は、本発明の画像処理方法の処理手順を説明する模式図である。本発明では、分割して撮像した各画像のスケールを一致させるために各画像の絵柄の高さを事前に正規化する（図３（ａ））。日本絵巻のような撮像対象物１を撮像する際、撮像装置２は撮像対象物１の正面を向くように設置されているが、実際には完全に正面を向いているとは限らないため、撮像した画像には透視投影歪みが生じている。したがって、本来的に平行となるべき絵柄の上下の境界線は平行になっていない。また、分割して撮像した画像間では、スケールが異なっている。
【００３８】
そこで、絵柄の上下の境界線は、ほぼ平行で一定であるということを利用して、各画像の上下の境界線が平行になり、全画像の絵柄の高さが一定になるように事前に正規化を行う。
【００３９】
次いで、絵柄の高さを正規化した後、画像の貼り合わせを行う（図３（ｂ））。２画像間で平面射影変換を行った場合、その重なり領域では良好に貼り合わせが行われるが、これを順次繰り返すことによって歪みが少しずつ蓄積され、最後に貼り合わせた画像の端部では極端に画像が歪むことがある。そこで、本発明では３画像間にて平面射影変換を行う。また、このとき前述の高さの正規化処理にて除去されていない透視投影歪みを除去する。
【００４０】
そして、最後に大域的な幾何変換に加えて、局所的な位置合わせを行う（図３（ｃ））。絵巻は平面上に描かれているが、長年の紙の伸縮、紙のたわみ等により３次元的に変形していることがあり、これに対応するために、局所的な位置合わせを行う。
【００４１】
図４は、画像処理装置１０の処理手順を示したフローチャートである。まず、画像処理を施す画像データを読込む（ステップＳ１）。読込む画像データは、画像入力部１７から読込む形態であってもよく、また、内部記憶装置１８に予め記憶してある画像データを読込む形態であってもよい。読込まれた画像データは、ＲＡＭ１４に一時的に記憶される。
【００４２】
そして、読込んだ画像データに対し、後述する高さの正規化処理を行う（ステップＳ２）。そして、読込むべき画像データを全て読込んだか否かを判断する（ステップＳ３）。読込むべき画像データが残っている場合（Ｓ３：ＮＯ）、処理をステップＳ１へ戻して画像データの読込みを行う。
【００４３】
全ての画像データを読込んだ場合（Ｓ３：ＹＥＳ）、後述する貼り合わせ係数の算出処理を行う（ステップＳ４）。ここで、貼り合わせ係数とは、３枚の画像を貼り合わせるために必要となる平面射影変換行列の行列要素、及び画素毎の移動量のことである。
貼り合わせ係数を算出した後、算出した貼り合わせ係数を用いて貼り合わせ処理を行う（ステップＳ５）。
【００４４】
なお、前述の高さ正規化処理、及び貼り合わせ係数算出処理は、必ずしも１つのアプリケーション・ソフトウェア（コンピュータプログラム）により実現される必要はなく、高さ正規化処理、及び貼り合わせ係数算出処理が夫々個別のアプリケーション・ソフトウェアにより実現される形態であっても良い。
【００４５】
図５は、高さ正規化処理の処理手順を示したフローチャートである。前述したように、高さの正規化処理を行う際には、各画像において本来平行となるべき２本の線分の指定を受付ける（ステップＳ１１）。確実かつ正確に処理を行うために、ＧＵＩ（グラフィカル・ユーザ・インタフェース）を用意し、線分を人の手により指定する。例えば、マウス、タブレット等のポインティングデバイスを用いて線分の両端の点を指定することによって線分を指定することが可能である。
【００４６】
次いで、回転後の線分の端点の座標値を算出する（ステップＳ１２）。回転後の端点の座標値を算出する場合、まず、光軸まわりの回転角を線分から算出し、算出した回転角を用いた回転行列Ｒを利用して、
ｐ’＝Ｒｐ
により求めることができる。ここで、ｐは回転前の座標であり、ｐ’は回転後の座標である。また、光軸まわりの回転角は、例えば、上側の線分の傾きから算出することが可能である。
【００４７】
次いで、平行化後の線分の端点の座標値を算出する（ステップＳ１３）。両線分を平行にするために、各線分の両端の座標の垂直座標値を同一にする変換を考える。変換後の端点の垂直座標値を、変換前の垂直座標値の平均値に設定することで実現することができる。すなわち、変換後の端点の座標（ｕ，ｖ）は、変換前の垂直座標値ｖ1 ，ｖ2 を用いて、次式で表すことができる。
（ｕ，ｖ）＝（ｕ，（ｖ1 ＋ｖ2 ）／２）
【００４８】
そして、上下の線分の距離を指定する。下側の線分の垂直座標値をｖL とした場合、上側の線分の座標は線分間の距離ｄを用いて以下の式で表すことができる。
（ｕ，ｖ）＝（ｕ，ｖL ＋ｄ）
線分間の距離ｄを指定することにより、実物大の印刷が可能となる。
【００４９】
ステップＳ１２及びステップＳ１３により算出された２線分の端点の変換前の座標と変換後の座標の４組を用いて、平面射影変換行列を算出する（ステップＳ１４）。そして、算出した平面射影変換行列を用いて各画像を幾何変換する（ステップＳ１５）。
以上のように幾何変換された画像は、回転が除去され、指定された絵柄高さをもつ画像となる。
【００５０】
図６は、図４に示したフローチャートにおける貼り合わせ係数算出処理の処理手順を示したフローチャートである。
まず、回転が除去され、指定された絵柄高さをもつ画像を用いて、３画像間の平面射影変換行列を算出する（ステップＳ２１）。各画像は、正規化されているが、平行移動等の単純な幾何変換では、重なり領域において絵柄が２重になり、精度が十分でない。また、平面射影変換を２画像毎に繰り返した場合、変換の自由度が高いために絵柄の高さにずれが生じてくる。
【００５１】
そこで、本発明では３画像間の平面射影変換を提案している。この場合、図３に示した如く、連続する３画像において真中の画像（画像２）を幾何変換する。このとき、画像の上下方向の透視投影歪みは、既に高さの正規化により取り除かれているが、画像の左右方向の透視投影歪みが残っていため、単純な平行移動によって真中の画像（画像２）を左右の２画像（画像１，画像３）にうまく貼り合わせることができない。よって、真中の画像を変形するための平面射影変換行列を算出する。
【００５２】
次いで、画素毎の移動量算出処理を行う（ステップＳ２２）。撮像対象物１としている絵巻は、例えば、数百年前に作成されたものであり、経年劣化により紙が伸縮する。また、絵巻はもろいため、撮像時に完全に平面にすることができない。このため、前述した幾何変換のみでは、良好に貼り合わせを行うことができない。そこで、大局的な幾何変換に加えて、局所的な位置合わせを行っている。
【００５３】
次いで、ステップＳ２１で求めた平面射影変換行列の行列要素、及びステップＳ２２で求めた画素毎の移動量を貼り合わせ係数として出力する（ステップＳ２３）。
【００５４】
図７は、図６に示したフローチャートにおける３画像間の平面射影変換行列の算出処理の処理手順を示したフローチャートである。
まず、連続する２画像毎の平行移動量を算出し（ステップＳ３１）、隣合う画像間の重なり領域にて特徴点を抽出して対応付けを行う（ステップＳ３２）。
【００５５】
３画像間の平面射影変換行列を算出する際、最低限４組の対応点を３画像間で求める。このため、隣合う画像間で２組ずつ合計４組の対応点の座標を求める。画像間の特徴点の対応は、例えば、フロー推定を用いて自動的に算出することができる。また、画像の特徴点を自動的に算出することが出来ない場合は、ＧＵＩにより手動で追加することを行う。
なお、対応点が４組以上求まった場合には、最小二乗法等により平面射影変換行列の行列要素を求めることが可能である。
【００５６】
次いで、カウンタをｉ＝１にセットし（ステップＳ３３）、１番目の画像及び２番目の画像間で平面射影変換行列を算出する（ステップＳ３４）。
【００５７】
そして、カウンタの値を１だけ増加させ（ステップＳ３５）、ｉ＝Ｎであるか否かを判断する（ステップＳ３６）。ここで、Ｎは貼り合わせる全画像の数である。
【００５８】
ｉ＝Ｎでない場合（Ｓ３６：ＮＯ）、ｉ−１番目、ｉ番目、ｉ＋１番目の画像間で平面射影変換行列を算出する（ステップＳ３７）。また、ステップＳ３６にて、ｉ＝Ｎである場合（Ｓ３６：ＹＥＳ）、Ｎ−１番目、Ｎ番目の画像間で平面射影変換行列を算出する（ステップＳ３８）
【００５９】
図８は、図６に示したフローチャートにおける画素毎の移動量算出処理の処理手順を示したフローチャートである。
まず、カウンタをｉ＝１にセットし（ステップＳ４１）、ｉ番目及びｉ＋１番目の画像間の重なり領域を算出する（ステップＳ４２）。そして、重なり領域で夫々の画像を幾何変換する（ステップＳ４３）。
【００６０】
次いで、幾何変換されたｉ番目の画像の重なり領域にて小画像領域を設定する（ステップＳ４４）。ここで、小画像領域として、例えば１３×１３画像程度の矩形領域を設定する。そして、設定した小画像領域に対応するｉ＋１番目の画像領域にてオプティカルフローを算出する（ステップＳ４５）。この際、小画像領域毎に移動量を算出するのではなく、各画素毎にフロー推定を行う。フロー推定には、例えば、処理が高速なLucas-Kanade法を用いることができる。
【００６１】
次いで、重なり領域における全ての画素を処理したか否かを判断する（ステップＳ４６）。処理していない画素が残っている場合（Ｓ４６：ＮＯ）、小画像領域を１画素分移動させ（ステップＳ４７）、処理をステップＳ４５へ戻す。
【００６２】
ステップＳ４６にて重なり領域における全ての画素を処理した場合（Ｓ４６：ＹＥＳ）、カウンタの値を１だけ増加させ（ステップＳ４８）、ｉ＝Ｎであるか否か、すなわち全ての画像間について画素毎の移動量を算出したか否かを判断する（ステップＳ４９）。
【００６３】
ｉ＝Ｎである場合（Ｓ４９：ＹＥＳ）、処理を終了し、ｉ＝Ｎ−１でない場合（Ｓ４９：ＮＯ）、処理をステップＳ４２へ戻し、全ての画像間の重なり領域にて移動量を算出する。
【００６４】
以下、本発明の画像処理方法の有効性について発明者らの検討結果を示す。用意された画像は、撮像されたポジフィルムをフィルムスキャナによりデジタル化したものであり、各画像のサイズは、１０６３０×６３７８画素であり、１３枚に分割されて撮像されている。
【００６５】
本発明の画像処理方法による場合、貼り合わせた画像の全域に渡って精度良く貼り合わせが行われており、印刷したものを詳細に見ても、継ぎ目を確認することはできず、また、絵柄の高さは一定に保たれていた。
【００６６】
また、貼り合わせの精度を定量的に考察するため、重なり領域ｗにおける画素値の差の絶対値を平均することにより、誤差Ｅを算出した。誤差Ｅは、Ｅ＝（Σｗ｜Ｉ’−Ｉ｜／Ｗ）により求めることができる。ここで、Ｗは、重なり領域ｗの総画素数である。また、画素値はカラーである場合、ＲＧＢの各チャンネルの差の絶対値の平均をとる。局所位置合わせを行わない従来法による場合、誤差Ｅは２０．２となるのに対し、本発明による場合、誤差Ｅは５．４、すなわち従来法のおよそ１／４になり、良好な貼り合わせ処理が行われたことが分かった。
【００６７】
本実施の形態では、撮像対象物１の例として絵巻をとりあげたが、絵巻以外にも、屏風絵、ふすま絵、壁画等に適用することが可能である。
【００６８】
また、本実施の形態では、絵巻のように幅方向に長い撮像対象物を少しずつ撮像し、得られた複数の画像を左右方向に貼り合わせる形態であったが、貼り合わせる方向は左右方向に限定されず、上下方向に貼り合わせることも出来ることは勿論のことである。
【００６９】
【発明の効果】
以上、詳述したように、第１発明、第４発明、第７発明、及び第８発明による場合は、第１画像、第１画像と重なる領域を有する第２画像、及び第２画像と重なる領域第３画像の入力を受付け、入力された３つの画像の高さを正規化して高さ方向の透視投影歪みを除去し、高さを正規化した画像間にて互いの画像上で対応する複数の対応点を求め、夫々の画像間から求めた対応点に基づき、第１乃至第３画像の幾何学的関係を示す平面射影変換行列を算出し、算出した平面射影変換行列に基づき第２画像を平面射影変換し、平面射影変換された第２画像を前記第１及び第３画像に合成するようにしている。撮像して得られた複数の画像間で縮尺が異なり、しかも各画像に透視投影歪みが含まれる場合であっても、画像の高さが統一され、平面射影変換を行う度に歪みが大きくなることなく、画像の合成を行うことが可能である。
【００７０】
第２発明及び第５発明による場合は、前記３つの画像の高さを正規化する際、各画像上にて平行となるべき異なる２つの線分を指定し、指定された２つの線分が互いに平行となるように前記線分の端点の座標を利用して平面射影変換を求め、画像合成を行う。したがって、絵巻の画像を合成する際、絵柄の上下の境界線を利用して容易に絵柄の高さを正規化することが可能である。
【００７１】
第３発明及び第６発明にあっては、第２画像上の画素と、該画素に対応する第１及び第３画像上の画素との間の位置関係を、夫々の画像が重なり合う領域内の画素毎に求め、求めた位置関係に基づき画像合成を行うようにしている。したがって、大局的な幾何変換に加えて局所的な位置合わせが可能となる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像処理装置を説明する模式図である。
【図２】本発明の画像処理装置の内部構成を示すブロック図である。
【図３】本発明の画像処理方法の処理手順を説明する模式図である。
【図４】画像処理装置の処理手順を示したフローチャートである。
【図５】高さ正規化処理の処理手順を示したフローチャートである。
【図６】図４に示したフローチャートにおける貼り合わせ係数算出処理の処理手順を示したフローチャートである。
【図７】図６に示したフローチャートにおける３画像間の平面射影変換行列の算出処理の処理手順を示したフローチャートである。
【図８】図６に示したフローチャートにおける画素毎の移動量算出処理の処理手順を示したフローチャートである。
【図９】平面射影変換により合成した画像を模式的に示した図である。
【符号の説明】
１  撮像対象物
２  撮像装置
１０  画像処理装置
１１  ＣＰＵ
１２  バス
１３  ＲＯＭ
１４  ＲＡＭ
１５  表示部
１６  操作部
１７  画像入力部
１８  内部記憶装置
１９  外部記憶装置
２０  記録媒体
【図１】
0003889650.tif 000002
【図２】
0003889650.tif 000003
【図３】
0003889650.tif 000004
【図４】
0003889650.tif 000005
【図５】
0003889650.tif 000006
【図６】
0003889650.tif 000007
【図７】
0003889650.tif 000008
【図８】
0003889650.tif 000009
【図９】
0003889650.tif 000010