(57)【要約】  【課題】  撮像画像の歪みを除去する画像処理方法、画像処理システム、画像処理装置、及びコンピュータプログラムの提供。  【解決手段】  所定のパターンが形成されたシート上に撮像対象物を載置して撮像し、得られた撮像画像を画像処理装置内に読込む（Ｓ１）。そして、撮像装置の校正を行った上で（Ｓ２）、撮像画像上の特徴点とパターン上の特徴点の対応付けを行い（Ｓ３）、射影変換行列の各要素の初期値を算出する（Ｓ４）。そして、変換先の位置座標に関する評価関数を設定した後（Ｓ５）、設定した評価関数に基づいて、射影変換行列の各要素の最適化を行い（Ｓ６）、正面画像の合成処理を行って（Ｓ７）、歪みを除去した正面画像を生成する。【選択図】      図５
2004288148.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物を撮像して得られた撮像画像を画像処理装置に取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理方法において、
前記撮像画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を前記パターンと共に撮像して得られた画像であり、前記パターン上の複数の特徴点の位置情報を予め記憶しておき、前記特徴点に対応する前記撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定め、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正することを特徴とする画像処理方法。
【請求項２】
撮像対象物を撮像装置により撮像して得られた撮像画像を画像処理装置に取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理方法において、
前記撮像画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を撮像して得られた画像であり、前記撮像対象物を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像を前記画像処理装置に取込み、前記パターン上の複数の特徴点の位置情報を予め記憶しておき、前記特徴点に対応する前記基準画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定め、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正することを特徴とする画像処理方法。
【請求項３】
撮像対象物を載置するための載置面を有する載置部と、前記載置面上に載置した撮像対象物を撮像する撮像装置と、該撮像装置により得られた撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置とを備える画像処理システムにおいて、
前記載置面には所定のパターンを形成してあり、前記画像処理装置は、前記載置面に載置した撮像対象物を前記パターンと共に撮像して得られた撮像画像を取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記撮像画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする画像処理システム。
【請求項４】
撮像対象物を載置するための載置面を有する載置部と、前記載置面上に載置した撮像対象物を撮像する撮像装置と、該撮像装置により得られた撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置とを備える画像処理システムにおいて、
前記載置面には所定のパターンを形成してあり、前記画像処理装置は、前記載置面上に載置した撮像対象物を前記撮像装置により撮像した撮像画像と、前記撮像対象物を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像とを取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記基準画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする画像処理システム。
【請求項５】
前記幾何学的関係は、前記特徴点と前記対応点との間の射影変換により表されることを特徴とする請求項３又は請求項４に記載の画像処理システム。
【請求項６】
前記画像処理装置は、生成すべき補正画像上の点を前記幾何学的関係に従って変換する手段と、変換した点の色情報を前記撮像画像から取得する手段とを更に備え、取得した色情報に基づいて補正画像を生成すべくなしてあることを特徴とする請求項３乃至請求項５の何れかに記載の画像処理システム。
【請求項７】
前記パターン画像は格子状の画像であることを特徴とする請求項３乃至請求項６の何れかに記載の画像処理システム。
【請求項８】
撮像対象物の撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置において、
所定のパターンを形成してある載置面上に載置した撮像対象物を前記パターンと共に撮像して得られた撮像画像を取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記撮像画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする画像処理装置。
【請求項９】
撮像装置により得られた撮像対象物の撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置において、
所定のパターンを形成してある載置面上に載置した撮像対象物を撮像して得られた撮像画像と、前記撮像対象物を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像とを取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記基準画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする画像処理装置。
【請求項１０】
コンピュータに、受付けた画像の歪みを補正した補正画像を生成させるステップを有するコンピュータプログラムにおいて、
前記画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を前記パターンと共に撮像して得られた撮像画像であり、コンピュータに、前記パターン上の特徴点に対応した撮像画像上の対応点の位置情報を受付けさせるステップと、コンピュータに、前記対応点の位置情報と予め記憶された前記特徴点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定めさせるステップと、コンピュータに、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正させるステップとを有することを特徴とするコンピュータプログラム。
【請求項１１】
コンピュータに、受付けた画像の歪みを補正した補正画像を生成させるステップを有するコンピュータプログラムにおいて、
前記画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を撮像装置により撮像して得られた撮像画像、及び前記撮像画像を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像であり、コンピュータに、前記パターン上の特徴点に対応する前記基準画像上の対応点の位置情報を受付けさせるステップと、コンピュータに、前記対応点の位置情報と予め記憶された前記特徴点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定めさせるステップと、コンピュータに、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正させるステップとを有することを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に生じる歪みを除去する画像処理方法、画像処理システム、画像処理装置、及び該画像処理装置を実現させるためのコンピュータプログラムに関する。
【背景技術】
【０００２】
近年、アパレル分野においては、衣類等のデザインを効率的に行うために実寸大の型紙をスキャナ装置等の光学式読取装置で読取り、読取って得られたデジタルの画像データをコンピュータ上で編集する作業が行われている。
【０００３】
しかしながら、実寸大の大きさの型紙を読取るためには、大型の光学式読取装置が必要となり、導入コストが上昇するという問題点を有していた。また、入力作業にも手間がかかるため、このような装置の導入が容易に実現できないという問題点を有していた。
【０００４】
そこで、従来では、デジタルカメラ等の撮像装置で型紙を撮像し、撮像して得られた画像データを光学式読取装置で読込んだ画像データの代わりに利用することが提案されている（例えば、特許文献１参照）。
【０００５】
このように、デジタルカメラ等の撮像装置で撮像して得られた画像データを利用する場合、撮像対象物に対して真正面から撮像しない限り、得られた撮像画像には、撮像した際の撮像装置の位置及び姿勢に起因する歪みが生じることとなる。そこで、特許文献１に記載されたシステムでは、撮像して得られた画像を画像処理装置内に取込み、画像処理を行うことによって撮像画像の歪みを除去することを行っている。
【特許文献１】特開２００２−３６６９４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載されたシステムでは、格子画像が描画された透明シートを撮像対象物の上に載置し、その状態で撮像装置で撮像し、得られた画像に写っている格子画像の歪みを元に撮像画像の歪みを補正する構成となっている。したがって、このような手法により得られた撮像画像には、必ず撮像対象物の上に格子画像が印加されていることとなり、光学式読取装置で得られる画像と同じ画像を得ることができないという問題点を有している。
【０００７】
本発明は斯かる事情に鑑みてなされたものであり、所定のパターンを形成してある載置面上に載置した撮像対象物の撮像画像を取込み、予め記憶させておいたパターン上の複数の特徴点の位置情報と対応する撮像画像上での対応点の位置情報とに基づき、前記撮像対象物を撮像した際の撮像画像と載置面との間の幾何学的関係を定め、定めた幾何学的関係に基づいて撮像画像の歪みを補正する構成とすることにより、撮像対象物の画像に影響を与えることなく、歪みを補正した画像を生成することができる画像処理方法、画像処理システム、画像処理装置、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
第１発明に係る画像処理方法は、撮像対象物を撮像して得られた撮像画像を画像処理装置に取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理方法において、前記撮像画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を前記パターンと共に撮像して得られた画像であり、前記パターン上の複数の特徴点の位置情報を予め記憶しておき、前記特徴点に対応する前記撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定め、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正することを特徴とする。
【０００９】
第２発明に係る画像処理方法は、撮像対象物を撮像装置により撮像して得られた撮像画像を画像処理装置に取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理方法において、前記撮像画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を撮像して得られた画像であり、前記撮像対象物を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像を前記画像処理装置に取込み、前記パターン上の複数の特徴点の位置情報を予め記憶しておき、前記特徴点に対応する前記基準画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定め、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正することを特徴とする。
【００１０】
第３発明に係る画像処理ステムは、撮像対象物を載置するための載置面を有する載置部と、前記載置面上に載置した撮像対象物を撮像する撮像装置と、該撮像装置により得られた撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置とを備える画像処理システムにおいて、前記載置面には所定のパターンを形成してあり、前記画像処理装置は、前記載置面に載置した撮像対象物を前記パターンと共に撮像して得られた撮像画像を取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記撮像画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする。
【００１１】
第４発明に係る画像処理システムは、撮像対象物を載置するための載置面を有する載置部と、前記載置面上に載置した撮像対象物を撮像する撮像装置と、該撮像装置により得られた撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置とを備える画像処理システムにおいて、前記載置面には所定のパターンを形成してあり、前記画像処理装置は、前記載置面上に載置した撮像対象物を前記撮像装置により撮像した撮像画像と、前記撮像対象物を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像とを取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記基準画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする。
【００１２】
第５発明に係る画像処理システムは、第３発明又は第４発明に係る画像処理システムにおいて、前記幾何学的関係は、前記特徴点と前記対応点との間の射影変換により表されることを特徴とする。
【００１３】
第６発明に係る画像処理システムは、第３発明乃至第５発明の何れかの画像処理システムにおいて、生成すべき補正画像上の点を前記幾何学的関係に従って変換する手段と、変換した点の色情報を前記撮像画像から取得する手段とを更に備え、取得した色情報に基づいて補正画像を生成すべくなしてあることを特徴とする。
【００１４】
第７発明に係る画像処理システムは、第３発明乃至第６発明の何れかの画像処理システムにおいて、前記パターン画像は格子状の画像であることを特徴とする。
【００１５】
第８発明に係る画像処理装置は、撮像対象物の撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置において、所定のパターンを形成してある載置面上に載置した撮像対象物を前記パターンと共に撮像して得られた撮像画像を取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記撮像画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする。
【００１６】
第９発明に係る画像処理装置は、撮像装置により得られた撮像対象物の撮像画像を取込み、取込んだ撮像画像の歪みを補正した補正画像を生成する画像処理装置において、所定のパターンを形成してある載置面上に載置した撮像対象物を撮像して得られた撮像画像と、前記撮像対象物を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像とを取込むべくなしてあり、前記パターン上の複数の特徴点の位置情報を予め記憶する手段と、前記特徴点に対応する前記基準画像上の対応点の位置情報を受付ける手段と、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定める手段と、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正する手段とを備えることを特徴とする。
【００１７】
第１０発明に係るコンピュータプログラムは、コンピュータに、受付けた画像の歪みを補正した補正画像を生成させるステップを有するコンピュータプログラムにおいて、前記画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を前記パターンと共に撮像して得られた撮像画像であり、コンピュータに、前記パターン上の特徴点に対応した撮像画像上の対応点の位置情報を受付けさせるステップと、コンピュータに、前記対応点の位置情報と予め記憶された前記特徴点の位置情報とに基づき、前記載置面と前記撮像対象物を撮像した際の撮像画像との間の幾何学的関係を定めさせるステップと、コンピュータに、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正させるステップとを有することを特徴とする。
【００１８】
第１１発明に係るコンピュータプログラムは、コンピュータに、受付けた画像の歪みを補正した補正画像を生成させるステップを有するコンピュータプログラムにおいて、前記画像は、所定のパターンを形成してある載置面上に載置した撮像対象物を撮像装置により撮像して得られた撮像画像、及び前記撮像画像を撮像した際の前記撮像装置の姿勢を同一にして前記パターンを撮像した基準画像であり、コンピュータに、前記パターン上の特徴点に対応する前記基準画像上の対応点の位置情報を受付けさせるステップと、コンピュータに、前記対応点の位置情報と予め記憶された前記特徴点の位置情報とに基づき、前記載置面と前記パターンを撮像した際の撮像画像との間の幾何学的関係を定めさせるステップと、コンピュータに、定めた幾何学的関係に基づいて前記撮像画像の歪みを補正させるステップとを有することを特徴とする。
【００１９】
第１発明、第３発明、第８発明、及び第１０発明にあっては、所定のパターンを形成してある載置面上に載置した撮像対象物の撮像画像を取込み、パターン上の特徴点に対応する撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記撮像対象物を撮像した際の撮像画像と載置面との間の幾何学的関係を定め、定めた幾何学的関係に基づいて撮像画像の歪みを補正するようにしている。したがって、撮像画像に歪みが生じている場合には、撮像画像に写されているパターンの歪みに基づいて補正することが容易となり、パターンを形成した載置面上に撮像対象物を載置した状態で撮像しているため、生成する補正画像において撮像対象物の画像上には余分な画像が印加されることがなくなる。
【００２０】
第２発明、第４発明、第９発明、及び第１１発明にあっては、所定のパターンを形成してある載置面上に載置した撮像対象物の撮像画像と、撮像装置の姿勢を同一にした状態で前記パターンを撮像した基準画像とを取込み、パターン上の特徴点に対応する撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記撮像対象物を撮像した際の撮像画像と載置面との間の幾何学的関係を定め、定めた幾何学的関係に基づいて撮像画像の歪みを補正するようにしている。したがって、撮像画像に歪みが生じている場合には、撮像画像に写されているパターンの歪みに基づいて補正することが容易となり、パターンを形成した載置面上に撮像対象物を載置した状態で撮像しているため、生成する補正画像において撮像対象物の画像上には余分な画像が印加されることがなくなり、また、画像面積を有効に活用できる。
【００２１】
第５発明にあっては、パターン上の特徴点と撮像画像上の対応点との射影変換により、載置面と撮像画像との幾何学的関係を定めるようにしている。したがって、両画像において対応する点の位置情報を受付けるだけで、両画像間に成立つ幾何学的関係を定めることができ、撮像画像の歪みを除去した補正画像の生成が容易となる。
【００２２】
第６発明にあっては、生成する補正画像上の点の色情報は、補正画像上の点を幾何学的関係に従って変換し、変換した点の色情報を撮像画像から取得するようにしているため、補正画像を構成するすべての点の色情報を定めることができ、補正画像が容易に生成される。
【００２３】
第７発明にあっては、載置面上に形成するパターンとして格子状の画像を用いているため、パターン上の特徴点を容易に定義することができ、載置面上のパターンと撮像画像に写されているパターンの画像との対応付けが容易となる。
【発明の効果】
【００２４】
第１発明、第３発明、第８発明、及び第１０発明による場合は、所定のパターンが形成してある載置面上に載置した撮像対象物の撮像画像を取得し、予め記憶させておいたパターン上の複数の特徴点の位置情報と対応する撮像画像上での対応点の位置情報を受付け、パターン上の特徴点の位置情報と撮像画像上の対応点の位置情報とに基づき、前記撮像対象物を撮像した際のパターンと撮像画像との間の幾何学的関係を定め、定めた幾何学的関係に基づいて撮像画像の歪みを補正するようにしている。したがって、撮像画像に歪みが生じている場合には、撮像画像に写されているパターンの歪みに基づいて容易に補正が可能となるとともに、パターンを形成した載置面上に撮像対象物を載置した状態で撮像しているため、撮像対象物の画像上に余分な画像を印加することなく補正画像を生成することができる。
【００２５】
第２発明、第４発明、第９発明、及び第１１発明による場合は、所定のパターンを形成してある載置面上に載置した撮像対象物の撮像画像と、撮像装置の姿勢を同一にした状態で前記パターンを撮像した基準画像とを取込み、パターン上の特徴点に対応する撮像画像上の対応点の位置情報を受付け、前記特徴点の位置情報と前記対応点の位置情報とに基づき、前記撮像対象物を撮像した際の撮像画像と載置面との間の幾何学的関係を定め、定めた幾何学的関係に基づいて撮像画像の歪みを補正するようにしている。したがって、撮像画像に歪みが生じている場合には、撮像画像に写されているパターンの歪みに基づいて補正することが容易となり、パターンを形成した載置面上に撮像対象物を載置した状態で撮像しているため、撮像対象物の画像上に余分な画像を印加することなく補正画像を生成することができ、また、画像面積を有効に使用することができる。
【００２６】
第５発明による場合は、パターン上の特徴点と撮像画像上の対応点との射影変換により、パターンと撮像画像との幾何学的関係を定めるようにしている。したがって、両画像において対応する点の位置情報を受付けるだけで、両画像間に成り立つ幾何学的関係を定めることができ、撮像画像の歪みを除去した補正画像を容易に生成することができる。
【００２７】
第６発明による場合は、生成する補正画像上の点の色情報は、補正画像上の点を幾何学的関係に従って変換し、変換した点の色情報を撮像画像から取得するようにしているため、補正画像を構成するすべての点の色情報を定めることができ、補正画像を容易に生成することが可能となる。
【００２８】
第７発明による場合は、パターンとして格子状の画像を用いているため、パターン上の特徴点を容易に定義することができ、撮像画像との対応付けを容易に行うことが可能となる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００３０】
実施の形態１．
図１は本実施の形態に係る画像処理システムの構成を示す模式図である。図中Ｔは撮像対象物であり、該撮像対象物ＴをシートＳ上に載置した状態で撮像装置２０により撮像し、撮像して得られた撮像画像を画像処理装置１０に読込む。撮像対象物Ｔは、例えば、衣服等を作製する際の型紙、原稿、地図等のシート状のものである。シートＳは合成樹脂、金属、木材、紙等の材料により長方形又は正方形に形成されており、その表面には等間隔のピッチで配した格子線からなる格子状のパターンが描かれている。また、撮像装置２０はデジタル形式の画像データを生成することができるデジタルカメラである。画像処理装置１０はパーソナルコンピュータ等で構成され、撮像装置２０が生成した画像データを取得して画像処理を行う。ここで、画像データは、夫々が色情報を持つ画素の集合からなるデータをいう。
【００３１】
撮像装置２０により得られた撮像画像を画像処理装置１０内で衣服のデザイン用の画像、又は文字情報の読取用の画像として利用する場合、撮像対象物Ｔに対して真正面から撮像した撮像画像が得られることが望ましい。そのためには、撮像装置２０を撮像対象物Ｔに対して真正面に固定して撮像することも考えられるが、利便性に欠けるという問題点を有している。そこで、本実施の形態では、撮像した際の撮像装置２０の位置及び姿勢のずれに伴う撮像画像の歪みを後述するような画像処理によって除去し、正面から撮像したような正面画像を合成する。
【００３２】
図２はシートＳ上に形成されたパターンについて説明する模式図である。シートＳの表面には前述したように等間隔のピッチで配した格子線からなる格子状のパターンが描かれている。図２に示した例では、６行８列の正方格子（縦方向に６つ、横方向に８つとする）によるパターンが描かれており、画像処理装置１０にはこのパターンの幾何学的形状に関する情報が予め記憶されている。前記幾何学的形状に関する情報は、各格子点の位置座標、格子点間の距離の実測値等が含まれる。ここで、各格子点の位置座標は、紙面左下の格子点の位置座標を（０，０）、右下の格子点の位置座標を（１，０）、右上の格子点の位置座標を（１，１）、左上の格子点の位置座標を（０，１）とした相対座標系により表すことができる。また、格子間の距離については、例えば、位置座標（０，０）と位置座標（１，０）との間の距離、及び位置座標（０，０）と位置座標（０，１）との間の距離を予め計測して画像処理装置１０に記憶させておく。
【００３３】
なお、本実施の形態では６行８列の正方格子をパターンとして用いる構成としたが、格子の配列は必ずしも６行８列に限定されず、少なくとも４つ以上の格子点が撮像対象物Ｔとともに撮像される構成であれば良い。また、各格子の形状は正方形に限定されず、長方形、三角形等の形状を有する格子の画像を利用することも可能である。また、格子線を描画せずに格子点のみを描画して利用する形態であっても良い。
【００３４】
図３は画像処理装置１０に読込まれた撮像画像とパターンとの関係を説明する模式図である。撮像装置２０を用いて適宜の位置及び姿勢から前述のシートＳ及び撮像対象物Ｔを撮像した場合、撮像対象物Ｔに対して真正面から撮像しない限り、図３（ａ）に示したような歪み（台形歪み）が生じた撮像画像２０Ａが得られることとなる。本実施の形態ではこのような歪みを補正するために、図３（ｂ）に示したパターン２０Ｂ上の特徴点Ｐ1 〜Ｐ4 と、これらの特徴点Ｐ1 〜Ｐ4 に対応する撮像画像２０Ａ上の特徴点との間の対応付けを行って対応点Ｑ1 〜Ｑ4 を定め、両者の間に成立する幾何学的関係を求める。具体的には特徴点Ｐ1 〜Ｐ4 の位置座標を対応点Ｑ1 〜Ｑ4 の位置座標に移すような射影変換行列を求める。そして、歪みを補正した補正画像（正面画像）を得るために、パターン２０Ｂ上の各画素の位置座標を前記射影変換行列により変換し、変換先の色情報を取得することによって正面画像の各画素の色情報を定める。すなわち、パターン２０Ｂ上の全ての画素について色情報を定めることにより、歪みを除去した画像を生成するようにしている。
【００３５】
図４は画像処理装置１０の内部構成を説明するブロック図である。画像処理装置１０はＣＰＵ１１を備えており、該ＣＰＵ１１にはＲＯＭ１３、ＲＡＭ１４、操作部１５、表示部１６、画像入力部１７、補助記憶部１８、記憶部１９等の各種ハードウェアがバス１２を介して接続されている。ＣＰＵ１１は、ＲＯＭ１３に格納された各種制御プログラムに従って前述のハードウェアを制御するとともに、外部から受付けた撮像画像に対して画像処理を施して歪みを補正する。なお、当該画像処理は必ずしもＣＰＵ１１が行う必要はなく、画像処理専用のＡＳＩＣ（Application Specifide Integrated Circiut）を設けて、ＣＰＵ１１から指示を与えることにより、画像処理専用のＡＳＩＣに画像処理を行わせる形態であってもよい。ＲＡＭ１４はＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ１３に格納された制御プログラムの実行時に発生するデータ等を記憶する。
【００３６】
操作部１５は、キーボード、マウス、タブレット等の入力装置からなり、画像処理をする際の指示、選択操作等を受付ける。表示部１６は、ＣＲＴディスプレイ又は液晶ディスプレイ等の表示装置からなり、操作部１５を通じて入力された各種の情報が表示されるとともに、外部から入力された撮像画像、及び画像処理中の画像等が表示される。
【００３７】
画像入力部１７は、撮像装置２０が生成した画像データを入力するための入力装置を備えている。前記入力装置として、ＵＳＢ（Universal Serial Bus）の規格に準拠した接続ポート、可搬型の半導体メモリに記憶された画像データを読取るための読取装置等を採用することができる。撮像装置２０がＵＳＢのインタフェースを持ち、通信ケーブルを介して外部に画像データを送出できるようになっている場合には、前述の接続ポートに通信ケーブルを接続して画像データを通信により受信する。また、撮像装置２０がＵＳＢのインタフェースを持たず、可搬型の半導体メモリにより画像データの受渡しが行われる場合には、前述の読取装置が利用される。なお、この読取装置は画像処理装置１０に内蔵したものであってもよく、外付けにしたものであってもよい。画像入力部１７から入力された画像データはＨＤＤ装置等から構成される記憶部１９に記憶される。
【００３８】
補助記憶部１８は、本発明のコンピュータプログラムを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体Ｍからコンピュータプログラムを読取るＦＤドライブ、ＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラムは記憶部１９に記憶される。ＣＰＵ１１が当該コンピュータプログラムを実行する場合、記憶部１９に記憶されたコンピュータプログラムを一旦ＲＡＭ１４上に展開し、ＣＰＵ１１が前記コンピュータプログラムに含まれる命令コードをデコードすることによって一連のプログラムとして解釈し、前記コンピュータプログラムを実行する。
【００３９】
図５は本実施の形態に係る画像処理システムによる画像処理の処理手順を説明するフローチャートである。まず、画像処理装置１０は、撮像装置２０により撮像して得られた撮像画像の読込みを行う（ステップＳ１）。撮像画像の読込みは、画像入力部１７を通じて入力された撮像画像を読込む形態であってもよく、また、予め記憶部１９に記憶させておいた撮像画像を読込む形態であってもよい。読込んだ画像は、ＲＡＭ１４にて一時的に保持される。
【００４０】
次いで、撮像装置２０の校正を行い（ステップＳ２）、撮像装置２０の内部パラメータに起因する歪みの除去を行う。一般に、撮像装置によって得られる画像には、撮像装置のレンズ系等の影響を受けて円形歪み、樽型歪み等の種々の歪みが発生する。そこで、本実施の形態ではこれらの歪みを除去した上で、撮像した際の位置及び姿勢に伴う撮像画像の歪みの除去を行う。撮像装置２０の校正には公知の手法を用いることができる。例えば、既知のパターンを撮像し、撮像して得られた画像とパターンとに基づいて撮像装置２０の内部パラメータ（焦点距離、主点の位置座標等）、及び歪み量を規定するパラメータを予め算出する。そして、校正の際には予め求めておいたこれらのパラメータを利用して校正を行う。
【００４１】
なお、予め校正を行った撮像装置２０を利用して撮像する場合、本ステップを省略することも可能である。
【００４２】
次いで、画像処理装置１０は撮像画像の特徴点とシートＳ上のパターンの特徴点との間の対応付けを受付ける（ステップＳ３）。具体的には、図３に示したような撮像画像（２０Ａ）及びパターン（２０Ｂ）を画像処理装置１０の表示部１６に表示させ、各画像（２０Ａ，２０Ｂ）で互いに対応する特徴点を、操作部１５が備えるマウス等によりユーザに選択させる。
【００４３】
次いで、画像処理装置１０のＣＰＵ１１は、射影変換行列の各要素の初期値を求める（ステップＳ４）。射影変換行列の各要素の初期値は、以下のようにして求めることができる。
【００４４】
撮像画像上の特徴点の位置座標（ｕi ，ｖi ）は、パターン上の特徴点の位置座標（ｘi ，ｙi ）、及び射影変換行列Ｈを用いて次式のように表すことができる。
【００４５】
【数１】
2004288148.tif 000003
【００４６】
ここで、右辺のＨ11，Ｈ12，…，Ｈ33は射影変換行列Ｈの各要素を表している。また、数式（１）においてはスケール因子を考慮していない。ｕi 及びｖi について展開した場合、数式（２）及び数式（３）のように表すことができる。
【００４７】
【数２】
2004288148.tif 000004
【００４８】
【数３】
2004288148.tif 000005
【００４９】
更に、射影変換行列Ｈの各要素についてまとめた場合、以下の行列式で表すことができる。
【００５０】
【数４】
2004288148.tif 000006
【００５１】
ここで、左辺の２ｎ行×９列の行列をＡで表し、射影変換行列Ｈの各要素Ｈ11，Ｈ12，…，Ｈ33で表されるベクトルをｈで表した場合、数式（４）は、
【００５２】
【数５】
2004288148.tif 000007
【００５３】
となる。このときベクトルｈは、ＡT Ａの最小固有値に対応する固有ベクトルとして求めることができる。
【００５４】
次いで、画像処理装置１０のＣＰＵ１１は、射影変換行列Ｈの各要素Ｈ11，Ｈ12，…，Ｈ33を最適化するために評価関数の設定を行う（ステップＳ５）。ここで、撮像画像上の点の位置座標（ｕi ，ｖi ）とステップＳ４で求めた射影変換行列による変換先の位置座標との間の距離の二乗和を評価関数として設定し（数式（６））、当該評価関数が最小となるように射影変換行列の各要素Ｈ11，Ｈ12，…，Ｈ33の最適化を行う（ステップＳ６）。
【００５５】
【数６】
2004288148.tif 000008
【００５６】
次いで、画像処理装置１０のＣＰＵ１１は、最適化して得られた射影変換行列Ｈを用いて歪みを補正し、正面画像の合成処理を行う（ステップＳ７）。
【００５７】
図６は正面画像の合成処理を説明する模式図である。前述したフローチャートのステップＳ６により最適化した射影変換行列Ｈが求まるため、この射影変換行列Ｈの逆行列により撮像画像上の各点の位置座標を変換することによって、歪みがない正面画像（補正画像）が得られることとなる。しかしながら、撮像画像は元々歪んだものであるからパターンと比較した場合、画素が足りない領域及び画素が過剰な領域が存在している。したがって、撮像画像を元に射影変換行列Ｈの逆行列を用いて変換した場合、隙間のない完全な正面画像が得られない場合が生じる。
【００５８】
そこで、本実施の形態では、撮像画像（２０Ａ）を出発点とするのではなく、元のパターン（２０Ｂ）を出発点とし、パターン上の任意の画素の位置座標（ａi ，ｂj ）を射影変換行列Ｈにより変換し、撮像画像上で対応する点の位置座標（αi ，βj ）を求め、変換後の点の色情報を取得し、取得した色情報を生成すべき正面画像上の点の色情報として記憶する。
【００５９】
図７は正面画像の合成処理ルーチンの処理手順を説明するフローチャートである。まず、画像処理装置１０のＣＰＵ１１は、インデックスｉ，ｊを０に設定し（ステップＳ１１）、復元先の画像（正面画像）上の点の位置座標（ａi ，ｂj ）を射影変換行列Ｈにより変換する（ステップＳ１２）。変換後の点は撮像画像上の点に移るため、変換後の点の位置座標（αi ，βj ）に対応する色情報を取得する（ステップＳ１３）。そして取得した色情報を復元先の画像の点の位置座標（ａi ，ｂj ）の色情報として記憶する（ステップＳ１４）。
【００６０】
次いで、ＣＰＵ１１はインデックスｉがＸ以上であるか否かを判断する（ステップＳ１５）。ここで、Ｘは生成すべき正面画像の横方向の総画素数を表す。ｉがＸ以上でないと判断した場合（Ｓ１５：ＮＯ）、インデックスｉを１つだけ増やして（ステップＳ１６）、処理をステップＳ１２へ戻す。
【００６１】
インデックスｉがＸ以上であると判断した場合（Ｓ１５：ＹＥＳ）、インデックスｉの値を０に設定し（ステップＳ１７）、インデックスｊがＹ以上であるか否かを判断する（ステップＳ１８）。ここで、Ｙは生成すべき正面画像の縦方向の総画素数を表す。ｊがＹ以上でないと判断した場合（Ｓ１８：ＮＯ）、インデックスｊを１つだけ増やして（ステップＳ１９）、処理をステップＳ１２へ戻し、ｊがＹ以上であると判断した場合（Ｓ１８：ＹＥＳ）、本ルーチンを終了する。
【００６２】
このように、本実施の形態では復元先（正面画像）を出発点として、各画素の色情報を逐次的に定めるため、隙間のない完全な正面画像が得られる。
【００６３】
なお、本実施の形態では、シートＳ上に載置した撮像対象物Ｔを撮像する構成としたが、撮像対象物Ｔを載置するものは必ずしもシートに限定されず、テーブル等の台状のものであっても良く、また、床面、壁面等にパターンを形成して利用する構成であっても良い。
【００６４】
また、本実施の形態では、撮像装置２０としてデジタルカメラを利用する構成としたが、デジタルカメラの代わりに銀塩カメラを利用することも可能である。銀塩カメラは撮像した画像をフィルム又は印画紙上に形成するため、画像処理装置１０の内部で利用するためにデジタルの画像データに変換する必要があり、例えば、フィルムスキャナ、イメージスキャナ等を利用することができる。
【００６５】
実施の形態２．
実施の形態１では、シートＳ上に撮像対象物Ｔを載置した状態で撮像装置２０により撮像し、撮像装置２０が取得した撮像画像を画像処理装置１０内に取込み、シートＳ上に描かれている格子点のうち撮像対象物Ｔの周囲に現れている格子点の位置情報に基づいて撮像画像の歪みを除去するようにしていた。すなわち、実施の形態１では任意の位置及び姿勢から撮像して得られた１枚の撮像画像を利用して歪みを除去できるため、撮像対象物Ｔを撮像する際の自由度が大きいという利点を有する。しかしながら、シートＳに対して載置した撮像対象物Ｔの占有面積が大きく、撮像対象物Ｔの周囲に少なくとも４点以上の格子点が現れない場合には前述した手法により歪みを除去することができないこととなる。
【００６６】
本実施の形態では、撮像対象物Ｔよりも十分に大きなシートＳを準備できない場合の対処方法として、シートＳを単体で撮像した撮像画像（以下では、基準画像と称する）と、撮像装置２０の位置及び姿勢を同一に保ちながらシートＳ上に撮像対象物Ｔを載置して撮像した撮像画像とを用いて撮像画像の歪みを除去する手法について説明する。なお、本実施の形態における画像処理システム及び画像処理装置１０の構成は、実施の形態１と全く同様であるためその説明を省略することとする。
【００６７】
図８は画像処理装置１０に取込むべき画像を説明する説明図である。本実施の形態では、まず、等間隔のピッチで配した格子線からなる格子状のパターンがその表面に描かれているシートＳを撮像装置２０により撮像する。このとき、三脚等の固定具を用いて撮像装置２０の位置及び姿勢を固定した後に撮像する。撮像して得られた画像は基準画像２１Ａとして画像処理装置１０内に取込まれ、画像処理装置１０内の記憶部１９に保存される（図８（ａ）参照）。次いで、撮像対象物ＴをシートＳ上に載置し、撮像装置２０の位置及び姿勢を同一に保った状態にて撮像装置２０により撮像する。撮像して得られた撮像画像２１Ｂは画像処理装置１０内に取込まれ、画像処理装置１０内の記憶部１９に保存される（図８（ｂ）参照）。
【００６８】
図９は画像処理装置１０による画像処理の手順を説明する説明図である。本実施の形態では、まず、シートＳのみを撮像した基準画像２１ＡからシートＳ上のパターンと基準画像２１Ａとの間に成り立つ幾何学的関係を求め、次いで、シートＳ上に撮像対象物Ｔを載置して撮像した撮像画像２１Ｂに前記幾何学的関係を適用して変換することにより正面画像を合成する。シートＳ上のパターンと基準画像２１Ａとの間の幾何学的関係は実施の形態１と同様にして求めることができる。すなわち、パターン上の特徴点を示す格子点の位置座標（ｘi ，ｙi ）と基準画像２１Ａ上において前記格子点に対応する対応点の位置座標（ｕi ，ｖi ）との間に成立つ関係式を射影変換行列Ｈを用いて数式（１）のように表したとき、射影変換行列Ｈによる格子点の位置座標（ｘi ，ｙi ）の変換先と対応点の位置座標（ｕi ，ｖi ）との間の距離に関する評価関数は数式（６）のように表すことができ、当該評価関数を最適化することによって射影変換行列Ｈの各要素を求めることができる。また、基準画像２１Ａ及び撮像画像２１Ｂは、撮像装置２０の位置及び姿勢を同一にして撮像された画像であるため、基準画像２１ＡとシートＳ上のパターンとの間に成立つ関係は、撮像画像２１Ｂと該撮像画像２１ＢをシートＳ上に投影した画像との間にも適用することができ、前記関係に基づいて撮像画像２１Ｂを変換することにより正面画像を合成するこができる。
【００６９】
図１０は本実施の形態に係る画像処理システムによる画像処理の処理手順を説明するフローチャートである。まず、画像処理装置１０は、撮像装置２０により撮像して得られた基準画像及び撮像画像を読込む（ステップＳ２１）。撮像画像の読込みは、画像入力部１７を通じて入力された撮像画像を読込む形態であってもよく、また、予め記憶部１９に記憶させておいた撮像画像を読込む形態であってもよい。読込んだ画像はＲＡＭ１４により一時的に保持される。
【００７０】
次いで、撮像装置２０の校正を行い（ステップＳ２２）、撮像装置２０の内部パラメータに起因する歪みの除去を行う。なお、予め校正を行った撮像装置２０を利用して撮像する場合、本ステップを省略することも可能である。
【００７１】
次いで、画像処理装置１０は基準画像の特徴点とパターンの特徴点との間の対応付けを受付ける（ステップＳ２３）。具体的には、図９（ａ）に示したように基準画像（２１Ａ）とパターンの画像とを画像処理装置１０の表示部１６に表示させ、各画像で互いに対応する特徴点を操作部１５が備えるマウス等によりユーザに選択させる。
【００７２】
次いで、画像処理装置１０のＣＰＵ１１は、射影変換行列の各要素の初期値を求める（ステップＳ２４）。基準画像上の特徴点の位置座標（ｕi ，ｖi ）は、パターン上の特徴点の位置座標（ｘi ，ｙi ）、及び射影変換行列Ｈを用いて数式（１）のように表すことができ、ｎ組の特徴点に対し、射影変換行列Ｈの各要素についてまとめた場合、数式（４）に示したように表すことができる。すなわち、射影変換行列Ｈの各要素の初期値は、数式（４）の左辺の２ｎ行×９列の行列をＡで表した場合、ＡT Ａの最小固有値に対応する固有ベクトルとして求めることができる。
【００７３】
次いで、画像処理装置１０のＣＰＵ１１は、射影変換行列Ｈの各要素を最適化するために評価関数の設定を行う（ステップＳ２５）。ここで、基準画像上の点の位置座標（ｕi ，ｖi ）とステップＳ２４で求めた射影変換行列による変換先の位置座標との間の距離の二乗和を評価関数として設定し（数式（６））、当該評価関数が最小となるように射影変換行列の各要素の最適化を行う（ステップＳ２６）。次いで、画像処理装置１０のＣＰＵ１１は、最適化して得られた射影変換行列Ｈを用いて歪みを補正し、正面画像の合成処理を行う（ステップＳ２７）。正面画像の合成処理は、実施の形態１と同様の手法を用いることができる。すなわち、算出した射影変換行列に従って生成すべき正面画像の各画素を変換し、変換先に対応する撮像画像２１Ｂ上の画素の色情報を取得することによって、各画素の色情報を定めて正面画像を生成することができる。
【００７４】
なお、本実施の形態では、シートＳを単体で撮像した後、撮像対象物ＴをそのシートＳ上に載置して撮像するようにしたが、まず、シートＳ上に撮像対象物Ｔを載置した状態で撮像し、その後、撮像対象物Ｔを取り除いて撮像するようにしても良いことは勿論のことである。また、本実施の形態では、撮像対象物Ｔを撮像する際に撮像装置２０の位置及び姿勢を保っていれば、基準画像２１Ａに基づいて算出した射影変換行列Ｈを利用して撮像画像２１Ｂの歪みを除去することが可能であるため、撮像対象物Ｔを撮像する際に、必ずしもシートＳ上に撮像対象物Ｔを載置した状態で撮像する必要はない。すなわち、背景を無地にして撮像することも可能であるため、歪みを除去した正面画像には格子線等の余分な画像が印可されることがなくなるという利点も有する。
【図面の簡単な説明】
【００７５】
【図１】本実施の形態に係る画像処理システムの構成を示す模式図である。
【図２】シート上に形成されたパターンについて説明する模式図である。
【図３】画像処理装置に読み込まれた撮像画像とパターンとの関係を説明する模式図である。
【図４】画像処理装置の内部構成を説明するブロック図である。
【図５】本実施の形態に係る画像処理システムによる画像処理の処理手順を説明するフローチャートである。
【図６】正面画像の合成処理を説明する模式図である。
【図７】正面画像の合成処理ルーチンの処理手順を説明するフローチャートである。
【図８】画像処理装置に取込むべき画像を説明する説明図である。
【図９】画像処理装置による画像処理の手順を説明する説明図である。
【図１０】本実施の形態に係る画像処理システムによる画像処理の処理手順を説明するフローチャートである。
【符号の説明】
【００７６】
１０  画像処理装置
１１  ＣＰＵ
１２  バス
１３  ＲＯＭ
１４  ＲＡＭ
１５  操作部
１６  表示部
１７  画像入力部
１８  補助記憶部
１９  記憶部
２０  撮像装置
Ｓ  シート
Ｔ  撮像対象物
【図１】
2004288148.tif 000009
【図２】
2004288148.tif 000010
【図３】
2004288148.tif 000011
【図４】
2004288148.tif 000012
【図５】
2004288148.tif 000013
【図６】
2004288148.tif 000014
【図７】
2004288148.tif 000015
【図８】
2004288148.tif 000016
【図９】
2004288148.tif 000017
【図１０】
2004288148.tif 000018