(57)【要約】【課題】本発明は、画像処理装置、該画像処理装置で用いる画像処理方法、及び該画像処理方法における処理をコンピュータに実行させるコンピュータプログラムを提供する。【解決手段】本発明は、撮像対象物をカメラ１で撮像した多値画像に対する画像処理を実行する場合に、画像処理前の多値画像を射影変換するための所定の射影変換パラメータを算出する。算出した射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出し、算出した射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する。特定した有効領域と、算出した射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する。【選択図】図１
2011118554.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象物を撮像手段で撮像した多値画像に対する画像処理を実行する画像処理装置において、
画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータを算出する射影変換パラメータ算出手段と、
該射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する射影領域算出手段と、
該射影領域算出手段で算出した前記射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する有効領域特定手段と、
該有効領域特定手段で特定した前記有効領域と、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する画像変換手段と
を備えることを特徴とする画像処理装置。
【請求項２】
多値画像に対する画像処理前及び画像処理後の前記撮像対象物の形状を特定する形状情報の入力を受け付ける形状情報入力受付手段を備え、
前記射影変換パラメータ算出手段は、該形状情報入力受付手段で入力を受け付けた前記形状情報に基づき、前記射影変換パラメータを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
多値画像を表示する画像表示手段を備え、
前記形状情報入力受付手段は、該画像表示手段に表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の前記撮像対象物の形状を特定する前記形状情報の入力を受け付けることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像表示手段に、画像処理前の多値画像、画像処理後の多値画像、及び前記形状情報入力受付手段で入力を受け付けた前記形状情報を切り替えて表示する表示切替手段を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定する変換対象領域設定手段を備え、
前記射影領域算出手段は、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、前記変換対象領域設定手段で設定した前記変換対象領域を射影変換して得られる前記射影領域を算出することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記変換対象領域設定手段は、前記射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、前記特定の画素を含む所定の領域を前記変換対象領域として設定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記変換対象領域設定手段は、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を前記変換対象領域として設定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記変換対象領域設定手段は、
前記射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出する第１交点算出手段と、
前記所定の直線で分けられた領域のうち、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された前記撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する第２交点算出手段と、
前記第１交点算出手段で算出した前記第１交点と、前記第２交点算出手段で算出した前記第２交点とを結んで形成される多角形領域を算出する多角形領域算出手段と
を有し、
該多角形領域算出手段で算出した前記多角形領域を前記変換対象領域として設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮像対象物を撮像手段で撮像した多値画像に対する画像処理を実行することが可能な画像処理方法において、
画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータを算出する工程と、
算出した前記射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する工程と、
算出した前記射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する工程と、
特定した前記有効領域と、算出した前記射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する工程と
を含むことを特徴とする画像処理方法。
【請求項１０】
多値画像に対する画像処理前及び画像処理後の前記撮像対象物の形状を特定する形状情報の入力を受け付ける工程を含み、
入力を受け付けた前記形状情報に基づき、前記射影変換パラメータを算出することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の前記撮像対象物の形状を特定する前記形状情報の入力を受け付けることを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
画像処理前の多値画像、画像処理後の多値画像、及び前記形状情報入力受付手段で入力を受け付けた前記形状情報を切り替えて表示することを特徴とする請求項１１に記載の画像処理方法。
【請求項１３】
画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定する工程を含み、
算出した前記射影変換パラメータに基づいて、設定した前記変換対象領域を射影変換して得られる前記射影領域を算出することを特徴とする請求項９乃至１２のいずれか一項に記載の画像処理方法。
【請求項１４】
前記射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、前記特定の画素を含む所定の領域を前記変換対象領域として設定することを特徴とする請求項１３に記載の画像処理方法。
【請求項１５】
入力を受け付けた前記形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を前記変換対象領域として設定することを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
前記射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出する工程と、
前記所定の直線で分けられた領域のうち、入力を受け付けた前記形状情報で特定された前記撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する工程と、
算出した前記第１交点と、算出した前記第２交点とを結んで形成される多角形領域を算出する工程と、
算出した前記多角形領域を前記変換対象領域として設定する工程と
を含むことを特徴とする請求項１５に記載の画像処理方法。
【請求項１７】
撮像対象物を撮像手段で撮像した多値画像に対する画像処理を実行する画像処理装置で実行することが可能なコンピュータプログラムにおいて、
前記画像処理装置を、
画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータを算出する射影変換パラメータ算出手段、
該射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する射影領域算出手段、
該射影領域算出手段で算出した前記射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する有効領域特定手段、及び
該有効領域特定手段で特定した前記有効領域と、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する画像変換手段
として機能させることを特徴とするコンピュータプログラム。
【請求項１８】
前記画像処理装置を、
多値画像に対する画像処理前及び画像処理後の前記撮像対象物の形状を特定する形状情報の入力を受け付ける形状情報入力受付手段として機能させ、
射影変換パラメータ算出手段を、前記形状情報入力受付手段で入力を受け付けた前記形状情報に基づき、前記射影変換パラメータを算出する手段として機能させることを特徴とする請求項１７に記載のコンピュータプログラム。
【請求項１９】
前記形状情報入力受付手段を、
表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の前記撮像対象物の形状を特定する前記形状情報の入力を受け付ける手段として機能させることを特徴とする請求項１８に記載のコンピュータプログラム。
【請求項２０】
前記画像処理装置を、
画像処理前の多値画像、画像処理後の多値画像、及び前記形状情報入力受付手段で入力を受け付けた前記形状情報を切り替えて表示する表示切替手段として機能させることを特徴とする請求項１９に記載のコンピュータプログラム。
【請求項２１】
前記画像処理装置を、
画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定する変換対象領域設定手段として機能させ、
前記射影領域算出手段を、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、前記変換対象領域設定手段で設定した前記変換対象領域を射影変換して得られる前記射影領域を算出する手段として機能させることを特徴とする請求項１７乃至２０のいずれか一項に記載のコンピュータプログラム。
【請求項２２】
前記変換対象領域設定手段を、
前記射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、前記特定の画素を含む所定の領域を前記変換対象領域として設定する手段として機能させることを特徴とする請求項２１に記載のコンピュータプログラム。
【請求項２３】
前記変換対象領域設定手段を、
前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を前記変換対象領域として設定する手段として機能させることを特徴とする請求項２２に記載のコンピュータプログラム。
【請求項２４】
前記変換対象領域設定手段を、
前記射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出する第１交点算出手段、
前記所定の直線で分けられた領域のうち、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された前記撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する第２交点算出手段、
前記第１交点算出手段で算出した前記第１交点と、前記第２交点算出手段で算出した前記第２交点とを結んで形成される多角形領域を算出する多角形領域算出手段、及び
該多角形領域算出手段で算出した前記多角形領域を前記変換対象領域として設定する手段
として機能させることを特徴とする請求項２３に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段で撮像された多値画像の遠近歪みを補正するために、多値画像を射影変換する画像処理装置、該画像処理装置で用いる画像処理方法、及び該画像処理方法における処理をコンピュータに実行させるコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、撮像手段で検査対象物を撮像し、撮像された多値画像を用いて検査対象物の検査や欠陥の検出をする装置では、検査対象物と撮像手段との位置関係、レンズの構成等に応じて種々の遠近歪みが発生する。多くの装置では、検査対象物の検査精度、欠陥の検出精度等を低下させないために、撮像された多値画像を適切に射影変換することにより、多値画像に含まれている遠近歪みを補正している。適切に射影変換することで、検査対象物と撮像手段との位置関係によって生じる、遠近歪みを補正することができる。
【０００３】
例えば特許文献１では、予め形状が既知である台座の外形の長方形を基準多角形とし、基準多角形である長方形と台座画像の輪郭によって特定される長方形とを比較して、射影補正パラメータを求め、求めた射影補正パラメータを用いて、カメラで撮像された多値画像を射影変換することにより補正している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−０７４５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に多値画像を射影変換する場合、変換前の多値画像と変換後の多値画像とでは、画素の存在する領域が相違する。すなわち、変換前の多値画像では画素が存在した領域であっても、変換後の多値画像では画素が存在しない場合、あるいはその逆も生じうる。したがって、変換前の多値画像にて画素が存在しない領域を射影変換した場合、変換後の多値画像にて対応する領域では黒画素とする。
【０００６】
しかし、従来の画像処理装置において変換後の画像全体を得ようとした場合、変換後の多値画像にて黒画素が存在する場合であっても、射影変換自体は、変換後の多値画像における各画素が、変換前の多値画像のどの部分に対応するのか、全画素について逐一座標変換の計算をしており、処理時間を短縮して、高速に画像処理を完了することが困難であるという問題点があった。
【０００７】
また、撮像対象物以外に遠方の背景が写り込んだような多値画像である場合であって、撮像対象物の多値画像の遠近歪みが大きいときには、射影変換による変換対象となる画像以外に、射影変換の所定条件による極性が逆極性となる不要な多値画像（虚像）が含まれるおそれがあるという問題点もあった。
【０００８】
本発明は上記事情に鑑みてなされたものであり、多値画像を射影変換する場合に、処理時間を短縮するとともに、虚像の出現を抑制することができる画像処理装置、該画像処理装置で用いる画像処理方法、及び該画像処理方法における処理をコンピュータに実行させるコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために第１発明に係る画像処理装置は、撮像対象物を撮像手段で撮像した多値画像に対する画像処理を実行する画像処理装置において、画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータを算出する射影変換パラメータ算出手段と、該射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する射影領域算出手段と、該射影領域算出手段で算出した前記射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する有効領域特定手段と、該有効領域特定手段で特定した前記有効領域と、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する画像変換手段とを備える。
【００１０】
また、第２発明に係る画像処理装置は、第１発明において、多値画像に対する画像処理前及び画像処理後の前記撮像対象物の形状を特定する形状情報の入力を受け付ける形状情報入力受付手段を備え、前記射影変換パラメータ算出手段は、該形状情報入力受付手段で入力を受け付けた前記形状情報に基づき、前記射影変換パラメータを算出する。
【００１１】
また、第３発明に係る画像処理装置は、第２発明において、多値画像を表示する画像表示手段を備え、前記形状情報入力受付手段は、該画像表示手段に表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の前記撮像対象物の形状を特定する前記形状情報の入力を受け付ける。
【００１２】
また、第４発明に係る画像処理装置は、第３発明において、前記画像表示手段に、画像処理前の多値画像、画像処理後の多値画像、及び前記形状情報入力受付手段で入力を受け付けた前記形状情報を切り替えて表示する表示切替手段を備える。
【００１３】
また、第５発明に係る画像処理装置は、第１乃至第４発明のいずれか一つにおいて、画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定する変換対象領域設定手段を備え、前記射影領域算出手段は、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、前記変換対象領域設定手段で設定した前記変換対象領域を射影変換して得られる前記射影領域を算出する。
【００１４】
また、第６発明に係る画像処理装置は、第５発明において、前記変換対象領域設定手段は、前記射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、前記特定の画素を含む所定の領域を前記変換対象領域として設定する。
【００１５】
また、第７発明に係る画像処理装置は、第６発明において、前記変換対象領域設定手段は、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を前記変換対象領域として設定する。
【００１６】
また、第８発明に係る画像処理装置は、第７発明において、前記変換対象領域設定手段は、前記射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出する第１交点算出手段と、前記所定の直線で分けられた領域のうち、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された前記撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する第２交点算出手段と、前記第１交点算出手段で算出した前記第１交点と、前記第２交点算出手段で算出した前記第２交点とを結んで形成される多角形領域を算出する多角形領域算出手段とを有し、該多角形領域算出手段で算出した前記多角形領域を前記変換対象領域として設定する。
【００１７】
上記目的を達成するために第９発明に係る画像処理方法は、撮像対象物を撮像手段で撮像した多値画像に対する画像処理を実行することが可能な画像処理方法において、画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータを算出する工程と、算出した前記射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する工程と、算出した前記射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する工程と、特定した前記有効領域と、算出した前記射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する工程とを含む。
【００１８】
また、第１０発明に係る画像処理方法は、第９発明において、多値画像に対する画像処理前及び画像処理後の前記撮像対象物の形状を特定する形状情報の入力を受け付ける工程を含み、入力を受け付けた前記形状情報に基づき、前記射影変換パラメータを算出する。
【００１９】
また、第１１発明に係る画像処理方法は、第１０発明において、表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の前記撮像対象物の形状を特定する前記形状情報の入力を受け付ける。
【００２０】
また、第１２発明に係る画像処理方法は、第１１発明において、画像処理前の多値画像、画像処理後の多値画像、及び前記形状情報入力受付手段で入力を受け付けた前記形状情報を切り替えて表示する。
【００２１】
また、第１３発明に係る画像処理方法は、第９乃至第１２発明のいずれか一つにおいて、画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定する工程を含み、算出した前記射影変換パラメータに基づいて、設定した前記変換対象領域を射影変換して得られる前記射影領域を算出する。
【００２２】
また、第１４発明に係る画像処理方法は、第１３発明において、前記射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、前記特定の画素を含む所定の領域を前記変換対象領域として設定する。
【００２３】
また、第１５発明に係る画像処理方法は、第１４発明において、入力を受け付けた前記形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を前記変換対象領域として設定する。
【００２４】
また、第１６発明に係る画像処理方法は、第１５発明において、前記射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出する工程と、前記所定の直線で分けられた領域のうち、入力を受け付けた前記形状情報で特定された前記撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する工程と、算出した前記第１交点と、算出した前記第２交点とを結んで形成される多角形領域を算出する工程と、算出した前記多角形領域を前記変換対象領域として設定する工程とを含む。
【００２５】
上記目的を達成するために第１７発明に係るコンピュータプログラムは、撮像対象物を撮像手段で撮像した多値画像に対する画像処理を実行する画像処理装置で実行することが可能なコンピュータプログラムにおいて、前記画像処理装置を、画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータを算出する射影変換パラメータ算出手段、該射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する射影領域算出手段、該射影領域算出手段で算出した前記射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する有効領域特定手段、及び該有効領域特定手段で特定した前記有効領域と、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成する画像変換手段として機能させる。
【００２６】
また、第１８発明に係るコンピュータプログラムは、第１７発明において、前記画像処理装置を、多値画像に対する画像処理前及び画像処理後の前記撮像対象物の形状を特定する形状情報の入力を受け付ける形状情報入力受付手段として機能させ、射影変換パラメータ算出手段を、前記形状情報入力受付手段で入力を受け付けた前記形状情報に基づき、前記射影変換パラメータを算出する手段として機能させる。
【００２７】
また、第１９発明に係るコンピュータプログラムは、第１８発明において、前記形状情報入力受付手段を、表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の前記撮像対象物の形状を特定する前記形状情報の入力を受け付ける手段として機能させる。
【００２８】
また、第２０発明に係るコンピュータプログラムは、第１９発明において、前記画像処理装置を、画像処理前の多値画像、画像処理後の多値画像、及び前記形状情報入力受付手段で入力を受け付けた前記形状情報を切り替えて表示する表示切替手段として機能させる。
【００２９】
また、第２１発明に係るコンピュータプログラムは、第１７乃至第２０発明のいずれか一つにおいて、前記画像処理装置を、画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定する変換対象領域設定手段として機能させ、前記射影領域算出手段を、前記射影変換パラメータ算出手段で算出した前記射影変換パラメータに基づいて、前記変換対象領域設定手段で設定した前記変換対象領域を射影変換して得られる前記射影領域を算出する手段として機能させる。
【００３０】
また、第２２発明に係るコンピュータプログラムは、第２１発明において、前記変換対象領域設定手段を、前記射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、前記特定の画素を含む所定の領域を前記変換対象領域として設定する手段として機能させる。
【００３１】
また、第２３発明に係るコンピュータプログラムは、第２２発明において、前記変換対象領域設定手段を、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を前記変換対象領域として設定する手段として機能させる。
【００３２】
また、第２４発明に係るコンピュータプログラムは、第２３発明において、前記変換対象領域設定手段を、前記射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出する第１交点算出手段、前記所定の直線で分けられた領域のうち、前記形状情報入力受付手段で入力を受け付けた前記形状情報で特定された前記撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する第２交点算出手段、前記第１交点算出手段で算出した前記第１交点と、前記第２交点算出手段で算出した前記第２交点とを結んで形成される多角形領域を算出する多角形領域算出手段、及び該多角形領域算出手段で算出した前記多角形領域を前記変換対象領域として設定する手段として機能させる。
【００３３】
第１発明、第９発明及び第１７発明では、算出した射影変換パラメータに基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出し、算出した射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定し、特定した有効領域と、算出した射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成するので、有効領域以外の多値画像について、射影変換する必要がなく、処理時間を短縮して、高速に画像処理を完了することができる。
【００３４】
第２発明、第１０発明及び第１８発明では、多値画像に対する画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報の入力を受け付け、入力を受け付けた形状情報に基づき、射影変換パラメータを算出するので、画像処理前の多値画像を射影変換して遠近歪みを補正するための射影変換パラメータを精度良く算出することができる。
【００３５】
第３発明、第１１発明及び第１９発明では、表示された画像処理前の多値画像に対して、画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報の入力を受け付けることにより、射影変換する画像処理前の多値画像を視認しながら容易に画像処理前及び画像処理後の撮像対象物の形状を特定することが可能となる。
【００３６】
第４発明、第１２発明及び第２０発明では、画像処理前の多値画像、画像処理後の多値画像、及び入力を受け付けた形状情報を切り替えて表示することにより、画像処理前及び画像処理後の撮像対象物の形状情報を視認することが可能となる。
【００３７】
第５発明、第１３発明及び第２１発明では、画像処理前の多値画像の画素が存在する領域において、特定の画素を含む所定の領域を変換対象領域として設定し、算出した射影変換パラメータに基づいて、設定した変換対象領域に対応する画像処理前の多値画像を射影変換して得られる射影領域を算出することにより、射影変換の所定条件による極性が逆極性となる不要な多値画像（虚像）の画像処理後の多値画像への出現を抑えることができるとともに、不要な多値画像（虚像）に対応する画像処理前の多値画像について射影変換する必要がなく、処理時間を短縮して、高速に画像処理を完了することができる。
【００３８】
第６発明、第１４発明及び第２２発明では、射影変換パラメータに基づいて定義される所定の直線によって分割された領域のうち、特定の画素を含む所定の領域を前記変換対象領域として設定するので、射影変換の所定条件による極性が逆極性となる不要な多値画像（虚像）の画像処理後の多値画像への出現を抑えることができる。
【００３９】
第７発明、第１５発明及び第２３発明では、入力を受け付けた形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を変換対象領域として設定するので、撮像対象物を含む変換対象領域を容易に設定することが可能となる。
【００４０】
第８発明、第１６発明及び第２４発明では、射影変換パラメータに基づいて定義される所定の直線と、画像処理前の多値画像の画素が存在する領域の外周線とが交差する第１交点を算出し、所定の直線で分けられた領域のうち、入力を受け付けた形状情報で特定された撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する。算出した第１交点と第２交点とを結んで形成される多角形領域を算出して、算出した多角形領域を変換対象領域として設定することにより、不要な多値画像（虚像）の画像処理後の多値画像への出現を確実に抑えることができる。
【発明の効果】
【００４１】
上記構成によれば、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出し、算出した射影領域と画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定し、特定した有効領域と、射影変換パラメータ算出手段で算出した射影変換パラメータとに基づいて座標変換を行い、画像処理前の多値画像から画像処理後の多値画像を生成するので、有効領域以外の多値画像について、射影変換する必要がなく、処理時間を短縮して、高速に画像処理を完了することができる。また、特定の画素を含む所定の領域を変換対象領域として設定することで、射影変換の所定条件による極性が逆極性となる不要な多値画像（虚像）の画像処理後の多値画像への出現を抑えることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態１に係る画像処理装置の構成を模式的に示すブロック図である。
【図２】本発明の実施の形態１に係る画像処理装置の一構成例を示す機能ブロック図である。
【図３】本発明の実施の形態１に係る画像処理装置の画像処理部の主制御部による処理手順を示すフローチャートである。
【図４】画像表示手段に表示される多値画像の例示図である。
【図５】画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報を入力するためのダイアグラム及び入力方法の例示図である。
【図６】画像処理前の多値画像、及び画像処理前の多値画像の画素が存在する領域と射影領域との位置関係を示す例示図である。
【図７】射影領域と、画像処理後の多値画像の画素が存在する出力領域との位置関係を示す例示図である。
【図８】画像処理前の多値画像及び画像処理後の多値画像の例示図である。
【図９】画像処理前の多値画像に大きな遠近歪みが生じている多値画像、及び画像処理前の多値画像から遠近歪みを補正して生成した画像処理後の多値画像の例示図である。
【図１０】本発明の実施の形態２に係る画像処理装置の一構成例を示す機能ブロック図である。
【図１１】本発明の実施の形態２に係る画像処理装置の画像処理部の主制御部による処理手順を示すフローチャートである。
【図１２】変換対象領域を設定した多値画像の例示図である。
【図１３】本発明の実施の形態２に係る画像処理装置の変換対象領域設定手段の一構成例を示す機能ブロック図である。
【図１４】本発明の実施の形態２に係る画像処理装置の画像処理部の主制御部による変換対象領域設定の処理手順を示すフローチャートである。
【図１５】境界線と画像処理前の多値画像の画素が存在する領域の外周線とが交差しない多値画像の例示図である。
【図１６】第１交点を算出した多値画像の例示図である。
【図１７】第２交点を算出した多値画像の例示図である。
【図１８】第１交点と、第２交点とを結んで形成される多角形領域を算出した多値画像の例示図である。
【図１９】変換対象領域を設定した画像処理前の多値画像及び画像処理前の多値画像の画素が存在する領域と射影領域との位置関係を示す例示図である。
【図２０】射影領域と、画像処理後の多値画像の画素が存在する出力領域との位置関係を示す例示図である。
【図２１】射影変換した後多値画像の例示図である。
【発明を実施するための形態】
【００４３】
以下、本発明の実施の形態に係る画像処理装置について、図面を参照して説明する。なお、参照する図面を通じて、同一又は同様の構成又は機能を有する要素については、同一の符号を付して、詳細な説明を省略する。
【００４４】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を模式的に示すブロック図である。図１に示すように本実施の形態１に係る画像処理装置２は、多値画像を撮像する撮像手段であるカメラ１及び撮像された多値画像又は射影変換された多値画像を表示する表示装置３に接続されている。
【００４５】
画像処理装置２は、少なくともＣＰＵ（中央演算装置）、ＬＳＩ等で構成された主制御部２１、メモリ２２、記憶手段２３、入力手段２４、出力手段２５、通信手段２６、補助記憶手段２７及び上述したハードウェアを接続する内部バス２８で構成されている。主制御部２１は、内部バス２８を介して画像処理装置２の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶手段２３に記憶されているコンピュータプログラム５に従って、種々のソフトウェア的機能を実行する。メモリ２２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム５の実行時にロードモジュールが展開され、コンピュータプログラム５の実行時に発生する一時的なデータ等を記憶する。
【００４６】
記憶手段２３は、内蔵される固定型記憶装置（ハードディスク、フラッシュメモリ）、ＲＯＭ等で構成されている。記憶手段２３に記憶されているコンピュータプログラム５は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ等の可搬型記録媒体４から、補助記憶手段２７によりダウンロードされ、実行時には記憶手段２３からメモリ２２へ展開して実行される。もちろん、通信手段２６を介して外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。
【００４７】
通信手段２６は内部バス２８に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。すなわち、上述した記憶手段２３は、画像処理装置２に内蔵される構成に限定されるものではなく、通信手段２６を介して接続されている外部のサーバコンピュータ等に設置されているハードディスク等の外部記録媒体であっても良い。
【００４８】
入力手段２４は、キーボード及びマウス等のデータ入力媒体の他、液晶パネル等と一体となったタッチパネル等の入力情報を取得する装置全般を含む広い概念である。出力手段２５は、レーザプリンタ、ドットプリンタ等の印刷装置等を意味する。
【００４９】
カメラ（撮像手段）１は、ＣＣＤ撮像素子を備えたＣＣＤカメラ等である。表示装置３は、ＣＲＴ、液晶パネル等を有する表示装置である。カメラ１、表示装置３等は、画像処理装置２と一体化されていても良いし、分離されていても良い。外部制御機器６は、通信手段２６を介して接続されている制御機器であり、例えばＰＬＣ（プログラマブルロジックコントローラ）等が相当する。ここで外部制御機器６とは、画像処理装置２による画像処理結果に応じて後処理を実行する機器全般を意味している。
【００５０】
図２は、本発明の実施の形態１に係る画像処理装置２の一構成例を示す機能ブロック図である。図２において、本実施の形態１に係る画像処理装置２は、カメラ１と、画像処理装置２の処理を実行する画像処理部７と、記憶手段２３と、入力受付／画像表示部８とから構成される。
【００５１】
カメラ１は、例えばディジタルカメラとして機能し、撮像対象物として例えば検査する電子部品を撮像し、多値画像を取得して画像処理部７へ出力する。
【００５２】
画像処理部７は、形状情報設定手段７０と、射影変換行列算出手段７１と、射影領域算出手段７２と、有効領域特定手段７３と、画像変換手段７４とを含む。また、画像処理部７は、図１に示す主制御部２１、メモリ２２、及び各種のインタフェース等を含んで構成され、形状情報設定手段７０、射影変換行列算出手段７１、射影領域算出手段７２、有効領域特定手段７３、画像変換手段７４の処理動作を制御する。
【００５３】
記憶手段２３は、画像メモリとして機能し、カメラ１により撮像された元の多値画像、及び画像処理部７において各種処理を行った後の多値画像を随時記憶する。
【００５４】
入力受付／画像表示部８は、コンピュータ用のモニタ等の表示装置３、マウス、キーボード等の入力手段２４で構成される。入力受付部は、例えばダイアログボックスとして表示装置３の表示画面上に設けられ、形状情報入力受付手段８０を含む。画像表示手段８１は、表示装置３の表示画面上に入力受付部に隣接して設けられ、画像処理前の多値画像、画像処理後の多値画像、及び形状情報入力受付手段８０で入力を受け付けた形状情報を表示する。表示切替手段８２は、入力手段２４で受け付けた切替指示に基づき、画像処理前の多値画像、画像処理後の多値画像、及び形状情報入力受付手段８０で入力を受け付けた形状情報を切り替えて画像表示手段８１に表示させることができる。
【００５５】
次に、画像処理部７の各構成について説明する。
【００５６】
形状情報設定手段７０は、入力受付／画像表示部８の形状情報入力受付手段８０にて、ユーザによる入力を受け付けた画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報を、射影変換行列算出手段７１で利用する情報として設定する。撮像対象物の形状を特定する形状情報は、例えば撮像対象物を略直方体形状である電子部品とした場合、当該電子部品の上面の四隅の座標値とすることができる。
【００５７】
なお、画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報は、画像処理前の多値画像で指定した４点と、画像処理後の多値画像で指定した４点とを対応付けることで多値画像全体の射影変換パラメータである射影変換行列を算出するためのものであり、必ずしも撮影対象物の四隅の座標値を指定しなくても良い。撮像対象物と同一撮像平面上に存在する別の形状を特定する形状情報を用いることで、撮像対象物を含めた多値画像全体を射影変換することが可能である。また、画像処理装置２は、画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報の入力を受け付け、当該形状情報に基づいて射影変換パラメータを一度算出しておくことで、再調整の必要がない限り、画像処理時には射影変換パラメータの新たな算出は不要である。画像処理時に射影変換パラメータの算出が不要であることから、画像処理装置２は、一度算出した射影変換パラメータを用いて、撮像手段で撮像した多値画像の画像処理をリアルタイムに行うことができる。
【００５８】
射影変換行列算出手段（射影変換パラメータ算出手段）７１は、形状情報入力受付手段８０で形状情報の入力を受け付けた場合、入力を受け付けた形状情報に基づき、画像処理前の多値画像を射影変換して遠近歪みを補正するための所定の射影変換パラメータである射影変換行列を算出する。
【００５９】
なお、射影変換行列算出手段７１で算出した射影変換行列は、画像処理後の多値画像の座標から画像処理前の多値画像の座標へ変換する射影変換行列を表している。座標変換を伴う画像処理は、通常、画像処理後の多値画像の座標（変換先の座標）から画像処理前の多値画像の座標（変換元の座標）への変換パラメータを求めておく必要がある。この変換パラメータを求めておくことで、画像処理後の多値画像における各画素の座標に対応する画像処理前の多値画像の座標をくまなく特定することができ、画像処理後の多値画像において座標変換されない画素（ドット落ち）等の問題が発生することなく、高精度な画像処理を行うことが可能となる。
【００６０】
射影領域算出手段７２は、射影変換行列算出手段７１で算出した射影変換行列の逆変換に基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する。有効領域特定手段７３は、射影領域算出手段７２で算出した射影領域と、画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する。なお、画像処理前の多値画像の画素が存在する領域は、カメラ１により撮像された多値画像の全ての画素を含む領域であっても、形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域に限定しても良い。ここで、画像処理前の多値画像とは、カメラ１により撮像された元の多値画像であり、画像処理後の多値画像とは、画像処理部７で射影変換した後に出力される多値画像である。
【００６１】
画像変換手段７４は、有効領域特定手段７３で特定した有効領域に限定して、画像処理後の多値画像の座標（変換先の座標）から画像処理前の多値画像の座標（変換元の座標）への座標変換を射影変換行列に基づいて行うことで、遠近歪みを補正した画像処理後の多値画像を生成する。画像変換手段７４で射影変換した後の多値画像は、画像表示手段８１に表示するとともに、外部制御機器６に出力しても良い。
【００６２】
図３は、本発明の実施の形態１に係る画像処理装置２の画像処理部７の主制御部２１による処理手順を示すフローチャートである。本発明の実施の形態１に係る画像処理方法の各処理手順は、画像処理部７の内部に記憶された本発明に係るコンピュータプログラム５に従って実行される。
【００６３】
図３において、画像処理部７の主制御部２１は、カメラ１により撮像された撮像対象物の多値画像を取得する（ステップＳ３０１）。主制御部２１は、ユーザによる画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報の入力を受け付ける（ステップＳ３０２）。
【００６４】
図４は、画像表示手段８１に表示される多値画像の例示図である。図４に示す多値画像は、撮像対象物である電子部品４０を含む多値画像であり、画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報４１、４２が図示されている。なお、形状情報４１、４２は、電子部品４０の形状を特定するための情報であり、例えば略直方体形状である電子部品４０の上面の四隅と対応する表示画面上での四つの座標とすることができる。また、画像表示手段８１に形状情報４１、４２を表示する場合は、電子部品４０の上面の四隅に対応する四つの座標以外に、四つの座標を結ぶ波線も表示することで視認性を高めている。
【００６５】
図５は、画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報を入力するために表示されるダイアグラム及び入力方法の例示図である。ユーザが画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報を入力する際には、図５（ａ）に示すようなダイアグラム５１が画像表示手段８１に表示される。ダイアグラム５１には、画像処理前の撮像対象物の形状を特定する形状情報を入力するためのプルダウンボックス５２ａ、編集ボタン５３ａ、画像処理後の撮像対象物の形状を特定する形状情報を入力するためのプルダウンボックス５２ｂ、及び編集ボタン５３ｂがそれぞれ用意されている。
【００６６】
例えば、ユーザは、プルダウンボックス５２ａをマウス等の入力手段２４により選択することで、プルダウンリスト５２ｃが開き、プルダウンリスト５２ｃから「四角形」を指定する。「四角形」を指定して編集ボタン５３ａをマウス等の入力手段２４により選択し、画像表示手段８１に表示されている電子部品４０の四隅をマウス等の入力手段２４で指定する。なお、プルダウンリスト５２ｃから「四角形」を指定した場合、図５（ｂ）に示すように４点をマウス等の入力手段２４で指定して、電子部品４０の形状を特定する四つの座標を形状情報として入力する。また、プルダウンリスト５２ｃから「矩形」を指定した場合、図５（ｃ）に示すように対角にある２点をマウス等の入力手段２４で指定するだけで、電子部品４０の形状を特定する四つの座標を形状情報として入力することができる。
【００６７】
図３に戻って、画像処理部７の主制御部２１が、ユーザによる画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報の入力を受け付けた場合（ステップＳ３０２）、主制御部２１は、入力を受け付けた形状情報に基づき、画像処理前の多値画像を射影変換して遠近歪みを補正するための射影変換行列を算出する（ステップＳ３０３）。画像処理前の多値画像の座標（ｘ’，ｙ’）と、画像処理後の多値画像の座標（ｘ，ｙ）とは、ａ〜ｈの行列要素を有する射影変換行列Ｈを用いて（式１）及び（式２）のように表すことができる。なお、射影変換行列Ｈは、画像処理前の多値画像を射影変換して遠近歪みを補正するために必要な、画像処理後の多値画像の座標から画像処理前の多値画像の座標へ座標変換するための射影変換行列を表している。
【００６８】
【数１】
2011118554.tif 000003
【００６９】
なお、射影変換行列Ｈは、（式３）のように行列要素のａ〜ｉを有する行列を用いても良いが、本実施の形態１では行列要素のｉの値で他の行列要素の値を除して、行列要素を一つ減らした（式１）に示す行列を用いている。
【００７０】
【数２】
2011118554.tif 000004
【００７１】
ステップＳ３０３では、射影変換行列Ｈを算出するために、ステップＳ３０２で入力を受け付けた画像処理前の撮像対象物の形状を特定する形状情報である四つの座標（ｘ1 ’，ｙ1 ’）〜（ｘ4 ’，ｙ4 ’）と、画像処理後の撮像対象物の形状を特定する形状情報である四つの座標（ｘ1 ，ｙ1 ）〜（ｘ4 ，ｙ4 ）とを（式１）又は（式２）に代入し、（式４）に示す八つの連立方程式を解き、行列要素のａ〜ｈを求める。
【００７２】
【数３】
2011118554.tif 000005
【００７３】
（式１）で示した射影変換行列Ｈは、画像処理後の多値画像の座標（ｘ，ｙ）を、画像処理前の多値画像の座標（ｘ’，ｙ’）に射影変換するための行列である。画像処理前の多値画像の座標（ｘ’，ｙ’）を、画像処理後の多値画像の座標（ｘ，ｙ）に射影変換するためには、（式１）で示した射影変換行列Ｈの逆変換となる射影変換行列Ｈの逆行列（式５）を求める必要がある。なお、画像処理前の多値画像の座標（ｘ’，ｙ’）を、画像処理後の多値画像の座標（ｘ，ｙ）に変換するための射影変換行列を求めるためには、必ずしも射影変換行列Ｈの逆行列を求めることで算出する必要はなく、画像処理後の多値画像の座標（ｘ，ｙ）と、画像処理前の多値画像の座標（ｘ’，ｙ’）との対応関係から直接的に算出しても良い。（式５）に示す射影変換行列Ｈの逆行列も行列要素のｉ’の値で他の行列要素の値を除して、行列要素を一つ減らしてある。
【００７４】
【数４】
2011118554.tif 000006
【００７５】
図３に戻って、主制御部２１は、ステップＳ３０３で算出した射影変換行列Ｈの逆変換に基づいて、画像処理前の多値画像の画素が存在する領域を画像処理後の多値画像の画素が存在する出力領域へ射影変換して得られる射影領域を算出する（ステップＳ３０４）。次に、主制御部２１は、ステップＳ３０４で算出した射影領域と、画像処理後の多値画像の画素が存在する出力領域とが重なる領域を有効領域として特定する（ステップＳ３０５）。図６は、画像処理前の多値画像、及び画像処理前の多値画像の画素が存在する領域と射影領域との位置関係を示す例示図である。図６に示すように、画像表示手段８１に表示されている画像処理前の多値画像の画素が存在する領域６１を、射影変換行列Ｈの逆変換に基づいて画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域６２を算出する。具体的には、画像処理前の多値画像の画素が存在する領域６１の四隅の座標を、射影変換行列Ｈの逆変換に基づいて画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域６２の四隅の座標を求めることができる。
【００７６】
さらに、図７は、射影領域６２と、画像処理後の多値画像の画素が存在する出力領域６３との位置関係を示す例示図である。図７に示すように、射影領域６２を画像処理後の多値画像の画素が存在する出力領域６３に重ね合わせ、重なる領域を有効領域６４として特定する。画像処理後の多値画像の画素が存在する出力領域６３は、画像処理部７で射影変換した後に出力される多値画像の表示領域であり、本実施の形態１では、画像処理前の多値画像の画素が存在する領域６１と同じ広さの領域である。
【００７７】
図３に戻って、主制御部２１は、ステップＳ３０５で特定した有効領域６４に限定して、画像処理後の多値画像の座標（変換先の座標）から画像処理前の多値画像の座標（変換元の座標）への座標変換を射影変換行列に基づいて行い（ステップＳ３０６）、遠近歪みを補正した画像処理後の多値画像を生成する。図８は、画像処理前の多値画像及び画像処理後の多値画像の例示図である。図８に示すように、有効領域６４に存在する画素６５の座標を射影変換行列Ｈに基づいて射影変換した場合、画像処理前の多値画像の画素が存在する領域６１の座標６６が得られるので、有効領域６４に存在する画素６５は、画像処理前の多値画像の画素が存在する領域６１の座標６６にある画像処理前の多値画像に対応する。そのため、主制御部２１は、矢印６７に示す順に、有効領域６４に存在する画素の座標を射影変換行列Ｈに基づいて射影変換して得られる画像処理前の多値画像の画素が存在する領域６１内の座標を順次求め、遠近歪みを補正した画像処理後の多値画像を生成する。
【００７８】
なお、有効領域６４の画素６５の座標を射影変換行列Ｈに基づいて射影変換して得られた座標６６の最寄りの画素をそのまま有効領域６４の画素６５とすることができる。より高精度な補正をした画像処理後の多値画像を生成するには、得られた座標６６の近傍の画素を補間して有効領域６４の画素６５とする。補間方法には、例えば、最寄りの４画素の線形補間を行うバイリニア補間を用いることができるが、当該補間方法に限定されるものではない。
【００７９】
ここで、有効領域６４は、射影変換行列Ｈに基づいて、画像処理前の多値画像から遠近歪みを補正した画像処理後の多値画像を生成した場合に、画像処理後の多値画像の画素が存在する出力領域６３において画像処理前の多値画像を表示することができる領域を示す。そのため、出力領域６３の全ての領域の中で有効領域６４以外の領域は、画像処理前の多値画像には存在せず、射影変換行列Ｈに基づいて射影変換する必要のない領域である。なお、本実施の形態１では、画像処理前の多値画像から遠近歪みを補正した画像処理後の多値画像を生成する画像処理に用いる射影変換行列Ｈは、必ずしも画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報に基づき算出する必要はない。例えば、一定間隔のドットパターン等が印字されたキャリブレーションパターンを撮像した多値画像を用いて、キャリブレーション処理を行い射影変換行列を算出しても良い。
【００８０】
また、本実施の形態１では、有効領域を予め求めた後に遠近歪みを補正した画像処理後の多値画像を生成する画像処理の手順を説明しているが、画像処理後の多値画像を生成する過程で、有効領域を特定しながら画像処理を行っても良い。すなわち、画像処理後の多値画像を生成する過程で、画像処理後の多値画像の画素が射影領域６２の内側にあるか外側にあるかを判定することで有効領域を特定し、画像処理後の多値画像の画素が射影領域６２の内側にあれば射影変換行列Ｈに基づいて射影変換して得られた座標６６の最寄りの画素をそのまま有効領域６４の画素６５とすることができ、射影領域６２の外側にあれば射影変換を行わず画素の値を０（ゼロ）とする等の画像処理を行っても良い。
【００８１】
以上のように、本発明の実施の形態１に係る画像処理装置２では、射影領域算出手段７２で、射影変換行列Ｈの逆変換に基づいて、画像処理前の多値画像の画素が存在する領域６１を画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域６２を算出し、有効領域特定手段７３で、射影領域６２と、画像処理後の多値画像の画素が存在する出力領域６３とが重なる領域を有効領域６４として特定し、画像変換手段７４で、有効領域６４に限定して、画像処理後の多値画像の座標（変換先の座標）から画像処理前の多値画像の座標（変換元の座標）への座標変換を射影変換行列に基づいて行うことで、遠近歪みを補正した画像処理後の多値画像を生成するので、有効領域６４以外の多値画像について、射影変換する必要がなく、処理時間を短縮して、高速に画像処理を完了することができる。
【００８２】
（実施の形態２）
図９は、画像処理前の多値画像に大きな遠近歪みが生じている多値画像、及び画像処理前の多値画像から遠近歪みを補正して生成した画像処理後の多値画像の例示図である。図９（ａ）は、画像処理前の多値画像に大きな遠近歪みが生じ、撮像対象物９１以外に遠方の背景が写り込んだ多値画像である。図９（ｂ）は、図９（ａ）に示す画像処理前の多値画像から遠近歪みを補正して生成した画像処理後の多値画像である。図９（ｂ）に示すように、図面に向かって下側にある多値画像９３は、射影変換の所定条件による極性が逆極性となる不要な多値画像（虚像）である。実施の形態２では、不要な多値画像（虚像）である多値画像９３に対して射影変換する必要のない画像処理装置２の構成について説明する。なお、実施の形態１に係る画像処理装置２と同じ構成については、同一の符号を付すことにより詳細な説明は省略する。
【００８３】
図１０は、本発明の実施の形態２に係る画像処理装置２の一構成例を示す機能ブロック図である。図１０に示すように、本発明の実施の形態２に係る画像処理装置２は、変換対象領域設定手段７２１を備える以外、図２に示した実施の形態１に係る画像処理装置２と同じ構成である。
【００８４】
変換対象領域設定手段７２１は、画像処理前の多値画像の画素が存在する領域において、形状情報入力受付手段８０で入力を受け付けた形状情報で特定された撮像対象物の形状内にある画素を含む所定の領域を変換対象領域として設定する。図９（ａ）に示す多値画像の画素が存在する領域６１において、撮像対象物９１の形状内にある画素を含む所定の領域を変換対象領域として設定する。なお、変換対象領域の設定についての詳細は後述する。
【００８５】
射影領域算出手段７２では、射影変換行列算出手段７１で算出した射影変換行列Ｈの逆変換に基づいて、画像処理前の多値画像の画素が存在する領域６１において、変換対象領域設定手段７２１で設定した変換対象領域を画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域を算出する。
【００８６】
さらに、有効領域特定手段７３では、画像処理前の多値画像の変換対象領域を画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域と画像処理後の多値画像の画素が存在する出力領域６３とが重なる領域を有効領域として特定する。
【００８７】
図１１は、本発明の実施の形態２に係る画像処理装置２の画像処理部７の主制御部２１による処理手順を示すフローチャートである。本発明の実施の形態２に係る画像処理方法の各処理手順は、画像処理部７の内部に格納された本発明に係るコンピュータプログラム５に従って実行される。
【００８８】
図１１に示すように、本発明の実施の形態２に係る画像処理装置２の画像処理部７の主制御部２１による処理手順を示すフローチャートは、変換対象領域を設定するステップが追加されている以外、図３に示した実施の形態１に係る画像処理装置２の画像処理部７の主制御部２１による処理手順を示すフローチャートと同じステップを含んでいる。
ステップＳ１１０１は、ステップＳ３０１に対応し、画像処理部７の主制御部２１が、カメラ１により撮像された多値画像を取得する。ステップＳ１１０２は、ステップＳ３０２に対応し、主制御部２１が、ユーザによる画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報の入力を受け付ける。ステップＳ１１０３は、ステップＳ３０３に対応し、主制御部２１は、入力を受け付けた形状情報に基づき、画像処理前の多値画像を射影変換して遠近歪みを補正するための射影変換行列Ｈを算出する。なお、射影変換行列Ｈは、画像処理後の多値画像の座標から画像処理前の多値画像の座標へ座標変換するための射影変換行列を表している。ステップＳ１１０４は、画像処理部７の主制御部２１が、画像処理前の多値画像の画素が存在する領域６１において、ユーザによる入力を受け付けた形状情報で特定された撮像対象物９１の形状内にある画素を含む所定の領域を変換対象領域として設定する。
【００８９】
変換対象領域として設定する所定の領域を求める処理について、さらに説明する。図１２は、変換対象領域を設定した多値画像の例示図である。図１２に示す画像処理前の多値画像の画素が存在する領域６１に対して射影変換した場合、画像処理前の多値画像の画素が存在する領域６１は、図９（ｂ）に示すように、多値画像９２を含む領域６１ａと、不要な多値画像（虚像）９３を含む領域６１ｂとに分かれた結果となる。領域６１ａと領域６１ｂとの境界線６８は、（式５）に示す射影変換行列Ｈの逆行列の行列要素を用いて（式６）で表すことができる。なお、領域６１ａ内の座標（ｘ，ｙ）を（式６）に代入した値は、領域６１ｂ内の座標（ｘ，ｙ）を（式６）に代入した値に対して異符号となる。（式６）が、射影変換の所定条件となる。
【００９０】
【数５】
2011118554.tif 000007
【００９１】
以下に、（式６）で表すことができる境界線６８を用いて、変換対象領域として設定する所定の領域を求める処理について説明する。図１３は、本発明の実施の形態２に係る画像処理装置２の変換対象領域設定手段７２１の一構成例を示す機能ブロック図である。図１３において、本実施の形態２に係る変換対象領域設定手段７２１は、第１交点算出手段７２１ａと、第２交点算出手段７２１ｂと、多角形領域算出手段７２１ｃとから構成される。
【００９２】
第１交点算出手段７２１ｂは、射影変換行列Ｈの逆行列の行列要素（ｇ’，ｈ’,１）に基づいて定義される境界線６８と、画像処理前の多値画像の画素が存在する領域６１の外周線とが交差する第１交点を算出する。
【００９３】
第２交点算出手段７２１ｂは、境界線６８で分けられた画像処理前の多値画像の画素が存在する領域６１のうち、形状情報入力受付手段８０で入力を受け付けた形状情報で特定された撮像対象物の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する。
【００９４】
多角形領域算出手段７２１ｃは、第１交点算出手段７２１ａで算出した第１交点と、第２交点算出手段７２１ｂで算出した第２交点とを結んで形成される多角形領域を算出する。多角形領域算出手段７２１ｃで算出した多角形領域は、変換対象領域設定手段７２１での変換対象領域として設定される。
【００９５】
図１４は、本発明の実施の形態２に係る画像処理装置２の画像処理部７の主制御部２１による変換対象領域の設定処理の手順を示すフローチャートである。図１４において、画像処理部７の主制御部２１は、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差するか否かを判断する（ステップＳ１４０１）。主制御部２１が、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差しないと判断した場合（ステップＳ１４０１：ＮＯ）、主制御部２１は、画像処理前の多値画像の画素が存在する領域６１の全ての領域を変換対象領域として設定する（ステップＳ１４０２）。図１５は、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差しない多値画像の例示図である。図１５に示すように、主制御部２１は、境界線６８が、画像処理前の多値画像の画素が存在する領域６１の外側に位置している場合、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差せず、画像処理前の多値画像の画素が存在する領域６１の全ての領域を変換対象領域として設定する。
【００９６】
主制御部２１が、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差すると判断した場合（ステップＳ１４０１：ＹＥＳ）、主制御部２１は、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差する第１交点を算出する（ステップＳ１４０３）。図１６は、第１交点を算出した多値画像の例示図である。図１６に示すように、主制御部２１は、境界線６８と画像処理前の多値画像の画素が存在する領域６１の外周線とが交差する第１交点６９、６９を算出する。
【００９７】
次に、主制御部２１は、境界線６８で分けられた画像処理前の多値画像の画素が存在する領域６１のうち、ステップＳ１１０２で入力を受け付けた形状情報で特定された撮像対象物９１の形状内にある画素を含む領域の外周線同士が交差する第２交点を算出する（ステップＳ１４０４）。図１７は、第２交点を算出した多値画像の例示図である。図１７に示すように、主制御部２１は、境界線６８で分けられた画像処理前の多値画像の画素が存在する領域６１のうち、撮像対象物９１の形状内にある画素を含む領域６１ａの外周線同士が交差する第２交点１７０、１７０を算出する。なお、ステップＳ１４０４において、第２交点１７０、１７０を算出する側の領域を特定する情報として、ステップＳ１１０２で入力を受け付けた形状情報を利用する場合に限定されるものではなく、別途領域を特定する情報の入力を受け付けたり、該情報を利用しても良い。例えば、境界線６８に対して、画像の中心点を含む側の領域に特定しても、面積が大きい側の領域に特定しても良い。また、画像処理前の多値画像の画素が存在する領域６１の外周線は、必ずしも画像の境界を示す線でなくても良い。例えば、特定の多角形等で限定された外周線であっても良い。
【００９８】
次に、主制御部２１は、ステップＳ１４０３で算出した第１交点６９、６９と、ステップＳ１４０４で算出した第２交点１７０、１７０とを結んで形成される多角形領域を算出する（ステップＳ１４０５）。図１８は、第１交点６９、６９と、第２交点１７０、１７０とを結んで形成される多角形領域を算出した多値画像の例示図である。図１８に示すように、主制御部２１は、第１交点６９、６９と、第２交点１７０、１７０とを結んで形成される多角形領域１８０を算出する。ステップＳ１４０５で算出した多角形領域１８０が、ステップＳ１１０４で変換対象領域１９０として設定する所定の領域である。
【００９９】
図１１に戻って、ステップＳ１１０５は、ステップＳ３０４に対応し、主制御部２１が、射影変換行列Ｈの逆変換に基づいて、ステップＳ１１０４で設定した画像処理前の多値画像の変換対象領域１９０を画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域６２を算出する。図１９は、変換対象領域１９０を設定した画像処理前の多値画像及び画像処理前の多値画像の画素が存在する領域６１と射影領域６２との位置関係を示す例示図である。図１９（ａ）には、画像処理前の多値画像の画素が存在する領域６１に、ステップＳ１１０４で設定した変換対象領域１９０が図示されている。図１９（ｂ）には、画像処理後の多値画像の画素が存在する出力領域６３と、変換対象領域１９０を、射影変換行列Ｈの逆変換に基づいて画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られた射影領域６２との位置関係が図示されている。
【０１００】
図１１に戻って、ステップＳ１１０６は、ステップＳ３０５に対応し、主制御部２１が、ステップＳ１１０５で算出した射影領域６２と画像処理後の多値画像の画素が存在する出力領域６３とが重なる領域を有効領域として特定する。図２０は、射影領域６２と、画像処理後の多値画像の画素が存在する出力領域６３との位置関係を示す例示図である。図２０に示すように、主制御部２１は、射影領域６２と、画像処理後の多値画像の画素が存在する出力領域６３とが重なる領域を有効領域６４として特定する。
【０１０１】
図１１に戻って、ステップＳ１１０７は、ステップＳ３０６に対応し、ステップＳ１１０６で特定した有効領域６４に限定して、画像処理後の多値画像の座標（変換先の座標）から画像処理前の多値画像の座標（変換元の座標）への座標変換を射影変換行列に基づいて行うことで、遠近歪みを補正した画像処理後の多値画像を生成する。図２１は、射影変換した後の多値画像の例示図である。図２１に示すように、主制御部２１は、矢印６７に示す順に、有効領域６４に存在する画素の座標を射影変換行列Ｈに基づいて射影変換して得られる画像処理前の多値画像の画素が存在する領域６１内の座標を順次求め、遠近歪みを補正した画像処理後の多値画像を生成する。なお、本実施の形態２では、画像処理前の多値画像から遠近歪みを補正した画像処理後の多値画像を生成する画像処理に用いる射影変換行列Ｈは、必ずしも画像処理前及び画像処理後の撮像対象物の形状を特定する形状情報に基づき算出する必要はない。例えば、一定間隔のドットパターン等が印字されたキャリブレーションパターンを撮像した多値画像を用いて、キャリブレーション処理を行い射影変換行列を算出しても良い。
【０１０２】
また、本実施の形態２では、有効領域を予め求めた後に遠近歪みを補正した画像処理後の多値画像を生成する画像処理の手順を説明しているが、画像処理後の多値画像を生成する過程で、有効領域を特定しながら画像処理を行っても良い。すなわち、画像処理後の多値画像を生成する過程で、画像処理後の多値画像の画素が射影領域６２の内側にあるか外側にあるかを判定することで有効領域を特定し、画像処理後の多値画像の画素が射影領域６２の内側にあれば射影変換行列Ｈに基づいて射影変換して得られた座標６６の最寄りの画素をそのまま有効領域６４の画素６５とすることができ、射影領域６２の外側にあれば射影変換を行わず画素の値を０（ゼロ）とする等の画像処理を行っても良い。
【０１０３】
以上のように、本発明の実施の形態２に係る画像処理装置２では、画像処理前の多値画像の画素が存在する領域６１において、形状情報入力受付手段８０で入力を受け付けた形状情報で特定された撮像対象物９１の形状内にある画素を含む所定の領域を変換対象領域１９０として設定し、画像処理前の多値画像の変換対象領域１９０を画像処理後の多値画像の画素が存在する出力領域６３へ射影変換して得られる射影領域６２を算出し、射影領域６２と画像処理後の多値画像の画素が存在する出力領域６３とが重なる領域を有効領域６４として特定するので、図９（ａ）に示す不要な多値画像（虚像）である多値画像９３の画像処理後の多値画像への出現を抑えることができるとともに、不要な多値画像（虚像）である多値画像９３に対して射影変換する必要がなく、処理時間を短縮して、高速に画像処理を完了することができる。
【０１０４】
また、本発明の実施の形態２に係る画像処理装置２では、射影変換行列Ｈの逆変換の行列要素に基づいて定義される境界線６８と、画像処理前の多値画像の画素が存在する領域６１の外周線とが交差する第１交点６９、６９を算出し、境界線６８で分けられた画像処理前の多値画像の画素が存在する領域６１のうち、形状情報で特定された撮像対象物９１の形状内にある画素を含む領域の外周線同士が交差する第２交点１７０、１７０を算出し、第１交点６９、６９と第２交点１７０、１７０とを結んで形成される多角形領域１８０を変換対象領域１９０と設定するので、不要な多値画像（虚像）である多値画像９３の画像処理後の多値画像への出現を確実に抑えることができる。
【符号の説明】
【０１０５】
１  カメラ（撮像手段）
２  画像処理装置
３  表示装置（画像表示手段）
４  可搬型記録媒体
５  コンピュータプログラム
６  外部制御機器
７  画像処理部
８  入力受付／画像表示部
２１  主制御部
２２  メモリ
２３  記憶手段
２４  入力手段
２５  出力手段
２６  通信手段
２７  補助記憶手段
２８  内部バス
【図１】
2011118554.tif 000008
【図２】
2011118554.tif 000009
【図３】
2011118554.tif 000010
【図５】
2011118554.tif 000011
【図７】
2011118554.tif 000012
【図１０】
2011118554.tif 000013
【図１１】
2011118554.tif 000014
【図１３】
2011118554.tif 000015
【図１４】
2011118554.tif 000016
【図２０】
2011118554.tif 000017
【図４】
2011118554.tif 000018
【図６】
2011118554.tif 000019
【図８】
2011118554.tif 000020
【図９】
2011118554.tif 000021
【図１２】
2011118554.tif 000022
【図１５】
2011118554.tif 000023
【図１６】
2011118554.tif 000024
【図１７】
2011118554.tif 000025
【図１８】
2011118554.tif 000026
【図１９】
2011118554.tif 000027
【図２１】
2011118554.tif 000028