(57)【要約】      （修正有）【課題】画像情報について自動的に補正処理を行い、オペレータの作業負担を軽減し、また処理時間も減らすことができる画像補正処理システムを提供する。【解決手段】画像補正処理システムは、画像情報において輪郭線の線分を検出する線分検出処理部と、検出した線分のうち、縦成分および／または横成分の線分を選択する線分選択処理部と、選択した線分の線分情報を用いて回帰直線を算出することで画像情報の補正処理を行う補正処理部とを有する。【選択図】図１
2020201846.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，
を有することを特徴とする画像補正処理システム。
【請求項２】
前記補正処理部は，
前記選択した線分について所定条件を充足する回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定の位置との交点を算出することで特定した，前記画像情報の変形に基づいて透視変換処理を実行する，
ことを特徴とする請求項１に記載の画像補正処理システム。
【請求項３】
前記補正処理部は，
前記選択した線分について所定条件を充足する回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定位置との交点を算出して透視変換処理の対象となる図形の頂点を特定することで，前記画像情報の補正処理を行う，
ことを特徴とする請求項１または請求項２に記載の画像補正処理システム。
【請求項４】
前記補正処理部は，
前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片と，前記選択した線分のｔａｎ（θ）とについての回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定の位置との交点を算出し，
前記特定した交点を用いて透視変換処理を実行する，
ことを特徴とする請求項１から請求項３のいずれかに記載の画像補正処理システム。
【請求項５】
前記補正処理部は，
前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片ｙＩｎｔと，前記選択した線分のｔａｎ（θ）とをプロットしたグラフについての外れ値を除外した回帰直線を算出し，
前記算出した回帰直線におけるｙＩｎｔ＝０の値ｔｕと，ｙＩｎｔ＝ｙｍａｘの値ｔｄとを用いて，透視変換処理の対象となる図形の頂点の座標を算出し，
前記算出した頂点を用いて透視変換処理を実行する，
ことを特徴とする請求項１から請求項４のいずれかに記載の画像補正処理システム。
【請求項６】
前記補正処理部は，
前記縦成分または横成分のいずれかの線分の線分情報に基づいて前記画像情報の補正処理を実行した後，他方の成分の線分の線分情報に基づいて前記画像情報の補正処理を実行する，
ことを特徴とする請求項１から請求項５のいずれかに記載の画像補正処理システム。
【請求項７】
前記補正処理部は，
前記選択した線分の線分情報に基づいて，３次元空間における少なくとも２本の水平線または垂直線を求める処理を実行し，
他方の成分の線分の線分情報に基づいて，３次元空間における少なくとも２本の垂直線または水平線を求める処理を実行し，
前記求めた水平線および垂直線を用いて特定した交点を用いて透視変換処理を実行する，
ことを特徴とする請求項１から請求項６のいずれかに記載の画像補正処理システム。
【請求項８】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記画像情報に対する補正処理を実行する補正処理部と，を有しており，
前記補正処理部は，
前記横成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，
ことを特徴とする画像補正処理システム。
【請求項９】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて特定した消失点を共有する少なくとも２本の水平線および／または２本の垂直線とを用いて，前記画像情報の補正処理を行う補正処理部と，
を有することを特徴とする画像補正処理システム。
【請求項１０】
前記補正処理部は，
前記選択した線分の線分情報を用いて特定した消失点を共有する少なくとも２本の水平線および２本の垂直線とを用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，
ことを特徴とする請求項９に記載の画像補正処理システム。
【請求項１１】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，
として機能させることを特徴とする画像補正処理プログラム。
【請求項１２】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記画像情報に対する補正処理を実行する補正処理部，として機能させる画像補正処理プログラムであって，
前記補正処理部は，
前記横成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，
ことを特徴とする画像補正処理プログラム。
【請求項１３】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて特定した消失点を共有する少なくとも２本の水平線および／または２本の垂直線とを用いて，前記画像情報の補正処理を行う補正処理部，
として機能させることを特徴とする画像補正処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，画像補正処理システムに関する。
【背景技術】
【０００２】
カメラなどの撮影装置で撮影した画像情報に写っている対象物を自動認識する場合，その対象物を正対した位置から撮影することで，撮影装置のレンズの光軸と対象物の面とが垂直となるので，撮影した画像情報に歪みが生じず，自動認識の精度が向上する。そのため，自動認識を行う場合，理想的には対象物を正対した位置から撮影することが好ましい。
【０００３】
しかし，撮影装置で対象物を撮影する際の撮影角度は，撮影場所のスペースや光源位置などさまざまな撮影条件によって制約されることが一般的である。そして，対象物を俯角，仰角で撮影したり，左右にずれた方向から撮影することで，撮影した画像情報に歪みが生じる。一般に，自動認識は，標本とする画像情報と，撮影した画像情報との間の画像情報同士の特徴量を比較することで行う。そのため，正対していない位置から撮影された画像情報に対して自動認識を行う場合，正対した位置から撮影されている標本とする画像情報と，互いに異なる撮影角度から撮影されているので，撮影した画像情報での歪みが大きければ大きいほど，対象物の自動認識の認識精度が低下する。
【０００４】
すなわち，本来，三次元空間における水平線，垂直線は，正対した位置から撮影すれば，二次元である撮影した画像情報においても水平線，垂直線となるはずである。しかし，撮影条件などによっては，正対した位置から撮影できないことが多く，その場合，撮影した画像情報においては，水平線，垂直線とはならない。これを二次元の画像情報においても，水平線，垂直線となるように補正を行うことが求められる。
【０００５】
そこで，三次元空間における水平線，垂直線が，二次元の画像情報においても水平線，垂直線となるように補正することで，認識精度の低下を改善することができ，それを実現するため，手動による画像情報の補正を行うことが行われている。このような画像情報の補正処理は，たとえば以下のように行われる。
【０００６】
補正対象となる画像情報が図５であったとする。まず，この画像情報に四角形の枠２００などを重畳表示する（図２０）。そして，オペレータが手動で，実際には長方形であるにもかかわらず画像情報上では歪んだ四角形として表示されている４頂点の位置に，重畳表示した四角形２００の各頂点を移動する。この状態を模式的に示すのが図２１である。その後，利用者がコンピュータで所定の操作を行うことで，コンピュータが当該重畳表示した四角形２００が長方形となるように，画像情報全体をアフィン変換するという処理を行う。それによって，図２２に示すように，補正処理が実行できる。
【０００７】
このような補正処理の一例として台形補正処理が知られており，たとえば下記特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１８−１９４７９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の補正処理を行う場合，オペレータが手動で台形補正処理などの頂点を手動で指定する操作を行うことから，オペレータの作業負担が発生する。また，手動での作業なので，処理時間も要することとなる。そこでこのような補正処理について自動化することが求められている。
【００１０】
補正処理を自動化するにあたり，カメラなどの撮影装置に内蔵されている重力センサなどの物理的なセンサを用いることが考えられる。しかし，その場合，撮影に手間がかかったり，センサを内蔵した撮影装置でなければ利用することができない，といった制約が発生する。
【課題を解決するための手段】
【００１１】
そこで本発明者は上記課題に鑑み，画像情報に対する画像処理によって補正処理を行う画像補正処理システムを発明した。
【００１２】
第１の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有する画像補正処理システムである。
【００１３】
処理対象とする画像情報において輪郭線の線分を検出し，検出した線分から縦成分，横成分の線分について，回帰直線を算出することで，線分の全体の傾きの傾向を特定することができる。この傾向を用いて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。すなわち，３次元空間における水平線および／または垂直線について，画像情報では水平線，垂直線となっていなくても，本発明を用いることで，画像情報において水平線および／または垂直線に補正することができる。
【００１４】
上述の発明において，前記補正処理部は，前記選択した線分について所定条件を充足する回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定の位置との交点を算出することで特定した，前記画像情報の変形に基づいて透視変換処理を実行する，画像補正処理システムのように構成することができる。
【００１５】
回帰直線と，所定位置との交点を算出することで，画像情報の変形を特定することができるので，それに基づいて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。
【００１６】
上述の発明において，前記補正処理部は，前記選択した線分について所定条件を充足する回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定位置との交点を算出して透視変換処理の対象となる図形の頂点を特定することで，前記画像情報の補正処理を行う，画像補正処理システムのように構成することができる。
【００１７】
回帰直線から算出した線分の全体の傾きの傾向を特定し，その所定位置との交点を算出することで，透視変換処理における頂点を特定することができるので，それに基づいて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。
【００１８】
上述の発明において，前記補正処理部は，前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片と，前記選択した線分のｔａｎ（θ）とについての回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定の位置との交点を算出し，前記特定した交点を用いて透視変換処理を実行する，画像補正処理システムのように構成することができる。
【００１９】
上述の発明において，前記補正処理部は，前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片ｙＩｎｔと，前記選択した線分のｔａｎ（θ）とをプロットしたグラフについての外れ値を除外した回帰直線を算出し，前記算出した回帰直線におけるｙＩｎｔ＝０の値ｔｕと，ｙＩｎｔ＝ｙｍａｘの値ｔｄとを用いて，透視変換処理の対象となる図形の頂点の座標を算出し，前記算出した頂点を用いて透視変換処理を実行する，画像補正処理システムのように構成することができる。
【００２０】
画像情報の補正に用いる頂点（交点）を特定するためには，これらの発明のような処理を実行することでも実現することができる。
【００２１】
上述の発明において，前記補正処理部は，前記縦成分または横成分のいずれかの線分の線分情報に基づいて前記画像情報の補正処理を実行した後，他方の成分の線分の線分情報に基づいて前記画像情報の補正処理を実行する，画像補正処理システムのように構成することができる。
【００２２】
上下方向，水平方向のいずれでも撮影時に傾きが発生している場合には，本発明のように縦成分，横成分の双方について処理を実行することがよい。
【００２３】
上述の発明において，前記補正処理部は，前記選択した線分の線分情報に基づいて，３次元空間における少なくとも２本の水平線または垂直線を求める処理を実行し，他方の成分の線分の線分情報に基づいて，３次元空間における少なくとも２本の垂直線または水平線を求める処理を実行し，前記求めた水平線および垂直線を用いて特定した交点を用いて透視変換処理を実行する，画像補正処理システムのように構成することができる。
【００２４】
本発明のように構成しても，画像情報の補正に用いる頂点（交点）を，簡易に精度よく特定することができる。そしてこの頂点を用いて透視変換処理を行うことで，３次元空間における水平線，垂直線について，画像情報では水平線，垂直線となっていなくても，画像情報において水平線，垂直線に補正することができる。
【００２５】
第８の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記画像情報に対する補正処理を実行する補正処理部と，を有しており，前記補正処理部は，前記横成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，画像補正処理システムである。
【００２６】
３次元空間における水平線，垂直線について，画像情報では水平線，垂直線となっていなくても，本発明のように構成することで，画像情報において水平線，垂直線に補正することができる。
【００２７】
第９の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて特定した消失点を共有する少なくとも２本の水平線および／または２本の垂直線とを用いて，前記画像情報の補正処理を行う補正処理部と，を有する画像補正処理システムである。
【００２８】
本発明のように構成しても，３次元空間における水平線，垂直線について，画像情報では水平線，垂直線となっていなくても，画像情報において水平線，垂直線に補正することができる。
【００２９】
上述の発明において，前記補正処理部は，前記選択した線分の線分情報を用いて特定した消失点を共有する少なくとも２本の水平線および２本の垂直線とを用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，画像補正処理システムのように構成することができる。
【００３０】
対象物を撮影する際に，上下方向または左右方向のいずれかに傾きが発生している場合には，傾きが発生している方向の成分に対して補正処理を行えばよい。しかし，上下方向，水平方向のいずれでも撮影時に傾きが発生している場合も多い。そのような場合には，本発明のように縦成分，横成分の双方について処理を実行することがよい。
【００３１】
第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムである。
【００３２】
第８の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記画像情報に対する補正処理を実行する補正処理部，として機能させる画像補正処理プログラムであって，前記補正処理部は，前記横成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の水平線と，前記縦成分の線分について回帰直線を算出することで特定した，３次元空間における少なくとも２本の垂直線と，を用いて構成される四角形の頂点に基づいて，透視変換処理を実行する，画像補正処理プログラムである。
【００３３】
第９の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて特定した消失点を共有する少なくとも２本の水平線および／または２本の垂直線とを用いて，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムである。
【発明の効果】
【００３４】
本発明の画像補正処理システムを用いることによって，画像情報について自動的に補正処理を行うことができるので，オペレータの作業負担を軽減し，また処理時間も減らすことができる。また，センサなどを用いることもないので，撮影装置に依存することもない。
【図面の簡単な説明】
【００３５】
【図１】本発明の画像補正処理システムの全体の処理機能の一例を模式的に示すブロック図である。
【図２】本発明の画像補正処理システムで用いるコンピュータのハードウェア構成の一例を模式的に示すブロック図である。
【図３】本発明の画像補正処理システムにおける全体処理の処理プロセスの一例を示すフローチャートである。
【図４】本発明の画像補正処理システムにおける補正処理の処理プロセスの一例を示すフローチャートである。
【図５】補正対象とする画像情報の一例を示す図である。
【図６】横成分の線分と縦成分の線分の関係を模式的に示す図である。
【図７】３次元空間における垂直線，水平線が，画像情報では垂直線，水平線が消失点に向かうことを模式的に示す図である。
【図８】３次元空間における垂直線，水平線が，画像情報では垂直線，水平線が消失点に向かうことを画像情報との関係で模式的に示す図である。
【図９】画像情報における水平線が直線ＡＢ上に位置することを模式的に示す図である。
【図１０】ｙＩｎｔとｔａｎ（θ）とについてプロットをしたグラフを模式的に示す図である。
【図１１】補正処理部における透視変換処理の一例を模式的に示す図である。
【図１２】変形前の台形と，それを変形した画像情報と，さらにそれを縦方向にｒ倍した画像情報の関係を模式的に示す図である。
【図１３】図５の画像情報に対して，本発明の画像補正処理システムにおける補正処理を実行した後の画像情報の一例を示す図である。
【図１４】実施例１において，補正処理の対象として入力をした画像情報の一例を示す図である。
【図１５】実施例１において，図１４の画像情報に対して，本発明の画像補正処理システムにおける補正処理を実行した後の画像情報の一例を示す図である。
【図１６】実施例３の画像補正処理システムにおける全体処理の処理プロセスを示すフローチャートの一例である。
【図１７】実施例３の画像補正処理システムにおける３次元空間における２本の水平線を求める処理の処理プロセスを示すフローチャートの一例である。
【図１８】透視変換処理を行うための四角形の頂点を求める処理を模式的に示す図である。
【図１９】四角形を長方形に透視変換する処理を模式的に示す図である。
【図２０】補正対象とする画像情報に，手動で補正処理を行うための四角形の枠を表示した状態の一例を示す図である。
【図２１】補正対象とする画像情報において，実際には長方形であるにもかかわらず画像情報上では歪んだ四角形として表示されている４頂点の位置に，重畳表示した四角形の各頂点を移動した状態の一例を示す図である。
【図２２】図２１で移動した４頂点の位置が長方形となるように，画像情報全体をアフィン変換して補正処理をした状態の一例を示す図である。
【発明を実施するための形態】
【００３６】
本発明の画像補正処理システム１の全体の処理機能の一例のブロック図を図１に示す。画像補正処理システム１は，管理端末２と入力端末３とを用いる。
【００３７】
管理端末２は，画像補正処理システム１の中心的な処理機能を実現するコンピュータである。また，入力端末３は，画像情報を管理端末２に入力する端末である。
【００３８】
画像補正処理システム１における管理端末２，入力端末３は，コンピュータを用いて実現される。図２にコンピュータのハードウェア構成の一例を模式的に示す。コンピュータは，プログラムの演算処理を実行するＣＰＵなどの演算装置７０と，情報を記憶するＲＡＭやハードディスクなどの記憶装置７１と，情報を表示するディスプレイなどの表示装置７２と，情報の入力が可能なキーボードやマウスなどの入力装置７３と，演算装置７０の処理結果や記憶装置７１に記憶する情報をインターネットやＬＡＮなどのネットワークを介して送受信する通信装置７４とを有している。
【００３９】
コンピュータがタッチパネルディスプレイを備えている場合には，表示装置７２と入力装置７３とが一体的に構成されていてもよい。タッチパネルディスプレイは，たとえばタブレット型コンピュータやスマートフォンなどの可搬型通信端末などで利用されることが多いが，それに限定するものではない。
【００４０】
タッチパネルディスプレイは，そのディスプレイ上で，直接，所定の入力デバイス（タッチパネル用のペンなど）や指などによって入力を行える点で，表示装置７２と入力装置７３の機能が一体化した装置である。
【００４１】
入力端末３は，上述の各装置のほか，カメラなどの撮影装置を備えていてもよい。入力端末３として，携帯電話，スマートフォン，タブレット型コンピュータなどの可搬型通信端末を用いることもできる。入力端末３は，撮影装置で可視光などによる画像情報を撮影してもよい。
【００４２】
本発明における各手段は，その機能が論理的に区別されているのみであって，物理上あるいは事実上は同一の領域を為していてもよい。本発明の各手段における処理は，その処理順序を適宜変更することもできる。また，処理の一部を省略してもよい。たとえば後述する視点方向を決定する処理を省略することもできる。その場合，視点方向を決定する処理をしていない画像情報に対する処理を実行することができる。また，管理端末２における機能の一部または全部を入力端末３で実行してもよい。
【００４３】
画像補正処理システム１は，画像情報入力受付処理部２０と画像情報記憶部２１と線分検出処理部２２と線分選択処理部２３と補正処理部２４とを有する。
【００４４】
画像情報入力受付処理部２０は，入力端末３などから撮影した画像情報の入力を受け付け，後述する画像情報記憶部２１に記憶させる。たとえば店舗の陳列棚の画像情報の入力を受け付け，画像情報記憶部２１に記憶させる。図５に，入力端末３から入力を受け付けた画像情報の一例を示す。図５では，店舗の陳列棚の撮影した画像情報であり，これが補正対象となる画像情報となる。図５のように，店舗の陳列棚を撮影する場合，撮影者の背後にほかの陳列棚が位置し，通路が狭いなどの事情から，撮影対象となる陳列棚と撮影装置との間の距離を確保できないことがある。また陳列棚は撮影者の視線の下方に位置するため，俯角での撮影となることも多い。そのため，正対した位置から撮影できていない。これを正対した位置から撮影したように，本発明によって撮影した画像情報を補正をする。なお，本発明は，俯角で撮影した画像情報のみならず，仰角で撮影した画像情報，左右方向から撮影した画像情報などでも同様に適用することができる。
【００４５】
画像情報記憶部２１は，入力端末３から受け付けた画像情報を記憶する。
【００４６】
線分検出処理部２２は，画像情報入力受付処理部２０で入力を受け付けた画像情報や画像情報記憶部２１に記憶した画像情報など，補正処理の対象とする画像情報において，エッジ検出処理などを行うことで輪郭線を抽出し，抽出した輪郭線を短い線分（直線）（線分群）に変換して検出する。線分検出処理部２２は，たとえばＬＳＤ（線分検出器：Ｌｉｎｅ  Ｓｅｇｍｅｎｔ  Ｄｅｔｅｃｔｏｒ）を用い，画像情報から輪郭線を構成する線分（ｌｉｎｅ  ｓｅｇｍｅｎｔ）を検出する。この線分は，好ましくはベクトルデータであって，２つの端点を持つ直線である。
【００４７】
たとえば店舗の陳列棚を撮影した画像情報について，線分検出処理部２２で輪郭線を線分に変換すると，平均して数万本の線分が検出できる。
【００４８】
線分選択処理部２３は，線分検出処理部２２で検出した線分のうち，縦成分または横成分の線分を選択する。縦成分の線分とは，上下方向を向いている線分であり，横成分の線分とは水平方向を向いている線分である。たとえば上下方向を±９０度とした場合，±４５度以上±１３５度未満を向いている線分が縦成分の線分であり，０度から±４５度未満，±１３５度から±１８０度を向いている線分が横成分の線分とすることができる。これを模式的に示すのが図６である。なお，上下方向，左右方向を区別するための角度は，上記に限らず，任意に設定できる。
【００４９】
補正処理部２４は，線分選択処理部２３で選択した縦成分または横成分の線分に対して，正対した位置となる補正処理を実行する。すなわち３次元空間における水平線，垂直線が，画像情報では水平線，垂直線とはなっていないので，それを画像情報においても水平線，垂直線となるように，その線分のベクトルデータなどの線分に関する情報（線分情報）を用いて補正をする処理を実行する。
【００５０】
まず補正処理部２４における補正処理の前提となる概念を説明する。
【００５１】
３次元空間における対象物を撮影する場合，それが正対した位置から撮影できていない場合，対象物を俯角や仰角（上下方向）あるいは左右方向から撮影していることとなる。そのため，３次元空間における水平線群，垂直線群は，それぞれ，画像情報上では，上下方向の一つの共通の点（消失点），水平方向の一つの共通の点（消失点）に向かうこととなる。したがって，画像情報における水平線群，垂直線群をそれぞれ仮想的に延長すれば，その延長線上では共通の点（消失点）を通ることとなる。これを模式的に示すのが図７である。なお，図７では，対象物を俯角で撮影した場合であり，垂直線群のみについて示しているが，水平線群についても同様である。
【００５２】
そして水平線群，垂直線群を構成する各線分についての消失点の位置を求め，画像情報において，水平方向の消失点を通る少なくとも２本の３次元空間における水平線，垂直方向の消失点を通る少なくとも２本の３次元空間における垂直線を求めれば，画像情報の変形を特定できるので，画像情報について正対した位置から撮影したように透視変換処理を行える。透視変換処理とは，任意の四角形を長方形に変換する処理であって，その一例として台形補正処理がある。
【００５３】
画像情報における水平線群の横成分に着目した場合，図８におけるＡおよびＢが３次元空間における水平線，すなわち画像情報上では，共通の消失点を有していると仮定することができる。なお，図８におけるｘｍａｘは画像情報の横幅，ｙｍａｘは画像情報の高さである。そうすると，線分Ａについて，
ｙ＝ｔａｎ（θ）ｘ＋ｂ
としたとき，
ｙ０＝ｔａｎ（θ）ｘ０＋ｂ
となるので，
ｙ＝ｔａｎ（θ）（ｘ−ｘ０）＋ｙ０
となる。
【００５４】
この直線と，ｘ＝ｘｍａｘ／２との交点のｙ座標（これをｙＩｎｔとする）について，
ｙＩｎｔ＝ｔａｎ（θ）（ｘｍａｘ／２−ｘ０）＋ｙ０
となるので，
ｙＩｎｔ−ｙ０＝ｔａｎ（θ）（ｘｍａｘ／２−ｘ０）
となる。
【００５５】
すなわち，線分Ａのｘ＝ｘｍａｘ／２の切片のｙ座標（ｙＩｎｔ）とｔａｎ（θ）とは線形である。なお，３次元空間における水平線が画像情報でも水平線として写るのは，θ＝０のときなので，
ｙ＝ｙ０
である。
【００５６】
以上から，線分Ａのｘ＝ｘｍａｘ／２の切片のｙ座標（ｙＩｎｔ）とｔａｎ（θ）とのグラフは図９のようになる。つまり，全ての水平線は，直線ＡＢ上に分布する。
【００５７】
なお，ｙＩｎｔについて，ｘ＝ｘｍａｘ／２の切片とするのは，画像情報において偏った位置での切片を求めると，消失点は左右いずれの方向のいずれにあるかはこの時点ではわからないので，左右いずれかの方向にある消失点に近くなり，誤差が生じる可能性が高くなるからである。そのため，ｙＩｎｔについて，ｘ＝ｘｍａｘ／２の切片とすることが好ましいが，それに限定するものではなく，画像情報の横幅方向の中心付近，あるいは中心から１／３〜２／３程度の幅の間の位置の切片とすることが好ましい。また，画像情報をどのように撮影したのかがわかる場合，左右のどちらに消失点があるかはわかるので，それに基づいて，切片の位置を任意に変更してもよい。
【００５８】
以上を前提として，補正処理部２４は，線分選択処理部２３で選択した横成分の各線分について，ｙＩｎｔとｔａｎ（θ）とについてプロットをして，図１０に示すようなグラフを求める。なお，グラフを求めるとは，実際に２次元のグラフにプロットするほか，ｙＩｎｔとｔａｎ（θ）とについて後述する回帰直線が算出可能なように数値データとして整理されている状態であれば足りる。図１０では画像情報から選択した横成分の線分のうち，短い線分（ベクトル）を除外して１／１０程度に線分を減らした上でプロットをしているが，選択した線分の一部の線分のみを処理対象とするのではなく，選択したすべての線分を処理対象としてもよい。
【００５９】
そして補正処理部２４は，図１０に示すようなｙＩｎｔとｔａｎ（θ）とについての回帰直線を，たとえばロバスト推定のアルゴリズムであるＲＡＮＳＡＣなどを用いて求める。
【００６０】
具体的には，点群の回帰直線を求め，もっとも大きな外れ値となる点から順に，全体の所定量，たとえば５％〜１０％の点を除外し，残った点群について，分散が所定の閾値以下となるまで，上記を繰り返すことで，回帰直線を求める。なお，回帰直線を求めるためには，上記に限定するものではなく，ほかの方法を用いてもよい。
【００６１】
補正処理部２４は，回帰直線を求める前に，ノイズを除去するため，所定の閾値よりも短い線分を除外してもよい。
【００６２】
また，所定の長さよりも長い線分についてはより大きな重み付けをして回帰直線を求めることもできる。長い線分は，ノイズではない可能性が高く，回帰直線を求める上での重要度が高いため，処理精度の向上に資するからである。
【００６３】
つぎに，補正処理部２４は，透視変換処理で用いる頂点を特定する処理を実行する。これを模式的に示すのが図１１である。
【００６４】
そして，上述のように算出したｙＩｎｔとｔａｎ（θ）とについての回帰直線と，ｙＩｎｔ＝０，ｙＩｎｔ＝ｙｍａｘの交点におけるｔａｎ（θ）の値であるｔｕ（ｙＩｎｔ＝０のときのｔａｎ（θ）の値），ｔｄ（ｙＩｎｔ＝ｙｍａｘのときのｔａｎ（θ）の値）から，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出する。
【００６５】
そして，補正処理部２４は，変形前の台形を指定し，その台形を画像情報と同じ外形に変形させることで，３次元空間における水平線が，画像情報においても水平になる変形の処理を行う。この場合，台形の各頂点をＰ１，Ｐ２，Ｐ３，Ｐ４とした場合，たとえば台形の頂点Ｐ１のｙ座標ｄ２は，図１１におけるｄ０，ｄ１の値を，以下の数１で求めることができる。
（数１）
2020201846.tif 000003
【００６６】
また，台形の頂点Ｐ２のｙ座標ｈ２は，図１２におけるｈ０，ｈ１の値を，以下の数２で求めることができる。
（数２）
2020201846.tif 000004
【００６７】
そして，台形の頂点Ｐ３のｙ座標は，上述で求めたＰ２（ｘ＝０，ｙ＝ｄ０＋ｈ２）と，（ｘ＝ｘｍａｘ／２，ｙ＝ｙｍａｘ）の点を通る直線において，ｘ＝ｘｍａｘのときのｙ座標を算出することで求めることができる。
【００６８】
また，台形の頂点Ｐ４のｙ座標は，上述で求めたＰ１（ｘ＝０，ｙ＝ｄ０−ｄ２）と，（ｘ＝ｘｍａｘ／２，ｙ＝０）の点を通る直線において，ｘ＝ｘｍａｘのときのｙ座標を算出することで求めることができる。
【００６９】
補正処理部２４は，上述のように台形の頂点Ｐ１乃至Ｐ４のｙ座標を算出し，またｘ座標は，それぞれ０またはｘｍａｘであるので，台形の頂点Ｐ１乃至Ｐ４の各座標を算出することができる。
【００７０】
このように台形の頂点Ｐ１乃至Ｐ４の座標を算出すると，この各頂点Ｐ１乃至Ｐ４の座標を用いて，アフィン変換などの公知の透視変換処理を実行する。透視変換処理としてはさまざまな公知技術を適用することができる。
【００７１】
撮影対象とした対象物に３次元空間における水平線が多く含まれている場合，それを撮影した画像情報にも，３次元空間における水平線が，画像情報上では水平線とはならずに写っている。一方，３次元空間における水平線の延長線は，画像情報では共通の消失点に向かっている。その消失点を通る少なくとも２本の水平線（３次元空間における水平線であって，画像情報では水平線ではない線分）を画像情報から特定できれば，その画像情報における左右方向の変形量を特定できる。なお，共通の消失点とは，２本の線が必ずしも同一の点を通らなくてもよく，ある点から所定範囲内を通る場合も含まれる。共通の消失点を通る線は，消失点を共有する線と表記する場合もある。
【００７２】
垂直線についても同様であって，３次元空間における垂直線の延長線は，画像情報では共通の消失点に向かっており，その消失点を通る少なくとも２本の垂直線（３次元空間における垂直線であって，画像情報では垂直線ではない線分）を画像情報から特定できれば，その画像情報における上下方向の変形量を特定できる。このように特定した，左右方向の消失点を通る少なくとも２本の水平線と，上下方向の消失点を通る少なくとも２本の垂直線により構成される四角形の変形量を用いて，アフィン変換などの透視変形処理を実行することで，３次元空間の水平線，垂直線を，画像情報においても水平線，垂直線に補正することができる。
【００７３】
水平線または垂直線の消失点は，それぞれ二次元平面全体に広がっている。そしてその消失点を求めるため，上述のように，消失点に向かう画像情報の線分群が同一の性質を持つような空間，たとえばｔａｎ（θ）とｙ切片とからなる空間にマッピングする。そして，発明者らは，その空間において消失点を共通とする線分は，上述のように，一直線に並ぶ性質があることを初めて導出したので，たとえば回帰直線を求めることによって，消失点を共通とする線分が特定できる。そしてこの線分を用いて，画像情報の変形量，たとえば回帰直線とｙ＝０，ｙ＝ｙｍａｘの交点，すなわち，回帰直線と画像情報の両端の位置との交点を求めれば，画像情報の上端と下端における変形量を特定することができる。この上端と下端における変形量を用いてそれを水平にするアフィン変換などの透視変換処理を実行することで，台形を長方形に変形することができる。なお，回帰直線と画像情報の両端の位置との交点を求めることとしたが，それに限定するものではなく，回帰直線と離隔した２点の交点を求め，その２点を結ぶ直線から，透視変換処理を実行する範囲である，たとえばｙ＝０，ｙ＝ｙｍａｘの位置を求めてもよい。
【００７４】
なお，画像情報における消失点（水平線の延長線の共通の消失点，垂直線の延長線の共通の消失点）を求められるのであれば，上述の方法に限定されず，また画像情報における線分をｔａｎ（θ）とｙ切片とからなる空間における回帰直線を求める以外の方法によって求めてもよい。
【００７５】
補正処理部２４は透視変換処理を実行したあと，縦横比の調整処理を実行する。すなわち，本来，正方形の対象物が画像情報に写っているとしても，正方形には近づかず，横に潰れた（または縦に引き延ばされた）画像情報となることがある。
【００７６】
そこで，縦横比を調整する処理を実行する。この場合，レンズの焦点距離（画角），撮影時の撮影装置と対象物との相対距離（撮影装置と対象物間の距離と，対象物のサイズの比率）に依存し，それらを仮定として設定し，縦横比を調整する。この仮定の設定は，撮影装置の機種，撮影距離，あるいは実験によって得られた値から縦横比を調整する係数を設定することが好ましい。
【００７７】
たとえば水平方向の画角が６３度の撮影装置で撮影装置を縦にして，１台の縦長の陳列棚をおおよそ画角いっぱいになるような構図で角度をつけて撮影した場合には，図１１における長辺をａ，短辺をｂとし，
ｒ＝（ａ−ｂ）／ａ
とすると，縦方向の調整係数はおおよそ，
１−ｒ×０．７
となることが実験結果より明らかとなった（±７％程度の誤差）。
【００７８】
そこで，上述の透視変換処理で得られた画像情報を縦に１／（１−０．７ｒ）倍拡大するか，横に，（１−０．７ｒ）倍縮小すれば，縦横比の調整ができる。
【００７９】
なお，撮影装置を横にして，陳列棚数段分をおおよそ画角いっぱいになるような構図で撮影した場合も同様であった。
【００８０】
これらを模式的に示すのが図１２である。なお，上述の調整係数については，上述に限定するものではなく，対象物の種類や大きさなどによって任意に設定することができる。
【００８１】
以上のような各処理を補正処理部２４で実行することで，水平方向の補正処理が実行できる。
【００８２】
補正処理部２４は，縦成分の線分に関する処理を行う場合には，線分選択処理部２３で選択された縦成分の線分について，その線分の縦横の座標軸を９０度変換することで，横成分の線分に変換し，上述と同様の処理を実行できる。なお，変換後は，さらに縦横の座標軸を９０度変換することで，縦成分の線分に戻す。
【００８３】
入力端末３から入力を受け付けた画像情報（図５）に対して，本発明の画像補正処理システム１における補正処理を実行した画像情報の一例が図１３である。
【００８４】
なお，補正処理部２４における上述の処理として横成分の線分に関する処理の場合を説明したが，縦成分の線分で処理を実行してもその座標軸が９０度異なるだけで，同様に処理が実行できることは当然である。また，画像情報が上下方向または左右方向のいずれかでは角度をつけることなく撮影されている場合には，角度がつけられている方向に対応する成分（縦成分または横成分）の線分のいずれかに対してのみ処理を実行してもよい。
【００８５】
補正処理部２４は，横成分の線分に対する補正処理，縦成分の線分に対する補正処理を実行した後，補正処理後の画像情報，たとえば図１３の画像情報を，補正処理前の画像情報に対応づけて画像情報記憶部２１に記憶させるとよい。また補正処理後の画像情報は，オペレータが所定の操作をすることで，表示装置７２に表示する，印刷するなど所定の操作で出力される。
【実施例１】
【００８６】
つぎに本発明の画像補正処理システム１を用いた処理プロセスの一例を図３および図４のフローチャートを用いて説明する。本実施例では，店舗の陳列棚を撮影した画像情報に対して，本発明の画像補正処理システム１によって自動的に補正する処理を行う場合を説明する。
【００８７】
まず撮影担当者は，店舗の陳列棚を撮影する。画像情報入力受付処理部２０は，撮影した画像情報は入力端末３から入力を受け付け（Ｓ１００），画像情報記憶部２１に記憶させる。この画像情報の一例が図１４である。
【００８８】
線分検出処理部２２は，画像情報記憶部２１に記憶させた画像情報のうち，処理対象とする画像情報に対してＬＳＤを用い，画像情報から輪郭線を構成する線分の集まりである線分群を検出する（Ｓ１１０）。
【００８９】
Ｓ１１０で線分群を検出後，線分選択処理部２３は，検出した線分群のうち，横成分の線分を選択する（Ｓ１２０）。そして，選択した横成分の線分に対して，補正処理部２４が，３次元空間における水平線が，画像情報で水平線となるように補正処理を実行する（Ｓ１３０）。
【００９０】
具体的には，Ｓ１２０で選択した横成分の各線分のすべてまたは一部について，線分のベクトルデータに基づいて，ｙＩｎｔとｔａｎ（θ）に変換をする（Ｓ２００）。そして，ＲＡＮＳＡＣを用いて，各線分のｙＩｎｔとｔａｎ（θ）とについての回帰直線を算出する（Ｓ２１０）。そして，算出したｙＩｎｔとｔａｎ（θ）とについての回帰直線と，ｙＩｎｔ＝０，ｙＩｎｔ＝ｙｍａｘの交点におけるｔａｎ（θ）の値であるｔｕ（ｙＩｎｔ＝０のときのｔａｎ（θ）の値），ｔｄ（ｙＩｎｔ＝ｙｍａｘのときのｔａｎ（θ）の値）から，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出する（Ｓ２２０）。
【００９１】
補正処理部２４は以上のように算出した値を用いて，台形の頂点Ｐ１乃至Ｐ４の座標を算出する（Ｓ２３０）。また，縦横比を算出するため，一つのおおよそ長方形の撮影対象物を画角いっぱいにあるような構図で角度をつけて撮影した場合の，対象物のおおよその長辺ａ，短辺ｂの入力を受け付けることで，
ｒ＝（ａ−ｂ）／ａ
を算出し，縦横の補正値ｒを算出する（Ｓ２４０）。
【００９２】
以上のように算出した補正値ｒを用いて，Ｓ２３０で算出した変形後の台形の各頂点Ｐ１乃至Ｐ４の領域を，縦方向または横方向に所定倍，たとえば画角が６３度の場合には，縦方向に１／（１−０．７ｒ）倍拡大する，若しくは横方向に，（１−０．７ｒ）倍縮小する（Ｓ２５０）。
【００９３】
以上のような処理を実行することで，Ｓ１２０で選択した横成分の線分に対する補正処理を実行できる。
【００９４】
つぎに線分選択処理部２３は，Ｓ１１０で検出した線分群のうち，縦成分の線分を選択する（Ｓ１４０）。そして，選択した縦成分の線分について座標軸の縦横を変換し（Ｓ１５０），上述のＳ１３０と同様に，補正処理部２４が，３次元空間における水平線（座標軸の縦横変換前の垂直線）が，画像情報で水平線（座標軸の縦横変換前の垂直線）となるように補正処理を実行する（Ｓ１６０）。
【００９５】
以上のような処理を実行することで，Ｓ１００において画像情報入力受付処理部２０で入力を受け付けて画像情報記憶部２１に記憶した画像情報について，３次元空間における水平線および垂直線を，画像情報においても水平線および垂直線となるように補正処理を実行することができる。このような処理を実行した画像情報の一例が図１５である。
【実施例２】
【００９６】
上述の実施例では，画像情報から検出した横成分の線分，縦成分の線分に対してそれぞれ補正処理を行う場合を説明したが，実際に２度の変形を行うのではなく，２階変形を行った場合の座標変換マトリクスを実施例１の処理で算出してから，まとめて画像情報の変形処理を行ってもよい。これによって，画像情報の変形処理の回数を減らすことができるので，処理の高速化を実現することができる。
【００９７】
すなわち，補正処理部２４は，選択された横成分の線分に対する補正処理を実行することで，横成分の線分に対する座標変換マトリクスを算出し，つぎに，縦成分の線分に対する補正処理を実行することで，縦成分の線分に対する座標変換マトリクスを算出し，これらに基づいて，縦方向および横方向に変形を行った場合の座標変換マトリクスを算出する。そして，算出した縦方向および横方向に変形を行った場合の座標変換マトリクスに基づいて，Ｓ１００で入力を受け付けた画像情報に対する補正処理を実行するように構成してもよい。
【実施例３】
【００９８】
補正処理部２４における横成分の線分，縦成分の線分に対する補正処理の異なる方法として，本実施例のように行うこともできる。この場合の全体の処理プロセスの一例を図１６のフローチャートに，補正処理部２４における処理プロセスの一例を図１７に示す。なお，本実施例においても，実施例１および実施例２と同様に，店舗の陳列棚を撮影した画像情報に対する補正処理を実行する場合を説明するが，それに限定するものではなく，ほかの画像情報であっても同様に処理が実行できる。
【００９９】
実施例１および実施例２と同様に，撮影担当者は，店舗の陳列棚を撮影する。画像情報入力受付処理部２０は，撮影した画像情報は入力端末３から入力を受け付け（Ｓ３００），画像情報記憶部２１に記憶させる。
【０１００】
線分検出処理部２２は，画像情報記憶部２１に記憶させた画像情報のうち，処理対象とする画像情報に対してＬＳＤを用い，画像情報から輪郭線を構成する線分の集まりである線分群を検出する（Ｓ３１０）。
【０１０１】
Ｓ３１０で線分群を検出後，線分選択処理部２３は，検出した線分群のうち，横成分の線分を選択する（Ｓ３２０）。そして，選択した横成分の線分に対して，補正処理部２４が，少なくとも３次元空間における２本の水平線を求める（Ｓ３３０）。この処理を模式的に図１８に示す。
【０１０２】
具体的には，Ｓ３２０で選択した横成分の各線分のすべてまたは一部について，線分のベクトルデータに基づいて，ｙＩｎｔとｔａｎ（θ）に変換をする（Ｓ４００）。そして，ＲＡＮＳＡＣを用いて，各線分のｙＩｎｔとｔａｎ（θ）とについての回帰直線を算出する（Ｓ４１０）。そして，算出したｙＩｎｔとｔａｎ（θ）とについての回帰直線と，ｙＩｎｔ＝０，ｙＩｎｔ＝ｙｍａｘの交点におけるｔａｎ（θ）の値であるｔｕ（ｙＩｎｔ＝０のときのｔａｎ（θ）の値），ｔｄ（ｙＩｎｔ＝ｙｍａｘのときのｔａｎ（θ）の値）から，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出する（Ｓ４２０）。これによって，画像情報の下端（ｙ＝０）の中央部（ｘ＝ｘｍａｘ／２）を通る直線Ｐ１Ｐ４，画像情報の下端（ｙ＝ｙｍａｘ）の中央部（ｘ＝ｘｍａｘ／２）を通る直線Ｐ２Ｐ３を求める（Ｓ４３０）。なお，Ｐ１乃至Ｐ４は，後述するように各直線同士の交点である。これによって，３次元空間における２本の水平線が求められる。なお，実施例１と同様に，ｙＩｎｔについてｘ＝ｘｍａｘ／２の切片に限定するのではなく，画像情報の横幅方向の中心付近，あるいは中心から１／３〜２／３程度の幅の間の位置の切片とすることが好ましい。また，画像情報をどのように撮影したのかがわかる場合，左右のどちらに消失点があるかはわかるので，それに基づいて，切片の位置を任意に変更してもよい。
【０１０３】
また，画像情報の中央部上下端における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出するほか，任意の２点における水平線の角度ａｒｃｔａｎ（ｔｕ），ａｒｃｔａｎ（ｔｄ）を算出してもよい。すなわち，３次元空間における２本の水平線を求められれば，どこであってもよい。
【０１０４】
つぎに，線分選択処理部２３は，検出した線分群のうち，縦成分の線分を選択する（３４０）。そして，選択した縦成分の線分について座標軸の縦横を変換し（Ｓ３５０），上述のＳ３３０と同様に，補正処理部２４が，少なくとも３次元空間における２本の水平線（座標軸の縦横変換前の垂直線）を求める（Ｓ３６０）。そして，Ｓ３６０で求めた２本の水平線について，さらに座標軸の縦横を変換して縦成分に戻す。これによって，画像情報の左端（ｘ＝０）の中央部（ｙ＝ｙｍａｘ／２）を通る直線Ｐ１Ｐ２，画像情報の右端（ｘ＝ｘｍａｘ）の中央部（ｙ＝ｙｍａｘ／２）を通る直線Ｐ３Ｐ４を求めることができる。
【０１０５】
補正処理部２４は，Ｓ３３０およびＳ３６０で求めた４本の直線Ｐ１Ｐ２，直線Ｐ３Ｐ４，直線Ｐ２Ｐ３，直線Ｐ１Ｐ４から交点Ｐ１乃至Ｐ４を求める。交点Ｐ１乃至Ｐ４による四角形は，正対した位置から撮影したとすれば長方形になるはずの図形である。そこで，補正処理部２４は，交点Ｐ１乃至Ｐ４を各頂点とする四角形を長方形に透視変換処理をすることで，補正処理を実行する（Ｓ３７０）。なお，この透視変換処理は，たとえばＯｐｅｎＣＶのライブラリとして提供されているｗａｒｐＰｅｒｓｐｅｃｔｉｖｅ（）によって実現できるが，それに限定するものではない。これを模式的に示すのが図１９である。なお，縦横比の調整処理については，ｗａｒｐＰｅｒｓｐｅｃｔｉｖｅ（）によって実行することができる。
【０１０６】
以上のような処理を実行することで，Ｓ１００において画像情報入力受付処理部２０で入力を受け付けて画像情報記憶部２１に記憶した画像情報について，３次元空間における水平線および垂直線を，画像情報においても水平線および垂直線となるように補正処理を実行することができる。
【０１０７】
なお，実施例１と同様に，画像情報における消失点（水平線の延長線の共通の消失点，垂直線の延長線の共通の消失点）を求められるのであれば，上述の方法に限定されず，また画像情報における線分をｔａｎ（θ）とｙ切片とからなる空間における回帰直線を求める以外の方法によって求めてもよい。
【実施例４】
【０１０８】
実施例１乃至実施例３では店舗の陳列棚を撮影した画像情報に対して補正処理を行う場合を説明したが，それに限定するものではなく，さまざまな画像情報に対して適用することができる。とくに，主として垂直線と水平線で構成されている対象物を撮影した画像情報であれば，その効果は高くなる。
【０１０９】
たとえば土木分野や建築分野などにおけるコンクリート構造物を撮影する場合，その外形，梁，目地などは，主として垂直線と水平線で構成されていることが多い。そのため，コンクリート構造物などを対象物として撮影する場合，撮影スペースや光源などのさまざまな撮影条件から正対した位置で撮影できないときに，撮影した画像情報を正対した位置から撮影したように補正する場合に適用することができる。
【０１１０】
また，画像情報としては，静止画像のみならず，動画像であっても同様に本発明を用いることができる。動画像の場合にはフレームの最初の画像とそこからの画素の変化によって，動画像を実現している。そのためフレームの最初の画像に対して本発明の処理を実行してその補正処理を行い，以後のフレームについては，同様の処理を適用すればよい。
【０１１１】
上述の各実施例における各処理については，本発明の明細書に記載した順序に限定するものではなく，その目的を達成する限度において適宜，変更することが可能である。
【産業上の利用可能性】
【０１１２】
本発明の画像補正処理システム１を用いることによって，画像情報について自動的に補正処理を行うことができるので，オペレータの作業負担を軽減し，また処理時間も減らすことができる。また，センサなどを用いることもないので，撮影装置に依存することもない。
【符号の説明】
【０１１３】
１：画像補正処理システム
２：管理端末
３：入力端末
２０：画像情報入力受付処理部
２１：画像情報記憶部
２２：線分検出処理部
２３：線分選択処理部
２４：補正処理部
７０：演算装置
７１：記憶装置
７２：表示装置
７３：入力装置
７４：通信装置
２００：オペレータが手動で補正処理を行う場合に画像情報に重畳して表示する四角形の枠
【図１】
2020201846.tif 000005
【図２】
2020201846.tif 000006
【図３】
2020201846.tif 000007
【図４】
2020201846.tif 000008
【図５】
2020201846.tif 000009
【図６】
2020201846.tif 000010
【図７】
2020201846.tif 000011
【図８】
2020201846.tif 000012
【図９】
2020201846.tif 000013
【図１０】
2020201846.tif 000014
【図１１】
2020201846.tif 000015
【図１２】
2020201846.tif 000016
【図１３】
2020201846.tif 000017
【図１４】
2020201846.tif 000018
【図１５】
2020201846.tif 000019
【図１６】
2020201846.tif 000020
【図１７】
2020201846.tif 000021
【図１８】
2020201846.tif 000022
【図１９】
2020201846.tif 000023
【図２０】
2020201846.tif 000024
【図２１】
2020201846.tif 000025
【図２２】
2020201846.tif 000026
【手続補正書】
【提出日】令和2年9月25日(2020.9.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，
前記補正処理部は，
前記選択した線分について所定条件を充足する回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定の位置との交点を算出することで特定した，前記画像情報の変形に基づいて透視変換処理を実行する，
ことを特徴とする画像補正処理システム。
【請求項２】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，
前記補正処理部は，
前記選択した線分について所定条件を充足する回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定位置との交点を算出して透視変換処理の対象となる図形の頂点を特定することで，前記画像情報の補正処理を行う，
ことを特徴とする画像補正処理システム。
【請求項３】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，
前記補正処理部は，
前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片と，前記選択した線分のｔａｎ（θ）とについての回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定の位置との交点を算出し，
前記算出した交点を用いて透視変換処理を実行する，
ことを特徴とする画像補正処理システム。
【請求項４】
画像情報に対して補正処理を行う画像補正処理システムであって，
前記画像補正処理システムは，
画像情報において輪郭線の線分を検出する線分検出処理部と，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，
前記補正処理部は，
前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片ｙＩｎｔと，前記選択した線分のｔａｎ（θ）とをプロットしたグラフについての外れ値を除外した回帰直線を算出し，
前記算出した回帰直線におけるｙＩｎｔ＝０の値ｔｕと，ｙＩｎｔ＝ｙｍａｘの値ｔｄとを用いて，透視変換処理の対象となる図形の頂点の座標を算出し，
前記算出した頂点を用いて透視変換処理を実行する，
ことを特徴とする画像補正処理システム。
【請求項５】
前記補正処理部は，
前記縦成分または横成分のいずれかの線分の線分情報に基づいて前記画像情報の補正処理を実行した後，他方の成分の線分の線分情報に基づいて前記画像情報の補正処理を実行する，
ことを特徴とする請求項１から請求項４のいずれかに記載の画像補正処理システム。
【請求項６】
前記補正処理部は，
前記選択した線分の線分情報に基づいて，３次元空間における少なくとも２本の水平線または垂直線を求める処理を実行し，
他方の成分の線分の線分情報に基づいて，３次元空間における少なくとも２本の垂直線または水平線を求める処理を実行し，
前記求めた水平線および垂直線を用いて特定した交点を用いて透視変換処理を実行する，
ことを特徴とする請求項１から請求項５のいずれかに記載の画像補正処理システム。
【請求項７】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，
前記補正処理部は，
前記選択した線分について所定条件を充足する回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定の位置との交点を算出することで特定した，前記画像情報の変形に基づいて透視変換処理を実行する，
ことを特徴とする画像補正処理プログラム。
【請求項８】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，
として機能させる画像補正処理プログラムであって，
前記補正処理部は，
前記選択した線分について所定条件を充足する回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定位置との交点を算出して透視変換処理の対象となる図形の頂点を特定することで，前記画像情報の補正処理を行う，
ことを特徴とする画像補正処理プログラム。
【請求項９】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，
前記補正処理部は，
前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片と，前記選択した線分のｔａｎ（θ）とについての回帰直線を算出し，
前記算出した回帰直線と前記画像情報における所定の位置との交点を算出し，
前記算出した交点を用いて透視変換処理を実行する，
ことを特徴とする画像補正処理プログラム。
【請求項１０】
コンピュータを，
画像情報において輪郭線の線分を検出する線分検出処理部，
前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，
前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，
前記補正処理部は，
前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片ｙＩｎｔと，前記選択した線分のｔａｎ（θ）とをプロットしたグラフについての外れ値を除外した回帰直線を算出し，
前記算出した回帰直線におけるｙＩｎｔ＝０の値ｔｕと，ｙＩｎｔ＝ｙｍａｘの値ｔｄとを用いて，透視変換処理の対象となる図形の頂点の座標を算出し，
前記算出した頂点を用いて透視変換処理を実行する，
ことを特徴とする画像補正処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第１の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，前記補正処理部は，前記選択した線分について所定条件を充足する回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定の位置との交点を算出することで特定した，前記画像情報の変形に基づいて透視変換処理を実行する，画像補正処理システムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
処理対象とする画像情報において輪郭線の線分を検出し，検出した線分から縦成分，横成分の線分について，回帰直線を算出することで，線分の全体の傾きの傾向を特定することができる。この傾向を用いて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。すなわち，３次元空間における水平線および／または垂直線について，画像情報では水平線，垂直線となっていなくても，本発明を用いることで，画像情報において水平線および／または垂直線に補正することができる。
また，回帰直線と，所定位置との交点を算出することで，画像情報の変形を特定することができるので，それに基づいて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
第２の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，前記補正処理部は，前記選択した線分について所定条件を充足する回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定位置との交点を算出して透視変換処理の対象となる図形の頂点を特定することで，前記画像情報の補正処理を行う，画像補正処理システムである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
処理対象とする画像情報において輪郭線の線分を検出し，検出した線分から縦成分，横成分の線分について，回帰直線を算出することで，線分の全体の傾きの傾向を特定することができる。この傾向を用いて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。すなわち，３次元空間における水平線および／または垂直線について，画像情報では水平線，垂直線となっていなくても，本発明を用いることで，画像情報において水平線および／または垂直線に補正することができる。
また，回帰直線から算出した線分の全体の傾きの傾向を特定し，その所定位置との交点を算出することで，透視変換処理における頂点を特定することができるので，それに基づいて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
第３の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，前記補正処理部は，前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片と，前記選択した線分のｔａｎ（θ）とについての回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定の位置との交点を算出し，前記算出した交点を用いて透視変換処理を実行する，画像補正処理システムである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
第４の発明は，画像情報に対して補正処理を行う画像補正処理システムであって，前記画像補正処理システムは，画像情報において輪郭線の線分を検出する線分検出処理部と，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部と，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部と，を有しており，前記補正処理部は，前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片ｙＩｎｔと，前記選択した線分のｔａｎ（θ）とをプロットしたグラフについての外れ値を除外した回帰直線を算出し，前記算出した回帰直線におけるｙＩｎｔ＝０の値ｔｕと，ｙＩｎｔ＝ｙｍａｘの値ｔｄとを用いて，透視変換処理の対象となる図形の頂点の座標を算出し，前記算出した頂点を用いて透視変換処理を実行する，画像補正処理システムである。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
処理対象とする画像情報において輪郭線の線分を検出し，検出した線分から縦成分，横成分の線分について，回帰直線を算出することで，線分の全体の傾きの傾向を特定することができる。この傾向を用いて補正処理を実行すれば，画像情報に対する補正処理を実行することができる。すなわち，３次元空間における水平線および／または垂直線について，画像情報では水平線，垂直線となっていなくても，本発明を用いることで，画像情報において水平線および／または垂直線に補正することができる。
また，画像情報の補正に用いる頂点（交点）を特定するためには，これらの発明のような処理を実行することでも実現することができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
第１の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，前記補正処理部は，前記選択した線分について所定条件を充足する回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定の位置との交点を算出することで特定した，前記画像情報の変形に基づいて透視変換処理を実行する，画像補正処理プログラムである。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
第２の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，前記補正処理部は，前記選択した線分について所定条件を充足する回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定位置との交点を算出して透視変換処理の対象となる図形の頂点を特定することで，前記画像情報の補正処理を行う，画像補正処理プログラムである。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
第３の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，前記補正処理部は，前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片と，前記選択した線分のｔａｎ（θ）とについての回帰直線を算出し，前記算出した回帰直線と前記画像情報における所定の位置との交点を算出し，前記算出した交点を用いて透視変換処理を実行する，画像補正処理プログラムである。
第４の発明は，本発明のプログラムをコンピュータに読み込ませて実行することで実現できる。すなわち，コンピュータを，画像情報において輪郭線の線分を検出する線分検出処理部，前記検出した線分のうち，縦成分および／または横成分の線分を選択する線分選択処理部，前記選択した線分の線分情報を用いて回帰直線を算出することで，前記画像情報の補正処理を行う補正処理部，として機能させる画像補正処理プログラムであって，前記補正処理部は，前記画像情報の中心から所定範囲内の位置における前記選択した線分の切片ｙＩｎｔと，前記選択した線分のｔａｎ（θ）とをプロットしたグラフについての外れ値を除外した回帰直線を算出し，前記算出した回帰直線におけるｙＩｎｔ＝０の値ｔｕと，ｙＩｎｔ＝ｙｍａｘの値ｔｄとを用いて，透視変換処理の対象となる図形の頂点の座標を算出し，前記算出した頂点を用いて透視変換処理を実行する，画像補正処理プログラムである。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
画像情報における線分をｔａｎ（θ）とｙ切片とからなる空間における回帰直線を求める以外の方法によって求めてもよい。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
画像情報における線分をｔａｎ（θ）とｙ切片とからなる空間における回帰直線を求める以外の方法によって求めてもよい。