(57)【要約】【課題】撮像手段により撮像された画像に生じる光学歪みをより精度良く校正することができる装置、方法、及びプログラムを提供する。【解決手段】  画像に生じる光学歪みを校正する光学歪み校正装置１であって、ある方向の輝度が正弦波状に変化し、上記正弦波の位相が相互に異なる３つ以上の模様を生成して画像表示手段に表示する模様生成部４と、撮像手段により撮像された上記３つ以上の模様についての画像の輝度に応じて、画像を構成する各画素の画像表示手段における第一の位置座標を算出し、各画素について、模様上における第二の位置座標と比較することにより、上記歪みを推定する歪み推定部６と、歪み推定部６により推定された歪みに応じて、上記撮像手段により撮像された画像を補正する補正部７を備えた光学歪み校正装置１を提供する【選択図】  図１
2019075758.tif 000002
【特許請求の範囲】
【請求項１】
画像に生じる光学歪みを校正する光学歪み校正装置であって、
ある方向の輝度が正弦波状に変化し、前記正弦波の位相が相互に異なる３つ以上の模様を生成して画像表示手段に表示する模様生成手段と、
撮像手段により撮像された前記３つ以上の模様についての画像の輝度に応じて、前記画像を構成する各画素の前記画像表示手段における第一の位置座標を算出し、前記各画素について、前記模様上における第二の位置座標と比較することにより、前記歪みを推定する歪み推定手段と、
前記歪み推定手段により推定された前記歪みに応じて、前記撮像手段により撮像された画像を補正する補正手段を備えた光学歪み校正装置。
【請求項２】
前記模様生成手段は、前記３つ以上の模様を、前記方向が前記画像表示手段をなす平面を規定する第一の方向となるように前記画像表示手段に表示させると共に、前記３つ以上の模様を、前記方向が前記画像表示手段をなす平面を規定する前記第一の方向と異なる第二の方向となるように前記画像表示手段に表示させる、請求項１に記載の光学歪み校正装置。
【請求項３】
前記歪み推定手段は、前記各画素の位相を算出し、前記位相に応じて前記第一の位置座標を算出する、請求項１に記載の光学歪み校正装置。
【請求項４】
前記歪み推定手段は、前記第一の位置座標と前記第二の位置座標との間の関数、若しくは対応表を得ることにより、前記歪みを推定する、請求項１に記載の光学歪み校正装置。
【請求項５】
画像に生じる光学歪みを校正するための光学歪み校正方法であって、
ある方向の輝度が正弦波状に変化し、前記正弦波の位相が相互に異なる３つ以上の模様を生成する第一のステップと、
前記第一のステップで生成された前記模様を順次画像表示手段に表示させ、各模様を撮像手段で撮像する第二のステップと、
前記第二のステップで撮像された画像の輝度に応じて、前記画像を構成する各画素の、前記画像表示手段における第一の位置座標を算出する第三のステップと、
前記各画素について、前記第一の位置座標と、前記模様上における第二の位置座標とを比較することにより、前記歪みを推定する第四のステップと、
前記第四のステップで推定された前記歪みに応じて、前記撮像手段により撮像された画像を補正する第五のステップを有する光学歪み校正方法。
【請求項６】
前記第二のステップは、
前記３つ以上の模様を、前記方向が前記画像表示手段をなす平面を規定する第一の方向となるように、前記画像表示手段に表示させるステップと、
前記３つ以上の模様を、前記方向が前記画像表示手段をなす平面を規定する前記第一の方向と異なる第二の方向となるように、前記画像表示手段に表示させるステップを含む、請求項５に記載の光学歪み校正方法。
【請求項７】
前記第三のステップは、
前記各画素の位相を算出するステップと、
前記位相に応じて前記第一の位置座標を算出するステップを含む、請求項５に記載の光学歪み校正方法。
【請求項８】
前記第四のステップでは、前記第一の位置座標と前記第二の位置座標との間の関数、若しくは対応表を得ることにより、前記歪みを推定する、請求項５に記載の光学歪み校正方法。
【請求項９】
コンピュータに画像に生じる光学歪みを校正させるための光学歪み校正プログラムであって、前記プログラムは、前記コンピュータに対して、
ある方向の輝度が正弦波状に変化し、前記正弦波の位相が相互に異なる３つ以上の模様を生成させる第一の手順と、
前記第一の手順で生成された前記模様を順次画像表示手段に表示させ、各模様を撮像手段に撮像させる第二の手順と、
前記第二の手順において撮像された画像の輝度に応じて、前記画像を構成する各画素の、前記画像表示手段における第一の位置座標を算出させる第三の手順と、
前記各画素について、前記第一の位置座標と、前記模様上における第二の位置座標とを比較することにより、前記歪みを推定させる第四の手順と、
前記第四の手順で推定された前記歪みに応じて、前記撮像手段により撮像された画像を補正させる第五の手順を有する光学歪み校正プログラム。
【請求項１０】
前記第二の手順は、
前記３つ以上の模様を、前記方向が前記画像表示手段をなす平面を規定する第一の方向となるように、前記画像表示手段に表示させる手順と、
前記３つ以上の模様を、前記方向が前記画像表示手段をなす平面を規定する前記第一の方向と異なる第二の方向となるように、前記画像表示手段に表示させる手順を含む、請求項９に記載の光学歪み校正プログラム。
【請求項１１】
前記第三の手順は、
前記各画素の位相を算出させる手順と、
前記位相に応じて前記第一の位置座標を算出させる手順を含む、請求項９に記載の光学歪み校正プログラム。
【請求項１２】
前記第四の手順は、前記第一の位置座標と前記第二の位置座標との間の関数、若しくは対応表を得ることにより、前記歪みを推定させる、請求項９に記載の光学歪み校正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮像された画像に生じる光学歪みを校正する技術に関するものである。
【背景技術】
【０００２】
一般的に、レンズを用いて撮像された画像には光学歪みが生じる。この光学歪みの典型例の一つに歪曲収差がある。歪曲収差は広角レンズに顕著に現れ、視野の周囲にあるものほど像が歪む。この現象は、被写体の透視投影を想定する画像処理に悪影響を及ぼす。
【０００３】
そのようなことから、従来より画像に生じる光学歪みを校正する技術が考案されてきており、特許文献１や２には、市松模様のパターンを撮像して得られた模様の変形画像を解析することにより、上記光学歪みを校正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１４０４０１号公報
【特許文献２】特開２０１３−１０９４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１や２に示された技術においては、校正の精度を高めるために測定点の数を増やそうとすれば模様を細かく画像に写す必要が生じるが、デジタル画像の標本化や量子化によって模様の交点があいまいになるため、上記測定点の座標の誤差は大きくなるという問題がある。
【０００６】
一方、模様を大きく画像に写した場合には、上記座標はより正確に求まるものの、得られる測定点の座標が減ってしまうため、校正の精度が下がってしまう。このため、上記の技術においては、こういったいわゆるトレードオフの問題が存在することになる。
【０００７】
本発明は、このような問題を解決するためになされたもので、上記のようなトレードオフの問題を克服し、撮像手段により撮像された画像に生じる光学歪みをより精度良く校正することができる装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、画像に生じる光学歪みを校正する光学歪み校正装置であって、ある方向の輝度が正弦波状に変化し、上記正弦波の位相が相互に異なる３つ以上の模様を生成して画像表示手段に表示する模様生成手段と、撮像手段により撮像された上記３つ以上の模様についての画像の輝度に応じて、画像を構成する各画素の画像表示手段における第一の位置座標を算出し、各画素について、模様上における第二の位置座標と比較することにより、上記歪みを推定する歪み推定手段と、歪み推定手段により推定された歪みに応じて、上記撮像手段により撮像された画像を補正する補正手段を備えた光学歪み校正装置を提供する。
【０００９】
また、上記課題を解決するため、本発明は、画像に生じる光学歪みを校正するための光学歪み校正方法であって、ある方向の輝度が正弦波状に変化し、上記正弦波の位相が相互に異なる３つ以上の模様を生成する第一のステップと、第一のステップで生成された模様を順次画像表示手段に表示させ、各模様を撮像手段で撮像する第二のステップと、第二のステップで撮像された画像の輝度に応じて、画像を構成する各画素の、画像表示手段における第一の位置座標を算出する第三のステップと、各画素について、第一の位置座標と、模様上における第二の位置座標とを比較することにより上記歪みを推定する第四のステップと、第四のステップで推定された歪みに応じて、上記撮像手段で撮像された画像を補正する第五のステップを有する光学歪み校正方法を提供する。
【００１０】
また、上記課題を解決するため、本発明は、コンピュータに画像に生じる光学歪みを校正させるための光学歪み校正プログラムであって、上記プログラムは、上記コンピュータに対して、ある方向の輝度が正弦波状に変化し、上記正弦波の位相が相互に異なる３つ以上の模様を生成させる第一の手順と、第一の手順で生成された模様を順次画像表示手段に表示させ、各模様を撮像手段に撮像させる第二の手順と、第二の手順において撮像された画像の輝度に応じて、画像を構成する各画素の、画像表示手段における第一の位置座標を算出させる第三の手順と、各画素について、第一の位置座標と、模様上における第二の位置座標とを比較することにより、上記歪みを推定させる第四の手順と、第四の手順で推定された歪みに応じて、上記撮像手段で撮像された画像を補正させる第五の手順を有する光学歪み校正プログラムを提供する。
【発明の効果】
【００１１】
本発明によれば、多くの測定点の位置が正確に求まることから、撮像手段により撮像された画像に生じる光学歪みをより精度良く校正することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る光学歪み校正装置１の構成を示すブロック図である。
【図２】本発明の実施の形態に係る光学歪み校正方法を示すフローチャートである。
【図３】図２のステップＳ１に示された模様の例を示す図である。
【図４】本発明の他の実施の形態に係る光学歪み校正装置２０の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
【００１４】
図１は、本発明の実施の形態に係る光学歪み校正装置１の構成を示すブロック図である。図１に示されるように、光学歪み校正装置１は、入出力ノード２と、入出力ノード２に接続されたバス３と、それぞれバス３に接続された模様生成部４、歪み推定部６、補正部７、記憶部８、及び操作部９を備える。
【００１５】
図２は、本発明の実施の形態に係る光学歪み校正方法を示すフローチャートである。以下においては、図１に示された光学歪み校正装置１の動作によって本光学歪み校正方法を実現する場合について説明するが、本方法は光学歪み校正装置１を用いる場合に限られず、広く適用できることは言うまでもない。
【００１６】
ステップＳ１では、ユーザによる操作部９の操作に応じて、模様生成部４が、ある方向の輝度が正弦波状に変化し、正弦波の位相が相互に異なる３つ以上の模様を生成する。ここで、本模様の例として、図３(ａ)〜(ｄ)に示された画像ｉ０〜ｉ３に表示された４つの横波が挙げられる。これら４つの横波はいずれも、図中左右方向の輝度が正弦波状に変化したものであり、輝度が低い部分を示す黒い縦線の位置が画像ｉ０〜ｉ３間で左右方向に互いにずれていることから、上記正弦波の位相が相互に異なっていることが分かる。なお、模様生成部４により生成された模様は、バス３を介して記憶部８に記憶される。
【００１７】
次に、ステップＳ２では、ユーザによる操作部９の操作に応じて、模様生成部４は、ステップＳ１で生成された模様を入出力ノード２に接続されたディスプレイなどの画像表示手段に順次表示させ、各模様をカメラなどの撮像手段により撮像する。そして、本ステップで撮像された画像は、記憶部８に記憶される。
【００１８】
なお、模様生成部４は、上記３つ以上の模様を、輝度が正弦波状に変化する上記方向が上記画像表示手段をなす平面を規定する第一の方向となるように画像表示手段に表示させると共に、輝度が変化する上記方向が前記画像表示手段をなす平面を規定する第一の方向と異なる第二の方向となるように画像表示手段に表示させる。ここで一例として、第一の方向は水平方向であり、第二の方向は垂直方向である場合が考えられるが、第一及び第二の方向は当該平面を規定する異なる方向であればよく、上記例に限られない。
【００１９】
これより、上記第一の方向と第二の方向においてそれぞれ、後述する装置座標が得られるため、二次元平面からなる画像表示手段上の全画素の位置を正確に特定することができることになる。
【００２０】
次に、ステップＳ３では、ユーザによる操作部９の操作により、歪み推定部６は、ステップＳ２で撮像された画像の輝度に応じて、当該画像を構成する各画素の、上記画像表示手段における第一の位置座標(装置座標)を算出し、記憶部８に記憶される。
【００２１】
ここで、装置座標は位相シフト法により算出され、例えば４ステップ法を採用する場合には、図３(ａ)〜(ｄ)に示された画像ｉ０〜ｉ３の後述する画像座標(ｕ，ｖ)における輝度をそれぞれ／Ｉ0(ｕ，ｖ)，／Ｉ1(ｕ，ｖ)，／Ｉ2(ｕ，ｖ)，／Ｉ3(ｕ，ｖ)としたとき、画像座標(ｕ，ｖ)における上記正弦波の位相は次式(１)で求まる。そして、式(１)により得られた位相から装置座標を求められることになるが、装置座標の算出方法については後に詳しく説明する。
【００２２】
【数１】
2019075758.tif 000003
【００２３】
次に、ステップＳ４では、歪み推定部６は、上記各画素について、記憶部８に記憶された上記装置座標と、模様上における第二の位置座標(画像座標)を比較することにより、歪みを推定する。ここで、本推定においては、全画素の座標を用いて歪みモデルのパラメータ(関数)が求められ、あるいは、同一点につき歪んで写る画素と歪まずに上記画像表示手段に映る画素の対応表が作成される。なお、本ステップで得られた上記関数や対応表は、記憶部８に記憶される。
【００２４】
次に、ステップＳ５では、ユーザによる操作部９の操作により、補正部７は、ステップＳ４で推定された歪みに応じて、上記撮像手段により撮像された画像を補正する。より具体的には、ステップＳ４で求められた関数若しくは対応表を用いて、歪みが生じた画像を歪みのない画像へ変換する。
【００２５】
なお、本発明の実施の形態に係る光学歪み校正方法は、撮像手段に用いられたレンズなどの光学部品に起因して生じる画像の光学歪みを校正する方法であるため、ステップＳ５における補正は、ステップＳ２で用いられた撮像手段で撮像された全ての画像を対象として実行される。以下においては、上記における装置座標の算出方法について、順を追って詳しく説明する。
【００２６】
［模様の作成方法について］
図２に示されたステップＳ１においては、例えば以下のような方法で模様が作成される。
【００２７】
時刻ｔにおける波模様の参照位相δtを次式(２)で表す。
【００２８】
【数２】
2019075758.tif 000004
【００２９】
上式(２)において、ｔは時刻を示し、４ステップ法の場合には０、１、２、３のいずれかの値をとる。また、Ｔは上記波の１周期の時間を示し、４ステップ法の場合には４の値をとる。なお、時間の単位は、上記波模様の参照位相δtが切り替わる仮想的な時間の間隔とされる。
【００３０】
ここで、上記の参照位相δtを用いて、それぞれ横波及び縦波の模様における点の明るさＰu，Ｐvを次式(３)で求めることにより、上記波模様を作成する。
【００３１】
【数３】
2019075758.tif 000005
【００３２】
なお、上式(３)において、ｕp及びｖpはそれぞれ模様上の点の水平、垂直方向の装置座標、Ｌu及びＬvはそれぞれ上記水平方向、垂直方向の１周期の長さ、Ａpは明るさの振幅、Ｂpは明るさのバイアス成分を示す。
【００３３】
［位相から装置座標への変換について］
カメラで観測される横波の明るさＩuは、次式(４)で表される。
【００３４】
【数４】
2019075758.tif 000006
【００３５】
上式(４)において、それぞれｕ及びｖは、上記カメラで撮像された画像(カメラ画像)の水平及び垂直方向における画像座標、φ(ｕ，ｖ)は位相、Ａは上記画像の明るさの振幅、Ｂは明るさのバイアス成分を示す。なお、位相φ(ｕ，ｖ)［ラジアン］は参照位相δtからの位相差であり、−πからπの値をとる。
【００３６】
ここで、座標が(ｕ，ｖ)である画素について、作成された画像が表示されたことによる横波の明るさＰu(式(３)参照)とカメラで観測される横波の明るさＩu(式(４)参照)を比較すると、次式(５)の関係が成り立つ。
【００３７】
【数５】
2019075758.tif 000007
【００３８】
よって、位相φ(ｕ，ｖ)が求まると、作成した横波における装置座標ｕpが次式(６)から求まる。なお、位相φ(ｕ，ｖ)を求める方法については、後述する。
【００３９】
【数６】
2019075758.tif 000008
【００４０】
縦波の場合も同様に、作成した縦波における装置座標ｖpが次式(７)から求まる。
【００４１】
【数７】
2019075758.tif 000009
【００４２】
［位相の求め方について］
時刻ｔにおける波の明るさＩt(ｕ，ｖ)は、次式(８)のように表すことができる。
【００４３】
【数８】
2019075758.tif 000010
【００４４】
ここで、明るさの真値Ｉtに対する実測値を／Ｉtとする。また、時刻ｔは０から(Ｎ−１)までとし、参照位相をＮ段階に変化させるものとする。そして、誤差を含んだ／Ｉtから、確からしい位相φを最小二乗法によって求める。すなわち、次式(９)で示される実測値／Ｉtと真値Ｉtの差の二乗和Ｅが最小になるようにａ，ｂ，ｃを定めることによって、位相φを求める。
【００４５】
【数９】
2019075758.tif 000011
【００４６】
そして、このような方法によって、位相φは次式(１０)のように求められる。
【００４７】
【数１０】
2019075758.tif 000012
【００４８】
また、振幅Ａとバイアス成分Ｂはそれぞれ、次式(１１)のように求められる。
【００４９】
【数１１】
2019075758.tif 000013
【００５０】
なお、上記の解は波の方向に依存しないので、明るさＩt(ｕ，ｖ)は横波と縦波のいずれであっても良い。
【００５１】
［Ｎステップ法への拡張について］
上記参照位相を０から２πの間で等間隔にＮ段階変化させる場合には、式(２)に示された参照位相δは次式(１２)により表すことができる。
【００５２】
【数１２】
2019075758.tif 000014
【００５３】
このとき、式(９)に示された二乗和Ｅが最小となる解は、以下の式(１３)で示される。
【００５４】
【数１３】
2019075758.tif 000015
【００５５】
よって、式(１０)により、位相φは次式(１４)のように求められる。
【００５６】
【数１４】
2019075758.tif 000016
【００５７】
なお、式(１２)においてＮを４として、参照位相δを０からπ／２(９０度)ずつ４段階変化させる場合は、式(１３)に示された解は次式(１５)となる。
【００５８】
【数１５】
2019075758.tif 000017
【００５９】
従って、式(１０)により、位相φは式(１)のように求められることになる。
【００６０】
以上の本発明の実施の形態に係る光学歪み校正方法は、図２に示された手順をコンピュータで実行可能なプログラムとして記述し、図４に示されるような光学歪み校正装置２０のメモリ２２に本プログラムを格納して、中央演算処理装置(ＣＰＵ)２１に実行させることによっても実現することができる。
【００６１】
以上より、本発明の実施の形態に係る光学歪み校正装置１，２０や光学歪み校正方法、若しくは光学歪み校正プログラムによれば、レンズなどの光学部品を用いて撮像された画像において生じる光学歪みを、従来よりも精度良く校正することができる。また、本発明による校正は歪曲収差に限られず、他の光学歪みにも用いることができる。
【符号の説明】
【００６２】
１，２０  光学歪み校正装置
４  模様生成部
６  歪み推定部
７  補正部
２１  ＣＰＵ
【図１】
2019075758.tif 000018
【図２】
2019075758.tif 000019
【図３】
2019075758.tif 000020
【図４】
2019075758.tif 000021