(57)【要約】【課題】画像歪みの特性に応じた補正を簡易に行う。【解決手段】画像歪み補正装置１においては、入力画像の任意の座標を（ｘ’，ｙ’）、歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ0，ｙ0）、ｎを正の整数としたとき、2008287430.tif 000006で表される座標変換式を用いて座標変換手段３にて入力画像の座標を求めるとともに、当該入力画像の座標における画素値を、画素値補正手段４にて当該座標の近傍に存在する画素の画素値で線形近似して求める。【選択図】図１
2008287430.tif 000002
【特許請求の範囲】
【請求項１】
光学系の歪曲収差による画像歪みを補正する画像歪み補正方法において、
入力画像の任意の座標を（ｘ’，ｙ’）、歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ0，ｙ0）、ｎを正の整数としたとき、
【数１】
2008287430.tif 000005
で表される座標変換式を用いて入力画像の座標を求めるとともに、当該入力画像の座標における画素値を当該座標の近傍に存在する画素の画素値で線形近似して求めることを特徴とする画像歪み補正方法。
【請求項２】
前記座標変換式における係数ａijklと画像中心の座標ｘ0，ｙ0の少なくとも何れか１つを変更することを特徴とする請求項１記載の画像歪み補正方法。
【請求項３】
前記座標変換式における係数ａijklと画像中心の座標との複数通りの組合せを予め用意しておき、当該複数通りの組合せの中から任意の１通りの組合せを選択して座標変換を行うことを特徴とする請求項２記載の画像歪み補正方法。
【請求項４】
補正後の画像における表示仕様を決める値に応じて係数ａijkl並びに画像中心の座標ｘ0，ｙ0の少なくとも何れか１つを変更することを特徴とする請求項２又は３記載の画像歪み補正方法。
【請求項５】
前記表示仕様を決める値は、補正前の入力画像に対する補正後の画像の水平方向の拡大倍率であることを特徴とする請求項４記載の画像歪み補正方法。
【請求項６】
前記表示仕様を決める値は、補正前の入力画像に対する補正後の画像の水平方向の位置移動量であることを特徴とする請求項４又は５記載の画像歪み補正方法。
【請求項７】
前記表示仕様を決める値は、補正前の入力画像に対する補正後の画像の上端と下端における水平方向の拡大倍率の比であることを特徴とする請求項４〜６の何れか１項に記載の画像歪み補正方法。
【請求項８】
前記座標変換式で求めた入力画像の座標が実際の入力画像の範囲内に存在しない場合に当該座標の画素値として予め決められた所定値を採用することを特徴とする請求項１記載の画像歪み補正方法。
【請求項９】
前記所定値として、当該座標と同一の水平ライン上において最も近い位置に存在し且つ実際の入力画像の範囲内に存在する座標の画素値を採用することを特徴とする請求項８記載の画像歪み補正方法。
【請求項１０】
前記所定値として無彩色を表す値を採用することを特徴とする請求項８又は９記載の画像歪み補正方法。
【請求項１１】
前記所定値として黒色を表す値を採用することを特徴とする請求項１０記載の画像歪み補正方法。
【請求項１２】
前記座標変換式で求めた入力画像の座標が実際の入力画像の範囲内に存在しない場合に当該座標が表示範囲外となるように係数ａijklを調整して画像を拡大することを特徴とする請求項１記載の画像歪み補正方法。
【請求項１３】
前記座標変換式で求めた入力画像の座標が実際の入力画像の範囲内に存在しない場合に当該座標が表示範囲外となるように係数ａijklを調整することを特徴とする請求項１記載の画像歪み補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズを含む結像光学系の歪曲収差等に起因した画像歪みを補正する画像歪み補正方法に関するものである。
【背景技術】
【０００２】
例えば、テレビ付きインターホンシステムに使用されるテレビカメラにおいては、被写体（来訪者）とテレビカメラとの距離が近く且つ可能な限り広い範囲を撮像する必要があることから、結像光学系に超広角レンズが用いられており、結像光学系（超広角レンズ）の歪曲収差等に起因して、撮像した画像が歪むという問題があった。そこで本出願人は、画素の位置（座標，アドレス）を水平方向（又は水平方向と垂直方向）に移動する座標変換を行うことによって画像歪みを補正する方法を既に提案している（例えば、特許文献１，２参照）。
【０００３】
特許文献１に記載されている画像歪み補正方法（以下、「従来例１」という。）は、テレビカメラのレンズ等により生じる画像歪みの特性を数式化し、当該数式を用いて予め計算した変換座標と、座標変換後の画素値を補正するための補正係数とをメモリテーブルに記憶しておき、テレビカメラから取り込んだ入力画像に対してメモリテーブルを参照して座標変換と画素値の補正を行うものである。
【０００４】
また、特許文献２に記載されている画像歪み補正方法（以下、「従来例２」という。）は、入力画像の任意の座標を（ｘ’，ｙ’）、画像歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ0，ｙ0）、画像の歪み率を表すパラメータをｋとしたとき、ｘ’＝｛１−ｋ（ｙ−ｙ0）2｝ｘ＋ｋ（ｙ−ｙ0）2ｘ0、ｙ’＝ｙで表される座標変換式を用いて入力画像の座標を変換するとともに、変換後の入力画像の座標の画素値を近傍の画素値で線形近似して算出するものである。
【特許文献１】特許第３４５１６４４号公報
【特許文献２】特許第３０４７６８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述の従来例２では画像中心の座標（ｘ0，ｙ0）からの距離に応じて座標変換を行っているが、例えば、結像光学系の光軸中心と画像中心（撮像素子の中心）との間に生じるずれが大きくなると画像歪みを適切に補正することができない。また、従来例１では上述の中心ずれに応じた変換座標と補正係数をメモリテーブルに記憶しておくためにメモリ容量が大幅に増大してしまうという欠点がある。すなわち、従来例１，２では、結像光学系の光軸中心と画像中心との間に生じるずれ量というような画像歪みの特性に応じた補正が困難であるという問題があった。
【０００６】
本発明は上記事情に鑑みて為されたものであり、その目的は、画像歪みの特性に応じた補正を簡易に行うことができる画像歪み補正方法を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１の発明は、上記目的を達成するために、光学系の歪曲収差による画像歪みを補正する画像歪み補正方法において、入力画像の任意の座標を（ｘ’，ｙ’）、歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ0，ｙ0）、ｎを正の整数としたとき、
【０００８】
【数２】
2008287430.tif 000003
【０００９】
で表される座標変換式を用いて入力画像の座標を求めるとともに、当該入力画像の座標における画素値を当該座標の近傍に存在する画素の画素値で線形近似して求めることを特徴とする。
【００１０】
請求項１の発明によれば、座標変換式における係数ａijklや画像中心の座標を適当に設定することで画像歪みの特性に応じた補正を簡易に行うことができる。
【００１１】
請求項２の発明は、請求項１の発明において、前記座標変換式における係数ａijklと画像中心の座標ｘ0，ｙ0の少なくとも何れか１つを変更することを特徴とする。
【００１２】
請求項２の発明によれば、画像歪みの特性に応じて座標変換式における係数ａijklと画像中心の座標ｘ0，ｙ0の少なくとも何れか１つを変更することにより、さらに適切に画像歪みを補正することができる。
【００１３】
請求項３の発明は、請求項２の発明において、前記座標変換式における係数ａijklと画像中心の座標との複数通りの組合せを予め用意しておき、当該複数通りの組合せの中から任意の１通りの組合せを選択して座標変換を行うことを特徴とする。
【００１４】
請求項３の発明によれば、適切な画像歪み補正を行うために必要な係数ａijkl並びに画像中心の座標ｘ0，ｙ0へ容易に変更することができる。
【００１５】
請求項４の発明は、請求項２又は３の発明において、補正後の画像における表示仕様を決める値に応じて係数ａijkl並びに画像中心の座標ｘ0，ｙ0の少なくとも何れか１つを変更することを特徴とする。
【００１６】
請求項４の発明によれば、補正後の画像における表示仕様に応じた適切な歪み補正が可能となる。
【００１７】
請求項５の発明は、請求項４の発明において、前記表示仕様を決める値は、補正前の入力画像に対する補正後の画像の水平方向の拡大倍率であることを特徴とする。
【００１８】
請求項６の発明は、請求項４又は５の発明において、前記表示仕様を決める値は、補正前の入力画像に対する補正後の画像の水平方向の位置移動量であることを特徴とする。
【００１９】
請求項７の発明は、請求項４〜６の何れか１項の発明において、前記表示仕様を決める値は、補正前の入力画像に対する補正後の画像の上端と下端における水平方向の拡大倍率の比であることを特徴とする。
【００２０】
請求項８の発明は、請求項１の発明において、前記座標変換式で求めた入力画像の座標が実際の入力画像の範囲内に存在しない場合に当該座標の画素値として予め決められた所定値を採用することを特徴とする。
【００２１】
請求項８の発明によれば、入力画像の範囲内に存在しない座標を参照することで補正後の画像に発生する不具合が目立ちにくくできる。
【００２２】
請求項９の発明は、請求項８の発明において、前記所定値として、当該座標と同一の水平ライン上において最も近い位置に存在し且つ実際の入力画像の範囲内に存在する座標の画素値を採用することを特徴とする。
【００２３】
請求項１０の発明は、請求項８又は９の発明において、前記所定値として無彩色を表す値を採用することを特徴とする。
【００２４】
請求項１１の発明は、請求項１０の発明において、前記所定値として黒色を表す値を採用することを特徴とする。
【００２５】
請求項１２の発明は、請求項１の発明において、前記座標変換式で求めた入力画像の座標が実際の入力画像の範囲内に存在しない場合に当該座標が表示範囲外となるように係数ａijklを調整して画像を拡大することを特徴とする。
【００２６】
請求項１２の発明によれば、入力画像の範囲内に存在しない座標を参照することで補正後の画像に発生する不具合が目立ちにくくできる。
【００２７】
請求項１３の発明は、請求項１の発明において、前記座標変換式で求めた入力画像の座標が実際の入力画像の範囲内に存在しない場合に当該座標が表示範囲外となるように係数ａijklを調整することを特徴とする。
【００２８】
請求項１３の発明によれば、入力画像の範囲内に存在しない座標を参照することで補正後の画像に発生する不具合が目立ちにくくできる。
【発明の効果】
【００２９】
本発明によれば、座標変換式における係数ａijklや画像中心の座標を適当に設定することで画像歪みの特性に応じた補正を簡易に行うことができる。
【発明を実施するための最良の形態】
【００３０】
以下、図面を参照して本発明の実施形態を詳細に説明する。まず初めに、本発明に係る画像歪み補正方法を実現するためのハードウェア構成、すなわち、画像歪み補正装置について、図１を参照して説明する。
【００３１】
図１に示すようにテレビカメラＣＡＭから出力されるディジタル画像が入力画像として画像歪み補正装置１に取り込まれ、画像歪み補正装置１において画像歪みが補正された後の画像が液晶ディスプレイのような表示装置ＤＳＰに出力され且つ表示される。但し、テレビカメラＣＡＭ並びに表示装置ＤＳＰがアナログ信号にしか対応していない場合には、アナログの入力画像をディジタル画像に変換するＡ／Ｄ変換器と、ディジタルの出力画像をアナログ画像に変換するＤ／Ａ変換器を画像歪み補正装置１に搭載する必要がある。
【００３２】
画像歪み補正装置１は、入力画像の１水平ライン分の画像データ（画素値）を記憶するラインバッファメモリ２と、入力画像の任意の座標（アドレス）を（ｘ’，ｙ’）、歪み補正後の座標を（ｘ，ｙ）、画像中心の座標を（ｘ0，ｙ0）、ｎを正の整数としたとき、下記式で表される座標変換式を用いて入力画像の座標（ｘ’，ｙ’）を求める座標変換手段３と、座標変換手段３で求めた入力画像の座標（ｘ’，ｙ’）における画素値を当該座標の近傍に存在する画素の画素値から線形近似して求める画素値補正手段４とを備えている。なお、座標変換手段３並びに画素値補正手段４は、マイコンが所定の画像歪み補正処理用のプログラムを実行することで実現されるものである。
【００３３】
【数３】
2008287430.tif 000004
【００３４】
テレビカメラＣＡＭから画像歪み補正装置１に入力される入力画像には、図２（ａ）に示すようにテレビカメラＣＡＭが具備するレンズ等の結像光学系における歪曲収差（図示例では樽型歪み）に起因した画像歪みが生じている。上記座標変換式の右辺第２項は、図２（ｂ）に示す曲線イ、すなわち、任意の座標（ｘ，ｙ）を通るべき縦方向の直線（ｙ軸に平行な直線）ロが歪曲収差によって歪んだ曲線を近似したものであって、任意の座標（ｘ，ｙ）を上記座標変換式に代入して入力画像の座標（ｘ’，ｙ’）、すなわち、当該座標（ｘ，ｙ）が画像歪みによって移動した座標を求め、入力画像の座標（ｘ’，ｙ’）の画素値から当該座標（ｘ，ｙ）の画素値を求めることで画像歪みを補正することができるのである。但し、入力画像の座標（ｘ’，ｙ’）の画素値から当該座標（ｘ，ｙ）の画素値を求める処理、すなわち、画素値補正手段４で行う線形近似については従来例２で説明されているように周知技術であるから、詳細な説明を省略する。
【００３５】
ここで、従来例２においても座標変換式ｘ’＝｛１−ｋ（ｙ−ｙ0）2｝ｘ＋ｋ（ｙ−ｙ0）2ｘ0、ｙ’＝ｙを用いた座標変換を行うことで画像歪みを補正しているが、従来例２の座標変換式を変形した式ｘ’＝ｘ−ｋ（ｘ−ｘ0）（ｙ−ｙ0）2から判るように、画像歪みの特性に応じて変更可能なパラメータが画像の歪み率を表すパラメータｋと画像中心の座標ｘ0又はｙ0の３種類しかないために精細な歪み補正を行うことが困難であった。これに対して本発明に係る画像歪み補正方法では、複数の係数ａijklと画像中心の座標ｘ0又はｙ0の合計４種類以上のパラメータと、補正後の座標（ｘ，ｙ）と画像中心の座標（ｘ0，ｙ0）の差の絶対値｜ｘ−ｘ0｜，｜ｙ−ｙ0｜とを座標変換式中に含むため、従来例２と比較して画像歪みの特性に応じた精細な歪み補正を簡単に行うことができるのである。しかも、座標変換式には乗算と加算しか含まれていないため、演算が簡易であるから処理時間が短く、その結果、従来例１のように予め演算した結果をデータテーブルに記憶しておく必要もない。
【００３６】
例えば、方眼模様の壁面をテレビカメラＣＡＭで撮像し、画像歪み補正を行わずに表示装置ＤＳＰで表示したときの画像は、光学系の歪曲収差（樽型歪み）によって図３（ａ）に示すように縦方向の直線と横（水平）方向の直線が何れも歪んでしまうが、同じ画像を従来例１の画像歪み補正方法を用いて補正すれば、図３（ｂ）に示すように縦方向の直線の歪みをかなり補正することができる。ここで、図３（ｂ）における画面左端寄りの縦方向の直線Ｌ１に着目すると、画面の上端及び下端に近い部分では歪みの補正が不十分であることが判る。
【００３７】
一方、本実施形態の画像歪み補正装置１で画像歪みを補正する場合、例えば、上記座標変換式における（ｘ−ｘ0）（ｙ−ｙ0）2の項の係数ａ1020と、（ｘ−ｘ0）｜ｙ−ｙ0｜3の項の係数ａ1003と、（ｘ−ｘ0）｜ｘ−ｘ0｜｜ｙ−ｙ0｜3の項の係数ａ1102とを、テレビカメラＣＡＭにおける光学系の画像歪み特性に応じた適当な値に設定すれば、図３（ｃ）に示すように同一の直線Ｌ１における上端並びに下端の画像歪みを、従来例１と比較して精細且つ十分に補正することができる。つまり、従来例１では画像歪み率のパラメータを１種類（ｋ）しか設定していないために画像中心からの距離が大きくなる（画像の上端及び下端に近付く）につれて画像歪みの補正が不十分になってしまうのであるが、本発明の画像歪み補正方法によれば、複数の係数（例えば、上述の例では３つの係数ａ1020，ａ1003，ａ1102）によって座標変換を行うので、画像中心からの距離が大きくなっても、すなわち、画像の上端及び下端に近い部分においても十分な歪み補正が可能である。
【００３８】
また、テレビカメラＣＡＭにおいて光学系の光軸中心と撮像素子の中心（画像中心）とが一致していない（実際には、両者のずれ量が実使用上無視できない程度に大きい）場合において、例えば、上述のように方眼模様の壁面をテレビカメラＣＡＭで撮像し、画像歪み補正を行わずに表示装置ＤＳＰで表示したときの画像に図４（ａ）に示すような樽型歪みが生じているとしたとき、光学系の光軸中心Ｏと画像中心Ｏ’が一致している（実際には、両者のずれ量が実使用上無視できる程度に小さい）とみなして画像歪みを補正すると、図４（ｂ）に示すように画像中心Ｏ’から離れるにつれて補正量が必要以上に大きくなってしまうことになる。これに対して、光学系の光軸中心Ｏと画像中心Ｏ’が一致していない場合に画像中心の座標（ｘ0，ｙ0）を光軸中心Ｏに一致するように変更すれば、図４（ｃ）に示すように画像歪みの特性（光軸中心Ｏと画像中心Ｏ’のずれ）に応じて画像歪みを適切に補正することができる。
【００３９】
ここで、係数ａijkl並びに画像中心の座標（ｘ0，ｙ0）のデータについては画像歪み補正装置１が具備する書換可能な不揮発性メモリに予め記憶させておく必要があるが、何らかの条件、例えば、画像歪み補正装置１に設けた機械的なスイッチ（例えば、ディップスイッチ等）による設定状態等に応じて複数種類の値（データ）若しくは複数通りの値の組合せのうちから択一的に選択して変更することも可能である。そして、このように係数ａijkl並びに画像中心の座標（ｘ0，ｙ0）のデータを変更可能とすれば、さらに適切に画像歪みを補正することができる。尚、図５（ａ）に示すように立体的な被写体（例えば、人物Ｈ）をテレビカメラＣＡＭで撮像した場合、テレビカメラＣＡＭにおける画像歪みを画像歪み補正装置１で完全に補正してしまうと被写体（人物Ｈ）の画像が歪んで表示されてしまうことがある（図５（ｂ）参照）。このような場合においても、座標変換式における係数ａijklの値を変更して画像歪みの補正度合いを調整すれば、上述のように立体的な被写体が歪んで表示されることを緩和することができる。同様に光学系の光軸中心と撮像素子の中心ずれを目立たなくする効果もあり、理想的な補正での変位量を少なくするのではなく、各係数ａijklの値を最適化することで視覚的に違和感の無いように調整することができる。
【００４０】
また、座標変換式における係数ａijklを操作することで補正後の画像（表示装置ＤＳＰに表示される画像）に対して意図的な変更を加えることができる。例えば、図６（ａ）に示すような通常に補正した後の画像に対して、ｘの１次の項の係数ａ1000を変更することで画像をｘ軸方向（横方向）に拡大することが可能であり（図６（ｂ）参照）、テレビカメラＣＡＭの光学系において画像の一部がけられてしまう場合に画像を意図的に拡大することで当該けられが表示されないようにすることができる。さらに、定数項ａ0000の変更を加えることで画像を横方向へ移動することもできる（図６（ｃ）参照）。あるいは、ｙの１次の項の係数ａ0010を変更すれば、画像の上端と下端における横方向の拡大倍率を異ならせて遠近感を加減することもできる（図６（ｄ）参照）。
【００４１】
ところで、座標変換式を用いて入力画像の座標を求めたとき、実際には存在しない座標、例えば、図７（ａ）における領域Ｓ内の座標に変換されてしまうと補正後の座標の画素値を求めることができないという不具合の生じる虞がある。そこで、座標変換式から求めた入力画像の座標（ｘ’，ｙ’）が実在しない座標（領域Ｓ内の座標）に相当するか否かを座標変換手段３において検証し、実在しない座標に相当している場合、画素値補正手段４において当該座標の画素値を所定値、例えば、黒色のような無彩色を表す値（データ）に設定すれば、補正後の画像においては実在しない座標（領域Ｓ’）が無彩色で表示されるために目立ちにくくできる（図７（ｂ）参照）。あるいは、実在しない座標の画素値を、当該座標と同一の水平ライン上に存在する実在の座標のうちで最も近い座標における画素値と同じ値に設定してもよい。また、ｘの１次の項の係数ａ1000を変更して画像を横方向に拡大することで実在しない座標（領域Ｓ’）が補正後の画像における表示範囲外となるようにすれば、上述のように画面の一部が無彩色で表示される場合と比べて画像品質を向上することができるという利点がある（図８参照）。
【図面の簡単な説明】
【００４２】
【図１】本発明の画像歪み補正方法を実現するための画像歪み補正装置のブロック図である。
【図２】（ａ），（ｂ）は入力画像の樽型歪みを横方向において補正する場合の説明図である。
【図３】（ａ）は画像歪みを補正する前の画像、（ｂ）は従来例の画像歪み補正を行った後の画像、（ｃ）は本発明の画像歪み補正方法で補正した後の画像を示す説明図である。
【図４】光軸と画像中心がずれている場合の説明図であり、（ａ）は補正前の画像、（ｂ）は光軸と画像中心が一致していると仮定して補正した後の画像、（ｃ）は本発明の画像歪み補正方法で補正した後の画像を示す説明図である。
【図５】（ａ），（ｂ）は立体的な被写体（人物）を撮像した画像の歪みを補正する場合の説明図である。
【図６】（ａ）〜（ｄ）は座標変換式における係数ａijklを変更して補正した後の画像の説明図である。
【図７】（ａ），（ｂ）は座標変換で求めた座標が入力画像に実在しない場合における本発明の画像歪み補正方法の説明図である。
【図８】座標変換で求めた座標が入力画像に実在しない場合における本発明の画像歪み補正方法の説明図である。
【符号の説明】
【００４３】
１  画像歪み補正装置
２  ラインバッファメモリ
３  座標変換手段
４  画素値補正手段
ＣＡＭ  テレビカメラ
ＤＳＰ  表示装置
【図１】
2008287430.tif 000007
【図２】
2008287430.tif 000008
【図３】
2008287430.tif 000009
【図４】
2008287430.tif 000010
【図５】
2008287430.tif 000011
【図６】
2008287430.tif 000012
【図７】
2008287430.tif 000013
【図８】
2008287430.tif 000014