(57)【要約】【課題】広角カメラ映像に代表される歪曲画像を、比較的小さな回路規模で、高速かつ高画質で補正することができる画像補正処理装置を提供すること。【解決手段】補正座標計算部１は、歪画像上における所定間隔の画素についての補正座標を計算し、計算結果を第一記憶部２に記憶させる。補正座標は、線形補間部３によって線形補間され、補正部４によって色収差が補正される。つまり、補正座標計算部１において、全画素について補正座標を計算するのではなく歪画像上における所定間隔の画素についてのみ補正座標を計算し、線形補間部３において、補正座標計算部１によって計算しなかった座標を補間する。これにより、計算量を低減できる。【選択図】図１
2011199359.tif 000002
【特許請求の範囲】
【請求項１】
歪画像を補正する画像補正処理装置であって、
前記歪画像上における所定間隔の画素についての補正座標を計算する補正座標計算手段と、
前記補正座標を線形補間する線形補間手段と、
前記線形補間手段の結果に対して色収差補正を行う色収差補正手段と、
を備える画像補正処理装置。
【請求項２】
前記歪画像は、広角カメラにより得られた映像である、
請求項１に記載の画像補正処理装置。
【請求項３】
回路を再構成できるデバイス上に、前記補正座標計算手段を構成して、前記所定間隔の画素についての補正座標を計算した結果を第一記憶手段に保持した後、前記デバイス上での前記補正座標計算手段の構成を解除し、前記デバイス上に、前記線形補間手段と前記色収差補正手段を構成する、
請求項１又は請求項２に記載の画像補正処理装置。
【請求項４】
前記色収差補正手段の出力を第二記憶手段に保持し、その後、前記回路を再構成できるデバイス上での前記線形補間手段、前記色収差補正手段の構成を解除し、前記デバイス上に、前記第二記憶手段に保持した歪み画像の位置座標周辺に対応する画像を読み込む画像読込手段と、前記画像読込手段によって読み込んだ画像を補間し、歪補正画像を出力する画像補間手段とを構成する、
請求項３に記載の画像補正処理装置。
【請求項５】
回路を再構成できるデバイス上に、前記補正座標計算手段を構成して、前記所定間隔の画素についての補正座標を計算した結果を第一記憶手段に保持した後、前記デバイス上での前記補正座標計算手段の構成を解除し、前記デバイス上に、前記線形補間手段を構成し、前記補正座標を線形補間した結果を第二記憶手段に保持して前記線形補間手段の構成を解除し、前記デバイス上に、前記色収差補正手段を構成する、
請求項１又は請求項２に記載の画像補正処理装置。
【請求項６】
前記回路を再構成できるデバイス上への前記各手段の構成、構成の解除および再構成を、前記歪画像上における所定間隔の画素毎に行う、
請求項３から請求項５のいずれか一項に記載の画像補正処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像補正処理装置に関し、特に、広角カメラ映像などの歪曲映像を補正する技術に関する。
【背景技術】
【０００２】
近年、監視や遠隔操作、ＴＶ会議、内視鏡に適用するカメラとして、広範囲を撮影できる広角レンズを用いたカメラの需要が見込まれる。しかし、広角カメラの撮影画像は、通常、歪曲する。特に周辺部の画像は、歪みが著しく、視認性が悪い。また、通常のカメラ映像とくらべ、色収差も大きい。
【０００３】
この問題を解決する手法として、特許文献１には、取得した魚眼画像を透視投影画像に変換し、該変換された画像をディスプレイに表示する装置が提案されている。
【０００４】
また、特許文献２には、倍率色収差を低コストに実現する装置が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表平６−５０１５８５号公報
【特許文献２】特開２００９−１７７７０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１にて提案されている装置では、視野角および倍率を指定し、マイクロコンピュータによって変換式を解き、２次元変換マップに変換テーブルを設定することにより、任意の領域にパン・チルト・回転・ズーム機能を得る。したがって、微小な視野角や倍率の変動に対してもその都度変換式を解かなければならないので、マイクロコンピュータの演算負担が大きいという問題がある。
【０００７】
また、上記特許文献２にて提案されている装置では、広角画像中心からの距離に応じて、色収差を正確に補正し高画質化する用途には向かないという問題がある。
【０００８】
リアルタイムに画像表示するための処理性能の向上手段として、歪補正のための２次元変換マップの計算回路をＬＳＩ／ＦＰＧＡ化する方法もある。しかしながら、この手法では、複雑な計算式を回路化するため、回路規模が増大して高コストとなる問題がある。さらに、歪補正と同時に、正確な色収差補正などの補正処理を実行することも考慮すると、さらに高コストな装置となる。
【０００９】
本発明はかかる点に鑑みてなされたものであり、広角カメラ映像に代表される歪曲画像を、比較的小さな回路規模で、高速かつ高画質で補正することができる画像補正処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像補正処理装置の一つの態様は、歪画像を補正する画像補正処理装置であって、前記歪画像上における所定間隔の画素についての補正座標を計算する補正座標計算手段と、前記補正座標を線形補間する線形補間手段と、前記補間手段の結果に対して色収差補正を行う色収差補正手段とを備える。
【００１１】
この構成によれば、補正座標計算手段の処理量または回路規模を削減することで、歪画像上の画素位置座標の計算結果の演算精度が低くなりまたは計算速度が低速になっても、処理量が少なくかつ高速に処理可能な線形補間手段によって座標計算結果の線形性が保たれ、色収差補正手段によって画素位置座標が補正されるので、歪画像上の画素位置座標情報から、画素を再配置して歪補正画像を構成しても、画質劣化を抑制しつつ、高速処理を実現できる。よって、歪曲画像を、比較的小さな回路規模で、高速かつ高画質で補正することができる。
【００１２】
本発明の画像補正処理装置の一つの態様は、回路を再構成できるデバイス上に、前記補正座標計算手段を構成して、前記所定間隔の画素についての補正座標を計算した結果を第一記憶手段に保持した後、前記デバイス上での前記補正座標計算手段の構成を解除し、前記デバイス上に、前記線形補間手段と前記色収差補正手段を再構成する。
【００１３】
この構成によれば、回路を再構成できるデバイスを、（ｉ）補正座標計算手段と、（ｉｉ）線形補間手段および色収差補正手段と、で共有化していることにより、回路規模をより小さくすることができる。特に、補正座標計算手段の処理と、色収差補正手段の処理は、共に大きな回路規模を必要とする処理であるが、これらの処理を同時に行わないように、回路を再構成できるデバイスの再構成の仕方を工夫しているので、回路を再構成できるデバイスの回路規模を小さくできる。
【発明の効果】
【００１４】
本発明によれば、歪曲画像を、比較的小さな回路規模で、高速かつ高画質で補正することができる画像補正装置を提供できる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１の画像補正処理装置の構成を示すブロック図
【図２】歪補正対象範囲と歪補正後画像とを示す図
【図３】実施の形態における歪補正後画像の様子を示す図
【図４】補正座標計算部および線形補間部での処理対象画素を示す図
【図５】色収差の補正の説明に供する図
【図６】実施の形態２の画像補正処理装置の構成を示すブロック図
【図７】実施の形態２の画像補正処理装置の処理手順を示すフローチャート
【図８】実施の形態３の画像補正処理装置の構成を示すブロック図
【図９】実施の形態３の画像補正処理装置の処理手順を示すフローチャート
【発明を実施するための形態】
【００１６】
本実施形態の画像補正処理装置は、監視や遠隔操作、ＴＶ会議、内視鏡などの用途に用いられる広角カメラにより得られた画像の歪みを、高速に補正するものである。
【００１７】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１８】
（実施形態１）
図１は、本発明の実施形態１に係る画像補正処理装置の構成例を示すブロック図である。
【００１９】
画像補正処理装置１００は、広角カメラ映像の歪を補正するための補正座標計算部１と、第一記憶部２と、線形補間部３と、色収差補正を行う補正部４とを備えている。
【００２０】
図２に示すように、ＸＹ軸上の広角カメラ映像１０から、歪補正対象範囲１１を切出し、ｘｙ軸上でＶＧＡサイズ（６４０×４８０）の歪補正後画像１２を得る場合の、歪補正座標演算と歪補正後の色収差補正とについて説明する。
【００２１】
まず、図２に示す歪補正後画像１２のＶＧＡ座標領域１８は、図３に示すように１６×１６画素の領域１７に分割される。図４は、１６×１６画素の領域１７を拡大して示した図である。補正座標計算部１は、１６画素毎に歪補正後座標を計算し、それを出力（Ｘ１６，Ｙ１６）１４として出力する。
【００２２】
このように、図３のＶＧＡ座標領域１８の１６画素毎の歪補正後画像１２の座標位置（ｘ１６，ｙ１６）１３に対応する図４の広角カメラ映像１０の画素座標位置（Ｘ１６，Ｙ１６）１４は、補正座標計算部１の計算式をＦ（ｘ１６，ｙ１６）とすると、以下のような計算で求められる。
（Ｘ１６，Ｙ１６）  ＝  Ｆ（ｘ１６，ｙ１６）・・・数式１
【００２３】
ここで、数式１では説明を簡単化するために、補正座標計算部１を簡単な計算式で表しているが、補正座標計算部１によって実際に行われるのは、曲面上の座標から平面上の座標への射影変換に相当するものであり、計算量が多くなる。そこで、本実施の形態では、全画素について補正座標を計算するのではなく、歪画像上における所定間隔の画素についてのみ補正座標を計算することで、計算量を低減する。
【００２４】
補正座標計算部１は、数式１の計算を１６画素毎に行い、ＶＧＡ座標領域１８全体にわたって歪補正後座標を計算する。補正座標計算部１は、計算結果を第一記憶部２に保持する。
【００２５】
次に、図４に示すように、線形補間部３は、第一記憶部２に保持されている補正座標計算部１の出力（Ｘ１６，Ｙ１６）１４を用いて、線形補間計算を行うことで、線形補間部３の出力（Ｘｄ，Ｙｄ）１５を得る。これにより、歪補正後画像１２の全ての座標位置に対応する広角カメラ映像１０の画素座標位置が得られる。
【００２６】
次に、補正部４は、図４の線形補間部３の出力１５に対して、色収差補正を行う。例えば、図５に示すように、補正座標計算部１の出力（Ｘ１６，Ｙ１６）１４、及び、線形補間部３の出力（Ｘｄ，Ｙｄ）１５と、広角カメラ映像中心座標２１までの距離２０に応じて、Ｒ，Ｇ，Ｂ独立に画素を移動させることで、線形補間部３の出力１５を補正する。これにより、正確に色収差を補正できる。この色収差補正処理は、例えば特許文献２にも開示されている既知の処理なので、ここでの詳しい説明は省略する。
【００２７】
ここで、図１の構成の処理を、ＣＰＵやＤＳＰのソフトウエアとして実装する場合について考える。
【００２８】
補正座標計算部１の処理は非線形な座標演算であるため処理量が多いが、線形補間部３の処理は線形演算であるため処理量が少ない。本実施の形態では、これを考慮して、図１のような構成をとり、補正座標計算部１において、全画素について補正座標を計算するのではなく歪画像上における所定間隔の画素についてのみ補正座標を計算し、線形補間部３において、補正座標計算部１によって計算しなかった座標を補間する。これにより、計算量を低減できる。
【００２９】
また、１６×１６画素領域内では座標演算結果の線形性が保たれるので、歪補正後画像１２全体を生成しても、画質の劣化は非常に小さい。さらに、処理速度を速くする目的で補正座標計算部１の演算精度を落としても、画質の劣化は非常に小さい。
【００３０】
次に、図１の構成の処理を、ＬＳＩやＦＰＧＡに回路として実装する場合について考える。
【００３１】
補正座標計算部１の処理は非線形な座標演算であるため回路規模が増大するが、線形補間部３の処理は線形演算であるため回路規模は小さく、高速処理が可能である。本実施の形態では、これを考慮して、図１のような構成をとり、さらに、補正座標計算部１を構成する演算器を補正座標計算部１内で共有化することで、回路規模の低減と高速処理とを両立できる。
【００３２】
つまり、補正座標計算部１は、全画素について補正座標を計算するのではなく歪画像上における所定間隔の画素についてのみ補正座標を計算するので、全画素について補正座標を計算するよりも、回路規模を低減できる。加えて、補正座標計算部１は、演算器を共有化して用いる（すなわち１つの演算器を複数の計算に用いる）ことで、一段と回路規模を低減できる。ここで、補正座標計算部１において演算器を共有化して用いると、演算に消費するクロックサイクル数は増えるが、補正座標計算部１は所定間隔の画素についてのみ補正座標を計算するので、処理速度の低下は抑制される。このように、図１の構成において、補正座標計算部１で演算器を共有化して用いることにより、回路規模の低減と高速処理とを両立できる。
【００３３】
以上のように、本実施の形態によれば、画像補正処理装置を、歪画像上における所定間隔の画素についての補正座標を計算する補正座標計算部１と、補正座標を線形補間する線形補間部３と、線形補間部３の結果に対して色収差補正を行う補正部４と、を備える構成とした。これにより、歪曲画像を、比較的小さな回路規模で、高速かつ高画質で補正することができる。
【００３４】
なお、上記の説明においては、具体例として、歪補正後画像１２のＶＧＡ座標領域を１６×１６画素の領域に分割するとしたが、歪補正後画像サイズ、画素の領域分割サイズは他のサイズでもよい。また、広角カメラ映像の歪を補正する場合について述べたが、他の歪画像を補正する場合にも適用できる。また、補正部４が色収差を補正する場合について述べたが、補正部４は座標操作による補正であれば他の補正を行ってもよい。また、補正座標計算部１、線形補間部３、補正部４は、ソフトウエア、回路の何れの実装形態で実施してもよい。これらは、後述する実施の形態２、３でも同様である。
【００３５】
（実施形態２）
図６は実施の形態２の画像補正処理装置の構成を示すブロック図、図７は図６の画像補正処理装置２００の処理手順を示すフローチャートである。
【００３６】
画像補正処理装置２００は、動的に回路を再構成できるデバイス３０と、第一記憶部２と、を備えている。動的に回路を再構成できるデバイス３０は、一般に、リコンフィギュラブルプロセッサと呼ばれるものである。
【００３７】
本実施の形態でも、実施の形態１と同様に、図２に示すように、ＸＹ軸上の広角カメラ映像１０から、歪補正対象範囲１１を切出し、ｘｙ軸上でＶＧＡサイズ（６４０×４８０）の歪補正後画像１２を得る場合の、歪補正座標演算と歪補正後の色収差補正とについて説明する。
【００３８】
まず、図２に示す歪補正後画像１２のＶＧＡ座標領域１８は、図３に示すように１６×１６画素の領域１７に分割される。図４は、１６×１６画素の領域１７を拡大して示した図である。
【００３９】
次に、図７を用いて、画像補正処理装置２００の処理について説明する。
【００４０】
先ず、画像補正処理装置２００は、ＳＴＥＰ１で、動的に再構成できるデバイス３０に、広角カメラ映像の歪を補正するための補正座標計算部１を構成する。
【００４１】
続くＳＴＥＰ２では、補正座標計算部１は、１６画素毎に歪補正後座標を計算し、それを出力（Ｘ１６，Ｙ１６）１４として出力する。その計算結果は第一記憶部２に保持される。補正座標計算部１により行われる計算は、実施の形態１で説明した通りである。
【００４２】
次にＳＴＥＰ３では、補正座標計算部１の構成を、動的に回路を再構成できるデバイス３０上から解除する。
【００４３】
次にＳＴＥＰ４では、動的に回路を再構成できるデバイス３０上に、線形補間部３と色収差補正を行う補正部４とを構成する。
【００４４】
次に、ＳＴＥＰ５では、図４に示すように、線形補間部３は、第一記憶部２に保持されている補正座標計算部１の出力（Ｘ１６，Ｙ１６）１４を用いて、線形補間処理を行うことで、線形補間部３の出力（Ｘｄ，Ｙｄ）１５を得る。これにより、歪補正後画像１２の全ての座標位置に対応する広角カメラ映像１０の画素座標位置が得られる。
【００４５】
さらに、ＳＴＥＰ５では、補正部４が、線形補間部３の出力１５に対して、色収差補正を行う。
【００４６】
以上のように、本実施の形態によれば、回路を再構成できるデバイス３０上に、補正座標計算部１を構成して、歪画像上における所定間隔の画素についての補正座標を計算し、その結果を第一記憶部２に保持した後、デバイス３０上での補正座標計算部１の構成を解除し、デバイス３０上に、線形補間部３と補正部４を再構成した。これにより、実施の形態１と同様に、補正座標計算部１による計算、線形補間部３による線形補間、および、補正部４による色収差補正を行うので、実施の形態１と同様に、歪曲画像を、比較的小さな回路規模で、高速かつ高画質で補正することができる。
【００４７】
加えて、本実施の形態では、デバイス３０を、（ｉ）補正座標計算部１と、（ｉｉ）線形補間部３および補正部４と、で共有化していることにより、実施の形態１よりも回路規模をより小さくすることができる。
【００４８】
ちなみに、図５に示すように、高画質化のために広角カメラ映像中心座標からの距離に応じて色収差補正を行う補正部４は、補正精度が高い一方で、処理が複雑で回路規模が増大する。しかし、本実施の形態のように、デバイス３０の構成を、（ｉ）補正座標計算部１と、（ｉｉ）線形補間部３および補正部４と、で動的に切り替えることによって、デバイス３０上に、（ｉ）補正座標計算部１と、（ｉｉ）線形補間部３および補正部４とを、同時に実装する必要がないため、全体的な回路規模が小さくて済む。
【００４９】
また、デバイス３０上への前記各手段の構成、構成の解除および再構成を、歪画像上における所定間隔の画素毎（実施の形態の場合、図４に示したような、１６画素×１６画素の領域毎）に行うようにしたので、第一記憶部２のメモリ容量が小さくて済む。
【００５０】
なお、線形補間部３および補正部４は、別々に構成してもよい。
【００５１】
（実施形態３）
図８は実施の形態３の画像補正処理装置の構成を示すブロック図、図９は図８の画像補正処理装置３００の処理手順を示すフローチャートである。
【００５２】
画像補正処理装置３００は、動的に回路を再構成できるデバイス３０と、第一記憶部２と、第二記憶部３１と、を備えている。
【００５３】
本実施の形態でも、実施の形態１と同様に、図２に示すように、ＸＹ軸上の広角カメラ映像１０から、歪補正対象範囲１１を切出し、ｘｙ軸上でＶＧＡサイズ（６４０×４８０）の歪補正後画像１２を得る場合を説明する。
【００５４】
まず、図２に示す歪補正後画像１２のＶＧＡ座標領域１８は、図３に示すように１６×１６画素の領域１７に分割される。図４は、１６×１６画素の領域１７を拡大して示した図である。
【００５５】
次に、図９を用いて、画像補正処理装置３００の処理について説明する。
【００５６】
先ず、画像補正処理装置３００は、図９のＳＴＥＰ１で、動的に再構成できるデバイス３０に、広角カメラ映像の歪を補正するための補正座標計算部１を構成する。続くＳＴＥＰ２では、補正座標計算部１は、１６画素毎に歪補正後座標を計算し、それを出力（Ｘ１６，Ｙ１６）１４として出力する。その計算結果は第一記憶部２に保持される。補正座標計算部１により行われる計算は、実施の形態１で説明した通りである。
【００５７】
次にＳＴＥＰ３では、補正座標計算部１の構成を、動的に回路を再構成できるデバイス３０上から解除する。
【００５８】
次にＳＴＥＰ４では、動的に回路を再構成できるデバイス３０上に、線形補間部３と色収差補正を行う補正部４とを構成する。
【００５９】
次に、ＳＴＥＰ５では、図４に示すように、線形補間部３は、第一記憶部２に保持されている補正座標計算部１の出力（Ｘ１６，Ｙ１６）１４を用いて、線形補間処理を行うことで、線形補間部３の出力（Ｘｄ，Ｙｄ）１５を得る。これにより、歪補正後画像１２の全ての座標位置に対応する広角カメラ映像１０の画素座標位置が得られる。
【００６０】
さらに、ＳＴＥＰ５では、補正部４が、線形補間部３の出力１５に対して、色収差補正を行い、補正部４の出力（Ｘｃ，Ｙｃ）が、第二記憶部３１に保持される。
【００６１】
次に、ＳＴＥＰ６では、線形補間部３と補正部４の構成を、動的に回路を再構成できるデバイス３０上から解除する。
【００６２】
次に、ＳＴＥＰ７では、動的に回路を再構成できるデバイス３０上に、第二記憶部３１に保持した、色収差補正後の補正部４の出力（Ｘｃ，Ｙｃ）の座標周辺に対応する広角カメラ映像１０を読み込む画像読込部と、画像補間部とを、再構成する。
【００６３】
次に、ＳＴＥＰ８では、色収差補正後の補正部４の出力（Ｘｃ，Ｙｃ）の座標周辺に対応する広角カメラ映像１０を読み込む部で読み込んだ画像から、画像補間部にて、色収差補正後の補正部４の出力（Ｘｃ，Ｙｃ）の座標に対応する画素を補間により計算し、歪補正後画像として出力する。
【００６４】
以上のように、本実施の形態によれば、実施の形態２の構成に加えて、補正部４の出力を第二記憶部３１に保持し、その後、回路を再構成できるデバイス３０上での線形補間部３、補正部４の構成を解除し、デバイス３０上に、第二記憶部３１に保持した歪み画像の位置座標周辺に対応する画像を読み込む画像読込部と、画像読込部によって読み込んだ画像を補間し、歪補正画像を出力する画像補間部とを再構成した。これにより、デバイス３０を、（ｉ）補正座標計算部１と、（ｉｉ）線形補間部３および補正部４と、（ｉｉｉ）画像読込部および画像補間部と、で共有化していることにより、画像読込部および画像補間部の回路を別途設ける必要がないので、回路規模をより小さくすることができる。
【００６５】
なお、画像補間部は、例えば一般的なバイキュービック補間やバイリニア補間を行うものであってもよく、超解像技術を用いた補間方法などであってもよい。
【００６６】
本発明は、上述した実施の形態１〜３において示された事項に限定されず、この明細書の記載、並びに周知の技術に基づいて、当業者がその構成や動作の一部分に変更を加えたり、応用することも可能であることはいうまでもない。
【産業上の利用可能性】
【００６７】
本発明にかかる画像補正処理装置は、例えば広角カメラ映像の歪曲を補正するのに用いて好適である。
【符号の説明】
【００６８】
１  補正座標計算部
２  第一記憶部
３  線形補間部
４  補正部
３０  動的に回路を構成できるデバイス
３１  第二記憶部
１００、２００、３００  画像補正処理装置
【図１】
2011199359.tif 000003
【図２】
2011199359.tif 000004
【図３】
2011199359.tif 000005
【図４】
2011199359.tif 000006
【図５】
2011199359.tif 000007
【図６】
2011199359.tif 000008
【図７】
2011199359.tif 000009
【図８】
2011199359.tif 000010
【図９】
2011199359.tif 000011