(57)【要約】【課題】画像変換処理において、少ない記憶容量で高精度な補間を行うことができる画像変換装置を提供する。【解決手段】第１の画像を第２の画像に変換する画像変換装置１０は、第１の画像を記憶する画像記憶部４と、第２の画像の画素毎に、当該第２の画像の画素の画素値を算出するための第１の画像の位置に関する情報であって、第１の画像の画素を示す参照座標及び当該参照座標からの相対位置（サブ領域）からなる座標変換テーブルを記憶するテーブル記憶部５と、第１の画像の参照座標に示される画素の画素値、及び、この参照座標の近傍に位置する第１の画像の画素の画素値を、相対位置に対応する演算式により演算して第２の画像の画素の画素値を算出することにより、第１の画像から第２の画像への画像変換を行う画像処理部３と、を有する。【選択図】図１
2012128476.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像を第２の画像に変換する画像変換装置であって、
前記第１の画像を記憶する画像記憶部と、
前記第２の画像の画素毎に、当該第２の画像の画素の画素値を算出するための前記第１の画像の位置に関する情報であって、前記第１の画像の画素を示す参照座標及び当該参照座標からの相対位置からなる座標変換テーブルを記憶するテーブル記憶部と、
前記第１の画像の前記参照座標に示される画素の画素値、及び、前記参照座標の近傍に位置する前記第１の画像の画素の画素値を、前記相対位置に対応する演算式により演算して前記第２の画像の画素の画素値を算出することにより、前記第１の画像から前記第２の画像への画像変換を行う画像処理部と、を有することを特徴とする画像変換装置。
【請求項２】
前記座標変換テーブルの前記相対位置は、前記第１の画像を当該第１の画像の画素毎に当該画素を含む複数の領域に分割し、さらに、前記領域を複数のサブ領域に分割したときの、前記参照座標を含む前記領域における前記サブ領域を示すものであることを特徴とする請求項１に記載の画像変換装置。
【請求項３】
前記画像処理部で前記第２の画像の画素値を算出するための前記参照座標の近傍に位置する前記第１の画像の画素は、前記参照座標の画素に隣接する画素であることを特徴とする請求項１または２に記載の画像変換装置。
【請求項４】
前記座標変換テーブルの前記参照座標は、当該座標変換テーブルにおいて隣接する前記参照座標からの差分として記憶されていることを特徴とする請求項１〜３のいずれか一項に記載の画像変換装置。
【請求項５】
前記第１の画像は等距離射影画像であって、前記第２の画像は中心射影画像であることを特徴とする請求項１〜４のいずれか一項に記載の画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置に関する。
【背景技術】
【０００２】
魚眼レンズで撮影された等距離射影画像を、歪みのない中心射影画像に変換する画像変換装置においては、特許文献１に示すような画像の変換方法が用いられている。この特許文献１に開示された画像変換装置では、中心射影画像の画素に対応する等距離射影画像上の位置の周囲にある画素の画素値を、その位置に応じて重み付けをして加算することにより、高精度な補間を行い、変換後の中心射影画像における被写体の輪郭を滑らかにするように構成されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４６０９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法によると、中心射影画像の各々の座標（出力座標）と、この出力座標における画素値を求めるための等距離射影画像の複数の座標及びそれぞれの重みとを対応付けて記憶する必要があるため、記憶領域が大きくなってしまうという課題があった。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、画像変換処理において、少ない記憶容量で高精度な補間を行うことができる画像変換装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明に係る画像変換装置は、第１の画像を第２の画像に変換する画像変換装置であって、第１の画像を記憶する画像記憶部と、第２の画像の画素毎に、当該第２の画像の画素の画素値を算出するための第１の画像の位置に関する情報であって、第１の画像の画素を示す参照座標及び当該参照座標からの相対位置からなる座標変換テーブルを記憶するテーブル記憶部と、第１の画像の参照座標に示される画素の画素値、及び、この参照座標の近傍に位置する第１の画像の画素の画素値を、相対位置に対応する演算式により演算して第２の画像の画素の画素値を算出することにより、第１の画像から第２の画像への画像変換を行う画像処理部と、を有することを特徴とする。
【０００７】
このような画像変換装置において、座標変換テーブルの相対位置は、第１の画像を当該第１の画像の画素毎に当該画素を含む複数の領域に分割し、さらに、この領域を複数のサブ領域に分割したときの、参照座標を含む領域におけるサブ領域を示すものであることが好ましい。
【０００８】
また、このような画像変換装置において、画像処理部で第２の画像の画素値を算出するための参照座標の近傍に位置する第１の画像の画素は、参照座標の画素に隣接する画素であることが好ましい。
【０００９】
また、このような画像変換装置において、座標変換テーブルの参照座標は、当該座標変換テーブルにおいて隣接する参照座標からの差分として記憶されていることが好ましい。
【００１０】
また、このような画像変換装置において、第１の画像は等距離射影画像であって、第２の画像は中心射影画像であることが好ましい。
【発明の効果】
【００１１】
本発明に係る画像変換装置を以上のように構成すると、テーブル記憶部に記憶される座標変換テーブルの容量が小さくなるため、画像変換処理において、少ない記憶容量で高精度な補間を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】画像変換装置の構成を示すブロック図である。
【図２】画像における画素値の管理方法を説明するための説明図である。
【図３】画素値を補間して求めるための領域及びサブ領域を説明するための説明図である。
【図４】座標変換テーブルのデータ構造を示す説明図である。
【図５】本実施形態に係る画像変換方法を説明するためのフローチャートである。
【図６】領域及びサブ領域の定義についての他の実施形態を示す説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の好ましい実施形態について図面を参照して説明する。まず、図１を用いて、本実施形態に係る画像変換装置の構成について説明する。この画像変換装置１０は、魚眼レンズを含み、被写体の像を結像する撮像光学系１と、ＣＣＤやＣＭＯＳ等で構成され、撮像光学系１により結像された像を検出する撮像素子２と、撮像素子２で検出された第１の画像（以下、「等距離射影画像」として説明する）を第２の画像（以下、「中心射影画像」として説明する）に変換する画像処理部３と、撮像素子２で検出され、画像処理部３により取り込まれた等距離射影画像を一次的に記憶する画像記憶部４と、等距離射影画像から中心射影画像に変化するときに用いられる情報（座標変換テーブル）を記憶するテーブル記憶部５と、から構成される。なお、画像処理部３は、ＣＰＵを有し、本実施形態に係る画像変換方法を有するプログラムを実行して、上記画像変換を行うように構成しても良いし、ＡＳＩＣやＤＳＰとして構成し、本実施形態に係る画像変換方法を論理回路として実装しても良い。また、画像記憶部４は、ＳＲＡＭ等の揮発性メモリで構成され、テーブル記憶部５は、フラッシュメモリ等の不揮発性メモリで構成される。さらに、画像処理部３で変換された中心射影画像は、図示しない処理部に渡され利用される。
【００１４】
ここで、等距離射影画像及び中心射影画像を処理する際のデータ構造について図２を用いて説明する。この図２は、１枚の画像を示し、その幅がＷピクセル（画素）、縦がＨピクセル（画素）で構成されているとする。本実施形態に係る画像変換装置１０では、図２に示すように座標が（ｘ，ｙ）で示されるデータを１次元データとし、（ｙ＊Ｗ＋ｘ）番目のデータとして管理している。このようなデータ構造は、例えば、画像を、左上から右下に向かって、撮像素子２の各画素で検出される値（画素値）を、水平方向に順に取り出して一次元的に並べたものである。図１に示す画像記憶部４には、撮像素子２から取得された等距離射影画像が記憶されるが、この画像は、座標（ｘ，ｙ）における画素値（輝度値）をＰ（ｘ，ｙ）として、この値が撮像素子２の画素数分、上述の順序で一次元的に並んで記憶される。
【００１５】
ところで、等距離射影画像から中心射影画像に変換する際に、中心射影画像を、上記画素（ピクセル）単位で表すと、この中心射影画像の各々の画素に対応する等距離射影画像上の座標は、その画素の位置に一致するとは限らない。そのため、等距離射影画像の特定の位置における画素値（輝度値）は、その周辺の画素で取得された画素値から演算式を用いて補間して求める必要がある。この補間方法について、図３を用いて説明する。
【００１６】
図３において、等距離射影画像のある座標（ｘ，ｙ）の画素を中心とした９つの画素の各々は、矩形の領域Ｚで囲まれている。ここで、各画素は領域Ｚの中心に位置し、また、各領域Ｚは、さらに、９つのサブ領域Ｚ１〜Ｚ９に分割されている。今、各画素の画素値（輝度値）をＰ（ｘ，ｙ）で表すと、各サブ領域Ｚ１〜Ｚ９における補間された画素値（輝度値）Ｐｚ１〜Ｐｚ９は、次の演算式（１）〜（９）により求められる。
【００１７】
Pz1=(P(x-1,y+1)+P(x,y-1)+P(x-1,y)+P(x,y))/4      （１）
Pz2=(P(x,y-1)+P(x,y))/2                          （２）
Pz3=(P(x,y-1)+P(x+1,y+1)+P(x,y)+P(x+1,y))/4      （３）
Pz4=(P(x-1,y)+P(x,y))/2                          （４）
Pz5=P(x,y)                                       （５）
Pz6=(P(x,y)+P(x+1,y))/2                          （６）
Pz7=(P(x-1,y)+P(x,y)+P(x-1,y)+P(x,y+1))/4        （７）
Pz8=(P(x,y)+P(x,y+1))/2                          （８）
Pz9=(P(x,y)+P(x+1,y)+P(x,y+1)+P(x+1,y+1))/4      （９）
【００１８】
以上より、ある領域Ｚ内の点を、サブ領域Ｚ１〜Ｚ９のいずれに属するかにより特定すると、その領域の中心にある画素の座標である参照座標（ｘ，ｙ）、及び、サブ領域Ｚ１〜Ｚ９のいずれに属するかの情報に基づいて、等距離射影画像の参照座標上の画素の画素値と、この参照座標の近傍にある（本実施形態では、参照座標に隣接する）画素の画素値とから、中心射影画像における出力座標の画素値（輝度値）を上記演算式（１）〜（９）を用いることにより求めることができる。このように、画素値を求めようとする位置の近傍にある座標（参照座標）の画素値とその近傍にある（隣接する）画素の画素値とを用いて補間することより、例えば中心射影画像における被写体の輪郭等のエッジ部分をなめらかにすることができる。
【００１９】
図４は、テーブル記憶部５に記憶されている座標変換テーブル５０のデータ構造を示している。このように、座標変換テーブル５０は、出力座標（変換後の中心射影画像の座標）毎に、その出力座標を算出するための、参照座標（元になる等距離射影画像の画素の座標）５１及びその参照座標を含む領域Ｚにおけるサブ領域（の識別子）５２が記憶されている。なお、等距離射影画像及び中心射影画像のサイズ（横方向のピクセル数×縦方向のピクセル数）は既知であるため、その格納順序さえ決めておけば、座標変換テーブル５０に出力座標を記憶させておく必要はない。
【００２０】
図５を用いて、撮像素子２から等距離射影画像を読み出して、中心距離射影画像に変換して出力する本実施形態に係る画像変換方法であって、画像処理部３で実行される処理について説明する。まず、画像処理部３は、撮像素子２から一枚の画像（等距離射影画像）を読み出し、画像記憶部４に記憶する（ステップＳ１００）。次に、テーブル記憶部５に記憶されている座標変換テーブル５０から、参照座標５１及びサブ領域５２の値を、記憶されている順序で読み出す（ステップＳ１１０）。なお、このとき、１レコードずつ読み出しても良いし、複数レコードまとめて読み出しても良い。
【００２１】
そして、読み出した参照座標及びサブ領域毎に出力座標の画素値を、上述の演算式（１）〜（９）を用いて求める（ステップＳ１２０）。具体的には、参照座標に基づいて画像記憶部４から、その参照座標を含む９個の座標の画素値を読み出し、さらに、上述の演算式（１）〜（９）の中から、サブ領域に対応した演算式を選択し、その演算式に基づいて当該サブ領域の画素値を算出する。なお、サブ領域から演算式を決定し、その式に必要な画素の画素値を画像記憶部４から取り出して演算を行うように構成しても良い。演算された結果は、中心射影画像の出力座標における画素値として、この画像処理部３から外部に出力される（ステップＳ１３０）。上記演算結果の出力が終わると、全ての中心射影画像の画素の演算が終わったか否かを判断し（ステップＳ１４０）、まだ演算していない画素がある場合は、ステップＳ１１０に戻って上記処理を繰り返す。全ての画素について演算（変換）が終わっていると判断したときは、撮像素子２から取り出された一枚の等距離射影画像の中心射影画像への変換を終了する。なお、撮像素子２から連続して画像を撮りだして動画像として処理する場合は、上述のステップＳ１００〜Ｓ１４０を、繰り返し実行することにより実現可能である。また、２以上の撮像光学系１及び撮像素子２の組を用いて被写体を立体視する場合には、それぞれの撮像素子２から出力される画像を上記手順に従って処理することにより、画像変換を行うことが可能である。
【００２２】
上述のように、座標変換テーブル５０のレコードは、予め決められた出力座標の順序で並べられているので、その順序で参照座標及びサブ領域を取り出して出力座標の画素値を算出して出力すれば、所望の中心射影画像を得ることができる。また、この画像変換装置１０に予め記憶させておくテーブルは、上述のようにテーブル記憶部５に記憶されている座標変換テーブル５０のみである。そして、この座標変換テーブル５０は、各出力座標に対して、参照座標とサブ領域の情報の組だけを記憶しているため、非常に小さなデータ容量とすることができる。そのため、本実施形態に係る画像変換装置１０の画像処理部３（及びテーブル記憶部５）に記憶容量が小さなＡＳＩＣやＤＳＰを用いることもできる。
【００２３】
なお、以上の説明では、撮像素子２で取得された等距離射影画像の各画素に対して、その画素を中心に含む矩形の領域Ｚに分割して補間値を求める方法について説明したが、この領域Ｚの配置は上記説明に限定されない。例えば、図６に示すように、矩形の頂点に各画素が位置するように領域Ａを決定し、何れかの座標（例えば、左上の座標）を参照座標とし、この領域を複数のサブ領域（例えば、図６では、４×４の１６のサブ領域Ｚ１〜Ｚ１６）に分割しても、参照座標とサブ領域の組で、上述の座標変換テーブル５０を構成することができる。この図６に示す場合、各サブ領域における画素値（輝度値）は、領域Ｚを囲む４つの画素の画素値から所定の演算式に基づいて算出される。また、演算式は、領域Ｚの配置、サブ領域の分割数や大きさに応じて決定される。また、サブ領域の形状は、図３に示すように、領域毎にその大きさを変えても良いし、図６に示すように、同じ大きさで分割しても良い。
【００２４】
また、上述の説明において、座標変換テーブル５０の参照座標５１には、対応する座標の値が記憶されているが、一つ前のレコードの座標との差分を記憶するように構成すると、座標のデータのサイズが小さくなるので、座標変換テーブル５０の容量、すなわち、テーブル記憶部５の記憶容量を更に小さくすることができる。この場合、最初のレコードの座標は、別途記憶してある基準座標からの差分とすることができる。上述のように、この座標変換テーブル５０のレコード（参照座標５１とサブ領域５２の組）は、出力座標に対応して一意に決まり、この出力座標は、例えば、画像の左上から右下に向かって水平方向の画素の座標が順に一次元状に並んでいる。そのため、この出力座標に対応する参照座標も、隣接する座標に対しては、距離が大きく離れていない座標が並ぶことになり、差分の値は大きくならない場合が多いためである。
【符号の説明】
【００２５】
３  画像処理部    ４  画像記憶部    ５  テーブル記憶部
１０  画像変換装置    ５０  座標変換テーブル
【図１】
2012128476.tif 000003
【図２】
2012128476.tif 000004
【図３】
2012128476.tif 000005
【図４】
2012128476.tif 000006
【図５】
2012128476.tif 000007
【図６】
2012128476.tif 000008