(57)【特許請求の範囲】
【請求項１】
撮像レンズを介して得られた撮像データにおける、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理のうちの少なくとも一つの画像変換処理を実施すると共に、任意画像を含む出力画像データを得るための画像処理方法であって、
前記撮像データを記憶する撮像データメモリに一種類以上の色信号を記憶した付加領域を用意すると共に、前記出力画像データのアドレスと対応する前記撮像データのアドレスを記憶したルックアップテーブルを用意し、前記任意画像を構成する画素の前記出力画像中のアドレスに対応した前記ルックアップテーブルのアドレスに、前記付加領域の色信号のアドレスを記憶させ、
前記ルックアップテーブルを参照して前記出力画像データのアドレスに対応する前記撮像データのアドレスから出力画像を生成すると共に、前記出力画像に描画する任意画像のアドレスに前記付加領域から読み出した色データを出力することを特徴とする画像処理方法。
【請求項２】
前記ルックアップテーブルを参照して前記出力画像データのアドレスに対応する前記撮像データのアドレスから出力画像を生成する画像変換処理に際し、前記ルックアップテーブルから取得した前記撮像データアドレスが存在しないとき、前記撮像データアドレス周囲の撮像データを用いて補間処理により撮像データを算出することを特徴とする請求項１に記載した画像処理方法。
【請求項３】
撮像レンズと、
該撮像レンズを介して得られた像を光電変換する撮像素子と、
該撮像素子の出力信号を処理して映像データに変換する映像信号処理部と、
該映像信号処理部により処理された映像データを記憶する映像データ領域と、一種類以上の色信号を記憶する付加領域とを有した撮像データメモリと、
該撮像データメモリに記憶されたデータから出力画像データを生成する座標変換処理部とからなり、
該座標変換処理部は、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理のうちの少なくとも一つを実施するため、前記出力画像データのアドレスと対応する前記撮像データのアドレスを記憶したルックアップテーブルを有し、
該ルックアップテーブルにおける、前記出力画像中に表示する任意画像を構成する画素のそれぞれに対応したアドレスに、前記撮像データメモリにおける付加領域の色信号のアドレスを記憶していることを特徴とする撮像装置。
【請求項４】
前記座標変換処理部は、前記ルックアップテーブルから取得した前記撮像データアドレスを用い、前記出力画像データのアドレスに対応する画像データを生成する補間処理部を有することを特徴とする請求項３に記載した撮像装置。
【請求項５】
前記ルックアップテーブルに記憶させる撮像データアドレスは、それぞれ複数のビットで構成される上位ビットと下位ビットからなるビット列データとし、前記撮像データメモリにおける水平走査方向（ｘ方向）アドレスを上位若しくは下位のいずれかのビットに、垂直走査方向（ｙ方向）アドレスを前記水平走査方向アドレスが配されなかった下位若しくは上位ビットに配したことを特徴とする請求項３または４に記載した撮像装置。
【請求項６】
前記撮像レンズは、広角レンズ、若しくは魚眼レンズであることを特徴とする請求項３乃至５のいずれかに記載した撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理方法と該画像処理方法を用いた撮像装置に係り、特に、撮像レンズの歪曲収差で歪んだ画像や、俯瞰撮影やあおり撮影によって被写体の遠近での歪みが不自然になった画像などの補正、撮像した画像の視点を変更した画像の生成、撮像した画像の鏡像反転、電子ズーム処理など、種々の画像処理を高速に行えるようにすると共に、任意画像を出力画像中に描画できるようにした、画像処理方法と該画像処理方法を用いた撮像装置に関するものである。
【背景技術】
【０００２】
一般にカメラ等に用いられる撮像レンズには、球面収差、非点収差、コマ収差などの様々な収差が存在する。その中で、撮影された画像が幾何学的に歪む収差が歪曲収差と云われ、この歪曲収差を少なくする方法としては、極力、歪曲収差を抑えたレンズ設計を行うのが一般的である。
【０００３】
しかしながら特殊な用途においては、こういった歪曲収差をそのまま残したレンズが用いられている。例えば車の後部に設置して後方確認のための撮像を行うモニタ撮像装置などでは、車のバック時、車の存在は認識していてもバックするなどと思わずに近寄ってくる歩行者などを確実に発見できるよう、超広角の非常に広範囲を撮像することができる魚眼レンズなどが用いられる。また、玄関に設置して来訪者を撮像するモニタ撮像装置などでも、例え不審者がモニタに表示されるのを嫌って撮像装置からは斜めとなるような位置にいても、この不審者を撮像できるように超広角の撮影範囲を有した魚眼レンズなどのレンズが使われている。
【０００４】
こういった用途に使われるレンズでは、超広角を撮像することが歪曲収差の補正より優先されているため、魚眼レンズのように大きな歪曲収差があってもそのままとすることが多い。しかしながら魚眼レンズでは、１８０°近くの視野を画面に納める関係上、画像の周辺部のものが大きく歪曲し、周辺に映っているものが人なのか電柱なのかわかりにくい場合があるといった問題がある。
【０００５】
また、図６（Ａ）、（Ｂ）に示したように、撮像装置４１を車４０の後部４２に取り付けて、バック時に後方を撮像して表示装置に表示し、車庫入れなどが容易に行えるようにすることも行われている。この図６において（Ｃ）は撮像装置４１の取り付け状態を示した拡大断面図、（Ｄ）は撮像装置４１の取り付け位置の拡大図であり、この場合の撮像装置４１は、前記した魚眼レンズや通常の広角レンズが用いられるが、撮像装置４１が車４０の後部４２に、図６（Ｃ）のように斜めに地面に向けて取り付けられることが多い。
【０００６】
そのため、例え通常の広角レンズが用いられても図７（Ａ）に示したように、得られる画像は俯瞰撮影となって表示される画像は手前のものが大きく、遠くのものが小さいあおりの効いた画像となる。なお、この図７（Ａ）において４５は例えばコンクリート製の壁が立ち上がっている位置、４６は車輪止め、４７は駐車位置を示す線である。しかしながら、このようにあおりの効いた画像を頼りにバックしながら駐車場に駐車しようとすると、運転している車と車止め４６までの距離が感覚的につかめず、結局表示画面を見ないで窓やドアを開けて後方確認しながらバックする、ということになって、せっかくの撮像装置や表示装置が活用されないということが起こる。
【０００７】
このような場合、レンズにより結像された像を撮像素子からの画像信号として取り込む撮像装置では、銀塩式フィルムのカメラとは異なり、歪んだりあおりが効いた画像をデータ上で補正することが可能である。
【０００８】
すなわち図７（Ｂ）に示したように、表示画像における近くのものも遠くのものも同じ大きさとなるよう画像データを補正し、駐車線４７が平行になるように表示すると共に、車の後部４１から例えば１ｍ程度の位置に４８のように色線を表示し、運転している車の位置と車止め４６などまでの距離がわかるようにすれば、運転者は感覚的に、一目で自分の車の後部４１と車止め４６、あるいは壁４５までの距離を知ることができて非常に便利である。
【０００９】
さらに車の後部に設置された撮像装置では、撮像装置の取り付け位置により、図８（Ａ）に示したような多少やぶにらみとなった画像を図８（Ｂ）に示したように、運転席から後部窓を通してみたような画像、あるいは図７（Ｂ）のように近くのものも遠くのものも同じ大きさとなるよう補正した画像と、前記したように車の後部４１から例えば１ｍ程度の位置に４８のように色線を表示できれば、より、撮像装置（後方表示装置）３１の利用価値が高まる。
【００１０】
また、所謂デジカメでは、例えば図９（Ａ）のような撮像画像のうち、中心部など、任意の部分を図９（Ｂ）のように拡大する電子ズーム処理や、図１０（Ａ）のような撮像画像を図１０（Ｂ）のように鏡に映したような画像にする鏡像反転など、種々の画像処理が要望される場合もある。すなわち、デジカメを手に持ってレンズを自分の方に向け、例えば撮影者が見ることのできる表示装置に撮像画像を表示しながら自分を撮影するような場合（自分撮り）、自分をもっと画面の中央に映るようにしようと自分が中央に来ると思う方向にカメラを動かすと、そのままではカメラを動かす方向と画面の方向が逆となるため、画面上では自分が中央から離れる方向に動かしてしまう場合がある。
【００１１】
しかし、鏡像反転させるとカメラを動かした方向が自分の思う方向になり、こういったことを防ぐことができる。また、電子ズームで拡大処理をしながら自分撮りをするような場合は少しの動きが増幅されるため、上記したように鏡像反転せずに思う方向と動く方向が逆の場合、画面から自分が消えてしまって元に戻すのが難しかったりするが、鏡像反転するとこういったことがなくなり、自分を撮影する状態をよりよく確認することができる。また、こういった鏡像反転や電子ズーム処理においても、例えば現在は鏡像反転中であるとか、光学ズームではなくて電子ズーム中である旨を画像や文字で表示できればユーザーにとって好ましい。
【００１２】
そしてこのように、撮像レンズが歪曲収差を有したり、撮像装置が上方に取り付けられて撮像された画像にあおりによる歪みなどが存在する場合、それを補正した画像を得るためには、まず被写体上の各点が歪曲収差や俯瞰撮影によって実際に結像する位置と、歪曲収差がない場合に結像する位置やあおりを補正した結像位置との対応関係を調べる。そして、撮像素子から得られた撮像データを収容した画像データ格納用メモリから、そのデータを出力する際に出力アドレス毎に、画像データ格納用メモリにおけるどのアドレスの撮像データを読み出せば、被写体上の各点における収差やあおりが補正されたデータとして出力できるかを算出することで、撮像レンズに起因する画像歪みやあおりを補正した出力画像データを得ることができる。これは前記図９や図１０に示したような電子ズームや鏡像反転の場合も同じである。
【００１３】
こういった撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理等を行いながら、前記図７や図８に示したような色線を表示したり、現在は鏡像反転中であるとか、光学ズームではなくて電子ズーム中である旨を、画像や文字で表示することに関しては、例えば特許文献１に、車両周辺の状況を撮像して映像信号を取得するテレビカメラと、前記映像信号に対し歪曲補正、視点変換等を施して画像信号を生成する座標変換部，領域指定部，及び画像信号生成部と、前記車両（自車）を示すための描画信号を生成する描画信号生成部と、前記生成された画像信号と前記生成された描画信号とを合成して表示信号を生成する画像合成部と、前記表示信号に基づいて画像の表示を行うディスプレイとを備え、車両周囲の状況と自車を表す図形とを同一画面に表示し、誤検出し易い白線検出等を行うことなく、運転者に対して走行レーンの境界を確実に表示することができるようにした車両周辺表示装置が示されている。
【００１４】
また特許文献２には、一つの共通のＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）データから、解像度の異なる映像フォーマットに、簡便な仕組みで、かつ、ＯＳＤの品位を落とすことなく多重化する技術を提供するため、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像信号を映像解像度変換部によりＮＴＳＣやＰＡＬ等のＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）映像信号に変換し、メモリ制御部にＨＤ映像信号を分周して得られたＳＤ映像と同様の同期信号、ＳＤ映像信号に基づく同期信号を供給して、それぞれの同期信号に基づき、メモリよりＯＳＤデータ（１画素４ビット）を読み出してＳＤ映像信号と合成され、出力するようにした映像装置及び撮像装置が開示されている。
【００１５】
【特許文献１】特開２００２−１２７８５２号公報
【特許文献２】特開２００５−３２６６８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、特許文献１に示された車両周辺表示装置は、車両周辺の映像信号に自車の描画信号を生成する描画信号生成部からの信号を合成する複雑で高価な装置であり、また特許文献２に示された映像装置及び撮像装置も、ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）データから、解像度の異なる映像フォーマットにＯＳＤの品位を落とすことなく多重化する技術であって、特許文献１と同様、複雑で高価な装置である。
【００１７】
そのため本発明においては、撮像レンズに起因する画像歪みの補正、俯瞰撮影やあおり撮影、撮像した画像の視点を変更した画像の生成、撮像した画像の鏡像反転、電子ズーム処理など、種々の画像処理を行いながら、前記した駐車線４７が平行になるように表示すると共に、車の後部４１から例えば１ｍ程度の位置に４８のように色線を表示する、あるいは、鏡像反転や電子ズーム処理中は鏡像反転中であるとか、光学ズームではなくて電子ズーム中である旨を、安価で簡単な構成で短時間に、画像や文字で表示できるようにする画像処理方法と該画像処理方法を用いた撮像装置を提供することが課題である。
【課題を解決するための手段】
【００１８】
上記課題を解決するため本発明になる画像処理方法は、
撮像レンズを介して得られた撮像データにおける、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理のうちの少なくとも一つの画像変換処理を実施すると共に、任意画像を含む出力画像データを得るための画像処理方法であって、
前記撮像データを記憶する撮像データメモリに一種類以上の色信号を記憶した付加領域を用意すると共に、前記出力画像データのアドレスと対応する前記撮像データのアドレスを記憶したルックアップテーブルを用意し、前記任意画像を構成する画素の前記出力画像中のアドレスに対応した前記ルックアップテーブルのアドレスに、前記付加領域の色信号のアドレスを記憶させ、
前記ルックアップテーブルを参照して前記出力画像データのアドレスに対応する前記撮像データのアドレスから出力画像を生成すると共に、前記出力画像に描画する任意画像のアドレスに前記付加領域から読み出した色データを出力することを特徴とする。
【００１９】
そして、この画像処理方法を用いた撮像装置は、
撮像レンズと、
該撮像レンズを介して得られた像を光電変換する撮像素子と、
該撮像素子の出力信号を処理して映像データに変換する映像信号処理部と、
該映像信号処理部により処理された映像データを記憶する映像データ領域と、一種類以上の色信号を記憶する付加領域とを有した撮像データメモリと、
該撮像データメモリに記憶されたデータから出力画像データを生成する座標変換処理部とからなり、
該座標変換処理部は、前記撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理のうちの少なくとも一つを実施するため、前記出力画像データのアドレスと対応する前記撮像データのアドレスを記憶したルックアップテーブルを有し、
該ルックアップテーブルにおける、前記出力画像中に表示する任意画像を構成する画素のそれぞれに対応したアドレスに、前記撮像データメモリにおける付加領域の色信号のアドレスを記憶していることを特徴とする。
【００２０】
このように、ルックアップテーブルを用いて撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理を行うと共に、出力画像中に表示する任意画像を構成する画素のそれぞれに対応したルックアップテーブルのアドレスに、撮像データメモリにおける付加領域の色信号のアドレスを記憶させておくことで、画像変換処理にあたっては必ずルックアップテーブルを参照し、出力画像データアドレスに対応した撮像データメモリのアドレスを読み出すから、任意画像を表示する位置には撮像データメモリの付加領域の色信号が読み出されて表示され、それによって描画のための余分な構成や独立した処理を不要として、複雑で高価な構成を用いることなく、短い処理時間で任意画像を所定位置に表示することができる。
【００２１】
そして、撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理を行うため、前記ルックアップテーブルを参照して前記出力画像データのアドレスに対応する前記撮像データのアドレスから出力画像を生成する画像変換処理に際し、前記ルックアップテーブルから取得した前記撮像データアドレスが存在しないとき、前記撮像データアドレス周囲の撮像データを用いて補間処理により撮像データを算出し、そのため、前記座標変換処理部は、前記ルックアップテーブルから取得した前記撮像データアドレスを用い、前記出力画像データのアドレスに対応する画像データを生成する補間処理部を有することで、確実に出力画像データのアドレスに対応する画像データを得ることができる。
【００２２】
また、前記ルックアップテーブルに記憶させる撮像データアドレスは、それぞれ複数のビットで構成される上位ビットと下位ビットからなるビット列データとし、前記撮像データメモリにおける水平走査方向（ｘ方向）アドレスを上位若しくは下位のいずれかのビットに、垂直走査方向（ｙ方向）アドレスを前記水平走査方向アドレスが配されなかった下位若しくは上位ビットに配することで、１回のルックアップテーブル検索で水平走査方向、垂直走査方向のアドレスを同時に得ることができる。
【００２３】
さらに、前記撮像レンズは、広角レンズ、若しくは魚眼レンズとすると、本発明を効果的に実施できる実施形態となる。
【発明の効果】
【００２４】
以上記載のごとく本発明になる画像処理方法と該画像処理方法を用いた撮像装置は、画像変換処理に用いるルックアップテーブルに直接、表示させる任意画像を描画させるための色情報を記憶した領域のアドレスを記憶させたから、任意画像を表示する位置には撮像データメモリの付加領域の色信号が直接読み出されて表示され、描画のための余分な構成や独立した処理は不要となり、複雑で高価な構成を用いることなく、さらに画像変換処理と同時に短時間で任意画像を所定位置に表示することができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【実施例１】
【００２６】
図１は、本発明になる画像処理方法を用いた撮像装置のブロック図である。図１において１は撮像レンズで、本発明の撮像装置に使用するレンズ１は、例えば画面長手方向の画角が３５°より大きい一般的に広角レンズと呼ばれているレンズや、画角が１８０°に近く、場合によってはそれ以上の画角を有して一般的に魚眼レンズと呼ばれ、超広角ではあるが歪曲収差を有したレンズなどで構成する。なお、本発明はこういった広角レンズを使用した場合に大きな効果を発揮するが、一般的な写真の分野で標準レンズと呼ばれているレンズやそれに近い望遠レンズなどであっても良いことは自明である。
【００２７】
２はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた固体撮像素子、３は固体固体撮像素子２からのアナログ画像信号のノイズ成分を除去して増幅し、さらにそのアナログ画像信号をデジタル画像信号に変換する映像信号処理部、４はデジタル画像信号に変換された撮像データを格納する撮像データメモリである。
【００２８】
５は、本発明になる画像処理方法により、撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理のうちの少なくとも一つと、任意画像を所定位置に表示する処理を行う座標変換処理部で、５１は本発明の画像処理方法により上記した補正と描画を実施した出力画像データを生成する出力画像生成部、５２は座標計算部で、この座標計算部５２は、出力画像生成部５１が出力する出力画像データのアドレスを順次取得し、それを補間処理部５３に送って最終的に、送ったアドレスに対応する撮像データメモリ４のデータが出力画像生成部５１に送られるようにする。
【００２９】
５３は、座標計算部５２から送られてきた出力画像データのアドレスにより、ルックアップテーブル（以下、ＬＵＴと略称する）５４を参照して、出力画像データのアドレスに対応した撮像データメモリ４のアドレスを取得し、撮像データメモリ４のそのアドレスに記憶されている撮像データを出力画像データとして出力画像生成部５１に送る補間処理部で、この補間処理部５３は、ＬＵＴ５４に記憶されている撮像データメモリ４のアドレスが、例えば小数点以下を含んで撮像データメモリ４にはない、後で詳述する図４（Ｂ）に示したようなアドレス２５の場合、その周囲のアドレスを参照して補間により輝度データや色調データを算出する。
【００３０】
以上が本発明になる画像処理方法を用いた撮像装置の構成要素であるが、この図１に示した撮像装置の動作を説明する前に、図３、図４、図５を用い、本発明になる画像処理方法により出力画像データアドレスに対応した、撮像データメモリ４のアドレスから撮像データを読み出す処理と、任意画像を表示する処理について説明する。
【００３１】
まず図３は、本発明になる画像処理方法により、撮像レンズ１に起因する画像歪みの補正と俯瞰撮像による像倒れの補正を行うと共に、画像中に線３６、３７を描画する方法を説明するための図である。この図３において（Ａ）は前記図６で説明したように、車４０の後部４２に設けた撮像装置４１で撮像した駐車場の撮像画像を記憶する撮像データメモリ４であり、３０はこの撮像データを記憶する撮像画像領域、３１は一種類以上の色信号データを記憶した付加データ領域である。そして図３（Ｂ）は、この（Ａ）の画像における、レンズによって湾曲し、また、俯瞰によって車から遠ざかるに従って間隔が狭くなっていく駐車位置を示す線３２を、平行な線３３とすると共に、例えば車の後部４１から１ｍ程度の位置、及び２ｍ程度の位置に補助線３４、３５を合わせて表示させた出力画像データの例を示した図である。
【００３２】
この図３（Ａ）のようにレンズによって湾曲し、また、俯瞰によって車から遠ざかるに従って間隔が狭くなっていく駐車位置を示す線３２を平行な線３３とするため、本発明になる画像処理方法と該画像処理方法を用いた撮像装置においては、前記したように、被写体上の各点が歪曲収差や俯瞰撮影などによって実際に結像する位置と、歪曲収差がない場合に結像する位置やあおりを補正した結像位置との対応関係を調べる。そしてその対応関係をＬＵＴ５４に記憶しておき、出力画像を生成する際、出力画像アドレス毎にＬＵＴ５４を参照し、その出力アドレスが撮像データを収容した撮像データメモリ４のどのアドレスに対応しているかを調べ、そのアドレスのデータを出力画像データとすることで、補正処理した出力画像が得られるようにする。
【００３３】
また、図３（Ｂ）における３４、３５のような補助線は、その補助線３４、３５を表示する出力画像データのアドレスに対応したＬＵＴ５４におけるアドレスに、撮像データメモリ４の図３（Ａ）に３１で示した付加データ領域の色信号データのアドレスを記憶する。すると、出力画像データアドレスを読み出すとき、この色信号データのアドレスを記憶した部分では、付加データ領域３１の色信号が出力画像データとして送り出される。そのため、表示装置には、この図３（Ｂ）に３４、３５で示した補助線や、３６や３７の番号を付した「１ｍ」、「２ｍ」の文字を表示させることができる。
【００３４】
この、被写体上の各点が歪曲収差や俯瞰撮影などによって実際に結像する位置と、歪曲収差がない場合に結像する位置やあおりを補正した結像位置との対応関係を示したのが図５である。この図５は、例えば魚眼レンズなどの歪みが生じる撮像レンズ１を用いた撮像装置で得られる撮像データ（Ａ）から、歪みを補正した出力画像データ（Ｂ）を得るため、出力画像データ（Ｂ）におけるアドレス（ｘ，ｙ）と、撮像データ（Ａ）のアドレス（ｕ，ｖ）との対応関係を示した図である。
【００３５】
この図５（Ｂ）の出力画像データにおける、２０の番号を付した（０，０）のアドレスに対応した図５（Ａ）の撮像データのアドレス（ｕ，ｖ）は、前記したように撮像レンズの歪みのため、この図５（Ｂ）の２０で示した位置から矢印で示した図５（Ａ）の撮像データにおける、２００の番号を付したアドレス（２．７，２．８）となる。そのため、ＬＵＴ５４における（０，０）のアドレスには、この撮像データにおける２００の番号を付したアドレスデータ（ｕ００＝２．７，ｖ００＝２．８）が記憶される。
【００３６】
そして図５（Ｂ）の出力画像データにおける、２１の番号を付したアドレス（４，０）に対応した図５（Ａ）の撮像データにおけるアドレスは、同じく図５（Ｂ）の２１で示した位置から矢印により示した、図５（Ａ）の撮像データメモリ４における２１０の番号を付したアドレス（６．６，１．５）となる。そのため、ＬＵＴ５４における（４，０）のアドレスには、この撮像データにおける２１０の番号を付したアドレスデータ（ｕ４０＝６．６，ｖ４０＝１．５）が記憶される。
【００３７】
すなわち、この図５に示した例では、ＬＵＴ５４における（０，０）のアドレスには、出力画像データにおける２０の番号を付したアドレス（０，０）に対応した、撮像データメモリ４における２００の番号を付したアドレスデータ（ｕ００＝２．７，ｖ００＝２．８）が、ＬＵＴ５４における（４，０）のアドレスには、出力画像データにおける２１の番号を付したアドレス（４，０）に対応した、撮像データメモリ４における２１０の番号を付したアドレスデータ（ｕ４０＝６．６，ｖ４０＝１．５）が、…という具合にデータが記憶される。
【００３８】
そして、ＬＵＴ５４の２列目における（０，４）のアドレスには、出力画像データにおける２２の番号を付したアドレス（０，４）に対応した、撮像データメモリ４の２２０の番号を付したアドレスデータ（１．５，６．９）が、ＬＵＴ５４における（４，４）のアドレスには、出力画像データにおける２３の番号を付したアドレス（４，４）に対応した、撮像データメモリ４に２３０の番号を付したアドレスデータ（５．２，５．３）が、…という具合にデータが記憶される。
【００３９】
このようにＬＵＴ５４を構成することで、出力画像データのアドレスに対応したＬＵＴ５４のアドレスを参照すれば、その出力画像データのアドレスに対応する撮像データのアドレスがわかる。そしてそのアドレスが小数点以下を含むものである場合、後記するように図４（Ｂ）に示した方法で撮像データを算出する。
【００４０】
このようにして作成した一例のＬＵＴ５４が、図４（Ａ）である。この図４（Ａ）において、上段のｘは出力画像データの水平走査方向、すなわちｘ方向に対応したアドレスであり、左端のｙは出力画像データの垂直走査方向、すなわちｙ方向に対応したアドレスである。そしてｕ００、ｕ１０、ｕ２０……は、出力画像データのｘ方向アドレスに対応した撮像データメモリ４のアドレスを記憶したアドレスデータであり、同じくｖ００、ｖ１０、ｖ２０……は、出力画像データのｙ方向アドレスに対応した撮像データメモリ４のアドレスを記憶したアドレスデータである。
【００４１】
また、前記図３（Ｂ）に３４、３５で示した補助線、３６、３７で示した「１ｍ」、「２ｍ」などの文字の表示位置に対応するアドレスが、例えば（３，２）、（４，２）、（５，２）、……とした場合、このルックアップテーブル５４におけるこれら線や文字に対応したアドレスデータ、（ｕ３２，ｖ３２）、（ｕ４２，ｖ４２）、（ｕ５２，ｖ５２）、……には、図３（Ａ）に３１で示した付加領域の必要な色の、例えば（０，４８０）、（６３９，４８０）などのアドレスデータが入る。そのため、出力画像データを得るためにルックアップテーブル５４を参照したとき、（３，２）、（４，２）、（５，２）、……には、（ｕ３２，ｖ３２）、（ｕ４２，ｖ４２）、（ｕ５２，ｖ５２）、……で指定したアドレスの色データが出力され、図３（Ｂ）のように撮像レンズ１に起因する画像歪みやあおりが補正されると共に、３４、３５で示した補助線や３６、３７で示した「１ｍ」、「２ｍ」などの文字が表示される。
【００４２】
しかしながら、このように出力画像データのアドレスに対応したＬＵＴ５４のアドレスを参照して得られた撮像データメモリ４のアドレスは、前記図５の説明からもわかるように小数点以下を含む場合が多いのに対し、撮像画像メモリ４のアドレスは整数であるからアドレスとしては存在しないことになる。そのため例えばこのアドレスが、図４（Ｂ）に２５で示した位置となる場合、この２５の番号を付した位置の周囲のアドレス、（ｕ１４，ｖ１４）、（ｕ２４，ｖ２４）、（ｕ１５，ｖ１５）、（ｕ２５，ｖ２５）の撮像データを用い、出力画像データを補間処理部５３による演算により求める。
【００４３】
例えば、この撮像画像メモリ４のアドレス（ｕ，ｖ）の撮像データＩｉｎ（ｕ，ｖ）を、バイリニア補間処理により算出する場合は、下記（１）、（２）式となる。
ｕ＝（１−ｐ）（１−ｑ）＊ｕ１４＋ｐ（１−ｑ）＊ｕ２４＋
（１−ｐ）ｑ＊ｕ１５＋ｐｑ＊ｕ２５  ……………………（１）
ｖ＝（１−ｐ）（１−ｑ）＊ｖ１４＋ｐ（１−ｑ）＊ｖ２４＋
（１−ｐ）ｑ＊ｖ１５＋ｐｑ＊ｖ２５  ……………………（２）
ここでｐ＝０．７５、ｑ＝０．２５である。
【００４４】
また、この撮像データの値をバイキュービック補間処理により求める場合、下記（３）乃至（６）式となる。なお、ここで求めるＩｉｎは、白黒画像の場合は輝度値（Ｙ）のデータであり、カラー画像の場合はＲ、Ｇ、ＢやＹ、Ｕ、Ｖのデータとなる。また、ここではバイリニア補間処理やバイキュービック補間処理を用いた場合を例としたが、他の補間処理で求めても良いことは自明である。
【数１】
0004844979.tif 000002
【００４５】
なお、この図４（Ａ）に示したＬＵＴ５４は、メモリに全てのアドレスデータを記憶させるようにしたり、水平走査方向（ｘ方向）アドレスのデータと垂直走査方向（ｙ方向）アドレスのデータとを別々に記憶させるようにしても良いが、図４（Ｃ）に示したように、ＬＵＴにおける各アドレスに格納する水平、垂直走査方向アドレスデータを例えば２バイト（１６ビット）で構成する場合、１から８までの上位ビットにｕ（水平走査方向）アドレスデータを、９から１６までの下位ビットにｖ（垂直走査方向）アドレスデータを当てはめ、記憶させるようにしても良い。このようにすると、１回のＬＵＴ５４の検索で、水平、垂直方向アドレスを取得することができる。
【００４６】
以上が本発明になる画像処理方法と該画像処理方法を用いた撮像装置の構成要素であるが、次に、前記した図１と、本発明になる画像処理方法のフロー図である図２を用い、本発明の画像処理方法について説明する。なお、以下の説明では、図１におけるＬＵＴ５４は、例えば駐車に際して前記図３（Ａ）に示したように、俯瞰撮影した画像データの像倒れを図３（Ｂ）に示したように補正したり、補助線３４、３５、文字３６、３７を表示する、或いは図８、図９、図１０のように、視点変更、鏡像反転、電子ズーム処理など、複数の画像変換のためのＬＵＴを有しているとして説明するが、こういった場合だけに限られないことは自明である。
【００４７】
まず、図２のフロー図のステップＳ１０で処理がスタートすると、図１の撮像レンズ１によって固体撮像素子２に結像された画像のアナログ画像データが映像信号処理部３に送られ、ノイズ成分が除去されて増幅され、デジタル画像信号に変換されて撮像データメモリ４に格納される。なお、固体撮像素子２からの出力がインターレース方式の画像信号である場合、奇数フィールドのデータと偶数フィールドのデータを別々に画像処理すると補間間隔が大きくなって画像が劣化するため、奇数フィールドのデータと偶数フィールドのデータをこの撮像データメモリ４で合成してフレームデータとし、出力画像生成部５１でインターレース方式、またはプログレッシブ方式のデータとして出力することが好ましい。
【００４８】
そして画像信号が撮像データメモリ４に格納されると、図１に示した撮像装置で撮像した画像を、例えば撮像レンズに起因する画像歪みの補正、あおり若しくは俯瞰による像倒れの補正、視点変更、鏡像反転、電子ズーム処理のうちの、どの画像変換処理を実施するか、すなわちどの処理に対応したＬＵＴ５４を使うかを、図２における最初のステップＳ１２で選択する。なお、単一のＬＵＴしか使わない場合はこのステップは省略しても良い。
【００４９】
そして次のステップＳ１３で、図１の座標計算部５２が出力画像データのアドレス（ｘ，ｙ）を指定し、出力画像生成部５１、補間処理部５３に送る。そして次のステップＳ１４で補間処理部５３は、ステップＳ１２で選択されたＬＵＴ５４における、この送られてきた出力画像データアドレス（ｘ，ｙ）に対応する撮像データメモリ４のアドレス（ｕ，ｖ）を取得する。
【００５０】
そして次のステップＳ１５で、この撮像データメモリ４のアドレス（ｕ，ｖ）を用い、撮像データメモリ４を参照して、前記したようにこのアドレスが小数点以下を含んで撮像データメモリ４に存在しない場合、撮像データメモリ４のアドレス（ｕ，ｖ）の周囲のアドレスを参照し、前記した（１）式、（２）式を用いてバイリニア補間、あるいは前記（３）〜（６）式によるバイキュービック補間により、対応する撮像データＩｉｎ（ｕ，ｖ）を生成する。
【００５１】
こうして撮像データＩｉｎ（ｕ，ｖ）が生成されたら補間処理部５３は、ステップＳ１６でそのデータを出力画像生成部５１に送り、さらに図示していない出力画像データメモリや表示装置などに送って、撮像レンズ１に起因する画像歪みやあおりが補正された画像を表示させたり記憶させたりする。そしてステップＳ１７で１フレームの出力画像データ全てが得られたかどうかが判断され、Ｎｏの場合は処理がステップＳ１２に戻って同じことが繰り返され、Ｙｅｓの場合は処理がステップＳ１８に進んで終了する。
【００５２】
また、前記図４（Ａ）で説明したように、ルックアップテーブル５４に前記図３（Ｂ）に３４、３５で示した補助線や、３６、３７で示した「１ｍ」、「２ｍ」などの文字の表示位置に対応するアドレスに、図３（Ａ）に３１で示した付加領域の必要な色のアドレスが記憶されている場合、ルックアップテーブル５４におけるそのアドレスを参照したとき、指定したアドレスの色の色データが出力され、ステップＳ１５では図３（Ｂ）のように、撮像レンズ１に起因する画像歪みやあおりが補正されると共に、３４、３５で示した補助線や、３６、３７で示した「１ｍ」、「２ｍ」などの文字が処理時間をかけることなく表示される。
【００５３】
このように、撮像レンズに起因する画像歪みやあおり若しくは俯瞰による像倒れなどの補正、視点変更、鏡像反転、電子ズーム処理などの処理を、ＬＵＴ５４を用いて行うようにすると共に、前記図３（Ｂ）に３４、３５で示した補助線や、３６、３７で示した「１ｍ」、「２ｍ」などの文字からなる任意画像の所定位置への表示をＬＵＴ５４を用いて行うことで、高価な高速素子などを使うことなく簡単な構成で安価に、かつ、描画のために余分な構成や独立した処理を不要とした、画像処理方法と該画像処理方法を用いた撮像装置とすることができる。
【００５４】
なお、図３（Ｂ）に３４、３５で示した車の後部４１から１ｍ程度の位置、及び２ｍ程度の位置や文字の表示は一例であり、前記したように視点変更、鏡像反転、電子ズーム処理などにおいてそれぞれの状態を表示させたり、指示事項を画面に表示させる場合にも本発明を利用できることは明らかである。
【産業上の利用可能性】
【００５５】
本発明によれば、従来は描画のための複雑な構成や独立した処理を必要として、高価にならざるを得なかった任意画像を所定位置に表示する処理を、簡単、安価な構成で時間を掛けることなく行うことができ、車などのモニタ用撮像装置や玄関に設置する撮像装置、テレビ会議用撮像装置などに適用して好適な撮像装置を提供することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明になる画像処理方法を用いた撮像装置のブロック図である。
【図２】本発明になる画像処理方法を用いた撮像装置の動作フロー図である。
【図３】本発明になる画像処理方法により画像中に線を描画する方法を説明するための図である。
【図４】（Ａ）は本発明になる画像処理方法に用いるルックアップテーブルを示した図、（Ｂ）はこの（Ａ）のルックアップテーブルを用い、アドレス（ｕ，ｖ）の撮像データを算出する方法を説明するための図、（Ｃ）はルックアップテーブルデータを２バイトで構成することを説明するための図である。
【図５】歪みが生じる撮像レンズを用いた撮像装置で得られる撮像データ（Ａ）から、歪みを補正した出力画像データ（Ｂ）を得るため、出力画像データ（Ｂ）におけるアドレスと、撮像データのアドレスとの対応関係を示した図である。
【図６】車の後部に取り付けた撮像装置の位置を、（Ａ）は側部から、（Ｂ）は後部から示した図で、（Ｃ）は撮像装置の取り付け状態の拡大断面図、（Ｄ）は取り付け位置の拡大図である。
【図７】（Ａ）は広角レンズを用いた撮像装置で俯瞰撮影したためあおりが効いた画像、（Ｂ）はあおりを補正した画像である。
【図８】（Ａ）は広角レンズを用いた撮像装置で俯瞰撮影したためあおりが効いた画像、（Ｂ）は視点を変更した画像である。
【図９】撮像装置から得られた（Ａ）の画像の任意部分を、（Ｂ）のように拡大する電子ズームを説明するための図である。
【図１０】撮像装置から得られた（Ａ）の画像を鏡像反転した画像（Ｂ）を説明するための図である。
【符号の説明】
【００５７】
１  撮像レンズ
２  固体撮像素子
３  映像信号処理部
４  撮像データメモリ
５  座標変換処理部
５１  出力画像生成部
５２  座標計算部
５３  補間処理部
５４  ルックアップテーブル（ＬＵＴ）
【図１】
0004844979.tif 000003
【図２】
0004844979.tif 000004
【図３】
0004844979.tif 000005
【図４】
0004844979.tif 000006
【図５】
0004844979.tif 000007
【図６】
0004844979.tif 000008
【図７】
0004844979.tif 000009
【図８】
0004844979.tif 000010
【図９】
0004844979.tif 000011
【図１０】
0004844979.tif 000012