(57)【要約】【課題】合成・変換処理や、補間・フィルタリング処理を行う汎用性の高い画像処理装置を提供する。【解決手段】異なる画像の合成・変換処理を行う場合には、第１の入力ポート１１で入力された画像信号をセレクタ１５によって第１の入力メモリ２１に保存し、第２の入力ポート１２で入力された画像信号を第２の入力メモリ２２に保存して、画像合成部４によって画像処理を行う。また、同一の画像の補間・フィルタリング処理を行う場合には、第２の入力ポート１２で入力された画像信号を分配器１４で分配し、セレクタ１５によって第１の入力メモリ２１に保存し、第２の入力ポート１２で入力された画像信号を第２の入力メモリ２２に保存して、画像合成部４によって画像処理を行う。【選択図】　図１
2004096389.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を入力する画像入力手段と、前記画像入力手段で入力された画像信号を分配する画像信号分配手段と、前記画像入力手段で入力された画像信号と前記画像信号分配手段で分配された画像信号とを入力していずれかの画像信号を選択して出力する画像選択手段と、前記画像入力手段で入力された画像信号による画像情報を記録する画像記録手段と、前記画像記録手段の画像情報の位置情報を出力画像の位置情報に変換する位置情報変換手段と、前記位置情報変換手段で出力画像の位置情報に変換された画像情報に対して重み付け演算をして画像処理を行う画像処理手段と、前記画像処理手段で画像処理された画像情報を出力する画像出力手段とを備えた画像処理装置。
【請求項２】
画像信号を入力する画像入力手段と、前記画像入力手段で入力された画像信号を分配する画像信号分配手段と、前記画像入力手段で入力された画像信号と前記画像信号分配手段で分配された画像信号とを入力していずれかの画像信号を選択して出力する画像選択手段と、前記画像入力手段で入力された画像信号による画像情報を記録する画像記録手段と、前記画像記録手段の画像情報に対して重み付け演算をして出力画像への位置情報変換と画像処理を行う画像処理手段と、前記画像出力手段で画像処理された画像情報を出力する画像出力手段とを備えた画像処理装置。
【請求項３】
前記重み付け演算を記録保存する重み付け演算定義記録手段と、前記画像処理手段に使用する重み付け演算定義を前記演算定義記録手段より選択する重み付け演算定義選択手段とを備えた請求項１または２記載の画像処理装置。
【請求項４】
前記画像処理手段が複数種類の画像処理を同時に行うことを特徴とする請求項１ないし請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記画像入力手段において複数の画像を入力し、前記画像処理手段において合成処理と補間処理とを行うことを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に関する。
【０００２】
【従来の技術】
従来の画像処理装置は、ＷＯ００／６４１７５号公報に、複数カメラの画像を合成、変換する方法が記載されている。
【０００３】
従来の画像処理装置は、図３に示すように、第１のカメラ１０１及び第２のカメラ１０２と、それぞれのカメラから入力された入力画像情報を記憶する第１のフレームメモリ１０３及び第２のフレームメモリ１０４と、それぞれの入力画像情報の位置座標と出力画素の位置座標との画素位置対応情報を保持する変換アドレステーブル１０５と、それぞれの入力画像情報の必要度を保持する必要度テーブル１０６と、出力画像信号を生成する画像信号生成手段１０７とを備えている。第１のカメラ１０１及び第２のカメラ１０２の入力画像は、変換アドレステーブル１０５及び必要度テーブル１０６の情報に従って画像処理が行われ、画像信号生成手段１０７で生成された画像信号が出力される。
【０００４】
このような装置においては、２つの異なる第１のカメラ１０１及び第２のカメラ１０２から入力される画像の合成や、画素位置を変更した出力画像を生成することで、第１のカメラ１０１及び第２のカメラ１０２からの入力画像を滑らかに合成したり、仮想視点からの画像へと変換したりすることをリアルタイムに実現できる。
【０００５】
ところで、監視を目的とした監視カメラ、運転支援を目的とした車載カメラ等が広く普及するにつれて、より広い視野を持つ映像への要求が高まっている。このため、魚眼レンズに代表されるような超広角レンズを用いた単独のカメラを使用した映像や、複数のカメラで撮影した映像を合成・変換することで、あたかも１台のカメラで撮影したかのような映像の提供が求められている。
【０００６】
カメラの台数とレンズの画角は、用途に応じて選択することが望ましい。例えば、車載のリアビューカメラシステムの場合、後退での出庫時など後方の広い範囲の安全確認が必要なときは、複数のカメラ映像を合成して広い範囲を表示し、一方、縦列駐車時などあまり広い範囲を必要としないときは、操作性を高めるために、補間処理を行って１台のカメラによる歪みの少ない映像を表示するシステムが必要とされる。
【０００７】
また、広い視野を持つ映像から必要な領域のみを抽出、変形して表示したり、仮想的に設定したカメラからの映像に擬似的に変換するようなフィルタリング処理を行った画像を表示するといった用途も求められている。
【０００８】
【発明が解決しようとする課題】
しかしながら、従来の画像処理装置は汎用性に乏しく、複数台のカメラ画像の合成・変換処理を行う画像処理装置と、１台のカメラ画像の補間・フィルタリング処理を行う画像処理装置とは異なる装置からなり、合成・変換処理と補間・フィルタリング処理とを行うためにはこれらの２つの画像処理装置を切り替えて使わなければならないという問題があった。
【０００９】
本発明は、入力画像の数によって複数の画像処理装置を切り替えて使用することなく、単一の処理手段により、複数台のカメラ画像の合成や変換処理と、１台のカメラ画像の補間処理を用いた画質劣化の少ない歪み補正処理やフィルタリング処理とを実現可能な、汎用性の高い画像処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明の画像処理装置は、画像信号を入力する画像入力手段と、画像入力手段で入力された画像信号を分配する画像信号分配手段と、画像入力手段で入力された画像信号と画像信号分配手段で分配された画像信号とを入力していずれかの画像信号を選択して出力する画像選択手段と、画像入力手段で入力された画像信号による画像情報を記録する画像記録手段と、画像記録手段の画像情報の位置情報を出力画像の位置情報に変換する位置情報変換手段と、位置情報変換手段で出力画像の位置情報に変換された画像情報に対して重み付け演算をして画像処理を行う画像処理手段と、画像処理手段で画像処理された画像情報を出力する画像出力手段とを備えている。
【００１１】
この構成により、入力画像の数によって処理手段を設けることなく単一の処理手段により、１台のカメラ画像の補間処理を用いた画質劣化の少ない歪み補正処理と、複数台のカメラ画像の合成や変換処理とを同一の手段により実現可能であり、汎用性が高く安価なシステムの構築が可能となる。
【００１２】
また、本発明の画像処理装置は、画像信号を入力する画像入力手段と、画像入力手段で入力された画像信号を分配する画像信号分配手段と、画像入力手段で入力された画像信号と画像信号分配手段で分配された画像信号とを入力していずれかの画像信号を選択して出力する画像選択手段と、画像入力手段で入力された画像信号による画像情報を記録する画像記録手段と、画像記録手段の画像情報に対して重み付け演算をして出力画像への位置情報変換と画像処理を行う画像処理手段と、画像出力手段で画像処理された画像情報を出力する画像出力手段とを備えている。
【００１３】
この構成により、高速な画像処理を高速に行うことができ、高品質な画像の出力が可能となる。
【００１４】
さらに、本発明の画像処理装置は、重み付け演算を記録保存する重み付け演算定義記録手段と、画像処理手段に使用する重み付け演算定義を演算定義記録手段より選択する重み付け演算定義選択手段とを備えている。
【００１５】
この構成により、あらかじめ定義した画像処理を容易に素早く切り替えることが可能となり、効果的な画像処理を施した映像の出力ができる。
【００１６】
さらに、本発明の画像処理装置は、画像処理手段において複数種類の画像処理を同時に行う。
【００１７】
この構成により、異なるタイプの合成処理を組み合わせて行う画像処理を行うことが可能となる。
【００１８】
さらに、本発明の画像処理装置は、画像入力手段において複数の画像を入力し、画像処理手段において合成処理と補間処理とを行う。
【００１９】
この構成により、複数の画像の合成処理結果に対して補間処理を行うことができ、合成処理を行った画像についても高画質な画像の出力が可能となる。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２１】
本発明の実施の形態の画像処理装置を図１に示す。
【００２２】
本発明の実施の形態の画像処理装置は、画像信号を入力する画像入力部１と、画像入力部１で入力された画像信号を画像情報として記録する画像記録部２と、画像記録部２の画像情報を出力用の画像情報にアドレス変換する位置情報変換部３と、位置情報変換部３に記憶された出力用の画像情報に対して合成・変換・補間・フィルタリング処理などを行う画像合成部４と、画像合成部４の処理結果を出力する画像出力部５とにより構成されている。
【００２３】
また、画像入力部１は、第１の入力画像信号を入力する第１の入力ポート１１と、第２の入力画像信号を入力する第２の入力ポート１２と、第２の入力ポート１２で入力された画像信号を分配する分配器１４と、第１の入力ポート１１、分配器１４及びグラウンド入力ポート１３の画像信号を入力していずれかの画像信号を出力するセレクタ１５とを備えている。グラウンド入力ポート１３は、例えば、グランドに接続されており、セレクタ１５からの出力が必要ない場合の出力として使用する。
【００２４】
さらに、画像記録部２は、セレクタ１５で出力された画像情報を記憶する第１の入力メモリ２１と、分配器１４で分配された第２の入力ポート１２の画像情報を記憶する第２の入力メモリ２２とを備えている。
【００２５】
さらに、位置情報変換部３は、第１の入力メモリ２１及び第２の入力メモリ２２のそれぞれの画像情報に対して位置情報変換演算を行い、出力用の画像情報に変換するための座標変換定義テーブル３３と、第１の入力メモリ２１の画像情報を座標変換定義テーブル３３により出力用の位置情報に変換した画像情報を記憶する第１の出力メモリ３１と、同様に第２の入力メモリ２２の画像情報を出力用の位置情報に変換した画像情報を記憶する第２の出力メモリ３２とを備えている。
【００２６】
さらに、画像合成部４は、第１の出力メモリ３１及び第２の出力メモリ３２の画像情報に対して重み付け演算するための対応表である重み付け定義テーブル４１を備え、重み付け定義テーブル４１の重み係数によって第１の出力メモリ３１の画像情報と第２の出力メモリ３２の画像情報との合成を行う。画像処理に対応した重み付け定義テーブル４１は複数定義することが可能であり、実際の合成で利用する定義を重み付け選択手段４２で選択し、その定義により画像処理が行われる。
【００２７】
以上のように構成された画像処理装置について、その動作を説明する。
【００２８】
まず、２つの画像の合成や変換を行うときの動作について説明する。
【００２９】
第１の入力画像信号が第１の入力ポート１１に入力され、第２の入力画像信号が第２の入力ポート１２に入力される。セレクタ１５は第１の入力ポート１１の入力信号を出力するモードで動作し、第１の入力ポート１１で入力された第１の入力画像信号を出力して、この第１の入力画像信号による画像情報を第１の入力メモリ２１に記録する。一方、第２の入力ポート１２で入力された第２の入力画像信号による画像信号を第２の入力メモリ２２に記録する。
【００３０】
そして、位置情報変換部３において、第１の入力メモリ２１の画像情報の位置情報を座標変換定義テーブル３３の定義に基づいて出力用の位置情報に変換した画像情報を第１の出力メモリ３１に記憶する。第２の入力メモリ２２についても同様に、位置情報を座標変換定義テーブル３３の定義に基づいて出力用の位置情報に変換した画像情報を第２の出力メモリ３２に記憶する。
【００３１】
ここで、例えば第１の入力メモリ２１、第２の入力メモリ２２、第１の出力メモリ３１及び第２の出力メモリ３２などの画像情報を記録する方法として、画素の２次元座標を（ｘ，ｙ）、記憶開始アドレスをＳ、画素を単位とした画像の幅をＬとして、その記憶されるアドレスＡＤＲは次の式で計算することができる。
【００３２】
ＡＤＲ＝Ｓ＋ｘ＋ｙ・Ｌ
次に、画像合成部４において、第１の出力メモリ３１及び第２の出力メモリ３２の画像情報を重み付け定義テーブル４１の定義に基づいて重み付け演算した結果を画像出力部５で出力する。
【００３３】
ここで、例えば、画像出力部５で出力される画像情報の２次元座標（Ｘ，Ｙ）の画素について、第１の出力メモリ３１において２次元座標（Ｘ，Ｙ）に対応する画素の値をＶ１、第２の出力メモリ３２において２次元座標（Ｘ，Ｙ）に対応する画素の値をＶ２、第１の出力メモリ３１に対する重み係数をα１、第２の出力メモリ３２に対する重み係数をα２として、出力画素の画素値Ｖｆを次の式によって算出することができる。
【００３４】
Ｖｆ＝Ｖ１・α１＋Ｖ２・α２
また、例えばフェードインやフェードアウトなどのエフェクト処理に対する重み付けを重み付け定義テーブル４１に定義することにより、それぞれの画像処理結果を画像出力部５によって出力することができる。
【００３５】
なお、位置情報変換部３においては、第１の入力メモリ２１のアドレス変換をするときに拡大や縮小などの画像処理を行い、その結果を第１の出力メモリ３１に記憶するともできる。ここでは第１の入力メモリ２１をアドレス変換して第１の出力メモリ３１に記憶する方法について説明したが、第２の入力メモリ２２から第２の出力メモリ３２への記憶についても同様の方法で行うことができる。もちろん、第１の入力メモリ２１に対する位置変換と第２の入力メモリ２２に対する位置変換を同じにする必要はない。例えば、第１の入力画像信号として左部の画像信号を入力し、第２の入力画像信号として右部の画像信号を入力して、それらを連結して１画面で出力するように合成する場合には、第１の入力メモリ２１の画像情報を出力画像の左部にする位置変換を行い、第２の入力メモリ２２の画像情報を右部にするような位置変換を行うようにしてもよい。
【００３６】
以上により、異なる画像入力である第１の入力画像信号及び第２の入力画像信号による画像情報をそれぞれ第１の入力メモリ２１及び第２の入力メモリ２２を記憶し、第１の出力メモリ３１により位置情報変換した結果をそれぞれ第１の出力メモリ３１及び第２の出力メモリ３２に記憶して、画像合成部４で重み付け定義テーブル４１の情報に基づいて第１の出力メモリ３１及び第２の出力メモリ３２の画像情報に対する画像処理を行い、画像処理によって２つの画像の画素値を組合わせた画素値やそれぞれの画像単独の画素値が画像出力部５によって出力され、２つの異なったカメラの画像の拡大縮小やエフェクト処理も加えた画像の合成・変換処理が可能となる。
【００３７】
次に、１台のカメラの歪み補正のための補間処理やフィルタリング処理を行うときの動作を説明する。
【００３８】
このとき、セレクタ１５は第２の入力ポート１２の入力信号を出力するモードで動作し、第２の入力ポート１２で入力された第２の入力画像信号を出力して、この第２の入力画像信号による画像情報を第１の入力メモリ２１に記録する。一方、第２の入力ポート１２で入力された第２の入力画像信号による画像信号を第２の入力メモリ２２に記録する。位置情報変換部３における処理は上述の処理と同じであり、第１の出力メモリ３１及び第２の出力メモリ３２には第２の入力画像信号による同一の画像について座標変換された画像情報が記憶されるが、座標変換定義テーブル３３の座標変換定義により第１の出力メモリ３１及び第２の出力メモリ３２の画像情報を同一にすることもできるし、拡大・縮小・回転・移動処理を行って異なる画像情報とすることも出きる。そして、画像合成部４では同一画像をもととした同一の画像情報である第１の出力メモリ３１及び第２の出力メモリ３２に対して、あるいは同一画像をもとにしているが異なる画像である第１の出力メモリ３１及び第２の出力メモリ３２に対して重み付け加算する。
【００３９】
ここで、重み付け定義テーブル４１に適当な重み係数を与えることで補間演算が可能となる。
【００４０】
例えば、Ｘ方向に関する歪み補正について、図２のように、αが０以上１以下である２次元座標（ｘ＋α，ｙ）の補間画素４３について、第１の出力メモリ３１の２次元座標（ｘ，ｙ）の第１の画素３１ａの画素値をＶ１、第２の出力メモリ３２の２次元座標（ｘ＋１，ｙ）の第２の画素３２ａの画素値をＶ２として、Ｘ方向の補間演算による補間画素４３の画素値Ｆを次の式によって求めることができる。
【００４１】
Ｆ＝Ｖ１・（１−α）＋Ｖ２・α
また、重み付け定義テーブル４１では２つの画素値の重み付け加算のみを実現しているが、Ｘ及びＹ方向の２次元の補間演算が必要な場合は、例えばユークリッド距離等の適当な距離を定義して、最も距離の小さい２つの入力画素値を用いて重み付け演算するように重み付けテーブル４１を設定することにより２次元の補間演算が可能となる。
【００４２】
以上により、１台のカメラによる入力画像の補間・フィルタリング処理が可能となる。
【００４３】
よって、本発明の画像処理装置によれば、入力画像の数によって２つの画像処理装置を切り替えて使用することなく、単一の処理手段により、複数台のカメラ画像の合成や変換処理と、１台のカメラ画像の補間処理を用いた画質劣化の少ない歪み補正処理やフィルタリング処理とを実現可能な、汎用性の高い画像処理が可能となる。
【００４４】
また、複数台のカメラ画像の合成・変換処理をする場合であっても、補間・フィルタリング処理を同時に行うことができる。
【００４５】
なお、上記の実施の形態では第１の入力メモリ２１、第２の入力メモリ２２、第１の出力メモリ３１、第２の出力メモリ３２、座標変換定義テーブル３３、重み付け定義テーブル４１などを分割してあるが、物理的に同一の記憶領域内を論理的に分割して使用しても良いし、物理的に複数の記憶領域を区分して利用しても良い。また、記憶領域の区画を動的に変更しながら使用しても良い。
【００４６】
また、上記の実施の形態の第１の入力ポート１１と第２の入力ポート１２では異なる画像情報を入力してあるが、同一のものでも良いし、一方の画像を入力しなくても良い。この場合は、画像品質を向上させるための補間処理やモザイク処理、フェードインやフェードアウトなどのエフェクト処理を行うことなどがある。
【００４７】
さらに、上記の実施の形態では、画像信号の入力ポートとして第１の入力ポート１１と第２の入力ポート１２との２つとしてあるが、１つでもよいし、２よりも大きな複数でも良い。１つの場合は上述の同一画像を入力した場合や、一方の画像を入力しない場合と同様な処理を行うことができるが、異なる画像に対する画像処理を行うことはできない。
【００４８】
さらに、上記の実施の形態の位置情報変換部３と画像合成部４を分割して処理してあるが、第１の入力メモリ２１及び第２の入力メモリ２２の画像情報に対して位置変換演算と重み付け演算を同時に処理してもよい。その場合、より高速な画像処理が可能となる。
【００４９】
【発明の効果】
以上のように本発明によれば、入力画像の数によって２つの処理手段を設けることなく単一の処理手段により、複数台のカメラ画像の合成や変換処理と、１台のカメラ画像の補間処理を用いた画質劣化の少ない歪み補正処理やフィルタリング処理とを実現可能な、汎用性の高い画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における画像処理装置のブロック図
【図２】本発明の実施の形態における画像処理装置の補間演算の説明図
【図３】従来の画像処理装置のブロック図
【符号の説明】
１　画像入力部
２　画像記録部
３　位置情報変換部
４　画像合成部
５　画像出力部
１１　第１の入力ポート
１２　第２の入力ポート
１３　グラウンド入力ポート
１４　分配器
１５　セレクタ
２１　第１の入力メモリ
２２　第２の入力メモリ
３１　第１の出力メモリ
３２　第２の出力メモリ
３１ａ　第１の画素
３２ａ　第２の画素
３３　座標変換定義テーブル
４１　重み付け定義テーブル
４２　重み付け選択手段
４３　補間画素
【図１】
2004096389.tif 000003
【図２】
2004096389.tif 000004
【図３】
2004096389.tif 000005