(57)【要約】  イメージセンサ１と、所定の歪み補正を行う幾何学位置計算装置６と、出力側アドレスを基準に、幾何学位置計算装置６の計算結果に基づく入力側アドレスを対応させた情報を記憶する第１のアドレステーブル１０と、各出力側アドレスを各入力側アドレスに基づきソートするソート部１１と、ソートした入力側アドレスを基準に出力側アドレスを対応させた情報を記憶する第２のアドレステーブル１２と、入力側画像データＤＩの入力側アドレスと第２のアドレステーブル１２に記憶している入力側アドレスとをマッチングさせながら出力側画像データＤＯを出力するアドレスマッチング装置１３とを有する。
2009014075.tif 000002
【特許請求の範囲】
【請求項１】
レンズで取り込んだ画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転の少なくとも一つに関するパラメータが設定してあるパラメータ設定手段と、
前記パラメータに基づき前記領域の画像の幾何学的位置の所定の変換処理を行うよう、出力画面上の各画素に対応する、撮像手段の出力信号に基づく入力側画像データにおける各画素の幾何学的位置を計算する幾何学位置計算手段と、
前記出力画面上の各画素のアドレスである出力側アドレスを基準に、前記幾何学位置計算手段の計算結果に基づく前記入力側画像データの各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶するアドレステーブルと、
リアルタイムで読み込まれた前記入力側画像データの各画素の入力側アドレスと前記アドレステーブルに記憶している前記入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスと組み合わせて出力側画像データを形成するとともに、これを送出するアドレスマッチング手段とを有することを特徴とする画像処理装置。
【請求項２】
レンズで取り込んだ画像を表わすデジタル信号を形成する撮像手段と、
前記画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転の少なくとも一つに関するパラメータが設定してあるパラメータ設定手段と、
前記パラメータに基づき前記領域の画像の幾何学的位置の所定の変換処理を行うよう、出力画面上の各画素に対応する、前記入力側画像データにおける各画素の幾何学的位置を計算する幾何学位置計算手段と、
前記出力画面上の各画素のアドレスである出力側アドレスを基準に、前記幾何学位置計算手段の計算結果に基づく前記入力側画像データの各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶するアドレステーブルと、
リアルタイムで読み込まれた前記入力側画像データの各画素の入力側アドレスと前記アドレステーブルに記憶している前記入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスと組み合わせて出力側画像データを形成するとともに、これを送出するアドレスマッチング手段とを有することを特徴とするカメラシステム。
【請求項３】
請求項２に記載するカメラシステムにおいて、
前記アドレステーブルは、特定の領域に関する前記幾何学位置計算手段の計算結果に基づく前記テーブル情報における前記各出力側アドレスを前記各入力側アドレスに基づき並べ替えたテーブル情報を記憶していることを特徴とするカメラシステム。
【請求項４】
請求項３に記載するカメラシステムにおいて、
前記アドレステーブルは、特定の複数の領域に関して前記各出力側アドレスを前記各入力側アドレスに基づき並べ替えた複数のテーブル情報を記憶していることを特徴とするカメラシステム。
【請求項５】
レンズで取り込んだ画像を表わすデジタル信号を形成する撮像手段と、
前記画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転の少なくとも一つに関するパラメータが設定してあるパラメータ設定手段と、
前記パラメータに基づき前記領域の画像の幾何学的位置の所定の変換処理を行うよう、出力画面上の各画素に対応する、前記入力側画像データにおける各画素の幾何学的位置を計算する幾何学位置計算手段と、
前記出力画面上の各画素のアドレスである出力側アドレスを基準に、前記幾何学位置計算手段の計算結果に基づく前記入力側画像データ上の各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶するアドレステーブルと、
前記アドレステーブルに記憶している前記各出力側アドレスを前記各入力側アドレスに基づき並べ替えるマッチング用ソート手段と、
前記マッチング用ソート手段で並べ替えることにより入力側アドレスを基準に出力側アドレスを対応させて組み合わせたテーブル情報を記憶するマッチング用アドレステーブルと、
リアルタイムで読み込まれた前記入力側画像データの各画素の入力側アドレスと前記マッチング用アドレステーブルに記憶している前記入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスと組み合わせて出力側画像データを形成し、これを送出するアドレスマッチング手段とを有することを特徴とするカメラシステム。
【請求項６】
請求項２乃至請求項５の何れか一つに記載する画像処理装置又はカメラシステムにおいて、
前記幾何学位置計算手段は、前記入力側アドレスを小数点まで求め小数値として出力するとともに、
前記アドレスマッチング手段は、前記入力側画像データにおいて前記入力側アドレスの整数部に対応する特定の画素を基準として隣接する複数の画素の輝度に基づき前記小数部の値により重み付けした補間により前記特定の画素の輝度を求め、これを出力側画像データの前記特定の画素に対応する画素の輝度とすることを特徴とするカメラシステム。
【請求項７】
請求項６に記載するカメラシステムにおいて、
前記アドレスマッチング手段は、少なくとも１ライン分のバッファメモリを有し、このバッファメモリに記憶している各画素の輝度情報を利用して次のラインに属する前記特定の画素の輝度を求めるように構成したことを特徴とするカメラシステム。
【請求項８】
請求項２乃至請求項７に記載するカメラシステムにおいて、
前記出力側画像データを記憶するバッファメモリをさらに有し、このバッファメモリには前記出力側画像データを、前記突合せの結果が一致するごとに出力側アドレスを基準にランダムに書き込みむとともに、前記出力画像データの読出しはシーケンシャルに行うことを特徴とするカメラシステム。
【請求項９】
請求項２乃至請求項７に記載するカメラシステムにおいて、
前記出力側画像データを記憶するバッファメモリをさらに有し、このバッファメモリには前記出力側画像データを、前記突合せの結果が一致するごとにシーケンシャルに書き込む一方、前記バッファメモリのメモリアドレスを前記出力側アドレスに基づき並べ替える読出し用ソート手段と、この読出し用ソート手段で並べ替えることにより前記出力側アドレスを基準に前記メモリアドレスを対応させて組み合わせたテーブル情報を記憶する読出し用アドレステーブルとを備え、さらに前記出力画像データの読出しは前記読出し用アドレステーブルの前記テーブル情報に基づきランダムに行うことを特徴とするカメラシステム。
【請求項１０】
請求項２乃至請求項９の何れか一つに記載する画像処理装置又はカメラシステムにおいて、
前記レンズは広角の視野を有する魚眼レンズであり、
前記幾何学位置計算手段における前記変換処理は、前記領域の画像の歪を補正する処理であることを特徴とするカメラシステム。
【請求項１１】
請求項２乃至請求項９の何れか一つに記載する画像処理装置又はカメラシステムにおいて、
前記幾何学位置計算手段における前記変換処理は、前記領域の画像を歪ませるための処理であることを特徴とするカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びカメラシステムに関し、特に魚眼レンズを介して全方位の監視を行なう際の歪み補正処理を伴う画像処理装置乃至全方位カメラシステムや取り込んだ画像を歪ませる処理を伴う画像処理装置乃至カメラシステムに適用して有用なものである。
【背景技術】
【０００２】
広角の視野を有するレンズとして魚眼レンズが知られており、この魚眼レンズを用いて所定の領域を監視する全方位カメラシステムが提案されている。かかる全方位カメラシステムでは、一般にパン、チルト、ズーム及び回転等の機能を具備している。近年では、従来の機械的なパン、チルト、ズーム方式に対し、魚眼レンズで取り込んだ入力側画像データを電気的に処理することにより、装置を動かすことなくパン、チルト、ズーム及び回転等の諸機能を実現するとともに、画像の歪みも除去する全方位カメラシステムも提案されている。【０００３】
図１４は従来技術に係るこの種の全方位カメラシステムのブロック線図である。同図に示すように、撮像手段であるＣＭＯＳのイメージセンサ１は、魚眼レンズ２で取り込んだ広角の画像に基づき電気的な信号である画像データを形成する。この画像データは、魚眼レンズ２で取り込んだ際の歪み成分がそのまま残存する電気的なデジタル信号で、カラー処理部３で所定のカラー処理を行うことで輝度情報とともに色情報も有する入力側画像データＤＩとしてフレームメモリ４に書き込まれる。【０００４】
一方、パラメータ設定器５には、魚眼レンズ２で取り込んだ画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転に関するパラメータと、魚眼レンズ２の中心及び半径に関するパラメータとが設定してある。すなわち、前記パラメータの入力装置として機能する。ここで、パン、チルト、回転に関するパラメータは角度情報として、ズームは倍率情報として、また魚眼レンズ２の中心及び半径は位置及び数値情報としてそれぞれ設定される。幾何学位置計算装置６はパラメータ設定器５に設定したパラメータに基づき出力として切り出す領域の画像の魚眼レンズ２による歪みを補正すべく、表示器９の表示画面（出力画面）９ａ上の各画素に対応する、入力側画像データＤＩにおける各画素の幾何学的位置を計算する。【０００５】
出力側画像データ生成部７は、幾何学位置計算装置６が計算した入力側画像データＤＩにおける各画素の幾何学的位置と、フレームメモリ４に記憶している入力側画像データＤＩとに基づき歪みが補正された出力側出力側画像データＤＯを形成する。この出力側画像データＤＯは、前記幾何学的位置に対応する出力画面上の各画素毎に入力側画像データＤＩに基づく輝度情報等を順に組み合わせたデータで、各画素毎に順次バッファメモリ８に蓄えられ、一フレーム毎に表示器９の表示画面（出力画面）９ａ上に再生される。かくして、表示画面９ａには所定の切り出し領域の画像で且つ歪み補正処理を行った画像が再生される。【０００６】
なお、上記従来技術と同種の技術を開示する刊行物として次の特許文献１が存在する。【０００７】
【特許文献１】特開２０００−８３２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述の如き全方位カメラシステムは、撮像手段であるイメージセンサ１の出力信号である入力側画像データＤＩをフレームメモリ４に書き込み、一フレーム分の入力側画像データＤＩの書き込みが終了した後、フレームメモリ４の記憶内容を参照して出力側画像データＤＯを形成しているので、かかる一連の処理の際にタイムラグを生じてしまう。かかるタイムラグは表示画面９ａ上の表示遅れとなって顕在化する。【０００９】
本発明は、上記従来技術に鑑み、入力側画像データの歪み補正等、幾何学位置の所定の処理を伴う入力側画像データから出力側画像データへの変換に際し、フレームメモリを用いることなく一連の処理を実現し得るカメラシステムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するための本発明の第１の態様は、
レンズで取り込んだ画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転の少なくとも一つに関するパラメータが設定してあるパラメータ設定手段と、
前記パラメータに基づき前記領域の画像の幾何学的位置の所定の変換処理を行うよう、出力画面上の各画素に対応する、撮像手段の出力信号に基づく入力側画像データにおける各画素の幾何学的位置を計算する幾何学位置計算手段と、
前記出力画面上の各画素のアドレスである出力側アドレスを基準に、前記幾何学位置計算手段の計算結果に基づく前記入力側画像データの各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶するアドレステーブルと、
リアルタイムで読み込まれた前記入力側画像データの各画素の入力側アドレスと前記アドレステーブルに記憶している前記入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスと組み合わせて出力側画像データを形成するとともに、これを送出するアドレスマッチング手段とを有することを特徴とする画像処理装置にある。【００１１】
本発明の第２の態様は、
レンズで取り込んだ画像を表わすデジタル信号を形成する撮像手段と、
前記画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転の少なくとも一つに関するパラメータが設定してあるパラメータ設定手段と、
前記パラメータに基づき前記領域の画像の幾何学的位置の所定の変換処理を行うよう、出力画面上の各画素に対応する、前記入力側画像データにおける各画素の幾何学的位置を計算する幾何学位置計算手段と、
前記出力画面上の各画素のアドレスである出力側アドレスを基準に、前記幾何学位置計算手段の計算結果に基づく前記入力側画像データの各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶するアドレステーブルと、
リアルタイムで読み込まれた前記入力側画像データの各画素の入力側アドレスと前記アドレステーブルに記憶している前記入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスと組み合わせて出力側画像データを形成するとともに、これを送出するアドレスマッチング手段とを有することを特徴とするカメラシステムにある。【００１２】
本発明の第３の態様は、
上記第２の態様に記載するカメラシステムにおいて、
前記アドレステーブルは、特定の領域に関する前記幾何学位置計算手段の計算結果に基づく前記テーブル情報における前記各出力側アドレスを前記各入力側アドレスに基づき並べ替えたテーブル情報を記憶していることを特徴とするカメラシステムにある。【００１３】
本発明の第４の態様は、
上記第３の態様に記載するカメラシステムにおいて、
前記アドレステーブルは、特定の複数の領域に関して前記各出力側アドレスを前記各入力側アドレスに基づき並べ替えた複数のテーブル情報を記憶していることを特徴とするカメラシステム。【００１４】
本発明の第５の態様は、
レンズで取り込んだ画像を表わすデジタル信号を形成する撮像手段と、
前記画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転の少なくとも一つに関するパラメータが設定してあるパラメータ設定手段と、
前記パラメータに基づき前記領域の画像の幾何学的位置の所定の変換処理を行うよう、出力画面上の各画素に対応する、前記入力側画像データにおける各画素の幾何学的位置を計算する幾何学位置計算手段と、
前記出力画面上の各画素のアドレスである出力側アドレスを基準に、前記幾何学位置計算手段の計算結果に基づく前記入力側画像データ上の各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶するアドレステーブルと、
前記アドレステーブルに記憶している前記各出力側アドレスを前記各入力側アドレスに基づき並べ替えるマッチング用ソート手段と、
前記マッチング用ソート手段で並べ替えることにより入力側アドレスを基準に出力側アドレスを対応させて組み合わせたテーブル情報を記憶するマッチング用アドレステーブルと、
リアルタイムで読み込まれた前記入力側画像データの各画素の入力側アドレスと前記マッチング用アドレステーブルに記憶している前記入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスと組み合わせて出力側画像データを形成し、これを送出するアドレスマッチング手段とを有することを特徴とするカメラシステムにある。【００１５】
本発明の第６の態様は、
上記第２乃至第５の態様の何れか一つに記載する画像処理装置又はカメラシステムにおいて、
前記幾何学位置計算手段は、前記入力側アドレスを小数点まで求め小数値として出力するとともに、
前記アドレスマッチング手段は、前記入力側画像データにおいて前記入力側アドレスの整数部に対応する特定の画素を基準として隣接する複数の画素の輝度に基づき前記小数部の値により重み付けした補間により前記特定の画素の輝度を求め、これを出力側画像データの前記特定の画素に対応する画素の輝度とすることを特徴とするカメラシステムにある。【００１６】
本発明の第７の態様は、
上記第６の態様に記載するカメラシステムにおいて、
前記アドレスマッチング手段は、少なくとも１ライン分のバッファメモリを有し、このバッファメモリに記憶している各画素の輝度情報を利用して次のラインに属する前記特定の画素の輝度を求めるように構成したことを特徴とするカメラシステムにある。【００１７】
本発明の第８の態様は、
上記第２乃至第７の態様に記載するカメラシステムにおいて、
前記出力側画像データを記憶するバッファメモリをさらに有し、このバッファメモリには前記出力側画像データを、前記突合せの結果が一致するごとに出力側アドレスを基準にランダムに書き込みむとともに、前記出力画像データの読出しはシーケンシャルに行うことを特徴とするカメラシステムにある。【００１８】
本発明の第９の態様は、
上記第２乃至第７の態様に記載するカメラシステムにおいて、
前記出力側画像データを記憶するバッファメモリをさらに有し、このバッファメモリには前記出力側画像データを、前記突合せの結果が一致するごとにシーケンシャルに書き込む一方、前記バッファメモリのメモリアドレスを前記出力側アドレスに基づき並べ替える読出し用ソート手段と、この読出し用ソート手段で並べ替えることにより前記出力側アドレスを基準に前記メモリアドレスを対応させて組み合わせたテーブル情報を記憶する読出し用アドレステーブルとを備え、さらに前記出力画像データの読出しは前記読出し用アドレステーブルの前記テーブル情報に基づきランダムに行うことを特徴とするカメラシステムにある。【００１９】
本発明の第１０の態様は、
上記第２乃至第７の態様の何れか一つに記載する画像処理装置又はカメラシステムにおいて、
前記レンズは広角の視野を有する魚眼レンズであり、
前記幾何学位置計算手段における前記変換処理は、前記領域の画像の歪を補正する処理であることを特徴とするカメラシステムにある。【００２０】
本発明の第１１の態様は、
上記第２乃至第７の態様の何れか一つに記載する画像処理装置又はカメラシステムにおいて、
前記幾何学位置計算手段における前記変換処理は、前記領域の画像を歪ませるための処理であることを特徴とするカメラシステムにある。
【発明の効果】
【００２１】
本発明によればリアルタイムで読み込まれた入力側画像データの各画素の入力側アドレスとアドレステーブルに記憶している入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、その入力側アドレスにおける前記入力側画像データを、対応する出力側アドレスとを組み合わせて出力側画像データを形成するようにしたので、撮像手段の出力信号である入力側画像データの一フレーム分を記憶する従来技術の如きフレームメモリが不要になる。【００２２】
この結果、フレームメモリに一フレーム分の画像データを書込む時間に起因する遅延を除去して取り込んだ画像を迅速に再生画像として表示することができる。かかる効果は、特に移動体を撮像対象とする監視カメラシステム等で顕著なものとなる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態に係る全方位カメラシステムを示すブロック線図である。
【図２】図１に示すパラメータ設定器を抽出して、その具体的な構成を概念的に示す説明図である。
【図３】図１に示す魚眼レンズの設置方法に基づく表示モードを概念的に示す説明図である。
【図４】図１に示す幾何学位置計算装置における歪み補正の原理を説明するための説明図である。
【図５】図１に示す幾何学位置計算装置における処理操作の手順を説明するための説明図である。
【図６】図１に示す魚眼レンズにおける像高特性を説明するための説明図である。
【図７】図１に示す幾何学位置計算装置、アドレステーブル、ソート部及びマッチング用アドレステーブルの関係を概念的に示す説明図である。
【図８】図１に示すソート部におけるソート処理を概念的に示す説明図である。
【図９】図１に示すソート部におけるソート処理を実現するマルチビット処理方式のハード構成を概念的に示す説明図である。
【図１０】図１に示すアドレスマッチング装置及びバッファメモリの詳細な構成を概念的に示す説明図である。
【図１１】本発明の第２の実施の形態に係る全方位カメラシステムを示すブロック線図である。
【図１２】図１１に示す幾何学位置計算装置、アドレステーブル、ソート部及びマッチング用アドレステーブルの関係を概念的に示す説明図である。
【図１３】図１１に示すアドレスマッチング装置及びバッファメモリの機能を概念的に示す説明図である。
【図１４】従来技術に係る全方位カメラシステムを示すブロック線図である。
【符号の説明】
【００２４】
１  イメージセンサ
２  魚眼レンズ
５  パラメータ設定器
６  幾何学位置計算装置
１０  アドレステーブル
１１  ソート部
１２  第２のアドレステーブル
１３  アドレスマッチング装置
２０  出力画面
【発明を実施するための最良の形態】
【００２５】
以下本発明の実施の形態を図面に基づき詳細に説明する。【００２６】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態に係る全方位カメラシステムを示すブロック線図である。同図中、図１４と同一部分には同一番号を付している。図１に示すように、撮像手段であるＣＭＯＳのイメージセンサ１は、魚眼レンズ２で取り込んだ広角の画像に基づき電気的な信号である画像データを形成する。この画像データは、魚眼レンズ２で取り込んだ際の歪み成分がそのまま残存する電気的なデジタル信号で、カラー処理部３で所定のカラー処理が行われる。カラー処理部３は、レイヤ配列のイメージセンサ１の出力信号から画素単位の入力側画像データＤＩを形成する。この結果、アドレスマッチング装置１３には、画素毎に輝度情報と色情報とが組み合わされた入力側画像データＤＩが供給される。【００２７】
パラメータ設定器５は、魚眼レンズ２で取り込んだ画像のうち表示したい領域を切り出すためのパン、チルト、ズーム及び回転に関するパラメータと、魚眼レンズ２の中心及び半径に関するパラメータとが設定してある。ここで、パン、チルト、回転に関するパラメータは角度情報として、ズームは倍率情報として、また魚眼レンズ２の中心及び半径は位置及び数値情報としてそれぞれ設定される。【００２８】
図２はこの場合に入力装置として機能するパラメータ設定器５の具体的な構成を概念的に示す説明図である。同図に示すように、パン、チルトに関するパラメータは角度情報として操作釦５ａ，５ｂ，５ｃ，５ｄを操作することにより設定する。また、ズームに関するパラメータは操作釦５ｅ，５ｆを操作することにより設定する。【００２９】
モード選択釦５ｇは魚眼レンズ２の設置方法の違いに基づくモードを選択するものである。さらに詳言すると、図３に示すように、魚眼レンズ２の設置方法により周回表示上方（机上等）及び周回表示下方（天井付け）からなり魚眼レンズ２の周囲を主に撮影する場合の周回表示モードと、通常のカメラと同様に光軸を水平方向に向けて撮影する場合の直交表示モードとがある。そして、各モードの何れかを選択することにより、魚眼レンズ２の入力に対する座標展開方式を変更して表示することを可能にしている。【００３０】
図１に示す幾何学位置計算装置６はパラメータ設定器５に設定したパラメータに基づき出力として切り出す領域の画像の魚眼レンズ２による歪みを補正すべく、表示器９の表示画面（出力画面）９ａ上の各画素に対応する、入力側画像データＤＩにおける各画素の幾何学的位置を計算する。【００３１】
かかる幾何学位置計算装置６における歪み補正のための計算は、例えば次の原理を利用することにより好適に実施し得る。【００３２】
魚眼レンズ２によってイメージセンサ１の面にできる円形画像は、魚眼レンズ２を中心とする半径Ｒの半球体の球面状スクリーンに投影した画像と等価である。そこで、球面画像を平面画像に変換すれば所望の歪み補正を行うことができる。すなわち、図４に示すように、半球面に接している接平面Ｐに対して球の中心Ｏから光を投影してできる平面画像を歪み補正後の出力画面として表示できれば良い。【００３３】
ここで、視点を移動させることは、投影面となる接平面Ｐを球面上で移動させることに等しい。接平面Ｐの移動方法には次の３種類がある。
１）回転；接平面Ｐの視点ベクトルＯＯ´周りの回転量（α）
２）チルト；視点ベクトルＯＯ´の垂直方向の角移動量（β）
３）パン；視点ベクトルＯＯ´の水平方向の角移動量（θ）【００３４】
そこで、歪み補正（座標変換）に関する演算は次のような手順により行う。【００３５】
接平面Ｐ上のＸＹ座標系を当該全方位カメラシステムのｘｙｚ座標系に変換することによって魚眼レンズ２の円画像を平面画像に変換する。【００３６】
具体的には、図５に示すように、接平面Ｐを次の手順に従って拡大／縮小及び回転させることによって座標変換を行う。
１）接平面Ｐの重心Ｏを座標（Ｒ，０，０）に置く。このとき、接平面Ｐ内の点ＰO（Ｘ，Ｙ）の空間座標は（Ｒ，Ｘ，Ｙ）となる（図５（ａ）参照）。
２）接平面Ｐを設定されたズーム倍率にしたがって、接平面Ｐの大きさを（１／ズーム倍率）に拡大／縮小する（図５（ｂ）参照）。
３）接平面Ｐをｘ軸回りにｙ軸からｚ軸に向かってαｒａｄ（回転角）回転させる（図５（ｃ）参照）。
４）接平面Ｐをｙ軸回りにｘ軸からｚ軸に向かって（９０°−β）ｒａｄ（チルト角）回転させる（図５（ｄ）参照）。
５）接平面Ｐをｚ軸回りにｘ軸からｙ軸に向かってθｒａｄ（パン角）回転させる（図５（ｅ）参照）。【００３７】
以上の操作による、接平面Ｐ上の任意の点ＰO（Ｘ，Ｙ）（図４参照）の移動先をＰ1（Ｘ1、Ｙ1、Ｚ1）とすると、Ｐ1は回転行列を使って次式のように表現される。【００３８】
【数１】
2009014075.tif 000003
【００３９】
魚眼レンズ２は、周囲３６０度の風景を魚眼円形に写しこんで魚眼画像を形成するものであるが、一般にその入射角θに対する固有の歪み特性である像高特性を有している。すなわち、図６（ａ）に示すように、前記接平面Ｐ（図４乃至図５参照）上の被写点である任意の点P1と魚眼円形２ａ内の魚眼画像の結像点Ｑとは像高特性によって対応付けられている。したがって、図６（ａ）中の距離ＯＱを像高ｈというが、この像高ｈは魚眼レンズ２の歪み特性に応じ、魚眼レンズ２毎に入射角θに対する固有の値となる。【００４０】
図６（ｂ）は像高特性の一例を示す説明図である。同図に示すように、入射角θを特定してやれば当該像高特性曲線（図中の太線）により入射角θに対応する像高ｈを決定することができる。【００４１】
ここで、図６（ｃ）に示すように、中心Ｏと点Ｐ1の距離ＯＰ1は次式で与えられる。【００４２】
【数２】
2009014075.tif 000004
【００４３】
したがって、点Ｐ1（Ｘ1，Ｙ1，Ｚ1）からの入射角θは次式で与えられる。【００４４】
【数３】
2009014075.tif 000005
【００４５】
この結果、上式で求めた入射角θと図６（ｂ）に示す像高特性とに基づき像高ｈを求めることができる。【００４６】
続いて、図６（ｃ）に示す点Ｐ1´（点Ｐ1をｘｙ平面へ投影した点）を像高ｈの位置へ拡大・縮小して、図６（ａ）に示す結像点Ｑの座標（ｘ，ｙ）を求める。具体的には、ＯＰ1´＝ＯＰ1・ｓｉｎθより、結像点Ｑの座標は次式で求まる。【００４７】
【数４】
2009014075.tif 000006
【００４８】
かくして、接平面Ｐの任意の点Ｐ1の座標（Ｘ1，Ｙ1，Ｚ1）は、歪みを補正した状態で結像点Ｑの座標（ｘ，ｙ）に変換される。すなわち、出力画面上の各画素（接平面Ｐ上の任意の点に相当する）に対応する、入力側画像データにおける各画素（円形画像上のＱ点に対応する）の幾何学的位置を計算することができる。ここで、本形態における幾何学位置は小数点以下まで求めている。【００４９】
図１に示すアドレステーブル１０は、出力画面上の各画素のアドレスである出力側アドレスを基準に、幾何学位置計算装置６の計算結果に基づく入力側画像データＤＩ上の各画素のアドレスである入力側アドレスを対応させて組み合わせたテーブル情報を記憶している。【００５０】
マッチング用ソート部１１はアドレステーブル１０に記憶している各出力側アドレスを各入力側アドレスに基づき並べ替える（具体的手法については後に詳述する）。【００５１】
マッチング用アドレステーブル１２はマッチング用ソート部１１で並べ替えることにより入力側アドレスを基準に出力側アドレスを対応させて組み合わせたテーブル情報を記憶する。【００５２】
図７は上記幾何学位置計算装置６、アドレステーブル１０、マッチング用ソート部１１及びマッチング用アドレステーブル１２の関係を概念的に示す説明図である。同図に示すように、幾何学位置計算装置６では出力画面（ｕｖ平面）２０の画素を基準として入力側画像データ（ｘｙ平面）ＤＩの各画素の幾何学的位置を対応させてある。この結果、アドレステーブル１０では出力画面２０の画素の順番、すなわち出力側アドレスの順番に前記幾何学的位置に基づく入力側アドレスが対応して並んでいる。なお、図７において、入力側画像データＤＩ中の円形領域２１が魚眼レンズ２の視野に対応する領域、円形領域２１中の扇形領域２２が切り出す領域、すなわち出力画面２０に対応する領域である。【００５３】
マッチング用ソート部１１では、前記入力側アドレスの順番に出力側アドレスを並べ替えている。この結果、マッチング用アドレステーブル１２ではソート後の入力側アドレスを基準とする出力側アドレスが対応して並んでいる。【００５４】
図８はマッチング用ソート部１１の具体的な処理の一例を概念的に示す説明図である。本例は、ビットソートと呼ばれる方式で、最初、図８（ａ）に示すような順序で図中の上下方向に並べられている各５ｂｉｔの入力側アドレスデータ（前記幾何的位置のデータ）を図８（ｆ）に示すように昇順にソートする場合の態様を示している。本方式では下位の桁から順に「０」乃至「１」の状態を検出して適宜並べ替えている。すなわち、図８（ａ）における最下位ビットに着目して昇順に並べ替えると図８（ｂ）のようになり、この状態で２ビット目に着目して昇順に並べ替えると図８（ｃ）のようになる。以下、３ビット目（図８（ｃ））、４ビット目（図８（ｄ））、５ビット目（図８（ｅ））にそれぞれ着目して同様の操作を繰り返すことにより最終的に図８（ｆ）に示すような並べ替えを行うことができる。【００５５】
図８（ｇ）は上記ソートをハード的に実現する場合の一例を示すブロック図である。同図に示すように、最初は入力バッファ３１に全ての前記入力側アドレスデータを書き込んでおく。すなわち、図８（ａ）に示す状態を形成しておく。かかる状態で、先ず最下位ビットに着目してそれが「０」の場合にはセレクタ３２で出力バッファ３３の左側から、「１」の場合にはセレクタ３２で出力バッファ３３の右側から順に該当する前記入力側アドレスデータを書き込む。この結果、出力バッファ３３には図８（ｂ）に対応する状態が形成される。かかる状態で、入力バッファ３１と出力バッファ３３の機能を逆転させ、２ビット目に着目して同様の操作を繰り返し、図８（ｃ）に対応する状態を形成する。以後入力バッファ３１と出力バッファ３３との間で同様の操作を繰り返すことにより最終的に図８（ｆ）に示す状態を形成することができる。【００５６】
図９は図８（ｇ）に示すハード構成を８個の入力バッファ３１及び８個の出力バッファ３３で構成したものである。かかる並列構成によりビットソートを４ビット単位で行うことができ、読み書きの回数が１／４となる結果、処理速度を４倍にすることができる。一般的には、２n個の入出力バッファ３１，３３の並列構成により処理速度をｎ倍にすることができる。そこで、入出力バッファ３１，３３の個数は所望の処理速度に合わせて決定すれば良い。【００５７】
図１に示すアドレスマッチング装置１３は、アドレスマッチング部１４と出力側画像データ生成部１５からなる。これらのうち、アドレスマッチング部１４は、カラー処理部３が送出し、リアルタイムで読み込んだ入力側画像データＤＩの各画素の入力側アドレスとマッチング用アドレステーブル１２に記憶している入力側アドレスとの突合せを行って、その一致乃至不一致を検出する。出力側画像データ生成部１５はアドレスマッチング部１４における両入力側アドレスが一致する場合に、その入力側アドレスにおける入力側画像データＤＩを、対応する出力側アドレスと組み合わせて出力側画像データＤＯを形成する。【００５８】
出力側画像データ生成部１５で形成する出力側画像データＤＯは、入力側画像データＤＩの歪みを前記幾何学的位置の情報に基づき除去したもので、各画素毎に入力側画像データＤＩに基づく輝度情報及び色情報を順に組み合わせたデータとして、順次バッファメモリ８に蓄えられ、読出し回路１６を介して一フレーム毎に表示器９の表示画面（出力画面）９ａ上に再生される。
本形態においては、前記突合せ（マッチング）の結果が一致するごとに出力側アドレスを基準に、出力側画像データＤＯをバッファメモリ８にランダムに書き込む。また、出力側画像データＤＯの読出しは読出し回路１６を介してシーケンシャルに行う。これらの点に関しては後に詳述する。【００５９】
かくして、表示画面９ａには所定の切り出し領域（扇形領域２２）の画像で且つ歪み補正処理を行った画像が再生される。【００６０】
かかる本形態によればアドレスマッチング装置１３において、リアルタイムで読み込まれた入力側画像データＤＩの各画素の入力側アドレスとマッチング用アドレステーブル１２に記憶している入力側アドレスとの突合せを行い、両入力側アドレスが一致する場合に、一致した入力側アドレスにおける入力側画像データＤＩを、対応する出力側アドレスと出力側画像データ生成部１５で組み合わせて出力側画像データＤＯを形成する。【００６１】
ここで、本形態においてはマッチング用ソート部１１を設け、入力側アドレスの順番に出力側アドレスを並べ替えているので、アドレスマッチング部１４における所定のアドレスマッチングを合理的に行うことができる。アドレスマッチング部１４に入力される入力側画像データＤＩの順番にマッチング用アドレステーブル１２の入力側アドレスが並べられており、入力側画像データＤＩの一つの画素につき一回の検索で全ての出力側画像データＤＯの画素を対応させることができるからである。【００６２】
図１０はアドレスマッチング装置１３及びバッファメモリ８のさらに詳細な機能を概念的に示す説明図である。同図（ａ）はイメージセンサ１のアドレスの順番に読み出される入力側画像データＤＩの入力側アドレス（ｙ，ｘ）とこれに対応する出力側画像データＤＯとの対応関係を示している。一方、同図（ｂ）はアドレスマッチング部１４におけるマッチング動作と、出力側画像データ生成部１５における出力側画像データＤＯの生成態様及びバッファメモリ８への書き込み形態を示している。【００６３】
図１０（ｂ）に示すように、アドレスマッチング部１４では、リアルタイムで順次読み出される入力側画像データＤＩの入力側アドレスとマッチング用アドレステーブル１２に記憶されている入力側アドレス（ｙ，ｘ）との突合せを行うが、本形態におけるマッチング用アドレステーブル１２の入力側アドレス（ｙ，ｘ）は小数部を有しているので、その整数部を基準に判断する。具体的には、入力側画像データＤＩの入力側アドレスのｙ座標を表わすラインカウンタ４１とｘ座標を表わすカラムカウンタ４２との内容を比較する。ここで、ラインカウンタ４１のｙ座標とカラムカウンタ４２のｘ座標とは整数値として与えられる。【００６４】
出力側画像データ生成部１５ではアドレスが一致した画素の近傍の合計４画素、すなわち入力側アドレス（ｙ，ｘ）の画素に対して同一ライン上で隣接する入力側アドレス（ｙ，ｘ−１）と一ライン前でそれぞれに隣接する入力側アドレス（ｙ−１，ｘ−１）、（ｙ−１，ｘ）との各画素データを選択し、合計４画素４３から出力側画像データＤＯの各画素データＤＯ−１を形成する。このため出力側画像データ生成部１５には一ライン分のラインバッファメモリ４４を有している。また、前述の如く各画素データＤＯ−１を形成する際にはマッチング用アドレステーブル１２の入力側アドレス（ｙ，ｘ）の小数部の値により隣接する画素との輝度を直線補間により求めている。ここで、小数部の値により重み付けした補間であれば直線補間に限定する必要はない。なお、図示はしないが、各画素データＤＯ−１は４画素４３に基づき生成する色情報も含んでいる。【００６５】
出力側画像データ生成部１５で形成された各画素データＤＯ−１はバッファメモリ８に書き込まれるが、この際各画素データＤＯ-１は形成されるごとに出力側アドレスを基準に、バッファメモリ８にランダムに書き込まれる。したがって、バッファメモリ８には出力アドレスの順にシーケンシャルに並んだ状態で各画素データＤＯ−１が書き込まれる。この結果、各画素データＤＯ−１の読み出しは、バッファメモリ８の頭からシーケンシャルに行う。【００６６】
＜第２の実施の形態＞
図１に示す第１の実施の形態では、上述の如く、バッファメモリ８には出力側アドレスの順に各画素データＤＯ−１が並んでいるので、その分各画素データＤＯ−１の読み出しのための構成を簡素化することができる。
反面、出力側画像データ生成部１５で形成した各画素データＤＯ−１をバッファメモリ８に書き込む際には、出力側アドレスを基準にランダムに書き込んでいるため、入力側画像データＤＩにおいて歪が大きい扇形領域２２（図１０参照）の周辺部に対応する各画素データＤＯ−１を書き込む際には、十分な書き込み速度を確保することが困難になり、場合によっては書き込みを行うことが不可能になる。前記周辺部に対応する領域の各画素データＤＯ-１の場合にはデータが錯綜し、書き込み間隔がバッファメモリ８の書き込み能力を超えてオーバーフローしてしまうことがあるからである。
本形態は、かかる書き込み不能状態を回避するためのものであり、バッファメモリ８に対する書き込み及び読み込みの方式が異なる。すなわち、書き込み時には各画像データＤＯ−１を形成されるごとにシーケンシャルに書き込み、読み出す際にランダムに読み出すようにしている。【００６７】
図１１は本発明の第２の実施の形態に係る全方位カメラシステムを示すブロック線図である。同図中、図１と同一部分には同一番号を付し、重複する説明は省略する。本形態において、出力側画像データ生成部２５で形成される出力側画像データＤＯは、形成されるごとにシーケンシャルに順次バッファメモリ８に書き込まれる。一方、バッファメモリ８からは読出し用アドレステーブル１８を参照しつつ読出し回路２６を介して出力側画像データＤＯがランダムに読み出されて表示器９の表示画面９ａに再生される。
ここで、読出し用アドレステーブル１８には、読出し用ソート部１７で並べ替えることにより出力側アドレスを基準にバッファメモリ８のメモリアドレスを対応させて組み合わせたテーブル情報を記憶している。また、読出し用ソート部１７はマッチング用アドレステーブル１２に記憶する出力側アドレスに基づきバッファメモリ８のメモリアドレスを並べ替えるものである。【００６８】
かくして、本形態によれば、バッファメモリ８への出力側画像データＤＯの書き込みはシーケンシャルに行うので、これをランダムに行う場合のような書き込み情報のオーバーフローを生起することはない。その代わりバッファメモリ８には出力側画像データＤＯがランダムに書き込まれているので、読み出す際には出力側アドレスの順番にランダムに読み出す必要がある。かかる読み出しのための情報は読み出し用アドレステーブル１８に記憶してあるので、この読み出し用アドレステーブル１８の記憶内容を参照すれば所定どおりに出力側アドレスの順番にランダムに読み出すことができる。この点を図１２に基づきさらに詳細に説明する。【００６９】
図１２は図１１に示す幾何学位置計算装置、アドレステーブル、ソート部及びマッチング用アドレステーブルの関係を概念的に示す説明図であり、第１の実施の形態における図７に対応するものである。そこで、図７と同一部分には同一番号を付し、重複する説明は省略する。【００７０】
図１２に示すように、前述の如きマッチングはマッチング用アドレステーブル１２の入力側アドレステーブル（ｙ、ｘ）を利用して行われる。一方、読み出し用アドレステーブル１８はマッチング用アドレステーブル１２の出力側アドレステーブル（ｖ，ｕ）を利用して作成される。すなわち、出力側アドレステーブル（ｖ，ｕ）の出力側アドレスをバッファメモリ８のアドレス番号表１９の順番に並べた対照表を作成し、次に読み出し用ソート部１７で前記対照表のアドレス番号を出力側アドレスを基準に並べ替えることにより、出力側アドレスに対応するバッファメモリ８のアドレスを記述したテーブルを作成することができる。これを読み出し用アドレステーブル１８に記憶しておき、この情報に基づきランダムに読み出せばシーケンシャル並んだ出力側画像データＤＯを再生することができる。【００７１】
図１３は図１１に示すアドレスマッチング装置及びバッファメモリの機能を概念的に示す説明図であり、第１の実施の形態における図１０に対応するものである。そこで、図１０と同一部分には同一番号を付し、重複する説明は省略する。同図は、出力側画像データ生成部１５で形成した各画像データＤＯ−１が形成される度にバッファメモリ８の頭から順次シーケンシャルに書き込まれていることを表している。【００７２】
このように、本形態によればバッファメモリ８への読み込みはシーケンシャルに行うことができるので読み込み際のデータのオーバーフローを回避し得る。反面読み出しの際にはランダムに読み出す必要があるが、この場合には読み出しの間隔は一定であるため情報のオオーバーフローを生起することはない。【００７３】
上記第１及び第２の実施の形態においてはマッチング用ソート部１１を設け、入力側アドレスの順番に出力側アドレスを並べ替えているが、必ずしもソートを行なう必要はない。マッチングのための検索回数は増えるが、本発明はソートを行なわない場合も含む。すなわち、アドレステーブル１０及びアドレスマッチング装置１３さえ備えていれば、マッチング処理の効率は劣るが、従来技術におけるフレームメモリ４（図１４）を除去したカメラシステムを構成することはできる。【００７４】
また、アドレステーブル１０と同様の機能を有するアドレステーブルに特定の領域に関するテーブル情報を記憶させるとともに、各入力側アドレスに対応させて各出力側アドレスを予め並べ替えておくことで前記特定の領域に関しては、マッチング用アドレステーブル１２が記憶しているソート済みのテーブル情報と同様のテーブル情報を記憶させることができる。したがって、この場合、前記特定の領域に関しては、マッチング用ソート部１１を有するアドレスマッチングと同程度の合理的なマッチング処理を行うことができる。【００７５】
ここで、前記特定の領域を複数設定し、各領域毎に上述の如きソート済みのテーブル情報を記憶させておくことで、各領域に関して合理的なマッチング処理を行うことができる。この場合、各領域を自動的に適宜切り替えるように制御しても良い。【００７６】
また、上記第１及び第２の実施の形態では、一ライン前の画素も利用して出力側画像データＤＯの各画素データＤＯ−１を形成しているので、一ライン分のラインバッファメモリ４４を設けたが、同一ライン上で隣接する入力側アドレスのみを利用する場合には、当然ラインバッファメモリ４４は不要になる。一方、二ライン分以上のラインバッファメモリを設ければ、その分多くの入力側アドレスの情報を利用した高精度の出力側画像データＤＯを形成することができる。したがって、再生画像の精度を考慮してラインバッファメモリの数を選択すれば良い。【００７７】
上記第１及び第の実施の形態はレンズとして魚眼レンズ２を有する場合であるので、幾何学位置計算装置６における計算は魚眼レンズ２による入力側画像データＤＩの歪みを補正するためのものであるが、これに限るものではない。通常のレンズで取り込んだ歪みを有しない入力側画像データＤＩに所望の歪みを与えるような処理を行う場合も本発明にの含まれる。すなわち、幾何学位置計算手段はレンズで取り込んだ画像の歪み補正のみならず、歪みのない画像を歪ませる補正等の処理を行うものも含む。要は、レンズで取り込んだ画像の幾何学的位置の変換処理を行うものであれば特別な制限はない。
【図１】
2009014075.tif 000007
【図２】
2009014075.tif 000008
【図３】
2009014075.tif 000009
【図４】
2009014075.tif 000010
【図５】
2009014075.tif 000011
【図６】
2009014075.tif 000012
【図７】
2009014075.tif 000013
【図８】
2009014075.tif 000014
【図９】
2009014075.tif 000015
【図１０】
2009014075.tif 000016
【図１１】
2009014075.tif 000017
【図１２】
2009014075.tif 000018
【図１３】
2009014075.tif 000019
【図１４】
2009014075.tif 000020
【国際調査報告】
2009014075.tif 000021
2009014075.tif 000022