(57)【特許請求の範囲】
【請求項１】
回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をとり、前記基準光軸の方向を０度として少なくとも角度θの範囲（θ１≦θ≦θ２、−１８０°≦θ１≦１８０°、−１８０°≦θ２≦１８０°、θ１＜θ２）の凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、画角を２αとした時に前記回転中心軸上に対してα以下の角度だけ光軸が基準光軸方向に傾斜しており、前記反射鏡の反射像を結像して、前記反射鏡の回転中心軸周りの少なくとも角度θの範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部と
を設けた広角画像生成装置。
【請求項２】
回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をとり、前記基準光軸の方向を０度として少なくとも角度θの範囲（θ１≦θ≦θ２、−１８０°≦θ１≦１８０°、−１８０°≦θ２≦１８０°、θ１＜θ２）の凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、画角を２αとした時に前記回転中心軸上に対してα以下の角度だけ光軸が基準光軸方向に傾斜しており、前記反射鏡の反射像を結像して、前記反射鏡の回転中心軸周りの少なくとも角度θの範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部と
を設けた広角画像生成装置。
【請求項３】
前記反射鏡が、回転中心軸上に内部焦点を持つ双曲面形状であり、前記双曲面形状の外部焦点の位置と前記撮像装置の主点の位置が略々一致することを特徴とする
請求項１または請求項２に記載の広角画像生成装置。
【請求項４】
展開テーブル生成部または展開テーブル生成用演算処理装置を、
撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広角画像の対応関係と、前記歪補正後の広角画像と展開画像の対応関係を合成した画素対応関係の情報を含む展開テーブルを生成するよう構成した
請求項１または請求項２に記載の広角画像生成装置。
【請求項５】
展開テーブル生成部または展開テーブル生成用演算処理装置を、
広角画像と展開画像の画素対応関係を考える際の仮想投影面の形状を変更することにより、前記広角画像と前記展開画像の画素対応関係を変更した展開テーブルを生成するよう構成した
請求項１または請求項２に記載の広角画像生成装置。
【請求項６】
展開テーブル生成部または展開テーブル生成用演算処理装置を、
展開画像上に設けた任意のマスク領域内における広角画像と展開画像の画素対応関係を任意に変更し、前記マスク領域内の展開画像をマスクするような展開テーブルを生成するよう構成した
請求項１または請求項２に記載の広角画像生成装置。
【請求項７】
展開画像生成部の後段に、展開画像生成部の後処理として、展開画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画質補正処理部を追加した
請求項１または請求項２に記載の広角画像生成装置。
【請求項８】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部と
を設けるとともに、
展開テーブル生成部を、
撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広角画像の対応関係と、前記歪補正後の広角画像と展開画像の対応関係を合成した画素対応関係の情報を含む展開テーブルを生成するよう構成した
広角画像生成装置。
【請求項９】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部と
を設けるとともに、
展開テーブル生成部を、
広角画像と展開画像の画素対応関係を考える際の仮想投影面の形状を変更することにより、前記広角画像と前記展開画像の画素対応関係を変更した展開テーブルを生成するよう構成した
広角画像生成装置。
【請求項１０】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部と
を設けるとともに、
展開テーブル生成部を、
展開画像上に設けた任意のマスク領域内における広角画像と展開画像の画素対応関係を任意に変更し、前記マスク領域内の展開画像をマスクするような展開テーブルを生成するよう構成した
広角画像生成装置。
【請求項１１】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部と
を設けるとともに、
展開画像生成部の後段に、展開画像生成部の後処理として、展開画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画質補正処理部を追加した
広角画像生成装置。
【請求項１２】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部と
を設けるとともに、
展開テーブル生成用演算処理装置を、
撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広角画像の対応関係と、前記歪補正後の広角画像と展開画像の対応関係を合成した画素対応関係の情報を含む展開テーブルを生成するよう構成した
広角画像生成装置。
【請求項１３】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部と
を設けるとともに、
展開テーブル生成用演算処理装置を、
広角画像と展開画像の画素対応関係を考える際の仮想投影面の形状を変更することにより、前記広角画像と前記展開画像の画素対応関係を変更した展開テーブルを生成するよう構成した
広角画像生成装置。
【請求項１４】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部と
を設けるとともに、
展開テーブル生成用演算処理装置を、
展開画像上に設けた任意のマスク領域内における広角画像と展開画像の画素対応関係を任意に変更し、前記マスク領域内の展開画像をマスクするような展開テーブルを生成するよう構成した
広角画像生成装置。
【請求項１５】
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部と
を設けるとともに、
展開画像生成部の後段に、展開画像生成部の後処理として、展開画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画質補正処理部を追加した
広角画像生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は反射面による反射光を撮像し、広角画像を生成する広角画像生成装置に関するものである。
【０００２】
【従来の技術】
反射面を用いた広角撮像装置の従来例として特許２９３９０８７号に記載のいわゆる全方位カメラがある。これはカメラの光軸周りの軸回転対称の形状を有した反射面により、回転軸周りの３６０度の方向の画像を一度に撮像面に結像することができるものである。また、撮像により得られる全方位画像に対して画像変換処理を行うことにより、いわゆるパノラマ画像を得るものである。
【０００３】
全方位カメラは、監視領域が周囲３６０度の場合には有効である。しかし監視領域が略１８０度でよい場合には、全方位カメラは略１８０度分の不要な領域を撮像することになり、撮像素子の使い方として非効率である。
【０００４】
そこで反射面のつくる反射像のうち、その反射面の回転中心軸に垂直な任意の方向を基準方向としてその略±９０度分のみを撮像するような広角撮像装置を考える。
【０００５】
このような広角撮像装置で得られた画像（以下、広角画像と呼ぶ）に対しても、特許２９３９０８７号で示された全方位カメラの場合と同様に、演算処理を施すことによって、通常の画角のカメラで撮った画像をつなぎ合わせた様な画像である展開画像を得ることができる。
【０００６】
以下に展開処理について説明する。
図３３は展開処理の説明のために広角撮像装置８を模式的に示したものである。座標軸を、紙面から手前方向にＸ軸、紙面の左右方向にＹ軸、紙面の上下方向にＺ軸とする。またＺ軸は鉛直方向に一致している。
【０００７】
広角撮像装置８は、軸回転対称の形状を有した双曲面反射鏡１と結像レンズ２と撮像素子３とで構成されている。撮像装置は結像レンズ２と撮像素子３とで構成されている。
【０００８】
双曲面反射鏡１は双曲面の回転中心軸周りの±９０度分の反射面を有している。その０度の方向を基準光軸方向とし、ここではＹ軸方向と一致するものとする。４は双曲面反射鏡１の内部焦点である。６は双曲面反射鏡１の回転中心軸であり、Ｚ軸と一致している。
【０００９】
空間内の任意点Ｐ(Ｘ，Ｙ，Ｚ)から発せられ、内部焦点４に向かって入射した光線は、双曲面反射鏡１の反射面で反射し、回転中心軸６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ２の主点７の位置は略々一致するように配置されており、結像レンズ２を介して光線が撮像素子３の撮像面５上に結像する。
【００１０】
また、２１は広角画像から展開画像への写像を考える際の仮想の投影面である仮想円筒面である。仮想円筒面２１はその回転中心軸が双曲面反射鏡１の回転中心軸６と一致している。
【００１１】
空間内の任意点Ｐ(Ｘ，Ｙ，Ｚ)に対応する撮像面５上の点（即ち、広角画像上の点）ｐ(x，y)を考える。双曲面反射鏡１の双曲面形状は下記（式１）で表される。
【００１２】
（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2  ＝  −１            （式１）
ここでａ，ｂは双曲面の形状を決定する定数である。また
ｃ  ＝  (ａ2+ｂ2)0.5                                （式２）
である。また式３〜式５が成立する。
【００１３】
Ｚ  ＝  (Ｘ2+Ｙ2)0.5・tanβ+ｃ                      （式３）
tanβ  ＝｛(ｂ2+ｃ2)・sinα−２ｂｃ｝／｛(ｂ2−ｃ2)・cosα｝（式４）
tanα  ＝  Ｆ／ (ｘ2+ｙ2)0.5                        （式５）
ここでＦは結像レンズ２と撮像素子３からなる撮像装置の焦点距離である。角度αおよびβについては図３３を参照のこと。
【００１４】
（式３）〜（式５）よりＸ，Ｙ，Ｚ及びｂ，ｃ，Ｆが決まれば(ｘ2+ｙ2)0.5、即ち、撮像面５上の回転中心軸６との交点から点ｐまでの距離が決まる。
また、内部焦点４に向かう光線は、双曲面反射鏡１で反射して外部焦点へ向かうという双曲面の性質から、ＸＹ平面およびｘｙ平面における点Ｐ、点ｐの方向は一致する。従って、
Ｙ／Ｘ  ＝  ｙ／ｘ                                  （式６）
（式６）よりＸ，Ｙが求まれば、点ｐの方向も決まり、よって、Ｐ(Ｘ，Ｙ，Ｚ)に対応する撮像面５上の点（即ち広角画像上の点）ｐ(x、y)を一意に決定することができる。即ち、略±９０度分の視野を撮像するような広角撮像装置においても、全方位カメラの場合と同様に、展開画像の投影面（仮想円筒面２１）を決め、広角画像から投影面への写像を考えることによって展開画像の各画素の広角画像における対応点を決定し、それに従って展開画像の全画素の輝度値を決定することにより展開画像を生成することができる。
【００１５】
しかし、ここで反射面の回転中心軸が、基準方向に垂直な面内において鉛直方向から傾いた場合、この傾きを無視して、その広角撮像装置から得られた画像に対して演算処理を行い、略±９０度分の広角画像を展開画像へと変換すると、展開画像の外枠は反射面の回転中心軸の傾きが無い時と変わらない。一方、展開画像の内容は、反射面の回転中心軸の傾斜分だけ傾いたものとなり、見る者に違和感を与えるという問題点が発生する。
【００１６】
また、このような広角撮像装置の回転軸方向の視野は、仰角をβ、俯角をγとする場合に（図３３参照）、一般に｜β｜＜｜γ｜となる。そのため、展開画像中の仰角が０となる位置（以下、視線中心と呼ぶ）は、展開画像の短手方向のどちらかに片寄ってしまう。この時、展開画像中の視線中心から遠い部分は、他の部分よりも斜めに見ることになるために、他の部分に比べて歪んで見えてしまうという問題がある。
【００１７】
また、図３４を用いて全方位カメラについて説明する。
図３４の（ａ）は全方位カメラの基本構成を示している。全方位カメラ１００は、軸回転対称形状を有した反射面としての双曲面反射鏡１０１と、結像レンズ１０２と、ＣＣＤなどの撮像素子１０３とで構成されている。
【００１８】
１０４は双曲面反射鏡１０１の内部焦点である。１０５は撮像素子１０３の撮像面である。１０６は双曲面反射鏡１０１の回転中心軸であり、ここではＺ軸と一致しているとする。またこの双曲面反射鏡１０１の回転中心軸に垂直な任意の方向をＹ軸方向とする。１０７は結像レンズ１０２の主点である。内部焦点１０４と主点１０７を結ぶ直線を２等分する点を座標系の原点Ｏとする。
【００１９】
また、１０８ａ，１０８ｂは双曲面反射鏡１０１に入射する光線であり、１０９ａ，１０９ｂは光線１０８ａ，１０８ｂの双曲面反射鏡１０１に対する入射点である。１１０ａ，１１０ｂは入射点１０９ａ，１０９ｂで反射した光線１０８ａ，１０８ｂの撮像面１０５における結像点である。
【００２０】
ＹＺ平面内のある点から発せられ、内部焦点１０４に向かって入射し、双曲面反射鏡１０１上の入射点１０９ａ，１０９ｂに到達した光線１０８ａ，１０８ｂは、双曲面反射鏡１０１の反射面で反射し、回転中心軸１０６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ１０２の主点１０７の位置は略々一致するように配置されており、結像レンズ１０２を介して光線１０８ａ，１０８ｂは撮像素子１０３の撮像面１０５上の結像点１１０ａ，１１０ｂに結像する。
【００２１】
図３４の（ｂ）は撮像面１０５上における結像の様子を示す。図示しているように紙面上向きがＹ軸方向とする。また紙面垂直方向がＺ軸方向とする。光線１０８ａ，１０８ｂを含む、全方位カメラ１００の回転中心軸１０６の周囲３６０度から内部焦点１０４に向かって双曲面反射鏡１０１に入射する光束（図示せず）が、光線１０８ａ，１０８ｂと同じように、双曲面反射鏡１０１の外部焦点（図示せず）を通り、結像レンズ１０２を介して撮像面１０５上に円状の像１１１を形成する。また、円状の像１１１でＹ方向の両端が光線１０８ａ，１０８ｂの結像点１１０ａ，１１０ｂとなる。
【００２２】
以上のようにして得られた円状の全方位画像をパノラマ画像に変換する展開処理について以下に説明する。
図３５は展開処理の説明のために全方位カメラ１００を模式的に示したものである。双曲面反射鏡１０１、結像レンズ１０２、撮像素子１０３、内部焦点１０４、撮像面１０５、回転中心軸１０６、主点１０７は、図３４で説明したものと同じである。
【００２３】
１１２は、円状の全方位画像から展開画像への写像を考える際の仮想の投影面である仮想円筒面である。仮想円筒面１１２はその回転中心軸が双曲面反射鏡１０１の回転中心軸１０６と一致している。座標軸は、紙面から手前方向にＸ軸、紙面の左右方向にＹ軸、紙面の上下方向にＺ軸とする。またＺ軸は回転中心軸１０６と一致するものとする。
【００２４】
既に説明したように、空間内の任意点Ｐ(ＸP，ＹP，ＺP)から発せられ、内部焦点１０４に向かって入射した光線は、双曲面反射鏡１０１の反射面で反射し、回転中心軸１０６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ１０２の主点１０７の位置は略々一致するように配置されており、結像レンズ１０２を介して光線が撮像素子１０３の撮像面１０５上に結像する。
【００２５】
空間内の任意点Ｐ（ＸP，ＹP，ＺP）に対応する撮像面１０５上の点、すなわち、円状の全方位画像上の点であるｐ（ｘp，ｙp）を考える。双曲面反射鏡１０１の双曲面形状は（式７）で表される。
【００２６】
(Ｘ2+Ｙ2)／ａ2−Ｚ2／ｂ2＝−１                （式７）
ここでａ，ｂは双曲面の形状を決定する定数である。また
ｃ＝(ａ2+ｂ2)0.5                                  （式８）
である。また（式９）〜（式１１）が成立する。
【００２７】
Ｚ＝(Ｘ2+Ｙ2)0.5・tanα+ｃ                        （式９）
tanα＝｛(ｂ2+ｃ2)・sinβ−２ｂｃ｝／｛(ｂ2−ｃ2)・cosβ｝（式１０）
tanβ＝  Ｆ／ (ｘ2+ｙ2)0.5                        （式１１）
ここでＦは結像レンズ１０２と撮像素子１０３からなる撮像装置の焦点距離である。角度αは、内部焦点１０４と任意点Ｐを結ぶ直線とＸＹ平面のなす角度である。角度βは、主点１０７（双曲面反射鏡１０１の外部焦点と略々一致）と撮像面１０５上の点ｐを結ぶ直線とＸＹ平面のなす角度である。（式９）〜（式１１）よりＸP，ＹP，ＺPおよびｂ、ｃ、Ｆが決まれば(ｘp2＋ｙp2)0.5、すなわち、撮像面１０５上の回転中心軸１０６との交点から点ｐまでの距離が決まる。
【００２８】
また、内部焦点１０４に向かう光線は、双曲面反射鏡１０１で反射して外部焦点へ向かうという双曲面の性質から、ＸＹ平面およびｘｙ平面における点Ｐ、点ｐの方向は一致する。従って
Ｙ／Ｘ  ＝  ｙ／ｘ                              （式１２）
（式１２）よりＸP，ＹPが求まれば、点ｐの方向も決まる。
【００２９】
以上より、Ｐ（ＸP，ＹP，ＺP）に対応する撮像面５上の点（すなわち、円状の全方位画像上の点）ｐ（ｘp，ｙp）を一意に決定することができる。従って、展開画像の投影面（仮想円筒面１１２）を決め、円状の全方位画像から投影面への写像を考えることによって、展開画像の各画素に対する円状の全方位画像における対応点を決定し、それに従って展開画像の全画素の輝度値を決定することにより展開画像を生成することができる。
【００３０】
全方位カメラは、監視領域が周囲３６０度の場合には有効である。しかし監視領域が略１８０度でよい場合には、全方位カメラは略１８０度分の不要な領域を撮像することになり、撮像素子の使い方として非効率である。
【００３１】
【発明が解決しようとする課題】
本発明は、広角撮像装置をその回転中心軸が基準光軸方向に垂直な面内で鉛直方向に対して傾けた状態としても、広角画像生成装置としての出力は画像内の水平方向がＴＶモニタの水平方向と一致した画像となり、見る人に違和感を与えない広角画像生成装置を提供することを目的とする。
【００３２】
また、本発明は、反射面のつくる反射像のうち、その反射面の回転中心軸に垂直な任意の方向を基準方向としてその略±９０度分のみを撮像するような広角画像生成装置を考えた場合に、広角画像に対して全方位カメラの場合と同様の処理を適用し展開画像を得ようとすると、撮像装置の光軸の傾きや光学収差に起因する像の変形のために得られる展開画像は正しいものにならないという課題があるが、これを解決できる広角画像生成装置を提供することを目的とする。
【００４５】
【課題を解決するための手段】
本発明の請求項１記載の広角画像生成装置は、回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をとり、前記基準光軸の方向を０度として少なくとも角度θの範囲（θ１≦θ≦θ２、−１８０°≦θ１≦１８０°、−１８０°≦θ２≦１８０°、θ１＜θ２）の凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、画角を２αとした時に前記回転中心軸上に対してα以下の角度だけ光軸が基準光軸方向に傾斜しており、前記反射鏡の反射像を結像して、前記反射鏡の回転中心軸周りの少なくとも角度θの範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部とを設けたことを特徴とする。
【００４６】
本発明の請求項２記載の広角画像生成装置は、回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をとり、前記基準光軸の方向を０度として少なくとも角度θの範囲（θ１≦θ≦θ２、−１８０°≦θ１≦１８０°、−１８０°≦θ２≦１８０°、θ１＜θ２）の凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、画角を２αとした時に前記回転中心軸上に対してα以下の角度だけ光軸が基準光軸方向に傾斜しており、前記反射鏡の反射像を結像して、前記反射鏡の回転中心軸周りの少なくとも角度θの範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部とを設けたことを特徴とする。
【００４９】
本発明の請求項３記載の広角画像生成装置は、請求項１または請求項２において、前記反射鏡が、回転中心軸上に内部焦点を持つ双曲面形状であり、前記双曲面形状の外部焦点の位置と前記撮像装置の主点の位置が略々一致することを特徴とする。
【００５３】
本発明の請求項４記載の広角画像生成装置は、請求項１または請求項２において、展開テーブル生成部または展開テーブル生成用演算処理装置を、撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広角画像の対応関係と、前記歪補正後の広角画像と展開画像の対応関係を合成した画素対応関係の情報を含む展開テーブルを生成するよう構成したことを特徴とする。
【００５４】
本発明の請求項５記載の広角画像生成装置は、請求項１または請求項２において、展開テーブル生成部または展開テーブル生成用演算処理装置を、広角画像と展開画像の画素対応関係を考える際の仮想投影面の形状を変更することにより、前記広角画像と前記展開画像の画素対応関係を変更した展開テーブルを生成するよう構成したことを特徴とする。
【００５５】
本発明の請求項６記載の広角画像生成装置は、請求項１または請求項２において、展開テーブル生成部または展開テーブル生成用演算処理装置を、展開画像上に設けた任意のマスク領域内における広角画像と展開画像の画素対応関係を任意に変更し、前記マスク領域内の展開画像をマスクするような展開テーブルを生成するよう構成したことを特徴とする。
【００５６】
本発明の請求項７記載の広角画像生成装置は、請求項１または請求項２において、展開画像生成部の後段に、展開画像生成部の後処理として、展開画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画質補正処理部を追加したことを特徴とする。
本発明の請求項８記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部とを設けるとともに、展開テーブル生成部を、撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広角画像の対応関係と、前記歪補正後の広角画像と展開画像の対応関係を合成した画素対応関係の情報を含む展開テーブルを生成するよう構成したことを特徴とする。
本発明の請求項９記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部とを設けるとともに、展開テーブル生成部を、広角画像と展開画像の画素対応関係を考える際の仮想投影面の形状を変更することにより、前記広角画像と前記展開画像の画素対応関係を変更した展開テーブルを生成するよう構成したことを特徴とする。
本発明の請求項１０記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部とを設けるとともに、展開テーブル生成部を、展開画像上に設けた任意のマスク領域内における広角画像と展開画像の画素対応関係を任意に変更し、前記マスク領域内の展開画像をマスクするような展開テーブルを生成するよう構成したことを特徴とする。
本発明の請求項１１記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成部とを設けるとともに、展開画像生成部の後段に、展開画像生成部の後処理として、展開画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画質補正処理部を追加したことを特徴とする。
本発明の請求項１２記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部とを設けるとともに、展開テーブル生成用演算処理装置を、撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広角画像の対応関係と、前記歪補正後の広角画像と展開画像の対応関係を合成した画素対応関係の情報を含む展開テーブルを生成するよう構成したことを特徴とする。
本発明の請求項１３記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部とを設けるとともに、展開テーブル生成用演算処理装置を、広角画像と展開画像の画素対応関係を考える際の仮想投影面の形状を変更することにより、前記広角画像と前記展開画像の画素対応関係を変更した展開テーブルを生成するよう構成したことを特徴とする。
本発明の請求項１４記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部とを設けるとともに、展開テーブル生成用演算処理装置を、展開画像上に設けた任意のマスク領域内における広角画像と展開画像の画素対応関係を任意に変更し、前記マスク領域内の展開画像をマスクするような展開テーブルを生成するよう構成したことを特徴とする。
本発明の請求項１５記載の広角画像生成装置は、凸面形状の反射面を有する反射鏡と、前記反射鏡の回転中心軸上に主点を有し、前記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り３６０度の範囲の対象物を撮像する撮像装置と、前記撮像装置から得られる広角画像から前記回転中心軸上から見た展開画像を生成する展開画像生成部と、前記展開画像生成部が前記広角画像を展開する際の前記広角画像と前記展開画像の画素対応関係の情報を含む展開テーブルを生成する展開テーブル生成用演算処理装置と、前記展開テーブル生成用演算処理装置で生成された前記展開テーブルを保持するとともに前記展開画像生成部に接続された展開テーブル記憶部とを設けるとともに、展開画像生成部の後段に、展開画像生成部の後処理として、展開画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画質補正処理部を追加したことを特徴とする。
【００５８】
【発明の実施の形態】
以下、本発明の各実施の形態を図１〜図３２に基づいて説明する。
まず、図１〜図９に示す（実施の形態１）〜（実施の形態４）の各実施の形態に基づいて、広角撮像装置をその回転中心軸が基準光軸方向に垂直な面内で鉛直方向に対して傾けた状態としても、広角画像生成装置としての出力は画像内の水平方向がＴＶモニタの水平方向と一致した画像となり、見る人に違和感を与えない広角画像生成装置を説明する。
【００５９】
（実施の形態１）
図１〜図５は本発明の（実施の形態１）を示す。
図１は（実施の形態１）の広角画像生成装置を示し、座標軸を紙面の上下方向にＸ軸、紙面から手前方向にＹ軸、紙面の左右方向にＺ軸とする。またＸ軸は鉛直方向とする。
【００６０】
広角撮像装置８は、双曲面反射鏡１と結像レンズ２と撮像素子３とで構成されている。撮像装置は結像レンズ２と撮像素子３とで構成されている。双曲面反射鏡１は、双曲面の回転中心軸周りの±９０度分の反射面を有している。その０度の方向、すなわち、基準光軸方向はＹ軸方向とする。また基準光軸は双曲面反射鏡１の内部焦点４を通るものとする。双曲面反射鏡１の回転中心軸６は、Y軸を回転軸として鉛直方向から９０度傾けることにより、Ｚ軸（水平方向）と一致している。
【００６１】
内部焦点４に向かって入射した光線ａ，ｂ，ｃは、双曲面反射鏡１の反射面で反射し、回転中心軸６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ２の主点７の位置は一致または略々一致するように配置されており、結像レンズ２を介して光線ａ，ｂ，ｃが撮像素子３の撮像面５上に結像する。
【００６２】
なお、図１では、結像レンズ２を１枚構成のように描いているが、複数枚のレンズで構成されていても構わない。また、ここでは反射鏡１を双曲面形状に限定しているが、半球や円錐などの回転対称体としてもよい。但し、その場合は外部焦点が存在しないので結像レンズ２の主点７は回転中心軸６上の任意の位置となる。
【００６３】
広角撮像装置８に設けられた回転中心軸面内傾斜方向検出部としてのジャイロ方式のＹ軸周り角度センサ１２は、基準光軸方向に垂直な面内（ＸＺ平面内）での回転中心軸６が基準となる軸（ここでは鉛直軸とする）に対して何度傾いたかを出力する。
【００６４】
演算処理装置１１は、展開画像生成部９と出力画像生成部１０とで構成されている。展開画像生成部９では、広角撮像装置８の撮像素子３より得られる１８０度画角の広角画像に対して、双曲面反射鏡１の形状や結像レンズ２および撮像素子３の光学特性に応じて決まるアルゴリズムに従い、広角画像を展開画像へと変換する処理を行う。
【００６５】
出力画像生成部１０では、展開画像生成部９より得られる展開画像に対して、Ｙ軸周り角度センサ１２の出力に基づき、後述する傾き補正処理を行い、NTSC方式への変換を行う。１３は演算処理装置１１からの出力画像を表示するＴＶモニタである。
【００６６】
動作に基づいて図１の構成をさらに詳しく説明する。
図１において光線ａ，ｂ，ｃは対象物からの任意の光線を示している。そこで各光線の対象物を対象物ａ，ｂ，ｃと呼ぶことにする。対象物ａ，ｂ，ｃは、図２（ａ）に示すようなスクリーン１４上に描かれた「ａ」「ｂ」「ｃ」の文字とし、このスクリーン１４を、図２（ｂ）に示すようにＺ軸周りにＺ軸からスクリーン表面までの距離が一定となるように、対象物ａ，ｂ，ｃが描かれた面を双曲面反射鏡１から見えるように配設した場合を考える。
【００６７】
既に説明したように、内部焦点４に向かって双曲面反射鏡１の反射面に入射した光線は、全て外部焦点（図示せず）へと反射され、外部焦点と主点の位置が一致または略々一致するように設置された結像レンズ２を介して撮像素子３の撮像面５上に結像する。
【００６８】
従って、基準光軸方向（Ｙ軸方向）に対して±９０度の範囲が撮像面５上に結像することになる。この時、撮像素子３で得られる画像を図３に示す。対象物ａ，ｂ，ｃが全て含まれることが分かる。
【００６９】
演算処理装置１１では、広角撮像装置８から出力される図３に示すような広角画像に対して、展開画像生成部９で展開画像への変換処理を行う。
展開処理は、既に説明したように、展開画像の投影面（仮想円筒面２１）を決め、広角画像から投影面への写像を考えることによって展開画像の各画素の広角画像における対応点を決定し、それに従って展開画像の全画素の輝度値を決定することにより展開画像を生成する。例えば図３で示したような広角画像に対して展開処理を行うと図４のような展開画像が得られる。
【００７０】
以上のような展開画像生成部９での処理で作成された展開画像に対して、出力画像生成部１０で出力画像への変換処理を行う。
出力画像生成部１０では２つの処理を行う。
【００７１】
始めに、展開画像の傾き補正処理について説明する。
回転中心軸６を基準光軸方向に垂直な面内で鉛直方向に対して９０度傾けると、図４に示すように展開画像はその画像内の鉛直方向が本来あるべき方向に対して９０度傾いた画像となってしまう。
【００７２】
そこで、この横長の展開画像に対して画像の回転処理を施すことにより傾きの補正を行う。具体的には、広角撮像装置８に組み込んだジャイロ方式のＹ軸周り角度センサ１２を用いて、広角撮像装置８の回転中心軸６の鉛直方向に対する傾き角をＹ軸の＋方向を見た時の時計回り方向を正として計測する。
【００７３】
こうして得られた傾き角分だけ、展開画像を時計回りを正として、画像処理演算により回転させる。
次に、出力画像化処理について説明する。
【００７４】
広角画像の展開処理、傾き補正処理は、画像をデジタル化した状態で行われる。そこで、デジタル化されている画像を表示するのに適した形式、例えばＮＴＳＣ方式に変換する処理を行う。具体的には、まずデジタルデータの段階で画像サイズをＮＴＳＣのサイズに適合するように、余白領域を追加する。この余白領域は輝度０の領域としても構わないし、何らかの情報（例えば背景画像や撮影時間を示すキャプションなど）を入れても構わない。次に、既存のＮＴＳＣエンコードチップなどを用いて回路を構成することにより、ＮＴＳＣサイズとなったデジタルデータをＮＴＳＣに変換する。図４に示すような展開画像でも、出力画像は図５に示すように、画像内の水平方向が実際の水平方向と一致または略々一致した状態でＴＶモニタ１３に表示される。
【００７５】
なお、出力形式としてはＮＴＳＣに限定されるものではなく、ＰＡＬなど他の形式でも構わない。
また、ここでは回転中心軸６を９０度傾ける構成としたが、傾き角は９０度に限定されるものではない。但し、傾き角を９０度とすれば、通常の広角光学系では実現困難な鉛直方向１８０度の視野が得られることから、本装置のそばに立った人の顔から手元、足元までを一枚の画像として得ることが出来るため、例えばＡＴＭ（自動現金支払機）や自動販売機などの監視用途への適用が可能になるという利点がある。
【００７６】
また、本発明は回転中心軸６を任意の角度に傾け、広角撮像装置８を固定する場合に限定されるものではない。例えば、図６に模式的に示すように広角撮像装置８を一定速度で基準光軸を回転軸として回転させ、その出力画像をＴＶモニタ１３に出力する。この時、出力画像も一定の速度でＴＶモニタ内を回るが、その画像の内容は水平方向がＴＶモニタの水平方向と一致しているというものとなり、イベントなどに用いる特殊ディスプレイとして使用できる。
【００７７】
また、(実施の形態１)では、傾き補正処理を、展開画像内の水平方向と出力画像の水平方向が一致するような制御としていたが、これに限定されるものではない。例えば、展開画像内の水平方向と出力画像の水平方向のずれを一定とするような制御や、展開画像内の水平方向と出力画像の水平方向のずれを一定の決まりに従い変化させるような制御としてもよい。
【００７８】
また、（実施の形態１）では、双曲面反射鏡１を±９０度分の反射面を有するものとしたが、これに限定されるものではない。少なくとも±９０度以下の範囲であればよい。
【００７９】
また、(実施の形態１)では、ジャイロ方式のＹ軸周り角度センサ１２を広角撮像装置８に取り付けて傾き情報を得ていた。その他の方法として演算処理装置１１で画像処理を用いて傾き情報を得てもよい。
【００８０】
具体的には、撮影を行い、得られる展開画像中に角度計測の基準となる対象物が入るように撮影条件を決める。そしてこの対象物の展開画像内における傾き角を画像処理で求め、その角度が一定となるように、出力画像化処理時の傾け角を決定する。この方法であれば角度センサが不要になるという利点がある。
【００８１】
また、（実施の形態１）では、展開画像生成部９で広角画像から展開画像を生成する処理を行い、出力画像生成部１０で展開画像の傾き補正処理およびＮＴＳＣなどへの出力画像化処理を行ったが、展開画像生成部９で展開画像の生成と同時に展開画像の傾き補正を行い、出力画像生成部１０では出力画像化処理のみを行う構成としてもよい。
【００８２】
具体的には、従来の技術として説明したような方法で展開画像の各画素の広角画像における対応点を決定し、それに従って展開画像の各画素の輝度値を決定する。こうして得られた各画素の輝度値を展開画像生成部９内の図示しないメモリ上の展開画像の傾きを考慮した位置に順次記憶していくことにより傾き補正済み展開画像を生成する。この時の展開画像の傾き量はＹ軸周り角度センサ１２より取得する。出力画像生成部１０では傾き補正済み展開画像を受け取り、出力画像化処理を行う。
【００８３】
このような構成とすれば、展開画像の生成と傾き補正が同時に行えるため、処理速度の向上が期待できるという利点がある。
このように（実施の形態１）によれば、広角撮像装置８を、その回転中心軸６が基準光軸方向に垂直な面内で鉛直方向に対して傾けた状態としても、広角画像生成装置としての出力は画像内の水平方向がＴＶモニタ１３の水平方向と一致した画像となり、見る人に違和感を与えないものとできる。
【００８４】
（実施の形態２）
図７は本発明の（実施の形態２）の広角画像生成装置を示す。
図１に示した（実施の形態１）との相違部分は、回転中心軸面内傾斜方向検出部としてのＹ軸周り角度センサ１２を無くし、回転中心軸面内傾斜方向を手動操作で入力設定される回転中心軸面内傾斜方向入力部１５を演算処理装置１１に設けた点である。
【００８５】
このように構成された広角画像生成装置を、その動作について（実施の形態１）との相違部分を中心に説明する。
回転中心軸面内傾斜方向入力部１５は、可変抵抗器などの入力設定器である。この入力設定器を介して、出力画像生成部１０内に定数データとして確保されている広角撮像装置８の回転中心軸６の基準光軸方向に垂直な面内における鉛直方向に対する傾き角の値を設定する。この他の動作については（実施の形態１）と同じである。
【００８６】
このように（実施の形態２）によれば、Ｙ軸周り角度センサ１２を省いて構成することが可能となるため、より安価に装置全体を構成することが可能となる。なお、ここでは回転中心軸面内傾斜方向入力部１５を可変抵抗器などの入力設定器であるとしたが、この形態に限定されるものではない。例えば、出力画像生成部１０内に確保されている定数データの書き換えは、出力画像生成部１０の外部からパーソナルコンピュータを用いて行うものとし、回転中心軸面内傾斜方向入力部１５は、出力画像生成部１０と前記パーソナルコンピュータとの接続部としてもよい。
【００８７】
上記の実施の形態では、回転中心軸面内傾斜方向入力部１５を演算処理装置１１に設けたが、出力画像生成部１０に対して回転中心軸面内傾斜方向を入力するための可変抵抗器などの入力設定器または出力画像生成部１０とパーソナルコンピュータとの前記接続部を、広角撮像装置８の側に設けてもよい。
【００８８】
また、（実施の形態２）では、双曲面反射鏡１を±９０度分の反射面を有するものとしたが、これに限定されるものではない。少なくとも±９０度以下の範囲であればよい。
【００８９】
（実施の形態３）
図８は（実施の形態３）の広角画像生成装置を示す。
この図８において、１´は基準状態の双曲面反射鏡の位置を示している。６´は基準状態の回転中心軸の位置を示している。基準状態の回転中心軸６´は水平方向と一致または略々一致しているものとし、これが傾ける前の状態である。双曲面反射鏡１、結像レンズ２、撮像素子３、双曲面反射鏡１の内部焦点４、撮像素子３の撮像面５、双曲面反射鏡１の回転中心軸６、結像レンズ２の主点７は（実施の形態１）のものと同じである。
【００９０】
相違点は、回転中心軸６が基準光軸と回転中心軸６とを含む面内で基準状態の回転中心軸６´に対して内部焦点４を中心に傾き角θだけ傾けて設置しているという点と、Ｘ軸周り角度センサ１６の測定方向が傾き角θであるという点である。
【００９１】
１８´と１９´は基準状態における広角撮像装置８の視野限界を、２０´は基準状態における広角撮像装置８の視野範囲を、１８と１９は回転中心軸６を基準状態から傾き角θだけ傾けた時（傾斜時）の広角撮像装置８の視野限界を、２０は回転中心軸６を基準状態から傾き角θだけ傾けた時（傾斜時）の広角撮像装置８の視野範囲を示している。２１は広角画像から展開画像への写像を考える際の仮想の投影面となる仮想円筒面を示している。
【００９２】
次に、展開画像生成部９では広角撮像装置８より得られる１８０度画角の広角画像に対して、Ｘ軸周り角度センサ１６の出力を用い後述するアルゴリズムに従って広角画像を展開画像へと変換する処理を行う。出力画像生成部１０では展開画像生成部９より得られる展開画像に対して、ＮＴＳＣ方式への変換を行う。
【００９３】
１３は（実施の形態１）のものと同じで、演算処理装置１１からの出力画像を表示するＴＶモニタである。
なお、ここでは基準状態の回転中心軸６´や回転中心軸６が水平方向と一致しているとしたが、これに限定されるものではない。
【００９４】
次に図８を用いて、その動作について（実施の形態１）との相違部分を中心に説明する。
広角撮像装置８の１８０度視野の広角画像を得る動作は（実施の形態１）と同様である。相違点は、視野が傾き角θ分だけ図８に示す基準状態の視野範囲２０´から傾斜時の視野範囲２０へと変化した点である。
【００９５】
演算処理装置１１では、広角撮像装置８から出力される広角画像に対して、展開画像生成部９において展開画像への変換処理を行う。この処理において、空間内の任意点Ｐと撮像面５上の点（即ち広角画像上の点）ｐとの対応関係の考え方は（実施の形態１）と同じである。相違点は、展開画像を考える際の投影面、すなわち、空間内の点Ｐの取り方である。具体的には、図８に示すような仮想円筒面２１を考える。通常は仮想円筒面２１をその中心軸が回転中心軸６と一致するようなものを想定するのであるが、（実施の形態３）では、Ｘ軸周りの角度センサ１６より得られる基準状態の回転中心軸６´に対する傾斜後の回転中心軸６の傾き角をθとした時に、傾斜後の回転中心軸６に対して仮想円筒面２１の中心軸を、基準光軸と回転中心軸６を含む平面内で、内部焦点４を中心として−θだけ傾ける。即ち、仮想円筒面２１の中心軸を基準状態の回転中心軸６´と一致させる。こうして決定した仮想円筒面２１上の任意の空間点Ｐに対応する展開画像上の点の輝度を、空間点Ｐに対応する広角画像上の点ｐの輝度値を用いて求め、展開画像を作成する。
【００９６】
なお、ここでは広角撮像装置８を基準状態から傾ける際の回転中心を内部焦点４としたが、これに限定されるものではない。但し、回転中心を内部焦点４と一致または略々一致させれば、広角撮像装置８の視点がほぼ一定のままで傾き角を調整することができるという利点がある。
【００９７】
以上のような展開画像生成部９での処理で作成された展開画像に対して、出力画像生成部１０で出力画像への変換処理を行う。（実施の形態３）では、（実施の形態１）には含まれていた「傾き補正処理」がなく、出力画像化処理のみである。出力画像化処理は（実施の形態１）のそれと同様の処理を行う。
【００９８】
このように（実施の形態３）によれば、広角撮像装置８を、基準光軸と回転中心軸６を含む平面内で傾けることにより、広角画像生成装置として回転中心軸６の方向の視野範囲を変えることができる。
【００９９】
また、広角撮像装置８の基準状態に対する傾き角を計測し、その値を利用して展開画像の投影面となる仮想円筒面２１の中心軸を常に基準状態の回転中心軸６´と一致させることにより、展開画像における視線中心の位置（展開画像中の仰角が０となる位置。結像レンズ２の主点７と等価となる内部焦点４に向かう光線が、投影面である仮想円筒面２１に対して垂直に交わる位置。）を変えることなく視野範囲を変更することが可能となる。特に、基準光軸から基準状態の視野限界１８´までの角度の絶対値をφ、基準光軸から基準状態の視野限界１９´までの角度の絶対値をψとし、θは図８において時計周りを正とすると、双曲面反射鏡１が  φ  ＜  ψ  となるように作られていたとしても、θを  (φ−ψ)／２とすれば、視野範囲全体を使って視線中心が展開画像の短手方向の中央にあるような展開画像を得ることができる。
【０１００】
このため、展開画像中の視線中心からの距離を最小とすることができ、展開画像中の視線中心から遠い部分は、他の部分よりも斜めに見ることになるために、他の部分に比べて歪んで見えてしまうという問題を軽減することができる。
【０１０１】
なお、本発明は広角撮像装置８を任意の角度に傾けて固定した広角画像生成装置に限定されるものではない。
具体的には、Ｘ軸周り角度センサ１６の出力に応じて動的に仮想円筒面２１の中心軸の傾きを制御し、基準状態の回転中心軸６´との一致を保つことにより、広角撮像装置８の基準光軸（Ｙ軸）と回転中心軸６とを含む面内での動的な傾きにも対応することができる。
【０１０２】
また、（実施の形態３）では、双曲面反射鏡１を±９０度分の反射面を有するものとしたが、これに限定されるものではない。少なくとも±９０度以下の範囲であればよい。
【０１０３】
また（実施の形態３）では、広角撮像装置８の基準状態に対する傾き角θを相殺するように仮想円筒面２１を−θ傾ける場合を示したが、これに限定されるものではない。
【０１０４】
例えば、基準状態の回転中心軸６´に対する仮想円筒面２１の中心軸の傾きを０以外の一定値とするような制御や、一定の決まりに従い変化させるような制御としてもよい。
【０１０５】
（実施の形態４）
図９は本発明の（実施の形態４）の広角画像生成装置を示す。
（実施の形態３）との相違部分は、Ｘ軸周り角度センサ１６を無くし、回転中心軸前方傾斜方向入力部１７を演算処理装置１１に設けた点である。
【０１０６】
この広角画像生成装置について、その動作に基づいて（実施の形態３）との相違部分を中心に説明する。
回転中心軸前方傾斜方向入力部１７は可変抵抗器などの入力設定器である。この入力設定器で展開画像生成部９内に定数データとして確保されている広角撮像装置８の基準光軸（Ｙ軸）と回転中心軸６とを含む面内における基準状態の回転中心軸６´に対する回転中心軸６の傾き角の値を設定・変更する。この他の動作については（実施の形態３）と同じである。
【０１０７】
この（実施の形態４）によれば、Ｘ軸周り角度センサ１６を省いて構成することが可能となるため、より安価に装置全体を構成することが可能となる。ここでは回転中心軸前方傾斜方向入力部１７を演算処理装置１１に設けたが、広角撮像装置８に回転中心軸前方傾斜方向入力部１７を設けて構成することもできる。
【０１０８】
なお、ここでは回転中心軸前方傾斜方向入力部１７を可変抵抗器などの入力設定器であるとしたが、この形態に限定されるものではない。例えば、展開画像生成部９内に確保されている定数データの書き換えは、展開画像生成部９の外部からパーソナルコンピュータを用いて行うものとし、回転中心軸前方傾斜方向入力部１７は、展開画像生成部９とパーソナルコンピュータの接続部としてもよい。この接続部は、広角撮像装置８または演算処理装置１１に設ける。
【０１０９】
また、（実施の形態４）では、双曲面反射鏡１を±９０度分の反射面を有するものとしたが、これに限定されるものではない。少なくとも±９０度以下の範囲であればよい。
【０１１０】
また、（実施の形態４）でも広角撮像装置８の基準状態に対する傾き角θを相殺するように仮想円筒面２１を−θ傾ける場合を示したが、これに限定されるものではない。例えば広角撮像装置８の基準状態に対する傾き角θが０の時に、仮想円筒面２１のみを傾けてもよい。そうすれば広角撮像装置８を固定したままで視線中心を変更することが可能となる。
【０１１１】
次に、図１０〜図３２に示す（実施の形態５）〜（実施の形態７）の各実施の形態に基づいて、反射面のつくる反射像のうち、その反射面の回転中心軸に垂直な任意の方向を基準方向としてその略±９０度分のみを撮像するような広角画像生成装置を考えた場合に、広角画像に対して全方位カメラの場合と同様の処理を適用し展開画像を得ようとすると、撮像装置の光軸の傾きや光学収差に起因する像の変形のために得られる展開画像は正しいものにならないという課題があるが、これを解決できる広角画像生成装置を説明する。
【０１１２】
（実施の形態５）
図１０〜図２３、図３０は本発明の（実施の形態５）を示す。
図１０は本発明の（実施の形態５）における広角画像生成装置を示す。
【０１１３】
座標軸を、紙面の上下方向にＺ軸、紙面から手前方向にＹ軸、紙面の左右方向にＸ軸とする。またＺ軸は鉛直方向とする。
この広角画像生成装置は、反射鏡によって作られる反射像を撮像する広角撮像装置８と画像処理装置２２からなる。
【０１１４】
まず広角撮像装置８について説明する。
広角撮像装置８は、双曲面反射鏡１と結像レンズ２とＣＣＤなどの撮像素子３とで構成されている。また撮像装置は結像レンズ２と撮像素子３とで構成されている。
【０１１５】
双曲面反射鏡１は、双曲面の回転中心軸周りの略±９０度分の反射面を有している。その０度の方向を基準光軸方向と呼ぶこととし、ここではＹ軸方向に一致するものとする。
【０１１６】
４は双曲面反射鏡１の内部焦点である。５は撮像素子３の撮像面である。６は双曲面反射鏡１の回転中心軸である。ここでは回転中心軸６がＺ軸（鉛直方向）と一致するものとする。内部焦点４に向かって入射した光線ａ，ｂ，ｃは、双曲面反射鏡１の反射面で反射し、回転中心軸６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ２の主点７の位置は略々一致するように配置されており、結像レンズ２を介して光線ａ，ｂ，ｃが撮像素子３の撮像面５上に結像する。ここで結像レンズ２と撮像素子３の共有している光軸（図示せず）は、双曲面反射鏡１の回転中心軸６に対して基準光軸方向に傾斜して設置されている。この傾斜させた構成については、図１１を用いて後述する。
【０１１７】
なお、図１０では結像レンズ２を１枚構成のように描いているが、複数枚のレンズで構成されていても構わない。
次に画像処理装置２２について説明する。
【０１１８】
画像処理装置２２は、展開テーブル生成部２３と展開画像生成部２４と画質補正処理部２５と画像マスク処理部２６で構成されている。
展開テーブル生成部２３では、双曲面反射鏡１の形状や結像レンズ２および撮像素子３の光学特性や配置に応じて決まるアルゴリズムによって算出され、広角撮像装置８より得られる広角画像を展開画像へと変換する際に用いられる展開テーブルを算出する処理を行う。このアルゴリズムについては後述する。
【０１１９】
展開画像生成部２４では、展開テーブル生成部２３より得られる展開テーブルを参照して、広角画像を展開画像へと変換する処理を行う。
画質補正処理部２５では、展開画像生成部２４で生成された展開画像に対して後述する画質補正処理を行う。
【０１２０】
画像マスク処理部２６では、画質補正処理部２５で生成された画質補正後の展開画像に対して後述する画像マスク処理を行う。２７は画像処理装置２２からの出力画像を表示するモニタである。
【０１２１】
次に図１１を用いて広角撮像装置８の構成を詳細に説明する。
図１１の（ａ）は広角撮像装置８のＹＺ平面における断面図であり、基本構成を示している。全方位カメラ１００との相違部分は、双曲面反射鏡１が双曲面の回転中心軸周りの±９０度分の反射面を有している点と、結像レンズ２の主点７と双曲面反射鏡１の外部焦点を略々一致させながら、結像レンズ２および撮像素子３が共有している光軸２８が回転中心軸６に対して角度γだけ基準光軸方向（Y軸方向）に傾けて設置している点である。また、破線で示した２0，３0は、図３４（ａ）で示した全方位カメラ１００と同じように配置した場合の結像レンズ、撮像素子を示している。
【０１２２】
内部焦点４に向かって入射したＹＺ平面内の光線２９ａ，２９ｂは、双曲面反射鏡１の入射点３０ａ，３０ｂで反射し、回転中心軸６上の外部焦点（図示せず）へと集光される。この外部焦点の位置と結像レンズ２の主点７の位置は略々一致するように配置されており、結像レンズ２を介して光線２９ａ，２９ｂが撮像素子３の撮像面５上の結像点３１ａ，３１ｂに結像する。
【０１２３】
また、結像レンズ２0と撮像素子３0を用いた場合の光線２９ａ，２９ｂの結像点は３１ａ0、３１ｂ0となる。従って得られる像は、結像レンズ２0と撮像素子３0を用いた場合、図１１（ｂ）で破線で示した３２0のような半円状の像となる。これはちょうど全方位カメラ１００で得られる図３４（ｂ）の円状の像１１１を半分にしたものである。このように全方位カメラ１００で用いたような結像レンズ２0と撮像素子３0を用いても１８０度画角の広角画像を得ることはできる。しかしこのままでは、撮像素子３0の利用効率が非常に悪い。
【０１２４】
一方、図１１（ａ）において実線で示した結像レンズ２、撮像素子３を用いた場合、得られる像は図１１（ｂ）で斜線を付して示した半円状の像３２となる。すなわち、光軸２８を傾けることにより半円状の像３２の撮像面５における上下方向（Ｙ軸方向に相当）の位置をずらすことができる。その結果、半円状の像３２のように、倍率を調整し、また結像位置を光軸２８の傾け角度γを調整することにより、撮像面５上で半円状の像３２の左右方向長さを最大化して、撮像面５の画素をできるだけ有効に使った撮像が可能となる。
【０１２５】
なお、この（実施の形態５）では撮像面５上で半円状の像３２が、その円弧部分を撮像面５の縁に近付けた位置に結像させているが、これに限定されるものではない。例えば、半円状の像３２の弦部分を撮像面５の縁に近付けた位置に結像させてもよい。
【０１２６】
また、この（実施の形態５）では双曲面反射鏡１を±９０度分の反射面を有するものとしたが、これに限定されるものではない。±１８０度以下の範囲であればよい。例えば±(９０＋θ)度分の反射面を有する双曲面反射鏡１を用いた場合、図１２のように±(９０＋θ)度分の像を得ることができる。
【０１２７】
このように構成された広角画像生成装置の動作を、さらに詳しく説明する。
まず、広角撮像装置８における結像のしくみについて説明する。
図１０において光線ａ，ｂ，ｃは対象物からの任意の光線を示している。そこで各光線の対象物を対象物ａ，ｂ，ｃと呼ぶことにする。対象物ａ，ｂ，ｃは、図１３（ａ）に示すようなスクリーン３３上に描かれた「ａ」「ｂ」「ｃ」の文字とし、このスクリーン３３を、図１３（ｂ）に示すようにＺ軸周りにＺ軸からスクリーン表面までの距離が一定となるように、対象物ａ，ｂ，ｃが描かれた面を双曲面反射鏡１から見えるように配設した場合を考える。
【０１２８】
既に説明したように、内部焦点４に向かって双曲面反射鏡１の反射面に入射した光線は、全て外部焦点（図示せず）へと反射され、外部焦点と主点の位置が略一致するように設置された結像レンズ２を介して撮像素子３の撮像面５上に結像する。従って、基準光軸方向（Ｙ軸方向）に対して略±９０度の範囲が撮像面５上に結像することになる。この時、撮像素子３で得られる広角画像を図１４に示す。対象物ａ，ｂ，ｃが全て含まれることが分かる。
【０１２９】
次に画像処理装置２２では、広角撮像装置８から出力される図１４に示すような広角画像に対して、展開画像への展開処理を行う。まず展開処理をはじめる前の初期段階で展開テーブル生成部２３にて展開処理に用いる展開テーブルの算出を行う。ここで展開テーブルとは、展開画像の各画素に対応する広角画像上の座標値のテーブルである。展開テーブル生成部２３で行う処理のフローを図１５に示す。
【０１３０】
図１５のステップＳ１では、展開テーブルを算出する上で必要な双曲面反射鏡１の反射面の形状パラメータや撮像装置の焦点距離などの情報を読み込む。これらの情報は例えば展開テーブル生成部２３内のＲＯＭに書き込んでおき、それを読み込む構成とすればよい。もちろん何らかの方法で外部から入力する構成としても構わない。
【０１３１】
ステップＳ２では、展開テーブルの各要素の算出を行う。展開テーブルは、展開画像の投影面を決め、広角画像から投影面への写像を考えることによって展開画像の各画素の広角画像における対応点を決定していくことにより生成する。この対応点決定方法の詳細については後述する。
【０１３２】
ステップＳ３では、ステップＳ２で算出された展開テーブルに対して、結像レンズ２および撮像素子３からなる撮像装置の光学的な歪の影響を補正する。この補正方法の詳細についても後述する。
【０１３３】
以上のようなフローで算出された展開テーブルは展開テーブル生成部２３内のＲＡＭに記憶される。
ここで、ステップＳ２における広角画像と投影面との間の対応点決定方法について図１６〜図１９を用いて詳しく説明する。
【０１３４】
図１６は広角撮像装置８の回転中心軸６と基準光軸方向を含む面（ＹＺ平面）における断面を模式的に示したものである。双曲面反射鏡１、結像レンズ２、撮像素子３、内部焦点４、撮像面５、回転中心軸６、主点７は、図１１で説明したものと同じである。
【０１３５】
３４は、広角画像からの写像を考える際の仮想投影面である。ここで仮想投影面３４は、その回転中心軸が双曲面反射鏡１の回転中心軸６と一致している円筒面を考えている。なお、仮想投影面３４は円筒面に限定されるものではない。例えば球面であっても構わない。
【０１３６】
３５は、仮想投影面３４上の任意点Ｐ（ＸP，ＹP，ＺP）から内部焦点４の方向へ向かって発せられた光線である。
空間座標系は、Ｚ軸が回転中心軸６と一致するものとし、内部焦点４と主点７を結ぶ直線を２等分する点を原点Ｏとする。また紙面から手前方向をＸ軸、紙面の左右方向をＹ軸とする。広角画像上（撮像面５上）の座標系は、回転中心軸６と撮像面５の交点を原点ｏとし、紙面から手前方向をｘ軸、また図１６中に図示するように紙面の左右方向にｙ軸とする。
【０１３７】
仮想投影面３４上の任意点Ｐ（ＸP，ＹP，ＺP）に対応する撮像面５上の点（即ち広角画像上の点）ｐ（ｘp，ｙp）を考える。双曲面反射鏡１の双曲面形状は（従来の技術）の項で説明した全方位カメラ１００の場合と同様に（式７）で表される。
【０１３８】
（Ｘ2＋Ｙ2）／ａ2−Ｚ2／ｂ2  ＝  −１                （式７）
ここでａ，ｂは双曲面の形状を決定する定数である。また
ｃ ＝ （ａ2＋ｂ2）0.5                                （式８）
である。また（式９）（式１０）も全方位カメラ１００の場合と同様に成立する。
【０１３９】
Ｚ ＝  （Ｘ2＋Ｙ2）0.5・tanα ＋ ｃ                    （式９）
0004175832.tif 000002
ここで角度αは、内部焦点４と任意点Ｐを結ぶ直線とＸＹ平面のなす角度である。角度βは、主点７（双曲面反射鏡１の外部焦点と略々一致）と撮像面５上の点ｐを結ぶ直線とＸＹ平面のなす角度である。
【０１４０】
（式９）よりＸP，ＹP，ＺPが決まればαが決まる。また（式１０）よりαとｂ、ｃが決まればβが決まる。
全方位カメラ１００では、次に（式１１）を用いることによって、Ｆの値が決まれば（ｘ2＋ｙ2）0.5、すなわち、広角画像上の原点から点ｐまでの距離がわかった。しかし（実施の形態５）では、撮像面５がγだけ傾いているために（式１１）では正しく（ｘ2＋ｙ2）0.5の値を求めることはできない。従ってこのままでは正しく展開処理が行えない。
【０１４１】
そこで（実施の形態５）では（式１３）を用いる。
（ｘ2＋ｙ2）0.5   ＝ Ｆ・cosβ／cosγ／sin（β＋γ）  （式１３）
図１７を用いて（式１３）の導出法について説明する。
【０１４２】
図１７は図１６広角撮像装置８の撮像面５付近を拡大したものである。図１７において、ＹＺ平面内にあり、Ｙ軸に平行で、撮像面５上の原点ｏを通る直線と任意点Ｐからの光線の交点をｑとする。この時、∠ｐｑｏ＝β、∠ｐｏｑ＝γとなる。また線分ｏｑの長さ|ｏｑ|は（式１４）で示される。
【０１４３】
|ｏｑ| ＝ Ｆ・tan(90°−β)／cosγ ＝ Ｆ／tanβ／cosγ    （式１４）
従って、△ｏｐｑにおける正弦定理により|ｏｐ|即ち（ｘ2＋ｙ2）0.5は（式１３）で求められる。
0004175832.tif 000003
ここでＦは結像レンズ２と撮像素子３からなる撮像装置の焦点距離である。
【０１４４】
（式９）（式１０）（式１３）よりＸP，ＹP，ＺPおよびｂ、ｃ、Ｆが決まれば（ｘp2＋ｙp2）0.5、即ち撮像面５上の原点ｏから点ｐまでの距離が決まる。以上の議論はＺ軸を含むＹＺ平面以外の平面でも成立するが、Ｚ軸を含むＹＺ平面以外のどの平面をとるかに応じて撮像面５の傾きγは変化するという点に注意しなければならない。この点について図１８を用いて説明する。
【０１４５】
図１８はＺ軸方向から見た時の双曲面反射鏡１と撮像面５を示している。
３５は仮想投影面３４上の任意の点Ｐ（図１８では図示せず）から発せられ、双曲面反射鏡１で反射して撮像面５上の点ｐに到達する光線を示している。図１８中に示したように角度θを、Ｘ軸の−方向を０度とし、左周りに＋として定義する。例えば光線３５がＹＺ平面内にある場合、θ＝９０度となる。この時のθと撮像面５の傾きγ（θ）の関係は（式１５）のようになる。
【０１４６】
tanγ（θ）  ＝ tanγ（９０°）・sinθ          （式１５）
ここでγ（９０°）とはθ＝９０°の時のγを意味する。また（式１３）は（式１３ａ）のようになる。
【０１４７】
0004175832.tif 000004
以上の議論で、Ｚ軸を含む各平面での原点ｏから点ｐまでの距離が得ることができた。次にＸＹ平面での原点Ｏから点Ｐへの方向θと、ｘｙ平面、すなわち撮像面５上での原点ｏから点ｐへの方向φとの関係について考える。ここでφは図１８に示すようにＸ軸の＋方向を０度とする撮像面５上の点の方向を規定するための角度パラメータである。
【０１４８】
全方位カメラ１００の場合はθ＝φであり、ＸＹ平面およびｘｙ平面における点Ｐ、点ｐの方向は一致していた。しかし広角撮像装置８の場合はＸＹ平面に対して撮像面５がγ（９０°）だけ傾いているため、θとφの関係は（式１６）のようなものとなる。
【０１４９】
cosφ ＝ cosθ／（１＋tan2γ（９０°）・sin2θ）0.5      （式１６）
図１９を用いて（式１６）の導出法について説明する。
図１９のＸａ，Ｙａ平面はＸＹ平面をＺ軸を中心として１８０度回転し、Ｘａ軸がｘ軸と一致するように平行移動したものである。ここでθはＸａ軸の−方向を０度とし、Ｘａ，Ｙａ平面上で時計回りを＋方向としており、ＸＹ平面のθと等価なパラメータとなる。このため、ここではパラメータ名を変更せず、θのまま用いる。またφはｘ軸の−方向を０度とし、ｘｙ平面上で時計回りを＋方向としている。このように設定し、θとφとの関係を導出する。円弧ＣＡＤは単位円の半分である。またＣＢＤは、Ｘａ，Ｙａ平面との交線が半円ＣＡＤとなり、Ｘａ，Ｙａ平面と垂直であるような半円柱とｘｙ平面との交線である。この時ベクトルｏＡ，ｏＢは（式１７）（式１８）のようになる。
【０１５０】
ｏＡ ＝（−cosθ、sinθ、０）                            （式１７）
ｏＢ ＝（−cosθ、sinθ、tanγ（９０°）・sinθ）        （式１８）
従って、−ｘ方向の単位ベクトル−Ｘとの内積を用いることにより（式１６）が求まる。
【０１５１】
0004175832.tif 000005
以上より、β、γ（＝γ（９０°））、Ｆがわかれば、（式１３ａ）（式１５）（式１６）を用いることによってＰ(ＸP，ＹP，ＺP)に対応する撮像面５上の点（即ち広角画像上の点）ｐ（ｘp，ｙp）を一意に決定することができる。ＸP，ＹP，ＺPの値は、仮想投影面３４の半径をＭ、展開画像の横方向(長手方向)画素数をISX、縦方向(短手方向)画素数をISYとすると以下のように表せる。
【０１５２】
ＸP ＝ Ｍ・cosθ
ＹP ＝ Ｍ・sinθ
ＺP ＝ ２π・Ｍ・(ｊ−ｊ0)／ISX                           （式１９）
但し、θ＝180°・ｉ／ISX、ｉは展開画像上のX座標値で０≦ｉ＜ISXの整数、ｊは展開画像上のＹ座標値で０≦ｊ＜ISYの整数、またｊ0はＺP＝ｃの時(視線方向が水平方向の場合)の展開画像上のＹ座標値である。（式１９）を用いることにより展開画像上の点と仮想投影面３４の点Ｐ（ＸP，ＹP，ＺP）を対応づけることができる。
【０１５３】
従って、展開画像の投影面（仮想投影面３４）を決め、投影面から広角画像への写像を考えることによって、展開画像の各画素に対する広角画像上の理想的な対応点を決定することができる。
【０１５４】
次に図２０を用いて図１５のステップＳ３における結像レンズ２および撮像素子３からなる撮像装置の光学的な歪の影響を補正する方法について詳しく説明する。
【０１５５】
図２０は光学的な歪の影響を模式的に示したものである。光学的な歪がなく理想的な画像が得られるとすれば、画角が１８０度の場合、図２０の（ａ）に示すような半円状の像が得られる。しかし、実際には光学系の中に光学的な歪が含まれており、例えば図２０の（ｂ）に示すように半円状の像が歪んで得られてしまう。このため、この光学歪を考慮に入れずに展開処理を行うと得られる展開画像は正しいものにならない。
【０１５６】
そこで（実施の形態５）では、予め使用する光学系の歪量を把握し、その影響をキャンセルするようにステップＳ２で作成した展開テーブルを補正する。
まず、歪量の把握方法について簡単に説明する。
【０１５７】
光学的な歪を数式で記述するための一般的な方法として高次多項式がよく用いられる。ここでは（式２０）に示すような多項式を用いた場合を考える。
Δｘ＝ｋｘ（ｘ2＋ｙ2）
Δｙ＝ｋｙ（ｘ2＋ｙ2）                                （式２０）
ここで、Δｘ，Δｙはそれぞれｘ，ｙ方向の歪量。ｋは歪量を調整するパラメータである。（式２０）は歪量を示す式としては非常に単純なものであり、設定するパラメータはｋのみである。実際の光学系に適用した場合、（式２０）では光学歪量を記述するのに不十分な場合もある。その場合は適宜、高次項を考慮したものを使用すればよい。
【０１５８】
結像レンズ２および撮像素子３からなる撮像装置で基準となる（即ち、歪量を測定するために、距離が既知であるようなパターンが含まれている）テストパターン３６を撮像する。テストパターン３６としては例えば図２１の（ａ）に示すような２次元格子の描かれたものを用いても良い。ここで例えば格子ピッチの正確な値が既知であればよい。その結果得られたテストパターン画像３７は、図２１の（ｂ）に示すように光学歪の影響により、元のテストパターン３６とは異なったパターンとなる。格子ピッチと撮像の条件から算出できる理想的な格子点の座標値と、テストパターン画像３７から得られた、対応する格子点の座標値を複数個（ｎ個）比較することにより、歪量のサンプルをとる。ｎ個とったサンプルのうちのｉ番目のデータの理想の座標値をｘ（ｉ），ｙ（ｉ）、その時のｘ方向の実測歪量をΔｘ（ｉ）、ｙ方向の実測歪量をΔｙ（ｉ）とした時に（式２１)の２つの誤差関数が最小となるようなｋを最小自乗法により求める。
【０１５９】
Ｅx ＝ Σ（Δｘ(ｉ)−ｋｘ(ｉ) (ｘ(ｉ)2＋ｙ(ｉ)2)）
Ｅy ＝ Σ（Δｙ(ｉ)−ｋｙ(ｉ) (ｘ(ｉ)2＋ｙ(ｉ)2)）        （式２１）
以上の処理により、撮像装置の歪量を示す（式２０）が決定する。次にこれを用いて、ステップＳ２で求めた理想的な展開テーブルを補正する。展開テーブルのｘ方向、ｙ方向それぞれの各画素（各要素）には、光学歪を考慮しない場合の各画素に対応する広角画像の画素値が含まれている。これを（ｘ0（Ｘ，Ｙ），ｙ0（Ｘ，Ｙ））とする。ここで（Ｘ，Ｙ）は今対象としている展開テーブルの画素（要素）の座標値である。この値を（式２０）に代入し、補正後の値（ｘ1（Ｘ，Ｙ）、ｙ1（Ｘ，Ｙ））を算出する。具体的には（式２２）を各画素（要素）に対して行う。
【０１６０】
0004175832.tif 000006
この処理を展開テーブルの全ての画素（要素）に行うことにより撮像装置の光学的な歪の影響を補正した展開テーブルを得ることができる。従ってこのような展開テーブルを用いて展開処理を行えば、撮像装置の光学歪の影響を排除した展開画像を得ることができる。
【０１６１】
また、このような光学歪補正処理は一旦展開画像を作成した後にその展開画像に対して行うことも可能であるが、その場合展開画像を作成するたびに（式２２）に示すような複雑な演算処理を行わなければならない。しかるに（実施の形態５）では、光学歪の補正処理を展開テーブルに盛り込むことにより、（式２２）のような複雑な演算処理を、展開テーブル生成部２３における初期の展開テーブル作成時のみ行うだけでよく、展開画像作成時は通常の展開処理を行うだけでよいことから、演算コストの面からも非常にメリットがある。
【０１６２】
次に展開画像生成部２４について説明する。
展開画像生成部２４では展開テーブル生成部２３で生成された展開テーブルを参照して、広角撮像装置８から得られる広角画像を展開画像に変換する。この際、座標値が整数値である展開画像の各画素に対応する広角画像の画素位置は、一般にその座標値が整数値とならない。しかし、広角画像は整数の座標位置のデータしか存在しない。この対策として、画質よりも処理速度を優先する場合には、展開テーブルの座標値データを四捨五入などの手段により、整数化することにより、本来必要な画素の近傍の画素の輝度値で代用してもよい。処理速度よりも画質を優先する場合には、本来必要な画素の近傍４画素の輝度データから補間演算により、本来必要な画素の輝度データを作り出してもよい。
【０１６３】
次に画質補正処理部２５について説明する。
画質補正処理部２５では、展開画像生成部２４で作成された展開画像に対して、画質補正処理を行う。以下にこの画質補正処理について説明する。
【０１６４】
展開画像生成部２４で生成された展開画像は、画像内の上部と下部とで解像度が異なってしまうという問題点がある。すなわち、図２２に示すように、広角画像３８とそれに展開処理を施すことによって得られる展開画像３９との対応関係において、展開画像３９の上端下端の関係が、広角画像３８の外周内周の関係となるため、情報量の差から解像度に差が生じる。そのため、展開画像３９において、外周部に対応した部分よりも内周部に対応した部分の方がピントがボケたように見えてしまう。また他の要因として、結像レンズ２と撮像素子３からなる撮像装置には被写界深度があり、わずかではあるが、半円形状の広角画像３８の半径方向にピントのムラ（例えば、広角画像３８の内周部分ではピントが良く合っているが、外周部分ではピントがややあまくなるといったようなムラ）が生じる場合もある。展開画像３９として最終的に得られる画像としては、上記の２種類の要因を重ね合わせた結果のボケが含まれたものとなる。
【０１６５】
このような展開画像３９に対して画質補正処理部２５では、展開画像３９の上下方向（即ち元画像である広角画像３８の半径方向に対応）に沿って、その場所ごとに相対的な鮮鋭化係数を決め、その係数を用いて画像の高周波数成分の強調による鮮鋭化処理を行う。
【０１６６】
鮮鋭化処理としては、例えばアンシャープマスキングと呼ばれる手法を用いる。これは（式２３）のように表現される。
Ｂ´(ｉ,ｊ) ＝ Ｂ(ｉ,ｊ) ＋Ｃ（ Ｂ(ｉ,ｊ)−Ｂ￣ (ｉ,ｊ) ） （式２３）
ここで、Ｂ(ｉ,ｊ)は座標(ｉ,ｊ)の画素の輝度値とする。Ｂ￣(ｉ,ｊ)は座標(ｉ,ｊ)の画素の近傍の局所平均輝度値（例えば近傍３×３の範囲の平均輝度値）とし、低周波成分からなる輝度値となる。従って（ Ｂ(ｉ,ｊ)−Ｂ￣(ｉ,ｊ) ）は元の画像から低周波成分を差し引くことで高周波成分を取り出す操作となる。Ｃは鮮鋭化係数とする。高周波成分をＣ倍したものを元画像に足し合わせることにより、高周波数成分を強調した鮮鋭化画像が得られる。
【０１６７】
鮮鋭化係数Ｃを展開画像３９の上下方向の位置に応じて変化させ、鮮鋭化処理を行う。まず撮像装置で双曲面反射鏡１上の像を理想的にボケなく撮像できる場合について説明する。
【０１６８】
この場合に得られる展開画像３９は図２３（ａ）に示すように下端部が、元の広角画像の内周部と外周部の情報量の差に起因するボケ領域４０となる。ここでボケ領域４０は一様にボケているわけではなく、展開画像３９の中央付近から下端にいくにつれてボケていく。この時、図２３（ａ）にグラフで示したように鮮鋭化係数Ｃをボケ具合に合わせて０から変化させることにより、ボケ具合に応じた補正処理（鮮鋭化処理）を行う。
【０１６９】
なお、ここでは展開画像３９の上下方向のほぼ中央付近から鮮鋭化係数Ｃの値を増やしていくような場合のグラフを示したが、これに限定されるものではない。本発明の主旨は下端に近づくにつれて悪化していくボケ具合に応じて鮮鋭化係数Ｃの値を増やしていくことにあり、例えば鮮鋭化係数Ｃを０よりも大きくする場所は展開画像３９の上端であっても構わない。また鮮鋭化係数Ｃの増やし方もボケ具合や撮影する対象などに応じて調整可能であり、例えば鮮鋭化係数Ｃを０よりも大きくする場所からの距離の３乗に比例させて増やしてもよい。
【０１７０】
次に、撮像装置で双曲面反射鏡１上の像を撮像する際に、場所によってピントの合い具合に差が生じてしまうような場合について図２３（ｂ）を用いて説明する。
【０１７１】
この場合は撮像装置のピントを調整することにより、得られる展開画像３９のボケ領域を調整する。鮮鋭化処理は画像の高周波成分を強調する処理であるため、対象となる画像がある程度以上ボケてしまうと処理を行っても有意な効果を発揮できなくなる。そこで出来るだけ最もボケ状態の悪い（ボケのひどい）部分をできるだけ改善するようにピントを調整する。具体的には、広角画像３８の内周部に光学的なピントのボケ部分が来るようにピントを調整すると、内周部分にボケ状態を悪くする条件が重なってしまい、補正しきれなくなる。それを避けるために、広角画像３８の半径方向中央よりもやや内周部分にピントのピークが来るように調整し、最終的に展開画像３９において上下端のボケ領域４０が図２３（ｂ）のようにほぼバランスがとれるようにピントを調整する。この時もボケ領域４０は一様にボケているわけではなく、展開画像３９の中央付近から上下端にいくにつれてボケていく。この時、図２３（ｂ）にグラフで示したように鮮鋭化係数Ｃをボケ具合に合わせて、展開画像３９の中央付近から上下端にいくにつれて０から変化させることにより、ボケ具合に応じた補正処理（鮮鋭化処理）を行う。
【０１７２】
次に画像マスク処理部２６について説明する。
画質補正処理部２５で生成された画質補正後の展開画像に対して画像マスク処理を行う画像マスク処理部２６は、次のように構成されている。
【０１７３】
図３０（ａ）はマスク処理を行わない場合の展開画像を、図３０（ｂ）はマスク処理を行った場合の展開画像を示している。展開画像中の４１は現金自動支払機（ＡＴＭ）端末、４２は操作者、４７はＡＴＭ端末４１の操作パネルである。マスク処理前の図３０（ａ）では全視野が見えており、操作者４２の操作や入力結果などが映ってしまうため、暗証番号などのプライベートな情報が外部に漏れてしまう危険性がある。そこで画像マスク処理部２６ではＲＯＭに記憶したマスク領域４８を例えば輝度値０で塗りつぶしてしまうような処理を行うことにより、図３０（ｂ）に示すように操作者４２の操作や入力結果などが見えないようにする。
【０１７４】
なお、ここでは輝度値０に塗りつぶすこととしたが、これに限定されるものではない。マスク領域４８内の画像を本来の画像と異なるもので埋めることができればよく、０以外の輝度値、あるいはランダムパターン画像を描いてもよい。
【０１７５】
以上のような処理を施して生成された展開画像は図示しない画像形式変換部でＮＴＳＣのようなビデオ信号に変換され、画像処理装置２２から出力される。モニタ２７はその信号を受け取り、展開画像を表示する。
【０１７６】
このように（実施の形態５）によれば、広角撮像装置８の光学系を撮像レンズ２および撮像素子３からなる撮像装置の光軸２８を回転中心軸６に対して傾けた構成としても、展開画像の各画素に対する広角画像上の理想的な対応点を決定することができ、さらに撮像装置の光学的な歪の影響を考慮にいれた展開テーブルの補正を行っているため、正しい展開処理が可能となる。また画質補正処理を行うことにより、展開画像の場所による解像度の差を軽減することができる。
【０１７７】
また、画像マスク処理部２６によって、展開画像の一部にマスク処理を施し、見えないようにしてから出力することにより、操作者の操作内容・入力内容が写らなくなり、プライバシー情報の漏洩を防ぐことが可能になる。
【０１７８】
なお、この（実施の形態５）では、回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をとり、前記基準光軸の方向を０度として略±９０度もしくは±９０度以上の範囲の凸面形状の反射面を有する反射鏡として、回転中心軸上に内部焦点を持つ双曲面形状であり、前記双曲面形状の外部焦点の位置と前記撮像装置の主点の位置が略々一致するものであったが、この反射鏡の形状は双曲面でなくても成立する。
【０１７９】
また、（実施の形態５）では、広角撮像装置８が回転中心軸周り略±９０度分の範囲を撮像するような場合を示したが、広角撮像装置８として図３４の（ａ）で示したような回転中心軸周り略３６０度分の範囲を撮像する全方位カメラ１００を用い、画像処理装置２２で全方位カメラ１００に対応した展開処理を行うような場合でも、これまでに説明した光学歪の影響補正や画質補正処理、画像マスク処理は、（実施の形態５）の場合と同様の効果を有する。
【０１８０】
（実施の形態６）
図２４〜図３１は本発明の（実施の形態６）を示す。
図２４は本発明の（実施の形態６）における広角画像生成装置を示す。
【０１８１】
座標軸を、紙面の上下方向にＸ軸、紙面から手前方向にＹ軸、紙面の左右方向にＺ軸とする。またＺ軸は水平方向とする。（実施の形態６）と（実施の形態５）との構成上の相違点は、広角撮像装置８をＺ軸が水平方向と一致するように設置する点である。処理上の相違点は画像処理装置２２の展開テーブル生成部２３において、展開テーブル生成の際に用いる仮想投影面３４の形状に特徴を持たせる点と、画像マスク処理の具体的な処理が異なる点と、展開画像生成部２４で（実施の形態５）の場合に対して９０度傾け、画像内の天地が正しくなるような展開画像を生成する点である。以下にこれらの相違点について説明する。
【０１８２】
まず結像のしくみについて説明する。
図２４において光線ａ，ｂ，ｃは対象物からの任意の光線を示している。そこで各光線の対象物を対象物ａ，ｂ，ｃと呼ぶことにする。対象物ａ，ｂ，ｃは、図２５（ａ）に示すようなスクリーン３３上に描かれた「ａ」「ｂ」「ｃ」の文字とし、このスクリーン３３を、図２５（ｂ）に示すようにＺ軸周りにＺ軸からスクリーン表面までの距離が一定となるように、対象物ａ、ｂ、ｃが描かれた面を双曲面反射鏡１から見えるように配設した場合を考える。この時に撮像素子３で得られる広角画像を図２６に示す。対象物ａ、ｂ、ｃが全て含まれることが分かる。
【０１８３】
このように広角撮像装置８を回転中心軸６が水平方向と一致するように設置する場合の用途例として、ＡＴＭ端末や自動販売機などの監視がある。通常の広角光学系では実現困難な鉛直方向１８０度程度の視野が得られることから、本装置のそばに立った人の顔から手元までを一枚の画像として得ることが出来るため、ＡＴＭ端末や自動販売機などの監視用途への適用が可能である。
【０１８４】
次に画像処理装置２２での処理について主に（実施の形態５）との相違点について説明する。
まず（実施の形態５）の場合と同様に、展開処理をはじめる前の初期段階で展開テーブル生成部２３にて展開処理に用いる展開テーブルの算出を行う。展開テーブル生成部２３で行う処理のフローを、図２７を用いて説明する。図２７で示したフローで行われる処理の中で（実施の形態５）の場合と異なる２点のうちの１点は、広角画像と投影面との間の理想的な対応点を決定するステップＳ２において、仮定する仮想投影面３４の形状を変更する点である。この点を図２８を用いて詳しく説明する。
【０１８５】
図２８はＡＴＭ端末４１を操作する操作者４２と広角撮像装置８および仮想投影面３４との関係を示している。３４は、その回転中心軸が広角撮像装置８の双曲面反射鏡１の内部焦点４を通り、紙面に垂直であるような円筒状の仮想投影面であり、従来はこのような投影面に投影した画像の再生を考えていた。ＡＴＭ端末４１の操作者４２はＡＴＭ端末４１を使用する時に通常１５〜３０度程度前方に傾斜角４３をとる。広角撮像装置８の視点となる内部焦点４からの距離は胸部に比べて、顔部の方が遠くなるため、得られる展開画像内で胸部付近は大きく、また顔部にいくほど小さく写り、見た目に違和感を生じさせてしまう。
【０１８６】
そこで（実施の形態６）では、図２８に示すように、得られる視野の中心方向となる基準光軸方向４６と反対の方向にその中心軸４５を設定した新しい仮想投影面４４を設定する。この新しい仮想投影面４４への投影を考えることは、広角撮像装置８の視点となる内部焦点４を、仮想的に基準光軸方向４６と反対方向に中心軸４５の位置まで移動することに相当する。そのため、操作者４２がＡＴＭ端末４１を使用している際の、広角撮像装置８の視点に対する顔部の位置と胸部の位置の距離の差が緩和される。
【０１８７】
具体的な仮想投影面形状の変更方法について図２９を用いて説明する。
図２９は図２８と同様にＺ軸方向から見た従来の仮想投影面３４と形状を変更した仮想投影面４４を示している。θは仮想投影面４４上の点Ｐから広角撮像装置８の図示しない内部焦点４への光線のＸＹ平面上における方位角をＸ軸方向を０度として設定したものである。αは仮想投影面４４上の点Ｐから仮想投影面４４の中心軸４５上の図示しない仮想の内部焦点（即ち内部焦点４を通る基準光軸と中心軸４５の交点）への光線のＸＹ平面上における方位角をＸ軸方向を０度として設定したものである。また図２９上で内部焦点４の位置をＯ1、中心軸４５の位置をＯ2とする。
【０１８８】
（実施の形態５）と同様に（式９）（式１０）（式１３ａ）（式１５）（式１６）を用いて仮想投影面上の点Ｐ（ＸP，ＹP，ＺP）に対応する広角画像の点ｐ（ｘp，ｙp）を決定するのであるが、この時の（実施の形態５）との相違点は（式１６）でθの与え方である。（実施の形態５）では、特に展開画像の横方向(長手方向)画素数をISX、横方向の視野角を１８０度とした時にθ＝180°・ｉ／ISX（但しｉは整数で０≦ｉ＜ISX）のようにθを等間隔に取っていけばよい。（実施の形態６）ではαを等間隔で取っていった場合と等価となるようにθを決定する。△ＰＯ1Ｏ2において正弦定理より（式２４)が成り立つ。
【０１８９】
Ｒ／sin(９０°＋θ)＝ｒ／sin(９０°−α)               （式２４）
（式２４）を整理すると（式２５）が得られる。
θ＝cos-1（Ｒ・cosα／ｒ）                              （式２５）
但し、α1≦α＜α2
よって、（式２５）のαにα＝(α2−α1)・ｉ／ISX（但しｎは整数で０≦ｉ＜ISX）を代入してθを求め、そのθを用いて展開テーブルを作成すれば、仮想投影面形状を変更することができる。
【０１９０】
なお、ここでは仮想投影面３４として円筒を考えたが、球面など他の形状であっても構わない。
次に図２７で示したフローで行われる処理の中で（実施の形態５）の場合と異なる２点のうちのもう１点である、光学歪の影響補正を行うステップＳ３の次に行うマスク処理（ステップＳ４）について図３０を用いて説明する。
【０１９１】
図３０（ａ）はマスク処理を行わない場合の展開画像を、図３０（ｂ）はマスク処理を行った場合の展開画像を示している。展開画像中の４１はＡＴＭ端末、４２は操作者、４７はＡＴＭ端末４１の操作パネルである。マスク処理前の図３０（ａ）では全視野が見えており、操作者４２の操作や入力結果などが写ってしまうため、暗証番号などのプライベートな情報が外部に漏れてしまう危険性がある。ここではマスク領域４８に相当する部分の展開テーブルの座標値データを、本来のものと異なるもの、例えばマスク領域４８に相当する部分の全ての展開テーブル要素を、広角画像中で双曲面反射鏡１からの像が結像されない左上隅などを指定するように置き換えてしまうことによりマスク処理を実現する。
【０１９２】
以上のように展開テーブルにマスク処理の情報を埋め込むことにより、図２４の展開画像生成部２４にて展開処理をする際に同時に、演算負荷を増やすことなくマスク処理を行うことができる。
【０１９３】
次に展開画像生成部２４では、以上のような処理を行うことにより、展開テーブル生成部２３で生成された展開テーブルを用いて展開画像の生成を行う。この際の（実施の形態５）との相違点は、既に図３０で示したように展開画像の天地が正しくなるように、縦方向が画角１８０度となるように展開処理を行うことである。
【０１９４】
次に画質補正処理部２５では、（実施の形態５）の場合と同様の処理を行い、図示しない画像形式変換部でＮＴＳＣのようなビデオ信号に変換してモニタ２７に展開画像を表示する。
【０１９５】
このように（実施の形態６）によれば、仮想投影面４４の形状を変更することにより仮想的に広角撮像装置８の視点を変更することができるため、広角撮像装置８の内部焦点４からの距離の差に起因する展開画像の違和感を軽減することが可能になる。また、展開画像の一部にマスク処理を施し、見えないようにしてから出力することにより、操作者の操作内容・入力内容が写らなくなり、プライバシー情報の漏洩を防ぐことが可能になる。
【０１９６】
なお、ここでは、マスク処理の情報を展開テーブルに埋め込む方法を示したが、画像マスク処理を、展開画像を生成した後で行っても構わない。例えば図３１に示すように、画質補正処理部２５の直後に画像マスク処理部４９を設け、ここでマスク領域４８内部を輝度値０に塗りつぶすような処理を行っても構わない。
【０１９７】
なお、（実施の形態６）では、双曲面反射鏡１を±９０度分の反射面を有するものとしたが、これに限定されるものではない。±１８０度以下の範囲であればよい。
【０１９８】
また、（実施の形態６）では、広角撮像装置８が回転中心軸周り略±９０度分の範囲を撮像するような場合を示したが、広角撮像装置８として図３４の（ａ）で示したような回転中心軸周り略３６０度分の範囲を撮像する全方位カメラ１００を用い、画像処理装置２２で全方位カメラ１００に対応した展開処理を行うような場合でも、これまでに説明した仮想投影面形状の変更やマスク処理は、（実施の形態６）の場合と同様の効果を有する。また全方位カメラで仮想投影面形状の変更を行った場合は、１枚の広角画像を用いて視点の移動を表現可能であることから、撮像場所を少しづつずらした複数枚の広角画像を使って滑らかな視点移動が可能なウォークスルーソフトを実現できる。
【０１９９】
（実施の形態７）
図３２は本発明の（実施の形態７）を示す。
（実施の形態６）との相違部分は、画像処理装置２２内の処理単位の一つであった展開テーブル生成部２３を分離独立させ、新たに展開テーブル生成用演算処理装置５１を設けた点と、画像処理装置２２内に展開テーブル生成部２３の代わりに展開テーブル記憶部５０を設けた点である。
【０２００】
この図３２の動作を、（実施の形態６）との相違部分を中心に説明する。
広角撮像装置８は（実施の形態６）で用いたものと同様のものである。
展開テーブル生成用演算処理装置５１は、具体的にはマイクロコンピュータやパーソナルコンピュータ（ＰＣ）などの演算装置であり、ここで（実施の形態６）の展開テーブル生成部２３で行っていた展開テーブルの生成を行う。生成された展開テーブルは画像処理装置２２に送られ、展開テーブル記憶部５０に記憶される。
【０２０１】
展開テーブルの転送方法は、例えばＳＤカード（Secure Digitalカード  登録商標）などのメモリーカード５２を用いる。展開テーブル生成用演算処理装置５１と画像処理装置２２の双方に図示しないＳＤカードスロットを設けておく。展開テーブル生成用演算処理装置５１にて、生成した展開テーブルをＳＤカードに記録する。そのＳＤカードを画像処理装置２２のＳＤカードスロットに挿入し、ＳＤカード内に記録された展開テーブルを読み取り、展開テーブル記憶部５０に記憶する。
【０２０２】
次に、展開画像生成部２４は展開テーブル記憶部５０に記憶された展開テーブルを読み込み展開処理を行う。以降の処理は（実施の形態６）と同様である。
このように（実施の形態７）によれば、画像処理装置２２での展開テーブル生成処理の必要がなくなるため、装置起動時の展開テーブル生成処理のための起動時間をなくすことができる。
【０２０３】
なお、（実施の形態７）では、（実施の形態６）の画像処理装置２２内の処理単位の一つであった展開テーブル生成部２３を分離独立させ、新たに展開テーブル生成用演算処理装置５１を設け、画像処理装置２２内に展開テーブル生成部２３の代わりに展開テーブル記憶部５０を設けた場合を示した。同様の変更を（実施の形態５）の場合に行った場合でも（実施の形態７）の場合と同様の効果を得ることができる。また、どちらの場合でも、広角撮像装置８として図３４の（ａ）で示したような回転中心軸周り略３６０度分の範囲を撮像する全方位カメラ１００を用い、画像処理装置２２および展開テーブル生成用演算処理装置５１で全方位カメラ１００に対応した処理を行うような変更を行っても、（実施の形態７）と同様の効果を得ることができる。
【０２０４】
【発明の効果】
以上のように、（実施の形態１）〜（実施の形態４）を例に挙げて説明した本発明によれば、広角撮像装置をその回転中心軸が基準光軸方向に垂直な面内で鉛直方向に対して傾けた状態としても、広角画像生成装置としての出力は画像内の水平方向がＴＶモニタの水平方向と一致した画像となり、見る人に違和感を与えないものとすることが可能となる。
【０２０５】
また、広角撮像装置を、その回転中心軸と基準光軸を含む面内で、ある基準状態に対して傾けた状態としても、その傾き角を計測し、その値を利用して展開画像の投影面となる仮想円筒面の中心軸を常に基準状態の回転中心軸と一致させることにより、展開画像における視線中心の位置を変えることなく視野範囲を変更することが可能となる。さらに、視野範囲全体を使って、視線中心が展開画像の短手方向の中央にあるような展開画像を得ることができる。この為、展開画像中の任意の点の視線中心からの最大距離を最小とすることができ、展開画像中の視線中心から遠い部分は、他の部分よりも斜めに見ることになるために、他の部分に比べて歪んで見えてしまうという問題を軽減できる。
【０２０６】
また、（実施の形態５）〜（実施の形態７）を例に挙げて説明した本発明によれば、広角撮像装置の光学系として、撮像レンズおよび撮像素子からなる撮像装置の光軸を回転中心軸に対して傾けた構成としても、展開画像の各画素に対する広角画像上の理想的な対応点を決定することができ、さらに撮像装置の光学的な歪の影響を考慮にいれた展開テーブルの補正を行っているため、正しい展開処理が可能となる。また画質補正処理を行うことにより、展開画像の場所による解像度の差を軽減することができる。
【０２０７】
また、仮想投影面の形状を変更することにより仮想的に広角撮像装置の視点を変更することができるため、広角撮像装置の内部焦点からの距離の差に起因する展開画像の違和感を軽減することが可能になる。また、展開画像の一部にマスク処理を施し、見えないようにしてから出力することにより、操作者の操作内容・入力内容が写らなくなり、プライバシー情報の漏洩を防ぐことが可能になる。
【０２０８】
さらに、画像処理装置とは別個に展開テーブル生成用演算処理装置を用いる構成とすれば、画像処理装置での展開テーブル生成処理の必要がなくなるため、装置起動時の展開テーブル生成処理のための起動時間をなくすことができる。
【図面の簡単な説明】
【図１】本発明の（実施の形態１）の広角画像生成装置の構成図
【図２】同実施の形態の対象物ａ，ｂ，ｃの説明図
【図３】同実施の形態の広角画像生成装置において撮像面上に結ばれる像の模式図
【図４】同実施の形態の広角画像生成装置により撮像された画像に対して展開処理を施した結果の模式図
【図５】同実施の形態のＴＶモニタに出力される出力画像の模式図
【図６】広角撮像装置の回転とその時の出力画像の模式図
【図７】本発明の（実施の形態２）の広角画像生成装置の構成図
【図８】本発明の（実施の形態３）の広角画像生成装置をＸ軸方向（鉛直上方）から見た構成図
【図９】本発明の（実施の形態４）の広角画像生成装置をＸ軸方向（鉛直上方）から見た構成図
【図１０】本発明の（実施の形態５）の広角画像生成装置の構成図
【図１１】同実施の形態における広角撮像装置の説明図
【図１２】同実施の形態における広角撮像装置の撮像面上に結ばれる像の模式図
【図１３】同実施の形態における対象物ａ，ｂ，ｃの説明図
【図１４】同実施の形態にて得られる広角画像の説明図
【図１５】同実施の形態における展開テーブル作成フロー図
【図１６】同実施の形態の広角撮像装置の構成図
【図１７】同実施の形態における撮像面付近の拡大図
【図１８】同実施の形態においてＺ軸方向から見た場合の双曲面反射鏡と撮像面の配置図
【図１９】Ｘａ，Ｙａ面上の角度θとｘｙ面上の角度φの関係の説明図
【図２０】撮像装置の光学的な歪の影響の説明図
【図２１】テストパターン画像の説明図
【図２２】展開画像の左右の解像度差の説明図
【図２３】展開画像上の位置と鮮鋭化係数の関係の説明図
【図２４】本発明の（実施の形態６）の広角画像生成装置の構成図
【図２５】同実施の形態における対象物ａ，ｂ，ｃの説明図
【図２６】同実施の形態における撮像面上に結ばれる像の模式図
【図２７】同実施の形態における展開テーブル作成フロー図
【図２８】仮想投影面と操作者との関係を示す説明図
【図２９】仮想投影面形状の変更法についての説明図
【図３０】ＡＴＭ操作パネルをマスクした場合の模式図
【図３１】同実施の形態における広角画像生成装置の構成図
【図３２】本発明の（実施の形態７）の広角画像生成装置の構成図
【図３３】展開処理の説明図
【図３４】全方位カメラの説明図
【図３５】全方位カメラにおける展開処理の説明図
【符号の説明】
１    双曲面反射鏡
２    結像レンズ
３    撮像素子
４    双曲面反射鏡１の内部焦点
５    撮像素子３の撮像面
６    双曲面反射鏡１の回転中心軸
７    結像レンズ２の主点
８    広角撮像装置
９    展開画像生成部
１０    出力画像生成部
１１    演算処理装置
１２    Ｙ軸周り角度センサ（回転中心軸面内傾斜方向検出部）
１３    ＴＶモニタ
１４    スクリーン
１５    回転中心軸面内傾斜方向入力部
１６    Ｘ軸周り角度センサ
１７    回転中心軸前方傾斜方向入力部
１８    回転中心軸を傾けた時の広角撮像装置８の視野限界
１９    回転中心軸を傾けた時の広角撮像装置８の視野限界
２０    回転中心軸を傾けた時の広角撮像装置８の視野範囲
１８´    基準状態の広角撮像装置８の視野限界
１９´    基準状態の広角撮像装置８の視野限界
２０´    基準状態の広角撮像装置８の視野範囲
２１    仮想円筒面
２２    画像処理装置
２３    展開テーブル生成部
２４    展開画像生成部
２５    画質補正処理部
２６    画像マスク処理部
２７    モニタ
２８    光軸
２９ａ，２９ｂ    光線
３０ａ，３０ｂ    入射点
３１ａ，３１ｂ，３１ａ0，３１ｂ0    結像点
３２，３２0    半円状の像
３３    スクリーン
３４    仮想投影面
３５    光線
３６    テストパターン
３７    テストパターン画像
３８    広角画像
３９    展開画像
４０    ボケ領域
４１    ＡＴＭ端末
４２    操作者
４３    操作者の上半身の傾斜角
４４    （実施の形態６）の仮想投影面
４５    （実施の形態６）の仮想投影面の中心軸
４６    基準光軸方向
４７    ＡＴＭ端末の操作パネル
４８    マスク領域
４９    画像マスク処理部
５０    展開テーブル記憶部
５１    展開テーブル生成用演算処理装置
５２    メモリーカード
【図１】
0004175832.tif 000007
【図２】
0004175832.tif 000008
【図３】
0004175832.tif 000009
【図４】
0004175832.tif 000010
【図５】
0004175832.tif 000011
【図６】
0004175832.tif 000012
【図７】
0004175832.tif 000013
【図８】
0004175832.tif 000014
【図９】
0004175832.tif 000015
【図１０】
0004175832.tif 000016
【図１１】
0004175832.tif 000017
【図１２】
0004175832.tif 000018
【図１３】
0004175832.tif 000019
【図１４】
0004175832.tif 000020
【図１５】
0004175832.tif 000021
【図１６】
0004175832.tif 000022
【図１７】
0004175832.tif 000023
【図１８】
0004175832.tif 000024
【図１９】
0004175832.tif 000025
【図２０】
0004175832.tif 000026
【図２１】
0004175832.tif 000027
【図２２】
0004175832.tif 000028
【図２３】
0004175832.tif 000029
【図２４】
0004175832.tif 000030
【図２５】
0004175832.tif 000031
【図２６】
0004175832.tif 000032
【図２７】
0004175832.tif 000033
【図２８】
0004175832.tif 000034
【図２９】
0004175832.tif 000035
【図３０】
0004175832.tif 000036
【図３１】
0004175832.tif 000037
【図３２】
0004175832.tif 000038
【図３３】
0004175832.tif 000039
【図３４】
0004175832.tif 000040
【図３５】
0004175832.tif 000041