(57)【要約】【課題】画像処理において計算量と記憶部の容量とを削減する。【解決手段】記憶部は、中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する。座標取得部は、前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する。補間部は、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する。画像変換部は、前記他方の座標と前記補間座標に基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する。【選択図】図５
2015215817.tif 000002
【特許請求の範囲】
【請求項１】
心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する画像処理装置。
【請求項２】
前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標を中心として前記特定座標を回転させた座標を前記補間座標として補間する
請求項１記載の画像処理装置。
【請求項３】
前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標と前記特定座標とを結ぶ線分上の座標を前記補間座標として補間して当該補間座標を前記所定の座標を中心として回転させた座標を新たな前記補間座標として補間する
請求項１記載の画像処理装置。
【請求項４】
前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、２つの前記特定座標を結ぶ線分上の座標を前記補間座標として補間する
請求項１記載の画像処理装置。
【請求項５】
前記特定座標は、前記非中心射影画像において面積の異なる複数の前記閉曲線のそれぞれを分割した分割点の座標である
請求項１記載の画像処理装置。
【請求項６】
前記特定座標は、前記閉曲線の面積が小さいほど少ない分割数により前記閉曲線のそれぞれを分割した分割点の座標である
請求項５記載の画像処理装置。
【請求項７】
前記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を前記座標取得部および前記補間部に入力する透視射影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
請求項１記載の画像処理装置。
【請求項８】
前記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、
前記透視射影変換部は、前記回転された座標に対して前記透視射影変換を行う
請求項７記載の画像処理装置。
【請求項９】
前記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を前記座標取得部および前記補間部に入力する円筒投影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
請求項１記載の画像処理装置。
【請求項１０】
撮像された画像が前記一方の画像であるか否かを判断して前記一方の画像である場合には前記一方の座標を前記座標取得部および前記補間部に入力する判断部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
請求項１記載の画像処理装置。
【請求項１１】
中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、
前記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた前記中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標とに基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標に基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する撮像装置。
【請求項１２】
座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
を具備する画像処理方法。
【請求項１３】
座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標とに基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標に基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。詳しくは、画像を変換する画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。
【背景技術】
【０００２】
従来より、一般的なレンズより広い視野角（例えば、１８０度）の視野を撮像するために、撮像装置において魚眼レンズが用いられている。この魚眼レンズを用いると、その光学的特性のために被写体の形と像の形とが相似にならず、例えば、像の形が円形に歪んだ魚眼画像が得られる。像の形状が歪んだままではユーザにとって観察が困難となるため、魚眼画像の歪みを補正して、歪みのない中心射影画像に変換する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、画像変換において所定の座標変換関数に中心射影画像内の全ての座標を順に入力して、その座標に対応する魚眼画像内の座標を算出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１８０４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来技術では、魚眼画像の画素数が増大するほど、計算量が大きくなってしまう。これに対して、座標変換関数により予め算出しておいた座標をメモリ等の記憶部に保持しておき、変換時に読み出す構成とすれば計算を行わずに済むが、この構成では画素数の増大に伴って記憶部の容量が大きくなってしまう。したがって、計算量と記憶部の容量とをともに削減することは困難である。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、画像処理において計算量と記憶部の容量とを削減することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、上記特定座標および上記対応座標の一方の座標が入力されると上記入力された座標に対応する他方の座標を上記記憶部から取得する座標取得部と、上記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、上記他方の座標と上記補間座標とに基づいて上記非中心射影画像および上記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部とを具備する画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、特定座標または対応座標に基づいて補間座標が補間され、それらの座標に基づいて非中心射影画像および中心射影画像のうち一方の画像が他方の画像に変換されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、上記非中心射影画像において所定の座標を中心として上記特定座標を回転させた座標を上記補間座標として補間してもよい。これにより、特定座標を回転させた座標が補間座標として補間されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、上記非中心射影画像において所定の座標と上記特定座標とを結ぶ線分上の座標を上記補間座標として補間して当該補間座標を上記所定の座標を中心として回転させた座標を新たな上記補間座標として補間してもよい。これにより、所定の座標と特定座標とを結ぶ線分上の座標が補間座標として補間され、その補間座標を回転させた座標が新たな上記補間座標として補間されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、２つの上記特定座標を結ぶ線分上の座標を上記補間座標として補間してもよい。これにより、２つの上記特定座標を結ぶ線分上の座標が補間座標として補間されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記特定座標は、上記非中心射影画像において面積の異なる複数の上記閉曲線のそれぞれを分割した分割点の座標であってもよい。これにより、閉曲線のそれぞれを分割した分割点の座標に基づいて補間座標が補間されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記特定座標は、上記閉曲線の面積が小さいほど少ない分割数により上記閉曲線のそれぞれを分割した分割点の座標であってもよい。これにより、閉曲線の面積が小さいほど少ない分割数により閉曲線のそれぞれを分割した分割点の座標に基づいて補間座標が補間されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を上記座標取得部および上記補間部に入力する透視射影変換部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、透視射影変換を行った座標に対応する補間座標が補間されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、上記透視射影変換部は、上記回転された座標に対して上記透視射影変換を行ってよい。これにより、中心射影画像内の座標を所定の軸周りに回転させた座標が透視射影変換されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を上記座標取得部および上記補間部に入力する円筒投影変換部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、中心射影画像内の座標に対して円筒投影変換を行った座標に対応する補間座標が補間されるという作用をもたらす。
【００１５】
また、この第１の側面において、撮像された画像が上記一方の画像であるか否かを判断して上記一方の画像である場合には上記一方の座標を上記座標取得部および上記補間部に入力する判断部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、撮像された画像が一方の画像である場合に補間座標が補間されるという作用をもたらす。
【００１６】
また、本技術の第２の側面は、中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、上記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた上記中心射影画像内の対応座標とを記憶する記憶部と、上記特定座標および上記対応座標の一方の座標が入力されると上記入力された座標に対応する他方の座標を上記記憶部から取得する座標取得部と、上記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、上記他方の座標と上記補間座標とに基づいて上記非中心射影画像および上記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部とを具備する撮像装置である。これにより、特定座標または対応座標に基づいて補間座標が補間され、それらの座標に基づいて非中心射影画像および中心射影画像のうち一方の画像が他方の画像に変換されるという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、画像処理において計算量と記憶部の容量とを削減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１８】
【図１】第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】第１の実施の形態における座標変換部の一構成例を示すブロック図である。
【図３】第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。
【図４】第１の実施の形態における魚眼画像歪補正テーブルの一例を示す図である。
【図５】第１の実施の形態における読出座標出力部の一構成例を示すブロック図である。
【図６】第１の実施の形態における読出座標回転行列演算部の一構成例を示すブロック図である。
【図７】第１の実施の形態におけるメッシュ交点の配置例を示す図である。
【図８】第１の実施の形態における出力画像平面の一例を示す図である。
【図９】第１の実施の形態における回転させた出力画像平面の一例を示す図である。
【図１０】第１の実施の形態における出力画像平面を射影した仮想半球面上の領域の一例を示す図である。
【図１１】第１の実施の形態における読出座標および出力座標を示す図である。
【図１２】第１の実施の形態におけるメッシュ交点座標および補間座標を示す図である。
【図１３】第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。
【図１４】第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１５】第１の実施の形態における画像変換処理の一例を示すフローチャートである。
【図１６】第１の実施の形態における座標補間処理の一例を示すフローチャートである。
【図１７】第２の実施の形態における座標変換部の一例を示すブロック図である。
【図１８】第２の実施の形態における投影範囲および投影面の一例を示す図である。
【図１９】第２の実施の形態における画像変換処理の一例を示すフローチャートである。
【図２０】第３の実施の形態におけるメッシュ交点の配置例を示す図である。
【図２１】第３の実施の形態における密度を均等にしたメッシュ交点の配置例を示す図である。
【図２２】第４の実施の形態における撮像システムの一構成例を示すブロック図である。
【図２３】第４の実施の形態における座標変換部の一例を示すブロック図である。
【図２４】第４の実施の形態における読出座標出力部の一構成例を示すブロック図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（座標を補間して画像を変換する例）
２．第２の実施の形態（円筒投影した座標から座標を補間して画像を変換する例）
３．第３の実施の形態（密度が均等なメッシュ交点から座標を補間して画像を変換する例）
４．第４の実施の形態（魚眼画像の撮像時に座標を補間して画像を変換する例）
【００２０】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、魚眼レンズ１１０、撮像素子１２０、入力信号処理部１３０、フレームメモリ１４０、制御部１５０、画像変換部１６０、画素補間部１７０、出力信号処理部１８０および記録部１９０を備える。また、撮像装置１００は、座標変換部２００を備える。
【００２１】
魚眼レンズ１１０は、中心射影以外の射影（例えば、等距離射影）により光を集光して撮像素子１２０に導くものである。なお、魚眼レンズ１１０の射影方式は、中心射影以外のものであれば、等距離射影に限定されない。例えば、正射影や等立体角射影であってもよい。
【００２２】
撮像素子１２０は、制御部１５０の制御に従って魚眼レンズ１１０からの光を電気信号に変換して画像を生成するものである。例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが撮像素子１２０として用いられる。撮像素子１２０は、生成した画像を入力画像として入力信号処理部１３０に信号線１２９を介して供給する。この入力画像は、２次元格子状に配列された複数の画素からなり、円形の魚眼画像を含む。なお、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。
【００２３】
入力信号処理部１３０は、入力画像に対して、ノイズ除去処理、デモザイク処理、ホワイトバランス処理およびＹＣ変換処理などの各種の信号処理を必要に応じて行うものである。この入力信号処理部１３０は、信号処理を行った入力画像を信号線１３９を介してフレームメモリ１４０に供給する。フレームメモリ１４０は、入力画像を保持するものである。
【００２４】
制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、ユーザの操作などに従って撮像素子１２０を制御して画像を撮像させる。また、制御部１５０は、複数の出力座標を画像変換部１６０および座標変換部２００に信号線１５９を介して順に供給し、ズーム倍率、出力画像サイズ、パン角、チルト角およびロール角を座標変換部２００に供給する。
【００２５】
ここで、出力座標は、魚眼画像から生成される中心射影画像内の座標である。この中心射影画像は、２次元格子上に配列された複数の画素からなる。また、中心射影画像において、所定の方向（例えば、水平方向）に沿って並ぶ画素からなる配列は行と呼ばれる。出力座標の供給においては、行のそれぞれが順に選択され、選択された行内の画素の座標のそれぞれが順に出力座標として供給される。
【００２６】
また、出力画像サイズは、中心射影画像のサイズである。ズーム倍率は、出力画像平面に対する出力画像サイズの比を示す。この出力画像平面は、魚眼画像の少なくとも一部が透視射影により射影される矩形の射影面であり、この出力座標平面をズーム倍率により拡大した画像が中心射影画像として生成される。パン角、チルト角およびロール角については後述する。
【００２７】
座標変換部２００は、出力座標を読出座標に変換するものである。ここで、読出座標は魚眼画像内の座標を示す。座標変換部２００は、出力座標が供給されるたびに、出力座標を、対応する読出座標に変換し、画像変換部１６０に信号線２０９を介して供給する。
【００２８】
画像変換部１６０は、魚眼画像を中心射影画像に変換するものである。この画像変換部１６０は、制御部１５０から出力座標を受け取るたびに、その出力座標に対応する読出座標の画素値をフレームメモリ１４０から読み出す。そして、画像変換部１６０は、読み出した画素値を、中心射影画像内の出力座標の画素値として画素補間部１７０に信号線１６９を介して供給する。これにより、魚眼画像は中心射影画像に変換される。
【００２９】
画素補間部１７０は、中心射影画像において画素を必要に応じて補間するものである。例えば、魚眼画像の一部または全部を拡大する際に、画素補間部１７０は、必要な画素をサブピクセル精度で求めて補間する。この補間においては、バイリニア補間アルゴリズム、バイキュービック補間アルゴリズム、または、Ｌａｎｚｏｓ補間アルゴリズムなどのアルゴリズムが用いられる。画素補間部１７０は、画素を補間した中心射影画像を出力信号処理部１８０に信号線１７９を介して供給する。
【００３０】
出力信号処理部１８０は、ＯＳＤ（On Screen Display）処理、マスク処理、および、画像フォーマット変換処理などを必要に応じて中心射影画像に対して行うものである。出力信号処理部１８０は、処理後の中心射影画像を信号線１８９を介して記録部１９０に供給する。記録部１９０は、中心射影画像を記録するものである。
【００３１】
なお、撮像装置１００は、魚眼レンズ１１０により生成された魚眼画像を変換対象として中心射影画像に変換しているが、変換対象は、中心射影でない射影により生成された画像であれば、魚眼画像に限定されない。撮像装置１００は、例えば、曲面ミラーに写し出された被写体を、中心射影レンズにより撮像した画像を変換対象としてもよい。
【００３２】
また、撮像装置１００は、魚眼画像を中心射影画像に変換しているが、逆に中心射影画像を魚眼画像に変換してもよい。この場合、例えば、魚眼レンズ１１０の代わりに中心射影レンズを設け、制御部１５０は、中心射影画像内の読出座標を座標変換部２００および画像変換部１６０に順に供給する。また、座標変換部２００は、読出座標を、魚眼画像内の出力座標に変換する。
【００３３】
また、魚眼レンズ１１０や撮像素子１２０などの各部を１つの装置（撮像装置１００）に設ける構成としているが、これらを複数の装置に分散して設けてもよい。例えば、魚眼レンズ１１０を交換レンズユニットに設け、撮像素子１２０などを撮像装置１００に設け、座標変換部２００や画像変換部１６０などを画像処理装置に設けてもよい。
【００３４】
また、撮像装置１００は、入力信号処理部１３０において、ノイズ除去処理、デモザイク処理、ホワイトバランス処理およびＹＣ変換処理などを画像変換前に行っているが、これらのうち少なくとも１つを画像変換後に行ってもよい。例えば、デモザイク処理を行っていないＲＡＷデータ形式の魚眼画像を中心射影画像に変換し、その後にデモザイク処理を行ってもよい。
【００３５】
また、撮像装置１００は、中心射影画像を外部に出力してもよいし、表示部をさらに備え、その表示部に中心射影画像を表示させてもよい。また、撮像装置１００は、記録部１９０に中心射影画像を記録しているが、記録せずに外部への出力や表示部における表示などを行ってもよい。
【００３６】
［座標変換部の構成例］
図２は、第１の実施の形態における座標変換部２００の一構成例を示すブロック図である。座標変換部２００は、座標正規化部２１０、出力座標回転行列演算部２２０、透視射影変換部２３０、魚眼画像歪補正テーブル２４０および読出座標出力部３００を備える。
【００３７】
ここで、魚眼画像に平行な所定の軸をｘ軸とし、魚眼画像に平行でｘ軸に直交する軸をｙ軸とする。また、これらのｘ軸およびｙ軸に直交する軸をｚ軸とする。ｘ軸、ｙ軸およびｚ軸の原点は、例えば、魚眼画像の中心とする。そして、その原点を中心とする半球の表面を仮想球面と称する。仮想球面は、魚眼レンズ１１０により撮像された視野範囲を表す。出力画像平面（すなわち、射影面）は、初期状態において、例えば、その中心が魚眼画像の中心と一致する位置に配置される。また、出力画像平面は、初期状態において、その中心が仮想球面と接する位置に配置される。
【００３８】
座標正規化部２１０は、ズーム倍率や出力画像サイズに基づいて出力座標を正規化するものである。例えば、中心射影画像の水平座標を０乃至ｏｕｔ_ｈとし、垂直座標を０乃至ｏｕｔ_ｖとする場合、ｏｕｔ_ｈおよびｏｕｔ_ｖが出力画像サイズとして供給される。この座標正規化部２１０は、例えば、次の式により出力座標を正規化する。
ｒ＝ｍｉｎ（ｏｕｔ_ｈ、ｏｕｔ_ｖ）／２                        ・・・式１
【数１】
2015215817.tif 000003
【数２】
2015215817.tif 000004
ｚnorm＝１                                                     ・・・式４
【００３９】
式１において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、式２および式３において、「ｚｏｏｍ」は、魚眼画像の直径と出力画像平面の短辺とが一致し、出力画像平面（すなわち、射影面）を仮想球面に接するように配置した際の倍率を「１」とするズーム倍率である。式２乃至式４において、ｘnorm、ｙnormおよびｚnormは、正規化したｘ、ｙおよびｚ座標である。座標正規化部２１０は、正規化した出力座標（ｘnorm、ｙnorm、ｚnorm）を出力座標回転行列演算部２２０に供給する。式１乃至式４により、出力座標は、半径１の半球の球面上の座標に正規化される。
【００４０】
なお、撮像装置１００は、魚眼画像の少なくとも一部をズーム倍率により拡大しているが、魚眼画像の少なくとも一部を縮小してもよい。縮小する際には、制御部１５０は、ズーム倍率「ｚｏｏｍ」の代わりに、縮小率を供給する。この場合、式２および式３において「ｚｏｏｍ」が縮小率に置き換えられる。
【００４１】
出力座標回転行列演算部２２０は、出力画像平面を回転行列演算により回転させるものである。この出力座標回転行列演算部２２０は、パン角、チルト角およびロール角を制御部１５０から受け取る。ここで、パン角は、出力座標をｘ軸周りに回転させる回転角度である。また、チルト角は、出力座標をｙ軸周りに回転させる回転角度であり、ロール角は、ｚ軸周りに回転させる回転角度である。そして、出力座標回転行列演算部２２０は、例えば、次の式により回転行列演算を行う。
【数３】
2015215817.tif 000005
【００４２】
式５において、Ｒｔは、チルト角である。また、Ｒｒはロール角であり、Ｒｐはパン角である。また、（ｘrot、ｙrot、ｚrot）は、回転後の出力座標である。出力座標回転行列演算部２２０は、この出力座標（ｘrot、ｙrot、ｚrot）を透視射影変換部２３０に供給する。なお、出力座標回転行列演算部２２０は、特許請求の範囲に記載の回転部の一例である。
【００４３】
透視射影変換部２３０は、出力座標に対して透視射影変換を行うものである。この透視射影変換部２３０は、例えば、次の式により透視射影変換を行う。
ｘsph＝ｘrot／（ｘrot2＋ｙrot2＋ｚrot2）1/2                          ・・・式６
ｙsph＝ｙrot／（ｘrot2＋ｙrot2＋ｚrot2）1/2                          ・・・式７
ｚsph＝ｚrot／（ｘrot2＋ｙrot2＋ｚrot2）1/2                          ・・・式８
Ｒｘ＝ａｒｃｔａｎ２（ｙsph、ｘsph）                             ・・・式９
Ｒｚ＝ａｒｃｃｏｓ（ｚsph）                                     ・・・式１０
【００４４】
式６乃至式８において、ｘsph、ｙsphおよびｚsphは、出力座標を仮想天球面の表面上の座標に射影した座標である。また、式９および式１０において、ａｒｃｔａｎ２（ｙ、ｘ）は、（ｙ、ｘ）および原点を結ぶ直線とｘ軸とのなす角度を返す関数である。また、ａｒｃｃｏｓは、正弦関数の逆関数を示す。また、ＲｘおよびＲｚは、投影射影変換された極座標表記の出力座標のうちｘ軸およびｚ軸に対する角度を示す。透視射影変換部２３０は、投影射影変換した出力座標（ｒ、Ｒｘ、Ｒｚ）のうち（Ｒｘ、Ｒｚ）を読出座標出力部３００に供給する。ここで、ｒは極座標系における半径を示す。ｒを供給しないのは、ｒを固定値（例えば、「１」）としているためである。
【００４５】
読出座標出力部３００は、出力座標を読出座標に変換して画像変換部１６０に出力するものである。出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されている場合には、読出座標出力部３００は、その読出座標を魚眼画像歪補正テーブル２４０から取得して出力する。一方、出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されていない場合には、読出座標出力部３００は、所定の補間処理により出力座標に対応する読出座標を補間して出力する。補間処理の詳細については、後述する。
【００４６】
魚眼画像歪補正テーブル２４０は、魚眼画像内の読出座標のうち一部の特定座標を、中心射影画像内の出力座標に対応づけて記憶するものである。
【００４７】
このように、撮像装置１００は、魚眼画像内の一部の座標を補間して求めるため、魚眼画像内の全ての座標を演算する構成と比較して計算量を少なくすることができる。
【００４８】
なお、座標変換部２００に正規化部２１０、出力座標回転行列演算部２２０を設けてパン、チルトおよびロールを行う構成としているが、パン、チルトおよびロールを行わないのであれば、出力座標回転行列演算部２２０を設けなくてもよい。
【００４９】
図３は、第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。同図におけるａは、第１の実施の形態における入力画像５００の一例を示す図である。同図のａに例示するように、入力画像５００は、例えば、二次元格子状に配列された複数の画素からなる矩形の画像である。この入力画像５００は、円形のイメージサークル５０１を含む。このイメージサークル５０１は、魚眼レンズ１１０により集光された光を変換した領域であり、このサークル内の画素からなる画像が魚眼画像として扱われる。この魚眼画像（５０１）は、前述したように、中心射影でない射影により生成されているため、被写体の実際の形と、その被写体を撮像した像の形とが相似にならない。例えば、像の形は円形に歪む。
【００５０】
また、図３におけるｂは、魚眼画像（５０１）から生成された中心射影画像６００の一例を示す図である。同図におけるｂに示すように、魚眼画像の歪みが補正され、像の形状が被写体の実際の形状と相似になる。
【００５１】
図４は、第１の実施の形態における魚眼画像歪補正テーブル２４０の一例を示す図である。この魚眼画像歪補正テーブル２４０には、魚眼画像内の読出座標のうち一部の特定座標が、中心射影画像内の出力座標に対応づけて格納されている。例えば、仮想球面をメッシュ状に分割した分割点を魚眼画像に投影した読出座標が格納される。読出座標に対応する出力座標は、例えば、特許文献１の第００１８段落に記載の座標変換関数により、予め算出された座標である。なお、座標変換関数などにより理論的に求める代わりに、メッシュ交点がプロットされた半球状の被写体を実際に用意し、その被写体を撮像することによりレンズごとにキャリブレーションして求めてもよい。具体的には、例えば、その半球状の被写体を魚眼レンズおよび中心射影レンズのそれぞれにより撮像して、得られた魚眼画像および中心射影画像からメッシュ交点座標およびメッシュ対応座標の対応関係が求められる。
【００５２】
以下、メッシュ交点をｚ軸に平行に魚眼画像に投影した読出座標を「メッシュ交点座標」と称し、そのメッシュ交点座標に対応する中心射影画像内の出力座標を「メッシュ対応座標」と称する。このメッシュ対応座標は、例えば、極座標系により表され、一方、メッシュ交点座標は、例えば直交座標系により表される。なお、メッシュ交点座標は、特許請求の範囲に記載の特定座標の一例であり、メッシュ対応座標は、特許請求の範囲に記載の対応座標の一例である。
【００５３】
メッシュ交点座標が（ｘ１、ｙ１）であり、その座標に対応する中心射影画像内のメッシュ対応座標が（Ｒｘ１、Ｒｚ１）である場合、そのメッシュ対応座標（Ｒｘ１、Ｒｚ１）に対応付けてメッシュ交点座標（ｘ１、ｙ１）が記憶される。
【００５４】
図５は、第１の実施の形態における読出座標出力部３００の一構成例を示すブロック図である。この読出座標出力部３００は、直交座標取得部３２０および座標補間部３３０を備える。
【００５５】
直交座標取得部３２０は、出力座標に対応する読出座標を魚眼画像歪補正テーブル２４０から取得するものである。この直交座標取得部３２０は、透視射影変換部２３０から供給された出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されているか否か、言い換えれば、出力座標がメッシュ対応座標であるか否かを判断する。メッシュ対応座標である場合には直交座標取得部３２０は、そのメッシュ対応座標に対応するメッシュ交点座標（すなわち、読出座標）を魚眼画像歪補正テーブル２４０から取得して画像変換部１６０へ供給する。
【００５６】
一方、出力座標がメッシュ対応座標でない場合に直交座標取得部３２０は、供給された出力座標の周囲のメッシュ対応座標の中から、出力座標との間の距離の近いものを優先して４つのメッシュ対応座標を選択する。これらの４つのメッシュ対応座標をそれぞれ（Ｒｘｎ、Ｒｚｎ）、（Ｒｘｎ＋１、Ｒｚｎ）、（Ｒｘｎ、Ｒｚｎ＋１）および（Ｒｘｎ＋１、Ｒｚｎ＋１）とする。直交座標取得部３２０は、これらのメッシュ対応座標と、メッシュ対応座標に対応するメッシュ交点座標のそれぞれとを魚眼画像歪補正テーブル２４０から取得して座標補間部３３０に供給する。なお、直交座標取得部３２０は、特許請求の範囲に記載の座標取得部の一例である。
【００５７】
座標補間部３３０は、直交座標取得部３２０により取得されたメッシュ交点座標に基づいて、供給された出力座標に対応する読出座標を補間するものである。この座標補間部３３０は、回転後線形補間部３３１、回転後補間係数演算部３３２、回転前線形補間部３３３、回転前補間係数演算部３３４、回転角度演算部３３５および読出座標回転行列演算部３４０を備える。なお、座標補間部３３０は、特許請求の範囲に記載の補間部の一例である。
【００５８】
回転前補間係数演算部３３４は、回転前線形補間部３３３において用いられる補間係数ａｚを演算して回転前線形補間部３３３に供給するものである。補間係数ａｚは、例えば、次の式により算出される。
ａｚ＝Ｒｚ／（Ｒｚｎ＋１−Ｒｚｎ）                                ・・・式１１
【００５９】
回転前線形補間部３３３は、放射方向において隣り合う２つのメッシュ対応座標の間の座標を線形補間により線形補間座標として補間して読出座標回転行列演算部３４０に供給するものである。線形補間座標は、例えば、次の式により求められる。
ｘａ'＝ｆｘ（Ｒxn、Ｒzn）・（１−ａｚ）＋ｆｘ（Ｒｘn、Ｒｚn+1）・ａｚ  ・・・式１２
ｙａ'＝ｆｙ（Ｒxn、Ｒzn）・（１−ａｚ）＋ｆｙ（Ｒｘn、Ｒｚn+1）・ａｚ  ・・・式１３
ｘｂ'＝ｆｘ（Ｒxn+1、Ｒzn）・（１−ａｚ）＋ｆｘ（Ｒxn+1、Ｒzn+1）・ａｚ    …式１４
ｙｂ'＝ｆｙ（Ｒxn+1、Ｒzn）・（１−ａｚ）＋ｆｙ（Ｒxn+1、Ｒzn+1）・ａｚ    …式１５
【００６０】
式１２乃至式１５においてｆｘ（Ｒｘ、Ｒｚ）は、メッシュ対応座標（Ｒｘ、Ｒｚ）に対応するメッシュ交点座標（ｘ、ｙ）のうちｘ座標を返す関数である。また、ｆｙ（Ｒｘ、Ｒｚ）は、メッシュ対応座標（Ｒｘ、Ｒｚ）に対応するメッシュ交点座標（ｘ、ｙ）のうちｙ座標を返す関数である。式１２乃至式１５により、２つのメッシュ交点座標を結ぶ線分上の座標が線形補間座標として求められる。また、式１２乃至式１５において（ｘａ'、ｙａ'）および（ｘｂ'、ｙｂ'）は、線形補間座標である。
【００６１】
回転角度演算部３３５は、線形補間座標を回転させる回転角度ＲｘａおよびＲｘｂを演算するものである。回転角度ＲｘａおよびＲｘｂは、例えば、次の式により求められる。
Ｒｘａ＝Ｒｘ−Ｒｘｎ                                             ・・・式１６
Ｒｘｂ＝Ｒｘ−Ｒｘｎ＋１                                          ・・・式１７
【００６２】
回転角度演算部３３５は、例えば、回転角度Ｒｘａの正弦および余弦を読出座標回転行列演算部３４０に供給し、次いで回転角度Ｒｘｂの正弦および余弦を読出座標回転行列演算部３４０に供給する。
【００６３】
読出座標回転行列演算部３４０は、線形補間座標（ｘａ'、ｙａ'）および（ｘｂ'、ｙｂ'）のそれぞれを回転行列演算により回転させ、回転させた座標を回転補間座標として線形補間部３３１に順に供給するものである。例えば、次の式により、回転後の座標が求められる。
【数４】
2015215817.tif 000006
【数５】
2015215817.tif 000007
【００６４】
式１８において（ｘrot_a'、ｙrot_a'）は、線形補間座標（ｘａ'、ｙａ'）を回転させた回転補間座標である。また、式１９において（ｘrot_b'、ｙrot_b'）は、線形補間座標（ｘｂ'、ｙｂ'）を回転させた回転補間座標である。
【００６５】
回転後補間係数演算部３３２は、回転後線形補間部３３１において用いられる補間係数ａｘを演算して回転前線形補間部３３３に供給するものである。補間係数ａｘは、例えば、次の式により算出される。
ａｘ＝Ｒｘ／（Ｒｘｎ＋１−Ｒｘｎ）                                ・・・式２０
【００６６】
回転後線形補間部３３１は、２つの回転補間座標の間の座標を線形補間により最終的な補間座標として補間して画像変換部１６０に供給するものである。補間座標は、例えば、次の式により求められる。
ｘ'＝ｘrot_a'・（１−ａｘ）＋ｘrot_b'・ａｘ                      ・・・式２１
ｙ'＝ｙrot_a'・（１−ａｘ）＋ｙrot_b'・ａｘ                      ・・・式２２
【００６７】
なお、座標補間部３３０は、線形補間と、座標の回転による補間とを行っているが、線形補間のみを行ってもよい。ただし、魚眼画像においては、像が円形に歪んで写っているため、円周方向において補間する際には、式１８や式１９などを用いて回転による補間を行うことが望ましい。
【００６８】
また、座標補間部３３０は、放射方向において、線形補間を行っているが、放射方向において隣接する２つの座標の間を適切に補間することができるのであれば、線形補間以外の補間（スプライン補間など）を行ってもよい。
【００６９】
［読出座標回転行列演算部の構成例］
図６は、第１の実施の形態における読出座標回転行列演算部３４０の一構成例を示すブロック図である。この読出座標回転行列演算部３４０は、乗算器３４１、３４２、３４３および３４４と、減算器３４５と、加算器３４６とを備える。
【００７０】
乗算器３４１は、座標ｘａ'またはｘｂ'と角度ＲｘａおよびＲｘｂの正弦とを乗算して乗算結果を減算器３４５に供給するものである。乗算器３４２は、座標ｙａ'またはｙｂ'と角度ＲｘａまたはＲｘｂの余弦とを乗算して乗算結果を減算器３４５に供給するものである。減算器３４５は、乗算器３４１の乗算結果から乗算器３４２の乗算結果を減算して、座標ｘrot_a'またはｘrot_b'として回転後線形補間部３３１に供給するものである。
【００７１】
乗算器３４３は、座標ｘａ'またはｘｂ'と角度ＲｘａおよびＲｘｂの余弦とを乗算して乗算結果を加算器３４６に供給するものである。乗算器３４４は、座標ｙａ'またはｙｂ'と角度ＲｘａまたはＲｘｂの正弦とを乗算して乗算結果を加算器３４６に供給するものである。加算器３４６は、乗算器３４３の乗算結果と乗算器３４４の乗算結果とを加算して座標ｙrot_a'またはｙrot_b'として回転後線形補間部３３１に供給するものである。
【００７２】
図７は、第１の実施の形態におけるメッシュ交点の配置例を示す図である。矩形の入力画像５００は、円形のイメージサークル５０１（すなわち、魚眼画像）を含む。その魚眼画像の中心を原点とする仮想球面５０２が、メッシュ状に分割される。分割においては、例えば、仮想球面５０２の緯度および経度が等間隔で分割される。分割した分割点（メッシュ交点）５０３や５０４を、ｚ軸に平行に魚眼画像に投影した点の座標が、メッシュ交点座標５０５や５０６として、魚眼画像歪補正テーブル２４０に保持される。
【００７３】
図７では、理想的な射影により像が円形に歪む魚眼画像を前提としてメッシュ交点座標がプロットされている。この理想的な状態においては、同心円状の複数の真円のそれぞれを所定数に等分割した点の座標がメッシュ交点座標として保持される。しかし、実際の魚眼レンズ１１０は、製品ばらつきなどにより理想的な射影方式となっていない場合が多く、また、光軸に対する光線の入射角だけでなく、光軸を中心とした回転角についても理論値からずれる場合がある。これらの要因により、例えば、像が円状でなく、楕円状に歪むことがある。この場合には、メッシュ交点座標は、中心が同一の複数の楕円のそれぞれを分割した点の座標がメッシュ交点座標として保持される。像の一部が楕円形に歪む場合は、その部分において楕円上にメッシュ交点座標が設けられる。このように、面積の異なる複数の閉曲線（円や楕円など）を等分割した分割点の座標がメッシュ交点座標として保持される。
【００７４】
このように、魚眼画像の一部の座標（例えば、メッシュ交点座標）のみを魚眼画像歪補正テーブル２４０に記憶させているため、魚眼画像内の全ての座標を記憶させる構成と比較して、テーブルサイズを小さくすることができる。したがって、魚眼画像歪補正テーブル２４０を保持する記憶部（メモリなど）の容量を小さくすることができる。
【００７５】
図８は、第１の実施の形態における出力画像平面５１０の一例を示す図である。例えば、矩形の出力画像平面５１０が、イメージサークル５０１（魚眼画像）において設定される。出力画像平面５１０は、初期状態において、例えば、その中心が魚眼画像の中心と一致する位置に配置される。また、出力画像平面５１０は、初期状態において、その中心が仮想球面５０２と接する位置に配置される。
【００７６】
図９は、第１の実施の形態における回転させた出力画像平面５１０の一例を示す図である。例えば、パン角、チルト角およびロール角により、出力画像平面５１０は、ｘ軸、ｙ軸およびｚ軸周りに回転される。
【００７７】
図１０は、第１の実施の形態における出力画像平面５１０を仮想球面５０２に透視射影（すなわち、中心射影）した領域５１１の一例を示す図である。この領域５１１上の直交座標（ｘsph、ｙsph、ｚsph）は、上述の式６乃至式８により算出される。この直交座標は、式９および式１０により極座標（Ｒｘ、Ｒｚ）に変換され、この極座標が魚眼画像上の読出座標に変換される。
【００７８】
図１１は、第１の実施の形態における読出座標および出力座標を示す図である。同図におけるａは、理想的な射影が行われた魚眼画像における読出座標の一例を示す図である。同図のａにおける黒丸の画素６０１、６０３、６０７および６０９は、メッシュ交点座標の画素を示す。また、白丸の画素６０２、６０４、６０５、６０６および６０８は、補間座標の画素を示す。
【００７９】
円周方向において隣接するメッシュ交点座標の間の座標は、それらのメッシュ交点座標の少なくとも一方の回転により補間される。
【００８０】
例えば、座標変換部２００が、円周方向において隣接する画素６０１および６０３の間の座標を補間する場合、まず、画素６０１のメッシュ交点座標を（Ｒｘｎ、Ｒｚｎ）および（Ｒｘｎ、Ｒｚｎ＋１）の両方に設定する。また、座標変換部２００は、画素６０３のメッシュ交点座標を（Ｒｘｎ＋１、Ｒｚｎ）および（Ｒｘｎ＋１、Ｒｚｎ＋１）の両方に設定する。このように設定すれば、回転前において、実質的に線形補間が行われない。
【００８１】
そして、座標変換部２００は、画素６０１の座標を回転角度Ｒｘａだけ回転させて回転補間座標（ｘrot_a'、ｙrot_a'）を求め、画素６０３の座標を回転角度Ｒｘｂだけ回転させて回転補間座標（ｘrot_b'、ｙrot_b'）を求める。理想的な魚眼画像では、これらの回転補間座標は、同じ座標となる。このため、回転後において、実質的に線形補間が行われない。なお、座標変換部２００は、画素６０１および６０３の両方の座標を回転させているが、一方の座標のみを回転させて補間を行ってもよい。
【００８２】
また、放射方向において隣接する２つのメッシュ交点座標の間の座標は、線形補間により求められる。例えば、座標変換部２００が、放射方向において隣接する画素６０１および６０７の間の座標を補間する場合、回転による補間を行わずに、画素６０４の座標を線形補間により補間する。例えば、画素６０４の周囲の４つのメッシュ交点座標が設定され、回転による補間座標の混合率が０％に設定される。
【００８３】
また、４つのメッシュ交点座標で囲まれる領域の内部の座標を補間する際には、線形補間と回転による補間とが行われる。例えば、４つの画素６０１、６０３、６０７および６０９の内部の画素６０５の座標を補間する場合を考える。この場合、画素６０１、６０３、６０７および６０９のメッシュ交点座標が（Ｒｘｎ、Ｒｚｎ）、（Ｒｘｎ＋１、Ｒｚｎ）、（Ｒｘｎ、Ｒｚｎ＋１）および（Ｒｘｎ＋１、Ｒｚｎ＋１）に設定される。このように設定すれば、画素６０４および６０６の座標が線形補間により補間され、それらの座標の回転により、画素６０５の補間座標が取得される。
【００８４】
図１１におけるｂは、第１の実施の形態における出力座標を示す図である。同図のｂにおいて、黒丸の画素７０１、７０３、７０７および７０９は、メッシュ対応座標の画素を示す。また、白丸の画素７０２、７０４、７０５、７０６および７０８は、補間座標に対応する座標の画素を示す。画像変換部１６０が、同図におけるａのそれぞれの画素の画素値を、その読出座標に対応する出力座標の画素値として出力すると、歪みが補正された中心射影画像が生成される。
【００８５】
図１２は、第１の実施の形態におけるメッシュ交点座標および補間座標を示す図である。同図では、魚眼画像が理想的なものでなく、像の少なくとも一部が楕円に歪んでしまう場合を想定している。この場合、座標変換部２００は、放射方向に沿って線形補間を行い、円周方向に沿って回転させる補間を行い、さらに線形補間を行って最終的な補間座標を求める。例えば、画素６０５の座標を補間する場合、その画素６０５の周囲の４つの画素６０１、６０３、６０７および６０９のメッシュ交点座標が（Ｒｘｎ、Ｒｚｎ）、（Ｒｘｎ＋１、Ｒｚｎ）、（Ｒｘｎ、Ｒｚｎ＋１）および（Ｒｘｎ＋１、Ｒｚｎ＋１）に設定される。このように設定すれば、画素６０４および６０６の座標が線形補間により補間され、それらの線形補間座標を回転させる補間により、画素６０８および６０９の座標が補間される。像が楕円に歪む場合は、これらの画素６０８および６０９の座標が異なる座標となる。そこで、座標変換部２００は、それらの画素６０８および６０９の座標から線形補間により、画素６０５の座標を補間する。実際上の魚眼画像は、理想的な状態とは限らないため、回転後に線形補間を行うことが望ましいが、図１１に例示したように、理想的な魚眼画像が想定される場合や精度の低下が許容される場合には、座標変換部２００は、回転後の線形補間を行わない構成としてもよい。
【００８６】
図１３は、第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。同図におけるａは、魚眼画像を含む入力画像５００の一例である。同図のａにおいて、太い実線で囲った領域は出力画像平面を示す。
【００８７】
図１３におけるｂは、線形補間のみを行う比較例における中心射影画像の一例を示す図である。同図におけるｂに示すように、仮に回転による補間を行わず、線形補間のみを行った場合、特に円周方向において歪みが十分に補間されなくなり、歪残りが生じてしまう。
【００８８】
図１３におけるｃは、線形補間に加えて回転による補間を行った第１の実施の形態における中心射影画像の一例を示す図である。同図におけるｃに示すように、回転による補間を行った場合には、円周方向において歪みが適切に補間され、自然な中心射影画像が得られる。
【００８９】
図１４は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、画像が撮像されるたびに実行される。
【００９０】
撮像装置１００は、魚眼画像を含む入力画像に対して所定の信号処理を行う（ステップＳ９０１）。そして、撮像装置１００は、魚眼画像を中心射影画像に変換する画像変換処理を行う（ステップＳ９１０）。撮像装置１００は、中心射影画像において画素を補間し（ステップＳ９０２）、所定の信号処理を行う（ステップＳ９０３）。ステップＳ９０３の後、撮像装置１００は、動作を終了する。
【００９１】
図１５は、第１の実施の形態における画像変換処理の一例を示すフローチャートである。撮像装置１００は、出力座標を取得し（ステップＳ９１１）、その座標を正規化する（ステップＳ９１２）。そして、撮像装置１００は、正規化した出力座標に対して回転行列演算を行い（ステップＳ９１３）、透視射影（中心射影）変換を行う（ステップＳ９１４）。
【００９２】
撮像装置１００は、透視射影変換した出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０にあるか否かを判断する（ステップＳ９１５）。読出座標がある場合に（ステップＳ９１５：Ｙｅｓ）、撮像装置１００は、魚眼画像歪補正テーブル２４０から出力座標に対応する読出座標を取得する（ステップＳ９１６）。一方、読出座標がない場合に（ステップＳ９１５：Ｎｏ）、撮像装置１００は、補間座標を補間する座標補間処理を行う（ステップＳ９２０）。
【００９３】
ステップＳ９２０またはＳ９１６の後、撮像装置１００は、魚眼画像内の読出座標の画素の画素値を読み出して、対応する出力座標の画素値として出力する（ステップＳ９１７）。そして、撮像装置１００は、全ての出力座標の変換が終了したか否かを判断する（ステップＳ９１８）。変換が終了していない場合に（ステップＳ９１８：Ｎｏ）、撮像装置１００は、ステップＳ９１１に戻る。一方、変換が終了した場合に（ステップＳ９１８：Ｙｅｓ）、撮像装置１００は、画像変換処理を終了する。
【００９４】
図１６は、第１の実施の形態における座標補間処理の一例を示すフローチャートである。撮像装置１００は、出力座標の周囲の４つのメッシュ対応座標に対応するメッシュ交点座標（すなわち、読出座標）を魚眼画像歪補正テーブル２４０から取得する（ステップＳ９２１）。
【００９５】
撮像装置１００は、必要に応じて放射方向に線形補間を行い、２つの線形補間座標を取得する（ステップＳ９２２）。また、撮像装置１００は、必要に応じて、それらの線形補間座標を回転して２つの回転補間座標を取得する（ステップＳ９２３）。そして、撮像装置１００は、必要に応じて、線形補間を行い、２つの回転補間座標から読出座標を取得する（ステップＳ９２４）。ステップＳ９２４の後、撮像装置１００は、座標補間処理を終了する。
【００９６】
このように、本技術の第１の実施の形態によれば、一部の特定座標および対応座標を対応付けて記憶部に記憶し、その記憶部から取得した座標に基づいて補間座標を補間するため、記憶部の容量および計算量を削減することができる。
【００９７】
＜２．第２の実施の形態＞
第１の実施の形態では、透視射影変換により魚眼画像を中心射影画像に変換していたが、透視射影変換の代わりに円筒投影変換を行ってもよい。円筒投影変換を行うと、透視射影変換の場合よりも視野の広いパノラマ画像に魚眼画像を変換することができる。第２の実施の形態の撮像装置１００は、透視射影変換の代わりに円筒投影変換を行う点において第１の実施の形態と異なる。
【００９８】
図１７は、第２の実施の形態における座標変換部２００の一例を示すブロック図である。第２の実施の形態の座標変換部２００は、座標正規化部２１０、出力座標回転行列演算部２２０、および、透視射影変換部２３０の代わりに座標正規化部２１１およびパノラマ座標変換部２５０を備える点において第１の実施の形態と異なる。
【００９９】
座標正規化部２１１は、魚眼画像内の投影範囲の視野角および出力画像サイズに基づいて座標を正規化するものである。この視野角は、ｄｇ_ｏｆｆｓｅｔおよびｄｇ_ａｐｌの組合せにより設定される。ｄｇ_ｏｆｆｓｅｔは、固定の角度であり、ｘ−ｙ平面において基準の軸（例えば、ｘ軸）に対するマイナスの角度が設定される。ｄｇ_ａｐｌは、アプリケーションなどにより変更することができる可変の角度であり、ｘ−ｙ平面において基準の軸に対するプラスの角度が設定される。円筒投影変換としてメルカトル投影変換を行う場合、座標正規化部２１１は、例えば、次の式を使用して正規化を行う。
【数６】
2015215817.tif 000008
【数７】
2015215817.tif 000009
【数８】
2015215817.tif 000010
【０１００】
式２３および式２４においてｘpanoおよびｙpanoは、正規化したｘ座標およびｙ座標である。式２５において、ｒａｄ（）は、「度」の単位で表された値を「ラジアン」表記の値に変換して返す関数である。また、ｔａｎ-1（）は、正接関数の逆関数である。ｌｎ  Ａは、Ａの自然対数である。
【０１０１】
式２４および式２５により、ｚ軸に対する角度が一定の許容角度（例えば、８５度）を超える天頂付近を除いた範囲がパノラマ展開される。これは、天頂付近をパノラマ展開すると、天頂に近いほど拡大率が大きくなり、視認性が低下するためである。
【０１０２】
座標正規化部２１１は、正規化した出力座標（ｘpano、ｙpano）をパノラマ座標変換部２５０に供給する。
【０１０３】
パノラマ座標変換部２５０は、出力座標（ｘpano、ｙpano）を極座標に変換するものである。パノラマ座標変換部２５０は、例えば、次の式を使用して極座標を求める。
Ｒｘ＝ｘpano                                                  ・・・式２６
【数９】
2015215817.tif 000011
上式においてｇｄは、グーデルマン関数である。
【０１０４】
式２３乃至式２７により、出力座標は、正規化されるとともに円筒投影変換される。パノラマ座標変換部２５０は、変換された極座標（Ｒｘ、Ｒｙ）を読出座標出力部３００に供給する。
【０１０５】
なお、座標正規化部２１１およびパノラマ座標変換部２５０は、特許請求の範囲における円筒投影変換部の一例である。
【０１０６】
なお、パノラマ座標変換部２５０は、極座標を算出しているが、直交座標（ｘpano、ｙpano）ごとに、予め算出しておいた極座標を保持する極座標テーブルをさらに設け、そのテーブルから極座標を読み出す構成であってもよい。また、正規化部２１１およびパノラマ座標変換部２５０は、メルカトル投影変換を行っているが、正距円筒投影変換など、メルカトル投影変換以外の円筒投影変換を行ってもよい。メルカトル投影変換以外の変換を行う際にパノラマ座標変換部２５０は、予め極座標テーブルに保持しておいた極座標を使用して、その変換を行ってもよい。
【０１０７】
図１８は、第２の実施の形態における投影範囲および投影面の一例を示す図である。同図に示す投影範囲５１２は、魚眼画像において、円筒投影変換の対象とされる範囲である。ｄｇ_ｏｆｆｓｅｔにｄｇ_ａｐｌを加えた角度の扇型の範囲が投影範囲５１２として設定される。また、投影面５１３は、投影範囲５１２が円筒投影される面であり、同図においては、矩形の平面の一辺を魚眼画像の外周に沿って湾曲させた形で記載されている。この投影面５１３に投影された画像を平面上に展開したものが中心射影画像として生成される。
【０１０８】
図１９は、第２の実施の形態における画像変換処理の一例を示すフローチャートである。第２の実施の形態の画像変換処理は、ステップＳ９１３およびＳ９１４の代わりにステップＳ９１９を実行する点において、第１の実施の形態と異なる。
【０１０９】
撮像装置１００は、視野角および出力画像サイズに基づいて座標を正規化し（ステップＳ９１２）、正規化した出力座標を極座標に変換する（ステップＳ９１９）。
【０１１０】
このように、第２の実施の形態によれば、出力座標に対して円筒投影変換を行い、円筒投影変換を行った座標に対応する読出座標および補間座標を取得するため、魚眼画像を中心射影方式のパノラマ画像に変換することができる。
【０１１１】
＜３．第３の実施の形態＞
第１の実施の形態では、複数の閉曲線（例えば、円）のそれぞれのメッシュ交点の個数を同一にしていた。しかしながら、閉曲線の半径が小さいほど、その外周の長さは短くなる。このため、分割数を同一にすると、中心に近づくほどメッシュ交点の密度が高くなってしまう。メッシュ交点の密度が高いほど補正精度が高くなるため、補正精度を均等にする観点から、半径が小さいほどメッシュ交点の個数を少なくして、メッシュ交点の密度を一定に近づけることが望ましい。第３の実施の形態の撮像装置１００は、半径が小さいほど（言い換えれば、面積が小さいほど）メッシュ交点の個数を少なくした点において第１の実施の形態と異なる。
【０１１２】
図２０は、第３の実施の形態におけるメッシュ交点の配置例５２１を示す図である。同図におけるａは、最も半径が大きい閉曲線と、次に半径の大きい閉曲線とにおいて、メッシュ交点を２倍に増加した際の配置例である。同図のａにおける点線で囲った黒丸は、追加したメッシュ交点を示す。同図におけるｂは、最も半径の小さい閉曲線において、メッシュ交点を半分に削減した際の配置例５２２である。同図のｂにおける点線の白丸は、削減したメッシュ交点を示す。このように、外側のメッシュ交点を増加するか、内側のメッシュ交点を削減することにより、メッシュ交点の密度が一定に近くなる。
【０１１３】
図２１は、第３の実施の形態における密度を均等にした際のメッシュ交点の配置例５２３を示す図である。同図において、最も半径が大きい閉曲線と、次に半径の大きい閉曲線とにおいてメッシュ交点が追加され、最も半径の小さい閉曲線においてメッシュ交点が削減されている。
【０１１４】
第３の実施の形態の座標補間部３３０は、削減したメッシュ交点の座標を、周囲のメッシュ交点座標から補間して求める。例えば、円周方向の隣接する２つのメッシュ交点を回転させる補間や、放射方向の隣接する２つのメッシュ交点からの線形補間などが行われる。
【０１１５】
また、外側の閉曲線にメッシュ交点を追加し、その内側の閉曲線には追加しない場合、それらの閉曲線の間の座標の周囲には、４つのメッシュ交点と追加したメッシュ交点とを含む５つのメッシュ交点が配置されることになる。
【０１１６】
ここで、点線の枠５２４は、追加したメッシュ交点を含まない４つのメッシュ交点を頂点とする多角形である。一方、実線の枠５２５は、追加したメッシュ交点と中心との間に補間座標を補間して、放射方向に隣接するメッシュ交点と、追加したメッシュ交点と、補間座標とを頂点とする多角形である。この場合、枠５２４の内部の座標は、それらの４つの頂点のメッシュ交点から補間される。あるいは、枠５２５の頂点に補間座標を補間して、その内部の座標をそれらのメッシュ交点および頂点から補間してもよい。もしくは、撮像装置１００は、枠５２４の頂点から補間した座標と、枠５２５の頂点から補間した座標とを混合し、その混合した座標を最終的な補間座標として補間してもよい。歪補正の連続性を考えると、中心または外周に近づくにつれて、徐々に混合していく方法が望ましい。徐々に混合する際は、例えば、中心に近づくほど、枠５２４の頂点から補間した座標の混合率が高く設定される。
【０１１７】
このように、本技術の第３の実施の形態によれば、閉曲線の面積が小さいほど少ない分割数により、その閉曲線を分割した分割点をメッシュ交点とするため、メッシュ交点の密度を均等に近づけることができる。
【０１１８】
＜４．第４の実施の形態＞
第１の実施の形態では、撮像装置１００は、魚眼画像の歪みを補正していたが、中心射影画像が入力された際に、その中心射影画像の歪みを補正することもできる。第４の実施の形態の撮像装置１００は、魚眼画像および中心射影画像のいずれが入力されたかを判断して、歪み補正の方法を変更する点において第１の実施の形態と異なる。
【０１１９】
図２２は、第４の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像システムは、交換レンズユニット４００および撮像装置１００を備える。
【０１２０】
交換レンズユニット４００は、魚眼レンズまたは中心射影レンズが装着される部品である。この交換レンズユニット４００は、レンズが装着されると、そのレンズの種別を撮像装置１００に通知する。
【０１２１】
第４の実施の形態の撮像装置１００の構成は、魚眼レンズ１１０を備えない点以外は、第１の実施の形態と同様である。第４の実施の形態の制御部１５０は、レンズの種別を取得し、装着されたレンズが魚眼レンズであるか否かを判断する。そして、制御部１５０は、判断結果に基づいて切替信号を生成して送信する。切替信号は、変換方法の切り替えを指示する信号である。なお、制御部１５０は、特許請求の範囲に記載の判断部の一例である。
【０１２２】
図２３は、第４の実施の形態における座標変換部２００の一例を示すブロック図である。第４の実施の形態の座標変換部２００は、中心射影画像歪補正テーブル２６０をさらに備える点において第１の実施の形態と異なる。中心射影画像歪補正テーブル２６０は、歪補正前の中心射影画像の読出座標の一部について、歪補正後の中心射影画像の出力座標を対応付けたテーブルである。
【０１２３】
図２４は、第４の実施の形態における読出座標出力部３００の一構成例を示すブロック図である。第４の実施の形態の読出座標出力部３００は、切替器３１０をさらに備える点において第１の実施の形態と異なる。
【０１２４】
切替器３１０は、切替信号に従って、魚眼画像歪補正テーブル２４０または中心射影画像歪補正テーブル２６０における読出座標を直交座標取得部３２０に供給するものである。例えば、レンズ種別が魚眼レンズである場合に、魚眼画像歪補正テーブル２４０からの読出座標が供給され、そうでない場合に中心射影画像歪補正テーブル２６０からの読出座標が供給される。
【０１２５】
また、第４の実施の形態の回転前補間係数演算部３３４は、切替信号に従って、補間係数を変更する。例えば、レンズが魚眼レンズである場合に、式１１により算出された補間係数が供給され、そうでない場合に「０」の補間係数が供給される。
【０１２６】
また、第４の実施の形態の回転角度演算部３３５は、切替信号に従って、回転角度を変更する。例えば、レンズが魚眼レンズである場合に、式１６または式１７により算出された回転角度の正弦および余弦が供給される。一方、レンズが魚眼レンズでない場合には、「０」度の角度が設定され、正弦として「１」が、余弦として「０」が供給される。
【０１２７】
なお、読出座標出力部３００は、中心射影画像に対する歪補正を行っているが、中心射影画像が入力された際には、歪補正を行わず、読出座標をそのまま出力画像として出力してもよい。この場合には、中心射影画像歪補正テーブル２６０は設けられず、画像変換部１６０は、実質的に画像変換を行わない。
【０１２８】
このように、第４の実施の形態によれば、撮像装置１００は、入力画像が魚眼画像であるか否かを判断して、魚眼画像であれば中心射影画像に変換するため、魚眼画像以外の入力画像に対しても画像処理を行うことができる。
【０１２９】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１３０】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１３１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【０１３２】
なお、本技術は以下のような構成もとることができる。
（１）中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する画像処理装置。
（２）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標を中心として前記特定座標を回転させた座標を前記補間座標として補間する
前記（１）記載の画像処理装置。
（３）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標と前記特定座標とを結ぶ線分上の座標を前記補間座標として補間して当該補間座標を前記所定の座標を中心として回転させた座標を新たな前記補間座標として補間する
前記（１）または（２）に記載の画像処理装置。
（４）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、２つの前記特定座標を結ぶ線分上の座標を前記補間座標として補間する
前記（１）に記載の画像処理装置。
（５）前記特定座標は、前記非中心射影画像において面積の異なる複数の前記閉曲線のそれぞれを分割した分割点の座標である
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記特定座標は、前記閉曲線の面積が小さいほど少ない分割数により前記閉曲線のそれぞれを分割した分割点の座標である
前記（５）記載の画像処理装置。
（７）前記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を前記座標取得部および前記補間部に入力する透視射影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、
前記透視射影変換部は、前記回転された座標に対して前記透視射影変換を行う
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）前記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を前記座標取得部および前記補間部に入力する円筒投影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）記載の画像処理装置。
（１０）撮像された画像が前記一方の画像であるか否かを判断して前記一方の画像である場合には前記一方の座標を前記座標取得部および前記補間部に入力する判断部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、
前記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた前記中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する撮像装置。
（１２）座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
を具備する画像処理方法。
（１３）座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１３３】
１００  撮像装置
１１０  魚眼レンズ
１２０  撮像素子
１３０  入力信号処理部
１４０  フレームメモリ
１５０  制御部
１６０  画像変換部
１７０  画素補間部
１８０  出力信号処理部
１９０  記録部
２００  座標変換部
２１０、２１１  座標正規化部
２２０  出力座標回転行列演算部
２３０  透視射影変換部
２４０  魚眼画像歪補正テーブル
２５０  パノラマ座標変換部
２６０  中心射影画像歪補正テーブル
３００  読出座標出力部
３１０  切替器
３２０  直交座標取得部
３３０  座標補間部
３３１  回転後線形補間部
３３２  回転後補間係数演算部
３３３  回転前線形補間部
３３４  回転前補間係数演算部
３３５  回転角度演算部
３４０  読出座標回転行列演算部
３４１、３４２、３４３、３４４  乗算器
３４５  減算器
３４６  加算器
４００  交換レンズユニット
【図１】
2015215817.tif 000012
【図２】
2015215817.tif 000013
【図３】
2015215817.tif 000014
【図４】
2015215817.tif 000015
【図５】
2015215817.tif 000016
【図６】
2015215817.tif 000017
【図７】
2015215817.tif 000018
【図８】
2015215817.tif 000019
【図９】
2015215817.tif 000020
【図１０】
2015215817.tif 000021
【図１１】
2015215817.tif 000022
【図１２】
2015215817.tif 000023
【図１３】
2015215817.tif 000024
【図１４】
2015215817.tif 000025
【図１５】
2015215817.tif 000026
【図１６】
2015215817.tif 000027
【図１７】
2015215817.tif 000028
【図１８】
2015215817.tif 000029
【図１９】
2015215817.tif 000030
【図２０】
2015215817.tif 000031
【図２１】
2015215817.tif 000032
【図２２】
2015215817.tif 000033
【図２３】
2015215817.tif 000034
【図２４】
2015215817.tif 000035