(57)【要約】【課題】視点変換演算に必要なメモリの容量を削減できる映像変換装置を提供する。【解決手段】映像変換装置は、入力映像の視点を変換する映像変換装置であって、入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、映像出力用視点変換テーブルに基づいて、入力映像を変換して視点変換映像を生成する視点変換部と、を備える。【選択図】  図１
2018160868.tif 000002
【特許請求の範囲】
【請求項１】
入力映像の視点を変換する映像変換装置であって、
前記入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、
前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成する視点変換部と、
を備えた映像変換装置。
【請求項２】
前記映像出力用視点変換テーブルは、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルであり、
前記視点変換部は、前記座標テーブルに従って、前記視点変換映像の各座標について前記入力映像の画素値を参照することで前記視点変換映像を生成する、
請求項１に記載の映像変換装置。
【請求項３】
一の仮想回転角に対応する補正用視点変換テーブルは、該仮想回転角で視点を回転させたときの視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルの理想値を、該仮想回転角の回転に対応する射影変換行列の逆行列で射影変換して生成される座標テーブルである、
請求項１または２に記載の映像変換装置。
【請求項４】
前記仮想回転角は、パン成分およびチルト成分から構成される、
請求項１〜３のいずれかに記載の映像変換装置。
【請求項５】
前記記憶部は、｛−Ａ，０，＋Ａ｝から選択されるパン角と、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角との組み合わせからなる９通りの仮想回転角（ただし、Ａ、Ｂはいずれも正の数）にそれぞれ対応する９通りの補正用視点変換テーブルを記憶する、
請求項４に記載の映像変換装置。
【請求項６】
レンズを通った光を撮像素子により電気信号に変換して前記入力映像を生成するカメラ部と、
請求項１〜５のいずれかに記載の映像変換装置と、
を備えた撮像装置。
【請求項７】
前記レンズは、魚眼レンズである、
請求項６に記載の撮像装置。
【請求項８】
前記カメラ部は、車両周辺を撮影して前記入力映像を生成する、
請求項６または７に記載の撮像装置。
【請求項９】
入力映像の視点を変換する処理をコンピュータに実行させる映像変換プログラムであって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
をコンピュータに実行させる映像変換プログラム。
【請求項１０】
請求項９に記載の映像変換プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１１】
入力映像の視点を変換する映像変換方法であって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
を備えた映像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像の視点を変換する映像変換装置およびその映像変換装置を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、車両周辺の状況を撮影する車載カメラの利用が拡大している。このような車載カメラは、自動車の安全運転を支援するために、運転手から死角となる場所を撮影する。カメラの映像を車内のモニタに表示することで、運転手は、車両周辺の様子を確認しながら運転できる。この際、カメラからの入力映像に対して視点変換をすることで、任意の視点から車両周辺を見た映像を生成するとともに、運転状況に応じて運転手が必要とする視点の映像をその都度提示することが行われる（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１２１１１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
図８は、従来の車載カメラにおける映像変換処理を示すフローチャートである。図８に示すように、従来の車載カメラでは、まずカメラ部により車両周辺が撮影されることで入力映像が生成され（ステップＳ１１１）、生成された入力映像がフレームメモリに一次記憶される（ステップＳ１１２）。そして、入力映像に対してレンズ歪を除去する操作が行われ、歪みのない補正映像が作成され（ステップＳ１１３）、作成された補正映像がフレームメモリに一次記憶される（ステップＳ１１４）。そして、補正映像に対して視点変換操作（すなわち、カメラを向けたい方向への射影変換および見やすくするためのワイド、ナローといった歪の付加）が行われ、視点変換映像が生成され（ステップＳ１１５）、生成された視点変換映像がフレームメモリに一次記憶される（ステップＳ１１６）。その後、視点変換映像が液晶ディスプレイなどに出力される（ステップＳ１１７）。
【０００５】
ところで、このような車載カメラにおいて、複数のカメラを用いると台数に応じてコストが嵩むことから、一台のカメラでより広い範囲の映像を取得するために、魚眼レンズを使用したカメラの利用が望まれている。しかしながら、上記した従来の映像変換処理では、ステップＳ１１３において一度歪のない映像を作成することから、魚眼レンズを使用する場合には過大なコストがかかってしまう。
【０００６】
すなわち、たとえば画角１８０°の映像に対して歪を除去する場合、歪のない映像では、像高ｒと半画角θとの関係が焦点距離ｆを用いてｒ＝ｆｔａｎθという関係が成り立つが、半画角θが９０°付近では上記関係式に当てはめると像高ｒが無限大になってしまう。したがって、ステップＳ１１４において半画角θが９０°付近の位置の歪のない映像を保持するには、膨大な容量のメモリが必要になる。
【０００７】
本発明は、このような点を考慮して創案されたものである。本発明の目的は、視点変換演算に必要なメモリの容量を削減できる技術を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一側面に係る映像変換装置は、
入力映像の視点を変換する映像変換装置であって、
前記入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、
前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成する視点変換部と、
を備える。
【発明の効果】
【０００９】
本発明によれば、視点変換演算に必要なメモリの容量を削減できる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係る撮像装置の構成を示すブロック図
【図２】第１の実施形態に係る撮像装置の動作を示すフローチャート
【図３】第１の実施形態に係る撮像装置による視点変換操作を示すフローチャート
【図４】第１の実施形態に係る撮像装置の記憶部に記憶された補正用視点変換テーブルの算出方法を示すフローチャート
【図５】（ａ）入力映像を示す図  （ｂ）視点変換映像を示す図  （ｃ）座標テーブルを示す図
【図６】複数の仮想回転角を説明する図
【図７】（ａ）仮想回転角Ｒ１に対応する座標テーブルを示す図  （ｂ）仮想回転角Ｒ３に対応する座標テーブルを示す図  （ｃ）仮想回転角Ｒ１とＲ３との間の回転角Ｒに対応する補間座標テーブルを示す図
【図８】従来の車載カメラにおける映像変換処理を示すフローチャート
【発明を実施するための形態】
【００１１】
実施形態の第１の態様に係る映像変換装置は、
入力映像の視点を変換する映像変換装置であって、
前記入力映像の視点から視点を回転させる際の回転角を入手する回転角入手部と、
前記回転角の回転に対応する射影変換行列を算出する射影変換行列算出部と、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成する補正用視点変換テーブル生成部と、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成する映像出力用視点変換テーブル生成部と、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成する視点変換部と、
を備える。
【００１２】
このような態様によれば、入力映像に対して歪を補正した補正映像を作成してメモリに一次記憶させ該補正映像に対して視点変換操作を行うのではなく、視点を回転させたときに生じる歪の誤差込みの映像出力用視点変換テーブルを用意し、該映像出力用視点変換テーブルに基づいて入力映像に対して視点変換操作を行うので、視点変換演算に必要なメモリの容量を削減できる。
【００１３】
実施形態の第２の態様に係る映像変換装置は、第１の態様に係る映像変換装置であって、
前記映像出力用視点変換テーブルは、前記視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルであり、
前記視点変換部は、前記座標テーブルに従って、前記視点変換映像の各座標について前記入力映像の画素値を参照することで前記視点変換映像を生成する。
【００１４】
実施形態の第３の態様に係る映像変換装置は、第１または２の態様に係る映像変換装置であって、
一の仮想回転角に対応する補正用視点変換テーブルは、該仮想回転角で視点を回転させたときの視点変換映像の各座標について、前記視点変換部が該視点変換映像を生成する際に参照すべき前記入力映像の座標が記述された座標テーブルの理想値を、該仮想回転角の回転に対応する射影変換行列の逆行列で射影変換して生成される座標テーブルである。
【００１５】
実施形態の第４の態様に係る映像変換装置は、第１〜３のいずれかの態様に係る映像変換装置であって、
前記仮想回転角は、パン成分およびチルト成分から構成される。
【００１６】
実施形態の第５の態様に係る映像変換装置は、第４の態様に係る映像変換装置であって、
前記記憶部は、｛−Ａ，０，＋Ａ｝から選択されるパン角と、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角との組み合わせからなる９通りの仮想回転角（ただし、Ａ、Ｂはいずれも正の数）にそれぞれ対応する９通りの補正用視点変換テーブルを記憶する。
【００１７】
実施形態の第６の態様に係る撮像装置は、
レンズを通った光を撮像素子により電気信号に変換して前記入力映像を生成するカメラ部と、
第１〜５のいずれかの態様に係る映像変換装置と、
を備える。
【００１８】
実施形態の第７の態様に係る撮像装置は、第６の態様に係る撮像装置であって、
前記レンズは、魚眼レンズである。
【００１９】
実施形態の第８の態様に係る撮像装置は、第６または７の態様に係る撮像装置であって、
前記カメラ部は、車両周辺を撮影して前記入力映像を生成する。
【００２０】
実施形態の第９の態様に係る映像変換プログラムは、
入力映像の視点を変換する処理をコンピュータに実行させる映像変換プログラムであって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
をコンピュータに実行させる。
【００２１】
実施形態の第１０の態様に係る記録媒体は、第９の態様に係る映像変換プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２２】
実施形態の第１１の態様に係る映像変換方法は、
入力映像の視点を変換する映像変換方法であって、
前記入力映像の視点から視点を回転させる際の回転角を入手するステップと、
前記回転角の回転に対応する射影変換行列を算出するステップと、
記憶部に記憶された、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルの間を補間して、前記回転角に対応する補正用視点変換テーブルを生成するステップと、
前記回転角に対応する補正用視点変換テーブルを、前記回転角の回転に対応する射影変換行列で射影変換して、映像出力用視点変換テーブルを生成するステップと、
前記映像出力用視点変換テーブルに基づいて、前記入力映像を変換して視点変換映像を生成するステップと、
を備える。
【００２３】
本明細書中において、映像について「視点」というときは、当該映像がカメラで撮影されたと想定したときのそのカメラの位置および角度を含み、さらにカメラの画角（映像の拡大縮小率）を含んでもよい。
【００２４】
以下に、添付の図面を参照して、実施の形態の具体例を詳細に説明する。なお、各図において同等の機能を有する構成要素には同一の符号を付し、同一符号の構成要素の詳しい説明は繰り返さない。
【００２５】
（撮像装置の構成）
図１は、第１の実施形態に係る撮像装置１の構成を示すブロック図である。
【００２６】
図１に示すように、撮像装置１は、カメラ部１０と、映像変換装置の一例である映像変換部２０と、フレームメモリ３０と、出力部４０と、を有している。まず、撮像装置１の構成要素のうち、映像変換部２０以外の構成要素、すなわち、カメラ部１０、フレームメモリ３０、出力部４０について説明する。
【００２７】
カメラ部１０は、たとえば車両の後部や前部、サイドミラーなどに取り付けられる車載カメラであり、車両周辺を撮影することで入力映像を生成する。カメラ部１０は、レンズ１１と、撮像素子１２と、を有している。
【００２８】
レンズ１１は、被写体からの光を撮像素子１２に結像する。本実施の形態では、レンズ１１として、魚眼レンズ（超広角レンズともいう）が用いられる。この場合、一台のカメラでより広い範囲の映像を取得することができる。魚眼レンズの画角は、１４０°以上であってもよいし、１８０°以上であってもよいし、２００°以上であってもよい。
【００２９】
撮像素子１２は、レンズ１１により結像した像を電気信号に変換して入力映像を生成する。撮像素子１２としては、たとえば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型イメージセンサやＣＭＯＳ（Ｃｏｍｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサなどの固体撮像素子が用いられる。
【００３０】
フレームメモリ３０は、カメラ部１０により生成された入力映像を１フレーム分記憶し、映像変換部２０に入力映像を出力するとともに、映像変換部２０により生成される視点変換映像を１フレーム分記憶し、出力部４０に視点変換映像を出力する。
【００３１】
出力部４０は、液晶ディスプレイなどの映像表示手段（図示しない）に対するインターフェースであり、フレームメモリ３０に一次記憶された視点変換映像を該映像表示手段に出力する。
【００３２】
次に、映像変換部２０について説明する。
【００３３】
図１に示すように、映像変換部２０は、回転角入手部２１と、射影変換行列算出部２２と、補正用視点変換テーブル生成部２３と、映像出力用視点変換テーブル生成部２４と、視点変換部２５と、記憶部２６とを有している。
【００３４】
回転角入手部２１は、入力映像の視点から視点を回転させる際の回転角Ｒ（パンθｘ、チルトθｙ、ロールθｚ）を入手する。たとえば、車体に対するカメラ部２０の取り付け位置の誤差角度が、工場出荷前に予め測定されて図示しない記憶媒体に予め記憶されており、回転角入手部１２は、車体に対するカメラ部２０の取り付け位置の誤差角度を、回転角Ｒとして該記憶媒体から入手してもよい。また、カメラを向けたい方向がユーザにより図示しない入力部を介して入力された場合には、回転角入手部１２は、ユーザにより入力されたカメラの向きに対応する角度を、回転角Ｒとして該入力部から入手してもよい。
【００３５】
射影変換行列算出部２２は、回転角入手部２１が入手した回転角Ｒの回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）を算出する。ここで、回転角Ｒ（パンθｘ、チルトθｙ、ロールθｚ）の回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）は、下式（１）により規定される。
【数１】
2018160868.tif 000003
【００３６】
記憶部２６には、複数の仮想回転角にそれぞれ対応する複数の補正用視点変換テーブルＰａｏが予め算出されて記憶されている。
【００３７】
本実施の形態では、図６に示すように、記憶部２６には、｛−Ａ，０，＋Ａ｝から選択されるパン角θｘと、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角θｙとの組み合わせからなる９通りの仮想回転角Ｒ１（０，０）、Ｒ２（＋Ａ，０）、Ｒ３（＋Ａ，＋Ｂ）、Ｒ４（０，＋Ｂ）、Ｒ５（−Ａ，＋Ｂ）、Ｒ６（−Ａ，０）、Ｒ７（−Ａ，−Ｂ）、Ｒ８（０，−Ｂ）、Ｒ９（＋Ａ，−Ｂ）（ただし、Ａ、Ｂはいずれも正の数）にそれぞれ対応する、９通りの補正用視点変換テーブルＰａｏ（Ｒ１）…Ｐａｏ（Ｒ９）が記憶されている。なお、Ａ，Ｂは、設計時に予想される回転角の最大値であり、たとえば、回転角Ｒが取付位置の誤差角度の場合には、Ａ，Ｂはいずれも５°程度であればよい。
【００３８】
ここで、一の仮想回転角Ｒｍ（ｍ＝１〜９）に対応する補正用視点変換テーブルＰａｏ（Ｒｍ）とは、該仮想回転角Ｒｍで視点を回転させたときの視点変換映像（図５（ｂ）参照）の各座標（ｘ，ｙ）について、後述する視点変換部２５が該視点変換映像を生成する際に参照すべき入力映像（図５（ａ）参照）の座標（ｘ’，ｙ’）が記述された座標テーブル（図５（ｃ）参照）の理想値Ｐａ（Ｒｍ）を、該仮想回転角Ｒｍの回転に対応する射影変換行列Ｒｘｙｚ（Ｒｍ）の逆行列で射影変換して生成される座標テーブルである（Ｐａｏ（Ｒｍ）＝Ｒｘｙｚ（Ｒｍ）-1Ｐａ（Ｒｍ））。補正用視点変換テーブルＰａｏの算出方法および座標テーブルの理想値Ｐａの算出方法については、後述する。
【００３９】
本実施の形態では、カメラ部１０のレンズ１１に魚眼レンズが使用されているため、カメラ部１０のロール方向の回転θｚに対して、入力映像におけるレンズ歪は一定である。そのため、記憶部２６では、ロール角θｚは無視して、パン角θｘとチルト角θｙとの組み合わせからなる複数の仮想回転角Ｒにそれぞれ対応する複数の補正用視点変換テーブルＰａｏが記憶されている。カメラ部１０のレンズ１１として、カメラ部１０のロール方向の回転θｚに対して、入力映像におけるレンズ歪が変化するレンズが使用される場合には、記憶部２６には、パン角θｘとチルト角θｙとロール角θｚとの組み合わせからなる複数の仮想回転角Ｒにそれぞれ対応する複数の補正用視点変換テーブルＰａｏが記憶されていればよい。
【００４０】
補正用視点変換テーブル生成部２３は、記憶部２６に記憶された、複数の仮想回転角Ｒ１…Ｒ９）にそれぞれ対応する複数の補正用視点変換テーブルＰａｏ（Ｒ１）…Ｐａｏ（Ｒ９）の間を補間して、回転角入手部２１が入手した回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を生成する。
【００４１】
たとえば、回転角入手部２１が入手した回転角Ｒが（＋Ａ／３，＋Ｂ／３）の場合（図６参照）、補正用視点変換テーブル生成部２３は、仮想回転角Ｒ１（０，０）に対応する補正用視点変換テーブルＰａｏ（Ｒ１）（図７（ａ）参照）と、仮想回転角Ｒ３（＋Ａ，＋Ｂ）に対応する補正用視点変換テーブルＰａｏ（Ｒ２）（図７（ｂ）参照）との間を線形補間して、回転角Ｒ（＋Ａ／３，＋Ｂ／３）に対応する補正用視点変換テーブルＰａｏ（Ｒ）（図７（ｃ）参照）を生成する。
【００４２】
より詳しくは、仮想回転角Ｒ１（０，０）に対応する補正用視点変換テーブルＰａｏ（Ｒ１）のある座標の参照座標値が（ｘ１、ｙ１）であり、仮想回転角Ｒ１（０，０）に対応する補正用視点変換テーブルＰａｏ（Ｒ１）の同じ座標の参照座標値が（ｘ２、ｙ２）である場合、補正用視点変換テーブル生成部２３は、回転角Ｒ（＋Ａ／３，＋Ｂ／３）に対応する補正用視点変換テーブルＰａｏ（Ｒ）の同じ座標の参照座標値を（ｘ１＋（ｘ２−ｘ１）／３，ｙ１＋（ｙ２−ｙ１）／３）により算出する。補正用視点変換テーブル生成部２３は、補正用視点変換テーブルＰａｏの各座標について同様の計算を実行することで、回転角Ｒ（＋Ａ／３，＋Ｂ／３）に対応する補正用視点変換テーブルＰａｏ（Ｒ）を生成する。
【００４３】
映像出力用視点変換テーブル生成部２４は、回転角入手部２１が入手した回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を、回転角入手部２１が入手した回転角の回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）で射影変換して、映像出力用視点変換テーブルＰを生成する（Ｐ＝Ｒｘｙｚ（Ｒ）Ｐａｏ（Ｒ））。
【００４４】
ここで、映像出力用視点変換テーブルＰとは、視点変換映像（図５（ｂ）参照）の各座標について、後述する視点変換部２５が該視点変換映像を生成する際に参照すべき入力映像（図５（ａ）参照）の座標が記述された座標テーブル（図５（ｃ）参照）である。
【００４５】
視点変換部２５は、映像出力用視点変換テーブルＰに基づいて、入力映像を変換して視点変換映像を生成する。より詳しくは、視点変換部２５は、映像出力用視点変換テーブルＰ（図５（ｃ）参照）に従って、視点変換映像（図５（ｂ）参照）の各座標について入力映像（図５（ａ）参照）の画素値を参照することで、視点変換映像を生成する。
【００４６】
（撮像装置の動作）
次に、図２および図３を参照し、第１の実施形態に係る撮像装置１の動作について説明する。図２は、第１の実施形態に係る撮像装置１の動作を示すフローチャートである。図３は、第１の実施形態に係る撮像装置１による視点変換操作を示すフローチャートである。
【００４７】
図２に示すように、まず、カメラ部１１により被写体（たとえば車両周辺）が撮影され、入力映像が生成される（ステップＳ１１）。生成された入力映像は、フレームメモリ３０に一次記憶される（ステップＳ１２）。
【００４８】
次に、映像変換部２０により入力映像に対して視点変換操作が行われ、視点変換映像が生成される（ステップＳ１３）。
【００４９】
より詳しくは、図３に示すように、回転角入手部２１が、入力映像の視点から視点を回転させる際の回転角Ｒ（パンθｘ、チルトθｙ、ロールθｚ）を入手する（ステップＳ２１）。
【００５０】
次に、射影変換行列算出部２２が、回転角入手部２１により入手された回転角Ｒの回転に対応する射影変換行列Ｒｘｙｚ（Ｒ）を算出する（ステップＳ２２）。
【００５１】
また、補正用視点変換テーブル生成部２３が、記憶部２６に記憶された、複数の仮想回転角Ｒ１…Ｒ９にそれぞれ対応する複数の補正用視点変換テーブルＰａｏ（Ｒ１）…Ｐａｏ（Ｒ９）の間を補間して、回転角入手部２１により入手された回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を生成する（ステップＳ２３）。
【００５２】
次に、映像出力用視点変換テーブル生成部２４が、補正用視点変換テーブル生成部２３により生成された、回転角Ｒに対応する補正用視点変換テーブルＰａｏ（Ｒ）を、射影変換行列算出部２２により算出された、回転角Ｒの回転に対応する射影変換行列Ｒｘｙｚで射影変換して、映像出力用視点変換テーブルＰを生成する（ステップＳ２４）。
【００５３】
次に、視点変換部２５が、映像出力用視点変換テーブル生成部２４により生成された映像出力用視点変換テーブルＰに基づいて、入力映像を変換して視点変換映像を生成する（ステップＳ２５）。より詳しくは、視点変換部２５は、映像出力用視点変換テーブルＰ（図５（ｃ）参照）に従って、視点変換映像（図５（ｂ）参照）の各座標について入力映像（図５（ａ）参照）の画素値を参照することで、視点変換映像を生成する。
【００５４】
次に、図１に示すように、生成された視点変換映像が、フレームメモリ３０に一次記憶される（ステップＳ１４）。その後、出力部４０により、視点変換映像が液晶ディスプレイなどの映像表示手段に出力される（ステップＳ１５）。
【００５５】
ところで、上記したように従来の車載カメラでは、図８を参照し、カメラ部により生成された入力映像に対してレンズ歪を除去する操作が行われ、歪みのない補正映像が作成され（ステップＳ１１３）、作成された補正映像がフレームメモリに一次記憶されたのち（ステップＳ１１４）、補正映像に対して視点変換操作が行われることで、視点変換映像が生成される（ステップＳ１１５）。ここで、ステップＳ１１３において一度歪のない映像を作成することから、魚眼レンズを使用する場合には過大なコストがかかってしまう。すなわち、たとえば画角１８０°の映像に対して歪を除去する場合、歪のない映像では、像高ｒと半画角θとの関係が焦点距離ｆを用いてｒ＝ｆｔａｎθという関係が成り立つが、半画角θが９０°付近では上記関係式に当てはめると像高ｒが無限大になってしまう。したがって、ステップＳ１１４において半画角θが９０°付近の位置の歪のない映像を保持するには、膨大な容量のメモリが必要になる。
【００５６】
これに対し、本実施の形態によれば、入力映像に対して歪を補正した補正映像を作成してメモリに一次記憶させ該補正映像に対して視点変換操作を行うのではなく、視点を回転させたときに生じる歪の誤差込みの映像出力用視点変換テーブルＰを用意し（ステップＳ２１〜Ｓ２４）、該映像出力用視点変換テーブルＰに基づいて入力映像に対して視点変換操作を行うので（ステップＳ２５）、視点変換演算に必要なメモリの容量を大幅に削減することができる。
【００５７】
（補正用視点変換テーブルＰａｏの算出）
次に、図４を参照し、記憶部２６に記憶される、複数の仮想回転角Ｒｍにそれぞれ対応する複数の補正用視点変換テーブルＰａｏ（Ｒｍ）の算出方法を説明する。なお、以下の説明では、補正用視点変換テーブルＰａｏ（Ｒｍ）がコンピュータにより自動的に算出される方法を説明するが、該方法の一部または全部は作業者により手動で行われてもよい。
【００５８】
まず、コンピュータは、視点の回転無しの視点変換テーブル（すなわち、ワイド、ナローといった画角変換のみを行う際の視点変換テーブル）を入手する（ステップＳ３１）。
【００５９】
次に、コンピュータは、対象とする仮想回転角Ｒｍを選択する（ステップＳ３２）。たとえば、コンピュータは、｛−Ａ，０，＋Ａ｝から選択されるパン角θｘと、｛−Ｂ，０，＋Ｂ｝から選択されるチルト角θｙとの組み合わせからなる９通りの仮想回転角Ｒ１（０，０）、Ｒ２（＋Ａ，０）、Ｒ３（＋Ａ，＋Ｂ）、Ｒ４（０，＋Ｂ）、Ｒ５（−Ａ，＋Ｂ）、Ｒ６（−Ａ，０）、Ｒ７（−Ａ，−Ｂ）、Ｒ８（０，−Ｂ）、Ｒ９（＋Ａ，−Ｂ）（ただし、Ａ、Ｂはいずれも正の数）から、１つの仮想回転角Ｒｍを選択する。
【００６０】
次に、コンピュータは、選択した仮想回転角Ｒｍに対応する射影変換行列Ｒｘｙｚ（Ｒｍ）を算出する（ステップＳ３３）。
【００６１】
次に、コンピュータは、後述する視点変換テーブルの理想値Ｐａの算出方法に従って、選択した仮想回転角Ｒｍで視点を回転したときの視点変換テーブルの理想値Ｐａ（Ｒｍ）を算出する（ステップＳ３４）。
【００６２】
次に、コンピュータは、算出した視点変換テーブルの理想値（Ｒｍ）を、算出した射影変換行列Ｒｘｙｚ（Ｒｍ）の逆行列で射影変換することで、選択した仮想回転角Ｒｍに対応する補正用視点変換テーブルＰａｏ（Ｒｍ）を生成する（Ｐａｏ（Ｒｍ）＝Ｒｘｙｚ（Ｒｍ）-1Ｐａ（Ｒｍ））（ステップＳ３５）。生成された補正用視点変換テーブルＰａｏ（Ｒｍ）は、対応する仮想回転角Ｒｍに紐づけられた態様で記憶部２６に記憶される。
【００６３】
次に、コンピュータは、９通りの仮想回転角Ｒ１…Ｒ９の中に未選択の仮想回転角Ｒｍ（すなわち、対応する補正用視点変換テーブルＰａｏがまだ生成されていない仮想回転角Ｒｍ）があるか否かを判断する（ステップＳ３６）。
【００６４】
未選択の仮想回転角Ｒｍがあると判断された場合には、コンピュータは、ステップＳ３２から処理をやり直す（ステップＳ３６：ＹＥＳ）。一方、未選択の仮想回転角Ｒｍが無いと判断された場合には、コンピュータは、補正用視点変換テーブルＰａｏ（Ｒｍ）の算出に係る処理を終了する。
【００６５】
（視点変換テーブルの理想値Ｐａの算出）
次に、視点変換テーブルの理想値Ｐａを算出する方法について説明する。
【００６６】
まず、撮像画像上の座標（ｘｓ，ｙｓ）を、一度レンズの中心から一定の距離にある三次元上の点（ｘｃ，ｙｃ，ｚｃ）（すなわち球面上の点）に投影してから、回転を加える。
【００６７】
すなわち、レンズ歪は、テーブルを使って算出してもよいが、ここではレンズが、半画角θ、像高ｒのときにｒ＝ｆθ（ｆは焦点距離）となる歪を持っているとすると、像高ｒは、下式（２）から算出できるので、半画角θは、下式（３）になる。
【数２】
2018160868.tif 000004
【数３】
2018160868.tif 000005
【００６８】
また、撮像画像上の座標（ｘｓ，ｙｓ）の回転角φは、下式（４）で表現できるので、下式（５）から回転角φを算出できる。
【数４】
2018160868.tif 000006
【数５】
2018160868.tif 000007
【００６９】
これら、半画角θ、回転角φの方向にある、レンズ中心からの距離１の三次元上の座標（ｘｃ，ｙｃ，ｚｃ）は、下式（６）から算出できる。
【数６】
2018160868.tif 000008
【００７０】
三次元上の座標（ｘｃ，ｙｃ，ｚｃ）を回転行列Ｒｘｙｚで回転させた後の座標（Ｘｃ，Ｙｃ，Ｚｃ）は、下式（７）になる。
【数７】
2018160868.tif 000009
【００７１】
回転後の座標（Ｘｃ，Ｙｃ，Ｚｃ）に対して、レンズ歪みを加えた撮像画像上の座標（Ｘｄ，Ｙｘ）を、以下の手順で算出する。これにより、レンズ歪を考慮した回転を行うことができる。
【００７２】
すなわち、回転後の座標（Ｘｃ，Ｙｃ，Ｚｃ）から、半画角θ、回転角φとすると、下式（８）および下式（９）が成り立つ。
【数８】
2018160868.tif 000010
【数９】
2018160868.tif 000011
【００７３】
よって、下式（１０）および下式（１１）が成り立つ。
【数１０】
2018160868.tif 000012
【数１１】
2018160868.tif 000013
【００７４】
レンズ歪の式ｒ＝ｆθから、レンズ歪を加えた撮像画像上の座標（Ｘｄ，Ｙｄ）は、下式（１２）から算出できる。
【数１２】
2018160868.tif 000014
【００７５】
上記手法により、撮像画像上の各座標（ｘｓ、ｙｓ）について、回転行列Ｒｘｙｚで視点を回転させた後の撮像画像上の座標（Ｘｄ，Ｙｄ）の理想値を求めることができる。したがって、視点変換映像の各座標（Ｘｄ，Ｙｄ）について、視点変換前の座標（ｘｓ，ｙｓ）を逆に求めることで、視点変換テーブルの理想値Ｐａが算出される。
【符号の説明】
【００７６】
１      撮像装置
１０    カメラ部
１１    レンズ
１２    撮像素子
２０    映像変換部
２１    回転角入手部
２２    射影変換行列算出部
２３    補正用視点変換テーブル生成部
２４    映像出力用視点変換テーブル生成部
２５    視点変換部
２６    記憶部
３０    フレームメモリ
４０    出力部
【図１】
2018160868.tif 000015
【図２】
2018160868.tif 000016
【図３】
2018160868.tif 000017
【図４】
2018160868.tif 000018
【図５】
2018160868.tif 000019
【図６】
2018160868.tif 000020
【図７】
2018160868.tif 000021
【図８】
2018160868.tif 000022