(57)【要約】【課題】  本発明では、生成された仮想視点画像をユーザの利便性を考慮して表示させる画像生成装置を提供する。【解決手段】  車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記車両の動作状況を検知する車両動作検知手段と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像の表示形態を制御する表示制御手段と、を備えることを特徴とする画像生成装置を用いることにより、上記の課題の解決を図る。【選択図】      図１
2005269010.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、
前記車両の動作状況を検知する車両動作検知手段と、
前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、
前記仮想視点画像の表示形態を制御する表示制御手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記表示制御手段は、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記表示制御手段は、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることを特徴とする請求項１に記載の画像生成装置。
【請求項４】
前記仮想視点設定手段は、当該死角情報として、前記車両に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記３次元空間における仮想視点を適応的に設定するように構成されたものであることを特徴とする請求項１に記載の画像生成装置。
【請求項５】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、
前記仮想視点画像を表示する表示手段と、
前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段と、
を備えることを特徴とする画像生成装置。
【請求項６】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、
前記仮想視点画像を表示する表示手段と、
前記仮想視点画像の表形態を制御して、乗車者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段と、
を備えることを特徴とする画像生成装置。
【請求項７】
前記表示制御手段により表示される前記仮想視点画像は、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることを特徴とする請求項４に記載の画像生成装置。
【請求項８】
前記表示制御手段は、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることを特徴とする請求項４に記載の画像生成装置。
【請求項９】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、
前記車両の動作状況を検知する車両動作検知処理と、
前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定処理と、
前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、
前記仮想視点画像を表示する表示処理と、
をコンピュータに実行させるための画像生成プログラム。
【請求項１０】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、
前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、
前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理と、
をコンピュータに実行させるための画像生成プログラム。
【請求項１１】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、
前記空間再構成処理によってマッピングされた空間データを参照して３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、
前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理と、
をコンピュータに実行させるための画像生成プログラム。
【請求項１２】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、
前記車両の動作状況を検知する車両動作検知工程と、
前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定工程と、
前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、
前記仮想視点画像を表示する表示工程と、
を行うことを特徴とする画像生成方法。
【請求項１３】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、
前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、
前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程と、
を行うことを特徴とする画像生成方法。
【請求項１４】
車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、
前記空間再構成工程によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、
前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程と、
を行うことを特徴とする画像生成方法。
【請求項１５】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、
前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知手段と、
前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、
前記仮想視点画像の表示形態を制御する表示制御手段と、
を備えることを特徴とする画像生成装置。
【請求項１６】
前記表示制御手段は、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることを特徴とする請求項１５に記載の画像生成装置。
【請求項１７】
前記表示制御手段は、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることを特徴とする請求項１５に記載の画像生成装置。
【請求項１８】
前記仮想視点設定手段は、当該死角情報として、前記撮像手段配置物体に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記３次元空間における仮想視点を適応的に設定するように構成されたものであることを特徴とする請求項１に記載の画像生成装置。
【請求項１９】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、
前記仮想視点画像を表示する表示手段と、
前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段と、
を備えることを特徴とする画像生成装置。
【請求項２０】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、
前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、
前記仮想視点画像を表示する表示手段と、
前記仮想視点画像の表形態を制御して、観察者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段と、
を備えることを特徴とする画像生成装置。
【請求項２１】
前記表示制御手段により表示される前記仮想視点画像は、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることを特徴とする請求項２０に記載の画像生成装置。
【請求項２２】
前記表示制御手段は、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることを特徴とする請求項２０に記載の画像生成装置。
【請求項２３】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、
前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知処理と、
前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて前記３次元空間における仮想視点を設定する仮想視点設定処理と、
前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、
前記仮想視点画像を表示する表示処理と、
をコンピュータに実行させるための画像生成プログラム。
【請求項２４】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、
前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、
前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理と、
をコンピュータに実行させるための画像生成プログラム。
【請求項２５】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、
前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、
前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理と、
をコンピュータに実行させるための画像生成プログラム。
【請求項２６】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、
前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知工程と、
前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定工程と、
前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、
前記仮想視点画像を表示する表示工程と、
を行うことを特徴とする画像生成方法。
【請求項２７】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、
前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、
前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程と、
を行うことを特徴とする画像生成方法。
【請求項２８】
撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、
前記空間再構成工程によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、
前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程と、
を行うことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１台乃至数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、前記１台乃至数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示する装置および方法に関し、たとえば、店舗におけるモニタ装置、あるいは車両運転の際の安全確認の補助としての車両周囲モニタ装置等に応用して好適な技術に関する。
【背景技術】
【０００２】
近年、複数のカメラで撮影した画像を見やすく表示する画像生成装置が開示されている（例えば、特許文献１。）。この特許文献１では、複数のカメラで撮影した領域（例えば、車両近辺）の画像を連続的な１枚の画像として合成し、その合成した画像を表示させる画像生成装置を開示している。
【０００３】
また、特許文献１では、予め適当に設定した空間モデル、もしくは、障害物検知手段によって検知された車両周囲の障害物までの距離に応じて設定される空間モデルが、空間モデル作成手段によって作成される。画像入力手段により車両に設置されたカメラから入力された車両周囲の画像は、マッピング手段によって前記空間モデルにマッピングされる。つづいて、視点変換手段にて決められた視点から見た一枚の画像をマッピングされた画像から合成し、表示手段にて表示する。
【０００４】
このようにすることで、車両に設置された装置では、車両の全周囲にわたって車両近辺にどのような物体が存在するかを出来るだけ現実に近いように分かり易く一枚の画像として合成し、運転者にその画像を提供することができる。また、この際、視点変換手段により、運転者の所望の視点からの画像を表示させることが可能である。
【特許文献１】特許第３２８６３０６号公報
【特許文献２】特開平０５−２６５５４７号公報
【特許文献３】特開平０６−２６６８２８号公報
【非特許文献１】富田文明，「高機能３次元視覚システム」，情報処理，情報処理学会発行，第４２巻，第４号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献１では、複数のカメラで撮影した領域（例えば、車両近辺）の画像を連続的な１枚の画像として合成し、その合成した画像を仮想の３次元空間モデルにマッピングして、そのマッピングしたデータを仮想的に３次元上で視点を変えた画像（仮想視点画像）をどのようにして生成するかに主題をおいた技術であり、その表示の方法や表示形態等についてユーザインターフェースにおける利便性を向上させるということについては十分に具体的な提案をするものではない。
【０００６】
上記の課題に鑑み、本発明では、仮想視点画像をユーザの利便性を考慮して表示させる画像生成装置を提供する。
【課題を解決するための手段】
【０００７】
上記課題は、特許請求の範囲の請求項１に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記車両の動作状況を検知する車両動作検知手段と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像の表示形態を制御する表示制御手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。
【０００８】
このように構成することによって、車両の動作状況に応じて運転者の死角となる部分の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記表示制御手段は、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。
【０００９】
このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記表示制御手段は、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。
【００１０】
このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記仮想視点設定手段は、当該死角情報として、前記車両に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記３次元空間における仮想視点を適応的に設定するように構成されたものであることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。
【００１１】
このように構成することによって、操作に応じて変化する死角の発生傾向に応じて、仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項５に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。
【００１２】
このように構成することによって、運転者の死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。
上記課題は、特許請求の範囲の請求項６に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表形態を制御して、乗車者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。
【００１３】
このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。
上記課題は、特許請求の範囲の請求項７に記載の発明によれば、前記表示制御手段により表示される前記仮想視点画像は、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることを特徴とする請求項４に記載の画像生成装置を提供することによって達成できる。
【００１４】
このように構成することによって、本来死角となって見通し不能な景観の仮想視点画像とそうでない景観の仮想視点画像とを区別することができる。
上記課題は、特許請求の範囲の請求項８に記載の発明によれば、前記表示制御手段は、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることを特徴とする請求項４に記載の画像生成装置を提供することによって達成できる。
【００１５】
このように構成することによって、凸面ミラー効果を持たせることができる。
上記課題は、特許請求の範囲の請求項９に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記車両の動作状況を検知する車両動作検知処理と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定処理と、前記空間再構成処理によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像を表示する表示処理と、をコンピュータに実行させるための画像生成プログラムを提供することによって達成できる。
【００１６】
このように構成することによって、車両の動作状況に応じて運転者の死角となる部分の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理と、をコンピュータに実行させるための画像生成プログラムを提供することによって達成できる。
【００１７】
このように構成することによって、運転者の死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。
上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理と、をコンピュータに実行させるための画像生成プログラムを提供することによって達成できる。
【００１８】
このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。
上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記車両の動作状況を検知する車両動作検知工程と、前記検知の結果に基づいて、前記車両に乗車する乗車者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像を表示する表示工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。
【００１９】
このように構成することによって、車両の動作状況に応じて運転者の死角となる部分の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表示形態を制御して、前記車両内にあって乗車者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。
【００２０】
このように構成することによって、運転者の死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。
上記課題は、特許請求の範囲の請求項１４に記載の発明によれば、車両に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表形態を制御して、乗車者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記乗車者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。
【００２１】
このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。
上記課題は、特許請求の範囲の請求項１５に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知手段と、前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定手段と、前記空間再構成手段によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像の表示形態を制御する表示制御手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。
【００２２】
このように構成することによって、撮像手段配置物体の動作状況に応じてユーザの死角となる部分の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項１６に記載の発明によれば、前記表示制御手段は、前記死角となる箇所と該箇所周囲の画像とを含む仮想視点画像中で、当該死角となる箇所が他の箇所とは区別され得るように表示を制御するように構成されたものであることを特徴とする請求項１５に記載の画像生成装置を提供することによって達成できる。
【００２３】
このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項１７に記載の発明によれば、前記表示制御手段は、当該死角となる箇所を他の箇所とは異なる発色によって区分するように前記仮想視点画像の表示を制御するように構成されたものであることを特徴とする請求項１５に記載の画像生成装置を提供することによって達成できる。
【００２４】
このように構成することによって、死角領域とその死角領域周辺の領域とを区別できるように仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項１８に記載の発明によれば、前記仮想視点設定手段は、当該死角情報として、前記撮像手段配置物体に対する操作に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように前記３次元空間における仮想視点を適応的に設定するように構成されたものであることを特徴とする請求項１に記載の画像生成装置を提供することによって達成できる。
【００２５】
このように構成することによって、操作に応じて変化する死角の発生傾向に応じて、仮想視点画像を表示させることができる。
上記課題は、特許請求の範囲の請求項１９に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている前記表示手段に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。
【００２６】
このように構成することによって、ユーザの死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。
上記課題は、特許請求の範囲の請求項２０に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成手段と、前記空間再構成手段によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換手段と、前記仮想視点画像を表示する表示手段と、前記仮想視点画像の表形態を制御して、観察者が前記表示手段を見た場合に、該表示手段によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示手段と、を備えることを特徴とする画像生成装置を提供することによって達成できる。
【００２７】
このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。
上記課題は、特許請求の範囲の請求項２１に記載の発明によれば、前記表示制御手段により表示される前記仮想視点画像は、前記死角となって見通し不能な部分が生じないように充足された部分に対応する領域を強調して表示させることを特徴とする請求項２０に記載の画像生成装置を提供することによって達成できる。
【００２８】
このように構成することによって、本来死角となって見通し不能な景観の仮想視点画像とそうでない景観の仮想視点画像とを区別することができる。
上記課題は、特許請求の範囲の請求項２２に記載の発明によれば、前記表示制御手段は、前記仮想視野画像を歪曲して広視野で前記表示手段に表示させることを特徴とする請求項２０に記載の画像生成装置を提供することによって達成できる。
【００２９】
このように構成することによって、凸面ミラー効果を持たせることができる。
上記課題は、特許請求の範囲の請求項２３に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知処理と、前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて前記３次元空間における仮想視点を設定する仮想視点設定処理と、前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像を表示する表示処理と、をコンピュータに実行させるための画像生成プログラムを提供することによって達成できる。
【００３０】
このように構成することによって、撮像手段配置物体の動作状況に応じてユーザの死角となる部分の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項２４に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御処理と、をコンピュータに実行させるための画像生成プログラムを提供することによって達成できる。
【００３１】
このように構成することによって、ユーザの死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。
上記課題は、特許請求の範囲の請求項２５に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成処理と、前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換処理と、前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御処理と、コンピュータに実行させるための画像生成プログラムを提供することによって達成できる。
【００３２】
このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。
上記課題は、特許請求の範囲の請求項２６に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記撮像手段配置物体の動作状況を検知する撮像手段配置物体動作検知工程と、前記検知の結果に基づいて、前記撮像手段配置物体を操作する観察者の死角となる箇所を示す死角情報を取得し、該死角情報に基づいて３次元空間における仮想視点を設定する仮想視点設定工程と、前記空間再構成工程によってマッピングされた空間データを参照して、前記３次元空間における前記仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像を表示する表示工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。
【００３３】
このように構成することによって、撮像手段配置物体の動作状況に応じてユーザの死角となる部分の仮想視点画像を表示することができる。
上記課題は、特許請求の範囲の請求項２７に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成処理によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表示形態を制御して、前記撮像手段配置物体内にあって観察者の死角を生じさせる部位に設置されている表示装置に、該死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる表示制御工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。
【００３４】
このように構成することによって、ユーザの死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示することができる。
上記課題は、特許請求の範囲の請求項２８に記載の発明によれば、撮像手段配置物体に取り付けられた１または複数のカメラからの入力画像を空間モデルにマッピングする空間再構成工程と、前記空間再構成工程によってマッピングされた空間データを参照して、３次元空間における任意の仮想視点から見た画像である仮想視点画像を作成する視点変換工程と、前記仮想視点画像の表形態を制御して、観察者が表示装置を見た場合に、該表示装置によって仮想的に反射された方向の前記仮想視点の前記仮想視野画像であって、かつ前記観察者の死角となって見通し不能な部分が生じないように充足された該仮想視点画像を表示する表示制御工程と、を行うことを特徴とする画像生成方法を提供することによって達成できる。
【００３５】
このように構成することによって、表示手段をルームミラーのように使用でき、さらに、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させることができる。
【発明の効果】
【００３６】
本発明によれば、仮想視点画像の表示に係るユーザインターフェースについて、さらに利便性を高めるための技術を具現させることができる。
【発明を実施するための最良の形態】
【００３７】
＜第１の実施形態＞
本実施形態では、運転者にとって死角になる死角領域を検出し、その死角領域を観察する視点を設定し、このような視点からの仮想視点画を運転者から視認可能に表示する。或いは、このような死角領域から運転動作情報や運転者の操作によって表示対象とすべき死角領域を選択し、選択された死角領域を観察する視点を設定し、このような視点からの仮想視点画を運転者に視認可能に表示する。以下に、図面を用いてこのような実施形態について逐次具体的に説明する。
【００３８】
図１は、本実施形態における画像生成装置１００００を示す。同図において、画像生成装置１００００は、１台乃至複数台のカメラ１０１、カメラパラメータテーブル１０３、空間再構成手段１０４、空間データバッファ１０５、視点変換手段１０６、表示手段１０７、表示制御手段１０００１、仮想視点設定手段１０００２、及び車両動作検知手段１０００３から構成される。
【００３９】
複数台のカメラ１０１は、監視対象領域の状況を把握するのに適合した状態で設けられている。カメラ１０１は、例えば、車両の周囲の状況など監視すべき空間の画像を取り込む複数のテレビカメラである。このカメラ１０１は、大きな視野を得ることができるよう、通常、画角が大きいものを使うのが良い。このカメラ１０１の設置台数、設置状態等については例えば特許文献１に開示のような公知の態様でもよい。尚、図示の例では複数台のカメラを用いているが1台のカメラの設置位置を順次移動して複数台のカメラが備えられた場合と同様の撮像データを得るようにして用いてもよい。この点は以下に述べる各例について同様である。
【００４０】
カメラパラメータテーブル１０３には、カメラ１０１の特性を示すカメラパラメータを格納してある。ここで、カメラパラメータについて説明する。画像生成装置１００００にはキャリブレーション手段（不図示）が設けられており、カメラキャリブレーションを行う。カメラキャリブレーションとは、３次元空間に配置されたカメラについての、その３次元空間における、カメラの取り付け位置、カメラの取り付け角度、カメラのレンズ歪み補正値、カメラのレンズの焦点距離などといった、カメラ１０１の特性を表すカメラパラメータを決定、補正することである。このキャリブレーション手段及びカメラパラメータテーブル１０３については、例えば特許文献１にも詳述されている。
【００４１】
空間再構成手段１０４では、カメラパラメータに基づいて、カメラ１０１からの入力画像を３次元空間の空間モデルにマッピングした空間データを作成する。すなわち、空間再構成手段１０４は、キャリブレーション手段（不図示）によって計算されたカメラパラメータに基づいて、カメラ１０１からの入力画像を構成する各々の画素を３次元空間の点に対応づけた空間データを作成する。
【００４２】
すなわち、空間再構成手段１０４では、カメラ１０１から撮影された画像に含まれる各々の物体が、３次元空間のどこに存在するかを計算し、その計算結果としての空間データを空間データバッファ１０５に格納する。なお、空間モデルは、予め決められた（所定の）ものでもよく、或いは、その場で複数の入力画像から生成されたもの、乃至は、別途のセンサーの出力に基づいて生成されたものであってもよい。
【００４３】
例えば、特許文献１に記載があるように、空間モデルは、５つの平面からなる空間モデル、お椀型をした空間モデル、平面と曲面を組み合わせて構成した空間モデル、もしくはついたて面を導入した空間モデル、またはこれらを組み合わせたものであってもよい。なお、これらの空間モデルに限定されず、空間モデルは、平面の組み合わせ、曲面、または平面と曲面を組み合わせたものならば、特に限定されない。また、三角測定により距離画像を算出する距離画像を取得するステレオセンサー等（例えば、特許文献２、特許文献３）から得られたステレオ視画像に基づいて空間モデルを作成してもよい。
【００４４】
なお、カメラ１０１からの入力画像を構成するそれぞれの画素のすべてを利用して空間データを構成する必要はない。たとえば入力画像に水平線により上に位置する領域が写っている場合は、その水平線より上の領域に含まれる画素を路面にマッピングする必要はない。あるいは車体を写している画素をマッピングする必要もない。また、入力画像が高解像度な場合などは、数画素毎に飛ばして空間データにマッピングすることにより処理を高速化することも考えられる。この空間再構成手段１０４については、例えば特許文献１に詳述されている。
【００４５】
空間データバッファ１０５では、空間再構成手段１０４にて作成された空間データを一時的に格納する。この空間データバッファ１０５についても、例えば特許文献１に詳述されている。
視点変換手段１０６では、空間データを参照して、任意の視点から見た画像を作成する。すなわち、空間再構成手段１０４によって作成された空間データを参照して、任意の視点にカメラを設置して撮影した画像を作成する。この視点変換手段１０６についても、例えば特許文献１に詳述された構成をとり得る。
【００４６】
車両動作検知手段１０００３では、車両の動作状況を検知する。たとえば、車両が右折しているか、左折しているかをハンドルの蛇角で検知したり、ブレーキが掛けられているか否を検知したりする。このように、車両の状況を検知するために、車両各部にセンサーや計器が取り付けられている。
【００４７】
仮想視点設定手段１０００２では、視点変換手段１０６へ送信する仮想視点に関してのパラメータを設定する。ここでは、車両動作検知手段１０００３によって検知された車両の状況に応じて、そのパラメータを設定することができる。
表示制御手段１０００１では、視点変換手段１０６で生成した仮想視点画像を表示手段１０７（例えば、ディスプレイ等）に表示させるために、その表示形態を制御する。
【００４８】
図２は、本実施形態における仮想視点画像の表示フローを示す。まず、空間再構成手段１０４において、カメラ１０１から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データを作成する（Ｓ１）。この計算は各々のカメラ１０１から得られた画像のすべての画素に対して実施する。この処理自体については、例えば特許文献１にも開示された公知の態様のものを適用できる。
【００４９】
次に、上記したように、各種センサー等の車両動作検知手段１０００３により車両の動作状況を検知した（Ｓ２）後、仮想視点設定手段１０００２では、車両動作検知手段１０００３によって検知された車両の状況に応じて、仮想視点を設定する（Ｓ３）。
次に、視点変換手段１０６において、Ｓ３で指定した視点からの画像を、上記の空間データから再現する（Ｓ４）。この処理自体については、例えば特許文献１にも開示された公知の態様のものを適用できる。その後、表示制御手段１０００１によって、その再現した画像の表示形態を制御する（Ｓ５）。Ｓ５の処理に関しては、後述する。その後、その制御された画像を表示手段１０７へ出力し、表示手段１０７にて表示される（Ｓ６）。
【００５０】
図３は、本実施形態における運転者の運転動作に基づいて、運転者の死角を検出する一例を示す。同図は、車両１００１０が右折するときに検出される死角１００１１を表している。車両１００１０が右折するとき、内輪差による巻き込み事故防止のため右前のタイヤを確認する必要がある。
【００５１】
ところが、この場合、右前ドアやボンネット、インストルメントパネルにより視野が遮断され、内輪差部分が死角となってしまう。また、このような部分はサイドミラーを介しても死角となる部分である。そこで、本実施形態では、運転者の運転動作に基づいて、このような死角となる部分を検出する。
【００５２】
同図の場合、運転者は車両のハンドルを回転させて右折（または左折）をする。この右折（または左折）動作を車両動作検知手段１０００３によって検知する（図２のＳ２）。このとき、ハンドルの回転の程度まで検知し、すなわち、時計回りか反時計回りかやどれくらいの角度、どれくらいの速度、それくらいの加速度で右折（または左折）しているかを検知している。この検知された情報は、仮想視点設定手段１０００２に送信される。仮想視点設定手段１０００２では、検知された情報に基づいて、運転者の運転動作を認識し、運転者の死角となる部分１００１１が特定される。
【００５３】
また、運転者の視点の位置は予め取得している。例えば、車内を監視するカメラにより運転者の顔画像を取得し、一般的な画像処理技術によりその顔画像から眼球位置位置を抽出することで視点を計測することにより視点の位置を取得しても良い。また、運転者の姿勢等とを推測してそこからユーザの視点を算出するようにしてもよい。
【００５４】
例えば、予め登録してある運転者の身長（又は座高）と、現在のシートの傾斜角度から運転者の頭の位置が計測できるので、そこからおおよその運転者の視点の位置が分かる。また、運転する場合の人間の視点の位置に上限がある（シートからルーフまでの車高の制限）ことから、各人で視点の位置に大差ないと仮定した場合には所定値（平均値、統計値等）をデフォルト設定しておいてもよい。このようにして、仮想視点が得られる。
【００５５】
そして、ＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）のデータを利用することにより、この取得した運転者の視点位置と車両のＣＡＤデータから、運転者の視点からの死角領域が得られ、この死角領域の情報と上記で取得した仮想視点情報（どの方向を向いているかという情報も含む）が視点変換手段１０６に送信される。
【００５６】
視点変換手段１０６では、受信したそれらの情報に基づいて、その仮想視点から見た仮想視点画像が生成される（図２のＳ４）。なお、このとき、死角領域とこの死角領域周囲の領域とからなる仮想視点画像を生成する（なお、用途によっては、死角領域のみの仮想視点画像を生成しても良い。）。
【００５７】
ここで生成した仮想視点画像は、上記のように、死角領域とこの死角領域周囲の領域とからなっているが、死角領域がこの死角領域周囲の領域と区別されるような態様で、表示させるようにする。たとえば、死角領域とこの死角領域周囲の領域とを異なる色で区別するようにしてもよいし、死角領域を強調表示させるようにしてもよい。
【００５８】
また、車両動作検知手段による検知された死角情報に基づいて表示する死角画像の表示形態を切り換えるようにしてもよい。すなわち、検知された情報に応じて変化する死角の発生傾向に関する情報を得て、当該死角の発生傾向に適合するように３次元空間における仮想視点を適応的に設定する。例えば、図４で示すように、プリセットされた右折モード、左折モード等を、この検知された死角情報に応じて、切り換えて適用してもよい。
【００５９】
図４は、本実施形態における車両の動作状況のモードの一例を示す。本実施形態の動作状況のモードとしては、「右折モード」、「左折モード」、「発進時周囲監視モード」、「車内監視モード」、「高速走行時モード」、「後方監視モード」、「雨天走行モード」、「縦列駐車モード」、「車庫入れモード」がある。それでは、各モードについて説明する。
【００６０】
「右折モード」は、前方と曲がる方向の映像を表示する。具体的にいえば、車両が右折の場合、前方の映像と右折方向の映像を表示する。「左折モード」は、前方と曲がる方向の映像を表示する。具体的にいえば、車両が左折の場合、前方の映像と左折方向の映像を表示する。
【００６１】
「発進時周囲監視モード」は、車両の発進時において、車両の周囲の監視映像を表示する。「車内監視モード」は、車内の監視映像を表示する。「高速走行時モード」は、高速走行時において、遠くの前方の映像を表示する。「後方監視モード」は、急ブレーキをかけられるかどうか、すなわち、急ブレーキをかけて停止できるほど後続車との距離があるかを確認するための後方の映像が表示される。
【００６２】
「雨天走行モード」は、降雨時には視界が悪くなるため、見落としやすい方向が生じることがあるので、そのような見落としやすい方向の映像、及び／または画像処理により水滴除去した映像を表示させるようにする。この見落としやすい方向については、統計的や経験的で求めた方向でもよいし、ユーザにより任意に設定できるようにしてもよい。
【００６３】
「縦列駐車モード」は、縦列駐車時において、前方車両と後方車両とに接触しないように、幅寄せする側の前方と後方の映像が表示される。「車庫入れモード」は、車庫入れする場合に車庫の壁面に接触しやすい方向の映像が表示される。
このように、検知された車両の動作状況からモードが判定され、このモードに対応する表示形態で仮想視点画像を表示する。
【００６４】
上記のようにして、運転者の死角となる部分の仮想視点画像を運転者に提供することができる。なお、図３では、右折時の内輪差の生じる部分を死角として求めたが、これに限られず、例えば、死角は外輪差部分であってよいし、後進時の車両の後方部分であってもよいし、その他運転動作時に発生するあらゆる死角であってもよい。
【００６５】
また、このような死角を検出するために、車両の各部分には様々なセンサー（赤外線、温度、湿度、圧力、照度、機械的な動作を検知するセンサー等）やカメラ（車内用、車体撮影用）、計測器が取り付けてある（又はタコメータ、スピードメータ、冷却液温度計、油圧計、燃料残量計、等の既存の計測器を用いても良い）。
【００６６】
また、死角を表す情報を取得する方法として、上記の方法の他に、例えば、特許文献１に記載の発明を利用しても良い。すなわち、車両上空からの仮想視点による仮想視点画像から運転席に着座している運転者の視点からの仮想視点による仮想視点画像を差し引いたものが、当該運転者の死角となる。このようにして、運転者の死角を表す情報を取得することも可能である。
【００６７】
なお、本実施形態では、図３の死角１００１１を例に説明したが、右折時には例外にも死角は存在する。そこで、車両の所定の動作状況において複数の死角が存在する場合には、そのうちどの死角部分の仮想視点画像を表示させるかを選択することができる。さらに、この選択した情報は履歴情報として画像生成装置内の記憶装置に記憶しておくことができる。そして、この履歴情報からユーザの選択頻度が得られるので、その選択頻度を基に、自動的にその死角部分についての仮想視点画像を表示させることができる。また、表示させる仮想視点画像は車両の所定の動作状況に関係させて予め設定しておくこともできる。
【００６８】
以上より、車両の動作状況に対応させて死角となる部分の仮想視点画像を表示させることができるので、当該動作中においてその死角を確認しながら安全に車両を運転することができる。なお、上述したところから理解されるように、本明細書において「死角」は、一つには、運転席から、どうやっても（首を回しても或いはミラーを用いる等しても）見えない領域を指す意を持ち、また他意として、限定的に、状況に応じて「死角なるもの」として求められ（設定され）乃至は運転状況によって複数の上記「死角」から抽出（選択）されるものである意を持つ。
【００６９】
＜第２の実施形態＞
本実施形態では、運転者の死角となる障害物に、その障害物がなかった場合の景観に相当する仮想視点画像を、その障害物表面に設けた表示装置に表示する。これにより、本実施形態では、画像表示装置の設置位置を最適にすることで、より直感的な表示を実現する。
【００７０】
図５は、本実施形態における画像生成装置を用いた場合の一例を説明するための図であり、車内（運転席）からフロントピラー１００２１（ドアと屋根の間にあって車の強度を支える柱のことであり、フロントガラス１００２０とサイドウィンドウ１００２２の間にある柱１００２１をいう）越しに車外にある他の車両１００２３を見た場合の様子を示している。
【００７１】
図５（ａ）は、本実施形態にかかる画像生成装置を利用しない場合であり、車両１００２３の車体がフロントピラー１００２１により遮られ（すなわち死角となっている）、運転者からはその遮られた部分を見ることができない。
図５（ｂ）は、本実施形態にかかる画像生成装置を利用した場合であり、フロントピラー１００２１ａの表面には画像を表示することができるようになっている（例えば、液晶ディスプレイ、プラズマディスプレイ、もしくは有機ＥＬディスプレイ等のフラットパネルディスプレイ、または電子ペーパーディスプレイ等がフロントピラー１００２１に取り付けてある。）。
【００７２】
このようにすることで、フロントピラー１００２１ａに画像を表示することができる。本実施形態では、フロントピラー１００２１ａに、本来フロントピラー１００２１ａにより遮られ（すなわち死角となっている）、運転者からはその遮られた部分を見ることができない外部の景観の仮想視点画像を表示する。図５（ｂ）では、車両１００２３の遮られた部分について、当該部分に相当する仮想視点画像をフロントピラー１００２１に表示している。
【００７３】
図６は、本実施形態における仮想視点画像の表示フローを示す。まず、空間再構成手段１０４において、カメラ１０１から得られた画像を構成する各々の画素と、３次元座標系の点との対応関係を計算し、空間データを作成する（Ｓ１１）。この処理は、図２のＳ１と同様の処理である。
【００７４】
次に、仮想視点画像を生成するための仮想視点の指定をする（Ｓ１２）。仮想視点は、運転者の視点を中心として車内の死角となる各部分へ向けての視点方向とする。これらは、予め固定でセットされていてもよいし、乗車者が乗車する度にセットするようにしてもよい。
【００７５】
次に、視点変換手段１０６において、Ｓ１２で指定された仮想視点から見た仮想視点画像を生成する（Ｓ１３）。この処理は、図２のＳ４と同様の処理である。このとき、当該車両に関する情報を除いて、景観についての仮想視点画像を作成する。
次に、表示制御手段１０００１により、Ｓ１３で生成した仮想視点画像のうち、死角となる部分によって遮られている景観に対応する画像部分の抽出する（Ｓ１４）。図５でいえば、生成した仮想視点画像からフロントピラー１００２１ａに表示させる部分のみの画像を抽出する。このとき、表示手段として用いる障害物の大きさ、位置、形状等は予め画像生成装置１００００内の記憶装置に登録させているので、それらの情報を基に仮想視点画像から抽出対象となる部分の画像を抽出する。
【００７６】
なお、Ｓ１４において、上記の抽出処理以外にも次の処理が考えられる。例えば、自車両に関する情報を考慮しないで生成した仮想視点画像（すなわち、自車両に関するパラメータも考慮して生成した仮想視点画像）と、自車両に関する情報を考慮して生成した仮想視点画像とを算出し、この２つの仮想視点画像の差分を求めることで死角領域が得られる。したがって、この差分の領域の画像が表示手段に表示させる画像となる。
【００７７】
次に、その抽出した画像を表示装置１０７に表示させる。図５でいえば、フロントピラー１００２１ａに抽出した画像を表示させる（Ｓ１５）。
以上より、死角となる部分に、本来その部分によって遮られたその向こう側の景観をその部分に表示させることができるので、あたかもその部分かシースルーのようにして見える。また、表示させる死角部分としては、上記では、一例としてフロントピラーを用いたが、これに限られず、たとえば、ヘッドレストやインストルメントパネル、シート等の車内にあるあらゆるもの（運転者の死角となるもの）に表示装置（例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、電子ペーパーディスプレイ等）を取り付けることができる。
【００７８】
＜第３の実施形態＞
本実施形態では、表示手段をルームミラーと見立てて、仮にこのルームミラーに反射されたとしたら表示される像に対応する仮想視点画像を表示する。このとき、第２の実施形態と同様に、この表示手段には、死角となる部分に本来その部分によって遮られたその向こう側の景観をその部分に表示させる。これにより、画像表示装置の設置位置を最適にすることで、より直感的な表示を実現する。
【００７９】
図７は、本実施形態における画像生成装置１００００を示す。同図において、画像生成装置１００００は、複数台のカメラ１０１、カメラパラメータテーブル１０３、空間再構成手段１０４、空間データバッファ１０５、視点変換手段１０６、表示手段１０７、表示制御手段１０００１、視点検知手段１００３０から構成される。視点検知手段１００３０以外は、図１と同様である。
【００８０】
上述したように、本実施形態では、表示手段１０７をミラーのようにして用いることができる。すなわち、このミラーと見立てた表示手段には、この表示手段を見たとき、運転者の目に入る表示画像はあたかもミラーにより反射された像であるかのような画像を表示させる必要がある。
【００８１】
そこで、表示手段１０７の設置位置に対する運転者の視点の相対的な位置を決定する必要がある。そこで、本実施形態では、表示手段１０７の設置位置に対する運転者の視点の相対的な位置を検出するために、視点検知手段１００３０を用いる。視点検知手段１００３０は、第１の実施形態と同様に、例えば、車内を監視するカメラにより運転者の顔画像を取得し、一般的な画像処理技術によりその顔画像から眼球位置位置を抽出することで視点を計測することにより視点の位置を取得してもよいし、また、運転者の姿勢等とを推測してそこからユーザの視点を算出するようにしてもよいし、予め仮想視点の位置を設定しておいてもよい。
【００８２】
これにより、運転者の視点の位置及び視線の方向を検知することができる。また、表示手段１０７の車両に対する設置角度等も予め設定されている。したがって、これらの情報より、運転者が表示手段１０７を見た場合に、表示表示１０７の表示面に対する運転者の視線の入射角が算出され、その結果、反射角が得られる。
【００８３】
それで、表示手段１０７に表示する画像は、その反射角で反射された方向の景観の仮想視点画像を表示するようにする。ここで、生成される仮想視点画像は、自車両に関する情報（車載の物品、シート、フロントピラー、リアピラー等）を考慮しないで生成される画像であり、表示手段に表示されるときには左右反転される。
【００８４】
このとき、本来死角となって見通し不能な景観に対応する仮想視点画像と、元々死角でない景観とを区別できるように、例えば、死角となって見通し不能な景観をワイヤーフレームで表示させてもよいし、他の部分と異なる色で区別するようにしてもよいし、強調表示させるようにしてもよい。
【００８５】
このように本来死角となって見通し不能な景観の仮想視点画像とそうでない景観の仮想視点画像とを区別するにあたって、第１の実施形態と同様にＣＡＤデータを用いる。すなわち、運転者の視点からの死角領域に関する情報が得られ、この死角領域に相当する部分が例えばワイヤーフレームで表示される。
【００８６】
また、ＣＡＤデータを用いない方法として、自車両に関する情報を考慮しないで生成した仮想視点画像と、自車両に関する情報を考慮して生成した仮想視点画像とを算出し、この２つの仮想視点画像の差分を求めることで死角領域が得られる。そして、この死角領域の情報に基づいてその死角となって本来見ることができない景観に対応する部分を、例えばワイヤーフレーム等で表示させる。
【００８７】
また、表示手段に表示される画像は、死角となる部分がシースルー（透けて見える）となるように、死角部分を取り除いた仮想視点画像を表示する。すなわち、車両内にあって運転者の死角を生じさせる部位に設置されている表示手段に、死角となって見通し不能な景観に対応する前記仮想視点画像を表示させる。この例を図８に示す。
【００８８】
図８は、本実施形態における表示手段に表示される画像の表示形態を示す。図８（ａ）は、通常のルームミラー１００４０に表示されるリアウインド１００４１方向の景観（後続車両１００４２）を示す。通常のルームミラー１００４０に表示される反射像は、図８（ａ）に示すように、助手席１００４４やリアシート１００４５、リアウインド枠１００４３があるため、これらがルームミラー越しに後方を見ている運転者にとって死角となっているため、この死角の向こう側の景観（図８（ａ）でいえば、後続車両１００４２の下部及び右フロント部分）は見通し不能となっている。
【００８９】
図８（ｂ）は、本発明を用いて、通常のルームミラーに表示されるようにリアウインド方向の景観を表示手段１００４６に表示させ、かつ、運転者の死角となって見通し不能な景観に対応する前記仮想視点画像を表示させた様子を示す。図８（ｂ）では、図８（ａ）で示した助手席１００４４やリアシート１００４５、リアウインド枠１００４３のために生じる死角のため、見ることができなかった後続車両１００４２の下部及び右フロント部分の視野が充足されるように表示されている。
【００９０】
また、どこか死角に相当するかを示すために、死角となって見通し不能な景観に対応する部分と、そうでない部分とを区別することができるような表示形態となっている。この表示形態は、例えば、図８（ｂ）に示すように、死角となって見通し不能な景観をワイヤーフレームで表示させてもよいし、他の部分と異なる色で区別するようにしてもよいし、強調表示させるようにしてもよい。
【００９１】
なお、本実施形態で用いる表示手段は、通常のルームミラーとしても機能できるように、ディスプレイの表面にハーフミラーを取り付けたような構造をしていてもよい。また、この表示手段に表示される画像を歪めて、広視野の画像を表示させるようにしても良い。すなわち、凸面ミラー効果を持たせるようにしてもよい。
【００９２】
さらに、表示手段について詳述すると、ルームミラーをハーフミラーで構成し、その背面にフラットパネルディスプレイを配置し、さらに視点位置検出手段により、運転者の視点位置を検出し、視点とハーフミラーの関係からハーフミラー裏から表示するナビゲーション用の重畳画像を表示するようにしてもよい。
【００９３】
また、サイドウインドウの一部に上記の表示手段（例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、電子ペーパーディスプレイ等）を設けても良い。これにより、ドアミラーで確認していた後方の様子を当該表示手段に後方の仮想視点画像を表示させることで、後方の様子を確認することができる。
【００９４】
また、サイドミラーに表示される像よりも大きい画像で表示させることができるので、後方の様子をより詳細に確認することができる。このため、サイドミラーが不要となり、例えば駐車スペースの省スペース化が図れる。また、細い通路での対向車との離合時にも、対向車のサイドミラーと自車両のサイドミラーとが接触する心配がない。
【００９５】
また、図４で示したように、車両の動作状況モードに応じて、表示手段に表示する表示形態を切り換えるようにしてもよい。また、例えば、パン、チルト、ズーム等の機能を用いて、視点変動に追従できるようにしてもよい。また、左右方向が視野に入りやすいように、横のアスペクトを縮めて表示させるようにしてもよい。
【００９６】
以上より、ディスプレイをルームミラーと同様の効果をもたせ、さらに本来死角となって見通し不能な景観に対応する仮想視点画像を表示させることができる。また、視点検知手段によりミラーに表示する視点を演算して、自然なミラー画像（ミラーに表示される反射像）を死角部分の補間表示を含めて、このディスプレイに表示させることができる。
【００９７】
また、本来死角部分に相当する部分の表示には、当該死角部分の輪郭をワイヤフレーム等で表示することにより、実際には運転者には直接見えていない部分の画像であることを認識させることができる。また、このディスプレイは運転者に適した視野角を持たせることで、パッセンジャーなどが非直感的な画像を見ないようにする。さらに、仮想視点は運転席からの視点を設定し、運転者の視点に連動した仮想視点を設定する。
【００９８】
＜第４の実施形態＞
第１〜第３の実施形態では、車両を中心に説明したが、車両に限らず、さらに、幅広い分野に適用することができる。そこで、本実施形態では、本発明を車両以外に応用した一例を以下に示す。
【００９９】
本実施形態における一例としては、例えば、観察者が屋内、街路などを歩行している人であり、撮像装置配置物体が屋内、屋外、部屋のインテリア、他の移動体(車両、ロボット)であるような監視システムでもよい。また、ドアの開閉状態によって生じている死角のチェック、家電品や家具の扉の状態などで生じている死角のチェック、もしくは人物の後方の死角のチェックにも応用することができる。
【０１００】
図９は、本実施形態における画像生成装置をＨＭＤ（ヘッドマウントディスプレイ）に適用した場合の一例を示す。同図の斜線部分１００５４，１００５５，１００５６は、死角である。図９（ａ）は、部屋１００５０にあるドア１００５２及び冷蔵庫１００５３の戸が閉じた状態を示す。図９（ｂ）は、部屋１００５０にあるドア１００５２及び冷蔵庫１００５３の戸が開いた状態を示す。
【０１０１】
この場合、観察者である人物１００５１は例えばＨＭＤなどを装着しており仮想視点画像を観察できると共に、撮像装置配置物体（ここでは部屋１００５０とすると）のカメラによって捉えられた観察者自らの位置、姿勢、方向が計測されている（この部分は観察者である人物に装着するＧＰＳやジャイロセンサー、カメラ装置、人物の視線検出装置などでも計測することができる。）。
【０１０２】
これらの情報から、どの部分を人物が直接観察できるようになっていて、どの部分が見えないかを算出することができるようになっている。これにより人物は自らの死角範囲、例えば、死角１００５４，１００５５，１００５６をＨＭＤなどに表示された仮想視点画像上で把握することができ、自らに対する脅威、例えば物陰に潜む不審者、犬、車両、蓋の開いたマンホールや溝などを認知することができる。
【０１０３】
さて、第１〜第４の実施形態において、仮想視点画像を作成するのにカメラ１０１を使用しているが、これらのカメラにはＡＦ（オートフォーカス）機能を持たせてもよい。これにより、ステレオ視により近接している場合は、近距離側にレンズのフォーカスを調整するようにする。まり、一般にマクロモードと呼ばれる撮影対象に近接した位置で大きく撮影する場合のモードに調整する。このようにすることで、３次元再構成用にフォーカスのあった画像が近距離において得られる。
【０１０４】
また、遠距離にある被写体を撮影する場合には、ＡＦ機能により当該被写体にフォーカスを合わせることで遠距離画像についても同様に、高精度の画像が得られ、遠距離の精度向上につながる。
図１０は、第１〜第４の実施形態における画像生成装置１００００のハードウェア環境の構成ブロック図である。同図において画像生成装置１００００は、少なくとも、例えば、中央処理装置（ＣＰＵ）等の制御装置１００８０と、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、または大容量記憶装置等の記憶装置１００８１と、出力Ｉ／Ｆ（インターフェース、以下同じ）１００８２、入力Ｉ／Ｆ１００８３、通信Ｉ／Ｆ１００８４及びこれらを接続するバス１００８５から構成され、それに、ディスプレイ等の出力手段１０７や、入力Ｉ／Ｆまたは通信Ｉ／Ｆに接続される各種の装置がある。
【０１０５】
入力Ｉ／Ｆに接続される装置としては、例えば、カメラ１０１、車内用カメラ、ステレオセンサー及び各種センサー、キーボードやマウス等の入力装置、ＣＤ−ＲＯＭやＤＶＤ等の可搬型記憶媒体の読み取り装置、その他周辺機器等が挙げられる。
通信Ｉ／Ｆ１００８４に接続される装置としては、例えば、カーナビゲーションシステムや、インターネット又はＧＰＳと接続する通信機器である。なお、通信メディアとしては、インターネット、ＬＡＮ、ＷＡＮ、専用線、有線、無線等の通信網であってよい。
【０１０６】
記憶装置１００８１の一例としてはハードディスク、磁気ディスクなど様々な形式の記憶装置を使用することができ、上記の実施形態で述べたフローのプログラム、各種テーブル（例えば、各種設定値が格納されるテーブル等）、ＣＡＤデータ等が格納されている。このプログラムは、制御装置１００８０によって読み込まれ、フローの各処理が実行される。
【０１０７】
このプログラムは、プログラム提供者側から通信Ｉ／Ｆ１００８４を介して、インターネット経由で提供され、記憶装置１００８１に格納されてもよいし、また市販され、流通している可搬型記憶媒体に格納され、読み取り装置にセットされて、制御装置によって実行されることも可能である。可搬型記憶媒体としてはＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスク、光ディスク、光磁気ディスク、ＩＣカードなど様々な形式の記憶媒体を使用することができ、このような記憶媒体に格納されたプログラムが読み取り装置によって読み取られる。
【０１０８】
また、入力装置には、キーボード、マウス、または電子カメラ、マイク、スキャナ、センサー、タブレットなどを用いることが可能である。さらに、その他の周辺機器も接続することができる。
なお、上述した各実施形態において、複数の撮像装置は、それらによって、いわゆる３眼ステレオカメラを構成するように用いても、あるいは４眼ステレオカメラを構成するように用いてもよい。このように３眼あるいは４眼ステレオカメラを用いると、３次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（例えば、非特許文献１）。特に複数カメラを２方向の基線長を持つように配置すると、より複雑なシーンで３次元再構成が可能になることが知られている。また１つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。
【図面の簡単な説明】
【０１０９】
【図１】第１の実施形態における画像生成装置１００００を示す図である。
【図２】第１の実施形態における仮想視点画像の表示フローを示す図である。
【図３】第１の実施形態における運転者の運転動作に基づいて、運転者の死角を検出する一例を示す図である。
【図４】第１の実施形態における車両の動作状況のモードの一例を示す図である。
【図５】第２の実施形態における画像生成装置を用いた場合の一例を説明するための図である図である。
【図６】第２の実施形態における仮想視点画像の表示フローを示す図である。
【図７】第３の実施形態における画像生成装置１００００を示す図である。
【図８】第３の実施形態における表示手段に表示される画像の表示形態を示す図である。
【図９】第４の実施形態における画像生成装置をＨＭＤ（ヘッドマウントディスプレイ）に適用した場合の一例を示す図である。
【図１０】第１〜第４の実施形態における画像生成装置のハードウェア環境の構成ブロック図である図である。
【符号の説明】
【０１１０】
１０１      カメラ
１０３      カメラパラメータテーブル
１０４      空間再構成手段
１０５      空間データバッファ
１０６      視点変換手段
１０７      表示手段
１００００  画像生成装置
１０００１  表示制御手段
１０００２  仮想視点設定手段
１０００３  車両動作検知手段
１００３０  視点検知手段
１００８０  制御装置
１００８１  記憶装置
１００８２  出力Ｉ／Ｆ
１００８３  入力Ｉ／Ｆ
１００８４  通信Ｉ／Ｆ
１００８５  バス
【図１】
2005269010.tif 000003
【図２】
2005269010.tif 000004
【図３】
2005269010.tif 000005
【図４】
2005269010.tif 000006
【図５】
2005269010.tif 000007
【図６】
2005269010.tif 000008
【図７】
2005269010.tif 000009
【図８】
2005269010.tif 000010
【図９】
2005269010.tif 000011
【図１０】
2005269010.tif 000012