(57)【要約】  所定の車種用に提供された立体俯瞰画像生成システムを、他の車種に搭載する際の調整作業における作業負荷を低減する。補正装置は、第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得部と、前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力部と、前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正部と、補正された前記投影情報を前記第２の移動体に格納する格納制御部とを有することを特徴とする。
2019038901.tif 000002
【特許請求の範囲】
【請求項１】
第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得部と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力部と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正部と、
補正された前記投影情報を前記第２の移動体に格納する格納制御部と
を有することを特徴とする補正装置。
【請求項２】
前記補正部は、前記サイズ比に応じて補正した前記第２の移動体に搭載した複数の撮像装置の位置と、前記立体投影面の位置との関係に基づいて、前記投影情報を補正することを特徴とする請求項１に記載の補正装置。
【請求項３】
前記サイズ比は、前記第１の移動体の長さと前記第２の移動体の長さとの比であり、
前記補正部は、前記サイズ比に応じて前後長が等しくなるように前記第２の移動体の長さを補正することで、前記第２の移動体に搭載した複数の撮像装置の位置を補正することを特徴とする請求項２に記載の補正装置。
【請求項４】
前記第２の移動体を示す画像を、前記サイズ比に応じて補正することで、前記第２の移動体を示す補正画像を生成する生成部を更に有し、
前記格納制御部は、生成された前記第２の移動体を示す補正画像を、前記第２の移動体に格納することを特徴とする請求項１に記載の補正装置。
【請求項５】
前記生成部は、前記サイズ比に応じて、前記第２の移動体を示す画像を縦方向、横方向及び高さ方向に補正することで、前記第２の移動体を示す補正画像を生成することを特徴とする請求項４に記載の補正装置。
【請求項６】
前記投影情報は、前記複数の画像データの各画素の座標と、各画素の座標を前記立体投影面に投影し立体俯瞰画像を生成する場合の該立体投影面の座標と、を対応付けた情報であることを特徴とする請求項２に記載の補正装置。
【請求項７】
前記補正部は、前記サイズ比に応じて補正した前記第２の移動体に搭載した複数の撮像装置の位置と、前記立体投影面の位置との関係に基づいて、前記複数の画像データの各画素の座標に対する前記立体投影面の座標を新たに算出し、新たに算出した該立体投影面の座標を用いて、前記投影情報を補正することを特徴とする請求項６に記載の補正装置。
【請求項８】
前記立体投影面を、前記サイズ比に応じて幅方向に変形する変形部を更に有することを特徴とする請求項６に記載の補正装置。
【請求項９】
前記立体投影面のうち、前記第２の移動体の側面に対応する領域を、前記サイズ比に応じて変形する変形部を更に有することを特徴とする請求項６に記載の補正装置。
【請求項１０】
前記入力部は、前記第２の移動体に搭載した複数の撮像装置の位置を入力し、
前記補正部は、前記入力部により入力された前記第２の移動体に搭載した複数の撮像装置の位置を、前記サイズ比に応じて補正し、補正した前記第２の移動体に搭載した複数の撮像装置の位置と、前記立体投影面の位置との関係に基づいて、前記投影情報を補正することを特徴とする請求項１に記載の補正装置。
【請求項１１】
第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得工程と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力工程と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正工程と、
補正された前記投影情報を前記第２の移動体に格納する格納制御工程と
をコンピュータに実行させるための補正プログラム。
【請求項１２】
第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得工程と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力工程と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正工程と、
補正された前記投影情報を前記第２の移動体に格納する格納制御工程と
をコンピュータに実行させるための補正プログラムを記録した、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正装置、補正プログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来より、車両の周囲を複数の撮像装置を用いて撮像し、撮像により得られた複数の画像データを、投影情報を用いて立体投影面に投影することで、車両の全周囲を上方から俯瞰した立体俯瞰画像を生成する立体俯瞰画像生成システムが知られている。【０００３】
かかる立体俯瞰画像生成システムにより生成される立体俯瞰画像は、一般に、撮像装置の設置位置等に依存し、車種ごとに異なっている。このため、各車両メーカでは、適切な立体俯瞰画像を実現するために、車両製造時に、車種ごとに立体投影面や投影情報等を調整する調整作業を行っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２３２３１０号公報
【特許文献２】特開２０１６−０７２７８６号公報
【特許文献３】特許第６０６８７１０号公報
【特許文献４】国際公開第２０１５／０２９９３４号
【特許文献５】特開２００８−１８７５６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一方で、車両購入後に、新たに立体俯瞰画像生成システムを搭載したり、旧車両に搭載していた立体俯瞰画像生成システムを、新たに購入した他の車両に載せ替えたりする、といったニーズがある。【０００６】
しかしながら、購入した車両が、立体俯瞰画像生成システムの対象車種とは異なる車種であった場合、当該立体俯瞰画像生成システムをそのまま利用することはできず、購入した車両に合わせて調整を行うことが必要となる。【０００７】
このような場合において、購入者側で個別に調整作業を行うことは容易ではなく、作業負荷が高いといった問題がある。【０００８】
一つの側面では、所定の車種用に提供された立体俯瞰画像生成システムを、他の車種に搭載する際の調整作業における作業負荷を低減することを目的としている。
【課題を解決するための手段】
【０００９】
一態様によれば、補正装置は、
第１の移動体に複数の撮像装置を搭載した場合の、前記複数の撮像装置により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報を取得する取得部と、
前記第１の移動体とは異なる第２の移動体のサイズ情報を入力する入力部と、
前記第１の移動体と前記第２の移動体とのサイズ比に応じて前記投影情報を補正する補正部と、
補正された前記投影情報を前記第２の移動体に格納する格納制御部とを有することを特徴とする。
【発明の効果】
【００１０】
所定の車種用に提供された立体俯瞰画像生成システムを、他の車種に搭載する際の調整作業における作業負荷を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、立体俯瞰画像生成システム及び情報処理装置の概要を説明するための図である。
【図２】図２は、立体俯瞰画像生成システムに含まれる各装置の配置例を示す図である。
【図３】図３は、操作装置及び表示装置の外観構成を示す図である。
【図４】図４は、投影情報の一例を示す図である。
【図５】図５は、表示画像データの一例を示す図である。
【図６】図６は、複数の調整処理の方法について比較した図である。
【図７】図７は、調整方法２による調整処理を実行した場合の、表示画像データの一例を示す図である。
【図８】図８は、情報処理装置のハードウェア構成の一例を示す図である。
【図９】図９は、情報処理装置の補正部の機能構成の詳細を示す第１の図である。
【図１０】図１０は、基準車両情報の一例を示す図である。
【図１１】図１１は、車両情報入力部が表示する操作画面の具体例を示す図である。
【図１２】図１２は、基準車両における各撮像画素座標と立体投影面座標との関係を示した図である。
【図１３】図１３は、基準車両とは異なる車種の車両における各撮像画素座標と立体投影面座標との関係を示した図である。
【図１４】図１４は、補正後投影情報の具体例を示す図である。
【図１５】図１５は、補正部による調整処理の流れを示すフローチャートである。
【図１６】図１６は、調整方法３による調整処理を実行した後の、表示画像データの一例を示す図である。
【図１７】図１７は、情報処理装置の補正部の機能構成の詳細を示す第２の図である。
【図１８】図１８は、立体投影面情報補正部の処理の具体例を示す図である。
【発明を実施するための形態】
【００１２】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１３】
［第１の実施形態］
＜立体俯瞰画像生成システム及び情報処理装置の説明＞
はじめに、車両に搭載される立体俯瞰画像生成システム、及び、該立体俯瞰画像生成システムに通信可能に接続される情報処理装置の概要について説明する。図１は、立体俯瞰画像生成システム及び情報処理装置の概要を説明するための図である。
【００１４】
図１の例は、車両１００に、立体俯瞰画像生成システム１４０が搭載された様子を示している。図１において、立体俯瞰画像生成システム１４０は、第１の移動体用として、車両１００とは車種の異なる車両（基準車両と称す）用に提供された立体俯瞰画像生成システムである。つまり、図１の例は、第１の移動体である基準車両用に提供された立体俯瞰画像生成システム１４０を、第２の移動体である車両１００に搭載した様子を示している。
【００１５】
図１に示すように、車両１００に搭載された立体俯瞰画像生成システム１４０は、撮像装置１１１、撮像装置１１２、撮像装置１１３、撮像装置１１４、画像処理装置１２０、操作装置１３０、表示装置１３１を有する。
【００１６】
撮像装置１１１〜撮像装置１１４は、それぞれ、車両１００の前方、左側方、右側方、後方を撮像することで画像データを生成し、生成した画像データを画像処理装置１２０に送信する。
【００１７】
画像処理装置１２０は、例えば、ＥＣＵ（Electronic Control Unit）により実現される。画像処理装置１２０には、画像データ取得プログラム、投影プログラム、合成プログラム、出力プログラムがインストールされている。画像処理装置１２０は、当該プログラムを実行することで、画像データ取得部１２１、投影部１２２、合成部１２３、出力部１２４として機能する。
【００１８】
画像データ取得部１２１は、撮像装置１１１〜撮像装置１１４より送信された画像データを取得する。
【００１９】
投影部１２２は、画像データ取得部１２１により取得された各画像データを、投影情報格納部１２５に格納された投影情報に基づいて、立体投影面に投影する。
【００２０】
合成部１２３は、立体投影面に投影された各画像データを合成することで、立体俯瞰画像を生成する。
【００２１】
出力部１２４は、合成部１２３により生成された立体俯瞰画像を、所定の視点位置から見た場合の画像として表示するために表示画像データを生成し、表示装置１３１に出力する。
【００２２】
操作装置１３０は、車両１００の搭乗者が画像処理装置１２０に対して各種指示を入力するための操作デバイスである。操作装置１３０に入力された各種指示は、指示情報として、画像処理装置１２０に送信される。
【００２３】
表示装置１３１は、画像処理装置１２０より出力された表示画像データを表示する表示デバイスである。
【００２４】
一方、図１において、情報処理装置１５０は補正装置の一例であり、例えば、立体俯瞰画像生成システム１４０を車両１００に搭載した際に調整作業を行う、調整者によって所有される。調整者は、立体俯瞰画像生成システム１４０を車両１００に搭載した際に、情報処理装置１５０を画像処理装置１２０に接続し、情報処理装置１５０を操作することで調整作業を行う。
【００２５】
情報処理装置１５０には、補正プログラムがインストールされており、情報処理装置１５０は、当該プログラムが実行されることで補正部１６０として機能する。
【００２６】
補正部１６０は、情報処理装置１５０が画像処理装置１２０に接続されることで起動し、調整者による操作に基づき、立体俯瞰画像生成システム１４０を車両１００に合わせて調整する調整処理を実行する。
【００２７】
以下、立体俯瞰画像生成システム１４０及び情報処理装置１５０それぞれの詳細について、順次説明する。なお、以下では、基準車両を"トラック"とし、立体俯瞰画像生成システム１４０が搭載された車両１００を、基準車両よりもサイズの大きいトラックとして説明する。
【００２８】
＜立体俯瞰画像生成システムの詳細＞
はじめに、立体俯瞰画像生成システム１４０の詳細について説明する。
【００２９】
（１）配置例
図２は、立体俯瞰画像生成システムに含まれる各装置の配置例を示す図である。このうち、図２の２００ａは、車両１００における各撮像装置の配置例を示す上面図である。
【００３０】
図２の２００ａに示すように、撮像装置１１１は、車両１００の前部中央位置に配置され、車両１００の前方（点線２０１で示す範囲）を撮像する。撮像装置１１２は、車両１００の左側面中央位置に配置され、車両１００の左側方（点線２０２で示す範囲）を撮像する。撮像装置１１３は、車両１００の右側面中央位置に配置され、車両１００の右側方（点線２０３で示す範囲）を撮像する。撮像装置１１４は、車両１００の後部中央位置に配置され、車両１００の後方（点線２０４で示す範囲）を撮像する。
【００３１】
一方、図２の２００ｂは、車両１００における、画像処理装置１２０、操作装置１３０、表示装置１３１の配置例を示す側面図である。図２の２００ｂに示すように、画像処理装置１２０は、車両１００内のセンタコンソールの裏側に配置される。また、操作装置１３０及び表示装置１３１は、車両１００内のセンタコンソール上に配置される。
【００３２】
（２）操作装置及び表示装置の外観構成
次に、車両１００内のセンタコンソール上に配置された操作装置１３０及び表示装置１３１の外観構成について説明する。図３は、操作装置及び表示装置の外観構成を示す図である。本実施形態において、操作装置１３０と表示装置１３１とは一体的に組み合わされ、いわゆるタッチパネル３００として構成されているものとする。図３に示すように、タッチパネル３００は、センタコンソール３０１上の中央位置付近に組み込まれて取り付けられる。
【００３３】
（３）投影情報の詳細
次に、投影情報格納部１２５に格納される投影情報の詳細について説明する。図４は、投影情報の一例を示す図である。図４に示すように、投影情報４００は、情報の項目として、"撮像装置"と、"立体投影面座標"とを含む。
【００３４】
"撮像装置"は、更に、"区分"と"撮像画素座標"とを含む。"区分"には、撮像装置１１１〜撮像装置１１４をそれぞれ識別するための情報が格納される。投影情報４００において、区分＝１は撮像装置１１１を、区分＝２は撮像装置１１２を、区分＝３は撮像装置１１３を、区分＝４は撮像装置１１４をそれぞれ表している。
【００３５】
"撮像画素座標"には、撮像装置１１１〜撮像装置１１４により撮像される各画像データの各画素の座標が格納される。本実施形態において、撮像装置１１１〜撮像装置１１４により撮像される画像データ４１１〜４１４は、いずれもｎ×ｍ画素の画素数を有しているものとする。
【００３６】
このため、投影情報４００において、例えば、撮像装置１１１（区分１）の"撮像画素座標"には、画像データ４１１の（ｓ１１，ｔ１１）〜（ｓ１ｎ，ｔ１ｍ）までのｎ×ｍ個の座標が格納されることになる。同様に、撮像装置１１２（区分２）の"撮像画素座標"には、画像データ４１２の（ｓ２１，ｔ２１）〜（ｓ２ｎ，ｔ２ｍ）までのｎ×ｍ個の座標が格納されることになる。また、撮像装置１１３（区分３）の"撮像画素座標"には、画像データ４１３の（ｓ３１，ｔ３１）〜（ｓ３ｎ，ｔ３ｍ）までのｎ×ｍ個の座標が格納されることになる。更に、撮像装置１１４（区分４）の"撮像画素座標"には、画像データ４１４の（ｓ４１，ｔ４１）〜（ｓ４ｎ，ｔ４ｍ）までのｎ×ｍ個の座標が格納されることになる。
【００３７】
"立体投影面座標"には、画像データ４１１〜４１４それぞれの撮像画素座標を立体投影面４２０に投影する場合の、投影先の座標が格納される。このため、"立体投影面座標"に格納される各座標は、"撮像画素座標"に格納される各座標と対応付けられている。
【００３８】
例えば、投影情報４００の場合、画像データ４１１の撮像画素座標＝（ｓ１１，ｔ１１）は、立体投影面４２０の立体投影面座標＝（ｘ１１，ｙ１１，ｚ１１）と対応付けられている。同様に、画像データ４１２の撮像画素座標＝（ｓ２１，ｔ２１）は、立体投影面４２０の立体投影面座標＝（ｘ２１，ｙ２１，ｚ２１）と対応付けられている。同様に、画像データ４１３の撮像画素座標＝（ｓ３１，ｔ３１）は、立体投影面４２０の立体投影面座標＝（ｘ３１，ｙ３１，ｚ３１）と対応付けられている。同様に、画像データ４１４の撮像画素座標＝（ｓ４１，ｔ４１）は、立体投影面４２０の立体投影面座標＝（ｘ４１，ｙ４１，ｚ４１）と対応付けられている。
【００３９】
撮像装置１１１〜撮像装置１１４により撮像される画像データ４１１〜４１４は、画像処理装置１２０の画像データ取得部１２１により取得され、投影情報４００に基づき、投影部１２２により立体投影面４２０に投影される。
【００４０】
立体投影面４２０に投影された画像データ４１１〜４１４は、合成部１２３により合成され、車両画像が組み込まれることで立体俯瞰画像が生成される。なお、図４において、立体投影面４２０内に配された車両画像４３０は、基準車両の車両画像を示している。
【００４１】
（４）表示画像データの具体例
次に、合成部１２３により生成された立体俯瞰画像を、所定の視点位置から見た場合の画像として表示するために、出力部１２４により生成される表示画像データの具体例について説明する。ここでは、立体俯瞰画像生成システム１４０が基準車両に搭載された場合に生成される表示画像データについて説明する。
【００４２】
図５は、表示画像データの一例を示す図である。このうち、図５の５００ａは、立体投影面４２０の上面図であり、立体投影面４２０における視点位置を示している。視点位置５０１は、立体俯瞰画像を、基準車両の前方から見た場合の表示画像データを生成する際に用いられる視点位置を示している。また、視点位置５０２は、立体俯瞰画像を、基準車両の左後方から見た場合の表示画像データを生成する際に用いられる視点位置を示している。更に、視点位置５０３は、立体俯瞰画像を、基準車両の右後方から見た場合の表示画像データを生成する際に用いられる視点位置を示している。
【００４３】
図５の５００ｂは、出力部１２４が、視点位置５０２に基づいて生成した表示画像データの一例を示している。図５の５００ｂに示すように、基準車両の場合、出力部１２４により生成される表示画像データ５１０には、基準車両の車両画像４３０の左側面から後面までの範囲が含まれることになる。
【００４４】
＜車両１００に立体俯瞰画像生成システムを搭載した場合の調整処理の方法の説明＞
次に、車両１００に立体俯瞰画像生成システム１４０を搭載した場合に実行すべき調整処理の方法について説明する。上述したとおり、車両１００は、基準車両とは車種が異なるため、車両のサイズも異なる。このため、車両１００に立体俯瞰画像生成システム１４０を搭載した場合、撮像装置１１１〜撮像装置１１４の設置位置等も変わってくるため、車両１００に合わせて立体俯瞰画像生成システム１４０を調整することが必要となる。
【００４５】
図６は、複数の調整処理の方法について比較した図である。このうち、"調整方法１"は、車両のサイズの変更に伴って、立体投影面４２０と、車両画像４３０とを変更し、更に、投影情報４００を補正したうえで、視点位置５０１〜５０３を立体投影面４２０の変更に応じて変更する調整処理の方法である。
【００４６】
調整方法１の場合、車両メーカが車両製造時に行う調整処理の内容と同程度の調整処理の内容となるため、適切な立体俯瞰画像が生成でき、基準車両の場合と同様の表示画像データを表示することができる。しかしながら、調整方法１の場合、調整者による調整作業の作業負荷が高い。
【００４７】
一方、"調整方法２"は、車両のサイズが変更されても、立体投影面４２０、視点位置５０１〜５０３は変更せず、車両画像４３０を変更するとともに、投影情報４００を補正する調整処理の方法である。調整方法２の場合、調整者による調整作業の作業負荷を低減させることができる。しかしながら、調整方法２の場合、例えば、基準車両と比較して車両１００のサイズが大きくなるようなケースでは、表示画像データにおいて、車両１００の車両画像の後面を表示することができなくなるといった問題が生じる。
【００４８】
図７を用いて具体的に説明する。図７は、調整方法２による調整処理を実行した場合の、表示画像データの一例を示す図である。図７の７００ａに示すように、調整方法２の場合、立体投影面４２０及び視点位置５０１〜５０３を変更しない。一方、調整方法２の場合、基準車両の車両画像４３０を、車両１００の車両画像７００に変更するとともに、車両１００の撮像装置の位置と立体投影面の位置との関係から、投影情報４００を補正する。
【００４９】
このため、調整方法２の場合、図７の７００ｂに示すように、視点位置５０２に基づいて生成される表示画像データ７１０において、車両１００の車両画像７００の後面を表示することができなくなるといった問題が生じる。
【００５０】
図６の説明に戻る。これに対して、"調整方法３"は、立体投影面４２０、視点位置５０１〜５０３は変更せず、車両１００の車両画像を、車両１００と基準車両との前後長比に応じて補正するとともに、当該前後長比に応じて投影情報４００を補正する調整処理の方法である。調整方法３の場合、調整者による調整作業の作業負荷を低減させることができる。
【００５１】
加えて、調整方法３の場合、補正された車両１００の車両画像が基準車両の車両画像４３０と長さが等しくなる。また、調整方法３の場合、前後長比に応じて補正された撮像装置の位置と立体投影面の位置との関係に基づいて、投影情報４００を補正する。このため、調整方法３の場合、基準車両と比較して車両１００のサイズが大きくなるようなケースであっても、表示画像データにおいて、車両１００の車両画像の後面を表示することができる。
【００５２】
そこで、本実施形態における情報処理装置１５０の補正部１６０では、車両１００に搭載された立体俯瞰画像生成システム１４０に対して、調整方法３による調整処理を実行する。以下、調整方法３による調整処理を実行する情報処理装置１５０の詳細について説明する。
【００５３】
＜情報処理装置の詳細＞
（１）ハードウェア構成
はじめに、情報処理装置１５０のハードウェア構成について説明する。図８は、情報処理装置のハードウェア構成の一例を示す図である。
【００５４】
図８に示すように、情報処理装置１５０は、ＣＰＵ（Central Processing Unit）８０１、ＲＯＭ（Read Only Memory）８０２、ＲＡＭ（Random Access Memory）８０３を有する。ＣＰＵ８０１、ＲＯＭ８０２、ＲＡＭ８０３は、いわゆるコンピュータを形成する。また、情報処理装置１５０は、補助記憶装置８０４、入力装置８０５、表示装置８０６、接続装置８０７、ドライブ装置８０８を有する。なお、情報処理装置１５０の各ハードウェアは、バス８０９を介して相互に接続される。
【００５５】
ＣＰＵ８０１は、補助記憶装置８０４にインストールされた各種プログラム（例えば、補正プログラム等）を実行する。
【００５６】
ＲＯＭ８０２は、不揮発性メモリである。ＲＯＭ８０２は、補助記憶装置８０４にインストールされた各種プログラムをＣＰＵ８０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ８０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。
【００５７】
ＲＡＭ８０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ８０３は、補助記憶装置８０４にインストールされた各種プログラムがＣＰＵ８０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００５８】
補助記憶装置８０４は、インストールされた各種プログラムや、各種プログラムを実行する際に用いる各種情報を記憶する補助記憶デバイスである。
【００５９】
入力装置８０５は、情報処理装置１５０を用いて調整作業を行う調整者等が情報処理装置１５０に対して各種指示を入力する際に用いる入力デバイスである。
【００６０】
表示装置８０６は、情報処理装置１５０の内部情報を表示する表示デバイスである。接続装置８０７は、情報処理装置１５０が、画像処理装置１２０と接続し、通信を行うための通信デバイスである。
【００６１】
ドライブ装置８０８はコンピュータ読み取り可能な記録媒体８１０をセットするためのデバイスである。ここでいう記録媒体８１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。あるいは、記録媒体８１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００６２】
なお、補助記憶装置８０４にインストールされる各種プログラムは、例えば、配布された記録媒体８１０がドライブ装置８０８にセットされ、該記録媒体８１０に記録された各種プログラムがドライブ装置８０８により読み出されることでインストールされる。あるいは、補助記憶装置８０４にインストールされる各種プログラムは、接続装置８０７を介してネットワークからダウンロードされることでインストールされてもよい。
【００６３】
（２）機能構成の詳細
次に、情報処理装置１５０の補正部１６０の機能構成の詳細について説明する。図９は、情報処理装置の補正部の機能構成の詳細を示す第１の図である。図９に示すように、補正部１６０は、車両情報入力部９０１、前後長比算出部９０２、投影情報取得部９０３、車両画像生成部９０４、投影情報補正部９０５、インストール部９０６を有する。
【００６４】
車両情報入力部９０１は入力部の一例であり、立体俯瞰画像生成システム１４０が搭載された車両１００のサイズ情報（車両幅、車両長さ）及び撮像装置情報（位置及び方向）を含む車両情報の入力を受け付ける。車両情報入力部９０１は、所定の操作画面を表示装置８０６に表示することで、調整者による車両情報の入力を受け付ける。車両情報入力部９０１は、入力を受け付けた車両情報を、前後長比算出部９０２に通知する。
【００６５】
前後長比算出部９０２は、車両情報入力部９０１より車両情報を受信すると、基準車両情報格納部９１１に格納された基準車両情報を読み出し、受信した車両情報と比較することで、車両１００と基準車両との前後長比（サイズ比）を算出する。また、前後長比算出部９０２は、算出した前後長比を、車両情報とともに、車両画像生成部９０４に通知する。
【００６６】
投影情報取得部９０３は取得部の一例であり、画像処理装置１２０の投影情報格納部１２５より投影情報４００を取得し、投影情報補正部９０５に通知する。
【００６７】
車両画像生成部９０４は生成部の一例であり、前後長比算出部９０２より車両情報を受信すると、車両情報に含まれる車両１００のサイズ情報（車両幅、車両長さ）に基づいて、車両１００の車両画像７００を生成する。また、車両画像生成部９０４は、生成した車両１００の車両画像７００を、受信した前後長比に基づいて補正することで（基準車両の車両画像４３０と長さが等しくなるように補正することで）、補正後車両画像（補正画像）を生成する。そして、車両画像生成部９０４は、生成した補正後車両画像を、インストール部９０６に通知する。
【００６８】
また、車両画像生成部９０４は、受信した前後長比に基づいて車両情報を補正することで、補正後車両情報を算出する。具体的には、車両画像生成部９０４は、車両情報に含まれる撮像装置情報（位置及び方向）のうち、位置について、受信した前後長比に基づいて補正することで、補正後車両情報（位置が補正された補正後の撮像装置情報）を算出する。そして、車両画像生成部９０４は、算出した補正後車両情報を、投影情報補正部９０５に通知する。
【００６９】
投影情報補正部９０５は補正部の一例である。投影情報補正部９０５は、投影情報取得部９０３より投影情報４００を受信する。また、投影情報補正部９０５は、車両画像生成部９０４より補正後車両情報を受信する。更に、投影情報補正部９０５は、立体投影面情報格納部９１２より、立体投影面を読み出す。
【００７０】
また、投影情報補正部９０５は、補正後車両情報に含まれる補正後の撮像装置情報により特定される撮像装置の位置と、読み出した立体投影面４２０の位置との関係に基づいて、各撮像画素座標に対する立体投影面座標を新たに算出する。更に、投影情報補正部９０５は、受信した投影情報４００の立体投影面座標を、新たに算出した立体投影面座標により補正することで補正後投影情報を生成し、インストール部９０６に通知する。
【００７１】
インストール部９０６は格納制御部の一例であり、通知された補正後投影情報と補正後車両画像とを画像処理装置１２０にインストールする。受信した画像処理装置１２０は、車両１００に合わせて調整された補正後投影情報及び補正後車両画像を用いて、立体俯瞰画像を生成し、表示画像データを表示することが可能となる。
【００７２】
（３）各格納部に格納された情報の具体例
次に、情報処理装置１５０の各格納部（基準車両情報格納部９１１、立体投影面情報格納部９１２）に格納された情報（基準車両情報、立体投影面情報）の具体例について説明する。
【００７３】
（３−１）基準車両情報の具体例
図１０は、基準車両情報の一例を示す図である。図１０に示すように、基準車両情報１０００には、情報の項目として、"車両長さ"、"車両幅"が含まれる。"車両長さ"には、基準車両の長さ（ＬＭ）が格納される。"車両幅"には、基準車両の幅（ＷＭ）が格納される。
【００７４】
（３−２）立体投影面情報の具体例
立体投影面情報の具体例は、例えば、図４の立体投影面４２０を用いて説明済みであり、かつ、調整方法３による調整処理の場合、立体投影面４２０を変更しないため、ここでは説明を省略する。
【００７５】
（４）車両情報入力部が表示する操作画面の具体例
次に、車両情報入力部９０１が表示装置８０６に表示する操作画面の具体例について説明する。図１１は、車両情報入力部が表示する操作画面の具体例を示す図である。
【００７６】
図１１に示すように、操作画面１１００には、車両１００のサイズ情報を入力するサイズ情報入力欄１１１０が含まれる。サイズ情報入力欄１１１０には、更に、車両１００の車両幅、車両長さを入力する入力欄が含まれる。
【００７７】
また、操作画面１１００には、車両１００に搭載される立体俯瞰画像生成システム１４０の撮像装置１１１〜撮像装置１１４の撮像装置情報（位置及び方向）を入力する撮像装置情報入力欄１１２０が含まれる。撮像装置情報入力欄１１２０には、撮像装置１１１〜撮像装置１１４の所定の基準位置からのｘ方向（車両１００の幅方向）の位置、ｙ方向（車両１００の長さ方向）の位置、ｚ方向（車両１００の高さ方向）の位置を入力する入力欄が含まれる。また、撮像装置情報入力欄１１２０には、撮像装置１１１〜撮像装置１１４のパン方向、チルト方向、ロール方向の角度を入力する入力欄が含まれる。
【００７８】
（５）投影情報補正部の処理の具体例
次に、投影情報補正部９０５の処理の具体例について説明する。上述したとおり、投影情報において各撮像画素座標に対する立体投影面座標は、撮像装置の位置と立体投影面の位置との関係に基づいて算出される。
【００７９】
そこで、以下では、まず、基準車両における撮像装置の位置と立体投影面の位置との関係を示し、基準車両における各撮像画素座標に対する立体投影面座標について説明する。続いて、車両１００における補正された撮像装置の位置と立体投影面の位置との関係を示し、車両１００における各撮像画素座標に対する立体投影面座標について説明する。
【００８０】
（５−１）基準車両における各撮像画素座標に対する立体投影面座標について
図１２は、基準車両における各撮像画素座標と立体投影面座標との関係を示した図である。図１２の１２００ａは立体投影面４２０を上方から見た様子を示しており、図１２の１２００ｂは、立体投影面４２０を側面から見た様子を示している。特に、図１２の１２００ｂは、基準車両における撮像装置１１４の位置と立体投影面４２０の位置との関係を示している。
【００８１】
図１２の１２００ｂに示すように、撮像装置１１４により撮像される画像データ４１４上に映し出される実空間の範囲は、撮像装置１１４の撮像装置情報（位置及び方向）に基づいて決まる。
【００８２】
そして、図１２の１２００ｂに示すような撮像装置１１４と立体投影面４２０との位置関係のもとでは、投影部１２２は、例えば、撮像装置１１４により撮像される画像データ４１４上の撮像画素１２０１を、立体投影面４２０上の位置１２１１に投影する。また、投影部１２２は、例えば、撮像装置１１４により撮像される画像データ４１４上の撮像画素１２０２を、立体投影面４２０上の位置１２１２に投影する。更に、投影部１２２は、例えば、撮像装置１１４により撮像される画像データ４１４上の撮像画素１２０３を、立体投影面４２０上の位置１２１３に投影する。
【００８３】
基準車両における各撮像画素座標に対する立体投影面座標は、上記のような関係にあり、投影情報格納部１２５に格納されている投影情報４００は、上記の関係を撮像装置ごと、撮像画素座標ごとにまとめることで生成される。
【００８４】
（５−２）車両１００における各撮像画素座標に対する立体投影面座標について
図１３は、基準車両とは異なる車種の車両における各撮像画素座標と立体投影面座標との関係を示した図である。このうち、図１３の１３００ａは立体投影面４２０を上方から見た様子を示している。図１３の１３００ａに示すように、車両１００の補正後車両画像１３１０は、車両１００のサイズ情報に基づいて生成された車両画像１３００を、車両１００の車両長さと、基準車両の車両長さとに基づいて算出される前後長比に応じて、補正することで生成される。
【００８５】
具体的には、車両１００の車両長さをＬＴ、基準車両の車両長さをＬＭとすると、前後長比＝ＬＭ／ＬＴとなる。したがって、車両画像生成部９０４は、車両１００のサイズ情報に基づいて生成された車両画像１３００を縦方向にＬＭ／ＬＴ倍、横方向にＬＭ／ＬＴ倍、高さ方向にＬＭ／ＬＴ倍することで補正後車両画像１３１０を生成する。例えば、ＬＴ＝８［ｍ］、ＬＭ＝５［ｍ］とすると、補正後車両画像１３１０は、車両１００のサイズ情報に基づいて生成された車両画像１３００を縦方向に５／８倍、横方向に５／８倍、高さ方向に５／８倍することで生成される。
【００８６】
図１３の１３００ｂは、立体投影面４２０を側面から見た様子を示しており、車両１００における撮像装置１１４の位置と立体投影面４２０の位置との関係を示している。なお、図１３の１３００ｂにおいて、点線は、車両１００の車両画像１３００と立体投影面４２０との位置関係を示している。また、実線は、車両１００の補正後車両画像１３１０と立体投影面４２０との位置関係を示している。
【００８７】
実線で示すように、車両１００の補正後車両画像１３１０と立体投影面４２０との位置関係の場合、投影部１２２は、例えば、画像データ４１４上の撮像画素１２０１を、立体投影面４２０上の位置１３１１に投影する。また、投影部１２２は、例えば、画像データ４１４上の撮像画素１２０２を、立体投影面４２０上の位置１３１２に投影する。更に、投影部１２２は、例えば、画像データ４１４上の撮像画素１２０３を、立体投影面４２０上の位置１３１３に投影する。
【００８８】
つまり、投影情報補正部９０５は、投影情報４００において、例えば、撮像画素１２０１の投影先となる立体投影面座標を、位置１２１１（図１２）の座標から位置１３１１（図１３）の座標へと補正する。同様に、投影情報補正部９０５は、投影情報４００において、例えば、撮像画素１２０２の投影先となる立体投影面座標を、位置１２１２（図１２）の座標から位置１３１２（図１３）の座標へと補正する。同様に、投影情報補正部９０５は、投影情報４００において、例えば、撮像画素１２０３の投影先となる立体投影面座標を、位置１２１３（図１２）の座標から位置１３１３（図１３）の座標へと補正する。
【００８９】
図１４は、補正後投影情報の具体例を示す図である。図１４に示すように、補正後投影情報１４００は、投影情報補正部９０５が、投影情報４００の"撮像画素座標"に対する"立体投影面座標"を上記のように補正することで生成される。
【００９０】
（６）補正部による調整処理の流れ
次に、情報処理装置１５０の補正部１６０による調整処理（調整方法３による調整処理）の流れについて説明する。図１５は、補正部による調整処理の流れを示すフローチャートである。情報処理装置１５０が画像処理装置１２０に接続され、補正部１６０が起動することで、図１５に示す調整処理が開始される。
【００９１】
ステップＳ１５０１において、車両情報入力部９０１は、表示装置８０６に操作画面１１００を表示し、情報処理装置１５０を用いて調整作業を行う調整者等により入力された、車両１００の車両情報を受け付ける。
【００９２】
ステップＳ１５０２において、前後長比算出部９０２は、基準車両情報格納部９１１に格納された基準車両情報１０００を読み出す。
【００９３】
ステップＳ１５０３において、前後長比算出部９０２は、車両情報に含まれる車両１００のサイズ情報（車両長さＬＴ）と、基準車両情報１０００（車両長さＬＭ）とに基づいて、前後長比を算出する。
【００９４】
ステップＳ１５０４において、車両画像生成部９０４は、車両１００のサイズ情報に基づいて生成される車両画像１３００を、前後長比に基づいて補正し、補正後車両画像１３１０を生成する。また、車両画像生成部９０４は、前後長比に基づいて車両情報に含まれる撮像装置情報を補正し、補正後車両情報を算出する。
【００９５】
ステップＳ１５０５において、投影情報取得部９０３は、画像処理装置１２０より投影情報４００を取得する。
【００９６】
ステップＳ１５０６において、投影情報補正部９０５は、補正後車両情報に含まれる撮像装置情報により特定される補正後の撮像装置の位置と、立体投影面４２０の位置との関係に基づいて、投影情報４００の立体投影面座標を補正する。これにより、投影情報補正部９０５は、補正後投影情報１４００を生成する。
【００９７】
ステップＳ１５０７において、インストール部９０６は、投影情報補正部９０５により生成された補正後投影情報１４００と、車両画像生成部９０４により生成された補正後車両画像１３１０とを、画像処理装置１２０にインストールするか否かを判定する。
【００９８】
ステップＳ１５０７において、インストールしないと判定した場合には（ステップＳ１５０７においてＮｏの場合には）、調整処理を終了する。一方、ステップＳ１５０７において、インストールすると判定した場合には（ステップＳ１５０７においてＹｅｓの場合には）、ステップＳ１５０８に進む。
【００９９】
ステップＳ１５０８において、インストール部９０６は、補正後投影情報１４００及び補正後車両画像１３１０を、画像処理装置１２０に送信し、インストールする。
【０１００】
＜調整処理を実行した後の表示画像データの具体例＞
次に、車両１００に搭載された立体俯瞰画像生成システム１４０に対して、調整方法３による調整処理（図１５）を実行した後（補正後投影情報１４００及び補正後車両画像１３１０がインストールされた後）の、表示画像データについて説明する。
【０１０１】
図１６は、調整方法３による調整処理を実行した後の、表示画像データの一例を示す図である。図７の７００ｂに示したように、調整方法２の場合、車両画像７００の後面を表示することができなかったところ、調整方法３によれば、表示画像データ１６００に示すように、補正後車両画像１３１０の後面を表示することができる。
【０１０２】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態における情報処理装置１５０では、
・基準車両に搭載される複数の撮像装置１１１〜１１４により撮像される複数の画像データを立体投影面に投影し、立体俯瞰画像を生成する際に用いられる投影情報４００を、立体俯瞰画像生成システム１４０より取得する。
・立体俯瞰画像生成システム１４０が搭載された、基準車両とは異なる車両１００のサイズ情報を含む車両情報の入力を受け付ける。
・基準車両情報と車両１００のサイズ情報とに基づいて生成した、基準車両と車両１００との前後長比に応じて、投影情報４００の立体投影面座標を補正し、補正後投影情報１４００を生成する。
・補正後投影情報１４００を車両１００に搭載された立体俯瞰画像生成システム１４０の画像処理装置１２０にインストールする。
【０１０３】
このように、情報処理装置１５０によれば、車両１００に、基準車両用の立体俯瞰画像生成システム１４０を搭載した場合でも、車両１００の車両情報を入力するだけで、適切な立体俯瞰画像を生成し、基準車両と同等の表示画像データを表示することが可能となる。
【０１０４】
つまり、第１の実施形態における情報処理装置１５０によれば、所定の車種用に提供された立体俯瞰画像生成システム１４０を、他の車種に搭載する際の調整作業における作業負荷を低減することができる。
【０１０５】
［第２の実施形態］
上記第１の実施形態では、立体投影面４２０を変更せずに、投影情報４００及び車両画像１３００を補正し、補正後投影情報１４００及び補正後車両画像１３１０を生成する場合について説明した。しかしながら、前後長比に基づいて生成される補正後車両画像１３１０は、基準車両の車両画像４３０と長さは等しいが、幅は狭い（図１３の１３００ａ参照）。
【０１０６】
このため、補正後車両画像１３１０を組み込んで立体俯瞰画像を生成した場合、補正後車両画像１３１０の左側面近傍及び右側面近傍の領域には、立体投影面座標が存在しない。
【０１０７】
これに対して、第２の実施形態では、立体投影面４２０を幅方向に変形し、当該領域において立体俯瞰画像が表示できるようにする。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【０１０８】
（１）機能構成の詳細
はじめに、情報処理装置１５０の補正部の機能構成の詳細について説明する。図１７は、情報処理装置の補正部の機能構成の詳細を示す第２の図である。図９との相違点は、図１７に示す補正部１７００の場合、立体投影面情報補正部１７０１を有している点である。
【０１０９】
立体投影面情報補正部１７０１は変形部の一例である。立体投影面情報補正部１７０１は、前後長比算出部９０２より前後長比を受信すると、立体投影面情報格納部９１２より立体投影面４２０を読み出す。また、立体投影面情報補正部１７０１は、読み出した立体投影面４２０を、前後長比に基づいて幅方向に変形し、補正後立体投影面を生成する。
【０１１０】
また、立体投影面情報補正部１７０１は、生成した補正後立体投影面を投影情報補正部９０５に通知する。これにより、投影情報補正部９０５では、補正後立体投影面と、補正後車両情報に基づいて投影情報を補正し、補正後投影情報１４００を生成する。
【０１１１】
（２）補正後立体投影面の具体例
次に、立体投影面情報補正部１７０１により生成される、補正後立体投影面の具体例について説明する。図１８は、立体投影面情報補正部の処理の具体例を示す図である。このうち、図１８の１８００ａは、立体投影面情報補正部１７０１により変形される前の立体投影面４２０に、補正後車両画像１３１０を組み込んだ様子を示している。一方、図１８の１８００ｂは、立体投影面情報補正部１７０１により変形された後の補正後立体投影面１８００に、補正後車両画像１３１０を組み込んだ様子を示している。
【０１１２】
図１８の１８００ａとの対比から明らかなように、図１８の１８００ｂの場合、補正後車両画像１３１０の左側面及び右側面において、補正後立体投影面１８００との間に隙間がない。このため、補正後立体投影面１８００の場合、補正後車両画像１３１０の左側面及び右側面近傍にも、立体俯瞰画像を表示することができる。
【０１１３】
この結果、第２の実施形態によれば、より違和感のない表示画像データを表示することができる。
【０１１４】
［その他の実施形態］
上記第１及び第２の実施形態では、立体俯瞰画像生成システム１４０とは別体の情報処理装置１５０に補正プログラムをインストールし、情報処理装置１５０を補正部１６０として機能させるものとして説明した。しかしながら、補正プログラムは、例えば、画像処理装置１２０にインストールし、画像処理装置１２０を補正部１６０として機能させるように構成してもよい。
【０１１５】
また、上記第１及び第２の実施形態では、情報処理装置１５０を画像処理装置１２０に通信可能に接続することで、補正後投影情報１４００及び補正後車両画像１３１０を、画像処理装置１２０にインストールするものとして説明した。しかしながら、補正後投影情報１４００及び補正後車両画像１３１０のインストール方法はこれに限定されない。
【０１１６】
例えば、生成した補正後投影情報１４００及び補正後車両画像１３１０を記録媒体に格納し、画像処理装置１２０が、当該記録媒体に格納された補正後投影情報１４００及び補正後車両画像１３１０を読み出すことで、インストールするように構成してもよい。
【０１１７】
あるいは、情報処理装置１５０において生成された補正後投影情報１４００及び補正後車両画像１３１０を、他の通信端末に送信し、当該他の通信端末が画像処理装置１２０にアクセスして、インストールするように構成してもよい。
【０１１８】
また、上記第１及び第２の実施形態では、操作画面１１００を介して調整者が入力することで撮像装置情報を取得する場合について説明した。しかしながら、撮像装置情報の取得方法はこれに限定されない。例えば、車両１００の周囲に基準となる複数のマーカを配置し、撮像装置１１１〜１１４がそれぞれの撮像範囲に含まれるマーカを撮像することで画像データを取得し、取得した画像データを解析することで、撮像装置情報を取得するように構成してもよい。
【０１１９】
また、上記第２の実施形態では、前後長比に応じて立体投影面４２０を幅方向に変形することで、補正後車両画像１３１０の左側面及び右側面近傍にも、立体俯瞰画像が表示できるように構成した。しかしながら、立体投影面４２０の変形方法はこれに限定されず、例えば、立体投影面４２０のうち、補正後車両画像１３１０の左側面及び右側面に対応する領域のみを、前後長比に応じて変形するように構成してもよい。
【０１２０】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１２１】
１００            ：車両
１１１〜１１４    ：撮像装置
１２０            ：画像処理装置
１３０            ：操作装置
１３１            ：表示装置
１４０            ：立体俯瞰画像生成システム
１５０            ：情報処理装置
１６０            ：補正部
４００            ：投影情報
４１１〜４１４    ：画像データ
４２０            ：立体投影面
４３０            ：車両画像
５０１〜５０３    ：視点位置
５１０            ：表示画像データ
７００            ：車両画像
７１０            ：表示画像データ
９０１            ：車両情報入力部
９０２            ：前後長比算出部
９０３            ：投影情報取得部
９０４            ：車両画像生成部
９０５            ：投影情報補正部
９０６            ：インストール部
１０００          ：基準車両情報
１１００          ：操作画面
１３００          ：車両画像
１３１０          ：補正後車両画像
１４００          ：補正後投影情報
１６００          ：表示画像データ
１７００          ：補正部
１７０１          ：立体投影面情報補正部
１８００          ：補正後立体投影面
【図１】
2019038901.tif 000003
【図２】
2019038901.tif 000004
【図３】
2019038901.tif 000005
【図４】
2019038901.tif 000006
【図５】
2019038901.tif 000007
【図６】
2019038901.tif 000008
【図７】
2019038901.tif 000009
【図８】
2019038901.tif 000010
【図９】
2019038901.tif 000011
【図１０】
2019038901.tif 000012
【図１１】
2019038901.tif 000013
【図１２】
2019038901.tif 000014
【図１３】
2019038901.tif 000015
【図１４】
2019038901.tif 000016
【図１５】
2019038901.tif 000017
【図１６】
2019038901.tif 000018
【図１７】
2019038901.tif 000019
【図１８】
2019038901.tif 000020
【国際調査報告】
2019038901.tif 000021
2019038901.tif 000022
2019038901.tif 000023
2019038901.tif 000024