(57)【要約】  本開示は、より周辺状況を確認し易くすることができるようにする画像処理装置および画像処理方法、並びにプログラムに関する。視点決定部は、任意の速度で移動可能な車両の速度に応じて、所定の視点から移動体を見た場合の移動体の周囲に関する視点画像の視点を決定する。そして、画像合成部は、車両の周囲が撮影された画像において車両が存在し得る位置に、車両のイメージ画像を合成し、射影変換部は、視点決定部により決定された視点からの見た目となる視点画像を、画像合成部により車両のイメージ画像が合成された画像を射影変換することで生成する。本技術は、例えば、車両に搭載される画像処理装置に適用できる。
2019142660.tif 000002
【特許請求の範囲】
【請求項１】
任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定する決定部と、
前記決定部により決定された前記視点からの見た目となる前記視点画像を生成する生成部と、
前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成する合成部と
を備える画像処理装置。
【請求項２】
前記決定部は、前記移動体の速度が第１の速度である場合に、前記移動体の速度が前記第１の速度より遅い第２の速度に比べて、前記視点からの視線の方向の鉛直方向に対する角度が大きくなるように前記視点を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記移動体の周囲にある他の物体の動きを推定して動きベクトルを求める推定部
をさらに備え、
前記決定部は、前記推定部により求められた前記動きベクトルに基づいて前記移動体の速度を算出し、前記視点を決定する
請求項１に記載の画像処理装置。
【請求項４】
前記推定部により求められた前記動きベクトルに基づいて、過去の時点で前記移動体の周囲が撮影された過去画像に写されている前記他の物体を現在あるべき位置に補償する動き補償部
をさらに備え、
前記合成部は、前記動き補償部により動き補償が行われた前記過去画像において前記移動体が現在存在し得る位置に、前記移動体に関する画像を合成する
請求項３に記載の画像処理装置。
【請求項５】
前記生成部は、前記合成部が前記過去画像に前記移動体に関する画像を合成した画像合成結果に対して、前記視点に応じた射影変換を行うことにより前記視点画像を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記移動体の周囲を撮影して得られる画像から、前記移動体の周囲にある他の物体のテクスチャを生成するテクスチャ生成部と、
前記移動体の周囲をセンシングして得られるデプス画像から、前記移動体の周囲にある他の物体の３次元モデルを構成する３次元モデル構成部と
をさらに備え、
前記生成部は、前記テクスチャが貼られた前記３次元モデルを前記視点から見た透視投影画像を生成する透視投影変換を行い、
前記合成部は、前記透視投影画像において前記移動体が存在し得る位置に、前記移動体に関する画像を合成することにより前記視点画像を生成する
請求項１に記載の画像処理装置。
【請求項７】
前記決定部は、前記移動体が前進しているときには前記移動体よりも後方となる位置に前記視点を決定し、前記移動体が後退しているときには前記移動体よりも前方となる位置に前記視点を決定する
請求項１に記載の画像処理装置。
【請求項８】
前記決定部は、前記移動体が後退しているときよりも、前記移動体が前進しているときの方が、前記視点からの視線の方向の鉛直方向に対する角度が大きくなるように前記視点を決定する
請求項７に記載の画像処理装置。
【請求項９】
前記決定部は、前記移動体の周囲を異なるタイミングで撮影した少なくとも２枚の画像から求められる前記移動体の速度に応じて、前記視点を決定する
請求項１に記載の画像処理装置。
【請求項１０】
前記決定部は、前記移動体の速度に応じた移動量で、前記視点の原点を前記移動体の中心から移動させる
請求項１に記載の画像処理装置。
【請求項１１】
前記決定部は、前記移動体が後退している場合、前記移動体の後部に前記原点を移動させる
請求項１０に記載の画像処理装置。
【請求項１２】
前記移動体の周囲を広角に撮影して得られる画像に生じている歪を補正する歪補正部と、
前記歪補正部により歪が補正された前記画像をガイド信号として、前記移動体の周囲をセンシングして得られるデプス画像の解像度を向上させる処理を行うデプス画像合成部と
を備え、
前記視点画像の生成に、前記歪補正部により歪が補正された前記画像の過去フレームおよび現在フレームと、前記デプス画像合成部により解像度が向上された前記デプス画像の過去フレームおよび現在フレームとが用いられる
請求項１に記載の画像処理装置。
【請求項１３】
画像処理を行う画像処理装置が、
任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定することと、
その決定された前記視点からの見た目となる前記視点画像を生成することと、
前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成することと
を含む画像処理方法。
【請求項１４】
画像処理を行う画像処理装置のコンピュータに、
任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定することと、
その決定された前記視点からの見た目となる前記視点画像を生成することと、
前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成することと
を含む画像処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、より周辺状況を確認し易くすることができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、車両が駐車する際に利用することを目的として、車両に搭載された複数台のカメラにより広角で撮影された画像を、車両の周囲を上方から見下ろしたような画像に変換する画像処理を施して運転者に提示する画像処理装置が実用化されている。また、今後の自動運転の普及に伴って、走行時にも周辺状況を確認することを可能とすることが期待されている。【０００３】
例えば、特許文献１には、シフトレバー操作やスイッチ操作に応じて、車両を見る視点を切り替えてユーザに提示する車両周辺監視装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２２１９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述したような車両周辺監視装置では、車両の速度に応じて視点を切り替えることが考慮されていないため、例えば、高速走行時において車両の速度に対して十分な前方の視野が確保されずに、周辺状況を確認し難くなることが想定される。また、視点を切り替える際に、シフトレバーの操作情報を用いているため、ECU（電子制御ユニット）を介して信号を処理する必要があり、遅延が発生する可能性がある。【０００６】
本開示は、このような状況に鑑みてなされたものであり、より周辺状況を確認し易くすることができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像処理装置は、任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定する決定部と、前記決定部により決定された前記視点からの見た目となる前記視点画像を生成する生成部と、前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成する合成部とを備える。【０００８】
本開示の一側面の画像処理方法は、画像処理を行う画像処理装置が、任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定することと、その決定された前記視点からの見た目となる前記視点画像を生成することと、前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成することとを含む。【０００９】
本開示の一側面のプログラムは、画像処理を行う画像処理装置のコンピュータに、任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定することと、その決定された前記視点からの見た目となる前記視点画像を生成することと、前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成することとを含む画像処理を実行させる。【００１０】
本開示の一側面においては、任意の速度で移動可能な移動体の速度に応じて、所定の視点から移動体を見た場合の移動体の周囲に関する視点画像の視点が決定され、その決定された視点からの見た目となる視点画像が生成され、視点画像における移動体が存在し得る位置に、移動体に関する画像が合成される。
【発明の効果】
【００１１】
本開示の一側面によれば、より周辺状況を確認し易くすることができる。【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】歪補正処理について説明する図である。
【図３】静止時の車両に対して設定される視点の一例を示す図である。
【図４】前進時の車両に対して設定される視点の一例を示す図である。
【図５】高速走行時の車両に対して設定される視点の一例を示す図である。
【図６】後退時の車両に対して設定される視点の一例を示す図である。
【図７】原点の補正について説明する図である。
【図８】視点変換画像生成部の第１の構成例を示すブロック図である。
【図９】画像合成結果について説明する図である。
【図１０】視点変換画像生成部の第２の構成例を示すブロック図である。
【図１１】障害物における対応点のマッチングについて説明する図である。
【図１２】視点決定部の構成例を示すブロック図である。
【図１３】パラメータｒ、パラメータθ、およびパラメータφを定義する図である。
【図１４】パラメータｒおよびパラメータθのルックアップテーブルの一例を示す図である。
【図１５】極座標の直角座標への変換について説明する図である。
【図１６】原点補正ベクトルＸdiffのルックアップテーブルの一例を示す図である。
【図１７】画像処理を説明するフローチャートである。
【図１８】視点変換画像生成処理の第１の処理例を説明するフローチャートである。
【図１９】視点変換画像生成処理の第２の処理例を説明するフローチャートである。
【図２０】画像処理装置を搭載する車両の一例を示す図である。
【図２１】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【図２２】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２３】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１４】
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１５】
＜画像処理装置の構成例＞
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１６】
図１に示すように、画像処理装置１１は、歪補正部１２、可視画像メモリ１３、デプス画像合成部１４、デプス画像メモリ１５、および視点変換画像生成部１６を備えて構成される。
【００１７】
例えば、画像処理装置１１は、後述する図２０に示すような車両２１に搭載して用いられ、車両２１には、複数台のＲＧＢカメラ２３および距離センサ２４が備えられている。そして、画像処理装置１１には、複数台のＲＧＢカメラ２３により車両２１の周囲を撮影して得られる広角かつ高解像度の可視画像が供給されるとともに、複数台の距離センサ２４により車両２１の周囲をセンシングして得られる狭角かつ低解像度のデプス画像が供給される。
【００１８】
そして、画像処理装置１１の歪補正部１２には、複数台のＲＧＢカメラ２３それぞれから複数枚の可視画像が供給されるとともに、画像処理装置１１のデプス画像合成部１４には、複数台の距離センサ２４それぞれから複数枚のデプス画像が供給される。
【００１９】
歪補正部１２は、ＲＧＢカメラ２３から供給される広角かつ高解像度の可視画像に対して、広い画角で撮影が行われたことにより生じている歪を補正する歪補正処理を施す。例えば、ＲＧＢカメラ２３のレンズの設計データに従った補正パラメータが、歪補正部１２に対して予め用意されている。そして、歪補正部１２は、可視画像を複数の小ブロックに分割し、それぞれの小ブロック内の各画素の座標を補正パラメータに従って補正後の座標に変換して転送し、転送先の画素の隙間をLanczosフィルタなどで補完した後に、矩形にクリッピングする。このような歪補正処理によって、歪補正部１２は、広角に撮影して得られる可視画像に生じている歪を補正することができる。
【００２０】
例えば、歪補正部１２は、図２の上側に示すように歪が生じている可視画像に対して歪補正処理を施すことにより、図２の下側に示すように歪が補正された（即ち、直線部分が直線として表された）可視画像を得ることができる。そして、歪補正部１２は、歪を補正した可視画像を、可視画像メモリ１３、デプス画像合成部１４、および視点変換画像生成部１６に供給する。なお、以下適宜、歪補正部１２が、ＲＧＢカメラ２３から供給される最新の可視画像に対して歪補正処理を施すことにより得られ、視点変換画像生成部１６に供給される可視画像を、現在フレーム可視画像と称する。
【００２１】
可視画像メモリ１３は、歪補正部１２から供給される可視画像を、所定数のフレームの分だけ記憶する。そして、視点変換画像生成部１６において処理を行うのに必要なタイミングで、可視画像メモリ１３に記憶されている過去の可視画像が、過去フレーム可視画像として可視画像メモリ１３から読み出される。
【００２２】
デプス画像合成部１４は、歪補正部１２から供給される歪補正が施された可視画像をガイド信号として、それぞれの可視画像に対応する方向が撮影されたデプス画像の解像度を向上させるための合成処理を施す。例えば、デプス画像合成部１４は、入力画像をガイド信号の線形回帰で表現するようなガイデットフィルタ（Guided Filter）を用いることにより、一般的には疎なデータであるデプス画像の解像度を向上させることができる。そして、デプス画像合成部１４は、解像度を向上させたデプス画像を、デプス画像メモリ１５および視点変換画像生成部１６に供給する。なお、以下適宜、デプス画像合成部１４が、距離センサ２４から供給される最新のデプス画像に対して合成処理を施すことにより得られ、視点変換画像生成部１６に供給されるデプス画像を、現在フレームデプス画像と称する。
【００２３】
デプス画像メモリ１５は、デプス画像合成部１４から供給されるデプス画像を、所定数のフレームの分だけ記憶する。そして、視点変換画像生成部１６において処理を行うのに必要なタイミングで、デプス画像メモリ１５に記憶されている過去のデプス画像が、過去フレームデプス画像としてデプス画像メモリ１５から読み出される。
【００２４】
視点変換画像生成部１６は、例えば、歪補正部１２から供給される現在フレーム可視画像、または、可視画像メモリ１３から読み出した過去フレーム可視画像に対して、車両２１を上側から見下ろすような視点となるように視点変換を行うことにより視点変換画像を生成する。さらに、視点変換画像生成部１６は、デプス画像合成部１４から供給される現在フレームデプス画像、および、デプス画像メモリ１５から読み出した過去フレームデプス画像も用いることによって、より最適な視点変換画像を生成することができる。
【００２５】
このとき、視点変換画像生成部１６は、車両２１の進行方向および車両速度に応じて、最適な視点位置および視線方向で車両２１を見下ろすような視点変換画像を生成することができるように、視点を設定することができる。ここで、図３乃至図７を参照して、視点変換画像生成部１６が視点変換画像を生成する際に設定される視点の視点位置および視線方向について説明する。
【００２６】
例えば、図３に示すように、視点変換画像生成部１６は、車両２１が静止しているとき、車両２１の中心を原点として、車両２１の中心の真上となる視点位置から、一点鎖線で示すように真下の原点に向かう視線方向となるように視点を設定する。これにより、図３の右側に示すように、車両２１の真上から真下に向かって、車両２１を見下ろすような視点変換画像が生成される。
【００２７】
また、図４に示すように、視点変換画像生成部１６は、車両２１が前進しているとき、車両２１の中心を原点として、車両２１の後方斜め上となる視点位置から、一点鎖線で示すように下側の斜め前方の原点に向かう視線方向となるように視点を設定する。これにより、図４の右側に示すように、車両２１の後方斜め上から下側の斜め前方に向かって、車両２１の進行方向を見下ろすような視点変換画像が生成される。
【００２８】
さらに、図５に示すように、視点変換画像生成部１６は、車両２１が高速走行しているとき、車両２１の中心を原点として、前進時よりも後方へ遠くの斜め上となる視点位置から、一点鎖線で示すように下側の斜め前方の原点に向かって低い視線となる視線方向となるように視点を設定する。即ち、車両２１の速度が増加するのに伴って、視点から原点へ向かうように一点鎖線で図示されている視線の鉛直方向に対する角度（後述する図１３に示すθ）が大きくなるように視点が設定される。例えば、車両２１の速度が第１の速度である場合に、車両２１の速度が第１の速度より遅い第２の速度に比べて、視線の方向の鉛直方向に対する角度が大きくなるように視点が設定される。これにより、図５の右側に示すように、車両２１の後方斜め上から下側の斜め前方に向かって、前進時よりも広い範囲に亘って車両２１の進行方向を見下ろすような視点変換画像が生成される。
【００２９】
一方、図６に示すように、視点変換画像生成部１６は、車両２１が後退しているとき、車両２１の中心を原点として、車両２１の前方斜め上となる視点位置から、一点鎖線で示すように下側の斜め後方の原点に向かう視線方向となるように視点を設定する。これにより、図６の右側に示すように、車両２１の前方斜め上から斜め後方下側に向かって、車両２１を進行方向の反対側を見下ろすような視点変換画像が生成される。なお、車両２１が後退しているときよりも、車両２１が前進しているときの方が、視線の鉛直方向に対する角度が大きくなるように視点が設定される。
【００３０】
なお、視点変換画像生成部１６は、視点変換画像を生成する際の視点の原点（注視点）を、図３乃至図６に示したように車両２１の中心に固定的に設定する他、車両２１の中心以外に設定することができる。
【００３１】
例えば、図７に示すように、視点変換画像生成部１６は、車両２１が後退しているとき、車両２１の後部に移動させた位置に原点を設定することができる。そして、視点変換画像生成部１６は、車両２１の前方斜め上となる視点位置から、一点鎖線で図示されているように下側の斜め後方の原点に向かう視線方向となるように視点を設定する。これにより、車両２１の中心に原点を設定した図６の例と比較して、図７に示す例では、車両２１の後部にある障害物を認識し易くなり、視認性の高い視点変換画像を生成することができる。
【００３２】
以上のように構成される画像処理装置１１は、車両２１の速度に応じて視点を設定することにより、より周辺状況を確認し易くなるような視点変換画像を生成して、運転者に提示することができる。例えば、画像処理装置１１は、高速走行時には、遠方の視野も十分に確保できるように視点を設定することができるので、より見やすく、かつ、運転の安全性を高めることができる。
【００３３】
＜視点変換画像生成部の第１の構成例＞
図８は、視点変換画像生成部１６の第１の構成例を示すブロック図である。
【００３４】
図８に示すように、視点変換画像生成部１６は、動き推定部３１、動き補償部３２、画像合成部３３、記憶部３４、視点決定部３５、および射影変換部３６を備えて構成される。
【００３５】
動き推定部３１は、現在フレーム可視画像および過去フレーム可視画像、並びに、現在フレームデプス画像および過去フレームデプス画像を用いて、それらの画像に写されている動きのある物体（以下、動物体と称する）の動きを推定する。例えば、動き推定部３１は、複数のフレームの可視画像に写されている同一の動物体に対して動きベクトル探索（ME：Motion Estimation）を行うことにより、その動物体の動きを推定する。そして、動き推定部３１は、動物体の動きを推定した結果として求められる動きベクトルを、動き補償部３２および視点決定部３５に供給する。
【００３６】
動き補償部３２は、動き推定部３１から供給される動物体の動きベクトルに基づいて、ある過去フレーム可視画像に写されている動物体を現在の位置に補償する動き補償（MC：Motion Compensation）を行う。これにより、動き補償部３２は、過去フレーム可視画像に写されている動物体の位置が、その動物体が現在あるべき位置に合うように修正することができる。そして、動き補償を行った過去フレーム可視画像を、画像合成部３３に供給する。
【００３７】
画像合成部３３は、記憶部３４から車両２１のイメージ画像を読み出し、動き補償部３２により動き補償が行われた過去フレーム可視画像における車両２１が現在あるべき位置（車両２１が存在し得る位置）である現在位置に合わせて、車両２１のイメージ画像を合成した画像合成結果（後述する図９参照）を生成する。なお、画像合成部３３は、車両２１が静止しているときには、現在フレーム可視画像における車両２１の現在位置に合わせて、車両２１のイメージ画像を合成した画像合成結果を生成する。そして、画像合成部３３は、生成した画像合成結果を射影変換部３６に供給する。
【００３８】
記憶部３４には、事前情報として、車両２１のイメージ画像のデータ（車両２１に関する画像であって、後方または前方から車両２１を見た画像データ）が記憶されている。
【００３９】
視点決定部３５は、まず、動き推定部３１から供給される動きベクトルに基づいて、車両２１の速度を算出する。そして、視点決定部３５は、算出した車両２１の速度に応じた視点位置および視線方向の視点となるように、その視点からの見た目となる視点変換画像を生成する際の視点を決定し、その視点を示す情報（例えば、後述の図１２を参照して説明するような視点座標（ｘ，ｙ，ｚ）など）を射影変換部３６に供給する。なお、視点決定部３５は、異なるタイミングで撮影された少なくとも２フレームの可視画像から、車両２１の速度を求め、その速度に応じて視点を決定してもよい。
【００４０】
射影変換部３６は、画像合成部３３から供給される画像合成結果に対し、視点決定部３５により決定された視点からの見た目となるような射影変換を施す。これにより、射影変換部３６は、車両２１の速度に応じて視点が変更される視点変換画像を取得することができ、例えば、ヘッドアップディスプレイやナビゲーション装置、外部機器などの後段の表示装置（図示せず）に視点変換画像を出力する。
【００４１】
ここで、図９を参照して、画像合成部３３から出力される画像合成結果について説明する。
【００４２】
例えば、図９の上段に示すように、現時点よりも過去のある時点における車両２１の位置である過去位置において、車両２１の前方が撮影された過去フレーム可視画像が可視画像メモリ１３から読み出されて、画像合成部３３に供給される。この時点では、車両２１の前方に位置している他の車両２２は、車両２１よりも遠くに位置しており、過去フレーム可視画像において小さく写されている。
【００４３】
その後、図９の中段に示すように、車両２１が他の車両２２に近づいた現時点における車両２１の現在位置において、車両２１の前方を撮影した可視画像である現在フレーム可視画像では、他の車両２２は、過去フレーム可視画像のときよりも大きく写されている。
【００４４】
このとき、画像合成部３３は、車両２１の現在位置を後方から見たような過去フレーム可視画像に対して、車両２１を後方から見たイメージ画像を、車両２１の現在位置に合成することで、図９の下段に示すような画像合成結果を出力することができる。そして、その後、射影変換部３６による射影変換が行われることで、上側から見下ろすような視点変換が行われる。
【００４５】
以上のように、視点変換画像生成部１６は、車両２１の速度に応じて視点が設定される視点変換画像を生成することができる。このとき、視点変換画像生成部１６では、視点決定部３５が内部的に車両２１の速度を求めることができるので、例えば、ECU（Electronic Control Unit）の処理を必要とせず、低遅延で視点を決定することができる。
【００４６】
＜視点変換画像生成部の第２の構成例＞
図１０は、視点変換画像生成部１６の第２の構成例を示すブロック図である。
【００４７】
図１０に示すように、視点変換画像生成部１６Ａは、視点決定部３５Ａ、マッチング部４１、テクスチャ生成部４２、３次元モデル構成部４３、透視投影変換部４４、画像合成部４５、および記憶部４６を備えて構成される。
【００４８】
視点決定部３５Ａには、図示しないECUから自車動き情報として車両２１のハンドル操作や速度などが供給される。そして、視点決定部３５Ａは、それらの自車動き情報を用いて、車両２１の速度に応じた視点位置および視線方向の視点となるように、その視点からの見た目となる視点変換画像を生成する際の視点を決定し、その視点を示す情報を透視投影変換部４４に供給する。なお、視点決定部３５Ａの詳細な構成については、図１２を参照して後述する。
【００４９】
マッチング部４１は、現在フレーム可視画像、過去フレーム可視画像、現在フレームデプス画像、および過去フレームデプス画像を用いて、車両２１の周囲にある物体の表面に設定される複数の対応点のマッチングを行う。
【００５０】
例えば、図１１に示すように、マッチング部４１は、複数の過去位置で取得された過去画像（過去フレーム可視画像または過去フレームデプス画像）と、現在位置で取得された現在画像（現在フレーム可視画像または現在フレームデプス画像）で、それらの画像上で障害物の表面の同一となる対応点をマッチングすることができる。
【００５１】
テクスチャ生成部４２は、マッチング部４１から供給される可視画像のマッチング結果に基づいて、現在フレーム可視画像と過去フレーム可視画像との対応点に合わせて、それらをスティッチングする。そして、テクスチャ生成部４２は、スティッチングにより得られた可視画像から、車両２１の周囲にある物体の表面や質感を表現するためのテクスチャを生成して透視投影変換部４４に供給する。
【００５２】
３次元モデル構成部４３は、マッチング部４１から供給されるデプス画像のマッチング結果に基づいて、現在フレームデプス画像と過去フレームデプス画像との対応点に合わせて、それらをスティッチングする。そして、３次元モデル構成部４３は、スティッチングにより得られたデプス画像から、車両２１の周囲にある物体を３次元的に表現するための３次元モデルを構成して透視投影変換部４４に供給する。
【００５３】
透視投影変換部４４は、テクスチャ生成部４２から供給されるテクスチャを、３次元モデル構成部４３から供給される３次元モデルに対して適用し、テクスチャが貼られた３次元モデルを、視点決定部３５Ａにより決定された視点から見た透視投影画像を作成して、画像合成部４５に供給する。例えば、透視投影変換部４４は、次の式（１）に示す透視投影変換行列を用いて視点変換画像を作成することができる。ここで、式（１）は、視点ｘV3＝−ｄおよび投影面ｘV3＝０のとき、任意の点ｘVから投影点ｘ0の同時座標表現ｙ0への透視投影を表しており、例えば、ｄが無限大であるとき平行投影となる。
【００５４】
【数１】
2019142660.tif 000003
【００５５】
画像合成部４５は、記憶部４６から車両２１のイメージ画像を読み出し、透視投影変換部４４から供給される透視投影画像における車両２１の現在位置に合わせて、車両２１のイメージ画像を合成する。これにより、画像合成部４５は、図３乃至７を参照して上述したような視点変換画像を取得することができ、例えば、後段の表示装置（図示せず）に出力する。
【００５６】
記憶部４６には、事前情報として、車両２１のイメージ画像のデータ（車両２１に関する画像であって、それぞれの視点から車両２１を見た画像データ）が記憶されている。
【００５７】
以上のように、視点変換画像生成部１６Ａは、車両２１の速度に応じて視点が設定された視点変換画像を生成することができる。このとき、視点変換画像生成部１６Ａでは、３次元モデルを使用することにより、より自由度が高く、確実に死角が少なくなるような視点変換画像を生成することができる。
【００５８】
＜視点決定部の構成例＞
図１２乃至図１６を参照して、視点決定部３５Ａの構成例、および、視点決定部３５Ａで行われる処理の一例について説明する。なお、以下では、視点決定部３５Ａについて説明するが、例えば、図８の視点決定部３５において、動きベクトルから車両２１の速度を算出した後には、その速度を用いて、視点決定部３５Ａと同様の処理が行われる。
【００５９】
図１２に示すように、視点決定部３５Ａは、パラメータ算出部５１、θルックアップテーブル記憶部５２、ｒルックアップテーブル記憶部５３、視点座標算出部５４、原点座標補正部５５、Ｘルックアップテーブル記憶部５６、および、補正後視点座標算出部５７を備えて構成される。
【００６０】
ここで、図１３に示すように、視点決定部３５Ａにおいて用いられる角度のパラメータθは、車両２１の中心を通る鉛直線に対して視点の方向が成す角度を示す。同様に、距離のパラメータｒは、車両２１の中心から視点までの距離を示し、傾きのパラメータφは、車両２１の進行方向に対して視点が傾いている角度を示す。また、車両速度は、車両２１の進行方向をプラスとし、その進行方向に対して反対となる方向をマイナスとする。
【００６１】
パラメータ算出部５１は、上述したような自車動き情報により示される車両速度に従って、車両２１の中心から視点までの距離を示すパラメータｒ、および、車両２１の中心を通る鉛直線に対して視点の方向が成す角度を示すパラメータθを算出して、視点座標算出部５４に供給する。
【００６２】
例えば、パラメータ算出部５１は、図１４のＡに示すような速度とパラメータｒとの関係に基づいて、パラメータｒを求めることができる。図１４のＡに示す例では、第１の速度閾値ｒｔｈｘ１から第２の速度閾値ｒｔｈｘ２までは、第１のパラメータ閾値ｒｔｈｙ１から第２のパラメータ閾値ｒｔｈｙ２まで、パラメータｒは直線的に減少するように変化する。また、第２の速度閾値ｒｔｈｘ２から速度０までは、第２のパラメータ閾値ｒｔｈｙ２から０まで、パラメータｒは直線的に減少するように変化し、速度０から第３の速度閾値ｒｔｈｘ３までは、０から第３のパラメータ閾値ｒｔｈｙ３まで、パラメータｒは直線的に増加するように変化する。同様に、第３の速度閾値ｒｔｈｘ３から第４の速度閾値ｒｔｈｘ４までは、第３のパラメータ閾値ｒｔｈｙ３から第４のパラメータ閾値ｒｔｈｙ４まで、パラメータｒは直線的に増加するように変化する。このように、パラメータｒは、速度ベクトルのプラス方向およびマイナス方向で、それぞれ２段階で速度に対する減少率または増加率が遷移するように設定されており、それぞれの傾きは適切な距離となるように設定される。
【００６３】
同様に、パラメータ算出部５１は、図１４のＢに示すような速度とパラメータθとの関係に基づいて、パラメータθを求めることができる。図１４のＢに示す例では、第１の速度閾値θｔｈｘ１から第２の速度閾値θｔｈｘ２までは、第１のパラメータ閾値θｔｈｙ１から第２のパラメータ閾値θｔｈｙ２まで、パラメータθは直線的に増加するように変化する。また、第２の速度閾値θｔｈｘ２から速度０までは、第２のパラメータ閾値θｔｈｙ２から０まで、パラメータθは直線的に増加するように変化し、速度０から第３の速度閾値θｔｈｘ３までは、０から第３のパラメータ閾値θｔｈｙ３まで、パラメータθは直線的に増加するように変化する。同様に、第３の速度閾値θｔｈｘ３から第４の速度閾値θｔｈｘ４までは、第３のパラメータ閾値θｔｈｙ３から第４のパラメータ閾値θｔｈｙ４まで、パラメータθは直線的に増加するように変化する。このように、パラメータθは、速度ベクトルのプラス方向およびマイナス方向で、それぞれ２段階で速度に対する増加率が遷移するように設定されており、それぞれの傾きは適切な角度となるように設定される。
【００６４】
θルックアップテーブル記憶部５２には、パラメータ算出部５１がパラメータθを求める際に参照するルックアップテーブルとして、図１４のＢに示したような関係が記憶されている。
【００６５】
ｒルックアップテーブル記憶部５３には、パラメータ算出部５１がパラメータｒを求める際に参照するパラメータｒのルックアップテーブルとして、図１４のＡに示したような関係が記憶されている。
【００６６】
視点座標算出部５４は、パラメータ算出部５１から供給されるパラメータｒおよびパラメータθと、上述したような自車動き情報により示されるパラメータφ（例えば、ハンドル操作を示す情報）とを用いて視点座標を算出し、補正後視点座標算出部５７に供給する。例えば、視点座標算出部５４は、図１５に示すように、極座標を直角座標に変換する公式を用いることで、自車両を中心としたときの視点座標（ｘ0，ｙ0，ｚ0）を算出することができる。なお、パラメータφは、運転者や開発者などによって設定される値を用いてもよい。
【００６７】
原点座標補正部５５は、上述したような自車動き情報により示される車両速度に従って、車両２１の中心から原点を移動させる原点補正量の方向および大きさを示す原点補正ベクトルＸdiffを算出して、補正後視点座標算出部５７に供給する。
【００６８】
例えば、原点座標補正部５５は、図１６に示すような速度と原点補正ベクトルＸdiffとの関係に基づいて、原点補正ベクトルＸdiffを求めることができる。図１６に示す例では、第１の速度閾値Ｘｔｈｘ１から第２の速度閾値Ｘｔｈｘ２までは、第１のパラメータ閾値Ｘｔｈｙ１から第２のパラメータ閾値Ｘｔｈｙ２まで、原点補正ベクトルＸdiffは直線的に減少するように変化する。また、第２の速度閾値Ｘｔｈｘ２から速度０までは、第２のパラメータ閾値Ｘｔｈｙ２から０まで、原点補正ベクトルＸdiffは直線的に増加するように変化し、速度０から第３の速度閾値Ｘｔｈｘ３までは、０から第３のパラメータ閾値Ｘｔｈｙ３まで、原点補正ベクトルＸdiffは直線的に増加するように変化する。同様に、第３の速度閾値Ｘｔｈｘ３から第４の速度閾値Ｘｔｈｘ４までは、第３のパラメータ閾値Ｘｔｈｙ３から第４のパラメータ閾値Ｘｔｈｙ４まで、原点補正ベクトルＸdiffは直線的に増加するように変化する。このように、原点補正ベクトルＸdiffは、速度ベクトルのプラス方向およびマイナス方向で、それぞれ２段階で速度に対する減少率または増加率が遷移するように設定されており、それぞれの傾きは適切な補正量となるように設定される。
【００６９】
Ｘルックアップテーブル記憶部５６は、原点座標補正部５５が原点補正ベクトルＸdiffを求める際に参照するルックアップテーブルとして、図１６に示したような関係が記憶されている。
【００７０】
補正後視点座標算出部５７は、視点座標算出部５４から供給される自車両を中心としたときの視点座標（ｘ0，ｙ0，ｚ0）に対して、原点補正ベクトルＸdiffに応じた補正を行って原点を移動させて、その補正後の視点座標を算出する。そして、補正後視点座標算出部５７は、算出した視点座標を、最終的な視点座標（ｘ，ｙ，ｚ）として出力し、例えば、図１０の透視投影変換部４４に供給する。
【００７１】
以上のように視点決定部３５Ａは構成されており、車両２１の速度に応じて、適切な視点を決定することができる。
【００７２】
また、視点決定部３５Ａにおいて原点座標を補正することにより、即ち、車両２１の速度ベクトルに応じて視点の原点のｘ座標を調整することにより、例えば、上述の図７を参照して説明したように、車両２１の後部にある障害物を認識し易くなるような視点を決定することができる。
【００７３】
＜画像処理の処理例＞
図１７乃至図１９を参照して、画像処理装置１１において行われる画像処理について説明する。
【００７４】
図１７は、画像処理装置１１において行われる画像処理を説明するフローチャートである。
【００７５】
例えば、画像処理装置１１に電源が供給されて起動すると処理が開始され、画像処理装置１１は、図２０のＲＧＢカメラ２３および距離センサ２４により撮影された可視画像およびデプス画像を取得する。
【００７６】
ステップＳ１２において、歪補正部１２は、広角に撮影された可視画像に生じている歪を補正して、可視画像メモリ１３、デプス画像合成部１４、および視点変換画像生成部１６に供給する。
【００７７】
ステップＳ１３において、デプス画像合成部１４は、ステップＳ１２で歪補正部１２から供給された可視画像をガイド信号として、低解像度のデプス画像の解像度を向上させるようにデプス画像を合成して、デプス画像メモリ１５および視点変換画像生成部１６に供給する。
【００７８】
ステップＳ１４において、可視画像メモリ１３は、ステップＳ１２で歪補正部１２から供給された可視画像を格納するとともに、デプス画像メモリ１５は、ステップＳ１３でデプス画像合成部１４から供給されたデプス画像を格納する。
【００７９】
ステップＳ１５において、視点変換画像生成部１６は、処理に必要となる過去フレーム画像がメモリに格納されているか否か、即ち、可視画像メモリ１３に過去フレーム可視画像が格納され、かつ、デプス画像メモリ１５に過去フレームデプス画像が格納されているか否かを判定する。そして、視点変換画像生成部１６が、処理に必要となる過去フレーム画像がメモリに格納されていると判定されるまで、ステップＳ１１乃至Ｓ１５の処理が繰り返して行われる。
【００８０】
ステップＳ１５において、視点変換画像生成部１６が、過去フレーム画像がメモリに格納されていると判定した場合、処理はステップＳ１６に進む。ステップＳ１６において、視点変換画像生成部１６は、直前のステップＳ１２で歪補正部１２から供給された現在フレーム可視画像、および、直前のステップＳ１３でデプス画像合成部１４から供給された現在フレームデプス画像を読み込む。また、このとき、視点変換画像生成部１６は、可視画像メモリ１３から過去フレーム可視画像を読み込むとともに、デプス画像メモリ１５から過去フレームデプス画像を読み込む。
【００８１】
ステップＳ１７において、視点変換画像生成部１６は、ステップＳ１６で読み込んだ現在フレーム可視画像、現在フレームデプス画像、過去フレーム可視画像、および過去フレームデプス画像を用いて、視点変換画像を生成する視点変換画像生成処理（図１８または図１９の処理）を行う。
【００８２】
図１８は、図８の視点変換画像生成部１６が行う視点変換画像生成処理の第１の処理例を説明するフローチャートである。
【００８３】
ステップＳ２１において、動き推定部３１は、現在フレーム可視画像および過去フレーム可視画像、並びに、現在フレームデプス画像および過去フレームデプス画像を用いて、動物体の動きベクトルを算出し、動き補償部３２および視点決定部３５に供給する。
【００８４】
ステップＳ２２において、動き補償部３２は、ステップＳ２１で供給された動物体の動きベクトルに基づいて、過去フレーム可視画像の動き補償を行い、その動き補償を行った過去フレーム可視画像を、画像合成部３３に供給する。
【００８５】
ステップＳ２３において、画像合成部３３は、車両２１のイメージ画像のデータを記憶部３４から読み込む。
【００８６】
ステップＳ２４において、画像合成部３３は、ステップＳ２２で動き補償部３２から供給された動き補償を行った過去フレーム可視画像に、ステップＳ２３で読み込んだ車両２１のイメージ画像を重畳し、その結果得られる画像合成結果を射影変換部３６に供給する。
【００８７】
ステップＳ２５において、視点決定部３５は、ステップＳ２１で動き推定部３１から供給された動物体の動きベクトルに基づいて、車両２１の速度ベクトルを算出する。
【００８８】
ステップＳ２６において、視点決定部３５は、ステップＳ２５で算出した車両２１の速度ベクトルに応じた視点位置および視線方向となるように、視点変換画像を生成する際の視点を決定する。
【００８９】
ステップＳ２７において、射影変換部３６は、ステップＳ２４で画像合成部３３から供給される画像合成結果に対し、ステップＳ２６で視点決定部３５により決定された視点からの見た目となるような射影変換を行う。これにより、射影変換部３６は、視点変換画像を生成し、例えば、後段の表示装置（図示せず）に出力した後、視点変換画像生成処理は終了される。
【００９０】
図１９は、図１０の視点変換画像生成部１６Ａが行う視点変換画像生成処理の第２の処理例を説明するフローチャートである。
【００９１】
ステップＳ３１において、視点決定部３５Ａおよび３次元モデル構成部４３は、現時点における自車動き情報を取得する。
【００９２】
ステップＳ３２において、マッチング部４１は、現在フレーム可視画像と過去フレーム可視画像との対応点をマッチングするとともに、現在フレームデプス画像と過去フレームデプス画像との対応点をマッチングする。
【００９３】
ステップＳ３３において、テクスチャ生成部４２は、ステップＳ３２でマッチング部４１によりマッチングされた現在フレーム可視画像と過去フレーム可視画像との対応点に合わせて、それらの可視画像どうしをスティッチングする。
【００９４】
ステップＳ３４において、テクスチャ生成部４２は、ステップＳ３３でスティッチングして得られる可視画像からテクスチャを生成して、透視投影変換部４４に供給する。
【００９５】
ステップＳ３５において、３次元モデル構成部４３は、ステップＳ３２でマッチング部４１によりマッチングされた現在フレームデプス画像と過去フレームデプス画像との対応点に合わせて、それらのデプス画像どうしをスティッチングする。
【００９６】
ステップＳ３６において、３次元モデル構成部４３は、ステップＳ３５でスティッチングして得られるデプス画像に基づいて構成される３次元モデルを生成して、透視投影変換部４４に供給する。
【００９７】
ステップＳ３７において、視点決定部３５Ａは、ステップＳ３１で取得した自車動き情報を用いて、車両２１の速度に応じた視点位置および視線方向となるように、視点変換画像を生成する際の視点を決定する。
【００９８】
ステップＳ３８において、透視投影変換部４４は、ステップＳ３４でテクスチャ生成部４２から供給されるテクスチャを、ステップＳ３６で３次元モデル構成部４３から供給される３次元モデルに貼り付ける。そして、透視投影変換部４４は、ステップＳ３７で視点決定部３５Ａにより決定された視点から、テクスチャが貼られた３次元モデルを見た透視投影画像を作成する透視投影変換を行って、その透視投影画像を画像合成部４５に供給する。
【００９９】
ステップＳ３９において、画像合成部４５は、車両２１のイメージ画像のデータを記憶部４６から読み込む。
【０１００】
ステップＳ４０において、画像合成部４５は、ステップＳ３８で透視投影変換部４４から供給された透視投影画像に、ステップＳ３９で読み込んだ車両２１のイメージ画像を重畳する。これにより、画像合成部４５は、視点変換画像を生成し、例えば、後段の表示装置（図示せず）に出力した後、視点変換画像生成処理は終了される。
【０１０１】
以上のように、画像処理装置１１は、車両２１の速度に応じて視点を変化させることで、より周囲の状況を把握しやすい視点変換画像を作成して、運転者に提示することができる。特に、画像処理装置１１は、過去フレームから車両２１の速度を算出することで、例えば、ECUの処理を必要とせずに低遅延で実現することができる。さらに、画像処理装置１１は、過去フレームを使うことで、周辺物体の形状を把握できるようになり、視点変換画像の死角を減らすことができる。
【０１０２】
＜車両の構成例＞
図２０を参照して、画像処理装置１１を搭載する車両２１の構成例について説明する。
【０１０３】
図２０に示すように、車両２１は、例えば、４台のＲＧＢカメラ２３−１乃至２３−４および４台の距離センサ２４−１乃至２４−４を備えている。例えば、ＲＧＢカメラ２３は、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサにより構成され、広角かつ高解像度の可視画像を画像処理装置１１に供給する。また、距離センサ２４は、例えば、LiDAR（Light Detection and Ranging）やミリ波レーダなどにより構成され、狭角かつ低解像度のデプス画像を画像処理装置１１に供給する。
【０１０４】
図２０に示す構成例では、ＲＧＢカメラ２３−１および距離センサ２４−１は、車両２１の前方に配置されており、ＲＧＢカメラ２３−１は、破線で図示するような車両２１の前方を広角で撮影し、距離センサ２４−１は、それより狭い範囲をセンシングする。同様に、ＲＧＢカメラ２３−２および距離センサ２４−２は、車両２１の後方に配置されており、ＲＧＢカメラ２３−２は、破線で図示するような車両２１の後方を広角で撮影し、距離センサ２４−２は、それより狭い範囲をセンシングする。
【０１０５】
また、ＲＧＢカメラ２３−３および距離センサ２４−３は、車両２１の右側方に配置されており、ＲＧＢカメラ２３−３は、破線で図示するような車両２１の右側方を広角で撮影し、距離センサ２４−３は、それより狭い範囲をセンシングする。同様に、ＲＧＢカメラ２３−４および距離センサ２４−４は、車両２１の左側方に配置されており、ＲＧＢカメラ２３−４は、破線で図示するような車両２１の左側方を広角で撮影し、距離センサ２４−４は、それより狭い範囲をセンシングする。
【０１０６】
なお、本技術は、車両２１以外にも、例えば、無線操縦型のロボットや小型飛行装置（いわゆるドローン）などの各種の移動装置に適用することができる。
【０１０７】
＜コンピュータの構成例＞
図２１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０８】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３、およびEEPROM（Electronically Erasable and Programmable Read Only Memory）１０４は、バス１０５により相互に接続されている。バス１０５には、さらに、入出力インタフェース１０６が接続されており、入出力インタフェース１０６が外部に接続される。
【０１０９】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、ROM１０２およびEEPROM１０４に記憶されているプログラムを、バス１０５を介してRAM１０３にロードして実行することにより、上述した一連の処理が行われる。また、コンピュータ（CPU１０１）が実行するプログラムは、ROM１０２に予め書き込んでおく他、入出力インタフェース１０６を介して外部からEEPROM１０４にインストールしたり、更新したりすることができる。
【０１１０】
＜＜応用例＞＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１１１】
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０１１２】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２２では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０１１３】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１１４】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０１１５】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１１６】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０１１７】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０１１８】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０１１９】
ここで、図２３は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１２０】
なお、図２３には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０１２１】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０１２２】
図２２に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０１２３】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０１２４】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０１２５】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０１２６】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０１２７】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０１２８】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０１２９】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０１３０】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０１３１】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０１３２】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０１３３】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０１３４】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０１３５】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１３６】
なお、図２２に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０１３７】
なお、図１を用いて説明した本実施形態に係る画像処理装置１１の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１３８】
以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る画像処理装置１１は、図２２に示した応用例の統合制御ユニット７６００に適用することができる。例えば、画像処理装置１１の歪補正部１２、デプス画像合成部１４、および視点変換画像生成部１６は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当し、可視画像メモリ１３およびデプス画像メモリ１５は、記憶部７６９０に相当する。例えば、統合制御ユニット７６００が視点変換画像を生成して出力することにより、表示部７７２０に表示することができる。
【０１３９】
また、図１を用いて説明した画像処理装置１１の少なくとも一部の構成要素は、図２２に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１を用いて説明した画像処理装置１１が、図２２に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。
【０１４０】
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定する決定部と、
前記決定部により決定された前記視点からの見た目となる前記視点画像を生成する生成部と、
前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成する合成部と
を備える画像処理装置。
（２）
前記決定部は、前記移動体の速度が第１の速度である場合に、前記移動体の速度が前記第１の速度より遅い第２の速度に比べて、前記視点からの視線の方向の鉛直方向に対する角度が大きくなるように前記視点を決定する
上記（１）に記載の画像処理装置。
（３）
前記移動体の周囲にある他の物体の動きを推定して動きベクトルを求める推定部
をさらに備え、
前記決定部は、前記推定部により求められた前記動きベクトルに基づいて前記移動体の速度を算出し、前記視点を決定する
上記（１）または（２）に記載の画像処理装置。
（４）
前記推定部により求められた前記動きベクトルに基づいて、過去の時点で前記移動体の周囲が撮影された過去画像に写されている前記他の物体を現在あるべき位置に補償する動き補償部
をさらに備え、
前記合成部は、前記動き補償部により動き補償が行われた前記過去画像において前記移動体が現在存在し得る位置に、前記移動体に関する画像を合成する
上記（３）に記載の画像処理装置。
（５）
前記生成部は、前記合成部が前記過去画像に前記移動体に関する画像を合成した画像合成結果に対して、前記視点に応じた射影変換を行うことにより前記視点画像を生成する
上記（４）に記載の画像処理装置。
（６）
前記移動体の周囲を撮影して得られる画像から、前記移動体の周囲にある他の物体のテクスチャを生成するテクスチャ生成部と、
前記移動体の周囲をセンシングして得られるデプス画像から、前記移動体の周囲にある他の物体の３次元モデルを構成する３次元モデル構成部と
をさらに備え、
前記生成部は、前記テクスチャが貼られた前記３次元モデルを前記視点から見た透視投影画像を生成する透視投影変換を行い、
前記合成部は、前記透視投影画像において前記移動体が存在し得る位置に、前記移動体に関する画像を合成することにより前記視点画像を生成する
上記（１）から（５）までのいずれかに記載の画像処理装置。
（７）
前記決定部は、前記移動体が前進しているときには前記移動体よりも後方となる位置に前記視点を決定し、前記移動体が後退しているときには前記移動体よりも前方となる位置に前記視点を決定する
上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
前記決定部は、前記移動体が後退しているときよりも、前記移動体が前進しているときの方が、前記視点からの視線の方向の鉛直方向に対する角度が大きくなるように前記視点を決定する
上記（７）に記載の画像処理装置。
（９）
前記決定部は、前記移動体の周囲を異なるタイミングで撮影した少なくとも２枚の画像から求められる前記移動体の速度に応じて、前記視点を決定する
上記（１）から（８）までのいずれかに記載の画像処理装置。
（１０）
前記決定部は、前記移動体の速度に応じた移動量で、前記視点の原点を前記移動体の中心から移動させる
上記（１）から（９）までのいずれかに記載の画像処理装置。
（１１）
前記決定部は、前記移動体が後退している場合、前記移動体の後部に前記原点を移動させる
上記（１０）に記載の画像処理装置。
（１２）
前記移動体の周囲を広角に撮影して得られる画像に生じている歪を補正する歪補正部と、
前記歪補正部により歪が補正された前記画像をガイド信号として、前記移動体の周囲をセンシングして得られるデプス画像の解像度を向上させる処理を行うデプス画像合成部と
を備え、
前記視点画像の生成に、前記歪補正部により歪が補正された前記画像の過去フレームおよび現在フレームと、前記デプス画像合成部により解像度が向上された前記デプス画像の過去フレームおよび現在フレームとが用いられる
上記（１）から（１１）までのいずれかに記載の画像処理装置。
（１３）
画像処理を行う画像処理装置が、
任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定することと、
その決定された前記視点からの見た目となる前記視点画像を生成することと、
前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成することと
を含む画像処理方法。
（１４）
画像処理を行う画像処理装置のコンピュータに、
任意の速度で移動可能な移動体の速度に応じて、所定の視点から前記移動体を見た場合の前記移動体の周囲に関する視点画像の前記視点を決定することと、
その決定された前記視点からの見た目となる前記視点画像を生成することと、
前記視点画像における前記移動体が存在し得る位置に、前記移動体に関する画像を合成することと
を含む画像処理を実行させるためのプログラム。
【０１４１】
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【０１４２】
１１  画像処理装置，  １２  歪補正部，  １３  可視画像メモリ，  １４  デプス画像合成部，  １５  デプス画像メモリ，  １６  視点変換画像生成部，  ２１および２２  車両，  ２３  ＲＧＢカメラ，  ２４  距離センサ，  ３１  動き推定部，  ３２  動き補償部，  ３３  画像合成部，  ３４  記憶部，  ３５  視点決定部，  ３６  射影変換部，  ４１  マッチング部，  ４２  テクスチャ生成部，  ４３  ３次元モデル構成部，  ４４  透視投影変換部，  ４５  画像合成部，  ４６  記憶部，  ５１  パラメータ算出部，  ５２  θルックアップテーブル記憶部，  ５３  ｒルックアップテーブル記憶部，  ５４  視点座標算出部，  ５５  原点座標補正部，  ５６  Ｘルックアップテーブル記憶部，  ５７  補正後視点座標算出部
【図１】
2019142660.tif 000004
【図２】
2019142660.tif 000005
【図３】
2019142660.tif 000006
【図４】
2019142660.tif 000007
【図５】
2019142660.tif 000008
【図６】
2019142660.tif 000009
【図７】
2019142660.tif 000010
【図８】
2019142660.tif 000011
【図９】
2019142660.tif 000012
【図１０】
2019142660.tif 000013
【図１１】
2019142660.tif 000014
【図１２】
2019142660.tif 000015
【図１３】
2019142660.tif 000016
【図１４】
2019142660.tif 000017
【図１５】
2019142660.tif 000018
【図１６】
2019142660.tif 000019
【図１７】
2019142660.tif 000020
【図１８】
2019142660.tif 000021
【図１９】
2019142660.tif 000022
【図２０】
2019142660.tif 000023
【図２１】
2019142660.tif 000024
【図２２】
2019142660.tif 000025
【図２３】
2019142660.tif 000026
【国際調査報告】
2019142660.tif 000027
2019142660.tif 000028
2019142660.tif 000029
2019142660.tif 000030