(57)【要約】【課題】複数の部分画像のそれぞれを鳥瞰画像に変換し、これら複数の鳥瞰画像をつなぎ合わして道路が表された画像を生成する処理が容易となる部分画像を生成する部分画像生成装置を提供する。【解決手段】部分画像生成装置は、車両１０に設けられた撮像部１１を用いて車両１０の周囲の環境が撮影された画像４０から部分画像を生成する部分画像生成部３１と、画像４０に表されている道路が直線であるか否かを判定する判定部３２と、を有する。部分画像生成部３１は、画像４０に表されている道路が直線であると判定された場合、道路の消失点Ｆに基づいて道路が表されていると推定される画像４０内の第１領域を切り出して部分画像として生成し、画像４０に表されている道路が直線ではないと判定された場合、車両１０の種類に基づいて決定される画像４０内の第２領域を切り出して部分画像として生成する。【選択図】図２
2022002045.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられた撮像部を用いて前記車両の周囲の環境が撮影された画像から部分画像を生成する部分画像生成部と、
前記画像に表されている道路が直線であるか否かを判定する判定部と、
を有し、
前記部分画像生成部は、前記画像に表されている道路が直線であると判定された場合、道路の消失点に基づいて道路が表されていると推定される前記画像内の第１領域を切り出して前記部分画像として生成し、前記画像に表されている道路が直線ではないと判定された場合、前記車両の種類に基づいて決定される前記画像内の第２領域を切り出して前記部分画像として生成する、
ことを特徴とする部分画像生成装置。
【請求項２】
前記第２領域における前記車両の幅方向の寸法は、前記第１領域よりも大きい請求項１に記載の部分画像生成装置。
【請求項３】
地図情報を記憶する記憶部を有し、
前記判定部は、前記画像が撮影された時の前記車両の位置と、前記記憶部に記憶される前記地図情報とに基づいて、前記画像に表されている道路が直線であるか否かを判定する請求項１又は２に記載の部分画像生成装置。
【請求項４】
前記判定部は、前記画像に表されている道路の形状に基づいて、前記画像に表されている道路が直線であるか否かを判定する請求項１又は２に記載の部分画像生成装置。
【請求項５】
前記画像に表されている道路が直線ではないと判定された場合、前記画像に表されている道路が、右回りの道路であるか、又は、左回りの道路であるかを判定し、判定結果に基づいて、前記画像内の前記第２領域の位置を補正する第１補正部を更に有する請求項１〜４の何れか一項に記載の部分画像生成装置。
【請求項６】
前記画像が撮影された時に前記車両が路面の起伏の大きい道路を走行していると判定される場合、前記第１領域又は前記第２領域の前記車両の高さ方向の寸法を、前記車両が路面の起伏の大きい道路を走行していると判定されない場合よりも拡大する第２補正部を更に有する請求項１〜５の何れか一項に記載の部分画像生成装置。
【請求項７】
前記第２補正部は、前記車両のピッチ角の変化に基づいて、前記車両が路面の起伏の大きい道路を走行しているか否かを判定する請求項６に記載の部分画像生成装置。
【請求項８】
前記画像が撮影された時の前記車両の車両速度に基づいて、前記第１領域又は前記第２領域の寸法を変更する第３補正部を更に有する請求項１〜７の何れか一項に記載の部分画像生成装置。
【請求項９】
前記第３補正部は、前記車両の車両速度が高速である場合、前記第１領域又は前記第２領域の寸法を、前記車両の車両速度が低速である時よりも拡大する請求項８に記載の部分画像生成装置。
【請求項１０】
車両に設けられた撮像部を用いて前記車両の周囲の環境が撮影された画像から部分画像を生成し、
前記画像に表されている道路が直線であるか否かを判定する、
ことをプロセッサに実行させる部分画像生成用コンピュータプログラムであって、
前記画像に表されている道路が直線であると判定された場合、道路の消失点に基づいて道路が表されていると推定される前記画像内の第１領域を切り出して前記部分画像として生成し、前記画像に表されている道路が直線ではないと判定された場合、前記車両の種類に基づいて決定される前記画像内の第２領域を切り出して前記部分画像として生成する、
ことを特徴とする部分画像生成用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部分画像生成装置及び部分画像生成用コンピュータプログラムに関する。
【背景技術】
【０００２】
車両の自動運転システムが車両を自動制御するために参照する高精度な道路の地図には、道路に関する情報が正確に表されていることが求められる。地図には、車両が走行し得る道路及び道路周辺の道路特徴物が出来るだけ多く登録されていることが望まれる。
【０００３】
また、車線区画線、標識又は構造物等の道路特徴物は変更されたり、位置が移動したりする場合がある。そこで、地図では、これらの道路特徴物の情報は常に新しい状態にあることが好ましい。
【０００４】
そこで、サーバが、複数の車両から道路に関する情報を適宜収集して、地図に登録及び地図の更新を行うことが提案されている。例えば、車両は、車両に設けられたカメラで車両の前方を順次撮影し、撮影された画像のそれぞれについて道路が表されていると推定される領域の部分画像を切り出して、サーバに送信する。サーバは、受信された複数の部分画像のそれぞれの鳥瞰画像を生成し、複数の鳥瞰画像をつなぎ合わせて道路が表された画像を生成する（例えば、特許文献１参照）。サーバは、この画像に基づいて、道路特徴物を検出して、新たな道路特徴物を道路と関連付けて地図に登録する。また、サーバは、この画像に基づいて、変更のあった道路特徴物について地図の更新を行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２０４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
車両のカメラにより撮影された画像は、車両ごとにカメラの取り付け位置及び光軸などが異なる場合がある。そのため、車両から受信された部分画像に表されている道路の位置が、部分画像ごとに異なることがある。そのため、サーバが、複数の車両から受信された複数の部分画像を用いて、道路の鳥瞰画像を生成する場合、複数の鳥瞰画像をつなぎ合わせて道路が表された画像を生成することが困難な場合がある。
【０００７】
そこで、本発明は、複数の部分画像のそれぞれを鳥瞰画像に変換し、これら複数の鳥瞰画像をつなぎ合わして道路が表された画像を生成する処理が容易となる部分画像を生成する部分画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一の実施形態によれば、部分画像生成装置が提供される。この部分画像生成装置は、車両に設けられた撮像部を用いて車両の周囲の環境が撮影された画像から部分画像を生成する部分画像生成部と、画像に表されている道路が直線であるか否かを判定する判定部と、を有し、部分画像生成部は、画像に表されている道路が直線であると判定された場合、道路の消失点に基づいて道路が表されていると推定される画像内の第１領域を切り出して部分画像として生成し、画像に表されている道路が直線ではないと判定された場合、車両の種類に基づいて決定される画像内の第２領域を切り出して部分画像として生成する、ことを特徴とする。
【０００９】
この部分画像生成装置において、第２領域における車両の幅方向の寸法は、第１領域よりも大きいことが好ましい。
【００１０】
また、この部分画像生成装置において、地図情報を記憶する記憶部を有し、判定部は、画像が撮影された時の車両の位置と、記憶部に記憶される地図情報とに基づいて、画像に表されている道路が直線であるか否かを判定することが好ましい。
【００１１】
また、この部分画像生成装置において、判定部は、画像に表されている道路の形状に基づいて、画像に表されている道路が直線であるか否かを判定することが好ましい。
【００１２】
また、この部分画像生成装置において、画像に表されている道路が直線ではないと判定された場合、画像に表されている道路が、右回りの道路であるか、又は、左回りの道路であるかを判定し、判定結果に基づいて、画像内の第２領域の位置を補正する第１補正部を更に有することが好ましい。
【００１３】
また、この部分画像生成装置において、画像が撮影された時に車両が路面の起伏の大きい道路を走行していると判定される場合、第１領域又は第２領域の車両の高さ方向の寸法を、車両が路面の起伏の大きい道路を走行していると判定されない場合よりも拡大する第２補正部を更に有することが好ましい。
【００１４】
また、この部分画像生成装置において、第２補正部は、車両のピッチ角の変化に基づいて、車両が路面の起伏の大きい道路を走行しているか否かを判定することが好ましい。
【００１５】
また、この部分画像生成装置において、画像が撮影された時の車両の車両速度に基づいて、第１領域又は第２領域の寸法を変更する第３補正部を更に有することが好ましい。
【００１６】
また、この部分画像生成装置において、第３補正部は、車両の車両速度が高速である場合、第１領域又は第２領域の寸法を、車両の車両速度が低速である時よりも拡大することが好ましい。
【００１７】
また、他の実施形態によれば、部分画像生成用コンピュータプログラムが提供される。この部分画像生成用コンピュータプログラムは、車両に設けられた撮像部を用いて車両の周囲の環境が撮影された画像から部分画像を生成し、画像に表されている道路が直線であるか否かを判定する、ことをプロセッサに実行させる部分画像生成用コンピュータプログラムであって、画像に表されている道路が直線であると判定された場合、道路の消失点に基づいて道路が表されていると推定される画像内の第１領域を切り出して部分画像として生成し、画像に表されている道路が直線ではないと判定された場合、車両の種類に基づいて決定される画像内の第２領域を切り出して部分画像として生成する、ことを特徴とする。
【発明の効果】
【００１８】
本発明に係る部分画像生成装置は、複数の部分画像のそれぞれを鳥瞰画像に変換し、これら複数の鳥瞰画像をつなぎ合わして道路が表された画像を生成する処理が容易となる部分画像を生成できるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】部分画像生成装置の動作の概要を説明する図である。
【図２】部分画像生成装置が実装される車両の概略構成図である。
【図３】ヘッドアップディスプレイの型番と、切り出し領域との関係を示す表を説明する図である。
【図４】部分画像生成装置の動作フローチャートである。
【図５】部分画像生成部の処理を説明する図（その１）である。
【図６】部分画像生成部の処理を説明する図（その２）である。
【図７】消失点検出部の動作フローチャートである。
【図８】消失点検出部の処理を説明する図である。
【図９】補正部の処理を説明する図（その１）である。
【図１０】補正部の処理を説明する図（その２）である。
【図１１】補正部の処理を説明する図（その３）である。
【発明を実施するための形態】
【００２０】
図１は、部分画像生成装置の動作の概要を説明する図である。以下、図１を参照しながら、本明細書に開示する部分画像生成装置の動作の概要を説明する。
【００２１】
本実施形態では、車両１０に搭載された部分画像生成装置１８の部分画像生成部３１は、車両１０が道路Ｒの走行中に、車両１０に設けられた撮像部の一例であるカメラ１１を用いて、車両１０の周辺の環境が表されたカメラ画像４０を撮影する。
【００２２】
部分画像生成装置１８の判定部３２は、地図情報又はカメラ画像４０に基づいて、カメラ画像４０に表されている道路が直線であるか否かを判定する。
【００２３】
カメラ画像４０に表されている道路が直線であると判定された場合、図１（Ａ）に示すように、部分画像生成部３１は、道路の消失点Ｆに基づいて決定された、道路が表されていると推定される切り出し領域４１を、カメラ画像４０から切り出して部分画像として生成する。
【００２４】
一方、カメラ画像４０に表されている道路が直線ではないと判定された場合、道路の消失点Ｆを推定することは一般に困難である。そこで、部分画像生成部３１は、図１（Ｂ）に示すように、車両１０の種類に基づいて決定されるカメラ画像４０内の切り出し領域４２を、カメラ画像４０から切り出して部分画像として生成する。また、車両の種類として、例えば、セダン車、ハッチバック車、スポーツ用多目的車（ＳＵＶ）等が挙げられる。カメラが車両に取り付けられる高さ及びボンネットの長さ等は、車両の種類によって違うので、カメラの光軸の向きも異なっている。そのため、車両の種類によって、カメラ画像４０内で道路が表されていると推定される領域も異なる。そこで、部分画像生成部３１は、車両の種類に応じて、カメラ画像４０内の切り出し領域４２を決定する。
【００２５】
部分画像生成部３１は、部分画像を、部分画像が撮影された車両１０の位置と共に、サーバ（図示せず）へ送信する。図１（Ｃ）に示す例では、サーバは、車両１０から、道路Ｒが表された２つの部分画像Ｃ１、Ｃ２を受信する。また、サーバは、他の車両（図示せず）から、同じ道路Ｒが表された部分画像Ｃ３を受信する。部分画像Ｃ１、Ｃ２と、部分画像Ｃ３とは、異なる車両から受信された画像であるが、３つの部分画像Ｃ１、Ｃ２、Ｃ３のそれぞれにおいて、道路Ｒは同じような位置に表されている。
【００２６】
図１（Ｄ）に示すように、サーバは、同じ道路Ｒを表している３つの部分画像Ｃ１、Ｃ２、Ｃ３のそれぞれの鳥瞰画像Ｄ１、Ｄ２、Ｄ３を生成する。そして、図１（Ｅ）に示すように、サーバは、３つの鳥瞰画像Ｄ１、Ｄ２、Ｄ３をつなぎ合わせて道路Ｒが表された一つの道路画像を生成する。部分画像Ｃ１、Ｃ２、Ｃ３のそれぞれにおいて同じような位置に道路が表されているので、サーバは、同じ道路Ｒについて撮影された３つの部分画像から生成された３つの鳥瞰画像Ｄ１、Ｄ２、Ｄ３をつなぎ合わせて、道路Ｒが表された道路画像を容易に生成することができる。
【００２７】
一方、車両のカメラにより撮影された画像は、車両ごとにカメラの取り付け位置及び光軸等が異なっていると、同じ道路について、複数の車両から受信された部分画像に表されている道路の位置は、画像ごとに異なっている。そのため、複数の部分画像のそれぞれから生成された鳥瞰画像においても、道路の位置は、鳥瞰画像ごとに異なる。そのため、従来の技術では、サーバは、複数の鳥瞰画像をつなぎ合わせて道路が表された画像を生成する処理の負荷が大きくなる場合があった。
【００２８】
図２は、部分画像生成装置１８が実装される車両１０の概略構成図である。車両１０は、カメラ１１と、無線通信端末１２と、車速センサ１３と、ピッチ角センサ１４と、ヘッドアップディスプレイ１５と、測位情報受信機１６と、地図情報記憶装置１７と、部分画像生成装置１８と、フロントウィンドウ１０１等とを有する。
【００２９】
カメラ１１と、無線通信端末１２と、車速センサ１３と、ピッチ角センサ１４と、ヘッドアップディスプレイ１５と、測位情報受信機１６と、地図情報記憶装置１７と、部分画像生成装置１８とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク１９を介して通信可能に接続される。
【００３０】
カメラ１１は、車両１０に設けられる撮像部の一例である。カメラ１１は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。カメラ１１は、部分画像生成装置１８に制御されて、例えば所定の周期で、車両１０の前方の所定の領域の環境が表されたカメラ画像４０を撮影する。カメラ画像４０には、車両１０の前方の所定の領域内に含まれる道路と、その路面上の車線区画線等の道路特徴物が表わされ得る。カメラ１１は、例えばその光軸が車両１０の前方の地面と交差する位置と車両１０との距離が８．５ｍ〜１６．５ｍとなるように車両１０に取り付けられる。カメラ１１により生成される画像は、カラー画像であってもよく、又は、グレー画像であってもよい。カメラ１１は、ＣＣＤあるいはＣ−ＭＯＳ等、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する撮像光学系を有する。
【００３１】
無線通信端末１２は、通信部の一例であり、所定の無線通信規格に準拠した無線通信処理を実行する機器であり、例えば、図示しない基地局及び通信ネットワークを介してサーバ（図示せず）と接続される。
【００３２】
車速センサ１３は、車両１０の車両速度を検出する。車速センサ１３は、例えば、車両１０のタイヤの回転数を計測する計測部を有し、タイヤの回転数とタイヤの外周長とに基づいて、車両速度を検出する。車速センサ１３は、車両速度を、車内ネットワーク１９を介して部分画像生成装置１８へ出力する。なお、車速センサ１３は、タイヤの回転数を部分画像生成装置１８へ出力して、部分画像生成装置１８において、タイヤの回転数とタイヤの外周長とに基づいて、車両速度を求めるようにしてもよい。
【００３３】
ピッチ角センサ１４は、車両１０のピッチ角を検出する。ピッチ角センサ１４は、例えば、加速度センサを用いて形成される。ピッチ角センサ１４は、車両１０の左右の後輪の間の中点且つ地面上の点を原点として、車両１０の進行方向をｚｖ軸とし、ｚｖ軸と直交し且つ地面に平行な方向をｘｖ軸とし、鉛直方向をｙｖ軸とする車両座標系のｘｖ軸の周りのピッチ角を検出する。車両１０が、路面の起伏の大きい道路又は傾斜した道路を走行すると、車両１０はｘｖ軸の回りを回転するように運動するので、ピッチ角は変化する。
【００３４】
ヘッドアップディスプレイ１５は、図示しない車両制御装置等により制御されて、フロントウィンドウ１０１に車両１０の走行に伴う各種の情報を投影する。ヘッドアップディスプレイ１５は、搭載される車両の種類によって投影角度及び取り付け構造等が異なるので、車両の種類ごとに異なる型番を有する。例えば、ヘッドアップディスプレイ１５は、図示しないナビゲーション装置により生成された車両１０の現在地から目的地までの走行ルートをフロントウィンドウ１０１に投影する。
【００３５】
測位情報受信機１６は、車両１０の現在地を表す測位情報を出力する。例えば、測位情報受信機１６は、ＧＮＳＳ受信機とすることができる。測位情報受信機１６は、所定の受信周期で測位情報を取得する度に、測位情報及び測位情報を取得した測位情報取得時刻を、カメラ１１及び部分画像生成装置１８へ出力する。
【００３６】
地図情報記憶装置１７は、道路を含む地図を記憶する。地図には、一の道路が複数の道路区間に分割されて登録されている。地図には、各道路区間の曲率半径が、道路区間と関連付けられて登録されている。
【００３７】
部分画像生成装置１８は、カメラ画像４０から部分画像を生成する部分画像生成処理を実行する。また、部分画像生成装置１８は、カメラ画像４０に表されている道路が直線であるか否かを判定する判定処理を実行する。また、部分画像生成装置１８は、カメラ画像４０内の道路の消失点Ｆを検出する消失点検出処理を実行する。更に、部分画像生成装置１８は、カメラ画像４０内の切り出し領域の位置又は寸法を補正する補正処理を実行する。そのために、部分画像生成装置１８は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１と、メモリ２２と、プロセッサ２３とは、信号線２４を介して接続されている。
【００３８】
通信インターフェース（ＩＦ）２１は、車内通信部の一例であり、部分画像生成装置１８を車内ネットワーク１９に接続するためのインターフェース回路を有する。即ち、通信ＩＦ２１は、車内ネットワーク１９を介して、カメラ１１と、無線通信端末１２と、車速センサ１３と、ピッチ角センサ１４と、ヘッドアップディスプレイ１５と、測位情報受信機１６と、地図情報記憶装置１７等と接続される。例えば、通信インターフェース２１は、プロセッサ２３から部分画像及び部分画像が撮影された時の車両１０の位置が入力されると、入力された部分画像及び部分画像が撮影された時の車両１０の位置を、無線通信端末１２へ出力する。
【００３９】
メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、部分画像生成装置１８のプロセッサ２３により実行される情報処理において使用されるアプリケーションのコンピュータプログラム及び各種のデータを記憶する。また、メモリ２２は、カメラ１１の光軸方向及び取り付け位置などの設置位置情報、結像光学系の焦点距離及び画角といった内部パラメータ等を記憶する。また、メモリ２２は、ヘッドアップディスプレイ１５の型番と、この型番とカメラ画像４０内から部分画像を切り出す切り出し領域との関係を示す表６０を記憶する。
【００４０】
図３は、ヘッドアップディスプレイの型番と、切り出し領域との関係を示す表６０を説明する図である。表６０は、ヘッドアップディスプレイの型番を表す型番欄６０１と、カメラ画像４０内における切り出し領域の基準位置を表す基準位置欄６０２と、切り出し領域の横方向の寸法を表す横長さ欄６０３と、切り出し領域の縦方向の寸法を表す縦長さ欄６０４とを有する。型番欄６０１には、セダン車に搭載されるヘッドアップディスプレイの型番を表すＴ１と、ハッチバック車に搭載されるヘッドアップディスプレイの型番を表すＴ２と、スポーツ用多目的車に搭載されるヘッドアップディスプレイの型番を表すＴ３とが登録される。基準位置は、カメラ画像４０の左上の隅の位置を原点として、右方に伸びるｘｉ軸と、下方に伸びるｙｉ軸とを有する画像座標系で表すことができる。表６０に登録される切り出し領域に関する情報は、車両の種類ごとの、カメラの取り付け位置及び光軸、ボンネットの高さ等に基づいて決定され得る。
【００４１】
プロセッサ２３は、１個又は複数個のＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路を更に有していてもよい。プロセッサ２３が複数個のＣＰＵを有する場合、ＣＰＵごとにメモリを有していてもよい。プロセッサ２３は、部分画像生成処理、判定処理、消失点検出処理及び補正処理を実行する。
【００４２】
プロセッサ２３は、部分画像生成処理を実行する部分画像生成部３１と、判定処理を実行する判定部３２と、消失点検出処理を実行する消失点検出部３３と、補正処理を実行する補正部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。
【００４３】
図４は、部分画像生成装置１８の動作フローチャートであるである。部分画像生成装置１８は、車両１０の走行中に、図４に示される動作フローチャートに従って部分画像生成処理を繰り返して実行する。
【００４４】
車両１０に設けられたカメラ１１は、部分画像生成装置１８のプロセッサ２３の部分画像生成部３１に制御されて、車両１０の前方の環境が表されたカメラ画像４０を撮影する（ステップＳ１０１）。カメラ１１は、カメラ画像４０と、カメラ画像４０が撮影された時のカメラ画像撮影時刻を、車内ネットワーク１９を介して部分画像生成装置１８へ出力する。また、カメラ１１は、カメラ画像撮影時刻を、車内ネットワーク１９を介して地図情報記憶装置１７へ出力する。地図情報記憶装置１７は、カメラ１１からカメラ画像撮影時刻を受信する度に、カメラ画像撮影時刻と一致するか又はカメラ画像撮影時刻の前後の時刻の測位情報から推定されたカメラ画像撮影時刻における測位情報で表される車両１０の位置（カメラ画像撮影時刻における車両１０の位置）を推定する。地図情報記憶装置１７は、カメラ画像撮影時刻と、カメラ画像撮影時刻における車両１０の位置と、カメラ画像撮影時刻における車両１０の位置を含む所定の領域（例えば、２００ｍ四方）の地図を、部分画像生成装置１８へ出力する。部分画像生成装置１８のプロセッサ２３の判定部３２は、カメラ画像撮影時刻と、カメラ画像撮影時刻における車両１０の位置と、地図とを関連付けてメモリ２２に記憶する。
【００４５】
次に、部分画像生成装置１８のプロセッサ２３の判定部３２は、地図情報記憶装置１７から出力された地図を利用して、カメラ画像４０に表されている道路が直線であるか否かを判定する（ステップＳ１０２）。ステップＳ１０２における判定処理の詳細については後述する。
【００４６】
次に、カメラ画像４０に表されている道路が直線であると判定された場合（ステップＳ１０２−Ｙｅｓ）、部分画像生成装置１８のプロセッサ２３の消失点検出部３３は、カメラ画像４０内の道路の消失点Ｆを求める（ステップＳ１０３）。ステップＳ１０３における消失点Ｆを求める処理の詳細については後述する。
【００４７】
次に、部分画像生成部３１は、道路の消失点Ｆに基づいて、カメラ画像４０内の切り出し領域４１を決定する（ステップＳ１０４）。例えば、部分画像生成部３１は、道路の消失点Ｆが、予め定められた横方向の長さＷ１及び縦方向の長さＨ１の矩形形状の中心となるように、切り出し領域４１を決定する。図５は、カメラ画像４０内から、消失点Ｆに基づいて決定された切り出し領域４１の一例を示している。なお、消失点Ｆと予め定められた基準位置との位置関係等に基づいて切り出し領域４１を決める等の他の方法を採用しても良い。
【００４８】
一方、カメラ画像４０に表されている道路が直線ではないと判定された場合（ステップＳ１０２−Ｎｏ）、部分画像生成部３１は、車両１０の種類に基づいて、カメラ画像４０内の切り出し領域を決定する（ステップＳ１０５）。例えば、部分画像生成部３１は、メモリ２２に記憶される車両１０に搭載されるヘッドアップディスプレイ１５の型番を読み取る。部分画像生成部３１は、メモリ２２に記憶される表６０（図３参照）を参照して、ヘッドアップディスプレイ１５の型番と関連付けられている切り出し領域の基準位置、横方向の長さ及び縦方向の長さを読み取る。そして、部分画像生成部３１は、基準位置、横方向の長さ及び縦方向の長さに基づいて切り出し領域４２を決定する。図６は、車両１０がセダン車である場合に、基準位置Ｐ１（ｑ１、ｒ１）、横方向の長さＷ２及び縦方向の長さＨ２を利用して、カメラ画像４０内に決定された切り出し領域４１の一例を示している。また、車両の種類が、ハッチバック車又はスポーツ用多目的車である場合、表６０に登録されている基準位置、横方向の長さ及び縦方向の長さに応じて、切り出し領域が決定される。なお、車両に関係する他の基準を利用して切り出し領域４１を決める等の他の方法を採用しても良い。
【００４９】
なお、図５及び図６を比較して理解できるように、道路が直線ではないと判定された場合の切り出し領域４２における車両１０の幅方向の長さＷ２は、道路が直線であると判定された場合の幅方向の長さＷ１よりも大きい。これにより、カメラ画像４０内に横方向に伸びるように表される道路のより多くの部分を、切り出し領域４２内に含めることができる。
【００５０】
次に、プロセッサ２３の補正部３４は、カメラ画像４０が撮影された時に車両１０が路面の起伏の大きい道路を走行していたか否かを判定する（ステップＳ１０６）。例えば、補正部３４は、ピッチ角センサ１４から入力された車両１０のピッチ角の変化に基づいて、車両１０が路面の起伏の大きい道路を走行しているか否かを判定する。ステップＳ１０６における判定処理の詳細については後述する。
【００５１】
車両１０が路面の起伏の大きい道路を走行していたと判定された場合（ステップＳ１０６−Ｙｅｓ）、補正部３４は、Ｓ１０４又はＳ１０５において決定された切り出し領域の縦方向の寸法を補正する（ステップＳ１０７）。ステップＳ１０７における補正処理の詳細については後述する。
【００５２】
一方、車両１０が路面の起伏の大きい道路を走行していると判定されない場合（ステップＳ１０６−Ｎｏ）、切り出し領域に対する補正は行われず、プロセッサ２３の処理は、ステップＳ１０８へ進む。
【００５３】
次に、補正部３４は、カメラ画像４０が撮影された時の車両１０の車両速度に基づいて、Ｓ１０４又はＳ１０５において決定された切り出し領域４１の横方向の寸法を補正する（ステップＳ１０８）。ステップＳ１０８における補正方法の詳細については後述する。
【００５４】
次に、部分画像生成部３１は、Ｓ１０４又はＳ１０５において決定され、所定の場合にＳ１０６及びＳ１０８において補正された切り出し領域に含まれる画像を、カメラ画像４０から切り出して部分画像として生成する（ステップＳ１０９）。部分画像生成部３１は、部分画像を、カメラ画像撮影時刻及びカメラ画像撮影時刻における車両１０の位置と関連づけて、メモリ２２に記憶する。
【００５５】
次に、部分画像生成部３１は、図示しないナビゲーション装置により通知された目的地に基づいて、車両１０が目的地に到着したか否かを判定し（ステップＳ１１０）、車両１０が目的地に到着した場合（ステップＳ１１０−Ｙｅｓ）、部分画像生成装置１８の処理を終了する。一方、車両１０が目的地に到着していない場合（ステップＳ１１０−Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。
【００５６】
次に、部分画像生成装置１８は、メモリ２２に記憶された部分画像、カメラ画像撮影時刻及びカメラ画像撮影時刻における車両１０の位置を、無線通信端末１２を介して、サーバ（図示せず）へ送信する（ステップＳ１１１）。部分画像等の情報を受信したサーバは、同じ道路について撮影された複数の部分画像のそれぞれの鳥瞰画像を生成し、複数の鳥瞰画像をつなぎ合わせて道路が表された一つの道路画像を生成することとなる（図１参照）。
【００５７】
図４のステップＳ１０２における判定部３２の判定処理を、以下に詳述する。判定部３２は、地図情報記憶装置１７から入力された地図を参照して、カメラ画像４０に表されている道路が直線であるか否かを判定する。例えば、判定部３２は、カメラ１１からカメラ画像４０及びカメラ画像撮影時刻を入力する度に、カメラ画像４０のカメラ画像撮影時刻と関連づけられている地図及びカメラ画像撮影時刻における車両１０の位置を、メモリ２２から読み出す。判定部３２は、カメラ画像４０のカメラ画像撮影時刻と関連づけられている地図に基づいて、カメラ画像撮影時刻における車両１０の位置から進行方向において所定の判定領域にある道路区間の曲率半径を取得する。判定部３２は、判定領域における一又は複数の道路区間の曲率半径の平均値を求めて、曲率半径の平均値が、基準曲率半径よりも大きい場合、カメラ画像４０に表されている道路を直線であると判定する。一方、判定部３２は、曲率半径の平均値が、基準曲率半径未満である場合、カメラ画像４０に表されている道路を直線ではないと判定する。
【００５８】
例えば、判定部３２は、メモリ２２に記憶されている、カメラ１１の光軸方向及び取り付け位置などの設置位置情報に基づいて、カメラ画像４０の光軸が地面と交差する交差位置を判定領域の始点として求める。判定部３２は、この交差位置から進行方向に向かって所定の距離（例えば１００ｍ）の位置を判定領域の終点とする。判定部３２は、判定領域の始点から終点における道路区間の曲率半径を取得する。
【００５９】
図４のステップＳ１０３における消失点Ｆを検出する処理を、図７及び図８を参照しながら、以下に詳述する。図７は、部分画像生成装置１８のプロセッサ２３の消失点検出部３３の動作フローチャートである。図８は、消失点検出部３３の処理を説明する図である。
【００６０】
まず、図８に示すように、消失点検出部３３は、カメラ画像４０に対して設定された所定の照合範囲内において、複数の候補点を検出する（ステップＳ２０１）。消失点検出部３３は、例えば、カメラ画像４０に対してＳｏｂｅｌフィルタといったエッジ検出フィルタを適用してエッジとなる画素を検出し、且つ、検出された画素の中で所定のしきい値以上の輝度を有する画素を候補点として検出する。また、消失点検出部３３は、例えば、画像を識別器に入力することで画像内の候補点を検出してもよい。識別器として、例えば、入力された画像から、その画像内の車線区画線を検出するように予め学習されたディープニューラルネットワーク（ＤＮＮ）を用いることができる。
【００６１】
次に、消失点検出部３３は、カメラ画像４０を、車両座標系のｚｖ軸の撮像面への射影成分となる中心線４００Ｃにより右側領域４０１Ｒと左側領域４０１Ｌとに分割する（ステップＳ２０２）。右側領域４０１Ｒは、複数の候補点４０２Ｒを含む。また、左側領域４０１Ｌは、複数の候補点４０２Ｌを含む。
【００６２】
次に、消失点検出部３３は、右側領域４０１Ｒに位置する複数の候補点４０２Ｒを含む候補点群に対して、例えば、ハフ変換を適用して、右側検出線４０３Ｒを生成する。また、消失点検出部３３は、左側領域４０１Ｌに位置する複数の候補点４０２Ｌを含む候補点群に対して、例えば、ハフ変換を適用して、左側検出線４０３Ｌを生成する（ステップＳ２０３）。
【００６３】
次に、消失点検出部３３は、カメラ画像４０内において右側検出線４０３Ｒと左側検出線４０３Ｌとが交差する交点を、カメラ画像４０内の道路の消失点Ｆとして検出する（ステップＳ２０４）。
【００６４】
図４のステップＳ１０６における補正部３４の判定処理を、以下に詳述する。補正部３４は、ピッチ角センサ１４から入力されたピッチ角に基づいて、カメラ画像撮影時刻の直前の所定の期間のピッチ角の変化を求める。例えば、補正部３４は、カメラ画像撮影時刻の直前の所定の期間のピッチ角の単位時間あたりの変化の２乗平均値を求めて、２乗平均値が所定のピッチ角基準値以上である場合、カメラ画像４０が撮影された時に車両１０が路面の起伏の大きい道路を走行していたと判定する。一方、補正部３４は、カメラ画像撮影時刻の直前の所定の期間のピッチ角の単位時間あたりの変化の２乗平均値が所定のピッチ角基準値未満である場合、カメラ画像４０が撮影された時に車両１０が路面の起伏の大きい道路を走行していなかったと判定する。所定の期間としては、例えば、１０秒〜３０秒としてもよい。なお、補正部３４は、他の判断基準に基づいて、カメラ画像４０が撮影された時に車両１０が路面の起伏の大きい道路を走行していたか否かを判定してもよい。
【００６５】
図４のステップＳ１０７における補正部３４の補正処理を、図９を参照して、以下に詳述する。図９に示すように、補正部３４は、補正前の切り出し領域４１の縦方向の寸法を拡大するように、補正された切り出し領域４３の縦方向の寸法を決定する。例えば、補正部３４は、補正された切り出し領域４３の縦方向の寸法を、補正前の縦方向の長さＨ１と、所定の係数ａとの積（ａ×Ｈ１）として求める。ここで、ａは、１以上の実数である。ａとして、１．１〜１．３の範囲の実数としてもよい。部分画像生成部３１は、道路の消失点Ｆが、横方向の長さＷ１及び縦方向の長さａ×Ｈ１の矩形形状の中心となるように、切り出し領域４３を決定する。図９に示す例では、補正前の切り出し領域として、図６に示す切り出し領域４１を用いている。補正後の切り出し領域４３の横方向の長さＷ１は、補正前と同じである。これにより、車両１０が路面の起伏の大きい道路を走行することにより、車両１０のピッチ角が大きく変化しても、車両１０が走行している道路を表すようにカメラ画像４０を撮影することができる。
【００６６】
図４のステップＳ１０８における補正部３４の補正処理を、図１０を参照して、以下に詳述する。補正部３４は、車速センサ１３から入力された車両速度に基づいて、カメラ画像撮影時刻の直前の所定の期間の車両速度の平均値を求める。例えば、補正部３４は、カメラ画像撮影時刻の直前の所定の期間の車両速度の平均値が、所定の基準速度よりも大きい場合、車両１０の車両速度が高速であると判定する。一方、補正部３４は、カメラ画像撮影時刻の直前の所定の期間の車両速度の平均値が、所定の基準速度以下である場合、車両１０の車両速度が低速であると判定する。補正部３４は、車両１０の車両速度が高速であると判定された場合、切り出し領域の寸法を、車両１０の車両速度が低速である時よりも拡大する。車両１０の車両速度が高速であると、カメラ画像４０の端部に表される画像が鮮明ではなくなることがある。そこで、切り出し領域の寸法を拡大することにより、カメラ画像４０の端部に表されている道路の部分の領域を拡大する。所定の期間としては、例えば、１０秒〜３０秒としてもよい。これにより、サーバ等において、複数の部分画像のそれぞれの鳥瞰画像が生成されて、複数の鳥瞰画像をつなぎ合わせて道路が表された一つの道路画像を生成する処理の精度が向上する。
【００６７】
図１０に示す例では、補正部３４は、補正前の切り出し領域４１の縦方向の寸法を拡大し且つ横方向の寸法を拡大するように、補正された切り出し領域４４の縦方向の寸法及び横方向の寸法を決定する。例えば、補正部３４は、補正された切り出し領域４４の縦方向の寸法を、補正前の縦方向の長さＨ１と、所定の係数ｂとの積（ｂ×Ｈ１）として求める。また、部分画像生成部３１は、補正された切り出し領域４４の横方向の寸法を、補正前の横方向の長さＷ１と、所定の係数ｃとの積（ｃ×Ｗ１）として求める。ここで、ｂ及びｃは、１以上の実数である。ｂ及びｃとして、１．１〜１．３の範囲の実数としてもよい。部分画像生成部３１は、道路の消失点Ｆが、補正された横方向の長さｃ×Ｗ１及び縦方向の長さｂ×Ｈ１の矩形形状の中心となるように、切り出し領域４４を決定する。図１１に示す例では、補正前の切り出し領域として、図６に示す切り出し領域４１を用いている。
【００６８】
以上に説明してきたように、この部分画像生成装置は、車両に設けられた撮像部を用いて車両の周囲の環境が撮影された画像から部分画像を生成し、画像に表されている道路が直線であるか否かを判定する。部分画像生成装置は、画像に表されている道路が直線であると判定された場合、道路の消失点に基づいて道路が表されていると推定される画像内の第１領域を切り出して部分画像として生成し、画像に表されている道路が直線ではないと判定された場合、車両の種類に基づいて決定される画像内の第２領域を切り出して部分画像として生成する。これにより、部分画像のそれぞれにおいて同じような位置に道路が表されているので、サーバ等において、同じ道路について撮影された複数の部分画像のそれぞれの鳥瞰画像を生成し、複数の鳥瞰画像をつなぎ合わせて道路が表された道路画像を生成する処理が容易となる。また、従来の技術では、道路の位置が部分画像ごとに異なっていても画像内に道路が含まれるように、カメラが撮影した画像から大きめの領域を切り出して部分画像を生成していた。一方、この部分画像生成装置は、カメラが撮影した画像から部分画像を切り出す領域を従来よりも小さく設定できるので、部分画像生成装置からサーバ等へ送信する通信量を低減できる。
【００６９】
上述した部分画像生成装置の変型例１を、以下に説明する。図４に示したステップＳ１０２において、判定部３２は、カメラ画像４０が撮影された時の車両１０の位置と、地図情報記憶装置１７に記憶される地図情報とに基づいて、カメラ画像４０に表されている道路が直線であるか否かを判定していた。変型例１の部分画像生成装置１８では、プロセッサ２３の判定部３２は、カメラ画像４０に表されている道路の形状に基づいて、カメラ画像４０に表されている道路が直線であるか否かを判定する。例えば、判定部３２は、ステップＳ１０３の処理において検出された道路の車線区画線を表すと推定される右側検出線４０３Ｒ及び左側検出線４０３Ｌ（図８参照）を用いて、カメラ画像４０に表されている道路が直線であるか否かを判定する。判定部３２は、右側領域４０１Ｒに検出された複数の候補点４０２Ｒのそれぞれと、右側検出線４０３Ｒとの距離の平均値ＡＲを求める。また、判定部３２は、左側領域４０１Ｌに検出された複数の候補点４０２Ｌのそれぞれと、左側検出線４０３Ｌとの距離の平均値ＡＬを求める。判定部３２は、ＡＲとＡＬとの平均値が、所定の基準距離以下である場合、カメラ画像４０に表されている道路が直線であると判定する。なお、判定部３２は、複数の候補点４０２Ｒ及び複数の候補点４０２Ｌに基づいて、他の方法を用いて、カメラ画像４０に表されている道路が直線であるか否かを判定してもよい。
【００７０】
上述した部分画像生成装置の変型例２を、以下に説明する。図４に示したステップＳ１０５では、カメラ画像４０に表されている道路が直線ではないと判定された場合（ステップＳ１０２−Ｎｏ）、カメラ画像４０の切り出し領域は一律に決定されていた。変型例２の部分画像生成装置１８では、車両１０の種類に基づいてカメラ画像４０内の切り出し領域が決定（ステップＳ１０５）された後に、補正部３４は、カメラ画像４０に表されている道路が、右回りであるか、又は、左回りであるかを判定する処理を行う。そして、補正部３４は、判定結果に基づいて、カメラ画像４０内の切り取り領域の位置を補正する。
【００７１】
図１１は、変型例２における補正部の処理を説明する図である。補正部３４は、メモリ２２に記憶される地図を参照して、上述した判定領域に含まれる道路区間が、右回りであるか、又は、左回りであるかを判定する。補正部３４は、この判定結果に基づいて、カメラ画像４０に表されている道路が、右回りであるか、又は、左回りであるかを判定する。
【００７２】
例えば、補正部３４は、カメラ画像４０に表されている道路が左回りである場合、切り出し領域の基準位置を左方向に所定のオフセット距離だけ移動するように、切り出し領域の補正を行う。一方、補正部３４は、カメラ画像４０に表されている道路が右回りである場合、切り出し領域の補正は行わない。
【００７３】
図１１は、カメラ画像４０に表されている道路が、右回りである場合の切り取り領域４５と、左回りである場合の切り取り領域４６とを示す。カメラ画像４０に表されている道路が右回りである時の切り出し領域４５は、カメラ画像４０内の右側の領域を多く含むように、基準位置Ｐ２、横方向の寸法及び縦方向の寸法が決定されている。本変形例では、ステップＳ１０５において決定される切り出し領域は、カメラ画像４０に表されている道路が右回りである時の切り出し領域４５となる。一方、カメラ画像４０に表されている道路が左回りである場合、切り出し領域４６は、道路が右回りの時の切り出し領域４５と比べて、基準位置Ｐ３が左方向に所定のオフセット距離だけ移動している。カメラ画像４０に表されている道路が左回りである時の切り出し領域４６は、カメラ画像４０内の左側の領域を多く含むように、基準位置Ｐ３、横方向の寸法及び縦方向の寸法が決定されている。切り出し領域４６の横方向の寸法及び縦方向の寸法は、切り取り領域４５と同じである。これにより、切り出し領域４５、４６を、切り出し領域４２よりも小さくできるので、部分画像をサーバへ送信する時の通信量を低減することができる。
【００７４】
また、上述した実施形態では、撮影されたカメラ画像ごとに道路の消失点が求められていたが、道路の消失点は、連続して撮影された複数のカメラ画像のうちの一つについて検出し、検出された道路の消失点を他のカメラ画像に対して適用してもよい。
【００７５】
また、上述した実施形態では、撮像部の一例としてカメラが用いられていたが、このカメラは静止画を撮影するものであってもよいし、動画を撮影するものであってもよい。動画が撮影された場合には、部分画像生成装置によって、動画を形成する画像ごとに、部分画像が生成してもよい。
【００７６】
また、上述した実施形態では、カメラは、車両１０の前方の環境を撮影していたが、カメラは、車両１０の後方の環境を撮影するようにしてもよい。
【００７７】
また、上述した実施形態では、車両の種類に基づいて決定されるカメラ画像内の切り出し領域の位置及び寸法は、ヘッドアップディスプレイの型番を介して、車両の種類と関連付けられていたが、関連付ける方法はこれに限定されない。例えば、カメラ画像内の切り出し領域の位置及び寸法は、部分画像生成装置が搭載される車両ごとに、搭載される車両の種類によって決定されてメモリに記憶されていてもよい。
【００７８】
本発明では、上述した実施形態の部分画像生成装置及び部分画像生成用コンピュータプログラムは、本発明の趣旨を逸脱しない限り適宜変更が可能である。また、本発明の技術範囲はそれらの実施形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶものである。
【符号の説明】
【００７９】
１０  車両
１０１    フロントウィンドウ
１１    カメラ
１２    無線通信端末
１３    車速センサ
１４    ピッチ角センサ
１５    ヘッドアップディスプレイ
１６    測位情報受信機
１７    地図情報記憶装置
１８    部分画像生成装置
１９    車内ネットワーク
２１    通信インターフェース
２２    メモリ
２３    プロセッサ
２４    信号線
３１    部分画像生成部
３２    判定部
３３    消失点検出部
３４    補正部
４０    カメラ画像
４１〜４９    領域
【図１】
2022002045.tif 000003
【図２】
2022002045.tif 000004
【図３】
2022002045.tif 000005
【図４】
2022002045.tif 000006
【図５】
2022002045.tif 000007
【図６】
2022002045.tif 000008
【図７】
2022002045.tif 000009
【図８】
2022002045.tif 000010
【図９】
2022002045.tif 000011
【図１０】
2022002045.tif 000012
【図１１】
2022002045.tif 000013