(57)【要約】      （修正有）【課題】車両を駐車する際の乗員の利便性を向上させること。【解決手段】駐車位置表示処理装置１０は、車両の周囲を撮像して撮像画像を生成する撮像部１２と、前記車両の車両情報を取得する車両情報取得部１８と、前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部１７と、前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出部１９と、前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部２０と、前記合成画像を表示する表示部９０と、を備える。【選択図】図４
2019067220.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮像して撮像画像を生成する撮像部と、
前記車両の車両情報を取得する車両情報取得部と、
前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部と、
前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出部と、
前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部と、
前記合成画像を表示する表示部と、
を備える駐車位置表示処理装置。
【請求項２】
前記合成画像生成部は、前記駐車予定位置を表す前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像を合成した前記合成画像を、前記表示部に表示させる、
請求項１に記載の駐車位置表示処理装置。
【請求項３】
前記駐車位置算出部は、前記駐車予定位置の領域内に存在する前記車両周囲情報に含まれる物体を回避した、の前記駐車予定位置の候補を算出し、
前記合成画像生成部は、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、前記撮像画像と、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成して前記表示部に表示させる、
請求項１または請求項２に記載の駐車位置表示処理装置。
【請求項４】
車両の内部を撮像して内部撮像画像を生成する内部撮像部をさらに備え、
前記車両周囲状態認識部は、前記内部撮像画像に基づいて、前記車両の乗車者の乗車位置および前記車両の乗車者の年齢を算出し、
前記駐車位置算出部は、算出した前記乗車者の年齢によって、前記乗車者の乗車位置に最も近い前記車両の側面周囲の第１の降車領域が、該第１の降車領域の反対側の第２の降車領域よりも広くなるように前記駐車予定位置の候補を算出し、
前記合成画像生成部は、前記撮像画像と、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、から合成画像を生成して前記表示部に表示させる、
請求項１から請求項３のいずれか一項に記載の駐車位置表示処理装置。
【請求項５】
前記駐車予定位置は、乗車者の年齢が第１所定年齢未満であると判定した場合、または乗車者の年齢が第２所定年齢以上である場合に、乗車者の年齢が前記第１所定年齢以上前記第２所定年齢未満である場合よりも降車領域が広い、
請求項１から請求項４のいずれか一項に記載の駐車位置表示処理装置。
【請求項６】
前記駐車位置算出部は、前記乗車者に最も近い前記第１の降車領域と、前記第１の降車領域の反対側の第２の降車領域とを比較し、前記第１の降車領域と前記第２の降車領域のうち、より広い降車領域を降車位置として算出し、
前記合成画像生成部は、前記乗車者の前記降車位置を表す画像を生成し、前記撮像画像と、前記降車位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、の合成画像を前記表示部に表示させる、
請求項４に記載の駐車位置表示処理装置。
【請求項７】
前記車両の側面を前記車両の前方から後方にかけて撮像して側面画像を生成する側面撮像部と、
前記車両のドアを開くことが可能な、ドアの開度量を算出するドア開度算出部と、
をさらに備え、
前記合成画像生成部は、前記ドアの開度量に基づいて、前記ドアの開度量を表す画像を生成し、前記側面画像と、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、前記撮像画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、前記降車位置を表す画像と、を合成した合成画像を前記表示部に表示させる、
請求項６に記載の駐車位置表示処理装置。
【請求項８】
前記ドア開度算出部は、前記車両周囲情報が示す物体の位置情報と、前記駐車予定位置とから、前記車両と前記物体との間の、前記ドアの開度量を算出する、
請求項７に記載の駐車位置表示処理装置。
【請求項９】
前記車両のドアを閉める方向に力を発生させる作動部をさらに備え、
前記少なくとも１つの前記ドアの開度量が示すドアを開閉可能な領域のうち、次の領域との境界より手前の領域に、前記ドアの位置が達した場合、
前記作動部は、前記車両のドアを閉める方向に力を作用させ、乗車者に現在のドアの位置が前記手前の領域であることを通知する、
請求項７に記載の駐車位置表示処理装置。
【請求項１０】
前記車両の前記ドアを閉める方向に作用させる力は、前記ドアを開閉可能な領域ごとに変化させ、ドアの開度量が増加するほど、前記ドアを閉める方向に作用させる力が大きくなる、
請求項９に記載の駐車位置表示処理装置。
【請求項１１】
前記車両周囲情報が表す物体の位置情報に基づく物体の位置に、前記車両の前記ドアが近づいた場合に、前記車両の前記ドアを閉める方向に作用させる力を、それ以外の場合よりも大きくする
請求項９に記載の駐車位置表示処理装置。
【請求項１２】
車両の周囲を撮像して撮像画像を生成する撮像部と、表示部と、を備える駐車位置表示処理装置のコンピュータが、
前記車両の車両情報を取得する車両情報取得過程と、
前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識過程と、
前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出過程と、
前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成過程と、
前記合成画像を前記表示部に表示させる表示過程と、
を有する駐車位置表示方法。
【請求項１３】
車両の周囲を撮像して撮像画像を生成する撮像部と、表示部と、を備える駐車位置表示処理装置のコンピュータが、
前記車両の車両情報を取得する車両情報取得ステップと、
前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識ステップと、
前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出ステップと、
前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成ステップと、
前記合成画像を前記表示部に表示させる表示ステップと、
を実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一態様は、駐車位置表示処理装置、駐車位置表示方法、およびプログラムに関する。
【背景技術】
【０００２】
車両の周囲環境画像上の駐車予定位置に駐車後の車両の画像を重畳表示し、駐車を開始する前に駐車後の車両の状況を確認可能な技術がある（例えば、特許文献１参照）。
また、駐車目標位置を設定し、該駐車目標位置に駐車した車両の側方に確保されるドア操作のためのスペースとドア操作可能な許容角度とを考慮して運転者以外の乗員に駐車目標位置への駐車前の降車を促す技術がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２０８４２０号公報
【特許文献２】特開２０１０−２０２０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術を用いても、駐車予定位置を変更する場合、車両を一旦停車させてから手動で駐車予定位置を調整するか、車両の周囲環境画像上の駐車予定位置が所望位置となるまで車両を移動させる必要があり、運転者の負担が大きいという問題があった。また、特許文献２に記載の技術を用いても、ドア操作可能な許容角度を事前に設定する必要があり、許容角度の設定によってはドア操作のためのスペースが確保される場合であっても運転者以外の乗員が事前に降車しなければならず、利便性が十分でないという問題があった。
このように、車両を駐車する際の運転者や同乗者等の乗員の利便性が十分でないという課題があった。
【０００５】
本発明の一態様は、上記した事情に鑑みてなされたものであり、車両を駐車する際の乗員の利便性を向上させることができる駐車位置表示処理装置、駐車位置表示方法、およびプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様は、上記した事情に鑑みてなされたものであり、車両の周囲を撮像して撮像画像を生成する撮像部と、前記車両の車両情報を取得する車両情報取得部と、前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部と、前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出部と、前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部と、前記合成画像を表示する表示部と、を備える駐車位置表示処理装置である。
【０００７】
また、本発明の第２の態様は、上記駐車位置表示処理装置であって、前記合成画像生成部は、前記駐車予定位置を表す前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像を合成した前記合成画像を、前記表示部に表示させる。
【０００８】
また、本発明の第３の態様は、上記駐車位置表示処理装置であって、前記駐車位置算出部は、前記駐車予定位置の領域内に存在する前記車両周囲情報に含まれる物体を回避した、の前記駐車予定位置の候補を算出し、前記合成画像生成部は、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、前記撮像画像と、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成して前記表示部に表示させる。
【０００９】
また、本発明の第４の態様は、上記駐車位置表示処理装置であって、車両の内部を撮像して内部撮像画像を生成する内部撮像部をさらに備え、前記車両周囲状態認識部は、前記内部撮像画像に基づいて、前記車両の乗車者の乗車位置および前記車両の乗車者の年齢を算出し、前記駐車位置算出部は、算出した前記乗車者の年齢によって、前記乗車者の乗車位置に最も近い前記車両の側面周囲の第１の降車領域が、該第１の降車領域の反対側の第２の降車領域よりも広くなるように前記駐車予定位置の候補を算出し、前記合成画像生成部は、前記撮像画像と、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、から合成画像を生成して前記表示部に表示させる。
【００１０】
また、本発明の第５の態様は、上記駐車位置表示処理装置であって、前記駐車予定位置は、乗車者の年齢が第１所定年齢未満であると判定した場合、または乗車者の年齢が第２所定年齢以上である場合に、乗車者の年齢が前記第１所定年齢以上前記第２所定年齢未満である場合よりも降車領域が広い。
【００１１】
また、本発明の第６の態様は、上記駐車位置表示処理装置であって、前記駐車位置算出部は、前記乗車者に最も近い第１の降車領域と、該第１の降車領域の反対側の第２の降車領域とを比較し、前記第１の降車領域と前記第２の降車領域のうち、より広い降車領域を降車位置として算出し、前記合成画像生成部は、前記乗車者の前記降車位置を表す画像を生成し、前記撮像画像と、前記降車位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、の合成画像を前記表示部に表示させる。
【００１２】
また、本発明の第７の態様は、上記駐車位置表示処理装置であって、記車両の側面を前記車両の前方から後方にかけて撮像して側面画像を生成する側面撮像部と、前記車両のドアを開くことが可能な、ドアの開度量を算出するドア開度算出部と、をさらに備え、前記合成画像生成部は、前記ドアの開度量に基づいて、前記ドアの開度量を表す画像を生成し、前記側面画像と、前記駐車予定位置の候補における前記車両の周囲の状態を表す画像と、前記撮像画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、前記降車位置を表す画像と、を合成した合成画像を前記表示部に表示させる。
【００１３】
また、本発明の第８の態様は、上記駐車位置表示処理装置であって、前記ドア開度算出部は、前記車両周囲情報が示す物体の位置情報と、前記駐車予定位置とから、前記車両と前記物体との間の、前記ドアの開度量を算出する。
【００１４】
また、本発明の第９の態様は、上記駐車位置表示処理装置であって、前記車両のドアを閉める方向に力を発生させる作動部をさらに備え、前記少なくとも１つの前記ドアの開度量が示すドアを開閉可能な領域のうち、次の領域との境界より手前の領域に、前記ドアの位置が達した場合、前記作動部は、前記車両のドアを閉める方向に力を作用させ、乗車者に現在のドアの位置が前記手前の領域であることを通知する。
【００１５】
また、本発明の第１０の態様は、上記駐車位置表示処理装置であって、前記車両の前記ドアを閉める方向に作用させる力は、前記ドアを開閉可能な領域ごとに変化させ、ドアの開度量が増加するほど、前記ドアを閉める方向に作用させる力が大きくなる。
【００１６】
また、本発明の第１１の態様は、上記駐車位置表示処理装置であって、前記車両周囲情報が表す物体の位置情報に基づく物体の位置に、前記車両の前記ドアが近づいた場合に、前記車両の前記ドアを閉める方向に作用させる力を、それ以外の場合よりも大きくする。
【００１７】
また、本発明の第１２の態様は、上記した事情に鑑みてなされたものであり、車両の周囲を撮像して撮像画像を生成する撮像部と、表示部と、を備える駐車位置表示処理装置のコンピュータが、前記車両の車両情報を取得する車両情報取得過程と、前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識過程と、前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出過程と、前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成過程と、前記合成画像を前記表示部に表示させる表示過程と、を有する駐車位置表示方法である。
【００１８】
また、本発明の第１３の態様は、上記した事情に鑑みてなされたものであり、車両の周囲を撮像して撮像画像を生成する撮像部と、表示部と、を備える駐車位置表示処理装置のコンピュータが、前記車両の車両情報を取得する車両情報取得ステップと、前記撮像画像と前記車両情報とに基づいて、前記車両の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識ステップと、前記車両周囲情報と前記車両情報とに基づいて、前記車両の駐車予定位置を算出する駐車位置算出ステップと、前記駐車予定位置と前記車両周囲情報とに基づいて、前記駐車予定位置を表す画像と、前記駐車予定位置における前記車両の周囲の状態を表す画像と、から合成画像を生成する合成画像生成ステップと、前記合成画像を前記表示部に表示させる表示ステップと、を実行するためのプログラムである。
【発明の効果】
【００１９】
本発明の一態様によれば、車両を駐車する際の乗員の利便性を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る駐車位置表示システムの構成の一例を示す概略図である。
【図２】本発明の第１の実施形態に係る想定環境の一例を示す鳥瞰図である。
【図３】本発明の第１の実施形態に係るリアカメラの撮影画像をディスプレイで表示した場合の一例を示す表示例である。
【図４】本発明の第１の実施形態に係る駐車位置表示処理装置の機能構成の一例を示す概略ブロック図である。
【図５】本発明の第１の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
【図６】本発明の第２の実施形態に係る車両の鳥瞰図である。
【図７】本発明の第２の実施形態に係る駐車位置表示処理装置の機能構成の一例を示す概略ブロック図である。
【図８】本発明の第２の実施形態に係る車両画像の一例を示す説明図である。
【図９】本発明の第２の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
【図１０】本発明の第２の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
【図１１】本発明の第２の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
【図１２】本発明の第３の実施形態に係る表示画像の一例を示す説明図である。
【図１３】本発明の第３の実施形態に係る車両のドアの開度量を表す画像の一例を示す説明図である。
【図１４】本発明の第４の実施形態に係る表示画像の一例を示す説明図である。
【図１５】本発明の第４の実施形態に係る表示画像の一例を示す説明図である。
【図１６】本発明の第５の実施形態に係る駐車位置表示処理装置の機能構成の一例を示す概略ブロック図である。
【図１７】本発明の第５の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
【図１８】本発明の第５の実施形態に係る変形例の駐車位置表示処理の一例を示すフローチャートである。
【図１９】本発明の第６の実施形態に係る駐車位置表示処理装置の機能構成の一例を示す概略ブロック図である。
【図２０】本発明の第６の実施形態に係るフィードバック力制御の一例を示す説明図である。
【図２１】本発明の第６の実施形態に係るフィードバック力制御の一例を示す説明図である。
【図２２】本発明の第６の実施形態に係るフィードバック力制御の一例を示す説明図である。
【図２３】本発明の第６の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら本発明の各実施形態について詳しく説明する。
【００２２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る駐車位置表示システムｓｙｓの構成の一例を示す概略図である。
図示する例は、車両１１の側面図の一例である。駐車位置表示システムｓｙｓは、駐車位置表示処理装置１０と、車両１１と、リアカメラ１２と、ディスプレイ９０と、を含んで構成される。駐車位置表示処理装置１０は、例えば、車両１１の前方部Ｆの車体内部に配置され、撮影画像に対して各種画像処理を行う。
【００２３】
リアカメラ１２は、車両１１の後方部Ｒに配置され、車両１１の車外の周囲環境を撮影する。リアカメラ１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの撮像素子（非図示）と、撮像レンズ（図示せず）と、信号処理部と、を含み、撮像レンズを介して撮像素子上に結像させて画像を撮影（生成）する。図示する例では、撮像レンズの光軸を光軸１２０と表す。リアカメラ１２は、例えば、水平画角６０度以上の広角カメラであり、光軸１２０の向きが車両後方となるように車両１１の後方に配置される。このとき、リアカメラ１２は、法定視界範囲が撮影可能な水平（または垂直）画角も広角であることが好ましいが、この限りでなく、例えば、車両１１の後方部Ｒに２台以上の水平（または垂直）画角が広角でないカメラを使用してもよい。この場合、カメラキャリブレーションに対する処理を施せばよい。以下の説明において、リアカメラ１２により生成された画像を生成画像ともいう。
【００２４】
ディスプレイ９０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、駐車位置表示処理装置１０により画像処理が施された画像を表示する。
なお、駐車位置表示処理装置１０と、リアカメラ１２と、ディスプレイ９０とは、それぞれが専用のデバイスや処理部として設けられてもよいし、例えば照明機器や空調機等の車両内の各種制御装置の一部を共用してもよいし、該各種制御装置の一部に組み込まれてもよい。また、リアカメラ１２と駐車位置表示処理装置１０とは、一体として構成、または配置されていてもよい。
【００２５】
以下では、駐車位置表示システムを搭載した車両１１で後退する際の想定環境、およびディスプレイ９０に表示される駐車位置表示の一例について説明する。
【００２６】
図２は、本発明の第１の実施形態に係る想定環境の一例を示す鳥瞰図である。
想定環境は、例えば駐車場であり、図示する例は、該駐車場の一部の領域ＳＡの鳥瞰図の一例である。
領域ＳＡには、車両の駐車区域を表す区域線２４−１、２４−２、２４−４、２４−５、２４−６、２４−７、２４−８や、駐車区域ごとに車止ＳＴ１−１、ＳＴ１−２、ＳＴ２−１、ＳＴ２−２、ＳＴ３−１、ＳＴ３−２が配置されている。ここで、区域線２４−１、２４−２、２４−３、２４−４、２４−５、２４−６、２４−７、２４−８を区別しないとき、またはいずれかの区域線を表すときは、区域線２４と称する。また、車止ＳＴ１−１、ＳＴ１−２、ＳＴ２−１、ＳＴ２−２、ＳＴ３−１、ＳＴ３−２を区別しないとき、またはいずれかの車止を表すときは、車止ＳＴと称する。
【００２７】
ここで、車両１１が駐車区域Ｐに駐車する場合の一例について説明する。駐車区域Ｐは、例えば、且つ区域線２４−６、２４−７で挟まれた区域である。
領域ＳＡにおいて、車両１１は、リアカメラ１２が配置された車両１１の後方、すなわち、リアカメラ１２の光軸１２０の方向、進行方向Ｄに進行（後進）して駐車区域Ｐに駐車しようとしている。このとき、車両１１は、車両１１の後部に設置されたリアカメラ１２により、光軸１２０の方向、すなわち車両後方を撮影する。リアカメラ１２は、例えば、駐車位置表示領域２３の範囲の撮影が可能である。
【００２８】
図示する例において、駐車区域Ｐには、水たまり２８が存在する。車両１１が駐車区域Ｐに駐車した場合、駐車区域Ｐにおける車両１１の駐車位置によって、車両１１が駐車後に乗員が降車する際に悪路である注意すべき注意箇所である。また、図示する例において、駐車区域Ｐの左側の駐車区域（区域線２４−５、２４−６で挟まれた区域）には、隣接車両３０が駐車されている。また、図示する例において、駐車区域Ｐの右側の駐車区域（区域線２４−７、２４−８で挟まれた区域）には、歩行者２５が歩行中である。
車両１１が駐車区域Ｐに駐車する場合、隣接車両３０と、歩行者２５とは、車両１１が駐車する際に接触する可能性がある障害物となる。
【００２９】
次いで、上記想定環境において、車両１１のリアカメラ１２が撮影した画像をディスプレイ９０で表示した場合の一例について説明する。
【００３０】
図３は、本発明の第１の実施形態に係るリアカメラ１２の撮影画像をディスプレイ９０で表示した場合の一例を示す表示例である。
ここで、図２における駐車位置表示領域２３と図３における駐車位置表示領域２３とが対応するものとする。
図示する例は、車両１１が後退して駐車動作をするときに、車両１１のリアカメラ１２で撮影される駐車位置表示領域２３の画像である。この駐車位置表示領域２３の画像は、リアカメラ１２で撮影される画像（映像）の一部または全体に対して各種画像処理を行うことでることで得られる画像（映像）である。駐車位置表示領域２３の画像は、車両１１に備えられたディスプレイ９０に表示される。
【００３１】
図示する例において、車両１１が駐車可能な駐車区域は、駐車可能範囲２６−１、２６−２である。駐車可能範囲を区別しないときには、駐車可能範囲２６と称する。駐車可能範囲２６は、区域線２４で囲まれた駐車区域に車両１１が駐車可能であるに駐車位置表示領域２３に表示される。駐車可能範囲２６が表示される場合は、駐車位置２７−１、２７−２、２７−３、２７−４が駐車位置表示領域２３に表示され、車両画像３２−１、３２−２、３２−３、３２−４が安全情報表示領域２３Ａに表示される。駐車位置２７−１、２７−２、２７−３、２７−４を区別しないときには、駐車位置２７と称する。また、車両画像３２−１、３２−２、３２−３、３２−４を区別しないときには、車両画像３２と称する。
【００３２】
駐車位置２７は、車両１１を駐車可能範囲２６に駐車した場合の位置（駐車予定位置）と、車両１１の駐車に必要な面積とを表す。また、車両画像３２は、駐車位置２７に車両１１を駐車する場合の車両１１の位置を表す画像と車両１１のドアの開度量を表す。
このように、駐車位置２７と、駐車位置２７に駐車した場合の車両画像３２とを表示することで、運転者は、車両画像３２の中から任意の位置を選択して駐車できる。また、運転者は、リアカメラ１２や駐車支援に関する各種パラメータの設定を行う必要が無くなるため、ユーザの利便性を向上させることができる。また、運転者、または降車者は、駐車前に、駐車後の車両１１の駐車位置（周辺の障害物を含む）を確認できるとともに、駐車前に、駐車後の車両１１のドアの開度量を確認することができる。
【００３３】
ここで、図示する例において、歩行者２５と隣接車両３０とは、上述のように車両１１を駐車する場合に車両１１と接触する可能性がある物体（障害物）である。障害物は、運転者に存在を知らせる必要があるため、図示するように強調表示される。
また、水たまり２８は、車両１１から乗員が降車する場合に注意すべき注意箇所２９である、注意箇所２９は、運転者または降車者に注意箇所の存在を知らせる必要があるため、図示するように強調表示される。
このように、リアカメラ１２で撮影された画像に画像処理を施して、画像中の障害物や注意箇所を検出、強調表示することで、車両１１の運転者および降車者に車両後方の物体の存在などの車両周辺の状況を通知（報知）することができる。
【００３４】
図４は、本発明の第１の実施形態に係る駐車位置表示処理装置１０の機能構成の一例を示す概略ブロック図である。
駐車位置表示処理装置１０は、画像取得部１６と、車内外状態認識部１７と、車両情報取得部１８と、駐車位置算出部１９と、表示画像生成部２０と、物体情報記憶部２１−１と、属性情報記憶部２１−２と、を含んで構成される。
【００３５】
画像取得部１６は、リアカメラ１２により入力された生成画像を表す画像信号を取得する。画像取得部１６は、取得した画像信号を、車内外状態認識部１７と、表示画像生成部２０と、に出力する。
なお、画像取得部１６は、有線ケーブルを介してリアカメラ１２から画像信号を取得してもよいし、無線によりリアカメラ１２から画像信号を取得してもよいし、他の装置、ネットワークなどを介してリアカメラ１２の画像信号を取得してもよいし、他の方法でリアカメラ１２の画像信号を取得してもよい。
また、画像取得部１６は、リアカメラ１２から入力される画像信号を、車内外状態認識部１７、表示画像生成部２０等での画像処理（信号処理）に適した画像信号に変換してもよい。この様にすることで、リアカメラ１２の機種や、リアカメラ１２が出力する画像信号の種類を問わず駐車位置表示処理装置１０が画像信号を取得することができる。
【００３６】
車内外状態認識部１７は、画像取得部１６から画像信号が入力されると、画像信号が表す画像における各物体および該各物体の座標を検出する。車内外状態認識部１７は、検出した各物体の座標情報を物体情報記憶部２１−１に記憶させる。また、車内外状態認識部１７は、検出した各物体の種類を判別する。車内外状態認識部１７は、物体の判別結果を属性情報記憶部２１−２に記憶させる。車内外状態認識部１７は、検出した各物体の座標情報、および各物体の判別結果を含む検出情報を、駐車位置算出部１９と、表示画像生成部２０と、に出力する。
このように、車内外状態認識部１７は、物体の座標と、物体の判別結果とを物体情報記憶部２１−１と、属性情報記憶部２１−２とで同一番地で別々に記憶することで、読み出すときの情報を紐づけることができる。
【００３７】
なお、車内外状態認識部１７は、入力された画像信号に基づいて、画像中の特徴量（例えば、Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ特徴量）を算出し、予め定めた処理（例えば、ＡｄａｂｏｏｓｔアルゴリズムやＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅアルゴリズム等）を行うことで、物体を検出してもよい。また、車内外状態認識部１７が各物体を検出する方法は、上記に限られず、入力された画像信号から物体を検出する方法であれば、いかなる方法を用いてもよい。
なお、車内外状態認識部１７は、入力された画像信号に基づいて、画像中の特徴量を算出し、算出した特徴量を、事前に機械学習などで算出した学習データによって分類することで、物体の判別を行ってもよい。また、車内外状態認識部１７が物体の判別をする方法は、上記に限られず、物体の判別が可能な方法であれば、いかなる方法を用いてもよい。
【００３８】
車両情報取得部１８は、各センサ７０−１、７０−２、７０−ｂ（ｂは、１以上の予め定めた整数）が取得した車両情報１−１、１−２、１−ｂ（ｂは、１以上の予め定めた整数）を取得する。車両情報は、車両１１に設置された各センサ７０−ｂが取得した情報であり、車両１１の車幅、車両１１の車体の全長（車両長）、車両１１の進行方向、車両１１のドアの開閉状態などの情報が含まれる。車両１１のドアの開閉状態の情報には、車両１１のドアの開閉の他、ドアが開いているときの角度情報も含まれる。
車両情報取得部１８は、取得した車両情報１−ｂを、駐車位置算出部１９に出力する。
【００３９】
なお、各センサ７０−ｂが取得した車両情報の取得方法は、上記に限定されず、有線ケーブルを介して取得してもよいし、無線により取得してもよいし、いかなる方法を用いて取得してもよい。また、車両情報には、車両１１に設置したセンサから得られる車両信号信号（例えば、車両位置情報など）が含まれていてもよい。また、車両情報は、複数の車両信号を組み合わせて新たな情報を生成してもよい。例えば、ハンドル角度の車両信号と車速の車両信号とから車両の進行方向を表す車両情報を生成してもよい。
【００４０】
なお、車両情報取得部１８は、取得した車両情報１−ｂを、車内外状態認識部１７と、駐車位置算出部１９とに出力してもよい。この場合、車内外状態認識部１７は、画像取得部１６が出力した画像信号および車両情報取得部１８が出力した車両情報の一方または両方に基づいて車内外状態を認識してもよい。車両情報のみを用いて車内外状態を認識する場合、画像信号に対して行う画像処理が不要になるため、車内外状態認識部１７における計算量を削減することができる。次に、画像信号のみを用いて車内外状態を認識する場合、画像信号を処理するアルゴリズムを顔検出アルゴリズムや物体検出アルゴリズムに変更することで、画像信号から複数の情報（人の位置や障害物の位置等）を取得することができる。そして、車両情報と画像信号の両方を用いて車内外状態を認識する場合、画像処理アルゴリズムの出力結果とセンサの検出情報とを組み合わせることができる。例えば、車両後方にある物体を検出するためのセンサを車外に設置し、センサの検出結果と、リアカメラの画像信号から物体検出を行った結果とを組み合わせ、センサとリアカメラの画像信号の両方で物体が検出された場合に、物体が検出されたと判定することで、車内外状態検出結果の信頼性を向上させることができる。
【００４１】
駐車位置算出部１９は、車内外状態認識部１７から入力された検出情報のうち、区域線２４の位置情報（座標情報）を取得する。駐車位置算出部１９は、区域線２４の位置情報に基づいて、画像における区域線２４間（例えば、区域線２４−６、２４−７間など）の距離を算出する。また、駐車位置算出部１９は、車両情報取得部１８から車両情報として車両１１の車幅を表す情報を取得し、区域線２４間の距離と車幅との比較計算を行う。
具体的には、駐車位置算出部１９は、車幅が算出した区域線２４間の距離より短い（小さい）場合、すなわち、車両１１が区域線２４間に駐車できるスペースがある場合、区域線２４に挟まれた領域を駐車可能範囲と判定し、判定結果として駐車可能範囲を示す情報を表示画像生成部２０に出力する。また、画像において駐車可能範囲が存在する場合、駐車位置算出部１９は、車両情報取得部１８から車両１１の全長（車両長）を車両情報としてさらに取得して、車幅と車両長とを掛け合わせ、車両１１が駐車に必要な領域を算出する。そして、駐車位置算出部１９は、駐車可能範囲内に車両１１が駐車に必要な複数の領域を配置し、該車両１１が駐車に必要な領域の座標情報を、駐車位置情報として表示画像生成部２０へ出力する。このとき、駐車位置算出部１９は、駐車可能範囲と、車両１１が駐車に必要な領域とが一致しなかった場所を駐車不可能な領域（既に他の車両の駐車位置）と判定し、該駐車不可能な領域の座標情報を、駐車位置情報として表示画像生成部２０に出力する。
【００４２】
表示画像生成部２０は、画像取得部１６から入力された画像信号に、車内外状態認識部１７から入力された検出情報と、駐車位置算出部１９から入力された駐車位置情報と、を重畳表示して駐車位置表示領域２３の画像（重畳画像）を生成する。表示画像生成部２０は、生成した重畳画像をディスプレイ９０に表示させる。
また、表示画像生成部２０は、画像取得部１６から画像信号が入力されると、車内外状態認識部１７から入力された検出情報から、物体の位置情報と、物体の高さ情報とを抽出する。表示画像生成部２０は、抽出した物体の位置情報と物体の高さ情報とから物体を表す枠を生成し、画像信号に重畳して枠重畳画像を生成する。なお、表示画像生成部２０は、物体を表す枠を強調してもよい。その場合、枠の形、枠の色、枠の線種などを変えてもよいし、ディスプレイ９０の画像を見た車両１１の乗員が、リアカメラ１２の画像上の他の物体（背景など）と区別できれば、どのような方法で強調してもよい。
【００４３】
また、表示画像生成部２０は、駐車位置算出部１９から駐車位置情報として取得した駐車可能範囲と、駐車不可能な領域と、車内外状態認識部１７から入力された検出情報と、から駐車位置画像を生成し、画像信号に重畳する。駐車位置画像は、駐車位置への車両１１の進行方向を示す矢印の画像（例えば、図２における進行方向Ｄなど）、駐車後のドアを開けたときの車両１１を表す画像（例えば、図２における車両画像３２など）、車内外状態認識部１７で検出された駐車可能範囲内にある物体の画像（例えば、図２における注意箇所２９など）を含む。表示画像生成部２０は、駐車位置画像内の、駐車位置への車両１１の進行方向を示す矢印の画像は、矢印の始点がリアカメラ１２の画像における画像の中心方向を向き、矢印の終点がカメラ画像上の駐車位置の座標方向を向くように配置される。
【００４４】
次に、表示画像生成部２０は、検出情報に基づいて、各駐車可能範囲における駐車予定位置毎の車両１１のドア位置と、該駐車予定位置での車両１１の各ドアの開度量をそれぞれ算出する。表示画像生成部２０は、算出した各ドアの開度量分、各ドアを傾けた（開いた）状態を表す画像（例えば、図３の車両画像３２など）を生成する。そして、表示画像生成部２０は、車両１１の車幅と、車両１１の全長とに基づく車両１１を模した駐車位置画像（例えば、図３の駐車位置２７の画像など）を生成して駐車可能範囲内を示す画像（例えば、図３の駐車可能範囲２６の画像など）に重畳させ、さらに各ドアを傾けた（開いた）状態を表す画像を車両画像に重畳させる。ここで、車両画像で表す面積は、駐車可能範囲で表す面積と略同等の面積となる。このようにして、表示画像生成部２０は、駐車位置画像内にドアが開いている車両１１の画像を生成する。
【００４５】
そして、表示画像生成部２０は、車内外状態認識部１７から入力された検出情報から、物体の位置情報を抽出し、抽出された物体の位置座標が駐車可能範囲内にあれば、検出された物体を表す画像を駐車位置画像に重畳した物体重畳画像を生成する。
このように、表示画像生成部２０は、物体重畳画像を生成することで、車両１１の運転者は、ディスプレイ９０に表示される駐車可能範囲の中から任意の駐車位置を選んで駐車させることができるため、利便性を向上させることができる。また、運転者による事前に駐車に関する各種パラメータの設定の手間を軽減させることができる。さらに、車両の降車者は、運転者が選択した駐車位置での車両の駐車位置と降車に必要なドアの開スペースを、実際に駐車位置に車両１１を駐車する前に確認することができるため、利便性を向上させることができる。
【００４６】
物体情報記憶部２１−１は、物体情報を記憶する。また属性情報記憶部２１−２は、物体の判別結果を記憶する。
【００４７】
図５は、本発明の第１の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
ステップＳ１０において、リアカメラ１２は、車両１１が後退動作するときに起動され、画像の撮影を開始する。駐車位置表示処理装置１０の画像取得部１６は、リアカメラ１２が撮影した画像を表す画像信号を取得する。なお、画像取得部１６は、画像信号のフォーマットが、駐車位置表示処理装置１０が識別（処理）可能な画像信号フォーマットと異なる場合には、画像信号フォーマットを変換してもよいし、他の装置にフォーマット変換させて変換後のフォーマットの画像信号を取得してもよい。
駐車位置表示処理装置１０は、ステップＳ１０の処理の後に、ステップＳ１１の処理を実行する。
【００４８】
ステップＳ１１において、車両情報取得部１８は、センサ７０−ｂから車両１１の車両情報１−ｂ（ｂは、１以上の予め定めた整数）（センサ情報）を取得し、取得した車両情報１−ｂを駐車位置算出部１９に出力する。駐車位置表示処理装置１０は、ステップＳ１０の処理の後に、ステップＳ１２の処理を実行する。
【００４９】
ステップＳ１２において、車内外状態認識部１７は、画像取得部１６から画像信号が入力されると、該画像信号が表す画像上の各物体を検出し、検出した物体の座標情報（物体情報）を物体情報記憶部２１−１に記憶させる。また、車内外状態認識部１７は、検出した各物体が何であるかの判別（物体の判別）を行い、物体の判別結果（属性情報）を属性情報記憶部２１−２に記憶させる。車内外状態認識部１７は、物体情報（物体の座標情報）と、物体の判別結果と、を検出情報（車内外状態情報ともいう）として、駐車位置算出部１９、および表示画像生成部２０に出力する。
【００５０】
なお、ステップＳ１２において、車内外状態認識部１７は、画像取得部１６から画像信号と、車両情報取得部１８から車両信号と、に基づいて、該画像信号が表す画像上の各物体を検出し、検出した物体の座標情報（物体情報）を物体情報記憶部２１−１に記憶させてもよい。また、車内外状態認識部１７は、検出した各物体が何であるかの判別（物体の判別）を行い、物体の判別結果（属性情報）を属性情報記憶部２１−２に記憶させてもよい。この場合、車内外状態認識部１７は、物体情報（物体の座標情報）と、物体の判別結果と、を検出情報（車内外状態情報ともいう）として、駐車位置算出部１９、および表示画像生成部２０に出力すればよい。
【００５１】
ステップＳ１３において、駐車位置算出部１９は、車内外状態認識部１７から検出情報が入力されると、属性情報から区域線２４を抽出し、該区域線２４に対応する区域線２４の位置情報を、座標情報から抽出して取得する。また、駐車位置算出部１９は、画像上の区域線２４間の距離を算出する。また、駐車位置算出部１９は、車両情報として車両１１の車幅を取得する。そして、駐車位置算出部１９は、車幅と、区域線２４間の距離とに基づいて、駐車可能範囲と駐車位置とを算出する。駐車位置算出部１９は、算出した駐車可能範囲と駐車位置とを表す情報を表示画像生成部２０に出力する。
駐車位置表示処理装置１０は、ステップＳ１３の処理の後にステップＳ１４の処理を実行する。
【００５２】
なお、駐車位置算出部１９は、車内外状態認識部１７から物体情報および属性情報のいずれか一方または両方を取得する場合は、車内外状態認識部１７から検出情報（車内外状態情報）を取得してもよい。また、駐車位置算出部１９は、物体情報および属性情報のいずれか一方または両方を、物体情報記憶部２１−１または属性情報記憶部２１−２から取得してもよい。この場合、車内外状態認識部１７と駐車位置算出部１９とを非同期で動作させることができるため、消費電力を削減することができる。
【００５３】
ステップＳ１４において、表示画像生成部２０は、画像取得部１６から入力された画像信号に、車内外状態認識部１７から入力される検出情報と、駐車位置算出部１９から入力される駐車位置情報とを重畳させることで駐車位置表示領域２３の画像を生成し、生成した駐車位置表示領域２３の画像を、ディスプレイ９０に表示させる。その後、図５に係る処理を終了する。
【００５４】
このように、第１の実施形態に係る駐車位置表示処理装置１０は、車両１１の周囲を撮像して撮像画像を生成する撮像部（リアカメラ１２）と、車両１１の車両情報を取得する車両情報取得部１８と、撮像画像と車両情報とに基づいて、車両１１の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部（車内外状態認識部１７）と、車両周囲情報と車両情報とに基づいて、車両の駐車予定位置を算出する駐車位置算出部１９と、記駐車予定位置と車両周囲情報とに基づいて、駐車予定位置を表す画像と、駐車予定位置における車両１１の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部（表示画像生成部２０）と、合成画像を表示する表示部（ディスプレイ９０）と、を備える。
【００５５】
これにより、車両を駐車する際の乗員の利便性を向上させることができる。
【００５６】
（第２の実施形態）
第１の実施形態では、リアカメラ１２のみを備える場合について説明した。この場合、車両１１の後方の車外（周囲環境）の状況は確認することはできるが前方や右方、左方の周囲環境の確認ができない。そのため、第２の実施形態では、リアカメラ１２に代えて、または加えて複数のカメラを用いる場合の一例について説明する。
このようにすることで、車両１１の周囲全体の周囲環境を確認することができるとともに、車両１１のどのドアから降車すべきかを事前に確認することができる。
なお、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。
【００５７】
図６は、本発明の第２の実施形態に係る車両１１の鳥瞰図である。
車両１１は、リアカメラ１２と、サイドカメラ１３−１、１３−２と、フロントカメラ１４と、室内カメラ１５と、を備える。それ以外の構成は、第１の実施形態に係る車両１１、および駐車位置表示処理システムと同様であるため図示および説明を省略する。以下の説明において、サイドカメラ１３−１、１３−２を区別しないときには、サイドカメラ１３と称する。
【００５８】
サイドカメラ１３は、車両１１のサイド、すなわち搭乗者（乗員）が降り立つスペースを撮影する。サイドカメラ１３は、車両１１のサイド、すなわち搭乗者（乗員）が降り立つスペースが撮影可能に設置することが好ましい。サイドカメラ１３の光軸は、光軸１３０−１、１３０−２と表す。
【００５９】
フロントカメラ１４は、運転者席から見た車両１１前方を撮影する。フロントカメラ１４は、運転者席から見た車両１１前方の下部にある死角が撮影可能に設置することが好ましい。フロントカメラ１４の光軸は、光軸１４０と表す。
【００６０】
室内カメラ１５は、車両１１の搭乗者（乗員）全員の顔を撮影する。室内カメラ１５は、車両１１の搭乗者（乗員）全員の顔が撮影可能に設置することが好ましい。このとき、１台のカメラで乗員全員の顔を撮影してもよいし、複数台のカメラで乗員全員の顔を撮影してもよい。この場合、乗員全員の顔の撮影が可能であれば、広角レンズを用いてもよいし、狭角レンズを用いてもよい。本実施形態では、室内カメラ１５として、１台の広角レンズを搭載したカメラを用いる場合の一例について説明する。室内カメラ１５の光軸は、光軸１５０と表す。
【００６１】
サイドカメラ１３、フロントカメラ１４、室内カメラ１５は、リアカメラ１２と同様の構成であるため、説明を省略する。
【００６２】
図７は、本発明の第２の実施形態に係る駐車位置表示処理装置１０の機能構成の一例を示す概略ブロック図である。
駐車位置表示処理装置１０は、画像取得部１６と、車内外状態認識部１７と、車両情報取得部１８と、駐車位置算出部１９と、表示画像生成部２０と、物体情報記憶部２１−１と、属性情報記憶部２１−２と、降車位置算出部２２と、を含んで構成される。
【００６３】
室内カメラ１５は、車内の画像（車内画像とも称する）を撮影する。室内カメラ１５は、撮影した車内画像を表す画像信号を車内外状態認識部１７に出力する。
【００６４】
車内外状態認識部１７は、画像取得部１６から車内画像を表す画像信号が入力されると、車内画像中の乗員の顔の検出処理（顔検出処理とも称する）を実行し、車内画像中の１または複数の顔の位置情報（座標位置）と、車内画像中の１または複数の顔の特徴量を算出する。顔検出処理は、予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を用いて顔の位置情報を算出する処理である。
【００６５】
なお、車内外状態認識部１７は、その他の画像信号から顔の位置情報と特徴量とを検出する検出方法を用いてもよい。また、車内外状態認識部１７は、車内画像中の１または複数の顔の位置情報（座標位置）と、車内画像中の乗員毎に体の大きさを示す体格情報とを算出し、各乗員の対角情報と各乗員の顔の位置情報とを対応付けてもよい。体格情報は、あるフレームとその次のフレームで撮影された車内画像の背景差分から算出してもよい。また、体格情報は、乗員の乗車位置によって異なる場合があるため、乗員毎に算出した体格情報をその乗員の顔の大きさで割って正規化してもよい。また、車内画像中の乗員毎に体格情報の算出は、上記に限られず、乗員の体格を算出可能な方法であれば、いかなる方法を用いてもよい。このように顔の位置情報と体格情報とを対応付けることで、後述する車両１１の各ドアの開度量を算出する際に、乗員が降車する際に確保しなければならないドア開度量が体格から推定できるようになる。このため、顔の特徴量のみからドア開度量を算出する場合と比較して、ドア開度量の算出精度を高めることができる。
【００６６】
車内外状態認識部１７は、算出した顔の位置情報から顔の重心位置を算出し、重心位置の数により乗車人数を算出する。そして、車内外状態認識部１７は、室内カメラ１５の設置場所と光軸１５０の向きとから、算出した重心位置を車内空間に変換することで各乗員の車両１１の車内における乗車位置を算出する。なお、車内外状態認識部１７は、顔の重心位置を算出して乗車人数を算出する代わりに、または加えて、車内の各座席に人感センサ、感圧センサ、赤外線センサなどの人の存在を検出可能な各種センサ６０−ｃ（ｃは、１以上の予め定めた整数））を用いて乗車人数を算出してもよい。この場合、各種センサ６０−ｃを用いて算出した乗車人数と、顔の位置情報とを対応付ければよい。
【００６７】
車内外状態認識部１７は、検出した顔（または人物）の領域における代表点（例えば、重心）の２次元座標と、検出した顔（または人物）の領域の上端、下端、左端、右端の２次元座標とを含む２次元顔領域情報を生成する。車内外状態認識部１７は、生成した２次元顔面領域情報における代表点の二次元座標と、顔（または人物）の領域の２次元座標とに対して属性推定処理を実行して各顔の年齢を算出する。車内外状態認識部１７は、算出した各顔の年齢を属性情報記憶部２１−２に記憶させる。
ここで、以下の説明において、各顔の年齢に関する情報と、乗車人数の情報と、乗車位置に関する乗車とを乗員情報とも称することがある。
【００６８】
車内外状態認識部１７は、車両１１の車外に設置されたカメラ（リアカメラ１２、サイドカメラ１３、フロントカメラ１４）から各画像信号が入力されると、各画像信号が表す画像中の物体を検出する物体検出処理を実行し、各画像中の各物体の位置座標を位置情報として算出する。また、車内外状態認識部１７は、検出した各物体の位置座標に対して機械学習（例えば、深層学習）や人工知能による画像処理を行い、物体の高さを算出する。車内外状態認識部１７は、算出した各物体の高さを、物体情報記憶部２１−１に記憶させる。
車内外状態認識部１７は、２次元顔領域情報と、物体の高さを表す高さ情報と、乗車人数を表す情報と、各顔の年齢と、検出情報とを、車内外状態情報として駐車位置算出部１９と、降車位置算出部２２と、に出力する。
【００６９】
駐車位置算出部１９は、車内外状態認識部１７から入力された検出情報から物体情報として区域線２４の位置情報を抽出する。駐車位置算出部１９は、複数の区域線２４の位置座標から隣接する２つの区域線２４間の距離をそれぞれ算出する。駐車位置算出部１９は、算出した区域線２４間の距離を、区域線２４の長さと掛け合わせて駐車可能範囲２６を算出する。また、駐車位置算出部１９は、算出した駐車可能範囲２６に存在する物体の位置情報が存在する場合、駐車可能範囲２６に存在する物体を障害物と判定する。駐車位置算出部１９は、判定した障害物に対応する物体の座標位置に対応する障害物の面積を除いた部分を、駐車位置２７として算出する。
【００７０】
駐車位置算出部１９は、車内外状態認識部１７から入力された車内外状態情報から乗車人数、乗車位置、顔の年齢を抽出し、車両１１の搭乗者（乗員）の有無と車両１１の各搭乗者（乗員）の年齢とに基づいて、車両１１の全てのドアの開度量を算出する。ドアの開度量は、搭乗者の年齢により異なり、例えば、２０代未満や６０代以上の人はドアを開ける際の力加減の調整が不可能、また、力加減の調整が困難であるため、ドアの開度量を大きくする必要があり、ドアが全開となる開度量、例えば、ドアの開度量を最大に設定する必要がある。このように、駐車位置算出部１９は、例えば、ドアの開度量は、年齢や年代ごとにドアの開度量が対応付けられたテーブルを参照し、車両１１の全てのドアの開度量を算出する。
【００７１】
なお、車内外状態認識部１７が各搭乗者の体の大きさを示す体格情報を算出した場合、車内外状態認識部１７は、車内外状態情報から搭乗者（乗員）の体格情報を算出し、搭乗者の年齢と体格情報とからドアの開度量を算出してもよい。例えば、３通りの体格情報（体格が大きい場合、体格が標準的な場合、体格が小さい場合など）に対して年齢や年代ごとにドアの開度量が対応付けられた３つのテーブルを予め作成し、算出した体格情報に応じて参照先のテーブルを切り替えてドア開度量を算出してもよい。例えば、体格情報は、各年齢や年代に置いて最も出現頻度が高い体格を標準とし、標準的な体格よりも大きい場合は体格が大きい、標準的な体格よりも小さい場合は体格が小さいとしてもよく、体格情報を区別する方法は、上記に限られず、いかなる方法を用いてもよい。
【００７２】
駐車位置算出部１９は、算出した駐車予定位置と、駐車予定位置での車両１１のドアの開度量を表す情報を、表示画像生成部２０と、降車位置算出部２２と、に出力する。
なお、駐車位置算出部１９は、年齢や年代を問わず任意にドアの開度量を設定してもよいし、年齢、年代、性別などに応じてドアの開度量を設定してもよい。
【００７３】
降車位置算出部２２は、車内外状態認識部１７から入力された車内外状態情報から乗車人数、乗車位置、顔の年齢を抽出し、駐車位置算出部１９から入力されたドアの開度量を表す情報からドアの開度量を抽出する。降車位置算出部２２は、車両１１の搭乗者（乗員）の有無と、車両１１の各搭乗者（乗員）の年齢と、車両１１の各ドアの開度量とに基づいて、車両１１の各ドアの降車位置を全て算出する。降車位置算出部２２は、算出した各ドアの降車位置を表す情報を表示画像生成部２０に出力する。
【００７４】
表示画像生成部２０は、リアカメラ１２、サイドカメラ１３、フロントカメラ１４の画像信号、すなわち、全ての車外カメラの画像を合成することで鳥瞰画像（俯瞰画像）を生成する。鳥瞰画像の生成は、周知技術を用いればよい。
【００７５】
表示画像生成部２０は、駐車位置算出部１９から駐車位置とドア開度量を取得し、駐車予定位置の車両画像に、各ドアの開度量分、各ドアを開けた状態のドア画像とを重畳し、駐車位置画像を生成する。表示画像生成部２０は、駐車予定位置の車両画像におけるドアの位置と重なるように、駐車予定位置の車両画像にドア画像を重畳して駐車位置画像を、鳥瞰画像として生成する。表示画像生成部２０は、降車位置算出部２２から各ドアの降車位置を表す情報に含まれる降車位置を取得し、鳥瞰画像中の車両画像に降車位置を表す画像を重畳させる。表示画像生成部２０は、生成した鳥瞰画像をディスプレイ９０に表示させる。
【００７６】
ここで、車両１１のドアが、車両１１の両側に設けられている場合の一例について説明する。このとき、搭乗者の組み合わせによっては、車両１１の両側のドアから降車するよりも、車両１１の片方のドアから降車した方が、駐車時の降車スペースを広く確保できる場合がある。図８を用いて詳述する。
【００７７】
図８は、本発明の第２の実施形態に係る車両画像３２の一例を示す説明図である。
図示する例では、車両１１の乗員として、車両１１に運転車の他に大人または子供が３名、すなわち、車両１１に乗員４名が乗車しているときの一例である。図示する車両画像３２は、例えば、図３に示す第１の実施形態に係る車両画像３２の代わりにディスプレイ９０に表示される。
【００７８】
図８の（ａ）は、運転者と大人３人とが車両１１に乗車している場合にディスプレイ９０に表示される車両画像３２の一例であり、図８（ｂ）（図８（ｂ−１）、図８（ｂ−２）、図８（ｂ−３））、図８（ｃ）（図８（ｃ−１）、図８（ｃ−２）、図８（ｃ−３）は、運転者以外に大人および子供が少なくとも１名が車両１１に乗車している場合にディスプレイ９０に表示される車両画像３２の一例であり、図８（ｄ）は、運転者と、子供３名が車両１１に乗車している場合にディスプレイ９０に表示される車両画像３２の一例である。
この車両画像３２は、車内外状態情報に基づいて表示画像生成部２０によって生成される画像であり、車両１１を駐車予定位置に駐車する前に安全情報表示領域２３Ａに表示される。車両１１の搭乗者は、駐車予定位置に車両１１を駐車する前に、車両１１の各ドアの開度量がどの程度であるかを確認することができる。
ここで、車両１１の駐車可能範囲が、障害物等により車両１１の全てのドアを全開にすることができないものと仮定する。また、各車両画像における車両１１中（四角中の矢印）は、降車時の降車ドアの方向を表し、曲線矢印（ハッチ処理された矢印）は、各ドアの開度量を表す。
【００７９】
図８（ａ）では、運転者の後部右側の大人が６０歳以上であり、運転者の左側の大人、運転者の後部左側の大人が３０代であると仮定する。このとき、駐車位置算出部１９は、運転者側、すなわち、車両１１の右側に広いスペースが必要であることを表す、運転者側のドアの開度量が大きい車両画像３２のドア画像を生成する。その一方で、駐車位置算出部１９は、車両１１の左側のスペースが狭く、ドアの最大開度量が制限されること、すなわち、ドアの開閉の際に注意が必要であることを表すドアの開度量が小さい車両画像３２のドア画像を生成する。
このようにすることで、車両１１の各座席から搭乗者が降車する場合に、搭乗者は、車両１１を駐車するよりも前に、降車時のドア位置、各ドアの開度量、降車する場合に開けるドア位置の車外状況を確認しながら降車できるとともに、ドアの開度量を考慮して車両１１を駐車することができるため、利便性を向上させることができる。
【００８０】
図８（ｂ）および図８（ｃ）は、運転者、大人、子供が降車する場合にディスプレイ９０に表示される車両画像３２の一例である。子供は、ドアを開ける際の力加減の調整が不可能または困難であり、車両１１の周辺の障害物にドアが接触する場合がある。このため、子供が、複数のドアのうち、ドアの開度量がより広いドアから降りられるように、降車位置をディスプレイ９０に表示する。これにより、車両１１のドアが付近の障害物に接触する可能性を減らすことができる。
また、図８の（ｄ）は、運転手と子供が降車する場合に表示する降車位置表示例であり、子供が、ドアの開度量がより広いドアから降りられるように、降車位置が表示される。
【００８１】
ここで、図８に示す例では、車両画像３２についてのみ説明したが、駐車位置算出部１９は、車内外状態認識部１７から、障害物の位置情報と注意箇所の位置情報とを取得し、障害物の位置と注意箇所の位置とを例えば、枠により強調表示後、表示画像生成部２０が生成した鳥瞰画像をディスプレイ９０に表示させる。
【００８２】
なお、図８に示す例では、運転者、大人、子供が降車する際の表示例について説明したが、降車者全員が座席に備え付けられたドアから降りるように降車位置を表示してもよい。その場合は、室内カメラ１５が必要ないため、カメラを含む駐車位置表示処理装置１０の導入に掛かる費用や室内カメラ１５の調整の手間などを削減することができる。
なお、鳥瞰画像は、複数のディスプレイ９０−ｄに表示してもよいし、１つのディスプレイに表示してもよい。さらに、俯瞰図をあるディスプレイに表示し、別のディスプレイにリアカメラ画像を表示するなど、ディスプレイ毎に異なる画像を表示してもよい。
【００８３】
図９は、本発明の第２の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
図９における駐車位置表示処理（ステップＳ３０からステップＳ３３の処理）は、図５に示した駐車位置表示処理におけるステップＳ１１、ステップＳ１２の処理の代わりに、ステップＳ１０の処理の後、かつステップＳ１３の処理の前に実行される。
【００８４】
ステップＳ３０において、車内外状態認識部１７は、画像取得部１６から各車外カメラ（リアカメラ１２、サイドカメラ１３、フロントカメラ１４）の各画像信号が入力されると、該各画像信号が表す画像上の各物体を検出し、検出した物体の座標情報（物体情報）を物体情報記憶部２１−１に記憶させる。また、車内外状態認識部１７は、検出した各物体が何であるかの判別（物体の判別）を行い、物体の判別結果（属性情報）を属性情報記憶部２１−２に記憶させる。車内外状態認識部１７は、物体情報（物体の座標情報）と、物体の判別結果と、を検出情報（車内外状態情報ともいう）として、駐車位置算出部１９、表示画像生成部２０、および降車位置算出部２２に出力する。
【００８５】
ステップＳ３１において、室内カメラ１５は、車内の画像（車内画像とも称する）を撮影する。室内カメラ１５は、撮影した車内画像を表す画像信号を車内外状態認識部１７に出力する。
車内外状態認識部１７は、画像取得部１６から車内画像を表す画像信号が入力されると、車内画像中の乗員の顔の検出処理（顔検出処理とも称する）を実行し、車内画像中の１または複数の顔の位置情報（座標位置）と、車内画像中の１または複数の顔の特徴量を算出する。顔検出処理は、予め定めた処理（例えば、Ａｄａｂｏｏｓｔアルゴリズム）を用いて顔の位置情報を算出する処理である。
なお、車内外状態認識部１７は、その他の画像信号から顔の位置情報と特徴量とを検出する検出方法を用いてもよい。
【００８６】
ステップＳ３２において、車内外状態認識部１７は、算出した顔の位置情報から顔の重心位置を算出し、重心位置の数により乗車人数を算出する。そして、車内外状態認識部１７は、室内カメラ１５の設置場所と光軸１５０の向きとから、算出した重心位置を車内空間に変換することで各乗員の車両１１の車内における乗車位置を算出する。なお、車内外状態認識部１７は、顔の重心位置を算出して乗車人数を算出する代わりに、または加えて、車内の各座席に人感センサ、感圧センサ、赤外線センサなどの人の存在を検出可能な各種センサ６０−ｃ（ｃは、１以上の予め定めた整数））を用いて乗車人数を算出してもよい。この場合、各種センサ６０−ｃを用いて算出した乗車人数と、顔の位置情報とを対応付ければよい。
【００８７】
ステップＳ３３において、車内外状態認識部１７は、検出した顔（または人物）の領域における代表点（例えば、重心）の２次元座標と、検出した顔（または人物）の領域の上端、下端、左端、右端の２次元座標とを含む２次元顔領域情報を生成する。車内外状態認識部１７は、生成した２次元顔面領域情報における代表点の二次元座標と、顔（または人物）の領域の２次元座標とに対して属性推定処理を実行して各顔の年齢を算出する。車内外状態認識部１７は、算出した各顔の年齢を属性情報記憶部２１−２に記憶させる。
ここで、以下の説明において、各顔の年齢に関する情報と、乗車人数の情報と、乗車位置に関する乗車とを乗員情報とも称することがある。
【００８８】
図１０は、本発明の第２の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
図１０における駐車位置表示処理（ステップＳ４０からステップＳ４３の処理）は、図５に示した駐車位置表示処理におけるステップＳ１３の処理の代わりに、ステップＳ１２の処理の後、かつステップＳ１４の処理の前に実行される。
【００８９】
ステップＳ４０において、車内外状態認識部１７は、車両１１の車外に設置されたカメラ（リアカメラ１２、サイドカメラ１３、フロントカメラ１４）から各画像信号が入力されると、各画像信号が表す画像中の物体を検出する物体検出処理を実行し、各画像中の各物体の位置座標を位置情報として算出する。また、車内外状態認識部１７は、検出した各物体の位置座標に対して機械学習（例えば、深層学習）や人工知能による画像処理を行い、物体の高さを算出する。車内外状態認識部１７は、算出した各物体の高さを、物体情報記憶部２１−１に記憶させる。  駐車位置算出部１９は、車内外状態認識部１７から入力された検出情報から物体情報として区域線２４の位置情報を抽出する。駐車位置算出部１９は、複数の区域線２４の位置座標から隣接する２つの区域線２４間の距離をそれぞれ算出する。駐車位置算出部１９は、算出した区域線２４間の距離を、区域線２４の長さと掛け合わせて駐車可能範囲２６を算出する。
【００９０】
ステップＳ４１において、駐車位置算出部１９は、算出した駐車可能範囲２６に存在する物体の位置情報が存在する場合、駐車可能範囲２６に存在する物体を障害物と判定する。駐車位置算出部１９は、判定した障害物に対応する物体の座標位置に対応する障害物の面積を除いた部分を、駐車位置２７として算出する。
【００９１】
ステップＳ４２において、駐車位置算出部１９は、車内外状態認識部１７から入力された車内外状態情報から乗車人数、乗車位置、顔の年齢を抽出し、車両１１の搭乗者（乗員）の有無と車両１１の各搭乗者（乗員）の年齢とに基づいて、車両１１の全てのドアの開度量を算出する。ドアの開度量は、搭乗者の年齢により異なり、例えば、２０代未満や６０代以上の人はドアを開ける際の力加減の調整が不可能、また、力加減の調整が困難であるため、ドアの開度量を大きくする必要があり、ドアが全開となるドアの開度量、例えば、ドアの開度量を最大に設定する必要がある。このように、駐車位置算出部１９は、例えば、ドアの開度量は、年齢や年代ごとにドアの開度量が対応付けられたテーブルを参照し、車両１１の全てのドアの開度量を算出する。
【００９２】
ステップＳ４３において、駐車位置算出部１９は、算出した駐車予定位置と、駐車予定位置での車両１１のドアの開度量を表す情報を、表示画像生成部２０と降車位置算出部２２とに出力する。
なお、駐車位置算出部１９は、年齢や年代を問わず任意にドアの開度量を設定してもよいし、年齢、年代、性別などに応じてドアの開度量を設定してもよい。
【００９３】
なお、ステップＳ４０において、車内外状態認識部１７は、車内画像中の乗員毎に体の大きさを示す体格情報を算出し、各乗員の顔の位置情報と対応付けてもよい。この場合、は、ステップＳ４２において、車内外状態認識部１７が車内外状態情報から搭乗者の体格情報を算出し、搭乗者の年齢と体格情報からドアの開度量を算出してもよい。例えば、３通りの体格情報（体格が大きい場合、体格が標準的な場合、体格が小さい場合）に対して年齢や年代ごとにドアの開度量が対応付けられた３つのテーブルを予め作成し、算出した体格情報に応じて参照先のテーブルを切り替えてドア開度量を算出してもよい。例えば、体格情報は、各年齢や年代に置いて最も出現頻度が高い体格を標準とし、標準的な体格よりも大きい場合は体格が大きい、標準的な体格よりも大きい場合は体格が小さいとしてもよく、体格情報を区別する方法は、上記に限られず、いかなる方法を用いてもよい。
【００９４】
図１１は、本発明の第２の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
図１１における駐車位置表示処理（ステップＳ５０からステップＳ５３の処理）は、図５に示した駐車位置表示処理におけるステップＳ１４の処理の代わりに、ステップＳ１３の処理の後に実行される。
【００９５】
ステップＳ５０において、表示画像生成部２０は、リアカメラ１２、サイドカメラ１３、フロントカメラ１４の画像信号、すなわち、全ての車外カメラの画像を合成することで鳥瞰画像（俯瞰画像）を生成する。鳥瞰画像の生成は、周知技術を用いればよい。
【００９６】
ステップＳ５２において、表示画像生成部２０は、駐車位置算出部１９から駐車位置とドア開度量を取得し、駐車予定位置の車両画像に、各ドアの開度量分、各ドアを開けた状態のドア画像とを重畳し、駐車位置画像を生成する。表示画像生成部２０は、駐車予定位置の車両画像におけるドアの位置と重なるように、駐車予定位置の車両画像にドア画像を重畳して駐車位置画像を、鳥瞰画像として生成する。表示画像生成部２０は、降車位置算出部２２から取得した降車位置に基づいて、降車位置を表す画像を、鳥瞰画像中の車両画像に重畳させる。
【００９７】
ステップＳ５３において、表示画像生成部２０は、生成した鳥瞰画像をディスプレイ９０に表示させる。
【００９８】
このように、第２の実施形態に係る駐車位置表示処理装置１０は、車両１１の周囲を撮像して撮像画像を生成する撮像部（リアカメラ１２）と、車両１１の車両情報を取得する車両情報取得部１８と、撮像画像と車両情報とに基づいて、車両１１の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部（車内外状態認識部１７）と、車両周囲情報と車両情報とに基づいて、車両の駐車予定位置を算出する駐車位置算出部１９と、車両１１からの降車位置を算出する降車位置算出部２２と、記駐車予定位置と車両周囲情報とに基づいて、駐車予定位置を表す画像と、駐車予定位置における車両１１の周囲の状態を表す画像と、降車位置を表す画像とから合成画像を生成する合成画像生成部（表示画像生成部２０）と、合成画像を表示する表示部（ディスプレイ９０）と、を備える。
【００９９】
これにより、車両を駐車する際の乗員の利便性を向上させることができる。
【０１００】
（第３の実施形態）
第３の実施形態では、車両１１から搭乗者が降車する場合に、降車するドアの稼働範囲内に障害物がある場合や、ドアの稼働範囲内が降車できない状態（例えば、水たまりやぬかるみがある状態、段差などにより地面が狭い（足場が悪い（良くない））状態、人や自転車、車やオートバイなどの接近者がいる状態など）である注意箇所でないかを、ドアを開ける前に確認可能にする一例について説明する。
【０１０１】
具体的には、搭乗者が車両１１から降車する場合、搭乗者は、車両１１のドアによる死角により、降車時の着地面の状態を確認することができない。仮に、車両１１の搭乗者が着地面の確認をする場合には、車両１１を駐車位置に駐車する前から、搭乗者は降車位置を予測して、着地面の状態を車両の窓から確認し続ける必要があることに加え、後部座席の場合は、サイドミラーがないため、車両１１の前方および後方から車やオートバイ、自転車、人、動物などといった接近物があるかないかを、直接目視を行ってからドアを開ける必要がある。
【０１０２】
しかし、車両１１の前方もしくは後方からの接近物を確認するには、前部座席の搭乗者や前部座席のヘッドレスト、ドアの枠やピラーなどによって後部座席の搭乗者の視界を妨げるものが多いため、後部座席の搭乗者はドアの窓に顔を近づけて、車両１１の前方や後方を確認する必要がある。
さらに、これら確認作業を降車の度に行うのは不便であるため、その確認を怠ってしまう懸念がある。また、子供の場合には、その確認を行わずにドアを開けてしまうこともあり得る。
【０１０３】
そのため、本実施形態では、搭乗者が車両１１から降車する場合に、事前に車外の状態（周囲環境）を表示することで、簡単かつ安全にドアを開け、降車できるようにする場合の一例について説明する。
このようにすることで、車両１１のドアを開ける前に、車両１１の周囲全体の周囲環境を確認することができるとともに、車両１１のどのドアから降車すべきかを事前に確認することができる。
なお、第３の実施形態では、第２の実施形態と異なる部分を中心に説明する。
【０１０４】
ここで、第３の実施形態に係る駐車位置表示処理装置１０の構成は、第２の実施形態に係る駐車位置表示処理装置１０と比較すると、第３の実施形態に係る駐車位置算出部１９が、複数段階のドアの開度量を算出する点と、第３の実施形態に係る表示画像生成部２０が、該複数段階のドアの開度量に対応するシルエット画像を生成する点とが異なる。それ以外は、第２の実施形態と同様であるため、図示および説明を省略する。
【０１０５】
図１２は、本発明の第３の実施形態に係る表示画像の一例を示す説明図である。
図示する例では、サイドカメラ１３−２が撮影した画像に基づく車両左側画像ＧＬと、サイドカメラ１３−１が撮影した画像に基づく車両右側画像ＧＲとが含まれる。
車両左側画像は、道路上にある車両１１に対して、サイドカメラ１３−２が車両１１の左側を撮影した画像を、車両１１の前方から後方に向う画像に変換したものであり、車両左側画像として、ディスプレイ９０−ｄに表示される。また、道路上にある車両１１に対して、サイドカメラ１３−１が車両１１の右側を撮影した画像を、車両１１の前方から後方に向う画像に変換したものであり、車両右側画像ＧＲとして、ディスプレイ９０−ｄに表示される。
【０１０６】
ここで、ディスプレイ９０−ｄ（ｄは、１以上の任意の正数）には、例えば、車両１１の後部座席で確認可能に車両１１の天井に配置されたフリップダウンモニタが含まれる。つまり、車両１１は、複数のディスプレイ９０−ｄを備える。以下の説明において、第１の実施形態、第２の実施形態で説明した運転者が確認可能なディスプレイをディスプレイ９０Ｆと称し、後部座席で確認可能なディスプレイをディスプレイ９０Ｒと称する。また、ディスプレイ９０Ｆとディスプレイ９０Ｒとのいずれかを表すときはディスプレイ９０と称すこともある。ディスプレイ９０Ｆとディスプレイ９０Ｒとは、ディスプレイ９０−ｄに含まれる。
【０１０７】
車両左側画像ＧＬには、車両１１の左側の車体１１Ｌ、左側窓ＷｉｎＬ、左側タイヤＷＬ、左側降車スペースＳＬ、左側後部ドアＤＬ、障害物２５−２が含まれる。車両右側画像ＧＲには、車両１１の右側の車体１１Ｒ、右側窓ＷｉｎＲ、右側タイヤＷＲ、右側降車スペースＳＲ、右側後部ドアＤＲ、接近者２５−１が含まれる。
【０１０８】
車両左側画像ＧＬに図示するように、左側後部ドアＤＬの前には、障害物２５−２が存在し、そのまま左側後部ドアＤＬを開けると、左側後部ドアＤＬが障害物２５−２に接触し、左側後部ドアＤＬが開かない事に加え、障害物２５−２や車両１１に損害を与える可能性がある。このようにすることで、降車者は、降車の際、車両左側画像ＧＬを確認することで、障害物２５−２が存在することを、左側後部ドアＤＬを開ける前に確認することが可能となる。
さらに、障害物２５−２と車両１１の間の左側降車スペースＳＬを確認できる場合には、車両左側画像ＧＬを見ながら、左側後部ドアＤＬをゆっくり開けることで、左側後部ドアＤＬを開けた開度量を、車両左側画像ＧＬで確認しながらドアを開けられるため、障害物２５−２に左側後部ドアＤＬを接触させずに降車できるかどうかを試行することができる。
【０１０９】
また、車両右側画像ＧＲに図示するように、右側後部ドアＤＲに接近する人（接近者とも称する）２５−１が存在し、そのまま右側後部ドアＤＲを開けると、右側後部ドアＤＲが接近者２５−１と接触し、接近者２５−１に怪我を負わせてしまう危険性がある。
このようにすることで、降車者は、降車の際、車両右側画像ＧＲを確認することで、接近者２５−１が存在することを、右側後部ドアＤＲを開ける前に確認することが可能となる。
また、降車者は、車両右側画像ＧＲから接近者２５−１が通り過ぎたことを確認した後に、ドアを開け、安全に降車することが可能となる。
【０１１０】
なお、ディスプレイ９０Ｒは、フリップダウンモニタに限定するものではなく、前部座席のヘッドレスト後ろ側に装着されたディスプレイであってもよいし、前部座席に固定したアーム等に設定されたディスプレイであってもよいし、運転手などが確認可能に前部座席に設置されたディスプレイであっても良い。
【０１１１】
なお、上記車両１１の後部ドアの周囲の外部状況の一例を説明したが、これに限定されず、例えば、前部座席からの降車時にも適用しても良い。
前部座席の車両１１の外部状況は、ディスプレイ９０Ｆ、例えば、カーナビゲーションシステムのディスプレイ、バックミラーやサイドミラーとして使用する電子ミラーなどのディスプレイに表示すればよい。
【０１１２】
図１３は、本発明の第３の実施形態に係る車両１１のドアの開度量を表す画像の一例を示す説明図である。
図示する例は、図１２に示した表示画像に、左側後部ドアＤＬのドアの開度量および右側後部ドアＤＲのドア開度量を表す画像を重畳表示する場合の一例である。
ここで、図１２と図１３で共通するものは、同一符号を付して説明を省略する。図１３では、図１２と異なる部分を中心に説明する。
【０１１３】
車両左側画像ＧＬでは、左側後部ドアＤＬがどの程度のドアの開度量で障害物２５−２と接触するかを示すために、複数段階、例えば３段階のドアの開度量によって、各ドアの開度量に対応する左側後部ドアＤＬのシルエット画像ＯＤ−１Ｌ、ＯＤ−２Ｌ、ＯＤ−３Ｌが表示されている。
例えば、車両左側画像ＧＬでは、シルエット画像ＯＤ−３Ｌ、すなわち、３段階目の開度量以上で左側後部ドアＤＬを開いたところに障害物２５−２が存在する場合を示している。つまり、図示する例は、２段階目のドアの開度量まで左側後部ドアＤＬを開くことができ、３段階目のドアの開度量以上で左側後部ドアＤＬが障害物に接触することを示している。
【０１１４】
車両１１の搭乗者は、車両１１に乗車したまま、ディスプレイ９０Ｒを確認することで、左側後部ドアＤＬを開ける前に、障害物が存在するか否か、左側後部ドアＤＬをどの程度開けてもよいかを確認することができる。
また、予め降車者の乗降に必要なドアの開度量を設定しておくことで、該降車者が左側後部ドアＤＬを開けても障害物２５−２と接触せずに降車できるかを、表示画像を見るだけで確認することができ、利便性を向上させることができる。
【０１１５】
車両右側画像ＧＲでは、右側後部ドアＤＲがどの程度の開度量で近接者２５−１と接触するかを示すために、複数段階、例えば、３段階のドアの開度量によって、各ドアの開度量に対応する右側後部ドアＤＲのシルエット画像ＯＤ−１Ｒ、ＯＤ−２Ｒ、ＯＤ−３Ｒが表示されている。
例えば、車両右側画像ＧＲでは、シルエット画像ＯＤ−２Ｒ、すなわち、２段階目のドアの開度量以上で右側後部ドアＤＲを開いたところに接近者２５−１が存在する場合を示している。つまり、図示する例は、１段階目のドアの開度量まで右側後部ドアＤＲを開くことができ、２段階目のドアの開度量以上で右側後部ドアＤＲが接近者に接触することを示している。
このようにすることで、車両１１の搭乗者は、車両１１に乗車したまま、ディスプレイ９０Ｒを確認することで、右側後部ドアＤＲを開ける前に、近接者が存在するか否か、右側後部ドアＤＲをどの程度開けてもよいかを確認することができる。
【０１１６】
なお、接近者２５−１が移動している場合、車両１１が停止した際に降車者が車両右側画像ＧＲを見た状態と、右側後部ドアＤＲを開けたときの状態とでは、接近者の位置が異なるため、必ずしも安全にドアを開けられるとは限らない。そのため、降車者は、ディスプレイ９０Ｒでの確認と共に慎重に右側後部ドアＤＲを開けることが好ましい。このようにすることで、事故を防止することができる。
なお、各ドアの開度量は、１段階であってもよいし、２段階、４段階以上等のような複数段階であってもよい。また、車両１１の車体大きさや降車スペースの大きさに応じて各ドアの開度量の段階数を設定してもよい。
【０１１７】
なお、駐車位置算出部１９は、車両１１の車外の状況をセンシングし、障害物の位置や壁、隣の車両、接近する人や車両などの障害物や接近者と車両１１とのドアが衝突しない範囲で、車両１１のドアの開度量を都度算出して用いてもよい。また、駐車位置算出部１９は、算出した車両１１のドアの開度量に応じて、ドアの開度量の段階数を、１または複数の段階数に設定してもよい。
なお、ドアの開度量は、各段階で同じ角度ずつ大きくなるように設定してもよいし、１段階ごとに異なる角度で設定してもよい。
【０１１８】
なお、表示画像生成部２０は、駐車位置算出部１９により算出された車両１１のドアの開度量が降車者の身体の幅より小さい場合、シルエット画像を１段階で生成してもよいし、生成しなくてもよい。これらの場合、降車者は、車両１１のドアと障害物や接近者とが接触する位置を把握することができるため、車両１１のドアと障害物の衝突を避けることができるとともに、別のドアからの降車の必要性を促すことができる。
【０１１９】
なお、表示画像生成部２０は、駐車位置算出部１９により算出された車両１１のドアの開度量が降車者の身体の幅より小さい場合、シルエット画像を１段階または２段階に設定してもよい。１段階に設定した場合は、障害物にドアを衝突させずに降車することができる。また、２段階に設定することにより、現在のドアの位置とドアの開度量の領域を確認しながら徐々にドアを開けられるため、安全に、かつ安心して降車することができる。
【０１２０】
なお、表示画像生成部２０は、駐車位置算出部１９により算出された車両１１のドアの開度量が降車者の身体の幅より大きい場合、障害物とドアが衝突する手前までの領域として、２段階以上に設定してもよい。この場合、ドアの開度量が大きくなる場合（障害物がない場合や障害物と自車両の距離が十分に離れている場合など）で、ドアの開度量の段階数が増加し、安全情報表示領域が見辛くなる。しかしながら、例えば３段階に設定することで、１段階当りのドア開度が大きくなるため、降車者がドアを開ける際に、降車者が気を付けてドアを開ける段階数が減るため、素早く、１度に大きくドアを開けれられ、スムーズに降車することができる。
【０１２１】
なお、障害物の位置に応じてドアの開度量を算出する手法は、上記方法に限定されず、ドア毎に障害物の位置応じてドアの開度量が変更可能であれば、どのような方法を用いてもよい。
【０１２２】
また、ドアの開度量に対応するシルエット画像を破線で表示する場合について説明したが、障害物とドアの位置関係を分かり易くするために、各ドアの開度量で異なる色を用いてシルエット画像を生成してもよいし、半透明のドア画像によってシルエット画像を生成してもよいし、着地面にドアの開度量の境界線を描画したり、着地面に各ドアの開度量の領域に色分けして表示したりするなど、ドアを開いた位置と障害物との位置関係が明確に区別できる表示方法であればどのようなシルエット画像を表示してもよい。
さらに、ドアの開度量に応じて、現在のドアの位置を他のシルエット画像と比べ強調表示（線を太くする、色を変えるなど）してもよい。
【０１２３】
また、ドアの開度量を示すシルエット画像は、車両１１の後端よりも長いドアとして表示するようにしても良い。
これにより、車両後方から近づく障害物や接近者と、自車両との位置関係が分かり易くなり、ドアをどの程度開けられるか（または開けてもよいか）の予測をつけやすくすることができる。また、長いドアとしてシルエット画像を表示することにより、車両１１より少し離れた障害物の場合でも、どのドアの開度量で障害物と接触するかについて、瞬時に判別することができる。
【０１２４】
なお、ドアの開度量を示すシルエット画像とともに、降車者の身体の幅を表示するようにしもよい。
これにより、降車者が降車する際、どの程度ドアを開ければ降車できるかを事前に把握することができる。
【０１２５】
このように、第３の実施形態に係る駐車位置表示処理装置１０は、車両１１の周囲を撮像して撮像画像を生成する撮像部（リアカメラ１２）と、車両１１の車両情報を取得する車両情報取得部１８と、撮像画像と車両情報とに基づいて、車両１１の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部（車内外状態認識部１７）と、車両周囲情報と車両情報とに基づいて、車両の駐車予定位置を算出する駐車位置算出部１９と、記駐車予定位置と車両周囲情報とに基づいて、駐車予定位置を表す画像と、駐車予定位置における車両１１の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部（表示画像生成部２０）と、合成画像を表示する表示部（ディスプレイ９０）と、を備える。
【０１２６】
これにより、車両を駐車する際の乗員の利便性を向上させることができる。
【０１２７】
（第４の実施形態）
第４の実施形態では、第３の実施形態でディスプレイ９０Ｒに表示した表示画像を、車両１１のドアの内側のディスプレイや、車両１１の窓に表示する場合の一例について説明する。
ここで、第４の実施形態に係る駐車位置表示処理装置１０は、第３の実施形態に係る駐車位置表示処理装置１０と同様であるため、図示および説明を省略する。
【０１２８】
図１４は、本発明の第４の実施形態に係る表示画像の一例を示す説明図である。
図示する例は、ディスプレイ９０Ｒを車両１１のドアの内側、例えば、窓やドアに設けて表示する一例である。
車両１１の窓に表示するディスプレイは、窓に液晶ディスプレイや有機ディスプレイ等の薄い表示デバイスを用いてもよいし、折り曲げ可能な液晶シートなどを窓に張り付けたディスプレイを用いてもよい。液晶シートを用いる場合は、バックライトを設けずに外光をバックライトとして表示するようにしてもよい。この場合、ディスプレイに厚みにより、窓が開けられなくなることを防止できるとともに、窓の視認性を保つことができる。
なお、液晶シートに関わらず、窓領域に設定するディスプレイは有機ＥＬディスプレイでもよく、薄くて折り曲げ可能な表示デバイスであればどのようなもので合っても良い。
【０１２９】
図１４（ａ）に示す車外状態の窓内側表示において、駐車位置算出部１９は、車外状態としてサイドカメラ１３の画像を、車両１１の上方から見た鳥瞰画像に変換し、ドア内側の窓の領域のディスプレイ９０Ｆに表示させる場合を示している。これにより、降車者は、ドアにより死角となっている車両１１に近い降車スペース（着地面）を窓から除くように障害物がないか確認することができる。
図１４（ａ）に示す車外状態の窓内側表示では、車外状態を安全情報表示領域２３Ａに鳥瞰画像を表示しているが、図１２や図１３と同様に、ドアの開度量をシルエット画像によって表示してもよい。図１４（ａ）に示す車外状態の窓内側表示では、３段階目のドアの開度量の領域ＯＤ−３Ｒに障害物２５−２が存在することを示しており、降車者はドア開放レバーＤＮＲを引いてドアを開ける際に、ドアを２段階目のドアの開度量までドアを開けることが可能であることを一見することができる。
【０１３０】
ドア内側に表示するディスプレイは、液晶ディスプレイや有機ＥＬディスプレイを用いることが望ましい。このようにすることで、窓の視認性を維持しつつ、安全情報を搭乗者に提示することができる。
なお、ドア内側に表示するディスプレイとして液晶シートを用いてもよい。この場合、バックライトを設ければよい。
【０１３１】
なお、図１４（ｂ）に示すドア内側に表示する表示画像は、図１４（ａ）に示す窓に表示する表示画像と同様であるため、同一符号を付して説明を省略する。
【０１３２】
なお、ドア内側の窓の領域のディスプレイ９０Ｒに表示する鳥瞰画像の視点位置は、車両１１の真上の視点位置（車両１１に対して垂直方向から道路向きに鳥瞰する視点位置）であってもよいし、車両１１の真上の視点から所定角度、例えば４５度傾けた視点位置であってもよい。図１５を参照して詳述する。
【０１３３】
図１５は、本発明の第４の実施形態に係る表示画像の一例を示す説明図である。
図１５（ａ）に図示する窓内側のディスプレイ９０Ｒに表示される表示画像（鳥瞰画像）は、降車者が車両１１の座席の窓からドア外側の降車スペースを自然に見ることができるように、車両１１の上側から車両１１側に傾けた位置（例えば、車両１１に対して垂直方向から４５度の位置）を視点位置とする鳥瞰画像を、窓内側のディスプレイ９０Ｒに表示した場合の一例である。
図１５（ａ）に図示する窓内側のディスプレイ９０Ｒに表示される表示画像（鳥瞰画像）では、図１４に図示する表示画像の一例と同様に、３段階目のドアの開度量ＯＤ−３Ｒの領域に障害物が存在している。
この場合、表示画像生成部２０は、鳥瞰画像の視点位置を、垂直方向から所定角度傾けた視点位置から鳥瞰した鳥瞰画像を生成する。
【０１３４】
このように、視点位置を変更した鳥瞰画像を生成することで、降車者は、２段階目のドアの開度量ＯＤ２−２Ｒまで車両１１のドアを開くことができることを一見して確認することができる。また、斜め（４５度の角度）から鳥瞰した鳥瞰画像の表示（安全情報表示）を行うことにより、ドア外側の死角領域を、ドア内側からドア操作なく確認することができるため、後者者は、障害物の位置を直感的に把握することができる。
【０１３５】
図１５（ｂ）に図示する窓内側のディスプレイ９０Ｒに表示される表示画像（鳥瞰画像）は、車両１１の略真上（車両１１の上方）の視点位置から鳥瞰した鳥瞰画像を、窓内側のディスプレイ９０Ｒに表示した場合の一例である。
この場合、表示画像生成部２０は、鳥瞰画像の視点位置を、車両１１に対して垂直方向の視点位置から鳥瞰した鳥瞰画像を生成する。
このようにすることで、表示画像に歪が発生することを防止することができ、また、車両１１と障害物との距離関係が一定となるため、車両１１と障害物との位置関係を実際の距離感覚で把握することができる。
【０１３６】
図１５（ｃ）に図示する窓内側のディスプレイ９０Ｒに表示される表示画像（鳥瞰画像）は、図１３および図１４に図示した表示画像を、右側後部ドアＤＲ＿ｉの開閉軸側に寄せて表示した場合の一例である。
図１５（ｃ）に図示する窓内側のディスプレイ９０Ｒに表示される表示画像（鳥瞰画像）では、ドアの開度量３の領域に障害物がある場合を示している。
この場合、車両１１の窓の所定領域、例えば、図示する領域にディスプレイ９０Ｒを設ければよく、表示画像生成部２０は、第３の実施形態と同様にして車両右側画像ＧＲを生成し、ディスプレイ９０Ｒに表示させればよい。
【０１３７】
このようにすることで、車両１１の後部座席右側に乗車している降車者は、運転者がサイドミラーで障害物や後方からの接近者の有無を確認するように、表示画像により障害物や後方からの接近者の有無を確認することができる。すなわち、後者者（乗員）は、後部座席用のドアミラーを設置した場合と同様に、車外の状態を確認することができる。
【０１３８】
なお、実際のドアの軸と、安全情報表示上のドアの軸を略一致させるため、サイドカメラ１３の撮影画像を鏡面表示させているが、サイドカメラ１３−２で撮影された画像をそのまま表示するしても良い。
これにより、車両１１の右側の画像が表示されるため、特に車両１１の後ろから接近する人や車両１１の後ろから接近する他の車両との位置関係を容易に把握することができる。
【０１３９】
なお、上記での説明では、安全情報表示領域２３Ａにドアの開度量のシルエット画像を重畳表示し、後者者が、表示に基づいて障害物が含まれるドアの開度量のシルエット画像より手前のドアの開度量まで実際のドアの開度量を調整するものであったが、これに限定されるものではない。例えば、駐車位置表示処理装置１０は、鳥瞰画像等から障害物と実際のドアの開度量との距離を算出し、ドアが障害物に近づいた場合（ドアと障害物との距離が所定距離以下となった場合）に、ドアの軸に設置したアクチュエータ等により、ドアを開ける方向に力を加える（例えば、ドアが開き難くなるように力を加える）などで通知もよいし、障害物に近接していることを後者者に音や表示により通知してもよい。ここで言う、力を加えるとは、ドアの開度量を制限するためにドアを開けるときに開け難くすることであってもよいし、ドアを開けることが困難または不可能に制御することであってもよい。
また、音や表示による障害物等の近接の通知は、段階的な通知であってもよい。例えば、
ドアが障害物に近づいた場合に音を鳴らしてもよいし、ドアが障害物に近づいた場合に、ドアが障害物に近づくにつれ音を大きくしたり音色を変えたりして段階的に通知してもよい。このようにすることで、後者者は、障害物とドアとの距離を視覚や聴覚で認識することができる。
【０１４０】
このように、第４の実施形態に係る駐車位置表示処理装置１０は、車両１１の周囲を撮像して撮像画像を生成する撮像部（リアカメラ１２）と、車両１１の車両情報を取得する車両情報取得部１８と、撮像画像と車両情報とに基づいて、車両１１の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部（車内外状態認識部１７）と、車両周囲情報と車両情報とに基づいて、車両の駐車予定位置を算出する駐車位置算出部１９と、記駐車予定位置と車両周囲情報とに基づいて、駐車予定位置を表す画像と、駐車予定位置における車両１１の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部（表示画像生成部２０）と、合成画像を表示する表示部（ディスプレイ９０）と、を備える。
【０１４１】
これにより、車両を駐車する際の乗員の利便性を向上させることができる。
【０１４２】
（第５の実施形態）
第５の実施形態では、車内外状態情報に基づいてドアの開度量を算出する場合の一例について説明する。
【０１４３】
図１６は、本発明の第５の実施形態に係る駐車位置表示処理装置１０の機能構成の一例を示す概略ブロック図である。
駐車位置表示処理装置１０は、画像取得部１６と、車内外状態認識部１７と、車両情報取得部１８と、駐車位置算出部１９と、表示画像生成部２０と、物体情報記憶部２１−１と、属性情報記憶部２１−２と、ドア開度算出部５４０と、を含んで構成される。
ここで、第５の実施形態に係る駐車位置表示処理装置１０は、第１の実施形態に係る駐車位置表示処理装置１０と比べて、ドア開度算出部５４０が追加されている点が異なる。第５の実施形態では、第１の実施形態に係る駐車位置表示処理装置１０と異なる部分を中心に説明する。
【０１４４】
ドア開度算出部５４０は、各カメラ（リアカメラ１２、サイドカメラ１３、フロントカメラ１４、室内カメラ１５）が撮影した画像を表す画像信号を取得する。また、ドア開度算出部５４０は、車内外状態認識部１７から車内外状態情報を取得する。車内外状態情報には、検出情報と、物体の高さを表す高さ情報と、が含まれる。
【０１４５】
ドア開度算出部５４０は、車両１１と、車両１１の周辺に存在する障害物や接近物（者）などの物体との位置関係を算出する。具体的には、ドア開度算出部５４０は、車両１１の各ドアを基準に、各ドアと各物体との間の距離、車両１１の移動速度および／または物体の移動速度、車両１１の移動方向および／または物体の移動方向、物体が車両１１に到達（近接）するまでの到達時間などを物体との位置関係として算出する。
また、ドア開度算出部５４０は、算出した物体との位置関係に基づいて、所定段階数、例えば、３段階のドアの開度量を算出する。ドア開度算出部５４０は、算出した所定段階数のドアの開度量を表す情報を、表示画像生成部２０に出力する。
【０１４６】
表示画像生成部２０は、ドア開度算出部５４０から入力された所定段階数のドアの開度量を表す情報に基づいて、所定段階数のドアの開度量に対応するシルエット画像またはドア画像を生成する。表示画像生成部２０は、生成したシルエット画像を、表示画像と重畳させ（合成して）、ディスプレイ９０−ｄに表示させる。
ここで、表示画像生成部２０は、車両１１のシフトレバーをパーキングに入れる、またはサイドブレーキを引くなど車両１１が停止（停車）させ、車両１１からの降車の準備が整った場合に、シルエット画像またはドア画像を、表示画像と重畳させてディスプレイ９０−ｄに表示させる。
【０１４７】
なお、上記までの説明では、ディスプレイ９０−ｄに表示する表示画像がサイドカメラ１３の撮影画像に基づく場合の一例について説明したが、これに限定されるものではなく、検出した物体（障害物）や車外の周辺状態を表すＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像を生成し、生成したＣＧ画像をディスプレイ９０−ｄに表示させてもよい。
また、表示画像生成部２０は、物体の位置、物体の移動速度、物体の移動方向、物体が車両１１に到達（近接）するまでの到達時間などの位置情報を、ＣＧによる図形、アイコン、アニメーションや文字などを用いて、サイドカメラ１３の撮影画像やＣＧ画像に重畳してディスプレイ９０−ｄに表示させてもよい。
これにより、降車者は、車両１１が停止した場合に、現在の車両１１の車外の状態や予見される車両１１の車外の状態をいち早く把握することができる。また、ドアの開け方などを事前に確認することができるため、安全を確保することができる。
【０１４８】
図１７は、本発明の第５の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
駐車位置表示処理装置１０は、図５におけるステップＳ１４までの処理を実行した後にステップＳ５７０１からステップＳ５７０４の処理を実行する。
ステップＳ５７０１において、駐車位置算出部１９は、車内外状態認識部１７から出力される車内外状態情報と、車両情報取得部１８が出力する車両情報から、駐車予定位置を算出する。駐車位置算出部１９は、算出した駐車予定位置を駐車位置情報として、ドア開度算出部５４０に出力する。そして、駐車位置表示処理装置１０は、ステップＳ５７０２の処理を実行する。
【０１４９】
ステップＳ５７０２において、ドア開度算出部５４０は、車内外状態認識部１７から出力される車内外状態情報と、駐車位置算出部１９が出力する駐車位置情報とから、所定の段階数および所定の段階ごとの開度量に基づいて、予定の段階数の数だけ、各ドアの開度量を算出する。ドア開度算出部５４０は、算出した各ドアの開度量を表す情報を表示画像生成部２０に出力する。そして、駐車位置表示処理装置１０は、ステップＳ５７０３の処理を実行する。
【０１５０】
ステップＳ５７０３において、表示画像生成部２０は、駐車位置算出部１９が出力する駐車位置情報と、ドア開度算出部５４０が出力する各ドアの開度量を表す情報とから、駐車位置画像に、駐車可能範囲に存在する障害物や接近者等の物体を表す画像と、降車スペースを表す画像と、ドアの開度量を表す情報に対応するドア画像を重畳（合成）した重畳画像を生成する。そして、駐車位置表示処理装置１０は、ステップＳ５７０４の処理を実行する。
【０１５１】
ステップＳ５７０４において、表示画像生成部２０は、画像取得部１６から出力される画像信号と、ステップＳ５７０３で算出した重畳画像と合成した合成画像を生成する。また、表示画像生成部２０は、車内外状態認識部１７から出力される車内外状態情報から、車両１１が停車し、降車状態となったことを検出した場合に、生成した合成画像をディスプレイ９０−ｄに表示させる。そして、所定時間が経過した場合や、車両１１からの降車が完了したことを検出した場合に、図１８に係る処理を終了する。
【０１５２】
なお、ドア開度算出部５４０は、車内外状態情報に含まれる障害物と、物体との位置関係とから、ドアの最大開度量を算出し、算出したドアの最大開度量に合わせて、ドアの開度量の段階数や、１段階当りのドアの開度量を算出（決定）してもよい。図１８を参照して詳述する。
【０１５３】
図１８は、本発明の第５の実施形態に係る変形例の駐車位置表示処理の一例を示すフローチャートである。
ここで、図１８における駐車位置表示処理は、図１７に示す駐車位置表示処理のステップＳ５７０２の代わりにステップＳ５７１１の処理を実行する。ステップＳ５７０１，ステップＳ５７０３、ステップＳ５７０４の処理の説明は、省略する。
駐車位置表示処理装置１０は、ステップＳ５７０１の処理を実行し、その後、ステップＳ５７１１の処理を実行する。
【０１５４】
ステップＳ５７１１において、ドア開度算出部５４０は、車内外状態認識部１７から出力される車内外状態情報と、駐車位置算出部１９が出力する駐車位置情報とから、車両１１と物体との位置関係に基づいて、物体とドアが衝突しない範囲（例えば、車両と物体との距離が所定値（例えば１０ｃｍ）以上となる範囲）でドアを開けることが可能なドアの最大開度量をドアごとに算出する。ドア開度算出部５４０は、算出したドア毎のドアの最大開度量に応じて、ドアの開度量の段階数（例えば、シルエット画像やドア画像で表す段階数）を算出し、算出した段階数における各段階でのドアの開度量を、段階ごとのドアの開度量の合計がドアの最大開度量以内となるように、１段階ごとの開度量（角度）を設定算出する。ドア開度算出部５４０は、算出したドアごと且つ段階数毎のドアの開度量を表す情報を表示画像生成部２０に出力する。そして、駐車位置表示処理装置１０は、ステップＳ５７０３を実行する。また、駐車位置表示処理装置１０は、ステップＳ５７０３の処理の後にステップＳ５７０４の処理を実行する。
【０１５５】
このように、第５の実施形態に係る駐車位置表示処理装置１０は、車両１１の周囲を撮像して撮像画像を生成する撮像部（リアカメラ１２）と、車両１１の車両情報を取得する車両情報取得部１８と、撮像画像と車両情報とに基づいて、車両１１の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部（車内外状態認識部１７）と、車両周囲情報と車両情報とに基づいて、車両の駐車予定位置を算出する駐車位置算出部１９と、記駐車予定位置と車両周囲情報とに基づいて、駐車予定位置を表す画像と、駐車予定位置における車両１１の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部（表示画像生成部２０）と、合成画像を表示する表示部（ディスプレイ９０）と、を備える。
【０１５６】
これにより、車両を駐車する際と降車する際の乗員の利便性を向上させることができる。
【０１５７】
（第６の実施形態）
第１の実施形態から第５の実施形態までは、車両１１と障害物や接近者等の物体との位置関係に応じて、物体がどこに存在するか、または物体に接触することなく車両１１のドアをどの程度開けることができるかを降車者に通知する場合の各例について説明した。
第６の実施形態では、アクチュエータにより車両１１のドアの開度量を制御する場合の一例について説明する。
具体的には、第６の実施形態では、降車者が車両１１のドアを開け始めた後に、ドアが物体に接近するにつれて、ドアを開ける方向に対する荷重し、降車者にドアが物体に接近していることを、ドアを開ける方向に対する荷重の仕方によってフィードバックする場合の一例について説明する。
ここで、第６の実施形態では、車両１１のドアの開閉軸の部分にアクチュエータを設け、ドアを閉める方向に力を発生させることにで、降車者がドアを開けようとすると、ドアを開ける方向に重さを感じさせる。
このようにすることで、ドアがどの程度開けることが可能なのかを、ドアを開ける方向の重さのフィードバックで降車者に知らせることができる。
【０１５８】
図１９は、本発明の第６の実施形態に係る駐車位置表示処理装置１０の機能構成の一例を示す概略ブロック図である。
駐車位置表示処理装置１０は、画像取得部１６と、車内外状態認識部１７と、車両情報取得部１８と、駐車位置算出部１９と、表示画像生成部２０と、物体情報記憶部２１−１と、属性情報記憶部２１−２と、ドア開度算出部５４０と、車両制御部５４１と、を含んで構成される。
ここで、第６の実施形態に係る駐車位置表示処理装置１０は、第５の実施形態に係る駐車位置表示処理装置１０と比べて、車両制御部５４１とが追加されている点が異なる。第６の実施形態では、第５の実施形態に係る駐車位置表示処理装置１０と異なる部分を中心に説明する。
【０１５９】
また、ドア開度算出部５４０は、ドア開度算出部５４０は、各カメラ（リアカメラ１２、サイドカメラ１３、フロントカメラ１４、室内カメラ１５）が撮影した画像を表す画像信号から現在の車両１１の各ドアの実際の開度量（以下の説明ではドアの状態と称する）を算出する。ドア開度算出部５４０は、所定段階数のドアの開度量を表す情報と、ドアの状態を表す情報とを車両制御部５４１に出力する。
なお、ドアの状態は、車両１１に設置した各種センサ６０−ｃによって現在のドアの開度量を取得してもよいし、各種センサ６０−ｃが取得した情報に基づいて現在のドアの開度量を算出してもよい。
【０１６０】
車両制御部５４１は、車両情報取得部１８から出力された車両情報と、ドア開度算出部５４０から出力された所定段階数のドアの開度量を表す情報およびドアの状態を表す情報とを用いて、各ドアのフィードバック力を制御する。
車両制御部５４１は、ドア開度算出部５４０で算出されたドアの開度量を表す情報と、ドアの状態を表す情報とに基づいて、後述するフィードバック力制御に従って、ドアの軸部分に設置されたアクチュエータを制御して、ドアを閉める方向へのフィードバック力を発生させる。フィードバック力制御は、ドアの状態に合わせてリアルタイムに行い、降車者の降車開始から終了までの期間、アクチュエータを制御する。
車両制御部５４１は、例えば、運転席ドア、助手席ドア、後部座席右側ドア、後部座席左側ドア、バックドアなどの各ドア１００−ｆ（ｆは任意の正数）に対して個別にフィードバック力を制御する。また、車両制御部５４１は、降車者が存在するドアについてリアルタイムにフィードバック力を制御する。
【０１６１】
ここで、フィードバック力制御について説明する。
【０１６２】
図２０は、本発明の第６の実施形態に係るフィードバック力制御の一例を示す説明図である。
図示する例は、ドアの状態が各段階のドアの開度量の境界に近づくときに、ドアを開ける方向の荷重（以下、フィードバック力）する場合の一例である。
図２０（ａ）に図示する例は、ドアのフィードバック力が各段階のドアの開度量で同じ場合であり、各ドア開度領域の初めから、次の段階のドアの開度量の境界の手前（例えば次の段階のドアの開度量までの残り開度量（角度）が１０度から０度まで）の期間がドアの開度変化通知期間である。
車両制御部５４１は、ドアの開度量変化通知期間の開始まで、一定のフィードバック力でアクチュエータを制御してドアに対して荷重し、ドアの状態が各ドアの開度量の範囲内であることを降車者に知らせる。一方、車両制御部５４１は、ドアの開度量変化通知期間になると、フィードバック力が大きくなるように荷重し、ドアの状態が現在の段階におけるドアの開度量の範囲が終了することを降車者に知らせる。例えば、３段階目のドアの開度量を表す「ドアの開度量３」のドアの開度量となる範囲中に物体が存在する場合、フィードバック力が２回荷重されるまではドアを開けてもよいこととなる。このため降車者は、荷重の変化（フィードバック力の変化）を体感しながらどの程度ドアを開けてもよいかを認識することができる。
【０１６３】
図２０（ｂ）に図示する例は、ドアの開度量に応じてが大きくなるにしたがってフィードバック力も大きくなる場合の一例について説明する。
すなわち、図示する例は、ドアを大きく開ければ開けるほどフィードバック力が大きくなる場合の一例である。
車両制御部５４１は、例えば、１段階目のドアの開度量を表す「ドアの開度量１」の領域から２段階目のドアの開度量を表す「ドアの開度量２」領域に変化する境界などのドアの開度量の段階が変化する境界である、ドア開度変化通知ポイントを超えた場合に、アクチュエータを制御することでフィードバック力が強くなる（重くなる）ようにドアに対して荷重しする。
【０１６４】
これにより、フィードバック力の変化でドアの開度量の段階がが変化したことを体感的に認識することができる。さらに、ドアを開ければ開ける程、物体に接触する可能性が増すため、ドアに対してフィードバック力を荷重することでドアを開け難く制御することができ、事故を未然に防ぐことが可能となる。
【０１６５】
図２１は、本発明の第６の実施形態に係るフィードバック力制御の一例を示す説明図である。
図２１（ａ）に図示する例は、各段階のドアの開度量の領域において、各段階のドアの開度量の領域ごとに、各領域の最初から最後にかけて徐々にフィードバック力が大きくなるように、アクチュエータを制御してドアに対する荷重をかける場合の一例である。
車両制御部５４１は、例えば、１段階目のドアの開度量の領域の最初から２段階目のドアの開度量の領域に入るまでの間、徐々にドアに対する荷重が大きくなるように、アクチュエータを制御し、２段階目のドアの開度量の領域の最初から３段階目のドアの開度量の領域に入るまでの間、１段階目のドアの開度量の領域での荷重と同様に、徐々にドアに対する荷重が大きくなるように、アクチュエータを制御し、３段階目のドアの開度量の領域の最初から３段階目のドアの開度量の最後までの間、徐々にドアに対する荷重が大きくなるように、アクチュエータを制御する。
このようにすることで、段階的なドアの開度量の領域の変化を体感しながら認識することができる。
【０１６６】
図２１（ｂ）に図示する例は、各段階のドアの開度量の領域において、段階が上がるのに応じてフィードバック力も大きくなる場合である。
車両制御部５４１は、例えば、図２１（ａ）と同様にして、１段階目のドアの開度量の領域において、１段階目のドアの開度量の領域の最初から２段階目のドアの開度量の領域に入るまでの間、徐々にドアに対する荷重が大きくなるように、アクチュエータを制御し、２段階目のドアの開度量の領域の最初から３段階目のドアの開度量の領域に入るまでの間も徐々に、ドアに対する荷重が大きくなるように、アクチュエータを制御し、３段階目のドアの開度量の領域の最初から３段階目のドアの開度量の領域の最後までの間も徐々に、ドアに対する荷重が大きくなるように、アクチュエータを制御する。
【０１６７】
このとき、車両制御部５４１は、２段階目のドアの開度量の領域の最初のドアに対する荷重が、１段階目のドアの開度量の領域の最初におけるドアに対する荷重よりも大きく、且つ１段階目のドアの開度量の領域の最後におけるドアに対する荷重よりも小さくなるように、アクチュエータを制御する。また、車両制御部５４１は、３段階目のドアの開度量の領域の最初のドアに対する荷重が、２段階目のドアの開度量の領域の最初におけるドアに対する荷重よりも大きく、且つ２段階目のドアの開度量の領域の最後におけるドアに対する荷重よりも小さくなるように、アクチュエータを制御する。
つまり、車両制御部５４１は、ドアの開度量の領域の段階が上がるごとに、各領域の最初の荷重が大きくなり、且つ各領域内で徐々に荷重が大きくなるようにアクチュエータを制御する。
このようにすることで、ドアに対する荷重により、現在のドアの状態がどの段階のドアの開度量の領域であるかを認識することができる。
【０１６８】
なお、図２１に示す例では、ドアの開度量の領域が変化するタイミングでドアに対する荷重が軽くなるため、勢いよくドアを開けた場合などにおいて、ドアが開きやすくなるため、慎重にドアを開けることが好ましいが、この限りではない。
また、図２１に図示する例は、例えば、交通量の多い場所や、風が強い場合などで、用いることが好ましいが、この限りでない。
【０１６９】
図２２は、本発明の第６の実施形態に係るフィードバック力制御の一例を示す説明図である。
図２２（ａ）に図示する例は、ドアのフィードバック力が各段階のドアの開度量で同じ場合であり、各ドアの開度量の領域の初めから、次の段階のドアの開度量の境界の手前（例えば次の段階のドアの開度量までの残り開度量（角度）が１０度から０度まで）の期間がドアの開度変化通知期間である。
車両制御部５４１は、ドアの開度量変化通知期間の開始まで、一定のフィードバック力でアクチュエータを制御してドアに対して荷重し、ドアの状態が各ドアの開度量の範囲内であることを降車者に知らせる。一方、車両制御部５４１は、ドアの状態が、ドアの開度量変化通知期間になると、フィードバック力が徐々に大きくなるように荷重し、ドアの状態が現在の段階におけるドアの開度量の範囲が終了することを降車者に知らせる。例えば、３段階目のドアの開度量を表す「ドアの開度量３」のドアの開度量の領域中に物体が存在する場合、フィードバック力が２回荷重されるまではドアを開けてもよいこととなる。このため降車者は、荷重の変化（フィードバック力の変化）を体感しながらどの程度ドアを開けてもよいかを認識することができる。
また、ドアの開度量変化期間でないときも、所定の荷重がドアに対してかかるため、急激なドアの開閉などがし難くなり、物体に接触する可能性を低減させることができる。
【０１７０】
図２２（ｂ）に図示する例は、各段階のドアの開度量の領域において、段階が上がるのに応じてフィードバック力も大きくなる場合の一例である。
図２２（ｂ）に図示する例は、各ドアの開度量の領域の初めから、次の段階のドアの開度量の境界の手前（例えば次の段階のドアの開度量までの残り開度量（角度）が１０度から０度まで）の期間がドアの開度変化通知期間である。
車両制御部５４１は、各段階のドアの開度量の領域において、ドアの開度量変化通知期間の開始まで、一定のフィードバック力でアクチュエータを制御してドアに対して荷重し、ドアの状態が各ドアの開度量の範囲内であることを降車者に知らせる。一方、車両制御部５４１は、ドアの状態が、ドアの開度量変化通知期間になると、フィードバック力がドアの開度量変化期間前のフィードバック力よりも徐々に大きくなるように荷重し、ドアの状態が現在の段階におけるドアの開度量の範囲が終了することを降車者に知らせる。例えば、３段階目のドアの開度量を表す「ドアの開度量３」のドアの開度量の領域中に物体が存在する場合、フィードバック力が２回荷重されるまではドアを開けてもよいこととなる。
【０１７１】
このとき、車両制御部５４１は、２段階目のドアの開度量の領域の最初のドアに対する荷重が、１段階目のドアの開度量の領域の最初におけるドアに対する荷重よりも大きく、且つ１段階目のドアの開度量の領域の最後におけるドアに対する荷重よりも小さくなるように、アクチュエータを制御する。また、車両制御部５４１は、３段階目のドアの開度量の領域の最初のドアに対する荷重が、２段階目のドアの開度量の領域の最初におけるドアに対する荷重よりも大きく、且つ２段階目のドアの開度量の領域の最後におけるドアに対する荷重よりも小さくなるように、アクチュエータを制御する。
つまり、車両制御部５４１は、ドアの開度量の領域の段階が上がるごとに、各領域の最初の荷重が大きくなり、且つ各領域内で徐々に荷重が大きくなるようにアクチュエータを制御する。
このようにすることで、ドアに対する荷重により、現在のドアの状態がどの段階のドアの開度量の領域であるかを認識することができる。また、荷重の変化（フィードバック力の変化）を体感しながらどの程度ドアを開けてもよいかを認識することができる。また、ドアの開度量変化期間でないときも、所定の荷重がドアに対してかかるため、急激なドアの開閉などがし難くなり、物体に接触する可能性を低減させることができる。
【０１７２】
このように、車両制御部５４１は、図２０から図２２において説明した各フィードバック力制御のいずれかを用いてアクチュエータを制御してドアに対して荷重する。
これにより、降車者は、ドアを開ける際、安全情報表示を見ながら、慎重にドアを開けずとも、物体とドアとの距離感や物体が存在する位置をドアに対するフィードバックで体感的に認識することができ、また、手軽にドアの開閉が行うことができる。さらに、アクチュエータによるドアを開ける方向への荷重を物体に接触する手前で大きく（強く、大きく）することで、ドアが物体に接触する可能性を低減させることができる。
また、物体に接触する手前でドアをそれ以上、開かない状態に制御してもよいが、ドアを開かない状態でなく開き難い状態に制御することで、交通事故などによりドア周辺に障害物が発生した場合に、該障害物の検出によってドアが開かなく制御されるのを防止することができる。
【０１７３】
なお、ドアを開ける方向への荷重（フィードバック力）は、降車者の属性（例えば、年齢、身長、性別など）に応じて設定しても良い。この場合、例えば、室内カメラ１５の撮影画像から検出した乗員の年齢や性別により、子供やお年寄りは大人に比べフィードバック力を軽く（弱く）したり、女性は男性に比べフィードバック力を軽く（弱く）したりしてもよいし、座席毎に体重を検出可能な荷重センサを設け、乗車者の体重に応じてフィードバック力を変更したり、室内カメラ１５の撮影画像から乗車者の頭の高さを検出して身長を算出し、乗車者の身長（座高）に応じてフィードバック力を変更したりしてもよい。
【０１７４】
図２３は、本発明の第６の実施形態に係る駐車位置表示処理の一例を示すフローチャートである。
ここで、ステップＳ５７０１、ステップＳ５７０３、ステップＳ５７０４に係る処理は、図１７に示すステップＳ５７０１、ステップＳ５７０３、ステップＳ５７０４と同様であるため説明を省略する。また、ステップＳ５７１１に係る処理は、図１８におけるステップＳ５７１１と同様であるため説明を省略する。
駐車位置表示処理装置１０は、ステップＳ５７０１の処理を実行し、その後、ステップＳ５７１１の処理を実行する。駐車位置表示処理装置１０は、その後、ステップＳ５７２１の処理を実行する。
【０１７５】
ステップＳ５７２１において、車両制御部５４１は、ドア開度算出部５４０から出力されるドアの開度量を表す情報およびドアの状態を表す情報と、車両情報取得部１８から出力される車両情報１−ｂとから、段階的なドアの開度量と現在のドアの位置に応じて、アクチュエータを制御し、ドアを閉める方向へのフィードバック力を発生させる。フィードバック力制御は、ドアごとに、且つ各ドアの状態に合わせてリアルタイムに実行される。その後、駐車位置表示処理装置１０は、ステップＳ５７０３、ステップＳ５７０４の処理を実行する。
【０１７６】
このように、第６の実施形態に係る駐車位置表示処理装置１０は、車両１１の周囲を撮像して撮像画像を生成する撮像部（リアカメラ１２）と、車両１１の車両情報を取得する車両情報取得部１８と、撮像画像と車両情報とに基づいて、車両１１の周囲の状態を表す車両周囲情報を生成する車両周囲状態認識部（車内外状態認識部１７）と、車両周囲情報と車両情報とに基づいて、車両の駐車予定位置を算出する駐車位置算出部１９と、記駐車予定位置と車両周囲情報とに基づいて、駐車予定位置を表す画像と、駐車予定位置における車両１１の周囲の状態を表す画像と、から合成画像を生成する合成画像生成部（表示画像生成部２０）と、合成画像を表示する表示部（ディスプレイ９０）と、を備える。
【０１７７】
これにより、車両を駐車する際の乗員の利便性を向上させることができる。
【０１７８】
なお、本発明の一態様における駐車位置表示処理装置１０で動作するプログラムは、本発明の一態様に関わる上記の各実施形態や変形例で示した機能を実現するように、１つ、または複数の、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサを制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これらの各装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に蓄積され、その後、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖe）等の各種ストレージに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われても良い。
【０１７９】
なお、上述した各実施形態や変形例における駐車位置表示処理装置１０の一部又は全部を１つ、または複数のプロセッサを備えたコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
【０１８０】
なお、ここでいう「コンピュータシステム」とは、駐車位置表示処理装置１０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１８１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０１８２】
また、上述した各実施形態や変形例における駐車位置表示処理装置１０の一部、又は全部を典型的には集積回路であるＬＳＩとして実現してもよいし、チップセットとして実現してもよい。また、上述した各実施形態や変形例における駐車位置表示処理装置１０の各機能ブロックは個別にチップ化してもよいし、一部、又は全部を集積してチップ化してもよい。また、集積回路化の手法は、ＬＳＩに限らず専用回路、および／または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。
【０１８３】
以上、この発明の一態様として各実施形態や変形例に関して図面を参照して詳述してきたが、具体的な構成は、各実施形態や各変形例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明の一態様は、種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段の一部、または全部を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態や変形例に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
【０１８４】
例えば、上記各実施形態や各変形例の一部または全部を組み合わせることで本発明の一態様を実現してもよい。
【符号の説明】
【０１８５】
１０  駐車位置表示処理装置
１１  車両
１２  リアカメラ（撮像部）
１３、１３−１、１３−２  サイドカメラ（側面撮像部）
１４  フロントカメラ
１５  室内カメラ
１６  画像取得部
１７  車内外状態認識部（車両周囲状態認識部）
１８  車両情報取得部
１９  駐車位置算出部
２０  表示画像生成部（合成画像生成部）
２１−１  物体情報記憶部
２１−２  属性情報記憶部
２２  降車位置算出部
６０−ｃ  センサ
７０−１、７０−２、７０−ｂ  センサ
９０、９０Ｒ、９０Ｆ，９０−ｄ  ディスプレイ
１００−ｆ  ドア
５４０  ドア開度算出部
５４１  車両制御部
【図１】
2019067220.tif 000003
【図２】
2019067220.tif 000004
【図３】
2019067220.tif 000005
【図４】
2019067220.tif 000006
【図５】
2019067220.tif 000007
【図６】
2019067220.tif 000008
【図７】
2019067220.tif 000009
【図８】
2019067220.tif 000010
【図９】
2019067220.tif 000011
【図１０】
2019067220.tif 000012
【図１１】
2019067220.tif 000013
【図１２】
2019067220.tif 000014
【図１３】
2019067220.tif 000015
【図１４】
2019067220.tif 000016
【図１５】
2019067220.tif 000017
【図１６】
2019067220.tif 000018
【図１７】
2019067220.tif 000019
【図１８】
2019067220.tif 000020
【図１９】
2019067220.tif 000021
【図２０】
2019067220.tif 000022
【図２１】
2019067220.tif 000023
【図２２】
2019067220.tif 000024
【図２３】
2019067220.tif 000025