(57)【要約】【課題】車両に積まれた荷物と周辺の障害物との遠近感を把握することができる車両の周辺監視システムを提供する。【解決手段】車両の周辺監視システム１０は、車両１に取り付けられて車両１の周辺を撮像する撮像装置１１〜１４と、撮像装置１１〜１４の出力に基づいて車両１の周辺を表す俯瞰画像を生成する俯瞰画像生成部１７と、荷物情報２４，２５に基づいて荷物３，４の画像３１，３２を生成する荷物画像生成部１８と、車両１に荷物３，４を積んだ状態の画像を俯瞰画像に重畳して表示装置１５に表示する表示制御部１９と、を備える。【選択図】図１
2019075642.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられて前記車両の周辺を撮像する撮像装置と、
前記撮像装置の出力に基づいて前記車両の周辺を表す俯瞰画像を生成する俯瞰画像生成部と、
荷物情報に基づいて荷物の画像を生成する荷物画像生成部と、
前記車両に前記荷物を積んだ状態の画像を前記俯瞰画像に重畳して表示装置に表示する表示制御部と、
を備える車両の周辺監視システム。
【請求項２】
前記表示制御部は、前記車両に前記荷物を積んでいない状態の画像を前記俯瞰画像に重畳した車両単体俯瞰画像を、前記表示装置に切り替えて表示することを特徴とする請求項１に記載の車両の周辺監視システム。
【請求項３】
前記荷物は、前記車両に積まれるパレットと、前記パレットに積まれる積載物と、を含み、
前記表示制御部は、前記車両に空の前記パレットを積んだ状態の画像を前記俯瞰画像に重畳した車両・パレット俯瞰画像と、前記車両に前記パレット及び前記積載物を積んだ状態の画像を前記俯瞰画像に重畳した車両・積載物俯瞰画像とを、前記表示装置に切り替えて表示することを特徴とする請求項１又は２に記載の車両の周辺監視システム。
【請求項４】
前記表示制御部は、前記車両の最大幅を表す線を前記車両の前方及び／又は後方に延長した補助線を、前記俯瞰画像に重畳して前記表示装置に表示することを特徴とする請求項１ないし３のいずれか一項に記載の車両の周辺監視システム。
【請求項５】
前記表示制御部は、前記車両の旋回中心を前記俯瞰画像に重畳して前記表示装置に表示すると共に、前記車両の運転モードに合わせて前記旋回中心の位置を調節することを特徴とする請求項１ないし４のいずれか一項に記載の車両の周辺監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の俯瞰画像を表示装置に表示する周辺監視システムに関する。
【背景技術】
【０００２】
自動車の駐車操作を支援するために、自動車の周辺の俯瞰映像を表示装置に表示する周辺監視システムが開発されている。このシステムにおいては、自動車に取り付けた撮像装置によって自動車の周辺を撮像し、撮像装置の出力を自動車を仮想的に上空から眺めたような第三者視点の俯瞰画像に変換し、表示装置に俯瞰画像を表示して運転者に提示する。周辺監視システムには、自動車と周辺の障害物との遠近感を把握し易い、運転者から死角となる領域も把握することができるという利点がある。
【０００３】
近年、ダンプトラック、油圧ショベル等の大型車両にも、この周辺監視システムが採用され始めている（例えば特許文献１参照）。車幅が広く、前後の長さが長い大型車両においては、運転者がサイドミラーによって車両の周辺の状況を把握することは困難である。このため、周辺監視システムは大型車両の運転支援に適している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２５３３９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、車両には、多種多様な荷物を輸送する車両が存在する。荷物が長尺物であったり、荷物の幅が広かったりすると、荷物が前後方向及び／又は幅方向に車両からオーバーハング、すなわち飛び出すことがある。この場合、オペレータは車両に乗り込む前に荷物のオーバーハングを把握し、オーバーハングを想像しながら荷物が周辺の障害物に当たらないように運転する必要がある。
【０００６】
荷物を輸送する車両にも、上述の周辺監視システムを採用することが考えられる。しかし、周辺監視システムを採用しても、車両と周辺の障害物との遠近感を把握することはできても、車両に積まれた荷物と周辺の障害物との遠近感を把握することはできないという課題がある。撮像装置は車両の斜め下方の路面を撮像するが、荷物を撮像しないからである。
【０００７】
そこで、本発明は、車両に積まれた荷物と周辺の障害物との遠近感を把握することができる車両の周辺監視システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の一態様は、車両に取り付けられて前記車両の周辺を撮像する撮像装置と、前記撮像装置の出力に基づいて前記車両の周辺を表す俯瞰画像を生成する俯瞰画像生成部と、荷物情報に基づいて荷物の画像を生成する荷物画像生成部と、前記車両に前記荷物を積んだ状態の画像を前記俯瞰画像に重畳して表示装置に表示する表示制御部と、を備える車両の周辺監視システムである。
【発明の効果】
【０００９】
本発明の一態様によれば、車両に荷物を積んだ状態の画像を俯瞰画像に重畳して表示装置に表示するので、車両に積まれた荷物と周辺の障害物との遠近感を把握することができる。また、荷物情報に基づいて荷物の画像を生成するので、荷物の大きさに合わせて適切な荷物の画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態の車両の周辺監視システムのブロック図である。
【図２】本実施形態の車両の周辺監視システムが適用されるＣＰ車を示す図である（図２（ａ）は側面図、図２（ｂ）は正面図）。
【図３】パレットを抱えた状態のＣＰ車を示す図である（図３（ａ）は側面図、図３（ｂ）は正面図）。
【図４】画像変換処理の概念図である。
【図５】モニタに表示される３つの合成俯瞰画像を示す図である（図５（ａ）は車両単体俯瞰画像、図５（ｂ）は車両・パレット俯瞰画像、図５（ｃ）は車両・積載物俯瞰画像）。
【図６】ＣＰＵの動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本発明の実施形態の車両の周辺監視システム（以下、単に周辺監視システムという）を詳細に説明する。ただし、本発明の周辺監視システムは種々の形態で具体化することができ、明細書に記載される実施形態に限定されるものではない。本実施形態は、明細書の開示を十分にすることによって、当業者が発明を十分に理解できるようにする意図をもって提供されるものである。
【００１２】
また、以下の説明において、前後左右は、運転席に座ったオペレータから見た前後左右である。
【００１３】
図１は、本発明の一実施形態の周辺監視システムのブロック図である。本実施形態の周辺監視システム１０は、４台の撮像装置１１〜１４、表示装置としてのモニタ１５、制御装置１６を備える。本実施形態の車両の周辺監視システム１０は、図２及び図３に示すキャリアパレット車１（以下、ＣＰ車１という）に搭載される。ＣＰ車１、撮像装置１１〜１４、制御装置１６を順番に説明する。
（ＣＰ車）
【００１４】
ＣＰ車１は、製鉄所などの構内で形鋼、コイル、原材料等の積載物を輸送するのに用いられる。図２はＣＰ車１の単体を示し、図３はパレット４を抱えた状態のＣＰ車１を示す。ＣＰ車１は、積載物３を積んだパレット４をパレット４ごと輸送する。パレット４も輸送されるので、積載物３だけでなくパレット４も荷物の一部を構成する。パレット４を使用することで、多種多様の積載物３を一台のＣＰ車１で輸送することができる。
【００１５】
図２に示すように、ＣＰ車１は、パレット４を積むための荷台２ａを有する車体２と、車体２を走行させる車輪５ａ，５ｂ（なお、図２（ａ）には側面視で２個の車輪５ａ，５ｂが示されているが、車輪５ａ，５ｂは２個に限られない）と、オペレータが乗り込む前後二つの運転室６ａ，６ｂと、を備える。運転室６ａを前側として前進していたＣＰ車１の進行方向を反転するとき、オペレータは運転室６ａから運転室６ｂに乗り換える。
【００１６】
荷台２ａは、前後方向に長い長方形状である。荷台２ａは、車体２と車輪５ａ，５ｂの車軸との間に設けられた図示しないジャッキアップ機構によって昇降するように構成される。
【００１７】
車輪５ａ，５ｂは、図示しないモータによって駆動される。車輪５ａ，５ｂは、操舵機構によって操舵可能である。ＣＰ車１の運転モードは、車両ＥＣＵ２１（engine control unit）（図１参照）によって制御される。ＣＰ車１の運転モードは、前輪操舵、前後輪操舵（４ＷＳ（４ wheel steering））の各モードに切り替えることが可能である。
【００１８】
図３は、パレット４を抱えたＣＰ車１を示す。図３（ａ）に示すように、パレット４は、積載物３が載置されるパレット本体４ａ、パレット本体４ａを支持する複数の脚体４ｂ、積載物３の脱落を防止する複数のガイド４ｃを備える。図３（ｂ）に示すように、パレット４は、正面視でＨ字状である。なお、図３に示すパレット４は、積載物３が形鋼などの長物品用パレットである。例えば厚板用パレットなど、積載物３がパレット幅を超える場合、ガイド４ｃを省略したり起倒式にする。
【００１９】
ＣＰ車１は荷台を下降させた状態でパレット４内に進入する。ＣＰ車１がパレット４内に進入し終えたら、ジャッキ機構によって荷台２ａを上昇させて、パレット４をＣＰ車１の荷台２ａに積む。パレット４に積まれる積載物３は、運転室６ａ，６ｂよりも上方に位置する。ＣＰ車１がパレット４を抱えた状態で、ＣＰ車１はパレット４ごと積載物３を目的地まで輸送する。ＣＰ車１が目的地に到着すると、ジャッキ機構によって荷台２ａを下降させ、ＣＰ車１をパレット４から脱出させる。又は、ＣＰ車１がパレット４を積んだまま積載物３のみがクレーンで吊り上げられる。このようにして荷物の輸送が行われる。
【００２０】
図３（ａ）に示すように、積載物３は長尺物であり、ＣＰ車１から前後方向にオーバーハングする。図３（ｂ）に示すように、パレット４はＣＰ車１から左右方向にオーバーハングする。本実施形態の周辺監視システム１０は、荷物がＣＰ車１からオーバーハングしても、荷物と周辺の障害物との遠近感を把握できるようにする。
（撮像装置）
【００２１】
図３の符号１１〜１４は、撮像装置である。撮像装置１１〜１４は、ＣＰ車１に取り付けられてＣＰ車１の周辺を撮像し、画像情報を出力する。撮像装置１１〜１４は、広い領域を撮像できる魚眼カメラ等である。
【００２２】
撮像装置１１〜１４は、ＣＰ車１のコーナに合計４つ設けられる。撮像装置１１〜１４の光軸は斜め下を向き、撮像装置１１〜１４はＣＰ車１の周囲の路面を撮像する。撮像装置１１〜１４の視野がパレット４によって狭められるのを防止するために、図３（ｂ）に示すように、撮像装置１１〜１４はパレット４の左右の脚体４ｂよりも左右方向の外側に配置される。また、図３（ａ）に示すように、撮像装置１１〜１４は前後側の運転室６ａ，６ｂの近傍に配置される。撮像装置１１〜１４の視野を広くとれるように、撮像装置１１〜１４は、パレット本体４ａ及び積載物３と干渉しない範囲でなるべく高い位置に配置される。
【００２３】
撮像装置１１〜１４は、伸縮式及び／又は回転式のアーム７に支持される。アーム７は開閉可能である。ＣＰ車１がパレット４内に進入するとき、パレット４に当たらないようにアーム７が閉じる。ＣＰ車１がパレット４内に進入し終えたら、アーム７が開く、すなわちアーム７が伸び／又は回転する。
（制御装置）
【００２４】
図１に示すように、制御装置１６は、俯瞰画像生成部１７、荷物画像生成部１８、表示制御部１９を備える。俯瞰画像生成部１７は、撮像装置１１〜１４の出力に基づいて車両の周辺を表す俯瞰画像を生成する。荷物画像生成部１８は、荷物情報に基づいて荷物の画像を生成する。表示制御部１９は、ＣＰ車１に荷物を積んだ状態の画像を俯瞰画像に重畳してモニタ１５に表示する。以下にこれらを順番に説明する。
＜俯瞰画像生成部＞
【００２５】
俯瞰画像生成部１７は、俯瞰画像生成のためのキャリブレーションを行う。その手順としては、まず撮像装置１１〜１４の魚眼レンズによる歪みを補正する。次に、歪み補正後の画像を疑似的に真上から撮像した俯瞰画像へ変換する。最後に、各俯瞰画像を繋ぎ合わせる統合処理により全周囲の俯瞰画像とする。
【００２６】
魚眼カメラは、魚眼レンズによる撮像特有の歪みを持つ反面、画角が広いため広い領域を撮像できるカメラである。魚眼画像は、撮像領域が歪められて円形部におさまるような画像となる。俯瞰画像生成部１７は、魚眼画像の一部領域について円形の歪みを取り除き、通常のピンホールカメラで撮像したような画像へ補正を行う。
【００２７】
歪み補正後に、俯瞰画像生成部１７は、各撮像装置１１〜１４が出力する画像を真上の視点から見たような画像に変換する。変換処理には、射影幾何学のホモグラフィ行列を使用する。ホモグラフィ行列は、３次元上の空間のある平面を別の平面へ射影する際に使用される行列である。図４は変換処理の概念図である。ＣＰ車１に設置される各撮像装置１１〜１４が出力する画像は、変換処理によって、ＣＰ車１を上空の仮想カメラ８から眺めたような俯瞰画像に変換される。
【００２８】
ここで、撮像装置１１〜１４はアーム７に取り付けられており、撮像装置１１〜１４の位置は、アーム７の開閉、ＣＰ車１の昇降によって変化する。変換処理をするにあたって、撮像装置１１〜１４の位置に合わせた最適なホモグラフィ行列を選択する。図１に示すように、車両ＥＣＵ２１は、撮像装置の設置位置変数の情報２３、すなわち撮像装置間の左右方向の幅、撮像装置間の前後方向の長さ、撮像装置の高さ、撮像装置の光軸の角度を俯瞰画像生成部１７に出力する。俯瞰画像生成部１７は、これらの設置位置変数の情報２３に基づいて、ホモグラフィ行列を最適化する。
【００２９】
歪み補正後に、俯瞰画像生成部１７は、各俯瞰画像を統合する。すなわち、生成された各俯瞰画像を繋ぎ合わせてＣＰ車１の全周囲の俯瞰画像を生成する。
＜荷物画像生成部＞
【００３０】
荷物画像生成部１８は、上位システム２２が出力する荷物情報２４，２５を受信する。荷物情報２４，２５は、パレット情報２４と積載物情報２５とに分けることができる。パレット情報２４は、パレット４の有無、パレット４のサイズの情報である。積載物情報２５は、積載物３の最大サイズの情報である。
【００３１】
荷物画像生成部１８は、上位システム２２から受信する荷物情報２４，２５に基づいて、荷物画像を生成する。例えば、荷物画像生成部１８は、パレット情報２４に基づいて、パレット４を平面視したときの四角形の枠状のパレット画像３１を生成する（図５（ｂ）参照）。また、荷物画像生成部１８は、積載物情報２５に基づいて、積載物３を平面視したときの長方形の積載物画像３２を生成する（図５（ｃ）参照）。長方形の大きさは積載物３の最大サイズに合わせる。
【００３２】
なお、既存のＣＰ車１には、既存の車両管理システムに接続される端末が搭載される。車両管理システムは、出荷対象の積載物３がどのＣＰ車１に積まれているかを管理するシステムである。上位システム２２として、既存の車両管理システムから荷物情報２４，２５を受信することができるが、車両管理システムとは別のシステムから受信することもできる。また、オペレータがタッチパネル等の入力手段を介して荷物情報２４，２５を入力することもできる。
＜表示制御部＞
【００３３】
表示制御部１９は、俯瞰画像生成部１７が生成した俯瞰画像に、ＣＰ車１に荷物を積んでいない状態の車両単体画像３０を重畳する。図５（ａ）に示すように、この画像が車両単体俯瞰画像４１である。表示制御部１９には、予め車両単体画像３０が記憶されている。又は、表示制御部１９は、上位システム２２から受信する車両情報に基づいて、車両単体画像３０を生成する。この車両単体画像３０には、ＣＰ車１の前輪及び後輪の画像３３ａ，３３ｂ、運転室の画像３４ａ，３４ｂが表示されてもよい。
【００３４】
表示制御部１９は、荷物画像生成部１８が生成したパレット画像３１及び積載物画像３２を取得する。そして、表示制御部１９は、パレット画像３１を図５（ａ）に示す車両単体俯瞰画像４１に重畳する。図５（ｂ）に示すように、この画像が車両・パレット俯瞰画像４２、すなわちＣＰ車１に空のパレット４を積んだ状態の画像を俯瞰画像に重畳した画像である。
【００３５】
また、表示制御部１９は、積載物画像３２を図５（ｂ）に示す車両・パレット俯瞰画像４２に重畳する。図５（ｃ）に示すように、この画像が車両・積載物俯瞰画像４３、すなわちＣＰ車１にパレット４及び積載物３を積んだ状態の画像を俯瞰画像に重畳した画像である。
【００３６】
図５は、モニタ１５に表示されるこれらの３つの合成俯瞰画像を示す。上述のように、図５（ａ）が車両単体俯瞰画像４１、図５（ｂ）が車両・パレット俯瞰画像４２、図５（ｃ）が車両・積載物俯瞰画像４３である。表示制御部１９は、上位システム２２からの情報により、及び／又はオペレータが操作する切替えスイッチ２０（図１参照）により、これらの３つの合成俯瞰画像４１〜４３を切り替える。
【００３７】
なお、図５の補助線３６ｂは、例えば隣接して停車しているＣＰ車１の積載物３（パレット４のみも含む）と自らのＣＰ車１の積載物３との距離を置くように定める線の画像である。補助線３６ｂは、枠状の画像であり、自らのＣＰ車１の積載物３の周囲に例えば５００ｍｍ程度の距離をあけた位置に表示される。
【００３８】
表示制御部１９は、３つの合成俯瞰画像４１〜４３にＣＰ車１の最大幅を表す線をＣＰ車１の前方に延長した補助線３６ａ及びＣＰ車１からの距離を示す補助線３６ｂを重畳する。表示制御部１９は、オペレータが操作する切替えスイッチ２０（図１参照）により、補助線３６ａ及び補助線３６ｂの表示の有無を切り替える。
【００３９】
なお、図５（ａ）に示すように、ＣＰ車１の単体では、ＣＰ車１の幅が最大幅なので、補助線３６ａはＣＰ車１の最大幅を表す線３７を延長した線である。図５（ｂ）に示すように、ＣＰ車１がパレット４を積んだ状態では、パレット４の幅が最大幅なので、補助線３６ａはパレット４の最大幅を表す線３８を延長した線である。図５（ｃ）に示すように、ＣＰ車１にパレット４及び積載物３を積んだ状態では、パレット４の幅が最大幅なので、補助線３６ａはパレット４の最大幅を表す線３８を延長した線である。
【００４０】
また、表示制御部１９は、３つの合成俯瞰画像４１〜４３にＣＰ車１の旋回中心３９を重畳する。表示制御部１９は、車両ＥＣＵ２１が出力する運転モード情報２６（前輪操舵モード情報、前後輪操舵モード情報）を受信する（図１参照）。表示制御部１９は、運転モード情報２６に基づいて、旋回中心３９の位置を調節する。具体的には、前後輪操舵モードのとき、図５中黒丸で示すように、旋回中心３９を前輪３３ａと後輪３３ｂの中央に配置し、前輪駆動モードのとき、図５中破線で示すように、旋回中心３９´の位置を後輪３３ｂ側に配置する。表示制御部１９は、オペレータが操作する切替えスイッチ２０（図１参照）により、旋回中心の表示の有無を切り替える。
【００４１】
制御装置１６は、演算装置としてのＣＰＵ（Central Processing Unit）と記憶装置としてのメモリを組み合わせたコンピュータと、俯瞰画像の生成を行う画像処理デバイスと、を組み合わせたものである。
【００４２】
図６は、ＣＰＵが実行する画像処理のフローチャートを示す。まず、Ｓ１で撮像装置１１〜１４が出力する画像を取得する。Ｓ２では、取得した画像及び車両ＥＣＵ２１から得る撮像装置１１〜１４の設置位置変数に基づいて俯瞰画像を生成する。俯瞰画像の生成方法は上述のとおりである。Ｓ３では、俯瞰画像に車両単体画像３０、パレット画像３１、積載物画像３２を重畳する（図５参照）。パレット画像３１、積載物画像３２は、パレット情報２４、積載物情報２５に基づいて予め作成されている。Ｓ４では、上位システム２２からの情報により、及び／又はオペレータが操作する切替えスイッチ２０により、図５に示す３つの合成俯瞰画像４１〜４３を切り替える。
（本実施形態の周辺監視システムの効果）
【００４３】
俯瞰画像に車両単体画像３０だけでなく荷物の画像３１，３２も重畳するので、ＣＰ車１に積まれた荷物３，４と周辺の障害物との遠近感を把握することができる。また、荷物情報２４，２５に基づいて荷物の画像３１，３２を生成するので、荷物３，４の大きさに合わせた適切な荷物の画像３１，３２を生成することができる。
【００４４】
モニタ１５に車両単体俯瞰画像４１を切り替えて表示するので、例えば道路に穴があるとき、穴が荷物の画像３１，３２によって隠れるのを防止することができる。
【００４５】
モニタ１５に車両・パレット俯瞰画像４２と車両・積載物俯瞰画像４３とを切り替えて表示するので、荷物がパレット４だけの場合、荷物がパレット４と積載物３の場合等の荷物の状態に合わせた俯瞰画像を表示することができる。
【００４６】
モニタ１５にＣＰ車１の最大幅を表す線３７，３８をＣＰ車１の前方及び／又は後方に延長した補助線３６ａを表示するので、例えば駐車場の白線の枠内にＣＰ車１を正確に駐車することができたり、ＣＰ車１をパレット４と平行を保ったままパレット４内に進入させることができる。
【００４７】
また、ＣＰ車１からの距離を示す補助線３６ｂを表示させることで、例えば白線のない駐車場であっても隣接するＣＰ車１やパレット４から一定間隔で容易に駐車できる。
【００４８】
モニタ１５にＣＰ車１の旋回中心３９を表示し、運転モードに合わせて旋回中心３９，３９´の位置を調節するので、オペレータが運転モードに合わせた旋回中心３９，３９´の位置を把握することができる。
【００４９】
なお、本発明は上記実施形態に具現化されるのに限られることはなく、本発明の要旨を変更しない範囲で他の実施形態に具現化できる。
【００５０】
上記実施形態では、オペレータがＣＰ車の運転室に乗り込んでＣＰ車を運転しているが、ＣＰ車を遠隔操作することもできる。この場合、モニタは、ＣＰ車から遠く離れた遠隔操作室に配置されることになり、オペレータは、モニタを眺めながらＣＰ車を遠隔操作することになる。
【００５１】
上記実施形態では、荷物を輸送する車両がＣＰ車であるが、ＣＰ車に限られることはなく、車両はダンプトラック等でもよい。
【００５２】
上記実施形態では、荷物がパレットに積まれているが、荷物を直接車両に積み込むこともできる。
【符号の説明】
【００５３】
１…ＣＰ車（車両）
３…積載物（荷物）
４…パレット（荷物）
１０…周辺監視システム
１１〜１４…撮像装置
１５…モニタ（表示装置）
１６…制御装置
１７…俯瞰画像生成部
１８…荷物画像生成部
１９…表示制御部
２０…スイッチ
２１…車両ＥＣＵ
２２…上位システム
２４…パレット情報（荷物情報）
２５…積載物情報（荷物情報）
２６…運転モード情報
３０…車両単体画像
３１…パレット画像（荷物画像）
３２…積載物画像（荷物画像）
３６ａ，３６ｂ…補助線の画像
３９…旋回中心の画像
４１…車両単体俯瞰画像
４２…車両・パレット俯瞰画像
４３…車両・積載物俯瞰画像
【図１】
2019075642.tif 000003
【図２】
2019075642.tif 000004
【図３】
2019075642.tif 000005
【図４】
2019075642.tif 000006
【図５】
2019075642.tif 000007
【図６】
2019075642.tif 000008