(57)【要約】【課題】移動体の周辺状況を示す鳥瞰画像の提示態様に対する運転者の要求に応えて、移動体の運転の安全性を高める。【解決手段】油圧ショベル（１０１）の周辺を撮影するフロントカメラ（２３）、バックカメラ（２５）、左サイドカメラ（２７）および右サイドカメラ（２９）から取得される周辺画像（Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒ）に基づき、油圧ショベルの周辺を鳥瞰的に表す鳥瞰画像（５００）として、周辺画像の広角歪みを相対的に大きな補正量で補正した第１の鳥瞰画像（５００Ａ）と、周辺画像の広角歪みを相対的に小さな補正量で補正した第２の鳥瞰画像（５００Ｂ）とを作成し、モニタ（１５）に表示させる鳥瞰画像を、操作部（３９）による切り換え操作によって第１の鳥瞰画像と第２の鳥瞰画像とで切り換える。【選択図】図１
2019186597.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺を撮影する複数の広角カメラと、
前記移動体の運転者から見える位置に設けられた表示装置と、
前記複数の広角カメラにより撮影された前記移動体の周辺における所定の範囲の周辺画像を処理して表示装置に表示させる制御装置と、を備える移動体の周辺確認システムであって、
前記制御装置は、前記各広角カメラによって取得された前記周辺画像に基づき、前記移動体の位置を中心とし且つ当該移動体の周辺を鳥瞰的に表す鳥瞰画像として、前記周辺画像の広角歪みを相対的に大きな補正量で補正した第１の鳥瞰画像と、前記周辺画像の広角歪みを相対的に小さな補正量で補正した第２の鳥瞰画像とを作成し、前記表示装置に表示させる鳥瞰画像を、所定の条件によって前記第１の鳥瞰画像と前記第２の鳥瞰画像とで切り換える
ことを特徴とする移動体の周辺確認システム。
【請求項２】
請求項１に記載された移動体の周辺確認システムにおいて、
前記表示装置に表示させる鳥瞰画像を切り換えるための操作部を備え、
前記所定の条件は、前記操作部による切り換え操作である
ことを特徴とする移動体の周辺確認システム。
【請求項３】
請求項１に記載された移動体の周辺確認システムにおいて、
前記移動体と目的地との距離を測定する測距手段を備え、
前記所定の条件は、前記測距手段によって測定された距離が所定の距離よりも大きいか否かであり、
前記制御装置は、前記測距手段によって計測された距離が前記所定の距離よりも大きい場合には、前記第２の鳥瞰画像を前記表示装置に表示させ、前記測距手段によって計測された距離が前記所定の距離以下である場合には、前記第１の鳥瞰画像を前記表示装置に表示させる
ことを特徴とする移動体の周辺確認システム。
【請求項４】
請求項１〜３のいずれか１項に記載された移動体の周辺確認システムにおいて、
前記各広角カメラの傾きを検出する傾きセンサを備え、
前記傾きセンサによって検出された前記各広角カメラの傾きに基づき、前記各広角カメラにより取得された前記周辺画像の傾きおよび切り出し位置を補正して、前記第１の鳥瞰画像および前記第２の鳥瞰画像をそれぞれ作成する
ことを特徴とする移動体の周辺確認システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、運転者の操作により移動可能な移動体の運転支援に用いられる周辺確認システムに関する。
【背景技術】
【０００２】
従来から、自動車の駐車時などにおける運転を支援するために、車体の周囲に設けられた複数のカメラによって撮影される周辺画像を組み合わせることにより、自動車の上方から見たような疑似の鳥瞰画像を生成して、車載の表示装置に表示させることが知られている。このような鳥瞰画像の表示を行う運転支援装置（車両周辺確認装置）は、例えば特許文献１に開示されている。
【０００３】
また、鳥瞰画像の表示を行う運転支援装置を、油圧ショベルなどの作業機械に適用することが提案されている。当該運転支援装置を作業機械に適用した例は、特許文献２に開示されている。特許文献２に開示された運転支援装置（作業機械の周囲監視装置）では、最大範囲の鳥瞰画像（仮想視点画像）と、その最大範囲の鳥瞰画像から例えば油圧ショベルの作業半径に対応する特定の範囲を切り出した相対的に狭い範囲での鳥瞰画像との表示を切換え可能になっている。
【０００４】
さらに、船舶においても、操船を支援するために、船体の周囲に設けられた複数のカメラによって撮影される周辺画像を組み合わせることにより、鳥瞰画像を生成して船内に設置された表示装置に表示させることが提案されている。このような鳥瞰画像の表示を行う操船支援装置は、例えば特許文献３に開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０２６７０２号公報
【特許文献２】特開２０１６−１６９５９５号公報
【特許文献３】特開２０１０−０９３６０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、自動車や作業機械、船舶などの移動体においては、運転時の状況に応じて、移動体から比較的離れた遠方の位置まで確認したい場合と、移動体から比較的近い近辺の位置をできるだけ正確に確認したい場合とがある。
【０００７】
例えば、作業機械においては、移動時には、機体から離れた位置の車両や構造物を見越して走行するために遠方の位置まで確認したいという要求がある一方、作業時には、周囲にある車両や構造物を把握しながら作業するために近辺の位置を正確に確認したいという要求がある。このことに関して、特許文献２に開示の運転支援装置では、作業時には、前述のように油圧ショベルの作業範囲について視認できる狭い範囲の鳥瞰画像を確認できるものの、移動時には、あまり遠方の位置まで確認することができない。
【０００８】
すなわち、鳥瞰画像を作成する周辺画像の撮影には画角が広い広角カメラが用いられるが、広角カメラで撮影された周辺画像には立体の像を平面画で表現することによる広角歪みがあるため、特許文献２に開示の運転支援装置においては、最大範囲の鳥瞰画像でも、平面で違和感なく確認できる範囲までしか表示されておらず、周辺画像における中心から遠くの、特に全方位の周囲に見える像については全く表示されず、遠方の位置まで視認できない。
【０００９】
また、船舶においては、自動車などの陸上の移動体に比べて急に停止することができないから、接岸時の操船作業で、初期には、船舶から比較的離れた遠方の位置まで確認したいという要求がある一方、後期には、桟橋などの岸壁との距離を把握するのに船舶から比較的近い近辺の位置を正確に確認したいという要求がある。
【００１０】
本開示の技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、移動体の周辺状況を示す鳥瞰画像の提示態様に対する運転者の要求に応えて、移動体からより遠くの位置を確認することができるようにし、移動体の運転の安全性を高めることにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本開示の技術では、表示装置に表示する鳥瞰画像を、当該画像上で状況を確認し易い位置が移動体からの距離によって異なる複数種類の鳥瞰画像で切り換えられるようにした。
【００１２】
具体的には、本開示の技術は、移動体の周辺を撮影する複数の広角カメラと、移動体の運転者から見える位置に設けられた表示装置と、複数の広角カメラにより撮影された移動体の周辺における所定の範囲の周辺画像を処理して表示装置に表示させる制御装置とを備える移動体の周辺確認システムを対象とする。ここでいう「広角カメラ」とは、標準レンズよりも画角の広い広角レンズ（魚眼レンズを含む概念）を備えたカメラを意味する。
【００１３】
制御装置は、各広角カメラによって取得された周辺画像に基づき、移動体の位置を中心とし且つ移動体の周辺を鳥瞰的に表す鳥瞰画像として、周辺画像の広角歪みを相対的に大きな補正量で補正した第１の鳥瞰画像と、周辺画像の広角歪みを相対的に小さな補正量で補正した第２の鳥瞰画像とを作成する。そして、制御装置は、表示装置に表示させる鳥瞰画像を、所定の条件によって第１の鳥瞰画像と第２の鳥瞰画像とで切り換える。
【００１４】
この構成では、表示装置に表示する鳥瞰画像を第１の鳥瞰画像と第２の鳥瞰画像とで切り換えられるようにした。これら第１の鳥瞰画像および第２の鳥瞰画像は、複数の広角カメラにより撮影された周辺画像に基づき、広角歪みを補正して作成される。ここで、広角歪みとは、立体の像を平面に射影する際に広角側で画像が被写体と相似にならず縮んだり伸びたりするように湾曲を伴って変形した歪みのことである。この広角歪みは、魚眼レンズ以外の広角レンズでは歪曲収差として知られるレンズの収差の１つであって、画像中心からの距離に応じて歪みの程度が大きくなり、特に画像周辺で歪みが顕著になる。
【００１５】
第１の鳥瞰画像は、そうした広角歪みの補正量が相対的に大きいので、歪みによる湾曲の度合が低減されて第２の鳥瞰画像よりも平面化される。このような第１の鳥瞰画像においては、広角歪みが比較的大きい画像周辺側の部分では、広角歪みの補正により画像が被写界に対して伸ばされすぎたり縮められすぎたりする過度な変形が施されて、被写界の識別が付き難い状態となり易く、移動体からの距離が相対的に遠方の位置を確認し難い一方、広角歪みが比較的小さい画像中心側の部分では、画像を被写界と相似に近づけることができ、移動体からの距離が相対的に近辺の位置を確認し易い。
【００１６】
一方、第２の鳥瞰画像は、広角歪みの補正量が相対的に小さいので、歪みによる湾曲の度合が低減されるものの第１の鳥瞰画像に比べると残っており、その分だけ第１の鳥瞰画像よりも移動体から離れた位置（例えば全方位の周囲の位置）まで広い範囲を写した曲面画像とされている。このような第２の鳥瞰画像においては、広角歪みが比較的小さい画像中心側の部分では、第１の鳥瞰画像と同程度にまでは画像が被写界と相似に近づいておらず、移動体からの距離が相対的に近辺の位置を確認し難い一方で、広角歪みが比較的大きな画像周辺側の部分では、広角歪みの補正による過度な変形が施されず、被写界の識別が付く程度に程よく広角歪みを補正できるので、移動体からの距離が相対的に遠方の位置を確認し易い。
【００１７】
これら第１の鳥瞰画像および第２の鳥瞰画像は、所定の条件によって切り換えて表示装置に表示されるので、移動体の運転時の状況に応じて、移動体の周辺状況に関する鳥瞰画像の提示態様を変えることができる。それによって、移動体からより遠くの位置を確認することができ、移動体の運転の安全性を高めることができる。
【００１８】
移動体の周辺確認システムは、表示装置に表示させる鳥瞰画像を切り換えるための操作部を備えていてもよい。そして、第１の鳥瞰画像と第２の鳥瞰画像との表示を切り換える所定の条件は、当該操作部による切り換え操作であってもよい。
【００１９】
この構成によると、操作部の切り換え操作によって表示装置に表示する鳥瞰画像を第１の鳥瞰画像と第２の鳥瞰画像とで切り換えられるようにしたので、移動体の運転時において、運転者が移動体から遠方の位置を確認したいか、または移動体から近辺の位置を確認したいかに応じて、自身に合ったタイミングで鳥瞰画像を切り換えることができる。それによって、移動体の運転支援に好適に寄与することができる。
【００２０】
また、移動体の周辺確認システムは、移動体と目的地との距離を測定する測距手段を備えていてもよい。そして、第１の鳥瞰画像と第２の鳥瞰画像との表示を切り換える所定の条件は、測距手段によって測定された距離が所定の距離よりも大きいか否かであってもよい。この場合、制御装置は、測距手段によって計測された距離が所定の距離よりも大きい場合には、第２の鳥瞰画像を表示装置に表示させ、測距手段によって計測された距離が所定の距離以下である場合には、第１の鳥瞰画像を表示装置に表示させるようになっていてもよい。
【００２１】
この構成によると、測距手段によって測定された距離に応じて、表示装置に表示される鳥瞰画像が第１の鳥瞰画像と第２の鳥瞰画像とで自動的に切り換えられるようにしたので、移動体の運転時において、運転者が手動で鳥瞰画像を切り換えなくても、運転者の要求に応えるように第１の鳥瞰画像または第２の鳥瞰画像を表示装置に表示させることができる。それによって、移動体の運転支援に好適に寄与することができる。
【００２２】
また、移動体の周辺確認システムは、各広角カメラの傾きを検出する傾きセンサを備えていてもよい。この場合、傾きセンサによって検出された各広角カメラの傾きに基づき、各広角カメラにより取得された周辺画像の傾きおよび切り出し位置を補正して、第１の鳥瞰画像および第２の鳥瞰画像をそれぞれ作成することが好ましい。
【００２３】
移動体に設置した広角カメラは、移動体の揺動に起因して傾く。これに対し、上記の構成によると、傾きセンサによって検出された各広角カメラの傾きに基づいて各広角カメラにより取得された周辺画像の傾きおよび切り出し位置を補正するようにしたので、そうした移動体の揺動による広角カメラの傾き具合に合わせて周辺画像が補正され、移動体の揺動の影響を低減して正確な第１の鳥瞰画像および第２の鳥瞰画像を作成することができる。
【発明の効果】
【００２４】
本開示の技術に係る移動体の周辺確認システムによれば、移動体の周辺状況を示す鳥瞰画像の提示態様に対する運転者の要求に応えて、移動体からより遠くの位置を確認することができ、移動体の運転の安全性を高めることができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、第１の実施形態に係る移動体の周辺確認システムが搭載された油圧ショベルの平面図である。
【図２】図２は、第１の実施形態に係る移動体の周辺確認システムが搭載された油圧ショベルの側面図である。
【図３】図３は、第１の実施形態に係る移動体の周辺確認システムの構成を示すブロック図である。
【図４】図４は、半天球カメラによって取り込まれる画像の概念図である。
【図５】図５は、第１の実施形態に係る移動体の周辺確認システムにおいて第１の鳥瞰画像を作成する際の広角歪みの補正についての概念図である。
【図６】図６は、第１の実施形態に係る移動体の周辺確認システムにおいて第２の鳥瞰画像を作成する際の広角歪みの補正についての概念図である。
【図７】図７は、第１の実施形態に係る移動体の周辺確認システムが搭載された油圧ショベルとその周囲の様子を示す平面図である。
【図８】図８は、第１の実施形態に係る移動体の周辺確認システムにおいて図７に示すような状況でモニタに表示される第１の鳥瞰画像を示す図である。
【図９】図９は、第１の実施形態に係る移動体の周辺確認システムにおいて図７に示すような状況でモニタに表示される第２の鳥瞰画像を示す図である。
【図１０】図１０は、第２の実施形態に係る移動体の周辺確認システムが搭載された船舶の平面図である。
【図１１】図１１は、第２の実施形態に係る移動体の周辺確認システムが搭載された船舶の側面図である。
【図１２】図１２は、第２の実施形態に係る移動体の周辺確認システムの構成を示すブロック図である。
【図１３】図１３は、第２の実施形態に係る移動体の周辺確認システムが搭載された船舶とその周囲の様子を示す平面図である。
【図１４】図１４は、第２の実施形態に係る移動体の周辺確認システムにおいてモニタに表示される第２の鳥瞰画像を示す図である。
【図１５】図１５は、第２の実施形態に係る移動体の周辺確認システムにおいてモニタに表示される第１の鳥瞰画像を示す図である。
【発明を実施するための形態】
【００２６】
以下、例示的な実施形態を図面に基づいて詳細に説明する。
【００２７】
《第１の実施形態》
この第１の実施形態では、本開示の技術に係る移動体の周辺確認システムについて、油圧ショベルに適用した場合を例に挙げて説明する。第１の実施形態に係る移動体の周辺確認システムは、例えば油圧ショベルの作業時または走行時において、当該油圧ショベルの周辺の状況を映像によって確認するためのシステムである。
【００２８】
この移動体の周辺確認システム１１の構成について、図１〜図３を参照しながら説明する。図１は、移動体の周辺確認システム１１が搭載された油圧ショベル１０１の平面図である。図２は、移動体の周辺確認システム１１が搭載された油圧ショベル１０１の側面図である。また、図３は、移動体の周辺確認システム１１の構成を示すブロック図である。なお、図１では、油圧ショベル１０１の運転室１０９内を透過して図示している。
【００２９】
油圧ショベル１は、図１および図２に示すように、一対のクローラ１０３を有する下部走行体１０５と、下部走行体１０５上に旋回可能に設けられた上部旋回体１０７とを備えている。上部旋回体１０７の前部において、左側には運転者が乗り込む運転室１０９が設けられており、運転室１０９の右側にはアタッチメントと呼ばれる作業装置１１１とが設けられている。
【００３０】
移動体の周辺確認システム１１は、図１〜図３に示すように、油圧ショベル１０１の周辺を撮影する撮像装置１３と、油圧ショベル１の運転室１０９に設置された表示装置としてのモニタ１５と、油圧ショベル１０１の姿勢を検出するための各種センサ１７，１９と、当該システム１１を総合的に制御する制御装置２１とを備え、油圧ショベル１０１の位置を中心として油圧ショベル１の周辺を鳥瞰的に示す鳥瞰画像５００を作成し、その鳥瞰画像５００をライブ映像としてモニタ１５に表示するようになっている。
【００３１】
撮像装置１３は、運転室１０９の前側下部に光軸を前方へ水平に向ける姿勢で設置されたフロントカメラ２３と、上部旋回体１０７の後部の左右方向における中央に光軸を後方へ水平に向ける姿勢で設置されたバックカメラ２５と、上部旋回体１０７の左部の前後方向における中央に光軸を左方へ水平に向ける姿勢で設置された左サイドカメラ２７と、上部旋回体１０７の右部の前後方向における中央に右方へ光軸を水平に向ける姿勢で設置された右サイドカメラ２９とを備えている。これらフロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９は、上部旋回体１０７において略同じ高さの位置に配置されている。
【００３２】
フロントカメラ２３は、油圧ショベル１０１の前方における所定範囲Ｒｆの風景を動画で撮影して、周辺画像としての前方画像Ｐｆをフレーム毎に取り込む。バックカメラ２５は、油圧ショベル１０１の後方における所定範囲Ｒｂの風景を動画で撮影して、周辺画像としての後方画像Ｐｂをフレーム毎に取り込む。左サイドカメラ２７は、油圧ショベル１０１の左方における所定範囲Ｒｌの風景を動画で撮影して、周辺画像としての左方画像Ｐｌをフレーム毎に取り込む。右サイドカメラ２９は、油圧ショベル１０１の右方における所定範囲Ｒｒの風景を動画で撮影して、周辺画像としての左方画像Ｐｒをフレーム毎に取り込む。
【００３３】
フロントカメラ２３の撮影範囲Ｒｆと左サイドカメラ２７の撮影範囲Ｒｌとは重複する共通範囲ＲＣｆｌ（図１で左上の斜線範囲）を有している。フロントカメラ２３の撮影範囲Ｒｆと右サイドカメラ２９の撮影範囲Ｒｒとは重複する共通範囲ＲＣｆｒ（図１で右上の斜線範囲）を有している。また、バックカメラ２５の撮影範囲Ｒｂと左サイドカメラ２７の撮影範囲Ｒｌとは重複する共通範囲ＲＣｂｌ（図１で左下の斜線範囲）を有している。バックカメラ２５の撮影範囲Ｒｂと右サイドカメラ２９の撮影範囲Ｒｒとは重複する共通範囲ＲＣｂｒ（図１で左下の斜線範囲）を有している。
【００３４】
フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９は、それぞれ防水（或いは防滴）および防塵の仕様とされている。これらフロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９は、標準レンズよりも画角の広い広角レンズ３１と、広角レンズ３１越しに入ってくる光の量を調整する絞りユニット３３と、絞りユニット３３を経て入ってきた光を受光するイメージセンサ３５と、ドライバ３７とをそれぞれ備えている。
【００３５】
広角レンズ３１には、例えば１８０以上の画角を有するレンズが用いられる。具体的に、この第１の実施形態でのフロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９は、広角レンズ３１として半球状のレンズを有する広域撮影カメラ、いわゆる半天球カメラである。そうした半天球カメラによって取り込まれる画像１０００の概念図を図４に示す。
【００３６】
フロントカメラ２３によって取り込まれる前方画像Ｐｆ、バックカメラ２５によって取り込まれる後方画像Ｐｂ、左サイドカメラ２７によって取り込まれる左方画像Ｐｌ、および右サイドカメラ２９によって取り込まれる右方画像Ｐｒは、図４に示すように、広角レンズ３１の光軸Ａを中心とした周囲３６０度を見渡したような円形状の画像１０００である。この円形状の画像１０００は、広角レンズ３１の外面をなす半球面に投影された立体の光学像を光軸Ａに沿って平面像に射影変換した像に相当する。
【００３７】
このような円形状の画像１０００である前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、広角歪みを含む。この第１の実施形態でいう広角歪みとは、立体の光学像を平面に射影する際に広角側で画像が被写界と相似にならず縮むように湾曲を伴って変形した歪みのことである。この広角歪みは、魚眼レンズ以外の広角レンズ３１では樽型の歪曲収差として知られるレンズの収差の１つであって、画像中心からの距離に応じて歪みの程度が大きくなり、特に画像周辺で歪みが顕著になる。
【００３８】
イメージセンサ３５は、受光した光学像を光電変換することにより、上記のような円形状の画像１０００に対応する画像データを生成する。ドライバ３７は、絞りユニット３３およびイメージセンサ３５にそれぞれ接続されており、絞り量や露光時間などを自動で設定する。このドライバ３７は、後述する制御装置２１のＣＰＵ４９によって制御される。
【００３９】
モニタ１５は、運転室１０９内において操縦席１１３よりも前側で、油圧ショベル１０１の運転中（操縦中）に運転者から見える位置に設けられている。このモニタ１５には、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９によって取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成された鳥瞰画像５００（図８および図９参照）が表示される。
【００４０】
鳥瞰画像５００は、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒの４つの部分鳥瞰画像５００ｐが共通範囲ＲＣｆｌ，ＲＣｆｒ，ＲＣｂｌ，ＲＣｂｒでシームレスに繋ぎ合わされて一体化された疑似画像である。この鳥瞰画像５００では、油圧ショベル１０１の上面を模したグラフィック画像１０１ｇが中心位置に示される。グラフィック画像１０１ｇは、例えば、イラストでもよいし、写真であってもよい。
【００４１】
この鳥瞰画像５００としては、油圧ショベル１０１からの距離が相対的に近辺の位置を確認し易い第１の鳥瞰画像５００Ａ（図８参照）と、油圧ショベル１０１からの距離が相対的に遠方の位置を確認し易い第２の鳥瞰画像５００Ｂ（図９参照）とがある。モニタ１５に表示される鳥瞰画像５００は、制御装置２１による表示制御に応じて第１の鳥瞰画像５００Ａと第２の鳥瞰画像５００Ｂとで切り換えられる。
【００４２】
モニタ１５は、タッチパネル機能を有する液晶表示パネルなどによって構成されており、表示される鳥瞰画像５００を切り換えたり、鳥瞰画像５００に代えて個別の周辺画像（前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌ、右方画像Ｐｒ）を表示したりするなどの表示設定を行うための操作部３９を兼ねている。すなわち、モニタ１５には、表示設定に用いるメニュー画面も表示されるようになっており、運転者は、メニュー画面に従い操作部３９（タッチパネル）を操作することによって、表示設定の変更を行える。
【００４３】
各種センサ１７，１９としては、ジャイロセンサ１７および加速度センサ１９が設けられている。これらジャイロセンサ１７および加速度センサ１９は、例えばバックカメラ２５に内蔵されている。ジャイロセンサ１７は、油圧ショベル１０１が傾いたときに、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９がどれだけの速さで回転しているのかを検出する。他方、加速度センサ１９は、油圧ショベル１０１が傾いたときに、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９がどのような向きに回転しているのかを検出する。
【００４４】
油圧ショベル１０１においては、傾斜の付いた場所や地面が整備されていない環境での作業を行うとき、また平坦でない場所を走行するときなどに、姿勢が傾くことがある。油圧ショベル１０１が傾くと、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９の姿勢も合わせて変化する。ジャイロセンサ１７および加速度センサ１９は、そのような油圧ショベル１０１の姿勢によって変化する各カメラ２３，２５，２７，２９の傾きを検出する傾きセンサ４１を構成している。
【００４５】
制御装置２１は、周知のマイクロコンピュータをベースとするコントローラである。この制御装置２１は、例えば、運転室１０９の後部に設置されており、油圧ショベル１０１のバッテリから電源供給を受けて、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７、右サイドカメラ２９、モニタ１５および各種センサ１７，１９に対して電力を分配供給すると共に、それら各カメラ２３，２５，２７，２９、モニタ１５および各種センサ１７，１９とデータをやり取りするようになっている。
【００４６】
具体的には、制御装置２１は、図３に示すように、画像データに所定の処理を施す信号処理部４３と、プログラムやデータを一時的に記憶する主メモリ４５と、主メモリ４５に対するプログラムおよびデータの書き込みや読み出しを制御するメモリ制御部４７と、主メモリに読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）４９と、各種プログラムおよびデータを記憶する補助メモリ５１と、モニタ１５を動作させるモニタ用ドライバ５３とを備えている。
【００４７】
信号処理回路４３およびＣＰＵ４９は、典型的にはＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integration Circuit）などによって実現される。主メモリ４５は、典型的にはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）などの揮発性メモリによって実現される。補助メモリ５１は、典型的にはフラッシュメモリなどの不揮発性メモリによって実現される。
【００４８】
信号処理回路４３は、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９に含まれる個々のイメージセンサ３５から共通のタイミング信号に同期して出力された周辺画像（前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒ）についての各フレームの画像データを次々と取得する。この信号処理回路４３は、それら画像データに前処理を施す前処理回路５５と、前処理後の画像データに後処理を施す後処理回路５７とを有している。
【００４９】
前処理回路５５は、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに対応する画像データに対し、前処理として、デジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理を施す。これらの前処理が施された画像データは、メモリ制御回路４７を介して主メモリ４５に書き込まれる。
【００５０】
後処理回路５７は、前処理が施された画像データをメモリ制御回路４７を介して主メモリ４５から読み出し、読み出された画像データに対し、後処理として、色分離処理、ホワイトバランス調整処理およびＹＵＶ変換処理などの調整処理を施す。これらの後処理が施された画像データは、メモリ制御回路４７を介して主メモリ４５に書き込まれる。
【００５１】
さらに、信号処理回路５７は、当該画像データに対し広角歪みの補正処理を行い、当該画像データを部分的に切り出す、つまり個々の周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒから一部を切り出す切り出し処理を行うことにより、部分鳥瞰画像５００ｐ（前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒ）についての部分鳥瞰画像データを作成する。
【００５２】
広角歪みの補正処理では、第１の鳥瞰画像５００Ａを作成する場合と、第２の鳥瞰画像５００Ｂを作成する場合とで、補正量が異なっている。このことについて、以下に、図５および図６を参照しながら説明する。
【００５３】
図５は、第１の鳥瞰画像５００Ａを作成する際の広角歪みの補正についての概念図である。また、図６は、第２の鳥瞰画像５００Ｂを作成する際の広角歪みの補正についての概念図である。なお、これら図５および図６中において、射影変換に係るベクトル６０１，６１１は被写界の実座標系の一軸方向（紙面左右方向）に等間隔で示し、補正面６０３，６０９の領域Ｄはモニタ１５に表示される領域を示している。
【００５４】
第１の鳥瞰画像５００Ａを作成する場合、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての各画像データに対する広角歪みの補正処理では、図５に示すように、当該画像データが示す周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの撮像面６０５での座標を平面状の第１の補正面６０３の座標に射影変換する。当該射影変換は、広角レンズ３１の焦点距離、当該周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの撮像面６０５での座標、および広角レンズ３１の中心Ｃと当該周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの第１の補正面６０３での座標とを結んだベクトル６０１とがなす角度θ１に基づいて行われる。
【００５５】
第１の鳥瞰画像５００Ａを作成する場合の広角歪みの補正量は、第２の鳥瞰画像５００Ｂを作成する場合の広角歪みの補正量よりも大きく設定されている。こうした広角歪みの補正処理により、個々の画像データが示す前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、特に中央側で広角歪みによる湾曲の度合が低減されて平面化される。そのことで、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、画像周辺側に向かうに連れて大きく引き伸ばされるように変形されるため、撮像面６０５に投射された光学像のうちモニタ１５に表示される領域６０７（図５に太線で示す領域）は比較的狭い範囲に限られる。
【００５６】
このような広角歪みの補正処理を施した前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成される第１の鳥瞰画像５００Ａにおいては、広角歪みが比較的大きい画像周辺側の部分で、被写界の識別が付き難い状態となり易く、油圧ショベル１０１からの距離が相対的に遠方の位置を確認し難い。その一方で、当該第１の鳥瞰画像５００Ａにおいては、広角歪みが比較的小さい画像中心側の部分で、画像を被写界と相似に近づけることができるので、油圧ショベル１０１からの距離が相対的に近辺の位置を確認し易い。
【００５７】
他方、第２の鳥瞰画像５００Ｂを作成する場合、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての各画像データに対する広角歪みの補正処理では、図６に示すように、当該画像が示す周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの撮像面６０５での座標を撮像面６０５よりは緩やかに湾曲した曲面状の第２の補正面６０９の座標に射影変換する。当該射影変換は、第１の鳥瞰画像５００Ａを作成する場合と同様に、広角レンズ３１の焦点距離、当該周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの撮像面６０９での座標、および広角レンズ３１の中心Ｃと当該周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒの第２の補正面６０９での座標とを結んだベクトル６１１とがなす角度θ２に基づいて行われる。
【００５８】
第２の鳥瞰画像５００Ｂを作成する場合の広角歪みの補正量は、第１の鳥瞰画像５００Ｂを作成する場合の広角歪みの補正量よりも大きく設定されている。こうした広角歪みの補正処理により、個々の画像データが示す前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、広角歪みによる湾曲の度合が低減されるものの第１の鳥瞰画像５００Ａを作成する場合に比べると残っており、その分だけ第１の鳥瞰画像５００Ａを作成する場合よりも油圧ショベル１０１から離れた遠方の位置まで広い範囲を写した曲面画像とされる。そのことで、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒは、第１の鳥瞰画像５００Ａを作成する場合に比べて画像周辺側においても引き伸ばされる程度が小さいので、撮像面のうちモニタ１５に表示される領域６１３（図６に太線で示す領域）は比較的広い範囲となる。
【００５９】
このような広角歪みの補正処理を施した前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成される第２の鳥瞰画像５００Ｂにおいては、広角歪みが比較的小さい画像中心側の部分で、第１の鳥瞰画像５００Ａと同程度にまでは画像が被写界と相似に近づいておらず、油圧ショベル１０１からの距離が相対的に近辺の位置を確認し難い。その一方で、当該第２の鳥瞰画像５００Ｂにおいては、広角歪みが比較的大きな画像周辺側の部分で、広角歪みの補正による過度な変形が施されず、被写界の識別が付く程度に程よく広角歪みが補正されるので、油圧ショベル１０１からの距離が相対的に遠方の位置を確認し易い。
【００６０】
また、信号処理回路５７は、画像データの切り出し処理を行う際に、傾きセンサ４１によって検出されるフロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９の傾きに基づき、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データの傾きと、部分鳥瞰画像５００ｐ（前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒ）の切り出し位置とを補正する。こうした補正は、電子ジンバルと呼ばれ、カメラの姿勢の動的な変化に起因した撮影画像の回転方向への変位をキャンセルする技術である。
【００６１】
第１および第２の鳥瞰画像５００Ａ，５００Ｂの作成においては、電子ジンバルを効かせているので、油圧ショベル１０１が傾いても、油圧ショベル１０１の姿勢に倣ったフロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９の傾き度合に合わせて、部分鳥瞰画像５００ｐの傾きが補正される。それによって、傾きが低減された、理想的には傾きのない部分鳥瞰画像５００ｐ（前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒ）についての部分鳥瞰画像データが作成される。
【００６２】
上記のようにして作成された部分鳥瞰画像データは、メモリ制御回路４７によって主メモリ４５に書き込まれる。
【００６３】
そして、信号処理回路５７は、主メモリ４５に書き込まれた前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒに対応する４枚分の部分鳥瞰画像データをフレーム毎にメモリ制御回路４７によって読み出し、読み出された部分鳥瞰画像データを組み合わせると共に、油圧ショベル１０１のグラフィック画像１０１ｇの画像データを画像中心に位置するように合成することにより、第１および第２の鳥瞰画像５００Ａ，５００Ｂについての鳥瞰画像データを作成する。そうして作成された鳥瞰画像データは、メモリ制御回路４７によって主メモリ４５に書き込まれる。
【００６４】
主メモリ４５に書き込まれた各フレームの鳥瞰画像データは、ＣＰＵ４９からの指令を受けてメモリ制御回路４７により読み出され、モニタ用ドライバ５３に受け渡される。このとき、ＣＰＵ４９は、操作部３９により表示画像として第１の鳥瞰画像５００Ａが設定されている場合、第１の鳥瞰画像５００Ａについての鳥瞰画像データをモニタ用ドライバ５３に受け渡すようにメモリ制御回路４７に指令を出す。また、ＣＰＵ４９は、操作部３９により表示画像として第２の鳥瞰画像５００Ｂが設定されている場合、第２の鳥瞰画像５００Ｂについての鳥瞰画像データをモニタ用ドライバ５３に受け渡すようにメモリ制御回路４７に指令を出す。
【００６５】
モニタ用ドライバ５３は、主メモリ４５から読み出された鳥瞰画像データに基づいてモニタ１５を駆動する。これにより、モニタ１５には、その鳥瞰画像データに基づく鳥瞰画像５００、つまり操作部３９により表示画像として選択された第１の鳥瞰画像５００Ａまたは第２の鳥瞰画像５００Ｂがリアルタイム画像（ライブビュー）として表示される。
【００６６】
以上の如く、移動体の周辺確認システム１１では、操作部３９による表示設定によってモニタ１５に表示させる鳥瞰画像５００を、第１の鳥瞰画像５００Ａと第２の鳥瞰画像５００Ｂとで切り換えられるようになっている。
【００６７】
以下に、モニタ１５に表示される第１の鳥瞰画像５００Ａおよび第２の鳥瞰画像５００Ｂについて、油圧ショベル１０１の建設現場での特定の状況を例に挙げて、図７〜図９を参照しながら説明する。図７は、油圧ショベル１０１とその周囲の様子を示す平面図である。図８は、図７に示すような状況でモニタ１５に表示される第１の鳥瞰画像５００Ａを示す図である。また、図９は、図７に示すような状況でモニタ１５に表示される第２の鳥瞰画像５００Ｂを示す図である。
【００６８】
図７に示す状況では、油圧ショベル１０１の右側における比較的近い近辺の位置にはダンプカー７００が停車しており、油圧ショベル１０１の前方斜め左側における比較的離れた遠方の位置には小型トラック８００が停車している。
【００６９】
油圧ショベル１０１で作業を行っているときには、上部旋回体１０７を旋回させることがあるため、油圧ショベル１０１の周辺にある車両や構造物を把握すべく、油圧ショベル１０１からの距離が比較的近い近辺の位置を正確に把握することが望まれる。このときには、運転者が操作部３９により表示画像として第１の鳥瞰画像５００Ａを設定すると、図８に示すような第１の鳥瞰画像５００Ａがモニタ１５に表示される。
【００７０】
第１の鳥瞰画像５００Ａでは、油圧ショベル１０１からの距離が相対的に近辺の位置を確認し易いから、ダンプカー７００の画像７００ｇを確認することにより、油圧ショベル１０１とその右側近辺に停車しているダンプカー７００との距離を把握することができ、図例のような位置関係である場合、油圧ショベル１０１の上部旋回体１０７を右側に旋回させると、作業装置１１１がダンプカー７００に接触する危険性の高いことを認識できる。
【００７１】
なお、この第１の鳥瞰画像５００Ａでは、画像周辺側に向かうに連れて画像が大きく引き伸ばされるように変形されて比較的狭い範囲を表示するため、遠方の位置に停車している小型トラック８００の画像８００ｇは、ほとんど表示されず、表示される部分Ｘについても変形度合が激しい。そのため、第１の鳥瞰画像５００Ａにおいては、小型トラックＬＴの存在を認識することが難しいが、油圧ショベル１０１での作業時には遠方の位置まで確認する必要がないので、特に問題とならない。図８中の破線は、小型トラック８００の画像８００ｇのうちフロントカメラ２３によって撮影された前方画像Ｐｆには含まれるが、切り取り処理にて前方鳥瞰画像ＢＥＶｆとして切り取られなかった非表示範囲５５０に位置する部分である。
【００７２】
油圧ショベル１０１で移動しているときには、移動経路に存在する車両や構造物を見越して走行すべく、油圧ショベル１０１からの距離が比較的離れた遠方の位置まで確認することが望まれる。このときには、運転者が操作部３９により表示画像として第２の鳥瞰画像５００Ｂを設定すると、図９に示すような第２の鳥瞰画像５００Ｂがモニタ１５に表示される。
【００７３】
第２の鳥瞰画像５００Ｂでは、油圧ショベル１０１からの距離が相対的に遠方の位置を確認し易いから、小型トラック８００の画像８００ｇを確認することにより、油圧ショベル１０１から前方左側における遠方の位置に停車している小型トラック８００の存在を把握することができ、前方左側に向かって走行すると、小型トラック８００が障害となって油圧ショベル１０１の移動が妨げられることを認識できる。この第２の鳥瞰画像５００Ｂでは、油圧ショベル１０１の右側近辺に停車しているダンプカー７００の存在も画像７００ｇにより併せて把握することができ、右側に曲がる際には注意が必要であることも認識できる。
【００７４】
なお、第２の鳥瞰画像５００Ｂでは、広角歪みを残しているため、ダンプカー７００や小型トラック８００の画像７００ｇ，８００ｇが歪んで表示されるが、油圧ショベル１０１の移動時にはそれら車両や構造物の存在が把握できれば足りるので、正確な距離まで把握できなくても特に問題とならない。
【００７５】
この第１の実施形態に係る移動体の周辺確認システム１１によると、モニタ１５に表示される鳥瞰画像５００を、油圧ショベル１０１からの距離が相対的に近辺の位置を確認し易い第１の鳥瞰画像５００Ａと、油圧ショベル１０１からの距離が相対的に遠方の位置を確認し易い第２の鳥瞰画像５００Ｂとで切り換えられるようになっているので、油圧ショベル１０１の運転時の状況、例えば上記で例示したような作業時であるか移動時であるかに応じて、油圧ショベル１０１の周辺状況に関する鳥瞰画像５００の提示態様を変えることができる。それにより、油圧ショベル１０１の運転者の要求に応えて、移動時には油圧ショベル１０１からより遠くの位置を確認することができ、油圧ショベル１０１の運転の安全性を高めることができる。
【００７６】
《第２の実施形態》
この第２の実施形態では、本開示の技術に係る移動体の周辺確認システムについて、船舶に適用した場合を例に挙げて説明する。第２の実施形態に係る移動体の周辺確認システムは、例えば船舶の着岸時の操船作業において、船舶の周辺の状況を映像によって確認するためのシステムである。なお、この第２の実施形態では、上記第１の実施形態における移動体の周辺確認システム１１と同一構成については、図１〜図９に基づく上記第１の実施形態の説明に譲ることにして、その詳細な説明を省略する。
【００７７】
この第２の実施形態における移動体の周辺確認システム１１の構成について、図１０〜図１２を参照しながら説明する。図１０は、移動体の周辺確認システム１１が搭載された船舶２０１の平面図である。図１１は、移動体の周辺確認システム１１が搭載された船舶２０１の側面図である。また、図１２は、移動体の周辺確認システム１１の構成を示すブロック図である。
【００７８】
移動体の周辺確認システム１１は、図１０〜図１２に示すように、船舶２０１の周辺を撮影する撮像装置１３と、船室２０３内の操舵席２０５の前方に設置された表示装置としての船内モニタ１５Ａと、フライングブリッジ２０７の操舵席２０９の周辺に設置された表示装置としての船外モニタ１５Ｂと、船舶２０１の姿勢を検出するための各種センサ１１７，１９と、当該システム１１を総合的に制御する制御装置２１とを備え、船舶２０１の位置を中心として船舶２０１の周辺を鳥瞰的に示す鳥瞰画像５００を作成し、その鳥瞰画像５００をライブ映像として船内モニタ１５Ａおよび船外モニタ１５Ｂに表示する。
【００７９】
この移動体の周辺確認システム１１の基本的な構成は、表示装置として船内モニタ１５Ａと船外モニタ１５Ｂとが設けられていることと、各種センサとしてジャイロセンサ１７および加速度センサ１９からなる傾きセンサ４１の他にＧＰＳ（Global Positioning System）センサ６１を備えていること以外、上記第１の実施形態と同じである。
【００８０】
船内モニタ１５Ａおよび船外モニタ１５Ｂは、タッチパネル機能を有する液晶表示パネルなどによって構成されており、上記第１の実施形態のモニタ１５と同じく、表示設定を行うための操作部３９として機能する。この操作部３９では、船内モニタ１５Ａおよび船外モニタ１５Ｂに表示させる鳥瞰画像５００の切り換えを自動で行う自動切換機能を有効にするか無効にするかを設定できるようになっている。
【００８１】
ＧＰＳセンサ６１は、測距手段の一例であって、船舶２０１を着岸させる桟橋などの着岸地点と船舶２０１との距離を計測するためのセンサである。このＧＰＳセンサ６１は、例えば、ジャイロセンサ１７および加速度センサ１９と共にバックカメラ２５に内蔵されている。
【００８２】
撮像装置１３は、船首２１１に光軸を前方へ水平に向ける姿勢で設置されたフロントカメラ２３と、船尾２１３の左右方向における中央に光軸を後方へ水平に向ける姿勢で設置されたバックカメラ２５と、左舷２１５の前後方向における中央に光軸を左方へ水平に向ける姿勢で設置された左サイドカメラ２７と、右舷２１７の前後方向における中央に光軸を左方へ水平に向ける姿勢で設置された右サイドカメラ２９とを備える。
【００８３】
フロントカメラ２３は、船舶２０１の前方における所定範囲Ｒｆの風景を動画として撮影して、周辺画像として前方画像Ｐｆをフレーム毎に取り込む。バックカメラ２５は、船舶２０１の後方における所定範囲Ｒｂの風景を動画で撮影して、周辺画像としての後方画像Ｐｂをフレーム毎に取り込む。左サイドカメラ２７は、船舶２０１の左方における所定範囲Ｒｌの風景を動画で撮影して、周辺画像としての左方画像Ｐｌをフレーム毎に取り込む。右サイドカメラ２９は、船舶２０１の右方における所定範囲Ｒｒの風景を動画で撮影して、周辺画像としての左方画像Ｐｒをフレーム毎に取り込む。
【００８４】
制御装置２１は、上記第１の実施形態と同様に、前方画像Ｐｆに基づく前方鳥瞰画像ＢＥＶｆ、後方画像Ｐｂに基づく後方鳥瞰画像ＢＥＶｂ、左方画像Ｐｌに基づく左方鳥瞰画像ＢＥＶｌおよび右方画像Ｐｒに基づく右方鳥瞰画像ＢＥＶｒを作成し、これら４つの部分鳥瞰画像５００ｐを共通範囲ＲＣｆｌ，ＲＣｆｒ，ＲＣｂｌ，ＲＣｂｒでシームレスに繋ぎ合わせ、船舶２０１の上面を模したグラフィック画像２０１ｇを画像中心に位置するように合成することにより、鳥瞰画像５００として、船舶２０１からの距離が相対的に近辺の位置を確認し易い第１の鳥瞰画像５００Ａ（図１５参照）と、船舶２０１からの距離が相対的に遠方の位置を確認し易い第２の鳥瞰画像５００Ｂ（図１４参照）とを作成する。
【００８５】
そして、制御装置２１は、上記第１の実施形態と同様に、操作部３９による表示設定に応じて船内モニタ１５Ａおよび船外モニタ１５Ｂに表示させる鳥瞰画像５００を第１の鳥瞰画像５００Ａと第２の鳥瞰画像５００Ｂとで切り換えるようになっている。そのことに加え、この制御装置２１は、自動切換機能が有効にされていると、ＧＰＳセンサ６１によって計測された着岸地点（例えば船舶２０１に最も近い岸壁などの岸）との距離が所定の距離よりも大きいか否かによって、船内モニタ１５Ａおよび船外モニタ１５Ｂに表示させる鳥瞰画像５００を第１の鳥瞰画像５００Ａと第２の鳥瞰画像５００Ｂとで切り換えるようになっている。
【００８６】
具体的には、制御装置２１は、ＧＰＳセンサ６１によって計測された着岸地点との距離が所定の距離よりも大きい場合、第２の鳥瞰画像５００Ｂを船内モニタ１５Ａおよび船外モニタ１５Ｂに表示させる。また、制御装置２１は、ＧＰＳセンサ６１によって計測された着岸地点との距離が所定の距離以下である場合、第１の鳥瞰画像５００Ａを船内モニタ１５Ａおよび船外モニタ１５Ｂに表示させる。鳥瞰画像５００の表示を切り換える基準となる上記所定の距離は、例えば１０ｍ〜２０ｍの範囲で設定され、ＧＰＳセンサ６１による計測距離の揺らぎなどに起因して鳥瞰画像５００の表示切換えが頻発しないようにその切換え動作が制御される。
【００８７】
船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される第１の鳥瞰画像５００Ａおよび第２の鳥瞰画像５００Ｂについて、船舶２０１の着岸時における状況を例に挙げて、図１３〜図１５を参照しながら説明する。
【００８８】
図１３は、移動体の周辺確認システム１１が搭載された船舶２０１とその周囲の様子を示す平面図である。図１４は、移動体の周辺確認システム１１において図１３に示すような状況で着岸時の操船初期の段階で船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される第２の鳥瞰画像５００Ｂを示す図である。図１４は、移動体の周辺確認システム１１において図１３に示すような状況で着岸時の操船後期に船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される第１の鳥瞰画像５００Ａを示す図である。
【００８９】
図１３に示す状況では、桟橋式の停船場所（岸壁）において桟橋９０１，９０３の間に船舶２０１が位置し、船舶２０１の前後に離れて桟橋９０１，９０３がある。また、船舶２０１の後方右側における比較的離れた遠方の位置には他船９００が停船している。
【００９０】
船舶２０１の着岸時の操船作業において、初期には、既に停船してある他船９００や入港または出港する他船を把握すべく、船舶２０１からの距離が比較的離れた遠方の位置まで確認することが望まれる。この場合、自動切換機能が無効にされているときには、運転者が操作部３９により表示画像として第２の鳥瞰画像５００Ｂを設定すると、図１４に示すような第２の鳥瞰画像５００Ｂが船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される。
【００９１】
第２の鳥瞰画像５００Ｂでは、船舶２０１からの距離が相対的に遠方の位置を把握し易いから、他船９００の画像９００ｇを確認することにより、船舶２０１から遠方の位置に停船している他船９００の存在を把握することができ、後方右側に航行すると、他船９００が障害となってその周辺には着岸できないことを認識できる。この第２の鳥瞰画像５００Ｂでは、船舶２０１の前方に位置する桟橋９０３から張り出したフィンガー部９０５の存在もその画像９０５ｇにより併せて把握することができ、前進し過ぎには注意が必要であることも認識できる。
【００９２】
なお、第２の鳥瞰画像５００Ｂでは、広角歪みを残しているため、桟橋９０１，９０３や他船９００が歪んで表示されるが、着岸時の初期段階では桟橋９０１，９０３の構造や他船９００の存在が把握できれば足りるので、正確な距離まで把握できなくても特に問題とならない。
【００９３】
船舶２０１の着岸時の操船作業において、後期には、着岸地点とする桟橋９０１との距離を把握するのに船舶２０１から比較的近い近辺の位置を正確に把握することが望まれる。この場合、自動切換機能が無効にされているときには、運転者が操作部３９により表示画像として第１の鳥瞰画像５００Ａを設定すると、図１５に示すような第１の鳥瞰画像５００Ａが船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される。
【００９４】
第１の鳥瞰画像５００Ａでは、船舶２０１からの距離が相対的に近辺の位置を確認し易いから、桟橋９０１の画像９０１ｇを確認することにより、船舶２０１と着岸地点とする桟橋９０１との距離を把握することができ、船舶２０１をどの程度移動させると桟橋９０１と接触するおそれがあるかを認識できる。
【００９５】
なお、この第１の鳥瞰画像５００Ａでは、画像周辺側に向かうに連れて画像が大きく引き伸ばされるように変形されて比較的狭い範囲を表示しているため、遠方の位置に停船している他船９００の画像９００ｇは、一部のみが表示され、表示される部分Ｘについても変形度合が激しい。そのため、第１の鳥瞰画像５００Ａにおいては、他船９００の存在を認識することが難しいが、着岸時の後期には遠方の位置まで確認する必要がないので、特に問題とならない。
【００９６】
また、船舶２０１の着岸時の操船作業において、自動切換機能が有効にされているときには、ＧＰＳセンサ６１によって計測される着岸地点である桟橋９０１までの距離が所定の距離よりも大きい間、つまり船舶２０１から桟橋９０１までの距離が所定の距離に近づくまでは、第２の鳥瞰画像５００Ｂが船内モニタ１５Ａおよび船外モニタ１５Ｂに表示され、ＧＰＳセンサ６１によって計測される着岸地点である桟橋９０１までの距離が所定の距離以下になると、船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される鳥瞰画像５００が自動的に切り換えられて、第１の鳥瞰画像５００Ａが表示される。
【００９７】
この第２の実施形態に係る移動体の周辺確認システム１１によると、船内モニタ１５Ａおよび船外モニタ１５Ｂに表示される鳥瞰画像５００を、船舶２０１からの距離が相対的に近辺の位置を確認し易い第１の鳥瞰画像５００Ａと、船舶２０１からの距離が相対的に遠方の位置を確認し易い第２の鳥瞰画像５００Ｂとで切り換えられるようになっているので、船舶２０１の操船時の状況、例えば上記で例示したような着岸時の初期であるか後期であるかに応じて、船舶２０１の周辺状況に関する鳥瞰画像５００の提示態様を変えることができる。それにより、船舶２０１の操船者の要求に応えて、船舶２０１からより遠くの位置を確認することができ、船舶２０１の着岸時などの操船の安全性を高めることができる。
【００９８】
以上のように、ここに開示する技術の例示として、好ましい実施形態について説明した。しかし、ここに開示する技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施形態で説明した各構成要素を組み合わせて新たな実施の形態とすることも可能である。また、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須でない構成要素が添付図面や詳細な説明に記載されていることを以て、直ちにそれらの必須でない構成要素が必須であるとの認定をするべきではない。
【００９９】
例えば、上記第１および第２の実施形態では、移動体の周辺確認システム１１が、適用対象とする移動体からの距離が相対的に近辺の位置を確認し易い第１の鳥瞰画像５００Ａと、当該移動体からの距離が相対的に遠方の位置を確認し易い第２の鳥瞰画像５００Ｂとを切り換えて表示可能であるとしたが、本開示の技術はこれに限らない。移動体の周辺確認システム１１は、第１の鳥瞰画像５００Ａおよび第２の鳥瞰画像５００Ｂ以外にも、広角歪みの補正量が、これら第１および第２の鳥瞰画像５００Ａ，５００Ｂとは異なる鳥瞰画像を表示するようになっていてもよい。
【０１００】
また、上記第１および第２の実施形態では、撮像装置１３がフロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９の４台のカメラを備えるとしたが、本開示の技術はこれに限らない。撮像装置１３が備えるカメラの台数は、５台以上であってもよく、鳥瞰画像５００（５００Ａ，５００Ｂ）が作成できれば３台以下であっても構わない。
【０１０１】
また、上記第１および第２の実施形態では、フロントカメラ２３、バックカメラ２５、左サイドカメラ２７および右サイドカメラ２９は半天球カメラであるとしたが、本開示の技術はこれに限らない。半天球カメラは、広角カメラの一例に過ぎず、標準レンズよりも画角の広い広角レンズ（魚眼レンズを含む概念）を備え、比較的広い視野を撮影可能なカメラであれば、任意のカメラを採用することが可能である。
【０１０２】
また、上記第１および第２の実施形態では、ジャイロセンサ１７および加速度センサ１９がバックカメラ２５に内蔵されているとしたが、本開示の技術はこれに限らない。ジャイロセンサ１７および加速度センサ１９は、フロントカメラ２３、左サイドカメラ２７および右サイドカメラ２９のいずれかに内蔵されていてもよいし、個々のカメラ２３，２５，２７，２９にそれぞれ内蔵されていてもよい。また、ジャイロセンサ１７および加速度センサ１９は、カメラ２３，２５，２７，２９とは別個に油圧ショベルに設けられていてもよい。
【０１０３】
また、移動体の周辺確認システム１１について、上記第１の実施形態では油圧ショベル１０１に適用した例を説明し、上記第２の実施形態では船舶２０１に適用した例を説明したが、本開示の技術はこれらに限らない。油圧ショベル１０１や船舶２０１は、運転者の操作により移動可能な移動体の一例に過ぎず、油圧ショベル１０１以外の作業機械や建設機械には勿論、農業機械や自動車などの車両にも適用可能であり、運転者の操作により移動可能な移動体で広く採用することができる。
【産業上の利用可能性】
【０１０４】
以上説明したように、本開示の技術は、運転者の操作により移動可能な移動体の運転支援に用いられる周辺確認システムについて有用である。
【符号の説明】
【０１０５】
Ａ          光軸
Ｃ          広角レンズの中心
Ｒｆ        フロントカメラの撮影範囲
Ｒｂ        バックカメラの撮影範囲
Ｒｌ        左サイドカメラの撮影範囲
Ｒｒ        右サイドカメラの撮影範囲
ＲＣｆｌ    フロントカメラの撮影範囲と左サイドカメラの撮影範囲との共通範囲
ＲＣｆｒ    フロントカメラの撮影範囲と右サイドカメラの撮影範囲との共通範囲
ＲＣｂｌ    バックカメラの撮影範囲と左サイドカメラの撮影範囲との共通範囲
ＲＣｂｒ    バックカメラの撮影範囲と右サイドカメラの撮影範囲との共通範囲
Ｐｆ        前方画像（周辺画像）
Ｐｂ        後方画像（周辺画像）
Ｐｌ        左方画像（周辺画像）
Ｐｒ        右方画像（周辺画像）
Ｘ          第１の鳥瞰画像に表示される部分
１１        移動体の周辺確認システム
１３        撮像装置
１５        モニタ（表示装置）
１５Ａ      船内モニタ（表示装置）
１５Ｂ      船外モニタ（表示装置）
１７        ジャイロセンサ
１９        加速度センサ
２１        制御装置
２３        フロントカメラ（広角カメラ）
２５        バックカメラ（広角カメラ）
２７        左サイドカメラ（広角カメラ）
２９        右サイドカメラ（広角カメラ）
３１        広角レンズ
３３        絞りユニット
３５        イメージセンサ
３７        ドライバ
３９        操作部
４１        傾きセンサ
４３        信号処理回路
４５        主メモリ
４７        メモリ制御回路
４９        ＣＰＵ
５１        補助メモリ
５３        モニタ用ドライバ
５５        前処理回路
５７        後処理回路
６１        ＧＰＳセンサ（測距手段）
１０１      油圧ショベル（移動体）
１０１ｇ    油圧ショベルのグラフィック画像
１０３      クローラ
１０５      下部走行体
１０７      上部旋回体
１０９      運転室
１１１      作業装置
１１３      バッテリ
２０１      船舶
２０３      船室
２０５，２０９    操舵席
２０７      フライングブリッジ
２１１      船首
２１３      船尾
２１５      左舷
２１７      右舷
５００      鳥瞰画像
５００Ａ    第１の鳥瞰画像
５００Ｂ    第２の鳥瞰画像
６０１，６１１    射影変換に係るベクトル
６０３      第１の補正面
６０５      撮像面
６０７，６１３    撮像面の光学像のうち表示される領域
６０９      第２の補正面
７００      ダンプカー
８００      小型トラック
９００      他船
９０１，９０３    桟橋
９０５      フィンガー部
１０００    円形状の画像（前方画像、後方画像、左方画像、右方画像）
【図１】
2019186597.tif 000003
【図２】
2019186597.tif 000004
【図３】
2019186597.tif 000005
【図４】
2019186597.tif 000006
【図５】
2019186597.tif 000007
【図６】
2019186597.tif 000008
【図７】
2019186597.tif 000009
【図８】
2019186597.tif 000010
【図９】
2019186597.tif 000011
【図１０】
2019186597.tif 000012
【図１１】
2019186597.tif 000013
【図１２】
2019186597.tif 000014
【図１３】
2019186597.tif 000015
【図１４】
2019186597.tif 000016
【図１５】
2019186597.tif 000017
【手続補正書】
【提出日】平成30年6月19日(2018.6.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２００９−２６７６０２号公報
【特許文献２】特開２０１６−１６９５９５号公報
【特許文献３】特開２０１０−０９３６０５号公報