(57)【要約】【課題】着岸時において船舶と係留施設との距離を直感的に認識できるようにする。【解決手段】船舶の周辺を撮影する複数のカメラ（１３ｆ，１３ｂ，１３ｌ，１３ｒ）と、複数のカメラの撮影により取得された画像に基づいて船舶（１０１）およびその周辺を鳥瞰的に表す鳥瞰画像（３０１）を作成する制御装置（２１）と、制御装置により作成された鳥瞰画像を表示するモニタ（１５）と、船舶の傾きを検出する傾きセンサ（４０）とを備え、制御装置は、傾きセンサにより検出される船舶の傾きに基づき、鳥瞰画像として、船舶の傾きに応じた姿勢の船舶を表す画像を作成し、表示装置に表示させる【選択図】図５
2020161886.tif 000002
【特許請求の範囲】
【請求項１】
船舶の周辺を撮影するカメラと、
前記カメラの撮影により取得された画像に基づいて前記船舶および該船舶の周辺を鳥瞰的に表す鳥瞰画像を作成する制御装置と、
前記制御装置により作成された前記鳥瞰画像を表示する表示装置と、を備える船舶の周辺確認システムであって、
前記船舶の傾きを検出する傾き検出手段をさらに備え、
前記制御装置は、前記傾き検出手段により検出される前記船舶の傾きに基づき、前記鳥瞰画像として、当該船舶の傾きに応じた姿勢の当該船舶を表す画像を作成し、前記表示装置に表示させる
ことを特徴とする船舶の周辺確認システム。
【請求項２】
請求項１に記載された船舶の周辺確認システムにおいて、
前記制御装置は、前記傾き検出手段により検出される前記船舶の傾きに基づき、当該船舶の揺れに起因する水面の揺動を抑えるように前記鳥瞰画像を作成する
ことを特徴とする船舶の周辺確認システム。
【請求項３】
請求項１または２に記載された船舶の周辺確認システムにおいて、
互いに異なる姿勢の前記船舶を表す複数の船舶画像が記憶されたメモリを備え、
前記制御装置は、前記メモリに記憶された前記複数の船舶画像から前記傾き検出手段により検出される前記船舶の傾きに応じた姿勢の前記船舶画像を選択し、前記鳥瞰画像として、選択した該船舶画像を含む画像を作成する
ことを特徴とする船舶の周辺確認システム。
【請求項４】
請求項１または２に記載された船舶の周辺確認システムにおいて、
前記船舶の三次元データが記憶されたメモリを備え、
前記制御装置は、前記メモリに記憶された前記船舶の三次元データに基づき、前記鳥瞰画像として、前記傾き検出手段により検出される前記船舶の傾きに応じた姿勢の当該船舶を表す画像を作成する
ことを特徴とする船舶の周辺確認システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、船舶の操縦支援に用いられる周辺確認システムに関する。
【背景技術】
【０００２】
従来から、船舶の操縦を支援するために、船舶の周辺を複数のカメラで撮影し、撮影した周辺画像を組み合わせることにより、船舶およびその周辺を上方から見下ろしたかのような疑似の鳥瞰画像を作成し、船舶に搭載された表示装置に表示させることが知られている。このような鳥瞰画像の表示を行う操船支援システム（操縦支援装置）は、例えば特許文献１に開示されている。
【０００３】
特許文献１に開示の操船支援システムでは、鳥瞰画像の中央位置に同システムを搭載した船舶（自船）の少なくとも外延を表すグラフィック画像を重ねて表示することが行われている。そして、この操船支援システムでは、船舶のグラフィック画像の形状を、船舶の揺れを考慮して、喫水線で船体を切断して得られる断面形状に相当する形状に修正することにより、当該グラフィック画像の形状と喫水線での船体の断面形状との間のずれを抑制している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０９３６０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示の操船支援システムのように、船舶のグラフィック画像の形状を喫水線の位置が分かるように修正しても、桟橋や岸壁といった係留施設の位置は喫水面よりも上方であるため、接岸時において係留施設との距離感を把握するには十分でない。また、船舶の揺れを直感的に把握できないことからも、係留施設との距離感を捉え難い。よって、そのような操船支援システムを頼りにして着岸しようとすると、船舶を係留施設にぶつけてしまうおそれがある。
【０００６】
本開示の技術は、斯かる点に鑑みてなされたものであり、その目的とするところは、着岸時において船舶と係留施設との距離を認識しやすくすることにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本開示の技術では、船舶を傾きに応じた姿勢で表す鳥瞰画像を作成して表示するようにした。
【０００８】
具体的には、本開示の技術は、船舶の周辺を撮影するカメラと、カメラの撮影により取得された画像に基づいて船舶および船舶の周辺を鳥瞰的に表す鳥瞰画像を作成する制御装置と、制御装置により作成された鳥瞰画像を表示する表示装置とを備える船舶の周辺確認システムを対象とする。
【０００９】
本開示の技術に係る船舶の周辺確認システムは、船舶の傾きを検出する傾き検出手段をさらに備える。そして、制御装置は、傾き検出手段により検出される船舶の傾きに基づき、鳥瞰画像として、当該船舶の傾きに応じた姿勢の当該船舶を表す画像を作成し、表示装置に表示させる。
【００１０】
この構成によると、船舶の傾きに応じた姿勢の船舶を表す鳥瞰画像を表示するようにしたので、鳥瞰画像において、船舶の揺れを直感的に把握することができ、船舶の揺れによる傾きに起因した変位を見ることができる。それにより、着岸時において船舶と係留施設との距離を認識しやすくすることができる。
【００１１】
上記船舶の周辺確認システムにおいて、制御装置は、傾き検出手段により検出される船舶の傾きに基づき、当該船舶の揺れに起因する水面の揺動を抑えるように鳥瞰画像を作成することが好ましい。
【００１２】
この構成によると、鳥瞰画像において、水面の揺動を抑えるようにしたので、船舶の揺れをより認識しやすくすることができる。
【００１３】
また、船舶の周辺確認システムは、互いに異なる姿勢の船舶を表す複数の船舶画像が記憶されたメモリを備えていてもよい。この場合、制御装置は、メモリに記憶された複数の船舶画像から傾き検出手段により検出される船舶の傾きに応じた姿勢の船舶画像を選択し、鳥瞰画像として、選択した船舶画像を含む画像を作成してもよい。
【００１４】
この構成によると、互いに異なる姿勢の船舶を表す複数の船舶画像から船舶の傾きに応じた姿勢の船舶画像を選択し、選択した船舶画像を含む鳥瞰画像を作成するようにしたので、本開示の技術に係る船舶の周辺確認システムを簡易に実現することができる。
【００１５】
また、船舶の周辺確認システムは、船舶の三次元データが記憶されたメモリを備えていてもよい。この場合、制御装置は、メモリに記憶された船舶の三次元データに基づき、鳥瞰画像として、傾き検出手段により検出される船舶の傾きに応じた姿勢の当該船舶を表す画像を作成してもよい。
【００１６】
この構成によると、船舶の三次元データに基づいて船舶の傾きに応じた姿勢の船舶を表す鳥瞰画像を作成するようにしたので、鳥瞰画像において、船舶の傾き方向および傾き度合いを細分化して表すことができる。それにより、鳥瞰画像で認識できる船舶とその周辺の状況の現実感を高めることができる。
【発明の効果】
【００１７】
本開示の技術に係る船舶の周辺確認システムによれば、着岸時において船舶と係留施設との距離を認識しやすくすることができる。その結果、船舶の操縦を視覚情報により好適に支援することができ、操船の安全性を高めることができる。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施形態に係る周辺確認システムが搭載された船舶の平面図である。
【図２】図２は、実施形態に係る周辺確認システムが搭載された船舶の側面図である。
【図３】図３は、実施形態に係る周辺確認システムの構成を示すブロック図である。
【図４】図４は、半天球カメラの撮影によって取得される画像の模式図である。
【図５】図５は、実施形態に係る周辺確認システムにおいて船舶が傾いていないときにモニタに表示される鳥瞰画像の模式図である。
【図６】図６は、実施形態に係る周辺確認システムにおいて船舶が前方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図７】図７は、実施形態に係る周辺確認システムにおいて船舶が後方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図８】図８は、実施形態に係る周辺確認システムにおいて船舶が左方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図９】図９は、実施形態に係る周辺確認システムにおいて船舶が右方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図１０】図１０は、実施形態に係る周辺確認システムにおいて船舶が左前方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図１１】図１１は、実施形態に係る周辺確認システムにおいて船舶が右前方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図１２】図１２は、実施形態に係る周辺確認システムにおいて船舶が左後方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【図１３】図１３は、実施形態に係る周辺確認システムにおいて船舶が右後方に傾いているときにモニタに表示される鳥瞰画像の模式図である。
【発明を実施するための形態】
【００１９】
以下、例示的な実施形態を図面に基づいて詳細に説明する。
【００２０】
この実施形態に係る船舶の周辺確認システムは、例えば船舶の着岸時などの操船作業において、船舶およびその周辺の状況を映像により確認するためのシステムである。
【００２１】
この船舶の周辺確認システムの構成について、図１〜図３を参照しながら説明する。図１は、周辺確認システム１１が搭載された船舶１０１の平面図である。図２は、周辺確認システム１１が搭載された船舶１０１の側面図である。また、図３は、船舶１０１の周辺確認システム１１の構成を示すブロック図である。なお、図１では、周辺確認システム１１が備える複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒについて、それらの姿勢などまで厳密に図示していない。
【００２２】
船舶１０１の周辺確認システム１１は、図１〜図３に示すように、互いに所定の間隔をあけて船舶１０１に設置された複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒと、船室１０３内およびフライングデッキ１０４に設置された表示装置としてのモニタ１５と、船舶の姿勢を検出するための各種センサ１７，１９と、当該システム１１を総合的に制御する制御装置２１とを備えている。
【００２３】
複数のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船首側のバウデッキ１０５に設置されたフロントカメラ１３ｆと、船尾側のスターンデッキ１０７に設置されたバックカメラ１３ｂと、船舶１０１の長さ方向における中央部分である船央の左側に設置されたレフトカメラ１３ｌと、船央の右側に設置されたライトカメラ１３ｒとである。これら４台のカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、船舶１０１の外周部分を含めて船舶１０１周辺を撮影するようにそれぞれ設置されている。
【００２４】
フロントカメラ１３ｆは、バウデッキ１０５の左右方向における中央位置に立てられた支柱１０９に、前方斜め下方に臨む姿勢でレンズの光軸を船首（船舶１０１の外周部分）側に向けて取り付けられている。このフロントカメラ１３ｆは、船舶１０１の前方における所定範囲Ｒｆの風景を動画または静止画で撮影して、周辺画像として前方画像Ｐｆを取得する。
【００２５】
バックカメラ１３ｂは、スターンデッキ１０７の左右方向における中央位置に立てられた支柱１１０に、後方斜め下方に臨む姿勢でレンズの光軸を船舶１０１の船尾（船舶１０１の外周部分）側に向けて取り付けられている。このバックカメラ１３ｂは、船舶１０１の後方における所定範囲Ｒｂの風景を動画または静止画で撮影して、周辺画像として後方画像Ｐｂを取得する。
【００２６】
レフトカメラ１３ｌは、船室１０３の左側面に、左方斜め下方に臨む姿勢でレンズの光軸を左舷のガンネル１１１（船舶１０１の外周部分）側に向けて取り付けられている。このレフトカメラ１３ｌは、船舶１０１の左方における所定範囲Ｒｌの風景を動画または静止画で撮影して、周辺画像として左方画像Ｐｌを取得する。
【００２７】
ライトカメラ１３ｒは、船室１０３の右側面に、右方斜め下方に臨む姿勢でレンズの光軸を右舷のガンネル１１２（船舶１０１の外周部分）側に向けて取り付けられている。このライトカメラ１３ｒは、船舶１０１の右方における所定範囲Ｒｒの風景を動画または静止画で撮影して、周辺画像として右方画像Ｐｒを取得する。
【００２８】
フロントカメラ１３ｆの撮影範囲Ｒｆとレフトカメラ１３ｌの撮影範囲Ｒｌとは、互いに重複する共通の撮影範囲ＲＣｆｌ（図１で紙面左上の斜線を付した範囲）を含んでいる。フロントカメラ１３ｆの撮影範囲Ｒｆとライトカメラ１３ｒの撮影範囲Ｒｒとは、互いに重複する共通の撮影範囲ＲＣｆｒ（図１で紙面右上の斜線を付した範囲）を含んでいる。バックカメラ１３ｂの撮影範囲Ｒｂとレフトカメラ１３ｌの撮影範囲Ｒｌとは、互いに重複する共通の撮影範囲ＲＣｂｌ（図１で紙面左下の斜線を付した範囲）を含んでいる。バックカメラ１３ｂの撮影範囲Ｒｂとライトカメラ１３ｒの撮影範囲Ｒｒとは、互いに重複する共通の撮影範囲ＲＣｂｒ（図１で紙面右下の斜線を付した範囲）を含んでいる。
【００２９】
この実施形態において、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置位置から船舶１０１の喫水線１１３までの距離である水上高さＨは、同じに高さに設定されている。フロントカメラ１３ｆの設置角度と、バックカメラ１３ｂの設置角度と、レフトカメラ１３ｌおよびライトカメラ１３ｒとの設置角度とは、互いに異なる角度に設定されている。レフトカメラ１３ｌの設置角度とライトカメラ１３ｒの設置角度とは、同じ角度に設定されている。
【００３０】
なお、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの設置角度は、任意に設定することができる。すなわち、フロントカメラ１３ｆの設置角度と、バックカメラ１３ｂの設置角度と、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度とは、互いに同じ角度であってもよいし、レフトカメラ１３ｌおよびライトカメラ１３ｒの設置角度は、互いに異なる角度であってもよい。
【００３１】
また、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、いずれも防水および防塵の仕様とされている。また、これら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒは、それぞれ船舶１０１に着脱可能に取り付けられるようになっており、例えば、船舶１０１を使用するときに船体に取り付けるが船舶１０１の使用後には取り外したり、不具合が生じたときに取り替えたりすることができるようになっている。
【００３２】
また、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは、それぞれ標準レンズよりも画角の広い広角レンズ２３を備えた広角カメラである。広角レンズ２３には、例えば１８０度以上の画角を有するレンズが用いられる。具体的には、この実施形態でのフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒは、それぞれ広角レンズ２３を有する広域撮影カメラ、いわゆる半天球カメラである。
【００３３】
図４に、半天球カメラの撮影によって取得される画像２０１の概念図を示す。フロントカメラ１３ｆの撮影によって取得される前方画像Ｐｆ、バックカメラ１３ｂの撮影によって取得される後方画像Ｐｂ、レフトカメラ１３ｌの撮影によって取得される左方画像Ｐｌ、およびライトカメラ１３ｒの撮影によって取得される右方画像Ｐｒは、図４に示すように、広角レンズ２３の光軸Ａを中心として周囲３６０度を見渡したような円形状の画像２０１である。この円形状の画像２０１は、広角レンズ２３の外面に投影された立体の光学像を光軸Ａに沿って平面像に射影変換した像に相当する。
【００３４】
モニタ１５は、船室１０３内の操舵席１１５の前方と、フライングデッキ１０４の操舵席１１５の周辺とにおいて、操舵席１１５に着席した操船者から操船中に見える位置に配置されている。このモニタ１５には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒによって取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒに基づいて作成された、船舶１０１およびその周辺を上方から見下ろしたかのような疑似の鳥瞰画像３０１が表示される。
【００３５】
図５〜図１３に、モニタ１５に表示され得る鳥瞰画像３０１の模式図を示す。図５は、船舶１０１が傾いていないときの鳥瞰画像３０１の模式図である。図６は、船舶１０１が前方に傾いているときの鳥瞰画像３０１の模式図である。図７は、船舶１０１が後方に傾いているときの鳥瞰画像３０１の模式図である。図８は、船舶１０１が左方に傾いているときの鳥瞰画像３０１の模式図である。図９は、船舶１０１が右方に傾いているときの鳥瞰画像３０１の模式図である。図１０は、船舶１０１が左前方に傾いているときの鳥瞰画像３０１の模式図である。図１１は、船舶１０１が右前方に傾いているときの鳥瞰画像３０１の模式図である。図１２は、船舶１０１が左後方に傾いているときの鳥瞰画像３０１の模式図である。図１３は、船舶１０１が右後方に傾いているときの鳥瞰画像３０１の模式図である。
【００３６】
鳥瞰画像３０１は、図５に示すように、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒの４つの部分鳥瞰画像３０１ｐが組み合わされてなる合成画像である。例えば、鳥瞰画像３０１は、それら４つの部分鳥瞰画像３０１ｐが共通の撮影範囲ＲＣｆｌ，ＲＣｆｒ，ＲＣｂｌ，ＲＣｂｒでシームレスに繋ぎ合わされて一体化されたり、または別々のデータとして並べて表示されたりして構成される。この鳥瞰画像３０１では、船舶１０１の上面を表す船舶画像３０３が中央位置に示される。船舶画像３０３は、例えば、イラストでもよいし、写真であってもよい。
【００３７】
この船舶画像３０３としては、互いに異なる傾き姿勢の船舶１０１を表す複数のパターンの画像３０３ａ，３０３ｂ，３０３ｃ，３０３ｄ，３０３ｅ，３０３ｆ，３０３ｇ，３０３ｈ，３０３ｉがある（図５〜図１３参照）。鳥瞰画像３０１にて提示される当該船舶画像３０３は、複数の船舶画像３０３ａ，３０３ｂ，３０３ｃ，３０３ｄ，３０３ｅ，３０３ｆ，３０３ｇ，３０３ｈ，３０３ｉのうちから船舶１０１の傾きに応じて択一的に選択され、船舶１０１の揺れに応じて変えられる。そのことで、鳥瞰画像３０１での船舶１０１の揺れが表現される。
【００３８】
このモニタ１５は、タッチパネル機能を有する液晶表示パネルなどによって構成されている。当該モニタ１５は、表示される鳥瞰画像３０１の範囲を切り換えたり、鳥瞰画像３０１に代えて個別の周辺画像（前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌ、右方画像Ｐｒ）を表示したりするための操作部２５を兼ねている。
【００３９】
各種センサ１７，１９としては、ジャイロセンサ１７および加速度センサ１９が設けられている。ジャイロセンサ１７および加速度センサ１９は、船舶１０１の揺れに応じて変化する船舶１０１自体、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの傾きを検出する傾きセンサ４０を構成している。傾きセンサ４０は、船舶１０１の傾きを検出する傾き検出手段の一例である。
【００４０】
ジャイロセンサ１７は、船舶１０１が揺れたときに、当該船舶１０１、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒがどれだけの速さで回転しているのかを検出する。加速度センサ１９は、船舶１０１が揺れたときに、当該船舶１０１、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒがどのような向きに回転しているのかを検出する。
【００４１】
これらジャイロセンサ１７および加速度センサ１９は、例えば、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒおよび制御装置２１のうち少なくとも１つに内蔵されている。なお、これらジャイロセンサ１７および加速度センサ１９は、各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒおよび制御装置２１とは別に船舶１０１に設置されていてもよい。
【００４２】
制御装置２１は、周知のマイクロコンピュータをベースとするコントローラである。この制御装置２１は、例えば、船室１０３内に設置されており、船舶１０１のバッテリから電源供給を受けて、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌ、ライトカメラ１３ｒ、モニタ１５などに対して電力を分配供給すると共に、それら各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒ、各モニタ１５および各種センサ１７，１９とデータのやり取りをするようになっている。
【００４３】
具体的には、制御装置２１は、図３に示すように、画像データに所定の処理を施す信号処理部２９と、プログラムやデータを一時的に記憶する主メモリ３１と、主メモリ３１に対するプログラムおよびデータの書き込みや読み出しを制御するメモリ制御部３３と、主メモリ３１に読み出されたプログラムを実行するＣＰＵ（Central Processing Unit）３５と、各種プログラムおよびデータを記憶する補助メモリ３７と、モニタ１５を動作させるモニタ用ドライバ３９とを備えている。
【００４４】
信号処理部２９およびＣＰＵ３５は、典型的にはＩＣ（Integrated Circuit）やＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integration Circuit
）などによって実現される。主メモリ３１は、典型的にはＤＲＡＭ（Dynamic Random Access Memory）やＳＤＲＡＭ（Synchronous DRAM）などの揮発性メモリによって実現される。補助メモリ３７は、典型的にはフラッシュメモリなどの不揮発性メモリによって実現される。
【００４５】
信号処理部２９は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒから出力された前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての各フレームの画像データを次々と取得し、取得した各周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒについての画像データに基づいて部分鳥瞰画像３０１ｐを４枚作成し、それら４枚の部分鳥瞰画像３０１ｐ（ＢＥＶｆ，ＢＥＶｂ，ＢＥＶｌ，ＢＥＶｒ）を組み合わせると共に、船舶画像３０３を中央位置に重ね合わせるように合成することにより、１枚の鳥瞰画像３０１を作成する。
【００４６】
補助メモリ３７には、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの外部パラメータと、それらフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの内部パラメータとが記憶されている。ここで「外部パラメータ」とは、カメラの設置位置や設置角度などの設置状態を示す数値である。また、「内部パラメータ」とは、カメラの光軸位置や焦点距離、広角歪みなどの歪みに関する情報といった、カメラに固有の光学的性質を表す数値である。
【００４７】
また、補助メモリ３７には、互いに異なる傾き姿勢の船舶１０１を表す複数のパターンの船舶画像３０３が記憶されている。
【００４８】
この実施形態において、船舶画像３０３としては、傾いていない状態の船舶１０１の上面を表す無傾船舶画像３０３ａ（図５参照）と、前方に傾いている状態の船舶１０１の上面を表す前傾船舶画像３０３ｂ（図６参照）と、後方に傾いている状態の船舶１０１の上面を表す後傾船舶画像３０３ｃ（図７参照）と、左方に傾いている状態の船舶１０１の上面を表す左傾船舶画像３０３ｄ（図８参照）と、右方に傾いている状態の船舶１０１の上面を表す右傾船舶画像３０３ｅ（図９参照）と、左前方に傾いている状態の船舶１０１の上面を表す左前傾船舶画像３０３ｆ（図１０参照）と、右前方に傾いている状態の船舶１０１の上面を表す右前傾船舶画像３０３ｇ（図１１参照）と、左後方に傾いている状態の船舶１０１の上面を表す左後傾船舶画像３０３ｈ（図１２参照）と、右後方に傾いている状態の船舶１０１の上面を表す右後傾船舶画像３０３ｉ（図１３参照）との計９枚が補助メモリ３７に記憶されている。
【００４９】
また、補助メモリ３７には、前方画像Ｐｆにおける鳥瞰画像３０１に用いる切り出し範囲、後方画像Ｐｂにおける鳥瞰画像３０１に用いる切り出し範囲、左方画像Ｐｌにおける鳥瞰画像３０１に用いる切り出し範囲、および右方画像Ｐｒにおける鳥瞰画像３０１に用いる切り出し範囲についての各設定値が記憶されている。
【００５０】
信号処理部２９は、前処理部４１と、画像補正部４３と、切り出し処理部４５と、画像合成部４７とを備えている。これら前処理部４１、画像補正部４３、切り出し処理部４５および画像合成部４７は、マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって実現される機能部である。
【００５１】
メモリ制御部３３は、前処理部４１、画像補正部４３、切り出し処理部４５および画像合成部４７で、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに所定の処理を行う際に主メモリ３１から当該画像データを読み出し、且つ、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに当該所定の処理を行った後に当該画像データを主メモリ３１に書き込む。
【００５２】
前処理部４１は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒからそれぞれ取得される前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データに対し、前処理として、デジタルクランプ、画素欠陥補正、ゲイン制御などの調整処理をそれぞれ施す。
【００５３】
画像補正部４３は、補助メモリ３７に記憶されたフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの内部パラメータおよび外部パラメータを、メモリ制御部３３を介して主メモリ３１に読み出す。
【００５４】
そして、画像補正部４３は、前方画像Ｐｆについての画像データに対し、フロントカメラ１３ｆの内部パラメータに基づき、広角歪みなどの歪みのない画像となるように変換する歪み補正を施す。画像補正部４３は、後方画像Ｐｂについての画像データに対しても、バックカメラ１３ｂの内部パラメータに基づき、同様な歪み補正を施す。画像補正部４３は、左方画像Ｐｌについての画像データに対しても、レフトカメラ１３ｌの内部パラメータに基づき、同様な歪み補正を施す。画像補正部４３は、右方画像Ｐｒについての画像データに対しても、ライトカメラ１３ｒの内部パラメータに基づき、同様な歪み補正を施す。
【００５５】
また、画像補正部４３は、前方画像Ｐｆについての画像データに対し、フロントカメラ１３ｆの内部パラメータおよび外部パラメータに基づき、上方から見下ろしたような画像に変換する視点変換処理を施す。画像補正部４３は、後方画像Ｐｂについての画像データに対しても、バックカメラ１３ｂの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。画像補正部４３は、左方画像Ｐｌについての画像データに対しても、レフトカメラ１３ｌの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。画像補正部４３は、右方画像Ｐｒについての画像データに対しても、ライトカメラ１３ｒの内部パラメータおよび外部パラメータに基づき、同様な視点変換処理を施す。
【００５６】
切り出し処理部４５は、補助メモリ３７に記憶された、前方画像Ｐｆの鳥瞰画像３０１に用いる切り出し範囲、後方画像Ｐｂの鳥瞰画像３０１に用いる切り出し範囲、左方画像Ｐｌの鳥瞰画像３０１に用いる切り出し範囲、および右方画像Ｐｒの鳥瞰画像３０１に用いる切り出し範囲についての各設定値を、メモリ制御部３３を介して主メモリ３１に読み出す。
【００５７】
そして、切り出し処理部４５は、これら周辺画像Ｐｆ，Ｐｂ，Ｐｌ，Ｐｒにおける切り出し範囲の設定値に従って、上述の歪み補正および視点変換処理が施された後の前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データをそれぞれ部分的に切り出すことにより、前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての部分鳥瞰画像データを作成する。
【００５８】
信号処理部２９は、そのような画像データの切り出し処理を行う際に、傾きセンサ４０によって検出されるフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの傾きに基づき、前方画像Ｐｆ、後方画像Ｐｂ、左方画像Ｐｌおよび右方画像Ｐｒについての画像データの傾きと、部分鳥瞰画像３０１ｐ（前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒ）の切り出し位置とを補正する。こうした補正は、電子ジンバルと呼ばれ、カメラの姿勢の動的な変化に起因した撮影画像の回転方向への変位をキャンセルする技術である。
【００５９】
部分鳥瞰画像３０１ｐは、船体が波で揺れることによるカメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの向きの変化に伴って傾く。このような部分鳥瞰画像３０１ｐの傾きは、上述した視点変換処理を施している関係上、当該部分鳥瞰画像３０１ｐにおいて船体から離れるほど大きく見える。
【００６０】
これに対し、本実施形態では、上述の如く、鳥瞰画像３０１の作成において電子ジンバルを効かせているので、船舶１０１が揺れて傾いても、船舶１０１の姿勢に倣ったフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの傾き度合に合わせて、各部分鳥瞰画像３０１ｐの傾きが補正される。それによって、船体が波で揺れることに起因した部分鳥瞰画像３０１ｐの傾きを低減することができる。このことは、鳥瞰画像３０１をリアルタイムで表示したときの同画像３０１の揺れを軽減するのに有効である。このようにして作成された部分鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。
【００６１】
画像合成部４７は、主メモリ３１に書き込まれた前方鳥瞰画像ＢＥＶｆ、後方鳥瞰画像ＢＥＶｂ、左方鳥瞰画像ＢＥＶｌおよび右方鳥瞰画像ＢＥＶｒについての４枚分の部分鳥瞰画像データをフレーム毎にメモリ制御部３３によって読み出し、読み出された部分鳥瞰画像データを組み合わせると共に、船舶画像３０３の画像データを画像中心に位置するように合成することにより、鳥瞰画像３０１についての鳥瞰画像データを作成する。そうして作成された鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。
【００６２】
このとき、画像合成部４７は、傾きセンサ４０により検出される船舶１０１の傾きに基づき、補助メモリ３７に記憶された複数の船舶画像３０３ａ，３０３ｂ，３０３ｃ，３０３ｄ，３０３ｅ，３０３ｆ，３０３ｇ，３０３ｈ，３０３ｉのうちから当該船舶１０１の傾きに応じた姿勢の船舶画像３０３を選択する。ここで、船舶１０１の傾きに応じた姿勢の船舶画像３０３としては、傾きセンサ４０により検出される船舶１０１の傾きが比較的小さいかまたはないと判断した場合に、無傾船舶画像３０３ａが選択される。それ以外の場合において、当該船舶画像には、傾きセンサ４０により検出される船舶１０１の傾き方向が前方、後方、左方、右方、左前方、右前方、左後方、右後方のうちどの方向であるかまたはどの方向に近いかを判断し、該当する方向への傾き姿勢の船舶画像３０３が選択される。
【００６３】
すなわち、船舶１０１の傾き方向が前方に該当すると判断した場合には、前傾船舶画像３０３ｂが選択される。船舶１０１の傾き方向が後方に該当すると判断した場合には、後傾船舶画像３０３ｃが選択される。船舶１０１の傾き方向が左方に該当すると判断した場合には、左傾船舶画像３０３ｄが選択される。船舶１０１の傾き方向が右方に該当すると判断した場合には、右傾船舶画像３０３ｅが選択される。船舶１０１の傾き方向が左前方に該当すると判断した場合には、左前傾船舶画像３０３ｆが選択される。船舶１０１の傾き方向が右前方に該当すると判断した場合に、右前傾船舶画像３０３ｇが選択される。船舶１０１の傾き方向が左後方に該当すると判断した場合には、左後傾船舶画像３０３ｈが選択される。船舶１０１の傾き方向が右後方に該当すると判断した場合には、右後傾船舶画像３０３ｉが選択される。
【００６４】
そして、画像合成部４７は、選択した船舶画像３０３（３０３ａ，３０３ｂ，３０３ｃ，３０３ｄ，３０３ｅ，３０３ｆ，３０３ｇ，３０３ｈまたは３０３ｉ）を含む鳥瞰画像についての鳥瞰画像データを作成する。こうして作成された鳥瞰画像データは、メモリ制御部３３によって主メモリ３１に書き込まれる。当該鳥瞰画像データが示す鳥瞰画像３０１は、上記電子ジンバルを利用した補正により、船舶１０１の揺れに起因する水面の揺動を抑えるように作成されている。
【００６５】
主メモリ３１に書き込まれた各フレームの鳥瞰画像データは、ＣＰＵ３５からの指令を受けてメモリ制御部３３により読み出され、モニタ用ドライバ３９に受け渡される。モニタ用ドライバ３９は、主メモリ３１から読み出された鳥瞰画像データに基づいてモニタ１５を駆動する。これにより、モニタ１５には、その鳥瞰画像データに基づく鳥瞰画像３０１がリアルタイム画像（ライブビュー）として表示される。
【００６６】
当該モニタ１５の表示としては、船舶１０１が傾いていないときには、図５に示すように無傾船舶画像３０３ａを含む鳥瞰画像３０１が表示される。船舶１０１が前方に傾いているときには、図６に示すように前傾船舶画像３０３ｂを含む鳥瞰画像３０１が表示される。船舶１０１が後方に傾いているときには、図７に示すように後傾船舶画像３０３ｃを含む鳥瞰画像３０１が表示される。船舶１０１が左方に傾いているときには、図８に示すように左傾船舶画像３０３ｄを含む鳥瞰画像３０１が表示される。船舶１０１が右方に傾いているときには、図９に示すように右傾船舶画像３０３ｅを含む鳥瞰画像３０１が表示される。船舶１０１が左前方に傾いているときには、図１０に示すように左前傾船舶画像３０３ｆを含む鳥瞰画像３０１が表示される。船舶１０１が右前方に傾いているときには、図１１に示すように右前傾船舶画像３０３ｇを含む鳥瞰画像３０１が表示される。船舶１０１が左後方に傾いているときには、図１２に示すように左後傾船舶画像３０３ｈを含む鳥瞰画像３０１が表示される。船舶１０１が右後方に傾いているときには、図１３に示すように右後傾船舶画像３０３ｉを含む鳥瞰画像３０１が表示される。このように船舶１０１の傾きに応じて船舶画像３０３が切り替えられることで、鳥瞰画像３０１にて船舶１０１の揺れが表現される。
【００６７】
この実施形態に係る船舶の周辺確認システム１１によると、船舶１０１の傾きに応じた姿勢の船舶画像３０３を含む鳥瞰画像３０１を表示するようにしたので、鳥瞰画像３０１において、船舶１０１の揺れを直感的に把握することができ、船舶１０１の揺れによる傾きに起因した変位を見ることができる。しかも、鳥瞰画像３０１において、水面の揺動を抑えるようにしたので、船舶１０１の揺れをより認識しやすくすることができる。それにより、着岸時において船舶１０１と係留施設との距離を認識しやすくすることができる。その結果、船舶１０１の操縦を視覚情報により好適に支援することができ、操船の安全性を高めることができる。
【００６８】
− 実施形態の変形例 −
この変形例に係る船舶の周辺確認システム１１では、船舶１０１の三次元データが９枚の船舶画像３０３の画像データに代えて補助メモリ３７に記憶されている。この船舶の周辺確認システム１１における制御装置２１は、補助メモリ３７に記憶された船舶１０１の三次元データに基づき、傾きセンサ４０により検出される船舶１０１の傾きに応じた姿勢の船舶１０１を表す船舶画像３０３を生成し、その船舶画像３０３を含む鳥瞰画像３０１を作成する。
【００６９】
この変形例に係る船舶の周辺確認システム１１によると、船舶１０１の三次元データに基づいて船舶１０１の傾きに応じた姿勢の船舶１０１を表す鳥瞰画像３０１を作成するようにしたので、鳥瞰画像３０１において、船舶１０１の傾き方向および傾き度合いを細分化して表すことができる。それにより、鳥瞰画像３０１で認識できる船舶１０１とその周辺の状況の現実感を高めることができる。
【００７０】
以上のように、ここに開示する技術の例示として、好ましい実施形態について説明した。しかし、ここに開示する技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、添付図面および詳細な説明に記載された構成要素の中には、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須でない構成要素が添付図面や詳細な説明に記載されていることを以て、直ちにそれらの必須でない構成要素が必須であるとの認定をするべきではない。
【００７１】
例えば、上記実施形態について、以下のような構成としてもよい。
【００７２】
上記実施形態では、船舶１０１が前方、後方、左方、右方、左前方、右前方、左後方および右後方に傾いた姿勢についての船舶１０１の上面を表す船舶画像３０３を各１枚ずつ計９枚分、補助メモリ３７に記憶しておき、９枚の船舶画像３０３のうちから船舶１０１の傾きに応じた姿勢の船舶画像３０３を選択して、鳥瞰画像３０１を作成するとしたが、本開示の技術はこれに限らない。補助メモリ３７には、船舶の前方、後方、左方および右方についての船舶の上面を示す４枚の船舶画像３０３のみが記憶され、これら４枚の船舶画像のうちから船舶の傾きに応じた船舶画像が選択されて、選択された船舶画像を含む鳥瞰画像を作成するようになっていてもよい。
【００７３】
また、補助メモリ３７には、船舶１０１の前方、後方、左方、右方、左前方、右前方、左後方および右後方についての船舶１０１の上面を表す船舶画像３０３が、船舶１０１の傾きの度合を複数段階に分けて複数枚ずつ記憶され、傾きセンサ４０によって検出される船舶１０１の傾き方向および傾き度合に応じて、該当する傾き姿勢の船舶画像３０３を含む鳥瞰画像３０１を作成するようになっていてもよい。また、船舶画像での船舶１０１の傾き方向は、上述した８方向よりも細分化されていても構わない。要は、鳥瞰画像３０１として、船舶１０１の傾きに応じた姿勢の船舶画像３０３を作成し、モニタ１５に表示させるようになっていればよい。
【００７４】
上記実施形態では、船舶の周辺確認システム１１がフロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの４台のカメラを備えるとしたが、本開示の技術はこれに限らない。船舶の周辺確認システム１１が備えるカメラの台数は、３台以下であっても５台以上であってもよく、鳥瞰画像３０１が作成できれば、任意の台数のカメラを採用することができる。
【００７５】
上記実施形態では、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒは半天球カメラであるとしたが、本開示の技術はこれに限らない。半天球カメラは、カメラの一例に過ぎず、広角レンズを備えたカメラの他、標準レンズを備えたカメラを用いてもよく、任意のカメラを採用することができる。
【００７６】
上記実施形態では、船舶の周辺確認システム１１によって作成される鳥瞰画像３０１が船舶１０１の周辺を全方位に亘って示す画像である場合を例に挙げて説明したが、本開示の技術はこれに限らない。例えば、鳥瞰画像３０１は、船舶１０１の前側および左右両側のみを示す画像や船舶１０１の後側および左右両側のみを示す画像など、船舶１０１の周辺を部分的に示す画像であってもよい。
【００７７】
上記実施形態では、船舶の周辺確認システム１１によって作成される鳥瞰画像３０１が船舶１０１に設置されたモニタ１５に表示される場合を例に挙げて説明したが、本開示の技術はこれに限らない。例えば、船舶の周辺確認システム１１は、遠隔操船を行う場合に利用され得るものであって、作成した鳥瞰画像３０１を管制センターに送信し、管制センターに設置されたモニタに当該鳥瞰画像３０１を表示するようになっていてもよい。
【００７８】
上記実施形態では、船舶の周辺確認システム１１において、船舶１０１および各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの傾きを検出するのに、ジャイロセンサ１７および加速度センサ１９からなる傾きセンサ４０を用いるとしたが、本開示の技術はこれに限らない。傾きセンサ４０は、船舶１０１および各カメラ１３ｆ，１３ｂ，１３ｌ，１３ｒの傾きを検出する傾き検出手段の一例に過ぎず、傾き検出手段は、フロントカメラ１３ｆ、バックカメラ１３ｂ、レフトカメラ１３ｌおよびライトカメラ１３ｒの少なくとも１つのカメラと制御装置２１とで構成され、当該カメラによって撮影された船舶１０１の周辺画像を制御装置２１で解析することにより、船舶１０１の傾きを検出するようになっていてもよい。
【産業上の利用可能性】
【００７９】
以上説明したように、本開示の技術は、船舶の運転支援に用いられる周辺確認システムについて有用である。
【符号の説明】
【００８０】
Ａ…光軸
ＢＥＶｆ…前方鳥瞰画像
ＢＥＶｂ…後方鳥瞰画像
ＢＥＶｌ…左方鳥瞰画像
ＢＥＶｒ…右方鳥瞰画像
Ｐｆ…前方画像（周辺画像）
Ｐｂ…後方画像（周辺画像）
Ｐｌ…左方画像（周辺画像）
Ｐｒ…右方画像（周辺画像）
Ｒｆ，Ｒｂ，Ｒｌ，Ｒｒ…撮影範囲
１１…船舶の周辺確認システム
１３ｆ…フロントカメラ
１３ｂ…バックカメラ
１３ｌ…レフトカメラ
１３ｒ…ライトカメラ
１５…モニタ
１７…ジャイロセンサ
１９…加速度センサ
２１…制御装置
２３…広角レンズ
２５…操作部
２９…信号処理部
３１…主メモリ
３３…メモリ制御部
３５…ＣＰＵ
３７…補助メモリ
３９…モニタ用ドライバ
４０…傾きセンサ（傾き検出手段）
４１…前処理部
４３…画像補正部
４５…切り出し処理部
４７…画像合成部
１０１…船舶
１０３…船室
１０４…フライングデッキ
１０５…バウデッキ
１０７…スターンデッキ
１０９，１１０…支柱
１１１…左舷のガンネル
１１２…右舷のガンネル
１１３…喫水線
１１５…操舵席
２０１…画像
３０１…鳥瞰画像
３０１ｐ…部分鳥瞰画像
３０３…船舶画像
３０３ａ…無傾船舶画像
３０３ｂ…前傾船舶画像
３０３ｃ…後傾船舶画像
３０３ｄ…左傾船舶画像
３０３ｅ…右傾船舶画像
３０３ｆ…左前傾船舶画像
３０３ｇ…右前傾船舶画像
３０３ｈ…左後傾船舶画像
３０３ｉ…右後傾船舶画像
【図１】
2020161886.tif 000003
【図２】
2020161886.tif 000004
【図３】
2020161886.tif 000005
【図４】
2020161886.tif 000006
【図５】
2020161886.tif 000007
【図６】
2020161886.tif 000008
【図７】
2020161886.tif 000009
【図８】
2020161886.tif 000010
【図９】
2020161886.tif 000011
【図１０】
2020161886.tif 000012
【図１１】
2020161886.tif 000013
【図１２】
2020161886.tif 000014
【図１３】
2020161886.tif 000015