(57)【要約】【構成】カメラＣ＿１〜Ｃ＿４は、甲板および水面を跨ぐ視野を各々が有するように、船舶の上方の互いに異なる位置に設けられる。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４からそれぞれ出力された４つの被写界像を、基準高度を参照して合成する。船舶は高度の増大に伴って減少する広さを有し、ＣＰＵ１２ｐは、基準高度よりも大きい高度に対応する船舶の図形画像を合成処理によって作成された全周鳥瞰図画像に多重する。ＣＰＵ１２ｐはまた、グラフィック画像が多重された全周鳥瞰図画像の一部を、操船支援画像として表示装置１６に向けて出力する。ＣＰＵ１２ｐはさらに、高度変更指示に応答して基準高度の大きさを変更する。【効果】甲板および水面を跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。【選択図】図１
2010041530.tif 000002
【特許請求の範囲】
【請求項１】
移動体および外界を跨ぐ視野を各々が有するように前記移動体の上方の互いに異なる位置に設けられる複数のカメラ、
前記複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成手段、
前記合成手段によって作成された合成画像に表示処理を施す表示手段、および
高度変更指示に応答して前記基準高度の大きさを変更する変更手段を備える、操縦支援装置。
【請求項２】
前記移動体は高度の増大に伴って減少する広さを有し、
前記基準高度よりも大きい高度に対応する前記移動体の図形画像を前記合成手段によって作成された合成画像に多重する多重手段をさらに備え、
前記表示手段は前記多重手段の多重処理の後に前記表示処理を実行する、請求項１記載の操縦支援装置。
【請求項３】
前記合成手段は前記複数の被写界像を前記基準高度に対応する複数の鳥瞰図画像に変換する変換手段を含む、請求項１または２記載の操縦支援装置。
【請求項４】
前記複数のカメラの各々の視野は共通視野を有し、
前記合成手段は前記変換手段によって変換された複数の鳥瞰図画像を前記共通視野において重複するように結合する結合手段をさらに含む、請求項３記載の操縦支援装置。
【請求項５】
前記移動体の移動速度および前記移動体の揺れの大きさの少なくとも１つを検出する第１検出手段、および
前記第１検出手段の検出結果を参照して前記高度変更指示を発行する第１発行手段をさらに備える、請求項１ないし４のいずれかに記載の操縦支援装置。
【請求項６】
前記移動体は船舶に相当し、
前記複数のカメラの各々の視野は前記船舶の甲板および水面を跨ぎ、
前記変更手段は前記基準高度の大きさを前記甲板に相当する大きさと前記水面に相当する大きさとを含む複数の大きさの間で変更する、請求項１ないし５のいずれかに記載の送受支援装置。
【請求項７】
前記船舶が着岸／離岸操舵中のとき桟橋の高度を検出する第２検出手段、および
前記第２検出手段の検出結果を参照して前記高度変更指示を発行する第２発行手段をさらに備える、請求項６記載の操縦支援装置。
【請求項８】
移動体および外界を跨ぐ視野を各々が有するように前記移動体の上方の互いに異なる位置に設けられる複数のカメラを備える操縦支援装置のプロセッサに、
前記複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ、
前記合成ステップによって作成された合成画像に表示処理を施す表示ステップ、および
高度変更指示に応答して前記基準高度の大きさを変更する変更ステップを実行させるための、操縦支援プログラム。
【請求項９】
移動体および外界を跨ぐ視野を各々が有するように前記移動体の上方の互いに異なる位置に設けられる複数のカメラを備える操縦支援装置によって実行される操縦支援方法であって、
前記複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ、
前記合成ステップによって作成された合成画像に表示処理を施す表示ステップ、および
高度変更指示に応答して前記基準高度の大きさを変更する変更ステップを備える、操縦支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、操縦支援装置に関し、特に、移動体の上方に設けられた複数のカメラからの出力に基づく複数の鳥瞰図画像を基準高度を参照して合成し、これによって生成された合成画像を表示装置から出力する、操縦支援装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、左前方の共通視野を部分的に捉える２個のカメラが、車両の前部および左側に設置される。これらのカメラからの出力画像は鳥瞰図画像に変換された後に互いに合成され、これによって共通視野画像を含む合成画像が作成される。
【特許文献１】特開２００８−４８３４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、背景技術は、移動体と外界とを跨ぐ視野で捉えられた被写界の鳥瞰図画像を合成することを想定しておらず、このような鳥瞰図画像に基づく合成画像の品質に限界がある。
【０００４】
それゆえに、この発明の主たる目的は、移動体と外界とを跨ぐ視野で捉えられた被写界を表す合成画像の品質を改善することができる、操縦支援装置を提供することである。
【課題を解決するための手段】
【０００５】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、移動体(100)および外界(WS)を跨ぐ視野(VW_1~VW_4)を各々が有するように移動体の上方の互いに異なる位置に設けられる複数のカメラ(C_1~C_4)、複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成手段(S7, S9)、合成手段によって作成された合成画像に表示処理を施す表示手段(S13)、および高度変更指示に応答して基準高度の大きさを変更する変更手段(S17)を備える。
【０００６】
複数のカメラは、移動体および外界を跨ぐ視野を各々が有するように、移動体の上方の互いに異なる位置に設けられる。合成手段は、複数のカメラからそれぞれ出力された複数の被写界像を、基準高度を参照して合成する。表示手段は、合成手段によって作成された合成画像に表示処理を施す。変更手段は、高度変更指示に応答して基準高度の大きさを変更する。
【０００７】
複数のカメラが互いに異なる位置に設けられることから、基準高度に存在する被写体を表す合成画像の品質を重視すると、基準高度と異なる高度に存在する被写体を表す合成画像の品質が低下する。
【０００８】
ただし、この発明では、基準高度の大きさが高度変更指示に応答して変更されるため、被写体が存在する注目平面に基準高度を合わせることで、注目平面を表す合成画像の品質の低下が回避される。つまり、基準高度の大きさを変更可能とすることで、移動体と外界とを跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
【０００９】
好ましくは、移動体は高度の増大に伴って減少する広さを有し、基準高度よりも大きい高度に対応する移動体の図形画像を合成手段によって作成された合成画像に多重する多重手段(S3, S11, S21)がさらに備えられ、表示手段は多重手段の多重処理の後に表示処理を実行する。
【００１０】
好ましくは、合成手段は複数の被写界像を基準高度に対応する複数の鳥瞰図画像に変換する変換手段(S7)を含む。
【００１１】
さらに好ましくは、複数のカメラの各々の視野は共通視野を有し、合成手段は変換手段によって変換された複数の鳥瞰図画像を共通視野において重複するように結合する結合手段をさらに含む(S9)。
【００１２】
好ましくは、移動体の移動速度および移動体の揺れの大きさの少なくとも１つを検出する第１検出手段(S37, S43)、および第１検出手段の検出結果を参照して高度変更指示を発行する第１発行手段(S41, S47)がさらに備えられる。
【００１３】
好ましくは、移動体は船舶に相当し、複数のカメラの各々の視野は船舶の甲板および水面を跨ぎ、変更手段は基準高度の大きさを甲板に相当する大きさと水面に相当する大きさとを含む複数の大きさの間で変更する。
【００１４】
さらに好ましくは、船舶が着岸／離岸操舵中のとき桟橋の高度を検出する第２検出手段(S33)、および第２検出手段の検出結果を参照して高度変更指示を発行する第２発行手段(S35)がさらに備えられる。
【００１５】
この発明に従う操縦支援プログラムは、移動体(100)および外界(WS)を跨ぐ視野(VW_1~VW_4)を各々が有するように移動体の上方の互いに異なる位置に設けられる複数のカメラ(C_1~C_4)を備える操縦支援装置(10)のプロセッサ(12p)に、複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ(S7, S9)、合成ステップによって作成された合成画像に表示処理を施す表示ステップ(S13)、および高度変更指示に応答して基準高度の大きさを変更する変更ステップ(S17)を実行させるための、操縦支援プログラムである。
【００１６】
この発明に従う操縦支援方法は、移動体(100)および外界(WS)を跨ぐ視野(VW_1~VW_4)を各々が有するように移動体の上方の互いに異なる位置に設けられる複数のカメラ(C_1~C_4)を備える操縦支援装置(10)によって実行される操縦支援方法であって、複数のカメラからそれぞれ出力された複数の被写界像を基準高度を参照して合成する合成ステップ(S7, S9)、合成ステップによって作成された合成画像に表示処理を施す表示ステップ(S13)、および高度変更指示に応答して基準高度の大きさを変更する変更ステップ(S17)を備える。
【発明の効果】
【００１７】
この発明によれば、基準高度の大きさが高度変更指示に応答して変更されるため、被写体が存在する注目平面に基準高度を合わせることで、注目平面を表す合成画像の品質の低下が回避される。つまり、基準高度の大きさを変更可能とすることで、移動体と外界とを跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１９】
図１に示すこの実施例の操船支援装置１０は、４個のカメラＣ＿１〜Ｃ＿４を含む。カメラＣ＿１〜Ｃ＿４はそれぞれ、共通のタイミング信号に同期して被写界像Ｐ＿１〜Ｐ＿４を１／３０秒毎に出力する。出力された被写界像Ｐ＿１〜Ｐ＿４は、画像処理回路１２によって取り込まれる。
【００２０】
操船支援装置１０は、図２（Ａ）〜図２（Ｂ）および図３（Ａ）〜図３（Ｂ）に示す船舶１００に搭載される。船舶１００は、大まかには、船体１０２，船室１０４および船橋１０６によって構成される。船室１０４は船体１０２の上面ほぼ中央に箱型に形成され、船橋１０６は船室１０４の上面中央に箱形に形成される。船室１０４の広さは船体１０２の上面の広さよりも小さく、船橋１０６の広さもまた船室１０４の広さよりも小さい。このように、船舶１００は、高度の増大に伴って減少する広さを有する。
【００２１】
カメラＣ＿１は船橋１０６の外周前面の上端中央に設置され、カメラＣ＿２は船橋１０６の外周右側面の上端中央に設置される。また、カメラＣ＿３は船橋１０６の外周後面の上端中央に設置され、カメラＣ＿４は船橋１０６の外周左側面の上端中央に設置される。カメラＣ＿１の光軸は船橋１０６の前方向斜め下向きに延び、カメラＣ＿２の光軸は船舶１０６の右方向斜め下向きに延びる。また、カメラＣ＿３の光軸は船橋１０６の後方向斜め下向きに延び、カメラＣ＿４の光軸は船舶１００の左方向斜め下向きに延びる。
【００２２】
図４を参照して、カメラＣ＿１は船橋１０６の前方を捉える視野ＶＷ＿１を有し、カメラＣ＿２は船橋１０６の右方を捉える視野ＶＷ＿２を有し、カメラＣ＿３は船橋１０６の後方を捉える視野ＶＷ＿３を有し、そしてカメラＣ＿４は船橋１０６の左方を捉える視野ＶＷ＿４を有する。また、視野ＶＷ＿１およびＶＷ＿２は共通視野ＶＷ＿１２を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＶＷ＿２３を有し、視野ＶＷ＿３およびＶＷ＿４は共通視野ＶＷ＿３４を有し、そして視野ＶＷ＿４およびＶＷ＿１は共通視野ＶＷ＿４１を有する。
【００２３】
視野ＶＷ＿１は甲板ＤＣＫ１の前部および船舶１００の前方の水面（海面）ＷＳを含み、視野ＶＷ＿２は甲板ＤＣＫ１の右部および船舶１００の右方の水面ＷＳを含む。また、視野ＶＷ＿３は甲板ＤＣＫ１の後部および船舶１００の後方の水面ＷＳを含み、視野ＶＷ＿４は甲板ＤＣＫ１の左部および船舶１００の左方の水面ＷＳを含む。つまり、甲板ＤＣＫ１の状況および船舶１００の周囲の水面ＷＳの状況は、カメラＣ＿１〜Ｃ＿４によって把握される。
【００２４】
図１に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣ＿１から出力された被写界像Ｐ＿１に基づいて図５（Ａ）に示す鳥瞰図画像ＢＥＶ＿１を生成し、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて図５（Ｂ）に示す鳥瞰図画像ＢＥＶ＿２を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて図５（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３を生成し、カメラＣ＿４から出力された被写界像Ｐ＿４に基づいて図５（Ｄ）に示す鳥瞰図画像ＢＥＶ＿４を生成する。
【００２５】
鳥瞰図画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰図画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰図画像ＢＥＶ＿４は視野ＶＷ＿４を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。
【００２６】
図５（Ａ）〜図５（Ｄ）によれば、鳥瞰図画像ＢＥＶ＿１は鳥瞰図座標系Ｘ１・Ｙ１を有し、鳥瞰図画像ＢＥＶ＿２は鳥瞰図座標系Ｘ２・Ｙ２を有し、鳥瞰図画像ＢＥＶ＿３は鳥瞰図座標系Ｘ３・Ｙ３を有し、そして鳥瞰図画像ＢＥＶ＿４は鳥瞰図座標系Ｘ４・Ｙ４を有する。
【００２７】
このような鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４の各々を作成するにあたっては、操作パネル１８の操作によって指定された基準高度が参照される。つまり、操作パネル１８が操作されると、所望の高度が記述された高度変更指示が発行され、ＣＰＵ１２ｐは高度変更指示に記述された高度を基準高度として鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。
【００２８】
上述のように、視野ＶＷ＿１〜ＶＷ４の各々は、甲板ＤＣＫ１および水面ＷＳのような互いに異なる高度に存在する被写体を含む。甲板ＤＣＫ１の高度が基準高度として指定された場合、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、甲板ＤＣＫ１の表面が高さ方向の原点（後述する原点Ｏｗ）であるとの想定の下で作成される。これに対して、水面ＷＳの高度が基準高度として指定された場合、鳥瞰図ＢＥＶ＿１〜ＢＥＶ＿４は、水面ＷＳが高さ方向の原点であるとの想定の下で作成される。こうして作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、メモリ１２ｍのワークエリアＷ１に保持される。
【００２９】
ＣＰＵ１２ｐは続いて、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ４を座標変換によって互いに結合する。鳥瞰図画像ＢＥＶ＿２〜ＢＥＶ＿４は鳥瞰図画像ＢＥＶ＿１を基準として回転および／または移動し、この結果、図６に示す全周鳥瞰図画像がメモリ１２ｍのワークエリアＷ２内に得られる。
【００３０】
図６において、重複エリアＯＬ＿１２が共通視野ＶＷ＿１２を再現するエリアに相当し、重複エリアＯＬ＿２３が共通視野ＶＷ＿２３を再現するエリアに相当する。また、重複エリアＯＬ＿３４が共通視野ＶＷ＿３４を再現するエリアに相当し、そして重複エリアＯＬ＿４１が共通視野ＶＷ＿４１を再現するエリアに相当する。
【００３１】
ＣＰＵ１２ｐはその後、船舶１００の上部を模したグラフィック画像Ｇ１またはＧ２をワークエリアＷ２上の全周鳥瞰図画像の中央に多重し、重複エリアＯＬ＿１２〜ＯＬ＿４１が四隅に位置する一部の画像を切り出す。切り出された画像は、船橋１０６内に設置された表示装置１６に操船支援画像として与えられる。グラフィック画像Ｇ１が多重されたときは図７（Ａ）に示す操船支援画像が表示装置１６から出力され、グラフィック画像Ｇ２が多重されたときは図７（Ｂ）に示す操船支援画像が表示装置１６から出力される。
【００３２】
グラフィック画像Ｇ１は、船体１０２（つまり甲板ＤＣＫ１，船室１０４および船橋１０６）を上方から模した画像に相当する。また、グラフィック画像Ｇ２は、船室１０４および船橋１０６のみを上方から模した画像に相当する。グラフィック画像Ｇ１は、操作パネル１８によって設定された基準高度が甲板ＤＣＫ１の高度よりも低いときに選択され、グラフィック画像Ｇ２は、操作パネル１８によって設定された基準高度が甲板ＤＣＫ１の高度以上のときに選択される。
【００３３】
船舶１００を桟橋ＬＰに着岸させるとき、操船支援画像は図８（Ａ）〜図８（Ｄ）に示す要領で変化する。ここでは、高度が甲板ＤＣＫ１→桟橋ＬＰ→水面ＷＳの順で低下することを前提とし、さらに、着岸のための操舵中は桟橋ＬＰの高度が基準高度とされる一方、着岸の後は甲板ＤＣＫ１の高度が基準高度とされることを前提とする。
【００３４】
操舵が行われている状態では、グラフィック画像Ｇ１がモニタ画面の中央に表示され、桟橋ＬＰおよび水面ＷＳを表す実画像がグラフィック画像Ｇ１の周囲に表示される（図８（Ａ）〜図８（Ｂ）参照）。桟橋ＬＰを表す実画像は、操舵とともにグラフィック画像Ｇ１に近づく。ただし、操舵中の基準高度は桟橋ＬＰの高度に合わせられるため、水面ＷＳを表す実画像の結合部分にズレが生じる。
【００３５】
船舶１００が桟橋ＬＰに着岸すると、グラフィック画像Ｇ１がグラフィック画像Ｇ２によって更新され、甲板ＤＣＫ１，桟橋ＬＰおよび水面ＷＳを表す実画像がグラフィック画像Ｇ２の周囲に表示される（図８（Ｃ）〜図８（Ｄ）参照）。ただし、着岸後の基準高度は甲板ＤＣＫ１の高度に合わせられるため、桟橋ＬＰを表す実画像の結合部分ならびに水面ＷＳを表す実画像の結合部分にズレが生じる。
【００３６】
鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４は、次の要領で作成される。なお、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４はいずれも同じ要領で作成されるため、鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を代表して鳥瞰図画像ＢＥＶ３の作成要領を説明する。
【００３７】
図９を参照して、カメラＣ＿３は、船橋１０６の外周後面の上端中央に、後方斜め下向きに配置される。カメラＣ＿３の俯角を“θｄ”とすると、図８に示す角度θは“１８０°−θｄ”に相当する。また、角度θは、９０°＜θ＜１８０°の範囲で定義される。
【００３８】
図９は、カメラ座標系Ｘ・Ｙ・Ｚと、カメラＣ＿３の撮像面Ｓの座標系Ｘｐ・Ｙｐと、世界座標系Ｘｗ・Ｙｗ・Ｚｗとの関係を示す。カメラ座標系Ｘ・Ｙ・Ｚは、Ｘ軸，Ｙ軸およびＺ軸を座標軸とする三次元の座標系である。座標系Ｘｐ・Ｙｐは、Ｘｐ軸およびＹｐ軸を座標軸とする二次元の座標系である。世界座標系Ｘｗ・Ｙｗ・Ｚｗは、Ｘｗ軸，Ｙｗ軸およびＺｗ軸を座標軸とする三次元の座標系である。
【００３９】
カメラ座標系Ｘ・Ｙ・Ｚでは、カメラＣ３の光学的中心を原点Ｏとして、光軸方向にＺ軸が定義され、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が定義され、そしてＺ軸およびＸ軸に直交する方向にＹ軸が定義される。撮像面Ｓの座標系Ｘｐ・Ｙｐでは、撮像面Ｓの中心を原点として、撮像面Ｓの横方向にＸｐ軸が定義され、撮像面Ｓの縦方向にＹｐ軸が定義される。
【００４０】
世界座標系Ｘｗ・Ｙｗ・Ｚｗでは、カメラ座標系ＸＹＺの原点Ｏを通る鉛直線と基準高度面との交点を原点Ｏｗとして、基準高度面と垂直な方向にＹｗ軸が定義され、カメラ座標系Ｘ・Ｙ・ＺのＸ軸と平行な方向にＸｗ軸が定義され、そしてＸｗ軸およびＹｗ軸に直交する方向にＺｗ軸が定義される。また、Ｘｗ軸からＸ軸までの距離は“ｈ”であり、Ｚｗ軸およびＺ軸によって形成される鈍角が上述の角度θに相当する。
【００４１】
カメラ座標系Ｘ・Ｙ・Ｚにおける座標を（ｘ，ｙ，ｚ）と表記した場合、“ｘ”，“ｙ”および“ｚ”はそれぞれ、カメラ座標系Ｘ・Ｙ・ＺにおけるＸ軸成分，Ｙ軸成分およびＺ軸成分を示す。撮像面Ｓの座標系Ｘｐ・Ｙｐにおける座標を（ｘｐ，ｙｐ）と表記した場合、“ｘｐ”および“ｙｐ”はそれぞれ、撮像面Ｓの座標系Ｘｐ・ＹｐにおけるＸｐ軸成分およびＹｐ軸成分を示す。世界座標系Ｘｗ・Ｙｗ・Ｚｗにおける座標を（ｘｗ，ｙｗ，ｚｗ）と表記した場合、“ｘｗ”，“ｙｗ”および“ｚｗ”はそれぞれ、世界座標系Ｘｗ・Ｙｗ・ＺｗにおけるＸｗ軸成分，Ｙｗ軸成分およびＺｗ軸成分を示す。
【００４２】
カメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）と世界座標系Ｘｗ・Ｙｗ・Ｚｗの座標（ｘｗ，ｙｗ，ｚｗ）との間の変換式は、数１で表される。
【数１】
2010041530.tif 000003
【００４３】
ここで、カメラＣ＿３の焦点距離を“ｆ”とすると、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）とカメラ座標系Ｘ・Ｙ・Ｚの座標（ｘ，ｙ，ｚ）との間の変換式は、数２で表される。
【数２】
2010041530.tif 000004
【００４４】
また、数１および数２に基づいて数３が得られる。数３は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）と二次元地面座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）との間の変換式を示す。
【数３】
2010041530.tif 000005
【００４５】
また、図５（Ｃ）に示す鳥瞰図画像ＢＥＶ＿３の座標系である鳥瞰図座標系Ｘ３・Ｙ３が定義される。鳥瞰図座標系Ｘ３・Ｙ３は、Ｘ３軸及びＹ３軸を座標軸とする二次元の座標系である。鳥瞰図座標系Ｘ３・Ｙ３における座標を（ｘ３，ｙ３）と表記した場合、鳥瞰図画像ＢＥＶ＿３を形成する各画素の位置は座標（ｘ３，ｙ３）によって表される。“ｘ３”および“ｙ３”はそれぞれ、鳥瞰図座標系Ｘ３・Ｙ３におけるＸ３軸成分およびＹ３軸成分を示す。
【００４６】
基準高度面を表す二次元座標系Ｘｗ・Ｚｗから鳥瞰図座標系Ｘ３・Ｙ３への投影は、いわゆる平行投影に相当する。仮想カメラつまり仮想視点の高さを“Ｈ”とすると、二次元座標系Ｘｗ・Ｚｗの座標（ｘｗ，ｚｗ）と鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）との間の変換式は、数４で表される。仮想カメラの高さＨは予め決められている。
【数４】
2010041530.tif 000006
【００４７】
さらに、数４に基づいて数５が得られ、数５および数３に基づいて数６が得られ、そして数６に基づいて数７が得られる。数７は、撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）を鳥瞰図座標系Ｘ３・Ｙ３の座標（ｘ３，ｙ３）に変換するための変換式に相当する。
【数５】
2010041530.tif 000007
【数６】
2010041530.tif 000008
【数７】
2010041530.tif 000009
【００４８】
撮像面Ｓの座標系Ｘｐ・Ｙｐの座標（ｘｐ，ｙｐ）は、カメラＣ＿３によって捉えられた被写界像Ｐ＿３の座標を表す。したがって、カメラＣ＿３からの被写界像Ｐ＿３は、数７を用いることによって鳥瞰図画像ＢＥＶ＿３に変換される。実際には、被写界像Ｐ＿３はまずレンズ歪み補正などの画像処理を施され、その後に数７によって鳥瞰図画像ＢＥＶ＿３に変換される。
【００４９】
ＣＰＵ１２ｐは、具体的には図１１〜図１２に示す画像処理タスクを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ１４（図１参照）に記憶される。
【００５０】
まずステップＳ１で基準高度を水面ＷＳの高度に設定し、多重すべきグラフィック画像をステップＳ３で“Ｇ１”に設定する。ステップＳ５ではカメラＣ＿１〜Ｃ＿４から被写界像Ｐ＿１〜Ｐ＿４をそれぞれ取り込み、ステップＳ７では取り込まれた被写界像Ｐ＿１〜Ｐ＿４に基づいて鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を作成する。ステップＳ７の処理ではステップＳ１または後述するステップＳ１７で指定された基準高度が参照され、作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４はワークエリアＷ１に確保される。
【００５１】
ステップＳ９では、ステップＳ７に作成された鳥瞰図画像ＢＥＶ＿１〜ＢＥＶ＿４を合成して全周鳥瞰図画像を作成し、作成された全周鳥瞰図画像をワークエリアＷ２に確保する。ステップＳ１１では、ワークエリアＷ２に確保された全周鳥瞰図画像の中心に、ステップＳ１または後述するステップＳ２１で選択されたグラフィック画像を多重する。ステップＳ１３では、グラフィック画像が多重された全周鳥瞰図画像の一部をワークエリアＷ２から切り出し、切り出された画像を操船支援画像として表示装置１６に向けて出力する。
【００５２】
ステップＳ１５では高度変更指示が発行されたか否かを判別し、ＮＯであればそのままステップＳ５に戻る一方、ＹＥＳであればステップＳ１７で基準高度を高度変更指示に従って変更する。ステップＳ１９では変更後の基準高度が甲板ＤＣＫ１の高度以上であるか否かを判別し、ＮＯであればそのままステップＳ５に戻る一方、ＹＥＳであれば多重すべきグラフィック画像をステップＳ２１で“Ｇ２”に変更してからステップＳ５に戻る。
【００５３】
以上の説明から分かるように、カメラＣ＿１〜Ｃ＿４は、甲板ＤＣＫ１および水面ＷＳを跨ぐ視野を各々が有するように、船橋１０６の互いに異なる位置に設けられる。ＣＰＵ１２ｐは、カメラＣ＿１〜Ｃ＿４からそれぞれ出力された被写界像Ｐ＿１〜Ｐ＿４を、基準高度を参照して合成する(S7, S9)。船舶１００は高度の増大に伴って減少する広さを有し、ＣＰＵ１２ｐは、基準高度よりも大きい高度に対応するグラフィック画像（船舶１００の図形画像）を、合成処理によって作成された全周鳥瞰図画像に多重する(S3, S11, S21)。ＣＰＵ１２ｐはまた、グラフィック画像が多重された全周鳥瞰図画像の一部を、操船支援画像として表示装置１６に向けて出力する(S13)。ＣＰＵ１２ｐはさらに、高度変更指示に応答して基準高度の大きさを変更する(S17)。
【００５４】
カメラＣ＿１〜Ｃ＿４が互いに異なる位置に設けられることから、基準高度に存在する被写体を表す合成画像の品質を重視すると、基準高度と異なる高度に存在する被写体を表す合成画像の品質が低下する。
【００５５】
ただし、この実施例では、基準高度の大きさが高度変更指示に応答して変更されるため、被写体が存在する注目平面に基準高度を合わせることで、注目平面を表す合成画像の品質の低下が回避される。つまり、基準高度の大きさを変更可能とすることで、甲板ＤＣＫ１および水面ＷＳを跨ぐ視野で捉えられた被写界を表す合成画像の品質が適応的に改善される。
【００５６】
なお、この実施例では、高度変更指示は操作パネル１８の操作によって発行され、基準高度はこうして発行された高度変更指示に従って変更される。しかし、船舶１００の移動速度を検知する速度センサ２０，船舶１００の揺れを検知する揺れセンサ２２，船舶１００の現在位置を検出するＧＰＳ装置２４および高度を含む地図情報が保存されたデータベースＤＢを図１３に示すように追加し、速度センサ２０，揺れセンサ２２またはＧＰＳ装置２４の出力に基づいて高度変更指示を追加的に発行するようにしてもよい。この場合、好ましくは、ＣＰＵ１２ｐは、図１４に示す切換え制御タスクをさらに実行する。
【００５７】
まずステップＳ３１で船舶１００が着岸または離岸のために操舵中であるか否かをＧＰＳ装置２４および速度センサ２０の出力に基づいて判別する。ここでＮＯであればそのままステップＳ３７に進む一方、ＹＥＳであればステップＳ３３〜Ｓ３５を経てステップＳ３７に進む。ステップＳ３３では、ＧＰＳ装置２４の出力とデータベースＤＢに保存された地図情報とに基づいて、桟橋ＬＰの高度を検出する。また、ステップＳ３５では、検出された桟橋ＬＰの高度を記述した高度変更指示を発行する。
【００５８】
ステップＳ３７では、速度センサ２０によって検知された船舶１００の移動速度が高速であるか否か（移動速度が基準を上回るか否か）を判別する。ステップＳ４３では、揺れセンサ２２によって検出された船舶１００の揺れが大きいか否か（揺れが基準を上回るか  否か）を判別する。
【００５９】
ステップＳ３７でＹＥＳであれば、現時点の基準高度が水面ＷＳの高度に相当するか否かをステップＳ３９で判別する。ここでＹＥＳであればそのままステップＳ３１に戻る一方、ＮＯであれば水面ＷＳの高度が記述された高度変更指示をステップＳ４１で発行してからステップＳ３１に戻る。
【００６０】
ステップＳ４３でＹＥＳであれば、現時点の基準高度が甲板ＤＣＫ１の高度に相当するか否かをステップＳ４５で判別する。ここでＹＥＳであればそのままステップＳ３１に戻る一方、ＮＯであれば甲板ＤＣＫ１の高度が記述された高度変更指示をステップＳ４７で発行してからステップＳ３１に戻る。なお、ステップＳ３７およびＳ４３のいずれもＮＯであれば、そのままステップＳ３１に戻る。
【００６１】
したがって、着岸または離岸のための操舵中は、桟橋ＬＰを基準高度として作成された全周鳥瞰図画像の中心にグラフィック画像Ｇ１が多重される。また、高速移動時は、水面ＷＳを基準高度として作成された全周鳥瞰図画像の中心にグラフィック画像Ｇ１が多重される。さらに、停船または低速移動時に揺れが生じると、甲板ＤＣＫ１を基準高度として作成された全周鳥瞰図画像の中心にグラフィック画像Ｇ２が多重される。これによって、操縦性が向上する。
【００６２】
また、図１〜図１２実施例では、カメラＣ＿１〜Ｃ＿４を船橋１０６の外周面の上端に配置するようにしているが、図１５（Ａ）〜図１５（Ｂ）に示すような船舶２００を準備し、カメラＣ＿１は船首に斜め下向きに配置し、カメラＣ＿２を船橋２０６の右斜め前方に斜め下向き配置し、カメラＣ＿３を船橋２０６の後方に斜め下向き配置し、そしてカメラＣ＿４を船橋２０６の左斜め前方に斜め下向き配置するようにしてもよい。この場合、視野ＶＷ＿１〜ＶＷ＿４は図１６に示す要領で分布する。
【００６３】
カメラＣ＿１を船首に配置することで、船首の下方に死角が生じる事態が回避される。また、カメラＣ＿２およびＣ＿４を船橋２０６の右斜め前方および左斜め前方に配置することで、甲板ＤＣＫ２が漏れなく捉えられる。
【００６４】
さらに、この実施例では、船舶１００を模したグラフィック画像Ｇ１またはＧ２を全周鳥瞰図画像に多重するようにしている。しかし、図１７に示すように、魚群探知機２８によって作成された魚影情報や水深センサ３０によって検知された水深情報などの周辺環境情報を追加的に取り込み、取り込まれた周辺環境情報に基づく画像を全周鳥瞰図画像に多重するようにしてもよい。
【００６５】
この場合、好ましくは、ＣＰＵ１２ｐは、画像処理タスクにおいて図１８に示すステップＳ５１〜Ｓ５７の処理を追加的に実行する。ステップＳ１１の処理が完了すると、ステップＳ５１で魚群探知機２８から魚影情報を取り込み、取り込まれた魚影情報に基づく魚影画像をステップＳ５３で全周鳥瞰図画像に多重する。続いて、ステップＳ５５で水深センサ３０から水深情報を取り込み、水深を示すキャラクタをステップＳ５７で全周鳥瞰図画像に多重する。ステップＳ５７の処理が完了すると、ステップＳ１３に進む。このような処理を追加することで、娯楽性が向上する。
【００６６】
上述の実施例に関する注釈事項を以下に示す。この注釈事項は、矛盾がない限り、上述の実施例に任意に組み合わせることが可能である。
【００６７】
実施例で述べたような撮影画像から鳥瞰図画像を生成する座標変換は、一般に透視投影変換と呼ばれる。この透視投影変換を用いるのではなく、公知の平面射影変換によって撮影画像から鳥瞰図画像を生成するようにしてもよい。平面射影変換を用いる場合、撮影画像上の各画素の座標値を鳥瞰図画像上の各画素の座標値に変換するためのホモグラフィ行列（座標変換行列）をカメラ校正処理の段階で予め求めておく。ホモグラフィ行列の求め方は公知である。そして、画像変換を行う際に、ホモグラフィ行列に基づいて撮影画像を鳥瞰図画像に変換すればよい。いずれにせよ、撮影画像を鳥瞰図画像上に投影することによって撮影画像が鳥瞰図画像に変換される。
【図面の簡単な説明】
【００６８】
【図１】この発明の一実施例の構成を示すブロック図である。
【図２】（Ａ）は船舶を前方から眺めた状態を示す図解図であり、（Ｂ）は船舶を後方から眺めた状態を示す図解図である。
【図３】（Ａ）は船舶を側方から眺めた状態を示す図解図であり、（Ｂ）は船舶を上方から眺めた状態を示す図解図である。
【図４】船舶に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。
【図５】（Ａ）は前カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｂ）は右カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｃ）は左カメラの出力に基づく鳥瞰図画像の一例を示す図解図であり、（Ｄ）は後カメラの出力に基づく鳥瞰図画像の一例を示す図解図である。
【図６】図５（Ａ）〜図５（Ｄ）に示す鳥瞰図画像に基づく全周鳥瞰図画像の一例を示す図解図である。
【図７】（Ａ）は表示装置によって表示される操船支援画像の一例を示す図解図であり、（Ｂ）は表示装置によって表示される操船支援画像の他の一例を示す図解図である。
【図８】（Ａ）は着岸操舵中に表示される操船支援画像の一例を示す図解図であり、（Ｂ）は着岸操舵中に表示される操船支援画像の他の一例を示す図解図であり、（Ｃ）は着岸後に表示される操船支援画像の一例を示す図解図であり、（Ｄ）は着岸後に表示される操船支援画像の他の一例を示す図解図である。
【図９】船舶に取り付けられたカメラの角度を示す図解図である。
【図１０】カメラ座標系と撮像面の座標系と世界座標系との関係を示す図解図である。
【図１１】図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】他の実施例の構成を示すブロック図である。
【図１４】図１３実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１５】（Ａ）は他の船舶を側方から眺めた状態を示す図解図であり、（Ｂ）は他の船舶を上方から眺めた状態を示す図解図である。
【図１６】他の船舶に取り付けられた複数のカメラによって捉えられる視野の一例を示す図解図である。
【図１７】その他の実施例の構成を示すブロック図である。
【図１８】図１７実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【符号の説明】
【００６９】
１０  …操船支援装置
Ｃ１〜Ｃ４  …カメラ
１２  …画像処理回路
１２ｐ  …ＣＰＵ
１２ｍ  …メモリ
１４  …フラシュメモリ
１６  …表示装置
１００，２００  …船舶
【図１】
2010041530.tif 000010
【図２】
2010041530.tif 000011
【図３】
2010041530.tif 000012
【図４】
2010041530.tif 000013
【図５】
2010041530.tif 000014
【図６】
2010041530.tif 000015
【図７】
2010041530.tif 000016
【図８】
2010041530.tif 000017
【図９】
2010041530.tif 000018
【図１０】
2010041530.tif 000019
【図１１】
2010041530.tif 000020
【図１２】
2010041530.tif 000021
【図１３】
2010041530.tif 000022
【図１４】
2010041530.tif 000023
【図１５】
2010041530.tif 000024
【図１６】
2010041530.tif 000025
【図１７】
2010041530.tif 000026
【図１８】
2010041530.tif 000027