(57)【要約】【課題】映像と水上移動体の航行位置との関係を直感的に把握可能な合成映像を生成する映像生成装置を提供する。【解 決手段】映像生成装置１は、姿勢取得部１６と、進行ルート取得部１７ａと、進行ルート表示データ生成部２２ｂと、データ合成部２５と、を備え、以下の映像 生成方法を行う。姿勢取得部１６は、カメラ３又はカメラ３が設置された自船の姿勢を示す姿勢情報を取得する。進行ルート取得部１７ａは、自船の、位置及び 方位の少なくとも一方の検出結果に基づいて、当該自船の進行ルートを取得する。進行ルート表示データ生成部２２ｂは、姿勢情報及び進行ルートに基づいて、 進行ルート表示データを生成する。データ合成部２５は、進行ルート表示データと、カメラ３が出力する映像と、を合成した合成映像を生成する。【選択図】図１
2019130940.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置又は撮影装置が設置された水上移動体の姿勢を示す姿勢情報を取得する姿勢取得部と、
前記水上移動体の、位置及び方位の少なくとも一方の検出結果に基づいて、当該水上移動体の進行ルートを取得する進行ルート取得部と、
前記姿勢情報及び前記進行ルートに基づいて、進行ルート表示データを生成する進行ルート表示データ生成部と、
前記進行ルート表示データと、前記撮影装置が出力する映像と、を合成した合成映像を生成するデータ合成部と、
を備えることを特徴とする映像生成装置。
【請求項２】
請求項１に記載の映像生成装置であって、
予め設定された基準位置から、前記水上移動体又は前記進行ルートまでの距離を取得する距離取得部を備えることを特徴とする映像生成装置。
【請求項３】
請求項２に記載の映像生成装置であって、
前記基準位置は、基準点、基準線、又は基準範囲であることを特徴とする映像生成装置。
【請求項４】
請求項３に記載の映像生成装置であって、
前記距離取得部が取得した前記距離に基づいて、距離表示データを生成する距離表示データ生成部を備え、
前記データ合成部は、前記進行ルートと関連付けた位置に前記距離表示データを更に合成した前記合成映像を生成することを特徴とする映像生成装置。
【請求項５】
請求項３又は４に記載の映像生成装置であって、
前記距離取得部が取得した前記距離に応じて、前記進行ルート表示データの表示と非表示を切り替える表示切替部を備えることを特徴とする映像生成装置。
【請求項６】
請求項２から５までの何れか一項に記載の映像生成装置であって、
前記距離取得部は、前記進行ルート上であって、前記水上移動体の位置から所定長さ前方にある点から、前記基準位置までの距離を取得することを特徴とする映像生成装置。
【請求項７】
請求項１から６までの何れか一項に記載の映像生成装置であって、
ユーザにより設定された設定ルートと、前記進行ルートと、の進行方向の差異を取得する方位差取得部を備えることを特徴とする映像生成装置。
【請求項８】
請求項１から７までの何れか一項に記載の映像生成装置であって、
ユーザにより設定された設定ルートと前記姿勢情報とに基づいて、設定ルート表示データを生成する設定ルート表示データ生成部を備え、
前記データ合成部は、前記設定ルート表示データを更に合成した前記合成映像を生成することを特徴とする映像生成装置。
【請求項９】
請求項８に記載の映像生成装置であって、
前記合成映像に含まれる前記進行ルート表示データの進行方向の長さが、前記合成映像に含まれる前記設定ルート表示データの進行方向の長さよりも短いことを特徴とする映像生成装置。
【請求項１０】
請求項８又は９に記載の映像生成装置であって、
前記データ合成部は、前記設定ルートをオフセットしたルートが前記進行ルート表示データとして描画された前記合成映像を生成することを特徴とする映像生成装置。
【請求項１１】
請求項１から９までの何れか一項に記載の映像生成装置であって、
前記データ合成部は、前記水上移動体の船首方位又は当該水上移動体の移動軌跡に基づいて算出される進行方向を延長した前記進行ルート表示データが描画された前記合成映像を生成することを特徴とする映像生成装置。
【請求項１２】
請求項１から１１までの何れか一項に記載の映像生成装置であって、
前記姿勢取得部は、前記撮影装置が撮影した映像に基づいて前記姿勢情報を取得することを特徴とする映像生成装置。
【請求項１３】
請求項１から１１までの何れか一項に記載の映像生成装置であって、
前記姿勢取得部は、ＧＮＳＳセンサを用いて前記姿勢情報を取得することを特徴とする映像生成装置。
【請求項１４】
請求項２から６までの何れか一項に記載の映像生成装置であって、
前記距離取得部が取得した前記距離が所定の閾値を超えた場合に警告をする警告部を更に備えることを特徴とする映像生成装置。
【請求項１５】
撮影装置又は撮影装置が設置された水上移動体の姿勢を示す姿勢情報を取得し、
前記水上移動体の、位置及び方位の少なくとも一方の検出結果に基づいて、当該水上移動体の進行ルートを取得し、
前記姿勢情報及び前記進行ルートに基づいて、進行ルート表示データを生成し、
前記進行ルート表示データと、前記撮影装置が出力する映像と、を合成した合成映像を生成することを特徴とする映像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主として、水上移動体の周囲の様子を表示する映像を生成する映像生成装置に関する。
【背景技術】
【０００２】
この種の映像生成装置は、例えば特許文献１に開示されている。この特許文献１の映像生成装置は、カメラと、撮影データ受信部と、位置取得部と、映像生成部 と、物標表示物生成部と、ディスプレイと、を備え、カメラからの画像ストリームについてジオリファレンシングを行う構成となっている。【０００３】
特許文献１において、撮影データ受信部は、船舶のカメラが撮影したストリーム画像データを受信する。位置取得部は、当該船舶の周囲の物標（他船等）の位置 を取得する。映像生成部は、ストリーム画像データの画像に基づいて、ディスプレイに映し出す映像を生成する。当該映像は、カメラの位置及び視野に対応して いる。物標表示物生成部は、前記映像上の点に、物標を示す物標表示物を生成する。そして、ディスプレイには、前記映像と、前記映像上の点に配置される前記 物標表示物と、が表示される構成となっている。【０００４】
上記の映像生成部は、各点が前記映像上の点に対応し、水上移動体の周囲の 環境を示す３次元仮想空間に、前記映像を投影することにより前記映像を生成する。更に、上記の物標表示物生成部は、物標の位置情報と、３次元仮想空間の点 のそれぞれと、に基づいて、前記物標表示物を生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許出願公開第２０１５／０３５０５５２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１では物標表示物を映像に投影する方法を開示しているが、映像と水上移動体の航行位置との関係を直感的に把握する方法については開示されていない。【０００７】
本発明は以上の事情に鑑みてされたものであり、その主要な目的は、映像と水上移動体の航行位置との関係を直感的に把握可能な合成映像を生成する映像生成装置を提供することにある。
【課題を解決するための手段及び効果】
【０００８】
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
【０００９】
本発明の第１の観点によれば、以下の構成の映像生成装置が提供される。即ち、この映像生成装置は、姿勢取得部と、進行ルート取得部と、進行ルート表示デー タ生成部と、データ合成部と、を備える。前記姿勢取得部は、撮影装置又は撮影装置が設置された水上移動体の姿勢を示す姿勢情報を取得する。前記進行ルート 取得部は、前記水上移動体の、位置及び方位の少なくとも一方の検出結果に基づいて、当該水上移動体の進行ルートを取得する。前記進行ルート表示データ生成 部は、前記姿勢情報及び前記進行ルートに基づいて、進行ルート表示データを生成する。前記データ合成部は、前記進行ルート表示データと、前記撮影装置が出 力する映像と、を合成した合成映像を生成する。
【００１０】
本発明の第２の観点によれば、以下の処理を行う映像生成方法が提供され る。撮影装置又は撮影装置が設置された水上移動体の姿勢を示す姿勢情報を取得する。前記水上移動体の、位置及び方位の少なくとも一方の検出結果に基づい て、当該水上移動体の進行ルートを取得する。前記姿勢情報及び前記進行ルートに基づいて、進行ルート表示データを生成する。前記進行ルート表示データと、 前記撮影装置が出力する映像と、を合成した合成映像を生成する。
【００１１】
これにより、合成映像上に周囲の映像と、水上移動体の進行ルートとが表示されるため、進行ルートを直感的に把握できる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る映像生成装置の全体的な構成を示すブロック図。
【図２】船舶に備えられる各種の機器を示す側面図。
【図３】映像生成装置が仮想現実オブジェクトとして表示するウェイポイント、設定ルート、及び進行ルートを説明する概念図。
【図４】進行ルートの生成方法の例を示す図。
【図５】３次元仮想空間に仮想現実オブジェクトを配置して生成される３次元シーンデータと、当該３次元仮想空間に配置される映写スクリーンと、を説明する概念図。
【図６】データ合成部が出力する合成映像を示す図。
【図７】データ合成部が出力する別の合成映像を示す図。
【図８】基準位置からの距離の計算方法の例を示す図。
【図９】進行ルート表示データの表示／非表示を判断する処理を示すフローチャート。
【発明を実施するための形態】
【００１３】
次に、図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る映像生成装置１の全体的な構成を示すブロック図である。図２は、船舶４に備えられる各種の機器を示す側面図である。
【００１４】
図１に示す映像生成装置１は、例えば図２に示すような船舶（水上移動体）４に搭載され、カメラ（撮影装置）３で撮影した映像をベースとして、当該船舶４の 周囲の様子を仮想現実的に表現する映像を生成するための装置である。映像生成装置１が生成した映像は、ディスプレイ２に表示される。
【００１５】
ディスプレイ２は、例えば、当該船舶４（自船）で操船を行うオペレータが参照する操船支援装置のディスプレイとして構成することができる。ただし、ディス プレイ２は上記に限定されず、例えば、自船４から周囲の状況を監視する操船補助者が携帯する携帯型コンピュータのディスプレイ、自船４の客室で乗客が鑑賞 するためのディスプレイ、乗船者が装着するウェアラブルグラス等のヘッドマウントディスプレイ、又は、自船４から離れた位置から運行状況を管理する管理局 に配置されるディスプレイの表示部とすることが可能である。
【００１６】
映像生成装置１は、自船４に設置されたカメラ３によって撮影された自船４の周囲の映像と、自船４の周囲の付加表示情報（後に詳述）を仮想現実的に表現する表示データと、を合成することにより、ディスプレイ２への出力映像である合成映像を生成する。
【００１７】
次に、主に図１を参照して、映像生成装置１に電気的に接続されるカメラ３及び各種の船舶機器について説明する。
【００１８】
カメラ３は、自船４の周囲を撮影する広角型のビデオカメラとして構成されている。このカメラ３はライブ出力機能を有しており、撮影結果としての動画データ （映像データ）をリアルタイムで生成して映像生成装置１に出力することができる。図２に示すように、カメラ３は、撮影方向が船体に対して水平前方となるよ うに船舶４に設置される。
【００１９】
カメラ３は図略の回転機構を介して船舶４に取り付けられており、パン／チルト動作を指示する信 号が映像生成装置１から入力されることにより、その撮影方向を、船舶４の船体を基準として所定の角度範囲で変更することができる。また、自船４の高さ及び 姿勢は波等により様々に変化するので、それに伴って、カメラ３の高さが変化するとともに姿勢（撮影方向）も３次元的に変化することになる。
【００２０】
本実施形態の映像生成装置１は、上記のカメラ３のほか、船舶機器としてのＧＮＳＳコンパス（方位センサ、姿勢センサ）５、角速度センサ６、ＧＮＳＳ受信機 ７、加速度センサ８、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等と電気的に接続されている。
【００２１】
ＧＮＳＳコンパス５は、自船４に固定された複数のＧＮＳＳアンテナ（測位用アンテナ）を備える。ＧＮＳＳコンパス５は、それぞれのＧＮＳＳアンテナの位置 関係を、測位衛星から受信した電波に基づいて算出する。特に、本実施形態のＧＮＳＳコンパス５は、各ＧＮＳＳアンテナが受信した電波の搬送波位相の位相差 に基づいてＧＮＳＳアンテナの位置関係を求めるように構成されている（この処理は公知であるので、詳細な説明は省略する）。これにより、自船４の船首方位 を精度良く取得することができる。
【００２２】
ＧＮＳＳコンパス５は、船舶４の姿勢を３次元的に取得することができる。言い換えれ ば、ＧＮＳＳコンパス５は、船首方位（即ち、船舶４のヨー角）だけでなく、船舶４のロール角及びピッチ角を検出することができる。ＧＮＳＳコンパス５で取 得された自船４の姿勢情報は、映像生成装置１の姿勢取得部１６や、当該姿勢情報を利用する他の船舶機器に出力される。
【００２３】
角 速度センサ６は、例えば公知の振動ジャイロセンサから構成されており、ＧＮＳＳコンパス５の姿勢検出間隔（例えば、１秒）より短い周期で、船舶４のヨー角 速度、ロール角速度及びピッチ角速度を検出することができる。ＧＮＳＳコンパス５が検出した角度と、角速度センサ６が検出した角速度の積分値と、を併用す ることにより、ＧＮＳＳコンパス５だけを用いる場合よりも短い時間間隔で船舶４の姿勢を取得することができる。また、角速度センサ６は、上述の測位衛星か らの電波が例えば橋等の障害物により遮られて、ＧＮＳＳコンパス５による姿勢の検出が不能となっている場合に、姿勢情報を取得するための代替的な手段とし て機能する。
【００２４】
ＧＮＳＳ受信機７は、前記のＧＮＳＳアンテナが測位衛星から受信した電波に基づいて、自船４の位置（詳細に は、ＧＮＳＳアンテナの緯度、経度及び高さ）を求める。ＧＮＳＳ受信機７は、得られた位置情報を、映像生成装置１の位置取得部１５や、当該位置情報を利用 する他の船舶機器に出力する。
【００２５】
加速度センサ８は、例えば公知の静電容量検出型のセンサとして構成されており、ＧＮＳＳ受 信機７の位置検出間隔（例えば、１秒）より短い周期で、船舶４のヨー軸、ロール軸及びピッチ軸における加速度を検出することができる。ＧＮＳＳ受信機７が 検出した位置と、加速度センサ８が検出した加速度の２重積分値と、を併用することにより、ＧＮＳＳ受信機７だけを用いる場合よりも短い時間間隔で自船４の 位置を取得することができる。また、加速度センサ８は、上述の測位衛星からの電波が遮られてＧＮＳＳ受信機７による位置の検出が不能となっている場合に、 位置情報を取得するための代替的な手段として機能する。
【００２６】
本実施形態では図２に示すように、角速度センサ６、ＧＮＳＳ受信 機７及び加速度センサ８は、ＧＮＳＳコンパス５に内蔵されたものが用いられている。ただし、角速度センサ６、ＧＮＳＳ受信機７及び加速度センサ８のうち全 部又は一部が、ＧＮＳＳコンパス５とは独立して設けられてもよい。
【００２７】
ＡＩＳ受信機９は、他船や陸上局等から送信される ＡＩＳ情報を受信するものである。ＡＩＳ情報には、自船４の周囲を航行している他船の位置（緯度・経度）、当該他船の長さ及び幅、当該他船の種類及び識別 情報、当該他船の船速、針路及び目的地、並びにランドマークの位置及び識別情報等の、様々な情報が含まれる。
【００２８】
ＥＣＤＩＳ１０は、ＧＮＳＳ受信機７から自船４の位置情報を取得するとともに、予め記憶されている電子海図情報に基づいて、自船４の周囲の情報を映像生成装置１に出力する。
【００２９】
プロッタ１１は、ＧＮＳＳ受信機７から自船４の位置を継続して取得することにより、自船４の航行軌跡の情報を生成することができる。また、プロッタ１１ は、ユーザに複数のウェイポイント（自船４が通過する予定の地点）を設定させることにより、これらのウェイポイントを順次繋ぐようにして設定ルートを生成 することができる。
【００３０】
レーダ装置１２は、自船４の周囲に存在する他船等の物標を探知することができる。また、このレーダ装 置１２は物標を捕捉及び追尾することが可能な公知の目標追尾機能（Ｔａｒｇｅｔ  Ｔｒａｃｋｉｎｇ、ＴＴ）を有しており、当該物標の位置及び速度ベクトル （ＴＴ情報）を求めることができる。
【００３１】
ソナー１３は、超音波を水中に送信するとともに、その超音波が魚群等で反射した反射波を受信することにより、魚群等を探知する。
【００３２】
映像生成装置１は、ユーザが操作するキーボード３１及びマウス３２に接続されている。ユーザは、キーボード３１及びマウス３２を操作することで、映像の生 成に関する各種の指示を行うことができる。この指示には、カメラ３のパン／チルト動作、合成映像の視点の設定等が含まれる。
【００３３】
次に、映像生成装置１の構成について、主に図１を参照して詳細に説明する。
【００３４】
図１に示すように、映像生成装置１は、撮影映像入力部２１、位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２６、アンテナ位置設定部２７、表示切替部２８、警告部２９及び合成映像生成部２０を備える。
【００３５】
具体的には、映像生成装置１は公知のコンピュータとして構成され、図示しないが、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を備える。更に、映像生成装置１ は、後述の３次元画像処理を高速で行うためのＧＰＵを備えている。そして、例えばＨＤＤには、本発明の映像合成処理を実行させるためのソフトウェアが記憶 されている。このハードウェアとソフトウェアの協働により、映像生成装置１を、上記の撮影映像入力部２１等として機能させることができる。
【００３６】
撮影映像入力部２１は、カメラ３が出力する映像データを、例えば３０フレーム毎秒で入力することができる。撮影映像入力部２１は、入力された映像データを、合成映像生成部２０（後述のデータ合成部２５）に出力する。
【００３７】
位置取得部１５は、ＧＮＳＳ受信機７及び加速度センサ８の検出結果に基づいて、自船４の現在の位置をリアルタイムで取得する。
【００３８】
姿勢取得部１６は、ＧＮＳＳコンパス５及び角速度センサ６の検出結果に基づいて、自船４の現在の姿勢をリアルタイムで取得する。また、姿勢取得部１６は、 自船４の現在の姿勢と、カメラ３へのパン／チルト動作の指示と、に基づいて、カメラ３の現在の姿勢（自船４に対する姿勢ではなく、水面等の船外に対する姿 勢）をリアルタイムで取得する。
【００３９】
なお、カメラ３（詳細には、パン／チルト動作とともに姿勢が変化する部分）にＧＮＳＳコ ンパス５等の姿勢検出センサを取り付けることで、カメラ３の姿勢が直接的に検出される構成であってもよい。あるいは、カメラ３が撮影した映像に基づいて、 当該カメラ３の姿勢が検出される構成であってもよい。具体的には、カメラ３が撮影した映像の水面の位置又はその変化等に基づいて、カメラ３の姿勢が検出さ れる。
【００４０】
付加表示情報取得部１７は、ＡＩＳ受信機９、ＥＣＤＩＳ１０、プロッタ１１、レーダ装置１２、及びソナー１３等が 映像生成装置１に出力する情報に基づいて、カメラ３で撮影した映像に対して付加的に表示する情報（付加表示情報）を取得する。付加表示情報取得部１７は、 具体的には、自船４がこれから進行するルートである進行ルートを取得する進行ルート取得部１７ａと、予め設定された設定ルート等の基準位置からの距離を取 得する距離取得部１７ｂと、設定ルートの方位と自船の進行方向の差（方位差）を取得する方位差取得部１７ｃと、として機能する。なお、これらの付加表示情 報の詳細は後述する。
【００４１】
また、位置取得部１５、姿勢取得部１６、及び付加表示情報取得部１７は、映像生成装置１の外部（例 えば各種のセンサ）で算出された情報を取得する構成であってもよいし、映像生成装置１の内部（検出値に基づいて情報を算出する部分）で算出された情報を取 得する構成であってもよい。
【００４２】
図１の記憶部１８は、各種の情報を記憶するメモリとして構成されている。この記憶部１８は、仮想現実オブジェクトを生成するための設定値等を記憶する。
【００４３】
撮影位置設定部２６は、自船４におけるカメラ３の位置（撮影位置）、具体的には、船の長さ方向及び幅方向でのカメラ３の位置と、上下方向でのカメラの位置 （カメラ３の高さ）と、を設定することができる。カメラ３の高さは、自船４において通常想定される喫水線からの高さとすることができるが、これに限定され ず、例えば、船底からの高さとすることができる。この撮影位置の設定は、例えば、ユーザがカメラ３の位置を実際に計測した結果をキーボード３１及びマウス ３２等を操作して入力することで行うことができる。
【００４４】
アンテナ位置設定部２７は、自船４におけるＧＮＳＳアンテナの位置 （アンテナ位置）を設定することができる。このアンテナ位置は、例えば、制御の標準となる位置である制御標準点４ａを基準とした、船の長さ方向、幅方向、 及び上下方向での位置とすることができる。この制御標準点４ａは様々に定めることができるが、本実施形態では、自船４の船体の中央で、かつ、通常想定され る喫水線と同じ高さとなる位置に定められている。アンテナ位置の設定は、上記の撮影位置と同様に、例えば実際の計測値を入力することで行うことができる。
【００４５】
表示切替部２８は、ディスプレイ２に表示される仮想現実オブジェクトの表示／非表示及び表示態様を切り替える処理を行う（詳細は後述）。
【００４６】
警告部２９は、予め設定した条件を満たした場合に、ユーザに対して警告を行う。警告部２９は、自ら警告音を発生させる構成であってもよいし、外部の警告音 発生装置へ所定の信号を送信することで警告音を発生させる構成であってもよい。また、警告としては、警告音に限られない。例えば、警告部２９は、ディスプ レイ２へ所定の信号を送信することで、画面に警告を表示させる構成であってもよい。なお、警告部２９が警告を発生させる条件については後述する。
【００４７】
位置取得部１５、姿勢取得部１６、付加表示情報取得部１７、記憶部１８、撮影位置設定部２６、及びアンテナ位置設定部２７は、取得し、記憶し、又は設定された情報を、合成映像生成部２０に出力する。
【００４８】
合成映像生成部２０は、ディスプレイ２に映し出す合成映像を生成するものである。当該合成映像生成部２０は、３次元シーン生成部２２と、距離表示データ生成部２３と、方位表示データ生成部２４と、データ合成部２５と、を備える。
【００４９】
３次元シーン生成部２２は、図５に示すように、３次元仮想空間４０に、付加表示情報に対応する仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖを配置すること により、仮想現実の３次元シーンを構築する。これにより、３次元シーンのデータである３次元シーンデータ（３次元表示用データ）４８が生成される。なお、 ３次元シーンの詳細は後述する。また、３次元シーン生成部２２は、設定ルートを表示するための仮想現実オブジェクト（設定ルート表示データ）を生成する設 定ルート表示データ生成部２２ａと、進行ルートを表示するための仮想現実オブジェクト（進行ルート表示データ）を生成する進行ルート表示データ生成部 ２２ｂと、を備える。
【００５０】
距離表示データ生成部２３は、設定ルート等の基準位置から自船４までの距離を表示する距離表示データを生成する。方位表示データ生成部２４は、自船の方位や、設定ルートと進行ルートの進行方向の差異（方位差）等を表示する方位表示データを生成する。
【００５１】
データ合成部２５は、３次元シーン生成部２２、距離表示データ生成部２３、及び方位表示データ生成部２４が生成した各表示データを、カメラ３の撮影映像と 合成した映像（合成映像）を生成して出力する処理を行う。なお、表示データの生成処理及びデータ合成処理の詳細は後述する。
【００５２】
次に、前述の付加表示情報取得部１７で取得される付加表示情報について詳細に説明する。図３は、映像生成装置１において表示の対象となる付加表示情報の例を説明する概念図である。
【００５３】
付加表示情報は、カメラ３で撮影した映像に対して付加的に表示する情報であり、映像生成装置１に接続される船舶機器の目的及び機能に応じて様々なものが考 えられる。例示すると、位置又は姿勢を検出するＧＮＳＳコンパス５等のセンサに関しては、これらの検出値に基づいて生成される進行ルート（生成方法は後 述）、ＡＩＳ受信機９に関しては、受信した上述のＡＩＳ情報（例えば、他船の位置及び向き、ブイの位置、仮想ブイの位置等）を付加表示情報とすることがで きる。ＥＣＤＩＳ１０に関しては、電子海図に含まれる危険海域、航海禁止領域、灯台、ブイ等の位置を付加表示情報とすることができる。プロッタ１１に関し ては、記録される自船４の軌跡、設定された設定ルート、ウェイポイント、到着エリア（到着地を示す領域）、立寄エリア（立寄地を示す領域）の位置等を付加 表示情報とすることができる。レーダ装置１２に関しては、探知された物標の位置及び速度等を付加表示情報とすることができる。ソナー１３に関しては、探知 された魚群の位置を付加表示情報とすることができる。これらの情報は、船舶機器から映像生成装置１にリアルタイムで入力される。付加表示情報取得部１７ は、入力されるそれぞれの付加表示情報に対し、それを一意に特定して管理するための識別情報（例えば、識別番号）を付与する。
【００５４】
図３には、自船４の周囲に位置している付加表示情報の例が示されている。図３において、海面上（水面上）には、目的地を示すウェイポイント４１と、目的地 までの設定ルートを示す折れ線状の設定ルート４２と、設定ルートと同様に折れ線状の進行ルートを示す進行ルート４３と、が定められている。
【００５５】
それぞれの付加表示情報には、少なくとも、それが配置される海面（水面）における１又は複数の地点の位置（緯度及び経度）を示す情報が含まれている。例え ば、設定ルート４２及び進行ルート４３を示す付加表示情報には、折れ線の屈曲部となる２箇所の地点の位置の情報が含まれている。なお、距離表示データ生成 部２３及び方位表示データ生成部２４が扱う上記の情報には、位置を示す情報は含まれていない。
【００５６】
次に、進行ルート４３の生成方法について、図４を参照して説明する。図４は、進行ルート４３の生成方法の例を示す図である。
【００５７】
進行ルート４３は、自船４の位置及び方位の少なくとも一方の検出結果に基づいて、検出タイミング以降において、自船４が進行すると推測されるルートであ る。設定ルート４２は、予め位置が設定されており、ユーザが設定を変更しない限り、設定ルート４２の位置が変更されることはない。これに対し、進行ルート ４３は検出タイミング（通常は現在）での位置及び方位等に基づいて推測されており、検出値が更新される毎に進行ルート４３も随時生成されて更新される。進 行ルート４３は、設定ルート４２、航行禁止領域（又は航行を希望しない領域）、及び航行を希望する領域等にから自船４までの距離を把握するために生成され る。進行ルート４３を生成する方法は様々である。図４には、このうちの３つの例が記載されている。
【００５８】
図４の左側の「設定 ルートのオフセット」と記載されている方法では、映像生成装置１は、初めに設定ルート４２から現在の自船４（例えば自船４の幅方向の中央）までの距離Ｌ１ を算出する。次に、映像生成装置１は、設定ルート４２を自船４側に距離Ｌ１オフセットすることで、進行ルート４３を生成する。言い換えれば、現在の自船４ の位置を通り、設定ルート４２からの距離を同じ値に維持して進行する進行ルート４３が生成される。
【００５９】
図４の中央の「船首方 位と潮流から生成」と記載されている方法では、映像生成装置１は、初めにＧＮＳＳコンパス５等に基づいて、自船４の船首方位を検出する。次に、映像生成装 置１は、自船４が備える図略の潮流センサを用いて潮流情報（潮流の方向及び速度）を検出する。なお、映像生成装置１は、自船４の外部から潮流情報を取得す る構成であってもよい。そして、映像生成装置１は、船首方位と、潮流により自船４が受ける影響（流される方向及びその程度）と、を考慮して自船４の進行方 向を推測する。この進行方向を示す線が進行ルート４３となる。
【００６０】
図４の右側の「過去の移動軌跡から生成」と記載されている 方法では、映像生成装置１は、初めに過去のＧＮＳＳ受信機７の検出結果に基づいて過去の所定時間の移動軌跡を検出する。なお、プロッタ１１が自船４の移動 軌跡を記憶している場合は、プロッタ１１から移動軌跡を取得してもよい。次に、映像生成装置１は、過去の移動軌跡に基づいて、例えば直近の移動方向を延長 する等して、自船４の進行方向を推測する。この進行方向を示す線が進行ルート４３となる。
【００６１】
なお、上述した進行ルート４３ の生成方法は一例であり、異なる方法で生成することもできる。例えば、映像生成装置１は、潮流情報を用いずに、船首方位を延長することで進行ルート４３を 生成することができる。あるいは、映像生成装置１は、船首方位及び潮流情報に加えて、自船４の速度を更に考慮して、進行方向を推測することもできる。ま た、自船４の１点ではなく幅方向の長さ（例えば自船幅）を有する進行ルート４３を生成することもできる。
【００６２】
次に、３次元 シーン生成部２２による３次元シーンの構築、及び、データ合成部２５による映像の合成について、図５を参照して詳細に説明する。図５は、３次元仮想空間 ４０に仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖを配置して生成される３次元シーンデータ４８と、当該３次元仮想空間４０に配置される映写スクリーン ５１と、を説明する概念図である。
【００６３】
３次元シーン生成部２２によって仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖが配置さ れる３次元仮想空間４０は、図５に示すように、自船４の適宜の基準位置（例えば、上述の制御標準点４ａ）を原点とする直交座標系で構成され、水平な面であ るｘｚ平面が海面（水面）を模擬するように設定されている。図５の例では、座標軸は、＋ｚ方向が常に船首方位と一致し、＋ｘ方向が右方向、＋ｙ方向が上方 向となるように定められる。この３次元仮想空間４０内の各地点（座標）は、自船４の周囲の現実の位置に対応するように設定される。
【００６４】
図５には、図３に示す自船４の周囲の状況を表現するために、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖを３次元仮想空間４０内に配置した例が示されてい る。各仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖは、船首方位を基準として、それが表す付加表示情報の自船４に対する相対位置を反映させるように、ｘｚ 平面に接するように配置される。これらの仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖが配置される位置を決定するにあたっては、図１に示すアンテナ位置設 定部２７で設定されたＧＮＳＳアンテナの位置を用いた計算が行われる。
【００６５】
ウェイポイント４１の仮想現実オブジェクト４１ｖは、薄い円板状の３次元形状で表現されている。設定ルート４２及び進行ルート４３の仮想現実オブジェクト４２ｖは、一定の厚み及び幅を有する細長い板を折れ線状に屈曲させた３次元形状で表現されている。
【００６６】
３次元シーン生成部２２は、上記のようにして、３次元シーンデータ４８を生成する。図５の例では、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖが自船４の 位置を原点とした方位基準で配置されるので、図３の状態から自船４の位置（東西方向及び南北方向での位置）が変化したり、回頭等により船首方位が変化した りすると、当該仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖを再配置した新しい３次元シーンが構築されて、３次元シーンデータ４８が更新される。また、例 えば図３の状態から自船４が移動する等して、自船４に対するウェイポイント４１、設定ルート４２、及び進行ルート４３等の位置が変更されたり、進行ルート ４３の方向等が変更されたりすると、最新の付加表示情報を反映するように３次元シーンデータ４８が更新される。
【００６７】
その後、 データ合成部２５は、３次元仮想空間４０に、カメラ３の撮影映像が映写される位置及び範囲を定める映写スクリーン５１を配置する。この映写スクリーン５１ と仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖの両方が視野に含まれるように後述の視点カメラ５５の位置及び向きを設定することで、映像の合成を実現する ことができる。
【００６８】
データ合成部２５は、自船４に搭載されるカメラ３の位置及び向きを３次元仮想空間４０においてシミュレー トするとともに、映写スクリーン５１を、当該カメラ３に正対するように配置する。カメラ３の位置のシミュレートに関し、船体を基準とするカメラ３の位置 は、図１に示す撮影位置設定部２６の設定値に基づいて得ることができる。
【００６９】
カメラ３の位置及び向きのシミュレートにあたっ ては、上述したカメラ３のパン／チルト動作による向きの変化が考慮される。更に、当該シミュレートは、位置取得部１５及び姿勢取得部１６が取得した位置情 報及び姿勢情報に基づき、船舶４の姿勢の変化及び高さの変化によるカメラ３の位置及び向きの変動が反映されるように行われる。データ合成部２５は、カメラ ３の位置及び向きの変化に連動して、３次元仮想空間４０に配置される映写スクリーン５１の位置及び向きを変化させる。
【００７０】
そ して、データ合成部２５は、３次元シーンデータ４８及び映写スクリーン５１に対して公知のレンダリング処理を施すことにより、２次元の画像を生成する。よ り具体的には、データ合成部２５は、３次元仮想空間４０に視点カメラ５５を配置するとともに、レンダリング処理の対象となる範囲を定める視錐台５６を、当 該視点カメラ５５を頂点とし、その視線方向が中心軸となるように定義する。続いて、データ合成部２５は、各オブジェクト（仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖ及び映写スクリーン５１）を構成するポリゴンのうち、当該視錐台５６の内部に位置するポリゴンの頂点座標を、透視投影により、ディ スプレイ２での合成映像の表示領域に相当する２次元の仮想スクリーンの座標に変換する。そして、この仮想スクリーン上に配置された頂点に基づいて、所定の 解像度でピクセルの生成・加工処理を行うことにより、２次元の画像を生成する。
【００７１】
このようにして生成された２次元の画像に は、３次元シーンデータ４８の描画が行われることにより得られた表示データ（言い換えれば、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖのレンダリング結 果としての図形）が含まれる。具体的には、この２次元の画像には、ウェイポイント４１を示すウェイポイント表示データ４１ｄと、設定ルート４２を示す設定 ルート表示データ４２ｄと、進行ルート４３を示す進行ルート表示データ４３ｄと、が含まれる。また、２次元の画像の生成過程において、映写スクリーン５１ に相当する位置には、カメラ３の撮影映像が貼り付けられるように配置される。これにより、データ合成部２５による映像の合成が実現される。映写スクリーン ５１は、カメラ３を中心とする球殻に沿うように湾曲した形状となっているので、透視投影による撮影映像の歪みを防止することができる。
【００７２】
視点カメラ５５は合成映像の視点を定めるものであり、その位置及び向きは、ユーザがキーボード３１及びマウス３２等を用いて設定することができる。ただ し、データ合成部２５は、合成映像を生成するときのモードとして、視点カメラ５５の位置及び向きが、カメラ３の位置及び向きと常に一致するように自動的に 変化するモードとすることができる（視点追従モード）。この視点追従モードでは、視点カメラ５５の視野全体が常に映写スクリーン５１（即ち、カメラ３の撮 影映像）で覆われることになるので、臨場感のある合成映像を実現することができる。
【００７３】
次に、カメラ３で撮影した映像と、３次元シーンデータ４８に基づく２次元の画像と、を合成した合成映像について図６及び図７を参照して説明する。図６及び図７は、データ合成部２５が出力する合成映像を示す図である。
【００７４】
図６には、図３に示す状況において、自船４のカメラ３が撮影した撮影映像が含まれている。具体的には、撮影映像として、海面が写っているとともに、撮影映 像の下部中央に自船４の船首部分が写っている。図６の合成映像には、付加表示情報を表現する表示データ４１ｄ，４２ｄ，４３ｄが、撮影映像に重なるように 配置されている。
【００７５】
上記の表示データ４１ｄ，４２ｄ，４３ｄは、図５に示す３次元シーンデータ４８を構成する仮想現実オブ ジェクト４１ｖ，４２ｖ，４３ｖの３次元形状を、カメラ３と同じ位置及び向きの視点で描画した結果として生成される。従って、カメラ３による写実的な映像 に対して表示データ４１ｄ，４２ｄ，４３ｄを重ねた場合でも、見た目の違和感が殆ど生じないようにすることができる。
【００７６】
な お、本実施形態では、カメラ３の姿勢を考慮して作成された仮想現実オブジェクト（３次元シーンデータ４８）を撮影映像とは別のレイヤとして作成し、それぞ れのレイヤを合わせることで合成映像を生成する。これに代えて、仮想現実オブジェクトを、姿勢を考慮した画像ではなく、画素の位置（座標）と当該位置での 色からなるデータ列として作成し、撮影映像に合わせて合成してもよい。あるいは、カメラ３の姿勢を考慮せずに画像として仮想現実オブジェクトを作成し、撮 影映像との合成時にカメラ３の姿勢を考慮しながら合成することもできる。何れの方法であっても、仮想現実オブジェクトはカメラ３の姿勢を考慮して描画され ている。
【００７７】
図６に示すように、付加表示情報を仮想現実的に表現する表示データ４１ｄ，４２ｄ，４３ｄは、撮影映像の海面に あたかも置かれるかのように、合成映像上に配置されている。別の言い方をすれば、付加表示情報を仮想現実的に表現する表示データ４１ｄ，４２ｄ，４３ｄ は、撮影映像に現れる水面から把握される３次元的な面の傾きに合わせた向きで表示される。特に、ウェイポイント４１、設定ルート４２、及び進行ルート４３ を示す表示データ４１ｄ，４２ｄ，４３ｄは、薄い板が海面に貼り付けられるかのように配置されている。これは、図５に示す仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖを、撮影位置設定部２６（図１を参照）で設定された高さに基づいて計算された距離だけカメラ３に対して下方に位置しているｘｚ平面 に接するように配置するとともに、映写スクリーン５１の位置を、カメラ３の位置及び向きを考慮して正しく配置することにより実現される。
【００７８】
なお、設定ルート表示データ４２ｄ及び進行ルート表示データ４３ｄの表示幅は設定により切替可能である。図６に示す例では、設定ルート表示データ４２ｄは 自船４と同じ幅で表示されており、進行ルート表示データ４３ｄは細長い線状（設定ルート表示データ４２ｄよりも細い幅）で表示されている。なお、進行ルー ト表示データ４３ｄは、設定ルート表示データ４２ｄよりも太い幅で表示されていてもよい。
【００７９】
図７に示す例では、設定ルート 表示データ４２ｄは、自船４よりも広い幅であって、自船４の幅方向の全体が外れずに位置していることが好ましい幅（言い換えれば、自船４の位置ズレが許容 される幅）で表示されている。一方、進行ルート表示データ４３ｄは、自船幅で表示されている。従って、図７に示す例では、進行ルート表示データ４３ｄが設 定ルート表示データ４２ｄから外れないように航行すればよいこととなるため、オペレータは、現在の位置ズレの程度及び許容されない位置ズレまでの距離等を 直感的に把握できる。
【００８０】
なお、図６及び図７で示した表示幅は一例である。例えば、設定ルート表示データ４２ｄ及び進行ルート表示データ４３ｄは、例えば線状、自船幅以下、自船幅と同程度、又は自船幅以上の何れかの幅で表示させることができる。
【００８１】
また、進行ルート４３は位置及び方位等から推測されているが、ユーザの操船を予測するものではない。そのため、例えばユーザが自船４を旋回させた場合、自 船４は進行ルート４３から離れることとなる。つまり、あまり遠方の進行ルート４３を表示しても、ユーザにとって有用でならない可能性がある。従って、本実 施形態では、図６に示すように、進行ルート表示データ４３ｄの進行方向に沿った長さは、設定ルート表示データ４２ｄよりも短く、かつ、画面内において前端 が確認できるように表示されている。
【００８２】
また、図６又は図７には、距離表示データ４４ｄ及び方位表示データ４５ｄ１? ４５ｄ３が表示されている。距離表示データ４４ｄ及び方位表示データ４５ｄ１?４５ｄ３は、位置に対応付けられたデータではなく、形状も有していないた め、３次元シーンデータ４８には含まれていない。
【００８３】
距離表示データ４４ｄは、ユーザが設定した基準位置から、自船４又は進 行ルート４３までの距離を表示するデータである。図６に示すように、距離表示データ４４ｄは、基準位置からの距離を具体的に示す数値と、この距離の計測点 同士を結ぶ矢印と、を含んでいる。図６に示す例では、基準位置として設定ルート４２と画面外の航行禁止領域が設定されている。距離表示データ４４ｄは、進 行ルート４３と関連付けた位置（例えば、進行ルート４３の近傍、進行ルート４３と基準位置との間）に表示される。なお、この距離を示す数値の算出方法は後 述する。
【００８４】
方位表示データ４５ｄ１?４５ｄ３は、方位に関する情報を算出する表示データである。具体的には、図６の合成映 像には、方位目盛り４５ｄ１と、視野表示図形４５ｄ２と、が表示されている。方位目盛り４５ｄ１は、画面上部に表示されており、左端と右端とを繋ぐように 円弧状に形成されている。方位目盛り４５ｄ１には、映像に対応した方位を示す数値が記載されている。視野表示図形４５ｄ２は、自船４の全周のうち合成映像 に映し出されている範囲を模式的に表す図形である。また、図７には、更に、方位差表示物４５ｄ３が表示されている。方位差表示物４５ｄ３は、設定ルート ４２と進行ルート４３の進行方向の差である方位差を示す表示物である。なお、この方位差は方位差取得部１７ｃによって取得される。具体的には、方位差取得 部１７ｃは、図４で示した方法で取得された自船４又は進行ルート４３の方位と、設定ルート４２の方位と、の差異を検出することで方位差を取得する。方位差 表示物４５ｄ３には、方位差を示す数値と、方位差の方向を示す矢印と、が含まれている。また、図７に示す例では、方位目盛り４５ｄ１上に、設定ルート４２ の方位を示す矢印と、進行ルート４３の方位を示す矢印と、が記載されている。
【００８５】
以下、図８を参照して、基準位置から進行ルート４３までの距離の算出方法について説明する。なお、この処理は距離取得部１７ｂによって行われる。図８は、基準位置からの距離の計算方法の例を示す図である。図８には、３種類の基準位置の例が記載されている。
【００８６】
図８の左側の「設定ルートからの距離」と記載されている図では、設定ルート４２を基準位置（具体的には基準線）としたときの距離の算出方法が示されてい る。具体的には、映像生成装置１は、自船４の幅方向の中央から現在位置から進行ルート４３に沿って前方に所定距離進んだ点Ｐ１を算出する。次に、映像生成 装置１は、点Ｐ１から設定ルート４２（幅方向の長さを含んでいる場合は幅方向の中央の位置）に対して、線の長さが最も短くなる点（点Ｑ１）へ線を引き、こ の線の長さを距離Ａとして算出する。ここで、自船４の幅方向の中央と設定ルート４２の幅方向の中央を算出することで、自船幅及び設定ルート４２の幅に関係 なく、正確なルートズレを検出できる。
【００８７】
なお、図７のように、設定ルート４２が位置ズレが許容される幅を示している場合 は、設定ルート４２の幅方向の端部から自船幅の端部までの距離を算出してもよい。また、点Ｐ１と設定ルート４２との距離を算出する場合、点Ｐ１から設定 ルート４２までの距離が短くなることだけでなく、設定ルート４２の目的地までの距離が近い点（例えば点Ｑ２）が優先的に選択されるようにしてもよい。ま た、自船４の進行方向と、設定ルート４２の進行方向と、が近くなるような設定ルート４２上の点が優先的に選択されるようにしてもよい。
【００８８】
図８の中央の「設定水深からの距離」と記載されている図では、設定水深からの距離の算出方法が示されている。オペレータは、例えば自船４の喫水を考慮して 座礁の危険性がある水深を設定水深として予め設定しておく。映像生成装置１は、海図データの等深線に基づいて設定水深の位置を算出する。本実施形態では、 設定水深が１５ｍであるため、水深が１５ｍであることを示す等深線が基準位置（具体的には基準線）となる。ここで、自船４の船体の一部のみであっても設定 水深以下になることは好ましくない。従って、映像生成装置１は、自船４の幅方向の端部（詳細には等深線に近い側の端部）から進行ルート４３に沿って所定距 離進んだ点Ｐ２を算出する。そして、映像生成装置１は、点Ｐ２から設定水深を示す等深線に対して、線の長さが最も短くなる点（点Ｑ３）へ線を引き、この線 の長さを距離Ｂを算出する。
【００８９】
図８の右側の「航行禁止領域からの距離」と記載されている図では、航行禁止領域を基準位置 （具体的には基準範囲）としたときの距離の算出方法が示されている。航行禁止領域とは、イベントが開催されていたり、法律上の規制があったりすることで、 自船４の航行が禁止されている領域である。そのため、自船４の船体の一部のみであっても航行禁止領域に位置することは好ましくない。また、航行禁止領域は 面積を有する領域であるが、航行が禁止されていない領域との境界は線となる。従って、航行禁止領域との距離Ｃは、設定水深と同様の方法により算出される。
【００９０】
上記で説明した例では、何れも自船４ではなく、自船４の前方の進行ルート４３上の点Ｐ１，Ｐ２，Ｐ３から基準位置までの距離を計測している。なぜなら、一 般的に船舶は急停止及び急旋回ができないため、自船４が上記の点Ｐ１，Ｐ２，Ｐ３の近傍を通ることが避けられないためである。なお、自船４から基準位置ま での距離を算出してもよい。また、図８では、基準位置の例として、基準線（設定ルート４２、等深線）及び基準範囲を挙げたが、位置情報が１つのみである基 準点を設定することもできる。基準点としては、位置情報が１つのみの障害物又はユーザが設定した点（例えば釣果が良好であった位置）等を挙げることができ る。
【００９１】
次に、進行ルートの表示／非表示の切替え及び状況に応じて表示態様を変更する処理について図９を参照して説明する。図９は、進行ルート表示データの表示／非表示を判断する処理を示すフローチャートである。
【００９２】
進行ルート表示データ４３ｄはユーザにとって有用である一方、例えば多種類の仮想現実オブジェクトが表示される場合、画面が煩雑になることを防止するため に、必要な場合にのみ進行ルート表示データ４３ｄが表示されることが好ましいときがある。その点を考慮し、本実施形態の映像生成装置１（詳細には表示切替 部２８）は、進行ルート表示データ４３ｄが必要な場合にのみ表示されるように以下の制御を行う。また、以下では、図８で説明した３種類（設定ルート、設定 水深、及び航行禁止領域）からの距離を算出するように映像生成装置１が設定されている場合を想定して説明する。
【００９３】
初めに、 表示切替部２８は、設定ルート４２から自船４又は進行ルート４３までの距離Ａを取得する（Ｓ１０１）。次に、表示切替部２８は、設定水深から自船４又は進 行ルート４３までの距離Ｂを取得する（Ｓ１０２）。次に、表示切替部２８は、航行不可領域から自船４又は進行ルート４３までの距離Ｃを取得する （Ｓ１０３）。
【００９４】
次に、表示切替部２８は、取得した３つの距離について、距離Ａ≧閾値α、距離Ｂ≦閾値β、距離Ｃ≦閾値γ の少なくとも何れかが成立しているか否かを判定する（Ｓ１０４）。ここで、距離Ａは設定ルート４２からの位置ズレを示すため、少ない値であることが好まし い。一方で、距離Ｂ及び距離Ｃは、近接することを避けたい位置からの距離であるため、大きい値であることが好ましい。従って、上記の判定を行うことで、現 在において、自船４の位置を緊急に移動させるべきか否かの緊急度が判定される。
【００９５】
表示切替部２８は、ステップＳ１０４で Ｙｅｓの場合（即ち、設定ルート４２からの位置ズレが大きかったり、近接することを避けたい位置に近づいていたりして、緊急度が高い場合）、進行ルート表 示データ４３ｄを表示する（Ｓ１０５）。また、ステップＳ１０４でＹｅｓの場合、警告部２９は、上述した態様で警告を行う。更に、表示切替部２８は、閾値 との差に応じた表示態様で進行ルート表示データ４３ｄを表示する。例えば、距離Ａが閾値αよりも大きくなるほど、距離Ｂ（距離Ｃ）が閾値β（閾値γ）より も小さくなるほど、緊急度の高さが分かるような表示態様で進行ルート表示データ４３ｄを表示する。具体的には、色の濃度を高くしたり、色を黄色又は赤色等 の警告色に近づけたり、表示を点滅させたりすることで、緊急度の高さをユーザに把握させることができる。
【００９６】
一方、表示切替 部２８は、ステップＳ１０４でＮｏの場合（即ち、緊急度が低い場合）、進行ルート表示データ４３ｄを非表示とする（Ｓ１０６）。なお、図９の処理は随時行 われるため、緊急度に応じて自動的に進行ルート表示データ４３ｄの表示／非表示が切り替わることとなる。
【００９７】
なお、本実施形 態では、３つの距離の全てに基づいて緊急度を判定したが、１つの距離の計測が設定されている場合は、当該１つの距離のみについて緊急度が判定される。ま た、複数の距離の計測が設定されている場合であっても、優先順位が高い距離のみに基づいて、進行ルート表示データ４３ｄの表示／非表示の切替え、及び、緊 急度に応じた表示態様の変更が行われる構成であってもよい。
【００９８】
次に、自船４の揺れに伴う合成映像の変化について簡単に説明 する。上述したとおり、カメラ３は自船４に取り付けられているので、その位置及び向きは、自船４の姿勢が波等により傾いたり、自船４が波に乗り上げたりす ることに伴って変化する。本実施形態において、データ合成部２５は、自船４に揺れ（ピッチング、ローリング及びヒービング等）が生じた場合、姿勢取得部 １６が取得した自船４の姿勢の変化、及び、位置取得部１５が取得した自船４の位置の上下方向の変化をシミュレートするように、３次元仮想空間４０における カメラ３の位置及び向きを変更し、それに伴って映写スクリーン５１の位置を変更する。
【００９９】
具体的には、上述の視点追従モード では、自船４の揺れによってピッチ角又はロール角が所定値以上変化する毎に、また、自船４の高さが所定値以上変化する毎に、データ合成部２５での３次元 シーンデータ４８の描画が更新され、最新の視点に基づく表示データ４１ｄ，４２ｄ，４３ｄが生成される。従って、海面が現れる位置及び向きが自船４の揺れ により変化するカメラ３の撮影映像に対し、表示データ４１ｄ，４２ｄ，４３ｄの表示を、当該海面に置かれた状態を維持するように適切に変化させることがで きる。これにより、仮想の物体があたかも海面に浮かんでいるように見える。そのため、設定ルート４２が示す位置と、進行ルート４３が示す位置と、の比較が 容易となるため、設定ルート４２に対するズレを直感的に把握できる。
【０１００】
以上に説明したように、本実施形態の映像生成装置１ は、姿勢取得部１６と、進行ルート取得部１７ａと、進行ルート表示データ生成部２２ｂと、データ合成部２５と、を備え、以下の映像生成方法を行う。姿勢取 得部１６は、カメラ３又はカメラ３が設置された自船４の姿勢を示す姿勢情報を取得する。進行ルート取得部１７ａは、自船４の、位置及び方位の少なくとも一 方の検出結果に基づいて、当該自船４の進行ルート４３を取得する。進行ルート表示データ生成部２２ｂは、姿勢情報及び進行ルート４３に基づいて、進行ルー ト表示データ４３ｄを生成する。データ合成部２５は、進行ルート表示データ４３ｄと、カメラ３が出力する映像と、を合成した合成映像を生成する。
【０１０１】
これにより、合成映像上に周囲の映像と、自船４の進行ルート４３とが表示されるため、進行ルート４３を直感的に把握できる。
【０１０２】
また、本実施形態の映像生成装置１は、予め設定された基準位置（基準点、基準線、又は基準範囲）から、自船４又は進行ルート４３までの距離を取得する距離取得部１７ｂを備える。
【０１０３】
これにより、基準点、基準線、又は基準範囲等の基準位置と比較した自船４の進行状況が把握できる。
【０１０４】
また、本実施形態の映像生成装置１は、距離取得部１７ｂが取得した距離に基づいて、距離表示データ４４ｄを生成する距離表示データ生成部２３を備える。データ合成部２５は、進行ルート４３と関連付けた位置に距離表示データ４４ｄを更に合成した合成映像を生成する。
【０１０５】
これにより、所定の基準位置までの距離を具体的に把握できる。
【０１０６】
また、本実施形態の映像生成装置１は、距離取得部１７ｂが取得した距離に応じて、進行ルート表示データ４３ｄの表示と非表示を切り替える表示切替部２８を備える。
【０１０７】
これにより、進行ルート表示データ４３ｄの表示が不要な場合に映像が煩雑になることを防止しつつ、必要な場合に進行ルート表示データ４３ｄを自動的に表示できる。
【０１０８】
また、本実施形態の映像生成装置１において、距離取得部１７ｂは、進行ルート４３上であって、自船４の位置から所定長さ前方にある点から、基準位置までの距離を取得する。
【０１０９】
これにより、船舶は急に針路を変更できないので、少し前方の点での距離を取得することで、より妥当性が高い値を取得できる。
【０１１０】
また、本実施形態の映像生成装置１は、ユーザにより設定された設定ルート４２と、進行ルート４３と、の進行方向の差異を取得する方位差取得部１７ｃを備える。
【０１１１】
これにより、状況によっては設定ルート４２までの距離よりも進行方向の差異が重要となるため（例えば設定ルート４２が長距離にわたって直線である場合等）、ユーザにとってより有用な情報を取得できる。
【０１１２】
また、本実施形態の映像生成装置１は、ユーザにより設定された設定ルート４２と姿勢情報とに基づいて、設定ルート表示データ４２ｄを生成する設定ルート表示データ生成部２２ａを備える。データ合成部２５は、設定ルート表示データ４２ｄを更に合成した合成映像を生成する。
【０１１３】
これにより、設定ルート表示データ４２ｄと進行ルート表示データ４３ｄがともに表示されるので、設定ルート４２に対する進行ルート４３のズレを直感的に把握できる。
【０１１４】
以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
【０１１５】
カメラ３において、上記のパン／チルト機能を省略し、撮影方向が例えば前方で固定されるように構成されてもよい。この場合、カメラ３の姿勢を取得すること なく、自船４の姿勢を取得するだけで、合成映像を生成できる。また、カメラ３が前方以外の方向（例えば、後方）を撮影するように配置されてもよい。
【０１１６】
カメラ３を、自船４の周囲を３６０度の全方位にわたって同時撮影が可能な構成としてもよい。また、ユーザが合成映像の視点を変更する操作を行ったときに、それに追従するようにカメラ３のパン／チルト動作が自動的に行われてもよい。
【０１１７】
３次元シーン生成部２２が３次元シーンデータ４８を生成するにあたって、上記の実施形態では、図５で説明したように、仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖが自船４の位置を原点とした船首基準で配置されている。しかしながら、仮想現実オブジェクト４１ｖ，４２ｖ，４３ｖを、船首基準で はなく、＋ｚ方向が常に真北となる真北基準で配置してもよい。この場合、回頭等によって自船４の船首方位が変化したときは、仮想現実オブジェクト ４１ｖ，４２ｖ，４３ｖを再配置する代わりに、３次元仮想空間４０での自船４の向きをヨー方向に変化させることになる。そして、このときのカメラ３の位置 及び向きの変化を３次元仮想空間４０においてシミュレートするとともに、これに連動して視点カメラ５５の位置及び向きを変更してレンダリングを行うこと で、上述の船首基準の場合と全く同じレンダリング結果を得ることができる。
【０１１８】
また、３次元仮想空間４０の座標系は、自船４ の位置を原点にすることに代えて、地球上に適宜定められた固定点を原点とし、例えば、＋ｚ方向が真北、＋ｘ方向が真東となるように定められてもよい。この 場合、地球に固定された座標系の３次元仮想空間４０において、自船４が配置される位置及び向きが位置情報及び姿勢情報に基づいて変化し、これに伴うカメラ ３の位置及び向きの変化が３次元仮想空間４０においてシミュレートされることになる。
【０１１９】
映像生成装置１において、自船４の揺れに伴う合成映像の揺れを軽減する処理が行われてもよい。例えば、３次元シーン生成部２２において、自船４が揺れても視点カメラ５５の位置及び向きの変動を抑制するようにすることが考えられる。
【０１２０】
データ合成部２５が出力する表示データ（合成映像の一部を構成する図形）４１ｄ，４２ｄ，４３ｄは、水面に薄く貼り付くような平面的なものであってもよいし、水面からある程度の高さで突出するような立体的なものであってもよい。
【０１２１】
撮影位置設定部２６は、自船４におけるカメラ３の位置を、ＧＮＳＳアンテナに対する相対位置として設定できるように構成してもよい。
【０１２２】
映像生成装置１に接続される船舶機器（付加表示情報の情報源）は、図１で説明したものに限るものではなく、その他の船舶機器が含まれていてもよい。
【０１２３】
本発明は、海上を航行する船舶に限らず、例えば、海、湖、又は河川等を航行可能な任意の水上移動体に適用することができる。
【符号の説明】
【０１２４】
１  映像生成装置
３  カメラ（撮影装置）
４  船舶（水上移動体）
１５  位置取得部
１６  姿勢取得部
１７  付加表示情報取得部
１７ａ  進行ルート取得部
１７ｂ  距離取得部
１７ｃ  方位差取得部
２２  ３次元シーン生成部
２２ａ  進行ルート表示データ生成部
２２ｂ  設定ルート表示データ生成部
２３  距離表示データ生成部
２４  方位表示データ生成部
２５  データ合成部
４２  設定ルート
４２ｄ  設定ルート表示データ
４３  進行ルート
４３ｄ  進行ルート表示データ【０１２５】
必ずしも全ての目的または効果・利点が、本明細書中に記載される任意の特定の実施形態に則って達成され得るわけではない。従って、例えば当業者であれば、特定の実施形態は、本明細書中で教示または示唆されるような他の目的または効果・利点を必ずしも達成することなく、本明細書中で教示されるような1つまたは複数の効果・利点を達成または最適化するように動作するように構成され得ることを想到するであろう。【０１２６】
本明細書中に記載される全ての処理は、1つまたは複数のコンピュータまたはプロセッサを含むコンピューティングシステムによって実行されるソフトウェアコードモジュールにより具現化され、完全に自動化され得る。コードモジュールは、任意のタイプの非一時的なコンピュータ可読媒体または他のコンピュータ記憶装置に記憶することができる。一部または全ての方法は、専用のコンピュータハードウェアで具現化され得る。【０１２７】
本明細書中に記載されるもの以外でも、多くの他の変形例があることは、本開示から明らかである。例えば、実施形態に応じて、本明細書中に記載されるアルゴリズムのいずれかの特定の動作、イベント、または機能は、異なるシーケンスで実行することができ、追加、併合、または完全に除外することができる (例えば、記述された全ての行為または事象がアルゴリズムの実行に必要というわけではない)。さらに、特定の実施形態では、動作またはイベントは、例えば、マルチスレッド処理、割り込み処理、または複数のプロセッサまたはプロセッサコアを介して、または他の並列アーキテクチャ上で、逐次ではなく、並列に実行することができる。さらに、異なるタスクまたはプロセスは、一緒に機能し得る異なるマシンおよび/またはコンピューティングシステムによっても実行され得る。【０１２８】
本明細書中に開示された実施形態に関連して説明された様々な例示的論理ブロックおよびモジュールは、プロセッサなどのマシンによって実施または実行することができる。プロセッサは、マイクロプロセッサであってもよいが、代替的に、プロセッサは、コントローラ、マイクロコントローラ、またはステートマシン、またはそれらの組み合わせなどであってもよい。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含むことができる。別の実施形態では、プロセッサは、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはコンピュータ実行可能命令を処理することなく論理演算を実行する他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、デジタル信号プロセッサ(デジタル信号処理装置)とマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つ以上のマイクロプロセッサ、または任意の他のそのような構成として実装することができる。本明細書中では、主にデジタル技術に関して説明するが、プロセッサは、主にアナログ素子を含むこともできる。例えば、本明細書中に記載される信号処理アルゴリズムの一部または全部は、アナログ回路またはアナログとデジタルの混合回路により実装することができる。コンピューティング環境は、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブルコンピューティングデバイス、デバイスコントローラ、または装置内の計算エンジンに基づくコンピュータシステムを含むが、これらに限定されない任意のタイプのコンピュータシステムを含むことができる。【０１２９】
特に明記しない限り、「できる」「できた」「だろう」または「可能性がある」などの条件付き言語は、特定の実施形態が特定の特徴、要素および/またはステップを含むが、他の実施形態は含まないことを伝達するために一般に使用される文脈内での意味で理解される。従って、このような条件付き言語は、一般に、特徴、要素および/またはステップが1つ以上の実施形態に必要とされる任意の方法であること、または1つ以上の実施形態が、これらの特徴、要素および/またはステップが任意の特定の実施形態に含まれるか、または実行されるかどうかを決定するための論理を必然的に含むことを意味するという訳ではない。【０１３０】
語句「X、Y、Zの少なくとも1つ」のような選言的言語は、特に別段の記載がない限り、項目、用語等が X, Y, Z、のいずれか、又はそれらの任意の組み合わせであり得ることを示すために一般的に使用されている文脈で理解される(例: X、Y、Z)。従って、このような選言的言語は、一般的には、特定の実施形態がそれぞれ存在するXの少なくとも1つ、Yの少なくとも1つ、またはZの少なくとも1つ、の各々を必要とすることを意味するものではない。【０１３１】
本明細書中に記載されかつ/または添付の図面に示されたフロー図における任意のプロセス記述、要素またはブロックは、プロセスにおける特定の論理機能または要素を実装するための1つ以上の実行可能命令を含む、潜在的にモジュール、セグメント、またはコードの一部を表すものとして理解されるべきである。代替の実施形態は、本明細書中に記載された実施形態の範囲内に含まれ、ここでは、要素または機能は、当業者に理解されるように、関連する機能性に応じて、実質的に同時にまたは逆の順序で、図示または説明されたものから削除、順不同で実行され得る。【０１３２】
特に明示されていない限り、「一つ」のような数詞は、一般的に、1つ以上の記述された項目を含むと解釈されるべきである。従って、「〜するように設定された一つのデバイス」などの語句は、1つ以上の列挙されたデバイスを含むことを意図している。このような1つまたは複数の列挙されたデバイスは、記載された引用を実行するように集合的に構成することもできる。例えば、「以下のA、BおよびCを実行するように構成されたプロセッサ」は、Aを実行するように構成された第1のプロセッサと、BおよびCを実行するように構成された第2のプロセッサとを含むことができる。加えて、導入された実施例の具体的な数の列挙が明示的に列挙されたとしても、当業者は、このような列挙が典型的には少なくとも列挙された数(例えば、他の修飾語を用いない「2つの列挙と」の単なる列挙は、通常、少なくとも2つの列挙、または2つ以上の列挙を意味する)を意味すると解釈されるべきである。【０１３３】
一般に、本明細書中で使用される用語は、一般に、「非限定」用語(例えば、「〜を含む」という用語は「それだけでなく、少なくとも〜を含む」と解釈すべきであり、「〜を持つ」という用語は「少なくとも〜を持っている」と解釈すべきであり、「含む」という用語は「以下を含むが、これらに限定されない。」などと解釈すべきである。) を意図していると、当業者には判断される。【０１３４】
説明の目的のために、本明細書中で使用される「水平」という用語は、その方向に関係なく、説明されるシステムが使用される領域の床の平面または表面に平行な平面、または説明される方法が実施される平面として定義される。「床」という用語は、「地面」または「水面」という用語と置き換えることができる。「垂直/鉛直」という用語は、定義された水平線に垂直/鉛直な方向を指します。「上側」「下側」「下」「上」「側面」「より高く」「より低く」「上の方に」「〜を越えて」「下の」などの用語は水平面に対して定義されている。【０１３５】
本明細書中で使用される用語の「付着する」、「接続する」、「対になる」及び他の関連用語は、別段の注記がない限り、取り外し可能、移動可能、固定、調節可能、及び/または、取り外し可能な接続または連結を含むと解釈されるべきである。接続/連結は、直接接続及び/または説明した2つの構成要素間の中間構造を有する接続を含む。【０１３６】
特に明示されていない限り、本明細書中で使用される、「およそ」、「約」、および「実質的に」のような用語が先行する数は、列挙された数を含み、また、さらに所望の機能を実行するか、または所望の結果を達成する、記載された量に近い量を表す。例えば、「およそ」、「約」及び「実質的に」とは、特に明示されていない限り、記載された数値の10%未満の値をいう。本明細書中で使用されているように、「およそ」、「約」、および「実質的に」などの用語が先行して開示されている実施形態の特徴は、さらに所望の機能を実行するか、またはその特徴について所望の結果を達成するいくつかの可変性を有する特徴を表す。【０１３７】
上述した実施形態には、多くの変形例および修正例を加えることができ、それらの要素は、他の許容可能な例の中にあるものとして理解されるべきである。そのような全ての修正および変形は、本開示の範囲内に含まれることを意図し、以下の特許請求の範囲によって保護される。
【図１】
2019130940.tif 000003
【図２】
2019130940.tif 000004
【図３】
2019130940.tif 000005
【図４】
2019130940.tif 000006
【図５】
2019130940.tif 000007
【図６】
2019130940.tif 000008
【図７】
2019130940.tif 000009
【図８】
2019130940.tif 000010
【図９】
2019130940.tif 000011
【国際調査報告】
2019130940.tif 000012
2019130940.tif 000013
2019130940.tif 000014