(57)【要約】【課題】視界の視認性を向上できる視界表示システムを提供する。【解決手段】視界表示システム１は、運転席を有する航空機等の移動体に設けられるものである。この視界表示システム１は、航空機の諸元を検知する飛行諸元検知部11と、飛行中において少なくとも運転席からの視界に相当する視界画像を撮影する視界撮影装置15を有する撮影部12とを備える。また、これら飛行諸元検知部11からの諸元情報および撮影部12からの画像情報を関連付けて飛行情報として構成する情報処理部14と、情報処理部14で構成した飛行情報を記憶する記憶部３とを備える。そして、飛行中には、制御部５の制御によって、リアルタイムの画像と過去の画像とこれらリアルタイムの画像および過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部４に表示する。【選択図】図１
2019200712.tif 000002
【特許請求の範囲】
【請求項１】
運転席を有し所定ルートを移動する移動体の視界表示システムであって、
移動体の諸元を検知する移動諸元検知部と、
移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、
前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、
前記移動情報を記憶する記憶部と、
画像を表示可能な表示部と、
移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部に表示させる制御部とを備える
ことを特徴とする視界表示システム。
【請求項２】
移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、
情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付ける
ことを特徴とする請求項１記載の視界表示システム。
【請求項３】
撮影部は、移動体の所定箇所を撮影する機体撮影装置を有する
ことを特徴とする請求項１または２記載の視界表示システム。
【請求項４】
撮影部は、移動体の周囲を撮影する周囲撮影装置を有する
ことを特徴とする請求項１ないし３いずれか一記載の視界表示システム。
【請求項５】
所定ルートの移動毎に移動情報が記憶部に蓄積される
ことを特徴とする請求項１ないし４いずれか一記載の視界表示システム。
【請求項６】
外部の情報供給部から移動情報を取得する移動情報取得部を備える
ことを特徴とする請求項１ないし５いずれか一記載の視界表示システム。
【請求項７】
制御部は、学習能力を有し取得された移動情報に応じて表示部に表示させる画像を判断する人工知能を有する
ことを特徴とする請求項１ないし６いずれか一記載の視界表示システム。
【請求項８】
運転席を有する機体と、
請求項１ないし７いずれか一記載の視界表示システムとを備える
ことを特徴とする移動体。
【請求項９】
運転席には少なくとも前方視界を確保するための窓が設けられておらず、
表示部に表示される画像によって運転席からの視界が確保されている
ことを特徴とする請求項８記載の移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転席からの視界を画像として表示する視界表示システムおよび移動体に関する。
【背景技術】
【０００２】
従来、例えば航空機等の移動体の運転席からの視界の悪化を防止するには、特許文献１のように、窓を加熱することによって霜取りや曇り取りを行って視認性を向上する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１６６６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１の構成では、窓が曇ることを防止するだけであるため、濃霧や天候不良等により視界不良となった状況では、視認性を向上できない。
【０００５】
そこで、濃霧や天候不良等によって視界不良となった状況においても、視界の視認性を向上できる技術が求められていた。
【０００６】
本発明はこのような点に鑑みなされたもので、視界の視認性を向上できる視界表示システムおよび移動体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載された視界表示システムは、運転席を有し所定ルートを移動する移動体の視界表示システムであって、移動体の諸元を検知する移動諸元検知部と、移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、前記移動情報を記憶する記憶部と、画像を表示可能な表示部と、移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部に表示させる制御部とを備えるものである。
【０００８】
請求項２に記載された視界表示システムは、請求項１記載の視界表示システムにおいて、移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付けるものである。
【０００９】
請求項３に記載された視界表示システムは、請求項１または２記載の視界表示システムにおいて、撮影部は、移動体の所定箇所を撮影する機体撮影装置を有するものである。
【００１０】
請求項４に記載された視界表示システムは、請求項１ないし３いずれか一記載の視界表示システムにおいて、撮影部は、移動体の周囲を撮影する周囲撮影装置を有するものである。
【００１１】
請求項５に記載された視界表示システムは、請求項１ないし４いずれか一記載の視界表示システムにおいて、所定ルートの移動毎に移動情報が記憶部に蓄積されるものである。
【００１２】
請求項６に記載された視界表示システムは、請求項１ないし５いずれか一記載の視界表示システムにおいて、外部の移動情報供給部から移動情報を取得する移動情報取得部を備えるものである。
【００１３】
請求項７に記載された視界表示システムは、請求項１ないし６いずれか一記載の視界表示システムにおいて、制御部は、学習能力を有し取得された移動情報に応じて表示部に表示させる画像を判断する人工知能を有するものである。
【００１４】
請求項８に記載された移動体は、運転席を有する機体と、請求項１ないし７いずれか一記載の視界表示システムとを備えるものである。
【００１５】
請求項９に記載された移動体は、請求項８記載の移動体において、運転席には少なくとも前方視界を確保するための窓が設けられておらず、表示部に表示される画像によって運転席からの視界が確保されているものである。
【発明の効果】
【００１６】
本発明によれば、移動中の移動情報に基づくリアルタイムの画像、記憶部に記憶された移動情報に基づく過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つが表示されるため、視界の視認性を向上できる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施の形態に係る航空機の視界表示システムの構成を示すブロック図である。
【図２】本発明の一実施の形態に係る航空機の視界表示システムの変形例の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施の形態の構成について図面を参照しながら詳細に説明する。
【００１９】
本発明に係る移動体としての航空機は、運転席であるコックピットを有する機体を備え、例えば人員や貨物の輸送等を目的として所定ルートを飛行して移動するものである。
【００２０】
この航空機は、コックピットからの視界を各種デジタル処理した画像として表示する視界表示システム１を備えている。
【００２１】
視界表示システム１は、移動情報としての飛行情報を構成する情報構成部２と、この情報構成部２によって構成された飛行情報を記憶する記憶部３と、操縦者が視認可能で飛行情報に基づく画像を表示する表示部４と、飛行中において表示部４に所定の画像を選択的に表示させる制御部５とを備えている。
【００２２】
航空機のコックピットは、窓が設けられておらず、通常窓が設けられている箇所には表示部４が設けられている。すなわち、操縦者は、表示部４に表示されている画像に基づいて航空機を操縦する。
【００２３】
情報構成部２は、各種のセンサによって移動中（飛行中）の航空機の諸元を取得する移動諸元検知部としての飛行諸元検知部11と、飛行中において所定の画像を撮影する撮影部12と、航空機の位置に関する気象情報や移動（飛行）ルートに関する気象情報を取得する気象情報取得部13と、これら飛行諸元検知部11、撮影部12および気象情報取得部13からの情報を適宜関連付ける情報処理部14とを有している。
【００２４】
飛行諸元検知部11は、位置を検知する位置検知部11aと、機体の速度を検知する対気速度検知部11bと、機体の高度を検知する高度検知部11cと、機体の方位角度を検知する方位角度検知部11dと、機体の抑え角度を検知する抑え角度検知部11eと、機体のバンク角度を検知するバンク角度検知部11f等を有している。
【００２５】
なお、位置検知部11aは、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等の測位システムや高度計等を有し、飛行中の航空機の飛行位置を随時検知する。
【００２６】
撮影部12は、飛行中にコックピットから肉眼で視認できる視界に相当する視界画像を撮影する視界撮影装置15と、飛行中の航空機の機体における所定箇所を撮影する機体撮影装置16と、飛行中にコックピットからの視界以外の周囲を撮影する周囲撮影装置17とを有している。
【００２７】
視界撮影装置15は、例えばデジタルカメラ等の可視光カメラであり、機体の前方を中心にコックピットからの視界に相当する視界画像を撮影できるように、コックピットの前側部において上下に離間してそれぞれ複数（例えば２つ）設置される。
【００２８】
なお、視界撮影装置15における可視光カメラだけでなく、ＬＩＤＡＲ11g（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）や、ＲＡＤＡＲ11h（Ｒａｄｉｏ  Ｄｅｔｅｃｔｉｎｇ  ａｎｄ  Ｒａｎｇｉｎｇ）のように電波等の不可視光線を利用した検出手段等を組み合わせて用いることが好ましい。
【００２９】
機体撮影装置16は、例えば前脚、主脚、エンジン、主翼、補助翼、垂直尾翼、水平尾翼、客室や貨物室の外周面等のように、視界撮影装置15では視認できない機体における所定の構成要素に関する機体画像を撮影できるように、構成要素それぞれに向けて設置されたデジタルカメラを有している。
【００３０】
周囲撮影装置17は、例えば機体からの側方画像や後方画像のように、視界画像とは異なる方向の周囲画像を撮影できるように、機体側部や機体後部に設置されたデジタルカメラを有している。
【００３１】
気象情報取得部13は、例えば各種計測器による計測や管制塔等の地上の管理施設からの情報等により、飛行位置や飛行ルートに関して、天候、風向、風速、気温、気圧および季節変化等の飛行する際に必要な気象情報を適宜取得する。
【００３２】
情報処理部14は、例えば電子計算機等のコンピュータを有し、飛行諸元検知部11からの諸元情報、撮影部12からの画像情報、および、気象情報取得部13からの気象情報を随時関連付けることでその飛行中における飛行情報を構成する。
【００３３】
なお、情報構成部２は、上記各構成要素の他に各種センサ等の検知装置が設けられ、一般的な飛行に必要な情報を適宜取得する。
【００３４】
記憶部３は、情報処理部14によって構成された飛行情報を記憶し、飛行毎に飛行情報を蓄積して、飛行諸元に関するいわゆるビッグデータを構築する。なお、ビッグデータは外部のサーバに集積する構成にしてもよい。
【００３５】
表示部４は、例えば４Ｋ解像度や８Ｋ解像度の有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等の表示装置で構成され、通常のコックピットにおける窓に該当する箇所に設けられている。そして、表示部４には、制御部５による制御によって、飛行中の飛行位置に対応した視界画像、機体画像、周囲画像および気象情報等が表示される。
【００３６】
なお、表示部４は、コックピットだけでなく管理施設等に設置することもでき、コックピットと管理施設とで同じ視界画像等の画像を共有可能である。
【００３７】
制御部５は、モノのインターネット（ＩｏＴ）システム等のネットワークシステムや人工知能（ＡＩ）18を有している。そして、情報処理部14や、記憶部３や、航空交通管制からの情報を取得するＡＴＣ取得部19からの情報（例えば飛行中のリアルタイムの飛行情報や蓄積されている過去の飛行情報（ビッグデータ）やＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの情報に基づいて機体操作信号を作成できるとともに、必要に応じて機体操作システム20を介して航空機の操縦の際に操作対象となる各構成要素（例えば、機首や各種ギアやブレーキ等）を制御可能である。
【００３８】
また、制御部５は、人工知能18の作用によって、操縦に際してより適切な画像が表示されるように表示部４を制御する。すなわち、制御部５によって、情報処理部14から送信される飛行中の飛行情報に基づくリアルタイムの画像と、記憶部３に記憶された過去の飛行情報に基づく最適な過去の画像（視界良好時の画像等）のうちの少なくとも一方を表示部４に表示させる。
【００３９】
より具体的には、制御部５における人工知能18の判断によって、表示部４には、リアルタイムの画像、記憶部３に記憶された最適な過去の画像、リアルタイムの画像と最適な過去の画像の両方の画像、および、リアルタイムの画像に過去の画像や過去の画像の一部分が重ねられた拡張現実（ＡＲ）画像のうち最適な画像が適宜表示される。なお、これら画像とともに、気象情報等の補助情報が表示部４の一部に表示される構成にしてもよい。
【００４０】
そして、操縦者は、表示部４に表示された画像に基づいて機体周囲の状況を確認可能である。また、人工知能18およびＩｏＴシステムを介すことで、操縦者は音声入力による操縦も可能であるとともに、表示部４が地上の管理施設にも設けられている場合には管理施設でも同じ画像を見ることができるため、必要に応じて管理施設からの操縦や操縦の補助が可能である。
【００４１】
また、飛行毎に飛行情報が蓄積されてビッグデータを構成することで、その飛行情報に基づいて人工知能18が学習し、制御部５によって表示部４だけでなく各構成要素がより適切に制御される。
【００４２】
次に、上記一実施の形態の作用および効果を説明する。
【００４３】
上記航空機を飛行させる際には、まず、滑走路ではリアルタイムの画像が表示部４に表示され、操縦者は、滑走路離脱までそのリアルタイムの画像を視認しながら機体操作を行う。
【００４４】
離陸後、所定の高度や飛行位置に達したら自動操縦に切り替えられる。自動操縦時は、リアルタイムの画像やＡＲ画像が表示部４に表示され、操縦者が表示部４の視界画像によってリアルタイムの外部状況を確認可能である。また、操縦者は、視界の確認の他に、通常のチェック動作と同様に各種確認作業を行う。
【００４５】
なお、操縦者が操縦に関与していない状態の場合には、視界不良時に限らず、検出手段からの入力が人工知能18の判断材料として活用される構成等にしてもよい。
【００４６】
着陸する際には、計器着陸装置（Ｉｎｓｔｒｕｍｅｎｔ  Ｌａｎｄｉｎｇ  Ｓｙｓｔｅｍ：ＩＬＳ）レンジ以降、視界良好の通常時にはリアルタイムの画像やＡＲ画像が表示部４に表示され、視界不良の場合には過去の画像やＡＲ画像が表示部４に表示される。また、いわゆる視界ゼロの場合には、ＩＬＳレンジ以降にビッグデータの中から人工知能18によって最適な画像が選択されて表示部４に表示され、滑走路やその他の空港施設や他の移動体を含めた視界をＡＲ画像で構築して表示可能である。具体的には、表示部４には、建物等の静止物は過去の画像に基づいてＡＲ画像として表示されるとともに、移動中の他の航空機や地上機材等の移動物をＬＩＤＡＲ11gやＲＡＤＡＲ11hからの入力によって人工知能18が捕捉して表示する構成等にしてもよい。
【００４７】
そして、操縦者は、表示部４の画像を視認しながら機体操作を行う。
【００４８】
このように離陸から着陸までの間、随時、撮影部12で撮影された画像情報、飛行諸元検知部11で検知した諸元情報、および、気象情報取得部13で取得した気象情報が情報処理部14に送信されて各情報が関連付けられて飛行情報が構成され、その飛行情報が記憶部３に記憶される。
【００４９】
また、このように離陸から着陸までの飛行緒元が飛行毎にその飛行情報として記憶部３に記憶され、ビッグデータとして蓄積される。
【００５０】
そして、上記航空機によれば、視界表示システム１を備え、離陸から着陸までの間、視界状況等の飛行条件に応じて、リアルタイムの画像、過去の画像およびＡＲ画像が表示部４に適宜選択的に表示されるため、例えば濃霧等のような視界不良の場合であっても操縦するための視認性を向上できる。そのため、通常では気象条件等によって生じる視界のばらつきを低減できるとともに、天候不良や視界不良による飛行制限を低減できる。
【００５１】
また、表示部４に表示された画像によってコックピットからの視界を確保できるため、コックピットを無窓化でき、例えば従来の航空機における窓のメンテナンスや窓に設けられるワイパ等の装置のメンテナンスが不要になる。
【００５２】
視界表示システム１は、飛行毎に飛行情報が記憶部３に蓄積されるため、その蓄積された飛行情報に関するビッグデータに基づいて、より適切な画像を表示部４に表示できる。
【００５３】
制御部５は、人工知能18を有するため、蓄積されたビッグデータに基づく人工知能18の学習能力によって、より適切な画像を適切なタイミングで表示部４に表示できる。
【００５４】
また、蓄積された飛行情報を活かして人工知能18を他の操作可能な構成要素の制御にも利用できるため、より安定した航行を実現できる。
【００５５】
さらに、人工知能18に操縦者の操縦等を学習させることで、人工知能18が表示部４に操縦を補助する補助情報を表示して、その表示に基づいて操縦する半自動的な操縦が可能になるとともに、最終的には、人工知能18とネットワークとによって操縦者無しの完全自動操縦（自動運航）へ繋げることができる。すなわち、視界表示システム１を利用することで、段階的に完全自動操縦へ切り替えることができ、人員不足（パイロット不足）問題等の解消にも貢献できる。
【００５６】
視界表示システム１は、表示部４を管制塔等の地上の管理施設にも設置できるため、管理施設とコックピットとで視界を中心とした飛行情報をリアルタイムで正確に共有でき、より適切な運行が可能になるとともに、例えば緊急時等に管理施設にて遠隔操縦することも可能である。
【００５７】
また、視界表示システム１は、新規の機体だけでなく、在来の機体にも設置可能であるため、汎用性が良好である。
【００５８】
このように、視界表示システム１の導入によって、事実上、ターミナルから地上走行、離陸、上昇、巡航、着陸および着陸後の地上走行の全ての工程において所定の役割を担うことができる。
【００５９】
また、人工知能18を有する視界表示システム１は、上述のように無人での全自動運航が当局で認可され全自動運航が実現されるまで、視界表示システム１の表示による操縦補助に基づく半自動操縦、視界表示システム１の画像に基づいて操縦プロセスを監視することによる乗員養成機能、全自動運航の当局の認可を得るまでの実証機能、全自動運航の当局認可後に視界表示システム１により自動運行をいわゆる見える化することによる監視機能、地上施設での操作の監視機能、および、ＡＴＣ交信のＡＩ化に至るまで、様々な役割を担うことができる。
【００６０】
なお、上記一実施の形態では、視界表示システム１は、運転席が無窓化された移動体に適用された構成としたが、このような構成には限定されず、窓が設けられた運転席において窓とは別個に表示部４が設置された構成や、窓が表示部４として作用し窓に視界画像を表示する構成等にしてもよい。また、管制塔等の管理施設にて移動体を運転可能な場合には、その管理施設に表示部４を設置してもよい。
【００６１】
制御部５は、人工知能18によって表示部４に表示される画像が判断される構成としたが、このような構成には限定されず、人工知能18による判断とは別に操縦者が任意に所望の画像を選択的に表示できる構成にしてもよい。
【００６２】
また、制御部５は、人工知能18を有する構成に限定されず、人工知能18が設けられていない構成にしてもよい。
【００６３】
制御部５は、飛行中の飛行情報に基づくリアルタイムの画像が情報処理部14から送信され、過去の画像が記憶部３から送信される構成としたが、このような構成には限定されず、リアルタイムの画像、過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成されたＡＲ画像の少なくとも１つを表示部４に表示できる構成であれば、例えば、リアルタイムの画像も記憶部３を介して供給される構成にしてもよい。
【００６４】
また、移動諸元検知部11、撮影部12および気象情報取得部13からの情報が情報処理部14へ供給され、ＡＴＣ取得部19、ＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの情報が制御部５（人工知能18）へ供給される構成としたが、このような構成には限定されず、移動諸元検知部11において検知した諸元情報のうちの位置検知部11aによる位置情報と、撮影部12において撮影した画像情報のうちの視界撮影装置15による視界画像情報とが情報処理部14で関連付けられて飛行情報が構成される構成であれば、情報処理部14で飛行情報として関連付ける情報、および、制御部５（人工知能18）に直接入力される情報は、それぞれ適宜変更できる。すなわち、視界画像情報と位置情報とが情報処理部14で関連付けられる構成であれば、移動諸元検知部11、撮影部12、気象情報取得部13、ＡＴＣ取得部19、ＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの各情報は、少なくとも情報処理部14および制御部５のいずれかに入力され、最終的には制御部５にて、表示部４での表示や各種操作に利用される。
【００６５】
人工知能18は、情報処理部14や記憶部３からの情報に基づいて制御を行う構成としたがこのような構成には限定されない。すなわち、図２に示す変形例のように、人工知能18が、外部の情報供給部21から飛行情報を取得する移動情報取得部としての機能を備える構成としてもよい。
【００６６】
情報供給部21は、ネットワークを介して情報等のサービスを集約的に記憶可能でかつ提供可能なクラウドと、ネットワークを介してクラウドに接続されたＥＤＧＥサーバとを有している。
【００６７】
そして、人工知能18は、例えば各空港や管制塔等のように各地の施設に設置されたＥＤＧＥサーバを介してクラウドから各種情報を取得可能である。
【００６８】
このように外部の情報供給部21から飛行情報を取得可能な構成にすることで、記憶部３自体が予め所定の移動情報を記憶していなくても、出発の際に情報供給部21から通信によって移動情報を取得することができる。また、その航空機自体だけでなく、他の航空機からも集約された飛行情報も利用できるため、人工知能18によってより適切な制御が可能となる。なお、このように外部の情報供給部21から移動情報を取得する構成の場合には、通信障害等を考慮して、ＵＳＢ等の記憶装置を介して所定の移動情報を取得できる構成等にしてもよい。
【００６９】
上記一実施の形態では、移動体を航空機として説明したが、移動体は、所定ルートを移動するものであればよく、旅客機や貨物機等の航空機の他には、例えば電車や新幹線やリニアモーターカー（ＬＭＣ）等の鉄道、路線バス、および船舶等にも適用できる。
【００７０】
なお、リニアモーターカーの場合は、時速約５００ｋｍ（秒速約１４０ｍ）での走行となる。すなわち、制動に約１５０秒を要し、操作が実行されるまでに約２．５ｋｍ先に達してしまい、車両に取り付けられた視界撮影装置15の画像だけでは、適切に制動できない可能性がある。そこで、線路上に所定間隔毎例えば１ｋｍ毎にデジタルカメラや暗視カメラを設置し、表示部４にて常に５ｋｍ程度先の画像が表示されている構成が好ましい。
【００７１】
また、鉄道や路線バスに視界表示システム１を適用した場合には、情報処理部14では移動情報としての走行情報が構成され、船舶に視界表示システム１を適用した場合には情報処理部14では移動情報として航行情報が構成される。
【００７２】
さらに、本発明における機体とは移動体の本体部分を意味し、鉄道や路線バス等においては車両を意味し、船舶においては船体を意味する。
【００７３】
また、本発明における運転とは、移動体の移動を操作することを意味し、操縦も含まれる。
【符号の説明】
【００７４】
１    視界表示システム
３    記憶部
４    表示部
５    制御部
11    移動諸元検知部としての飛行諸元検知部
12    撮影部
13    気象情報取得部
14    情報処理部
15    視界撮影装置
16    機体撮影装置
17    周囲撮影装置
18    人工知能
21    情報供給部
【図１】
2019200712.tif 000003
【図２】
2019200712.tif 000004
【手続補正書】
【提出日】平成30年8月29日(2018.8.29)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転席からの視界を画像として表示する視界表示システムおよび移動体に関する。
【背景技術】
【０００２】
従来、例えば航空機等の移動体の運転席からの視界の悪化を防止するには、特許文献１のように、窓を加熱することによって霜取りや曇り取りを行って視認性を向上する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１６６６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１の構成では、窓が曇ることを防止するだけであるため、濃霧や天候不良等により視界不良となった状況では、視認性を向上できない。
【０００５】
そこで、濃霧や天候不良等によって視界不良となった状況においても、視界の視認性を向上できる技術が求められていた。
【０００６】
本発明はこのような点に鑑みなされたもので、視界の視認性を向上できる視界表示システムおよび移動体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
請求項１に記載された視界表示システムは、運転席を有し所定ルートを移動する移動体の視界表示システムであって、移動体の諸元を検知する移動諸元検知部と、移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、前記移動情報を記憶する記憶部と、画像を表示可能な表示部と、移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部に表示させる制御部とを備え、前記制御部は、学習能力を有し取得された移動情報に応じて前記表示部に表示させる画像を判断する人工知能を有し、前記人工知能は、操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを前記表示部に表示可能であるものである。
【０００８】
請求項２に記載された視界表示システムは、請求項１記載の視界表示システムにおいて、移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付けるものである。
【０００９】
請求項３に記載された視界表示システムは、請求項１または２記載の視界表示システムにおいて、撮影部は、移動体の所定箇所を撮影する機体撮影装置を有するものである。
【００１０】
請求項４に記載された視界表示システムは、請求項１ないし３いずれか一記載の視界表示システムにおいて、撮影部は、移動体の周囲を撮影する周囲撮影装置を有するものである。
【００１１】
請求項５に記載された視界表示システムは、請求項１ないし４いずれか一記載の視界表示システムにおいて、所定ルートの移動毎に移動情報が記憶部に蓄積されるものである。
【００１２】
請求項６に記載された視界表示システムは、請求項１ないし５いずれか一記載の視界表示システムにおいて、外部の移動情報供給部から移動情報を取得する移動情報取得部を備えるものである。
【００１３】
請求項７に記載された移動体は、運転席を有する機体と、請求項１ないし６いずれか一記載の視界表示システムとを備えるものである。
【００１４】
請求項８に記載された移動体は、請求項７記載の移動体において、運転席には少なくとも前方視界を確保するための窓が設けられておらず、表示部に表示される画像によって運転席からの視界が確保されているものである。
【発明の効果】
【００１５】
本発明によれば、移動中の移動情報に基づくリアルタイムの画像、記憶部に記憶された移動情報に基づく過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つが表示されるため、視界の視認性を向上できる。また、人工知能が操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを表示部に表示可能であるため、その表示に基づいて操縦する半自動的な操縦や操縦者無しの完全自動操縦へ繋げることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係る航空機の視界表示システムの構成を示すブロック図である。
【図２】本発明の一実施の形態に係る航空機の視界表示システムの変形例の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施の形態の構成について図面を参照しながら詳細に説明する。
【００１８】
本発明に係る移動体としての航空機は、運転席であるコックピットを有する機体を備え、例えば人員や貨物の輸送等を目的として所定ルートを飛行して移動するものである。
【００１９】
この航空機は、コックピットからの視界を各種デジタル処理した画像として表示する視界表示システム１を備えている。
【００２０】
視界表示システム１は、移動情報としての飛行情報を構成する情報構成部２と、この情報構成部２によって構成された飛行情報を記憶する記憶部３と、操縦者が視認可能で飛行情報に基づく画像を表示する表示部４と、飛行中において表示部４に所定の画像を選択的に表示させる制御部５とを備えている。
【００２１】
航空機のコックピットは、窓が設けられておらず、通常窓が設けられている箇所には表示部４が設けられている。すなわち、操縦者は、表示部４に表示されている画像に基づいて航空機を操縦する。
【００２２】
情報構成部２は、各種のセンサによって移動中（飛行中）の航空機の諸元を取得する移動諸元検知部としての飛行諸元検知部11と、飛行中において所定の画像を撮影する撮影部12と、航空機の位置に関する気象情報や移動（飛行）ルートに関する気象情報を取得する気象情報取得部13と、これら飛行諸元検知部11、撮影部12および気象情報取得部13からの情報を適宜関連付ける情報処理部14とを有している。
【００２３】
飛行諸元検知部11は、位置を検知する位置検知部11aと、機体の速度を検知する対気速度検知部11bと、機体の高度を検知する高度検知部11cと、機体の方位角度を検知する方位角度検知部11dと、機体の抑え角度を検知する抑え角度検知部11eと、機体のバンク角度を検知するバンク角度検知部11f等を有している。
【００２４】
なお、位置検知部11aは、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等の測位システムや高度計等を有し、飛行中の航空機の飛行位置を随時検知する。
【００２５】
撮影部12は、飛行中にコックピットから肉眼で視認できる視界に相当する視界画像を撮影する視界撮影装置15と、飛行中の航空機の機体における所定箇所を撮影する機体撮影装置16と、飛行中にコックピットからの視界以外の周囲を撮影する周囲撮影装置17とを有している。
【００２６】
視界撮影装置15は、例えばデジタルカメラ等の可視光カメラであり、機体の前方を中心にコックピットからの視界に相当する視界画像を撮影できるように、コックピットの前側部において上下に離間してそれぞれ複数（例えば２つ）設置される。
【００２７】
なお、視界撮影装置15における可視光カメラだけでなく、ＬＩＤＡＲ11g（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）や、ＲＡＤＡＲ11h（Ｒａｄｉｏ  Ｄｅｔｅｃｔｉｎｇ  ａｎｄ  Ｒａｎｇｉｎｇ）のように電波等の不可視光線を利用した検出手段等を組み合わせて用いることが好ましい。
【００２８】
機体撮影装置16は、例えば前脚、主脚、エンジン、主翼、補助翼、垂直尾翼、水平尾翼、客室や貨物室の外周面等のように、視界撮影装置15では視認できない機体における所定の構成要素に関する機体画像を撮影できるように、構成要素それぞれに向けて設置されたデジタルカメラを有している。
【００２９】
周囲撮影装置17は、例えば機体からの側方画像や後方画像のように、視界画像とは異なる方向の周囲画像を撮影できるように、機体側部や機体後部に設置されたデジタルカメラを有している。
【００３０】
気象情報取得部13は、例えば各種計測器による計測や管制塔等の地上の管理施設からの情報等により、飛行位置や飛行ルートに関して、天候、風向、風速、気温、気圧および季節変化等の飛行する際に必要な気象情報を適宜取得する。
【００３１】
情報処理部14は、例えば電子計算機等のコンピュータを有し、飛行諸元検知部11からの諸元情報、撮影部12からの画像情報、および、気象情報取得部13からの気象情報を随時関連付けることでその飛行中における飛行情報を構成する。
【００３２】
なお、情報構成部２は、上記各構成要素の他に各種センサ等の検知装置が設けられ、一般的な飛行に必要な情報を適宜取得する。
【００３３】
記憶部３は、情報処理部14によって構成された飛行情報を記憶し、飛行毎に飛行情報を蓄積して、飛行諸元に関するいわゆるビッグデータを構築する。なお、ビッグデータは外部のサーバに集積する構成にしてもよい。
【００３４】
表示部４は、例えば４Ｋ解像度や８Ｋ解像度の有機エレクトロルミネッセンス（有機ＥＬ）ディスプレイ等の表示装置で構成され、通常のコックピットにおける窓に該当する箇所に設けられている。そして、表示部４には、制御部５による制御によって、飛行中の飛行位置に対応した視界画像、機体画像、周囲画像および気象情報等が表示される。
【００３５】
なお、表示部４は、コックピットだけでなく管理施設等に設置することもでき、コックピットと管理施設とで同じ視界画像等の画像を共有可能である。
【００３６】
制御部５は、モノのインターネット（ＩｏＴ）システム等のネットワークシステムや人工知能（ＡＩ）18を有している。そして、情報処理部14や、記憶部３や、航空交通管制からの情報を取得するＡＴＣ取得部19からの情報（例えば飛行中のリアルタイムの飛行情報や蓄積されている過去の飛行情報（ビッグデータ）やＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの情報に基づいて機体操作信号を作成できるとともに、必要に応じて機体操作システム20を介して航空機の操縦の際に操作対象となる各構成要素（例えば、機首や各種ギアやブレーキ等）を制御可能である。
【００３７】
また、制御部５は、人工知能18の作用によって、操縦に際してより適切な画像が表示されるように表示部４を制御する。すなわち、制御部５によって、情報処理部14から送信される飛行中の飛行情報に基づくリアルタイムの画像と、記憶部３に記憶された過去の飛行情報に基づく最適な過去の画像（視界良好時の画像等）のうちの少なくとも一方を表示部４に表示させる。
【００３８】
より具体的には、制御部５における人工知能18の判断によって、表示部４には、リアルタイムの画像、記憶部３に記憶された最適な過去の画像、リアルタイムの画像と最適な過去の画像の両方の画像、および、リアルタイムの画像に過去の画像や過去の画像の一部分が重ねられた拡張現実（ＡＲ）画像のうち最適な画像が適宜表示される。なお、これら画像とともに、気象情報等の補助情報が表示部４の一部に表示される構成にしてもよい。
【００３９】
そして、操縦者は、表示部４に表示された画像に基づいて機体周囲の状況を確認可能である。また、人工知能18およびＩｏＴシステムを介すことで、操縦者は音声入力による操縦も可能であるとともに、表示部４が地上の管理施設にも設けられている場合には管理施設でも同じ画像を見ることができるため、必要に応じて管理施設からの操縦や操縦の補助が可能である。
【００４０】
また、飛行毎に飛行情報が蓄積されてビッグデータを構成することで、その飛行情報に基づいて人工知能18が学習し、制御部５によって表示部４だけでなく各構成要素がより適切に制御される。
【００４１】
次に、上記一実施の形態の作用および効果を説明する。
【００４２】
上記航空機を飛行させる際には、まず、滑走路ではリアルタイムの画像が表示部４に表示され、操縦者は、滑走路離脱までそのリアルタイムの画像を視認しながら機体操作を行う。
【００４３】
離陸後、所定の高度や飛行位置に達したら自動操縦に切り替えられる。自動操縦時は、リアルタイムの画像やＡＲ画像が表示部４に表示され、操縦者が表示部４の視界画像によってリアルタイムの外部状況を確認可能である。また、操縦者は、視界の確認の他に、通常のチェック動作と同様に各種確認作業を行う。
【００４４】
なお、操縦者が操縦に関与していない状態の場合には、視界不良時に限らず、検出手段からの入力が人工知能18の判断材料として活用される構成等にしてもよい。
【００４５】
着陸する際には、計器着陸装置（Ｉｎｓｔｒｕｍｅｎｔ  Ｌａｎｄｉｎｇ  Ｓｙｓｔｅｍ：ＩＬＳ）レンジ以降、視界良好の通常時にはリアルタイムの画像やＡＲ画像が表示部４に表示され、視界不良の場合には過去の画像やＡＲ画像が表示部４に表示される。また、いわゆる視界ゼロの場合には、ＩＬＳレンジ以降にビッグデータの中から人工知能18によって最適な画像が選択されて表示部４に表示され、滑走路やその他の空港施設や他の移動体を含めた視界をＡＲ画像で構築して表示可能である。具体的には、表示部４には、建物等の静止物は過去の画像に基づいてＡＲ画像として表示されるとともに、移動中の他の航空機や地上機材等の移動物をＬＩＤＡＲ11gやＲＡＤＡＲ11hからの入力によって人工知能18が捕捉して表示する構成等にしてもよい。
【００４６】
そして、操縦者は、表示部４の画像を視認しながら機体操作を行う。
【００４７】
このように離陸から着陸までの間、随時、撮影部12で撮影された画像情報、飛行諸元検知部11で検知した諸元情報、および、気象情報取得部13で取得した気象情報が情報処理部14に送信されて各情報が関連付けられて飛行情報が構成され、その飛行情報が記憶部３に記憶される。
【００４８】
また、このように離陸から着陸までの飛行緒元が飛行毎にその飛行情報として記憶部３に記憶され、ビッグデータとして蓄積される。
【００４９】
そして、上記航空機によれば、視界表示システム１を備え、離陸から着陸までの間、視界状況等の飛行条件に応じて、リアルタイムの画像、過去の画像およびＡＲ画像が表示部４に適宜選択的に表示されるため、例えば濃霧等のような視界不良の場合であっても操縦するための視認性を向上できる。そのため、通常では気象条件等によって生じる視界のばらつきを低減できるとともに、天候不良や視界不良による飛行制限を低減できる。
【００５０】
また、表示部４に表示された画像によってコックピットからの視界を確保できるため、コックピットを無窓化でき、例えば従来の航空機における窓のメンテナンスや窓に設けられるワイパ等の装置のメンテナンスが不要になる。
【００５１】
視界表示システム１は、飛行毎に飛行情報が記憶部３に蓄積されるため、その蓄積された飛行情報に関するビッグデータに基づいて、より適切な画像を表示部４に表示できる。
【００５２】
制御部５は、人工知能18を有するため、蓄積されたビッグデータに基づく人工知能18の学習能力によって、より適切な画像を適切なタイミングで表示部４に表示できる。
【００５３】
また、蓄積された飛行情報を活かして人工知能18を他の操作可能な構成要素の制御にも利用できるため、より安定した航行を実現できる。
【００５４】
さらに、人工知能18に操縦者の操縦等を学習させることで、人工知能18が表示部４に操縦を補助する補助情報を表示して、その表示に基づいて操縦する半自動的な操縦が可能になるとともに、最終的には、人工知能18とネットワークとによって操縦者無しの完全自動操縦（自動運航）へ繋げることができる。すなわち、視界表示システム１を利用することで、段階的に完全自動操縦へ切り替えることができ、人員不足（パイロット不足）問題等の解消にも貢献できる。
【００５５】
視界表示システム１は、表示部４を管制塔等の地上の管理施設にも設置できるため、管理施設とコックピットとで視界を中心とした飛行情報をリアルタイムで正確に共有でき、より適切な運行が可能になるとともに、例えば緊急時等に管理施設にて遠隔操縦することも可能である。
【００５６】
また、視界表示システム１は、新規の機体だけでなく、在来の機体にも設置可能であるため、汎用性が良好である。
【００５７】
このように、視界表示システム１の導入によって、事実上、ターミナルから地上走行、離陸、上昇、巡航、着陸および着陸後の地上走行の全ての工程において所定の役割を担うことができる。
【００５８】
また、人工知能18を有する視界表示システム１は、上述のように無人での全自動運航が当局で認可され全自動運航が実現されるまで、視界表示システム１の表示による操縦補助に基づく半自動操縦、視界表示システム１の画像に基づいて操縦プロセスを監視することによる乗員養成機能、全自動運航の当局の認可を得るまでの実証機能、全自動運航の当局認可後に視界表示システム１により自動運行をいわゆる見える化することによる監視機能、地上施設での操作の監視機能、および、ＡＴＣ交信のＡＩ化に至るまで、様々な役割を担うことができる。
【００５９】
なお、上記一実施の形態では、視界表示システム１は、運転席が無窓化された移動体に適用された構成としたが、このような構成には限定されず、窓が設けられた運転席において窓とは別個に表示部４が設置された構成や、窓が表示部４として作用し窓に視界画像を表示する構成等にしてもよい。また、管制塔等の管理施設にて移動体を運転可能な場合には、その管理施設に表示部４を設置してもよい。
【００６０】
制御部５は、人工知能18によって表示部４に表示される画像が判断される構成としたが、このような構成には限定されず、人工知能18による判断とは別に操縦者が任意に所望の画像を選択的に表示できる構成にしてもよい。
【００６１】
また、制御部５は、人工知能18を有する構成に限定されず、人工知能18が設けられていない構成にしてもよい。
【００６２】
制御部５は、飛行中の飛行情報に基づくリアルタイムの画像が情報処理部14から送信され、過去の画像が記憶部３から送信される構成としたが、このような構成には限定されず、リアルタイムの画像、過去の画像およびこれらリアルタイムの画像と過去の画像とに基づいて作成されたＡＲ画像の少なくとも１つを表示部４に表示できる構成であれば、例えば、リアルタイムの画像も記憶部３を介して供給される構成にしてもよい。
【００６３】
また、移動諸元検知部11、撮影部12および気象情報取得部13からの情報が情報処理部14へ供給され、ＡＴＣ取得部19、ＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの情報が制御部５（人工知能18）へ供給される構成としたが、このような構成には限定されず、移動諸元検知部11において検知した諸元情報のうちの位置検知部11aによる位置情報と、撮影部12において撮影した画像情報のうちの視界撮影装置15による視界画像情報とが情報処理部14で関連付けられて飛行情報が構成される構成であれば、情報処理部14で飛行情報として関連付ける情報、および、制御部５（人工知能18）に直接入力される情報は、それぞれ適宜変更できる。すなわち、視界画像情報と位置情報とが情報処理部14で関連付けられる構成であれば、移動諸元検知部11、撮影部12、気象情報取得部13、ＡＴＣ取得部19、ＬＩＤＡＲ11gおよびＲＡＤＡＲ11hからの各情報は、少なくとも情報処理部14および制御部５のいずれかに入力され、最終的には制御部５にて、表示部４での表示や各種操作に利用される。
【００６４】
人工知能18は、情報処理部14や記憶部３からの情報に基づいて制御を行う構成としたがこのような構成には限定されない。すなわち、図２に示す変形例のように、人工知能18が、外部の情報供給部21から飛行情報を取得する移動情報取得部としての機能を備える構成としてもよい。
【００６５】
情報供給部21は、ネットワークを介して情報等のサービスを集約的に記憶可能でかつ提供可能なクラウドと、ネットワークを介してクラウドに接続されたＥＤＧＥサーバとを有している。
【００６６】
そして、人工知能18は、例えば各空港や管制塔等のように各地の施設に設置されたＥＤＧＥサーバを介してクラウドから各種情報を取得可能である。
【００６７】
このように外部の情報供給部21から飛行情報を取得可能な構成にすることで、記憶部３自体が予め所定の移動情報を記憶していなくても、出発の際に情報供給部21から通信によって移動情報を取得することができる。また、その航空機自体だけでなく、他の航空機からも集約された飛行情報も利用できるため、人工知能18によってより適切な制御が可能となる。なお、このように外部の情報供給部21から移動情報を取得する構成の場合には、通信障害等を考慮して、ＵＳＢ等の記憶装置を介して所定の移動情報を取得できる構成等にしてもよい。
【００６８】
上記一実施の形態では、移動体を航空機として説明したが、移動体は、所定ルートを移動するものであればよく、旅客機や貨物機等の航空機の他には、例えば電車や新幹線やリニアモーターカー（ＬＭＣ）等の鉄道、路線バス、および船舶等にも適用できる。
【００６９】
なお、リニアモーターカーの場合は、時速約５００ｋｍ（秒速約１４０ｍ）での走行となる。すなわち、制動に約１５０秒を要し、操作が実行されるまでに約２．５ｋｍ先に達してしまい、車両に取り付けられた視界撮影装置15の画像だけでは、適切に制動できない可能性がある。そこで、線路上に所定間隔毎例えば１ｋｍ毎にデジタルカメラや暗視カメラを設置し、表示部４にて常に５ｋｍ程度先の画像が表示されている構成が好ましい。
【００７０】
また、鉄道や路線バスに視界表示システム１を適用した場合には、情報処理部14では移動情報としての走行情報が構成され、船舶に視界表示システム１を適用した場合には情報処理部14では移動情報として航行情報が構成される。
【００７１】
さらに、本発明における機体とは移動体の本体部分を意味し、鉄道や路線バス等においては車両を意味し、船舶においては船体を意味する。
【００７２】
また、本発明における運転とは、移動体の移動を操作することを意味し、操縦も含まれる。
【符号の説明】
【００７３】
１    視界表示システム
３    記憶部
４    表示部
５    制御部
11    移動諸元検知部としての飛行諸元検知部
12    撮影部
13    気象情報取得部
14    情報処理部
15    視界撮影装置
16    機体撮影装置
17    周囲撮影装置
18    人工知能
21    情報供給部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
運転席を有し所定ルートを移動する移動体の視界表示システムであって、
移動体の諸元を検知する移動諸元検知部と、
移動中において少なくとも前記運転席からの視界に相当する視界画像を撮影する視界撮影装置を有する撮影部と、
前記移動諸元検知部にて検知した諸元情報と前記撮影部にて撮影した画像情報を関連付けて移動情報を構成する情報処理部と、
前記移動情報を記憶する記憶部と、
画像を表示可能な表示部と、
移動中の移動情報に基づくリアルタイムの画像、前記記憶部に記憶された移動情報に基づく過去の画像、および、これらリアルタイムの画像と過去の画像とに基づいて作成された拡張現実画像のうちの少なくとも１つを表示部に表示させる制御部とを備え、
前記制御部は、学習能力を有し取得された移動情報に応じて前記表示部に表示させる画像を判断する人工知能を有し、
前記人工知能は、操縦を補助する補助情報および自動操縦の状態を示す操縦情報の少なくともいずれかを前記表示部に表示可能である
ことを特徴とする視界表示システム。
【請求項２】
移動体の位置に関する気象情報および移動ルートに関する気象情報の少なくともいずれかを取得する気象情報取得部を備え、
情報処理部は、前記気象情報取得部からの前記気象情報も移動情報として関連付ける
ことを特徴とする請求項１記載の視界表示システム。
【請求項３】
撮影部は、移動体の所定箇所を撮影する機体撮影装置を有する
ことを特徴とする請求項１または２記載の視界表示システム。
【請求項４】
撮影部は、移動体の周囲を撮影する周囲撮影装置を有する
ことを特徴とする請求項１ないし３いずれか一記載の視界表示システム。
【請求項５】
所定ルートの移動毎に移動情報が記憶部に蓄積される
ことを特徴とする請求項１ないし４いずれか一記載の視界表示システム。
【請求項６】
外部の情報供給部から移動情報を取得する移動情報取得部を備える
ことを特徴とする請求項１ないし５いずれか一記載の視界表示システム。
【請求項７】
運転席を有する機体と、
請求項１ないし６いずれか一記載の視界表示システムとを備える
ことを特徴とする移動体。
【請求項８】
運転席には少なくとも前方視界を確保するための窓が設けられておらず、
表示部に表示される画像によって運転席からの視界が確保されている
ことを特徴とする請求項７記載の移動体。