(57)【要約】【課題】信頼性の高い移動体の周囲状態判定用画像処理装置を提供すること。【解決手段】移動体１が移動するときの周囲状態を判定する状態判定用画像処理装置は、移動体１に搭載されたカメラ２により第１時刻に撮影された第１画像に基づいて、第１時刻の後に到来する第２時刻にカメラにより撮影される予測第２画像を生成する画像生成部３と、生成された予測第２画像を記憶する画像記憶部４と、カメラ２により第２時刻に撮影された第２画像と画像記憶部４から読み出された予測第２画像とを同期させて比較判定する判定部６（または、制御部５および判定部６）と、を備える。【選択図】図１
2020087133.tif 000002
【特許請求の範囲】
【請求項１】
移動体が移動するときの周囲状態を判定する状態判定用画像処理装置であって、
移動体に搭載されたカメラにより第１時刻に撮影された第１画像に基づいて、第１時刻の後に到来する第２時刻に前記カメラにより撮影される予測第２画像を生成する画像生成部と、
前記生成された予測第２画像を記憶する画像記憶部と、
前記カメラにより前記第２時刻に撮影された第２画像と前記画像記憶部から読み出された前記予測第２画像とを同期させて比較判定する判定部と、
を備える移動体の周囲状態判定用画像処理装置。
【請求項２】
前記判定部は、前記第２画像と前記予測第２画像との類似度を算出し、前記算出された類似度が所定の閾値以下である場合に異常であると判定する、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項３】
前記第２画像を前記画像記憶部から読み出すときのタイミングが制御されることにより、前記第２画像と前記予測第２画像とが同期する、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項４】
前記カメラで撮影された画像を補正する撮影画像補正部をさらに備え、
前記撮影画像補正部は、前記第２画像を補正することにより、前記第２画像と前記予測第２画像とを同期させる、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項５】
前記画像生成部は、前記第１画像と前記移動体の速度または移動距離に関する情報とに基づいて、前記第２画像と同期するように前記予測第２画像を生成する、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項６】
前記カメラにより撮影された画像のうち比較対象の画像領域を抽出する領域抽出部をさらに備え、
前記領域抽出部は、前記カメラで撮影された画像の中から所定の領域内の画像を、前記判定部による判定対象として抽出する、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項７】
前記所定の領域は、前記移動体の移動する空間内にあらかじめ設定される目標に基づいて設定される、
請求項６に記載の移動体の周囲状態判定用画像処理装置。
【請求項８】
前記カメラにより撮影される前記第２画像のうち、前記移動体の走行経路情報に基づいて、前記判定部による判定対象となる画像領域を抽出する判定領域抽出部と、
前記カメラにより撮影される前記第１画像のうち、前記走行経路情報に基づいて、前記画像生成部に入力される画像領域を抽出する入力領域抽出部と、
をさらに備え、
前記判定領域抽出部により抽出される画像領域と前記入力領域抽出部により抽出される画像領域との構図が共通するように制御される、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項９】
前記第２時刻は、前記移動体の走行環境に応じて設定される、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項１０】
前記カメラには、前記移動体の進行方向を撮影するフロントカメラと、前記移動体の進行方向とは逆方向を撮影するリアカメラとが含まれており、
前記画像生成部には、前記フロントカメラにより前記第１時刻に撮影されたフロント側第１画像に基づいて、前記第２時刻に前記フロントカメラにより撮影されるフロント側予測第２画像を生成するフロント側画像生成部と、前記リアカメラにより他の第１時刻に撮影されたリア側第１画像に基づいて、他の第２時刻に前記リアカメラにより撮影されるリア側予測第２画像を生成するリア側画像生成部とが含まれており、
前記画像記憶部には、前記フロント側予測第２画像を記憶するフロント側画像記憶部と、前記リア側予測第２画像を記憶するリア側画像記憶部とが含まれており、
前記判定部には、前記フロント側第２画像と前記フロント側画像記憶部から読み出された前記フロント側予測第２画像とを同期させて比較判定するフロント側判定部と、前記リア側第２画像と前記リア側画像記憶部から読み出された前記リア側予測第２画像とを同期させて比較判定するリア側判定部とが含まれている、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項１１】
前記カメラは、前記移動体の進行方向または進行方向とは逆の方向を撮影する、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項１２】
前記移動体は、自動車、列車、空中または地上または水上または水中を移動するドローン、配管内を移動しながら検査するロボットのいずれかである、
請求項１に記載の移動体の周囲状態判定用画像処理装置。
【請求項１３】
移動体が移動するときの周囲状態を計算機により判定する状態判定用画像処理方法であって、
前記計算機は、
前記移動体に搭載されたカメラにより第１時刻に撮影された第１画像に基づいて、第１時刻の後に到来する第２時刻に前記カメラにより撮影される予測第２画像を生成する画像生成ステップと、
前記生成された予測第２画像を記憶する画像記憶ステップと、
前記カメラにより前記第２時刻に撮影された第２画像と前記画像記憶部から読み出された前記予測第２画像とを同期させて比較判定する判定ステップと、
を実行する、移動体の周囲状態判定用画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の周囲状態判定用画像処理装置および方法に関する。
【背景技術】
【０００２】
特許文献１には、「カメラによって撮影された画像から車両の走行に影響する障害物を検出する障害物検出装置の障害物検出方法であって、前記カメラから異なる時点での画像を取得して記憶装置に記憶し、当該記憶装置に記憶された異なる時点での画像に基づいて当該画像の各領域における動きベクトルを算出する動きベクトル算出工程と、前記車両の走行状態から当該車両の走行する空間のモデルを生成し、生成したモデルに基づいて前記画像の各領域に対する仮想的な動きベクトルを算出する仮想動きベクトル算出工程と、前記モデルを複数の仮想領域に分割し、分割した仮想領域に対応する前記動きベクトルおよび仮想的な動きベクトルと当該仮想領域ごとに設定された判定基準とを基にして障害物を検出する障害物検出工程と、を含んだことを特徴とする。」と記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５１２５２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
移動体の周囲状態を判定するための画像処理装置の主な用途として、例えば、自動車の走行空間内において、走行を妨げ得る侵入物体や設備異常を検知する障害物検知システムがある。
【０００５】
特許文献１に記載の技術では、車両が高速に移動する場合、モーションブラーの影響により動きベクトルを正確に取得することが難しいため、障害物の検知性能が低下する可能性がある。
【０００６】
本発明は、上述の問題に鑑みてなされたものであり、その目的は、信頼性の高い移動体の周囲状態判定用画像処理装置および方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、本発明の一つの観点に従う移動体の周囲状態判定用画像処理装置は、移動体が移動するときの周囲状態を判定する状態判定用画像処理装置であって、移動体に搭載されたカメラにより第１時刻に撮影された第１画像に基づいて、第１時刻の後に到来する第２時刻にカメラにより撮影される予測第２画像を生成する画像生成部と、生成された予測第２画像を記憶する画像記憶部と、カメラにより第２時刻に撮影された第２画像と画像記憶部から読み出された予測第２画像とを同期させて比較判定する判定部と、を備える。
【発明の効果】
【０００８】
本発明によれば、第１時刻に撮影された第１画像から第２時刻に撮影されるであろう予測第２画像を生成し、実際の第２画像と予測第２画像とを同期させて比較判定することができる。したがって、第１画像または第２画像のみから移動体の周囲状態を判定する場合に比べて、精度よく移動体の周囲状態を判定することができる。
【図面の簡単な説明】
【０００９】
【図１】移動体の周囲状態判定用画像処理装置の例としての障害物検知システムの機能構成図である。
【図２】第１時刻ｔ１に撮影された画像の模式図である。
【図３】第２時刻ｔ２に撮影されるであろうと予測された画像の模式図である。
【図４】第２時刻ｔ２に撮影された画像の模式図である。
【図５】第２時刻ｔ２における差分画像の模式図である。
【図６】第１時刻ｔ１に撮影された画像の模式図である。
【図７】第２時刻ｔ２に撮影されるであろうと予測された画像の模式図である。
【図８】第２時刻ｔ２に撮影された画像の模式図である。
【図９】第２時刻ｔ２における差分画像の模式図である。
【図１０】画像処理のフローチャートである。
【図１１】第２実施例に係り、第１時刻での撮影シーンの例である。
【図１２】第２時刻ｔ２における撮影シーンの例である。
【図１３】障害物検知システムの機能構成図である。
【図１４】第１時刻ｔ１に撮影された画像の模式図である。
【図１５】第２時刻ｔ２に撮影されるであろうと予測された画像の模式図である。
【図１６】第２時刻に撮影された画像の模式図である。
【図１７】第２時刻ｔ２における差分画像の模式図である。
【図１８】撮影された画像を補正する様子を示す説明図である。
【図１９】第３実施例に係り、障害物検知システムの機能構成図である。
【図２０】第１時刻ｔ１に撮影された画像と移動体の速度（可変）とから、第２時刻ｔ２で撮影されるであろうと画像を予測する様子を示す説明図である。
【図２１】第４実施例に係り、障害物検知システムの機能構成図である。
【図２２】撮影画像から領域内の画像を抽出する様子を示す説明図である。
【図２３】第５実施例に係り、障害物検知システムの機能構成図である。
【図２４】撮影画像から判定領域と入力領域を抽出する例を示す説明図である。
【図２５】判定領域と入力領域を抽出する他の例を示す説明図である。
【図２６】第６実施例に係り、障害物検知システムの機能構成図である。
【図２７】第７実施例に係り、障害物検知システムの機能構成図である。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、自動車、列車、ドローン、配管内を移動して検査するロボットなどの各種移動体の周囲状態を判定するための画像処理装置および方法を提案する。本実施形態に係る移動体の周囲状態判定用画像処理装置は、障害物検知システムとして移動体へ設けることができる。本実施形態では、モーションブラーに頑健なシステムを提供することができる。
【００１１】
本実施形態に係る移動体の周囲状態判定用画像処理装置は、移動体に搭載したカメラと、画像生成部と、画像記憶部と、制御部と、状態判定部とを具備する。カメラは、移動体の進行方向のシーンを撮影し、画像生成部は、カメラが撮影したＮ枚（１≦Ｎ）の撮影画像（第１画像）を用いて、所定距離の移動後にカメラが撮影することになる正常状態の画像を予測して生成する。シーンとは、例えば画像の構図である。
【００１２】
画像記憶部は、画像生成部による生成画像（予測第２画像）を記憶する。制御部は、所定距離の移動後において、画像記憶部から所定距離の移動後における撮影画像（第２画像）とシーンの同期がとれた生成画像（予測第２画像）を読み出し、状態判定部は、シーンの同期がとれた撮影画像と生成画像を比較し、類似度が低い場合に異常と判定することができる。
【００１３】
このように構成される本実施形態によれば、ある地点での撮影画像（第１画像）を入力として、移動体が所定距離の移動後に撮影することとなる画像（予測第２画像）を生成する生成モデルを用い、シーンの同期がとれた生成画像と所定距離の移動後の撮影画像（第２画像）とを比較する。したがって、本実施形態では、生成画像と撮影画像との類似度に基づいて状態判定を行うことができ、モーションブラーに対する耐性が改善された、信頼性の高い移動体の周囲状態判定用画像処理装置を提供することができる。
【００１４】
以下の説明では、移動体の周囲状態判定用画像処理装置として、障害物検知システムを例に挙げて説明するが、これに限らず、例えば、走行状況監視装置、社会インフラ自動点検装置などに適用することもできる。
【実施例１】
【００１５】
図１〜図１０を用いて第１実施例を説明する。図１は、障害物検知システムの全体構成を説明する図である。図２（ａ）〜図２（ｄ）は、障害物検知システムの動作を説明する模式図である。
【００１６】
本実施例の障害物検知システムは、ある地点での撮影画像（第１画像）を入力として、移動体１が所定距離の移動後に撮影することとなる画像（予測第２画像）を生成し、シーンの同期がとれた生成画像（予測第２画像）と所定距離の移動後に実際に撮影された画像（第２画像）とを比較する。これにより、本システムは、移動体１の走行を妨げ得る、移動体の周囲の異常を信頼性高く検知することができる。すなわち、本システムは、一枚の画像だけでは判別困難な、走行区間周囲の設備異常を検知することができる。本実施例では、移動体の例として自動車をあげるが、これに限定されない。移動体１としては自動車に限定されることはなく、列車やドローン、さらには配管内検査ロボット等に適用してもよい。ドローンは、空中を飛行するドローンに限らず、地上を走行するドローン、水上を走行するドローン、水中を走行するドローンでもよい。
【００１７】
［システム構成］
【００１８】
図１を用いて、障害物検知システムの構成と動作について説明する。本実施例の障害物検知システムは、例えばカメラ２と、画像生成部３と、画像記憶部４と、制御部５と、状態判定部６とを備えている。移動体１としての構成は、省略する。省略された構成には、例えば、車体、モータ、エンジン、変速機、ブレーキ、アクセル、運転装置、運転制御装置などがある。機能３〜６と後述する他の機能７〜１１とは、例えば、ソフトウェアとして構成し、計算機上で実行されてもよいし、または、ハードウェア回路もしくはハードウェア回路とソフトウェアの連携により実現されてもよい。
【００１９】
図１に示す構成では、カメラ２、画像生成部３、画像記憶部４、制御部５、状態判定部６のいずれも移動体１に搭載されているが、これに限らず、カメラ２のみを移動体１に搭載し、移動体１の外部にある解析装置（不図示）に画像生成部３〜状態判定部６の機能を設けてもよい。
【００２０】
状態判定（障害物の検知）に即応性を必要としない場合は、カメラ２で撮影された画像を通信ネットワークまたは可搬型ストレージ等を経由して外部の解析装置へ入力し、その解析装置で移動体の周囲状態を判定してもよい。さらに、判定結果を通信ネットワークを介して移動体１の備えるユーザインターフェース装置（カーナビゲーションシステムなど）に表示させてもよい。
【００２１】
カメラ２で撮影された画像は、画像生成部３へ送られると共に、状態判定部６にも送られる。画像生成部３で生成された画像は、画像記憶部４に記憶される。制御部５は、状態判定部６と共に「判定部」を構成する。制御部５は、所定タイミングが到来すると、画像記憶部４から生成画像を読み出して状態判定部６へ供給する。状態判定部６は、過去に撮影された画像から生成された画像と現在撮影された画像とを比較し、障害物の有無などを判定する。
【００２２】
より詳しく説明する。カメラ２は、或る時刻ｔ１（第１時刻）において、移動体１の走行空間前方の画像を撮影する。カメラ２の撮影した画像を撮影画像と呼ぶ。画像生成部３は、時刻ｔ１における撮影画像（第１画像）を入力として、時刻ｔ２（第２時刻であり、ｔ１＜ｔ２である）における移動体１の位置でカメラ２が撮影するであろう画像（予測第２画像）を生成する。
【００２３】
画像生成部３は例えば、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）のような生成モデルとして構成される。画像生成部３は、事前に撮影された走行空間の正常状態における撮影画像群を学習することにより、各時刻から所定距離（時刻ｔ１から時刻ｔ２への移動距離に相当）だけ移動した場合の画像を生成できるようになっている。
【００２４】
画像生成部３は、移動体１が所定距離を移動する前後のシーンの、正常状態における構造変化を学習する。画像記憶部４は、画像生成部３による生成画像を保存する。
【００２５】
移動体１が所定距離だけ移動し、時刻ｔ２が到来したと制御部５が判断すると、制御部５は、画像記憶部４から生成画像を読み出す。
【００２６】
状態判定部６は、時刻ｔ２における撮影画像（第２画像）と生成画像（予測第２画像）とを比較する。状態判定部６は、両方の画像間の類似度が所定の閾値以下である場合に、異常と判定する。本実施例では、状態判定の例として障害物の有無を判定するが、障害物検知に限定されない。
【００２７】
時刻ｔ２で撮影された画像（撮影画像）と時刻ｔ１で予測された画像（生成画像）との比較を好適に行うためには、時刻ｔ２における撮影画像のシーンと生成画像のシーンとが一致している必要がある。
【００２８】
そこで、本実施例では、カメラ２のフレームレートをＰとしたとき、ｔ２−ｔ１＝Ｍ／Ｐ（Ｍは整数）とし、事前撮影時の移動体１の速度を一定とする。障害物検知システムの運用時には、移動体１の速度を一定速度とする。制御部５は、同一の生成画像の保存から読み出しまでにＭフレーム分の遅延を乗せることにより、時刻ｔ２における撮影画像のシーンと生成画像のシーンを同期させることができる。
【００２９】
時刻ｔ２の撮影画像と時刻ｔ１の画像から予測された生成画像との類似度は、画素値の差分から算出してもよいし、あるいは、ＤＮＮのような特徴抽出器によって抽出された特徴量ベクトルの差分を用いてもよいし、あるいは、画素値の差分抽出方式と特徴量ベクトルの差分抽出方式などの複数の差分抽出方式を組み合わせて算出してもよい。
【００３０】
状態判定部６は、算出された類似度があらかじめ設定された所定の閾値を越えた場合は正常状態とし、所定の閾値以下の場合は異常状態とする。所定の閾値以上の場合は正常と判定し、所定の閾値未満の場合は異常状態と判定してもよい。
【００３１】
ここで、出力する状態数は、必ずしも正常／異常の２値である必要はなく、複数の閾値を設けて段階的に判定結果を出力してもよい。なお、画像生成部３には、時刻ｔ１の１フレームの画像のみを入力してもよいし、時刻ｔ１より以前の数フレームの画像を入力してもよい。
【００３２】
図２〜図５を用いて、障害物検知システムで処理される各種画像を説明する。図２は、時刻ｔ１における撮影画像を示す。図３は、時刻ｔ２にカメラ２で撮影されるであろうと予測された生成画像を示す。図４は、時刻ｔ２で実際に撮影された画像を示す。図５は、時刻ｔ２で撮影された画像と時刻ｔ２の画像として予測された生成画像との差分を示す差分画像の模式図である。
【００３３】
本実施例の障害物検知システムは、移動体１である自動車に搭載されたカメラ２を用いることにより、静止物体である設備異常箇所Ｆ２０６を検知する。
【００３４】
このために画像生成部３は、時刻ｔ１における撮影画像Ｆ２０１（図２）を入力として、時刻ｔ２における生成画像Ｆ２０２（図３）を生成する。設備異常箇所Ｆ２０６は、時刻ｔ１における撮影画像Ｆ２０１を一見しただけでは、正常状態（トンネル壁面からの剥がれ無し）なのか、それとも異常状態（トンネル壁面からの剥がれ有り）なのか判別するのは難しい。
【００３５】
事前に学習に用いられた画像群は正常状態の画像であるため、時刻ｔ２における生成画像Ｆ２０２に含まれる設備異常箇所Ｆ２０６１は、画像生成部３により、トンネル壁面からの剥がれのない正常状態であると仮定して生成される。
【００３６】
しかしながら、時刻ｔ２における撮影画像Ｆ２０３において撮影された設備異常箇所Ｆ２０６２が、壁面から一部剥がれた異常状態であった場合、時刻ｔ２における差分画像Ｆ２０４から差分箇所Ｆ２０５を抽出することができる。したがって、状態判定部６は、トンネル壁面の設備異常を検知することが可能となる。
【００３７】
図６〜図９を用いて、障害物検知システムで処理される他の各種画像を説明する。図６は、時刻ｔ１における撮影画像（第１画像）を示す。図７は、時刻ｔ２における生成画像（予測第２画像）を示す。図８は、時刻ｔ２における撮影画像（第２画像）を示す。図９は、時刻ｔ２における差分画像の模式図である。
【００３８】
図６〜図９は、図２〜図５と同一の被写体であるが、照度低下等に起因するモーションブラーが画像内の移動量が大きい移動体１付近の領域に生じている。
【００３９】
設備異常箇所Ｆ２０６も移動体１に近づくとモーションブラーが生じ、テクスチャーが不明瞭となる。画像生成部３の学習に際して、モーションブラーが生じている画像群を用いることで、時刻ｔ１における撮影画像Ｆ２０１から時刻ｔ２における生成画像Ｆ２０２の好適に生成できる。これにより、時刻ｔ２における差分画像Ｆ２０４において差分箇所Ｆ２０５を抽出することができるため、状態判定部６は、設備異常が生じていると判定することができる。
【００４０】
［動作シーケンス］
【００４１】
図１０のフローチャートを用いて、画像処理方法（移動体の周囲状態を判定する画像処理方法）の例を説明する。
【００４２】
図１０は、時刻ｔ２における処理フローを示す。障害物検知システムの起動後に、処理ループへ移行する。ステップＳ１１では、処理ループ内において、障害物検知システムの動作終了命令の有無を監視する。
【００４３】
動作を継続する場合は、ステップＳ１２において、時刻ｔ２における撮影画像Ｆ２０３を取得する。ステップＳ１３では、時刻ｔ１における撮影画像Ｆ２０１を入力として生成された、時刻ｔ２における生成画像を読み出す。ステップＳ１４では、時刻ｔ２における撮影画像Ｆ２０３と時刻ｔ２における生成画像との類似度を算出し、移動体１の周囲状態を判定する。
【００４４】
ステップＳ１５において、時刻ｔ２における撮影画像Ｆ２０３を入力として時刻ｔ３（ｔ２＜ｔ３）における生成画像を生成し、ステップＳ１６で生成画像を保存する。時刻ｔ３は、次の判定サイクルにおける第２時刻に相当する。
【００４５】
以上の処理方法により、移動体１の走行時の周囲環境を所定時間毎に連続して判定することができる。
【００４６】
このように構成される本実施例によれば、ある地点での撮影画像を入力として、移動体１が所定距離だけ移動した後に撮影されるであろう画像を予測して生成し、生成画像と所定距離移動後の撮影画像とをシーンの同期を取れた状態で比較することにより、移動体１の走行区間の周囲の異常を検知することができる。本実施例によれば、走行を妨げ得る、画像一枚だけでは判別困難な、走行区間周囲の設備異常を従来よりも高い信頼性で検知することができる。
【実施例２】
【００４７】
図１１〜図１８を用いて第２実施例を説明する。本実施例を含む以下の各実施例は、第１実施例の変形例に該当するため、第１実施例との差異を中心に説明する。
【００４８】
図１１および図１２は、本実施例の障害物検知システムで実現可能な障害物検知の模式図を示す。図１３は、障害物検知システムの全体構成を示す。本実施例のシステムも、ある地点での撮影画像を入力として、移動体が所定距離の移動後に撮影することとなる画像を生成する生成モデルを用いる。本システムでは、移動体の速度が可変である場合においても、撮影画像を補正することにより、生成画像のシーンと所定距離移動後の撮影画像のシーンとの同期をとり、生成画像と撮影画像との類似度に基づいて状態を判定する。
【００４９】
［障害物検知システムで実現可能な障害物検知］
【００５０】
図１１，図１２を用いて、本実施例の障害物検知システムで実現可能な障害物検知について説明する。
【００５１】
本実施例の障害物検知システムは、移動体１Ａの一例である自動車のフロント部に搭載されたカメラ２を用い、移動体１Ａの走行空間における障害物Ｆ５０１を画像処理により検知する。図１１は、時刻ｔ１のシーンの例を示す。図１２は、時刻ｔ２（ｔ１＜ｔ２）のシーンの例を示す。
【００５２】
時刻ｔ１では、移動体１Ａから見て家屋Ｆ５０２の陰に隠れていた歩行者Ｆ５０１が、時刻ｔ２では、道路Ｆ５０４の上に現れて、移動体１およびカメラ２にとっての検知対象物となる。符号Ｆ５０３は、街路樹である。
【００５３】
なお、障害物は、歩行者Ｆ５０１に限定されない。動物、路面の落下物、路面のくぼみなど、移動体１Ａの走行の支障となりえるどのような事象も、検知対象に含めることができる。本実施例における障害物検知システムの運用範囲は、特定の区間や時間に限定されないものとし、移動体１の速度は可変であるとする。
【００５４】
［システム構成］
【００５５】
図１３を用いて、障害物検知システムの構成と動作を説明する。本実施例の障害物検知システムは、図１で述べた第１実施例の構成と比べると、さらに撮影画像補正部７を備えている。撮影画像補正部７は、カメラ２と状態判定部６との間に設けられており、制御部５Ａにより制御されるようになっている。
【００５６】
撮影画像補正部７は、カメラ２のシャッター時刻が時刻ｔ２と一致しない場合に、時刻ｔ２直後の撮影画像を用いて時刻ｔ２直前の撮影画像を補正することにより、時刻ｔ２における生成画像とシーンの同期がとれた撮影画像を生成する機能を有する。
【００５７】
図１４〜図１７を用いて、本実施例の障害物検知システムで処理される各種画像を説明する。図１４は、時刻ｔ１における撮影画像を示す。図１５は、時刻ｔ２における生成画像を示す。図１６は、時刻ｔ２における撮影画像を示す。図１７は、時刻ｔ２における差分画像の模式図を示す。
【００５８】
第１実施例の障害物検知システムでは、静止物体である設備異常箇所Ｆ２０６を検知する場合を述べた。これに対し、本実施例の障害物検知システムでは、移動体１Ａの走行区間空間を自在に動き回ることのできる動体（例えば歩行者Ｆ５０１）を検知する。
【００５９】
時刻ｔ１における撮影画像Ｆ２０１では、家屋Ｆ５０２および樹木Ｆ５０３は、遠方に写っている。画像生成部３は、時刻ｔ１における撮影画像Ｆ２０１を入力とし、時刻ｔ２における生成画像Ｆ２０２を生成する。
【００６０】
ここで、時刻ｔ１から時刻ｔ２にかけて移動体１Ａは移動するため、時刻ｔ２における生成画像Ｆ２０２では、家屋Ｆ５０２や樹木Ｆ５０３は移動体１Ａに近づいた位置として予測される。
【００６１】
時刻ｔ２における撮影画像Ｆ２０３では、家屋Ｆ５０２および樹木Ｆ５０３は、時刻ｔ２における生成画像Ｆ２０２と一致するが、事前に画像生成部３の学習に使用された画像群には含まれていない歩行者Ｆ５０１の出現を予測することはできない。
【００６２】
したがって、状態判定部６における類似度の算出根拠の一例である、時刻ｔ２における差分画像Ｆ２０４では、差分箇所Ｆ２０５が抽出される。差分箇所Ｆ２０５の存在は、時刻ｔ２における各画像間の類似度を低下させるため、状態判定部６は、移動体１Ａの走行空間内に障害物が存在すると判定することができる。
【００６３】
図１８は、撮影画像補正部７により実行される処理の一例を示す。時刻ｔ２直前の撮影画像Ｆ８０１に対して、時刻ｔ２直後の撮影画像Ｆ８０２は、被写体にカメラ２が近づいた画像となる。
【００６４】
１秒あたりに数枚〜数十枚撮影可能な一般的なカメラでは、１フレームの撮影間隔内においてコンテンツの変動は小さいと見なせる。したがって、パターンマッチング等の手法を用いて、時刻ｔ２直前の撮影画像Ｆ８０１に対して時刻ｔ２直後の撮影画像Ｆ８０２を適宜縮小したり位置決めしたりすることにより、マッチング領域Ｆ８０３を決定することができる
【００６５】
そして、決定したマッチング領域Ｆ８０３の４つの頂点座標に基づき、時刻ｔ２直前の撮影画像Ｆ８０１の４つの頂点座標と各々内挿処理を行うことにより、時刻ｔ２における生成画像とシーンの同期がとれた撮影画像Ｆ８０４を生成できる。
【００６６】
移動体１Ａの速度が可変である場合は、時刻ｔ１から時刻ｔ２への移動する距離も可変となる。そこで、画像生成部３が入力に用いる撮影画像のシーンと生成画像のシーンとの差は、移動距離として定義する。
【００６７】
障害物検知システムの運用時の制御部５は、時刻ｔ１を起点として、速度センサ（不図示）で取得した速度を積分した位置情報、もしくはＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）で取得した位置情報のいずれかに基づいて、所定の移動距離に達する時刻ｔ２と、時刻ｔ２の直前および直後の撮影時刻情報とを撮影画像補正部７に伝達する。撮影画像補正部７は、直前および直後の撮影時刻情報に基づいて内挿処理を行うことにより、移動体１Ａの速度が可変である場合も、時刻ｔ２における生成画像とシーンの同期がとれた撮影画像Ｆ８０４を生成できる
【００６８】
なお、画像生成部３の学習では、事前に撮影された走行空間の正常状態における撮影画像群を用い、画像生成部３の出力する時刻ｔ２における生成画像Ｆ２０２が時刻ｔ２における撮影画像Ｆ２０３にできるだけ近づくように、画像生成部３の内部パラメータを更新する。
【００６９】
ここで、移動体１Ａの速度が可変であるように、カメラ２のシャッター時刻が時刻ｔ２と一致しない場合もありえる。この場合は、画像撮影時に、カメラ２で撮影された画像に、移動体１Ａの速度あるいは位置情報を対応付けて画像記憶部４に記憶させる。
【００７０】
そして、時刻ｔ２直前から時刻ｔ２直後までに撮影された画像に対して、撮影画像補正部７の処理を適用することにより、時刻ｔ２における生成画像とシーンの同期がとれた撮影画像Ｆ８０４を生成する。この撮影画像Ｆ８０４を学習用画像として用いることにより、画像生成部３による画像生成性能を向上させることができる。
【００７１】
このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに、本実施例では、移動体１Ａの速度が可変である場合においても、撮影画像を補正することで生成画像のシーンと所定距離移動後の撮影画像のシーンの同期を取り、生成画像と撮影画像との類似度に基づいて状態判定を行うことができる。
【実施例３】
【００７２】
図１９および図２０を用いて第３実施例を説明する。図１９は、障害物検知システムの全体構成を示す。
【００７３】
本実施例は、ある地点での撮影画像を入力として移動体が所定距離移動後に撮影することとなる画像を生成する生成モデルを用い、移動体１Ｂの速度が可変である場合においても、移動体１Ｂの速度情報もしくは移動距離情報に基づいて、画像の生成を制御する。これにより、本実施例の障害物検知システムは、生成画像のシーンと所定距離移動後の撮影画像のシーンとの同期を取り、生成画像と撮影画像との類似度に基づいて状態を判定することができる。
【００７４】
［システム構成］
【００７５】
図１９の機能構成図に示すように、本実施例の障害物検知システムは、図１で述べた第１実施例の構成に比べて、制御部５Ｂから画像生成部３へ情報を伝達できるようになっている点で異なる。
【００７６】
制御部５Ｂから画像生成部３へ伝達する情報は、移動体１Ｂの速度情報、もしくは移動体１Ｂの移動した距離情報である。これら速度情報もしくは移動距離情報の取得には、移動体１Ｂに設置された速度センサを用いてもよいし、ＧＰＳを用いてもよい。
【００７７】
画像生成部３は、時刻ｔ１における撮影画像Ｆ２０１と、速度情報もしくは移動距離情報とに基づいて、時刻ｔ２における生成画像Ｆ２０２を生成できるように、事前に学習している。画像生成部３は、制御部５Ｂから伝達される情報に基づいて、移動距離が制御された時刻ｔ２における生成画像Ｆ２０２を生成する。
【００７８】
移動体１Ｂの速度が可変の状況下で、障害物検知システムが第２実施例で述べた撮影画像補正部７を備えない場合、時刻ｔ１から時刻ｔ２への移動距離も可変となる。したがって、時刻ｔ１の時点での速度もしくは生成画像のシーンまでの移動距離情報を、画像生成に際して使用することにより、時刻ｔ２における生成画像Ｆ２０２のシーンと時刻ｔ２における撮影画像Ｆ２０３のシーンの同期を取ることができる。
【００７９】
図２０は、時刻ｔ１における撮影画像Ｆ２０１と速度情報とを画像生成部３に入力し、時刻ｔ２における生成画像Ｆ２０２を出力する処理の模式図である。図２０は、同一時刻ｔ１における撮影画像Ｆ２０１と一緒に第一の速度Ｖ１と第二の速度Ｖ２（Ｖ１＜Ｖ２）を画像生成部３へそれぞれ入力した場合を示す。
【００８０】
画像生成部３は、前者の時刻ｔ２における生成画像Ｆ２０２（Ｖ１）と比較して、後者の時刻ｔ２における生成画像Ｆ２０２（Ｖ２）の方が、移動体１Ｂがより進行するように画像を生成する。
【００８１】
このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに本実施例では、移動体の速度が可変である場合も、画像生成を移動体の速度情報もしくは移動距離情報に基づいて制御することにより、生成画像のシーンと所定距離移動後の撮影画像のシーンとの同期を取り、生成画像と撮影画像との類似度に基づいて状態を判定することができる。
【実施例４】
【００８２】
図２１および図２２を用いて、第４実施例を説明する。図２１は、障害物検知システムの全体構成を示す。本実施例の障害物検知システムは、移動体１Ｃに搭載されたカメラ２による撮影画像にブレが生じる場合でも、状態判定対象領域を抽出することによりブレの影響を低減し、状態判定性能を安定化させる。
【００８３】
［システム構成］
【００８４】
図２１を用いて、障害物検知システムの構成と動作について説明する。本実施例の障害物検知システムは、図１で述べた第１実施例の構成に比べて、領域抽出部８をさらに備えている。領域抽出部８は、カメラ２の出力の後段に設けられている。領域抽出部８で抽出された画像データは、画像生成部３および状態判定部６に入力される。
【００８５】
領域抽出部８は、カメラ２の撮影した画像から、所定の目標を検出し、検出された目標に基づいて画像を抽出する。すなわち、領域抽出部８は、カメラ２で撮影された画像の中から所定領域内の画像を、比較対象の画像として抽出する。
【００８６】
例えば、移動体１Ｃが自動車の場合は、白線が所定の目標の一つとなる。移動体１Ｃが列車の場合は、レール等が所定の目標（ランドマーク）となる。領域抽出部８は、所定の目標を基準として、サイズを規定した画像を抽出する。これにより、カメラ２の撮影時に画像に生じるブレを低減することができる。
【００８７】
領域抽出部８による領域抽出を、学習用に事前に取得された撮影画像群と、運用時の撮影画像との両方に対して同様に適用することにより、画像生成部３による画像生成と状態判定部６による状態判定との両方を安定化させることができる。
【００８８】
図２２は、領域抽出部８による領域抽出の効果を示す。時刻ｔ１における撮影画像（ブレ有り）Ｆ１２０１と時刻ｔ２における撮影画像（ブレ有り）Ｆ１２０２とでは、ブレの影響により道路等の被写体の位置がずれている。
【００８９】
そこで領域抽出部８は、例えば白線をランドマークとして、時刻ｔ１における状態判定対象領域Ｆ１２０３と、時刻ｔ２における状態判定対象領域Ｆ１２０４とをそれぞれ抽出する。これにより、時刻ｔ１における抽出画像Ｆ１２０５と、時刻ｔ２における抽出画像Ｆ１２０６とでは、ブレの影響が低減される。この結果、道路等の被写体の位置ずれが低減され、以降の画像生成および状態判定の処理を安定化させることができる。
【００９０】
このように構成される本実施例も第１実施例と同様の作用効果を奏する。さらに本実施例によれば、カメラ２による撮影画像にブレが生じる場合においても、状態判定の対象領域を抽出することによりブレの影響を低減することができ、状態判定性能を安定化させることができる。
【実施例５】
【００９１】
図２３〜図２５を用いて、第５実施例を説明する。図２３は、障害物検知システムの全体構成を示す。本実施例は、移動体１Ｄの走行経路に曲線または分岐などが含まれる場合に、走行経路情報を活用することで、ある地点での撮影画像のシーンと所定距離移動後の撮影画像のシーンの包含関係を維持し、シーンの同期を取る。
【００９２】
［システム構成］
【００９３】
図２３を用いて、障害物検知システムの構成と動作について説明する。本実施例の障害物検知システムを搭載する移動体１Ｄと図１９で述べた第３実施例の移動体１Ｂの構成とを比較すると、本実施例の移動体ＩＤには、判定領域抽出部９および入力領域抽出部１０がさらに設けられている。
【００９４】
判定領域抽出部９は、所定距離移動後の撮影画像から、状態判定部６が画像比較による判定を行うための領域を抽出する。入力領域抽出部１０は、所定距離移動前の撮影画像から、画像生成部３が画像生成の入力として用いるための領域を抽出する。
【００９５】
判定領域抽出部９および入力領域抽出部１０における領域抽出の制御は、制御部５Ｄによって行われる。制御部５Ｄは、例えば走行経路の地図情報と、ＧＰＳ等で取得した移動体１Ｄの現在位置情報とに基づいて、撮影画像から抽出される領域を指定する。さらに、制御部５Ｄは、移動体１Ｄの進行方向情報を画像生成部３に伝達する。画像生成部３は、移動体１Ｄの進行方向のシーンと同期が取れるように画像を生成する。
【００９６】
図２４を用いて、判定領域抽出部９および入力領域抽出部１０による領域抽出処理を説明する。
【００９７】
例えば、移動体１Ｄの走行経路が右方向に大きくカーブしている場合、移動体１Ｄの移動につれて走行状況が大きく変化するため、正常状態であっても、時刻ｔ１の撮影画像Ｆ１４０１と時刻ｔ２の撮影画像Ｆ１４０２とは、シーン（構図など）が変化する。すなわち、時刻ｔ２における撮影画像（右カーブ）Ｆ１４０２には、時刻ｔ１における撮影画像（右カーブ）Ｆ１４０１には存在しなかった樹木Ｆ５０３が含まれている。
【００９８】
このため本実施例では、移動体１Ｄが所定距離を移動する前後のシーンの構造変化を学習して、画像を生成する。ここで、入力画像中に完全には含まれていない被写体を生成画像内に予測して生成することは難しい。
【００９９】
そこで、本実施例では、時刻ｔ１における撮影画像に含まれない領域Ｆ１４０４を、状態判定部６が判定に用いる撮影画像から除外する。時刻ｔ１における撮影画像に含まれない領域Ｆ１４０４は、時刻ｔ１におけるカメラ２の画角と、右カーブの走行経路を所定距離移動後の時刻ｔ２における移動体１Ｄの位置情報とカメラ２の画角とに基づき、算出することができる。そして、画像生成部３が入力として用いる時刻ｔ１における撮影画像（右カーブ）Ｆ１４０１からは、画像生成前後の被写体のアスペクト比を一定にするために、画像生成に使用しない領域Ｆ１４０３を除外する。
【０１００】
こうして抽出された、時刻ｔ２における抽出画像（右カーブ）Ｆ１４０６のシーンは、時刻ｔ１における抽出画像（右カーブ）Ｆ１４０５に包含される。すなわち、画像Ｆ１４０５と画像Ｆ１４０６とは連続性を有する。
【０１０１】
画像生成部３は、時刻ｔ１における抽出画像（右カーブ）Ｆ１４０５と、制御部５Ｄより伝達された進行方向情報とを入力として、時刻ｔ２における抽出画像（右カーブ）Ｆ１４０６とシーンの同期がとれた画像を生成することができる。
【０１０２】
図２５は、移動体１Ｄを列車にした場合の、判定領域抽出部９および入力領域抽出部１０による領域抽出処理を示す。
【０１０３】
列車として構成される移動体１Ｄの、前方の障害物検知を目的とする場合、移動体１Ｄが分岐器に差し掛かった時点で、移動体１Ｄは直進方向または右カーブ方向の二種類の進行方向を取り得る。したがってこの場合、分岐器に差し掛かった時点の撮影画像Ｆ１５０１からは、直線方向に移動後の撮影画像Ｆ１５０２と、右カーブ方向に移動後の撮影画像Ｆ１５０３との、どちらのシーンに同期のとれた画像を生成するべきか判断しなければならない。
【０１０４】
そこで、制御部５Ｄは、例えば外部より取得された分岐器の方向制御情報を用いて、移動体１Ｄの進行方向を判別し、必要な場合には、判別された進行方向にしたがって判定領域抽出部９および入力領域抽出部１０における領域抽出を制御する。さらに、制御部５Ｄは、判別された進行方向情報を画像生成部３へ伝達する。
【０１０５】
判定領域抽出部９および入力領域抽出部１０は、シーンの包含関係が維持されるように（シーンの連続性が維持されるように）、必要に応じて撮影画像の領域抽出を行う。画像生成部３は、制御部５Ｄから伝達された進行方向情報に基づいて、進行方向のシーンと同期が取れるように画像を生成する。これにより、状態判定部６は、移動体１Ｄの進行方向が分岐する場合であっても、適切に移動体１Ｄの周囲状態を判定できる。
【０１０６】
このように構成される本実施例も、第１実施例および第３実施例と同様の作用効果を奏する。さらに本実施例では、移動体１Ｄの走行経路が大きく変化しうる場合でも、走行経路情報を活用することにより対応することができる。
【実施例６】
【０１０７】
図２６を用いて、第６実施例を説明する。図２６は、障害物検知システムの全体構成を示す。本実施例の移動体１Ｅと、図２３で述べた第５実施例の移動体１Ｄとを比較すると、本実施例の制御部５Ｅは、周期管理部５１さらに備える。
【０１０８】
周期管理部５１は、第１時刻ｔ１と第２時刻ｔ２との時間差（周期あるいは所定時間）Δｔを制御する機能である。周期管理部５１は、例えば周期管理テーブルＴ１０を用いることにより、時間差Δｔを制御することができる。
【０１０９】
周期管理テーブルＴ１０では、「道路（直線）」、「道路（カーブ）」、「交差点近傍」などのように、道路状況毎に周期があらかじめ設定されている。例えば、「道路（カーブ）」または「交差点近傍」などのように、移動体１Ｅの周囲の環境変化が大きくなると想定できるほど周期Δｔが短くなるように設定される。周期管理部５１は、ＧＰＳ情報および地図情報などに基づいて、道路状況を検出し、検出された道路状況に合う周期Δｔを選択する。
【０１１０】
このように構成される本実施例も第５実施例と同様の作用効果を奏する。さらに本実施例では、移動体１Ｅの移動する道路状況（走行区間空間の状況）に基づいて、第１時刻ｔ１と第２時刻ｔ２との時間差Δｔ（判定周期）を制御するため、より実際の走行に応じて周囲環境を判定することができる。
【実施例７】
【０１１１】
図２７を用いて、第７実施例を説明する。図２７は、障害物検知システムの全体構成を示す。本実施例の移動体１Ｆと図１で述べた第１実施例の移動体１とを比較すると、本実施例では、移動体１Ｆの前後にカメラ２Ｆ，２Ｒを設け、フロントカメラ２Ｆで撮影された画像とリアカメラ２Ｒで撮影された画像のそれぞれについて、複数の画像を比較判定する構成３Ｆ〜６Ｆ，３Ｒ〜６Ｒと、統合判定部１１とがさらに設けられている。
【０１１２】
このように構成される本実施例によれば、第１実施例と同様の作用効果を奏する。さらに本実施例では、移動体１Ｆの前後で複数画像を比較して判定することができ、移動体１の周囲の走行区間空間の変化、障害物の有無などを検出することができる。
【０１１３】
なお、本発明は上記各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記各実施例は本発明を分かりやすく説明するために詳細に説明されたものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能である。さらに、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることができる
【０１１４】
上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【０１１５】
上記の各実施例では、カメラを自動車または列車に搭載する場合を説明したが、他の移動体に搭載してもよい。例えばカメラは、ドローンの下部に搭載してもよい。カメラをドローンの下部に搭載した場合は、規定された飛行経路に沿って周囲の設備点検を行うことで、設備点検支援システムに状態判定用画像処理装置を適用することができる。カメラは、配管内検査ロボットの前頭部に搭載してもよい。カメラを配管内検査ロボットの前頭部に搭載した場合は、配管内を走行して配管壁面のサビ等による構造劣化を点検することで、配管点検支援システムに状態判定用画像処理装置を適用することができる。さらに、カメラは、移動体の後部または側部、あるいは上部に設けてもよい。
【０１１６】
本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれる。さらに特許請求の範囲に記載された構成は、特許請求の範囲で明示している組合せ以外にも組み合わせることができる。
【符号の説明】
【０１１７】
１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ：移動体、２，２Ｆ，２Ｒ：カメラ、３：画像生成部、５，５Ａ，５Ｂ，５Ｄ：制御部、６：状態判定部、７：撮影画像補正部、８：領域抽出部、９：判定領域抽出部、１０：入力領域抽出部、５１：周期管理部
【図１】
2020087133.tif 000003
【図２】
2020087133.tif 000004
【図３】
2020087133.tif 000005
【図４】
2020087133.tif 000006
【図５】
2020087133.tif 000007
【図６】
2020087133.tif 000008
【図７】
2020087133.tif 000009
【図８】
2020087133.tif 000010
【図９】
2020087133.tif 000011
【図１０】
2020087133.tif 000012
【図１１】
2020087133.tif 000013
【図１２】
2020087133.tif 000014
【図１３】
2020087133.tif 000015
【図１４】
2020087133.tif 000016
【図１５】
2020087133.tif 000017
【図１６】
2020087133.tif 000018
【図１７】
2020087133.tif 000019
【図１８】
2020087133.tif 000020
【図１９】
2020087133.tif 000021
【図２０】
2020087133.tif 000022
【図２１】
2020087133.tif 000023
【図２２】
2020087133.tif 000024
【図２３】
2020087133.tif 000025
【図２４】
2020087133.tif 000026
【図２５】
2020087133.tif 000027
【図２６】
2020087133.tif 000028
【図２７】
2020087133.tif 000029