(57)【要約】【課題】極力簡単な構成により高い精度で異物を検出し得る異物検出システムおよび方法を提供する。【解決手段】対象領域Ａ内の画像を取得する撮像装置５と、撮像装置５により取得された画像内の物体をディープラーニングを用いて検出するプログラムを格納する画像処理部と、対象領域Ａの内側から外部を視認できる透過部４と周囲の物体との位置関係を判定する境界判定部６とを備え、撮像装置５で取得された画像に対し、透過部４の占める領域にマスク処理を施し、マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成する。【選択図】図１
2020190437.tif 000002
【特許請求の範囲】
【請求項１】
対象領域内の画像を取得する撮像装置と、
前記撮像装置により取得された画像内の物体をディープラーニングを用いて検出するプログラムを格納する画像処理部と、
前記対象領域の内側から外部を視認できる透過部と周囲の物体との位置関係を判定する境界判定部とを備え、
前記撮像装置で取得された画像に対し、前記透過部の占める領域にマスク処理を施し、
該マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成された異物検出システム。
【請求項２】
前記マスク処理は前記撮像装置にて行われる、請求項１に記載の異物検出システム。
【請求項３】
前記マスク処理は前記画像処理部にて行われる、請求項１に記載の異物検出システム。
【請求項４】
前記境界判定部は、前記対象領域における外部空間との境界域における物体の有無を検出可能に構成された物体センサである、請求項１〜３のいずれか一項に記載の異物検出システム。
【請求項５】
前記物体センサは、前記透過部のなす面に沿って照射された照射波を検出するよう構成されている、請求項４に記載の異物検出システム。
【請求項６】
前記境界判定部は、前記撮像装置により取得された画像内における物体の位置と、前記画像内に前記透過部の占める領域との位置関係に基づき、前記撮像装置により取得された画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定するよう構成されている、請求項１〜３のいずれか一項に記載の異物検出システム。
【請求項７】
前記対象領域は機械式駐車場の入出庫スペースである、請求項１〜６のいずれか一項に記載の異物検出システム。
【請求項８】
対象領域内の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像に対し、前記対象領域の内側から外部を視認できる透過部の占める領域にマスク処理を施すマスク処理工程と、
前記マスク処理工程を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する第一の物体検出工程と、
前記対象領域の境界域における物体の有無を検出する第二の物体検出工程と
を含む異物検出方法。
【請求項９】
対象領域内の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する物体検出工程と、
前記画像内における物体の位置と、前記対象領域の内側から外部を視認できる透過部が前記画像内に占める領域との位置関係に基づき、前記画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定する位置判定工程と
を含む異物検出方法。
【請求項１０】
前記対象領域は機械式駐車場の入出庫スペースである、請求項８または９に記載の異物検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、駐車場等の対象領域内の異物を検出するシステム、および方法に関する。
【背景技術】
【０００２】
車両が進入し、停止する空間、例えば機械式駐車場の入出庫スペース等においては、出入口の扉を開閉したり、車両を載せたパレットを運搬するといった操作を行うにあたり、車両の他に運転者や乗員、手荷物といった異物が存在しないことを確認する必要がある。こうした異物不在の確認作業は、運転者や施設の係員等が目視で行うことができるが、人力のみに頼った場合、不注意等により確認が徹底されない可能性がある。そこで、近年では、異物の不在確認を確実に行うよう、人力のみに頼ることなく、対象領域内の異物を自動で検出する技術が要請されている。
【０００３】
また、現在、各国で開発が進められている自動運転技術が本格的に実用化されれば、車両の運転のみならず、上述の如き扉の開閉やパレットの運搬といった、車両周辺において行われる種々の操作についても自動化が進められることが想定できる。例えば、自動運転により車両が乗員を目的地に送り届けた後、自動で近傍の機械式駐車場へ移動し、格納スペースに格納されるといったケースが考えられる。この場合、車両は乗員が不在の状態で移動し、入出庫スペースに停止することになる。このとき、扉の開閉、パレットの移動の開始といった操作は、係員が異物の不在を目視で確認し、操作ボタンを入力することで実行されるようにすればよい。しかし、異物の不在を自動で確認し、操作を開始する仕組みがあればよりスムーズである。
【０００４】
このような異物の検出を行う仕組みは、機械式駐車場だけでなく、例えば電気自動車の給電設備等、停止した車両の周辺で何らかの操作を行う場所において広く必要とされ得る。また、同様の仕組みは、車両に限らず何らかの物体の周辺において異物を検出したい局面に広く適用され得る。
【０００５】
対象領域内の異物を自動的に検出するための技術として、カメラ等を用いて対象領域内の画像を取得し、該画像内に写り込んだ異物を検出する方法が種々提案されている。こうした技術を記載した技術文献としては、例えば下記特許文献１〜６が挙げられる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−３４９３号公報
【特許文献２】特開２０１５−５５０７３号公報
【特許文献３】特開２０１４−８０７３５号公報
【特許文献４】特開平０８−４２１８４号公報
【特許文献５】特開昭６２−１９４３６６号公報
【特許文献６】特開２０１２−１５８９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の如き異物検出のための技術においては、検出に最低限の精度が要求されることは勿論であるが、それに加え、なるべく装置構成を簡素にすることが、建設あるいはメンテナンス等にかかるコストの面で重要である。しかしながら、上記特許文献１〜６に記載の如き技術は、いずれも精度とコストの両面を十分に満足するには必ずしも至っていなかった。
【０００８】
そこで、本開示においては、極力簡単な構成により高い精度で異物を検出し得る異物検出システムおよび方法を説明する。
【課題を解決するための手段】
【０００９】
本開示は、対象領域内の画像を取得する撮像装置と、前記撮像装置により取得された画像内の物体をディープラーニングを用いて検出するプログラムを格納する画像処理部と、前記対象領域の内側から外部を視認できる透過部と周囲の物体との位置関係を判定する境界判定部とを備え、前記撮像装置で取得された画像に対し、前記透過部の占める領域にマスク処理を施し、該マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成された異物検出システムにかかるものである。
【００１０】
上述の異物検出システムにおいて、前記マスク処理は前記撮像装置にて行われるよう構成してもよい。
【００１１】
上述の異物検出システムにおいて、前記マスク処理は前記画像処理部にて行われるよう構成してもよい。
【００１２】
上述の異物検出システムにおいて、前記境界判定部は、前記対象領域における外部空間との境界域における物体の有無を検出可能に構成された物体センサとすることができる。
【００１３】
上述の異物検出システムにおいて、前記物体センサは、前記透過部のなす面に沿って照射された照射波を検出するよう構成することができる。
【００１４】
上述の異物検出システムにおいて、前記境界判定部は、前記撮像装置により取得された画像内における物体の位置と、前記画像内に前記透過部の占める領域との位置関係に基づき、前記撮像装置により取得された画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定するよう構成することができる。
【００１５】
上述の異物検出システムにおいて、前記対象領域は機械式駐車場の入出庫スペースとすることができる。
【００１６】
また、本開示は、対象領域内の画像を取得する画像取得工程と、前記画像取得工程で取得された画像に対し、前記対象領域の内側から外部を視認できる透過部の占める領域にマスク処理を施すマスク処理工程と、前記マスク処理工程を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する第一の物体検出工程と、前記対象領域の境界域における物体の有無を検出する第二の物体検出工程とを含む異物検出方法にかかるものである。
【００１７】
また、本開示は、対象領域内の画像を取得する画像取得工程と、前記画像取得工程で取得された画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する物体検出工程と、前記画像内における物体の位置と、前記対象領域の内側から外部を視認できる透過部が前記画像内に占める領域との位置関係に基づき、前記画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定する位置判定工程とを含む異物検出方法にかかるものである。
【００１８】
上述の異物検出方法において、前記対象領域は機械式駐車場の入出庫スペースとすることができる。
【発明の効果】
【００１９】
本発明の異物検出システムおよび方法によれば、極力簡単な構成により高い精度で異物を検出し得るという優れた効果を奏し得る。
【図面の簡単な説明】
【００２０】
【図１】本開示の第一実施例による異物検出システムにおける装置の配置を説明する概要平面図である。
【図２】本開示の第一実施例による異物検出システムのシステム構成を説明するブロック図である。
【図３】本開示の第一実施例において取得される画像の一例を示す図である。
【図４】本開示の第一実施例において取得され、一部にマスク処理を施された画像の一例を示す図である。
【図５】本開示の第一実施例において取得され、一部にマスク処理を施された画像の別の一例を示す図である。
【図６】本開示の第一実施例による異物検出方法の手順の一例を説明するフローチャートである。
【図７】本開示の第二実施例による異物検出システムにおける装置の配置を説明する概要平面図である。
【図８】本開示の第二実施例による異物検出システムのシステム構成を説明するブロック図である。
【図９】本開示の第二実施例において取得される画像の一例を示す図である。
【図１０】本開示の第二実施例において取得され、プログラムによる物体検出処理が施された画像の一例を示す図である。
【図１１】本開示の第二実施例による異物検出方法の手順の一例を説明するフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本開示における実施例の形態を添付図面を参照して説明する。図１に示す第一実施例の異物検出システムでは、対象領域Ａとして機械式駐車設備の入出庫スペースを想定している。そして、対象領域Ａ内に車両１以外の物体（異物Ｆ）が存在する場合に、該異物Ｆを検出するようになっている。入出庫スペースである対象領域Ａは、四方を壁で囲まれた空間であり、手前側（図中下側）に透過部としての入出庫口４が設けられ、ここから車両１が出入りするようになっている。
【００２２】
尚、本明細書において「異物」とは、対象領域内に存在する目的物（この場合は、搬送の目的物である車両１）以外の物体であって、対象領域にもとより配置された物体以外の物体を指し、代表的には、車両の運転者、乗員、設備の係員といった人である。また、対象領域Ａ内に持ち込まれ、車両１の外に置かれる手荷物等も「異物」の例として挙げられる。図１には、一例として対象領域Ａの内部に２個の異物Ｆを図示している。また、対象領域Ａの外部に１個の物体Ｏを図示している。
【００２３】
「透過部」は、対象領域の内側から外部を視認できる光学的な開口部を指す。つまり、本第一実施例における透過部は外部空間と光学的にも物質的にも連通する入出庫口４であるが、この他に、例えば光の透過するガラス窓、隣接する空間との間を柵で仕切った部分等も「透過部」として想定できる。
【００２４】
車両１を搬送するパレット２は、対象領域Ａ外の格納スペース（図示せず）から入出庫スペースである対象領域Ａに出入りする。対象領域Ａにおけるパレット２の定位置は、対象領域Ａの中央部である。入庫時において、車両１は、入出庫口４を通じて対象領域Ａ内に進入し、パレット２上に停止し、パレット２と共に前記格納スペースへ搬送され、格納される。出庫時には、車両１はパレット２と共に前記格納スペースから対象領域Ａ内に搬送された後、入出庫口４から対象領域Ａ外へ退出する。
【００２５】
対象領域Ａ内には、該対象領域Ａ内の画像を取得するカメラ等である撮像装置５が配置される。本第一実施例の場合、撮像装置５として図１に示す如く、車両１の停止位置の周辺に、合計２台の撮像装置５ａ，５ｂが設置されている。２台の撮像装置５のうち、撮像装置５ａは車両１の停止位置から見て左前方に、撮像装置５ｂは右後方にそれぞれ設置されている。このように、互いに車両１の停止位置を挟むように、斜め前方および斜め後方に撮像装置５ａ，５ｂを設置することで、対象領域Ａ内における車両１の周囲全体について画像を取得できるようにしている。
【００２６】
透過部である入出庫口４近傍の内壁には、境界判定部としての物体センサ６が設けられている。本明細書における「境界判定部」とは、光学的な開口部である透過部（入出庫口４）と、周囲の物体（異物Ｆまたは物体Ｏ）との位置関係を判定する装置、またはその部分を指す。本第一実施例の場合、境界判定部である物体センサ６を入出庫口４の近傍に設置し、入出庫口４によって定義される対象領域Ａの内外の境界線上に何らかの物体が位置する場合に、該物体を検出するようにしている。このように、境界判定部として物体センサ６を設けると、異物検出システムを実施するにあたり、装置構成を簡易にすることができる。
【００２７】
物体センサ６は、例えば透過型の光電センサである。物体センサ６は、入出庫口４の左右一側に設けられた照射部６ａと、左右他側に設けられた受光部６ｂを備えており、照射部６ａから入出庫口４のなす面に沿って照射波としての照射光を照射し、受光部６ｂにて検出するようになっている。照射部６ａと受光部６ｂの間に何らかの物体が存在すれば、受光部６ｂにて検出される照射光の量が変化する。こうして、物体センサ６は、照射部６ａと受光部６ｂの間に存在する物体を検出できるようになっている。
【００２８】
ここで、「境界域」とは、透過部によって定義される対象領域と外部空間との境界近傍の領域を指す。より具体的には、対象領域Ａのうち、後述する異物検出工程において、画像の透過部にあたる領域マスク処理を施した場合に、目的の異物が検出されにくくなる領域を指す。図１に示した例では、入出庫口４により定義される境界線に沿って照射波を照射するように物体センサ６を配置しているが、これに代えてあるいは加えて、より対象領域Ａの内側寄りの境界域にある異物Ｆを物体センサ６により検出可能にしてもよい。マスク処理による検出漏れをより確実に防止するためである（このような物体センサ６の配置については、後に再度説明する）。尚、物体センサ６としては、透過型の光電センサ以外にも、特定の領域内における物体の有無を検出可能な装置であれば適宜利用することができる。例えば、透過型以外の形式の光電センサを使用してもよいし、超音波センサ等を使用することもできる。
【００２９】
入出庫口４近傍の外壁には、操作部７、表示部８、警報部９が備えられている。操作部７は、入出庫口４の開閉、パレット２の搬送といった各部の操作を入力する入力装置である。表示部８は、撮像装置５において取得された対象領域Ａ内の画像、その他の情報を、必要に応じて表示するよう構成されたディスプレイである。警報部９は、対象領域Ａ、あるいは対象領域Ａを含む設備の何処かにおいて、人員に対して注意を促すべき何らかの事態が生じた場合に警報を発する装置である。「人員に対して注意を促すべき何らかの事態」とは、例えば車両１を対象領域Ａ外の格納スペースへ搬送するにあたり、対象領域Ａに車両１以外の異物Ｆが検出された場合などである。警報の内容は、アラーム音、警告灯の点灯、警告メッセージの表示など、人員に対して注意を喚起できればよく、適当な形式を選択することができる。
【００３０】
尚、操作部７、表示部８、警報部９を設置する位置は、ここに示した位置に限定されない。例えば、これらに相当する装置を図示しない管理室等に備えてもよいし、これらの装置のうちいずれかを複数、別々の場所に備えてもよい。また、ここでは説明の便宜のために操作部７、表示部８、警報部９をそれぞれ別々に図示したが、例えば操作部７と表示部８の機能を一体に備えたタッチパネルディスプレイを設けてもよい。また、警報部９の機能を表示部８が兼ねる（すなわち、警報にあたる情報を表示部８に表示する）ようにしてもよい。その他、操作部７、表示部８、警報部９に関しては、対象領域Ａのレイアウトやその他の条件に応じて適宜変更することができる。
【００３１】
図２には、撮像装置５、物体センサ６、操作部７、表示部８、警報部９の制御に係るシステム構成の一例を示している。撮像装置５、物体センサ６、操作部７、警報部９は、Ethernet（登録商標）等の通信バスを介し、制御装置１０と情報的に接続されている。制御装置１０は、入出庫スペースである対象領域Ａを含む機械式駐車場全体を監視し、各部の運転を行う装置であり、入出庫口４の開閉、パレット２の搬送、撮像装置５および物体センサ６の作動等を制御する。
【００３２】
また、表示部８は、画像処理部１１を介して前記通信バスに接続されている。画像処理部１１は、撮像装置５において取得された対象領域Ａの画像に対し適宜の処理を行う情報処理装置であり、必要に応じ、表示部８に画像データを送信して表示部８に画像を表示させるようにもなっている。
【００３３】
画像処理部１１において行われる画像処理として、本第一実施例において特に想定されるのは異物Ｆ（図１参照）の検出である。すなわち、画像処理部１１では、撮像装置５により取得された対象領域Ａの画像を解析し、画像内に人等の物体が存在するか否かを判定する。制御装置１０は、画像処理部１１において処理対象の画像から物体が検出された場合、または、前述の物体センサ６により対象領域Ａの境界域に物体が検出された場合に、異物Ｆを検出したと判断し、警報部９を通じて警報を発報する。
【００３４】
画像処理部１１には、画像内に写り込んだ物体を検出するプログラムＰが格納されている。このプログラムＰは、多層のニューラルネットワークを用いたディープラーニングの手法により、特定の種類の物体を検出するよう構成されている。ディープラーニングのアルゴリズムとしては、例えばＲ−ＣＮＮ（Regional-Convolutional Neural Network）、Ｆａｓｔ  Ｒ−ＣＮＮ、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multibox Detector）といった各種のアルゴリズムを用いることができるが、この他の適当なアルゴリズムを使用してもよい。
【００３５】
プログラムＰは、こうしたアルゴリズムを用い、画像内に写り込んだ物体の種類を特定すると共に、該物体がその種類の物体である確率、物体の重心の座標、物体の幅および高さ等を出力できるようになっている。機械式駐車場の入出庫スペースである対象領域Ａにおいて想定される異物Ｆの種類は、第一に人物であるので、プログラムＰは、画像から少なくとも人物を判別できるように構成されるべきである。その他に、車両１と共に対象領域Ａに入り込む可能性のある物体としては、ペット等の動物、バッグ、ベビーカーなど、各種の物体が想定されるので、プログラムＰは、人物の他にこれらの物体をも検出できるようになっていてもよい。また、異物検出システムの設置対象である対象領域の種類が異なれば、異物として検出される物体の種類も異なることが考えられる。プログラムＰは、人物に限らず、対象領域の種類に応じて想定される各種の物体を検出可能に構成すればよい。
【００３６】
車両１の入庫を行う際には、車両１の運転者、乗員、施設の係員といった人員が操作部７を操作し、入庫の開始を指示する。制御装置１０は、指示に応じて入出庫口４を開放する。入庫の開始にあたっては、空のパレット２が対象領域Ａ内の定位置である中央部に配備された状態で入出庫口４を開放する。
【００３７】
入出庫口４が開放されたら、運転者が車両１を対象領域Ａ内に移動させ、パレット２上で停止させる。停止後、運転者やその他の乗員が降車し、対象領域Ａから退出する。運転者等の人員が全て退出したら、運転者等は対象領域Ａ内を目視し、人物や手荷物等の異物Ｆが対象領域Ａ内に存在しないかどうかを確認のうえ、操作部７を操作し、車両１がパレット２上に停止した旨を入力する。制御装置１０は、入出庫口４を閉鎖し、車両１を積載したパレット２を対象領域Ａ外の格納スペースへ搬送する。
【００３８】
車両１の出庫を行う際には、車両１の運転者、乗員、施設の係員といった人員が操作部７を操作し、出庫の開始を指示する。制御装置１０は、指示に応じて該当するパレット２を対象領域Ａ内に搬送し、入出庫口４を開放する。入出庫口４が開放されたら、運転者がパレット２上の車両１に乗り込み、対象領域Ａの外へ移動する。車両１が外へ出た段階で、車両１の運転者や係員等が再び操作部７を操作し、出庫が完了した旨を入力する。制御装置１０は、指示に応じて入出庫口４を閉鎖する。
【００３９】
尚、上の一連の動作は運転者が車両１を運転する場合を例に説明したが、車両１が自動運転車である場合もあり得る。その場合、上記した車両１の動作の一部または全部が、運転者を介さずに行われる。
【００４０】
画像処理部１１（図２参照）では、適宜のタイミングで異物検出を実行する。例えば、入庫の際、車両１がパレット２上に停止し、その旨を運転者が操作部７に入力した時に異物検出を行う。このとき、運転者は目視により対象領域Ａ内の異物Ｆの不在を確認するが、同時に物体センサ６と撮像装置５および画像処理部１１を用いて機械的に異物検出を実行すれば、確認を徹底できる。その他、例えば出庫の開始指示が入力された時や、出庫の完了が入力されて入出庫口４を閉鎖する時、あるいは特に操作を行わない平常時など、対象領域Ａ内の状態を確認する必要があると考えられる任意のタイミングにおいて、異物検出を行うことができる。
【００４１】
異物検出を行う場合、制御装置１０は、各撮像装置５を作動させ、対象領域Ａ内の画像を取得する。画像処理部１１では、プログラムＰにより、各撮像装置５が取得した画像に対し物体検出処理を実行する。また、制御装置１０は、物体センサ６を作動させ、対象領域Ａの境界域に物体が存在しないかどうかを確認する。
【００４２】
画像処理の結果、取得された画像のうち少なくとも１枚の画像中に、異物Ｆとして想定される種類の物体（例えば、人物）が検出された場合には、制御装置１０は警報部９を作動させ、警報を発報する。同時に、パレット２、入出庫口４あるいはその他の各部の動作を禁止する。また、異物Ｆが検出された旨を表示部８に表示してもよい。また、物体センサ６により物体が検出された場合にも、制御装置１０は同様の動作を行う。
【００４３】
このように、プログラムＰを用いて異物検出を行うにあたり、物体センサ６による物体検出を併せて実行すれば、異物検出の精度を高めることができる。以下に詳しく説明する。
【００４４】
撮像装置５によって取得された対象領域Ａ内の画像に基づき、図１に示す如き対象領域Ａ内の異物Ｆを検出したい場合、まず、死角を作らないことが重要である。一方で、システムを構成する装置類は極力少ないことが望ましく、特に、撮像装置５の台数は、異物検出の精度を確保可能な範囲でなるべく少なくすべきである。上述の如きディープラーニングを用いたプログラムＰにより画像処理を行う場合、画像処理部１１に相当量の計算負荷が発生する。図２では画像処理部１１を１個のブロックとして表示しているが、実際には、例えば１台の撮像装置５につき１台程度の情報処理装置が必要となる場合もあり得る。このように、撮像装置５の台数を抑えることは、特にディープラーニングを用いたプログラムＰを用いて異物検出を行う場合、コストの面で非常に重要である。図１に示す２台の撮像装置５の配置は、少ない台数の撮像装置５により、対象領域Ａ内の画像を死角を作らないように取得するための一案である（尚、ここでは２台の撮像装置５を備えた異物検出システムを例示したが、この２台の撮像装置５は死角をなくすための必要最小限の台数であって、検出精度をいっそう高める等の目的で、さらに撮像装置等を追加することを妨げるものではない）。
【００４５】
さらに、異物検出にあたっては、検出漏れと過検出の両方を極力減らす必要がある。ここで、図１に示す如く撮像装置５を配置した場合、各撮像装置５の画角には、入出庫口４が大きく入り込んでしまう。その結果として、例えば撮像装置５ｂにより取得される画像では、図３に示す如く、透過部である入出庫口４を通し、対象領域Ａの外部にある物体Ｏが画像内に写り込む可能性がある。物体ＯがプログラムＰによって検出可能な種類の物体（ここでは、人物）である場合には、過検出が生じるおそれがある。
【００４６】
過検出を防止するためには、例えば図４に示す如く、画像内に写り込む透過部（入出庫口４）にあたる領域にマスク処理を施したうえで、プログラムＰによる異物検出を実行する方法が考えられる。しかしながら、このようにした場合、入出庫口４の近傍にある異物Ｆの一部もマスクされてしまう。マスクされた量あるいは位置が図４に示す程度であれば、マスクされた物体ＦをプログラムＰによって検出することは可能であるが、異物Ｆの位置がさらに外側寄りである場合には、図５に示す如く異物Ｆの大半がマスクされてしまう場合もあり得る。図５に示す例では、入出庫口４の近傍の異物Ｆは対象領域Ａの内側に位置しているが、マスク処理によって大半がマスクされてしまっているため、プログラムＰでは検出できない可能性がある。そこで、図１に示す如く配置した物体センサ６を作動させることで、マスク処理により検出されない可能性のある境界域の異物Ｆを確実に検出するのである。つまり、プログラムＰを用いて異物検出を行うにあたり、画像処理部１１によるマスク処理で過検出を、境界判定部である物体センサ６で検出漏れをそれぞれ防ぐことにより、異物検出の精度を高めているのである。
【００４７】
ところで、図１に示す如く対象領域Ａの内外の境界線に沿って照射波を照射するように物体センサ６を配置した場合、境界線上にある異物Ｆは物体センサ６により好適に検出できる。一方で、入出庫口のすぐ内側に位置する異物Ｆは、物体センサ６の照射波が当たらず、しかも撮像装置５によって取得された画像中では、マスク処理を経て大部分がマスクされてしまうといった場合も想定される。こういった場合、検出漏れが生じてしまう可能性も否定できない。そこで、図１に示す位置の物体センサ６に代えてあるいは加えて、より内側の境界域についても異物Ｆを検出できるよう、物体センサ６を設置しても良い。このように、入出庫口４により定義される境界線よりも内側の境界域に対して物体センサ６を設置する場合、該物体センサ６の配置は、次のように設定することが最適である。
・物体センサ６による物体検出の対象となり得る領域より内側に位置する異物Ｆであれば、マスク処理を経た画像からでもプログラムＰにより検出できるよう、物体センサ６を配置する。
すなわち、
・物体センサ６により、境界域が異物検出の対象となるよう、物体センサ６を配置する。
【００４８】
尚、「物体センサ６による異物検出の対象となり得る領域」と、「マスク処理を経た画像からでもプログラムＰにより異物Ｆを検出できる領域」とは、互いに重複部分があっても差し支えない。
【００４９】
以上の如き撮像装置５、画像処理部１１および物体センサ６による異物検出工程の手順の一例を、図６のフローチャートを参照しながら説明する。以下に説明する異物検出工程は、画像取得工程（ステップＳ１）と、マスク処理工程（ステップＳ２）と、第一の物体検出工程（ステップＳ３）と、第二の物体検出工程（ステップＳ４）とを含んでいる。
【００５０】
まず、撮像装置５により、対象領域Ａ内の画像を取得する（ステップＳ１）。続いて、取得した画像に対し、透過部（入出庫口４）の占める領域にマスク処理を施す（ステップＳ２）。尚、マスク処理は、撮像装置５で行ってもよいし、画像処理部１１で行ってもよい。さらに、マスク処理を経た画像に対し、画像処理部１１に格納されたプログラムＰにより、物体検出処理を実行する（ステップＳ３）。
【００５１】
一方で、物体センサ６を作動させ、照射波の照射領域における物体の有無を検出する（ステップＳ４）。ステップＳ５では、プログラムＰにより画像内に特定の種類の物体が検出されたか、あるいは物体センサ６により照射領域に何らかの物体が検出されたかを判定する。いずれか一方、あるいは両方にて物体が検出されていれば、対象領域Ａ内に異物Ｆが存在すると判断される（ステップＳ６）。異物Ｆが存在すると判断されたら、制御装置１０は、異物Ｆを検出した場合に行うべき各種の動作を行う。例えば、異物が検出された旨を表示部８に表示する。このとき、文字あるいは音声によるメッセージを流したり、表示部８の背景色を変更し、操作者（車両１の運転者、あるいは施設の係員等の人員）に対し注意を促す。また、必要に応じ、機器類の操作（例えば、入庫口４の開閉、パレット２の搬送など）を禁止しても良い。
【００５２】
プログラムＰおよび物体センサ６のいずれによっても物体が検出されていなければ、異物は存在しないとして、異物検出工程を終了する（ステップＳ７）。
【００５３】
尚、ここに説明した手順は一例であって、各ステップの順序は適宜入れ替えたり、別のステップを追加するなど、変更を加えることができる。例えば、画像処理部１１およびプログラムＰによる物体検出を行うステップＳ１〜Ｓ３と、物体センサ６による物体検出を行うステップＳ４とは順序を入れ替えてもよいし、並行して実行してもよい。また、ここでは物体検出の結果を判定するステップをステップＳ５としてまとめて説明したが、画像処理部１１およびプログラムＰによる物体検出の結果の判定と、物体センサ６による物体検出の結果の判定は別々に行ってもよい。
【００５４】
以上のように、上記本第一実施例の異物検出システムは、対象領域Ａ内の画像を取得する撮像装置５と、撮像装置５により取得された画像内の物体をディープラーニングを用いて検出するプログラムＰを格納する画像処理部１１と、対象領域Ａの内側から外部を視認できる透過部４と周囲の物体との位置関係を判定する境界判定部６とを備え、撮像装置５で取得された画像に対し、透過部４の占める領域にマスク処理を施し、該マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成されている。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、境界判定部６による物体検出を併せて実行することで、異物検出の精度を高めることができる。
【００５５】
上述の異物検出システムにおいて、マスク処理は前記撮像装置にて行われるようにすることができる。
【００５６】
上述の異物検出システムにおいて、マスク処理は前記画像処理部にて行われるようにすることもできる。
【００５７】
上述の異物検出システムにおいて、境界判定部６は、対象領域Ａにおける外部空間との境界域における物体の有無を検出可能に構成された物体センサとすることができる。このようにすれば、簡易な装置構成により異物検出システムを実施することができる。
【００５８】
上述の異物検出システムにおいて、物体センサ６は、透過部４のなす面に沿って照射された照射波を検出するよう構成することができる。このようにすれば、境界線上にある異物Ｆを物体センサ６により好適に検出することができる。
【００５９】
上述の異物検出システムおよび方法において、対象領域Ａは機械式駐車場の入出庫スペースとすることができ、このようにすれば、機械式駐車場の入出庫スペースにおいて好適に異物検出を実行することができる。
【００６０】
また、上記本第一実施例の異物検出方法は、対象領域Ａ内の画像を取得する画像取得工程（ステップＳ１）と、画像取得工程で取得された画像に対し、対象領域Ａの内側から外部を視認できる透過部４の占める領域にマスク処理を施すマスク処理工程（ステップＳ２）と、マスク処理工程を経た画像に基づき、ディープラーニングを用いたプログラムＰにより物体を検出する第一の物体検出工程（ステップＳ３）と、対象領域Ａの境界域における物体の有無を検出する第二の物体検出工程（ステップＳ４）とを含んでいる。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、マスク処理で過検出を、境物体センサ６で検出漏れをそれぞれ防ぐことにより、異物検出の精度を高めることができる。
【００６１】
したがって、上記本第一実施例によれば、極力簡単な構成により高い精度で異物を検出し得る。
【００６２】
図７、図８は本開示の第二実施例による異物検出システムの構成を示している。本第二実施例の異物検出システムは、基本的な構成は上述の第一実施例（図１、図２参照）と共通しているが、物体センサ６の代わりに、画像処理部１１に境界判定部１２を備えている。この境界判定部１２は、撮像装置５により取得された画像に基づき、透過部（入出庫口４）と、周囲の物体（異物Ｆまたは物体Ｏ）との位置関係を判定するようになっている。より具体的には、境界判定部１２は、画像内に写り込んだ物体（異物Ｆまたは物体Ｏ）の透過部（入出庫口４）に対する位置関係から、対象領域Ａに対し前記物体が内外のいずれかにあるかを判定するようになっている。
【００６３】
図７に示す異物検出システムにおいて、撮像装置５により画像を取得した場合、例えば撮像装置５ａにおいては、図９に示す如き画像が取得される。このような画像に対し、画像処理部１１のプログラムＰにより物体検出の処理を実行すると、対象領域Ａ内の２個の異物Ｆ、および入出庫口４の外側にある物体Ｏが検出される。
【００６４】
プログラムＰは、各物体の種類と共に、画像内に占める位置を特定する。物体の種類および位置は、例えば図１０に示す如く、画像に重ねて表示することができる。ここでは、検出された各異物Ｆおよび物体Ｏの周囲に、それらが占める範囲が方形の枠によって図示され、特定された物体の種類（ここでは、人物）、および各物体がその種類の物体である確率が一緒に表示されている。
【００６５】
境界判定部１２では、これらの物体が、対象領域Ａと外部空間との境界である入出庫口４に対しどの位置にあるかにより、各異物Ｆおよび物体Ｏが対象領域Ａの内側にあるか、外側にあるか否かを判定する。
【００６６】
内外の判定は、例えば、各物体の占める範囲を表示するそれぞれの枠と、入出庫口４の占める領域との上下関係によって行うことができる。図１０において、入出庫口４の占める領域は、図中に破線で示す略四角形の部分である。この略四角形の画素領域に対し、各物体の位置を示す枠の下辺にあたる線分がどの程度重なっているかによって、各物体が入出庫口４よりも内側にあるか、外側にあるかを判定することができる。
【００６７】
内外の判定にあたっては、例えば、各異物Ｆまたは物体Ｏの周囲に表示された枠の下辺にあたる線分のうち、ある閾値（例えば、８０％）以上の部分が入出庫口４の占める画素領域の内側にあれば、その物体は対象領域Ａの外にあると判定する。前記枠のうち、前記画素領域の内側にある部分の割合が前記閾値未満であば、その物体は対象領域Ａ内にあると判定する。図１０に示す例では、手前側に位置する２個の異物Ｆは対象領域Ａの内側に、奥側の物体Ｏは外側に位置すると判断することができる。尚、ここに説明した判定方法はあくまで一例であって、画像に基づいて各物体の内外を判定する方法としては、その他、適宜の方法を採用することができる。
【００６８】
以上の如き画像処理部１１のプログラムＰおよび境界判定部１２による異物検出工程の手順の一例を、図１１のフローチャートを参照しながら説明する。以下に説明する異物検出工程は、画像取得工程（ステップＳ１１）と、物体検出工程（ステップＳ１２）と、位置判定工程（ステップＳ１５）とを含んでいる。
【００６９】
まず、撮像装置５により、対象領域Ａ内の画像を取得する（ステップＳ１１）。続いて、取得した画像に対し、プログラムＰにより物体検出処理を実行する（ステップＳ１２）。
【００７０】
ステップＳ１３では、物体検出処理の結果、プログラムＰにより画像内に異物Ｆと見なし得る何らかの物体（異物Ｆまたは物体Ｏ）が検出されたか否かを判定する。特定の種類の物体が存在しなければ、異物は存在しないとして、異物検出工程を終了する（ステップＳ１４）。
【００７１】
画像中に何らかの物体が検出された場合、ステップＳ１５に進む。ステップＳ１５では、境界判定部１２により、検出された各物体の対象領域Ａに対する位置を判定する。ステップＳ１６では、ステップＳ１２で検出された物体の中に、対象領域Ａ内に位置すると判定された物体が存在したか否かを判定する。前記物体のうち、いずれもが対象領域Ａの外にあると判定された場合は、異物は存在しないとして、異物検出工程を終了する（ステップＳ１４）。前記物体のうち、少なくとも一部が対象領域Ａ内にあると判定された場合は、異物Ｆが存在したと判定して、異物検出工程を終了する（ステップＳ１７）。尚、ここに説明した手順は一例であって、各ステップの順序は適宜入れ替えたり、別のステップを追加するなど、変更を加えることができることは、上記第一実施例について説明した通りである。
【００７２】
このように、本第二実施例では、プログラムＰを用いた異物検出を実行するにあたり、境界判定部１２による位置判定を併せて実行することで、異物検出の精度を高めるようにしている。
【００７３】
尚、上記第一実施例では境界判定部として物体センサ６を、本第二実施例では画像処理部１１内に格納された境界判定部１２をそれぞれ説明したが、これらを適宜組み合わせて異物検出システムを実施することも可能である。また、異物検出の精度を高める等の目的のため、その他のセンサ類等を適宜併用してもよい。
【００７４】
また、上記第一および第二実施例では対象領域Ａとして機械式駐車場の入出庫スペースを想定したが、同様の異物検出システムは、異物の検出が必要とされる空間であれば種類を問わず適用することができる。例えば、電気自動車の給電設備等を想定することもできるし、また、例えば窓のある倉庫内の警備などにも応用できる。
【００７５】
以上のように、上記本第二実施例の異物検出システムにおいて、境界判定部１２は、撮像装置５により取得された画像内における物体の位置と、前記画像内に透過部４の占める領域との位置関係に基づき、撮像装置５により取得された画像内に検出された物体が対象領域Ａの内側にあるか外側にあるかを判定するよう構成されている。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、境界判定部１２による位置判定を併せて実行することで、異物検出の精度を高めることができる。
【００７６】
また、本第二実施例の異物検出方法は、対象領域内Ａの画像を取得する画像取得工程（ステップＳ１１）と、画像取得工程で取得された画像に基づき、ディープラーニングを用いたプログラムＰにより物体を検出する物体検出工程（ステップＳ１２）と、前記画像内における物体の位置と、対象領域Ａの内側から外部を視認できる透過部４が画像内に占める領域との位置関係に基づき、画像内に検出された物体が対象領域の内側にあるか外側にあるかを判定する位置判定工程（ステップＳ１５）とを含んでいる。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、検出された物体の位置判定を併せて実行することで、異物検出の精度を高めることができる。
【００７７】
その他の構成および作用効果等については上記第一実施例と共通するため説明を省略するが、本第二実施例によっても、極力簡単な構成により高い精度で異物を検出し得る。
【００７８】
尚、本開示において説明した本発明の異物検出システムおよび方法は、上述の実施例にのみ限定されるものではなく、要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【符号の説明】
【００７９】
１    遮蔽物（車両）
２    パレット
４    透過部（入出庫口）
５    撮像装置
５ａ  撮像装置
５ｂ  撮像装置
６    境界判定部（物体センサ）
７    操作部
８    表示部
９    警報部
１０    制御装置
１１    画像処理部
１２    境界判定部
Ａ    対象領域
Ｆ    物体（異物）
Ｏ    物体
Ｐ    プログラム
【図１】
2020190437.tif 000003
【図２】
2020190437.tif 000004
【図３】
2020190437.tif 000005
【図４】
2020190437.tif 000006
【図５】
2020190437.tif 000007
【図６】
2020190437.tif 000008
【図７】
2020190437.tif 000009
【図８】
2020190437.tif 000010
【図９】
2020190437.tif 000011
【図１０】
2020190437.tif 000012
【図１１】
2020190437.tif 000013