(57)【要約】【課題】荷崩れが発生するか否かを判定する。【解決手段】判定装置（１）は、フォークリフト（３）により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデル（１０２）を用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定部（１０３）を備える。【選択図】図１
2020037464.tif 000002
【特許請求の範囲】
【請求項１】
作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定部を備えていることを特徴とする判定装置。
【請求項２】
上記学習済みモデルは、上記作業用車両を用いて所定の作業が行われたことに起因して上記積荷に加わった外力によって荷崩れが発生したときの、上記所定の作業の直前の積荷を撮影した画像を用いた機械学習により生成されたものであり、
上記荷崩れ判定部は、上記対象積荷を撮影した画像から、上記所定の作業時に荷崩れが発生するか否かを判定することを特徴とする請求項１に記載の判定装置。
【請求項３】
上記荷崩れ判定部は、上記対象積荷の重量に応じて異なる学習済みモデルを用いて荷崩れが発生するか否かを判定することを特徴とする請求項１または２に記載の判定装置。
【請求項４】
上記荷崩れ判定部による判定の後、上記対象積荷に実際に荷崩れが発生したか否かを判定する荷崩れ有無判定部と、
上記荷崩れ判定部の判定のために上記学習済みモデルに入力された入力データと、上記荷崩れ有無判定部の判定結果とを対応付けて、上記学習済みモデルの機械学習用の教師データを生成する教師データ生成部と、を備えていることを特徴とする請求項１から３の何れか１項に記載の判定装置。
【請求項５】
判定装置による判定方法であって、
作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定ステップを含むことを特徴とする判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業用車両によって搬送される対象となる積荷の荷崩れの可能性を判定する判定装置等に関する。
【背景技術】
【０００２】
フォークリフト等の作業用車両を用いた荷役作業では、パレット上に載置された積荷をパレットごと搬送したり、積み下ろしたりする。積荷はパレット上に載置されているため、作業時に外力が加わるなどして荷崩れが発生することがある。また、作業用車両が積荷に対する作業を行っていないときにも、積荷が載置されている床や棚の振動等により荷崩れが発生することがある。
【０００３】
荷崩れの発生を防ぐ技術としては、例えば、下記特許文献１が挙げられる。該文献には、搬送対象の荷物を搬送する前に、その高さが荷崩れをおこさずに搬送可能な高さであるか否かを判別する安全装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１５６０９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１では、超音波センサを用いて特定した荷物の高さを、荷崩れが発生するか否かの判別基準としている。しかし、荷崩れは荷物が高く積み上げられていれば必ず発生するというものではない。また、荷物が高く積み上げられていることは運転者が目視で容易に認識できる事項であり、あえて安全装置を用いて判断する必要性も乏しい。
【０００６】
本発明の一態様は、対象積荷を撮影した画像に基づき、その対象積荷に荷崩れが発生するか否かを判定することができる判定装置等を実現することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る判定装置は、作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定部を備えている。
【０００８】
また、上記の課題を解決するために、本発明の一態様に係る判定方法は、判定装置による判定方法であって、作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定ステップを含む。
【発明の効果】
【０００９】
本発明の一態様によれば、対象積荷を撮影した画像に基づき、その対象積荷に荷崩れが発生するか否かを判定することができる。これにより、荷崩れが発生する可能性が高いときに作業用車両の操作者に警告するなどして荷崩れの発生を未然に防ぐことも可能になる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る判定装置の要部構成の一例を示すブロック図である。
【図２】上記判定装置を含む判定システムの概要を示す図である。
【図３】上記判定装置が実行する処理の一例を示すフローチャートである。
【図４】本発明の他の実施形態に係る判定装置が使用する学習済みモデルの例を説明する図である。
【図５】本発明のさらに他の実施形態に係る判定装置の要部構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
〔実施形態１〕
（システム概要）
本実施形態の判定システムの概要を図２に基づいて説明する。図２は、判定システム１００の概要を示す図である。判定システム１００は、作業用車両により搬送される積荷に荷崩れが発生するか否かを判定するシステムである。なお、本実施形態では、１つのパレットに積み上げられた複数の荷物の集合体を「積荷」と呼ぶ。
【００１２】
図２に示す判定システム１００は、上記の判定を行う判定装置１と、積荷の様子を撮影する撮影装置２と、作業用車両の一例であるフォークリフト３とを含む。図２の例では、作業者がフォークリフト３を操作して積荷を搬送しようしている様子を撮影装置２が撮影している。なお、撮影装置２は、積荷を撮影できるような位置に配置しておけばよい。例えば、撮影装置２はフォークリフト３に搭載されていてもよい。また、他の用途に使用されている撮影装置を撮影装置２として流用してもよい。例えば、積荷が配置された施設内に監視カメラが設置されている場合、それを撮影装置２として利用してもよいし、フォークリフト３にドライブレコーダが搭載されている場合、そのカメラを撮影装置２として利用してもよい。
【００１３】
撮影装置２が撮影した画像は判定装置１に送信され、判定装置１はこの画像における積荷の状態から、荷崩れが発生するか否かを判定する。そして、判定装置１は、荷崩れが発生すると判定した場合、フォークリフト３を運転する作業者にその旨を報知する。なお、撮影装置２が撮影する画像は、荷崩れを起こす可能性の高い状態にある積荷に特有の外観的特徴が表れたものであればよく、静止画像であってもよいし、動画像であってもよい。
【００１４】
このように、判定システム１００によれば、判定装置１において、荷崩れが発生するか否かを判定することができる。そして、判定装置１は、荷崩れが発生する前に、荷崩れが発生する可能性が高いことを作業者に報知することができる。これにより、作業者が荷崩れの可能性の高い積荷に対して荷役作業を行うことにより荷崩れを発生させてしまうことを防ぐことができる。また、荷崩れの可能性の高い積荷を検出して、荷崩れが発生しないように積み直す等の措置を行うことにより、荷崩れの発生を防止することも可能になる。
【００１５】
なお、本実施形態では、判定装置１をフォークリフト３に搭載した例を説明するが、判定装置１はフォークリフト３から離れた位置に設置されていてもよい。この場合、判定装置１は、フォークリフト３と通信する、あるいはフォークリフト３の運転手等の所持する端末装置と通信する等により、荷崩れが発生する可能性が高い積荷があることを報知する。また、この場合、１台の判定装置１により、１または複数の撮影装置２で撮影された範囲内の積荷を監視することも可能である。これにより、判定装置１は、荷崩れが発生する可能性が高い積荷があると判定したときに、その積荷に対して荷役作業を行おうとするフォークリフト３に注意喚起したり、その積荷に人が近付かないように警告したりすることもできる。
【００１６】
（判定装置の要部構成）
判定装置１の要部構成について図１に基づいて説明する。図１は、判定装置１の要部構成の一例を示すブロック図である。図示のように、判定装置１は、判定装置１の各部を統括して制御する制御部１０と、判定装置１が使用する各種データを記憶する記憶部２０を備えている。さらに、判定装置１は、判定装置１が外部の機器（例えば撮影装置２）と通信するための通信部３０と、判定装置１が情報を出力するための出力部４０とを備えている。また、制御部１０には、入力データ生成部１０１、学習済みモデル１０２、荷崩れ判定部１０３、および報知部１０４が含まれている。
【００１７】
入力データ生成部１０１は、荷崩れの発生の有無を判定する対象となる積荷である対象積荷の画像を取得して学習済みモデル１０２に対する入力データを生成する。より詳細には、入力データ生成部１０１は、撮影装置２から、撮影装置２が撮影した対象積荷の画像を取得し、取得した画像から学習済みモデル１０２に対する入力データを生成する。なお、入力データの詳細は後述する。
【００１８】
学習済みモデル１０２は、積荷が荷崩れを起こしたときの、荷崩れ直前の積荷を撮影した画像を教師データとした機械学習により生成された学習済みモデルである。入力データ生成部１０１が生成した入力データを学習済みモデル１０２に入力すると、学習済みモデル１０２は、荷崩れが発生する可能性を示す情報（例えば、確率値）を出力する。
【００１９】
荷崩れ判定部１０３は、学習済みモデル１０２からの出力データに基づいて、荷崩れが発生するか否かを判定する。例えば、荷崩れ判定部１０３は、学習済みモデル１０２の出力データが示す確率値が所定の閾値以上であれば、荷崩れを起こすと判定する。上記確率値は、荷崩れが発生する確率を示す値（正確には、撮影された積荷の状態が、荷崩れの発生する状態に該当する確率を示す値）である。なお、荷崩れ判定部１０３は、閾値による上記判定を行う代わりに、上記確率値を、荷崩れが発生するか否かの判定結果としてもよい。
【００２０】
報知部１０４は、積荷が荷崩れを起こす可能性があることを通知する。具体的には、報知部１０４は、出力部４０を制御して、操作ミスが発生する可能性が高い状況であることを示す情報を出力させる。本実施形態では、判定装置１がフォークリフト３に搭載されていることを想定しているので、出力部４０に上記の情報を出力させることにより、フォークリフト３を運転する作業者への報知を行うことができる。なお、上記情報の出力態様は特に限定されず、例えば出力部４０が表示部であれば表示出力させればよいし、音声出力部であれば音声出力させればよい。また、判定装置１がフォークリフト３から離れた位置にある場合、報知部１０４は、フォークリフト３と通信することにより、フォークリフト３が備える出力部に上記情報を出力させてもよい。この他にも、例えば、報知部１０４は、作業者の所持する端末装置や、作業者の作業あるいは積荷を管理する管理者の端末装置等の他の装置に上記情報を出力させることにより報知を行ってもよい。
【００２１】
（学習済みモデルについて）
本実施形態の学習済みモデル１０２は、荷崩れが発生するか否かの判定を行うことができるように、教師ありの機械学習により生成された学習済みモデルである。学習済みモデル１０２を生成するための教師データとしては、例えば、過去に荷崩れが発生したときの、荷崩れの直前の積荷を撮影した画像を用いることができる。これにより、積荷を撮影した画像から生成した入力データを入力したときに、荷崩れが発生する確率値を出力する学習済みモデル１０２を生成することができる。
【００２２】
なお、荷崩れの契機は特に限定されず、例えば荷役作業を行っていないときに自然に発生した荷崩れであってもよいし、作業用車両による荷役作業が契機となった荷崩れであってもよい。ただし、荷崩れの原因が、積荷の積み方にあるのではなく、作業者にあるような事例（例えば操作ミスで荷崩れさせた事例）で撮影された画像は教師データとして用いないことが好ましい。
【００２３】
また、荷崩れが発生しなかった積荷を撮影した画像についても教師データとして用いることもできる。この場合、積荷を撮影した画像から生成した入力データを入力したときに、荷崩れが発生する確率と、荷崩れが発生しない確率とを出力する学習済みモデル１０２を生成することができる。なお、前者の確率値は、積荷の外観が、荷崩れが発生した積荷の外観と同様の特徴を有しているほど高い値となり、後者の確率値は、積荷の外観が、荷崩れが発生しなかった積荷の外観と同様の特徴を有しているほど高い値となる。
【００２４】
教師データとして画像を用いる場合、学習済みモデル１０２としては、例えば、画像を入力データとした演算に好適なＣＮＮ（Convolutional Neural Network）を用いることが好ましい。また、教師データとして用いる画像が動画像である場合、学習済みモデル１０２としては、例えば、ＣＮＮとＲＮＮ（Recurrent Neural Network）、あるいはＣＮＮとＬＳＴＭ（Long Short-Term Memory）を組み合わせた学習済みモデルを用いることが好ましい。ＲＮＮやＬＳＴＭのような時系列データの扱いに適したモデルと、画像認識性能の高いＣＮＮとを組み合わせることにより、動画像である入力データに対して、信頼性の高い出力データを出力する学習済みモデル１０２を生成することが可能になる。
【００２５】
（入力データについて）
入力データ生成部１０１は、上述のような教師データを多数用いて機械学習を行うことにより生成された学習済みモデル１０２に入力する入力データを生成する。具体的には、入力データ生成部１０１は、フォークリフト３が荷役作業を行う対象としている対象積荷を撮影した画像から上記入力データを生成する。
【００２６】
入力データに用いる画像は、学習済みモデル１０２の機械学習用の教師データに用いた画像と同様の撮影条件で、対象積荷を撮影したものであることが好ましい。上記撮影条件には、例えば、撮影装置２と積荷との位置関係、周囲の明るさ等が含まれる。撮影条件を揃えるため、例えば積荷が画角に入る位置に固定された撮影装置２によって撮影した画像から教師データを生成し、同じ撮影装置２によって対象積荷を撮影した画像を入力データとすることが好ましい。
【００２７】
（処理の流れ）
判定装置１が実行する処理の流れを図３に基づいて説明する。図３は、判定装置１が実行する処理（判定方法）の一例を示すフローチャートである。なお、図２の例のように、撮影装置２が対象積荷を撮影した画像は判定装置１に送信される。
【００２８】
Ｓ１では、入力データ生成部１０１が、撮影装置２が撮影した対象積荷の画像を取得する。画像取得の契機は特に限定されないが、例えば、図２のように、位置が固定された撮影装置２で対象積荷を撮影する場合、入力データ生成部１０１は、その撮影範囲にフォークリフト３が入ったことをセンサ等により検知し、その検知を契機として画像を取得してもよい。また、入力データ生成部１０１は、例えば、フォークリフト３が対象積荷に対する荷役作業が開始されたことを契機として画像を取得してもよい。荷役作業が開始されたことは、例えばフォークリフト３が対象積荷に正対したこと、フォークが昇降したこと、あるいはフォークリフト３を積荷に正対させる操作またはフォークを昇降させる操作が行われたこと等を検出することにより特定可能である。また、入力データ生成部１０１は、これらの契機で撮影装置２に撮影を開始させると共に、撮影された画像を入力データ生成部１０１に送信するように撮影装置２を制御してもよい。
【００２９】
Ｓ２では、入力データ生成部１０１が、Ｓ１で取得した画像から学習済みモデル１０２の入力データを生成する。そして、Ｓ３では、入力データ生成部１０１が、Ｓ２で生成した入力データを学習済みモデル１０２に入力し、学習済みモデル１０２はＳ１で取得された画像に写る対象積荷に荷崩れが発生する確率を出力する。
【００３０】
Ｓ４（荷崩れ判定ステップ）では、荷崩れ判定部１０３は、学習済みモデル１０２の出力データから、荷崩れが発生するか否かを判定する。荷崩れ判定部１０３が、荷崩れが発生すると判定した場合（Ｓ４でＹＥＳ）、処理はＳ５に進む。一方、荷崩れ判定部１０３が、荷崩れは発生しないと判定した場合（Ｓ４でＮＯ）には図３の処理は終了する。
【００３１】
Ｓ５では、報知部１０４が、荷崩れが発生する可能性が高いことを、フォークリフト３を運転する作業者に報知し、これにより図３の処理は終了する。報知の態様は上述したとおりであるからここでは説明を繰り返さない。なお、報知部１０４は、学習済みモデル１０２の出力データが示す確率が高いほど作業者の注意をより強く喚起するように、確率に応じて異なる態様で報知を行ってもよい。例えば、報知部１０４は、音声による報知を行う場合、上記確率が高いほどその音量を大きくしてもよい。
【００３２】
（実施形態１のまとめ）
以上のように、本実施形態に係る判定装置１の荷崩れ判定部１０３は、作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデル１０２を用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する。
【００３３】
これにより、対象積荷を撮影した画像に基づき、その対象積荷に荷崩れが発生するか否かを判定することができる。また、荷崩れが発生すると判定されたときには、報知部１０４が作業者への報知を行うため、荷崩れの発生を未然に防ぐことも可能になる。
【００３４】
〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。これは実施形態３以降も同様である。
【００３５】
作業用車両を用いて積荷に対する作業が行われた場合、積荷にはその作業に特有の外力がかかる。例えば、積荷を持ち上げる作業であれば、持ち上げられる積荷に対して、鉛直上向きの外力がかかる。また、例えば、ある積荷の上に他の荷物や積荷を積み上げる作業であれば、ある積荷に対して、鉛直下向きの外力がかかる。このため、ある作業時には荷崩れしなかった積荷が、他の作業では荷崩れするということが起こり得る。
【００３６】
そこで、本実施形態の判定装置１は、作業用車両を用いて所定の作業が行われたことに起因して積荷に加わった外力によって荷崩れが発生したときの、所定の作業の直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデル１０２を用いる。そして、本実施形態の荷崩れ判定部１０３は、対象積荷を撮影した画像から、上記所定の作業時に荷崩れが発生するか否かを判定する。これにより、所定の作業に特有の外力のかかり方を考慮して、荷崩れの発生の有無を高精度に判定することができる。また、所定の作業の前に荷崩れの危険性があることを把握できるので、荷崩れの発生を未然に防ぐことが可能になる。
【００３７】
本実施形態の判定装置１が使用する学習済みモデル１０２について図４に基づいて説明する。図４は、本実施形態の判定装置１が使用する学習済みモデル１０２の例を説明する図である。
【００３８】
図４の（ａ）には、フォークリフトを用いて、積荷Ａの上に荷物Ｂを積み上げる作業が行われている様子を示している。このような作業において、積荷Ａの積み方が鉛直下向きの外力に弱い積み方となっていた場合、荷物Ｂによって加えられる鉛直下向きの外力によって、積荷Ａが荷崩れしてしまうおそれがある。
【００３９】
このため、本実施形態の判定装置１は、積み上げ作業における荷崩れの発生有無を判定する場合には、積み上げ作業用の学習済みモデル１０２を用いてもよい。このような学習済みモデル１０２は、積み上げ作業において荷崩れが発生したときの、荷崩れの直前の積荷を撮影した画像を教師データとした機械学習により生成することができる。
【００４０】
一方、図４の（ｂ）には、フォークリフトを用いて、積荷Ｃを持ち上げる作業が行われている様子を示している。このような作業において、積荷Ｃの積み方が鉛直上向きの外力に弱い積み方となっていた場合、フォークリフトによって加えられる鉛直上向きの外力によって、積荷Ｃが荷崩れしてしまうおそれがある。
【００４１】
このため、本実施形態の判定装置１は、積荷の持ち上げ作業における荷崩れの発生有無を判定する場合には、持ち上げ作業用の学習済みモデル１０２を用いてもよい。このような学習済みモデル１０２は、持ち上げ作業において荷崩れが発生したときの、荷崩れの直前の積荷を撮影した画像を教師データとした機械学習により生成することができる。
【００４２】
また、上述したような作業ごとの学習済みモデル１０２を予め用意しておいてもよい。そして、荷崩れ判定部１０３は、フォークリフト３がこれから行う作業に応じた学習済みモデル１０２を選択し、その学習済みモデル１０２の出力データに基づいて荷崩れの発生の有無を判定してもよい。これにより、対象積荷に対する外力のかかり方が異なる複数の作業を行う場合にも、荷崩れの発生の有無を精度よく判定することができる。
【００４３】
なお、フォークリフト３がこれから行う作業を特定する方法は特に限定されない。例えば、作業者が判定装置１にこれから行う作業を入力する構成としてもよいし、フォークリフト３および作業者の少なくとも何れかを撮影した画像を解析することにより、荷崩れ判定部１０３が特定する構成としてもよい。
【００４４】
〔実施形態３〕
本発明のさらに他の実施形態について以下に説明する。本実施形態の判定装置１は、積荷の重量を考慮して荷崩れの発生の有無を判定する点で上記各実施形態の判定装置１と相違している。
【００４５】
積荷の外観が同じであっても、当該積荷の重量により、荷崩れを起こす可能性が高い場合もあれば、低い場合もある。例えば、積荷の重量が重ければ、積み重ねられた積荷が多少ずれていても荷崩れしない可能性が高いが、積荷が軽ければ、少しのズレで荷崩れを起こす可能性がある。
【００４６】
そこで、本実施形態では、積荷の重量に応じた複数の学習済みモデル１０２を予め用意しておく。そして、本実施形態の荷崩れ判定部１０３は、対象積荷の重量に応じて異なる学習済みモデル１０２を用いて荷崩れが発生するか否かを判定する。これにより、対象積荷の重量を考慮した、より正確な判定が可能になる。
【００４７】
例えば、積荷をその重量で分類し、各分類の積荷における積荷に荷崩れが発生したときの、荷崩れの直前の積荷を撮影した画像を教師データとすることにより、上記分類毎の学習済みモデル１０２を生成してもよい。これらの学習済みモデル１０２を用いる場合、荷崩れ判定部１０３は、対象積荷の分類を特定し、その分類に対応する学習済みモデル１０２の出力データに基づいて荷崩れの発生の有無を判定する。
【００４８】
なお、対象積荷の重量（あるいは該重量に基づく分類）を特定する方法は特に限定されない。例えば、作業者が判定装置１に上記重量または分類を入力する構成としてもよいし、対象積荷の重量などの情報が記録された記録媒体から当該情報を読み出すことにより荷崩れ判定部１０３が特定する構成としてもよい。例えば、荷崩れ判定部１０３は、ＲＦＩＤ（Radio Frequency Identification）により、対象積荷に付されたＲＦタグからその重量などの情報を読み出してもよい。
【００４９】
〔実施形態４〕
本発明のさらに他の実施形態について、以下に説明する。本実施形態の判定装置１は、上述した実施形態における処理に加え、撮影装置２から取得した画像から教師データを生成し、学習済みモデルを更新する処理を行うものである。
【００５０】
教師データの生成、および学習モデルの更新について、図５に基づいて説明する。図５は、本発明の実施形態４に係る判定装置１の要部構成を示す図である。図５に示すように、本実施形態の判定装置１の制御部１０には、荷崩れ有無判定部１０７、教師データ生成部１０５、および学習部１０６が含まれている。
【００５１】
荷崩れ有無判定部１０７は、荷崩れ判定部１０３による荷崩れの発生の有無の判定の後、対象積荷に実際に荷崩れが発生したか否かを判定する。そして、教師データ生成部１０５は、荷崩れ判定部１０３の判定のために学習済みモデル１０２に入力された入力データと、荷崩れ有無判定部１０７の判定結果とを対応付けて、学習済みモデル１０２の機械学習用の教師データを生成する。なお、上記入力データは、入力データ生成部１０１が生成したものである。
【００５２】
上記の構成によれば、実際に荷崩れが発生したか否かを自動で判定して教師データを生成するので、判定装置１のユーザの手を煩わすことなく、教師データを生成することができる。なお、実際に荷崩れが発生したか否かの判定方法は特に限定されない。例えば、荷崩れが発生した場合、対象積荷の外観は荷崩れの発生前と大きく変わるため、荷崩れ有無判定部１０７は、対象積荷を撮影した画像を解析することにより、実際に荷崩れが発生したか否かを判定することもできる。また、教師データ生成部１０５は、荷崩れ有無判定部１０７の判定結果が、荷崩れが発生したとの判定結果である場合にのみ、教師データを生成してもよい。
【００５３】
また、学習部１０６は、教師データ生成部１０５が生成した教師データを用いて学習済みモデル１０２を更新する。このように、本実施形態の判定装置１では、荷崩れ判定部１０３が判定を行う毎に教師データが生成され、その教師データを用いて学習済みモデル１０２が更新される。これにより、判定装置１を使用しながら、判定装置１の判定精度を維持または向上させることができる。
【００５４】
〔分散処理について〕
上記各実施形態で説明した判定装置１の実行する処理の一部は、判定装置１と通信接続された１または複数の装置に実行させてもよい。例えば、学習済みモデル１０２の実行する処理を、判定装置１と通信接続されたＡＩサーバに実行させてもよい。この場合、判定装置１は、撮影装置２が撮影した画像から入力データを生成してＡＩサーバに送信し、該ＡＩサーバから出力データを受信して積荷が荷崩れを起こす可能性があるか否かの判定を行う。
【００５５】
〔入力データについて〕
学習済みモデル１０２に対する入力データとしては、撮影装置２から取得した画像をそのまま用いてもよいし、画像に対して所定の処理を施したものを用いてもよい。上記所定の処理は、画像における特徴点を失わせることなく、特徴点と関係のない情報を減らすことができるものであればよい。例えば、画像がカラー画像であれば、グレースケール化して入力データとしてもよい。また、画像において、動きのある領域のみを抽出して入力データとしてもよい。
【００５６】
さらに、例えば画像の中から積荷を検出し、検出した積荷が写る領域のみを入力データとしてもよい。これにより、積荷の背景の影響を排除することができるので、判定精度を高めることができる。なお、積荷の検出には、例えばＣＮＮ等の学習済みモデルを用いることができる。
【００５７】
〔ソフトウェアによる実現例〕
判定装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００５８】
後者の場合、判定装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００５９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００６０】
１  判定装置
１０２  学習済みモデル
１０３  荷崩れ判定部
１０５  教師データ生成部
１０７  荷崩れ有無判定部
【図１】
2020037464.tif 000003
【図２】
2020037464.tif 000004
【図３】
2020037464.tif 000005
【図４】
2020037464.tif 000006
【図５】
2020037464.tif 000007
【手続補正書】
【提出日】令和1年9月9日(2019.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定部を備え、
上記学習済みモデルは、上記作業用車両を用いて所定の作業が行われたことに起因して上記積荷に加わった外力によって荷崩れが発生したときの、上記所定の作業の直前の積荷を撮影した画像を用いた機械学習により生成されたものであり、
上記荷崩れ判定部は、上記対象積荷を撮影した画像から、上記所定の作業時に荷崩れが発生するか否かを判定することを特徴とする判定装置。
【請求項２】
上記荷崩れ判定部は、上記対象積荷の重量に応じて異なる学習済みモデルを用いて荷崩れが発生するか否かを判定することを特徴とする請求項１に記載の判定装置。
【請求項３】
上記荷崩れ判定部による判定の後、上記対象積荷に実際に荷崩れが発生したか否かを判定する荷崩れ有無判定部と、
上記荷崩れ判定部の判定のために上記学習済みモデルに入力された入力データと、上記荷崩れ有無判定部の判定結果とを対応付けて、上記学習済みモデルの機械学習用の教師データを生成する教師データ生成部と、を備えていることを特徴とする請求項１または２に記載の判定装置。
【請求項４】
判定装置による判定方法であって、
作業用車両により搬送される対象となる積荷に荷崩れが発生したときの、当該荷崩れ直前の積荷を撮影した画像を用いた機械学習により生成された学習済みモデルを用いて、判定の対象となる対象積荷を撮影した画像から、該対象積荷に荷崩れが発生するか否かを判定する荷崩れ判定ステップを含み、
上記学習済みモデルは、上記作業用車両を用いて所定の作業が行われたことに起因して上記積荷に加わった外力によって荷崩れが発生したときの、上記所定の作業の直前の積荷を撮影した画像を用いた機械学習により生成されたものであり、
上記荷崩れ判定ステップでは、上記対象積荷を撮影した画像から、上記所定の作業時に荷崩れが発生するか否かを判定することを特徴とする判定方法。