(57)【要約】【課題】照射装置からの照射光がパレットで反射した反射光がフォークリフトの運転者から見えにくい場合に、反射光を見やすくする。【解決手段】出力制御装置（１）は、学習済みモデルを用いて、フォークリフトの高さ位置合わせを行う運転者の様子を撮影した画像から所定の表情または動作を検出する検出部（１０３）と、所定の表情または動作を検出した場合に、照射装置（２）に光照射の態様を変更させる出力制御部（１０４）と、を備えている。【選択図】図１
2020040812.tif 000002
【特許請求の範囲】
【請求項１】
フォークリフトの荷役対象物が載置されたパレットに対してフォークリフトに設置された照射装置が照射した照射光が該パレットで反射した反射光を目印として該フォークリフトのフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときの上記フォークリフトの運転者の表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者の様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する検出部と、
上記検出部が上記表情および上記動作の少なくとも何れかを検出した場合に、上記照射装置を制御して光照射の態様を変更させる出力制御部と、を備えていることを特徴とする出力制御装置。
【請求項２】
上記検出部は、上記表情および上記動作の少なくとも何れかを複数種類、検出対象としており、
上記出力制御部は、上記検出部が検出した上記種類に応じた態様で光照射がなされるように上記照射装置を制御することを特徴とする請求項１に記載の出力制御装置。
【請求項３】
出力制御装置による出力制御方法であって、
フォークリフトの荷役対象物が載置されたパレットに対してフォークリフトに設置された照射装置が照射した照射光が該パレットで反射した反射光を目印として該フォークリフトのフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときの上記フォークリフトの運転者の表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者の様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する検出ステップと、
上記検出ステップにおいて上記表情および上記動作の少なくとも何れかを検出した場合に、上記照射装置を制御して光照射の態様を変更させる出力制御ステップと、を含むことを特徴とする出力制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォークリフトからパレットに光照射する照射装置を制御する出力制御装置等に関する。
【背景技術】
【０００２】
フォークリフトを用いた荷役作業においては、フォークリフトの運転者は、積荷を積載したパレットのフォークポケットにフォークを差し込み、パレットごと積荷を持ち上げて、その積荷を運搬するという一連の操作を行う。これら一連の操作のうち、フォークポケットにフォークを差し込むフォーク差込操作の難易度が特に高く、運転者によっては、フォークの差し込みに手間取ったり、パレットにフォークを衝突させてしまったりすることがある。
【０００３】
フォーク差込操作を容易にするための技術としては、例えば、特許文献１が挙げられる。特許文献１には、レーザ光線を反射する光線反射面を形成したパレットに、フォークと同じ高さのレーザ光線を照射し、運転手にその反射光を目印にしてフォークのパレットに対する高さ位置合わせを行わせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２９８０００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の技術によれば、フォークのパレットに対する高さ位置合わせは容易になる。しかしながら、光線反射面が形成されていないパレットについては高さ位置合わせが困難となる場合がある。また、パレットが高所に配置されている場合等には、光線反射面が形成されていても、レーザ光線が見えにくいことも想定される。
【０００６】
本発明の一態様は、照射装置からの照射光がパレットで反射した反射光がフォークリフトの運転者から見えにくい場合に、パレットからの反射光を見やすくすることができる出力制御装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る出力制御装置は、フォークリフトの荷役対象物が載置されたパレットに対してフォークリフトに設置された照射装置が照射した照射光が該パレットで反射した反射光を目印として該フォークリフトのフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときの上記フォークリフトの運転者の表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者の様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する検出部と、上記検出部が上記表情および上記動作の少なくとも何れかを検出した場合に、上記照射装置を制御して光照射の態様を変更させる出力制御部と、を備えている。
【０００８】
また、上記の課題を解決するために、本発明の一態様に係る出力制御方法は、出力制御装置による出力制御方法であって、フォークリフトの荷役対象物が載置されたパレットに対してフォークリフトに設置された照射装置が照射した照射光が該パレットで反射した反射光を目印として該フォークリフトのフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときの上記フォークリフトの運転者の表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者の様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する検出ステップと、上記検出ステップにおいて上記表情および上記動作の少なくとも何れかを検出した場合に、上記照射装置を制御して光照射の態様を変更させる出力制御ステップと、を含む。
【発明の効果】
【０００９】
本発明の一態様によれば、照射装置からの照射光がパレットで反射した反射光がフォークリフトの運転者から見えにくい場合に、パレットからの反射光を見やすくすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係る出力制御装置の要部構成の一例を示すブロック図である。
【図２】上記出力制御装置による出力制御の概要を示す図である。
【図３】通常の照射態様の一例を示す図である。
【図４】フォークの位置合わせの目印となる映像を投影した例を示す図である。
【図５】フォークの位置合わせの目印となる映像を投影した他の例を示す図である。
【図６】上記出力制御装置が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
〔実施形態１〕
（出力制御の概要）
本実施形態の出力制御装置による出力制御の概要を図２に基づいて説明する。図２は、出力制御装置１による出力制御の概要を示す図である。図２に示すように、フォークリフト３に設置された照射装置２からのレーザ光（照射光）ＬがパレットＰの側面に照射されている。
【００１２】
出力制御装置１は、レーザ光ＬがパレットＰの側面で反射された反射光がフォークリフト３を運転する運転者Ａから見えにくい状況を検出した場合に、照射装置２を制御してレーザ光Ｌの照射態様を変更させる装置である。
【００１３】
照射装置２は、フォークリフト３が備える一対のフォークの爪部の先端と同じ高さで、かつそれら爪部の中間位置（２つの爪部から等距離の位置）に、フォークリフト３に固定されている。また、照射装置２は、フォークの昇降に合わせて昇降するように固定されている。照射装置２は、フォークリフト３の前方に向けて水平に、かつ扇形に横に拡がるようにレーザ光Ｌを射出する。つまり、照射装置２は、爪部の延長線上に水平に直線状に拡がるレーザ光Ｌを照射する（図３のラインＬＮ参照）。
【００１４】
図２の例では、フォークリフト３を運転する運転者Ａは、レーザ光ＬがパレットＰで反射した反射光を目印として該フォークリフト３のフォークの高さ位置合わせを行おうとしている。そして、この運転者Ａの様子を撮影装置４が撮影しており、撮影した画像が出力制御装置１に入力されている。なお、撮影する画像は、静止画像であってもよいし、動画像であってもよい。
【００１５】
出力制御装置１は、撮影装置４から上記画像を取得する。そして、当該画像から運転者Ａがレーザ光Ｌのラインの位置が見えにくいことを示す所定の表情および所定の動作の少なくとも何れかを検出した場合、レーザ光Ｌのラインが運転者Ａから見やすくなるようにレーザ光Ｌの照射態様を変更する。これにより、照射装置２からのレーザ光ＬがパレットＰで反射した反射光が運転者Ａから見えにくい場合に、該反射光を見やすくすることができる。
【００１６】
なお、出力制御装置１は、照射装置２と一体に構成されていてもよいし、フォークリフト３に搭載されていてもよいし、フォークリフト３から離れた位置に設置されていてもよい。また、出力制御装置１は、複数の照射装置２を制御対象としてもよい。この場合、出力制御装置１は、各照射装置２が搭載されたフォークリフト３について撮影された画像を取得して、上述の所定の表情や所定の動作を検出し、その検出結果に従って各照射装置２を制御する。
【００１７】
また、撮影装置４は、出力制御装置１の出力制御専用に設けられていてもよいし、他の用途で設けられている撮影装置を撮影装置４として流用してもよい。例えば、フォークリフト３による作業が行われる施設内を監視するための監視カメラ、フォークリフト３に搭載されたドライブレコーダ用のカメラを撮影装置４として流用してもよい。
【００１８】
（出力制御装置の要部構成）
出力制御装置１の要部構成について、図１に基づいて説明する。図１は、出力制御装置１の要部構成の一例を示すブロック図である。図示のように、出力制御装置１は、出力制御装置１の各部を統括して制御する制御部１０と、出力制御装置１が使用する各種データを記憶する記憶部２０と、出力制御装置１に対する入力操作を受け付ける入力部３０を備えている。また、制御部１０には、撮影制御部１０１、入力データ生成部１０２、検出部１０３、および出力制御部１０４が含まれている。また、図１には、照射装置２と撮影装置４についても併せて図示している。
【００１９】
撮影制御部１０１は、撮影装置４に対して撮影開始および撮影終了の指示を行う。上述のように、撮影の対象は、レーザ光ＬがパレットＰで反射した反射光を目印としてフォークの高さ位置合わせを行おうとしている運転者Ａの様子、より詳細には、高さ位置合わせを行おうとしている運転者Ａの表情および動作の少なくとも何れかである。なお、以下では説明を簡単にするため、運転者Ａの表情（すなわち顔）を撮影させる例を説明する。
【００２０】
入力データ生成部１０２は、フォークの高さ位置合わせを行おうとしている運転者Ａの表情および動作の少なくとも何れかを撮影した画像から、後述する学習済みモデルに対する入力データを生成する。上述のとおり、ここでは運転者Ａの顔を撮影させることを想定しているため、入力データ生成部１０２は、運転者Ａの顔を撮影した画像から入力データを生成する。
【００２１】
検出部１０３は、上記の学習済みモデルを用いて、高さ位置合わせを行おうとする運転者Ａの様子を撮影した画像から、所定の表情および所定の動作の少なくとも何れかを検出する。所定の動作とは、過去にフォークリフト（フォークリフト３または他のフォークリフト）の運転者（運転者Ａまたは他の運転者）がフォークの高さ位置合わせを行おうとしたが、反射光が見えにくかったときに当該運転者が行った動作である。所定の動作の具体例としては、例えば、レーザ光の反射光を見上げる（あるいは見下ろす）角度を変える動作、フォークの昇降を繰り返す動作、目の上方に手をかざす動作等が挙げられる。同様に、所定の表情とは、過去にフォークリフトの運転者がフォークの高さ位置合わせを行おうとしたが、反射光が見えにくかったときの当該運転者の表情である。所定の表情の具体例としては、例えば、見えにくそうに目を細めた表情や、イライラした表情等が挙げられる。本実施形態では、検出部１０３が、運転者Ａが上記所定の表情であることを検出する例を説明する。
【００２２】
出力制御部１０４は、検出部１０３が上記所定の表情を検出した場合に、照射装置２を制御してレーザ光Ｌの照射態様を変更させる。無論、出力制御部１０４は、検出部１０３が上記所定の動作を検出した場合にも同様の処理を行う。レーザ光Ｌの照射態様の例については後述する。
【００２３】
（学習済みモデルと検出部の検出について）
検出部１０３が使用する上記学習済みモデルは、教師データを用いた機械学習により生成された学習済みモデルである。この教師データとしては、例えば、過去にフォークリフトの運転者がフォークの高さ位置合わせを行おうとしたが、反射光が見えにくかったときの当該運転者の表情（上述した所定の表情）を撮影した画像を用いることができる。なお、上記フォークリフトは、図２に示したフォークリフト３であってもよいし、他のフォークリフトであってもよい。また、上記運転者は、図２に示した運転者Ａであってもよいし他の運転者であってもよい。
【００２４】
上記のような教師データを用いて、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）のパラメータを最適化することにより、画像から上記所定の表情を検出するための学習済みモデルを生成することができる。なお、上記学習済みモデルはＣＮＮに限られないが、本実施形態のように画像から所定の表情を検出する場合には、高い検出精度が実現できるＣＮＮが好適である。
【００２５】
このようにして生成された学習済みデータに対し、運転者Ａを撮影した画像から生成された入力データを入力すると、その画像に写る運転者Ａが上記所定の表情である確率を示す出力データが出力される。検出部１０３は、学習済みモデルが出力した出力データに示される確率が所定の閾値以上であれば、運転者Ａが上記所定の表情であると検出する。
【００２６】
なお、上記教師データとしては、例えば、過去にフォークリフトの運転者がフォークの高さ位置合わせを行おうとしたが、反射光が見えにくかったときの当該運転者の動作（上述した所定の動作）を撮影した画像を用いることもできる。これにより、画像から上記所定の動作を検出するための学習済みモデルを生成することができる。この場合、当該所定の動作を撮影した動画像を教師データとしてもよいし、該動画像から抽出した静止画像（フレーム画像）を教師データとしてもよい。
【００２７】
上記所定の動作を検出する場合、ＣＮＮを単体で用いるよりは、例えば、ＣＮＮとＲＮＮ（Recurrent Neural Network）、あるいはＣＮＮとＬＳＴＭ（Long Short-Term Memory）を組み合わせた学習済みモデルを用いることが好ましい。ＲＮＮやＬＳＴＭのような時系列データの扱いに適したモデルと、画像認識性能の高いＣＮＮとを組み合わせることにより、信頼性の高い出力データを得ることができる。
【００２８】
（入力データについて）
入力データ生成部１０２は、運転者Ａがフォークリフト３のフォークを位置合わせする様子を撮影した画像から入力データを生成する。例えば、撮影装置４が撮影した画像が動画像である場合、入力データ生成部１０２は、当該動画像から所定の時間間隔でフレーム画像を抽出し、抽出した各フレーム画像を入力データとしてもよい。
【００２９】
入力データの生成に用いる画像は、上記学習済みモデルの機械学習にて教師データとして用いた画像と同様の撮影条件で撮影したものであることが好ましい。上記撮影条件には、例えば、撮影装置４と、被写体である運転者Ａとの位置関係、運転者Ａの背景、および周囲の明るさ等が含まれる。
【００３０】
また、入力データ生成部１０２は、画像をそのまま入力データとして用いてもよいし、画像に対して所定の処理を施したものを用いてもよい。上記所定の処理は、上記所定の表情の特徴を失わせることなく、該特徴と関係のない情報を減らすことができるものであればよい。例えば、画像がカラー画像であれば、グレースケール化して入力データとしてもよい。
【００３１】
さらに、入力データ生成部１０２は、例えば画像に写る対象物の中から運転者Ａとその顔部分を検出し、検出した顔部分から入力データを生成してもよい。これにより、運転者Ａの背景の影響を排除することができるので、検出精度を高めることができる。なお、運転者Ａの検出には、例えば公知の画像解析技術や、ＣＮＮ等の学習済みモデル等を用いることができる。ただし、入力データ生成部１０２は、教師データと同じ形式の入力データを生成する必要がある。
【００３２】
（レーザ光の照射態様の例）
照射装置２によるレーザ光Ｌの照射態様の例について、図３〜５に基づいて説明する。図３は、通常の照射態様の一例を示す図である。図４は、変更後の照射態様の一例を示す図である。図５は、変更後の照射態様の他の例を示す図である。
【００３３】
上述のように、照射装置２は、フォークリフト３の爪部の延長線上に、かつ扇形に横に拡がるようにレーザ光Ｌを射出する。このため、フォークリフト３の爪部の延長線上にパレットＰが位置する状態においては、図３に示すように、レーザ光ＬがパレットＰの側面で反射して、該側面上に反射光のラインＬＮが表れる。なお、上記側面とは、パレットＰの側面のうち、フォークリフト３が正対している側面であって、フォークを挿し込むための開口部である一組のフォークポケットＦＰが開口している側面である。
【００３４】
ラインＬＮの高さは、フォークリフト３の爪部の高さに等しい。このため、運転者Ａは、ラインＬＮの位置がフォークポケットＦＰの高さ方向の中心を通る位置となるようにフォークを昇降する。これにより、フォークをフォークポケットＦＰに位置合わせすることができる。
【００３５】
出力制御部１０４は、照射装置２の照射態様を図３のような通常の照射態様から他の照射態様に変更する。これにより、運転者ＡがラインＬＮを視認し難い状況を改善することが可能になる。変更後の照射態様は、上記状況を改善し得るような態様であればよい。例えば、出力制御部１０４は、照射装置２の出力を上げてラインＬＮの輝度を上げる、照射装置２に光照射を断続的に行わせてラインＬＮを点滅させる等の制御を行うことにより、照射態様を変更してもよい。この他にも、例えば、出力制御部１０４は、レーザ光Ｌの光路にレンズなどの光学部材を挿入することにより、レーザ光Ｌが高さ方向に拡がるようにし、これによりラインＬＮの高さ方向の幅を広くしてもよい。
【００３６】
また、レーザ光Ｌに加えて、あるいはレーザ光Ｌの代わりにフォークの位置合わせの目印となる映像をパレットＰ等に投影することにより、運転者ＡがラインＬＮを視認し難い状況を改善してもよい。図４および図５は、フォークの位置合わせの目印となる映像を投影した例を示す図である。なお、照射装置２による通常態様での照射を終了させて代わりに映像を投影させる制御、および照射装置２による通常態様での照射を継続しつつ、他の映像をさらに投影させる制御も照射装置２による光照射の態様を変更させる制御の一例である。
【００３７】
図４の例では、同図の（ａ）に示すように、パレットＰ上にラインＬＮが表れていると共に、ラインＬＮを中心とする矩形枠ＦＭが投影されている。図４の（ａ）〜（ｄ）に示すように、この矩形枠ＦＭのサイズを時系列で小さくしていく。これにより、運転者Ａには矩形枠ＦＭがラインＬＮに向かって収束するように視認される。なお、（ｄ）の状態の後は、再度（ａ）の状態に戻して、矩形枠ＦＭのサイズを時系列で小さくしてもよいし、矩形枠ＦＭの投影を終了してもよい。
【００３８】
矩形枠ＦＭは、ラインＬＮよりも広い範囲に投影されるので運転者Ａに視認されやすく、また矩形枠ＦＭがラインＬＮに向かって収束するので、広い範囲に投影された矩形枠ＦＭからラインＬＮの位置を運転者に認識させることも容易である。よって、図４のような光照射を行うことにより、運転者Ａは、ラインＬＮの位置を容易に把握して、スムーズにフォークの位置合わせを行うことができる。また、ラインＬＮの太さを時系列で変化させることによっても同様の効果を得ることができる。なお、投影する枠線は、矩形に限らず、楕円等の他の形状の枠であってもよいし、完全な枠でなくてもよい（すなわち、枠の一部が欠けていてもよい）。
【００３９】
一方、図５の例では、ラインＬＮの代わりにキャラクタの画像を投影してフォークの高さを示している。図５の（ａ）の状態では、キャラクタの画像の一例である顔画像ＦＣが、パレットＰの上に載置された荷物に投影されている。顔画像ＦＣは、右目ＦＣ１、左目ＦＣ２、および口ＦＣ３、という３つの部分からなり、右目ＦＣ１および左目ＦＣ２の高さ方向における中心位置がフォークの先端の高さに対応している。
【００４０】
つまり、図５の（ａ）の状態では、フォークの先端はフォークポケットＦＰよりも上方に位置しており、運転者Ａは荷物に投影された顔画像ＦＣから、フォークの先端がフォークポケットＦＰよりも上方に位置していることを認識できる。よって、運転者Ａは、フォークリフト３を操作してフォークを下降させ、図５の（ｂ）に示すように、顔画像ＦＣの右目ＦＣ１および左目ＦＣ２がフォークポケットＦＰの位置に重なるようにフォークの位置を調整し、これによりフォークの位置合わせが完了する。
【００４１】
顔画像ＦＣは、ラインＬＮよりも広い範囲に投影されるので運転者Ａに視認されやすい。また、運転者Ａが、投影される画像が顔画像ＦＣであることを認識していれば、運転者Ａは顔画像ＦＣの少なくとも一部（例えば口ＦＣ３の部分）を視認できれば、その位置から右目ＦＣ１および左目ＦＣ２位置（すなわちフォークの先端の高さ）を推測することができる。よって、図５のような光照射を行うことにより、運転者Ａは、フォークの先端の高さを容易に把握して、スムーズにフォークの位置合わせを行うことができる。さらに、運転者Ａは、顔画像ＦＣから、フォークがフォークポケットＦＰに対して左右方向にずれていないかを確認することもできる。
【００４２】
なお、図４や図５のような映像を投影する場合、照射装置２とは別に、他の照射装置として例えば映像投影装置をフォークリフトに搭載しておけばよい。そして、出力制御部１０４は、この映像投影装置を制御することにより、照射装置２のみによる照射態様から、映像投影装置を用いた照射態様に変更してもよい。また、照射装置２を多様な映像を投影できる構成として、上述のような映像を投影させてもよい。
【００４３】
無論、上述の光照射の態様は一例に過ぎない。例えば、フォークの先端の高さよりも上側の領域と、下側の領域にそれぞれ異なる色の光を投影してもよい。また、フォークの先端の高さからの距離に応じて投影する色を段階的または連続的に異ならせてもよい。このような態様で光照射を行うことにより、運転者Ａは、投影される映像を容易に認識することができると共に、フォークの先端の高さを容易に把握して、スムーズにフォークの位置合わせを行うことができる。
【００４４】
（処理の流れ）
出力制御装置１が実行する処理の流れについて、図６に基づいて説明する。図６は、出力制御装置１が実行する処理（出力制御方法）の一例を示すフローチャートである。
【００４５】
Ｓ１では、撮影制御部１０１は、出力制御部１０４が照射装置２にレーザ光Ｌの照射を開始させたか否かを判定する。ここで照射を開始させたと判定された場合（Ｓ１でＹＥＳ）には、Ｓ２に進み、照射を開始させていないと判定された場合（Ｓ１でＮＯ）には、Ｓ１の判定を繰り返す。
【００４６】
Ｓ２では、撮影制御部１０１は、撮影装置４に撮影開始を指示する。そして、入力データ生成部１０２は、上記指示に従って撮影を開始した撮影装置４から画像を取得して、当該画像から入力データを生成する。上述のように、ここでは撮影装置４は動画像を撮影し、入力データ生成部１０２は、撮影された動画像から抽出したフレーム画像を入力データとする。なお、入力データを生成する処理は、後述のＳ５で撮影終了と判定されるまで継続して行われる。
【００４７】
Ｓ３（検出ステップ）では、検出部１０３が、学習済みモデルを用いて運転者Ａが所定の表情であることを検出する。具体的には、検出部１０３は、学習済みモデルにＳ２で生成された入力データを入力し、該学習済みモデルが出力した出力データに示される確率が所定の閾値以上であれば、運転者Ａが上記所定の表情であることを検出する。ここで所定の表情が検出された場合（Ｓ３でＹＥＳ）にはＳ６に進み、検出されなかった場合（Ｓ３でＮＯ）にはＳ４に進む。
【００４８】
Ｓ４では、撮影制御部１０１は、出力制御部１０４が照射装置２にレーザ光Ｌの照射を終了させたか否かを判定する。ここで照射を終了させたと判定した場合（Ｓ４でＹＥＳ）にはＳ５に進み、照射を終了させていないと判定した場合（Ｓ４でＮＯ）にはＳ３に戻る。なお、Ｓ３に戻った場合、前回のＳ３で使用した入力データの次に生成された入力データを用いてＳ３の処理が行われる。
【００４９】
Ｓ５では、撮影制御部１０１が撮影装置４に撮影終了を指示する。これにより、Ｓ２における入力データの生成も終了となり、図６の処理は終了する。
【００５０】
Ｓ６（出力制御ステップ）では、出力制御部１０４が照射装置２にレーザ光Ｌの照射態様を変更させる。Ｓ６の終了後、処理はＳ３に戻る。Ｓ３に戻ってＹＥＳと判定された場合、再度Ｓ６の処理が行われるが、２度目のＳ６の処理では、１度目の変更後の照射態様からさらに異なる照射態様に変更することが好ましい。これにより、照射態様を変更させてもなお、運転手Ａがレーザ光Ｌの反射光を認識し難い場合に、さらに照射態様を変更させて反射光を認識しやすくすることができる。
【００５１】
上述のＳ１、Ｓ４に関して、出力制御部１０４が照射装置２にレーザ光Ｌの照射を開始させる契機、および照射を終了させる契機は特に限定されない。例えば、入力部３０に対してレーザ光Ｌの照射を開始させる操作が行われたことを契機として照射を開始させてもよい。照射終了も同様である。また、例えば、フォークのティルトが手前傾斜（先端が基部よりも高い位置にある状態）から水平に変化した場合、直後にフォークの挿入が行われる可能性があるため、上記変化を検出したことを契機として照射を開始させてもよい。また、フォークをフォークポケットＦＰに挿し込む操作が開始された時点では照射の必要がなくなっているので、上記操作の開始を検出したことを契機として照射を終了させてもよい。
【００５２】
（実施形態１のまとめ）
以上のように、本実施形態で使用する学習済みモデルは、フォークリフト３の荷役対象物が載置されたパレットＰに対してフォークリフト３に設置された照射装置２が照射した照射光が該パレットＰで反射した反射光を目印として該フォークリフト３のフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときのフォークリフト３の運転者Ａの表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成される。
【００５３】
また、検出部１０３は、上記学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者Ａの様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する。そして、出力制御部１０４は、検出部１０３が上記表情および上記動作の少なくとも何れかを検出した場合に、照射装置２を制御して光照射の態様を変更させる。
【００５４】
このように、出力制御装置１によれば、パレットＰからの反射光が見えにくかったときの運転者Ａの表情および動作の少なくとも何れかを検出した場合に、光照射の態様を変更させる。よって、パレットＰからの反射光が運転者Ａから見えにくいときに、自動的にパレットＰからの反射光を見やすくして、運転者Ａに高さ位置合わせ作業をスムーズに行わせることができる。
【００５５】
〔実施形態２〕
本発明の実施形態２について、以下に説明する。なお、説明の便宜上、実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００５６】
本実施形態の出力制御装置１において、検出部１０３は、上述の所定の動作および上述の所定の表情の少なくとも何れかを複数種類、検出対象としている。そして、出力制御部１０４は、検出部１０３が検出した上記種類に応じた態様で光照射がなされるように照射装置２を制御する。
【００５７】
例えば、複数種類の上記所定の表情を検出対象とする場合、検出対象とする各表情についての教師データを用いた機械学習により生成した学習済みモデルを用いればよい。検出部１０３は、この学習済みモデルに入力データ生成部１０２が生成した入力データを入力することにより、各種類の表情をそれぞれ検出することができる。複数種類の上記所定の動作を検出対象とする場合も同様である。
【００５８】
また、上記所定の表情と上記所定の動作をそれぞれ検出してもよい。この場合、所定の表情を検出するための学習済みモデルと、所定の動作を検出するための学習済みモデルをそれぞれ用意しておけばよい。そして、入力データ生成部１０２は、所定の表情を検出するための学習済みモデルに入力する入力データと、所定の動作を検出するための学習済みモデルに入力する入力データをそれぞれ生成すればよい。これにより、検出部１０３は、各学習済みモデルの出力データに基づき、所定の表情と所定の動作をそれぞれ検出することができる。
【００５９】
検出された表情または動作の種類に応じた態様について、パレットＰからの反射光が運転者Ａから見えにくい状況には複数のパターンが考えられる。このパターンとしては、例えば、運転者Ａが反射光のラインＬＮのおおまかな位置を認識はしているがラインＬＮの色や輝度の関係で、そのラインＬＮを視認し難いパターン（以下、パターンａと記載）が挙げられる。また、他のパターンとして、例えば、運転者Ａが反射光のラインＬＮの位置すら認識できていないパターン（以下、パターンｂと記載）が挙げられる。
【００６０】
パターンａに対応する表情としては、例えば目を細める等のレーザ光が見えにくそうな表情が挙げられる。また、パターンａに対応する動作としては、例えば目の上に手をかざす動作や瞬きを繰り返す動作が挙げられる。パターンｂに対応する動作としては、例えばラインＬＮを見上げるあるいは見下ろす角度（顔の向き）を変える動作が挙げられる。
【００６１】
出力制御部１０４は、このようなパターンに応じた態様で光照射がなされるように照射装置２を制御してもよい。例えば、出力制御部１０４は、パターンａの表情または動作が検出された場合には、ラインＬＮの視認性を高めるように照射装置２を制御してもよい。具体的には、出力制御部１０４は、照射装置２の出力するレーザ光Ｌの輝度を上げる制御、およびレーザ光Ｌの色を変える制御の少なくとも何れかを実行してもよい。一方、出力制御部１０４は、パターンｂの表情または動作が検出された場合には、ラインＬＮの位置を運転者Ａが認識しやすくなるように、例えば照射装置２の出力するレーザ光Ｌの幅を広くする等の光照射の範囲を広げる制御を行ってもよい。
【００６２】
（実施形態２のまとめ）
上述のように、パレットＰからの反射光の見えにくさにも色々なパターンがあるため、どのように見えにくいのかに応じた態様で光照射を行うことが好ましい。そこで、本実施形態の検出部１０３は、上述のように、表情および動作の少なくとも何れかを複数種類、検出対象としている。そして、出力制御部１０４は、検出部１０３が検出した種類に応じた態様で光照射がなされるように照射装置２を制御する。これにより、パレットＰからの反射光の見えにくさのパターンに応じた、運転者Ａがパレットからの反射光をより視認しやすい態様で光照射を行わせることができる。
【００６３】
〔分散処理について〕
上記各実施形態で説明した出力制御装置１の実行する処理の一部は、出力制御装置１と通信接続された１または複数の装置に実行させてもよい。例えば、検出部１０３が実行する処理のうち、学習済みモデルを用いた演算処理を、出力制御装置１と通信接続されたＡＩサーバに実行させてもよい。この場合、出力制御装置１は、入力データを生成してＡＩサーバに送信し、該ＡＩサーバから出力データを受信して、運転者Ａの所定の表情および動作の少なくとも何れかを検出する。
【００６４】
〔ソフトウェアによる実現例〕
出力制御装置１の制御ブロック（特に制御部１０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００６５】
後者の場合、出力制御装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００６６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００６７】
１  出力制御装置
２  照射装置
３  フォークリフト
Ａ  運転者
Ｌ  レーザ光（照射光）
Ｐ  パレット
１０３  検出部
１０４  出力制御部
【図１】
2020040812.tif 000003
【図２】
2020040812.tif 000004
【図３】
2020040812.tif 000005
【図４】
2020040812.tif 000006
【図５】
2020040812.tif 000007
【図６】
2020040812.tif 000008
【手続補正書】
【提出日】令和1年8月9日(2019.8.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フォークリフトの荷役対象物が載置されたパレットに対してフォークリフトに設置された照射装置が照射した照射光が該パレットで反射した反射光を目印として該フォークリフトのフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときの上記フォークリフトの運転者の表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者の様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する検出部と、
上記検出部が上記表情および上記動作の少なくとも何れかを検出した場合に、上記照射装置を制御して光照射の態様を変更させる出力制御部と、を備え、
上記検出部は、上記表情および上記動作の少なくとも何れかを複数種類、検出対象としており、
上記出力制御部は、上記検出部が検出した上記種類に応じた態様で光照射がなされるように上記照射装置を制御することを特徴とする出力制御装置。
【請求項２】
出力制御装置による出力制御方法であって、
フォークリフトの荷役対象物が載置されたパレットに対してフォークリフトに設置された照射装置が照射した照射光が該パレットで反射した反射光を目印として該フォークリフトのフォークの高さ位置合わせを行う様子を撮影した画像であって、上記反射光が見えにくかったときの上記フォークリフトの運転者の表情および動作の少なくとも何れかが写った画像を教師データとした機械学習により生成された学習済みモデルを用いて、上記高さ位置合わせを行おうとする運転者の様子を撮影した画像から上記表情および上記動作の少なくとも何れかを検出する検出ステップと、
上記検出ステップにおいて上記表情および上記動作の少なくとも何れかを検出した場合に、上記照射装置を制御して光照射の態様を変更させる出力制御ステップと、を含み、
上記検出ステップでは、上記表情および上記動作の少なくとも何れかを複数種類、検出対象としており、
上記出力制御ステップでは、上記検出ステップにて検出した上記種類に応じた態様で光照射がなされるように上記照射装置を制御することを特徴とする出力制御方法。