(57)【要約】【課題】搬送車に搭載されたカメラの姿勢のずれを精度良く評価する。【解決手段】カメラの姿勢のずれを評価する方法は、荷Ｗを搬送してラック２との間で荷Ｗの受け渡しを行うスタッカクレーン３と、スタッカクレーン３に搭載されたカメラ５１〜５４と、を備えるカメラシステム１００において、スタッカクレーン３がラック２の特定の地点に位置する際に、カメラ５１〜５４がラック２及びスタッカクレーン３の少なくとも一方の一部を撮影することで得られた基準画像を記憶する基準画像記憶ステップ、特定の地点での撮影が可能になったことを通知する基準信号を、カメラに対して送信する基準信号送信ステップ、カメラ５１〜５４が撮影を行うカメラ撮影ステップ、カメラ５１〜５４が撮影した対象画像を記憶する対象画像記憶ステップ、基準画像と対象画像を比較して、カメラ５１〜５４の姿勢のずれを評価するずれ評価ステップを備えている。【選択図】図６
2020198578.tif 000002
【特許請求の範囲】
【請求項１】
物品を搬送して載置設備との間で前記物品の受け渡しを行う搬送装置と、前記搬送装置に搭載されたカメラと、を備えるカメラシステムにおいて前記カメラの姿勢のずれを評価する方法であって、
前記搬送装置が前記載置設備の特定の地点に位置する際に、前記カメラが前記載置設備及び前記搬送装置の少なくとも一方の一部を撮影することで得られた基準画像を記憶する基準画像記憶ステップと、
前記特定の地点での撮影が可能になったことを通知する基準信号を、前記カメラに対して送信する基準信号送信ステップと、
前記基準信号の受信に応じて、前記カメラが撮影を行うカメラ撮影ステップと、
前記カメラが撮影した対象画像を記憶する対象画像記憶ステップと、
前記基準画像と前記対象画像を比較して、前記カメラの姿勢のずれを評価するずれ評価ステップと、
を備える、カメラの姿勢ずれ評価方法。
【請求項２】
前記特定の地点は前記載置設備内に複数設けられており、
各地点において、前記基準画像記憶ステップと、前記基準信号送信ステップと、前記カメラ撮影ステップと、前記対象画像記憶ステップと、前記ずれ評価ステップとが実行される、請求項１に記載のカメラの姿勢ずれ評価方法。
【請求項３】
前記基準信号を送信するステップの前に、前記搬送装置が撮影範囲内にある物を移動させる物移動ステップをさらに備えている、請求項１又は２に記載のカメラの姿勢ずれ評価方法。
【請求項４】
前記カメラは前記搬送装置の異常検出するためのカメラであって、
異常検出率が所定範囲を逸脱すると、前記カメラの姿勢のずれを確かめる必要があると判断するずれ必要性判断ステップをさらに備え、
前記カメラの姿勢のずれを確かめる必要があると判断されれば、基準点において、前記基準信号送信ステップと、前記カメラ撮影ステップと、前記対象画像記憶ステップと、前記ずれ評価ステップとを実行する、請求項１〜３のいずれかに記載のカメラの姿勢ずれ評価方法。
【請求項５】
前記特定の位置において前記カメラが新たに撮影した画像を受信するステップと、
前記新たに撮影された画像を基準画像として利用可能であるか否かを判断するステップと、
利用可能であると判断すれば前記新たに撮影された画像を新たな基準画像として記憶するステップと、
をさらに備えている、請求項１〜４のいずれかに記載のカメラの姿勢ずれ評価方法。
【請求項６】
前記基準画像及び前記対象画像それぞれの中から、比較対象となるエリアを決定するステップをさらに備えている、請求項１〜５のいずれかに記載のカメラの姿勢ずれ評価方法。
【請求項７】
物品を搬送して載置設備との間で前記物品の受け渡しを行う搬送装置と、
前記搬送装置に搭載されたカメラと、
コントローラと、
記憶部と、を備え、
前記記憶部は、前記搬送装置が前記載置設備の特定の地点に位置する際に、前記カメラが前記載置設備及び前記搬送装置の少なくとも一方の一部を撮影して得られた基準画像を記憶しており、
前記コントローラは、
前記特定の地点での撮影が可能になったことを通知する基準信号を、前記カメラに対して送信することで前記カメラに撮影を行わせる送信部と、
前記カメラが撮影した対象画像と前記記憶画像を比較して、前記カメラの姿勢のずれを評価するずれ判定部と、を有する、
カメラシステム。
【請求項８】
前記特定の地点は前記載置設備内に複数設けられており、
前記記憶部は、各地点における基準画像を記憶している、請求項７に記載のカメラシステム。
【請求項９】
前記コントローラは、前記基準信号を送信する前に、前記搬送装置に撮影可能な状態を準備させる、請求項７又は８に記載のカメラシステム。
【請求項１０】
前記カメラは前記搬送装置の異常検出するためのカメラであって、
前記コントローラは、異常検出率が所定範囲を逸脱すると、前記カメラの姿勢のずれを確かめる必要があると判断する、請求項７〜９のいずれかに記載のカメラシステム。
【請求項１１】
前記ずれ判定部は、前記特定の位置において前記カメラが新たに撮影した画像を受信すれば、前記新たに撮影された画像を基準画像として利用可能であるか否かを判断し
前記コントローラは、前記新たに撮影された画像が基準画像として利用可能であれば、前記新たに撮影された画像を新たな基準画像として前記記憶部に記憶する基準画像更新部をさらに有する、請求項７〜１０のいずれかに記載のカメラシステム。
【請求項１２】
前記コントローラは、前記基準画像及び前記対象画像のそれぞれの中から、比較対象となるエリアを決定するエリア決定部をさらに有する、請求項７〜１１のいずれかに記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの姿勢ずれ評価方法及びカメラシステムに関する。
【背景技術】
【０００２】
監視カメラと画像処理コントローラとを備えるカメラシステムが知られている（例えば、特許文献１を参照）。
特許文献１の監視カメラシステムは、監視カメラと、監視カメラをパン・チルト方向に旋回駆動可能な電動雲台と、監視カメラの撮像映像を画像処理する画像処理コントローラと、電動雲台を制御するカメラ制御装置と、画像処理コントローラから出力される画像を表示する監視モニタと、画像処理コントローラから読み書き可能なメモリとを備える。
【０００３】
特許文献１の監視カメラシステムでは、画像処理コントローラは、監視カメラの設置時に検知エリアを撮像した基準画像を予め記憶する。画像処理コントローラは、監視カメラにより撮像された映像を周期的に取り込み、基準画像との間で基準点の位置を比較し、基準点の位置がずれているか否か判断する。基準点の位置がずれていた場合、画像処理コントローラは、ズレ量を補正するためにカメラ制御装置に対して電動雲台の旋回角度情報を送出する。カメラ制御装置は、受信した旋回角度情報に基づいて電動雲台を遠隔で駆動するための制御信号を電動雲台に対して送出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２１９６２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カメラは、静止状態の設備に取り付けられるだけではなく、工場内の搬送車等の移動体に取り付けられることがある。後者の場合は、搬送車の移動中にカメラが振動や衝撃に起因して正規の位置からずれてしまい、そのため撮影アングルが変わるという問題が起こりえる。
特に、搬送車に搭載されたカメラでは、カメラの移動に応じて検知エリアが変化するので、カメラの姿勢のずれを精度良く評価することが困難である。
【０００６】
本発明の目的は、搬送車に搭載されたカメラの姿勢のずれを精度良く評価することにある。
【課題を解決するための手段】
【０００７】
以下に、課題を解決するための手段として複数の態様を説明する。これら態様は、必要に応じて任意に組み合せることができる。
【０００８】
本発明の一見地に係る方法は、物品を搬送して載置設備との間で物品の受け渡しを行う搬送装置と、搬送装置に搭載されたカメラと、を備えるカメラシステムにおいてカメラの姿勢のずれを評価する方法であって、下記のステップを備えている。
◎搬送装置が載置設備の特定の地点に位置する際に、カメラが載置設備及び搬送装置の少なくとも一方の一部を撮影することで得られた基準画像を記憶する基準画像記憶ステップ。
◎特定の地点での撮影が可能になったことを通知する基準信号を、カメラに対して送信する基準信号送信ステップ。
◎基準信号の受信に応じて、カメラが撮影を行うカメラ撮影ステップ。
◎カメラが撮影した対象画像を記憶する対象画像記憶ステップ。
◎基準画像と対象画像を比較して、カメラの姿勢のずれを評価するずれ評価ステップ。
【０００９】
この方法では、搬送装置が同じ地点に位置する場合の対象画像及び基準画像を比較することにより、搬送装置に搭載されたカメラの姿勢のずれを精度良く評価できる。
この方法では、カメラは、特定の地点での撮影可能になったことを通知する基準信号を受信することで、自動的に対象画像を撮影できる。この結果、カメラの姿勢のずれを自動的に評価できる。
【００１０】
特定の地点は載置設備内に複数設けられていてもよい。各地点において、基準画像記憶ステップと、基準信号送信ステップと、カメラ撮影ステップと、対象画像記憶ステップと、ずれ評価ステップとが実行されてもよい。
この方法では、搬送装置が複数の地点のうちのいずれの地点に位置する状況でも、カメラの姿勢のずれを評価できる。
【００１１】
この方法は、基準信号を送信するステップの前に、搬送装置が撮影範囲内にある物を移動させる物移動ステップをさらに備えていてもよい。
この方法では、例えば搬送装置が荷物を撮影範囲外へ移動したり、撮影範囲内で位置や姿勢を整えたりするといった動作を行うことで、撮影に適した状態が準備される。
【００１２】
カメラは搬送装置の異常検出するためのカメラであってもよい。
この方法は、異常検出率が所定範囲を逸脱すると、カメラの姿勢のずれを確かめる必要があると判断するステップをさらに備えていてもよい。
この方法では、異常検出率が高くもしくは低くなった場合には、カメラの姿勢のずれの評価が迅速に行われる。異常検出率が大きく変化するということは、カメラの姿勢がずれたことに起因している可能性が高いからである。
【００１３】
この方法は、下記のステップをさらに備えていてもよい。
◎特定の位置においてカメラが新たに撮影した画像を受信するステップ。
◎新たに撮影された画像を基準画像として利用可能であるか否かを判断するステップ。
◎利用可能であると判断すれば新たに撮影された画像を新たな基準画像として記憶するステップ。
この方法では、基準画像更新の頻度が高いので、搬送装置の周囲の環境が変わっても、カメラの姿勢のずれを精度良く評価できる。
【００１４】
基準画像及び対象画像のそれぞれの中から、比較対象となるエリアを決定するステップをさらに備えていてもよい。
この方法では、基準画像全体を比較対象とするよりも、コントローラの処理負荷が小さくなる。また、異常検出などに影響のない軽微なズレを無視することができる。
【００１５】
本発明の他の見地に係るカメラシステムは、物品を搬送して載置設備との間で物品の受け渡しを行う搬送装置と、搬送装置に搭載されたカメラと、コントローラと、記憶部と、を備えている。
記憶部は、搬送装置が載置設備の特定の地点に位置する際に、カメラが載置設備及び搬送装置の少なくとも一方の一部を撮影して得られた基準画像を記憶している。
コントローラは、送信部と、ずれ判定部とを有している。
送信部は、特定の地点での撮影が可能になったことを通知する基準信号を、カメラに対して送信することでカメラに撮影を行わせる。
ずれ判定部は、カメラが撮影した対象画像と記憶画像を比較して、カメラの姿勢のずれを評価する。
このシステムでは、搬送装置が同じ地点に位置する場合の対象画像及び基準画像を比較することにより、搬送装置に搭載されたカメラの姿勢のずれを精度良く評価できる。
このシステムでは、カメラは、特定の地点での撮影可能になったことを通知する基準信号を受信することで、自動的に対象画像を撮影できる。この結果、カメラの姿勢のずれを自動的に評価できる。
【００１６】
特定の地点は載置設備内に複数設けられていてもよい。その場合、記憶部は、各地点における基準画像を記憶している。
【００１７】
コントローラは、基準信号を送信する前に、搬送装置に撮影可能な状態を準備させてもよい。
【００１８】
カメラは搬送装置の異常検出するためのカメラであってもよい。
コントローラは、異常検出率が所定範囲を逸脱すると、カメラの姿勢のずれを確かめる必要があると判断してもよい。
【００１９】
ずれ判定部は、特定の位置においてカメラが新たに撮影した画像を受信すれば、新たに撮影された画像を基準画像として利用可能であるか否かを判断してもよい。
コントローラは、基準画像更新部をさらに備えていてもよい。基準画像更新部は、新たに撮影された画像が基準画像として利用可能であれば、新たに撮影された画像を新たな基準画像として記憶部に記憶してもよい。
【００２０】
コントローラは、基準画像及び対象画像のそれぞれの中から、比較対象となるエリアを決定するエリア決定部をさらに有していてもよい。
【発明の効果】
【００２１】
本発明に係るカメラの姿勢のずれを評価する方法及びカメラシステムでは、搬送車に搭載されたカメラの姿勢のずれを精度良く評価できる。
【図面の簡単な説明】
【００２２】
【図１】第１実施形態の自動倉庫の概略平面図。
【図２】図１のＩＩ−ＩＩ矢視図であり、ラックとスタッカクレーンを説明するための図。
【図３】図２の部分拡大図であり、昇降台及び移載装置を説明する図。
【図４】カメラの配置位置及び撮像範囲を概略的に示した模式的平面図。
【図５】画像処理コントローラ及びカメラコントローラの機能ブロック図。
【図６】画像処理コントローラによるずれ判定制御動作を示すフローチャート。
【図７】移載装置及び棚を撮影した基準画像。
【図８】移載装置及び棚を撮影した対象画像。
【図９】対象画像にずれ情報を重畳した図。
【図１０】カメラコントローラによる対象画像撮影制御動作を示すフローチャート。
【図１１】画像処理コントローラの基準画像更新制御動作を示すフローチャート。
【図１２】第２実施形態の撮影要請制御動作を示すフローチャート。
【図１３】第３実施形態の画像処理コントローラ及びカメラコントローラの機能ブロック図。
【図１４】第３実施形態の画像処理コントローラによるずれ判定制御動作を示すフローチャート。
【図１５】第３実施形態の移載装置及び棚を撮影した基準画像。
【発明を実施するための形態】
【００２３】
１．第１実施形態
（１）自動倉庫全体
図１を用いて、本発明に係る第１実施形態としての自動倉庫１を説明する。図１は、第１実施形態の自動倉庫の概略平面図である。なお、この実施形態において、図１の左右方向が自動倉庫１の左右方向（矢印Ｙ）であり、図１の上下方向が自動倉庫１の前後方向（矢印Ｘ）である。
自動倉庫１は、主に、一対のラック２（載置設備の一例）と、スタッカクレーン３（搬送装置の一例）とから構成されている。
【００２４】
（２）ラック
一対のラック２は、左右方向に延びるスタッカクレーン通路５を挟むように配置されている。ラック２は、所定間隔で左右に並ぶ多数の前側支柱７と、前側支柱７の後方において、前側支柱７との間に所定間隔をあけて並ぶ後側支柱９と、前側支柱７及び後側支柱９に設けられた多数の荷物支承部材１１とを有している。左右一対の荷物支承部材１１によって、棚１３が構成されている。各棚１３には、図から明らかなように、荷Ｗが載置可能である。なお、各荷Ｗは、パレットＰ（図２及び図３を参照）上に載置され、パレットＰと共に移動させられる。なお、左右一対の荷物支承部材１１間は、後述のスライドフォーク２９ａの上下方向の移動を許容するフォーク通過間隙１５となっている。
【００２５】
（３）スタッカクレーン
図２及び図３を用いて、スタッカクレーン３について説明する。図２は、図１のＩＩ−ＩＩ矢視図であり、ラックとスタッカクレーンを説明するための図である。図３は、図２の部分拡大図であり、昇降台及び移載装置を説明する図である。
スタッカクレーン通路５に沿って、上下一対の走行レール２１が設けられており、これら走行レール２１にスタッカクレーン３が左右に移動可能に案内されている。スタッカクレーン３は、主に、一対のマスト２２である第１マスト２２Ａ及び第２マスト２２Ｂを有する走行台車２３と、第１マスト２２Ａ及び第２マスト２２Ｂに昇降自在に装着された昇降台２７と、昇降台２７に設けられた移載装置２９とを有している。走行台車２３は、走行車輪２４を有している。
【００２６】
移載装置２９は、進退機構（図示せず）によって前後方向に摺動自在に設けられたスライドフォーク２９ａを有している。スライドフォーク２９ａは、前後方向両側の棚１３との間で荷Ｗを移載可能である。
なお、昇降台２７と移載装置２９は互いに固定されており、昇降台２７の一部を移載装置２９の一部と見なしてよい。
【００２７】
昇降台２７は、第１マスト２２Ａ及び第２マスト２２Ｂにガイドされる昇降ガイドローラ２８を有する。昇降ガイドローラ２８は、一方のマストに対して上下一対ずつ合計４個が当接している。より具体的には、一対の昇降ガイドローラ２８は、マスト２２の前後方向両側面の走行方向内側部分に当接している。
なお、図２及び図３において、昇降台２７のスライドフォーク２９ａの上には、パレットＰと荷Ｗが載っている。この実施形態では、荷Ｗは３×３×３個の直方体が隙間なく積み上げられた構成である。しかし、荷Ｗの個々の荷物の個数、形状及び積み上げ方は上記実施形態に限定されない。
第１マスト２２Ａ及び第２マスト２２Ｂの下端同士は下側フレーム２５によって連結され、上端同士は上側フレーム２６によって連結されている。
【００２８】
スタッカクレーン３は、制御盤４１と、走行モータ５９と、昇降モータ６３とを有している。制御盤４１は、走行方向において、第２マスト２２Ｂに対する第１マスト２２Ａと反対側に設けられている。走行モータ５９は、第１マスト２２Ａに設けられている。昇降モータ６３は、第１マスト２２Ａに設けられている。
制御盤４１は、内部に、走行モータ５９や昇降モータ６３用のインバータ、コンバータ、ブレーカ等の電装機器を有している。制御盤４１は、さらに、制御基板ボックス（図示せず）を有している。制御盤４１は、これら電装機器を覆うフレームを有している。制御盤４１は、電源（図示せず）、走行モータ５９、昇降モータ６３、スライドフォーク２９ａ等に動力ケーブル（図示せず）を介して接続されている。制御盤４１は、さらに、制御ケーブルを介して、通信インターフェースを介して地上制御盤、センサ類、スライドフォーク２９ａ並びに制御電源に接続されている。
昇降モータ６３は、図２に示すように、ドラム６４を駆動可能である。ドラム６４からは、ワイヤ４０が延びている。ワイヤ４０は、上側フレーム２６に設けられたプーリ４４に掛け回され、さらに昇降台２７に連結されている。
【００２９】
（４）カメラ
昇降台２７には、図２〜図４に示すように、第１カメラ５１、第２カメラ５２、第３カメラ５３及び第４カメラ５４（以下、まとめて表現する場合は「４台のカメラ５１〜５４」とする）が装着されている。図４は、カメラの配置位置及び撮像範囲を概略的に示した模式的平面図である。
４台のカメラ５１〜５４は、いわゆるビデオカメラであり、撮像した画像（静止画・動画）をビデオ信号としてカメラコントローラ９０（後述）に入力する。なお、上記の場合、第１カメラ５１及び第２カメラ５２の撮像範囲と、第３カメラ５３及び第４カメラ５４の撮像範囲とは異なっている。ただし、４台のカメラの撮像範囲が全て異なっていてもよいし、全て同じでもよい。
【００３０】
４台のカメラ５１〜５４は、昇降台２７に載置された荷Ｗ及び棚１３に載置された荷Ｗを撮像する装置である。
４台のカメラ５１〜５４は、図４に示すように、フレーム４５を介して昇降台２７に取り付けられている。フレーム４５は、昇降台２７つまり移載装置２９の左右方向両側において前後方向に延びる一対の部材である。４台のカメラ５１〜５４は、各フレーム４５の前後方向両端にそれぞれ固定されている。なお、カメラはフレーム以外の他の部材に取り付けられていてもよい。
【００３１】
第１カメラ５１及び第２カメラ５２は、前後方向の該荷Ｗの端部、及び前後方向における該端部側の移載先の棚１３を同時に撮像可能な位置に固定される。
第１カメラ５１及び第２カメラ５２は、移載装置２９に載置される荷Ｗの上端より上方であり、かつ左右方向において該荷Ｗの外側で移載装置２９に設けられている。第１カメラ５１及び第２カメラ５２は斜め下方を向いている。この場合、カメラが上方から荷を撮像することにより、荷Ｗの高さによらず荷崩れを検知できる。
以上に述べたように第１カメラ５１及び第２カメラ５２は、移載装置２９の前後方向両側にそれぞれ設けられている。したがって、移載装置２９に載置された荷Ｗの荷姿異常及び両移載方向における先入品の検知ができる。
【００３２】
図４を用いて、第１カメラ５１及び第２カメラ５２を詳細に説明する。
第１カメラ５１は、平面視において図４の右下側に設けられ、移載装置２９に積まれた荷Ｗの前後方向の端部３１及び前後方向における該端部３１側の移載先の棚１３を同時に撮像可能な位置に設けられている。なお、第１カメラ５１は、移載装置２９に荷Ｗが配置されていても、移載先の棚１３における先入れ品を検出可能である。なぜなら、第１カメラ５１から見て、移載装置２９の載置位置と移載先の棚１３は前後方向にずれて並んでいるからである。
【００３３】
第２カメラ５２は、図４の左上側に設けられ、移載装置２９に積まれた荷Ｗの前後方向の端部３２及び前後方向における該端部３２側の移載先の棚１３を同時に撮像可能な位置に設けられている。なお、第２カメラ５２は、移載装置２９に荷Ｗが配置されていても、移載先の棚１３における先入れ品を検出可能である。なぜなら、第２カメラ５２から見て、移載装置２９の載置位置と移載先の棚１３は前後方向にずれて並んでいるからである。
なお、第１カメラ５１が対象とする棚１３と第２カメラが対象とする棚１３とは、異なる棚である。
【００３４】
第３カメラ５３及び第４カメラ５４は、移載装置２９に設けられており、移載装置２９に載置された荷Ｗの左右方向の端部（つまり、端面）を撮像可能な位置に設けられる。
第３カメラ５３及び第４カメラ５４は、移載装置２９に載置される荷Ｗの上端より上方であり、かつ前後方向において該荷Ｗの外側で移載装置２９に設けられている。第３カメラ５３及び第４カメラ５４は斜め下方を向いている。
【００３５】
図４を用いて、第３カメラ５３及び第４カメラ５４を詳細に説明する。
第３カメラ５３は、図４の左下側に設けられ、移載装置２９に積まれた荷Ｗの左右方向の端部３３を撮像可能な位置に設けられている。なお、第３カメラ５３は、移載装置２９に荷Ｗが配置されていなければ、移載先の棚１３における先入れ品を検出できるが、移載装置２９に荷Ｗが配置されていれば、移載先の棚１３における先入れ品を検出できない。なぜなら、第３カメラ５３から見て、移載装置２９の載置位置と移載先の棚１３は重なっているからである。
【００３６】
第４カメラ５４は、図４の右上側に設けられ、移載装置２９に積まれた荷Ｗの左右方向の端部３４を撮像可能な位置に設けられている。なお、第４カメラ５４は、移載装置２９に荷Ｗが配置されていれば、移載先の棚１３における先入れ品を検出できるが、移載装置２９に荷Ｗが配置されていれば、移載先の棚１３における先入れ品を検出できない。なぜなら、第４カメラ５４から見て、移載装置２９の載置位置と移載先の棚１３は重なっているからである。
なお、第３カメラ５３が対象とする棚１３と第４カメラが対象とする棚１３とは、異なる棚である。第３カメラ５３が対象とする棚１３は図４において図上側に配置されており、第４カメラ５４が対象とする棚１３は図４において図下側に配置されており、両者は第１方向（矢印Ｘ）に対向している。
【００３７】
（５）カメラシステムの制御構成
図５を用いて、カメラシステム１００の制御構成を説明する。図５は、画像処理コントローラ及びカメラコントローラの機能ブロック図である。
カメラシステム１００は、搬送コントローラ５０、画像処理コントローラ８０、カメラコントローラ９０を有している。
【００３８】
各コントローラは、プロセッサ（例えば、ＣＰＵ）と、記憶装置（例えば、ＲＯＭ、ＲＡＭ、ＨＤＤ、ＳＳＤなど）と、各種インターフェース（例えば、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェースなど）を有するコンピュータシステムである。各コントローラは、記憶部（記憶装置の記憶領域の一部又は全部に対応）に保存されたプログラムを実行することで、各種制御動作を行う。
各コントローラは、単一のプロセッサで構成されていてもよいが、各制御のために独立した複数のプロセッサから構成されていてもよい。
各コントローラの各要素の機能は、一部又は全てが、制御部を構成するコンピュータシステムにて実行可能なプログラムとして実現されてもよい。その他、両コントローラの各要素の機能の一部は、カスタムＩＣにより構成されていてもよい。
各コントローラには、図示しないが、対象物の大きさ、形状及び位置検出するセンサ、各装置の状態を検出するためのセンサ及びスイッチ、並びに情報入力装置が接続されている。
なお、各コントローラは、スタッカクレーン３に搭載されたものに限定されず、電気的に接続された状態で地上側に配置されていてもよい。
【００３９】
搬送コントローラ５０は、走行台車２３の走行車輪２４の駆動を制御するための機能を有しており、走行モータ５９を含む走行部７３に接続されている。搬送コントローラ５０は、昇降台２７を第１マスト２２Ａ及び第２マスト２２Ｂに沿って上下動させるための機能を有しており、昇降モータ６３を含む昇降部７４に接続されている。搬送コントローラ５０は、スライドフォーク２９ａを前後方向に移動させるための機能を有しており、移載モータ（図示せず）を含む移載部７５に接続されている。
【００４０】
画像処理コントローラ８０は、基準位置で撮影した基準画像を撮影しておき、その後に基準位置で撮影した対象画像と比較することで、４台のカメラ５１〜５４がずれているかどうかを検出するものである。基準画像とは、例えば、機械にカメラを設置した時点で所定の基準位置（例えば機械の原点位置）で撮影された映像である。撮影対象は、載置設備及び搬送装置の少なくとも一方である。撮影画像は、定期的に又は必要に応じて基準位置で撮影した画像である。
画像処理コントローラ８０は、基準位置判断部８１を有している。基準位置判断部８１は、スタッカクレーン３の移載装置２９が基準位置に到達したか否かを判断する。基準位置判断部８１は、センサ（図示せず）からの情報に基づいて上記判断を行う。なお、基準位置判断部８１は搬送コントローラ５０に設けられていてもよい。
画像処理コントローラ８０は、画像処理部８２を有している。画像処理部８２は、カメラコントローラ９０から送信されてきた対象画像を画像処理することで、基準画像と比較可能な状態にする。
【００４１】
画像処理コントローラ８０は、ずれ判定部８３を有している。ずれ判定部８３は、基準画像と対象画像とを比較して、ずれの量を判定する。
画像処理コントローラ８０は、基準画像更新部８４を有している。基準画像更新部８４は、ずれの量が無い又は少なかった場合は、対象画像を新たな基準画像に更新する。
画像処理コントローラ８０は、表示制御部８５を有している。表示制御部８５は、表示装置８９（後述）に対象画像を表示可能である。表示制御部８５は、ずれ情報を対象画像と共に又は対象画像と別に表示可能である。
【００４２】
画像処理コントローラ８０は、記憶部８６を有している。記憶部８６には、複数の基準画像と対象画像が保存されている。
画像処理コントローラ８０は、通信部８７を有している。
【００４３】
画像処理コントローラ８０には、入力装置８８及び表示装置８９が接続されている。
入力装置８８は、オペレータが画像処理コントローラ８０にデータ及び指令を入力するための装置である。入力装置８８は、例えば、キーボード、マウス、タッチパネルである。
表示装置８９は、液晶、有機ＥＬ等のディスプレイである。ただし、ディスプレイの種類、台数、設置位置は上記実施形態に限定されない。
【００４４】
カメラコントローラ９０は、４台のカメラ５１〜５４を制御し、画像を撮影するものである。
カメラコントローラ９０には、４台のカメラ５１〜５４が接続されている。
【００４５】
カメラコントローラ９０は、４台のカメラ５１〜５４の撮像を制御するカメラ制御部９１を有している。
カメラコントローラ９０は、画像処理をするための画像処理ソリューション・ソフトウェアからなる画像処理部９２を有している。
【００４６】
カメラコントローラ９０は、記憶部９３を有している。記憶部９３には、４台のカメラ５１〜５４によって撮像された画像データが保存される。なお、記憶部は、画像サーバによって実現されてもよい。
カメラコントローラ９０は、異常判定部９４を有している。異常判定部９４は、画像処理部９２によって画像処理された画像データに基づいてスタッカクレーン３の異常を判定する。なお、異常判定部９４は、画像処理コントローラ８０又は他の装置に設けられていてもよい。
【００４７】
カメラコントローラ９０は、通信部９５を有している。
カメラコントローラ９０は、入力装置９６を有している。入力装置９６は、オペレータがカメラコントローラ９０に指令を入力するための装置である。入力装置９６は、例えば、リモコンである。
【００４８】
（６）制御動作
カメラシステム１００の制御動作を説明する。
以下に説明する制御フローチャートは例示であって、各ステップは必要に応じて省略及び入れ替え可能である。また、複数のステップが同時に実行されたり、一部又は全てが重なって実行されたりしてもよい。
さらに、制御フローチャートの各ブロックは、単一の制御動作とは限らず、複数のブロックで表現される複数の制御動作に置き換えることができる。
なお、各装置の動作は、制御部から各装置への指令の結果であり、これらはソフトウェア・アプリケーションの各ステップによって表現される。
【００４９】
（６−１）画像処理コントローラのずれ判定制御動作
図６を用いて、画像処理コントローラ８０のずれ判定制御動作を説明する。図６は、画像処理コントローラによるずれ判定制御動作を示すフローチャートである。
ステップＳ１では、カメラのずれチェックの必要があるか否か判断される。具体的には、基準位置判断部８１が、スタッカクレーン３が基準位置に到着したか否かを判断する。基準位置が特定の棚１３を意味する場合は、スタッカクレーン３の昇降台２７が特定の棚１３の前に到着したことを、基準位置に到着したとする。ずれチェックの必要があると判断されれば、プロセスはステップＳ２に移行する。
【００５０】
ステップＳ２では、撮影準備が行われる。具体的には、特定の棚１３が撮影対象であって、そこに荷Ｗがある場合は、その荷Ｗを他の棚１３に搬送する。これにより撮影対象の棚１３が空になる。このようにして、基準信号を送信するステップの前に、撮影可能な状態がスタッカクレーン３によって準備される。なお、最初から撮影可能な状態になっている場合は、撮影準備は行われない。また、ステップＳ２は省略可能である。
ステップＳ３では、基準信号がカメラコントローラ９０に送信される。基準信号とは、機械が基準位置に停止して撮影可能になったことを通知するものである。具体的には、通信部８７が、基準信号をカメラコントローラ９０に送信する。基準信号は、カメラコントローラ９０の通信部９５によって受信される（図１０のステップＳ１１のＹｅｓに対応）。
【００５１】
ステップＳ４では、対象画像を受信するのを待機する。具体的には、通信部８７が、カメラコントローラ９０の通信部９５から対象画像が送信されてくる（図１０のステップＳ１３に対応）のを待機する。
ステップＳ５では、対象画像が保存される。具体的には、対象画像が記憶部８６に保存される。なお、対象画像は、画像処理部８２によって画像処理されてもよい。
【００５２】
ステップＳ６では、対象画像と基準画像との間に大きなずれがあるか（つまり、差分が所定の閾値を超えているか）判断される。具体的には、ずれ判定部８３が、送信されてきた対象画像と保存している基準画像とを比較することで、上記判断を実行する。所定の量以上の差分が発生すれば、プロセスはステップＳ７に移行し、上記差分がなければプロセスは終了する。
ステップＳ７では、ずれ情報が出力される（後述）。
【００５３】
図７を用いて、４台のカメラ５１〜５４による基準画像の例を説明する。図７は、移載装置及び棚を撮影した基準画像である。
図７では、表示装置８９の画面において、４台のカメラ５１〜５４で撮影された基準画像１０１が表示されている。各図の右上部分が第１カメラ５１の画像であり、左下部分が第２カメラ５２の画像であり、右下部分が第３カメラ５３の画像であり、左上部分が第４カメラ５４の画像である。
図７では、移載装置２９には荷Ｗは載置されていないし、前後方向両側の棚１３にも荷Ｗは載置されていない。したがって、全ての画像において、棚１３の荷物支承部材１１が映っている。なお、破線Ａで囲まれた部分が一方の棚１３であり、破線Ｂで囲まれた部分が他方の棚である。
【００５４】
図８を用いて、４台のカメラ５１〜５４による対象画像の例を説明する。図８は、移載装置及び棚を撮影した対象画像である。
図８では、表示装置８９の画面において、４台のカメラ５１〜５４で撮影された対象画像１０３が表示されている。各部分とカメラの関係は図７の説明と同じである。また、移載装置２９にも棚１３にも荷Ｗが載置されていない点も図７の説明と同じである。
この実施形態では、図８の左下部分を撮影した第２カメラ５２の姿勢がずれている。
【００５５】
図９を用いて、ずれ情報表示画面を説明する。図９は、対象画像にずれ情報を重畳した図である。
図９では、表示装置８９の画面において、ずれ情報が表示されている。これによりオペレータは第２カメラ５２の姿勢（角度）にずれが生じていることを知ることができる。
この画面では、対象画像１０３にずれ情報が重畳して表示されている。これにより、作業者はずれが生じているカメラを特定して、ずれを直すことが容易になる。
なお、ずれ情報は、ずれ量、ずれ角度、ずれ方向を含んでいいてもよい。また、ずれ情報として、対象画像と基準画像を重畳して表示してもよい。さらに、ずれ情報は文字情報だけでもよい。
なお、ずれ情報の出力は、記憶部８６への保存又は他の装置への送信であってもよい。
【００５６】
上記で述べたように、スタッカクレーン３が同じ基準点に位置する場合の対象画像及び基準画像を比較することにより、スタッカクレーン３に搭載された４台のカメラ５１〜５４の姿勢のずれを精度良く評価できる。
上記で述べたように、４台のカメラ５１〜５４は、基準点での撮影可能になったことを通知する基準信号を受信することで、自動的に対象画像を撮影できる。この結果、４台のカメラ５１〜５４の姿勢のずれを自動的に評価できる。
なお、基準点は自動倉庫１内に複数設けられている。つまり、各基準点において基準画像が記憶される。したがって、スタッカクレーン３が複数の基準点のうちのいずれの地点に位置する状況でも、４台のカメラ５１〜５４の姿勢のずれを評価できる。
ただし、基準点は１箇所であってもよい。
【００５７】
（６−２）カメラコントローラの対象画像撮影制御動作
図１０を用いて、カメラコントローラ９０の対象画像撮影の制御動作を説明する。図１０は、カメラコントローラによる対象画像撮影制御動作を示すフローチャートである。
ステップＳ１１では、基準信号を受信するのを待つ。具体的には、通信部９５が画像処理コントローラ８０の通信部８７からの基準信号を受信する（図６のステップＳ３に対応）のを待ち、基準信号を受信すればプロセスはステップＳ１２に移行する。
【００５８】
ステップＳ１２では、対象画像が撮影及び保存される。具体的には、昇降台２７上の様子及び移載先の棚１３の様子が４台のカメラ５１〜５４によって撮像され、撮像データが記憶部９３に保存される。
ステップＳ１３では、対象画像が送信される。具体的には、通信部９５が対象画像を画像処理コントローラ８０に送信する。対象画像は、画像処理コントローラ８０の通信部７７によって受信される（図６のステップＳ４のＹｅｓに対応）。
【００５９】
（６−３）画像処理コントローラの基準画像更新制御動作
図１１を用いて、オペレータがカメラの姿勢を調整した場合の基準画像更新の制御動作を説明する。図１１は、画像処理コントローラの基準画像更新制御動作を示すフローチャートである。
以下の制御動作は、例えば、図６のステップＳ７において、ずれ情報が表示された場合に実行される。
【００６０】
ステップＳ１４では、新たに撮影され画像を受信するのを待機する。具体的には、通信部７７がカメラコントローラ９０の通信部９５から対象画像を受信すれば、プロセスはステップＳ１５に移行する。上記の動作は、オペレータがカメラ５１の姿勢を調整し、さらに入力装置９６を操作してカメラ制御部９１にカメラ５１の撮影を行わせ、さらに通信部９５から対象画像を送信させたことに基づく。
ステップＳ１５では、対象画像と基準画像との間に大きなズレがあるか判断される。具体的には、ずれ判定部８３が上記判断を実行する。この判断は、新たに撮影された画像を基準画像として利用可能であるか否かを判断していることになる。大きなずれがなければプロセスはステップＳ１６に移行し、大きなズレがあればプロセスはステップＳ１７に移行する。
【００６１】
ステップＳ１６では、基準画像が更新される。具体的には、基準画像更新部８４が対象画像を新たな基準画像として記憶部８６に保存する。
ステップＳ１７では、ずれ情報が出力される。例えば、表示制御部８５がずれ情報を表示装置８９に表示させる。これによりオペレータはカメラの姿勢（角度）のずれが残っていることを知ることができる。
以上より、オペレータはずれを修正するごとにその結果を確認することができ、そのため比較的短時間でカメラを正しい姿勢に戻せる。
この方法では、基準画像更新の頻度が高いので、スタッカクレーン３の周囲の環境が変わっても、カメラ５１〜５４の姿勢のずれを精度良く評価できる。ただし、オペレータの操作によって撮影を行っても、必ずしも基準画像を更新しなくてもよい。例えば、新たに撮影した画像と元の基準画像とを比較していずれかを選択するようにしてもよい。
【００６２】
２．第２実施形態
第１実施形態ではカメラのずれを判定するタイミングはスタッカクレーン３が基準点に到達したときであったが、上記タイミングは特に限定されず、例えばカメラにおいて異常検出率が所定範囲を逸脱した場合にカメラのずれ判定が要請されてもよい。
図１２を用いて、そのような実施例を第２実施形態として説明する。図１２は、第２実施形態の撮影要請制御動作を示すフローチャートである。
【００６３】
４台のカメラ５１〜５４が撮影を行うと、画像処理部９２が画像処理を行い、最後に異常判定部９４が、移載装置２９において荷姿異常（例えば、荷崩れ、荷はみ等）があるか否かを判断する。具体的には、異常判定部９４は、４台のカメラ５１〜５４により撮像される撮像情報に基づいて、荷Ｗと荷Ｗが載置されるべき基準領域との比較を行い、荷崩れ・荷はみを把握する。その後、異常判定情報は、画像処理コントローラ８０又は他の装置に送信される。
ステップＳ２１では、異常検出率が所定範囲を逸脱したか（すなわち、異常検出率が第１の所定値よりも高く、もしくは第２の所定値よりも低くなったか）否かが判断される。具体的には、カメラコントローラ９０又は画像処理コントローラ８０が上記判断を行う。異常率が所定範囲を逸脱すると、プロセスはステップＳ２２に移行する。
【００６４】
ステップＳ２２では、画像処理コントローラ８０に対して、カメラの姿勢のずれを確かめる必要があると要請される。これにより、スタッカクレーン３は基準点まで移動し、図６の制御処理を実行する。
この実施形態では、カメラ５１〜５４による異常検出率が大きく変化した場合には、カメラの姿勢のずれの評価が迅速に行われる。例えば、カメラが他の装置に衝突して姿勢が大きく変わってしまった場合は、その後は例えば荷物の状態が正常であっても異常であると検出すること、あるいは荷物の状態が異常であっても正常であると検出することが多くなる。そのような場合に、上記方法を用いれば、早期にカメラのずれを発見できる。
【００６５】
３．第３実施形態
第１実施形態では基準画像全体と対象画像全体とで差分を検出していたが、基準画像の比較対象部分を限定してもよい。
図１３〜図１５を用いて、そのような実施例を第３実施形態として説明する。図１３は、第３実施形態の画像処理コントローラ及びカメラコントローラの機能ブロック図である。図１４は、第３実施形態の画像処理コントローラによるずれ判定制御動作を示すフローチャートである。図１５は、第３実施形態の移載装置及び棚を撮影した基準画像である。
図１３に示すように、画像処理コントローラ８０は、基準画像及び対象画像の中から、比較対象となるエリアを決定するエリア決定部９９を有している。
図１４では、この実施形態では、図６のステップＳ６の前にステップＳ３１が設けられている。ステップＳ３１では、エリア決定部９９が基準画像と対象画像それぞれの比較エリアを決定する。ステップＳ６では、ずれ判定部８３が比較エリア同士において画像の差分を検出する。
この実施形態では、図１５に示すように、比較エリアＣは、基準画像１０１全体の一部である。具体的には、比較エリアＣは、棚１３の荷物支承部材１１に対応する領域である。
この方法では、基準画像全体を使うよりも画像処理コントローラ８０の処理負荷が小さくなる。
【００６６】
４．実施形態の共通事項
上記第１〜第３実施形態は、下記の構成及び機能を共通に有している。
カメラ（例えば、４台のカメラ５１〜５４）の姿勢のずれを評価する方法は、物品（例えば、荷Ｗ）を搬送して載置設備（例えば、ラック２）との間で物品の受け渡しを行う搬送装置と（例えば、スタッカクレーン３）、搬送装置に搭載されたカメラと、を備えるカメラシステム（例えば、カメラシステム１００）において、下記のステップを備えている。
◎搬送装置が載置設備の特定の地点に位置する際に、カメラが載置設備及び搬送装置の少なくとも一方の一部を撮影することで得られた基準画像を記憶する基準画像記憶ステップ。
◎特定の地点での撮影が可能になったことを通知する基準信号を、カメラに対して送信する基準信号送信ステップ（例えば、図６のステップＳ３）。
◎カメラが撮影を行うカメラ撮影ステップ（例えば、図１０のステップＳ１２）。
◎カメラが撮影した対象画像を記憶する対象画像記憶ステップ（例えば、図６のステップＳ５）。
◎基準画像と対象画像を比較して、カメラの姿勢のずれを評価するずれ評価ステップ（例えば、図６のステップＳ７）。
【００６７】
この方法では、搬送装置が同じ地点に位置する場合の対象画像及び基準画像を比較することにより、搬送装置に搭載されたカメラの姿勢のずれを精度良く評価できる。
この方法では、カメラは、特定の地点での撮影可能になったことを通知する基準信号を受信することで、自動的に対象画像を撮影できる。この結果、カメラの姿勢のずれを自動的に評価できる。
【００６８】
５．他の実施形態
以上、本発明の複数の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。特に、本明細書に書かれた複数の実施形態及び変形例は必要に応じて任意に組み合せ可能である。
【００６９】
第１実施形態では搬送装置はスタッカクレーンであったが、搬送装置の種類は限定されない。例えば、搬送装置は、倉庫のラックの各段を走行するシャトル台車であってもよい。
搬送装置は、地上又は天井のレールに沿って走行する有軌道台車でもよい。
搬送装置は、地上を無軌道で走行する無人搬送車でもよい。
搬送装置は、繊維機械のＡＤ（オートドッファー）でもよい。
搬送装置は、工作機械のローダーでもよい。
【００７０】
第１実施形態では荷撮像データとして静止画が採用されていたが、動画を用いてもよい。
第１実施形態では荷はパレットの上に置かれていたが、荷はトレイ容器に収納されていてもよい。
【００７１】
カメラの数は特に限定されない。１〜３台でもよいし、５台以上であってもよい。
全てのカメラの画像が同時に表示装置において表示されなくてもよい。例えば、１台のカメラの画像のみが表示され、切り替え可能となっていてもよい。
【産業上の利用可能性】
【００７２】
本発明は、荷の状態を検出可能なカメラを有する搬送装置に広く適用できる。
【符号の説明】
【００７３】
１      ：自動倉庫
２      ：ラック
３      ：スタッカクレーン
５      ：スタッカクレーン通路
１３    ：棚
２１    ：走行レール
２２    ：マスト
２２Ａ  ：第１マスト
２２Ｂ  ：第２マスト
２３    ：走行台車
２４    ：走行車輪
２５    ：下側フレーム
２６    ：上側フレーム
２７    ：昇降台
２８    ：昇降ガイドローラ
２９    ：移載装置
２９ａ  ：スライドフォーク
５０    ：搬送コントローラ
５１    ：第１カメラ
５２    ：第２カメラ
５３    ：第３カメラ
５４    ：第４カメラ
５９    ：走行モータ
６０    ：画像処理コントローラ
６３    ：昇降モータ
６４    ：ドラム
８０    ：画像処理コントローラ
８１    ：基準位置判断部
８２    ：画像処理部
８３    ：ずれ判定部
８４    ：基準画像更新部
８５    ：表示制御部
８６    ：記憶部
８７    ：通信部
８８    ：入力装置
８９    ：表示装置
９０    ：カメラコントローラ
９１    ：カメラ制御部
９２    ：画像処理部
９３    ：記憶部
９４    ：異常判定部
９５    ：通信部
９６    ：入力装置
１００  ：カメラシステム
【図１】
2020198578.tif 000003
【図２】
2020198578.tif 000004
【図３】
2020198578.tif 000005
【図４】
2020198578.tif 000006
【図５】
2020198578.tif 000007
【図６】
2020198578.tif 000008
【図７】
2020198578.tif 000009
【図８】
2020198578.tif 000010
【図９】
2020198578.tif 000011
【図１０】
2020198578.tif 000012
【図１１】
2020198578.tif 000013
【図１２】
2020198578.tif 000014
【図１３】
2020198578.tif 000015
【図１４】
2020198578.tif 000016
【図１５】
2020198578.tif 000017