(57)【要約】【課題】マーカの検出が正常に行われなかった場合であっても、都度マーカの物理的な交換を行ったり、マーカ検出プログラムの再構築等を行ったりせずに、フィードバック制御を再開することが可能なマーカ表示更新方法を提供する。【解決手段】マーカを検出することで、制御対象の動作をフィードバック制御するシステムで用いられるマーカ表示更新方法において、所望のマーカの検出に失敗した場合、表示装置で表示可能なマーカを表示するためのマーカ表示用データと、前記表示可能なマーカを検出するためのマーカ検出用データとを保存装置から読み出し、前記表示装置に表示中のマーカを前記マーカ表示用データに基づいて表示されるマーカに切り替え、前記マーカ検出用データを、前記表示装置に表示されるマーカの検出のために用いる。【選択図】図２
2014106773.tif 000002
【特許請求の範囲】
【請求項１】
マーカを検出することで、制御対象の動作をフィードバック制御するシステムで用いられるマーカ表示更新方法において、
所望のマーカの検出に失敗した場合、表示装置で表示可能なマーカを表示するためのマーカ表示用データと、前記表示可能なマーカを検出するためのマーカ検出用データとを保存装置から読み出し、
前記表示装置に表示中のマーカを前記マーカ表示用データに基づいて表示されるマーカに切り替え、
前記マーカ検出用データを、前記表示装置に表示されるマーカの検出のために用いるマーカ表示更新方法。
【請求項２】
前記表示装置での表示を前記マーカ表示用データに基づいて表示されるマーカに切り替えると、前記マーカ検出用データにより検出されるマーカがどの表示装置で表示されるかを表すマーカ割当情報を生成し、
前記マーカ割当情報と、前記マーカ検出用データとを、前記表示装置に表示されるマーカの検出のために用いる請求項１記載のマーカ表示更新方法。
【請求項３】
前記マーカ表示用データが、マーカの表示に関する情報を含む付帯情報を付与されて前記保存装置に記録されている場合、
前記所望のマーカの検出に失敗すると、前記付帯情報に対する評価結果を参照し、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを前記保存装置から選択する請求項１又は２記載のマーカ表示更新方法。
【請求項４】
前記マーカ表示用データが、前記表示装置の設定情報を含む付帯情報を付与されて前記保存装置に記録されている場合、
前記所望のマーカの検出に失敗すると、前記設定情報に基づいて前記表示装置の設定を変更する請求項１又は２に記載のマーカ表示更新方法。
【請求項５】
前記マーカ表示用データが、前記表示装置の明るさ設定情報を含む付帯情報を付与されて前記保存装置に記録されている場合、
前記所望のマーカの検出に失敗すると、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを前記保存装置から、前記明るさ設定情報が低い順に選択する請求項１又は２記載のマーカ表示更新方法。
【請求項６】
前記マーカ表示用データが、予め設定した基準照度に基づいてマーカ表示用データを分類するための照度情報を含む付帯情報を付与されて前記保存装置に記録されている場合、
前記所望のマーカの検出に失敗すると、周囲の照度を取得し、
前記基準照度と、前記取得した照度とを比較し、前記保存装置に記録されるマーカ表示用データのうち、周囲の環境に適したマーカ表示用データを抽出し、前記抽出したマーカ表示用データから、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを選択する請求項１又は２記載のマーカ表示更新方法。
【請求項７】
前記制御対象の実際の動作環境において前記マーカ表示用データの検出し難さを表す評価値を、前記保存装置に記録されている前記マーカ表示用データ毎に算出し、
前記所望のマーカの検出に失敗した場合、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを、前記評価値が低い順に前記保存装置から選択する請求項１又は２記載のマーカ表示更新方法。
【請求項８】
前記表示装置で表示された総時間の履歴である利用時間情報を、前記保存装置に記録されている前記マーカ表示用データ毎に取得し、
前記所望のマーカの検出に失敗した場合、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを、前記利用時間情報が長い順に前記保存装置から選択する請求項１又は２記載のマーカ表示更新方法。
【請求項９】
前記所望のマーカの検出に失敗した場合、人間の顔及び／又は人間の形状等を検出するための人間検出用データを用いて、人間の存在を検出するか否かを判断し、
前記人間の存在を検出すると、前記表示装置に前記マーカの検出の障害になっている旨を表示する請求項１又は２に記載のマーカ表示更新方法。
【請求項１０】
周囲の環境を把握するセンサ情報を取得し、
前記センサ情報に基づいて、周囲に人間が存在するか否かを判断し、
周囲に人間が存在すると判断すると、前記人間に前記システムが動作中である旨を伝える内容を表示するための指定マーカ表示用データを前記保存装置から読み出し、
前記表示装置の表示内容を前記指定マーカ表示用データに基づいて表示される内容に切り替える請求項１又は２に記載のマーカ表示更新方法。
【請求項１１】
前記マーカ表示用データが、データサイズを含む付帯情報を付与されて前記保存装置に記録されている場合、
前記所望のマーカの検出に失敗すると、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを、前記データサイズが小さい順に前記保存装置から選択する請求項１又は２記載のマーカ表示更新方法。
【請求項１２】
前記表示装置に複数のマーカを表示し、
前記複数のマーカについての配置情報を参照して、前記表示される複数のマーカを検出する請求項１又は２に記載のマーカ表示更新方法。
【請求項１３】
表示装置に表示されるマーカを検出することで、制御対象の動作をフィードバック制御するシステムで用いられるマーカ表示更新方法において、
所望のマーカの検出に失敗した場合、前記表示装置における前記マーカの表示位置を移動し、
前記表示装置においてマーカの表示位置が移動した量を把握しながら前記マーカを検出するマーカ表示更新方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボット及び機械類等のアクチュエータに対するビジュアルフィードバック制御を行う際に用いられるマーカ表示更新方法に関する。
【背景技術】
【０００２】
ロボット及び機械類等アクチュエータを制御する方法として、ビジュアルフィードバックという制御法が知られている（例えば、非特許文献１参照）。また、環境及び／又はアクチュエータに取り付けられたマーカを撮影し、画像認識によってアクチュエータ等様々な対象物の位置及び速度を推定可能な方法も知られている（例えば、非特許文献２参照）。
【０００３】
これらの方法を用いることで、例えば、事前に検出を可能にしておいたマーカを、アクチュエータに張り付けたり、そのアクチュエータが動作する環境に張り付けたりし、貼り付けたマーカを撮影すれば、アクチュエータの位置及び速度を推定することが可能になると共に、アクチュエータの周りの障害物及び／又は特別な処理対象等を検出し、都度必要な動作命令をアクチュエータにフィードバックすることが可能になる。
【０００４】
ところが、このマーカの検出によるフィードバック制御は必ずしも適切に行われるわけではない。アクチュエータが置かれる様々な環境において、マーカ検出の失敗が起こり得る。例えば、複数台のロボットが同一環境に存在し、かつ、それぞれ自己位置を知るためにマーカが張り付けられており、さらにそれらのマーカが同じものであった場合、複数台のロボットを撮影し、撮影した画像に対して画像認識を行うと、同じマーカが複数検出されてしまう。また、ある環境下では上記に示したようなマーカ検出が適切に動作しても、別の環境では、たまたまそのマーカと誤検出されてしまうような形状の物体が存在し、上記マーカの複数検出と同じ問題が起きる可能性もある。このように、マーカ検出の失敗が起こり得るため、検出されたマーカの位置情報等を各ロボットの状態に関する推定情報に適切に関連付けることが困難となり、フィードバック制御を適切に実施することが困難となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】http://www.k2.t.u-tokyo.ac.jp/vision/1msVisualFeedback/index-j.html
【非特許文献２】加藤博一他、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ．４、Ｎｏ．４、１９９９年。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のように、アクチュエータに適切な動作命令をフィードバックするために、アクチュエータ及び／又はその周りの環境に張り付けられたマーカを利用する場合、所定の環境においては特定のマーカが使えなくなったり、検出したい対象の数に応じて複数のマーカを用いる必要があったりすることが想定される。そのため、周囲の環境に応じて、適切なマーカを柔軟に使い分ける必要がある。
【０００７】
この発明は上記事情に着目してなされたもので、その目的とするところは、マーカの検出が正常に行われなかった場合であっても、都度マーカの物理的な交換を行ったり、マーカ検出プログラムの再構築等を行ったりせずに、フィードバック制御を再開することが可能なマーカ表示更新方法を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記目的を達成するために、以下のような手段を講じている。  
本発明の第１の態様は、マーカを検出することで、制御対象の動作をフィードバック制御するシステムで用いられるマーカ表示更新方法において、所望のマーカの検出に失敗した場合、表示装置で表示可能なマーカを表示するためのマーカ表示用データと、前記表示可能なマーカを検出するためのマーカ検出用データとを保存装置から読み出し、前記表示装置に表示中のマーカを前記マーカ表示用データに基づいて表示されるマーカに切り替え、前記マーカ検出用データを、前記表示装置に表示されるマーカの検出のために用いる。  
第１の態様によれば、マーカの認識率の改善、ひいては制御対象及び目的地等の検出・推定精度の改善につながる。また、マーカを物理的に交換、又は、マーカ検出プログラムの再構築等の作業を人が行わなくても済むようになる。
【０００９】
本発明の第２の態様では、前記表示装置での表示を前記マーカ表示用データに基づいて表示されるマーカに切り替えると、前記マーカ検出用データにより検出されるマーカがどの表示装置で表示されるかを表すマーカ割当情報を生成し、前記マーカ割当情報と、前記マーカ検出用データとを、前記表示装置に表示されるマーカの検出のために用いる。  
第２の態様によれば、複数台の制御対象が同じ方法で認識されている場合、万一マーカの競合が発生し、制御対象の状態推定が困難になったとしても、マーカを物理的に交換、又は、マーカ検出プログラムの再構築等の作業を人が行わなくても済むようになる。
【００１０】
本発明の第３の態様では、前記マーカ表示用データが、マーカの表示に関する情報を含む付帯情報を付与されて前記保存装置に記録されている場合、前記所望のマーカの検出に失敗すると、前記付帯情報に対する評価結果を参照し、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを前記保存装置から選択する。  
第３の態様によれば、周囲の環境を考慮した、最適なマーカ表示用データを選択することが可能となる。
【００１１】
本発明の第４の態様では、前記マーカ表示用データが、前記表示装置の設定情報を含む付帯情報を付与されて前記保存装置に記録されている場合、前記所望のマーカの検出に失敗すると、前記設定情報に基づいて前記表示装置の設定を変更する。  
第４の態様によれば、マーカ表示用データが少なくとも、更新処理の候補を複数有することが可能となり、どのような環境でも認識精度が維持できる可能性が期待できる。
【００１２】
本発明の第５の態様では、前記マーカ表示用データが、前記表示装置の明るさ設定情報を含む付帯情報を付与されて前記保存装置に記録されている場合、前記所望のマーカの検出に失敗すると、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを前記保存装置から、前記明るさ設定情報が低い順に選択する。  
第５の態様によれば、より少ない消費電力増加でマーカ検出状態を維持することが可能となる。
【００１３】
本発明の第６の態様では、前記マーカ表示用データが、予め設定した基準照度に基づいてマーカ表示用データを分類するための照度情報を含む付帯情報を付与されて前記保存装置に記録されている場合、前記所望のマーカの検出に失敗すると、周囲の照度を取得し、前記基準照度と、前記取得した照度とを比較し、前記保存装置に記録されるマーカ表示用データのうち、周囲の環境に適したマーカ表示用データを抽出し、前記抽出したマーカ表示用データから、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを選択する。  
第６の態様によれば、周囲の照度に応じたマーカ表示用データをより優先的に選択するようになるため、照明の変動に頑健なマーカ検出が可能になる。
【００１４】
本発明の第７の態様では、前記制御対象の実際の動作環境において前記マーカ表示用データの検出し難さを表す評価値を、前記保存装置に記録されている前記マーカ表示用データ毎に算出し、前記所望のマーカの検出に失敗した場合、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを、前記評価値が低い順に前記保存装置から選択する。  
第７の態様によれば、実際の利用環境において評価値の低い、すなわち、検出失敗率の低い、マーカ検出に有効なマーカが優先的に使用されるようになる。
【００１５】
本発明の第８の態様では、前記表示装置で表示された総時間の履歴である利用時間情報を、前記保存装置に記録されている前記マーカ表示用データ毎に取得し、前記所望のマーカの検出に失敗した場合、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを、前記利用時間情報が長い順に前記保存装置から選択する。  
第８の態様によれば、利用時間が長いマーカ表示用データ、すなわち、制御対象が動作している環境下において、検出失敗率が低いマーカを選択することが可能となり、マーカの更新頻度が少なくなることが期待できる。
【００１６】
本発明の第９の態様では、前記所望のマーカの検出に失敗した場合、人間の顔及び／又は人間の形状等を検出するための人間検出用データを用いて、人間の存在を検出するか否かを判断し、前記人間の存在を検出すると、前記表示装置に前記マーカの検出の障害になっている旨を表示する。  
第９の態様によれば、マーカの検出できない状態を更に減らすことが可能となる。
【００１７】
本発明の第１０の態様では、周囲の環境を把握するセンサ情報を取得し、前記センサ情報に基づいて、周囲に人間が存在するか否かを判断し、周囲に人間が存在すると判断すると、前記人間に前記システムが動作中である旨を伝える内容を表示するための指定マーカ表示用データを前記保存装置から読み出し、前記表示装置の表示内容を前記指定マーカ表示用データに基づいて表示される内容に切り替える。  
第１０の態様によれば、人間が制御の邪魔をしてしまう状態や、人間が撮像装置によるマーカ撮影の障害となりマーカが検出できない状態を更に減らすことが可能となる。
【００１８】
本発明の第１１の態様では、前記マーカ表示用データが、データサイズを含む付帯情報を付与されて前記保存装置に記録されている場合、前記所望のマーカの検出に失敗すると、前記表示装置で表示可能なマーカを表示するためのマーカ表示用データを、前記データサイズが小さい順に前記保存装置から選択する。  
第１１の態様によれば、表示データの送信時間が短縮されると共に、その通信に掛かる消費電力の低減が期待できる。
【００１９】
本発明の第１２の態様では、前記表示装置に複数のマーカを表示し、前記複数のマーカについての配置情報を参照して、前記表示される複数のマーカを検出する。  
第１２の態様によれば、検出失敗確率、及び、検出位置の誤差が低減することになる。
本発明の第１３の態様では、表示装置に表示されるマーカを検出することで、制御対象の動作をフィードバック制御するシステムで用いられるマーカ表示更新方法において、所望のマーカの検出に失敗した場合、前記表示装置における前記マーカの表示位置を移動し、前記表示装置においてマーカの表示位置が移動した量を把握しながら前記マーカを検出する。  
第１３の態様によれば、一時的な検出不可状態を回避することが可能となる。
【発明の効果】
【００２０】
要するにこの発明によれば、マーカの検出が正常に行われなかった場合であっても、都度マーカの物理的な交換を行ったり、マーカ検出プログラムの再構築等を行ったりせずに、フィードバック制御を再開することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係るマーカ表示更新方法が使用されるフィードバックシステムの構成を示す図である。
【図２】図１に示すフィードバックシステムにおける管理装置の機能構成を示すブロック図である。
【図３】図１に示すフィードバックシステムの実施例を示す図である。
【図４】図３に示す管理装置がロボットの動作を制御する際のフローチャートを示す図である。
【図５】図３に示すロボットに搭載される小型ディスプレイの表示を更新する前の状態を示す図である。
【図６】図３に示すロボットに搭載される小型ディスプレイの表示を更新した後の状態を示す図である。
【図７】図３に示すフィードバックシステムのその他の例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照してこの発明に係わる実施形態を説明する。図１は、本発明の実施形態に係るマーカ表示更新方法が使用されるフィードバックシステムの構成を示す図である。図１に示すフィードバックシステムは、管理装置１０、保存装置２０、撮像装置３０−１〜３０−ｉ、表示装置４０−１〜４０−ｊ及び制御対象５０−１〜５０−ｋを備える。
【００２３】
撮像装置３０−１は、カメラ等であり、表示装置４０−１〜４０−ｊに表示されるマーカを撮影する。撮像装置３０−１は、撮像画像を管理装置１０へ送信する。なお、撮像装置３０−２〜３０−ｉの動作は、撮像装置３０−１の動作と同様であるため、ここでは説明を割愛する。
【００２４】
表示装置４０−１は、液晶ディスプレイ又は電子ペーパ等から成る。表示装置４０−１は、管理装置１０においてマーカ表示用データから変換された表示データに基づいたマーカを表示する。なお、表示装置４０−２〜４０−ｊの動作は、表示装置４０−１の動作と同様であるため、ここでは説明を割愛する。なお、表示装置４０−１は、管理装置１０から送信される表示データに基づくマーカを表示する、例えば、液晶ディスプレイ又は電子ペーパ等から成るものに限定される訳ではない。表示装置４０−１は、例えば、紙又はシール等の表示内容が一意に固定された固定手段を含み、マーカは、固定手段により示されていても良い。
【００２５】
制御対象５０−１は、マニピュレータ又はロボット等である。制御対象５０−１は、管理装置１０から送信される制御信号に従って動作する。また、制御対象５０−１は、表示装置４０−ｊを備えていても構わない。なお、制御対象５０−２〜５０−ｋの動作は、制御対象５０−１の動作と同様であるため、ここでは説明を割愛する。
【００２６】
保存装置２０は、マーカ表示用データ保持部２１及びマーカ検出用データ保持部２２を備える。マーカ表示用データ保持部２１は、マーカ表示用データ１〜ｎを記録している。マーカ検出用データ保持部２２は、マーカ表示用データ１〜ｎそれぞれに対応するマーカ検出用データ１〜ｎを記録している。保存装置２０は、マーカ表示用データ１〜ｎと、マーカ表示用データ１〜ｎにそれぞれ対応するマーカ検出用データ１〜ｎとを、以下に示す方法により、互いに対応付けている。すなわち、保存装置２０は、各マーカ表示用データと、そのそれぞれに対応する各マーカ検出用データとに関し、双方向に同定するのに必要な参照情報が登録された参照情報テーブルを別途記録しても良い。また、保存装置２０は、マーカ表示用データ及びマーカ検出用データを、参照情報を追加で保存するのに十分な大きさ分だけ拡張し、マーカ表示用データの拡張領域に、対応するマーカ検出用データを同定するのに必要な参照情報を記録し、マーカ検出用データの拡張領域に、対応するマーカ表示用データを同定するのに必要な参照情報を記録しても良い。
【００２７】
なお、マーカ表示用データ、マーカ検出用データは、保存装置２０の外部から参照されること又は取得されることが可能な形式である。また、保存装置２０は、何らかの評価基準、処理順序及び保存装置２０の制約等に基づき、マーカ表示用データ及びマーカ検出用データのリスト化等を行っても良い。
【００２８】
また、マーカが、表示内容が一意に固定された手段により示される場合、保存装置２０は、固定手段により示されるマーカ用のマーカ表示用データ及びそれに対応するマーカ検出用データを保持する。なお、固定手段により示されるマーカのマーカ表示用データは、具体的にどのようなマーカであるのかを利用者等の人間に提示するためのデータであって、制御対象５０の制御に関するマーカの表示データとして表示装置４０へは送信されず、また、後述する表示マーカ選択部１２における更新処理の対象にもされない。
【００２９】
保存装置２０は、管理装置１０からのマーカ表示用データ取得要求に応じ、要求されたマーカ表示用データをマーカ表示用データ保持部２１から読み出し、読み出したマーカ表示用データを管理装置１０へ送信する。また、保存装置２０は、管理装置１０からのマーカ検出用データ取得要求に応じ、要求されたマーカ検出用データをマーカ検出用データ保持部２２から読み出し、読み出したマーカ検出用データを管理装置１０へ送信する。
【００３０】
図２は、図１に示すフィードバックシステムにおける管理装置１０の機能構成を示すブロック図である。管理装置１０は、例えば、ＣＰＵ（Central Processing Unit）、並びに、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のＣＰＵが処理を実行するためのアプリケーション・プログラムやデータの格納領域等を含む。管理装置１０は、ＣＰＵにアプリケーション・プログラムを実行させることで、マーカ検出部１１、表示マーカ選択部１２、表示装置インタフェース（Ｉ／Ｆ）１３及び制御対象インタフェース（Ｉ／Ｆ）１４の機能を実現する。
【００３１】
マーカ検出部１１は、撮像装置３０−１〜３０−ｉで撮影された撮像画像に対し、色空間調整及びフィルタ処理等の、予め設定された画像処理を施す。マーカ検出部１１は、表示マーカ選択部１２から送信されるマーカ検出用データ、及び、このマーカ検出用データにより検出されるマーカがどの表示装置で表示されるものであるかを表すマーカ割当情報を用い、画像処理後の撮影データにおける表示装置４０−１〜４０−ｊに表示されているマーカのうち、所望のマーカを検出する。マーカ検出部１１は、マーカの検出結果を参照し、マーカの位置及び速度等を推定する。マーカ検出部１１は、推定情報を制御対象５０−１〜５０−ｋ及びその周囲の環境に関する情報として利用し、制御対象５０−１〜５０−ｋに対する制御信号を生成する。マーカ検出部１１は、生成した制御信号を、制御対象Ｉ／Ｆを介して制御対象５０−１〜５０−ｋへ送信する。
【００３２】
また、マーカ検出部１１は、表示装置４０−１〜４０−ｊで表示されているマーカの検出に失敗した場合、検出に失敗したマーカを表示している表示装置の内容を別のマーカ表示用データで更新するための、表示データ更新要求を生成する。ここで、マーカの検出に失敗するとは、例えば、マーカを検出することが不可能である場合、及び、同一のマーカが２つ以上検出される場合等である。
【００３３】
また、マーカが、表示内容が一意に固定された手段により示される場合、そのマーカに関するマーカ割当情報は、各装置の制御動作開始前又は環境構築時等に、利用者の手動操作によってマーカ検出部１１又は表示マーカ選択部１２に記録される。マーカ検出部１１は、固定手段により示されるマーカを、対応するマーカ検出用データと、記録されたマーカ割当情報とを参照して検出する。
【００３４】
表示マーカ選択部１２は、表示データ更新要求を受信すると、検出に失敗したマーカを表示している表示装置の表示内容を別のマーカに更新する処理を実行する。すなわち、表示マーカ選択部１２は、他の表示装置で現在使用されていないマーカのマーカ表示用データをランダムに選択し、選択したマーカ表示用データを取得するためのマーカ表示用データ取得要求を保存装置２０へ送信する。このとき、表示マーカ選択部１２は、マーカ割当情報を参照することで、現在利用されているマーカを把握し、このマーカと一致しないマーカのマーカ表示用データを、他の表示装置で現在使用されていないマーカのマーカ表示用データとする。表示マーカ選択部１２は、選択したマーカ表示用データに対応するマーカ検出用データを取得するためのマーカ検出用データ取得要求を保存装置２０へ送信する。
【００３５】
保存装置２０からマーカ表示用データが供給されると、表示マーカ選択部１２は、供給されるマーカ表示用データを、表示装置で表示可能な表示データに変換する。表示マーカ選択部１２は、変換した表示データを、表示装置Ｉ／Ｆ１３を介して、検出に失敗したマーカを表示している表示装置へ送信する。
【００３６】
また、保存装置２０からマーカ検出用データが供給されると、表示マーカ選択部１２は、供給されるマーカ検出用データに対応するマーカがどの表示装置で表示されるものであるかを表すマーカ割当情報を作成する。表示マーカ選択部１２は、供給されたマーカ検出用データ及び作成したマーカ割当情報をマーカ検出部１１へ送信する。マーカ検出部１１は、マーカ検出用データ及びマーカ割当情報を用い、表示マーカ選択部１２により更新されたマーカが検出可能となるように、マーカの検出機能を再設定・調整する。なお、表示マーカ選択部１２が更新処理を実行するトリガは、マーカ検出部１１から送信される表示データ更新要求に限定される訳ではない。
【００３７】
以下に、管理装置１０が、検出が失敗した表示装置で表示されているマーカを更新することの効果を説明する。
仮にマーカ表示用データがｎ個存在し、この内のｍ個が使用可能であり、かつ、各マーカの検出失敗率がＦ［％］だとする。なお、検出失敗率を定義及び数値化する方法は、例えば、以下である。すなわち、マーカが一つだけ映っているテスト画像を十分に多い数用意し、そのマーカを検出可能なように設定されたマーカ検出部１１により、その内の何枚の画像においてマーカを正確に検出できなかったかにより検出失敗率を算出しても良い。また、マーカを撮像装置３０−１で十分に長い時間撮像し、そのマーカを検出可能なように設定されたマーカ検出部１１により、撮像時間中のどのくらいの時間、撮像データからマーカを正確に検出できなかったかにより検出失敗率を算出しても良い。
【００３８】
あるマーカ表示用データがある表示装置で使用されている場合、その表示装置で表示されているマーカの検出失敗率をＦ［％］とする。ただし、Ｆは１未満であるとする。ここで、ある瞬間に上記マーカの検出が失敗した場合、表示マーカ選択部１２は、利用可能な２つ目のマーカに表示内容を更新する。このとき、各マーカの検出失敗率が全てＦ［％］で一定であるとすると、表示内容を変更してもなお検出が失敗する確率は、Ｆ×Ｆ［％］である。表示マーカ用データは、ｍ個利用可能なので、最終的に利用可能なマーカ表示用データの全てを使い果たしても検出に失敗する確率は、Ｆｍ［％］である。これによって、マーカ検出部１１がマーカを全く検出できない可能性は低減する。その結果、マーカが表示されている位置が検出できない可能性が低減するため、この検出結果を利用する制御信号の生成が、より適切に行われやすくなることが期待できる。
【００３９】
なお、上記は簡単のため、前提として、各マーカの検出失敗率は全てＦ［％］で一定としたが、実際には各マーカの作り方、制御対象が動作する環境の状況、表示装置の特性、表示装置の周りの補助装置等により、それぞれのマーカの検出失敗率は変わり、また意図的に各マーカの検出失敗率を変えることが可能である。
【００４０】
図３は、図１に示すフィードバックシステムの実施例を示す図である。図３に示すフィードバックシステムは、計算機６０、カメラ７０、小型ディスプレイ８０−１，８０−２、シール９０及びロボット１００を備える。
計算機６０は、管理装置１０及び保存装置２０を備える。カメラ７０は、上記撮像装置３０に相当する。カメラ７０は、小型ディスプレイ８０−１，８０−２、シール９０及びロボット１００が撮影可能な位置に設置される。
【００４１】
小型ディスプレイ８０−１，８０−２及びシール９０は、上記表示装置４０に相当する。小型ディスプレイ８０−１は、ロボット１００の上面に搭載され、計算機６０から供給される表示データに従い、マーカ１を表示する。小型ディスプレイ８０−２は、障害物の上面に搭載され、計算機６０から供給される表示データに従い、マーカ２を表示する。シール９０は、障害物の上面に貼られ、マーカ３を示す。なお、それぞれの小型ディスプレイがどのロボット又は障害物等に搭載されているかは、管理装置１０に予め登録されている。
【００４２】
ロボット１００は、上記制御対象５０に相当し、計算機６０から供給される制御信号に従い、動作する。
図４は、図３に示す管理装置１０がロボット１００の動作を制御する際のフローチャートを示す図である。
まず、マーカ検出部１１は、カメラ７０から撮像画像が供給されたか否かを判断する（ステップＳ４１）。撮像画像が供給された場合（ステップＳ４１のＹｅｓ）、マーカ検出部１１は、撮像画像に対して所定の画像処理を施す（ステップＳ４２）。撮像画像が供給されない場合（ステップＳ４１のＮｏ）、マーカ検出部１１は、撮像画像が供給されるまで、ステップＳ４１の処理を繰り返す。
【００４３】
マーカ検出部１１は、ステップＳ４２の画像処理の後、画像処理後の撮像画像を、マーカ検出用データを用いて解析し、マーカを検出する（ステップＳ４３）。マーカ検出部１１は、検出したマーカの位置と、マーカ割当情報に含まれる表示装置の位置とを照合し、検出したマーカが所望のマーカであるかを判断する（ステップＳ４４）。マーカ検出部１１は、取得した所望のマーカを参照し、制御対象の状態を推定し、制御対象に対する制御信号を生成する（ステップＳ４５）。
【００４４】
マーカ検出部１１は、全ての制御対象に対して制御信号の生成が可能であるかを判断する（ステップＳ４６）。この判断により、検出・照合できなかったマーカの有無を確認する。全ての制御対象に対して制御信号を生成可能である場合（ステップＳ４６のＹｅｓ）、マーカ検出部１１は、制御対象へ、生成した制御信号を送信する（ステップＳ４７）。
【００４５】
全ての制御対象に対して制御信号を生成することができない場合（ステップＳ４６のＮｏ）、マーカ検出部１１は、どの制御対象に対する制御信号の生成が適切に行われていないかを判別する（ステップＳ４８）。マーカ検出部１１は、制御信号を生成することが不可能な制御対象に係る表示装置を判別し、判別した表示装置の表示を更新するように、表示データ更新要求を生成する（ステップＳ４９）。以下では、図５において、ロボット１００に対する制御信号が適切に生成されず、データ検出部１１において、ロボット１００に搭載される小型ディスプレイ８０−１の表示を図６に示すように更新する表示データ更新要求が生成する場合を説明する。
【００４６】
続いて、表示マーカ選択部１２は、判別した小型ディスプレイ８０−１に表示されるマーカ１を更新可能であるか否かを判断する（ステップＳ４１０）。ここで、更新可能とは、例えば、保存装置２０に使用可能なマーカ表示用データが残っている場合をいい、更新不可能とは、保存装置２０に使用可能なマーカ表示用データが残っていない場合をいう。小型ディスプレイ８０−１に表示されるマーカ１を更新可能である場合（ステップＳ４１０のＹｅｓ）、表示マーカ選択部１２は、保存装置２０に記録されているマーカ表示用データのうちどれが利用可能かを判別する（ステップＳ４１１）。判別した小型ディスプレイ８０−１に表示されるマーカ１を更新不可能である場合（ステップＳ４１０のＮｏ）、表示マーカ選択部１２は、ロボット１００に対して一時停止又は安全動作等の予め設定される制御信号を生成し、処理をステップＳ４７へ移行する。
【００４７】
Ｓ４１１において、利用可能なマーカ表示用データを判別すると、表示マーカ選択部１２は、利用可能なマーカ表示用データからマーカ表示用データを選択する（ステップＳ４１３）。表示マーカ選択部１２は、選択したマーカ表示用データと、このマーカ表示用データに対応するマーカ検出用データとを保存装置２０から読み出し、読み出したマーカ表示用データを表示データへ変換し、小型ディスプレイ８０−１にマーカ４を表示させる（ステップＳ４１４）。表示マーカ選択部１２は、マーカ割当情報を生成し、読み出したマーカ検出用データと、生成したマーカ割当情報をマーカ検出部１１へ送信する。マーカ検出部１１は、マーカ検出用データを更新し（ステップＳ４１５）、マーカ割当情報を更新し（ステップＳ４１６）、処理をＳ４１２へ移行する。
【００４８】
以上のように、本実施形態に係る発明は、マーカの検出に失敗した場合、保存装置に記録されているマーカ表示用データを参照し、検出に失敗したマーカを更新するようにしている。これにより、管理装置１０がマーカを全く検出できない可能性が低減することになる。
【００４９】
したがって、本実施形態に係る発明によれば、紙又はシール等で作られた、形及び取り付け位置が固定されたマーカが使えないような状況下でも、別のマーカ表示用データを採用することで、表示するマーカ及びマーカを表示する位置を容易に更新可能となるため、マーカの認識率の改善、ひいては制御対象及び目的地等の検出・推定精度の改善につながる。
【００５０】
他にも、複数台の制御対象が同じ方法で認識されている場合、万一マーカの競合が発生し、制御対象の状態推定が困難になったとしても、表示装置の内容を更新させることで、マーカを物理的に交換、又は、マーカ検出プログラムの再構築等の作業を人が行わなくても済むようになる。
【００５１】
さらに、保存装置の容量が許す限りいくらでもマーカの種類を増やせるため、どのような環境でも認識精度が維持できる可能性が期待できる。また、設計及び仕様等により最初から表示装置が用意されているような制御対象等であれば、そもそも人間がマーカ等を貼り付けたりする必要がなくなる。
【００５２】
なお、液晶ディスプレイ等では消費電力などが問題になるが、近年は電子ペーパ及び高輝度ＬＥＤ等の登場により、その問題は制御対象そのものの消費電力と比較すれば無視できるほど小さくなりつつあると言える。また、マーカ自体が表示装置で表示されるので、きわめて暗い環境下でもカメラによる撮影、マーカ検出が可能というメリットがあるともいえる。
【００５３】
なお、上記実施では、保存装置２０にマーカ表示用データ及びマーカ検出用データが記録される場合を例に説明した。しかしながら、これに限定される訳ではない。保存装置２０は、各マーカ表示用データ１〜ｎに、検出失敗率情報、検出可能又は検出不可能になってしまう環境の照度情報、マーカ表示用データ１〜ｎのデータサイズ情報、表示装置４０−１〜４０−ｊの設定パラメータ情報、及び、表示装置４０−１〜４０−ｊ内におけるマーカの表示位置情報等が登録・保存されている付帯情報を付与して、マーカ表示用データ１〜ｎを記録しても良い。このとき、マーカ表示用データ、マーカ検出用データ自体は同一でも、付与されている付帯情報の種類、又は、内容が異なるならば、それらは違うマーカであるとしても良い。ただし、複数の表示装置４０−１〜４０−ｊで表示されるそれぞれのマーカを、同一の撮像装置３０で別々に認識する必要がある場合、表示マーカ選択部１２は、マーカ表示用データが同じ、かつ、付帯情報だけが異なるデータの集合に関しては、該集合の中の一つのデータのみを、一つの表示装置に使用し、その他の表示装置にはマーカ表示用データが異なるものを選択するものとする。なお、付帯情報に登録・保存される情報の種類は一つ、あるいは複数種でも良い。また、付帯情報は、マーカ表示用データの代わりに、マーカ検出用データ側に付与されても良い。
【００５４】
また、上記実施形態では、表示マーカ選択部１２は、他の表示装置で現在使用されていないマーカのマーカ表示用データをランダムに選択する場合を例に説明した。しかしながら、これに限定される訳ではない。例えば、予め設定した方法を用いて、マーカ表示用データを選択するようにしても構わない。予め設定した方法とは、例えば、マーカ表示用データの付帯情報に様々な評価処理を適用し、マーカ表示用データを、適用する評価処理の評価値順にソートして作成したリストを用いる方法がある。また、予め設定した方法のその他の例としては、マーカ表示用データの付帯情報に様々な評価処理を適用し、所望の評価処理の評価値を満たすマーカ表示用データの検索機能を用意する方法がある。また、予め設定した方法のその他の例としては、表示マーカ選択部１２に過去に使用したマーカ表示データの選択履歴を残しておき、その履歴を利用する方法がある。なお、評価値順のリスト、及び、マーカ選択履歴等は、表示マーカ選択部１２が参照可能でさえあれば、制御プログラム内、又は、保存装置２０内等のいずれに記録されていても構わない。これにより、周囲の環境を考慮した、最適なマーカ表示用データを選択することが可能となる。
【００５５】
また、上記実施形態において、表示マーカ選択部１２によるマーカ更新処理は、必ずしも表示装置４０の描画内容を書き換えることに制限される訳ではない。表示装置４０は、色合い、明るさ、及びコントラストといった表示装置自体の設定項目を備えている。保存装置２０は、この各種設定項目の設定値を、マーカ表示用データの付帯情報として、マーカ表示用データと共に記録している。表示マーカ選択部１２は、付帯情報の内容の違いに基づき、同一内容のマーカ表示用データを、複数のマーカ表示用データが保存されているのと同様に扱う。表示マーカ選択部１２は、対象となる表示装置の表示内容を更新する際に、表示データとして表示装置自体の設定項目を送信する。なお、マーカ表示用データ及びマーカ検出用データそのものの変更がない場合は、表示マーカ選択部１２は、マーカ割当情報及びマーカ検出用データを改めてマーカ検出部１１へ送信しなくても良い。これにより、マーカ表示用データが少なくとも、更新処理の候補を複数有することが可能となり、どのような環境でも認識精度が維持できる可能性が期待できる。
【００５６】
表示装置自体の設定項目を変更する際のアルゴリズムとしては、以下のようなものが採用できる。すなわち、撮像装置３０におけるホワイトバランス情報を、表示マーカ選択部１２に対するセンサ入力として利用し、ホワイトバランス情報から適切なマーカの色認識が行えるような「色合い設定値」を付帯情報として持つマーカ表示用データを保存装置２０に記録する。表示マーカ選択部１２は、このような付帯情報が付加されるマーカ表示用データを選択し、表示装置４０へ送信する表示データとして、付帯情報に含まれる色合い設定値を用いる。なお、適切な色合い設定値については、例えば、ホワイトバランス情報により、撮像装置３０の色温度設定がA度程度であると把握できた場合、表示装置の色合い設定を色温度Ａ度程度に合わせる、等が考えられる。
【００５７】
また、表示装置自体の設定項目を変更する際のその他の手法として、撮像装置３０を照度センサとしてみなし、得られた照度情報をセンサ入力として利用するようにしても構わない。保存装置２０は、事前に実験等により把握した、表示装置の「適切な明るさ」の付帯情報を持つマーカ表示用データを記録している。表示マーカ選択部１２は、このような付帯情報が付加されるマーカ表示用データを選択し、表示装置４０へ送信する表示データとして、付帯情報に含まれる明るさ設定値を送信する。なお、明るさの設定は必ずしも表示装置４０の表示の明るさのみをさすのではなく、表示装置４０の周りに取り付けた補助ライトの明るさ等でも良い。ただし、マーカを無駄に明るくして表示することは、表示装置４０がバッテリ等で駆動されている場合、消費電力上不都合がある。これについては後述する。
【００５８】
また、表示装置自体の設定項目を変更する際のその他の手法として、以下の方法も採用可能である。撮像装置３０で撮像された撮像画像において、白とび及び／又は黒潰れ等が発生した場合、表示装置４０で表示されているマーカの模様が適切に撮像されなくなる可能性がある。そこで、表示マーカ選択部１２は、白とび及び／又は黒潰れ発生を撮像装置３０からセンサ情報として受け取り、その情報を基にマーカ表示用データの付帯情報で高コントラストな設定のものを選択し、表示装置に送信する表示データとして、コントラスト設定値を用いるようにしても構わない。ただし、明るさによる方法同様に消費電力の問題があるのと、表示装置４０によってはコントラスト設定が変更できないものも存在することに注意が必要である。
【００５９】
以上のように、明るさ設定、又は、コントラスト設定を変更することで、マーカ更新処理を実施する場合、消費電力増加の問題がある。そこで、評価処理として、保存装置２０に記録されるマーカ表示用データの付帯情報の明るさ設定情報に基づき、明るさ設定が完全に消灯された状態から最大量までの順に各マーカ表示用データをリスト化しておく。表示マーカ選択部１２は、作成したリストを参照し、明るさ設定が低い、すなわち、暗いマーカ表示用データから順に選択するようにする。ある明るさ設定のマーカ表示用データにより表示されるマーカが検出不可だった場合、表示マーカ選択部１２は、そのリスト上で明るさ設定がもう一段明るいマーカ表示用データを選択する。また、表示マーカ選択部１２は、撮像装置３０を照度センサとして利用し、得られた照度がある閾値分増加した場合において、明るさ設定値に基づくリストを参照し、現在のマーカ表示用データよりも明るさ設定が一段暗い設定となっているマーカ表示用データを選択する。表示マーカ選択部１２は、マーカ表示用データが選択されると、その付帯情報に含まれる明るさ設定を表示データとして、表示装置４０へ送信する。これにより、より少ない消費電力増加でマーカ検出状態を維持することが可能となる。
【００６０】
また、表示マーカ選択部１２は、マーカ表示用データを周囲の環境に応じた性質に基づいて分類し、分類されたマーカ表示用データ毎に更新対象を選択するようにしても構わない。例えば、マーカ表示用データにより示されるマーカに対して事前の実験等を行うことにより、十分な照明下での検出失敗率と、薄暗い状況下での検出失敗率とを予め求める。そして、マーカ表示用データを、例えば照度ｘ［ｌｘ］以上の明環境下において検出失敗率が低いマーカ表示用データと、照度ｘ［ｌｘ］未満の暗環境下において検出失敗率が低いマーカ表示用データとに分類する。保存装置２０は、明環境下において検出失敗率が低いマーカ表示用データを、該マーカ表示用データの付帯情報に「明環境用」の照度情報を含めて記録し、暗環境下において検出失敗率が低いマーカ表示用データを、該マーカ表示用データの付帯情報に「暗環境用」の照度情報を含めて記録する。なお、マーカ表示用データの分類数は、必ずしも二つである必要はない。表示マーカ選択部１２は、明るさが検出できる装置の照度情報をマーカ表示用データの付帯情報に含まれる照度情報と比較し、マーカ表示用データが選択候補になり得るか否かを判別し、なり得るデータは抽出し、なり得ないデータは除外する。これにより、表示マーカ選択部１２は、検出失敗率が低いマーカ表示用データをより優先的に選択するようになるため、照明の変動に頑健なマーカ検出が可能になる。なお、保存装置２０は、明環境下において検出失敗率が低いマーカ表示用データに対応するマーカ検出用データを、該マーカ検出用データの付帯情報に「明環境用」の照度情報を含めて記録し、暗環境下において検出失敗率が低いマーカ表示用データに対応するマーカ検出用データを、該マーカ検出用データの付帯情報に「暗環境用」の照度情報を含めて記録するようにしても良い。
【００６１】
なお、明るさ設定を用いた実現手段において、照度センサ及び明るさセンサとしては、撮像装置３０の他に、フォトダイオード、太陽電池又は照度センサ等を用いても良い。
また、表示マーカ選択部１２は、更新処理の事前に、制御対象５０の実際の動作環境における検出失敗率である、実環境検出失敗率を算出し、実環境検出失敗率の低いマーカ表示用データを更新対象として選択するようにしても良い。
【００６２】
すなわち、管理装置１０及び表示装置４０の起動時に、表示マーカ選択部１２は、保存装置２０に保存されているマーカ表示用データのいくつかを取得する。このとき、取得する方法は、ランダムに取得する方法、又は、マーカ表示用データの付帯情報に事前に算出した検出失敗率情報を付け加えておき、検出失敗率の低い順に取得する方法等がある。なお、ここで用いる付帯情報は、検出失敗率情報以外のものでも良い。そして、表示マーカ選択部１２は、取得したマーカ表示用データをそれぞれ表示装置４０に予め設定した一定時間表示させるように表示装置４０へ表示データを送信し、かつ、その使用中のマーカ表示データ用のマーカ検出用データをマーカ検出部１１に設定する。このとき、制御対象等に往復・回転・旋回のような何らかの初期化動作等をさせても良い。
【００６３】
マーカ検出部１１は、一定時間中に各マーカの検出を行う。マーカ検出部１１は、各マーカの検出が失敗した回数、又は、検出に失敗していた時間を表示マーカ選択部１２へ送信する。表示マーカ選択部１２は、検出失敗回数、又は、検出失敗時間をマーカ検出部１１から受け取ると、実環境検出失敗率をマーカ毎に算出する。具体的には、表示マーカ選択部１２は、マーカ検出に失敗したフレーム数／全撮影フレーム数、又は、マーカ検出に失敗していた時間／総撮影時間をマーカ毎に計算することで、実環境検出失敗率を算出する。表示マーカ選択部１２は、実環境検出失敗率の結果に基づき、実環境検出失敗率の少ない順にマーカ表示用データをリスト化する。表示マーカ選択部１２は、マーカ更新処理において、作成したリストにおいて、検出失敗率の少ない側のマーカ表示用データから順に表示データに変換する。ここで、事前に設定した許容可能な実環境検出失敗率を満たすマーカ表示用データの数が、必要な数に満たなかった場合、表示マーカ選択部１２は、前回取得されなかった他の保存装置内のマーカ表示用データについてもう一度同様の処理を実行するようにしても良い。これにより、実際の利用環境において検出失敗率の低い、マーカ検出に有効なマーカが優先的に使用されるようになる。これは、マーカ更新に伴う表示装置４０及び通信関係の消費電力の低減、マーカ検出失敗時において表示装置４０がマーカ更新中の状態になっている時間の低減、並びに、マーカ検出失敗の状態にそもそも陥りにくい等の利点がある。
【００６４】
また、表示マーカ選択部１２は、各マーカ表示用データについて、過去にそのマーカ表示用データが選択され、表示装置４０で表示された総時間の履歴である「利用時間情報」を利用して更新対象となるマーカ表示用データを選択するようにしても構わない。このとき、利用時間情報の保存先は、表示マーカ選択部１２が参照可能であれば、管理装置１０で実行される制御プログラム内部でも、保存装置２０でも、その他外部装置でも良い。表示マーカ選択部１２は、マーカ更新処理を行う際に、利用時間情報が長いマーカ表示用データから順に優先的に選択する。ただし、表示マーカ選択部１２は、この更新処理の直前に使用されていたマーカ表示用データは選択しない。利用時間が長いマーカ表示用データは、それだけ他のマーカに更新されたことが少ないマーカであることから、制御対象が動作している環境下において、検出失敗率が低いマーカであることが想定される。このため、マーカの更新頻度が少なくなることが期待できる。これは、マーカ更新に伴う表示装置４０及び通信関係の消費電力の低減、マーカ検出失敗時において表示装置４０がマーカ更新中の状態になっている時間の低減、並びに、マーカ検出失敗の状態にそもそも陥りにくい等の利点がある。
【００６５】
また、表示マーカ選択部１２は、マーカの検出に失敗した場合に、表示装置４０の表示領域内におけるマーカの表示位置を変更させるようにしても良い。すなわち、表示マーカ選択部１２は、表示装置４０の表示領域内におけるマーカの表示位置を、表示装置４０へ送信する。表示マーカ選択部１２は、マーカの検出が可能な状態においては、マーカの表示装置４０における表示位置を、表示装置４０の表示領域内の中心にしておく。一方、マーカの検出に失敗した場合には、表示マーカ選択部１２は、表示装置４０にマーカを表示領域の中心からずらした位置で表示させる。表示マーカ選択部１２は、表示位置の移動量に関する情報をマーカ割当情報と共にマーカ検出部１１へ送信する。マーカ検出部１１は、表示位置の移動量に関する情報を用いて、マーカの検出位置と表示装置４０の中心位置を計算する。
【００６６】
ここで、表示位置を表示領域の中心から移動させる移動量の設定に関しては以下のような方法を採用しても良い。
すなわち、ある表示装置４０で表示されるマーカの検出が成功している状態から、失敗している状態になった場合、表示マーカ選択部１２は、失敗が発生する直前までの制御対象５０の位置、撮像装置３０、及び、表示装置４０の相対位置は分かっている。表示マーカ選択部１２は、把握している相対位置に基づき、表示装置４０におけるマーカの表示位置の移動量を算出する。具体的には、表示マーカ選択部１２は、検出可能時と検出不可能時との時間差ｔ［ｓ］と、この間の撮像装置３０と表示装置４０との相対速度ｖ［ｍ／ｓ］とを取得する。表示マーカ選択部１２は、取得した値から、表示装置４０の表示領域内におけるマーカの表示位置の移動量を−ｖｔ［ｍ］と算出する。ただし、マーカの表示位置をｖｔ［ｍ］移動させた結果、マーカの全部又は一部が表示装置４０の表示領域を超えないこととする。
また、表示位置を表示領域の中心から移動させる移動量を設定する方法のその他の例として、表示装置４０内で表示される移動量又は撮像画像内の移動量と、実際の移動量とを予め関連付けておき、撮影結果に基づいて移動量を算出するようにしても良い。例えば、表示マーカ選択部１２は、事前の実験・計測又は設計情報等により、表示装置４０の１ピクセル又は１ドットの物理的な大きさ、又は、撮影装置３０による撮影画像中での１ピクセル又は１ドットの画像としての大きさを、予め参照可能なようにしているものとする。事前実験により、撮像画像中での１ピクセルの大きさを測定する方法としては、あるマーカの表示位置を表示装置４０内で移動させ、マーカが撮影画像中で何ピクセル移動したかを測定する等の方法がある。
【００６７】
また、表示位置を表示領域の中心から移動させる移動量を設定する方法のその他の例として、マーカ表示用データの付帯情報に、表示位置情報を用いるようにしても良い。表示位置情報は、表示されるマーカが表示装置４０の表示範囲をはみ出さなければ、ランダムに決めても良いし、何らかの計算ルールに則って決めても良い。表示マーカ選択部１２は、表示位置情報を、表示装置４０に送信する表示データの一部として、又は、表示データ内においてマーカ表示位置そのものを移動させる参考値として利用する。
【００６８】
このように、表示装置４０の表示領域内におけるマーカの表示位置を変更することにより、一時的な検出不可状態を回避することが可能となる。例えば、表示装置４０と撮像装置３０との間において、マーカの撮像を阻害するような障害物がある場合、そもそもマーカが撮像されなくなるため、表示されるマーカが変わるという更新方法だけでは対応できない。そのような場合に上記方法は有効である。なお、表示マーカ選択部１２は、一定時間の経過した場合、又は、制御対象の移動等によりマーカの検出が困難な状態が回避されたと判断した場合、マーカの表示位置を元に戻しても良い。
【００６９】
また、マーカ検出部１１は、検出対象をマーカではなく、人間の顔及び／又は人間の形状等にしても構わない。マーカが突然検出不可になり、かつ、リスト内の他のマーカ表示用データへ更新したり、マーカの表示位置を変更したり等しても、マーカの検出が不可である状態が回復しない場合、何らかの障害物によって表示装置４０全体の撮像が阻害されている可能性がある。そこで、マーカ検出部１１は、人間の顔及び／又は人間の形状等を検出するための人間検出用データを予め記録する。そして、マーカ検出部１１は、マーカの検出が不可である状態が回復しない場合、検出対象をマーカではなく、人間の顔及び／又は人間の形状等へ一旦変更する。マーカ検出部１１は、人間の顔及び／又は人間の形状等を、人間検出用データを用いて検出すると、表示マーカ選択部１２へその旨を伝える。表示マーカ選択部１２は、人間がマーカ検出の障害になっていることを表示装置４０に文字等で表示させる。これにより、マーカの検出できない状態を更に減らすことが可能となる。
【００７０】
また、マーカの検出状況が全く改善されない場合、表示マーカ選択部１２は、緊急状態として、表示装置４０へ一時的にエラー表示及び／又は警告表示等の表示データを送信しても良い。
また、表示マーカ選択部１２は、撮像装置３０からの情報、環境の明るさ情報、及び／又は、他のセンサ情報等に基づき、システムが稼働している環境の付近に人間が存在するか否かを判断し、存在する場合、自律的にマーカ表示用データを使用中のものから他のものに更新しても良い。このとき、表示マーカ選択部１２は、以下の方式を採用してマーカを選択する。
【００７１】
すなわち、表示マーカ選択部１２は、制御対象５０が、作業中及び／又は動作中であることを人間に知らせることが可能なマーカを表示するマーカ表示用データを選択する。例えば、これは「動作中」や「作業中」といった文字自体を、表示装置に表示するマーカとして取り扱うことで可能となる。この方式は、マーカ表示用データの付帯情報に、情報提示用マーカであることを示すようなビット又はフラグ等を用意しておくことで実現する。
【００７２】
また、表示マーカ選択部１２が採用するその他の方法としては、以下がある。すなわち、保存装置２０は、同じマーカ表示用データであって、付帯情報における明るさ設定の値が異なるものを複数用意しておく。表示マーカ選択部１２は、それらの中から、一定時間間隔で、マーカの検出に支障がない範囲で、明るさ設定が異なるマーカ表示用データを選択する。このような更新処理がなされる表示装置４０は、人間にはあたかもマーカが点滅しているように映り、警告や存在を認識させるための手段となり得る。これにより、マーカの検出できない状態を更に減らすことが可能となる。
【００７３】
また、表示マーカ選択部１２は、マーカの更新処理の際に、マーカ表示用データのデータサイズが小さいものから選択するようにしても良い。この場合、データサイズが小さいマーカ表示用データから順に使用されるようになるため、表示データの送信時間が短縮されると共に、その通信に掛かる消費電力の低減が期待できる。なお、マーカ表示用データのデータサイズは、各マーカ表示用データの付帯情報として用意しても良い。
【００７４】
また、表示マーカ選択部１２は、使用可能なマーカ表示用データを、表示装置４０に同時に複数表示しても良い。このとき、表示マーカ選択部１２は、表示するマーカを選択する方法として、前述した各種評価処理に基づくリストを参照し、リストにおいて優先される側から、ｍ’個のマーカ表示用データを選んでも良いし、ランダムに選んでも良い。複数のマーカを表示する方法としては、表示装置４０の表示領域内において、各マーカの表示位置が重ならない、かつ、表示領域から各マーカがはみ出さないようになっていればどのような方法でも構わない。ただし、表示マーカ選択部１２は、各マーカが表示装置４０のどこに配置されたかを、各マーカに対応付けて参照可能であり、この配置に関する情報をマーカ検出部１１へ送信する。マーカ検出部１１は、この配置に関する情報を参照しながら各マーカを検出することで、マーカを検出した位置から表示装置４０の表示領域における中心位置を計算する。すなわち、マーカ検出部１１は、マーカの表示装置４０における表示位置を計算する。これにより、以下の二つの効果が期待できる。すなわち、一つ目は、仮に各マーカの検出失敗率がＦ［％］だとすれば、ｍ’個のマーカが同時に表示されているので、表示されている全てのマーカの検出に失敗する確率はＦｍ’［％］（ただし、Ｆ＜１）となる。二つ目は、マーカ検出部１１による各マーカの検出位置が、真値ｘ及び分散σ２で正規分布するものとすれば、ｍ’個のマーカの各位置を平均化処理することで、正規分布の加法性により最終的な検出位置は、真値ｘ、分散σ２／√ｍ’（ただし、ｍ’は２以上の整数）の正規分布となる。すなわち、検出失敗確率、及び、検出位置の誤差が低減することになる。
【００７５】
また、上記実施形態では、フィードバックシステムが図３に示す構成をとる場合を例に説明した。しかしながら、これに限定される訳ではない。制御プログラムにより実現される各機能は、管理装置、計算機、又は、制御対象の内部にあっても構わない。すなわち、本実施形態に係るフィードバックシステムは、図７に示す構成をとっても構わない。図７に示すフィードバックシステムは、計算機１１０、カメラ１２０、小型ディスプレイ８０−３，８０−４及びロボット１３０を備える。
【００７６】
計算機１１０は、表示装置Ｉ／Ｆ１３及び保存装置２０を備える。カメラ１２０は、上記撮像装置３０に相当する。カメラ１２０は、ロボット１３０に搭載され、ロボット１３０の周囲の状況を撮影する。
小型ディスプレイ８０−３，８０−４は、上記表示装置４０に相当する。小型ディスプレイ８０−３，８０−４は、チェックポイント１，２にそれぞれ搭載され、計算機１１０から供給される表示データに従い、マーカ５，６をそれぞれ表示する。
【００７７】
ロボット１３０は、上記制御対象５０に相当する。ロボット１３０は、管理装置１０を備える。管理装置１０は、例えば、無線ネットワーク経由で、保存装置に記録されているマーカ表示用データ及びこれに対応するマーカ検出用データを取得する。管理装置１０は、計算機１１０の表示装置Ｉ／Ｆ１３を介し、小型ディスプレイ８０−３にマーカ５を割り当て、小型ディスプレイ８０−４にマーカ６を割り当てる。また、管理装置１０は、カメラ１２０から供給される撮像画像を解析することで、外部から入力される指示、例えば、「最初にチェックポイント１、次にチェックポイント２へ向かう」との指示に従うように、ロボット１３０の動作を制御する。
【００７８】
管理装置１０は、チェックポイント１，２に搭載される小型ディスプレイ８０−３，８０−４に表示されるマーカが検出されなくなる度に、目標となるチェックポイントの小型ディスプレイが表示するマーカの割り当て及び更新を実行する。
また、保存装置２０に記録されるデータに関しても、管理装置、計算機、制御対象、又は、ネットワーク上のサーバ等で記録されていても構わない。
【００７９】
要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態に亘る構成要素を適宜組み合せても良い。
【符号の説明】
【００８０】
１０…管理装置、１１…マーカ検出部、１２…表示マーカ選択部、１３…表示装置Ｉ／Ｆ、１４…制御対象Ｉ／Ｆ、２０…保存装置、２１…マーカ表示用データ保持部、２２…マーカ検出用データ保持部、３０−１，３０−２，３０−ｉ…撮像装置、４０−１，４０−２，４０−ｊ…表示装置、５０−１，５０−２，５０−ｋ…制御対象、６０，１１０…計算機、７０，１２０…カメラ、８０−１，８０−２，８０−３，８０−４…小型ディスプレイ、９０…シール、１００，１３０…ロボット
【図１】
2014106773.tif 000003
【図２】
2014106773.tif 000004
【図３】
2014106773.tif 000005
【図４】
2014106773.tif 000006
【図５】
2014106773.tif 000007
【図６】
2014106773.tif 000008
【図７】
2014106773.tif 000009