(57)【特許請求の範囲】
【請求項１】
マーカと、該マーカを撮影する撮影部と、該撮影部により撮影された画像を演算処理する演算処理部とからなるマーカの検出および追跡装置において、前記マーカとしては、赤外光を反射する反射シートを下地として、マーカ模様を印刷した透明シートを前記下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを前記下地に直接貼り付けて構成し、前記撮影部としては、前記マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共に前記カメラの近傍に赤外線照明を設置してなり、前記演算処理部としては、前記マーカと前記カメラの距離が距離の閾値より離れていない近距離のときには前記カメラにより撮影された入力画像の画像特徴量により前記マーカを検出する画像特徴量方法と、前記マーカと前記カメラとの距離が前記距離の閾値より離れた遠距離においては前記カメラにより撮影された入力画像の赤外光を基に前記マーカを追跡する赤外光方法とを切り替えて適用する演算処理を行うことを特徴とするマーカの検出および追跡装置。
【請求項２】
請求項１記載のマーカ検出および追跡装置において、前記演算処理部は、前記画像特徴量方法と前記赤外光方法とを切り替える前記距離の閾値について、前記画像特徴量方法から前記赤外光方法へ切り替える際の距離の閾値と、前記赤外光方法から前記画像特徴量方法へ切り替える際の距離の閾値とを別々に持ち、前者の閾値が後者の閾値よりも大きな値であることを特徴とするマーカの検出および追跡装置。
【請求項３】
請求項１又は２記載のマーカ検出および追跡装置において、前記演算処理部は、前記マーカの画像上位置と画像上の大きさを基に入力画像上で前記マーカを囲む画像軸に平行な矩形範囲を設定し、前記マーカを囲む画像上の矩形範囲及び前記マーカの実寸を基にマーカの実空間上の位置と方向を算出することを特徴とするマーカの検出および追跡装置。
【請求項４】
請求項１，２又は３記載のマーカ検出および追跡装置において、前記演算処理部は、画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離の閾値の各パラメータを設定する処理設定部と、前記撮影部から画像データを入力し記憶部へ保管する画像データ入力部と、現在のマーカ位置に応じて次回フレームでのマーカ検出方法として、前記画像特徴量方法又は前記赤外光方法を切り替えるマーカ検出方法選択部と、前記撮影部から入力された入力画像から画像特徴量を抽出する画像特徴量抽出部と、基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する画像特徴量照合部と、画像特徴量の照合結果を基にマーカの画像上位置を検出する画像特徴量によるマーカ位置検出部と、画像特徴量の照合結果を基にマーカの画像上の大きさを検出する画像特徴量によるマーカ大きさ検出部と、画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定するマーカ矩形範囲設定部と、前記撮影部から入力された入力画像を二値化し二値画像を作成する二値画像作成部と、二値画像中から白部分の塊を抽出する塊抽出部と、塊に外接する画像軸に平行な矩形範囲を設定する塊矩形範囲設定部と、検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出するマーカ塊検出部と、マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する二値化によるマーカ位置マーカ大きさ検出部と、マーカの位置や矩形範囲を示す矩形の頂点位置の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める画像上から撮像素子平面上への座標変換部と、マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出するマーカ方向および位置算出部と、各種データの保管を行う前記記憶部と、マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部と、から構成することを特徴とするマーカの検出および追跡装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マーカの検出および追跡装置に関する。詳しくは、画像処理によりマーカを検出し、そのマーカを追跡する装置に関するものであり、特に検出したマーカの位置と方向を計測し出力する、マーカ検出および追跡装置に関するものである。
【背景技術】
【０００２】
赤外光を撮影することで対象物を検出する方法として以下の方法が提案されている。
特許文献１では、発光素子によりマーカを構成し、発光素子の点滅周期、点滅周期のパターンなどの検出によりマーカの識別を行った。このようなマーカを移動ロボットが動作する場所にランドマークとして配置し、移動ロボットの位置計測に用いた。
【０００３】
特許文献２では、マーカとしての赤外光発信器を用意し、白黒ＣＣＤカメラ（赤外光透過フィルタ付）により撮影した画像から、赤外光発信器の発光を検出することでマーカを検出し、人物の追跡に用いた。
【０００４】
より一般的な手法として、以下のように画像特徴量を用いて既知の特定物体を認識する方法が提案されている。
即ち、非特許文献１では、各画素における輝度勾配を求め、画像の各部分の局所からＳＩＦＴ特徴量と呼ばれる画像特徴量を抽出し、登録画像を局所の画像特徴量の集まりとして表現した。
さらに、この画像特徴量の照合を行い、登録画像と同じ画像特徴量が集まっている部分に対象物体が存在するとして特定物体を認識した。
【０００５】
参考文献（特願２０１１‐１２６０２２号）では、生活環境において道路標識・案内板・看板・表札・ワッペン・背番号・ステッカー等のような対象物を示す目印が枠に囲まれている場合が多いことに注目し、枠を閉曲線として抽出し、さらに閉曲線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成し、この画像特徴量同士の照合により対象物を検出した。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−３４６７６７号文献
【特許文献２】特開平１０−１３７２９号文献
【非特許文献】
【０００７】
【非特許文献１】「”Ｇｒａｄｉｅｎｔベースの特徴抽出−ＳＩＦＴとＨＯＧ−”，藤吉弘亘，情報処理学会研究会報告，２００７−ＣＶＩＭ−１６０，ｐｐ．２１１−２２４」
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１や特許文献２のような発光を基にマーカを検出する方法では、赤外光のみではマーカの特定ができないため、マーカそれぞれについて固有の点滅パターンを用意する必要がある。このため、マーカ側に発光させるための電源等の設置を行う必要がある。
【０００９】
非特許文献１のような局所的な画像特徴量を基にマーカを検出する方法では、マーカとカメラとの距離が離れた場合、画像上でのマーカのサイズが小さくなり、さらにその局所部分は小さくなるため、局所的な画像特徴量自体の抽出が難しい。
【００１０】
なお、参考文献のようなマーカ全体を囲む枠の内側の画像特徴量を基にマーカを検出する方法では、非特許文献１よりも遠方に存在するマーカを検出することはできるが、マーカ全体の模様が画像上で潰れる程の遠距離になるとマーカの検出が難しい。
【課題を解決するための手段】
【００１１】
上記課題を解決する本発明の請求項１に係るマーカの検出および追跡装置は、マーカと、該マーカを撮影する撮影部と、該撮影部により撮影された画像を演算処理する演算処理部とからなるマーカの検出および追跡装置において、前記マーカとしては、赤外光を反射する反射シートを下地として、マーカ模様を印刷した透明シートを前記下地に貼り付けて構成するか、又は、マーカ模様の切り抜きを前記下地に直接貼り付けて構成し、前記撮影部としては、前記マーカを撮影するカメラの前に赤外線透過フィルタを設置すると共に前記カメラの近傍に赤外線照明を設置してなり、前記演算処理部としては、前記マーカと前記カメラの距離が距離の閾値より離れていない近距離のときには前記カメラにより撮影された入力画像の画像特徴量により前記マーカを検出する画像特徴量方法と、前記マーカと前記カメラとの距離が前記距離の閾値より離れた遠距離においては前記カメラにより撮影された入力画像の赤外光を基に前記マーカを追跡する赤外光方法とを切り替えて適用する演算処理を行うことを特徴とする。
【００１２】
上記課題を解決する本発明の請求項２に係るマーカの検出および追跡装置は、請求項１記載のマーカ検出および追跡装置において、前記演算処理部は、前記画像特徴量方法と前記赤外光方法とを切り替える前記距離の閾値について、前記画像特徴量方法から前記赤外光方法へ切り替える際の距離の閾値と、前記赤外光方法から前記画像特徴量方法へ切り替える際の距離の閾値とを別々に持ち、前者の閾値が後者の閾値よりも大きな値であることを特徴とする。
【００１３】
上記課題を解決する本発明の請求項３に係るマーカの検出および追跡装置は、請求項１又は２記載のマーカ検出および追跡装置において、前記演算処理部は、前記マーカの画像上位置と画像上の大きさを基に入力画像上で前記マーカを囲む画像軸に平行な矩形範囲を設定し、前記マーカを囲む画像上の矩形範囲及び前記マーカの実寸を基にマーカの実空間上の位置と方向を算出することを特徴とする。
【００１４】
上記課題を解決する本発明の請求項４に係るマーカの検出および追跡装置は、請求項１，２又は３記載のマーカ検出および追跡装置において、前記演算処理部は、画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離の閾値の各パラメータを設定する処理設定部と、前記撮影部から画像データを入力し記憶部へ保管する画像データ入力部と、現在のマーカ位置に応じて次回フレームでのマーカ検出方法として、前記画像特徴量方法又は前記赤外光方法を切り替えるマーカ検出方法選択部と、前記撮影部から入力された入力画像から画像特徴量を抽出する画像特徴量抽出部と、基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する画像特徴量照合部と、画像特徴量の照合結果を基にマーカの画像上位置を検出する画像特徴量によるマーカ位置検出部と、画像特徴量の照合結果を基にマーカの画像上の大きさを検出する画像特徴量によるマーカ大きさ検出部と、画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定するマーカ矩形範囲設定部と、前記撮影部から入力された入力画像を二値化し二値画像を作成する二値画像作成部と、二値画像中から白部分の塊を抽出する塊抽出部と、塊に外接する画像軸に平行な矩形範囲を設定する塊矩形範囲設定部と、検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出するマーカ塊検出部と、マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する二値化によるマーカ位置マーカ大きさ検出部と、マーカの位置や矩形範囲を示す矩形の頂点位置の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める画像上から撮像素子平面上への座標変換部と、マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出するマーカ方向および位置算出部と、各種データの保管を行う前記記憶部と、マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部と、から構成することを特徴とする。
【発明の効果】
【００１５】
本発明の請求項１に係るマーカの検出および追跡装置によれば、画像特徴量方法と赤外線方法とを併用するので、カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、赤外線照明の届く範囲であれば、安定してマーカを検出することができる。また、マーカは赤外線反射シートを下地とするので、マーカを発光させる必要がなく、マーカ側に電源を必要としない。
【００１６】
本発明の請求項２に係るマーカの検出および追跡装置によれば、画像特徴量方法と赤外線方法とを切り替える際の閾値として二つの閾値を別々に有するので、画像特徴量方法と赤外線方法とが煩雑に切り替わるのを防ぐことができる。
【００１７】
本発明の請求項３に係るマーカの検出および追跡装置によれば、マーカの画像上位置と画像上の大きさを基に、マーカの実空間上の位置と方向を算出することができる。
【００１８】
本発明の請求項４に係るマーカの検出および追跡装置によれば、処理設定部と、画像データ入力部と、マーカ検出方法選択部と、画像特徴量抽出部と、画像特徴量照合部と、マーカ位置検出部と、画像特徴量によるマーカ大きさ検出部と、マーカ矩形範囲設定部と、二値画像作成部と、塊抽出部と、塊矩形範囲設定部と、マーカ塊検出部と、二値化によるマーカ位置マーカ大きさ検出部と、画像上から撮像素子平面上への座標変換部と、マーカ方向および位置算出部と、各種データの保管を行う前記記憶部と、マーカ有無・マーカの実空間上の位置や方向のマーカ検出結果を外部へ出力するデータ出力部とを備えるため、画像処理部は画像特徴量方法と赤外線方法とを切り替えて適用することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施例に係る透明シートを使用したマーカの説明図である。
【図２】本発明の一実施例に係るマーカ模様の切り抜きを貼り付けたマーカの説明図である。
【図３】本発明の一実施例に係る撮影部の概略図である。
【図４】本発明の一実施例に係るマーカと撮影部により撮影される画像の説明図である。
【図５】本発明の一実施例に係るマーカの検出および追跡方法の状態遷移を示す説明図である。
【図６】本発明の一実施例に係るカメラ座標系の説明図である。
【図７】本発明の一実施例に係るマーカの検出および追跡方法のフローチャートである。
【図８】本発明の一実施例に係るマーカの検出および追跡装置のブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明について、図面を参照して具体的に説明する。
【実施例１】
【００２１】
本発明の基本的な考え方について、以下の実施例１に基づいて具体的に説明する。
本発明の目的は、マーカを検出してマーカの位置と方向を計測し出力する、マーカ検出および追跡装置を提供することである。
特に自動搬送車等の移動体にこの装置を搭載した場合、マーカと装置設置位置との間隔が近距離から遠距離まで大きく変動することが多い。
このような場合においても安定してマーカの位置と方向を検出することが要請される。
【００２２】
そこで、本発明では、マーカとカメラとの距離が距離の閾値より離れていない近距離において画像特徴量によりマーカを検出し、マーカとカメラとの距離が距離の閾値より離れた遠距離においては赤外光を基にマーカを追跡する。
これらの異なるマーカ検出方法を用いる場合、通常ならば装置の撮影部を別々に用意するか、切り替える必要がある。
【００２３】
つまり、画像特徴量を用いる場合はマーカ上の模様を撮影するため可視光を撮影するが、赤外光を基にマーカを検出する場合は赤外光のみを撮影したいため赤外線透過フィルタを設置して可視光を除去した撮影を行う。
可視光を撮影した場合は、マーカ以外の様々な部分が画像上に明るく写るため赤外光を基にした方法ではマーカを検出することができず、赤外線透過フィルタを設置した場合マーカ上の模様が見えなくなるため画像特徴量を抽出することができない。
そこで、本発明では、これらの異なるマーカ検出方法を１つの撮影部で実現するため、マーカと撮影部において、次のような組み合わせを用いる。
【００２４】
マーカとしては、図１に矢印で示すように、赤外光を反射する反射シート１を下地とし、マーカ模様２ａ，２ｂを印刷した透明シート２を下地である反射シート１に貼りつける。反射シート１は、矩形（四角形）であり、透明シート２も同様の形状である。印刷されるマーカ模様２ａは、透明シート２の中心に印刷された“Ａ” を示す文字であり、印刷されるマーカ模様２ｂは、反射シート１、透明シート２と同寸法の外枠である。
マーカ模様が濃淡の単純な場合は模様自身を切り取って、図２に矢印で示すように、反射シート１の下地にそのままマーカ模様の切り抜き（切り絵）３ａ，３ｂを貼り付けても良い。切り抜き３ｂは反射シート１と同寸法の外枠であり、切り抜き３ａは切り抜き３ｂである外枠内に位置する文字“Ａ”である。
なお、マーカとしては、矩形形状に限られるものではなく、他の形状であっても、位置計測の際に画像上で矩形範囲を設定すれば良い。
【００２５】
撮影部としては、図３に示すように、カメラ４の前に赤外線透過フィルタ５を設置し、カメラ４の近傍に赤外線照明器６を設置したものである。
このようなマーカ構成と撮影部構成の組み合わせを用いることによって、撮影部の赤外線照明から発する赤外光を反射したマーカ（反射シート１）のみを他の部分から切り離して明るく撮影することができ、かつ、マーカの表面に貼り付けた透明フィルム２上のマーカ模様２ａ，２ｂ又はその切り抜き３ａ，３ｂを撮影することができる。
例えば、図４に示すように、カメラ４の視野にマーカ１０、人物２０、角柱物３０が入っているが、撮影した画像４０上ではマーカ１０のみが明るく写り、マーカ１０は透明フィルム２上のマーカ模様２ａ，２ｂ又はその切り抜き３ａ，３ｂが見えている。
【００２６】
本発明によるマーカ検出方法は、マーカとカメラとの距離が距離の閾値より離れていない近距離において画像特徴量によりマーカを検出し、マーカとカメラとの距離が距離の閾値より離れた遠距離においては赤外光を基にマーカを追跡する。
このように２つの異なる方法をマーカまでの距離に応じて切り替える方法を採る。画像特徴量によりマーカを検出する方法を「画像特徴量方法」と呼ぶ。また、赤外光を基にマーカを追跡する方法を「赤外光方法」と呼ぶ。距離に応じて「画像特徴量方法」と「赤外光方法」とを切り換えることに対応して、「マーカを検出する」と「マーカを追跡する」と表現を異ならせた。
【００２７】
本発明によるマーカ検出および追跡方法の状態遷移を図５に示す。
図５に示すように、画像特徴量方法から開始し、マーカとカメラとの距離が距離の閾値より離れた遠距離となると赤外光方法に遷移し、赤外光方法で追跡に失敗した場合や、マーカとカメラとの距離が距離の閾値より離れていない近距離になると画像特徴量方法に遷移する。画像特徴量方法で検出に失敗したときには、画像特徴量方法を繰り返す。画像特徴量方法、赤外光方法の何れもが停止して待機した後、画像特徴量方法から再開する。
【００２８】
本発明では、２つの異なる方法を切り替える距離の閾値について２つの閾値を別々に持つ。
即ち、画像特徴量方法から赤外光方法へ切り替える際の距離の閾値（これを「近遠距離閾値」と呼ぶ）と、赤外光方法から画像特徴量方法へ切り替える際の距離の閾値（これを「遠近距離閾値」と呼ぶ）である。
本発明では、近遠距離閾値の方が遠近距離閾値よりも大きな値とする。
このような閾値の構成にすることによって、２つの異なる方法を切り替える距離の閾値の近傍において、画像特徴量方法と赤外光方法を頻繁に切り替えることを防ぐことができる。
【００２９】
画像特徴量方法と赤外光方法についてそれぞれ説明する。
本発明による画像特徴量方法は、次の手順により入力画像中からマーカを検出する。
（１）マーカを予め撮影しておいた基準画像から画像特徴量を抽出しておく。
（２）入力画像から画像特徴量を抽出する。
（３）画像特徴量同士を照合する。
（４）基準画像から抽出した画像特徴量に適合する入力画像上の画像特徴量の位置をマーカの画像上位置として検出する。
（５）基準画像から抽出した画像特徴量と、入力画像上の適合した画像特徴量との大きさの比を求め、基準画像上のマーカの大きさに画像特徴量同士の大きさの比を乗じた大きさを入力画像上のマーカの大きさとして検出する。
（６）検出したマーカの画像上位置と画像上の大きさを基に、入力画像上でマーカを囲む画像軸に平行な矩形範囲を設定する。
ここで、画像特徴量方法においては、透明フィルム２上のマーカ模様２ａ，２ｂ又はその切り抜き３ａ，３ｂが画像特徴量として抽出されるため、画像特徴量の抽出方式として、参考文献を用いることができる。即ち、マーカ全体を囲む枠の内側の画像特徴量を基にマーカを検出することができ、具体的には、枠を閉曲線として抽出し、さらに閉曲線に囲まれた内側部分の画像の輝度情報を抽出して整理し、画像特徴量を構成する。更には、抽出された閉曲線に外接する最小矩形を計算し、計算された最小矩形から画像特徴量全体の回転方向を決定し、これら最小矩形、回転方向を加えて画像特徴量として抽出する。
また、非特許文献１の方法により局所的な画像特徴量を検出し、基準画像におけるマーカ上の局所的な画像特徴量と適合する画像特徴量が集まっている入力画像上の位置をマーカ位置として検出しても良い。
【００３０】
本発明による赤外光方法は、次の手順により入力画像中からマーカを検出する。
（１）入力画像を二値化し二値画像を作成する。
（２）二値画像中から白部分の塊を抽出する。明るい部分として抽出される白部分の塊は、模様２ａ，２ｂ又は模様の切り抜き３ａ，３ｂにより遮られなかった反射シート１の部分である。
（３）抽出した塊に外接する画像軸に平行な矩形範囲を設定する。このようにして設定される矩形範囲は、透明フィルム２上の外枠であるマーカ模様２ｂ又は切り抜き３ｂの内側の領域である。
（４）前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出する。
（５）選出した矩形範囲がマーカであるか否かを判断する。
判断としては、次の検査を行う。即ち、前回フレームで検出したマーカを囲む矩形範囲の面積に対する選出した矩形範囲の面積の比が、予め設定した閾値範囲内であることである。ここで選出した矩形範囲が複数個ある場合は、前回フレームで検出したマーカを囲む矩形範囲の面積に最も近い矩形範囲をマーカとして判断する。
（６）選出した矩形範囲がマーカであると判断した場合、選出した矩形範囲の位置と大きさを、マーカの画像上位置および画像上の大きさとして検出する。
（７）選出した矩形範囲をマーカを囲む矩形範囲として設定する。
【００３１】
画像上でマーカを検出した後は、実空間上のマーカの位置と方向を算出する。
図６に示すように、レンズ焦点に原点を、カメラ光軸上にＸ軸を、鉛直上向きにｚ軸を持つようなカメラ座標系を設定する。
また、マーカ位置の計算を簡単にするため、マーカに回転が無くカメラと正対している、つまり、カメラの光軸に対してマーカは垂直であると仮定する。但し、このような仮定が成立しない場合でも、つまりカメラの光軸に対してマーカが多少傾いていても、実空間上のマーカの位置と方向を概算的に求めることが可能である。
さらに、マーカの画像上位置から撮像素子平面上へ変換した位置を（ｘi，ｙi）
とする。
カメラ座標系原点からマーカを見た際の仰角θと方位角ψは次式で求められる。
θ＝ｔａｎ-1（ｙi／ｆ）
ψ＝ｔａｎ-1（ｘi／ｆ）
【００３２】
カメラ座標系上におけるマーカの位置は次のように求められる。
マーカの実寸の対角線長さをＤOとし、撮像素子平面上に投影されたマーカの対角線長さをｄとする。レンズ焦点距離をｆとし、カメラ座標系原点からマーカの実位置のｘ軸成分Ｘ（＝Ｌ）は、次の比例関係が成り立つ。
ＤO：Ｘ＝ｄ：ｆ
よってマーカまで位置のｘ軸成分Ｘは次式で求められる。
Ｘ＝（ＤO／ｄ）ｘｆ
次にｙ軸成分Ｙとｚ軸成分Ｚはマーカまで位置のｘ軸成分Ｘとマーカの方向を示す角度を用いて、次式で求められる。
Ｙ＝Ｘｔａｎ（ψ）
Ｚ＝Ｘｔａｎ（θ）
【００３３】
本発明では、マーカの実空間上での位置と方向を次の手順により算出する。
（１）検出したマーカの画像上位置と矩形範囲を撮像素子平面上でのマーカの位置と矩形範囲へ変換する。
（２）マーカの画像素子平面上での位置を基にマーカの方向を示す角度を算出する。
（３）マーカの矩形範囲の対角線長さとマーカの方向を基にマーカの実空間上の位置を算出する。
尚、撮像素子平面上に変換することなく、検出したマーカの画像上の位置と矩形範囲からマーカの実空間上の位置と矩形範囲を直接に求めることも可能である。また、実施例として、マーカは、図１，図２に示すように、矩形の反射シート１上に外枠としてマーカ模様２ｂ、切り抜き３ｂを設けたものであったが、それ以外の形状であっても、大まかなマーカの方向と位置とを求めることは可能である。
【実施例２】
【００３４】
実施例２として、本発明に係るマーカ検出および追跡装置の演算処理部を図８に示す。
図８に示すように、演算処理部は、処理設定部１００、画像データ入力部１１０、マーカ検出方法選択部１２０、画像特徴量抽出部１３０、画像特徴量照合部１４０、画像特徴量によるマーカ位置検出部１５０、画像特徴量によるマーカ大きさ検出部１６０、マーカ矩形範囲設定部１７０、二値画像作成部１８０、塊抽出部１９０、塊矩形範囲設定部２００、マーカ塊検出部２１０、二値化によるマーカ位置マーカ大きさ検出部２２０、画像上から撮像素子平面上への座標変換部２３０、マーカ方向および位置算出部２４０、記憶部２５０、データ出力部２６０から構成する。
【００３５】
処理設定部１００では、画像特徴量抽出用のパラメータ・二値化閾値・カメラパラメータ・距離の閾値等の各パラメータを設定する。
画像データ入力部１１０では、撮影部から画像データを入力し記憶部２５０へ保管する。
マーカ検出方法選択部１２０では、現在のマーカ位置に応じて次回フレームでのマーカ検出方法を選択し、画像特徴量抽出部１３０、画像特徴量照合部１４０、画像特徴量によるマーカ位置検出部１５０、画像特徴量によるマーカ大きさ検出部１６０、マーカ矩形範囲設定部１７０、二値画像作成部１８０、塊抽出部１９０、塊矩形範囲設定部２００、マーカ塊検出部２１０、二値化によるマーカ位置マーカ大きさ検出部２２０へマーカ検出指令を出力する。
画像特徴量抽出部１３０では、入力画像から画像特徴量を抽出する。
【００３６】
画像特徴量照合部１４０では、基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い、入力画像におけるマーカ有無を判断する。
画像特徴量によるマーカ位置検出部１５０では、画像特徴量の照合結果を基にマーカの画像上位置を検出する。
画像特徴量によるマーカ大きさ検出部１６０では、画像特徴量の照合結果を基にマーカの画像上の大きさを検出する。
マーカ矩形範囲設定部１７０では、画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定する。
【００３７】
二値画像作成部１８０では、画像を二値化し二値画像を作成する。
塊抽出部１９０では、二値画像中から白部分の塊を抽出する。
塊矩形範囲設定部２００では、塊に外接する画像軸に平行な矩形範囲を設定する。
マーカ塊検出部２１０では、検出した塊の中から、塊の矩形範囲を基にマーカに相当する塊を検出する。具体的には、前述した通り、前回フレームで検出したマーカを囲む矩形範囲の面積に対する選出した矩形範囲の面積の比が、予め設定した閾値範囲内であることを条件としても良いし、後述するように、前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出しても良い。
二値化によるマーカ位置マーカ大きさ検出部２２０では、マーカに相当する塊について、マーカの画像上位置および画像上の大きさを検出し、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定する。
【００３８】
画像上から撮像素子平面上への座標変換部２３０では、マーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める。
マーカ方向および位置算出部２４０では、マーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出する。
記憶部２５０では、各種データの保管を行う。
データ出力部２６０ではマーカ有無・マーカの実空間上の位置や方向等のマーカ検出結果を外部へ出力する。
【００３９】
上述した装置によれば、カメラからマーカまでの距離が近傍から遠方までの広範囲に変化した場合においても、赤外線照明の届く範囲であれば、安定してマーカを検出することができる。
本発明によるマーカ検出および追跡処理のフローチャートを図７に示す。
図７に示すように、マーカを予め撮影しておいた基準画像から画像特徴量を抽出しておき（ステップＳ１）、画像データ入力部１１０が撮影部から画像データを入力する（ステップＳ２）。
【００４０】
次に、マーカ検出方法選択部１２０によりマーカ検出方法として、画像特徴量方法又は赤外光方法が選択されているか判定する（ステップＳ３）。
ステップＳ３において、画像特徴量方法が選択されていると判定されると、画像特徴量抽出部１３０により入力画像から画像特徴量を抽出し（ステップＳ４）、画像特徴量照合部１４０が基準画像から抽出した画像特徴量と入力画像から抽出した画像特徴量との照合を行い（ステップＳ５）、入力画像におけるマーカ有無を判断する（ステップＳ６）。
ステップＳ６において、マーカ無と判断されたとき、即ち、マーカ検出に成功しなかったときには、マーカ位置のリセットを行い（ステップＳ７）、ステップＳ２以降を繰り返す。
【００４１】
一方、ステップＳ６において、マーカ有と判断されたとき、即ち、マーカ検出に成功したときには、画像特徴量によるマーカ位置検出部１５０により画像特徴量の照合結果を基にマーカの画像上の位置を検出し（ステップＳ８）、画像特徴量によるマーカ大きさ検出部１６０により画像特徴量の照合結果を基にマーカの画像上の大きさを検出し（ステップＳ９）、マーカ矩形範囲設定部１７０により画像特徴量の照合結果を基に検出したマーカの画像上位置とマーカの画像上の大きさを基に、マーカを囲む矩形範囲を設定する（ステップＳ１０）。
【００４２】
他方、ステップＳ３において、赤外光方法が選択されていると判定されると、二値画像作成部１８０により入力画像を二値化して二値画像を作成し（ステップＳ１１）、塊抽出部１９０により二値画像中から白部分の塊を抽出し（ステップＳ１２）、塊矩形範囲設定部２００により塊に外接する画像軸に平行な矩形範囲を設定する（ステップＳ１３）。
そして、マーカ塊検出部２１０により前回フレームで検出したマーカを囲む矩形範囲と重なっている塊の矩形範囲を選出し（ステップＳ１４）、選出した矩形範囲をマーカと判断する（ステップＳ１５）。
ステップＳ１５にて、マーカとして判断された矩形範囲があるか否か、即ち、マーカ検出が成功したか否か判断し（ステップＳ１６）、マーカとして判断された矩形範囲がないとき、即ち、マーカ検出に成功しなかったときには、ステップＳ７にてマーカのリセットを行い、ステップＳ２以降を繰り返す。
【００４３】
逆に、マーカとして判断された矩形範囲があるとき、即ち、ステップＳ１６にて、マーカ検出が成功したときには、二値化によるマーカ位置マーカ大きさ検出部２２０によりマーカに相当する塊の矩形範囲について、マーカの画像上位置および画像上の大きさを検出し（ステップＳ１７）、マーカを囲む矩形範囲を設定する（ステップＳ１８）。マーカを囲む矩形範囲を設定するとは、マーカに相当する塊の矩形範囲をマーカの矩形範囲として設定することである。
このようにステップＳ４〜Ｓ１０又はＳ１１〜Ｓ１８の処理が終了して、画像特徴量方法又は赤外線方法により、マーカの矩形範囲が設定された後は、引き続き、画像上から撮像素子平面上への座標変換部２３０によりマーカの位置や矩形範囲を示す矩形の頂点位置等の位置データを画像上から撮像素子平面上へ座標変換して、撮像素子平面上の位置を求める（ステップＳ１９）。
そして、マーカ方向および位置算出部２４０によりマーカの撮像素子平面上の位置および矩形範囲を基に、マーカの実空間上の位置と方向を算出する（ステップＳ２０，Ｓ２１）。
【００４４】
その後、処理を停止すべきか否か判定し（ステップＳ２２）、処理を停止すべきときには、終了すべきか否か判定し（ステップＳ２３）、終了すべきでないときには、ステップＳ７にてマーカのリセットを行い、ステップＳ２以降を繰り返す一方、終了すべきときには終了する。
【産業上の利用可能性】
【００４５】
本発明のマーカの検出および追跡装置は、画像処理によりマーカを検出し、そのマーカを追跡する装置として広く産業上利用可能なものである。
【符号の説明】
【００４６】
１  反射シート
２  透明シート
２ａ，２ｂ  マーカ模様
３ａ，３ｂ  マーカ模様の切り抜き（切り絵）
４  カメラ
５  赤外線透過フィルタ
６  赤外線照明器
１０  マーカ
２０  人物
３０  角柱物
４０  画像
１００  処理設定部
１１０  画像データ入力部
１２０  マーカ検出方法選択部
１３０  画像特徴量抽出部
１４０  画像特徴量照合部
１５０  画像特徴量によるマーカ位置検出部
１６０  画像特徴量によるマーカ大きさ検出部
１７０  マーカ矩形範囲設定部
１８０  二値画像作成部
１９０  塊抽出部
２００  塊矩形範囲設定部
２１０  マーカ塊検出部
２２０  二値化によるマーカ位置マーカ大きさ検出部
２３０  画像上から撮像素子平面上への座標変換部
２４０  マーカ方向および位置算出部
２５０  記憶部
２６０  データ出力部
【図１】
0005862217.tif 000002
【図２】
0005862217.tif 000003
【図３】
0005862217.tif 000004
【図４】
0005862217.tif 000005
【図５】
0005862217.tif 000006
【図６】
0005862217.tif 000007
【図７】
0005862217.tif 000008
【図８】
0005862217.tif 000009