(57)【要約】【課題】  赤外映像と可視映像の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行う。【解決手段】  赤外カメラ２は、対象物５に付帯され、赤外線を発信する光学タグ６を撮像する。可視カメラ３は、光学タグ６を含む対象物５を撮像する。情報処理装置４は、赤外カメラ２からの赤外映像から光学タグ６の赤外光の発光位置を抽出し、可視カメラ３により撮像した可視映像上にマーカを表示する。調整段階においては、手動もしくは光学タグから発せられる可視光に従って、可視映像上の実際の位置と赤外映像から得られた位置とのずれに応じて補正パラメータを生成する。以後、該補正パラメータを用いて、画面上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させる。【選択図】    図１
2007004439.tif 000002
【特許請求の範囲】
【請求項１】
対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、
前記光学タグの赤外発光部が発する赤外光を撮像する赤外撮像手段と、
前記光学タグを含む対象物を撮像する可視撮像手段と、
前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、
前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、
前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段と
を具備することを特徴とする光学タグ管理装置。
【請求項２】
対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、
前記光学タグの赤外発光部が発する赤外光を撮像する複数の赤外撮像手段と、
前記光学タグを含む対象物を撮像する可視撮像手段と、
前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、
前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、
前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段と
を具備することを特徴とする光学タグ管理装置。
【請求項３】
前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、
前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、
前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする請求項１または請求項２に記載の光学タグ管理装置。
【請求項４】
前記対応位置確定手段により確定された対応位置に基づいて、前記可視撮像手段により撮像された可視映像内にマーカを表示させるマーカ表示手段を具備することを特徴とする請求項１から請求項３のいずれかに記載の光学タグ管理装置。
【請求項５】
前記マーカ表示手段により表示されているマーカが指定されると、該マーカに対応する対象物に関する関連情報を提示する関連情報提示手段を具備することを特徴とする請求項１から請求項４のいずれかに記載の光学タグ管理装置。
【請求項６】
赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、
赤外撮像手段が前記光学タグの赤外発光部が発する赤外光を撮像し、
可視撮像手段が前記光学タグを含む対象物を撮像し、
タグ赤外位置検出手段が、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出し、
演算手段が、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、
対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する
ことを特徴とする光学タグ管理方法。
【請求項７】
赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、
複数の赤外撮像手段それぞれが、前記光学タグの赤外発光部が発する赤外光を撮像し、
可視撮像手段が、前記光学タグを含む対象物を撮像し、
タグ赤外位置検出手段が、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出し、
演算手段が、前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、
対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する
ことを特徴とする光学タグ管理方法。
【請求項８】
前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、
前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、
前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする請求項６または請求項７に記載の光学タグ管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学タグ管理装置および光学タグ管理方法に関する。
【背景技術】
【０００２】
従来より、対象物の位置情報を赤外光を利用して発信する光学タグと、赤外カメラとを用いて、当該赤外カメラで対象物を撮影することにより光学タグを検出し、映像上の光学タグの位置にクリッカブルなマーカを表示することで、光学タグが設けられた対象物とその位置とが関連づけられた映像情報を提供するシステムが提案されている（例えば特許文献１参照）。
【０００３】
該システムでは、映像を見ている者に対して、遠隔からその静止または動いている実映像上のマーカをクリックすることにより、リアルタイムで対象物に関する情報を提示することができる。該システムにおいては、位置情報を検出するための赤外光を撮像する赤外カメラと、可視映像を撮像する可視カメラとを有するカメラシステムを利用している。すなわち、可視カメラでは、可視映像を撮像し、該撮像した可視映像上の、赤外カメラで撮像して検出した光学タグの位置にマーカを表示するようになっている。
【特許文献１】特開２００４−１９２６２３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
とろこで、上述したシステムでは、赤外カメラで捉えた光学タグの位置情報に従って、可視カメラで撮像した映像上の光学タグの位置に正確にマーカを表示することが重要である。そこで、赤外カメラで捉えたタグの位置情報を、なんらかの方法で、映像上のタグの位置に正確にマーカ表示する必要がある。
【０００５】
従来技術では、それぞれのカメラの被写体の位置情報が、正確に可視映像上の当該被写体の位置に対応するように事前に、どのように補正を行うかについてパラメータ設定等が必要がある。現状では、映像を目視で確認しながら、マーカの位置がタグの位置に合うように、対応付けに関連するパラメータを手動で調整している。このような調整は、専門的なスキルを有するばかりではなく、例え専門的なスキルを有していても、その調整には長時間（例えば２０〜３０分など）を要する。
【０００６】
また、カメラで撮影する状況に応じては、調整が困難な場合や、調整ができたとしても、１人ではできず、２人以上の作業人員を要する場合がある。このように手動調整では、１人で調整を行わざるを得ない状況下や、可視映像上で対角線上の隅の位置にタグを設置することができない場合などには、調整が困難であり、また、その対応付けのための関係式のパラメータ確定のための方法は時間を要するという問題があった。
【０００７】
また、従来技術では、赤外カメラと可視カメラとが別体である（分離型カメラ）場合には、奥行き方向への光学タグの移動に対して、対応付けがうまく行えないという問題があった。例えば、赤外カメラと可視カメラとが近接して設置されており、分離型カメラから十分に距離をとった位置に被写体となる対象物が存在する場合には、どちらのカメラからも映像中の中央に対象物が撮影されるが、その対象物が可視カメラに十分近傍に近づいた状態では、赤外カメラからみると、その被写体が可視カメラ側に寄って撮影される。
【０００８】
したがって分離型カメラでは、カメラから被写体までの、ある距離における調整を行ったとしても、その対象物と２つのカメラの距離それぞれが同じであるような場合には問題ないが、その距離が変わると、カメラパラメータが変化してしまい、やはりマーカの位置が実体の光学タグの位置とずれてしまうという問題があった。
【０００９】
本発明は、このような事情を考慮してなされたものであり、その目的は、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ（赤外、映像）の座標系の対応点を関連づける補正式に基づいて、光学タグの位置の正確な対応付けを行うことができる光学タグ管理装置および光学タグ管理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明は、対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、前記光学タグの赤外発光部が発する赤外光を撮像する赤外撮像手段と、前記光学タグを含む対象物を撮像する可視撮像手段と、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段とを具備することを特徴とする光学タグ管理装置である。
【００１１】
また本発明は、対象物に付帯され、赤外光を発する赤外発光部を有する光学タグと、前記光学タグの赤外発光部が発する赤外光を撮像する複数の赤外撮像手段と、前記光学タグを含む対象物を撮像する可視撮像手段と、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出するタグ赤外位置検出手段と、前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出する演算手段と、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する対応位置確定手段とを具備することを特徴とする光学タグ管理装置である。
【００１２】
また本発明は、上述の光学タグ管理装置において、前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする。
【００１３】
また本発明は、上述の光学タグ管理装置が、前記対応位置確定手段により確定された対応位置に基づいて、前記可視撮像手段により撮像された可視映像内にマーカを表示させるマーカ表示手段を具備することを特徴とする。
【００１４】
また本発明は、上述の光学タグ管理装置が、前記マーカ表示手段により表示されているマーカが指定されると、該マーカに対応する対象物に関する関連情報を提示する関連情報提示手段を具備することを特徴とする。
【００１５】
また本発明は、赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、赤外撮像手段が前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段が前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段が、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出し、演算手段が、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれを複数用いて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定することを特徴とする光学タグ管理方法である。
【００１６】
また本発明は、赤外光を発する赤外発光部を有する光学タグが、対象物に付帯され、複数の赤外撮像手段それぞれが、前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段が、前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段が、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出し、演算手段が、前記タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、対応位置確定手段が、前記演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定することを特徴とする光学タグ管理方法である。
【００１７】
また本発明は、上述の光学タグ管理方法において、前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする。
【発明の効果】
【００１８】
この発明によれば、赤外撮像手段により、前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段により、前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段により、前記赤外撮像手段により撮像された赤外映像から前記光学タグの赤外発光位置を検出し、演算手段により、光学タグが存在する赤外発光位置と可視映像内の前記光学タグの可視位置とのずれに基づいて補正パラメータを算出し、対応位置確定手段により、補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ（赤外、映像）の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができるという利点が得られる。
【００１９】
また、本発明によれば、複数の赤外撮像手段それぞれが、前記光学タグの赤外発光部が発する赤外光を撮像し、可視撮像手段が、前記光学タグを含む対象物を撮像し、タグ赤外位置検出手段が、前記複数の赤外撮像手段により撮像された複数の赤外映像から、それぞれの前記光学タグの赤外発光位置を検出し、演算手段が、タグ赤外位置検出手段により検出された異なる赤外映像それぞれについての赤外発光位置と、前記可視撮像手段により撮像された可視映像内の前記光学タグの可視位置とのずれに基づいて、赤外映像上の光学タグの赤外発光位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出し、対応位置確定手段が、演算手段により算出された補正パラメータに基づいて、前記赤外発光位置の前記可視映像上における対応位置を確定する。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ（赤外、映像）の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができるという利点が得られる。
【００２０】
また、本発明によれば、前記光学タグは、前記赤外発光部に加えて、可視光を発光する可視光発光部を有し、前記可視撮像手段により撮像された可視映像における可視光から前記光学タグの可視位置を検出するタグ可視位置検出手段とを具備し、前記演算手段は、前記タグ赤外位置検出手段により検出された、光学タグが存在する赤外発光位置と、前記タグ可視位置検出手段により検出された、光学タグが存在する可視位置とのずれに基づいて、赤外映像上の光学タグの赤外位置と可視映像上の光学タグの可視位置とを対応付けるための補正パラメータを算出することを特徴とする。これにより、可視映像上の光学タグの可視位置の指定を受けなくとも、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ（赤外、映像）の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができるという利点が得られる。
【００２１】
また、本発明によれば、マーカ表示手段により、前記対応位置確定手段により確定された対応位置に基づいて、前記可視撮像手段により撮像された可視映像内にマーカを表示させる。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ（赤外、映像）の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができ、正確な位置にマーカを表示させることができるという利点が得られる。
【００２２】
また、本発明によれば、前記マーカ表示手段により表示されているマーカが指定されると、関連情報提示手段により、該マーカに対応する対象物に関する関連情報を提示する。したがって、赤外映像と可視映像とを同時に撮影するカメラシステムにおいて、それぞれのカメラ（赤外、映像）の座標系の対応点を関連づける補正式に基づいて光学タグの位置の正確な対応付けを行うことができ、マーカに対応する対象物の関連情報を容易に提示することができるという利点が得られる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施形態による光学タグ管理装置を、図面を参照して説明する。
Ａ．第１実施形態
Ａ−１．１つの赤外カメラおよび可視カメラによる構成
図１は、本発明の第１実施形態による光学タグ管理装置を示すブロック図である。図において、本第１実施形態による光学タグ管理装置１は、赤外カメラ２と可視カメラ３とを備えている。赤外カメラ２は、対象物５に付帯された光学タグ６を撮像する。この光学タグ６は赤外線を発信する。可視カメラ３は、光学タグ６を含む対象物５を撮像する。情報処理装置４は、光学タグ６の赤外光の発光位置を、赤外カメラ２で撮像された映像より抽出し、可視カメラ３により撮像された映像上にマーカを表示する。マーカの位置が、可視映像上の光学タグ６の位置（実際の位置）と異なる位置に表示されている場合には、後述する調整を行うことにより、映像上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させるようにする。
【００２４】
次に、図２は、本第１実施形態による光学タグ６および情報処理装置４の構成を示すブロック図である。図において、光学タグ６には２種類ある。光学タグ６−１は、赤外光を発光するための赤外光発光部７を１つのみ備えている。光学タグ６−２は、赤外光発光部７に加え、可視光を発光する可視光発光部８を備えている。情報処理装置４は、赤外映像受信部４−１、タグ赤外発光位置検出部４−２、可視映像受信部４−３、タグ可視発光位置検出部４−４、データ処理部４−５、アプリケーション部４−６を備えている。
【００２５】
赤外映像受信部４−１は、上述した赤外カメラ２により撮像された赤外映像を受信する。タグ赤外発光位置検出部４−２は、上記赤外映像受信部４−１により受信された赤外映像から光学タグ６−１（または６−２）の位置を検出する。可視映像受信部４−３は、上述した可視カメラ３により撮像された可視映像を受信する。タグ可視発光位置検出部４−４は、可視映像受信部４−３により受信された可視映像から、可視光発光部８を備えた光学タグ６−２の位置を検出する。
【００２６】
データ処理部４−５は、補正パラメータ確定部４−５−１と対応位置確定部４−５−２とを有する。補正パラメータ確定部４−５−１は、タグ赤外発光位置検出部４−２により検出されたタグ位置と該タグ位置を示すマーカとの表示位置との差異（一致させるための調整量）に従って、マーカの表示位置を補正するための補正パラメータを算出して確定する。対応位置確定部４−５−２は、赤外カメラ２で撮像した赤外映像上のタグ位置と上記補正パラメータとを用いて、可視カメラ３で撮像した可視映像上のタグ位置と赤外カメラ２で撮像したタグ位置との対応位置を算出して確定し、該対応位置をアプリケーション部４−６へ出力する。
【００２７】
アプリケーション部４−６は、対応位置確定部４−５−２で確定された対応位置に従って、可視カメラ３で撮像された可視映像内に光学タグ６−１（または６−２）の位置を示すマーカを表示させる。また、アプリケーション部４−６は、画面上のマーカをクリックされると、該マーカに対応する対象物に関する関連情報を提示する。
【００２８】
次に、図３は、上述したタグ赤外発光位置検出部４−２の構成を示すブロック図である。タグ赤外発光位置検出部４−２は、画像入力部４−２−１、演算処理回路４−２−２、メモリ４−２−３、結果出力部４−２−４を備えている。画像入力部４−２−１は、上記赤外映像受信部４−１により受信された赤外映像を入力する。演算処理回路４−２−２は、画像入力部４−２−１に入力された赤外映像に従って画像処理、演算処理等を実施し、光学タグ６−１（または６−２）の位置を検出する。メモリ４−２−３は、赤外映像や上記演算処理回路４−２−２の演算結果等を記憶する。結果出力部４−２−４は、演算処理回路４−２−２による演算結果、すなわち赤外映像から得られた光学タグ６−１（または６−２）の位置を出力する。
【００２９】
次に、図４は、上述したタグ可視発光位置検出部４−４の構成を示すブロック図である。タグ可視発光位置検出部４−４は、画像入力部４−４−１、演算処理回路４−４−２、メモリ４−４−３、結果出力部４−４−４を備えている。画像入力部４−４−１は、上記可視映像受信部４−３により受信された可視映像を入力する。演算処理回路４−４−２は、画像入力部４−４−１に入力された可視映像に従って画像処理、演算処理等を実施し、可視光発光部８を備えた光学タグ６−２の位置を検出する。メモリ４−４−３は、可視映像や上記演算処理回路４−４−２の演算結果等を記憶する。結果出力部４−４−４は、演算処理回路４−４−２による演算結果、すなわち可視映像から得られた光学タグ６−２の位置を出力する。
【００３０】
以下、赤外カメラ２で撮像した光学タグ６の位置と可視カメラ３で撮像した映像上の光学タグ６の位置との対応点検出方法として、２つの方法を示す。なお、対応点の検出方法については、各カメラ画像について、ハフ変換を利用し、検出された直線の組み合わせからなる交点を利用してもよい。
【００３１】
Ａ−２．簡易型手動調整
まず、簡易型手動調整方法について説明する。この場合、光学タグ６は、赤外光発光部７のみを備えたものを利用し（光学タグ６−１）、図５（ａ）に示すように、赤外カメラ２により撮像された赤外映像（光学タグ６−１）と可視カメラ３により撮像された可視映像（対象物が映った通常の映像）とを用いて、光学タグ６−１の位置を示すマーカの位置を調整する。
【００３２】
（１）光学タグ６−１が１つである場合には、まず、第１の対応付けを行う。図５（ｂ）に示すように、赤外映像からタグ赤外発光位置検出部４−２が赤外光の発光位置を検出し、これによりアプリケーション部４−６の処理により画面上のマーカＭが座標（ａ，ｂ）に表示されるが、実際の光学タグ６−１（対象物）は座標（ａ’，ｂ’）の位置であるとする。そこで、マウスや、タッチペン等を利用することにより、実際の光学タグ６−１（対象物）の位置を情報処理装置４の備えた画面（例えばタッチパネルの画面）上において指示する。この実際の位置を指定された情報処理装置４がその実際の座標を受付ける。
【００３３】
次に、第２の対応付けを行う。光学タグ６−１（対象物）を移動させ、これによりタグ赤外発光位置検出部４−２やアプリケーション部の処理により画面上のマーカＭが座標（ｃ，ｄ）（≠（ａ，ｂ））の位置に表示されているものとする。マーカＭが（ｃ，ｄ）の座標に表示されているが、実際の光学タグ６−１（対象物）の画面上の位置は座標（ｃ’，ｄ’）の位置であるとする。第１の対応付けと同様に、マウスやタッチペン等を利用することにより、実際の光学タグ６−１（対象物）の位置を指示する。この実際の位置を指定された情報処理装置４がその座標を受付ける。
【００３４】
（２）次に、光学タグ６−１が２つある場合には、調整時に、まず、一方についての対応付けを行い、次に、残りの光学タグ６−１の位置について対応付けを行うようにする。すなわち、１つ目のマーカＭが座標（ａ，ｂ）に表示されているが、実際の光学タグ６−１（対象物）は座標（ａ’，ｂ’）の位置であるとする。そこで、マウスや、タッチペン等を利用することにより、映像上の実際の光学タグ６−１（対象物）の位置を指示する。
【００３５】
次に、第２の対応付けを行う。残りの光学タグ６−１のマーカＭが座標（ｃ，ｄ）（≠（ａ，ｂ））の位置に表示されているものとする。マーカＭが座標（ｃ，ｄ）に表示されているが、実際の光学タグ６−１（対象物）の画面上の位置は座標（ｃ’，ｄ’）の位置であるとする。第１の対応付けと同様に、マウスやタッチペン等を利用することにより、実際の光学タグ６−１（対象物）の位置を指示する。
【００３６】
（３）光学タグ６−１が複数である場合には、調整時に、まず、１つ目の光学タグ６−１についての対応付けを行い、次に残りの光学タグ６−１の位置について対応付けを行うようにする。すなわち、１つ目のマーカＭが座標（ａ，ｂ）に表示されているが、実際の光学タグ６−１は座標（ａ’，ｂ’）の位置であるとする。そこで、マウスや、タッチペン等を利用することにより、実際の光学タグ６−１（対象物）の位置を指示する。
【００３７】
次に、２つ目の光学タグ６−１について対応付けを行う。残りの光学タグ６−１のマーカＭの位置座標が、（ｃ，ｄ）（≠（ａ，ｂ））の位置に表示されているものとする。マーカＭが座標（ｃ，ｄ）に表示されているが、実際の光学タグ６−１（対象物）の映像上の位置は座標（ｃ’，ｄ’）の位置であるとする。第１の対応付けと同様に、マウスやタッチペン等を利用することにより、実際の光学タグ６−１（対象物）の位置を指示する。また３つ目以降の光学タグ６−１も同様に位置を特定する。
【００３８】
上述したように、簡易型手動調整では、情報処理装置４が、２点の対応付け、（ａ，ｂ）→（ａ’，ｂ’）、（ｃ，ｄ）→（ｃ’，ｄ’）の位置を受付け、この情報により、次式に従って、補正パラメータｒ、Ｒ（θ）、ｂを確定し（後述）、この補正パラメータを利用して調整を行う（後述）。
【００３９】
【数１】
2007004439.tif 000003
【００４０】
次に、補正パラメータｒ、Ｒ（θ）、ｂの確定手順について説明する。ここで、図６は、第１実施形態における簡易型手動調整での補正パラメータｒ、Ｒ（θ）、ｂの確定手順を説明するためのフローチャートである。まず、可視カメラ３で撮像した可視映像Ｃ０上および赤外カメラ２で撮像した赤外映像Ｃ１上の光学タグ６−１の位置情報を検出する（Ｓａ１）。ここで、図８は、赤外映像と可視映像との対応付けを説明するための概念図である。赤外映像上には、赤外カメラ２で撮像された光学タグ６−１が座標ｐ（ｘ，ｙ）に位置し、可視映像上には、可視カメラ３で撮像された光学タグ６−１が座標ｑ（ｘ，ｙ）に位置している。次に、補正パラメータを決定するために必要な数の光学タグの位置を抽出したか否かを判定し（Ｓａ２）、必要な数の光学タグの位置を抽出していない場合には、ステップＳａ１に戻り、位置情報の検出を繰り返す。そして、補正パラメータを決定するために必要な数の光学タグの位置を抽出した場合には、上記数式（１）の連立方程式を用いて、補正パラメータｒ、Ｒ（θ）、ｂを算出する（Ｓａ３）。なお、補正パラメータＲ(θ)＜Ｒは２次元回転行列＞は、赤外映像の垂直・水平方向を、可視映像の垂直・水平方向と一致させる回転角度をθとした場合の、その回転を行う回転行列を示すパラメータである。また補正パラメータｒ（ｒはスカラー）は、赤外映像を可視映像に対応させるために全体の大きさをr倍に伸縮を行う一様伸縮に関するパラメータを示す。つまり赤外カメラ２と可視カメラ３が撮像したそれぞれの映像のズームの大きさが異なる場合に、赤外映像のズームの大きさを可視映像のズームの大きさに合わせる場合の、ズーム比を示す。赤外映像と可視映像の大きさが等しければｒ＝１となる。また補正パラメータｂは赤外映像の中心を可視映像の中心に合わせる際の移動分の距離を示す、位置ベクトルに関するパラメータである。
【００４１】
次に、補正パラメータｒ、Ｒ（θ）、ｂを用いた調整手順について説明する。ここで、図７は、第１実施形態における補正パラメータを用いた調整手順を説明するためのフローチャートである。まず、赤外カメラ２で撮像した赤外映像Ｃ１上の光学タグ６−１の位置情報を抽出し（Ｓｂ１）、抽出された位置情報と上記補正パラメータｒ、Ｒ（θ）、ｂとを用いて、可視カメラ３で撮像した可視映像Ｃ０上の対応位置を算出し（Ｓｂ２）、対応位置をアプリケーション部４−６等へ出力する（Ｓｂ３）。つまり、新たな座標（ａ，ｂ）を数式（１）へ代入して、（ａ´，ｂ´）を算出し、これを補正後の位置の情報として出力する。
【００４２】
この結果、図５（ｃ）に示すように、画面上のマーカＭの位置と、可視カメラ３で撮像された映像上の光学タグ６−１（対象物）の位置とが対応付けられることになる。すなわち、赤外カメラ２で撮像された赤外映像から得られる光学タグ６−１の位置を、補正パラメータに従って補正することで、光学タグ６−１の位置を示すマーカＭを、可視カメラ３で撮像された可視映像上の光学タグ６−１の位置に一致させることが可能となる。
【００４３】
Ａ−３．可視光を利用した自動調整
次に、光学タグ６−２からの可視光を利用した自動調整方法について説明する。この場合、赤外発光型の光学タグ６−１に対して、前述した図２に示すように、可視光を発光する可視光発光部８を備える光学タグ６−２を利用する。可視光は、調整時に点滅するように設定されており、例えば画像の輝度などにより、可視映像上で光学タグ６−２の位置が検出できようになっている。
【００４４】
（１）光学タグ６−２が１つである場合には、まず、第１の対応付けを行う。図５（ｂ）に示すように、画面上のマーカＭが座標（ａ，ｂ）に表示されているが、実際の光学タグ６−２は座標（ａ’，ｂ’）の位置であるとする。調整のため、光学タグ６−２の可視光発光部８からの可視光を点滅させると、可視カメラ３により撮像されるフレーム画像内の位置を、情報処理装置４のタグ可視発光位置検出部４−４が検出し、その検出した座標（ａ’，ｂ’）を実際の光学タグ６−２の位置と特定する。
【００４５】
次に、第２の対応付けを行う。光学タグ６−２を移動させたとき、画面上のマーカＭが座標（ｃ，ｄ）（≠（ａ，ｂ））の位置に表示されているものとする。マーカＭが座標（ｃ，ｄ）に表示されているが、実際の光学タグ６−２の画面上の位置は座標（ｃ’，ｄ’）の位置であるとする。再び、調整のため、光学タグ６−２の可視光発光部８からの可視光を点滅させると、可視カメラ３により撮像されるフレーム画像内の位置を、情報処理装置４のタグ可視発光位置検出部４−４が検出し、その検出した座標（ｃ’，ｄ’）を実際の光学タグ６−２の位置と特定する。
【００４６】
（２）光学タグ６−２が２つである場合には、調整時に、まず、（１）の処理と同様に可視光の点滅の位置を検出して、一方についての対応付けを行い、次に、残りの光学タグ６−２の位置について対応付けを行うようにする。すなわち、１つ目のマーカＭが座標（ａ，ｂ）に表示されているが、実際の光学タグ６−２は座標（ａ’，ｂ’）の位置であるとする。
【００４７】
次に、第２の対応付けを行う。残りの光学タグ６−２のマーカＭの位置座標が座標（ｃ，ｄ（≠（ａ，ｂ））の位置に表示されているものとする。マーカＭが座標（ｃ，ｄ）に表示されているが、実際の光学タグ６−２の画面上の位置は座標（ｃ’，ｄ’）の位置であるとする。そして（１）の処理と同様に可視光の点滅の位置を検出して、その検出した座標（ｃ’，ｄ’）を実際の光学タグ６−２の位置と特定する。
【００４８】
（３）光学タグ６−２が複数である場合には、調整時に、まず、１つについての対応付けを行い、次に残りの光学タグ６−２の位置について対応付けを行うようにする。つまり（１）の処理と同様に可視光の点滅の位置を検出して、その検出した座標（ａ’，ｂ’）を実際の光学タグ６−２の位置と特定する。
【００４９】
次に、２つ目の対応付けを行う。残りの光学タグ６−２についても同様に、可視光の点滅の位置を検出して、その検出した座標（ｃ’，ｄ’）を実際の光学タグ６−２の位置と特定する。また３つ目以降の光学タグ６−２も同様に位置を特定する。
【００５０】
上述したように、可視光を利用した自動調整方法での２点の対応付け、（ａ，ｂ）→（ａ’，ｂ’）、（ｃ，ｄ）→（ｃ’，ｄ’）、より、複数の補正前と補正後の座標の対応関係を検出して、上述した数式（１）の連立方程式により、補正パラメータｒ、Ｒ（θ）、ｂを確定し、この補正パラメータを利用して調整を行う。補正パラメータｒ、Ｒ（θ）、ｂの確定手順、補正パラメータを利用した調整手順については前述した通りである。
【００５１】
この結果、図５（ｃ）に示すように、画面上のマーカＭの位置と、可視カメラ３で撮像された映像上の光学タグ６−２（対象物）の位置とが対応付けられることになる。すなわち、赤外カメラ２で撮像された赤外映像から得られる光学タグ６−２の位置を、補正パラメータに従って補正することで、光学タグ６−２の位置を示すマーカＭを、可視カメラ３で撮像された可視映像上の光学タグ６−２の位置に一致させることが可能となる。
【００５２】
Ａ−４．その他
光学タグ６−２の可視光発光部（例えば可視ＬＥＤ）８を利用した映像中の位置検出においては、他の方法として、特定可能な目印を利用する方法によっても実現可能である。例えば、白い紙の中央に黒い「●」記号等を記し、その上にタグを付した調整用の用紙を用いることで、映像上の光学タグ６−２の位置の検出時に、容易な画像認識処理（「●」記号の認識）で実施することも可能である。その場合、例えば、映像中からは、黒い部分を有する白紙の部分画像を検出し、その黒い部分の中央を映像上のタグの位置として検出する。そして、光学タグ６−２の赤外光発光部７との対応付けを行うことにより、補正式を導出してもよい。
【００５３】
Ｂ．第２実施形態
次に、本発明の第２実施形態について説明する。
Ｂ−１．２つの赤外カメラおよび可視カメラによる構成
上述した第１実施形態では、１つの赤外カメラ２と１つの可視カメラ３の組み合わせであったが、この場合、調整時の光学タグ６と各カメラ（赤外カメラ２、可視カメラ３）間それぞれの距離が一定であれば、光学タグ６のマーカ表示位置を正確に推定することが可能である。しかしながら、タグ位置とカメラ（赤外カメラ２、可視カメラ３）それぞれの距離が変化すると、調整パラメータが異なることにより、正確な値を算出することができない。特に、カメラ（赤外カメラ２、可視カメラ３）側に光学タグ６が近づく際のずれは、離れる場合よりも大きくなる。
【００５４】
そこで、本第２実施形態では、光学タグ６の奥行き方向の変化に対しても対応可能な調整を実現するために、２つの赤外カメラと１つの可視カメラの組み合わせにより、各カメラと光学タグ６のそれぞれの奥行き方向の距離変化に応じて補正パラメータが異なることによる、ずれの問題を回避することができる。
【００５５】
図９は、本発明の第２実施形態による光学タグ管理装置を示すブロック図である。なお、図１に対応する部分には同一の符号を付けて説明を省略する。図において、本第２実施形態による光学タグ管理装置１は、２つの赤外カメラ２−１、２−２と１つの可視カメラ３とを備えている。赤外カメラ２−１、２−２は、所定の間隔を空けて設けられており、対象物５に付帯され、赤外線を発信する光学タグ６を撮像する。可視カメラ３は、光学タグ６を含む対象物を撮像する。情報処理装置４は、光学タグ６の赤外光の発光位置を、２つの赤外カメラ２−１、２−２の赤外映像から抽出し、可視カメラ３により撮像した映像上にマーカを表示する。可視映像上のマーカの位置が、映像上の光学タグ６の位置と異なる位置に表示されている場合には、後述する調整を行うことにより、映像上のタグ位置に表示されるべきマーカ位置を正しく一致させて表示させるようにする。
【００５６】
ここで、図１１は、２つの赤外カメラ２−１と２−２で撮像された、光学タグ６の座標を示す概念図である。例えば、赤外カメラ２−１で撮影された赤外映像上には、光学タグ６が座標ｐ（ｘｌ，ｙ）に位置し、赤外カメラ２−２で撮像された赤外映像上には、光学タグ６が座標ｐ（ｘｒ，ｙ）に位置する。このように、赤外カメラ２−１、２−２のそれぞれで撮像された光学タグ６は、異なる座標上に位置することになる。この座標のずれは、光学タグ６の奥行き方向（Ｚ軸方向）に移動（変化）に応じて変化することになる。本第２実施形態では、光学タグ６の位置を、上記座標のずれから、図１２に示すように、奥行き方向の成分を持つ、座標ｐ（ｘ，ｙ，ｚ）で表す。ゆえに、該座標のずれから光学タグ６の奥行き方向の変動にも対応することが可能となる。
【００５７】
以下、赤外カメラ２−１、２−２で撮像した光学タグ６の位置と可視カメラ３で撮像した映像上の光学タグ６の位置との対応点検出方法として、２つの方法を示す。なお、対応点の検出方法については、各カメラ画像について、ハフ変換を利用し、検出された直線の組み合わせからなる交点を利用してもよい。
【００５８】
Ｂ−２．簡易型手動調整
まず、簡易型手動調整方法について説明する。ここで、可視カメラ３によって撮像された可視映像をＣ０、２つの赤外カメラ２−１、２−２によって撮像された赤外映像をそれぞれＣ１、Ｃ２とする。Ｃ０、Ｃ１、Ｃ２間で光学タグ６の対応点ｐｎ０、ｐｎ１、ｐｎ２とする。
【００５９】
（１）光学タグ６が１つである場合には、まず、第１の対応付けを行う。光学タグ６の位置が赤外カメラ２−１、２−２の赤外映像Ｃ１、Ｃ２上ではｐ１１、ｐ１２の座標に検出されている。そこで、マウスや、タッチペン等を利用することにより、可視映像Ｃ０上の実際の光学タグ６の位置ｐ１０を入力する。この実際の位置を指定された情報処理装置４がその座標を受付ける。
【００６０】
次に、第２の対応付けを行う。光学タグ６を移動させたとき、マーカが２つの赤外カメラ２−１、２−２の赤外映像Ｃ１、Ｃ２上でｐ２１、ｐ２２の位置に表示されているものとする。そこで、マウスや、タッチペン等を利用することにより、可視映像Ｃ０上の実際のタグの位置ｐ２０を入力する。この実際の位置を指定された情報処理装置４がその座標を受付ける。
上述した手順を、７点以上の対応点（線形解放の場合には８点以上）について繰り返す。
【００６１】
（２）光学タグ６が複数ある場合には、上記操作について、１つの光学タグ６の移動により検出すべき対応点の代わりとしてもよい。このとき、可視カメラ３の可視映像Ｃ０と赤外カメラ２−１の赤外映像Ｃ１の組み合わせ、及び、可視カメラ３の可視映像Ｃ０と赤外カメラ２−２の赤外映像Ｃ２の組み合わせ、のそれぞれによりＦを基礎行列とした基礎方程式が２つ導出される。
【００６２】
【数２】
2007004439.tif 000004
【００６３】
【数３】
2007004439.tif 000005
【００６４】
上記数式（２）、（３）により、Ｆ１、Ｆ２を確定することができる（後述）。これら数式（２）、（３）式より、赤外カメラ２−１，２−１の赤外映像Ｃ１、Ｃ２から、光学タグ６の位置がｐ１、ｐ２の座標に検出されると、このＦ１、Ｆ２を用いて、
【００６５】
【数４】
2007004439.tif 000006
【００６６】
【数５】
2007004439.tif 000007
【００６７】
の２式より、前述した図７に示すフローチャートに従って、映像上の対応点としてｐを確定することができる。
【００６８】
次に、上述した補正パラメータ行列Ｆの確定手順について説明する。ここで、図１０は、本第２実施形態における簡易型手動調整での補正パラメータ行列Ｆの確定手順を説明するためのフローチャートである。まず、可視カメラ３で撮像した可視映像上Ｃ０および赤外カメラ２−１、２−２で撮像した赤外映像上Ｃ１、Ｃ２のタグの位置情報を検出する（Ｓｃ１）。ここで、図１２は、赤外カメラ２−１、２−２による赤外映像と可視映像との対応付けを説明するための概念図である。赤外映像上には、赤外カメラ２−１、２−２で撮像された光学タグ６の座標ずれを加味した座標ｐ（ｘ，ｙ，ｚ）に位置し、可視映像上には、可視カメラ３で撮像された光学タグ６が座標ｑ（ｘ，ｙ）に位置している。次に、補正パラメータ行列を決定するために必要な数の光学タグの位置を抽出したか否かを判定し（Ｓｃ２）、必要な数の光学タグ位置を抽出していない場合には、ステップＳｃ１に戻り、位置情報の検出を繰り返す。そして、補正パラメータ行列を決定するために必要な数の光学タグの位置を抽出した場合には、上記数式（４）、（５）に従って、補正パラメータ行列Ｆを算出する（Ｓｃ３）。
【００６９】
この結果、前述した第１実施形態と同様、図５（ｃ）に示すように、画面上のマーカＭの位置と、可視カメラ３で撮像された映像上の光学タグ６−１（対象物）の位置とが対応付けられることになる。すなわち、赤外カメラ２で撮像された赤外映像から得られる光学タグ６−１の位置を、補正パラメータに従って補正することで、光学タグ６−１の位置を示すマーカＭを、可視カメラ３で撮像された可視映像上の光学タグ６−１の位置に一致させることが可能となる。
【００７０】
Ｂ−３．可視光を利用した自動調整
次に、光学タグ６−２からの可視光を利用した自動調整方法について説明する。この場合、赤外発光型の光学タグ６−１に対して、図２に示すように、可視光を発光する可視光発光部８を備える光学タグ６−２を利用する。可視光は、調整時に点滅するように設定されており、可視映像上で光学タグ６−２の位置が検出できようになっている。なお、可視光は、点滅に限らず、発光点がわかるように発光されればよい。
【００７１】
（１）光学タグ６−２が１つである場合には、まず、第１の対応付けを行う。画面上のマーカＭが座標（ａ，ｂ）に表示されているが、実際の光学タグ６−２は座標（ａ’，ｂ’）の位置であるとする。調整のため、光学タグ６−２の可視光発光部８からの可視光を点滅させると、可視カメラ３により撮像されるフレーム画像内の位置を、その前後フレームの輝度などの差分より、変化している点として抽出する。抽出された点を座標（ａ’，ｂ’）とし、実際の光学タグ６−２の位置とする。
【００７２】
次に、第２の対応付けを行う。光学タグ６−２を移動させたとき、画面上のマーカＭが（ｃ，ｄ）（≠（ａ，ｂ））の位置に表示されているものとする。マーカＭが座標（ｃ，ｄ）に表示されているが、実際のタグの映像上の位置は座標（ｃ’，ｄ’）の位置であるとする。再び、調整のため、光学タグ６−２の可視光発光部８からの可視光を点滅させると、可視カメラ３により撮像されるフレーム画像内の位置を、その前後フレームの差分より、変化している点として抽出する。抽出された点を座標（ｃ’，ｄ’）とし、実際の光学タグ６−２の位置とする。
【００７３】
そして、必要な対応点の数だけ繰り返し、可視映像上の光学タグ６−２の位置情報と、対応する赤外映像上の光学タグ６−２の位置情報とを検出し、７つ以上の対応点（線形解放の場合には８つ以上）についてこの操作を行う。
【００７４】
（２）光学タグ６−２が複数（７つ以上の対応点（線形解放の場合には８つ以上））である場合には、調整パラメータの確定時に、まず、１つについての対応付けを行い、次に、残りのタグの位置について対応付けを行う。
【００７５】
この結果、前述した第１実施形態と同様、図５（ｃ）に示すように、画面上のマーカＭの位置と、可視カメラ３で撮像された映像上の光学タグ６−２（対象物）の位置とが対応付けられることになる。すなわち、赤外カメラ２で撮像された赤外映像から得られる光学タグ６−２の位置を、補正パラメータに従って補正することで、光学タグ６−２の位置を示すマーカＭを、可視カメラ３で撮像された可視映像上の光学タグ６−２の位置に一致させることが可能となる。
【００７６】
Ｂ−４．その他
光学タグ６−２の可視光発光部（例えば可視ＬＥＤ）８を利用した映像中の位置検出においては、他の方法として、特定可能な目印を利用する方法によっても実現可能である。例えば、白い紙の中央に黒い「●」記号等をを記し、その上にタグを付した調整用の用紙を用いてることで、映像上の光学タグ６−２の位置の検出時に、容易な画像処理で実施することも可能である。その場合、例えば、映像中からは、黒い部分を有する白紙の部分画像を検出し、その黒い部分の中央を映像上の光学タグ６−２の位置として検出する。また、赤外カメラ２−１、２−２の赤外映像から赤外光発光部７の発光位置を検出し、それぞれのカメラ座標系における位置情報の対応付けを行うことにより、補正式を導出してもよい。
【００７７】
Ｃ．第３実施形態
次に、本発明の第３実施形態について説明する。
本第３実施形態では、３つ以上の赤外カメラおよび可視カメラを用いる。この場合は、赤外カメラ２−１、２−２、…、２−（ｎ−１）、２−ｎの赤外映像Ｃ１，Ｃ２、…、Ｃｎ−１、Ｃｎのそれぞれから抽出される抽出点ｒ１、ｒ２、…、ｒｎ−１、ｒｎより、それぞれエピポーラ線ｌ１，ｌ２、…、ｌｎ−１、ｌｎが確定するため、全てのエピポーラ線２つの組み合わせに対して、その交点を算出し、全ての交点の平均値を可視カメラ３上の光学タグ６の位置として出力する。
【００７８】
なお、上述した実施形態においては、上述したタグ赤外発光位置検出部４−２、タグ可視発光位置検出部４−４、データ処理部４−５などによる一連の処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。すなわち、タグ赤外発光位置検出部４−２、タグ可視発光位置検出部４−４、データ処理部４−５などにおける、各処理手段、処理部は、ＣＰＵ等の中央演算処理装置がＲＯＭやＲＡＭ等の主記憶装置に上記プログラムを読み出して、情報の加工・演算処理を実行することにより、実現されるものである。
【００７９】
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【図面の簡単な説明】
【００８０】
【図１】本発明の第１実施形態による光学タグ管理装置を示すブロック図である。
【図２】本第１実施形態による光学タグ６および情報処理装置４の構成を示すブロック図である。
【図３】上述したタグ赤外発光位置検出部４−２の構成を示すブロック図である。
【図４】上述したタグ可視発光位置検出部４−４の構成を示すブロック図である。
【図５】画面上での光学タグの位置の対応付けを説明するための概念図である。
【図６】第１実施形態における簡易型手動調整での補正パラメータｒ、Ｒ（θ）、ｂの確定手順を説明するためのフローチャートである。
【図７】第１実施形態における補正パラメータを用いた調整手順を説明するためのフローチャートである。
【図８】第１実施形態における赤外映像と可視映像との対応付けを説明するための概念図である。
【図９】本発明の第２実施形態による光学タグ管理装置を示すブロック図である。
【図１０】本第２実施形態における簡易型手動調整での補正パラメータ行列Ｆの確定手順を説明するためのフローチャートである。
【図１１】赤外カメラ２−１と２−２で撮像された、光学タグ６の座標を示す概念図である。
【図１２】赤外カメラ２−１、２−２による赤外映像と可視映像との対応付けを説明するための概念図である。
【符号の説明】
【００８１】
１  光学タグ管理装置
２  赤外カメラ（赤外撮像手段）
２−１  赤外カメラ（第１の赤外撮像手段）
２−２  赤外カメラ（第２の赤外撮像手段）
３  可視カメラ（可視撮像手段）
４  情報処理装置
４−１  赤外映像受信部
４−２  タグ赤外発光位置検出部（タグ赤外位置検出手段）
４−２−１  画像入力部
４−２−２  演算処理回路
４−２−３  メモリ
４−２−４  結果出力部
４−３  可視映像受信部
４−４  タグ可視発光位置検出部（タグ可視位置検出手段）
４−４−１  画像入力部
４−４−２  演算処理回路
４−４−３  メモリ
４−４−４  結果出力部
４−５  データ処理部
４−５−１  補正パラメータ確定部（演算手段）
４−５−２  対応位置確定部（対応位置確定手段）
４−６  アプリケーション部（マーカ表示手段、関連情報提示手段）
５  対象物
６  光学タグ
６−１  光学タグ
６−２  光学タグ
７  赤外光発光部
８  可視光発光部
【図１】
2007004439.tif 000008
【図２】
2007004439.tif 000009
【図３】
2007004439.tif 000010
【図４】
2007004439.tif 000011
【図５】
2007004439.tif 000012
【図６】
2007004439.tif 000013
【図７】
2007004439.tif 000014
【図８】
2007004439.tif 000015
【図９】
2007004439.tif 000016
【図１０】
2007004439.tif 000017
【図１１】
2007004439.tif 000018
【図１２】
2007004439.tif 000019