(57)【要約】【課題】対象物の撮影画像に基づいて指定した目的像を対象物に投影する投影システムにおいて、撮影手段と投影手段との光軸差から生じる投影像と目的像とのずれを補正する処理を迅速に行う。【解決手段】プロジェクタ１０の原像面上にて、目的像を構成する注目点Ｘに対応する原像対応点Ｗを探索する際の探索範囲を、注目点Ｘそれぞれに対応してビデオカメラ８及びプロジェクタ１０に関するエピポーラ幾何により定まる原像面におけるエピポーラ線Ｌpのうち一部区間に限定する。【選択図】図３
2011044773.tif 000002
【特許請求の範囲】
【請求項１】
原像面上で定義される原像を投影して対象物に投影像を形成する投影手段と、
前記対象物を撮影し撮影画像を取得する撮影手段と、
前記投影手段を制御し、前記投影像が前記撮影手段の撮像面上にて目的像になるように前記原像を形成する制御手段と、
を有し、
前記制御手段は、
前記原像面上にて、前記目的像を構成する注目点に対応する原像対応点を探索する際の探索範囲を設定する手段であって、前記注目点それぞれに対応して前記投影手段及び前記撮影手段に関するエピポーラ幾何により定まる前記原像面におけるエピポーラ線のうち一部区間を前記探索範囲として設定する探索範囲設定手段と、
前記原像対応点を前記探索範囲にて探索する手段であって、当該探索範囲にて候補点を設定して前記対象物へ投影させ、その投影像に対応する前記撮像面上の評価点と前記注目点とのずれに基づいて当該候補点の前記原像対応点としての適否を評価する探索手段と、
を有し、
前記探索範囲設定手段は、予め定められた基準面への投影と当該基準面の撮影とに基づく前記原像面上の点と前記撮像面上の点との対応関係によって前記注目点に対応付けられる点を原像面上基準点として、当該原像面上基準点の前記対象物への投影像に対応する前記撮像面上の撮像面上基準点を求め、前記原像面上基準点から見て前記原像対応点が存在する向きである基準方向を当該撮像面上基準点と前記注目点とのずれに基づいて推定し、当該基準方向に応じて前記探索範囲を設定すること、
を特徴とする投影システム。
【請求項２】
請求項１に記載の投影システムにおいて、
前記探索範囲設定手段は、前記原像面上基準点を前記探索範囲の一方端とし、前記原像面上基準点から前記基準方向に伸びる前記探索範囲を設定すること、を特徴とする投影システム。
【請求項３】
請求項２に記載の投影システムにおいて、
前記探索範囲設定手段は、前記原像面における投影可能な領域の境界線と前記エピポーラ線との交点のうち前記原像面上基準点から見て前記基準方向にある投影境界点を前記探索範囲の他方端として設定すること、を特徴とする投影システム。
【請求項４】
請求項３に記載の投影システムにおいて、
前記探索範囲設定手段は、前記原像面のうち前記対象物への投影像を前記撮影手段により撮影可能である領域の境界線と前記エピポーラ線との交点であって前記投影境界点と前記原像面上基準点との間に位置する撮影境界点が存在する場合には、当該撮影境界点に基づいて前記他方端を定めること、を特徴とする投影システム。
【請求項５】
請求項３又は請求項４に記載の投影システムにおいて、
前記探索範囲設定手段は、前記対象物が、その表面に前記投影像が形成される投影目標物と、その表面に前記投影像が形成されず前記撮影画像にて前記投影目標物の背景となる背景物とからなる場合に、前記原像面のうち前記投影目標物への投影像を前記撮影手段により撮影可能である領域の境界線と前記エピポーラ線との交点であって前記投影境界点と前記原像面上基準点との間に位置する目標物境界点が存在する場合には、当該目標物境界点に基づいて前記他方端を定めること、を特徴とする投影システム。
【請求項６】
請求項１から請求項５のいずれか１つに記載の投影システムにおいて、
前記探索手段は、前記探索範囲を第１区間に設定し、第ｉ区間（ｉは１以上の整数である。）を（ｎ＋１）個（ｎは１以上の整数である。）の子区間に分割するｎ個の分割点を前記候補点として設定し、前記第ｉ区間の前記子区間のうち前記原像対応点を包含するものを第（ｉ＋１）区間とする処理を繰り返し、前記評価点と前記注目点とのずれが予め定められた閾値以下となったときの当該評価点に対応する前記候補点を前記原像対応点と定めること、を特徴とする投影システム。
【請求項７】
原像面上で定義される原像を投影して対象物に投影像を形成する投影手段を制御し、前記対象物を撮影し撮影画像を取得する撮影手段の撮像面上にて前記投影像が目的像になるように前記原像を形成する制御手段を有し、
前記制御手段は、
前記原像面上にて、前記目的像を構成する注目点に対応する原像対応点を探索する際の探索範囲を設定する手段であって、前記注目点それぞれに対応して前記投影手段及び前記撮影手段に関するエピポーラ幾何により定まる前記原像面におけるエピポーラ線のうち一部区間を前記探索範囲として設定する探索範囲設定手段と、
前記原像対応点を前記探索範囲にて探索する手段であって、当該探索範囲にて候補点を設定して前記対象物へ投影させ、その投影像に対応する前記撮像面上の評価点と前記注目点とのずれに基づいて当該候補点の前記原像対応点としての適否を評価する探索手段と、
を有し、
前記探索範囲設定手段は、予め定められた基準面への投影と当該基準面の撮影とに基づく前記原像面上の点と前記撮像面上の点との対応関係によって前記注目点に対応付けられる点を原像面上基準点として、当該原像面上基準点の前記対象物への投影像に対応する前記撮像面上の撮像面上基準点を求め、前記原像面上基準点から見て前記原像対応点が存在する向きである基準方向を当該撮像面上基準点と前記注目点とのずれに基づいて推定し、当該基準方向に応じて前記探索範囲を設定すること、
を特徴とする投影制御装置。
【請求項８】
コンピュータを、原像面上で定義される原像を投影して対象物に投影像を形成する投影装置を制御し、前記投影像が前記対象物を撮影し撮影画像を取得する撮影装置の撮像面上にて目的像になるように前記原像を形成する制御手段として機能させるための投影システム制御プログラムであって、
前記制御手段は、
前記原像面上にて、前記目的像を構成する注目点に対応する原像対応点を探索する際の探索範囲を設定する手段であって、前記注目点それぞれに対応して前記投影装置及び前記撮影装置に関するエピポーラ幾何により定まる前記原像面におけるエピポーラ線のうち一部区間を前記探索範囲として設定する探索範囲設定手段と、
前記原像対応点を前記探索範囲にて探索する手段であって、当該探索範囲にて候補点を設定して前記対象物へ投影させ、その投影像に対応する前記撮像面上の評価点と前記注目点とのずれに基づいて当該候補点の前記原像対応点としての適否を評価する探索手段と、
を有し、
前記探索範囲設定手段は、予め定められた基準面への投影と当該基準面の撮影とに基づく前記原像面上の点と前記撮像面上の点との対応関係によって前記注目点に対応付けられる点を原像面上基準点として、当該原像面上基準点の前記対象物への投影像に対応する前記撮像面上の撮像面上基準点を求め、前記原像面上基準点から見て前記原像対応点が存在する向きである基準方向を当該撮像面上基準点と前記注目点とのずれに基づいて推定し、当該基準方向に応じて前記探索範囲を設定すること、
を特徴とする投影システム制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は投影システム、投影制御装置及び投影システム制御プログラムに関する。
【背景技術】
【０００２】
物体を撮影した画像に基づいて物体への投影像を指定し、物体に当該投影像を形成するシステムは、物体から離れている指示者が物体への投影像を指定し、物体側にいる人に当該物体への投影像を介して作業指示や説明を行う際に用いられる。このようなシステムについて、下記特許文献１は、物体の三次元形状に応じた画像データを生成して当該物体に投影することにより、物体から離れている指示者から作業者への物体に対する作業指示を行うものを開示している。
【０００３】
なお、投影平面に対して投影軸が垂直でない場合に投影画像の歪みを補正する技術について、下記特許文献２，３に開示されるものがある。
【０００４】
また、物体に光を照射し、その像を撮影する構成に関して、下記特許文献４が三次元計測に関する技術を開示している。下記特許文献５は、計測対象の物体を異なる２方向から撮影し、この２方向からの一対の画像に基づいてその物体の三次元情報を求める技術を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２７０７１９号公報
【特許文献２】特開２０００−２８４３６３号公報
【特許文献３】特開２００５−３４７７９０号公報
【特許文献４】特表２００５−５０９８７９号公報
【特許文献５】特開２００２−９９９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像に基づいて投影像を指定し、遠隔地の物体に投影させるシステムは、物体を撮影するビデオカメラと、物体への投影を行うプロジェクタとを要する。ここで、ビデオカメラの光軸とプロジェクタの光軸とが一致しない場合、ビデオカメラにより撮影された画像に基づいて描画の指示をされた画像を、三次元形状の物体上に実際に投影像として得るには、プロジェクタから投射させる像を補正する必要が生じる。本発明は、この補正処理を、プロジェクタから投射する点を移動させて、その像が撮影画像にて目的とした位置に来るように探索することで行う方式において、投影像の補正の処理負荷を減らすことができる投影システム、及び投影システム制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明に係る投影システムは、原像面上で定義される原像を投影して対象物に投影像を形成する投影手段と、前記対象物を撮影し撮影画像を取得する撮影手段と、前記投影手段を制御し、前記投影像が前記撮影手段の撮像面上にて目的像になるように前記原像を形成する制御手段と、を有し、前記制御手段は、前記原像面上にて、前記目的像を構成する注目点に対応する原像対応点を探索する際の探索範囲を設定する手段であって、前記注目点それぞれに対応して前記投影手段及び前記撮影手段に関するエピポーラ幾何により定まる前記原像面におけるエピポーラ線のうち一部区間を前記探索範囲として設定する探索範囲設定手段と、前記原像対応点を前記探索範囲にて探索する手段であって、当該探索範囲にて候補点を設定して前記対象物へ投影させ、その投影像に対応する前記撮像面上の評価点と前記注目点とのずれに基づいて当該候補点の前記原像対応点としての適否を評価する探索手段と、を有し、前記探索範囲設定手段は、予め定められた基準面への投影と当該基準面の撮影とに基づく前記原像面上の点と前記撮像面上の点との対応関係によって前記注目点に対応付けられる点を原像面上基準点として、当該原像面上基準点の前記対象物への投影像に対応する前記撮像面上の撮像面上基準点を求め、前記原像面上基準点から見て前記原像対応点が存在する向きである基準方向を当該撮像面上基準点と前記注目点とのずれに基づいて判定し、当該基準方向に応じて前記探索範囲を設定する。
【０００８】
第２の本発明に係る投影システムは、前記探索範囲設定手段が、前記原像面上基準点を前記探索範囲の一方端とし、前記原像面上基準点から前記基準方向に伸びる前記探索範囲を設定するものである。
【０００９】
第３の本発明に係る投影システムは、前記探索範囲設定手段が、前記原像面における投影可能な領域の境界線と前記エピポーラ線との交点のうち前記原像面上基準点から見て前記基準方向にある投影境界点を前記探索範囲の他方端として設定するものである。
【００１０】
第４の本発明に係る投影システムは、前記探索範囲設定手段が、前記原像面のうち前記対象物への投影像を前記撮影手段により撮影可能である領域の境界線と前記エピポーラ線との交点であって前記投影境界点と前記原像面上基準点との間に位置する撮影境界点が存在する場合には、当該撮影境界点に基づいて前記他方端を定めるものである。
【００１１】
第５の本発明に係る投影システムは、前記対象物がその表面に前記投影像が形成される投影目標物と、その表面に前記投影像が形成されず前記撮影画像にて前記投影目標物の背景となる背景物とからなる場合に、前記探索範囲設定手段が、前記原像面のうち前記投影目標物への投影像を前記撮影手段により撮影可能である領域の境界線と前記エピポーラ線との交点であって前記投影境界点と前記原像面上基準点との間に位置する目標物境界点が存在する場合には、当該目標物境界点に基づいて前記他方端を定めるものである。
【００１２】
第６の本発明に係る投影システムは、前記探索手段が、前記探索範囲を第１区間に設定し、第ｉ区間（ｉは１以上の整数である。）を（ｎ＋１）個（ｎは１以上の整数である。）の子区間に分割するｎ個の分割点を前記候補点として設定し、前記第ｉ区間の前記子区間のうち前記原像対応点を包含するものを第（ｉ＋１）区間とする処理を繰り返し、前記評価点と前記注目点とのずれが予め定められた閾値以下となったときの当該評価点に対応する前記候補点を前記原像対応点と定めるものである。
【００１３】
本発明に係る投影制御装置は、原像面上で定義される原像を投影して対象物に投影像を形成する投影手段を制御し、前記対象物を撮影し撮影画像を取得する撮影手段の撮像面上にて前記投影像が目的像になるように前記原像を形成する制御手段を有し、前記制御手段が、前記原像面上にて、前記目的像を構成する注目点に対応する原像対応点を探索する際の探索範囲を設定する手段であって、前記注目点それぞれに対応して前記投影手段及び前記撮影手段に関するエピポーラ幾何により定まる前記原像面におけるエピポーラ線のうち一部区間を前記探索範囲として設定する探索範囲設定手段と、前記原像対応点を前記探索範囲にて探索する手段であって、当該探索範囲にて候補点を設定して前記対象物へ投影させ、その投影像に対応する前記撮像面上の評価点と前記注目点とのずれに基づいて当該候補点の前記原像対応点としての適否を評価する探索手段と、を有し、前記探索範囲設定手段が、予め定められた基準面への投影と当該基準面の撮影とに基づく前記原像面上の点と前記撮像面上の点との対応関係によって前記注目点に対応付けられる点を原像面上基準点として、当該原像面上基準点の前記対象物への投影像に対応する前記撮像面上の撮像面上基準点を求め、前記原像面上基準点から見て前記原像対応点が存在する向きである基準方向を当該撮像面上基準点と前記注目点とのずれに基づいて推定し、当該基準方向に応じて前記探索範囲を設定するものである。
【００１４】
本発明に係る投影システム制御プログラムは、コンピュータを、原像面上で定義される原像を投影して対象物に投影像を形成する投影装置を制御し、前記投影像が前記対象物を撮影し撮影画像を取得する撮影装置の撮像面上にて目的像になるように前記原像を形成する制御手段として機能させるための投影システム制御プログラムであって、前記制御手段は、前記原像面上にて、前記目的像を構成する注目点に対応する原像対応点を探索する際の探索範囲を設定する手段であって、前記注目点それぞれに対応して前記投影装置及び前記撮影装置に関するエピポーラ幾何により定まる前記原像面におけるエピポーラ線のうち一部区間を前記探索範囲として設定する探索範囲設定手段と、前記原像対応点を前記探索範囲にて探索する手段であって、当該探索範囲にて候補点を設定して前記対象物へ投影させ、その投影像に対応する前記撮像面上の評価点と前記注目点とのずれに基づいて当該候補点の前記原像対応点としての適否を評価する探索手段と、を有し、前記探索範囲設定手段は、予め定められた基準面への投影と当該基準面の撮影とに基づく前記原像面上の点と前記撮像面上の点との対応関係によって前記注目点に対応付けられる点を原像面上基準点として、当該原像面上基準点の前記対象物への投影像に対応する前記撮像面上の撮像面上基準点を求め、前記原像面上基準点から見て前記原像対応点が存在する向きである基準方向を当該撮像面上基準点と前記注目点とのずれに基づいて判定し、当該基準方向に応じて前記探索範囲を設定する。
【発明の効果】
【００１５】
第１の本発明に係る投影システムによれば、補正処理を、プロジェクタから投射する点を移動させて、その像が撮影画像にて目的とした位置に来るように探索することで行う方式において、投影像の補正の処理負荷を減らすことができる。
【００１６】
第２の本発明に係る投影システムによれば、探索範囲が好適に限定され補正の処理負荷を減らすことができる。
【００１７】
第３の本発明に係る投影システムによれば、探索範囲がさらに好適に限定され補正の処理負荷を減らすことができる。
【００１８】
第４の本発明に係る投影システムによれば、本構成を有しない場合に比較して、補正の処理負荷を減らすことができる。
【００１９】
第５の本発明に係る投影システムによれば、本構成を有しない場合に比較して、補正の処理負荷を減らすことができる。
【００２０】
第６の本発明に係る投影システムによれば、本構成を有しない場合に比較して、補正の処理負荷を減らすことができる。
【００２１】
本発明に係る投影制御装置によれば、本構成を有しない場合に比較して、補正の処理負荷を減らすことができる。
【００２２】
本発明に係る投影システム制御プログラムによれば、補正処理を、プロジェクタから投射する点を移動させて、その像が撮影画像にて目的とした位置に来るように探索することで行う方式において、投影像の補正の処理負荷を減らすことができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る遠隔指示システムの概略の構成図である。
【図２】プロジェクタから対象物への投影像に対応する撮影画像上の像を抽出する処理を説明する概略のフロー図である。
【図３】探索範囲の設定について説明するための模式図である。
【図４】探索範囲設定部の処理の概略を示すフロー図である。
【図５】探索範囲の他方端の第１の設定法を説明する原像面の模式図である。
【図６】探索範囲の他方端の第２の設定法を説明する原像面の模式図である。
【図７】探索範囲設定部による探索範囲の他方端の第１及び第２の設定法を用いた決定処理を説明する概略のフロー図である。
【図８】探索範囲の他方端の第３の設定法を説明する原像面の模式図である。
【図９】探索範囲設定部による探索範囲の他方端の第３の設定法を用いた決定処理を説明する概略のフロー図である。
【図１０】画素間対応演算部により撮像面における対象物の形状を原像面へ変換した領域と、原像面のうち対象物に投影像を形成可能な領域との関係を説明する模式図である。
【図１１】探索部による探索処理の概略のフロー図である。
【図１２】探索部による他の探索処理の概略のフロー図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。
【００２５】
図１は実施形態に係る遠隔指示システム２の概略の構成図である。遠隔指示システム２は、指示者が遠隔の対象物４の表面に投影される投影像を介して他者に対象物４上の位置を指し示したり情報を提示するものであり、サーバ６、ビデオカメラ８、プロジェクタ１０及び端末装置１２を備える。ビデオカメラ８、プロジェクタ１０は対象物側に配置され、端末装置１２は指示者側に配置され、それぞれサーバ６に接続される。この装置間の接続には、近距離では例えば、ケーブルを用いることができ、遠距離では例えば、インターネット等の通信回線を用いることができる。
【００２６】
撮影手段であるビデオカメラ８は例えば、ＣＣＤカメラ等で構成される。ビデオカメラ８は、背景パネルや設置台などの表面（基準平面１４）に向けて配置され、基準平面１４の手前に置かれる対象物４を含む対象領域をレンズ等の光学系を介して撮像面上に撮影して撮影画像を取得し、その画像データをサーバ６へ送る。
【００２７】
投影手段であるプロジェクタ１０は例えば、液晶プロジェクタ等で構成される。プロジェクタ１０も基準平面１４に向けて配置される。プロジェクタ１０は、サーバ６から送られる投射原像データに基づいて、像面（原像面）上に生成する像（原像）をレンズ等の光学系を介して対象領域へ投影して投影像を形成する。
【００２８】
例えば、ハーフミラーやビームスプリッタ等の光学系などの仕組みを用いてビデオカメラ８の光軸とプロジェクタ１０の光軸とを一致させることも可能ではあるが、遠隔指示システム２ではそのような仕組みを用いない簡素な構成とし、小型化、軽量化及び低コスト化を可能としている。その結果、ビデオカメラ８及びプロジェクタ１０の光軸は互いにずれており、プロジェクタ１０から投射する原像と、その投影像をビデオカメラ８で撮影した像（結果像）との間にも差異が生じる。遠隔指示システム２は、この光軸のずれに対応した補正を行う。具体的には、対象物４への投影像をビデオカメラ８の光軸方向から見た結果像が、目的とする像（目的像）となるように、プロジェクタ１０の原像面上での原像を補正する。なお、当該補正をできるだけ容易ならしめるという観点からは、両光軸のずれができるだけ小さくなるようにビデオカメラ８及びプロジェクタ１０を配置することが好適である。同様の観点から、両光軸によって決定される平面が基準平面１４に垂直になるようにすることが好適である。なお、遠隔指示システム２では、両光軸の交点が基準平面１４に位置するようにしている。
【００２９】
サーバ６は遠隔指示システム２の制御装置であり、ビデオカメラ８、プロジェクタ１０の動作を制御すると共に端末装置１２との間で各種情報を送受する。また、サーバ６は、画素間対応演算部２０、画像面間対応演算部２２、探索範囲設定部２４及び探索部２６を有する。サーバ６はコンピュータにより構成され、コンピュータにより実行されるプログラムによりサーバ６は上記各部２０，２２，２４，２６として機能する。
【００３０】
画素間対応演算部２０は、基準平面１４への投影と基準平面１４の撮影とにおける原像面上の点と撮像面上の点との対応関係に基づいて、一方の面上の点に対応する他方の面上の点を求める。当該対応関係は、例えば、ビデオカメラ８、プロジェクタ１０それぞれについてのパラメータ及び基準平面１４から演算により求めることができる。当該対応関係を表現するものとして例えば、ホモグラフィ行列Ｈが知られており、例えば、画素間対応演算部２０は予め求められサーバ６の記憶部に格納されたホモグラフィ行列Ｈを撮像面上の点を表す位置ベクトルに作用させることで、原像面上の対応点の位置ベクトルを求めるように構成できる。
【００３１】
画像面間対応演算部２２は、原像面と撮像面との間のエピポーラ幾何による対応関係を求める。当該対応関係を表現するものとして例えば、基礎行列Ｆが知られており、例えば、画像面間対応演算部２２は、原像面及び撮像面の一方の面上に定められた点に対応する他方の面上のエピポーラ線を求める。
【００３２】
探索範囲設定部２４は、目的像を構成する各点を注目点として、原像面上にて注目点に対応する点（原像対応点）を探索する際の探索範囲を設定する。
【００３３】
探索部２６は、原像対応点を探索範囲にて探索する。
【００３４】
端末装置１２は、コンピュータ３０、表示装置３２及びポインティングデバイス３４を備える。コンピュータ３０は、サーバ６と通信可能であり、表示装置３２、ポインティングデバイス３４はコンピュータ３０に接続される。表示装置３２は、液晶ディスプレイやＣＲＴディスプレイ等であり、ポインティングデバイス３４はマウスなどである。コンピュータ３０は、サーバ６を介してビデオカメラ８による撮影画像を取得して、表示装置３２に表示する。指示者はポインティングデバイス３４を操作して、表示装置３２に表示された撮影画像に重ねて目的像を描いたり、予め用意された図形や記号を選択して撮影画像内に配置したり、キーボードなどから入力された文字を撮影画像内に配置するなどにより目的像を設定する。また、指示者は、既に撮影画像に設定された目的像をポインティングデバイス３４等を操作して、撮影画像内にて移動させることにより新たな目的像を定めることもできる。端末装置１２は、設定された目的像を形成する投影指示をサーバ６に送信する。
【００３５】
投影指示を受信したサーバ６は、撮影画像に目的像を形成する処理を行う。上述したように遠隔指示システム２は、プロジェクタ１０から対象物４へ投影した投影像を撮影した結果像が目的像となるようにプロジェクタ１０の原像面上での原像を補正するが、サーバ６の処理には当該補正処理が含まれる。以下、当該補正処理を行って撮影画像に目的像を形成するサーバ６の処理を説明する。
【００３６】
図２は、当該補正処理にて行われる結果像の抽出処理を説明する概略のフロー図である。サーバ６は、基準平面１４上に対象物４を置いた状態にて、プロジェクタ１０から投影させずに、ビデオカメラ８から対象領域の撮影画像を取得する（Ｓ４０）。また、サーバ６は投射原像データを生成して（Ｓ４２）プロジェクタ１０へ送信し、プロジェクタ１０の原像を投影させる（Ｓ４４）。そして、その状態にてビデオカメラ８から撮影画像を取得する（Ｓ４６）。サーバ６は、処理Ｓ４６にて取得された撮影画像と処理Ｓ４０にて取得された撮影画像との差分処理を行い、差分画像に基づいて、投影により生じた結果像を抽出する（Ｓ４８）。
【００３７】
補正処理を開始した初期状態では、サーバ６は、端末装置１２で設定された目的像を画素間対応演算部２０により原像面上の像に変換し、当該像を処理Ｓ４２の原像とする。一方、サーバ６は、抽出された結果像に基づいて原像の補正を行った場合には、補正後の原像をプロジェクタ１０に設定する。なお、補正処理中における対象物４自体の撮影画像の変化に対応して処理Ｓ４８での差分処理を精度良く行うには、原像を補正する毎に処理Ｓ４０を行って直近の無投影の撮影画像を取得することが好ましい。一方、対象物４の変化を無視し得る場合には、当初に取得した無投影の撮影画像を記憶し、原像を補正する毎の処理Ｓ４８の差分処理をその記憶した無投影の撮影画像を用いて行うことも可能であり、この場合、処理Ｓ４０は補正処理の開始直後に一回行った後は省略することができる。
【００３８】
サーバ６は原像の補正をその構成点毎に行う。探索範囲設定部２４は、目的像を構成する点から順次、補正処理の対象として注目点を選択する。画像面間対応演算部２２により、原像面において注目点に対応するエピポーラ線を求める。注目点に対応する原像対応点は当該エピポーラ線上に存在するので、探索範囲設定部２４は、当該エピポーラ線のうち一部区間を原像対応点の探索範囲として設定する。
【００３９】
図３は探索範囲の設定について説明するための模式図であり、注目点を通るエピポーラ平面でのビデオカメラ８、プロジェクタ１０、対象物４及び基準平面１４等の位置関係を示している。同図には、ビデオカメラ８、プロジェクタ１０それぞれの光学系の焦点ｆc，ｆpが示されている。また、線分６０はビデオカメラ８の撮像面の位置を表すと共に撮像面でのエピポーラ線Ｌcを表している。同様に線分６２はプロジェクタ１０の原像面の位置を表すと共に原像面でのエピポーラ線Ｌpを表している。
【００４０】
対象物４が存在しない場合には、注目点Ｘとして撮影される投影点は、原像面の点Ｐ0から投影される基準平面１４の点Ｓである。対象物４が基準平面１４上に置かれると、点Ｐ0からの光線は点Ｓまで達しないでその手前に位置する対象物４表面の点Ｔ0に投影され、点Ｔ0は注目点Ｘからずれた点Ｃ0に写る。以下、点Ｐ0を原像面上基準点、点Ｃ0を撮像面上基準点と称する。
【００４１】
図４は探索範囲設定部２４の処理の概略を示すフロー図である。探索範囲設定部２４は、画素間対応演算部２０を用いて、注目点Ｘに対応する原像面上基準点Ｐ0の位置を求める（Ｓ７０）。探索範囲設定部２４は、原像面上基準点Ｐ0を対象物４に投影させて撮像面上基準点Ｃ0の位置を求める（Ｓ７２）。具体的には、探索範囲設定部２４は、原像面上基準点Ｐ0を原像に設定してプロジェクタ１０から対象領域に投影し、これに同期してビデオカメラ８で対象領域を撮影し、その撮影画像から上述の抽出処理により抽出される結果像を点Ｃ0とする。
【００４２】
撮像面上基準点Ｃ0と注目点Ｘとがエピポーラ線Ｌc上にてずれて位置する場合、注目点Ｘに対応する原像対応点Ｗはエピポーラ線Ｌp上にて原像面上基準点Ｐ0からずれた位置にある。原像面上基準点Ｐ0から見て原像対応点Ｗがエピポーラ線Ｌpのどちら側に位置するかは、撮像面上基準点Ｃ0から見て注目点Ｘがエピポーラ線Ｌcのどちら側に位置しているかから判定できる。なお、エピポーラ線Ｌc上で注目点Ｘに対して点Ｃ0がどちら側に来るか、及びエピポーラ線Ｌp上で原像対応点Ｗに対して点Ｐ0がどちら側に来るかは、対象物４が基準平面１４より手前に位置するか否かに依存する。
【００４３】
探索範囲設定部２４は、原像面上基準点Ｐ0から見て原像対応点Ｗが存在すると判定された向き（基準方向）に応じてエピポーラ線Ｌp上の区間［Ｐstart，Ｐend］を設定する（Ｓ７４）。探索範囲設定部２４は、画素間対応演算部２０を用いて、探索範囲の端点Ｐstart，Ｐendに対応する撮像面上の点Ｃstart，Ｃendを求め（Ｓ７６）、エピポーラ線Ｌc上の区間［Ｃstart，Ｃend］に注目点Ｘが存在するかを確認する（Ｓ７８）。当該区間［Ｃstart，Ｃend］に注目点Ｘが存在する場合には、区間［Ｐstart，Ｐend］を探索範囲として設定する（Ｓ８０）。一方、区間［Ｃstart，Ｃend］に注目点Ｘが存在しない場合には、区間［Ｐstart，Ｐend］は探索範囲として妥当ではないので、Ｐstart，Ｐendを決め直す（Ｓ７４）。
【００４４】
探索範囲設定部２４は、例えば、原像面上基準点Ｐ0から基準方向に伸びるエピポーラ線Ｌpの半直線ｌpに、探索範囲の全体が包含されるように設定する。また、探索範囲は半直線ｌpとその反対側の半直線ｌp'とに跨って設定してもよいが、探索範囲の重心は半直線ｌp側に位置するように設定する。このように、探索範囲を完全に、又は専ら半直線ｌp側に制限することにより狭めることで、原像対応点Ｗの探索時間が短くなる。
【００４５】
上述したように、原像対応点Ｗは原像面上基準点Ｐ0から見て基準方向にあり、このことから、探索範囲設定部２４にて、原像面上基準点Ｐ0を探索範囲の一方端Ｐstartに定め、原像面上基準点Ｐ0から基準方向に伸びる探索範囲を設定することができる。この構成は簡単である。また、対象物４の形状が不明であっても、探索範囲に原像対応点Ｗを確実に包含させつつ、探索範囲が好適に限定される。
【００４６】
なお、対象物４の形状について情報が得られていれば、撮像面上基準点Ｃ0から注目点Ｘまでの距離などから、原像面上基準点Ｐ0から原像対応点Ｗまでの距離を推定し、当該推定に基づいてＰstartを原像面上基準点Ｐ0よりも原像対応点Ｗに近い位置に設定することも可能である。
【００４７】
半直線ｌpを探索範囲としてもエピポーラ線Ｌp全体を探索するのに比較して探索処理の迅速化が図られるが、一層の迅速化を図るには、探索範囲の他方端を定めて、さらに探索範囲を限定することが好適である。
【００４８】
図５は、探索範囲の他方端Ｐendの設定法の第１の例を説明する原像面の模式図である。探索範囲設定部２４は、原像面における投影可能な領域９０の境界線９２とエピポーラ線Ｌpとの交点のうち原像面上基準点Ｐ0から見て基準方向にある投影境界点Ｐbを探索範囲の他方端Ｐendとして設定する。投影可能な領域９０はプロジェクタ１０の仕様によって定まる。プロジェクタ１０は領域９０の外の領域には投影することができないので、当該外領域は探索範囲から除外することができ、これにより探索範囲が限定され探索時間が短縮される。
【００４９】
図６は、探索範囲の他方端Ｐendの設定法の第２の例を説明する原像面の模式図である。同図には投影可能な領域９０に加えて、原像面のうち対象領域への投影像をビデオカメラ８により撮影可能である領域９４の一例を示している。ビデオカメラ８により撮影可能な領域はビデオカメラ８の仕様やビデオカメラ８とプロジェクタ１０との位置関係によって定まり、プロジェクタ１０により投影可能な領域とは必ずしも一致しない。そのため、撮影可能な領域９４の境界線９６の一部又は全部が投影可能な領域９０内に位置し得る。探索範囲設定部２４は、原像面のうち対象物４及び基準平面１４への投影像をビデオカメラ８により撮影可能である領域９４の境界線９６とエピポーラ線Ｌpとの交点であって投影境界点Ｐbと原像面上基準点Ｐ0との間に位置する撮影境界点Ｐcが存在する場合には、撮影境界点Ｐcに基づいて他方端Ｐendを定める。注目点Ｘは撮影画面内に設定されること、及び撮影可能な領域外に探索のための候補点を投影してもビデオカメラ８によりその位置を検出できないことから、領域９４の外は探索範囲から除外してもよく、これにより探索範囲を第１の設定法より一層限定でき、探索時間が短縮される。
【００５０】
図７は、上述の第１及び第２の設定法による探索範囲設定部２４のＰendの決定処理を説明する概略のフロー図である。このＰendの決定処理に際して、探索範囲設定部２４は画像面間対応演算部２２を用いて、注目点Ｘに対応するエピポーラ線Ｌp，Ｌcを求める。さらに、ここではＰstartを原像面上基準点Ｐ0に設定することに対応して、エピポーラ線のうち原像面上基準点Ｐ0から基準方向の半直線ｌpを求め、また、半直線ｌpに対応して撮像面上基準点Ｃ0から注目点Ｘの方向に伸びる半直線ｌcを求める。
【００５１】
探索範囲設定部２４は、原像面の投影可能な領域９０の境界線９２と半直線ｌpとの交点である投影境界点Ｐbを算出し、Ｐendの候補点Ｐxの初期値とする（Ｓ１００）。
【００５２】
探索範囲設定部２４は設定された候補点Ｐxを対象領域へ投影させ、その投影点が撮影画像に現れるか否か調べる（Ｓ１０２）。撮像面にて検出される投影点を点Ｃxとする。投影点を撮影できた場合は、図４に示した処理Ｓ７８に相当する処理として、半直線ｌc上の区間［Ｃ0，Ｃx］に注目点Ｘが存在するかを確認する（Ｓ１０４）。当該区間に注目点Ｘが存在した場合には、ＰxをＰendに決定する（Ｓ１０６）。
【００５３】
処理Ｓ１０２にて現在の候補点Ｐxに対応する点Ｃxを撮影画像に検出できない場合は、探索範囲設定部２４は候補点Ｐxを更新して（Ｓ１０８）処理Ｓ１０２を繰り返す。Ｐxは半直線ｌp上にてＰbからＰ0へ徐々に近づくように設定される。これにより、Ｐxの初期値として設定した投影境界点Ｐbの投影点を撮影できない場合は、上述のＰendの第１の設定法に代えて第２の設定法でＰendの決定が図られる。すなわち、ＰxをＰbからＰ0へ徐々に近づくように更新することで、投影可能な領域９０に位置するであろう撮影可能な領域９４の境界線９６と半直線ｌpとの交点である撮影境界点Ｐcが探索され、Ｐendが当該Ｐc又はその近傍に設定され得る。
【００５４】
なお、処理Ｓ１０４にて区間［Ｃ0，Ｃx］に注目点Ｘが存在しなかった場合は、注目点Ｘに対応する原像対応点Ｗは探索不能であると判断し（Ｓ１１０）、探索範囲のＰendは定めない。この結果、当該注目点Ｘについては探索部２６による原像対応点Ｗの探索処理は行われないことになる。
【００５５】
次に、探索範囲の他方端Ｐendの設定法の第３の例を説明する。これは、対象領域には、その表面に目的像に対応する投影像を形成しようとする投影目標物と、その表面に投影像を形成させず撮影画像にて投影目標物の背景となる背景物とが存在する場合に用いられる。具体的には本実施形態では対象物４が投影目標物に、また基準平面１４が背景物に対応し得る。
【００５６】
探索範囲設定部２４は、原像面のうち対象物４への投影像をビデオカメラ８により撮影可能である領域Ｒの境界線とエピポーラ線Ｌpとの交点であって投影境界点Ｐbと原像面上基準点Ｐ0との間に位置する目標物境界点Ｐeが存在する場合には、目標物境界点に基づいて他方端Ｐendを定める。対象物４の表面に目的像に対応する投影像を形成する場合には、原像面のうち対象物４へ投影可能で、かつ撮影可能な領域の外側は探索範囲から除外してもよく、これにより探索範囲を第２の設定法よりさらに限定でき、探索時間が短縮される。
【００５７】
図８は、Ｐendの第３の設定法を説明する原像面の模式図である。同図には投影可能な領域９０、撮影可能な領域９４に加えて、撮像面における対象物４の像を画素間対応演算部２０により原像面上に変換した領域１２０の一例を示している。当該領域１２０は、上述した抽出処理に似た処理で求められる。探索範囲設定部２４は、基準平面１４上に対象物４が配置されていない状態と、対象物４が配置された状態とについてそれぞれ対象領域の撮影画像を取得する。探索範囲設定部２４はこれら２つの撮影画像の差分処理を行い、撮像面上での対象物４の領域を抽出する。そして、当該領域の境界線（輪郭）を画素間対応演算部２０を用いて原像面上に変換することで、領域１２０の境界線（輪郭）１２２が求められる。
【００５８】
図９は、上述の第３の設定法による探索範囲設定部２４のＰendの決定処理を説明する概略のフロー図である。探索範囲設定部２４は、第１、第２の設定法におけると同様、エピポーラ線Ｌp，Ｌcの半直線ｌp，ｌcを求める。探索範囲設定部２４は、領域１２０の境界線１２２と半直線ｌpとの交点Ｐdを算出する（Ｓ１３０）。また、投影境界点Ｐbが算出される（Ｓ１３２）。
【００５９】
ここで、ビデオカメラ８とプロジェクタ１０との光軸が一致していないことから、領域１２０と、原像面のうち対象物４への投影像をビデオカメラ８により撮影可能な領域Ｒとは必ずしも一致しない。図１０は、これを説明する模式図であり、基準平面１４上にテーパー状の側面を有した対象物４が置かれた場合を例示している。図１０（ａ）は対象物４を水平方向（基準平面１４に平行な方向）から見た形状を示している。また、ビデオカメラ８の光軸１６０が垂直方向であり、プロジェクタ１０の光軸１６２が垂直方向から傾いていることを示している。図１０（ｂ）は、ビデオカメラ８による撮影画像を示しており、対象物４の底面の輪郭１６４ａの内側に対象物４の上面の輪郭１６６ａが位置している。
【００６０】
図１０（ｃ）はプロジェクタ１０から見た対象物４の像を示しており、対象物４の上面の輪郭１６６ｂの一部が底面の輪郭１６４ｂの外側にはみ出している。上述した領域１２２は図１０（ｃ）において底面の輪郭１６４ｂで囲まれた領域に相当する。一方、原像面のうち対象物４への投影像をビデオカメラ８により撮影可能である領域Ｒは輪郭１６４ｂからはみ出した部分１６８も含む。この例は、領域１２２の外側の点であっても、対象物４に投影され撮影されるものが存在し得ることを示している。
【００６１】
このような場合、図１０（ｃ）にも示すように、目標物境界点Ｐeは上述の交点Ｐdとは一致せず、投影境界点Ｐbと交点Ｐdとの間に位置する。そこで、探索範囲設定部２４は、エピポーラ線Ｌpの半直線ｌp上の区間［Ｐb，Ｐd］にてＰendの候補点Ｐxを設定して（Ｓ１３４）、目標物境界点Ｐe又はその近傍点を探索する。具体的には、区間［Ｐb，Ｐd］に候補点としてＰxi（ｉ＝１，２，・・・，ｎ）を設定する。ここでＰxiはＰx1＝Ｐb，Ｐxn＝Ｐdとしてｉに従って順に配列する。Ｐx1から順にＰxiを選択し（Ｓ１３６，Ｓ１３８）、選択した候補点Ｐxiを対象領域へ投影させ、その投影点が撮影画像にて対象物４の領域内に現れるか否か調べる（Ｓ１４０）。撮像面にて検出される投影点を点Ｃxiとする。投影点を撮影できた場合は、図４に示した処理Ｓ７８に相当する処理として、半直線ｌc上の区間［Ｃ0，Ｃxi］に注目点Ｘが存在するかを確認する（Ｓ１４２）。当該区間に注目点Ｘが存在した場合には、現在処理対象としているＰxiをＰendに決定する（Ｓ１４４）。
【００６２】
処理Ｓ１４０にて現在の候補点Ｐxiに対応する点Ｃxiを撮影画像に検出できない場合は、探索範囲設定部２４は候補点Ｐxiを更新して（Ｓ１３８）処理Ｓ１４０を繰り返す。また、処理Ｓ１４２にて、半直線ｌc上の区間［Ｃ0，Ｃxi］に注目点Ｘが存在しないと判定された場合も、候補点Ｐxiを更新する（Ｓ１３８）。
【００６３】
なお、全ての候補点Ｐxiが処理Ｓ１４０及びＳ１４２の判定条件を満たさなかった場合（Ｓ１４６）は、注目点Ｘへ投影可能な原像面上の点は存在しない、すなわち原像対応点Ｗが存在しないので（Ｓ１４８）、当該注目点Ｘについては原像対応点Ｗの探索範囲のＰendは定めない。この結果、当該注目点Ｘについては探索部２６による原像対応点Ｗの探索処理は行われない。
【００６４】
以上、探索範囲設定部２４による原像対応点Ｗの探索範囲の設定について説明した。探索部２６は、各注目点Ｘに対してそれぞれ設定された探索範囲にて当該注目点Ｘに対応する原像対応点Ｗを探索する。図１１は、探索部２６による探索処理の概略のフロー図である。探索部２６は候補点の設定回数をカウントする制御変数ｉを０に初期化した後（Ｓ１８０）、処理対象とする注目点Ｘについて探索範囲設定部２４により求められた探索範囲［Ｐstart，Ｐend］の中点を１番目の候補点Ｐ'に設定する（Ｓ１８２）。以降、候補点Ｐ'を更新する毎にｉを１ずつインクリメントし（Ｓ１８４）、最大ｍ番目まで（Ｓ１８６）候補点Ｐ'を更新して原像対応点Ｗとして好適なものを探す。具体的には、候補点Ｐ'をプロジェクタ１０により投影し、その投影点Ｔ'をビデオカメラ８によって撮影し撮影画像における点Ｔ'の像である評価点Ｃ'を検出する。評価点Ｃ'を検出できた場合（Ｓ１８８）、注目点Ｘと評価点Ｃ'との距離Ｄを求め、当該距離Ｄを所定の判定閾値εと比較する（Ｓ１９０）。閾値εは、評価点Ｃ'が注目点Ｘに収束したか否かを判定する閾値であり、遠隔指示システム２において必要とされる精度に応じた小さな値に設定される。距離Ｄが閾値ε以下である場合は、現在の候補点Ｐ'を原像対応点Ｗに定める（Ｓ１９２）。
【００６５】
処理Ｓ１８８にて評価点Ｃ'を検出できない場合は、探索範囲であるエピポーラ線Ｌpに沿って候補点Ｐ'を現在の位置からずれた位置の点に更新して（Ｓ１９４）、評価点Ｃ'の検出を試みる（Ｓ１８８）。
【００６６】
処理Ｓ１９０にて距離Ｄが閾値εより大きい場合は、区間［Ｃstart，Ｃ'］及び区間［Ｃ'，Ｃend］のいずれに注目点Ｘが存在するかを判定する。区間［Ｃstart，Ｃ'］に存在する場合は（Ｓ１９６）、現在のＰ'をＰendに設定して、新たな探索範囲を定める（Ｓ１９８）。なお、Ｐendの置き換えに対応して、Ｃendは現在のＣ'で置き換える（Ｓ１９８）。一方、注目点Ｘが区間［Ｃ'，Ｃend］に存在する場合は（Ｓ１９６）、現在のＰ'をＰstartに設定して、新たな探索範囲を定める（Ｓ２００）。なお、Ｐstartの置き換えに対応して、Ｃstartは現在のＣ'で置き換える（Ｓ２００）。これら幅が狭まった新たな探索範囲の中点を新たな候補点Ｐ'に設定することで（Ｓ１８２）、二分法の原理により収束の速度の向上が図られ、原像対応点Ｗの探索が迅速に行われる。
【００６７】
なお、ｍは一つの注目点Ｘについての探索処理の時間の上限に応じて設定され、ｍ番目の候補点Ｐ'が原像対応点Ｗに相当すると判断されなかった場合は、有限時間内に注目点Ｘに相当する原像対応点Ｗは得られなかったとして処理を打ち切る（Ｓ２０２）。
【００６８】
図１２は、探索部２６による探索処理の他の例を示す概略のフロー図である。図１１の処理は、探索範囲に１個の候補点Ｐ'を設定して、当該候補点が原像対応点Ｗに相当するかを評価し、また、新たな探索範囲を定めるために当該候補点で探索範囲を二分した。これに対し、以下、説明する図１２の処理は、探索範囲にｎ個（ｎ≧２）の候補点Ｐj（j＝１，２，・・・，ｎ）を設定して、それらのいずれかが原像対応点Ｗに相当するかを評価し、また、探索範囲におけるそれらによって分割された（ｎ＋１）個の区間のいずれかを新たな探索範囲とする点で図１１の処理と基本的な相違を有する。
【００６９】
図１２において、図１１に関して説明したものと同様の処理には同一の符号を付し、説明の簡潔化を図る。候補点の初期値として、処理対象とする注目点Ｘについて探索範囲設定部２４により求められた探索範囲［Ｐstart，Ｐend］内にｎ個の候補点Ｐj（ｊ＝１，２，・・・，ｎ）を設定する（Ｓ２１０）。Ｐj（ｊ＝１，２，・・・，ｎ）は、Ｐstart側からＰend側に向けて順に配置される。以下、Ｐ0，Ｐ(n+1)はＰstart，Ｐendを意味し、Ｃ0，Ｃ(n+1)はＣstart，Ｃendを意味するものとする。候補点Ｐj（ｊ＝１，２，・・・，ｎ）に対応する評価点Ｃjを検出する（Ｓ２１２）。いずれかの評価点Ｃjを検出できない場合は、対応する候補点Ｐjを、探索範囲であるエピポーラ線Ｌpに沿って現在の位置からずれた位置の点に更新して（Ｓ１９４）、評価点Ｃjの検出を試みる（Ｓ２１２）。
【００７０】
評価点Ｃj（ｊ＝１，２，・・・，ｎ）を検出できた場合（Ｓ２１２）、注目点Ｘと評価点Ｃjとの距離Ｄを求め、いずれかの評価点Ｃkと注目点Ｘとの距離Ｄが閾値ε以下である場合は（Ｓ２１４）、当該評価点Ｃkに対応する候補点Ｐkを原像対応点Ｗに定める（Ｓ２１６）。
【００７１】
処理Ｓ２１４にていずれの評価点Ｃjについても距離Ｄが閾値εより大きい場合は、ｎ＋１個の区間［Ｃj，Ｃ(j+1)］（ｊ＝０，２，・・・，ｎ）のいずれに注目点Ｘが存在するかを判定し（Ｓ２１８）、注目点Ｘが存在する区間［Ｃt，Ｃ(t+1)］を新たな探索範囲に設定する。具体的には、Ｐt，Ｐ(t+1)をそれぞれ新たな探索範囲の端点Ｐstart，Ｐendとし、Ｃt，Ｃ(t+1)をそれら端点に対応する撮像面上の点Ｃstart，Ｃendとする（Ｓ２２０）。このように探索範囲をｎ＋１分割することで、二分法より収束が速やかとなり得る。
【符号の説明】
【００７２】
２  遠隔指示システム、４  対象物、６  サーバ、８  ビデオカメラ、１０  プロジェクタ、１２  端末装置、１４  基準平面、２０  画素間対応演算部、２２  画像面間対応演算部、２４  探索範囲設定部、２６  探索部、３０  コンピュータ、３２  表示装置、３４  ポインティングデバイス。
【図１】
2011044773.tif 000003
【図２】
2011044773.tif 000004
【図３】
2011044773.tif 000005
【図４】
2011044773.tif 000006
【図５】
2011044773.tif 000007
【図６】
2011044773.tif 000008
【図７】
2011044773.tif 000009
【図８】
2011044773.tif 000010
【図９】
2011044773.tif 000011
【図１０】
2011044773.tif 000012
【図１１】
2011044773.tif 000013
【図１２】
2011044773.tif 000014