(57)【特許請求の範囲】
【請求項１】
プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備え、
前記キャリブレーションボードは、２以上の平面からなり、
各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、
前記画像処理装置は、
前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、
前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、
前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、
前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたキャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得するプロジェクタ特性取得機能部と、
平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得するレンズ特性取得機能部と、
を有する
ことを特徴とするプロジェクタシステム。
【請求項２】
前記画像処理装置は、
被投影対象の表面に複数設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、
前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標点群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、
を更に有する
ことを特徴とする請求項１記載のプロジェクタシステム。
【請求項３】
前記空間座標入力機能部は、被投影対象内部のターゲットの空間座標点群を更に入力し、
前記画像処理装置は、
前記レンズ特性と、前記被投影対象位置特性と、前記ターゲットの空間座標点群と、に基づいてターゲットの投影画像座標点群を取得するターゲット投影画像座標点群取得機能と、
を更に有する
ことを特徴とする請求項２記載のプロジェクタシステム。
【請求項４】
前記画像処理装置は、
前記レンズ特性と、前記被投影対象位置特性と、前記レジストレーションマーカの空間座標点群と、に基づいて、レジストレーションマーカ確認用投影画像座標点群を再取得するレジストレーションマーカ確認用投影画像座標群再取得機能と、
を更に有する
ことを特徴とする請求項２記載のプロジェクタシステム。
【請求項５】
前記空間座標入力機能部は、被投影対象の表面に設けられた確認マーカの空間座標を入力し、
前記画像処理装置は、
前記レンズ特性と、前記被投影対象位置特性と、前記確認マーカの空間座標と、に基づいて確認マーカの投影画像座標を取得する確認マーカ投影画像座標取得機能と、
を更に有する
ことを特徴とする請求項２記載のプロジェクタシステム。
【請求項６】
前記キャリブレーションボードには、チェッカーフラッグ模様が付されており、
前記キャリブレーションマーカは、チェッカーフラッグの交点である
ことを特徴とする請求項１に記載のプロジェクタシステム。
【請求項７】
前記チェッカーフラッグの交点は８〜２０点である
ことを特徴とする請求項６に記載のプロジェクタシステム。
【請求項８】
第１平面と第２平面と第３平面とからなり、
第１平面と第２平面とは、正面視凸状を形成し、
第２平面と第３平面とは、正面視凹状を形成し、
各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置されており、
前記規則的な配列の位置関係は既知である
ことを特徴とするキャリブレーションボード。
【請求項９】
プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備えるプロジェクタシステムのキャリブレーション方法であって、
前記キャリブレーションボードは、２以上の平面からなり、各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、
前記画像処理装置は、
前記プロジェクタの投影画像の座標系を設定し、
前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作し、
前記カーソルが一のキャリブレーションマーカに移動したとき、前記外部入力手段からの選択指令に基づいて、該キャリブレーションマーカが選択されたと判断し、選択されたキャリブレーションマーカに対応する投影画像座標を取得し、
前記複数のキャリブレーションマーカに対応する投影画像座標を取得して、キャリブレーションマーカの投影画像の座標点群を取得し、
前記キャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得し、
平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得する
ことを特徴とするプロジェクタシステムのキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、プロジェクタシステムのキャリブレーションおよびレジストレーションに関する。
【背景技術】
【０００２】  近年、プロジェクトマッピングに係る技術が注目されている。東京駅駅舎や大阪城などの壁面に、非現実的な映像を投影することにより、幻想的な空間を演出できる。また、ビル壁面に芸術的な映像を投影することにより、都市景観に変化を付けることができる。プロジェクトマッピングを利用したイベントは、観客の目を楽しませ、大きな集客力を見込める。これにより、大きな経済効果を期待できる。【０００３】  また、非現実的な映像を投影し、観客の目を楽しませることができる為、娯楽の分野にも適用されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０１０３６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】  一方で、他の工学など実用的な分野への適用実績は少ない。【０００６】  その理由として、各工学分野や他の学問分野では、分野ごとに体系化され完成されており、全く違った分野の技術を新たに受け入れにくい、すなわち、分野の縦割りによる弊害が一因として挙げられる。他方、プロジェクトマッピング参入の敷居が高いことも要因であると思われる。【０００７】  現在のプロジェクトマッピング技術の実務では、専門知識を持った映像技術者が特殊な機械を用いている。また、映像鑑賞を目的とするため、要求される精度も高い。つまり、映像処理技術の専門家は芸術家気質の人が多く、「実用に耐え得れば充分である」という発想が起きにくい。【０００８】  したがって、映像処理技術の専門家以外の者が、プロジェクトマッピング技術を応用しようとしても、手軽に始めることができず、専門家の助けを必要とする。その結果、既存技術にプロジェクトマッピング技術を組み合わせて、あらたな技術を開発する契機になりにくい。【０００９】  例えば、プロジェクタを用いる前にプロジェクタのキャリブレーションが必要である。プロジェクタのキャリブレーションは、カメラのキャリブレーションに係る従来技術を応用したものである。すなわち、予め位置が既知の空間とその画像上の投影点の関係がわかれば、計算によりカメラパラメータを導出することができる。同様に、プロジェクタのキャリブレーションも、投影画像と投影先の空間点の対応がわかれば、計算可能である。【００１０】  プロジェクタとカメラの対応関係取得には、空間コード化法を適用する。プロジェクタからの構造光を投影して空間を２進コードで符号化し、カメラで取得した画像を基に復号化し、プロジェクタとカメラとの画素の対応を調べる。これにより、カメラ画像をプロジェクタ画像に変換することができる。【００１１】  上記手法では、プロジェクタとカメラと投影対象とを適切に配置し、適切な位置に光源を設定さえすれば、演算装置がキャリブレーションを行うため、高精度である。【００１２】  しかしながら、プロジェクタとカメラと投影対象とを適切に配置し、光源を適切に設定することは、経験が必要であり、映像処理技術の専門家以外では困難である。さらに、何回か配置を変更する必要がある。未経験者では、迅速に再配置することが困難である。【００１３】  また、カメラを用いる手法は、システムの肥大化、複雑化を招く問題があった。【００１４】  本発明は上記課題を解決するものであり、映像処理技術の専門家以外、とくに他分野の専門家が扱える簡便なプロジェクタシステムを提供することを目的とする。
【課題を解決するための手段】
【００１５】  上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、キャリブレーションボードと、を備え、前記キャリブレーションボードは、２以上の平面からなり、各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置され、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたキャリブレーションマーカの投影画像の座標点群と、既知であるキャリブレーションマーカの空間座標点群と、に基づいて、平面ごとに、プロジェクタ特性を取得するプロジェクタ特性取得機能部と、平面ごとのプロジェクタ特性に基づいて、平面ごとのキャリブレーションボード位置特性を除去し、前記プロジェクタのレンズ特性を取得するレンズ特性取得機能部と、を有する。【００１６】  上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、を備え、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソルが任意の位置に移動したとき、前記外部入力手段からの選択指令に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、前記プロジェクタのレンズ特性を入力するレンズ特性取得機能部と、被投影対象の表面に設けられたレジストレーションマーカの空間座標点群を入力する空間座標入力機能部と、前記カーソル操作機能部および前記カーソル座標取得機能部を介して取得されたレジストレーションマーカの投影画像座標点群と、前記レジストレーションマーカの空間座標群と、前記レンズ特性と、に基づいて、被投影対象位置特性を取得する被投影対象位置特性取得機能部と、を有する。【００１７】  上記課題を解決する本発明のプロジェクタシステムは、プロジェクタと、画像処理装置と、外部入力手段と、を備え、前記画像処理装置は、前記プロジェクタの投影画像の座標系を設定する投影画像座標系設定機能部と、前記外部入力手段からの位置情報に基づいて、前記プロジェクタから投影されるカーソルを操作するカーソル操作機能部と、前記カーソル操作により任意の位置が選択されたとき、前記外部入力手段からの選択指令に基づいて、選択位置のカーソルに対応する投影画像座標を取得するカーソル座標取得機能部と、を有する。【００１８】  上記構成により、キャリブレーションマーカまたはレジストレーションマーカの投影画像の座標点群を、カーソル操作機能部およびカーソル座標取得機能部を介して取得できる。すなわち、プロジェクタから投影される���ーソルを直観的な座標入力インターフェイスとして、利用できる。その結果、カメラなしでも、簡単に、キャリブレーションやレジストレーションができる。【００１９】  上記発明において、更に好ましくは、前記空間座標入力機能部は、被投影対象内部のターゲットの空間座標点群を更に入力し、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記ターゲットの空間座標点群と、に基づいてターゲットの投影画像座標点群を取得するターゲット投影画像座標点群取得機能と、を更に有する。【００２０】  これにより、簡単に、ターゲット画像を被投影対象に投影できる。【００２１】  上記発明において、更に好ましくは、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記レジストレーションマーカの空間座標点群と、に基づいて、レジストレーションマーカ確認用投影画像座標点群を再取得するレジストレーションマーカ確認用投影画像座標群再取得機能と、を更に有する。【００２２】  上記発明において、更に好ましくは、前記空間座標入力機能部は、被投影対象の表面に設けられた確認マーカの空間座標を入力し、前記画像処理装置は、前記レンズ特性と、前記被投影対象位置特性と、前記確認マーカの空間座標と、に基づいて確認マーカの投影画像座標を取得する確認マーカ投影画像座標取得機能と、を更に有する。【００２３】  これにより、簡単に、レジストレーションが良好であることを確認できる。
【発明の効果】
【００２４】  本発明のプロジェクタシステムは簡便であり、映像処理技術の専門家以外、特に他分野の専門家でも扱える。その結果、各分野の既存技術にプロジェクトマッピング技術を組み合わせることにより、既存技術を改良できる。
【図面の簡単な説明】
【００２５】
【図１】画像処理装置の機能ブロック図（キャリブレーション）
【図２】画像処理装置の処理フロー図（キャリブレーション）
【図３】動作概念図（キャリブレーション）
【図４】精度検証（キャリブレーション）
【図５】画像処理装置の機能ブロック図（レジストレーション）
【図６】画像処理装置の処理フロー図（レジストレーション）
【図７】動作概念図（レジストレーション）
【図８】画像処理装置の機能ブロック図（レジストレーション確認）
【図９】画像処理装置の機能ブロック図（レジストレーション確認）
【図１０】適用例１
【図１１】適用例２
【図１２】適用例３
【発明を実施するための形態】
【００２６】  ＜キャリブレーション＞  〜構成〜
【００２７】  本実施形態のキャリブレーションに係る構成について説明する。プロジェクタシステムは、プロジェクタ１と、画像処理装置２と、外部入力手段３と、キャリブレーションボード４を備える。
【００２８】  プロジェクタ１は、量販店で市販されている一般的なプロジェクタであることを、想定している。すなわち、プロジェクトマッピングを利用したイベント等で用いられる特殊なプロジェクタではない。
【００２９】  画像処理装置２は、量販店で市販されている一般的なパーソナルコンピュータ（パソコン）であることを、想定している。画像処理装置２は、プロジェクタ１に有線または無線にて接続されている。
【００３０】  画像処理装置２として、量販店で市販されている一般的なタブレット型コンピュータ（タブレット）を用いてもよい。
【００３１】  画像処理装置２がパソコンである場合、外部入力手段３はマウス、トラックボール、タッチパッド等であることを、想定している。
【００３２】  画像処理装置２がタブレットである場合、外部入力手段３はタッチパネルであることを、想定している。
【００３３】  キャリブレーションボード４は、２以上の平面からなる。たとえば、第１平面と第２平面と第３平面とからなる自立可能な３面式である（図３参照）。
【００３４】  第１平面と第２平面とは、正面視凸状を形成し、第２平面と第３平面とは、正面視凹状を形成している。これにより、凹凸両方の形状に対応できる。
【００３５】  各平面には、複数のキャリブレーションマーカが規則的な配列を形成するように配置されている。
【００３６】  たとえば、チェッカーフラッグ模様が付されており、チェッカーフラッグの各交点がキャリブレーションマーカを構成する。
【００３７】  チェッカーフラッグの交点は８〜２０点であることが好ましい（検討後述）。
【００３８】  図１は、画像処理装置２の機能ブロック図である。画像処理装置２は、投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、プロジェクタ特性取得機能部１４と、レンズ特性取得機能部１５と、を有する。
【００３９】  投影画像座標系設定機能部１１は、プロジェクタ１の画素情報を入力し、プロジェクタ１による投影画像の座標系を設定する。たとえば、1280x800の座標系を設定する。
【００４０】  本実施形態では、座標入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。
【００４１】  カーソル操作機能部１２は、マウス３等の動作と連動し、マウス３の位置情報に基づいて、カーソルを操作する。カーソル操作により、カーソルをキャリブレーションマーカ上に合わせることができる。
【００４２】  カーソル座標取得機能部１３は、カーソルが任意の位置にあるとき、選択指令（例えばマウス３のクリック）に基づいて、任意位置を選択位置と判断し、選択位置のカーソルに対応する投影画像座標（x,y）を取得する。カーソルを各キャリブレーションマーカ上に合わせて選択すると、各キャリブレーションマーカの投影画像座標を取得できる。
【００４３】  すなわち、カーソル操作機能部１２および前記カーソル座標取得機能部１３を介して、平面ごとに、キャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２を取得できる。説明の簡略化の為、２平面とする。座標点群とは、点群の座標もしくはマーカ集合の座標を意味する。
【００４４】  一般に、投影画像座標と空間座標の関係は、以下のように規定される。  ｍ＝Ｐ・Ｍ  ただし、ｍは投影画像座標、Ｐはプロジェクタ特性を示す行列、Ｍは空間座標である。
【００４５】  ここで、キャリブレーションボード４上の各平面には、複数のキャリブレーションマーカが規則正しい配列を形成するように配置されている。規則的な配列の位置関係は既知である。したがって、キャリブレーションマーカの空間座標点群Ｍは既知である。
【００４６】  プロジェクタ特性取得機能部１４は、キャリブレーションマーカの空間座標点群Ｍおよび平面ごとのキャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２に基づいて、プロジェクタ特性Ｐを取得する。
【００４７】  プロジェクタ特性Ｐには、レンズ特性ＰＬと位置特性ＰＲとが含まれている。レンズ特性ＰＬは内部パラメータ、位置特性ＰＲは外部パラメータとも呼ばれる。
【００４８】  レンズ特性取得機能部１５は、平面ごとのプロジェクタ特性Ｐ１，Ｐ２に基づいて、平面ごとのキャリブレーションボード位置特性ＰＲ１，ＰＲ２を除去し、プロジェクタ１のレンズ特性ＰＬを取得する。具体的には、レンズ特性（内部パラメータ）の未知数５個、位置特性（外部パラメータ）の未知数６個であるので、１１個の未知数を求める連立方程式を解く。
【００４９】  〜動作〜  本実施形態のキャリブレーションに係る動作について説明する。図２は、画像処理装置２の処理フローである。図３は、キャリブレーションに係る動作概念図である。
【００５０】  プロジェクタ１の画素情報（たとえば、1280x800）を入力し、プロジェクタ１による投影画像の座標系を設定する（ステップＳ１１）。
【００５１】  プロジェクタ１の投影範囲に、キャリブレーションボード４を配置する。
【００５２】  プロジェクタ１よりキャリブレーションボード４にカーソルを投影する。
【００５３】  マウス３を操作し、マウス３の位置に連動させて、カーソルを移動する（ステップＳ１２−１）。
【００５４】  操作者は、カーソルを見ながらマウス３を操作し、カーソルをキャリブレーションマーカ上に移動させる。この状態で、マウス３をクリックし、キャリブレーションマーカを選択する（ステップＳ１２−２）。
【００５５】  マウス３の選択指令に基づいて、キャリブレーションマーカに対応する投影画像座標を取得する（ステップＳ１２−３）。
【００５６】  図３において、点線の四角は投影画像座標系を示唆する。
【００５７】  また、図３において、キャリブレーションボード４は、３面式であり、各平面には、チェッカーフラッグ模様が付されており、チェッカーフラッグの交点は、４×５（＝２０）である。格子点間隔は３０×３０ｍｍである。
【００５８】  第１面〜第３面毎に２０個のキャリブレーションマーカに対応する投影画像座標を取得して（ステップＳ１２−１〜３繰り返し）、各平面ごとにキャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２・・・を取得する（ステップＳ１２）。
【００５９】  一方、キャリブレーションマーカの空間座標点群Ｍは既知である。キャリブレーションマーカは３次元座標として与えられている。
【００６０】  キャリブレーションマーカの投影画像の座標点群ｍ１，ｍ２と、キャリブレーションマーカの空間座標点群Ｍと、に基づいて、平面ごとに、プロジェクタ特性Ｐ１，Ｐ２を取得する（ステップＳ１２）。
【００６１】  平面ごとのプロジェクタ特性Ｐ１，Ｐ２に基づいて、平面ごとのキャリブレーションボード位置特性ＰＲ１，ＰＲ２を除去し、共通するプロジェクタのレンズ特性ＰＬを取得する（ステップＳ１３）。
【００６２】  これにより、キャリブレーションを完了する。
【００６３】  〜精度の検証〜  本実施形態のキャリブレーションと従来方法（カメラを用いる）とを比較し、精度の検証を検証した。再投影誤差により精度を評価した。再投影誤差は、計算で得られたパラメータの正確さを示す指標であり、この値が小さい程、得られたパラメータが正確であると評価できる。従来方法では１０回おこなった。本実施形態では各６回おこなった。本実験は誤差やバラツキを評価するものであり、毎回、プロジェクタとキャリブレーションボード（チェッカーボード）との位置関係を変化させた。
【００６４】  図４に評価結果を示す。
【００６５】  従来方法は、再投影誤差０．１２〜０．１５（ｍｍ）であった。１０回のバラツキが大きいため、幅を持たせた表現とした。
【００６６】  本実施形態のキャリブレーションの検証では、ボード平面を１面〜３面と変化させた。さらに、各面毎に、チェッカー交点８点（＝４×２）、１２点（＝４×３）、１６点（＝４×４）、２０点（＝４×５）と変化させた。
【００６７】  本実施形態では、実験６回において明確なバラツキはなかったため、平均値で表現した。
【００６８】  １面〜３面のいずれの場合も、チェッカー交点８〜２０点の変化に対する明確な差異は見られなかった。この結果は、当所想定していたより、操作者による判断が充分正確であることを示唆するものである。
【００６９】  一方、ボード１面の場合、従来方法と比較して精度が劣っている。ランク落ちと言われる計算誤差が発生して、実用的でない。２面の場合、従来方法と同程度の精度が得られる。３面の場合、従来方法と比較して、精度が向上している。
【００７０】  したがって、キャリブレーションボードは、２面以上から構成される必要がある。３面以上であるとなお好ましい。各面あたりの交点数は８〜２０であれば、精度を確保できる。
【００７１】  〜効果〜  上記構成及び動作による効果についてまとめる。
【００７２】  本実施形態におけるキャリブレーションは、マウス３によりキャリブレーションマーカを選択するものである。直観的なインターフェイスにより、映像処理技術の専門家以外でも扱える。
【００７３】  一度、キャリブレーションボードを配置すれば、何度も配置換えをする必要がない。これによりキャリブレーションにおける作業手間を軽減できる。
【００７４】  カメラ不要であり、構成が簡素である。その結果、演算負荷が軽減される。  また、カメラ不要であることにより、事前の配置設定の負担が軽減される。すなわち、プロジェクタの投影範囲にキャリブレーションボードを配置するのみである。
【００７５】  従来技術と同等以上の精度が得られる。また、誤差のバラツキが少ない。
【００７６】  また、キャリブレーションボード４以外は、量販店で市販されているプロジェクタ１と、パソコン２と、マウス３を用いる。キャリブレーションボード４も簡単に作成できる。これにより、簡単にシステムを構築できる。
【００７７】  ＜レジストレーション＞  〜構成〜  本実施形態のレジストレーションに係る構成について説明する。プロジェクタシステムは、プロジェクタ１と、画像処理装置２と、外部入力手段３を備える。キャリブレーションに係る構成に、レジストレーションに係る構成を付加することが合理的であるが、説明の便宜に為、独立した構成として説明する。共通する構成については同じ符号を付し適宜説明を省略する。
【００７８】  図５は、画像処理装置２の機能ブロック図である。画像処理装置２は、投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、レンズ特性取得機能部１５と、空間座標入力機能部２１と、被投影対象位置特性取得機能部２２を有する。
【００７９】  以上が、レジストレーションに係る構成であるが、図５には、ターゲット画像投影に係る構成であるターゲット投影画像座標点群取得機能２３も追記されている。
【００８０】  投影画像座標系設定機能部１１と、カーソル操作機能部１２と、カーソル座標取得機能部１３と、については、キャリブレーションに係る構成と共通である。レンズ特性取得機能部１５は、キャリブレーションで得られたレンズ特性ＰＬを入力する。
【００８１】  一般に、投影画像座標と空間座標の関係は、以下のように規定される。  ｍ＝（ＰＬ・ＰＲ）・Ｍ  ただし、ｍは投影画像座標、ＰＬはレンズ特性（内部パラメータ）を示す行列、ＰＲは位置特性（外部パラメータ）を示す行列、Ｍは空間座標である。
【００８２】  被投影対象表面には、予めレジストレーションマーカが複数設けられている。したがって、カーソル操作機能部１２およびカーソル座標取得機能部１３を介してレジストレーションマーカの投影画像座標点群ｍｍを取得できる。
【００８３】  つまり、レジストレーションでも、座標入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。
【００８４】  空間座標入力機能部２１は、被投影対象の表面に複数設けられたレジストレーションマーカの空間座標点群Ｍｍと、被投影対象内部のターゲットの空間座標点群Ｍｔと、を外部より入力する。なお、レジストレーションのためだけなら、レジストレーションマーカの空間座標点群Ｍｍを取得するのみでよい。
【００８５】  被投影対象位置特性取得機能部２２は、レジストレーションマーカの投影画像座標点群ｍｍと、レジストレーションマーカの空間座標点群Ｍｍと、レンズ特性ＰＬと、に基づいて、被投影対象位置特性ＰＲを取得する。
【００８６】  ターゲット投影画像座標点群取得機能２３は、レンズ特性ＰＬと、被投影対象位置特性ＰＲと、ターゲットの空間座標点群Ｍｔと、に基づいてターゲットの投影画像座標点群ｍｔを取得する。
【００８７】  〜動作〜  本実施形態の、レジストレーションに係る動作について説明する。図６は、画像処理装置２の処理フローである。図７は、レジストレーションに係る動作概念図である。
【００８８】  プロジェクタ１の画素情報（たとえば、1280x800）を入力し、プロジェクタ１による投影画像の座標系を設定する（ステップＳ２１）。
【００８９】  プロジェクタ１の投影範囲に被投影対象（特に全てのレジストレーションマーカ）が入るように、プロジェクタ１を配置する。
【００９０】  プロジェクタ１より被投影対象にカーソルを投影する。
【００９１】  マウス３を操作し、マウス３の位置に連動させて、カーソルを移動する（ステップＳ２２−１）。
【００９２】  操作者は、カーソルを見ながらマウス３を操作し、カーソルをレジストレーションマーカ上に合わせる。この状態で、マウス３をクリックし、レジストレーションマーカを選択する（ステップＳ１２−２）。
【００９３】  マウス３の選択指令に基づいて、レジストレーションマーカに対応する投影画像座標を取得する（ステップＳ２２−３）。
【００９４】  図７において、点線の四角は投影画像座標系を示唆する。また、レジストレーションマーカｍ１に対応する投影画像座標ｍｍ１を取得した例である。
【００９５】  図７の場合、レジストレーションマーカｍ１〜ｍ５は均等に５つ設けられている。レジストレーション精度と作業手間のバランスを考慮すると、５〜８点程度が好ましい。
【００９６】  ５点のレジストレーションマーカｍ１〜ｍ５に対応する投影画像座標を取得して（ステップＳ２２−１〜３繰り返し）、レジストレーションマーカの投影画像の座標点群ｍｍを取得する（ステップＳ２２）。
【００９７】  一方、キャリブレーションで得られたレンズ特性ＰＬを取得する（ステップＳ２３）。また、レジストレーションマーカの空間座標点群Ｍｍを外部より入力する（ステップＳ２４）。レジストレーションマーカは予め３次元座標として与えられている。
【００９８】  レジストレーションマーカの投影画像の座標点群ｍｍと、レジストレーションマーカの空間座標点群Ｍｍと、レンズ特性ＰＬと、に基づいて、被投影対象位置特性ＰＲを取得する（ステップＳ２５）。
【００９９】  これにより、レジストレーションを完了する。
【０１００】  ついで、本実施形態の、ターゲット画像投影に係る動作について説明する。
【０１０１】  被投影対象内部のターゲットの空間座標点群Ｍｔを外部より入力する（ステップＳ２６）。ターゲットの空間座標は予め３次元座標として与えられている。なお、ステップＳ２４にて併せて取得しても良い。
【０１０２】  レンズ特性ＰＬと、被投影対象位置特性ＰＲと、ターゲットの空間座標点群Ｍｔと、に基づいてターゲットの投影画像座標点群ｍｔを取得する（ステップＳ２７）。
【０１０３】  ターゲットの投影画像座標点群ｍｔをプロジェクタ１に出力する。プロジェクタ１は、ターゲットの投影画像座標点群ｍｔに係る画像を被投影対象に投影する（ステップＳ２８）（図１０参照）。
【０１０４】  〜効果〜  レジストレーションでも、直感的な入力インターフェイスとして、プロジェクタ１から投影されるカーソルを用いる。すなわち、キャリブレーションで述べた効果と同等の効果が得られる。
【０１０５】  ところで、キャリブレーションおよび空間座標外部入力は、事前に行われている。
【０１０６】  操作者が実際に作業直前に行う動作は、プロジェクタ１を適切な位置に配置し、マウス３を介して数点（上記では５点）のレジストレーションマーカを選択するだけである。投影に係る作業負担を軽減することで、投影画像による補助情報を参考にしながら、本来の作業に集中できる（適用例参照）。
【０１０７】  ＜レジストレーション確認＞  本実施形態のレジストレーション確認に係る構成について説明する。レジストレーションに係る構成に付加するものであり、共通する構成については同じ符号を付し適宜説明を省略する。
【０１０８】  レジストレーション確認に係る構成として、レジストレーションマーカを用いるもの（確認動作１）と、新たに確認マーカを用いるもの（確認動作２）の２種類ある。いずれか一方でも良いし、併用しても良い。ただし、説明の便宜に為、確認動作１および確認動作２を併用した実施形態は図示を省略する。
【０１０９】  〜確認動作１〜  図８は、画像処理装置２の機能ブロック図である。図５に係る機能ブロックにレジストレーションマーカ確認用投影画像座標群再取得機能２４を付加したものである。
【０１１０】  レジストレーションマーカ確認用投影画像座標群再取得機能２４は、レンズ特性ＰＬと、被投影対象位置特性ＰＲと、レジストレーションマーカの空間座標点群Ｍｍと、に基づいて、レジストレーションマーカ確認用投影画像座標点群ｍｍｃを再取得する。
【０１１１】  なお、レジストレーションマーカ投影画像座標点群ｍｍとレジストレーションマーカ確認用投影画像座標点群ｍｍｃとは、似て非なるものである。レジストレーションマーカ投影画像座標点群ｍｍがマウス３によるマーカ選択から得られるのに対し、レジストレーションマーカ確認用投影画像座標点群ｍｍｃは、既得のＰＬ、ＰＲ、Ｍｍとに基づいて画像処理装置２が演算するものである。言い換えると、レジストレーションマーカ投影画像座標点群ｍｍにはレジストレーション結果が反映されていないのに対し、レジストレーションマーカ確認用投影画像座標点群ｍｍｃには、レジストレーション結果が反映されている。
【０１１２】  画像処理装置２は、レジストレーションマーカ確認用投影画像座標点群ｍｍｃをプロジェクタ１に出力する。プロジェクタ１は、レジストレーションマーカ確認用投影画像座標点群ｍｍｃに係る画像を被投影対象に投影する。このとき、カーソルによるレジストレーションマーカ選択時（ステップＳ２２）と投影画像の色を変える。
【０１１３】  異なった色の確認画像が、レジストレーションマーカｍ１〜ｍ５上に投影されていれば、目視により操作者はレジストレーションが良好であると確信する。
【０１１４】  〜確認動作２〜  図９は、画像処理装置２の機能ブロック図である。図５に係る機能ブロックに確認マーカ投影画像座標取得機能２５を付加したものである。被投影対象の表面には、レジストレーションマーカｍ１〜ｍ５とは別に、確認マーカｍｃが設けられている（図７参照）。確認マーカｍｃの空間座標Ｍｃは３次元座標として予め与えられている。
【０１１５】  空間座標入力機能部２１は、レジストレーションマーカの空間座標点群Ｍｍ、被ターゲットの空間座標点群Ｍｔに加えて、確認マーカｍｃの空間座標Ｍｃを外部より入力する。
【０１１６】  確認マーカ投影画像座標取得機能２５は、レンズ特性ＰＬと、被投影対象位置特性ＰＲと、確認マーカの空間座標Ｍｃと、に基づいて確認マーカの投影画像座標ｍｃを取得する。
【０１１７】  画像処理装置２は、確認マーカの投影画像座標ｍｃをプロジェクタ１に出力する。プロジェクタ１は、確認マーカの投影画像座標ｍｃに係る画像を被投影対象に投影する。確認画像が、確認マーカｍｃ上に投影されていれば、目視により操作者はレジストレーションが良好であると確信する。
【０１１８】  ところで、本願の対象ユーザは、映像処理技術の専門家以外である。ユーザが画像処理の詳細を理解できていない場合、確認動作１では、操作者自らがマウス３を介して選択したレジストレーションマーカ投影画像座標点群ｍｍを再投影しているだけであると誤解する可能性もある。これでは、操作者に安心感を与えることができない。
【０１１９】  確認動作２では、操作者自らが選択していない、確認マーカｍｃ上に、確認画像が投影されるため、確認マーカｍｃ上の確認画像は画像処理による結果であることを理解でき、操作者に安心感を与えることができる。
【０１２０】  ＜適用例＞  〜概要〜  本発明は、対象物の内部構造が既知であるが、対象物を非破壊状態のまま内部構造を可視化したいときに有用である。以下に、コンクリート内部の鉄筋の超音波探査、美術品の一般公開、交差点での道路工事、センチネルリンパ節生検への適用例について説明する。
【０１２１】  いずれの場合も、操作者は各分野の専門家であるが、映像処理技術に関する専門知識は乏しいものとする。
【０１２２】  また、キャリブレーションボード４以外は、量販店で市販されているプロジェクタ１と、パソコン２と、マウス３を用いる。すなわち、簡単にシステムを構築できる。他分野の既存技術に本願投影技術を容易に適用できる。
【０１２３】  〜適用例１〜  図１０は、適用例１の概要である。
【０１２４】  地震後、目視ではコンクリート構造物に被害がない場合でも、内部の鉄筋が損傷している場合がある。これに対し、コンクリート表面から、鉄筋の超音波探査を行い、鉄筋が健全であることを確かめる。
【０１２５】  キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。コンクリート構造物および配筋の空間座標は、設計図面に基づいて事前に作成しておく。
【０１２６】  コンクリート構造物表面の所定の位置にレジストレーションマーカを設けておく。当該位置情報は事前に空間座標として作成しておく。
【０１２７】  以上の準備が終わり次第、配筋画像をコンクリート構造物に投影する。
【０１２８】  投影画像を参照しながら、対象鉄筋位置を推定し、超音波探査をおこなう。可視化することで、調査対象を特定でき、探査精度が向上する。
【０１２９】  調査現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、調査員は調査に集中できる。
【０１３０】  〜適用例２〜  図１１は、適用例２の概要である。
【０１３１】  古文書調査により、大きな宗教彫刻の中に小さな宗教彫刻が埋設されていることがわかった。ＣＴ調査によっても埋設が裏付けされた。博物館の学芸員は、より効果的な方法で、宗教彫刻を一般公開することを考えている。
【０１３２】  キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。大きな宗教彫刻および小さな宗教彫刻の空間座標は、ＣＴ画像情報に基づいて事前に作成しておく。
【０１３３】  大きな宗教彫刻表面の所定の位置にレジストレーションマーカを設けておく。このレジストレーションマーカを含めてＣＴ画像情報を作成しておく。
【０１３４】  以上の準備が終わり次第、小さな宗教彫刻に係る画像を大きな宗教彫刻表面に投影する。
【０１３５】  投影画像により可視化することで、観者の想像力を補完し、宗教美術に知識のない一般閲覧者にも、芸術に対する理解を深めてもらうことができる。
【０１３６】  博物館の閲覧室では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、学芸員は一般閲覧者への説明に集中できる。
【０１３７】  〜適用例３〜  図１２は、適用例３の概要である。
【０１３８】  都市の交差点には、複数のライフラインが複雑に埋設されている。ライフラインが切断されると、都市機能が麻痺する可能性もある。したがって、道路工事を行う場合は、事前に関連部門と綿密な打ち合わせを行い、慎重に道路掘削を行う。
【０１３９】  キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。道路およびライフラインの空間座標は、設計図面に基づいて事前に作成しておく。
【０１４０】  道路表面の所定の位置にレジストレーションマーカを設けておく。当該位置情報は事前に空間座標として作成しておく。プロジェクタは高所作業車により高所に設置しておく。
【０１４１】  以上の準備が終わり次第、ライフライン画像を道路表面に投影する。
【０１４２】  投影画像を参照しながら、ライフライン位置を推定し、ライフラインを避けながら慎重に道路掘削を行う。可視化することで、油圧ショベルオペレータの負担を軽減できる。
【０１４３】  工事現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、工事関係者は本来の工事に集中できる。
【０１４４】  〜適用例４〜  乳癌の進行を確かめるため、センチネルリンパ節生検が行われている。センチネルリンパ節とは、リンパ管にはいった癌細胞が最初に辿りつくリンパ節であり、リンパ管転移の有無を調べるために利用される。センチネルリンパ節を同定し、生検針を挿入し、体組織を採取する。
【０１４５】  キャリブレーションボード４を用いて、キャリブレーションは事前に行っておく。体表およびリンパ管の空間座標は、ＣＴ画像情報に基づいて事前に作成しておく。
【０１４６】  体表の所定の位置にレジストレーションマーカを設けておく。このレジストレーションマーカを含めてＣＴ画像情報を作成しておく。
【０１４７】  以上の準備が終わり次第、リンパ管画像を体表に投影する。
【０１４８】  投影画像を参照しながら、リンパ管画像を推定し、生検針を挿入し、体組織を採取する。可視化することで、術者の負担を軽減できる。
【０１４９】  体組織採取の現場では、簡単なレジストレーション作業のみであるので、投影作業に手間取ることなく、術者は手術に集中できる。
【０１５０】  ＜補足＞  従来技術と本発明の相違点を噛み砕いて再度説明する。更に、相違点について検討し、明細書本文では説明しきれなかった点について補足する。
【０１５１】  従来技術のキャリブレーションでは、カメラを用い、カメラ、プロジェクタ、被投影対象物、光源の配置を適切に行えば、演算装置がキャリブレーションを行っていた。いわば全自動であった。したがって、ブラックボックス化されていると言える。
【０１５２】  本発明では、カメラを用いず、直感的な入力インターフェイスとして、プロジェクタから投影されるカーソルを用い、キャリブレーションマーカの投影画像座標を取得している。いわば、半自動（半手動）である。操作者の判断が一部入り、直感的であるといえる。
【０１５３】  ところで、本願が扱っている投影対象および被投影対象（適用例参照）は、個別具体的であり、画一的に対応できない。その結果、ブラックボックス化された従来技術は、映像処理技術の専門家以外のユーザには扱いづらいものであった。
【０１５４】  つまり、ブラックボックス化された技術は、最も一般的な使用環境を想定して、素人にも使いやすい様に設計されている。これにより、一般的使用環境と言う前提であれば、素人には扱いやすい。逆に言うと、本願のように使用環境が個別具体的に変化すると、ブラックボックス化されているため、素人では対応できない。
【０１５５】  一方、本願は、直感的であるため、個別具体的に使用環境が異なっても、素人でも対応できる。映像処理技術の専門家以外のユーザにも扱いやすい。
【０１５６】  以上のように、発明者は、全自動が万能でないことに着目した。
【０１５７】  しかしながら、着想段階では、扱いやすさと精度はトレードオフの関係にあるものと思われた。
【０１５８】  すなわち、従来技術が全自動であるのに対し、本願発明は半自動であり、操作者の判断が混じる。その結果、本願発明では、バラツキや誤差が大きくなるものと予想されていた。
【０１５９】  発明者は、操作者の判断から生じるバラツキや誤差を実験により定量的に評価した。実験結果に基づき、予想に反し、本願発明は従来技術と同等以上の精度を有し、かつバラツキが少ないことを見出した（詳細上記）。更に、実験結果を考察した。
【０１６０】  従来技術の高精度は、映像処理技術の専門家がカメラ、プロジェクタ、被投影対象物、光源を適切に配置することを前提とするものである。配置設定の時点で、既に、専門家の経験やノウハウが反映されている。
【０１６１】  従って、本願のように、映像処理技術の専門家以外のユーザを対象とする場合、上記のような（予想とは逆の）結果になる。
【０１６２】  このように、本願発明は、扱いやすさと精度を兼ね備えている。トレードオフの関係ではない。
【０１６３】  以上のように、発明者は、従来技術の問題点の根本原因に着目した。
【０１６４】  そして、本願発明者は、上記のような試行錯誤を経て、本願発明を完成させた。
【符号の説明】
【０１６５】  １  プロジェクタ  ２  画像処理装置  ３  外部入力手段  ４  キャリブレーションボード  １１  投影画像座標系設定機能部  １２  カーソル操作機能部  １３  カーソル座標取得機能部  １４  プロジェクタ特性取得機能部  １５  レンズ特性取得機能部  ２１  空間座標入力機能部  ２２  被投影対象位置特性取得機能部  ２３  ターゲット投影画像座標点群取得機能  ２４  レジストレーションマーカ確認用投影画像座標群再取得機能  ２５  確認マーカ投影画像座標取得機能
【要約】映像処理技術の専門家以外のユーザが扱える簡便なプロジェクタシステムを提供する。プロジェクタシステムは、プロジェクタ１と、パソコン２と、マウス３と、キャリブレーションボード４を備える。キャリブレーションボード４には、チェッカーフラッグ模様が付されており、交点がマーカとなる。直観的な入力インターフェイスとして、プロジェクタ１からキャリブレーションボード４に投影されるカーソルを用いる。操作者は、カーソルを見ながらマウス３を操作し、カーソルをキャリブレーションマーカ上に合わせる。この状態で、マウス３をクリックし、キャリブレーションマーカを選択する。選択指令に基づいて、対応する投影画像座標を取得する。【図１】
0005817953.tif 000002
【図２】
0005817953.tif 000003
【図３】
0005817953.tif 000004
【図４】
0005817953.tif 000005
【図５】
0005817953.tif 000006
【図６】
0005817953.tif 000007
【図７】
0005817953.tif 000008
【図８】
0005817953.tif 000009
【図９】
0005817953.tif 000010
【図１０】
0005817953.tif 000011
【図１１】
0005817953.tif 000012
【図１２】
0005817953.tif 000013