(57)【要約】      （修正有）【課題】どのような投影面であっても、常に安定した状態で正確な接触判定を行うことが可能な画像処理装置、画像処理システムを提供する。【解決手段】画像１１ａを含む測定対象物１１とこの測定対象物１１の位置を測定する測定手段１３との距離に基づき、画像１１ａの基準平面を推定する平面推定手段と、基準平面から一定の距離の範囲内に存在する物体を、画像１１ａに接触する物体であると判定する接触判定手段とを備えた画像処理装置１０とする。【選択図】図１
2014102183.tif 000002
【特許請求の範囲】
【請求項１】
画像を含む測定対象物と当該測定対象物を測定する測定手段との距離に基づき、前記画像の基準平面を推定する平面推定手段と、
前記基準平面から一定の距離の範囲内に存在する物体を、前記画像に接触する物体であると判定する接触判定手段と、
を備えた
ことを特徴とする画像処理装置。
【請求項２】
前記画像は投影手段により投影された画像であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記投影手段で投影された画像に設定された対応点と、
前記投影された画像を撮像手段で撮像した画像データにおける前記対応点に相当する位置とに基づいて座標変換情報を算出する座標変換情報算出手段を更に備えた
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記座標変換情報に基づいて、前記撮像手段で撮像した画像データを前記投影手段で投影された画像へ変換する変換手段を更に備えたことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記基準平面の推定を、測定した前記距離に基づいて最小二乗法を用いて行うとき、
前記最小二乗法による二乗誤差和が予め決められた設定値よりも小さいときは、前記基準平面の推定が成功したと判定し、
前記二乗誤差和が、前記設定値よりも大きいときは前記基準平面の推定が失敗したものと判定する基準平面推定手段を更に備えた
ことを特徴とする請求項３または請求項４に記載の画像処理装置。
【請求項６】
前記基準平面の推定に失敗した場合には、
前記投影手段により投影されている画像における任意の対応点と、
前記撮像手段により撮像された画像データにおける、前記任意の対応点に相当する位置とに基づいて、
前記投影手段により投影されている画像へ前記撮像手段により撮像された画像データを変換する第二の座標変換情報を算出する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記任意の対応点は、少なくとも５箇所以上設定したことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記第二の座標変換情報を用いて、前記投影手段により投影されている画像へ前記撮像手段により撮像された画像データを変換するとき、前記任意の対応点の座標が、収束することなく、かつ、前記撮像された画像データの範囲に含まれていれば、前記第二の座標変換情報は適正に算出されたものと判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
請求項１から８までのいずれかに記載の画像処理装置を備えたことを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば投影手段と測定手段を連動させた画像処理装置、及びこれを用いた画像処理システムに関する。
【背景技術】
【０００２】
近年、プロジェクタなどの投影手段は、会議に無くてはならないツールとして爆発的に普及している。上述のような投影手段を用いることにより様々なプレゼンテーションが可能になるのはもちろんのこと、手持ちのＰＣ等の情報処理装置上の資料を投影し、この投影資料を会議参加者と共に閲覧して、情報を共有したり議論を深めたりすることも可能である。プレゼンテーションのような一方的なコミュニケーションの場合、発表者が話の流れを制御することになるので、発表者の手元に情報処理装置を置いて、発表者が操作を行えば問題が無い。
【０００３】
一方で、複数の人間で投影資料を同時に閲覧するなど、情報を共有しながら議論を行うといった用途では、話の流れを制御する人間が不明確になる。そのため情報処理装置の操作を行いたい人と操作をする人が別の人間になることが多く、その際には操作したい人が操作者に口頭で頼む形となる。この状況を鑑みると、投影手段の投影面に対して、操作したい人が直接操作を行えると非常に便利である。
【０００４】
投影手段の投影面のような任意の平面を、操作したい人が直接操作を行えるように、たとえばタッチパネルとして使用する画像処理装置に関する技術の一例として、特許文献１では、投影面の４辺に光を発する特殊なデバイスを設けて、その反射光の位置からペンの位置を取得する技術が提案されている。また、特許文献２では、投影面の隅にカメラを取り付けて、ペン先の位置を三角測量で取得する技術が提案されている。また、特許文献３では、静電容量式のタッチパネルを用いた技術が提案されている。
【０００５】
しかし、上述のように投影面に特殊なデバイスを取り付ける方式は、取り付けが難しく、また、高価になりやすいといった問題がある。そのため、例えば以下の参考ＵＲＬ（ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｐｒｅｆｅｒｅｒｒｅｄ．ｊｐ／２０１１０６／ｋｉｎｅｃｔ−ｔｏｕｃｈ−ｐａｎｅｌ、「ｋｉｎｅｃｔでプロジェクタスクリーンをタッチパネル化」）に示すような、測定手段として３Ｄイメージセンサを用いた方式も提案されつつある。この方式の画像処理装置は、投影手段、測定手段、情報処理装置および情報処理装置上のソフトウェア等で構成されている。
【０００６】
上記画像処理装置の操作について簡単に説明する。最初に、投影手段としてプロジェクタの横に設置した３Ｄセンサを用いて、投影手段の投影面の、測定手段からの距離を算出しておく。その後、測定手段により３Ｄセンシングを続ける。具体的には、投影面から一定の距離以内に物体が存在した場合に当該物体が投影面に接触したという判定を行う。このような方式の画像処理装置を用いることにより、投影面へデバイスを取り付けることなく、投影面をタッチパネルにすることが可能である。また、近年測定手段は安価になりつつあるため、既存の情報処理装置ソフト・投影手段を用いてシステムを構成する場合には、その他の方式に比べて極めて安価にすることができるという利点もある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の方式による画像処理装置には、投影面と測定手段との距離が変化する際の考慮がなされていないという問題点があった。たとえば投影面が移動し、測定手段と投影面との距離が事前に計測したものより近くなってしまった場合、投影面そのものが投影面に近い距離にあると判定され、常に接触判定される等の誤判定が生じることになる。
【０００８】
本発明は以上を鑑みてなされたものであり、どのような投影面であっても、常に安定した状態で正確な判定を行うことが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
かかる目的を達成するため、本発明の画像処理装置は、画像を含む測定対象物とこの測定対象物の位置を測定する測定手段との距離に基づき、画像の基準平面を推定する平面推定手段と、基準平面から一定の距離の範囲内に存在する物体を、画像に接触する物体であると判定する接触判定手段とを備えたものである。
【発明の効果】
【００１０】
本発明によれば、どのような投影面であっても、常に安定した状態で正確な判定を行うことが可能である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る画像処理装置を含む画像処理システムの構成の一例を示す概略図である。
【図２】実施の形態の画像処理装置の動作に係る機能ブロック図である。
【図３】実施の形態の画像処理装置（画像処理システム）の動作の流れを示す全体フロー図である。
【図４】座標変換情報算出ステップＳＴ１０１における、詳細なフロー図である。
【図５】投影された画像の歪みを補正する概念を説明するための概略図である。
【図６】初期画像の一例である。
【図７】第二の座標変換情報算出の際、Ｋｅｙｐｏｉｎｔの検出に係る処理フロー図である。
【図８】コーナー選別ステップＳＴ４０２に係る、縦横方向の微分図である。
【図９】図８において、縦横方向の変動成分の値の関係を示す図である。
【発明を実施するための形態】
【００１２】
以下、この発明を実施するための好適な形態について、図面を参照して詳細に説明する。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
【００１３】
（画像処理装置及び画像処理システムの構成）
まず、図１を用いて本発明の画像処理装置を含む画像処理システムの構成について述べる。図１は、実施の形態の画像処理装置１０（画像処理システム１）の構成の一例を示す概略図である。
【００１４】
画像（１１ａ）を含む測定対象物（１１）とこの測定対象物（１１）の位置を測定する測定手段（１３）との距離に基づき、画像（１１ａ）の基準平面を推定する平面推定手段（１０２）と、基準平面から一定の距離の範囲内に存在する物体を、画像（１１ａ）に接触する物体であると判定する接触判定手段（１０７）とを備えたものである。なお、本実施の形態の画像処理装置は、各種計算を行うための演算手段（不図示）を備えているものとする。
【００１５】
本実施形態では、画像処理システム１は、基本的に測定対象物１１、測定手段１３、投影手段１５、情報処理装置１７、撮像手段としてのカメラ１９により構成される。したがって、本実施形態において上述の画像１１ａは、任意の投影面（ここでは測定対象物１１）に投影される投影画像である。情報処理装置１７は、画像処理装置１０の動作を制御する制御手段として機能するものであり、投影したい資料を表示するソフトと、これとは別に、バックグラウンドで動作する撮像用のソフトウェアとが内蔵され、動作している。情報処理装置は、一般的なパソコン、ノートパソコン、タブレット端末などで、表示部が含まれるものとして説明する。
【００１６】
なお、たとえば本発明を用いて、測定対象物１１としてホワイトボードを用いて、ホワイトボードにタッチセンサ機能を持たせることで、通常のホワイトボードをインタラクティブホワイトボードへ変化させることができる。製品としては、投影手段に搭載することも可能であるし、また投影手段と連携して、測定手段を外付けした情報処理装置からなるシステムにおけるソフトウェアとしての実現形態も可能である。同様にスマートフォン上で動作するソフトウェアとしての実現も可能である。
【００１７】
情報処理装置１７には、不図示の演算手段が備えられており、画像処理システム１の測定事項に係る各種演算を行う。演算手段は、投影手段１５やカメラ１９に備えられたものであっても良い。本実施形態では、画像１１ａを含む測定対象物１１、測定手段１３、演算手段を画像処理装置１０とし、画像処理装置１０を含む画像処理動作を行うシステム全体を画像処理システム１とする。画像処理システム１は、本実施形態では図示されないような、画像処理に係るその他の好適な構成要素を含むものであって良い。
【００１８】
画像処理装置１０において、ユーザは情報処理装置１７が有する資料等の電子ファイルを表示ソフトを通じて投影手段１５により画像１１ａとして測定対象物１１に投影する。測定手段１３は、画像１１ａを含む測定対象物１１と測定手段１３との距離を測定する。より具体的には、測定手段１３の視野における物体の３次元位置をセンシング（測定、または検知ともいう）し、測定手段１３により測定した情報を元に、ユーザが画像１１ａに接触した、例えば手、ペンの先、指示棒等の位置を検出することができる。また、詳細は後述するが、カメラ１９は投影された画像１１ａを撮像し、この撮像された画像（以下、撮像画像ともいう）は情報処理装置１７上の画面で認識し、ユーザが接触した位置と投影した画像との位置の対応をとるために使用する。
【００１９】
ここで、画像１１ａに対し、ユーザの手等により接触がなされた場合には、表示部の該当位置でマウスのクリックがなされたというイベントを発生させる。またそこから水平に手を動かした際には、ドラッグイベントが発生し、画像１１ａから手を離した場合にはマウスのボタンが放されたというイベントが発生するものとする。なおカメラ１９の平面座標系のｘｙ位置と測定手段１３のｘｙ位置は、キャリブレーションを行うことにより位置対応がなされており、一致しているものとする。
【００２０】
（全体フロー）
続いて、図２及び図３を用いて実施の形態の画像処理装置１０の動作について説明する。図２は画像処理装置１０の動作に係る機能ブロック図であり、図３は、画像処理装置１０において、情報処理装置１７の制御動作を行う、画像処理に係る動作の流れを示すフロー図である。実施の形態の画像処理装置１０は、座標変換情報算出手段１０１、座標変換情報判定手段１０５、平面推定手段１０２、基準平面推定手段１０３、接触判定手段１０７、変換手段１０８、イベント発生手段１０９により一連の動作が構成されるものとする（図２）。
【００２１】
座標変換情報算出手段１０１は、投影手段１５で投影された画像１１ａに設定された対応点と、投影された画像１１ａを撮像手段１９で撮像した画像データにおける対応点に相当する位置とに、基づいて座標変換情報を算出する。また、後述する座標変換情報判定手段１０５での判定が失敗していると判断された場合には、第二の座標変換情報を算出する。
【００２２】
平面推定手段１０２は、測定手段１３が測定した画像１１ａを含む測定対象物１１と、測定手段１３と距離に基づき、画像１１ａの基準平面を推定する。基準平面推定手段１０３は、基準平面推定手段１０３で算出された基準平面が成功したか、失敗したかを判定する。この判定には基準平面推定手段１０３で、最小二乗法による二乗誤差和に基づき判定する。この判定方法の詳細は後述する。座標変換情報判定手段１０５は、座標変換情報算出手段１０１で算出された第二の座標変換情報が適正か否かを判定する
【００２３】
接触判定手段１０７は、基準平面から一定の距離の範囲内に存在する物体を、画像１１aに接触する物体であると判定する。変換手段１０８は、座標変換情報算出手段１０１で算出した座標変換情報に基づいて、撮像手段１９で撮像した画像データを投影手段１５で投影された画像へ変換する。イベント発生手段１０９は、接触した位置において、マウスのクリックがなされた等のイベントを発生させる。
【００２４】
各手段１０１、１０２、１０３、１０５、１０７−１０９は、後述する動作フローの各ステップＳＴ１０１−１０９における動作を行う。たとえば、座標変換情報算出手段１０１は後述の座標変換情報算出ステップＳＴ１０１（第二の座標変換情報算出ステップＳＴ１０４）における動作を行う。
【００２５】
また、座標変換情報判定手段１０５は、座標変換情報算出ステップＳＴ１０１（第二の座標変換情報算出ステップＳＴ１０４）における算出結果の判定を行う手段であり、座標変換情報判定ステップＳＴ１０５においての動作を行う。同様に、平面推定手段１０２は平面推定ステップＳＴ１０２（第二の平面推定ステップＳＴ１０６）、基準平面推定手段１０３は基準平面推定ステップＳＴ１０３、接触判定手段１０７は接触判定ステップ１０７、変換手段１０８は位置合わせステップＳＴ１０８、イベント発生手段１０９はイベント発生ステップＳＴ１０９の、それぞれにおいての動作を行う。
【００２６】
以下、図３を用いて、上述の動作の流れ（ＳＴ１０１−ＳＴ１０９）について説明をする。情報処理装置１７には、この情報処理装置１７が内蔵するソフトウェアにより画像処理の制御がなされている。まず座標変換情報算出ステップＳＴ１０１では、座標変換情報として座標変換マトリクスを算出する。これは、投影した画像（投影画像）と接触した位置について、撮像された画像との位置合わせを行うためである。
【００２７】
このため、本実施形態では、投影画像を投影する前に、投影面である測定対象物１１への、位置合わせ用の初期画像の投影と、カメラ（撮像手段）１９による初期画像の撮像を行い、投影された初期画像において設定された位置合わせ用の任意の対応点と、カメラ１９により撮像された初期画像における対応点に相当する位置とに基づいて、投影された初期画像へ撮像された初期画像を変換する座標変換情報を算出することにより、投影された初期画像と前記撮像された初期画像との位置合わせを、予め行うものとする。
【００２８】
具体的には、まず、予め情報処理装置１７に保存されているテスト用（位置合わせ用）の初期画像を投影手段１５を通じて測定対象物１１に画像１１ａとして投影する。この投影された画像１１ａをカメラ１９で撮影する。この撮像された画像を表示部で認識することによって、投影された画像１１ａのカメラ１９及び測定手段１３における撮影領域の位置を判定する。位置を判定するための座標変換情報の算出方法の詳細は後述の図４で説明する。また、初期画像については後述の図６で説明する。
【００２９】
続いて第一の平面推定ステップＳＴ１０２では、投影手段１５によって投影された画像１１ａが投影される基準平面を推定する。これは、測定手段１３が測定した投影された画像と測定手段１３との距離に基づき、画像１１ａの基準平面を推定する。具体的には、まず、上述の投影された画像１１ａが存在する位置の情報（たとえば、３Ｄデータ等）に基づいて、最小二乗法を用いて基準となる基準平面を算出する。
【００３０】
より具体的には、測定手段１３が投影された画像１１ａと測定手段１３との距離を測定し、当該距離に基づき、演算手段が、最小二乗法を用いた演算を行うことにより、画像１１ａの基準平面を推定する。基準平面の推定は繰り返し行い、初回は特にテスト用の初期画像を用いて行い、それ以降の推定は実際に使用する画像を用いて行う。詳細は後述する。
【００３１】
一般的に、最小二乗法を用いた平面推定を行う場合は、外れ値が生じるリスクがあり、この外れ値の存在は測定値の精度を著しく劣化させるものとなっている。しかし、本実施形態では、実際に使用する画像ではなく、テスト用の初期画像を用いて初回の基準平面の推定を行う。この初期画像は、後述するが、精度良く上記推定が行えるように、画像認識がしやすい画像を使用する。平面推定ステップＳＴ１０２において、この初期画像を用いて基準平面の推定を行うため、上述の外れ値を劇的に削減し、推定精度を向上させることができる。
【００３２】
続いて、基準平面推定ステップＳＴ１０３について説明する。ここでは、ＳＴ１０２の基準平面の推定を判定する。上述の基準平面の推定の際に用いた、最小二乗法の演算により得られた二乗誤差和が予め決められた閾値（設定値）よりも小さいときは、基準平面の推定が成功したと判定する。この場合、接触判定ステップＳＴ１０７に進む。接触判定ステップＳＴ１０７では、基準平面から一定の距離の範囲内に存在する物体を、画像１１ａに接触する物体と認識する。たとえば、上述の閾値を３ｃｍとした場合、基準平面から３ｃｍ以内物体が存在するとき、画像１１ａに物体が接触したという判定をする。
【００３３】
本実施形態のように測定対象物１１を投影手段１５によって投影された投影面とした場合、測定対象物１１に書き込みを行ったり、タッチ操作のために測定対象物１１に触ったりすると、測定対象物１１は振動して数ｃｍ移動する。このため従来ならば３ｃｍといった閾値は誤判定のリスクを考えると適用できなかった。しかし、本実施の形態の画像処理装置１０（画像処理システム１）によれば、基準平面の推定を常に行いながらこの基準平面における接触判定を行うことになるため、上述の閾値を小さくすることができ、３ｃｍの閾値も採用することができる。閾値を小さくすると、実際には、測定対象物１１を触った時にのみタッチ動作が発生するように設定することが可能である。
【００３４】
また、閾値を大きくした場合、少し測定対象物から離れていてもタッチ動作が発生するとなると、ユーザは大げさに手を測定対象物から離さないと、タッチしたままであると判定される。本実施形態のように投影面が移動する性質のある測定対象物１１であっても、常に安定した状態で正確な接触判定を行うことが可能であるため、閾値を小さく設定することができ、自然な動作での利用が可能である。
【００３５】
続いて、接触がないと判定された場合には、平面推定ステップＳＴ１０２へ戻る。一方、接触があった場合には、位置合わせステップＳＴ１０８に進み座標変換情報算出ステップＳＴ１０１で算出した座標変換情報を用いて、画像１１ａ上の接触した位置を、表示部の撮像された画像に変換する。これにより測定対象物１１に投影された画像１１ａに接触した位置が、表示部に表示される画像のどの位置に対応するかが判明する。以上の処理により、ユーザが触りたい表示部に表示される画像の位置が、表示部でタッチされる位置と一致するため、たとえば測定手段１３の位置をユーザが微調整する等の煩雑な操作は不要となる。
【００３６】
続いて、イベント発生ステップＳＴ１０９へと進む。イベント発生ステップＳＴ１０９では、既に述べたように、位置合わせステップＳＴ１０８により算出された表示部の接触位置において、マウスのクリックがなされた等のイベントを発生させる。また、そこから手を動かした際には、ドラッグイベントが発生し、手を離した場合にはマウスのボタンが放されたイベントが発生するものとする。
【００３７】
次に、二回目以降の平面推定ステップＳＴ１０２について説明をする。初回の平面推定ステップＳＴ１０２では、既に述べたように、投影された画像１１ａが存在する位置の情報に基づいて、基準となる平面（測定対象物１１の表面）の推定を行っていた。認識しやすい画像として用意された初期画像を用いて基準平面の推定を行う場合、高精度の測定が望めるが、一方で初期画像はテスト用画像であってユーザが投影したい画像ではないため、基準平面の推定をする毎に使用するのは実用的ではなく、円滑な議論の妨げにもなる。
【００３８】
そのため二回目以降の平面推定ステップＳＴ１０２の処理は、前回の平面推定ステップＳＴ１０２で算出された基準平面から近い位置に存在する位置情報のデータ群だけを選別して、基準平面の算出を行うものとする。こうすることで測定手段１３と基準平面（測定対象物１１）との距離が、何らかの原因で変化しても、スムーズに算出を行うことができ、さらにユーザの望まない画像が投影される回数が減ることでユーザが快適に画像処理装置１０（画像処理システム１）を利用できることが期待される。二回目以降の基準平面の算出においても、初回と同様に上述の位置情報データ群を用いて最小二乗法を用いることにより算出される。
【００３９】
ここで、基準平面推定ステップＳＴ１０３において、二乗誤差和が予め設定した閾値よりも大きかった場合、平面の推定が失敗したと判断される。この時、第二の座標変換情報算出ステップＳＴ１０４によって、座標変換情報算出ステップＳＴ１０１と同様の座標変換情報が算出される。但し座標変換情報算出ステップＳＴ１０１では予め情報処理装置に保存された初期画像を使用したが、第二の座標変換情報算出手段１０４では現在投影されている画像を使用して同様の手順で第二の座標変換情報を算出する。具体的には後述するが、初期画像に比べ、ユーザが投影した画像と表示部の撮像された画像との位置対応における認識は容易ではないが、認識できた場合は、ユーザの望まない画像を頻繁に投影しなくて済むという利点がある。
【００４０】
次に、座標変換情報判定ステップＳＴ１０５では、第二の座標変換情報算出ステップＳＴ１０４で算出された第二の座標変換情報を用いて、投影された画像１１ａにおける、設定された任意の対応点、たとえば左上、右上、左下、右下の４点のそれぞれの位置が、算出された座標変換情報によって表示部の、撮像された画像のどこに射影されるかを見ることで、算出された第二の座標変換情報が適正か否かを判定する。
【００４１】
ここで、座標変換情報が適正に算出されなかった場合、射影された上述の対応点がほぼ一点に収束する、もしくは、射影点が大きく画像の中から外れてしまう場合が多いことが経験的にわかっている。このため、射影された対応点同士が十分に離れていて、かつ射影点がほぼ撮影画面の大きさに含まれていれば、座標変換情報が適正に算出されたと判定できるものとする。
【００４２】
次に、第二の座標変換情報が適正に算出されなかった場合には、座標変換情報算出ステップＳＴ１０１に戻り、再び初期画像を用いて座標変換情報の算出を行う。このように、基準平面の初期化を自動で行うことができる。一方で、座標変換情報が適正に算出されたと判定された場合には、第二の平面推定ステップＳＴ１０６により、平面推定ステップＳＴ１０２と同様の手順により、基準平面を推定する。尚、第二の平面推定ステップＳＴ１０６と平面推定ステップＳＴ１０２は全く同じ動作を行うものとする。以下、個々のステップの詳細について説明する。
【００４３】
（座標変換情報算出ステップＳＴ１０１）
続いて図４を用いて座標変換情報算出ステップＳＴ１０１について詳細に説明する。図４は、座標変換情報算出ステップＳＴ１０１の動作に係る詳細なフロー図である。座標変換情報の算出時にはまず、情報処理装置１７のＨＤＤ内に格納されている初期画像を読み出し（初期画像読み出しステップＳＴ２０１）、投影手段１５の投影面全面に、この読みだした初期画像を投影するように投影手段１５へ命令する（投影命令ステップＳＴ２０２）。
【００４４】
その後、投影された画像を撮像するようにカメラ１９に対して命令する（撮像命令ステップＳＴ２０３）。このとき、撮像された画像において投影した画像がぴったりと全面に合致していれば、ユーザが投影された画像１１ａに接触する位置が表示部でどこに対応するかの位置合わせを行う必要がない。しかし、ユーザがよほど正確に投影手段１５やカメラ１９、測定手段１３の位置を調整しない限り、ほとんどの場合、実際に投影された画像は縮小されたり、中心からずれたりしているのが普通である。さらに、よほど真正面から撮影されない限り、投影された画像にはパースペクティブ歪みがかかっている。この歪みを補正することを位置合わせを行うともいい、座標変換情報を利用する。
【００４５】
図５は、投影された画像の歪みを補正する概念を説明するための概略図である。図５左の図は、実際に投影される画像のイメージ図であり、通常投影されるこのようないびつな形状の画像（図５左ではいびつな四角形）を、図４右に示すような、初期画像をぴったりと含む正確な形状の画像（図５右では長方形）へ射影するような座標変換情報を算出する。
【００４６】
このような座標変換情報の算出方法の詳細は後述する。上述の測定手段１３により測定された、投影された画像１１ａと撮像された画像との双方において、対応する位置に設定した任意の対応点４点に基づき、投影された画像１１ａへ撮像された画像を変換する座標変換情報を、演算手段を用いて算出することにより、双方における位置合わせを行う。すなわち、撮像された画像中の任意の４点が、投影された初期画像（画像）１１ａのどこに投影されるかを決定すれば良い。
【００４７】
今回は図６のような単純なパターンの初期画像を用いた。この初期画像として画像１１ａにおいては、４隅に存在する十字マーク１１ｂの中心位置（対応点）１１ｘを撮影画像より検出すれば、初期画像において４隅の十字の中心位置（対応点）１１ｘが既知であるため、座標変換情報を容易に算出できる。
【００４８】
図６示す画像１１ａは単純なパターンの画像であるため、撮影した画像を二値化して、大きな白い領域（無地のスペース）を検出し、その４隅近辺で十字マーク１１ｂを探すといった、極めて簡単な画像処理アルゴリズムにより、十字の中心位置１１ｘを検出することができる。
【００４９】
（歪み補正のための座標変換情報の算出）
尚、使用する初期画像のパターンについては特に制限がないが、投影された初期画像と撮像された画像とで対応する４つの対応点のペアを検出する必要があるため、少なくともコーナーが４点取れるようなパターンを含む画像である必要がある。さらに言えば、コーナーを多数含むパターンである方が、後述するコーナー選別ステップＳＴ４０２で精度よく選別を行えるようになるため、コーナーを多く含むような画像であることが望ましい。また誤った対応点を検出しにくいような、非周期的な画像であることが望ましい。
【００５０】
このような初期画像として、具体的に挙げるとすれば、多くの様々な形の石が転がった画像や風になびく草原の画像等が挙げられる。そういった自然物の画像の中へ会社のロゴなどの人工的な画像を入れると、画像に非周期性が発露し後段の選別ステップ（コーナー選別ステップＳＴ４０２）がやりやすくなるので都合がよい。
【００５１】
次に、求めたい座標変換情報は、撮影した画像中の点（ｘｎ，ｙｎ）を初期画像における点（ｘ´ｎ，ｙ´ｎ）に射影するような座標変換情報である。以下の式で示すように未知数が８となるため、８元連立方程式を立てて解くことが必要になる。
【数１】
2014102183.tif 000003
【００５２】
ここで撮影された画像中における４つの対応点（ｘｎ，ｙｎ）と初期画像における４つの対応点（ｘ´ｎ，ｙ´ｎ）を指定すればｘ，ｙそれぞれにつき４つの方程式、合わせて８つの方程式を作ることが可能であり、座標変換情報の要素を全て求めることが可能である。なお、添え字のｎ（０⊆ｎ⊆４）は各点のインデックス番号を示すものとする。４点を代入してまとめると以下の連立方程式になるので、これをＧａｕｓｓ−Ｊｏｒｄａｎ法等で数値解析的に解くと、変換情報を求めることができる。
【数２】
2014102183.tif 000004
【００５３】
（平面推定ステップＳＴ１０２）
平面推定ステップＳＴ１０２では、測定手段で測定した測定対象物の位置に基づいて、平面を推定する。つまり、３次元位置情報を用いてセンシングした空間における平面を推定する。まず、センシングした３次元点群を事前知識を用いて選別する。事前知識を用いるとは１回目の平面推定ステップＳＴ１０２の場合、座標変換情報算出ステップＳＴ１０１により算出された、投影された画像の位置に該当する３次元点群を選別することであり、また、二回目以降の平面推定ステップＳＴ１０２においては前回の平面推定ステップＳＴ１０２で算出された平面の近傍に存在する３次元点群を選別することである。選別された３次元位置群を用いて、具体的には演算手段により、最小二乗法を用いて演算し、その後これに基づくロバスト推定を行い、平面の位置を推定する。
【００５４】
まず最小二乗法を用いた平面推定について説明する。
求めたい平面Ｚ＝ａｘ＋ｂｙ＋ｃ、３次元位置群は（Ｘ０，ｙ０，Ｚ０）、（Ｘ１，ｙ１，ｚ１）、・・・、（ｘｎ，ｙｎ，ｚｎ）とする。点（ｘｉ，ｙｉ，ｚｉ）と、平面の距離ｄはｄ＝ａＸｉ＋ｂｙｉ＋ｃ−Ｚｉなので全ての点列と平面の距離の二乗和Ｑは、
【数３】
2014102183.tif 000005
【００５５】
これを最小にするために偏微分により
【数４】
2014102183.tif 000006
【００５６】
座標変換情報形式で書くと、以下のようになる。
【数５】
2014102183.tif 000007
上記式（５）の左辺１項の逆行列を求めて右辺にかければ最適なａ、ｂ、ｃが求まる。
【００５７】
通常は以上の処理だけで平面の推定が行えるが、問題となるのが外れ値の存在である。もし、利用した３次元点群がすべて平面に近傍に存在するならば、これだけで、正確な平面が推定できるが、多くの場合は観測データの中に平面上以外のデータも乗る。特に本実施の形態のような画像処理システム１（画像処理装置１０）においては、常に推定したい基準平面（ここでは測定対象物１１の表面）をユーザが触っている可能性があるため、外れ値を除去する手段が必須になる。
【００５８】
本実施形態では、外れ値を除去するためにロバスト推定を用いた。まず選別した３次元点群を全サンプルとして、その中からランダムに部分サンプルを取り出す。該当する部分サンプルに対して最小二乗法を行って平面候補を挙げる。以上の処理を何度か行うと平面候補が複数算出されるが、それぞれの平面候補から所定の誤差範囲に含まれるサンプルの数がもっとも多いものをもっともらしい平面候補として選択する。この手法はＲＡＮＳＡＣと呼ばれるが、同様に平面候補ごとに算出した二乗誤差和の中間値が最小になる平面候補を選択する最少メジアン法と呼ばれる手法を用いても問題ない。
【００５９】
（第二の座標変換情報算出ステップＳＴ１０４）
次に、第二の座標変換情報算出ステップＳＴ１０４について説明をする。座標変換情報算出ステップＳＴ１０１ではあらかじめ用意した認識がきわめて容易な初期画像を用いて、座標変換情報を算出した。一方、第二の座標変換情報算出ステップＳＴ１０４では前述の通りユーザが現在投影している画像を用いて座標変換情報を算出する。
【００６０】
座標変換情報算出ステップＳＴ１０１では撮像した画像と投影する画像とで４点の対応点を見つけたが、第二の座標変換情報算出ステップＳＴ１０４では多数の対応点を用いて座標変換情報を求める。これは、極めて認識しやすい初期画像を用いる場合は対応点である４点が高い確率で安定して検出できたが、ユーザの投影している画像では必ずしも上述の対応点に相当するような４点を検出できるとは限らないためである。しかし、多数の点を利用すれば比較的安定して座標変換情報を求めることが期待できる。
【００６１】
まず最初に、投影された画像、および撮影された画像のそれぞれにおいて、ここでは第二の対応点として、特徴点（Ｋｅｙｐｏｉｎｔとも称する）を設定する。その後、各Ｋｅｙｐｏｉｎｔ周辺の特徴量を算出する。この一連の動作については非特許文献１記載の方法を用いるが、以下でその概略について述べる。図７はその処理フロー図である。
【００６２】
まず、基準サイズ検出ステップＳＴ４０１を行う。投影された画像、および撮影された画像のそれぞれに対して画像処理を施し、基準サイズの検出とコーナーの位置検出を同時に行う。上述の各画像に対して段階的に標準偏差を変化させたガウシアンフィルタ５枚（σ０〜σ４）を施して、ぼかし画像を複数枚得る。
【００６３】
続いて各ぼかし画像において輝度的に極大、もしくは極小の位置を極値として検出する。検出した極値であって、かつ各ぼかし画像の対応する点を比較し、連続するぼかし画像においても極大、もしくは極小である点をコーナー候補として検出する。また、極値が得られたフィルタの標準偏差σｎを基準サイズとして保持する。
【００６４】
続いて、コーナー選別ステップＳＴ４０２に進む。上述の検出された各コーナー候補について、変動が少ないもの、また変動が２方向に発生していないものを除去する。変動が１方向にしか発生していない点はたとえば直線状の点で対応する点が正確に取れないので、変動が２方向になっているものを選択するのである。変動が２方向になっているものを選択するには、まず各画素に対して、縦方向の２次微分と横方向の２次微分、及び縦横方向の微分図（図８）に示すようなフィルタを画像へ適用することで、縦方向、横方向、縦横方向の変動を示すような応答を求め、ヘシアンマトリクスを作成する。
【００６５】
その固有値を求めると、最も変動の大きい方向とその変動成分αが求まる。同様に、該方向に直行する方向の変動成分βも求めることができる。図８に示すようなフィルタを画像に適用するとき、画像の構造に対してαとβがどのような値になるかの関係を図９に示す。尚、α＞βなので斜線部は存在しない。小さい方の変動βが十分に大きい場合、注目画素の周辺は少なくとも２つの方向に対して大きく変動しているということがいえるのでは該領域は、何もない領域ではなく、単純なエッジでもない。つまり、コーナーとして検出できる。
【００６６】
縦横方向に変動のある領域をコーナーとして検出すると斜め方向への変動を検出することができない。一方で斜め方向の変動を検出するために様々な方向の変動を検出すると非効率的であるが、固有値を求めて小さい方の変動βを調べると、最も変動が大きい方向に直行する変動が一意に求まる。小さいほうの変動が十分に大きければコーナーと判定することで、様々な向きを向いたコーナーを効率よく検出できるため、コーナー検出のための計算コストが小さくなる。
【００６７】
次に、基準角度算出ステップＳＴ４０３に進む。基準角度算出ステップＳＴ４０３では、周辺の濃度勾配が最も大きい方向を基準角度として以下のように算出する。画像の画素値Ｌ（ｕ，ｖ）勾配強度ｍ（ｕ，ｖ）勾配方向θ（ｕ，ｖ）とすると、それぞれは以下の様に算出できる。
【数６】
2014102183.tif 000008
【数７】
2014102183.tif 000009
【００６８】
その後、勾配方向θ（ｕ，ｖ）を１０度ずつ、３６方向に離散化したヒストグラムを用意する。該ヒストグラムには、勾配強度ｍ（ｕ，ｖ）に対し、注目画素を中心とするガウシアンを掛け合わせた値を加算していく。該ヒストグラムに於いて最も大きな値を示す角度が最も変動が大きい方向、つまり基準方向となる。
【００６９】
次に、特徴量算出ステップＳＴ４０４に進む。入力画像においてコーナーを中心として基準方向を上とし、また基準サイズσｎを用いてコーナー近辺の半径２σｎとなる領域を切り出し、一辺４ブロックの計１６ブロックに分割する。ブロックごとに４５度ずつ、８方向の勾配ヒストグラムを作成することにより、４×４×８＝１２８次元の特徴量が得られる。このように特徴量は基準サイズと基準角度を用いて正規化されているので、投影画像と撮影画像との間で画像の大きさの変化や回転が発生したとしても対応する点の特徴量は類似した値になりやすい。
【００７０】
（特徴点間の比較と第二の座標変換情報の推定）
ここまでで、投影された画像と撮像された画像とで、それぞれ多数のＫｅｙｐｏｉｎｔおよびその周辺で正規化された特徴量が得られている。これらから第二の座標変換情報を求める。まず、投影された画像と撮像された画像とで特徴量のユークリッド距離を算出し、それぞれ最も近いものを選択することで、各Ｋｅｙｐｏｉｎｔの対応が取れているものとする。
【００７１】
ここで投影画像におけるＫｅｙｐｏｉｎｔの位置を点列として（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、・・・、（ｘｎ，ｙｎ，ｚｎ）とし、一方で撮影画像におけるＫｅｙｐｏｉｎｔの位置を点列として、（ｘ´０，ｙ´０，ｚ´０）、（ｘ´１，ｙ´１，ｚ´１）、・・・、（ｘ´ｎ，ｙ´ｎ，ｚ´ｎ）とする。尚、添え字が同じなら対応する点であると判定する。
【００７２】
第二の座標変換情報をＨとすると、
【数８】
2014102183.tif 000010
によって、Ｋｅｙｐｏｉｎｔが投影されるとし、以下の式で示されるそれらの二乗誤差和を最小化するようにＨの各要素を求めればよい。たとえば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法などを用いて数値的に解くことが可能である。
【数９】
2014102183.tif 000011
以上の処理で多数の対応点（特徴点、Ｋｅｙｐｏｉｎｔ）を用いた第二の座標変換情報を算出することができる。
【００７３】
投影面として例えば、会議等でホワイトボードなどの投影面に投影手段を投影する場合、ホワイトボードは書いたり触ったりする度に振動する。しかも可動式のホワイトボードの場合書いたり接触したりする動作で移動してしまうことも多い。このため、上述のような原因により、投影面が移動し、たとえば測定手段と投影面との距離が事前に計測したものより近くなってしまった場合、投影面そのものが投影面に近い距離にあると判定され、常に接触判定される等の誤判定が生じることになる。そこで、常に安定した状態で正確な判定を行うことが可能になる。
【００７４】
以上の説明から明らかなように、本実施形態の画像処理装置１０（画像処理システム１）は、投影面が移動する性質のある測定対象物１１であっても、常に安定した状態で正確な接触判定を行うことができる。
【００７５】
尚、上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。たとえば、本実施例では、別個の投影手段、カメラ、測定手段を用いたが、たとえばそのうちの一部が一体型であっても全く問題なく機能する。
【００７６】
また近年では投影手段機能のついたスマートフォンなども販売されているが、そこに測定手段を追加して本システムを構成することも可能である。また、第二の座標変換情報は、平面推定の際と同様にロバスト推定を用いることも可能である。また、本実施例で用いた初期画像を用いた座標変換情報の推定手法は十分に精度が高いが、ユーザに所定のポイントの接触を促す手法をとればより精度の高い情報推定が可能である。
【符号の説明】
【００７７】
１  画像処理システム
１０  画像処理装置
１１  測定対象物
１１ａ  画像
１１ｂ  十字マーク
１１ｘ  対応点
１３  測定手段
１５  投影手段
１７  情報処理装置
１９  カメラ（撮像手段）
１０１  座標変換情報算出手段
１０２  平面推定手段
１０３  基準平面推定手段
１０５  座標変換情報判定手段
１０７  接触判定手段
１０８  変換手段
１０９  イベント発生手段
【先行技術文献】
【特許文献】
【００７８】
【特許文献１】特開２０００−２２２１３２号公報
【特許文献２】特開２００９−０３７４６４号公報
【特許文献３】特開平１１−２３２０３３号公報
【非特許文献】
【００７９】
【非特許文献１】Ｄａｖｉｄ  Ｇ  Ｌｏｗｅ“Ｄｉｓｔｉｎｃｔｉｖｅ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ２００４”
【図１】
2014102183.tif 000012
【図２】
2014102183.tif 000013
【図３】
2014102183.tif 000014
【図４】
2014102183.tif 000015
【図５】
2014102183.tif 000016
【図６】
2014102183.tif 000017
【図７】
2014102183.tif 000018
【図８】
2014102183.tif 000019
【図９】
2014102183.tif 000020