(57)【要約】【課題】安全性に優れ、多様な形式の表示装置にポインタ画像（位置指定画像）を適切に表示できる画像処理装置を提供する。【解決手段】ポインタ画像１０が表示された表示画面３をカメラ４が撮像し、その撮像信号Ｓ４をＰＣ５が処理する。ＰＣ５は、撮像によって得られた撮像画面内に映し出されたポインタ画像１０の撮像画像を検出し、撮像画面内の中心の第１の位置と撮像画面内における上記検出された撮像画像の第２の位置との距離、並びに第１の位置と第２の位置とを結ぶ方向と所定の方向との角度を求め、その距離および角度を基に、撮像画面内の第１の位置にポインタ画像の撮像画像が位置するように表示信号Ｓ５を生成する。【選択図】　　図１
2004013383.tif 000002
【特許請求の範囲】
【請求項１】
位置指定画像が表示された表示画面を撮像した撮像結果を用いて、前記表示画面の表示信号を生成する画像処理装置であって、
前記撮像によって得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する画像検出手段と、
前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める演算手段と、
前記演算手段が求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示信号を生成する処理手段と
を有する画像処理装置。
【請求項２】
前記位置指定画像は、第１の直線画像と第２の直線画像とで構成され、
前記第２の直線画像は、前記第１の直線画像の中央で前記第１の直線画像と直交し、第１の直線画像より短い画像であり、
前記演算手段は、前記撮像画像内の前記第１の直線画像または前記第２の直線画像の像の長手を前記所定の方向として前記角度を求める
請求項１に記載の画像処理装置。
【請求項３】
前記処理手段は、前記画像検出手段が前記位置指定画像の撮像画像を検出できなかった場合に、前回と異なる色の前記位置指定画像を表示する前記表示信号を生成する
請求項１または請求項２に記載の画像処理装置。
【請求項４】
位置指定画像が表示された表示画面を撮像する第１のステップと、
前記撮像によって得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する第２のステップと、
前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める第３のステップと、
前記ステップ３で求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示画面の表示信号を生成する第４のステップと
を有する画像処理方法。
【請求項５】
演算処理装置によって実行されるプログラムであって、
位置指定画像が表示された表示画面を撮像して得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する第１の手順と、
前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める第２の手順と、
前記第２の手順で求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示画面の表示信号を生成する第３の手順と
を有するプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画面上のポインタ画像を表示する画像処理装置、その方法およびそのプログラムに関する。
【０００２】
【従来の技術】
例えば、テレビゲームの画面上におけるガンコントローラの銃口の指向先の位置や、プレゼンテーション画面上のペンライトの指向先の位置などに、位置指定画像を表示するポインタ装置がある。
このようなポインタ装置には、例えば、レーザ光を画面上に照射するレーザ型ポインタ装置、マウス操作によって指定された位置を基にパーソナルコンピュータで処理して画面上の当該位置にポインタ画像を表示するマウス型ポインタ装置、並びに、位置が指定されたタイミングとテレビ信号の走査タイミングとを基にテレビ画面上にポインタ画像を表示する走査線検出型ポインタ装置がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述したレーザ型ポインタ装置では、レーザ光が人間の目に入れないようにすることが困難であるという問題がある。
また、上述したマウス型ポインタ装置では、常に同じ色のポインタ画像が表示されるため、ユーザがポインタ画像が視認することが困難な場合があるという問題がある。
さらに、上述した走査線検出型ポインタ装置では、走査線を用いないタイプの表示装置には使用できないという問題がある。また、それぞれ異なる走査線を有する多様な表示装置の全てに対応することができないという問題がある。
【０００４】
本発明はかかる事情に鑑みてなされたものであり、安全性に優れ、多様な形式の表示装置にポインタ画像（位置指定画像）を適切に表示できる画像処理装置、その方法およびそのプログラムを提供することを目的とする。
また、本発明は、ユーザが常にポインタ画像を適切に視認できる画像処理装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、第１の発明の画像処理装置は、位置指定画像が表示された表示画面を撮像した撮像結果を用いて、前記表示画面の表示信号を生成する画像処理装置であって、前記撮像によって得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する画像検出手段と、前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める演算手段と、前記演算手段が求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示信号を生成する処理手段とを有する。
【０００６】
第１の発明の画像処理装置の作用は以下のようになる。
画像検出手段が、撮像によって得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する。
次に、演算手段が、前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める。次に、処理手段が、前記演算手段が求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示信号を生成する。
【０００７】
また、第１の発明の画像処理装置は、好ましくは、前記位置指定画像は、第１の直線画像と第２の直線画像とで構成され、前記第２の直線画像は、前記第１の直線画像の中央で前記第１の直線画像と直交し、第１の直線画像より短い画像であり、前記演算手段は、前記撮像画像内の前記第１の直線画像または前記第２の直線画像の像の長手を前記所定の方向として前記角度を求める。
また、第１の発明の画像処理装置は、好ましくは、前記処理手段は、前記画像検出手段が前記位置指定画像の撮像画像を検出できなかった場合に、前回と異なる色の前記位置指定画像を表示する前記表示信号を生成する。
【０００８】
第２の発明の画像処理方法は、位置指定画像が表示された表示画面を撮像する第１のステップと、前記撮像によって得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する第２のステップと、前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める第３のステップと、前記第３のステップで求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示画面の表示信号を生成する第４のステップとを有する。
【０００９】
第３の発明のプログラムは、演算処理装置によって実行されるプログラムであって、位置指定画像が表示された表示画面を撮像して得られた撮像画面内に映し出された前記位置指定画像の撮像画像を検出する第１の手順と、前記撮像画面内の所定の第１の位置と前記撮像画面内における前記画像検出手段で検出された前記撮像画像の第２の位置との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める第２の手順と、前記第２の手順で求めた前記距離および前記角度を基に、前記撮像画面内の前記第１の位置に前記位置指定画像の撮像画像が位置するように前記位置指定画像を表示する前記表示画面の表示信号を生成する第３の手順とを有する。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態に係わる表示システムについて説明する。
図１は、本発明の実施形態に係る表示システム１の構成図である。
図１に示すように、表示システム１は、例えば、プロジェクタ２、カメラ４およびＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）５を有する。
プロジェクタ２によって投影された表示画面３には、例えば、ゲームなどの進行に応じた画像と共に、カメラ４が指向された位置にポインタ画像１０（本発明の位置指定画像）が表示される。
【００１１】
プロジェクタ２は、ＰＣ５からの表示信号Ｓ５に応じたＲ，Ｇ，Ｂ光を壁やスクリーンなどに投影して表示画面３を映し出す。
カメラ４は、例えば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）などを用いて、表示画面３の全体あるいは一部を撮像し、撮像信号Ｓ４をＰＣ５に出力する。
カメラ４は、例えば、家庭用ゲーム機のガンコントローラの銃口内に組み込まれており、銃口が向けられた方向に指向され、その方向の画像を撮像する。
【００１２】
ＰＣ５は、例えば、ゲームなどの所定のプログラムを実行する。
また、ＰＣ５は、撮像信号Ｓ５を基にカメラ４の撮像画面内に映し出されたポインタ画像１０の撮像画像を検出し、撮像画面内の中心位置である第１の位置（本発明の第１の位置）と撮像画面内における前記検出された前記撮像画像の位置である第２の位置（本発明の第２の位置）との距離、並びに前記第１の位置と前記第２の位置とを結ぶ方向と所定の方向との角度を求める。
また、ＰＣ５は、当該求めた距離および角度を基に、撮像画面内の前記第１の位置にポインタ画像１１（本発明の位置指定画像）の撮像画像が位置するように、ゲームの進行に応じた表示画面３内にポインタ画像１１が映し出された表示画面３の表示信号Ｓ５を生成し、これをプロジェクタ２に出力する。
【００１３】
図２は、図１に示すＰＣ５の構成図である。
図２に示すように、ＰＣ５は、例えば、カメラＩ／Ｆ３１、表示Ｉ／Ｆ３２、メモリ３３およびＣＰＵ３４を有し、これらが内部バス３０を介して接続されている。
カメラＩ／Ｆ３１は、図１に示すカメラ４からの撮像信号Ｓ４を、有線あるいは無線で入力する。
表示Ｉ／Ｆ３２は、ＣＰＵ３４が生成した表示信号Ｓ５をプロジェクタ２に出力する。
メモリ３３は、ＣＰＵ３４が実行するゲーム用プログラム４５およびポインタ用プログラム４６（本発明のプログラム）を記憶する。
【００１４】
ＣＰＵ３４は、ゲーム用プログラム４５を実行してゲームの進行に応じた画面の表示信号を生成する。
また、ＣＰＵ３４は、ポインタ用プログラム４６を実行して、図２に示すように、画像検出手段４１、演算手段４２および表示処理手段４３の機能を実現する。
なお、画像検出手段４１、演算手段４２および表示処理手段４３の全てあるいは一部は、専用のハードウェアによって構成してもよい。
ここで、画像検出手段４１が本発明の画像検出手段に対応し、演算手段４２が本発明の演算手段に対応し、表示処理手段４３が本発明の処理手段に対応している。
【００１５】
以下、図３（Ａ），（Ｂ）を用いて、例えば、図１において、カメラ４の撮像画面２０の中心位置である第１の位置Ａ（本発明の第１の位置）からずれた第２の位置Ｂ（本発明の第２の位置）に、ポインタ画像１０の撮像画像１０ａが表示された場合のＣＰＵ３４の処理について説明する。
ポインタ画像１０は、図１に示すように、第１の直線画像と第２の直線画像とで構成される。第２の直線画像は、第１の直線画像の中央で当該第１の直線画像と直交し、第１の直線画像より短い画像である。
【００１６】
画像検出手段４１は、図３（Ａ）に示すように、撮像信号Ｓ５を基にカメラ４の撮像画面２０内に映し出されたポインタ画像１０の撮像画像１０ａを検出する。
【００１７】
演算手段４２は、図４（Ａ），（Ｂ）に示すように、撮像画面２０内の第１の位置Ａと、画像検出手段４１で検出された撮像画像１０ａの第２の位置Ｂとの距離Ｌ、並びに前記第１の位置と前記第２の位置とを結ぶ方向と、撮像画像１０ａの第１の直線画像の撮像画像の長手方向（例えば、表示画面３の水平方向）との角度αを求める。
ここで、演算手段４２は、撮像画像１０ａの第２の位置Ｂを、例えば、第１の直線画像の撮像画像の両端の位置と、第２の直線画像の撮像画像の両端の位置から当該撮像画像の重心位置（重心の座標）を算出し、当該重心位置を第２の位置Ｂとする。
また、演算手段４２は、例えば、撮像画像１０ａを基に、カメラ４の傾きを求める。
【００１８】
表示処理手段４３は、演算手段４２が求めた距離Ｌおよび角度αを基に、図３（Ｂ）に示すように、撮像画面２０内の前記第１の位置Ａにポインタ画像１１の撮像画像１１ａが位置するようにポインタ画像１１の表示信号を生成し、これをゲームの進行に応じた表示画面信号と重畳して表示画面３の表示信号Ｓ５を生成し、これをプロジェクタ２に出力する。
具体的には、表示処理手段４３は、図４（Ｂ）に示すように、距離Ｌおよび角度αを基に、撮像画像１０ａの第１の直線画像の長手方向を水平方向として、前回、表示画面３内にポインタ画像１０を表示した位置から、次に表示画面内にポインタ画像１１を表示する位置までの水平移動距離（Ｌｃｏｓα）および垂直移動距離（Ｌｓｉｎα）を求め、これらの距離を用いて表示信号Ｓ５を生成する。表示処理手段４３は、画像検出手段４１の検出結果を基に、画像検出手段４１が図５（Ａ）に示すポインタ画像１０の撮像画像１０ａを検出できなかったと判断した場合には、図５（Ｂ）に示すように前回と異なる色のポインタ画像１０ｂを表示する表示信号Ｓ５を生成する。
【００１９】
以下、本実施形態の表示システム１の動作例を説明する。
図６は、当該動作例を説明するための図である。
ステップＳＴ１：
ＰＣ５からの表示信号Ｓ５に応じてプロジェクタ２が映し出した表示画面３に向けてカメラ４が指向され、表示画面３内の当該指向された位置がカメラ４の撮像画面２０の中心位置Ａとなる。
そして、カメラ４が、表示画面３を撮像して生成した撮像信号Ｓ４をＰＣ５へ出力する。
【００２０】
ステップＳＴ２：
ＰＣ５がゲーム用プログラム４５およびポインタ用プログラム４６を実行して以下の処理を行う。
すなわち、画像検出手段４１が、図３（Ａ）に示すように、撮像信号Ｓ５を基にカメラ４の撮像画面２０内に映し出されたポインタ画像１０の撮像画像１０ａを検出する。
ステップＳＴ３：
表示処理手段４３が、ステップＳＴ２の画像検出手段４１の検出結果を基に、画像検出手段４１が図５（Ａ）に示すポインタ画像１０の撮像画像１０ａを検出できなかったと判断した場合にはステップＳＴ４の処理に進み、撮像画像１０ａを検出できたと判断した場合にはステップＳＴ５の処理に進む。
【００２１】
ステップＳＴ４：
表示処理手段４３が、図５（Ｂ）に示すように前回と異なる色のポインタ画像１０ｂを表示する表示信号Ｓ５を生成する。
その後、ステップＳＴ１の処理が再び行われる。
ステップＳＴ５：
演算手段４２が、図４（Ａ），（Ｂ）に示すように、撮像画面２０内の第１の位置Ａと、画像検出手段４１で検出された撮像画像１０ａの第２の位置Ｂとの距離Ｌ、並びに前記第１の位置と前記第２の位置とを結ぶ方向と、撮像画像１０ａの第１の直線画像の撮像画像の長手方向（例えば、表示画面３の水平方向）との角度αを求める。
また、演算手段４２は、例えば、撮像画像１０ａを基に、カメラ４の傾きを求める。
【００２２】
ステップＳＴ６：
表示処理手段４３は、演算手段４２が求めた距離Ｌおよび角度αを基に、図３（Ｂ）に示すように、撮像画面２０内の前記第１の位置Ａにポインタ画像１１の撮像画像１１ａが位置するようにポインタ画像１１の表示信号を生成し、これをゲームの進行に応じた表示面信号と重畳して表示画面３の表示信号Ｓ５を生成し、これをプロジェクタ２に出力する。
【００２３】
以上、説明したように、表示システム１によれば、カメラ４によって指し示された表示画面３上の位置にポインタ画像を正確に表示できる。
また、表示システム１によれば、レーザ光を使用しないため、安全面で優れている。
また、表示システム１によれば、表示画面３をカメラ４で撮像した結果を基に、ポインタ画像の表示位置を補正するため、表示装置の走査線などの形式に影響されることなく、ポインタ画像を適切に表示できる。そのため、多様な形式の表示装置に用いることができる。
また、表示システム１によれば、画像検出手段４１がポインタ画像を視認できなかった場合に、ポインタ画像の色を変更するため、常にユーザが視認可能な色でポインタ画像を表示できる。
【００２４】
本発明は上述した実施形態には限定されない。
例えば、上述した実施形態では、図１に示すように、ＰＣ５で表示信号Ｓ５を生成し、プロジェクタ２が表示信号Ｓ５を基に投影方式で表示画面３を表示する場合を例示したが、本発明は図７に示すように、ＣＲＴ（Ｃａｔｈｏｄｅ　Ｒａｙ　Ｔｕｂｅ）や液晶表示装置などの表示装置１０２の画面として表示画面３を表示してもよい。
この場合に、信号重畳装置１０５が、カメラ４から撮像信号Ｓ４を基に、前述した図２を用いて説明した画像検出手段４１、演算手段４２および表示処理手段４３の処理を行って表示信号Ｓ１０５を生成し、これを表示装置１０２に出力する。
【００２５】
また、上述した実施形態では、図２に示す画像検出手段４１およひ演算手段４２の処理をＰＣ５で行う場合を例示したが、これらの処理をカメラ４で行い、演算手段４２の演算結果をＰＣ５に出力して、ＰＣ５で表示処理手段４３の処理を行うようにしてもよい。
【００２６】
【発明の効果】
以上説明したように、本発明によれば、安全性に優れ、多様な形式の表示装置に位置指定画像画像を適切に表示できる画像処理装置、その方法およびそのプログラムを提供することができる。
また、本発明によれば、ユーザが位置指定画像を常に適切に視認できる画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態に係る表示システムの構成図である。
【図２】図２は、図１に示すＰＣの構成図である。
【図３】図３は、図１に示すＰＣによるポインタ画像の表示位置の補正方法を説明するための図である。
【図４】図４は、図１に示すＰＣによるポインタ画像の表示位置の補正方法を説明するための図である。
【図５】図５は、ポインタ画像の色を変更する場合を説明するための図である。
【図６】図６は、図１に示す表示システムの動作例を説明するための図である。
【図７】図７は、本発明のその他の実施形態に係わる表示システムを説明するための図である。
【符号の説明】
１…表示システム、２…プロジェクタ、３…表示画面、４…カメラ、５…ＰＣ、１０，１１…ポインタ画像、１０ａ，１１ａ…ポインタ画像の撮像画像、２０…撮像画面、３０…内部バス、３１…カメラＩ／Ｆ、３２…表示Ｉ／Ｆ、３３…メモリ、３４…ＣＰＵ、４１…画像検出手段、４２…演算手段、４３…表示処理手段
【図１】
2004013383.tif 000003
【図２】
2004013383.tif 000004
【図３】
2004013383.tif 000005
【図４】
2004013383.tif 000006
【図５】
2004013383.tif 000007
【図６】
2004013383.tif 000008
【図７】
2004013383.tif 000009