(57)【要約】【課題】  画像投影装置において、異なる動きが必要なものを使わずに画像の投影とその画像上のポインティングを同時に実現する。【解決手段】  動き検出部１２はカメラ１から時間的に連続した入力画像情報からプロジェクタ２の動きを検出する。カーソル位置算出部１３はカーソル位置を算出する。投影画像生成部１４は投影元画像と動き情報から投影画像を生成する。画像投影部１５は得られた投影画像とカーソル位置を重畳してプロジェクタ２から投影して表示する。【選択図】  図１
2005266471.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影する方法において、
カメラから入力された画像から投影装置の動きを検出する段階と、
投影しようとする元画像を、前記動きを相殺して、投影面上の固定された位置に投影する段階と、
カーソルを前記投影装置の動きに追従して前記投影面上に重畳して表示する段階を有する
ポインティング機能付画像投影方法。
【請求項２】
前記カーソルが投影画像中の所定の領域に移動すると、コマンドを発生する段階をさらに有するポインティング機能付画像投影方法。
【請求項３】
前記動きの情報に基き、前記投影装置の動きと独立してカーソルを前記投影面上に重畳して表示する段階を有する、請求項１または２に記載のポインティング機能付画像投影方法。
【請求項４】
画像を投影する装置において、
カメラから入力された画像から投影装置の動きを検出する手段と、
投影しようとする元画像を、前記動きを相殺して、投影面上の固定された位置に投影する手段と、
カーソルを前記投影装置の動きに追従して前記投影面上に重畳して表示する手段を有する
ポインティング機能付画像投影装置。
【請求項５】
前記カーソルが投影画像中の所定の領域に移動すると、コマンドを発生する手段をさらに有するポインティング機能付画像投影装置。
【請求項６】
前記動きの情報に基き、前記投影装置の動きと独立してカーソルを前記投影面上に重畳して表示する手段を有する、請求項４または５に記載の画像投影装置。
【請求項７】
請求項１から３のいずれかの画像投影方法をコンピュータで実行するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像投影装置に関し、特に投影面上の画像をポインティングする方法および装置に関する。
【背景技術】
【０００２】
従来、プロジェクタで表示されている画像中のポインティングにはレーザポインタやマウスが用いられていた。
【非特許文献１】「モバイル用データプロジェクターの新製品の発売について」  （file：//C:\DOCUME~1\EIICHI~1\LOCALS~1\Temp\PR4W437E.htm）
【非特許文献２】プラスビジョン株式会社「Ａｌｌ  ｉｎ  Ｏｎｅ  Ｂｉｇ  Ｃｏｎｃｅｐｔ」
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来の画像投影装置は、投影面上の画像をポインティングするには、ポインティング機能を持つ装置を操作しなければならず、面倒であった。
【０００４】
本発明の目的は、ポインティング操作を容易に行なうことができる画像投影方法、装置、およびプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明のポインティング機能付画像投影方法は、
カメラから入力された画像から投影装置の動きを検出する段階と、
投影しようとする元画像を、前記動きを相殺して、投影面上の固定された位置に投影する段階と、
カーソルを前記投影装置の動きに追従して前記投影面上に重畳して表示する段階を有する。
【０００６】
プロジェクタ（投影装置）本体を動かし、その動きに応じて投影されている画像を更新し、背景の画像に対してあたかも静止しているかのようにその投影画像を表示する。そしてプロジェクタの動きに合わせて動く（すなわち投影画像とは別に動く）カーソルを投影画像に重ねて表示する。
【０００７】
このように、プロジェクタを動かして投影画像とカーソルを別々の動きで表示させるため、プロジェクタ以外のもの（異なる動きが必要な装置）を使わずに、画像の投影とその画像上のポインティングを手等による１つの動きで同時に実現できる。
【０００８】
本発明の実施態様によれば、カーソルが投影画像中の所定の領域に移動するとコマンドを発生する。
【０００９】
したがって、ポインティングだけでなく、投影画像とのコマンドの受け渡しが可能である。
【発明の効果】
【００１０】
投影装置本体を動かして投影画像とカーソルを別々の動きで表示するため、投影装置以外の、動きが異なる装置を使わずに、画像の投影と画像上のポインティング機能を同時に実現し、ポインティングの操作性が向上する。
【発明を実施するための最良の形態】
【００１１】
次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施形態］
図１は本発明の一実施形態の画像投影装置のブロック図、図２はその処理の流れを示すフローチャート、図３は動作説明図である。
【００１２】
本実施形態はカメラ付きプロジェクタ（またはプロジェクタ付きカメラ、以下プロジェクタ）を動かすことにより、１つの動作でポインティング機能と表示機能を同時に実現するものである。
【００１３】
カメラ２は通常の市販されているビデオカメラでよい。プロジェクタ１も通常の市販されているものでもよいが、小型のものであれば手に持って動かすことができる。
【００１４】
投影面３に全画像投影領域（説明図）の大きさの画像を生成し、プロジェクタ１で画像を投影する。全画像投影領域の中には、実際に映したい内容が映されている有効画像表示領域と、その他の周囲の何も映さない領域とがある。
【００１５】
まず、画像入力部１１によりカメラ２から画像情報を入力する（ステップ１０１）。
【００１６】
次に動き検出部１２では、カメラ２からの時間的に連続した入力画像情報から、プロジェクタ１の動きを検出する。具体的な方法としては、例えば、ある時間ｔ１の画像Ｉ１と、ｔ２＝ｔ１＋１の時間の画像Ｉ２があった場合、画像Ｉ１とＩ２の間の画像全体の移動方向と移動量を推定することにより、プロジェクタ２の動きを求めることができる。例えば、ＳＯＮＹ（登録商標）ビデオカメラＤＣＲ−ＩＰ１Ｋ（参考文献：http://www.sony.jp/products/Consumer/handycam/PRODUCTS/DCR-IP1K/spec.html）やＳＡＮＹＯ（登録商標）の手振れ補正可能な動画像処理ソフトウェア（参考文献：http://www.sanyo.co.jp/koho/hypertext4/0309news-j/0925-1.html）等では、画像処理を用いた手振れ補正を実現しており、すなわちカメラ本体の動きを検出している。また、撮影画像の揺動防止技術である特許第１５８９１８９号によるジャイロを用いた手振れ補正方法も同様にジャイロセンサによりリアルタイムに本体の動きを検出している。図３中で、投影中心座標を、動かす前（ｘ１ｃ，ｙ１ｃ）、動かした後（ｘ２ｃ，ｙ２ｃ）とすると、例えばその差分の（ｘ２ｃ−ｘ１ｃ，ｙ２ｃ−ｙ１ｃ）が動き情報である。全画像投影領域中の有効画像表示領域の位置は、プロジェクタ１の動きに基づき、移動する。このとき、動き検出処理で得られたプロジェクタ１の動き情報に基づき、投影する面（壁など）に対して、有効画像表示領域は、常に同じ絶対座標位置に表示されるように表示領域を設定する。例えば、図中の上の状態での有効画像表示領域の始点（ｘ１１，ｙ１１）、終点（ｘ１２，ｙ１２）、カーソル位置（ｘ１ｃ，ｙ１ｃ）とし、プロジェクタを動かした後の状態での有効画像表示領域の始点（ｘ２１，ｙ２１）、終点（ｘ２２，ｙ２２）、カーソル位置（ｘ２ｃ，ｙ２ｃ）とする（壁に対する絶対座標で）。有効画像表示領域の位置は常に変わらないので、ｘ１１＝ｘ２１、ｙ１１＝ｙ２１、ｘ１２＝ｘ２２、ｙ１２＝ｙ２２となる。これに対し、カーソル位置は、プロジェクタ１の動きに対応して動くので、ｘ１ｃ≠ｘ２ｃ、ｙ１ｃ≠ｙ２ｃである。
【００１７】
カーソル位置は、全画像投影領域内で固定した位置であれば、例えば投影中心でもよいし、他の位置（投影中心からずれた固定位置）でもよい。説明図中では、投影中心にカーソルがある場合を例に示している。カーソルの形状、色、大きさは、任意でよい。カーソルは非表示でもよい。非表示の場合は、ユーザがおおよその投影中心位置を推測して操作すればよい。
【００１８】
投影画像生成部１４は投影元画像と動き情報から投影画像を生成する（ステップ１０４）。動き情報から、前記のような投影画像を生成する方法としては、既存の手振れ補正技術と同様に、動き情報から手振れ補正した画像を生成することにより実現できる。具体的には、動き検出処理の中で述べたような従来の手振れ補正技術を用いれば実現できる。例えば、カメラの動き（手振れ）に応じてリアルタイムにレンズを動かし入力画像を補正する光学系の手振れ補正方法もあるし、また入力画像中の動きを画像処理により認識し微細なカメラの動き（手振れ）を修正する画像処理を用いた補正方法もある。本方法では、手振れ補正方法は既存の公知の方法でよいが、それにポインティング機能を併せ持つことが異なる。
【００１９】
画像投影部１５では、得られた投影画像とカーソル位置を重畳してプロジェクタ１から投影して表示する（ステップ１０５）。
［第２の実施形態］
本実施形態はカメラ２を据置き固定し、プロジェクタ１のみ動く場合で、図４はその説明図である。
【００２０】
カメラ２はプロジェクタ１と一緒に動かなくても、各種の演算は可能である。例えば、投影面に対して固定された場所にカメラ２を据置き、プロジェクタ１のみを動かせばよい。このとき、カメラ２とプロジェクタ１を有線（または無線）で接続している必要がある。
【００２１】
動き検出処理の方法としては、第１の実施形態で挙げた画像処理を用いた手振れ補正方法により実現できる。プロジェクタ１を動かして、投影画像がずれた時、外部に据え置かれたカメラ２から撮られた画像情報を用いて、先ほどの手振れ補正のための画像処理を施すことにより、プロジェクタ１の動きを検出し、動き情報に基づき補正した投影画像を生成してプロジェクタ１から投影すればよい。
【００２２】
本実施形態によれば、カメラ２を別に据え置くことで、稼働部分（プロジェクタ部分のみ）が少なくなるため、手に持って使う場合を考えると、軽くなり使い易くなる。
［第３の実施形態］
図５は本発明の第３の実施形態の画像投影装置のブロック図、図６はその処理の流れを示すフローチャート、図７はその動作説明図である。
【００２３】
本実施形態は、カーソルの位置によってコマンドを発生する機能を第１または第２の実施形態に付加したものである。すなわち、本実施形態は、投影する画像上の任意の位置にコマンドを発生できる領域（ボタン等の画像があってもよい）を設定しておき、その領域をカーソルで指し示すと、コマンド生成部１６によりコマンドが発生することにより（ステップ１０６）、マウスのクリック機能のように、画像に対するコマンド送信が可能になる。
【００２４】
なお、コマンドを確定する方法としては、その設定した領域を、ある所定の時間指し示し続けることによる方法が考えられる。
［第４の実施形態］
図８は本発明の第４の実施形態の画像投影装置のブロック図、図９はその処理の流れを示すフローチャート、図１０はその動作の説明図である。
【００２５】
本実施形態は、第３の実施形態において動きによってカーソルをプロジェクタ１と独立にも動くようにしたものである。すなわち、プロジェクタ１の動き情報からある特定の動きを認識することによって、プロジェクタ１と一緒に動く表示と、投影面上で目標位置（ユーザが止めたい位置）に止まる表示を切り替えられるようにしたものである。ここで、動きとは、例えばこきざみに振る、一定時間じっとしている、目標位置近くで回転運動する、などである。これらは、画像処理により実現できる。
【００２６】
カーソル位置算出部１３’は、動き検出部１２で得られた動き情報に基づき、カーソル位置を算出する（ステップ１０３’）点で、第３の実施形態のカーソル位置算出部１３と異なる。
【００２７】
第３の実施形態では、カーソル位置をプロジェクタ１の位置（方向）に対して固定位置としていたが、本実施形態では、プロジェクタ１の位置と無関係にカーソル位置を動かすことができる。これにより、投影した画像の中で、カーソルを有効画像表示領域に対して同じ座標位置に留まらせて表示させることも可能である。これにより、例えば、ユーザが投影画像中のある（物が表示されている）位置に、しばらくカーソルを固定しておきたい場合に、プロジェクタ１の動きを止めなくても、カーソルを固定させておくことが可能になり、利便性が向上する。
［第５の実施形態］
本実施形態は第１から第４の実施形態において、プロジェクタ１にスイッチ機能を付けたもので、図１１はその例を示している。スイッチ機能としては、押しボタン式、スライダーバー式、マウスのスクロールボタン、トラックポインタ、ジョイスティック、ゲーム機の十字キー、トラックボール、トラックパッド、などのスイッチ機能が考えられる。複数の同じまたは異なるスイッチを組み合わせて備えていてもよい。
【００２８】
本実施形態によれば、ＰＣのマウス（その他上記スイッチ類）と同じ機能、例えば、決定機能（クリック）、ドラッグアンドドロップ機能（押し続けによる）、スクロール機能（スライダー）、ズーム機能等を実現できる。プロジェクタ１を手に持って操作する場合には、スイッチも同じ手で操作できるので、使いやすい。
【００２９】
その他の機能は第１から第４の実施形態と同じである。
【００３０】
なお、図１、図５、図８に示した処理ブロックはプロジェクタ１内に設けてもよいし、あるいは処理用のコンピュータを有線（または無線）によりプロジェクタ１と接続し、該コンピュータ内で図１、図５、図８に示した処理ブロックの処理を行なうようにしてもよい。
【００３１】
また、本発明は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【図面の簡単な説明】
【００３２】
【図１】本発明の第１の実施形態の画像投影装置のブロック図である。
【図２】図１の画像投影装置の処理の流れを示すフローチャートである。
【図３】第１の実施形態の説明図である。
【図４】本発明の第２の実施形態の説明図である。
【図５】本発明の第３の実施形態の画像投影装置のブロック図である。
【図６】第３の実施形態の処理の流れを示すフローチャートである。
【図７】第３の実施形態の説明図である。
【図８】本発明の第４の実施形態の画像投影装置のブロック図である。
【図９】第４の実施形態の処理の流れを示すフローチャートである。
【図１０】第４の実施形態の説明図である。
【図１１】本発明の第５の実施形態の説明図である。
【符号の説明】
【００３３】
１    プロジェクタ
２    カメラ
３    投影面
１１    画像入力部
１２    動き検出部
１３，１３’    カーソル位置算出部
１４    投影画像生成部
１５    画像投影部
１６    コマンド生成部
１０１〜１０６    ステップ
【図１】
2005266471.tif 000003
【図２】
2005266471.tif 000004
【図３】
2005266471.tif 000005
【図４】
2005266471.tif 000006
【図５】
2005266471.tif 000007
【図６】
2005266471.tif 000008
【図７】
2005266471.tif 000009
【図８】
2005266471.tif 000010
【図９】
2005266471.tif 000011
【図１０】
2005266471.tif 000012
【図１１】
2005266471.tif 000013