(57)【要約】【課題】手のひらやカードなどの任意の対象物に合わせて情報を出力するプロジェクションシステムを提供する。【解決手段】画像入力装置２から画像出力装置３の出力範囲のカメラ画像をプロジェクション制御装置１に入力し，対象物検出処理手段１１が，画像出力装置３から出力されているプロジェクション画像を用いて前記入力されたカメラ画像を色補正し，色補正された画像に対して情報の出力先となる対象物を検出する。投影制御処理手段１２は，前記検出された対象物が情報の出力先になるように投影を制御し，対象物に映す情報を画像出力装置３に出力する。【選択図】    図１
2004151435.tif 000002
【特許請求の範囲】
【請求項１】
画像入力装置，画像出力装置およびプロジェクション制御装置を有して構成されるプロジェクションシステムにおいて，プロジェクション制御装置により対象物に合わせて情報を出力するプロジェクション制御方法であって，
前記画像出力装置の出力範囲の画像を前記画像入力装置から入力し，情報の出力先となる対象物を検出する対象物検出処理手順と，
該検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を前記画像出力装置に出力する投影制御処理手順とを有する
ことを特徴とするプロジェクション制御方法。
【請求項２】
前記対象物検出処理手順において，前記画像入力装置から入力された画像に対して，前記画像出力装置から対象物に映し出される情報，およびその位置，大きさを利用して，該入力された画像の色補正を実施する
ことを特徴とする請求項１に記載のプロジェクション制御方法。
【請求項３】
前記対象物検出処理手順において，前記画像入力装置から入力する際に，前記画像出力装置から対象物に映す情報の出力を制御して同期させ，出力された情報が重畳しない画像を入力画像として取得する
ことを特徴とする請求項１または請求項２に記載のプロジェクション制御方法。
【請求項４】
前記投影制御処埋手順において，前記プロジェクションシステムの投影範囲内の対象物の大きさおよび位置を算出し，該対象物の大きさおよび位置に合わせて投影を制御する
ことを特徴とする請求項１から請求項３までのいずれか１項に記載のプロジェクション制御方法。
【請求項５】
画像入力装置および画像出力装置が接続され，前記画像出力装置により対象物に合わせて情報を出力するプロジェクション制御装置であって，
前記画像出力装置の出力範囲の画像を前記画像入力装置から入力し，情報の出力先となる対象物を検出する対象物検出処理手段と，
該検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を前記画像出力装置に出力する投影制御処理手段とを備える
ことを特微とするプロジェクション制御装置。
【請求項６】
対象物に合わせて情報を出力するためのプロジェクションシステムであって，
情報を出力する画像出力装置と，
前記画像出力装置の出力範囲の画像を撮影し入力する画像入力装置と，
前記画像入力装置から画像を入力し，その入力画像にもとづいて前記画像出力装置による情報の出力先となる対象物を検出し，該検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を前記画像出力装置に出力するプロジェクション制御装置とを備える
ことを特徴とするプロジェクションシステム。
【請求項７】
請求項１から請求項４までのいずれか１項に記載のプロジェクション制御方法を，コンピュータに実行させるためのプロジェクション制御プログラム。
【請求項８】
請求項１から請求項４までのいずれか１項に記載のプロジェクション制御方法を，コンピュータに実行させるためのプロジェクション制御プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は，情報を投影して提示するプロジェクションシステム，特に，その投影を制御するための方法および装置に関するものである。
【０００２】
【従来の技術】
例えば手やカードをかざすと，その手やカードなどの対象物に合わせて特定の映像や情報を投射するというような情報投影システムを考えた場合，対象物に合わせて情報を出力するためには，高精度で安定して対象物を検出する必要がある。しかしながら，この対象物には情報が出力されるため，その出力により対象物の状態が変化するので，高精度で安定して検出することが非常に難しくなる。このため，従来からこうした投影といった情報の出力などによる状態の変化にロバストな画像処理の技術が求められている。
【０００３】
このような問題に対して，これまで，投影などによる状態の変化にロバストな画像処理の技術がいくつか開発されている。これらの手法は，一般には，プロジェクションという画像を投影することにより変化を及ぼすことのない波長を利用した画像処理である。簡単には，プロジェクタに赤外線カットフィルタを取り付け，投影される光から赤外線をカットし，これを撮影するカメラには赤外線フィルタを取り付け，赤外線の情報のみを利用して画像処理を行うというものである。
【０００４】
例えば，下記の非特許文献１記載されたＨｏｌｏＷａｌｌを用いた手法や，非特許文献２に記載されたＥｎｈａｎｃｅｄ  Ｄｅｓｋを用いた手法により投影などによる状態の変化にロバストな画像処理の実現が図られている。
【０００５】
【非特許文献１】
Ｊｕｎ  Ｒｅｋｉｍｏｔｏ  ａｎｄ  Ｎｏｂｕｙｕｋｉ  Ｍａｔｓｕｓｈｉｔａ，  ”Ｐｅｒｃｅｐｔｕａｌ  Ｓｕｒｆａｃｅｓ：  Ｔｏｗａｒｄｓ  ａ  Ｈｕｍａｎ  ａｎｄ  Ｏｂｊｅｃｔ  Ｓｅｎｓｉｔｉｖｅ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｄｉｓｐｌａｙ”，  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｐｅｒｃｅｐｔｕａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅｓ  （ＰＵＩ’９７），  １９９７．
【非特許文献２】
小林貴訓，佐藤洋一，小池英樹，  ”Ｅｎｈａｎｃｅｄ  Ｄｅｓｋのための赤外線画像を用いた実時間指先認識インターフェース，”  第７回  日本ソフトウェア科学会  インタラクティブシステムとソフトウェアに関するワークショップ（ＷＩＳＳ’９９），  インタラクティブシステムとソフトウェアＶＩＩ，近代科学社，ｐｐ．４９−５４，  Ｄｅｃｅｍｂｅｒ  １９９９．
【０００６】
【発明が解決しようとする課題】
しかしながら，上述のような従来技術では特殊な波長を利用する必要があり，それらを構成する装置も限定されたものとなり，また，非常に高価になることもある。さらに，例えば赤外線を利用する場合，対象が赤外線を放出しやすいものでなくてはならず，手など人体であれば問題はないが，熱放出が少ない人工物には不向きであり，こうしたものを対象とすることが非常に難しい。
【０００７】
本発明は上述したような従来技術が有する問題点に鑑みてなされたものであって，情報を投影して提示するプロジェクションシステム，特に，その投影を制御するための方法および装置を提供することを課題とする。
【０００８】
【課題を解決するための手段】
本発明によるプロジェクション制御方法は，対象物に合わせて情報を出力するための方法であって，本プロジェクションシステムの投影範囲の画像を画像入力装置から入力し，情報の出力先となる対象物を検出する対象物検出処理手順と，該検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を画像出力装置に出力する投影制御処理手順とを備えることを第１の特徴とする。
【０００９】
あるいは，上記のプロジェクション制御方法において，前記対象物検出処理手順が，前記画像入力装置から入力された画像に対して，前記画像出力装置から対象物に映し出された情報，およびその位置，大きさを利用して，該入力された画像の色補正を実施することを特徴とする。
【００１０】
あるいは，上記のプロジェクション制御方法において，前記対象物検出処理手順が，前記画像入力装置から入力する際に，前記画像出力装置から対象物に映す情報の出力を制御して同期させ，出力された情報が重畳しない画像を入力画像として取得することを特徴とする。
【００１１】
あるいは，上記のプロジェクション制御方法において，前記投影制御処理手順が，前記プロジェクションシステムの投影範囲内の対象物の大きさおよび位置を算出し，該対象物の大きさおよび位置に合わせて投影を制御することを特徴とする。
【００１２】
また，本発明によるプロジェクション制御装置は，対象物に合わせて情報を出力するための装置であって，画像出力装置の出力範囲の画像を画像入力装置から入力し，情報の出力先となる対象物を検出する対象物検出処理手段と，該検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を画像出力装置に出力する投影制御処理手段とを備えることを特徴とする。
【００１３】
本発明では，投影の対象物を検出する際，処理対象となる入力された画像に対して，対象物に映し出された情報，およびその投影位置を利用して，該画像の色補正を実施することにより，画像処理で生じるエラーを軽減し，高精度に対象物の検出ができるようにし，効率の良い非常に高速な処理を実現する。
【００１４】
また，投影の対象物を検出する際，処理対象となる画像の入力時に，対象物に映す情報の出力を制御して同期させ，出力された情報が重畳しない画像を取得することにより，画像処理で生じるエラーを軽減し，高精度に対象物の検出ができるようにし，効率の良い非常に高速な処理を実現する。
【００１５】
さらには，プロジェクションシステムの投影範囲内の対象物の大きさおよび位置を算出し，対象物の大きさおよび位置に合わせて投影を制御することにより，対象物に合わせて情報を出力することができるようにし，非常に快適な情報の提示を実現する。
【００１６】
以上の対象物検出処理手段，投影制御処理手段は，コンピュータとそのコンピュータ上で動作するソフトウェアプログラムによって実現することができ，そのソフトウェアプログラムは，コンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００１７】
【発明の実施の形態】
以下，本発明の実施の形態について図面を用いて説明する。本発明によるプロジェクションシステムの実施の形態の構成例を図１に示す。本実施の形態によるプロジェクションシステムは，画像入力装置２，画像出力装置３，およびプロジェクション制御装置１から構成される。
【００１８】
プロジェクション制御装置１は，ＣＰＵおよびメモリ等からなるコンピュータとソフトウェアプログラムとによって構成され，対象物検出処理手段１１と投影制御処理手段１２を備えている。また，画像出力装置３に出力する映像データやテキストデータなどの出力データ記憶手段１３を備えている。この出力データは，外部から与えられるものであってもよい。
【００１９】
画像入力装置２には，ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）  カメラなどを利用するとしてよい。これはＣＣＤを撮像素子として用いたカメラであり，画像出力装置３の出力範囲が含まれる領域の画像を取得できるように設置される。また，画像出力装置３には，液晶プロジェクタなどを用いることができる。この液晶プロジェクタは，２枚の偏光方向が直角に交わる偏光フィルタの間に液晶をはさみこみ，電圧のＯＮ／ＯＦＦにより，液晶分子が通す光と遮断する光を制御して，画像を出力する装置である。
【００２０】
プロジェクション制御装置１の対象物検出処理手段１１は，画像出力装置３の出力範囲の画像を画像入力装置２から入力し，情報の出力先となる対象物を検出する。投影制御処理手段１２は，対象物検出処理手段１１によって検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を，出力データ記憶手段１３から読み出して画像出力装置３に出力する。
【００２１】
図１に示すプロジェクション制御装置１の動作について説明する。対象物検出処理手段１１の処理は，図２に示す手順で以下のように行われる。
［ステップＳ１］  画像入力装置２から画像出力装置３の出力範囲のカメラ画像（Ｒｃ，Ｇｃ，Ｂｃ）を入力する。
［ステップＳ２］  画像出力装置３から出力されているプロジェクション画像（Ｒｐ，Ｇｐ，Ｂｐ）を入力する。
［ステップＳ３］  該プロジェクション画像を利用してカメラ画像の色補正（Ｒｃ＋αＲｐ，Ｇｃ＋βＧｐ，Ｂｃ＋γＢｐ）を行う。
［ステップＳ４］  この色補正された画像に対して対象物を抽出する。
［ステップＳ５］  対象物の抽出が成功したかどうかを判断し，成功した場合には処理を終了する。
［ステップＳ６］  成功しなかった場合には，画像出力装置３からのプロジェクション画像の出力を停止する。
［ステップＳ７］  停止している間に撮影されたカメラ画像を画像入力装置２から再入力し，ステップＳ４ヘ処理を戻す。
【００２２】
ステップＳ３において，色補正処理を行うのは，プロジェクターの輝度や投影方向，投影される面の素材，色などによって，例えば，赤色を投影していても，カメラに映る色は同じ赤ではないので，これを補正するためである。この色補正によって，カメラ画像へのプロジェクション画像の出力の影響をなくし，対象物の抽出を精度よく行えるようにする。
【００２３】
なお，この色補正処理のパラメータ（α，β，γ）は，テストパターンによる試行によりあらかじめ決めておくとしてもよいし，照明条件などを検知し，動的に変更される値を利用するとしてもよい。
【００２４】
また，対象物の抽出処理については，よく知られた画像認識技術である領域分割処理などを利用して実施することとし（例えば，長尾真著「画像認識論」コロナ社発行参照），従来の手法と特に変わるところがないので，ここではその詳細な説明は省略する。
【００２５】
ステップＳ６，Ｓ７においては，対象物検出処理手段１１は，画像入力装置２から入力する際に，画像出力装置３から対象物に映す情報の出力を停止させ，停止している間にプロジェクション画像に重畳しないカメラ画像を取得しているが，ここで，画像出力装置３から対象物に映す情報の出力を断続的にＯＮ／ＯＦＦし，この出力の制御に同期させて，出力された情報が重畳しない画像を取得するようにしてもよい。画像入力と画像出力とが時間的に重ならないように同期制御する方法を用いる場合には，ステップＳ３の色補正を省略して実施することも可能である。
【００２６】
投影制御処理手段１２は，前記手順にて検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を画像出力装置３に出力する。この処理は図３に示す手順で以下のように行われる。
［ステップＳ１１］  対象物検出処理手段１１にて算出された対象物領域を入力する。
［ステップＳ１２］  該対象物領域に対応するプロジェクション画像中の領域を算出する。
［ステップＳ１３］  該対象物へ出力する提示情報を出力データ記憶手段１３から入力する。
［ステップＳ１４］  該提示情報がステップＳ１２において算出された領域内に収まるように変形する。
［ステップＳ１５］  該変形により，出力されるプロジェクション画像を生成し，画像出力装置３ヘ出力する。
【００２７】
なお，この変形処理では，線型変換と平行移動の組み合わせによるアフィン変換を行うこととし，このアフィン変換は従来から良く知られているので，ここではその詳細な説明は省略する。
【００２８】
以降では，上述した処理手順を実際のデータに即して，具体的に示す。今，図４（Ａ）に示すような系で，プロジェクションシステムが稼動しているとする。３は画像出力装置，２は画像入力装置であり，このとき，図４（Ａ）において，本プロジェクションシステムの投影範囲内に，対象物１００があるとする。
【００２９】
対象物１００は，例えば図４（Ｂ）に示すように，本プロジェクションシステムの投影範囲内に利用者１１０がかざした白紙などである。白紙に限らず，情報を映し出すことができるものであれば何でもよい。
【００３０】
対象物検出処理手段１１では，画像出力装置３の出力範囲の画像を画像入力装置２から入力し，情報の出力先となる対象物を検出する。ここでは，画像入力装置２から図５の画像１０１に示すようなカメラ画像が入力されたとする。続いて，画像出力装置３から出力されているプロジェクション画像が入力され，ここでは，図６の画像１０２に示すような画像が出力されていたとする。
【００３１】
このプロジェクション画像１０２を利用してカメラ画像１０１の色補正が行われ，色補正の結果，図７の画像１０３のようになったとする。この色補正された画像１０３に対して対象物を抽出すると，図８の画像１０４に示すような対象物の領域が抽出される。このとき，対象物の抽出が成功したとして，処理を投影制御処理手段１２に移す。
【００３２】
また，対象物の抽出が成功しなかった場合には，画像出力装置３からのプロジェクション画像の出力を停止し，その間に撮影されたカメラ画像を画像入力装置２から入力する。このときには，情報が出力されていないので，図９の画像１０５に示すように対象物のみの画像が入力される。これに対して，対象物を抽出すると，図１０の画像１０６に示すような対象物の領域が抽出されることになる。
【００３３】
投影制御処理手段１２では，対象物検出処理手段１１にて検出された対象物が情報の出力先になるように投影を制御し，該対象物に映す情報を画像出力装置３に出力する。ここでは，対象物検出処理手段１１にて例えば図１１の画像１０７に示すような対象物領域が入力されたとする。続いて，これに対応するプロジェクション画像中の領域を算出し，この領域内に対象物ヘ出力する提示情報が収まるように提示情報を変形する。ここでは，図１２の画像１０８に示すように提示情報が変形され，出力するプロジェクション画像として生成される。このプロジェクション画像が画像出力装置３へ出力される。これによって，図１３の画像１０９に示すように対象物に合わせて情報が出力されることになる。
【００３４】
なお，図１で示した処理の各部の一部もしくは全部の処理機能を，コンピュータを用いて実現できること，あるいは，図２〜図３で示した処理手順をコンピュータに実行させることができることは言うまでもなく，コンピュータでその各部の処理機能を実現するためのプログラム，あるいは，コンピュータにその処理手順を実行させるためのプログラムを，そのコンピュータが読み取り可能な記録媒体，例えば，ＦＤ，ＭＯ，ＲＯＭ，メモリカード，ＣＤ，ＤＶＤ，リムーバルディスクなどに記録して，保存したり，提供したりすることが可能であり，また，インターネットのような通信ネットワークを通じて，配布したりすることが可能である。
【００３５】
以上，本発明を実施の形態に基づき具体的に説明したが，本発明は上記の実施の形態に限定されるものではなく，その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない．
本発明のプロジェクションシステムの利用方法として，例えばスケジュール情報やＰＩＭ  （Ｐｅｒｓｏｎａｌ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｍａｎａｇｅｒ）  情報などを，手のひらに投影したり，テレビジョン等の映像情報をカードに投影したりするといった例が考えられる。また，会議等において参加者の各人にそれぞれ他人には見られないように個別の情報を提示するような場合にも用いることができる。
【００３６】
【発明の効果】
本発明によれば，投影の対象物を検出する際，処理対象となる入力された画像に対して，対象物に映し出された情報，およびその投影位置を利用して，該画像の色補正を実施することにより，画像処理で生じるエラーが軽減され，高精度に対象物の検出ができるようになり，効率の良い非常に高速な処理を実現できる効果が得られる。
【００３７】
また，投影の対象物を検出する際，処理対象となる画像の入力時に，対象物に映す情報の出力を制御して，出力の一時的な停止と入力とを同期させ，出力された情報が重畳しない画像を取得することにより，画像処理で生じるエラーが軽減され，高精度に対象物の検出ができるようになり，効率の良い非常に高速な処理を実現できる効果が得られる。
【００３８】
さらには，プロジェクションシステムの投影範囲内の対象物の大きさ，および位置を算出し，対象物の大きさおよび位置に合わせて投影を制御することにより，対象物に合わせて情報を出力することができるようになり，利用者にとって非常に快適で多様な情報の提示を実現できる効果が得られる。
【図面の簡単な説明】
【図１】プロジェクションシステムの構成例を示す図である。
【図２】対象物検出処理フローを示す図である。
【図３】投影制御処理フローを示す図である。
【図４】プロジェクションシステムが稼動する系を示す図である。
【図５】画像入力装置から入力されるカメラ画像を示す図である。
【図６】画像出力装置から出力される画像を示す図である。
【図７】色補正されたカメラ画像を示す図である。
【図８】抽出された対象物の領域を示す図である。
【図９】画像入力装置から入力されるカメラ画像を示す図である。
【図１０】抽出された対象物の領域を示す図である。
【図１１】投影制御処理手段に入力される対象物領域を示す図である。
【図１２】対象物領域に出力する提示情報の変形を示す図である。
【図１３】提示情報の出力を示す図である。
【符号の説明】
１  プロジェクション制御装置
２  画像入力装置
３  画像出力装置
１１  対象物検出処理手段
１２  投影制御処理手段
１３  出力データ記憶手段
１００  対象物
１０１，１０３，１０４，１０５，１０６，１０７  カメラ画像
１０２，１０８，１０９  プロジェクション画像
１１０  利用者
【図１】
2004151435.tif 000003
【図２】
2004151435.tif 000004
【図３】
2004151435.tif 000005
【図４】
2004151435.tif 000006
【図５】
2004151435.tif 000007
【図６】
2004151435.tif 000008
【図７】
2004151435.tif 000009
【図８】
2004151435.tif 000010
【図９】
2004151435.tif 000011
【図１０】
2004151435.tif 000012
【図１１】
2004151435.tif 000013
【図１２】
2004151435.tif 000014
【図１３】
2004151435.tif 000015