(57)【要約】  【課題】  利用者を撮像する専用のカメラやセンサ等を不要にして書き込み画像の特性を取得することができ、書き込み面に書き込まれた情報がどの利用者によってなされたものかを特定することができる低コストな画像表示装置を提供すること。  【解決手段】  書き込み面５に映る影に基づいて書き込み面５上に形成された書き込み画像の特性を取得する特性取得部１１を設け、この特性取得手段１１は、書き込み画像の特性を、書き込み面５上に書き込まれた書き込み画像の方向、時間または書き込み面５上の領域に基づいて取得する。【選択図】  図３
2005346453.tif 000002
【特許請求の範囲】
【請求項１】
画像を投影する画像投影手段と、
前記画像投影手段から投影された画像を表示する表示面と、
前記投影画像と重複可能に書き込み画像を直接形成する書き込み面と、
前記書き込み面上に形成された書き込み画像を撮像する撮像手段と、
前記撮像手段による撮像画像から書き込み画像を抽出するとともに、前記抽出された書き込み画像および前記投影手段により投影される投影画像の一部または全部を合成して合成画像を生成する画像抽出・合成手段と、
前記書き込み面に映る影に基づいて前記書き込み面上に形成された書き込み画像の特性を取得する取得手段とを備えたことを特徴とする画像表示装置。
【請求項２】
前記取得手段は、書き込み画像の特性を、前記書き込み面上に書き込まれた前記書き込み画像の方向、時間または前記書き込み面上の領域に基づいて取得することを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記取得手段は、前記書き込み面に存在する影の延在方向を判別することにより、前記書き込み画像が形成された方向を取得することを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記取得手段は、前記撮像手段によって撮像された画像を参照し、前記影の輝度を含む画素で、画像内の２次元座標の最小のものと最大のものを結ぶ直線の傾きに基づいて影の延在方向を判別することを特徴とする請求項３に記載の画像表示装置。
【請求項５】
前記取得手段は、前記撮像手段によって撮像された画像を参照し、前記画像中を複数画素からなる小領域に設定するとともに、前記小領域の存在する部分の色情報を抜き出し、抜き出された色情報を参照して影に相当する色情報を含む小領域の並びの規則性に基づいて影の存在している方向を判別することを特徴とする請求項３に記載の画像表示装置。
【請求項６】
前記取得手段は、前記書き込み面に存在する影の延在方向と同一方向の影の存在時間に基づいて、前記書き込み画像が形成された時間を取得することを特徴とする請求項２に記載の画像表示装置。
【請求項７】
前記取得手段は、前記書き込み面に存在する影の方向、前記書き込み面に存在する影の延在方向と同一方向の影の存在時間および前記影の先端部の移動する軌跡とに基づいて前記書き込み画像が形成された領域を取得することを特徴とする請求項２に記載の画像表示装置。     
【請求項８】
書き込み画像制御手段を備え、前記書き込み画像制御手段は、前記画像抽出・合成手段によって抽出された前記書き込み面の書き込み画像を、前記取得手段によって取得された書き込み画像の特性に基づき複数に分割し、前記書き込み画像の方向を同一方向に統一することを特徴とする請求項１乃至請求項７の何れかに記載の画像表示装置。
【請求項９】
書き込み画像制御手段および前記書き込み面をポインティングしたときのポインティング位置を検出するポインティング位置検出手段とを備え、前記書き込み画像制御手段は、前記画像抽出・合成手段によって抽出された前記書き込み面の書き込み画像を、前記取得手段によって取得された書き込み画像の特性に基づき複数に分割し、前記ポインティング位置検出手段によって検出された前記書き込み面上の書き込み画像の方向を同一方向に統一することを特徴とする請求項１乃至請求項７の何れかに記載の画像表示装置。
【請求項１０】
前記ポインティング位置検出手段は、前記書き込み面に含まれる指示具の影情報に基づいてポインティング位置を検出することを特徴とする特徴とする請求項９に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置に関し、例えば、表示面に投影された投影画像と書き込み面に書き込まれた画像の合成を行うようにした画像表示装置に関する。
【背景技術】
【０００２】
近年、パーソナルコンピュータを用いたプレゼンテーションシステムが広く用いられている。このプレゼンテーションシステムでは、作成した資料をプロジェクタを用いて大画面のスクリーン上に投射表示し、スクリーン上の表示画面に直接座標入力したり、コンピュータ画面をプロジェクタによりスクリーン上に投影しカーソル操作を行うことにより、資料の任意の位置を指し示すようになっている。
【０００３】
表示画面に直接入力する手段としては、タッチセンサが広く利用されており、指やその他の指示具等で画面上に触れると、タッチセンサによりこれを検出し、触れた位置をポインティング位置として検出し、カーソルを移動させたりするものがある。
【０００４】
ところが、タッチセンサにあっては、タッチセンサ面に同時に複数人が操作をしたり、書き込みを行うことができない上にタッチセンサ面に手をつくことができない。
【０００５】
このような不具合を解消するものとしては、特許文献１に示すようなものがある。このものは、所定の投影画像を形成するスクリーンと、スクリーンに画像を投影するプロジェクタと、スクリーン面を撮像するカメラとを備えた投影型表示装置であって、スクリーンにはホワイトボード用のマーカーによる書き込みを行う書き込み面が設けられている。
【０００６】
そして、利用者はスクリーンに投影されたコンピュータの画像を見ながら、スクリーンに直接書き込みを行い、書き込みが終了した時点で内蔵のカメラによりスクリーン面を撮像し、書き込み画像を抽出するようにしている。特許文献１に記載されたものにあっては、書き込み画像を抽出して電子情報として保存する等して、有効に利用することができる。
【０００７】
ところが、特許文献１に記載されたものは、書き込まれた情報の方向等の特性がスクリーンに書き込まれた情報と関連付けられていないので、書き込みがどの利用者によってなされたものかを特定することができず、保存した電子情報を取り扱う際に、見難いファイルとなってしまうという不具合がある。
【０００８】
具体的には、スクリーンに複数の使用者が書き込みを行った場合に、使用者の位置を特定することができるが、実際にスクリーン上に書き込まれた情報と使用者を関連付けすることができないので、例えば、保存したファイルから特定の使用者が書き込んだ情報を抜き出したりすることができず、保存した電子情報を有効に利用することができない。
【０００９】
また、スクリーンに書き込まれる情報をカメラで撮像するときに、スクリーンの背面にカメラが設置されている場合には、カメラによって撮像された文字が１８０゜反転しているため、書き込まれた文字を正位置（ファイルの文字と同じ方向）に反転する必要があるが、書き込み画像には矢印、図形、アンダーライン等のように反転させてしまうと意味のない画像も存在する。特許文献１に示すものは、実際にスクリーン上に書き込まれた情報と使用者を関連付けすることができないので、同一の使用者がスクリーンに書き込んだ情報であるか否かを特定することができず、特定の使用者の文字だけを反転することができない。
【００１０】
一方、書き込みを行う利用者の位置を特定可能なものとしては、特許文献２あるいは特許文献３に記載されたようなものがある。
【００１１】
特許文献２に記載されたものは、表示画面の前面にタッチ式の画面入力手段を設け、情報を画面表示するとともに、画面入力手段に触れることによる手書き入力を可能とする画面表示入力装置であって、表示画面の上面に設けられたカメラ装置により撮像された画像を用いて操作者の目位置の所定の基準からのずれの方向および距離を検出し、検出した値に補正量記憶手段に記憶された補正量を読出し、画面入力手段から入力される座標値を補正することにより、操作者の位置を正確に把握して画面入力手段から入力される座標値の補正を正確に行うことができるようにしている。
【００１２】
また、特許文献３に示すものは、撮像可能な基準設定機能付きのタッチパネルであって、その情報入力面の周辺領域の特定位置に取付けられた４個の発光ダイオードと、その発光ダイオードの入出力を制御する点滅制御回路とを備え、この点滅制御回路により発光ダイオードの点滅パターンが異なるように点滅制御を行うようにしている。
【００１３】
特許文献３に記載されたものは、タッチパネルを撮像したときに、発光ダイオードの点灯パターンを非点滅制御した場合に比べてその発光ダイオードの位置を容易に特定できるようにしている。
【特許文献１】特開２００３−１４３３４８号公報
【特許文献２】特開平１１−２９６３０４号公報
【特許文献３】特開２０００−１７２４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献２に記載されたものは、表示画面の上面に設けられたカメラ装置により利用者を撮像する必要があるため、利用者を撮像する専用のカメラ装置を設ける必要があり、製造コストが増大してしまう上に、書き込まれた情報の方向等の特性がスクリーンに書き込まれた情報と関連付けられていないので、書き込みがどの利用者によってなされたものかを特定することができず、保存した電子情報を取り扱う際に、依然として見難いファイルとなってしまう。
【００１５】
また、特許文献３に記載されたものは、タッチパネルの周辺領域の特定位置に４個の発光ダイオードを設ける必要があるので、製造コストが増大してしまう上に、書き込まれた情報の方向等の特性がスクリーンに書き込まれた情報と関連付けられていないので、書き込みがどの利用者によってなされたものかを特定することができず、保存した電子情報を取り扱う際に、依然として見難いファイルとなってしまう。
【００１６】
本発明はこのような問題を解決するためになされたもので、利用者を撮像する専用のカメラやセンサ等を不要にして書き込み画像の特性を取得することができ、書き込み面に書き込まれた情報がどの利用者によってなされたものかを特定することができる低コストな画像表示装置を提供するものである。
【課題を解決するための手段】
【００１７】
本発明の画像表示装置は、画像を投影する画像投影手段と、前記画像投影手段から投影された画像を表示する表示面と、前記投影画像と重複可能に書き込み画像を直接形成する書き込み面と、前記書き込み面上に形成された書き込み画像を撮像する撮像手段と、前記撮像手段による撮像画像から書き込み画像を抽出するとともに、前記抽出された書き込み画像および前記投影手段により投影される投影画像の一部または全部を合成して合成画像を生成する画像抽出・合成手段と、前記書き込み面に映る影に基づいて前記書き込み面上に形成された書き込み画像の特性を取得する取得手段とを備えたものから構成される。
【００１８】
この構成により、専用のカメラ等を用いずに、通常は画像ノイズとして除去されてしまう書き込み面に写る利用者の影を利用することにより、書き込み画像の特性を取得し、書き込み面に書き込まれた情報と利用者とを関連付けることができるので、書き込みがどの利用者によってなされたものかを特定することができる。この結果、画像表示装置の製造コストが増大するのを防止して保存した書き込み画像を有効に利用することができる。
【００１９】
また、本発明の画像表示装置は、前記取得手段は、書き込み画像の特性を、前記書き込み面上に書き込まれた前記書き込み画像の方向、時間または前記書き込み面上の領域に基づいて取得するものから構成される。
【００２０】
この構成により、書き込み面に書き込まれた書き込み画像の方向、時間または領域を特性として取得するようにしたので、書き込み画像と使用者を容易に関連付けることができ、書き込み画像を整理し易くすることができる。
【００２１】
また、本発明の画像表示装置は、前記取得手段が、前記書き込み面に存在する影の延在方向を判別することにより、前記書き込み画像が形成された方向を取得するものから構成される。
【００２２】
この構成により、影の延在する方向を判断することで、書き込み者の位置を取得するようにしたので、所定方向に延在する書き込み画像を同一の使用者の書き込み画像と判断することができる。
【００２３】
また、本発明の画像表示装置は、前記取得手段が、前記撮像手段によって撮像された画像を参照し、前記影の輝度を含む画素で、画像内の２次元座標の最小のものと最大のものを結ぶ直線の傾きに基づいて影の延在方向を判別するものから構成される。
【００２４】
この構成により、任意に定められた画素の輝度情報で影を判断するにより、所定方向に延在する影を判断するための時間を短縮することができ、書き込み画像の取得処理能力を向上させることができる。
【００２５】
また、本発明の画像表示装置は、前記取得手段が、前記撮像手段によって撮像された画像を参照し、前記画像中を複数画素からなる小領域に設定するとともに、前記小領域の存在する部分の色情報を抜き出し、抜き出された色情報を参照して影に相当する色情報を含む小領域の並びの規則性に基づいて影の存在している方向を判別するものから構成される。
【００２６】
この構成により、画像中に任意の間隔で配置された複数画素からなる小領域に含まれる影の色情報とその小領域の位置から影の長手方向を判断することにより、より正確な影の方向を検出することができる。
【００２７】
また、本発明の画像表示装置は、前記取得手段が、前記書き込み面に存在する影の延在方向と同一方向の影の存在時間に基づいて、前記書き込み画像が形成された時間を取得するものから構成される。
【００２８】
この構成により、影の存在時間を取得することで、書き込みのなされた時間および使用者を関連付けて正確に取得することができる。
【００２９】
また、本発明の画像表示装置は、前記取得手段は、前記書き込み面に存在する影の方向、前記書き込み面に存在する影の延在方向と同一方向の影の存在時間および前記影の先端部の移動する軌跡とに基づいて前記書き込み画像が形成された領域を取得するものから構成される。
【００３０】
この構成により、書き込み面に存在する影の延在方向、この影の延在方向と同一方向の影の存在時間および影の先端部の移動する軌跡とに基づいて書き込み画像が形成された領域を取得するので、書き込み画像と影を関連付けて書き込みのなされた時間および使用者を関連付けてより一層正確に取得することができる。
【００３１】
また、本発明の画像表示装置は、書き込み画像制御手段を備え、前記書き込み画像制御手段は、前記画像抽出・合成手段によって抽出された前記書き込み面の書き込み画像を、前記取得手段によって取得された書き込み画像の特性に基づき複数に分割し、前記書き込み画像の方向を同一方向に統一するものから構成される。
【００３２】
この構成により、書き込み面に書き込まれた複数の書き込み画像がどの利用者によってなされたものかを判別できるため、書き込まれた情報を電子情報として保存する際に、書き込み画像の方向を任意の方向に統一して保存することができる。
【００３３】
また、本発明の画像表示装置は、書き込み画像制御手段および前記書き込み面をポインティングしたときのポインティング位置を検出するポインティング位置検出手段とを備え、前記書き込み画像制御手段は、前記画像抽出・合成手段によって抽出された前記書き込み面の書き込み画像を、前記取得手段によって取得された書き込み画像の特性に基づき複数に分割し、前記ポインティング位置検出手段によって検出された前記書き込み面上の書き込み画像の方向を同一方向に統一するものから構成される。
【００３４】
この構成により、書き込み面に書き込まれた複数の書き込み画像がどの利用者によってなされたものかを判別することができるとともに、書き込まれた情報を電子情報として保存する際に、利用者による書き込み画像を選択することができるので、選択された必要な書き込み画像の方向のみを統一して保存することができる。
【００３５】
また、本発明の画像表示装置は、前記ポインティング位置検出手段は、前記書き込み面に含まれる指示具の影情報に基づいてポインティング位置を検出するものから構成される。
【００３６】
この構成により、利用者の指の影等によってポインティング位置を検出することができるので、マウスやキーボード等を用いずに書き込み画像を選択することができ、画像表示装置の製造コストを低減することができる。
【発明の効果】
【００３７】
以上説明したように、本発明は、利用者を撮像する専用のカメラやセンサ等を不要にして書き込み画像の特性を取得することができ、書き込み面に書き込まれた情報がどの利用者によってなされたものかを特定することができる低コストな画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００３８】
以下、本発明の実施の形態について、図面を用いて説明する。
【００３９】
図１乃至図５は本発明に係る画像表示装置の第１の実施の形態を示す図である。まず、構成を説明する。図１、図２において、画像投影表示装置（画像表示装置）１は本体２にアクリル等の透過性樹脂からなるスクリーン３が設けられており、このスクリーン３の投影面（表示面）３ａにはプロジェクタ４からの画像が利用者側に透過して表示されるようになっている。なお、スクリーン３は透過率の高い材質、例えば、ガラスやプラスティック等から構成されても良い。
【００４０】
書き込み面５は、利用者側に面する側と反対側に設けられたスクリーン３に投影された画像をユーザ側へ透過するのに十分透明の材質、例えばアクリルから構成されており、利用者はプロジェクタ４からスクリーン３に投影された画像を書き込み面５を介して見ることができる。すなわち、スクリーン３の投影面３ａと書き込み面５は重複して設けられている。
【００４１】
この書き込み面５には一般的なホワイトボードと同様に塗布されたインクを布等で拭き取り易い加工、例えば、フッ素樹脂加工が施されており、書き込み面５に一般的にホワイトボード用マーカーとして販売されているものを用いて文字や絵等を書き込むことができる。
【００４２】
また、本体２内にはプロジェクタ（画像投影手段）４、ＣＣＤカメラ（撮像手段）６および制御部７が設けられている。
【００４３】
プロジェクタ４は制御部７に制御されることにより、スクリーン３の投影面３ａに画像を投影するようになっている。
【００４４】
ＣＣＤカメラ６はスクリーン３に投影された画像に画角を合わせて設置されており、制御部７にＩＥＥＥ１３９４インターフェースにより接続されている。ＣＣＤカメラ６は利用者による任意のタイミングで書き込み面５を撮像し、撮像画像を制御部７に転送するようになっている。
【００４５】
ここで、ＣＣＤカメラ６は画像をデジタル画像として取り込めるものであれば何でも良く、産業用ＣＣＤカメラや一般に用いられるデジタルカメラでも良い。また、制御部７とＣＣＤカメラ６とのインターフェースは、ＳＵＢ、シリアルケーブル等でも良いが、より転送速度の速いものが好ましい。
【００４６】
また、制御部７は図３に示すように、投影画像生成部８、画像合成部９、書き込み画像抽出部１０、特性取得部１１および記憶部１２を備えている。
【００４７】
投影画像生成部８はプロジェクタ４に投影する画像を生成するようになっており、この投影画像生成部８は、資料用のファイルを直接読取ったり、メモリに記憶された情報を読取ることにより、プロジェクタ４から画像をスクリーン３に投影する。
【００４８】
書き込み画像抽出部（画像抽出・合成手段）１０はＣＣＤカメラ６によって撮像された画像から書き込み面５に書き込まれた画像を抽出するようになっており、画像合成部（画像抽出・合成手段）９は投影画像生成部８によって生成された画像、すなわち、プロジェクタ４から投影される画像に抽出された画像を合成するようになっている。このため、プロジェクタ４は合成画像をスクリーン３に投影することができる。
【００４９】
特性取得部（取得手段）１１は、書き込み面５に映る利用者の影に基づいて書き込み面５上に形成された書き込み画像の特性を取得するようになっており、書き込み画像として、書き込み面５上に文字や絵等の書き込み画像が形成された方向、時間または書き込み面５上の領域に基づいて取得するようになっている。
【００５０】
具体的には、ＣＣＤカメラ６によって撮像された画像を参照し、影の輝度を含む画素で、画像内の２次元座標の最小のものと最大のものを結ぶ直線の傾きに基づいて影の延在方向を判別するようになっている。
【００５１】
書き込み画像抽出部１０によって抽出された書き込み画像は電子化されてスクリーン３に投影された画像に合成されるとともに、特性取得部１１によって取得された特性と関連付けられ、ファイル情報として記憶部１２に記憶されるようになっている。
【００５２】
入出力部１３はマウスやキーボード等の操作手段から構成されており、記憶部１２に記憶されたファイル情報を読み出して外部機器に出力するようになっている。
【００５３】
次に、図３乃至図５に基づいて書き込み画像の特性を取得する方法を説明する。
【００５４】
投影画像形成部８によって生成された資料のファイルをプロジェクタ４からスクリーン３に投影したときに、スクリーン３に投影されたファイル画像を参照しながら、複数人で議論を行う場合には、投影された情報に対して各々の会議参加者が書き込み面５に書き込みを行う。
【００５５】
この書き込みは、任意のタイミングで任意の方向から任意の書き込み面５上に行われるが、全ての書き込みが終了した段階で書き込んだ情報を電子化し、投影面３ａに投影されたファイルに合成すると、その書き込みは時間的に同一であり、書き込み者の存在位置によって方向はまちまちとなってしまう。
【００５６】
すなわち、書き込みは、任意のタイミングで行われ、その書き込み者の画像投影表示装置１に対する存在位置によって投影されたファイルの上下方向と一致した方向からなされるとは限らず、必要な場所になされる。
【００５７】
本実施の形態では、スクリーン３を背面からＣＣＤカメラ６によって書き込み面５を撮像するため、利用者がスクリーン３の表示面３ａを覗き込んでいたり、書き込み面５に書き込みを行っている際に撮像を行うと、撮像画像中には図４に示すように影が映り込んでしまう。図４では、黒い部分が書き込みを行っている利用者の影である。
【００５８】
本発明では、本来、画像中のノイズとして発生してしまうことから除去すべき利用者の影を利用して、書き込みの行われた時間、書き込み面５上の方向および領域という特性を取得し、利用者と書き込み画像を特定するようにしたものである。
【００５９】
図４の影の映り込みから分かるように、利用者はその存在位置から手を伸ばし書き込みを行うため、必然的に書き込み者の存在位置から書き込み位置まで影が伸びているので、この影の伸びている方向を判断することにより、書き込みが行われた方向を判断することができる。
【００６０】
以下、具体的に、書き込みの方向を取得する方法を説明する。
【００６１】
図５（ａ）に示すように、ＣＣＤカメラ６によって撮像された画像内で左上の角を原点とし、水平方向にｘ軸、垂直方向にｙ軸を取り、ｘ方向、ｙ方向に１０画素毎に輝度値を取得する。次いで、１０画素毎に設定した画素の輝度値のうち、予め設定されている影の輝度値と一致する画素の座標を取得する。
【００６２】
図５（ｂ）では、腕の影２１の内部にある画素は影の輝度値と一致している画素であるので、得られた画素のうち、図５（ｃ）に示すように、ｘ、ｙ座標が共に最小値Ａのものと最大値Ｂのものの画素同士を結ぶ直線Ｃを得る。
【００６３】
この直線Ｃの傾きは、略書き込み画像に対する書き込み者の位置を表す方向に一致するため、直線のｙ軸方向あるいはｘ軸方向に対する傾きから書き込み者の方向を得ることができる。そして、書き込み画像を電子化してこの特性と関連付けて記憶部１２に記憶し、必要に応じて入出力部１３によってファイル情報を取り出す。
【００６４】
なお、影の輝度を取得する画素の間隔はより細かい程、利用者の方向をより正確に判別できるため、処理速度等の観点から任意に設定することが好ましい。
【００６５】
このように本実施の形態では、専用のカメラ等を用いずに、通常は画像ノイズとして除去されてしまう書き込み面５に写る利用者の影を利用することにより、書き込み画像の特性を取得し、書き込み面５に書き込まれた情報と利用者とを関連付けることができるので、書き込みがどの利用者によってなされたものかを特定することができる。この結果、画像投影表示装置１の製造コストが増大するのを防止して保存した書き込み画像を有効に利用することができる。
【００６６】
また、本実施の形態では、書き込み面に存在する影の延在方向を判別することにより、書き込み画像が形成された方向を取得しているので、所定方向に延在する書き込み画像を同一の使用者の書き込み画像と判断することができる。さらに、ＣＣＤカメラ６によって撮像された画像を参照し、影の輝度を含む画素で、画像内の２次元座標の最小のものと最大のものを結ぶ直線の傾きに基づいて影の延在方向を判別しているので、所定方向に延在する影を判断するための時間を短縮することができ、書き込み画像の取得処理能力を向上させることができる。
【００６７】
図１乃至図３、図６、図７は本発明に係る画像表示装置の第２の実施の形態を示す図である。本実施の形態では、特性取得手段１１が、ＣＣＤカメラ６によって撮像された画像を参照し、この撮像画像中を複数画素からなる小領域に設定するとともに、小領域の存在する部分の濃度（色情報）を抜き出し、抜き出された濃度を参照して影に相当する濃度を含む小領域の並びの規則性に基づいて影の存在している方向を判別するものである。
【００６８】
次に、図６のフローチャートおよび図７に基づいて書き込み画像の特性を取得する方法を説明する。図６は書き込み画像の方向を判断する処理のフローチャートである。
【００６９】
まず、ＣＣＤカメラ６によって撮像された画像にフィルターをかける。このフィルターは図７（ａ）に示すように、縦１０×横１０の１００画素からなる小ウィンドウで一定間隔をおいて撮像画像中に配置され、１〜Ｎまでの番号を有する。
【００７０】
１０×１０画素の小ウィンドウ中のｍ番目の小ウィンドウが、予め定められた影の濃度と一致する画素を有するとき、この小ウィンドウｍは影のかかっているウィンドウとする。すなわち、１０×１０画素の小ウィンドウ中のｍ番目の小ウィンドウが、予め定められた影の濃度と一致する画素を有するか否かを判別し（ステップＳ１）、予め定められた影の濃度と一致する画素を有するものを集める。このようにして影のかかっているウィンドウを取得すると、図７（ｂ）の斜線部のように小ウィンドウが得られることになる。なお、図７（ｂ）の斜線で示すウィンドウは１０×１０画素の小ウィンドウである。
【００７１】
次いで、小ウィンドウで影のかかっているものの番号を記録した後（ステップＳ２）、記録された番号の連続性または集約性があるか否かを判別する（ステップＳ３）。次いで、小ウィンドウで影のかかっているものの番号が読取り面３ａの４辺付近の番号を有するか否かを判別し（ステップＳ４）、４辺付近の番号を有するものである場合には、用意された小ウィンドウの総数やその並びは既知であるので、影の存在する小ウィンドウの番号の規則性から書き込み画像がどの方向に伸びているのかを知ることができる。 
【００７２】
また、書き込み面５に同時に複数人が書き込んでいて、同じ画像内に図７（ｂ）に示すように、二つの影２２、２３が存在する場合には、影２２と影２３とは小ウィンドウの番号に連続性または集約性が保たれないので、別々の利用者の影と判断される。
【００７３】
このように本実施の形態では、ＣＣＤカメラ６によって撮像された画像中に任意の間隔で配置された複数画素からなる小領域に含まれる影の濃度とその小領域の位置から影の長手方向を判断するようにしたので、より正確な影の方向を検出することができる。
【００７４】
図１乃至図３、図８は本発明に係る画像表示装置の第３の実施の形態を示す図である。
【００７５】
本実施の形態では、特性取得手段１１が、書き込み画像の特性を、書き込み面５上に書き込み画像が形成された時に基づいて取得するものであり、書き込み面５に存在する影の延在方向と同一方向の影の存在時間に基づいて書き込み画像が形成された時間を取得するようにしている。
【００７６】
すなわち、図８に示すように、書き込み面５の左側から右側に書き込みを行うときに、ＣＣＤカメラ６により書き込み面５を連続的に撮像すると、利用者の影は位置２４ａ、位置２４ｂ、位置２４ｃで示すように連続画像内で変化する。
【００７７】
これは書き込み時に利用者の影が出現して書き込みを行いながら左側から右側に移動するからである。この際、影の伸びている方向を保ったまま移動していくので、書き込み面５に存在する影の延在方向と同一方向の影の存在時間に基づいて書き込み画像が形成された時間を取得することができ、書き込みが行われた時間および使用者を関連付けて正確に取得することができる。
【００７８】
図１乃至図３、図９、図１０は本発明に係る画像表示装置の第４の実施の形態を示す図である。本実施の形態では、特性取得部１１が書き込み面５に存在する影の方向、書き込み面５に存在する影の延在方向と同一方向の影の存在時間および影の先端部の移動する軌跡とに基づいて書き込み画像が形成された領域を取得するようにしているものである。
【００７９】
図９（ａ）において、利用者が、マーカーを利用しスクリーン３の書き込み面５に書き込みを行う際には、マーカーの先端は書き込み面５に接しているため、マーカーの先端部２５の影が最も濃度の高い点として現れる。
【００８０】
この先端部２５は書き込みの移動の軌跡を描くため、連続して撮像された各画像からこのマーカーの先端部２５の軌跡を記録すると、図９（ｂ）に示すように書き込みが行われた領域に軌跡が残る。
【００８１】
この軌跡を現す点は、ＣＣＤカメラ６のフレームレートに影響され、フレームレートが高ければ、書き込みの忠実な軌跡を得ることができるが、フレームレートの低いＣＣＤカメラ６の場合には、図９（ｂ）のような大まかな軌跡となる。
【００８２】
この軌跡を元に書き込みのなされた領域を得ることができるが、図９（ｃ）に示すように、書き込み面５には複数の画像２５ａ、２５ｂ、２５ｃ、２５ｄが書き込まれているため、軌跡のみからの領域分けは困難になる。
【００８３】
これらの書き込み画像は、常に書き込み者の影が存在しているので、ＣＣＤカメラ６によって撮像された画像を参照し、利用者の影の輝度を含む画素で、画像内の２次元座標の最小のものと最大のものを結ぶ直線が、画像中に出現してから消滅するまでの時間と、この直線の先端部付近にある書き込み画像の軌跡の点とを関連付けることにより、書き込み画像が形成された領域を取得することができる。
【００８４】
以下、図１０のフローチャートに基づいて書き込み画像の特性を取得する方法を説明する。まず、ＣＣＤカメラ６によって書き込み面５の撮像を開始した後、マーカーの先端部の影の出現時刻Ｔｍとその位置の座標（ｘｍ、ｙｍ）を取得する（ステップＳ１１）。以後、ＣＣＤカメラ６のフレーム毎にマーカーの先端部の座標を順次（ｘｍ２、ｙｍ２）、......（ｘｍｎ、ｙｍｎ）と取得して記録する。
【００８５】
次いで、腕の影の出現時刻Ｔａ、保持の方向、腕の先端の座標（ｘａ、ｙａ）を取得する（ステップＳ１２）。以後、ＣＣＤカメラ６のフレーム毎に腕の方向が同一のものが存在するか否かを判別、すなわち、腕の影が消えたか否かを判別し（ステップＳ１３）、腕の影が消えたときにその時刻Ｔｄｅを取得する（ステップＳ１４）。
【００８６】
次いで、時刻ＴａからＴｄｅまでの間に得られたマーカーの座標（ｘｍ、ｙｍ）を取得することにより、マーカーの先端部の集合を抽出する（ステップＳ１４）。このマーカーの先端部の集合の座標と、ＴａからＴｄｅまでの間に得られた腕の影の先端部の座標は何れも時刻の情報を保持しているので、同時刻におけるマーカーの座標（ｘｍ、ｙｍ）と腕の座標（ｘａ、ｙａ）の距離ｄｔを算出し、この距離ｄｔが閾値以下の座標のマーカー先端部の軌跡の集合を抽出する（ステップＳ１６）。
【００８７】
次いで、ステップＳ１７で書き込み画像のうち、同一グループのマーカーの先端部の軌跡の領域内に存在するものの特性に、時間ｔａ、ｔｄａと同時刻の座標（ｘａ、ｙａ）を関連付けることにより、利用者により書き込まれた情報の存在領域を得ることができ、得られた領域内に存在するマーカーによる書き込み画像を同一のグループとみなす。
【００８８】
このように本実施の形態では、書き込み面に存在する影の延在方向、この影の延在方向と同一方向の影の存在時間および影の先端部の移動する軌跡とに基づいて書き込み画像が形成された領域を取得するようにしたので、書き込み画像と影を関連付けて書き込みのなされた時間および使用者を関連付けてより一層正確に取得することができる。
【００８９】
図１、図２、図１１乃至図１３は本発明に係る画像表示装置の第５の実施の形態を示す図であり、第１の実施の形態と同様の構成には同一番号を付して説明を省略する。
【００９０】
本実施の形態では、図１１に示すように、ポインティング位置検出部（ポインティング位置検出手段）３１および書き込み画像制御部（書き込み画像制御手段）３２を備えている。
【００９１】
ポインティング位置検出部３１は、書き込み面５を指でポインティングしたときの指等の指示具の影情報に基づいてポインティング位置を検出するようになっており、書き込み画像制御部３２は、書き込み画像抽出部１０によって抽出された書き込み面５の書き込み画像を、特性取得部１１によって取得された書き込み画像の特性に基づいて複数に分割し、ポインティング位置検出部３１によって検出された書き込み面５上の書き込み画像の方向を同一方向に統一するようにしている。
【００９２】
次に、図１２、図１３に基づいて書き込み画像の方向を同一方向に統一する方法を説明する。
【００９３】
利用者の影を利用して書き込みが行われた時間、方向、領域からなる書き込み画像の特性を、書き込み画像を投影された電子ファイルに最終的に合成する際、それぞれの書き込みをファイルの正方向に一致させて合成することにより、後に分かり易い情報として保存することができる。
【００９４】
これは、図１２に示すように、書き込み面５に書き込まれる情報をスクリーン３の背面に設置されたＣＣＤカメラ６で撮像するときに、ＣＣＤカメラ６によって撮像された文字が１８０゜反転しているため、書き込まれた文字を正位置に反転する必要があるためである。
【００９５】
使用者がカメラで撮像するときに、スクリーンの背面にＣＣＤカメラ６が設置されている場合には、撮像された文字が１８０゜反転しているため、書き込まれた文字を反転する必要があるが、書き込み画像は、文字のみとは限らず、矢印や、図形、アンダーライン等もあり、これら文字以外の書き込み画像を反転させてしまってはその情報としての意味を失うものも含まれている。そこで、本実施の形態では、画像の特性を書き込み画像を投影された電子ファイルに合成する際に、利用者の選択した書き込み画像のみを反転させることにする。この反転に際しては、反転不要のもののみを選択して残りを反転させるようにしても良い。
【００９６】
この反転に際しては、利用者がスクリーン３の書き込み面５を指でポインティングすることにより、反転の必要な特性の書き込み画像を選択したり、反転不要な書き込みを選択する。なお、マウス等のコントローラーを利用して反転の必要な特性の書き込み画像を選択したり、反転不要な書き込みを選択するようにしても良い。
【００９７】
以下に、書き込み面５を指でポインティングすることにより、反転させる書き込み画像を選択する手法について説明する。
【００９８】
図１２に示すように、スクリーン３の背面からプロジェクタ４により画像を投影し、ＣＣＤカメラ６でスクリーン３上の書き込み面５を撮像する構成において、プレゼンター４１がプレゼンのための画面操作を行う場合に、指４２によって書き込み面５をポインティングすると、スクリーン３にはプレゼンターの体の影が写るので、図１３（ａ）に示すように、ＣＣＤカメラ６によって撮像された画像４３にはプレゼンターの体の影４４が写る。
【００９９】
このとき、ポインティングした指の影４５は最も濃い影となって画像中に残されるので、書き込み面５を撮像しているＣＣＤカメラ６の画像中に所定の閾値以上の濃度で、所定の大きさの黒点が現れた時に、指の影４５であるとものと判断することにより、プレゼンターの指として認識してポインティング位置を検出することができる。
【０１００】
一方、プレゼンターがポインティングを行う目的でなく、スクリーン３に手をついてしまうことが考えられるが、図１３（ｂ）に示すように、認識された黒点４６の周囲の一定の領域４７内に同レベルの濃度の影が存在した場合には、ポインタと見做さない。
【０１０１】
このように指以外の影やプレゼンターの腕や体のようにスクリーン３上で濃度の薄い影はノイズとして判断し、指の影のみをポインティングとして認識して、正確なポインティング位置を検出することができる。
【０１０２】
特に、図１に示すようなテーブル型のリアプロジェクターを用いた場合には、利用者がスクリーンに手をついたり物を置くことが考えられる。このとき、影の存在の有無だけでポインティングを検出しようとする場合に誤動作を招く恐れがあるが、本実施の形態では、一本の指以外の影を除外することにより、適切な操作を行うことができる。
【０１０３】
なお、書き込み画像を上述したポインタ機能を用いることにより、反転の必要があるだけを選択する以外に、反転を行う必要のない書き込み画像を選択し、残ったオブジェクトを反転させるようにしても良い。
【産業上の利用可能性】
【０１０４】
以上のように、本発明に係る画像表示装置は、利用者を撮像する専用のカメラやセンサ等を不要にして書き込み画像の特性を取得することができ、低コストな装置構成で書き込み面に書き込まれた情報がどの利用者によってなされたものかを特定することができるという効果を有し、表示面に投影された投影画像と書き込み面に書き込まれた画像の合成を行うようにした画像表示装置等として有用である。
【図面の簡単な説明】
【０１０５】
【図１】本発明に係る画像表示装置の第１乃至第５の実施の形態の外観図である。
【図２】第１乃至第５の実施の形態の画像表示装置の断面図である。
【図３】第１乃至第４の実施の形態の画像表示装置のブロック図である。
【図４】第１の実施の形態の撮像画像に写った腕の影を示す図である。
【図５】（ａ）は第１の実施の形態の撮像画像の輝度値のブロックの分布状態を示す図、（ｂ）は腕の影の輝度値と設定された輝度値を比較している状態を示す図、（ｃ）はｘ、ｙ座標が最小値Ａのものと最大値Ｂのものの画素同士を結ぶ直線を示す図である。
【図６】本発明に係る画像表示装置の第２の実施の形態における書き込み画像の方向を判断する処理のフローチャートである。
【図７】（ａ）は第２の実施形態におけるＣＣＤカメラによって撮像された画像にフィルターをかけたときの小ウィンドウを示す図、（ｂ）は撮像画像上に設定された小ウィンドウの集合体を示す図である。
【図８】本発明に係る画像表示装置の第３の実施の形態における書き込み面の左側から右側に書き込みを行うときに、ＣＣＤカメラにより連続的に撮像された画像を示す図である。
【図９】本発明に係る画像表示装置の第４の実施の形態を示す図であり、（ａ）は第４の実施の形態におけるスクリーン上に写った腕とマーカーの影を示す図、（ｂ）はマーカーの先端部の軌跡を示す図、（ｃ）は書き込み面上に書き込まれた複数の書き込みの軌跡を示す図である。
【図１０】第４の実施の形態の書き込み画像の特性を取得する処理を示すフローチャートである。
【図１１】本発明に係る画像表示装置の第５の実施の形態の画像表示装置のブロック図である。
【図１２】第５の実施の形態のスクリーン、プレゼンター、ＣＣＤカメラおよびプロダェクタの位置関係を示す図である。
【図１３】（ａ）は第５の実施の形態の撮像画像に写ったプレゼンターとプレゼンターの指の影を示す図、（ｂ）はスクリーンに手をついたときに撮像画像に写った影を示す図である。
【符号の説明】
【０１０６】
１  画像投影表示装置（画像表示装置）
３ａ  投影面（表示面）
４  プロジェクタ（画像投影手段）
６  ＣＣＤカメラ（撮像手段）
９  画像合成部（画像抽出・合成手段）
１０  書き込み画像抽出部（画像抽出・合成手段）
１１  特性取得部（取得手段）
３１  ポインティング位置検出部（ポインティング位置検出手段）
３２  書き込み画像制御部（書き込み画像制御手段）
【図１】
2005346453.tif 000003
【図２】
2005346453.tif 000004
【図３】
2005346453.tif 000005
【図４】
2005346453.tif 000006
【図５】
2005346453.tif 000007
【図６】
2005346453.tif 000008
【図７】
2005346453.tif 000009
【図８】
2005346453.tif 000010
【図９】
2005346453.tif 000011
【図１０】
2005346453.tif 000012
【図１１】
2005346453.tif 000013
【図１２】
2005346453.tif 000014
【図１３】
2005346453.tif 000015