(57)【特許請求の範囲】
【請求項１】
表示画像内において、発光部を有する指示具によって指示された指示位置を検出するための指示位置検出装置であって、
前記指示具の前記発光部から射出された光によって形成された指示像を含む前記表示画像を撮影した撮影画像を順次取得するための撮影画像取得部と、
順次取得された前記撮影画像の輝度特性に応じて、前記表示画像内における前記指示位置を順次検出するための検出処理部と、
を備え、
前記検出処理部は、
前記撮影画像の輝度特性に応じて、前記撮影画像を二値化するためのしきい値を決定するしきい値決定部と、
前記しきい値を用いて、前記撮影画像を二値化して二値画像を生成する二値化処理部と、
前記二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、前記指示位置を求める重心位置算出部と、
を備え、
前記しきい値決定部は、順次取得された前記撮影画像のそれぞれについて、前記二値画像に含まれる前記２種類の画素領域のうちの前記一方の画素領域を構成する画素数が同じとなるように、前記しきい値を決定することを特徴とする指示位置検出装置。
【請求項２】
請求項１記載の指示位置検出装置であって、
前記しきい値決定部は、
前記撮影画像を用いて、輝度値に応じた画素数を表す輝度値分布を生成し、前記輝度値分布と所定のしきい値決定条件とを用いて決定される輝度値を、前記しきい値として決定する、指示位置検出装置。
【請求項３】
請求項２記載の指示位置検出装置であって、
前記しきい値は、前記二値画像内において、前記撮影画像内における前記指示像よりも狭い画素領域が抽出されるような値である、指示位置検出装置。
【請求項４】
請求項２記載の指示位置検出装置であって、
前記検出処理部は、さらに、
使用可能な複数の前記指示具毎に準備された複数のしきい値決定条件を記憶するテーブルを備え、
前記しきい値決定部は、
前記複数のしきい値決定条件の中から選択されたしきい値決定条件を用いて、前記しきい値を決定する、指示位置検出装置。
【請求項５】
表示画像内において、発光部を有する指示具によって指示された指示位置を検出するため方法であって、
（ａ）前記指示具の前記発光部から射出された光によって形成された指示像を含む前記表示画像を撮影した撮影画像を順次取得する工程と、
（ｂ）順次取得された前記撮影画像の輝度特性に応じて、前記表示画像内における前記指示位置を順次検出する工程と、
を備え、
前記工程（ｂ）は、
（ｂ１）前記撮影画像の輝度特性に応じて、前記撮影画像を二値化するためのしきい値を決定する工程と、
（ｂ２）前記しきい値を用いて、前記撮影画像を二値化して二値画像を生成する工程と、
（ｂ３）前記二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、前記指示位置を求める工程と、
を備え、
前記工程（ｂ１）は、
順次取得された前記撮影画像のそれぞれについて、前記二値画像に含まれる前記２種類の画素領域のうちの前記一方の画素領域を構成する画素数が同じとなるように、前記しきい値を決定する工程を含むことを特徴とする指示位置検出方法。
【請求項６】
表示画像内において、発光部を有する指示具によって指示された指示位置を、コンピュータに検出させるためのコンピュータプログラムであって、
前記指示具の前記発光部から射出された光によって形成された指示像を含む前記表示画像を撮影した撮影画像を順次取得する機能と、
順次取得された前記撮影画像の輝度特性に応じて、前記表示画像内における前記指示位置を順次検出する機能と、
を前記コンピュータに実現させ、
前記検出機能は、
前記撮影画像の輝度特性に応じて、前記撮影画像を二値化するためのしきい値を決定する第１の機能と、
前記しきい値を用いて、前記撮影画像を二値化して二値画像を生成する第２の機能と、
前記二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、前記指示位置を求める第３の機能と、
を備え、
前記第１の機能は、
順次取得された前記撮影画像のそれぞれについて、前記二値画像に含まれる前記２種類の画素領域のうちの前記一方の画素領域を構成する画素数が同じとなるように、前記しきい値を決定する機能を含むことを特徴とするコンピュータプログラム。
【請求項７】
請求項６記載のコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、表示画像内において、発光部を有する指示具によって指示された位置を検出するための技術に関する。
【０００２】
【従来の技術】
プレゼンテーションにおいては、通常、コンピュータから供給される画像をスクリーン上に投射表示することができるプロジェクタが用いられる。説明者は、スクリーン上に表示されたコンピュータ画像内の任意の位置を、指示具を用いて指示しながら説明を行う。
【０００３】
プレゼンテーションシステムが、指示具による指示位置を検出することができれば、種々の処理に利用でき、便利である。このため、近年では、レーザポインタなどの発光部を有する指示具が用いられており、システムは、プレゼンテーションの風景を撮影するための撮影装置を備えている。そして、システムは、撮影された画像に対して、所定の処理を施すことにより、指示位置を検出する。具体的には、システムは、撮影画像を、固定されたしきい値を用いて二値化して、二値化された撮影画像（二値画像）内の２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域（有効画素領域）の重心位置を算出することによって、指示位置を検出している。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来では、指示位置を正確に検出することが困難な場合があった。
【０００５】
例えば、スクリーンの法線方向と発光部を有する指示具との成す角度が大きくなると、発光部によって照射される領域は広がり、例えば、略楕円形状になる。そして、従来のシステムを用いる場合には、しきい値は固定されているので、二値画像内には、指示位置近傍だけでなく、その周辺領域も、有効画素領域として抽出される。このような場合には、指示位置と有効画素領域の重心位置とがずれてしまい、指示位置を正確に検出することは困難である。
【０００６】
この発明は、従来技術における上述の課題を解決するためになされたものであり、表示画像内において、発光部を有する指示具によって指示された位置を、より正確に検出することのできる技術を提供することを目的とする。
【０００７】
【課題を解決するための手段およびその作用・効果】
上述の課題の少なくとも一部を解決するため、本発明の第１の装置は、表示画像内において、発光部を有する指示具によって指示された指示位置を検出するための指示位置検出装置であって、
前記指示具の前記発光部から射出された光によって形成された指示像を含む前記表示画像を撮影した撮影画像を取得するための撮影画像取得部と、
取得された前記撮影画像の輝度特性に応じて、前記表示画像内における前記指示位置を検出するための検出処理部と、
を備え、
前記検出処理部は、
前記撮影画像の輝度特性に応じて、前記撮影画像を二値化するためのしきい値を決定するしきい値決定部と、
前記しきい値を用いて、前記撮影画像を二値化して二値画像を生成する二値化処理部と、
前記二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、前記指示位置を求める重心位置算出部と、
を備えることを特徴とする。
【０００８】
この指示位置検出装置では、検出処理部は、撮影画像の輝度特性に応じて決定されるしきい値を用いて、指示位置を検出する。したがって、表示画像内において、発光部を有する指示具によって指示された位置を、より正確に検出することが可能となる。
【０００９】
なお、本明細書では、画素値を「輝度値」と呼んでいるが、「濃度値」などと呼ばれることもある。
【００１０】
上記の装置において、
前記しきい値決定部は、
前記撮影画像を用いて、輝度値に応じた画素数を表す輝度値分布を生成し、前記輝度値分布と所定のしきい値決定条件とを用いて決定される輝度値を、前記しきい値として決定することが好ましい。
【００１１】
このように、撮影画像を用いて生成された輝度値分布を用いれば、しきい値を容易に決定することができる。
【００１２】
上記の装置において、
前記しきい値は、前記二値画像内において、前記撮影画像内における前記指示像よりも狭い画素領域が抽出されるような値であることが好ましい。
【００１３】
しきい値を上記のような値に決定すれば、指示具の発光部によって指示された指示位置の近傍領域のみを二値画像内に抽出することができるので、指示位置をかなり正確に求めることができる。
【００１４】
上記の装置において、
前記検出処理部は、さらに、
使用可能な複数の前記指示具毎に準備された複数のしきい値決定条件を記憶するテーブルを備え、
前記しきい値決定部は、
前記複数のしきい値決定条件の中から選択されたしきい値決定条件を用いて、前記しきい値を決定することが好ましい。
【００１５】
こうすれば、使用する指示具を指定することにより、指示具に応じたしきい値を決定することができるので、指示具に適した検出処理を実行することが可能となる。
【００１６】
上記の装置において、
前記検出処理部は、前記指示位置の検出を繰り返し行うことが好ましい。
【００１７】
こうすれば、常に、指示位置を検出することができる。
【００１８】
上記の装置において、
前記撮影画像取得部は、前記撮影画像を撮影するための撮影部を備えていてもよい。
【００１９】
上記の装置において、
前記指示具は、可視光または不可視光を発する前記発光部を有しており、
前記撮影部は、前記発光部から発せられる光成分を検知可能であることが好ましい。
【００２０】
上記の装置において、
前記撮影部は、
前記指示具の発光部から発せられる光成分を透過させ、他の光成分を遮断するためのフィルタを備えることが好ましい。
【００２１】
こうすれば、指示具の発光部から射出された光によって形成された指示像が抽出された撮影画像を得ることができ、この結果、以降の検出処理をかなり容易に実行することが可能となる。
【００２２】
上記の装置において、
前記撮影部は、前記撮影画像の明るさを調整するための絞りを備えることが好ましい。
【００２３】
こうすれば、指示具の発光部から射出される光の輝度に適した撮影画像を得ることができる。
【００２４】
上記の装置において、
前記検出処理部は、さらに、
使用可能な複数の前記指示具毎に準備された複数の撮影条件を記憶するテーブルを備え、
前記位置検出部は、
前記複数の撮影条件の中から選択された撮影条件に基づいて前記撮影部を制御して、前記絞りを調整することが好ましい。
【００２５】
こうすれば、使用する指示具を指定することにより、指示具の発光部から射出される光の輝度に適した撮影画像を、自動的に得ることができる。
【００２６】
本発明の第２の装置は、プレゼンテーションシステムであって、
上記のいずれかに記載の指示位置検出装置と、
表示領域に前記表示画像を表示するための画像表示装置と、
を備えることを特徴とする。
【００２７】
このプレゼンテーションシステムは、上記の指示位置検出装置を備えているので、上記の装置を用いる場合と同様の作用・効果を奏し、表示画像内において、発光部を有する指示具によって指示された位置を、より正確に検出することができる。
【００２８】
上記の装置において、
前記指示位置検出装置は、
検出された前記指示位置を、所定のデータ処理に反映させることが好ましい。
【００２９】
こうすれば、検出された指示位置に応じて、種々の処理を実行することができる。例えば、検出された指示位置を画像表示装置に反映させ、表示画像内の指示位置に、ポインタやカーソルなどを表示させることができる。
【００３０】
上記の装置において、
前記画像表示装置は、前記表示領域を含むスクリーンの前方または後方から、前記表示画像を投射するプロジェクタであってもよい。
【００３１】
本発明の方法は、表示画像内において、発光部を有する指示具によって指示された指示位置を検出するため方法であって、
（ａ）前記指示具の前記発光部から射出された光によって形成された指示像を含む前記表示画像を撮影した撮影画像を取得する工程と、
（ｂ）取得された前記撮影画像の輝度特性に応じて、前記表示画像内における前記指示位置を検出する工程と、
を備え、
前記工程（ｂ）は、
（ｂ１）前記撮影画像の輝度特性に応じて、前記撮影画像を二値化するためのしきい値を決定する工程と、
（ｂ２）前記しきい値を用いて、前記撮影画像を二値化して二値画像を生成する工程と、
（ｂ３）前記二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、前記指示位置を求める工程と、
を備えることを特徴とする。
【００３２】
この方法を用いる場合も、本発明の第１の装置を用いる場合と同様の作用・効果を奏し、表示画像内において、発光部を有する指示具によって指示された位置を、より正確に検出することができる。
【００３３】
本発明のコンピュータプログラムは、表示画像内において、発光部を有する指示具によって指示された指示位置を、コンピュータに検出させるためのコンピュータプログラムであって、
前記指示具の前記発光部から射出された光によって形成された指示像を含む前記表示画像を撮影した撮影画像を取得する機能と、
取得された前記撮影画像の輝度特性に応じて、前記表示画像内における前記指示位置を検出する機能と、
を前記コンピュータに実現させ、
前記検出機能は、
前記撮影画像の輝度特性に応じて、前記撮影画像を二値化するためのしきい値を決定する機能と、
前記しきい値を用いて、前記撮影画像を二値化して二値画像を生成する機能と、
前記二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、前記指示位置を求める機能と、
を備えることを特徴とする。
【００３４】
このコンピュータプログラムをコンピュータが実行する場合にも、本発明の第１の装置を用いる場合と同様の作用・効果を奏し、表示画像内において、発光部を有する指示具によって指示された位置を、より正確に検出することができる。
【００３５】
また、本発明のコンピュータ読み取り可能な記録媒体は、上記のいずれかに記載のコンピュータプログラムを記録する。
【００３６】
この記録媒体に記録されたコンピュータプログラムをコンピュータが実行する場合にも、本発明の第１の装置を用いる場合と同様の作用・効果を奏し、表示画像内において、発光部を有する指示具によって指示された位置を、より正確に検出することができる。
【００３７】
なお、本発明は、指示位置検出方法、指示位置検出装置、プレゼンテーションシステム、その方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の種々の態様で実現することができる。
【００３８】
【発明の実施の形態】
Ａ．装置の構成：
以下、本発明の実施の形態を実施例に基づいて説明する。図１は、本発明の一実施例としてのプレゼンテーションシステムを示す説明図である。このプレゼンテーションシステムは、プロジェクタＰＪとコンピュータＰＣとカメラＣＭとを備えている。コンピュータＰＣは、プロジェクタＰＪとカメラＣＭとに接続されている。なお、このプロジェクタＰＪは、観察面側であるスクリーンＳＣの前方から、スクリーンＳＣの表示領域に向かって画像を投射するフロントタイプの液晶プロジェクタである。
【００３９】
コンピュータＰＣは、画像信号供給装置として機能し、その表示部に表示されるコンピュータ画像と同じ画像を表す画像信号を、プロジェクタＰＪに供給することができる。プロジェクタＰＪは、供給された画像信号に基づいて、スクリーンＳＣ上にコンピュータ画像（表示画像）ＤＩを投射表示する。
【００４０】
説明者１０は、スクリーンＳＣ上の表示画像ＤＩ内の任意の位置を、指示具ＰＯを用いて指示しながら、説明を行う。本実施例において用いられる指示具ＰＯは、その先端部分に発光部を有している。なお、指示具としては、先端部分にランプが取り付けられた指示棒や、レーザポインタなどを用いることができる。指示具の発光部は、赤色光などの可視光を射出してもよいし、赤外光などの不可視光を射出してもよい。
【００４１】
カメラＣＭは、指示具ＰＯの発光部から発せられる光成分を、すなわち、可視光や赤外光を、検知可能なＣＣＤカメラである。カメラＣＭは、表示画像ＤＩの全体が少なくとも含まれるような範囲ＣＡを撮影する。指示具ＰＯによって表示画像ＤＩ内の任意の位置が指示されている場合には、撮影された画像には、指示具ＰＯの発光部から射出された光によって形成される指示像（発光像）が含まれる。撮影画像は、カメラＣＭからコンピュータＰＣに供給される。
【００４２】
なお、指示具の先端部分にランプが取り付けられている場合には、カメラＣＭは、ランプから射出された光を直接撮影するとともに、ランプから射出された光がスクリーンを照射することによって生じる反射光を撮影する。ただし、指示具がレーザポインタである場合には、カメラＣＭは、スクリーンで反射された光のみを撮影する。なお、本明細書において、「反射」とは、乱反射（散乱反射）を含む意味である。
【００４３】
コンピュータＰＣは、撮影画像に対して、所定の処理を施すことによって、指示具ＰＯの先端位置ＰＰ、すなわち、指示具ＰＯの発光部によって指示された指示位置ＰＰを検出する。なお、本実施例では、検出された指示位置ＰＰは、表示画像ＤＩ内における位置（座標）で表される。指示位置ＰＰの座標は、コンピュータＰＣにおける種々の処理に利用される。コンピュータＰＣは、例えば、指示位置ＰＰにポインタやカーソルなどが重畳されたコンピュータ画像を生成し、コンピュータ画像をその表示部に表示させるとともに、プロジェクタＰＪを介してスクリーンＳＣ上に表示させる。
【００４４】
ところで、前述のように、スクリーンＳＣの法線方向と指示具との成す角度が大きくなると、指示具ＰＯの発光部から射出された光は、スクリーンＳＣ上において、指示位置ＰＰだけでなく、その周辺領域ＰＲを照射する。従来では、このように比較的大きな指示像（指示位置ＰＰおよび周辺領域ＰＲ）を含む撮影画像を用いる場合には、指示位置ＰＰを正確に検出することが困難であった。本実施例では、指示像内の周辺領域ＰＲの一部を無視することにより、指示位置ＰＰをより正確に検出することができるように工夫している。
【００４５】
図２は、図１のコンピュータＰＣの内部構成を示すブロック図である。コンピュータＰＣは、ＣＰＵ１００と、ハードディスク装置やフロッピィディスク装置などの外部記憶装置１２０と、キーボードやマウスなどの入力部１３０と、ディスプレイアダプタ１４０と、表示部１５０と、ビデオキャプチャ１６０と、画像処理部１７０と、ＲＯＭおよびＲＡＭを含むメインメモリ２００と、画像メモリ２７０と、を備えている。ＣＰＵ１００と、外部記憶装置１２０と、入力部１３０と、ディスプレイアダプタ１４０と、ビデオキャプチャ１６０と、画像処理部１７０と、メインメモリ２００と、画像メモリ２７０とは、バス１００ｂによって互いに接続されている。なお、図１では各種のインタフェース回路は省略されている。
【００４６】
メインメモリ２００には、アプリケーションプログラム２１０と、キャプチャドライバ２２０と、ディスプレイドライバ２３０と、マウスドライバ２４０と、位置検出部２５０との機能をそれぞれ実現するためのコンピュータプログラムが格納されている。
【００４７】
ディスプレイドライバ２３０は、アプリケーションプログラム２１０によって生成されるコンピュータ画像を表す画像信号を、ディスプレイアダプタ１４０を介して、コンピュータＰＣの表示部１５０およびプロジェクタＰＪに供給する。
【００４８】
キャプチャドライバ２２０は、カメラＣＭによって撮影される画像を、ビデオキャプチャ１６０を介してキャプチャし、キャプチャした撮影画像データを画像メモリ２７０に格納する。なお、カメラＣＭのレンズには、指示具ＰＯの発光部から発せられる光成分を透過させ、他の光成分を遮断するための光学フィルタ３００が装着される。
【００４９】
位置検出部２５０は、キャプチャドライバ２２０を制御することにより、ビデオキャプチャ１６０を介して、カメラＣＭを制御する。また、位置検出部２５０は、画像処理部１７０を制御することにより、画像処理部１７０と協力して、指示位置ＰＰを検出するための処理を実行する。
【００５０】
具体的には、位置検出部２５０は、しきい値決定部２５２と、二値化処理部２５４と、重心位置算出部２５６と、しきい値決定条件と撮影条件とを含む処理条件テーブル２５８とを備えている。しきい値決定部２５２は、画像メモリ２７０に格納された撮影画像の輝度特性に応じて、撮影画像を二値化するためのしきい値を決定する。なお、本実施例では、しきい値決定部２５２は、撮影画像を用いて、ヒストグラムや累積面積比グラフを生成し、累積面積比グラフと所定のしきい値決定条件とを用いることによって、しきい値を決定する。二値化処理部２５４は、決定されたしきい値を用いて、撮影画像を二値化して二値画像を生成する。重心位置算出部２５６は、二値画像内に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域の重心位置を計算することにより、指示位置ＰＰを求める。なお、ヒストグラムや、累積面積比グラフ、しきい値などの各データは、画像処理部１７０とメインメモリ２００とのいずれに格納されてもよい。また、画像メモリ２７０は、メインメモリ２００上の一部として形成されていてもよい。位置検出部２５０の処理については、さらに、後述する。
【００５１】
なお、本実施例において、画像処理部１７０は、ハードウェアによって構成されているが、メインメモリ２００上にソフトウェアとして実現することも可能である。ただし、画像処理を高速に実行する必要がある場合には、本実施例のように、ハードウェアによって構成することが好ましい。
【００５２】
マウスドライバ２４０は、指示位置ＰＰの検出データに基づいて、表示画像ＤＩ上の指示位置ＰＰに対応する位置に、ディスプレイドライバ２３０とディスプレイアダプタ１４０とを介して、マウスポインタを表示させる。なお、マウスポインタを含む画像は、コンピュータＰＣの表示部１５０およびスクリーンＳＣ上に表示される。
【００５３】
なお、上述の各部２１０，２２０，２３０，２４０，２５０の機能を実現するコンピュータプログラムは、フレキシブルディスクやＣＤ−ＲＯＭ等の、コンピュータ読み取り可能な記録媒体に記録された形態で提供される。コンピュータは、その記録媒体からコンピュータプログラムを読み取って内部記憶装置または外部記憶装置に転送する。あるいは、通信経路を介してコンピュータにコンピュータプログラムを供給するようにしてもよい。コンピュータプログラムの機能を実現する時には、内部記憶装置に格納されたコンピュータプログラムがコンピュータのマイクロプロセッサによって実行される。また、記録媒体に記録されたコンピュータプログラムをコンピュータが読み取って直接実行するようにしてもよい。
【００５４】
この明細書において、コンピュータとは、ハードウェア装置とオペレーションシステムとを含む概念であり、オペレーションシステムの制御の下で動作するハードウェア装置を意味している。また、オペレーションシステムが不要でアプリケーションプログラム単独でハードウェア装置を動作させるような場合には、そのハードウェア装置自体がコンピュータに相当する。ハードウェア装置は、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とを少なくとも備えている。コンピュータプログラムは、このようなコンピュータに、上述の各部の機能を実現させるプログラムコードを含んでいる。なお、上述の機能の一部は、アプリケーションプログラムでなく、オペレーションシステムによって実現されていてもよい。
【００５５】
なお、この発明における「記録媒体」としては、フレキシブルディスクやＣＤ−ＲＯＭ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭ等のメモリ）および外部記憶装置等の、コンピュータが読み取り可能な種々の媒体を利用できる。
【００５６】
上記の説明からも分かるように、本実施例におけるコンピュータＰＣとカメラＣＭとが、本発明の指示位置検出装置に相当する。また、キャプチャドライバ２２０とビデオキャプチャ１６０とカメラＣＭとが、本発明の撮影画像取得部に相当し、カメラＣＭが撮影部に相当する。そして、位置検出部２５０と画像処理部１７０とが、本発明の検出処理部に相当する。
【００５７】
Ｂ．指示位置の検出処理：
図３は、指示位置を検出するための一連の処理を示すフローチャートである。コンピュータＰＣにおいて、位置検出部２５０の機能を実現するコンピュータプログラムが実行されると、指示位置の検出処理が開始される。
【００５８】
まず、ステップＳ１００では、位置検出部２５０は、初期設定のための処理を実行する。初期設定には、指示具ＰＯによる指示位置を検出するための種々の条件値の設定（または、キャリブレーション）が含まれる。
【００５９】
例えば、撮影画像と表示画像ＤＩとの位置関係が設定（キャリブレーション）される。これにより、撮影画像内の座標と表示画像ＤＩ内の座標とを対応付けることができる。なお、カメラＣＭの撮影範囲は、予め設定されている。
【００６０】
また、本実施例では、使用する指示具の種類を説明者が選択することによって、カメラＣＭの撮影条件が設定されるとともに、ステップＳ２００において用いられるしきい値決定条件が設定される。具体的には、位置検出部２５０は、コンピュータＰＣの表示部１５０に、指示具の種類を選択するための選択画面（図示せず）を表示させる。なお、選択画面は、位置検出部２５０内に含まれる処理条件テーブル２５８に基づいて生成される。この選択画面には、複数の指示具が表示されており、説明者は、使用する指示具を選択する。そして、選択された指示具に応じて、撮影条件としきい値決定条件とが設定される。なお、本実施例において、撮影条件は、撮影画像の明るさを調整するためのカメラＣＭの絞りの調整条件を含んでいる。
【００６１】
以下では、ステップＳ１００において、先端部分に赤外光を発する発光部を有する指示具が選択されたと仮定して説明する。
【００６２】
次に、ステップＳ２００において、位置検出部２５０は、撮影画像を用いて、指示位置を検出する。なお、本実施例において、ステップＳ２００における処理は、指示位置の検出の終了が指示されるまで、繰り返し実行される。
【００６３】
図４は、図３のステップＳ２００の処理内容を示すフローチャートである。ステップＳ３００では、位置検出部２５０は、キャプチャドライバ２２０に、カメラＣＭによって撮影される画像をキャプチャさせる。なお、キャプチャされた撮影画像は、画像メモリ２７０に格納される。
【００６４】
ところで、本実施例のように、指示具ＰＯが赤外光を発する場合には、光学フィルタ３００（図２）として赤外光透過フィルタ（以下、「赤外フィルタ」と呼ぶ）が用いられる。そして、ステップＳ１００において、指示具ＰＯに応じてカメラＣＭの絞りを調整した後に、ステップＳ３００において画像を撮影することにより、撮影画像内に指示具ＰＯが発する赤外光、および、スクリーンで反射された赤外光のみを抽出することができる。換言すれば、絞りが調整された状態で赤外フィルタを用いることにより、表示画像ＤＩ上の赤外光成分を発する領域のみを有効とし、表示画像ＤＩ上の他の領域を無効とするような撮影画像を取得することができる。
【００６５】
また、指示具ＰＯが赤色光を発するレーザポインタである場合には、光学フィルタ３００（図２）として赤色光透過フィルタ（以下、「赤色フィルタ」と呼ぶ）が用いられる。そして、ステップＳ１００において指示具ＰＯに応じてカメラＣＭの絞りを調整した後に、ステップＳ３００において画像を撮影することにより、撮影画像内にスクリーンで反射された赤色光のみを抽出することができる。換言すれば、絞りが調整された状態で赤色フィルタを用いることにより、表示画像ＤＩ上の比較的輝度の高い赤色光成分を発する領域のみを有効とし、表示画像ＤＩ上の他の領域を無効とするような撮影画像を取得することができる。
【００６６】
なお、レーザポインタが用いられる場合には、絞りは、比較的小さく設定される。こうすれば、指示具の発光部から射出される輝度の比較的高い赤色光成分が抽出された撮影画像を得ることができる。
【００６７】
図５は、カメラＣＭに赤外フィルタが装着されていない状態で得られた撮影画像の一例を示す説明図である。図５では、プロジェクタＰＪによってスクリーンＳＣ上に投射された表示画像（コンピュータ画像）上において、説明者が指示具ＰＯを用いて、特定の位置を指示する様子が撮影されている。図示するように、指示具ＰＯの先端において、発光部から射出された赤外光によって形成された指示像を観察することができる。なお、図５において、指示像の下方に現れている輝度の比較的高い領域は、プロジェクタＰＪに起因する像であり、指示具ＰＯの発光部から射出された赤外光によって形成された像ではない。
【００６８】
図６は、カメラＣＭに赤外フィルタが装着された状態で得られた撮影画像の一例を示す説明図である。なお、図６は、図５と同じ様子を撮影した画像である。図５，図６を比較して分かるように、カメラＣＭに赤外フィルタを装着することにより、指示具ＰＯの発光部から射出された赤外光によって形成された指示像の領域と、表示画像ＤＩなどを含む他の領域とを、容易に分離することができる。換言すれば、赤外フィルタを用いることにより、撮影画像内に指示像のみを容易に抽出することができる。
【００６９】
ステップＳ３２０（図４）では、位置検出部２５０（図２）内のしきい値決定部２５２は、画像処理部１７０を制御することにより、ステップＳ３００において得られた撮影画像（図６）を用いてヒストグラムを生成する。なお、本実施例では、ヒストグラムのデータは、画像処理部１７０に格納されるが、メインメモリ２００に格納されるようにしてもよい。
【００７０】
図７は、図６の撮影画像を用いて生成されたヒストグラムである。図示するように、本実施例では、横軸を輝度値とし、縦軸を各輝度値を示す頻度（画素数）とするヒストグラムが生成される。図７のヒストグラムから分かるように、赤外フィルタを用いることにより、指示像の領域を構成する画素の輝度値と、その他の背景部分の領域を構成する画素の輝度値とは、かなり分離される。なお、本実施例では、ヒストグラムが生成されているが、折れ線グラフなどの他の形態のグラフを生成するようにしてもよい。
【００７１】
次に、ステップＳ３４０（図４）では、位置検出部２５０（図２）内のしきい値決定部２５２は、画像処理部１７０を制御することにより、ステップＳ３２０で得られたヒストグラムを用いて、各輝度値における輝度値０からの累積面積比グラフを生成する。なお、本実施例では、累積面積比グラフのデータは、画像処理部１７０に格納されるが、メインメモリ２００に格納されるようにしてもよい。
【００７２】
図８は、図７のヒストグラムを用いて生成された累積面積比グラフである。図８の累積面積比グラフにおける累積面積比は、輝度値２５０付近で急激に上昇している。これは、図７のヒストグラムにおける輝度値２５０付近の頻度（画素数）の増加に起因する。なお、最高輝度値２５５では、累積面積比は１００％となっている。
【００７３】
図８の累積面積比グラフは、次のように生成される。すなわち、まず、図７のヒストグラムを用いて、横軸を輝度値とし、縦軸を輝度値０からの累積画素数とする累積分布グラフを生成する。そして、累積分布グラフを用いて、横軸を輝度値とし、縦軸を輝度値０からの累積面積比とする累積面積比グラフを生成する。ここで、各輝度値における累積面積比は、各輝度値における累積画素数を、撮影画像を構成する全画素数で割ることによって得られる値である。
【００７４】
ステップＳ３６０（図４）では、位置検出部２５０（図２）内のしきい値決定部２５２は、画像処理部１７０を制御することにより、ステップＳ３４０で得られた累積面積比グラフを用いて、撮影画像（図６）を二値化するためのしきい値を決定する。
【００７５】
本実施例では、図８の累積面積比の値（％）が特定の値になった輝度値が、二値化のためのしきい値に決定される。このように、累積面積比の値を設定することにより決定されるしきい値は、ステップＳ３００において取得される撮影画像毎に変更され得る値である。すなわち、しきい値は、撮影画像の輝度特性に応じた値に決定される。
【００７６】
なお、しきい値を決定するための累積面積比の値、すなわち、しきい値決定条件は、ステップＳ１００（図３）において選択された使用する指示具ＰＯに応じて設定されている。こうすれば、指示具に応じたしきい値を決定することができるので、指示具に適した検出処理を実行することが可能となる。
【００７７】
例えば、カメラＣＭが指示具ＰＯの発光部から発せられた赤外光を直接検知する場合には、累積面積比が９９．９００％となる輝度値を二値化しきい値とすることが好ましい。また、カメラＣＭが指示具ＰＯの発光部から発せられてスクリーンＳＣで反射された赤外光を検知する場合には、累積面積比が９９．９９５％となる輝度値を二値化しきい値とすることが好ましい。また、カメラＣＭがレーザポインタの発光部から発せられてスクリーンＳＣで反射された赤色光を検知する場合には、累積面積比が９９．９９０％となる輝度値を二値化しきい値とすることが好ましい。
【００７８】
なお、説明者が、いかなる指示具を用いるかは、プレゼンテーションの環境や、説明者の好み等によって異なる。したがって、ステップＳ１００において設定されるしきい値を決定するためのしきい値決定条件（累積面積比の値）は、使用される指示具の他、撮影装置や、周囲の明るさなどの使用環境などに応じて、設定されることが好ましい。
【００７９】
次に、ステップＳ３８０（図４）では、位置検出部２５０（図２）内の二値化処理部２５４は、画像処理部１７０を制御することにより、ステップＳ３６０において得られたしきい値を用いて、ステップＳ３００において画像メモリ２７０に格納された撮影画像（図６）を二値化する。なお、二値化された撮影画像（二値画像）は、画像メモリ２７０に格納される。
【００８０】
図９は、図６の撮影画像を、ステップＳ３６０において決定された適切なしきい値を用いて二値化したときに得られる二値画像を示す説明図である。なお、図９では、しきい値以上の高い輝度値を有する画素領域が白色で示されており、しきい値よりも低い輝度値を有する画素領域が黒色で示されている。図示するように、適切なしきい値を用いることにより、指示位置の近傍領域のみを抽出することができる。ここで、指示位置の近傍領域は、図６に示す撮影画像内の指示像よりも狭い領域である。このように、適切なしきい値を用いて二値化することにより、図６に示す指示像内の周辺領域の一部の領域を無視することができるので、指示位置の検出をより正確に行うことが可能となる。
【００８１】
図１０は、図５の撮影画像を、適切なしきい値を用いて二値化したときに得られる二値画像の比較例を示す説明図である。図９，図１０を比較して分かるように、赤外フィルタを装着せずに撮影された撮影画像（図５）を二値化する場合には、指示位置の近傍領域を抽出することができるが、近傍領域以外の輝度の比較的高い領域も抽出してしまう。図１０に示すように、白色の画素領域が広範囲に分散している場合には、指示位置の検出を正確に行うことは困難である。
【００８２】
図１１は、図６の撮影画像を、固定されたしきい値を用いて二値化したときに得られる二値画像の比較例を示す説明図である。図９，図１１を比較して分かるように、固定されたしきい値が適切でない場合には、指示位置の近傍領域のみでなく、指示位置からかなり離れた部分まで抽出されてしまう。図１１に示すように、白色の画素領域が図６に示す指示像よりも広い領域である場合には、指示位置の検出を正確に行うことは困難である。
【００８３】
図９〜図１１において説明したように、赤外フィルタを用いて撮影された撮影画像（図６）を、撮影画像の輝度特性に応じて決定された適切なしきい値を用いて二値化することにより、図９に示すように、二値画像内に指示位置の近傍領域のみを抽出することができる。換言すれば、しきい値は、二値画像内において、撮影画像内における指示像よりも狭い画素領域が抽出されるような値に決定されている。こうすれば、指示位置の近傍領域のみを二値画像内に抽出することができるので、ステップＳ４００において、指示位置をかなり正確に求めることが可能となる。
【００８４】
次に、ステップＳ４００（図４）では、位置検出部２５０（図２）内の重心位置算出部２５６は、画像処理部１７０を制御することにより、ステップＳ３８０で得られた二値画像を用いて、撮影画像内の指示位置ＰＰを検出する。具体的には、二値画像に含まれる２種類の画素領域のうち、比較的高い輝度値を有する一方の画素領域（すなわち、図９の白色の画素領域）を有効画素領域とみなし、有効画素領域の重心座標を計算する。有効画素領域の重心座標、換言すれば、撮影画像内の指示位置の座標（Ｘ，Ｙ）は、有効画素領域を構成する各有効画素を用いて、次式を適用することによって得られる。なお、撮影画像内の指示位置の座標データは、位置検出部２５０に格納される。
【００８５】
【数１】
0003994672.tif 000002
【００８６】
そして、重心位置算出部は、撮影画像内の座標データを、表示画像ＤＩ内の座標データに、換言すれば、コンピュータＰＣにおける座標データに変換する。なお、この座標変換は、ステップＳ１００（図３）において設定された撮影画像と表示画像ＤＩとの位置関係に基づいて実行される。
【００８７】
最後に、ステップＳ４２０（図４）では、位置検出部２５０は、変換後の座標データを、マウスドライバ２４０に送信する。この結果、変換後の座標データは、コンピュータＰＣにインストールされているオペレーティングシステムに反映され、ディスプレイドライバ２３０やディスプレイアダプタ１４０にも反映される。これにより、コンピュータＰＣの表示部１５０とスクリーンＳＣとに表示される表示画像内の指示位置ＰＰには、マウスポインタが表示される。このように、表示画像ＤＩ内にマウスポインタを表示させれば、説明者や第三者に、指示位置をさらに分かり易く示すことができる。
【００８８】
なお、本実施例では、前述のように、ステップＳ２００の処理は、繰り返し実行される。したがって、表示画像内における指示位置を常に検出することができるので、指示位置が変更された場合には、マウスポインタの表示位置も変更されることとなる。
【００８９】
また、本実施例においては、指示具ＰＯに、マウスボタンに相当するボタンが設けられている。すなわち、説明者は指示具ＰＯに設けられたボタンを押すことによりクリック動作を実行することができるので、表示画像（コンピュータ画像）内のマウスポインタが表示された位置で、種々の処理を実行することが可能である。
【００９０】
さらに、本実施例においては、表示画像ＤＩ内の指示位置ＰＰにマウスポインタが表示されるが、カーソルが表示されるようにしてもよい。また、指示位置ＰＰの移動に伴って、曲線などを描画するようにしてもよい。
【００９１】
このように、本実施例では、検出された指示位置を、種々のデータ処理に反映させることができる。
【００９２】
以上説明したように、本実施例のプレゼンテーションシステムは、検出処理部２５０，１７０を備えており、検出処理部は、撮影画像の輝度特性に応じて撮影画像を二値化するためのしきい値を決定するしきい値決定部２５２を備えている。したがって、スクリーンＳＣの法線方向と指示具との成す角度が大きくなり、発光部によって照射される領域が広がった場合などでも、表示画像内において、発光部を有する指示具によって指示された位置を、正確に検出することが可能となる。
【００９３】
なお、本発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【００９４】
（１）上記実施例では、しきい値決定部２５２は、ヒストグラムと累積分布グラフとを生成した後に、累積面積比グラフ（ステップＳ３４０）を生成しているが、撮影画像から直接、累積面積比グラフを生成するようにしてもよい。
【００９５】
また、上記実施例では、しきい値決定部２５２は、ヒストグラムや累積分布グラフ、累積面積比グラフなどのグラフ（ステップＳ３２０，Ｓ３４０）を生成しているが、これに代えて、グラフを形成可能なデータ列（表）のみを生成するようにしてもよい。
【００９６】
さらに、上記実施例では、しきい値決定部２５２は、撮影画像に含まれるすべての画素を用いて、ヒストグラムおよび累積面積比グラフを生成しているが、撮影画像に含まれる一部の画素を用いて生成するようにしてもよい。例えば、撮影画像に含まれるすべての画素のうち、一部の画素を間引きして、残された複数の画素を用いて、ヒストグラムおよび累積面積比グラフを生成するようにしてもよい。こうすれば、ヒストグラムおよび累積面積比グラフを、容易に生成することが可能となる。
【００９７】
すなわち、一般には、しきい値決定部は、撮影画像を用いて、輝度値に応じた画素数を表すヒストグラムや累積面積比グラフなどの輝度値分布を生成し、輝度値分布と所定のしきい値決定条件とを用いて決定される輝度値を、しきい値として決定すればよい。こうすれば、しきい値を容易に決定することができる。
【００９８】
（２）上記実施例では、ステップＳ１００において設定される累積面積比の値（しきい値決定条件）は、ステップＳ２００の処理を繰り返し実行する際には、常に一定である。このため、ステップＳ３８０において得られる二値画像内の有効画素領域（白色の画素領域）を構成する画素数は、常に、ほぼ同じとなっている。換言すれば、上記実施例のしきい値決定部２５２は、二値画像内に、ほぼ同じ数の有効画素が含まれるように、しきい値を決定している。したがって、しきい値決定部２５２は、例えば、撮影画像内の各画素のうち、輝度が高い順番に所定数の画素を選択し、最後に選択された画素の輝度値を、しきい値として決定するようにしてもよい。
【００９９】
一般に、しきい値決定部は、撮影画像の輝度特性に応じて、撮影画像を二値化するためのしきい値を決定すればよい。
【０１００】
（３）上記実施例では、フロントタイプのプロジェクタＰＪが用いられているが、これに代えて、観察面の裏側であるスクリーンＳＣの後方から、スクリーンＳＣの表示領域に向かって画像を投射するリアタイプのプロジェクタを用いるようにしてもよい。
【０１０１】
（４）上記実施例では、液晶プロジェクタＰＪが用いられているが、これに代えて、高輝度ＣＲＴやＤＭＤ（デジタルマイクロミラーデバイス：ＴＩ社の商標）などを採用する他のプロジェクタを用いるようにしてもよい。
【０１０２】
（５）上記実施例では、説明者１０は、プロジェクタＰＪによってスクリーンＳＣ上の表示領域に表示された表示画像ＤＩ内の任意の位置を指示しているが、他の画像表示装置の表示領域に表示された表示画像内の任意の位置を指示するようにしてもよい。他の表示装置としては、例えば、ＣＲＴやＰＤＰ（プラズマディスプレイパネル）を用いることができる。
【図面の簡単な説明】
【図１】本発明の一実施例としてのプレゼンテーションシステムを示す説明図である。
【図２】図１のコンピュータＰＣの内部構成を示すブロック図である。
【図３】指示位置を検出するための一連の処理を示すフローチャートである。
【図４】図３のステップＳ２００の処理内容を示すフローチャートである。
【図５】カメラＣＭに赤外フィルタが装着されていない状態で得られた撮影画像の一例を示す説明図である。
【図６】カメラＣＭに赤外フィルタが装着された状態で得られた撮影画像の一例を示す説明図である。
【図７】図６の撮影画像を用いて生成されたヒストグラムである。
【図８】図７のヒストグラムを用いて生成された累積面積比グラフである。
【図９】図６の撮影画像を、ステップＳ３６０において決定された適切なしきい値を用いて二値化したときに得られる二値画像を示す説明図である。
【図１０】図５の撮影画像を、適切なしきい値を用いて二値化したときに得られる二値画像の比較例を示す説明図である。
【図１１】図６の撮影画像を、固定されたしきい値を用いて二値化したときに得られる二値画像の比較例を示す説明図である。
【符号の説明】
１０…説明者
１００…ＣＰＵ
１００ｂ…バス
１２０…外部記憶装置
１３０…入力部
１４０…ディスプレイアダプタ
１５０…表示部
１６０…ビデオキャプチャ
１７０…画像処理部
２００…メインメモリ
２１０…アプリケーションプログラム
２２０…キャプチャドライバ
２３０…ディスプレイドライバ
２４０…マウスドライバ
２５０…位置検出部
２５２…しきい値決定部
２５４…二値化処理部
２５６…重心位置算出部
２５８…処理条件テーブル
２７０…画像メモリ
３００…光学フィルタ
ＣＭ…カメラ
ＤＩ…表示画像
ＰＣ…コンピュータ
ＰＪ…プロジェクタ
ＰＯ…指示具
ＰＰ…指示位置（指示具の発光部の位置）
ＰＲ…周辺領域（指示具の発光部からの光がスクリーンを照射した領域）
ＳＣ…スクリーン
【図１】
0003994672.tif 000003
【図２】
0003994672.tif 000004
【図３】
0003994672.tif 000005
【図４】
0003994672.tif 000006
【図５】
0003994672.tif 000007
【図６】
0003994672.tif 000008
【図７】
0003994672.tif 000009
【図８】
0003994672.tif 000010
【図９】
0003994672.tif 000011
【図１０】
0003994672.tif 000012
【図１１】
0003994672.tif 000013