(57)【特許請求の範囲】
【請求項１】
レーザスポットを識別するとともに、該レーザスポットの座標の位置決めを行う装置において、
撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出する前景演算部と、
前記装置の初期化段階に、前記前景演算部により算出された前記前景画像に基づき、前記前景画像における設定された輝度の閾値の範囲内での画素の飽和度の閾値を自動予測する閾値予測部と、
前記装置の処理段階に、前記前景演算部により算出された前記前景画像と、前記輝度の閾値、前記飽和度の閾値、及び検出するレーザスポットの色に対応して決められる色調の閾値とに基づき、レーザスポットを検出するレーザスポット検出部と、
前記レーザスポット検出部により検出されたレーザスポットにより、前記レーザスポットの前記撮像画像内での座標を算出する位置決め部と、
を有する装置。
【請求項２】
請求項１に記載の装置において、
前記前景演算部が、先ず撮像画像の背景画像を算出し、撮像画像から前記背景画像を減算することで、前記前景画像を算出することを特徴とする装置。
【請求項３】
請求項１に記載の装置において、
閾値予測部が、前記前景画像の分析を行い、前記前景画像における画素の飽和度の統計を行うことにより、前記前景画像における画素の飽和度の閾値を予測する装置。
【請求項４】
請求項１に記載の装置において、
レーザスポット検出部が、前記撮像画像における画素の輝度、飽和度及び色調値により、前記画素の分類を行うとともに、該分類の結果に応じて、レーザスポットの検出を行い、
ｐを前記画素とし、Ｂ（ｐ）を前記画素の輝度値とし、Ｔ１（ｂ）を画素の輝度の第１閾値とし、Ｓ（ｐ）を前記画素の飽和度値とし、Ｔ１（ｓ）を画素の飽和度の第１閾値とした場合、前記画素が、Ｂ（ｐ）＞Ｔ１（ｂ）、Ｓ（ｐ）＜Ｔ１（ｓ）の関係を満足すると、該画素を第１画素に分類し、
Ｈ（ｐ）を前記画素の色調値とし、Ｔ（ｈ）を画素の色調値の閾値範囲とし、Ｔ２（ｂ）を画素の輝度の第２閾値とし、Ｔ２（ｓ）を画素の飽和度の第２閾値とした場合、前記画素が、Ｈ（ｐ）∈Ｔ（ｈ）、Ｂ（ｐ）＞Ｔ２（ｂ）、Ｓ（ｐ）＞Ｔ２（ｓ）の関係を満足すると、該画素を第２画素に分類し、
残りの画素を第３画素に分類する、装置。
【請求項５】
請求項１に記載の装置において、
前記位置決め部が、レーザスポットの中心の座標を算出することで、前記レーザスポットの座標を生成する、装置。
【請求項６】
レーザスポットの識別及び該レーザスポットの座標の位置決めを行う方法において、
撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出するステップと、
初期化段階において、前記算出された前記前景画像から、前記前景画像における設定された輝度の閾値の範囲内での画素の飽和度の閾値を自動予測するステップと、
処理段階において、前記前景画像と、前記輝度の閾値、前記飽和度の閾値、及び検出するレーザスポットの色に対応して決められる色調の閾値とにより、レーザスポットを検出するステップと、
前記検出されたレーザスポットから、前記レーザスポットの前記撮像画像内での座標を算出するステップと、
を含む方法。
【請求項７】
請求項６に記載の方法において、
レーザスポットを検出するステップが、
前記撮像画像における画素の輝度、飽和度及び色調値により、前記画素の分類を行うとともに、該分類の結果に応じて、レーザスポットの検出を行い、
ｐを前記画素とし、Ｂ（ｐ）を前記画素の輝度値とし、Ｔ１（ｂ）を画素の輝度の第１閾値とし、Ｓ（ｐ）を前記画素の飽和度値とし、Ｔ１（ｓ）を画素の飽和度の第１閾値とした場合、前記画素が、Ｂ（ｐ）＞Ｔ１（ｂ）、Ｓ（ｐ）＜Ｔ１（ｓ）の関係を満足すると、該画素を第１画素に分類し、
Ｈ（ｐ）を前記画素の色調値とし、Ｔ（ｈ）を画素の色調値の閾値範囲とし、Ｔ２（ｂ）を画素の輝度の第２閾値とし、Ｔ２（ｓ）を画素の飽和度の第２閾値とした場合、前記画素が、Ｈ（ｐ）∈Ｔ（ｈ）、Ｂ（ｐ）＞Ｔ２（ｂ）、Ｓ（ｐ）＞Ｔ２（ｓ）の関係を満足すると、該画素を第２画素に分類し、
残りの画素を第３画素に分類する、方法。
【請求項８】
スクリーン上に可視像を投影する投影装置と、レーザビームを前記スクリーン上に投射するレーザポインターと、スクリーン上に投影する画像を撮像する撮像装置と、レーザスポットを識別して該レーザスポットの座標の位置決めを行う装置を備えた仮想ホワイトボードシステムにおいて、
該レーザスポットを識別して該レーザスポットの座標の位置決めを行う装置が、
撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出する前景演算部と、
前記装置の初期化段階に、前記前景演算部により算出された前記前景画像に基づき、前記前景画像における設定された輝度の閾値の範囲内での画素の飽和度の閾値を自動予測する閾値予測部と、
前記装置の処理段階に、前記前景演算部により算出された前記前景画像と、前記輝度の閾値、前記飽和度の閾値、及び検出するレーザスポットの色に対応して決められる色調の閾値とに基づき、レーザスポットを検出するレーザスポット検出部と、
前記レーザスポット検出部により検出されたレーザスポットから、前記レーザスポットの前記撮像画像内での座標を算出する位置決め部と、
を有する、仮想ホワイトボードシステム。
【請求項９】
レーザスポットの識別及び該レーザスポットの座標の位置決めを行うためのプログラムであって、コンピュータに、
撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出するステップと、
初期化段階において、前記算出された前記前景画像から、前記前景画像における設定された輝度の閾値の範囲内での画素の飽和度の閾値を自動予測するステップと、
処理段階において、前記前景画像と、前記輝度の閾値、前記飽和度の閾値、及び検出するレーザスポットの色に対応して決められる色調の閾値とに基づき、レーザスポットを検出するステップと、
前記検出されたレーザスポットから、前記レーザスポットの前記撮像画像内での座標を算出するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理分野に関し、特に、レーザスポットを自動的に識別するとともに画像内での該レーザスポットの座標の位置決めが可能な装置、方法及びシステムに関する。
【背景技術】
【０００２】
ユーザの需要や技術の発展に伴い、画像をスクリーンに投影し、レーザポインター（ｌａｓｅｒ  ｐｏｉｎｔｅｒ）を入力装置とする仮想ホワイトボードシステムや講演システムが開発されている。
【０００３】
たとえば、特許文献１には、レーザスポットの位置決め装置が開示されている。該装置においては、スクリーンと撮像装置の間に回折光学素子を設置し、画像におけるレーザスポットを容易に識別可能な回折パターンに変換した後、コンピュータにより撮像装置からの画像を受け取るとともに、画像における回折パターンに基づいて、表示部に対応のカーソルを表示させている。
【０００４】
さらに、特許文献２には、レーザポインター（該レーザポインターには、赤外線放射部とレーザビーム放射部が含まれる）を用いる講演システムが開示されており、赤外線センサーにより、スクリーンに投影された赤外線の投影画像を検出し、その後、投影画像の移動方向と移動距離をコンピュータ使用可能なマウスデータに変換している。
【０００５】
さらに、非特許文献１には、レーザポインターと撮像装置を用いて相互作用を実現する技術が開示されており、校正技術（Calibration  techniques）により、表示と撮像装置の座標の同期を実現している。
【０００６】
しかしながら、従来技術における、レーザスポットの自動識別及び該レーザスポットの位置決め技術には、依然として様々な問題が存在している。
【０００７】
たとえば、特許文献１における技術では、余分なハードウェア（即ち、回折光学素子）によるレーザポインターの位置決めが必要となり、システムの複雑度が増し、システムのコストアップにつながってしまう。
【０００８】
また、特許文献２における技術では、可視光（レーザビーム）を検出できないとともに、余分なハードウェアサポート（たとえば、赤外線放射部と赤外線センサー）が必要となり、同様にシステムの複雑化とコストアップを招いてしまう。
【０００９】
さらに、非特許文献１に開示された技術では、レーザスポットのハイライト部分のみに注目しているが、これは、検出結果の精度の低下を招くとともに、撮像装置の特定の露光条件（撮像装置の自動輝度調整機能をＯＦＦにする必要がある）が要求されている。
【００１０】
このため、余分なハードウェアサポートがなくても、正確にレーザスポットを識別するとともに、画像内でレーザスポットの位置決めが可能な技術が望まれる。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明は、従来技術における各種問題を解決するためになされたもので、特定の放射部や特定の撮像装置等の特定のハードウェアに依存することなく、露光条件への要求を減らすとともに、正確にレーザスポットや領域を識別可能な装置、方法及びシステムを提供する。
【課題を解決するための手段】
【００１２】
本発明の一態様によると、レーザスポットを識別するとともに、該レーザスポットの座標の位置決めを行う装置において、撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出する前景演算部と、前記装置の初期化段階に、前記前景演算部により算出される前記前景画像に基づいて、前記前景画像における画素の輝度、飽和度及び色調の閾値を自動予測する閾値予測部と、
前記装置の処理段階に、前記前景演算部により算出される前記前景画像、及び前記画素の輝度、飽和度及び色調の閾値に基づき、レーザスポットを検出するレーザスポット検出部と、前記レーザスポット検出部により検出されたレーザスポットにより、前記レーザスポットの前記撮像画像内での座標を算出する位置決め部と、を有する装置が提供される。
【００１３】
また、本発明の一実施形態によると、前記前景演算部が、先ず撮像画像の背景画像を算出し、撮像画像から前記背景画像を減算することで、前記前景画像を算出するようにした。
【００１４】
また、本発明の一実施形態によると、閾値予測部が、前記前景画像の分析を行い、前記前景画像における画素の輝度、飽和度及び色調値により、前記前景画像における画素の輝度、飽和度及び色調の閾値を予測するようにした。
【００１５】
また、本発明の一実施形態によると、レーザスポット検出部が、前記撮像画像における画素の輝度、飽和度及び色調値から、前記画素の分類を行うとともに、該分類の結果により、レーザスポットの検出を行い、ｐを前記画素とし、Ｂ（ｐ）を前記画素の輝度値とし、Ｔ１（ｂ）を画素の輝度の第１閾値とし、Ｓ（ｐ）を前記画素の飽和度値とし、Ｔ１（ｓ）を画素の飽和度の第１閾値とした場合、前記画素が、Ｂ（ｐ）＞Ｔ１（ｂ）、Ｓ（ｐ）＜Ｔ１（ｓ）の関係を満足すると、該画素を第１画素に分類し、Ｈ（ｐ）を前記画素の色調値とし、Ｔ（ｈ）を画素の色調値の閾値範囲とし、Ｔ２（ｂ）を画素の輝度の第２閾値とし、Ｔ２（ｓ）を画素の飽和度の第２閾値とした場合、前記画素が、Ｈ（ｐ）∈Ｔ（ｈ）、Ｂ（ｐ）＞Ｔ２（ｂ）、Ｓ（ｐ）＞Ｔ２（ｓ）の関係を満足すると、該画素を第２画素に分類し、残りの画素を第３画素に分類するようにした。
【００１６】
また、本発明の一実施形態によると、レーザスポット検出部が、第１画素及び第２画素を有する連通領域ＲＡとＲＢをそれぞれ算出するとともに、全ての第３画素を排除し、かつ画素数が所定画素数を超える第１画素領域ＲＡを排除し、所定距離閾値未満の距離の残りの第１画素領域ＲＡを統合して画素領域ＭＡを生成し、第２画素領域ＲＢに隣接しない全ての画素領域ＭＡを排除し、画素領域ＭＡに隣接する第２画素領域ＲＢを統合して画素領域ＭＢを生成し、画素領域ＭＡと画素領域ＭＢの重畳度合いを判断するとともに、重畳度合いが所定重畳閾値未満の画素領域ＭＡと画素領域ＭＢを排除し、残りの画素領域ＭＡの外形を判断し、レーザスポット検出装置が、残りの画素領域ＭＡの外形が円形に近いと、前記画素領域ＭＡをレーザスポットと判断するようにした。
【００１７】
また、本発明の一実施形態によると、前記位置決め部が、レーザスポットの中心の座標を算出することで、前記レーザスポットの座標を生成するようにした。
【００１８】
なお、本発明の他の一態様によると、レーザスポットの識別及び該レーザスポットの座標の位置決めを行う方法において、撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出するステップと、初期化段階において、前記前景演算部により算出される前記前景画像から、前記前景画像における画素の輝度、飽和度及び色調の閾値を自動予測するステップと、処理段階において、前記前景画像、及び前記画素の輝度、飽和度及び色調の閾値により、レーザスポットを検出するステップと、前記レーザスポット検出部により検出されたレーザスポットから、前記レーザスポットの前記撮像画像内での座標を算出するステップと、を含む方法が提供される。
【００１９】
また、本発明の一実施形態によると、前記前景演算部が、先ず撮像画像の背景画像を算出し、撮像画像から前記背景画像を減算することで、前記前景画像を算出するようにした。
【００２０】
また、本発明の一実施形態によると、閾値予測部が、前記前景画像の分析を行い、前記前景画像における画素の輝度、飽和度及び色調値により、前記前景画像における画素の輝度、飽和度及び色調の閾値を予測するようにした。
【００２１】
また、本発明の一実施形態によると、レーザスポットを検出するステップが、前記撮像画像における画素の輝度、飽和度及び色調値から、前記画素の分類を行うとともに、該分類の結果により、レーザスポットの検出を行い、ｐを前記画素とし、Ｂ（ｐ）を前記画素の輝度値とし、Ｔ１（ｂ）を画素の輝度の第１閾値とし、Ｓ（ｐ）を前記画素の飽和度値とし、Ｔ１（ｓ）を画素の飽和度の第１閾値とした場合、前記画素が、Ｂ（ｐ）＞Ｔ１（ｂ）、Ｓ（ｐ）＜Ｔ１（ｓ）の関係を満足すると、該画素を第１画素に分類し、Ｈ（ｐ）を前記画素の色調値とし、Ｔ（ｈ）を画素の色調値の閾値範囲とし、Ｔ２（ｂ）を画素の輝度の第２閾値とし、Ｔ２（ｓ）を画素の飽和度の第２閾値とした場合、前記画素が、Ｈ（ｐ）∈Ｔ（ｈ）、Ｂ（ｐ）＞Ｔ２（ｂ）、Ｓ（ｐ）＞Ｔ２（ｓ）の関係を満足すると、該画素を第２画素に分類し、残りの画素を第３画素に分類するようにした。
【００２２】
また、本発明の一実施形態によると、第１画素及び第２画素を有する連通領域ＲＡとＲＢをそれぞれ算出するとともに、全ての第３画素を排除し、画素数が所定画素数を超える第１画素領域ＲＡを排除し、所定距離閾値未満の距離の残りの第１画素領域ＲＡを統合して画素領域ＭＡを生成し、第２画素領域ＲＢに隣接しない全ての画素領域ＭＡを排除し、画素領域ＭＡに隣接する第２画素領域ＲＢを統合して画素領域ＭＢを生成し、画素領域ＭＡと画素領域ＭＢの重畳度合いを判断するとともに、重畳度合いが所定閾値未満の画素領域ＭＡと画素領域ＭＢを排除し、残りの画素領域ＭＡの外形を判断し、残りの画素領域ＭＡの外形が円形に近いと、前記画素領域ＭＡをレーザスポットと判断するようにした。
【００２３】
また、本発明の一実施形態によると、レーザスポット検出部が、前記撮像画像における画素の輝度、飽和度及び色調値から、前記画素の分類を行うとともに、該分類の結果により、レーザスポットの検出を行い、ｐを前記画素とし、Ｂ（ｐ）を前記画素の輝度値とし、Ｔ１（ｂ）を画素の輝度の第１閾値とし、Ｓ（ｐ）を前記画素の飽和度値とし、Ｔ１（ｓ）を画素の飽和度の第１閾値とした場合、前記画素が、Ｂ（ｐ）＞Ｔ１（ｂ）、Ｓ（ｐ）＜Ｔ１（ｓ）の関係を満足すると、該画素を第１画素に分類し、Ｈ（ｐ）を前記画素の色調値とし、Ｔ（ｈ）を画素の色調値の閾値範囲とし、Ｔ２（ｂ）を画素の輝度の第２閾値とし、Ｔ２（ｓ）を画素の飽和度の第２閾値とした場合、前記画素が、Ｈ（ｐ）∈Ｔ（ｈ）、Ｂ（ｐ）＞Ｔ２（ｂ）、Ｓ（ｐ）＞Ｔ２（ｓ）の関係を満足すると、該画素を第２画素に分類し、残りの画素を第３画素に分類するようにした。
【００２４】
また、本発明の一実施形態によると、レーザスポット検出部が、第１画素及び第２画素を有する連通領域ＲＡとＲＢをそれぞれ算出するとともに、全ての第３画素を排除し、かつ画素数が所定画素数を超える第１画素領域ＲＡを排除し、所定距離閾値未満の距離の残りの第１画素領域ＲＡを統合して画素領域ＭＡを生成し、第２画素領域ＲＢに隣接しない全ての画素領域ＭＡを排除し、画素領域ＭＡに隣接する第２画素領域ＲＢを統合して画素領域ＭＢを生成し、画素領域ＭＡと画素領域ＭＢの重畳度合いを判断するとともに、重畳度合いが所定重畳閾値未満の画素領域ＭＡと画素領域ＭＢを排除し、残りの画素領域ＭＡの外形を判断し、レーザスポット検出装置が、残りの画素領域ＭＡの外形が円形に近いと、前記画素領域ＭＡをレーザスポットと判断するようにした。
【００２５】
また、本発明の一実施形態によると、前記位置決め部が、レーザスポットの中心の座標を算出することで、前記レーザスポットの座標を生成するようにした。
【００２６】
なお、本発明のさらに他の一態様によると、投影装置と、レーザポインターと、撮像装置と、レーザスポットを識別して該レーザスポットの座標の位置決めを行う装置を備えた仮想ホワイトボードシステムにおいて、該レーザスポットを識別して該レーザスポットの座標の位置決めを行う装置が、撮像装置により撮像された撮像画像から、該撮像画像の前景画像を算出する前景演算部と、前記装置の初期化段階に、前記前景演算部により算出される前記前景画像に基づいて、前記前景画像における画素の輝度、飽和度及び色調の閾値を自動予測する閾値予測部と、前記装置の処理段階に、前記前景演算部により算出される前記前景画像、及び前記画素の輝度、飽和度及び色調の閾値に基づき、レーザスポットを検出するレーザスポット検出部と、前記レーザスポット検出部により検出されたレーザスポットにより、前記レーザスポットの前記撮像画像内での座標を算出する位置決め部とを有する、仮想ホワイトボードシステムが提供される。
【発明の効果】
【００２７】
本発明のレーザスポットの識別及び該レーザスポット座標の位置決め装置、方法及びシステムによると、特殊なハードウェアを用いることなく、レーザスポットの位置を正確に認識することにより、仮想ホワイトボードシステムや講演システムの性能を向上するとともに、システムのコストダウンを実現することができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例における仮想ホワイトボードシステムの構成ブロック図である。
【図２】本発明の実施例におけるレーザスポット識別装置の構成ブロック図である。
【図３】本発明の実施例におけるレーザスポット識別装置により実行される処理の簡略的なフローチャートである。
【図４】前景画像の算出を例示的に示した図である。
【図５】画素分類処理結果を例示的に示した図である。
【図６】環境におけるノイズを例示的に示した図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の実施形態について詳細に説明する。ここで、図面全体を通して、同一または同様の構成部分には同一の参照符号を付し、不要な重複説明は省略する。
【００３０】
以下、本発明の実施例による仮想ホワイトボードについて説明する。図１は、ホワイトボードシステム１の構成図である。
【００３１】
図１に示されているように、本発明の仮想ホワイトボードシステム１には、投影装置１０と、レーザペンのようなレーザポインター２０と、撮像装置３０（たとえば、カメラ、ビデオカメラや撮像ヘッド）と、レーザスポット識別装置４０と、情報処理装置５０等が含まれている。投影装置１０は、コンピュータ、サーバや、移動端末装置のような情報処理装置５０から生成される可視像を受け取るとともに、受け取った可視像をスクリーン（たとえば、壁面や、帆用の布）上に投影する。レーザポインター２０は、ユーザによる操作で、レーザビームをスクリーン上に投射する。たとえば、ユーザは、該レーザポインター２０により、書き込み、選択、描画などの各種操作を行うことができる。撮像装置３０は、スクリーン上に投影する画像の撮像を行い、レーザスポット識別装置４０へ撮像した画像を入力画像として送信する。レーザスポット識別装置４０は撮像装置３０に接続されており、撮像装置３０からの入力画像を受信しレーザスポットを識別するとともに、該レーザスポットの入力画像における座標（位置）を算出し、生成されたレーザスポットの座標に関する情報を情報処理装置５０へ送信することにより、所定のプログラムとレーザスポットの位置による、たとえば、書き込み、選択、描画のようなマウス機能同様の各種動作を行うことができる。
【００３２】
ここで、撮像装置３０は、有線方式又は無線方式のいずれでレーザスポット識別装置４０に接続されていてもよい。なお、レーザスポット識別装置４０は、コンピュータ、サーバ、移動端末等の装置から構成されてもよく、たとえば、コンピュータ等の端末装置へソフトウェアをインストールする方式で、情報処理装置５０と統合されてもよい。なお、情報処理装置５０は、ローカルエリアネットワークやインターネットのようなネットワークを介して、他の情報処理装置５０に接続し、レーザスポットの位置に関する情報をネットワーク上の他の情報処理装置５０に送信してリモート講演システムやリモート仮想ホワイトシステムのようなシステムを構成してもよい。
【００３３】
ここで、図２を参照して、本発明の実施例におけるレーザスポット識別装置４０の構成について簡単に説明する。図２に示されているように、レーザスポット識別装置４０は、前景演算部４０１と、閾値予測部４０２と、レーザスポット検出部４０３と、位置決め部４０４を備えている。前景演算部４０１は、撮像装置から入力画像を受け取り、該画像の前景画像を算出する。閾値予測部４０２は、レーザスポット識別装置４０の初期化段階に、前景演算部４０１から前景画像を受け取り、前景演算部４０１により算出された前景画像を分析し、前景画像における画素の輝度、飽和度及び色調の閾値を生成する。画素の輝度、飽和度及び色調に関する閾値の生成後、処理段階において、レーザスポット検出部４０３は、前景画像における各画素の画素値及び前記閾値により、レーザスポットを識別（詳細は後述する）し、識別結果（即ち、検出処理により検出されたレーザスポット）を位置決め部４０４へ送信する。次に、位置決め部４０４は、識別結果に応じて、撮像装置３０からの入力画像内での前記レーザスポットの座標を算出する。
次に、図３を参照して本発明の一実施形態に係るレーザスポット識別装置４０による処理フローを詳細に説明する。
【００３４】
レーザスポット識別装置４０を含む仮想ホワイトボードシステム１の初期化段階においては、ステップＳ３０１で、仮想ホワイトボードシステム１の投影装置１０が起動し、所定の画面をスクリーン上に投影する。ここで、撮像装置３０を起動して投影装置１０からの投影画像を撮像し、撮像装置３０により撮像された画像をレーザスポット識別装置４０へ送信する。ここで、たとえば、本発明の一実施例においては、仮想ホワイトボードシステム１の初期化段階に、情報処理装置５０やレーザスポット識別装置４０上に設けられた表示装置（図示せず）に投影装置１０からの投影画像を表示し、ユーザが撮像装置３０の位置を調整し投影装置１０から投影された画像の全体を捕捉できるようにする。
【００３５】
次に、閾値設定及びレーザスポット識別処理を開始する。
【００３６】
ホワイトボードシステム１の初期化段階において、ユーザは、所定期間（たとえば、１０秒）内にレーザポインター２０を用いてレーザスポットをスクリーン上に投射し、スクリーン領域内で任意に動かすことができる。この期間、ステップＳ３０２で、レーザスポット識別装置４０の前景演算部４０１が、撮像装置３０からの撮像画像の各フレームを受け取り、受け取った画像から背景画像を生成することで、受け取った画像から該画像の前景画像を生成する。
【００３７】
具体的には、本発明の一実施例においては、ガウス背景モデルにより背景画像を算出する。ガウス背景モデルにより、所定の画像における任意の点ｐ（ｘ、ｙ）が下記式（１）を満足すると、該点ｐ（ｘ、ｙ）は背景画素と見なされる。
【数１】
0005891591.tif 000002
ここで、Ｂ（ｐ）は、該画素の輝度値であり、ｕは、入力画像の画素群の平均輝度値であり、ｄは、平方差である。なお、Ｔの値又は範囲は、具体的な状況に応じて、任意に設定してもよく、通常は、経験値を採用する。
【００３８】
前述のように、ガウスモデルを用いて、各フレーム画像における全ての背景画素を算出し背景画像を形成する。前記入力画像から背景画像を生成する処理は、当業者に周知であるため、ここでは、その更なる詳細説明は割愛する。なお、本発明はこれに限るものではなく、背景画像を生成可能ないずれの技術を用いてもよい。
【００３９】
次に、前景演算部４０１は、撮像装置３０からの撮像画像から、該撮像画像から算出された背景画像を減算し、前景画像を生成する。具体的には、本発明の一実施例において、画像の減算処理は、２つの画像（たとえば、撮像装置３０により撮像された画像と、該画像の背景画像）における対応位置の画素ｐ１（ｘ、ｙ）とｐ２（ｘ、ｙ）（２つの画像の同一位置（ｘ、ｙ）における画素を示す）の各チャネル（Ｒ、Ｇ、Ｂ）に対してそれぞれ減算処理を行う。下記式（２）により、２つの画像Ｍ１及びＭ２（たとえば、撮像された画像と、該画像の背景画像）の減算処理を行うことができる。
【数２】
0005891591.tif 000003
ここで、Ｒ（ｐ１）、Ｇ（ｐ１）、Ｂ（ｐ１）及びＲ（ｐ２）、Ｇ（ｐ２）、Ｂ（ｐ２）は、対応画素ｐ１（ｘ、ｙ）とｐ２（ｘ、ｙ）のレッド、グリーン、ブルーチャネルをそれぞれ示している。
【００４０】
前記減算処理により前景画像が生成される。前景画像において、殆ど背景に属する物体は消去され（その輝度が比較的低いため）、識別すべきレーザスポット及びその周囲領域は、前景画像に保持される（その相対輝度が比較的高いため）。図４の（ａ）から（ｃ）は、前景画像の演算例を示している。図４（ａ）は、撮像装置３０により撮像された画像例を示し、図４（ｂ）は、算出された背景画像例を示し、図４（ｃ）は、減算処理により生成された前景画像例を示している。図４（ａ）〜（ｃ）に示されているように、前景演算部４０１は、撮像装置３０からの撮像画像から背景画像を生成し、撮像装置３０からの撮像画像からその背景画像を減算しており、殆どの背景物体は消去され、レーザスポットのような高輝度領域は前景画像に保持されている。
【００４１】
次に、ステップＳ３０３において、閾値予測部４０２は、仮想ホワイトボードシステム１の初期化段階に、前景演算部４０１から、各フレーム画像から算出された前景画像を受信し、これらの前景画像の分析を行い、前景画像の画素の各閾値を予測する。具体的には、本発明の一実施例においては、画素の輝度、飽和度及び色調値の各々を前景画像における画素の各閾値とする。ここで、撮像装置３０からの撮像画像のフォーマットは、通常ＲＧＢフォーマットであるため、撮像画像のフォーマットがＲＧＢ画像である場合は、下記式（３）により、ＨＳＶフォーマットに変換する。
【数３】
0005891591.tif 000004
ここで、Ｓは画素の飽和度で、Ｖは画素の輝度で、Ｈは画素の色調である。
【００４２】
このフォーマット変換は、当業者に周知であるため、ここではＲＧＢフォーマットのＨＳＶフォーマットへの変換の詳細な説明は割愛する。
【００４３】
本発明の一実施例においては、具体的な状況に応じて、輝度の閾値を任意に設定することができ、該輝度閾値は、経験値によって直接的に設定してもよい。たとえば、レーザスポット中心領域の輝度値は、通常、［２３０、２５５］範囲内であるが、レーザスポットの外郭領域の輝度値は、通常、［１６０、２３０］範囲であるため、閾値予測部４０２は、［２３０、２５５］範囲内を第１輝度閾値Ｔ１（ｂ）とし、［１６０、２３０］範囲内を第２輝度閾値Ｔ２（ｂ）とし得る。
【００４４】
なお、閾値予測部４０２は、前景画像における輝度値［２３０、２５５］範囲内の画素の飽和度の平均値を統計するとともに、輝度値［１６０、２３０］範囲内の画素の飽和度の平均値を統計する。各フレーム前景画像における前記２つの輝度範囲内の画素の平均飽和度値の算出完了後、閾値予測部４０２は、さらに所定期間（たとえば、１０秒）内の全ての前景画像の前記輝度範囲内の画素の平均飽和度値を統計する。たとえば、撮像装置３０の平均フレームレートが２０ｆｐｓと仮定すると、該気管内に２００フレーム前後の画像を得ることができる。この場合、２００フレーム画像全ての前景画像の前記２つの輝度範囲内（たとえば、［２３０、２５５］及び［１６０、２３０］）の画素飽和度の平均値を最終的な第１及び第２の飽和度閾値Ｔ１（ｓ）及びＴ２（ｓ）と算出することができる。
【００４５】
なお、色調の閾値については、ＨＳＶモデルにおける各色とも、それぞれの範囲を有しており、全ての色調閾値は、既知であるため、特に設定する必要はない。この場合、たとえば、閾値予測部４０２は、赤レーザスポットの検出が必要な場合は、検出したレーザスポットの色やユーザの入力（たとえば、赤など）に応じて、対応の赤色調の範囲を色調閾値とし、緑レーザスポットの検出が必要な場合は、緑色調の範囲を色調閾値と設定することができる。
【００４６】
ここで、閾値予測部４０２の、ＨＳＶモデルによるマルチフレームの前景画像への閾値予測について説明したが、本発明はこれに限らず、輝度、飽和度（Ｓ）及び色調（Ｈ）閾値が得られるいずれのモデルを用いてもよい。さらに、閾値予測部４０２は、特定フレームの前景画像から算出した輝度、飽和度（Ｓ）及び色調（Ｈ）閾値を用いることができ、たとえば、記憶モジュール（図示せず）により、過去に使用した閾値情報を記憶しておき、ユーザが同様の環境下で直接的に履歴閾値情報を取り出すことで、動作の簡略化が実現可能となる。
【００４７】
閾値予測部４０２による、前景画像における画素の各閾値の予測処理後、ステップＳ３０４に進む。
【００４８】
ステップＳ３０４において、仮想ホワイトボードシステム１は、システム処理段階に入り、即ち、ユーザのレーザポインターによる仮想ホワイトボードシステム１の各種動作が行われ、レーザスポット識別装置４０によるレーザスポットの検出（識別）処理が開始される。
【００４９】
レーザスポット識別装置４０は、ステップＳ３０４でのレーザスポットの検出（識別）処理開始後、ステップＳ３０５に進む。ステップＳ３０５において、レーザスポット識別装置４０は、撮像装置３０から、撮像装置３０により撮像された新たな画像フレームが受信されているか否かを検知し、新たな画像フレームが検知されている場合はステップＳ３０６に進み、新たな画像フレームの入力が検知されていない場合は処理を終了する。
【００５０】
レーザスポット識別装置４０が新たな画像フレームを検出すると、ステップＳ３０６に進む。ステップＳ３０６において、レーザスポット識別装置４０の前景演算部４０１は、撮像装置３０により撮像された各フレーム画像からその背景画像を算出し、撮像画像からその背景画像を減算して前景画像を生成する。この工程は、ステップＳ３０２で詳細な説明がなされているため、ここでは、前景画像生成の詳細な説明は割愛する。
【００５１】
前景演算部４０１は、撮像装置３０により撮像された画像からその前景画像を算出後、ステップＳ３０７に進み、画素分類処理を行う。ステップＳ３０７において、レーザスポット検出部４０３は、前景演算部４０１から算出された該画像の前景画像を受信し、受信した前景画像及び閾値予測部から生成された閾値により、該前景画像内の画素の分類を行う。
【００５２】
ここで、画素の分類処理の詳細な説明の前に、先ず、スクリーン上に投射されるレーザのレーザスポットの特性について簡単に説明する。通常、スクリーン上に投射されたレーザスポットの輝度と飽和度値の分布は、規則変化を呈している。たとえば、レーザスポットの中心が最も明るく、周囲へ向かうほど減衰していく。通常、レーザスポットのコア部分（中心）は、最強のパワー（輝度）を有し、その高すぎる輝度により、色情報の喪失（たとえば、見た目は白点）が発生する。一方、輝度の減衰により、レーザスポットの周囲領域の輝度は、レーザスポットの輝度よりは低いが、レーザスポットの周囲領域には、レーザの色（たとえば、赤、緑）が保持されており、レーザスポットの周囲領域の飽和度は、比較的に高くなっている。
【００５３】
以下、レーザスポット検出部４０３により行われる画素分類動作について詳細に説明する。
【００５４】
たとえば、レーザスポット検出部４０３は、閾値予測部により算出された画素の各閾値に応じて、前景画像内の各画素を３種類の画素に分類する。
【００５５】
具体的には、レーザスポット検出部４０３は、前景画像内の画素が、下記式（４）を満足すると、該画素をＡ類画素に分類する。
【００５６】
Ｂ（ｐ）＞Ｔ１（ｂ）、
Ｓ（ｐ）＜Ｔ１（ｓ）                              （４）
ここで、ｐは前景画像におけるいずれかの画素であり、Ｂ（ｐ）は該画素の輝度値であり、Ｓ（ｐ）は該画素の飽和度値であり、Ｔ１（ｂ）は前記閾値予測ステップで算出された第１輝度閾値であり、Ｔ１（ｓ）は前記閾値予測ステップで算出された第１飽和度閾値である。
【００５７】
前記式（４）により分類されたＡ類画素は、前景画像における最も明るい類かつ飽和度の低い類の画素を表している。前述のように、レーザスポットの輝度は非常に高く（画像では殆ど白領域である）、かつ色差情報が無くなり飽和度が低いため、式（４）より分類されたＡ類画素は、通常、レーザスポットの中心部分である。
【００５８】
なお、レーザスポット検出部４０３は、前景画像における画素が、下記式（５）を満たすと、該画素をＢ類画素に分類する。
【００５９】
Ｈ（ｐ）∈Ｔ（ｈ）、
Ｂ（ｐ）＞Ｔ２（ｂ）
Ｓ（ｐ）＞Ｔ２（ｓ）                （５）
ここで、Ｔ（ｈ）は画素の色調値の閾値範囲であり、Ｈ（ｐ）は該画素の色調値であり、Ｔ２（ｂ）は、前記閾値予測ステップで算出された第２輝度閾値であり、Ｔ２（ｓ）は、前記閾値予測ステップで算出された第２飽和度閾値である。本発明の一実施例においては、画素の色調閾値範囲Ｔ（ｈ）は、どの種類のレーザビーム（赤レーザビームや緑レーザビーム）の検出が必要かに応じて設定がなされている。たとえば、ＨＳＶモデルにおいて、赤レーザビームの検出が必要である場合、該色調閾値は０〜３０と３３０〜３６０の間に設定される。ここで、ＨＳＶモデルにおける色調閾値は決められているため、閾値決定処理において特定色に対応する色調閾値を選択するだけでよい。
【００６０】
前記式（５）より分類されたＢ類画素は、通常、前景画像における最もハイライトの画素ではないが、該画素の色は、特定の色に属しているため、該画素の飽和度は比較的に高くなっている。前述のように、輝度の減衰により、レーザスポットの周囲領域の画素輝度は最高ではないが、これらの画素におけるレーザスポットの色は依然として保持されているため、飽和度は通常高くなっている。これにより、式（５）により分類されたＢ類画素は、通常、レーザスポットの周囲領域である。
【００６１】
レーザスポット検出部４０３は、画素が式（４）の条件も、式（５）の条件も満たさないと、これらの残りの画素をＣ類画素に分類する。Ｃ類画素は、通常、レーザスポット及びその周囲領域とは関係ない画素を示しているため、レーザスポットの検出処理時に、不要なノイズを減らすように、これらのＣ類画素を削除する必要がある。
【００６２】
図５に画素分類処理の結果が示されており、図５（ａ）が撮像装置３０から撮像された画像（レーザスポットを含む）を示し、図５（ｂ）がＡ類画素を示し、図５（ｃ）がＢ類画素を示し、図５（ｄ）がＡ類画素とＢ類画素の組み合わせを示している。図５に示されているように、前述の画素分類の結果から、ほぼ正確にレーザスポットを識別することができる。
【００６３】
レーザスポット検出部４０３の画素分類により、レーザスポットはほぼ識別できるが、多くの場合、撮像装置３０により撮像された画像には、たとえば、図６（ａ）に示されるようなノイズが存在している。図６（ａ）に示されるように、カメラにより撮像された画像には、複数のノイズ（たとえば、画像内のハイライトの文字部や、手の反射）があり、この場合、画素分類のみで得られた画素点での識別結果は好ましいとはいえない。このため、レーザスポット検出部４０３は、前景画像の画素分類処理後に、ステップＳ３０８に進み、さらに画素分類結果に応じてレーザスポットの識別を行う。
【００６４】
ステップＳ３０８において、レーザスポット検出部４０３は、レーザスポットの検出処理を行う。具体的には、レーザスポット検出部４０３は、全てのＡ類画素とＢ類画素に対し、Ａ類画素とＢ類画素の連通領域ＲＡとＲＢを算出するとともに、全てのＣ類画素を除去する。たとえば、連通領域ＲＡとＲＢの算出法としては、画像における任意の画素ｐとｑに対し、ｑが画素ｐの８−隣接領域集合Ｎ８（ｐ）にあると、該２つの画素は隣接しており、ここで、ｐ（ｘ、ｙ）の８−隣接領域集合Ｎ８（ｐ）は、集合｛ｐ（ｘ−１、ｙ−１）、ｐ（ｘ、ｙ−１）、ｐ（ｘ＋１、ｙ−１）、ｐ（ｘ−１、ｙ）、ｐ（ｘ＋１、ｙ）、ｐ（ｘ−１、ｙ＋１）、ｐ（ｘ、ｙ＋１）、ｐ（ｘ＋１、ｙ＋１）｝と定義される。８−隣接関係を満たす全ての画素を検出すると、これらの画素からなる領域が連通領域となる。この連通領域の算出方法は、当業者に周知であるため、ここではその更なる説明は割愛する。
【００６５】
レーザスポット検出部４０３は、連通領域ＲＡとＲＢの算出後、レーザスポット自体のサイズは非常に小さいことに基づいて、所定の画素数閾値により画素数が多すぎる連通領域ＲＡ（前景画像内のライトスポットのような他のハイライトノイズ領域を示す）を排除する。ここで、所定の画素数閾値は、特定の状況（たとえば、用いるレーザポインターのサイズなど）に応じて異なる値に設定してもよい。本発明の一実施例においては、レーザスポットの画素数閾値は１０に設定され、含有する画素数が１０を超える連通領域ＲＡは排除される。
【００６６】
レーザスポット検出部４０３は、過大な連通領域ＲＡの排除後、互いの距離が比較的近い残りの連通領域ＲＡ領域を統合して新たな領域ＭＡを生成する。ここで、連通領域ＲＡ間の距離は、２つの連通領域ＲＡの内部の任意の２点の最小距離（たとえば、１〜２画素の距離）である。この統合処理により、レーザスポットの領域内にノイズが存在していても、レーザスポットの領域を正確に合成することができる。その後、レーザスポット検出部４０３は、該領域ＭＡがいずれかの連通領域ＲＢとつながっているか否かを判断する。領域ＭＡがいずれの連通領域ＲＢともつながっていないと、該ＭＡ領域は、孤立したライトスポットを表しているため、該領域ＭＡは排除することができる。
【００６７】
次に、領域ＭＡの処理と同様に、レーザスポット検出部４０３は、残った領域ＭＡとつながっている連通領域ＲＢを統合して領域ＭＢを生成し、領域ＭＢの生成により、レーザスポットに位置する外郭部分（色情報を有する）を含む領域を生成することができる。
【００６８】
次に、レーザスポット検出部４０３は、領域ＭＡと領域ＭＢの外形をそれぞれ算出後、所定の重畳閾値（具体的な状況に応じて任意に設定可能で、本実施例では経験値を取っている）により、領域ＭＡと領域ＭＢの外形の重畳度合いを算出して正確にレーザスポットを識別する。ここで、外形の算出及び２つの領域の重畳の算出は、当業者に周知であるため、いずれの外形算出及び領域重畳度の演算法を用いてもよく、ここでは、その詳細な説明は割愛する。この場合、レーザスポット検出部４０３は、領域ＭＡの外形がほぼ円形で、領域ＭＡと領域ＭＢの外形重畳度合いが所定の重畳閾値を超えると判定されると、該領域ＭＡをレーザスポットと判断するとともに、前記条件を満さない他のＭＡ領域とＭＢ領域は全て排除する。図６（ｂ）は、レーザスポットの検出結果の例を示している。図６（ｂ）に示されているように、図中の左上部分におけるＭＡ領域とＭＢ領域は重畳しないため、排除され、図面の中部の２つのＭＢ領域も、いずれのＭＡ領域とも重畳しないため、排除されることで、図中の右上部分のＭＡ領域をレーザスポットと正確に識別することができる。このため、本実施例によるレーザスポット識別装置４０によると、撮像装置３０からの撮像画像に複数のノイズが存在していても、正確にレーザスポットを識別（検出）することが可能になる。
【００６９】
レーザスポット検出部４０３の前記レーザスポット検出処理によるレーザスポットの検出（識別）後、ステップＳ３０９に進み、レーザスポットの座標を算出する。ステップＳ３０９において、位置決め部４０４は、前記ステップで検出されたレーザスポットにより、レーザスポットの位置座標を算出する。前記ステップから得られた検出結果は、１つの領域（たとえば、ＭＡ）であり、しかも、領域ＭＡには通常、複数の画素が含まれているため、本発明の一実施例においては、位置決め部４０４がこれらの画素の中心座標を算出して検出したレーザスポットの座標としている。具体的には、検出したレーザスポットの領域において、その中心点をｃ（ｘ０、ｙ０）とすると、下記式（６）により、レーザスポットの領域の中心点が算出される。
【数４】
0005891591.tif 000005
ここで、該領域内のいずれかの画素点ｐ（ｘ、ｙ）において、ｘとｙは、該領域内のいずれかの画素点のＸ軸座標とＹ軸座標であり、Ｎ（ｘ）は、領域Ａ内のＸ軸座標がｘとなる全ての画素点の数であり、Ｎ（ｙ）は、該領域内のＹ軸座標がｙとなる全ての画素点の数である。前述のように、位置決め部４０４は、式（６）により、ｃ（ｘ０、ｙ０）の座標を算出し、検出したレーザスポット座標とする。
【００７０】
次に、位置決め部４０４による、検出したレーザスポットの座標算出後、ステップＳ３０５に戻り、撮像装置３０から新たな撮像画像が入力されているか否かの検知を行い、新たな撮像画像が存在していると、ステップＳ３０６からＳ３０９の処理を繰り返し、新たな撮像画像が存在しなければ、処理を終了する。
【００７１】
前述のように、前記レーザスポット検出処理により、撮像装置３０からの撮像画像にノイズが存在しても、正確にレーザスポットを識別するとともに、該レーザスポットの位置を算出することができるため、情報処理装置５０が、該レーザスポットの位置と所定のプログラムから、所定の動作（たとえば、マウスやキーボード入力と同様の動作）を行うことが可能となる。このため、本発明の一実施形態に係る仮想ホワイトボードシステム１においては、正確にレーザスポットの位置決めを行うことができ、仮想ホワイトボードシステム１の使用容易性及び安定性を向上することができる。
【００７２】
ここで、本発明の複数の実施例について説明してきたが、本発明の実施例は、専らハードウェアによる実施方法や、専らソフトウェアによる実施方法、或いはハードウェアとソフトウェアの組み合わせによる実施方法を用いることができる。一部の実施例においては、ファームウェア、内蔵ソフトウェアや、マイクロコード等（ただし、これに限るものではない）のソフトウェアを共有目的のパソコン、サーバ、デジタル端末等の情報処理装置上にインストールして本発明の実施例を実現することができる。
【００７３】
なお、本発明は、コンピュータや、任意のコマンド実行システムを用いることで、本発明の実施例による処理方法を実行可能なコンピュータプログラム製品の形式を用いており、前記コンピュータプログラム製品は、コンピュータ読取可能な記録媒体に記録されている。コンピュータ読取可能な記録媒体の実例として、半導体すなわちソリッドステートメモリ、磁気テープ、アンインストール可能なコンピュータ磁気ディスク、ＲＡＭ、ＲＯＭ、ハードディスク、光ディスク等があげられる。
【００７４】
以上のように、本発明の実施例について具体的に説明してきたが、本発明がこれに限定されることはない。当業者は、設計ニーズや他の要素に応じて、様々な変更や、組み合わせや、部分的な組み合わせや、代替を行うことができ、これらは、本発明の請求範囲及び同等物の範囲内のものである。
【符号の説明】
【００７５】
１０  投影装置
２０  レーザポインター
３０  撮像装置
４０  レーザスポット識別装置
５０  情報処理装置
４０１  前景演算部
４０２  閾値予測部
４０３  レーザスポット検出部
４０４  位置決め部
【先行技術文献】
【特許文献】
【００７６】
【特許文献１】米国特許出願公開第２００６／０２８４８３２号明細書
【特許文献２】米国特許出願公開第２００３／０１３２９１２号明細書
【非特許文献】
【００７７】
【非特許文献１】Dan  R.  Olsen  Jr.、Travis  Nielsen等、「Laser  Pointer  Interaction」
【図１】
0005891591.tif 000006
【図２】
0005891591.tif 000007
【図３】
0005891591.tif 000008
【図４】
0005891591.tif 000009
【図５】
0005891591.tif 000010
【図６】
0005891591.tif 000011