(57)【要約】【課題】スクリーン領域を検知する方法及びシステムを提供する。【解決手段】該方法は、スクリーン領域を含む画像を取得し、画像における各画素の輝度値の変化により、スクリーン領域の候補エッジを取得し、候補エッジを直線に変換し、画像に２値化処理を施し、ターゲット領域と非ターゲット領域に分割し、最大のターゲット領域の境界画素点を取得し、すべての境界画素点を集合させて最大のターゲット領域の輪郭とし、輪郭上の各画素点から、変換された各直線までの最小距離及び変換された各直線の方向により、変換された各直線から輪郭上の直線を選択し、選択された直線の座標位置関係により、選択され直線を上、下、左、右の４つのグループに仕分け、４つのグループのうち同一グループにおける複数の直線を１つの直線にすることにより、スクリーン領域の４つのエッジを得る工程を含む。【選択図】図１
2011238228.tif 000002
【特許請求の範囲】
【請求項１】
スクリーン領域を含む画像を取得する工程と、
前記画像における各画素の輝度値の変化により、前記スクリーン領域の複数の候補エッジを取得する工程と、
前記複数の候補エッジを複数の直線に変換する工程と、
前記画像に２値化処理を施し、ターゲット領域と非ターゲット領域に分割する工程と、
最大の前記ターゲット領域の境界画素点を取得し、すべての前記境界画素点を集合させて最大の前記ターゲット領域の輪郭を抽出する工程と、
前記輪郭上の各画素点から、変換された前記複数の直線までの最小距離又は前記複数の直線の方向により、変換された前記複数の直線から前記輪郭上の複数の直線を選択する工程と、
選択された前記輪郭上の複数の直線の座標位置関係により、選択された前記輪郭上の複数の直線を上、下、左、右の４つのグループに分ける工程と、
前記グループのうち、同一のグループにある複数の直線を１つの直線にあてはめ、前記スクリーン領域の４つのエッジを取得する工程とを含む、スクリーン領域検知方法。
【請求項２】
前記複数の候補エッジの取得は、Ｃａｎｎｙ、ＳｏｂｅｌまたはＨａｒｒｉｓエッジ検知法により行われる、請求項１に記載のスクリーン領域検知方法。
【請求項３】
変換された前記複数の直線から前記輪郭上の複数の直線を選択する工程は、
前記輪郭上の各画素点から、変換された前記直線までの距離を算出し、算出された該距離から最小値を選択して、変換された前記直線と前記輪郭との最小距離を算出する工程と、
前記最小距離と所定の距離閾値との比較により、前記最小距離が前記距離閾値よりも小さい変換された前記直線を前記輪郭上の直線として選択する工程とを含む、請求項１に記載のスクリーン領域検知方法。
【請求項４】
変換された前記複数の直線から前記輪郭上の複数の直線を選択する工程は、
変換された前記直線上の各画素点の横向きと縦向きの輝度の勾配により、変換された前記直線の方向を算出する工程と、
変換された前記直線との距離が最も小さい前記輪郭上の画素点の横向きと縦向きの輝度の勾配により、前記輪郭上の画素点の方向を算出するステップと、
変換された前記直線の方向と前記輪郭上の画素点の方向との比較により、該２つの方向の夾角が所定の角度閾値よりも小さい変換された前記直線を前記輪郭上の直線として選択するステップとを含む、請求項１または３に記載のスクリーン領域検知方法。
【請求項５】
前記距離閾値が、５、６、７、８、９、または１０個の画素距離である、請求項３に記載のスクリーン領域検知方法。
【請求項６】
前記角度閾値が、２０度、３０度、４０度、または４５度である、請求項４に記載のスクリーン領域検知方法。
【請求項７】
スクリーン領域を含む画像を取得する画像取得モジュールと、
前記画像取得モジュールで取得した前記画像における各画素の輝度値の変化により、前記スクリーン領域の複数の候補エッジを取得するエッジ取得モジュールと、
前記エッジ取得モジュールで取得した前記複数の候補エッジを複数の直線に変換する直線変換モジュールと、
前記画像取得モジュールで取得した前記画像に２値化処理を施し、ターゲット領域と非ターゲット領域に分割する画像２値化モジュールと、
前記画像２値化モジュールで分割したターゲット領域のうち、最大の前記ターゲット領域の境界画素点を取得し、すべての前記境界画素点を集合させて前記最大の前記ターゲット領域の輪郭を抽出する輪郭抽出モジュールと、
前記輪郭抽出モジュールで抽出した前記輪郭上の各画素点から、前記直線変換モジュールで変換された前記複数の直線までの最小距離、又は、前記直線変換モジュールで変換された前記複数の直線の方向により、変換された前記複数の直線から前記輪郭上の複数の直線を選択する直線選択モジュールと、
前記直線選択モジュールで選択された前記輪郭上の複数の直線の座標位置関係により、前記輪郭上の複数の直線を上、下、左、右の４つのグループに分ける直線グループ分けモジュールと、
前記直線グループ分けモジュールによって分けられたグループのうち、同一のグループにある複数の直線を１つの直線にあてはめ、前記スクリーン領域の４つのエッジを取得する直線あてはめモジュールとを含む、スクリーン領域検知システム。
【請求項８】
前記エッジ取得モジュールは、Ｃａｎｎｙ、ＳｏｂｅｌまたはＨａｒｒｉｓエッジ検知法により、前記複数の候補エッジを取得する、請求項７に記載のスクリーン領域検知システム。
【請求項９】
前記直線選択モジュールが、
前記輪郭抽出モジュールで抽出した前記輪郭上の各画素点から、前記直線変換モジュールで変換された前記直線までの距離を算出し、算出された該距離から最小値を選択して前記直線変換モジュールで変換された前記直線と前記輪郭抽出モジュールで抽出した前記輪郭との最小距離を算出する距離算出モジュールと、
前記距離算出モジュールによって算出された前記最小距離と所定の距離閾値との比較により、前記最小距離が前記距離閾値よりも小さい変換された前記直線を前記輪郭上の直線として選択する距離比較モジュールとを含む、請求項７に記載のスクリーン領域検知システム。
【請求項１０】
前記直線選択モジュールが、
前記直線変換モジュールで変換された前記直線上の各画素点の横向きと縦向きの輝度の勾配により、変換された前記直線の方向を算出し、変換された前記直線との距離が最も小さい、前記輪郭抽出モジュールで抽出された前記輪郭上の画素点の横向きと縦向きの輝度の勾配により、前記輪郭上の画素点の方向を算出する方向算出モジュールと、
前記方向算出モジュールで算出された、変換された前記直線の方向と、前記方向算出モジュールで算出された、前記輪郭上の画素点の方向との比較により、該２つの方向の夾角が所定の角度閾値よりも小さい変換された前記直線を前記輪郭上の直線として選択する角度比較モジュールとを含む、請求項７または９に記載のスクリーン領域検知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、詳細に、画像分割技術に関し、特に、取得した画像からスクリーン領域を検知する方法及び該方法を用いるシステムに関する。
【背景技術】
【０００２】
各種会議においては、プロジェクターを補助手段として講演を行うことは非常に便利である。しかしながら、講演者は、講演中に、コンピュータを頻繁に操作して投影スクリーン上の内容を切り替える必要があり、もしくは、助手が講演者の発話速度に合わせて、プロジェクターに接続されたコンピュータを操作して投影スクリーン上の内容を切り替える必要がある。このようなプロジェクターによる方式は、講演者に大変便利であるものの、その操作は、非常に手間が掛かるものである。
【０００３】
このため、直接投影スクリーン上の内容をクリックすることでコンピュータ操作が可能な方法が提案されている。該方法は、画像形成装置により投影スクリーンを含む画像を取得し、コンピュータにより、取得した画像から投影スクリーンのスクリーン領域の位置情報を抽出し、スクリーン領域の位置情報及び投影スクリーンの内容への操作により、投影すべき内容の切り替えを行っている。
【０００４】
取得した画像から特定領域を抽出するために、米国特許出願公開第ＵＳ2004/0165786Ａ1号明細書には、画像におけるホワイトボードの内容を抽出し、抽出したホワイトボードの内容を電子ファイルに変換する方法及び装置が開示されている。該特許出願においては、撮像した画像におけるホワイトボードを自動的に識別するために、四辺形検知演算法によりホワイトボードの領域を識別している。しかし、前述の特許出願に記載された方法によると、ホワイトボードのエッジ付近から複数の平行直線が検出されることがあるため、これらの直線のうちどれがホワイトボードのエッジであるかを正確に判定することができない。これにより、検知したホワイトボードと実際のホワイトボードとの誤差が大きいという問題が生じる。
【０００５】
また、米国特許出願公開第ＵＳ2008/0266253Ａ1号明細書には、コンピュータスクリーン領域におけるレーザスポットを追跡するシステムが開示されている。該特許出願によるシステムにおいては、スクリーン領域検知方法を用いており、２値化処理により画像の取得と処理を行うとともに、２値化画像から四辺形を選択してスクリーン領域を取得している。該方法によると、取得した画像の画質への依存度が非常に大きいため、取得した画像の画質を向上するための、画像取得装置への特殊フィルタの追加が必要となる。
【０００６】
また、米国特許第ＵＳ6618076Ｂ１号明細書には、プロジェクターの撮像ヘッドの位置あわせ装置が開示されている。該特許に開示された技術案によると、プロジェクターにより特殊なパターンを投影することで、特徴の抽出が行われる。
【０００７】
従って、ハードウェア装置を増加することなく、正確にスクリーン領域を検知し、講演者の投影システム操作時の投影内容の切り替えを適切に行わせる方法及び装置が求められている。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、前述の従来技術中の問題を解決する方法を提供する。具体的には、ＨＩＣ（人間とコンピュータの相互作用）式仮想ホワイトボードを用いるシステムにおいて、正確に仮想ホワイトボードのエッジを取得することで、投影スクリーン上に投影された指示ポイントの、投影スクリーンにおける正確な座標位置を取得し、ＨＩＣ式仮想ホワイトボードを用いるシステムへ指示ポイントの、仮想ホワイトボードにおける正確な座標情報を出力することが可能となり、指示ポイントによるコンピュータとの双方向のやりとりが可能となる。しかしながら、指示ポイント（例えば、レーザスポット）の、取得画像における位置を正確に検知するためには、取得画像の輝度が極めて低くなる必要があり、従来技術による取得画像からのスクリーン領域の検知は極めて困難で、通常の角点検知演算法による取得は非常に困難という問題がある。
【０００９】
本発明は、前述の問題を解決するためになされたものであり、本発明の実施例によると、スクリーン領域を含む画像を取得する工程と、前記画像における各画素の輝度値の変化により、前記スクリーン領域の複数の候補エッジを取得する工程と、前記複数の候補エッジを複数の直線に変換する工程と、前記画像に２値化処理を施し、ターゲット領域と非ターゲット領域に分割する工程と、最大の前記ターゲット領域の境界画素点を取得し、すべての前記境界画素点を集合させて最大の前記ターゲット領域の輪郭を抽出する工程と、前記輪郭上の各画素点から、変換された前記複数の直線までの最小距離又は前記複数の直線の方向により、変換された前記複数の直線から前記輪郭上の複数の直線を選択する工程と、選択された前記輪郭上の複数の直線の座標位置関係により、選択された前記輪郭上の複数の直線を上、下、左、右の４つのグループに分ける工程と、前記グループのうち、同一のグループにある複数の直線を１つの直線にあてはめ、前記スクリーン領域の４つのエッジを取得する工程とを含む、スクリーン領域検知方法を提供する。
【００１０】
本発明の他の実施例によると、スクリーン領域を含む画像を取得する画像取得モジュールと、前記画像取得モジュールで取得した前記画像における各画素の輝度値の変化により、前記スクリーン領域の複数の候補エッジを取得するエッジ取得モジュールと、前記エッジ取得モジュールで取得した前記複数の候補エッジを複数の直線に変換する直線変換モジュールと、前記画像取得モジュールで取得した前記画像に２値化処理を施し、ターゲット領域と非ターゲット領域に分割する画像２値化モジュールと、前記画像２値化モジュールで分割したターゲット領域のうち、最大の前記ターゲット領域の境界画素点を取得し、すべての前記境界画素点を集合させて前記最大の前記ターゲット領域の輪郭を抽出する輪郭抽出モジュールと、前記輪郭抽出モジュールで抽出した前記輪郭上の各画素点から、前記直線変換モジュールで変換された前記複数の直線までの最小距離、又は、前記直線変換モジュールで変換された前記複数の直線の方向により、変換された前記複数の直線から前記輪郭上の複数の直線を選択する直線選択モジュールと、前記直線選択モジュールで選択された前記輪郭上の複数の直線の座標位置関係により、前記輪郭上の複数の直線を上、下、左、右の４つのグループに分ける直線グループ分けモジュールと、前記直線グループ分けモジュールによって分けられたグループのうち、同一のグループにある複数の直線を１つの直線にあてはめ、前記スクリーン領域の４つのエッジを取得する直線あてはめモジュールとを含む、スクリーン領域検知システムを提供する。
【発明の効果】
【００１１】
本発明の前述のスクリーン領域検知方法によれば、スクリーン領域の４つの頂点の正確な位置が得られ、検出した指示ポイントの取得画像における座標を、検知したスクリーン領域における座標に正確に変換することができる。このため、変換により得られた指示ポイントの、検知したスクリーン領域における座標の正確度がスクリーン領域の検知精度にかなり依存するが、本発明によると、スクリーンの４つの頂点の正確な位置が取得可能となるため、指示ポイントの検知したスクリーン領域における座標も比較的に正確となる。
【図面の簡単な説明】
【００１２】
【図１】本発明によるスクリーン領域検知方法のフローチャートである。
【図２】取得した、スクリーンが含まれている原画像の実例である。
【図３Ａ】図２の原画像へのスクリーン領域エッジ検知処理後の画像の実例である。
【図３Ｂ】図３Ａの画像への直線変換後の画像の実例である。
【図３Ｃ】図２の原画像への２値化処理後の画像の実例である。
【図３Ｄ】図３Ｃの画像へのスクリーン領域エッジの決定処理後の画像の実例である。
【図４】図３Ｂの画像における直線へのマーキング処理後の画像の実例である。
【図５】本発明の実施例によるスクリーン領域検知方法を用いるシステムの略図である。
【図６】本発明の実施例によるスクリーン領域検知システムのブロック図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら本発明の具体的な実施例について詳細に説明する。
【００１４】
図１は、本発明によるスクリーン領域検知方法のフローチャートである。
【００１５】
図１に示されたように、先ず、ステップＳ１０において、画像取得装置により１フレームのスクリーン領域が含まれた画像（図２に示されたような画像）を取得し、取得した画像を図５に示されたコンピュータ５０１に転送し、以降の処理が行われる。このような画像取得装置は、図５に示されたような撮像ヘッド５０３である。図２に示された例示的画像は、コンピュータスクリーンを有する２５６階調画像である。これは単なる説明であり、具体的な需要に応じて画像の階調を決めてよい。同様に、図５における撮像ヘッド５０３による撮像であれば、撮像された１フレーム画像におけるスクリーンはコンピュータスクリーンではなく、投影スクリーン５０４である。実際の応用において、撮像された画像におけるスクリーン領域は、撮像画像の面積の半分以上となる。
【００１６】
次に、ステップＳ１１において、コンピュータにより、画像取得装置から転送された画像へのエッジ検知が行われ、取得画像からスクリーン領域の候補エッジの取得が行われる。エッジ検知については、現在、本発明の属する技術分野に様々な方法があるが、このような方法は、概ね検索による方法とゼロ交差による方法の２種に分けられる。所謂検索によるエッジ検知では、先ず、エッジ強さの算出が必要となり、通常、例えば勾配モジュール（gradient  module）のような１階導関数で示され、その後、通常、勾配の方向によりエッジの局部方向を推測し、該方向を用いて局部勾配モジュールの最大値を検出する。所謂ゼロ交差による方法とは、画像から得られた２階導関数のゼロ交差点を検出してエッジの位置きめを行い、通常、ラプラシアンオペレータや非線性微分方程のゼロ交差点を用いる。
【００１７】
本発明の一実施例による方法は、検索によるエッジ検出である。以下、検索によるエッジ検知方法について説明する。
【００１８】
先ず、１階導関数を求める。多くのエッジ検出動作は、輝度に基づく１階導関数であり、これにより、取得した画像の元データの輝度勾配が得られる。得られた輝度勾配により、画像の輝度勾配からピーク値を検索することができる。Ｉ（ｘ）が画素点ｘの輝度値を示し、Ｉ′（ｘ）は、画素点ｘの１階導関数（輝度勾配）を示すと、以下の式を得ることができる。
【数１】
2011238228.tif 000003
【００１９】
より高性能の画像処理においては、１階導関数は、マスクをかけた元データ（１次元）の畳み込み積分により求められる。
【００２０】
次に、閾値を決定する。輝度の１階導関数の算出後は、閾値によるエッジの位置決めが必要となる。
【００２１】
検索によるエッジ検出方法においては、使用可能なエッジ検出オペレータとして、Roberts  Crossオペレータ、Prewittオペレータ、Sobelオペレータ、Cannyオペレータがある。現在、Cannyオペレータ（或いは該オペレータの変形）は、最も利用されるエッジ検知方法である。Cannyオペレータによるエッジ検出方法において、エッジ検知に最適なプレ平滑化フィルタを用いており、該フィルタは、１階ガウス導関数カーネルにより良好に最適化される。なお、Cannyオペレータによるエッジ検出方法には、非最大抑制概念が導入され、エッジを勾配方向に最大勾配値を有する画素点と定義している。Cannyオペレータによるエッジ検知方法においては、２つの閾値を用いており、１つの閾値を用いることよりも融通性がある。通常、閾値が低いほど、検出可能な線が多くなり、その結果、画像におけるノイズ情報の影響も受けやすく、画像から関連のない特性を検出しやすくなる。一方、閾値が高すぎると、細線や短線のエッジが失われる恐れがある。
【００２２】
ここで、画像における画素の輝度値によるエッジ検知について詳細に説明する。ここでは、取得した画像における各画素の輝度値の変化により、スクリーン領域の候補エッジを取得する。
【００２３】
現在、コンピュータ画像処理分野において、エッジ検知の目的は、すなわち画像の明暗急変の特徴を検知することである。図２に示された画像のように、画像の明暗急変という特徴は、スクリーン領域の明るさと周辺の明るさの変化特徴を満たしており、その理由として、スクリーン領域や投影領域は、通常周囲環境よりも明るくなっているからである。
【００２４】
本発明の１実施例においては、前述のようなCannyエッジ検出演算法を用いている。Cannyエッジ検出演算法は、マルチステージの検知演算法であり、画像処理において広範囲のエッジ情報を検出可能であるため、テスト過程で異なる使用環境に容易に適応することができる。前記エッジ検知方法の具体的ステップとしては、次のようである。
【００２５】
先ず、ノイズ除去を行う。Cannyエッジ検出は、通常、ガウス平滑化ノイズ除去を用いている。ガウステンプレートにより原画像への畳み込み積分演算による画像のノイズの平滑化を行う。本発明では、以下のガウステンプレートにより画像の平滑化を行っている。
【数２】
2011238228.tif 000004
【００２６】
ここで、Ａは、原画像であり、Ｂは、平滑化後の画像である。
【００２７】
次に、画像の輝度勾配及びその方向を計算する。画像におけるエッジは方向が異なる可能性があるため、Cannyエッジ検出では、４つのテンプレートを用いて平滑化画像における水平、垂直及び対角線方向のエッジをそれぞれ検出する。エッジ検出オペレータ（例えば、Roberts,  Prewitt、Sobel等）により、画像における各画素点の水平輝度勾配（Ｇｙ）と垂直輝度勾配（Ｇｘ）を求め、下記式により画像の各画素点の輝度勾配（Ｇ）と輝度勾配方向（θ）を算出する。
【数３】
2011238228.tif 000005
【００２８】
次に、画像においてエッジを追跡する。輝度勾配の高いものがエッジである可能性が高いが、どれほどの輝度勾配を有するものがエッジであるかを規定する適切な値がないため、Cannyでは、ヒステリシス閾値を用いている。ヒステリシス閾値には、高閾値（Ｔ１）と低閾値（Ｔ２）の２つの閾値が必要となる。画像における主なエッジはすべて連続した曲線であると仮定すると、所定曲線におけるあいまい部分の追跡が可能となり、曲線をなしていないノイズ画素をエッジとすることを防ぐことができる。このため、比較的大きな閾値からスタートすると、確かな真のエッジを識別することになり、前に得た方向情報により、真のエッジからスタートして画像におけるすべてのエッジの追跡を行う。追跡時には、比較的小さな閾値を用いると、曲線のあいまい部分を追跡して始点まで戻ることができる。このプロセスが完了すると、１つの２値画像が得られ、各画素点よりエッジ点であるか否かが示される。
【００２９】
本発明の実施例においては、自動閾値演算法が用いられ、本発明が異なる環境でも自動適応できるようになる。該自動閾値演算法は、以下の通りである。
【００３０】
先ず、取得した画像のすべての画素点の平均輝度ＬＡｖｇを求め、該計算式は、以下となる。
【数４】
2011238228.tif 000006
ここで、Ｌｘ、Ｌｙは、（ｘ、ｙ）箇所の画素点の輝度値であり、Ｎは画像における画素点の数である。
【００３１】
その後、平均輝度ＬＡｖｇにより、全画素点は、平均輝度よりも大きい画素点（Ｐｈ）と平均輝度ＬＡｖｇよりも小さい画素点（Ｐｌ）の２種類に分けられる。
【００３２】
次に、該２種類の画素点に対し、それぞれ式（４）を用いて各種画素点の平均輝度を求め、該２種類の平均輝度をそれぞれＬｈＡｖｇとＬｌＡｖｇに表記する。最後に下記式により、閾値Ｔ１とＴ２を求める。
Ｔ１=ＬｈＡｖｇ−ＬｌＡｖｇ          （５）
Ｔ２=Ｔ１×0.8          （６）
前述により、図２に示された例示的画像における候補エッジが検出される。Cannyエッジ検知演算法には、２つの閾値Ｔ１とＴ２が用いられているため、実際の応用において該２つの閾値の調整により、取得画像からより多くのスクリーン境界上のエッジの検出が可能となるとともに、より多くの他のエッジが排除されることもできる。本発明の実施例によると、該２つの閾値Ｔ１とＴ２は、取得した画像の全画素点の平均輝度ＬＡｖｇを元にしているため、２つの閾値Ｔ１とＴ２は、自動計算方法により得られ、エッジ検知の効率を向上させることができる。
【００３３】
次に、ステップＳ１２において、コンピュータによるステップＳ１１の処理から得られた画像（例えば、図３Ａにおける画像）における候補エッジへの直線変換処理が行われ、ハフ変換により、得られた候補エッジの直線への変換が行われる。ハフ変換は、通常、画像分析や、コンピュータ視覚や、デジタル画像処理等の分野に用いられる技術であり、画像処理において幾何学的形状の識別を目的とする。
【００３４】
本発明の実施例においては、当業者に通常用いられる、画像から直線を識別する簡単なハフ変換が用いられており、換言すると、OpenCVにある関数HoughLinesPを用いて、確率によるハフ変換演算法により直線検知を行っている。関数HoughLinesPにおける５つのパラメータは、それぞれ、画素に関連する距離精度（Rho）、弧度測定の角度精度（Theta）、閾値パラメータ（Threshold）、最小ライン長さ（minLineLength）、同一直線上でばらばらのラインを接続する最大間隔値（maxLineGap）となる。ここで、それぞれの累積値が閾値パラメータ（Threshold）よりも大きくなると、関数HoughLinesPがこのラインに戻る。本発明の具体的な実施例として、以上のパラメータに以下の対応値を設けることができる。
Rho＝1
Theta＝π／90
Threshold＝20
minLineLength＝20
maxLineGap＝5
なお、以上の値は単なる参考として挙げており、具体的なパラメータ値は、実現する環境に依存しており、例えば、撮像画像のサイズや、画像のエッジ検知結果等に影響されるため、具体的なパラメータ値は、具体的な状況に応じて調整してよい。
【００３５】
ステップS11とS１２が行われるとともに、コンピュータにより、ステップS13における取得した原画像（例えば、図２に示された画像）への２値化処理が行われる。画像の２値化は、基本的な画素分割方法であり、その目的は、所定の画像をターゲットとなる画素と背景となる画素の２種類に分割することにある。閾値化は、画像分割で最も用いるツールである。近年、Otsu演算法や、最大エントロピー閾値のような様々な閾値選択方法が提案されている。ここで、Otsu演算法は、階調画像を２値画像に変換する簡単且つ高効率の方法である。
【００３６】
通常、スクリーン領域の明るさは非スクリーン領域の明るさよりも大きく、全画像面積におけるスクリーン領域の面積が半分以上を占めるため、以下の本発明の実施例においては、直接、エッジ検知ステップS１１の演算により得られた平均輝度LＡｖｇを画像２値化の閾値とする。具体的には、先ず、取得した画像の全画素点の平均輝度LＡｖｇを求め、その後、算出した平均輝度を閾値とし、取得した画像への２値化処理を行う。すなわち、前記平均輝度値LＡｖｇよりも大きい輝度の画素点を白色とし、その他の画素を黒色とする。具体的には、本発明のスクリーン領域検知においては、２値化変換は、取得した画像の画素の輝度特徴により、取得した画像における画素をスクリーン領域（白色）と非スクリーン領域（黒色）に大別することで、図３Cに示された画像の取得を目的とする。２値化閾値の設定は、該ステップにおいて非常に重要であり、本発明においては、画像の具体的な状況に応じて２値化閾値を自動決定しているため、本発明のスクリーン領域検知の効果を向上することができる。
【００３７】
前述の実施例においては、Otsu演算法による画像の２値化処理を行っているが、最大エントロピー閾値を用いても同様に画像の２値化処理が可能となるため、前述の例により本発明が制限されるものではない。
【００３８】
次に、ステップS１４において、コンピュータにより、白色と設定された画素点からなる最大の連通白色領域の境界画素点が得られ、全境界画素点を集合して最大の連通白色領域の輪郭とする。換言すると、ステップS１３から得られた２値化画像における最大の連通白色領域を検出し、最大の連通白色領域の境界画素点を集合して輪郭のベクトルとすることで、該最大の連通白色領域へのベクトル化を行う。
【００３９】
本発明の１実施例においては、OpenCVにおけるcvFindContours関数により前記２値化画像における最大の連通白色領域の輪郭の検知を行っている。図３Cに示したように、２値化画像には、複数の互いに補い合う連通白色領域があるため、輪郭検知によっても複数の輪郭情報が得られる。スクリーン領域が画像の最大領域であるため、ここでは、最大面積を有する輪郭をスクリーン領域とする。
【００４０】
次に、ステップS１５において、前記輪郭上の画素点から各変換された直線までの最小距離により、かつ変換された直線の方向により、変換された直線から前記輪郭上の直線を選択する。具体的には、すなわち、図３Bにおける直線のうち、直線がスクリーン領域に属する輪郭線を決定する。
【００４１】
エッジ検知ステップS11及び直線変換ステップS12におけるノイズ干渉により、変換により得られた直線の多くは、スクリーン領域の境界とは関係なく、このような関係のない直線を干渉直線と称する。このため、ステップS１５で行う処理は、すなわちこれらの干渉直線の除去であり、スクリーン領域検知の誤差を低減している。図４に示されたように、ステップS１２の直線変換処理後に得られた直線の多くは、スクリーン領域とは関係なく（例えば、図４における直線７〜１８）、これらの関係のない直線もスクリーンエッジ上にはない。本発明の具体的実施例においては、各直線とスクリーン領域の輪郭との位置関係、及びそれぞれの直線の方向から、該直線がスクリーン領域に属する輪郭であるかの判断が行われている。
【００４２】
先ず、任意の１直線を選択し、該直線とスクリーン領域の輪郭との最小距離を算出する。具体的には、前述のように、スクリーン領域の輪郭は、スクリーン領域の輪郭上の画素点からなるベクトルにより記述されるため、直線とスクリーン領域の輪郭との最小距離の算出時に、スクリーン領域の輪郭上の各画素点から該直線までの距離の算出が必要となるとともに、すべての距離の値から選ばれた最小値を、該直線とスクリーン領域輪郭との最小距離とする。距離閾値を設定することで、前記直線をスクリーンエッジに属する直線と干渉直線に初歩的に分けることができる。該距離閾値の大きさは、取得した画像の大きさ及び画像におけるスクリーン領域の比によって決められる。本発明の実施例においては、取得した画像（図２に示されたようなもの）の大きさは、320*240であり、画像におけるスクリーン領域の面積は６０％以上であり、該距離閾値を、５、６、７、８、９または１０個の画素距離に設定する。閾値距離を６つの画素距離とすると、６つの画素距離よりも大きい最小距離に対応するものを干渉直線と判定し、そうでなければ、スクリーン領域の輪郭に属する直線と判定する。図４の場合において、図番１〜８の直線が、スクリーン領域のエッジに属する直線となり、図番９〜１８の直線が干渉直線となる。
【００４３】
次に、直線の方向を算出することにより、どの直線がスクリーン領域のエッジにある直線であり、どの直線が干渉直線であるかの更なる確認が可能となる。具体的には、各直線の方向及び該直線まで距離が最も小さい輪郭上の画素点の方向を算出し、２つの方向の差分（すなわち、２つの方向の夾角）を算出する。該夾角が所定の角度閾値以下（例えば、３０°、３５°、４０°、または４５°）であると、スクリーン領域のエッジに属する直線と判定し、逆の場合は、干渉直線と判定する。
【００４４】
本発明の具体的な実施例において、直線の方向は、ある特定オペレータにより、直線上の各画素点の輝度勾配を算出することで得られる。該オペレータは、２つの3×3のマトリクスによる畳み込み積分を用いており、１つは、たて向きの輝度勾配の算出に用いられ、もう一つは、横向きの輝度勾配に用いられる。原画像をAとし、横向き輝度勾配と縦向き輝度勾配をそれぞれGｘとCｙとすると、GｘとCｙは、以下の式により、求められる。
【数５】
2011238228.tif 000007
【００４５】
ここで、*は、２次元畳み込み積分演算を示す。
【００４６】
前記式より算出されたGｘとCｙにより、直線の方向は、下記式より角度θが算出される。
【数６】
2011238228.tif 000008
【００４７】
同様に、スクリーン領域の輪郭上の各画素点の方向が算出される。直線の方向と該直線に最も近い輪郭画素点の方向との比較により、該直線がスクリーン領域の輪郭となる直線であるか否かの確認が可能となる。例えば、このような比較により、図４の図番７、８の２つの直線はスクリーン領域の輪郭とならない干渉直線と判定することができる。また、図番１〜６の直線は、最終的にスクリーン領域の輪郭となる直線と判定される。
【００４８】
次に、ステップS１６において、ステップS１５でスクリーン領域の輪郭をなすと判定された直線の座標位置関係から、これらの直線を上、下、左、右の４グループに分ける。通常、スクリーン領域は四辺形であるため、各直線の位置関係から、スクリーンの上エッジ、下エッジ、左エッジ、右エッジの４グループに分けられる。スクリーン領域の輪郭については、その横向きと縦向き位置座標の最大値と最小値をそれぞれ算出することができる。スクリーン領域の輪郭上の各直線については、既に算出された直線方向θとその位置により、上、下、左、右の４グループに分けられ、ステップS17に進む。
【００４９】
ステップS１７において、コンピュータにより、分けられた直線のグループ数が４未満か否かの判断が行われ、４未満であると、コンピュータにより、ステップS１８における今回のスクリーン領域検知結果の放棄動作が行われ、ユーザの動作に対して何ら反応もしないか、直接検知エラーの表示を出力する。本発明の具体的な実施例においては、図番１〜６の直線のグループ分けとしては、直線１は、左エッジ直線で、直線２、３は、上エッジ直線であり、直線４は右エッジ直線で、直線５、６は下エッジ直線となる。
【００５０】
ステップS１７において、コンピュータにより、分けられた直線のグループ数が４であると判断されると、ステップS１９で同一グループにおける複数の直線を１つの直線にあてはめ、スクリーン領域の４つのエッジが得られる。通常、前述の図４のマーキングされた直線を例として説明したように、ステップS16におけるグループ分けにより得られたスクリーン領域輪郭の上、下、左、右の各グループには、複数の直線が含まれる可能性がある。スクリーン検知領域の正確度を向上させるために、各エッジ上の同一グループに属する複数の直線のあてはめを行うことで、より正確にスクリーン領域の輪郭を取得することができる。直線あてはめについては、多くの既知の演算法を用いることができる。
【００５１】
通常用いられる直線あてはめ方法としては、最小二乗法の直線あてはめがある。
【００５２】
仮に所定のデータ点(xi,yi),i=1,2,…,Nが概ね直線に分けられるとし、あてはめ直線y=a+bxをなすときに、厳密にすべてのデータ点(xi,yi)を通ることを要求せずに、できる限り所定のデータ点付近を通るようにする。
【数７】
2011238228.tif 000009
で、あてはめ直線y=a+bxにより求められた近似値を示し、両者の差分
【数８】
2011238228.tif 000010
を残差とする。残差の大きさは、あてはめの良し悪しを評価する重要な指標となり、具体的には、３つの基準がある。
【００５３】
（i）残差の最大絶対値を最小にする：min(maxi|ei|)、
（ii）残差の最大絶対値の和を最小にする：minΣi|ei|、
（iii）残差の二乗和を最小にする：minΣiei2。
【００５４】
基準（iii）によるあてはめ直線の選出方法を、直線あてはめの最小二乗法と称し、下記方程式を解く。
【数９】
2011238228.tif 000011
【００５５】
本発明の他の具体的な実施例においては、さらに同一グループにおける各直線の端点の抽出が行われており、端点のあてはめにより近似直線が得られ、該近似直線が最終スクリーン領域のエッジとなる。
【００５６】
最後に、ステップＳ２０において、ステップＳ１９により得た４つの直線を用いて、スクリーン領域をなす四辺形を構成する。
【００５７】
前述の本発明におけるスクリーン領域検知方法によると、ＨＣＩ式仮想ホワイトボードにおいて、自動かつリアルタイムにスクリーン領域の位置検出が可能となるため、異なる使用条件の下でも一定の信頼性があり、システムのユーザ体験を大幅に向上することができる。
【００５８】
図５は、本発明の実施例によるスクリーン領域検知方法を用いるシステムの略図である。該システムは、コンピュータ５０１と、プロジェクター５０２と、撮像ヘッド５０３と、投影スクリーン５０４が備えられている。コンピュータ５０１は、アプリケーションを実行し、必要な内容をプロジェクター５０２へ出力する。プロジェクター５０２は、関連内容を投影スクリーン５０４上に投影する。撮像ヘッド５０３は、所定の規則に基づき、投影スクリーン５４を含む画像を撮像し、画像をコンピュータ５０１へ送信し、コンピュータ５０１は、該画像の受信後、前述のステップＳ１１〜Ｓ２０を実行し、スクリーン領域の検知を行うことで、撮像した画像におけるスクリーン領域を正確に取得する。
【００５９】
図６は、本発明の実施例によるスクリーン領域検知システムのブロック図である。スクリーン領域検知システム６００は、スクリーンを含有する画像を取得する画像取得モジュール６０１と、取得した画像における各画素の輝度値の変化により、スクリーン領域の候補エッジを取得するエッジ取得モジュール６０２と、ハフ（Ｈｏｕｇｈ）変換により、取得した候補エッジを直線に変換する直線変換モジュール６０３と、取得した画像に２値化処理を施し、画像をターゲット領域と非ターゲット領域に分割し、具体的には、取得した画像における各画素の輝度値の平均輝度値により、取得した画像への２値化処理を行い、輝度が前記平均輝度値よりも大きい画素点を白色とし、その他の画素を黒色とする画像２値化モジュール６０４と、白色と設定された画素点からなる最大の連通白色領域の境界画素点を取得し、すべての境界画素点を集合させてその最大の連通白色領域の輪郭とする輪郭抽出モジュール６０５と、該輪郭上の画素点から各変換された直線までの最小距離及び該直線の方向により、変換された直線から前記輪郭上の直線を選択する直線選択モジュール６０６と、選択した直線の座標位置関係により、選択した直線を上、下、左、右の４つのグループに分ける直線グループ分けモジュール６０７と、分けられたグループ数が４であるかの判定を行うクループ数判定モジュール６０８と、クループ数判定モジュール６０８により分けられたグループ数が４以下と判定されると、スクリーン領域検知エラー情報を出力するエラー表示モジュール６０９と、同一グループにおける複数の直線を１つの直線にあてはめることで、スクリーン領域の４つのエッジを得る直線あてはめモジュール６１０と、得られた４つの直線からスクリーン領域を形成するスクリーン領域構成モジュール６１１と、を備えている。
【００６０】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。
【符号の説明】
【００６１】
５０１  コンピュータ
５０２  プロジェクター
５０３  撮像ヘッド
５０４  投影スクリーン
６００  スクリーン領域検知システム
６０１  画像取得モジュール
６０２  エッジ取得モジュール
６０３  直線変換モジュール
６０４  画像２値化モジュール
６０５  輪郭抽出モジュール
６０６  直線選択モジュール
６０７  直線グループ分けモジュール
６０８  クループ数判定モジュール
６０９  エラー表示モジュール
６１０  直線あてはめモジュール
６１１  スクリーン領域構成モジュール
【図１】
2011238228.tif 000012
【図５】
2011238228.tif 000013
【図６】
2011238228.tif 000014
【図２】
2011238228.tif 000015
【図３Ａ】
2011238228.tif 000016
【図３Ｂ】
2011238228.tif 000017
【図３Ｃ】
2011238228.tif 000018
【図３Ｄ】
2011238228.tif 000019
【図４】
2011238228.tif 000020