(57)【要約】      （修正有）【課題】プロジェクター表示システムのカメラに基づく較正に関し、較正画像を生成する際の処理するデータ量を削減し、より正確な較正画像を生成する方法を提供する。【解決手段】表面上の周囲光の第1画像を取り込むステップと、第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するステップと、原色光を表面上に投影するステップと、表面上に投影された原色光の第2画像を取り込むステップと、第2画像の選択された色チャンネルに基づき第2グレースケール画像を生成するステップと、第1グレースケール画像を第2グレースケール画像から引いて差分画像を生成するステップと、プロジェクターマスクを生成するステップとを有し、前記プロジェクターマスクを生成するステップは、差分画像におけるある形のエッジを検出するステップと、このエッジに基づき前記ある形を再生するステップとを有するプロジェクターマスクの生成方法。【選択図】図１
2011048364.tif 000002
【特許請求の範囲】
【請求項１】
表面上の周囲光の第1画像を取り込むステップと、
前記第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するステ
ップと、
原色光を前記表面上に投影するステップと、
前記表面上に投影された原色光の第2画像を取り込むステップと、
前記第2画像の選択された色チャンネルに基づき第2グレースケール画像を生成するステ
ップと、
前記第1グレースケール画像を前記第2グレースケール画像から引いて差分画像を生成す
るステップと、
プロジェクターマスクを生成するステップとを有し、
前記プロジェクターマスクを生成するステップは、前記差分画像におけるある形のエッ
ジを検出するステップと、前記形のエッジに基づき前記形を再生するステップとを有する
プロジェクターマスクの生成方法。
【請求項２】
プロジェクターから表示面に較正パターンを投影するステップであって、前記プロジェ
クターは第1の複数の第1ピクセル位置を有するプロジェクター空間で規定されているステ
ップと、
前記較正パターンの第3画像を取り込むステップであって、前記第1画像、前記第2画像
、および前記第3画像は各々仮想表示空間に適合するとともに、前記仮想表示空間は第2の
複数の第2ピクセル位置を有するステップと、
前記プロジェクターマスクおよび前記第3画像に基づき前記第1ピクセル位置と前記第2
ピクセル位置との間の対応を判定するステップとをさらに有する請求項１に記載のプロジ
ェクターマスクの生成方法。
【請求項３】
前記プロジェクターマスクに基づき前記第3画像の一部分を選択するステップと、
前記第3画像の前記一部分に基づき前記対応を判定するステップとをさらに有する請求
項２に記載のプロジェクターマスクの生成方法。
【請求項４】
前記対応に基づきさらなる画像を投影するステップをさらに有する請求項２に記載のプ
ロジェクターマスクの生成方法。
【請求項５】
前記形のエッジを強化することによって強化差分画像を生成するステップをさらに有し
、
前記形を再生するステップは、前記強化差分画像における形のエッジに基づき前記形を
再生するステップを含む請求項１に記載のプロジェクターマスクの生成方法。
【請求項６】
前記形は4つのエッジを有し、
前記形の左および右エッジ間の列を充填するステップと、上および下のエッジ間の行を
充填するステップと、前記列と前記行とを組み合わせるステップとをさらに有する請求項
１に記載のプロジェクターマスクの生成方法。
【請求項７】
前記第1画像はRGB画像であり、前記第2画像はRGB画像であり、前記第1画像の選択され
た色チャンネルは緑の色チャンネルである請求項１に記載のプロジェクターマスクの生成
方法。
【請求項８】
表面上の周囲光の第1画像を取り込むカメラと、
前記第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するグレ
ースケールモジュールと、
原色光を前記表面上に投影するプロジェクターであって、前記カメラは前記表面上に投
影された前記原色光の第2画像を取り込み、前記グレースケールモジュールは第2画像の選
択された色チャンネルに基づき第2グレースケール画像を生成するプロジェクターと、
前記第1グレースケール画像と前記第2グレースケールとに基づき差分画像を生成する差
分モジュールと、
プロジェクターマスクを生成するマスクモジュールとを有し、
前記マスクモジュールは、前記差分画像におけるある形のエッジを検出する検出モジュ
ールと、前記形のエッジに基づき前記形を再生する再生モジュールとを有するプロジェク
ターマスクの生成装置。
【請求項９】
前記プロジェクターは、表示面に較正パターンを投影するとともに、第1の複数の第1ピ
クセル位置を有するプロジェクター空間で規定されるものであり、
前記カメラは、前記較正パターンの第3画像を取り込むものであって、前記第1画像、前
記第2画像、および前記第3画像は各々仮想表示空間に適合し、前記仮想表示空間は前記第
2複数の第2ピクセル位置を有してなり、
前記プロジェクターマスクおよび前記第3画像に基づき前記第1ピクセル位置と前記第2
ピクセル位置との間の対応を判定する対応モジュールをさらに有する請求項８に記載のプ
ロジェクターマスクの生成装置。
【請求項１０】
前記対応モジュールは、前記プロジェクターマスクに基づき前記第3画像の一部分を選
択し、前記第3画像の一部分に基づき前記対応を判定する請求項９に記載のプロジェクタ
ーマスクの生成装置。
【請求項１１】
前記プロジェクターは前記対応に基づきさらなる画像を投影する請求項９に記載のプロ
ジェクターマスクの生成装置。
【請求項１２】
前記差分画像に基づき強化差分画像を生成する強化モジュールをさらに有し、
前記対応モジュールは前記プロジェクターマスクおよび前記強化差分画像に基づき前記
対応を判定する請求項８に記載のプロジェクターマスクの生成装置。
【請求項１３】
前記形は4つのエッジを有し、
前記再生モジュールは、前記形の左および右エッジ間の列を充填するとともに、上およ
び下エッジ間の行を充填して、前記列と前記行とを組み合わせる請求項８に記載のプロジ
ェクターマスクの生成装置。
【請求項１４】
前記第1画像はRGB画像であり、第2画像はRGB画像であり、前記第1画像の選択された色
チャンネルは緑の色チャンネルである請求項８に記載のプロジェクターマスクの生成装置
。
【請求項１５】
方法を具現化するための有形のコンピューター読み取り可能な記憶媒体であって、
前記方法は、
第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するステップ
と、
表面上に投影された原色光の第2画像を取り込むステップと、
前記第2画像の選択された色チャンネルに基づき第2グレースケール画像を生成するステ
ップと、
前記第1グレースケール画像を前記第2グレースケール画像から引いて差分画像を生成す
るステップと、
プロジェクターマスクを生成するステップとを有し、
前記プロジェクターマスクを生成するステップは、前記差分画像におけるある形のエッ
ジを検出するステップと、前記形のエッジに基づき前記形を再生するステップとを有する
コンピューター読み取り可能な記憶媒体。
【請求項１６】
前記方法はさらに、
前記プロジェクターにより表示面に投影された較正パターンの第3画像を受信するステ
ップであって、前記プロジェクターは第1の複数の第1ピクセル位置を有してなるプロジェ
クター空間で規定されるとともに、前記第1画像、前記第2画像、および前記第3画像は各
々仮想表示空間に適合し、前記仮想表示空間は第2の複数の第2ピクセル位置を有するステ
ップと、
前記プロジェクターマスクと前記第3画像とに基づき、前記第1ピクセル位置と前記第2
ピクセル位置との間の対応を判定するステップとを有する請求項１５に記載のコンピュー
ター読み取り可能な記憶媒体。
【請求項１７】
前記プロジェクターマスクに基づき前記第3画像の一部分を選択するステップと、
前記第3画像の一部分に基づき前記対応を判定するステップとをさらに有する請求項１
６に記載のコンピューター読み取り可能な記憶媒体。
【請求項１８】
前記プロジェクターは前記対応に基づきさらなる画像を投影する請求項１６に記載のコ
ンピューター読み取り可能な記憶媒体。
【請求項１９】
前記方法は、前記形のエッジを強化することによって強化差分画像を生成するステップ
をさらに有し、
前記形を再生するステップは、前記強化差分画像における前記形のエッジに基づき前記
形を再生するステップを含む請求項１５に記載のコンピューター読み取り可能な記憶媒体
。
【請求項２０】
前記形は4つのエッジを有し、
前記方法はさらに、前記形の左および右エッジ間の列を充填するステップと、上および
下エッジ間の行を充填するステップと、前記列と前記行とを組み合わせるステップとをさ
らに有する請求項１５に記載のコンピューター読み取り可能な記憶媒体。
【請求項２１】
前記第1画像はRGB画像であり、前記第2画像はRGB画像であり、前記第1画像の選択され
た色チャンネルは緑の色チャンネルである請求項１５に記載のコンピューター読み取り可
能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示はプロジェクター表示システムのカメラに基づく較正に関する。より具体的に、
本開示は較正用のプロジェクターマスクを生成することに関する。
【背景技術】
【０００２】
マルチプロジェクターシステムにおいて、気軽に配置されたプロジェクターのセットは
プロジェクターのずれを原因とする幾何学的ゆがみによる投影の重なり合い、台形ひずみ
、等々望ましくないアーティファクトを有する大型の組み合わせ表示を形成し得る。これ
らのアーティファクトはカメラを用いてシステムを較正することにより緩和することがで
きる。
【０００３】
較正において、1つ以上の較正パターンが表示面に投影され、デジタルカメラにより較
正パターンの高解像度デジタル画像が取り込まれる。取り込まれた画像は処理され、カメ
ラのピクセルとプロジェクターのピクセルとの間の対応を判定する。この対応を用いて上
述の投影アーティファクトを補正するために画像ピクセルをプロジェクターピクセルに変
換する。しかし、カメラにより取り込まれた高解像度較正画像は大量のデータを含み得る
（例えば特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２００８／０２６６３２１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
プロジェクターマスクは各プロジェクターの較正データを隔離するために較正の際一般
的に使用される。各プロジェクターの較正の際、対応プロジェクターマスクを用いて取り
込まれた較正画像から該当データを抽出し、それにより処理するデータ量を削減する。し
かし、この手法を用いるためにはプロジェクターマスクが正確である必要がある。
【課題を解決するための手段】
【０００６】
本発明のプロジェクターマスクの生成方法は、表面上の周囲光の第1画像を取り込むス
テップと、
前記第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するステ
ップと、
原色光を前記表面上に投影するステップと、
前記表面上に投影された原色光の第2画像を取り込むステップと、
前記第2画像の選択された色チャンネルに基づき第2グレースケール画像を生成するステ
ップと、
前記第1グレースケール画像を前記第2グレースケール画像から引いて差分画像を生成す
るステップと、
プロジェクターマスクを生成するステップとを有し、
前記プロジェクターマスクを生成するステップは、前記差分画像におけるある形のエッ
ジを検出するステップと、前記形のエッジに基づき前記形を再生するステップとを有する
ことを特徴とする。
【０００７】
また、本発明のプロジェクターマスクの生成方法において、プロジェクターから表示面
に較正パターンを投影するステップであって、前記プロジェクターは第1の複数の第1ピク
セル位置を有するプロジェクター空間で規定されているステップと、
前記較正パターンの第3画像を取り込むステップであって、前記第1画像、前記第2画像
、および前記第3画像は各々仮想表示空間に適合するとともに、前記仮想表示空間は第2の
複数の第2ピクセル位置を有するステップと、
前記プロジェクターマスクおよび前記第3画像に基づき前記第1ピクセル位置と前記第2
ピクセル位置との間の対応を判定するステップとをさらに有することを特徴とする。
また、本発明のプロジェクターマスクの生成方法において、前記プロジェクターマスク
に基づき前記第3画像の一部分を選択するステップと、
前記第3画像の前記一部分に基づき前記対応を判定するステップとをさらに有すること
を特徴とする。
【０００８】
また、本発明のプロジェクターマスクの生成方法において、前記対応に基づきさらなる
画像を投影するステップをさらに有することを特徴とする。
【０００９】
また、本発明のプロジェクターマスクの生成方法において、前記形のエッジを強化する
ことによって強化差分画像を生成するステップをさらに有し、
前記形を再生するステップは、前記強化差分画像における形のエッジに基づき前記形を
再生するステップを含むことを特徴とする。
【００１０】
また、本発明のプロジェクターマスクの生成方法において、前記形は4つのエッジを有
し、
前記形の左および右エッジ間の列を充填するステップと、上および下のエッジ間の行を
充填するステップと、前記列と前記行とを組み合わせるステップとをさらに有することを
特徴とする。
【００１１】
また、本発明のプロジェクターマスクの生成方法において、前記第1画像はRGB画像であ
り、前記第2画像はRGB画像であり、前記第1画像の選択された色チャンネルは緑の色チャ
ンネルであることを特徴とする。
【００１２】
一方、本発明のプロジェクターマスクの生成装置は、表面上の周囲光の第1画像を取り
込むカメラと、
前記第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するグレ
ースケールモジュールと、
原色光を前記表面上に投影するプロジェクターであって、前記カメラは前記表面上に投
影された前記原色光の第2画像を取り込み、前記グレースケールモジュールは第2画像の選
択された色チャンネルに基づき第2グレースケール画像を生成するプロジェクターと、
前記第1グレースケール画像と前記第2グレースケールとに基づき差分画像を生成する差
分モジュールと、
プロジェクターマスクを生成するマスクモジュールとを有し、
前記マスクモジュールは、前記差分画像におけるある形のエッジを検出する検出モジュ
ールと、前記形のエッジに基づき前記形を再生する再生モジュールとを有することを特徴
とする。
【００１３】
また、本発明のプロジェクターマスクの生成装置において、前記プロジェクターは、表
示面に較正パターンを投影するとともに、第1の複数の第1ピクセル位置を有するプロジェ
クター空間で規定されるものであり、
前記カメラは、前記較正パターンの第3画像を取り込むものであって、前記第1画像、前
記第2画像、および前記第3画像は各々仮想表示空間に適合し、前記仮想表示空間は前記第
2複数の第2ピクセル位置を有してなり、
前記プロジェクターマスクおよび前記第3画像に基づき前記第1ピクセル位置と前記第2
ピクセル位置との間の対応を判定する対応モジュールをさらに有することを特徴とする。
また、本発明のプロジェクターマスクの生成装置において、前記対応モジュールは、前
記プロジェクターマスクに基づき前記第3画像の一部分を選択し、前記第3画像の一部分に
基づき前記対応を判定することを特徴とする。
【００１４】
また、本発明のプロジェクターマスクの生成装置において、前記プロジェクターは前記
対応に基づきさらなる画像を投影することを特徴とする。
【００１５】
また、本発明のプロジェクターマスクの生成装置において、前記差分画像に基づき強化
差分画像を生成する強化モジュールをさらに有し、
前記対応モジュールは前記プロジェクターマスクおよび前記強化差分画像に基づき前記
対応を判定することを特徴とする。
【００１６】
また、本発明のプロジェクターマスクの生成装置において、前記形は4つのエッジを有
し、
前記再生モジュールは、前記形の左および右エッジ間の列を充填するとともに、上およ
び下エッジ間の行を充填して、前記列と前記行とを組み合わせることを特徴とする。
【００１７】
また、本発明のプロジェクターマスクの生成装置において、前記第1画像はRGB画像であ
り、第2画像はRGB画像であり、前記第1画像の選択された色チャンネルは緑の色チャンネ
ルであることを特徴とする。
【００１８】
さらに、本発明のコンピューター読み取り可能な記憶媒体は、方法を具現化するための
有形のコンピューター読み取り可能な記憶媒体であって、
前記方法は、
第1画像の選択された色チャンネルに基づき第1グレースケール画像を生成するステップ
と、
表面上に投影された原色光の第2画像を取り込むステップと、
前記第2画像の選択された色チャンネルに基づき第2グレースケール画像を生成するステ
ップと、
前記第1グレースケール画像を前記第2グレースケール画像から引いて差分画像を生成す
るステップと、
プロジェクターマスクを生成するステップとを有し、
前記プロジェクターマスクを生成するステップは、前記差分画像におけるある形のエッ
ジを検出するステップと、前記形のエッジに基づき前記形を再生するステップとを有する
ことを特徴とする。
【００１９】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法はさらに、
前記プロジェクターにより表示面に投影された較正パターンの第3画像を受信するステ
ップであって、前記プロジェクターは第1の複数の第1ピクセル位置を有してなるプロジェ
クター空間で規定されるとともに、前記第1画像、前記第2画像、および前記第3画像は各
々仮想表示空間に適合し、前記仮想表示空間は第2の複数の第2ピクセル位置を有するステ
ップと、
前記プロジェクターマスクと前記第3画像とに基づき、前記第1ピクセル位置と前記第2
ピクセル位置との間の対応を判定するステップとを有することを特徴とする。
【００２０】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記プロジェクター
マスクに基づき前記第3画像の一部分を選択するステップと、
前記第3画像の一部分に基づき前記対応を判定するステップとをさらに有することを特
徴とする。
【００２１】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記プロジェクター
は前記対応に基づきさらなる画像を投影することを特徴とする。
【００２２】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法は、前記形
のエッジを強化することによって強化差分画像を生成するステップをさらに有し、
前記形を再生するステップは、前記強化差分画像における前記形のエッジに基づき前記
形を再生するステップを含むことを特徴とする。
【００２３】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記形は4つのエッ
ジを有し、
前記方法はさらに、前記形の左および右エッジ間の列を充填するステップと、上および
下エッジ間の行を充填するステップと、前記列と前記行とを組み合わせるステップとをさ
らに有することを特徴とする。
【００２４】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記第1画像はRGB画
像であり、前記第2画像はRGB画像であり、前記第1画像の選択された色チャンネルは緑の
色チャンネルであることを特徴とする。
【図面の簡単な説明】
【００２５】
【図１】いくつかの実施形態によるマルチプロジェクター表示システムを示す図である。
【図２】いくつかの実施形態により図1のプロジェクターを較正するための図1におけるプロジェクタープラットフォームの要素を示す図である。
【図３．Ａ】いくつかの実施形態によりプロジェクターマスクを生成し用いるための図2におけるプロジェクタープラットフォームのプロセスを示す図である。
【図３．Ｂ】いくつかの実施形態によりプロジェクターマスクを生成し用いるための図2におけるプロジェクタープラットフォームのプロセスを示す図である。
【図４】閾値化された差分画像の例を示す図である。
【図５】閾値化された画像の例を示す図である。
【図６】図5の画像における角の拡大図である。
【図７】図5における形の左エッジを含む画像を示す図である。
【図８】図7のエッジの拡大図である。
【図９】図7におけるエッジの線強化の結果を示す図である。
【図１０】図9のエッジの拡大図である。
【図１１】LineOffsetオブジェクトのデータメンバーを示す図である。
【図１２】LineTrackingDataオブジェクトのデータメンバーを示す図である。
【図１３】処理ループを実施するコードの例を示す図である。
【図１４．Ａ】いくつかの実施形態による列充填プロセスの例を示す図である。
【図１４．Ｂ】いくつかの実施形態による列充填プロセスの例を示す図である。
【図１５．Ａ】いくつかの実施形態による行充填プロセスの例を示す図である。
【図１５．Ｂ】いくつかの実施形態による行充填プロセスの例を示す図である。
【図１６】いくつかの実施形態により生成されたきれいなエッジの正確なプロジェクターマスクの拡大図を示す図である。
【発明を実施するための形態】
【００２６】
本明細書に用いられる各参照番号の先頭桁は参照番号が最初に現れる図面の番号を示す
。
本発明はプロジェクター表示システムのカメラに基づく較正に関する。較正の際、1つ
以上のプロジェクターが表示面に較正画像を投影する。カメラが投影された各較正画像の
1つ以上の画像を取り込む。プロジェクタープラットフォームが各プロジェクターに対し
カメラのピクセル位置とプロジェクターのピクセル位置とのマッピングを作成する。較正
後、マッピングは投影の前に画像を歪めるために用いられる。較正および歪め手法は単一
プロジェクターシステムとともにマルチプロジェクターシステムにも使用できる。
【００２７】
較正のために処理するデータの量を削減するために、較正の際プロジェクターマスクが
用いられる。各プロジェクターマスクは取り込み画像において各々のプロジェクターの投
影により占められる区域を特定する。プロジェクターの較正の際、対応するプロジェクタ
ーを用いて取り込み較正画像から該当データを抽出し、それにより処理されるデータの量
を削減する。しかし、プロジェクターマスクは他の用途も有り得る。
【００２８】
本発明の実施形態によると、各プロジェクターマスクは次のように生成される。表示面
上の周囲光の第1画像が取り込まれる。第1画像の選択された色チャンネルに基づき第1グ
レースケール画像が生成される。原色光が表示面に投影される。表示面に投影される原色
光の第2画像が取り込まれる。第2画像の選択された色チャンネルに基づき第2グレースケ
ール画像が生成される。第1グレースケール画像を第2グレースケール画像から引くことに
より差分画像が生成される。差分画像における形のエッジが検出される。形の検出された
エッジに基づき形が再生される。再生された形がプロジェクターマスクである。
【００２９】
図1はいくつかの実施形態によるマルチプロジェクター表示システム100を示す。システ
ム100は表示面104に照準を当てた4台のプロジェクター102A‐102Dを含む。もちろん別の
数のプロジェクター102を用いることができる。例えば、単一のプロジェクター102を用い
ることができる。プロジェクタープラットフォームによりデータがプロジェクター102に
提供され、前者はソース入力をメディアプレイヤー108、コンピューター110、インターネ
ットなどのネットワーク112により接続されたソース、等々から取得することができる。
較正用にシステム100はデジタルスチールカメラ114を含む。
【００３０】
一実施形態において、システム100は4台のプロジェクター102を含み、プロジェクター
プラットフォーム106は中央演算装置（CPU）および各々プロジェクター102の1台に接続さ
れる4つのビデオ出力を提供する図形処理装置（GPU）で構成されるパソコン（PC）として
実施される。オプションの取り込みカードはコンピューター110、メディアプレイヤー108
、等々などのソースからビデオ入力を提供する。デジタルスチールカメラ114は較正プロ
セス用にPCに取り付けられる。他の実施形態において、較正プロセスにビデオカメラを用
いることができる。較正後、デジタルスチールカメラ114は取り除くこともでき、または
プロジェクタープラットフォーム106によりメディア入力装置として使用されることがで
きる。
【００３１】
プロジェクター102A‐102Dは表示面104に各々成分投影120A‐120Dを形成する。成分投
影120A‐120Dは合わせて1つの合成投影122を形成する。成分投影120は領域124A‐124Cに
おいて重なり合うことに留意されたい。
【００３２】
図2はいくつかの実施形態によりプロジェクター102を較正するための図1のプロジェク
タープラットフォーム106の要素を示す。本明細書で提供される開示および教示に基づき
関連技術の当業者であれば明らかであろうが、説明される実施形態において装置の要素は
1つの配列で呈示されるものの、他の実施形態は他の配置を特色とし得る。例えば、装置
の要素はハードウェア、ソフトウェア、またはその組み合わせで実施することができる。
【００３３】
図2を参照すると、プロジェクタープラットフォーム106はカメラ114から取り込み較正
画像204を受信するよう適応される入力モジュール202および1つ以上のプロジェクターマ
スク230に基づきカメラ114のピクセル位置とプロジェクター102のピクセル位置との間の
マッピング208を生成するよう適応される対応モジュール206を含む。プロジェクタープラ
ットフォーム106はさらにプロジェクターマスク230を生成する画像処理モジュール210を
含む。画像処理モジュール210はグレースケールモジュール212およびマスクモジュール21
6を含む。マスクモジュール216はエッジ検出モジュール218、強化モジュール220、および
再生モジュール222を含む。
【００３４】
図3.A‐3.Bはいくつかの実施形態により、プロジェクターマスクを生成し用いるための
図2におけるプロジェクタープラットフォームのプロセス300を示す。本明細書で提供され
る開示および教示に基づき関連技術の当業者であれば明らかであろうが、説明される実施
形態においてプロセスの要素は1つの配列で呈示されるものの、他の実施形態は他の配置
を特色とし得る。例えば、さまざまな実施形態において、開示されたプロセスの工程は異
なる順序で、同時に、等々、実行することができる。プロセス300の要素はマルチプロジ
ェクターシステム100における各プロジェクター102に対し繰り返すことができる。
【００３５】
図3.A‐3.Bを参照すると、プロセス300はデータ取り込みで開始する。プロジェクター1
02は1つ以上の原色光を表示面104に投影する（工程302）。明確にするため、プロジェク
ター座標空間におけるピクセル位置は本明細書において「プロジェクターピクセル位置」
または「プロジェクターピクセル」と呼ばれる。カメラ114は表示面104に投影された原色
光の各画像を取り込む（工程304）。例えば、原色は赤、緑、および青であることができ
る。
【００３６】
カメラ114に対し露出設定が設定される。各色、また表示モードさえも（例えばラスタ
ー対ベタ）、光がどのように投影され反射され、取り込まれるかに影響する。従って、シ
ステム100は取り込む画像の種類によりいくつかの異なる露出設定を用いる。例えば、3原
色は最大出力値（255）で投影される。カメラ114の露出設定はいずれのピクセルも255を
超えないという条件の下で類似した入力値で画像を取り込むよう設定され、それにより情
報が失われないことを保証する。典型的な構成において光の低下は、プロジェクター領域
の中心で255弱であるが、エッジではエッジに沿って約200またはさらに低く落ち込む。
【００３７】
カメラ114はさらに表示面104に当たる周囲光の画像を1つ以上取り込む（工程306）。周
囲の取り込みの際、面104に当たる周囲光のみが取り込まれるように、プロジェクター102
からの光はすべて遮蔽される。各原色画像に対し1つの周囲画像が、各々の原色画像の取
り込みに用いられたのと同じ露出で取り込まれる。上記例を続けると、3つの周囲画像が
、赤、緑、および青の画像の取り込みに用いられた各々の露出設定で取り込まれる。
【００３８】
取り込まれた色および周囲画像は本明細書において集合的に較正画像204と呼ばれる。
取り込まれた各較正画像204は複数のピクセル位置を含む仮想表示空間に適合する。いく
つかの実施形態において、仮想表示空間はカメラ114のフレームで定義される。すなわち
、仮想表示空間はカメラ114のフレームと同じ解像度と寸法を有する。従って、明確にす
るために、仮想表示空間におけるピクセル位置は本明細書において「カメラピクセル位置
」または「カメラピクセル」と呼ばれる。他の実施形態において、他の仮想表示空間を用
いることができる。  
【００３９】
データ取り込みの後、データはプロジェクタープラットフォーム106により処理される
。プロジェクタープラットフォーム106の入力モジュール202は取り込み画像を受信する。
プロジェクタープラットフォーム106の画像処理モジュール210は画像を処理して各プロジ
ェクターに対するプロジェクターマスク230を作成する。処理は例えばカメラ114により取
り込まれた画像の解像度とサイズで、仮想表示空間において起こる。
【００４０】
いくつかの実施形態において、較正画像204はカメラ114によりRGM形式で取り込まれる
。しかし、実施形態はRGB形式という形で説明されるが、本開示を読んだ後明らかになる
ように、代わりに他の形式を用いることもできる。体験によりRGB形式の赤チャンネルが
最も雑音が多く、続いて青チャンネル、その後に緑チャンネルとなる。従って処理は緑の
色画像、または緑および青の色画像に限定することができる。もちろん、任意の色、3色
すべて、またはそれらの任意の組み合わせを用いることができる。以下に説明する実施形
態において、緑および青の色画像のみが用いられる。
【００４１】
画像処理モジュール210はまず処理されるプロジェクター102の投影を含む矩形の境界箱
を判定する。プロジェクター102の蓄積バッファーがゼロに初期化される。グレースケー
ルモジュール212は各取り込み較正画像204の選択された色チャンネルに基づき各画像204
に対しグレースケール画像を生成する。すなわち、グレースケールモジュール212は取り
込まれた各原色の色画像に対し（工程308）および各取り込み周囲画像に対し（工程310）
グレースケール画像を生成する。いくつかの実施形態において、グレースケールモジュー
ル216は緑の取り込み色画像および対応周囲画像から緑の色チャンネルを選択し、それに
より「緑」のグレースケール画像のペアを作成する。グレースケールモジュール216はさ
らに青の取り込み色画像および対応周囲画像から青の色チャンネルを選択し、それにより
「青」のグレースケール画像のペアを作成する。いくつかの実施形態において、画像の雑
音レベルを削減するために3×3のメディアンフィルターが各グレースケール画像に適用さ
れる。
【００４２】
グレースケール画像の各ペアについて、差分モジュール214は周囲グレースケール画像
を対応する色のグレースケール画像から引き、それにより差分画像を作成する（工程312
）。各差分画像は蓄積バッファーに加えられる（314）。次に単一の閾値を戻す反復的閾
値化方法が蓄積バッファーに適用される（316）。蓄積バッファーにおける各ピクセルに
対し、値が閾値を超える場合、新しい値を1に設定する。閾値以下の値に対し新しい値は
ゼロに設定される。図4は閾値化された差分画像の例を示す。図4の下の1／3にいくらかの
雑音が見られることに留意されたい。
【００４３】
次に接続成分アルゴリズムが蓄積バッファーに適用して接続成分の最大領域を見出す（
工程318）。仮想表示空間においてプロジェクター102の投影を囲む矩形境界箱が戻される
。境界箱に小さい余白部を加えることができる。
【００４４】
プロジェクター領域において非常に明るい環境では、初期の閾値化が投影を高い照明レ
ベルの周囲の区域と差別化しないかもしれない。このような条件を考慮するために、より
正確な境界箱を得るさらなる工程が実施される。元の境界箱を用いて「緑」の差分画像、
すなわち「緑」の周囲グレースケール画像を「緑」の色のグレースケール画像から引くこ
とにより作成される画像、から画像をクロッピングする。抽出された画像に反復的な閾値
化方法が適用され、別の閾値を戻す。この値は抽出された画像における各ピクセルに適用
され、閾値を超える値は1に設定され、閾値以下の値はゼロに設定される。図5は閾値化さ
れた画像の例を示す。
【００４５】
再度接続成分を用いて図5の画像における最大領域を見出す。精緻化された矩形の境界
箱が戻される。境界箱を調べ、小さい画像内に有意差のある、より小さい領域が見出され
るか確認される。される場合、この新しい境界箱のサイズおよびフルサイズのカメラ画像
内での位置が計算される。新しい境界箱に小さな余白を加えることができる。得られた境
界箱は取り込み較正画像において仮想表示空間内でプロジェクター102の投影により占め
られる区域を特定する。
【００４６】
次にマスクモジュール216は新しい境界箱に基づきプロジェクターマスク230を生成する
。1つの方法によると、プロジェクターマスク230は図5の画像を単一の値で閾値化するこ
とにより生成できる。あいにく、単一値の閾値化のため、得られた画像は非常に粗いエッ
ジを有し、画像をプロジェクターマスク230として使用する結果に悪影響を及ぼす。これ
は、図5の画像における角の拡大図である図6に見ることができる。この方法の代わりに、
以下に説明するプロセスが用いられる。
【００４７】
説明される実施形態において、上記に生成された緑の差分画像が用いられる。もちろん
、他の色チャンネルからの差分画像を代わりに用いることもできる。緑の差分画像は境界
箱に従いクロッピングされる（工程320）。エッジ検出モジュール218はクロッピングされ
た画像における形のエッジを検出する（工程322）。具体的に、線検出アルゴリズムを用
いて左、右、上、および下のエッジを検出する。垂直のエッジを検出する場合、エッジ検
出モジュールはエッジ検出フィルターを適用してクロップされた画像の左から右に横切る
際、暗から明に移る勾配を用いて形の左エッジを選択する。同様の処理が形の他のエッジ
を検出するために適用される。最終結果は検出されたエッジを有する4つの画像である。
図7は図5における形の左エッジを含む画像を示す。
【００４８】
図8は図7のエッジの拡大図である。図8で見られるように、エッジ検出アルゴリズムに
より作成された線は正確なプロジェクターマスク230を作成するのに必要なだけ精密でな
い。線は複数のピクセルにわたり、雑音を含む。従って、強化モジュール220は検出され
たエッジを強化する（工程324）。具体的に、強化モジュール220は検出されたエッジを処
理して単一ピクセル幅のみの線を得る。線強化の一部として、線は図9に示すように画像
の端まで延長される。図10は図9の線の拡大図である。図10における線の各側にあるグレ
ーの帯は強化モジュール220により加えることができるが、必要ではない。いくつかの実
施形態による線強化プロセスを次に説明する。
【００４９】
線強化プロセスは最初に画像の中央地点を横切る線の列を特定する。中央の行にピクセ
ルが欠けている場合に備えて中央の行、中央の行−Nピクセル、および中央の行＋Nピクセ
ルの平均が取られる。このプロセスは各線を特定するLineOffsetオブジェクトのアレイを
もたらす。LineOffsetオブジェクトのデータメンバーを図11に示す。
【００５０】
次にLineOffsetオブジェクトを用いて平均線間隔および線幅を見出し、画像の中央地点
を横切らず角にのみ現れる線の処理および検出に役立てる。LineOffsetオブジェクトに記
憶される情報で、各線に対しLineTrackingDataオブジェクトが作成される。LineTracking
Dataオブジェクトは各行が処理されるにつれ線の状態に関する情報を保持するために用い
られる。LineTrackingDataオブジェクトのデータメンバーを図12に示す。
【００５１】
画像における中央の行から始まり最上の行（0オフセット）までの各行を処理する処理
ループが開始される。ラスター画像から1行のピクセルが読み取られ、LineTrackingData
アレイにおける各線が処理される。各線に対し、最大強度値オフセットのオフセットは前
に処理された線の境界内に見出される。2つの等しい強度値が見出された場合、前の行に
おける等しいオフセットに合致するオフセットが優先される。これはギザギザした線をも
たらすような各行の値をずらすことなく、一貫した線を保つのに役立つ。さらに、最大値
は強度が所定の割合内にあることを保証するために前の値と比較される。これは線のパス
が例えば画像のエッジ付近で次第に消えるのをプロセスが検出するのに役立つ。
【００５２】
一旦線の限度について最大強度ピクセルが見出されると、前のNサンプルについて平均
強度値が計算される。ここでも、雑音または歪みによる大きな変化を避けるために最大強
度ピクセルが平均の特定割合内にあるか、およびオフセットがLINE_STRAY定数の限度内に
あるかを調べるために確認が数回行なわれる。最大強度ピクセルが有効である場合、Line
TrackingDataオブジェクトは最大強度値オフセット引く平均線幅に等しい現在のオフセッ
トで更新される。これは処理される次の行における最大強度ピクセルの検索を始めるのに
用いられるオフセットである。出力画像は最大強度ピクセルについて計算された位置に25
5の単一ピクセルで書き込まれる。加えて129のピクセル値が最大強度位置のとなりの列に
書き込まれ、128の値のピクセルが右の列に書き込まれる。追加ピクセル（129および128
の値）はその後の処理において線間に小さな隙間があるかもしれないので用いられる。
最大強度オフセットまたはその値のいずれかに問題が検出された場合、線追跡失敗回数が
更新される。連続3行を超えて問題がある場合、LineTrackingDataオブジェクトはもはや
追跡をしていないとしてマークを付けられる。その後の行において線は無視され追跡され
ない。
【００５３】
画像の中央から最上部までのすべての線が処理されると、LineTrackingDataオブジェク
トは元のLineOffsetデータでリセットされる。次に画像の中央から画像の最下部までの線
を処理するために処理ループが開始される。処理ループを実施するコード例を図13に示す
。一旦画像におけるすべての線が処理されると、画像は保存される。このプロセスは右、
上、および下の線について繰り返される。
【００５４】
線強化後、再生モジュール222は強化エッジに基づき形を再生する（工程326）。すなわ
ち、再生モジュール222は形の検出されたエッジを表す強化線の間の空間を充填する。い
くつかの実施形態において、列充填プロセスを用いて左および右の垂直線間の領域を充填
する。列充填プロセスはまず左から右、次に右から左へと充填する。図14.A‐14.Bはいく
つかの実施形態による列充填プロセスを示す。次に行充填プロセスを用いて上および下の
線の間の領域を、再度上から下および下から上の2つのパスで、充填する。図15.A‐15.B
はいくつかの実施形態による行充填プロセスの例を示す。結果として1つ目は左から右の
線の間を充填した区域、2つ目は上から下の線の間を充填して区域の2つの画像が得られる
。2つの画像はAND演算を用いて組み合わされ、2つの画像における対応ピクセルが双方と
も255に等しい場合各ピクセルが255を含む新しい画像を作成する。そうでない場合、新し
い画像のピクセル値はゼロに設定される。最終結果は図16の拡大図に示されるように、き
れいなエッジを有する正確なプロジェクターマスク230である。
【００５５】
プロジェクター102に対するプロジェクターマスク230を生成した後、座標マッピング20
8を生成することができる。対応モジュール206はプロジェクターマスクおよび1つ以上の
取り込み較正画像204に基づきプロジェクターピクセルとカメラピクセルとの間の対応を
判定することにより座標マッピング208を生成する（工程328）。マッピング208は従来の
手法に従い生成することができる。例えば、プロジェクター102を用いて1つ以上の較正画
像を表示面104に投影することができる。較正画像は水平および垂直の線および縞を含む
ことができる。縞はグレーコード化されていることができる。もちろん他種の較正画像を
用いることができる。カメラ114は較正画像を取り込む。プロジェクターマスク230を用い
て取り込み較正画像204からデータを抽出する。抽出されたデータに基づきマッピング208
が生成される。
【００５６】
一旦プロジェクター102についてマッピング208が生成されると、そのマッピング208お
よびプロジェクター102を用いて仮想表示空間に適合する静止画像およびビデオフレーム
などの画像を投影することができる。もちろん、任意の画像もその画像を仮想表示空間に
マッピングすれば用いることができる。プロジェクター102はマッピング208に基づきこれ
らの画像を面104に投影する（工程330）。
【００５７】
さまざまな実施形態は電子回路、またはコンピューターハードウェア、ファームウェア
、ソフトウェア、またはこれらの組み合わせとして実施することができる。装置は機械読
み取り可能な記憶装置に有形的に具現されるコンピュータープログラムとして実施され、
プログラマブルプロセッサーにより実行されることができる。
【００５８】
また方法工程は命令のプログラムを実行するプログラマブルプロセッサーが入力データ
を操作して出力を生成することにより実施することができる。実施形態はデータ記憶シス
テムからデータおよび命令を受信し、そこへデータおよび命令を伝送するよう連結される
少なくとも1つのプログラマブルプロセッサー、少なくとも1つの入力装置、および少なく
とも1つの出力装置を含むプログラマブルシステム上で実行可能な1つ以上のコンピュータ
ープログラムにおいて有利に実施することができる。
【００５９】
各コンピュータープログラムはハイレベルの手順型言語もしくはオブジェクト指向のプ
ログラミング言語、または望ましい場合アッセンブリもしくは機械言語において実施する
ことができる。
またいずれにせよ、言語はコンパイラー型またはインタープリター型言語であることが
できる。適するプロセッサーは例として汎用および特殊用途のマイクロプロセッサー双方
を含む。一般的に、プロセッサーは命令およびデータを読み取り専用メモリーおよび／ま
たはランダムアクセスメモリーから受信する。一般的にコンピューターはデータファイル
を記憶する1つ以上の大容量記憶装置を含む。
【００６０】
このような装置は内蔵されたハードディスクやリムーバブルディスクなど磁気ディスク
、光磁気ディスク、および光ディスクを含む。コンピュータープログラム命令およびデー
タを有形的に具現するのに適した記憶装置は例としてEPROM、EEPROM、およびフラッシュ
メモリー装置などの半導体メモリー装置、内蔵されたハードディスクおよびリムーバブル
ディスクなどの磁気ディスク、光磁気ディスク、およびCD‐ROMディスクを含むあらゆる
形の不揮発性メモリーを含む。前述のいずれもASIC（特定用途向け集積回路）により補充
され、またはそれに組み込まれることができる。
【００６１】
いくつかの実施が説明された。しかし本開示の精神および範囲から逸脱することなく各
種の変更をなし得ることが理解されよう。従って、他の実施も続くクレームの範囲内にあ
る。
【符号の説明】
【００６２】
１００  システム、１０２  プロジェクター、１０４  表示面、１０６  プロジェクタ
ープラットフォーム、１０８  メディアプレイヤー、１１０  コンピューター、１１２  
ネットワーク。
【図１】
2011048364.tif 000003
【図２】
2011048364.tif 000004
【図３．Ａ】
2011048364.tif 000005
【図３．Ｂ】
2011048364.tif 000006
【図４】
2011048364.tif 000007
【図５】
2011048364.tif 000008
【図６】
2011048364.tif 000009
【図７】
2011048364.tif 000010
【図９】
2011048364.tif 000011
【図１１】
2011048364.tif 000012
【図１２】
2011048364.tif 000013
【図１３】
2011048364.tif 000014
【図１４．Ａ】
2011048364.tif 000015
【図１４．Ｂ】
2011048364.tif 000016
【図１５．Ａ】
2011048364.tif 000017
【図１５．Ｂ】
2011048364.tif 000018
【図１６】
2011048364.tif 000019
【図８】
2011048364.tif 000020
【図１０】
2011048364.tif 000021