(57)【要約】【課題】プロジェクタからスクリーンに投影される投影画像の調整を簡単かつ効率よく行えるようにする。【解決手段】投影システムにおける投影画像の調整方法において、イメージングデバイス（１０，１２，１４）を使ってスクリーンおよび投影画像を検出するステップと、前記検出結果に基づいてプロジェクタから投影された前記画像を調節するための変換を決定し、その後、前記投影スクリーン上の前記投影された画像をズーミングすること、およびセンタリングすることのうちの少なくとも一方を実行した後に、前記投影された画像のキーストーンの調節を開始するステップと、前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、前記プロジェクタから前記変更された画像を投影するステップと、を有する投影システムにおける投影画像の調整方法。【選択図】図３
2006094558.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）イメージングデバイスを使って投影スクリーンの少なくとも一部を検出するステップと、
（ｂ）前記投影スクリーンに基づき、プロジェクタから投影される画像を調節するための変換を決定するステップと、
（ｃ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｄ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項２】
前記イメージングデバイスと前記プロジェクタとを互いに固定された関係に維持することを特徴とする請求項１記載の方法。
【請求項３】
前記イメージングデバイスが前記投影スクリーンの少なくとも２つの境界を検出することを特徴とする請求項１記載の方法。
【請求項４】
前記変換が前記投影スクリーン上の前記投影画像をズーミングする及びシフトすることの少なくとも１つを含むことを特徴とする請求項１記載の方法。
【請求項５】
前記投影スクリーン上の前記投影画像をズーミングすることおよびシフトすることの少なくとも一方を実行した後で、前記投影された画像のキーストーンを調節することを含むことを特徴とする請求項４記載の方法。
【請求項６】
（ａ）イメージングデバイスを使ってある領域を検出するステップと、
（ｂ）前記領域における投影された画像をズーミングすることおよびシフトすることの少なくとも一方を含み、前記領域に基づき、プロジェクタから投影された前記画像を調節するための変換を決定し、その後、前記投影スクリーン上の前記投影された画像をズーミングすること、およびセンタリングすることのうちの少なくとも一方を実行した後に、ユーザが入力することなく前記投影された画像のキーストーンの調節を開始するステップと、
（ｃ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｄ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項７】
前記領域が投影スクリーンのうちの少なくとも一部であることを特徴とする請求項６記載の方法。
【請求項８】
（ａ）投影のための画像のイメージングを前記プロジェクタ内で少なくとも１つのイメージングデバイスに関する異なる関係に変更し、その後、ユーザが入力することなく開始するステップと、
（ｂ）イメージングデバイスを使ってキーストーンの調節を検出するステップと、
（ｃ）前記キーストーンの調節に従って前記プロジェクタから投影された画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影された前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項９】
前記少なくとも１つのイメージングデバイスがイメージングパネルを含むことを特徴とする請求項８記載の方法。
【請求項１０】
前記異なる関係の結果、前記プロジェクタからの前記画像のズームを変えることを特徴とする請求項８記載の方法。
【請求項１１】
前記異なる関係の結果、前記プロジェクタからの前記画像のシフトを変えることを特徴とする請求項８記載の方法。
【請求項１２】
前記変換が前記画像の歪み補正であることを特徴とする請求項８記載の方法。
【請求項１３】
（ａ）ズーミングすることおよびシフトすることの少なくとも一方を含むよう、前記プロジェクタから投影される画像を変更し、その後、ユーザが入力することなく開始するステップと、
（ｂ）前記画像を変更するステップ（ａ）の後で、イメージングデバイスを使ってキーストーン調節を検出するステップと、
（ｃ）前記キーストーン調節に従って、前記プロジェクタから投影された画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影された前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項１４】
前記変換が前記画像の歪み補正であることを特徴とする請求項１３記載の方法。
【請求項１５】
（ａ）前記画像の少なくとも１つのコーナに近いテストパターンを含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記投影された画像の前記テストパターンを検出するステップと、
（ｃ）前記検出に基づき、前記プロジェクタから投影された画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影された前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項１６】
前記テストパターンが前記画像の少なくとも２つのコーナの近くに位置するか、一対の長方形の領域を含むことを特徴とする請求項１５記載の方法。
【請求項１７】
（ａ）前記画像の４０％未満を含むテストパターンを含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記投影された画像の前記テストパターンを検出するステップと、
（ｃ）前記検出に基づき、前記プロジェクタから投影された画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影された前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項１８】
前記テストパターンが前記画像の少なくとも２つのコーナの近くに位置することを特徴とする請求項１７記載の方法。
【請求項１９】
（ａ）前記プロジェクタのレンズから画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記プロジェクタから投影された前記画像を検出するステップと、
（ｃ）前記プロジェクタから投影された画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影された前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備え、前記イメージングデバイスと前記プロジェクタとが互いに１２．７ｃｍ（５インチ）内にあることを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項２０】
前記イメージングデバイスと前記レンズとを互いに固定された関係に維持することを特徴とする請求項１９記載の方法。
【請求項２１】
（ａ）第１光軸に沿って前記プロジェクタのレンズから画像を投影するステップと、
（ｂ）イメージングデバイスを使って、第２光軸に沿って前記プロジェクタから投影される前記画像を検出するステップと、
（ｃ）前記プロジェクタから投影された画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影された前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備え、前記第１光軸と前記第２光軸との間の角度が１５度未満であることを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項２２】
前記イメージングデバイスと前記レンズとを互いに固定された関係に維持することを特徴とする請求項２１記載の方法。
【請求項２３】
（ａ）画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記画像を検出するステップと、
（ｃ）前記プロジェクタから前記投影された画像までの距離を検出するステップと、
（ｄ）キーストーン調節に基づき、かつ少なくとも一部を前記距離に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｅ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｆ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項２４】
（ａ）おおむねグリーン色の領域を含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記画像を検出するステップと、
（ｃ）キーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項２５】
前記おおむねグリーン色の領域が長方形のフレームであることを特徴とする請求項２４記載の方法。
【請求項２６】
前記おおむねグリーン色の領域が前記プロジェクタのイメージングパネルのサイズにほぼ等しいことを特徴とする請求項２４記載の方法。
【請求項２７】
前記画像の他の部分がおおむね黒色であることを特徴とする請求項２５記載の方法。
【請求項２８】
投影スクリーンの位置を検出するステップと、前記投影スクリーンに基づき前記画像を変更するステップとを更に備えたことを特徴とする請求項２４記載の方法。
【請求項２９】
（ａ）おおむねグリーン色の長方形の領域を含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って前記おおむねグリーン色の長方形の領域を含む前記画像を検出するステップと、
（ｃ）前記画像内の前記カラー情報を使用し、その後、前記画像の輝度情報を使うことに基づき、前記おおむねグリーン色の長方形の領域を識別するステップとを備え、前記カラー情報に基づきサーチされた前記画像の領域が、前記輝度情報に基づきサーチされた前記画像の領域よりも広くなっており、更に
（ｄ）キーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｅ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｆ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項３０】
前記識別が更にラインフィットに基づくものであることを特徴とする請求項２９記載の方法。
【請求項３１】
前記ラインフィットが孤立点を排除することを特徴とする請求項３０記載の方法。
【請求項３２】
（ａ）投影スクリーンに画像の一部を位置決めすべきことを示唆する前記画像を前記プロジェクタから投影するステップと、
（ｂ）イメージングデバイスを使って、前記プロジェクタから投影される前記画像を検出するステップと、
（ｃ）前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【請求項３３】
前記イメージングデバイスと前記プロジェクタのレンズとを互いに固定した関係に維持することを特徴とする請求項３２記載の方法。
【請求項３４】
前記画像がスマイリーフェースを含むことを特徴とする請求項３２記載の方法。
【請求項３５】
前記画像が、前記投影スクリーンに前記位置決めすべき前記画像の５０％未満を占める領域を含むことを特徴とする請求項３２記載の方法。
【請求項３６】
（ａ）テストパターンを含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記投影された画像の前記テストパターンをラインごとに検出するステップと、
（ｃ）キーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項３７】
前記イメージングデバイスと前記プロジェクタとを互いに固定した関係に維持することを特徴とする請求項３６記載の方法。
【請求項３８】
２つの異なる検出方向の画像処理に基づき、投影スクリーンのおおよそのエッジを決定することを特徴とする請求項３６記載の方法。
【請求項３９】
一対のラインの交点に基づき、前記投影スクリーンの少なくとも１つのコーナを推定することを特徴とする請求項３６記載の方法。
【請求項４０】
（ａ）テストパターンを含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記投影された画像の前記テストパターンを検出するステップと、
（ｃ）ラインごとのキーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項４１】
前記イメージングデバイスと前記プロジェクタとを互いに固定した関係に維持することを特徴とする請求項４０記載の方法。
【請求項４２】
２つの異なる検出方向の画像処理に基づき、投影スクリーンのおおよそのエッジを決定することを特徴とする請求項４０記載の方法。
【請求項４３】
一対のラインの交点に基づき、前記投影スクリーンの少なくとも１つのコーナを推定することを特徴とする請求項４２記載の方法。
【請求項４４】
（ａ）画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記投影画像を検出するステップと、
（ｃ）ユーザが選択可能なアスペクト比と共にキーストーン調節に基づき前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項４５】
前記イメージングデバイスと前記プロジェクタとを互いに固定した関係に維持することを特徴とする請求項４４記載の方法。
【請求項４６】
前記選択可能なアスペクト比を複数のアスペクト比から選択することができることを特徴とする、請求項４４記載の方法。
【請求項４７】
（ａ）画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記投影された画像を検出するステップと、
（ｃ）前記イメージングデバイスのラジアル歪を調節するための変更と共にキーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項４８】
前記イメージングデバイスと前記プロジェクタとを互いに固定した関係に維持することを特徴とする請求項４７記載の方法。
【請求項４９】
前記イメージングデバイスが広角レンズであることを特徴とする請求項４７記載の方法。
【請求項５０】
（ａ）テストパターンを含む画像を投影するステップと、
（ｂ）イメージングデバイスを使って前記投影画像の前記テストパターンを検出するステップと、
（ｃ）前記イメージングデバイスから利用できるすべての利用可能なラインよりも少ないラインを使用するキーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタからの前記変更された画像を投影するステップとを備えたことを特徴とする、プロジェクタを調節するための方法。
【請求項５１】
前記ラインごとの検出を水平方向及び／又は垂直方向に行うことを特徴とする請求項５０記載のプロジェクタ。
【請求項５２】
（ａ）画像を投影するステップと、
（ｂ）イメージングデバイスを使って、前記画像を検出するステップと、
（ｃ）キーストーン調節に基づき、前記プロジェクタから投影される前記画像のキーストーンを調節するための変換を決定するステップと、
（ｄ）前記変換に基づき、前記プロジェクタから投影される前記画像を変更するステップと、
（ｅ）前記プロジェクタから前記変更された画像を投影するステップとを備え、前記検出ステップ、前記決定ステップおよび前記変更ステップを前記プロジェクタにより実行することを特徴とする、プロジェクタにおけるキーストーンを調節するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には画像プロジェクタに関し、より詳細には、投影された画像を変更することに関する。
【背景技術】
【０００２】
ポータブルデジタル画像プロジェクタは一般的なものである。かかるデジタル画像プロジェクタはパソコンまたはその他の画像／ビデオソースに接続されたまま、ある面に置かれ、「スライド」プレゼンテーションまたはビデオプレゼンテーションを見せるために投影面に向けられる。これらプロジェクタの多くは透過または反射液晶の表示装置を使用しており、一般には１つのメインレンズしか有していない。その他のかかるプロジェクタは異なるイメージングデバイス、例えばデジタルマイクロミラーを使用するものであり、２つ以上のレンズを含むことがある。プロジェクタは同時に複数の画像を表示したり、ビデオの場合のように、あるシーケンスの画像として画像を表示できる。
【０００３】
これらデジタルプロジェクタは一般にプロジェクタの光軸が投影面に直交するよう整合した状態で、平らな面に水平にプロジェクタが置かれると、投影面に歪のない長方形の画像を投影するようになっている。しかしながら、整合および向きが変えられた場合、その結果、投影面に生じる画像が歪むことがある。多くの場合、画像は台形となり、その他のケースでは任意の形状の四辺形となる。投影された画像が長方形でない形状はキーストーン形状と称される。
【０００４】
このキーストーン歪を調節するための１つの技術は、長方形に近い画像が表示されるまでプロジェクタを動かし、傾け、回転させることによって、プロジェクタの物理的位置を手間をかけて調節することである。しかしながら、多くの場合、プロジェクタの位置を物理的に十分調節することは実現不能である。例えば、正しい画像のプレゼンテーションを行えるように、プロジェクタを表示面の上もしくは下に位置決めしなければならないことがある。
【０００５】
「オーバーヘッドプロジェクタのためのキーストーン補正および焦点補正」を発明の名称とする米国特許第５，５４８，３５７号明細書（特許文献１）は、テストスライドを表示するシステムについて述べている。ユーザはまず互いに平行に見えるラインのペアを識別し、ユーザが識別したラインのペアによって歪補正プログラムを起動する。このプログラムは、プロジェクタの水平面とスクリーン面との斜め角を使用している。この作業は、ユーザが正しく実行するには負担のかかる作業である。
【０００６】
「画像を表示するためのプロジェクタシステムにおいて非対称画像を予め補正するための方法」を発明の名称とする米国特許第５，７９５，０４６号明細書（特許文献２）は、ユーザがキーボードを介してシステムに位置情報を入力することによって投影角および台形エラーを補正するシステムについて述べている。位置情報を決定し、入力することはユーザにとって困難であり、かつ負担のかかる作業である。
【０００７】
「任意の方向によるプロジェクタのための自動キーストーン補正方法」を発明の名称とする米国特許出願公開第２００２／００２１４１８号明細書（特許文献３）は、一対の傾斜センサとカメラとを含む投影システムについて述べている。傾斜センサおよびカメラからのデータを使用するシステムは、長方形の画像を表示するように、投影された画像を変形する。しかしながら、傾斜センサは高価であり、システムは投影レンズが移動したとき、例えばプロジェクタをズーミングおよび／または合焦したときに複雑な再調整をしなければならない。このような固有の複雑さによって、この結果得られるプロジェクタのコストが高くなっている。
【特許文献１】米国特許第５，５４８，３５７号明細書
【特許文献２】米国特許第５，７９５，０４６号明細書
【特許文献３】米国特許出願公開第２００２／００２１４１８号明細書
【発明を実施するための最良の形態】
【０００８】
図１を参照すると、代表的なプロジェクタシステムは電子回路およびイメージングデバイスを収納する密閉体を含む。画像を正しく表示するためにプロジェクタを設定するには、次の多くのステップを実行する。すなわち（１）ラップトップパソコンまたはその他の画像のソースにケーブルを接続するステップと、（２）電源スイッチ（オン／オフ）を切り換えるステップと、（３）投影垂直角度を調節するステップと、（４）表示画像を合焦するステップと、（５）画像のズームを調節するステップと、（６）キーストーンを手動で調節するステップとを必要とする。このように、この方法は一般に適切な順で実行しなければならない多くのステップを含む。
【０００９】
図２を参照すると、ここに示されたプロジェクタシステムは電子回路とイメージングデバイスを収納する密閉体を含む。画像を正しく表示するために、このプロジェクタを設定するには、一般に次のステップを含む上記より少ないステップで実行する。すなわち（１）ケーブルをラップトップパソコンまたはその他の画像ソースに接続するステップと、（２）電源スイッチ（オン／オフ）を切り換えるステップと、（３）自動設定機能を選択するステップとを実行する。このように、これを行うにはかなり少ない動作だけでよく、誤った操作が起こりにくくなっている。より自動化されたプロジェクタシステムは、大きさおよび設備が異なる部屋内にプロジェクタをより自由に位置決めするフレキシビリティを享受するユーザに便利さを提供する。
【００１０】
図３を参照する。自動調節（設定不要）プロジェクタの基本構成はイメージングセンサシステム１０と、画像予備処理モジュール１２と、投影スクリーン検出モジュール１４と、焦点検出および自動焦点モジュール１６と、キーストーン検出および補正モジュール１８と、画像センタリングおよびズーミングモジュール２０と、プロジェクタ制御システム２２と、プロジェクタの光学部品および機構部品２４とを含む。
【００１１】
プロジェクタの投影プロセスは抽象化によってモデル化できる。すなわち投影プロセスはプロジェクタからプロジェクタの外部の投影面（例えばスクリーンまたは壁）へ画像を配置することでよい。この配置は、理想的な薄いレンズモデルの変換関数ｆｐによって近似できる。更に検出デバイスのイメージングプロセスも理想レンズモデルの変換関数ｔｃによって記述できる。所望すれば、その他のモデルも同じように使用できると理解すべきである。光軸に関する次の説明は理想レンズモデルに関するものであり、このモデルおよび光軸も、同じようにシステムの任意の部分の実際の光軸を基準にすることができる。多くのケースでは、プロジェクタの光軸が投影面に対して直交していないときにキーストーン歪が生じる。すなわち、プロジェクタからの代表的な長方形画像は投影面に非長方形の四辺形として投影される。ある場合において、イメージングおよび光学系は直交方向に投影された場合に、キーストーン画像を投影するかも知れないが、このキーストーン画像は非キーストーン画像に調節できる（または他の方法でキーストーン歪を減少できる）。
【００１２】
図１７を参照すると、スクリーンとカメラとプロジェクタとの間の関係を次のように表すことができる。
ＩＳＣＲＥＥＮ＝ｆｐ（ＩＰＲＯＪＥＣＴＯＲ）
ＩＣＡＭＥＲＡ＝ｔｃ（ＩＳＣＲＥＥＮ）
ＩＣＡＭＥＲＡ＝Ｑ（ＩＰＲＯＪＥＣＴＯＲ）
【００１３】
直交方向に投影する場合（キーストーン歪がない場合）、変換関数ｆｐはスケーリング変換となり得る。例えばｆｐ＝ｓＵとなる。ここで、Ｕはアイデンティティ変換関数であり、ｓはスケールファクタである。そうでない場合、画像は変換関数Ｐｐ＝（ｆｐ）−１で変更されるはずであり、この場合、「＝」は「スケールファクタまで等しいこと」を意味する。
【００１４】
イメージングセンサシステム１０は、１つ以上のイメージングセンサまたはステレオのペアを構成するイメージングセンサのペアを含むことができる。個々のイメージングセンサは一次元のセンサまたは二次元のセンサでよい。このイメージングセンサはプロジェクタの光学系、例えば投影レンズも含むことができる。一対のセンサの場合、画像が投影された面とプロジェクタの画像面との間の相対的な回転角方向の変位を画像変形の基準、例えばキーストーン補正の基準として使用できる。更にマルチセンサの場合においても、これらの間の回転角方向の変位を画像の変形、例えばキーストーン補正の基準として使用できる。所望すれば、垂直方向の傾斜センサも含めることができることに留意すべきである。
【００１５】
本発明者達は上記「任意の方向によるプロジェクタのための自動キーストーン補正方法」を発明の名称とする米国特許出願公開第２００２／００２１４１８号明細書（特許文献３）のプロジェクタシステムについて検討したところ、このプロジェクタシステムは時々キーストーンを正しく補正できないことがあると判断した。キーストーンを正しく補正できないと判断した後に、本発明者達はかかる潜在的な失敗は、少なくとも一部は、プロジェクタが十分には焦点を合わせることができない結果であるとの認識に達した。多くの場合、ユーザは問題を解消するキーストーン補正の前にプロジェクタを手動で合焦しようとする。しかしながら、別のケースではユーザはそのときのニーズのためにプロジェクタが十分に合焦したと判断し、画像のキーストーンを補正しようと試みるが、成功しないので、その結果ユーザにフラストレーションが生じる。例えば大きく焦点がずれた状態で投影されたテストパターンの結果、キーストーンパラメータの検出が不十分となり得る。図４を参照すると、このような、以前には検討されなかった問題を克服するには、システムはキーストーン補正前にオートフォーカスを行うことが好ましい。任意多数の種々のオートフォーカス機構を使用できるが、このシステムはプロジェクタが合焦状態にあるかどうかを判断するのに適切なテストパターンを使用することが好ましい（図５参照）。システムが正しく合焦していない場合（図６参照）、焦点ずれ量を決定し、レンズを合焦し、焦点ずれ量を決定し、レンズを合焦するなどの操作を繰り返し実行する。焦点ずれ量を決定するための１つの技術は、投影されたテストパターンの画像の周波数スペクトルを使用し（図７参照）、これとプロジェクタが正しく合焦状態にあったときに得られたテストパターンの画像の基準周波数スペクトルとを比較することである（図８参照）。所望すれば、その他の焦点ずれ（または焦点）検出機構、決定機構および調節機構を同じように利用できる。プロジェクタシステムのオートフォーカスを実行した後に、システムはキーストーン補正を実行する。このキーストーンの修正は所望すれば画像の一部に基づいて行うことができることも理解できよう。
【００１６】
一実施例では、自動的にオートフォーカス実行後、ユーザによって手動でキーストーン補正を実行できる。別の実施例では、自動的にオートフォーカス実行後、システムによって自動的にキーストーン補正を実行できる。更に別の実施例では、自動的にオートフォーカス実行後、一部を手動で、一部を自動的にキーストーン補正を実行できる。キーストーン補正を有効にしまたはその他の方法で実行するには、システムによりオートフォーカス機能を呼び出さなければならない。キーストーン補正に適用されるオートフォーカス機能を有効にするにはその他にプロジェクタの現在のオートフォーカス機能をユーザが別個に選択しなくてもよいようにしなければならない。このように、システムのフォーカス動作はキーストーン補正を完了する前に行われる。
【００１７】
本発明者たちは更に、上記のＲ．サクタンカ他著、「よりスマートなプレゼンテーション：カメラ−プロジェクタシステムにおけるホモグラフィの利用」（２００１年ＩＥＥＥ  ＩＣＣＶ会議）に記載されているプロジェクタシステムを検討したが、キーストーンのパラメータを推定するのに単一のカメラを使用できるが、キーストーン補正後の投影される画像が正しいアスペクト比を維持することの保証はないと判断した。特にシステムはＣを計算しなければならない。この計算は画像領域内の４つのスクリーンのコーナを検出し、４つの物理的スクリーンのコーナを検出し、次にＣを解くことにより実行される。物理的スクリーンがスクリーンと同じアスペクト比を有していなければ、システムは正しいアスペクト比を得ることはできない。かかる問題を克服するために、本発明者たちはユーザとプロジェクタシステムとの間で相互対話することでかかるアスペクト比の問題を解決できると判断した。
【００１８】
図９を参照する。投影スクリーンのコーナ、例えば上部左側コーナ、上部右側コーナ、下部左側コーナおよび下部右側コーナを識別できる。４つのすべてのコーナが識別された状態、または少なくとも一対の対角にあるコーナが識別された状態で投影スクリーンのアスペクト比を決定できる。これとは異なり、システムは投影スクリーンのエッジを検出し、これから投影スクリーンの全体の境界を判断できる。いずれのケースにおいても、画像を表示するのに適した領域を表示する投影スクリーンの１つ以上のアスペクトの識別、さもなければ投影スクリーンの外部境界、を境界と称す。多くのケースでは、投影スクリーンのアスペクト比は投影される画像の所望するアスペクト比に類似する。一部のケースでは投影スクリーンの上部コーナまたは下部コーナしか検出されず、この場合、投影スクリーンの幅をスクリーンの代表的なアスペクト比、例えば４：３のアスペクト比を予測するための基準として使用できる。同様に、投影スクリーンの垂直エッジを使用することもできる。一部のケースでは投影スクリーンの右コーナまたは左コーナしか検出しない。この場合、投影スクリーンの高さをスクリーンの代表的なアスペクト比、例えば４：３のアスペクト比を予測するための基準として使用できる。同様に、投影スクリーンの水平エッジを使用することもできる。
【００１９】
投影された画像、例えばテストパターンをカメラで検出し、投影スクリーンのサイズと比較する。最も好ましくは、投影されたテストパターンの特徴を定めるのに、投影された四辺形の領域の２つ、３つまたは４つのコーナを使用できる。これは投影されたテストパターンの４つのコーナと、検出された投影スクリーンの４つのコーナ（またはその他）と比較することによって行うことができる。次に、投影スクリーンに従って投影された画像のエッジをシフトするように、投影された画像の調節を行うことができる。投影された画像の所望するサイズ（水平および／または垂直）および／またはアスペクト比が得られるまで、カメラによる投影された画像の検出、および投影された画像のサイズを再び調節することを繰り返すことができる。例えばスクリーンの左側に投影がされた場合、スクリーン検出モジュールはかかるアライメントを検出し、プロジェクタを右側に向けてシフトさせるよう、一組の制御パラメータを出力できる。画像および投影スクリーンのエッジも同じように使用できる。一実施例では、制御パラメータを投影スクリーン全体の中心と投影された画像全体の中心との間の距離とすることができる。システムは投影された画像と投影スクリーンのサイズとの適切な関係を利用できる。例えば画像を投影スクリーンの中心に位置させ、投影スクリーンの約９０％にフィットするようなサイズとすることができる。例えば、投影画像が検出されたスクリーンよりも大きければ、プロジェクタをズームインできる。また投影画像が検出されたスクリーンよりも小さければ、プロジェクタをズームアウトできる。このように、システムは自動ズームおよび／または自動センタリング機能を実行し、画像を整合できる。更に、キーストーンのための調節を行う前に自動ズームおよび／または自動センタリング機能を実行する場合、プロジェクタはプロジェクタのイメージングパネルをより効率的に使用でき、よって（例えばデジタル的な）歪み補正を実行すると、より良好な画質が得られる。これと対照的に、プロジェクタのイメージングパネルの画像のより小さい領域でキーストーン補正を実行する場合、画質が大きく低下することがある。
【００２０】
図２１を参照する。別の適切なテストパターンは、システムがブロック検出をするために、プロジェクタの４つのコーナに４つのブロックを含む。一部のケースでは図２２に示されるように、周辺光のためにブロックが極めて暗くなったり、または黒色のスクリーンの境界にブロックが位置することもあり得る。従って、かかるパターンを信頼性高く検出することは困難である。これら問題を解消するために、処理技術はサーチ領域を限定し、小さいテスト領域を利用することを含まなければならない。テスト領域の各々は画像の総面積の１０％未満を含むことが好ましく、更には画像の総面積の５％未満を含むことがより好ましい。更に、テスト領域の総面積は画像の総面積の４０％または３０％未満を含むことが好ましく、更に画像の総面積の２０％または１０％未満を含むことがより好ましい。
【００２１】
プロジェクタの領域と、スクリーンと、カメラとの関係は、上記変換式によって決められる。カメラとレンズの固定された関係に起因し、投影角によりプロジェクタとスクリーン間の距離を仮定した場合、プロジェクタ領域内のあるポイントのカメラ画像はプロジェクタレンズが（レンズのシフトが生じないことを条件に）一端部から別の端部へズームされる固定軌跡に従う。図２３にはこの効果が示されている。プロジェクタとスクリーン間の距離および／または投影角が変化するときに軌跡が変化し得る。かかる距離および角度の変化を少なくするために、カメラの光軸はプロジェクタの光軸と密に整合させ、一方が他方に近似するようにすることができる。距離は１２．７ｃｍ（５インチ）未満とすることが望ましく、７．６２ｃｍ（３インチ）未満とすることが更に好ましい。適切な角度は好ましくは１５度未満であり、より好ましくは１０度未満であり、より好ましくは５度未満である。この結果、変換式Ｑはスケールファクタに近似する。従って、ズーミングによる１つのポイントの軌跡の変化は、ほとんどのアプリケーションに対して比較的小さい。更に、かかる制限された変化では、投影されたテストパターンに対する必要なサーチ領域が狭くなる。
【００２２】
プロジェクタがレンズをシフトできる場合、このレンズシフト能力をシステムに組み込むことができる。レンズシフトはサーチ領域を大幅に狭めることであるので、レンズのシフトは通常、かなり制限されていることに留意すべきである。また、距離センサ、例えば赤外線光を使って距離を決定できる。測定された距離はキーストーン補正動作で使用できる。
【００２３】
図２２に示されるように、投影されたテストパターンを検出することが困難な理由の１つは、パターンが白色スクリーンの領域の外側になることである。ほとんどのケースでは、画像を白色スクリーン領域内に投影させることが望ましい。スクリーン検出モジュールを用いることにより、システムはスクリーンの境界がどこに位置するかを知り、よってテストパターンをスクリーンの境界内に投影するようにプロジェクタを制御できる。
【００２４】
スクリーンの境界の外部に位置し得るパターンを探さなくてもよいようにするために、システムは、プロジェクタの領域内の中心に位置し、よってスクリーン上に位置しやすいパターンを含むことが好ましい。このパターンは、例えばプロジェクタ領域内の画像のエッジから少なくとも２０％の距離（例えば、対応する方向の幅に対する各エッジから２０％の距離）に位置することができる。システムは検出されたテストパターンの小さい画像を用いることにより、投影された画像のエッジの位置を計算でき、よって図２３に示されるように画像をスケーリングし、シフトし、ズーミングし、キーストーンを適切に除去することができる。
【００２５】
投影を検出するための別の技術例はテストパターンとして色のついた長方形フレーム、例えばグリーン色の長方形フレームを使用することである。この色のついた長方形フレームはプロジェクタのイメージングパネルのサイズとほぼ同じにしなければならないので、外側のコーナは実質的にプロジェクタのイメージングパネルのコーナポイントにほぼ一致する。このことは図２８に示されており、この図では外側の長方形はテストパターンの残りの部分が外にある状態でテストパターンとしてグリーン色となっている。おおむねグリーン色のカラーを使用することにより少なくとも２つの利点が得られる。ｉ）ほとんどのオフィス環境ではバックグラウンド（一般には壁の一部）はグリーン色の材料を含むことはほとんどないので、ほとんどの状況でグリーン色のパターンを容易に検出できる。ｉｉ）グリーン色は例えば青色と比較した場合、投影画像の輝度に最も寄与するので、グリーン色のパターンの視覚性は、特にあまり暗くない周辺光の面で他の単一カラーのパターンよりも良好である。次にシステムは図２９に示されるように、取り込まれた画像内のグリーン色のフレームを実際に検出しなければならない。
【００２６】
グリーン色のフレームはスクリーンの黒色フレームに類似するので、投影されたグリーン色のフレームはスクリーンの境界を区別することを妨害する傾向があると判断されてきた。スクリーンの境界とグリーン色とを区別できない問題を克服するために、システムはカメラとプロジェクタの関係が固定された状態ではグリーン色のパターンの４つの辺は、測定できる固定されたある範囲内に位置するという事実（図２４に示されるような同一の一般的概念）を利用する変形検出技術を含むことができる。従って、検出ステップを変更でき、次のような概略となる。一例として、一次元技術を挙げると、グリーン色のフレームの４つの辺の各々に対し、ある検索範囲を決定する。各検索範囲内で、一次元アルゴリズムを適用するが、次のような追加的特徴がある。すなわち（パターンはグリーン色であるので）カラー情報を使用してまず最初に境界ポイントの検出を行い、輝度情報を使って局部的に精度を高める。スクリーン検出の場合のように、一次元検出ステップの後で、システムは個々のポイントを統合するためにラインフィット法を使用できる。この段階でより確実なラインフィット技術を提供するために、プロジェクタの光軸の近くにカメラが位置していると、投影されたグリーン色のフレームはカメラの領域においてほぼ長方形のように見える。特に理論的には、カメラの光軸とプロジェクタの有効な光軸とが一致する場合、カメラは常に歪のないグリーン色のフレームが見えるはずである。所望すれば、このことと孤立点の除去とを組み合わせることにより、システムは一次元ステップから、ありそうもない候補を除去することができる。
【００２７】
上記のような手法は、プロジェクタのフル解像度のグリーン色のテストパターンを使用している。上記のように、小さいパターンを使用することは有利である。別の検出技術例は、テストパターンとして小さいフレームパターン（例えば図２４に示された中実の長方形）を使用する。投影の検出はスクリーンを検出した後に実行されるので、システムはスクリーン内のみにパターンを投影しなければならない。これとは異なり、システムは小さいパターンを投影し、パターンがスクリーン内に収まるようにプロジェクタを設定することをユーザに求めてもよい（この場合、この方法は本明細書に説明した「スマイリーフェース」アプローチに類似している）。いずれのケースにせよ、システムは投影されたパターンが常にスクリーン内に収まっていると適正に見なすことができる。このような制限により、システムはテストパターンを無色のものに簡略化できる。その理由は、システムはパターンがスクリーン（一般に白色で均一である）内に収まることを知っており、システムはバックグラウンドに起因する混同について心配する必要はないからである。従って、この技術例は次の３つの主なステップを含むことができる。１）スクリーンの検出結果に基づき、内部で投影検出を行うべき四辺形を判断し、２）前のステップで計算された四辺形内で投影されたパターンを検出するための技術を使用し、３）実際に検出された小さいパターンから仮想的なフル解像度の投影を判断するための技術を使用する。例えば、投影スクリーンに位置決めすべき画像は画像のうちの５０％未満を占めなければならず、好ましくは画像のうちの３０％未満、より好ましくは画像のうちの２０％未満を占めなければならない。
【００２８】
別の技術例は次のようになり得る。
ステップ１．  プロジェクタのイメージングパネルの領域において、小さい長方形のパターンをＩＳ―ｐｊで表示し、最大の長方形をＩｂ―ｐｊで表示する。ここで、Ｔ０（ＩＳ―ｐｊ）＝Ｉｂ―ｐｊであり、Ｔ０は選択された変換関数（例えば２のファクタによる純粋なスケール変換関数）である。実際には検出されたスクリーンのサイズおよび位置によってＴ０を決定できるので、ＩＳ―ｐｊを検出されたスクリーン内に良好に維持できる。
ステップ２．  カメラ領域においてＩｓ―ｐｊのうちの画像Ｉｓ―ｃｍを検出する。
ステップ３．  ＩＳ−ｐｊと同じアスペクト比の小さい長方形Ｑｓを構成する。
ステップ４．  Ｉｓ―ｃｍ＝Ｔ１（Ｑｓ）となるように、Ｉｓ―ｃｍとＱｓとの間の変換関数Ｔ１を計算する。
ステップ５．  Ｑｂ＝Ｔ０（Ｑｓ）となるように、大きい長方形Ｑｂを構成する。
ステップ６．  Ｉｂ―ｃｍ＝Ｔ１（Ｑｂ）となるように、Ｉｂ―ｐｊのうちの仮想画像Ｉｂ―ｃｍを計算する。
【００２９】
図１０を参照すると、投影スクリーンを検出するための１つの技術は、一次元のイメージングセンサを使用することである。代表的な安価なセンサはノイズレベルの大きいデータを取り込むので、ノイズを除去するための入力データラインにメディアンフィルタ８０をかける。メディアンフィルタには不連続性を保存する性質があるので、メディアンフィルタが好ましい。フィルタにかけられたデータを次に勾配計算モジュール８２へ送る。図１１に示されるように、シャドー／シェードに起因し、輝度には変動があり得るので、スクリーンを識別するのに絶対的な輝度レベルは最も信頼できる基準ではないことが理解できよう。従って、勾配領域において検出を実行することが好ましい。勾配が発見された後でゼロクロス／ピーク発見モジュール８４が勾配配列内のゼロクロス点およびピークを探す。これらゼロクロス点／ピークをスクリーンの境界であると仮定できる。一般にゼロクロス点／ピークは複数あり、これらのすべてが有効なスクリーンの境界に対応するとは言えないので、候補ペア一致モジュール８６は２つのゼロクロス点／ピークを一致させ、スクリーンの一見信頼できる候補であるペアを構成する。一致の判断はスクリーンの幅、スクリーンの平均輝度などの複数の基準に基づくことができる。このモジュールは複数のかかるペアを得る。使用される基準の各タイプの重要性を示す経験的な確率に基づき、最も信頼できるペアを選択するのに統計学的推定モジュール８８は推定アルゴリズムを使用する。この技術は両方向（例えば、必ずしも直行しない２つの異なる方向）に適用され得る。
【００３０】
上記アプローチの基本原理を入力配列が二次元となっている二次元センサケースまで拡張できる。実際に、検出された二次元配列を行ごとに処理し、次に列ごとに処理するのに、上記一次元アプローチを使用することもできる。しかしながら、１つの方法は、水平方向の一次元スクリーン境界のすべてが垂直方向の２つのラインを構成するように追加的二次元制約を利用することもできる。これとは異なり、二次元データを用いてエッジ検出でスタートし、ライン検出を実行し、次に相対的に均一なカラー（白色）および一般にバックグラウンドよりも相対的に輝度が高い領域を囲む四辺形を抽出する。投影スクリーンは１つ以上のカメラにより識別できることが理解できよう。
【００３１】
スクリーンを検出するための１つの技術は、センサからの入力画像の選択された行および／または列をラインごとに処理することに基づく。このセンサは画像全体を１つのフレームとして取り込んでもよいし、またはラインごと（行および／または列ごと）に画像を検出してもよい。データをラインごとに処理する方法を使用することにより、投影システムの計算条件を緩和できる。図１８を参照すると、このシステムは選択された行および選択された列の一組を処理できる。潜在的に利用できるデータのサブセットのみを利用することにより計算条件を緩和できる。選択された行および／または列の各々は投影スクリーンの近似エッジを探すのに適切なスクリーン検出技術を使用できる。２つの異なる検出方向の１組を用い、各方向からのデータを１つのラインに積分または他の方法で総和し、図１９に示されるように、ラインの交点を決定することによって投影スクリーンのおおまかなコーナを推定できる。ラインごとの処理技術はフレーム全体の画像を記憶しなくてもよいことにより（すなわちフレーム全体の画像のうちの２分の１未満だけを記憶することにより）、メモリが少なくてすみ、コーナを決定するのにラインフィットを使用することは、二次元技術を使用して直接コーナを検出することよりもより確実になる傾向があることが理解できよう。
【００３２】
別の技術は二次元データ設定を使用し、エッジ検出を実行し、次にエッジに基づき、ラインを選択されたエッジにフィットすることにより実行される。これらラインは投影スクリーンのコーナを識別するのに使用でき、更にこれらラインは、比較的暗いバックグラウンドでの比較的均一なカラー（例えば白色）の領域を囲む四辺形領域を識別するための基準として使用することもできる。
【００３３】
再び図１９を参照する。検出されたエンドポイントにラインをフィットすることができる。処理ステップとして、システムは外れた、または他のすべてのセグメントと交差しないラインセグメントからエンドポイントを廃棄できる。外れたセグメントは、一般にバックグラウンド内の均一で明るい領域に起因したエラーである。図２０を参照すると、フィットのために適切な任意の技術、例えば最小二乗誤差を使用できる。更に所望すれば、フィットにおいて孤立点を廃棄してもよい。例えば図２０では、第４のポイントを孤立点と見なし、排除してもよい。更に、孤立点を除くために追加制限を構成するのにスクリーン境界を使用してもよい。
【００３４】
投影スクリーンを検出した後に、所望すればユーザが更にアスペクト比および／またはキーストーンを調節できるように相互対話（インタラクティブな）技術を使用してもよい。自動調節を無効にし、自動調整可能な動作範囲を越えたとき（例えば極めて暗い部屋など）にも正しい動作を提供するように、これら技術を同じように使用してもよい。かかる技術は、使用を容易にするためにユーザの最小の相互対話を必要とする。プロジェクタのリモコンと統合されているか、またはプロジェクタと別個となっているレーザポインタ（またはその他のポインティングデバイス）を介し、またはプロジェクタの適切な機能を選択することにより、ユーザが相互対話する「キーストーン調節パターン」を投影する。ユーザはユーザの動作に応答するキーストーン補正パターンのダイナミックに変化する形状を観察することにより、視覚的なフィードバックを元に相互対話調節をスタートし、これをストップする。更にプロジェクタスクリーンの検出後、所望すればシステムはオートフォーカス、オートセンタリング（位置決め）、オートズーミングおよびオートキーストーン補正を行うことができるが、これら操作のすべてをユーザが更にプロジェクタと相互対話しないで行うことができる。またプロジェクタスクリーンの検出後、システムはオートセンタリング（位置決め）および／またはオートズーミングも実行できる。
【００３５】
図１２を参照する。好ましい実施例では、相互対話調節をするのに長方形パターンを使用できる。キーストーンが存在するときにパターンは歪んだ長方形１００として現れ、キーストーンが補正されたときに完全に（または実質的に）長方形となる。長方形のコーナの各１つにおいてパターンは北、南、西および東方向をポイントする４つの矢印のマークを有する。１つの可能な実現例では、ユーザはまず最初にオンスクリーンメニュー内の対応するオプションを選択することにより、キーストーン調節モードに入り、次にレーザポインタを使ってキーストーンを調節する。レーザ光が矢印に入射すると、その方向に向かって投影が調節される。カメラはレーザの位置を検出し、補正機構を呼び出す。この補正機構はプロジェクタイメージングシステムのデジタル画像予備処理および／または光学的／機械的制御の形態でよい。レーザポインタはプロジェクタのリモコン内に組み込んでもよいし、別個でもよい。
【００３６】
好ましい実現例では、ユーザはプロジェクタのリモコンユニットを使用して、特に代表的なリモコン上の４つの方向（Ｎ、Ｓ、ＷおよびＥを指し示す）ナビゲーション矢印を使って、例えば円形の方向パッド上の矢印を使って、矢印方向の作業をする。図１３には、４つの異なる方向に押すことができる円形パッド上に設けられた４つの矢印のかかる組み合わせが示されている。
【００３７】
この実現例では、ユーザはまずオンスクリーンディスプレイメニュー上の対応するオプションを選択することにより、キーストーン調節モードに入る。次にキーストーン調節パターンが投影される。調節前に、ユーザはまず調節する４つのコーナのうちの１つを選択する。この選択を行う方法は多数存在する。例えば、ユーザはリモコン上のボタンまたはオンスクリーンディスプレイ上のソフトボタン（以下、ＳＥＬＥＣＴボタンと称す）を押すか／クリックすることによって選択を行う。ユーザがＳＥＬＥＣＴボタンを押すと、特定の１つのコーナ上に４つの矢印のマークが現れ、調節のためにこのコーナが選択された旨の表示が行われる。次にユーザはリモコンユニット（図１３）の方向パッド上の４つの対応する方向矢印を押すことにより４つの方向のうちの１つを選択する。調節が完了した後にユーザがＳＥＬＥＣＴボタンを押すか／クリックすると、次のコーナが選択される。このことは、次に選択されたコーナに４つの矢印のマークが現れることによってユーザに表示される。ＳＥＬＥＣＴボタンを繰り返し押すことにより、ユーザは時計回り方向に１つのコーナから次のコーナに移ることができる。１つのコーナが選択されると、ユーザに対して視覚的な確認をするために、そのコーナに４つの矢印のマークが現れる。残りの３つのコーナには４つの矢印のマークはない。
【００３８】
相互対話によるアスペクト比調節をするために、上記と同じやり方を使用できる。調節パターンの適切な部分に設けられた２つの矢印（上下または左右の矢印）を使って、アスペクト比の補正に合わせて相互対話しながら調節するために画像を伸ばしたり縮めたりする。
【００３９】
多くの場合、投影スクリーンがないか、または画像を表示するのに使用される、認識できる境界を有する壁がない。この場合、有効なキーストーン補正をするのに単一のイメージングデバイスを使用することは問題がある。従って、システムは２つ以上のイメージングデバイス、例えば２つ以上のカメラまたはプロジェクタの光学システムと組み合わせた１つ以上のカメラを使用できる。一般に、検出される投影されたテストパターンを使って相対的な水平偏差角および垂直偏差角を推定するのに、光学検出デバイスのペアを使用でき、これら偏差角からキーストーン補正パラメータを推定できる。例えば、テストパターンとして格子縞パターンを使用できる。
【００４０】
相対的投影面の方向を推定するのに、投影面までの深度が有効である。計算された投影面上の１つ以上のポイントまでの深度によりｆｐを計算できる。相対角度は、プロジェクタに対するテストパターンの深度から計算できる。プロジェクタの光学系と結合された単一センサを使用することは許容できるが、プロジェクタから表示面までの距離の正確な推定値を得ることは困難である。プロジェクタから表示面までの距離のより正確な推定値を得るには、プロジェクタの光学系とは別個の深度検出デバイス（例えば、ステレオカメラ）を使用できる。出費を少なくするために、所望すれば、深度検出デバイスは（図１４に示されるような）一対の一次元イメージングセンサとすることができる。図１４に示されるように、水平角度の偏差を検出するのに１つのセンサを使用し、垂直角度偏差を測定するのに別のセンサを使用してもよい。同様に、投影スクリーン検出モジュールの精度を高めるのに深度推定値を使用できる。更にシステムは深度の推定値をより確実なものとするために、通常のケースである、同じ平面にある投影スクリーンの検出されたコーナに制限を加えることができる。
【００４１】
別の実施例では、イメージングするには１つ以上のイメージングデバイスと共にプロジェクタの光学系（例えばプロジェクタのレンズ）を使用できる。センサは単一の二次元カメラであることが好ましい。イメージングデバイスはプロジェクタに対して固定位置に維持でき、プロジェクタと一体的であることが好ましい。しかしながら、使用中にある態様でプロジェクタの光学系を調節する場合、ズーミングおよび／または合焦および／またはレンズのシフトを補正するために新しい組のパラメータに対してシステムを再調整する必要があることが判った。このような制限を克服するために、本発明者たちは、システムはレンズがズーミング中および／または合焦中および／またはレンズのシフト中に移動する際にレンズの制御パラメータからプロジェクタの光学系の新しいパラメータを計算できるように、システムはプロジェクタの光学系を予備調整できると判断した。この予備調整をするにはオンラインの再調整を自動的に行うことができるよう、１つ以上のレンズ制御パラメータに応じて光学パラメータの変化を具現化することを含む。この調整は予備調整またはルックアップテーブルからの計算を含むことができる。
【００４２】
システムはｆｐを計算する際の基準として既知のランドマークと共に、単一次元または多次元の１つ以上のイメージングデバイスを使用できる。次にテストパターンを検出した後にプロジェクタのパネルとカメラの画像との間の変換関数Ｑを計算する。更にシステムは投影面とカメラ画像との間の変換式ｔｃを計算することができ、式Ｑ＝ｔｃｆｐを使用することによりｆｐを解くことができる。
【００４３】
ランドマークの検出を使用するための好ましいシステムは、プロジェクタと一体化され、投影レンズに対して固定された近い関係に維持された単一カメラである。ランドマークは任意の物品、例えば投影スクリーンとすることができる。更に、システムは未知のアスペクト比まで補正することもできる。システムは所望する場合、適切なアスペクト比とするために相互対話技術を使用できる。これとは異なり、プロジェクタはユーザが選択するためのプロジェクタに一般的なアスペクト比のリストを含んでもよい。更に自動調整中、そのつどユーザがアスペクト比を選択することをシステムが求めないように、使用できるデフォルトのアスペクト比をユーザが選択するようにしてもよい。
【００４４】
図１５を参照する。キーストーン補正をした後に投影画像は長方形となり得るが、頂部エッジおよび底部エッジを水平にし、かつ右エッジおよび左エッジを垂直にしたいユーザに対して投影画像が必ずしも正しく向くわけではない。一部の実施例では、プロジェクタが図１６に示されるように実際の世界に対して整合されるよう、プロジェクタの回転した投影に対して正しくなるための基準として、検出された投影スクリーンもしくはその一部を使用できる。
【００４５】
一部の場合、プロジェクタ自ら自由に移動できない場合があるので、ユーザは大まかにスクリーンに向けてプロジェクタを位置決めしなければならない。ユーザがプロジェクタをスクリーンから過度に外れるように向けた場合、カメラはスクリーンの重要な部分を見ることはできないので、自動設定を初期化できない。更に、プロジェクタは自由に移動できないので、かかる状況でスクリーンが検出された場合でも、スクリーンに投影を維持するためにプロジェクタの利用可能な解像度が大幅に低下する。図２５にはかかる極端な位置決めの一例が示されている。
【００４６】
ユーザが自動設定モードまたは手動設定モードのためにプロジェクタの適切な作動範囲に向けてプロジェクタを位置決めし、および／または整合するのをアシストするために、ある画像を投影できる。この投影される画像は、例えばプロジェクタを移動することにより、スクリーン上の画像を位置決めすることが好ましいことをユーザに表示しなければならない。図２６を参照すると、ユーザがプロジェクタをオンにすると、ユーザは設定をアシストするためのモードを選択する。そうでない場合、自動設定モードは調節を正しく行うことはできず、システムはスマイリーフェースを投影すると共に、スクリーン上にスマイリーフェースをユーザが位置決めすることを示唆するメッセージも投影する。カメラとプロジェクタとは互いに固定された関係にあるので、システムはカメラ領域におけるスマイリーフェースの大まかな位置を予め計算できる。したがって、システムはユーザによりスクリーン上に位置することを保証されるカメラ領域内の初期位置を推定できる。この推定に基づき、所望するようにセットアップ技術の残りの部分を適用できる。その他のグラフィックおよび／または他のテキストメッセージも同様に使用できると理解すべきである。多くのケースでは、投影画像が投影スクリーン上に位置するように投影を変更することが好ましい旨をユーザに表示する画像またはテキストを提示しなければならない。
【００４７】
「スマイリーフェース」技術により、システムの２つの主な工程（スクリーン検出および投影画像検出）で良好な初期スタートポイントを得る可能性が高くなる。例えば、スマイリーフェースがスクリーン上にあることをシステムが検討し、スマイリーフェースが投影画像の中心領域にあるようなテストパターンを含む場合、システムはカメラ画像の中心がスクリーン上にあると見なすことができる。換言すれば、システムはスマイリーフェースが占める領域がスクリーン上にあると見なし、（除くことができる）スマイリーフェースが占める領域の上に重なるか、またはその近くにある投影パターンも同じようにスクリーン上にあると見なすことができる。スマイリーフェースを除いた後、またはスマイリーフェースが表示され続けている間、本明細書に記載した自動セットアップの特徴事項を実行するようにテストパターンを投影してもよい。
【００４８】
ユーザはスクリーンに対して、任意の回転角方向位置および距離にプロジェクタを置くことができる。従って、カメラはスクリーンを見ることができ、中心から大きくずれた位置決め角度でも検出を行うように、プロジェクタの光学系が投影する面積よりも広い面積を映す事ができることが望ましい。従って、ワイド視野角を有するカメラが望まれる。しかしながら、一部の広角カメラ、特に低コストの広角カメラはレンズの歪がひどいことがよくある。ラジアル歪が１つのタイプの大きなレンズの歪であり、この歪はレンズの中心から周辺の縁までレンズの倍率が均一とならない効果を意味する。画像の領域では、物理的ラインが直線状となっていても、このことはカーブしたラインを生じさせる。図２７はラジアル歪の一例を示す。
【００４９】
かかるラジアル歪および広角レンズから生じる他の潜在的な歪を除くために、カメラのレンズの撮像特性を設定し、ある態様でモデル化する。次に投影システムにおいて、カメラ領域内の座標を使用するときに、まずこの座標をレンズ歪補正モデルに通過させ、この結果得られる値を種々の計算モジュールで使用する。
【００５０】
投影システムは、本明細書に説明したスクリーン検出技術によりプロジェクタまたはプロジェクタのレンズを移動させることにより、投影画像を自動的にセンタリングすることができる。例えば投影画像がスクリーンの左側にある場合、スクリーン検出アルゴリズムがこれを検出し、プロジェクタ／レンズを右側に向けてシフトさせる一組の制御パラメータを出力し、同様なことを繰り返す。一実施例では、スクリーン全体の中心と投影された長方形全体の中心との間の距離から制御パラメータを計算する。
【００５１】
自動ズーミングを達成するのに同じ原理を使用できる。投影画像が検出されたスクリーンよりも大きい場合、プロジェクタはズームインする（投影画像をより小さくする）。投影画像がスクリーンよりも小さければ、プロジェクタはズームアウトする（投影画像をより大きくする）。
【００５２】
キーストーンを低減するために立体視技術を使用する場合、投影画像が長方形となっても、補正された投影画像が垂直方向に整合するという絶対的な保証はない。この状況では、キーストーン補正にスクリーン検出は不要であるが、投影画像が図１５および図１６に示されるように垂直方向に整合するようにプロジェクタの回転した投影を調節するために、スクリーン検出モジュールおよび検出されたスクリーンを使用できる。
【００５３】
プロジェクタのセットアップの一部の動作の間では、ユーザは別個に追加機能を開始しなくてもよいことが理解できよう。このように、ユーザは２つ以上の動作を行う単一機能を開始できる。更にユーザは異なる機能、例えばオートズームボタンを押し、次にキーストーンボタンを押すことを別々に行わなくてもよい。変換は単一動作でもよいし、一連の動作および／または計算の結果でもよいことも理解できよう。別個のパソコンを使用するのと異なり、キーストーンの処理のすべてをプロジェクタ自身の内部で実行すると、これによって処理がスピードアップし、ユーザに対する接続性の問題を簡略化できることも理解できよう。更に、所望すれば、１つ以上の他の機能を同じようにプロジェクタ内に実装できる。
【００５４】
本明細書で引用したすべての参考文献を本明細書で援用する。
【００５５】
これまでの明細書で説明で用いた用語および表現は、本明細書では発明を限定するためではなく、発明を説明する用語として用いたものであり、かかる用語および表現の使用にあたっては、本明細書に示し、説明した事項またはその一部の均等物を排除する意図はなく、発明の範囲は特許請求の範囲のみによって限定されるものであることが認識できよう。
【図面の簡単な説明】
【００５６】
【図１】現在の投影システムを示す図である。
【図２】変形された投影システムを示す図である。
【図３】自動調節投影システムを示す図である。
【図４】オートフォーカスによるキーストーン補正を示す図である。
【図５】合焦した画像を示す図である。
【図６】焦点からずれた画像を示す図である。
【図７】図６のスペクトルを示す図である。
【図８】図５のスペクトルを示す図である。
【図９】スクリーンサイズに従った画像調節を示す図である。
【図１０】画像フィルタリングを示す図である。
【図１１】取り込まれた画像を示す図である。
【図１２】相互対話式（インタラクティブな）キーストーン調節を示す図である。
【図１３】キーパッドを示す図である。
【図１４】第２のイメージングソースの使用を示す図である。
【図１５】回転した投影を示す図である。
【図１６】補正された回転した投影を示す図である。
【図１７】投影システムの部品の間の関係を示す図である。
【図１８】一次元検出を示す図である。
【図１９】一次元検出の結果からの二次元のラインフィットを示す図である。
【図２０】ラインのフィットを示す図である。
【図２１】テストパターンのテストブロックを示す図である。
【図２２】テストパターンのフェードしたテストブロックを示す図である。
【図２３】固定された関係から生じた軌跡を示す図である。
【図２４】プロジェクタのイメージングパネルおよびカメラの画像を示す図である。
【図２５】プロジェクタの極端な不整合を示す図である。
【図２６】「スマイリーフェース」技術を示す図である。
【図２７】広角レンズの歪を示す図である。
【図２８】グリーン色のフレームを示す図である。
【図２９】取り込まれた画像内のグリーンフレームを示す図である。
【図１】
2006094558.tif 000003
【図２】
2006094558.tif 000004
【図３】
2006094558.tif 000005
【図４】
2006094558.tif 000006
【図５】
2006094558.tif 000007
【図６】
2006094558.tif 000008
【図７】
2006094558.tif 000009
【図８】
2006094558.tif 000010
【図９】
2006094558.tif 000011
【図１０】
2006094558.tif 000012
【図１１】
2006094558.tif 000013
【図１２】
2006094558.tif 000014
【図１３】
2006094558.tif 000015
【図１４】
2006094558.tif 000016
【図１５】
2006094558.tif 000017
【図１６】
2006094558.tif 000018
【図１７】
2006094558.tif 000019
【図１８】
2006094558.tif 000020
【図１９】
2006094558.tif 000021
【図２０】
2006094558.tif 000022
【図２１】
2006094558.tif 000023
【図２２】
2006094558.tif 000024
【図２３】
2006094558.tif 000025
【図２４】
2006094558.tif 000026
【図２５】
2006094558.tif 000027
【図２６】
2006094558.tif 000028
【図２７】
2006094558.tif 000029
【図２８】
2006094558.tif 000030
【図２９】
2006094558.tif 000031