(57)【要約】【課題】プロジェクターに基づく表示システムにおける湾曲表示面の視点補正方法を提供すること。【解決手段】第1画像および視点変換に基づき第2画像を生成し、視点変換は第1画像のピクセル位置及び湾曲表示面モデルの座標間のマッピングを表すものであり、第2画像および投影変換に基づき第3画像を生成し、投影変換は湾曲表示面モデルの座標及びプロジェクターのピクセル位置間のマッピングを表し、第3画像を前記プロジェクターにより湾曲表示面に投影する。【選択図】図４
2011002826.tif 000002
【特許請求の範囲】
【請求項１】
第1画像および視点変換に基づき第2画像を生成するよう適応される視点モジュールであ
って、前記視点変換は前記第1画像のピクセル位置と湾曲表示面のモデルの座標との間の
マッピングを表す視点モジュールと、
前記第2画像および投影変換に基づき第3画像を生成するよう適応される投影モジュール
であって、前記投影変換は前記湾曲表示面のモデルの座標とプロジェクターのピクセル位
置との間のマッピングを表す投影モジュールとを有し、
前記第3画像が前記プロジェクターにより湾曲表示面に投影される表示装置。
【請求項２】
前記視点変換を生成するよう適応される視点変換モジュールをさらに有する請求項１に
記載の表示装置。
【請求項３】
前記視点変換モジュールは、前記湾曲表示面のモデルを生成するよう適応されるモデル
モジュールをさらに有する請求項２に記載の表示装置。
【請求項４】
前記視点モジュールは、前記第1画像に基づき前記第2画像を描く描画モジュールを有す
る請求項１に記載の表示装置。
【請求項５】
前記描画モジュールは、前記視点変換に従い前記第1画像の頂点を修正するよう適応さ
れる頂点シェーダーを有する請求項４に記載の表示装置。
【請求項６】
前記投影モジュールは、前記第2画像に基づき前記第3画像を描くよう適応される描画モ
ジュールを有する請求項１に記載の表示装置。
【請求項７】
前記描画モジュールは、前記投影変換に従い前記第2画像の断片を修正するよう適応さ
れる断片シェーダーを有する請求項６に記載の表示装置。
【請求項８】
第1画像および視点変換に基づき第2画像を生成するステップであって、前記視点変換は
前記第1画像のピクセル位置と湾曲表示面のモデルの座標との間のマッピングを表すステ
ップと、
前記第2画像および投影変換に基づき第3画像を生成するステップであって、前記投影変
換は前記湾曲表示面のモデルの座標とプロジェクターのピクセル位置との間のマッピング
を表すステップとを有し、
前記第3画像は前記プロジェクターにより湾曲表示面に投影される画像処理方法。
【請求項９】
コンピューターが方法を実施するために実行可能な命令を具現する有形のコンピュータ
ー読み取り可能な記憶媒体であって、前記方法は、
第1画像および視点変換に基づき第2画像を生成するステップであって、前記視点変換は
前記第1画像のピクセル位置と湾曲表示面のモデルの座標との間のマッピングを表すステ
ップと、
前記第2画像および投影変換に基づき第3画像を生成するステップであって、前記投影変
換は前記湾曲表示面のモデルの座標とプロジェクターのピクセル位置との間のマッピング
を表すステップと、を有し、
前記第3画像が前記プロジェクターにより前記湾曲表示面に投影されるコンピューター
読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般的にプロジェクターに基づく表示システムに関する。より具体的に、本開
示はプロジェクターに基づく表示システムにおける湾曲表示面の視点補正に関する。
【背景技術】
【０００２】
プロジェクターに基づく表示システムの1つの課題はプロジェクターと表示面のずれに
よる台形像効果などの幾何学的歪み、光の放射散乱、等々、を補正することである。明確
にするために、これらの形式の歪みは本明細書において「投影歪み」と呼ばれる。表示面
が湾曲している場合さらに課題が生じる（例えば特許文献１参照）。表示面の湾曲は視点
に非常に依存した幾何学的歪みを起こし得る。すなわち、幾何学的歪みは視点に基づき非
常に変化するように見える。明確にするため、これらの形式の歪みは本明細書において「
視点歪み」と呼ばれる。図1‐2は視点歪みの1種を概念的に図示する。明確にするため、
投影歪みは図1‐2において補正されたと仮定される。
図1‐2の各々において、7つの等間隔の垂直線からなる単純な画像102が上から見たよう
に示される表示面に投影される。図1において表示面104は平面である。従って表示面104
上の投影において、隣接する線は均等な距離で分離される。例えば、第1と第2の線との距
離d12は第6と第7の線との距離d67と同じである（d12＝d67）。
同じ画像102が同じように湾曲表示面に投影される場合は異なる。図2を参照すると、隣
接する線は湾曲表示面106上の投影において異なる距離で分離される。例えば、第1と第2
の線との距離d12は第6と第7の線との距離d67よりかなり離れている（d12＞d67）。この歪
みは視点により異なるように見える。例えば、プロジェクターの視点から歪みは明らかで
ない。しかし他の視点から歪みは容易に明らかになる。例えば、プロジェクターの右から
の視点では、投影画像の左側が右側に比べ引き伸ばされて見える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第６７９３３５０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
表示面が湾曲している場合にさらに生じる課題である投影歪みすなわち表示面の湾曲が
視点に依存した幾何学的歪みを減らす方法及びその表示システムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の表示装置は、第1画像および視点変換に基づき第2画像を生成するよう適応され
る視点モジュールであって、前記視点変換は前記第1画像のピクセル位置と湾曲表示面の
モデルの座標との間のマッピングを表す視点モジュールと、
前記第2画像および投影変換に基づき第3画像を生成するよう適応される投影モジュール
であって、前記投影変換は前記湾曲表示面のモデルの座標とプロジェクターのピクセル位
置との間のマッピングを表す投影モジュールとを有し、
前記第3画像が前記プロジェクターにより湾曲表示面に投影されることを特徴とする。
また、本発明の表示装置において、前記視点変換を生成するよう適応される視点変換モ
ジュールをさらに有することを特徴とする。
【０００６】
また、本発明の表示装置において、前記視点変換モジュールは、前記湾曲表示面のモデ
ルを生成するよう適応されるモデルモジュールをさらに有することを特徴とする。
【０００７】
また、本発明の表示装置において、前記視点モジュールは、前記第1画像に基づき前記
第2画像を描く描画モジュールを有することを特徴とする。
【０００８】
また、本発明の表示装置において、前記描画モジュールは、前記視点変換に従い前記第
1画像の頂点を修正するよう適応される頂点シェーダーを有することを特徴とする。
【０００９】
また、本発明の表示装置において、前記投影モジュールは、前記第2画像に基づき前記
第3画像を描くよう適応される描画モジュールを有することを特徴とする。
【００１０】
また、本発明の表示装置において、前記描画モジュールは、前記投影変換に従い前記第
2画像の断片を修正するよう適応される断片シェーダーを有することを特徴とする。
【００１１】
さらに、本発明の画像処理方法は、第1画像および視点変換に基づき第2画像を生成する
ステップであって、前記視点変換は前記第1画像のピクセル位置と湾曲表示面のモデルの
座標との間のマッピングを表すステップと、
前記第2画像および投影変換に基づき第3画像を生成するステップであって、前記投影変
換は前記湾曲表示面のモデルの座標とプロジェクターのピクセル位置との間のマッピング
を表すステップとを有し、
前記第3画像は前記プロジェクターにより湾曲表示面に投影されることを特徴とする。
また、本発明の画像処理方法において、前記視点変換を生成するステップをさらに有す
ることを特徴とする。
【００１２】
また、本発明の表示装置において、前記視点変換を生成するステップは、前記湾曲表示
面のモデルを生成するステップを有することを特徴とする。
【００１３】
また、本発明の表示装置において、前記第２画像を生成するステップは、前記第1画像
に基づき、前記視点変換に従い前記第1画像の頂点を修正することにより前記第２画像を
描くステップを有することを特徴とする。
【００１４】
また、本発明の表示装置において、前記第3画像を生成するステップは、前記第2画像に
基づき、前記投影変換に従い前記第2画像の断片を修正することにより前記第３画像を描
くステップを有することを特徴とする。
【００１５】
また、本発明のコンピューター読み取り可能な記憶媒体は、コンピューターが方法を実
施するために実行可能な命令を具現する有形のコンピューター読み取り可能な記憶媒体で
あって、前記方法は、
第1画像および視点変換に基づき第2画像を生成するステップであって、前記視点変換は
前記第1画像のピクセル位置と湾曲表示面のモデルの座標との間のマッピングを表すステ
ップと、
前記第2画像および投影変換に基づき第3画像を生成するステップであって、前記投影変
換は前記湾曲表示面のモデルの座標とプロジェクターのピクセル位置との間のマッピング
を表すステップと、を有し、
前記第3画像が前記プロジェクターにより前記湾曲表示面に投影されることを特徴とす
る。
【００１６】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記方法はさらに、
前記視点変換を生成するステップをさらに有することを特徴とする。
【００１７】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記視点変換を生成
するステップは、前記湾曲表示面のモデルを生成するステップを有することを特徴とする
。
【００１８】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記第２画像を生成
するステップは、前記第1画像に基づき、前記視点変換に従い前記第1画像の頂点を修正す
ることにより第2画像を描くステップを有することを特徴とする。
【００１９】
また、本発明のコンピューター読み取り可能な記憶媒体において、前記第3画像を生成
するステップは、前記第2画像に基づき、前記投影変換に従い前記第２画像の断片を修正
することにより前記第3画像を描くステップ有することを特徴とする。
【図面の簡単な説明】
【００２０】
【図１】視点歪みの一例を概念的に示す図（表示面が平面）。
【図２】視点歪みの一例を概念的に示す図（表示面が湾曲）。
【図３】視点補正の一例を概念的に示す図である。
【図４】本開示の実施形態による、２ステップアプローチによる視点補正を概念的に示す図である。
【図５】いくつかの実施形態による投影システムを示す図である。
【図６】いくつかの実施形態による図5の投影システム用のプロセスを示す図である。
【図７】いくつかの実施形態によるマルチプロジェクターシステムを示す図である。
【図８】いくつかの実施形態による図7のマルチプロジェクターシステム用のプロセスを示す図である。
【発明を実施するための形態】
【００２１】
1つ以上の実施形態の詳細が添付図面および以下の説明で示される。他の特色は説明お
よび図面、ならびにクレームから明らかになるであろう。
本明細書で用いられる各符号の最初の桁の数字は、符号が最初に現れる図面の番号を示
す。
【００２２】
実施形態はプロジェクターに基づく表示システムにおける湾曲表示面の視点補正を提供
する。図3は視点補正の一例を概念的に図示する。明確にするため、図3において投影歪み
は補正されたと仮定される。図3において、湾曲表示面106上の画像102の投影において隣
接する線の間の距離が等しいよう画像102の投影は補正されている（d12＝d67）。従って
湾曲表示面106による幾何学的歪みは視点と無関係である。
【００２３】
図3は一種類の湾曲表示面に対する視点補正の一例のみを図示する。しかし、実施形態
はこの例に限定されない。さまざまな実施形態を用いて多種類の視点補正を得たり、他種
類の湾曲表示面を用いたりすることができる。例えば、視点補正を用いて望ましい視点依
存補正を得ることができる。さらに、より複雑な表示面、例えば複数の湾曲を有するもの
、他または複数次元における湾曲、等々、を用いることができる。実施形態は平面表示面
で使用することもできる。
【００２４】
本開示の実施形態は図4に概念的に図示される２ステップアプローチを提供する。図4は
画像テンプレート406、湾曲表示面のモデル404、およびプロジェクターテンプレート402
を描く。画像テンプレート406は投影される画像のピクセル位置を定義する。例えば、画
像テンプレート406は投影される画像におけるピクセルの合計数、ピクセル単位の画像寸
法、ピクセルレイアウト、等々を定義することができる。プロジェクターテンプレート40
2は投影されるピクセルの合計数（すなわちプロジェクターの解像度）、ピクセル単位の
投影寸法、ピクセルレイアウト、等々を定義することができる。モデル404は湾曲表示面
の二次元または三次元のコンピューターモデルであって良い。例えば、モデル404は各々
湾曲表示面上の点を表す点のメッシュであることができる。
【００２５】
実施形態は2つの変換：視点変換410および投影変換408、を提供する。視点変換410は画
像テンプレート406のピクセル位置およびモデル404の座標間のマッピングを表す。投影変
換408はモデル404の座標およびプロジェクターテンプレート402のピクセル位置間のマッ
ピングを表す。視点変換410は視点歪みを補正するのに用いられる一方、投影変換408は投
影歪みを補正するのに用いられる。
【００２６】
2つの別個の変換408、410を用いる利点の一つは特定の湾曲表示面に対する投影変換を
変更することなくその特定の湾曲表示面に対する視点変換410を修正するか、その特定の
湾曲表示面に対する別の視点変換410と置き換えることができることである。従って視点
補正は投影変換408を再生する必要なくして修正することができる。本開示の実施形態に
おいて、投影変換408の生成は視点変換410の生成から独立している。
【００２７】
図5はいくつかの実施形態による投影システム500を示す。説明される実施形態において
投影システム500の構成要素は1つの配列で提示されるが、本明細書に提供される開示およ
び教示に基づき関連技術の当業者には明らかであるように、他の実施形態は他の配列を特
色とすることができる。例えば、投影システム500の構成要素はハードウェア、ソフトウ
ェア、またはその組み合わせとして実施することができる。
【００２８】
図5を参照すると、投影システム500は画像モジュール502、視点モジュール504、投影モ
ジュール506、視点変換モジュール508、投影変換モジュール510、プロジェクター512、お
よび湾曲表示画面514を含む。画像モジュール502は描画モジュール516を含む。視点モジ
ュール504は頂点シェーダー520を含む描画モジュール518を含む。投影モジュール506は断
片シェーダー524を含む描画モジュール522を含む。視点変換モジュール508はモデルモジ
ュール526を含む。投影変換モジュール510は較正モジュール528を含む。
【００２９】
図6はいくつかの実施形態による、図5の投影システム500のプロセス600を示す。説明さ
れる実施形態においてプロセス600の構成要素は1つの配列で提示されるが、本明細書に提
供される開示および教示に基づき関連技術の当業者には明らかであるように、他の実施形
態は他の配列を特色とすることができる。例えば、さまざまな実施形態においてプロセス
600における工程のいくつかまたはすべて異なる順序で、同時に、等々実行できる。
【００３０】
図6を参照すると、視点変換モジュール508は視点変換410を生成する（工程602）。具体
的に、モデルモジュール526は湾曲表示面514のモデル404を生成する。モデル404はいくつ
かの異なる方法で生成することができる。例えば、モデル404は湾曲表示面514の幾何学を
表す数学関数に基づき生成することができる。別の例として、モデル404は湾曲表示面514
の幾何学の寸法を用いて生成することができる。次に視点変換モジュール508はモデル404
に基づき視点変換410を生成する。特に、視点変換モジュール508は次に画像テンプレート
406およびモデル404の座標間のマッピングを作成する。視点変換410はマッピングを表す
。
【００３１】
投影変換モジュール510は投影変換408を生成する（工程604）。具体的に、較正モジュ
ール528は較正マッピング530を生成する。例えば、プロジェクター512はデジタル較正画
像を湾曲表示面514に投影することができる。デジタル較正画像の投影のデジタル表現を
例えばデジタルカメラで取り込むことができる。構成モジュール528は次に投影のデジタ
ル表現におけるピクセルおよびデジタル較正画像におけるピクセル間の較正マッピング53
0を生成する。投影変換408は較正マッピング530を表す。投影変換408を生成するためには
従来の手法を用いて良い。
【００３２】
視点モジュール504は入力画像I1を受信する（工程606）。場合により、画像I1は画像モ
ジュール502により生成される（工程608）。場合により画像モジュール502の描画モジュ
ール516が情景Sに基づき画像I1を描く。例えば、情景SはOpenGL情景であって良い。描画
モジュール516はOpenGL情景をあるテクスチャに描く。テクスチャは画像I1である。別の
場合、画像モジュール502は他の方法で画像I1を生成することができる。場合により、画
像I1は単にビットマップ画像等々として提供される。画像I1に画像テンプレート406に適
合する。
【００３３】
視点モジュール504は画像I1および視点変換410に基づき第2画像I2を生成する（工程610
）。視点変換410は画像I1におけるピクセル位置および湾曲表示面514のモデル404の座標
間におけるマッピングを表す。例えば、視点モジュール504の描画モジュール518が画像I1
および視点変換410に基づき第2画像I2を描く。
いくつかの実施形態において、視点変換410は描画の際において頂点のシェーディング
により実施される。これらの実施形態において、描画モジュール518は描画中視点変換410
に従い画像I1の頂点を修正する頂点シェーダー520を含む。例えば、OpenGL等々を描画に
用いることができる。描画はビデオカード等々の図形処理装置により行なうことができる
。
【００３４】
投影モジュール506は画像I2および投影変換408に基づき第3画像I3を生成する（工程612
）。投影変換408は湾曲表示面514のモデル404における座標およびプロジェクター512にお
けるピクセル位置間のマッピングを表す。例えば、投影モジュール506の描画モジュール5
22が画像I2および投影変換408に基づき第3画像I3を描く。いくつかの実施形態において、
投影変換408は描画中断片シェーディングにより実施される。これらの実施形態において
、描画モジュール522は描画の際投影変換408に従い画像I2の断片を修正する断片シェーダ
ー524を含む。例えば、OpenGL等々を描画に用いることができる。描画はビデオカード等
々の図形処理装置により行なうことができる。
【００３５】
プロジェクター512は画像I3を湾曲表示面514上に投影する（工程614）。画像I3はプロ
ジェクターテンプレート402に適合する。
【００３６】
いくつかの実施形態において、例えば各プロジェクターが画像の異なる部分を投影して
タイル表示を実現するために、非常に鮮やかな投影を得るために投影が重ねられる極めて
明るい表示を実現するために、等々、プロジェクター512は複数のプロジェクターとして
実施される。図7はいくつかの実施形態によるマルチプロジェクターシステム700を示す。
説明される実施形態においてマルチプロジェクターシステム700の構成要素は1つの配列で
提示されるが、本明細書に提供される開示および教示に基づき関連技術の当業者には明ら
かであるように、他の実施形態は他の配列を特色とすることができる。例えば、マルチプ
ロジェクターシステム700の構成要素はハードウェア、ソフトウェア、またはその組み合
わせとして実施することができる。図7を参照すると、マルチプロジェクターシステム700
は画像モジュール702、N個の視点モジュール704A‐704N、N個の投影モジュール706A‐706
N、視点変換モジュール708、投影変換モジュール710、N個のプロジェクター712A‐712N、
および湾曲表示画面714を含む。これらのモジュールは上述のように実施することができ
る。
【００３７】
図8はいくつかの実施形態による、図7におけるマルチプロジェクターシステム700のプ
ロセス800を示す。説明される実施形態においてプロセス800の構成要素は1つの配列で提
示されるが、本明細書に提供される開示および教示に基づき関連技術の当業者には明らか
であるように、他の実施形態は他の配列を特色とすることができる。例えば、さまざまな
実施形態においてプロセス800における工程のいくつかまたはすべて異なる順序で、同時
に、等々実行できる。
【００３８】
図8を参照すると、視点変換モジュール708は例えば上述のように視点変換718を生成す
る（工程802）。投影変換モジュール710はプロジェクター712A‐712N各々に対し1つとな
るN個の投影変換720A‐720Nを生成する（工程804）。投影変換720はそのプロジェクター7
12に固有であるため、各プロジェクター712に対し異なる投影変換720が用いられる。各投
影変換720は上述のように生成することができる。
【００３９】
各視点モジュール704は同じ入力画像I1を受信する（工程806）。場合により、画像I1は
例えば上述のように画像モジュール702により生成される（工程808）。視点モジュール70
4A‐704N各々は例えば上述のように画像I1および視点変換718に基づき各々の第2画像I2A
‐I2Nを生成する（工程810）。効率を上げるため、各視点モジュール710は対応するプロ
ジェクター712により投影される画像I1の部分に対してのみ作用できる。
投影モジュール706A‐706N各々は例えば上述のように各々の第2画像I2A‐I2Nおよび各
々の投影変換720A‐720Nに基づき各々の第3画像I3A‐I3Nを生成する（工程812）。プロジ
ェクター712A‐712Nは各々の画像I3A‐I3Nを湾曲表示面714に投影して1つの合成画像を形
成する（工程814）。
【００４０】
さまざまな実施形態は電子回路、またはコンピューターハードウェア、ファームウェア
、ソフトウェア、またはこれらの組み合わせとして実施することができる。装置は機械読
み取り可能な記憶装置に有形的に具現されるコンピュータープログラムとして実施され、
プログラマブルプロセッサーにより実行されることができる。
【００４１】
また方法工程は命令のプログラムを実行するプログラマブルプロセッサーが入力データ
を操作して出力を生成することにより実施することができる。
実施形態はデータ記憶システムからデータおよび命令を受信し、そこへデータおよび命
令を伝送するよう連結される少なくとも1つのプログラマブルプロセッサー、少なくとも1
つの入力装置、および少なくとも1つの出力装置を含むプログラマブルシステム上で実行
可能な1つ以上のコンピュータープログラムにおいて有利に実施することができる。各コ
ンピュータープログラムはハイレベルの手順型言語もしくはオブジェクト指向のプログラ
ミング言語、または望ましい場合アッセンブリもしくは機械言語において実施することが
できる。
またいずれにせよ、言語はコンパイラー型またはインタープリター型言語であることが
できる。適するプロセッサーは例として汎用および特殊用途のマイクロプロセッサー双方
を含む。一般的に、プロセッサーは命令およびデータを読み取り専用メモリーおよび／ま
たはランダムアクセスメモリーから受信する。一般的にコンピューターはデータファイル
を記憶する1つ以上の大容量記憶装置を含む；このような装置は内蔵されたハードディス
クやリムーバブルディスクなど磁気ディスク；光磁気ディスク；および光ディスクを含む
。コンピュータープログラム命令およびデータを有形的に具現するのに適した記憶装置は
例としてEPROM、EEPROM、およびフラッシュメモリー装置などの半導体メモリー装置；内
蔵されたハードディスクおよびリムーバブルディスクなどの磁気ディスク；光磁気ディス
ク；およびCD‐ROMディスクを含むあらゆる形の不揮発性メモリーを含む。
前述のいずれもASIC（特定用途向け集積回路）により補充され、またはそれに組み込ま
れることができる。
【００４２】
いくつかの実施が説明された。しかし本開示の精神および範囲から逸脱することなく各
種の変更をなし得ることが理解されよう。従って、他の実施も続くクレームの範囲内にあ
る。
【符号の説明】
【００４３】
１０２  画像、  １０４  表示面、  １０６  湾曲表示面、  ５００  投影システム、
５０２  画像モジュール、  ５０４  視点モジュール、  ５０６  投影モジュール、  
５０８  視点変換モジュール、  ５１０  投影変換モジュール、  ５１２  プロジェクタ
ー、  ５１４  湾曲表示画面、  ５２６  モデルモジュール、  ５２８  較正モジュール
、  ７００  マルチプロジェクターシステム、  ７１４  湾曲表示画面。
【図１】
2011002826.tif 000003
【図２】
2011002826.tif 000004
【図３】
2011002826.tif 000005
【図４】
2011002826.tif 000006
【図５】
2011002826.tif 000007
【図６】
2011002826.tif 000008
【図７】
2011002826.tif 000009
【図８】
2011002826.tif 000010