(57)【要約】      （修正有）【課題】相対的に移動する物体の所定部分を照明する。【解決手段】システム１００は、コンピュータ装置１０８、プロジェクタ１０４およびカメラ１１６を含む。コンピュータ装置は、物体のデジタルモデルおよび照明パラメータおよびデジタルモデルの参照を有する照明データを保存する。プロジェクタまたは他の光源は投影域に構造化光を投影し、カメラは投影域の画像を同時にとらえる。コンピュータ装置はカメラからとらえた取り込み画像を受信して、デジタルモデルを取り込み画像と比較することによって物体の位置および方向を決定し、物体の決定された位置および方向付けにマッチしている領域を含むキャンバス画像を生成する。プロジェクタは、キャンバス画像を投影域に投影する。照明データの参照に対応する物体の定義済み部分は、照明パラメータに従って照明されている。【選択図】図１
2015018554.tif 000002
【特許請求の範囲】
【請求項１】
投影域の物体を照明するシステムで用いるコンピュータ装置であって、該コンピュータ装置は、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めているデータ、および（ｉｉ）デジタルモデルへの参照を含んでいる投影データと、を保存するメモリと、
光源、プロジェクタおよびカメラと通信するように構成されるデータ・インタフェースと、
前記メモリと前記データ・インタフェースに相互接続されたプロセッサと、を備え、
前記プロセッサは、
投影域に構造化光を投影するための光源の制御、
構造化光の投影の間、投影域の画像をとらえるためのカメラの制御、
カメラからとらえられた取り込み画像を受け取り、ジオメトリデータを取り込み画像と比較することによる、投影域の物体の位置および方向付けの決定、
決定された物体の位置および方向付けにマッチングする、前記投影データの特性によって定義される領域を含んでいるキャンバス画像の生成、そして、
前記領域が投影データの参照に対応する物体の一部に投影される投影域上への投影のための、プロジェクタへのキャンバス画像の送信、
をするように構成される。
【請求項２】
前記プロセッサは、デジタルモデルに対応する取り込み画像のシグネチャを検出して、シグネチャをジオメトリデータと比較することによって物体の位置を決定するように構成される請求項１記載のコンピュータ装置。
【請求項３】
前記プロセッサは、変換されたデジタルモデルがシグネチャにマッチするように、デジタルモデルへの変換を適用するように構成され、前記プロセッサはさらに、変換の少なくとも一つに基づいてキャンバス画像の領域を生成するように構成される請求項２記載のコンピュータ装置。
【請求項４】
前記光源は、プロジェクタの構成要素である請求項１記載のコンピュータ装置。
【請求項５】
前記投影域は、複数の物体の少なくとも一つを含み、前記ジオメトリデータは、複数の物体に対応する複数のデジタルモデルを定め、
前記プロセッサは、取り込み画像における複数のデジタルモデルの少なくとも一つに対応するシグネチャを検出するように構成される請求項１記載のコンピュータ装置。
【請求項６】
前記ジオメトリデータは、デジタルモデルの部分の識別子を含み、投影データの参照は、識別子の少なくとも一つからなる請求項１記載のコンピュータ装置。
【請求項７】
前記投影データは、特性を定めている一つ以上のパラメータを含む照明データであり、該一つ以上のパラメータは、目標輝度パラメータおよび色パラメータを含む請求項１から６のいずれか一つに記載のコンピュータ装置。
【請求項８】
前記プロセッサはさらに、物体の輝度を検出するように、かつ、目標輝度および検出輝度に基づく領域のためのフィル輝度を選択するように構成される請求項６記載のコンピュータ装置。
【請求項９】
前記一つ以上のパラメータのうちの少なくとも一つは動的に可変である請求項６または７記載のコンピュータ装置。
【請求項１０】
前記投影データは、前記特性を画像として定義している画像データである請求項１から６いずれか一つに記載のコンピュータ装置。
【請求項１１】
前記キャンバス画像の領域は、決定された物体の位置および方向付けにマッチさせるために変換される画像のバージョンを含む請求項１０記載のコンピュータ装置。
【請求項１２】
前記画像データは、マッピング・メタデータ・フィールドにおける参照を含む請求項１０または１１記載のコンピュータ装置。
【請求項１３】
前記画像データは、ピクセルアレイ・フィールドにおける参照を含む請求項１０または１１記載のコンピュータ装置。
【請求項１４】
請求項１から１３のいずれか一つに記載のコンピュータ装置と、
光源と、
プロジェクタと、
カメラと、
を備えるシステム。
【請求項１５】
投影域における物体に光を投影する方法であって、該方法は、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めているデータ、および（ｉｉ）デジタルモデルへの参照を含んでいる投影データと、をコンピュータ装置のメモリに保存するステップと、
投影域に構造化光を投影するために、前記コンピュータ装置とつながる光源を制御するステップと、
構造化光の投影の間、投影域の画像をとらえるために、前記コンピュータ装置とつながるカメラを制御するステップと、
前記カメラからとらえられた取り込み画像を前記コンピュータ装置で受信して、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するステップと、
決定された物体の位置および方向付けにマッチングする、前記投影データの特性によって定義される領域を含んでいるキャンバス画像を前記コンピュータ装置で生成するステップと、
前記領域が投影データの参照に対応する物体の一部に投影される投影域上への投影のために、前記コンピュータ装置とつながるプロジェクタにキャンバス画像を送信するステップと、
を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書は一般に、デジタル・プロジェクション・システム、特にデジタル画像を投影域に映し出すための、そして、投影域、特にプロジェクション・システムと物体との間の相対運動に適合させる投影域における物体の所定部分を照明するための方法、システムおよび装置に関する。
【背景技術】
【０００２】
プロジェクション・システムは、固定された、予め定められた画像を平坦な、静的表面に投影するために典型的に用いられる。投影されている表面が平坦でないときに、慎重な調整（校正）は、表面の形状を主要因として解明することを必要とされ得る。移動物体に画像を投影することは、さらに複雑化する事態を提起する。つまり、物体の動作を追跡するためにプロジェクタを動かすことは、可動性スポットライトと同様に扱いにくくなることがある。複数の移動物体が含まれる場合、複数のプロジェクタも必要となり、それぞれはその割り当てられた物体を追跡するために他と独立して移動することを必要とされる場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
投影装置（プロジェクタ）が移動物体についていくことを可能にすることに関わる障害に加えて、それらの移動物体に投影される画像は、未だに歪められて見えることがある。従って、プロジェクタと対象物体の相対運動は、正確な投影（プロジェクション）を達成するのを困難にする。
【課題を解決するための手段】
【０００４】
本明細書の一態様によれば、投影域における物体に光を投影する方法が提供され、該方法は、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めているデータ、および（ｉｉ）デジタルモデルへの参照を含んでいる投影データと、をコンピュータ装置のメモリに保存するステップと、
投影域に構造化光を投影するために、前記コンピュータ装置とつながる光源を制御するステップと、
構造化光の投影の間、投影域の画像をとらえるために、前記コンピュータ装置とつながるカメラを制御するステップと、
カメラからとらえられた取り込み画像を前記コンピュータ装置で受信して、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するステップと、
決定された物体の位置および方向付けにマッチングする、前記投影データの特性によって定義される領域を含んでいるキャンバス画像を前記コンピュータ装置で生成するステップと、
前記領域が投影データの参照に対応する物体の一部に投影される投影域上への投影のために、前記コンピュータ装置とつながるプロジェクタにキャンバス画像を送信するステップと、
を含む。
【０００５】
一部の態様では、前記投影データは、特性を定めている一つ以上のパラメータを含む照明データであり得る。なお、一つ以上のパラメータは、目標輝度パラメータおよび色パラメータを含む。キャンバス画像の領域は、目標輝度および色を有するフィルを伴い照明され得る。
【０００６】
他の実施態様として、前記投影データは、前記特性を画像として定義している画像データであり得、そして、キャンバス画像の領域は、決定された物体の位置および方向付けにマッチさせるために変換される画像のバージョンを含み得る。
【０００７】
本明細書の別の態様によれば、コンピュータ装置が本発明の方法を実行するように構成され、コンピュータ装置上の実行のための命令を含んでいる非一時的なコンピュータ可読媒体が提供される。
【０００８】
本明細書のさらなる態様によれば、コンピュータ装置、光源およびカメラを含むシステムが提供される。
【０００９】
一つの態様において本発明は、投影域の物体を照明するためのシステムを提供し、該システムは、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めている一つ以上のパラメータ、および（ｉｉ）デジタルモデルへの参照、を有する記録を含んでいる照明データと、を保存するコンピュータ装置と、
前記コンピュータ装置とつながり、構造化光を投影域に投影するように構成される光源と、
前記コンピュータ装置とつながり、構造化光の投影の間、投影域の画像をとらえるように構成されるカメラと、を備え、
前記コンピュータ装置は、カメラからとらえられた取り込み画像を受け取り、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するように構成され、
前記コンピュータ装置は、物体の決定された位置および方向付けにマッチしている、一つ以上のパラメータによって定められたフィルを有する領域を含むキャンバス画像を生成するように、さらに構成され、
前記コンピュータ装置は、画像データの参照に対応する物体の一部が一つ以上のパラメータに従って照明される投影域上への投影のために、前記コンピュータ装置がプロジェクタにキャンバス画像を送信するように、さらに構成される。
【００１０】
前記コンピュータ装置は、デジタルモデルに対応する取り込み画像のシグネチャを検出し、該シグネチャをジオメトリデータと比較することによって物体の位置を決定するように構成されてもよい。
【００１１】
前記コンピュータ装置は、変換されたデジタルモデルがシグネチャにマッチするように、デジタルモデルへの変換を適用するように構成され得る。該コンピュータ装置はさらに、変換の少なくとも一つに基づいてキャンバス画像の領域を生成するように構成される。
【００１２】
前記光源は、プロジェクタの構成要素であってもよい。
【００１３】
前記投影域は、複数の物体の少なくとも一つを含むことができる。そして、ジオメトリデータは、複数の物体に対応する複数のデジタルモデルを定めることができる。
前記コンピュータ装置は、取り込み画像における複数のデジタルモデルの少なくとも一つに対応するシグネチャを検出するように構成され得る。
【００１４】
前記一つ以上のパラメータは、目標輝度パラメータおよび色パラメータを含むことができる。
【００１５】
前記ジオメトリデータは、デジタルモデルの部分の識別子を含むことができる。また、照明データの参照は、識別子の少なくとも一つから成っていてもよい。本システムは、物体の輝度を検出すること、そして、目標輝度および検出輝度に基づく領域のためのフィル輝度を選択することをさらに含むことができる。照明データは、ジオメトリデータのヌル参照を有する追加レコードを含むことができる。
【００１６】
本発明の別の態様は、投影域の物体を照明するシステム用にコンピュータ装置を提供し、該コンピュータ装置は、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めている一つ以上のパラメータ、および（ｉｉ）デジタルモデルへの参照、を有する記録を含んでいる照明データと、を保存するメモリと、
光源、プロジェクタおよびカメラと通信するように構成されるデータ・インタフェースと、
前記メモリと前記データ・インタフェースに相互接続されたプロセッサと、を備え、
前記プロセッサは、
投影域に構造化光を投影するための光源の制御、
カメラからとらえられた取り込み画像を受け取り、ジオメトリデータを取り込み画像と比較することによる、投影域における物体の位置および方向付けの決定、
物体の決定された位置および方向付けにマッチしている、一つ以上のパラメータによって定められたフィルを有する領域を含むキャンバス画像の生成、そして、
照明データの参照に対応する物体の一部が、一つ以上のパラメータに従って照明される投影域上への投影のための、プロジェクタへのキャンバス画像の送信、
をするように構成される。
【００１７】
前記プロセッサは、デジタルモデルに対応する取り込み画像のシグネチャを検出して、シグネチャをジオメトリデータと比較することによって物体の位置を決定するように構成され得る。
【００１８】
前記プロセッサは、変換されたデジタルモデルがシグネチャにマッチするように、デジタルモデルへの変換を適用するように構成され得る。
前記プロセッサはさらに、変換の少なくとも一つに基づいてキャンバス画像の領域を生成するように構成される。
【００１９】
前記光源は、プロジェクタの構成要素であってもよい。
【００２０】
前記投影域は、複数の物体の少なくとも一つを含むことができる。
また、前記ジオメトリデータは、複数の物体に対応する複数のデジタルモデルを定めることができる；
また、前記プロセッサは、取り込み画像における複数のデジタルモデルの少なくとも一つに対応するシグネチャを検出するように構成され得る。
【００２１】
前記一つ以上のパラメータは、目標輝度パラメータおよび色パラメータを含むことができる。
【００２２】
前記ジオメトリデータは、デジタルモデルの部分の識別子を含むことができ、前記照明データの参照は、識別子の少なくとも一つから成っていてもよい。また、前記プロセッサはさらに、物体の輝度を検出するように構成され、かつ目標輝度および検出輝度に基づく領域のためのフィル輝度、および／または動的に可変であり得る一つ以上のパラメータの少なくとも一つを選択するように構成される。
【００２３】
さらなる態様としては、投影域の物体を照明する方法を提供し、該方法は、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めている一つ以上のパラメータ、および（ｉｉ）デジタルモデルへの参照、を有する記録を含んでいる照明データと、をコンピュータ装置のメモリに保存するステップと、
構造化光を投影域に投影するために、前記コンピュータ装置とつながる光源を制御するステップと、
構造化光の投影の間、投影域の画像をとらえるために、前記コンピュータ装置とつながるカメラを制御するステップと、
カメラからとらえられた取り込み画像を前記コンピュータ装置で受信して、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するステップと、
決定された物体の位置および方向付けにマッチしている、一つ以上のパラメータによって定められたフィルを有する領域、を含んでいるキャンバス画像を前記コンピュータ装置で生成するステップと、
画像データの参照に対応する物体の一部が、一つ以上のパラメータに従って照明される投影域上への投影のために、コンピュータ装置とつながるプロジェクタにキャンバス画像を送信するステップと、
を含む。
【００２４】
なお、さらなる態様は、投影域の物体を照明する方法をプロセッサに実行させるために、コンピュータ装置のプロセッサによって実行可能な複数のコンピュータ可読命令を保存している非一時的なコンピュータ装置可読媒体を提供するものであり、その方法は、
物体のデジタルモデルを定めているジオメトリデータと、（ｉ）物体に映し出される光の特性を定めている一つ以上のパラメータ、および（ｉｉ）デジタルモデルへの参照、を有する記録を含んでいる照明データと、をコンピュータ装置のメモリに保存するステップと、
投影域に構造化光を投影するために、コンピュータ装置とつながる光源を制御するステップと、
構造化光の投影の間、投影域の画像をとらえるために、コンピュータ装置とつながるカメラを制御するステップと、
カメラからとらえられた取り込み画像をコンピュータ装置で受け取り、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するステップと、
決定された物体の位置および方向付けにマッチングする、一つ以上のパラメータによって定められたフィルを有する領域を含んでいるキャンバス画像をコンピュータ装置で生成するステップと、
画像データの参照に対応する物体の一部が、一つ以上のパラメータに従って照明される投影域上への投影のために、コンピュータ装置とつながるプロジェクタにキャンバス画像を送信するステップと、
を含む。
【００２５】
なお、さらなる態様において、本発明は、画像を投影域の物体の所定の部分に投影するためのシステムを提供し、該システムは、
コンピュータ装置は、
物体のデジタルモデルを定めているジオメトリデータと、画像を定めておりデジタルモデルへの参照を含んでいる画像データと、を保存するコンピュータ装置と、
コンピュータ装置とつながり、投影域に構造化光を投影するように構成される光源と、
コンピュータ装置とつながり、構造化光の投影の間、投影域の画像をとらえるように構成されるカメラと、を備え、
前記コンピュータ装置は、カメラからとらえられた取り込み画像を受け取り、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するように構成され、
前記コンピュータ装置は、決定された物体の位置および方向付けにマッチさせるために変換される画像のバージョンを含むキャンバス画像を生成するようにさらに構成され、
前記コンピュータ装置は、画像データの参照に対応する物体の一部に画像が投影される投影域上への投影のために、プロジェクタにキャンバス画像を送信するように、さらに構成される。
【００２６】
前記コンピュータ装置は、デジタルモデルに対応する取り込み画像のシグネチャを検出し、該シグネチャをジオメトリデータと比較することによって物体の位置を決定するように構成されてもよい。
【００２７】
前記コンピュータ装置は、変換されたデジタルモデルがシグネチャにマッチするように、デジタルモデルへの変換を適用するように構成され得る。該コンピュータ装置はさらに、画像への変換の少なくとも一つを適用することによって画像のバージョンを生成するように構成される。
【００２８】
前記光源は、プロジェクタの構成要素でもよい。
【００２９】
前記投影域は、複数の物体の少なくとも一つを含むことができる。ジオメトリデータは、複数の物体に対応する複数のデジタルモデルを定めることができる。
また、前記コンピュータ装置は、取り込み画像の複数のデジタルモデルの少なくとも一つに対応するシグネチャを検出するように構成され得る。画像データは、複数の画像を定めることができ、画像の少なくとも一つは複数のデジタルモデルの少なくとも一つの参照を含む。
【００３０】
前記ジオメトリデータは、デジタルモデルの部分の識別子を含む。また、前記画像データの参照は、識別子の少なくとも一つから成っていてもよい。画像データは、マッピング・メタデータ・フィールドにおける識別子を含むことができる。画像データは、ピクセルアレイ・フィールドにおける識別子を含むことができる。
【００３１】
本発明はまた、投影域の物体の所定部分に画像を投影するためのシステム用に、コンピュータ装置を提供するものであり、該コンピュータ装置は、
物体のデジタルモデルを定めているジオメトリデータと、画像を定めておりデジタルモデルへの参照を含んでいる画像データと、を保存するメモリと、
光源、プロジェクタおよびカメラと通信するように構成されるデータ・インタフェースと、
前記メモリと前記データ・インタフェースに相互接続されたプロセッサと、を備え、
前記プロセッサは、
投影域に構造化光を投影するための光源の制御、
構造化光の投影の間、投影域の画像をとらえるためのカメラの制御、
カメラからとらえられた取り込み画像を受け取り、ジオメトリデータを取り込み画像と比較することによる、投影域の物体の位置および方向付けの決定、
決定された物体の位置および方向付けにマッチさせるために変換される画像のバージョンを含むキャンバス画像の生成、そして、
画像データの参照に対応する物体の一部に画像が投影される投影域上への投影のため、プロジェクタへのキャンバス画像の送信、
をするように構成される。
【００３２】
前記プロセッサは、デジタルモデルに対応する取り込み画像のシグネチャを検出して、シグネチャをジオメトリデータと比較することによって物体の位置を決定するように構成され得る。
【００３３】
前記プロセッサは、変換されたデジタルモデルがシグネチャにマッチするように、デジタルモデルに変換を適用するように構成され得る。また、プロセッサは、変換の少なくとも一つを画像に適用することによって画像のバージョンを生成するように、さらに構成され得る。
【００３４】
前記光源は、プロジェクタの構成要素でもよい。
【００３５】
前記投影域は、複数の物体の少なくとも一つを含むことができる。前記ジオメトリデータは、複数の物体に対応する複数のデジタルモデルを定めることができる。また、前記プロセッサは、取り込み画像の複数のデジタルモデルの少なくとも一つに対応するシグネチャを検出するように構成され得る。前記画像データは、複数の画像を定めることができ、画像の少なくとも一つは複数のデジタルモデルの少なくとも一つの参照を含む。
【００３６】
前記ジオメトリデータは、デジタルモデルの部分の識別子を含むことができる。また、前記画像データの参照は、識別子の少なくとも一つから成る。画像データは、マッピング・メタデータ・フィールドにおける識別子を含むことができ、および／または、画像データは、ピクセルアレイ・フィールドにおける識別子を含むことができる。
【００３７】
本発明はさらに、投影域における物体の所定部分に画像を投影する方法を提供し、該方法は、
物体のデジタルモデルを定めているジオメトリデータと、画像を定めておりデジタルモデルの参照を含んでいる画像データと、をコンピュータ装置のメモリに保存するステップと、
投影域に構造化光を投影するためにコンピュータ装置とつながる光源を制御するステップと、
構造化光の投影の間、投影域の画像をとらえるために、コンピュータ装置とつながるカメラを制御するステップと、
カメラからとらえられた取り込み画像をコンピュータ装置で受け取って、ジオメトリデータを取り込み画像と比較することによって投影域の物体の位置および方向付けを決定するステップと、
決定された物体の位置および方向付けにマッチさせるために変換された画像のバージョンを含んでいるキャンバス画像をコンピュータ装置で生成するステップと、
画像データの参照に対応する物体の一部に画像が投影される投影域への投影のために、コンピュータ装置とつながるプロジェクタにキャンバス画像を送信するステップと、
を含む。
【００３８】
なお、さらなる発明は、物体の所定部分に画像を映し出す方法をプロセッサに実行させるために、コンピュータ装置のプロセッサによって実行可能な複数のコンピュータ可読命令を保存している非一時的なコンピュータ装置可読媒体を提供するものであり、その方法は、
物体のデジタルモデルを定めているジオメトリデータと、画像を定めておりデジタルモデルの参照を含んでいる画像データと、をコンピュータ装置のメモリに保存するステップと、
投影域に構造化光を投影するために、コンピュータ装置とつながる光源を制御するステップと、
構造化光の投影の間、投影域の画像をとらえるために、コンピュータ装置とつながるカメラを制御するステップと、
カメラからとらえられた取り込み画像をコンピュータ装置で受け取り、ジオメトリデータを取り込み画像と比較することによって投影域における物体の位置および方向付けを決定するステップと、
決定された物体の位置および方向付けにマッチさせるために変換された画像のバージョンを含んでいるキャンバス画像をコンピュータ装置で生成するステップと、
画像データの参照に対応する物体の一部に画像が投影される投影域への投影のために、コンピュータ装置とつながるプロジェクタにキャンバス画像を送信するステップと、
を含む。
【図面の簡単な説明】
【００３９】
実施例は、以下の図面を参照して説明される。
【図１】非限定的な実施例による、デジタル画像を投影するシステムを表す図である。
【図２】非限定的な実施例による、図１のシステムで維持されるジオメトリデータを表す図である。
【図３】非限定的な実施例による、図１のシステムで維持される画像データを表す図である。
【図４】非限定的な実施例による、デジタル画像を投影する方法を表す図である。
【図５】非限定的な実施例による、図４の方法におけるブロック４１０を実行する方法を表す図である。
【図６】非限定的な実施例による、図５の方法の一部として、構造化光の投影を表す図である。
【図７】非限定的な実施態様による、図５の方法の実施によってとらえられる画像を表す図である。
【図８】非限定的な実施態様による、図５の方法におけるブロック５２５の実行の結果を表す図である。
【図９】非限定的な実施例による、図４の方法におけるブロック４１５で発生するキャンバス画像を表す図である。
【図１０】非限定的な実施例による、図４の方法におけるブロック４２０の実行を表す図である。
【図１１】非限定的な実施例による、図４の方法におけるブロック４２０の他の実行を表す図である。
【図１２】図１のカメラとプロジェクタの移動後の図４および図５の方法の他の実行を表す図である。
【図１３】非限定的な実施例による、図５の方法で使用する構造化光の他の例を表す図である。
【図１４】他の非限定的な実施例による、図１のシステムで維持される照明データを表す図である。
【図１５】非限定的な実施例による、物体を照明する方法を表す図である。
【図１６】非限定的な実施例による、図１５の方法のブロック４１５ａで発生するキャンバス画像を表す。
【図１７】非限定的な実施例による、図１５の方法のブロック４２０ａの実行を表す図である。
【発明を実施するための形態】
【００４０】
図１は、デジタル画像を投影するためのプロジェクション・システム１００を表す。システム１００は、例えばプロジェクタ１０４のような一つ以上のプロジェクタを含む。そして、コンピュータ装置１０８から受け取ったデジタル画像を投影域１１２上に投影する（プロジェクタ１０４から伸びている点線で例示される）ように調整される。システム１００はまた、例えば投影域１１２の画像をとらえ、取り込んだ画像をコンピュータ装置１０８に送信するためのカメラ１１６のような、一つ以上のカメラを含む。プロジェクタ１０４およびカメラ１１６は、周知の、好ましくは固定された位置、例えばカメラ１１６の関連で任意の物体の位置がプロジェクタ１０４の関連でその物体の位置を決定するために用いられ得るように、互いに相対的な位置に取り付けられる。また、カメラ１１６の視野は、投影域１１２の全域を含む。すなわち、カメラ１１６は、少なくともプロジェクタ１０４が光を投影する領域と同じ大きさの領域の画像をとらえる（取り込む）ように、構成される。
【００４１】
本明細書において詳述するように、プロジェクタ１０４およびコンピュータ装置１０８は、カメラ１１６と連動して、画像の予め定められた部分が一つ以上の物体、例えば投影域１１２の物体１２０（図１の例における被験者）に映し出されるような方法で、上述のデジタル画像を投影するように構成される。さらに、画像のそれらの予め定められた部分が物体１２０とプロジェクタ１０４の間で任意の相対動作を追跡するように、システムは画像を投影するように構成される。その結果、物体１２０が投影域１１２の中に移動するにもかかわらず、予め定められた部分は物体１２０に関して実質的に変化しないままである。換言すれば、画像の予め定められた部分は、物体１２０の特定部分に添付される外観（体裁）を与えられる。
【００４２】
システム１００の運用について詳細に述べる前に、システム１００の構成要素がさらに記載される。
【００４３】
プロジェクタ１０４は、プロジェクタのあらゆる適切なタイプまたはプロジェクタの組合せであり得る。プロジェクタ１０４は、本実施例では、静止しているが、他の実施例において可動性であり得る。このように、プロジェクタ１０４は一つ以上の光源と、コンピュータ装置１０８により提供される所望の画像を作り出す光源からの光を変調するための一つ以上の変調素子と、投影域１１２上へ変調された光を導くためのレンズ集合体とを含む。いくつかの実施例において、プロジェクタ１０４は、人の眼に見えるスペクトルの範囲内（すなわち、約３９０〜７００ｎｍの波長）の、あるいは可視スペクトルの外側（例えば、約７５０ｎｍより大きい波長を有する赤外線）の、またはこれら両方とも同時に入射する光を利用して画像を投影することができる。
【００４４】
カメラ１１６は、任意の適切なタイプのデジタル・カメラでよく、投影領域１１２からカメラ１１６へ入射する反射光を集束するレンズ集合体を含む。カメラ１１６はまた、レンズ集合体によって入射光線がその上に集束されるイメージ・センサを含む。カメラ１１６は、イメージ・センサによってできる画像データをコンピュータ装置１０８に送信するように構成される。
【００４５】
コンピュータ装置１０８は、任意の適切なサーバーまたはパーソナル・コンピュータ環境に基づくことができる。本実施例において、コンピュータ装置１０８は、一つ以上のプロセッサを収納しているデスクトップコンピュータであり、一般的にプロセッサ１２４と称される。プロセッサ１２４の特性は、特に制限されない。例えば、プロセッサ１２４は、一つ以上の汎用中央演算処理装置（ＣＰＵ）を含むことができ、一つ以上のグラフィックス処理ユニット（ＧＰＵ）を含むこともできる。当業者にとって明らかなように、本願明細書において述べられるさまざまな処理タスクの実行は、ＣＰＵとＧＰＵで分配され得る。
【００４６】
プロセッサ１２４は、例えばメモリ１２６のような、非一時的なコンピュータ可読記憶媒体で相互に接続される。メモリ１２６は、揮発性（例えばランダム・アクセス・メモリ（「ＲＡＭ」））および不揮発性（例えば読出し専用メモリ（「ＲＯＭ」）、電気的消去可能ＲＯＭ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、磁気コンピュータ記録装置または光ディスク）のメモリの任意の適切な組み合わせであり得る。本実施例において、メモリ１１２は、揮発性メモリおよび不揮発性メモリを含む。
【００４７】
コンピュータ装置１０８はまた、プロセッサ１２４と相互に接続される、例えばキーボード、マウス、マイクロホン、などの任意の適切な組み合わせの一つ以上の入力デバイス１２８を含むこともできる。このような入力デバイスは、入力を受け取り、この種の入力の代表するデータをプロセッサ１０８に提供するように構成される。例えば、キーボードは、一つ以上のキーの押下の形でユーザから入力を受け取ることができ、押下されるキーを識別するデータをプロセッサ１２４に提供することができる。
【００４８】
コンピュータ装置１０８はさらに、プロセッサ１２４と相互に接続される、例えばディスプレイ１３０（例えば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ）などの一つ以上の出力デバイスを含む。スピーカ（図示せず）などの他の出力デバイスも示すことができる。プロセッサ１２４は、コンピュータ装置１０８のユーザに画像を提示するためにディスプレイ１３０を制御するように構成される。
【００４９】
コンピュータ装置１０８はまた、プロセッサ１２４からプロジェクタ１０４へデータを伝送するために、そして、カメラ１１６からプロセッサ１２４へデータを伝送するために、プロセッサ１２４と相互接続されるデータ・インタフェース１３２を含む。インタフェース１３２の特性は、特に制限されない。一般に、インタフェース１３２は、コンピュータ装置１０８とプロジェクタ１０４とカメラ１１６の間のコミュニケーションを可能にするために、必要なハードウェア素子を含む。例えば、プロジェクタ１０４およびカメラ１１６によって異なる通信技術が用いられる場合、インタフェース１３２は、複数のインタフェースを含むこともできる。
【００５０】
コンピュータ装置１０８は、メモリ１２６において維持されるコンピュータ可読命令からなるアプリケーションのプロセッサ１２４による実行を介して、様々な機能（本明細書で述べる）を行うように構成される。具体的には、メモリ１２６は、プロセッサ１２４で実行できるコンピュータ可読命令を含むアプリケーション１３４を保存する。プロセッサ１２４がアプリケーション１３４の命令を実行するときに、プロセッサ１２４は、コンピュータ装置１０８の他のコンポーネント、また、プロジェクタ１０４およびカメラ１１６と連動してさまざまな機能を実行するように構成される。従って、プロセッサ１２４は本願明細書において、アプリケーション１３４の実施を経てそれらの機能を実行すべく構成されるように、記載されている。下記の考察において、一般にコンピュータ装置１０８またはプロセッサ１２４が特に特定の動き又は機能を実行するように構成されると言われる場合、動き又は機能の実行はプロセッサ１２４によるアプリケーション１３４の実施によって引き起こされることが理解されよう。
【００５１】
メモリ１２６はまた、投影域１１２に現出できる様々な物体の幾何学的特徴を特定しているジオメトリデータ１３６、および投影域１１２に（コンピュータ装置１０８の管理下のプロジェクタ１０４によって）投影され得る一つ以上の画像を定めている画像データ１３８を保存する。
【００５２】
変わって図２では、ジオメトリデータ１３６の実施例が提供されている。具体的には、本実施例のジオメトリデータ１３６は、図１に示される物体１２０（被験者）の幾何学的特徴を識別する。換言すれば、ジオメトリデータ１３６は、物体１２０のデジタルモデルを定める。モデルは３次元において好ましいが、他の実施例で、ジオメトリデータ１３６は、たとえ三次元物体でも、ただ２次元のモデルを定めることによって単純化され得る。ジオメトリデータ１３６が他の物体、物体１２２（図１に見られるように、投影域１１２に置かれる短い壁）に対してモデルを定めないことは、現在明らかである。本実施例では、これは、物体１２２が「関心のある」物体（すなわち、その上にデジタル画像が投影される物体）ではないと見なされるからである。一般に、ジオメトリデータ１３６は、デジタル画像が投影される任意の物体に対し予め定義されたモデルを含むが、他の物体に対してモデルを定めない。
【００５３】
図２は、ジオメトリデータ１３６で定義されているように、物体１２０の三次元モデル２００を示す。図２はまた、ジオメトリデータ１３６それ自体の実施例を示す。図２で示されるように、ジオメトリデータ１３６は、物体１２０の特定部分の特徴をそれぞれ識別している複数の記録を含む。本実施例では、物体１２０が被験者である所で、ジオメトリデータ１３６は以下のパーツの各々のための一つの記録を含む。
胴２０４（高さ５０ｃｍ、幅３０ｃｍ、奥行き２０ｃｍの矩形のプリズムとしてモデル化される）；
左右のアーム２０８、２１２（各々長さ７５ｃｍ、半径５ｃｍのシリンダとしてモデル化される）；
左右の脚２１６、２２０（各々長さ１００ｃｍ、半径１０ｃｍのシリンダとしてモデル化される）；そして、
ヘッド２２４（半径１２ｃｍの球体としてモデル化される）。
上記パーツのリストおよびそれらの寸法は、単に説明の便宜上与えられているだけであって、多種多様なパーツおよび寸法はジオメトリデータ１３６において提供され得る。
【００５４】
ジオメトリデータ１３６はまた、様々なパーツ間の接続個所を定める。例えば、ジオメトリデータ１３６の「接続個所」のカラムに示されるように、胴２０４以外のすべてのパーツは、胴２０４に接続されていることがマークされる。図２に示されていないが、ジオメトリデータ１３６は、座標またはパーツ間の接続個所がどこにあるかという他の識別を含むことができる。ジオメトリデータ１３６はまた、例えば他のパーツと関連する様々なパーツの動作の許容範囲など、多種多様な他のデータを含むことができる。物体１２０のモデル２００は、説明の便宜上単純化されるが、ジオメトリデータ１３６が、四肢の個々の部分（セグメント）や、図２に示されるプリズムより詳細な形状データを含む、物体１２０のより複雑なモデルを定めることができると考えられる。例えば、ジオメトリデータ１３６は、任意の数のパーツに分けられるワイヤフレームモデルを定めることができ、各部がエッジでつながっている複数の表面を含む。
【００５５】
ジオメトリデータ１３６を保存するために任意の適切なフォーマットが用いられることも可能と考えられる。すなわち、ジオメトリデータ１３６が図２の表のフォーマットに示されるにもかかわらず、多種多様な他のフォーマットも用いられ得る。ジオメトリデータ１３６を取得する、または創り出すために用いられる技術も、特に制限されない。例えば、任意の適切なコンピュータ支援設計（ＣＡＤ）ソフトウェアも、ジオメトリデータを生成するために用いられ得る。他の実施例において、ジオメトリデータ１３６は、深度マッピング（奥行き距離情報）、ＬＩＤＡＲ、マルチ・カメラ３Ｄイメージング、ライトフィールドカメラ・イメージング、構造化光イメージングまたは他の適切な技術を用い、スキャン物体１２０自体によって発生させることができる。
【００５６】
ここで図３に変わって、画像データ１３８の実施例が論じられる。本実施例において、画像データ１３８は、２つの画像、３００および３０４を定める。各画像は、画像ファイルとしてメモリ１２６に保存される。画像データ１３８を構成する画像ファイルはそれぞれ、分野または他の適切なデータ構造に体系化され得る様々なタイプのデータを含む。各タイプのデータは、画像を識別して読み出すコンピュータ装置１０８によって利用されるファイル名、例えば画像サイズ、作成日付（図示せず）などのメタデータ、色および輝度データ、そして、マッピング・メタデータとも称される、ジオメトリデータ１３６への参照を含むことができる。
【００５７】
このように、画像３００は、ファイル名フィールド３０６（「ｓｔｏｐ．ｂｍｐ」）および画像３００（２００×２００ピクセル）のサイズを特定している画像サイズフィールド３０８を含んでいるファイルによって、定義される。画像サイズフィールド３０８は、省略され得るか、または異なる方法（例えば、画素ベースのサイズよりむしろ、または、それに加えて、アスペクト比および総ピクセル数の一方または両方が特定され得る）で表示され得ると考えられる。画像３００はまた、ピクセルアレイの形で色および輝度データ３１０によって定義される。アレイ中の各画素は、３つの明度（赤チャネル「Ｒ」、緑チャネル「Ｇ」および青チャネル「Ｂ」各々のためのもの）、および一つの輝度値（「Ｌ」）を含む。本実施例では、ピクセルアレイ３１０は、フィールド３０８で指定されている寸法に対応する、４０，０００の画素（全て示されない）を含む。色および輝度データの多種多様なタイプが熟考される。例えば、画像３００は、個々の画素値によってよりもむしろベクトルデータによって定義され得る。一部の実施例において、ピクセルアレイが使われるときでも、画像ファイルにおいて定められなければならない個々の画素（ピクセル）の数を減らすために、圧縮アルゴリズムが用いられ得る。加えて、赤、緑、青および輝度値は、他の任意の適切なカラーモデル（例えばＣＭＹＫ）によっても置換され得る。
【００５８】
さらに、ファイルを定めている画像３００は、上記したように、モデル２００の一部に関連するマッピング・メタデータ・フィールド３１２を含む。画像３００がプロジェクタ１０４によって投影域１１２に投影されるときに、物体１２０上の画像３００の配置を決定するためにマッピング・メタデータ・フィールド３１２が用いられる。マッピング・メタデータ・フィールド３１２はまた、（例えば、胴２０４の指定された端からの座標または距離を経由して）画像３００の胴２０４上の正確な位置はもちろん、胴２０４に関して画像３００の方向付けを特定する付加的なデータを含むこともできる。
【００５９】
画像３０４は、上記のそれらに類似した構成要素を有するファイルによって定義される。このように、画像３０４を定めているファイルは、ファイル名フィールド３１６、サイズフィールド３１８、ピクセルアレイ３２０およびマッピング・メタデータ・フィールド３２２を含む。
【００６０】
いくつかの例において、個々の画素または画素（図３で示すラスターまたはビットマップ画像の）のブロックまたはベクトルデータ（ベクトル画像で、図示せず）は、ピクセルアレイ３１０および３２０から別々のフィールドに限定されているマッピング・メタデータよりもむしろマッピング・メタデータを含むことができると考えられる。すなわち、特定の画素は、ジオメトリデータ１３６の特定の部分にマップ（位置付け）され得る。従って、一般に、画像データ１３８は、少なくとも一部のジオメトリデータ１３６に関連しているマッピング・メタデータを含む。加えて、図３における実施例の画像データが２つの静的画像を定めるにもかかわらず、画像データ１３８は一連の画像またはビデオストリームの形で動画を定めることもできる。
【００６１】
システム１００の構成要素を記載した後、図４を参照して、システム１００の動作をこれから詳述する。図４は、投影域１１２に画像を投影する方法４００を表す。方法４００の実行は、システム１００におけるその実行に関連して述べられる。但し、方法４００が他の適切なシステムによって実行されることも可能と考えられる。
【００６２】
上述のように方法４００は、コンピュータ装置１０８がジオメトリデータ１３６および画像データ１３８を保存するように構成されるブロック４０５から始まる。物体１２０を含み、かかる物体が投影域１１２に存在するときに、その上に画像が投影される多種多様な物体に対してジオメトリデータが保存され得ると考えられる。さらに、ジオメトリデータ１３６によって表される物体のいかなる組合せにも関連し得る多種多様な画像のために画像データが保存され得ると考えられる。また、上述したように、例えば、スライドショーまたはビデオが投影域１１２に投影されることになっているときに、画像データ１３８は、その中に定められる様々な画像のためのシーケンスを特定することもできる。そのような場合、各画像ファイルは、シーケンス番号を含むことができる、あるいは、画像データ１３８は、特定の順序でいくつかの画像サブファイルを含むビデオファイルを含むことができる。しかしながら、方法４００の現在の実施例実行のために、ジオメトリデータ１３６および画像データ１３８は、本明細書中では前述したように見なされる（すなわち、単一の物体および２つの画像を定める）。
【００６３】
ブロック４１０へ進んで、コンピュータ装置１０８は、ジオメトリデータ１３６に対応する投影域１１２の中で任意の物体を検出し、プロジェクタ１０４と関連して検出された物体それぞれの位置および方向付けを決定するように構成される。投影域１１２の中で物体の位置および方向付けを確認（識別）し、決定するための様々な方法が熟考される。例えば、ＬＩＤＡＲ装置のような深度マップ生成装置（図示せず）は、コンピュータ装置１０８に接続される得、投影域１１２の深度マップを生成することができる。コンピュータ装置１０８は、そのときジオメトリデータ１３６によって表されている任意の物体が深度マップ中に存在するかどうか、判定することができる。他の距離測定および深度マップ生成の装置もまた、実施することができる。
【００６４】
他の実施例において、この種の距離測定または深度マップ生成の技術は、例えば所在位置を決定して、所在位置をコンピュータ装置１０８に送信する、物体１２０に装着されるＧＰＳレシーバ（図示せず）のような、位置探査技術と置き換えられることができるか、または加えられ得る。
【００６５】
本実施例では、図５に関連して述べられるように、ブロック４１０の実行は、プロジェクタ１０４およびカメラ１１６の両方を含む。図５は、方法４００のブロック４１０における実行例を表す。ブロック５００から始まって、コンピュータ装置１０８は、構造化光のパターンを投影域１１２に投影するために、プロジェクタ１０４またはプロジェクタ１０４から離れる他の光源（図示せず）を制御するように構成される。構造化光の性質は、特に制限されない。構造化光の投影は、光の並列ライン、光のグリッド、グレイ・コード・パターン、光のフルフレーム、などの配置を含むことができる。一般に、ブロック５００で投影される構造化光は、投影領域１１２から反射される構造化光の部分がカメラ１１６によってとらえられ、コンピュータ装置１０８によって、後述するように、物体の位置および方向付けを決定するために用いることができるように選択される。
【００６６】
図６において、投影域１１２に投影される一連の光の並列ライン６００として、構造化光６００の実施例が示される。図６に示されるように、物体１２０および１２２（そして、実際に、投影域１１２における任意の他の物体）は、構造化光６００の部分を妨げる。図６に示される並列ラインは説明の適用上、単に設けられ、構造化光の任意の適切なパターンがブロック５００で使われ得る。
【００６７】
本実施例では、デジタル画像を投影することについてプロジェクタ１０４がその主要目的のために使われているのはもちろん、プロジェクタ１０４が同じ光変調技術を使用している構造化光６００の生成によく適しているように、構造化光６００は、プロジェクタ１０４自体によって投影される。構造化光６００は、可視光あるいは不可視光（すなわち、人間観察者による可視スペクトルの範囲内で、または、可視スペクトルの外側で）であり得る。従って、上述したように、プロジェクタ１０４は、可視光および不可視光を投影することができる。この種のプロジェクタの実施例は、米国の公開特許出願番号第２０１０／０１１０３０８号において提供されている。構造化光６００が可視スペクトルの範囲内であるときでもなお、観察者に感知できないような十分に短い期間に対してブロック５００で投影されることによって、人間観察者にとって目に見えなくすることができる。動画におけるサブリミナル・メッセージの実践において実証されているように、構造化光間隔の長さが十分に短い期間の場合、それらは人間によって意識的知覚の閾値以下にある。
【００６８】
図５に戻り、ブロック５０５において、コンピュータ装置１０８は、投影域１１２の画像をとらえる（取り込む）ためにカメラ１１６を制御するように構成される。構造化光６００が一定の時間間隔だけ（シナリオにおいて上記の可視光を使用するように）投影されるときに、カメラ１１６のシャッターは構造化光６００が投影される間隔の間にだけ開くのに同期される。投影域１１２上の構造化光６００の投影の間、ブロック５０５でカメラ１１６によって画像がとらえられるように、コンピュータ装置１０８から有線または無線信号によって同期化が提供され得る。その結果、投影域１１２上の任意の周囲光や任意の投影画像の取り込み画像への影響は、最小化され、そして、取り込み画像はカメラ１１６後方の投影領域１１２から反射される構造化光６００の任意の部分も含む。ブロック５０５においてカメラ１１６が画像を捕えるシャッター速度は、特に制限されないが、物体１２０の動作のため、取り込み画像における動作ぼけを回避するために、十分に速い。さらなる処理のために、ブロック５０５で捕えられる画像は、メモリ１２６での記憶のためのコンピュータ装置１０８に提供される。
【００６９】
カメラ１１６によってとらえられ（取り込まれ）、ブロック５０５でコンピュータ装置１０８に送信される画像は、画像７００として図７に示される。画像７００は、構造化光６００への障害を表す構造化光６００の反射される部分であるシグネチャ７０４を含む。それぞれ、シグネチャ７０４のサブセット７０４―１および７０４―２は、物体１２０および１２２からの反射光である。画像７００は、シグネチャ７０４に加えて物体１２０および１２２を示す。とはいえ、他の実施例で、カメラ１１６はフィルタまたは感度閾値を経由してシグネチャ７０４だけをとらえるように構成され得る。このような実施例において、シグネチャ７０４だけは見えるが、物体１２０および１２２の外形は画像７００において見えない。
【００７０】
図５に示すように、その後、コンピュータ装置１０８は、受信画像７００を持って、ブロック５１０を実行するように構成される。コンピュータ装置１０８は、ブロック５１０において、対象物体、すなわち、ジオメトリデータ１３６によって定義される物体に対応するシグネチャを検出するために画像７００を処理するように構成される。従って、コンピュータ装置１０８は、ブロック５１０を実行するために、シグネチャ７０４の対応させられるジオメトリデータ１３６の部分を決定するように構成される。本実施例では、シグネチャ７０４―１は、ジオメトリデータ１３６に対応し、その一方で、シグネチャ７０４―２は、ジオメトリデータ１３６のいずれにも対応しない。換言すれば、ブロック５１０で実行される検出は、どの対象物体がカメラ１１６の視野の中にあるかを指し示す。
【００７１】
ブロック５１０で検出を実行したコンピュータ装置１０８は、ジオメトリデータ１３６によって定義される物体に対応するシグネチャが画像７００において検出されたか否かに基づいて、異なる一連の行動をとるように構成される。ブロック５１５において、対象物体に対応するシグネチャがブロック５１０で検出されない場合、コンピュータ装置１０８は、方法４００のブロック４１５に戻るように構成される。しかしながら（現在の実施例における方法４００の実行のように）、ジオメトリデータ１３６によって定義される物体に対応するシグネチャが、ブロック５１０で検出された場合、コンピュータ装置１０８はブロック５２５を実行する。
【００７２】
ブロック５２５において、コンピュータ装置１０８は、カメラ１１６と関連してそれらの検出物体の位置および方向付けを決定するために、対象物体に対応するシグネチャ７０４とジオメトリデータ１３６とを比較するように構成される。従って、本実施例では、コンピュータ装置１０８は、シグネチャ７０４―１をジオメトリデータ１３６と比較し、その一方で、シグネチャ７０４―２は無視される。決定された位置および方向付けは、ジオメトリデータ１３６に適用されるときに、物体１２０の現在の位置および方向付けに実質的にマッチするモデル２００の変換されたバージョン（図２に示されるモデル２００の「ニュートラル」のバージョンと比較される）を定める変換を表しているデータとして、保存され得る。ブロック５２５から生じているモデル２００の変換されたバージョン８００は、図８に示される。ブロック５２５の実行が終了しているときに、コンピュータ装置１０８は、方法４００のブロック４１５に戻るように構成される。
【００７３】
ブロック５１０および５２５を実行するために用いる技術の特性は、特に制限されず、一般に、どの対象物体がカメラ１１６の視野に存在するか、そして、それらの物体の位置および方向付けが何かを決定することをコンピュータ装置１０８が可能にする。さまざまなマシンビジョン技術は、現在、例えば映画製作において使用するモーション・キャプチャ処理技術などの技術に精通したところに発生する。この種の技術の非限定的な実施例は、次の刊行物、米国特許第６０６４７５９号、そして、ＰＣＴ  公開特許出願番号第２００９／１２００７３号および第２００９／０３２６４１号に示される。付加的情報および代替技術は、米国公開特許出願番号第２００８／００３６５８０号や第２０１２／００８７５７３号、ＰＣＴ公開特許出願番号ＷＯ  ２００７／０５０７７６に示される。
【００７４】
ブロック４１５において、コンピュータ装置１０８は、ブロック５２５で決定される位置および方向付けに基づいて、そして、画像データ１３８に基づいて、「キャンバス」画像を生成するように構成される。ブロック４１５で発生するキャンバス画像は、プロジェクタ１０４によって、全体として（図１の点線で示すように）投影域１１２上に、そして、投影域１１２の物体１２０だけでなく、他の物体上に映される画像である。キャンバス画像を生成するために、コンピュータ装置１０８は、ブロック５１０で検出される対象物体を参照する画像データ１３８の任意の部分を読み出し、そして、ブロック５２５で決定され、保存された同じ変換を適用することによって画像データ１３８のそれらの読み出された部分の修正版を生成するように構成される。
【００７５】
方法４００の本実施例の実行において、シグネチャ７０４―１は、ブロック５１０で物体１２０（より具体的には、ジオメトリデータ１３６で定義されているようなモデル２００）に対応することを、決定される。従って、コンピュータ装置１０８は、ジオメトリデータ１３６におけるモデル２００の参照を含む画像データ１３８の任意の部分を読み出すように、ブロック４１５で構成される。画像データ１３８両方のファイルがモデル２００の参照を含むので、本実施例では、画像３００および３０４の両者はブロック４１５で読み出される。
【００７６】
画像データ１３８から関連した画像を読み出した後、コンピュータ装置１０８は、物体１２０の検出位置および方向付けにマッチした画像３００および３０４の修正版を生成するように、またデジタルキャンバス上に修正画像を位置付けするように、すなわち、一つのより大きなキャンバス画像の部分として修正画像を配置するように、構成される。次に図９を参照して、画像３００および３０４の修正版９００および９０４は、それぞれ、キャンバス画像９１２の部分として示される。キャンバス画像９１２の範囲内の修正版９００および９０４の位置は、画像７００から決定されるモデル２００の胴２０４および右脚２２０の位置にマッチさせるために、セットされた。加えて、修正版９００および９０４は、モデル２００の方向付けにマッチさせるために変換された。ブロック５２５で決定されるそれらと同じ変換は、修正画像９００および９０４を生成するために、画像３００および３０４に適用される。このような変換は、スキューイング、スケーリング、回転、部分的なディスプレイのためのクロッピング、などを含むことができる。
【００７７】
図４に戻って、方法４００の実行は、ブロック４２０に進み、ここではコンピュータ装置１０８がブロック４１５で発生するキャンバス画像９１２を投影域１１２上に投影するためにプロジェクタ１０４を制御するように構成される。従って、ブロック４２０の実行は、コンピュータ装置１０８からインタフェース１３２を介してプロジェクタ１０４へキャンバス画像９１２を送付することを含む。コンピュータ装置１０８からキャンバス画像９１２を受け取って、プロジェクタ１０４は、キャンバス画像９１２を投影域１１２に投影する。図１０に示されるように、ブロック４２０の実行の結果は、物体１２０の位置および方向付けを把握するためプロジェクタ１０４によって要求されるいかなる運動もなしに修正版９００および９０４が物体１２０の位置および方向付けにマッチするような、物体１２０上のキャンバス画像９１２の範囲内の修正版９００および９０４の投影である。
【００７８】
その後、方法４００の実行はブロック４２５に進み、ここではコンピュータ装置１０８が投影域１１２上への画像の投影（映写）を続けるべきか否かについて決定する。上述したように、一連の画像は、ビデオが投影域１１２に投影されるように、画像データ１３８によって定義され得る。例えば、画像３００および３０４（ひいては修正版９００および９０４）の一方または両方は、活動させられるか、または、任意の定義済み周辺フレームの範囲内でカプセル化されるビデオのセグメント（断片）であり得る。この種の実施例において、キャンバス画像９１２は、少なくともビデオまたはアニメーションによって定義されるフレーム率で更新される（すなわち、ブロック４２５の実行が繰り返される）。他の実施例において、画像データ１３８は、特定の画像が投影されるべき時間の長さを定めることができる。例えば、画像３００および３０４は、それらが１時間連続的に投影されることを指定しているメタデータを含むことができる。さらに他の実施例において、システム１００は、投影を中断させているかまたは投影される画像データを変化させているコンピュータ装置１０８で入力データが受け取られるまで無期限に同じ画像を投影し続けるように構成され得る。上記の実施例の組合せも、十分考えられる。
【００７９】
本実施例では、画像３００および３０４の連続投影（上記考察につき、必要に応じて変換される）が生じるように、コンピュータ装置１０８が構成されると仮定される。従って、ブロック４２５の判定は肯定的であり、コンピュータ装置１０８はブロック４１０―４２０の動作を繰り返し、それ故、他の「フレーム」を投影する。同じ画像が投影されるにもかかわらず、それらの位置および方向付けは、物体１２０とプロジェクタ１０４の間での相対的な運動を構成するように変更される場合がある。図１１は方法４００の次の実行の実施例を示しており、物体１２０は、投影域１１２の中の異なる区域へ移動され、カメラ１１６で見えない（画像３０４の修正版が物体１２２に投影されないことに留意する）物体１２０の右脚（モデル２００の右脚２２０に対応する）のため、画像３０４の修正版は投影されない。その代わりに、胴２０４の検出位置および方向付けにマッチしている位置および方向付けでもって、画像３００の修正版１１００だけは、投影される（修正版１１００は異なるサイズであって、修正版９００より異なる角度で歪曲される）。
【００８０】
ブロック４１０―４２５の反復の周波数は、特に制限されない。本実施例では、実質的に物体１２０のリアルタイム追跡を提供することに応じて、周波数は十分に高い。このように、ブロック４１０―４２５は、１秒につき約６０回から約１２０回実行され得る（すなわち、１秒につき約３０の別々のキャンバス画像が発生する）。上記の範囲は単なる一例にすぎず、コンピュータ装置１０８の処理能力およびシステム１００が用いられる特定の状況に応じて、より高いおよび低いフレーム率も、検討される。
【００８１】
方法４００の実行が上記のように繰り返されるときに、ブロック４２０でのキャンバス画像の投影およびブロック５００の構造化光の投影は実質的に同時か、または交互に行うことができる。例えば、プロジェクタ１０４が同時に可視および不可視の光を投影することができるときに、キャンバス画像は、次のキャンバス画像を生成するために用いられる構造化光として、同時に投影され得る。他の実施例において、構造化光は、次のキャンバス画像を生成するために用いられる構造化光の各フレームで、フレームの間（すなわち、投影されたキャンバス画像の間）に投影され得る。
【００８２】
このように、上記に示したように、システム１００は、投影域１１２の特定の物体上へ、物体とプロジェクタ１０４の間での相対的な運動を構成するキャンバス画像の部分として、画像が投影されるのを可能にする。上記で、プロジェクタ１０４が好ましくは固定されている（動かない）として記載されているにもかかわらず、プロジェクタの動きならびに物体の運動を構成することについて、本願明細書において記載されている原則は適用され得る。図１２において、例えば、プロジェクタ１０４およびカメラ１１６は、投影域１１２との関連で移動した。その結果、物体１２２は、カメラ１１６の視野から物体１２０の右脚を見えなくする。その結果、画像３０４は、投影されない。
【００８３】
上記の変形例に加えて、システム１００および方法４００に対するさらなる変形例も検討される。例えば、プロジェクタ１０４およびカメラ１１６の一方または両方は、複数のプロジェクタまたは複数のカメラに置き換えられ得る。例えば、投影域１１２のサイズは、いくつかのプロジェクタが完全な投影範囲を提供することを必要とするようなもの、そしていくつかのカメラが投影域１１２の完全な画像をとらえることを必要とするようなものでよい。このような実施例では、コンピュータ装置１０８は、キャンバス画像９１２をプロジェクタのアレイの中で分けるように構成され得、カメラのアレイから受け取られる複数の画像の複合物として画像７００を生成するように構成されることも可能である。
【００８４】
他の変形例において、２種類のプロジェクタは、システム１００において提供され得る。一つのタイプは構造化光６００を投影するために用いることができるが、他のタイプはキャンバス画像９１２を投影するために用いることができる。前項で述べたとおり、各タイプの単一のプロジェクタあるいは各タイプの複数のプロジェクタが提供され得る。
【００８５】
さらなる変形例において、投影域１１２におけるオクルージョンとシャドウの影響を低減させることによるブロック５１０および５２５での決定の正確さを強化するために、反射マーカーは、例えば投影域１１２における物体１２０のような対象物体に添付され得る。図１３は、システム１００の実施例を示し、プロジェクタ１０４が赤外線または他の光１３００のフルフレームの形で構造化光を投影し、物体１２０が光１３００を反射する複数のマーカー１３０４を持っている。この変形例では、上記のシグネチャは、カメラ１１６によって捕えられるマーカー１３０４からの反射によって提供されている。
【００８６】
図１３の実施例に対するさらなる変形例において、異なるタイプのマーカー６０４は、異なる対象物体に固定され得る。例えば、特定の反射特性を有するマーカーは一つの物体に固定することができ、その一方で、異なる反射特性を有するマーカーは他の物体に固定することができる。この種の実施は、異なる物体を検出し、それらの物体の位置および方向付けを決定するのに必要な計算資源を少なくすることができる。
【００８７】
他の実施態様において、システム１００は、画像データをそれらの物体に投影することよりはむしろ、投影域１１２における様々な物体の照明を制御するように構成され得る。本明細書で用いられる照明とは、（異なる物体に対して異なる照明パラメータに起因して、全体として投影域１１２に対する所定の空間的変化があるにもかかわらず、）物体上への所定の空間的変化のない光の投影のことである。例えば、画像３００（ピクセルアレイ３１０によって定義される色および輝度における空間的変化がある）を所与の物体に投影するよりはむしろ、その物体を照明することは同じ色、輝度および他の属性を有する光をその物体全体に投影することから成る場合がある。画像投影と照明の差異は、下記の考察において当業者にとって明らかになるであろう。
【００８８】
画像投影よりもむしろ物体の照明を制御するように構成される実施例において、コンピュータ装置１０８は、画像データ１３８よりもむしろ照明データをメモリ１２６に保存するように構成される。図１４に変わって、照明データ１４００の実施例が示される。照明データ１４００は、任意の好適な方法においてフォーマット化され得、表で例示されるフォーマットに限られない。図１４のテーブルの行として図示されるように、照明データ１４００は、一つ以上の記録１４０４―１、１４０４―２および１４０４―３を定める。各記録１４０４は、投影域１１２の中で一つ以上の物体がどのように照明されているかについて、定める。
【００８９】
照明データ１４００の各記録１４０４は、ジオメトリデータ１３６への参照およびその参照に対応する物体または物体に投影されるライトの特性を定めている一つ以上のパラメータを含む。図１４の実施例において、記録１４０４―１はジオメトリデータ１３６への空白であるかヌル参照を含み、記録１４０４―２はモデル２００のヘッド２２４への参照を含み、そして、記録１４０４―３はモデル２００の胴２０４への参照を含む。ジオメトリデータ１３６への多種多様な他の参照が検討される。例えば、単一の与えられた記録は、全体としてのモデル２００に、または、複数のモデルまたはパーツへ参照することができる。
【００９０】
記録１４０４―１のヌル参照は、照明データ１４００中の他のどこかで参照された物体によって占有されていない投影域１１２の任意の部分の照明を、その記録１４０４―１が定めることを示す。これは、ジオメトリデータ１３６において定められるが、記録１４０４にない物体、およびジオメトリデータ１３６において定められない物体を含む。
【００９１】
図１に示すように、記録１４０４の参照の効果を例示するために、短時間に投影領域１１２を参照する。投影域１１２のその配列において、照明データ１４００によれば、物体１２０のヘッドおよび胴はそれぞれ記録１４０４―２および１４０４―３に従って照明され、その一方で、投影域１１２の残り（物体１２０の物体１２２、背景および脚および腕を含む）は記録１４０４―１に従って照明される。
【００９２】
上述したように、各記録１４０４も、照明特性を定めているパラメータを含む。例えば、図１４に示すように、各記録は、関連した物体を照明するために、光の輝度および色を指定する。輝度は、様々なフォーマットで指定され得る。本実施例では、各記録１４０４は、その記録１４０４において識別される物体または物体のためのｎｉｔ（カンデラ毎平方メートル（ｃｄ／ｍ２）とも称される）で目標輝度を指定する。他の単位、例えばフートランベルトなど（ｆＬまたはｆｔ―Ｌ）もまた、用いられ得る。一部の他の実施例において、輝度は、プロジェクタ１０４の一部分の最大出力として、記録１４０４でその代わりに指定され得る。色は、図１４に示されるイギリスの名称を含んで様々な方法で表され得、色はその後、プロセッサ１２４によって適切なカラーモデル（例えばＲＧＢ、ＣＭＹＫ）に転換され得る。他の実施例において、色は、カラーモデル中の記録１４０４において、対応するイギリスの名称の代わりに、表され得る。記録１４０４―１に示されるように、目標輝度がゼロである（すなわち、関連した物体は暗いままにされる）ときに、色パラメータは省略され得る。
【００９３】
上記の輝度パラメータは、投影域１１２における物体ごとに指定された目標輝度を達成するために、プロジェクタ１０４の出力を制御するプロセッサ１２４によって利用される。ここで図１５を参照すると、投影域１１２の物体を照明する方法４００ａが表されている。方法４００ａの実行は、システム１００のその実行と併せて議論されるが、他の適切なシステムによっても方法４００ａが実行され得ると十分考えられる。
【００９４】
後述する場合を除いて、方法４００ａのブロックは方法４００に関連して上記の通りに実行される。このように、ブロック４０５でのジオメトリデータ１３６の保存は前述のとおりであり、先に述べたように、画像データ１３８の保存が、照明データ１４００の保存と置き換えられる。ブロック４１０ａで、投影域１１２における物体の識別および位置決めは、上記の通りに同様に実行される。加えて、ブロック４１０ａにおいて、例えば図５に示されるブロック５０５の実行の一部として、コンピュータ装置１０８は、カメラ１１６によって捕えられる画像の各物体の輝度を決定するように構成される。輝度の決定は、カメラ１１６に含まれる光度計または当業者が思いつく他の技術からデータを受け取ることにより、取り込み画像を調べることによって行うことができる。特定の物体の明るさまたは投影域１１２における物体の領域は、物体表面の特徴、例えば（限定されないが）反射率、吸収、テクスチャ（質感）、屈折率などはもちろん、プロジェクタ１０４および任意の光の環境発生源からの入射光によっても影響される。
【００９５】
ブロック４１５ａにおいて、プロセッサ１２４は、投影域１１２を照明するためにプロジェクタ１０４により用いられ、キャンバス画像を生成するように構成される。キャンバス画像は、ブロック４１０ａで、そして、照明データ１４００上で決定される物体の位置、方向付けおよび輝度に基づく。より具体的には、ブロック４１０ａでの決定に基づいて、プロセッサ１２４は、照明データ１４００において参照された各物体によって占められるキャンバス画像の領域を識別する。このように、プロセッサ１２４は、ヘッド２２４によって占められるキャンバス画像の領域、胴２０４によって占められる領域、および他の全ての物体によって占められる領域を識別する。これらの領域は、ブロック４１０ａでモデル２００（または他のジオメトリデータ）に適用される変換に基づいて生成され得る。
【００９６】
キャンバス画像の関連した領域を識別すると、ブロック４１０ａで検出されるように、プロセッサ１２４は、照明データ１４００におけるパラメータおよび投影域１１２の物体の輝度に基づいて各領域を埋めるように構成される。本実施例において、プロセッサ１２４は、記録１４０４―２で指定されている目標輝度を達成するように、ヘッド２２４によって占められる領域を、選択される輝度の白色で埋めるように構成される。キャンバス画像に対する輝度の選択は、様々な方法で実行され得る。例えば、プロセッサ１２４は、目標輝度をプロジェクタ出力（例えば、様々なキャンバス画像輝度レベルによって得られたプロジェクタ出力の各種レベルに対する目標輝度をプロットしている曲線）に関連する定義済み機能に従ってキャンバス画像の領域に対する輝度を選択するように構成され得る。プロセッサ１２４はまた、ブロック４１０ａで検出される輝度を構成するために、この種の機能の出力を変更することもできる。例えば、キャンバス画像のために選択される輝度は、検出輝度が照明データ１４００で指定されている目標輝度を下回る場合、増加され、あるいは検出輝度が照明データ１４００で指定されている目標輝度を上回る場合、減少され得る。
【００９７】
同様に、プロセッサ１２４は、記録１４０４―３で指定されている目標輝度を達成するように、胴２０４によって占められる領域を、選択される輝度の赤色で埋め、残りのキャンバス画像を黒色またはヌル照明で埋めるように構成される。
【００９８】
変わって図１６では、ブロック４１５ａの実行によって生じるキャンバス画像１６００が示されている。図１６に示されるように、ヘッド２２４によって占められるキャンバス画像１６００の領域１６０４は、白色で、２００ｎｉｔの明るさにヘッド２２４を照明するように選択される輝度を有する。胴２０４によって占められるキャンバス画像１６００の領域１６０８は、赤色を呈し、１００ｎｉｔの明るさに胴２０４を照明するように選択される輝度を有する。キャンバス画像１６００の残りは、黒であり（または、一部の例では透明であり）、０（ゼロ）の輝度を有する。
【００９９】
図１５を再度参照して、キャンバス画像１６００の生成の後、ブロック４２０ａで、プロセッサ１２４は、キャンバス画像１６００を投影域に投影するために、プロジェクタ１０４を制御するように構成される。ブロック４２０ａの実行結果は、図１７に示される。図１７に示されるように、キャンバス画像１６００は、プロジェクタ１０４（コンピュータ装置１０８の管理下の）によって投影域１１２に投影され、そして、図１６に関連して述べられる部分は照明データ１４００のジオメトリデータ参照に対応する物体の位置と一致する。
【０１００】
上記のようにブロック４２５に関連して、プロセッサ１２４は、ブロック４２０ａの実行に続いて、さらなる投影が必要かどうか決定するように構成される。
【０１０１】
当業者はまた、上記のシステム及び方法に対するさらに他の変形に気付くであろう。
【０１０２】
実施例によっては、アプリケーション１３４を実行しているコンピュータ装置１０８の機能性は、予めプログラムされたハードウェアまたはファームウェア素子（例えば、特定用途向け集積回路（ＡＳＩＣ）、電気的消去可能ＲＯＭ（ＥＥＰＲＯＭ）など）、あるいはその他の関連する構成要素を用いて実行され得ると、当業者は十分理解するであろう。
【０１０３】
当業者は、実施例を実施するための、可能な限りのさらに多くの別の実施および変さらがあり、上記の実施および実施例が一以上の実施例の説明だけであると、十分理解するであろう。従って、有効範囲は、本願明細書に添付の特許請求の範囲によって制限されるだけのものである。
【図１】
2015018554.tif 000003
【図２】
2015018554.tif 000004
【図３】
2015018554.tif 000005
【図４】
2015018554.tif 000006
【図５】
2015018554.tif 000007
【図６】
2015018554.tif 000008
【図７】
2015018554.tif 000009
【図８】
2015018554.tif 000010
【図９】
2015018554.tif 000011
【図１０】
2015018554.tif 000012
【図１１】
2015018554.tif 000013
【図１２】
2015018554.tif 000014
【図１３】
2015018554.tif 000015
【図１４】
2015018554.tif 000016
【図１５】
2015018554.tif 000017
【図１６】
2015018554.tif 000018
【図１７】
2015018554.tif 000019
【外国語明細書】
2015018554000001.pdf
2015018554000002.pdf
2015018554000003.pdf
2015018554000004.pdf