(57)【要約】  複数のターゲット画素を含むデジタルターゲット画像内の静的物体を表現するためのコンピュータ実装画像処理方法（１０００）、システムおよびコンピュータプログラム製品を開示する。静的物体は、異なる表面反射特性を有する表面要素を有する。この方法は、静的物体の複数のデジタルソース画像を受けるステップ（１１００）、ここで複数の各ソース画像は、一定の視野角および異なる照明角のもとでの１つ以上の静的物体を表し、表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、表面要素のターゲット画素に対する拡散成分を計算するステップ（１２００）、計算された拡散反射係数を使用することによって、１つ以上の表面要素のターゲット画素の法線ベクトルを生成するステップ（１３００）、ここで法線ベクトルは、１つ以上の表面要素の空間的な向きを表し、対応する最良適合関数値と異なる照明角について対応するソース画素の反射光強度値との間の距離として、１つ以上の表面要素のターゲット画素の光沢係数を決定するステップ（１４００）、および、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、１つ以上の表面要素のターゲット画素に対する光沢成分を生成するステップ（１５００）を含む。
2019527355.tif 000002
【特許請求の範囲】
【請求項１】
複数のターゲット画素を含むデジタルターゲット画像内の１つ以上の静的物体を表現するためのコンピュータ実装画像処理方法（１０００）であって、前記１つ以上の静的物体は、異なる表面反射特性を有する表面要素を有し、前記方法は、
前記１つ以上の静的物体の複数の、ソース画像と称するデジタル画像を受けるステップ（１１００）、ここで前記複数の各ソース画像は、一定の視野角および異なる照明角のもとでの前記１つ以上の静的物体を表し、
前記１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとで前記ソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、１つ以上の表面要素のターゲット画素に対する拡散成分を計算するステップ（１２００）、
前記計算された拡散反射係数を使用することによって、前記１つ以上の表面要素の前記ターゲット画素の法線ベクトルを生成するステップ（１３００）、ここで前記法線ベクトルは、前記１つ以上の表面要素の空間的な向きを表し、
前記対応する最良適合関数値と前記異なる照明角について前記対応するソース画素の前記反射光強度値との間の距離として、前記１つ以上の表面要素の前記ターゲット画素の光沢係数を決定するステップ（１４００）、および、
前記対応する法線ベクトルおよび前記決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、前記１つ以上の表面要素の前記ターゲット画素に対する光沢成分を生成するステップ（１５００）を含む、コンピュータ実装画像処理方法（１０００）。
【請求項２】
前記一定の視野角および第１の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像をレンダリングするステップ（１６００）をさらに含む、
請求項１に記載の方法。
【請求項３】
前記一定の視野角および第２の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像を再レンダリングするステップ（１７００）をさらに含む、
請求項２に記載の方法。
【請求項４】
レンダリングするステップ（１６００）および再レンダリングするステップ（１７００）は、１つ以上の方向センサを有するモバイルコンピューティング装置によって実行され、前記第１および第２の照明角は、前記１つ以上の方向センサからの第１および第２のセンサデータから導出され、前記第１および第２のセンサデータは、前記モバイルコンピューティング装置の第１および第２の向きにそれぞれ関連付けられている、請求項３に記載の方法。
【請求項５】
少なくとも１つのさらなる一定の視野角に対して前記方法が反復的に繰り返される（１８１０）、請求項１から４のいずれか一項に記載の方法。
【請求項６】
光沢成分を生成することは、所定の閾値を超える光沢係数を有するターゲット画素に対してのみ実行される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記反射モデルの修正された反射パラメータを受けるステップをさらに含み、前記修正されたパラメータは、前記表面要素の前記表面反射特性を表す、
請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記反射モデルが、フォンの反射モデル、クック・トランスモデル、ワード異方性モデル、およびガウスモデルのグループのうちのいずれか１つから選択される、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記最良適合関数は、２次以上の多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、フォークト関数のグループから選択される代数的または幾何学的最良適合関数である、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記１つ以上の表面要素に関連付けられた１つ以上の異なる材料を識別するステップをさらに含み、材料の同様の外観は、同様の反射特性によって決定される、
請求項１から９のいずれか一項に記載の方法。
【請求項１１】
コンピューティング装置のメモリにロードされ、前記コンピューティング装置の少なくとも１つのプロセッサによって実行されると、請求項１から１０のいずれか一項に記載の前記コンピュータ実装方法の前記ステップを実行する、コンピュータプログラム製品。
【請求項１２】
複数のターゲット画素を含むデジタルターゲット画像（１４１）内の１つ以上の静的物体表現をレンダリングするための画像処理コンピュータシステム（１００）であって、前記１つ以上の静的物体（２０１、２０２）は、異なる表面反射特性を有する表面要素（ａ、ｂ、ｃ、ｄ、ｅ）を有し、前記システムは、
前記１つ以上の静的物体（２０１、２０２）の複数（２１１）のデジタルソース画像を受けるように構成されたインタフェース成分（１１０）であって、ここで前記複数（２１１）の各ソース画像は、一定の視野角（α）および異なる照明角（β）のもとでの前記１つ以上の静的物体を表すインタフェース成分（１１０）と、
画像生成器（１３０）成分であって、
前記１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとで前記ソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、１つ以上の表面要素（ａ、ｂ、ｃ、ｄ、ｅ）のターゲット画素に対する拡散成分（ＤＣ）を計算するように構成された画像生成器（１３０）成分とを備え、
前記計算された拡散反射係数を使用することによって、前記１つ以上の表面要素（ａ、ｂ、ｃ、ｄ、ｅ）の前記ターゲット画素の法線ベクトル（ＮＶ）を生成し、ここで前記法線ベクトル（ＮＶ）は、前記１つ以上の表面要素の前記空間的な向きを表し、
前記対応する最良適合関数値と前記異なる照明角について前記対応するソース画素の前記反射光強度値との間の距離として、前記１つ以上の表面要素の前記ターゲット画素の光沢係数を決定し、
前記対応する法線ベクトルおよび前記決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、前記１つ以上の表面要素（ａ、ｂ、ｃ、ｄ、ｅ）の前記ターゲット画素に対する光沢成分（ＧＣ）を生成するように構成され、
前記一定の視野角（α）および第１の照明角について前記計算された拡散成分（ＤＣ）および光沢成分（ＧＣ）を用いて前記ターゲット画像（１４１）をレンダリングするように構成されたレンダリング成分（１４０）を含む、画像処理コンピュータシステム（１００）。
【請求項１３】
前記レンダリング成分（１４０）は、
前記一定の視野角および第２の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像を再レンダリングするようにさらに構成される、請求項１２に記載のシステム。
【請求項１４】
請求項１３に記載のシステムを含むモバイルコンピューティング装置であって、１つ以上の方向センサをさらに含み、前記第１および第２の照明角は、前記１つ以上の方向センサからの第１および第２のセンサデータから導出され、前記第１および第２のセンサデータは、前記モバイルコンピューティング装置の第１および第２の向きにそれぞれ関連付けられている、モバイルコンピューティング装置。
【請求項１５】
前記１つ以上の表面要素に関連付けられた１つ以上の異なる材料を識別するように構成された材料検出成分をさらに含み、材料の同様の外観は、同様の反射特性によって決定される、
請求項１１から１４のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、電子データ処理に関し、より詳細には、デジタル画像処理のための方法、コンピュータプログラム製品、およびシステムに関する。
【背景技術】
【０００２】
アナログおよびデジタル両方の写真は、物理的な物体およびその外観を表現することができる。しかし、デジタル写真を含む写真にはいくつかの欠点がある。写真は、物質および物体の光反射を捕捉する静的な方法であるため、光と表面の動的な相互作用を視覚化することはできない。例えば、これは、芸術作品、法医学、皮膚科学、考古学の物体、または（例えば、製品を売り込むための）高品質製品の視覚化を問わず、あらゆる種類の表面構造の表現または文書化にとって不利になり得る。このような欠点を克服するための先行技術のアプローチには、反射変換イメージング（Ｒｅｆｌｅｃｔａｎｃｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  Ｉｍａｇｉｎｇ、ＲＴＩ）（Ｍ．マッジら、自然科学および文化遺産の画像ベースの経験的情報収集、科学的信頼性、および長期デジタル保存、ユーログラフィックス、２００８年、参照）、博物館のための堅牢な写真ベースのデジタル画像技術の原理および実践（Ｍ．マッジら、第１１回ＶＡＳＴ仮想現実、考古学および文化遺産に関する国際シンポジウム、１１１〜１３７ページ、２０１０年）がある。
【０００３】
ＲＴＩは、被写体の表面形状および色を捕捉し、数学的モデルに基づいて任意の方向から被写体の対話式再照明を可能にする一連の計算撮影法である。多項式テクスチャマッピング（ＰＴＭ）は、従来技術の手法を記述している（Ｔ．マルツベンダー、Ｄ．ゲルプ、およびＨ．ヴォルタース、多項式テクスチャマップ、第２８回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議の議事録、５１９〜５２８ページ、２００１年、参照）。光の反射は、第１のステップで、複数の写真画像によって捕捉され、ここで物体は異なる位置からの光源によって（異なる照明角のもとで）照らされる。例えば、光源は、デジタル（ソース）画像が記録されるときに静的物体を照らすためにデジタルカメラと同期されるフラッシュ光（またはＬＥＤ光）であってもよい。第２のステップで、２次多項式が、各画素位置に対して測定された反射に適合される。しかし、ＰＴＭには、適用される数学モデルに限界がある。２次多項式は、ランバート面とも呼ばれる拡散（マット）面の反射を再現できるが、光沢の再現は不可能である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｍ．マッジら、自然科学および文化遺産の画像ベースの経験的情報収集、科学的信頼性、および長期デジタル保存、ユーログラフィックス、２００８年
【非特許文献２】Ｍ．マッジら、博物館のための堅牢な写真ベースのデジタル画像技術の原理および実践（第１１回ＶＡＳＴ仮想現実、考古学および文化遺産に関する国際シンポジウム、１１１〜１３７ページ、２０１０年）
【非特許文献３】Ｔ．マルツベンダー、Ｄ．ゲルプ、およびＨ．ヴォルタース、多項式テクスチャマップ（第２８回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議の議事録、５１９〜５２８ページ、２００１年）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、光沢のある表面要素を有する物体の写真表現のために光沢の再現が可能になるという点で、従来技術の手法を改善するアプローチが必要である。
【０００６】
ランバート面は、見かけの明るさが観察者の視点に依存しないように入射光を拡散させる。表面の放射輝度は、ランベルトのコサインの法則に従うと、法線と照明光源との間の角度に依存するが、法線と観察者との間の角度には依存せず、（例えば、マット面のように）均一な反射を有する。しかしながら、光沢面は鏡面反射の成分を有する。鏡面性は、光が反射法則（スネルの法則とも呼ばれる）によって定義される一方向にのみ反射されることを意味し、鏡は完全な鏡面反射を示す（Ｍ．ボーン、Ｅ．ワールド、光学の原理：伝播の電磁理論、光の干渉と回折、第６版、ペルガモン・プレス、１９８９年、参照）。単一または複数の材料で作られた物体の再現のためのＰＴＭ２次多項式の限界を克服する必要がある。物体表面要素は光と相互作用し、ほとんどの場合、拡散した光沢のある材料が物体を構成し、特徴的な外観を与える。言い換えれば、全く同一の物体は拡散材料からなる表面要素を有してもよく、光沢材料からなる表面要素を有してもよい。
【０００７】
上記の技術的課題は、画像処理方法、画像処理方法を実行するコンピュータシステムによって実行される対応するコンピュータプログラム製品、および独立請求項に記載のコンピュータシステムによって解決される。
【課題を解決するための手段】
【０００８】
一実施形態において、複数のターゲット画素を含むデジタルターゲット画像内の１つ以上の静的物体表現（すなわち、１つ以上の静的物体の表現）をレンダリングするための画像処理コンピュータシステムを提供する。デジタルターゲット画像は、複数のソース画像を処理することによってコンピュータシステムによって実行される画像処理方法の結果である。１つ以上の静的物体は、異なる表面反射特性を有する表面要素を有する。静的物体は、可視の表面要素が、異なる反射特性を有する異なる材料（例えば、ガラス、木材、石など）で構成され得る実世界の物理的物体である。
【０００９】
このシステムは、１つ以上の静的物体の複数のデジタルソース画像を受けるためのインタフェース成分を有し、複数の各ソース画像は、一定の視野角のもとおよび異なる照明角のもとでの１つ以上の静的物体を表す。例えば、デジタルカメラを固定位置に配置することができる。カメラは、一定の視野角のもとで静的物体に向けられる。静的物体は、光源（有利には指向性光源）によって照らされる。各ソース画像について、光源は異なる位置に移動され、その結果、各ソース画像は異なる照明角で記録される。
【００１０】
システムはさらに、改善されたターゲット画像に到達するために必要な計算ステップを実行する画像生成器成分を有する。計算タスクは、システムの１つ以上のプロセッサ成分によって実行される。第１のステップにおいて、画像生成器は、１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、１つ以上の表面要素のターゲット画素に対する拡散要素を計算する。ＰＴＭアプローチでは、このステップは、２次多項式を最良適合関数として実行される。しかし、例えば、高次多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、フォークト関数などのグループから選択された代数的または幾何学的最良適合関数、または当業者に既知の任意の他の可能性のある最良適合関数などの他の適切な数学的最良適合関数を代わりに使用することができる。
【００１１】
第２のステップにおいて、画像生成器は、計算された拡散反射係数を使用することによって、１つ以上の表面要素のターゲット画素の法線ベクトルを生成する。法線ベクトルは、１つ以上の表面要素の空間的な向きを表す。言い換えると、画像生成器は、対応する特定の表面要素の各画素について、それぞれの各画素の表面要素の面に直交する方向ベクトル（法線ベクトル）を決定する。
【００１２】
第３のステップにおいて、画像生成器は、対応する最良適合関数値と異なる照明角について対応するソース画素の反射光強度値との間の距離（すなわち、値の差）として、１つ以上の表面要素のターゲット画素の光沢係数を決定する。言い換えると、特定の画素位置に対する特定の反射光強度値とそれぞれの最良適合関数値との間の距離は、ソース画像から得られる拡散成分のモデルが特定の画素位置に対して不正確であることを示す。最良適合関数値からの距離は、特定の画素位置に存在する光沢の指標として見ることができる。
【００１３】
第４のステップにおいて、画像処理は、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックスシェーディングおよび反射モデルを重ね合わせることによって、１つ以上の表面要素のターゲット画素のための光沢成分を生成する。そのような反射モデルは、コンピュータグラフィックスの分野において既知であり、様々な反射モデルを使用して光沢を計算することができる。反射モデルの例には、フォンの反射モデル、クック・トランスモデル、ワード異方性モデル、およびガウスモデルが含まれる。
【００１４】
このステップの後、画像処理方法は、特定のターゲット画像をレンダリングするための情報を提供する。元のソース画像には、それぞれのソース画像が記録された複数の離散的な照明角についてのみ画素値が提供されているが、拡散および光沢成分が照明角の連続についてターゲット画像の画素値を提供するモデルであるため、任意の照明角に対してターゲット画像をレンダリングすることができることに留意されたい。
【００１５】
このシステムは、典型的には、一定の視野角および第１の照明角について計算された拡散成分および光沢成分を用いてターゲット画像をレンダリングするように構成されたレンダリング成分を有する。例えば、解決策は、任意のウェブブラウザでＲＴＩ画像をレンダリングするために、一般的に知られているグラフィックスライブラリであるｏｐｅｎＧＬまたはＷｅｂＧＬ（クロノスグループ、ビーバートン、米国が提供）を用いて実施することができる。ウェブベースの解決策は、様々な新しいアプリケーションおよび共同作業の可能性を開く。
【００１６】
レンダリング成分はさらに、一定の視野角および第２の（またはさらなる）照明角について計算された拡散成分および光沢成分を用いてターゲット画像を再レンダリングすることができる。すなわち、ターゲット画像は、拡散／光沢成分モデルに関連する照明天使の連続からの任意の照明角について視覚化することができる。
【００１７】
一実施形態では、以前に開示された画像処理システムを実装および実行するために、モバイルコンピューティング装置（例えば、スマートフォンまたはタブレットコンピュータ）を使用することができる。モバイル装置は、１つ以上の方向センサ（例えば、重力センサ、加速度センサ、ジャイロスコープなど）を含むことができる。例えば、モバイル装置のユーザはモバイル装置を移動する（傾ける）ことができ、その結果方向センサはモバイル装置の現在の向きを反映するセンサデータを提供する。次に、モバイル装置は、１つ以上の方向センサからの第１および第２のセンサデータから第１および第２の照明角を導出することができ、第１および第２のセンサデータは、モバイルコンピューティング装置の第１および第２の向きにそれぞれ関連付けられている。言い換えると、ディスプレイを傾けるユーザは、その動きに応答して方向センサデータの生成を開始することができ、センサデータは、センサデータにマッピングされた各照明角についてターゲット画像を再レンダリングするためのトリガとして使用される。
【００１８】
一実施形態では、システムは、１つ以上の表面要素に関連付けられた１つ以上の異なる材料を識別するように構成された材料検出成分をさらに含み、材料の同様の外観は、同様の反射特性によって決定される。
【００１９】
一実施形態では、デジタルターゲット画像内の１つ以上の静的物体を表現するためのコンピュータ実装画像処理方法が提供される。この方法は、１つ以上の静的物体の複数のデジタルソース画像を受けるステップ、ここで複数の各ソース画像は、一定の視野角および異なる照明角のもとでの１つ以上の静的物体を表し、１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、１つ以上の表面要素のターゲット画素に対する拡散成分を計算するステップ、計算された拡散反射係数を使用することによって、１つ以上の表面要素のターゲット画素の法線ベクトルを生成するステップ、ここで法線ベクトルは、１つ以上の表面要素の空間的な向きを表し、対応する最良適合関数値と異なる照明角について対応するソース画素の反射光強度値との間の距離として、１つ以上の表面要素のターゲット画素の光沢係数を決定するステップ、および、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、１つ以上の表面要素のターゲット画素に対する光沢成分を生成するステップを含む。
【００２０】
この方法は、ターゲット画像のターゲット画素について拡散および光沢成分を提供し、このターゲット画像は、次に、元のソース画像に基づくターゲット画像の最良適合関数値によってサポートされる照明角の範囲内の任意の照明角に対する特定のターゲット画像に組み立てることができる。
【００２１】
この方法は、一定の視野角および第１の照明角について計算された拡散成分および光沢成分を用いてターゲット画像をレンダリングするオプションのステップをさらに含むことができる。
【００２２】
この方法は、一定の視野角および第２の照明角について計算された拡散成分および光沢成分を用いてターゲット画像を再レンダリングするオプションのステップをさらに含むことができる。これにより、レンダリングおよび再レンダリングは、１つ以上の方向センサを有するモバイルコンピューティング装置によって実行されてもよい。第１および第２の照明角は、１つ以上の方向センサからの第１および第２のセンサデータから導出することができ、第１および第２のセンサデータは、モバイルコンピューティング装置の第１および第２の向きにそれぞれ関連付けられている。
【００２３】
この方法は、少なくとも１つのさらなる一定の視野角に対して反復的に繰り返されてもよい。例えば、複数のソース画像は、第１の一定の視野角に関連付けられた第１のソース画像セットと、第２のまたはさらなる視野角に関連付けられた第２のさらなるソース画像セットとを含むことができる。この実施形態では、第１の視野角に対してレンダリングされたターゲット画像から第２の（またはさらなる）視野角に対してレンダリングされたターゲット画像に切り替えることによって、静的物体の周りを仮想的に移動することが可能である。
【００２４】
一実施形態では、光沢成分を生成することは、所定の閾値を超える光沢係数を有するターゲット画素に対してのみ実行される。言い換えれば、所定の閾値は、元のソース画像の誤差から生じる光沢成分を除去するフィルタとして機能する。所定の閾値未満であるそれぞれの最良適合関数値からの光反射強度の距離は、閾値フィルタ関数によって抑制され得るそのような誤差として知覚され得る。
【００２５】
一実施形態では、この方法は、反射モデルの修正された反射パラメータを受けることをさらに含み、修正されたパラメータは、表面要素の表面反射特性を表す。例えば、ユーザは、光沢効果に関してターゲット画像をさらに改善するために、そのような修正された反射パラメータを入力することができる。場合によっては、静的物体の現実世界の状況と比較してターゲット画像が現実的でなくなる可能性があるが、人間の観察者によってより美的に知覚される可能性がある。
【００２６】
一実施形態では、方法は、１つ以上の表面要素に関連付けられた１つ以上の異なる材料を識別することをさらに含み、材料の同様の外観は、同様の反射特性によって決定される。言い換えれば、画像処理方法は、同様の反射特性を示すターゲット画像内の表面要素を識別し、同様の材料としてそのような表面要素を分類することができる。
【００２７】
一実施形態では、コンピュータプログラム製品は命令のセットを含み、命令のセットは、コンピューティング装置のメモリにロードされ、コンピューティング装置の少なくとも１つのプロセッサによって実行されると、上記コンピュータ実装画像処理方法のステップを実行する。
【００２８】
本発明のさらなる態様は、添付の特許請求の範囲に具体的に示される要素および組合せによって実現され、達成される。前述の一般的な説明および以下の詳細な説明の両方は、例示的および説明的なものに過ぎず、本発明を説明したものに限定するものではないことを理解されたい。
【図面の簡単な説明】
【００２９】
【図１】デジタルカメラから受けた複数のソース画像からデジタルターゲット画像を生成するための、本発明の一実施形態による画像処理コンピュータシステムを示す簡略化されたブロック図である。
【図２】デジタルターゲット画像内の１つ以上の静的物体を表現するための、本発明の一実施形態によるコンピュータ実装画像処理方法の簡略化されたフローチャートである。
【図３Ａ】拡散表面反射シナリオのための最良適合関数を示す。
【図３Ｂ】光沢表面反射シナリオのための最良適合関数を示す。
【図４】本発明の一実施形態による、ソース画像から材料フィルタリング閾値を識別するためのヒストグラムである。
【図５】異なる材料フィルタリング閾値が適用された３つの画像を示す。
【図６】本発明の一実施形態による、画素の光沢寄与を表すフィルタリング閾値スケールを有する画像を示す。
【図７】ここに記載する技術と共に使用することができる一般的なコンピュータ装置および一般的なモバイルコンピュータ装置の実施例を示す図である。
【発明を実施するための形態】
【００３０】
図１は、本発明の一実施形態による、画像処理コンピュータシステム１００の簡略化されたブロック図を示す。図１は、デジタルターゲット画像内の１つ以上の静的物体を表現するための、本発明の一実施形態によるコンピュータ実装画像処理方法１０００の簡略化されたフローチャートである図２の文脈で説明される。以下の説明の部分は、図１および図２を参照する参照番号を使用する。用語「ソース」および「ターゲット」は、処理の前後の画素／画像を指す。
【００３１】
コンピュータシステムは、デジタルカメラ２１０と通信可能に接続されている。カメラ２１０は、一定の視野角α（カメラから離れる点線の間の角度）のもとで１つ以上の静的物体２０１、２０２のデジタル画像をとることができる位置に配置される。物体は、移動しないという意味で静的である。この実施例では、２つの静的物体２０１、２０２は表面要素ａ、ｂ、ｃ、ｄ、ｅを有する。表面要素の一部は、異なる表面反射特性を有することができる。例えば、表面要素ｂ、ｅは木製部品であってもよいし、表面要素ａ、ｃはガラス板であってもよいし、表面要素ｄはアルミニウム円筒であってもよい。これらの材料のそれぞれは、全く異なる反射特性を有する。静的物体は、光源２２０によって照らされる。光源２２０は、それぞれの照明角βに関連する様々な光源位置を示す円の破線のセグメントによって示されるように、様々な位置にあることができる。光源が異なる照明角のもとで静的物体を照らすことを可能にする他の幾何学的形状も使用することができる。この実施例では、円のセグメント上の光源の各位置は、特定の照明角βに対応する。現在の位置において、光源２２０は、照明角β１のもとで静的物体２０１の表面要素に光を放射する。反射された光は、視野角α１のもとで対応する画素でカメラによって受けられる。この場合、入射角β１は反射角α１に等しい。例えば、カメラ２１０がそれぞれの照明角のもとで静的物体の画像をとるのに適した停止位置で、光源を破線の円のセグメント上で左から右に移動させることができる。例えば、光源は、静的物体の照明がカメラの露光時間と同期するように、カメラ２１０と通信可能に接続された遠隔フラッシュ光であってもよい。言い換えれば、特定のソース画像をとるための露光時間中、光源は固定位置にとどまる。例えば、カメラは１０〜１００枚の画像をとることができ、各画像は異なる照明角のもとで記録される。
【００３２】
次に、１１００で、（静的物体２０１、２０２の）複数２１１のデジタルソース画像として、複数の記録されたカメラ画像がシステム１００のインタフェース成分１１０によって受けられる。複数２１１のそれぞれのソース画像は、一定の視野角αおよび異なる照明角β（異なる光源位置）のもとでの静的物体を表す。図示されているように、画像は表面要素ａ、ｂ、ｃ、ｄおよびｅを表すソース画素の画素サブセットを有する。
【００３３】
インタフェース成分１１０はまた、ユーザ１０がシステム１００と対話するための標準的な入出力手段（例えば、表示手段およびデータ入力手段）を提供してもよい。
【００３４】
コンピュータシステム１００はさらに、複数のターゲット画素を含むデジタルターゲット画像１４１をレンダリングするのに適した、画像データを生成するための画像生成器１３０を有する。画像生成器１３０は、拡散成分および正規化ベクトル関数１３１と光沢成分関数１３２との２つの主な関数を含む。
【００３５】
１２００で、拡散成分および正規化ベクトル関数１３１は、１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとでソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数（反射モデル）から拡散反射係数のセットを計算することによって、１つ以上の表面要素ａ、ｂ、ｃ、ｄ、ｅのターゲット画素に対する拡散成分ＤＣを計算する。例えば２次以上の多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、またはフォークト関数などの代数的または幾何学的最良適合関数などの任意の適切な数学的最良適合関数を使用することができる。例えば、表面要素の拡散成分を推定するために、以下の二次元関数（ｆｍａｔｔｅ）を使用することができる。
【数１】
2019527355.tif 000003
または
【数２】
2019527355.tif 000004
Ｔ．マルツベンダー、Ｄ．ゲルプ、およびＨ．ヴォルタースの多項式テクスチャマップ、第２８回コンピュータグラフィックスおよびインタラクティブ技術に関する年次会議の議事録（５１９〜５２８ページ）、（２００１年）に記載されているように、ｎ個のパラメータ（拡散反射係数）
【数３】
2019527355.tif 000005
で定義され、座標（ｘ，ｙ）のペアは、ソース画像／ターゲット画像内の単一画素を表し、ｌｕ，ｌｖは、光の方向（照明角）を記述する正規化ベクトルの座標である。２次元反射モデルを使用すると、３次元モデルと比較して計算労力が低いので、ソース画像からターゲット画像を生成するときのコンピュータシステム１００の計算負荷を大幅に低減することができる。任意の３次元の光の方向に対する最良適合関数の補間は、メモリおよび計算能力の点で非常に高価である。光源が常に静的物体まで同じ距離にあると仮定すると、２次元反射モデルへの縮小が可能である。すなわち、光源は、中心に静的物体がある円に沿って動かされる。この仮定は、光源が移動する場合、取得される物体と比較して円が十分に大きい場合に成り立つ。実験は、有利には、円の半径が物体の寸法の約２倍以上であることを示している。
【００３６】
マット面要素の拡散特性を推定するために適合パラメータのみが使用され、１３００で、拡散成分計算の副産物として、各画素位置における表面要素の向きを示す法線ベクトルの座標が得られる。
【００３７】
より詳細には、法線ベクトルＮＶは、１３００で、計算された拡散反射係数
【数４】
2019527355.tif 000006
を使用することにより、１つ以上の表面要素ａ、ｂ、ｃ、ｄ、ｅのターゲット画素に対して生成することができ、法線ベクトルＮＶは、１つ以上の表面要素の空間的な向きを表す。法線ベクトルは、以下の方法で最良適合関数から抽出することができる。最良適合関数ｆ(ｘ,ｙ,ｌｕ,ｌｖ)が与えられると、設定は、
【数５】
2019527355.tif 000007
となり、各画素（ｘ，ｙ）の２つの値ｌｕ０およびｌｖ０が得られる。得られた２つの値は、式（Ｔ．マルツベンダー、Ｄ．ゲルプ、およびＨ．ヴォルタースの多項式テクスチャマップを参照）を使用して対応する法線ベクトルを計算するために使用される。
【数６】
2019527355.tif 000008
【００３８】
次いで、光沢成分関数１３２は、１４００で、対応する最良適合関数値と、異なる照明角について対応するソース画素の反射光強度値との間の距離として、１つ以上の表面要素のターゲット画素の光沢係数を決定することができ、対応する法線ベクトルおよび決定された光沢係数に従って、コンピュータグラフィックス反射モデルを重ね合わせることによって、１つ以上の表面要素ａ、ｂ、ｃ、ｄ、ｅのターゲット画素に対する光沢成分ＧＣを生成する。
【００３９】
各画素について、ｎ個の係数のセットが得られる。各ターゲット画素について、ｆｍａｔｔｅ最良適合関数値とすべての照明角に対する画素の強度との間の距離が計算される。これを行うには、関数が定義されている。
【数７】
2019527355.tif 000009
または
【数８】
2019527355.tif 000010
ここで、ＮおよびＭは正規化係数であり、
【数９】
2019527355.tif 000011
は、光源（lｕ，ｌｖ）によって画定される画像内の画素（ｘ，ｙ）の強度である。この関数は、すべての画素上で０と１の間の値を有し、光沢係数として使用される。ｆＧ（ｘ，ｙ）係数は、０と１の間で変化する。
以下の値を使用して、特定のカットが作成される。
強度の平均値：
【数１０】
2019527355.tif 000012
または強度の分散：
【数１１】
2019527355.tif 000013
ここで、Ｎｐは正規化係数である。
【００４０】
オプションのレンダリング成分１４０は、１６００で、一定の視野角αおよび第１の照明角に対して計算された拡散成分ＤＣおよび光沢成分ＧＣを用いてターゲット画像１４１をレンダリングすることができる。レンダリングされた画像は、適切な表示手段（例えば、表示装置）を介して、インタフェース１１０によってシステム１００のユーザ１０に視覚化することができる。インタフェース１１０は、単一の成分として示されているが、外部エンティティとの通信が必要とされる異なる目的のために複数のインタフェースを提供することができる。あるいは、レンダリング成分１４０は、システム１００と通信可能に連結されたさらなるシステムに実装されてもよい。レンダリング成分はまた、１７００で、第２の照明角に対する一定の視野角αに対して計算された拡散成分および光沢成分を用いてターゲット画像１４１を再レンダリングすることができる。これは、最良適合関数が最良適合関数の範囲内の任意の照明角に対して連続値を供給するので、任意の照明角に対するターゲット画像の再レンダリングを含む。
【００４１】
受けたソース画像が、それに応じて画像生成器１３０によって処理されるさらなる視野角用の画像のサブセットを含む場合、レンダリング成分１４０は、このさらなる視角用のターゲット画像のレンダリングに切り替えることもできる。一実施形態では、システム１００を動作させるために、１つ以上の方向センサを含むモバイルコンピューティング装置（例えば、スマートフォン、タブレットコンピュータなど）を使用することができる。この場合、ユーザ１０は、システム１００と対話するためにモバイル装置のユーザインタフェース機能を使用することができる。例えば、モバイル装置の傾斜角は方向センサによって決定されてもよく、第１および第２またはさらなる照明角は、１つ以上の方向センサからの第１および第２またはさらなるセンサデータから導出されてもよい。ターゲット画像の自動再レンダリングは、ユーザがその傾斜角に応じてモバイル機器を移動させることによって、レンダリング成分１４０の対応する照明角入力を生成するときにトリガされ得る。その際、モバイル装置の傾斜角が実際の照明角に対応する必要はない。例えば、ユーザは、モバイル装置を水平位置に保持し、装置の端部を上下に動かすことができる。次いで、それぞれのセンサデータは、静的物体が垂直位置にあり、光源が水平平面内で物体の周りで動かされた状況に対応する照明角に変換することができる。
【００４２】
オプションの材料検出成分１５０は、１つ以上の表面要素ａ、ｂ、ｃ、ｄ、ｅに関連付けられた１つ以上の異なる材料を識別することができ、材料の同様の外観は、同様の反射特性によって決定される。詳細な実施例は、図４から図６の文脈で議論される。
【００４３】
図３Ａは、特定の画素に対する、拡散表面反射シナリオのための最良適合関数３１０を示す。この実施例では、静的物体の５つのソース画像が、５つの異なる照明角（光方向表示β１〜β５によって示す）のもとで５つの異なる光源位置において記録される。カメラによって検出された静的物体によって反射された光の強度は、黒丸３１１〜３１５によって示される。所与の画素における反射静的物体の拡散反射特性を表す最良適合関数３１０が、測定された強度値３１１〜３３１５に適合される。このシナリオにおける最良適合関数に対する測定された強度値３１１〜３１５の距離は重要ではなく、予想される誤差許容値内にあるとみなすことができる。結論として、システムは、ソース画像内の所与の画素によって表される表面要素が、最良適合関数３１０の形態の拡散反射モデルによって反射特性を良好にモデル化することができるマット面要素であることを認識する。
【００４４】
図３Ｂは、光沢表面反射シナリオのための最良適合関数３２０を示す。この実施例では、１４個の異なる照明角のもとで１４個の異なる光源位置において静的物体の１４個のソース画像が記録される。カメラによって検出された静的物体によって反射された光の強度は、特定の画素について黒丸３２１〜３３３４によって示されている。特定の画素における反射静的物体の拡散反射特性を表す最良適合関数３２０が、測定された強度値３２１〜３３３４に適合される。このシナリオにおける最良適合関数に対する測定された強度値３２１〜３２７および３２９〜３３４の距離は重要ではなく、予想される誤差許容値内にあるとみなすことができる。しかしながら、強度値３２８は、対応する照明角に対して静的物体の反射面要素によって反射条件が満たされることを示す、最良適合関数３２０からの有意距離ｄ１を有する。言い換えれば、この照明角のもとでは、入射角は反射角（図１、β１、α１参照）に等しく、表面要素がマット面ではなく反射面を有する場合、反射光の強度は著しく増加する。結論として、システムは、１４個のソース画像内の特定の画素によって表される表面要素が、最良適合関数３２０の形態の拡散反射モデルによって反射特性を適切にモデル化することができない光沢面要素であることを認識する。強度値３２８について照明角（入射角）が反射角（カメラの視野角に相関する）に等しいという情報は、先に開示されているように反射面要素の空間的な向きを決定するために、反射面要素に関連する法線ベクトルを決定する画像生成器の法線ベクトル関数によって使用することができる。
【００４５】
図４は、本発明の一実施形態による、ソース画像から材料フィルタリング閾値４０１、４０２を識別するためのヒストグラム４００である。ヒストグラム４００は、以下の方法でソース画像の画素を分析することによって、材料検出成分によって生成されてもよい。各画素について、材料検出成分は、平均輝度値（平均Ｌ値）を決定する。式（８）を見ると、平均値が正規化されていることがわかる。Ｎｐは点の数だけではなく、点の数に特定の画素のＬの最大値を掛けたものである。例えば、画素値が「１、５、６、７、８」である場合、Ｎｐは８×５＝４０であり、平均値は０．６７５である。あるいは、最大の固定値を使用することもできる。例えば、画素値は１〜３１０の間で固定されてもよい。画素値が「１、５、６、７、８」である場合、Ｎｐは１０×８であり、平均値は０．３３７５であり得る。
【００４６】
例えば、光源が白色光を供給する場合、輝度値は色チャネルとは無関係であると仮定されるので、元のＲＧＢ信号の任意の色チャネルを使用することができる。平均値は、すべてのソース画像にわたって特定の画素のＬ値を加算し、その和を正規化係数で割ることによって決定される。次に、同じ平均Ｌ値を有する画素の数がカウントされる。このカウントは、各平均Ｌ値についてのヒストグラムに入力される。この実施例では、３つのピーク４１０、４２０、４３０をヒストグラム４００において識別することができる。各ピークは、ソース画像上に現れる表面要素の特定の反射特性を表す。すなわち、静的物体のそれぞれの表面要素は、異なる材料を示す異なる表面特性を有する。次に、材料検出成分は、ヒストグラム４００から材料フィルタリング閾値４０１、４０２をヒストグラムの最小値として決定することができる。例えば、第１の材料フィルタリング閾値４０１以下（第１のフィルタリング範囲）の平均Ｌ値は、ピーク４１０に関連する材料に関する。第１の材料フィルタリング閾値４０１を上回り、第２の材料フィルタリング閾値４０２以下（第２のフィルタリング範囲）の平均Ｌ値は、ピーク４２０に関連する材料に関する。第２の材料フィルタリング閾値４０２を超える（第３のフィルタリング範囲）平均Ｌ値は、ピーク４３０に関連する材料に関する。材料検出成分は、平均Ｌ値とそれぞれの材料タイプとの間の追加の対応するマッピングなしに様々なタイプの材料を決定することはできないが、決定されたフィルタリング範囲に基づいて異なる材料を区別することができる。
【００４７】
図５は、異なる材料フィルタリング閾値が適用された３つの画像Ａ、Ｂ、Ｃを示す。画像Ａは、第１のフィルタリング範囲をモザイクの画像に適用した結果を示し、モザイクの異なる要素は、異なる反射特性を有する異なる材料を含む。この実施例では、材料検出成分によって実行されるフィルタリング機能は、第１のフィルタリング範囲内の平均Ｌ値を有するすべての画素の画素値を白色に設定する。第１のフィルタリング範囲外の平均Ｌ値を有する画素は、黒色に設定される。代わりに他の色のセット（またはグレースケール）を使用することもできる。言い換えれば、白色画素は、対応する第１の材料タイプを有するモザイク要素の位置を示す。
【００４８】
画像Ｂは、第２のフィルタリング範囲を適用した後の結果を示す。すなわち、第２のフィルタリング範囲内の平均Ｌ値に対応する材料で作られたモザイク要素は白色画素として示され、第２のフィルタリング範囲外の平均Ｌ値を有する画素は黒色画素として示される。
【００４９】
画像Ｃは、第３のフィルタリング範囲を適用した後の結果を示す。すなわち、第３のフィルタリング範囲内の平均Ｌ値に対応する材料で作られたモザイク要素は白色画素として示され、第３のフィルタリング範囲外の平均Ｌ値を有する画素は黒色画素として示される。
【００５０】
一実施形態では、各フィルタリング範囲は、それぞれの材料の対応する視覚化色にマッピングすることができる。すなわち、本シナリオでは、単一の画像内の３つの材料を視覚化するために、３つの異なる色（例えば、黒色、白色、灰色または赤色、緑色、青色または任意の他の組み合わせ）を使用する。例えば、この実施形態では、ユーザは、モザイク内で使用されている異なる材料の数について単一画像の概要を得ることができる。画像Ａ、Ｂ、およびＣに示されるような先の実施形態は、（例えば、それぞれのモザイク要素をクリックすることによって）材料のいずれか１つを選択するとき、ドリルダウンオプションとして起動することができる。この選択は、材料検出成分によって入力として使用され、選択された材料に対する対応するバイナリフィルタ関数をアクティブにし、画像内の選択された材料のすべての存在を視覚化することができる。
図６は、本発明の一実施形態による、画素の光沢寄与を表すフィルタリング閾値スケール６２０を有する画像６１０を示す。フィルタリング閾値スケール６２０は、モザイク画像６１０内の各画素の光沢の量を表すパラメータｆＧ（ｘ，ｙ）の連続分布を示す。この実施例では、選択された閾値未満の平均Ｌ値を有する画素が画像６１０の光沢部分に属するものとして扱われることを示す閾値が選択される。画像例６１０では、図４の閾値４０２を上回る平均Ｌ値を有するすべての画素が０に設定される。結果として、そのような画素については、光沢係数は、ゼロとは異なる結果で計算される。図６は、その結果光沢画素がレンダリング成分によってどのように視覚化されるかを示す。
【００５１】
図７は、ここに記載する技術と共に使用することができる一般的なコンピュータ装置９００および一般的なモバイルコンピュータ装置９５０の実施例を示す図である。コンピューティング装置９００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことが意図されている。一般的なコンピュータ装置９００は、図１のコンピュータシステム１００を実装することができる。コンピューティング装置９５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティング装置などの様々な形態のモバイル装置を表すことが意図されている。例えば、コンピューティング装置９５０は、前に開示したような方向センサ値に基づいて照明角に関するレンダリング成分の入力を生成するために使用されるスマートフォンまたはタブレットコンピュータであってもよい。ここに示された構成要素、それらの接続および関係、およびそれらの機能は例示的なものに過ぎず、本明細書に記載および／または請求される本発明の実施を限定するものではない。
【００５２】
コンピューティング装置９００は、プロセッサ９０２、メモリ９０４、記憶装置９０６、メモリ９０４および高速拡張ポート９１０に接続する高速インタフェース９０８、および低速バス９１４および記憶装置９０６に接続する低速インタフェース９１２を含む。構成要素９０２、９０４、９０６、９０８、９１０、および９１２のそれぞれは、様々なバスを使用して相互接続され、共通のマザーボード上に、または適宜他の方法で実装され得る。プロセッサ９０２は、高速インタフェース９０８に結合されたディスプレイ９１６のような外部入出力装置上にＧＵＩ用のグラフィカル情報を表示する、メモリ９０４または記憶装置９０６に格納された命令を含む、コンピューティング装置９００内で実行するための命令を処理することができる。他の実施形態では、複数のメモリおよび複数のタイプのメモリと共に、複数のプロセッサおよび／または複数のバスを必要に応じて使用することができる。また、複数のコンピューティング装置９００が接続されてもよく、各装置は必要な動作の一部を提供する（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。
【００５３】
メモリ９０４は、コンピューティング装置９００内の情報を記憶する。一実施形態では、メモリ９０４は揮発性メモリユニットである。別の実施形態では、メモリ９０４は不揮発性メモリユニットである。メモリ９０４は、磁気ディスクまたは光ディスクなどのコンピュータ可読媒体の別の形態であってもよい。
【００５４】
記憶装置９０６は、コンピューティング装置９００の大容量記憶を提供することができる。一実施形態では、記憶装置９０６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置、フラッシュメモリまたは他の同様のソリッドステートメモリ装置、またはストレージエリアネットワーク内の装置または他の構成を含む装置のアレイなどのコンピュータ可読媒体であってもよいし、これらを含んでもよい。コンピュータプログラム製品は、情報担体に明白に具体化することができる。コンピュータプログラム製品はまた、実行されると上記のような１つ以上の方法を実行する命令を含むことができる。情報担体は、メモリ９０４、記憶装置９０６、またはプロセッサ９０２上のメモリのようなコンピュータ可読媒体または機械可読媒体である。
【００５５】
高速コントローラ９０８は、コンピューティング装置９００の帯域幅集中動作を管理し、低速コントローラ９１２は、低帯域幅集中動作を管理する。そのような機能の割当ては、例示に過ぎない。一実施形態では、高速コントローラ９０８は、（例えば、グラフィックプロセッサまたはアクセラレータを介して）メモリ９０４、ディスプレイ９１６、および様々な拡張カード（図示せず）を受け入れる高速拡張ポート９１０に連結される。この実施形態では、低速コントローラ９１２は、記憶装置９０６および低速拡張ポート９１４に連結される。様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネットを含むことができる低速拡張ポートは、キーボード、ポインティング装置、スキャナなどの１つ以上の入出力装置に、またはネットワークアダプタを介して、例えばスイッチまたはルータなどのネットワーク装置に連結されてもよい。
【００５６】
コンピューティング装置９００は、図に示すように、いくつかの異なる形態で実装することができる。例えば、標準サーバ９２０として、またはそのようなサーバのグループ内で複数回実装されてもよい。また、ラックサーバシステム９２４の一部として実装されてもよい。さらに、ラップトップコンピュータ９２２などのパーソナルコンピュータに実装されてもよい。あるいは、コンピューティング装置９００の成分は、装置９５０などのモバイル装置（図示せず）内の他の成分と組み合わされてもよい。そのような装置の各々は、１つ以上のコンピューティング装置９００、９５０を含み、システム全体は、互いに通信する複数のコンピューティング装置９００、９５０から構成されてもよい。
【００５７】
コンピューティング装置９５０は、他の成分の中でもプロセッサ９５２、メモリ９６４、ディスプレイ９５４などの入出力装置、通信インタフェース９６６、およびトランシーバ９６８を含む。装置９５０は、追加の記憶を提供するために、マイクロドライブまたは他の装置のような記憶装置を備えていてもよい。構成要素９５０、９５２、９６４、９５４、９６６、および９６８のそれぞれは、様々なバスを使用して相互接続され、成分のうちのいくつかは、共通のマザーボード上に、または適宜他の方法で実装され得る。
【００５８】
プロセッサ９５２は、メモリ９６４に格納された命令を含む、コンピューティング装置９５０内の命令を実行することができる。プロセッサは、別個のおよび複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装されてもよい。プロセッサは、例えば、ユーザインタフェース、装置９５０によって実行されるアプリケーション、および装置９５０による無線通信の制御のような、装置９５０の他の構成要素の調整を提供することができる。
【００５９】
プロセッサ９５２は、ディスプレイ９５４に連結された制御インタフェース９５８およびディスプレイインタフェース９５６を介してユーザと通信することができる。ディスプレイ９５４は、例えば、ＴＦＴ  ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術とすることができる。ディスプレイインタフェース９５６は、グラフィカルおよび他の情報をユーザに提示するためにディスプレイ９５４を駆動する適切な回路を含むことができる。制御インタフェース９５８は、ユーザからコマンドを受け、プロセッサ９５２へ送信するためにそれらを変換することができる。さらに、外部インタフェース９６２は、装置９５０と他の装置との近距離通信を可能にするために、プロセッサ９５２と通信して提供されてもよい。外部インタフェース９６２は、例えば、一部の実施形態における有線通信のために、または他の実施形態における無線通信のために提供されてもよく、複数のインタフェースも使用されてもよい。
【００６０】
メモリ９６４は、コンピューティング装置９５０内の情報を記憶する。メモリ９６４は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットの１つ以上として実装することができる。拡張メモリ９８４は、例えば、ＳＩＭＭ（Ｓｉｎｇｌｅ  Ｉｎ  Ｌｉｎｅ  Ｍｅｍｏｒｙ  Ｍｏｄｕｌｅ）カードインタフェースを含む拡張インタフェース９８２を介して、装置９５０に提供され、接続されてもよい。そのような拡張メモリ９８４は、装置９５０のための余分な記憶スペースを提供してもよく、あるいは装置９５０のためのアプリケーションまたは他の情報を記憶してもよい。具体的には、拡張メモリ９８４は、上述のプロセスを実行または補足するための命令を含むことができ、安全情報も含むことができる。したがって、例えば、拡張メモリ９８４は、装置９５０のセキュリティモジュールとして機能してもよく、装置９５０の安全な使用を可能にする命令でプログラムされてもよい。さらに、安全なアプリケーションは、識別情報をＳＩＭＭカードにハッキング不可能な方法で配置するなどの追加情報と共に、ＳＩＭＭカードを介して提供されてもよい。
【００６１】
メモリは、例えば、後述するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。一実施形態では、コンピュータプログラム製品は、情報担体に明白に具体化される。コンピュータプログラム製品は、実行されると上記のような１つ以上の方法を実行する命令を含む。情報担体は、例えばトランシーバ９６８または外部インタフェース９６２を介して受けられる、メモリ９６４、拡張メモリ９８４、またはプロセッサ９５２上のメモリなどのコンピュータまたは機械可読媒体である。
【００６２】
装置９５０は、必要に応じてデジタル信号処理回路を含むことができる通信インタフェース９６６を介して無線通信することができる。通信インタフェース９６６は、とりわけ、ＧＳＭボイスコール、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどの様々なモードまたはプロトコルのもとでの通信を提供することができる。このような通信は、例えば、無線周波数トランシーバ９６８を介して行われてもよい。さらに、ブルートゥース（登録商標）、ＷｉＦｉ、または他のそのようなトランシーバ（図示せず）を使用するような短距離通信が行われてもよい。さらに、ＧＰＳ（全地球測位システム）受信機モジュール９８０は、追加のナビゲーションおよび位置関連の無線データを装置９５０に提供することができ、このデータは、装置９５０上で動作するアプリケーションによって適宜使用することができる。
【００６３】
装置９５０はまた、ユーザからの発話情報を受信し、それを使用可能なデジタル情報に変換することができるオーディオコーデック９６０を使用して聴覚的に通信してもよい。オーディオコーデック９６０は、同様に、例えば、装置９５０のハンドセット内のスピーカを介して、ユーザの可聴音を生成してもよい。そのような音は、音声電話からの音を含むことができ、記録された音（例えば、音声メッセージ、音楽ファイルなど）を含むことができ、装置９５０上で動作するアプリケーションによって生成される音も含むことができる。
【００６４】
コンピューティング装置９５０は、図に示すように、いくつかの異なる形態で実装することができる。例えば、携帯電話９８０として実装することができる。スマートフォン９８２、パーソナルデジタルアシスタント、または他の同様のモバイル装置の一部として実装されてもよい。
【００６５】
ここに記載するシステムおよび技術の様々な実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現することができる。これらの様々な実装形態は、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実装を含むことができ、プログラム可能なプロセッサは、専用または汎用であり、少なくとも１つの入力装置および少なくとも１つの出力装置である記憶システムに結合され、データおよび命令を送受信する。
【００６６】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られる）は、プログラム可能なプロセッサ用の機械命令を含み、高度な手順および／またはオブジェクト指向プログラミング言語で、および／またはアセンブリ／機械言語で実装することができる。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械可読信号として機械命令を受信する機械可読媒体を含むプログラマブルプロセッサに機械命令および／またはデータを提供するのに使用される、（例えば、磁気ディスク、光ディスク、メモリ、プログラム可能論理装置（ＰＬＤ）などの）任意のコンピュータプログラム製品、装置および／または装置を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラム可能プロセッサに提供するために使用される任意の信号を指す。
【００６７】
ユーザとの対話を提供するために、ここに記載するシステムおよび技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）またはＬＣＤ（液晶ディスプレイ）モニタ）、およびユーザがコンピュータに入力を提供することができるキーボードおよびポインティング装置（例えば、マウスまたはトラックボール）を有するコンピュータに実装することができる。他の種類の装置を使用して、ユーザとの対話を提供することもでき、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）とすることができ、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形態で受けることができる。
【００６８】
ここに記載するシステムおよび技術は、バックエンド成分（例えば、データ・サーバとして）、またはミドルウェア成分（例えば、アプリケーション・サーバ）、またはフロントエンド成分（例えば、ユーザがここに記載するシステムおよび技術の実装と対話することができるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティング装置、またはそのようなバックエンド、ミドルウェア、またはフロントエンド成分の任意の組合せを含むコンピューティング装置に実装することができる。システムの成分は、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが含まれる。
【００６９】
コンピューティング装置は、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に互いに遠隔であり、典型的には通信ネットワークを介して相互作用する。クライアントとサーバとの関係は、それぞれのコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによって生じる。例えば、クライアントは、ターゲット画像をレンダリングするためのオプションのレンダラを提供することができるが、システム１００の他の成分（図１参照）はサーバに実装することができる。
【００７０】
いくつかの実施形態について記載してきた。それにもかかわらず、本発明の精神および範囲から逸脱することなく、様々な変更がなされ得ることが理解されるであろう。
【００７１】
さらに、図に描かれた論理フローは、望ましい結果を達成するために、示された特定の順序または逐次的な順序を必要としない。さらに、記載したフローに他のステップを設けてもよいし、フローからステップを省略してもよく、記載のシステムに他の成分を追加してもよく、システムから成分を削除してもよい。したがって、他の実施形態は、添付の特許請求の範囲内にある。
【図１】
2019527355.tif 000014
【図２】
2019527355.tif 000015
【図３Ａ】
2019527355.tif 000016
【図３Ｂ】
2019527355.tif 000017
【図４】
2019527355.tif 000018
【図５Ａ】
2019527355.tif 000019
【図５Ｂ】
2019527355.tif 000020
【図５Ｃ】
2019527355.tif 000021
【図６】
2019527355.tif 000022
【図７】
2019527355.tif 000023
【手続補正書】
【提出日】令和1年7月11日(2019.7.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のターゲット画素を含むデジタルターゲット画像内の１つ以上の静的物体を表現するためのコンピュータ実装画像処理方法（１０００）であって、前記１つ以上の静的物体は、異なる表面反射特性を有する表面要素を有し、前記方法は、
前記１つ以上の静的物体の複数の、ソース画像と称するデジタル画像を受けるステップ（１１００）、ここで前記複数の各ソース画像は、一定の視野角および異なる照明角のもとでの前記１つ以上の静的物体を表し、
前記１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとで前記ソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、１つ以上の表面要素のターゲット画素に対する拡散成分を計算するステップ（１２００）、
前記計算された拡散反射係数を使用することによって、前記１つ以上の表面要素の前記ターゲット画素の法線ベクトルを生成するステップ（１３００）、ここで前記法線ベクトルは、前記１つ以上の表面要素の空間的な向きを表し、
前記対応する最良適合関数値と前記異なる照明角について前記対応するソース画素の前記反射光強度値との間の距離として、前記１つ以上の表面要素の前記ターゲット画素の光沢係数を決定するステップ（１４００）、および、
前記対応する法線ベクトルおよび前記決定された光沢係数に従って、二次元のコンピュータグラフィックス反射モデルを重ね合わせることによって、前記１つ以上の表面要素の前記ターゲット画素に対する光沢成分を生成するステップ（１５００）を含む、コンピュータ実装画像処理方法（１０００）。
【請求項２】
前記一定の視野角および第１の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像をレンダリングするステップ（１６００）をさらに含む、
請求項１に記載の方法。
【請求項３】
前記一定の視野角および第２の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像を再レンダリングするステップ（１７００）をさらに含む、
請求項２に記載の方法。
【請求項４】
レンダリングするステップ（１６００）および再レンダリングするステップ（１７００）は、１つ以上の方向センサを有するモバイルコンピューティング装置によって実行され、前記第１および第２の照明角は、前記１つ以上の方向センサからの第１および第２のセンサデータから導出され、前記第１および第２のセンサデータは、前記モバイルコンピューティング装置の第１および第２の向きにそれぞれ関連付けられている、請求項３に記載の方法。
【請求項５】
少なくとも１つのさらなる一定の視野角に対して前記方法が反復的に繰り返される（１８１０）、請求項１から４のいずれか一項に記載の方法。
【請求項６】
光沢成分を生成することは、所定の閾値を超える光沢係数を有するターゲット画素に対してのみ実行される、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記反射モデルの修正された反射パラメータを受けるステップをさらに含み、前記修正されたパラメータは、前記表面要素の前記表面反射特性を表す、
請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記反射モデルが、フォンの反射モデル、クック・トランスモデル、ワード異方性モデル、およびガウスモデルのグループのうちのいずれか１つから選択される、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記最良適合関数は、２次以上の多項式関数、円錐断面関数、三角関数、ガウス関数、ローレンツ関数、フォークト関数のグループから選択される代数的または幾何学的最良適合関数である、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
前記１つ以上の表面要素に関連付けられた１つ以上の異なる材料を識別するステップをさらに含み、材料の同様の外観は、同様の反射特性によって決定される、
請求項１から９のいずれか一項に記載の方法。
【請求項１１】
コンピューティング装置のメモリにロードされ、前記コンピューティング装置の少なくとも１つのプロセッサによって実行されると、請求項１から１０のいずれか一項に記載の前記コンピュータ実装方法の前記ステップを実行する、コンピュータプログラム製品。
【請求項１２】
複数のターゲット画素を含むデジタルターゲット画像（１４１）内の１つ以上の静的物体表現をレンダリングするための画像処理コンピュータシステム（１００）であって、前記１つ以上の静的物体（２０１、２０２）は、異なる表面反射特性を有する表面要素（ａ、ｂ、ｃ、ｄ、ｅ）を有し、前記システムは、
前記１つ以上の静的物体（２０１、２０２）の複数（２１１）のデジタルソース画像を受けるように構成されたインタフェース成分（１１０）であって、ここで前記複数（２１１）の各ソース画像は、一定の視野角（α）および異なる照明角（β）のもとでの前記１つ以上の静的物体を表すインタフェース成分（１１０）と、
画像生成器（１３０）成分であって、
前記１つ以上の表面要素の各ターゲット画素について、異なる照明角のもとで前記ソース画像の対応するソース画素の反射光強度値に適合されたときの最良適合関数から拡散反射係数のセットを計算することによって、１つ以上の表面要素（ａ、ｂ、ｃ、ｄ、ｅ）のターゲット画素に対する拡散成分（ＤＣ）を計算するように構成された画像生成器（１３０）成分とを備え、
前記計算された拡散反射係数を使用することによって、前記１つ以上の表面要素（ａ、ｂ、ｃ、ｄ、ｅ）の前記ターゲット画素の法線ベクトル（ＮＶ）を生成し、ここで前記法線ベクトル（ＮＶ）は、前記１つ以上の表面要素の前記空間的な向きを表し、
前記対応する最良適合関数値と前記異なる照明角について前記対応するソース画素の前記反射光強度値との間の距離として、前記１つ以上の表面要素の前記ターゲット画素の光沢係数を決定し、
前記対応する法線ベクトルおよび前記決定された光沢係数に従って、二次元のコンピュータグラフィックス反射モデルを重ね合わせることによって、前記１つ以上の表面要素（ａ、ｂ、ｃ、ｄ、ｅ）の前記ターゲット画素に対する光沢成分（ＧＣ）を生成するように構成され、
前記一定の視野角（α）および第１の照明角について前記計算された拡散成分（ＤＣ）および光沢成分（ＧＣ）を用いて前記ターゲット画像（１４１）をレンダリングするように構成されたレンダリング成分（１４０）を含む、画像処理コンピュータシステム（１００）。
【請求項１３】
前記レンダリング成分（１４０）は、
前記一定の視野角および第２の照明角について前記計算された拡散成分および光沢成分を用いて前記ターゲット画像を再レンダリングするようにさらに構成される、請求項１２に記載のシステム。
【請求項１４】
請求項１３に記載のシステムを含むモバイルコンピューティング装置であって、１つ以上の方向センサをさらに含み、前記第１および第２の照明角は、前記１つ以上の方向センサからの第１および第２のセンサデータから導出され、前記第１および第２のセンサデータは、前記モバイルコンピューティング装置の第１および第２の向きにそれぞれ関連付けられている、モバイルコンピューティング装置。
【請求項１５】
前記１つ以上の表面要素に関連付けられた１つ以上の異なる材料を識別するように構成された材料検出成分をさらに含み、材料の同様の外観は、同様の反射特性によって決定される、
請求項１１から１４のいずれか一項に記載のシステム。
【国際調査報告】
2019527355.tif 000024
2019527355.tif 000025