(57)【要約】  本発明は、未知の反射率の材料で作られた面を含むシーンの画像を処理する方法であって、  −  画像センサの少なくとも３つの既知の異なる配向および位置から、光源により照明されたシーンの画像を取得する工程であって、各画像は、面からの光源の反射により、かつ光源の位置、形状および強度と、材料の反射率とに依存して生成される少なくとも１つの鏡面性（Ｓ）を含む、工程と、  −  各画像において、各鏡面性（Ｓ）を検出する工程とを含む方法に関する。本方法は、  −  鏡面性毎に、前記鏡面性を近似する円錐（Ｃ）を推定する工程と、  −  円錐と、これらの円錐によりそれぞれ近似された鏡面性を含む画像の取得中の画像センサの位置および配向とに基づき、光源の位置、強度および形状と、材料の反射率とを表す２次曲面（Ｑ）を構築する工程とをさらに含む。
2018524688.tif 000002
【特許請求の範囲】
【請求項１】
未知の反射率の材料で作られた面を含むシーンの画像を処理する方法であって、
−  画像センサの少なくとも３つの既知の異なる配向および位置から、光源により照明された前記シーンの画像を取得する工程であって、各画像は、前記面からの前記光源の反射により、かつ前記光源の位置、形状および強度と、前記材料の反射率とに依存して生成される少なくとも１つの鏡面性（Ｓ）を含む、工程と、
−  各画像において、各鏡面性（Ｓ）を検出する工程と
を含む方法において、
−  鏡面性毎に、前記鏡面性を近似する円錐（Ｃ）を推定する工程と、
−  前記円錐と、前記円錐によりそれぞれ近似された前記鏡面性を含む前記画像の前記取得中の前記画像センサの前記位置および配向とに基づき、前記光源の前記位置、前記強度および前記形状と、前記材料の前記反射率とを表す２次曲面（Ｑ）を構築する工程と
をさらに含むことを特徴とする方法。
【請求項２】
前記面は、未知の粗さを有し、前記２次曲面（Ｑ）は、前記面の前記粗さも表す、請求項１に記載の画像処理方法。
【請求項３】
前記シーンは、少なくとも１つの他の光源により照明され、各画像は、前記面からのそれぞれの他の光源の反射により生成される少なくとも１つの鏡面性を含むことと、前記方法は、鏡面性毎に、
−  前記鏡面性（Ｓ）を経時追跡する工程と、
−  前記鏡面性（Ｓ）と、したがってそれを近似する前記円錐とを光源と整合させる工程と
をさらに含むことと、２次曲面（Ｑ）を構築する前記工程は、前記光源と整合された前記円錐と、前記円錐によりそれぞれ近似された前記鏡面性を含む前記画像の前記取得中の前記画像センサの前記位置および配向とに基づき、光源毎に行われることとを特徴とする、請求項１または２に記載の画像処理方法。
【請求項４】
−  鏡面性（Ｓ）毎に、新しい２次曲面を判断するために、前記鏡面性と、前記センサの前記位置および配向により判断される軸に沿って前記鏡面性を含む前記画像上へ前記２次曲面（Ｑ）を投影することから生じる円錐との間の距離を最小化する工程と、
−  事前設定された停止基準に到達するまで、先行する前記工程を繰り返す工程であって、最後の繰り返しから生じる前記新しい２次曲面は、精緻化された２次曲面である、工程と
をさらに含むことを特徴とする、請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記光源に対する前記シーン内の前記センサの視点の分布の所定の基準に依存して、前記取得された画像からキー画像を選択する工程をさらに含むことを特徴とする、請求項１〜４のいずれか一項に記載の画像処理方法。
【請求項６】
光源は、点光源であることと、前記対応する２次曲面は、球であることとを特徴とする、請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項７】
光源は、拡張光源であることと、前記対応する２次曲面は、楕円体であることとを特徴とする、請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項８】
新しい画像の取得中の前記画像センサの新しい位置および新しい配向と、前記新しい画像上への前記２次曲面の前記投影とに依存して、既知の標準の材料で作られた面上に形成される鏡面性（Ｓｐ）を近似する、予測円錐（Ｃｐ１、Ｃｐ２、Ｃｐ３）と呼ばれる円錐の位置および形状の予測を計算する工程を含むことを特徴とする、請求項１〜７のいずれか一項に記載の画像処理方法。
【請求項９】
２次スケールは、事前設定され、前記円錐予測計算は、スケールと同数の円錐（Ｃｐ１、Ｃｐ２、Ｃｐ３）を得るためにスケール毎に行われ、各円錐は、前記予測鏡面性（Ｓｐ）の強さレベルに対応することを特徴とする、請求項８項に記載の画像処理方法。
【請求項１０】
前記予測鏡面性の前記材料は、前記２次曲面に関連付けられた前記材料と同じであることと、前記予測鏡面性のサイズも予測されることとを特徴とする、請求項８または９に記載の画像処理方法。
【請求項１１】
前記画像センサの前記位置および配向の誤差を、前記位置および配向に関連付けられた前記画像内に存在する鏡面性と、前記画像上への前記２次曲面の前記投影から生じる円錐との間の差異の計算に基づいて補正する工程を含むことを特徴とする、請求項１〜１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記画像センサの前記異なる位置および配向は、同じ動画像センサを使用してまたは複数の静止画像センサを使用して得られることを特徴とする、請求項１〜１１のいずれか一項に記載の画像処理方法。
【請求項１３】
コンピュータプログラム製品であって、コンピュータプログラムは、コード命令を含み、前記コード命令は、
−  画像センサの少なくとも３つの既知の異なる配向および位置と、
−  光源により照明されるシーンの画像であって、前記画像センサにより取得され、各画像は、前記面からの前記光源の反射により、かつ前記光源の位置、形状および強度と、材料の反射率とに依存して生成される少なくとも１つの鏡面性（Ｓ）を含む、画像と
に基づき、前記プログラムがコンピュータ上で実行されると、
−  各画像において、各鏡面性（Ｓ）を検出する工程と、
−  鏡面性毎に、前記鏡面性を近似する円錐（Ｃ）を推定する工程と、
−  前記円錐と、前記円錐によりそれぞれ近似された前記鏡面性を含む前記画像の前記取得中の前記画像センサの前記位置および配向とに基づき、前記光源の前記位置、前記強度および前記形状と、前記材料の前記反射率とを表す２次曲面（Ｑ）を構築する工程と
が行われることを可能にする、コンピュータプログラム製品。
【請求項１４】
請求項２〜１２に記載の工程が行われることを可能にするコード命令を含む、請求項１３に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、鏡面性を含む画像の処理の分野である。
【背景技術】
【０００２】
光の反射は、その放射エネルギーのすべてを吸収せず、その一部を跳ね返す面に可視電磁波が遭遇すると観測される。面の不完全性が入射光の波長より小さいと（例えば、これは鏡の場合である）、光のすべては鏡面反射される（すなわち、光の反射角はその入射角に等しい）。この影響により、画像内において多くの材料上に鏡面性点（すなわち可視要素）を生じる。
【０００３】
一般的に、これらの鏡面性は、これらのアルゴリズムが視点、シーン内に存在する材料、ビデオカメラの設定（露出時間、開口）およびシーンの幾何学形状に大いに依存するため、マシンビジョンアルゴリズムにおいて考慮されない。これらの鏡面性はまた、光源（バルブ、蛍光灯）の形状に依存する。
【０００４】
ここで、これらの鏡面性は様々な状況における大きい関心事である。販売支援などの拡張現実（ＡＲ）用途では、仮想要素の実際のシーンへの挿入は、最適なユーザ経験を可能にするために可能な限り自然でなければならない。具体的には、この挿入は、安定していなければならず、かつ鏡面性および陰影、現実的外観にとって必須である要素などの光学的アーチアファクト（シーンの明るさ状況（ｌｕｍｉｎｏｕｓ  ｃｏｎｔｅｘｔ））を含まなければならない。
【０００５】
さらに、実時間ビデオカメラ定位の問題に関し、現在のアルゴリズムは鏡面性により妨害され得る。具体的には、これらのアルゴリズムはプリミティブ（一般的には関心点）の経時追跡に基づく。後者は、鏡面性により完全にまたは部分的に掩蔽され得る。現在の方法は、頑強な推定アルゴリズムを使用することによってその問題をある程度制限し、画像のこれらの区域を雑音と見なす。それにもかかわらず、いくつかの視点では、これらの鏡面性は、ビデオカメラを飽和させ、定位アルゴリズムを失敗させ得る。理想的には、これらの鏡面性は、それ自体がプリミティブと見なされるべきであり、これらの定位アルゴリズムを補強するための多くの追加情報を提供することができる。
【０００６】
これらの光学的アーチアファクトはまた、シーン内の光の挙動の理解およびモデリングにおいて重要な役割を果たし得る。具体的には、これらの鏡面性が発生する面の幾何学形状をこれらの鏡面性から推論することが可能である。したがって、これらの鏡面性は、工業部品の製造中に３Ｄ面の完全性を検証するために品質管理用途に使用され得る。
【０００７】
これらの光学的アーチアファクトの予測および特に鏡面性の予測は、前述の用途における大きい関心事である。しかし、これは、鏡面性が観察者の視点、一次光源の位置、形状、強度、および鏡面性が発生する材料の反射率特性に依存するため、困難な問題である。
【０００８】
画像に基づく光の推定に関する最新技術は、２つのカテゴリ：全体照明のモデリングおよび一次源の再構築に分類され得る。
【０００９】
光は画像の形成にとって必須要素である。具体的には、画像は、光源と所与のセンサ（眼、ビデオカメラ）の様々な材質の物体との相互作用の結果である。この光は、２つのカテゴリに類別され得る１つまたは複数の光源により放射される：
−  発射する光を生成する物体に対応する一次源。このカテゴリは、太陽、炎、白熱燃えさし、または白熱灯のフィラメントなど、極高温を有する物体を含む。
−  光を生成しないが受光の方向を変える物体に対応する二次または散乱源。散乱は、受光した物体（材質と関連付けられる）がこの光をあらゆる方向に部分的または完全に方向転換する効果である。散乱される光の量は、受光する物体の材料の特性に依存する。したがって、散乱物体は、一次源または別の散乱物体によりそれ自体が照射される場合にのみ光源である。
【００１０】
照明全体をモデル化する手法では、Ｊａｃｋｎｉｋらは、“Ｒｅａｌ−Ｔｉｍｅ  Ｓｕｒｆａｃｅ  Ｌｉｇｈｔ−ｆｉｅｌｄ  Ｃａｐｔｕｒｅ  ｆｏｒ  Ａｕｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｐｌａｎａｒ  Ｓｐｅｃｕｌａｒ  Ｓｕｒｆａｃｅ”ＩＳＭＡＲ  ２０１２において、動画像列のすべての画像に基づき、生成される明るさ環境のマップの形式を採る照明全体の間接的再構築を提案している。この再構築は、鏡面性材料で作られた平坦面上の初期化の段階後の現実的写真現像を実現するために使用される。しかし、この方法は、一次源と二次源とを区別しないために制限される。したがって、この方法は、未知の視点から鏡面性が予測されるようにしない。
【００１１】
“３Ｄ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｄｅｎｓｅ  Ｖｉｓｕａｌ  ＳＬＡＭ  ａｎｄ  ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｒｅａｌ−Ｔｉｍｅ  Ｏｂｊｅｃｔ  Ｒｅ−Ｌｉｇｈｔｉｎｇ”ＩＳＭＡＲ  ２０１３に記載のＭｅｉｌｌａｎｄらの全体照明を予測する手法は、シーン内の光を直接撮影することにより実現される一次（点）源の再構築を提示する。しかし、この方法は、点光源の組によって表される蛍光灯など、より複雑なタイプの照明に適さない。加えて、動的光（点灯、消灯）は管理され得ず、鏡面性に関して材質は考慮されない。したがって、この方法は、未知の視点から鏡面性が予測されるようにしない。
【００１２】
“Ｕｓｉｎｇ  Ｓｐｅｃｕｌａｒｉｔｉｅｓ  ｔｏ  Ｒｅｃｏｖｅｒ  Ｍｕｌｔｉｐｌｅ  Ｌｉｇｈｔ  Ｓｏｕｒｃｅｓ  ｉｎ  ｔｈｅ  Ｐｒｅｓｅｎｃｅ  ｏｆ  Ｔｅｘｔｕｒｅ”ＩＣＰＲ  ２００６に記載のＬａｇｇｅｒらの方法による一次源の再構築は、静止視点から観察される移動物体上の鏡面性に基づく一次源の方向の再構築を提示する。この用途は制限される。具体的には、鏡面性が視点に依存するため、各位置において鏡面性を再推定する必要がある。加えて、光源の位置も形状も推定されず、材質は考慮されない。したがって、この方法は、未知の視点から鏡面性が予測されるようにしない。
【００１３】
“ｐｏｉｎｔ  Ｌｉｇｈｔ  Ｓｏｕｒｃｅ  Ｅｓｔｉｍａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  Ｓｃｅｎｅｓ  Ｒｅｃｏｒｄｅｄ  ｂｙ  ａ  ＲＧＢ−Ｄ  ｃａｍｅｒａ”ＢＭＶＣ  ２０１３に記載のＢｏｏｍらの手法は、ＲＧＢ−Ｄ（赤緑青−深さ）センサを使用することにより、ランバート（非反射）面に基づいて点状と考えられる一次光源を推定する方法について詳述している。この手法は、点光源を推定するために拡散成分のみを使用し、合成された外観はできるだけ最良の実際のシーンに近づくために実際のシーンと比較される。しかし、この方法は、実時間用途には適さず、点光源のみを除き蛍光灯を扱うことができず、鏡面性（ランバート面を仮定）の存在を管理することもできない。加えて、この方法は一光源に限定され、その形状は推定されず、さらに、材料の鏡面反射成分は考慮されない。この方法は、未知の視点からの鏡面性を予測できるようにしない。
【００１４】
鏡面性の予測に関し、公知の方法は存在しない。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】Ｊａｃｋｎｉｋ  ｅｔ．  ａｌ．，“Ｒｅａｌ−Ｔｉｍｅ  Ｓｕｒｆａｃｅ  Ｌｉｇｈｔ−ｆｉｅｌｄ  Ｃａｐｔｕｒｅ  ｆｏｒ  Ａｕｇｍｅｎｔａｔｉｏｎ  ｏｆ  Ｐｌａｎａｒ  Ｓｐｅｃｕｌａｒ  Ｓｕｒｆａｃｅ”ＩＳＭＡＲ  ２０１２
【非特許文献２】Ｍｅｉｌｌａｎｄ  ｅｔ．  ａｌ．，“３Ｄ  Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ  Ｄｅｎｓｅ  Ｖｉｓｕａｌ  ＳＬＡＭ  ａｎｄ  ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｒｅａｌ−Ｔｉｍｅ  Ｏｂｊｅｃｔ  Ｒｅ−Ｌｉｇｈｔｉｎｇ”ＩＳＭＡＲ  ２０１３
【非特許文献３】Ｌａｇｇｅｒ  ｅｔ．  ａｌ．，“Ｕｓｉｎｇ  Ｓｐｅｃｕｌａｒｉｔｉｅｓ  ｔｏ  Ｒｅｃｏｖｅｒ  Ｍｕｌｔｉｐｌｅ  Ｌｉｇｈｔ  Ｓｏｕｒｃｅｓ  ｉｎ  ｔｈｅ  Ｐｒｅｓｅｎｃｅ  ｏｆ  Ｔｅｘｔｕｒｅ”ＩＣＰＲ  ２００６
【非特許文献４】Ｂｏｏｍ  ｅｔ．  ａｌ．，“ｐｏｉｎｔ  Ｌｉｇｈｔ  Ｓｏｕｒｃｅ  Ｅｓｔｉｍａｔｉｏｎ  ｂａｓｅｄ  ｏｎ  Ｓｃｅｎｅｓ  Ｒｅｃｏｒｄｅｄ  ｂｙ  ａ  ＲＧＢ−Ｄ  ｃａｍｅｒａ”ＢＭＶＣ  ２０１３
【発明の概要】
【発明が解決しようとする課題】
【００１６】
したがって、今日、他の視点からの鏡面性の予測を任意選択的に可能にする、鏡面性を含む画像を処理する方法の必要性が依然としてある。
【課題を解決するための手段】
【００１７】
本発明による鏡面性を含む画像を処理する方法は、光源に関する情報（強度、位置および形状）と、鏡面性が形成する材料の反射率に関する情報と、場合により面の粗さとを組み合わせる新しいモデルの構築に基づく。技術的観点から、光源は一般的３Ｄ形状（本明細書では２次曲面（球、楕円体、円柱または偶点））の形式で再構築される。面に対して実光源と対称であるこの経験的光源モデルは、所与の材質の平坦面上で観測される鏡面性を含む画像に基づいて再構築され、これらの画像は所与のビデオカメラ状況（より一般的には、画像センサの所与の位置）に対して得られる。鏡面性の実時間検出器とビデオカメラ定位方法とを使用することにより、モデルは、電球だけでなく蛍光灯も表すことができる２次曲面の形式で再構築される。
【００１８】
構築されたモデルは、所与の材料で作られた面を含むシーンの（新しい視点から得られた）画像内の鏡面性の予測を可能にする。具体的には、このモデルは、光源の位置、強度および形状、材料の反射率、および可能性として鏡面性が存在する面の粗さを含む。鏡面性に対して予測される区域は、所与の新しいビデオカメラ状況に対して再構築された２次曲面の投影により得られる円錐に対応する。
【００１９】
より正確には、本発明の１つの主題は、未知の反射率の材料で作られた面を含むシーンの画像を処理する方法であり、本方法は、
−  画像センサの少なくとも３つの既知の異なる配向および位置から、光源により照明されたシーンの画像を取得する工程であて、各画像は、前記面からの光源の反射により、かつ光源の位置、形状および強度と、材料の反射率とに依存して生成される少なくとも１つの鏡面性を含む、工程と、
−  各画像において、各鏡面性を検出する工程と
を含む。本方法は、
−  鏡面性毎に、前記鏡面性を近似する円錐を推定する工程と、
−  円錐と、これらの円錐によりそれぞれ近似された鏡面性を含む画像の取得中の画像センサの位置および配向とに基づき、光源の位置、強度および形状と、材料の反射率とを表す２次曲面を構築する工程と
をさらに含むことを主に特徴とする。
【００２０】
この方法は、以下を可能にする：
・光源に関する情報とシーンの材料の特性とを結合して含めること；
・所与の材料に関し、鏡面反射区域を新しい視点に対して予測すること；
・複数の種類の光を管理すること（電球および蛍光ストリップ）；
・複数の光源を同時に推定すること；
・モデルを２次曲面形式で新しい視点により常時精緻化すること；
・追加情報をビデオカメラ定位方法に与えること；
・光源の状態（点灯、消灯）を更新すること；
・いかなる先行学習段階も削除すること；
・操作がＣＰＵ上で実時間となるようにすること。
【００２１】
最後に、モデルは、光源に関する情報とシーンの材料とを組み合わせて構築され、また鏡面反射区域が実時間でかつ正確に予測されるようにする。
【００２２】
シーンが少なくとも１つの他の光源により照明され、各画像が、前記面からのそれぞれの他の光源の反射により生成される少なくとも１つの鏡面性を含む場合、本方法は、鏡面性毎に、
−  鏡面性を経時追跡する工程と、
−  前記鏡面性と、したがってそれを近似する円錐とを光源と整合させる工程と
をさらに含み、および２次曲面を構築する工程は、前記光源と整合された円錐と、これらの円錐によりそれぞれ近似された鏡面性を含む画像の取得中の画像センサの位置および配向とに基づき、光源毎に行われる。
【００２３】
本方法は、好適には、
−  鏡面性毎に、新しい２次曲面を判断するために、鏡面性と、センサの位置および配向により判断される軸に沿って前記鏡面性を含む画像上へ２次曲面を投影することから生じる円錐との間の距離を最小化する工程と、
−  事前設定された停止基準に到達するまで、先行する工程を繰り返す工程であって、最後の繰り返しから生じる新しい２次曲面は、光源の位置、強度および形状と材料の反射率とを表す精緻化された２次曲面である工程と
をさらに含む。
【００２４】
本方法は、有利には、シーン内のセンサの視点の分布の所定の基準に依存して、取得された画像からキー画像を選択する工程を含む。
【００２５】
光源が点光源である場合、対応２次曲面は球であり、拡張光源である場合、対応２次曲面は楕円体である。
【００２６】
本方法はまた、新しい画像の取得中の前記画像センサの新しい位置および新しい配向と、前記新しい画像上への２次曲面の投影とに依存して、既知の標準の材料で作られた面上に形成される鏡面性を近似する円錐（予測円錐と呼ばれる）の位置および形状の予測を計算する工程を含み得る。
【００２７】
予測鏡面性の材料が２次曲面に関連付けられた材料と同じである場合、鏡面性のサイズも予測される。
【００２８】
２次曲面の投影のスケールは事前設定されるため、円錐予測計算は、有利には、スケールと同数の円錐を得るためにスケール毎に行われ、各円錐は、予測鏡面性の強さレベルに対応する。
【００２９】
本発明の１つの特徴によると、本方法は、画像センサの位置および配向の誤差を、前記位置および配向に関連付けられた画像内に存在する鏡面性と、前記画像上への２次曲面の投影から生じる円錐との間の差異の計算に基づいて補正する工程を含む。
【００３０】
本発明の別の特徴によると、センサの異なる位置および配向は、同じ移動センサを使用してまたは複数の静止センサを使用して得られる。
【００３１】
本発明の別の主題は、コンピュータプログラム製品であって、コンピュータプログラムは、コード命令を含み、コード命令は、
−  画像センサの少なくとも３つの既知の異なる配向および位置と、
−  光源により照明されるシーンの画像であって、前記画像センサにより取得され、各画像は、前記面からの光源の反射により、かつ光源の位置、形状および強度と、材料の反射率とに依存して生成される少なくとも１つの鏡面性を含む、画像と
に基づき、前記プログラムがコンピュータ上で実行されると、
−  各画像において、各鏡面性を検出する工程と、
−  鏡面性毎に、前記鏡面性を近似する円錐を推定する工程と、
−  円錐と、これらの円錐によりそれぞれ近似された鏡面性を含む画像の取得中の画像センサの位置および配向とに基づき、光源の位置、強度および形状と、材料の反射率とを表す２次曲面を構築する工程と
が行われることを可能にする、コンピュータプログラム製品である。
【００３２】
本発明の他の特徴および利点は、非限定的例として与えられ、添付図面を参照する以下の詳細な説明を読むことで明らかになる。
【図面の簡単な説明】
【００３３】
【図１】本発明による方法の主工程のフローチャートを示す。
【図２】Ｐｈｏｎｇモデルを使用した入射光線に対する平坦面上の鏡面性の例を概略的に示す。
【図３】２つの異なる視点から撮影された２つの画像内のテクスチャおよび鏡面性の例を示す。
【図４】楕円による鏡面性の２つの異なる近似を示す。
【図５】光源と鏡面性を提示する平坦面との間のリンクと、本発明による対応仮想モデルとを概略的に示す。
【図６ａ】点光源（左手画像）と、楕円により囲まれた鏡面性点を平坦面上に生成するセグメント上の点光源の組によって表される分散光源（右手画像）とを概略的に示す。
【図６ｂ】点光源（左手画像）と、楕円により囲まれた鏡面性点を平坦面上に生成するセグメント上の点光源の組によって表される分散光源（右手画像）とを概略的に示す。
【図７ａ】鏡面性と対応する楕円との間の距離の２つの例を、点／点距離（図７ａ）およびＪａｃｃａｒｄ距離（図７ｂ）で概略的に示す。
【図７ｂ】鏡面性と対応する楕円との間の距離の２つの例を、点／点距離（図７ａ）およびＪａｃｃａｒｄ距離（図７ｂ）で概略的に示す。
【図８】円錐によりそれぞれ表される鏡面性の複数の強さレベルを示す。
【図９】複数のスケールに対応する複数の同心２次曲面をそれぞれ概略的に示し、各投影２次曲面は、予測鏡面性の１つの強さレベルに関連付けられた円錐である。
【発明を実施するための形態】
【００３４】
図面間で、同じ要素は同じ参照符号により参照される。
【００３５】
本明細書の残りでは、表現「最上部」および「最下部」は、説明する図面の配向を基準として使用される。画像センサが他の配向により位置決めされ得る限り、方向用語は例示の目的で与えられ、かつ非限定である。
【００３６】
一次源の知識はシーンのより良好な理解にとって必須である。これらの一次源を発見するため、画像内で利用可能な陰影および鏡面性などの複数の光学的アーチアファクトが使用され得る。
１．陰影は、シーン内の不透明物体により掩蔽される区域に対応する。これらの要素は、一次源に対して掩蔽物体のサイズとその距離とに依存する。加えて、これらは、後者の形状により著しく影響される。
２．鏡面性は、反射面からの一次源の全反射に対応する。これらのアーチアファクトは、視点と、アーチアファクトが観測される材質とに依存する。
【００３７】
光センサ（眼、ビデオカメラ）はこれらの光学的アーチアファクトに敏感である。さらに、人間がシーンを解釈（特に、深さに関する情報、シーンの干渉性など）するのを一般的に支援するのは後者である。
【００３８】
したがって、マシンビジョン用途に関して光が必須要素である。その知識は様々な用途において有利であり得る：
−  拡張現実用途に関して、現実性は、これらの光学的アーチアファクトの仮想挿入に著しく依存する。
−  ビデオカメラ定位の分野において使用されるアルゴリズムは、鏡面性の存在により妨害され得る。これらの要素の知識はこれらのアルゴリズムを改善する可能性がある。
−  工業的検査の分野における物体の特性（幾何学形状、材質）の検証に関するものである。
【００３９】
本発明による方法は、様々な形状の光源（電球、蛍光ストリップなど）、材料の反射率および任意選択的に面の粗さがこの材料の平坦面からの鏡面反射に基づいて同時にモデル化されるようにする仮想モデルを構築する方法に基づく。この平坦面は湾曲し得る。これらの鏡面反射は、光の特性（形状、強度、位置）と、表される材料の特性とに敏感である。鏡面性に基づくモデルの構築はまた、材料の反射率特性の包含を意味する。この仮想モデルの構築は、鏡面性が未知の視点のモデルの投影を介して推定されるようにする。
【００４０】
対象の光源は、建物の内部に位置する光源または外部街灯の場合がそうであるように静止しており、鏡面性を提示する面から一般的にそれ程遠くない。それにもかかわらず、例えば太陽などの無限遠の源も本方法によりモデル化され得ることに注意されたい。
【００４１】
本発明による方法により処理される鏡面性を有する画像は、その固有パラメータ（焦点長および中心点）が既知であるセンサにより取得される。
【００４２】
画像センサの状況は画像毎に既知であると考えられ、シーンの３Ｄモデル（鏡面性が位置する面の法線のみ（または面群の法線群）が使用される）も知られている。これらの画像は、既知の経路に沿って移動するセンサにより得ることができ、ときにさらに遠く離れた画像自体は、場合により、ビデオモードまたは手動モードにおいて、または様々な既知の場所に位置する複数の静止センサにより得られる。
【００４３】
材料の反射率を含む光源モデルの構築に使用されるプリミティブは画像内の鏡面反射に対応する。これらの鏡面性は反射（非ランベルト）面からの光源の反射に起因する。そのサイズ、その位置およびその形状などの光源の特性は、面上の鏡面性の形状に影響を及ぼすことに注意されたい。加えて、材料の反射率に依存して、これらの鏡面性のサイズも修正される。これらの要素の知識は、鏡面性の形状が未知の視点に対して予測可能となるようにする場合に必須である。
【００４４】
平坦面の場合、鏡面性は鏡面性材料に対する光源の反射に対応する（完全鏡面性材料は鏡に対応するであろう）。この特性は、シーン内の光源の数を迅速に識別できるようにするために重要である。加えて、これらの鏡面性の追跡は、これらのアーチアファクトに関連付けられた光源の経時的状態を観測できるようにする。
【００４５】
少なくとも３つの異なる位置のセンサ（センサの位置と対応配向とは知られている）により得られる画像に基づき、モデルの構築は、図１のフローチャートに示す工程を含む。
【００４６】
Ａ．鏡面性の検出
この工程は、画像内の鏡面性を検出することを含む。この工程の終了時、結果的な画像はグレースケール画像である。これらの鏡面性は、本発明者らによる“Ｇｅｎｅｒｉｃ  ａｎｄ  ｒｅａｌ−ｔｉｍｅ  ｄｅｔｅｃｔｉｏｎ  ｏｆ  ｓｐｅｃｕｌａｒ  ｒｅｆｌｅｃｔｉｏｎｓ  ｉｎ  ｉｍａｇｅｓ”ＶＩＳＡＰＰ，２０１４において記載された方法を使用して検出される。この手法は、これらの鏡面性が例えばＲＧＢ空間内よりも色相−彩度−明度（ＨＳＶ）色空間においてより目立つという観測に基づく。具体的には、鏡面性自体は、明度チャネル内の高い値および飽和チャネル内の低い値として表す。
【００４７】
この観測に基づき、この工程は、画像から計算される光度に依存する明度および飽和チャネルの自動閾値化に基づく。結果を最大化するため、前処理（閾値化前）と後処理（閾値化後）とが実施される。
【００４８】
画像から計算される光度に依存して、前処理は、難しい画像（ビデオカメラの露出過剰、露出不足または照明の突然変化などに起因する）が予想されるようにする。コントラスト等化は、露出不足の場合に鏡面性をより目立たせるために、および露出過剰の場合に画像の飽和を制限するために適用される。この前処理から生じる画像は、より良好な条件下で検出が行われるようにするだけでなく、動画像列においてセンサを定位する方法を利用するのが困難な画像を予想できるようにする。具体的には、センサ（眼、ビデオカメラ）は受光の変動に非常に敏感である。
【００４９】
後処理の目的は、閾値化から生じる様々な候補を濾過することである。コントラストの等化後、画像内のいくつかの区域は、特に露出過剰画像に関して偽検出されたままである。具体的には、白色テクスチャは大量の光を戻し、これは場合により偽検出に繋がり、その光強度は非常に高い。この問題に対応するため、曖昧なテクスチャから鏡面性点を分離する方法が実施される。
【００５０】
画像がＨＳＶの明度チャネルにおいて観測されれば、鏡面性毎にその中心からの後者の強度の漸減を観測するのは容易である。この基準を利用するため、画像は鏡面反射候補のｋ個の領域に分割される。このセグメント化は従来の２値画像セグメント化方法（ｂｉｎａｒｙ−ｉｍａｇｅ−ｓｅｇｍｅｎｔａｔｉｏｎ  ｍｅｔｈｏｄ）を使用して行われ、例えばＳｕｚｕｋｉ  Ｓａｔｏｓｈｉ“Ｔｏｐｏｌｏｇｉｃａｌ  ｓｔｒｕｃｔｕｒａｌ  ａｎａｌｙｓｉｓ  ｏｆ  ｄｉｇｉｔｉｚｅｄ  ｂｉｎａｒｙ  ｉｍａｇｅｓ  ｂｙ  ｂｏｒｄｅｒ  ｆｏｌｌｏｗｉｎｇ”Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｇｒａｐｈｉｃｓ，ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，３０（１）：３２−４６，１９８５に記載される方法が使用され得る。最大外接ボックスが輪郭毎に採用される。具体的には、鏡面性は非一様的であり、通常非常に細分化される。最大外接ボックスを使用することにより、これらの細分化部は計算に含まれる。次に、明度チャネルにおける閾値は、各繰り返しにおいて単一サイズの一増分により徐々に修正され、これらの最大外接ボックスの面積の変動結果が観測される。この変動が一定（強度の若干および規則的低下と均等である）であれば、この候補は鏡面性であると考えられる。その面積が突然低下すれば、この候補は恐らくテクスチャを表し、したがって鏡面反射であるとして誤って検出された。
【００５１】
Ｂ．鏡面性の追跡
各鏡面性は光源に関連付けられる。光源の状態を実時間で追跡するため、各鏡面性の経時追跡が連続画像内の各鏡面性の輪郭に基づいて行われ、これらの輪郭の変動を追跡する。２つの連続画像に関して、前のおよび現在の輪郭が交差すれば、輪郭は更新され、鏡面性が追跡される。輪郭が前の画像に対して消えれば、鏡面性はもはや追跡されない（不十分に検出された輪郭、オフにされた光）。この追跡は、各鏡面性が、鏡面性面から反射するとともに各画像のこの鏡面性の起源である光源と実時間で一致するようにする。これは言わば、各鏡面性に各鏡面性の原因である光源に特有の指標を指標付けするという問題である。
【００５２】
加えて、この追跡は、画像内で偽検出された鏡面性が濾過されるようにする。具体的には、強い光の存在下の白色テクスチャは、光を大量に戻し、これにより、場合により画像を飽和させ、鏡面性の偽検出に至らせる。しかし、複数の画像に関して、白色テクスチャは、センサの視点に依存してシーン内で移動する鏡面性と異なり、３Ｄシーンでは静止したままである。本発明による濾過の原理は、センサの位置に関する鏡面性の３Ｄ輪郭（すなわちシーンの３Ｄモデルから得られる輪郭）の依存性に基づく。鏡面性候補に関して、これらの画像のセンサの状況（位置および配向）から２つの画像間のホモグラフィを計算することを含むワーピング法が使用される。候補は、その３Ｄ輪郭がシーン内で移動しなかった場合にテクスチャであると見なされる。すなわち、その３Ｄ輪郭が図３に示すように移動した場合、鏡面性であると見なされる。本の中心に位置する候補の点線輪郭は、第１の視点において撮影された右手画像と、第２の視点において撮影された左手画像との間のシーンで移動せず、この候補はテクスチャＴであると見なされなければならず、本の右手角の候補の実線輪郭は、右手画像および左手画像間のシーンで移動しており、したがって鏡面性Ｓである。この３Ｄ輪郭を得るために２Ｄ輪郭の各点が考慮され、光線追跡は、関連画像のセンサの状況に基づいてシーンの３Ｄモデル内で行われる。面とこれらの光線との交点は、画像毎に解析される３Ｄ輪郭を与える。
【００５３】
Ｃ．鏡面性を表す円錐の推定
本出願人によると、平坦面上で、全鏡面性（すなわちカットオフされない鏡面性）は、様々な光源（電球、蛍光ストリップ）の楕円の形式を採る。鏡面性は、より一般的には円錐の形式を採るが、本明細書の残りでは楕円が考察される。この特性の基礎は、“Ｉｌｌｕｍｉｎａｔｉｏｎ  ｆｏｒ  ｃｏｍｐｕｔｅｒ  ｇｅｎｅｒａｔｅｄ  ｐｉｃｔｕｒｅｓ”Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ｏｆ  ｔｈｅ  ＡＣＭ，１８（６）：３１１−３１７，１９７５においてＰｈｏｎｇらにより説明された反射の物理モデルであり、３Ｄ点ｐの強度を与える次のＰｈｏｎｇ式の鏡面性部分にのみ焦点を当てる。
【数１】
2018524688.tif 000003
ここで、
【数２】
2018524688.tif 000004
は、完全反射された光線の規格化方向であり、
【数３】
2018524688.tif 000005
は、センサに向かって配向された規格化方向であり、ｎは、光線が面を切る材料の光沢（光の反射係数）であり、ｋｓは、光の強度の反射比であり、αは、ＲとＶとの間の角度であり、ｉｓは、面に入射する強度である。
【００５４】
一定角度αと鏡面性材料の面πとを考察する。したがって、この角度に関して、Ｉｓ（ｐ）の値は一定である。Ｐｈｏｎｇ式に基づき、次式となるように点ｐ０に最大強度が存在することに留意し得る。
∃ｐ０∈π，Ｉｓ（ｐ０）＝ｉｓｋｓ⇔α＝０
【００５５】
フェルマーの原理によると、２点間の光線の経路は、常に可能な最短経路である。反射のスネルーデカルト則はこの原理から導出され得、法線ＮとベクトルＬとの間の角度θ１と、法線ＮとベクトルＲとの間の角度θ２は等しい。この原理は、Ｎ、ＬおよびＲを含む入射面がπに対して直交することを意味する。この原理は、２つのタイプの光源、点光源および分散光源に基づいて適用される。
【００５６】
電球などの点光源に関して、Ｐｈｏｎｇモデルでは、所与の角度αに関し、Ｒを静止アームであると考えＶ（光学中心Ｐとπ上の鏡面性の点ｐとにより定義される）を可変長のアームと考えると、例えば、Ｊ．Ｖａｎ  Ｍａａｎｅｎ“Ｓｅｖｅｎｔｅｅｎｔｈ  ｃｅｎｔｕｒｙ  ｉｎｓｔｒｕｍｅｎｔｓ  ｆｏｒ  ｄｒａｗｉｎｇ  ｃｏｎｉｃ  ｓｅｃｔｉｏｎｓ”Ｔｈｅ  Ｍａｔｈｅｍａｔｉｃａｌ  Ｇａｚｅｔｔｅ，ｐａｇｅｓ  ２２２−２３０，１９９２に記載のような完全な仮想の製図用コンパスを使用して、面π上に円錐曲線を描くことが可能である。
【００５７】
点ｐ０は、鏡面性の楕円の中心に位置しないことに留意することは興味深い。次式を満たすようなカットオフ角度αｍａｘが存在すると考えることが可能である。
∃αｍａｘ，α＞αｍａｘ⇔Ｉｓ（ｐ）＝０
【００５８】
加えて、このカットオフ角度は、次式となるような閾値τが存在することを意味する。
∀ｐ∈Ｓ，Ｉｓ（ｐ）＞τ
ここで、Ｓは、鏡面性点の組である。
【００５９】
したがって、Ｐｈｏｎｇモデルでは、本出願人は、図２に示すようなαｍａｘ、τおよび完全な製図用コンパスを使用することにより、面上の円錐の形式を採る鏡面性を点光源が発することを証明した。具体的には、フェルマーの原理によると、光線の経路は常に最短である。したがって、入射および反射光線により形成される面（入射面）は、完全な製図用コンパスの描画面に関連付けられ得る面π（反射面）に垂直である。鏡面性が次に面π上の画像内で全く可視であれば、鏡面性は楕円形状である。
【００６０】
上記文献では、蛍光ストリップなどの分散光源に関して、分散光源は点光源の離散化されたセグメントであると考えられる。これらの点光源は、反射材料の平坦面上に楕円形状の鏡面性を生成することが知られている。このセグメントが点光源内に無限に離散化されると考えれば、最大外接楕円により鏡面性点を表すことが可能である。
【００６１】
したがって、拡張光源に関して、得られる鏡面性も楕円形状である。したがって、各タイプの光源に関して、鏡面性平坦面についてこれらの（全体）鏡面性を楕円として表すことが可能である。
【００６２】
検出の品質に依存して、工程Ａの終了時の鏡面性の検出器により供給されたグレースケール画像に基づき、楕円を推定する次の２つの手法が可能である：
・Ｌ．Ｇ．Ｋｈａｃｈｉｙａｎ，Ｍ．Ｊ．Ｔｏｄｄ，“Ｏｎ  ｔｈｅ  ｃｏｍｐｌｅｘｉｔｙ  ｏｆ  ａｐｐｒｏｘｉｍａｔｉｎｇ  ｔｈｅ  ｍａｘｉｍａｌ  ｉｎｓｃｒｉｂｅｄ  ｅｌｌｉｐｓｏｉｄ  ｆｏｒ  ａ  ｐｏｌｙｔｏｐｅ”，Ｍａｔｈ．Ｐｒｏｇｒａｍｍｉｎｇ  ６１（１９９３）１３７−１５９に記載の精密な楕円が少ない誤差で検出され得られるようにする最大外接楕円推定。
・Ａ．Ｗ．Ｆｉｔｚｇｉｂｂｏｎ，Ｒ．Ｂ．Ｆｉｓｈｅｒ，ｅｔ  ａｌ．“Ａ  ｂｕｙｅｒ’ｓ  ｇｕｉｄｅ  ｔｏ  ｃｏｎｉｃ  ｆｉｔｔｉｎｇ”．ＤＡＩ  Ｒｅｓｅａｒｃｈ  ｐａｐｅｒ，１９９６に記載の、検出に起因する潜在的誤差が制限されるようにする近似楕円推定。
【００６３】
Ｄ．光のキー画像の選択
推定における実行速度および精度のために、モデルを構築および最適化する工程は画像毎に行われないが、「キー画像」と呼ばれるいくつかの画像に対してのみ行われる。これらは、画像内に検出される鏡面性の品質と角度基準との妥協を行うことにより選択される。
【００６４】
シーン全体にわたって分散された視点に対応するキー画像を有することが重要である。予め得られる反射角度に基づき、閾値は、１つのキー画像内に検出された鏡面性と、それに続くキー画像内に検出された鏡面性との間の交点が存在しないように遠く離れた視点を得るために、現在画像の反射角度と既存キー画像の各角度との間に設定される（例えば、実験的に）。これらのキー画像は、例えば使用されるセンサが静止しており、かつ遠く離れた視点基準を満足するために十分に離れた位置に既に定位された場合、直接（その後のソーティングなしに）得ることができる。
【００６５】
これらの基準は、すべてモデルの構築のための最適視点が得られるようにする。さらに、鏡面性面の粒度は、鏡面性の形状に影響を及ぼし得る。したがって、図４に示すように鏡面性に正確に対応する楕円を得るのは困難であり得、ここで、計算された楕円Ｃが右手画像より左手画像内の鏡面性Ｓの輪郭により良く対応することが観測され得る。鏡面性の品質は、検出器から（工程Ａの検出から）得られる鏡面性の輪郭と、この鏡面性に対して計算された楕円とを比較することにより推定される。この品質は、鏡面性の輪郭上の点と、推定楕円との間の点／点距離を介して推定される。Ｊａｃｃａｒｄ距離も鏡面性の領域と楕円の領域との類似性を比較するために使用され得る。これらの距離は最適化工程において詳述される。
【００６６】
Ｅ．初期化
Ｐｈｏｎｇモデルでは、点光の方向およびその強度は、点光源に基づいて直接推定されなければならない。Ｐｈｏｎｇ式によると、鏡面性は、光源の強度に依存してサイズが影響を受けることが知られている。実際、この強度の計算は、センサが光の変動に非常に敏感であり、知覚された強度が変化し得るため、些細なものではない。
【００６７】
光源の経験的モデルを仮想容積として再構築することが提案される。このモデルは、この光源に関連付けられた鏡面性から推定される円錐に基づき、２次曲面を再構築することによる光源の強度および形状および材料の特性を含む。
【００６８】
点光源（電球）に対して、本発明によるモデルは、図５に示すような球の形式を採るこの点光源に対する均等性を与える。具体的には、固定位置Ｇにおける全方向性点光源に対して、法線と入射光線との間の角度が、スネルーデカルト原理に従って反射光線間の法線間の角度と等しくなるように点ｐ０επがある。Ｐｈｏｎｇモデルでは、ｐ０は最大強度の面上の点である。図５において、光線Ｐ１ｑ１、Ｐ２ｑ２、Ｐ３ｑ３の交点は、πに対するＧの反射である点Ｇｓに対応し、Ｐ１、Ｐ２、Ｐ３は、対応する楕円Ｃ１、Ｃ２、Ｃ３の最大強度の点であるセンサｑ１、ｑ２およびｑ３の様々な位置である。最大強度の点は、図８に見られ得るように、必ずしも円錐の中心におけるものではない。図５に戻ると、本出願人は、視点毎に、所与の鏡面性材料の平坦面上において、点光源Ｇが楕円形状の鏡面性を生成することを実証した。頂点Ｐ１、Ｐ２、Ｐ３の様々な回転錐の交点（センサの光学中心）は半径ｒの球を与える。この半径ｒは、強度と所与の材料の反射率とに関連付けられる。
【００６９】
モデルと、光の波性質に起因する結果との間で類推がなされ得る。具体的には、Ｈｕｙｇｅｎの原理によると、光は漣の形式で伝播する。光源は等方性であると考えられる、すなわち、光源は全方向に光束で伝播する光波を発射し、光源近くのおよび光波が到達した空間の点のそれぞれにおいて、電磁界の状態は最大値と最小値との間で振動する（光源の周波数において）。所定時間に、光源から同一距離に位置するすべての点は同じ状態であり、すなわち「同相」である。光源から同じ距離に位置する点の包絡線が空中に球形を作る。この球の面は波頭と呼ばれ、一次源に関連付けられた二次源であると考えられ得る。
【００７０】
所与の光源に対して、図６ａに示すように複数の波頭が存在し、各円は、中心源により全方向に発射された波頭に対応することにも留意され得る。仮想モデルでは、「材料毎にその面上で観察される鏡面性が異なる波面レベルを具現化する」ことを考慮することにより、波頭によって類推することが可能である。
【００７１】
蛍光ストリップなどの分散光源に関して：
コンピュータグラフィックスでは、分散光源を点（点光源）の組で表すことが一般的である。したがって、蛍光ストリップは、セグメント全体にわたって分散された点の組によって表される。これらの点に関して、球により記述される波は独立しており、各点光源から発生する。ホイヘンスフレネル原理によるこれらの球状波の干渉は、図６ｂに示すように、その外部エンベロープが楕円体により一般化され得る新しい波頭を与える。
【００７２】
したがって、拡張光源に関して、本発明によるモデルは、波頭の形状との類推により、この光源を楕円体によって表す。これらの観察は、仮想光源モデルが球、楕円体、円柱または点も表し得る２次曲面を使用して一般化されるようにする。
【００７３】
円錐に基づく２次曲面の構築に関するいくつかの一般法則が想起される。
【００７４】
円錐に基づいて２次曲面を初期化する手順は、円錐および２次曲面の形式論が提示された後に提示される。
【００７５】
２次曲面は、その面の任意の点Ｘが次式：
ＸＴＱＸ＝０
（ここで、Ｘは、同次座標系における３Ｄ点である）
を満足するように、対称行列
【数４】
2018524688.tif 000006
によって表される９つの自由度を有する面である。
【００７６】
像面内の２次曲面を掩蔽する輪郭は、所与のセンサ状況に関し、その輪郭上の任意の点Ｘが次の制約：
ｘＴＣｘ＝０
（ここで、ｘは、同次座標系の２Ｄ点である）
を満足するように、５つの自由度を有する輪郭であり、かつ対称行列
【数５】
2018524688.tif 000007
によって表される円錐に対応する。
【００７７】
ＣをＱの関数として表すため、ＣとＱとの関係が主空間内では直接的ではないことから、双対空間が主空間の代わりに使用される。３Ｄ再構築のために双対空間を使用することは、深さ情報なしで済ますことを可能にする。この空間内では、円錐は次式となるように線ｌを使用して表される。
ｌＴＣ＊ｌ＝０
ここで、Ｃ＊は、双対円錐である。
【００７８】
双対２次曲面Ｑ＊に関して、以下の関係により記述される面πの表現が使用される。
πＴＱ＊π＝０
【００７９】
双対空間において、スケール係数内まで次の関係式を使用することが可能である。
Ｃ＊〜ＰＱ＊ＰＴ
ここで、Ｑ＊＝ａｄｊ（Ｑ）、Ｃ＊＝ａｄｊ（Ｃ）であり、ここで、ａｄｊは、随伴行列（変換された余因子行列）である。
【００８０】
Ｑ＊とＣ＊との関係を線形系に変換することによりＱ＊を再構築できるようにする、Ｃｒｏｓｓらによる“Ｑｕａｄｒｉｃ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｆｒｏｍ  ｄｕａｌ−ｓｐａｃｅ  ｇｅｏｍｅｔｒｙ”ｉｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ＩＣＣＶ，１９９８に記載の方法が使用される。ｎ個の視点に対してＱ、ＰおよびＣをＱｖ、ＢおよびＣｖの形式へベクトル化することにより（ここで、ｎ≧３である）、本発明者らは、円錐Ｃの形式を採る鏡面反射およびＱの形式を採る光源のモデルを使用することにより、系を再構築することができる。
【数６】
2018524688.tif 000008
ここで、行列
【数７】
2018524688.tif 000009
である。
【００８１】
この系に対する解決策は、Ｍの特異値分解（ＳＶＤ）に基づいて計算される。αｉは、視点ｉに関して、次式となるようにスケール係数に対応することに注意されたい。
αｉＣ＊ｉ，ｖ＝ＢｉＱ＊ｉ，ｖ
【００８２】
３つの視点に対するこの手順を図５に示す。半径ｒの球は、３つの鏡面性に関連付けられた３つの楕円に基づいてそれぞれ構築される。半径ｒの球は、光源の強度と、鏡面性が存在する面の材料の特性とを含む。図内の点線により示されるとともに点Ｐｉからそれぞれ発せられる回転錐は、２次曲面を判断するために明示的に計算されない。
【００８３】
この工程は指標付き光源毎に行われる。画像内の鏡面性を追跡することで、第１のモデルが光源毎に独立に構築されるようにする。この工程の終了時、それぞれが１つの光源を表す２次曲面が構築されている。
【００８４】
Ｆ．最適化
この段階は、光源モデルの構築が、様々な視点についての２次曲面の投影と、各画像の鏡面性の輪郭との間の距離の最小化を介して精緻化される（光源毎に）ようにする。したがって、最適化は、すべての光源に関し、投影から生成される楕円が画像内の対応鏡面性にできるだけ良好に対応するようにする非線形費用関数の最小化に基づく。この費用関数は、選択された距離に依存して異なる方法で計算され得る。
【００８５】
Ｆ．１．Ｊａｃｃａｒｄ距離
Ｊａｃｃａｒｄ距離は、２つの領域のそれぞれとそれらの交点とが見られ得る図７ｂに示すような２組（実線により境界を付けられた鏡面性Ｓの領域および破線により境界を付けられた投影円錐（この例では楕円）の領域）間の類似性を定量化し、次式により与えられる。
【数８】
2018524688.tif 000010
ここで、Ｃは、円錐であり、Ｓは、画像内で検出される鏡面性である。
【００８６】
Ｊａｃｃａｒｄ費用関数：
この費用関数の目的は、すべての視点について、鏡面性の領域と、２次曲面を投影することにより生成される円錐との類似性を最大化することである。
【００８７】
費用関数は、次式により記述される。
【数９】
2018524688.tif 000011
ここで、Ｓｉは、画像内の鏡面性画素であり、Ｃ’ｉは、指標ｉの画像と指標ｋの光源との円錐である。
【００８８】
Ｆ．２．費用関数の点／点距離
したがって、鏡面性の輪郭とその関連投影円錐の輪郭との間の点／円錐距離は使用可能でない。具体的には、点と円錐との間の距離の計算は、多項式の４次のルートを計算することを含み、これは、計算時間という意味で高価であり、解析微係数が得られるようにしない。
【００８９】
所望の解決策は、Ｐ．Ｓｔｕｒｍ  ａｎｄ  Ｐ．Ｇａｒｇａｌｌｏ“Ｃｏｎｉｃ  ｆｉｔｔｉｎｇ  ｕｓｉｎｇ  ｔｈｅ  ｇｅｏｍｅｔｒｉｃ  ｄｉｓｔａｎｃｅ”Ｉｎ  Ａｓｉａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ＡＣＣＶ．２００７に記載された手法と同様の、各輪郭点にそれぞれ関連付けられた点群への円錐のパラメータ化を得ることである。
【００９０】
この点／点距離（図７ａに示される）を計算するために様々な費用関数計算が使用され得る。そのうちの２つを提示する。
【００９１】
−  点／点距離による費用関数
この費用関数の目的は、図７ａに示すように、指標ｉの視点の２次曲面Ｑの投影Ｃｉ間のすべてのユークリッド距離「ｄ」をＱの関数として最小化することである。この距離は次式により与えられる。
【数１０】
2018524688.tif 000012
ここで、ｑ’ｉ，ｊ，ｋは、指標ｉの鏡面性Ｓの輪郭の指標ｊの点（黒丸印によって表される）であり、ｑｉ，ｊ，ｋは、指標ｉの円錐Ｃ（十字によって表される）のパラメータ化から得られる点である。この演算は光源ｋに関して行われる。
【００９２】
点／点距離の費用関数の場合、円錐は各繰り返しにおいて離散化されなければならない。
【００９３】
−  別の解決策は、各繰り返しにおいてこれらの対を再計算する代わりに、同一対の点（鏡面性／円錐）を保持するために潜在的変数を使用することである。しかし、満足すべき制約は、その関連円錐の輪郭上においてのみ変化することができる潜在的変数を有することである。ここで、円錐の点は次の関係式により定義される。
ｘＴＣｘ＝０
ここで、Ｃは、円錐であり、ｘは、同次座標系の２Ｄ点である。
【００９４】
したがって、費用関数は次の形式で書き換えら得る。
【数１１】
2018524688.tif 000013
【００９５】
精緻化されるべき２次曲面は、通常、ＸＴＱＸ＝０（ここで、Ｘは、２次曲面の面に属する３Ｄ点である）となるように、行列
【数１２】
2018524688.tif 000014
によって表されることに注意されたい。
【００９６】
この２次曲面もパラメータ（２次曲面の中心、各軸のスケール、各軸の周りの回転）的に表され得る。
【００９７】
この工程の終了時、それぞれが１つの光源モデルを表す精緻化された二次曲面が構築されている。複数の２次曲面が一致すると、これらは同じ光源のモデルを表す。
【００９８】
Ｇ．鏡面性予測：
モデルが構築され精緻化されると、新しいが既知の配向および位置Ｐを有するとともに、同じ材料を有するセンサを使用して取得される現在の新しい画像内の鏡面性Ｓｐを予測するために、このモデルを像面πｉ上へ直接投影することが可能である。この機能は、拡張現実の分野において特に有用である。（モデル化された）２次曲面のこの新しい画像への投影は、鏡面性が予測された区域を境界付ける円錐を与える。
【００９９】
モデルは所与の材料に適用可能であるが、モデルのものとは異なるが既知の標準の鏡面性材料の別の平坦面に関して、係数内で定義された鏡面性を推定することが可能であり、投影された円錐の中心は、鏡面性が予測された区域の中心を示し、鏡面性の寸法はスケール係数内で円錐のものである。複雑な物体に関して、未知の視点の２次曲面を掩蔽する輪郭の離散化により、この物体上の鏡面性の輪郭を予測することは光線追跡により可能であることにも注意する必要があろう。
【０１００】
一般的に、鏡面性は様々な強さレベルを保有する。具体的には、鏡面性は最大強度の区域を保有し、その強度はこの区域からの距離とともに低下する。本発明者らのモデルでは、様々な強さレベルは、すべて４つの円錐Ｃｐ１、Ｃｐ２、Ｃｐ３、Ｃｐ４（したがって、４つの強さレベル）を有する図８に示すような円錐によって表される。後者は、この図に見られ得るように同心でないことに留意することが重要である。鏡面性予測方法は、鏡面性Ｓｐの最大外接輪郭が２次曲面の厳密な投影に基づいて推定されるようにし、鏡面性の様々な強さレベルが、３つの２次スケールについて図９に示すように、様々なスケールの２次曲面を投影することにより推定されるようにする。像面πｉ上へ投影された３つの同心２次曲面Ｑ１、Ｑ２、Ｑ３（３つの２次スケールを示す）は、予測鏡面性Ｓｐの３つの強さレベルに対応する３つの（予測された）円錐Ｃｐ１、Ｃｐ２、Ｃｐ３を生成する。したがって、本発明者らのモデルはまた、鏡面性の最大強度の区域が予測されるようにする。
【０１０１】
Ｈ．センサの位置と配向の補正
構築され、任意選択的に精緻化されたモデルに基づいて鏡面性が予測されると、センサ位置および配向の起こり得る誤差を補正することも可能であり、これは、前記位置と、前記配向に関連付けられた画像内に存在する鏡面性と、モデル化された２次曲面を前記画像へ投影することから生じる円錐との間の相違の計算に基づく。実際には、この工程は、最小化パラメータとしてビデオカメラの位置および配向を有する前述の費用関数の１つを使用して行われ、この費用関数は、検出された鏡面性の輪郭を使用して計算され、光源のモデルおよび予測鏡面性の輪郭を構築するために使用される。
【０１０２】
本方法は、合成順序および実際の順序で定性的かつ定量的に実施および検証された（鏡面性、２次再構築および非線形洗練化の経時追跡による検出）。これらの試験は、様々な材料（鋼、プラスチック、ニスが塗られた木材、磁器）で作られた物体（例：テーブル、台所、ボード、本など）に関して様々な光源（電球および蛍光灯）により複雑な環境で行われた。実現された順序は、再構築のために使用されない視点からの鏡面性点の予測に関する方法の精度を強調する。加えて、映像ストリームは、提案手法により実時間で（平均で１秒当たり３０画像）処理された。
【０１０３】
したがって、拡張現実、センサ定位、面品質管理などのすべての用途に関して、本発明による方法を使用するマシンビジョンは、安価であり、実用的であり、かつ非侵入性の解決策を提供する。
【０１０４】
鏡面性を含む画像を処理するこの方法は、シーン内に位置する１つの可動センサ（または複数の静止センサ）により得られる画像に基づき、およびこのシーンの３Ｄ幾何学モデルに基づいて実施され得る。
【０１０５】
本方法は、特に、センサにより取得された画像を処理する本方法の工程を実行できるようにするコード命令を含むコンピュータプログラム製品を使用して実施され得る。本方法は、次に、シーンの３Ｄ幾何学モデルとセンサの位置および配向とにアクセスするコンピュータなどのコンピュータにより読み取り可能な媒体上に格納される。媒体は、電子的、磁気的、光学的、電磁気的であってもよく、赤外線光を使用して読み出される記憶媒体であってもよい。このような媒体は、例えば半導体メモリ（ランダムアクセスメモリ（ＲＡＭ）または読み取り専用メモリ（ＲＯＭ））、テープ、フロッピーディスクまたは磁気的もしくは光学的（コンパクトディスク  −  読み取り専用メモリ（ＣＤ−ＲＯＭ）、コンパクトディスク  −  読み書き（ＣＤ−Ｒ／Ｗ）またはＤＶＤ）ディスクである。
【０１０６】
本発明は、特定の実施形態を参照して説明されたが、本発明はこれらに決して限定されず、説明した手段およびそれらの組合せの任意の技術的均等物も後者が本発明の範囲以内にあれば含むことが明らかになる。
【図１】
2018524688.tif 000015
【図２】
2018524688.tif 000016
【図３】
2018524688.tif 000017
【図４】
2018524688.tif 000018
【図５】
2018524688.tif 000019
【図６ａ】
2018524688.tif 000020
【図６ｂ】
2018524688.tif 000021
【図７ａ】
2018524688.tif 000022
【図７ｂ】
2018524688.tif 000023
【図８】
2018524688.tif 000024
【図９】
2018524688.tif 000025
【手続補正書】
【提出日】平成28年10月26日(2016.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
未知の反射率の材料で作られた面を含むシーンの画像を処理する方法であって、
−  画像センサであって、前記センサの位置および対応する配向は既知である、画像センサの少なくとも３つの異なる位置から、光源により照明された前記シーンの画像を取得する工程であって、各画像は、前記面からの前記光源の反射により、かつ前記光源の位置、前記光源の形状および前記光源の強度と、前記材料の反射率とに依存して生成される少なくとも１つの鏡面性（Ｓ）を含む、工程と、
−  各画像において、各鏡面性（Ｓ）を検出する工程と、
−  鏡面性毎に、前記鏡面性を近似する円錐（Ｃ）を推定する工程と
を含む方法において、
−  前記円錐と、また、前記円錐によりそれぞれ近似された前記鏡面性を含む前記画像の前記取得中の前記画像センサの位置および配向とに基づき、前記光源の位置、前記光源の前記強度および前記光源の前記形状と、前記材料の前記反射率とを表す２次曲面（Ｑ）を構築する工程
をさらに含むことを特徴とする方法。
【請求項２】
前記面は、未知の粗さを有し、前記２次曲面（Ｑ）は、前記面の前記粗さも表す、請求項１に記載の画像処理方法。
【請求項３】
前記シーンは、少なくとも１つの他の光源により照明され、各画像は、前記面からのそれぞれの他の光源の反射により生成される少なくとも１つの鏡面性を含むことと、前記方法は、鏡面性毎に、
−  前記鏡面性（Ｓ）を経時追跡する工程と、
−  前記鏡面性（Ｓ）と、したがってそれを近似する前記円錐とを光源と整合させる工程と
をさらに含むことと、２次曲面（Ｑ）を構築する前記工程は、前記光源と整合された前記円錐と、前記円錐によりそれぞれ近似された前記鏡面性を含む前記画像の前記取得中の前記画像センサの前記位置および配向とに基づき、光源毎に行われることとを特徴とする、請求項１または２に記載の画像処理方法。
【請求項４】
−  鏡面性（Ｓ）毎に、新しい２次曲面を判断するために、前記鏡面性と、前記センサの前記位置および配向により判断される軸に沿って前記鏡面性を含む前記画像上へ前記２次曲面（Ｑ）を投影することから生じる円錐との間の距離を最小化する工程と、
−  事前設定された停止基準に到達するまで、先行する前記工程を繰り返す工程であって、最後の繰り返しから生じる前記新しい２次曲面は、精緻化された２次曲面である、工程と
をさらに含むことを特徴とする、請求項１〜３のいずれか一項に記載の画像処理方法。
【請求項５】
前記光源に対する前記シーン内の前記センサの視点の分布の所定の基準に依存して、前記取得された画像からキー画像を選択する工程をさらに含むことを特徴とする、請求項１〜４のいずれか一項に記載の画像処理方法。
【請求項６】
光源は、点光源であることと、前記対応する２次曲面は、球であることとを特徴とする、請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項７】
光源は、拡張光源であることと、前記対応する２次曲面は、楕円体であることとを特徴とする、請求項１〜５のいずれか一項に記載の画像処理方法。
【請求項８】
新しい画像の取得中の前記画像センサの新しい位置および新しい配向と、前記新しい画像上への前記２次曲面の前記投影とに依存して、既知の標準の材料で作られた面上に形成される鏡面性（Ｓｐ）を近似する、予測円錐（Ｃｐ１、Ｃｐ２、Ｃｐ３）と呼ばれる円錐の位置および形状の予測を計算する工程を含むことを特徴とする、請求項１〜７のいずれか一項に記載の画像処理方法。
【請求項９】
２次スケールは、事前設定され、前記円錐予測計算は、スケールと同数の円錐（Ｃｐ１、Ｃｐ２、Ｃｐ３）を得るためにスケール毎に行われ、各円錐は、前記予測鏡面性（Ｓｐ）の強さレベルに対応することを特徴とする、請求項８項に記載の画像処理方法。
【請求項１０】
前記予測鏡面性の前記材料は、前記２次曲面に関連付けられた前記材料と同じであることと、前記予測鏡面性のサイズも予測されることとを特徴とする、請求項８または９に記載の画像処理方法。
【請求項１１】
前記画像センサの前記位置および配向の誤差を、前記位置および配向に関連付けられた前記画像内に存在する鏡面性と、前記画像上への前記２次曲面の前記投影から生じる円錐との間の差異の計算に基づいて補正する工程を含むことを特徴とする、請求項１〜１０のいずれか一項に記載の画像処理方法。
【請求項１２】
前記画像センサの前記異なる位置および配向は、同じ動画像センサを使用してまたは複数の静止画像センサを使用して得られることを特徴とする、請求項１〜１１のいずれか一項に記載の画像処理方法。
【請求項１３】
コンピュータプログラム製品であって、コンピュータプログラムは、コード命令を含み、前記コード命令は、
−  画像センサであって、前記センサの位置および対応する配向は既知である、画像センサの少なくとも３つの異なる位置と、
−  光源により照明される、未知の反射率の材料で作られた面を含むシーンの画像であって、前記画像センサにより取得され、各画像は、前記面からの前記光源の反射により、かつ前記光源の位置、前記光源の形状、前記光源の強度と、材料の反射率とに依存して生成される少なくとも１つの鏡面性（Ｓ）を含む、画像と
に基づき、前記プログラムがコンピュータ上で実行されると、
−  各画像において、各鏡面性（Ｓ）を検出する工程と、
−  鏡面性毎に、前記鏡面性を近似する円錐（Ｃ）を推定する工程と、
−  前記円錐と、また、前記円錐によりそれぞれ近似された前記鏡面性を含む前記画像の前記取得中の前記画像センサの前記位置および配向とに基づき、前記光源の前記位置、前記光源の前記強度および前記光源の前記形状と、前記材料の前記反射率とを表す２次曲面（Ｑ）を構築する工程と
が行われることを可能にする、コンピュータプログラム製品。
【請求項１４】
請求項２〜１２に記載の工程が行われることを可能にするコード命令を含む、請求項１３に記載のコンピュータプログラム製品。
【国際調査報告】
2018524688.tif 000026
2018524688.tif 000027
2018524688.tif 000028
2018524688.tif 000029
2018524688.tif 000030
2018524688.tif 000031