(57)【要約】【課題】移動する対象物までの距離を高精度に計測する。【解決手段】記憶部１ａは、ＴＯＦ（Time Of Flight）センサ２から取得された距離画像１１と、それぞれ異なる偏光方向の直線偏光を受光するカメラ３ａ〜３ｃから取得された画像４ａ〜４ｃに基づいて画素ごとに偏光度を算出することで生成された偏光画像１２とを記憶する。演算部１ｂは、距離画像１１の画素ごとに、距離の計測時刻と画像４ａ〜４ｃの撮影時刻との差に応じた信頼度１３を算出し、距離画像１１の画素ごとの距離に信頼度１３を重み付けすることで算出される距離画像１４と、偏光画像１２に基づいて画素ごとに距離を推定することで算出された距離画像１５とを用いて、ＴＯＦセンサ２から被写体までの距離の出力値１６を画素ごとに算出する。【選択図】図１
2019100969.tif 000002
【特許請求の範囲】
【請求項１】
ＴＯＦ（Time Of Flight）センサから取得された第１の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像とを記憶する記憶部と、
前記第１の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、前記第１の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第２の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、前記ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する演算部と、
を有する距離計測装置。
【請求項２】
前記信頼度の算出では、前記計測時刻と前記撮影時刻との差が小さいほど、前記信頼度として高い値を設定する、
請求項１記載の距離計測装置。
【請求項３】
前記出力値の算出では、前記第２の距離画像と前記第３の距離画像との間の誤差を最小化する処理を行うことで、前記第３の距離画像の各画素の距離についてのスケールを推定し、推定された前記スケールを用いて前記第３の距離画像を変換することで、前記出力値を算出する、
請求項１または２記載の距離計測装置。
【請求項４】
前記出力値の算出では、
前記第２の距離画像の各画素の距離と、前記第３の距離画像の各画素の距離に対して前記スケールを推定するための変数を乗算した値との間の誤差が最小となるような前記変数を算出し、
前記第３の距離画像の各画素の距離に対して前記変数を乗算した値を、前記出力値として算出する、
請求項３記載の距離計測装置。
【請求項５】
前記演算部は、さらに、
前記偏光画像に基づいて、画素ごとに法線の情報を対応付けた法線画像を算出し、
前記法線画像に基づいて前記第３の距離画像を算出する、
請求項１乃至４のいずれか１項に記載の距離計測装置。
【請求項６】
前記ＴＯＦセンサは、測距用の光線を所定の第１の方向に延びる照射パターンとして発光し、前記照射パターンを前記第１の方向に直交する第２の方向に順次移動させながら前記光線の反射光を受光することで、前記第１の距離画像を生成する、
請求項１乃至５のいずれか１項に記載の距離計測装置。
【請求項７】
コンピュータが、
ＴＯＦセンサから第１の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像を取得し、
前記第１の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、
前記第１の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第２の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、前記ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する、
距離計測方法。
【請求項８】
コンピュータに、
ＴＯＦセンサから第１の距離画像を取得するとともに、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像を取得し、
前記第１の距離画像の画素ごとに、距離の計測時刻と前記複数の画像の撮影時刻との差に応じた信頼度を算出し、
前記第１の距離画像の画素ごとの距離に前記信頼度を重み付けすることで算出される第２の距離画像と、前記偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、前記ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する、
処理を実行させる距離計測プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離計測装置、距離計測方法および距離計測プログラムに関する。
【背景技術】
【０００２】
対象物までの距離を計測する測距技術の１つとして、ＴＯＦ（Time Of Flight）方式がある。ＴＯＦ方式は、対象物に対して測距用の光線を照射し、光線の照射から反射光が戻ってくるまでの時間に基づいて、対象物までの距離を計測する方式である。
【０００３】
また、他の測距技術として、偏光方向の異なる直線偏光をカメラが受光して得られた画像を基に、偏光度を算出し、その偏光度に基づいて対象物までの距離を計測する技術も提案されている。
【０００４】
さらに、他の測距技術として、距離（デプス）センサから取得した距離画像と、上記のようにカメラから得られた偏光度を含む偏光画像の両方を用いて、距離センサだけを用いた場合より高精度に距離を計測するための技術も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−０４４５９７号公報
【特許文献２】米国特許出願公開第２０１６／０２６１８４４号明細書
【非特許文献】
【０００６】
【非特許文献１】Seungkyu Lee, “Time-of-Flight Depth Camera MotionBlur Detection and Deblurring”, IEEE SIGNAL PROCESSING LETTERS, VOL. 21, NO. 6, JUNE 2014
【非特許文献２】宮崎大輔、池内克史、「偏光レイトレーシング法による透明物体の表面形状の推定手法」、電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８８−ＤＩＩ，Ｎｏ．８、２００５年８月、ｐ．１４３２−１４３９
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、ＴＯＦセンサとしては、ラインスキャン方式を用いて測距するものが多い。ラインスキャン方式のＴＯＦセンサは、測距用の光線を、所定の第１の方向に延びる照射パターンとして発光し、このような照射パターンを第１の方向に直交する第２の方向に順次移動させながら、光線の反射光を受光する。
【０００８】
このようなラインスキャン方式のＴＯＦセンサでは、対象物に対して照射パターンが発光される時刻が、第１の方向に対する位置によって異なる時刻となる。このため、移動する対象物を測距対象とした場合に、ＴＯＦセンサに写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化するという問題がある。
【０００９】
１つの側面では、本発明は、移動する対象物までの距離を高精度に計測可能な距離計測装置、距離計測方法および距離計測プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
１つの案では、次のような記憶部と演算部とを有する距離計測装置が提供される。記憶部は、ＴＯＦ（Time Of Flight）センサから取得された第１の距離画像と、それぞれ異なる偏光方向の直線偏光を受光する複数のカメラから取得された複数の画像に基づいて画素ごとに偏光度を算出することで生成された偏光画像とを記憶する。演算部は、第１の距離画像の画素ごとに、距離の計測時刻と複数の画像の撮影時刻との差に応じた信頼度を算出し、第１の距離画像の画素ごとの距離に信頼度を重み付けすることで算出される第２の距離画像と、偏光画像に基づいて画素ごとに距離を推定することで算出された第３の距離画像とを用いて、ＴＯＦセンサから被写体までの距離の出力値を画素ごとに算出する。
【００１１】
また、１つの案では、上記の距離計測装置と同様の処理をコンピュータが実行する距離計測方法が提供される。
さらに、１つの案では、上記の距離計測装置と同様の処理をコンピュータに実行させる距離計測プログラムが提供される。
【発明の効果】
【００１２】
１つの側面では、移動する対象物までの距離を高精度に計測できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係る距離計測装置の構成例および処理例を示す図である。
【図２】第２の実施の形態に係る形状計測システムの構成例を示す図である。
【図３】形状計測装置およびセンサユニットのハードウェア構成例を示す図である。
【図４】ＴＯＦセンサによるデプス計測の問題点を説明するための図である。
【図５】形状計測装置が備える処理機能の構成例を示すブロック図である。
【図６】第１デプス画像のデータ構造の一例を示す図である。
【図７】信頼度の算出について説明するための図である。
【図８】偏光画像算出処理の概要を示す図である。
【図９】偏光度と天頂角との関係の例を示す図である。
【図１０】詳細形状算出部の処理手順の概要を示す図である。
【図１１】形状計測装置の処理手順の例を示すフローチャート（その１）である。
【図１２】形状計測装置の処理手順の例を示すフローチャート（その２）である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る距離計測装置の構成例および処理例を示す図である。図１に示す距離計測装置１は、ＴＯＦセンサ２による計測結果と、複数のカメラによる撮像画像とを用いて、ＴＯＦセンサ２と、距離の計測対象とする図示しない対象物との間の距離を、対象物が写った画像の画素ごとに計測する装置である。ＴＯＦセンサ２は、被写体に対して測距用の光線を発光し、光線の発光からその反射光を受光するまでの往復時間に基づいて、被写体の距離（デプス）を計測する。
【００１５】
距離計測装置１は、記憶部１ａと演算部１ｂを有する。記憶部１ａは、例えば、距離計測装置１が備える図示しない記憶装置の記憶領域として実現される。演算部１ｂは、例えば、距離計測装置１が備える図示しないプロセッサとして実現される。
【００１６】
記憶部１ａには、ＴＯＦセンサ２から取得された距離画像１１（第１の距離画像）と、複数のカメラからそれぞれ取得された複数の画像に基づいて生成される偏光画像１２とが記憶される。本実施の形態では、例として、偏光画像１２の生成のために３台のカメラ３ａ〜３ｃが用いられるものとするが、４台以上のカメラが用いられてもよい。
【００１７】
カメラ３ａ，３ｂ，３ｃは、それぞれ異なる偏光方向の直線偏光を受光することで、それぞれ画像４ａ，４ｂ，４ｃを出力する。例えば、カメラ３ａは０°の直線偏光を受光し、カメラ３ｂは４５°の直線偏光を受光し、カメラ３ｃは９０°の直線偏光を受光する。偏光画像１２は、画像４ａ〜４ｃに基づいて画素ごとに偏光度を算出することで生成される。
【００１８】
ここで、カメラ３ａ〜３ｃは、同一の撮影時刻に画像４ａ〜４ｃを撮像する。「同一の撮影時刻」とは、画像４ａ〜４ｃの全体において露光期間が同一であることを意味する。一方、ＴＯＦセンサ２は、距離画像１１の全体で測距用の光線の反射光を同一時刻に受光できない構造のため、距離画像１１においては距離の計測時刻が部分的に異なる。例えば、ラインスキャン方式が用いられる場合、ＴＯＦセンサ２は、測距用の光線を所定の第１方向（例えば、縦方向）に延びる照射パターンとして発光する。そして、ＴＯＦセンサ２は、このような照射パターンを第１方向に直交する第２方向（例えば、横方向）に順次移動させながら、光線の反射光を受光する。この場合、距離画像１１上の第２方向に対する位置によって反射光の受光時刻が異なる時刻となるので、第２方向に対する位置によって距離の計測時刻も異なる時刻となる。
【００１９】
演算部１ｂは、距離画像１１の画素ごとに、距離の計測時刻と、カメラ３ａ〜３ｃの撮影時刻との差に応じた信頼度１３を算出する。この算出では、例えば、距離の計測時刻が撮影時刻に近いほど、信頼度１３の値が高い値に設定される。そして、演算部１ｂは、距離画像１１の画素ごとに対応する信頼度１３を重み付けすることで、距離画像１４（第２の距離画像）を算出する。
【００２０】
また、演算部１ｂは、偏光画像１２に基づいて画素ごとに距離を推定することで、距離画像１５（第３の距離画像）を算出する。演算部１ｂは、例えば、偏光画像１２に基づいて、画素ごとに法線の情報を対応付けた法線画像を算出し、この法線画像に基づいて距離画像１５を算出する。
【００２１】
そして、演算部１ｂは、距離画像１４と距離画像１５とを用いて、ＴＯＦセンサ２から被写体までの距離の出力値１６を、画素ごとに算出する。
ここで、上記のように、距離画像１１においては、距離の計測時刻が画素の位置によって異なる。このため、移動する対象物を測距対象とした場合、距離画像１１に写る対象物の像の形状が歪むことがある。このような像の形状の歪みが生じると、測距精度が悪化する。
【００２２】
一方、カメラ３ａ〜３ｃによる画像４ａ〜４ｃの撮影時刻は同一であり、画像４ａ〜４ｃの全体において露光期間が同一となっている。このため、画像４ａ〜４ｃから算出された距離画像１５では、上記のような対象物の移動に伴う像の形状の歪みは生じない。そこで、演算部１ｂは、像の形状の歪みが生じ得る距離画像１１だけでなく、像の形状の歪みが生じない距離画像１５も利用することで、距離の出力値１６を正確に算出することができる。
【００２３】
また、演算部１ｂは、距離の出力値１６の算出の際に、距離画像１１をそのまま用いるのではなく、距離画像１１を信頼度１３を用いて変換した距離画像１４を用いる。信頼度１３は、距離画像１１の画素ごとの距離の計測時刻と、画像４ａ〜４ｃの撮影時刻との差に応じて算出される。このため、距離の出力値１６の算出の際に、信頼度１３を用いて変換された距離画像１４が用いられることで、距離の計測時刻が撮影時刻に近く、計測された距離の正確性が高い画素ほど、距離の出力値１６の算出処理に反映される割合が高くなる。これにより、対象物が移動する場合に、その移動に伴う像の形状の歪みが距離の計測精度に与える影響を軽減でき、距離の計測精度を向上させることができる。
【００２４】
〔第２の実施の形態〕
図２は、第２の実施の形態に係る形状計測システムの構成例を示す図である。図２に示す形状計測システムは、形状計測装置１００とセンサユニット２００とを含む。
【００２５】
形状計測装置１００は、被写体を写した画像をセンサユニット２００から取得し、取得した画像に写る被写体とセンサユニット２００との間のデプス（距離）を、画像上の画素ごとに計測する。例えば、計測の対象となる対象物３００が画像に写っている場合、形状計測装置１００は、画像に写っている対象物３００の像について、画像の画素ごとにデプスを計測する。これによって、形状計測装置１００は、対象物３００の三次元形状を計測することができる。
【００２６】
センサユニット２００は、ＴＯＦセンサ２１０とカメラ部２２０とを含む。ＴＯＦセンサ２１０は、ＴＯＦ方式を用いて被写体のデプスを算出する。具体的には、ＴＯＦセンサ２１０は、被写体にレーザ光を発光し、その反射光が被写体から戻ってくるまでの往復時間に基づいて、被写体のデプスを算出する。以下、ＴＯＦセンサ２１０によって算出されるデプスを「第１デプス」と記載する。ＴＯＦセンサ２１０は、画像上の画素ごとにデプスをプロットした「第１デプス画像」を、形状計測装置１００に出力する。
【００２７】
一方、カメラ部２２０は、被写体からの光のうち、それぞれ異なる偏光方向の直線偏光の成分を受光することで得られる複数のカメラ画像を同時に撮像し、それらのカメラ画像を形状計測装置１００に出力する。なお、形状計測装置１００は、各カメラ画像として輝度画像を取得できればよい。この目的のために、カメラ部２２０が輝度画像を撮像する構成としてもよく、あるいは、カメラ部２２０がカラー画像を撮像し、形状計測装置１００がカラー画像を輝度画像に変換する構成としてもよい。
【００２８】
形状計測装置１００は、ＴＯＦセンサ２１０から出力された第１デプスに基づく第１デプス画像を取得する。これとともに、形状計測装置１００は、カメラ部２２０から出力されたカメラ画像に基づいて偏光画像を算出した後、算出された偏光画像に基づいて被写体のデプスを算出する。以下、このようにカメラ画像に基づく偏光画像から得られたデプスを「第２デプス」と記載する。後述するように、形状計測装置１００は、第１デプスと第２デプスの両方を用いることで、第１デプスの計測結果に現れる、対象物３００の形状の歪みの影響を低減した、正確性の高いデプスを算出する。
【００２９】
図３は、形状計測装置およびセンサユニットのハードウェア構成例を示す図である。
まず、形状計測装置１００は、例えば、図３に示すようなコンピュータとして実現される。図３に示す形状計測装置１００は、プロセッサ１０１、ＲＡＭ（Random Access Memory）１０２、ＨＤＤ（Hard Disk Drive）１０３、グラフィック処理装置１０４、入力インタフェース１０５、読み取り装置１０６、ネットワークインタフェース１０７および通信インタフェース１０８を有する。
【００３０】
プロセッサ１０１は、形状計測装置１００全体を統括的に制御する。プロセッサ１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ１０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。
【００３１】
ＲＡＭ１０２は、形状計測装置１００の主記憶装置として使用される。ＲＡＭ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。
【００３２】
ＨＤＤ１０３は、形状計測装置１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。
【００３３】
グラフィック処理装置１０４には、表示装置１０４ａが接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令にしたがって、画像を表示装置１０４ａに表示させる。表示装置としては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。
【００３４】
入力インタフェース１０５には、入力装置１０５ａが接続されている。入力インタフェース１０５は、入力装置１０５ａから出力される信号をプロセッサ１０１に送信する。入力装置１０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００３５】
読み取り装置１０６には、可搬型記録媒体１０６ａが脱着される。読み取り装置１０６は、可搬型記録媒体１０６ａに記録されたデータを読み取ってプロセッサ１０１に送信する。可搬型記録媒体１０６ａとしては、光ディスク、光磁気ディスク、半導体メモリなどがある。
【００３６】
ネットワークインタフェース１０７は、ネットワーク１０７ａを介して他の装置との間でデータの送受信を行う。
通信インタフェース１０８は、センサユニット２００との間でデータの送受信を行う。
【００３７】
以上のようなハードウェア構成によって、形状計測装置１００の処理機能を実現することができる。
一方、センサユニット２００のＴＯＦセンサ２１０は、赤外線発光部２１１と赤外線受光部２１２を有する。赤外線発光部２１１は、被写体に対して赤外線レーザを発光する。赤外線受光部２１２は、赤外線発光部２１１から発光された赤外線レーザの反射光を受光する。ＴＯＦセンサ２１０は、赤外線発光部２１１から発光された赤外線レーザの反射光が被写体から戻ってくるまでの往復時間を計測し、計測された往復時間に光速を乗算することによって、被写体のデプスを算出する。ＴＯＦセンサ２１０は、画像上の画素ごとにデプスをプロットした第１デプス画像を、形状計測装置１００に出力する。
【００３８】
また、センサユニットのカメラ部２２０は、カメラ２２１〜２２３と偏光フィルタ２２１ａ〜２２３ａを有する。カメラ２２１〜２２３のそれぞれは、例えば、ＲＧＢ（Red／Blue／Green）カラー画像を撮影する。偏光フィルタ２２１ａ〜２２３ａは、入射光のうち特定の偏光方向の直線偏光を透過させる直線偏光板である。
【００３９】
カメラ２２１の撮像面には、カメラ２２１の光軸を中心として０°の回転角で偏光フィルタ２２１ａが配置され、カメラ２２１は偏光フィルタ２２１ａを介して画像を撮像する。また、カメラ２２２の撮像面には、カメラ２２２の光軸を中心として４５°の回転角で偏光フィルタ２２２ａが配置され、カメラ２２２は偏光フィルタ２２２ａを介して画像を撮像する。さらに、カメラ２２３の撮像面には、カメラ２２３の光軸を中心として９０°の回転角で偏光フィルタ２２３ａが配置され、カメラ２２３は偏光フィルタ２２３ａを介して画像を撮像する。これにより、カメラ２２１は、０°の直線偏光を受光して得られたカメラ画像を出力し、カメラ２２２は、４５°の直線偏光を受光して得られたカメラ画像を出力し、カメラ２２３は、９０°の直線偏光を受光して得られたカメラ画像を出力する。
【００４０】
ここで、図示しないが、カメラ２２１〜２２３はそれぞれグローバルシャッタを備えている。そして、カメラ２２１〜２２３は、各グローバルシャッタを同期させて開閉することで、同一の撮影時刻に撮影された（すなわち、同一の露光期間に露光された）カメラ画像を出力することができるようになっている。
【００４１】
次に、図４は、ＴＯＦセンサによるデプス計測の問題点を説明するための図である。ＴＯＦセンサ２１０の赤外線発光部２１１は、赤外線レーザを直線状の照射パターンで照射し、その照射パターンを徐々にシフトすることで、デプス計測範囲の全体に赤外線レーザを照射する。図４の左側に示す例では、直線状の照射パターンを破線によって示している。この例では、照射パターンは上下方向に延びる直線形状をなしており、そのような照射パターンが右から左に対して徐々にシフトされて照射される。以下、照射パターンのシフト方向を「スキャン方向」と記載する。
【００４２】
このような方法で赤外線レーザが発光されることから、ＴＯＦセンサ２１０から出力される第１デプス画像においては、スキャン方向に対する位置によってスキャン時刻（赤外線レーザの反射光の受光時刻）が異なる時刻になってしまう。このことは、例えば、移動する対象物３００の三次元形状を計測する場合に、計測結果が不正確になる原因となる。
【００４３】
図４では、スキャン方向が右から左への方向であり、なおかつ、対象物３００が上から下に対して移動する場合を例示している。この場合、図４の右側に示すように、第１デプス画像に写る対象物３００の像３０１は、左側ほど位置が下側にずれた形状になってしまう。このように、対象物３００が移動する場合には、対象物３００の像３０１の形状に歪みが生じる可能性がある。このような像３０１の形状の歪みによって、計測される第１デプスが不正確になるという問題がある。
【００４４】
また、ＴＯＦセンサ２１０のスキャン速度を高めることで、上記のような歪みの発生を軽減し、第１デプスの計測精度を改善できる。しかし、スキャン速度と１画像中のスキャン回数（スキャン方向に対する照射パターンの照射数）とはトレードオフの関係にあるため、スキャン速度を高めようとするとスキャン回数が少なくなる。その結果、第１デプス画像の解像度が低くなり、得られる三次元形状が粗い形状になってしまうという問題もある。
【００４５】
このような問題に対して、本実施の形態の形状計測装置１００は、第１デプス画像に加えて第２デプス画像を用いて、被写体のデプスを算出する。第２デプス画像は、カメラ部２２０から取得したカメラ画像に基づいて算出された偏光画像から求められる。上記のように、カメラ部２２０ではグローバルシャッタを用いることで、偏光方向が異なる直線偏光を受光して得られた複数のカメラ画像が、同一時刻に撮影される。このため、このようなカメラ画像から得られる偏光画像では、対象物３００の像３０１の形状には歪みが生じない。この性質を利用して、形状計測装置１００は、第１デプス画像と第２デプス画像の両方を用いることで、第１デプス画像に現れる像の形状の歪みの影響を低減した、正確性の高いデプスを算出する。
【００４６】
図５は、形状計測装置が備える処理機能の構成例を示すブロック図である。形状計測装置１００は、記憶部１１０、第１デプス取得部１２１、カメラ画像取得部１２２、信頼度算出部１２３、偏光画像算出部１２４、法線算出部１２５および詳細形状算出部１２６を有する。
【００４７】
記憶部１１０は、例えば、ＲＡＭ１０２やＨＤＤ１０３など、形状計測装置１００が備える記憶装置の記憶領域として実現される。記憶部１１０には、第１デプス画像１１１、カメラ画像１１２ａ〜１１２ｃ、信頼度マップ１１３、偏光画像１１４、法線画像１１５および第２デプス画像１１６が記憶される。
【００４８】
第１デプス取得部１２１、カメラ画像取得部１２２、信頼度算出部１２３、偏光画像算出部１２４、法線算出部１２５および詳細形状算出部１２６の処理は、例えば、プロセッサ１０１が所定のプログラムを実行することで実現される。
【００４９】
第１デプス取得部１２１は、ＴＯＦセンサ２１０から第１デプス画像１１１を取得して、記憶部１１０に格納する。第１デプス画像１１１は、画像上の各画素に対してデプスの計測値がプロットされた構造を有している。また、第１デプス画像１１１のデータには、第１デプス画像１１１の取得時刻が付加される。
【００５０】
カメラ画像取得部１２２は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１２ａ，１１２ｂ，１１２ｃを取得して、記憶部１１０に格納する。また、カメラ画像１１２ａ〜１１２ｃの各データには、撮影時刻が付加される。カメラ画像１１２ａ〜１１２ｃは同一時刻に撮影されるので、付加される撮影時刻も同一となる。
【００５１】
信頼度算出部１２３は、第１デプス画像１１１の取得時刻と、カメラ画像１１２ａ〜１１２ｃの撮影時刻とに基づいて、第１デプス画像１１１上の画素ごとに信頼度を算出する。信頼度としては、第１デプス画像１１１における前述のスキャン方向に対して、スキャン時刻がカメラ画像１１２ａ〜１１２ｃの撮影時刻に近いほど、大きい値が付与される。なお、スキャン時刻は、第１デプス画像１１１の取得時刻から換算される。信頼度算出部１２３は、第１デプス画像１１１上の画素ごとに信頼度をプロットとした信頼度マップ１１３を生成して、記憶部１１０に格納する。
【００５２】
偏光画像算出部１２４は、カメラ画像１１２ａ〜１１２ｃに基づいて偏光画像１１４を算出して、記憶部１１０に格納する。偏光画像１１４は、画像上の各画素に対して偏光度がプロットされた構造を有している。偏光度は、光がどれだけ偏光しているかを示す指標であり、０以上１以下の値となる。
【００５３】
法線算出部１２５は、偏光画像１１４に基づいて、偏光画像１１４上の画素ごとに法線の情報を算出する。法線算出部１２５は、画像上の各画素に対して法線の情報をプロットした法線画像１１５を生成して、記憶部１１０に格納する。
【００５４】
詳細形状算出部１２６は、法線画像１１５に含まれる法線の情報に基づいて、法線画像１１５の画素ごとに第２デプスを推定する。詳細形状算出部１２６は、第２デプスを画素ごとにプロットした第２デプス画像１１６を記憶部１１０に格納する。
【００５５】
また、詳細形状算出部１２６は、第１デプス画像１１１の各画素のデプスに、信頼度マップ１１３に含まれる対応する信頼度を乗算して、第１デプス画像１１１を変換する。
ここで、法線画像１１５から推定されるデプスは、スケールが未知の値となる。詳細形状算出部１２６は、信頼度を用いて変換された第１デプス画像と、第２デプス画像１１６との間の二乗誤差を最小化する処理を行うことで、第２デプス画像１１６のスケールを推定する。詳細形状算出部１２６は、推定されたスケールが適用された第２デプス画像を、像の形状の歪みが補正されたデプス画像として出力する。
【００５６】
以下、形状計測装置１００の処理についてさらに詳しく説明する。
＜第１デプス画像とカメラ画像の取得＞
第１デプス取得部１２１は、ＴＯＦセンサ２１０から第１デプス画像１１１を取得して、記憶部１１０に格納する。また、カメラ画像取得部１２２は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１２ａ，１１２ｂ，１１２ｃを取得して、記憶部１１０に格納する。
【００５７】
なお、カメラ画像１１２ａ〜１１２ｃは、輝度画像として記憶部１１０に格納される。カメラ２２１，２２２，２２３からカラー画像が出力される場合、カメラ画像取得部１２２は、カメラ２２１，２２２，２２３からそれぞれ出力されたカラー画像を輝度画像に変換し、それぞれカメラ画像１１２ａ，１１２ｂ，１１２ｃとして記憶部１１０に格納する。また、カメラ画像１１２ａ〜１１２ｃは、第１デプス画像１１１と同一の解像度の画像として記憶部１１０に格納されるものとする。
【００５８】
ここで、前述のように、カメラ２２１，２２２，２２３は、グローバルシャッタを用いることにより、カメラ画像１１２ａ，１１２ｂ，１１２ｃをそれぞれ同一時刻に撮影して出力する。カメラ画像取得部１２２は、取得したカメラ画像１１２ａ〜１１２ｃのデータを記憶部１１０に格納する際に、各データに対して同一の撮影時刻を付加する。
【００５９】
一方、第１デプス取得部１２１は、取得した第１デプス画像１１１のデータを記憶部１１０に格納する際に、そのデータに対して第１デプス画像１１１の取得時刻を付加する。この取得時刻としては、例えば、第１デプス取得部１２１がＴＯＦセンサ２１０に対して第１デプス画像１１１の出力を指示した時刻や、第１デプス取得部１２１が第１デプス画像１１１の受信を完了した時刻などを用いることができる。
【００６０】
カメラ画像１１２ａ〜１１２ｃの撮影時刻と第１デプス画像１１１の取得時刻は、信頼度算出部１２３による信頼度の算出時に参照される。ここで、図４で説明したように、第１デプス画像１１１においては、スキャン方向に対する位置によってスキャン時刻が異なる。信頼度算出部１２３は、上記のような第１デプス画像１１１の取得時刻から、スキャン方向に対する位置ごとのスキャン時刻を換算することができる。
【００６１】
なお、第１デプス画像１１１の取得とカメラ画像１１２ａ〜１１２ｃの取得は、同期して実行される。具体的には、第１デプス画像１１１のスキャン期間（スキャン方向に対する一端の位置のスキャン時刻から他端の位置のスキャン時刻までの期間）に、カメラ画像１１２ａ〜１１２ｃの撮影時刻が包含されるように、第１デプス画像１１１とカメラ画像１１２ａ〜１１２ｃが取得される。
【００６２】
図６は、第１デプス画像のデータ構造の一例を示す図である。第１デプス画像１１１のデータは、画素ごとに、Ｘ軸方向（水平方向）の位置、Ｙ軸方向（垂直方向）の位置、Ｚ方向（奥行き方向）の位置が対応付けられた構造のデータとして記憶部１１０に格納される。これらのうち、Ｚ方向の位置がデプス（距離）を示す。第１デプス画像１１１のデータは、例えば、図６に示すようなデータテーブル１１１ａとして格納される。図６に示すデータテーブル１１１ａでは、各画素の画素番号に対してＸ方向、Ｙ方向、Ｚ方向の各位置が対応付けて登録されている。
【００６３】
＜信頼度の算出＞
次に、信頼度算出部１２３による信頼度の算出処理について説明する。
図７は、信頼度の算出について説明するための図である。信頼度算出部１２３は、第１デプス画像１１１の取得時刻と、カメラ画像１１２ａ〜１１２ｃの撮影時刻とに基づいて、第１デプス画像１１１上の画素ごとに信頼度を算出する。
【００６４】
具体的には、信頼度算出部１２３は、まず、第１デプス画像１１１の取得時刻に基づいて、第１デプス画像１１１におけるスキャン方向に対する位置ごとにスキャン時刻を算出する。図７に示す第１デプス画像１１１の例では、スキャン方向は右から左への方向である。この場合、水平方向の座標が同じ画素列（すなわち、垂直方向に並列する画素列）ごとに、異なるスキャン時刻が算出される。
【００６５】
次に、信頼度算出部１２３は、第１デプス画像１１１の画素ごとに、スキャン時刻と、カメラ画像１１２ａ〜１１２ｃの撮影時刻との差分に応じた信頼度を算出する。信頼度は０以上１以下の値として算出され、スキャン時刻が撮影時刻に近いほど信頼度の値が高くなり、スキャン時刻と撮影時刻とが一致する場合に信頼度＝１とされる。これは、スキャン時刻が撮影時刻に近いほど、そのスキャン時刻に得られた像の位置情報は、カメラ画像１１２ａ〜１１２ｃを基に算出される第２デプス画像１１６における像の位置情報との一致度が高い、と考えられるからである。このような信頼度が、詳細形状算出部１２６による第１デプス画像１１１と第２デプス画像１１６との二乗誤差最小化処理で用いられることで、画素ごとの二乗誤差に対して信頼度に応じた重み付けが行われる。その結果、二乗誤差最小化処理の精度を高めることができる。
【００６６】
図７に示すグラフ１１３ａは、第１デプス画像１１１におけるＸ軸方向、Ｙ軸方向の各座標と信頼度との関係の例を示している。また、この例では、カメラ画像１１２ａ〜１１２ｃの撮影時刻がｔであるものとする。この場合、第１デプス画像１１１において水平方向の座標が同じ画素列のうち、スキャン時刻がｔである画素列について、信頼度＝１と算出される。また、スキャン時刻が（ｔ−ｍ）である画素列、およびスキャン時刻が（ｔ＋ｍ）である画素列については、信頼度として１より小さい値が算出される。図７の例では、これらの画素列については信頼度として同一の値が算出されている。
【００６７】
なお、スキャン時刻と撮影時刻との差分値と信頼度との関係を示す情報は、例えば、数式やデータテーブルとしてあらかじめ用意され、記憶部１１０に記憶される。信頼度算出部１２３は、このような情報に基づいて、スキャン時刻と撮影時刻との差分値に応じた信頼度を算出する。
【００６８】
以上の手順により、信頼度算出部１２３は、第１デプス画像１１１の画素ごとに信頼度を算出する。信頼度算出部１２３は、第１デプス画像１１１の画素ごとに信頼度をプロットとした信頼度マップ１１３を生成して、記憶部１１０に格納する。
【００６９】
＜偏光画像の算出＞
次に、偏光画像算出部１２４による偏光画像１１４の算出処理について説明する。
図８は、偏光画像算出処理の概要を示す図である。偏光画像算出部１２４は、カメラ画像１１２ａ〜１１２ｃのそれぞれに対して、視点を第１デプス画像１１１の視点に合わせるための視点変換処理を施す。この視点変換処理のために、次のような事前準備が行われる。
【００７０】
ＴＯＦセンサ２１０およびカメラ２２１〜２２３の位置と向きとに基づいて、ＴＯＦセンサ２１０およびカメラ２２１〜２２３の外部パラメータが設定される。また、カメラ２２１〜２２３の内部パラメータが設定される。これらのパラメータは、キャリブレーションによって求められる。そして、これらのパラメータに基づいて、カメラ２２１〜２２３の視点をＴＯＦセンサ２１０の視点に変換するためのホモグラフィ行列が算出される。
【００７１】
偏光画像算出部１２４は、カメラ画像１１２ａ，１１２ｂ，１１２ｃをそれぞれホモグラフィ行列を用いて変換することで、カメラ画像１１２ａ１，１１２ｂ１，１１２ｃ１を算出する。カメラ画像１１２ａ１，１１２ｂ１，１１２ｃ１は、それぞれカメラ画像１１２ａ，１１２ｂ，１１２ｃをＴＯＦセンサ２１０と同じ位置から同じ向きで撮影した場合の画像を示す。
【００７２】
次に、偏光画像算出部１２４は、変換により得られたカメラ画像１１２ａ１〜１１２ｃ１を用いて偏光画像１１４を算出する。この算出処理では、カメラ画像１１２ａ１〜１１２ｃ１の画素ごとに次のような処理が実行される。
【００７３】
偏光画像算出部１２４は、カメラ画像１１２ａ１〜１１２ｃ１におけるｍ番目の画素の輝度値を、下記の式（１）で表されるコサインカーブによって近似する。
ｙm＝ａmｃｏｓ（Θ＋ｂm）＋ｃm      ・・・（１）
偏光画像算出部１２４は、得られたコサインカーブにおける最大値と最小値を求め、「（最大値／最小値）／（最大値＋最小値）」という式によって、ｍ番目の画素の偏光度を算出する。これにより、偏光度は０以上１以下の値として算出される。
【００７４】
偏光画像算出部１２４は、以上の処理手順により画素ごとに偏光度を算出する。偏光画像算出部１２４は、各画素に対して偏光度をプロットした偏光画像１１４を生成して、記憶部１１０に格納する。
【００７５】
なお、偏光度は、３以上の異なる回転角の偏光フィルタを用いて得られたカメラ画像から算出可能である。本実施の形態では例として、３つの偏光フィルタ２２１ａ〜２２３ａを用いて得られた３つのカメラ画像１１２ａ〜１１２ｃに基づいて偏光度が算出されるが、４つ以上の偏光フィルタを用いて得られたカメラ画像に基づいて偏光度が算出されてもよい。
【００７６】
＜法線の情報の算出＞
次に、法線算出部１２５による法線の情報の算出処理について説明する。
法線算出部１２５は、偏光画像１１４に基づいて、偏光画像１１４上の画素ごとに法線の情報を算出する。法線の情報として、天頂角θと方位角φが算出される。
【００７７】
図９は、偏光度と天頂角との関係の例を示す図である。対象物３００を拡散反射物体と仮定すると、天頂角θは、偏光度から一意に定まる。偏光度と天頂角θとの関係は、例えば、図９に示すグラフ１２５ａによって表される。法線算出部１２５は、このような関係に基づいて、各画素についての天頂角θを偏光度から算出する。
【００７８】
一方、方位角φは、画素ごとに次のような処理が実行されることで算出される。
法線算出部１２５は、偏光画像１１４の算出処理において近似されたコサインカーブにおいて、輝度値が最大となる角度θmaxを求める。この角度θmaxは、直線偏光の受光量が最大となる偏光方向を示す。また、この角度θmaxは、式（１）のｂmとして求められる。
【００７９】
方位角φは、求められた角度θmax、またはこの角度θmaxに１８０°を加算した角度のいずれかである。法線算出部１２５は、第１デプス画像１１１から求められる法線の情報に基づいて、以下の手順によってθmaxまたは（θmax＋１８０）のいずれかを方位角φとして特定する。
【００８０】
座標（ｘ，ｙ）におけるデプスｚを表す関数をｚ＝ｆ（ｘ，ｙ）とする。また、第１デプス画像１１１の座標（ｘ，ｙ）における第１デプスの勾配を（ｐ，ｑ，−１）とする。このｐ，ｑは、下記の式（２−１），（２−２）に示すように、第１デプス画像１１１の座標（ｘ，ｙ）における第１デプスを偏微分することで求められる。そして、勾配（ｐ，ｑ，−１）と、第１デプス画像１１１の座標（ｘ，ｙ）における法線ｎ＝（ｎx，ｎy，ｎz）との間には、下記の式（３−１）〜（３−３）に示す関係がある。
【００８１】
【数１】
2019100969.tif 000003
【００８２】
法線算出部１２５は、上記の式（２−１），（２−２），（３−１）〜（３−３）を用いて、第１デプス画像１１１の座標（ｘ，ｙ）における方位角φ’を算出する。そして、法線算出部１２５は、上記のθmaxと（θmax＋１８０）のうち、算出された方位角φ’に近い方を、偏光画像１１４に基づく方位角φとして特定する。
【００８３】
なお、方位角φの算出処理では、上記のように近似されたコサインカーブを用いずに、３つのカメラ画像１１２ａ１〜１１２ｃ１のうち輝度値が最大のカメラ画像に対応する偏光フィルタの角度が、角度θmaxとして求められてもよい。
【００８４】
法線算出部１２５は、以上の処理手順により画素ごとに天頂角θと方位角φを算出する。法線算出部１２５は、画像上の各画素に対して天頂角θと方位角φをプロットした法線画像１１５を生成して、記憶部１１０に格納する。
【００８５】
＜詳細形状の算出＞
次に、詳細形状算出部１２６の処理について説明する。
図１０は、詳細形状算出部の処理手順の概要を示す図である。
【００８６】
詳細形状算出部１２６は、第１デプス画像１１１の画素ごとの第１デプスに対して、信頼度マップ１１３に含まれる、対応する画素の信頼度を乗算する。このような乗算により、第１デプス画像１１１は図１０に示す変換第１デプス画像１１７に変換される。
【００８７】
また、詳細形状算出部１２６は、法線画像１１５に含まれる法線の情報に基づいて、法線画像１１５の画素ごとにデプス（第２デプス）を推定して、第２デプス画像１１６を算出する。このときに推定される第２デプスは、スケールの不定な値となる。そこで、詳細形状算出部１２６は、上記の変換により得られた変換第１デプス画像１１７のデプス（変換第１デプス）と、第２デプス画像１１６の第２デプスとの間で、画素ごとの二乗誤差を最小化する処理を行う。この処理では、ＴＯＦセンサ２１０の計測結果に基づく変換第１デプスの大きさを基準として、最小二乗法により第２デプスのスケールが推定される。
【００８８】
以下、第２デプスの推定および変換第１デプスと第２デプスとの間の二乗誤差最小化処理について、具体的に説明する。
詳細形状算出部１２６は、次のような手順で、法線画像１１５の各画素の第２デプスを推定することで、第２デプス画像１１６を生成する。法線画像１１５の座標（ｘ，ｙ）における法線ｎ’＝（ｎ’x，ｎ’y，ｎ’z）は、天頂角θと方位角φを用いて次の式（４−１）〜（４−３）で表される。
ｎ’x＝ｃｏｓφｓｉｎθ      ・・・（４−１）
ｎ’y＝ｓｉｎφｃｏｓθ      ・・・（４−２）
ｎ’z＝ｃｏｓθ      ・・・（４−３）
また、法線画像１１５の座標（ｘ，ｙ）における第２デプスの勾配を（ｐ’，ｑ’，−１）とすると、法線ｎ’＝（ｎ’x，ｎ’y，ｎ’z）は次の式（５−１）〜（５−３）で表される。
【００８９】
【数２】
2019100969.tif 000004
【００９０】
詳細形状算出部１２６は、式（５−１）〜（５−３）の法線ｎ’にｎ’zを乗算し、その乗算結果と式（４−１）〜（４−３）とに基づいて、第２デプスの勾配を示すパラメータであるｐ’，ｑ’を算出する。そして、詳細形状算出部１２６は、次の式（６）を用いて第２デプスＤｐを算出する。
【００９１】
【数３】
2019100969.tif 000005
【００９２】
以上の第２デプスＤｐの推定では、式（２−１），（２−２）が示すようにデプスの勾配を偏微分することで法線が得られるという関係を利用して、偏光画像１１４から得られた法線の情報を基に線積分を行うことで第２デプスＤｐが推定される。詳細形状算出部１２６は、式（６）を用いて推定された第２デプスＤｐを画素ごとにプロットした第２デプス画像１１６を生成して、記憶部１１０に格納する。
【００９３】
この第２デプス画像１１６は、カメラ画像１１２ａ〜１１２ｃから変換されたものである。このため、第２デプス画像１１６では、第１デプス画像１１１のように、対象物３００の移動に起因する像の形状の歪みが生じない。しかし、その一方で、上記の式（６）から推定される第２デプスＤｐは、スケールが不定であり、その絶対的な値が正しく定まらない。
【００９４】
そこで、詳細形状算出部１２６は、第１デプス画像１１１の第１デプスと第２デプス画像１１６の第２デプスＤｐとの間の誤差を最小化する処理を行うことで、第２デプス画像１１６のスケールを推定する。このとき、詳細形状算出部１２６は、第１デプス画像１１１をそのまま用いるのではなく、図１０に示したように、撮影時刻とスキャン時刻との差に基づく信頼度が適用された変換第１デプス画像１１７を用いて推定を行う。これにより、誤差最小化処理において信頼度に応じた重み付けが行われ、処理精度が向上する。
【００９５】
詳細形状算出部１２６は、具体的には、最小二乗法を用いて次のような処理を実行する。変換第１デプス画像１１７のｍ番目の画素における変換第１デプスをＤｃmとし、第２デプス画像１１６のｍ番目の画素における第２デプスをＤｐmとする。また、二乗誤差最小化に用いる重みをｗとし、スケールを決定するための変数をβとする。詳細形状算出部１２６は、次の式（７）で表される残差平方和ＲＳＳが最小となるような変数βを算出する。
【００９６】
【数４】
2019100969.tif 000006
【００９７】
詳細形状算出部１２６は、推定されたスケールが適用された第２デプス画像、すなわち各画素について算出されたβＤｐmを、像の形状の歪みの影響が低減された最終的なデプス画像として出力する。最終的なデプス画像のデプスは、対象物３００が移動しても像の形状の歪みが生じないカメラ画像１１２ａ〜１１２ｃから推定された第２デプスに、変数βを適用することで算出される。このため、像の形状の歪みによる影響が低減された、正確性の高いデプスを算出することができる。その結果、対象物３００が移動する場合でも、対象物３００の三次元形状を高精度に計測できるようになる。
【００９８】
＜フローチャート＞
次に、形状計測装置１００の処理手順について、フローチャートを用いて説明する。
図１１、図１２は、形状計測装置の処理手順の例を示すフローチャートである。
【００９９】
［ステップＳ１１］第１デプス取得部１２１は、ＴＯＦセンサ２１０から第１デプス画像１１１を取得して、記憶部１１０に格納する。また、カメラ画像取得部１２２は、カメラ部２２０のカメラ２２１，２２２，２２３によってそれぞれ撮影されたカメラ画像１１２ａ，１１２ｂ，１１２ｃを取得して、記憶部１１０に格納する。
【０１００】
［ステップＳ１２］偏光画像算出部１２４は、カメラ画像１１２ａ〜１１２ｃのそれぞれに対して、視点を第１デプス画像１１１の視点に合わせるための視点変換処理を施す。具体的には、偏光画像算出部１２４は、カメラ画像１１２ａ，１１２ｂ，１１２ｃをそれぞれ視点変換用のホモグラフィ行列を用いて変換することで、カメラ画像１１２ａ１，１１２ｂ１，１１２ｃ１を算出する。
【０１０１】
［ステップＳ１３］偏光画像算出部１２４は、ステップＳ１２で変換されたカメラ画像１１２ａ１〜１１２ｃ１から、偏光画像１１４を算出する。具体的には、偏光画像算出部１２４は、カメラ画像１１２ａ１〜１１２ｃ１におけるｍ番目の画素の輝度値を、前述の式（１）で表されるコサインカーブによって近似する。偏光画像算出部１２４は、得られたコサインカーブにおける最大値と最小値を求め、「（最大値／最小値）／（最大値＋最小値）」という式によって、ｍ番目の画素の偏光度を算出する。偏光画像算出部１２４は、各画素に対して偏光度をプロットした偏光画像１１４を生成して、記憶部１１０に格納する。
【０１０２】
［ステップＳ１４］信頼度算出部１２３は、第１デプス画像１１１の画素列ごとにステップＳ１５，Ｓ１６の処理を実行する。画素列とは、第１デプス画像１１１において、ＴＯＦセンサ２１０のスキャン方向に対して直交する方向に並列する画素の集合である。例えば、図７のようにスキャン方向が水平方向の場合、画素列は垂直方向に並列する画素の集合である。
【０１０３】
［ステップＳ１５］信頼度算出部１２３は、第１デプス画像１１１の取得時刻に基づいて、処理対象の画素列についての第１デプスのスキャン時刻を算出する。そして、信頼度算出部１２３は、カメラ画像１１２ａ〜１１２ｃの撮影時刻を取得し、算出したスキャン時刻と取得した撮影時刻とを比較する。
【０１０４】
［ステップＳ１６］信頼度算出部１２３は、スキャン時刻と撮影時刻との差分に応じて信頼度を決定する。信頼度は、０以上１以下の間で、スキャン時刻が撮影時刻に近いほど高い値となるような所定の規則に基づいて決定される。
【０１０５】
［ステップＳ１７］信頼度算出部１２３は、ステップＳ１５，Ｓ１６の処理を第１デプス画像１１１のすべての画素列について実行すると、第１デプス画像１１１の画素ごとに信頼度をプロットとした信頼度マップ１１３を生成して、記憶部１１０に格納する。そして、信頼度算出部１２３は、処理を図１２のステップＳ２１に進める。
【０１０６】
［ステップＳ２１］法線算出部１２５は、偏光画像１１４に基づき、偏光画像１１４の画素ごとに、法線の情報として天頂角θと方位角φを算出する。具体的には、法線算出部１２５は、例えば図９に示したグラフ１２５ａのような偏光度と天頂角θとの所定の関係に基づいて、偏光画像１１４の各画素の偏光度に対応する天頂角θを算出する。また、方位角φは、次のように算出される。
【０１０７】
法線算出部１２５は、偏光画像１１４の算出処理において近似されたコサインカーブにおいて、輝度値が最大となる角度θmaxを求める。また、法線算出部１２５は、前述の式（２−１），（２−２），（３−１）〜（３−３）を用いて、第１デプス画像１１１の座標（ｘ，ｙ）における方位角φ’を算出する。そして、法線算出部１２５は、θmaxと（θmax＋１８０）のうち、算出された方位角φ’に近い方を、偏光画像１１４に基づく方位角φとして特定する。
【０１０８】
法線算出部１２５は、偏光画像１１４の各画素に対して天頂角θと方位角φをプロットした法線画像１１５を生成して、記憶部１１０に格納する。
［ステップＳ２２］詳細形状算出部１２６は、法線画像１１５に基づき、法線画像１１５の各画素の第２デプスを推定する。具体的には、詳細形状算出部１２６は、前述の式（５−１）〜（５−３）の法線ｎ’にｎ’zを乗算し、その乗算結果と前述の式（４−１）〜（４−３）とに基づいて、第２デプスの勾配を示すパラメータであるｐ’，ｑ’を算出する。そして、詳細形状算出部１２６は、前述の式（６）を用いて第２デプスＤｐを算出する。詳細形状算出部１２６は、推定された第２デプスＤｐを画素ごとにプロットした第２デプス画像１１６を生成して、記憶部１１０に格納する。
【０１０９】
［ステップＳ２３］第１デプス画像１１１の画素ごとの第１デプスに対して、信頼度マップ１１３に含まれる、対応する画素の信頼度を乗算する。これにより、第１デプス画像１１１が変換第１デプス画像１１７に変換される。
【０１１０】
なお、以上のステップＳ１２〜Ｓ１７，Ｓ２１〜Ｓ２４の処理は、ステップＳ１２，Ｓ１３，Ｓ２１，Ｓ２２という処理順と、Ｓ１４〜Ｓ１７，Ｓ２３という処理順が維持され、かつ、ステップＳ１３の後にステップＳ２２が実行されるという処理順が維持される範囲で、変更可能である。
【０１１１】
［ステップＳ２４］詳細形状算出部１２６は、ステップＳ２３で生成された変換第１デプス画像１１７の変換第１デプスと、ステップＳ２２で生成された第２デプス画像１１６の第２デプスＤｐとの間の二乗誤差を最小化する処理を行う。これにより、詳細形状算出部１２６は、第２デプス画像１１６のスケールを推定する。具体的には、詳細形状算出部１２６は、前述の式（７）で表される残差平方和ＲＳＳが最小となるような変数βを算出する。詳細形状算出部１２６は、推定されたスケールが適用された第２デプス画像、すなわち各画素について算出されたβＤｐmを、像の形状の歪みの影響が低減された最終的なデプス画像として出力する。
【０１１２】
なお、上記の各実施の形態に示した装置（距離計測装置１および形状計測装置１００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、フレキシブルディスク（ＦＤ）、磁気テープなどがある。光ディスクには、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。光磁気記録媒体には、ＭＯ（Magneto-Optical disk）などがある。
【０１１３】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１１４】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。
【符号の説明】
【０１１５】
１  距離計測装置
１ａ  記憶部
１ｂ  演算部
２  ＴＯＦセンサ
３ａ〜３ｃ  カメラ
４ａ〜４ｃ  画像
１１，１４，１５  距離画像
１２  偏光画像
１３  信頼度
１６  距離の出力値
【図１】
2019100969.tif 000007
【図２】
2019100969.tif 000008
【図３】
2019100969.tif 000009
【図４】
2019100969.tif 000010
【図５】
2019100969.tif 000011
【図６】
2019100969.tif 000012
【図７】
2019100969.tif 000013
【図８】
2019100969.tif 000014
【図９】
2019100969.tif 000015
【図１０】
2019100969.tif 000016
【図１１】
2019100969.tif 000017
【図１２】
2019100969.tif 000018