(57)【要約】【課題】計測分解能を高めつつ高速処理を実現可能な画像処理システム及び方法を提供する。【解決手段】離間配置された第１撮像部及び第２撮像部を有し、対象物における互いに異なる画像を撮像する撮像部と、第１撮像部及び第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、第１特徴点の視差を算出する第１算出部と、第１撮像部及び第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索した結果に基づいて第２特徴点の視差を算出し、第１特徴点の視差及び第２特徴点の視差から対象物の３次元形状を特定する第２算出部を備え、第２算出部は、探索範囲を第１特徴点の視差に基づいて設定する。【選択図】図１
2019138822.tif 000002
【特許請求の範囲】
【請求項１】
互いに離間配置された第１撮像部及び第２撮像部を有しており、且つ、前記対象物における互いに異なる画像を撮像する撮像部と、
前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出する第１算出部と、
前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定する第２算出部と、
を備え、
前記第２算出部は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する、
３次元計測システム。
【請求項２】
３次元形状を特定するために前記対象物に計測光を投射する投射部を備える、
請求項１記載の３次元計測システム。
【請求項３】
前記第１特徴点及び前記第２特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
請求項１又は２記載の３次元計測システム。
【請求項４】
前記ステレオカメラ方式とは異なる３次元計測方式は、前記撮像部による１度の撮像により前記対象物の３次元情報を得るものである、
請求項１乃至３の何れか１項記載の３次元計測システム。
【請求項５】
前記第２算出部は、前記探索範囲を前記第１特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
請求項１乃至４の何れか１項記載の３次元計測システム。
【請求項６】
前記第１算出部は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、
前記第２算出部は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定する、
請求項１乃至５の何れか１項記載の３次元計測システム。
【請求項７】
前記第１算出部が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差を算出する第２画像処理部とを有し、
前記第２算出部が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部と、前記第１特徴点の視差及び前記第２特徴点の視差に基づいて前記対象物の３次元形状を特定する第４画像処理部とを有する、
請求項１乃至６の何れか１項記載の３次元計測システム。
【請求項８】
前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離と同等である、
請求項２乃至７の何れか１項記載の３次元計測システム。
【請求項９】
前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離よりも長い、
請求項２乃至７の何れか１項記載の３次元計測システム。
【請求項１０】
前記投射部の光軸と前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置される、
請求項２乃至９の何れか１項記載の３次元計測システム。
【請求項１１】
前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置され、前記投射部の光軸が該平面上に配置されない、
請求項２乃至９の何れか１項記載の３次元計測システム。
【請求項１２】
前記投射部は、前記計測光とは異なる通常照明光を前記対象物に投射する、
請求項２乃至１１の何れか１項記載の３次元計測システム。
【請求項１３】
互いに離間配置された第１撮像部及び第２撮像部を有する撮像部と、第１算出部と、第２算出部とを備える３次元計測システムを用い、
前記撮像部が、前記対象物における互いに異なる画像を撮像するステップと、
前記第１算出部が、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出するステップと、
前記第２算出部が、前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定するステップと、
を含み、
前記対象物の３次元形状を特定するステップにおいては、前記第２算出部が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する、
３次元計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元計測システム及び３次元計測方法に関する。
【背景技術】
【０００２】
従来、対象物の３次元計測を行うための種々の手法が知られており、それらは、光の性質に着目して、光の直進性を用いる手法と光の速度を用いる手法に大別される。これらのうち、光の直進性を用いる手法には、アクティブ計測（能動型計測）及びパッシブ計測（受動型計測）の何れかに分類される方式が含まれ、光の速度を用いる手法には、アクティブ計測（能動型計測）に分類される方式が含まれる。
【０００３】
ここで、例えば非特許文献１には、アクティブ計測方式の一例である空間コード化パターン投影法の具体例として、空間的な符号化（コード化）がなされたパターンの単一画像を含むパターン光を対象物に投影し、その単一画像が投影された対象物を撮像装置で撮像して距離計算することにより３次元形状を取得するいわゆるアクティブワンショット方式を用いた方法が記載されている。
【０００４】
また、パッシブ計測方式の一例として、２台の撮像装置を用いて対象物の３次元形状を求めるいわゆるステレオカメラ方式による方法が知られている。このステレオカメラ方式では、カメラ等の撮像装置を例えば左右に配置して対象物を同時に撮像し、得られた左右画像から対応する画素の対（すなわち基準画像における特徴点と比較画像における対応点）を探索し、左右画像における特徴点と対応点との視差（離間距離）を求め、この視差に基づいて各画素の３次元位置を算出することにより、対象物の３次元形状を特定する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】P. Vuylsteke and A. Oosterlinck, Range Image Acquisition with a Single Binary-Encoded Light Pattern, IEEE PAMI 12(2), pp. 148-164, 1990.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のステレオカメラ方式による方法では、計測分解能を撮像装置の画素単位まで高めることが可能である反面、その原理に起因して、計測時間が比較的長くかかってしまうと不都合があった。
【０００７】
そこで、本発明は、一側面では、かかる事情を鑑みてなされたものであり、３次元計測における計測分解能が高く、探索範囲を狭くすることにより高速処理を実現することが可能な３次元計測技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【０００９】
すなわち、本開示に係る３次元計測システムの一例は、概して、ステレオカメラ方式とは異なる３次元計測方式により、対象物の３次元情報として第１特徴点の視差を取得し、その結果に基づいて設定された制限された探索範囲においてステレオマッチングを行うステレオカメラ方式により、対象物の３次元情報として、第２特徴点の視差を取得し、得られた第１特徴点の視差及び第２特徴点の視差の両方を用いて、対象物の３次元形状を特定するものである。このとおり、本開示に係る３次元計測システムの一例では、ステレオカメラ方式とは異なる３次元計測方式により３次元計測を行った後に、ステレオカメラ方式による３次元計測を行う。
【００１０】
かかる構成では、ステレオカメラ方式とは異なる３次元計測方式によって得られた３次元情報に基づいて、その後に実施されるステレオカメラ方式による３次元計測の探索範囲を従来のステレオカメラ方式の探索範囲に比して狭くすることができるので、従来の如くステレオカメラ方式単独で３次元計測を行う手法に比して、処理速度を向上させることが可能となる。また、ステレオカメラ方式によって取得される３次元情報を用いるので、高い計測分解能を実現することができる。
【００１１】
〔１〕具体的には、本開示に係る３次元計測システムの一例は、互いに離間配置された第１撮像部及び第２撮像部を有しており、且つ、前記対象物における互いに異なる画像を撮像する撮像部と、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出する第１算出部と、前記第１撮像部及び前記第２撮像部を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差及び前記第２特徴点の視差から前記対象物の３次元形状を特定する第２算出部とを備える。そして、前記第２算出部は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する。
【００１２】
当該構成では、第１撮像部及び第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、第１特徴点の視差を算出することで、第１特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。それから、ステレオカメラ方式により、第１撮像部及び第２撮像部を用いて、第２特徴点に対する対応点の探索を行い、その探索結果に基づいて第２特徴点の視差を算出することにより、撮像された画像の画素単位での比較的細かい密度分布の視差マップが得られる。そして、両者の視差マップから対象物の３次元形状が特定される。
【００１３】
ここで、従来のステレオカメラ方式のみによる画像処理では、通常、撮像された画像における広い範囲（計測レンジ）でのステレオマッチングによって特徴点に対する対応点の探索を行う必要があるため、処理時間が不可避的に長くなってしまう。これに対し、当該構成では、ステレオカメラ方式以外の３次元計測方式の距離情報又は距離を算出するための情報（例えば、位相情報、波長情報、焦点ぼけ情報等）を用いて得た第１特徴点の視差に基づいて、ステレオカメラ方式による探索を行う。これにより、各第２特徴点に対する対応点の探索範囲を、従来のステレオカメラ方式に比して格段に狭い範囲に限定することができる。その結果、ステレオマッチングの探索時間を格別に短縮して高速処理が可能となる。その一方で、ステレオマッチングにおける第２特徴点と対応点の探索は、撮像された画像の画素単位で行うことができるので、高い計測分解能を実現することができる。
【００１４】
なお、当該構成では、第２特徴点の視差を求めるための探索範囲を、各第１特徴点について得られた視差のうち１つの視差に基づいて設定してもよいし、各第１特徴点について得られた視差のうち複数の視差に基づいて設定してもよい。複数の視差に基づいて探索範囲を設定する場合、１つの視差に基づいて探索範囲を設定する場合に比して、探索領域をより正確に限定することができ、その結果、処理時間の更なる短縮、及び／又は、ステレオマッチング精度の更なる向上を実現することができる。
【００１５】
〔２〕上記構成において、より具体的には、３次元形状を特定するために前記対象物に計測光を投射する投射部を備えてもよい。
【００１６】
ここで、「計測光」としては、各種３次元計測方式で用いられる投射光又は照明光であれば特に制限されず、例えば、所定の固定ドットパターンを有するパターン光、ランダムドットパターンを有するパターン光、スリット光等を挙げることができる。かかる構成では、ステレオカメラ方式とは異なる３次元計測方式として特にアクティブ計測方式を用いて所定の計測光を投射する場合に有用である。
【００１７】
〔３〕上記構成において、前記第１特徴点及び前記第２特徴点は、同一点であっても異なる点であってもよい。特に、前記第１特徴点及び前記第２特徴点が、同一点であるか、又は、互いの近傍位置に存在するようにすると、第２の特徴点の探索範囲を更に正確に限定することができ、これにより、処理時間をより一層短縮し、及び／又は、ステレオマッチング精度をより一層向上させることができる。
【００１８】
ここで、一般に、対象物の３次元計測方式のうち光の直進性を用いるアクティブ計測方式としては、例えば、三角測距を基本原理とする空間コード化パターン投影方式、時間コード化パターン投影方式、モアレトポグラフィ方式（等高線方式）、照度差ステレオ方式（照射方向/Photometric Stereo）等、及び、同軸測距を基本原理とする照度差方式（単照射／Inverse Square+ Regression Forest）、レーザ共焦点方式、白色共焦点方式、干渉方式等が挙げられる。また、光の直進性を用いるパッシブ計測方式としては、例えば、三角測距を基本原理とするステレオカメラ方式（マルチベースラインステレオ含む）、視体積交差方式（Shape from silhouette）、因子分解方式（factorization）、Depth from Motion（Structure from Motion）方式、Depth from Shading方式等、及び、同軸測距を基本原理とするDepth from focusing方式、Depth from defocus方式、Depth from zoom方式等が挙げられる。さらに、光の速度を用いるアクティブ計測方式としては、例えば、同時測距を基本原理とする光時間差（TOF）測定方式、レーザースキャン方式、光時間差（TOF）測定方式、シングルショット方式、光位相差（TOF）測定方式、並びに、電波、音波及びミリ波による（TOF）方式等が挙げられる。
【００１９】
〔４〕そして、本開示に係る３次元計測システムの一例における「ステレオカメラ方式とは異なる３次元計測方式」としては、上述の各方式のうちステレオカメラ方式を除く方式であれば何れも制限なく適用することができ、また、これらの方式のなかでも、前記ステレオマッチングとは異なる３次元計測方式として、前記撮像部による１度の撮影により前記対象物の３次元情報を得るものを用いてもよい。
【００２０】
かかる構成では、ステレオカメラ方式による３次元計測の前に実施するステレオカメラ方式とは異なる３次元計測方式における撮像にかかる時間を短くすることができ、ひいては３次元計測システム全体で必要とする処理時間を短くすることができる。
【００２１】
〔５〕上記構成において、前記第２算出部は、前記探索範囲を前記第１特徴点の視差に基づいて設定しない場合に比して、前記ステレオカメラ方式における（ステレオマッチング）のマッチング度合いの指標の閾値を下げるように構成してもよい。
【００２２】
かかる構成では、従来のステレオカメラ方式では達成不能であった相互反射に対する優れたロバスト性を実現することもできる。
【００２３】
〔６〕上記構成において、前記第１算出部は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、前記第２算出部は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定してもよい。
【００２４】
かかる構成によれば、対象物のうちの一部について、ステレオカメラ方式による３次元計測に先立つ最初の３次元計測（ステレオカメラ方式とは異なる３次元計測方式による３次元計測）で３次元点群を復元できない場合であっても、撮像された画像の全体に対して探索範囲を広げたステレオマッチングを行う必要がなく、処理の高速化が可能である。
【００２５】
〔７〕上記構成において、前記第１算出部が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差を算出する第２画像処理部とを有してもよい。また、前記第２算出部が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部と、前記第１特徴点の視差及び前記第２特徴点の視差に基づいて前記対象物の３次元形状を特定する第４画像処理部とを有してもよい。
【００２６】
当該構成では、上述した第１特徴点の視差の算出及び第２特徴点の視差の算出を好適に実行することができ、これにより、３次元計測における高い計測分解能と高速処理を一層確実に実現することができる。
【００２７】
〔８〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離と同等であるようにしてもよい。ここで、「撮像部の光軸」とは、撮像部の光学的な中心軸を示し、撮像部における光学系の構成によらず、撮像素子によって画成される撮像面の中心に垂直に入射する光線の光路（換言すれば、撮像面に垂直で且つ撮像面の中心を通る方向）をいう。また、「投射部の光軸」とは、投射部の光学的な中心軸を示し、投射部における光学系の構成によらず、光源又は発光素子によって画成される投射面の中心から垂直に出射される光線の光路（換言すれば、投射面に垂直で且つ投射面の中心を通る方向、或いは、投射面から投射される光の強度が最も大きくなる方向）をいう。
【００２８】
当該構成では、第１撮像部と第２撮像部との基線長が、投射部と第１撮像部又は第２撮像部との基線長と同等となり得るので、３次元計測における計測精度を向上させることができる。
【００２９】
〔９〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸との距離が、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸又は前記第２撮像部の光軸との距離よりも長いようにしてもよい。
【００３０】
当該構成では、第１撮像部と第２撮像部との基線長が、投射部と第１撮像部又は第２撮像部との基線長よりも大きくなり得るので、３次元計測における計測精度を向上させることができる。
【００３１】
〔１０〕上記構成において、前記投射部の光軸（計測光の光軸）と前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置されるようにしてもよい。
【００３２】
当該構成では、上記〔８〕及び〔９〕の何れの配置も構成することができ、また、投射部と第１撮像部及び第２撮像部を一体化して例えばセンサユニットを構成する場合に、第１撮像部と第２撮像部との基線長を比較的大きくすることができるので、ステレオカメラ方式による計測精度を更に向上させることが可能となる。
【００３３】
〔１１〕上記構成において、前記第１撮像部の光軸と前記第２撮像部の光軸が同一平面上に配置され、前記投射部の光軸（計測光の光軸）が該平面上に配置されないようにしてもよい。
【００３４】
当該構成でも、上記〔８〕及び〔９〕の何れの配置も構成することができ、また、投射部と第１撮像部及び第２撮像部を一体化して例えばセンサユニットを構成する場合に、そのセンサユニットのフットプリントを比較的小さくしてシステムの設置面積を低減することができる。
【００３５】
〔１２〕上記構成において、前記投射部が、前記計測光とは異なる通常照明光を前記対象物に投射するようにしてもよい。なお、便宜的に、後記の実施形態においては、計測光を対象物に投射する構成要素を「第１投射部」と呼び、通常照明光を対象物に投射する構成要素を「第２投射部」と呼ぶことがある。
【００３６】
当該構成では、計測光とは異なる通常照明光を例えば検査用途の一般照明として使用することができるので、対象物が暗い周辺環境下にある場合においても、３次元計測を好適に実施することができる。さらに、通常照明が投射された対象物を撮像した画像と、予め設定又は保持された対象物の形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物の位置姿勢をより正確に把握することが可能となる。
【００３７】
〔１３〕本開示に係る３次元計測方法の一例は、上記構成の３次元計測システムの一例を用いて有効に実施し得る方法であり、以下の各ステップを含む。すなわち、当該方法は、互いに離間配置された第１撮像部及び第２撮像部を有する撮像部と、第１算出部と、第２算出部とを備える３次元計測システムを用い、前記撮像部が、前記対象物における互いに異なる画像を撮像するステップと、前記第１算出部が、前記第１撮像部及び前記第２撮像部の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差を算出するステップと、前記第２算出部が、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、該第２特徴点の視差から前記対象物の３次元形状を特定するステップとを含む。そして、前記対象物の３次元形状を特定するステップにおいては、前記第２算出部が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差に基づいて設定する。
【００３８】
なお、本開示において、「部」、「手段」、「装置」、及び「システム」とは、単に物理的手段を意味するものではなく、その「部」、「手段」、「装置」、及び「システム」が有する機能をソフトウェアによって実現する構成も含む。また、１つの「部」、「手段」、「装置」、及び「システム」が有する機能が２つ以上の物理的手段や装置によって実現されてよく、或いは、２つ以上の「部」、「手段」、「装置」、及び「システム」の機能が１つの物理的手段や装置によって実現されてもよい。
【発明の効果】
【００３９】
本発明によれば、３次元計測における計測分解能を高め、探索範囲を狭くすることにより高速処理を実現することが可能となる。
【図面の簡単な説明】
【００４０】
【図１】実施形態に係る３次元計測システムの適用場面の一例の概略を模式的に示す平面図である。
【図２】実施形態に係る３次元計測システムのハードウェアの構成の一例を模式的に示す平面図である。
【図３】実施形態に係る３次元計測システムの機能構成の一例を模式的に示す平面図である。
【図４】実施形態に係る３次元計測システムの処理手順の一例を示すフローチャートである。
【図５】実施形態に係る３次元計測システムの処理手順の一例におけるタイミングチャートである。
【図６】（Ａ）及び（Ｂ）は、それぞれ、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像、及び、該画像を用いて第１画像処理を行って復元した３次元点群画像を示す。
【図７】（Ａ）は、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像の平行化画像、及び、その平行化画像に復元３次元点の３次元座標を２次元投影した画像の部分拡大図を示す。（Ｂ）は、実施形態に係る３次元計測システムにより対象物の一例を撮像した画像の平行化画像、及び、その平行化画像に復元３次元点の３次元座標を２次元投影した画像の部分拡大図を示す。
【図８】複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを模式的に示す概念図である。
【図９】（Ａ）及び（Ｂ）は、それぞれ、対象物の一例に対して実施形態に係る３次元計測システムによって得た統合視差マップの一例を示す画像、及び、該画像を用いて復元した３次元形状を表す３次元点群画像を示す。
【図１０】種々の対象物について、種々の方式による３次元計測を行った結果として最終的に得られた視差マップを表す画像の一覧を示す。
【図１１】（Ａ）乃至（Ｄ）は、それぞれ、実施形態に係るセンサユニットの第１構成例乃至第４構成例を模式的に示す斜視図である。
【図１２】（Ａ）及び（Ｂ）は、それぞれ、実施形態に係るセンサユニットの第５構成例及び第６構成例を模式的に示す斜視図である。
【図１３】（Ａ）乃至（Ｃ）は、それぞれ、実施形態に係るセンサユニットの第９構成例乃至第１１構成例を模式的に示す平面図である。
【発明を実施するための形態】
【００４１】
以下、本開示の一例に係る実施の形態（以下「実施形態」とも表記する）について、図面を参照して説明する。但し、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。すなわち、本開示の一例は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付しており、図面は模式的なものであって、必ずしも実際の寸法や比率等とは一致しない。さらに、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【００４２】
§１  適用例
まず、図１を用いて、本開示の一例が適用される場面の一例について説明する。図１は、本実施形態に係る３次元計測システム１００の適用場面の一例の概略を模式的に示す平面図である。本実施形態に係る３次元計測システム１００は、計測対象である対象物ＯＢの３次元形状を計測するためのシステムである。
【００４３】
図１の例では、３次元計測システム１００は、対象物ＯＢに対向配置されたセンサユニット２００、及び、センサユニット２００に接続されたコンピュータ３００を備える。センサユニット２００は、３Ｄ用プロジェクタ１１０と、例えばその３Ｄ用プロジェクタ１１０を挟むように配置された第１カメラ２１０及び第２カメラ２２０とが、一体に構成されたものである。なお、３Ｄ用プロジェクタ１１０、第１カメラ２１０、及び第２カメラ２２０は、センサユニット２００として全部が一体化されておらず、それぞれ別体に設けられてもよく、一部が一体化されていてもよい。
【００４４】
３Ｄ用プロジェクタ１１０は、対象物ＯＢの３次元計測を行うための計測光（例えばパターン光）を含む照明（以下「３Ｄ用照明」ともいう）を、投射エリアＳ１１０で対象物ＯＢへ投射する。また、第１カメラ２１０及び第２カメラ２２０は、それぞれ例えば一般的な光学センサが搭載されたカメラ装置を含んで構成されており、３Ｄ用照明が投射された対象物ＯＢをそれぞれ視野角Ｓ２１０，Ｓ２２０で撮像する。
【００４５】
コンピュータ３００は、３Ｄ用プロジェクタ１１０による投射処理、並びに、第１カメラ２１０及び第２カメラ２２０による撮像処理を制御するとともに、第１カメラ２１０及び第２カメラ２２０によってそれぞれ撮像された互いに異なる画像Ｉｍｇ１，Ｉｍｇ２の画像処理を実行して、対象物ＯＢの３次元形状を特定する。
【００４６】
より具体的には、コンピュータ３００は、画像Ｉｍｇ１，Ｉｍｇ２の画像処理として、以下の（１）乃至（４）に示す第１画像処理乃至第４画像処理を行う。
【００４７】
（１）第１画像処理
例えばアクティブワンショット方式による３次元計測であり、画像Ｉｍｇ１，Ｉｍｇ２の少なくも何れか一方から、計測光（パターン光）に含まれるパターンに応じた複数の対象画素の３次元位置を示す３次元点群を復元する。このとき、例えば、複数の対象画素は、画像Ｉｍｇ１，Ｉｍｇ２における画素単位よりも粗い密度で分布している。なお、ステレオカメラ方式とは異なる３次元計測方式としてパッシブ計測方式を用いる場合には、計測光の投射を行わない、すなわち３Ｄ用プロジェクタ１１０を備えなくともよい。
【００４８】
（２）第２画像処理
複数の第１特徴点（対象画素）について復元された３次元点群における各点（復元３次元点）の３次元座標を画像Ｉｍｇ１，Ｉｍｇ２（それらに対して必要に応じて適宜の処理が施された画像を含む。以下同様とする。）に２次元投影し、画像Ｉｍｇ１，Ｉｍｇ２のそれぞれにおける各第１特徴点の２次元座標を求め、その２次元座標から各第１特徴点の視差を算出する。これにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップが得られる。
【００４９】
（３）第３画像処理
ステレオカメラ方式による３次元計測であり、画像Ｉｍｇ１，Ｉｍｇ２の一方を基準画像とし且つ他方を比較画像とし、ステレオマッチングを行う。ここでは、まず、基準画像において、第２特徴点の所定の近傍位置に存在する第１特徴点の視差に基づいて、第２特徴点と対応点との視差の推定値を求める。それから、その第２特徴点の視差の推定値に基づいて、第２特徴点に対する対応点の探索領域を限定的に設定（すなわち、探索領域を狭い範囲に限定）する。そして、その探索領域においてステレオマッチングを行って、第２特徴点の視差を算出する。これにより、上記（２）で得られた比較的粗い密度分布の視差マップを補完するように、画像Ｉｍｇ１，Ｉｍｇ２の画素単位での比較的細かい密度分布の視差マップが得られる。なお、第２特徴点の視差を求めるための探索範囲は、各第１特徴点について得られた視差のうち１つの視差に基づいて設定してもよいし、各第１特徴点について得られた視差のうち複数の視差に基づいて設定してもよい（後述する図８の説明も参照されたい。）。
【００５０】
（４）第４画像処理
上記（１）乃至（３）で得られたそれぞれの視差マップを統合して統合視差マップを作成し、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、視差が求められた各画素（上記（１）における第１特徴点と上記（３）における第２特徴点）の視差を深さ方向の距離に変換（いわゆる視差・デプス変換）することにより、対象物ＯＢの３次元形状を特定する。
【００５１】
このとおり、センサユニット２００は、本発明における「投射部」（「第１投射部」）及び「撮像部」の一例に相当し、３Ｄ用プロジェクタ１１０は、本発明における「投射部」（「第１投射部」）の一例に相当し、第１カメラ２１０及び第２カメラ２２０は、それぞれ本発明における「第１撮像部」及び「第２撮像部」の一例に相当する。また、画像Ｉｍｇ１，Ｉｍｇ２は、本発明における「対象物における互いに異なる画像」の一例に相当する。さらに、コンピュータ３００における特に画像処理を行う部分（例えば後述する画像処理部３５０）は、本発明における「第１画像処理部」、「第２画像処理部」、及びそれらを有する「第１算出部」、並びに、「第３画像処理部」、「第４画像処理部」、及びそれらを有する「第２算出部」のそれぞれの一例に相当する。
【００５２】
以上のとおり、本実施形態は、対象物ＯＢの３次元形状を求めることができるステレオカメラ方式とは異なる３次元計測方式（例えば、計測光としてパターン光を対象物に投射するアクティブワンショット方式。但し、これに限定されない。）による３次元計測と、ステレオマッチングによって対象物ＯＢの３次元形状を求めることができるステレオカメラ方式による３次元計測を融合したハイブリッド３次元計測システム及びその方法の一例であるといえる。しかし、たとえ従来の両方式を単に組み合わせて用いたとしても、計測分解能を高めつつ、高速処理を実現し得ないことは、既述の個々の従来技術の課題から明らかである。
【００５３】
これに対し、本実施形態は、ステレオカメラ方式とは異なる３次元計測方式とステレオカメラ方式をただ単に組み合わせただけのものではなく、ステレオカメラ方式とは異なる３次元計測方式で得られた３次元情報（第１特徴点の視差）を用いることにより、ステレオマッチングにおける第２特徴点に対する対応点の探索領域を、通常のステレオカメラ方式に比して格段に狭い範囲に限定することを可能にしたものである。
【００５４】
換言すれば、本実施形態によれば、まず、ステレオカメラ方式とは異なる３次元計測方式で視差情報が得られた第１特徴点間に位置する他の画素（第２特徴点とその対応点）に関する視差情報をステレオカメラ方式によって補完することができる。そして、その際のステレオマッチングの探索領域を確からしい狭い範囲に限定することによって極めて短い処理時間を達成することができる。それらの結果、ステレオカメラ方式による高い計測分解能を保持しつつ、ステレオマッチングにおける探索時間ひいては処理時間を大幅に短縮することができる。しかも、そのように探索領域を限定することにより、相互反射に対する優れたロバスト性を実現することができるとともに、ステレオマッチングにおける画素間の誤対応を軽減することも可能となる。
【００５５】
§２  構成例
［ハードウェア構成］
次に、図２を用いて、本実施形態に係る３次元計測システム１００のハードウェア構成の一例について説明する。図２は、本実施形態に係る３次元計測システム１００のハードウェアの構成の一例を模式的に示す平面図である。
【００５６】
図２の例では、３次元計測システム１００は、図１にも例示した３Ｄ用プロジェクタ１１０並びに第１カメラ２１０及び第２カメラ２２０を有して一体に構成されたセンサユニット２００と、センサユニット２００に接続されたコンピュータ３００を備える。
【００５７】
３Ｄ用プロジェクタ１１０は、例えば、レーザ光源１１１と、パターンマスク１１２と、レンズ１１３とを備える。レーザ光源１１１から出射された光は、パターンマスク１１２によって所定のパターンを有する計測光（パターン光）に変換され、レンズ１１３を介して外部へ投射される。レーザ光源１１１が生成するレーザ光の波長は特に限定されず、例えば赤外光、可視光、紫外光等を用いることができる。パターンマスク１１２は、所定のパターンが形成されたパターンマスクである。なお、３Ｄ用プロジェクタ１１０は、上記構成に限定されず、一般的なプロジェクタを利用してもよい。この場合、所定のパターンを形成するパターンマスク１１２をプロジェクタ本体に保存等して対応すればよい。なお、３Ｄ用プロジェクタ１１０の構成は上記に限定されず、各種の３次元計測方式で用いられる適宜の光源及び他の光学系部位を含む投影装置等を適用することができる。
【００５８】
コンピュータ３００は、制御演算部３０１、通信インタフェース（Ｉ／Ｆ）部３０２、記憶部３０３、入力部３０４、及び出力部３０５を含み、各部はバスライン３０６を介して相互に通信可能に接続され得る。
【００５９】
制御演算部３０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御及び各種演算を行う。
【００６０】
通信Ｉ／Ｆ部３０２は、例えば、有線又は無線により他の装置と通信するための通信モジュールである。通信Ｉ／Ｆ部３０２が他の装置との通信に用いる通信方式は任意であり、例えば、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等が挙げられる。特に、センサユニット２００における３Ｄ用プロジェクタ１１０、第１カメラ２１０、及び第２カメラ２２０は、通信Ｉ／Ｆ部３０２を介して、制御演算部３０１等と通信可能に設けることが可能である。
【００６１】
記憶部３０３は、例えばハード・ディスク・ドライブ（ＨＤＤ）、ソリッド・ステート・ドライブ（ＳＳＤ）等の補助記憶装置であり制御演算部３０１で実行される各種プログラム（センサユニット２００等のハードウェアの制御プログラム、画像処理プログラム等）、及び、計測光（例えば所定のパターンを有するパターン光）、撮像される画像Ｉｍｇ１，Ｉｍｇ２等のデータを記憶する。この他、対象物ＯＢのＣＡＤモデルデータ等も記憶部３０３に記憶されてもよい。ここで、画像処理プログラムは、上記適用例で説明した第１画像処理乃至第４画像処理を実行させるためのプログラムを含むものであり、かかる画像処理プログラムが制御演算部３０１で実行されることにより、後述する機能構成例における画像処理機能が実現される。
【００６２】
入力部３０４は、例えば、マウスやキーボード、タッチパネル等で実現し得る、ユーザからの各種入力操作を受け付けるためのインタフェースデバイスである。出力部３０５は、例えば、ディスプレイ、スピーカ、プリンタ等、表示、音声、印刷等により、３次元計測システム１００を利用するユーザ等へ各種情報を報知するためのインタフェースデバイスである。
【００６３】
［機能構成］
次に、図３を用いて、本実施形態に係る３次元計測システム１００の機能構成の一例を説明する。図３は、本実施形態に係る３次元計測システム１００の機能構成の一例を模式的に示す平面図である。
【００６４】
図２に示す３次元計測システム１００の制御演算部３０１は、記憶部３０３に記憶された各種プログラム（制御プログラム、画像処理プログラム等）をＲＡＭに展開する。そして、制御演算部３０１は、ＲＡＭに展開された各種プログラムをＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図３に例示の如く、本実施形態に係る３次元計測システム１００は、制御部３１０、画像取得部３２０、画像記録部３３０、画像出力部３４０、及び画像処理部３５０を備える構成を実現し得る。
【００６５】
制御部３１０は、特に、センサユニット２００における３Ｄ用プロジェクタ１１０から対象物ＯＢへの３Ｄ用照明の投射、及び３Ｄ用照明が投射された対象物ＯＢの第１カメラ２１０及び第２カメラ２２０による撮像を制御する。画像取得部３２０は、第１カメラ２１０及び第２カメラ２２０から、それらによって撮像された対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２を取得する。画像記録部３３０は、画像取得部３２０によって取得された対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２、及び、画像処理部３５０での画像処理によって最終的に得られる対象物ＯＢの３次元形状を示す３次元点群画像等を保持する。画像出力部３４０は、そうして得られた対象物ＯＢの３次元形状を示す３次元点群画像等を、３次元計測システム１００のユーザが視認可能なようにディスプレイやプリンタ等に出力する。
【００６６】
画像処理部３５０は、第１画像処理部３５１、第２画像処理部３５２、第３画像処理部３５３、及び第４画像処理部３５４を備えて構成される。これらの第１画像処理部３５１、第２画像処理部３５２、第３画像処理部３５３、及び第４画像処理部３５４は、それぞれ、前記（１）乃至（４）に示す第１画像処理乃至第４画像処理を実行し、対象物ＯＢの３次元形状を示す３次元点群画像を得る。
【００６７】
なお、本実施形態では、３次元計測システム１００に備わるコンピュータ３００で実現される各機能が汎用のＣＰＵによって実現される例について説明したが、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、３次元計測システム１００に備わるコンピュータ３００の機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてももちろんよい。また、「コンピュータ」とは、一般的な情報処理装置と解することができる。
【００６８】
§３  動作例
次いで、図４乃至図８を用いて、３次元計測システム１００の動作の一例について説明する。図４は、本実施形態に係る３次元計測システム１００の処理手順の一例を示すフローチャートであり、３次元計測システム１００を用いた３次元計測方法の処理手順の一例を示すフローチャートでもある。また、図５は、本実施形態に係る３次元計測システム１００の処理手順の一例におけるタイミングチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。さらに、以下に説明する各「時刻ｔ」は、図５における処理の開始及び終了のタイミングを示す。
【００６９】
（起動）
まず、３次元計測システム１００のユーザは、３次元計測システム１００を起動し、起動した３次元計測システム１００に各種プログラム（制御プログラム、画像処理プログラム等）を実行させる。それから、コンピュータ３００における制御部３１０は、以下の処理手順に従って、センサユニット２００及びコンピュータ３００における各動作を制御し、また、対象物ＯＢの画像Ｉｍｇ１，Ｉｍｇ２の画像処理を行う。
【００７０】
（ステップＳ１０）
まず、ステップＳ１０では、必要に応じて対象物ＯＢとセンサユニット２００との相対的な配置を調整し、また、３Ｄ用プロジェクタ１１０からの３Ｄ用照明の投射条件、並びに、第１カメラ２１０及び第２カメラ２２０の撮像条件を設定した後、時刻ｔ１における適宜のトリガ（タイミング信号）に基づいて、時刻ｔ１から時刻ｔ２において、３Ｄ用プロジェクタ１１０からパターン光を含む３Ｄ用照明を対象物ＯＢへ投射する。
【００７１】
（ステップＳ２０）
次に、ステップＳ２０では、３Ｄ用照明が投射されている時刻ｔ１から時刻ｔ２までの間に、第１カメラ２１０及び第２カメラ２２０による対象物ＯＢの撮像を行い、時刻ｔ１から時刻ｔ３において、それぞれ得られた画像Ｉｍｇ１，Ｉｍｇ２を第１カメラ２１０及び第２カメラ２２０から読み出す。続いて、時刻ｔ３から時刻ｔ５において、画像Ｉｍｇ１，Ｉｍｇ２を、それぞれ個別に連続して又は同時にコンピュータ３００へ転送する。なお、図５においては、時刻ｔ３から時刻ｔ４の間に画像Ｉｍｇ１を転送し，時刻ｔ４から時刻ｔ５の間に画像Ｉｍｇ２を転送する場合について例示する。
【００７２】
（ステップＳ３０）
次いで、ステップＳ３０では、画像Ｉｍｇ１，Ｉｍｇ２の少なくとも何れか一方を用いて、時刻ｔ４から時刻ｔ６において、前記（１）の第１画像処理（例えばアクティブワンショット方式による３次元計測）を実行し、画像Ｉｍｇ１，Ｉｍｇ２の少なくも何れか一方から、計測光（パターン光）に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元する。なお、図４及び図５においては、画像Ｉｍｇ１を用いる場合について例示するが、画像Ｉｍｇ２を用いてもよく、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いてもよい。ここで、図６（Ａ）及び図６（Ｂ）は、それぞれ、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ１、及び、該画像Ｉｍｇ１を用いてステップＳ３０における第１画像処理を行って復元した３次元点群画像Ｉｍｇ３Ｄ１を示す。
【００７３】
（ステップＳ４０）
続いて、ステップＳ４０では、時刻ｔ６から時刻ｔ７において、以下の処理を行う。すなわち、ここでは、まず、画像Ｉｍｇ１，Ｉｍｇ２の一般的な平行化処理を行い、平行化された画像Ｉｍｇ１，Ｉｍｇ２（平行化画像）を用いて、前記（２）の第２画像処理（復元３次元点群投影）を実行する。これにより、復元３次元点群における各第１特徴点（復元３次元点）の３次元座標（つまり図６（Ｂ）における各点の３次元座標）が画像Ｉｍｇ１，Ｉｍｇ２に２次元投影される。なお、画像Ｉｍｇ１への２次元投影はステップＳ３０における画像Ｉｍｇ１の処理において、時刻ｔ４から時刻ｔ６の間に、実質的に同時に実行され得る。
【００７４】
ここで、図７（Ａ）は、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ１の平行化画像Ｉｍｇ１’（図６（Ａ）と実質的に同等）、及び、その平行化画像Ｉｍｇ１’に復元３次元点の３次元座標を２次元投影した画像Ｉｍｇ１０の部分拡大図を示す。同様に、図７（Ｂ）は、３次元計測システム１００により対象物ＯＢの一例（金属製のワーク）を撮像した画像Ｉｍｇ２の平行化画像Ｉｍｇ２’、及び、その平行化画像Ｉｍｇ２’に復元３次元点の３次元座標を２次元投影した画像Ｉｍｇ２０の部分拡大図を示す。画像Ｉｍｇ１０，２０における「＋」印のシンボルが復元３次元点（対象画素）の２次元投影点に相当する。
【００７５】
次に、画像Ｉｍｇ１，Ｉｍｇ２間における複数の第１特徴点（対象画素）の各視差として、画像Ｉｍｇ１０，Ｉｍｇ２０間における各復元３次元点の視差を算出する。ここで、図７（Ａ）の画像Ｉｍｇ１０に符号を例示した対象画素Ｇ１０〜Ｇ１３は、それぞれ、図７（Ｂ）の画像Ｉｍｇ２０に符号を例示した対象画素Ｇ２０〜Ｇ２３に対応し、対応する対象画素間の２次元座標から各第１特徴点（対象画素）の視差が算出される。これにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを得る。
【００７６】
ここでさらに、上述した画像Ｉｍｇ１，Ｉｍｇ２の平行化処理と、平行化画像に復元３次元点の３次元座標を２次元投影して２次元座標を得るための数値処理のより具体的な一例について、以下に説明する。
【００７７】
まず、平行化処理において、第１カメラ２１０の原点座標を基準座標と設定する。次に、第１カメラ２１０及び第２カメラ２２０のレンズの歪みは画像Ｉｍｇ１，Ｉｍｇ２から事前に除去されているとし、線形モデルで考えると、アクティブワンショット方式における３次元点ＸA、第１カメラ２１０による画像Ｉｍｇ１における対応２次元座標点ＵL、及び、第２カメラ２２０による画像Ｉｍｇ２における対応２次元座標点ＵRは、下記式（１）及び式（２）で表される関係としてモデル化することができる。
【００７８】
【数１】
2019138822.tif 000003
【００７９】
上記式中、ＫLは、第１カメラ２１０の内部行列を示し、ＫRは、第２カメラ２２０の内部行列を示し、回転行列Ｒ2と並進ベクトルｔ2は、第１カメラ２１０に対する第２カメラ２２０の姿勢を表す。
【００８０】
次に、第１カメラ２１０及び第２カメラ２２０が水平設置されている場合、両者の画像Ｉｍｇ１，Ｉｍｇ２における対応画素が垂直方向において同じ位置に現れるようにするため、仮想的に第１カメラ２１０及び第２カメラ２２０の両方を回転させ、理想的な平行状態とする。ここでの平行化処理では、下記式（３）で表される条件を満たす回転行列Ｒrectと仮想的なカメラ行列Ｋrectと用い、第１カメラ２１０をＲrect・Ｒ2だけ、第２カメラ２２０をＲrectだけ、仮想的に回転させる。
【００８１】
【数２】
2019138822.tif 000004
【００８２】
そして、下記式（４）及び式（５）で表される関係から、ステレオカメラ方式とは異なる３次元計測方式（例えばアクティブワンショット方式）による復元３次元点ＸAに対応する平行化画像Ｉｍｇ１’における対応２次元座標Ｕ’L、及び、平行化画像Ｉｍｇ２’における対応２次元座標Ｕ’Rを求めることができる。
【００８３】
【数３】
2019138822.tif 000005
【００８４】
（ステップＳ５０）
次に、ステップＳ５０では、画像Ｉｍｇ１，Ｉｍｇ２を用いて、ステップＳ４０と同じく時刻ｔ６から時刻ｔ７において、前記の（３）第３画像処理（ステレオカメラ方式による３次元計測）を実行し、画像Ｉｍｇ１，Ｉｍｇ２（平行化処理を行った場合には、画像Ｉｍｇ１’，Ｉｍｇ２’）の一方を基準画像とし且つ他方を比較画像とし、基準画像における任意の第２特徴点とそれに対する比較画像における対応点とのステレオマッチングを行う。なお、画像Ｉｍｇ２を基準画像とし、画像Ｉｍｇ１を比較画像としてもよい。
【００８５】
まず、基準画像（例えば画像Ｉｍｇ１’）における第２特徴点を抽出し、その第２特徴点の所定の近傍位置に存在する第１特徴点の視差に基づいて、第２特徴点と対応点との視差の推定値を算出する。
【００８６】
ここで、図８は、ステップＳ４０で得た複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップを模式的に示す概念図である。図８においては、行列に区分けされた各領域が基準画像における単位画素に相当し、任意に抽出された第２特徴点である画素ＧＡと、その近傍位置に存在し且つ視差マップにおいて視差が既知である第１特徴点である例えば対象画素Ｇ１０〜Ｇ１３（図７（Ａ）参照）を併せて示す。ここで、第２特徴点である画素ＧＡとその対応点との視差の推定値を算出する手法の一例について、以下に説明する。但し、かかる推定方法は以下の手法に限定されない。また、ここでは、第１特徴点及び第２特徴点が異なる点であり且つ互いの近傍位置に存在する場合を例に説明するが、第１特徴点及び第２特徴点は、同一点であってもよく、また、異なる点である場合でも、両者が互いに近傍位置に存在する例に限定されない。さらに、第１特徴点及び第２特徴点が異なる点であり、ステレオカメラ以外の３次元計測方式により求めた第１特徴点の距離情報の精度が十分であれば、ステレオカメラ方式により第１特徴点の距離情報を求める処理を除外することで、計算速度を速めることが可能となる。
【００８７】
すなわち、第２特徴点である画素ＧＡの近傍位置に存在する第１特徴点である画素の視差がｄであった場合、第２特徴点である画素ＧＡの視差ｄGAは、例えば下記式（６）を満たす範囲内の値であると推定することができる。下記式（６）中、Δｄは、適宜設定され得るマージンを示す（以下同様）。
【００８８】
【数４】
2019138822.tif 000006
【００８９】
また、例えば図８に示すように、第２特徴点である画素ＧＡの近傍位置に、視差が得られている第１特徴点である複数の対象画素Ｇ１０〜Ｇ１３が存在する場合、式（６）の概念を発展させ、第２特徴点である画素ＧＡの視差ｄGAは、例えば下記式（７）を満たす範囲内の値であると推定することもできる。下記式（７）中、ｍｉｎ（ｄn）は、最小のｄnを選択する演算を示し、ｍａｘ（ｄn）は、最大のｄnを選択する演算を示し、ｄ0〜ｄ3は、それぞれ、第１特徴点である画素Ｇ１０〜Ｇ１３の視差を示す。
【００９０】
【数５】
2019138822.tif 000007
【００９１】
こうして推定された第２特徴点である画素ＧＡの視差ｄGAに基づいて、その第２特徴点に対する対応点の探索領域を限定的に設定（すなわち、探索領域を狭い範囲に限定）する。そして、その探索領域において、平行化画像Ｉｍｇ１’，Ｉｍｇ２’のステレオマッチングを行い、第２特徴点である画素ＧＡにおける真の視差を算出する。なお、ステレオマッチングに先立って、必要に応じて、平行化画像Ｉｍｇ１’，Ｉｍｇ２’に対して適宜のフィルタリング等の前処理を実施してもよい。なお、ここでは、第２特徴点の視差を求めるための探索範囲を、各第１特徴点について得られた視差のうち複数の（４つの）視差に基づいて設定したが、これに限定されず、各第１特徴点について得られた視差のうち、１つ、２つ、３つ、又は５つ以上の視差に基づいて、第２特徴点の視差を求めるための探索範囲を設定してもよい。
【００９２】
以上の処理を複数の第２特徴点（例えば、図８に示す第１特徴点である画素以外の全ての画素）に対して実行することにより、複数の第１特徴点の間隔に応じた比較的粗い密度分布の視差マップ（図８）を補完するように、画像Ｉｍｇ１，Ｉｍｇ２の画素単位での比較的細かい密度分布の視差マップを得る（例えば、図８に示す第１特徴点である画素Ｇ１０〜Ｇ１３以外の全ての第２特徴点の画素の視差が算出される。）。
【００９３】
（ステップＳ６０）
それから、ステップＳ６０では、時刻ｔ７から時刻ｔ８において、ステップＳ３０，Ｓ５０で得た視差情報を統合し、換言すれば、ステップＳ３０で得た比較的粗い密度分布の視差マップとステップＳ５０で得た比較的細かい密度分布の視差マップを統合して統合視差マップ（例えば、図８に示す全ての画素の視差が判明したマップ）を得る。次いで、その統合視差マップに対して必要に応じて適宜のフィルタリング等の後処理を実施した後、第１特徴点及び第２特徴点の全画素の視差を深さ方向の距離に変換（いわゆる視差・デプス変換）することにより、対象物ＯＢの３次元形状を特定する。
【００９４】
そして、得られた対象物ＯＢの３次元形状を示す３次元点群画像を、必要に応じて、３次元計測システム１００のユーザが視認可能なようにディスプレイやプリンタ等に出力して、一連の処理を終了する。ここで、図９（Ａ）及び図９（Ｂ）は、それぞれ、対象物ＯＢの一例（金属製のワーク）に対して３次元計測システム１００によって得た統合視差マップの一例を示す画像ＩｍｇＭ（ここでは、視差の大小をグレースケールで模式的に示す。）、及び、該画像ＩｍｇＭを用いて復元した３次元形状を表す３次元点群画像Ｉｍｇ３ＤＭを示す。
【００９５】
§４  作用・効果
以上のとおり、本実施形態に係る３次元計測システム及び３次元計測方法の一例は、ステレオカメラ方式とは異なる３次元計測方式による３次元計測と、ステレオマッチングによって対象物の３次元位置を求めることができるステレオカメラ方式による３次元計測を融合したハイブリッド３次元計測システム及びその方法を提供する。
【００９６】
但し、本実施形態の一例は、ステレオカメラ方式とは異なる３次元計測方式とステレオカメラ方式をただ単に組み合わせただけのものではなく、ステレオカメラ方式とは異なる３次元計測方式で得られた３次元情報（第１特徴点の視差）を用いることにより、ステレオマッチングにおける第２特徴点に対する対応点の探索領域を、通常のステレオカメラ方式に比して格段に狭い範囲に限定することができる。
【００９７】
換言すれば、本実施形態の一例によれば、ステレオカメラ方式とは異なる３次元計測方式で得られた第１特徴点間の画素に注目し、その画素（第２特徴点とその対応点）に対する視差情報をステレオカメラ方式によって補完することができ、その際のステレオマッチングの探索領域を確からしい狭い範囲に限定することにより、極めて短い処理時間を達成することができる。その結果、画素単位の高い計測分解能を有するステレオカメラ方式のステレオマッチングにおける探索時間（図５に示す如く、ステップＳ４０の処理時間は時刻ｔ６から時刻ｔ７までの極めて短時間である。）及び全体の処理時間を大幅に短縮することができる。しかも、そのように探索領域を限定することにより、相互反射に対する優れたロバスト性を実現することができるとともに、ステレオマッチングにおける画素間の誤対応を軽減することも可能となる。
【００９８】
ここで、図１０は、表面の性状が種々異なる対象物ＯＢについて、種々の方式による３次元計測を行った結果として最終的に得られた視差マップを表す画像の一覧を表形式で示す。なお、何れの方式においても、センサユニットとしては、本実施形態の３次元計測システム１００におけるセンサユニット２００を用い、図１０には、得られた２種類の画像Ｉｍｇ１，Ｉｍｇ２（但し、パターンを消去）を示す。また、アクティブワンショット方式による画像処理のみを行って得た結果、及び、ステレオカメラ方式による画像処理のみを行って得た結果を、それぞれ便宜的に、「比較例１」及び「比較例２」として示す。また、本実施形態の３次元計測システム１００による画像処理を行って得た結果を「実施例１」として示す。さらに、対象物ＯＢとしては、Ａ. テクスチャなしのもの、Ｂ．形状エッジを有するもの、Ｃ．テクスチャを有するもの、及び、Ｄ．正反射を生じるワークを選定した。またさらに、図１０においては、各対象物ＯＢに対して各方式によって得られた視差マップの画像の欄に、良好な結果を示したものには「○」印を付し、良好な結果を示さなかったものには「×」印を付した。
【００９９】
図１０に示すとおり、比較例１（アクティブワンショット方式による画像処理のみ）では、Ａ. テクスチャなしのもの、及び、Ｄ．正反射を生じるワークに対しては良好な結果が得られたものの、Ｂ．形状エッジを有するもの、及び、Ｃ．テクスチャを有するものに対しては良好な結果が得られなかった。反対に、比較例２（ステレオカメラ方式による画像処理のみ）では、Ｂ．形状エッジを有するもの、及び、Ｃ．テクスチャを有するものに対しては良好な結果が得られたものの、Ａ. テクスチャなしのもの、及び、Ｄ．正反射を生じるワークに対しては良好な結果が得られなかった。これらに対し、実施例１（本実施形態の３次元計測システム１００による画像処理）では、何れの対象物ＯＢに対しても良好な結果が得られた。これらの結果は、本実施形態の３次元計測システム１００の他方式に対する優位性（特に対象物ＯＢの表面の性状の相違に対する高いロバスト性）の一例を示すものといえる。このとおり、本実施形態の一例は、ステレオカメラ方式とは異なる３次元計測方式（例えばアクティブワンショット方式）及びステレオカメラ方式のそれぞれの計測原理の相違に基づく計測可能領域の違いを効果的に組み合わせることにより、従来に比して優位な効果を得ることが確認された。
【０１００】
§５  変形例
以上、本開示の一例としての実施形態について詳細に説明してきたが、前述までの説明はあらゆる点において本開示の一例を示すに過ぎず、本開示の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【０１０１】
＜５．１＞
例えば、上記実施形態の動作例におけるステップＳ３０における（１）第１画像処理においては、画像Ｉｍｇ１，Ｉｍｇ２のうち画像Ｉｍｇ１のみを用いる場合について言及したが、（１）第１画像処理は、画像Ｉｍｇ１，Ｉｍｇ２のうち画像Ｉｍｇ２のみを用いて実施してもよく、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いて実施してもよい。
【０１０２】
特に、画像Ｉｍｇ１，Ｉｍｇ２の両方を用いる構成によれば、比較的粗い密度分布の視差マップが２つ得られるので、特徴点の未知の視差の推定における精度及び／又は確度を向上させ得る。また、２つの画像のうち比較的良好な何れか一方の画像を選択的に用いる構成によっても、比較的粗い密度分布の視差マップ自体の精度が高まるので、この場合にも、特徴点の未知の視差の推定における精度及び／又は確度を向上させ得る。
【０１０３】
なお、センサユニット２００に備わるカメラも各１台の第１カメラ２１０及び第２カメラ２２０（合計２台）に限られず、第１カメラ２１０及び第２カメラ２２０の少なくとも何れか一方が複数台（合計３台以上）であってもよい。また、各カメラで撮像される画像Ｉｍｇ１，Ｉｍｇ２は、それぞれ１画像に限られず、それぞれ複数画像であってももちろんよい。これらの構成によれば、比較的粗い密度分布の視差マップを得るために用いる画像の選択の幅が広がるので、この場合にも、特徴点の未知の視差の推定における精度及び／又は確度を更に向上させ得るとともに、ステレオカメラ方式で用いる２つの画像の選択性も高めることができるので、最終的に特定される３次元形状の精度及び／又は確度を一層向上させ得る。
【０１０４】
＜５．２＞
ここでは、図１１（Ａ）乃至（Ｄ）を用いて、センサユニット２００における３Ｄ用プロジェクタ１１０並びに第１カメラ２１０及び第２カメラ２２０の相対的な幾何学的配置に係る構成例について説明する。
【０１０５】
＜５．２．１＞
図１１（Ａ）は、センサユニット２００の第１構成例を模式的に示す斜視図である。当該第１構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１がその平面Ｐ１上に配置されないように構成されたものである。換言すれば、当該第１構成例では、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ１上の位置とは異なる位置に配置されるように構成される。また、当該第１構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離、及び、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第２カメラ２２０の光軸Ｐ２２との距離の何れとも同等となるように構成される。
【０１０６】
当該第１構成例では、第１カメラ２１０と第２カメラ２２０との基線長（距離）が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れとも同等となるので、３次元計測における計測精度を向上させることができる。また、この場合、第１カメラ２１０を用いたアクティブワンショット方式による計測精度と、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を同等にすることができ、両方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
【０１０７】
＜５．２．２＞
図１１（Ｂ）は、センサユニット２００の第２構成例を模式的に示す斜視図である。当該第２構成例も、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１がその平面Ｐ１上に配置されないように構成されたものである。換言すれば、当該第２構成例でも、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ１上の位置とは異なる位置に配置されるように構成される。また、当該第２構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離よりも長くなるように構成される。
【０１０８】
当該第２構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長よりも大きくなるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第１構成例（図１１（Ａ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
【０１０９】
＜５．２．３＞
図１１（Ｃ）は、センサユニット２００の第３構成例を模式的に示す斜視図である。当該第３構成例は、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ２上に（すなわち全て同一平面上に）配置されるように構成される。また、当該第３構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離、及び、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第２カメラ２２０の光軸Ｐ２２との距離の何れとも同等となるように構成される。
【０１１０】
当該第３構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れよりも大きくなるので、３次元計測における計測精度を向上させることができる。また、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長が同等となるので、第１カメラ２１０を用いたアクティブワンショット方式による計測精度と、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を同等にすることができ、両方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、第１カメラ２１０と第２カメラ２２０との基線長を、例えば第１構成例（図１１（Ａ））や第２構成例（図１１（Ｂ））に比して大きくすることが可能となるので、他の計測パラメータやアルゴリズムが同一の条件であれば、ステレオカメラ方式による計測精度を更に向上させることができ、センサユニット２００の設置面積を広くしてでもステレオカメラ方式による計測精度を高めたい場合に有用である。
【０１１１】
＜５．２．４＞
図１１（Ｄ）は、センサユニット２００の第４構成例を模式的に示す斜視図である。当該第４構成例も、３Ｄ用プロジェクタ１１０の光軸Ｐ１１が、第１カメラ２１０の光軸Ｐ２１及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ２上に（すなわち全て同一平面Ｐ２上に）配置されるように構成される。また、当該第４構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２との距離が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と第１カメラ２１０の光軸Ｐ２１との距離と同等になるように構成される。
【０１１２】
当該第４構成例では、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長と同等になるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第３構成例（図１１（Ｃ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行い、且つ、アクティブワンショット方式による計測精度を更に高めたい場合に有用である。
【０１１３】
＜５．３＞
次に、図１２（Ａ）及び（Ｂ）を用いて、センサユニット２００に、通常照明光を対象物ＯＢに投射するための２Ｄ用プロジェクタ１２０を加えて配置した構成例について説明する。このとおり、２Ｄ用プロジェクタ１２０は、本発明における「投射部」（「第２投射部」）の一例に相当し、３Ｄ用プロジェクタ１１０及び２Ｄ用プロジェクタ１２０は、本発明における「投射部」の一例に相当し、２Ｄ用プロジェクタ１２０を有するセンサユニット２００も、本発明における「投射部」の一例に相当する。
【０１１４】
＜５．３．１＞
図１２（Ａ）は、センサユニット２００の第５構成例を模式的に示す斜視図である。当該第５構成例は、図１１（Ｂ）に示す第２構成例に、２Ｄ用プロジェクタ１２０が追設された配置を有している。また、当該第５構成例は、第１カメラ２１０の光軸Ｐ２１と第２カメラ２２０の光軸Ｐ２２が同一平面Ｐ１上に配置され、３Ｄ用プロジェクタ１１０の光軸Ｐ１１と２Ｄ用プロジェクタ１２０の光軸Ｐ１２が、平面Ｐ１とは異なる同一平面Ｐ３上に配置されるように構成される。なお、平面Ｐ１と平面Ｐ３は、平行とされている。
【０１１５】
当該第５構成例では、２Ｄ用プロジェクタ１２０を例えば検査用途の一般照明として使用することができるので、対象物ＯＢが暗い周辺環境下にある場合においても、３次元形状の計測を好適に実施することができる。また、２Ｄ用プロジェクタ１２０から通常照明が投射された対象物ＯＢを撮像した画像を取得し、その画像と、例えばコンピュータ３００の記憶部３０３又は画像記録部３３０に予め設定又は保持された対象物ＯＢの形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物ＯＢの位置姿勢をより正確に把握することが可能となる。
【０１１６】
また、当該第５構成例は、２Ｄ用プロジェクタ１２０を除くセンサユニット２００の構成が第２構成例と同様であるので、第２構成例と同じく、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第１構成例（図１１（Ａ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行う場合に有用である。さらに、センサユニット２００のフットプリントを比較的小さくすることができるので、３次元計測システムの設置面積を低減することができる。
【０１１７】
＜５．３．２＞
図１２（Ｂ）は、センサユニット２００の第６構成例を模式的に示す斜視図である。当該第６構成例は、図１１（Ｃ）に示す第３構成例に、２Ｄ用プロジェクタ１２０が追設された配置を有している。また、当該第６構成例は、２Ｄ用プロジェクタ１２０の光軸Ｐ１２が、３Ｄ用プロジェクタ１１０の光軸Ｐ１１、第１カメラ２１０の光軸Ｐ２１、及び第２カメラ２２０の光軸Ｐ２２によって画定される仮想的な平面Ｐ４上の位置に（すなわち全て同一平面Ｐ４上に）配置されるように、且つ、２Ｄ用プロジェクタ１２０が、３Ｄ用プロジェクタ１１０と第２カメラ２２０との間に配置されるように構成される。
【０１１８】
当該第６構成例では、第５構成例と同様に、２Ｄ用プロジェクタ１２０を例えば検査用途の一般照明として使用することができるので、対象物ＯＢが暗い周辺環境下にある場合においても、３次元形状の計測を好適に実施することができる。また、２Ｄ用プロジェクタ１２０から通常照明が投射された対象物ＯＢを撮像した画像を取得し、その画像と、例えばコンピュータ３００の記憶部３０３又は画像記録部３３０に予め設定又は保持された対象物ＯＢの形状設計データ（ＣＡＤモデルデータ）とを対比し、例えばいわゆるＣＡＤマッチングを行うことにより、対象物ＯＢの位置姿勢をより正確に把握することが可能となる。
【０１１９】
また、当該第６構成例は、第１カメラ２１０と第２カメラ２２０との基線長が、３Ｄ用プロジェクタ１１０と第１カメラ２１０との基線長、及び、３Ｄ用プロジェクタ１１０と第２カメラ２２０との基線長の何れよりも大きくなるので、３次元計測における計測精度を向上させることができる。また、この場合、第２カメラ２２０を用いたアクティブワンショット方式による計測精度を、第３構成例（図１１（Ｃ））におけるアクティブワンショット方式による計測精度よりも高めることができ、片方のカメラでアクティブワンショット方式による３次元計測を行い、且つ、アクティブワンショット方式による計測精度を更に高めたい場合に有用である。さらに、第１カメラ２１０と第２カメラ２２０との基線長を、例えば第３構成例（図１１（Ｃ））に比して更に大きくすることが可能となるので、他の計測パラメータやアルゴリズムが同一の条件であれば、ステレオカメラ方式による計測精度を更に一層向上させることができ、センサユニット２００の設置面積を更に広くしてでもステレオカメラ方式による計測精度を更に高めたい場合に有用である。
【０１２０】
＜５．４＞
なお、上記第１構成例乃至第６構成例におけるセンサユニット２００の配置は、ステレオカメラ方式とは異なる３次元計測方式として三角測距を基本原理とする計測方式によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する際に有用な構成として例示した。
【０１２１】
一方、他の３次元計測方式を用いた形態として、ステレオカメラ方式とは異なる３次元計測方式として同軸測距を基本原理とする計測方式（各種TOF測定方式等）によって得た計測情報に基づいて、ステレオカメラ方式によるステレオマッチングを実施する第７構成例が挙げられる。当該第７構成例の場合でも、図１１（Ａ）乃至（Ｄ）並びに図１２（Ａ）及び（Ｂ）に示すセンサユニット２００を用いることができ、これらのなかでは、３Ｄ用プロジェクタ１１０（時間計測用の照明光）と第１カメラ２１０との基線長が極力短く（距離が近づく）なり、且つ、第１カメラ２１０と第２カメラとの基線長が極力長く（距離が離れる）なる図１１（Ｃ）及び図１２（Ｂ）に示す配置のものが、計測精度をより高めることができ、殊に図１２（Ｂ）に示す配置が有用である。
【０１２２】
＜５．５＞
また、上記実施形態においては、例えば、第１カメラ２１０及び第２カメラ２２０のうちの一方（片方）を用い、アクティブワンショット方式による計測で測距した後に、第１特徴点の視差を求める構成について説明した。一方、更に他の３次元計測方式を用いた形態として、対象物ＯＢにパターン光を投影した状態で第１カメラ２１０及び第２カメラ２２０の両方を用いて空間コードを特定することにより、第１特徴点の視差を求める第８構成例が挙げられる。当該第８構成例による計測は、具体的には、空間コード化パターン投影方式、及び／又は、時間コード化パターン投影方式によって実施することができる。
【０１２３】
＜５．６＞
さらに、図１３（Ａ）乃至（Ｃ）を用いて、センサユニット２００における３Ｄ用プロジェクタ１１０から投射される３Ｄ用照明の投射エリアＳ１１０に係る構成例について説明する。
【０１２４】
＜５．６．１＞
図１３（Ａ）は、センサユニット２００の第９構成例を模式的に示す平面図である。当該第９構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の重複部分（共通視野）を覆うものを備える。当該第９構成例は、上述した実施形態における３次元計測システム１００において、１度の３Ｄ用照明の投射時に画像Ｉｍｇ１，Ｉｍｇ２を撮像し、それらの画像Ｉｍｇ１，Ｉｍｇ２を用いてハイブリッド３次元計測を行う場合に特に好適である。
【０１２５】
＜５．６．２＞
図１３（Ｂ）は、センサユニット２００の第１０構成例を模式的に示す平面図である。当該第１０構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の何れか一方（単一視野）の全体を覆うものを備える。当該第１０構成例は、上述した実施形態における３次元計測システム１００において、アクティブワンショット方式で用いる画像を撮像する際に有用であり、この場合、ステレオカメラ方式で用いる画像は、異なる投射エリアの別の照明（例えば２Ｄ用プロジェクタ）で撮像することができる。
【０１２６】
＜５．６．３＞
図１３（Ｃ）は、センサユニット２００の第１１構成例を模式的に示す平面図である。当該第１１構成例は、３Ｄ用プロジェクタ１１０として、３Ｄ用照明の投射エリアＳ１１０が、第１カメラ２１０の視野角Ｓ２１０及び第２カメラ２２０の視野角Ｓ２２０の両方の全体部分（複数視野）を覆うものを備える。当該第１１構成例では、上述した実施形態における３次元計測システム１００において、１度の３Ｄ用照明の投射時に画像Ｉｍｇ１，Ｉｍｇ２を撮像し、それらの画像Ｉｍｇ１，Ｉｍｇ２を用いてハイブリッド３次元計測を行う場合、及び、アクティブワンショット方式で用いる画像とステレオカメラ方式で用いる画像を別々に撮像する場合の何れにも好適に対応することができる。
【０１２７】
＜５．７＞
上記実施形態においては、ステップＳ３０において、画像Ｉｍｇ１，Ｉｍｇ２の少なくとも何れか一方を用いて、計測光（パターン光）に含まれるパターンに応じた複数の第１特徴点の３次元位置を示す３次元点群を復元したが、対象物ＯＢの形状や計測条件によっては、第１特徴点の一部について３次元点群を復元することができない場合も想定される。そこで、当該第１２構成例では、かかる場合に、例えば、３次元点群が復元された第１特徴点の領域に対応する第２特徴点については、ステレオマッチングにおける探索範囲を第１特徴点の視差に基づいて狭い範囲に設定する一方、３次元点群が復元されなかった第１特徴点の領域に対応する第２特徴点については、ステレオマッチングにおける探索範囲を予め定めた所定の範囲に設定するように構成する。なお、当該第１２構成例におけるハード構成は、他の実施形態及び他の構成例と同等のものとすることができる。
【０１２８】
当該第１２構成例によれば、対象物ＯＢのうちの一部について、ステレオカメラ方式による３次元計測に先立つ最初の３次元計測（ステレオカメラ方式とは異なる３次元計測方式による３次元計測；例えばアクティブワンショット方式）で３次元点群を復元できない場合であっても、画像Ｉｍｇ１，Ｉｍｇ２の全体に対して探索範囲を広げたステレオマッチングを行う必要がなく、処理の高速化が可能となる。
【０１２９】
§６  付記
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【０１３０】
（付記１）
互いに離間配置された第１撮像部（２１０）及び第２撮像部（２２０）を有しており、且つ、前記対象物（ＯＢ）における互いに異なる画像（Ｉｍｇ１，Ｉｍｇ２）を撮像する撮像部（２００）と、
前記第１撮像部（２１０）及び前記第２撮像部（２２０）の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差（ｄ0〜ｄ3）を算出する第１算出部（３５０）と、
前記第１撮像部（２１０）及び前記第２撮像部（２２０）を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差（ｄ0〜ｄ3）と前記第２特徴点の視差から前記対象物（ＯＢ）の３次元形状を特定する第２算出部（３５０）と、
を備え、
前記第２算出部（３５０）は、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差（ｄ0〜ｄ3）に基づいて設定する、
３次元計測システム（１００）。
【０１３１】
（付記２）
３次元形状を特定するために前記対象物（ＯＢ）に計測光を投射する投射部（２００，１１０）を備える、
付記１記載の３次元計測システム（１００）。
【０１３２】
（付記３）
前記第１特徴点及び前記第２特徴点は、同一点であるか、又は、互いの近傍位置に存在する、
付記１又は２記載の３次元計測システム（１００）。
【０１３３】
（付記４）
前記ステレオカメラ方式とは異なる３次元計測方式は、前記撮像部（２００）による１度の撮像により前記対象物（ＯＢ）の３次元情報を得るものである、
付記１乃至３の何れか記載の３次元計測システム（１００）。
【０１３４】
（付記５）
前記第２算出部（３５０）は、前記探索範囲を前記第１特徴点の視差（ｄ0〜ｄ3）に基づいて設定しない場合に比して、前記ステレオカメラ方式におけるマッチング度合いの指標の閾値を下げる、
付記１乃至４の何れか記載の３次元計測システム（１００）。
【０１３５】
（付記６）
前記第１算出部（３５０）は、前記第１特徴点の３次元位置を示す３次元点群を復元するものであり、
前記第２算出部（３５０）は、前記第１特徴点の一部について前記３次元点群が復元されなかった場合に、前記３次元点群が復元された前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を前記第１特徴点の視差（ｄ0〜ｄ3）に基づいて設定し、前記３次元点群が復元されなかった前記第１特徴点の領域に対応する前記第２特徴点については、前記探索範囲を予め定めた所定の範囲に設定する、
付記１乃至５の何れか記載の３次元計測システム。
【０１３６】
（付記７）
前記第１算出部（３５０）が、前記第１特徴点の３次元位置を示す３次元点群を復元する第１画像処理部（３５１）と、復元された前記３次元点群における各第１特徴点の３次元座標を前記画像に２次元投影して前記各第１特徴点の２次元座標を求め、該２次元座標から前記各第１特徴点の視差（ｄ0〜ｄ3）を算出する第２画像処理部（３５２）とを有し、
前記第２算出部（３５０）が、前記第２特徴点の視差の推定値を、前記第１特徴点の視差（ｄ0〜ｄ3）から求め、前記第２特徴点の視差の推定値に基づいて前記対応点の探索領域を設定し、該探索領域において前記第２特徴点と前記対応点とのステレオマッチングを行うことにより、前記第２特徴点の視差を算出する第３画像処理部（３５３）と、前記第１特徴点の視差（ｄ0〜ｄ3）及び前記第２特徴点の視差に基づいて前記対象物（ＯＢ）の３次元形状を特定する第４画像処理部（３５４）とを有する、
付記１乃至６の何れか記載の３次元計測システム（１００）。
【０１３７】
（付記８）
前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）との距離が、前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）又は前記第２撮像部（２２０）の光軸（Ｐ２２）との距離と同等である、
付記２乃至７の何れか記載の３次元計測システム（１００）。
【０１３８】
（付記９）
前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）との距離が、前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）又は前記第２撮像部（２２０）の光軸（Ｐ２２）との距離よりも長い、
付記２乃至７の何れか記載の３次元計測システム（１００）。
【０１３９】
（付記１０）
前記投射部（１１０）の光軸（Ｐ１１）と前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）が同一平面（Ｐ２）上に配置される、
付記２乃至９の何れか記載の３次元計測システム（１００）。
【０１４０】
（付記１１）
前記第１撮像部（２１０）の光軸（Ｐ２１）と前記第２撮像部（２２０）の光軸（Ｐ２２）が同一平面（Ｐ１）上に配置され、前記投射部（１１０）の光軸（Ｐ１１）が該平面（Ｐ１）上に配置されない、
付記２乃至９の何れか記載の３次元計測システム（１００）。
【０１４１】
（付記１２）
前記投射部（２００，１２０）は、前記計測光とは異なる通常照明光を前記対象物（ＯＢ）に投射する、
付記２乃至１１の何れか記載の３次元計測システム（１００）。
【０１４２】
（付記１３）
互いに離間配置された第１撮像部（２１０）及び第２撮像部（２２０）を有する撮像部（２００）と、第１算出部（３５０）と、第２算出部（３５０）とを備える３次元計測システム（１００）を用い、
前記撮像部（２００）が、前記対象物（ＯＢ）における互いに異なる画像（Ｉｍｇ１，Ｉｍｇ２）を撮像するステップと、
前記第１算出部（３５０）が、前記第１撮像部（２１０）及び前記第２撮像部（２２０）の少なくとも何れか一方を用い、ステレオカメラ方式とは異なる３次元計測方式の距離情報又は距離を算出するための情報を用いることにより、前記画像における第１特徴点の視差（ｄ0〜ｄ3）を算出するステップと、
前記第２算出部（３５０）が、前記第１撮像部（２１０）及び前記第２撮像部（２２０）を用い、ステレオカメラ方式により、第２特徴点に対する対応点を探索し、該探索結果に基づいて前記第２特徴点の視差を算出し、前記第１特徴点の視差（ｄ0〜ｄ3）及び前記第２特徴点の視差から前記対象物（ＯＢ）の３次元形状を特定するステップと、
を含み、
前記対象物（ＯＢ）の３次元形状を特定するステップにおいては、前記第２算出部（３５０）が、前記第２特徴点に対する前記対応点の探索範囲を前記第１特徴点の視差（ｄ0〜ｄ3）に基づいて設定する、
３次元計測方法。
【符号の説明】
【０１４３】
１００…３次元計測システム、１１０…３Ｄ用プロジェクタ、１１１…レーザ光源、１１２…パターンマスク、１１３…レンズ、１２０…２Ｄ用プロジェクタ、２００…センサユニット、２１０…第１カメラ、２２０…第２カメラ、３００…コンピュータ、３０１…制御演算部、３０２…通信Ｉ／Ｆ部、３０３…記憶部、３０４…入力部、３０５…出力部、３０６…バスライン、３１０…制御部、３２０…画像取得部、３３０…画像記録部、３４０…画像出力部、３５０…画像処理部、３５１…第１画像処理部、３５２…第２画像処理部、３５３…第３画像処理部、３５４…第４画像処理部、ＯＢ…対象物、ｄ0〜ｄ3…第１特徴点の視差、ｄGA…画素（第２特徴点）の視差（の推定値）、Ｇ１０〜Ｇ１３…第１特徴点である画素、Ｇ２０〜Ｇ２３…第１特徴点である画素、ＧＡ…画素（第２特徴点）、Ｉｍｇ１，Ｉｍｇ２…画像、Ｉｍｇ１’，Ｉｍｇ２’…平行化画像、Ｉｍｇ１０，２０…２次元投影した画像、Ｉｍｇ３Ｄ１，Ｉｍｇ３ＤＭ…３次元点群画像、ＩｍｇＭ…画像（統合視差マップ）、Ｐ１，Ｐ２，Ｐ３，Ｐ４…仮想的な平面、Ｐ１１，Ｐ１２，Ｐ２１，Ｐ２２…光軸、Ｓ１０〜Ｓ６０…ステップ、Ｓ１１０…投射エリア、Ｓ２１０，Ｓ２２０…視野角、ｔ１〜ｔ８…時刻。
【図１】
2019138822.tif 000008
【図２】
2019138822.tif 000009
【図３】
2019138822.tif 000010
【図４】
2019138822.tif 000011
【図５】
2019138822.tif 000012
【図６】
2019138822.tif 000013
【図７】
2019138822.tif 000014
【図８】
2019138822.tif 000015
【図９】
2019138822.tif 000016
【図１０】
2019138822.tif 000017
【図１１】
2019138822.tif 000018
【図１２】
2019138822.tif 000019
【図１３】
2019138822.tif 000020