(57)【要約】【課題】種々の光学現象に起因した測距異常を簡易的に且つ高精度に補正する。【解決手段】距離画像生成装置１は、参照光を被写体Ｏへ投光する投光部１０と、二次元配列された複数の画素を有する受光部１１と、被写体Ｏからの光を受光部１１に導く光学系１２と、複数の画素のうち注目画素及びその周辺画素の受光量に基づき注目画素及び周辺画素における光学現象の影響度を算出する影響度算出手段と、影響度に基づいて注目画素が周辺画素から被る被影響度を算出する被影響度算出手段と、被影響度に基づいて被写体までの距離画像を生成する距離画像生成手段と、を備える。【選択図】図１
2020193957.tif 000002
【特許請求の範囲】
【請求項１】
参照光を被写体へ投光する投光部と、
二次元配列された複数の画素を有する受光部と、
前記被写体からの光を前記受光部に導く光学系と、
前記複数の画素のうち注目画素及びその周辺画素の受光量に基づいて前記注目画素及び前記周辺画素における光学現象の影響度を算出する影響度算出手段と、
前記影響度に基づいて前記注目画素が前記周辺画素から被る被影響度を算出する被影響度算出手段と、
前記被影響度に基づいて前記被写体の距離画像を生成する距離画像生成手段と、
を備える、距離画像生成装置。
【請求項２】
前記被影響度算出手段は、前記参照光に対して位相が異なる複数の撮像タイミングで撮像した複数の位相画像について前記被影響度に基づいた被影響度画像を生成し、前記距離画像生成手段は、前記位相画像と前記被影響度画像との差分画像に基づいて前記距離画像を生成する、請求項１に記載の距離画像生成装置。
【請求項３】
前記影響度算出手段は、前記影響度に基づいて影響度画像を生成し、前記被影響度算出手段は、前記被影響度に基づいて被影響度画像を生成し、前記距離画像生成装置は、前記影響度画像及び前記被影響度画像のうち少なくとも一方を表示する表示手段をさらに備える、請求項１又は２に記載の距離画像生成装置。
【請求項４】
前記影響度算出手段は、前記注目画素及び前記周辺画素における受光量の分布に基づき、前記影響度を算出するための影響度係数を算出する、請求項１から３のいずれか一項に記載の距離画像生成装置。
【請求項５】
前記影響度係数は、画像中心から前記注目画素もしくは前記周辺画素までの距離と前記注目画素及び前記周辺画素で構成される領域内の位置との少なくとも一方に基づき、前記注目画素を中心として非対称になるように算出される、請求項４に記載の距離画像生成装置。
【請求項６】
前記影響度算出手段は、前記注目画素及び前記周辺画素における受光量の分布に基づき、前記影響度を算出するための影響度係数を算出し、前記被影響度算出手段は、前記影響度係数と前記周辺画素の測距値との関係に基づき前記被影響度を算出する、請求項１に記載の距離画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は距離画像生成装置に関し、特に測距異常を補正する距離画像生成装置に関する。
【背景技術】
【０００２】
物体までの距離を測定する距離画像生成装置として、光の飛行時間に基づき距離を出力するＴＯＦ（time of flight）カメラが公知である。ＴＯＦカメラは、所定周期で強度変調した参照光を対象空間に照射し、参照光と対象空間からの反射光との間の位相差に基づき対象空間の測距値を出力する位相差方式を採用するものが多い。位相差は反射光の受光量から求められる。
【０００３】
斯かるＴＯＦカメラにおいては、カメラ内部（レンズ、撮像素子のシリコン層等）で種々の光学現象を引き起こして測距異常を生じさせることがある。例えば白色材、再帰反射材等のような強反射材を撮像した場合、カメラ内部で散乱した光が本来受けるべき画素の周囲の画素まで測距値を歪めてしまうことがある。このような測距異常は、強反射材に限らず、強い光源、例えば太陽にレンズを向けた場合に発生し得るフレア、ゴーストといった光学現象についても幾らか当てはまる。また、レンズ特性である収差の影響によっても周辺画素の測距値が異常を来すことがある。
【０００４】
図１０Ａ及び図１０Ｂは強反射材に起因した測距異常の一例を示している。図１０Ａは、ＴＯＦカメラ３０が円筒部材３１と３種類の背景３２（黒背景、白背景、及び再帰背景）を撮像した場合を示しており、図１０Ｂは、ＴＯＦカメラ３０によって生成される強度画像、距離画像、及びその測距値を示している。黒背景の場合には円筒部材３１の測距値に影響を及ぼさないものの、白背景の場合には強反射材であるため円筒部材３１と白背景との境界領域で測距異常３３が発生する。再帰背景の場合には所謂サチュレーションを引き起こし、もはや測距不能となる。
【０００５】
この測距異常の原理を図１１Ａ−図１１Ｃに示す。図１１Ａに示すように撮像素子３４の画素αは経路ｂの光のみを本来受けるべきであるが、カメラ内部（レンズ３５、撮像素子３４のシリコン層等）で経路ａの光を受けてしまうことがある。斯かる迷光や収差といった光学現象の問題は不可避な問題であるものの、画像認識の世界では画像上の輝度のみで判断可能であるため、殆ど問題にならなかった。
【０００６】
しかし、ＴＯＦカメラの世界では、光の飛行時間を測定するため、経路ｂと経路ａとの合成によって画素αの受光量が決定されると、画素αを構成する経路ｂと経路ａとの輝度の比が問題となる。経路ａの輝度が大きく経路ｂの輝度が低い場合、画素αで算出される測距値は経路ｂの距離ではなく経路ａの距離を指し示してしまう。図１１Ｂ及び図１１Ｃは、例えば点Ａ、点Ｂ、及び点Ｃの測距位置における黒色物体からの寄与分及び白色物体からの寄与分の輝度値を夫々示している。斯かる光学現象に起因した測距異常の問題を解決する先行技術としては、後述の文献が公知である。
【０００７】
特許文献１には、投光部と受光部を有し、受光した光に基づき距離画像データを生成する形状測定装置において、対象画素に対応する高さデータと周辺画素に対応する高さデータの一致度及び周辺画素の最大受光量を含む判定式が設定され、判定式により得られた値に基づいて対象画素に対応する高さデータが迷光に基づいて生成されたか否かが判定され、迷光判定の結果に基づいて高さデータが補正されることが記載されている。
【０００８】
特許文献２には、投光部と受光部を有し、受光した光に基づき距離画像を生成し、検知エリアのオブジェクトを検出し、警報（安全信号）を出力するＴＯＦカメラを用いたシステムにおいて、画像処理部が受光画像と距離画像を取得し、受光量と距離の一次関数から、雨滴が反射した雨滴画素であるか否かを算定し、雨滴影響画素を判定し、生成した雨滴影響画像の雨滴画素の個数でオブジェクトがノイズであるか否かを判定することが記載されている。
【０００９】
特許文献３には、投光ユニットと受光ユニットを有し、検出した光に基づき距離画像を生成する距離測定装置において、入力画像（距離画像）での２次元座標上の距離が近く、且つ、距離値が大きく異なる小さい領域同士をグルーピングして領域グループを抽出し、太陽光の影響によるノイズと判定することが記載されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１８−０６３１５７号公報
【特許文献２】特開２０１４−１７８１８６号公報
【特許文献３】特開２０１７−１８１２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来の問題に鑑み、迷光や収差といった種々の光学現象に起因した測距異常を簡易的に且つ高精度に補正する技術が求められている。
【課題を解決するための手段】
【００１２】
本開示の一態様は、参照光を被写体へ投光する投光部と、二次元配列された複数の画素を有する受光部と、被写体からの光を受光部に導く光学系と、複数の画素のうち注目画素及びその周辺画素の受光量に基づき注目画素及び周辺画素における光学現象の影響度を算出する影響度算出手段と、影響度に基づいて注目画素が周辺画素から被る被影響度を算出する被影響度算出手段と、被影響度に基づいて被写体の距離画像を生成する距離画像生成手段と、を備える、距離画像生成装置を提供する。
【発明の効果】
【００１３】
本開示の一態様によれば、注目画素が本来受けるべき光の受光量を簡易的に特定でき、種々の光学現象に起因した測距異常を高精度に補正できる。
【図面の簡単な説明】
【００１４】
【図１】一実施形態における距離画像生成装置のブロック図である。
【図２】一実施形態における測距値の計算手法を示す図である。
【図３】迷光に起因した測距異常を示す図である。
【図４】一実施形態における距離画像生成手法を示す図である。
【図５】一実施形態における光学現象の影響度算出手法を示す図である。
【図６】一実施形態における被影響度画像の生成手法を示す図である。
【図７Ａ】非対称フィルタの一例を示す図である。
【図７Ｂ】非対称フィルタの一例を示す図である。
【図８】一実施形態における距離画像生成装置の動作を示すフローチャートである。
【図９】他の実施形態における測距異常の補正手法を説明する説明図である。
【図１０Ａ】強反射材に起因した測距異常の一例を示す図である。
【図１０Ｂ】強反射材に起因した測距異常の一例を示す図である。
【図１１Ａ】測距異常の原理を示す図である。
【図１１Ｂ】測距異常の原理を示す図である。
【図１１Ｃ】測距異常の原理を示す図である。
【発明を実施するための形態】
【００１５】
以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。
【００１６】
図１は本実施形態における距離画像生成装置１の構成を示している。距離画像生成装置１は、投光部１０と、受光部１１と、光学系１２と、発光撮像制御部１３と、Ａ／Ｄ変換部１４と、メモリ１５と、プロセッサ１６と、を備えている。距離画像生成装置１は、表示部１７をさらに備えていてもよい。
【００１７】
投光部１０は、強度変調した参照光を発光する光源（例えば発光ダイオード、半導体レーザ等）と、発光した参照光を被写体Ｏへ拡散する拡散板と、を備えており、参照光を被写体Ｏへ投光する。受光部１１は、二次元配列された複数の画素を有する撮像素子（例えばＣＣＤ（charge-coupled device）、ＣＭＯＳ（complementary metal-oxide semiconductor）等）を備えている。
【００１８】
光学系１２は、被写体Ｏからの光を集光する集光レンズと、参照光の波長帯を透過させる光学フィルタと、を備えており、被写体Ｏからの光を受光部１１へ導く。発光撮像制御部１３は、投光部１０の発光及び受光部１１の撮像を制御する制御回路を備えており、プロセッサ１６によって制御される。Ａ／Ｄ変換部１４は、受光部１１で受光した光の受光量をＡ／Ｄ変換するＡ／Ｄコンバータを備えている。
【００１９】
メモリ１５は、種々の情報を記憶するメモリ（例えば半導体メモリ、磁気記憶装置等）を備えている。プロセッサ１６は、距離画像生成装置１の全体を制御するプロセッサ（例えばＣＰＵ（central processing unit）、ＦＰＧＡ（field-programmable gate array）等の半導体集積回路）を備えている。表示部１７は、種々の情報を表示する表示装置（例えば液晶ディスプレイ、有機ＥＬディスプレイ等）を備えている。
【００２０】
図２は本実施形態における測距値の計算手法を示している。受光部１１は、参照光に対して位相の異なる複数種類の撮像タイミング、例えば４種類の撮像タイミング（０°、９０°、１８０°、及び２７０°）で撮像を繰り返し、画素毎に受光量Ｑ1、Ｑ2、Ｑ3、及びＱ4を取得する。各画素の測距値Ｌは、例えば下記式から求められる。下記式において、ｃは光速であり、ｆは参照光の変調周波数である。
【００２１】
【数１】
2020193957.tif 000003
【００２２】
図３は迷光に起因した測距異常を示している。図１１Ａに示した通り、撮像素子３４の画素αは、経路ｂの光を本来受けるべきであるが、装置内部（レンズ、撮像素子等）で経路ａの光を受けてしまうことがある。経路ｂと経路ａの受光量Ｑ1、Ｑ2、Ｑ3、及びＱ4は夫々異なるため、上記式で計算される測距値Ｌは経路ａと経路ｂの間の距離になってしまう。経路ａの影響を除去するには、画素αが経路ａから被る影響を画素αの受光量から差し引く必要がある。
【００２３】
図４は本実施形態における距離画像生成手法を示している。測距値の計算は、参照光に対して位相の異なる複数種類の撮像タイミングで撮像した位相画像（位相１画像−位相４画像）を生成することによって行われるため、各位相画像において光学現象の影響を取り除く必要がある。各位相画像への経路ａの影響は、経路ａの測距値が分からないと求められないと考えられるが、迷光や収差といった光学現象の影響は画像上のボケとして出現するため、実際には注目画素とその周辺画素の受光量に基づいて光学現象の影響度を算出し、影響度に基づいて注目画素が周辺画素から被る被影響度を算出することによって求めることができる。即ち、各位相画像について被影響度画像（位相１被影響度画像−位相４被影響度画像）を生成し、各位相画像から被影響度画像を差分すれば、経路ｂの光の受光量のみを特定することができる。即ち、種々の光学現象に起因した測距異常を簡易的に且つ高精度に補正することが可能になる。
【００２４】
各画素における光学現象の影響度Ｆｉは、例えば下記式で記述できる。下記式において、Ａは各画素の受光量であり、Ｃ1は影響度係数であり、Ｃ2は装置内部の個体特性（レンズ特性、センサ特性等）に応じた補正係数である。
【００２５】
【数２】
2020193957.tif 000004
【００２６】
図５は本実施形態における光学現象の影響度算出手法を示している。光学現象の影響度Ｆｉは画像上のボケの強さに相当するため、前述の影響度係数Ｃ1は例えば下記式から求められる。下記式において、ｗは濃淡エッジの広がり幅であり、ｈは濃淡エッジの高さである。
【００２７】
【数３】
2020193957.tif 000005
【００２８】
影響度係数Ｃ1は、例えば予め用意した所定パターンの被写体を撮像して装置提供者が予め設定してもよいし、又は、装置使用中に位相画像上の注目画素及びその周辺画素の受光量の分布、即ち、濃淡エッジの広がり幅ｗ及び高さｈから求めてもよい。また、補正係数Ｃ2は、装置内部の個体特性に応じて装置提供者が予め実験的に求めることができる。
【００２９】
影響度Ｆｉは注目画素の近傍の画素に強く影響を与え、遠く離れると弱まることから、影響度係数Ｃ1は、平滑化フィルタ、特にガウシアンフィルタによって良好に記述できる。なお、別の実施形態では、他の平滑化フィルタ、例えば移動平均フィルタ、メディアンフィルタ、ローパスフィルタ等を適用してもよい。さらに場合によっては専用のフィルタ、例えば後述の非対称フィルタを用意してもよい。
【００３０】
一般的なガウシアンフィルタは下記式で記述できる。下記式において、ｘ及びｙはフィルタ中心を（０，０）としたフィルタ内の位置であり、σはガウス分布の標準偏差である。標準偏差σの値が大きくなる程、ガウス分布が平らになり、平滑化（ボケ）の効果が大きくなるのに対し、標準偏差σの値が小さくなる程、ガウス分布が凸状になり、平滑化（ボケ）の効果が小さくなる。従って、標準偏差σは、上記式３から求めてもよいし、又は装置提供者が固定値を予め設定してもよい。
【００３１】
【数４】
2020193957.tif 000006
【００３２】
図６は本実施形態における被影響度画像の生成手法を示している。被影響度画像は、例えば５×５のガウシアンフィルタを各位相画像に適用することによって生成される。
【００３３】
但し、画像中心からの距離やフィルタ内の位置によって迷光や収差といった光学現象の影響が異なる場合があるため、実際の利用では、画像中心からの距離（ｉ’，ｊ’）及びフィルタ内の位置の重み（ａ，ｂ）の少なくとも一方の補正係数をガウシアンフィルタに適用した非対称フィルタがより好適である。非対称フィルタは、例えば下記式で記述できる。下記式において、画像内の画素位置を（ｉ，ｊ）とし、画像中心の画素位置を（ｉc，ｊc）とすると、画像中心からの距離（ｉ’，ｊ’）＝（ｉ−ｉc、ｊ−ｊc）である。
【００３４】
【数５】
2020193957.tif 000007
【００３５】
図７Ａ及び図７Ｂは上記式で生成した非対称フィルタ（「影響度係数」に相当）の一例を示している。図７Ａに示すように、非対称フィルタ２０は、画像中心（ｉc，ｊc）に近づくにつれ非対称性が小さくなり、画像周縁に近づくにつれ非対称性が大きくなる。また、フィルタ内の位置の重み（ａ，ｂ）に応じてガウス分布、即ちフィルタ形状を変形させることも可能である。これにより、迷光、収差といった種々の光学現象の影響度を高精度に表すことが可能になる。図７Ｂは、画像周辺に適用される非対称フィルタの一例を示している。
【００３６】
図８は本実施形態における距離画像生成装置１の動作を示すフローチャートである。距離画像生成装置１が動作を開始すると、ステップＳ１０において、参照光に対して位相の異なる複数種類の撮像タイミングで撮像を繰り返し、各位相画像を取得していく。各位相画像はメモリに記憶しておいてもよい。
【００３７】
ステップＳ１１では、各位相画像における注目画素及びその周辺画素の受光量に基づいて光学現象の影響度を算出する。即ち、このステップでは、注目画素及び周辺画素の受光量の分布からガウシアンフィルタ等の平滑化フィルタ（「影響度係数」に相当）を生成し、影響度係数と注目画素及び周辺画素の受光量との関係に基づいて影響度が算出される。但し、平滑化フィルタ（影響度係数）は装置提供者が予め設定しておき、固定値をロードしてもよい。また、このとき算出した影響度に基づいて影響度画像を生成し、影響度画像をメモリに記憶しておいてもよい。
【００３８】
ステップＳ１２では、算出した影響度に基づいて注目画素が周辺画素から被る被影響度を算出する。即ち、このステップでは、平滑化フィルタ（「影響度係数」に相当）を各位相画像に適用し、被影響度画像が生成される。このとき、被影響度画像をメモリに記憶しておいてもよい。
【００３９】
ステップＳ１３では、各位相画像から被影響度画像を差分して差分画像を生成する。差分画像は本来受光すべき位相画像に相当する。ステップＳ１４では、上記式１の距離計算式に基づき、各差分画像から距離画像を生成する。このとき、差分画像をメモリに記憶しておいてもよい。なお、生成した距離画像は、ロボット、工作機械、自動車等の機械を制御する制御システム、監視領域内の物体を監視する物体監視システム等に利用することが可能である。
【００４０】
必須ではないが、ステップＳ１５では、必要に応じて位相画像、影響度画像、被影響度画像、及び差分画像のうち少なくとも一つを表示部に表示させる。特に影響度画像及び被影響度画像を表示させることにより、測距異常の原因追及が容易になる。測距異常は被影響度が大きい場所で大きくなるため、その場所に影響を与えていると推測される影響度の大きい場所を特定することによって測距異常を引き起こす被写体を移動させるといった対策を施すことが可能になる。
【００４１】
他の実施形態における測距異常の補正手法について図９を参照して説明する。この実施形態では、位相画像、被影響度画像、差分画像等を用いない点で、前述の実施形態とは異なる点に留意されたい。図９には、注目画素Ｅと、その周辺画素Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉが示されている。
【００４２】
測距異常の影響は、影響を受ける注目画素Ｅの本当の距離値と、影響を与える周辺画素Ａ、Ｂ、Ｃ、Ｄ、Ｆ、Ｇ、Ｈ、Ｉの本当の距離値と、注目画素及び周辺画素の影響度係数と、によって決定される。従って、注目画素Ｅの測距値ｌは下記式で記述できる。下記式において、ｌa、ｌb、ｌc、ｌd、ｌe、ｌf、ｌg、ｌh、ｌiは注目画素及び周辺画素の本当の距離値であり、ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉは影響度係数である。
【００４３】
【数６】
2020193957.tif 000008
【００４４】
上記式を本当の距離値ｌeについて解くと、さらに下記式が得られる。下記式において、周辺画素の本当の距離値ｌa、ｌb、ｌc、ｌd、ｌf、ｌg、ｌh、ｌiは不明であるため、実際の利用では本当の距離値の代わりに周辺画素の測距値を代用してもよい。また、影響度係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉは、注目画素及び周辺画素における受光量の分布（例えば上記式３）から求めてもよい。
【００４５】
【数７】
2020193957.tif 000009
【００４６】
上記式のように、注目画素Ｅの本来の距離値ｌe（即ち、距離画像）は、注目画素及び周辺画素における受光量の分布に基づき、影響度を算出するための影響度係数ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉを算出し、影響度係数と周辺画素の測距値との関係に基づき被影響度ａｌa、ｂｌb、ｃｌc、ｄｌd、ｆｌf、ｇｌg、ｈｌh、ｉｌiを算出することにより求めることができる。
【００４７】
前述した実施形態によれば、注目画素が本来受けるべき光の受光量を簡易的に特定でき、種々の光学現象に起因した測距異常を高精度に補正できる。
【００４８】
また、距離画像生成装置１によって実行されるプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ−ＲＯＭ等に記録して提供してもよい。
【００４９】
本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、以下の特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。
【符号の説明】
【００５０】
１    距離画像生成装置
１０    投光部
１１    受光部
１２    光学系
１３    発光撮像制御部
１４    Ａ／Ｄ変換部
１５    メモリ
１６    プロセッサ
１７    表示部
２０    非対称フィルタ
３０    ＴＯＦカメラ
３１    円筒部材
３２    背景
３３    測距異常
３４    撮像素子
３５    レンズ
Ｏ    被写体
【図１】
2020193957.tif 000010
【図２】
2020193957.tif 000011
【図３】
2020193957.tif 000012
【図４】
2020193957.tif 000013
【図５】
2020193957.tif 000014
【図６】
2020193957.tif 000015
【図７Ａ】
2020193957.tif 000016
【図７Ｂ】
2020193957.tif 000017
【図８】
2020193957.tif 000018
【図９】
2020193957.tif 000019
【図１０Ａ】
2020193957.tif 000020
【図１０Ｂ】
2020193957.tif 000021
【図１１Ａ】
2020193957.tif 000022
【図１１Ｂ】
2020193957.tif 000023
【図１１Ｃ】
2020193957.tif 000024