(57)【要約】【課題】距離センサと距離計測方法について、より高速で分解能を高くすること。【解決手段】距離センサ８は、赤外線のパターンを照射する照射器３Ｌ，３Ｒと、赤外線カメラ２と、照射器３Ｌ，３Ｒによって対象物に照射された赤外線のパターンを赤外線カメラ２で撮影し、赤外線カメラ２で撮影された画像における照射器３Ｌのパターンと照射器３Ｒのパターンとの重なり方によって距離を算出する距離演算モジュール１とを備える。【選択図】図１
2020153702.tif 000002
【特許請求の範囲】
【請求項１】
パターンを照射する複数の照射器と、
１台以上のカメラと、
前記複数の照射器によって対象物に照射された前記パターンを前記カメラで撮影し、前記カメラで撮影された画像における前記パターンの重なり方によって距離を算出する算出部と、
を備える距離センサ。
【請求項２】
前記複数の照射器の光軸は並行である、
ことを特徴とする請求項１に記載の距離センサ。
【請求項３】
前記複数の照射器の光軸と前記カメラの光軸とは同一平面上にある、
ことを特徴とする請求項１または２に記載の距離センサ。
【請求項４】
前記複数の照射器は、赤外光によるパターンを照射する、
ことを特徴とする請求項１に記載の距離センサ。
【請求項５】
前記複数の照射器は、それぞれ異なる波長の光によるパターンを照射し、
前記カメラは、前記複数の照射器が照射する光の波長を区別して撮影可能である、
ことを特徴とする請求項１から４のうち何れか１項に記載の距離センサ。
【請求項６】
複数の照射器によって対象物に照射されたパターンをカメラで撮影するステップと、
前記カメラで撮影された画像における前記パターンの重なり方によって距離を算出するステップと、
を実行することを特徴とする距離計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターンの投射による距離センサおよび距離計測方法に関する。
【背景技術】
【０００２】
頑健性と高速性を持つ距離センサの方式として、アクティブステレオ方式が実用されている（特許文献１）。アクティブステレオ方式の距離センサの例には、マイクロソフト製のゲーム機Xbox360（登録商標）向けの入力デバイスであるKinect（登録商標）がある（非特許文献１）。
【０００３】
Kinectは、人の体の動きや音声を認識して、それをゲームのコントローラとして利用できる、いわゆる、「家庭用で気軽に使えるモーション・キャプチャ機器」といえるものである。Kinectは、１個の赤外線パターン照射器と１個の赤外線カメラとで距離計測を行うセンサである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願公開第２０１０／０１１８１２３号明細書
【非特許文献】
【０００５】
【非特許文献１】「Kinectセンサの動作原理を読み解く」、[online]、２０１３年１１月１９日、マイナビニュース，[平成３１年３月１日検索]、インターネット<URL:https://news.mynavi.jp/article/computer_vision-61/>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
Kinectは、赤外線パターン照射器が１個しかない。そのためKinectは、アクティブステレオ形式の距離計測において、リファレンス画像とのパターンマッチングを行っていると推定される。よって、計算量が多く、分解能を上げることが困難であると思われる。
そこで、本発明は、距離センサと距離計測方法について、より高速な計測の実現と分解能を高くすることを課題とする。
【課題を解決するための手段】
【０００７】
すなわち、本発明の上記課題は、下記の構成により解決される。
【０００８】
（１）  パターンを照射する複数の照射器と、１台以上のカメラと、前記複数の照射器によって対象物に照射された前記パターンを前記カメラで撮影し、前記カメラで撮影された画像における前記パターンの重なり方によって距離を算出する算出部と、を備える距離センサ。
【０００９】
（２）  前記複数の照射器の光軸は並行である、ことを特徴とする（１）に記載の距離センサ。
【００１０】
（３）  前記複数の照射器の光軸と前記カメラの光軸とは、同一平面上にある、ことを特徴とする（１）または（２）に記載の距離センサ。
【００１１】
（４）  前記複数の照射器は、赤外光によるパターンを照射する、ことを特徴とする（１）に記載の距離センサ。
【００１２】
（５）  前記複数の照射器は、それぞれ異なる波長の光によるパターンを照射し、前記カメラは、前記複数の照射器が照射する光の波長を区別して撮影可能である、ことを特徴とする（１）から（４）のうち何れか１項に記載の距離センサ。
【００１３】
（６）  複数の照射器によって対象物に照射されたパターンをカメラで撮影するステップと、前記カメラで撮影された画像における前記パターンの重なり方によって距離を算出するステップと、を実行することを特徴とする距離計測方法。
【発明の効果】
【００１４】
本発明によれば、距離センサと距離計測方法について、より高速な計測の実現と分解能を高くすることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】距離センサの概略を示す構成図である。
【図２】第１の実施形態における左右の照射器のパターンの１単位を示す図である。
【図３】左照射器のパターンの５単位分を示す図である。
【図４】右照射器のパターンの５単位分を示す図である。
【図５】左右の照射器のパターンを距離Ｌ1の対象物に照射したときの図である。
【図６】左右の照射器のパターンを距離Ｌ2の対象物に照射したときの図である。
【図７】対象物までの距離を算出するフローチャートである。
【図８】第２の実施形態における左右のパターンの１単位を示す図である。
【図９】左右の照射器のパターンの６単位分を示す図である。
【図１０】左右の照射器のパターンを距離Ｌ3の対象物に照射したときの図である。
【発明を実施するための形態】
【００１６】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
図１は、距離センサ８の概略を示す構成図である。
距離センサ８は、赤外線カメラ２と、照射器３Ｌ，３Ｒと、距離演算モジュール１とを備える。
赤外線カメラ２は、赤外線（非可視光の一例）を撮像可能な撮像装置である。照射器３Ｌ，３Ｒは、所定の赤外線のパターンを照射するものである。照射器３Ｌ，３Ｒは、左右に所定の距離ｄだけ離れて設置されている。
照射器３Ｌの光軸と照射器３Ｒの光軸とを並行にすることで、好適にパターンを照射することができる。距離センサ８は更に、これら照射器３Ｌ，３Ｒの光軸と赤外線カメラ２の光軸とが同一平面上にあることで、より好適にパターンを検出可能となる。
これら照射器３Ｌ，３Ｒが照射するパターンについては、後記する。
【００１７】
距離演算モジュール１は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記憶部１４とを備えている。この距離センサ８は、後記する第１、第２の実施形態に共通するものである。
【００１８】
ＣＰＵ１１は、ＲＯＭ１２やＲＡＭ１３や記憶部１４に格納されたプログラムを実行し、ＲＯＭ１２やＲＡＭ１３や記憶部１４に格納されたデータを処理するものである。
【００１９】
ＲＯＭ１２は、不揮発性メモリで構成されており、例えばＢＩＯＳ（Basic Input/Output System）を格納する。ＲＡＭ１３は、揮発性メモリで構成されており、プログラムが一時的に格納する変数等に用いられる。記憶部１４は、例えばハードディスクやＳＳＤ（Solid State Drive）などの大容量記憶装置で構成されており、内部に左パターンデータ１４１と右パターンデータ１４２と距離計測プログラム１４３を格納している。
【００２０】
左右２台の照射器３Ｌ，３Ｒは、それぞれ赤外線のパターンを不図示の対象物に照射する。赤外線カメラ２は、対象物に照射された赤外線のパターンを撮影する。ＣＰＵ１１は、照射器３Ｌが照射したパターンと、照射器３Ｒが照射したパターンとの重なり方によって、対象物までの距離を算出する。
【００２１】
本実施形態は、例えば乗用車の左右のヘッドライトにより、赤外光などの非可視光のパターンを照射させる。そして対象物に照射されたパターンを車載カメラにより撮影する。人間の目には単なる照明であるが、車載カメラで撮影されたフレームから赤外光画像を生成してその一部を切り出すことで、対象物における左右のパターンの重なり方がわかり、よって対象物との距離を計測可能となる。
【００２２】
《第１の実施形態》
第１の実施形態において、照射器３Ｌ，３Ｒが照射するパターンは、赤外線カメラ２によって区別されずに撮影される。その後、距離演算モジュール１のＣＰＵ１１により、これら照射器３Ｌ，３Ｒの照射パターンにおける横方向の位置が検出される。
【００２３】
図２は、第１の実施形態における照射器３Ｌ，３Ｒが照射するパターンの１単位を示す図である。なお、以下の図は、ハッチングによって赤外光が照射されている箇所を示し、白抜きにより赤外光が照射されていない箇所を示している。
【００２４】
パターン４は、照射器３Ｌによって照射されるパターンの一例である。このパターン４は、４×４のパターンであり、最下段の位置マーク４１により、左側の照射器３Ｌが照射したパターンであることと、パターンの１単位がどこであるかを示している。
更にパターン４は、下から３段目の位置コード４２により、左側の照射器３Ｌが照射したパターンにおける左からの相対的位置を示している。ここで位置コード４２は、赤外光が照射されていないパターンであり、左から第０番目のパターンであることを示している。
【００２５】
パターン５は、照射器３Ｒによって照射されるパターンの一例である。このパターン５は、４×４のパターンであり、下から２段目の位置マーク５１により、右側の照射器３Ｒが照射したパターンであることと、パターンの１単位がどこであるかを示している。
更にパターン５は、最上段の位置コード５２により、右側の照射器３Ｒが照射したパターン５における左からの相対的位置を示している。ここで位置コード５２は、いずれも赤外光が照射されておらず、第０番目のパターンであることを示している。
なお、第１実施形態のパターン４のハッチングとパターン５のハッチングとは異なっているが、これは赤外線の波長の違いを示すものではなく、同一波長の赤外線である。
【００２６】
図３は、左側の照射器３Ｌのパターン４の５単位分を示す図である。
照射器３Ｌは、例えばパターン４−０からパターン４−４までを横方向に照射する。
パターン４−０〜４−４は、最下段の位置マーク４１により、左側の照射器３Ｌが照射したパターン４であることを示し、かつパターン４の１単位がどこであるかを示している。
【００２７】
パターン４−０は、下から３段目の位置コード４２により、左からの相対的位置が０番目であることを示している。なお、位置コード４２は左から順に第０〜３ビットが配列しており、ここでは、２進数の００００を示している。
【００２８】
以下同様に、パターン４−１は、下から３段目の位置コード４２により、２進数の０００１を示し、左からの相対的位置が１番目であることを示している。パターン４−２は、下から３段目の位置コード４２により、２進数の００１０を示し、左からの相対的位置が２番目であることを示している。パターン４−３は、下から３段目の位置コード４２により、２進数の００１１を示し、左からの相対的位置が３番目であることを示している。パターン４−４は、下から３段目の位置コード４２により、２進数の０１００を示し、左からの相対的位置が４番目であることを示している。
つまり下から３段目の位置コード４２は、赤外線の照射の有無により、左から順番に相対位置の第０ビットから第３ビットのオンオフを示している。
【００２９】
図４は、右側の照射器３Ｒのパターン５の５単位分を示す図である。
照射器３Ｒは、例えばパターン５−０からパターン５−４までを横方向に照射する。
パターン５−０〜５−４は、下から２段目の各位置マーク５１により、右側の照射器３Ｒが照射したパターン５であることを示し、かつパターン５の１単位がどこであるかを示している。
なお、パターン５−０は、最上段の位置コード５２により、２進数の００００を示し、左からの相対的位置が０番目であることを示している。パターン５−１は、最上段の位置コード５２により、２進数の０００１を示し、左からの相対的位置が１番目であることを示している。
【００３０】
以下同様に、パターン５−２は、最上段の位置コード５２により、２進数の００１０を示し、左からの相対的位置が２番目であることを示している。パターン５−３は、最上段の位置コード５２により、２進数の００１１を示し、左からの相対的位置が３番目であることを示している。パターン５−４は、最上段の位置コード５２により、２進数の０１００を示し、左からの相対的位置が４番目であることを示している。
つまり下から最上段の位置コード５２は、赤外線の照射の有無により、左から順番に相対位置の第０ビットから第３ビットのオンオフを示している。
【００３１】
図５は、左側の照射器３Ｌのパターン４と、右側の照射器３Ｒのパターン５とを距離Ｌ1の対象物に照射したときの図である。
左側の照射器３Ｌと、右側の照射器３Ｒとは、距離ｄだけ離れている。照射器３Ｒが照射するパターン５の１単位の照射角はεである。照射器３Ｌが照射するパターン４の照射角もεである。
【００３２】
対象物において、パターン４やパターン５の１単位の横方向の大きさは、ω1である。このとき、対象物の表面が光軸に対して垂直であると仮定すると、近似的に以下の式（１）関係が成立する。
【数１】
2020153702.tif 000003
【００３３】
ここでは、ブロックＢ1において左側のパターン４−３と、パターン５−１，５−２とが重なっており、パターン４とパターン５とのずれ量Ｄ1は、１．５単位である。照射器３Ｌ，３Ｒの光軸が並行であると仮定した場合、このずれ量Ｄ1は、以下の式（２）によって算出される。
【数２】
2020153702.tif 000004
【００３４】
このとき、被写体と照射器３Ｌ，３Ｒとの距離Ｌ1は、以下の式（３）で算出される。
【数３】
2020153702.tif 000005
【００３５】
図６は、左側の照射器３Ｌのパターン４と、右側の照射器３Ｒのパターン５とを距離Ｌ2の対象物に照射したときの図である。
図５と同様に、左側の照射器３Ｌと、右側の照射器３Ｒとは、距離ｄだけ離れている。照射器３Ｒが照射するパターン５の１単位の照射角はεである。照射器３Ｌが照射するパターン４の１単位の照射角もεである。距離ｄとパターン照射角εとは、対象物との距離にかかわらず変化しない。
【００３６】
対象物において、パターン４やパターン５の１単位の横方向の大きさは、ω2である。このとき、近似的に以下の式（４）関係が成立する。
【数４】
2020153702.tif 000006
【００３７】
ここでは、ブロックＢ2において左側のパターン４−３と、パターン５−１，５−２とが重なっており、パターン４とパターン５とのずれ量Ｄ2は、２単位である。このずれ量Ｄ2は、以下の式（５）によって算出される。
【数５】
2020153702.tif 000007
【００３８】
このとき、被写体と照射器３Ｌ，３Ｒとの距離Ｌ2は、以下の式（６）で算出される。
【数６】
2020153702.tif 000008
【００３９】
このように、左右の照射器３Ｌ，３Ｒからの距離Ｌによって照射器３Ｌ，３Ｒが照射したパターン４，５の重なり方が変わる。この重なり方（ずれ量Ｄ）により、被写体と照射器３Ｌ，３Ｒとの距離を算出することができる。
【００４０】
図７は、対象物までの距離を算出するフローチャートである。
ＣＰＵ１１は、左右の照射器３L，３Ｒにより、対象物に赤外線のパターンを照射し（Ｓ１０）、対象物に照射されたパターンの重ね合わせを赤外線カメラ２で撮影する（Ｓ１１）。
【００４１】
ＣＰＵ１１は、撮影画像のブロックごとに、ステップＳ１２〜Ｓ１７の処理を繰り返す。ＣＰＵ１１は、このブロックにおける左パターン位置を検出し（Ｓ１３）、更にこのブロックにおける右パターン位置を検出する（Ｓ１４）。更にＣＰＵ１１は、このブロックにおける左右のパターンのずれ量を検出し（Ｓ１５）、検出した左右パターンのずれ量から、この部分画像における対象物までの距離を算出する（Ｓ１６）。
【００４２】
ステップＳ１７において、ＣＰＵ１１は、撮影画像の全てのブロックに処理を行ったか否かを判定し、まだ処理を行っていないブロックがあれば、ステップＳ１２の処理に戻る。ＣＰＵ１１は、撮影画像の全てのブロックに処理を行ったならば、図７の処理を終了する。
【００４３】
第１の実施形態によれば、撮影画像内の限られたブロック内のパターン情報だけで、対象物までの距離を算出することができ、大幅に計算時間を削減できる。
【００４４】
《第２の実施形態》
第２の実施形態の距離センサ８は、左右の照射器３Ｌ，３Ｒでそれぞれ異なる波長の赤外線を照射する。赤外線カメラ２は、これら異なる波長のパターンを区別可能に撮影する。これにより位置マークが重なり合うようなパターンでも左右のパターンを検出が可能となり、より小さなパターンでの距離計測が可能になる。そのため、ＣＰＵ１１は、左右で同じ波長のパターンを用いた実施形態よりも、小さいブロックで左右のパターンを検出することができ、より高い解像度での距離計測が可能となる。
【００４５】
図８は、第２の実施形態における左右のパターンの１単位を示す図である。
パターン６は、照射器３Ｌによって照射されるパターンの一例である。このパターン６は、３×２のパターンであり、最下段の位置マーク６１により、パターン６の１単位がどこであるかを示している。
更にパターン６は、下から２〜３段目の位置コード６２により、左側の照射器３Ｌが照射したパターンにおける左からの相対的位置を示している。ここで位置コード６２は、いずれも赤外光が照射されておらず、左から第０番目のパターンであることを示している。
【００４６】
パターン７は、照射器３Ｒによって照射されるパターンの一例である。このパターン７は、３×２のパターンであり、下から２段目の位置マーク７１により、パターン７の１単位がどこであるかを示している。
更にパターン７は、下から２〜３段目の位置コード７２により、右側の照射器３Ｒが照射したパターン７における左からの相対的位置を示している。ここで位置コード７２は、いずれも赤外光が照射されておらず、第０番目のパターンであることを示している。
なお、ここではパターン６のハッチングとパターン７のハッチングとは異なっているが、これは赤外線の波長の違いを示している。
【００４７】
図９は、左側の照射器３Ｌのパターン６の６単位分と、右側の照射器３Ｒのパターン７の６単位分とを示す図である。
照射器３Ｌは、例えばパターン６−０からパターン６−５までを横方向に照射する。
パターン６−０〜６−５は、最下段の位置マーク６１により、左側の照射器３Ｌが照射したパターン６であることを示し、かつパターン６の１単位がどこであるかを示している。
【００４８】
パターン６−０は、下から２〜３段目の位置コード６２により、左からの相対的位置が０番目であることを示している。なお、位置コード６２のうち下から２段目の左から順に第０，１ビットが配列し、下から３段目の左から順に第２，３ビットが配列しており、ここでは、２進数の００００を示している。
【００４９】
以下同様に、パターン６−１は、下から２〜３段目の位置コード６２により、２進数の０００１を示し、左からの相対的位置が１番目であることを示している。パターン６−２は、下から２〜３段目の位置コード６２により、２進数の００１０を示し、左からの相対的位置が２番目であることを示している。パターン６−３は、下から２〜３段目の位置コード６２により、２進数の００１１を示し、左からの相対的位置が３番目であることを示している。パターン６−４は、下から２〜３段目の位置コード６２により、２進数の０１００を示し、左からの相対的位置が４番目であることを示している。パターン６−５は、下から２〜３段目の位置コード６２により、２進数の０１０１を示し、左からの相対的位置が５番目であることを示している。
つまり位置コード６２は、赤外線の照射の有無により、相対位置の第０ビットから第３ビットのオンオフを示している。
【００５０】
パターン７−０〜７−５も、パターン６−０〜６−５と同様であり、最下段の位置マーク７１により、右側の照射器３Ｒが照射したパターン７であることを示し、かつパターン７の１単位がどこであるかを示している。そして、パターン７−０〜７−５は、下から２〜３段目の位置コード６２により、各パターン７の左からの相対位置を示している。
【００５１】
図１０は、左側の照射器３Ｌのパターン６と右側の照射器３Ｌのパターン７とを対象物に照射したときの図である。
ここでは、ブロックＢ3において左側のパターン６−３と、パターン７−１とが重なっている。例えば、パターン６−３の最下段の左側および下から２段目の左側と、パターン７−１の最下段の左側および下から２段目の左側とは、それぞれ異なる波長の赤外光が照射されており、図１０では濃いハッチングで示されている。これらは、赤外線カメラ２の画像処理によって、波長ごとに分離することが可能である。
【００５２】
パターン６とパターン７とのずれ量Ｄ3は、２単位である。これを式（７）に代入することで、照射器３Ｌ，３Ｒと対象物との距離Ｌ3が算出できる。
【数７】
2020153702.tif 000009
【００５３】
第２の実施形態は、左側の照射器３Ｌと右側の照射器３Ｌとで、それぞれ異なる波長の赤外線のパターンを照射している。よって、第１の実施形態よりもパターンの1単位が小さくて済むため、撮影画像より多くのブロックを配置でき、すなわち高解像度での距離計測が可能となる。
【００５４】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｆ）のようなものがある。
【００５５】
（ａ）  照射器が照射するパターンの波長をソフトウェア上で任意に調整可能とし、用途に応じてＸＹＺそれぞれの分解能を変えて使い分けてもよい。
（ｂ）  照射器が照射する光線は赤外線に限られず、紫外線を照射してもよく、場合によっては可視光を照射してもよい。
（ｃ）  カメラの位置は、２つの照射器の中間でなくてもよい。
（ｄ）  ２つの照射器の配置は左右に限られず、上下に離して配置してもよい。
（ｅ）  ２つの照射器の光軸は、必ずしも並行でなくてもよい。この場合、左右の照射器が照射したパターンの重なり方（ずれ量）と距離との関係をテーブルに持たせることで、好適に距離を算出可能である。
（ｆ）  ２つの照射器の光軸とカメラの光軸とは、必ずしも同一平面上でなくてもよい。この場合、カメラの光学系によるタル型歪みを補正することで、好適にパターンを検出可能である。
【符号の説明】
【００５６】
１  距離演算モジュール
１１  ＣＰＵ
１２  ＲＯＭ
１３  ＲＡＭ
１４  記憶部
１４１  左パターンデータ
１４２  右パターンデータ
１４３  距離計測プログラム
２  赤外線カメラ
３Ｌ，３Ｒ  照射器
４，４−０〜４−４，５，５−０〜５−４，６，６−０〜６−５，７，７−０〜７−５  パターン
４１，５１，６１，７１  位置マーク
４２，５２，６２，７２  位置コード
８  距離センサ
【図１】
2020153702.tif 000010
【図２】
2020153702.tif 000011
【図３】
2020153702.tif 000012
【図４】
2020153702.tif 000013
【図５】
2020153702.tif 000014
【図６】
2020153702.tif 000015
【図７】
2020153702.tif 000016
【図８】
2020153702.tif 000017
【図９】
2020153702.tif 000018
【図１０】
2020153702.tif 000019