(57)【要約】【課題】対象までの距離を測定する技術の利便性を向上させる。【解決手段】情報処理装置４０は、通信部４１と、制御部４３と、を備える。通信部４１は、所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報と、視野を撮像した撮像情報と、を取得する。制御部４３は、距離情報において所定の条件を満たす１つ以上の画素が検出されると、撮像情報に基づいて１つ以上の画素を補正する。【選択図】図５
2019020142.tif 000002
【特許請求の範囲】
【請求項１】
所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報と、前記視野を撮像した撮像情報と、を取得する通信部と、
前記距離情報において所定の条件を満たす１つ以上の画素が検出されると、前記撮像情報に基づいて前記１つ以上の画素を補正する制御部と、
を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記所定の条件は、画素に示される距離が不定であるとの条件を含む、情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記制御部は、前記撮像情報を用いる所定のアルゴリズムによって算出される距離に基づいて、前記１つ以上の画素を補正する、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記所定のアルゴリズムは、ＤＦＦ（Depth from Focus）法、ＤＦＤ（Depth from Defocus）法、またはモーションステレオ法を含む、情報処理装置。
【請求項５】
請求項３または４に記載の情報処理装置であって、
前記制御部は、前記１つ以上の画素に相当する前記視野の一部領域における、前記撮像情報を用いて算出された距離に基づいて、前記１つ以上の画素を補正する、情報処理装置。
【請求項６】
情報処理装置に、
所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報と、前記視野を撮像した撮像情報と、を取得するステップと、
前記距離情報において所定の条件を満たす１つ以上の画素が検出されると、前記撮像情報に基づいて前記１つ以上の画素を補正するステップと、
を実行させる、プログラム。
【請求項７】
所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報を生成する測距装置と、
前記視野を撮像した撮像情報を生成する撮像装置と、
前記距離情報において所定の条件を満たす１つ以上の画素が検出されると、前記撮像情報に基づいて前記１つ以上の画素を補正する情報処理装置と、
を備える、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
従来、対象までの距離を測定する測距装置が知られている。例えば特許文献１には、レーザ光を外部に照射してから、照射したレーザ光が外部の物体で反射して生じた反射光を受光するまでの時間と光速とから、物体までの距離を算出するレーザレーダ装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２２３８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、対象までの距離を測定する技術の利便性の向上が望まれている。
【０００５】
本開示の目的は、対象までの距離を測定する技術の利便性を向上させることにある。
【課題を解決するための手段】
【０００６】
本開示の一実施形態に係る情報処理装置は、通信部と、制御部と、を備える。通信部は、所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報と、前記視野を撮像した撮像情報と、を取得する。制御部は、前記距離情報において所定の条件を満たす１つ以上の画素が検出されると、前記撮像情報に基づいて前記１つ以上の画素を補正する。
【０００７】
本開示の一実施形態に係るプログラムは、情報処理装置に、所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報と、前記視野を撮像した撮像情報と、を取得するステップと、前記距離情報において所定の条件を満たす１つ以上の画素が検出されると、前記撮像情報に基づいて前記１つ以上の画素を補正するステップと、を実行させる。
【０００８】
本開示の一実施形態に係る情報処理システムは、測距装置と、撮像装置と、情報処理装置と、を備える。測距装置は、所定の視野における視方向への距離をそれぞれ示す複数の画素を有する距離情報を生成する。撮像装置は、前記視野を撮像した撮像情報を生成する。情報処理装置は、前記距離情報において所定の条件を満たす１つ以上の画素が検出されると、前記撮像情報に基づいて前記１つ以上の画素を補正する。
【発明の効果】
【０００９】
本開示の一実施形態によれば、対象までの距離を測定する技術の利便性が向上する。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理システムの概略構成を示すブロック図である。
【図２】図１に示す撮像装置の概略構成を示すブロック図である。
【図３】図１に示す測距装置の概略構成を示すブロック図である。
【図４】図１に示す情報処理装置の概略構成を示すブロック図である。
【図５】情報処理システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の実施形態について、図面を参照して説明する。
【００１２】
図１を参照して、本開示の一実施形態に係る情報処理システム１０について説明する。情報処理システム１０は、撮像装置２０と、測距装置３０と、情報処理装置４０と、を備える。撮像装置２０および測距装置３０は、互いに通信可能に接続されてもよい。情報処理装置４０は、撮像装置２０および測距装置３０それぞれと通信可能に接続される。情報処理システム１０は、例えば車両等の移動体に搭載されてもよい。
【００１３】
撮像装置２０は、第１視野の撮像情報を生成可能な任意の装置を含む。例えば、撮像装置２０は、カメラ装置を含んでもよい。本開示において、「視野」は、例えば視点の視方向に離れた任意の仮想平面上の、当該視点から見える範囲に相当する領域を含んでもよい。撮像装置２０は、任意のフレームレートで第１視野の撮像情報を生成可能であってもよい。第１視野の撮像情報は、第１視野が分割された複数の領域にそれぞれ対応する複数の第１画素を有してもよい。第１画素は、例えばＲＧＢの色を示してもよい。具体的には、第１画素の画素値は、例えばＲＧＢの色信号強度を示してもよい。撮像情報は、例えば撮像画像を含んでもよい。
【００１４】
測距装置３０は、第２視野の距離情報を生成可能な任意の装置を含む。第２視野は、第１視野に包含されてもよい。例えば、測距装置３０は、レーザ光を照射して第２視野における視方向への距離を測定可能なレーザレーダ装置を含んでもよい。一実施形態において、測距装置３０が、パルスレーザを２次元的に走査する走査型レーザレーダ装置である例について説明する。しかしながら、レーザレーダ装置は、例えばレーザの拡散光を広範囲に照射し、反射光または拡散光を距離画像センサで受光するフラッシュ型レーザレーダ装置であってもよい。測距装置３０は、任意のフレームレートで第２視野の距離情報を生成可能であってもよい。第２視野の距離情報は、第２視野が分割された複数の領域にそれぞれ対応する複数の第２画素を有してもよい。第２画素は、例えば視方向における視点からの距離を示してもよい。具体的には、第２画素の画素値は、例えばレーザ光の射出から反射光もしくは散乱光の検出までの時間差、またはレーザ光と反射光もしくは散乱光との位相差を示してもよい。距離情報は、例えば複数の第２画素それぞれを距離に応じて色分けした距離画像を含んでもよい。
【００１５】
情報処理装置４０は、情報処理機能を有する任意の装置を含む。例えば、情報処理装置４０は、コンピュータ、携帯電話、スマートフォン、およびタブレット端末等を含んでもよい。情報処理装置４０は、距離情報において所定の条件を満たす１つ以上の第２画素が検出されると、後述するように、撮像情報に基づいて当該１つ以上の第２画素を補正し得る。例えば、所定の条件は、第２画素に示される距離が不定であるとの条件を含んでもよい。距離が不定であることは、検出された距離が無限遠であることを含んでもよい。
【００１６】
第２画素に示される距離が誤検出によって不定となる場合について説明する。測距装置３０から射出されたレーザ光が物体に到達しても、十分な強度の反射光または散乱光が測距装置３０に到達しない場合がある。例えば、表面に光沢を有する鏡等の物体にレーザ光が照射されると、反射光は、測距装置３０とは異なる方向に進んで測距装置３０に到達しない場合がある。例えば、比較的微細な構造を有する毛皮等の物体にレーザ光が照射されると、測距装置３０に到達する散乱光の強度が十分でない場合がある。かかる場合、視点から上述の物体までの距離は、実際には有限値であるにも関わらず、無限遠と誤検出され得る。かかる場合、第２画素に示される距離が誤検出によって不定となる。
【００１７】
上述した一実施形態に係る情報処理システム１０によれば、撮像情報に基づいて距離情報が補正され得る。このため、距離情報の精度が向上し得る。したがって、対象までの距離を測定する技術の利便性が向上する。
【００１８】
情報処理システム１０の各構成要素について詳細に説明する。
【００１９】
図２を参照して、撮像装置２０について詳細に説明する。撮像装置２０は、撮像光学系２１と、撮像素子２２と、撮像情報生成部２３と、記憶部２４と、通信部２５と、制御部２６と、を備える。
【００２０】
撮像光学系２１は、例えば、絞りおよび１つ以上のレンズを含んでもよい。撮像光学系２１は、第１視野における対象の像を結像可能である。
【００２１】
撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでもよい。撮像素子２２は、複数の画素が２次元配列された受光面を有する。撮像素子２２は、撮像光学系２１を介して受光面に照射された光を電荷に変換して蓄積する。撮像素子２２は、蓄積された電荷を出力する。撮像素子２２は、複数の画素の電荷を周期的に出力してもよい。
【００２２】
撮像情報生成部２３は、１つ以上のプロセッサを含んでもよい。本開示において、「プロセッサ」は、汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでもよい。専用のプロセッサは、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでもよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでもよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでもよい。
【００２３】
撮像情報生成部２３は、撮像素子２２の出力に基づいて、第１視野の撮像情報を生成する。
【００２４】
撮像情報生成部２３は、撮像情報を用いる任意の処理を実行してもよい。例えば、撮像情報生成部２３は、撮像情報に対して視点変換処理を実行してもよい。
【００２５】
視点変換処理によって、撮像装置２０の光軸が測距装置３０の光軸に略一致しまたは完全一致し得る。具体的には、視点変換処理によって、撮像装置２０の視点位置および視方向が、測距装置３０の視点位置および視方向にそれぞれ略一致しまたは完全一致し得る。視点変換処理には、任意のアルゴリズムが採用可能である。
【００２６】
撮像情報を用いる処理は、上述した視点変換処理に限られず、任意の処理を含んでもよい。例えば、当該処理は、ホワイトバランス処理、色調整処理、ゲイン調整処理、および輝度調整処理等を含んでもよい。
【００２７】
撮像情報生成部２３は、周期的に撮像情報を生成してもよい。
【００２８】
記憶部２４は、１つ以上のメモリを含んでもよい。本開示において、「メモリ」は、例えば半導体メモリ、磁気メモリ、および光メモリ等を含んでもよい。記憶部２４は、一次記憶装置または二次記憶装置として機能してもよい。記憶部２４は、撮像装置２０の動作に用いられる任意の情報およびプログラムを記憶する。
【００２９】
通信部２５は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば情報処理装置４０を含む。通信部２５は、有線または無線を介する任意の通信方式に対応してもよい。
【００３０】
制御部２６は、１つ以上のプロセッサを含む。制御部２６は、撮像装置２０全体の動作を制御する。例えば、制御部２６は、撮像情報生成部２３によって生成された撮像情報を、通信部２５を介して情報処理装置４０へ出力する。制御部２６は、周期的に撮像情報を出力してもよい。
【００３１】
図３を参照して、測距装置３０について詳細に説明する。測距装置３０は、送光部３１と、受光部３２と、距離情報生成部３３と、記憶部３４と、通信部３５と、制御部３６と、を備える。
【００３２】
送光部３１は、光源と、可動式の走査ミラーと、を含んでもよい。送光部３１は、光源から発せられるパルスレーザを走査ミラーで反射させることによって、第２視野を２次元的に走査可能である。具体的には、光源から発せられるパルスレーザが、走査ミラーで反射して、測距装置３０の外部に射出される。走査ミラーの向きに応じて、パルスレーザの射出方向が変化する。パルスレーザの射出方向は、距離情報生成部３３によって制御されてもよい。射出方向が制御されたパルスレーザによって、第２視野が走査される。レーザの波長は、任意に定められてもよい。例えば、レーザの波長は、赤外帯域に含まれてもよい。送光部３１は、周期的に第２視野を走査してもよい。
【００３３】
受光部３２は、１つ以上のレンズおよび受光素子を含んでもよい。受光部３２は、第２視野に向けて射出されたパルスレーザの反射光または散乱光を受光する。具体的には、送光部３１から射出されたパルスレーザは、第２視野内の対象で反射しまたは散乱される。受光部３２は、射出されたパルスレーザの反射光または散乱光を、１つ以上のレンズによって集光する。受光部３２は、集光された光を、受光素子によって電荷に変換して蓄積する。受光部３２は、蓄積された電荷を出力する。
【００３４】
距離情報生成部３３は、１つ以上のプロセッサを含んでもよい。距離情報生成部３３は、受光部３２の出力に基づいて、第２視野の距離情報を生成する。上述したように、第２視野の距離情報は、第２視野を分割した複数の領域にそれぞれ相当する複数の第２画素を有する。第２視野を分割した複数の領域それぞれは、送光部３１によって射出されるパルスレーザの射出方向に対応する。距離情報生成部３３は、周期的に距離情報を生成してもよい。
【００３５】
記憶部３４は、１つ以上のメモリを含んでもよい。記憶部３４は、一次記憶装置または二次記憶装置として機能してもよい。記憶部３４は、測距装置３０の動作に用いられる任意の情報およびプログラムを記憶する。
【００３６】
通信部３５は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば情報処理装置４０を含む。通信部３５は、有線または無線を介する任意の通信方式に対応してもよい。
【００３７】
制御部３６は、１つ以上のプロセッサを含む。制御部３６は、撮像装置２０全体の動作を制御する。例えば、制御部３６は、距離情報生成部３３によって生成された距離情報を、通信部３５を介して情報処理装置４０へ出力する。制御部３６は、周期的に距離情報を出力してもよい。
【００３８】
図４を参照して、情報処理装置４０について説明する。情報処理装置４０は、通信部４１と、記憶部４２と、制御部４３と、を備える。
【００３９】
通信部４１は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば撮像装置２０および測距装置３０を含む。通信部４１は、有線または無線を介する任意の通信方式に対応してもよい。
【００４０】
記憶部４２は、１つ以上のメモリを含んでもよい。記憶部４２は、一次記憶装置または二次記憶装置として機能してもよい。記憶部４２は、情報処理装置４０の動作に用いられる任意の情報およびプログラムを記憶する。
【００４１】
制御部４３は、１つ以上のプロセッサを含む。制御部４３は、情報処理装置４０全体の動作を制御する。
【００４２】
例えば制御部４３は、撮像装置２０によって出力された撮像情報を、通信部４１を介して取得する。制御部４３は、撮像情報を用いる任意の処理を実行してもよい。例えば、制御部４３は、撮像装置２０の撮像情報生成部２３に替わって、上述した視点変換処理等を実行してもよい。
【００４３】
制御部４３は、撮像情報を用いて、例えば第２視野における視方向へ距離を算出する。撮像情報を用いる距離の算出には、任意のアルゴリズムが採用可能である。例えば、制御部４３は、ＤＦＦ（Depth from Focus）法、ＤＦＤ（Depth from Defocus）法、またはモーションステレオ法等によって、距離を算出してもよい。
【００４４】
制御部４３は、測距装置３０によって出力された距離情報を、通信部４１を介して取得する。
【００４５】
制御部４３は、取得された距離情報において、所定の条件を満たす１つ以上の第２画素を検出する。所定の条件は、第２画素に示される距離が不定であるとの条件を含むが、これに限られない。例えば、所定の条件は、第２画素に示される距離が異常値であるとの条件を含んでもよい。第２画素に示される距離が異常値であるか否かの判定には、任意のアルゴリズムが採用可能であってもよい。例えば、制御部４３は、ある第２画素に示される距離と、当該第２画素の周囲の他の第２画素に示される距離との差が所定の閾値以上である場合、当該第２画素に示される距離が不定であると判定してもよい。
【００４６】
制御部４３は、上述した所定の条件を満たす１つ以上の第２画素が検出されると、撮像情報に基づいて当該１つ以上の第２画素を補正する。具体的には、制御部４３は、例えば検出された第２画素毎に、第２画素に相当する第２視野の一部領域を特定する。制御部４３は、第２視野の当該一部領域における、撮像情報を用いて算出された距離に基づいて、当該第２画素を補正する。第２画素の補正には、任意のアルゴリズムが採用可能であってもよい。例えば、制御部４３は、第２視野の当該一部領域における、撮像情報を用いて算出された距離の平均値を示すように、第２画素を補正してもよい。制御部４３は、上述のように補正された距離情報を、通信部４１を介して出力してもよい。
【００４７】
図５を参照して、情報処理システム１０の動作について説明する。本動作は、例えば第１周期Ｔ１で繰り返し実行されてもよい。
【００４８】
ステップＳ１００：撮像装置２０は、第１視野の撮像情報を生成する。
【００４９】
ステップＳ１０１：撮像装置２０は、生成された撮像情報を情報処理装置４０へ出力する。
【００５０】
ステップＳ１０２：測距装置３０は、第２視野の距離情報を生成する。測距装置３０は、距離情報を、撮像装置２０と同期して生成してもよい。かかる場合、ステップＳ１０２は、ステップＳ１００と略同一のタイミングで実行され得る。
【００５１】
ステップＳ１０３：測距装置３０は、生成された距離情報を情報処理装置４０へ出力する。測距装置３０は、距離情報を、撮像装置２０と同期して出力してもよい。かかる場合、ステップＳ１０３は、ステップＳ１０１と略同一のタイミングで実行され得る。
【００５２】
ステップＳ１０４：情報処理装置４０は、撮像情報と、距離情報と、を取得する。
【００５３】
ステップＳ１０５：情報処理装置４０は、撮像情報を用いて、第２視野における視方向への距離を算出する。
【００５４】
ステップＳ１０６：情報処理装置４０は、距離情報において、所定の条件を満たす１つ以上の第２画素を検出する。
【００５５】
ステップＳ１０７：情報処理装置４０は、ステップＳ１０６で検出された１つ以上の第２画素に相当する第２視野の一部領域を特定する。
【００５６】
ステップＳ１０８：情報処理装置４０は、第２視野の当該一部領域における、撮像情報を用いて算出された距離に基づいて、当該１つ以上の第２画素を補正する。
【００５７】
ステップＳ１０９：情報処理装置４０は、補正された距離情報を出力する。
【００５８】
以上述べたように、一実施形態に係る情報処理装置４０は、距離情報および撮像情報を取得する。情報処理装置４０は、距離情報において所定の条件を満たす１つ以上の第２画素が検出されると、撮像情報に基づいて当該１つ以上の第２画素を補正する。かかる構成によれば、例えば撮像情報に基づいて距離情報が補正され得る。このため、距離情報の精度が向上し得る。したがって、対象までの距離を測定する技術の利便性が向上する。
【００５９】
本開示の実施形態について諸図面を参照して説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能である。例えば、複数の手段またはステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
【００６０】
例えば、上述した一実施形態に係る撮像装置２０、測距装置３０、および情報処理装置４０それぞれが、２つ以上の装置に分割されてもよい。撮像装置２０、測距装置３０、および情報処理装置４０のうち少なくとも２つが、１つの装置に統合されてもよい。
【００６１】
上述した一実施形態に係る情報処理装置４０として、例えば汎用のコンピュータ等、情報処理機能を有する任意の装置が採用可能である。例えば、実施形態に係る情報処理装置４０の各機能を実現する処理内容を記述したプログラムを、当該装置のメモリに格納し、当該装置のプロセッサに実行させる。したがって、本開示の実施形態はプログラムとしても実現可能である。
【符号の説明】
【００６２】
１０    情報処理システム
２０    撮像装置
２１    撮像光学系
２２    撮像素子
２３    撮像情報生成部
２４    記憶部
２５    通信部
２６    制御部
３０    測距装置
３１    送光部
３２    受光部
３３    距離情報生成部
３４    記憶部
３５    通信部
３６    制御部
４０    情報処理装置
４１    通信部
４２    記憶部
４３    制御部
【図１】
2019020142.tif 000003
【図２】
2019020142.tif 000004
【図３】
2019020142.tif 000005
【図４】
2019020142.tif 000006
【図５】
2019020142.tif 000007