(57)【要約】【課題】空間分解能が異なる２つの情報を組み合わせる技術の利便性を向上させる。【解決手段】情報処理装置４０は、通信部４１と、制御部４３と、を備える。制御部４３は、第１視野における情報であって複数の第１画素を有する第１情報、および第１視野と少なくとも一部が重複する第２視野における情報であって、複数の第２画素を有し第１情報よりも空間分解能が低い第２情報を、通信部４１を介して取得し、第１視野および第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し第１領域を包含する第２領域から除いた第３領域を決定し、第３領域を第２情報における少なくとも１つの新たな画素とする。【選択図】図１
2019008609.tif 000002
【特許請求の範囲】
【請求項１】
通信部と、制御部と、を備え、
前記制御部は、
第１視野における情報であって複数の第１画素を有する第１情報、および前記第１視野と少なくとも一部が重複する第２視野における情報であって、複数の第２画素を有し前記第１情報よりも空間分解能が低い第２情報を、前記通信部を介して取得し、
前記第１視野および前記第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し前記第１領域を包含する第２領域から除いた第３領域を決定し、
前記第３領域を前記第２情報における少なくとも１つの新たな画素とする、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記複数の第１画素の画素値は、前記第１視野における色情報またはエッジ情報を示す、情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記複数の第２画素の画素値は、前記第２視野における距離情報または輝度情報を示す、情報処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の情報処理装置であって、
前記第１情報は、前記第１視野における撮像画像または前記撮像画像に対してエッジ検出処理が施されたエッジ画像を含み、
前記第２情報は、前記第２視野における距離画像または輝度画像を含む、情報処理装置。
【請求項５】
請求項１から４のいずれか一項に記載の情報処理装置であって、
前記制御部は、前記第２情報における前記新たな画素の画素値を、前記第２領域に隣接する少なくとも１つの第２画素の画素値に基づいて決定する、情報処理装置。
【請求項６】
請求項１から４のいずれか一項に記載の情報処理装置であって、
前記制御部は、前記第２情報における前記新たな画素の画素値を、前記新たな画素に隣接し且つ前記第２領域に含まれない少なくとも１つの第２画素の画素値に基づいて決定する、情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記制御部は、前記第２情報における前記新たな画素の画素値を、前記新たな画素に隣接し且つ前記第２領域に含まれないいずれか１つの第２画素の画素値に決定する、情報処理装置。
【請求項８】
請求項１から７のいずれか一項に記載の情報処理装置であって、
前記制御部は、前記第３領域が分割または等分された複数の分割領域を、それぞれ前記第２情報における複数の新たな画素とする、情報処理装置。
【請求項９】
請求項７または８に記載の情報処理装置であって、
前記制御部は、それぞれ少なくとも１つの第２画素に隣接するように前記第３領域が分割された複数の分割領域を、それぞれ前記第２情報における複数の新たな画素とする、情報処理装置。
【請求項１０】
前記第１情報を生成する第１装置と、
前記第２情報を生成する第２装置と、
請求項１から９のいずれか一項に記載の情報処理装置と、を備え、
前記制御部は、前記第１情報を前記第１装置から取得し、前記第２情報を前記第２装置から取得する、情報処理システム。
【請求項１１】
プログラムであって、情報処理装置に、
第１視野における情報であって複数の第１画素を有する第１情報、および前記第１視野と少なくとも一部が重複する第２視野における情報であって、複数の第２画素を有し前記第１情報よりも空間分解能が低い第２情報を取得するステップと、
前記第１視野および前記第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し前記第１領域を包含する第２領域から除いた第３領域を決定するステップと、
前記第３領域を前記第２情報における少なくとも１つの新たな画素とするステップと、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
従来、カメラ等の撮像装置による撮像画像情報と、レーザレーダ等の測距装置による距離情報と、を組み合わせる技術が知られている。例えば特許文献１には、測距センサの測距結果と、画像センサの撮影画像とに基づいて、自車前方の先行車を認識する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０９０９７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般的に、測距装置が生成する情報の空間分解能は、撮像装置が生成する情報の空間分解能よりも低い。従来、空間分解能が異なる２つの情報を組み合わせる技術の利便性の向上が望まれている。
【０００５】
本開示の目的は、空間分解能が異なる２つの情報を組み合わせる技術の利便性を向上させることにある。
【課題を解決するための手段】
【０００６】
本開示の一実施形態に係る情報処理装置は、通信部と、制御部と、を備える。前記制御部は、第１視野における情報であって複数の第１画素を有する第１情報、および前記第１視野と少なくとも一部が重複する第２視野における情報であって、複数の第２画素を有し前記第１情報よりも空間分解能が低い第２情報を、前記通信部を介して取得し、前記第１視野および前記第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し前記第１領域を包含する第２領域から除いた第３領域を決定し、前記第３領域を前記第２情報における少なくとも１つの新たな画素とする。
【０００７】
本開示の一実施形態に係るプログラムは、情報処理装置に、第１視野における情報であって複数の第１画素を有する第１情報、および前記第１視野と少なくとも一部が重複する第２視野における情報であって、複数の第２画素を有し前記第１情報よりも空間分解能が低い第２情報を取得するステップと、前記第１視野および前記第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し前記第１領域を包含する第２領域から除いた第３領域を決定するステップと、前記第３領域を前記第２情報における少なくとも１つの新たな画素とするステップと、を実行させる。
【０００８】
本開示の一実施形態に係る情報処理システムは、第１装置と、第２装置と、情報処理装置と、を備える。前記第１装置は、第１視野における情報であって複数の第１画素を有する第１情報を生成する。前記第２装置は、前記第１視野と少なくとも一部が重複する第２視野における情報であって、複数の第２画素を有し前記第１情報よりも空間分解能が低い第２情報を生成する。前記情報処理装置は、前記第１情報および前記第２情報を取得し、前記第１視野および前記第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し前記第１領域を包含する第２領域から除いた第３領域を決定し、前記第３領域を前記第２情報における少なくとも１つの新たな画素とする。
【発明の効果】
【０００９】
本開示の一実施形態によれば、空間分解能が異なる２つの情報を組み合わせる技術の利便性が向上する。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理システムの概略構成を示すブロック図である。
【図２】図１に示す撮像装置の概略構成を示すブロック図である。
【図３】図１に示す測距装置の概略構成を示すブロック図である。
【図４】図１に示す情報処理装置の概略構成を示すブロック図である。
【図５】第１視野および第２視野の重複部分における第１領域、第２領域、及び第３領域の例を示す図である。
【図６】図５の第３領域が等分された例を示す図である。
【図７】図５の第３領域が分割された例を示す図である。
【図８】図１に示す情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の実施形態について、図面を参照して説明する。
【００１２】
本開示の一実施形態に係る情報処理システムの概要について説明する。情報処理システムは、例えば第１装置と、第２装置と、第３装置と、を備える。
【００１３】
第１装置は、第１視野における第１情報を生成可能な任意の装置を含む。第１視野における第１情報は、第１視野内の対象を第１空間分解能で測定した情報である。例えば、第１視野における第１情報は、第１視野を分割した複数の領域にそれぞれ相当する複数の第１画素を、１単位として有してもよい。１単位の第１情報に含まれる第１画素の数が多いほど、第１情報の空間分解能が高い。
【００１４】
本開示において、対象の「測定」は、例えば対象の撮像、および対象までの測距等を含んでもよい。「空間分解能」は、例えば解像度を含んでもよい。「視野」は、例えば視点の視方向に離れた任意の仮想平面上の、当該視点から見える範囲に相当する領域を含んでもよい。
【００１５】
第２装置は、第２視野における第２情報を生成可能な任意の装置を含む。第２視野の少なくとも一部は、第１視野と重複する。第２視野における第２情報は、第２視野内の対象を、第１空間分解能よりも低い第２空間分解能で測定した情報である。例えば、第２視野における第２情報は、第２視野を分割した複数の領域にそれぞれ相当する複数の第２画素を、１単位として有してもよい。１単位の第２情報に含まれる第２画素の数が多いほど、第２情報の空間分解能が高い。
【００１６】
第３装置は、空間分解能がより高い第１情報を用いて、第２情報の空間分解能を向上させる。したがって、空間分解能が異なる２つの情報を組み合わせる技術の利便性が向上する。
【００１７】
図１を参照して、本開示の一実施形態に係る情報処理システム１０について具体的に説明する。情報処理システム１０は、撮像装置２０と、測距装置３０と、情報処理装置４０と、を備える。撮像装置２０は、上述した第１装置に相当する。撮像装置２０は、例えばカメラ装置を含んでもよいが、これに限られない。測距装置３０は、上述した第２装置に相当する。測距装置３０は、例えばレーザレーダ装置を含んでもよいが、これに限られない。情報処理装置４０は、上述した第３装置に相当する。撮像装置２０および測距装置３０は、互いに通信可能に接続されてもよい。かかる場合、撮像装置２０および測距装置３０は、第１情報および第２情報の生成タイミングを同期させてもよい。情報処理装置４０は、撮像装置２０および測距装置３０それぞれと通信可能に接続される。情報処理システム１０は、例えば車両等の移動体に搭載されてもよい。
【００１８】
情報処理システム１０の各構成要素について詳細に説明する。
【００１９】
図２を参照して、撮像装置２０について詳細に説明する。撮像装置２０は、撮像光学系２１と、撮像素子２２と、第１情報生成部２３と、記憶部２４と、通信部２５と、制御部２６と、を備える。
【００２０】
撮像光学系２１は、例えば、絞りおよび１つ以上のレンズを含んでもよい。撮像光学系２１は、第１視野における対象の像を結像可能である。
【００２１】
撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでもよい。撮像素子２２は、複数の画素が２次元配列された受光面を有する。撮像素子２２は、撮像光学系２１を介して受光面に照射された光を電荷に変換して蓄積する。撮像素子２２は、蓄積された電荷を出力する。撮像素子２２は、複数の画素の電荷を第１周期Ｔ１で出力してもよい。
【００２２】
第１情報生成部２３は、１つ以上のプロセッサを含んでもよい。本開示において、「プロセッサ」は、汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでもよい。専用のプロセッサは、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでもよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでもよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでもよい。
【００２３】
第１情報生成部２３は、撮像素子２２の出力に基づいて、第１視野における撮像画像を生成する。第１視野における撮像画像は、第１視野を分割した複数の領域にそれぞれ相当する複数の第１画素を有する。撮像画像が有する複数の第１画素の画素値は、第１視野における色情報を示してもよい。色情報は、例えばＲＧＢそれぞれの色信号強度で示されてもよい。
【００２４】
第１情報生成部２３は、撮像画像に対して任意の画像処理を施してもよい。画像処理は、例えばエッジ検出処理および視点変換処理等を含んでもよい。
【００２５】
エッジ検出処理によって、撮像画像上のエッジが検出され得る。エッジ検出処理には、任意のアルゴリズムが採用可能である。以下、エッジ検出処理が施された撮像画像を、エッジ画像ともいう。エッジ画像が有する複数の第１画素の画素値は、第１視野におけるエッジ情報を示してもよい。エッジ情報は、エッジ検出処理によって撮像画像上で検出されたエッジを示す。具体的には、エッジ検出処理によって、複数の第１画素の画素値が「０」または「１」に二値化され得る。例えば、画素値が「１」である１つ以上の第１画素が、エッジに相当する。
【００２６】
視点変換処理によって、撮像装置２０の光軸が測距装置３０の光軸に略一致または完全一致し得る。具体的には、視点変換処理によって、撮像装置２０の視点位置および視方向が、測距装置３０の視点位置および視方向にそれぞれ略一致または完全一致し得る。視点変換処理には、任意のアルゴリズムが採用可能である。
【００２７】
第１情報生成部２３が実行する画像処理は、上述したエッジ検出処理および視点変換処理に限られず、任意の処理を含んでもよい。例えば、画像処理は、ホワイトバランス処理、色調整処理、ゲイン調整処理、および輝度調整処理等を含んでもよい。
【００２８】
第１情報生成部２３は、第１周期Ｔ１で撮像画像またはエッジ画像を生成してもよい。各周期に生成される撮像画像またはエッジ画像は、上述した１単位の第１情報に相当する。
【００２９】
記憶部２４は、１つ以上のメモリを含んでもよい。メモリは、例えば半導体メモリ、磁気メモリ、および光メモリ等を含んでもよい。記憶部２４は、一次記憶装置または二次記憶装置として機能してもよい。記憶部２４は、撮像装置２０の動作に用いられる任意の情報およびプログラムを記憶する。
【００３０】
通信部２５は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば情報処理装置４０を含む。通信部２５は、有線または無線を介する任意の通信方式に対応してもよい。
【００３１】
制御部２６は、１つ以上のプロセッサを含む。制御部２６は、撮像装置２０全体の動作を制御する。例えば、制御部２６は、第１情報生成部２３によって生成された第１情報を、通信部２５を介して情報処理装置４０へ出力する。制御部２６は、第１周期Ｔ１で第１情報を出力してもよい。
【００３２】
図３を参照して、測距装置３０について詳細に説明する。測距装置３０は、送光部３１と、受光部３２と、第２情報生成部３３と、記憶部３４と、通信部３５と、制御部３６と、を備える。
【００３３】
送光部３１は、光源と、可動式の走査ミラーと、を含んでもよい。送光部３１は、光源から発せられるパルスレーザを走査ミラーで反射させることによって、第２視野を２次元的に走査可能である。具体的には、光源から発せられるパルスレーザが、走査ミラーで反射して、測距装置３０の外部に射出される。走査ミラーの向きに応じて、パルスレーザの射出方向が変化する。パルスレーザの射出方向は、後述するように第２情報生成部３３によって制御される。射出方向が制御されたパルスレーザによって、第２視野が走査される。レーザの波長は、任意に定められてもよい。例えば、レーザの波長は、赤外帯域に含まれてもよい。送光部３１は、第２周期Ｔ２で第２視野を走査してもよい。
【００３４】
受光部３２は、１つ以上のレンズおよび受光素子を含んでもよい。受光部３２は、第２視野に向けて出射されたパルスレーザの反射光または散乱光を受光する。具体的には、送光部３１から射出されたパルスレーザは、第２視野内の対象で反射しまたは散乱される。受光部３２は、射出されたパルスレーザの反射光または散乱光を、１つ以上のレンズによって集光する。受光部３２は、集光された光を、受光素子によって電荷に変換して蓄積する。受光部３２は、蓄積された電荷を出力する。
【００３５】
第２情報生成部３３は、１つ以上のプロセッサを含んでもよい。第２情報生成部３３は、受光部３２の出力に基づいて、第２視野における距離画像または輝度画像を生成する。第２視野における距離画像または輝度画像は、第２視野を分割した複数の領域にそれぞれ相当する複数の第２画素を有する。第２視野を分割した複数の領域それぞれは、送光部３１によって射出されるパルスレーザの射出方向に対応する。距離画像が有する複数の第２画素の画素値は、第２視野における距離情報を示してもよい。距離情報は、送光部３１によってパルスレーザが出射されてから受光部３２によって反射光または散乱光が受光されるまでの時間差で示されてもよい。輝度画像が有する複数の第２画素の画素値は、第２視野における輝度情報を示してもよい。輝度情報は、受光部３２によって受光された反射光または散乱光の強度で示されてもよい。
【００３６】
第２情報生成部３３は、第２周期Ｔ２で距離画像または輝度画像を生成してもよい。各周期に生成される距離画像または輝度画像は、上述した１単位の第２情報に相当する。
【００３７】
第２情報生成部３３によって生成される距離画像または輝度画像の空間分解能は、上述した撮像装置２０の第１情報生成部２３によって生成される撮像画像またはエッジ画像の空間分解能よりも低い。
【００３８】
記憶部３４は、１つ以上のメモリを含んでもよい。メモリは、例えば半導体メモリ、磁気メモリ、および光メモリ等を含んでもよい。記憶部３４は、一次記憶装置または二次記憶装置として機能してもよい。記憶部３４は、測距装置３０の動作に用いられる任意の情報およびプログラムを記憶する。
【００３９】
通信部３５は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば情報処理装置４０を含む。通信部３５は、有線または無線を介する任意の通信方式に対応してもよい。
【００４０】
制御部３６は、１つ以上のプロセッサを含む。制御部３６は、撮像装置２０全体の動作を制御する。例えば、制御部３６は、第２情報生成部３３によって生成された第１情報を、通信部３５を介して情報処理装置４０へ出力する。制御部３６は、第２周期Ｔ２で第２情報を出力してもよい。
【００４１】
図４を参照して、情報処理装置４０について説明する。情報処理装置４０は、通信部４１と、記憶部４２と、制御部４３と、を備える。
【００４２】
通信部４１は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば撮像装置２０および測距装置３０を含む。通信部４１は、有線または無線を介する任意の通信方式に対応してもよい。
【００４３】
記憶部４２は、１つ以上のメモリを含んでもよい。メモリは、例えば半導体メモリ、磁気メモリ、および光メモリ等を含んでもよい。記憶部４２は、一次記憶装置または二次記憶装置として機能してもよい。記憶部４２は、情報処理装置４０の動作に用いられる任意の情報およびプログラムを記憶する。
【００４４】
制御部４３は、１つ以上のプロセッサを含む。制御部４３は、情報処理装置４０全体の動作を制御する。
【００４５】
例えば制御部４３は、撮像装置２０によって出力された第１情報を、通信部４１を介して取得する。制御部４３は、第１情報に対して任意の処理を施してもよい。例えば、制御部４３は、撮像装置２０の第１情報生成部２３に替わって、上述したエッジ検出処理および視点変換処理等を実行してもよい。具体的には、制御部４３は、視点変換処理が施されていない撮像画像が第１情報として取得された場合、当該撮像画像に対して視点変換処理を施してもよい。制御部４３は、エッジ検出処理が施されていない撮像画像を第１情報として取得した場合、当該撮像画像に対してエッジ検出処理を施す。
【００４６】
制御部４３は、測距装置３０によって出力された第２情報を、通信部４１を介して取得する。
【００４７】
制御部４３は、第１視野および第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を、１つ以上の第２画素に相当し第１領域を包含する第２領域から除いた第３領域を決定する。以下、詳細に説明する。
【００４８】
図５は、第１視野および第２視野の重複部分における一部の領域を示す。当該領域は、４行×４列の１６個の第２画素に相当する。以下、図中の各第２画素を区別する場合、列（ａ列、ｂ列、ｃ列、ｄ列）および行（１行、２行、３行、４行）の組み合わせによる符号（ａ１〜ａ４、ｂ１〜ｂ４、ｃ１〜ｃ４、ｄ１〜ｄ４）を付して記載する。上述したように、第２情報は、第１情報よりも空間分解能が小さい。したがって、第２情報の１つの第２画素に相当する領域は、第１情報の１つの第１画素に相当する領域よりも小さい。
【００４９】
制御部４３は、第１視野および第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を決定する。具体的には、制御部４３は、第１情報においてエッジで取り囲まれた２つ以上の第１画素に相当する領域を、第１領域として決定してもよい。図５において、破線で取り囲まれた領域が第１領域５１である。
【００５０】
制御部４３は、第１視野および第２視野の重複部分において、１つ以上の第２画素に相当し第１領域を包含する第２領域を決定する。具体的には、制御部４３は、１つ以上の第２画素に相当する領域であって、第１領域を包含する最小面積の領域を、第２領域として決定してもよい。図５において、第１領域５１を包含する最小面積の領域は、４つの第２画素ｂ２、ｂ３、ｃ２、およびｃ４に相当する。この場合、制御部４３は、４つの第２画素ｂ２、ｂ３、ｃ２、およびｃ４に相当する領域を、第２領域５２として決定する。図５において、一点鎖線で取り囲まれた領域が第２領域５２である。
【００５１】
制御部４３は、第１視野および第２視野の重複部分において、第１領域を第２領域から除いた第３領域を決定する。具体的には、制御部４３は、第１領域の外側且つ第２領域の内側である領域を、第３領域として決定してもよい。図５において、第１領域５１を第２領域５２から除いた領域は、第２画素ｂ２に相当する領域の一部である。この場合、制御部４３は、第２画素ｂ２に相当する領域の当該一部を、第３領域５３として決定する。図５において、実線で取り囲まれた領域が第３領域５３である。
【００５２】
エッジで取り囲まれた第１領域５１は、１つの物体に相当する蓋然性が高い。したがって、第１領域５１とその外側の第３領域５３とで、実際には距離情報または輝度情報に差がある蓋然性が高い。例えば、第３領域５３における実際の距離情報または輝度情報は、第２領域５２の外側における距離情報または輝度情報に近い蓋然性が高い。
【００５３】
制御部４３は、第３領域を第２情報における少なくとも１つの新たな画素とする。具体的には、制御部４３は、第３領域に相当する１つの新たな画素を、第２情報において定義してもよい。あるいは、制御部４３は、第３領域を分割または等分した複数の分割領域にそれぞれ相当する複数の新たな画素を、第２情報において定義してもよい。第３領域を分割または等分する場合、制御部４３は、複数の分割領域それぞれが少なくとも１つの第２画素に隣接するように、第３領域を分割または等分してもよい。制御部４３は、新たな画素それぞれの画素値を決定する。
【００５４】
新たな画素の画素値の決定には、任意のアルゴリズムが採用可能である。以下、新たな画素の画素値を決定するアルゴリズムの２つの具体例について説明する。
【００５５】
第１具体例について説明する。制御部４３は、第２情報における新たな画素の画素値を、第２領域に隣接する少なくとも１つの第２画素の画素値に基づいて決定する。図５に示す第２領域５２には、１２個の第２画素ａ１〜ａ４、ｂ１、ｂ４、ｃ１、ｃ４、およびｄ１〜ｄ４が隣接している。
【００５６】
具体的には、制御部４３は、新たな画素の画素値を、第２領域に隣接するいずれか１つの第２画素の画素値に決定してもよい。制御部４３は、新たな画素の画素値を、第２領域に隣接する２つ以上の第２画素の画素値の平均値に決定してもよい。制御部４３は、新たな画素の画素値を、第２領域に隣接する全ての第２画素の画素値の平均値に決定してもよい。
【００５７】
第２具体例について説明する。制御部４３は、第２情報における新たな画素の画素値を、当該新たな画素に隣接し且つ第２領域に含まれない少なくとも１つの第２画素の画素値に基づいて決定する。具体的には、制御部４３は、少なくとも１つの新たな画素それぞれについて、当該新たな画素に相当する領域に隣接し且つ第２領域に含まれない少なくとも１つの第２画素を特定してもよい。制御部４３は、特定された少なくとも１つの第２画素の画素値に基づいて、当該新たな画素の画素値を決定する。
【００５８】
例えば図５に示すように、第３領域５３が１つの新たな画素に相当し得る。かかる場合、第３領域５３に隣接し且つ第２領域５２に含まれないのは、５つの第２画素ａ１〜ａ４、ｂ１、およびｃ１である。
【００５９】
例えば図６に示すように、第３領域５３が３つに等分された分割領域５３ａ、５３ｂ、および５３ｃが、それぞれ３つの新たな画素に相当し得る。かかる場合、分割領域５３ａに隣接し且つ第２領域５２に含まれないのは、３つの第２画素ａ１、ａ２、およびｂ１である。分割領域５３ｂに隣接し且つ第２領域５２に含まれないのは、２つの第２画素ｂ１およびｃ１である。分割領域５３ｃに隣接し且つ第２領域５２に含まれないのは、２つの第２画素ａ１およびａ２である。
【００６０】
例えば図７に示すように、第３領域５３が４つに分割された分割領域５３ｄ、５３ｅ、５３ｆ、および５３ｇが、それぞれ４つの新たな画素に相当し得る。かかる場合、分割領域５３ｄに隣接し且つ第２領域５２に含まれないのは、２つの第２画素ａ１およびｂ１である。分割領域５３ｅに隣接し且つ第２領域５２に含まれないのは、２つの第２画素ｂ１およびｃ１である。分割領域５３ｆに隣接し且つ第２領域５２に含まれないのは、２つの第２画素ａ１およびａ２である。分割領域５３ｇに隣接し且つ第２領域５２に含まれないのは、２つの第２画素ａ２およびａ３である。
【００６１】
例えば、制御部４３は、新たな画素の画素値を、当該新たな画素に隣接し且つ第２領域に含まれないいずれか１つの第２画素の画素値に決定してもよい。制御部４３は、新たな画素の画素値を、当該新たな画素に隣接し且つ第２領域に含まれない２つ以上の第２画素の画素値の平均値に決定してもよい。制御部４３は、新たな画素の画素値を、当該新たな画素に隣接し且つ第２領域に含まれない全ての第２画素の画素値の平均値に決定してもよい。
【００６２】
上述のように、少なくとも１つの新たな画素が追加されることによって、第２情報の空間分解能が向上する。制御部４３は、少なくとも１つの新たな画素を有する第２情報を、通信部４１を介して出力してもよい。
【００６３】
図８を参照して、情報処理装置４０の動作について説明する。本動作は、例えば第１情報および第２情報が撮像装置２０および測距装置３０からそれぞれ出力される度に実行されてもよい。
【００６４】
ステップＳ１００：制御部４３は、撮像装置２０によって出力された第１情報および測距装置３０によって出力された第２情報を、通信部４１を介して取得する。
【００６５】
ステップＳ１０１：制御部４３は、第１視野および第２視野の重複部分において、２つ以上の第１画素に相当する第１領域を決定する。
【００６６】
ステップＳ１０２：制御部４３は、第１視野および第２視野の重複部分において、１つ以上の第２画素に相当し第１領域を包含する第２領域を決定する。
【００６７】
ステップＳ１０３：制御部４３は、第１視野および第２視野の重複部分において、第１領域を第２領域から除いた第３領域を決定する。
【００６８】
ステップＳ１０４：制御部４３は、第３領域を第２情報における少なくとも１つの新たな画素とする。
【００６９】
ステップＳ１０５：制御部４３は、当該少なくとも１つの新たな画素を有する第２情報を、通信部４１を介して出力する。
【００７０】
以上述べたように、一実施形態に係る情報処理装置４０は、第１視野における第１情報および第２視野における第２情報を取得する。情報処理装置４０は、第１視野および第２視野の重複部分において、第１領域を第２領域から除いた第３領域を決定する。情報処理装置４０は、第３領域を第２情報における少なくとも１つの新たな画素とする。かかる構成によれば、当該少なくとも１つの新たな画素が第２情報に追加されるので、第２情報の空間分解能が向上する。したがって、空間分解能が異なる２つの情報を組み合わせる技術の利便性が向上する。
【００７１】
上述したように、第３領域における実際の距離情報または輝度情報は、第２領域の外側における距離情報または輝度情報に近い蓋然性が高い。このため、情報処理装置４０は、第２情報における新たな画素の画素値を、第２領域に隣接する少なくとも１つの第２画素の画素値に基づいて決定してもよい。かかる構成によれば、第３領域に相当する新たな画素の画素値が、第３領域における実際の距離情報または輝度情報に近づく蓋然性が高まる。このため、第２情報における新たな画素の画素値の精度が向上する。したがって、空間分解能が異なる２つの情報を組み合わせる技術の利便性が更に向上する。
【００７２】
情報処理装置４０は、第２情報における新たな画素の画素値を、当該新たな画素に隣接し且つ第２領域に含まれない少なくとも１つの第２画素の画素値に基づいて決定してもよい。かかる構成によれば、第３領域が分割または等分された各分割領域に相当する新たな画素の画素値が、当該分割領域における実際の距離情報または輝度情報に近づく蓋然性が高まる。このため、第２情報における新たな画素の画素値の精度が向上する。したがって、空間分解能が異なる２つの情報を組み合わせる技術の利便性が更に向上する。
【００７３】
本開示の実施形態について諸図面を参照して説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能である。例えば、複数の手段またはステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
【００７４】
例えば、上述した一実施形態に係る撮像装置２０、測距装置３０、および情報処理装置４０それぞれが、２つ以上の装置に分割されてもよい。例えば、撮像装置２０、測距装置３０、および情報処理装置４０が、１つの装置に統合されてもよい。
【００７５】
例えば、上述した一実施形態において、第１装置および第２装置として、撮像装置２０および測距装置３０が採用された構成について説明した。しかしながら、第１装置および第２装置は、撮像装置２０および測距装置３０に限られない。例えば、任意の視野内の対象の温度を任意の空間分解能で測定する熱画像計測装置が、第１装置または第２装置として採用されてもよい。
【００７６】
上述した一実施形態に係る情報処理装置４０として、例えば汎用のコンピュータ等、情報処理機能を有する任意の装置が採用可能である。例えば、実施形態に係る情報処理装置４０の各機能を実現する処理内容を記述したプログラムを、当該装置のメモリに格納し、当該装置のプロセッサに実行させる。したがって、本開示の実施形態はプログラムとしても実現可能である。
【符号の説明】
【００７７】
１０    情報処理システム
２０    撮像装置
２１    撮像光学系
２２    撮像素子
２３    第１情報生成部
２４    記憶部
２５    通信部
２６    制御部
３０    測距装置
３１    送光部
３２    受光部
３３    第２情報生成部
３４    記憶部
３５    通信部
３６    制御部
４０    情報処理装置
４１    通信部
４２    記憶部
４３    制御部
５１    第１領域
５２    第２領域
５３    第３領域
５３ａ〜５３ｇ    分割領域
【図１】
2019008609.tif 000003
【図２】
2019008609.tif 000004
【図３】
2019008609.tif 000005
【図４】
2019008609.tif 000006
【図５】
2019008609.tif 000007
【図６】
2019008609.tif 000008
【図７】
2019008609.tif 000009
【図８】
2019008609.tif 000010