(57)【要約】【課題】撮像情報を利用する技術の利便性を向上させる。【解決手段】情報処理装置３０は、通信部３１と、制御部３３と、を備える。通信部３１は、所定の視野の撮像情報および前記視野の距離情報を取得する。制御部は、撮像情報に含まれる複数の画素のうち一部の画素を距離情報に基づいて特定し、特定された一部の画素を除く撮像情報を用いて所定の処理を実行する。【選択図】図４
2019020139.tif 000002
【特許請求の範囲】
【請求項１】
所定の視野の撮像情報および前記視野の距離情報を取得する通信部と、
前記撮像情報に含まれる複数の画素のうち一部の画素を前記距離情報に基づいて特定し、特定された前記一部の画素を除く前記撮像情報を用いて所定の処理を実行する制御部と、
を備える、情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
前記制御部は、前記距離情報に基づいて距離が所定値以下である前記視野内の領域が検出されると、前記撮像情報において前記視野内の前記領域に相当する画素を前記一部の画素として特定する、情報処理装置。
【請求項３】
請求項１または２に記載の情報処理装置であって、
前記制御部は、前記距離情報に基づいて距離が所定値以下である前記視野内の領域が検出されると、異物が検出されたと判定する、情報処理装置。
【請求項４】
請求項３に記載の情報処理装置であって、
前記制御部は、前記異物が、前記撮像情報を生成する第１情報生成部と前記距離情報を生成する第２情報生成部とで共有される光学部材に付着した異物であると判定する、情報処理装置。
【請求項５】
請求項４に記載の情報処理装置であって、
前記光学部材は、筐体窓、レンズ、ミラー、フィルタ、カバー、およびガラスの少なくとも１つを含む、情報処理装置。
【請求項６】
請求項３から５のいずれか一項に記載の情報処理装置であって、
前記通信部は、前記視野の輝度情報を更に取得し、
前記制御部は、前記距離情報および前記輝度情報に基づいて前記異物を分類する、情報処理装置。
【請求項７】
請求項６に記載の情報処理装置であって、
前記距離情報に示される距離は、光源から電磁波が射出されてから前記電磁波の反射波または散乱波が検出されるまでの時間差に基づいて決定され、
前記輝度情報に示される輝度は、前記電磁波の前記反射波または前記散乱波の強度に基づいて決定される、情報処理装置。
【請求項８】
請求項７に記載の情報処理装置であって、
前記電磁波は、赤外光を含む、情報処理装置。
【請求項９】
請求項８に記載の情報処理装置であって、
前記電磁波は、近赤外光または遠赤外光を含む、情報処理装置。
【請求項１０】
情報処理装置に、
所定の視野の撮像情報および前記視野の距離情報を取得するステップと、
前記撮像情報に含まれる複数の画素のうち一部の画素を前記距離情報に基づいて特定するステップと、
特定された前記一部の画素を除く前記撮像情報を用いて所定の処理を実行するステップと、
を実行させる、プログラム。
【請求項１１】
所定の視野の撮像情報および前記視野の距離情報を生成する情報生成装置と、
前記撮像情報に含まれる複数の画素のうち一部の画素を前記距離情報に基づいて特定し、特定された前記一部の画素を除く前記撮像情報を用いて所定の処理を実行する情報処理装置と、
を備える、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
従来、カメラ等によって生成される撮像情報を利用する技術が知られている。例えば特許文献１には、２台のカメラによって撮像された一対の画像を利用して、対象物までの距離を算出するステレオカメラ装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１９１９０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、撮像情報を利用する技術の利便性の向上が望まれている。
【０００５】
本開示の目的は、撮像情報を利用する技術の利便性を向上させることにある。
【課題を解決するための手段】
【０００６】
本開示の一実施形態に係る情報処理装置は、通信部と、制御部と、を備える。前記通信部は、所定の視野の撮像情報および前記視野の距離情報を取得する。前記制御部は、前記撮像情報に含まれる複数の画素のうち一部の画素を前記距離情報に基づいて特定し、特定された前記一部の画素を除く前記撮像情報を用いて所定の処理を実行する。
【０００７】
本開示の一実施形態に係るプログラムは、情報処理装置に、所定の視野の撮像情報および前記視野の距離情報を取得するステップと、前記撮像情報に含まれる複数の画素のうち一部の画素を前記距離情報に基づいて特定するステップと、特定された前記一部の画素を除く前記撮像情報を用いて所定の処理を実行するステップと、を実行させる。
【０００８】
本開示の一実施形態に係る情報処理システムは、情報生成装置と、情報処理装置と、を備える。前記情報生成装置は、所定の視野の撮像情報および前記視野の距離情報を生成する。前記情報処理装置は、前記撮像情報に含まれる複数の画素のうち一部の画素を前記距離情報に基づいて特定し、特定された前記一部の画素を除く前記撮像情報を用いて所定の処理を実行する。
【発明の効果】
【０００９】
本開示の一実施形態によれば、撮像情報を利用する技術の利便性が向上する。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理システムの概略構成を示すブロック図である。
【図２】情報生成装置の視野を説明する図である。
【図３】情報生成装置の視野を説明する図である。
【図４】情報処理システムの動作を示すシーケンス図である。
【図５】異物検出処理および異物分類処理を実行する情報処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の実施形態について、図面を参照して説明する。
【００１２】
図１を参照して、本開示の一実施形態に係る情報処理システム１０について説明する。情報処理システム１０は、情報生成装置２０と、情報処理装置３０と、を備える。情報生成装置２０および情報処理装置３０は、互いに通信可能に接続される。情報処理システム１０は、例えば車両等の移動体に搭載されてもよい。
【００１３】
情報生成装置２０は、光学部材２１と、第１情報生成部２２と、第２情報生成部２３と、通信部２４と、記憶部２５と、制御部２６と、を備える。
【００１４】
光学部材２１は、例えば、電磁波を透過する筐体窓、レンズ、フィルタ、カバー、およびガラス、ならびに、電磁波を反射するミラーのうち、少なくとも１つを含んでもよい。光学部材２１は、第１情報生成部２２と第２情報生成部２３とで共有される。具体的には、光学部材２１を介して情報生成装置２０の内部に取り込まれる電磁波が、第１情報生成部２２および第２情報生成部２３それぞれによって利用される。
【００１５】
第１情報生成部２２は、例えばカメラを含んでもよい。具体的には、第１情報生成部２２は、撮像素子と、プロセッサと、を含んでもよい。
【００１６】
本開示において、「撮像素子」は、例えばＣＣＤ（Charge Coupled Device）撮像素子およびＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでもよい。「プロセッサ」は、汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでもよい。専用のプロセッサは、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）を含んでもよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）を含んでもよい。ＰＬＤは、ＦＰＧＡ（Field-Programmable Gate Array）を含んでもよい。
【００１７】
第１情報生成部２２は、光学部材２１を介して情報生成装置２０の内部に取り込まれた光を用いて、第１視野の撮像情報を生成する。
【００１８】
本開示において、「視野」は、例えば視点から視方向に離れた任意の仮想平面上の、当該視点から見える領域を含んでもよい。例えば図２において、第１情報生成部２２の光軸２２０に略垂直または垂直な仮想平面Ｐ上の、第１情報生成部２２の画角に含まれる領域が、第１視野２２１である。
【００１９】
第１視野２２１の撮像情報は、第１視野２２１が分割された複数の領域にそれぞれ相当する複数の第１画素を有してもよい。第１画素は、例えばＲＧＢの色を示してもよい。具体的には、第１画素の画素値は、例えばＲＧＢの色信号強度を示してもよい。撮像情報は、例えば撮像画像を含んでもよい。第１情報生成部２２は、第１視野２２１の撮像情報を周期的に生成してもよい。
【００２０】
図１に示す第２情報生成部２３は、例えばレーザレーダを含んでもよい。レーザレーダは、ビーム状の電磁波を２次元的に走査する走査型レーザレーダ、および広範囲に照射された電磁波の反射波または拡散波を距離画像センサで受光するフラッシュ型レーザレーダを含んでもよい。具体的には、第２情報生成部２３は、光源と、受光素子と、プロセッサと、を含んでもよい。
【００２１】
本開示において、「光源」は、電磁波を出力可能な任意の装置を含んでもよい。例えば、光源は、ＬＥＤ（Light Emitting Diode）光源およびレーザ光源を含んでもよい。電磁波は、例えば赤外光および紫外光を含んでもよい。赤外光は、近赤外光および遠赤外光を含んでもよい。「受光素子」は、電磁波を検出可能な任意の装置を含んでもよい。例えば、受光素子は、フォトダイオードおよび距離画像センサを含んでもよい。
【００２２】
第２情報生成部２３は、光源によって出力された電磁波を、光学部材２１を介して情報生成装置２０の外部に射出する。第２情報生成部２３は、光学部材２１を介して情報生成装置２０の内部に取り込まれた、電磁波の反射波または散乱波を用いて、第２視野の距離情報を生成する。
【００２３】
第２視野の少なくとも一部が、第１視野２２１と重複してもよい。例えば図２において、仮想平面Ｐ上の、第２情報生成部２３の画角に含まれる領域が、第２視野２３１である。第１視野２２１および第２視野２３１が重複する仮想平面Ｐ上の領域が、重複領域４０である。光学部材２１の表面領域２１０は、第１情報生成部２２の画角および第２情報生成部２３の画角の両方に含まれる。第２情報生成部２３は、情報生成装置２０の内部において第１情報生成部２２の近傍に配置されてもよい。第２情報生成部２３の光軸２３０および第１情報生成部２２の光軸２２０が、略平行または平行であってもよい。
【００２４】
第２視野２３１の距離情報は、第２視野２３１が分割された複数の領域にそれぞれ相当する複数の第２画素を有してもよい。第２画素は、例えば視方向における視点からの距離を示してもよい。具体的には、第２画素の画素値は、例えば電磁波の射出から反射波もしくは散乱波の検出までの時間差、または電磁波と反射波もしくは散乱波との位相差を示してもよい。距離情報は、例えば複数の第２画素それぞれを距離に応じて色分けした距離画像を含んでもよい。情報生成装置２０は、第２視野２３１の距離情報を周期的に生成してもよい。
【００２５】
第２情報生成部２３は、第２視野２３１の輝度情報を生成してもよい。第２視野２３１の輝度情報は、第２視野２３１が分割された複数の領域にそれぞれ相当する複数の第３画素を有してもよい。第３画素は、電磁波の反射波または散乱波の輝度を示してもよい。具体的には、第３画素の画素値は、反射波または散乱波の強度を示してもよい。輝度情報は、例えば複数の第３画素それぞれを輝度に応じて色分けした輝度画像を含んでもよい。情報生成装置２０は、第２視野２３１の輝度情報を周期的に生成してもよい。
【００２６】
通信部２４は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば情報処理装置３０を含む。通信部２４は、有線または無線を介する任意の通信方式に対応してもよい。
【００２７】
記憶部２５は、１つ以上のメモリを含んでもよい。本開示において、「メモリ」は、例えば半導体メモリ、磁気メモリ、および光メモリ等を含んでもよい。記憶部２５は、一次記憶装置または二次記憶装置として機能してもよい。記憶部２５は、情報生成装置２０の動作に用いられる任意の情報およびプログラムを記憶する。
【００２８】
制御部２６は、１つ以上のプロセッサを含む。制御部２６は、情報生成装置２０全体の動作を制御する。
【００２９】
例えば、制御部２６は、撮像情報を用いる任意の処理を実行してもよい。当該処理は、例えば撮像情報に対する視点変換処理を含んでもよい。視点変換処理によって、第１情報生成部２２の視点位置および光軸２２０が、それぞれ第２情報生成部２３の視点位置および光軸２３０に仮想的に略一致しまたは完全一致し得る。視点変換処理には、任意のアルゴリズムが採用可能である。撮像情報を用いる処理は、視点変換処理に限られず、任意の処理を含んでもよい。例えば、当該処理は、ホワイトバランス処理、色調整処理、ゲイン調整処理、および輝度調整処理等を含んでもよい。
【００３０】
制御部２６は、撮像情報、距離情報、および輝度情報を、例えば周期的に、通信部２４を介して情報処理装置３０へ出力してもよい。
【００３１】
図４を参照して、情報処理装置３０について説明する。情報処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。
【００３２】
通信部３１は、外部装置と通信可能な任意の通信インタフェースを含む。外部装置は、例えば情報生成装置２０を含む。通信部３１は、有線または無線を介する任意の通信方式に対応してもよい。
【００３３】
記憶部３２は、１つ以上のメモリを含んでもよい。記憶部３２は、一次記憶装置または二次記憶装置として機能してもよい。記憶部３２は、情報処理装置３０の動作に用いられる任意の情報およびプログラムを記憶する。
【００３４】
制御部３３は、１つ以上のプロセッサを含む。制御部３３は、情報処理装置３０全体の動作を制御する。
【００３５】
例えば、制御部３３は、情報生成装置２０によって出力された撮像情報、距離情報、および輝度情報を、通信部３１を介して取得する。制御部３３は、撮像情報を用いる任意の処理を実行してもよい。例えば、制御部３３は、情報生成装置２０の制御部２６に替わって、上述した視点変換処理等を実行してもよい。
【００３６】
制御部３３は、距離情報に基づいて異物検出処理を実行する。異物検出処理によって、例えば図２に示す光学部材２１の表面領域２１０上に付着した異物が検出され得る。
【００３７】
具体的には、光学部材２１に異物が付着している場合、情報生成装置２０の第２情報生成部２３から射出された電磁波は、当該異物で反射または散乱され得る。したがって、距離情報において、当該異物に相当する第２視野２３１上の領域の距離は、例えばゼロとなり得る。
【００３８】
制御部３３は、距離情報において、距離が所定値以下である視野内の特定領域が検出されたか否かを判定する。所定値は、例えばゼロであってもよい。距離が所定値以下である視野内の特定領域が検出されたと判定された場合、制御部３３は、光学部材２１の表面領域２１０上に異物が検出されたと判定する。例えば図３において、検出された特定領域４１の例が図示されている。一方、距離が所定値以下である視野内の特定領域４１が検出されないと判定された場合、制御部３３は、光学部材２１の表面領域２１０上に異物が検出されないと判定する。
【００３９】
上述した異物検出処理によって異物が検出されたと判定されると、制御部３３は、距離情報および輝度情報に基づいて、異物分類処理を実行してもよい。異物分類処理によって、検出された異物が、例えば水、泥水、および泥の何れかに分類され得る。
【００４０】
具体的には、水による反射波または散乱波の強度は、射出された電磁波の強度から比較的大きく減衰し得る。泥水による反射波または散乱波の強度は、射出された電磁波の強度から減衰し得る。泥による反射波または散乱波の強度は、射出された電磁波の強度から殆ど減衰しない。このように、異物に含まれる水の割合に応じて、異物による反射波または散乱波の強度を減衰度合いが異なる。
【００４１】
制御部３３は、上述の異物検出処理によって検出された、距離が所定値以下である視野内の特定領域４１の輝度が、第１基準値未満であるか否かを判定する。特定領域４１の輝度が第１基準値未満である場合、制御部３３は、異物を水に分類する。一方、特定領域４１の輝度が第１基準値以上である場合、制御部３３は、特定領域４１の輝度が第１基準値よりも大きい第２基準値未満であるか否かを判定する。特定領域４１の輝度が第２基準値未満である場合、制御部３３は、異物を泥水に分類する。一方、特定領域４１の輝度が第２基準値以上である場合、制御部３３は、異物を泥に分類する。第１基準値および第２基準値は、実験またはシミュレーションに基づいて予め定められてもよい。制御部３３は、異物検出処理および異物分類処理の実行結果を、通信部３１を介して出力してもよい。
【００４２】
制御部３３は、撮像情報に含まれる一部の第１画素を、距離情報に基づいて特定する。具体的には、制御部３３は、撮像情報に含まれる複数の第１画素のうち、上述の異物検出処理によって検出された、距離が所定値以下である視野内の特定領域４１に相当する第１画素を特定する。
【００４３】
制御部３３は、特定された第１画素を除く撮像情報を用いて、所定の処理を実行する。当該処理は、例えば画像認識処理を含んでもよい。画像認識処理によって、例えば人および車両等の対象が認識され得る。画像認識処理御には、任意のアルゴリズムが採用可能である。制御部３３は、当該処理の実行結果を、通信部３１を介して出力してもよい。
【００４４】
図４を参照して、情報処理システム１０の動作について説明する。本動作は、例えば周期的に繰り返し実行されてもよい。
【００４５】
ステップＳ１００：情報生成装置２０は、第１視野２２１の撮像情報、第２視野２３１の距離情報、および第２視野２３１の輝度情報を生成する。
【００４６】
ステップＳ１０１：情報生成装置２０は、生成された撮像情報、距離情報、および輝度情報を情報処理装置３０へ出力する。
【００４７】
ステップＳ１０２：情報処理装置３０は、撮像情報、距離情報、および輝度情報を取得する。
【００４８】
ステップＳ１０３：情報処理装置３０は、距離情報に基づいて異物検出処理を実行する。異物検出処理によって、異物が検出されたか否かが判定される。異物検出処理を実行する情報処理装置３０の動作については後述する。
【００４９】
ステップＳ１０４：情報処理装置３０は、距離情報および輝度情報に基づいて異物分類処理を実行する。異物分類処理によって、検出された異物が分類される。異物分類処理を実行する情報処理装置３０の動作については後述する。
【００５０】
ステップＳ１０５：情報処理装置３０は、撮像情報に含まれる一部の第１画素を、距離情報に基づいて特定する。
【００５１】
ステップＳ１０６：情報処理装置３０は、特定された第１画素を除く撮像情報を用いて、所定の処理を実行する。
【００５２】
図５を参照して、上述した異物検出処理および異物分類処理を実行する情報処理装置３０の動作について説明する。
【００５３】
ステップＳ２００：制御部３３は、距離情報において、距離が所定値以下である視野内の特定領域４１が検出されたか否かを判定する。特定領域４１が検出されたと判定された場合（ステップＳ２００−Ｙｅｓ）、プロセスはステップＳ２０２に進む。一方、特定領域４１が検出されないと判定された場合（ステップＳ２００−Ｎｏ）、プロセスはステップＳ２０１に進む。
【００５４】
ステップＳ２０１：制御部３３は、光学部材２１の表面領域２１０上に異物が検出されないと判定する。
【００５５】
ステップＳ２０２：制御部３３は、光学部材２１の表面領域２１０上に異物が検出されたと判定する。
【００５６】
ステップＳ２０３：制御部３３は、ステップＳ２００で検出された特定領域４１の輝度が、第１基準値未満であるか否かを判定する。輝度が第１基準値未満であると判定された場合（ステップＳ２０３−Ｙｅｓ）、プロセスはステップＳ２０４に進む。一方、輝度が第１基準値以上であると判定された場合（ステップＳ２０３−Ｎｏ）、プロセスはステップＳ２０５に進む。
【００５７】
ステップＳ２０４：制御部３３は、ステップＳ２０２で検出された異物を水に分類する。
【００５８】
ステップＳ２０５：制御部３３は、ステップＳ２００で検出された特定領域４１の輝度が、第１基準値よりも大きい第２基準値未満であるか否かを判定する。輝度が第２基準値未満であると判定された場合（ステップＳ２０５−Ｙｅｓ）、プロセスはステップＳ２０６に進む。一方、輝度が第２基準値以上であると判定された場合（ステップＳ２０５−Ｎｏ）、プロセスはステップＳ２０７に進む。
【００５９】
ステップＳ２０６：制御部３３は、ステップＳ２０２で検出された異物を泥水に分類する。
【００６０】
ステップＳ２０７：制御部３３は、ステップＳ２０２で検出された異物を泥に分類する。
【００６１】
上記のステップＳ２００〜Ｓ２０２は、異物検出処理に相当する。ステップＳ２０３〜Ｓ２０７が、異物分類処理に相当する。
【００６２】
以上述べたように、一実施形態に係る情報処理装置３０は、所定の視野の撮像情報および距離情報を取得する。情報処理装置３０は、撮像情報に含まれる複数の第１画素のうち一部の第１画素を、距離情報に基づいて特定する。情報処理装置３０は、特定された第１画素を除く撮像情報を用いて所定の処理を実行する。かかる構成によれば、距離情報に基づいて、例えば当該処理にとって適切でない第１画素が排除され得る。このため、撮像情報を用いる当該処理の実行結果の精度が向上し得る。したがって、撮像情報を利用する技術の利便性が向上する。
【００６３】
例えば、光学部材２１の表面領域２１０上に異物が付着している場合、撮像情報において当該異物に相当する第１画素は、上述した処理において必ずしも適切ではない。一方、距離情報において当該異物に相当する第２画素は、極端に短い距離を示す蓋然性が高い。情報処理装置３０は、距離情報に基づいて距離が所定値以下である視野内の特定領域４１が検出されると、撮像情報において特定領域４１に相当する第１画素を上述した一部の第１画素として特定してもよい。かかる構成によれば、当該異物に相当する第１画素が、上述の処理において排除され得る。このため、撮像情報を用いる当該処理の実行結果の精度が向上し得る。したがって、撮像情報を利用する技術の利便性が向上する。
【００６４】
本開示の実施形態について諸図面を参照して説明してきたが、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。したがって、これらの変形または修正は本開示の範囲に含まれることに留意されたい。例えば、各手段、または各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能である。例えば、複数の手段またはステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。
【００６５】
例えば、上述した一実施形態に係る情報生成装置２０および情報処理装置３０それぞれが、２つ以上の装置に分割されてもよい。情報生成装置２０および情報処理装置３０が、１つの装置に統合されてもよい。
【００６６】
上述した実施形態において、異物分類処理によって、異物が水、泥水、または泥の３つの項目に分類される例について説明した。しかしながら、分類される項目の内容および項目数は、上述した例に限られない。例えば、任意の第１物質と、第１物質と比較して電磁波の強度を減衰させる任意の第２物質と、の組み合わせに基づいて、分類される項目の内容および項目数が任意に定められてもよい。
【００６７】
上述した一実施形態に係る情報処理装置３０として、例えば汎用のコンピュータ等、情報処理機能を有する任意の装置が採用可能である。例えば、実施形態に係る情報処理装置３０の各機能を実現する処理内容を記述したプログラムを、当該装置のメモリに格納し、当該装置のプロセッサに実行させる。したがって、本開示の実施形態はプログラムとしても実現可能である。
【符号の説明】
【００６８】
１０    情報処理システム
２０    情報生成装置
２１    光学部材
２１０    表面領域
２２    第１情報生成部
２２０    光軸
２２１    第１視野
２３    第２情報生成部
２３０    光軸
２３１    第２視野
２４    通信部
２５    記憶部
２６    制御部
３０    情報処理装置
３１    通信部
３２    記憶部
３３    制御部
４０    重複領域
４１    特定領域
【図１】
2019020139.tif 000003
【図２】
2019020139.tif 000004
【図３】
2019020139.tif 000005
【図４】
2019020139.tif 000006
【図５】
2019020139.tif 000007