(57)【要約】【課題】画像のデータを外部に出力するときに転送遅延を抑制することができる外界認識装置を提供する。【解決手段】ステレオカメラ１００（外界認識装置）は、撮像部１０１と、データ生成部１０４ａと、データ抽出部１０２２と、データ出力部１０５２と、を備える。撮像部１０１は、画像を撮像する。データ生成部１０４ａは、撮像部１０１によって撮像された画像から複数種類のデータを生成する。データ抽出部１０２２は、複数種類のデータからデータを抽出する。データ出力部１０５２は、データ抽出部１０２２によって抽出されたデータを外部へ出力する。【選択図】図３
2019185666.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部と、
前記撮像部によって撮像された前記画像から複数種類のデータを生成するデータ生成部と、
前記複数種類のデータからデータを抽出するデータ抽出部と、
前記データ抽出部によって抽出されたデータを外部へ出力するデータ出力部と、
備えることを特徴とする外界認識装置。
【請求項２】
請求項１に記載の外界認識装置であって、
外部からの要求を受け付ける要求受付部をさらに備え、
前記データ出力部は、
前記要求に応じてデータを出力する
ことを特徴とする外界認識装置。
【請求項３】
請求項２に記載の外界認識装置であって、
前記データ抽出部は、
前記要求に応じてデータを抽出する
ことを特徴とする外界認識装置。
【請求項４】
請求項３に記載の外界認識装置であって、
前記要求は、
画像上の位置を示す位置情報を含み、
前記データ抽出部は、
前記位置情報が示す画像上の位置のデータを抽出する
ことを特徴とする外界認識装置。
【請求項５】
請求項４に記載の外界認識装置であって、
前記要求は、
データの種類を示す種別ＩＤを含み、
前記データ抽出部は、
前記種別ＩＤが示す種類のデータを抽出する
ことを特徴とする外界認識装置。
【請求項６】
請求項４に記載の外界認識装置であって、
前記要求は、
解像度を含み、
前記データ出力部は、
前記データ抽出部によって抽出されたデータを前記解像度で外部へ出力する
ことを特徴とする外界認識装置。
【請求項７】
請求項４に記載の外界認識装置であって、
前記要求は、
出力頻度を含み、
前記データ出力部は、
前記データ抽出部によって抽出されたデータを前記出力頻度で外部へ出力する
ことを特徴とする外界認識装置。
【請求項８】
請求項５に記載の外界認識装置であって、
前記データ生成部は、
視差、又は視差に対応する距離を示す第１データを生成し、
前記第１データから立体物のデータを第２データとして抽出し、
前記第２データからグルーピングされた第３データを生成し、
前記データ抽出部は、
前記種別ＩＤが示す種類のデータを、前記画像のＲＡＷデータ、前記第１データ、前記第２データ、前記第３データから抽出する
ことを特徴とする外界認識装置。
【請求項９】
請求項１に記載の外界認識装置であって、
前記撮像部によって撮像された画像から物体を識別する物体識別部を備え、
前記データ抽出部は、
閾値以上の重要度が関連付けられた前記物体のデータを抽出する
ことを特徴とする外界認識装置。
【請求項１０】
請求項４に記載の外界認識装置を含むシステムであって、
電磁波又は音波を用いて物体の位置を検出するセンサと、
前記センサによって検出された前記物体の位置を画像上の位置に変換し、その位置の位置情報を含む前記要求を前記外界認識装置へ送信し、前記データ抽出部によって抽出されたデータを前記外界認識装置から受信し、受信したデータに基づいて車両を制御する制御装置と、を備える
ことを特徴とする外界認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外界認識装置に関する。
【背景技術】
【０００２】
カメラ画像による情報分析の信頼性を向上させることができる車両用画像処理装置が知られている（例えば、特許文献１参照）。
【０００３】
特許文献１には、「自車前方を撮像する撮像手段により撮像された画像の中で、前方車両または道路白線または標識を含む注目領域とそれ以外の非注目領域とを設定し、撮像手段により撮像された画像の中の注目領域と非注目領域における輝度情報を検出する。そして、注目領域と非注目領域の輝度情報に基づいて画像処理による自車前方の状況分析が困難な走行環境にあるか否かを判定する。」と記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2005-135308号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、ステレオカメラ等の外界認識装置の高画素化に伴い、画像の容量が大きくなってきている。そのため、画像のデータを外部へ出力するときに転送遅延が生じるおそれがある。特許文献１では、このような転送遅延は考慮されていない。
【０００６】
本発明の目的は、画像のデータを外部に出力するときに転送遅延を抑制することができる外界認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、画像を撮像する撮像部と、前記撮像部によって撮像された前記画像から複数種類のデータを生成するデータ生成部と、前記複数種類のデータからデータを抽出するデータ抽出部と、前記データ抽出部によって抽出されたデータを外部へ出力するデータ出力部と、備える。
【発明の効果】
【０００８】
本発明によれば、画像のデータを外部に出力するときに転送遅延を抑制することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態によるステレオカメラを含むシステムの構成図である。
【図２】本発明の実施形態によるステレオカメラの構成図である。
【図３】本発明の実施形態によるステレオカメラの機能を示すブロック図である。
【図４】通信インタフェースの例を示す図である。
【図５】本発明の実施形態によるステレオカメラの動作を示すフローチャートである。
【図６】変形例のステレオカメラの機能を示すブロック図である。
【図７】変形例のステレオカメラの動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を用いて、本発明の実施形態によるステレオカメラ（外界認識装置）の構成及び動作について説明する。なお、各図において、同一符号は同一部分を示す。
【００１１】
（実施形態）
初めに、図１を用いて、システムの構成を説明する。図１は、本発明の実施形態によるステレオカメラ１００を含むシステム１の構成図である。
【００１２】
システム１は、ステレオカメラ１００、自動運転ＥＣＵ２００（Electronic Control Unit）、ミリ波レーダ３００、ＬＩＤＡＲ４００（Light Detecting And Ranging）等を備える。
【００１３】
ステレオカメラ１００は、同一の対象物体を異なる複数の視点から撮像し、得られた画像における見え方のずれ（視差）から対象物体までの距離を算出する。ステレオカメラ１００は、一例として、イーサネット（登録商標）に準拠したＬＡＮ（Local Area Network）ケーブルで自動運転ＥＣＵ２００に接続される。ここで、イーサネットは、後述するＣＡＮ（Controller Area Network）よりも転送速度が速いため、大容量のデータを送信することに適している。
【００１４】
自動運転ＥＣＵ２００は、ミリ波レーダ３００、ＬＩＤＡＲ４００等のセンサによって検出される対象物体の距離、角度、相対速度等に基づいて、車両の自動運転を制御する。自動運転ＥＣＵ２００は、一例として、ＣＡＮに準拠した２線式バスでミリ波レーダ３００、ＬＩＤＡＲ４００等のセンサと接続される。
【００１５】
ミリ波レーダ３００は、ミリ波（電磁波）を用いて、対象物体の距離、角度、相対速度等を検出する。ＬＩＤＡＲ４００は、紫外線、可視光線、近赤外線等の光波（電磁波）を用いて、対象物体の距離、角度、相対速度等を検出する。
【００１６】
次に、図２を用いて、ステレオカメラ１００の構成を説明する。図２は、本発明の実施形態によるステレオカメラ１００の構成図である。
【００１７】
ステレオカメラ１００は、一例として、撮像部１０１、ＣＰＵ１０２（Central Processing Unit）、メモリ１０３、画像処理部１０４、通信回路１０５から構成される。
【００１８】
撮像部１０１は、左撮像部１０１Ｌ、右撮像部１０１Ｒから構成され、画像を撮像する。詳細には、左撮像部１０１Ｌと右撮像部１０１Ｒはそれぞれ、レンズ等の光学素子とＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子から構成される。光学素子は、光を屈折させて、撮像素子上に像を結ぶ。撮像素子は、光学素子により屈折した光の像を受光し、その光の強さに応じた画像を生成する。
【００１９】
ＣＰＵ１０２は、所定のプログラムを実行することで、後述する種々の機能を実現する。本実施形態では、ＣＰＵ１０２は、例えば、対象物体の種別（歩行者、車両等）に基づいて車両制御に関する指令を生成する。
【００２０】
メモリ１０３は、例えば、ＦＬＡＳＨ等の不揮発性メモリ、ＲＡＭ（Random Access Memory）等の揮発性メモリから構成され、種々の情報を記憶する。
【００２１】
画像処理部１０４は、ＦＰＧＡ（Field-Programmable Gate Array）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）等の回路で構成される。画像処理部１０４は、例えば、画像の補正、視差の算出等を行う。画像処理部１０４の機能の詳細は、図３を用いて後述する。
【００２２】
通信回路１０５は、一例として、イーサネットに準拠したトランシーバ等から構成される。通信回路１０５は、種々のデータを送信又は受信する。
【００２３】
次に、図３を用いて、ステレオカメラ１００の機能を説明する。図３は、本発明の実施形態によるステレオカメラ１００の機能を示すブロック図である。
【００２４】
左撮像部１０１Ｌは、対象物体の第１の画像を撮像する。右撮像部１０１Ｒは、対象物体の第２の画像を撮像する。撮像された第１の画像と第２の画像は、「生画像」（ＲＡＷデータ）として、例えば、メモリ１０３に一時的に記憶される。
【００２５】
画像処理部１０４は、画像補正部１０４１、視差算出部１０４２、立体物抽出部１０４３、立体グルーピング部１０４４、物体識別部１０４５を備える。なお、画像補正部１０４１、視差算出部１０４２、立体物抽出部１０４３、立体グルーピング部１０４４、物体識別部１０４５は、それぞれ別体に構成されていてもよい。
【００２６】
画像補正部１０４１は、左撮像部１０１Ｌによって撮像された第１の画像と右撮像部１０１Ｒによって撮像された第２の画像を補正する。具体的には、画像補正部１０４１は、例えば、第１の画像と第２の画像の歪みや光軸ずれを補正する。補正された第１の画像と第２の画像は、「補正画像」として、例えば、メモリ１０３に一時的に記憶される。
【００２７】
視差算出部１０４２は、ステレオマッチングを行うことで、画像補正部１０４１によって補正された第１の画像と第２の画像から視差を算出する。視差算出部１０４２は、三角測量により視差から対象物体までの距離を算出する。視差算出部１０４２は、画像上の位置と視差に対応する距離とを関連付けた視差画像を生成する。視差画像（第１データ）は、例えば、メモリ１０３に記憶される。
【００２８】
立体物抽出部１０４３は、視差算出部１０４２によって生成された視差画像から、同等の距離に位置する物体を１つの立体物として抽出する。抽出された立体物のデータである立体物生情報（第２データ）は、例えば、メモリ１０３に記憶される。
【００２９】
立体グルーピング部１０４４は、立体物抽出部１０４３によって抽出された立体物を、輝度、エッジ等に基づいてグルーピングする。グルーピングされた立体物のデータである立体物グルーピング後情報（第３データ）は、例えば、メモリ１０３に記憶される。
【００３０】
物体識別部１０４５は、立体グルーピング部１０４４によってグルーピングされた立体物から対象物体が何（歩行者、車両等）であるかを識別する。
【００３１】
ＣＰＵ１０２は、所定のプログラムを実行することで、車両制御部１０２１とデータ抽出部１０２２として機能する。車両制御部１０２１は、物体識別部１０４５によって識別された物体の種別に応じて車両を制御する指令を生成する。例えば、車両制御部１０２１は、歩行者が車両の進路上にいると判定した場合、車両を減速する指令を生成する。
【００３２】
データ抽出部１０２２は、後述する要求受付部１０５１によって受け付けられた自動運転ＥＣＵ２００からの要求に応じてメモリ１０３に記憶されたデータを抽出（選択）する。すなわち、データ抽出部１０２２は、複数種類のデータから所定のデータを抽出する。換言すれば、データ抽出部１０２２は、要求に応じてデータを抽出する。
【００３３】
通信回路１０５は、要求受付部１０５１とデータ出力部１０５２として機能する。要求受付部１０５１は、外部の自動運転ＥＣＵ２００から要求を受け付ける。データ出力部１０５２は、データ抽出部１０２２によって抽出されたデータを外部の自動運転ＥＣＵ２００へ出力する。換言すれば、データ出力部１０５２は、要求に応じてデータを出力する。
【００３４】
なお、画像補正部１０４１、視差算出部１０４２、立体物抽出部１０４３、及び立体グルーピング部１０４４は、撮像部１０１によって撮像された画像から複数種類のデータを生成するデータ生成部１０４ａを構成する。
【００３５】
次に、図４を用いて、通信回路１０５の通信インタフェースを説明する。図４は、通信インタフェースの例を示す図である。
【００３６】
図４の表の２行目は、自動運転ＥＣＵ２００から通信回路１０５へ入力される「要求」を示す。図４の表の３行目は、通信回路１０５から自動運転ＥＣＵ２００へ出力される「要求に応じたデータ」を示す。
【００３７】
自動運転ＥＣＵ２００からの要求は、注目領域を示す情報としての画像上の座標値（画像上の位置を示す情報）、出力内容（データの種類）を示す情報としての種別ＩＤ、出力解像度（解像度）を示す情報としての画像の間引き度合若しくはオブジェクトの出力個数、出力頻度を示す情報としての単位時間（秒）あたりの出力回数（回／s）を含む。
【００３８】
注目領域は、例えば、ミリ波レーダ３００、ＬＩＤＡＲ４００等のセンサによって検出される対象物体の距離、角度、相対速度等に基づいて自動運転ＥＣＵ２００によって立体物があるだろうと推定された部位である。種別ＩＤは、出力されるべきデータの種別を示す。データの種別として、例えば、撮像部１０１で撮像された生画像（ＲＡＷデータ）、視差画像（第１データ）、立体物生情報（第２データ）、立体物グルーピング後情報（第３データ）がある。
【００３９】
次に、図５を用いて、ステレオカメラ１００の動作を説明する。図５は、本発明の実施形態によるステレオカメラ１００の動作を示すフローチャートである。
【００４０】
ステレオカメラ１００は、自動運転ＥＣＵ２００から図４に示した要求を受け付ける（Ｓ１０）。ステレオカメラ１００は、Ｓ１０で受け付けた要求に応じてメモリ１０３に記憶されたデータを抽出（選択）する（Ｓ１５）。
【００４１】
ステレオカメラ１００は、Ｓ１５で抽出したデータを出力する（Ｓ２０）。例えば、図４に示した要求に対して、ステレオカメラ１００は、「画像上の座標値」によって示される注目領域について、「種別ＩＤ」によって示される種類のデータを、メモリ１０３から読み出し、読み出したデータを「画像の間引き度合／出力個数」によって示される出力解像度かつ「回／ｓ」で示される出力頻度で自動運転ＥＣＵ２００へ出力（送信）する。なお、ステレオカメラ１００は、同期情報を出力してもよい。
【００４２】
ここで、データ抽出部１０２２は、要求に含まれる「画像上の座標値」（位置情報が示す画像上の位置）のデータを抽出する。これにより、自動運転ＥＣＵ２００は、注目領域のみのデータを取得することができる。
【００４３】
データ抽出部１０２２は、要求に含まれる「種別ＩＤ」が示す種類のデータを抽出する。これにより、自動運転ＥＣＵ２００は、所望の種類のデータのみを取得することができる。
【００４４】
データ出力部１０５２は、データ抽出部１０２２によって抽出されたデータを、要求に含まれる「画像の間引き度合／出力個数」によって示される出力解像度（解像度）で外部の自動運転ＥＣＵ２００へ出力する。これにより、自動運転ＥＣＵ２００は、所望の出力解像度のデータを取得することができる。
【００４５】
データ出力部１０５２は、データ抽出部１０２２によって抽出されたデータを、要求に含まれる「回／ｓ」で示される出力頻度で外部へ出力する。これにより、自動運転ＥＣＵ２００は、所望の出力頻度でデータを取得することができる。
【００４６】
データ出力部１０５２は、データ抽出部１０２２によって抽出されたデータをイーサネットで外部の自動運転ＥＣＵ２００へ出力する。これにより、ＣＡＮ等に比較して転送速度が向上する。
【００４７】
データ生成部１０４ａは、視差、又は視差に対応する距離を示す視差画像（第１データ）を生成し、視差画像（第１データ）から立体物のデータを立体物生情報（第２データ）として抽出し、立体物生情報（第２データ）からグルーピングされた立体物グルーピング後情報（第３データ）を生成する。
【００４８】
データ抽出部１０２２は、種別ＩＤが示す種類のデータを、生画像（ＲＡＷデータ）、視差画像（第１データ）、立体物生情報（第２データ）、立体物グルーピング後情報（第３データ）から抽出（選択）する。
【００４９】
物体識別部１０４５は、撮像部１０１によって撮像された画像から物体を識別する。データ抽出部１０２２は、閾値以上の重要度が関連付けられた物体のデータを抽出する。
【００５０】
システム１は、ステレオカメラ１００（外界認識装置）と、電磁波を用いて物体の位置を検出するミリ波レーダ３００、ＬＩＤＡＲ４００等のセンサと、自動運転ＥＣＵ２００（制御装置）と、を備える。
【００５１】
自動運転ＥＣＵ２００（制御装置）は、センサによって検出された物体の位置を画像上の位置に変換し、その位置の位置情報を含む要求をステレオカメラ１００（外界認識装置）へ送信し、データ抽出部１０２２によって抽出されたデータをステレオカメラ１００（外界認識装置）から受信し、受信したデータに基づいて車両を制御する。
【００５２】
このようにして、自動運転ＥＣＵ２００は、さまざまな階層（撮像部１０１、画像補正部１０４１から立体グルーピング部１０４４等）のデータを抽出することができる。
【００５３】
以上説明したように、本実施形態によれば、画像のデータを外部に出力するときに転送遅延を抑制することができる。また、高画素化されたステレオカメラから出力されるデータの容量を小さくすることができる。
【００５４】
（変形例）
次に、図６及び図７を用いて、変形例を説明する。図６は、変形例のステレオカメラ１００Ａの機能を示すブロック図である。なお、本変形例のステレオカメラ１００Ａのハードウェア構成は、図２に示したステレオカメラ１００と同じである。
【００５５】
図６に示す本変形例では、通信回路１０５に要求受付部１０５１がない。本変形例のデータ抽出部１０２２Ａは、物体識別部１０４５によって識別され、閾値以上の重要度が関連付けられた物体の画像上の位置（座標値）のデータを抽出する。すなわち、データ抽出部１０２２Ａは、重要度の高い物体（歩行者、危険な部位）のデータを抽出する。なお、重要度と物体の種別は、例えば、メモリ１０３に関連付けて記憶される。
【００５６】
図７は、変形例のステレオカメラ１００Ａの動作を示すフローチャートである。
【００５７】
ステレオカメラ１００Ａは、物体を識別する（Ｓ１３）。ステレオカメラ１００Ａは、Ｓ１３で識別された物体のうち、重要度の高い物体（歩行者、危険な部位）のデータを抽出する（Ｓ１８）。ステレオカメラ１００Ａは、Ｓ１８で抽出したデータを出力する（Ｓ２０）。
【００５８】
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００５９】
上記実施形態では、外界認識装置としてステレオカメラ１００を採用したが、撮像素子の数は任意であり、単眼カメラであってもよい。
【００６０】
上記実施形態では、センサとしてミリ波レーダ、ＬＩＤＡＲを例示したが、センサは、音波を用いて、対象物体の距離、角度、相対速度等を検出するソナーであってもよい。
【００６１】
上記実施形態では、理解を容易にするため、生画像（ＲＡＷデータ）、視差画像（第１データ）、立体物生情報（第２データ）、立体物グルーピング後情報（第３データ）等の画像に関するデータは、一例としてメモリ１０３に記憶されるものとしたが、画像処理部１０４の内蔵メモリに記憶されてもよい。
【００６２】
上記実施形態では、画像補正部１０４１、視差算出部１０４２、立体物抽出部１０４３、立体グルーピング部１０４４、物体識別部１０４５は、一例として画像処理部１０４の機能として実現されるが、ＣＰＵ１０２の機能として実現されてもよい。なお、画像補正部１０４１、視差算出部１０４２、立体物抽出部１０４３、立体グルーピング部１０４４、物体識別部１０４５のそれぞれが、ＡＳＩＣ等の回路として構成されていてもよい。
【００６３】
上記実施形態では、ステレオカメラ１００と自動運転ＥＣＵ２００の間の規格としてイーサネットを採用したが、イーサネットと同等以上の転送速度を実現可能であれば他の規格であってもよい。
【００６４】
上記実施形態では、自動運転ＥＣＵ２００からの「要求」に画像上の座標値が含まれるが、画像上の座標値に代えて世界座標系等の他の座標系の座標値を含めてもよい。ステレオカメラ１００のＣＰＵ１０２は、世界座標系の座標値を画像上の座標値に変換する。また、画像上の座標値に代えて車速を含めてもよい。データ抽出部１０２２は、車速が閾値以上（高速）の場合、例えば、高解像度画像と視差画像を抽出（選択）し、低解像度画像と視差画像を抽出（選択）する。
【００６５】
自動運転ＥＣＵ２００からの要求に、左撮像部１０１Ｌによって撮像された第１の画像のデータ、又は右撮像部１０１Ｒによって撮像された第２の画像のデータのいずれか又は両方を指定する情報を含めてもよい。データ抽出部１０２２、１０２２Ａは、指定された画像のデータを抽出（選択）する。なお、車速は車速センサによって検出される。
【００６６】
自動運転ＥＣＵ２００は、ステレオカメラ１００から受信した視差画像（第１データ）、立体物生情報（第２データ）、立体物グルーピング後情報（第３データ）等を参照して、検知物体候補がある場合、注目領域を示す情報としてその位置に対応する画像座標系または世界座標系の座標値を「要求」に含めて、再度、ステレオカメラ１００に入力してもよい。
【００６７】
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（ＣＰＵ）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【符号の説明】
【００６８】
１…システム
１００、１００Ａ…ステレオカメラ
１０１…撮像部
１０１Ｌ…左撮像部
１０１Ｒ…右撮像部
１０３…メモリ
１０４…画像処理部
１０４ａ…データ生成部
１０５…通信回路
３００…ミリ波レーダ
４００…ＬＩＤＡＲ
１０２１…車両制御部
１０２２…データ抽出部
１０２２Ａ…データ抽出部
１０４１…画像補正部
１０４２…視差算出部
１０４３…立体物抽出部
１０４４…立体グルーピング部
１０４５…物体識別部
１０５１…要求受付部
１０５２…データ出力部
【図１】
2019185666.tif 000003
【図２】
2019185666.tif 000004
【図３】
2019185666.tif 000005
【図４】
2019185666.tif 000006
【図５】
2019185666.tif 000007
【図６】
2019185666.tif 000008
【図７】
2019185666.tif 000009