(57)【要約】      （修正有）【課題】時間的に安定して抽出されにくい特徴点を除去し、安定してカメラの異常検出を行える異常検出装置を提供する。【解決手段】異常検出装置１００は、移動体に搭載されたカメラから画像を取得する取得部１１０と、画像から特徴点候補を抽出する候補抽出部１２０と、特徴点候補と所定の第１〜第Ｎ（Ｎは２以上の自然数）の位置関係にある第１〜第Ｎ判別画素を特定する判別画素特定部１３０と、特徴点候補と第ｋ（ｋは１以上Ｎ以下の自然数）判別画素との輝度差を算出する輝度差算出部１４０と、第ｋ輝度差を第ｋ位置関係に応じて設定された第ｋしきい値と比較する比較部１５０と、比較部が比較した結果に基づき、特徴点候補から特徴点を抽出する特徴点抽出部１６０と、特徴点の位置の時間変化と、移動体の移動量とに基づき、カメラの異常の有無を検出する異常検出部１７０と、を備える。【選択図】図１
2020140478.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されたカメラから画像を取得する取得部と、
前記取得部により取得された画像から特徴点候補を抽出する候補抽出部と、
前記候補抽出部により抽出された特徴点候補と所定の第１〜第Ｎ（Ｎは２以上の自然数）位置関係にある第１〜第Ｎ判別画素を特定する判別画素特定部と、
前記抽出された特徴点候補と前記判別画素特定部により特定された第ｋ（ｋは１以上Ｎ以下の自然数）判別画素との輝度差である第ｋ輝度差を算出する輝度差算出部と、
前記第ｋ輝度差を前記第ｋ位置関係に応じて設定された第ｋしきい値と比較する比較部と、
前記比較部が第１〜第Ｎ輝度差を第１〜第Ｎしきい値と比較した結果に基づき、前記特徴点候補から特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部により抽出された特徴点の位置の時間変化と、前記移動体の移動量とに基づき、前記カメラの異常の有無を検出する異常検出部と、
を備える異常検出装置。
【請求項２】
前記判別画素特定部は、
前記抽出された特徴点候補を通る直線上に位置する画素を前記第１判別画素として特定し、
前記直線上に位置するとともに前記抽出された特徴点候補を基準として前記第１判別画素の反対側に位置する画素を第２判別画素として特定し、
前記第１しきい値は前記第２しきい値と異なる、
請求項１に記載の異常検出装置。
【請求項３】
前記抽出された特徴点候補を通る直線の方向は、前記取得された画像の画素値の記録順序に基づき決定する
ことを特徴とする請求項２に記載の異常検出装置。
【請求項４】
前記判別画素特定部は、
前記第１〜第Ｎ位置関係の少なくとも１つを、前記抽出された特徴点候補の前記取得された画像内における位置に基づき補正する
ことを特徴とする請求項１ないし３のいずれか一つに記載の異常検出装置。
【請求項５】
前記判別画素特定部は、
前記特徴点候補が前記取得された画像の外縁に近い位置であるほど、前記特徴点候補と前記判別画素との距離が近くなるように前記第１〜第Ｎ位置関係の少なくとも１つを補正する
ことを特徴とする請求項４に記載の異常検出装置。
【請求項６】
前記抽出部は、
前記取得された画像の輝度代表値に基づき、前記しきい値を補正する
ことを特徴とする請求項１ないし５のいずれか一つに記載の異常検出装置。
【請求項７】
移動体に搭載されたカメラから画像を取得する取得工程と、
前記取得された画像から特徴点候補を抽出する候補抽出工程と、
前記抽出された特徴点候補と所定の第１〜第Ｎ（Ｎは２以上の自然数）の位置関係にある第１〜第Ｎ判別画素を特定する判別画素特定工程と、
前記抽出された特徴点候補と前記特定された第ｋ（ｋは１以上Ｎ以下の自然数）判別画素との輝度差を算出する輝度差算出工程と、
前記第ｋ輝度差を前記第ｋ位置関係に応じて設定された第ｋしきい値と比較する比較工程と、
第１〜第Ｎ輝度差を第１〜第Ｎしきい値と比較した結果に基づき、前記特徴点候補から特徴点を抽出する特徴点抽出工程と、
前記抽出された特徴点の位置の時間変化と、前記移動体の移動量とに基づき、前記カメラの異常の有無を検出する異常検出工程と、
を備える異常検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常検出装置、および異常検出方法に関する。
【背景技術】
【０００２】
従来、自動車などの車両には、駐車支援などに利用するため、カメラが搭載されることがあった。このようなカメラでは、取付状態の異常、特に取付方向や取付位置のずれが生じると、画像認識が正常に行えない。そのため、例えば特許文献１のように、車両外界の撮影画像から特徴点を抽出し、該特徴点の時間変化からオプティカルフローを算出して取付状態の異常を検出する車両用撮像装置が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０５５３４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、画像から抽出できる特徴点には、時間的に安定して抽出し続けられるものと、時間的に安定して抽出されにくいものがある。前者は例えば、白線標示の角から得られる特徴点である。後者は例えば、路面の凹凸から得られるものである。後者のような特徴点が用いられた場合、車両用撮像装置は、フレーム間での特徴点の連続性が得られず、安定したオプティカルフローを算出できず、安定的に異常を検出することが困難となる。
【０００５】
本発明の目的は、上記後者のような、安定して異常検出を行える異常検出装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明による異常検出装置は、移動体に搭載されたカメラから画像を取得する取得部と、前記取得部により取得された画像から特徴点候補を抽出する候補抽出部と、前記候補抽出部により抽出された特徴点候補と所定の第１〜第Ｎ（Ｎは２以上の自然数）の位置関係にある第１〜第Ｎ判別画素を特定する判別画素特定部と、前記抽出された特徴点候補と前記判別画素特定部により特定された第ｋ（ｋは１以上Ｎ以下の自然数）判別画素との輝度差を算出する輝度差算出部と、前記第ｋ輝度差を前記第ｋ位置関係に応じて設定された第ｋしきい値と比較する比較部と、前記比較部が第１〜第Ｎ輝度差を第１〜第Ｎしきい値と比較した結果に基づき、前記特徴点候補から特徴点を抽出する特徴点抽出部と、前記特徴点抽出部により抽出された特徴点の位置の時間変化と、前記移動体の移動量とに基づき、前記カメラの異常の有無を検出する異常検出部と、を備える。
【発明の効果】
【０００７】
本発明は、安定して異常検出を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態による異常検出装置の構成を示す機能ブロック図である。
【図２】特徴点候補を抽出する手法を説明するための図である。
【図３】特徴点候補と判別画素との関係を説明するための図である。
【図５】位置関係としきい値の関係の具体例を示す図である。
【図４】特徴点候補近傍の輝度分布の一例を示す図である。
【図６】オプティカルフローを求める手法を説明するための図である。
【図７】座標変換処理を説明するための図である。
【図８】カメラずれの検出処理の一例を示すフローチャートである。
【図９】特徴点抽出処理の一例を示すフローチャートである。
【図１０】画素の記録方向に平行に位置関係を設定した場合の一例を示す図である。
【図１１】フレーム画像中央付近の特徴点候補に対する判別画素と、フレーム画像外縁付近の特徴点候補に対する判別画素の位置関係の補正の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照し、本発明の実施の形態を詳しく説明する。図中同一又は相当部分には同一符号を付してその説明は繰り返さない。なお、以下では移動体として車両を例にとって説明を行うが、本発明が適用される移動体は車両に限定されるものではない。本発明は、カメラが取り付けられた移動体、例えばロボットなどに適用されてもよい。車両には、例えば、自動車、電車、無人搬送車などの車輪を有する乗り物が広く含まれる。
【００１０】
また、以下の説明では、便宜上、重力の方向と、進行方向と、左右とに基づき、移動体に係る方向について次のように定める。重力が働く向きを「下方向」、その逆方向を「上方向」とする。移動体の進行方向を「前方向」、その逆方向を「後方向」とする。前方向を重力が働く向きを軸に９０度時計回りに回転させた方向を「右方向」、その逆方向を「左方向」とする。つまり、以下の説明で用いる方向については、運転席に座っている人間がフロントガラス越しに進行方向を向いている場合に、一般的に用いられる前後左右上下に対応する。
【００１１】
＜１．移動体制御システム＞
図１は、本発明の実施の形態に係る移動体制御システムの構成を示す機能ブロック図である。移動体制御システムＳＹＳ１は、異常検出システムＳＹＳ２と、自動運転制御装置５００と、表示装置６００とを備える。移動体制御システムＳＹＳ１は、異常検出システムＳＹＳ２が備える撮影部２００により撮影された画像を用いて、移動体を制御する。撮影部２００は、自動運転制御装置５００などで用いるために、移動体周辺の画像を撮影する。
【００１２】
異常検出システムＳＹＳ２は、移動体に搭載されたカメラの異常の有無を検出する。詳細は後述する。  自動運転制御装置５００は、移動体の自動運転を制御する。自動運転制御装置５００は、各移動体に搭載される。詳細には、自動運転制御装置５００は、移動体に搭載された撮影部２００とセンサ部３００とからの情報と、予め設定された自動制御の目的に基づき、図示しない移動体の駆動部と、制動部と、操舵部とを制御するＥＣＵ（Electronic Control Unit）である。
【００１３】
予め設定された自動制御の目的とは、例えば自動駐車や、前方車両への追随などである。駆動部は、エンジンやモータを備える。制動部はブレーキを備える。操舵部はステアリングホイール（ハンドル）を備える。
【００１４】
自動運転制御装置５００による制御が開始されると、駆動部、制動部、操舵部の制御が運転者の操作に依らず自動で行われる。自動駐車を例にとると、自動運転制御装置５００は、撮影部２００から取得した画像に基づいて空きスペースを認識し、空きスペースに移動体が移動するように駆動部、制動部、操舵部を制御する。
【００１５】
上記のような自動運転制御装置５００による制御動作は、異常検出システムＳＹＳ２における異常の検出状況に応じてオン／オフの切替が可能に構成される。換言すると、撮影部２００に異常があると異常検出システムＳＹＳ２が検出している場合は、自動運転制御装置５００の制御動作をオフにすることができる。これにより異常状態となっている撮影部２００からの情報に基づく制御を抑制することができ、自動運転制御をより安全に行うことができる。
【００１６】
表示装置６００は、各移動体に搭載され、運転者に対して種々の情報を表示する。具体的には、表示装置６００は車両の室内に運転者が視認できる位置に搭載される。表示装置６００は、図示しない表示部と、操作部とを備える。
【００１７】
表示部は液晶パネル、ＯＬＥＤ（Organic Light Emitting Diode）パネル、蛍光表示管などで構成される。表示部にはカメラ２１０で撮影された移動体周辺の画像や、自動運転制御における移動制御のガイド線や異常検出システムＳＹＳ２で検出したカメラ２１０の異常の有無の状態などを表示する。
【００１８】
操作部は、ボタンやタッチパネルなどを備える。操作部は、運転者が自動運転制御装置５００に対して操作を行う際の入力装置である。
【００１９】
＜２．異常検出システム＞
異常検出システムＳＹＳ２は、撮影部２００における異常の有無を検出する。具体的には、撮影部２００の備えるカメラ２１０の異常の有無を検出する。
【００２０】
なお、本実施の形態において、異常とは移動体に搭載されたカメラ２１０の取付のずれ（以下「カメラずれ」と表現する）が生じた状態を指す。具体的には、カメラずれとは、工場出荷時などの予め基準となるカメラ２１０の取付状態からのずれを検出するシステムである。  カメラずれとは、工場集荷時時などの基準時におけるカメラ２１０の取付状態からの変化を示す。カメラずれは、カメラ２１０の取付位置の変化と、カメラ２１０の向きの変化とを含む。向きの変化とは、カメラ２１０のチルト角、パン角、ロール角の変化、である。
【００２１】
異常検出システムＳＹＳ２は、異常検出装置１００と、撮影部２００と、センサ部３００と、通信バス４００と、を備える。
【００２２】
異常検出装置１００は、撮影部２００により撮影された移動体周辺の画像に基づいて、カメラずれがあるか否かを検出する。詳細については後述する。
【００２３】
撮影部２００は、１つの機能としては前述のように、自動運転制御装置５００などで用いるために、移動体周辺の画像を撮影する。異常検出システムＳＹＳ２においては、他の機能として、異常検出装置１００に撮影した画像を出力する。撮影部２００は、複数のカメラ２１０を備える。複数のカメラ２１０の各々は、移動体周辺の画像を撮影する。複数のカメラ２１０の各々は、１つのカメラで移動体周辺を広く撮影するため、魚眼レンズなどの画角の広い光学系を有することが好ましい。
【００２４】
複数のカメラ２１０の各々は異常検出装置１００に有線または無線で接続され、撮影した画像を異常検出装置１００に出力する。
【００２５】
フロントカメラは移動体の前方を撮影するカメラである。バックカメラは移動体の後方を撮影するカメラである。左サイドカメラは移動体の左方を撮影するカメラである。右サイドカメラは移動体の右方を撮影するカメラである。
【００２６】
各々のカメラは、互いの撮影範囲が重複するように配置される。これにより移動体の水平方向における全周囲を撮影することができる。ただし、撮影部２００が備えるカメラ２１０の数は単数でもよいし、４つ以外の複数であってもよい。
【００２７】
センサ部３００は、１つの機能としては前述のように、自動運転制御装置５００などで用いるために車両の各種状態を測定する。異常検出システムＳＹＳ２においては、他の機能として、移動体の速度を検出する。センサ部３００は、車速センサ３１０を少なくとも備える。
【００２８】
車速センサ３１０は、移動体の速度を検出する。検出した速度はその検出値に応じた電気信号として出力される。出力される電気信号は、例えばアナログ電圧や、符号化されたデジタル信号などである。なお、センサ部３００は、速度センサ３１０の他に、レーダ、舵角センサ、ＧＰＳ（Global Positioning System）などの位置センサを備えてもよい。  センサ部３００は、通信バス４００を介して異常検出装置１００に接続される。前述の車速に基づく電気信号など、センサ部３００が検出したセンサデータは、通信バス４００を介して異常検出装置１００に出力される。通信バス４００は、例えばＣＡＮ（Controller Area Network）バスなどである。
【００２９】
＜３．異常検出装置＞
＜３．１．異常検出装置の構成＞
図１を用いて異常検出装置１００の構成を説明する。図１に示すように、異常検出装置１００は、取得部１１０と、候補抽出部１２０と、判別画素特定部１３０と、輝度差算出部１４０と、比較部１５０と、特徴点抽出部１６０と、異常検出部１７０と、記憶部１８０とを備える。
【００３０】
異常検出装置１００は、例えば、ＣＰＵ（Central  Processing  Unit）、ＲＯＭ（Read  Only  Memory）、ＲＡＭ（Random  Access  Memory）、入出力ポート等を含むマイクロコンピュータや各種回路を有する。
【００３１】
マイクロコンピュータのＣＰＵは、例えば、ＲＯＭに記憶されたプログラムを読み出して実行することによって、異常検出装置１００が備える取得部１１０や候補抽出部１２０などの各々の機能ブロックの機能を実現する。なお、各機能ブロックの少なくともいずれか一つまたは全部を、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアで構成することもできる。
【００３２】
取得部１１０は、移動体に搭載されたカメラ２１０から撮影画像（フレーム画像）を取得する。取得部１１０は、取得したフレーム画像を候補抽出部１２０に出力する。
【００３３】
取得部１１０は、機能を実現するマイクロコンピュータの入出力ポートなどを介し、カメラ２１０と有線もしくは無線で接続される。
【００３４】
取得部１１０が取得するフレーム画像のフォーマットは、アナログ、もしくはデジタルのいずれでもよい。フレーム画像のフォーマットとしてアナログ用いる場合、取得部１１０はＡＤコンバータ（Analog to Digital converter）を備えるとよい。
【００３５】
候補抽出部１２０は、取得部１１０で取得したフレーム画像から特徴点候補を抽出する。候補抽出部１２０は、抽出した特徴点候補を判別画素特定部１３０に出力する。
【００３６】
判別画素特定部１３０は、候補抽出部１２０により抽出された特徴点候補から、所定の第１〜第Ｎの位置関係にある第１〜第Ｎ判別画素を特定する（Ｎは２以上の自然数）。判別画素特定部１３０は、特徴点候補と、特定した第１〜第Ｎ判別画素とを輝度差算出部１４０に出力する。
【００３７】
輝度差算出部１４０は、候補抽出部１２０により抽出された特徴点候補と、判別画素特定部１３０により特定された第ｋ（ｋは１以上Ｎ以下の自然数）判別画素との輝度差である第ｋ輝度差を算出する。輝度差算出部１４０は、算出した第ｋ輝度差を比較部１５０に出力する。
比較部１５０は、輝度差算出部１４０により算出された第ｋ輝度差と第ｋ位置関係に応じて設定された第ｋしきい値を比較する。比較部１５０は、比較結果を特徴点抽出部１６０に出力する
特徴点抽出部１６０は、比較部１５０により行われた比較の結果に基づき、候補抽出部１２０により抽出された特徴点候補から特徴点を抽出する。特徴点抽出部１６０は、抽出した特徴点を異常検出部１７０に出力する。
【００３８】
異常検出部１７０は、特徴点抽出部１６０により抽出された特徴点の位置の時間変化と、移動体の移動量に基づきカメラずれを検出する。
【００３９】
異常検出部１７０は、機能を実現するマイクロコンピュータの入出力ポートなどを介し、通信バス４００と接続される。異常検出部１７０は、通信バス４００を介してセンサ部と接続される。
【００４０】
記憶部１８０は、マイクロコンピュータが実行するプログラムや種々の設定などを記憶する。記憶部１８０は、具体的には例えば、ＲＯＭやフラッシュメモリなどの半導体記憶媒体や、ＨＤＤ（Hard Disk Drive）などの磁気記憶媒体で構成される。
【００４１】
＜３．２．異常検出装置の動作＞
次に、図１を用いて異常検出装置１００の動作について詳細説明する。
【００４２】
取得部１１０は、移動体に搭載されたカメラ２１０から撮影画像（フレーム画像）を取得する。取得部１１０は、マイクロコンピュータの入出力ポートなどを介してカメラ２１０と通信を行い、撮影画像を取得する。
【００４３】
取得部１１０は、フレーム画像を所定の周期、例えば１／３０秒周期で周期的に取得する。
【００４４】
本実施形態では、撮影部２００が複数のカメラ２１０を有するため、取得部１１０はそれぞれのカメラ２１０からフレーム画像を取得する。
【００４５】
取得部１１０は、取得したフレーム画像に対して所定の画像処理を行い、処理後のフレーム画像を候補抽出部１２０に出力する。
【００４６】
取得するフレーム画像がアナログの場合には、取得部１１０は、図示しないＡＤコンバータを用いてアナログのフレーム画像を、デジタルのフレーム画像に変換（Ａ／Ｄ変換）してもよい。
【００４７】
候補抽出部１２０は、取得部１１０で取得したフレーム画像から特徴点候補を抽出する。候補抽出部１２０は、抽出した特徴点候補を判別画素特定部１３０に出力する。
【００４８】
特徴点候補とは、後述の特徴点抽出部１６０で抽出される特徴点の候補である。特徴点とは、フレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。
【００４９】
特徴点候補は、例えば白線で描かれる路面標示の角、路面上のひびや凹凸の陰影、路面上のしみ、路面上の砂利などから検出される。特徴点候補は、例えば、ハリスオペレータ等の公知の特徴点抽出手法を用いて抽出することができる。
【００５０】
図２を用いて特徴点候補の抽出について説明をする。図２は、フレーム画像ＰＩＣに自車の車体ＶＢ、路面ＲＳ、白線標示ＲＭが写っている状況の例である。
【００５１】
フレーム画像ＰＩＣには、特徴点を抽出する範囲であるＲＯＩ（Region of Interest）１２１が設定されている。特徴点候補は、ＲＯＩ１２１内から抽出される。ＲＯＩ１２１は、路面ＲＳが写っている範囲に設定される。また、ＲＯＩ１２１は、フレーム画像ＰＩＣの中心を含む広範囲に設定されることが好ましい。これにより、特徴点候補の発生場所がＲＯＩ１２１に対して均一でなく、偏った領域に偏在して発生する場合でも、候補抽出部１２０は、好適に特徴点候補を抽出することができる。なお図中ではＲＯＩ１２１は矩形領域として例示したが、この限りではない。
【００５２】
本実施の形態では、候補抽出部１２０は、フレーム画像ＰＩＣに設定されたＲＯＩ１２１内の画素ごとに特徴量を算出し、該特徴量に基づき特徴点候補を抽出する。特徴量とは、画素が周囲の画素に対してどの程度特徴的であるかを示す指標である。例えばコーナーらしさを示すコーナー度である。本実施の形態では、特徴量の算出をＫＬＴ（Kanade-Lucas-Tomasi tracker）法を用いて行う。
【００５３】
特徴量の算出に先立ち、候補抽出部１２０は、フレーム画像ＰＩＣに種々の前処理を施す。例えば候補抽出部１２０は、カラー画像をグレースケール画像に変換し、このグレースける画像をリサンプルする。グレースケール画像のサイズは、リサンプルにより変更される。リサンプル後、候補抽出部１２０は、リサンプルされたグレースける画像に対して、ノイズ除去のための各種フィルタ処理やぼかし処理を行う。
【００５４】
候補抽出部１２０は、前処理を行ったフレーム画像ＰＩＣを微分画像に変換する。微分画像とは、画素の位置に対する輝度の変化量に基づく画像である。微分画像は、フレーム画像ＰＩＣの各画素に対応する輝度微分値が記録されている。輝度微分値は、ｘ方向輝度微分値と、ｙ方向輝度微分値とを含む。ｘ方向輝度微分値は、フレーム画像ＰＩＣの水平方向であるｘ方向における輝度の変化量である。ｙ方向輝度微分値は、フレーム画像ＰＩＣの垂直方向であるｙ方向における輝度の変化量である。微分画像の生成にはＳｏｂｅｌフィルタ等、公知の微分フィルタを使用する。
【００５５】
微分画像中の座標（ｘ，ｙ）に位置する画素について、ｘ方向の輝度微分値をｄｘ（ｘ，ｙ），ｙ方向の輝度微分値をｄｙ（ｘ，ｙ）とした場合、Ｇ１１，Ｇ１２，Ｇ２２を次のように定める。
【００５６】
【数１】
2020140478.tif 000003
【００５７】
【数２】
2020140478.tif 000004
【００５８】
【数３】
2020140478.tif 000005
【００５９】
式（１）〜（３）で示すように、Ｇ１１は、ｘ方向の輝度微分値の２乗であり、Ｇ２２はｙ方向の輝度微分値の２乗であり、Ｇ１２は、ｘ方向の輝度微分値とｙ方向の輝度微分値の積である。Ｇ１１，Ｇ１２，Ｇ２２を用い、フレーム画像ＰＩＣの各画素について、下記の式（４）より、行列Ｍが得られる。
【００６０】
【数４】
2020140478.tif 000006
【００６１】
次に行列Ｍの固有値λを求める。Ｉを単位行列とすると、下記の式（５）で求める。
【００６２】
【数５】
2020140478.tif 000007
【００６３】
式（５）は、λの２次方程式として下記の式（６）および式（７）のように２つの固有値λ１、λ２として解くことができる。
【００６４】
【数６】
2020140478.tif 000008
【００６５】
本実施の形態では、候補抽出部１２０は、λ１とλ２のうち、小さい方を特徴量として選択する。候補抽出部１２０は、特徴量が所定のしきい値Ｔより大きい場合に、対応する画素を特徴点候補ＦＰＣとして抽出する。抽出した特徴点候補ＦＰＣは、判別画素特定部１３０に出力される。
【００６６】
図２に示す例では、３つの特徴点候補ＦＰＣ１、ＦＰＣ２及びＦＰＣ３が、フレーム画像ＰＩＣから抽出される。特徴点候補ＦＰＣ１及びＦＰＣ２は、白線標示ＲＭの角に対応する。特徴点候補ＦＰＣ３は、路面の凹凸に対応する。
【００６７】
なお、特徴点候補の抽出数は、フレーム画像の内容により変動する。例えば横断歩道が写るような場合は、多数の白線標示の角が写るため、特徴点候補は３つより多く抽出されることもある。一方、曇りのように陰影ができにくい天候下で、路面しか映っていないような場合には、特徴点候補はまったく抽出されないこともある。
【００６８】
判別画素特定部１３０は、候補抽出部１２０により抽出された特徴点候補から、所定の第１〜第Ｎの位置関係にある第１〜第Ｎ判別画素を特定する（Ｎは２以上の自然数）。判別画素特定部１３０は、特徴点候補と、特定した第１〜第Ｎ判別画素とを輝度差算出部１４０に出力する。
【００６９】
以下の説明ではＮ＝２、すなわち位置関係が２種類の場合について説明するがこの限りではない。
【００７０】
図３は、特徴点候補と判別画素との関係を説明するための図である。図３に示すように、第１判別画素ＤＰ１は、特徴点候補ＦＰＣから第１の位置関係に位置する画素である。第１の位置関係とは、特徴点候補ＦＰＣを基準に、水平方向に＋４画素（以下Δｘ＝＋４と記す）、垂直方向に−２画素（以下Δｙ＝−２と記す）の位置である。
【００７１】
なお、図３のように、水平方向は画像の左から右方向を正、垂直方向は画像の上から下方向を正とする。
【００７２】
また第２判別画素ＤＰ２は、特徴点候補ＦＰＣから第２の位置関係に位置する画素である。第２の位置関係とは、特徴点候補ＦＰＣを基準に、水平方向に−４画素（Δｘ＝−４）、垂直方向に＋２画素（Δｙ＝＋２）の位置である。
【００７３】
第１〜第Ｎ位置関係は、特徴点候補ＦＰＣを通る直線Ｌ上において、特徴点候補ＦＰＣの両側に来るように設定することが好ましい。図３においては、特徴点候補ＦＰＣを通る直線Ｌ上に、特徴点候補ＦＰＣの右上側に第１の位置関係を、左下側に第２の位置関係を設定している。
【００７４】
図４を用いて、位置関係の設定について説明する。図４は、特徴点候補ＦＰＣを中心に水平近傍１１画素の輝度の分布を示したものである。ここでは簡単のために図３とは異なり水平方向にΔｘ＝±３の位置に判別画素ＤＰ１と判別画素ＤＰ２とを設定している。
【００７５】
本実施の形態では、異常検出装置１００は、路面凹凸のような特徴的な輝度分布を検出するために、特徴点候補ＦＰＣと、特徴点候補ＦＰＣ近傍の画素の輝度値を評価する。画素の輝度値は、後述するように、輝度差算出部１４０、比較部１５０及び特徴点抽出部１６０によって評価される。
【００７６】
路面の凹凸や、砂利のように、凸部の陰影によって特徴点候補ＦＰＣが抽出される場合、特徴点候補ＦＰＣ近傍の輝度分布は、図４に示すように特徴点候補ＦＰＣを頂点とする山型の輝度分布を示すことが多い。山の頂上は、凸部に対する光の反射による高輝度部分であり、山の裾は、凸部の陰による低輝度部分である。
【００７７】
そのため、山の頂点における位置の画素の輝度と、山の裾における位置の画素の輝度とを比較することで、輝度分布が路面凹凸において特徴的な山形の分布であるか否かを簡易に判断することができる。
【００７８】
そのため、本実施の形態では、山の頂点を基準としたときに、山の裾にあたる位置関係を、第１〜第Ｎの位置関係としてあらかじめ定めておく。これにより、特徴点候補ＦＰＣの位置を基準とした場合、第１〜第Ｎの位置関係における画素、すなわち判別画素は、山の裾における画素として特定できる。これにより、特徴点候補ＦＰＣ近傍が、路面凹凸において特徴的な山形の輝度分布であるか否かを簡便に評価することができる。
【００７９】
上記のように山型の輝度分布となるのは陰影が原因の一つであるため、判別画素と特徴点候補ＦＰＣとの位置関係は、特徴点候補ＦＰＣを通る直線Ｌ上であることが好ましい。また直線Ｌの向きは、光源、例えば太陽の方向を向いていることがより好ましい。これにより、凸部の反射と陰を好適にとらえることができ、より精度の高い特徴点の抽出が可能となる。
【００８０】
特定した判別画素は、特徴点候補とともに輝度差算出部１４０に出力される。
【００８１】
輝度差算出部１４０は、候補抽出部１２０により抽出された特徴点候補と、判別画素特定部１３０により特定された第ｋ（ｋは１以上Ｎ以下の自然数）判別画素との輝度差である第ｋ輝度差を算出する。輝度差算出部１４０は、算出した第ｋ輝度差を比較部１５０に出力する。
【００８２】
具体的には、輝度差算出部１４０は、特徴点候補の画素の輝度と、第ｋ判別画素との輝度の差を算出し、第ｋ輝度差を算出する（ｋは１〜Ｎの自然数）。輝度差算出部１４０は、１つの特徴点候補に対してｋを１〜Ｎまで変えて輝度差の算出を繰り返す。結果、１つの特徴点候補に対して、第１〜第Ｎ判別画素に対応する第１〜第Ｎ輝度差が算出される。特徴点候補と輝度差は比較部１５０に出力される。
【００８３】
比較部１５０は、輝度差算出部１４０により算出された第ｋ輝度差と第ｋ位置関係に応じて設定された第ｋしきい値を比較する。比較部１５０は、比較結果を特徴点抽出部１６０に出力する。具体的には、第ｋ輝度差と第ｋしきい値を比較する。
【００８４】
第ｋ輝度差が第ｋしきい値より大きいとき、比較結果は真とする。また、第ｋ輝度差が第ｋしきい値以下である場合、比較結果は偽とする。特徴点候補１つに対して、比較部１５０は、ｋを１〜Ｎまで変えて比較を繰り返す。結果、特徴点候補１つに対してＮ個の比較結果が得られる。比較部１５０は、候補抽出部１２０によって抽出された全ての特徴点候補に対して、輝度差と閾値とを比較する処理を行う。特徴点候補と比較結果は、特徴点抽出部１６０に出力される。
【００８５】
それぞれの判別画素は、位置関係に対応したしきい値を有する。図３に示すように、第１判別画素は、第１の位置関係に対応した第１しきい値を有する。第２判別画素は、第２の位置関係に対応した第２しきい値を有する。
【００８６】
図４を用いて、位置関係に対応したしきい値の設定について説明を行う。図４に示すように、特徴点候補ＦＰＣ近傍の輝度分布は左右非対称な分布をとることが多い。図４においては特徴点候補ＦＰＣ右側の第１判別画素ＤＰ１の輝度は、特徴点候補ＦＰＣ左側の第２判別画素ＤＰ２の輝度よりも高い。そのため、第１判別画素ＤＰ１と特徴点候補ＦＰＣとの第１輝度差ＬＤ１は、第２判別画素ＤＰ２と特徴点候補ＦＰＣとの第２輝度差ＬＤ２よりも大きい。
【００８７】
このような路面凹凸が有する山形の輝度分布の非対称性は、前述のように凸部の陰影が原因の一つである。凸部の内、光源側の面は、光を反射するため輝度が高くなる傾向にある。一方、凸部の内、陰となる面は、自身が落とす影が重なることもあり輝度が低くなる傾向にある。
【００８８】
したがって、特徴点候補ＦＰＣとの位置関係に対応して異なるしきい値を設定することで、より精度の高い特徴点の抽出が可能になる。
【００８９】
例えば、図４においては判別画素ＤＰ１に対応する閾値を、判別画素ＤＰ２に対応する閾値よりも小さく設定するとよい。すなわち、第１の位置関係に対応する第１のしきい値を、第２の位置関係に対応する第２しきい値よりも小さく設定するとよい。
【００９０】
図５に位置関係としきい値の対応の一例を示す。図５に示すように、位置関係、すなわち特徴点候補を基準とした水平方向の位置Δｘ、垂直方向の位置Δｙ、およびしきい値が、第１〜第Ｎの番号について対応付けられている。
【００９１】
図５に示す位置関係としきい値の対応は、具体的にはテーブルの形で記憶部１８０に記憶されている。前述の判別画素特定部１３０は、適宜記憶部１８０のテーブルを参照して所定の位置関係を呼び出し、判別画素を特定する。比較部１５０は、適宜記憶部１８０のテーブルを参照して位置関係に対応するしきい値を呼び出し、輝度差を呼び出した閾値と比較する。
【００９２】
特徴点抽出部１６０は、比較部１５０により行われた比較の結果に基づき、候補抽出部１２０により抽出された特徴点候補から特徴点を抽出する。特徴点抽出部１６０は、抽出した特徴点を異常検出部１７０に出力する。
【００９３】
具体的には、特徴点候補１つに対して得られたＮ個の比較結果うち、少なくとも一つが偽である場合、特徴点抽出部１６０は、特徴点候補を特徴点として抽出する。換言すると、Ｎ個の比較結果がすべて真である場合は、特徴点抽出部１６０は、特徴点候補を特徴点として抽出しない。抽出された特徴点は、異常検出部１７０に出力される。
【００９４】
異常検出部１７０は、特徴点抽出部１６０により抽出された特徴点の位置の時間変化と、移動体の移動量に基づきカメラずれを検出する。具体的には、異常検出部１７０は、オプティカルフロー算出処理、移動ベクトル算出処理、移動量推定処理、ずれ判定処理を行う。
【００９５】
オプティカルフロー算出処理は、抽出された特徴点の位置の時間変化に基づき、オプティカルフローを検出する処理である。具体的には、異常検出部１７０は、前回取得したフレーム画像に基づいて抽出された特徴点と、今回取得したフレーム画像に基づいて抽出された特徴点とを比較し、特徴点の位置の時間変化をオプティカルフローとして算出する。オプティカルフローの算出は種々の公知の方法がある。
【００９６】
図６を用いてオプティカルフロー算出処理について説明する。図６は図２で示すフレーム画像ＰＩＣに対して、次の取得タイミングで取得したフレーム画像ＰＩＣを示す。すなわち、図６のフレーム画像ＰＩＣは、図２のフレーム画像ＰＩＣに対して所定の時間の後の画像とも言える。例えば画像取得周期である１／３０秒後における移動体周囲の画像とも言える。図６のフレーム画像ＰＩＣには、図２と同様に自車の車体ＶＢと、路面ＲＳと、白線標示ＲＭが写っている。
【００９７】
図６では、図２のフレーム画像ＰＩＣにおいて抽出された特徴点を白丸（〇）で重畳して示している。なお図６では、図２において白線標示ＲＭの角に起因する特徴点候補のみが、特徴点抽出部１６０において特徴点として抽出されて残っている。路面凹凸に起因する特徴点候補は特徴点抽出部１６０において抽出されていない。
【００９８】
今回取得したフレーム画像ＰＩＣから抽出された特徴点は黒丸（●）として示す。白線標示ＲＭの角に起因する特徴点ＦＰ１および、特徴点ＦＰ２の２つが抽出されている。
【００９９】
異常検出部１７０は、今回フレーム画像ＰＩＣの特徴点と、前回フレーム画像の特徴点とを、その近傍の画素値も考慮に入れて対応付ける。異常検出部１７０は、対応付けられた特徴点のそれぞれの位置に基づいてオプティカルフローを算出する。具体的には、対応付けた２つの特徴点のうち、前回フレーム画像の特徴点を始点とし、今回フレーム画像の特徴点を終点としたときのベクトルを、対応付けた特徴点に対するオプティカルフローとする。
【０１００】
図６では、白線標示ＲＭの左下角に対応する特徴点同士によるオプティカルフローＯＦ１と、右下角に対応する特徴点同士によるオプティカルフローＯＦ２の２つが算出されている。
【０１０１】
なお、対応する特徴点が見つからなかった場合は、異常検出部１７０は、オプティカルフローを算出しない。算出したオプティカルフローは移動ベクトル算出処理で用いる。
【０１０２】
移動ベクトル算出処理は、算出したオプティカルフローを座標変換し、実空間における特徴点の移動ベクトルを算出する処理である。
【０１０３】
オプティカルフロー算出処理で算出したオプティカルフローは、カメラ２１０で撮影されたフレーム画像、すなわち２次元の座標系における特徴点の動きである。異常検出部１７０は、移動ベクトル算出処理においてオプティカルフローを、実際の移動体が動く３次元の座標系における動きである移動ベクトルに変換する。
【０１０４】
図７を用いて移動ベクトルの算出について説明する。図７では簡単のため、ピンホールモデルに基づく説明を行う。
【０１０５】
ピンホールモデルでは、カメラで撮影される画像は、カメラの視点ＶＰｃと被写体とを結ぶ直線に沿って、被写体が所定の撮影面ＰＰｃに投影されて得られる。
【０１０６】
例えば図７で示すように、実空間上の移動ベクトルＯＦｔの始点は、移動ベクトルＯＦｔの始点とカメラの視点ＶＰｃとを結ぶ直線が、撮影面ＰＰｃと交わる点に投影される。
【０１０７】
同様に、移動ベクトルＯＦｔの終点は、移動ベクトルＯＦｔの終点とカメラの視点ＶＰｃとを結ぶ直線が、撮影面ＰＰｃと交わる点に投影される。このようにして撮影面ＰＰｃに投影された移動ベクトルＯＦｔの始点と終点を結ぶと、フレーム画像におけるオプティカルフローＯＦｃとなる。
【０１０８】
逆に考えるとカメラの視点ＶＰｃと撮影面ＰＰｃ上に投影された被写体を結ぶ直線上に、実空間における被写体が存在する。つまり、カメラの視点ＶＰｃとオプティカルフローＯＦ１の始点を結ぶ直線上には移動ベクトルＯＦｔの始点がある。同様にカメラの視点ＶＰｃとオプティカルフローＯＦｃの終点を結ぶ直線上には移動ベクトルＯＦｔの終点がある。
【０１０９】
しかしながら、撮影の段階で奥行き方向の情報が失われるため、移動ベクトルＯＦｔは、オプティカルフローＯＦｃから一意に定めることができない。そのため、本実施例では移動ベクトルＯＦｔは、仮想平面ＰＰｔ上にあると仮定する。仮想平面ＰＰｔは、具体的には路面である。この仮定により、異常検出部１７０は、オプティカルフローＯＦｃから移動ベクトルＯＦｔを一意に求めることができる。具体的には、異常検出部１７０は、前述のカメラの視点ＶＰｃとオプティカルフローＯＦｃとを結ぶ直線と、仮想平面ＰＰｔとの交点から移動ベクトルＯＦｔを求める。
【０１１０】
移動ベクトル算出処理において、異常検出部１７０は、カメラの撮影方向と水平画角、垂直画角からフレーム画像中の任意の座標の点に対し、カメラの視点から当該座標の点がどの向きにあるかを表す方向ベクトルを求める。次に、異常検出部１７０は、カメラの視点位置として規定の値を設定する。以上において、フレーム画像中の任意の画素とカメラの視点ＶＰｃとを結ぶ直線が定まる。異常検出部１７０は、該直線と仮想平面ＰＰｔとの交点を求める。これをオプティカルフローＯＦｃの始点と終点に対してそれぞれ行う。これにより、移動ベクトルＯＦｔを求めることができる。なお、カメラの撮影方向と視点位置とは、例えば工場出荷時に既定の取付位置の座標や向きを用いるとよい。
【０１１１】
なお、図７では、ピンホールモデルをもとに説明したがこの限りではない。本実施の形態のように魚眼レンズを用いる場合は撮影面ＰＰｃを平面ではなく半球面などの曲面として設定することが望ましいこともある。また光学系の歪に対する補正も事前に行われることが好ましい。
【０１１２】
移動量推定処理は、移動ベクトルに基づいて移動体の推定移動量を算出する処理である。前述のように、移動ベクトルは特徴点の路面における移動量と方向を示す。そのため、特徴点が静止物に起因するものであれば、移動ベクトルは相対的に移動体の移動量と移動方向を示すと考えることができる。本実施例では特徴点は特に白線標示などの静止物に起因するものを想定する。したがって、移動ベクトルに基づき、異常検出部１７０は、移動体の移動量を推定することができる。推定移動量は例えば、移動ベクトルの前後方向成分である前後推定移動量と、左右方向成分である左右推定移動量と、である。推定した推定移動量は、ずれ判定処理で用いる。
【０１１３】
なお、移動ベクトルが複数検出されている場合には、異常検出部１７０は、平均や中央値を用いるなど、種々の統計処理を行って推定移動量を算出することが好ましい。またヒストグラムを作成し、外れ値の除外や最大となるピークを選出するなど、高度な統計処理を行うことがより好ましい。
【０１１４】
ずれ判定処理は、推定移動量と、センサ部３００から取得した車速に基づき算出した移動体の移動量とを比較し、カメラずれの有無を判定する処理である。具体的には、異常検出部１７０は、フレーム画像から推定した推定移動量と、移動体の移動量とが一致しない場合に、カメラずれがあると判定する。
【０１１５】
異常検出部１７０は、ずれ判定処理において移動体の移動量を、センサ部３００から取得した車速に基づき算出する。具体的には、今回フレームの取得時刻と前回フレームの取得時刻の差、つまりフレーム取得間隔と、センサ部３００から取得した車速との積により、移動体の移動量を算出する。
【０１１６】
移動体が直進状態である場合、算出した移動体の移動量は、前後方向のものである。左右方向の移動量は０である。したがって異常検出部１７０は、前後推定移動量と、移動体の移動量とを比較する。また左右推定移動量と０とを比較する。
【０１１７】
比較の結果、前後推定移動量と、左右推定移動量とがどちらもともに、差がない、と判定される場合、異常検出部１７０は、カメラずれがないと判定する。逆に、前後推定移動量と、左右推定移動量と、のいずれかでも差があると判断される場合、異常検出部１７０は、カメラずれがあると判定する。
【０１１８】
なお、ここで言う「差がない」とは、両者の値の差や比が所定の範囲内ということを意味する。例えば、前後推定移動量と移動体の移動量との差が所定のしきい値よりも小さい場合、「差がない」、と判定するとよい。
【０１１９】
次に、実施形態に係る異常検出処理について、図８を参照して説明する。図８は、異常検出処理を説明するフローチャートである。なお、この処理は所定のサイクルで繰り返される。
【０１２０】
異常検出装置１００は、異常検出処理が開始すると、特徴点を抽出する（ステップＳ８１）。特徴点抽出処理については後述する。
【０１２１】
異常検出装置１００は、抽出した特徴点の数が所定値以上であるか否かを判定する（ステップＳ８２）。特徴点の数が所定値よりも少ない場合（Ｓ８２：Ｎｏ）、異常検出装置１００は、カメラずれの判定は不能と判断（ステップＳ８３）して異常検出処理を終了する。
【０１２２】
抽出した特徴点の数が所定値以上である場合（Ｓ８３：Ｙｅｓ）、異常検出装置１００は、今回取得した画像に基づき抽出した特徴点と、前回取得した画像に基づき抽出した特徴点とに基づいてオプティカルフローを算出する（ステップＳ８４）。
【０１２３】
異常検出装置１００は、算出したオプティカルフローに対して座標変換を行い、移動ベクトルを算出する（ステップＳ８５）。
【０１２４】
異常検出装置１００は、算出した移動ベクトルに基づき移動体の推定移動量を推定する（ステップＳ８６）。
【０１２５】
異常検出装置１００は、推定した推定移動量と、車速に基づき算出した移動体の移動量とを比較し、カメラずれが発生しているか否かを判定（ステップＳ８７）し、異常検出処理を終了する。
【０１２６】
次に、実施形態に係る特徴点の抽出処理（ステップＳ８１）について、図９を参照して詳細に説明する。図９は、特徴点抽出処理を説明するフローチャートである。なお、例として判別画素を２つとしているがこの限りではない。
【０１２７】
異常検出装置１００は、特徴点抽出処理が開始すると、カメラから画像を取得する（ステップＳ９０１）。
【０１２８】
異常検出装置１００は、取得した画像から特徴点候補を抽出する（ステップＳ９０２）。
【０１２９】
異常検出装置１００は、抽出した特徴点候補から１つを選択（ステップＳ９０３）する。
【０１３０】
異常検出装置１００は、選択した１つの特徴点候補に対し、２種類の位置関係における判別画素を２つ特定する（ステップＳ９０４）。以下、２種類の位置関係を、それぞれ第１の位置関係、第２の位置関係とする。また、２つの判別画素はそれぞれ第１判別画素、第２判別画素とする。ここでは例として判別画素を２つとしているが、任意のＮ個（Ｎ≧２の自然数）としてもよい。
【０１３１】
異常検出装置１００は、第１判別画素と、特徴点候補との輝度差である第１輝度差を算出する（ステップＳ９０５）。
【０１３２】
異常検出装置１００は、第１輝度差と、第１の位置関係に対応する第１しきい値とを比較する（ステップＳ９０６）。第１輝度差が第１しきい値以下である場合（Ｓ９０６：Ｎｏ）、異常検出装置１００は、選択している１つの特徴点候補に対する処理を終了し、ステップＳ９１０以降を実行する。
【０１３３】
異常検出装置１００は、第１輝度差が第１しきい値より大きい場合（Ｓ９０６：Ｙｅｓ）、第２判別画素に対する処理を実行する。
【０１３４】
異常検出装置１００は、第２判別画素と、特徴点候補との輝度差である第２輝度差を算出する（ステップＳ９０７）。
【０１３５】
異常検出装置１００は、第２輝度差と、第２の位置関係に対応する第２しきい値とを比較する（ステップＳ９０８）。第２輝度差が第２しきい値以下である場合（Ｓ９０８：Ｎｏ）、異常検出装置１００は、選択している１つの特徴点候補に対する処理を終了し、ステップＳ９１０以降を実行する。
【０１３６】
異常検出装置１００は、第２輝度差が第２しきい値より大きい場合（Ｓ９０８：Ｙｅｓ）、選択している１つの特徴点候補を、特徴点として抽出する（ステップＳ９０９）。
【０１３７】
なお、判別画素を任意のＮ個設定する場合は、Ｓ９０５〜Ｓ９０６の処理を１セットとしてＮ回分繰り返すとよい。上記の説明ではＮ＝２の例として説明した。
【０１３８】
異常検出装置１００は、上記処理をすべての特徴点候補に対して実施したか判定する（ステップＳ９１０）。実施していなければ（Ｓ９１０：Ｎｏ）、まだ実施していない特徴点候補に対し、ステップ９０３以降を再度実行する。
【０１３９】
異常検出装置は、すべての特徴点候補に対して処理を実施していれば（Ｓ９１０：Ｙｅｓ）、特徴点抽出処理を終了する。
【０１４０】
＜３．３．異常検出装置の効果＞
次に実施形態に係る異常検出装置の効果について説明を行う。
【０１４１】
異常検出装置１００は、特徴点候補と所定の第１〜第Ｎの位置関係（Ｎは２以上の自然数）にある第１〜第Ｎ判別画素を特定する。
【０１４２】
異常検出装置１００は、抽出された特徴点候補と特定された第ｋ判別画素（ｋは１以上Ｎ以下の自然数）との輝度差を算出し、前記第ｋ輝度差を前記第ｋ位置関係に応じて設定された第ｋしきい値と比較する。
【０１４３】
これにより、異常検出装置１００は、特徴点候補近傍における路面凹凸に起因する非対称な輝度分布を検出することができ、時間的に安定して抽出が可能な特徴点を精度よく抽出することができる。
【０１４４】
また、異常検出装置１００は、特徴点候補を通る直線上に位置する画素を前記第１判別画素として特定し、前記直線上に位置するとともに前記抽出された特徴点候補を基準として前記第１判別画素の反対側に位置する画素を第２判別画素として特定する。
【０１４５】
これにより、異常検出装置１００は、特徴点候補近傍における非対称な輝度分布の原因の一つである、路面凹凸の陰影を精度よく捉えることが可能になり、時間的に安定して抽出が可能な特徴点をさらに精度よく抽出することができる。
【０１４６】
以上のように本実施の形態について説明を行ってきた。ここで従来技術との比較を行う。従来技術では、特徴量の比較によって、特徴点候補から特徴点の抽出を行うことが知られている。例えば白線のコーナーのような明暗がはっきりとした画像の特徴から得られる特徴点候補は高い特徴量が得られる。一方路面の凹凸のような比較的ぼんやりとした画像の特徴から得られる特徴点候補は、しきい値Ｔ付近の低い特徴量となる。
【０１４７】
つまり、時間的に安定して抽出が可能な特徴点は比較的高い特徴量を有している。一方時間的には安定して抽出しにくい特徴点は比較的低い特徴量を有している、と言うこともできる。このことを利用し、従来は特徴量に適宜しきい値を設定することで時間的に安定して抽出可能な特徴点を抽出する試みがなされてきた。しかしながら特徴量に対しては、適切なしきい値を引くことが難しかった。このため、過度に特徴点を減らしてしてしまったり、逆に特徴点を残しすぎたりすることがあった。このように、特徴点候補から特徴点を抽出する精度が低いことが課題であった。
【０１４８】
この原因の一つは、特徴量の大小は、輝度変化の大小に主に起因することにある。つまり路面の凹凸のように、非対称な特徴的な輝度分布を有する場合でも、輝度値の大小そのものは特徴量に反映しないことが多い。そのため従来手法のように特徴量自体を評価する手法では精度の高い抽出が難しかった。
【０１４９】
一方、本実施の形態では、上述のように特徴点候補の抽出を、特徴点候補近傍の輝度の分布に基づき行うことを特徴としている。異常検出装置１００は、特徴点候補を基準とする所定の位置関係に対応したしきい値を設定することで、路面の凹凸のように、非対称な特徴的な輝度分布を精度よく判別することができる。また、特徴点候補を通る直線上に位置関係を設定することで、非対称な輝度分布の原因の一つである凹凸の陰影を精度よく捉えることが可能となる。この結果、異常検出装置１００は、時間的に安定して抽出が可能な特徴点をさらに精度よく抽出することが可能である。
【０１５０】
次に変形例について説明を行う。
【０１５１】
変形例に係る異常検出装置１００は、特徴点候補を通る直線を、取得した画像の画素の記録方向に基づき決定する。図１０は、画素の記録方向に平行に直線を設定した場合の一例を示す図である。図１０では、画素の記録が画像の水平方向に対して行われている場合に、特徴点候補ＦＰＣを通る直線Ｌを水平方向に設定する。すなわち、判別画素は特徴点候補に対して水平方向に位置する所定の位置から特定する。図１０では、例としてΔｘ＝±３の位置に、判別画素ＤＰ１と、判別画素ＤＰ２との２つが特定されている。
【０１５２】
一般的にフレーム画像を構成する画素は、メモリ中では水平１行分の画素を１単位として記録されていることが多い。このため水平方向、つまり画素の記録方向に対して平行な方向には、メモリ上で隣接もしくは近接した位置に画素が記録されている。一方、例えば垂直方向や斜め方向など、画素の記録方向に対して平行でない方向に対しては、メモリ上で遠い位置に画素が記録されている。
【０１５３】
一般にＣＰＵに搭載されるキャッシュ機能などのメモリ先読み機能は、メモリ上で近い位置のデータに対しては先読み効果が高く、メモリ上で遠いデータに対しては先読み効果が低い。このため、異常検出装置１００がメモリ先読み機能を有する場合、画素の記録方向を、直線Ｌの方向に設定することでメモリ先読み機能の効果を上げ、計算時間を低減することができる。
【０１５４】
なお、上記では画素の記録方向として水平方向を例に説明を行ったがこの限りではない。垂直方向や斜め方向に画素が記録されていてもよい。
【０１５５】
また、上記変形例では、移動体の進行方向によって変化する光源方向に対し、特徴点候補を通る直線の方向が固定される。そのため、凹凸の陰影を精度よく捉えることができなくなる場合もありうる。そのため、予め画像を回転して、画素の記録方向と光源の方向とが合致するように構成してもよい。
【０１５６】
例えば、カメラ真正面に太陽、つまり光源がある場合、光源の方向は画像中で垂直方向となる。一方、変形例に係る異常検出装置は、特徴点候補に対して画素の記録方向、つまり水平方向の位置で判別画素を特定する。そのため凹凸の陰影を検出しにくいことがある。このような場合は、取得した画像をあらかじめ９０度回転させておく。すると、光源の方向が画像中で水平方向となり、画素の記録方向と光源の方向が合致する。これにより、凹凸の陰影を精度よく捉えることができ、時間的に安定して抽出が可能な特徴点をさらに精度よく抽出することが可能である。
【０１５７】
また、変形例に係る異常検出装置１００は、特徴点候補のフレーム画像内における位置に基づいて、判別画素を特定する位置関係に対して補正を行ってもよい。
【０１５８】
位置関係の補正について、図１１を用いて説明を行う。図１１は、フレーム画像ＰＩＣ中央付近の特徴点候補に対する判別画素と、フレーム画像ＰＩＣ外縁付近の特徴点候補に対する判別画素の位置関係の補正の一例を示す図である。
【０１５９】
前提として、無補正の場合は、例として特徴点候補から水平方向に３画素離れた位置関係（Δｘ＝±３）において、判別画素を特定するものとする。
【０１６０】
まず特徴点候補がフレーム画像ＰＩＣの。中央の領域Ａ１に位置するとする。この場合、異常検出装置１００は位置関係の補正は行わない。したがって、判別画素は無補正の場合である特徴点候補から水平方向に３画素離れた位置関係（Δｘ＝±３）において特定される。
【０１６１】
次に特徴点候補がフレーム画像ＰＩＣの、やや外縁の領域Ａ２に位置するとする。この場合、異常検出装置１００は位置関係を補正する。特徴点候補が画像の外縁に近いほど、判別画素が特徴点候補に近い位置から特定されるように、異常検出装置１００は、位置関係を補正する。具体的には、領域Ａ２では、無補正の場合の位置関係に対して、特徴点候補と判別画素との距離が６７％に縮むように補正する。つまり、領域Ａ２では、特徴点候補から水平方向に２画素離れた位置関係（Δｘ＝±２）において判別画素を特定するように、異常検出装置１００は位置関係を補正する。
【０１６２】
次に、特徴点候補がフレーム画像ＰＩＣのさらに外縁付近の領域Ａ３に位置するとする。この場合、異常検出装置１００は、特徴点候補が領域Ａ２に位置する場合よりも、さらに判別画素が特徴点候補に近い位置となるように補正する。具体的には、領域Ａ３では、無補正の場合の位置関係に対して、特徴点候補と判別画素との距離が３３％に縮むように補正する。つまり、領域Ａ３では、特徴点候補から水平方向に１画素離れた位置関係（Δｘ＝±１）において判別画素を特定するように、異常検出装置１００は位置関係を補正する。
【０１６３】
本実施例のように、移動体の周辺監視に用いられるカメラの光学系においては、魚眼レンズなどの広角レンズが用いられることが多い。そのため、画像中央に写る被写体に対して画像外縁に写る被写体の方が小さく写ることが多い。また、魚眼レンズを使用しない場合でも、フレーム画像外縁の路面の方が中央に比べて遠方に存在するため、フレーム画像中では小さく写る。つまり、路面凹凸による陰影も、画像中央よりも画像外縁の方が小さく写る。
【０１６４】
変形例のように、異常検出装置１００は、特徴点候補のフレーム画像中の位置に基づき、判別画素を特定する位置関係に対して補正を行うことで、フレーム画像上の陰影の大きさに対応した位置関係から判別画素を特定することが可能になる。これにより、フレーム画像全体にわたって精度よく特徴点を抽出することができる。
【０１６５】
上記説明においては、特徴点候補のフレーム画像ＰＩＣにおける特徴点候補の位置を、３つの領域に分けて説明を行ったが、これに限るものではない。異常検出装置１００は、特徴点候補のフレーム画像中の位置に基づき連続的に補正してもよい。例えば、異常検出装置１００は、フレーム画像の中心と、特徴点候補との距離を変数とする連続関数によって補正量を定め、位置関係を補正してもよい。また、異常検出装置１００は、特徴点候補のフレーム画像中の位置に対応する補正量をテーブルとしてあらかじめ定め、位置関係を補正してもよい。
【０１６６】
また、変形例に係る異常検出装置１００は、フレーム画像の輝度代表値に基づいてしきい値を補正してもよい。具体的には、異常検出装置１００は、フレーム画像の平均輝度を算出し、平均輝度に基づきしきい値を補正する。例えば、フレーム画像の平均輝度が所定のしきい値より高い場合は、異常検出装置１００は、第ｋのしきい値（ｋは１以上Ｎ以下の自然数）が無補正の場合より大きくなるように補正する。例えば１より大きい補正係数との積をとるとよい。
【０１６７】
フレーム画像の輝度代表値が高い場合は、周囲が明るい状態が多い。このような状態で撮影したフレーム画像はコントラストが高くなる。路面凹凸について見た場合、路面凹凸に起因する特徴点候補近傍は、輝度分布の山が高くなる傾向がある。
【０１６８】
また、画像の輝度代表値が低い場合は、逆に、周囲が暗い状態や、曇りのように陰影が生じにくい状態のことが多い。このためフレーム画像のコントラストが低くなる。路面凹凸について見た場合、路面凹凸に起因する特徴点候補近傍は、輝度分布の山が低くなる傾向がある。
【０１６９】
換言すると、周囲の明るさ、つまりフレーム画像の輝度代表値が変動すると、変動前は特徴点として抽出できていた特徴点候補が、変動後は抽出されなくなることがある。つまり時間的に安定して特徴点が抽出されなくなることがある。
【０１７０】
変形例に係る異常検出装置１００は、画像の輝度代表値に基づいてしきい値を補正する。これにより、特徴点候補近傍の輝度分布に変動が起こっても、時間的に安定して特徴点を抽出することができる。
【０１７１】
また、変形例に係る異常検出装置１００は、判別画素を特定する際に、複数の直線を用いてもよい。例えば、図３において、変形例に係る異常検出装置１００は、直線Ｌに直交する方向に別の直線を設定し、判別画素を該直線上からも特定するようにしてもよい。
【０１７２】
また、変形例に係る異常検出装置１００は、判別画素を特定する位置関係として整数の位置関係としなくてもよい。換言すると、画素と画素の間から判別画素を特定するように位置関係を設定してもよい。このような場合、画素と画素の補間値を用いて判別画素の輝度を算出するとよい。具体的には、Δｘ＝１．５、Δｙ＝１．５の位置関係から判別画素を特定する場合を考える。この場合、判別画素の輝度は、Δｘ＝１，２と、Δｙ＝１，２に位置する４つの画素に基づくバイリニア補間法など、公知の画素補間手法によって算出するとよい。
【０１７３】
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、本発明は上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
【産業上の利用可能性】
【０１７４】
本発明による異常検出装置は、移動体に搭載されたカメラの異常検出に利用可能である。
【符号の説明】
【０１７５】
１００  異常検出装置
１１０  取得部
１２０  候補抽出部
１３０  判別画素特定部
１４０  輝度差算出部
１５０  比較部
１６０  特徴点抽出部
１７０  異常検出部
２００  撮影部
３００  センサ部
４００  通信バス
【図１】
2020140478.tif 000009
【図２】
2020140478.tif 000010
【図３】
2020140478.tif 000011
【図４】
2020140478.tif 000012
【図５】
2020140478.tif 000013
【図６】
2020140478.tif 000014
【図７】
2020140478.tif 000015
【図８】
2020140478.tif 000016
【図９】
2020140478.tif 000017
【図１０】
2020140478.tif 000018
【図１１】
2020140478.tif 000019