(57)【要約】【課題】特殊な装置を要するエーミングを行うことなく、カメラのフォーカスずれによる認識性能の低下を回避する。【解決手段】正解画像抽出部１１でフォーカス調整の正解画像を抽出し、教師データ生成部１２で正解画像及びそのエッジ周波数分布を教師データとして、この教師データに、撮像時の位置データや撮像時刻、気象条件等の撮像情報を付加して教師データベースＤＢに登録する。そして、調整データ生成部１３で教師データと同じシーンの撮像画像を選出し、選出した画像のエッジ成分の周波数特性と教師データのエッジ成分の周波数特性との差分に基づいて、フォーカス調整の調整データを生成する。フォーカス調整部１４は、調整データを用いて画像鮮鋭化ないしはぼかし処理を行い、劣化画像のフォーカスずれを修正する。【選択図】図１
2017068462.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載したカメラで撮像した画像のフォーカス調整を行う車載カメラの画像調整装置であって、
自車両位置の測位情報と自車両の走行経路周辺の地図情報とに基づいて、前記カメラの撮像頻度が閾値以上のシーンを選出し、選出したシーンの撮像画像からフォーカス調整の教師となる正解画像を抽出する正解画像抽出部と、
前記正解画像抽出部で抽出した正解画像のエッジ成分の周波数特性を含む教師データを生成する教師データ生成部と、
前記教師データと前記カメラの撮像画像とを照合して前記教師データと同じシーンの撮像画像を選出し、選出した撮像画像と前記教師データとのエッジ成分の周波数特性の差分に基づいてフォーカスずれの調整データを生成する調整データ生成部と、
前記調整データに基づいて前記カメラの撮像画像のフォーカス調整を行うフォーカス調整部と
を備えることを特徴とする車載カメラの画像調整装置。
【請求項２】
前記正解画像抽出部は、前記撮像画像中の静止物の割合が設定値以上の画像を選出し、選出した画像の中でエッジ成分の周波数分布に最も偏りが少ない画像を正解画像として抽出することを特徴とする請求項１記載の車載カメラの画像調整装置。
【請求項３】
前記教師データ生成部は、前記教師データに前記正解画像の画像特徴量と撮像情報とを付加してデータベースに登録することを特徴とする請求項１又は２記載の車載カメラの画像調整装置。
【請求項４】
前記調整データ生成部は、前記調整データを、前記教師画像のエッジ成分の周波数特性と同じ特性を得てフォーカスずれを修正するデータとして生成することを特徴とする請求項１〜３の何れか一に記載の車載カメラの画像調整装置。
【請求項５】
前記フォーカス調整部は、前記調整データに基づいて前記撮像画像の鮮鋭化処理ないしはぼかし処理を行うことを特徴とする請求項１〜４の何れか一に記載の車載カメラの画像調整装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されるカメラで撮像した画像のフォーカス調整を行う車載カメラの画像調整装置に関する。
【背景技術】
【０００２】
近年、自動車等の車両においては、カメラで撮像した画像を処理して車両周囲の走行環境を認識し、ドライバの運転操作を支援する装置が開発、実用化されている。例えば、特許文献１には、認識対象の物体を的確なタイミングで且つ高精度に認識できる車両周辺監視装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４７９４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一般に、画像による物体認識用のカメラは、固定フォーカスのカメラが多く、経年変化等によるレンズの膨張・縮小により、フォーカスずれが発生する場合がある。このフォーカスずれが発生すると画像エッジ等の画像特徴量が変化して認識性能が低下する虞があり、調整用スクリーンや校正装置等の特殊な装置を用いてのエーミングが必要となる。
【０００５】
本発明は上記事情に鑑みてなされたもので、特殊な装置を要するエーミングを行うことなく、カメラのフォーカスずれによる認識性能の低下を回避することのできる車載カメラの画像調整装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一態様による車載カメラの画像調整装置は、車両に搭載したカメラで撮像した画像のフォーカス調整を行う車載カメラの画像調整装置であって、自車両位置の測位情報と自車両の走行経路周辺の地図情報とに基づいて、前記カメラの撮像頻度が閾値以上のシーンを選出し、選出したシーンの撮像画像からフォーカス調整の教師となる正解画像を抽出する正解画像抽出部と、前記正解画像抽出部で抽出した正解画像のエッジ成分の周波数特性を含む教師データを生成する教師データ生成部と、前記教師データと前記カメラの撮像画像とを照合して前記教師データと同じシーンの撮像画像を選出し、選出した撮像画像と前記教師データとのエッジ成分の周波数特性の差分に基づいてフォーカスずれの調整データを生成する調整データ生成部と、前記調整データに基づいて前記カメラの撮像画像のフォーカス調整を行うフォーカス調整部とを備える。
【発明の効果】
【０００７】
本発明によれば、特殊な装置を要するエーミングを行うことなく、カメラのフォーカスずれによる認識性能の低下を回避することができる。
【図面の簡単な説明】
【０００８】
【図１】車載カメラの画像調整装置を示す構成図
【図２】地図上の撮像頻度を示す説明図
【図３】候補画像を示す説明図
【図４】エッジ画像を示す説明図
【図５】エッジ周波数特性を示す説明図
【図６】教師画像及び劣化画像を示す説明図
【図７】教師画像及び劣化画像のエッジ画像を示す説明図
【図８】教師画像及び劣化画像のエッジ周波数特性を示す説明図
【図９】教師画像と劣化画像のエッジ周波数差分で調整したエッジ周波数分布を示す説明図
【図１０】教師データ生成処理のフローチャート
【図１１】調整データ生成処理のフローチャート
【図１２】フォーカス調整処理のフローチャート
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施の形態を説明する。図１において、符号１は、自動車等の車両に車載されるカメラであり、例えばＣＣＤやＣＭＯＳ等の撮像素子を有する固定焦点のカメラで車両に１台乃至複数台搭載されている。カメラ１には、画像調整装置１０が接続され、経年劣化等によるカメラ１のレンズ焦点のずれに起因する撮像画像のフォーカスずれが画像処理によって調整される。
【００１０】
尚、画像調整装置１０は、例えば、カメラ１の撮像画像に基づく車外環境認識システムの一部として組み込まれ、フォーカス調整された画像（フォーカスずれが修正された画像）を元画像として物体認識等の処理が行われ、その認識結果に基づいて各種運転支援制御が実行される。
【００１１】
画像調整装置１０には、ＧＰＳ等の測位衛星からの信号に基づいて自車両位置を測位する測位装置２０と、地図データベースを有するナビゲーション装置３０とが接続されている。画像調整装置１０は、測位装置２０からの測位情報とナビゲーション装置３０からの地図情報とに基づいて特定される車両走行時の所定のシーンにおいて、カメラ１で撮像した画像のフォーカス調整を行う。
【００１２】
このため、画像調整装置１０は、カメラ画像のフォーカス調整に係る機能部として、正解画像抽出部１１、教師データ生成部１２、調整データ生成部１３、フォーカス調整部１４を備えている。また、正解画像抽出部１１は、特定のシーンを参照するための撮像頻度マップＭＰを備え、教師データ生成部１２は、フォーカス調整の教師データを格納する教師データベースＤＢを備えている。
【００１３】
正解画像抽出部１１は、測位装置２０から得られる自車両位置の測位情報と、ナビゲーション装置３０から得られる自車両の走行経路周辺の地図情報とに基づいて、撮像頻度が閾値以上のシーンを選出する。そして、選出したシーンの画像からフォーカス調整の教師となる正解画像を抽出する。
【００１４】
具体的には、車両走行時に、カメラ１と測位装置２０とを連動させ、カメラ１の撮像時の自車両位置の測位データから地図上の位置を特定し、図２に示すような撮像頻度マップＭＰを構築する。この撮像頻度マップＭＰは、撮像時刻を含む測位情報に基づく地図上の各位置に、撮像頻度、シーンの撮像条件、撮像時の気象条件等を記録したものである。図２においては、地図上の濃淡で撮像頻度の高低を示しており、相対的に濃い部分が撮像頻度が低いシーンとなることを示している。
【００１５】
そして、撮像頻度マップＭＰによる撮像頻度が予め設定した閾値以上の条件（同時刻の出現頻度が高い条件）を満足する場合に、撮像条件が略同一のシーンの画像を選出し、選出した画像の中から、以下の（１），（２）の条件を満たす画像を、フォーカス調整の正解画像として抽出する。
【００１６】
（１）画像中に静止物が多い条件
画像中の物体の動きを、例えばオプティカルフロー等による動画像処理によって検出し、画像中の静止物の割合が設定割合以上である画像を、正解画像に対する候補画像として選出する。
【００１７】
（２）画像のエッジ成分の周波数分布に偏りが少ない条件
候補画像の中から、エッジ成分の周波数分布に最も偏りが少ない画像を正解画像として抽出する。これは、後述するように、フォーカスずれが生じた劣化画像に対して、正解画像（教師画像）とのエッジ周波数特性の差に基づいてフォーカス調整を行うためであり、エッジ周波数特性が偏ると調整が極めて限定的になるためである。
【００１８】
例えば、図２の領域Ａ，Ｂの撮像頻度が高いシーンに着目すると、図３（ａ），（ｂ）に示すような候補画像Ｇ１，Ｇ２が得られる。領域Ａのシーンでは、図３（ａ）に示すように、ビル等の建物Ａ１、信号機Ａ２、ガードレールＡ３等の静止物が候補画像Ｇ１中に映し出されており、領域Ｂのシーンでは、図３（ｂ）に示すように、建物Ｂ１，Ｂ２が候補画像Ｇ２中に映し出されている。
【００１９】
候補画像Ｇ１，Ｇ２のエッジ成分を検出すると、図４（ａ），（ｂ）に示すようなエッジ画像Ｅ１，Ｅ２が得られ、エッジ成分の周波数ヒストグラムを作成すると、図５（ａ），（ｂ）に示すような周波数分布となる。図５（ａ）に示す候補画像Ｇ１のエッジ周波数Ｆ１の分布は、建物Ａ１、信号機Ａ２、ガードレールＡ３が背景に対して略均等に存在しており、エッジ周波数分布に偏りが比較的少ない特性となっている。一方、図５（ｂ）に示す候補画像Ｇ２のエッジ周波数Ｆ２の分布は、画像中で建物Ｂ１の背景との濃度差が小さい部分の占める割合が大きく、建物Ｂ１側と建物Ｂ２側とで大きく異なる特性となっている。
【００２０】
従って、正解画像抽出部１１は、候補画像Ｇ１，Ｇ２のうち、エッジ周波数分布に偏りが少ない画像Ｇ１を、フォーカス調整にふさわしい正解画像として抽出する。この正解画像は教師データ生成部１２に送られ、フォーガス調整の教師データが生成される。
【００２１】
教師データ生成部１２は、正解画像抽出部１１で抽出された正解画像及びそのエッジ周波数分布を教師データとして、この教師データに、撮像時の位置データや撮像時刻、気象条件等の撮像情報を付加して、教師データベースＤＢに登録する。教師データベースＤＢに登録される正解画像（教師画像）は、撮像頻度マップＭＰと関連付けられ、教師画像のシーンが特定される。
【００２２】
また、教師データ生成部１２は、教師画像の画像特徴量を抽出し、教師データベースＤＢに登録する。教師画像の画像特徴量は、教師画像とのマッチングによって調整対象の画像を特定するためのデータであり、例えば、物体のコーナー部等の端点や、同一濃度等の特定のエリアの中心点等をマッチング用の画像特徴量として抽出する。
【００２３】
調整データ生成部１３は、教師データベースＤＢの教師データとカメラ１の撮像画像とを照合して、教師データと同じシーンの撮像画像を選出する。そして、選出した画像のエッジ成分の周波数特性と教師データのエッジ成分の周波数特性との差分に基づいて、フォーカス調整の調整データを生成する。
【００２４】
この調整データは、保存された教師画像と同じエッジ周波数特性を得ることで、撮像画像のフォーカスずれを修正するためのデータであり、例えば、フィルタ処理による画像鮮鋭化ないしはぼかし処理を行う際のフィルタ係数を、エッジ周波数分布の差分に基づいて設定する。
【００２５】
フォーカス調整部１４は、フォーカスずれが発生していると判断される画像（劣化画像）に対して、調整データ生成部１３で生成された調整データを用いて超解像処理等による画像鮮鋭化ないしは平滑化フィルタ等によるぼかし処理を行い、劣化画像のフォーカスずれを修正する。
【００２６】
フォーカスずれの判断は、教師画像と同じ場所を撮像した画像のエッジ周波数特性が教師画像のエッジ周波数特性から一定以上乖離したか否かによって判断する。すなわち、教師画像と同じシーンを撮像した画像のエッジ周波数特性が教師画像のエッジ周波数特性から所定値以上乖離し、その頻度が閾値以上になった場合、フォーカスずれが発生したと判断する。
【００２７】
画像鮮鋭化やぼかし処理によるフォーカス調整は、教師画像と劣化画像とのエッジ周波数分布の差に応じて選択的に実施され、例えば、劣化画像を元画像として、エッジ検出画像、ぼかし画像を、エッジ周波数の特性の差に応じて設定される比率で重みつけ加算する等して、保存された教師画像と同じエッジ周波数特性を得るように調整する。
【００２８】
例えば、図３（ａ）の正解画像Ｇ１を教師画像Ｇｔとした場合、図６（ａ）に示す教師画像Ｇｔと同じシーンを撮像した図６（ｂ）の劣化画像Ｇｄについてエッジを検出すると、図７（ｂ）に示すようなエッジ画像Ｅｄが得られる。このエッジ画像Ｅｄは、図７（ａ）に示す教師のエッジ画像Ｅｔと比較して物体の輪郭がぼけており、図８（ｂ）に示すエッジ周波数Ｆｄの分布は、図８（ａ）に示す教師画像のエッジ周波数Ｆｔの分布に対して、周波数分布に偏りが生じている。
【００２９】
このような劣化画像Ｇｄに対して、図９に示すように、教師画像のエッジ周波数Ｆｔと劣化画像のエッジ周波数Ｆｄとの差分ΔＦをとり、劣化画像を元画像として重ね合わせることで、教師画像のエッジ周波数Ｆｔと同じ特性のエッジ周波数Ｆｔ’を得ることができる。その結果、図６（ｂ）の劣化画像Ｇｄを、図６（ａ）の教師画像Ｇｔと同等のフォーカス特性を有する画像とすることができる。
【００３０】
次に、画像調整装置１０のフォーカス調整に係るプログラム処理について、図１０〜図１２のフローチャートを用いて説明する。図１０〜図１２のフローチャートは、ぞれぞれ、教師データ生成処理、調整データ生成処理、フォーカス調整処理の流れを示すフローチャートである。
【００３１】
先ず、図１０の教師データ生成処理について説明する。この処理では、最初のステップＳ１で、カメラ１で撮像した画像の撮像頻度が閾値以上か否かを、ＧＰＳ等による測位情報及び時間情報に基づく撮像頻度マップＭＰを参照して判断する。そして、撮像頻度が閾値に達していない場合は、ステップＳ１から本処理を抜け、撮像頻度が閾値以上の場合、ステップＳ２へ進む。
【００３２】
ステップＳ２では、撮像画像中の物体の運動を検出して静止物が多いシーンを判断し、画像中の静止物の割合が設定値以上の撮像画像（候補画像）をストアする。そして、ステップＳ３で撮像画像（候補画像）のエッジ周波数分布を調べ、エッジ周波数分布に最も偏りが少ない候補画像を正解画像として教師データを決定する。
【００３３】
その後、ステップＳ４へ進み、教師画像と入力画像のマッチング用の画像特徴量を検出する。そして、ステップＳ５で、教師画像の周波数ヒストグラム及び画像特徴量による教師データに、撮像時の位置データや撮像時刻、気象条件等の撮像情報を付加して、教師データベースＤＢに登録する。
【００３４】
尚、教師データベースＤＢには、各シーンの教師画像が多数保存され、例えば、一定数の劣化画像が調整されて所定期間が経過する等の条件を満たしたとき、データベースが更新される。
【００３５】
次に、図１１の調整データ生成処理について説明する。調整データの生成に際しては、先ず、今回の撮像画像（入力画像）が教師データと同じシーンの画像であるか否かを判断する。このため、最初のステップＳ１１において、ＧＰＳ等による測位情報及び時間情報による撮像頻度から、教師画像の撮像場所と同一の場所を検出する。
【００３６】
教師画像の撮像場所と同一の場所を検出した場合、ステップＳ１２へ進み、入力画像と教師データとを画像特徴量を用いてマッチングして、同位置・同方向の同じシーンの撮像か否かを判断する。
【００３７】
入力画像が教師データと同位置・同方向の同じシーンの撮像である場合、ステップＳ１３で入力画像のエッジ周波数特性と教師データのエッジ周波数特性との差分から、画像のフォーカスずれを検出する。そして、ステップＳ１４で、エッジ周波数特性の差分より、フォーカスずれを修正する調整データを決定する。
【００３８】
この調整データによる入力画像のフォーカス調整は、図１２のフォーカス調整処理によって実施される。すなわち、フォーカス調整処理のステップＳ２１において、調整データに基づいて入力画像の強調ないしは平滑化処理を実行することで、フォーカスずれを修正する。
【００３９】
このように本実施の形態においては、フォーカス調整の正解画像と同じシーンを撮像した画像のエッジ周波数特性の差に基づいてフォーカス調整用の調整データを生成し、この調整データを用いて画像の鮮鋭化処理ないしはぼかし処理を行うことにより、経年変化等によるレンズの膨張・縮小によるフォーカスずれを修正する。これにより、カメラのフォーカスずれによる認識性能の低下を回避することができる。
【００４０】
しかも、車両走行時に自動的にフォーカス調整を行うことができるため、調整用スクリーンや校正装置等の特殊な装置を用いてエーミングを行う必要がなく、調整のための車両入庫の手間を省いてユーザの利便性を向上することができる。
【符号の説明】
【００４１】
１  カメラ
１０  画像調整装置
１１  正解画像抽出部
１２  教師データ生成部
１３  調整データ生成部
１４  フォーカス調整部
２０  測位装置
３０  ナビゲーション装置
ＤＢ  教師データベース
ＭＰ  撮像頻度マップ
Ｇｄ  劣化画像
Ｇｔ  教師画像
【図１】
2017068462.tif 000003
【図４】
2017068462.tif 000004
【図５】
2017068462.tif 000005
【図７】
2017068462.tif 000006
【図８】
2017068462.tif 000007
【図９】
2017068462.tif 000008
【図１０】
2017068462.tif 000009
【図１１】
2017068462.tif 000010
【図１２】
2017068462.tif 000011
【図２】
2017068462.tif 000012
【図３】
2017068462.tif 000013
【図６】
2017068462.tif 000014