(57)【要約】【課題】少ない演算量で画像の表示位置を補正することができる画像処理装置、画像処理方法、画像処理プログラム、及び画像表示装置を提供する。【解決手段】位置推定部は物体の位置を推定し、基準画像決定部は撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定し、座標変化量算出部は前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出し、画像補正部は前記変化量に基づいて前記撮影された画像を補正する。【選択図】図１
2013190940.tif 000002
【特許請求の範囲】
【請求項１】
物体の位置を推定する位置推定部と、
撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する基準画像決定部と、
前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する座標変化量算出部と、
前記変化量に基づいて前記撮影された画像を補正する画像補正部と、
を備えることを特徴とする画像処理装置。
【請求項２】
撮影された画像から、所定の特徴量を有する特徴部分を抽出する特徴抽出部を備え、
前記基準画像決定部は、
前記抽出された特徴部分のうち前記推定された位置に対応する表示位置と重なる特徴部分に基づいて前記基準画像領域を定めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記基準画像領域の特徴部分と過去の画像における特徴部分を照合して前記基準画像領域と対応する領域を定める基準画像対応部を、
備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像補正部は、
前記撮影された画像に含まれる信号値毎の座標を、前記変化量を累積した補正量だけ補償された座標に移動させることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
画像処理装置における画像処理方法であって、
前記画像処理装置が、物体の位置を推定する第１の過程と、
前記画像処理装置が、撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する第２の過程と、
前記画像処理装置が、前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する第３の過程と、
前記画像処理装置が、前記変化量に基づいて前記撮影された画像を補正する第４の過程と、
を有することを特徴とする画像処理方法。
【請求項６】
画像処理装置のコンピュータに、
物体の位置を推定する手順、
撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する手順、
前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する手順、
前記変化量に基づいて前記撮影された画像を補正する手順、
を実行させる画像処理プログラム。
【請求項７】
物体の位置を推定する位置推定部と、
撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する基準画像決定部と、
前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する座標変化量算出部と、
前記変化量に基づいて前記撮影された画像を補正する画像補正部と、
を備えることを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及び画像表示装置に関する。
【背景技術】
【０００２】
従来から、車両の周囲の画像や、その画像から検出された障害物等の情報を運転者に提示する技術が提案されている。車両に設置したカメラは、走行時の振動や貨物の積載状態の変化によって撮影方向が変化するため、画像の表示が乱れることがある。そこで、撮影方向の変化を検出するために、撮影された画像からある特徴を有する表示領域を検知する方法や、所定の表示領域のデータを用いて目標の物体を検知する方法がある。十分な検知精度を得るためには、ある特徴を有する表示領域を検知する方法を用いる。
【０００３】
例えば、特許文献１に記載の物体検出装置は、レーダ検出部により検出された検出点データを参照して撮像された画像データを探索し、検出対象物体に対応する画像部分を検出し、検出された検出点データから検出対象物体に対応する検出点データを抽出し、抽出された検出点データに合わせて検出された画像部分の位置を補正する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６１５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の物体検出装置によれば、検出対象物体の検出点に対応する画像部分の位置を補正するため、画像全体を補正するには演算量が多いという課題がある。
【０００６】
本発明は上記の点に鑑みてなされたものであり、少ない演算量で画像の表示位置を補正することができる画像処理装置、画像処理方法、画像処理プログラム、及び画像表示装置を提供する。
【課題を解決するための手段】
【０００７】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、物体の位置を推定する位置推定部と、撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する基準画像決定部と、前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する座標変化量算出部と、前記変化量に基づいて前記撮影された画像を補正する画像補正部と、を備えることを特徴とする画像処理装置である。
【０００８】
（２）本発明のその他の態様は、上述の画像処理装置であって、撮影された画像から、所定の特徴量を有する特徴部分を抽出する特徴抽出部を備え、前記基準画像決定部は、前記抽出された特徴部分のうち前記推定された位置に対応する表示位置と重なる特徴部分に基づいて前記基準画像領域を定めることを特徴とする。
【０００９】
（３）本発明のその他の態様は、上述の画像処理装置であって、前記基準画像領域の特徴部分と過去の画像における特徴部分を照合して前記基準画像領域と対応する領域を定める基準画像対応部を、備えることを特徴とする。
【００１０】
（４）本発明のその他の態様は、上述の画像処理装置であって、前記画像補正部は、前記撮影された画像に含まれる信号値毎の座標を、前記変化量だけ補償された座標に移動させることを特徴とする。
【００１１】
（５）本発明のその他の態様は、画像処理装置における画像処理方法であって、前記画像処理装置が、物体の位置を推定する第１の過程と、前記画像処理装置が、撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する第２の過程と、前記画像処理装置が、前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する第３の過程と、前記画像処理装置が、前記変化量に基づいて前記撮影された画像を補正する第４の過程と、を有することを特徴とする画像処理方法である。
【００１２】
（６）本発明のその他の態様は、画像処理装置のコンピュータに、物体の位置を推定する手順、撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する手順、前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標変化量を算出する手順、前記座標変化量に基づいて前記撮影された画像を補正する手順、を実行させる画像処理プログラムである。
【００１３】
（７）本発明のその他の態様は、物体の位置を推定する位置推定部と、撮影された画像から、前記推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分と重なる基準画像領域を決定する基準画像決定部と、前記基準画像領域と対応する領域を過去に撮影された画像から検出し、前記対応する領域から前記基準画像領域までの座標の変化量を算出する座標変化量算出部と、前記変化量に基づいて前記撮影された画像を補正する画像補正部と、を備えることを特徴とする画像表示装置である。
【発明の効果】
【００１４】
本発明によれば、少ない演算量で画像の表示位置を補正することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る画像処理システムを表す概念図である。
【図２】本実施形態に係る画像表示装置の構成を表す概略図である。
【図３】本実施形態に係る位置推定部が推定した物体の位置の一例を表す概念図である。
【図４】本実施形態に係る画像処理部に入力された画像の一例を表す概念図である。
【図５】基準画像領域及び対応領域の一例を表す概念図である。
【図６】補正した画像の一例を表す概念図である。
【図７】本実施形態に係る画像処理を表すフローチャートである。
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
図１は、本実施形態に係る画像処理システム１を表す概念図である。
画像処理システム１は、画像表示装置１０、カメラ１１及び送受信部１２を含んで構成される。図１において画像表示装置１０、カメラ１１及び送受信部１２は、車両３に搭載されている。カメラ１１は、その光軸が車両３の前方、即ち先行する車両４の方向に向けて車両３に固定されている。送受信部１２は、前方に向くように車両３に固定されている。ここで、カメラ１１が画像を撮影できる被写体の位置の範囲である視野角と、送受信部１２が受信した受信信号に基づいて物体毎の位置を検知できる物体の範囲である検知領域は、ともに車両３の前方であって互いに重複する。つまり、この重複する領域にある物体は、カメラ１１の被写体となる。
【００１７】
図２は、本実施形態に係る画像表示装置１０の構成を表す概略図である。
図２において、カメラ（撮影部）１１は、物体の画像を撮影し、撮影した画像を表す画像信号を、予め定めた時間間隔（例えば、１／３０秒）でフレーム毎に画像処理部１３に出力する。
送受信部１２は、後述する位置推定部１３１が物体の位置情報を推定するために用いる送信信号を送信し、受信信号を受信する。位置推定部１３１が、例えば、マイクロ波レーダを含んで構成される場合には、送受信部１２は、送信信号をマイクロ波として送信し、マイクロ波として受信信号を受信するアンテナ群である。位置推定部１３１が、例えば、レーザ距離計を含んで構成される場合には、送受信部１２は、送信信号をレーザ光として送信する光源部と、反射光を受信信号として受信する受光部とを含む。なお、送受信部１２は、カメラ１１から予め定めた範囲内（例えば２ｍ）に近接して設置されている。
【００１８】
画像表示装置１０は、画像処理部１３と画像出力部１４を含んで構成される。画像処理部１３は、画像処理装置単体、例えば、着脱又は携帯可能なモジュールとして構成されていてもよい。
画像出力部１４は、画像表示装置１０から入力された画像信号を出力する。画像出力部１４は、例えば、その画像信号を他の機器に出力する出力インタフェースであってもよいし、その画像信号が表す画像を表示するディスプレイ装置であってもよい。
【００１９】
画像処理部１３は、位置推定部１３１、座標変換部１３２、特徴抽出部１３３、基準画像決定部１３４、基準画像対応部１３５、座標変化量算出部１３６及び画像補正部１３７を含んで構成される。
【００２０】
位置推定部１３１は、送受信部１２が受信した受信信号に基づいて物体毎の位置を推定する。位置推定部１３１は、当該位置情報をカメラ１１が撮影した画像を用いずに推定する。位置推定部１３１は、推定した位置を表す位置情報を座標変換部１３２に出力する。
位置推定部１３１は、例えばマイクロ波レーダである。位置推定部１３１は、マイクロ波帯域（例えば、６０ＧＨｚ）の送信信号を送受信部１２に出力し、送受信部１２から入力された受信信号に基づいて物体毎の位置情報を推定する。推定した位置情報は、方向情報と距離情報を含む。位置推定部１３１は、例えば、ディジタルビームフォーミング（Ｄｉｇｉｔａｌ  Ｂｅａｍ  Ｆｏｒｍｉｎｇ、ＤＢＦ）法を用いて物体毎の方向情報を推定する。位置推定部１３１は、例えば、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ  Ｍｏｄｕｌａｔｅｄ  Ｃｏｎｔｉｎｕｏｕｓ−ｗａｖｅ、周波数変調連続波）法を用いて物体毎の距離情報を推定する。
【００２１】
位置推定部１３１は、マイクロ波レーダに限られず、例えばレーザ距離計（Ｌａｓｅｒ  Ｒａｎｇｅ  Ｆｉｎｄｅｒ、ＬＲＦ）を含んで構成されていてもよい。位置推定部１３１は、送受信部１２が送信した送信信号の位相と受信した受信信号の位相との差に基づいて物体毎の距離情報を推定し、受信信号を受信した方向に基づいて物体毎の方向情報を推定する。
【００２２】
次に位置推定部１３１が推定した物体の位置の一例について説明する。
図３は、本実施形態に係る位置推定部１３１が推定した物体の位置の一例を表す概念図である。
図３において、送受信部１２の先端に頂点を有し破線で示される扇形は、位置推定部１３１が物体の位置を検知することができる検知領域５１を表す。検知領域５１の内部右側に示されている四角形は、車両４が検知された位置を示す。検知領域５１の内部上側に示されている黒丸は、障害物４１が検知された位置を示す。
【００２３】
図２に戻り、座標変換部１３２は、位置推定部１３１から入力された物体毎の位置情報について、ある座標系（例えば、世界座標系）で表された位置情報から、他の座標系（例えば、画像座標系）で表された位置情報（以下、座標変換位置情報と呼ぶことがある）に変換する。座標変換部１３２は、物体毎の位置情報と変換した座標変換位置情報とを対応付けて基準画像決定部１３４に出力する。
【００２４】
世界座標系（グローバル座標系（ｇｌｏｂａｌ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）とも呼ばれる）とは、空間の中で物体の位置を示すために空間全体を表す３次元の座標系である。画像座標系とは、カメラ１１の撮影素子（イメージセンサ）に画像が投影された投影面上の２次元の座標系である。
座標変換部１３２は、世界座標系で表された位置情報（Ｘ，Ｙ，Ｚ）を、例えば式（１）を用いて画像座標系で表された位置情報（ｕ，ｖ）に変換する。
【００２５】
【数１】
2013190940.tif 000003
【００２６】
式（１）において、Ｚは、カメラ１１の光学系の焦点（以下、単に焦点と呼ぶことがある）を原点とし、光軸方向（Ｚ軸方向）の座標を表す。Ｘは、焦点を原点とし、光軸方向と垂直であって水平面に平行な方向（Ｘ軸方向）の座標を表す。Ｙは、焦点を原点とし、Ｘ軸方向、Ｚ軸方向ともに垂直な方向（Ｙ軸方向）の座標を表す。ｆは、カメラ１１の光学系の焦点距離を表す。従って、式（１）は、上記の世界座標系で表した座標値のうち、水平成分Ｘ並びに垂直成分Ｙをそれぞれ奥行成分Ｚと焦点距離ｆとの比Ｚ／ｆで規格化して画像座標系における座標値（ｕ，ｖ）を算出することを示す。座標変換部１３２は、画像座標系で表された位置情報（ｕ，ｖ）をさらに画素ピッチｐ（画素間間隔）で除算することで、検知された物体毎の位置情報を画素単位で算出することができる。即ち、画素単位で表された物体毎の位置情報は、当該物体が撮影された画像に表される位置を表す。なお、本実施形態では、焦点距離ｆ、画素ピッチｐは、カメラ１１の設計パラメータとして既知である。また、上記の世界座標系（Ｘ，Ｙ，Ｚ）の原点、各座標軸方向は、カメラ１１及び送受信部１２の設置位置及び設置方向に依存するパラメータとして既知である。
【００２７】
特徴抽出部１３３は、カメラ１１からフレーム毎に画像信号が入力される。特徴抽出部１３３は、フレーム毎の画像信号について画素毎に特徴量を算出し、算出した特徴量が所定の値の範囲にある画素の集合からなる部分を特徴部分と定める。特徴抽出部１３３は、特徴部分として、例えばエッジ部及び特徴点を定める。エッジ部とは、輝度値が空間的に急激に変化する座標が空間的に連続する部分、例えば物体の輪郭を表す部分である。特徴点とは、輝度値が空間的に急激に変化する座標であって、その周囲の座標から孤立している座標、例えば、輝度のピーク点、輪郭のコーナー点、線画の末端、等である。
【００２８】
特徴抽出部１３３は、特徴量として、例えば水平方向に隣接する画素間の差分（水平方向差分）、垂直方向に隣接する画素間の差分（垂直方向差分）を算出する。特徴抽出部１３３は、例えば、水平方向差分の絶対値又は垂直方向差分の絶対値が予め定めた閾値よりも大きい座標が、予め定めた個数よりも多く空間的に連続する領域をエッジ部と定める。特徴抽出部１３３は、例えば、水平方向差分の絶対値及び垂直方向差分の絶対値が予め定めた閾値よりも大きい座標が、予め定めた個数よりも少なく連続する領域を特徴点と定める。エッジ部は、撮影された画像において車両の外形を表す部分に表れることがある。特徴点は、車両の付属物や遠方の建造物を表す部分に表れることがある。
特徴抽出部１３３は、特徴部分を表す特徴部分情報を生成し、生成した特徴部分情報を基準画像決定部１３４に出力する。特徴部分情報は、例えば、画素毎に特徴部分に属すか否かを表す信号値で表される。この信号値は、例えば、特徴部分に属す画素について１、特徴部分に属さない画素について０と与えられる。
【００２９】
基準画像決定部１３４は、座標変換部１３２から物体毎の位置情報と座標変換位置情報が入力され、特徴抽出部１３３から特徴部分情報が入力される。
基準画像決定部１３４は、入力された位置情報から、予め定めた距離の閾値（例えば、１００ｍ）よりも大きい位置を表す位置情報を抽出する。選択される物体毎の位置情報は、少なくとも１個あればよい。一般に、遠方にある物体を表す画像ほど、その画像が表示される位置の単位時間当たりの変化量は小さくなる。従って、距離の閾値は、対応する物体を表す画像の部分が静止していると認められる距離より大きければ１００ｍとは異なっていてもよい。１フレームの画像について複数個の物体が表されるが、１フレームの画像において、遠方の物体を表す領域が一般に狭い領域に限られる。
【００３０】
基準画像決定部１３４は、抽出した位置情報に対応する座標変換位置情報が表す位置（画像座標系で表されている）又は、その座標変換位置情報が表す位置から予め定めた範囲（画像座標系で表されている）と一部又は全部が重なる特徴部分を、入力された特徴部分情報が表す特徴部分の中から選択する。即ち、基準画像決定部１３４は、撮影された画像のうち、予め定めた距離の閾値よりも遠方の物体を表す特徴部分を選択する。基準画像決定部１３４は、選択した特徴部分を含む領域（例えば、特徴部分の中心を、中心とする領域）であって予め定めた大きさ及び形状（例えば、四角形）の領域を基準画像領域と決定する。基準画像決定部１３４は、物体毎の位置から予め定めた領域の一部又は全部が重なるように１個の基準画像領域を定めればよく、基準画像領域は１フレームの画像全体よりも小さい領域であってよい。
【００３１】
基準画像領域の大きさは、例えば、物体に対する焦点距離として、前述の距離の閾値（例えば、１００ｍ）に対応するカメラ１１の視野角（例えば、２°）で規定されていてもよい。また、基準画像領域の大きさは、かかる視野角に対応する、水平方向及び垂直方向の画素数（例えば、水平方向４８画素、垂直方向３２画素）で規定されていてもよい。基準画像決定部１３４は、決定した基準画像領域を表す基準画像情報を生成する。基準画像決定部１３４は、生成した基準画像情報と入力された特徴部分情報とを基準画像対応部１３５に出力する。
【００３２】
次に基準画像領域の一例について説明する。
図４は、本実施形態に係る画像処理部１３に入力された画像の一例を表す概念図である。
図４は、カメラ１１から画像処理部１３に入力された画像６２を表す。画像６２の中央左側に、障害物４１が表されている。画像６３の中央上側に、車両４が表されている。車両４が表されている部分を囲む破線で表された四角形は、基準画像領域６１を示す。
車両４が表されている部分は、特に車両４の輪郭において輝度値が空間的に急激に変化する。そのため、特徴抽出部１３３は、車両４を表す部分をエッジ部、即ち特徴部分と定める。位置推定部１３１が推定した車両４の位置は、予め定めた距離の閾値よりも大きい。その位置に対応する画像６２上の位置（上述の座標変換位置情報が表す）は、車両４が表されている領域に含まれる。即ち、図４は、基準画像決定部１３４が、その特徴部分を含む予め定めた大きさ及び形状の領域である基準画像領域６１を定めることを表す。
【００３３】
図２に戻り、基準画像対応部１３５は、基準画像決定部１３４から基準画像情報と特徴部分情報が入力される。基準画像対応部１３５は、入力された現在のフレームの基準画像情報が表す基準画像領域と対応する領域（以下、対応領域と呼ぶ）を、過去のフレームの特徴部分情報に基づいて定める。過去のフレームは、例えば、現在のフレームに対する直前のフレームである。
【００３４】
ここで、基準画像対応部１３５は、過去のフレームの特徴部分情報において基準画像領域と同じ大きさの注目領域毎に、その注目領域における特徴部分と、現在のフレームの基準画像領域における特徴部分との合致の度合いを表す指標値を算出する。指標値は、例えばＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、差分絶対値和）を算出する。ＳＡＤは、両領域間における対応する画素における信号値の差の絶対値について、両領域に含まれる画素間の総和をとって算出される指標値である。ＳＡＤが小さいほど基準画像領域に含まれる特徴部分と、注目領域に含まれる特徴部分との合致の度合いが高いことを表す。ここで、基準画像対応部１３５は、注目領域の代表点（例えば、左上端の座標）を、基準画像領域の代表点から予め定めた範囲内で、水平方向、垂直方向又は水平方向及び垂直方向に変位させる。基準画像対応部１３５は、変位させた代表点毎に与えられる注目領域と基準画像領域に基づく指標値をそれぞれ算出する。
【００３５】
基準画像対応部１３５は、最も合致の度合いが高い指標値を与える注目領域を、現在のフレームの基準画像情報が表す基準画像領域と対応する領域（以下、対応領域と呼ぶ）と定める。基準画像対応部１３５は、対応領域を表す対応領域情報を生成する。基準画像対応部１３５は、生成した対応領域情報と入力された基準画像情報を座標変化量算出部１３６に出力する。
【００３６】
座標変化量算出部１３６は、基準画像対応部１３５から入力された対応領域情報が表す対応領域から基準画像情報が表す基準画像領域への座標の変化量（ベクトル）を算出する。座標変化量算出部１３６は、基準画像領域の代表点（例えば、左上端、いずれかの特徴点）の座標から対応領域の代表点（例えば、左上端、対応する特徴点）の座標を差し引いて変化量を算出する。
座標変化量算出部１３６は算出した変化量を表す変化量情報を生成し、生成した変化量情報を画像補正部１３７に出力する。
【００３７】
次に、変化量の一例について説明する。
図５は、基準画像領域及び対応領域の一例を表す概念図である。
破線の四角形で囲まれる部分が現在のフレームｋにおける基準画像領域６１ｋを表す。一点破線の四角形で囲まれる部分が直前のフレームｋ−１における対応領域６１ｋ−１を表す。基準画像領域６１ｋ及び対応領域６１ｋ−１には、それぞれ車両４の画像が表されている。基準画像領域６１ｋの位置は、対応領域６１ｋ−１の位置から左下にずれた位置に表されている。車両４の左上端に示される白丸は、対応領域６１ｋ−１に含まれる特徴点ｐｋ−１である。車両４の左上端に示される黒丸は、基準画像領域６１ｋに含まれる特徴点ｐｋであって、特徴点ｐｋ−１と対応する特徴点である。白丸を起点として黒丸を終点とする矢印は、直前のフレームｋ−１における特徴点ｐｋ−１から現在のフレームｋにおける特徴点ｐｋへの座標の変化量Δｖを表す。
【００３８】
画像補正部１３７は、カメラ１１から現在のフレームの画像信号が入力され、座標変化量算出部１３６から変化量情報が入力される。画像補正部１３７は、ある時刻におけるフレーム（例えば、起動開始時）からの変化量を累積して変化量の総和を補正量として算出する。画像補正部１３７は、画像信号に含まれる全ての信号値毎の座標を、算出した補正量だけ差し引いて補償した座標に移動させて、画像信号を補正する。画像補正部１３７は、補正した画像信号を画像出力部１４に出力する。これにより、本実施形態では、基準画像領域に含まれる物体を表す画像を静止しているとみなし、対応領域から基準画像領域までの変化量を表示の乱れとして補償することができる。
【００３９】
次に、補正した画像の一例について説明する。
図６は、補正した画像の一例を表す概念図である。
実線の四角形で囲まれる部分が補正した画像６３を表す。但し、図６に示す例では、補正量は、直前のフレームｋ−１から現在のフレームｋまでの変化量Δｖに等しい。
画像６３に含まれる各物体の部分を起点とする矢印は、入力された画像信号の各座標から変化量Δｖに等しい補正量を差し引いて当該座標の位置を補正することを表す。車両４を表す部分を囲む破線は基準画像領域６１ｋを表し、その部分を囲む一点破線は対応領域６１ｋ−１を表す。図６は、基準画像領域６１ｋが、対応領域６１ｋ−１が重複して表されている。このことは、画像補正部１３７は、基準画像領域６１ｋと対応領域６１ｋ−１が同一の領域となるように、入力された画像信号を補正することを示す。
【００４０】
なお、画像補正部１３７は、例えば図６の下端又は右端等のように、補正量を差し引く前の座標が過去の画像フレームの外部に位置する座標となる画素の信号値を、予め定めた値、例えば、とりうる最小値（例えば、０）又は最大値（８ビットの場合、２５５）に定めてもよい。また、画像補正部１３７は、例えば図６の上部や左部のように、変化量を差し引いた後の座標が現在の画像フレームの外部に位置する座標となる画素については、上述の画像を補正する処理を省略してもよい。
【００４１】
次に、本実施形態に係る画像処理について説明する。
図７は、本実施形態に係る画像処理を表すフローチャートである。
（ステップＳ１０１）位置推定部１３１は、送受信部１２から入力された受信信号に基づいて物体毎の位置情報を推定する。位置推定部１３１は、推定した位置情報を座標変換部１３２に出力する。その後、ステップＳ１０２に進む。
（ステップＳ１０２）座標変換部１３２は、位置推定部１３１から入力された物体毎の位置情報について、例えば、世界座標系で表された位置情報から、画像座標系で表された座標変換位置情報に変換する。座標変換部１３２は、物体毎の位置情報と変換した座標変換位置情報を対応付けて基準画像決定部１３４に出力する。その後、ステップＳ１０３に進む。
【００４２】
（ステップＳ１０３）特徴抽出部１３３及び画像補正部１３７は、カメラ１１からフレーム毎に画像信号が入力される。その後、ステップＳ１０４に進む。
（ステップＳ１０４）特徴抽出部１３３は、フレーム毎の画像信号について特徴量を画素毎に算出し、算出した特徴量が所定の値の範囲にある画素の集合からなる部分を特徴部分と定める。特徴抽出部１３３は、特徴部分を表す特徴部分情報を基準画像決定部１３４に出力する。その後、ステップＳ１０５に進む。
【００４３】
（ステップＳ１０５）基準画像決定部１３４は、入力された位置情報から、予め定めた距離の閾値よりも大きい位置を表す位置情報を抽出する。
基準画像決定部１３４は、抽出した位置情報に対応する座標変換位置情報が表す位置又は、その位置から予め定めた範囲を含む特徴部分を、入力された特徴部分情報が表す特徴部分の中から選択する。
基準画像決定部１３４は、選択した特徴部分を含む領域であって予め定めた大きさ及び形状の領域を基準画像領域と決定する。基準画像決定部１３４は、決定した基準画像領域を表す基準画像情報と入力された特徴部分情報を基準画像対応部１３５に出力する。その後、ステップＳ１０６に進む。
【００４４】
（ステップＳ１０６）基準画像対応部１３５は、基準画像決定部１３４から入力された現在のフレームの基準画像情報が表す基準画像領域と対応する領域を、過去のフレームの特徴部分情報に基づいて定める。基準画像対応部１３５は、過去のフレームの特徴部分情報において基準画像領域と同じ大きさの注目領域毎に、その注目領域における特徴部分と、現在のフレームの基準画像領域における特徴部分との合致の度合いを表す指標値を算出する。基準画像対応部１３５は、最も合致の度合いが高い指標値を与える注目領域を、現在のフレームの基準画像情報が表す基準画像領域と対応する対応領域を定める。基準画像対応部１３５は、対応領域を表す対応領域情報と入力された基準画像情報を座標変化量算出部１３６に出力する。その後、ステップＳ１０７に進む。
【００４５】
（ステップＳ１０７）座標変化量算出部１３６は、基準画像対応部から入力された対応領域情報が表す対応領域から基準画像情報が表す基準画像領域への座標の変化量を算出する。座標変化量算出部１３６は算出した変化量を表す変化量情報を画像補正部１３７に出力する。その後、ステップＳ１０８に進む。
（ステップＳ１０８）画像補正部１３７は、座標変化量算出部１３６から入力された変化量情報が表す変化量を予め定めたフレームから累積して補正量を算出する。画像補正部１３７は、カメラ１１から入力された現在のフレームの画像信号に含まれる信号値毎の座標を、算出した補正量だけ差し引いて補償した座標に移動させる。画像補正部１３７は、これにより補正した画像信号を画像出力部１４に出力する。その後、ステップＳ１０９に進む。
（ステップＳ１０９）画像出力部１４は、画像補正部１３７から入力された画像信号を出力する。その後、処理を終了する。
【００４６】
上述では、基準画像対応部１３５は、現在のフレームの基準画像領域と対応する対応領域を過去のフレームの画像から探索する際、特徴部分情報に基づく指標値を算出する場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、基準画像対応部１３５は、特徴部分情報の代わりに当該領域に含まれる画素毎の信号値を用いて指標値を算出してもよい。
【００４７】
上述では、基準画像対応部１３５、座標変化量算出部１３６は、直前のフレームの画像信号に基づいて対応領域、変化量を求める例について説明したが、本実施形態ではこれには限られない。本実施形態では、基準画像対応部１３５、座標変化量算出部１３６は、予め定めた１より多い複数のフレーム数（例えば、２フレーム）だけ過去のフレームの画像信号に基づいて対応領域、変化量を求めてもよい。これにより、他の構成、例えば、特徴抽出部１３３、画像補正部１３７は、そのフレーム数毎に処理を行うようにしてもよい。
【００４８】
このように、本実施形態では、物体の位置を推定し、撮影された画像から、推定された位置のうち予め定めた距離よりも大きい位置にある物体を表す部分を含む基準画像領域を決定する。また、本実施形態では、基準画像領域と対応する領域を過去に撮影された画像から検出し、対応する領域から基準画像領域までの座標の変化量を算出する。そして、本実施形態では、算出した変化量に基づいて前記撮影された画像を補正する。
【００４９】
これにより、本実施形態では、基準画像領域に含まれる遠方の物体を表す画像を基準として過去に撮影された画像からの座標の変化量を算出し、算出した変化量を表示の乱れとして現在の画像を補正することができる。そのため、画像全体にわたって画素毎に座標の変化量を算出することなく、表示の乱れに相当する変化量を算出することができる。従って、少ない演算量で画像を補正することができる。
【００５０】
なお、上述した実施形態における画像表示装置１０又は画像処理部１３の一部、例えば、位置推定部１３１、座標変換部１３２、特徴抽出部１３３、基準画像決定部１３４、基準画像対応部１３５、座標変化量算出部１３６及び画像補正部１３７をコンピュータで実現するようにしても良い。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像表示装置１０又は画像処理部１３に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像表示装置１０又は画像処理部１３の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像表示装置１０又は画像処理部１３の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００５１】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００５２】
１…画像処理システム、
１０…画像表示装置、１１…カメラ、１２…送受信部、１３…画像処理部、
１３１…位置推定部、１３２…座標変換部、１３３…特徴抽出部、
１３４…基準画像決定部、１３５…基準画像対応部、１３６…座標変化量算出部、
１３７…画像補正部、
１４…画像出力部
【図１】
2013190940.tif 000004
【図２】
2013190940.tif 000005
【図３】
2013190940.tif 000006
【図４】
2013190940.tif 000007
【図５】
2013190940.tif 000008
【図６】
2013190940.tif 000009
【図７】
2013190940.tif 000010