(57)【要約】【課題】カメラの近傍領域の移動オブジェクトを特徴点の動きベクトルを解析して検出し、カメラから離間した領域のオブジェクトをパターンマッチングで検出する。【解決手段】カメラ撮影画像から抽出した特徴点の動きベクトルを検出し、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定し、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、類似するとの判定に基づいてカメラ近傍に移動オブジェクトがあると判定する。さらに、パターンマッチングを併せて適用して、カメラから離れたオブジェクトを検出する。【選択図】図１４
2019191691.tif 000002
【特許請求の範囲】
【請求項１】
画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出部と、
類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定部と、
画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出部、
を有する画像処理装置。
【請求項２】
前記画像は、カメラの撮影画像であり、
前記移動オブジェクト検出部は、
前記複数の特徴点グループを構成する複数の特徴点が、前記カメラの近傍領域に存在する１つの移動オブジェクトであると判定する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、さらに、
パターンマッチングによるオブジェクト検出を実行するパターンマッチング適用オブジェクト検出部を有する請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
前記画像を撮影したカメラの近傍のオブジェクトを、前記移動オブジェクト検出部による特徴点動きベクトルを適用して検出し、
前記画像を撮影したカメラから離間したオブジェクトを、パターンマッチングを適用して検出する請求項１に記載の画像処理装置。
【請求項５】
前記移動オブジェクト検出部は、
画像の上下方向の２つの離間領域にある２つの特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記２つの特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記画像を撮影したカメラの近傍の人を、前記移動オブジェクト検出部による特徴点動きベクトルを適用して検出し、
前記画像を撮影したカメラから離間した人を、パターンマッチングを適用して検出する請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
自動車に搭載されたカメラの撮影画像の解析を実行して、画像内に含まれる人を検出する請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記カメラの撮影画像を表示する表示部と、
画像内から検出された人の領域を示す人検出枠を前記表示部に表示する表示制御部を有する請求項７に記載の画像処理装置。
【請求項９】
前記画像処理装置は、
広角レンズを装着したカメラによる撮影画像の歪み補正を実行する歪み補正部を有し、
前記特徴点動きベクトル検出部は、歪み補正された画像を利用して動きベクトルの検出を行う請求項１に記載の画像処理装置。
【請求項１０】
前記画像処理装置は、さらに、
差分画像に基づく移動オブジェクト検出を実行する差分画像適用移動オブジェクト検出部を有する請求項１に記載の画像処理装置。
【請求項１１】
移動装置の周囲を撮影するカメラと、
前記カメラの撮影した画像を表示する表示部と、
前記カメラの撮影した画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出部と、
類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定部と、
画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出部と、
前記移動オブジェクト検出部の検出した移動オブジェクトの領域を示す検出枠を前記表示部に表示する表示制御部を有する移動装置。
【請求項１２】
前記移動装置は、さらに、
パターンマッチングによるオブジェクト検出を実行するパターンマッチング適用オブジェクト検出部を有し、
前記表示制御部は、前記移動オブジェクト検出部、および前記パターンマッチング適用オブジェクト検出部の検出したオブジェクトの領域を示す検出枠を前記表示部に表示する請求項１１に記載の移動装置。
【請求項１３】
画像処理装置において実行する画像処理方法であり、
特徴点動きベクトル検出部が、画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出ステップと、
特徴点グループ設定部が、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定ステップと、
移動オブジェクト検出部が、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出ステップを実行する画像処理方法。
【請求項１４】
移動装置において実行する画像処理方法であり、
移動装置の周囲を撮影するカメラが、画像を撮影するステップと、
特徴点動きベクトル検出部が、前記画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出ステップと、
特徴点グループ設定部が、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定ステップと、
移動オブジェクト検出部が、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出ステップと、
表示制御部が、前記カメラの撮影画像に、前記移動オブジェクト検出部の検出した移動オブジェクトの領域を示す検出枠を設定して表示部に表示する画像処理方法。
【請求項１５】
画像処理装置において画像処理を実行させるプログラムであり、
特徴点動きベクトル検出部に、画像から抽出した特徴点の動きベクトルを検出させる特徴点動きベクトル検出ステップと、
特徴点グループ設定部に、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定させる特徴点グループ設定ステップと、
移動オブジェクト検出部に、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定させ、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定させる移動オブジェクト検出ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、例えば自動車等の移動装置に備えられたカメラの撮影画像の解析を行い、人等の障害物を検出する画像処理装置、移動装置、および方法、並びにプログラムに関する。
【背景技術】
【０００２】
自動車の走行を行う際、カメラ撮影画像の解析によって、進行方向に人等の障害物があるか否かを確認するシステムが多く利用されている。
【０００３】
例えば特許文献１（特許第５４４５７１９号公報）には、自動車の後方を撮影するリアカメラの撮影画像を左側画像領域、中央画像領域、右側画像領域の３つの画像領域に分割して、中央領域ではパターンマッチングによる人検出を行い、左領域と右領域では、画像中の点の動きを解析するオプティカルフローにより人や車等の移動物体の検出を行う構成を開示している。
【０００４】
この文献には、駐車場からバックで道路に出ようとする状況を示す実施例が示され、車両後方の道路の左右方向から高速で近づく車や人についてはパターンマッチングで検出するよりも、オプティカルフローによる検出が有効であると記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５４４５７１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述した特許文献１（特許第５４４５７１９号公報）は、自車両の後方を撮影するカメラの撮影画像の中央領域についてはパターンマッチングを適用して人検出を実行する構成としているが、中央領域でもパターンマッチングで人検出が不可能となる場合が発生する。
【０００７】
例えば、カメラの撮影画像を利用してパターンマッチングによって人検出を行う場合、人の典型的な形状データ、具体的には頭、胴体、足、手等の要素からなる人の形状の照合用パターン（辞書データ）を用いて、撮影画像に含まれるオブジェクトとの照合処理を行う。
【０００８】
撮影画像に人の全体、すなわち、頭部から足まで写っている場合は、照合用パターン（辞書データ）を利用したパターンマッチングによる人検出が成功する。
しかし、例えば、人が車に近づくとカメラの撮影画像に人の全体が写らず、一部のみ、例えば首から胴体のみが写るといった場合がある。このような場合、頭、胴体、足、手等の要素からなる照合用パターン（辞書データ）を用いた照合処理を行っても、首から胴体のみの画像との照合度が低くなり、この被写体が人であると判定することが不可能となる。
【０００９】
本開示は、例えば上記問題点に鑑みてなされたものであり、パターンマッチングによる検出が困難なオブジェクトについて、より高精度に検出することを可能とした画像処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本開示の第１の側面は、
画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出部と、
類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定部と、
画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出部、
を有する画像処理装置にある。
【００１１】
さらに、本開示の第２の側面は、
移動装置の周囲を撮影するカメラと、
前記カメラの撮影した画像を表示する表示部と、
前記カメラの撮影した画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出部と、
類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定部と、
画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出部と、
前記移動オブジェクト検出部の検出した移動オブジェクトの領域を示す検出枠を前記表示部に表示する表示制御部を有する移動装置にある。
【００１２】
さらに、本開示の第３の側面は、
画像処理装置において実行する画像処理方法であり、
特徴点動きベクトル検出部が、画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出ステップと、
特徴点グループ設定部が、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定ステップと、
移動オブジェクト検出部が、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出ステップを実行する画像処理方法にある。
【００１３】
さらに、本開示の第４の側面は、
移動装置において実行する画像処理方法であり、
移動装置の周囲を撮影するカメラが、画像を撮影するステップと、
特徴点動きベクトル検出部が、前記画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出ステップと、
特徴点グループ設定部が、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定ステップと、
移動オブジェクト検出部が、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出ステップと、
表示制御部が、前記カメラの撮影画像に、前記移動オブジェクト検出部の検出した移動オブジェクトの領域を示す検出枠を設定して表示部に表示する画像処理方法にある。
【００１４】
さらに、本開示の第５の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
特徴点動きベクトル検出部に、画像から抽出した特徴点の動きベクトルを検出させる特徴点動きベクトル検出ステップと、
特徴点グループ設定部に、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定させる特徴点グループ設定ステップと、
移動オブジェクト検出部に、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定させ、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定させる移動オブジェクト検出ステップを実行させるプログラムにある。
【００１５】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００１６】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１７】
本開示の一実施例の構成によれば、カメラの近傍領域の移動オブジェクトを特徴点の動きベクトルを解析して検出し、カメラから離間した領域のオブジェクトをパターンマッチングで検出することで、高精度なオブジェクト検出が実現される。
具体的には、例えば、カメラ撮影画像から抽出した特徴点の動きベクトルを検出し、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定し、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、類似するとの判定に基づいてカメラ近傍に移動オブジェクトがあると判定する。さらに、パターンマッチングを併せて適用して、カメラから離れたオブジェクトを検出する。
本構成により、カメラの近傍領域の移動オブジェクトを特徴点の動きベクトルを解析して検出し、カメラから離間した領域のオブジェクトをパターンマッチングで検出することで、高精度なオブジェクト検出が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１８】
【図１】移動装置である自動車の構成例について説明する図である。
【図２】自動車内の表示部に表示される画像の例について説明する図である。
【図３】自動車内の表示部に表示される画像の例について説明する図である。
【図４】パターンマッチングによるオブジェクト検出処理例について説明する図である。
【図５】パターンマッチングによるオブジェクト検出処理における問題点について説明する図である。
【図６】パターンマッチングによるオブジェクト検出処理における問題点について説明する図である。
【図７】本開示の画像処理装置の実行する処理の概要について説明する図である。
【図８】本開示の画像処理装置の実行する処理の概要について説明する図である。
【図９】特徴点の動きベクトル解析に基づく移動オブジェクトの検出処理について説明する図である。
【図１０】特徴点の動きベクトル解析に基づく移動オブジェクトの検出処理について説明する図である。
【図１１】特徴点の動きベクトル解析に基づく移動オブジェクトの検出処理について説明する図である。
【図１２】特徴点の動きベクトル解析に基づく移動オブジェクトの検出処理について説明する図である。
【図１３】自動車内の表示部に表示される画像の例について説明する図である。
【図１４】画像処理装置の構成例について説明する図である。
【図１５】画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１６】画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【図１７】広角レンズの撮影画像と補正画像の例について説明する図である。
【図１８】歪み補正部を有する画像処理装置の構成例について説明する図である。
【図１９】広角レンズの撮影画像と補正画像の例について説明する図である。
【図２０】歪みの残存した画像を利用した特徴点動きベクトル解析に基づく移動オブジェクト検出処理に際して実行するベクトル補正処理について説明する図である。
【図２１】歪みの残存した画像を利用した特徴点動きベクトル解析に基づく移動オブジェクト検出処理に際して実行するベクトル補正処理について説明する図である。
【図２２】差分画像を用いた移動オブジェクト検出処理について説明する図である。
【図２３】差分画像を用いた移動オブジェクト検出処理を実行する画像処理装置の構成例について説明する図である。
【図２４】画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら本開示の画像処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
１．本開示の移動装置の構成例について
２．カメラ近接領域の移動体検出に特徴点の動き情報を適用する構成例について
３．画像処理装置の構成と処理シーケンスについて
４．広角レンズを用いた撮影画像を利用した実施例について
５，差分画像を適用したオブジェクト検出処理を併用した実施例について
６．画像処理装置の構成例について
７．本開示の構成のまとめ
【００２０】
［１．本開示の移動装置の構成例について］
まず、図１以下を参照して、本開示の移動装置の構成例について説明する。
図１は、本開示の移動装置の一例である自動車１０の構成例を示す図である。
なお、以下の実施例では、移動装置の一例として自動車（車両）１０の例を説明するが、本開示の処理は、自動車以外の様々な移動装置において利用可能である。
例えば、移動型のロボット（歩行型、走行型）等にも適用可能である。
【００２１】
図１に示すように、自動車１０は、後方を撮影するカメラ１１を装着している。
なお、以下の実施例では、自動車１０の後方を撮影するカメラ１１の撮影画像を利用した実施例について説明するが、本開示の構成、処理は、後方を撮影するカメラに限らず、その他の様々な方向を撮影するカメラの撮影画像に対して適用することも可能である。
【００２２】
なお、カメラ１１としては、通常の画像撮影を行うカメラ、あるいは魚眼レンズのような広角レンズを備えたカメラが利用可能である。
【００２３】
図２は、カメラ１１によって撮影された画像を自動車１０内部の表示部１２に表示した場合の表示画像の例を示している。
運転者は、表示部１２に表示された画像を見て、自動車１０の後方に歩行者がいることを確認することができ、自動車１０を後方に進行させる場合に、歩行者に注意を向けた走行を行うことができる。
【００２４】
本開示の装置では、カメラ撮影画像に人等の移動体が検出された場合、人が検出されたことをユーザ（運転者）に知らせるため、警告（アラーム）を出力する。
例えば、図３に示すように、画像の人検出領域に、点滅する人検出枠を表示し、ユーザ（運転者）の注意を促す。さらに、アラーム音を出力する構成としてもよい。
【００２５】
このような人検出処理の一般的手法としてパターンマッチングによる検出処理がある。
図４を参照してパターンマッチングによる人検出処理の具体例について説明する。
図４には実際のカメラ撮影画像に対するパターンマッチングによる人検出処理の適用例を示している。
【００２６】
図４に示すようにパターンマッチングによる人検出処理においては、パターンマッチング用辞書データ（照合用パターン）を用いた処理を行う。
例えば人の頭部から足までの全身の形状からなる全身辞書、さらに、腰部から足までの下半身のみの形状からなる下半身辞書が、記憶部に格納されており、この辞書を照合用パターンとして、撮影画像に含まれる人を検出する。なお、画像からの被写体領域の検出は例えばエッジ検出等の処理を適用して行われる。
【００２７】
図４に示す（ａ）画像Ａには複数の人が写っている。これらは、いずれも頭部から足までの全身の画像である。従って、照合用パターンである「全身辞書」とのマッチング率が高く、この被写体領域が人であると推定できる。
その結果、図に示す検出人画像１〜４として抽出される。
【００２８】
図４に示す（ｂ）画像Ｂや、（ｃ）画像Ｃには人の下半身が写っている。これは腰部から足までの下半身の画像である。従って、照合用パターンである「下半身辞書」とのマッチング率が高く、この被写体領域が人であると推定できる。
その結果、図に示す検出人画像５，６として抽出される。
【００２９】
これに対して、図５に示す（ｄ）画像には、人の下半身と手が写っている。これは、カメラと人との距離が短く、人がカメラの近接位置にいる場合の画像である。
この画像からエッジ検出によって被写体領域を抽出すると、足、腰、手の領域からなるオブジェクト形状が抽出されるが、この形状は、照合用パターンである「全身辞書」や「下半身辞書」のいずれともマッチング率が高くなく、この被写体領域が人であると推定されない。
すなわち、図５に示す（ｄ）画像内の人は、パターンマッチングでは人として認識されない。
【００３０】
このように、カメラに近すぎて人の特徴的形状を把握しにくい場合、、パターンマッチングでは人として認識されない。
このような場合、自動車１０の車内の表示部１２に表示される画像は、例えば、図６に示すような画像となる。
図６には、カメラ１１から離れた位置の人画像がパターンマッチングによって検出され、人検出枠が点滅表示されている。
これに対して、カメラ１１に近い位置にいる人の画像、すなわち胴体と手、足の一部のみが写っている近接した人の画像は、人であるとの識別に失敗しているため、検出枠が点滅表示されない状態となる。
この場合、ユーザ（運転者）は、後方の人に気をとられ。近くの人に気づかず、自動車１０を後進させ、車に最も近い位置にいる人に接触してしまう可能性がある。
【００３１】
［２．カメラ近接領域の移動体検出に特徴点の動き情報を適用する構成例について］
本開示の画像処理装置は、上記問題点を解決し、カメラに近い位置にいる人等の移動オブジェクトを高精度に検出することを可能としたものである。
【００３２】
具体的には、カメラ近傍領域の移動体検出に特徴点の動き情報を適用し、カメラから離れた領域、すなわちカメラ離間領域の人等のオブジェクト検出にパターンマッチングを適用する。
【００３３】
図７は、本開示の画像処理装置や移動体（自動車１０）の実行するオブジェクト検出処理の概要について説明する図である。
自動車１０の後方を撮影するカメラ１１の画像撮影領域には以下の２つの領域が含まれる。
（第１領域）カメラ近傍領域
（第２領域）カメラ離間領域
【００３４】
（第１領域）カメラ近傍領域は、カメラに近い被写体の撮り込まれる領域である。
この（第１領域）カメラ近傍領域については、特徴点動きベクトルに基づく移動オブジェクト検出処理の結果を利用する。
なお、本実施例ではオブジェクトは人であるが、その他の移動物体、例えば車両等を検出することも可能である。
なお、特徴点動きベクトルに基づく移動オブジェクト検出処理は、オプティカルフローを適用したオブジェクト検出処理に相当する。
オプティカルフローは、特徴点動きベクトルに基づく移動オブジェクト検出処理の一態様である。
【００３５】
一方、（第２領域）カメラ離間領域については、前述したパターンマッチングを適用したオブジェクト検出処理の結果を利用する。本実施例ではオブジェクトは人であるが、その他の移動物体、例えば車両等を検出することも可能である。
【００３６】
このように、本開示の画像処理装置、あるいは移動装置では、
（第１領域）カメラ近傍領域では、特徴点動きベクトルに基づく移動オブジェクト検出処理結果を利用し、
（第２領域）カメラ離間領域については、パターンマッチングを適用したオブジェクト検出処理結果を利用する。
【００３７】
このような処理の結果として、図８に示すように、（第２領域）カメラ離間領域では、パターンマッチングを適用して確実な人等のオブジェクト検出が実行される。さらに、（第１領域）カメラ近傍領域でパターンマッチングによるオブジェクト検出が困難な場合でも、特徴点動きベクトルに基づく移動オブジェクト検出を行うことが可能となる。
【００３８】
なお、パターンマッチングを適用したオブジェクト検出処理を、（第２領域）カメラ離間領域の画像のみを処理対象として実行し、
特徴点動きベクトルに基づく移動オブジェクト検出処理を、（第１領域）カメラ近傍領域の画像のみを処理対象として実行するといった設定としてもよいが、このような処理を行うためには、被写体距離情報を事前に取得することが必要である。
【００３９】
被写体距離情報を事前に取得できない場合は、
特徴点動きベクトルに基づく移動オブジェクト検出処理と、
パターンマッチングを適用したオブジェクト検出処理、
これらの処理を画像全体に対して実行し、２つの処理結果を併せて最終的なオブジェクト検出結果（例えば人検出結果）を生成すればよい。
【００４０】
次に、図９以下を参照して、特徴点動きベクトルに基づく移動オブジェクト検出処理のシーケンスについて説明する。これは、オプティカルフローを適用したオブジェクト検出処理に相当する。
特徴点動きベクトルに基づく移動オブジェクト検出処理は、図９〜図１２に示すステップＳ０１〜ステップＳ０４の手順で実行される。
各ステップの処理について、順次、説明する。
【００４１】
（ステップＳ０１）
まず、図９に示すように、カメラ撮影画像から特徴点を抽出する処理を実行する。
特徴点としては、例えば輝度や色の大きく変化するエッジ部分の画素等が選択される。
図９に示す黒丸点、すなわち人、木、ビル等の境界等に示す黒丸点が特徴点として抽出された点である。
【００４２】
（ステップＳ０２）
次に、図１０に示すように、特徴点の動きベクトルを算出する。これは、カメラ１１によって撮影される複数フレームを用いて行われる。例えば１０ｍｓ、２０ｍｓ等、規定時間の最初のフレームと最後のフレームから、各特徴点の対応点を検出して、最初のフレームと最後のフレームまでの特徴点の移動量、移動方向を算出して、各特徴点対応の動きベクトルを求める。
図１０に示す矢印が各特徴点対応の動きベクトルである。動きベクトルの向きが移動方向であり、長さが移動量に対応する。
【００４３】
なお、図１０に示す画像に含まれる人の特徴点には、様々な方向、大きさの動きベクトルが設定されているが、木やビルに設定された特徴点には動きベクトルが設定されない。これは、人は時間経過に伴い移動するが、木やビルは移動せず静止しているからである。
なお、例えば自動車１０が直進移動する場合等、カメラ１１自体に動きが発生する場合には無限遠点を中心とした動きが画像全体に発生する。このような場合は、各特徴点の動きベクトル算出時に、無限遠点を中心とした動きに相当する動きをキャンセルする処理を行い、カメラ１１自体の動きの影響のない動きベクトルを求める処理が必要である。
また、図示しないが、車の速度・操舵情報を車両から取得し、その速度・操舵情報に基づいて、カメラ自体の動きを推定し、動きをキャンセルする処理に用いても良い。
【００４４】
（ステップＳ０３）
次に、図１１に示すように、特徴点のグルーピング処理を行う。
これは、予め規定した距離内にある複数の特徴点中、ほぼ類似するベクトル（方向、長さ）を有する特徴点を１つのグループとして設定する処理である。
例えば、予め規定したしきい値画素距離以内の特徴点を選択し、これらの特徴点がほぼ同じベクトル（方向、長さ）を有する場合、これらの特徴点を１つのグループ（特徴点グループ）に設定する。
【００４５】
なお、動きベクトルが類似するか否かについては、予め規定したしきい値との比較に基づいて判定する。
例えば、動きベクトルの長さ、方向とも、差分が１０％以下なら類似するといった類似判定処理を行う。
また、グループとして選択する特徴点は、例えば所定の大きさの矩形領域、具体的には、例えば３００画素×３００画素等の矩形領域内の特徴点をグループ化する等の設定が可能である。
【００４６】
図１１に示す例では、特徴点グループ１〜１１まで、１１個の特徴点グループが設定されている。
【００４７】
（ステップＳ０４）
次に、ステップＳ０４として、各特徴点グループの動きベクトルの比較に基づく移動オブジェクトの検出を行う。
図１２に示すように、画像上下方向の少なくとも２つの離間領域に類似ベクトルを持つ特徴点グループがあれば、この上下の特徴点グループを含む領域を、１つの移動体領域と判定する。
【００４８】
例えば、図１２の例において、画像上下方向の２つの離間領域である領域Ａ、領域Ｂに注目する。
領域Ａには、特徴点グループ１〜３の３つの特徴点グループが設定されている。
一方、領域Ｂには、特徴点グループ７〜１０の４つの特徴点グループが設定されている。
【００４９】
ここで、画像の上下方向に設定したライン上の領域Ａと領域Ｂの特徴点グループを選択する。
例えば、図に示すラインＬ１上の領域Ａと領域Ｂの特徴点グループは、
領域Ａの特徴点グループ１と、領域Ｂの特徴点グループ８である。
この領域Ａの特徴点グループ１の動きベクトルと、領域Ｂの特徴点グループ８の動きベクトルとが類似していると判定されれば、この領域Ａの特徴点グループ１と領域Ｂの特徴点グループ８は、同一の移動オブジェクトの領域に対応すると判定し、領域Ａの特徴点グループ１の領域と、領域Ｂの特徴点グループ８の領域を含む大きな１つの移動オブジェクトが存在すると判定する。
【００５０】
ただし、領域Ａの特徴点グループ１の動きベクトルと、領域Ｂの特徴点グループ８の動きベクトルとが類似していない場合は、領域Ａの特徴点グループ１の領域と、領域Ｂの特徴点グループ８の領域を含む大きな１つの移動オブジェクトは存在しないと判定する。
【００５１】
なお、２つの特徴点グループの動きベクトルが類似するか否かについては、特徴点グループに含まれる複数の特徴点動きベクトルの平均値を算出して、その平均値を比較してもよい。
この場合、先に説明した特徴点グループ設定の場合と同様、予め規定したしきい値との比較に基づいて類似するか否かを判定する。
例えば、各特徴点グループの平均動きベクトルの長さ、方向とも、差分が１０％以下なら類似するといった類似判定処理を行う。
【００５２】
なお、平均値を算出せず、比較対象とする２つの特徴点グループのすべての特徴点動きベクトルの長さ、方向とも、差分が１０％以下なら類似するといった類似判定処理を行う構成としてもよい。
類似判定処理のしきい値や、判定態様は、様々な設定が可能である。
【００５３】
この図１２に示す例では、図に示すラインＬ１上の領域Ａの特徴点グループ１の動きベクトルと、領域Ｂの特徴点グループ８の動きベクトルは類似していると判定され、領域Ａの特徴点グループ１の領域と、領域Ｂの特徴点グループ８の領域を含む大きな１つの移動オブジェクトが存在すると判定される。
【００５４】
同様に、図に示すラインＬ２上の領域Ａと領域Ｂの特徴点グループは、
領域Ａの特徴点グループ３と、領域Ｂの特徴点グループ９である。
この領域Ａの特徴点グループ３の動きベクトルと、領域Ｂの特徴点グループ９の動きベクトルとが類似していると判定されれば、この領域Ａの特徴点グループ３と領域Ｂの特徴点グループ９は、同一の移動オブジェクトの領域に対応すると判定し、領域Ａの特徴点グループ３の領域と、領域Ｂの特徴点グループ９の領域を含む大きな１つの移動オブジェクトが存在すると判定する。
【００５５】
ただし、領域Ａの特徴点グループ３の動きベクトルと、領域Ｂの特徴点グループ９の動きベクトルとが類似していない場合は、領域Ａの特徴点グループ３の領域と、領域Ｂの特徴点グループ９の領域を含む大きな１つの移動オブジェクトは存在しないと判定する。
【００５６】
この図１２に示す例では、図に示すラインＬ２上の領域Ａの特徴点グループ３の動きベクトルと、領域Ｂの特徴点グループ９の動きベクトルは類似していると判定され、領域Ａの特徴点グループ３の領域と、領域Ｂの特徴点グループ９の領域を含む大きな１つの移動オブジェクトが存在すると判定される。
【００５７】
なお、例えば、領域Ａの特徴点グループ１の動きベクトルと、領域Ｂの特徴点グループ８の動きベクトルとが類似していない状況は、例えば以下のような場合に発生し得る。
領域Ａの特徴点グループ１の動きベクトルがカメラから離間した遠方のある歩行者Ｐ対応の動きベクトルであり、領域Ｂの特徴点グループ８の動きベクトルが、カメラから離間した遠方のある別の歩行者Ｑ対応の動きベクトルである場合等、それぞれ別の移動オブジェクトである場合に発生する可能性がある。
【００５８】
このような場合は、特徴点動きベクトルの解析結果としては、カメラに近い１つの移動オブジェクトであるとの判定を行わない。
このような遠方のオブジェクトについてはパターンマッチングを適用したオブジェクト検出で検出されることになる。
【００５９】
なお、図１２に示す例では、画像の縦方向の１つのラインに沿った２つの離間領域Ａ，Ｂを利用して移動オブジェクト検出処理を実行しているが、縦方向の１つのラインに沿った全ての画像領域を利用して移動オブジェクト検出処理を実行してもよい。
あるいは例えば、画像の縦方向の３つ以上の離間領域を利用して移動オブジェクト検出処理を実行してもよい。
【００６０】
ただし、画像の縦方向の１つのラインに沿った少なくとも画像上下方向の離間した２つ以上の領域を利用する構成とすることが好ましい。これは、検出対象とする移動オブジェクトが、パターンマッチングによって検出されにくいカメラに近い大きな被写体として撮りこまれたオブジェクトであり、画像の上下方向の長さ以上のオブジェクトを検出することを目的としているからである。
【００６１】
なお、前述したように、画像の縦方向の１つのラインに沿った画像上下方向の離間した２つ以上の領域の特徴点グループの動きベクトルが類似しない場合は、それぞれの特徴点グループの特徴点は、カメラに近接する移動オブジェクトの特徴点ではなく、例えばカメラから離れた距離にある別の移動オブジェクトである可能性が高い。このような離間オブジェクトについてはパターンマッチングによる検出が可能であり、この特徴点動きベクトルの解析（オプティカルフロー）による検出処理対象としない。
【００６２】
このように、この特徴点動きベクトルの解析（オプティカルフロー）による検出処理対象は、カメラ１１に近く、パターンマッチングによって検出できない人等の移動オブジェクトであり、先に図７を参照して説明したように、カメラ１１に近いカメラ近傍領域の移動オブジェクトを、特徴点動きベクトルの解析（オプティカルフロー）による検出処理によって検出する。
【００６３】
カメラ１１から離れたカメラ離間領域については前述したパターンマッチングにより、人等の検出対象オブジェクトを検出することが可能となる。
この結果、自動車１０の車内の表示部１２には、図１３に示すように、画像に含まれるすべての人に検出枠を設定して点滅させる警告表示を行うことが可能となる。
【００６４】
図１３に示すように、画像に全身が写りこんでいるカメラから離間した位置の人は、パターンマッチングによる検出結果に基づく検出枠が設定される。
一方、画像に全身が写りこんでいないカメラに近い位置の人は、特徴点動きベクトルの解析処理（オプティカルフロー）による検出結果に基づく検出枠が設定される。
【００６５】
この画像を見たユーザ（運転者）は、自動車の後部の遠い領域のみならず、すぐ近くにも人がいることを即座に認識することが可能となり、安全な走行を行うことができる。
【００６６】
［３．画像処理装置の構成と処理シーケンスについて］
次に、上述のオブジェクト検出処理を実行する画像処理装置の構成と処理シーケンスについて説明する。
【００６７】
図１４は、本開示の画像処理装置１００の一構成例を示すブロック図である。
図１４に示すように、画像処理装置１００は、撮像素子１０１、ＡＤ変換部１０２、信号処理部１０３、パターンデータ記憶部１０４、パターンマッチング適用オブジェクト検出部１０５、特徴点抽出部１１１、特徴点動きベクトル検出部１１２、特徴点グループ設定部１１３、特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４、車両制御情報取得部（車速、シフト位置、操舵角センサ等）１２０、危険度推定部１２１、表示制御部１２２、表示部１２３を有する。
【００６８】
撮像素子１０１は、カメラの撮像素子であり、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどの撮像素子１０１である。
【００６９】
撮像素子１０１によって撮り込まれた画像は、ＡＤ変換部１０２においてデジタルデータに変換された後、信号処理部１０３に入力される。
信号処理部１０３では、入力データに対して、例えばレンズ歪み補正や欠陥画素補正、ホワイトバランス調整等の処理を行う。処理後の画像データは、パターンマッチング適用オブジェクト検出部１０５と、特徴点抽出部１１１に並列に出力される。
【００７０】
パターンマッチング適用オブジェクト検出部１０５では、パターンマッチングによる画像内の人等のオブジェクト検出を行う。
パターンデータ記憶部１０４には、予め照合用のパターンデータ、すなわち、例えば先に図４、図５を参照して説明したような人の頭部から足までの形状を持つ全身辞書や、人の下半身形状を持つ下半身辞書等の照合用パターンデータが登録されている。
【００７１】
パターンマッチング適用オブジェクト検出部１０５は、これらの照合用パターンデータに類似する被写体を入力画像中の被写体から検出する。
なお、画像からの被写体検出は、例えばエッジ検出等の処理によって行われる。
【００７２】
パターンマッチング適用オブジェクト検出部１０５によるパターンマッチングを適用した検出結果、具体的には例えば人の検出結果情報は、危険度推定部１２１に出力される。
【００７３】
なお、パターンマッチング適用オブジェクト検出部１０５によるパターンマッチングを適用したオブジェクト検出処理は、先に図７を参照して説明したように、カメラから所定距離以上、離間した距離にある画像領域のみを対象として実行すればよい。
ただし、処理対象とする画像領域を限定せず、画像全体を処理対象として実行してもよい。
【００７４】
一方、特徴点抽出部１１１、特徴点動きベクトル検出部１１２、特徴点グループ設定部１１３、特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４、これらは、先に図９〜図１２を参照して説明した特徴点動きベクトルに基づく移動オブジェクト検出処理（オプティカルフロー適用処理）を行う。
【００７５】
特徴点抽出部１１１は、先に図９を参照して説明したように、カメラ撮影画像から特徴点を抽出する処理を実行する。
特徴点は、例えば輝度や色の大きく変化するエッジ部分の画素等が選択される。
【００７６】
次に、特徴点動きベクトル検出部１１２は、先に図１０を参照して説明したように、特徴点の動きベクトルを算出する。これは、カメラ１１によって撮影される複数フレームを用いて行われる。例えば１０ｍｓ、２０ｍｓ等、規定時間の最初のフレームと最後のフレームから、各特徴点の対応点を検出して、最初のフレームと最後のフレームまでの特徴点の移動量、移動方向を算出して、各特徴点対応の動きベクトルを求める。
図１０に示す矢印が各特徴点対応の動きベクトルである。動きベクトルの向きが移動方向であり、長さが移動量に対応する。
【００７７】
次に、特徴点グループ設定部１１３は、先に図１１を参照して説明したように、特徴点のグルーピング処理を行う。
これは、予め規定した規定距離内にある複数の特徴点中、ほぼ類似するベクトル（方向、長さ）を有する特徴点を１つのグループとして設定する処理である。
例えば、予め規定したしきい値画素距離以内の複数の特徴点がほぼ同じベクトル（方向、長さ）を有する場合、これらの特徴点は１つのグループ（特徴点グループ）に設定される。
【００７８】
なお、動きベクトルが類似するか否かについては、予め規定したしきい値との比較に基づいて判定する。
例えば、動きベクトルの長さ、方向とも、差分が１０％以下なら類似するといった類似判定処理を行う。
【００７９】
次に、特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４が、各特徴点グループの動きベクトルの比較に基づく移動オブジェクトの検出を行う。
すなわち、先に図１２を参照して説明したように、画像上下方向の少なくとも２つの離間領域に類似ベクトルを持つ特徴点グループがあれば、この上下の特徴点グループを含む領域を、１つの移動体領域と判定する。
【００８０】
例えば、図１２の例において、画像上下方向の２つの離間領域である領域Ａ、領域Ｂに注目する。画像の上下方向に設定したライン上の領域Ａと領域Ｂの特徴点グループを選択する。
選択した領域Ａの特徴点グループの動きベクトルと、領域Ｂの特徴点グループの動きベクトルが類似していると判定されれば、この領域Ａの特徴点グループと領域Ｂの特徴点グループは、同一の移動オブジェクトの領域に対応すると判定し、領域Ａの特徴点グループと領域Ｂの特徴点グループを含む大きな１つの移動オブジェクトが存在すると判定される。
【００８１】
なお、先に説明したように、移動オブジェクト検出処理に利用する特徴点グループは、画像の縦方向の２つの離間領域に限らず、画像の縦方向の３つ以上の離間領域としてもよいし、画像の縦方向のすべての領域を利用してもよい。
ただし、画像の一部領域ではなく、なるべく上下方向に離れた２つ以上の領域を利用する構成とすることが好ましい。これは、検出対象とする移動オブジェクトが、パターンマッチングによって検出されにくい大きな被写体であり、画像の上下方向の長さ以上のオブジェクトであるからである。
【００８２】
特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４が、各特徴点グループの動きベクトルの比較に基づいて実行した移動オブジェクトの検出結果、具体的には例えば人の検出結果情報は、危険度推定部１２１に出力される。
【００８３】
なお、この処理は、先に図７を参照して説明したように、カメラから所定距離未満のカメラ近傍距離にある被写体画像領域のみを対象として実行してもよい。
ただし、処理対象とする画像領域を限定せず、画像全体を処理対象として実行してもよい。
【００８４】
危険度推定部１２１は、以下の２種類のオブジェクト検出結果情報を入力する。
（Ａ）パターンマッチング適用オブジェクト検出部１０５によるパターンマッチングを適用した検出結果。
（Ｂ）特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４が、各特徴点グループの動きベクトルの比較に基づいて実行した移動オブジェクトの検出結果。
【００８５】
危険度推定部１２１は、さらに車両制御情報取得部１３１から、車速、シフト位置、操舵角等を入力し、車両の進行方向上に衝突可能性のあるオブジェクト、例えば人が検出されているか否かを判定する。
検出されている場合は、表示制御部１２２に対して、オブジェクト検出枠（人検出枠）の表示要求を行う。
【００８６】
表示制御部１２２は、このオブジェクト検出枠（人検出枠）表示要求の入力に基づいて、表示部１２３に表示された画像内の危険と判定された検出オブジェクト（人等）の周囲にオブジェクト検出枠（人検出枠）を出力する。例えば、先に図１３を参照して説明したように人検出枠を点滅表示する制御を行う。
なお、さらに、このオブジェクト検出枠の点滅表示に併せて警告音を出力する構成としてもよい。
【００８７】
例えば、先に図１３を参照して説明した画像を見たユーザ（運転者）は、自動車の後部の遠い領域のみならず、すぐ近くにも人がいることを即座に認識することが可能となり、安全な走行を行うことができる。
【００８８】
次に、本開示の画像処理装置１００の実行する処理のシーケンスについて、図１５、図１６に示すフローチャートを参照して説明する。
【００８９】
図１５は、本開示の画像処理装置１００の実行する処理の全体シーケンスであり、図１６は、図１５のステップＳ１０３の特徴点動きベクトル解析による移動オブジェクト検出処理の詳細シーケンスである。
なお、図１５、図１６に示すフローチャートに従った処理は、例えば、画像処理装置の記憶部に格納されたプログラムに従って実行することが可能である。
画像処理装置は例えばＣＰＵ等のプログラム実行機能を有するハードウェアを備えている。
【００９０】
まず、図１５に示すフローチャートを参照して本開示の画像処理装置１００の実行する処理の全体シーケンスについて説明する。
以下、フローチャートの各ステップの処理について説明する。
【００９１】
（ステップＳ１０１）
まず、ステップＳ１０１において、カメラの撮影画像を入力する。
【００９２】
（ステップＳ１０２，Ｓ１０３）
ステップＳ１０２の処理とステップＳ１０３の処理は並列に実行可能な処理である。
ステップＳ１０２では、パターンマッチングによるオブジェクト検出処理を実行する。
また、ステップＳ１０３では、特徴点動きベクトル解析による移動オブジェクト検出処理（オプティカルフローによる移動オブジェクト検出処理）を実行する。
【００９３】
ステップＳ１０２の処理は、図１４に示す画像処理装置１００のパターンマッチング適用オブジェクト検出部１０５において実行されるパターンマッチングを適用したオブジェクト検出処理であり、先に図４、図５等を参照して説明した処理と同様の処理である。
【００９４】
なお、この処理は、先に図７を参照して説明したように、カメラから所定距離以上、離間した距離にある被写体画像領域のみを対象として実行してもよい。
ただし、処理対象とする画像領域を限定せず、画像全体を処理対象として実行してもよい。
【００９５】
ステップＳ１０３の処理は、図１４に示す特徴点抽出部１１１、特徴点動きベクトル検出部１１２、特徴点グループ設定部１１３、特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４において実行される特徴点動きベクトルを適用した移動オブジェクト検出処理であり、先に図９〜図１２を参照して説明した処理である。
【００９６】
なお、この処理は、先に図７を参照して説明したように、カメラに近い位置にある被写体画像領域のみを対象として実行してもよい。
ただし、処理対象とする画像領域を限定せず、画像全体を処理対象として実行してもよい。
【００９７】
（ステップＳ１０４）
次に、ステップＳ１０４において、危険度推定処理を実行する。
この処理は、図１４に示す危険度推定部１２１の実行する処理である。危険度推定部１２１は、以下の２種類のオブジェクト検出結果情報を入力する。
（Ａ）パターンマッチング適用オブジェクト検出部１０５によるパターンマッチングを適用した検出結果。
（Ｂ）特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４が、各特徴点グループの動きベクトルの比較に基づいて実行した移動オブジェクトの検出結果。
【００９８】
危険度推定部１２１は、さらに車両制御情報取得部１３１から、車速、シフト位置、操舵角等を入力し、車両の進行方向上に衝突可能性のあるオブジェクト、例えば人が検出されているか否かを判定する。
【００９９】
（ステップＳ１０５）
最後に、ステップＳ１０５において、ステップＳ１０４における危険度推定結果に基づいて、表示部の検出オブジェクト領域を強調表示（警告（アラート）出力）する。
【０１００】
この処理は、図１４に示す表示制御部１２２、表示部１２３による処理である。
表示制御部１２２は、表示部１２３に表示された画像内の危険と判定された検出オブジェクト（人等）の周囲にオブジェクト検出枠（人検出枠）を出力する。例えば、先に図１３を参照して説明したように人検出枠を点滅表示する制御を行う。
なお、さらに、このオブジェクト検出枠の点滅表示に併せて警告音を出力する構成としてもよい。
【０１０１】
次に、ステップＳ１０３において実行される特徴点動きベクトル解析による移動オブジェクト検出処理の詳細シーケンスについて、図１６に示すフローチャートを参照して説明する。
先に説明したように、ステップＳ１０３の処理は、図１４に示す特徴点抽出部１１１、特徴点動きベクトル検出部１１２、特徴点グループ設定部１１３、特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４において実行される特徴点動きベクトルを適用した移動オブジェクト検出処理であり、先に図９〜図１２を参照して説明した処理である。
【０１０２】
（ステップＳ２０１）
まず、ステップＳ２０１において、入力画像からの特徴点抽出を実行する。
この処理は図１４に示す特徴点抽出部１１１の実行する処理であり、先に図９を参照して説明したように、カメラ撮影画像から特徴点を抽出する処理を実行する。
【０１０３】
（ステップＳ２０２）
次に、ステップＳ２０２において、特徴点対応の動きベクトルを算出する。
特徴点は、例えば輝度や色の大きく変化するエッジ部分の画素等が選択される。
この処理は図１４に示す特徴点動きベクトル検出部１１２の実行する処理であり、先に図１０を参照して説明したように、特徴点の動きベクトルを算出する。これは、カメラ１１によって撮影される複数フレームを用いて行われる。例えば１０ｍｓ、２０ｍｓ等、規定時間の最初のフレームと最後のフレームから、各特徴点の対応点を検出して、最初のフレームと最後のフレームまでの特徴点の移動量、移動方向を算出して、各特徴点対応の動きベクトルを求める。
【０１０４】
（ステップＳ２０３）
次に、ステップＳ２０３において、特徴点グループの設定を行う。
これは図１４に示す特徴点グループ設定部１１３の実行する処理であり、先に図１１を参照して説明した特徴点のグルーピング処理である。
これは、予め規定した規定距離内にある複数の特徴点中、ほぼ類似するベクトルを有する特徴点を１つのグループとして設定する処理である。
例えば、予め規定したしきい値画素距離以内の複数の特徴点がほぼ同じベクトル（方向、長さ）を有する場合、これらの特徴点は１つのグループ（特徴点グループ）に設定される。
【０１０５】
（ステップＳ２０４）
次に、ステップＳ２０４において、画像上下方向の少なくとも２つの離間領域に類似動きベクトルを持つ特徴点グループが存在するか否かを判定する。
これは、図１４に示す特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）１１４の実行する処理である。
【０１０６】
特徴点グループ間の動きベクトルの類似度比較には、例えば各特徴点グループの平均化動きベクトルを算出して、平均化動きベクトル同士を比較する。
【０１０７】
（ステップＳ２０５（Ｙｅｓ）〜Ｓ２０６）
先に図１２を参照して説明したように、画像上下方向の少なくとも２つの離間領域に類似ベクトルを持つ特徴点グループがあると判定した場合（ステップＳ２０５（Ｙｅｓ））は、ステップＳ２０６に進み、これら上下の特徴点グループを含む領域を１つの移動体領域と判定する。すなわちカメラの近接領域に１つの移動オブジェクト、例えば人が存在すると判定する。
【０１０８】
（ステップＳ２０５（Ｎｏ）〜Ｓ２０７）
一方、画像上下方向の少なくとも２つの離間領域に類似ベクトルを持つ特徴点グループがないと判定した場合（ステップＳ２０５（Ｎｏ））は、ステップＳ２０７に進み、カメラの近接領域に移動オブジェクト、例えば人が存在しないと判定する。
【０１０９】
［４．広角レンズを用いた撮影画像を利用した実施例について］
次に、画像撮影カメラが、例えば魚眼レンズ等、広角レンズを装着している場合の実施例の構成と処理について説明する。
【０１１０】
例えば図１に示す自動車１０に装着したカメラ１１が、魚眼レンズ等、広角レンズを装着している場合、その撮影画像は、より広い領域の画像を撮影することが可能となる。しかし、その撮影画像には大きな歪みが発生する。
【０１１１】
図１７（ａ）は、広角レンズを用いて撮影される画像の例を示しており、撮影画像の歪みの発生例を説明する図である。点線は、実世界の水平ラインと垂直ラインに対応する。図１７（ａ）に示すように、実世界の水平ラインと垂直ラインは、広角レンズを用いて撮影される画像では、画像中心から外側に向かうに従って、より湾曲するカーブとして撮りこまれる。
【０１１２】
このような広角レンズを用いて撮影される画像を用いて上記のオブジェクト検出を行う場合、歪み補正を実行して、図１７（ｂ）に示す補正画像を生成する処理を行うことが必要となる。
【０１１３】
このような歪み補正を実行する歪み補正部を有する画像処理装置１００ｂの構成例を図１８に示す。
図１８に示す画像処理装置１００ｂは、先に図１４を参照して説明した画像処理装置１００に歪み補正部１０２ｂを追加した構成である。
歪み補正部１０２ｂは、ＡＤ変換部１０２と信号処理部１０３の間に設けられる。
歪み補正部１０２ｂは、ＡＤ変換部１０２から出力される画像データに対する歪み補正を実行する。すなわち、図１７（ａ）に示す画像を１７（ｂ）に示す補正画像に変換する処理を実行し、補正後の画像を信号処理部１０３に出力する。
その後の処理は、図１４を参照して説明した画像処理装置１００における処理と同様の処理となる。
なお、歪み補正部１０２ｂにおいて実行する歪み補正は、信号処理部１０３内で実行する構成としてもよい。
【０１１４】
図１７、図１８を参照して説明した例は、歪み補正処理として、広角レンズを用いて撮影される画像の歪みをすべて解消して通常のレンズを用いて撮影された画像と同様の補正画像を生成する歪み補正を行う構成であるが、歪み補正を簡略化して、歪み補正部１０２ｂが、水平方向のみの歪み補正を行う構成としてもよい。
例えば、図１９に示すように、歪み補正部１０２ｂが、水平方向のみの歪み補正を実行して、図１９（ｃ）に示す水平方向のみの歪み補正した補正画像を生成する構成である。
【０１１５】
このような歪み補正画像を生成する構成では、特徴点動きベクトルの解析による移動オブジェクトの検出処理に際して動きベクトルの方向の補正を行うことが必要となる。
すなわち、図１８に示す「特徴点動きベクトル適用移動オブジェクト検出部１１４」で実行する処理を変更する必要がある。
【０１１６】
具体例について図２０、図２１を参照して説明する。
図２０は、図１９（ｃ）に示す水平方向のみの歪み補正した補正画像に、上下方向の２つの領域Ａ，Ｂを設定した例である。
この領域Ａ，Ｂは、先に図１２を参照して説明した領域Ａ，Ｂに相当する。すなわち特徴点グループの動きベクトルの類似度判定に用いる領域である。
【０１１７】
しかし、図に示すように、これらの領域Ａ，Ｂには、歪みが残存しており、動きベクトルの方向は歪みを反映した方向となっている。
従って、例えば図２１に示すように画像の上下方向のラインＬ１上の領域Ａの動きベクトルＶ１と、領域Ｂの動きベクトルＶ２は、それぞれの領域に応じた歪みが反映された方向を有するベクトルとなっている。
【０１１８】
このまま動きベクトルの類似度判定を行っても、実世界の動きに対応する正確な類似度判定ができない。
従って、「特徴点動きベクトル適用移動オブジェクト検出部１１４」は、動きベクトルの類似度判定を実行する前に、類似判定対象となる特徴点グループの動きベクトルの方向補正を行う。すなわち画像歪みを解消した場合のベクトルの方向を算出して、その算出方向を有する補正ベクトルを生成した後、類似判定を実行する。
【０１１９】
［５，差分画像を適用したオブジェクト検出処理を併用した実施例について］
次に、上述したオブジェクト検出処理、すなわちパターンマッチングによるオブジェクト検出と、特徴点動きベクトルの解析に基づく移動オブジェクトの検出に併せて差分画像を適用したオブジェクト検出を実行する実施例について説明する。
【０１２０】
まず、図２２を参照して差分画像を利用したオブジェクト検出処理の概要について説明する。
差分画像は、移動するオブジェクトの存在しない画像、いわゆる背景画像と、撮影画像を比較して、その差分（撮影画像−背景画像）から、移動オブジェクトを検出する処理である。
【０１２１】
図２２に示す（ａ）撮影画像は、カメラによって撮影された現在の画像である。
（ｂ）背景画像は、移動オブジェクトがいない環境で予め撮影された背景画像である。
（ｃ）は、差分画像、すなわち、
差分画像＝（撮影画像）−（背景画像）
である。
差分画像は、撮影画像に含まれる移動オブジェクトのみを抽出した画像となる。
【０１２２】
差分画像を適用したオブジェクト検出とは、このように、移動するオブジェクトの存在しない背景画像と、撮影画像を比較して、その差分（撮影画像−背景画像）から、移動オブジェクトを検出する処理である。
なお、背景画像は、事前に取得して記憶部に格納して利用する。
あるいは、例えば図２２に示す（ａ）撮影画像を撮影する前の複数フレームの平均化画像を用いる構成としてもよい。
【０１２３】
撮影画像を撮影する前の複数フレームの平均化画像を生成することで、移動オブジェクトが消失し、静止オブジェクトのみの画像、すなわち背景画像を取得することができる。
【０１２４】
この差分画像を用いたオブジェクト検出処理を、前述したパターンマッチングによるオブジェクト検出と、特徴点動きベクトルの解析に基づく移動オブジェクトの検出処理に併せて実行する画像処理装置の構成例について、図２３に示すブロック図を参照して説明する。
【０１２５】
図２３に示す画像処理装置２００は、先に図１４を参照して説明した画像処理装置１００に、以下の構成要素を追加した構成である。
差分画像算出部２１１、
背景画像記憶部２１２、
差分画像適用移動オブジェクト検出部２１３。
【０１２６】
差分画像算出部２１１は、図２２を参照して説明した処理、すなわち、
差分画像＝（撮影画像）−（背景画像）
上記式に従って差分画像を生成する。
撮影画像は、信号処理部１０３から入力する現在の画像である。背景画像は、背景画像記憶部２１２に格納された背景のみの画像である。
なお、前述したように、背景画像は、撮影画像を撮影する前の複数フレームの平均化画像を用いる構成としてもよい。
【０１２７】
差分画像算出部２１１の算出した差分画像は、差分画像適用移動オブジェクト検出部２１３に入力される。
差分画像適用移動オブジェクト検出部２１３は、差分画像に残った画像を移動オブジェクトであると判定し、この移動オブジェクト情報を危険度推定部１２１に出力する。
【０１２８】
危険度推定部１２１は、以下の３種類のオブジェクト検出結果情報を入力する。
（Ａ）パターンマッチング適用オブジェクト検出部１０５によるパターンマッチングを適用した検出結果。
（Ｂ）特徴点動きベクトル適用移動オブジェクト検出部１１４が、各特徴点グループの動きベクトルの比較に基づいて実行した移動オブジェクトの検出結果。
（Ｃ）差分画像適用移動オブジェクト検出部２１３が、差分画像に残った画像に基づいて解析した移動オブジェクトの検出結果。
【０１２９】
危険度推定部１２１は、さらに車両制御情報取得部１３１から、車速、シフト位置、操舵角等を入力し、車両の進行方向上に衝突可能性のあるオブジェクト、例えば人が検出されているか否かを判定する。
検出されている場合は、表示制御部１２２に対して、オブジェクト検出枠（人検出枠）の表示要求を行う。
【０１３０】
なお、図２３に示すように、差分画像算出部２１１の算出した差分画像は、特徴点動きベクトルの解析に基づく移動オブジェクトの検出処理を行うために、特徴点抽出部１１１に出力する構成としてもよい。
先に図２２を参照して説明したように、差分画像は移動オブジェクトが抽出された画像であり、この画像を用いて特徴点を抽出し、抽出した特徴点から動きベクトルの解析に基づく移動オブジェクトの検出処理を行うことが可能である。
【０１３１】
特徴点動きベクトル適用移動オブジェクト検出部１１４は、差分画像から抽出した特徴点の動きベクトルを解析して移動オブジェクトを抽出する構成としてもよい。
【０１３２】
［６．画像処理装置の構成例について］
図２４は、上述した処理を実行する画像処理装置のハードウェア構成例を示す図である。
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。
【０１３３】
ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。
なお、入力部３０６には、カメラ３２１や、車両制御情報取得部３２２からの入力情報も入力される。
【０１３４】
ＣＰＵ３０１は、入力部３０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部３０７に出力する。
入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
【０１３５】
入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。
【０１３６】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１３７】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出部と、
類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定部と、
画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出部、
を有する画像処理装置。
【０１３８】
（２）  前記画像は、カメラの撮影画像であり、
前記移動オブジェクト検出部は、
前記複数の特徴点グループを構成する複数の特徴点が、前記カメラの近傍領域に存在する１つの移動オブジェクトであると判定する（１）に記載の画像処理装置。
【０１３９】
（３）  前記画像処理装置は、さらに、
パターンマッチングによるオブジェクト検出を実行するパターンマッチング適用オブジェクト検出部を有する（１）または（２）に記載の画像処理装置。
【０１４０】
（４）  前記画像処理装置は、
前記画像を撮影したカメラの近傍のオブジェクトを、前記移動オブジェクト検出部による特徴点動きベクトルを適用して検出し、
前記画像を撮影したカメラから離間したオブジェクトを、パターンマッチングを適用して検出する（１）〜（３）いずれかに記載の画像処理装置。
【０１４１】
（５）  前記移動オブジェクト検出部は、
画像の上下方向の２つの離間領域にある２つの特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記２つの特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する（１）〜（４）いずれかに記載の画像処理装置。
【０１４２】
（６）  前記画像処理装置は、
前記画像を撮影したカメラの近傍の人を、前記移動オブジェクト検出部による特徴点動きベクトルを適用して検出し、
前記画像を撮影したカメラから離間した人を、パターンマッチングを適用して検出する（１）〜（５）いずれかに記載の画像処理装置。
【０１４３】
（７）  前記画像処理装置は、
自動車に搭載されたカメラの撮影画像の解析を実行して、画像内に含まれる人を検出する（１）〜（６）いずれかに記載の画像処理装置。
【０１４４】
（８）  前記画像処理装置は、さらに、
前記カメラの撮影画像を表示する表示部と、
画像内から検出された人の領域を示す人検出枠を前記表示部に表示する表示制御部を有する（７）に記載の画像処理装置。
【０１４５】
（９）  前記画像処理装置は、
広角レンズを装着したカメラによる撮影画像の歪み補正を実行する歪み補正部を有し、
前記特徴点動きベクトル検出部は、歪み補正された画像を利用して動きベクトルの検出を行う（１）〜（８）いずれかに記載の画像処理装置。
【０１４６】
（１０）  前記画像処理装置は、さらに、
差分画像に基づく移動オブジェクト検出を実行する差分画像適用移動オブジェクト検出部を有する（１）〜（９）いずれかに記載の画像処理装置。
【０１４７】
（１１）  移動装置の周囲を撮影するカメラと、
前記カメラの撮影した画像を表示する表示部と、
前記カメラの撮影した画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出部と、
類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定部と、
画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出部と、
前記移動オブジェクト検出部の検出した移動オブジェクトの領域を示す検出枠を前記表示部に表示する表示制御部を有する移動装置。
【０１４８】
（１２）  前記移動装置は、さらに、
パターンマッチングによるオブジェクト検出を実行するパターンマッチング適用オブジェクト検出部を有し、
前記表示制御部は、前記移動オブジェクト検出部、および前記パターンマッチング適用オブジェクト検出部の検出したオブジェクトの領域を示す検出枠を前記表示部に表示する（１１）に記載の移動装置。
【０１４９】
（１３）  画像処理装置において実行する画像処理方法であり、
特徴点動きベクトル検出部が、画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出ステップと、
特徴点グループ設定部が、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定ステップと、
移動オブジェクト検出部が、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出ステップを実行する画像処理方法。
【０１５０】
（１４）  移動装置において実行する画像処理方法であり、
移動装置の周囲を撮影するカメラが、画像を撮影するステップと、
特徴点動きベクトル検出部が、前記画像から抽出した特徴点の動きベクトルを検出する特徴点動きベクトル検出ステップと、
特徴点グループ設定部が、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定する特徴点グループ設定ステップと、
移動オブジェクト検出部が、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定する移動オブジェクト検出ステップと、
表示制御部が、前記カメラの撮影画像に、前記移動オブジェクト検出部の検出した移動オブジェクトの領域を示す検出枠を設定して表示部に表示する画像処理方法。
【０１５１】
（１５）  画像処理装置において画像処理を実行させるプログラムであり、
特徴点動きベクトル検出部に、画像から抽出した特徴点の動きベクトルを検出させる特徴点動きベクトル検出ステップと、
特徴点グループ設定部に、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定させる特徴点グループ設定ステップと、
移動オブジェクト検出部に、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定させ、
類似するとの判定に基づいて、前記複数の特徴点グループを構成する複数の特徴点が１つの移動オブジェクトに属する特徴点であると判定させる移動オブジェクト検出ステップを実行させるプログラム。
【０１５２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１５４】
以上、説明したように、本開示の一実施例の構成によれば、カメラの近傍領域の移動オブジェクトを特徴点の動きベクトルを解析して検出し、カメラから離間した領域のオブジェクトをパターンマッチングで検出することで、高精度なオブジェクト検出が実現される。
具体的には、例えば、カメラ撮影画像から抽出した特徴点の動きベクトルを検出し、類似する動きベクトルを有する近接特徴点によって構成される特徴点グループを設定し、画像の上下方向の離間領域にある複数の特徴点グループの動きベクトルが類似するか否かを判定し、類似するとの判定に基づいてカメラ近傍に移動オブジェクトがあると判定する。さらに、パターンマッチングを併せて適用して、カメラから離れたオブジェクトを検出する。
本構成により、カメラの近傍領域の移動オブジェクトを特徴点の動きベクトルを解析して検出し、カメラから離間した領域のオブジェクトをパターンマッチングで検出することで、高精度なオブジェクト検出が実現される。
【符号の説明】
【０１５５】
１０  自動車
１１  カメラ
１２  表示部
１００  画像処理装置
１０１  撮像素子
１０２  ＡＤ変換部
１０２ｂ  歪み補正部
１０３  信号処理部
１０４  パターンデータ記憶部
１０５  パターンマッチング適用オブジェクト検出部
１１１  特徴点抽出部
１１２  特徴点動きベクトル検出部
１１３  特徴点グループ設定部
１１４  特徴点動きベクトル適用移動オブジェクト検出部（オプティカルフロー適用移動オブジェクト検出部）
１２０  車両制御情報取得部（車速、シフト位置、操舵角センサ等）
１２１  危険度推定部
１２２  表示制御部
１２３  表示部
２００  画像処理装置
２１１  差分画像算出部
２１２  背景画像記憶部
２１３  差分画像適用移動オブジェクト検出部
３０１  ＣＰＵ
３０２  ＲＯＭ
３０３  ＲＡＭ
３０４  バス
３０５  入出力インタフェース
３０６  入力部
３０７  出力部
３０８  記憶部
３０９  通信部
３１０  ドライブ
３１１  リムーバブルメディア
３２１  カメラ
３２２  車両制御情報取得部
【図１】
2019191691.tif 000003
【図２】
2019191691.tif 000004
【図３】
2019191691.tif 000005
【図４】
2019191691.tif 000006
【図５】
2019191691.tif 000007
【図６】
2019191691.tif 000008
【図７】
2019191691.tif 000009
【図８】
2019191691.tif 000010
【図９】
2019191691.tif 000011
【図１０】
2019191691.tif 000012
【図１１】
2019191691.tif 000013
【図１２】
2019191691.tif 000014
【図１３】
2019191691.tif 000015
【図１４】
2019191691.tif 000016
【図１５】
2019191691.tif 000017
【図１６】
2019191691.tif 000018
【図１７】
2019191691.tif 000019
【図１８】
2019191691.tif 000020
【図１９】
2019191691.tif 000021
【図２０】
2019191691.tif 000022
【図２１】
2019191691.tif 000023
【図２２】
2019191691.tif 000024
【図２３】
2019191691.tif 000025
【図２４】
2019191691.tif 000026