(57)【特許請求の範囲】
【請求項１】
車両に設置された撮像装置により前記車両の進行方向が経時的に連続して撮像された複数の画像を取得する画像取得部と、
取得した複数の前記画像の間で互いに対応する特徴点どうしを結ぶ複数のオプティカルフローを算出する算出部と、
前記算出部が算出する複数の前記オプティカルフローの延長線が互いに交わる交点の座標を算出する交点座標算出部と、
前記画像を複数の画素毎に分割したそれぞれのブロックに含まれる前記交点の数を、算出された前記交点の座標に基づきカウントする計数部と、
前記計数部がカウントする前記交点の数が所定の数以上である前記ブロックを特定ブロックとして選択する選択部と、
選択された前記特定ブロックの位置に基づいて、前記車両の進行方向が撮像された前記画像に含まれる消失点の前記画像内の位置を判定する判定部と、
前記判定部が判定した前記消失点の前記画像内の位置を出力する出力部と
を備える画像解析装置。
【請求項２】
前記判定部は、前記画像取得部が取得した前記画像に前記特定ブロックが複数存在する場合、前記画像に存在する複数の前記特定ブロックの座標の平均を前記消失点の前記画像内の位置であると判定する
請求項１に記載の画像解析装置。
【請求項３】
前記ブロックに含まれる画素数は、前記車両の進行方向が撮像された前記画像の垂直方向と水平方向とで異なり、
前記垂直方向の画素数より、前記水平方向の画素数の方が多い
請求項１又は請求項２に記載の画像解析装置。
【請求項４】
前記判定部は、
前記画像の前記消失点である第１消失点の前記画像内の位置を判定する第１判定部と、
前記第１判定部により判定された複数の前記画像の前記第１消失点の前記画像内の位置に基づいて、第２消失点の前記画像内の位置を判定する第２判定部と
を更に備え、
前記出力部は、前記第２判定部が判定した前記第２消失点の前記画像内の位置を出力する
請求項１から請求項３のいずれか一項に記載の画像解析装置。
【請求項５】
前記第２判定部は、前記第１判定部により判定された複数の前記画像の前記第１消失点に基づいて、統計処理により前記第２消失点を判定する
請求項４に記載の画像解析装置。
【請求項６】
前記第２判定部は、前記第１判定部により判定された複数の前記画像の前記第１消失点のうち、同一の前記第１消失点の位置を有する前記画像の数が最も多い前記第１消失点の前記画像内の位置を、前記第２消失点の前記画像内の位置として判定する
請求項４又は請求項５に記載の画像解析装置。
【請求項７】
コンピュータを、
請求項１から請求項６のいずれか一項に記載の画像解析装置として機能させるためのプログラム。
【請求項８】
車両に設置された撮像装置により前記車両の進行方向が経時的に連続して撮像された複数の画像を取得する画像取得ステップと、
取得した複数の前記画像の間で互いに対応する特徴点どうしを結ぶ複数のオプティカルフローを算出する算出ステップと、
前記算出ステップにより算出された複数の前記オプティカルフローの延長線が互いに交わる交点の座標を算出する交点座標算出ステップと、
前記画像を複数の画素毎に分割したそれぞれのブロックに含まれる前記交点の数を、算出された前記交点の座標に基づきカウントする計数ステップと、
前記計数ステップによりカウントされた前記交点の数が所定の数以上である前記ブロックを特定ブロックとして選択する選択ステップと、
選択された前記特定ブロックの位置に基づいて、前記車両の進行方向が撮像された前記画像に含まれる消失点の前記画像内の位置を判定する判定ステップと、
前記判定ステップにより判定された前記消失点の前記画像内の位置を出力する出力ステップと
を含む画像解析装置の画像解析方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、プログラム及び画像解析方法に関する。
【背景技術】
【０００２】
従来、車両に備えられたドライブレコーダが撮像する画像から消失点の座標を算出し、算出した消失点の位置に基づき、撮像された画像を解析する技術があった（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１２３１８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながらこのような技術によれば、算出された消失点の座標によって、解析結果が大きく異なってしまうという問題があった。
【０００５】
そこで、本発明は、車両に備えられたドライブレコーダが撮像する画像の消失点の座標を正確に算出することができる技術の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像解析装置は、車両に設置された撮像装置により前記車両の進行方向が経時的に連続して撮像された複数の画像を取得する画像取得部と、取得した複数の前記画像の間で互いに対応する特徴点どうしを結ぶ複数のオプティカルフローを算出する算出部と、前記算出部が算出する複数の前記オプティカルフローの延長線が互いに交わる交点の座標を算出する交点座標算出部と、前記画像を複数の画素毎に分割したそれぞれのブロックに含まれる前記交点の数を、算出された前記交点の座標に基づきカウントする計数部と、前記計数部がカウントする前記交点の数が所定の数以上である前記ブロックを特定ブロックとして選択する選択部と、選択された前記特定ブロックの位置に基づいて、前記車両の進行方向が撮像された前記画像に含まれる消失点の前記画像内の位置を判定する判定部と、前記判定部が判定した前記消失点の前記画像内の位置を出力する出力部とを備える。
【０００７】
また、本発明の一態様に係る画像解析装置において、前記判定部は、前記画像取得部が取得した前記画像に前記特定ブロックが複数存在する場合、前記画像に存在する複数の前記特定ブロックの座標の平均を前記消失点の前記画像内の位置であると判定する。
【０００８】
また、本発明の一態様に係る画像解析装置において、前記ブロックに含まれる画素数は、前記車両の進行方向が撮像された前記画像の垂直方向と水平方向とで異なり、前記垂直方向の画素数より、前記水平方向の画素数の方が多い。
【０００９】
また、本発明の一態様に係る画像解析装置において、前記判定部は、前記画像の前記消失点である第１消失点の前記画像内の位置を判定する第１判定部と、前記第１判定部により判定された複数の前記画像の前記第１消失点の前記画像内の位置に基づいて、第２消失点の前記画像内の位置を判定する第２判定部とを更に備え、前記出力部は、前記第２判定部が判定した前記第２消失点の前記画像内の位置を出力する。
【００１０】
また、本発明の一態様に係る画像解析装置において、前記第２判定部は、前記第１判定部により判定された複数の前記画像の前記第１消失点に基づいて、統計処理により前記第２消失点を判定する。
【００１１】
また、本発明の一態様に係る画像解析装置において、前記第２判定部は、前記第１判定部により判定された複数の前記画像の前記第１消失点のうち、同一の前記第１消失点の位置を有する前記画像の数が最も多い前記第１消失点の前記画像内の位置を、前記第２消失点の前記画像内の位置として判定する。
【００１２】
また、本発明の一態様に係るプログラムは、コンピュータを、上述した画像解析装置として機能させる。
【００１３】
また、本発明の一態様に係る画像解析方法は、車両に設置された撮像装置により前記車両の進行方向が経時的に連続して撮像された複数の画像を取得する画像取得ステップと、取得した複数の前記画像の間で互いに対応する特徴点どうしを結ぶ複数のオプティカルフローを算出する算出ステップと、前記算出ステップにより算出された複数の前記オプティカルフローの延長線が互いに交わる交点の座標を算出する交点座標算出ステップと、前記画像を複数の画素毎に分割したそれぞれのブロックに含まれる前記交点の数を、算出された前記交点の座標に基づきカウントする計数ステップと、前記計数ステップによりカウントされた前記交点の数が所定の数以上である前記ブロックを特定ブロックとして選択する選択ステップと、選択された前記特定ブロックの位置に基づいて、前記車両の進行方向が撮像された前記画像に含まれる消失点の前記画像内の位置を判定する判定ステップと、前記判定ステップにより判定された前記消失点の前記画像内の位置を出力する出力ステップとを含む。
【発明の効果】
【００１４】
本発明によれば、車両に備えられたドライブレコーダが撮像する画像の消失点の座標を正確に算出することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る画像解析システムの機能構成の一例を示す図である。
【図２】本実施形態に係るドライブレコーダが車両に設置される場合の一例を示す図である。
【図３】本実施形態に係るドライブレコーダの設置角度の違いによる撮像画像の変化を示す図である。
【図４】本実施形態に係る画像解析装置の機能構成の一例を示す図である。
【図５】本実施形態に係る撮像装置が撮像する一連の画像について説明するための図である。
【図６】本実施形態に係る交点の算出方法を説明するための図である。
【図７】本実施形態に係るブロックについて説明するための図である。
【図８】本実施形態に係る特定ブロックの選択について説明するための図である。
【図９】本実施形態に係る特定ブロックが２つ存在する場合の消失点の判定について説明するための図である。
【図１０】本実施形態に係る画像解析装置の一連の動作を説明するための図である。
【図１１】本実施形態に係る画像解析装置の機能構成の変形例を示す図である。
【図１２】本実施形態に係るそれぞれの画像ごとの第１消失点について説明するための図である。
【発明を実施するための形態】
【００１６】
［画像解析システムの機能構成］
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、本実施形態に係る画像解析システム３の機能構成の一例を示す図である。同図を参照しながら、画像解析システム３の機能構成の一例について説明する。
【００１７】
画像解析システム３は、ドライブレコーダ１と、サーバ２とを備える。図１において、ドライブレコーダ１及びサーバ２は、通信ネットワークＮＷを介して互いに接続されている。本実施形態においては、画像解析システム３には、ドライブレコーダ１及びサーバ２がそれぞれ１台ずつ備えられる場合の一例について説明する。画像解析システム３は、この一例に限定されず、複数のドライブレコーダ１と、複数のサーバ２とを備えていてもよい。
【００１８】
ドライブレコーダ１は、撮像装置２０と、通信装置４０とを備える。ドライブレコーダ１は、車両Ｖに設置される。例えば、ドライブレコーダ１は、車両Ｖのフロントガラスや、車両Ｖに備えられたルームミラー等に設置される。
【００１９】
撮像装置２０は、車両Ｖの進行方向を所定の画角で撮像する。撮像装置２０は、車両Ｖの進行方向について、所定の周期で連続した複数の画像を撮像する。ここで、撮像装置２０が撮像する連続した複数の画像は動画を構成するため、撮像装置２０が撮像する画像をフレームと記載する場合がある。すなわち、撮像装置２０は、車両Ｖの進行方向について、所定の周期で複数フレームの画像を撮像する。例えば、撮像装置２０は、車両Ｖの進行方向を１０ｆｐｓ（frames per second）で撮像する。
【００２０】
通信装置４０は、撮像装置２０が撮像した画像を送信する。通信装置４０は、例えば、撮像装置２０が撮像した画像を、通信ネットワークＮＷを介し、所定の通信方式で、サーバ２に送信する。
【００２１】
なお、通信装置４０は、車両Ｖが他の車両等に衝突したと判定した場合、ブルートゥース（登録商標）(Bluetooth)等の規格による近距離無線通信により、車両Ｖの所有者が所持する携帯端末（スマートフォン等）に情報を送信してもよい。この場合、ドライブレコーダ１は、車両Ｖの所有者からの操作を受け付けることにより、撮像装置２０が撮像した画像を送信するよう構成してもよい。近距離無線通信とは、ブルートゥース（登録商標）である場合の一例に限定されず、種々の通信方式を採用可能である。例えば、近距離無線通信とは、Ｗｉ−Ｆｉ（登録商標）、ＩｒＤＡ(Infrared Data Association）、ＴｒａｎｓｆｅｒＪｅｔ（登録商標）、ＺｉｇＢｅｅ（登録商標）等であってもよい。
【００２２】
サーバ２は、画像解析装置１０と、情報処理装置３０とを備える。サーバ２は、車両Ｖの事故処理を行う情報センタ等に備えられる。例えば、サーバ２は、車両Ｖが事故に遭遇した場合、車両Ｖに設置されたドライブレコーダ１から、事故発生前後における情報を取得する。事故発生前後における情報とは、ドライブレコーダ１に備えられた撮像装置２０が撮像した画像等である。
【００２３】
画像解析装置１０は、撮像装置２０が撮像する複数フレームの画像を取得し、取得した画像を解析する。画像解析装置１０は、撮像装置２０が撮像する複数フレームの画像に基づき、消失点の座標を算出する。
【００２４】
情報処理装置３０は、画像解析装置１０が算出した消失点の座標に基づき、撮像装置２０が撮像した画像の解析を行う。例えば、情報処理装置３０は、ドライブレコーダ１が設置されている角度を算出する。また、情報処理装置３０は、ドライブレコーダ１が備える不図示の加速度センサから加速度情報を取得し、車両Ｖに与えられた衝撃を検出する。情報処理装置３０は、与えられる衝撃の大きさが所定の大きさ以上である場合に、車両Ｖが他の車両等に衝突したと判定する。情報処理装置３０は、車両Ｖが他の車両等に衝突したと判定した場合、算出されたドライブレコーダ１の角度や、加速度センサが取得する情報等に基づいて、衝突時の状況を解析する等の情報処理を行う。
【００２５】
なお、上述した撮像装置２０と、画像解析装置１０と、情報処理装置３０と、通信装置４０とを含む装置を車両Ｖに搭載するよう構成してもよい。この場合、撮像装置２０と、画像解析装置１０と、情報処理装置３０と、通信装置４０とを含む装置は、算出した設置角を、通信装置４０を介してサーバ２に送信するようにしてもよい。
【００２６】
図２は、本実施形態に係るドライブレコーダ１が車両Ｖに設置される場合の一例を示す図である。図２（Ａ）は、車両Ｖの一例である普通自動車Ｖ１に、撮像装置２０が設置される場合の一例である。この場合、撮像装置２０は、路面Ｒから高さＨ１１の位置に設置される。以降、撮像装置２０が設置される高さは、路面Ｒから撮像装置２０のレンズの光軸中心までの高さであるとして記載する。また、撮像装置２０は、路面Ｒからの垂線に対し、角度θ１１で設置されている。以降、撮像装置が設置される角度は、路面Ｒからの垂線と光軸中心との角度であるとして記載する。
図２（Ｂ）は、車両Ｖの一例である貨物自動車Ｖ２に、撮像装置２０が設置される場合の一例である。この場合、撮像装置２０は、路面Ｒから高さＨ１２の位置に設置される。撮像装置２０は、路面Ｒからの垂線に対し、角度θ１２で設置されている。
このように、撮像装置２０が設置される位置及び設置角度は、車両Ｖごとに異なる。また、同一の車両Ｖであっても、取り付け方法により、撮像装置２０の設置位置及び設置角度は異なる場合がある。
【００２７】
図３は、本実施形態に係るドライブレコーダ１の車両Ｖに対する設置角度の違いによる撮像画像の変化を示す図である。同図には、車両Ｖがｘ軸方向に進む場合の一例を示す。以後、ｙ軸方向を高さ方向又は垂直方向と記載する。
図３（Ａ）に示す一例では、撮像装置２０は、路面Ｒから高さＨ２１の位置に設置されている。また、撮像装置２０は、路面Ｒからの垂線に対し角度θ２２で設置されている。撮像装置２０の画角がθ２１である場合、撮像装置２０は距離Ｌ２の範囲を撮像可能である。
図３（Ｂ）に示す一例では、撮像装置２０は、路面Ｒから高さＨ２２の位置に設置されている。また、撮像装置２０は、路面Ｒからの垂線に対し角度θ２３で設置されている。撮像装置２０の画角がθ２１である場合、撮像装置２０は距離Ｌ３の範囲を撮像可能である。
【００２８】
図３（Ａ）に示す一例と、図３（Ｂ）に示す一例とでは、同様の撮像装置２０を使用しているため、撮像装置２０の画角はθ２１で同様である。しかしながら、図３（Ａ）に示す一例と、図３（Ｂ）に示す一例とでは、撮像装置２０が設置される高さ及び設置角度が異なる。撮像された画像から距離Ｌ１を測定する場合、図３（Ａ）における撮像装置２０が撮像する画像における距離Ｌ１の（見かけ上の）大きさと、図３（Ｂ）における撮像装置２０が撮像する画像における距離Ｌ１の（見かけ上の）大きさとは異なる。したがって、撮像装置２０が撮像する画像から距離Ｌ１を正確に測定するには、撮像装置２０が設置されている高さ及び角度を正確に算出することを要する。本実施形態では、撮像装置２０が設置されている高さ及び角度を正確に算出するために、消失点の座標を正確に算出する。
【００２９】
［画像解析装置の構成］
図４は、本実施形態に係る画像解析装置１０の機能構成の一例を示す図である。同図を参照しながら、画像解析装置１０の機能構成の一例について説明する。画像解析装置１０では、フレーム画像複数枚に基づき、オプティカルフローを算出し、消失点を算出、判定する。
画像解析装置１０は、画像取得部１１０と、オプティカルフロー算出部（算出部）１２０と、交点座標算出部１３０と、計数部１４０と、選択部１５０と、判定部１６０と、出力部１７０とを備える。
【００３０】
画像取得部１１０は、撮像装置２０から、撮像装置２０が撮像する画像を取得する。ここで、当該画像は、車両に設置された撮像装置２０が車両Ｖの進行方向を撮像する画像である。また、撮像装置２０は、経時的に連続して撮像された複数の画像を撮像する。撮像装置２０により撮像された経時的に連続した複数の画像は、動画の基となる静止画であるため、撮像装置２０は、複数のフレームの画像を撮像する。すなわち、画像取得部１１０は、車両に設置された撮像装置２０により車両Ｖの進行方向が撮像された複数の画像を取得する。
【００３１】
図５は、本実施形態に係る撮像装置２０が撮像する一連の画像の一例について説明するための図である。同図を参照しながら、画像取得部１１０が取得する画像の一例について説明する。
撮像装置２０は、複数のフレームの画像を撮像する。この一例において、画像取得部１１０は、フレームＦ１からフレームＦ９０までの９０フレームの画像を取得する。撮像装置２０が１０ｆｐｓで撮像する場合、９０フレームは９秒間に相当するため、画像取得部１１０は、９秒間分の情報を取得する。
【００３２】
なお、撮像装置２０は、所定の周期で撮像を行い、画像取得部１１０は、ドライブレコーダ１が備える不図示の加速度センサ等に基づくタイミングにより所定の数の画像を取得するよう構成してもよい。例えば、画像取得部１１０は、加速度センサが衝撃を検出する前の１０秒間ぶんの画像（１０ｆｐｓで撮像した場合、１００フレーム）と、加速度センサが衝撃を検出した後の５秒間ぶんの画像（１０ｆｐｓで撮像した場合、５０フレーム）とを取得するよう構成してもよい。
この場合、撮像装置２０は、撮像した画像を１５秒間ぶん（１０ｆｐｓで撮像した場合、５０フレーム）の記憶容量を持つ不図示の記憶部に記憶（ループ録画）させ、加速度センサが衝撃を検出することにより、当該衝撃を検出した時刻より５秒後にループ録画を停止する。
【００３３】
この一例において、１フレームの画像が有する画素数は、車両Ｖの進行方向の垂直方向（図５におけるｙｃ方向）と、水平方向（図５におけるｘｃ方向）とで異なる。例えば、１フレームの画像は、垂直方向に７２０ピクセルの画素を、水平方向に１２８０ピクセルの画素を有する。
【００３４】
図４に戻り、オプティカルフロー算出部１２０は、取得した画像から複数のオプティカルフローを算出する。ここで、オプティカルフローとは、取得した複数のフレームの画像の間で対応する特徴点を互いに結ぶベクトルである。
図６は、本実施形態に係る交点の算出方法を説明するための図である。図６（Ａ）は、画像取得部１１０が取得した画像の一例を示す図である。当該画像には、車両Ｖの進行方向の像（道路や建物等）が撮像されている。
図６（Ｂ）は、オプティカルフロー算出部１２０がオプティカルフローを算出した結果の一例を示す図である。同図において、オプティカルフロー算出部１２０が算出したオプティカルフローを、オプティカルフローＯＦとして示す。
【００３５】
図４に戻り、交点座標算出部１３０は、交点の座標を算出する。具体的には、まず、交点座標算出部１３０は、オプティカルフロー算出部１２０が算出する複数のオプティカルフローの延長線を算出する。図６（Ｃ）は、交点座標算出部１３０が、オプティカルフローの延長線を算出した結果の一例を示す図である。同図において、交点座標算出部１３０が算出した延長線を、延長線ＥＬとして示す。
【００３６】
次に、交点座標算出部１３０は、延長線ＥＬが互いに交わる交点の座標を算出する。すなわち、交点座標算出部１３０は、オプティカルフロー算出部１２０が算出する複数のオプティカルフローの延長線が互いに交わる交点の座標を算出する。図６（Ｄ）は、交点座標算出部１３０が、延長線ＥＬの交点を算出した結果の一例を示す図である。同図において、交点座標算出部１３０が算出した交点を、交点ＣＰとして示す。
【００３７】
ここで、本実施形態において１フレームの画像は、複数のブロックに分割される。
図７は、本実施形態に係るブロックについて説明するための図である。１フレームの画像は、複数の画素を含んだブロックＢに分割される。この一例において、ブロックＢは、矩形である。ブロックＢに含まれる画素数は、垂直方向（図７におけるｙｃ方向）と水平方向（図７におけるｘｃ方向）とで異なり、垂直方向の画素数より、前記水平方向の画素数の方が多い。この一例において、ブロックＢは、垂直方向に３ピクセル、水平方向に６ピクセルの画素を有する。１フレームの画像は、複数のブロックに分割された結果、ｘｃ方向に２１４ブロックのブロックを有し、ｙｃ方向に２４０ブロックのブロックを有する。
【００３８】
なお、ブロックＢの形状は、矩形である場合の一例に限られず、正方形等のその他の四角形であってもよいし、その他の多角形、例えば正六角形を並べたハニカム構造等であってもよい。
【００３９】
図４に戻り、計数部１４０は、１フレームの画像のうち、それぞれのブロックＢに含まれる交点ＣＰの数を、交点座標算出部１３０が算出した交点ＣＰの座標に基づきカウントする。
選択部１５０は、計数部１４０がカウントする交点ＣＰの数が所定の数以上であるブロックを、特定ブロックＳＢとして選択する。
【００４０】
図８は、本実施形態に係る特定ブロックＳＢの選択について説明するための図である。図８（Ａ）は、交点座標算出部１３０が、交点ＣＰを算出した結果の一例を示す図である。図８（Ｂ）は、画像の一部について、計数部１４０がカウントした交点ＣＰの数を示す図である。同図における枠外の数字は、それぞれのブロックの位置を示し、枠内の数字は、それぞれのブロックに含まれる交点ＣＰの数を示す。同図には、垂直方向に１１３番目から１１５番目までのブロックであり、水平方向に１０３番目から１０６番目までのブロックであるブロックを示す。
【００４１】
例えば、選択部１５０が特定ブロックＳＢとして選択する場合の所定の数を、５０とした場合、選択部１５０は、計数部１４０がカウントする交点ＣＰの数が５０以上であるブロックを、特定ブロックＳＢとして選択する。
図８の一例においては、垂直方向に１１４番目のブロックであり、水平方向に１０５番目のブロックであるブロックＢ１１４−１０５に、６４の交点ＣＰが含まれる。したがって、選択部１５０は、ブロックＢ１１４−１０５を特定ブロックＳＢとして選択する。
【００４２】
図４に戻り、判定部１６０は、選択された特定ブロックＳＢの位置に基づいて、車両の進行方向が撮像された画像に含まれる消失点ＶＰの画像内の位置を判定する。具体的には、選択された特定ブロックＳＢが１つである場合、判定部１６０は、当該特定ブロックＳＢを車両の消失点ＶＰの画像内の位置であると判定する。
【００４３】
選択された特定ブロックＳＢが２つ以上である場合、判定部１６０は、当該特定ブロックＳＢの座標の平均を消失点ＶＰの画像内の位置であると判定する。すなわち、判定部１６０は、画像取得部１１０が取得した画像に、特定ブロックＳＢが複数存在する場合、画像に存在する複数の特定ブロックＳＢの座標の平均を消失点の画像内の位置であると判定する。
【００４４】
図９は、本実施形態に係る特定ブロックが２つ存在する場合の消失点の判定について説明するための図である。同図には、垂直方向に１１０番目から１１８番目までのブロックであり、水平方向に１００番目から１０８番目までのブロックであるブロックを示す。
この一例において、垂直方向に１１２番目のブロックであり、水平方向に１０２番目のブロックであるブロックＢ１１２−１０２と、垂直方向に１１６番目のブロックであり、水平方向に１０６番目のブロックであるブロックＢ１１６−１０６との、２つのブロックが特定ブロックＳＢである。
この場合、消失点ＶＰは、ブロックＢ１１２−１０２の座標と、ブロックＢ１１６−１０６の座標との平均である。すなわち、判定部１６０は、ブロックＢ１１４−１０４を、消失点ＶＰの画像内の位置であると判定する。
【００４５】
図９を参照しながら、特定ブロックＳＢが２つ存在する場合の消失点の判定について説明したが、選択された特定ブロックＳＢが３つ以上である場合においても同様に、判定部１６０は、当該特定ブロックＳＢの座標の平均を消失点ＶＰの画像内の位置であると判定する。
なお、消失点ＶＰの位置は、ブロックで表現しても、ピクセルで表現してもよい。図９の場合、消失点はブロックＢ１１４−１０４であるが、例えばブロック座標を当該ブロックの中心の座標と定義して、垂直方向は１１３×３＋１．５＝３４０．５、水平方向は１０３×６＋３＝６２１、と計算することで、消失点を（３４０．５、６２１）のようなピクセル座標で表現してもよい。また、ブロックで平均を計算した場合でも、ピクセルで平均を計算した場合でも、端数が生じることがあるが、必要に応じて適宜、端数処理を行ってよい。
【００４６】
図４に戻り、出力部１７０は、判定部１６０が判定した消失点ＶＰの画像内の位置を、所定の通信方式により出力する。例えば、出力部１７０は、ＳＩＭカードを備え、ＬＴＥ（Long Term Evolution）、ＮＲ（New Radio）、Ｗｉ−Ｆｉ（登録商標）等の所定の通信方式により、所定の出力先、例えば情報処理装置３０に出力する。情報処理装置３０は、例えば、車両Ｖの事故処理を行う情報センタに備えられていてもよい。
【００４７】
図１０は、本実施形態に係る画像解析装置１０の一連の動作を説明するための図である。同図を参照しながら、画像解析装置１０の一連の動作を説明する。
（ステップＳ１０）画像取得部１１０は、撮像装置２０が撮像する画像を取得する。
（ステップＳ２０）オプティカルフロー算出部１２０は、取得した複数の画像からオプティカルフローを算出する。
（ステップＳ３０）交点座標算出部１３０は、算出されたオプティカルフローＯＦの延長線ＥＬどうしの交点ＣＰの座標を算出する。
（ステップＳ４０）計数部１４０は、１フレームの画像のうち、それぞれのブロックＢに含まれる交点ＣＰの数をカウントする。
（ステップＳ５０）選択部１５０は、交点ＣＰの数が所定の数以上であるブロックＢを、特定ブロックＳＢとして選択する。
（ステップＳ６０）判定部１６０は、選択部１５０が選択する特定ブロックＳＢの位置に基づいて、消失点ＶＰの画像内の位置を判定する。
（ステップＳ７０）出力部１７０は、判定部１６０が判定した消失点ＶＰの画像内の位置を、所定の通信方式により出力する。
【００４８】
このようにして、複数のフレーム画像から消失点ＶＰの画像内の位置を求めることができる。複数のフレーム画像から消失点ＶＰの画像内の位置を求めた後、消失点ＶＰの画像内の位置の情報を取得した装置（例えば、情報処理装置３０など）にて、公知の方法によりドライブレコーダ１の設置の角度等を算出することができるようになる。
【００４９】
［画像解析装置の構成の変形例］
図１１は、本実施形態に係る画像解析装置の機能構成の変形例を示す図である。同図を参照しながら、画像解析装置１０Ａの機能構成について説明する。画像解析装置１０Ａは、画像解析装置１０の変形例である。画像解析装置１０と同様の構成については、同一の符号を付すことにより、説明を省略する場合がある。画像解析装置１０Ａは、判定部１６０に代えて判定部１６０Ａを備えることにより、画像解析装置１０とは異なる。画像解析装置１０Ａでは、撮像装置２０から取得した複数のフレームの画像のうち、それぞれのフレームについて消失点を算出し、それぞれのフレームごとに算出された消失点の位置に基づき、複数フレーム全体を通して最も確からしい消失点を判定する。
【００５０】
判定部１６０Ａは、第１判定部１６１と、第２判定部１６２とを備える。
第１判定部１６１は、１フレームの画像のうち、消失点ＶＰの画像内の位置を判定する。ここで、第１判定部１６１が判定する消失点ＶＰを第１消失点とする。
【００５１】
図１２は、本実施形態に係るそれぞれのフレームごとの第１消失点について説明するための図である。同図を参照しながら、第１消失点について説明する。
第１判定部１６１は、１フレームごとに第１消失点を判定する。ここで、第１消失点は、フレームＦ１とフレームＦ２を用いてオプティカルフローを算出することにより求められる消失点である。つまり、フレームＦｎ（ｎは自然数）の第１消失点は、フレームＦｎとＦｎ+１を用いて算出することにより求められる消失点である。
同図に示す一例では、フレームＦ１の第１消失点は、ブロックＢ１１２−１０２であり、フレームＦ２の第１消失点は、ブロックＢ１１７−１０４であり、フレームＦ３の第１消失点は、ブロックＢ１１０−１００である。このように、第１判定部１６１は、それぞれのフレームにおける第１消失点を判定する。例えば、画像取得部１１０が、フレームＦ１からフレームＦ９０までの９０フレームの画像を取得する場合において、第１判定部１６１は、フレームＦ１からフレームＦ９０までの８９フレームの第１消失点を判定する。
【００５２】
第２判定部１６２は、第１判定部１６１により判定された複数の画像の第１消失点に基づいて、第２消失点の画像内の位置を判定する。第２判定部１６２は、例えば、第１判定部１６１により判定された複数の画像の第１消失点に基づいて、統計処理により第２消失点を判定する。
【００５３】
具体的には、第２判定部１６２は、それぞれの画像における第１消失点の頻度に基づいて、第２消失点を判定する。例えば、画像取得部１１０が、フレームＦ１からフレームＦ９０までの９０フレームの画像を取得する場合において、第２判定部１６２は、第１判定部１６１が判定する９０フレームぶんの第１消失点のうち、最も頻度が高い第１消失点を第２消失点と判定する。すなわち、第２判定部１６２は、第１判定部１６１により判定された複数のフレームの第１消失点のうち、同一の第１消失点の位置を有するフレームの数が最も多い特定ブロックＳＢの位置を、第２消失点として判定する。このようにすることで、連続する複数のフレームの中で、最も確からしい点を、消失点として判定することができる。
出力部１７０は、第２判定部１６２が判定した第２消失点の画像内の位置を、消失点ＶＰとして出力する。
【００５４】
［実施形態のまとめ］
以上説明した実施形態によれば、画像解析装置１０は、オプティカルフロー算出部１２０と、交点座標算出部１３０とを備えることにより、オプティカルフローの交点座標を算出する。画像解析装置１０は、計数部１４０と、選択部１５０と、判定部１６０とを備えることにより、算出した交点ＣＰが所定の数以上含まれるブロックの位置に基づいて、消失点ＶＰの画像内の位置を判定する。
ここで、本実施形態の画像解析装置１０は、車両Ｖに設置されるドライブレコーダ１に備えられるため、取り付け位置が車両Ｖ毎に異なる。本実施形態によれば、ドライブレコーダ１の設置位置が車両Ｖ毎に異なる場合であっても、撮像装置２０が撮像する画像の消失点ＶＰの座標を正確に算出することができる。
【００５５】
また、以上説明した実施形態によれば、画像解析装置１０は、所定の値を超える特定ブロックＳＢが２つ以上ある場合には、特定ブロックＳＢの平均座標を消失点ＶＰとする。したがって、本実施形態によれば、画像解析装置１０は、消失点ＶＰが１つのブロックに収束しない場合であっても、最も確からしいブロックを消失点ＶＰと判定することができる。
【００５６】
また、以上説明した実施形態によれば、ブロックＢは、複数の画素を含んで構成され、ブロックＢの大きさは、縦と横の大きさが異なる矩形である。
ここで、ドライブレコーダ１が撮像する画像の解析において、ドライブレコーダ１が設置された車両Ｖの速度、ドライブレコーダ１が撮像する他の車両の速度等を解析する場合、ドライブレコーダ１の設置角度に基づき、算出される。したがって、ドライブレコーダ１が設置された車両Ｖの速度、ドライブレコーダ１が撮像する他の車両の速度等をより精度よく算出するには、消失点の座標における垂直方向をより精度よく算出する必要がある。すなわち、ドライブレコーダ１が撮像する画像の情報のうち、水平方向の情報に比べ、垂直方向の情報が重要である。そこで、１つのブロックの大きさを垂直方向に小さくすることにより、より詳細な情報を得ることができるが、１つのブロックの大きさを小さくした場合には、交点ＣＰが特定のブロックＢに収束しない場合がある。そこで、本実施形態においては、１つのブロックの大きさを垂直方向に小さくすることにより重要な情報を含む垂直方向について詳細に判定し、１つのブロックの大きさを水平方向に大きくすることにより重要でない水平方向は粗く判定する。したがって、本実施形態によれば、垂直方向については詳細に判定しつつ、交点ＣＰが特定のブロックＢに集束されやすくすることができる。
【００５７】
また、以上説明した実施形態によれば、判定部１６０Ａは、第１判定部１６１と、第２判定部１６２とを備え、それぞれの画像の消失点である第１消失点の画像内の位置に基づいて、複数フレームのうちの１つの消失点である第２消失点を求める。
ここで、本実施形態の画像解析装置１０は、車両Ｖに設置されるドライブレコーダ１に備えられるため、車両の揺れが生じることにより、消失点の位置も、フレームごとに異なる場合がある。本実施形態によれば、判定部１６０Ａは、第１判定部１６１と、第２判定部１６２とを備えることにより、連続する複数のフレームの中で、最も確からしい点を消失点ＶＰとすることができる。
【００５８】
また、以上説明した実施形態によれば、第２判定部１６２は、統計処理により第２消失点を求める。したがって、画像解析装置１０Ａは、連続する複数のフレームの中で、最も確からしい消失点ＶＰを、正確に求めることができる。
【００５９】
また、以上説明した実施形態によれば、第２判定部１６２は、第１消失点の最も頻度が高い点を第２消失点とする。したがって、画像解析装置１０Ａは、連続する複数のフレームの中で、最も確からしい消失点ＶＰを、容易に求めることができる。
【００６０】
以上、本発明の実施形態について図面を参照しながら説明したが、具体的な構成が上述した実施形態に限られるわけではなく、本発明の要旨を逸脱しない範囲での設計変更等も含まれる。
【００６１】
なお、上述した実施形態における画像解析装置１０が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【００６２】
１…ドライブレコーダ、１０…画像解析装置、２０…撮像装置、３０…情報処理装置、４０…通信装置、１１０…画像取得部、１２０…オプティカルフロー算出部、１３０…交点座標算出部、１４０…計数部、１５０…選択部、１６０…判定部、１６１…第１判定部、１６２…第２判定部、１７０…出力部、Ｖ…車両、Ｒ…路面、Ｆ…フレーム、Ｂ…ブロック、ＶＰ…消失点、ＳＢ…特定ブロック
【要約】
【課題】車両に備えられたドライブレコーダが撮像する画像の消失点の座標を正確に算出する。
【解決手段】画像解析装置は、車両に設置された撮像装置により車両の進行方向が経時的に連続して撮像された複数の画像を取得する画像取得部と、取得した複数の画像の間で互いに対応する特徴点どうしを結ぶ複数のオプティカルフローを算出する算出部と、複数のオプティカルフローの延長線が互いに交わる交点の座標を算出する交点座標算出部と、画像を複数の画素毎に分割したそれぞれのブロックに含まれる交点の数をカウントする計数部と、計数部がカウントする交点の数が所定の数以上であるブロックを特定ブロックとして選択する選択部と、選択された特定ブロックの位置に基づいて、車両の進行方向が撮像された画像に含まれる消失点の画像内の位置を判定する判定部と、判定部が判定した消失点の画像内の位置を出力する出力部とを備える。
【選択図】図４【図１】
0006924304.tif 000002
【図２】
0006924304.tif 000003
【図３】
0006924304.tif 000004
【図４】
0006924304.tif 000005
【図５】
0006924304.tif 000006
【図６】
0006924304.tif 000007
【図７】
0006924304.tif 000008
【図８】
0006924304.tif 000009
【図９】
0006924304.tif 000010
【図１０】
0006924304.tif 000011
【図１１】
0006924304.tif 000012
【図１２】
0006924304.tif 000013