(57)【要約】      （修正有）【課題】カメラ設置後の経年変化による画角ずれを検知することができ、画角ずれ量の推定を実現することが可能な画角ずれ補正装置を提供する。【解決手段】カメラで所定の場所を撮影した参照画像と、参照画像撮影後にカメラで参照画像と同じ場所を撮影した対象画像とを用いてカメラの画角ずれを補正する画角ずれ補正装置１である。参照画像及び対象画像のエッジを抽出するエッジ抽出部２０と、参照画像のエッジ抽出画像と対象画像のエッジ抽出画像を用いて、各画素の差分絶対値にて構成する差分画像を生成する差分画像生成部５０と、差分画像を基にして、画素ごとに持つ差分値の絶対値和を評価値とし、評価値が最少となるずれ量を算出するずれ量評価部７０と、算出したずれ量に基づいて対象画像の画角ずれを補正する画像補正部８０と、を有する。【選択図】図１
2016134636.tif 000002
【特許請求の範囲】
【請求項１】
カメラで所定の場所を撮影した参照画像と、前記参照画像撮影後に前記カメラで前記参照画像と同じ場所を撮影した対象画像とを用いて前記カメラの画角ずれを補正する画角ずれ補正装置であって、
前記参照画像および前記対象画像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部で抽出した前記参照画像のエッジ抽出画像と前記対象画像のエッジ抽出画像を用いて、各画素の差分絶対値にて構成する差分画像を生成する差分画像生成部と、
前記差分画像生成部で生成した前記差分画像を基にして、画素ごとに持つ差分値の絶対値和を評価値とし、評価値が最少となるずれ量を算出するずれ量評価部と、
前記ずれ量評価部で算出した前記ずれ量に基づいて前記対象画像の画角ずれを補正する画像補正部と、
を有することを特徴とする画角ずれ補正装置。
【請求項２】
カメラで所定の場所を撮影した参照画像と、前記参照画像撮影後に前記カメラで前記参照画像と同じ場所を撮影した対象画像とを用いて前記カメラの画角ずれを補正する画角ずれ補正装置であって、
前記参照画像および前記対象画像のエッジを抽出するエッジ抽出部と、
前記エッジ抽出部で抽出した前記参照画像のエッジ抽出画像と前記対象画像のエッジ抽出画像をそれぞれ２値化処理する２値化処理部と、
前記２値化処理部で２値化処理した２つのエッジ抽出画像を用いて、前記対象画像のエッジとされる画素と前記参照画像のエッジ部分との距離を測定し、測定結果を画素ごとにマッピングしたマッピング画像を生成するエッジ比較部と、
前記エッジ比較部で生成した前記マッピング画像を基にして、画素ごとに持つ差分値の絶対値和を評価値とし、評価値が最少となるずれ量を算出するずれ量評価部と、
前記ずれ量評価部で算出した前記ずれ量に基づいて前記対象画像の画角ずれを補正する画像補正部と、
を有することを特徴とする画角ずれ補正装置。
【請求項３】
請求項２に記載の画角ずれ補正装置において、前記エッジ比較部は、２値化処理した２つのエッジ抽出画像それぞれのエッジ密度を求め、エッジ密度が高い部分はエッジ部分の比較より除外することを特徴とする画角ずれ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、長時間に亘って撮影した映像を表示する映像表示システムに係り、特に、撮影するカメラの画角がずれた場合の表示のずれを補正する補正技術に関する。
【背景技術】
【０００２】
近年、動画像の表示のずれを補正する技術が多く見られるようになった。例えば、特許文献１には、複数のテンプレートパターンを用いて画像のパターンマッチングを行い、移動ベクトルを求めて、表示する画像ずれを補正する技術が開示されている。また、特許文献２には、撮影装置の動きを計測するセンサの精度が低い場合であっても、大きな映像揺れを高精度に補正するためのパラメータを算出することができる画像処理装置が開示されている。
【０００３】
特許文献１のように、パターンマッチングを用いて、画像のずれ(移動ベクトル)を算出するためには、画像中の同一の物体を示す画素値が変化しないことが前提である。同一物体の画素値が変化する場合、パターンマッチングでは、画素値の差分が大きくなりすぎ、同一の物体であると推定することが困難となる。しかし、手振れなどの揺れを補正することを目的とする場合は、パターンマッチングを行う画像に関して、撮影される時間のずれがほとんどなく(１秒以内)、そのため、同一物体の画素値が大きく変化することがなく、画像のずれが検知可能となっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４０４０６５１号公報
【特許文献２】特許第５２０４７８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の背景技術に記載した手法では、揺れ補正のように短時間での画像を比較しての画角ずれの検知においては問題がない。しかし、カメラなどの設置後に経年変化によってカメラが下を向いてしまう等の画像の画角の変化に対しては必ずしも有効ではない。
例えば、一ケ月(３０日とする)かけてカメラが１画素下を向いてしまう等の現象においては、１秒程度の画像の比較では、１秒における画角のずれは、１／２、５９２、０００画素となり、画角のずれを検知することができない。
【０００６】
また、上記のような場合、画角のずれが検知できるまでには、数日以上を必要としてしまい、その場合の比較画像の気象条件等の違いによる明るさ状況に変化が生じ、同一物体の画素値が変化してしまうため、画素値を用いたパターンマッチングでは、同一の物体と推定することが困難となる。そのため、同一物体の画素値を用いたパターンマッチングによるずれ量の検知が困難となり、画角ずれを検知することが困難となる。
【０００７】
本発明は、このような従来の事情に鑑みなされたものであり、カメラ設置後の経年変化による画角ずれを検知することができ、画角ずれ量の推定を実現することが可能な画角ずれ補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明の画角ずれ補正装置は、カメラで所定の場所を撮影した参照画像と、前記参照画像撮影後に前記カメラで前記参照画像と同じ場所を撮影した対象画像とを用いて前記カメラの画角ずれを補正する画角ずれ補正装置であって、前記参照画像および前記対象画像のエッジを抽出するエッジ抽出部と、前記エッジ抽出部で抽出した前記参照画像のエッジ抽出画像と前記対象画像のエッジ抽出画像を用いて、各画素の差分絶対値にて構成する差分画像を生成する差分画像生成部と、前記差分画像生成部で生成した前記差分画像を基にして、画素ごとに持つ差分値の絶対値和を評価値とし、評価値が最少となるずれ量を算出するずれ量評価部と、前記ずれ量評価部で算出した前記ずれ量に基づいて前記対象画像の画角ずれを補正する画像補正部と、を有することを特徴とする。
【０００９】
また、上記目的を達成するために本発明の画角ずれ補正装置は、カメラで所定の場所を撮影した参照画像と、前記参照画像撮影後に前記カメラで前記参照画像と同じ場所を撮影した対象画像とを用いて前記カメラの画角ずれを補正する画角ずれ補正装置であって、前記参照画像および前記対象画像のエッジを抽出するエッジ抽出部と、前記エッジ抽出部で抽出した前記参照画像のエッジ抽出画像と前記対象画像のエッジ抽出画像をそれぞれ２値化処理する２値化処理部と、前記２値化処理部で２値化処理した２つのエッジ抽出画像を用いて、前記対象画像のエッジとされる画素と前記参照画像のエッジ部分との距離を測定し、測定結果を画素ごとにマッピングしたマッピング画像を生成するエッジ比較部と、前記エッジ比較部で生成した前記マッピング画像を基にして、画素ごとに持つ差分値の絶対値和を評価値とし、評価値が最少となるずれ量を算出するずれ量評価部と、前記ずれ量評価部で算出した前記ずれ量に基づいて前記対象画像の画角ずれを補正する画像補正部と、を有することを特徴とする。
【００１０】
また、上記した画角ずれ補正装置において、前記エッジ比較部は、２値化処理した２つのエッジ抽出画像それぞれのエッジ密度を求め、エッジ密度が高い部分はエッジ部分の比較より除外することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、カメラ設置後の経年変化による画角ずれを検知することができ、画角ずれ量の推定を実現することが可能な画角ずれ補正装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る画角ずれ補正装置の構成の一例を示すブロック図である。
【図２】ある気象条件の元で撮影された画像を示す図である。
【図３】図２とは異なる気象条件の元で撮影された画像を示す図である。
【図４】図２および図３の画像を基にしてエッジ抽出したエッジ抽出画像を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態に係る画角ずれ補正装置について説明する。
本発明の一実施形態に係る画角ずれ補正装置は、電源断においてもデータが消失しない記憶領域を備え、当該記憶領域にカメラ設置時に撮影した初期画像並びにカメラ運用時に撮影した通常画像を格納する一方、それぞれの画像のエッジ部分を抽出したエッジ抽出画像を格納し、初期画像のエッジ抽出画像とカメラ運用時に撮影した通常画像のエッジ抽出画像とを比較して、カメラの画角のずれ量を算出し、算出した画角のずれ量に基づいて通常画像の画角のずれを補正するものである。
【００１４】
［画角ずれ補正装置の構成］
次に、本発明の一実施形態に係る画角ずれ補正装置の構成について、図１を参照して説明する。図１は、本発明の一実施形態に係る画角ずれ補正装置の構成の一例を示すブロック図である。
本発明の一実施形態に係る画角ずれ補正装置１は、図１に示すように、画像入力部１０と、エッジ抽出部２０と、２値化処理部３０と、画像記録部４０と、差分画像生成部５０と、エッジ比較部６０と、ずれ量評価部７０と、画像補正部８０とから構成される。
【００１５】
画像入力部１０は、図示していないカメラから画像（ｐ１）を取り込む機能と、取り込んだ画像をエッジ抽出部２０へ渡す機能と、取り込んだ画像を画像補正部８０に渡す機能を有する。
エッジ抽出部２０は、画像入力部１０より渡された画像に対し、画素値の変化に対する差分演算を行うことによってエッジ（境界）抽出を行う機能を有する。また、エッジ抽出部２０は、エッジ抽出したエッジ抽出画像を２値化処理部３０に渡す機能と、エッジ抽出画像を画像記録部４０との間で読み書きする機能を有する。
【００１６】
２値化処理部３０は、エッジ抽出部２０より渡されたエッジ抽出画像を２値化処理する機能と、２値化処理した画像を画像記録部４０との間で読み書きする機能を有する。また、２値化処理部３０は、２値化処理画像を差分画像生成部５０およびエッジ比較部６０に渡す機能を有する。その際、２値化処理部３０は、エッジ抽出部２０より渡された現在撮影中の通常画像（対象画像）と、画像記録部４０に記録されている初期画像（参照画像）の双方を渡す。
画像記録部４０は、エッジ抽出部２０より渡されたエッジ抽出画像、並びに２値化処理部３０より渡された２値化処理画像を記録する機能を有する。また、画像記録部４０は、エッジ抽出部２０および２値化処理部３０からの要求に応じて、エッジ抽出部２０または２値化処理部３０に、記録されているエッジ抽出画像または２値化処理画像を渡す機能を有する。また、この画像記録部４０に蓄積された画像は、差分画像生成部５０およびエッジ比較部６０での処理において、参照画像として扱われる。
【００１７】
差分画像生成部５０は、２値化処理部３０より渡された対象画像と参照画像を用いて、各画素の差分絶対値にて構成する差分画像を生成する。生成した差分画像は、ずれ量評価部７０に渡される。
エッジ比較部６０は、２値化処理部３０より渡された対象画像と参照画像を用いて、対象画像のエッジとされる画素と参照画像のエッジ部分との距離を測定し、測定結果を画素ごとにマッピングした画像を生成する。生成したマッピング画像はずれ量評価部７０に渡される。
【００１８】
ずれ量評価部７０は、エッジの差分画像を使用する場合は、差分画像生成部５０の出力結果を用い、エッジの距離を使用する場合は、エッジ比較部６０の出力結果を用いる。ずれ量評価部７０は、渡された結果に基づいて、画素ごとに持つ値の絶対値和による評価値を算出し、また、差分画像生成部５０およびエッジ比較部６０に異なるずれ量の差分画像並びにマッピング画像の生成を指示する。指示するずれ量の定め方に関しては、様々な方法がある。例えば、あるずれ量の範囲(水平、垂直とも)をすべて評価する方法などが考えられる。複数のずれ量の評価を行い、評価値が最も小さなずれ量を採用する。採用したずれ量は画像補正部８０に渡す。
画像補正部８０は、ずれ量評価部７０から入力されたずれ量にしたがって、画像入力部１０より渡された画像のずれを補正し、補正した画像（ｐ２）を図示していない表示部等に出力する。
【００１９】
［画角ずれ補正装置での具体的な画角ずれ補正処理］
次に、本発明の一実施形態に係る画角ずれ補正装置での具体的な画角ずれ補正処理について、図１、図２、図３および図４を参照して説明する。図２は、ある気象条件の元で撮影された画像を示す図である。図３は、図２とは異なる気象条件の元で撮影された画像を示す図である。また、図４は、図２および図３の画像を基にしてエッジ抽出したエッジ抽出画像を示す図である。
図２と図３の画像は、カメラで道路沿いの塀を撮影した同じ画像であって、それぞれ撮影した日時や気象条件等が異なっている。図２の画像５０１は、道路の部分１１１と塀の部分１０１とで構成され、また、図３の画像５０２は、図２の画像５０１とは明るさ等が異なり、道路の部分１１２と塀の部分１０２とで構成されている。
【００２０】
図２および図３の画像では、それぞれ塀の部分と道路の部分に画素値差があり、境界がはっきりと観察される。また、塀の部分には、縦に柱があり、その部分にも画素値差があり、境界がはっきりと観察される。しかしながら、図２および図３の画像を比較すると、太陽光の差し込む方向が異なるため、道路の部分１１１と１１２、並びに塀の部分１０１と１０２との画素値に相違が生じている。この場合、画素値を利用するパターンマッチングにおいては、道路の部分１１１と１１２、並びに塀の部分１０１と１０２のそれぞれ両者ともに同一の物体であるとの評価を下すことは困難である。
【００２１】
そこで、エッジ抽出部２０において、画像入力部１０から入力された画像に対し、画素値の変化に対する差分演算を行うことにより、エッジ（境界）を抽出する。エッジ抽出には、対象となる画像に対し、画像フィルタを適用することによりエッジを抽出した画像として得ることができる。エッジ抽出用の画像フィルタには、キャニー法、ソーベルフィルタ、ロバーツフィルタ、ラプラシアンフィルタなどを使用したものがある。比較する２つの画像にフィルタを実施する際には、同一のフィルタを使用する。
【００２２】
図２および図３の画像の双方ともに、エッジ抽出部２０でエッジ抽出を行った結果、図４のようなエッジ抽出画像１２１を得ることができる。エッジ抽出画像１２１は、画像のエッジの状態に応じて、階調を持つ画像となる。このまま、差分画像生成部５０での処理により、差分にてエッジの状態を比較した結果を用いてもよい。その際には、差分値の絶対値和を評価値として、評価値が最少となるずれ量が、比較する画像のずれ量となる。
また、エッジの位置に着目し、エッジ抽出部２０で抽出したエッジ抽出画像に対し、２値化処理部３０でしきい値をもって２値化し、２値化したエッジ抽出画像を用いて評価を行ってもよい。その場合も、２つの２値化したエッジ抽出画像の各値の差分の絶対値和を評価値とし、評価値が最少となるずれ量が、比較する画像のずれ量となる。
【００２３】
なお、エッジ抽出画像をそのまま使用するのではなく、加工して使用することも可能である。エッジ抽出画像は、エッジの密度が高くなると、同一のエッジ部分以外の部分に重なりが生じる可能性がある。そのため、エッジの密度の高い部分を評価外とし、エッジ密度の低い部分のみを用いて評価を行ってもよい。
【００２４】
エッジ密度は、以下の様に算出する。
２値化したエッジ抽出画像は、例えば、エッジでない部分を０、エッジ部分を１とすることができる。この時、注目画素の周囲±１６画素の範囲において、エッジ抽出画像の値の平均値を算出し、平均値が０．１未満である場合は、エッジ密度が低いと判定し、エッジ部分の比較を行う。また、平均値が０．１以上である場合は、エッジ密度が高いと判定し、エッジ部分の比較より除外する。
【００２５】
エッジ密度の判定は、上記方法に必ずしもよる必要はなく、他の方法でもよい。
画像の状態においては、画素変化が必ずしも急峻とはならず、明るさの状態によっては、同一位置にエッジが生成されない可能性もある。その場合、エッジの距離を用いて評価を行う。エッジの距離とは以下の通りである。
画像比較の際に、２つの比較する画像を参照画像と対象画像とする。例えば、画角ずれ補正の場合は、カメラ設置時の初期画像を参照画像、カメラ運用時の画角ずれチェックの際に取り込む画像を対象画像とする。
参照画像を基準として、対象画像をエッジ抽出画像の各エッジと判定された画素位置と、基準とする参照画像上のエッジと判定された画素位置のうち最も近い位置関係となる画素位置を使用し、その直線距離をエッジの距離とする。エッジと判定された画素位置のエッジ距離の平均値を評価値とし、評価値が最少となるずれ量が、比較する画像のずれ量となる。
【００２６】
以上説明したように、本発明の一実施形態に係る画角ずれ補正装置によれば、カメラ設置後の経年変化による画角ずれを検知することができ、画角ずれ量の推定を実現することが可能な画角ずれ補正装置を提供することができる。
【００２７】
なお、上記した実施形態の構成及び動作は例であって、本発明の趣旨を逸脱しない範囲で適宜変更して実行することができることは言うまでもない。
【符号の説明】
【００２８】
１：画角ずれ補正装置、１０：画像入力部、２０：エッジ抽出部、３０：２値化処理部、４０：画像記録部、５０：差分画像生成部、６０：エッジ比較部、７０：ずれ量評価部、８０：画像補正部、１０１，１０２：塀の部分、１１１，１１２：道路の部分、１２１：エッジ抽出画像、５０１：画像、５０２：画像。
【図１】
2016134636.tif 000003
【図２】
2016134636.tif 000004
【図３】
2016134636.tif 000005
【図４】
2016134636.tif 000006