(57)【特許請求の範囲】
【請求項１】
複数の撮像装置と、
前記撮像装置で撮影された画像に複数の箇所の範囲を設定し、より輝度変化の大きな範囲の輝度関数の一致度にもとづいて、撮影時刻のずれ量を検出して時刻補正を行う画像処理装置と、
を有することを特徴とする画像処理システム。
【請求項２】
前記画像処理装置は、
第１の撮像装置の撮影画像から計測した輝度関数を正規化して、第１の正規化輝度関数を生成し、
第２の撮像装置の撮影画像から計測した輝度関数を正規化して、第２の正規化輝度関数を生成し、
前記第１の正規化輝度関数に対して、前記第２の正規化輝度関数の時刻パラメータをずらしながら、ずらした時刻における前記一致度を算出し、
前記一致度が最大となるときの時刻ずれ量を、前記第１の撮像装置と前記第２の撮像装置との間の前記撮影時刻のずれ量として検出する、
ことを特徴とする請求項１記載の画像処理システム。
【請求項３】
前記画像処理装置は、検出した前記撮影時刻のずれ量で補正した時刻情報を、前記撮像装置に設定することを特徴とする請求項１記載の画像処理システム。
【請求項４】
前記画像処理装置は、
第１の撮像装置の撮影画像に複数の第１の範囲を設定し、前記第１の範囲から求めた平均輝度値の変化量を計測して複数の第１の輝度関数を生成し、
第２の撮像装置の撮影画像に複数の第２の範囲を設定し、前記第２の範囲から求めた平均輝度値の変化量を計測して複数の第２の輝度関数を生成し、
前記複数の第１の輝度関数の中から、平均輝度値の最小値と最大値との差分が最も大きな第１の輝度関数を選択し、正規化処理を施して第１の正規化輝度関数を生成し、
前記複数の第２の輝度関数の中から、平均輝度値の最小値と最大値との差分が最も大きな第２の輝度関数を選択し、正規化処理を施して第２の正規化輝度関数を生成し、
前記第１の正規化輝度関数と前記第２の正規化輝度関数との前記一致度を算出することを特徴とする請求項１記載の画像処理システム。
【請求項５】
複数の撮像装置で撮影された画像を取得する画像取得部と、
取得した前記画像に複数の箇所の範囲を設定し、より輝度変化の大きな範囲の輝度関数の一致度にもとづいて、撮影時刻のずれ量を検出して時刻補正を行う制御部と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理を行う画像処理システムおよび画像処理装置に関する。
【背景技術】
【０００２】
近年、商店やオフィスなどの屋内には監視カメラが設置されており、防犯や犯罪捜査などに広く活用されている。今後は、監視カメラを屋内だけでなく屋外にも多数設置することで、長距離にわたる監視対象の追跡や広い範囲での捜索など、より多くの場面で監視カメラが効果的に利用されることが期待されている。
【０００３】
従来技術として、複数のカメラで撮影された映像の時間軸を揃える技術が提案されている。また、撮像装置で撮影された画像に付加されている撮影時刻と、画像サーバの時刻とのずれを補正する技術が提案されている。さらに、複数の画像に対して、画像特徴量から時間方向のタイミングの一致検出を行う技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−７８８６４号公報
【特許文献２】特開２００４−３５６７５３号公報
【特許文献３】特開平０８−７０４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の監視カメラで対象物を監視する場合、各監視カメラで撮影した画像間で連係を取るために、複数の監視カメラで撮影した各画像の撮影時刻を把握することが重要である。しかしながら、タイムスタンプを付与する機能がないカメラの場合はそもそもずれを知る手段がなかった。また、タイムスタンプを付与する機能がある場合でも、監視カメラの内部では時刻ずれが生じるために、従来では、管理者がすべての監視カメラの時刻を一致させる時刻調整を定期的に行っており、運用性および保守性が悪いといった問題があった。また、多数設置されている監視カメラに対して時刻調整を行うことになるので、多大な労力を要していた。
【０００６】
本発明はこのような点に鑑みてなされたものであり、時刻のずれを自動的に検出・補正して、運用性および保守性の向上を図った画像処理システムを提供することを目的とする。
【０００７】
また、本発明の他の目的は、時刻のずれを自動的に検出・補正して、運用性および保守性の向上を図った画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、画像処理システムが提供される。画像処理システムは、複数の撮像装置と、前記撮像装置で撮影された画像に複数の箇所の範囲を設定し、より輝度変化の大きな範囲の輝度関数の一致度にもとづいて、撮影時刻のずれ量を検出して時刻補正を行う画像処理装置とを有する。
【発明の効果】
【０００９】
運用性および保守性の向上を図ることが可能になる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システムの構成例を示す図である。
【図２】画像処理システムの構成例を示す図である。
【図３】画像時刻管理データベースの格納例を示す図である。
【図４】動作を示すフローチャートである。
【図５】平均輝度値を算出する範囲を示す図である。
【図６】輝度データを示す図である。
【図７】平均輝度値を算出する範囲を示す図である。
【図８】輝度データを示す図である。
【図９】平均輝度値を算出する範囲の他の例を示す図である。
【図１０】輝度データの輝度変化の大きさを示す図である。
【図１１】輝度データの輝度変化の大きさを示す図である。
【図１２】輝度データの正規化処理を示す図である。
【図１３】輝度変化の小さな輝度データを選択したときの輝度データの比較状態を示す図である。
【図１４】輝度データの比較を示す図である。
【図１５】一致度とずれ時刻との関係を示す図である。
【図１６】撮像装置間の撮影時刻ずれ量の検出および時刻補正を説明するための図である。
【図１７】画像処理システムの構成例を示す図である。
【図１８】画像時刻管理データベースの格納例を示す図である。
【図１９】動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。図１は画像処理システムの構成例を示す図である。画像処理システム１は、複数の撮像装置１０−１〜１０−ｎと、画像処理装置２０とを備える。
【００１２】
画像処理装置２０は、撮像装置１０−１〜１０−ｎで撮影された画像中に所定の範囲を設定して、該範囲の中の時間的な輝度の変化である輝度関数を計測する。そして、複数の画像間の輝度関数の一致度を算出して、一致度にもとづいて、撮像装置１０−１〜１０−ｎ間の撮影時刻のずれ量を検出して時刻補正を行う。
【００１３】
このように、撮影画像の輝度の時間変化である輝度関数を計測し、輝度関数が最も一致する時刻を撮影時刻のずれ量として検出して時刻補正を行う構成とした。これにより、複数の撮像装置１０−１〜１０−ｎ間の撮影時刻のずれ量を効率よく自動的に検出・補正することができるので、管理者が手動で時刻調整を行う作業が不要となり、運用性および保守性の向上を図ることが可能になる。
【００１４】
次に画像処理システムの構成について説明する。なお、以降では、輝度関数を輝度データとも呼ぶ。図２は画像処理システムの構成例を示す図である。画像処理システム１−１は、撮像装置１０−１〜１０−ｎおよび画像処理装置２０ａを備える。
【００１５】
撮像装置１０−１〜１０−ｎは、監視範囲に配置される監視カメラに該当し、タイムスタンプ機能を備えている。画像処理装置２０ａは、例えば、監視センタに配置されるパーソナルコンピュータなどの情報処理装置に該当する。画像処理装置２０ａは、監視範囲内の画像を撮影する２つ以上の撮像装置１０−１〜１０−ｎと接続する。
【００１６】
画像処理装置２０ａは、画像取得部２１および制御部２ａを備え、制御部２ａは、画像呼び出し部２２、輝度データ生成部２３、輝度データ選択部２４、時刻補正部２５、画像データベース（ＤＢ）２６および画像時刻管理データベース２７を含む。
【００１７】
画像取得部２１は、撮像装置１０−１〜１０−ｎで撮影された画像を取得する。画像データベース２６は、画像取得部２１で取得された画像を格納する。画像呼び出し部２２は、画像データベース２６から所定の画像を呼び出す。輝度データ生成部２３は、画像内の特定の範囲の中の輝度の時間変化（明るさの変化）を計測して輝度データ（輝度関数）を生成する（以降では、輝度の時間変化を輝度変化とも呼ぶ）。
【００１８】
輝度データ選択部２４は、撮像装置１０−１〜１０−ｎ毎の画像の輝度データから、輝度変化の大きな（日照変化の大きな）輝度データを選択する。時刻補正部２５は、選択された輝度データの一致度を算出し、輝度データが最も一致するときの撮影時刻のずれ量を検出する。また、検出した時刻ずれ量にもとづき、該当撮像装置に対して時刻補正を行う。画像時刻管理データベース２７は、時刻補正部２５で算出された時刻ずれ量で補正された撮影時刻を格納する。
【００１９】
図３は画像時刻管理データベースの格納例を示す図である。画像時刻管理データベース２７は、画像データファイル名、撮影開始時刻、撮影終了時刻の項目を有する。例えば、画像データファイル名Camera01 001と、該画像データファイル名の撮影開始時刻2010.12.01 12:00:00.000と、撮影終了時刻2010.12.01 13:00:00.000とが格納されている。撮影開始時刻および撮影終了時刻は、時刻補正後の値である。
【００２０】
次に動作について説明する。図４は動作を示すフローチャートである。撮像装置１０−１〜１０−ｎは、タイムスタンプ機能が設けられており、あらかじめ画像データには時刻情報が書き込まれているとする（なお、撮像装置１０−１〜１０−ｎは、個々に時刻ずれが生じる）。
【００２１】
〔Ｓ１〕画像取得部２１は、撮像装置１０−１〜１０−ｎで撮影された画像を取得して、画像データベース２６に格納する。
〔Ｓ２〕画像呼び出し部２２は、画像データベース２６から画像を呼び出し、輝度データ生成部２３は、呼び出した画像中の特定の範囲の輝度値の時間変化を計測し、輝度の時間変化の関数である輝度データを生成する。
【００２２】
〔Ｓ３〕輝度データ選択部２４は、各画像のすべての範囲の輝度データから、所定の輝度データを選択する。例えば、輝度変化の大きな（日照変化の大きな）輝度データを選択する。
【００２３】
〔Ｓ４〕時刻補正部２５は、選択された輝度データの一致度から撮影時刻のずれ量を検出する。
〔Ｓ５〕時刻補正部２５は、検出した時刻ずれ量から撮像装置１０−１〜１０−ｎの実際の撮影時刻を補正する。また、補正後の撮影開始時刻および撮影終了時刻を画像時刻管理データベース２７に登録する。
【００２４】
次にステップＳ２〜Ｓ５の各動作について詳しく説明する。なお、以降の説明では、２台の撮像装置１０−１、１０−２で撮影された２箇所の動画像を用いて、撮像装置１０−１と撮像装置１０−２との間の撮影時刻のずれを補正するものとして説明する。
【００２５】
（ステップＳ２）
画像呼び出し部２２は、ある特定のタイミング（例えば、一定の周期）で、一定期間の画像を画像データベース２６から呼び出す。例えば、日が沈んでいる０時に前日の２４時間分の画像を呼び出すなどを行う。そして、輝度データ生成部２３は、呼び出した画像の特定の範囲に対して、時間的な輝度変化を計測し、輝度データを生成する。
【００２６】
まず、撮像装置１０−１で撮影された画像から輝度データが算出されるまでの処理について説明する。図５は平均輝度値を算出する範囲を示す図である。画像呼び出し部２２は、画像データベース２６に格納されている、撮像装置１０−１で撮影された画像（この例では、吊り橋の図であり、斜線部は影である）から、一定の時間間隔で画像（画像フレーム）を呼び出す。時刻ｔ１〜ｔｎで撮影された画像をそれぞれ画像ｆ１〜ｆｎとし、画像ｆ１〜ｆｎを呼び出したとする。
【００２７】
輝度データ生成部２３では、画像ｆ１〜ｆｎ内に特定の範囲を設定して、範囲の中の輝度値の平均値を求める。平均値を求める範囲として、画像ｆ１〜ｆｎ内の各フレームの同じ位置に範囲を設定する。また、この範囲は、１フレームに対して複数設定する。例えば、画像ｆ１内に３つの範囲ｒ１〜ｒ３を設定する。また、図示はしていないが、画像ｆ２〜ｆｎに対しても画像ｆ１と同じ箇所に範囲ｒ１〜ｒ３を設定する。
【００２８】
図６は輝度データを示す図である。縦軸は平均輝度、横軸は時刻である。輝度データ生成部２３は、範囲ｒ１から輝度データｄ１を求める。この場合、輝度データ生成部２３では、時刻ｔ１の画像ｆ１における範囲ｒ１内の平均輝度値を求める。また、時刻ｔ２の画像ｆ２における範囲ｒ１内の平均輝度値を求める。同様にして、時刻ｔｎの画像ｆｎにおける範囲ｒ１内の平均輝度値を求める。
【００２９】
このように、画像ｆ１〜ｆｎに渡って、範囲ｒ１の平均輝度値を求め、範囲ｒ１の時刻ｔ１〜ｔｎの平均輝度値の変化を計測して、この変化量を輝度データｄ１とする。
輝度データｄ２、ｄ３についても同様である。すなわち、輝度データ生成部２３は、範囲ｒ２から輝度データｄ２を求める。この場合、輝度データ生成部２３では、時刻ｔ１の画像ｆ１における範囲ｒ２内の平均輝度値を求める。また、時刻ｔ２の画像ｆ２における範囲ｒ２内の平均輝度値を求める。同様にして、時刻ｔｎの画像ｆｎにおける範囲ｒ２内の平均輝度値を求める。
【００３０】
このように、画像ｆ１〜ｆｎに渡って、範囲ｒ２の平均輝度値を求め、範囲ｒ２の時刻ｔ１〜ｔｎの平均輝度値の変化を計測し、この変化量を輝度データｄ２とする。
また、輝度データ生成部２３は、範囲ｒ３から輝度データｄ３を求める。この場合、輝度データ生成部２３では、時刻ｔ１の画像ｆ１における範囲ｒ３内の平均輝度値を求める。また、時刻ｔ２の画像ｆ２における範囲ｒ３内の平均輝度値を求める。同様にして、時刻ｔｎの画像ｆｎにおける範囲ｒ３内の平均輝度値を求める。
【００３１】
このように、画像ｆ１〜ｆｎに渡って、範囲ｒ３の平均輝度値を求め、範囲ｒ３の時刻ｔ１〜ｔｎの平均輝度値の変化を計測し、この変化量を輝度データｄ３とする。
次に撮像装置１０−２で撮影された画像から輝度データが算出されるまでの処理について説明する。図７は平均輝度値を算出する範囲を示す図である。画像呼び出し部２２は、画像データベース２６に格納されている、撮像装置１０−１の近隣に配置されている撮像装置１０−２で撮影された画像から、一定の時間間隔で画像を呼び出す。時刻ｔ１〜ｔｎで撮影された画像をそれぞれ画像Ｆ１〜Ｆｎとし、画像Ｆ１〜Ｆｎを呼び出したとする。
【００３２】
輝度データ生成部２３では、輝度値の平均値を求める範囲を設定する。例えば、画像Ｆ１内に３つの範囲Ｒ１〜Ｒ３を設定する。また、図示はしていないが、画像Ｆ２〜Ｆｎに対しても画像Ｆ１と同じ箇所に範囲Ｒ１〜Ｒ３を設定する。
【００３３】
図８は輝度データを示す図である。縦軸は平均輝度、横軸は時刻である。輝度データ生成部２３は、範囲Ｒ１から輝度データＤ１を求める。この場合、輝度データ生成部２３では、時刻ｔ１の画像Ｆ１における範囲Ｒ１内の平均輝度値を求める。また、時刻ｔ２の画像Ｆ２における範囲Ｒ１内の平均輝度値を求める。同様にして、時刻ｔｎの画像Ｆｎにおける範囲Ｒ１内の平均輝度値を求める。
【００３４】
このように、画像Ｆ１〜Ｆｎに渡って、範囲Ｒ１の平均輝度値を求め、範囲Ｒ１の時刻ｔ１〜ｔｎの平均輝度値の変化を計測し、この変化量を輝度データＤ１とする。
輝度データＤ２、Ｄ３についても同様である。すなわち、輝度データ生成部２３は、範囲Ｒ２から輝度データＤ２を求める。この場合、輝度データ生成部２３では、時刻ｔ１の画像Ｆ１における範囲Ｒ２内の平均輝度値を求める。また、時刻ｔ２の画像Ｆ２における範囲Ｒ２内の平均輝度値を求める。同様にして、時刻ｔｎの画像Ｆｎにおける範囲Ｒ２内の平均輝度値を求める。
【００３５】
このように、画像Ｆ１〜Ｆｎに渡って、範囲Ｒ２の平均輝度値を求め、範囲Ｒ２の時刻ｔ１〜ｔｎの平均輝度値の変化を計測し、この変化量を輝度データＤ２とする。
また、輝度データ生成部２３は、範囲Ｒ３から輝度データＤ３を求める。この場合、輝度データ生成部２３では、時刻ｔ１の画像Ｆ１における範囲Ｒ３内の平均輝度値を求める。また、時刻ｔ２の画像Ｆ２における範囲Ｒ３内の平均輝度値を求める。同様にして、時刻ｔｎの画像Ｆｎにおける範囲Ｒ３内の平均輝度値を求める。
【００３６】
このように、画像Ｆ１〜Ｆｎに渡って、範囲Ｒ３の平均輝度値を求め、範囲Ｒ３の時刻ｔ１〜ｔｎの平均輝度値の変化を計測し、この変化量を輝度データＤ３とする。
なお、輝度値を求める方法として、例えば、カラー画像をＹＵＶ画像に変換し、枠内のＹ成分を用いる。そして、このＹ成分の平均値を縦軸、時間を横軸にして並べたデータを作成する。このような処理を撮像装置から得られた画像について行う。
【００３７】
図９は平均輝度値を算出する範囲の他の例を示す図である。上記の図５、図７で示したように、輝度値の平均値を求める範囲は、１つの画像に対して複数設けて、それぞれの範囲内で輝度値を求める。
【００３８】
この場合、平均値を求める範囲として、図９に示す画像ｆ０に設定した範囲のように、例えば、重なり部分があったり、大きさが異なっていたりしてもよく、また四角形だけでなく円形などでもよい。
【００３９】
（ステップＳ３）
ステップＳ２の処理で、撮像装置１０−１の画像ｆ１〜ｆｎから生成された輝度データｄ１〜ｄ３と、撮像装置１０−２の画像Ｆ１〜Ｆｎから生成された輝度データＤ１〜Ｄ３とが得られる。
【００４０】
ステップＳ３において、輝度データ選択部２４では、撮像装置１０−１の撮影画像から生成された輝度データｄ１〜ｄ３の中から、所定の輝度データを選択する。また、撮像装置１０−２の撮影画像から生成された輝度データＤ１〜Ｄ３の中から、所定の輝度データを選択する。ここでは、輝度データｄ１〜ｄ３の中から、輝度変化の最も大きな輝度データを選択し、輝度データＤ１〜Ｄ３の中から、輝度変化の最も大きな輝度データを選択するものとする。
【００４１】
図１０、図１１は輝度データの輝度変化の大きさを示す図である。輝度変化の大きな輝度データとは、日照変化がある日向の場所で撮影された画像の輝度データのことである。したがって、例えば、平均輝度の最小値と最大値との差分が最も大きい輝度データを選択する。
【００４２】
図１０に示す輝度データｄ１〜ｄ３の中では、時刻０から時刻ｔａまでの平均輝度値の最大値および最小値の差分として、輝度データｄ３の差分ｍ３が、輝度データｄ１、ｄ２のそれぞれの差分ｍ１，ｍ２よりも大きいので、輝度データｄ３を選択する。
【００４３】
また、図１１に示す輝度データＤ１〜Ｄ３の中では、時刻０から時刻ｔａまでの平均輝度値の最大値および最小値の差分として、輝度データＤ３の差分Ｍ３が、輝度データＤ１、Ｄ２のそれぞれの差分Ｍ１、Ｍ２よりも大きいので、輝度データＤ３を選択する。
【００４４】
なお、日照変化のある輝度データを選択する場合でも、日照変化は緩やかであるため、急激な輝度変化の少ない輝度データを選択するようにする（急激な輝度変化はノイズと見なせるので、ノイズが少ない輝度データを選択する）。
【００４５】
次に、輝度データ選択部２４では、輝度データｄ３、Ｄ３を選択すると、輝度データｄ３、Ｄ３を正規化する。正規化処理として具体的には、選択した輝度データと、ｘ軸と、ｙ軸とで囲まれる面積が１となるように、輝度データを拡大化または縮小化する。
【００４６】
図１２は輝度データの正規化処理を示す図である。ある輝度データ（輝度データｄ０とする）に対して、正規化処理を行った場合を示している。輝度データｄ０と、ｘ軸（時刻０〜時刻ｔａまでのｘ軸）と、ｙ軸とで囲まれる面積が１となるように、輝度データｄ０を拡大化または縮小化して、正規化後の輝度データｄ０−１を生成する。
【００４７】
このように、正規化処理を施すことにより、後段の処理で行われる一致度の比較において、比較処理を容易にすることができる。
なお、図１３に輝度変化の小さな輝度データを選択したときの輝度データの比較状態を示す。輝度変化の小さな輝度データとは、日照変化が小さな日影の場所を撮影した輝度データである。
【００４８】
日影の輝度データを正規化した輝度データを輝度データｄａとし、日向の輝度データを正規化した輝度データを輝度データｄｂとする。日影の輝度データは正規化すると、輝度データｄａのような形状となる。このため、正規化後の日影の輝度データｄａと、正規化後の日向の輝度データｄｂとを比較すると、一致度の比較が困難となる。したがって、輝度変化の小さな日影の輝度データは選択しないようにする。
【００４９】
このように、平均輝度の最小値と最大値との差分が最も大きい輝度データを選択することにより、日陰などによってほとんど日照変化がない場所の輝度データを選択することなく、日照変化が顕著な場所の輝度データを選択することが可能になる。これにより、後段の一致度の比較処理の精度を高めることが可能になる。
【００５０】
（ステップＳ４）
時刻補正部２５は、正規化後の輝度データｄ３（輝度データｄ３−１とする）と、正規化後の輝度データＤ３（輝度データＤ３−１とする）との一致度を算出して、輝度データのずれ量を検出する。
【００５１】
この場合、撮像装置１０−１側の輝度データｄ３−１を基準にして、撮像装置１０−２側の輝度データＤ３−１の時刻パラメータを一定時間ずつずらし、ずらした時刻毎に一致度を算出して、ずれ時刻を求める。
【００５２】
ここで、輝度データｙ＝ａ（ｔ）および輝度データｙ＝ｂ（ｔ）における、時刻ｔの範囲が０≦ｔ≦ｎとした場合に、２つの輝度データの一致度ｃｏｒは、以下の式（１）で表せる。ｃｏｒの値が大きいほど一致度が高く（相関性が高く）、ｃｏｒの値が小さいほど一致度は低い（相関性は低い）。
【００５３】
【数１】
0005696528.tif 000002
【００５４】
また、輝度データｙ＝ｂ（ｔ）を時刻ｘずらした場合、時刻ｘにおける一致度ｃｏｒ（ｘ）は、以下の式（２）で求まる。
【００５５】
【数２】
0005696528.tif 000003
【００５６】
なお、ｙ＝ａ（ｔ）は、輝度データｄ３−１を表す関数として対応させることができ、ｙ＝ｂ（ｔ）は、輝度データＤ３−１を表す関数として対応させることができる。
図１４は輝度データの比較を示す図である。撮像装置１０−１側の正規化後の輝度データｄ３−１を基準にして、撮像装置１０−２側の正規化後の輝度データＤ３−１を時刻ｘだけずらしたときの状態を示している。
【００５７】
図１５は一致度とずれ時刻との関係を示す図である。グラフｇ１の縦軸は一致度であり、横軸はずれ時刻である。グラフｇ１は、輝度データＤ３−１を時刻（ｘ）ずらしたときに、式（２）から一致度ｃｏｒ（ｘ）を求めたときの、一致度ｃｏｒ（ｘ）と、ずれ時刻（ｘ）とをグラフ化したものである。
【００５８】
時刻補正部２５では、グラフｇ１から、一致度ｃｏｒ（ｘ）が最大値となるずれ時刻（ｘ）として、Ｘｍａｘを検出する。検出したずれ時刻Ｘｍａｘは、撮像装置１０−１と撮像装置１０−２との撮影ずれ時刻量を表している。したがって、時刻補正部２５では、撮像装置１０−１のタイムスタンプを基準に、撮像装置１０−２のタイムスタンプが、時刻Ｘｍａｘだけずれていると認識する。
【００５９】
（ステップＳ５）
時刻補正部２５は、ステップＳ４で求めた撮影時刻ずれ量を用いて、撮像装置１０−２の撮影時刻を補正し、補正後の撮影開始時刻および撮影終了時刻を画像時刻管理データベース２７に登録する。
【００６０】
例えば、撮像装置１０−１と撮像装置１０−２との撮影時刻ずれ量がｃ秒である場合、撮像装置１０−１でのタイムスタンプを基準として、撮像装置１０−２に記録されているタイムスタンプの時刻からｃ秒引いた（または加えた）値を、画像時刻管理データベース２７に書き込む。
【００６１】
また、時刻補正部２５は、撮像装置に対してタイムスタンプの設定が可能であるので、計測した時刻ずれによって補正した時刻データを、撮像装置１０−２に送信して、撮像装置１０−２の時刻補正を行う。
【００６２】
これにより、撮像装置１０−１のタイムスタンプと、撮像装置１０−２とのタイムスタンプとの時刻ずれを自動補正することが可能になる。また、ユーザは、画像時刻管理データベース２７に書かれている時刻を参照することで、該当の撮像装置に関する撮影画像の正しい時刻を知ることができる。
【００６３】
なお、上記では、２台の撮像装置１０−１、１０−２間の撮影時刻ずれ量を求める場合を例にして説明した。すなわち、撮像装置１０−１の撮影画像から生成した正規化後の輝度データｄ３−１と、撮像装置１０−２の撮影画像から生成した正規化後の輝度データＤ３−１とに対し、輝度データｄ３−１を基準にして、輝度データＤ３−１を時間方向にずらしながら一致度を算出して、撮影時刻ずれ量を求めた。
【００６４】
同様にして、３台以上の撮像装置間の撮影時刻ずれ量を求めることができる。図１６は撮像装置間の撮影時刻ずれ量の検出および時刻補正を説明するための図である。撮像装置１０−１〜１０−ｎ間の撮影ずれ時刻量を求める場合は、基準となる撮像装置を１台選んで、該当の基準撮像装置に対しての撮影時刻ずれ量を求める。
【００６５】
例えば、撮像装置１０−１を基準にした場合、撮像装置１０−２は、撮像装置１０−１との撮影時刻ずれ量Δｔ１を上述した処理で求める。また、撮像装置１０−３は、撮像装置１０−１との撮影時刻ずれ量Δｔ２を上述した処理で求める。同様に、撮像装置１０−ｎは、撮像装置１０−１との撮影時刻ずれ量Δｔｎを上述した処理で求める。
【００６６】
このようにして求めた撮影時刻ずれ量Δｔ１〜Δｔｎそれぞれを、対応する撮像装置１０−２〜１０−ｎのタイムスタンプ機能に設定して、時刻補正を行う。これにより、撮像装置１０−１の時刻を基準に、撮像装置１０−２〜１０−ｎの時刻を合わせることができ、すべての撮像装置１０−１〜１０−ｎの時間軸を揃えることが可能になる。
【００６７】
このように、３台以上の撮像装置に対しても、すべての撮像装置の時間軸が自動的に揃うので、管理者による時刻調整等の作業の手間が省かれ、運用性および保守性の向上を図ることが可能になる。
【００６８】
次に輝度データの選択および一致度算出の変形例について説明する。説明を簡潔にするために、まず、輝度データｄ１〜ｄ３の正規化後の輝度データを、輝度データｄ１−１、ｄ２−１、ｄ３−１とする。輝度データＤ１〜Ｄ３の正規化後の輝度データを、輝度データＤ１−１、Ｄ２−１、Ｄ３−１とする。
【００６９】
また、正規化後の輝度データａ１、ａ２の組合せを（a1,a2）と表記し、輝度データａ１、ａ２の式（２）の一致度ｃｏｒ（ｘ）の計算を｛cor（x）｜（a1,a2）｝と表記する。
【００７０】
第１の変形例では、正規化後の輝度データの組合せ（d1−1,D1−1）、（d1−1,D2−1）、（d1−1,D3−1）に対するそれぞれの一致度ｃｏｒ（ｘ）である、｛cor（x）｜（d1−1,D1−1）｝、｛cor（x）｜（d1−1,D2−1）｝、｛cor（x）｜（d1−1,D3−1）｝を計算する。
【００７１】
そして、｛cor（x）｜（d1−1,D1−1）｝、｛cor（x）｜（d1−1,D2−1）｝、｛cor（x）｜（d1−1,D3−1）｝の各一致度計算から求められる一致度が最大となるずれ時刻量をそれぞれｘ１、ｘ２、ｘ３とする。
【００７２】
また、正規化後の輝度データの組合せ（d2−1,D1−1）、（d2−1,D2−1）、（d2−1,D3−1）に対するそれぞれの一致度ｃｏｒ（ｘ）である、｛cor（x）｜（d2−1,D1−1）｝、｛cor（x）｜（d2−1,D2−1）｝、｛cor（x）｜（d2−1,D3−1）｝を計算する。
【００７３】
そして、｛cor（x）｜（d2−1,D1−1）｝、｛cor（x）｜（d2−1,D2−1）｝、｛cor（x）｜（d2−1,D3−1）｝の各一致度計算から求められる一致度が最大となるずれ時刻量をそれぞれｘ４、ｘ５、ｘ６とする。
【００７４】
さらに、正規化後の輝度データの組合せ（d3−1,D1−1）、（d3−1,D2−1）、（d3−1,D3−1）に対するそれぞれの一致度ｃｏｒ（ｘ）である、｛cor（x）｜（d3−1,D1−1）｝、｛cor（x）｜（d3−1,D2−1）｝、｛cor（x）｜（d3−1,D3−1）｝を計算する。
【００７５】
そして、｛cor（x）｜（d3−1,D1−1）｝、｛cor（x）｜（d3−1,D2−1）｝、｛cor（x）｜（d3−1,D3−1）｝の各一致度計算から求められる一致度が最大となるずれ時刻量をそれぞれｘ７、ｘ８、ｘ９とする。
【００７６】
上記のように求めたずれ時刻量ｘ１〜ｘ９の中から最大値を選択する。ここの例では、｛cor（x）｜（d3−1,D3−1）｝の計算で算出されたずれ時刻量ｘ９が最大値（＝Ｘｍａｘ）となる。
【００７７】
上記のように、正規化後の輝度データのすべての組合せに対して、式（２）の一致度ｃｏｒ（ｘ）を求め、それを撮影時刻のずれ量として検出してもよい。
次に第２の変形例について説明する。第２の変形例では、正規化後の輝度データの９つすべての組合せ（d1−1,D1−1）、（d1−1,D2−1）、（d1−1,D3−1）、（d2−1,D1−1）、（d2−1,D2−1）、（d2−1,D3−1）、（d3−1,D1−1）、（d3−1,D2−1）、（d3−1,D3−1）のそれぞれに対して、式（１）を計算して、一致度ｃｏｒの最も大きな組合せを求める。
【００７８】
式（１）を用いて一致度ｃｏｒの最も大きな組合せを求めることは、一方の正規化輝度データの輝度変化量と、他方の正規化輝度データの輝度変化量との差が最も小さな組合せを選択することである（輝度変化量の差が小さいとは、一致度が大きいということである）。そして、一致度ｃｏｒの最も大きな組合せに対して、式（２）による計算を行って撮影時刻ずれ量を求める。
【００７９】
ここの例では、正規化後の輝度データの組合せ（d3−1,D3−1）の一致度ｃｏｒが、他の組合せの一致度ｃｏｒの中で最も大きな値をとる（すなわち、輝度データｄ３−１の輝度変化量と、輝度データＤ３−１の輝度変化量との差が最も小さい）。
【００８０】
そして、上記で示したように、輝度データｄ３−１を基準に、輝度データＤ３−１の時間パラメータを一定間隔ずらしながら式（２）を用いて、一致度が最大となるずれ時刻量を求める。
【００８１】
このように、輝度データを選択する際に、輝度変化量の差が小さな輝度データを選択することにより、後段での一致度の比較処理を容易に行うことができる。
次に撮像装置がタイムスタンプ機能を備えていない場合の画像処理システムについて説明する。図１７は画像処理システムの構成例を示す図である。画像処理システム１−２は、撮像装置１０ｂ−１〜１０ｂ−ｎおよび画像処理装置２０ｂを備える。
【００８２】
撮像装置１０ｂ−１〜１０ｂ−ｎは、タイムスタンプ機能を有していない監視カメラに該当する。画像処理装置２０ｂは、監視範囲内の画像を撮影する２つ以上の撮像装置１０ｂ−１〜１０ｂ−ｎと接続する。
【００８３】
画像処理装置２０ｂは、画像取得部２１と制御部２ｂを備え、制御部２ｂは、画像呼び出し部２２、輝度データ生成部２３、輝度データ選択部２４、時刻補正部２５、画像データベース２６、画像時刻管理データベース２７ｂおよび時刻設定部２８を含む。なお、画像処理システム１−２は、時刻設定部２８をあらたに備え、その他の構成要素は、図２と基本的に同様である。時刻設定部２８は、画像取得部２１で取得した画像に、装置内で決めた時刻（仮時刻）を設定する。時刻が設定された画像は、画像データベース２６に格納される。
【００８４】
図１８は画像時刻管理データベースの格納例を示す図である。画像時刻管理データベース２７ｂは、画像データファイル名および撮影時刻の項目を有する。例えば、画像データファイル名Camera01 0001.pgmと、該画像データファイル名の撮影時刻2010.12.01 12:00:00.000とが格納されている。該撮影時刻は、時刻設定部２８で設定された時刻ではなく、時刻補正後の時刻である。
【００８５】
次に動作について説明する。図１９は動作を示すフローチャートである。撮像装置１０ｂ−１〜１０ｂ−ｎは、タイムスタンプ機能を備えておらず、画像取得部２１が取得した画像データは、時刻情報が書き込まれた後に格納される。
【００８６】
〔Ｓ１１〕画像取得部２１は、撮像装置１０ｂ−１〜１０ｂ−ｎで撮影された画像を取得する。
〔Ｓ１２〕時刻設定部２８は、取得された画像に時刻を設定し、画像データベース２６に格納する。
【００８７】
〔Ｓ１３〕画像呼び出し部２２は、画像データベース２６から画像を呼び出し、輝度データ生成部２３は、呼び出した画像中の特定の範囲の輝度値の時間変化を計測し、輝度の時間変化の関数である輝度データを生成する。
【００８８】
〔Ｓ１４〕輝度データ選択部２４は、各画像のすべての範囲の輝度データから、所定の輝度データを選択する。例えば、輝度変化の大きな（日照変化の大きな）輝度データを選択する。
【００８９】
〔Ｓ１５〕時刻補正部２５は、選択された輝度データの一致度から撮影時刻のずれ量を検出する。
〔Ｓ１６〕時刻補正部２５は、検出した時刻ずれ量から撮像装置１０ｂ−１〜１０ｂ−ｎで撮影された画像の実際の撮影時刻を補正する。また、補正後の撮影時刻を画像時刻管理データベース２７ｂに登録する。
【００９０】
このように、タイムスタンプ機能を有していない撮像装置１０ｂ−１〜１０ｂ−ｎから取得した画像に対しては、画像処理装置２０ｂ内で、まず、仮の時刻を画像に設定してから格納する。
【００９１】
そして、上記で説明したように、各画像の輝度変化の一致度から、各画像の撮影時刻ずれ量を求めて時刻を補正し、時刻補正後の時刻情報を該当の画像に書き込んで、画像時刻管理データベース２７ｂに登録する。
【００９２】
これにより、タイムスタンプ機能を有していない撮像装置で撮影された画像に対しても、画像処理装置２０ｂ内で、各画像の撮影時刻を高品質に設定して格納管理することができ、画像間の連携をとることが可能になる。
【００９３】
以上説明したように、撮影画像の輝度の時間変化である輝度関数を計測し、輝度関数が最も一致する時刻を撮影時刻のずれ量として検出する構成とした。これにより、例えば、システムのソフトウェアをアップデートするだけで、自動的に複数の撮像装置間での時刻のずれを補正できるため、新たな機器を用意せずに安価に複数の撮像装置の連携を取ることが可能になる。また、長時間撮影した画像を利用して複数の撮像装置間の時刻合わせを行う構成であるため、画像中の外乱に強く、高精度に時刻を一致させることができる。
【００９４】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。
【符号の説明】
【００９５】
１  画像処理システム
１０−１〜１０−ｎ  撮像装置
２０  画像処理装置
【図１】
0005696528.tif 000004
【図２】
0005696528.tif 000005
【図３】
0005696528.tif 000006
【図４】
0005696528.tif 000007
【図５】
0005696528.tif 000008
【図６】
0005696528.tif 000009
【図７】
0005696528.tif 000010
【図８】
0005696528.tif 000011
【図９】
0005696528.tif 000012
【図１０】
0005696528.tif 000013
【図１１】
0005696528.tif 000014
【図１２】
0005696528.tif 000015
【図１３】
0005696528.tif 000016
【図１４】
0005696528.tif 000017
【図１５】
0005696528.tif 000018
【図１６】
0005696528.tif 000019
【図１７】
0005696528.tif 000020
【図１８】
0005696528.tif 000021
【図１９】
0005696528.tif 000022