(57)【要約】      （修正有）【課題】撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定する画像処理プログラムを提供する。【解決手段】画像処理プログラムは、撮像装置により撮影方向を変えながら撮影された動画像データの中から、撮影方向が特定の状態のときに撮影された画像フレームを抽出するステップ２０１と、記憶部に記憶されている複数の画像データと、画像フレームとに基づき、複数の画像データの中から画像データを特定するステップ２０２と、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、画像フレームにおける解析対象の領域を決定するステップ２０３と、決定した結果を出力するステップ２０４を有する。【選択図】図２
2020201841.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
処理をコンピュータに実行させるための画像処理プログラム。
【請求項２】
さらに、前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定する処理をコンピュータに実行させることを特徴とする請求項１に記載の画像処理プログラム。
【請求項３】
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記判定する処理は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする請求項２に記載の画像処理プログラム。
【請求項４】
さらに、前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域を変更する処理をコンピュータに実行させることを特徴とする請求項１〜３のいずれか１項に記載の画像処理プログラム。
【請求項５】
さらに、前記画像フレームにおける解析対象の領域を用いて画像解析を行う処理をコンピュータに実行させることを特徴とする請求項１〜４のいずれか１項に記載の画像処理プログラム。
【請求項６】
複数の画像データを記憶する記憶部と、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、前記複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、前記決定した結果を出力する領域決定部と、
を備えることを特徴とする画像処理装置。
【請求項７】
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
ＰＴＺ（Pan-Tilt-Zoom）カメラは、撮影方向を３次元空間における水平方向及び垂直方向に回転させる制御と、映像をズームイン及びズームアウトする制御とを組み合わせて、遠隔で操作することが可能なカメラである。ＰＴＺカメラは、高速道路、工場、大型店舗、商業施設、駅、空港等のように、多数の車両又は人が混在する様々な場所において、監視カメラとして設置されることがある。
【０００３】
視野移動可能なカメラを用いた高速道路等の監視に関連して、カメラ旋回中の画像の乱れを防止する静止画像伝送方式が知られている（例えば、特許文献１を参照）。車に搭載して前を走行する車両までの距離を認識する距離認識装置、及び車両の進行方向前方に存在する道路の道路形状を認識する道路形状認識装置も知られている（例えば、特許文献２及び特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開昭６０−１０２０７６号公報
【特許文献２】特開２００１−２７２２１０号公報
【特許文献３】特開２０１１−２８６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＰＴＺカメラの撮影方向又はズーム倍率が変化すると撮影範囲も変化するため、ＰＴＺカメラの映像を画像解析により解析する場合、解析対象の領域を決定することが困難である。
【０００６】
なお、かかる問題は、ＰＴＺカメラの映像を解析する場合に限らず、様々な撮像装置により撮影された画像を解析する場合において生ずるものである。
【０００７】
１つの側面において、本発明は、撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定することを目的とする。
【課題を解決するための手段】
【０００８】
１つの案では、画像処理プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、撮像装置により撮影方向を変えながら撮影された動画像データの中から、撮影方向が特定の状態のときに撮影された画像フレームを抽出する。
（２）コンピュータは、記憶部に記憶されている複数の画像データと、画像フレームとに基づき、複数の画像データの中から画像データを特定する。
（３）コンピュータは、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、画像フレームにおける解析対象の領域を決定する。
（４）コンピュータは、決定した結果を出力する。
【発明の効果】
【０００９】
１つの側面によれば、撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定することができる。
【図面の簡単な説明】
【００１０】
【図１】画像処理装置の機能的構成図である。
【図２】画像処理のフローチャートである。
【図３】画像処理装置の具体例を示す機能的構成図である。
【図４】検知領域の誤差を示す図である。
【図５】検知領域決定処理を示す図である。
【図６】検知領域変更処理を示す図である。
【図７】プリセット画像上に配置された特徴点を示す図である。
【図８】画像フレーム上で追跡された特徴点を示す図である。
【図９】画像フレームに対する補正処理を示す図である。
【図１０】状態判定処理を示す図である。
【図１１】画像処理の第１の具体例を示すフローチャートである。
【図１２】画像解析処理のフローチャートである。
【図１３】画像処理の第２の具体例を示すフローチャートである。
【図１４】情報処理装置のハードウェア構成図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、実施形態を詳細に説明する。
ＰＴＺカメラは、設置時に所定の撮影条件を示す情報を記憶している。所定の撮影条件には、水平方向の回転角度、垂直方向の回転角度、及びズーム倍率が含まれる。そして、撮影条件を指定する操作入力を受け付けると、ＰＴＺカメラは、プリセット機能により、記憶している情報に基づいて、水平方向及び垂直方向に撮影方向を回転させ、ズームイン又はズームアウトの動作を行う。
【００１２】
ＰＴＺカメラは、複数の撮影条件を示す情報を記憶することができるため、オペレータは、いずれかの撮影条件を指定する操作を行うだけでよく、撮影対象に応じて撮影方向及びズーム倍率の調整を行う必要がない。
【００１３】
しかしながら、高速道路等にＰＴＺカメラを設置して道路状況を監視する場合、広範囲に渡って多数のＰＴＺカメラが設置されるため、撮影されたすべての映像をオペレータが目視でチェックすることは困難である。そこで、道路を撮影した映像に対する画像解析を行って、車両等を自動的に検知し、検知された結果に基づいて道路状況を監視することが望ましい。
【００１４】
しかし、ＰＴＺカメラの撮影方向又はズーム倍率が変化すると、撮影された映像の画像フレームに写っている道路の位置及び形状も変化する。このため、道路を解析対象とする画像解析を行う場合、解析対象の領域を決定することが困難である。
【００１５】
なお、かかる問題は、道路上に設置されたＰＴＺカメラの映像を解析する場合に限らず、様々な場所に設置された撮像装置により撮影された画像を解析する場合において生ずるものである。
【００１６】
図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１及び領域決定部１１２を含む。記憶部１１１は、複数の画像データを記憶し、領域決定部１１２は、記憶部１１１が記憶する画像データを用いて画像処理を行う。
【００１７】
図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、領域決定部１１２は、撮像装置により撮影方向を変えながら撮影された動画像データの中から、撮影方向が特定の状態のときに撮影された画像フレームを抽出する（ステップ２０１）。
【００１８】
次に、領域決定部１１２は、記憶部１１１が記憶する複数の画像データと、画像フレームとに基づき、複数の画像データの中から画像データを特定する（ステップ２０２）。そして、領域決定部１１２は、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、画像フレームにおける解析対象の領域を決定し（ステップ２０３）、決定した結果を出力する（ステップ２０４）。
【００１９】
図１の画像処理装置１０１によれば、撮像装置により撮影された画像内における解析対象の領域を、撮影方向に応じて決定することができる。
【００２０】
図３は、図１の画像処理装置１０１の具体例を示している。図３の画像処理装置３０１は、記憶部３１１、画像取得部３１２、状態判定部３１３、領域決定部３１４、領域変更部３１５、画像解析部３１６、及び出力部３１７を含む。記憶部３１１及び領域決定部３１４は、図１の記憶部１１１及び領域決定部１１２にそれぞれ対応する。
【００２１】
撮像装置３０２は、例えば、様々な場所に設置されたＰＴＺカメラ等の可動式カメラであり、撮影範囲の映像を撮影する。撮像装置３０２は、高速道路等の道路上に設置されていてもよく、工場、大型店舗、商業施設、駅、空港等に設置されていてもよい。
【００２２】
画像処理装置３０１は、監視センター、データセンター等に設置されたサーバ等の情報処理装置（コンピュータ）であり、通信ネットワークを介して撮像装置３０２と通信することができる。
【００２３】
撮像装置３０２は、画像処理装置３０１又は別の装置から、撮影条件を指定する制御情報を受信し、受信した制御情報に基づいて、撮影方向及びズーム倍率を変更する動作を行う。例えば、撮像装置３０２は、プリセット機能により、複数の撮影条件それぞれを示す識別情報（ＩＤ）を事前に記憶しており、受信した制御情報に含まれるＩＤに従って、撮影方向及びズーム倍率を変更する。
【００２４】
記憶部１１１は、複数のプリセット画像３２１と、複数のプリセット画像３２１それぞれに対応付けられた領域情報３２２と、設定ファイル３２４とを記憶している。各プリセット画像３２１は、プリセット機能により設定された所定の撮影条件で撮影された画像データであり、各領域情報３２２は、対応するプリセット画像３２１内に設定された検知領域の座標情報である。
【００２５】
検知領域は、画像解析における解析対象の領域の一例であり、領域情報３２２は、解析対象の領域に関する情報の一例である。設定ファイル３２４には、検知領域の座標情報を含む、画像解析の設定条件が記録されている。
【００２６】
撮像装置３０２により撮影方向を変えながら撮影される映像は、時系列の画像フレームを含む動画像データであり、通信ネットワークを介して画像処理装置３０１へ送信される。画像取得部３１２は、通信ネットワークを介して、撮像装置３０２が出力する映像から画像フレーム３２３を取得し、記憶部３１１に格納する。
【００２７】
状態判定部３１３は、時系列の画像フレーム３２３に含まれる特徴点の移動量に基づいて、撮像装置３０２の状態を判定する。撮像装置３０２の状態としては、撮像装置３０２が旋回中であり撮影方向が変化している状態、風又は振動により撮像装置３０２が揺れることで撮影方向が変化している状態、撮影方向が所定時間長以上変化していない状態等が挙げられる。
【００２８】
撮像装置３０２の撮影方向が変化すると、画像フレーム３２３に含まれる静止物体の特徴点が移動するため、特徴点の移動量を用いて状態を判定することで、撮影方向が変化したか否かを検知することができる。
【００２９】
領域決定部３１４は、特定の状態のときに撮影された画像フレーム３２３を抽出し、複数のプリセット画像３２１の中から、その画像フレーム３２３に対応するプリセット画像３２１を特定する。例えば、領域決定部３１４は、画像フレーム３２３と各プリセット画像３２１とをテンプレートマッチングにより比較し、最大のマッチングスコアを有するプリセット画像３２１を、画像フレーム３２３に対応するプリセット画像３２１として特定する。
【００３０】
そして、領域決定部３１４は、特定されたプリセット画像３２１に対応付けて記憶されている領域情報３２２を用いて、画像フレーム３２３内における検知領域を決定し、設定ファイル３２４に記録されている検知領域を、決定された検知領域に更新する。
【００３１】
これにより、プリセット機能により設定された撮影条件で撮影された画像フレーム３２３内において、その撮影条件に応じた検知領域が決定され、設定ファイル３２４に記録される。したがって、撮影条件に応じた適切な画像領域を解析対象として、画像解析を行うことが可能になる。
【００３２】
例えば、状態判定部３１３は、画像フレーム間における特徴点の移動量に基づいて、撮影方向が所定時間長以上変化していない状態を特定の状態として検出する。そして、領域決定部３１４は、その状態のときに撮影された画像フレーム３２３内における検知領域を決定する。これにより、撮像装置３０２の撮影方向が固定された状態の安定した画像フレーム３２３を用いて、画像解析を行うことが可能になる。
【００３３】
ところで、撮像装置３０２が回転することで、撮影方向が水平方向又は垂直方向に変化すると、撮像装置３０２の機械的な回転誤差（プリセット誤差）によって、画像フレーム３２３とプリセット画像３２１との間に誤差が発生する。このため、プリセット画像３２１に対応付けられている領域情報３２２は、画像フレーム３２３内の正しい検知領域を示しているとは限らない。
【００３４】
図４は、道路上に設置された撮像装置３０２のプリセット誤差に起因する検知領域の誤差の例を示している。図４（ａ）は、画像フレーム３２３が水平方向（ｘ方向）の誤差を含む場合の検知領域の例を示している。領域４０１は、左へ４０画素だけずれている画像フレーム３２３内で決定された検知領域を表し、領域４０２は、画像フレーム３２３がずれていない場合に決定される本来の検知領域を表す。
【００３５】
この場合、矢印４１１が示すように、領域４０１は、領域４０２よりも右へ４０画素だけずれている。このため、領域４１２内に写っている車両の一部が領域４０１から外れてしまい、領域４０１の画像から正しい車両検知を行うことが難しくなる。
【００３６】
図４（ｂ）は、画像フレーム３２３が垂直方向（ｙ方向）の誤差を含む場合の検知領域の例を示している。領域４０３は、下へ３５画素だけずれている画像フレーム３２３内で決定された検知領域を表す。
【００３７】
この場合、矢印４１３が示すように、領域４０３は、領域４０２よりも上へ３５画素だけずれている。このため、領域４１４内に写っている車両の一部が領域４０２から外れているにもかかわらず、その車両の全体が領域４０３内に収まっており、領域４０３の画像から正しい車速を求めることが難しくなる。
【００３８】
そこで、領域変更部３１５は、画像フレーム３２３の誤差を補正して、決定された検知領域を変更し、変更後の検知領域を設定ファイル３２４に記録する。例えば、領域変更部３１５は、画像フレーム３２３に含まれる特徴点Ｐ１と、特定されたプリセット画像３２１に含まれ、特徴点Ｐ１と対応する特徴点Ｐ２とのずれに応じて、画像フレーム３２３における検知領域を変更する。
【００３９】
画像解析部３１６は、設定ファイル３２４に記録された検知領域の画像を用いて画像解析を行い、解析結果３２５を生成して記憶部３１１に格納する。出力部３１７は、解析結果３２５を出力する。
【００４０】
画像フレーム３２３に含まれる特徴点とプリセット画像３２１に含まれる特徴点とのずれに応じて、画像フレーム３２３における検知領域を変更することで、画像フレーム３２３内の正しい検知領域を求めることができる。したがって、変更後の検知領域を用いて画像解析を行うことで、解析結果３２５の精度が向上する。
【００４１】
図５は、領域決定部３１４が行う検知領域決定処理の例を示している。図５（ａ）は、道路が写っている画像フレーム３２３に対する検知領域決定処理の例を示している。この場合、領域決定部３１４は、画像フレーム３２３と、プリセット画像５０１及びプリセット画像５０２の各々とを、テンプレートマッチングにより比較し、マッチングスコアを求める。
【００４２】
プリセット画像５０１に対するマッチングスコアが“０．９８”であり、プリセット画像５０２に対するマッチングスコアが“０．１２”である場合、領域決定部３１４は、プリセット画像５０１が画像フレーム３２３に対応していると判定する。そして、領域決定部３１４は、プリセット画像５０１の領域情報３２２を用いて、画像フレーム３２３内における検知領域５１１を決定する。
【００４３】
図５（ｂ）は、別の画像フレーム３２３に対する検知領域決定処理の例を示している。この場合、領域決定部３１４は、画像フレーム３２３と、プリセット画像５０１及びプリセット画像５０２の各々とを、テンプレートマッチングにより比較し、マッチングスコアを求める。
【００４４】
プリセット画像５０１に対するマッチングスコアが“０．１２”であり、プリセット画像５０２に対するマッチングスコアが“０．９８”である場合、領域決定部３１４は、プリセット画像５０２が画像フレーム３２３に対応していると判定する。そして、領域決定部３１４は、プリセット画像５０２の領域情報３２２を用いて、画像フレーム３２３内における検知領域５１２を決定する。
【００４５】
図６は、領域変更部３１５が行う検知領域変更処理の例を示している。図６（ａ）は、道路が写っている画像フレーム３２３における変更前の検知領域の例を示している。この例では、プリセット画像６０１に対するマッチングスコアの方が、プリセット画像６０２に対するマッチングスコアよりも大きいため、プリセット画像６０１の領域情報３２２を用いて、画像フレーム３２３内における検知領域６１１が決定される。
【００４６】
しかしながら、撮像装置３０２のプリセット誤差により、画像フレーム３２３は、プリセット画像６０１に対して左へ１６画素だけずれており、上へ２４画素だけずれている。このため、検知領域６１１は、画像フレーム３２３に写っている道路上の本来の検知領域よりも右へ１６画素だけずれており、下へ２４画素だけずれている。
【００４７】
そこで、領域変更部３１５は、画像フレーム３２３を右へ１６画素だけずらし、下へ２４画素だけずらすことで、画像フレーム３２３の位置を補正し、プリセット画像６０１の領域情報３２２を用いて、補正後の画像フレーム３２３内における検知領域を決定する。
【００４８】
図６（ｂ）は、補正後の画像フレーム３２３における変更後の検知領域の例を示している。変更後の検知領域６１２は、道路上の本来の検知領域と一致している。
【００４９】
次に、図７から図９までを参照しながら、特徴点に基づく検知領域変更方法について説明する。
【００５０】
図７は、道路が写っているプリセット画像３２１上に配置された特徴点の例を示している。領域変更部３１５は、プリセット画像３２１上に複数の特徴点を配置する。この例では、複数の特徴点が均一間隔で一様に配置されている。
【００５１】
図８は、図７のプリセット画像３２１に対応する画像フレーム３２３上で追跡された特徴点の例を示している。領域変更部３１５は、プリセット画像３２１上に配置された特徴点の位置から、オプティカルフローを用いて、画像フレーム３２３上で特徴点を追跡する。そして、領域変更部３１５は、プリセット画像３２１と画像フレーム３２３との間における各特徴点の移動量を計算する。各特徴点の移動量は、画像フレーム３２３に含まれる特徴点Ｐ１と、プリセット画像３２１に含まれ、特徴点Ｐ１と対応する特徴点Ｐ２とのずれの一例である。
【００５２】
ただし、プリセット画像３２１上の特徴点のうち追跡が失敗した特徴点は、移動量の計算から除外される。また、追跡が成功した特徴点のうち、移動量が所定値よりも大きい特徴点は、車両等の特徴点である可能性が高いため、画像フレーム３２３のずれ量の計算から除外される。
【００５３】
次に、領域変更部３１５は、除外されなかった複数の特徴点の移動量を用いて、プリセット画像３２１と画像フレーム３２３との間におけるアフィン変換を求め、画像フレーム３２３の水平方向（ｘ方向）及び垂直方向（ｙ方向）のずれ量を計算する。そして、領域変更部３１５は、計算されたずれ量を用いて、画像フレーム３２３を逆方向へずらすことで、画像フレーム３２３の誤差を補正する。
【００５４】
図９は、道路が写っている画像フレーム３２３に対する補正処理の例を示している。図９（ａ）は、補正前の画像フレーム３２３の例を示している。補正前の画像フレーム３２３は、プリセット画像３２１に対して左へ６画素だけずれており、上へ９画素だけずれている。このため、検知領域９０１及び検知領域９０２は、道路上の本来の検知領域よりも右へ６画素だけずれており、下へ９画素だけずれている。
【００５５】
そこで、領域変更部３１５は、画像フレーム３２３を右へ６画素だけずらし、下へ９画素だけずらすことで、画像フレーム３２３の位置を補正する。
【００５６】
図９（ｂ）は、補正後の画像フレーム３２３の例を示している。補正後の画像フレーム３２３における検知領域９１１及び検知領域９１２は、道路上の本来の検知領域と一致している。
【００５７】
図１０は、状態判定部３１３が行う状態判定処理の例を示している。状態判定部３１３は、時系列の各画像フレーム３２３から特徴点を検出し、オプティカルフローを用いて、画像フレーム間における各特徴点の移動量を計算する。例えば、状態判定部３１３は、コーナー検出法を用いて、コーナー部分の特徴点を検出する。
【００５８】
図１０（ａ）は、道路が写っている画像フレーム３２３から検出された特徴点の例を示しており、図１０（ｂ）は、画像フレーム間における特徴点の移動量の例を示している。
【００５９】
例えば、状態判定部３１３は、現在の画像フレーム３２３から検出された各特徴点と、直前の画像フレーム３２３から検出された各特徴点との間の移動量の統計値を計算し、その統計値を閾値と比較することで、撮像装置３０２の状態を判定する。移動量の統計値としては、平均値、中央値、最頻値等が用いられる。
【００６０】
図１０（ｂ）の例では、移動量の統計値が所定の閾値よりも大きいため、撮像装置３０２が旋回中であると判定される。状態判定部３１３は、移動量の統計値を用いて、風又は振動により撮像装置３０２が揺れている状態、撮像装置３０２が旋回した後に停止した状態等を検出することもできる。撮像装置３０２が旋回した後に停止した状態は、撮影方向が所定時間長以上変化していない状態の一例である。
【００６１】
撮像装置３０２が揺れている状態が検出された場合、領域変更部３１５は、揺れによる画像フレーム３２３のずれを補正して、検知領域を変更する。一方、撮像装置３０２が旋回した後に停止した状態が検出された場合、領域決定部３１４は、その画像フレーム３２３に対応するプリセット画像３２１を特定し、特定されたプリセット画像３２１の領域情報３２２を用いて、新たな検知領域を決定する。そして、領域変更部３１５は、画像フレーム３２３の誤差を補正して、検知領域を変更する。
【００６２】
図１１は、図３の画像処理装置３０１が行う画像処理の第１の具体例を示すフローチャートである。図１１の画像処理は、Ｎ枚（Ｎは１以上の整数）の画像フレーム３２３の間隔で、各画像フレーム３２３に対して行われる。
【００６３】
まず、状態判定部３１３は、処理対象の画像フレーム３２３から特徴点を検出する（ステップ１１０１）。次に、状態判定部３１３は、Ｎ枚前に画像処理が行われた画像フレーム３２３と、処理対象の画像フレーム３２３との間における各特徴点の移動量を計算し、移動量の統計値を求める（ステップ１１０２）。
【００６４】
そして、状態判定部３１３は、統計値と閾値Ｔとを比較する（ステップ１１０３）。統計値が閾値Ｔ以上である場合（ステップ１１０３，ＹＥＳ）、状態判定部３１３は、シーンチェンジが検出されたと判定して、不図示の時間計測処理を行う。
【００６５】
時間計測処理において、状態判定部３１３は、所定時間長の計測を開始し、Ｎ枚後の画像フレーム３２３を処理対象として、ステップ１１０１以降の処理を繰り返す。したがって、撮像装置３０２が旋回中であり、シーンチェンジが連続して検出されている間は、所定時間長の計測のリセット及び再開が繰り返される。そして、所定時間長の計測が開始された後、シーンチェンジが検出されないまま所定時間長が経過した場合、状態判定部３１３は、撮像装置３０２が旋回した後に停止した状態が検出されたと判定し、時間計測処理を終了する。
【００６６】
撮像装置３０２が旋回した後に停止した状態が検出された場合、領域決定部３１４は、その時点の処理対象の画像フレーム３２３に対応するプリセット画像３２１を特定する（ステップ１１０５）。そして、領域決定部３１４は、特定されたプリセット画像３２１の領域情報３２２を用いて、画像フレーム３２３内における検知領域を決定し、決定された検知領域を設定ファイル３２４に記録する。
【００６７】
次に、領域変更部３１５は、プリセット画像３２１上に複数の特徴点を配置する（ステップ１１０６）。そして、領域変更部３１５は、画像フレーム３２３上で特徴点を追跡して各特徴点の移動量を計算し、プリセット画像３２１と画像フレーム３２３との間におけるアフィン変換を求めることで、画像フレーム３２３のずれ量を計算する（ステップ１１０７）。
【００６８】
次に、領域変更部３１５は、ずれ量を用いて画像フレーム３２３の誤差を補正することで、設定ファイル３２４の検知領域を変更する（ステップ１１０８）。そして、画像処理装置３０１は、設定ファイル３２４に従って画像解析処理を行う（ステップ１１０４）。
【００６９】
一方、統計値が閾値Ｔよりも小さい場合（ステップ１１０３，ＮＯ）、画像処理装置３０１は、設定ファイル３２４に従って画像解析処理を行う（ステップ１１０４）。
【００７０】
図１２は、図１１のステップ１１０４における画像解析処理の例を示すフローチャートである。この例では、道路が写っている画像フレーム３２３を処理対象として、画像解析処理が行われる。
【００７１】
まず、画像解析部３１６は、処理対象の画像フレーム３２３が、映像に含まれる最初の画像フレーム３２３であるか否かをチェックする（ステップ１２０１）。処理対象の画像フレーム３２３が最初の画像フレーム３２３である場合（ステップ１２０１，ＹＥＳ）、画像解析部３１６は、初期化処理を行う（ステップ１２０８）。
【００７２】
一方、処理対象の画像フレーム３２３が最初の画像フレーム３２３ではない場合（ステップ１２０１，ＮＯ）、画像解析部３１６は、処理対象の画像フレーム３２３においてシーンチェンジが検出されたか否かをチェックする（ステップ１２０２）。シーンチェンジが検出された場合（ステップ１２０２，ＹＥＳ）、画像解析部３１６は、初期化処理を行う（ステップ１２０８）。
【００７３】
一方、シーンチェンジが検出されていない場合（ステップ１２０２，ＮＯ）、画像解析部３１６は、処理対象の画像フレーム３２３から、設定ファイル３２４に記録された検知領域に対応する画像を抽出する。そして、画像解析部３１６は、抽出された画像を用いて、検知領域の背景差分を計算する（ステップ１２０３）。
【００７４】
次に、画像解析部３１６は、背景差分を用いて車両検知処理を行い（ステップ１２０４）、車両追跡処理を行い（ステップ１２０５）、事象検知処理を行う（ステップ１２０６）。これにより、車両の通過、渋滞、事故、逆走等の事象が検知される。そして、画像解析部３１６は、検知された事象を示す解析結果３２５を生成し、出力部３１７は、解析結果３２５を出力する（ステップ１２０７）。
【００７５】
図１３は、図３の画像処理装置３０１が行う画像処理の第２の具体例を示すフローチャートである。図１３のステップ１３０１、ステップ１３０２、ステップ１３０４、ステップ１３０５、及びステップ１３０７〜ステップ１３１０の処理は、図１１のステップ１１０１〜ステップ１１０８の処理と同様である。ステップ１３０３及びステップ１３０４の閾値Ｔ２は、ステップ１１０３の閾値Ｔと等しく、ステップ１３０３の閾値Ｔ１は、閾値Ｔ２よりも小さい。
【００７６】
状態判定部３１３は、移動量の統計値を求めた後、統計値と閾値Ｔ１とを比較し、統計値と閾値Ｔ２とを比較する（ステップ１３０３）。統計値が閾値Ｔ１以上かつ閾値Ｔ２未満である場合（ステップ１３０３，ＹＥＳ）、状態判定部３１３は、撮像装置３０２が揺れている状態が検出されたと判定する。
【００７７】
そこで、領域変更部３１５は、統計値を用いて画像フレーム３２３を逆方向へずらすことで、画像フレーム３２３のずれを補正し、設定ファイル３２４の検知領域を変更する（ステップ１３０６）。そして、画像処理装置３０１は、ステップ１３０４以降の処理を行う。
【００７８】
ステップ１３０６において、領域変更部３１５は、ステップ１１０７と同様にして画像フレーム３２３のずれ量を計算し、計算されたずれ量を用いて画像フレーム３２３を補正してもよい。
【００７９】
図１の画像処理装置１０１及び図３の画像処理装置３０１の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の画像処理装置３０１において、画像フレーム３２３が事前に記憶部３１１に格納されている場合は、画像取得部３１２を省略することができる。
【００８０】
撮像装置３０２の状態を判定する必要がない場合は、状態判定部３１３を省略することができる。撮像装置３０２のプリセット誤差が小さく、決定された検知領域を変更する必要がない場合は、領域変更部３１５を省略することができる。画像解析が外部の装置で行われる場合は、画像解析部３１６及び出力部３１７を省略することができる。
【００８１】
画像処理装置３０１は、２台以上の撮像装置３０２それぞれから出力される映像に対して、画像処理を行うこともできる。
【００８２】
図２及び図１１〜図１３のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図１１及び図１３の画像処理において、撮像装置３０２の状態を判定する必要がない場合は、ステップ１１０１〜ステップ１１０３及びステップ１３０１〜ステップ１３０４の処理を省略することができる。
【００８３】
撮像装置３０２のプリセット誤差が小さく、決定された検知領域を変更する必要がない場合は、ステップ１１０６〜ステップ１１０８及びステップ１３０８〜ステップ１３１０の処理を省略することができる。画像解析が外部の装置で行われる場合は、ステップ１１０４及びステップ１３０５の処理を省略することができる。
【００８４】
図１１及び図１３の画像処理において、状態判定部３１３は、特徴点の移動量の統計値を閾値と比較する代わりに、カルマンフィルタ等のフィルタ処理を用いて、撮像装置３０２の状態を判定してもよい。
【００８５】
撮像装置３０２が道路以外の場所に設置されている場合は、図１２の画像解析処理とは異なる画像解析処理が行われる。
【００８６】
図４〜図１０に示した画像フレーム及びプリセット画像は一例に過ぎず、画像フレーム及びプリセット画像は、撮影対象に応じて変化する。検知領域及び特徴点は、画像フレーム及びプリセット画像に応じて変化する。
【００８７】
図１４は、図１の画像処理装置１０１及び図３の画像処理装置３０１として用いられる情報処理装置（コンピュータ）のハードウェア構成例を示している。図１４の情報処理装置は、ＣＰＵ（Central Processing Unit）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、補助記憶装置１４０５、媒体駆動装置１４０６、及びネットワーク接続装置１４０７を含む。これらの構成要素はハードウェアであり、バス１４０８により互いに接続されている。
【００８８】
メモリ１４０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１４０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
【００８９】
ＣＰＵ１４０１（プロセッサ）は、例えば、メモリ１４０２を利用してプログラムを実行することにより、図１の領域決定部１１２として動作する。ＣＰＵ１４０１は、メモリ１４０２を利用してプログラムを実行することにより、図３の状態判定部３１３、領域決定部３１４、領域変更部３１５、及び画像解析部３１６としても動作する。
【００９０】
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。処理結果は、解析結果３２５であってもよい。出力部１４０４は、図３の出力部３１７として用いることができる。
【００９１】
補助記憶装置１４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１４０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１４０５にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。補助記憶装置１４０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。
【００９２】
媒体駆動装置１４０６は、可搬型記録媒体１４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１４０９は、ＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１４０９にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
【００９３】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１４０２、補助記憶装置１４０５、又は可搬型記録媒体１４０９のような、物理的な（非一時的な）記録媒体である。
【００９４】
ネットワーク接続装置１４０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０７を介して受信し、それらをメモリ１４０２にロードして使用することができる。ネットワーク接続装置１４０７は、図３の画像取得部３１２として用いることができる。ネットワーク接続装置１４０７は、出力部３１７としても用いることができる。
【００９５】
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１４０３及び出力装置１４０４を省略してもよい。可搬型記録媒体１４０９又は通信ネットワークを使用しない場合は、媒体駆動装置１４０６又はネットワーク接続装置１４０７を省略してもよい。
【００９６】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【００９７】
図１乃至図１４を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
処理をコンピュータに実行させるための画像処理プログラム。
（付記２）
さらに、前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定する処理をコンピュータに実行させることを特徴とする付記１に記載の画像処理プログラム。
（付記３）
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記判定する処理は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする付記２に記載の画像処理プログラム。
（付記４）
さらに、前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域を変更する処理をコンピュータに実行させることを特徴とする付記１〜３のいずれか１項に記載の画像処理プログラム。
（付記５）
さらに、前記画像フレームにおける解析対象の領域を用いて画像解析を行う処理をコンピュータに実行させることを特徴とする付記１〜４のいずれか１項に記載の画像処理プログラム。
（付記６）
複数の画像データを記憶する記憶部と、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、前記複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、前記決定した結果を出力する領域決定部と、
を備えることを特徴とする画像処理装置。
（付記７）
前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定する状態判定部をさらに備えることを特徴とする付記６に記載の画像処理装置。
（付記８）
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記状態判定部は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする付記７に記載の画像処理装置。
（付記９）
前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域を変更する領域変更部をさらに備えることを特徴とする付記６〜８のいずれか１項に記載の画像処理装置。
（付記１０）
前記画像フレームにおける解析対象の領域を用いて画像解析を行う画像解析部をさらに備えることを特徴とする付記６〜９のいずれか１項に記載の画像処理装置。
（付記１１）
コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
撮像装置により撮影方向を変えながら撮影された動画像データの中から、前記撮影方向が特定の状態のときに撮影された画像フレームを抽出し、
記憶部に記憶されている複数の画像データと、前記画像フレームとに基づき、前記複数の画像データの中から画像データを特定し、
特定された画像データに対応付けて記憶された解析対象の領域に関する情報に基づいて、前記画像フレームにおける解析対象の領域を決定し、
前記決定した結果を出力する
ことを特徴とする画像処理方法。
（付記１２）
さらに、前記コンピュータは、前記動画像データに含まれる特徴点の移動量に基づいて、前記特定の状態であることを判定することを特徴とする付記１１に記載の画像処理方法。
（付記１３）
前記特定の状態は、前記撮影方向が所定時間長以上変化していない状態であり、前記判定する処理は、前記動画像データに含まれる特徴点の画像フレーム間の移動量に基づいて、前記撮影方向が所定時間長以上変化していない状態を判定することを特徴とする付記１２に記載の画像処理方法。
（付記１４）
さらに、前記コンピュータは、前記画像フレームに含まれる第１の特徴点と前記特定された画像データに含まれ前記第１の特徴点と対応する第２の特徴点とのずれに応じて、前記画像フレームにおける解析対象の領域ことを特徴とする付記１１〜１３のいずれか１項に記載の画像処理方法。
（付記１５）
さらに、前記コンピュータは、前記画像フレームにおける解析対象の領域を用いて画像解析を行うことを特徴とする付記１１〜１４のいずれか１項に記載の画像処理方法。
【符号の説明】
【００９８】
１０１、３０１  画像処理装置
１１１、３１１  記憶部
１１２、３１４  領域決定部
３０２  撮像装置
３１２  画像取得部
３１３  状態判定部
３１５  領域変更部
３１６  画像解析部
３１７  出力部
３２１  プリセット画像
３２２  領域情報
３２３  画像フレーム
３２４  設定ファイル
３２５  解析結果
４０１〜４０３、４１２、４１４  領域
４１１、４１３  矢印
５０１、５０２、６０１、６０２  プリセット画像
５１１、５１２、６１１、６１２、９０１、９０２、９１１、９１２  検知領域
１４０１  ＣＰＵ
１４０２  メモリ
１４０３  入力装置
１４０４  出力装置
１４０５  補助記憶装置
１４０６  媒体駆動装置
１４０７  ネットワーク接続装置
１４０８  バス
１４０９  可搬型記録媒体
【図１】
2020201841.tif 000003
【図２】
2020201841.tif 000004
【図３】
2020201841.tif 000005
【図４】
2020201841.tif 000006
【図５】
2020201841.tif 000007
【図６】
2020201841.tif 000008
【図７】
2020201841.tif 000009
【図８】
2020201841.tif 000010
【図９】
2020201841.tif 000011
【図１０】
2020201841.tif 000012
【図１１】
2020201841.tif 000013
【図１２】
2020201841.tif 000014
【図１３】
2020201841.tif 000015
【図１４】
2020201841.tif 000016