(57)【要約】【課題】カメラからの画像の歪みを補正する処理を自動的に行なうことを可能とすることで、カメラに関する調整作業の効率化を図ることができる画像処理装置を提供することにある。【解決手段】カメラ２０により動体を撮影して得られる画像を処理するときに、画像上の移動軌跡線を算出し、この移動軌跡線に基づいてカメラのレンズ歪み補正パラメータを調整情報として算出する調整量算出部１４を有する画像処理装置１０である。【選択図】図１
2011055349.tif 000002
【特許請求の範囲】
【請求項１】
カメラにより撮影された画像情報を入力する画像入力手段と、
前記画像情報から動体領域を抽出する手段と、
前記動体領域から、動体の移動軌跡に応じた画像上の移動軌跡線情報を算出する軌跡算出手段と、
前記移動軌跡線情報に基づいて、前記カメラのレンズ歪みに応じた前記画像情報の歪みを補正するための調整情報を算出する調整手段と
を具備したことを特徴とする画像処理装置。
【請求項２】
前記調整手段は、
前記カメラのレンズ歪み係数、前記移動軌跡線情報に含まれる画像座標及び理想画像座標のそれぞれをパラメータとするモデルを使用して、前記レンズ歪み係数の最適値を決定し、
前記最適値に基づいて前記調整情報を算出するように構成されていることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記モデルとして、前記レンズ歪み係数以外に、レンズ中心の画像座標、前記移動軌跡線情報に含まれる画像座標として補正前のレンズ歪みに応じた画像座標、及び前記理想画像座標として補正後のレンズ歪みの影響を受けない画像座標のそれぞれをパラメータとして構築されるモデルを使用し、
前記調整手段は、
前記モデルから前記理想画像座標を算出する結果に基づいて、前記レンズ歪み係数の最適値を決定するように構成されていることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記軌跡算出手段は、前記動体の直線的移動に応じた移動軌跡線情報を算出することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記調整手段は、
前記モデルを使用して算出した前記理想画像座標に対するハフ変換を実行し、当該ハフ変換の結果に基づいて前記レンズ歪み係数の最適値を決定する手段を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記軌跡算出手段は、
前記動体領域から動体として人間の特徴を抽出し、当該人間の直線的移動に応じた移動軌跡線情報を算出するように構成されていることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記軌跡算出手段は、
前記動体領域から各動体を画像内で追跡し、追跡した各動体の代表部位の移動軌跡線に応じた移動軌跡線情報を算出することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記軌跡算出手段により算出された前記移動軌跡線情報において、移動軌跡線の傾きが一様に変化していない場合に、前記移動軌跡線情報を無効にする手段を有することを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像処理装置を使用し、
監視対象範囲を撮影する前記カメラからの画像情報に基づいて、前記監視対象範囲に存在する人数を計測する手段と、
前記画像処理装置から出力される前記調整情報を使用して、前記画像情報に対するカメラの歪み補正処理を実行する手段と
を具備したことを特徴とする監視システム。
【請求項１０】
ボード上に実装されたマイクロプロセッサ及びメモリを含む電子部品により構成されていることを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。
【請求項１１】
カメラにより撮影された画像情報を処理する画像処理装置に適用する画像調整方法であって、
前記画像情報を入力する処理と、
前記画像情報から動体領域を抽出する処理と、
前記動体領域から、動体の移動軌跡に応じた画像上の移動軌跡線情報を算出する処理と、
前記移動軌跡線情報に基づいて、前記カメラのレンズ歪みに応じた前記画像情報の歪みを補正するための調整情報を算出する処理と
を実行することを特徴とする画像調整方法。
【請求項１２】
前記画像情報を入力する処理と、
前記画像情報から動体領域を抽出する処理と、
前記動体領域から、動体の移動軌跡に応じた移動軌跡線情報を算出する処理と、
前記移動軌跡線情報に基づいて、前記カメラのレンズ歪みに応じた前記画像情報の歪みを補正するための調整情報を算出する処理と
を有する手順をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより撮影された画像を処理する画像処理装置に関し、特にカメラの歪み補正を行なうための画像調整技術に関する。
【背景技術】
【０００２】
近年、特に監視用カメラの高性能化及び低価格化の実現により、カメラにより撮影された画像（映像）を利用した監視システムの開発が推進されている。監視システムは、カメラにより撮影された画像を処理する画像処理装置を含み、この画像処理結果を利用して監視対象範囲の事象を検知するための情報（画像情報）を出力する。
【０００３】
このような監視システムでは、カメラにより比較的広範囲な空間（監視対象範囲）を監視することが可能である。しかしながら、監視システムでは、監視精度がカメラにより撮影された画像の品質に依存するため、カメラに対する事前の調整作業が重要である。
【０００４】
監視システムでは、カメラの設置台数がシステムのコストに直結するため、カメラの数をできる限り削減することが望ましい。このため、１台のカメラに対応する監視範囲を広くするために、カメラのレンズとして広角レンズが採用される場合が多い。但し、一般的に、広角レンズを使用した画像（広角画像）は、樽状に画像が歪み、画像の周辺部ほどその歪みが顕著になる。
【０００５】
このような画像の歪みは、監視システムの監視性能を低下させる要因となる。そこで、この画像の歪みを除去するために、カメラ毎にカメラ校正を行なうための調整作業（初期調整作業）が必要となる。また、監視システムの設置後には、監視環境下における監視対象領域を指定するための現地調整作業も必要である。これらの調整作業はカメラ毎に必要となるため、多数のカメラを設置する際には非常に手間がかかる。従って、調整工数を削減する有効な方法が要望されている。
【０００６】
広角画像の歪みを補正する方法を利用することで、広角レンズを使用したカメラに関する調整作業を効率化することが可能である。広角画像の歪みを補正する方法には、現実の対象高さが既知の条件で、対象高さと画像上の対象とを比較することで広角画像の歪みを補正する方法が提案されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−５２５８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の広角画像の歪みを補正する方法である先行技術は、調整用の対象物が必要であり、例えば監視対象領域で歩行している人間を監視するような監視システムに適用した場合に、当該補正を自動的に行なう調整機能を実現することは困難である。このため、先行技術の方法を単に適用しても、広角画像を利用する監視システムのカメラに関する調整作業の効率化を図ることは容易でない。
【０００９】
そこで、本発明の目的は、カメラからの画像の歪みを補正する処理を自動的に行なうことを可能とすることで、カメラに関する調整作業の効率化を図ることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の観点は、カメラにより動体を撮影して得られる画像を処理するときに、画像上の移動軌跡線を算出し、この移動軌跡線に基づいてカメラのレンズ歪み補正パラメータを調整情報として算出する機能を有する画像処理装置である。
【００１１】
本発明の観点に従った画像処理装置は、カメラにより撮影された画像情報を入力する画像入力手段と、前記画像情報から動体領域を抽出する手段と、前記動体領域から、動体の移動軌跡に応じた移動軌跡線情報を算出する軌跡算出手段と、前記移動軌跡線情報に基づいて、前記カメラのレンズ歪みに応じた前記画像情報の歪みを補正するための調整情報を算出する調整手段とを備えた構成である。
【発明の効果】
【００１２】
本発明によれば、カメラからの画像の歪みを補正する処理を自動的に行なうことを可能とすることで、カメラに関する調整作業の効率化を図ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に関する画像処理装置の要部を示すブロック図。
【図２】本実施形態に関する監視システムの構成を説明するためのブロック図。
【図３】本実施形態に関する画像調整処理を説明するためのフローチャート。
【図４】本実施形態に関する画像調整処理の効果を説明するための図。
【発明を実施するための最良の形態】
【００１４】
以下図面を参照して、本発明の実施形態を説明する。
【００１５】
［画像処理装置の構成］
図１は本実施形態に関する画像処理装置の構成を説明するためのブロック図である。図２は、本実施形態に関する監視システムの構成を説明するためのブロック図である。
【００１６】
本実施形態の画像処理装置１０は、後述する監視システム１に適用されて、監視カメラ（以下単にカメラと表記）２０から伝送される画像（映像信号）を処理する。図１に示すように、画像処理装置１０は、例えばマイクロプロセッサ及びメモリを含む電子部品が実装された画像処理専用基板（ボード）から構成されており、後述するコンピュータ１００に組み込まれている。画像処理装置１０は、主としてコンピュータのハードウェアとソフトウェアから構成されている。
【００１７】
画像処理装置１０は、画像入力部１１と、人間抽出部１２と、特徴量抽出部１３と、調整量算出部１４と、初期調整部１５と、調整結果出力部１６とを有する。画像入力部１１は、図２に示すように、監視対象領域２００，２１０を俯瞰する画角で設置されたカメラ２０により撮影された画像（映像）を入力する。画像入力部１１は、入力した画像をディジタル画像データ（以下、画像情報と表記する）として演算可能な形式に変換する。
【００１８】
人間抽出部１２は、画像入力部１１からの画像情報を処理することにより、画像上における動体の領域を抽出する。本実施形態は、後述するように、適用する監視システム１として、監視領域内の人数を計測するシステムを想定するため、動体として人間を取り扱う画像処理装置１０である。なお、動体としては、監視システム１の適用に応じて、動物や車両なども含まれる。
【００１９】
特徴量抽出部１３は、抽出された画像上の人間領域から特徴量を抽出し、後述するように、当該特徴量に基づいて移動軌跡線情報を算出する。調整量算出部１４は、特徴量抽出部１３により算出された移動軌跡線情報に基づいて、初期調整に必要な調整量情報を算出する。ここで、調整量情報とは、特に広角レンズを用いる際に顕著となるカメラ２０のレンズ歪み（収差歪み）を補正するためのパラメータ情報である。
【００２０】
初期調整部１５は、調整量算出部１４により算出された調整量情報を使用して、画像情報に対する初期調整を実行する。即ち、初期調整部１５は、カメラ２０のレンズ歪みに応じた画像の歪みを除去するカメラ校正処理（画像調整処理）を実行する。調整結果出力部１６は、初期調整部１５により初期調整された画像情報を、監視システム１に含まれる監視処理部３０に出力する。
【００２１】
監視処理部３０は、監視システム１の主要処理部であり、カメラ２０により撮影された画像情報（初期調整後）から監視領域内に存在する人数や分布を計測する処理などを実行する。ここで、監視システム１は、図２に示すように、画像処理１０及び監視処理部３０を含むコンピュータ１００と、空調制御、照明制御、電源制御などを行なうためのコンピュータ１１０と、監視領域（監視対象空間）２００，２１０毎に設置されている複数のカメラ２０と、ネットワーク１２０とから構成されている。
【００２２】
監視システム１のコンピュータ１００は、各カメラ２０により撮影された画像を入力して処理することで、監視領域内２００，２１０に存在する人間の人数や分布を監視する。監視システム１は、例えば、ビルや工場等において、監視対象領域に存在する人間の人数や分布を監視することにより、コンピュータ１１０と連携して空調や照明、電源を制御し、ビルや工場等の環境を最適に維持する。
【００２３】
［画像調整処理］
次に、図３及び図４を参照して、本実施形態の画像調整処理として初期調整処理を説明する。
【００２４】
まず、一般的に、監視システム１で使用されるカメラ２０の装着レンズには、監視対象領域を広範囲にカバーできる広角レンズまたは超広角レンズ（魚眼レンズも含む）が用いられている。このようなカメラ２０により撮影された画像は、例えば、図４（Ａ）に示すように、レンズの歪み（収差歪み）により樽状に歪んだ画像となる場合がある。歪みのある画像のままでは、実空間上の３次元情報からカメラ画像上の２次元情報へのモデリングが扱いにくく、画像上における人間の抽出性能や人数計測性能が低下する可能性がある。
【００２５】
ここで、図４（Ａ）は、広角レンズを用いたカメラにより撮影された白黒の校正用矩形パターンの画像である。図４（Ａ）に示すように、特に画像の周辺部では、歪みの割合が大きくなる。本実施形態の画像処理装置１０により、図４（Ｂ）に示すように、歪みを補正した画像が取得できるように、カメラ毎に初期調整処理を行なう。
【００２６】
以下、図３のフローチャートを参照して、初期調整処理、具体的にはカメラ２０により撮影された画像のレンズ歪み（収差歪み）を補正するための調整処理方法を説明する。
【００２７】
まず、初期調整モード時に、画像処理装置１０は、カメラ２０により撮影された画像を画像入力部１１で入力する（ステップＳ１）。ここで、カメラ２０は、監視対象領域２００内で、人間（即ち、動体）が歩行（移動）するシーンを撮影することを想定する。このとき、人間は、できる限り直線状に歩行するものとする。
【００２８】
人間抽出部１２は、画像入力部１１からの画像情報に対する背景差分処理等の画像処理を実行することにより、画像上で動体（人間）を追跡し、動体領域（人間領域）を抽出する（ステップＳ２）。
【００２９】
特徴量抽出部１３は、抽出された画像上の動体領域から特徴量を抽出する。即ち、特徴量抽出部１３は、動体領域から人間の頭部あるいは胴体を抽出し、その領域の中心点(以下、人間抽出点と表記する場合がある)を時系列に結合した軌跡線（移動軌跡線情報）として算出する（ステップＳ３）。ここで、頭部を抽出する具体的方法の一例としては、画像情報に対してソーベル（Sobel）フィルタ等の画像処理により輪郭を抽出し、抽出された輪郭画像を適切な閾値により２値画像化する。さらに、得られた輪郭部分の画素に関して、ハフ変換（Hough transformation）を実行してハフ空間上に投票を行なう。このハフ変換により、画像中の円形部分を抽出し、人間の頭部として抽出する。
【００３０】
ところで、得られた移動軌跡線情報には、人間の歩行誤差や画像処理による抽出誤差が含まれるため、そのままこれを直線データとして用いると、十分な精度でレンズ歪み補正を実行できない可能性がある。そこで、特徴量抽出部１３は、次の２つの処理を実行することで誤差を排除して、直線入力データ（基準軌跡線情報）を算出する（ステップＳ４）。
【００３１】
まず、特徴量抽出部１３は、明らかに人間の歩行が直線でないときのデータを排除するため、過去Ｎ枚の画像上の人間抽出点から平均ベクトルを算出する。さらに、特徴量抽出部１３は、過去Ｍ枚（但し、Ｎ＞Ｍ）の画像と現在の画像上の人間抽出点から得られるベクトルと前記平均ベクトルとを比較し、設定値以上の角度がある場合には、急激な歩行方向の変化があり直線歩行ではないと判断することで追跡を終了する。
【００３２】
次に、特徴量抽出部１３は、それぞれの移動軌跡線に対して２次の近似曲線を当てはめることにより、人間抽出点の推定誤差を低減し、これを「直線入力データ」として以降の処理に用いる。直線入力データは、画像上において周辺部、即ち歪みの影響が比較的強い領域でのデータが得られるほど、以降で述べる歪み補正の精度が高くなる。
【００３３】
次に、調整量算出部１４は、初期調整に必要な調整量情報として、カメラ２０のレンズ歪み（収差歪み）を補正するためのパラメータ情報（レンズ歪み係数ｋ１，ｋ２）を算出する（ステップＳ５）。パラメータ情報は、特に広角レンズを用いる際に顕著となるレンズ歪み（収差歪み）である。以下、数式（１）〜（６）を参照して、調整量情報を算出するための方法を説明する。
【００３４】
まず、レンズの歪みを同定し、実空間上の３次元情報からカメラ画像上の２次元情報への射影を、行列で表現できるピンホールカメラモデルを想定する。即ち、レンズの歪みの発生を次のようにモデル化する。ここで、カメラのレンズ中心（主点）を下記数式（１）により定義する。また、補正前にレンズ歪みの影響を受けて観測された画像座標を、下記数式（２）により定義する。さらに、補正後にレンズ歪みの影響を受けない理想の画像座標（理想画像座標）を、下記数式（３）により定義する。
【数１】
2011055349.tif 000003
【００３５】
さらに、レンズ歪み補正に関するモデル式（４）〜（６）は、以下の通りである。
【数２】
2011055349.tif 000004
【００３６】
ここで、レンズ歪み係数ｋ１，ｋ２は、初期調整に必要な調整量情報として、カメラ２０のレンズ歪み（収差歪み）を補正するためのパラメータ情報である。また、αは、カメラ２０の撮像素子の縦横比に関するパラメータであり、一般的には「α＝１」して近似できる。従って、実際上のレンズ歪み補正パラメータ情報は、レンズ歪み係数ｋ１，ｋ２である。また、ｒは、カメラのレンズ中心（主点）からの距離を示す。
【００３７】
特徴量抽出部１３により算出された直線入力データの画像上での各画素について、前記のモデル式（４）〜（６）にレンズ歪み係数ｋ１，ｋ２などのパラメータを当てはめることにより、前記式（３）に示す理想画像座標を算出する。この理想画像座標に対して、ハフ変換を実行してハフ空間上に投票を行う。仮に補正が正しければ、各直線入力データに対応するハフ空間上の点の値は鋭いピークとなる。このピークの鋭さを評価することで、最適なレンズ歪み係数ｋ１，ｋ２を決定することができ、レンズの歪みを補正することが可能となる。
【００３８】
初期調整部１５は、調整量算出部１４により算出された調整量情報（最適なレンズの歪みパラメータ）を使用して、画像情報に対する初期調整を実行する。即ち、初期調整部１５は、カメラ２０のレンズ歪みに応じた画像の歪みを補正するカメラ校正処理（画像調整処理）を実行する。調整結果出力部１６は、初期調整部１５により初期調整された画像情報を、監視システム１に含まれる監視処理部３０に出力する。
【００３９】
以上のように本実施形態の画像処理装置１０であれば、特に広角レンズを使用するカメラ２０からの撮影画像に基づいて、監視対象領域に存在する人間などの動体を抽出し、人人数や人の分布を監視する監視システム１において、レンズの歪み（収差歪み）に応じた画像の歪みを補正するための初期調整を自動化する機能を実現することができる。これにより、特に多数のカメラを設置して広範囲の監視領域を監視するシステムに適用した場合に、各カメラ毎に必要な初期調整の作業を効率化することが可能となる。換言すれば、監視対象領域に存在する人間を撮影し、この撮影画像を画像処理により解析することで、特別な調整用の装置を必要とせずに、カメラ２０の設置後に現地で容易に初期調整を行なうことが可能となり、調整工数を削減することができる。
【００４０】
例えばビルや工場などにおいて、空調・照明・電源等の設備システムとの連携による省エネシステムを実現するような場合に、監視領域に存在する人間の有無、分布、人数等を把握するための監視システムに、本実施形態の画像処理装置１０を適用すれば有効である。
【００４１】
ここで、本実施形態では、動体として人間を監視対象とした場合について説明している。この場合、人間が直線的に歩行することを想定し、特徴抽出部１３により人間の頭部あるいは胴体の中心を移動軌跡線として算出する。これを、画像上に存在する直線入力データとして想定する。即ち、実空間上を人間がほぼ直線的に歩行しているため、画像処理により計測された移動軌跡線は、画像上においても直線を示すと想定できるためである。
【００４２】
しかし、実際上では、レンズの収差歪みの影響により、実際には直線とならず、歪んだ移動軌跡線となる。そこで、この移動軌跡線を直線にすることで、前記モデル式（１）〜（６）から最適なレンズ歪み補正パラメータを算出する。即ち、直線的歩行の移動軌跡線をレンズ歪み補正用の基準移動軌跡線として用いて、明らかに直線的歩行でない場合の移動軌跡線を基準移動軌跡線から除外する処理を行なう。
【００４３】
なお、本実施形態の画像処理装置１０は、人間以外の動体、例えば動物や車両を監視対象とする場合にも、適用可能である。但し、画像処理により算出する移動軌跡線情報は、動体の特徴に応じて異なる。
【００４４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４５】
１…監視システム、１０…画像処理装置、１１…画像入力部、１２…人間抽出部、
１３…特徴量抽出部、１４…調整量算出部、１５…初期調整部、
１６…調整結果出力部、２０…監視カメラ、３０…監視処理部、
１００，１１０…コンピュータ。
【図１】
2011055349.tif 000005
【図２】
2011055349.tif 000006
【図３】
2011055349.tif 000007
【図４】
2011055349.tif 000008