(57)【要約】【課題】  撮像画像中の被写体の身長を好適かつ精度良く測定する。【解決手段】  撮像画像に含まれる等高線指標に基づいて作成された等高線データを記憶する。記憶された等高線データを、撮像画像中に表示させる。【選択図】  図１
2012227831.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を表示させる画像処理装置であって、
撮像画像に含まれる等高線指標に基づいて作成された等高線データを記憶する記憶手段と、
前記記憶手段に記憶された等高線データを、前記撮像画像中に表示させる表示制御手段と
を有することを特徴とする画像処理装置。
【請求項２】
撮像手段によって定点位置から継続的に撮像して得られる複数の画像フレームそれぞれに含まれる同一の被写体の頭頂部を前記等高線指標として、前記等高線データを作成する作成手段を更に有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示制御手段は、前記等高線データを、所定時間、表示させる
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記等高線データの長さは、前記所定時間における測定対象の被写体の移動距離を上回る
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記作成手段は、前記複数の画像フレームそれぞれに含まれる前記同一の被写体の頭頂部と、前記被写体の接地位置とを前記等高線指標として、前記等高線データを作成する
ことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像画像から被写体の存在を検知する検知手段を更に有し、
前記表示制御手段は、前記検知手段による前記被写体の存在の検知に応じて、前記等高線データを表示させる
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
撮像画像を表示させる画像処理装置の制御方法であって、
記憶手段が、撮像画像に含まれる等高線指標に基づいて作成された等高線データを記憶する記憶工程と、
表示制御手段が、前記記憶手段に記憶された等高線データを、前記撮像画像中に表示させる表示制御工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項８】
撮像画像を表示させる画像処理装置の制御をコンピュータに機能させるためのプログラムであって、
前記コンピュータを、
撮像画像に含まれる等高線指標に基づいて作成された等高線データを記憶する記憶手段と、
前記記憶手段に記憶された等高線データを、前記撮像画像中に表示させる表示制御手段と
して機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像し、表示する画像処理装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
人を認識・識別するための要素は多数あるが、見知らぬ人を誰もが客観的に認識・識別できる要素は多くない。その１つが身長である。そのため、強盗犯の手配で「身長１６０ｃｍくらいの黒っぽい服の男」というように多用されている。
【０００３】
しかしながら、身長を目測するには訓練が必要であり、これを補うために金融機関やコンビニエンスストア等の店舗の出入り口脇に身長を測るための簡易的な目盛りが設置されている場合が多く見られる。
【０００４】
出入り口脇の目盛りは費用も安く、抑止効果も期待されるが、宝石店等の特殊な店舗では店の高級イメージを損なうため、どこにでも適用できるものではない。また、人によっているので、強盗等の有事の際に動転することなく確実に測れる保証はない。
【０００５】
これらの課題を解決するものが監視カメラによる録画画像である。前者の課題に対しては、例えば、特許文献１に開示されているように、実際に目盛りを設置する代わりに撮像画像に目盛り画像を重畳して録画することで解決される。また、後者の課題に対しては、例えば、特許文献２に開示されているように、録画画像中の人の身長を測定することで解決される。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平６−１９４７３３号公報
【特許文献２】特開２００７−２０８７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、監視カメラの録画は記憶容量の制約からフレームレートが低い場合が多いため、これらの方法では解決されない場合が残る。目盛り画像を撮像画像に重畳しても、対象者が目盛りの近傍を通過した際の画像が残されていなければ精度の高い測定はできない。録画画像から測定する場合は、人の全身が写っている必要があるが、前の人と重なったり商品陳列棚等の遮蔽物で足元が隠れたりした画像しか残されていない場合が多くある。
【０００８】
本発明は上記の課題を解決するためになされたものであり、撮像画像中の被写体のサイズを精度良く測定することができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するための本発明による画像処理装置は以下の構成を有する。即ち、
撮像画像を表示させる画像処理装置であって、
撮像画像に含まれる等高線指標に基づいて作成された等高線データを記憶する記憶手段と、
前記記憶手段に記憶された等高線データを、前記撮像画像中に表示させる表示制御手段と
を有する。
【発明の効果】
【００１０】
本発明によれば、撮像画像中の被写体のサイズを精度良く測定することができる画像処理装置及びその制御方法、プログラムを提供できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１の画像処理装置の構成を示すブロック図である。
【図２】実施形態１の二次記憶装置の記憶内容を示す図である。
【図３】実施形態１の等高線データの作成を説明するための図である。
【図４】実施形態２の等高線データ作成プログラムへの入力例を示す図である。
【図５】実施形態２の等高線データ作成プログラムが生成する等高線データの例を示す図である。
【図６】実施形態２の等高線データ作成プログラムの動作を示すフローチャートである。
【図７】実施形態３で等高線データが斜めに表示される場合の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１３】
＜実施形態１＞
図１は実施形態１の画像処理装置のブロック図である。ここで、画像処理装置１００は、撮像部１１０で撮像した画像データを画像処理部１２０で処理した上で符号化部１３０で符号化し、不揮発性の二次記憶装置１６０に記録する。
【００１４】
より具体的には、撮像部１１０はレンズやＣＣＤ、ＣＭＯＳ等の光学部品で構成され、画像処理部１２０に画像データ（撮像画像）を出力する。画像処理部１２０は、入力された画像データにＡＤ変換、サイズ変換、ガンマ調整等の画像処理を施す。実施形態１では、さらに二次記憶装置１６０に等高線データ２３０（図２）が記憶されていれば、その等高線データ２３０を指定の座標位置で画像処理後の画像データ（撮像画像中）に重畳する。画像処理後の画像データ／重畳後の画像データは、符号化部１３０でＪＰＥＧ圧縮やＭＰＥＧ圧縮が施され、二次記憶装置１６０上に割り当てられた領域に録画データ２４０（図２）として記憶される。
【００１５】
これらの各部の動作は、二次記憶装置１６０上のＯＳ２００（図２）や画像処理装置１００の制御プログラム２１０（図２）がＣＰＵ１４０上で実行されることによってなされる。ＣＰＵ１４０は、二次記憶装置１６０からプログラムやデータを読み出して揮発性の一次記憶装置１５０にロードし、実行する。また、その実行結果を二次記憶装置１６０に書き戻す。
【００１６】
図２は実施形態１の二次記憶装置１６０に記憶されるプログラムやデータを模式的に表した配置図である。二次記憶装置１６０には既に説明したもの以外に、本発明に特有の等高線データ作成プログラム２２０と、等高線データ作成プログラム２２０によって作成され、画像処理部１２０によって画像データに重畳される等高線データ２３０が記憶される。等高線データ作成プログラム２２０の動作については後述する。
【００１７】
さらに、画像処理装置１００は表示部１７０と操作入力部１８０を有する。表示部１７０は画像処理装置１００の状態の表示や、二次記憶装置１６０上の録画データ２４０の再生表示に用いられる。操作入力部１８０は操作ボタンや表示部１７０上のタッチスクリーン等の入力インタフェースで構成され、画像処理装置１００へのユーザの操作入力に用いられる。等高線データ作成プログラム２２０が生成する入力画面への入力も操作入力部１８０からなされる。
【００１８】
以上、撮像部１１０から操作入力部１８０は、内部バス１９０で相互に接続され、ＣＰＵ１４０を介して各種制御やデータのやり取りがなされる。
【００１９】
尚、ここでは表示部１７０や操作入力部１８０を画像処理装置１００に一体のものとして説明しているが、これに限定されない。例えば、出力インタフェースを設け、外部バスやネットワークを介して表示部１７０や操作入力部１８０を外部の操作端末に分離してもよい。これにより、撮像系と操作系を離れた場所に設置できる。また、録画データ２４０も外部の不揮発性記憶装置に記憶することで、撮像系の二次記憶装置１６０の容量を削減する構成にすることもできる。
【００２０】
次に、等高線データ作成プログラム２２０の動作について、図３を用いて説明する。
【００２１】
まず、画像データに重畳させる等高線データを作成するために、等高線指標の両端位置に実際の高さを示す目盛り等の等高線指標を一時的に設置し、予め画像処理装置１００で撮像し、録画データ２４０を作成する。例えば、図３（Ａ）に示すように、出入口の扉３００の両側に、等高線指標とする目盛り板３１０ａ及び３１０ｂを設置したものを撮像した録画データ２４０を作成する（図３（Ｆ）のステップＳ３００）。
【００２２】
等高線データ作成プログラム２２０は、作成した録画データ２４０から高さ毎の等高線の両端座標を算出する（図３（Ｆ）のステップＳ３１０）。簡便には、録画データ２４０を表示部１７０に表示し、ユーザに両端座標を操作入力部１８０から指示させる。例えば、目盛り板３１０ａ及び３１０ｂに画像認識可能な記号等のマーカを入れておき、画像認識で読み取ってもよい。高さ毎の等高線の両端座標値が算出された状態を、図３（Ｂ）に模式的に示す。ここで、３２０ａが１８０ｃｍの左端、３３０ａが右端である。同様に、３２０ｂが１６０ｃｍの左端、３３０ｂが右端である。３２０ｃが１４０ｃｍの左端、３３０ｃが右端である。
【００２３】
次に、等高線データ作成プログラム２２０は、高さ毎の両端座標を結んだ線分、即ち、等高線の画像データである等高線データ２３０を作成する（図３（Ｆ）のステップＳ３２０）。具体的には、画像処理部１２０で、撮像した画像データに重畳可能な、例えば、等高線を描画したビットマップデータを作成する。線分の一端には高さを表す数値文字画像も描画する。図３（Ｃ）に等高線データ２３０の例を示す。ここで、３４０ａが１８０ｃｍの等高線データ、３５０ａがその高さを表す文字である。同様に、３４０ｂが１６０ｃｍの等高線、３５０ｂがその高さを表す文字である。３４０ｃが１４０ｃｍの等高線、３５０ｃがその高さを表す文字である。
【００２４】
そして、等高線データ作成プログラム２２０は、作成した等高線データ２３０と撮像された画像データを重畳して、録画データ２４０として記憶する。具体的には、画像処理部１２０で、作成した等高線データ２３０を画像データ中の予め設定された位置に重畳する。その具体例を図３（Ｄ）に示す。図３（Ｄ）に示されるように、等高線データ２３０は、画像データ中の予め設定された位置として、被写体が存在する建物の出入り口の近傍（例えば、両側）に重畳される。
【００２５】
以上で、実施形態１における等高線データ作成プログラム２２０の動作の説明を終える。
【００２６】
尚、作成する等高線データ２３０が表示画面に水平なものに限定されないことは明らかであろう。例えば、図３（Ｅ）に示すように扉が開き戸である場合、開状態で等高線指標を設置した状態での録画データ２４０から等高線データ作成プログラム２２０を動作させることで画面奥行き方向に斜めの等高線データを作成することもできる。
【００２７】
また、等高線の両端だけでなく、１つ以上の中間点にも等高線指標を設置した状態での録画データ２４０から折れ線状の等高線データを作成するように拡張することも容易である。これにより通路の曲がり角等にも適用可能となる。
【００２８】
また、等高線の両端だけでなく、線が描かれた帯状の等高線指標を設置可能であれば、その録画データ上で線をなぞることで等高線データを作成可能である。この場合、等高線データは曲線も可能になる。また、この場合、線をなぞる代わりにクロマキー合成等の公知の手法によって等高線データを作成してもよい。
【００２９】
また、撮像部１１０の設置高さが既知である場合は、特許文献２に開示の方法で等高線の両端の高さを測定することで、目盛り等の等高線指標を一時的に設置した状態での録画データ２４０を予め作成しておく手順を省略することも可能である。
【００３０】
以上の構成により、身長を測定するための等高線データが重畳された画像データが表示される。特に、図３（Ｅ）に示すような等高線を表示させるように表示制御することで、フレームレートが低い場合であっても、精度よく被写体のサイズを測定できる。すなわち、図３（Ｅ）の等高線の一端に対応する位置３６０と、等高線の他端に対応する位置３７０とで囲まれるエリア内に被写体の下端（足）が存在する撮像画像に基づいて、被写体のサイズを測定できる。また、位置３６０と位置３７０とを結ぶ線分を延長して得られるエリア内に、被写体の下端が存在する画像を用いて、被写体のサイズ（身長）を測定できる。
【００３１】
また、実施形態１の構成では、一旦、作成した等高線データを用いて、同時に複数の人のサイズ（身長）を測定できる。また、撮像した画像データ内に、建物の複数の出入り口があってそのすべてでサイズ測定を行う場合も最初に等高線データの作成を繰り返すだけで処理負荷が変わらない。出入り口から人が左右に分かれて進む場合も同様に左右両方の等高線データを最初に作成するだけでよい。
【００３２】
以上説明したように、実施形態１によれば、録画のフレームレートによらず、対象者のサイズを容易にかつ精度良く測定することが可能になる。
【００３３】
尚、実施形態１では、被写体を人としているが、用途や目的に応じて、例えば、動物やそれ以外の物体等の様々な被写体の体長／長さを測定できることは言うまでもない。
【００３４】
＜実施形態２＞
実施形態２は、実施形態１の等高線データ作成プログラム２２０を置き換えるものであり、その他の部分は実施形態１と同一である。よって、以下では、実施形態２の等高線データ作成プログラム２２０に限って図４乃至６を用いてその動作を説明する。
【００３５】
図４は実施形態２の等高線データ作成プログラム２２０への入力の例を示す説明図である。図５は実施形態２の等高線データ作成プログラム２２０が生成する等高線画像データの例を示す図である。図６は実施形態２の等高線データ作成プログラム２２０の動作を示すフローチャートである。
【００３６】
実施形態２の等高線データ作成プログラム２２０は、等高線指標を撮像対象物の付近に一時的に設置した状態での録画データ２４０ではなく、身長が既知の人を、等高線を表示させる場所を通行させた録画データ２４０から等高線データ２３０を作成する。換言すれば、定点位置から継続的に撮像して得られる画像データに出現する被写体から等高線データ２３０を作成する。例えば、図４では、身長１７０ｃｍの人４１０ａ〜４１０ｃ、身長１５０ｃｍの人４２０ａ〜４２０ｄが撮像された画像データを示している。
【００３７】
まず、等高線データ作成プログラム２２０は、画像データ中の人の身長を測定対象の領域である測定領域４００を設定する（ステップＳ６００）。この測定領域は、撮像した画像データ全体でも一部でも構わないが、必ず人が通過する出入り口や通路部分が好適である。表示部１７０上に撮像した画像データを表示し、操作入力部１８０から測定領域を指定するための領域指定データを入力するようにユーザに促す。
【００３８】
次に、等高線データ作成プログラム２２０は、身長が既知の人が測定領域４００を通過している（測定領域内を移動している）全録画画像データ（身長既知画像データ）を検索する（ステップＳ６１０）。ユーザの目視による検索でもよいが、画像処理部１２０に画像認識の機能を持たせ、人が通過している画像データをまず抽出し、そこから身長が既知の人をユーザに検索させればユーザの負担が低減される。
【００３９】
ここで、等高線データ作成プログラム２２０は、測定領域４００内に身長が既知の人が撮像されている画像フレームが複数あるか否かを判定する。複数ないと判定した場合は、ステップＳ６００に戻り、測定領域４００を広げて再設定するようにユーザに促す（ステップＳ６２０）。
【００４０】
尚、１画像フレームしかない場合は、画像処理装置１００の撮像フレームレートで測定領域４００内に身長を測定しようとする人が録画されない可能性がある。逆に２画像フレーム以上あれば、最低１画像フレームは録画されることになる。描画する等高線データの長さも、撮像されている２画像フレーム間の被写体の移動距離分が最低なければ足りない。つまり、等高線データを表示する表示時間は、撮像もしくは表示のフレームレートにおける１画像フレームの表示時間を上回るように構成されている。
【００４１】
続いて、等高線データ作成プログラム２２０は、身長が既知の人の頭頂部の座標を指定する（ステップＳ６３０）。これは、ユーザの目視によって指定させてもよいが、画像処理部１２０に画像認識の機能を持たせ、検出した人の上端部の座標を抽出するようにすればユーザの負担が低減される。この場合は、録画データだけでなく、リアルタイムの撮像した画像データに対しても適用可能となる。指定した頭頂部の座標にはそれぞれ既知の身長情報を付与する。
【００４２】
図４は身長が既知の人の頭頂部の座標の指定の様子を模式的に表した図である。ここでは説明のために測定領域４００に身長が既知の人が撮像されている画像フレームをすべて重畳している。白のマーク（４３０ａ〜４３０ｃ）が身長１７０ｃｍの人の頭頂部の指定位置であり、黒のマーク（４４０ａ〜４４０ｄ）が身長１５０ｃｍの人の頭頂部の指定位置である。
【００４３】
等高線データ作成プログラム２２０は、これで得られた身長別の指定位置（等高線指標）を結んで直線データを作成（直線近似）する（ステップＳ６４０）。歩行による上下動の影響等を排除するために、例えば、最小二乗法等の公知の方法で身長別の直線を作成する。通路が途中で曲がっている場合や、広角レンズの歪曲収差で画像上の軌跡が曲がっている場合等は曲線で各点を結んでもよい。
【００４４】
次に、等高線データ作成プログラム２２０は、等高線の両端を測定領域の境界（端部）まで延長（端部補間）し、等高線データを完成する（ステップＳ６５０）。身長が異なる人の録画データ２４０でこれを繰り返すことにより、より詳細な等高線データ２３０を作成できる。
【００４５】
さらに、等高線データ作成プログラム２２０は、等高線データ２３０の間隔が広い場合は中間の身長を補完（内挿・外挿補完）してもよい（ステップＳ６６０）。図４の例であれば、身長１７０ｃｍと１５０ｃｍの等高線データから等距離の位置に身長１６０ｃｍの等高線データを作成する。同様に、外側、例えば、身長１８０ｃｍの等高線データを作成してもよい。また、これらを組み合わせることによって、端数の既知の身長の人から作成した等高線データを切りのよい身長の等高線に作成し直すようにしてもよい。例えば、身長１６８ｃｍの人から作成した等高線データを削除して、身長１７０ｃｍの等高線データを残すようにする。作成された等高線データの例を図５に示す。図５では、身長１７０ｃｍの等高線データ５００と身長１５０ｃｍの等高線データ５１０が作成されている例を示している。
【００４６】
等高線データ作成プログラム２２０は、生成した等高線データから、画像処理部１２０で撮像した画像データに重畳可能な等高線画像データを生成する（ステップＳ６７０）。例えば、等高線データを描画した画像データ（ビットマップデータ）を生成する。等高線データ作成プログラム２２０は、生成した画像データを等高線データ２３０として二次記憶装置１６０に記憶して、処理を終了する（ステップＳ６８０）。
【００４７】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、実際の人の移動軌跡から等高線データ２３０を作成できるので、より精度の高い身長測定が行える。
【００４８】
＜実施形態３＞
実施形態３は、実施形態２で作成する等高線データにさらなる付加情報を追加する構成を示すものである。
【００４９】
実際の人の移動軌跡に基づいて生成された等高線データが表示画面上で斜めになる場合がある。図７（Ａ）にその例を示す。この場合、当該人物の身長は７００ａが該当して１８０ｃｍとするか、７００ｂが該当して１６０ｃｍとするか、判断に迷うことがある。実施形態３で、このような場合において、等高線データ上に等高線の基準となる位置を付加する。
【００５０】
以下、実施形態２との相違部分のみに絞って、図６を適宜読み替えながら説明する。
【００５１】
実施形態３の等高線データ作成プログラム２２０は、頭頂部７１０ａ及び７１０ｂの座標指定（ステップＳ６３０）の後に、足元の床面／地面との接地位置７１０ｃの座標も合わせて指定する。ステップＳ６７０の等高線データの生成の際に、実施形態２では頭頂部の指定位置を示す情報を残していないが、実施形態３では、指定位置を等高線データ上に乗るように補正した上で○や△等のマークで画像データを作成する。同時に、足元の位置も同じマークで作成する。足元の指定位置を結んで０ｃｍの基準線７２０として生成するようにしてもよい。
【００５２】
以上の構成により、図７（Ｂ）に示すように、人物の足元の位置によってどの等高線データで測定すべきかを判断する指標が追加されるので判断が容易になり、この場合は身長１８０ｃｍと測定できる。
【００５３】
以上説明したように、実施形態３によれば、実施形態２の構成に加えて、複数の等高線データの候補がある場合に、その候補から選択すべき等高線データを好適に選択して、精度良く測定を行うことができる。
【００５４】
＜実施形態４＞
上述の実施形態１乃至３は、等高線データ２３０を撮像した画像データに重畳して録画データ２４０を生成するものとしているが、これに限定されない。例えば、実施形態４では、撮像した画像データに重畳するのではなく、未重畳の録画データ２４０に表示の際に等高線データ２３０を表示画面上の予め設定された位置に重畳するようにしても良い。
【００５５】
実施形態４の構成も実施形態１とほぼ同様であるので、適宜図面を読み替えながら相違部分のみを説明する。実施形態４の画像処理装置のブロック図も図１とほぼ同じであるが、画像処理部１２０に等高線データ２３０の重畳機能を有さない。これにより、録画データ２４０には等高線データ２３０が重畳されていない、撮像した画像データが録画される。また、図２の制御プログラム２１０が実施形態４に固有のものとなり、ユーザからの指示を受けて録画データ２４０を表示部１７０で再生する際に、等高線データ２３０が二次記憶装置１６０に記憶されていれば録画データ２４０に重畳合成して再生表示する。
【００５６】
以上の構成により、等高線データ２３０が重畳されていない録画データ２４０の再生時に等高線データ２３０が重畳され、身長の測定が行える。この構成を採用することで、録画データ２４０を画像処理装置１００の外部から供給することが可能になる。その場合は、撮像部１１０、画像処理部１２０、符号化部１３０はなくてもよい。
【００５７】
さらに、等高線データ２３０の重畳を常時ではなく、必要に応じて重畳するように変更してもよい。例えば、制御プログラム２１０で操作入力部１８０からのユーザの重畳指示の有無を見て重畳の有無（あるいはその重畳時間（所定時間））を制御する。もしくは、画像認識を用いて測定領域４００内に人（被写体）の存在を検知した時だけ重畳する。
【００５８】
特に、等高線データ２３０を複数作成して複数個所に重畳する場合は、画像認識との組み合わせによって人が存在する測定領域４００の近傍（例えば、両側）にだけ重畳させることができる。測定領域４００の外側で、測定領域４００に向かってくる人の移動方向を解析して表示する等高線データ２３０を選択するようにしてもよい。
【００５９】
以上説明したように、実施形態４によれば、用途や目的に応じて、等高線データを処理対象の画像データの表示の際に重畳することで、実施形態１乃至３と同等の効果を、簡便な装置構成でも実現することができる。
【００６０】
＜産業上の利用可能性＞
本願発明は、金融機関やコンビニエンスストア等の店舗の監視カメラに好適である。
【００６１】
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012227831.tif 000003
【図２】
2012227831.tif 000004
【図３】
2012227831.tif 000005
【図４】
2012227831.tif 000006
【図５】
2012227831.tif 000007
【図６】
2012227831.tif 000008
【図７】
2012227831.tif 000009