(57)【要約】【課題】監視のために必要な監視目標物の情報を失うことなく、画像のファイルサイズを極力削減できるようにする。【解決手段】撮影するフレーム内の複数の点において、被写体と撮影レンズとの距離を測定する距離測定手段と、測定された前記被写体と前記撮影レンズとの距離に応じて、該距離が近いほど平滑化フィルタ処理を行う強度を強く設定する設定手段と、撮影画像の所定のエリアに対して設定された前記強度で平滑化フィルタ処理を行うフィルタ処理手段と、を設けることにより、監視目標物の情報を確保すること、及び画像のファイルサイズを削減することの両方を可能にする。【選択図】図１
2012085231.tif 000002
【特許請求の範囲】
【請求項１】
撮影するフレーム内の複数の点において、被写体と撮影レンズとの距離を測定する距離測定手段と、
測定された前記被写体と前記撮影レンズとの距離に応じて、該距離が近いほど平滑化フィルタ処理を行う強度を強く設定する設定手段と、
撮影画像の所定のエリアに対して設定された前記強度で平滑化フィルタ処理を行うフィルタ処理手段と、を具備することを特徴とする画像処理装置。
【請求項２】
撮影された画像を水平方向に複数の帯状に分割する画像分割手段と、
前記画像分割手段により分割した領域において、下部へいくほど強くなるように平滑化フィルタ処理を行う強度を設定する設定手段と、
撮影された画像に対して設定された前記強度で平滑化フィルタ処理を行うフィルタ処理手段と、を具備することを特徴とする画像処理装置。
【請求項３】
前記画像分割手段は、撮影画像の下部へ行くほど帯の幅を広くなるように分割することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記フィルタ処理手段による平滑化フィルタ処理を行った映像と、前記フィルタ処理手段による平滑化フィルタ処理をしていない映像とを切替えて出力するか、もしくは同時に出力する映像出力切替手段を有することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
撮影するフレーム内の複数の点において、被写体と撮影レンズとの距離を測定する距離測定工程と、
測定された前記被写体と前記撮影レンズとの距離に応じて、該距離が近いほど平滑化フィルタ処理を行う強度を強く設定する設定工程と、
撮影画像の所定のエリアに対して設定された前記強度で平滑化フィルタ処理を行うフィルタ処理工程と、を具備することを特徴とする画像処理方法。
【請求項６】
撮影された画像を水平方向に複数の帯状に分割する画像分割工程と、
前記画像分割工程において分割した領域において、下部へいくほど強くなるように平滑化フィルタ処理を行う強度を設定する設定工程と、
撮影された画像に対して設定された前記強度で平滑化フィルタ処理を行うフィルタ処理工程と、を具備することを特徴とする画像処理方法。
【請求項７】
コンピュータに、請求項５または６に記載の画像処理方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および画像処理方法、プログラムに関し、特に、撮影した画像に画像処理を施して圧縮率を高める画像処理装置に関する。
【背景技術】
【０００２】
近年、画像撮像素子の多画素化が進み、より精細な画像撮影が可能になってきている。一方、撮影した画像のファイルサイズは増加の一途を辿っており、これを保存するためのメモリー容量を圧迫したり、ネットワーク転送する際にはネットワーク帯域を圧迫したりする等の問題が生じている。この問題を解決するために、撮影した画像のファイルサイズを削減するための様々な方法が知られている。
【０００３】
例えば、特許文献１では撮影した画像において、フレーム内の主たる被写体を検出し、この付近に対する圧縮率を低く、それ以外の圧縮率を高くすることにより、視覚的画質劣化を押さえつつファイルサイズを削減すると言う方法が示されている。また、特許文献２では、主たる被写体は動きのある物体だとし、動き検出を行い、動きのある部分に対する圧縮率を低く、動きのない部分に対する圧縮率を高くすることにより、画質劣化を最小限に押さえつつファイルサイズを削減すると言う方法が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２０９５８１号公報
【特許文献２】特開平８−２５１５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、主たる被写体の定義はさまざまである。監視目的における主たる被写体に対する必要な情報は、画質そのものではなく、監視目標物そのものが映っていること、および監視目標物が認識できることである。従来、この目的に対する適切なファイルサイズ削減方法がないという問題があった。
【０００６】
すなわち、従来の方法でファイルサイズ削減を行っても監視目的には不必要な情報が残り、必ずしも十分なファイルサイズ削減効果が得られないという問題があった。
本発明は前述の問題点に鑑み、監視のために必要な監視目標物の情報を失うことなく、画像のファイルサイズを極力削減できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、撮影するフレーム内の複数の点において、被写体と撮影レンズとの距離を測定する距離測定手段と、測定された前記被写体と前記撮影レンズとの距離に応じて、該距離が近いほど平滑化フィルタ処理を行う強度を強く設定する設定手段と、撮影画像の所定のエリアに対して設定された前記強度で平滑化フィルタ処理を行うフィルタ処理手段と、を具備することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、監視のために必要な監視目標物の情報を失うことなく、画像のファイルサイズを削減することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態の画像処理装置の構成例を示すブロック図である。
【図２】第１の実施形態を示し、平滑化フィルタ処理後のイメージを示す図である。
【図３】第１の実施形態の処理手順を説明するフローチャートである。
【図４】本実施形態の平滑化処理部の構成例を示すブロック図である。
【図５】第２の実施形態を示し、画像処理装置の構成例を示すブロック図である。
【図６】撮影された画像を任意の幅で水平方向に複数に分割した様子を示す図である。
【図７】第２の実施形態の処理手順を説明するフローチャートである。
【図８】第３の実施形態を示し、画像処理装置の構成例を示すブロック図である。
【図９】第３の実施形態の処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１０】
＜第１の実施形態＞
本実施形態の画像処理装置の構成について図１のブロック図、図３のフローチャートを参照して説明する。
図１において、１００は画像を撮影する撮影装置である。本実施形態の撮影装置１００は撮像素子１０１を備え、撮像素子１０１で撮像された画像（Ｓ３００）は解像度変換部１０３、及び平滑化処理部１０４へ転送される（Ｓ３０１、Ｓ３０２）。解像度変換部１０３は、画像確認モニタ１２０の解像度に合わせて解像度変換を行う。撮像素子１０１の画素数が画像確認モニタ１２０の画素数よりも多い場合は、解像度変換部１０３では画像の縮小処理（Ｓ３０４）が行われる。
【００１１】
また、平滑化処理部１０４へは、撮影するフレーム内の多点において、被写体と撮影レンズとの距離を測定する距離測定装置として配設されている測距センサ１０２で多点測距（Ｓ３１０）された距離情報が入力される（Ｓ３１１）。平滑化処理部１０４では、任意のエリアに対して設定された任意の強度で平滑化フィルタ処理を行う。具体的には、撮像素子１０１から入力された画像に対し、測距センサ１０２から入力された距離情報を利用して平滑化フィルタ処理を行う。図４に平滑化処理部１０４の詳細を示す。平滑化処理部１０４はフィルタ処理強度決定部４０２、及びフィルタ処理部４０１からなる。フィルタ処理強度決定部４０２は、平滑化フィルタ処理を行う強度を複数の段階に設定する。
【００１２】
平滑化処理部１０４に入力された距離情報はフィルタ処理強度決定部４０２に入力され、距離によって平滑化フィルタ強度を決定する（Ｓ３１２、Ｓ３１３）。このときの例を次に示す。
強度Ａ：０ｍ以上〜３ｍ未満
強度Ｂ：３ｍ以上〜６ｍ未満
強度Ｃ：６ｍ以上〜１０ｍ未満
強度Ｄ：１０ｍ以上〜２０ｍ未満
強度Ｅ：２０ｍ以上〜∞
【００１３】
前述の様に、平滑化フィルタ強度はＡ＞Ｂ＞Ｃ＞Ｄ＞Ｅの様に、撮影装置１００のレンズから被写体が近いほど強く設定する。フィルタ処理部４０１には、このフィルタ処理強度決定部４０２において決定された平滑化フィルタ強度と、画像が入力される。フィルタ処理部４０１ではこの平滑化フィルタ強度に従い、入力された画像に対して平滑化処理を行う（Ｓ３０３）。
【００１４】
このとき、平滑化処理部１０４へ入力される画像は、平滑化フィルタ処理対象の中心画像、及び平滑化フィルタ処理に必要な対象画像の周辺画像である。また、距離情報は撮影したフレーム内における処理対象中心画像の位置と同じ位置にある測距センサ１０２の測定距離情報である。
【００１５】
撮像素子１０１で撮影した画像の一例を図２（ａ）に示す。この例ではフレームの下方に映っている画像ほど撮像素子１０１（撮影レンズ）から近く、上部に映っている画像ほど遠い場合を示している。
【００１６】
図２（ｂ）に、前述の撮影画像に測距センサ１０２が持つ複数の測距センサのイメージを重ね合わせた様子を示す。この図２（ｂ）で示すマトリクスの各一マスが一つの測距センサの測距領域を示しており、この例では縦に１１、横に１５、合計１６５個の測距センサを持つ例を示している。
【００１７】
図２（ｃ）は、これらの測距センサにより測定した距離を、前述の強度に変換した様子を示している。図２（ｄ）はこれを見やすくするためにフィルタ強度の境界を太線で示した図である。なお、ここでは測距センサが縦横に並んだ例を示したが、縦だけに並んだ場合でも一定の効果が得られる。ＡからＥの平滑化フィルタ強度に関しては、平滑化フィルタ処理後に残したい情報量に応じて設定すればよい。
【００１８】
すなわち、監視目標物が認識できる情報量のみ残したいので、認識可能な範囲で情報量を削減する平滑化フィルタ強度にすればよい。例えば、強度Ｅと判定された距離にある監視対象物、この例では人物であるが、この人物画像を認識するのに十分かつ必要な情報量を持っている場合について述べる。
【００１９】
撮影画像において強度Ｅと判定された距離の人物の面積と、強度Ａと判定された距離の人物の面積が１：５であった場合、後者は認識目的のために約５倍の情報量を持つことになる。５倍の面積と言うことは、５倍の撮像素子数の情報を持つことに他ならないからである。すなわち、後者は情報量を１／５程度の情報量に削減しても認識が可能であり、平滑化フィルタをかけて情報量を削減することが可能である。
【００２０】
このようにして平滑化フィルタ強度を決定し、強度Ａは１／５とする。同様にして強度Ｂは１／４、強度Ｃは１／３、強度Ｂは１／２、そして強度Ｅはフィルタをかけないこととした。この平滑化フィルタ強度で平滑化処理を行ったイメージを図２（ｅ）に示す。
【００２１】
撮影画像はこの後、圧縮処理部１０５に転送される（Ｓ３０４）。圧縮処理によるデータ量削減効果は平滑化フィルタで削減した情報量削減効果に比例し、ほぼ同等の削減効果が得られる。圧縮処理部１０５での圧縮効果は、次のようになる。
（１×１５／１６５）＋（１／２×２９／１６５）＋（１／３×２４／１６５）＋（１／４×４６／１６５）＋（１／５×５１／１６５）＝０．３６
すなわち約０．３６倍の圧縮効果になる。
【００２２】
圧縮処理部１０５において圧縮された後の撮影画像は、記録再生部１０６に与えられ、記録再生部１０６により記憶装置１１０に保存される（Ｓ３０５）。また、記録再生部１０６により記憶装置１１０から読み出された（Ｓ３３０）撮影画像は、ネットワーク１３０等のような通信回線を介して再生装置１４０に送信される（Ｓ３３６）。ここで、撮影画像が十分に圧縮されることによりファイルサイズが小さい場合、ネットワーク転送負荷が軽くなり、高速で転送できる効果が得られる。撮影装置１００の各部の動作は制御部１６０により制御される。
【００２３】
再生装置１４０に送られた撮影画像は伸張処理部１４１に入力されて画像の伸張処理が行われる（Ｓ３３１）。伸張処理部１４１において伸張された後の画像は解像度変換部１４２、及び認識処理部１４３に入力される（Ｓ３３３）。認識処理部１４３では、所定の認識処理が行われ認識処理結果は画像合成部１４４に入力され、画像合成処理される。また、解像度変換部１４２ではモニタ１４５の解像度に合わせて解像度変換が行われる（Ｓ３３２）。解像度変換後の画像は画像合成部１４４に入力される。画像合成部１４４では、前述の解像度変換後の画像、及び認識処理結果情報を合成し（Ｓ３３４）、モニタ１４５に送出される。モニタ１４５では撮影画像が表示され（Ｓ３３５）、認識情報と共に確認できる。
【００２４】
ここで、再生装置１４０側のモニタ１４５の画素数が撮像素子１０１の画素数に比べて少ない時、例えば平滑化処理強度Ｅと判定された領域に映った人物はモニタ上では人物と認識できないくらい小さな点としてしか映らないかもしれない。しかし、平滑化処理部１０４により行われた平滑化処理により、認識に必要な情報は保存されているため、確実に認識可能である。また、この再生装置１４０が撮影画像に対して一部分を切り出す機能を持っている場合には、肉眼でも人物として認識できる画像を映し出すことができる。
【００２５】
なお、本実施形態では圧縮処理部１０５による圧縮画像は記憶装置１１０に記憶されるとしたが、ネットワーク１３０に直接送出されても構わない。また、撮影装置１００から再生装置１４０へはネットワーク１３０を介して画像が転送されるとしたが、他のどんな手段を用いて転送しても構わない。また、モニタ１４５へは画像合成部１４４により画像合成した画像が送出されるとしたが、図示しない選択部により解像度変換後の画像と認識処理後の画像が排他的に選択され、送出されても構わない。
【００２６】
＜第２の実施形態＞
図５に、本発明の第２の実施形態の構成図を示す。図５において、図１と同一の構成要素には同一の番号を付して詳細な説明を省略する。
【００２７】
平滑化処理部１０４では、予め定義された複数の水平方向の帯状の領域ごとに、異なる平滑化フィルタ強度で平滑化処理が行われる。このとき、平滑化処理部１０４へ入力される画像は、平滑化フィルタ処理対象の中心画像、及び平滑化フィルタ処理に必要な対象画像の周辺画像である。
【００２８】
撮像素子１０１で撮影した画像の一例を図６（ａ）に示し、処理手順を説明するフローチャートを図７に示す。本実施形態では、撮影された画像を制御部１６０が任意の幅で水平方向に複数の帯状に分割する画像分割処理を行う。そして、フレームの下部に映っている画像ほど撮像素子１０１（撮影レンズ）から近く、上部に映っている画像ほど遠い場合を想定している。また、本実施形態では図６（ａ）に示すように撮影画像を水平方向にＪ〜Ｎの５つの領域に分け、複数の帯状の画像領域において、撮影画像の下部へ行くほど帯の幅を広くするようにした。ここで５つの領域としたが、２つ以上の複数の領域であればいくつでも構わない。また、各領域は撮影画像の下に行くほど広い領域とするように分割したが、領域割り当てはこれに限らない。
【００２９】
前述の領域ごとに、平滑化処理部１０４で行われる平滑化フィルタ処理強度を予め設定しておく。この平滑化フィルタ強度に関しては、平滑化フィルタ処理後に残したい情報量に応じて設定すればよい。すなわち、監視目標物が認識できる情報量のみ残したいので、認識可能な範囲で情報量を削減する平滑化フィルタ強度にすればよい。
【００３０】
例えば、領域Ｊに映った監視対象物、この例では人物であるが、この人物画像を認識するのに十分かつ必要な情報量を持っている場合について述べる。領域Ｊの人物の面積と、領域Ｎの人物の面積比が１：５であった場合、後者は認識目的のために約５倍の情報量を持つことになる。５倍の面積ということは、５倍の撮像素子数の情報を持つことに他ならないからである。
【００３１】
すなわち、後者は情報量を１／５程度の情報量に削減することが可能である。このようにして平滑化フィルタ強度を決定し、領域Ｎは１／５の平滑化フィルタ強度とする。同様にして領域Ｍは１／４、領域Ｌは１／３、領域Ｋは１／２、そして領域Ｊはフィルタをかけないこととした。以上の様に平滑化フィルタ強度は撮影画像の下から上へ、より強く、Ｎ＞Ｍ＞Ｌ＞Ｋ＞Ｊの様に設定する。
【００３２】
この平滑化フィルタ強度で平滑化処理を行ったイメージを図６（ｂ）に示す。
撮影画像はこの後、圧縮処理部１０５に転送される。圧縮処理によるデータ量削減効果は平滑化フィルタで削減した情報量削減効果に比例し、ほぼ同等の削減効果が得られる。圧縮処理部１０５での圧縮効果は、次のようになる。なお、領域Ｊ〜Ｎの各面積比は１：１．２：２：３：７．２である。
（１×１／１４．４）＋（１／２×１．２／１４．４）＋（１／３×２／１４．４）＋（１／４×３／１４．４）＋（１／５×７．２／１４．４）＝０．３１
すなわち、約０．３１倍の圧縮効果になる。
【００３３】
圧縮後の撮影画像は記録再生部１０６を介して記憶装置１１０に保存される。そして、記録再生部１０６により記憶装置１１０から読み出された撮影画像は、ネットワーク１３０を介して再生装置１４０に送られる（Ｓ３３６）。ここで、撮影画像が十分に圧縮されファイルサイズが小さい場合、ネットワーク転送負荷が軽くなり、高速で転送できる効果が得られる。撮影画像は再生装置１４０で伸張処理部１４１に入力され画像の伸張処理が行われる（Ｓ３３１）。
【００３４】
伸張後の画像は解像度変換部１４２、及び認識処理部１４３に入力される。認識処理部１４３では所定の認識処理（Ｓ３３３）が行われ、認識処理結果は画像合成部１４４に入力される。また、解像度変換部１４２ではモニタ１４５の解像度に合わせて解像度変換が行われる（Ｓ３３２）。解像度変換後の画像は画像合成部１４４に入力される。画像合成部１４４では前述の解像度変換後の画像、及び認識処理結果情報を合成し（Ｓ３３４）、モニタ１４５に送出される。モニタ１４５では撮影画像が認識情報と共に確認できる（Ｓ３３５）。
【００３５】
なお、本実施形態では圧縮処理部１０５による圧縮画像は記憶装置１１０に記憶されるとしたが、ネットワーク１３０に直接送出されても構わない。また、撮影装置１００から再生装置１４０へはネットワーク１３０を介して画像が転送されるとしたが、他のどんな手段を用いて転送しても構わない。また、モニタ１４５へは画像合成部１４４により画像合成した画像が送出されるとしたが、図示しない選択部により解像度変換後の画像と認識処理後の画像が排他的に選択され、送出されても構わない。
【００３６】
＜第３の実施形態＞
次に、図８、図９を参照しながら本発明の第３の実施形態を説明する。
前述した第１の実施形態、第２の実施形態においては、撮影装置１００と再生装置１４０とは別個に構成され、ネットワーク１３０を介して接続されていた。本実施形態の画像処理装置８００においては、撮影装置１００と再生装置１４０とを一体的に構成している。したがって、図９のフローチャートに示すように、本実施形態においては、ネットワーク転送処理が行われない。
【００３７】
読み出された（Ｓ３２０）撮影画像は再生装置１４０に送られ、伸張処理部１４１に入力されて画像の伸張処理が行われる（Ｓ３２１）。伸張後の画像は解像度変換部１４２、及び認識処理部１４３に入力される。認識処理部１４３では所定の認識処理（Ｓ３２３）が行われ、認識処理結果は画像合成部１４４に入力される。また、解像度変換部１４２ではモニタ１４５の解像度に合わせて解像度変換が行われる（Ｓ３２２）。解像度変換後の画像は画像合成部１４４に入力される。画像合成部１４４では前述の解像度変換後の画像、及び認識処理結果情報を合成し（Ｓ３２４）、モニタ１４５に送出される。モニタ１４５では撮影画像が認識情報と共に確認できる（Ｓ３２５）。
【００３８】
また、第１の入力端子１７０ａ、第２の入力端子１７０ｂ、出力端子１７０ｃを有する選択スイッチ１７０が配設されており、解像度変換部１０３から出力された信号が第１の入力端子１７０ａに供給される。選択スイッチ１７０は、平滑化フィルタ処理を行った映像と、平滑化フィルタ処理をしていない映像とを切替えて出力する映像出力切替部として配設されている。なお、図８においては、入力端子を２個有する選択スイッチ１７０を設け、平滑化フィルタ処理を行った映像か、平滑化フィルタ処理をしていない映像の何れかを選択する例を示した。この他に、これらの映像を合成して出力する端子を設けることにより、同時に出力するようにすることも可能である。
【００３９】
また、画像合成部１４４から出力された信号が第２の入力端子１７０ｂに供給され、これらの信号が制御部１６０の制御により選択されて出力端子１７０ｃから画像確認モニタ１２０に出力される。
【００４０】
本実施形態においては、再生装置１４０を有することにより、平滑化処理部１０４により平滑化フィルタ処理を行った映像と、平滑化フィルタ処理をしていない映像とを選択スイッチ１７０で選択して画像確認モニタ１２０に表示することが可能となる。
【００４１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４２】
１００  撮影装置、１０１  撮像素子、１０２  測距センサ、１０３  解像度変換部、１０４  平滑化処理部、１０５  圧縮処理部、１１０  記憶装置、１２０  モニタ、１３０  ネットワーク、１４０  再生装置、１４１  伸張処理部、１４２  解像度変換部、１４３  認識処理部、１４４  画像合成部、１４５  モニタ、４０１  フィルタ処理部、４０２  フィルタ処理強度決定部
【図１】
2012085231.tif 000003
【図２】
2012085231.tif 000004
【図３】
2012085231.tif 000005
【図４】
2012085231.tif 000006
【図５】
2012085231.tif 000007
【図６】
2012085231.tif 000008
【図７】
2012085231.tif 000009
【図８】
2012085231.tif 000010
【図９】
2012085231.tif 000011