(57)【特許請求の範囲】
【請求項１】
画像データを取得する画像データ取得手段と、
前記画像データに対応する距離情報を取得する距離情報取得手段と、
前記画像データから所定の物体の位置を検出する検出手段と、
前記検出手段により検出された前記画像データにおける位置と、前記距離情報とに基づいて、前記位置が検出された前記所定の物体のうち特定の三次元領域の外部に存在する所定の物体を判定する判定手段と、
前記判定手段により前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域を前記画像データから抽出する抽出手段と、
抽出された前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域の画像データを加工する画像処理を実行する画像処理手段と、
を有する画像処理装置。
【請求項２】
前記検出手段は、前記画像データの画像特徴と前記距離情報とに基づいて前記画像データから前記所定の物体の位置を検出する請求項１記載の画像処理装置。
【請求項３】
前記画像処理手段は、前記物体領域に対して前記画像データと背景画像とを合成する画像処理を実行する請求項１又は２記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記物体領域の各画素位置において前記画像データの画素値と前記背景画像の画素値とを所定の比率で合成する画像処理を実行する請求項３記載の画像処理装置。
【請求項５】
前記画像データ取得手段が、物体の映っていない画像データを前記背景画像として取得する請求項３又は４記載の画像処理装置。
【請求項６】
前記画像処理手段により実行された画像処理の処理結果を出力する出力手段を更に有する請求項１乃至５何れか１項記載の画像処理装置。
【請求項７】
前記特定の三次元領域を設定する設定手段を更に有する請求項１乃至６何れか１項記載の画像処理装置。
【請求項８】
前記抽出手段は、前記検出手段により検出された前記所定の物体の位置と前記距離情報とに基づいて、前記所定の物体の輪郭を抽出し、前記輪郭に基づいて前記物体領域を抽出する請求項１乃至７何れか１項記載の画像処理装置。
【請求項９】
画像処理装置が実行する情報処理方法であって、
画像データを取得する画像データ取得ステップと、
前記画像データに対応する距離情報を取得する距離情報取得ステップと、
前記画像データから所定の物体の位置を検出する検出ステップと、
前記検出ステップにより検出された前記画像データにおける位置と、前記距離情報とに基づいて、前記位置が検出された前記所定の物体のうち特定の三次元領域の外部に存在する所定の物体を判定する判定ステップと、
前記判定ステップにより前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域を前記画像データから抽出する抽出ステップと、
抽出された前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域の画像データを加工する画像処理を実行する画像処理ステップと、
を含む情報処理方法。
【請求項１０】
コンピュータを、請求項１乃至８何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、監視カメラの普及が進んでいる。これに伴い、公共の場において監視カメラで撮影した映像に映っている個人の容姿を他人が容易に見ることができ、プライバシーの観点から問題となっている。したがって、監視カメラ映像の人物部分をぼかしたり、禁止エリアに侵入した人物のみ表示して他の人物はぼかしたりするようなニーズは高い。また、監視カメラに止まらず、例えば、公共の場での放送映像においてもアナウンサーだけ表示して他の人物はぼかしたりするようなニーズもある。
このようなカメラ映像におけるプライバシーを保護する方法として、特許文献１では、映像中の人物領域を、背景画像を用いて抽出し、ぼかし処理を行う方法が提案されている。また、特許文献２では、映像中の顔領域を顔検出処理によって抽出し、予め登録しておいた顔画像との照合を行うことによって特定人物のみ表示する方法が提案されている。また、特許文献３では、映像中の人物の異常行動を認識して、異常行動を行った人物のみ表示する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１９１８８４号公報
【特許文献２】特開２００４−６２５６０号公報
【特許文献３】特開２０１１−１３０２０３号公報
【非特許文献】
【０００４】
【非特許文献１】Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示されている方法では、背景画像とカメラ映像とを比較して人物領域を抽出しているので、映像中に人以外の動物体が映っていたり、背景の変化があったりする場合には人とそれ以外の部分との区別ができない問題がある。また、特許文献２に示されている方法では、顔の認証に失敗すると保護したい部分が表示されてしまう問題がある。また、特許文献３に示されている方法においても、異常でない行動を異常行動と誤認識してしまうと保護したい部分が表示されてしまう問題がある。
本発明は、特定領域に存在する物体領域を抽出して表示する技術を提供することを目的とする。これにより、例えば、特定の位置の人物を表示し、他の人物のプライバシーを保護することができる。
【課題を解決するための手段】
【０００６】
そこで、本発明の画像処理装置は、画像データを取得する画像データ取得手段と、前記画像データに対応する距離情報を取得する距離情報取得手段と、前記画像データから所定の物体の位置を検出する検出手段と、前記検出手段により検出された前記画像データにおける位置と、前記距離情報とに基づいて、前記位置が検出された前記所定の物体のうち特定の三次元領域の外部に存在する所定の物体を判定する判定手段と、前記判定手段により前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域を前記画像データから抽出する抽出手段と、抽出された前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域の画像データを加工する画像処理を実行する画像処理手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、特定領域に存在する物体領域を抽出して表示する技術を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２】画像処理装置のソフトウェア構成の一例を示す図である。
【図３】情報処理の一例を示すフローチャートである。
【図４】画像取得部で取得される画像データの一例を示す図である。
【図５】距離画像の一例を示す図である。
【図６】画像データに対応する物体検出結果の一例を示す図である。
【図７】領域設定部で設定された特定領域の一例を示す図である。
【図８】背景画像の一例を示す図である。
【図９】合成マップの一例を示す図である。
【図１０】画像合成結果の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
＜実施形態１＞
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。
図１において、ＣＰＵ１０１は、システムバス１０４に接続された各種デバイスの制御を行う。
ＲＯＭ１０２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。
ＲＡＭ１０３は、ＣＰＵ１０１の主記憶装置として使用される。
キーボードコントローラ（ＫＢＣ）１０５は、マウス等のポインティングデバイス（ＰＤ）１０９や、キーボード（ＫＢ）１１０からの情報等の入力に係る処理を行う。
表示制御部（ＣＲＴＣ）１０６は、内部にビデオメモリを有し、ＣＰＵ１０１からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてＣＲＴ１１１に出力する。なお、図１において表示装置としてＣＲＴ１１１を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ（ＤＫＣ）１０７は、ハードディスク（ＨＤＤ）１１２へのアクセスを行う。
ネットワークインタフェースカード（ＮＩＣ）１０８は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、ＨＤＤ１１２には、ＯＳのプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。ＨＤＤ１１２は、記憶領域の一例である。
上記構成において、画像処理装置１００の電源がＯＮになると、ＣＰＵ１０１は、ＲＯＭ１０２に格納されたブートプログラムに従って、ＨＤＤ１１２からＯＳのプログラムをＲＡＭ１０３に読み込み、処理を実行することによって、各装置の機能を実現する。
つまり、画像処理装置１００のＣＰＵ１０１がプログラムに基づき処理を実行することによって、画像処理装置１００のソフトウェア構成及び後述するフローチャートの処理が実現される。
【００１１】
図２は、画像処理装置１００のソフトウェア構成の一例を示す図である。
画像処理装置１００は、ソフトウェア構成として、以下の機能構成を含む。即ち、画像処理装置１００は、画像取得部２１０及び２２０、距離画像取得部２００、領域設定部３００、物体検出部４００、物体領域抽出部５００、背景画像記憶部６００、合成マップ生成部７００、画像処理部８００、結果出力部９００を含む。
画像取得部２１０は、カメラ等の撮影部により撮影された画像データを取得する。画像取得部２２０は、前記撮影部とは異なる撮影部により撮影された画像データを取得する。ここで画像取得部２１０及び２２０が取得する画像データはＲＧＢの画像データである。
距離画像取得部２００は、画像取得部２１０及び２２０で取得された画像データから画像取得部２１０で取得された画像データの夫々の画素に対応する距離情報取得を実行し、この距離情報を画素値とする距離画像を取得する。
領域設定部３００は、画像取得部２１０で取得された画像データの画像中の特定領域を設定する。
物体検出部４００は、画像取得部２１０で取得された画像データから物体位置を検出する。物体検出部４００は、画像データから物体位置を検出する際に距離画像取得部２００で取得された距離画像を利用する。本実施形態では物体検出部４００で検出する物体は人物である。
【００１２】
物体領域抽出部５００は、距離画像取得部２００で取得された距離画像を用いて物体検出部４００で検出した物体のうち領域設定部３００で設定された特定領域内に存在する物体と特定領域外に存在する物体とを区別して物体領域を抽出する。
背景画像記憶部６００は、予め画像取得部２１０で取得された人物の映っていない背景のみの画像データ（以下、背景画像と称す）をＲＡＭ１０３又はＨＤＤ１１２等に記憶する。
合成マップ生成部７００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成するための合成マップを生成する。ここで、合成マップとは画素毎に２つの画像データを合成する合成比率を表すマップである。
画像処理部８００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成する。
結果出力部９００は、画像処理部８００で合成した画像データをＣＲＴ１１１等に表示する。
【００１３】
以下、本実施形態の情報処理を図３に示すフローチャートに従って説明する。
Ｓ１００において、画像取得部２１０及び２２０は、撮影された画像データを取得する。画像取得部２１０及び２２０は、取得した画像データを、夫々、ＲＡＭ１０３又はＨＤＤ１１２等のメモリに記憶する。画像取得部２１０で取得された画像データの例を図４に示す。なお、ここで画像取得部２１０及び２２０が取得する画像データの撮影シーンはほぼ重複するように視野が調整されている。Ｓ１００の処理は、画像データ取得の処理の一例である。
Ｓ２００において、距離画像取得部２００は、画像取得部２１０と画像取得部２２０とで取得された画像データから画像取得部２１０で取得された画像データの夫々の画素に対応する距離画像を取得する。本実施形態においては、距離画像取得部２００は、ステレオマッチングの原理に基づいて距離画像取得を行う。即ち、距離画像取得部２００は、画像取得部２１０で取得された画像データの夫々の画素に対応する画像取得部２２０で取得された画像データの画素位置をパターンマッチングによって求め、視差ずれ量の２次元分布を距離画像として得る。距離画像取得部２００における距離画像の取得はこの方法だけに依らず、例えば、投光された符号化パターンに基づき距離画像を得るパターン投光方式や、光の飛行時間を基に距離を測るＴｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式に依ってもよい。距離画像取得部２００は、取得した距離画像をＲＡＭ１０３又はＨＤＤ１１２等のメモリに記憶する。図４に示した画像データに対応する距離画像取得部２００で取得された距離画像の例を図５に示す。図５で濃い画素値の画素ほど、距離が近いことを表す。
【００１４】
Ｓ３００において、物体検出部４００は、画像取得部２１０で取得された画像データから物体位置を検出する。物体検出部４００は、画像から物体位置を検出する方法として、非特許文献１で報告されている方法を用いることができる。非特許文献１で示されている方法は、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量（ＨＯＧ特徴量）として画像中の部分領域が人物か否かを判定するものである。即ち、物体検出部４００は、画素値の勾配の方向という特徴量によって人体の輪郭を表現し、人物を認識することができる。また、本実施形態ではＳ２００において距離画像を取得しているので、物体検出部４００は、距離画像からも人の輪郭を識別する特徴量を抽出するようにし、ＨＯＧ特徴量と合せて人物か否かを判定するようにする。画像から物体位置を検出する際に物体検出部４００が距離画像を用いることで人の輪郭をより正確に捉えることができる。なお、本実施形態では人物を対象として物体検出を行うようにしたが、人物以外を対象とすることもできる。この場合、物体検出部４００は、検出対象とする物体を識別するような特徴量との照合を行うようにすればよい。物体検出部４００は検出した物体の位置座標を出力する。図４に示した画像データに対応する物体検出結果の例を図６に示す。図６では、検出した人体の位置を矩形Ｒ１〜Ｒ５で示している。
【００１５】
Ｓ４００において、まず、物体領域抽出部５００は、物体検出部４００で検出された物体のうち予め領域設定部３００で設定された特定領域内に存在する物体と特定領域外に存在する物体とを区別して物体領域を抽出する。領域設定部３００で設定された特定領域を図７に示す。例えば、図７のＲで示したような領域に相当する物体を撮影シーンに配置し、距離画像取得部２００により距離画像を取得する。そして、領域設定部３００は、距離画像中の物体に相当する三次元空間上の領域を特定領域として設定する。まず、物体領域抽出部５００は、物体検出部４００で検出された物体位置（図６の例ではＲ１〜Ｒ５）に対応する距離データを距離画像から取得し、その三次元座標から領域設定部３００で設定された特定領域内か否かを判定する。例えば、図６に示した検出結果ではＲ１に示した物体位置が図７に示した領域Ｒ内にあると判定される。この際、画像中の二次元位置関係だけでは例えば図６のＲ１の領域で検出された人物の背後に人物が存在した場合も同様に領域内として判定されてしまう。その結果、Ｒ１の領域で検出された人物との区別がつかなくなる。本実施形態では、物体領域抽出部５００は、距離画像を利用して三次元の位置関係で特定領域内か否かを判定しているのでＲ１の領域で検出された人物の背後に人物が存在した場合でも区別することができる。そして、物体領域抽出部５００は、特定領域外の物体に相当する検出結果（即ち、図６に示したＲ２〜Ｒ５）に対応した距離画像中の画像領域（図５の破線矩形）から距離データのエッジ位置に基づいて夫々人物の輪郭を抽出する。そして、物体領域抽出部５００は、抽出した輪郭に対応する画像取得部２１０で取得された画像データ中の輪郭位置から物体領域を抽出する。ここで物体領域抽出部５００が出力する物体領域は輪郭を表す画像上の座標値でもよいし、座標値をベクトル表現したものでもよい。また、領域内を'１'、領域外を'０'とした２値画像でもよい。
【００１６】
Ｓ５００において、画像処理部８００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成する。背景画像記憶部６００に記憶されている背景画像の例を図８に示す。この背景画像は事前に人物が存在しない状態で、画像取得部２１０で取得された画像データである。まず、合成マップ生成部７００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成するための合成マップを生成する。合成マップは、例えば、物体領域抽出部５００で抽出した物体領域を'１'、それ以外を'０'とした２値画像に対して'１'の画素に対して実数値ｋ（但し、０≦ｋ＜１）、'０'の画素に対して実数値１の値を割り当てたマップである。合成マップの例を図９に示す。図９中、白い領域の値は１で、灰色の領域の値はｋである。画像処理部８００は、合成マップ生成部７００が生成した合成マップを用いて画像取得部２１０で取得された画像データと背景画像とを合成する。ここで、画像取得部２１０で取得された画像データの画素（ｉ，ｊ）における画素値をＰA（ｉ，ｊ）、背景画像の画素値をＰB（ｉ，ｊ）、合成マップの値をα（ｉ，ｊ）とすると合成後の画素値Ｐ（ｉ，ｊ）は（式１）のようになる。
Ｐ（ｉ，ｊ）＝α（ｉ，ｊ）×ＰA（ｉ，ｊ）＋（１−α（ｉ，ｊ））×ＰB（ｉ，ｊ）・・・（式１）
【００１７】
即ち、物体領域抽出部５００で抽出された物体領域以外の領域においては画像取得部２１０で取得された画像データがそのまま合成され、物体領域抽出部５００で抽出された物体領域では背景画像と比率ｋ：（１−ｋ）で合成される。ここで、ｋ＝０の場合は特定領域外の人物は背景画像に置き換えられることになる。また、ｋの値を０．１等の適当に小さな値に設定することで、特定領域外の人物を半透明化して表示し、場所は分かるが個人の特定はできないような画像を表示することができる。図４に示した画像データに対応する画像合成結果の例を図１０に示す。
なお、本実施形態では特定領域外の人物を半透明化するようにしたが、反対に特定領域内の人物のみ半透明化するようにしてもよい。この場合、Ｓ４００の処理において領域設定部３００で設定された特定領域内の物体に相当する検出結果（図６の例ではＲ１）に対応した物体領域を抽出するようにする。
また、画像処理部８００は、特定領域外の人物を半透明化するのではなく、ぼかすことによってプライバシー保護を行うこともできる。この場合、画像処理部８００は、Ｓ５００の処理において背景画像との画像合成処理を行う代わりに、合成マップの値を用いて画像取得部２１０で取得された画像データにぼかし処理を行えばよい。
Ｓ６００において、結果出力部９００は、画像処理部８００で合成した画像データを表示する。Ｓ６００の処理は、処理結果を出力する処理の一例である。
ＣＰＵ１０１は、Ｓ１００からＳ６００までの処理を取得された画像データ毎に繰り返して行う。
【００１８】
以上説明したように、本実施形態では、取得された画像中から物体位置を検出し、距離画像を用いて検出した物体のうち特定領域内に存在する物体と特定領域外に存在する物体とを区別して物体領域を抽出するようにした。これにより、入力画像中の特定の物体とその他の物体との領域を区別して異なる画像処理を施すことができる。
よって、特定の位置の人物を表示し、他の人物のプライバシーを保護する技術を提供することができる。
【００１９】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２０】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した実施形態では、ＣＰＵ１０１がプログラムに基づき処理を実行することにより、図２に示したようなソフトウェア構成が実現されるものとして説明を行った。しかし、図２に示した各部の全て又は一部をハードウェア構成として画像処理装置に実装してもよい。
【符号の説明】
【００２１】
１００  画像処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
【図１】
0006587435.tif 000002
【図２】
0006587435.tif 000003
【図３】
0006587435.tif 000004
【図４】
0006587435.tif 000005
【図５】
0006587435.tif 000006
【図６】
0006587435.tif 000007
【図７】
0006587435.tif 000008
【図８】
0006587435.tif 000009
【図９】
0006587435.tif 000010
【図１０】
0006587435.tif 000011