(57)【要約】【課題】オブジェクト間にオクルージョンが発生して両者を識別できない場合でもオブジェクトの頭部の位置、姿勢に基づいて各オブジェクトの位置、姿勢を推定できるようにオブジェクトの頭部領域を抽出する。【解決手段】頭部学習部１は、頭部であることが既知の頭部イメージに基づいて、そのテクスチャパターンを学習するテクスチャパターン学習部１０１ａおよびエッジパターンを学習するエッジパターン学習部１０１ｂを含む。テクスチャマッチング部２０３は、入力イメージを対象に前記テクスチャパターンの学習結果に基づくマッチング処理を実施して頭部領域候補を抽出する。パターンマッチング部２０５は、頭部領域候補を対象にテクスチャパターンおよびエッジパターンの学習結果を用いた空間的相関に基づくマッチング処理を実施して頭部領域を決定する。【選択図】図１
2019057031.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトの頭部領域を抽出する頭部抽出装置において、
頭部イメージのテクスチャパターンおよびエッジパターンを学習する頭部学習手段と、
入力イメージを対象に前記テクスチャパターンに基づくマッチング処理を実施して頭部領域候補を抽出するテクスチャマッチング手段と、
前記頭部領域候補に前記テクスチャパターンおよびエッジパターンに基づくマッチング処理を実施して頭部領域を決定するパターンマッチング手段とを具備したことを特徴とするオブジェクトの頭部領域抽出装置。
【請求項２】
相互に近接する複数の頭部領域候補をその位置情報に基づいて一つに統合する頭部領域候補統合手段をさらに具備したことを特徴とする請求項１に記載のオブジェクトの頭部領域抽出装置。
【請求項３】
前記頭部学習手段は、頭部イメージごとに各画素値を求めて画素位置ごとに画素値平均および画素値分散を計算する手段を具備し、
画素位置ごとに得られる画素値平均および画素値分散をテクスチャパターンとして学習することを特徴とする請求項１または２に記載のオブジェクトの頭部領域抽出装置。
【請求項４】
前記頭部学習手段は、頭部イメージをCIELab色空間に変換する手段を具備し、
画素値平均および画素値分散を計算する手段は、次元Lおよび補色次元a，bの各チャネル値の平均および分散を計算することを特徴とする請求項２に記載のオブジェクトの頭部領域抽出装置。
【請求項５】
前記頭部学習手段は、
各頭部イメージの画素ブロックごとに勾配値を計算する手段と、
画素ブロックの位置ごとに勾配値平均および勾配値分散を計算する手段とを具備し、
勾配値分散が所定の基準値を下回る画素ブロック位置の勾配値を前記勾配値平均で代表したエッジパターンを学習することを特徴とする請求項３または４に記載のオブジェクトの頭部領域抽出装置。
【請求項６】
前記テクスチャマッチング手段は、
入力イメージの各画素値と前記テクスチャパターンの対応する画素値平均との差分が、対応する画素値分散との関係で所定値を下回るか否かを識別する手段と、
入力イメージ上で所定の探索範囲を順次にシフトして前記所定値を下回らない画素の割合を探索範囲ごとに計算する手段とを具備し、
前記所定値を下回らない画素の割合が基準値を下回る探索範囲を頭部領域候補として抽出することを特徴とする請求項３に記載のオブジェクトの頭部領域抽出装置。
【請求項７】
前記パターンマッチング手段は、
前記各頭部領域候補のテクスチャパターンおよびエッジパターンに基づいて頭部領域候補ごとに第１空間分散行列を計算する手段と、
前記学習したテクスチャパターンおよびエッジパターンに基づいて第２空間分散行列を算出する手段とを具備し、
前記第１空間分散行列と第２空間分散行列との差分が所定の基準値を下回る頭部領域候補を頭部領域に決定することを特徴とする請求項６に記載のオブジェクトの頭部領域抽出装置。
【請求項８】
オブジェクトの頭部領域をコンピュータにより抽出する頭部抽出方法において、
頭部イメージのテクスチャパターンおよびエッジパターンを学習し、
入力イメージを対象に前記テクスチャパターンに基づくマッチング処理を実施して頭部領域候補を抽出し、
前記頭部領域候補に前記テクスチャパターンおよびエッジパターンに基づくマッチング処理を実施して頭部領域を決定することを特徴とするオブジェクトの頭部領域抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意の入力イメージからオブジェクトの頭部領域を抽出する頭部領域抽出装置および方法に関する。
【背景技術】
【０００２】
特許文献１には、予備的頭部検出モデルを利用して画像内の頭部を迅速かつ正確に検出する方法が開示されている。
【０００３】
非特許文献１には、第１段階の低分解能単一頭モデル分類器と、前段階の検出を訓練した部分ベースモデルとからなるカスケード分類器としてHOGを利用することにより、頭部を検出する方法が開示されている。
【０００４】
非特許文献２には、人数を数えるために、Haar特徴およびHOG特徴を利用して頭および肩の位置を検出する技術が開示されている。非特許文献２では、検出された頭部および肩部の対称構造に基づいて、いわゆる関節HOG特徴が作成され、Haar分類器を使用して負のサンプルが除外され、そこから最終的な頭肩位置が推定される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特願2012-522506号
【非特許文献】
【０００６】
【非特許文献１】E. Rehder, H. Kloeden, and C. Stiller, "Head Detection and Orientation Estimation for Pedestrian Safety," IEEE 17th Int. Conf. on ITSC, 2014
【非特許文献２】L. Chen, H. Wu, S. Zhao, and J. Gu, "Head-shoulder detection using joint HOG features for people counting and video surveillance in library," IEEE Workshop on ECA, 2014.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１、２では、複数の頭部間にオクルージョンが生じたときに各頭部をいかに識別するかの課題が検討されていない。特許文献１では、画像内で複数の頭部を検出することができるが、頭部のテクスチャ／カラーに関する顕著性が背景と比較して低い場合に検出能力が低下してしまう。
【０００８】
本発明の目的は、上記の技術課題を解決し、オブジェクト認識に際して、オブジェクトの頭部領域を認識することで、オブジェクト間にオクルージョンが発生して両者を識別できない場合でも、頭部領域の位置、姿勢に基づいて各オブジェクトの位置、姿勢を推定できるようにすることにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、任意の入力イメージからオブジェクトの頭部領域を抽出する頭部抽出装置および方法において、以下の構成を具備した点に特徴がある。
【００１０】
(1) 既知の頭部イメージのテクスチャパターンおよびエッジパターンを学習する頭部学習手段と、入力イメージを対象に前記テクスチャパターンに基づくマッチング処理を実施して頭部領域候補を抽出するテクスチャマッチング手段と、前記頭部領域候補に前記テクスチャパターンおよびエッジパターンに基づくマッチング処理を実施して頭部領域を決定するパターンマッチング手段とを具備した。
【００１１】
(2) 相互に近接する複数の頭部領域候補をその位置情報に基づいて一つに統合する頭部領域候補統合手段をさらに具備した。
【００１２】
(3) 頭部学習手段は、頭部イメージごとに各画素値を求めて画素位置ごとに画素値平均および画素値分散を計算し、画素位置ごとに得られる画素値平均および画素値分散をテクスチャパターンとして学習するようにした。
【００１３】
(4) 頭部学習手段は、頭部イメージをCIELab色空間に変換し、画素値平均および画素値分散を計算する手段は、次元Lおよび補色次元a，bの各チャネル値の平均および分散を計算するようにした。
装置。
【００１４】
(5) 頭部学習手段は、各頭部イメージの画素ブロックごとに勾配値を計算する手段と、画素ブロックの位置ごとに勾配値平均および勾配値分散を計算する手段とを具備し、勾配値分散が所定の基準値を下回る画素ブロック位置の勾配値を前記勾配値平均で代表したエッジパターンを学習するようにした。
【００１５】
(6) テクスチャマッチング手段は、入力イメージの各画素値と前記テクスチャパターンの対応する画素値平均との差分が、対応する画素値分散との関係で所定値を下回るか否かを識別する手段と、入力イメージ上で所定の探索範囲を順次にシフトして前記所定値を下回らない画素の割合を探索範囲ごとに計算する手段とを具備し、前記所定値を下回らない画素の割合が基準値を下回る探索範囲を頭部領域候補として抽出するようにした。
【００１６】
(7) パターンマッチング手段は、各頭部領域候補のテクスチャパターンおよびエッジパターンに基づいて頭部領域候補ごとに第１空間分散行列を計算する手段と、学習したテクスチャパターンおよびエッジパターンに基づいて第２空間分散行列を算出する手段とを具備し、第１空間分散行列と第２空間分散行列との差分が所定の基準値を下回る頭部領域候補を頭部領域に決定するようにした。
【発明の効果】
【００１７】
本発明によれば、以下のような効果が達成される。
【００１８】
(1) オブジェクト認識に際して、オブジェクトの頭部領域を認識するので、オブジェクト間にオクルージョンが発生して両者を識別できない場合でも、頭部領域の位置、姿勢に基づいて各オブジェクトの位置、姿勢を推定できるようになる。
【００１９】
(2) 任意の入力イメージに対して、最初はテクスチャマッチングにより頭部領域候補を抽出することで探索範囲を限定し、次いで、頭部領域候補のみを対象にテクスチャパターンおよびエッジパターンを用いた空間的相関に基づく探索を行って頭部領域を決定するので、オブジェクトの頭部領域を少ない処理負荷で正確に抽出できるようになる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係るオブジェクトの頭部抽出装置の主要部の構成を示した機能ブロック図である。
【図２】学習用の頭部イメージの抽出例を示した図である。
【図３】テクスチャパターンの学習手順を示したフローチャートである。
【図４】エッジパターンの学習手順を示したフローチャートである。
【図５】テクスチャマッチングの手順を示したフローチャートである。
【図６】パターンマッチングの手順を示したフローチャートである。
【図７】頭部領域候補の統合方法を示した図（その１）である。
【図８】頭部領域候補の統合方法を示した図（その２）である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の一実施形態に係るオブジェクトの頭部領域抽出装置の主要部の構成を示した機能ブロック図である。このような装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機としても構成できる。
【００２２】
本発明の頭部領域抽出装置は、頭部領域であることが既知の予め用意した多数の頭部イメージに基づいて頭部の特徴を学習する頭部学習部１、および学習結果に基づいて任意の入力イメージから頭部領域を識別する頭部識別部２から構成される。データベース３には、図２に示したように、多数のオブジェクト（人間）に関するビルボードから、例えば手作業で抽出した多数の頭部イメージが蓄積されている。
【００２３】
頭部学習部１において、頭部パターン発生部１０１は、テクスチャパターン学習部１０１ａおよびエッジパターン学習部１０１ｂを含む。テクスチャパターン学習部１０１ａは、データベース３から取得した頭部イメージの座標位置x，yごとに、画素値平均および画素値分散を計算することで頭部のテクスチャパターンを学習する。テクスチャパターンの学習結果はテクスチャパターン蓄積部１０２に蓄積される。
【００２４】
エッジパターン学習部１０１ｂは、データベース３から取得した頭部イメージに対して、所定の画素ブロックごとにエッジ検出および勾配計算を実施し、その勾配平均および勾配分散を計算することで頭部のエッジパターンを学習する。エッジパターンの学習結果はエッジパターン蓄積部１０３に蓄積される。
【００２５】
頭部識別部２には、任意のオブジェクト画像に対して、例えば背景差分法を適用して抽出されたオブジェクトのマスクイメージが入力される。フィルタリング部２０１は、オブジェクトマスクの入力イメージから、そのエッジ成分を保存しながらノイズ線分のみを選択的に除去する。色空間変換部２０２は、テクスチャ構造の顕著性を改善するために、入力イメージの色空間をBGB空間からCIELab空間に変換する。
【００２６】
テクスチャマッチング部２０３は、前記入力イメージに対して前記テクスチャパターン蓄積部１０２の学習結果を用いて所定の画素ブロック単位でテクスチャマッチングを実施し、入力イメージから頭部領域である可能性が高い全ての頭部領域候補を抽出する。本実施形態では、テクスチャパターンの学習結果として、後に詳述するように、各画素位置x,yにおけるCIELab空間の次元Lおよび補色次元a，bの各チャネル値の平均値uL，ua，ubおよび分散σL，σa，σbが用いられる。
【００２７】
頭部領域候補統合部２０４は、相互に近接する複数の頭部領域候補をその位置情報に基づいて統合する。パターンマッチング部２０５は、前記抽出または統合された頭部領域候補を対象に、テクスチャパターンマッチングおよびエッジパターンマッチングを併用して頭部領域を決定する。
【００２８】
図３は、前記頭部学習部１のテクスチャパターン学習部１０１ａによるテクスチャパターンの学習手順を示したフローチャートである。
【００２９】
ステップＳ１では、データベース３から全ての頭部イメージが取得される。ステップＳ２では、テクスチャ構造の顕著性を改善するために、RGB色空間で表現された頭部イメージがCIELab色空間に変換される。ステップＳ３では、各頭部イメージにフィルタリング処理を実施して、背景画素等のノイズ成分を除去する。
【００３０】
ステップＳ４では、全ての頭部イメージから画素位置x，yごとにCIELab色空間におけるチャネル値（L，a，b）が抽出され、画素位置x，yごとに各チャネル値の平均値u*xy（=uLxy，uaxy，ubxy）が次式(1)に基づいて計算される。ここで、Fはデータベース３から取得した頭部イメージの個数であり、Ii*はi番目の頭部イメージの各画素位置x，yにおける各チャネル値を代表する。
【００３１】
【数１】
2019057031.tif 000003
ステップＳ５では、各頭部イメージから画素位置x,yごとに抽出したCIELab色空間のチャネル値Ii*および前記各チャネル値の平均値u*xyに基づいて、画素位置x，yごとに各チャネル値の分散σ*xy（=σLxy，σa xy，σb xy）が次式(2)に基づいて計算される。
【００３２】
【数２】
2019057031.tif 000004
以上のようにして、頭部イメージのCIELab色空間における各チャネル値の平均値u*xyおよび分散σ*xyが求まると、ステップＳ６では、次式(3)，(4)に基づいてテクスチャパターンが構築される。
【００３３】
【数３】
2019057031.tif 000005
【００３４】
【数４】
2019057031.tif 000006
図４は、前記頭部学習部１のエッジパターン学習部１０１ｂによるエッジパターンの学習手順を示したフローチャートである。
【００３５】
ステップＳ１１では、前記データベース３から全ての頭部イメージが取得される。ステップＳ１２では、RGB色空間で表現された頭部イメージがグレースケールのイメージに変換される。ステップＳ１３で、エッジフィルタ処理によりエッジ情報が抽出される。
【００３６】
ステップＳ１４では、フィルタ処理後の各頭部イメージを4×4画素の画素ブロックに分割し、画素ブロックごとにHOG特徴量（ここでは、勾配値k）に基づいてエッジパターンεpqが構築される。
【００３７】
本実施形態では、各画素ブロックの位置を、左上端の画素ブロックからの相対値で表し、kpqは縦方向にp番目かつ横方向にq番目の画素ブロックの勾配値を表現している。そして、対応する画素ブロックの位置pqごとに、勾配値kとその分散σとの関係を求め、次式(5)に基づいて、画素ブロックごとにエッジパターンεpqが構築される。
【００３８】
【数５】
2019057031.tif 000007
本実施形態では、各頭部イメージの対応する各画素ブロックの位置pqごとに、その全ての勾配値kpqが当該位置pqでの±2σ以内であるか否かを判断する。そして、±2σ以内の画素ブロックのエッジパターンεpqは当該位置pqにおける各画素ブロックの勾配値kpqの平均値k'pqとし、±2σから外れる勾配値kpqを含む位置のエッジパターンεpqはゼロとされる。
【００３９】
図５は、前記テクスチャマッチング部２０３によるテクスチャマッチングの手順を示したフローチャートである。テクスチャパターンを用いたマッチング処理は、頭部識別部２に入力された入力イメージから、オブジェクトの頭部である確率が高い頭部領域候補を抽出するために実行される。
【００４０】
本実施形態では、上式(3)，(4)のテクスチャパターンが与えられると、入力イメージ内の24×24画素の画素ブロックを探索範囲として、この探索範囲を４画素ずつシフトさせながら入力イメージの全領域から頭部候補領域が探索される。
【００４１】
ステップＳ２１では、入力イメージの各位置(x，y)の画素値Ixyが取得される。ステップＳ２２では、次式(６)に基づいて、入力イメージの各画素値Ixyと、その対応位置における前記テクスチャパターンの画素値平均uxyとの差分の絶対値を当該対応位置での前記テクスチャパターンの分散平均の２倍値２σxyと比較する。そして、次式(6)が成立すれば、ステップＳ２３へ進んで当該位置の画素値Ixyをセット（Ixy=１）し、成立しなければ、ステップＳ２４へ進んで当該位置の画素値Ixyをリセット（Ixy=０）する。
【００４２】
【数６】
2019057031.tif 000008
ステップＳ２５では、入力イメージの全ての画素に関して上記の処理が完了したか否かが判断される。完了していなければステップＳ２１へ戻り、注目する画素を切り換えながら上記の各処理を実行する。
【００４３】
入力イメージの全ての画素がセットまたはリセットされるとステップＳ２６へ進み、24×24画素の探索範囲が入力イメージの左上に設定される。ステップＳ２７では、探索範囲内で画素値Ixyがゼロでない非ゼロ画素の割合が計算される。ステップＳ２８では、非ゼロ割合を所定の基準値と比較し、非ゼロ割合が基準値よりも低ければ、ステップＳ２９へ進んで今回の探索範囲が頭部領域候補とされる。
【００４４】
ステップＳ３０では、入力イメージの全領域を探索済みか否かが判断される。探索済みでなければステップＳ３１へ進み、探索範囲を横方向又は縦方向に4画素分だけシフトさせて次の探索範囲を設定した後、ステップＳ２７へ戻って新たな探索範囲を対象に上記の各処理が繰り返される。
【００４５】
図６は、前記頭部領域候補統合部２０４およびパターンマッチング部２０５によるパターンマッチングの手順を示したフローチャートである。本実施形態では、全ての頭部領域候補を対象に、前記テクスチャパターンおよびエッジパターンに基づくパターンマッチングを実施して最終的に頭部領域を決定する。
【００４６】
パターンマッチング処理では、予め学習したテクスチャパターン(u，σ)およびエッジパターンεを、画素ブロック単位（本実施形態では、前記4×4画素の画素ブロック）で空間共分散行列ρに相関させる。
【００４７】
同様に、入力イメージから抽出した各頭部領域候補に関しても、同じ画素ブロック単位で、その画素平均値u、画素分散σおよびエッジパターンεを空間共分散行列ρに相関させる。そして、対応する画素ブロックごとに各空間共分散行列ρを比較し、その差分が非ゼロとなる割合が低い頭部領域候補を頭部領域に決定する。
【００４８】
ステップＳ５１では、図７，８に示したように、前記頭部領域候補統合部２０４により、位置が近接する複数の頭部領域候補Hi_1〜Hi_5が、同一の頭部に関して認識された頭部領域候補群とみなして一つに統合される。本実施形態では、頭部領域候補の位置指標値(x，y)として、例えばその中心位置、重心位置または頂点座標を定義する。そして、位置ずれが所定の範囲内、例えばx-4＜x＜x+4かつy-4＜y＜y+4である全ての頭部領域候補を、これらの頭部領域候補を包含する最小の矩形領域を範囲とする新たな頭部領域候補に統合する。
【００４９】
ステップＳ５２では、統合後の頭部領域候補の一つが選択される。ステップＳ５３では、今回の頭部領域候補から、4×4画素の位置pqの画素ブロックごとに、次式(7)，(8)で定義されるスーパーピクセルIpqが計算される。
【００５０】
【数７】
2019057031.tif 000009
【００５１】
【数８】
2019057031.tif 000010
上式(8)において、Lpq，apqおよびbpqは、位置pqの画素ブロックで検知されたCIELab空間での各チャネル値L，aおよびbの平均値を表している。ω、Δsは、それぞれパターン係数サイズおよび領域係数距離であり、本実施形態では、ω=24、Δs=25を想定している。前記パターン係数サイズは、次式(9)に基づいて決定される。
【００５２】
【数９】
2019057031.tif 000011
ここで、Pはパターンサイズであり、Sは次式(10)で表される。ここで、Aはスーパーピクセル領域サイズであり、sはスーパーピクセルサイズである。
【００５３】
【数１０】
2019057031.tif 000012
ステップＳ５４では、空間共分散行列ρpqが、エッジ情報εpqのα倍とテクスチャ情報Ipqのβ倍との和として、次式(11)で求められる。
【００５４】
【数１１】
2019057031.tif 000013
ステップＳ５５では、今回の頭部領域候補内の全ての4×4画素ブロックに関して空間共分散行列ρpqの計算が完了したか否かが判断される。完了していなければステップＳ５３へ戻り、残りの各画素ブロックに関しても同様に空間共分散行列ρpqが計算される。
【００５５】
ステップＳ５６では、予め学習したテクスチャパターン(u，σ)およびエッジパターンεに基づいて、上記と同様の手順で計算した各画素ブロックの空間共分散行列ρと、今回の頭部領域候補に関して計算した各画素ブロックの空間共分散行列ρpqとの差分が画素ブロック単位で計算される。
【００５６】
ステップＳ５７では、空間共分散行列ρ，ρpqの差分が非ゼロとなる割合が所定の基準値、例えば20%未満であるか否かが判断される。基準値未満であれば、ステップＳ５８へ進んで今回の頭部領域候補が頭部領域に決定される。これに対して、非ゼロとなる割合が基準値未満でなければ、ステップＳ５９へ進んで今回の頭部領域候補が非頭部領域に決定される。
【００５７】
ステップＳ６０では、全ての頭部領域候補に関して前記空間共分散行列ρに基づく頭部領域判定が完了したか否かが判断される。完了していなければステップＳ５２へ戻り、残りの頭部領域候補に対して上記の各処理が繰り返される。
【００５８】
本実施形態によれば、オブジェクト認識に際して、オブジェクトの頭部領域を認識するので、オブジェクト間にオクルージョンが発生して両者を識別できない場合でも、頭部領域の位置、姿勢に基づいて各オブジェクトの位置、姿勢を推定できるようになる。
【００５９】
また、本実施形態によれば、任意の入力イメージに対して、最初はテクスチャマッチングにより頭部領域候補を抽出することで探索範囲を限定し、次いで、頭部領域候補のみを対象にテクスチャパターンおよびエッジパターンを用いた空間的相関に基づく探索を行って頭部領域を決定するので、オブジェクトの頭部領域を少ない処理負荷で正確に抽出できるようになる。
【符号の説明】
【００６０】
１…頭部学習部，２…頭部識別部，３…データベース，１０１…頭部パターン発生部，１０１ａ…テクスチャパターン学習部，１０１ｂ…エッジパターン学習部，１０２…テクスチャパターン蓄積部，１０３…エッジパターン蓄積部，２０１…フィルタリング部，２０２…色空間変換部，２０３…テクスチャマッチング部，２０４…頭部領域候補統合部，２０５…パターンマッチング部
【図１】
2019057031.tif 000014
【図２】
2019057031.tif 000015
【図３】
2019057031.tif 000016
【図４】
2019057031.tif 000017
【図５】
2019057031.tif 000018
【図６】
2019057031.tif 000019
【図７】
2019057031.tif 000020
【図８】
2019057031.tif 000021