(57)【要約】【課題】１枚の画像において対象人物の人体の向きを容易に推定することを目的とする。【解決手段】検出部１０６は、画像から検出された人の頭部と肩周りの領域の輪郭線を求める。画像特徴算出部１０８は、検出部１０６で得られた輪郭線から画像特徴を算出する。記憶部１０９は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部１１０は、対応関係を示す情報に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを求める。【選択図】図１
2014092886.tif 000002
【特許請求の範囲】
【請求項１】
画像から検出された人の肩周りの領域の輪郭線を求める検出部と、
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。
【請求項２】
更に、前記画像特徴算出部は、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記頭部に顔を含むか否かを判定する顔領域の判定部と、
を備えている、請求項１に記載の画像処理装置。
【請求項３】
更に、前記肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記顔領域の判定部は、頭部のエッジ量を求め、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。
【請求項５】
コンピュータによって実行される画像処理方法であって、
画像から検出された人の肩周りの領域の輪郭線を求め、
前記検出部で得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で議論される実施態様は、画像処理装置、プログラム、及び方法に関する。
【背景技術】
【０００２】
防犯カメラを用いて、犯罪の抑止をするために犯罪の瞬間や証拠を記録、監視するだけでなく、事件が起きた際、その周辺の防犯カメラの画像を確認し、不審者がいないか捜索する技術が知られている。
【０００３】
例えば、多数のカメラ画像を用いた人の追跡システムは、セキュリティに使用された場合、それぞれ異なる場所で撮影された映像を利用して、検出した人の移動ルートを示すことで、犯罪捜査に役に立つことができる。視野の重なりがない異なる場所に設置した複数カメラを用いて人を自動的に追跡するためには、異なるカメラ画像から同一人物を同定することが好ましい。
【０００４】
例えば、監視カメラが取得をした画像の中から同一人物を抽出し、同一人物か否かの同定を人物画像における画像の特徴量の近似から判断する際、ある同一人物の画像の特徴量は、正面を向いている時と側面を向いている時などのように、その人物が向いている方向により大きく変わる。そこで、同じ方向を向いている時の画像について、特徴量から同一人物か否かを判断することが好ましい。そのため、人物画像がどの向きを向いているかを自動的に判断することが好ましい。
【０００５】
人物画像の向きを推定する技術として、例えば、動画像の連続するフレームにおいて、体の各ブロックの動きから、人体の向きを判断する技術が知られている。
また、同一人物の同定手法としては、顔、歩容情報や形状特徴などを用いた認証方法が提案されている。しかし、顔認証は人が後ろを向いている場合は適用できない。また、歩容情報を用いた方法も、人同士の重なりで遮蔽される可能性が高いため適用できない場合がある。そのため、人の画像特徴を用いて同定する技術が知られている（例えば、非特許文献１参照）。
【０００６】
また、１枚の画像で、画像の中心線の左右が対称か非対称かで、正面か側面かを判断する技術が知られている（例えば、特許文献１参照）。例えば、レントゲン写真が正面向きのレントゲン写真か、あるいは、横向きのレントゲン写真かの判断において、中心線から左右が対称か否かで判断をする技術が知られている。
【０００７】
また、顔画像と非顔画像とを識別ずる技術が知られている（例えば、特許文献２参照）。
また、１枚の画像で、人体を表現する複数のパーツに対応するテンプレートを作成し、分割領域との類似度を計算することで人体の向きを推定する技術が知られている（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平６−３０４１５号公報
【特許文献２】特開２００３−４４８５３号公報
【非特許文献】
【０００９】
【非特許文献１】川合諒,槇原靖,八木康史:“STHOG特徴を用いた複数カメラ間での人物照合” ,情報処理学会CVIM研究報告Vol.2011-CVIM-177 No.10, pp. 1-8, 2011.
【非特許文献２】岡野慎介, 浮田宗伯, 萩田紀博:“領域特徴量による複雑背景下での人体姿勢推定” ,情報処理学会CVIM研究報告Vol.2012-CVIM-180 No.9, pp. 1-8, 2012.
【非特許文献３】佐藤雄隆, 金子俊一, 丹羽義典, 山本和彦：“Radial Reach Filter(RRF)によるロバストな物体検出”, 信学論(D-II), Vol. J86-D-II No.5,pp 616-624, 2003.
【非特許文献４】山内悠嗣, 山下隆義, 藤吉弘亘“Boostingに基づく特徴量の共起表現による人検出”, 信学論Ｄ, Vol. J92-D, No. 8, pp. 1125-1134, 2009.
【非特許文献５】早坂光晴,富永英義,小宮一三:“逆投影法とカルマンフィルタを用いた複数移動物体位置認識とその追跡”,PRMU2001-132,pp.133-138,Nov,2001.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、監視カメラが取得した画像から、同一人物の同定をしたいという状況は、撮影中のリアルタイムよりも、後刻に要求されることが多い。例えば、犯罪現場から立ち去った人物がどこに立ち去ったかの確認などに用いられる場合がある。そのため、人の画像特徴を用いて同定する方法では、人体の向きの違いによって画像上の映り方が異なるため、同一の人物の同定は非常に難しくなるという問題がある。
【００１１】
また、監視カメラの画像は、その保管用の装置の容量の都合から、撮影時のデータをすべて記録しているのではなく、例えば１秒１フレームなどに大きく間引きをしてデータを格納している。そのため、前後のフレームにおける体のブロックの動きから、体がどこを向いているのかの判断ができない。そこで、動画像から、検出された人の位置を連続フレームで観測し移動方向を求める方法では、人体の向きを推定することが可能だが、人が立ち止まっている場合や、蓄積された不連続の画像を処理する場合は適用できないという問題がある。
【００１２】
更に、長期間に渡って映像を蓄積するには、膨大な容量が必要になるため、不連続な画像を保存することが現実的・経済的である。
また、実環境で人体を表現する各パーツの領域を抽出しにくい場面では、非特許文献２による人体の向きの推定が困難であるという問題がある。
【００１３】
また、レントゲン写真などにおいて、中心線から左右が対称か否かで、正面向きのレントゲン写真か、あるいは、横向きのレントゲン写真かを判断する方法を用いる場合、正面か側面かの判断しかできない。監視カメラに映る人の画像は、正面あるいは側面以外に斜めからの画像も多い。そのような画像に、正面あるいは側面の時にしか向きを判断できない方法を用いて向きの判断を行う場合、正面あるいは側面の時の画像の数が判断可能な数だけ揃わないことがあり、同一人物の同定が行えないという問題がある。
【００１４】
つまり、１枚の画像で、画像の中心線の左右が対称か非対称かで、正面か側面かを判断する方法では、例えば斜め方向については判定が困難である。人体の向きは正面、横、斜め方向によって見え方が大きく変わるため、少なくとも画像から検出された人の８方向の人体の向きを推定することが望ましい。
【００１５】
１つの側面において、本発明は、１枚の画像において対象人物の人体の向きを容易に推定することを目的とする。
【課題を解決するための手段】
【００１６】
本明細書で後述する人体の向きを推定するための画像処理装置に、検出部と、画像特徴算出部と、記憶部と、判定部とを備えているというものがある。ここで、検出部は、画像から検出された人の肩周りの領域の輪郭線を求める。また、画像特徴算出部は、検出部で得られた輪郭線から画像特徴を算出する。記憶部は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部は、対応関係を示す情報に基づいて、画像特徴算出部によって算出された画像特徴から人体の向きを求める。
【発明の効果】
【００１７】
本明細書で後述する人体の向きを推定するための画像処理装置は、１枚の画像において対象人物の人体の向きを容易に推定することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る画像処理装置の構成図である。
【図２Ａ】人体の向きの定義を説明するための図であり、人の体がＹ軸周りに左右に傾く状態を示す図である。
【図２Ｂ】人体の向きの定義を説明するための図であり、人の体がＸ軸周りに前後に傾く状態を示す図である。
【図２Ｃ】人体の向きの定義を説明するための図であり、人の体がＺ軸周りに回転する状態を示す図である。
【図３Ａ】人体の向きによる異なる特徴を示す図であり、正面向きを示す図である。
【図３Ｂ】人体の向きによる異なる特徴を示す図であり、横向きを示す図である。
【図３Ｃ】人体の向きによる異なる特徴を示す図であり、斜め向きを示す図である。
【図４】人体の向きの８方向定義を示す図である。
【図５】人体の向きの推定に有効な情報の比較表を示す図である。
【図６Ａ】人体の向き推定に有効な特徴を示す図であり、胴体の場合の体全体を示す図である。
【図６Ｂ】人体の向き推定に有効な特徴を示す図であり、胴体の場合の上半身を示す図である。
【図６Ｃ】人体の向き推定に有効な特徴を示す図であり、胴体の場合の肩周り部分を示す図である。
【図７Ａ】人体の向き推定に有効な特徴を示す図であり、輪郭の場合の体全体を示す図である。
【図７Ｂ】人体の向き推定に有効な特徴を示す図であり、輪郭の場合の上半身を示す図である。
【図７Ｃ】人体の向き推定に有効な特徴を示す図であり、輪郭の場合の肩周り部分を示す図である。
【図８Ａ】実施形態に係る画像処理方法における処理の実施例を示す図であり、検出された人の領域を示す図である。
【図８Ｂ】実施形態に係る画像処理方法における処理の実施例を示す図であり、対象領域を示す図ある。
【図８Ｃ】実施形態に係る画像処理方法における処理の実施例を示す図であり、エッジ検出による輪郭線を示す図である。
【図８Ｄ】実施形態に係る画像処理方法における処理の実施例を示す図であり、直線検出で求めた角度を示す図である。
【図９】直線の定義を示す図である。
【図１０】左側直線及び角度αの算出方法を示す図である。
【図１１】右側直線及び角度βの算出方法を示す図である。
【図１２】左右角度の比較１を示す図である。
【図１３】左右角度の比較２を示す図である。
【図１４Ａ】左右両直線間の角度（α＋β）を示す図であり、ケース１の場合を示す図である。
【図１４Ｂ】左右両直線間の角度（α＋β）を示す図であり、ケース２の場合を示す図である。
【図１５Ａ】頭部に顔を含むか否かの判定方法を示す図であり、頭部に顔を含む場合を示す図である。
【図１５Ｂ】頭部に顔を含むか否かの判定方法を示す図であり、頭部に顔を含まない場合を示す図である。
【図１６】画像特徴と人体の向きとの対応表を示す図である。
【図１７Ａ】実施形態に係る画像処理方法における推定結果を示す図である。
【図１７Ｂ】実施形態に係る画像処理方法における推定結果を示す図である。
【図１８】標準的なコンピュータのハードウエア構成の一例を示すブロック図である。
【図１９】実施形態に係るプログラムにおける処理内容の全体を図解したフローチャートである。
【図２０】画像特徴と人体の向きの対応表に基づいて人体の向きを推定する処理内容の詳細を図解したフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、実施形態を詳細に説明する。
発明者らは、撮影をした人物画像で、肩の部分の中心線と、体の中心線との角度の差が、体の向きと一定の間隔を有することを見出した。そこで、向きを判断すべき人物画像について、肩の部分の中心線と体の中心線との角度の差を求めて、体の向きとの関連付けから体の向きを判定することで、課題が解決されることを見出した。
【００２０】
本実施形態に係る人体の向きを推定するための画像処理装置は、検出部と、画像特徴算出部と、記憶部と、判定部とを備えている。ここで、検出部は、画像から検出された人の肩周りの領域の輪郭線を求める。また、画像特徴算出部は、検出部で得られた輪郭線から画像特徴を算出する。記憶部は、画像特徴と人体の向きとの対応関係を示す情報を記憶する。判定部は、対応関係を示す情報に基づいて、画像特徴算出部によって算出された画像特徴から人体の向きを推定する。
【００２１】
更に、画像特徴算出部は、肩輪郭の角度算出部と、肩の傾き算出部と、顔領域の判定部とを備えている。肩輪郭の角度算出部は、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。肩の傾き算出部は、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。顔領域の判定部は、頭部に顔を含むか否かを判定する。
【００２２】
更に、肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、顔領域の判定部は、頭部のエッジ量を求め、画像特徴算出部は、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。
【００２３】
図１は、本実施形態に係る人体の向きを推定するための画像処理装置１０の構成の概要を示す。人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続可能であり、画像入力部１０４、検出部１０６、画像特徴算出部１０８、記憶部１０９、判定部１１０、及び出力部１１２を備える。
【００２４】
検出部１０６は、移動体検出部１０６２と、頭部及び肩領域検出部１０６４とを含む。
画像特徴算出部１０８は、肩輪郭の角度算出部１０８２、肩の傾き算出部１０８４、及び、顔領域の判定部１０８６を含む。
【００２５】
まず、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。以下、画像の画像データを、単に画像と省略する。
【００２６】
なお、カメラ１０２は、ネットワークを介して人体の向きを推定するための画像処理装置１０と接続されてもよく、人体の向きを推定するための画像処理装置１０に直接接続されてもよい。
【００２７】
検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。続いて、頭部及び肩領域検出部１０６４は、検出された対象人物の画像領域において、対象人物の頭部及び肩部分に相当する領域を選択し、輪郭線を検出する。
【００２８】
次に、画像特徴算出部１０８は、検出部１０６によって前処理が施された画像を受信し、画像の特徴を算出する。まず、肩輪郭の角度算出部１０８２は、肩周りの輪郭線に近似する、左右の直線を求め、二つの直線と中心角がなす角度の大きさを比較する。続いて、肩の傾き算出部１０８４は、二つの直線がなす角度を求める。更に、顔領域の判定部１０８６は、頭部のエッジ画像が顔を含むか否かを判定する。例えば、頭部のエッジヒストグラムを求め、顔が前向きか後向きかを判断すればよい。
【００２９】
また、記憶部１０９は、図６に示すような画像特徴と人体の向きとの対応関係を示す情報が記憶されている。図６については、後で詳細に述べる。
【００３０】
最後に、判定部１１０は、記憶部１０９に記憶されている画像特徴と人体の向きとの対応関係を示す情報（図６参照）に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを推定する。出力部１１２は、判定部１１０が推定した結果を出力する。
【００３１】
このようにして、本実施形態に係る人体の向きを推定するための画像処理装置１０は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像において対象人物の肩領域から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。
【００３２】
以下に、人体の向きについて詳細に説明する。
まず、図２Ａ〜図２Ｃを参照しながら、人体の向きの定義について説明する。図２Ａは、人の体がＹ軸周りに左右に傾く状態を示す図であり、図２Ｂは、人の体がＸ軸周りに前後に傾く状態を示す図であり、図２Ｃは、人の体がＺ軸周りに回転する状態を示す図である。ここで、人体の向きとは、図２Ｃに示すように、人の体がＺ軸周りに回転している方向を指す。
【００３３】
続いて、図３Ａ〜図３Ｃを参照しながら、人体の向きによる異なる特徴について説明する。図３Ａは、正面向きを示す図であり、図３Ｂは、横向きを示す図であり、図３Ｃは、斜め向きを示す図である。図３Ａ〜図３Ｃに示されるように、人はこのような人体の向きの違いによって、体の各部における形状、すなわち角度、長さ、幅等のそれぞれ異なる特徴がある。
【００３４】
次に、図４を参照しながら、人体の向きの８方向定義について説明する。地面をＸ軸とＹ軸でなる平面とみなし、人の胴体をＺ軸に平行であるとみなす。このとき、Ｙ軸の正方向を０度とし、４５度刻みに時計回りで8方向を人体の向きと定義する。
【００３５】
続いて、図５〜図７Ｃを参照しながら、人体の向き推定に有効な特徴について説明する。
まず、１枚の画像から検出された人体の向きを推定するためには、画像から得られる特徴パターンと人体の向きが１対１で対応する必要がある。そこで、人体の向き推定には以下の条件を同時に満たすことが考えられる。
＜条件１＞人体の向きの違いによって、異なるパターン情報が得られる。
＜条件２＞人体の向きを一意的に表すパターンは、人の手や足の動きで影響を受けにくい。
【００３６】
図５は、人体の向きの推定に有効な情報の比較を示す表である。全身または上半身の領域部分は、条件１を満たすものの、手や足の動きで画像上写りのパターンが不特定に変化するため条件２は満たさない。肩以上の部分は、人の足や手の動きによって影響を受けにくいことから、条件１と２を満たす。また、肩以上の部分は、監視カメラなどを用いた場合に遮蔽される確率が低く最も安定して撮像される確率が高い。
【００３７】
図６Ａ〜図７Ｃに、人体の向きの推定に有効な特徴を示す。図６Ａ〜図６Ｃは、胴体の場合を示す図である。図６Ａは、胴体の場合の体全体を示す図であり、図６Ｂは、胴体の場合の上半身を示す図であり、図６Ｃは、胴体の場合の肩周り部分を示す図である。図７Ａ〜図７Ｃは輪郭の場合を示す図であり、それぞれ図６Ａ〜図６Ｃに対応している。図７Ａは、輪郭の場合の体全体を示す図であり、図７Ｂは、輪郭の場合の上半身を示す図であり、図７Ｃは、輪郭の場合の肩周り部分を示す図である。
【００３８】
ここで、画像上において見える頭部と肩部分は、以下の（１）〜（３）のような特徴を持つ。
（１）肩がカメラ側から前後一列になる(横向き)ときは左右輪郭線間が狭く、肩がカメラ側から左右に並ぶときは左右輪郭線間が広い。
（２）頭部を中心とした左右の肩周りの輪郭線は、人体の向きによって同じ高さか一方が高い。
（３）頭部の顔が見える場合は、顔の輪郭特徴で頭部領域内のエッジが多く、頭部の顔が見えない場合は、頭部領域内のエッジ量が少ない。
【００３９】
そこで、画像上の肩周りの輪郭線でなす角度の大きさが狭いか広いかを判断することと、左右肩周りのどちらが高いかを判断することと、頭部に顔を含むか含まないかを判断することとを有し、これらで構成される画像特徴と人体の向きの対応表に基づいて、人体の向きを推定することによって、同一人物の同定に有効な特徴情報を提供することが可能である。
【００４０】
本実施形態に係る人体の向きを推定するための画像処理方法は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、予め画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。
【００４１】
更に、画像特徴を算出することは、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。また、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。更にまた、頭部に顔を含むか否かを判定する。
【００４２】
更に、画像特徴を算出することは、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、頭部のエッジ量を求め、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。
【００４３】
以下、図８Ａ〜図１７Ｂを参照しながら、本実施形態に係る人体の向きを推定するための画像処理方法について詳細に説明する。
まず、この実施例において用いる用語について簡単に説明する。
背景画像：天井、壁など見え方が変化しない、人が映っていない画像。
対象領域：画像から検出された頭部と肩部分の領域。
【００４４】
次に、人体の向きを推定するための画像処理方法における処理の実施例について、下記の（１）〜（１１）によって説明する。図８Ａ〜図８Ｄは、人体の向きを推定するための画像処理方法における処理の実施例を示す図である。図８Ａは、検出された人の領域を示す図であり、図８Ｂは、対象領域を示す図あり、図８Ｃは、エッジ検出による輪郭線を示す図であり、図８Ｄは、直線検出で求めた角度を示す図である。
【００４５】
（１）入力画像から人を検出する（図８Ａ参照）。ここで、入力画像から人を検出する方法は、例えば、非特許文献３に記載されているように、予め準備した人が存在しない画像（背景画像）を入力画像から差し引いた背景差分画像により、移動体の人の領域を前景として抽出する方法を用いることができる。例えば、背景画像を用いて出現物体から分離するためのフィルタ処理として、背景画像と対象画像との間の類似部分と非類似部分を画素ごとに判定するための統計量を定義し、明度変動の影響を抑えながら画素単位の分解能で局所的なテクスチャを評価する方法が知られている（非特許文献３参照）。また、例えば、移動体の領域を検出する方法を用いることができる。また、認識対象が人らしい特徴モデルであることを利用して、人の輪郭を前景として抽出する方法を用いることができる。
更に、例えば、非特許文献４に記載されているように、人の特徴を学習し、入力画像から人の特徴を抽出する方法を用いることができる。例えば、Ｂｏｏｓｔｉｎｇに基づく特徴量の共起表現による人検出法として、弱識別器の出力が連続値である方法を用いて、出力を演算子によって結合した共起表現による人検出法が知られている（非特許文献４参照）。
【００４６】
（２）検出された人の対象領域（頭部と肩部分）を検出する（図８Ｂ参照）。検出された人の領域に対しては、人の身長を基に、肩に相当する位置は比例的に決まるので、その部分を人の頭部及び肩部分（以下対象領域とする）とすることができる。例えば、非特許文献５に記載されているように、逆投影法とカルマンフィルタを用いて、画像上の人の領域から、３次元上の人の位置を得ることができ、人の３次元上の頭部位置を基に、画像上人の対象領域を推定することができる。例えば、多視点画像を用いて複数移動物体の位置認識及び追跡を行う方法として、物体の運動予測と対応付けを用いる方法が知られている（非特許文献５参照）。
また、例えば、人の身長をＨとした場合、肩以上の範囲をＨ〜Ｈ＊７／８に設定し、人の対象領域を求めることができる。
あるいは、画像上頭部と肩部分が示すオメガ（Ω）形状を検出することで、対象領域を推定することができる。例えば、非特許文献４に記載されているように、頭部と肩を含む部分とそれ以外の部分の二つのカテゴリに分けて、数多くのサンプルを学習させることで、検出された人の領域画像から認識することが可能である。
【００４７】
（３）対象領域のエッジ画像を求める。検出された対象領域に対してエッジ検出処理を行う。エッジ検出処理は、ＳｏｂｅｌフィルタやＰｒｅｗｉｔｔフィルタなど１次微分（差分）系のフィルタや、Ｌａｐｌａｃｉａｎ（ラプラシアン）フィルタなど２次微分（差分）系のフィルタを用いることができる。
【００４８】
（４）輪郭線を抽出する（図８Ｃ参照）。閾値ＴＨを用いてエッジ画像の２値化処理を行い、肩部分の輪郭線を抽出することができる。この輪郭線上の点をｐ(ｘ,ｙ)とする。
【００４９】
（５）頭部を中央とした左右両側の輪郭線位置で直線を求める（図９参照）。図９は、直線の定義を示す図である。例えば、Ｈｏｕｇｈ（ハフ）変換に基づいて直線を求めることができる。図９の左上に示すように、画像の左上角を原点として、画像のｘ−ｙ座標上の点ｐ（ｘ,ｙ）を通るすべての直線は、その直線と直角に交わる垂線のｘ軸との角度θと長さρで表わされる。
ρ=ｘ・cosθ＋ｙ・sinθ  ・・・（式１）
上記の式１を用いて、輪郭線上の点ｐ(ｘ,ｙ)を変えながら、θ−ρ空間上の曲線が共有する点（ピーク点）を求めることで、ｘ−ｙ座標上の直線を求める。
【００５０】
（６）求めた左右の直線と画像上Ｘ軸に垂直となる中心線との角度(α及びβ)を算出する（図１０及び図１１参照）。図１０は、左側直線及び角度αの算出方法を示す図である。まず、頭部を中央として求めた左側直線を下記の式２で示すことができる。図１０に示すように、左側直線とｘ軸が交差する交点Ａ(ｘ,ｙ０)を通る垂線を中心線とみなした場合、左側直線と中心線でなす角度αは、左側直線の角度θ１と等しい（式３）。
ρ１=ｘ・cosθ１＋ｙ・sinθ１  ・・・（式２）
α=θ１                        ・・・（式３）
図１１は、右側直線及び角度βの算出方法を示す図である。右側直線を下記の式４で示すことができる。図１１に示すように、右側直線とｘ軸が交差する交点Ｂ（ｘ,ｙ０）を通る垂線を中心線とみなした場合、右側直線と中心線でなす角度βは、左側直線の角度π−θ２と等しい（式５）。
ρ２=ｘ・cosθ２＋ｙ・sinθ２  ・・・（式４）
β=π−θ２                    ・・・（式５）
【００５１】
（７）角度αとβを比較して論理関係を判定する（図１２及び図１３参照）。角度αとβの差分を求め、下記の式６〜式８に基づいて論理関係を判定する。ここでは、誤差範囲を考慮して閾値Ｔｈ１用いる。これを人体の向き対応基準１とする。
|α-β|≦Ｔｈ１  の場合は  α=β・・・（式６）
α-β＜−Ｔｈ１  の場合は  α＜β・・・（式７）
α-β＞Ｔｈ１  の場合は  α＞β・・・（式８）
図１２及び図１３は、左右角度の比較の実施例を示す。図１２は、左右角度の比較１を示す図であり、α＜βの場合である。図１３は、左右角度の比較２を示す図であり、α=βの場合である。
【００５２】
（８）算出した角度αとβの合計を求め、大きさで２分類する（図１４Ａ及び図１４Ｂ参照）。左右両直線間の角度（α＋β）は、所定の閾値Ｔｈ２を設け、閾値Ｔｈ２以上か閾値Ｔｈ２未満かによって２分類する。このとき、角度（α＋β）が閾値Ｔｈ２以上の場合は１（ケース１）とし、閾値Ｔｈ２未満の場合は０（ケース２）とする。これを人体の向き対応基準２とする。なお、閾値Ｔｈ２は、特に限定されるものではないが、例えば、Ｔｈ２＝９０度等とすればよい。
図１４Ａ及び図１４Ｂは、Ｔｈ２＝９０度の場合の実施例における左右両直線間の角度（α＋β）を示す。図１４Ａは、ケース１すなわち（α＋β）≧Ｔｈ２（＝９０度）の場合を示す。図１４Ｂは、ケース２すなわち（α＋β）＜Ｔｈ２（＝９０度）の場合を示す。
【００５３】
（９）頭部の顔向きを判定する（図１５Ａ及び図１５Ｂ参照）。例えば、特許文献２に記載されているような顔画像と非顔画像とを識別する方法を用いることができる。
図１５Ａ及び図１５Ｂは、頭部に顔を含むか否かの判定方法を示す図である。図１４Ａは、頭部に顔を含む場合（前方）を示す図であり、図１５Ｂは、頭部に顔を含まない場合（後方）を示す図である。図１５Ａ及び図１５Ｂに示すように、例えば、エッジ画像から頭部位置のエッジヒストグラムを求め、指定の閾値Ｔｈ２（＝９０度）以上であれば顔が前方向、逆に閾値以下である場合は後ろ向きと判断することができる。但し、左右両直線間の角度(α＋β)がＴｈ２（＝９０度）未満の場合は、顔の向きは判定しない。これを人体の向き対応基準３とする。
【００５４】
（１０）対応表に基づいて人体の向きを推定する（図１９参照）。手順７〜９で求めた対応基準１〜３を用いて、図１６に示すような、画像特徴と人体の向きとの対応表に従って人体の向きを推定する。
図１７Ａ及び図１７Ｂは、人体の向きを推定するための画像処理方法における推定結果を示す図である。図１７Ａは、人体の向きが１３５度と推定された図であり、図１７Ｂは、人体の向きが２２５度と推定された図である。
【００５５】
（１１）推定した人体の向きに対応する特徴を抽出し、同一人物の同定を行う。
このようにして、本実施形態に係る人体の向きを推定するための画像処理方法は、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になるという効果を奏する。
【００５６】
ここで、上記実施の形態による人体の向きを推定するための画像処理装置の動作、及び人体の向きを推定するための画像処理方法の処理をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１８は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１８に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置等がバス３１０を介して接続されている。
【００５７】
ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送信する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。
【００５８】
外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬型記録媒体３１６に記録されている所定の制御プログラムを、記録媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｎｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。
【００５９】
上記それぞれの実施の形態による人体の向きを推定するための画像処理方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶される。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、画像検出の動作を行う。このとき、画像検出の処理をＣＰＵ３０２に行わせるための制御プログラムは、予め外部記憶装置３１２に記憶されている。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。
【００６０】
続いて、上記の画像処理方法をコンピュータに行わせるプログラムについて説明する。
本実施形態に係るプログラムは、以下の処理をコンピュータに実行させる。この処理は、まず、画像から検出された人の肩周りの領域の輪郭線を求める。次に、得られた輪郭線から画像特徴を算出する。そして、画像特徴と人体の向きとの対応関係を示す情報が記憶されており、その対応関係を示す情報に基づいて、算出された画像特徴から人体の向きを推定する。
【００６１】
更に、画像特徴を算出することは、画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する。また、第１の角度と第２の角度とを比較するとともに、第１の角度と第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する。更にまた、頭部に顔を含むか否かを判定する。
【００６２】
更に、画像特徴を算出することは、頭部を中央とした左右の輪郭線を通る二つの直線を求め、二つの直線と中心線でなす角度をそれぞれ第１の角度及び第２の角度として算出し、頭部のエッジ量を求め、二つの直線でなす角度の大きさと、第１の角度及び第２の角度の大きさの論理関係と、頭部のエッジ量とから顔の方向を判定することができる。
【００６３】
図１９及び図２０に処理の流れを示す。具体的な処理の流れは下記のとおりである。
図１９について説明する。図１９は、本実施形態に係るプログラムの処理内容の全体を図解したフローチャートである。
【００６４】
まず、Ｓ１００において、画像入力部１０４は、カメラ１０２が撮影した画像を電気信号に変換した画像データを取得する。また、人体の向きを推定するための画像処理装置１０は、カメラ１０２と接続せずに、クラウド上のサーバ等から画像データを取得することもできる。
【００６５】
なお、カメラ１０２は、ネットワークを介して人体の向きを推定するための画像処理装置１０と接続されてもよく、人体の向きを推定するための画像処理装置１０に直接接続されてもよい。
【００６６】
次に、Ｓ１０２及びＳ１０４において、検出部１０６は、画像入力部１０４が取得した画像を受信し、以下のような前処理を行う。まず、Ｓ１０２において、移動体検出部１０６２は、画像入力部１０４が取得した入力画像から対象人物を検出する。続いて、Ｓ１０４において、頭部及び肩領域検出部１０６４は、検出された対象人物の画像領域において、対象人物の頭部及び肩部分に相当する領域を選択し、輪郭線を検出する。
【００６７】
続いて、Ｓ１０６〜Ｓ１１２において、画像特徴算出部１０８は、検出部１０６によって前処理が施された画像を受信し、画像の特徴を算出する。まず、Ｓ１０６において、肩輪郭の角度算出部１０８２は、肩周りの輪郭線に近似する、左右の直線を求める。続いて、Ｓ１０８において、肩輪郭の角度算出部１０８２は、二つの直線と中心線でなす角度の大きさを比較する。次に、Ｓ１１０において、肩の傾き算出部１０８４は、二つの直線がなす角度を求める。更に、Ｓ１１２において、顔領域の判定部１０８６は、頭部のエッジ画像が顔を含むか否かを判定する。例えば、頭部のエッジヒストグラムを求め、顔が前向きか後向きかを判断すればよい。
【００６８】
続いて、Ｓ１１４において、判定部１１０は、予め記憶部１０９に記憶されている画像特徴と人体の向きとの対応関係を示す情報（図６参照）に基づいて、画像特徴算出部１０８によって算出された画像特徴から人体の向きを推定する。
【００６９】
ここで、図２０を参照しながら、画像特徴と人体の向きの対応表に基づいて人体の向きを推定する処理内容について更に詳細に説明する。
まず、Ｓ２００において、判定部１１０は、角度α及びβの大きさを比較する。Ｓ２００における比較の結果、α＜βならば、Ｓ２０２に進み、α＝βならば、Ｓ２０４に進み、α＞βならば、Ｓ２０６に進む。
【００７０】
Ｓ２０２において、判定部１１０は、（α＋β）≧閾値Ｔｈ２であるか否かを判定する。ここで、判定の結果がＮＯ、すなわち（α＋β）＜閾値Ｔｈ２である場合、人体の向き９０度と判定する。判定の結果がＹＥＳ、すなわち（α＋β）≧閾値Ｔｈ２である場合、Ｓ２０８に進む。Ｓ２０８において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２０８の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き３１５度と判定する。Ｓ２０８の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き１３５度と判定する。
【００７１】
Ｓ２０４において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２０４の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き０度と判定する。Ｓ２０４の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き１８０度と判定する。
【００７２】
Ｓ２０６において、判定部１１０は、（α＋β）≧閾値Ｔｈ２であるか否かを判定する。ここで、判定の結果がＮＯ、すなわち（α＋β）＜閾値Ｔｈ２である場合、人体の向き２７０度と判定する。判定の結果がＹＥＳ、すなわち（α＋β）≧閾値Ｔｈ２である場合、Ｓ２１０に進む。Ｓ２１０において、判定部１１０は、顔向きが前方か否かを判定する。Ｓ２１０の判定の結果がＹＥＳ、すなわち顔向きが前方の場合、人体の向き４５度と判定する。Ｓ２１０の判定の結果がＮＯ、すなわち顔向きが前方ではない場合、人体の向き２２５度と判定する。
【００７３】
最後に、Ｓ１１６において、出力部１１２は、判定部１１０が推定した結果を出力する。
【００７４】
このようにして、本実施形態に係るプログラムは、対象人物の手や足の動きに影響されない画像特徴を用いて、１枚の画像において対象人物の肩領域から人体の向きを推定することができる。また、人体の向き毎に人の特徴を取得することで、同一人物の同定に有効な特徴情報が提供できる。更に、人体の向き毎に異なる人の画像特徴を抽出することで、異なるカメラ画像における同一人物の同定が可能になる。
【００７５】
本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、ＰＣ上で動作をするプログラムの提供だけでなく、クラウド上のサーバによるサービスの提供であってもよい。また、画像検出の方法は上記に限定されるものではなく、公知の別の方法を用いてもよい。詳細処理の方法も、公知の別の方法を用いてもよい。
【００７６】
なお、以上までに説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
画像から検出された人の肩周りの領域の輪郭線を求める検出部と、
前記検出部で得られた輪郭線から画像特徴を算出する画像特徴算出部と、
画像特徴と人体の向きとの対応関係を示す情報を記憶する記憶部と、
前記対応関係を示す情報に基づいて、前記画像特徴算出部によって算出された画像特徴に対応する人体の向きを求める判定部と、
を備えていることを特徴とする画像処理装置。
（付記２）
前記画像特徴算出部は、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出する肩輪郭の角度算出部と、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定する肩の傾き算出部と、
前記頭部に顔を含むか否かを判定する顔領域の判定部と、
を備えている、付記１に記載の画像処理装置。
（付記３）
更に、前記肩輪郭の角度算出部は、頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記顔領域の判定部は、頭部のエッジ量を求め、
前記画像特徴算出部は、前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
処理をコンピュータに実行させるプログラム。
（付記５）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記４に記載のプログラム。
（付記６）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記４に記載のプログラム。
（付記７）
コンピュータによって実行される画像処理方法であって、
画像から検出された人の肩周りの領域の輪郭線を求め、
前記得られた輪郭線から画像特徴を算出し、
記憶部に記憶された、画像特徴と人体の向きとの対応関係を示す情報に基づいて、前記算出された画像特徴から人体の向きを求める、
ことを特徴とする画像処理方法。
（付記８）
更に、前記画像特徴を算出することは、
前記画像上の右の肩周りの輪郭線でなす第１の角度と、左の肩周りの輪郭線でなす第２の角度とを算出し、
前記第１の角度と前記第２の角度とを比較するとともに、前記第１の角度と前記第２の角度とを合わせた角度が所定の閾値より大きいか否かを判定し、
前記頭部に顔を含むか否かを判定する、
ことを含む、付記７に記載の画像処理方法。
（付記９）
更に、前記画像特徴を算出することは、前記頭部を中央とした左右の輪郭線を通る二つの直線を求め、前記二つの直線と中心線でなす角度をそれぞれ前記第１の角度及び前記第２の角度として算出し、
前記頭部のエッジ量を求め、
前記二つの直線でなす角度の大きさと、前記第１の角度及び前記第２の角度の大きさの論理関係と、前記頭部のエッジ量とから顔の方向を判定する、
ことを含む、付記７に記載の画像処理方法。
【符号の説明】
【００７７】
１０  画像処理装置
１０２  カメラ
１０４  画像入力部
１０６  検出部
１０６２  移動体検出部
１０６４  頭部及び肩領域検出部
１０８  画像特徴算出部
１０８２  肩輪郭の角度算出部
１０８４  肩の傾き算出部
１０８６  顔領域の判定部
１０９  記憶部
１１０  判定部
１１２  出力部
【図１】
2014092886.tif 000003
【図２Ａ】
2014092886.tif 000004
【図２Ｂ】
2014092886.tif 000005
【図２Ｃ】
2014092886.tif 000006
【図３Ａ】
2014092886.tif 000007
【図３Ｂ】
2014092886.tif 000008
【図３Ｃ】
2014092886.tif 000009
【図４】
2014092886.tif 000010
【図５】
2014092886.tif 000011
【図６Ａ】
2014092886.tif 000012
【図６Ｂ】
2014092886.tif 000013
【図６Ｃ】
2014092886.tif 000014
【図８Ａ】
2014092886.tif 000015
【図８Ｂ】
2014092886.tif 000016
【図１６】
2014092886.tif 000017
【図１８】
2014092886.tif 000018
【図１９】
2014092886.tif 000019
【図２０】
2014092886.tif 000020
【図７Ａ】
2014092886.tif 000021
【図７Ｂ】
2014092886.tif 000022
【図７Ｃ】
2014092886.tif 000023
【図８Ｃ】
2014092886.tif 000024
【図８Ｄ】
2014092886.tif 000025
【図９】
2014092886.tif 000026
【図１０】
2014092886.tif 000027
【図１１】
2014092886.tif 000028
【図１２】
2014092886.tif 000029
【図１３】
2014092886.tif 000030
【図１４Ａ】
2014092886.tif 000031
【図１４Ｂ】
2014092886.tif 000032
【図１５Ａ】
2014092886.tif 000033
【図１５Ｂ】
2014092886.tif 000034
【図１７Ａ】
2014092886.tif 000035
【図１７Ｂ】
2014092886.tif 000036