(57)【要約】【課題】人物シルエット画像から人物の姿勢や各部位を正確に検出することができる人物姿勢推定装置、方法およびプログラムを提供する。【解決手段】人物の輪郭線が識別できる人物シルエット画像から当該人物の姿勢を推定する人物姿勢推定装置１であって、人物シルエット画像から人物の輪郭線を検出し、解析する輪郭解析処理手段３と、解析結果に基づき、輪郭線に外接する最小四角形および短辺の中点を結ぶ線分を検出する最小外接四角形検出手段５と、最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段７と、スケルトン処理画像および短辺の中点を結ぶ線分にハフ変換を施して、ハフパラメータを生成するハフ変換処理手段９と、ハフパラメータの比較結果に基づいた線分をボーン軸として検出する人物中心線検出手段１１と、を備えた。【選択図】      図１
2004164480.tif 000002
【特許請求の範囲】
【請求項１】
人物の輪郭線が識別できる人物シルエット画像から当該人物の姿勢を推定する人物姿勢推定装置であって、
前記人物シルエット画像から人物の輪郭線を検出し、検出した人物の輪郭線を解析する輪郭解析処理手段と、
この輪郭解析処理手段で解析した解析結果に基づき、前記人物の輪郭線に外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を検出する最小外接四角形検出手段と、
この最小外接四角形検出手段で検出された最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段と、
このスケルトン化処理手段で生成されたスケルトン処理画像および前記最小四角形の短辺の中点を結ぶ線分に、ハフ変換を施して、ハフパラメータを生成するハフ変換処理手段と、
前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと、前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を前記人物の中心線であるボーン軸として検出する人物中心線検出手段と、
を備えることを特徴とする人物姿勢推定装置。
【請求項２】
前記人物中心線検出手段で検出されたボーン軸に基づいて、前記人物の頭部、脚部、腕部の少なくとも一部位を、前記ハフパラメータにより検出する人物各部位検出処理手段を備えることを特徴とする請求項１に記載の人物姿勢推定装置。
【請求項３】
前記ハフパラメータによって、前記人物シルエット画像における前記人物を表現するパラメトリック表現手段を備えることを特徴とする請求項１または請求項２に記載の人物姿勢推定装置。
【請求項４】
前記ハフパラメータと、予め設定された人物のモデルデータとに基づいて、前記人物シルエット画像に近似した人物シルエット近似画像を再現する近似画像再現手段を備えることを特徴とする請求項３に記載の人物姿勢推定装置。
【請求項５】
人物のシルエットを含む人物シルエット画像によって描画されている人物の姿勢を推定する人物姿勢推定方法であって、前記シルエットの輪郭形状に基づいて、当該輪郭形状に外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を算出するステップと、前記最小四角形で囲まれた領域の人物シルエット画像にスケルトン処理を施すステップと、前記スケルトン処理により取得したスケルトン処理画像および前記最小四角形の短辺の中点を結ぶ線分にハフ変換を施してハフパラメータを取得するステップと、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を人物の中心線とするステップと、前記人物の中心線に基づいて人物の姿勢を推定することを特徴とする人物姿勢推定方法。
【請求項６】
人物を被写体とした人物シルエット画像を入力画像として画像処理を施す装置を、
前記人物シルエット画像から人物シルエットを検出し、検出した人物シルエットの輪郭を解析する輪郭解析処理手段、
この輪郭解析処理手段で解析した解析結果に基づき、前記人物シルエットに外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を検出する最小外接四角形検出手段、
この最小外接四角形検出手段で検出された最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段、
このスケルトン化処理手段で生成されたスケルトン処理画像および当該最小四角形の短辺の中点を結ぶ線分に、ハフ変換を施して、ハフパラメータを生成するハフ変換処理手段、
前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと、前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を前記人物の中心線であるボーン軸として検出する人物中心線検出手段、
この人物中心線検出手段で検出されたボーン軸に基づいて、前記人物の頭部、脚部、腕部の少なくとも一部位を、前記ハフパラメータにより検出する人物各部位検出処理手段、
前記ハフパラメータによって、前記人物シルエット画像における前記人物を表現するパラメトリック表現手段、
このパラメトリック表現手段で表現されたハフパラメータと、予め設定された人物のモデルデータとに基づいて、前記人物シルエット画像に近似した人物シルエット近似画像を再現する近似画像再現手段、
として機能させることを特徴とする人物姿勢推定プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理に用いられる装置に係り、特に、人物シルエット画像から人物の姿勢を推定する人物姿勢推定装置、人物姿勢推定方法および人物姿勢推定プログラムに関する。
【０００２】
【従来の技術】
従来、人物を被写体とした人物画像、とりわけ、当該人物の輪郭線が正確に識別できる人物シルエット画像から、人物の頭部や脚部等の部位を検出する部位検出方法では、輪郭形状解析処理（非特許文献１参照）、或いは、スケルトン処理（非特許文献２参照）のいずれかの処理が施されて、頭部や脚部等の部位が検出されていた。
なお、輪郭形状解析処理は、人物シルエット画像に描かれている人物の輪郭線の凹凸を解析して、人物の輪郭線で囲まれる領域を確定する処理のことである。また、スケルトン処理は、人物シルエット画像に描かれている人物から、レントゲン写真のように、あたかも当該人物の骨格だけを抽出した複数の直線として、当該人物を描画する処理のことである。
【０００３】
また、画像処理した画像を蓄積したり、遠方に送信したりするために、画像を圧縮する画像圧縮手法については、従来、圧縮した圧縮画像を、元々の画像である原画像に復号する際に、当該原画像の画素レベルまで再現可能にすることを目的としたＭＰＥＧ−２等の画像圧縮手法（非特許文献３参照）が広く用いられている。
【０００４】
【非特許文献１】
Ｉ．Ｈａｒｉｔａｏｇｌｕ，Ｄ．Ｈａｒｗｏｏｄ，Ｌ．Ｓ．Ｄａｖｉｓ，“Ｗ４：Ｒｅａｌ−Ｔｉｍｅ  ｓｕｒｖｅｉｌｌａｎｃｅ  ｏｆＰｅｏｐｌｅ  ａｎｄ  Ｔｈｅｉｒ  ａｃｔｉｖｉｔｉｅｓ”，ＩＥＥＥ  Ｔｒａｎｓ．ＰＡＭＩ，Ｖｏｌ．２２，Ｎｏ．８，Ａｕｇｕｓｔ２０００．
【非特許文献２】
Ｊ．Ｒ．Ｐａｒｋｅｒ，“Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ  ａｎｄ  ｃｏｍｐｕｔｅｒ  ｖｉｓｉｏｎ”，Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ，Ｉｎｃ．１９９７
【非特許文献３】
藤原洋編  “マルチメディア情報圧縮”，共立出版，２０００
【０００５】
【発明が解決しようとする課題】
しかしながら、従来の部位検出方法における輪郭形状解析処理およびスケルトン処理を、人物の姿勢を推定する手法として用いると、輪郭形状解析処理では、人物が様々な姿勢を取った場合、この様々な姿勢に対して、人物の輪郭形状だけでは、背骨や関節等の曲がり具合まで正確に検出することができないので、当該人物の姿勢を正確に検出することが困難になると共に、検出される頭部や脚部等の部位が不正確になるという問題がある。また、スケルトン処理では、人物が様々な姿勢を取った場合であっても、人物の姿勢への追従性は良好であり、当該人物の姿勢を正確に検出することができ、頭部や脚部等の部位が正確に検出できるが、当該スケルトン処理に伴うノイズの影響が大きく、スケルトン処理が施された処理結果画像から有効領域を抽出する抽出処理を施さなければならないという問題がある。
【０００６】
さらに、画像圧縮手法についても、一般的に利用されているＭＰＥＧ−２では、圧縮した圧縮画像を、元々の画像である原画像に復号する際に、当該原画像の画素レベルまで再現可能にすることを目的としたものであり、画素レベルを問わずに圧縮画像の主要特徴量から原画像を再現可能にする方法は未だに実用化されていない。つまり、原画像を復号する際に、圧縮画像の全ての情報を復号側に伝送しなければならず、伝送コスト（遠隔地の場合、通信コスト）がかかるという問題がある。
【０００７】
そこで、本発明の目的は前記した従来の技術が有する課題を解消し、人物の姿勢を検出する際に用いられるスケルトン処理から発生する本来不必要な付随処理（スケルトン処理画像から有効領域を抽出する抽出処理）を施すことなく、人物シルエット画像から人物の姿勢や各部位を正確に検出することができ、また、伝送コスト（遠隔地の場合、通信コスト）をかけることなく、人物シルエット画像の圧縮画像の主要特徴量から原画像を再現することができる人物姿勢推定装置、人物姿勢推定方法および人物姿勢推定プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、前記した目的を達成するため、以下に示す構成とした。
請求項１記載の人物姿勢推定装置は、人物の輪郭線が識別できる人物シルエット画像から当該人物の姿勢を推定する人物姿勢推定装置であって、前記人物シルエット画像から人物の輪郭線を検出し、検出した人物の輪郭線を解析する輪郭解析処理手段と、この輪郭解析処理手段で解析した解析結果に基づき、前記人物の輪郭線に外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を検出する最小外接四角形検出手段と、この最小外接四角形検出手段で検出された最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段と、このスケルトン化処理手段で生成されたスケルトン処理画像および前記最小四角形の短辺の中点を結ぶ線分に、ハフ変換を施して、ハフパラメータを生成するハフ変換処理手段と、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと、前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を前記人物の中心線であるボーン軸として検出する人物中心線検出手段と、を備えることを特徴とする。
【０００９】
かかる構成によれば、まず、輪郭解析処理手段で人物シルエット画像から人物の輪郭線が検出され、検出された人物の輪郭線が解析される。続いて、最小外接四角形検出手段で、輪郭解析処理手段にて解析された人物の輪郭線に外接する四角形が検出される。この輪郭解析処理手段および最小外接四角形検出手段は、輪郭形状処理（Ｃｏｎｖｅｘ  Ｈｕｌｌ  ＆  Ｃｏｎｃａｖｅ−ｃｏｎｖｅｘ  Ａｎａｌｙｓｉｓ）に相当するもので、人物を囲む最小の四角形領域を設定するものである。また、最小外接四角形検出手段で、四角形を検出すると共に、当該四角形（四角形領域）の対角線を通り、短辺の中点を結ぶ線分（メディアン軸）が検出される。
【００１０】
そして、スケルトン化処理手段で、最小四角形で規定された領域のみについてスケルトン処理が施され、スケルトン処理画像が生成される。このスケルトン化処理手段では、人物シルエット画像の最小四角形領域における人物のシルエットが、複数の直線からなる線画像とされる。そしてまた、ハフ変換処理手段で、スケルトン処理画像および最小四角形の短辺の中点を結ぶ線分（メディアン軸）にハフ変換が施され、ハフパラメータ（線画像中の複数の直線を複数の点に変換した際のパラメータ）が生成される。なお、このハフ変換処理手段で、最小外接四角形検出手段にて検出されたメディアン軸にハフ変換が施されたものをメディアン軸ハフパラメータとする。
【００１１】
その後、人物中心線検出手段で、メディアン軸ハフパラメータと、スケルトン処理画像のハフパラメータとが比較され、比較された結果に基づいた線分が人物の中心線であるボーン軸（背骨に該当する）として検出される。つまり、この人物中心線検出手段では、ハフ変換処理手段にて生成した複数のハフパラメータと、最小外接四角形検出手段にて検出されたメディアン軸がハフ変換処理手段で処理されたメディアン軸ハフパラメータとをハフ空間にて比較し、メディアン軸ハフパラメータの近傍にあるものを抽出し、抽出したハフパラメータと一致した（一定範囲内にある）スケルトン処理画像の部分をボーン軸（メイン軸）として検出するものである。
【００１２】
請求項２記載の人物姿勢推定装置は、請求項１に記載の人物姿勢推定装置において、前記人物中心線検出手段で検出されたボーン軸に基づいて、前記人物の頭部、脚部、腕部の少なくとも一部位を、前記ハフパラメータにより検出する人物各部位検出処理手段を備えることを特徴とする。
【００１３】
かかる構成によれば、人物各部位検出処理手段で、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフ変換手段によって変換されたハフパラメータによって検出される。なお、予め、ボーン軸（背骨に該当する）の近傍には、人物の頭部、脚部、腕部が存在することが記録されており、すなわち、ボーン軸の延長上（上方）に位置するハフパラメータで示される頭部、ボーン軸の延長上（下方）に位置する纏まりのある２つのハフパラメータで示される脚部、ボーン軸にほぼ直交するハフパラメータで示される腕部があることが記録されている。
【００１４】
請求項３記載の人物姿勢推定装置は、請求項１または請求項２に記載の人物姿勢推定装置において、前記ハフパラメータによって、前記人物シルエット画像における前記人物を表現するパラメトリック表現手段を備えることを特徴とする。
【００１５】
かかる構成によれば、パラメトリック表現手段で、ハフパラメータによる直線群によって、人物シルエット画像に描画されている人物が表現される。例えば、このハフパラメータによる直線群を、通信回線網（ネットワーク）を介して、伝送して、この伝送されたハフパラメータによる直線群を受信した側で、人物シルエット画像に描かれている人物の各部位のモデルデータを記録していれば、このハフパラメータによる直線群のみを受信することで、人物シルエット画像に描かれている人物をハフパラメータによる直線群およびモデルデータによって、再現することができる。
【００１６】
請求項４記載の人物姿勢推定装置は、請求項３に記載の人物姿勢推定装置において、前記ハフパラメータと、予め設定された人物のモデルデータとに基づいて、前記人物シルエット画像に近似した人物シルエット近似画像を再現する近似画像再現手段を備えることを特徴とする。
【００１７】
かかる構成によれば、近似画像再現手段で、ハフパラメータとモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像が再現される。なお、この近似画像再現手段およびモデルデータを、当該装置にネットワークを介して接続される端末が備えていれば、ハフパラメータを送信するだけで、当該端末にて人物シルエット近似画像を再現させることができる。
【００１８】
請求項５記載の人物姿勢推定方法は、人物のシルエットを含む人物シルエット画像によって描画されている人物の姿勢を推定する人物姿勢推定方法であって、前記シルエットの輪郭形状に基づいて、当該輪郭形状に外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を算出するステップと、前記最小四角形で囲まれた領域の人物シルエット画像にスケルトン処理を施すステップと、前記スケルトン処理により取得したスケルトン処理画像および前記最小四角形の短辺の中点を結ぶ線分にハフ変換を施してハフパラメータを取得するステップと、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を人物の中心線とするステップと、前記人物の中心線に基づいて人物の姿勢を推定することを特徴とする。
【００１９】
この方法によれば、人物シルエット画像のシルエットの輪郭形状が解析され、この輪郭に外接する最小四角形およびこの最小四角形の短辺の中点を結ぶ線分が算出される。そして、この四角形で囲まれた人物シルエット画像からスケルトン画像が取得され、このスケルトン画像および最小四角形の短辺の中点を結ぶ線分にハフ変換が施され、ハフパラメータが取得される。その後、最小四角形の短辺の中点を結ぶ線分のパラメータとスケルトン処理画像のハフパラメータとを比較した結果に基づいた線分が人物の中心線として検出され、この人物の中心線に基づいて人物の姿勢が推定される。
【００２０】
請求項６記載の人物姿勢推定プログラムは、人物を被写体とした人物シルエット画像を入力画像として画像処理を施す装置を、以下に示す手段として機能させることを特徴とする。当該装置を機能させる手段は、前記人物シルエット画像から人物シルエットを検出し、検出した人物シルエットの輪郭を解析する輪郭解析処理手段、この輪郭解析処理手段で解析した解析結果に基づき、前記人物シルエットに外接する最小四角形および当該最小四角形の短辺の中点を結ぶ線分を検出する最小外接四角形検出手段、この最小外接四角形検出手段で検出された最小四角形内にて、スケルトン化処理を施してスケルトン処理画像を生成するスケルトン化処理手段、このスケルトン化処理手段で生成されたスケルトン処理画像および当該最小四角形の短辺の中点を結ぶ線分に、ハフ変換を施して、ハフパラメータを生成するハフ変換処理手段、前記最小四角形の短辺の中点を結ぶ線分のハフパラメータと、前記スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分を前記人物の中心線であるボーン軸として検出する人物中心線検出手段、この人物中心線検出手段で検出されたボーン軸に基づいて、前記人物の頭部、脚部、腕部の少なくとも一部位を、前記ハフパラメータにより検出する人物各部位検出処理手段、前記ハフパラメータによって、前記人物シルエット画像における前記人物を表現するパラメトリック表現手段、このパラメトリック表現手段で表現されたハフパラメータと、予め設定された人物のモデルデータとに基づいて、前記人物シルエット画像に近似した人物シルエット近似画像を再現する近似画像再現手段、である。
【００２１】
かかる構成によれば、輪郭解析処理手段で人物シルエット画像から人物の輪郭線が検出され、検出された人物の輪郭線が解析される。続いて、最小外接四角形検出手段で、輪郭解析処理手段にて解析された人物の輪郭線に外接する最小四角形およびこの最小四角形の短辺の中点を結ぶ線分が検出される。さらに、この最小外接四角形検出手段で、最小四角形の対角線を通り、短辺の中点を結ぶメディアン軸が検出される。スケルトン化処理手段で、最小四角形で規定された領域のみについてスケルトン処理が施され、スケルトン処理画像が生成される。そしてまた、ハフ変換処理手段で、スケルトン処理画像および最小四角形の短辺の中点を結ぶ線分にハフ変換が施され、ハフパラメータが生成される。その後、人物中心線検出手段で、最小四角形の短辺の中点を結ぶ線分ハフパラメータと、スケルトン処理画像のハフパラメータとを比較した結果に基づいた線分が人物の中心線であるボーン軸（背骨に該当する）として検出される。さらに、人物各部位検出処理手段で、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフ変換手段によって変換されたハフパラメータによって検出される。さらにまた、パラメトリック表現手段で、ハフパラメータによる直線群によって、人物シルエット画像に描画されている人物が表現される。そしてまた、近似画像再現手段で、ハフパラメータとモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像が再現される。
【００２２】
【発明の実施の形態】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
（人物姿勢推定装置の構成）
図１は人物姿勢推定装置のブロック図である。この図１に示すように、人物姿勢推定装置１は、入力された人物シルエット画像から人物の姿勢を推定するもので、輪郭解析処理手段３と、最小外接四角形検出手段５と、スケルトン化処理手段７と、ハフ変換処理手段９と、人物中心線検出手段１１と、人物各部位検出処理手段１３と、パラメトリック表現手段１５と、送信手段１７と、近似画像再現手段１９と、記録手段２１とを備えている。なお、人物シルエット画像は、クロマキー手法等のオブジェクト抽出手法で人物の画像が抽出されたもので、当該人物の輪郭線が正確に識別できるものである。
【００２３】
輪郭解析処理手段３は、入力された人物シルエット画像に描かれている人物の輪郭線について、凹凸部の凸部分のみを辿る処理を施して、この凸部分のみを辿った結果、凸部分によって囲まれた箇所を当該人物の画像とし、人物の輪郭線を識別（解析）するものである。
【００２４】
最小外接四角形検出手段５は、輪郭解析処理手段３によって識別された人物の輪郭線に外接する四角形の中で最小となるものを検出するものである。この四角形で囲まれた所を四角形領域とし、これら輪郭解析処理手段３および最小外接四角形検出手段５によって、人物シルエット画像に描かれている人物の人物形状を構成する各部位は、必ず、この四角形領域に含まれることになる。また、この最小外接四角形検出手段５は、四角形領域の対角線の交点を通り、短辺の中点を結ぶ線分（メディアン軸）を検出するものである。
【００２５】
スケルトン化処理手段７は、人物シルエット画像に描かれている人物の人物形状の骨格部分を、当該人物シルエット画像の四角形領域から忠実に抽出したスケルトン処理画像を生成するものである。通常、スケルトン処理では、人物シルエット画像から抽出された人物の骨格部分は、人物形状の輪郭部分でノイズを多く含んでいると共に、人物シルエット画像から抽出された人物の骨格部分が、背骨部分、頭部、脚部または腕部を表現しているのか特定できない。このため、このスケルトン化処理手段７は、輪郭解析処理手段３および最小外接四角形検出手段５で得られた四角形領域内のみにスケルトン処理を施して、スケルトン処理画像を生成している。
【００２６】
スケルトン化処理は、人物や動物の動きを分析するための処理であり、画像中の人物や動物を、当該人物や動物の主要な骨格に相当する直線群によって表現するものである。
【００２７】
スケルトン処理画像は、人物の骨格部分を示す複数の直線からなるものである。通常、人物の骨格において、最長のものが背骨であるので、スケルトン処理画像では、複数の直線の中で最長の直線を背骨部ととらえることができる。また、この最長の直線（背骨部）に直交する直線を腕部ととらえ、最長の直線の上方にあるものを頭部（顔面部）ととらえ、最長の直線の下方にあるものを脚部ととらえることができる。
【００２８】
ハフ変換処理手段９は、スケルトン化処理手段７で生成されたスケルトン処理画像および最小外接四角形検出手段５で検出されたメディアン軸にハフ変換を施すものである。このハフ変換は、ＸＹ平面（ＸＹＺ空間）上の直線をハフ平面（ハフ空間）上の点に変換するものであり、ハフ平面（ハフ空間）は原点からの距離と、当該直線がＸ軸（１つの軸）となす角度とによって表されるものである。これら原点からの距離およびＸ軸（１つの軸）となす角度がハフパラメータである。つまり、このハフ変換処理手段９では、四角形領域に存在する複数の直線が複数の点に変換され、これらの複数の点がハフパラメータとして表される。なお、メディアン軸を表すハフパラメータをメディアン軸ハフパラメータと表記する。
【００２９】
すなわち、ハフ変換は、直線を検出するための処理であり、ＸＹ平面上の直線を、当該ＸＹ平面の原点から直線に下ろした垂線の長さρと、この垂線がＸ軸となす角θとを用いて表現可能なように、当該直線を変換するものである。この場合の垂線の長さおよび垂線がＸ軸となす角がハフパラメータである。また、ハフ変換とは、厳密には異なるが、例えば、ＸＹ平面上の直線ｙ＝ａｘ＋ｂを、傾きａ、ｙ切片ｂからなる「傾きａ、ｙ切片ｂ」平面（空間）で表現することも可能である。
【００３０】
人物中心線検出手段１１は、ハフ変換処理手段９で処理されたメディアン軸ハフパラメータと、スケルトン処理画像のハフパラメータとを比較して、人物シルエット画像に描かれている人物の中心線を検出するものである。つまり、この人物中心検出手段１１は、ハフ平面（ハフ空間）において、メディアン軸ハフパラメータの近くに位置するハフパラメータを検出し、このハフパラメータによって構成された線分部分をボーン軸（人物中心線、背骨）とするものである。なお、この人物中心線検出手段１１におけるボーン軸の検出の詳細については後記することとする（図５の説明にて行う）。
【００３１】
なお、このハフ平面（ハフ空間）の場合において、メディアン軸ハフパラメータと「近く」に位置するとは、メディアン軸ハフパラメータから、スケルトン処理画像をハフ変換して取得されたハフパラメータまでの距離が予め決められた値の範囲に入ることを指している。そして、この人物中心線検出手段１１は、メディアン軸ハフパラメータからハフパラメータまでの距離が予め決められた値の範囲に入るものだけを選択して処理するものである。
【００３２】
人物各部位検出処理手段１３は、ハフ変換処理手段９で処理されたハフパラメータと、人物中心線検出手段１１で検出されたボーン軸と、記録手段２１に記録されている人物骨格仮定情報とに基づいて、人物の各部位である頭部、脚部、腕部を検出処理するものである。
【００３３】
人物骨格仮定情報は、例えば、ボーン軸（背骨）の上方への延長線上には頭部、或いは、ボーン軸（背骨）の下方への延長線上には脚部が存在するという人物の骨格に関する仮定に基づいた情報である。
【００３４】
また、この人物骨格情報には、頭部（頭）と腕部（手）との部分の切り分けについて、当該頭部または腕部が一方よりも長い方を腕部とすることが含まれている。また、人物各部位検出処理手段１３は、記録手段２１に前回の各部位検出結果を記録しておき、この結果を参照して、人物の各部位を検出することも可能に構成されている。さらに、人物骨格情報には、ボーン軸に接続していて、どの部位にも所属していない部分を腕部とすることが含まれている。
【００３５】
この人物各部位検出処理手段１３の各部位の検出においても、それぞれの部位（頭部、脚部、腕部）の表現は、ボーン軸と同様にハフパラメータでなされる。
【００３６】
パラメトリック表現手段１５は、人物中心線検出手段１１で検出されたメディアン軸ハフパラメータと、人物各部位検出処理手段１３で検出された各部位（頭部、腕部、脚部）のハフパラメータとに基づいて、これらのハフパラメータを直線に再変換し、再変換した直線に置き換えて、人物シルエット画像に描かれている人物を表現するもの（線画によって模擬的に人物を描くこと）である。
【００３７】
送信手段１７は、パラメトリック表現手段１５に供されたメディアン軸ハフパラメータおよび各部位のハフパラメータ、或いは、パラメトリック表現手段１５で表現された線画を、ネットワークを介して外部に送信するものである。
【００３８】
近似画像再現手段１９は、パラメトリック表現手段１５で表現された線画（ハフパラメータが再変換された直線の集まり）と、記録手段２１に記録されている人物のモデルデータとに基づいて、ハフパラメータを人物のモデルデータにマッチングさせて、当該装置１に入力された人物シルエット画像に近似した画像である人物シルエット近似画像を再現するものである。この近似画像再現手段１９で再現された近似画像は、当該装置１から外部に出力可能である。人物のモデルデータは、人物の各部位である頭部、脚部、腕部がＣＧによって、複数パターン描画されたものからなるものである。
【００３９】
記録手段２１は、人物各部位検出処理手段１３で利用される人物骨格情報と、近似画像再現手段１９で利用される人物のモデルデータと、人物各部位検出処理手段１３で検出された前回の各部位検出結果とを記録しているものである。
【００４０】
この人物姿勢推定装置１によれば、輪郭解析処理手段３で人物シルエット画像から人物の輪郭線が検出され、検出された人物の輪郭線が解析される。続いて、最小外接四角形検出手段５で、輪郭解析処理手段３にて解析された人物の輪郭線に外接する四角形が検出される。また、最小外接四角形検出手段５で、最小四角形の対角線を通り短辺の中点を結ぶメディアン軸が検出され、このメディアン軸ハフパラメータが算出される。そして、スケルトン化処理手段７で、最小四角形で規定された領域のみについてスケルトン処理が施され、スケルトン処理画像が生成される。また、ハフ変換処理手段９で、スケルトン処理画像にハフ変換が施され、ハフパラメータが生成される。
【００４１】
その後、人物中心線検出手段１１で、ハフ変換処理手段９にて生成されたハフパラメータによって構成される線分部分が人物の中心線であるボーン軸（背骨に該当する）として検出される。このボーン軸が人物の背骨に相当しており、このボーン軸によって、人物シルエット画像に描かれている人物のおおよその姿勢を推定することができる。例えば、人物シルエット画像に描かれている人物は、直立しているとか（ボーン軸が地表面に対して垂直である）、お辞儀をしている（上半身を前方に傾斜させている；ボーン軸が前方に傾斜している）とかを推定することが可能である。
【００４２】
また、この人物姿勢推定装置１は、人物各部位検出処理手段１３で、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフ変換手段９によって変換されたハフパラメータによって検出される。これによって、人物シルエット画像から人物の姿勢や各部位を正確に検出することができる。
【００４３】
さらに、パラメトリック表現手段１５でハフパラメータによる直線群によって、人物シルエット画像に描画されている人物が線画で表現される。ハフパラメータは、人物シルエット画像の圧縮画像の主要特徴量ということができ、このハフパラメータまたはハフパラメータによる直線群によって、人物シルエット画像を再現することができる。
【００４４】
さらにまた、近似画像再現手段１９で、ハフパラメータと人物のモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像を再現することができる。つまり、ハフパラメータは人物シルエット画像の圧縮画像の主要特徴量ということができるためである。
【００４５】
（人物姿勢推定装置の動作）
次に、図２に示すフローチャートを参照して、人物姿勢推定装置１の動作を説明する（適宜、図１参照）。
まず、人物姿勢推定装置１の輪郭解析手段３に人物シルエット画像が入力され、この輪郭解析手段３で、人物シルエット画像に描かれている人物の輪郭が解析される（Ｓ１）。この輪郭解析手段３にて解析された結果に基づいて、最小外接四角形検出手段５で人物の輪郭に外接する四角形が検出される（Ｓ２）。
【００４６】
続いて、最小外接四角形検出手段５で検出された四角形に囲まれた領域である四角形領域内（最小四角形内）について、スケルトン化処理手段７で、スケルトン処理が施され、スケルトン処理画像が生成される（Ｓ３）。そして、ハフ変換処理手段９で、スケルトン処理画像にハフ変換処理が施され、ハフパラメータが生成される（Ｓ４）。
【００４７】
そして、人物中心線検出手段１１で、ハフ変換処理手段９にて生成されたハフパラメータに基づいて、人物の背骨部に該当する人物中心線（ボーン軸）が検出される（Ｓ５）。なお、当然のことながら、人物中心線の一定範囲（人物中心線を中心軸とみなした略円筒部）が人物の胴体部であるといえる。また、人物各部位検出処理手段１３で、人物中心線検出手段１１にて検出された人物中心線（ボーン軸）を基準として、記録手段２１に記録されている人物骨格情報に基づいて、人物の各部位（頭部、脚部、腕部）のハフパラメータが検出される（Ｓ６）。ただし、例えば、人物中心線検出手段１１で検出された人物中心線（ボーン軸）が地表面に対して、水平（略水平）である場合には、人物骨格情報が適用できない可能性があるため（正確に人物の各部位が検出できない恐れがあるので）、記録手段２１に記録されている人物各部位検出処理手段１３にて検出された前回の各部位検出結果が参照されて、人物の各部位（頭部、脚部、腕部）のハフパラメータが検出される。
【００４８】
そしてまた、パラメトリック表現手段１５で、人物中心線検出手段１１および人物各部位検出処理手段１３にて検出された人物中心線および人物の各部位（頭部、脚部、腕部）のハフパラメータに基づいて、これらのハフパラメータが直線に再変換され、当該人物が線画で表現される（Ｓ７）。さらに、送信手段１７で、パラメトリック表現手段１５にてハフパラメータによって描画した人物またはハフパラメータ自体がネットワークを介して外部機器（図示せず）に送信される（Ｓ８）。
【００４９】
その後、近似画像再現表現手段１９で、パラメトリック表現手段１５にてハフパラメータによって描画した人物と、記録手段２１に記録されている人物のモデルデータとがマッチングされ、人物シルエット近似画像が生成され、外部に出力される（Ｓ９）。
【００５０】
（人物姿勢推定装置によりハフパラメータ（ビット数削減）を伝送する応用例）次に、図３を参照して、人物姿勢推定装置１によりハフパラメータを伝送する応用例について説明する。図３は、人物姿勢推定装置１を含む人物姿勢推定システムの説明図である。
【００５１】
この図３に示すように、人物姿勢推定システムには、人物姿勢推定装置１とネットワークを介して接続される人物姿勢推定端末３１が備えられている。この人物姿勢推定端末３１は、人物姿勢推定装置１から送信（伝送）されたハフパラメータに基づいて、人物シルエット近似画像を出力するもので、ハフパラメータ受信手段３３と、近似画像再現手段３５と、モデル図形データベース３７とを備えている。
【００５２】
ハフパラメータ受信手段３３は、人物姿勢推定装置１から送信（伝送）されたハフパラメータを受信するものである。
【００５３】
近似画像再現手段３５は、ハフパラメータ受信手段３３で、受信されたハフパラメータと、モデル図形データベース３７に蓄積されているモデル図形（人物のモデルデータ）に基づいて、人物シルエット近似画像を生成するものである。
【００５４】
なお、この近似画像再現手段３５は、人物姿勢推定装置１の近似画像再現手段１９（図１参照）とは異なっている。つまり、近似画像再現手段１９（図１参照）がパラメトリック表現手段１５（図１参照）で表現された線画、記録手段２１（図１参照）に記録されている人物のモデルデータとに基づいて、ハフパラメータを人物のモデルデータにマッチングさせて、当該装置１に入力された人物シルエット画像に近似した画像である人物シルエット近似画像を生成するのに対し、この近似画像再現手段３５は、ハフパラメータとモデル図形とによって人物シルエット近似画像を生成するものである。
【００５５】
この図３に示したように、人物姿勢推定端末３１から出力される人物シルエット近似画像は、ボーン軸を中心線にした長方形の胴体部と、この胴体部から下方に位置して２つに分かれている長方形の脚部と、胴体部の上方に位置する円形の頭部と、胴体部の側方の中間地点から延出している２つの長方形の腕部とから構成されている。
【００５６】
モデル図形データベース３７は、モデル図形（人物のモデルデータ）を蓄積するもので、この図３に示したように、このモデル図形は、人物シルエット近似画像の一部分になる、ＣＧ等で生成された“四角形”や“円形”等である。
【００５７】
この人物姿勢推定システム（人物姿勢推定装置１および人物姿勢推定端末３１）によれば、人物姿勢推定装置１の輪郭解析処理手段３（図１参照）の解析結果に対して、最小外接四角形検出手段５（図１参照）で外接する最小四角形が検出され、スケルトン化処理手段７（図１参照）でスケルトン処理が施され、ハフ変換処理手段９（図１参照）でハフ変換が施されたハフパラメータが生成され、人物中心線検出手段１１（図１参照）でボーン軸が抽出される。その後、ハフパラメータが人物姿勢推定端末３１に送信される。
【００５８】
このハフパラメータを受信した人物姿勢推定端末３１では、各部位（頭部、脚部、腕部）に相当するハフパラメータが得られ、このハフパラメータを、モデル図形データベース３７に記録されている人物の各部位（頭部、脚部、腕部）のモデル図形とマッチングさせることで、元々の人物シルエット画像に近似した人物シルエット近似画像を再現することができる。また、人物シルエット画像を送信側からそのまま送信する場合と比較して、ハフパラメータのみを送信（伝送）するだけなので、大幅な伝送量を圧縮することができる。すなわち、ハフパラメータ送信（伝送）によって、圧縮符号化を実現することができる。
【００５９】
（人物シルエット画像の移り変わりについて）
次に、図４を参照して、人物姿勢推定装置１における人物シルエット画像の移り変わりについて説明する。図４（ａ）は、人物シルエット画像を示したものであり、図４（ｂ）は、人物シルエット画像を輪郭解析処理手段３によって輪郭解析した結果、最も外側にある凸部を包含するように人物のシルエットを枠で囲んだ図を示しており、図（ｃ）は、最小外接四角形検出手段５によって、最小外接四角形で人物のシルエットを囲んだ図を示しており、図４（ｄ）は、最小外接四角形で囲まれた四角形領域にスケルトン化処理手段７でスケルトン処理を施して、人物のシルエットの骨格部を表現した図を示している。また、図４（ｄ）に示したＴｈ１，Ｒ１がハフパラメータである。
【００６０】
これら図４（ａ）〜図４（ｄ）における人物シルエット画像に描かれている人物は、当該人物が歩行している状態を当該人物の後方から撮影したものである。これらの図４（ａ）〜図４（ｄ）から人物シルエット画像に描かれている人物の背骨部が前方に傾斜しており、右脚部が胴体部の前に踏み出しており、右腕部が胴体部の前に軽く振り上げられていることが視認できる。そして、図４（ｄ）に示したスケルトン処理の後で、ハフパラメータに変換される。
【００６１】
すなわち、これら図４（ａ）〜図４（ｄ）に示したように、人物姿勢推定装置１では、入力された人物シルエット画像が、輪郭解析処理手段３、最小外接四角形検出手段５およびスケルトン化処理手段７で処理されて、人物シルエット画像に描かれている人物の姿勢を推定することができる。
【００６２】
（人物中心線検出手段におけるボーン軸の検出について）
次に、図５を参照して、人物姿勢推定装置１の人物中心線検出手段１１におけるボーン軸の検出の詳細（仕方）について説明する。
この図５は、ハフ空間を示したものであり、ハフ空間は、縦軸にＸＹ平面における原点から直線までの距離ρ、横軸にＸＹ平面におけるＸ軸と直線とのなす角度θを取ったものである。図５中、“×”がメディアン軸ハフパラメータであり、“・”がハフ変換処理手段９で変換されたハフパラメータである。この図５に示したように、ハフ変換処理手段９で変換されたハフパラメータの中で、メディアン軸ハフパラメータの近傍（一定範囲内）にあるものがボーン軸として、人物中心線検出手段１１で検出される。
【００６３】
以上、一実施形態に基づいて本発明を説明したが、本発明はこれに限定されるものではない。
例えば、人物姿勢推定装置１の各構成の処理を一つずつの過程ととらえた人物姿勢推定方法とみなすことや、人物姿勢推定装置１の各構成の処理を汎用的なコンピュータ言語で記述した人物姿勢推定プログラムとみなすことも可能である。これらの場合、人物姿勢推定装置１と同様の効果を得ることができる。
【００６４】
【発明の効果】
請求項１、５、６記載の発明によれば、最小四角形の領域内だけでスケルトン処理が施されるので、スケルトン処理を施した後で、ノイズを除去するための抽出処理を施す必要がなくなり、さらに、従来の方法のように輪郭解析処理を単独で施した場合に比べて、最小四角形の短辺を結ぶ線分およびスケルトン処理画像から算出したハフパラメータの比較によって人物の中心線であるボーン軸を検出しているので、人物シルエット画像に描かれている人物の姿勢を正確に検出することができる。
【００６５】
請求項２記載の発明によれば、ボーン軸に基づいて、人物の頭部、脚部、腕部の少なくとも一部位が、ハフパラメータによって検出される。このハフパラメータの検出によって、人物シルエット画像から人物の姿勢や各部位を正確に検出することができる。
【００６６】
請求項３記載の発明によれば、パラメトリック表現手段でハフパラメータによる直線群によって、人物シルエット画像に描画されている人物を線画として表現することができる。ハフパラメータによる直線群、または、ハフパラメータは、人物シルエット画像の圧縮画像の主要特徴量であるということができる。例えば、このハフパラメータによる直線群、または、ハフパラメータを、ネットワークを介して伝送して、これらハフパラメータによる直線群、または、ハフパラメータを受信した側で、人物シルエット画像のモデルデータを備えていれば、伝送コスト（遠隔地の場合、通信コスト）をかけることなく、人物シルエット画像の圧縮画像の主要特徴量から原画像を再現することができる。
【００６７】
請求項４記載の発明によれば、近似画像再現手段で、ハフパラメータとモデルデータとに基づいて、人物シルエット画像に近似した人物シルエット近似画像が再現される。つまり、ハフパラメータは人物シルエット画像の圧縮画像の主要特徴量に相当し、このハフパラメータから原画像（人物シルエット画像）を再現することができる。
【図面の簡単な説明】
【図１】本発明による一実施の形態である人物姿勢推定装置のブロック図である。
【図２】図１に示した人物姿勢推定装置の動作を説明したフローチャートである。
【図３】人物姿勢推定装置の応用例を説明した図である。
【図４】人物姿勢推定装置における人物シルエット画像の移り変わりを説明した図である。
【図５】ハフ空間を説明した図である。
【符号の説明】
１        人物姿勢推定装置
３        輪郭解析処理手段
５        最小外接四角形検出手段
７        スケルトン化処理手段
９        ハフ変換処理手段
１１      人物中心線検出手段
１３      人物各部位検出処理手段
１５      パラメトリック表現手段
１７      送信手段
１９      近似画像再現手段
２１      記録手段
３１      人物姿勢推定端末
３３      ハフパラメータ受信手段
３５      近似画像再現手段
３７      モデル図形データベース
【図１】
2004164480.tif 000003
【図２】
2004164480.tif 000004
【図３】
2004164480.tif 000005
【図４】
2004164480.tif 000006
【図５】
2004164480.tif 000007