(57)【要約】  物体の機能を特定するための情報を自動的に生成し提供することが可能な画像処理装置を提供する。画像処理装置（１００）は、被写体を連続で撮影して複数の画像を取得し、画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出する物体抽出部（２１０）と、３次元位置から人物を検出し、当該人物の位置を抽出するとともに、人物の特徴的な各部位の位置からなる部位情報を人物の位置から複数抽出する人物抽出部（２２０）と、部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成する姿勢クラスタリング部（２３０）と、人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が生成された複数の姿勢クラスのうちのいずれに属するかを特定する姿勢クラスタ特定部（２４０）と、特定された姿勢クラスと物体とを対応付けて格納する記憶部とを備える。
2015133206.tif 000002
【特許請求の範囲】
【請求項１】
被写体である人物と物体とにおいて、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供する画像処理装置であって、
被写体を連続で撮影して複数の画像を取得し、前記画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出するための物体抽出部と、
前記３次元位置から人物を検出し、当該人物の位置を抽出するとともに、当該人物の特徴的な各部位の位置からなる部位情報を当該人物の位置から複数抽出するための人物抽出部と、
前記複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成するための姿勢クラスタリング部と、
前記画像に含まれる人物と前記物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、前記姿勢クラスタリング部により生成された複数の姿勢クラスのうちのいずれに属するかを特定するための姿勢クラスタ特定部と、
前記姿勢クラスタ特定部によって特定された姿勢クラスと前記物体とを対応付けて格納するための記憶部とを備える、画像処理装置。
【請求項２】
前記部位情報は、前記画像に含まれる人物の各関節の位置、および、当該人物の各端部の位置の少なくとも一方を含む、請求項１に記載の画像処理装置。
【請求項３】
前記姿勢クラスタリング部は、前記画像に含まれる人物と前記物体との間の距離が所定の範囲内になったことに基づいて、前記姿勢クラスの生成を実行する、請求項１または２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、前記画像に含まれる人物と前記物体との間の距離が前記所定の範囲内になった場合に、当該人物の特徴的な各部位と前記物体との間の相対関係を特定するための相対位置特定部をさらに備え、
前記記憶部は、前記相対位置特定部により特定された相対関係を示す情報と前記物体とを対応付けて格納する、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
人物の特徴的な各部位と前記物体との間の前記相対関係は、前記画像に含まれる人物の各関節と前記物体との間の各距離、および、当該人物の各端部と前記物体との間の各距離の少なくとも一方を含む、請求項４に記載の画像処理装置。
【請求項６】
前記相対位置特定部は、
前記画像に含まれる人物と前記物体との間の距離が所定の範囲内になった場合に、当該人物の各部位と前記物体との間の相対距離の各々が、距離の長さに応じて予め分けられた複数の距離クラスのうちのいずれに属するかを特定し、
特定した各距離クラスを、前記記憶部に格納する前記情報とする、請求項４または５に記載の画像処理装置。
【請求項７】
前記相対位置特定部は、
前記人物抽出部により繰り返し抽出された人物の各部位の位置と前記物体との間の相対距離が互いに類似している集合ごとに距離クラスを生成し、
前記画像に含まれる人物と前記物体との間の距離が所定の範囲内になった場合に、当該人物の各部位と前記物体との間の相対距離の各々が、生成した複数の距離クラスのうちのいずれに属するかを特定し、
特定した各距離クラスを、前記記憶部に格納する前記情報とする、請求項４または５に記載の画像処理装置。
【請求項８】
前記画像処理装置は、異なる２つの物体の各々に対応付けられた前記姿勢クラスが互いに異なる場合には、当該２つの物体が異なる機能を有するものとして特定する機能特定部をさらに備える、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理装置は、異なる２つの物体の各々に対応付けられた前記情報が互いに異なる場合には、当該２つの物体が異なる機能を有するものとして特定する機能特定部をさらに備える、請求項１〜７のいずれか１項に記載の画像処理装置。
【請求項１０】
被写体である人物と物体において、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供する画像処理方法であって、
被写体を連続で撮影して複数の画像を取得し、前記画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出することと、
前記３次元位置から人物を検出し、当該人物の位置を抽出するとともに、当該人物の特徴的な各部位の位置からなる部位情報を当該人物の位置から複数抽出することと、
前記複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成することと、
前記画像に含まれる人物と前記物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、生成された複数の姿勢クラスのうちのいずれに属するかを特定することと、
特定された前記姿勢クラスと前記物体とを対応付けて格納することとを備える、画像処理方法。
【請求項１１】
被写体である人物と物体において、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供する画像処理プログラムであって、
前記画像処理プログラムは、コンピュータに、
被写体を連続で撮影して複数の画像を取得し、前記画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出することと、
前記３次元位置から人物を検出し、当該人物の位置を抽出するとともに、当該人物の特徴的な各部位の位置からなる部位情報を当該人物の位置から複数抽出することと、
前記複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成することと、
前記画像に含まれる人物と前記物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、生成された複数の姿勢クラスのうちのいずれに属するかを特定することと、
特定された前記姿勢クラスと前記物体とを対応付けて格納することとを実行させる、画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供するための画像処理装置、画像処理方法、および、画像処理プログラムに関する。
【背景技術】
【０００２】
近年、画像処理の分野においては、画像に写っている物体の機能を特定するための技術が開発されている。このような技術は、たとえば、インテリアデザインなどに応用されている。物体の機能を特定することは、人にとって使いやすいデザインや形状を知るための手掛かりになる。他にも、このような技術は、環境認識などを行なうロボットに応用される。当該ロボットは、物体の機能を自動的に学習することで、人と同じような学習能力を備えることが可能になる。ところで、物体が有する機能は、物体の種類、または物体の形状に応じて様々である。また、同じ物体であっても、環境に応じて物体の用いられ方が変化する。【０００３】
物体の一例である椅子を挙げてみても、椅子の種類または椅子の形状に応じて様々な機能を有する。たとえば、図１に示される椅子１０１〜１０６は、それぞれが異なる形状を有し、それぞれが異なる機能を有する。椅子１０１は、人物が座るために用いられ得、椅子１０５は、人物が寝るために用いられ得る。また、椅子１０６は、人物が座るためだけでなく、ある環境においては踏み台としても用いられ得る。このように、物体の機能は、物体の種類、物体の形状、環境などに応じて様々である。【０００４】
ところで、人は、物体が有する機能に応じて、当該物体に対してとる姿勢を変化させる。すなわち、物体の機能と、物体に対する人物の姿勢とは密接に関連している。このため、物体に対する人物の姿勢は、物体の機能を特定するための有力な情報になり得る。これを応用して、非特許文献１は、物体に対する人物の姿勢を特定することで物体の機能を推定するための技術を開示している。当該技術は、人物の各関節の３次元情報を取得し、取得した３次元情報が予め登録した姿勢情報のいずれに属するかによって物体に対する人物の姿勢を特定する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】柳澤英樹，林昌希，青木義満、“Action  Print:人間と物体の相互関係による空間の利用法推定”、電気学会電子・情報・システム部門大会講演論文集(CD-ROM)，巻：2012，ページ：ROMBUNNO.TC16-3
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に開示される技術によると、ユーザが、足の角度、腕の角度などを姿勢情報として予め定義しなければならない。姿勢情報は、ユーザによって主観的に定義されるため、正確に姿勢を定義することは極めて困難である。また、非特許文献１に開示される技術は、姿勢情報が登録されていない未知の姿勢を特定することができない。さらに、非特許文献１に開示される技術は、姿勢情報を膨大に登録する場合には多大な労力を必要とし、この場合には、姿勢情報を予め登録することは現実的ではない。したがって、物体に対する人物の姿勢情報を自動的に定義するための技術が必要とされている。【０００７】
この開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、物体の機能を特定するための情報を自動的に生成し提供することが可能な画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
一実施の形態に従うと、被写体である人物と物体とにおいて、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供する画像処理装置は、被写体を連続で撮影して複数の画像を取得し、画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出するための物体抽出部と、３次元位置から人物を検出し、当該人物の位置を抽出するとともに、当該人物の特徴的な各部位の位置からなる部位情報を当該人物の位置から複数抽出するための人物抽出部と、複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成するための姿勢クラスタリング部と、画像に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、姿勢クラスタリング部により生成された複数の姿勢クラスのうちのいずれに属するかを特定するための姿勢クラスタ特定部と、姿勢クラスタ特定部によって特定された姿勢クラスと物体とを対応付けて格納するための記憶部とを備える。【０００９】
好ましくは、部位情報は、画像に含まれる人物の各関節の位置、および、当該人物の各端部の位置の少なくとも一方を含む。【００１０】
好ましくは、姿勢クラスタリング部は、画像に含まれる人物と物体との間の距離が所定の範囲内になったことに基づいて、姿勢クラスの生成を実行する。【００１１】
好ましくは、画像処理装置は、画像に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の特徴的な各部位と物体との間の相対関係を特定するための相対位置特定部をさらに備える。記憶部は、相対位置特定部により特定された相対関係を示す情報と物体とを対応付けて格納する。【００１２】
好ましくは、人物の特徴的な各部位と物体との間の相対関係は、画像に含まれる人物の各関節と物体との間の各距離、および、当該人物の各端部と物体との間の各距離の少なくとも一方を含む。【００１３】
好ましくは、相対位置特定部は、画像に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位と物体との間の相対距離の各々が、距離の長さに応じて予め分けられた複数の距離クラスのうちのいずれに属するかを特定し、特定した各距離クラスを、記憶部に格納する情報とする。【００１４】
好ましくは、相対位置特定部は、人物抽出部により繰り返し抽出された人物の各部位の位置と物体との間の相対距離が互いに類似している集合ごとに距離クラスを生成し、画像に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位と物体との間の相対距離の各々が、生成した複数の距離クラスのうちのいずれに属するかを特定し、特定した各距離クラスを、記憶部に格納する情報とする。【００１５】
好ましくは、画像処理装置は、異なる２つの物体の各々に対応付けられた姿勢クラスが互いに異なる場合には、当該２つの物体が異なる機能を有するものとして特定する機能特定部をさらに備える。【００１６】
好ましくは、画像処理装置は、異なる２つの物体の各々に対応付けられた情報が互いに異なる場合には、当該２つの物体が異なる機能を有するものとして特定する機能特定部をさらに備える。【００１７】
他の実施の形態に従うと、被写体である人物と物体において、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供する画像処理方法は、被写体を連続で撮影して複数の画像を取得し、画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出することと、３次元位置から人物を検出し、当該人物の位置を抽出するとともに、当該人物の特徴的な各部位の位置からなる部位情報を当該人物の位置から複数抽出することと、複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成することと、画像に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、生成された複数の姿勢クラスのうちのいずれに属するかを特定することと、特定された姿勢クラスと物体とを対応付けて格納することとを備える。【００１８】
さらに他の実施の形態に従うと、被写体である人物と物体において、物体に対する人物の姿勢に応じて物体の機能を特定するための情報を提供する画像処理プログラムは、コンピュータに、被写体を連続で撮影して複数の画像を取得し、画像の被写体の３次元位置から物体を検出し、当該物体の位置を抽出することと、３次元位置から人物を検出し、当該人物の位置を抽出するとともに、当該人物の特徴的な各部位の位置からなる部位情報を当該人物の位置から複数抽出することと、複数の部位情報の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成することと、画像に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、生成された複数の姿勢クラスのうちのいずれに属するかを特定することと、特定された姿勢クラスと物体とを対応付けて格納することとを実行させる。
【発明の効果】
【００１９】
本発明によれば、物体の機能を特定するための情報を自動的に生成し提供することができる。【００２０】
本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００２１】
【図１】それぞれが異なる機能を有する椅子の外観を示した図である。
【図２】機能ラベルを付された距離画像の表示態様の一態様を示した図である。
【図３】被写体の３次元位置から得られた人のモデルと姿勢情報とを表した図である。
【図４】第１の実施の形態に従う画像処理装置に接続されたカメラが被写体を撮影している様子を表している図である。
【図５】第１の実施の形態に従う画像処理装置におけるクラスタリング処理の概略を示した図である。
【図６】物体に対する姿勢クラスを特定する処理の概略を示した図である。
【図７】第１の実施の形態に従う画像処理装置のハードウェア構成の一例を示すブロック図である。
【図８】第１の実施の形態に従う画像処理装置の機能構成の一例を示すブロック図である。
【図９】カメラが椅子を撮影している様子を示している図である。
【図１０】人物の特徴的な部位を模式的に表した図である。
【図１１】部位情報から算出された各部位間の相対関係（すなわち、部位間関係）のデータ構造を表した図である。
【図１２】細分化した姿勢クラスを視覚的に表した図である。
【図１３】部位間関係の分布を示した図である。
【図１４】部位間関係の分布を示した図である。
【図１５】姿勢クラスのデータ構造を示した図である。
【図１６】付与されたラベルの表示態様の一例を示す図である。
【図１７】第１の実施の形態に従う画像処理装置が実行する処理の一部を表わすフローチャートである。
【図１８】物体の位置の違いによる物体の機能の違いを説明するための図である。
【図１９】人物の各部位と物体との間の距離を視覚的に示した図である。
【図２０】第２の実施の形態に従う画像処理装置の機能構成の一例を示すブロック図である。
【図２１】姿勢の違いによる物体の機能の違いを説明するための図である。
【図２２】各物体に対して付された姿勢クラスを確認するための画面の表示態様の一例を示した図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ、本実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。なお、以下で説明される各実施の形態、および／または、各変形例は、選択的に組み合わされてもよい。
【００２３】
＜関連技術＞
まず、本発明に係る実施の形態についての理解を深めるために、図２および図３を参照して、本願に係る関連技術に従う画像処理装置について説明する。図２は、機能ラベルを付された距離画像の表示態様の一態様を示した図である。図３は、被写体の３次元位置から得られた人のモデルと姿勢情報とを表した図である。
【００２４】
関連技術に従う画像処理装置は、物体に対する姿勢を識別するためのラベル、または物体の機能を識別するためのラベルを、予め登録された姿勢情報から自動的に付すことができる。より具体的には、当該画像処理装置は、被写体を撮影して得られた被写体の３次元位置から人物の特徴的な部位の位置（以下、「部位情報」ともいう）を抽出する。当該画像処理装置は、抽出した部位情報が、予め登録された姿勢情報３１０のいずれに属するかに応じて、人物の姿勢を特定する。
【００２５】
図３に示されるように、姿勢情報は、たとえば、人物の特徴的な部位の各位置の位置関係で表される。一例として、立ち姿勢「stand」は、左肩位置３０１、左腰位置３０２、および左膝位置３０３で定義される角度θが１８０°、左腰位置３０２、左膝位置３０３、および左足位置３０４で定義される角度φが１８０°として定義される。
【００２６】
関連技術に従う画像処理装置は、人が物体に接触した時の部位情報と、予め登録した姿勢情報３１０として登録されている姿勢（「stand」、「sit」、および「bend」）のそれぞれとの類似度を計算し、類似度の高い姿勢をラベルとして物体に付与する。たとえば、当該画像処理装置は、人物３１が椅子３２に接触した時に、腰を９０度曲げ、かつ足を９０度曲げた状態で座る姿勢をとった場合には、椅子３２に「sit」ラベルが付与される。
【００２７】
これにより、関連技術に従う画像処理装置は、人の姿勢から物体の機能を特定することができる。このような画像処理装置は、インテリアデザインなどへの応用が考えられる。たとえば、物体に対する姿勢情報は、人にとって使いやすいデザインや形状を決定するために用いられる。他にも、当該画像処理装置は、環境認識などにも応用される。当該環境認識は、ロボット工学などへ応用される。ロボットは、物体の機能を自動的に学習することで、人と同じような学習能力を備えることが可能になる。
【００２８】
＜第１の実施の形態＞
［概要］
図４〜図６を参照して、第１の実施の形態に従う画像処理装置１００の概要について説明する。図４は、画像処理装置１００に接続されたカメラ１１０が被写体（後述する人物と物体との両方を含む）を連続して撮影している様子を表している図である。図５は、画像処理装置１００におけるクラスタリング処理の概略を示した図である。図６は、物体に対する姿勢クラスを特定する処理の概略を示した図である。
【００２９】
上述の関連技術に従う画像処理装置は、姿勢情報を予め登録する必要があった。姿勢情報は、ユーザによって主観的に定義されるため、姿勢を正確に定義することは極めて困難である。また、ユーザが定義した姿勢の誤差を吸収するために、図２に示される姿勢情報３１０で定義された値に幅を持たせる方法も考えられるが、値の幅の設定を一意に決定することは非常に難しい。本実施の形態に従う画像処理装置１００は、姿勢情報を予め登録する必要がなく、収集した部位情報を基にして、人の姿勢を分類するめの姿勢クラスを自動的に生成することができる。
【００３０】
以下、画像処理装置１００が行なう画像処理の概要について説明する。図４に示されるように、画像処理装置１００には、カメラ１１０が接続されている。カメラ１１０の視野には、人物３１と椅子３２とが含まれている。画像処理装置１００は、カメラ１１０の視野に含まれる被写体の３次元位置を取得する。３次元位置は、たとえば、カメラ１１０から被写体の各点までの距離を示した距離画像から取得される。なお、以下では、「３次元位置」という用語を用いた場合には「距離画像」という概念も含み、「距離画像」という用語を用いた場合には「３次元位置」という概念も含む。
【００３１】
カメラ１１０は、人物の様々な姿勢を撮影するために、人物３１を撮影し続けて複数の距離画像を取得する。これにより、図５に示されるように、画像処理装置１００は、人物の様々な姿勢を映した距離画像を収集することができる。画像処理装置１００は、カメラ１１０によって得られた距離画像３０から人物を検出するとともに、当該人物の位置を距離画像３０から順次抽出する。また、画像処理装置１００は、人物の特徴的な各部位の位置からなる部位情報を抽出した人物の位置から順次抽出する。部位情報は、カメラ１１０の視野に含まれる人物の各関節の位置、および、当該人物の各端部の位置の少なくとも一方を含む。
【００３２】
画像処理装置１００は、抽出した部位情報を基に、人物の特徴的な各部位間の相対関係（以下、「部位間関係」ともいう。）を算出する。画像処理装置１００は、部位間関係が互いに類似している部位情報の集合ごとに姿勢クラスを生成する。これにより、画像処理装置１００は、撮影中に人物がとった姿勢を、類似する姿勢ごとに自動的にグループ化することができる。
【００３３】
たとえば、撮影された人物が座る姿勢をとった場合には、座る姿勢を表わす姿勢クラス４１が生成される。撮影された人物が歩く姿勢をとった場合には、歩行姿勢を表わす姿勢クラス４２が生成される。撮影された人物が寝転ぶ姿勢をとった場合には、寝転ぶ姿勢を表わす姿勢クラス４３が生成される。撮影された人物が物を保持する姿勢をとった場合には、保持姿勢を表わす姿勢クラス４３が生成される。
【００３４】
次に、図６に示されるように、画像処理装置１００は、人物と物体とが接触または近接した場合に、当該人物が当該物体に対してとった姿勢を特定する。より具体的には、画像処理装置１００は、距離画像から抽出した人物の位置から、距離画像において抽出した物体（たとえば、椅子３２）の位置までの距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、生成された姿勢クラス４１〜４４のうちのいずれに属するかを特定する。
【００３５】
以上のようにして、画像処理装置１００は、類似する姿勢を自動的にグルーピングするため、姿勢情報を予め登録する必要がなくなり、姿勢情報を登録するための手間が削減される。また、姿勢クラスが自動的に生成されるため、画像処理装置１００は、物体に対する姿勢を正確に特定することができる。
【００３６】
［ハードウェア構成］
図７は、画像処理装置１００のハードウェア構成の一例を示すブロック図である。図７を参照して、画像処理装置１００のハードウェア構成について説明する。
【００３７】
図７を参照して、画像処理装置１００は、主として、汎用的なアーキテクチャーを有するコンピュータ上に実装される。画像処理装置１００は、主たるコンポーネントとして、ＲＯＭ（Read  Only  Memory）１と、ＣＰＵ（Central  Processing  Unit）２と、ＲＡＭ（Random  Access  Memory）３と、カメラインターフェイス（Ｉ／Ｆ）４と、メモリーカードインターフェイス（Ｉ／Ｆ）５と、ネットワークインターフェイス（Ｉ／Ｆ）６と、記憶装置２０とを含む。
【００３８】
ＲＯＭ１は、画像処理装置１００において起動時に実行される初期プログラム（ブートプログラム）などを格納する。ＣＰＵ２は、ＲＯＭ１や記憶装置２０などに格納された、オペレーティングシステム（ＯＳ：Operating  System）や画像処理プログラム２４などの各種プログラムを実行することで、画像処理装置１００の全体を制御する。ＲＡＭ３は、ＣＰＵ２でプログラムを実行するためのワーキングメモリとして機能し、プログラムの実行に必要な各種データを一次的に格納する。
【００３９】
カメラＩ／Ｆ４は、ＣＰＵ２とカメラ１１０とのデータ通信を仲介する。たとえば、カメラＩ／Ｆ４は、画像バッファを含み、カメラ１１０から伝送される距離画像を一旦蓄積する。カメラＩ／Ｆ４は、少なくとも１枚分の入力画像のデータが蓄積されると、その蓄積されたデータを記憶装置２０またはＲＯＭ１へ転送する。また、カメラＩ／Ｆ４は、ＣＰＵ２が発生した内部コマンドに従って、カメラ１１０に対して撮影指令を与える。カメラ１１０、たとえば、ステレオカメラ、被写体の３次元上の位置情報を検出する距離画像センサ、その他の被写体の３次元上の位置を取得することができるカメラを含む。なお、カメラ１１０は、画像処理装置１００に組み込まれてもよく、この場合には、カメラＩ／Ｆ４は、必須の構成ではない。
【００４０】
メモリーカードＩ／Ｆ５は、ＳＤ（Secure  Digital）カードやＣＦ（Compact  Flash（登録商標））カードなどの各種メモリーカード（不揮発性記憶媒体）５Ａとの間で、データの読み書きを行なう。典型的には、メモリーカードＩ／Ｆ５には、他の装置で取得した距離画像を格納したメモリーカード５Ａが装着され、そのメモリーカード５Ａから読み出された距離画像が記憶装置２０へ格納される。
【００４１】
ネットワークＩ／Ｆ６は、各種の通信媒体を介して、他の装置（サーバ装置など）とデータをやり取りする。より具体的には、ネットワークＩ／Ｆ６は、イーサネット（登録商標）などの有線回線（ＬＡＮ（Local  Area  Network）やＷＡＮ（Wide  Area  Network）など）、および／または、無線ＬＡＮなどの無線回線を介してデータ通信を行なう。
【００４２】
記憶装置２０は、典型的には、ハードディスクなどの大容量磁気記憶媒体などを含む。記憶装置２０は、本実施の形態に従う各種を実現するための画像処理プログラム２４と、抽出された人物の特徴的な各部位間の位置を含む部位情報２１と、距離画像上の物体の位置を示す物体位置情報２２とを格納する。さらに、記憶装置２０には、オペレーティングシステムなどのプログラムが格納されてもよい。部位情報２１の詳細については後述する。
【００４３】
カメラ１１０は、外付けではなく、画像処理装置１００の内部に組み込まれて、画像処理装置１００本体が被写体を撮影する機能を有していてもよい。また、画像処理装置１００は、カメラに類似した機構を用いて距離画像を取得し、取得した距離画像を任意の方法で画像処理装置１００へ入力するように構成されてもよい。この場合、距離画像は、メモリーカードＩ／Ｆ５またはネットワークＩ／Ｆ６を介して画像処理装置１００に入力される。
【００４４】
記憶装置２０に格納される画像処理プログラム２４は、ＣＤ−ＲＯＭ（Compact  Disk-Read  Only  Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバ装置などから配信される。画像処理プログラム２４は、画像処理装置１００で実行されるオペレーティングシステムの一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するようにしてもよい。この場合、画像処理プログラム２４自体には、オペレーティングシステムによって提供されるモジュールは含まれず、オペレーティングシステムと協働して画像処理が実現される。
【００４５】
また、画像処理プログラム２４は、単体のプログラムではなく、任意のプログラムの一部に組み込まれて提供されてもよい。このような場合にも、画像処理プログラム２４自体には、任意のプログラムにおいて共通に利用されるようなモジュールは含まれず、任意のプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２４であっても、本実施の形態に従う画像処理装置１００の趣旨を逸脱するものではない。さらに、画像処理プログラム２４によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。
【００４６】
さらに、画像処理装置１００は、必ずしも、リアルタイムに処理を行なわなくてもよい。たとえば、少なくとも１つのサーバ装置が本実施の形態に従う処理を実現する、いわゆるクラウドサービスのような形態で画像処理装置１００が構成されてもよい。この場合、距離画像がサーバ装置（クラウド側）へ送信され、サーバ装置は、受信した距離画像に対して、本実施の形態に従う画像処理を行なう。さらに、サーバ装置側が全ての機能（処理）を行なう必要はなく、ユーザ側の端末とサーバ装置とが協働して、本実施の形態に従う画像処理を実現するようにしてもよい。
【００４７】
［機能構成］
図８は、第１の実施の形態に従う画像処理装置１００の機能構成の一例を示すブロック図である。図８を参照して、画像処理装置１００の機能構成について説明する。
【００４８】
画像処理装置１００は、物体抽出部２１０と、人物抽出部２２０と、姿勢クラスタリング部２３０と、姿勢クラス特定部２４０とを備える。
【００４９】
物体抽出部２１０は、被写体を連続で撮影して複数の３次元位置（すなわち、距離画像）を取得し、当該３次元位置から物体を検出し、当該物体の位置を抽出する。物体抽出部２１０は、抽出した物体の３次元位置を姿勢クラス特定部２４０に出力する。物体抽出部２１０の詳細については後述する。
【００５０】
人物抽出部２２０は、３次元位置（すなわち、距離画像）から人物を検出し、当該人物の位置を抽出するとともに、人物の特徴的な各部位の位置からなる部位情報を人物の位置から複数抽出する。人物抽出部２２０は、抽出した物体の３次元位置を姿勢クラスタリング部２３０に出力する。人物抽出部２２０の詳細については後述する。
【００５１】
姿勢クラスタリング部２３０は、部位情報２１の各々から算出した人物の各部位間の相対関係が互いに類似する部位情報の集合ごとに姿勢クラスを生成する。すなわち、姿勢クラスタリング部２３０は、類似する姿勢ごとにグループ化を行なう。姿勢クラスタリング部２３０は、生成した姿勢クラスを姿勢クラス特定部２４０に出力する。姿勢クラスタリング部２３０の詳細については後述する。
【００５２】
姿勢クラス特定部２４０は、３次元位置（すなわち、距離画像）に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位間の相対関係が、生成された複数の姿勢クラスのうちのいずれに属するかを特定する。典型的には、姿勢クラス特定部２４０の処理は、人物が物体に接触または近接したときに実行される。姿勢クラス特定部２４０の詳細については後述する。姿勢クラス特定部２４０は、人物が接触または近接した物体と、特定した姿勢クラスとを対応付けて、記憶装置２０に格納する。
【００５３】
［物体抽出部２１０の詳細］
図９を参照して、物体抽出部２１０の詳細について説明する。図９は、カメラ１１０が椅子３２を撮影している様子を示している図である。
【００５４】
物体抽出部２１０は、距離画像センサなどのカメラ１１０から得られた３次元位置から、物体の位置を抽出する。図９に示される例においては、物体抽出部２１０は、３次元位置から地面の推定を行い、地面よりも上にある領域を物体として抽出する。すなわち、物体抽出部２１０は、図９に示されるように、領域２１１に対応する位置を物体の位置として特定する。なお、図９の例においては、説明を簡単にするために、物体の「位置」を一次元（ｘ軸）で表しているが、実際には、「位置」は、２次元（ｘ軸，ｙ軸）であるため、物体の位置は、２次元（ｘ軸，ｙ軸）で表される。また、物体の位置は、３次元（ｘ軸，ｙ軸，ｚ軸）で表されてもよい。
【００５５】
他にも、物体抽出部２１０は、人物がいないときに撮影して得られた背景画像を、取得した距離画像から差分する所謂背景差分により、物体の位置を特定してもよい。この場合、物体抽出部２１０は、背景画像の撮影時（初期状態）から変化した領域を物体の位置として特定する。なお、人物の位置は、人物抽出部２２０により特定されるので、物体抽出部２１０は、特定した物体から人物の位置を除外することができる。また、物体抽出部２１０は、地面自体が一つの物体として特定してもよい。
【００５６】
［人物抽出部２２０の詳細］
図１０および図１１を参照して、人物抽出部２２０の詳細について説明する。図１０は、人物の特徴的な部位を模式的に表した図である。図１１は、部位情報から算出された各部位間の相対関係（すなわち、部位間関係）のデータ構造を表した図である。
【００５７】
人物抽出部２２０では、距離画像センサなどのカメラ１１０から得られた３次元情報を基に、人物の検出と、当該人物の姿勢の認識とを行なう。ここでいう姿勢は、人の関節や、頭部などの端部のような特徴的な部位がどのように配置されているかという、身体部位の配置情報で定義される。
【００５８】
人物抽出部２２０は、たとえば、マイクロソフト（登録商標）のKinect（登録商標）センサをカメラ１１０として用いて、人物の各部位の３次元位置を示すスケルトン情報を取得する。Kinectセンサにより、人物の関節のような特徴的な部位（以下では、「節点」ともいう。）と、各節点の配置とを検出することができる。Kinectセンサにより、たとえば、図１０に示されるような、人体の節点（１）〜（１５）の３次元位置が取得できる。
【００５９】
人物抽出部２２０は、Kinectセンサにより得られた、節点（１）〜（１５）の３次元位置から、各節点間の相対的な関係（すなわち、部位間関係）を特定する。部位間関係は、各節点のうちの任意の２つの接点間の距離、各節点のうちの任意の３つの接点で定義される角度などを含む。たとえば、図１０に示されるように、部位間関係は、腕の角度α、腕の角度β、足の角度γ、および足の角度δなどを含む。
【００６０】
人物抽出部２２０は、繰り返し得られる距離画像から抽出した部位情報２１を基に算出した部位間関係を記憶装置２０に順次格納する。順次得られた部位情報の１つから算出した部位間関係２３のデータ構造が図１１に示される。部位間関係２３は、上述した、各節点のうちの任意の２つの接点間の距離や、各節点のうちの任意の３つの接点で定義される角度などを含む。また、部位間関係２３には、各節点の３次元上の位置や、各節点のうちの任意の４つ以上の接点の相対関係などが定義されてもよい。相対関係を示すための節点数を多くすることで姿勢をより正確に表わすことができる。
【００６１】
なお、上記では、Kinectセンサにより人物の検出と、当該人物の姿勢の認識とを行なう例について述べたが、人物を検出するための手段および人物の姿勢を認識するための手段は、これらに限定されるわけではない。たとえば、人物抽出部２２０は、予め登録された人物のテンプレートや、人物の各部位のテンプレートを用いて、距離画像に対してテンプレートマッチングを行なうことにより人物の位置や、各部位の位置を抽出してもよい。その他にも、人物の位置および各部位の位置を特定できる方法であればいずれの方法であってもよい。
【００６２】
また、人物の位置の抽出処理および、および部位間関係の抽出処理は、人物が物体に接触または近接した場合のみ実行されてもよい。より具体的には、人物抽出部２２０は、人物と物体との間の距離が予め定められた範囲内になったことに基づいて、距離画像からの人物の位置の抽出、および部位間関係の抽出の処理を実行する。人が物体に接触するということは、その物体が人に対して何らかの役割を果たしていると考えられる。そのため、人が物体に接触したことをトリガーにすることで、物体に対して作用を及ぼしていない人物の姿勢情報を除外することができ、効率的に物体に対する人物の姿勢を検出することが可能になる。
【００６３】
たとえば、人と物体との間の距離が所定の闘値以下になった場合に、人と物体とが接触したと判断される。接触判断において、人物および物体のいずれの部分の距離が用いられかについては、人物と物体との最近点が用いられてもよい。また、人物と物体との関わりを見る上で最も有意義と考えられる「手」と物体との間の距離が用いられてもよいし、人物の重心位置と物体の重心位置との距離が用いられてもよい。他にも、人と物体との接触判定の手段としては、人と物体との接触を検出可能な手段であれば任意の方法を用いることが可能である。
【００６４】
［姿勢クラスタリング部２３０の詳細］
図１２および図１３を参照して、姿勢クラスタリング部２３０の詳細について説明する。図１２は、細分化した姿勢クラスを視覚的に表した図である。図１３は、部位間関係の分布を示した図である。
【００６５】
姿勢クラスタリング部２３０は、過去の観測結果を用いて類似する姿勢をクラスタリングする。姿勢をクラスタリングせずに人物の姿勢情報をそのまま用いて人物の姿勢を特定することも考え得るが、その場合には、姿勢が細分化され過ぎてしまう可能性がある。たとえば、図１２に示されるように、「姿勢Ａ」〜「姿勢Ｃ」のような同じ立ち姿勢であっても、足を開いた「姿勢Ｂ」や、手を上げた「姿勢Ｃ」などの少しの違いでそれぞれの姿勢が別の姿勢として扱われてしまう。このように姿勢が細分化され過ぎると、物体に付与されるラベルも細分化してしまう。このため、姿勢クラスタリング部２３０は、類似した姿勢を１つの姿勢としてみなすために、類似する部位間関係の集合ごとに１つの姿勢クラスを生成する。
【００６６】
図１３には、部位間関係の一例である腕の角度α（図１０（Ｂ）参照）、および足の角度γ（図１０（Ｂ）参照）を指標とした分布が示されている。当該分布に示される各点は、繰り返し取得した距離画像から抽出した部位間関係を示す。なお、図１３には、説明を簡単にするために、部位間関係の分布が２次元のグラフで表されているが、実際には、当該分布は、部位間関係に定義される各節点間の関係の指標の種類の分の次元数を有する。姿勢クラスタリング部２３０は、図１３に示されるように、たとえば、腕の角度αと足の角度γとが近い点の集合をグループ化して、姿勢クラスＡおよび姿勢クラスＢを生成する。
【００６７】
なお、姿勢クラスタリング部２３０は、人物が物体に接触した場合のみクラスタリングを実行してもよい。すなわち、姿勢クラスタリング部２３０は、人物と物体との間の距離が所定の範囲内になったことに基づいて姿勢クラスの生成を実行する。これにより、物体に対して作用を及ぼしていない人物の姿勢を除外することができ、クラスタリングを効率的に行なうことが可能になる。
【００６８】
また、クラスタリングの手法は、特に限定されず、類似する人物の姿勢をクラスタリングできる手法であればいずれでもよい。たとえば、クラスタリングの手法は、階層的な手法と、非階層的な手法とを含む。階層的なクラスタリングの手法としては、部位間関係の指標で示される空間上で距離の近い２点を順次結合し、当該距離が予め定められた値を越えるまで結合を行なう手法が挙げられる。姿勢クラスタリング部２３０は、当該距離が予め定められた距離を越えた場合には、各点の結合を止め、結合された各点の集合を１つの姿勢クラスとする。このことは、各姿勢クラス間で分布位置にある程度差があること、すなわち、各姿勢クラス間で距離がある程度離れるであろうということを前提にしている。当該距離が予め決められた値よりも小さければ処理が打ち切られるため、姿勢クラスが際限なく大きくなることはない。また、非階層的なクラスタリングの手法としては、k-means法などが挙げられる。
【００６９】
姿勢クラスタリング部２３０が類似する姿勢ごとにクラスタリングを行なうことにより、類似する特徴を有する姿勢同士が同一の姿勢クラスとしてグループ化することができる。また、たとえば、「座る」という姿勢をとる際の手の位置など、姿勢の微小な違いやその姿勢をとる際に重要でない部分を排除することができる。さらに、クラスタリングにより姿勢を適宜学習していくことで、事前にユーザが用意した姿勢以外にも、機能を対応させることが可能となる。
【００７０】
［姿勢クラス特定部２４０の詳細］
図１４および図１５を参照して、姿勢クラス特定部２４０の詳細について説明する。図１４は、部位間関係の分布を示した図である。図１５は、姿勢クラスのデータ構造を示した図である。
【００７１】
姿勢クラス特定部２４０は、物体に接したときの人物の姿勢が、いずれの姿勢クラスに属するかを特定する。たとえば、姿勢クラス特定部２４０は、物体に接したときの部位間関係で示される点３２０と姿勢クラスの中心点との間の距離が所定の範囲内となる姿勢クラスを特定する。
【００７２】
たとえば、点３２０と姿勢クラスＡの中心点との距離ｘが、当該中心点と閾範囲３２２との距離以内である場合に、人物は姿勢クラスＡで物体に接したと判断する。また、点３２０と姿勢クラスＢの中心点との距離ｙが、当該中心点と閾範囲３２４との距離以内である場合に、人物は姿勢クラスＢで物体に接したと判断する。図１４に示される例では、人物は姿勢クラスＡで物体に接したと判断される。
【００７３】
姿勢クラス特定部２４０は、特定した姿勢クラスと物体とを対応付けて記憶装置２０に格納する。格納される姿勢クラスは、図１５に示されるように、部位間関係の指標ごとの閾範囲で定義される。また、格納される姿勢クラスは、図１４に示される分布上における姿勢クラスの中心座標と、中心から閾範囲までの距離で定義されてもよい。
【００７４】
［ラベルの付与］
図１６を参照して、物体に機能ラベルを付与する方法について説明する。図１６は、付与されたラベルの表示態様の一例を示す図である。
【００７５】
画像処理装置１００は、物体に対して特定された姿勢クラスをユーザに示すために、姿勢クラスの種類ごとに物体に対してラベルを付与する。これにより、ユーザは、物体に対して特定された姿勢クラスを視認することができ、さらには、当該物体の機能の違いを確認することができる。典型的には、物体に対応付けられた姿勢クラスが互いに異なる場合には、画像処理装置１００は、これらの物体が異なる機能を有するものとして異なるラベルを付与する。また、物体に対応付けられた姿勢クラスが互いに同一の場合には、画像処理装置１００は、これらの物体が同一の機能を有するものとして同一のラベルを付与する。
【００７６】
ラベル付与の方法としては、たとえば、姿勢クラスごとに異なる色を付与することが考えられる。図１６には、椅子３２に対して与えられた姿勢クラスの１つが青色ラベル３４０で示される。椅子３２に対して与えられたもう１つの姿勢クラスが赤色ラベル３３０で示される。なお、ラベルを付与する領域としては、図１６に示されるように、人と物体とが接触した領域ごとにラベルが付与されてもよいが、その他にも、１つの物体と判別された領域全体に１つのラベルが付与されてもよい。
【００７７】
［フローチャート］
図１７を参照して、画像処理装置１００の制御構造について説明する。図１７は、画像処理装置１００が実行する処理の一部を表わすフローチャートである。図１７の処理は、ＣＰＵ２がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子その他のハードウェアによって実行されてもよい。
【００７８】
ステップＳ５１０において、ＣＰＵ２は、カメラから被写体表面の各点までの距離で示される距離画像を取得する。ステップＳ５１２において、ＣＰＵ２は、物体抽出部２１０として、距離画像から物体の位置を抽出する。当該位置は、たとえば、３次元の座標値として抽出される。なお、物体の位置が変化することは稀であるため、ステップＳ５１２における処理は、繰り返し実行されなくてもよい。
【００７９】
ステップＳ５１４において、ＣＰＵ２は、人物抽出部２２０として、距離画像から人物の位置を抽出する。当該位置は、たとえば、３次元の座標値として抽出される。ステップＳ５１６において、ＣＰＵ２は、姿勢クラスタリング部２３０として、人物の各部位間の相対関係（すなわち、部位間関係）が互いに類似する部位情報の集合ごとに姿勢クラスを生成する。
【００８０】
ステップＳ５２０において、ＣＰＵ２は、姿勢クラス特定部２４０として、人物と物体とが接触したか否かを判断する。ＣＰＵ２は、人物と物体との距離が所定の範囲内になった場合、もしくは、人物と物体との距離がゼロになった場合に、人物と物体とが接触したと判断する。ＣＰＵ２は、人物と物体とが接触したと判断した場合には（ステップＳ５２０においてＹＥＳ）、制御をステップＳ５２２に切り替える。そうでない場合には（ステップＳ５２０においてＮＯ）、ＣＰＵ２は、制御をステップＳ５１０に戻す。
【００８１】
ステップＳ５２２において、ＣＰＵ２は、姿勢クラス特定部２４０として、物体に接触したときの人物の姿勢（すなわち、部位間関係）が、生成された複数の姿勢クラスのうちのいずれに属するかを特定する。ステップＳ５２４において、ＣＰＵ２は、人物が接触した物体と、特定した姿勢クラスとを対応付けて格納する。
【００８２】
ステップＳ５３０において、ＣＰＵ２は、本実施の形態に従う画像処理を終了するか否かを判断する。ＣＰＵ２は、たとえば、ユーザが当該画像処理を終了する操作を行なった場合に、当該画像処理を終了する。ＣＰＵ２は、本実施の形態に従う画像処理を終了すると判断した場合には（ステップＳ５３０においてＹＥＳ）、当該画像処理を終了する。そうでない場合には（ステップＳ５３０においてＮＯ）、ＣＰＵ２は、ステップＳ５１０〜Ｓ５２４の処理を再び実行する。
【００８３】
［利点］
以上のようにして、本実施の形態に従う画像処理装置１００は、類似する姿勢ごとに姿勢クラスを自動的に生成することができる。これにより、ユーザが分類した姿勢情報を予め登録するなどの手間を省くことができる。また、ユーザにより姿勢が定義される場合には、姿勢の定義がユーザの主観によって決定されるので、姿勢を一意に決定することは困難であるが、画像処理装置１００は、ユーザに依存せずに姿勢を一意に決定することができる。これにより、画像処理装置１００は、物体に対してとった人物の姿勢を正確に特定することができる。
【００８４】
＜第２の実施の形態＞
［概要］
以下、第２の実施の形態に従う画像処理装置１００Ａについて説明する。本実施の形態に従う画像処理装置１００Ａは、人物の部位間の相対関係の他に、人物と物体との位置関係をさらに用いて、姿勢を分類する点で第１の実施の形態に従う画像処理装置１００と異なる。画像処理装置１００Ａのハードウェア構成は第１の実施の形態に従う画像処理装置１００のハードウェア構成と同じであるのでその説明を繰り返さない。
【００８５】
図１８および図１９を参照して、第２の実施の形態に従う画像処理装置１００Ａの概要について説明する。図１８は、人物と物体との位置関係の違いによる物体の機能の違いを説明するための図である。図１９は、人物の各部位と物体との間の距離を視覚的に示した図である。
【００８６】
人が異なる機能を有する物体をそれぞれ使用する場合には、人物と物体との位置関係が異なることが多い。たとえば、図１８に示されるように、コップ３５０は、手で持たれて使用されるため、手とコップ３５０との相対距離が近くなり、手以外の部分とコップ３５０との距離は遠くなる可能性が高い。また、サッカーボール３６０は、足で蹴って使用されるため、足とサッカーボール３６０との相対距離が近くなり、足以外の部分とサッカーボール３６０との距離は遠くなる可能性が高い。
【００８７】
このように、異なる機能を有する物体の使用時においては、人物の各部位との相対関係が異なる可能性が高い。このため、人物と物体との接触時または近接時における、人物と物体との位置関係は、物体の機能を特定するための有力な情報になり得る。
【００８８】
したがって、本実施の形態に従う画像処理装置１００Ａは、人物の特徴的な各部位と物体との相対関係（以下、「物体間関係」ともいう。）を特定する。当該物体間関係は、カメラ１１０の視野に含まれる人物の各関節と物体との間の各距離、および、当該人物の各端部と物体との間の各距離の少なくとも一方を含む。たとえば、物体間関係には、図１９に示されるように、人の関節や、頭部、手先のような人の端部など、人物の特徴的な各部位と物体との間の相対距離が用いられる。なお、物体間関係は、人物の各部位から物体表面までの最短距離であってもよく、人物の各部位から物体の重心位置までの相対距離であってもよい。その他にも、物体間関係は、人と物体との相対的な位置関係を示す情報であればいずれであってもよい。
【００８９】
［機能構成］
図２０および図２１を参照して、第２の実施の形態に従う画像処理装置１００Ａの機能構成について説明する。図２０は、画像処理装置１００Ａの機能構成の一例を示すブロック図である。図２１は、姿勢の違いによる物体の機能の違いを説明するための図である。
【００９０】
画像処理装置１００Ａは、物体抽出部２１０と、人物抽出部２２０と、姿勢クラスタリング部２３０と、姿勢クラス特定部２４０と、相対位置特定部２５０と、機能特定部２６０とを備える。物体抽出部２１０と、人物抽出部２２０と、姿勢クラスタリング部２３０と、姿勢クラス特定部２４０とについては上述と同様であるので説明を繰り返さない。
【００９１】
相対位置特定部２５０は、カメラ１１０の視野に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の特徴的な各部位と物体との間の相対関係（すなわち、物体位置関係）を特定する。すなわち、相対位置特定部２５０は、人物の一部分が物体に接触または近接した時の、人物と物体との位置関係を特定する。相対位置特定部２５０は、人物が接触または近接した物体と、特定した物体位置関係を示す情報とを対応付けて記憶装置２０に格納する。
【００９２】
なお、相対位置特定部２５０は、物体位置関係を示す情報として、人物の各部位と物体との相対距離をそのまま格納してもよい。物体との相対距離をそのまま格納してもよいが、この場合には、物体と人物との位置関係が細分化され過ぎてしまう可能性がある。
【００９３】
このため、相対位置特定部２５０は、当該相対距離を予め定められた複数の距離クラスに分類して、当該距離クラスと物体との関係を、物体位置関係を示す情報として格納してもよい。より具体的には、相対位置特定部２５０は、カメラ１１０の視野に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位と物体との間の相対距離の各々が、距離の長さに応じて予め分けられた複数の距離クラスのうちのいずれに属するかを特定する。たとえば、相対位置特定部２５０は、各特徴部位についての相対距離を、接触または非接触に２値化し、２値化した値と当該物体との関係を格納してもよい。さらに、相対位置特定部２５０は、所定の闘値を用いて、遠い、近接、または接触といったように相対距離を量子化してもよい。相対位置特定部２５０は、相対距離を量子化することで、人物と物体との位置関係の微小な違いの影響を除外することができる。
【００９４】
また、相対位置特定部２５０は、距離クラスを予め登録する手間を省くために、相対距離を自動的にクラスタリングし、類似する相対距離の集合ごとに相対距離をまとめてもよい。より具体的には、相対位置特定部２５０は、人物抽出部２２０により繰り返し抽出された人物の各部位の位置と物体との間の相対距離が互いに類似している集合ごとに距離クラスを生成する。また、相対位置特定部２５０は、カメラ１１０の視野に含まれる人物と物体との間の距離が所定の範囲内になった場合に、当該人物の各部位と物体との間の相対距離の各々が、複数の距離クラスのうちのいずれに属するかを特定する。相対位置特定部２５０は、相対距離を自動的にクラスタリングすることで、人物と物体との位置関係の微小な違いの影響を除外することができる。
【００９５】
機能特定部２６０は、姿勢クラスタリング部２３０から得られた姿勢クラスと、相対位置特定部２５０により得られた接触時の人物および物体の物体位置関係を示す情報とから、物体の機能を特定する。ここでいう「機能」とは、「座るもの」、「食べるもの」というような通常の意味の機能ではなく、姿勢クラスおよび物体位置関係から特定できる機能である。たとえば、「座る」を表現する場合、膝と腰が９０度に曲がり（姿勢クラス）、かつ、尻部分が物体と接する（物体位置関係）機能というように表現される。
【００９６】
機能特定部２６０は、異なる２つの物体の各々に対応付けられた物体位置関係を示す情報が互いに異なる場合には、当該２つの物体が異なる機能を有するものと判断し、これらの情報が同一の場合には、同一の機能を有するものとして判断する。
【００９７】
より具体的には、図１８に示されるように、コップ３５０に対して特定された姿勢クラスがＸであり、第２の位置関係がＹである場合、機能特定部２６０は、「姿勢クラスがＸであり、かつ、距離クラスがＹである機能」をコップ３５０が有すると判断する。また、サッカーボール３６０に対して特定された姿勢クラスがＸであり、第２の位置関係がＺである場合、機能特定部２６０は、「姿勢クラスがＸであり、かつ、距離クラスがＺである機能」をサッカーボール３６０が有すると判断する。すなわち、距離クラスが異なるため、コップ３５０の機能とサッカーボール３６０の機能とは、異なるものであると機能特定部２６０は判断する。
【００９８】
これにより、たとえば、異なる物体に同一の姿勢で接触しても、近い位置にある人物の部位が足または手のように異なっていた場合には、これらの物体が異なる機能を有するものとして判断される。したがって、画像処理装置１００Ａは、物体に対する機能をより適切に判断できるようになる。すなわち、画像処理装置１００Ａは、物体が有する機能の誤った判定を無くすことが可能となる。
【００９９】
また、機能特定部２６０は、異なる２つの物体の各々に対応付けられた姿勢クラスが互いに異なる場合には、当該２つの物体が異なる機能を有するものと判断し、これらの姿勢クラスが同一の場合には、当該２つの物体が同一の機能を有するものと判断する。たとえば、図２１に示されるように、背もたれのついた椅子３２に座っている場合と、人物が寝具３３に寝ている場合とでは、頭から足まで全て接触しているという意味では同じだが、物体に対する姿勢は異なる。このように、物体に対する姿勢クラスの差異で物体の機能を分類することができる。
【０１００】
より具体的には、椅子３２に対して特定された姿勢クラスがＸであり、第２の位置関係がＹである場合、機能特定部２６０は、「姿勢クラスがＸであり、かつ、距離クラスがＹである機能」を椅子３２が有すると判断する。また、寝具３３に対して特定された姿勢クラスがＺであり、第２の位置関係がＹである場合、機能特定部２６０は、「姿勢クラスがＺであり、かつ、距離クラスがＹである機能」を寝具３３が有すると判断する。すなわち、姿勢クラスが異なるため、椅子３２の機能と寝具３３の機能とは、異なるものであると機能特定部２６０は判断する。
【０１０１】
これにより、たとえば、人物の各部位と物体との位置関係が同一の場合であって、異なる姿勢で物体に接触した場合には、物体がそれぞれ異なる機能を有するものとして判断される。このように、画像処理装置１００Ａは、姿勢クラスと物体間関係との両方を用いて物体の機能を判断するので、物体間関係のみで物体の機能を判断する場合に比べて、物体が有する機能の誤判定を無くすことができる。
【０１０２】
［利点］
以上のようにして、本実施の形態に従う画像処理装置１００Ａは、姿勢クラスと物体間関係との両方を用いて、物体に対する機能を特定する。これにより、姿勢クラスのみで物体に対する機能を判断する場合に比べて、より正確に物体に対する機能を特定することができる。
【０１０３】
＜第３の実施の形態＞
以下、第３の実施の形態に従う画像処理装置１００Ｂについて説明する。本実施の形態に従う画像処理装置１００Ｂは、各物体に対して特定された姿勢クラスをユーザが確認するための結果表示機能を有する点で第１の実施の形態に従う画像処理装置１００と異なる。その他の点については、第１の実施の形態に従う画像処理装置１００と同じであるので説明を繰り返さない。
【０１０４】
図２２を参照して、第３の実施の形態に従う画像処理装置１００Ｂの概要について説明する。図２２は、各物体に対して付された姿勢クラスを確認するための画面の表示態様の一例を示した図である。
【０１０５】
画像処理装置１００Ｂには、表示装置７が接続される。表示装置７は、画像処理装置１００Ｂに組み込まれてもよい。表示装置７には、機能タグを付すためのユーザインタフェースの画面が表示されている。画像処理装置１００Ｂは、画面に表示された物体を選択することで、当該物体に対応付けられた姿勢クラスをユーザが視認できるように表示する。たとえば、ユーザがカーソル３５により椅子３２が選択された場合には、画像処理装置１００Ｂは、記憶装置２０に格納された物体と姿勢クラスとの対応関係を参照して、当該椅子に対応付けられた姿勢クラスを選択する。ユーザがその他の物体を選択した場合には、画像処理装置１００Ｂは、当該物体に対応付けられている姿勢クラスを選択する。
【０１０６】
たとえば、椅子３２には姿勢クラスＡが対応付けられている場合、画像処理装置１００Ｂは、当該姿勢クラスＡにより示される姿勢画像を生成する。図１５に示されるように、姿勢クラスには、人物の各部位間の相対関係（すなわち、部位間関係）がデータとして含まれるので、画像処理装置１００Ｂは、これらの部位間関係から人物の各部位の位置を特定し、特定した各部位の位置から姿勢画像を生成する。生成された姿勢画像は、表示装置７に表示される。
【０１０７】
なお、上記では、画像処理装置１００Ｂが、物体に対応付けられた姿勢クラスを表示する例について述べたが、画像処理装置１００Ｂは、物体に対応付けられた物体間関係を確認するための結果表示機能を有してもよい。この場合、ユーザが表示装置７に表示された物体を選択することで、表示装置７には、選択された物体と、当該物体に対してとった人物の姿勢との関係が表示される。
【０１０８】
［利点］
以上のようにして、本実施の形態に従う画像処理装置１００Ｂによると、ユーザが、物体に対してとった人物の姿勢を一見して確認できるようになる。したがって、姿勢画像を表示することは、人にとって使いやすい物体のデザインや、物体の形状を決定する上での助けとなる。
【０１０９】
今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
【符号の説明】
【０１１０】
１  ＲＯＭ、２  ＣＰＵ、３  ＲＡＭ、４  カメラＩ／Ｆ、５  メモリーカードＩ／Ｆ、５Ａ  メモリーカード、６  ネットワークＩ／Ｆ、７  表示装置、２０  記憶装置、２１  部位情報、２２  物体位置情報、２３  部位間関係、２４  画像処理プログラム、３０  距離画像、３１  人物、３２，１０１，１０５，１０６  椅子、３３  寝具、３５  カーソル、４１，４２，４３，４４  姿勢クラス、１００，１００Ａ，１００Ｂ  画像処理装置、１１０  カメラ、２１０  物体抽出部、２１１  領域、２２０  人物抽出部、２３０  姿勢クラスタリング部、２４０  姿勢クラス特定部、２５０  相対位置特定部、２６０  機能特定部、３０１  左肩位置、３０２  左腰位置、３０３  左膝位置、３０４  左足位置、３１０  姿勢情報、３２０  点、３２２，３２４  閾範囲、３３０  赤色ラベル、３４０  青色ラベル、３５０  コップ、３６０  サッカーボール。
【図３】
2015133206.tif 000003
【図４】
2015133206.tif 000004
【図５】
2015133206.tif 000005
【図６】
2015133206.tif 000006
【図７】
2015133206.tif 000007
【図８】
2015133206.tif 000008
【図１０】
2015133206.tif 000009
【図１１】
2015133206.tif 000010
【図１２】
2015133206.tif 000011
【図１３】
2015133206.tif 000012
【図１４】
2015133206.tif 000013
【図１５】
2015133206.tif 000014
【図１７】
2015133206.tif 000015
【図１８】
2015133206.tif 000016
【図１９】
2015133206.tif 000017
【図２０】
2015133206.tif 000018
【図２１】
2015133206.tif 000019
【図１】
2015133206.tif 000020
【図２】
2015133206.tif 000021
【図９】
2015133206.tif 000022
【図１６】
2015133206.tif 000023
【図２２】
2015133206.tif 000024
【国際調査報告】
2015133206.tif 000025
2015133206.tif 000026