(57)【要約】【課題】  第三者に対して視界的な違和感を与えることなく、着脱及び使用が容易で且つユーザの頭部の姿勢を正確に推定することができる頭部姿勢推定装置、頭部姿勢推定方法及び頭部姿勢推定処理プログラムを提供する。【解決手段】  赤外線カメラ１、赤外線照明器２、広角カメラ３、マイクロフォン４及び通信部５からなるセンサ部１０がユーザの胸部に装着され、赤外線カメラ１は、ユーザの頭部及び胴部を含む赤外線画像を撮影し、データ処理部７は、撮影された赤外線画像からユーザの頭部及び胴部を含む人物領域を抽出した後、人物領域において頭部と胴部との境界を表す境界線を決定するとともに、境界線の中点からの距離が最大となる鼻先点を抽出し、鼻先点の位置を基に頭部の姿勢を推定する。【選択図】      図１
2005322077.tif 000002
【特許請求の範囲】
【請求項１】
人間の胸部に装着され、当該人間の頭部を観測する頭部観測手段と、
前記頭部観測手段により観測された情報から頭部の姿勢を推定する頭部姿勢推定手段とを備えることを特徴とする頭部姿勢推定装置。
【請求項２】
前記頭部観測手段と一体的に固定され、前記人間の前方の画像を撮影する前方撮影手段と、
前記頭部姿勢推定手段により推定された頭部の姿勢に基づいて前記前方撮影手段により撮影された画像から前記人間の視線方向の画像を抽出する視線画像抽出手段とをさらに備えることを特徴とする請求項１記載の頭部姿勢推定装置。
【請求項３】
前記頭部観測手段は、人間の胸部に装着され、当該人間の頭部及び胴部を含む画像を撮影する頭部撮影手段を含み、
前記頭部姿勢推定手段は、
前記頭部撮影手段により撮影された画像から人間の頭部及び胴部を含む人物領域を抽出する領域抽出手段と、
前記人物領域において頭部と胴部との境界を表す境界線を決定するとともに、前記境界線の中点を決定する境界線決定手段と、
前記人物領域のうち前記境界線により頭部として区分された領域から、前記境界線の中点からの距離が最大となる先端点を抽出する先端点抽出手段と、
前記先端点の位置を基に頭部の姿勢を推定する推定手段とを含むことを特徴とする請求項１記載の頭部姿勢推定装置。
【請求項４】
人間の胸部に装着され、前記頭部撮影手段により撮影される人物の頭部及び胴部を、赤外線を用いて照明する赤外線照明手段をさらに備え、
前記頭部撮影手段は、前記赤外線照明手段により赤外線照明された人間の頭部及び胴部を含む赤外線画像を撮影する赤外線撮影手段を含み、
前記領域抽出手段は、前記赤外線撮影手段により撮影された赤外線画像から人間の頭部及び胴部を含む人物領域を抽出することを特徴とする請求項３記載の頭部姿勢推定装置。
【請求項５】
前記推定手段は、前記先端点の位置から前記境界線の中点を回転中心とする頭部の水平角度及び垂直角度を推定することを特徴とする請求項３又は４記載の頭部姿勢推定装置。
【請求項６】
前記頭部撮影手段と一体に固定され、前記頭部撮影手段を装着した人間の正面方向の画像を撮影する正面撮影手段と、
前記推定手段により推定された頭部の姿勢を基に、前記正面撮影手段により撮影された画像から前記頭部撮影手段を装着した人間の視線方向の画像を抽出する画像抽出手段とをさらに備えることを特徴とする請求項３〜５のいずれかに記載の頭部姿勢推定装置。
【請求項７】
前記境界線を基に人間に対する前記頭部撮影手段及び前記正面撮影手段の姿勢変化量を算出する算出手段をさらに備え、
前記画像抽出手段は、前記算出手段により算出された前記頭部撮影手段及び前記正面撮影手段の姿勢変化量並びに前記推定手段により推定された頭部の姿勢を基に、前記正面撮影手段により撮影された画像から前記頭部撮影手段を装着した人間の視線方向の画像を抽出することを特徴とする請求項６記載の頭部姿勢推定装置。
【請求項８】
領域抽出手段、境界線決定手段、先端点抽出手段及び推定手段として機能するコンピュータを用い、人間の頭部及び胴部を含む画像を撮影する頭部撮影手段を胸部に装着した人間の頭部の姿勢を推定する頭部姿勢推定方法であって、
前記領域抽出手段が、前記頭部撮影手段により撮影された画像から人間の頭部及び胴部を含む人物領域を抽出するステップと、
前記境界線決定手段が、前記人物領域において頭部と胴部との境界を表す境界線を決定するとともに、前記境界線の中点を決定するステップと、
前記先端点抽出手段が、前記人物領域のうち前記境界線により頭部として区分された領域から、前記境界線の中点からの距離が最大となる先端点を抽出するステップと、
前記推定手段が、前記先端点の位置を基に頭部の姿勢を推定するステップとを含むことを特徴とする頭部姿勢推定方法。
【請求項９】
人間の頭部及び胴部を含む画像を撮影する頭部撮影手段を胸部に装着した人間の頭部の姿勢を推定するための頭部姿勢推定処理プログラムであって、
前記頭部撮影手段により撮影された画像から人間の頭部及び胴部を含む人物領域を抽出する領域抽出手段と、
前記人物領域において頭部と胴部との境界を表す境界線を決定するとともに、前記境界線の中点を決定する境界線決定手段と、
前記人物領域のうち前記境界線により頭部として区分された領域から、前記境界線の中点からの距離が最大となる先端点を抽出する先端点抽出手段と、
前記先端点の位置を基に頭部の姿勢を推定する推定手段としてコンピュータを機能させることを特徴とする頭部姿勢推定処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の頭部の姿勢を推定する頭部姿勢推定装置、頭部姿勢推定方法及び頭部姿勢推定処理プログラムに関するものである。
【背景技術】
【０００２】
近年、コンピュータ、カメラ及びセンサ等の小型化により、様々なセンサを人間に装着することが可能となっている。そのため、ユーザがコンピュータ等を身につけることにより、ユーザがどこにいてもユーザに対する情報提示など、日常生活における支援を行うことが可能になると考えられている。このような研究は「ウエアラブル  コンピューティング」と呼ばれ、様々な研究が行われている。
【０００３】
また、ウェアラブルな装置を用いることにより、ユーザの行動の記録及び解析を目指した研究もなされている。このような研究においては、得られた情報に対して自動的にタグ付けを行うことが重要であり、加えて、人物の行動の記録や注目対象の検出なども必要となる。人の行動を記録するための方法としては、例えば、音声情報、映像情報、位置及びジェスチャ等の身体の動き情報、心拍、発汗及び呼吸等の生理的情報など様々なものが考えられる。これらの情報を得るためには、マイクロフォン、カメラ、ジャイロセンサ、ＧＰＳ(global positioning system)、皮膚センサなどが用いられる。
【０００４】
上記の情報の中で映像情報、特に、ユーザの視点からの映像には、周囲の状況に加えて、ユーザの注目対象、ユーザの頭部運動についての情報が含まれるため、行動を記録及び解析する上で重要と考えられる。そのため、多くの研究では、ユーザの視野映像を得るためにヘッドマウントカメラを用いている（非特許文献１参照）。
【非特許文献１】角康之他、「複数センサ群による協調的なインタラクションの記録」、インタラクション  ２００３、２００３年、ｐ．２５５−ｐ．２６２
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、ヘッドマウントカメラを着脱することはユーザにとって面倒な作業であり、また、ヘッドマウントカメラを頭部に装着することによってユーザが疲労し、さらには、ヘッドマウントカメラの頭部への装着が周囲の人間に対して視覚的な違和感を与える等の種々の問題があり、日常的にヘッドマウントカメラを装着することは困難である。また、ヘッドマウントカメラをユーザの視線方向と正確に一致させて固定することが困難であるため、頭部運動によりヘッドマウントカメラと視線方向にズレが生じ、ユーザの頭部の姿勢を正確に推定することは困難である。
【０００６】
本発明の目的は、第三者に対して視界的な違和感を与えることなく、着脱及び使用が容易で且つユーザの頭部の姿勢を正確に推定することができる頭部姿勢推定装置、頭部姿勢推定方法及び頭部姿勢推定処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る頭部姿勢推定装置は、人間の胸部に装着され、当該人間の頭部を観測する頭部観測手段と、前記頭部観測手段により観測された情報から頭部の姿勢を推定する頭部姿勢推定手段とを備えるものである。
【０００８】
本発明に係る頭部姿勢推定装置においては、人間の胸部に装着された頭部観測手段により当該人間の頭部が観測され、観測された情報から頭部の姿勢が推定されるので、ヘッドマウントカメラのようにユーザの頭部に観測手段を装着ことなく、頭部の姿勢を推定することができ、第三者に対して視界的な違和感を与えることなく、着脱及び使用が容易で且つユーザの頭部の姿勢を正確に推定することができる。
【０００９】
前記頭部姿勢推定装置は、前記頭部観測手段と一体的に固定され、前記人間の前方の画像を撮影する前方撮影手段と、前記頭部姿勢推定手段により推定された頭部の姿勢に基づいて前記前方撮影手段により撮影された画像から前記人間の視線方向の画像を抽出する視線画像抽出手段とをさらに備えることが好ましい。
【００１０】
この場合、推定された頭部の姿勢に基づいて前方撮影手段により撮影された画像から人間の視線方向の画像を抽出しているので、ユーザの視線方向の画像すなわちユーザが注目しているものを正確に検出することができる。また、前方撮影手段が頭部観測手段と一体的に固定されているので、前方撮影手段と頭部観測手段との位置関係が変化せず、ユーザが注目しているものをより正確に検出することができる。
【００１１】
前記頭部観測手段は、人間の胸部に装着され、当該人間の頭部及び胴部を含む画像を撮影する頭部撮影手段を含み、前記頭部姿勢推定手段は、前記頭部撮影手段により撮影された画像から人間の頭部及び胴部を含む人物領域を抽出する領域抽出手段と、前記人物領域において頭部と胴部との境界を表す境界線を決定するとともに、前記人物領域のうち前記境界線により頭部として区分された領域から、前記境界線の中点からの距離が最大となる先端点を抽出する先端点抽出手段と、前記先端点の位置を基に頭部の姿勢を推定する推定手段とを含むことが好ましい。
【００１２】
この場合、頭部撮影手段により人間の頭部及び胴部を含む画像が撮影され、撮影された画像から人間の頭部及び胴部を含む人物領域が抽出され、抽出された人物領域において頭部と胴部との境界を表す境界線が決定されるとともに、境界線の中点が決定され、境界線の中点からの距離が最大となる先端点が人物領域のうち境界線により頭部として区分された領域から抽出され、抽出された先端点の位置を基に頭部の姿勢が推定されるので、ユーザの頭部の姿勢を正確に推定することができる。また、頭部撮影手段は人間の胸部に装着され、ヘッドマウントカメラのようにユーザの頭部に装着する必要がないため、第三者に対して視界的な違和感を与えることなく、容易に着脱及び使用することができる。
【００１３】
前記頭部姿勢推定装置は、人間の胸部に装着され、前記頭部撮影手段により撮影される人物の頭部及び胴部を、赤外線を用いて照明する赤外線照明手段をさらに備え、前記頭部撮影手段は、前記赤外線照明手段により赤外線照明された人間の頭部及び胴部を含む赤外線画像を撮影する赤外線撮影手段を含み、前記領域抽出手段は、前記赤外線撮影手段により撮影された赤外線画像から人間の頭部及び胴部を含む人物領域を抽出することが好ましい。
【００１４】
この場合、赤外線を用いて照明された人物の頭部及び胴部を撮影した赤外線画像から人間の頭部及び胴部を含む人物領域を抽出することができるので、人物領域とその他の背景領域とを明確に区分することができ、人物領域を高精度に抽出することができる。
【００１５】
前記推定手段は、前記先端点の位置から前記境界線の中点を回転中心とする頭部の水平角度及び垂直角度を推定することが好ましい。この場合、先端点の位置から境界線の中点を回転中心とする頭部の水平角度及び垂直角度を推定しているので、ユーザの頭部の姿勢を正確に推定することができる。
【００１６】
前記頭部姿勢推定装置は、前記頭部撮影手段と一体に固定され、前記頭部撮影手段を装着した人間の正面方向の画像を撮影する正面撮影手段と、前記推定手段により推定された頭部の姿勢を基に、前記正面撮影手段により撮影された画像から前記頭部撮影手段を装着した人間の視線方向の画像を抽出する画像抽出手段とをさらに備えることが好ましい。
【００１７】
この場合、推定された頭部の姿勢を基に正面撮影手段により撮影された画像から頭部撮影手段を装着した人間の視線方向の画像を抽出しているので、ユーザの視線方向の画像すなわちユーザが注目しているものを正確に検出することができる。また、正面撮影手段が頭部撮影手段と一体に固定されているので、正面撮影手段と頭部撮影手段との位置関係が変化せず、ユーザが注目しているものをより正確に検出することができる。
【００１８】
前記頭部姿勢推定装置は、前記境界線を基に人間に対する前記頭部撮影手段及び前記正面撮影手段の姿勢変化量を算出する算出手段をさらに備え、前記画像抽出手段は、前記算出手段により算出された前記頭部撮影手段及び前記正面撮影手段の姿勢変化量並びに前記推定手段により推定された頭部の姿勢を基に、前記正面撮影手段により撮影された画像から前記頭部撮影手段を装着した人間の視線方向の画像を抽出することが好ましい。
【００１９】
この場合、境界線を基に人間に対する頭部撮影手段及び正面撮影手段の姿勢変化量を算出し、算出された頭部撮影手段及び正面撮影手段の姿勢変化量をも考慮して推定した頭部の姿勢を基に人間の視線方向の画像を抽出しているので、頭部撮影手段及び正面撮影手段と人間との相対姿勢の変化を補正した頭部の姿勢を基に人間の視線方向の画像を抽出することができ、人間の視線方向の画像をより高精度に抽出することができる。
【００２０】
本発明に係る頭部姿勢推定方法は、領域抽出手段、境界線決定手段、先端点抽出手段及び推定手段として機能するコンピュータを用い、人間の頭部及び胴部を含む画像を撮影する頭部撮影手段を胸部に装着した人間の頭部の姿勢を推定する頭部姿勢推定方法であって、前記領域抽出手段が、前記頭部撮影手段により撮影された画像から人間の頭部及び胴部を含む人物領域を抽出するステップと、前記境界線決定手段が、前記人物領域において頭部と胴部との境界を表す境界線を決定するとともに、前記境界線の中点を決定するステップと、前記先端点抽出手段が、前記人物領域のうち前記境界線により頭部として区分された領域から、前記境界線の中点からの距離が最大となる先端点を抽出するステップと、前記推定手段が、前記先端点の位置を基に頭部の姿勢を推定するステップとを含むものである。
【００２１】
本発明に係る頭部姿勢推定処理プログラムは、人間の頭部及び胴部を含む画像を撮影する頭部撮影手段を胸部に装着した人間の頭部の姿勢を推定するための頭部姿勢推定処理プログラムであって、前記頭部撮影手段により撮影された画像から人間の頭部及び胴部を含む人物領域を抽出する領域抽出手段と、前記人物領域において頭部と胴部との境界を表す境界線を決定するとともに、前記境界線の中点を決定する境界線決定手段と、前記人物領域のうち前記境界線により頭部として区分された領域から、前記境界線の中点からの距離が最大となる先端点を抽出する先端点抽出手段と、前記先端点の位置を基に頭部の姿勢を推定する推定手段としてコンピュータを機能させるものである。
【発明の効果】
【００２２】
本発明によれば、人間の胸部に装着された頭部観測手段により当該人間の頭部を観測され、観測された情報から頭部の姿勢が推定されるので、ヘッドマウントカメラのようにユーザの頭部に観測手段を装着することなく、頭部の姿勢を推定することができ、第三者に対して視界的な違和感を与えることなく、着脱及び使用が容易で且つユーザの頭部の姿勢を正確に推定することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施の形態による頭部姿勢推定装置について図面を参照しながら説明する。図１は、本発明の一実施の形態による頭部姿勢推定装置の構成を示すブロック図であり、図２は、図１に示す頭部姿勢推定装置のセンサ部の人物への装着状態を示す概略図である。
【００２４】
図１に示す頭部姿勢推定装置は、赤外線カメラ１、赤外線照明器２、広角カメラ３、マイクロフォン４、通信部５，６、データ処理部７及びデータ記録部８を備える。赤外線カメラ１、赤外線照明器２、広角カメラ３、マイクロフォン４及び通信部５は、センサ部１０として一体に構成され、図２に示すように、ユーザ（人間）の胸部に装着される。センサ部１０の装着方法は、クリップ等を用いて衣服に取り付けたり、ペンダント方式を用いて首から吊り下げる等の種々の方法を用いることができる。また、センサ部１０の装着位置は、赤外線カメラ１がユーザの頭部（少なくとも鼻の頂点及び胴部との境界付近）及び胴部（少なくとも頭部との境界付近、例えば、両肩部）を確実に撮影できるように、人体のバストラインの中心位置付近に装着することが好ましいが、赤外線カメラ１がユーザの頭部及び胴部を撮影できる位置であれば、胸部周辺の他の位置に装着するようにしてもよい。
【００２５】
赤外線カメラ１は、赤外線領域に十分な感度を有するＣＣＤカメラ等から構成され、ユーザの胸部に上向きに装着される。赤外線照明器２は、赤外線ＬＥＤ等から構成され、赤外線カメラ１と一体に構成され、近赤外線を用いて距離の近い領域のみを照明するように照明強度が調整されており、ユーザの頭部及び胴部のみを照明する。赤外線カメラ１には赤外線のうち主に近赤外線のみ透過させる赤外線フィルタが取り付けられており、赤外線フィルタとしては、例えば、可視光を透過せず且つ近赤外光を透過するエドモンド社製プラスチックＩＲパスフィルタを用いることができる。赤外線カメラ１は、赤外線照明器２により赤外線で照明されているユーザの頭部及び胴部を含む赤外線画像を撮影して赤外線画像データを通信部５へ出力する。
【００２６】
広角カメラ３は、赤外線カメラ１の撮影方向と広角カメラ３の撮影方向とが所定の角度をなすように調整された状態で赤外線カメラ１と一体に固定され、ユーザの前方に向けてユーザの胸部に装着される。広角カメラ３は、通常のカメラより高解像度で且つ広角なＣＭＯＳカメラ等から構成され、例えば、画素数１２８０×１０２４のＰｉｘｅＬＩＮＫ社製ＰＬ−Ａ６６２を用いることができる。広角カメラ３は、ユーザの正面方向のカラー画像（可視光画像）を撮影して正面画像データを通信部５へ出力する。
【００２７】
マイクロフォン４は、ユーザの発話又は周囲音を集音して音声データを通信部５へ出力する。なお、音声を録音しない場合は、マイクロフォン４を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等を一体に構成してもよい。
【００２８】
通信部５は、無線方式により赤外線画像データ、正面画像データ及び音声データを通信部６へ送信する。なお、各データの送信方式は、上記の例に特に限定されず、有線方式等により各データを送信してもよい。また、データ処理部７及びデータ記録部８を小型化してセンサ部１０と一体に構成する場合は、通信部５，６を省略して赤外線カメラ１等から各データをデータ処理部７へ直接送信するようにしてもよい。
【００２９】
通信部６、データ処理部７及びデータ記録部８は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、ハードディスクドライブ、無線通信装置等を備えるコンピュータ等から構成され、ユーザから離間した所定位置に設置される。
【００３０】
通信部６は、通信部５から無線方式により送信される赤外線画像データ、正面画像データ及び音声データを受信してデータ処理部７へ出力する。データ処理部７は、赤外線画像データからユーザの頭部姿勢データを算出するとともに、頭部姿勢データを基に正面画像データからユーザの視線方向のユーザ視点画像データを抽出し、頭部姿勢データ、ユーザ視点画像データ及び音声データを観測時間に対応付けてデータ記録部８にデータベース化して記録させる。
【００３１】
図３は、図１に示すデータ処理部７の機能的な構成を示すブロックである。なお、図３では、説明を容易にするために通信部５，６の図示を省略している。図３に示すように、データ処理部７は、ＲＯＭ等に記憶されている頭部姿勢推定処理プログラムをＣＰＵ等で実行することにより、２値化部１１、人物領域抽出部１２、境界線算出部１３、鼻先点抽出部１４、頭部回転算出部１５、変化量算出部１６、視線方向算出部１７及び視線画像抽出部１８として機能する。なお、データ処理部７の構成は、上記の例に特に限定されず、専用のハードウエア等により構成してもよい。
【００３２】
２値化部１１は、通信部５，６を介して赤外線カメラ１から赤外線画像データを取得し、取得した赤外線画像データを２値化処理して人物領域抽出部１２へ出力する。人物領域抽出部１２は、２値化された赤外線画像データを用いてユーザの頭部及び胴部からなる人物領域とその他の背景領域との境界線を検出して人物領域と背景領域とに分割する。
【００３３】
境界線算出部１３は、人物領域と背景領域との境界線の形状を基に頭部と胴部との境界線を決定するとともに、頭部と胴部との境界線の中点をユーザの頭部の回転中心として決定する。鼻先点抽出部１４は、人物領域のうち頭部と胴部との境界線により頭部として区分された領域から、頭部と胴部との境界線の中点からの距離が最大となる先端点を鼻先点として抽出する。頭部回転算出部１５は、鼻先点の位置から頭部と胴部との境界線の中点を回転中心とする頭部の水平角度及び垂直角度を算出してデータ記録部８に頭部姿勢データとして記録させる。
【００３４】
変化量算出部１６は、頭部と胴部との境界線の傾き及び中点の位置を基にユーザに対する赤外線カメラ１及び広角カメラ３の姿勢変化量となる水平補正角度及び垂直補正角度を算出する。視線方向算出部１７は、頭部回転算出部１５により算出された頭部の水平角度及び垂直角度と変化量算出部１６により算出された赤外線カメラ１及び広角カメラ３の水平補正角度及び垂直補正角度からユーザの視線方向を算出する。視線画像抽出部１８は、通信部５，６を介して広角カメラ３から正面画像データを取得し、取得した正面画像データからユーザの視線方向を中心とする所定範囲の画像を抽出してデータ記録部８にユーザ視点画像データとして記録させる。
【００３５】
本実施の形態では、赤外線カメラ１が頭部観測手段の一例に相当し、２値化部１１、人物領域抽出部１２、境界線算出部１３及び鼻先点抽出部１４、頭部回転算出部１５が頭部姿勢推定手段の一例に相当し、広角カメラ３が前方撮影手段の一例に相当し、視線方向算出部１７及び視線画像抽出部１８が視線画像抽出手段の一例に相当する。また、赤外線カメラ１が頭部撮影手段及び赤外線撮影手段の一例に相当し、２値化部１１及び人物領域抽出部１２が領域抽出手段の一例に相当し、境界線算出部１３が境界線決定手段の一例に相当し、鼻先点抽出部１４が先端点抽出手段の一例に相当し、頭部回転算出部１５が推定手段の一例に相当する。赤外線照明器２が赤外線照明手段の一例に相当し、広角カメラ３が正面撮影手段の一例に相当し、視線方向算出部１７及び視線画像抽出部１８が画像抽出手段の一例に相当し、変化量算出部１６が算出手段の一例に相当する。
【００３６】
次に、図３に示すデータ処理部７による頭部姿勢推定処理について説明する。図４は、図３に示すデータ処理部７による頭部姿勢推定処理を説明するためのフローチャートである。
【００３７】
まず、２値化部１１は、赤外線カメラ１から出力される赤外線画像データを、通信部５，６を介して取得し（ステップＳ１１）、取得した赤外線画像データを２値化処理する（ステップＳ１２）。ここで、頭部姿勢推定処理に使用される頭部モデルの座標系及び赤外線画像について以下に説明する。
【００３８】
図５は、頭部モデルの座標系を示す模式図である。図５に示すように、水平面に沿ってＸ０軸及びＺ０軸が規定され、垂直方向にＹ０軸が規定され、原点となるユーザの頭部の回転中心ＲＣが首の前方に規定され、回転後の頭部座標系をＸ，Ｙ，Ｚで表す。このとき、ユーザの視線はＺ軸回転には依存しないので、Ｙ軸及びＸ軸回りの回転角α、βがユーザの頭部の水平角度及び垂直角度となる。
【００３９】
図６は、ユーザの頭部及び胴部を撮影した赤外線画像と可視光画像とを模式的に示す図である。図６に示すように、ユーザの胸部にカメラを装着してユーザの頭部及び胴部を撮影した場合、赤外線画像として図６の（ａ）に示す画像が撮影され、可視光画像として図６の（ｂ）に示す画像が撮影される。
【００４０】
すなわち、（ｂ）に示す可視光画像では、背景となる天井の空調機及び照明等が鮮明に撮影され、逆に、ユーザの頭部の一部は照明により鮮明に撮影されない。このような画像を２値化処理しても、人物領域と背景領域とを分離することは困難である。一方、（ａ）に示す赤外線画像では、赤外線照明器２が赤外線を用いて距離の近い領域のみを照明しているため、ユーザの頭部及び胴部のみが鮮明に撮影され、背景となるその他の部分は暗く撮影される。したがって、この赤外線画像を２値化処理することにより人物領域と背景領域とを正確に区分することができる。
【００４１】
次に、人物領域抽出部１２は、２値化された赤外線画像データから人物領域と背景領域との境界線を検出して人物領域と背景領域とに分割し（ステップＳ１３）、境界線算出部１３は、人物領域と背景領域との境界線の傾きの変化から頭部領域を抽出し、胴部の境界線のみを用いて頭部と胴部との境界線を検出する（ステップＳ１４）。これに限定されないが、例えば、後述する図７に示すように、当該境界線の傾きの変化の大きい部分の点Ｐ４，Ｐ５を胴体−頭部の境界として検出することで頭部領域を抽出し、点Ｐ４，Ｐ５を検出することで頭部を抽出し、点Ｐ４，Ｐ５を用いて頭部と胴部との境界線を検出する。ここで、位置ｘにおける境界線の傾きをθ（ｘ）とするとき、ｄθ（ｘ）／ｄｘが最大の点、最小の点をそれぞれＰ４，Ｐ５とする。
【００４２】
次に、境界線算出部１３は、頭部と胴部との境界線の中点をユーザの頭部の回転中心として検出し（ステップＳ１５）、鼻先点抽出部１４は、人物領域のうち人物領域と背景領域との境界線により頭部として区分された領域から、境界線の中点からの距離が最大となる鼻先点を抽出する（ステップＳ１６）。
【００４３】
図７は、頭部と胴部との境界線及び鼻先点を決定する方法を説明するための模式図である。図７に示すように、人物領域抽出部１２は、人物領域と背景領域との境界線Ｌ１〜Ｌ３を検出し、境界線算出部１３は、境界線Ｌ１〜Ｌ３の傾きの変化から点Ｐ４と点Ｐ５とを用いて頭部と胴部との境界線ＢＬを算出する。次に、境界線算出部１３は、点Ｐ４と点Ｐ５との中点ＭＰを抽出し、鼻先点抽出部１４は、点Ｐ４と点Ｐ５との間の頭部領域すなわち頭部の境界線Ｌ２内の領域において中点ＭＰからの距離が最大となる点ＮＰを鼻先点として決定する。
【００４４】
図８は、人物領域、頭部と胴部との境界線及び鼻先点の検出例を示す模式図である。図８の上段の各画像において、斜線部は背景領域を示し、斜線のない白色部は人物領域ＰＲを示しており、下段の各画像において、直線は頭部と胴部との境界線ＢＬを示し、×印は鼻先点ＮＰを示している。このように、赤外線画像からユーザの頭部の動きに応じて、人物領域ＰＲ、頭部と胴部との境界線ＢＬ及び鼻先点ＮＰが正確に推定された。
【００４５】
次に、頭部回転算出部１５は、鼻先点の位置から人物領域と背景領域との境界線の中点を回転中心とする頭部の水平角度及び垂直角度を算出する（ステップＳ１７）。図９は、鼻先点と、人物領域と背景領域との境界線の中点との関係を示す模式図である。図９に示すように、赤外線画像上の鼻先点と、人物領域と背景領域との境界線の中点すなわち頭部回転中心とをそれぞれＰn（＝〔ｕn，ｖn〕）、Ｐc（＝〔ｕc，ｖc〕＝〔０，０〕）で表す。ここで、ｕ軸は、頭部と胴部との境界線ＢＬと一致し、ｖ軸はｕ軸に対して垂直な軸である。
【００４６】
このとき、ユーザの頭部の水平角度α及び垂直角度βは、頭部回転中心Ｐcがユーザの首の前方に位置するので、次式により計算される。
【００４７】
【数１】
2005322077.tif 000003
【００４８】
ここで、Ｐn(0)（＝〔ｕn(0)，ｖn(0)〕）は、α＝０，β＝０のときのＰnの値である。これは、ユーザが正面を向いて装置の初期化設定（ボタンを押すなど）を行った際に設定する。また、ｋは、ユーザの頭部の大きさと赤外線カメラ１の内部パラメータにより決定される定数であり、以下のようにして求められる。
【００４９】
図１０は、ユーザを側面からみたときの模式図であり、（ａ）はユーザが正面を向いている状態を示し、（ｂ）はユーザが俯いている状態を示している。図１０の（ａ）に示すように、ユーザが正面を向いているとき、赤外線カメラ１から頭部回転中心Ｐcまでの垂直距離をｄ0、鼻先点Ｐnと頭部回転中心Ｐcとの距離をＤ、その水平距離をｈ0、鼻先点Ｐnと頭部回転中心Ｐcとを結ぶ直線の水平線に対する角度をθ0とし、（ｂ）に示すように、ユーザが俯いたときの鼻先点Ｐnと頭部回転中心Ｐcとの水平距離をｈ1、鼻先点Ｐnと頭部回転中心Ｐcとを結ぶ直線の水平線に対する角度をθ1とすると、下式が成り立つ。
【００５０】
【数２】
2005322077.tif 000004
【００５１】
ここで、赤外線カメラ１の焦点距離をｆとすると、下式が成り立つ。
【００５２】
【数３】
2005322077.tif 000005
【００５３】
式（５）を式（４）へ代入すると、
【００５４】
【数４】
2005322077.tif 000006
【００５５】
となり、式（２）のｋは、ｋ＝Ｄ（ｆ／ｄ0）となる。ここで、距離Ｄ、垂直距離ｄ０は、予め上記初期化の際計測しておく。焦点距離ｆは、光学系設計時に決定される。
【００５６】
次に、変化量算出部１６は、頭部と胴部との境界線の傾き及び中点の位置を基にユーザに対する赤外線カメラ１及び広角カメラ３の姿勢変化量となる水平補正角度Δα及び垂直補正角度Δβを算出する（ステップＳ１８）。水平補正角度Δαは、図９に示す頭部と胴部との境界線ＢＬの傾きであり、垂直補正角度Δβは下式により算出される。
【００５７】
【数５】
2005322077.tif 000007
【００５８】
ここで、Ｐc(0)（＝〔ｕc(0)，ｖc(0)〕）は、Δα＝０，Δβ＝０のときのＰcの値である。
【００５９】
次に、視線方向算出部１７は、頭部回転算出部１５により算出された頭部の水平角度α及び垂直角度βと、変化量算出部１６により算出された赤外線カメラ１及び広角カメラ３の水平補正角度Δα及び垂直補正角度Δβとから広角カメラ３の正面画像上のユーザの視線方向ｘα，ｙβを、下式を用いて算出する（ステップＳ１９）。
【００６０】
ｘα＝ｆ・ｔａｎ（α＋Δα），ｙβ＝ｆ・ｔａｎ（β＋Δβ）…（８）
最後に、視線画像抽出部１８は、広角カメラ３により撮影された正面画像からユーザの視線方向を中心とする所定範囲の画像を抽出し（ステップＳ２０）、その後ステップＳ１１以降の処理を適宜繰り返す。なお、本実施の形態において、視線方向とは、目の向いている方向を直接的に意味するものではなく、頭部の姿勢すなわち顔の方向が通常では目の向いている方向すなわち視線方向とほぼ同じであるため、頭部の姿勢、頭部の回転の算出から視線方向を推定するものである。
【００６１】
次に、上記の頭部姿勢推定処理における鼻先点の推定精度等について具体例を挙げて説明する。図１１は、図１に示す頭部姿勢推定装置による鼻先点の推定結果を示す図であり、図中の破線は実験者が手作業により計測した真値を示し、実線は図１に示す頭部姿勢推定装置による鼻先点の推定結果を示している。図１１から図１に示す頭部姿勢推定装置は鼻先点を高精度に抽出できたことがわかる。
【００６２】
図１２は、図１に示す頭部姿勢推定装置により室内において推定されたユーザの視線方向の軌跡の一例を示す図である。図１２に示す折れ線ＶＴがユーザの視線方向の軌跡であり、この軌跡ＶＴから、ユーザは３つの物体、すなわち、時計Ｔ１、カレンダーＴ２、椅子Ｔ３を順に見ていたことがわかる。また、頭部運動の静止時間からユーザの注目物体の抽出を行った結果、図１２に示す時計Ｔ１、カレンダーＴ２、椅子Ｔ３を含む画像が抽出され、ユーザの注目物体を自動抽出することができた。
【００６３】
図１３は、図１に示す頭部姿勢推定装置により記録されたユーザの行動履歴データの一例を示す図である。図１３の上段及び中段はユーザの頭部姿勢データを示し、下段は音声データを示しており、これらのデータとともに上記のようなユーザ視点画像データがデータ記録部８に記録された。これらの情報を用いることにより、ユーザの頭部ジェスチャ（頷き、首振りなど）の検出や、ユーザが話している時間の検出などが可能になる。
【００６４】
上記のように、本実施の形態では、赤外線カメラ１によりユーザの頭部及び胴部を含む赤外線画像が撮影され、撮影された赤外線画像からユーザの頭部及び胴部を含む人物領域が抽出され、抽出された人物領域において頭部と胴部との境界を表す境界線が決定されるとともに、境界線の中点が決定され、境界線の中点からの距離が最大となる鼻先点が人物領域のうち境界線により頭部として区分された領域から抽出され、抽出された鼻先点の位置を基に頭部の姿勢が推定されるので、ユーザの頭部の姿勢を正確に推定することができる。
【００６５】
また、推定された頭部の姿勢を基に広角カメラ３により撮影された正面画像からユーザの視線方向の画像を切り出しているので、ユーザの視線方向の画像すなわちユーザが注目しているものを正確に検出することができる。
【００６６】
さらに、赤外線カメラ１及び広角カメラ３等のセンサ部１０がユーザの胸部に装着され、ヘッドマウントカメラのようにユーザの頭部に装着する必要がないため、第三者に対して視界的な違和感を与えることなく、容易に着脱及び使用することができ、日常的な行動の記録に好適に用いることができる。
【００６７】
なお、本実施の形態では、赤外線カメラを用いて鼻先点を検出したが、頭部の運動に応じて位置が変化する特徴点を検出することができれば、この例に特に限定されず、可視光用カメラを用いて顎先点を検出する等の種々の変更が可能である。また、本実施の形態では、一つのセンサ部に対してそれぞれ一つのデータ処理部及びデータ記録部を用いたが、この例に特に限定されず、複数のセンサ部（複数の人間）に対する処理を一つのデータ処理部で行う等の種々の変更が可能である。また、本実施の形態では、撮影した画像を用いて頭部の姿勢を推定したが、頭部姿勢の推定に用いる情報は、この例に特に限定されず、例えば、光、超音波等により胸部から頭部までの距離等を測定して頭部の形を取得し、さらには、頭部の姿勢をパターンマッチング等により推定するようにしてもよい。
【００６８】
また、本発明の頭部姿勢推定装置は、日常的な行動の記録に好適に用いることができるので、人間の体験の記録、人間の行動履歴の要約、人間のインタラクションの解析等の用途に適しており、これらの場合、脈拍、体温等の生体データ等の他のデータを併せて記録するようにしてもよい。
【図面の簡単な説明】
【００６９】
【図１】本発明の一実施の形態による頭部姿勢推定装置の構成を示すブロック図である。
【図２】図１に示す頭部姿勢推定装置のセンサ部の人物への装着状態を示す概略図である。
【図３】図１に示すデータ処理部の機能的な構成を示すブロックである。
【図４】図３に示すデータ処理部による頭部姿勢推定処理を説明するためのフローチャートである。
【図５】頭部モデルの座標系を示す模式図である。
【図６】ユーザの頭部及び胴部を撮影した赤外線画像と可視光画像とを模式的に示す図である。
【図７】頭部と胴部との境界線及び鼻先点を決定する方法を説明するための模式図である。
【図８】人物領域、頭部と胴部との境界線及び鼻先点の検出例を示す模式図である。
【図９】鼻先点と、人物領域と背景領域との境界線の中点との関係を示す模式図である。
【図１０】ユーザを側面からみたときの模式図である。
【図１１】図１に示す頭部姿勢推定装置による鼻先点の推定結果を示す図である。
【図１２】図１に示す頭部姿勢推定装置により室内において推定されたユーザの視線方向の軌跡の一例を示す図である。
【図１３】図１に示す頭部姿勢推定装置により記録されたユーザの行動履歴データの一例を示す図である。
【符号の説明】
【００７０】
１  赤外線カメラ
２  赤外線照明器
３  広角カメラ
４  マイクロフォン
５，６  通信部
７  データ処理部
８  データ記録部
１１  ２値化部
１２  人物領域抽出部
１３  境界線算出部
１４  鼻先点抽出部
１５  頭部回転算出部
１６  変化量算出部
１７  視線方向算出部
１８  視線画像抽出部
【図１】
2005322077.tif 000008
【図２】
2005322077.tif 000009
【図３】
2005322077.tif 000010
【図４】
2005322077.tif 000011
【図５】
2005322077.tif 000012
【図６】
2005322077.tif 000013
【図７】
2005322077.tif 000014
【図８】
2005322077.tif 000015
【図９】
2005322077.tif 000016
【図１０】
2005322077.tif 000017
【図１１】
2005322077.tif 000018
【図１２】
2005322077.tif 000019
【図１３】
2005322077.tif 000020