(57)【要約】【課題】従来に比較して簡易な構成により、人間の位置及び視点方向を、高い精度で検出する人間位置検出システム及び人間位置検出方法を提供する。【解決手段】本発明の人間位置検出システムは、複数のマーカが２次元平面にマーカパターンとして配置されており、人間が頭部に装着する装着具と、画像を撮像する撮像装置と、画像から前記マーカを抽出し、マーカの分布した画像を示すマーカ画像を生成する画像認識処理部と、予め撮像装置が自身の正面で撮像した基準マーカ画像におけるマーカの分布する２次元平面の方向と、撮像装置に対する距離とを変更しつつ、この方向及び距離を変更した２次元平面状のマーカの配置位置と、撮像装置の撮像したマーカ画像におけるマーカの配置位置とを比較し、２次元平面と画像撮像装置との距離と、２次元平面に対して垂直な方向とを求める３次元位置計測部とを備える。【選択図】図１
2013120150.tif 000002
【特許請求の範囲】
【請求項１】
複数のマーカが２次元平面にマーカパターンとして配置されており、人間が頭部に装着する装着具と、
画像を撮像する撮像装置と、
前記画像から前記マーカを抽出し、当該マーカの分布した画像を示すマーカ画像を生成する画像認識処理部と、
予め前記撮像装置が自身の正面で撮像した基準マーカ画像におけるマーカの分布する２次元平面の方向と、前記撮像装置に対する距離とを変更しつつ、この方向及び距離を変更した２次元平面上のマーカの配置位置と、当該撮像装置の撮像した前記マーカ画像におけるマーカの配置位置とを比較し、前記２次元平面と前記撮像装置との距離と、当該２次元平面に対して垂直な方向とを求める３次元位置計測部と
を備えることを特徴とする人間位置検出システム。
【請求項２】
前記基準マーカ画像を３次元空間を形成する軸を回転軸として、複数の回転角度で回転させたテンプレート画像が予め書き込まれて記憶されているテンプレート記憶部と、
前記マーカ画像と、前記テンプレート画像とを順次比較し、最も回転角度の近いテンプレート画像を検出し、この画像を前記３次元位置計測部が２次元平面の方向の初期値として、当該３次元位置計測部に対して出力する初期値設定部と
をさらに有することを特徴とする請求項１に記載の人間位置検出システム。
【請求項３】
前記装着具が複数あり、
当該装着具毎に異なる分布のマーカパターンが付加されており、
前記３次元位置計測部が、前記マーカパターン毎の基準マーカ画像を記憶しており、前記マーカ画像における複数のマーカパターンを識別する
ことを特徴とする請求項１または請求項２に記載の人間位置検出システム。
【請求項４】
前記マーカが２次元平面に分布されたマーカパターンが、前記マークの分布の中心位置に対して、非回転対称に配置されていることを特徴とする請求項１または請求項２に記載の人間位置検出システム。
【請求項５】
前記マーカの各々が、前記中心位置との距値がそれぞれ異なる数値に設定されていることを特徴とする請求項３に記載の人間位置検出システム。
【請求項６】
撮像範囲に位置する、複数のマーカが２次元平面にマーカパターンとして配置された装着具を装着した視聴者を含む撮像画像を、撮像する撮像過程と、
前記画像から前記マーカを抽出し、当該マーカの分布した画像を示すマーカ画像を生成する画像認識処理過程と、
予め前記撮像装置が自身の正面で撮像した基準マーカ画像におけるマーカの分布する２次元平面の方向と、前記撮像装置に対する距離とを変更しつつ、この方向及び距離を変更した２次元平面状のマーカの配置位置と、当該撮像装置の撮像した前記マーカ画像におけるマーカの配置位置とを比較し、前記２次元平面と前記撮像装置との距離と、当該２次元平面に対して垂直な方向とを求める３次元位置計測過程と
を含むことを特徴とする人間位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の３時限的な位置を検出する人間位置検出システム及び人間位置検出方法に関する。
【背景技術】
【０００２】
従来から、電子機器に対する人間の位置を検出する処理が行われている。
例えば、テレビジョン受像機（以下、テレビ）の表示画面に対する人間の位置を検出手法において、テレビの表示画面上部に撮像装置を設け、この撮像装置の撮像する撮像画像により、人間の位置を推定することが行われている。
すなわち、撮像装置の出力する撮像画像から輪郭処理などにより人間部分を抽出し、その抽出した人間部分の前記表示画面に平行な２次元位置を推定することが行われている。
また、抽出した人間部分の大きさにより、上述した２次元位置に加えて距離を推定することで、大まかな３次元位置を推定している。
【０００３】
また、ＴＯＦ（Time Of Flight）カメラなど特殊な計測装置を用い、測定対象の人間とテレビの表示画面との距離を測定していた。
さらに、バーチャルリアリティシステムとして、３次元空間における人間の体の動きを、例えば発光式のマーカを人間に装着し、さまざまな位置に配置した撮像装置から得られる画像を用いて、３次元空間における位置を検出する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４５５６０１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の場合、複数の撮像装置を使用し、それぞれの撮像した画像の時間的な差分から、画像における人間の抽出を行うため、設備が大きくなり処理時間が増大してしまうことになる。
また、ＴＯＦカメラを用いた場合、距離は検出できるが、３次元空間における位置の検出は、角度を検出する必要があり、ＴＯＦカメラを移動させる必要があるため、位置検出の処理速度が遅く、実用的ではない。
また、画像から人間部分の大きさから、距離を測定する場合、個々の人間の大きさによる誤差が大きく、正確な位置座標を取得することができない。
【０００６】
本発明は、このような事情に鑑みてなされたもので、従来に比較して簡易な構成により、人間の位置及び視点方向を、高い精度で検出する人間位置検出システム及び人間位置検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の人間位置検出システムは、複数のマーカが２次元平面にマーカパターンとして配置されており、人間が頭部に装着する装着具と、画像を撮像する撮像装置と、前記画像から前記マーカを抽出し、当該マーカの分布した画像を示すマーカ画像を生成する画像認識処理部と、予め前記撮像装置が自身の正面で撮像した基準マーカ画像におけるマーカの分布する２次元平面の方向と、前記撮像装置に対する距離とを変更しつつ、この方向及び距離を変更した２次元平面上のマーカの配置位置と、当該撮像装置の撮像した前記マーカ画像におけるマーカの配置位置とを比較し、前記２次元平面と前記撮像装置との距離と、当該２次元平面に対して垂直な方向とを求める３次元位置計測部とを備えることを特徴とする。
【０００８】
本発明の人間位置検出システムは、前記基準マーカ画像を３次元空間を形成する軸を回転軸として、複数の回転角度で回転させたテンプレート画像が予め書き込まれて記憶されているテンプレート記憶部と、前記マーカ画像と、前記テンプレート画像とを順次比較し、最も回転角度の近いテンプレート画像を検出し、この画像を前記３次元位置計測部が２次元平面の方向の初期値として、当該３次元位置計測部に対して出力する初期値設定部とをさらに有することを特徴とする。
【０００９】
本発明の人間位置検出システムは、前記装着具が複数あり、当該装着具毎に異なる分布のマーカパターンが付加されており、前記３次元位置計測部が、前記マーカパターン毎の基準マーカ画像を記憶しており、前記マーカ画像における複数のマーカパターンを識別することを特徴とする。
【００１０】
本発明の人間位置検出システムは、前記マーカが２次元平面に分布されたマーカパターンが、前記マークの分布の中心位置に対して、非回転対称に配置されていることを特徴とする。
【００１１】
本発明の人間位置検出システムは、前記マーカの各々が、前記中心位置との距値がそれぞれ異なる数値に設定されていることを特徴とする。
【００１２】
本発明の人間位置検出方法は、撮像範囲に位置する、複数のマーカが２次元平面にマーカパターンとして配置された装着具を装着した視聴者を含む撮像画像を、撮像する撮像過程と、前記画像から前記マーカを抽出し、当該マーカの分布した画像を示すマーカ画像を生成する画像認識処理過程と、予め前記撮像装置が自身の正面で撮像した基準マーカ画像におけるマーカの分布する２次元平面の方向と、前記撮像装置に対する距離とを変更しつつ、この方向及び距離を変更した２次元平面状のマーカの配置位置と、当該撮像装置の撮像した前記マーカ画像におけるマーカの配置位置とを比較し、前記２次元平面と前記撮像装置との距離と、当該２次元平面に対して垂直な方向とを求める３次元位置計測過程とを含むことを特徴とする。
【発明の効果】
【００１３】
この発明によれば、人間が装着する装着具のマーカパターンを撮像し、この撮像した撮像画像からマーカパターンの各マークの配置位置を示すマーク画像を抽出し、このマーク画像と、回転や大きさを変更した基準マーク画像とを比較することで、装着具を装着した視聴者の位置を求めるため、特に複雑な処理を行うことなく、従来に比較して簡易な構成により、人間の位置及び視点方向を、高い精度で検出することができる。
【図面の簡単な説明】
【００１４】
【図１】この発明の第１の実施形態による人間位置検出システムの構成例を示すブロック図である。
【図２】撮像装置２００の撮像した撮像画像６００におけるマーカ点と、３次元空間におけるマーカ点の空間位置座標ｐ（ｘ，ｙ，ｚ）との対応関係を示す図である。
【図３】撮像装置２００の撮像した撮像画像６００における各マーカ点と、３次元空間における各マーカ点の空間位置座標ｐ（ｘ，ｙ，ｚ）との対応関係を示す図である。
【図４】本発明の第１の実施形態による人間位置検出システムの構成例を示すブロック図である。
【図５】３Ｄ視聴用メガネ３００のリム３０１におけるマーカの分布する位置を回転対称とした場合に問題があることを示す図である。
【図６】３Ｄ視聴用メガネ３００のリム３０１におけるマーカの分布する位置を一部だけ非対称とした場合に問題があることを示す図である。
【図７】マーカのいくつかが非検出であっても、マーカの配置の非回転対称を維持する、マーカパターン４００におけるマーカの配置条件を説明する図である。
【図８】本発明の第２の実施形態による人間位置検出システムの構成例を示すブロック図である。
【図９】複数の３Ｄ視聴用メガネ３００、例えば３Ｄ視聴用メガネ３００Ａ及び３００Ｂを用いた場合における、各３Ｄ視聴用メガネに配置するマーカパターン４００Ａ及び４００Ｂの分布を説明する図である。
【図１０】本発明の第３の実施形態による人間位置検出システムの構成例を示すブロック図である。
【図１１】画像中心座標ｑ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）との組合せの初期値を求めるため、基準マーカ画像から生成するテンプレート画像群を説明するための図である。
【図１２】テンプレート画像記憶部１４に記憶されているテンプレート画像により、初期値設定部１５が画像中心座標ｑ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）の初期値を設定する処理を説明する図である。
【発明を実施するための形態】
【００１５】
本発明は、人間の位置（特に観察位置、すなわち目の位置）と、人間の向き（特に観察方向、すなわち視線方向）とを推定する人間位置検出システムである。
以下、本発明における人間の位置及び人間の向きとを推定する処理について説明する。
図１は、本発明の人間位置検出システムの概要を示す概念図である。図１（ａ）は、視聴用メガネを、マーカが配置された装着具として頭部に装着した視聴者と、撮像装置との対応を説明する図である。図１（ｂ）は、図１（ａ）における視聴者７００が３Ｄ（Dimension）テレビ（テレビ受像機（テレビジョンセット、Television set、以下３Ｄテレビとする））２５０を鑑賞する際に装着する３Ｄ視聴用メガネ３００の構成を示す図である。
【００１６】
ここで、テレビ２５０の表示面２５０Ａの正面領域を撮像範囲５００として撮像する撮像装置２００が、表示面２５０Ａの上部に設けられている。
また、図１（ｂ）に示す３Ｄ視聴用メガネ３００には、レンズ３０２外周のリム３０１の表面に複数のマーカが配置されている。
さらに、この複数のマーカの各々は、２次元平面上に分布するように配置されていることが望ましい。
【００１７】
図１（ａ）に示すように、視聴者７００が撮像装置２００の撮像範囲５００に位置し、３Ｄテレビ２５０の表示面２５０Ａに表示される画像を鑑賞する場合を考える。
このとき、テレビ２５０に搭載されている人間位置推定装置が、撮像装置２００の撮像する画像を用い、視聴者７００が装着する３Ｄ視聴者用メガネ３００のテレビ２５０の表示面２５０Ａに対する位置（視聴者位置座標ν）と、視聴者７００の視線方向とを推定する。
【００１８】
次に、図２は、撮像装置２００の撮像した撮像画像６００におけるマーカ点と、３次元空間におけるマーカ点の空間位置座標ｐ（ｘ，ｙ，ｚ）との対応関係を示す図である。
こととき、人間位置推定装置は、撮像装置２００の撮像した撮像画像６００から、３Ｄ視聴用メガネ３００のリム３０１に配置されたマーカを抽出する。
図２に示すように、テレビ２５０の表示制御部は、人間位置推定装置がマーカの分布から推定した視聴者位置座標ν（ｘ，ｙ，ｚ）と、３次元空間における視聴方向とにより、表示面２５０Ａに表示する画像を変化させ、インタラクティブな映像効果を得ることができる。
【００１９】
まず、撮像装置２００により撮像された２次元平面である撮像画像６００から、各マーカ点の３次元座標系（例えば、テレビ２５０の表示面２５０Ａをｘ軸及びｙ軸からなり、表示面２５０Ａの垂直方向をｚ座標するワールド座標系）における位置座標の検出を以下の処理により行う。
３次元座標系（３次元空間）における空間位置座標Ｐ（ｘ，ｙ，ｚ）から、撮像装置２００の撮像画像６００における表示位置座標Ｓ（ｘ，ｙ，ｚ）への変換には、以下の（１）式が用いられる。
【００２０】
【数１】
2013120150.tif 000003
【００２１】
上記（１）式を変形することにより、（１）式とは逆に、表示位置座標Ｓ（ｘ，ｙ，ｚ）から空間位置座標Ｐ（ｘ，ｙ，ｚ）への変換を行う以下の（２）式が得られる。
【００２２】
【数２】
2013120150.tif 000004
【００２３】
撮像装置２００の撮像した撮像画像６００から、視聴者７００の装着している３Ｄ視聴者用メガネ３００のリム３０１に配置されたマーカ点を抽出しマーカ画像を生成する。
そして、マーカ画像から抽出した各マーカの点の座標から以下の（３）式により、マーカの座標点を通過する線の方程式ｌを、マーカの座標点毎に求める。
【００２４】
【数３】
2013120150.tif 000005
【００２５】
ここで、撮像された撮像画像６００上に存在する表示点の３次元空間における位置を求める場合、（２）式を用いて撮像画像６００上の表示位置座標Ｓ（ｘ，ｙ，ｚ）を、３次元空間上の空間位置座標Ｐ（ｘ，ｙ，ｚ）に変換する。
ここで、ビュー変換行列Ｖｉ、射影変換行列Ｐｒ及びビューポート行列Ｖｐは、撮像装置２００のキャリブレーションによって予め定義されたパラメータにより求めておく。
【００２６】
しかしながら、２次元平面である撮像画像６００においては、表示位置座標Ｓ（ｘ，ｙ，ｚ）におけるｚ軸における座標が不明であるため、上記（２）式から一意に空間位置座標Ｐ（ｘ，ｙ，ｚ）を算出することができない。
一方、撮像位置座標Ｓ（ｘ，ｙ，ｚ）と空間位置座標Ｐ（ｘ，ｙ，ｚ）とを通る直線を、直線ｌ（ｘ，ｙ，ｚ）を示す式として、上記（３）式に示す方程式により求めることができる。
そして、後述するように、この直線ｌ（ｘ，ｙ，ｚ）の方程式から各マーカの空間位置座標Ｐ（ｘ，ｙ，ｚ）を求める処理を行う。
【００２７】
また、上記（３）式において、直線ｌ（ｘ，ｙ，ｚ）を求めるために用いているｐ０（ｘ，ｙ，ｚ）とｐ１（ｘ，ｙ，ｚ）との各々は、それぞれ以下の（４）式、（５）式で表される空間位置座標である。
【００２８】
【数４】
2013120150.tif 000006
【００２９】
【数５】
2013120150.tif 000007
【００３０】
また、予めマッチングに用いる基準マーカ画像を生成するため、視聴者７００は３Ｄ視聴者用メガネ３００を装着し、テレビ２５０の表示面２５０Ａに正面（マーカの配置される２次元平面と、表示面２５０Ａとが平行となる位置）に位置し、撮像装置２００に撮像画像６００として撮像させる。
この各マーカ点は同一の３次元平面（３次元空間に位置する２次元平面）に分布している。このため、基準マーカ画像の３次元空間における中心の座標を中心座標ｑ０（ｘ，ｙ，ｚ）とした場合、各マーカ点の３次元空間における空間位置座標ｑ（ｘ，ｙ，ｚ）は以下の（６）式を満たすことになる。
【００３１】
【数６】
2013120150.tif 000008
【００３２】
この（６）式において、ｎ（ｘ，ｙ，ｚ）は、画像中心座標ｑ０（ｘ，ｙ，ｚ）を含む、マーカ点が分布する２次元平面（上述したマーカ画像の３次元平面）の法線ベクトルである。
また、画像中心の３次元座標とした画像中心座標ｑ０（ｘ，ｙ，ｚ）及び当該画像中心座標ｑ０（ｘ，ｙ，ｚ）を含む２次元平面（３次元平面）の法線ベクトルｎ（ｘ，ｙ，ｚ）をある値に仮定し、上記（６）式と基準マーカ画像とにより、マーカ点の３次元位置である空間位置座標ｑ（ｘ，ｙ，ｚ）を求める。
すなわち、任意の画像中心座標ｑ０（ｘ，ｙ，ｚ）と各マーカの座標点ｑ（ｘ，ｙ，ｚ）との差分のベクトルが法線ベクトルに対して、（６）式が成り立つことで直角となる座標位置を設定する。これを全てのマーカが配置された座標点で成り立つことで、マーカが同一平面上に配置された状態として算出される。
【００３３】
次に、図３は、撮像装置２００の撮像した撮像画像６００における各マーカ点と、３次元空間における各マーカ点の空間位置座標ｐ（ｘ，ｙ，ｚ）との対応関係を示す図である。
そして、図３に示すように、法線ベクトルｎ（ｘ，ｙ，ｚ）の示す平面と、（３）式とにより、各マーカの空間位置座標点ｐ（ｘ，ｙ，ｚ）が求められる。
すなわち、法線ベクトルの示す３次元平面と、各マーカの座標点を通る直線ｌ（ｘ，ｙ，ｚ）との交点を求めることにより、各マーカの３次元空間における空間位置座標点ｐ（ｘ，ｙ，ｚ）を求める。
【００３４】
対応するマーカ（標準マーカ画像とマーカ画像とにおける同一のマーカ）の座標点ｑ（ｘ，ｙ，ｚ）と座標点ｐ（ｘ，ｙ，ｚ）との差分（誤差）が最小となる画像中心座標ｑ０（ｘ，ｙ，ｚ）及び平面の法線ベクトルｎ（ｘ，ｙ，ｚ）の組合せを、以下の（７）式を用いて求める。また、このとき、座標点ｑ（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）との探索範囲を狭めるため、法線ベクトルの示す３次元平面が表示面２５０Ａに対してほぼ正対しているという仮定を置く。これにより、２次元画像における荒いマッチング処理を行うことにより、座標点ｑ（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）との初期値を設定しておく。
【００３５】
【数７】
2013120150.tif 000009
【００３６】
そして、求められた画像中心座標ｑ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）とから、視聴者７００の視聴者の視聴者位置（観察位置）の３次元位置である視聴者位置座標ν（ｘ，ｙ，ｚ）と、３次元空間における視線方向とが得られる。
本発明は、上述した視聴者位置及び視線方向の検出処理を行う。
【００３７】
＜第１の実施形態＞
以下、図面を参照して、本発明の実施の形態について説明する。図４は、この発明の第１の実施形態による人間位置検出システムの構成例を示すブロック図である。
この図１において、本実施形態の人間検出システムは、撮像装置２００、映像表示装置２５０に搭載されている人間位置検出部１と、３Ｄ視聴用メガネ３００とを備えている。
撮像装置２００は、撮像部２０１及び撮像画像送信部２０２を備えている。
人間位置検出部１は、撮像画像受信部１１、画像認識処理部１２及び３次元位置計測部１３を備えている。
３Ｄ視聴用メガネ３００には、図１（ｂ）に示すようにリム３０１表面部分に、複数のマーカからなるマーカパターン４００が配置されている。視聴者の頭部に３Ｄ視聴用メガネ３００を装着することで説明しているが、視聴者の鑑賞している方向である視線方向を検出可能であれば、何でもよい。
【００３８】
撮像装置２００は、図１（ａ）に示すように、映像表示装置２５０の表示面２５０Ａ正面方向の撮像範囲５００を撮像する位置に設けられている。
また、撮像装置２００の撮像部２０１は、撮像範囲５００を撮像した撮像画像６００を、撮像画像送信部２０２を介して、有線あるいは無線により映像表示装置２５０の撮像画像受信部１１に対して送信する。
撮像画像受信部１１は、撮像画像送信部２０２から送信された撮像画像６００を、画像認識処理部１２に対して出力する。
【００３９】
画像認識処理部１２は、供給された撮像画像６００から、当該撮像画像に分布して配置されたマーカ点のみを抽出し、マーカの分布された配置のみを示すマーカ画像を生成する。
例えば、このリム３０１に配置するマーカは、撮像装置２００の撮像した撮像画像６００から抽出し易い形状、あるいは色にて作成されている。
したがって、画像認識処理部１２は、予め内部記憶部に記憶されているマーカの形状や色と同一のマーカを、撮像画像６００から抽出する。
そして、画像認識処理部１２は、生成したマーカ画像を３次元位置計測部１３に対して出力する。
【００４０】
３次元位置計測部１３は、供給されるマーカ画像を元に、すでに説明した視聴者位置及び視線方向検出処理を行い、視聴者７００のテレビ２５０の表示面２５０Ａを鑑賞している観察位置及び視線方向を検出する。
【００４１】
また、３Ｄ視聴用メガネ３００のリム３０１に配置するマーカの配置方法を以下に説明する。
幾何学的には、３点のマーカの分布により、３Ｄ視聴用メガネ３００におけるマーカの配置された３次元空間における３次元平面（３次元空間に配置された２次元平面の位置）が特定できる。
しかしながら、３次元空間における３次元平面（すなわち、３Ｄ視聴用メガネ３００のマーカが分布する２次元平面）の位置及び向きを頑健に特定するため、３点のマーカではなく、さらに複数点のマーカが必要となる。
【００４２】
すなわち、撮像装置２００がリム３０１におけるマーカを撮像漏れした場合（撮像できなかった場合）、あるいは画像認識処理部１２がマーカを認識できずに抽出できない場合を考慮し、図１（ｂ）に示すように、マーカパターン４００として８個のマーカを必要とする。
また、マーカの分布する位置を左右対称とすると、撮像漏れや抽出不能により各マーカを一意に特定することが困難となる場合が生じる。このため、図１（ｂ）に示すように、左右非対称にマーカを３Ｄ視聴用メガネ３００のリム３０１に分布させる必要がある。
【００４３】
次に、図５は、３Ｄ視聴用メガネ３００のリム３０１におけるマーカの分布する位置を回転対称とした場合に問題があることを示す図である。
図５（ａ）に示すように、マーカパターン４００の分布を回転対称とした場合、マーカパターン４００の分布する２次元平面に対して垂直な軸（ｚ軸）を回転軸として、図５（ｂ）に示すように、３Ｄ視聴用メガネ３００を１８０°回転させる。
この場合、回転前と回転後とのマーカパターン４００のマーカの分布する位置に変化はなく、図５（ａ）に示すような回転対称のマーカパターン４００では、回転前後の回転した状態を検出できない。
【００４４】
また、図６は、３Ｄ視聴用メガネ３００のリム３０１におけるマーカの分布する位置を一部だけ非対称とした場合に問題があることを示す図である。
この図６（ａ）に示すマーカパターン４００は、上述した図５（ａ）のマーカパターン４００の欠点を補うため、３Ｄ視聴用メガネ３００のリム３０１の左右に非対称となるマーカを配置したマーカパターン４００を採用している。
しかしながら、図６（ｂ）に示すように、この図６（ａ）のマーカパターン４００も、非回転対称となるために配置したマーカが検出されない場合、図５（ａ）に示すマーカパターン４００と同様に回転対称となる。結果的に、３Ｄ視聴用メガネ３００の回転した状態を、図５（ａ）のマーカパターンと同様に検出することができない。
【００４５】
次に、図７は、マーカのいくつかが非検出であっても、マーカの配置の非回転対称を維持する、マーカパターン４００におけるマーカの配置条件を説明する図である。
この図７において、マーカパターン４００のマーカの配置は、３Ｄ視聴用メガネ３００の中心位置Ｇから各マーカまでの距離Ｄを異なる値となるように、リム３０１にマーカを配置して分布させる。このように、中心位置Ｇから各マーカまでの距離が、マーカ毎に異なるように配置することにより、マーカパターン４００の回転対称性を失わせることができる。
【００４６】
また、上述した各マーカ毎の距離Ｄは、一定のステップ幅の数値で順次増加あるいは減少するものではなく、最小値０から最大値Ｄmaxの範囲で、それぞれ異なるステップ幅で増加あるいは減少する距離Ｄ1、Ｄ2、…、Ｄn（ｎはマーカの個数）として、予め設定される。例えば、距離Ｄ1とＤ2との差のステップ幅が３ｃｍ、距値Ｄ2とＤ3との差のステップ幅が４ｃｍ、距値Ｄ3とＤ4との差のステップ幅が４．５ｃｍ、…などとする。
ここで、各マーカ間の距離ｄが近いほど、撮像装置２００の撮像する撮像画像６００の解像度や、３Ｄ視聴用メガネ３００の姿勢変化に伴うマーカの重なりにより、複数のマーカを１つのマーカとして混同して検出する場合がある。
したがって、撮像装置２００により撮像した撮像画像６００により、視聴者７００の視線方向に対して十分に頑健性（ロバスト性）を有する、各マーカ間の距離ｄを調整する。これにより、マーカ間の距離ｄを設定することにより、マーカ間において誤った識別を起こさないマーカの分布を生成することになる。
この際、マーカ間の距離ｄは、以下の（８）式で表されるように、この距離ｄの二乗和が最大となる組合せとなる配置とする。
【００４７】
【数８】
2013120150.tif 000010
【００４８】
＜第２の実施形態＞
以下、図面を参照して、本発明の実施の形態について説明する。図８は、この発明の第２の実施形態による人間位置検出システムの構成例を示すブロック図である。
本実施形態の人間検出システムは、撮像装置２００、映像表示装置２５０に搭載されている人間位置検出部１と、３Ｄ視聴用メガネ３００Ａ及び３００Ｂとを備えている。
撮像装置２００は、第１の実施形態と同様に、撮像部２０１及び撮像画像送信部２０２を備えている。
【００４９】
人間位置検出部１は、第１の実施形態と同様に、撮像画像受信部１１、画像認識処理部１２及び３次元位置計測部１３を備えている。
３Ｄ視聴用メガネ３００Ａには、図１（ｂ）に示すようにリム３０１表面部分に、複数のマーカからなるマーカパターン４００Ａが配置されている。３Ｄ視聴用メガネ３００Ｂには、図１（ｂ）に示すようにリム３０１表面部分に、複数のマーカからなるマーカパターン４００Ｂが配置されている。
以下、第１の実施形態と同様な構成については同一の符号を付し、以下、第１の実施形態と異なる構成及び動作について説明する。
【００５０】
本第２の実施形態においては、第１の実施形態と異なり、複数の視聴者が存在し、この視聴者の各々の視聴者位置及び視線方向を個別に認識する構成となっている。
画像認識処理部１２は、撮像画像受信部１１から供給される撮像画像６００から、複数のマーカパターン４００、本実施形態の場合、マーカパターン４００Ａ、４００Ｂの２つのマーカパターンにおけるマーク点の分布を示すマーカ画像を生成する。
そして、画像認識処理部１２は、作成したマーカ画像を３次元位置計測部１３に対して出力する。
【００５１】
３次元位置計測部１３は、第１の実施形態と同様に、マーカパターンから視聴者位置及び視線方向を検出する。
また、３次元位置計測部１３は、内部記憶部に予めマーカパターン４００Ａと４００Ｂとの各々の基準マーカ画像が書き込まれて記憶されている。すなわち、テレビ２５０の鑑賞を行う人数に対応した数のマーカパターンが、予め基準マーカ画像として、各マーカを識別する識別情報とともに記憶されている。
【００５２】
この検出処理の際、３次元位置計測部１３は、マーカ画像における複数のマーカパターンの各々を、内部記憶部に記憶されている基準マーカ画像と比較する。そして、３次元位置計測部１３は、内部記憶部にある基準マーカ画像と一致する、マーカ画像におけるマーカパターンに対し、当該基準マーカ画像とともに内部記憶部に記憶されている識別情報を読み出し、このマーカパターンに付加する。
これにより、本実施形態においては、複数の視聴者の各々の視聴者位置及び視線方向を個別に求め、それぞれの識別情報を検出したマーカパターンに付加することにより、いずれの３Ｄ視聴用メガネ３００を頭部に装着した視聴者であるかを認識することができる。
【００５３】
次に、図９は、複数の３Ｄ視聴用メガネ３００、例えば３Ｄ視聴用メガネ３００Ａ及び３００Ｂを用いた場合における、各３Ｄ視聴用メガネに配置するマーカパターン４００Ａ及び４００Ｂの分布を説明する図である。
すなわち、複数の、例えば３Ｄ視聴用メガネ３００Ａ及び３００Ｂを使用する場合、３Ｄ視聴用メガネ３００Ａ及び３００Ｂの各々同士でマーカの分布における配置位置の対称性や類似性が発生しないマーカパターンを用いる必要がある。
【００５４】
このため、図９（ａ）に示すマーカパターンを、予め図７で説明したような手法により作成する。この図９（ａ）のマーカパターンは、予め２Ｎ個のマーク、例えば１６個のマークが分布している。
このマーカパターンから、Ｎ個ずつをそれぞれ抽出し、３Ｄ視聴用メガネ３００Ａ、３００Ｂの各々に、それぞれマーカパターン４００Ａ、４００Ｂを付与する。
【００５５】
ここで、マーカパターン４００Ａ及び４００Ｂの各々を抽出する際、マーカパターン４００Ａ及び４００Ｂそれぞれの（８）式による二乗和が最大となる値に、図９（ａ）のマーカパターンから各位置のマークを選択する。
この処理により得られるマーカパターン４００Ａ、４００Ｂの各々は、それぞれが非対称性を維持しながら、マスクパターン類似性を低減することとなり、それぞれマーカパターンが備えられた３Ｄ視聴用メガネを個別に認識することができる。
【００５６】
＜第３の実施形態＞
以下、図面を参照して、本発明の実施の形態について説明する。図１０は、この発明の第３の実施形態による人間位置検出システムの構成例を示すブロック図である。
本実施形態の人間検出システムは、第１の実施形態と同様に、撮像装置２００、映像表示装置（テレビ）２５０に搭載されている人間位置検出部１と、３Ｄ視聴用メガネ３００とを備えている。
撮像装置２００は、第１の実施形態と同様に、撮像部２０１及び撮像画像送信部２０２を備えている。
【００５７】
人間位置検出部１は、撮像画像受信部１１、画像認識処理部１２及び３次元位置計測部１３、テンプレート画像記憶部１４、初期値設定部１５を備えている。
３Ｄ視聴用メガネ３００には、図１（ｂ）に示すようにリム３０１表面部分に、複数のマーカからなるマーカパターン４００が配置されている。
以下、第１の実施形態と同様な構成については同一の符号を付し、以下、第１の実施形態と異なる構成及び動作について説明する。
【００５８】
本実施形態においては、第１の実施形態における視聴者位置及び視線方向を求める処理を、より高速化する構成となっている。
図１１は、画像中心座標ｑ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）との組合せの初期値を求めるため、基準マーカ画像から生成するテンプレート画像群を説明するための図である。
この図１１は、図７に示す中心位置Ｇを通過し、マーカパターンが分布する２次元平面を形成するｘ軸及びｙ軸の各々、またこの２次元平面に対して垂直な線（ｚ軸）を回転軸として、それぞれの軸を中心に基準マーカ画像ＴＰ０を複数の回転角度により回転させた図を示している。
【００５９】
すなわち、上述したように、画像中心座標ｑ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）との組合せの検索を、より高速に行うため、検索を開始するデータとして、画像中心座標ｑ０（ｘ，ｙ，ｚ）及び法線ベクトルｎ（ｘ，ｙ，ｚ）の組の初期値を予め求める初期値設定処理を行う。
ここで、基準マーカ画像は、メガネと正対した撮像装置により撮像された撮像画像から、マーカ点を抽出して表示した画像である。
この初期値設定処理は、初期値となる画像中心座標ｑ０（ｘ，ｙ，ｚ）及び法線ベクトルｎ（ｘ，ｙ，ｚ）の組と対応するテンプレート画像を、以下の処理により予め求める。
【００６０】
このテンプレート画像の生成において、基準マーカ画像に対して射影変換を行い、異なる射影変換行列により射影変換を行う。
そして、射影変換により生成した複数の変形マーカ画像を、擬似的に複数の角度から撮影した撮像画像として、すなわち複数のテンプレート画像として生成し、テンプレート画像群とし、予めテンプレート記憶部に書き込んで記憶させておく。
【００６１】
この図１１は、基準マーカ画像ＴＰ０を射影変換して生成したテンプレート画像を示す図である。例えば、この図１１に示すように、基準マーカ画像ＴＰ０を、以下の条件により射影変換して、テンプレート画像ＴＰ１からＴＰ６を生成する。
テンプレート画像ＴＰ１は、ｘ軸を回転軸として１０°（ｘ軸を回転軸として回転させた角度、以下同様）、ｙ軸を回転軸として１０°（ｙ軸を回転軸として回転させた角度、以下同様）、ｚ軸を回転軸として０°（ｚ軸を回転軸として回転させた角度、以下同様）、基準マーカ画像を回転させた画像である。
テンプレート画像ＴＰ２は、ｘ軸を回転軸として−１０°、ｙ軸を回転軸として１０°、ｚ軸を回転軸として０°、基準マーカ画像を回転させた画像である。
テンプレート画像ＴＰ３は、ｘ軸を回転軸として−１０°、ｙ軸を回転軸として１０°、ｚ軸を回転軸として０°、基準マーカ画像を回転させた画像である。
テンプレート画像ＴＰ４は、ｘ軸を回転軸として０°、ｙ軸を回転軸として−１０°、ｚ軸を回転軸として０°、基準マーカ画像を回転させた画像である。
テンプレート画像ＴＰ５は、ｘ軸を回転軸として１０°、ｙ軸を回転軸として０°、ｚ軸を回転軸として０°、基準マーカ画像を回転させた画像である。
テンプレート画像ＴＰ６は、ｘ軸を回転軸として０°、ｙ軸を回転軸として−１０°、ｚ軸を回転軸として０°、基準マーカ画像を回転させた画像である。
【００６２】
次に、図１２は、テンプレート画像記憶部１４に記憶されているテンプレート画像により、初期値設定部１５が画像中心座標ｑ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）の初期値を設定する処理を説明する図である。
すなわち、初期値設定部１５は、画像認識処理部１２から撮像マーカ画像を入力し、入力した撮像マーカ画像と、テンプレート画像記憶部１４に記憶されているテンプレート画像との比較を行う。
この比較処理を行う際、初期値設定部１５は、撮像マーカ画像に対してスケーリング行列を用いることで、撮像マーカ画像のサイズ変更を行い、サイズ変更を行った撮像マーカ画像とテンプレート画像とにおける各マーカ点の座標位置の比較を行う。
【００６３】
このとき、初期値設定部１５は、図１２（ｂ）に示すように、テンプレート画像をテンプレート画像記憶部１４から順次読み出し、上述した撮像マーカ画像（図１２（ａ））とし、順次比較する。
そして、初期値設定部１５は、図１２（ｃ）に示すように、読み出したテンプレート画像とサイズ変更したそれぞれの対応するマーカ点間の座標距離（距離の誤差）が最小となるテンプレート画像を選択する。また、このスケーリング行列は、法線ベクトルの規定する平面と、スクリーン投影面との距離に対応して設定されている。
【００６４】
初期値設定部１５は、いずれかのテンプレート画像が選択されると、この射影変換行列及びスケーリング行列からマーカ点が配置されている３次元平面の法線ベクトルｎ（ｘ，ｙ，ｚ）の初期値を求める。
また、初期値設定部１５は、求められたテンプレート画像における各マーカー点の座標値から、マーカ点の分布した座標における中心点の座標を求め、この中心の点座標を画像中心座標ｑ０（ｘ，ｙ，ｚ）の初期値とする。
そして、初期値設定部１５は、求められた法線ベクトルｎ（ｘ，ｙ，ｚ）及び中心の点座標を画像中心座標ｑ０（ｘ，ｙ，ｚ）を初期値として、３次元位置計測部１３へ出力する。
【００６５】
そして、３次元位置計測部１３は、上述した選択したテンプレート画像により求めた画像中心座標ｐ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）とを、位置座標ｑ（ｘ，ｙ，ｚ）と位置座標ｐ（ｘ，ｙ，ｚ）との比較を行う際の開始点として用いる。
上述した初期値設定部１５の処理により、大まかな精度で画像中心座標ｐ０（ｘ，ｙ，ｚ）と法線ベクトルｎ（ｘ，ｙ，ｚ）とを初期値として得ることができる。
このため、３次元位置計測部１３は、図１２（ｃ）に示すように、第１の実施形態に比較して精度の高い中心座標ｐ０（ｘ，ｙ，ｚ）（３Ｄ視聴用メガネ３００の位置）及び法線ベクトルｎ（ｘ，ｙ，ｚ）（視聴者の視線方向、すなわち３Ｄ視聴用メガネ３００のリム３０１に配置されたマーカパターンが分布する２次元平面に対して垂直な方向）を求めるまでの時間を短縮することができる。
【００６６】
また、図４、図８及び図１０の各々における人間位置検出部１の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより視聴者の視聴者位置及び視線方向を求める処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００６７】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００６８】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６９】
１…人間位置検出部
１１…撮像画像受信部
１２…画像認識処理部
１３…３次元位置計測部
１４…テンプレート画像記憶部
１５…初期値設定部
２００…撮像装置
２０１…撮像部
２０２…撮像画像送信部
２５０…映像表示装置
２５０Ａ…表示面
３００，３００Ａ，３００Ｂ…３Ｄ視聴用メガネ
３０１，３０１Ａ，３０１Ｂ…リム
４００，４００Ａ，４００Ｂ…マーカパターン
５００…撮影範囲
７００…視聴者
【図１】
2013120150.tif 000011
【図２】
2013120150.tif 000012
【図３】
2013120150.tif 000013
【図４】
2013120150.tif 000014
【図５】
2013120150.tif 000015
【図６】
2013120150.tif 000016
【図７】
2013120150.tif 000017
【図８】
2013120150.tif 000018
【図９】
2013120150.tif 000019
【図１０】
2013120150.tif 000020
【図１１】
2013120150.tif 000021
【図１２】
2013120150.tif 000022