(57)【要約】      （修正有）【課題】オブジェクトの動きの解析精度を高められるカメラ位置調整方法を提供する。【解決手段】オブジェクト（ユーザーＵＳ）に取り付けられたマーカー５及び慣性計測装置３と、複数のカメラ６とを備え、オブジェクトの動きを推定するモーションキャプチャーシステム（画像表示システム）を用いて実施され、複数のカメラの位置を調整するカメラ位置調整方法は、三次元空間ＳＰをオブジェクトが移動する移動手順と、複数の計測位置にオブジェクトが位置するときの慣性計測装置による検出結果に基づいて算出されたオブジェクトの動きを示す算出情報と、複数の計測位置にオブジェクトが位置するときの複数のカメラ６による撮像画像に基づいて解析されたオブジェクトの動きを示す解析情報とを取得する取得手順と、各計測位置において算出情報と解析情報とを比較する比較手順と、比較結果に基づいて複数のカメラの位置を調整する調整手順と、を含む。【選択図】図１
2020201183.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトに取り付けられたマーカー及び慣性計測装置と、前記マーカーを撮像する複数のカメラとを備え、前記慣性計測装置による検出結果及び前記複数のカメラによる撮像画像に基づいて前記オブジェクトの動きを推定するモーションキャプチャーシステムを用いて実施され、前記複数のカメラの位置を調整するカメラ位置調整方法であって、
前記オブジェクトが前記オブジェクトの移動可能範囲である三次元空間を移動する移動手順と、
前記三次元空間に含まれる複数の計測位置のそれぞれに前記オブジェクトが位置するときの前記検出結果に基づいて算出された前記オブジェクトの動きを示す算出情報と、前記複数の計測位置のそれぞれに前記オブジェクトが位置するときの前記撮像画像に基づいて解析された前記オブジェクトの動きを示す解析情報とを取得する取得手順と、
前記複数の計測位置のそれぞれにおいて、前記算出情報と前記解析情報とを比較する比較手順と、
前記複数の計測位置のそれぞれにおける前記算出情報及び前記解析情報の比較結果に基づいて、前記複数のカメラの位置を調整する調整手順と、を含むことを特徴とするカメラ位置調整方法。
【請求項２】
請求項１に記載のカメラ位置調整方法において、
前記調整手順では、前記算出情報と前記解析情報との差分が小さくなるように、前記複数のカメラを配置することを特徴とするカメラ位置調整方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ位置調整方法に関する。
【背景技術】
【０００２】
従来、被検体の動作を抽出するモーションキャプチャーシステムが知られている（例えば、特許文献１参照）。
特許文献１に記載のモーションキャプチャーシステムは、被検体の特徴点に装着されるマーカーと、複数のカメラと、情報処理装置と、表示装置と、を備えて構成されている。
複数のカメラは、被検体の可動範囲を囲むように複数設けられ、マーカーを時系列的に撮影する。画像処理装置は、複数のカメラから時系列的に受信される撮影画像を処理し、マーカーの三次元空間内の座標、すなわち、三次元情報を算出する。表示装置は、特徴情報抽出部を有し、画像処理装置からの情報が入力される。特徴情報抽出部は、マーカーの三次元時系列位置情報から、マーカーの時系列上の各位置における特定の物理量を算出して、被検体の動作の特徴情報である被検体の歩幅、歩行速度及び着地時間を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−５３７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、上記のようなモーションキャプチャーシステムによって計測される被検体の位置及び姿勢と、被検体に取り付けられて加速度及び角速度を検出する慣性計測装置（ＩＭＵ：Inertial Measurement Unit）による検出結果に基づいて算出される被検体の位置及び姿勢とを組み合わせて、被検体の位置及び姿勢を推定することが提案されている。
一方、モーションキャプチャーシステムでは、複数のカメラを三次元空間の周囲に等間隔に配置することが一般的である。しかしながら、このようなカメラの配置では、慣性計測装置による検出結果に基づく被検体の位置及び姿勢と、複数のカメラによる撮像画像に基づく被検体の位置及び姿勢との誤差が、三次元空間における被検体の位置によって変化するという問題がある。
このため、カメラの理想的な配置を実現できる配置方法が要望されてきた。
【０００５】
本発明は、上記課題の少なくとも一部を解決することを目的としたものであり、オブジェクトの動きの推定精度を高めることができるカメラ位置調整方法を提供することを目的の１つとする。
【課題を解決するための手段】
【０００６】
本発明の一の観点によれば、オブジェクトに取り付けられたマーカー及び慣性計測装置と、前記マーカーを撮像する複数のカメラとを備え、前記慣性計測装置による検出結果及び前記複数のカメラによる撮像画像に基づいて前記オブジェクトの動きを推定するモーションキャプチャーシステムを用いて実施され、前記複数のカメラの位置を調整するカメラ位置調整方法であって、前記オブジェクトが前記オブジェクトの移動可能範囲である三次元空間を移動する移動手順と、前記三次元空間に含まれる複数の計測位置のそれぞれに前記オブジェクトが位置するときの前記検出結果に基づいて算出された前記オブジェクトの動きを示す算出情報と、前記複数の計測位置のそれぞれに前記オブジェクトが位置するときの前記撮像画像に基づいて解析された前記オブジェクトの動きを示す解析情報とを取得する取得手順と、前記複数の計測位置のそれぞれにおいて、前記算出情報と前記解析情報とを比較する比較手順と、前記複数の計測位置のそれぞれにおける前記算出情報及び前記解析情報の比較結果に基づいて、前記複数のカメラの位置を調整する調整手順と、を含むカメラ位置調整方法が提供される。
【発明の効果】
【０００７】
上記の構成によれば、オブジェクトの動きの推定に適した位置にカメラを配置でき、オブジェクトの動きの推定精度を高めることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る画像表示システムの構成を示す模式図。
【図２】上記一実施形態における画像表示システムの構成を示すブロック図。
【図３】上記一実施形態におけるカメラの配置の一例を示す模式図。
【図４】上記一実施形態におけるカメラの配置に応じた推定精度を説明する図。
【図５】上記一実施形態におけるカメラ位置調整工程を示すフローチャート。
【図６】上記一実施形態における調整後のカメラの配置の一例を示す図。
【発明を実施するための形態】
【０００９】
以下、本発明の一実施形態について、図面に基づいて説明する。
［画像表示システムの概略構成］
図１は、本実施形態に係る画像表示システム１の構成を示す模式図であり、図２は、画像表示システム１の構成を示すブロック図である。なお、図１においては、三次元空間ＳＰ内に２人のユーザーＵＳ（ＵＳ１，ＵＳ２）が居るが、図２においては、三次元空間ＳＰ内に１人のユーザーＵＳが居るものとして、構成を図示している。
本実施形態に係る画像表示システム１は、三次元空間におけるオブジェクトであるユーザーの動きを推定するモーションキャプチャーシステムを含むものであり、三次元空間に位置するオブジェクトであるユーザーの位置及び姿勢に応じた画像をユーザーに提示する。詳述すると、画像表示システム１は、三次元空間におけるユーザーの位置及び姿勢に応じて仮想空間内に視点を設定し、設定された視点に基づいて描画される仮想空間の画像をユーザーに表示するＶＲ（Virtual Reality：仮想現実）システム、又は、ＡＲ（Augmented Reality：拡張現実）システムである。このような画像表示システム１は、図１に示すように、例えば複数のユーザーＵＳ（ＵＳ１，ＵＳ２）が格闘する対戦型格闘ゲームに適用可能である。
画像表示システム１は、図１及び図２に示すように、表示装置２、慣性計測装置３、カメラシステム４及び端末装置８を備えて構成されている。
【００１０】
［表示装置の構成］
表示装置２は、オブジェクトであるユーザーＵＳに装着され、端末装置８から入力される画像を表示する。本実施形態では、表示装置２は、ユーザーＵＳの頭部ＨＤに装着される頭部装着型表示装置（ＨＭＤ：Head Mounted Display）によって構成されている。詳述すると、表示装置２は、画像を表示する表示部がユーザーＵＳの眼前に設けられ、外界を観察できないように構成された非透過型の頭部装着型表示装置である。すなわち、本実施形態に係る画像表示システム１は、ＶＲシステムである。
しかしながら、表示装置２は、非透過型の頭部装着型表示装置に限らず、透過型の頭部装着型表示装置でもよい。この場合には、画像表示システム１を、ＡＲシステムとして構成できる。この他、表示装置２は、ユーザーＵＳが携帯可能な表示装置、例えばスマートフォン等の表示装置でもよい。
【００１１】
［慣性計測装置の構成］
慣性計測装置３は、ユーザーＵＳの頭部ＨＤに設けられ、ユーザーＵＳの動きを検出する。本実施形態では、慣性計測装置３は、頭部ＨＤに装着される表示装置２に設けられており、特にユーザーＵＳの頭部ＨＤの動きを検出する。
慣性計測装置３は、３軸の加速度センサー及び３軸のジャイロセンサーを有し、所定のサンプリングレートで検出された３軸の加速度及び３軸の角速度を出力する。例えば慣性計測装置３は、端末装置８と有線にて接続されており、検出した加速度及び角速度を含む検出情報を端末装置８に出力する。
【００１２】
［カメラシステムの構成］
カメラシステム４は、三次元空間に位置するユーザーＵＳを撮像した撮像画像を処理し、ユーザーＵＳの位置及び姿勢を解析するモーションキャプチャーシステムである。カメラシステム４は、図１及び図２に示すように、複数のマーカー５及び複数のカメラ６を備える他、図２に示すように、解析装置としてのサーバー７を備える。
【００１３】
［マーカーの構成］
複数のマーカー５は、ユーザーＵＳの身体における複数箇所に設けられ、複数のカメラ６によって撮像される。複数のマーカー５は、ユーザーＵＳが動作した際に、当該ユーザーＵＳの動きを検出可能な位置に設けられている。マーカー５が設けられるユーザーＵＳの身体の部位としては、頭部、左右の手の甲、左右の足の甲及び胴部を例示できる。
このようなマーカー５の形状は、例えば半球を含む球形状やシート状が挙げられる。
なお、マーカー５の数は適宜変更可能であり、ユーザーＵＳに１以上の数のマーカー５が取り付けられていればよい。
【００１４】
［カメラの構成］
図３は、複数のカメラ６の配置の一例を示す模式図である。
複数のカメラ６は、ユーザーＵＳに取り付けられたマーカー５を撮像する。複数のカメラ６は、図３に示すように、ユーザーＵＳの移動可能範囲として設定された三次元空間ＳＰの周囲に設けられている。本実施形態では、複数のカメラ６は、それぞれの撮像方向が三次元空間ＳＰ内を向くように、三次元空間ＳＰの周囲に４つ設けられている。
複数のカメラ６は、撮像した撮像画像を、図２に示すサーバー７に送信する。本実施形態では、複数のカメラ６は、サーバー７と有線にて接続されている。しかしながら、複数のカメラ６のうち少なくとも１つのカメラ６は、サーバー７と無線にて接続されてもよい。また、カメラ６の数は、適宜変更可能である。
詳しくは後述するが、複数のカメラ６は、各カメラ６によって撮像された撮像画像に基づいてサーバー７によって解析されたユーザーＵＳの位置及び姿勢と、慣性計測装置３による検出結果に基づくユーザーＵＳの位置及び姿勢との比較結果に基づいて配置される。
【００１５】
［サーバーの構成］
サーバー７は、複数のカメラ６から送信された撮像画像に基づいて、三次元空間ＳＰにおけるユーザーＵＳ毎に、ユーザーＵＳの動きを解析する解析部７１を有する。
具体的に、解析部７１は、各カメラ６から取得される撮像画像を時系列で処理して得られるマーカー５の位置の変化に基づいて、三次元空間ＳＰにおけるユーザーＵＳの動きを解析する。すなわち、解析部７１は、三次元空間ＳＰにおけるユーザーＵＳの位置及び姿勢を解析し、解析されたユーザーＵＳの位置を示す解析位置情報と、解析されたユーザーＵＳの姿勢を示す解析姿勢情報とを含む解析情報を、解析対象のユーザーＵＳに設けられた端末装置８に送信する。
本実施形態では、端末装置８が設けられたユーザーＵＳの動きを妨げないように、サーバー７と端末装置８とは、無線にて通信する。しかしながら、サーバー７と端末装置８とは有線にて通信する構成としてもよい。
【００１６】
［端末装置の構成］
端末装置８は、それぞれのユーザーＵＳに応じて設けられる情報処理装置であり、表示装置２及び慣性計測装置３と有線にて接続される他、カメラシステム４のサーバー７と通信する。端末装置８は、例えばＰＣ（Personal Computer）によって構成でき、ＯＳやゲーム等のプログラムを実行する。
【００１７】
このような端末装置８が、ユーザーＵＳの動きを推定する場合には、まず、慣性計測装置３から入力される検出情報を取得する。そして、端末装置８は、取得された検出情報に基づいてユーザーＵＳの動きを算出する。すなわち、端末装置８は、取得された検出情報に基づいて、三次元空間ＳＰにおけるユーザーＵＳの位置を示す算出位置情報と、ユーザーＵＳの姿勢を示す算出姿勢情報と、を算出する。これら算出位置情報及び算出姿勢情報を算出情報とする。また、端末装置８は、サーバー７から上記解析情報を受信する。
そして、端末装置８は、算出された算出位置情報と、受信された解析位置情報とに基づいて三次元空間ＳＰにおけるユーザーＵＳの位置を推定する。また、端末装置８は、算出された算出姿勢情報と、受信された解析姿勢情報とに基づいてユーザーＵＳの姿勢を推定する。
この後、端末装置８は、例えば、推定した位置及び姿勢に応じて仮想空間に視点を設定し、設定された視点に基づく仮想空間の画像を描画する。このように描画された画像が、表示装置２に出力されることによって、三次元空間ＳＰにおけるユーザーＵＳの位置及び姿勢に応じた画像が、ユーザーＵＳに提示される。
【００１８】
［ユーザーの動きの推定精度］
ここで、ユーザーＵＳに取り付けられた慣性計測装置３による検出結果に基づいて算出されるユーザーＵＳの位置及び姿勢と、三次元空間ＳＰの周囲に設けられた複数のカメラ６による撮像画像に基づいて解析されたユーザーの位置及び姿勢とを合成する等して、三次元空間ＳＰにおけるユーザーＵＳの位置及び姿勢を推定する場合、カメラ６の配置は、ユーザーＵＳの位置及び姿勢の推定精度に影響を及ぼす。
【００１９】
図４は、カメラＣＭの配置に応じた推定精度を説明する図である。
例えば、３．５ｍ×３．５ｍの範囲を撮像可能な４台のカメラＣＭ（ＣＭ１〜ＣＭ４）を用いて、５ｍ×５ｍの正方形の三次元空間ＤＡ内に位置するユーザーＵＳを撮像する場合、図４に示すように、各カメラＣＭ１〜ＣＭ４の撮像範囲ＣＭ１１，ＣＭ２１，ＣＭ３１，ＣＭ４１によって三次元空間ＤＡがカバーされるように、カメラＣＭ１〜ＣＭ４を配置することが一般的である。
【００２０】
このようにカメラＣＭ１〜ＣＭ４が配置される場合、三次元空間ＤＡにおける中央の部位ＳＴ１は、４台のカメラＣＭ１〜ＣＭ４の撮像範囲内に含まれる。このことから、マーカー５を装着したユーザーＵＳが部位ＳＴ１に位置すれば、４台のカメラＣＭ１〜ＣＭ４による撮像画像に基づいて、ユーザーＵＳの動きを精度よく解析できる。
また、三次元空間ＤＡにおける周縁近傍で、かつ、各辺縁の中央の部位ＳＴ２は、３台のカメラＣＭの撮像範囲に含まれる。この場合でも、ユーザーＵＳが部位ＳＴ２に位置すれば、３台のカメラＣＭによる撮像画像に基づいて、ユーザーＵＳの動きを精度よく解析できる。
一方、三次元空間ＤＡにおける各隅の部位ＳＴ３のように、２台以下のカメラＣＭの撮像範囲にのみユーザーＵＳが含まれる場合には、２台以下のカメラＣＭの撮像画像に基づくユーザーＵＳの動きの解析精度は、上記の場合に比べて低くなる。
【００２１】
また、環境的な要因によって、三次元空間の形状や大きさに合わせてカメラを理想的に配置することが困難な場合もある。このような要因として、例えば、カメラの配置予定位置に障害物が設けられていて、当該配置予定位置にカメラを配置できない場合が考えられる。また、上記要因として、例えば、カメラが正しく設置されていないことによって、撮像範囲にユーザーＵＳ及びマーカー５が含まれない場合が考えられる。更に、上記要因として、例えば、カメラが理想的な位置に設置されていないことによって、三次元空間外のマーカーが撮像範囲に含まれてしまい、ユーザーの位置及び姿勢の推定精度が低下する場合が考えられる。また、三次元空間内に遮蔽物や障害物が配置されていることによって、カメラによる撮像方向が遮られ、ユーザー及びマーカーをカメラが正しく撮像できない場合も考えられる。
このように、実際にユーザーＵＳが移動する三次元空間に合わせてカメラが適切に配置されていないと、撮像画像に基づくユーザーの位置及び姿勢の解析精度、ひいては、上記した算出情報及び解析情報に基づくユーザーの位置及び姿勢の推定精度が悪化する可能性がある。
【００２２】
［カメラ位置調整工程］
図５は、カメラ位置調整工程を示すフローチャートである。
このようなことから、画像表示システム１を利用する場合には、図５に示すカメラ位置調整工程を実施して、カメラ６を三次元空間ＳＰに合わせて正しく配置する。なお、当該カメラ位置調整工程は、本発明のカメラ位置調整方法を含む。
【００２３】
カメラ位置調整工程では、まず、移動手順Ｓ１を実施する。
移動手順Ｓ１では、オブジェクトであるユーザーＵＳが、ユーザーＵＳの移動可能範囲として設定された三次元空間ＳＰを移動する手順である。この移動手順Ｓ１では、例えば三次元空間ＳＰに含まれる複数の計測位置にユーザーＵＳが位置するように、ユーザーＵＳに三次元空間ＳＰを移動させる。本実施形態では、複数の計測位置は、三次元空間ＳＰの中央や隅部としている。しかしながら、三次元空間ＳＰにおける計測位置や計測位置の数は、設定される三次元空間ＳＰの大きさ等に応じて変更可能である。
【００２４】
次に、取得手順Ｓ２を実施する。
取得手順Ｓ２では、ユーザーＵＳが上記複数の計測位置のそれぞれに位置するときの検出情報に基づいて算出された算出情報と、ユーザーＵＳが上記複数の計測位置のそれぞれに位置するときの撮像画像に基づく解析情報とを取得する。
なお、上記のように、算出情報の算出処理は、端末装置８が実行し、解析情報の解析処理は、サーバー７が実行する。このため、算出情報の取得及び解析情報の取得は、端末装置８及びサーバー７のそれぞれにて行われてもよい。また、解析情報は、サーバー７から端末装置８に送信されるので、算出情報及び解析情報を端末装置８にて取得してもよい。
【００２５】
取得手順Ｓ２の次に、比較手順Ｓ３を実施する。
比較手順Ｓ３では、複数の計測位置のそれぞれにおいて、取得手順Ｓ２にてそれぞれ取得された算出情報及び解析情報を比較する。具体的に、比較手順Ｓ３では、或る計測位置にユーザーＵＳが位置する際の検出情報に基づいて算出された算出情報と、同じ計測位置にユーザーＵＳが位置する際の撮像画像に基づいて解析された解析情報との比較を、全ての計測位置について実施する。
なお、算出情報と解析情報との比較は、端末装置８にて実施してもよく、上記算出情報をサーバー７が取得すれば、サーバー７にて実施してもよい。更に、計測位置毎の算出情報及び解析情報を取得させることによって、サーバー７及び端末装置８とは異なる他の情報処理装置に、算出情報及び解析情報の比較処理を実行させてもよい。
【００２６】
比較手順Ｓ３の後、判定手順Ｓ４を実施する。
判定手順Ｓ４では、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢とが、全ての計測位置において一致又は略一致するか否かを判定する。なお、略一致している状態とは、後述する視覚のずれによる違和感をユーザーＵＳが抱かない程度に、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢との間にずれが生じている状態を示す。換言すると、略一致している状態とは、算出情報により示されるユーザーＵＳの位置と解析情報により示されるユーザーＵＳの位置との差分が、比較的小さい値である第１閾値未満であり、かつ、算出情報により示されるユーザーＵＳの姿勢と解析情報により示されるユーザーＵＳの姿勢との差分が、比較的小さい値である第２閾値未満である状態を示す。第１閾値と第２閾値とは同じ値でもよく、一方が他方に対して小さくてもよいが、視覚のずれによってユーザーＵＳが抱く違和感は、位置の違いより姿勢の違いによるものの方が大きい。このため、第２閾値は、第１閾値より小さいことが好ましい。
【００２７】
判定手順Ｓ４にて、少なくとも１つの計測位置において、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢とが一致しない又は略一致しないと判定された場合（判定手順Ｓ４：ＮＯ）、カメラ位置調整工程は終了すべきでないと判断され、調整手順Ｓ５が実施される。
【００２８】
調整手順Ｓ５では、複数のカメラ６の位置を調整する。この際、複数のカメラ６は、算出情報と解析情報との差分が小さくなるように配置される。具体的に、複数のカメラ６の位置は、慣性計測装置３が有するジャイロセンサーに由来する累積誤差が算出情報において大きくならない範囲において、算出情報と解析情報との差分が所定の閾値（上記第１閾値及び第２閾値）未満となる位置に調整される。
【００２９】
例えば、ある計測位置に位置し、複数のカメラ６のうちの１台のカメラ６を向くユーザーＵＳが首を右側に振った場合において、算出情報と解析情報との差分は上記閾値未満であるものの、首を左側に振った場合において、当該差分が閾値以上になることがある。この場合、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢とが異なるため、算出情報及び解析情報に基づくユーザーＵＳの位置及び姿勢の推定精度が低下し、推定されたユーザーＵＳの位置及び姿勢と、実際のユーザーＵＳの位置及び姿勢との間にずれが生じる。このことから、推定されたユーザーＵＳの位置及び姿勢に応じた画像を表示装置２に表示させると、視覚のずれに起因する違和感をユーザーＵＳが抱く可能性がある。
【００３０】
ここで、上記の例では、ユーザーＵＳの首が左側に振られたときに上記差分が閾値以上になる理由として、ユーザーＵＳの首が左側に振られたことを認識する際に検出されるべきマーカー５が、複数のカメラ６の視覚（撮像範囲）に十分に入っていないことが考えられる。
これに対し、ユーザーＵＳの首が左側に振られたことを認識する際に検出されるべきマーカー５の検出精度を高めるために、調整手順Ｓ５では、例えば当該マーカー５を検出するためのカメラ６を追加したり、或いは、ユーザーＵＳの左側に位置するカメラ６をユーザーＵＳに近付けたりする。これにより、ユーザーＵＳの位置及び姿勢の解析精度、ひいては、ユーザーＵＳの位置及び姿勢の推定精度を高めることができる。
なお、首を右側に振ったユーザーＵＳの位置及び姿勢を適切に検出できているので、ユーザーＵＳの首が右側に振られたことを検出するカメラ６の位置は、固定としてもよい。
【００３１】
調整手順Ｓ５が実施された後、カメラ位置調整工程は、移動手順Ｓ１に戻される。そして、移動手順Ｓ１、取得手順Ｓ２及び比較手順Ｓ３が再度実施され、判定手順Ｓ４にて、再度、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢とが、全ての計測位置において一致又は略一致するか否かが判定される。
判定手順Ｓ４にて、全ての計測位置において、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢とが一致又は略一致すると判定された場合（判定手順Ｓ４：ＹＥＳ）、カメラ位置調整工程は終了可能である。このような場合には、カメラ位置調整工程は終了される。換言すると、判定手順Ｓ４にて、全ての計測位置において、算出情報により示されるユーザーＵＳの位置及び姿勢と、解析情報により示されるユーザーＵＳの位置及び姿勢とが一致又は略一致すると判定されるまで、上記手順Ｓ１〜Ｓ３，Ｓ５は繰り返し実施される。
【００３２】
このように、カメラ６の配置位置が調整されることから、カメラ６の実際の配置位置は、予め想定していた配置位置からずれる可能性がある他、利用されるカメラ６の数は、予め想定していた数と異なる可能性がある。例えば、３つのカメラ６によってユーザーＵＳに取り付けられたマーカー５を撮像可能であれば、ユーザーＵＳの位置及び姿勢を精度よく解析できる場合に、三次元空間ＳＰにおいて４以上のカメラ６の撮像範囲に含まれる箇所が存在すれば、当該箇所を撮像するカメラ６の数を減らすことができる。
なお、上記カメラ位置調整工程における実際のカメラ６の設置は、本実施形態では、画像表示システム１を操作するオペレーターが実施する。
【００３３】
図６は、カメラ位置調整工程後の４つのカメラ６（６１〜６４）の配置の一例を示す図である。なお、図６では、カメラ６１の撮像範囲６１１を点線で示し、カメラ６２の撮像範囲６２１を一点鎖線にて示し、カメラ６３の撮像範囲６３１を実線にて示し、カメラ６４の撮像範囲６４１を二点鎖線にて示している。
上記したカメラ位置調整工程を実施することにより、三次元空間ＳＰに位置するユーザーＵＳを、高い解析精度を維持可能な程度の数のカメラ６の撮像範囲内に収めることができる。
例えば、図６に示すカメラ配置では、４つのカメラ６（６１〜６４）が三次元空間ＳＰの周囲に設けられ、三次元空間ＳＰは、それぞれのカメラ６１〜６４のうち少なくとも３つのカメラ６の撮像範囲に含まれる。
これにより、各カメラ６による撮像画像に基づいて、ユーザーＵＳに取り付けられたマーカー５を精度よく検出でき、マーカー５の位置に基づいて、三次元空間ＳＰにおけるユーザーＵＳの位置及び精度を精度よく解析できる。従って、算出情報と解析情報とに基づいて、三次元空間ＳＰにおけるユーザーＵＳの位置及び姿勢を精度よく推定できる。
【００３４】
［実施形態の効果］
以上説明した本実施形態に係る画像表示システム１を用いたカメラ位置調整工程によれば、以下の効果を奏することができる。
上記カメラ位置調整工程は、オブジェクトであるユーザーＵＳに取り付けられたマーカー５及び慣性計測装置３と、マーカー５を撮像する複数のカメラ６とを備え、慣性計測装置３による検出結果及び複数のカメラ６による撮像画像に基づいてユーザーＵＳの動きを推定するモーションキャプチャーシステムを含む画像表示システム１を用いて実施される。カメラ位置調整工程は、移動手順Ｓ１、取得手順Ｓ２、比較手順Ｓ３及び調整手順Ｓ５を含む。
移動手順Ｓ１は、ユーザーＵＳがユーザーＵＳの移動可能範囲である三次元空間ＳＰを移動する手順である。取得手順Ｓ２は、ユーザーＵＳが三次元空間ＳＰに含まれる複数の計測位置のそれぞれに位置するときの慣性計測装置３の検出結果に基づいて算出された算出情報と、ユーザーＵＳが複数の計測位置のそれぞれに位置するときの撮像画像に基づいて解析されたユーザーＵＳの動きを示す解析情報とを取得する手順である。比較手順Ｓ３は、複数の計測位置のそれぞれにおいて、算出情報と解析情報とを比較する手順である。調整手順Ｓ５は、複数の計測位置のそれぞれにおける算出情報及び解析情報の比較結果に基づいて、複数のカメラ６の位置を調整する手順である。
【００３５】
このようなカメラ位置調整工程によれば、実際に三次元空間ＳＰ内のユーザーＵＳが移動したときの算出情報及び解析情報を比較した結果に基づいて、カメラ６の位置が調整される。このため、カメラ６の撮像画像に基づいて、ユーザーＵＳの動き、すなわち、三次元空間ＳＰにおけるユーザーＵＳの位置及び姿勢を高い解析精度で解析可能な位置に複数のカメラ６を配置できる。従って、算出情報及び解析情報に基づいて、三次元空間ＳＰにおけるユーザーＵＳの位置及び姿勢の推定精度を高めることができる。そして、これにより、三次元空間ＳＰにユーザーＵＳを隠す遮蔽物や障害物が存在する場合でも、ユーザーＵＳに取り付けられたマーカー５の撮像に適した位置にカメラ６を配置できる。
【００３６】
調整手順Ｓ５では、算出情報と解析情報との差分が小さくなるように、複数のカメラ６を配置する。
ジャイロセンサーに由来する累積誤差が小さい範囲では、算出情報により示されるユーザーＵＳの位置及び姿勢は、比較的正確である。このため、調整手順Ｓ５にて、算出情報と解析情報との差分が小さくなるように、複数のカメラ６が配置されることにより、各カメラ６による撮像画像に基づいて解析されるユーザーＵＳの位置及び姿勢の解析精度を高めることができる。従って、ユーザーＵＳの位置及び姿勢の推定精度を高めることができる。
【００３７】
［実施形態の変形］
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記実施形態では、モーションキャプチャーシステムを含む画像表示システム１は、表示装置２と、慣性計測装置３と、マーカー５、カメラ６及びサーバー７を有するカメラシステム４と、端末装置８とを備えるとした。しかしながら、これに限らず、本発明のカメラ位置調整方法を実施するモーションキャプチャーシステムは、必ずしも表示装置２、サーバー７及び端末装置８を備えていなくてもよい。例えば、上記のように、慣性計測装置３の検出結果に基づく算出情報の算出は、端末装置８とは異なる情報処理装置が実施してもよく、カメラ６による撮像画像に基づく解析情報の解析は、サーバー７とは異なる情報処理装置が実施してもよい。更に、調整手順Ｓ５において、比較結果に基づくカメラ６の位置及び姿勢の調整、すなわち、カメラ６のレイアウトの設定処理や、必要なカメラ６の数の算出処理は、情報処理装置が実施してもよい。
【００３８】
上記実施形態では、調整手順Ｓ５では、各計測位置における算出情報と解析情報との差分が所定の閾値より小さくなるように、カメラ６を配置するとした。しかしながら、これに限らず、他の条件に基づいて、カメラ６を配置してもよい。
また、判定手順Ｓ４は実施されなくてもよく、判定手順Ｓ４を実施する場合でも、判定手順Ｓ４の実施順は、例えば調整手順の後でもよい。
【００３９】
上記実施形態では、オブジェクトとしてユーザーＵＳを例示した。しかしながら、これに限らず、人間以外の生物であってもよく、ロボット等の可動体であってもよい。
【符号の説明】
【００４０】
１…画像表示システム（モーションキャプチャーシステム）、２…表示装置、３…慣性計測装置、５…マーカー、６（６１〜６４）…カメラ、７…サーバー、８…端末装置、Ｓ１…移動手順、Ｓ２…取得手順、Ｓ３…比較手順、Ｓ５…調整手順、ＳＰ…三次元空間、ＵＳ…ユーザー（オブジェクト）。
【図１】
2020201183.tif 000003
【図２】
2020201183.tif 000004
【図３】
2020201183.tif 000005
【図４】
2020201183.tif 000006
【図５】
2020201183.tif 000007
【図６】
2020201183.tif 000008