(57)【要約】      （修正有）【課題】マーカーと撮像手段との間に屈折要因がある場合でも、屈折度合いの影響による誤差を無くし、正確な動作解析を行うことができるモーションキャプチャー方法又は装置を提供する。【解決手段】モーションキャプチャー方法は、マーカーを発光させるステップＳ１と、撮像手段によってマーカーを撮影計測するステップと、マーカーと撮像手段との間に屈折要因があるか否かを判断するステップＳ４と、屈折要因がある場合には、所定空間を複数の立方格子に分割し、それぞれの立方格子毎に屈折による誤差量を決定するステップＳ５と、撮像手段で撮影計測されたマーカーの動きを三角測量法によりマーカー位置座標を算出するステップＳ８と、屈折要因がある場合には、マーカー位置座標が位置する立法格子の誤差量を、マーカー位置座標に加減算するステップＳ１０とを有する。【選択図】図１
2014098576.tif 000002
【特許請求の範囲】
【請求項１】
キャプチャー対象物に装着されたマーカーを、複数の撮像手段で異なる角度から撮影計測し、複数の前記撮像手段で撮影計測した画像データからマーカー位置座標を算出するモーションキャプチャー方法であって、
前記マーカーを発光させるステップと、
前記撮像手段によって前記マーカーを撮影計測するステップと、
前記マーカーと前記撮像手段との間に屈折要因があるか否かを判断するステップと、
前記屈折要因がある場合には、所定空間を複数の立方格子に分割し、それぞれの前記立方格子毎に屈折による誤差量を決定するステップと、
前記撮像手段で撮影計測された前記マーカーの動きを三角測量法により前記マーカー位置座標を算出するステップと、
前記屈折要因がある場合には、前記マーカー位置座標が位置する前記立法格子の前記誤差量を、前記マーカー位置座標に加減算するステップと
を有することを特徴とするモーションキャプチャー方法。
【請求項２】
前記撮像手段による撮影計測前に、
前記撮像手段による露光時間を決定するステップと、
前記撮影計測時における計測画像のコントラストを決定するステップと
を有し、
前記撮像手段による前記マーカーの撮影計測期間では、決定した前記露光時間、及び決定した前記コントラストを変化させないことを特徴とする請求項１に記載のモーションキャプチャー方法。
【請求項３】
前記立方格子の一辺の距離を可変とし、複数の前記撮像手段の配置及び前記マーカーと前記撮像手段との距離の少なくともいずれかによって前記立方格子の前記一辺の前記距離を変更することを特徴とする請求項１又は請求項２に記載のモーションキャプチャー方法。
【請求項４】
請求項１から請求項３に記載のモーションキャプチャー方法を行うモーションキャプチャー装置であって、前記マーカーとして防水性自発光マーカーを用いることを特徴とするモーションキャプチャー装置。
【請求項５】
キャプチャー対象物に装着されたマーカーを撮影計測する撮像手段と、前記撮像手段で撮影計測した画像データからマーカー位置座標を算出する処理手段とを備えたモーションキャプチャー装置であって、
前記処理手段では、所定空間を複数の立方格子に分割し、それぞれの前記立方格子毎に屈折による誤差量を決定し、前記マーカー位置座標が位置する前記立法格子の前記誤差量を、前記マーカー位置座標に加減算することを特徴とするモーションキャプチャー装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像手段で撮影計測した画像データからマーカー位置座標を算出するモーションキャプチャー方法及びこのモーションキャプチャー方法を行うモーションキャプチャー装置に関する。
【背景技術】
【０００２】
モーションキャプチャー方法は、人物や物体の動きをデジタル的に記録する方法として、リハビリテーション分野、運動工学分野、農業分野、建築分野など広い分野で利用されている。
モーションキャプチャー方法には、光学式（特許文献１、特許文献２）、磁気式、機械式などの方法がある。
その中でも光学式は、小さなマーカーを用いてキャプチャーを行なうため，機械式のような運動を拘束する器具を取り付ける必要がなく，また磁気式のような磁場を乱す環境下では正確な動作データが得られにくいという課題もなく，非常に多くの自由度の運動を自然に近い形で計測することができる優れた手法である。
光学式キャプチャー方法は、関節部分にマーカーをつけた人や機械等が角度の異なる複数のカメラの前で動作を行い、マーカーの動きを三角測量の原理で計測し、３次元のデータを生成する。この際の動作解析方法としては、一般に赤外線反射マーカーを利用した動作解析を実施している。
特許文献１は、露光時間を計測中に時々刻々と変化させることで対象となる反射マーカーからの輝度が変化し、これを検出するものである。
特許文献２は、運動者に撮像装置を装着するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９４０４８号公報
【特許文献２】特開２００５−３４５１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、提案されている光学式キャプチャー方法の多くは、屋内での使用が想定されており、屋外や水中においては、赤外線のような長波長の光は、水や有機物質に吸収されやすく水中において減衰する。従って、赤外線反射は非常に強い赤外線を照射し、わずかな反射光から座標を計測しているため、極めてノイズに弱い。
ところで、近年、屋外でも使用可能なモーションキャプチャー方法も提案されているが、太陽光等の外乱光の影響によるノイズ処理等の解決が不十分で、高精度の動作計測には十分ではない。
さらに、従来水中における動作分析を行う場合、マーカーの認識が困難な環境であることから、動作を複数のビデオに収め、後処理にて分析を行う方法、または、反射式マーカーに防水加工を施し、非常に高輝度のＬＥＤをカメラの周囲に配置し反射光を取得し計測を行う方法のいずれかである。
しかし、後処理で行う方法は、時間やコストが多く必要で、計測原理上、低い精度の計測となってしまう。
また、反射式マーカーを用いる方法は、高輝度のＬＥＤを用いることにより、機材が大きく重くかつ、莫大なコストが必要となってしまう。
なお、これらの課題を解決するために、防水自発光マーカーを用いることが有効であるが、仮に防水自発光マーカーを用いた場合には、水中のように水の屈折率の影響を受ける場合には、特に奥行き方向に大きな誤差が生じる可能性が高い。
【０００５】
そこで本発明は、マーカーと撮像手段との間に屈折要因がある場合でも、屈折度合いの影響による誤差を無くし、正確な動作解析を行うことができるモーションキャプチャー方法又は装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の本発明のモーションキャプチャー方法は、キャプチャー対象物に装着されたマーカーを、複数の撮像手段で異なる角度から撮影計測し、複数の前記撮像手段で撮影計測した画像データからマーカー位置座標を算出するモーションキャプチャー方法であって、前記マーカーを発光させるステップと、前記撮像手段によって前記マーカーを撮影計測するステップと、前記マーカーと前記撮像手段との間に屈折要因があるか否かを判断するステップと、前記屈折要因がある場合には、所定空間を複数の立方格子に分割し、それぞれの前記立方格子毎に屈折による誤差量を決定するステップと、前記撮像手段で撮影計測された前記マーカーの動きを三角測量法により前記マーカー位置座標を算出するステップと、前記屈折要因がある場合には、前記マーカー位置座標が位置する前記立法格子の前記誤差量を、前記マーカー位置座標に加減算するステップとを有することを特徴とする。
請求項２記載の本発明は、請求項１に記載のモーションキャプチャー方法において、前記撮像手段による撮影計測前に、前記撮像手段による露光時間を決定するステップと、前記撮影計測時における計測画像のコントラストを決定するステップとを有し、前記撮像手段による前記マーカーの撮影計測期間では、決定した前記露光時間、及び決定した前記コントラストを変化させないことを特徴とする。
請求項３記載の本発明は、請求項１又は請求項２に記載のモーションキャプチャー方法において、前記立方格子の一辺の距離を可変とし、複数の前記撮像手段の配置及び前記マーカーと前記撮像手段との距離の少なくともいずれかによって前記立方格子の前記一辺の前記距離を変更することを特徴とする。
請求項４記載の本発明のモーションキャプチャー装置は、請求項１から請求項３のいずれかに記載のモーションキャプチャー方法を行うモーションキャプチャー装置であって、前記マーカーとして防水性自発光マーカーを用いることを特徴とする。
請求項５記載の本発明のモーションキャプチャー装置は、キャプチャー対象物に装着されたマーカーを撮影計測する撮像手段と、前記撮像手段で撮影計測した画像データからマーカー位置座標を算出する処理手段とを備えたモーションキャプチャー装置であって、
前記処理手段では、所定空間を複数の立方格子に分割し、それぞれの前記立方格子毎に屈折による誤差量を決定し、前記マーカー位置座標が位置する前記立法格子の前記誤差量を、前記マーカー位置座標に加減算することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば水中動作解析の場合では、水の屈折度合いの影響による誤差を無くし、正確な動作解析を行うことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例によるモーションキャプチャー方法のフローチャート
【図２】本発明における屈折要因の説明図
【図３】本発明における屈折要因の説明図
【図４】所定空間を複数の立方格子に分割した状態を示す説明図
【図５】分割した１つの立方格子を示す説明図
【図６】本実施例で用いる防水性自発光マーカーの分解斜視図
【図７】同防水性自発光マーカーの斜視図
【発明を実施するための形態】
【０００９】
本発明の第１の実施の形態によるモーションキャプチャー方法は、マーカーを発光させるステップと、撮像手段によってマーカーを撮影計測するステップと、マーカーと撮像手段との間に屈折要因があるか否かを判断するステップと、屈折要因がある場合には、所定空間を複数の立方格子に分割し、それぞれの立方格子毎に屈折による誤差量を決定するステップと、撮像手段で撮影計測されたマーカーの動きを三角測量法によりマーカー位置座標を算出するステップと、屈折要因がある場合には、マーカー位置座標が位置する立法格子の誤差量を、マーカー位置座標に加減算するステップとを有するものである。本実施の形態によれば、例えば水中動作解析の場合では、水の屈折度合いの影響による誤差を無くし、正確な動作解析を行うことができる。
【００１０】
本発明の第２の実施の形態は、第１の実施の形態によるモーションキャプチャー方法において、撮像手段による撮影計測前に、撮像手段による露光時間を決定するステップと、撮影計測時における計測画像のコントラストを決定するステップとを有し、撮像手段によるマーカーの撮影計測期間では、決定した露光時間、及び決定したコントラストを変化させないものである。本実施の形態によれば、例えば水中という透過性の悪い環境や、屋外のようなコントラストがつきにくい環境でも、安定して計測を行うことができる。
【００１１】
本発明の第３の実施の形態は、第１又は第２の実施の形態によるモーションキャプチャー方法において、立方格子の一辺の距離を可変とし、複数の撮像手段の配置及びマーカーと撮像手段との距離の少なくともいずれかによって立方格子の一辺の距離を変更するものである。本実施の形態によれば、空間分解能を決定する立方格子の一辺の距離を変更できることで、屈折率による誤差を最適に補正することができる。
【００１２】
本発明の第４の実施の形態は、第１から第３の実施の形態によるモーションキャプチャー方法を行うモーションキャプチャー装置であって、マーカーとして防水性自発光マーカーを用いるものである。本実施の形態によれば、透過性の悪い水中でも、高いコントラストの画像データを安定して取得することができる。
【００１３】
本発明の第５の実施の形態によるモーションキャプチャー装置は、処理手段では、所定空間を複数の立方格子に分割し、それぞれの立方格子毎に屈折による誤差量を決定し、マーカー位置座標が位置する立法格子の誤差量を、マーカー位置座標に加減算するものである。本実施の形態によれば、例えば水中動作解析の場合では、水の屈折度合いの影響による誤差を無くし、正確な動作解析を行うことができる。
【実施例】
【００１４】
以下本発明の一実施例によるモーションキャプチャー方法について説明する。
図１は本実施例によるモーションキャプチャー方法のフローチャートである。
本発明の第１の実施の形態によるモーションキャプチャー方法は、撮影を始める前にマーカーを発光させる（ステップ１）。
ステップ１の後に、撮像手段による撮影計測前に、撮像手段による露光時間を決定する（ステップ２）とともに、撮影計測時における計測画像のコントラストを決定する（ステップ３）。
次に、マーカーと撮像手段との間に屈折要因があるか否かを判断する（ステップ４）。ステップ４において、屈折要因がある場合には、所定空間を複数の立方格子に分割し、それぞれの立方格子毎に屈折による誤差量を決定する（ステップ５）。
【００１５】
ステップ１からステップ５の後に、また、ステップ４で、屈折要因がない場合に、撮像手段によって短時間露光によりマーカーを撮影計測する（ステップ６）。
ステップ６における撮像手段によるマーカーの撮影計測期間では、ステップ２で決定した露光時間、及びステップ３で決定したコントラストを変化させない。このように露光時間及びコントラストを一定とすることで、例えば水中という透過性の悪い環境や、屋外のようなコントラストがつきにくい環境でも、安定して計測を行うことができる。
【００１６】
ステップ６で撮影計測された画像データは、パーソナルコンピュータなどの処理手段に取り込まれ（ステップ７）、処理手段では撮像手段で撮影計測されたマーカーの動きを三角測量法によりマーカー位置座標を算出する（ステップ８）。
なお、屈折要因があると既に判断されている場合（ステップ９）には、マーカー位置座標が位置する立法格子の誤差量を、マーカー位置座標に加減算する（ステップ１０）。
本実施の形態による処理流れによれば、例えば水中動作解析の場合では、水の屈折度合いの影響による誤差を無くし、正確な動作解析を行うことができる。
【００１７】
図２及び図３は、屈折要因の説明図である。
図２では、撮像手段Ａ、Ｂ、Ｃはいずれも水槽の外に設置し、防水性自発光マーカー１０を水槽２０内に配置している。撮像手段Ａ、Ｂでは、屈折がなければ破線の矢印が光路となるが、撮像手段Ａ、Ｂと防水性自発光マーカー１０との間に、水及び水槽２０による屈曲要因が存在するため、実線で示すように屈折を受けた光路となる。
なお、撮像手段Ｃと防水性自発光マーカー１０との間には、水及び水槽２０が存在するが、撮像手段Ｃから防水性自発光マーカー１０への方向が、水及び水槽２０の面に垂直となるため、屈曲の影響を受けない。
図３では、撮像手段Ａ、Ｂ、及び防水性自発光マーカー１０は水槽２０内に配置している。この場合には、屈曲の影響を受けない。
【００１８】
以下にマーカー位置座標の算出と屈折率の補正について説明する。
マーカー位置座標の算出では、内部パラメータ変換行列（ダイナミックキャリブレーション）と、外部パラメータ変換行列（世界座標系とカメラ座標系の変換）によって行う。内部パラメータ変換行列及び外部パラメータ変換行列は、例えば特許文献２でも開示されている既知の方法で行うことができる。
屈折率の補正は、屈折パラメータ変換行列によって行う。屈折パラメータ変換行列は以下の方法で作成する。
計測画像となる所定空間にて、別々のＬＥＤマーカー（明灰色）と認識される最小な長さａの立方体（8点の明灰色マーカーとなる）を用意する。このとき、長さａはカメラ（撮像手段）間配置（カメラ間の相対角度）、及びＬＥＤマーカーとカメラとの距離によって変更することが好ましく、長さａは可変な立方体である。
【００１９】
図４は、所定空間を複数の立方格子に分割した状態を示す説明図である。
図４に示すように、計測ボリュームに応じて、長さａの立方体は縦方向、横方向、及び奥行方向にそれぞれN個配置する（N≧5個）。
計測ボリュームをN3（立方格子総数）に分割し、各立方格子について、計測される８点の明灰色マーカー位置座標（ａｘ1’、ａｙ1’、ａｚ1’）〜（ａｘ8’、ａｙ8’、ａｚ8’）から辺となる距離を算出し、真値との差分が、その立方格子における各軸方向の誤差量（Δｘ、Δｙ、Δｚ）となる。
【００２０】
図５は、分割した１つの立方格子を示す説明図である。
図５に示すように、計測されたマーカー座標（暗灰色、（ｘ，ｙ，ｚ））が、分割された計測ボリューム内のある立方格子にいるとき、当該立方格子の誤差量（Δｘ、Δｙ、Δｚ）を加減算することで補正する。
以上の手段から、補正後のマーカ位置座標（黒色、（ｘ’，ｙ’，ｚ’））は、ｘ’＝ｘ＋Δｘ、ｙ’＝ｙ＋Δｙ、ｚ’＝ｚ＋Δｚとして算出される。
【００２１】
なお、最小な長さａが空間内の精度（空間分解能）を決定する要因であり、また最小な長さａはＬＥＤマーカーのサイズ、及び計測画像のコントラストに依存する。
以上のように、立方格子の一辺の距離を可変とし、複数の撮像手段の配置及びマーカーと撮像手段との距離の少なくともいずれかによって立方格子の一辺の距離を変更することで、屈折率による誤差を最適に補正することができる。
【００２２】
本実施例で用いる防水性自発光マーカーの構成について以下に説明する。
図６は同防水性自発光マーカーの分解斜視図、図７は同防水性自発光マーカーの斜視図である。
防水性自発光マーカー１０は、上ケース１１と下ケース１２との間に、ＬＥＤ基板１３と二次電池１４とを有している。ＬＥＤ基板１３上のＬＥＤ素子１３ａは先端が半球状となった円筒状のクリアーパネル１３ｂで覆われている。下ケース１２には、給電端子１５を装着する開口１２ａが形成されている。給電端子１５によって二次電池１４を充電できる。上ケース１１と下ケース１２との密着性によって防水性を確保している。
上ケース１１には開口１１ａが形成され、開口１１ａには、クリアーパネル１３ｂが挿入される。また、クリアーパネル１３ｂを覆う拡散キャップ１６を設けている。
拡散キャップ１６は、クリアーパネル１３ｂと相似形であり、先端が半球状となった円筒状部材で構成されている。拡散キャップ１６は、光拡散処理が内表面に施されている。
【００２３】
図７に示すように、拡散キャップ１６は、上ケース１１の平坦面から突出している。このように、拡散キャップ１６は、単に半球状だけでなく、円筒状の部分で上ケース１１の平坦面から突出するとともに、先端部が半球状に構成され、更には光拡散処理が内表面に施されているため、発光を広範囲に均一に拡散でき、水中という透過性の悪い環境や、屋外のようなコントラストがつきにくい環境でも、安定して撮影計測することができる。
【産業上の利用可能性】
【００２４】
本発明は、例えばリハビリ現場における水中歩行訓練の際、リハビリを行いながら瞬時の角度や高さ、速度を指導者と患者が認識することが最小限の負担で行うことができ、効果的な指導に利用することができるとともに、例えば船舶や浮体等の試験においてリアルタイムで3次元情報を得ることができるため、波や流速の相違における運動の相関をリアルタイムで取得することにも利用できる。
【符号の説明】
【００２５】
１０  防水性自発光マーカー
１１  上ケース
１２  下ケース
１３  ＬＥＤ基板
１４  二次電池
１６  拡散キャップ
２０  水槽
【図１】
2014098576.tif 000003
【図２】
2014098576.tif 000004
【図３】
2014098576.tif 000005
【図４】
2014098576.tif 000006
【図５】
2014098576.tif 000007
【図６】
2014098576.tif 000008
【図７】
2014098576.tif 000009