(57)【要約】【課題】  撮像装置が赤外線カメラのような専用機ではなくデジタルカメラの汎用機の使用が可能で且つ暗い撮像空間でもマーカの撮像が可能なモーションキャプチャシステムを提供する。【解決手段】  モーションキャプチャシステム１は、対象物である人３の動きを記録するシステムである。ここでは、３次元計測のためにカメラ５ａ，５ｂという複数の撮像手段を用いている。人３のそれぞれには、マーカ７ａ，７ｂのように複数のマーカが取り付けられている。モーションキャプチャシステム１は画像処理部９も備え、画像処理部９はカメラ５ａ，５ｂが撮像した画像を受け取り、画像処理を行う。画像処理部９は捕捉部１１を有しており、捕捉部１１はマーカ７ａ，７ｂの動きを捕捉する。【選択図】  図１
2019190924.tif 000002
【特許請求の範囲】
【請求項１】
マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャシステムにおいて、
前記マーカは自発光する化学発光のマーカであり、
前記マーカが発光する光を撮像できる撮像手段と、
前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉する捕捉手段とを備えた、モーションキャプチャシステム。
【請求項２】
前記マーカは平面発光体マーカである、請求項１記載のモーションキャプチャシステム。
【請求項３】
前記マーカは、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とする、請求項１又は２記載のモーションキャプチャシステム。
【請求項４】
前記マーカは複数のマーカであり、前記複数のマーカの中には異なる色、形状、又は、それらの組み合わせで発光するものを含み、
前記捕捉手段は、前記色、形状、又は、それらの組み合わせの違いを識別して前記マーカをラベリングして捕捉できることを特徴とする、請求項１から３のいずれかに記載のモーションキャプチャシステム。
【請求項５】
マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャ方法において、
前記マーカは自発光する化学発光のマーカであり、
撮像手段は前記マーカが発光する光を撮像できるものであり、
捕捉手段によって前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉し、前記対象物の動きを捉える、モーションキャプチャ方法。
【請求項６】
前記マーカは、平面発光マーカである、請求項５記載のモーションキャプチャ方法。
【請求項７】
前記マーカは、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とする、請求項５又は６記載のモーションキャプチャ方法。
【請求項８】
請求項５から７のいずれかに記載のモーションキャプチャ方法に用いられる、マーカ。
【請求項９】
請求項５から７のいずれかに記載のモーションキャプチャ方法に用いられる捕捉手段に、コンピュータとして、撮像された画像からマーカが発光する色の違いを用いて前記マーカをラベリングする画像処理動作を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラムに関し、特に光学式のモーションキャプチャシステム等に関する。
【背景技術】
【０００２】
モーションキャプチャ技術は、人物や物体等の対象物の動きをデジタル的に記録する技術であり、これを活かした映画が制作されている他、例えば、スポーツ分野、医療分野などで開発が進んでいる。改良技術を含めて多数の技術が提案されており、例えば、特許文献１、２、３がある。特許文献１、２、３の技術は、所謂光学式と言われるものに含まれる。
【０００３】
光学式では、明るい空間で、対象物に装着したマーカに対して、例えば赤外線やＬＥＤ等の光を当て、その反射光を撮像装置であるカメラ（三次元であれば複数）で受光して、画像処理により、マーカ部分に対応するセグメントをラベリングすることにしている。そして、ラベリングした後、マーカの空間内の座標を算出し、マーカの全体軌跡及び時系列の速度及び最大速度などを表示できるようにしている。ここで、特に、マーカについては、特許文献１、２を含めて、今までの光学式と言われるものでは、基本的に、赤外線を用いて反射を行うものが想定されてきた。なお、特許文献３には、赤外線ＬＥＤを発するものも開示されており、自発光のＬＥＤマーカも提供され始めている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−５３７３９号公報
【特許文献２】特開２０１４−２１１４０４号公報
【特許文献３】特開２００３−１６８１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の光学式では、基本的にマーカによる反射が行われることが前提となっており、光を当てる装置と、反射するマーカと、反射光を受光する装置との位置等の関係性は極めて重要である。マーカ位置を認識しやすくするためには、反射光を受光する装置である撮像装置（カメラ）は、光の周波数を制限して撮影することができる赤外線カメラというような専用機が用いられることが必要であり、その点からの大きな制約があるという問題がある。マーカが隠れてしまうという問題を克服するためには、撮像装置の台数を増やす以外に方法がなく、他の用途に流用できない専用の赤外線カメラを多数用意しなければならない。この専用機にしない場合、S/Nが悪く、ノイズも取り込み易くなり、反射するマーカの検出が難しくなってしまうという状況があり、結果的に、撮像の解析を正確に行うことができない。なお、特許文献３の技術も、赤外線を用いるものとなっており、いずれにしても、赤外線カメラというような専用機が用いられることが必要である。また、空間は明るい空間が必要という制約も生じている。空間が暗い場合には、カメラ内部の撮像素子へ光を取り込むことが難しく、撮影される映像にノイズが含まれやすくなり、発光マーカの認識精度が落ちるため、解析の精度も落ちる。また、高速な運動を計測する場合、一般的にカメラの撮像素子は、速い撮影速度（1秒間あたりの撮影フレーム数）に対応することが必要になるが、撮影速度が早くなればなるほど、光を取り込む量が少なくなり、撮影が難しくなる。
【０００６】
なお、特許文献３のような自発光型の赤外線ＬＥＤマーカの場合には、赤外線でなくても自発光するものとしてＬＥＤを用いていることから、以下のような問題がある。１つ目としては、可視光の場合に、通常のデジタルカメラは色と形状を認識しており、ＬＥＤを用いた場合にはＬＥＤが点光源になってしまい、マーカの形状を認識し難いという問題がある。また、２つ目としては、可視光と赤外線とを問わず、ＬＥＤで輝度をあげようとすると、電池の持ちが悪く、電池を増やすと電池の重さ分だけ重くなってしまうという問題もある。
【０００７】
ゆえに、本発明は、可視光及び赤外線を問わずに自発光であっても電池持ちの問題がなく、特に可視光については、自発光のＬＥＤマーカに比べて形状認識も行いやすく、さらに、撮像装置が赤外線カメラのような専用機ではなくデジタルカメラの汎用機の使用が可能で且つ暗い撮像空間でもマーカの撮像が可能なモーションキャプチャシステム、モーションキャプチャ方法、モーションキャプチャ方法で用いられるマーカ、及び、モーションキャプチャ方法で用いられるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の観点は、マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャシステムにおいて、前記マーカは自発光する化学発光のマーカであり、前記マーカが発光する光を撮像できる撮像手段と、前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉する捕捉手段とを備えた、ものである。なお、光は、可視光でも赤外線でもよい。
【０００９】
本発明の第２の観点では、第１の観点において、前記マーカは平面発光体マーカである。
【００１０】
本発明の第３の観点では、第１又は第２の観点において、前記マーカが、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とするものである。
【００１１】
本発明の第４の観点は、第１から第３のいずれかの観点において、前記マーカは複数のマーカであり、前記複数のマーカの中には異なる色、形状、又は、それらの組み合わせで発光するものを含み、前記捕捉手段は、前記色、形状、又は、それらの組み合わせの違いを識別して前記マーカをラベリングして捕捉できることを特徴とするものである。
【００１２】
本発明の第５の観点は、マーカが取り付けられた対象物の動きを捉えることができるモーションキャプチャ方法において、前記マーカは自発光する化学発光のマーカであり、撮像手段は前記マーカが発光する光を撮像できるものであり、捕捉手段によって前記撮像手段が撮像した画像から画像処理を行って前記マーカを捕捉し、前記対象物の動きを捉えるものである。なお、光は、可視光でも赤外線でもよい。
【００１３】
本発明の第６の観点では、第５の観点において、前記マーカは、平面発光マーカである。
【００１４】
本発明の第７の観点では、第５又は第６の観点において、その発光部分内における所定位置を特定できる色、形状、又は、それらの組み合わせを有することを特徴とするものである。
【００１５】
本発明の第８の観点は、第５から第７のいずれかの観点に記載のモーションキャプチャ方法に用いられる、マーカである。
【００１６】
本発明の第９の観点は、第５から第７のいずれかの観点に記載のモーションキャプチャ方法に用いられる捕捉手段に、コンピュータとして、撮像された画像からマーカが発光する色の違いを用いてラベリングする画像処理動作を実行させる、プログラムである。
【発明の効果】
【００１７】
本発明によれば、まず、マーカは化学発光による自発光するマーカであり、マーカに光を当てて反射するものではないので、まずは光を当てる装置部分が不要になり、システムを簡略化できる。また、特にマーカとして平面発光体マーカを用いることにより、指向性や乱反射の問題も解決できる。特に、自発光の光の明るさ・強さ（例えば輝度）は、化学発光の技術を用いれば指向性や乱反射の問題もなく簡単に必要なレベルにすることができ、撮像装置を赤外線カメラのような専用機ではなく可視光の波長で撮像できるデジタルカメラのような汎用機の使用が可能とでき、暗い撮像空間でもマーカの撮像が可能なものとできる。ここで、化学発光では、自発光するマーカの形状の制約が少なく（例えば、平面発光体も可能）、動きの制約になることを避けたいスポーツにおいては、大きな意義がある。さらに、ＬＥＤの自発光と異なり、化学発光による自発光のため、可視光であっても赤外線であっても電池持ちの点での不具合が生じないという利点がある。さらに、可視光については、ＬＥＤの自発光に比べてマーカの形状認識を正しく行えるという利点もある。
【００１８】
また、本発明によれば、色、形状、又はそれらの組み合わせによってマーカの発光部分内における所定位置を特定していけるため、撮像して捕捉していく精度（認識精度）を高めることができる。加えて、複数のマーカの中には異なる色、形状、又はそれらの組み合わせで発光するものを含めることができ、色、形状、又は組み合わせの違いを区別してラベリングができることから、複数のマーカに対するラベリング処理の手間と負担を軽減することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施の形態に係るモーションキャプチャシステムの概略を示したブロック図である。
【図２】色、形状、又はそれらの組み合わせによってマーカの発光部分内における所定位置を特定することについて説明するための図である。
【発明を実施するための形態】
【００２０】
以下に本発明の実施の形態について図面を参照して詳細に説明するが、本発明はこれに限定されるものではない。
【００２１】
モーションキャプチャシステム１は、対象物である人３の動きを記録するシステムである。ここでは、３次元計測のためにカメラ５ａ，５ｂという複数の撮像手段を用いている。人３は、例えば、スポーツを行っている状況で、個人競技の他、バドミントン、サッカーや野球のような団体（チーム）競技を行っている人が含まれる。対象物の人３のそれぞれには、マーカ７ａ，７ｂのように複数のマーカが取り付けられている。
【００２２】
マーカ７ａ，７ｂは化学発光による自発光のマーカであり、マーカ７ａが「青」、マーカ７ｂが「赤」のように、化学発光液に含まれる蛍光色素を変えて、異なる色を発光できるものである。この化学発光では、例えば、出願人により既に開発済みの特開２０１６−１５０９５６号公報、特開２０１６−９１８２３号公報、再公表ＷＯ２００５−１０３１９６号公報などの技術を用いて、可視光波長の光を発光できるものとしている。
【００２３】
まず、マーカ７ａ，７ｂが自発光であることから、カメラ５ａ，５ｂがデジカメであっても、色認識機能によりわずかな光でも撮影できて、暗い所でもマーカの色を認識できる。ここで、自発光のために化学発光を用いた場合の利点を例えば自発光のＬＥＤを用いた場合と比較すると、以下のことが挙げられる。１つ目としては、デジカメのカメラ５ａ，５ｂは、色と形状を認識しており、ＬＥＤを用いた場合にはＬＥＤが点光源になってしまい、マーカ７ａ，７ｂの形状を認識し難い結果、化学発光の場合と異なり、形状認識が困難になってしまうという問題がある。また、２つ目としては、ＬＥＤで輝度をあげようとすると、電池の持ちが悪く、電池を増やすと電池の重さ分だけ重くなってしまうという問題もある。特に、ＬＥＤの自発光の場合の電池持ちの問題は赤外線であっても紫外線であっても共通した問題である。これらの点は、化学発光では起こらず、実際の運用を考えると、大きなメリットといえる。そして、化学発光の自発光により、光の明るさ・強さ（例えば輝度）とその持続時間の調整も可能であり、マーカ７ａ，７ｂの認識をあげるために、例えば短時間だけでも光量を大きくすることも可能できる。このような光の制御を行うことが可能な化学発光による自発光のマーカ７ａ，７ｂは、デジタルカメラのような汎用機でもマーカ７ａ，７ｂを適切に捉えることができるような光の明るさ・強さ（例えば輝度）で自発光できることから、カメラ５ａ，５ｂは赤外線カメラ（専用機）を用いなくてもよいシステムにできている。このようにして、専用機が不要ということにより、システムの簡略化も可能にしている。さらに、マーカ７ａ，７ｂからカメラ５ａ，５ｂまでの距離は、従来の赤外線反射による光学式では最大でも１０ｍ程度に対し、設定によって数十ｍのような距離でも可能とできるようになっている。その結果、上空の高い位置から撮像することが可能になって、チーム全体の動きも測定できるものとできている。
【００２４】
さらに、自発光としての化学発光を用いることにより、マーカ７ａ，７ｂの形状の柔軟度はあがり、人３がスポーツをする選手であっても、競技への集中を妨げないような形を選択することができるものとしている。ここで、赤外線の反射を行うマーカは反射効率から基本的に球状であり、特許文献３のような赤外ＬＥＤをマーカに用いたものは、デバイスが必要で大型なものとなっている。
【００２５】
ここで、マーカ７ａ，７ｂを平面発光体とした場合を説明する。平面発光体の構造としては、例えば、酸化液の部分と蛍光液の部分を有する包装構造体を、多孔性シートと共に収納できる外装容器に入れた構造とすることが一例として挙げられる。このような構造であれば、折り曲げ等して酸化液の部分と蛍光液の部分を破れさせ、多孔性シートで両者を化学反応させて、発光させることができる。そして、平面発光体のメリットとしては、例えば、柔らかい素材とできることから身体に取り付け易い点が挙げられる。また、他のメリットしては、例えば、平面発光体は形状に合わせて満遍なく光り、点発光のＬＥＤと比べて形状の自由度が高いと言える。その他にも、腕にリング（ブレスレット）状の化学発光体を取り付ける方法もあり得、競技者の競技状況や個別のリクエストにも柔軟に対応できるという自由度が高いというメリットがある。
【００２６】
なお、上記では、可視光を用いたシステムとしたが、化学発光を用いた赤外線波長の光も併せて自発光するものとしてもよい。さらに、可視光を常に用いるシステムとはせずに、赤外線だけのシステムであってもよい。このように赤外線を用いれば、観客には見えないが、スポーツ選手のマーカの動きを捕捉することができる。
【００２７】
モーションキャプチャシステム１は、画像処理部９も備えている。画像処理部９はカメラ５ａ，５ｂが撮像した画像を受け取り、画像処理を行う。画像処理部９は捕捉部１１を有しており、捕捉部１１はマーカ７ａ，７ｂの動きを捕捉する。その捕捉処理にはラベリング処理が含まれ、マーカ７ａ，７ｂの色の違いを用いてマーカの区別を行ってラベリング処理が行われる。この処理は、プログラムにより自動化されて行われる。このような色の違いを用いる点は、従来の赤外線を用いた場合の２値化処理と異なって後処理（人的処理）は不要となり、ラベリング処理の自動化を進めることができるという大きな利点が得られている。ラベリング処理が行われ、マーカ７ａ，７ｂの動きが捕捉されて、人３の動きが画像処理部９の記憶部１３で記録される。なお、マーカレスの技術では、ラベリング処理に複雑なアルゴリズム処理が行われるが、色の違いを用いたラベリング処理はとても簡単なアルゴリズム処理で済み、その利点が大きいことも付言する。
【００２８】
ここで、色の違いを用いる例を具体的に挙げておく。例えば、一人に対し、肘の関節の動きを捉えるにあたり、３種類のカラーマーカの取付の部位を自動的に同定し、３点間角度を捉えることができる。また、例えば、サッカー、バレーボールなどの団体スポーツにおいて、選手ごとに色を指定しておき、位置関係を自動認識すれば、ゲーム分析に活かせる。
【００２９】
図２は、色、形状、又はそれらの組み合わせによってマーカの発光部分内における所定位置を特定することについて説明するための図である。
【００３０】
図２に示すように、マーカ７の例えば黄色に発光する発光部分１５の中において、例えば、四角の形状に捉えることができるものを含ませ、さらに、その内部を４分割にして、左上と右下とを発光する光を透過させないように遮蔽した特徴的な形状１７にしている。この形状１７とすることにより、図２（Ａ）、図２（Ｂ）、図２（Ｃ）のように移動が生じても、所定の位置である中心位置１９の認識を行い易く、精度よく捕捉できるようになる。なお、図２における内側の四角の輪郭を外側の四角の輪郭に比べて太くすると映像解析が難しくなる可能性があり、映像解析を容易にするためには外側の大きな四角の輪郭を内側の四角の輪郭に比べて太くするほうが好ましい。
【００３１】
ここで、上記では色の違いで複数のマーカの違いを特定できることを説明したが、形状の違いでもマーカの違いを特定できることを説明する。仮に、同じ色のマーカが腕と胴に発生してしまっていたとする。この場合、胴側が腕で隠れてしまうと、色の違いではマーカの区別が困難だが、形状の違いで判別できることになる。すなわち、図２では形状に特徴を持たせたが、上記したように色の違いでもマーカの区別はつけることができ、それらを組み合わせても、マーカの区別をつけることができる。
【００３２】
なお、上記では、システムを示したが、本発明をモーションキャプチャ方法として捉えてもよい。
【符号の説明】
【００３３】
１・・・モーションキャプチャシステム、３・・・人（対象物）、５ａ，５ｂ・・・カメラ、７ａ，７ｂ・・・マーカ、９・・・画像処理部、１１・・・捕捉部、１３・・・記憶部
【図１】
2019190924.tif 000003
【図２】
2019190924.tif 000004