(57)【要約】【課題】入手性及び汎用性のある撮像装置であって、省電力に優れた撮像装置を用いて、被写体に不快感を与えずに対象物の位置を特定すること。【解決手段】撮像装置１は、発光制御部４６と、検出特定部４１と、解析特定部４２と、を備える。発光制御部４６は、対象物を照射するための光を発光する発光部１９を制御する。検出特定部４１は、発光部から発光されて対象物において反射された光を撮像された撮像画像のデータを解析して検出することで、該対象物の位置を特定する。解析特定部４２は、発光部１９による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する。【選択図】図３
2014017787.tif 000002
【特許請求の範囲】
【請求項１】
対象物を照射するための光を発光する発光部を制御する発光制御手段と、
前記発光部から発光されて前記対象物において反射された光を撮像された撮像画像のデータを解析して検出することで、該対象物の位置を特定する検出特定手段と、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する解析特定手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記解析特定手段により前記対象物の位置の特定処理を繰り返し実行している最中において、前記発光部による発光及び前記検出特定手段による前記対象物の位置の特定を実行するか否かの所定の条件を満たしているかを判別する判別手段と、
前記判別手段により前記所定の条件が満たしていると判別された場合に、前記発光部による発光及び前記検出特定手段による前記対象物の位置の特定処理を実行するよう制御する制御手段と、
を備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判別手段は、前記解析特定手段が前記対象物の位置を特定できているか否かを判別することで所定の条件を満たしているか否かを判別することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記判別手段は、前記検出特定手段及び前記解析特定手段により特定された対象物の位置の確信度が予め設定されている閾値未満であるか否かを判別することで所定の条件を満たしているか否かを判別することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記解析特定手段は、前記検出特定手段及び該解析特定手段により特定された前記対象物の周辺を解析し、前記対象物との類似度の高い位置を移動先位置として特定し、
前記対象物が複数の場合、前記解析特定手段により解析された一番低い類似度を前記確信度とすることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記対象物は被写体の一部に付加され、前記検出特定手段又は前記解析特定手段により特定された前記対象物の位置を基に被写体の動作に関するモーションキャプチャを行うモーションキャプチャ手段をさらに備えることを特徴とする請求項１乃至５のうち何れか１項に記載の撮像装置。
【請求項７】
前記判別手段は、予め設定されている所定の時間が経過したか否かを判別することで所定の条件を満たしているか否かを判別することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記解析特定手段は、前記検出特定手段及び該解析特定手段により特定された前記対象物の周辺を解析し、前記対象物との類似度の高い位置を移動先位置としてさらに特定することを特徴とする請求項１乃至７のうち何れか１項に記載の撮像装置。
【請求項９】
前記対象物は、再帰性反射マーカであることを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
【請求項１０】
前記対象物は、所定の色が設定された色マーカであることを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
【請求項１１】
前記対象物は、人体の肌色部位であることを特徴とする請求項１乃至８のうち何れか１項に記載の撮像装置。
【請求項１２】
前記発光部は、ストロボであることを特徴とする請求項１乃至１１のうち何れか１項に記載の撮像装置。
【請求項１３】
対象物を照射するための光を発光する発光部を制御する発光制御ステップと、
前記発光部から発光されて前記対象物において反射された光を検出することで、該対象物の位置を特定する検出特定ステップと、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する解析特定ステップと、
を含む撮像方法。
【請求項１４】
対象物を照射するための光を発光する発光部を制御する発光制御機能と、
前記発光部から発光されて前記対象物において反射された光を検出することで、該対象物の位置を特定する検出特定機能と、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の位置を新たに特定する解析特定機能と、
を実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
近年、被写体の動作（モーション）を取得（キャプチャ）するモーションキャプチャの技術が盛んに実用化されている。モーションキャプチャとは、コンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ：以下「ＣＧ」と呼ぶ）を用いた映像作成分野においては、被写体の動きを撮影して取得した三次元的な情報をデジタルデータに変換して、コンピュータに様々な動作を与えたり、被写体の動作の解析を行う技術をいう。例えば、ＣＧを用いた映像作成分野においては、モーションキャプチャにより被写体の動作を取得する技術が実現されている（例えば、特許文献１参照）。ＣＧの技術分野においては、モーションキャプチャにより取得された被写体の動作の情報に基づいて、人間らしい動きを再現する技術が実現されている。また、スポーツ分野においては、モーションキャプチャにより取得された被写体の動作をコンピュータに取り込み、被写体の動作を解析する技術が実現されている。
【０００３】
従来の撮像装置は、モーションキャプチャを行うために、所定部位にマーカが貼着された被写体を撮像することで、撮像画像のデータを取得する。そして、撮像装置は、撮像画像のデータに基づいてマーカの位置を特定することにより、被写体の動作を取得している。このようなモーションキャプチャに使用される従来のマーカとして、光の入射方向に反射する特性を備える再帰反射材により形成されたマーカ、即ちいわゆる再帰性反射マーカが採用されている。
【０００４】
被写体に貼着された再帰性反射マーカに対して、撮像装置の光軸方向で入射された強い光は、該再帰性反射マーカにおいて反射して、光軸方向に伝搬して撮像装置のレンズに入射される。このときに撮像装置により撮像された撮像画像においては、再帰性反射マーカが付着された部位の領域の画素値が飽和するため、当該部位の特定が容易に可能になる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００９−５４５０６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、モーションキャプチャにより被写体の動作を取得する部材として、再帰性反射マーカを採用した場合には、当該再帰性反射マーカに照射するための強い光が必要になる。この場合、このような強い光として可視光が再帰性反射マーカに照射されると、当該再帰性反射マーカが付着された被写体は不快感を覚えることがある。
さらに、省電力化の要求が近年挙げられているが、強い光の照射を継続するためには、大電力が必要になるため、省電力を図ることは困難である。
また、被写体に不快感を与えないために、赤外光を再帰性反射マーカに照射する手法を適用することは従来の技術でも可能である。しかしながら、この場合、被写体を撮像する撮像装置としては、一般的な風景や人物を撮影する可視光に反応する撮像装置を採用することは非常に困難であり、入手性及び汎用性に難がある、赤外光専用の撮像装置を採用する必要があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、入手性及び汎用性のある撮像装置であって、省電力に優れた撮像装置を用いて、被写体に不快感を与えずに対象物の位置を特定することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一態様の撮像装置は、
対象物を照射するための光を発光する発光部を制御する発光制御手段と、
前記発光部から発光されて前記対象物において反射された光を撮像された撮像画像のデータを解析して検出することで、該対象物の位置を特定する検出特定手段と、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する解析特定手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、入手性及び汎用性のある撮像装置であって、省電力に優れた撮像装置を用いて、被写体に不快感を与えずに対象物の位置の特定を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
【図２】図１の撮像装置によりモーションキャプチャを行う被写体に貼着された４つの再帰性反射マーカを示す図である。
【図３】図１の撮像装置の機能的構成のうち、モーション追跡処理を実行するための機能的構成を示す機能ブロック図である。
【図４】図３の機能的構成を有する図１の撮像装置が実行するモーション追跡処理の流れを説明するフローチャートである。
【図５】図３の機能的構成を有する図１の撮像装置が実行するモーション追跡処理の流れを説明するフローチャートである。
【図６】図４及び図５のモーション追跡処理のうち、マーカ部位決定処理の詳細について説明するフローチャートである。
【図７】図４及び図５のモーション追跡処理のうち、追跡処理の詳細について説明するフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を用いて説明する。
【００１２】
図１は、本発明の実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばコンシューマ用のデジタルカメラとして構成される。本発明の撮像装置１は、被写体の動作を取得するモーションキャプチャの技術に使用される。
なお、本実施形態においては、１つの光軸を備える１台の撮像装置によりモーションキャプチャを行う例について説明するが、複数台の撮像装置を用いて被写体の対象物を追跡することでモーションキャプチャを行ってもよい。この場合、何らかの障害物により被写体が遮られ、被写体が見えなくなるといういわゆるオクルージョンを回避することができる。
【００１３】
撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、撮像部１８と、発光部１９、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１４】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１５】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１６】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、撮像部１８、発光部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００１７】
出力部１６は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
入力部１７は、電源ボタンやシャッタボタン等各種ハードウェアボタン等の他、出力部１６のディスプレイに積層されるタッチパネル等で構成され、ユーザの指示操作に応じて各種情報を入力する。
【００１８】
撮像部１８は、被写体を撮像し、当該被写体の像を含む画像（以下、「撮像画像」と呼ぶ）のデータをＣＰＵ１１に供給する。
【００１９】
発光部１９は、ストロボにより構成され、モーションキャプチャの対象物を照射するための光を発光する。発光部１９が照射する対象物は、被写体に貼着した再帰反射性を備える再帰性反射マーカである。発光部１９は、モーションキャプチャの対象物を照射するための可視光線を、被写体に貼着した再帰反射性を備える再帰性反射マーカに対し、断続的に照射する。
【００２０】
ここで、図２を参照して、モーションキャプチャの被写体に貼着された再帰性反射マーカについて説明する。
図２は、図１の撮像装置１によりモーションキャプチャを行う被写体５００に貼着された４つの再帰性反射マーカ５１０、５１１、５１２、５１３を示す図である。
４つの再帰性反射マーカ５１０、５１１、５１２、５１３の各々は、再帰反射性を有する円状のマーカにより構成されている。
図２（１）に示すように、再帰性反射マーカ５１０は被写体５００の左手の先端に、再帰性反射マーカ５１１は被写体５００の右手の先端に、再帰性反射マーカ５１２は被写体５００の左足の先端に、再帰性反射マーカ５１３は被写体５００の右足の先端に、それぞれ貼着されている。
図２（１）に示すように、モーションキャプチャの開始時には、被写体５００は、図２（１）の手前側の面（以下、この面を「正面」と呼ぶ）を向いている。
モーションキャプチャの開始後に、図２（２）に示すように、被写体５００の正面に向かって右側の手（以下、「左手」と呼ぶ）に貼着された再帰性反射マーカ５１０が正面に向かって下方に僅かに移動すると、撮像装置１は、被写体５００の動作として左手が下方に移動したことを検出することができる。
同様に、モーションキャプチャの開始後に、図２（３）に示すように、被写体５００の左手及び正面に向かって左側の手（以下、「右手」と呼ぶ）に貼着された再帰性反射マーカ５１０、５１１が下方に僅かに移動すると、被写体５００の動作として左手及び右手が下方に移動したことを検出することができる。さらに、図２（３）の例では、被写体５００の正面に向かって右側の足（以下、「左足」と呼ぶ）に貼着された再帰性反射マーカ５１２が上方に僅かに移動すると、被写体５００の動作として左足が上方に移動したことを検出することができる。
【００２１】
図１に戻り、記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、撮像画像を含む各種画像のデータの他、アプリケーションプログラム等の各種プログラム等を記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２２】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２３】
図３は、このような撮像装置１の機能的構成のうち、モーション追跡処理を実行するための機能的構成を示す機能ブロック図である。
モーション追跡処理とは、ユーザにより入力部１７のモード変更ボタンが押下されて撮像装置１の動作モードがモーション追跡モードに変更されたことを契機として開始される処理であり、具体的には次のような一連の処理をいう。即ち、撮像装置１は、確信度Ｌが所定の閾値Ｌｔｈ以上である場合には、非ストロボ発光撮影を行うと共に追跡処理を行う。ここで、非ストロボ発光撮影とは、発光部１９のストロボによる発光が行われていない状態（以下、「非発光状態」と呼ぶ）で撮像部１８が被写体を撮影する動作をいう。また、追跡処理とは、前フレーム（１つ前に撮像された撮像画像）のデータの再帰性反射マーカの各部位の位置関係を参考にし、非ストロボ発光撮影で取得された撮像画像のデータから、各部位の再帰性反射マーカの位置を特定する処理をいう。これに対し、撮像装置１は、確信度Ｌが閾値Ｌｔｈ未満である場合には、ストロボ発光撮影を行うと共に、被写体に貼着した再帰性反射マーカの部位を決定する。ここで、ストロボ発光撮影とは、発光状態で撮像部１８が被写体を撮影する動作をいう。撮像装置１は、各再帰性反射マーカの部位の画像座標を保存する。このような一連の処理が、モーション追加処理である。
【００２４】
ＣＰＵ１１においては、モーション追跡処理の実行が制御される場合、検出特定部４１と、解析特定部４２と、モーションキャプチャ部４３と、判別部４４と、制御部４５と、発光制御部４６と、が機能する。
【００２５】
検出特定部４１は、発光部１９から発光されて対象物において反射された光を検出することで。該対象物の位置を特定する。ここで、光を検出するとは、光を直接的に検出することの他、当該光が撮像部１８の撮像素子として受光された際に得られた撮像画像のデータに基づいて間接的に検出することも含む広義な概念である。本実施形態では、検出特定部４１は、間接的に光を検出することで、対象物の位置を特定する。換言すると、解析特定部４２は、発光部１９による発光が行われている状態（以下、「発光状態」と呼ぶ）で撮像部１８により撮像された撮像画像のデータを解析することにより、該対象物の位置を特定する。検出特定部４１は、特定した対象物の位置の情報を生成して、解析特定部４２及びモーションキャプチャ部４３へ供給する。
【００２６】
解析特定部４２は、非ストロボ発光撮影により撮像された撮像画像のデータを解析することにより、該対象物の位置を特定する。
また、解析特定部４２は、検出特定部４１及び解析特定部４２自身によりそれぞれ特定された対象物の周辺を解析し、対象物との類似度の高いものの位置を追跡点として特定する。ここで、対象物の周辺とは、撮像画像における対象物（本実施形態では、「再帰性反射マーカ」）の座標位置近傍の領域をいう。
なお、解析特定部４２は、対象物が複数の場合、即ち追跡点が複数の場合、追跡点を特定する際に求めた類似度のうち、一番低い類似度を確信度Ｌとして設定する。解析特定部４２は、特定した追跡点の情報をモーションキャプチャ部４３へ供給する。
【００２７】
モーションキャプチャ部４３は、検出特定部４１又は解析特定部４２により特定された対象物の位置及び追跡点の時系列の軌跡に基づいてモーションキャプチャを行う。
【００２８】
判別部４４は、発光部１９による発光及び検出特定部４１による対象物の位置の特定を実行するが否かの所定の条件を判別対象として、当該条件を満たしているかを判別する。具体的には例えば、判別部４４は、検出特定部４１により特定された対象物の位置の確信度Ｌが、予め設定されている閾値Ｌｔｈ未満であるか否かを判別することで所定の条件を満たしているか否かを判別する。また例えば、前述の判定に代えて、又は共に、判別部４４は、予め設定されている所定の時間が経過したか否かを判別することで所定の条件を満たしているか否かを判別する。
【００２９】
制御部４５は、所定の時間が経過したため所定の条件を満たしていると判別部４４により判別された場合に、発光制御部４６を制御して発光部１９による発光を実行すると共に、検出特定部４１を制御して対象物の位置の特定を実行する。また、制御部４５は、入力部１７のシャッタボタンが押下されたことを契機として、後述の図４及び図５を参照して説明するストロボ発光撮影において、撮像を指示するための信号（以下、「撮像指令」と呼ぶ）を撮像部１８へ供給すると共に、発光を指示するための信号（以下、「発光指令」と呼ぶ）を発光制御部４６へ供給することで、非発光状態又は発光状態での撮影を制御する。また、制御部４５は、対象物の位置の特定の実行を指示する信号（以下、「位置特定指令」と呼ぶ）を検出特定部４１へ供給する。
【００３０】
発光制御部４６は、モーションキャプチャにより対象物である被写体を照射するための光を発光部１９が発光するように制御する。発光制御部４６は、後述の図４を参照して説明するストロボ発光撮影において、発光指令を制御部４５から受けたことを契機として、発光指令を、発光部１９のストロボに供給する。
【００３１】
次に、図４及び図５を参照して、このような図３の機能的構成の撮像装置１が実行するモーション追跡処理について説明する。
図４及び図５は、図３の機能的構成を有する図１の撮像装置１が実行するモーション追跡処理の流れを説明するフローチャートである。
図４及び図５の例では、４つの再帰反射性マーカが被写体に貼着されていることを前提として行われる。
【００３２】
モーション追跡処理は、ユーザにより入力部１７のモード変更ボタンが押下されたことにより撮像装置１の動作モードがモーション追跡モードに変更されたことを契機として開始され、次のような処理が繰り返し実行される。
【００３３】
ステップＳ１０１において、制御部４５は、何らかの終了イベントが発生したか否かを判定する。終了イベントとしては、例えば、ユーザにより入力部１７の動作変更ボタンが押下されることにより動作モードが変更された場合や、終了ボタンが押下されることにより撮像装置１の電源状態がオフにされた場合等である。終了イベントが発生した場合には、ステップＳ１０１において、ＹＥＳであると判定されて、モーション追跡処理は終了となる。これに対し、終了イベントが発生していない場合には、ステップＳ１０１においてＮＯであると判定されて、処理はステップＳ１０２に進む。
【００３４】
ステップＳ１０２において、制御部４５は、入力部１７のシャッタボタンが押下されたか否かを判定する。シャッタボタンが押下されていない場合には、ステップＳ１０２においてＮＯであると判定されて処理はステップＳ１０１に戻る。即ち、シャッタボタンが押下されるまでの間、ステップＳ１０１及びステップＳ１０２の処理が繰り返し行われ、モーション追跡処理は待機状態となる。これに対し、シャッタボタンが押下された場合には、ステップＳ１０２においてＹＥＳであると判定されて、処理はステップＳ１０３に進む。
【００３５】
ステップＳ１０３において、制御部４５及び発光制御部４６は、ストロボ発光撮影を行う。
この処理では、発光部１９が、制御部４５から指示を受けると、発光部１９がストロボによる発光をするように制御すると共に、制御部４５が、ストロボの発光中に被写体を撮像するように制御する。これにより、ストロボ光により照射された被写体を含む撮像画像のデータを取得することができる。
【００３６】
ステップＳ１０４において、検出特定部４１は、ステップＳ１０３のストロボ発光撮影により得られた撮影画像のデータに基づいて、４つの再帰反射性マーカの位置を取得する。そして、検出特定部４１は、取得した４つの再帰反射性マーカの各位置の関係から、各再帰反射性マーカの対応する被写体の部位をそれぞれ決定する。
このようなステップＳ１０４の一連の処理を、以下、図４及び図５の記載にあわせて「マーカ部位決定処理」と呼ぶ。マーカ部位決定処理の詳細については、図６を参照して後述する。
この処理では、ステップＳ１０３のストロボ発光撮影により得られた撮像画像のデータにおいては、ストロボ光を反射した再帰反射性マーカの位置に相当するデータ（当該位置の領域の画素値）が飽和した値となっているため、再帰性反射マーカが付着された被写体の部位の決定が容易となっている。
【００３７】
ステップＳ１０５において、判別部４４は、確信度Ｌとして１を設定する。確信度Ｌは、再帰性反射マーカの位置に対する確信（信頼）の度合いを示す値であり、１〜０の範囲の値を取る。確信度が１の場合に、再帰性反射マーカの部位の決定に対する確信（信頼）の度合いが最高であり、確信度が１から０にむかって減少していくに従って、徐々に確信（信頼）の度合いが下がることとなる。即ち、ストロボ発光撮影の場合には、確信（信頼）の度合いが最高の状態であるとみなして確信度Ｌは１に設定される。
【００３８】
ステップＳ１０６において、解析特定部４２は、非ストロボ発光撮影を行い、追跡用テンプレート画像のデータを取得する。
この処理では、解析特定部４２は、発光部１９により発光が行われていない状態で撮像部１８により撮像された撮像画像のデータを、追跡用テンプレート画像のデータとして取得する。ステップＳ１０３のストロボ発光撮影の処理と、ステップＳ１０６の非ストロボ発光撮影の処理との間の撮影間隔は僅かにしか離れていないため、各々の撮影において取得された撮影画像のデータに含まれる再帰性反射マーカの座標位置は、略同一とみなすことができる。より正確には、非ストロボ発光撮影で得られた撮影画像のデータのうち、被写体の各部位の周辺のＭ×Ｍ画素の領域のデータが、後述のステップＳ１０９の追跡処理で利用する追跡用テンプレート画像のデータとして取得される。
【００３９】
ステップＳ１０７において、判別部４４は、確信度Ｌは予め設定している閾値Ｌｔｈ以上であるか否かを判定する。閾値Ｌｔｈは、再帰性反射マーカの位置に対する確信（信頼）のボーダーラインを示す任意の値であり、１〜０の範囲の値を取る。確信度Ｌは閾値Ｌｔｈ以上である場合には、ステップＳ１０７においてＹＥＳであると判定されて、処理はステップＳ１０８に進む。
【００４０】
ステップＳ１０８において、制御部４５は、非ストロボ発光撮影を行う。
この処理では、制御部４５は、確信度Ｌが閾値Ｌｔｈ以上である場合には、ストロボを使用しなくても、十分に再帰性反射マーカの位置を把握できる、と判定して、ストロボ発光を行わずに撮影を行う。
【００４１】
ステップＳ１０９において、解析特定部４２は，後述の図７を参照して説明する追跡処理を行う。この処理が終わると、処理はステップＳ１１３に進む。ステップＳ１１３以降の処理については、後述する。
【００４２】
ステップＳ１０７において、確信度Ｌは閾値Ｌｔｈ未満である場合には、ステップＳ１０７においてＮＯであると判定されて、処理はステップＳ１１０に進む。
【００４３】
ステップＳ１１０において、制御部４５及び発光制御部４６は、ストロボ発光撮影を行う。
この処理では、制御部４５は、確信度Ｌが閾値Ｌｔｈ未満である場合には、ストロボを使用せずに撮影した場合には、十分に再帰性反射マーカの位置を把握できない、と判定して、ストロボ発光を伴う撮影を行う。詳細には、ステップＳ１０３の処理と同様であるため説明を省略する。
【００４４】
ステップＳ１１１において、検出特定部４１は、後述の図６で説明するマーカ部位決定処理を行う。詳細には、ステップＳ１０４の処理と同様であるため説明を省略する。
即ち、確信度Ｌが閾値Ｌｔｈ以下である場合には、検出特定部４１は、求めた再帰性反射マーカの各部位の座標位置の確信（信頼）の度合いが低く疑わしいとみなす。そして、検出特定部４１は、ステップＳ１０３及びステップＳ１０４の処理と同様に、再びストロボ発光撮影を行い、各再帰性反射マーカ部位の座標位置の特定を行う。
【００４５】
ステップＳ１１２において、判別部４４は、確信度Ｌとして１を設定する。この処理では、ストロボ発光撮影により、取得された確信（信頼）の度合いが高い再帰性反射マーカの各部位の座標位置を取得することができるので、確信度Ｌを再び１に戻す処理が行われる。
【００４６】
ステップＳ１１３において、制御部４５は、ステップＳ１０９又はステップＳ１１１の処理において取得した再帰性反射マーカの各部位の座標位置の情報を保存する。
【００４７】
ステップＳ１１４において、制御部４５は、入力部１７のシャッタボタンが押下されたか否かを判定する。シャッタボタンが押下されていない場合には、ステップＳ１１４においてＮＯであると判定されて処理はステップＳ１１５に進む。
【００４８】
ステップＳ１１５において、制御部４５は、撮影間隔を等間隔とするための同期処理を行う。この処理では、制御部４５は、撮影間隔、即ち、モーションキャプチャの追跡間隔が等しくなるように、タイマー等を用いて撮影間隔の同期処理を行う。この処理が終了すると、処理はステップＳ１０７に戻る。即ち、再びシャッタボタンが押下されるまでの間、ステップＳ１０７〜ステップＳ１１５の処理が繰り返し行われ、モーションキャプチャが連続して行われる。即ち、ステップＳ１０２においてシャッタボタンが押下されると、規定の撮影間隔で連続して撮像が行われ、その結果、撮像部１８により撮像された撮像画像のデータから再帰反射性マーカの座標位置の追跡が繰り返して行われる。これに対し、シャッタボタンが押下された場合には、ステップＳ１１４においてＹＥＳであると判定されて、モーション追跡処理は終了となる。このように、モーション追跡処理により、撮影画像のデータ内に含まれる再帰反射性マーカの座標位置が複数フレーム分連続して取得して、モーションキャプチャが行われる。
【００４９】
次に、図４のモーション追跡処理のステップＳ１０４又はステップＳ１１１のマーカ部位決定処理の詳細について説明する。
図６は、図４及び図５のモーション追跡処理のうち、ステップＳ１０４又はステップＳ１１１のマーカ部位決定処理の詳細について説明するフローチャートである。
上述したように、マーカ部位決定処理は、ストロボ発光撮影が行われたことを契機として、ステップＳ１０４又はステップＳ１１１の処理として開始される。
【００５０】
ステップＳ２０１において、検出特定部４１は、撮像部１８により取得された撮像画像のデータから４つの再帰反射性マーカの位置を取得する。本実施形態においては、図２に示すように、再帰性反射マーカの数は４つである。従って、この処理では、検出特定部４１は、再帰反射性マーカの形状と同様の形状で飽和した画素領域を撮像画像のデータ内から４箇所探す。例えば、撮像画像のデータが、モノクロの撮像素子で８ビットのＡ／Ｄコンバータ（ＡＤＣ）にてデジタル信号化されているのであれば、画素値２５５となっている画素が飽和した画素領域となる。本実施形態においては、再帰性反射マーカの形状は円なので、円状の飽和画素をなっている画素領域を既存のテンプレートマッチング法等で探し、飽和画素領域の重心位置を再帰性反射マーカの座標位置として取得する。
【００５１】
ステップＳ２０２において、検出特定部４１は、ステップＳ２０１において取得した各再帰反射性マーカの位置関係から、各再帰反射性マーカの対応する被写体の部位を決定する。４つの再帰反射性マーカの座標位置が被写体のどの部位に対応するかは、被写体の動作が限定されていることが既知であれば、４つの再帰反射性マーカの位置関係から決定することが可能となる。例えば、本実施形態では、被写体は、両手両足を広げた状態から僅かに動くモデルである。したがって、検出特定部４１は、４つの再帰性反射マーカの座標位置のうち、正面に向かって最も右上に近いものは被写体の左手、正面に向かって左上に近いものは右手、正面に向かって右下に近いものは左足、正面に向かって左下に近いものは右足の部位であると決定することができる。なお、被写体の動作が限定されないものであれば、被写体の各部位毎に異なる形状の再帰性反射マーカを採用することで、被写体の各部位を判別することができる。例えば、右手には、円形の再帰性反射マーカを採用し、左手には、三角形の再帰性反射マーカを採用することで、再帰性反射マーカの各部位を区別して判別することができる。この処理が終了すると、マーカ部位決定処理は終了となる。
【００５２】
次に、図４のモーション追跡処理のステップＳ１０９の追跡処理の詳細について説明する。
図７は、図４及び図５のモーション追跡処理のうち、ステップＳ１０９の追跡処理の詳細について説明するフローチャートである。
上述したように、追跡処理は、非ストロボ発光撮影が行われたことを契機として、ステップＳ１０９の処理として開始される。
【００５３】
ステップＳ３０１において、解析特定部４２は、図６のステップＳ２０２において取得した再帰反射性マーカに対応する全部位の追跡を終了したか否かを判定する。即ち、追跡処理においては、図６のステップＳ２０２において取得した４つの再帰反射性マーカに対応する位置の全てについて、ステップＳ３０１〜ステップＳ３０８の処理が行われる。全部位の追跡を終了していない場合には、ステップＳ３０１においてＮＯであると判定されて処理はステップＳ３０２に進む。
【００５４】
ステップＳ３０２において、解析特定部４２は、図６のステップＳ２０２において取得した再帰反射性マーカに対応する４つの部位のうち、１つの部位に着目する。解析特定部４２が着目する部位は、特定の順序であってもよいし、ランダムであってもよい。
【００５５】
ステップＳ３０３において、解析特定部４２は、前フレーム（１つ前に撮像された撮像画像）における再帰性反射マーカの座標位置の近傍の座標位置をＮ（Ｎは、１以上の整数）点取得する。
【００５６】
ステップＳ３０４において、解析特定部４２は、ステップＳ３０３において取得したＮ点の１つを中心とするＭ×Ｍ（Ｍ＞１）画素の領域を取得する。
【００５７】
ステップＳ３０５において、解析特定部４２は、正規化相互相関にて、ステップＳ３０４において取得したＭ×Ｍ画素と、図４のステップＳ１０６において取得したテンプレート画像のデータとの類似度を算出する。
本実施形態においては、正規化相互相関法によるテンプレートマッチングにより、新たなマーカ位置を求める。ここで、テンプレート画像の輝度値の値をＴ（ｉ，ｊ）、テンプレート画像の輝度値の値をＩ（ｉ，ｊ）とする。ａｖｅ（Ｔ）は、Ｔ（ｉ，ｊ）の平均であり、ａｖｅ（Ｉ）はＩ（ｉ，ｊ）の平均である。ｉ，ｊは座標位置である。
正規化相互相関によるテンプレート画像の類似度Ｒは、次の式（１）により算出することができる。
R = ΣΣ(I(i,j)-ave(I)) (T(i,j)-ave(T) / sqrt(ΣΣ(I(i,j)-ave(I))^2 x ΣΣ(T(i,j)-ave(T))^2)・・・（１）
類似度Ｒは、１の場合に最も似ていると判定される。
ここで、テンプレート画像は再帰性反射マーカに応じて予め用意しておく必要がある。本実施形態においては、図４のＳ１０６で取得した各部位のテンプレート画像が用いられる。
【００５８】
ステップＳ３０６において、解析特定部４２は、ステップＳ３０３において取得した全てのＮ点について類似度を算出したか否かを判定する。即ち、解析特定部４２は、前フレームにおける再帰性反射マーカの座標位置を中心とする周囲７×７画素の４９点の座標位置を取得し、取得した４９点の座標位置に対し、ステップＳ３０４〜Ｓ３０６の処理を繰り返し行う。全てのＮ点について類似度を算出していない場合には、ステップＳ３０６においてＮＯであると判定されて、処理はステップＳ３０４に戻る。これに対し、全てのＮ点について類似度を算出した場合には、ステップＳ３０６においてＹＥＳであると判定されて、処理はステップＳ３０７に進む。
【００５９】
ステップＳ３０７において、解析特定部４２は、ステップＳ３０４において取得した全てのＮ点において１番類似度が大きい位置を追跡点として決定する。この処理では、Ｎ点（ここでは４９点）について、正規化相互相関をとり、一番類似度が高い値が得られた位置を、現在着目している部位の追跡点とする処理が行われる。
【００６０】
ステップＳ３０８において、解析特定部４２は、ステップＳ３０５において算出した類似度のうち、一番大きな類似度をこの部位の類似度Ｓとして保存する。この処理が終了すると、処理はステップＳ３０１に戻る。即ち、ステップＳ２０２において決定した全部位の追跡を終了するまでの間、ステップＳ３０１〜ステップＳ３０８の処理が繰り返し行われる。これに対し、ステップＳ２０２において決定した全部位の追跡が終了した場合には、ステップＳ３０１においてＹＥＳであると判定されて処理はステップＳ３０９に進む。
【００６１】
ステップＳ３０９において、解析特定部４２は、ステップＳ２０２において決定した全部位の中で一番低い値をもつ類似度をＬとして保存する。この処理が終了すると追跡処理が終了となる。
【００６２】
以上説明したように、本実施形態の撮像装置１は、発光制御部４６と、検出特定部４１と、解析特定部４２と、を備える。発光制御部４６は、対象物を照射するための光を発光する発光部１９を制御する。検出特定部４１は、発光部から発光されて対象物において反射された光を撮像された撮像画像のデータを解析して検出することで、該対象物の位置を特定する。解析特定部４２は、発光部１９による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する。
これにより、例えば、撮像装置１によりモーションキャプチャを行うために対象物の位置を特定する場合には、必要なときにのみ光を照射すれば足りるため、強い光を被写体である対象者に常に当てることに伴う不快感を低減することができる。また、不必要な光の照射を抑えることができるため、消費エネルギーの低減を図ることができる。
さらに、必要なときにのみ光を照射すれば足りるため、被写体の不快感を低減するために、赤外光専用の機器を別途用意する必要がなくなる。これにより、入手性及び汎用性のある光源及び撮像装置を利用することができる。
【００６３】
さらに、撮像装置１は、判別部４４と、制御部４５と、を備える。判別部４４は、解析特定部４２により対象物の位置の特定処理を繰り返し実行している最中において、発光部１９による発光及び検出特定部４１による対象物の位置の特定を実行するか否かの所定の条件を満たしているかを判別する。制御部４５は、判別部４４により所定の条件が満たしていると判別された場合に、発光部１９による発光及び検出特定部４１による対象物の位置の特定処理を実行するよう制御する。これにより、所定の条件が満たしていると判別された場合にのみ光を照射することができる。したがって、不必要な光の照射を抑えることができるため、消費エネルギーの低減を図ることができる。
【００６４】
さらに、撮像装置１の判別部４４は、解析特定部４２が対象物の位置を特定できているか否かを判別することで所定の条件を満たしているか否かを判別する。これにより、対象物の位置を特定できていないような場合にのみ光を照射することができる。したがって、不必要な光の照射を抑えることができるため、消費エネルギーの低減を図ることができる。
【００６５】
さらに、撮像装置１の判別部４４は、検出特定部４１及び解析特定部４２により特定された対象物の位置の確信度が予め設定されている閾値未満であるか否かを判別することで所定の条件を満たしているか否かを判別する。これにより、特定した対象物の位置に対する確信度が低いときにのみ、光を照射することができる。したがって、高い精度で光の照射回数の低減を図ることができる。
【００６６】
さらに、撮像装置１の解析特定部４２は、検出特定部４１及び該解析特定部４２により特定された対象物の周辺を解析し、対象物との類似度の高い位置を移動先位置として特定し、対象物が複数の場合、解析特定部４２により解析された一番低い類似度を確信度とする。これにより、光を照射することにより、確信度が高い状態で対象物の位置の特定を行った後は、類似度の高い位置を移動先位置として特定することで、光源を必要とせずに対象物の位置の特定を行うことができる。また、さらに、対象物が複数の場合には、解析特定部４２により解析された一番低い類似度を確信度とすることで、確信度の設定を適切に行うことができる。
【００６７】
さらに、撮像装置１は、モーションキャプチャ部４３を備える。モーションキャプチャ部４３は、対象物は被写体の一部に付加され、検出特定部４１又は解析特定部４２により特定された対象物の位置を基に被写体の動作に関するモーションキャプチャを行う。これにより、特定された対象物の位置を基に被写体の動作に関するモーションキャプチャを行うことができる。したがって、必要なときにのみ光を照射すれば足りるため、強い光を被写体である対象者に常に当てることに伴う不快感を低減することができる。また、不必要な光の照射を抑えることができるため、消費エネルギーの低減を図ることができる。
【００６８】
さらに、撮像装置１の解析特定部４２は、検出特定部４１及び該解析特定部４２により特定された対象物の周辺を解析し、対象物との類似度の高い位置を移動先位置としてさらに特定する。これにより、光を照射することにより、確信度が高い状態で対象物の位置の特定を行った後は、類似度の高い位置を移動先位置として特定することで、光源を必要とせずに対象物の位置の特定を行うことができる。また、さらに、対象物が複数の場合には、解析特定部４２により解析された一番低い類似度を確信度とすることで、確信度の設定を適切に行うことができる。
【００６９】
さらに、撮像装置１の発光部１９により光を照射される対象物は、再帰性反射マーカである。これにより、再帰性反射マーカをモーションキャプチャの対象物として使用することで、反射光による検出を極めて高い精度で行うことができ、モーションキャプチャの精度を高めることができる。
【００７０】
さらに、撮像装置１の発光部１９は、ストロボである。これにより、市場に大量に流通しているコンシューマカメラを用いて容易にモーションキャプチャを行うことができる。
【００７１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００７２】
上述の実施形態では、判別部４４は、検出特定部４１及び解析特定部４２により特定された対象物の位置の確信度が予め設定されている閾値未満であるか否かを判別することで所定の条件を満たしているか否かを判別しているがこれに限られるものではない。例えば、判別部４４は、予め設定されている所定の時間が経過したか否かを判別することで所定の条件を満たしているか否かを判別することができる。これにより、簡略な方法で光源の発光回数を減らすことができる。
【００７３】
また、上述の実施形態では、発光部１９により光を照射される対象物は、再帰性反射マーカとしているがこれに限られるものではない。例えば、発光部１９により光を照射される対象物は、所定の色が設定された色マーカとすることができる。これにより、安価なマーカでモーションキャプチャを行うことができる。
【００７４】
また、上述の実施形態では、発光部１９により光を照射される対象物は、再帰性反射マーカとしているがこれに限られるものではない。例えば、撮像装置１の発光部１９により光を照射される対象物は、人体の肌色部位とすることができる。これにより、別途マーカ等の特別な物品を用いずにモーションキャプチャを行うことができる。
【００７５】
また、上述の実施形態では、発光部１９は、ストロボにより構成されているがこれに限られるものではなく、例えば可視光線を断続的に照射するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）により構成することもできる。
【００７６】
また、上述の実施形態では、モーションキャプチャを例にして説明しているが、その他に移動する対象物の追跡といった用途に使用することもできる。
【００７７】
また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、撮像機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、デジタルカメラ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００７８】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００７９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００８０】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部２０に含まれるハードディスク等で構成される。
【００８１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【００８２】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８３】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
対象物を照射するための光を発光する発光部を制御する発光制御手段と、
前記発光部から発光されて前記対象物において反射された光を撮像された撮像画像のデータを解析して検出することで、該対象物の位置を特定する検出特定手段と、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する解析特定手段と、
を備えることを特徴とする撮像装置。
［付記２］
前記解析特定手段により前記対象物の位置の特定処理を繰り返し実行している最中において、前記発光部による発光及び前記検出特定手段による前記対象物の位置の特定を実行するか否かの所定の条件を満たしているかを判別する判別手段と、
前記判別手段により前記所定の条件が満たしていると判別された場合に、前記発光部による発光及び前記検出特定手段による前記対象物の位置の特定処理を実行するよう制御する制御手段と、
を備えることを特徴とする付記１に記載の撮像装置。
［付記３］
前記判別手段は、前記解析特定手段が前記対象物の位置を特定できているか否かを判別することで所定の条件を満たしているか否かを判別することを特徴とする付記２に記載の撮像装置。
［付記４］
前記判別手段は、前記検出特定手段及び前記解析特定手段により特定された対象物の位置の確信度が予め設定されている閾値未満であるか否かを判別することで所定の条件を満たしているか否かを判別することを特徴とする付記３に記載の撮像装置。
［付記５］
前記解析特定手段は、前記検出特定手段及び該解析特定手段により特定された前記対象物の周辺を解析し、前記対象物との類似度の高い位置を移動先位置として特定し、
前記対象物が複数の場合、前記解析特定手段により解析された一番低い類似度を前記確信度とすることを特徴とする付記４に記載の撮像装置。
［付記６］
前記対象物は被写体の一部に付加され、前記検出特定手段又は前記解析特定手段により特定された前記対象物の位置を基に被写体の動作に関するモーションキャプチャを行うモーションキャプチャ手段をさらに備えることを特徴とする付記１乃至５のうち何れか１つに記載の撮像装置。
［付記７］
前記判別手段は、予め設定されている所定の時間が経過したか否かを判別することで所定の条件を満たしているか否かを判別することを特徴とする付記２に記載の撮像装置。
［付記８］
前記解析特定手段は、前記検出特定手段及び該解析特定手段により特定された前記対象物の周辺を解析し、前記対象物との類似度の高い位置を移動先位置としてさらに特定することを特徴とする付記１乃至７のうち何れか１つに記載の撮像装置。
［付記９］
前記対象物は、再帰性反射マーカであることを特徴とする付記１乃至８のうち何れか１つに記載の撮像装置。
［付記１０］
前記対象物は、所定の色が設定された色マーカであることを特徴とする付記１乃至８のうち何れか１つに記載の撮像装置。
［付記１１］
前記対象物は、人体の肌色部位であることを特徴とする付記１乃至８のうち何れか１つに記載の撮像装置。
［付記１２］
前記発光部は、ストロボであることを特徴とする付記１乃至１１のうち何れか１つに記載の撮像装置。
［付記１３］
対象物を照射するための光を発光する発光部を制御する発光制御ステップと、
前記発光部から発光されて前記対象物において反射された光を検出することで、該対象物の位置を特定する検出特定ステップと、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の新たな位置を特定する解析特定ステップと、
を含む撮像方法。
［付記１４］
対象物を照射するための光を発光する発光部を制御する発光制御機能と、
前記発光部から発光されて前記対象物において反射された光を検出することで、該対象物の位置を特定する検出特定機能と、
前記発光部による発光が行われていない状態で撮像された撮像画像のデータを既に特定済みである前記対象物の位置情報を利用して解析することで、該対象物の位置を新たに特定する解析特定機能と、
を実現させることを特徴とするプログラム。
【符号の説明】
【００８４】
１・・・撮像装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・出力部、１７・・・入力部、１８・・・撮像部、１９・・・発光部、２０・・・記憶部、２１・・・通信部、２２・・・ドライブ、３１・・・リムーバブルメディア、４１・・・検出特定部、４２・・・解析特定部、４３・・・モーションキャプチャ部、４４・・・判別部、４５・・・制御部、４６・・・発光制御部
【図１】
2014017787.tif 000003
【図２】
2014017787.tif 000004
【図３】
2014017787.tif 000005
【図４】
2014017787.tif 000006
【図５】
2014017787.tif 000007
【図６】
2014017787.tif 000008
【図７】
2014017787.tif 000009