2024 年 2 月 9 日
2023 年度

I 類（情報系） コンピュータサイエンスプログラム 卒業研究最終発表会

複数台の Azure Kinect を用いたモーションキャプチャデータ統合による

3D アバターの表示精度向上
I 類 (情報系)

1

成見研究室

学籍番号：2010631

はじめに3松浦怜央

Kinect

昨今，人や動物の体がどのように動いているかを追Azure Kinect[2] は，赤外線を利用することによって跡できるボディートラッキング技術，また，その追跡カメラの画角内に映る物体までの距離（深度）を計測した動作をデータとして取り入れるモーションキャプし，複数人物の骨格情報をリアルタイムに推定するこチャ技術が普及している．これらの技術はスポーツにとが可能である．Azure Kinect 以前に普及した Kinect

おける動作解析や映像コンテンツの作成には欠かせな

v2 は,1 台の PC で複数台を動かすことはできないためKinect と同数の PC を準備する必要があった [3] が，後いものとなっている．

継機の Azure Kinect では,1 台の PC で複数台動かすMicrosoft 社が提供している Kinect は，トラッキンことができるようになった．

グ対象へのマーカーの付与および専用のスペースを必要としないモーションキャプチャデバイスである．従

Kinect の種類にかかわらず，トラッキング対象の一来のモーションキャプチャデバイスと比較して非常に部が家具などの物体で隠されている場合および自己遮安価（5 万円未満）であることから，同 Microsoft 社

蔽状態（トラッキングすべき部位の一部が自身の体にが提供する専用の SDK や API を使用して今日までによって隠されている状態）の場合は，モーションキャ様々なシステムが開発されている．

プチャ精度が低下する．

Magic Mirror は Kinect を用いて画角内の人たちの4モーションキャプチャを行うことで，ディスプレイ上にキャプチャした人と同じ動作をするアバターを映し4 台の Kinect v2 を用いたモーションキャプチャ出すシステムである [1]．しかし Kinect の性質上，障森本らは 4 台の Kinect v2 を用いてモーションキャ

害物に隠された部位があると精度が低下し，表示するプチャを行うシステムを開発した [3].

アバターが不自然な姿勢を取ってしまう（図 1）．

2

既存研究

森本らが開発したシステムでは合計 5 台の PC を使用しているが，本研究では 1 台の PC のみを用いてモー研究目的ションキャプチャを行うシステムを開発する．

本研究では，複数台の Azure Kinect を用いて死角

4 台の Azure Kinect を用いたモーションキャプチャとなっている部分のモーションキャプチャデータを補Lee らは 4 台の Azure Kinect を用いてモーション完し合うことで，Magic Mirror を使用する際の課題でキャプチャを行うシステムを開発した [4]．

ある，アバターが明らかに不自然な体勢をしてしまう

Lee らは，6 つの動作を行ってシステムの評価を行っ問題を改善することを目指す．また，障害物を想定した．本研究では，障害物を想定した画角制限がある状

た画角制限を行った状態でアバターに動作を反映させ，況下で 7 種類のポーズをとってアバターを用いた評価精度評価を行う．

実験を行う．

5

システム概要開発したシステムの概略図を図 2 に示す．本システ

ムは 2 台の Azure Kinect と 1 台の PC からなる．2 台の Azure Kinect によるモーションキャプチャによって，リアルタイムにトラッキング対象の動作が PC 画面に
図 1: Magic Mirror 使用中の，モーションキャプチャ映るアバターへ反映される．

失敗例（左）と成功例（右）本システムには「選択補完モード」と「自動補完モード」が存在する．選択補完モードでは，ユーザーが1

図 2: システム概略図
図 3: 精度評価実験の際の状況

Azure Kinect1 のデータを使用する関節を選択することができる．自動補完モードでは，モーションキャプチャ中に随時，Azure Kinet によって算出される各関節の信頼度に応じてどちらの Azure Kinect のデータを使用するか，システムが自動選択する．

精度評価

6

精度評価方法
評価実験は図 3 の状況で行った．データ統合用の 2台の Azure Kinect のうち 1 台は下半分を覆うことで障害物が下側にある状況を模擬し，もう 1 台は上半分を覆うことで障害物が上側にある状況を模擬している．

図 4: 精度評価実験の際の 7 種類のポーズ

定量的評価のため，データ統合用 Azure Kinect，正解データ用 Azure Kinect のそれぞれと対応付けた 1 体

表 1: 正解のアバターとの誤差（単位：cm）
画角制限あり 画角制限なしのアバターを Unity を通して同一座標をルートとして1 つの画面上に表示させる．トラッキング対象は Azure

選択補完モード

117.6

Kinect から 210cm 離れた地点で事前に決められた図 4

自動補完モード

106.3の合計 7 種類のポーズを 300 フレームの間行う．Unity

両モード総合107.0

側では 1 フレームごとに，表示された 2 体のアバターの 13 個の関節1 ごとの距離を計算する．

システムによって表示されるアバターは，1 台の Azure

データ統合用 Azure Kinect の画角制限をなくした状

Kinect によって表示するアバターと比べて 10cm 程度

態でも同様の実験を行い，合計 28 個2 の関節ごとの距の誤差であることが分かった．また，画角制限の有無

離データのセットを取得する．取得したデータの，関にかかわらず，自動補完モードの方が高精度であるこ

節ごとの平均値およびデータの遷移状況により本シスとが分かった．

テムの総合的な評価を行う．

今後の課題

結果

モーションキャプチャ可能人数を増加さる．2 台の

表 1 は正解のアバターとの誤差の平均をまとめたもAzure Kinect の位置を変更可能にする．また，障害物のである．表 1 から，自動補完モードがより誤差が小によってトラッキング対象が隠れている場合に生じる，さいことが分かった．ただし，画角制限があるときのアバターの乱れの抑制を行うなどが挙げられる．

誤差は，画角制限がないときの誤差より少し大きい．

7

参考文献

まとめと今後の課題[1] 明石禎紀，冨井陸矢，真鍋光希，高見太基，帆山遼，羽賀聡希，寺崎葉月，武井友里恵，鈴ヶ嶺聡哲，山中佑紀，峯水延浩，成見哲，等身大の仮想、手の中のリアル．エンターテインメント
コンピューティングシンポジウム，(2019)．

まとめ

2 台の Azure Kinect を用いることで，障害物があって[2] Azure Kinect DK について．https://learn.microsoft.
com/ja-jp/azure/kinect-dk/（閲覧日 2024-01-28）．

もアバターが不自然にならないようにモーションキャプチャできるシステムを開発した．精度評価によって，本[3] 森本隆志，満上育久，複数 Kinect の姿勢データの時空間統合によるモーションキャプチャシステム．情報処理学会研究報告，
Vol.2019-CVIM-217 No.25, pp1-8, (2019)．

1 頭，首，左肩，右肩，左ひじ，右ひじ，左手，右手，腰，左ひざ，右ひざ，左足，右足
2 画角制限ありかつ選択補完モードで 7 ポーズ，画角制限ありかつ自動補完モードで 7 ポーズ，画角制限なしかつ選択補完モードで7 ポーズ，画角制限なしかつ自動補完モードで 7 ポーズ[4] Lee, S. H., Lee, D. W., Jun, K., Lee, W., Kim, M. S. Markerless 3d skeleton tracking algorithm by merging multiple
inaccurate skeleton data from multiple rgb-d sensors . Sensors, 22(9), 3155, (2022)．

2