GS2-6-4
LIFE2012

2012 年 11 月 2 日－4 日 愛知 (名古屋大学)

Kinect を用いた運動負荷試験中の非接触呼吸計測に関する検討
Study on Non-contact Respiration Measurement during Exercise Stress Test Using Kinect○ 青木広宙（広島市立大学）

宮崎雅樹（慶応義塾大学）

仲村秀俊（埼玉医科大学）

Hirooki AOKI, Hiroshima City University
Masaki MIYAZAKI, Keio University
Hidetoshi NAKAMURA, Saitama Medical University
Abstract: We have examined a non-contact respiration measurement using Kinect, that is 3D sensor based on structured light, in orderto decrease the burden of the exercise stress test. In our proposed method, the respiratory waveform is produced from the volume
change of the region, where respiratory motion acts dominantly, measured by the three-dimensional measurement function of Kinect.
In this paper, we examine the validity of our proposed method by simultaneous measurement with the expiration gas analyzer. The
experimental result implies that quantitative respiration measurement under 100W exercise stress without contactn is realized by Kinect.
Key Words: Non-contact Physiological Measurement, Respiration Measurement, Exercise Stress Test, Kinect
1. はじめに呼気ガス分析装置を用いた運動負荷試験のひとつである
直線的漸増負荷法（ランプ負荷法）は，運動の安全性と効果の評価に有効とされる換気性作業閾値を測定するために用いられている．ランプ負荷法は，自転車エルゴメータを用いて行われるのが一般的であり，運動の強度を定量化できること，また，負荷を細かく設定できることが測定の利点として挙げられる．
呼気ガス分析装置は高価であるため，医療機関や研究機関でしか利用されておらず，スポーツクラブなどで気軽に利用することはできていないのが現状である．また，呼気ガス分析装置による測定では，口鼻を覆う形でマスクを着用する必要があるため，運動中の呼吸が自然な状態であるとは言い難い．さらに，測定終了後にマスクの洗浄や，検査ガスの交換といった定期的なメンテナンスが，必要である．このため，拘束感が少なく簡便な測定が実施しにくいといった欠点を持つ．
筆者らは，これらの問題を解決すべく，画像計測技術を応用した非接触呼吸計測方法を応用した運動負荷試験について提案している(1)(2)．
この非接触呼吸計測方法は，自転車エルゴメータによる運動中の被験者の胸腹部にドットマトリクスパターン光を投影し，カメラで撮影されたパターン光の動きを動画像解析することにより，非接触での呼吸計測を実現するものである．これは，アクティブステレオ方式による三次元計測に基づいており，画像中のパターン光のフレーム間移動量が，撮像手段と胸腹部との距離の変化に対応することを利用したものである．筆者らは，これまで，呼気ガス分析装置との比較実験により，ペダルこぎ運動中の非接触呼吸計測が実現可能であることを明らかにしている．
しかし，上記提案手法でパターン光の投影と撮影に用いられるアクティブステレオセンサは一般に市販されておらず，筆者らが手作りで開発を進めてきたものである．このため，大量生産に向かず，医療分野・福祉分野の研究者との共同研究活動を実施する上での障害となっていた．
一方，2010 年末に Microsoft 社からテレビゲーム用のインタフェースとして Kinect が発売された．Kinect はアクティブステレオ方式の三次元センサであり， “Light coding”と呼ばれるパターン光投影を用いた三次元計測手法を応用している．最近では Windows PC での利用がサポートされており，様々な研究分野で計測用デバイスとして利用されている．
そこで，本研究では，これまでわれわれの開発してきたアクティブステレオセンサの代替として Kinect を用いることで，運動負荷試験を実現できるかについて検討することとした．本稿では，Kinect を用いた運動負荷試験中の非接触呼吸計測手法について提案し，従来方法である呼気ガス分析装置との比較実験により提案手法の妥当性について検討を行う．
2. 提案手法
2.1 計測システムの構成
運動負荷試験中の非接触呼吸計測を行うために，本研究では Fig. 1 に示すような装置構成で計測を行うものとする．
本システムのセンサ部は，自転車エルゴメータに着座した被験者の正面に配置された Kinect である．被験者 はKinect の正面に設置されたサドルに座ってペダルこぎ運動を行うものとする．Kinect は汎用のノート PC に USB 接続され，ノート PC では取得された距離画像情報の処理が行われる．
Kinect は，主に，カラーカメラ，近赤外線カメラ，パターン光投影機によって構成される（Fig. 2）(3)．カラーカメ
ラにおいては，640×480，1280×960（ピクセル）のカラー画像が取得される．これと同時に近赤外カメラとパターン光投影機によるアクティブ三次元計測が行われ 160×120，320×240，640×480（ピクセル）の距離画像が取得される．
Kinect により取得される距離画像においては，各画素において 13bit の情報量を有し，ミリメートルオーダーの距離情報が得られる．
Kinect の距離画像計測においては，2 種類の計測モードが用意されており，各モードで計測可能な距離の範囲が異なる．通常モード（Default mode）においては，推奨計測範囲が 1.2~3.5m，計測範囲の限界が 0.8~4m である．近接モード（Near mode）においては，推奨計測範囲が 0.8~2.5m，計測範囲の限界が 0.4~3m である．本研究においては，近接モードで計測を行う．計測システムにおいては，Kinectは，サドル先端との水平距離が 0.7m となるように配置されている．

−1−Examinee
KinectPC(a)

Depth image.

Fig. 3(b)ROI.

Depth image and ROI.

↓ Respiration component
Amplitude

Bicycle ergometer

Fig. 1↓ Pedaling motion component

Configuration of measurement system.

012

3456

Frequency [Hz]Fig. 4

Fig. 2

Sensor components of Kinect

Table 1

Specification of Kinect

Item
Range of depth stream(Near mode)

Mechanical tilt range

Specification
Physical limits: 0.4 to 3m
Practical limits: 0.8 to 2.5m
43 degrees vertical/
57 degrees horizontal
27 degrees (vertical)

Frame rate of depth stream

30 frames per second

Viewing angle

Resolution, depth stream

160 x120, 320x240, 640x480

Resolution, color stream

640x 480, 1280x960

2.1 運動負荷試験中の非接触呼吸計測
本研究では，上記の計測系において運動負荷試験中の非接触呼吸計測を以下の手順で行う．
A) 処理対象領域の抽出
まず，距離画像中に被験者が撮影されると，Kinect の持
つ人体抽出機能により画像中で被験者が存在する領域の抽出が行なわれる．この人体抽出機能を用いて，距離画像中から背景を除去し，抽出された人体領域のみを処理対象領域（ROI: Region of Interest）として特定する（Fig. 3）．
B) 呼吸領域の抽出
次に，ROI 中の各画素について距離のフレーム間変化を算出する．各画素における距離のフレーム間変化は，主に被験者のペダルこぎ運動による体動に伴うものであるが，呼吸に伴う胸腹壁の形状変化も含まれている．自転車エル

Frequency spectrum of inter-frame depth change.

ゴメータにおいては電磁ブレーキ方式により運動負荷を制御するため，使用者はペダルこぎ運動におけるペダル回転数が一定となるようにペダルこぎを行う必要がある．一般に，ペダルこぎの周期は１Hz（60RPM）に設定されることが多い．
各画素における距離のフレーム間変化の時系列データの周波数スペクトルを算出すると，Fig. 4 に例示すように，1Hz 近傍とそれよりも低い周波数帯にそれぞれピークが現れる．1Hz 近傍のピークはペダルこぎ運動に起因するものであるからペダルこぎ運動周波数と呼ぶことにする．また，
1Hz より低い周波数帯域に現れるピークは呼吸に起因するものであるから，呼吸周波数と呼ぶことにする．
ここで，距離画像中の全画素について距離のフレーム間変化の周波数解析を行い，ペダルこぎ運動の周波数成分より呼吸の周波数成分が大きい画素を，呼吸領域の要素として抽出する（Fig. 5）．Fig. 5(a)に示したように，呼吸領域は胸腹部に現れ，ペダルこぎ運動周波数の成分が支配的となるペダルこぎ運動領域は腕部や側腹部を中心に現れている．
C) 呼吸波形の算出
Kinect により取得される距離画像の各画素と実世界での三次元座標（X，Y，Z）の関係は三角測量の原理により算出可能である．
( x p  p h / 2) tan( h / 2)X zpph / 2Y( p v / 2  y p ) tan( v / 2)
pv / 2zp(1)

Z  zp
ここで，xp は距離画像における水平座標，yp は距離座標における垂直座標，zp は（xp，yp）における距離情報，ph は距
離画像の水平方向の画素数，pv は距離画像の垂直方向の画素数，h は距離画像センサの水平方向の画角，v は距離画像センサの垂直方向の画角を示している．
各画素について算出された三次元座標は空間的に離散し−2−

(b) Region of pedaling motion.

Extraction of region of respiration.

Expiration

TimeInspiration

Fig. 6

Respiratory waveform.
.て分布する．これらの三次元座標を線形補間三角網法 (4)でリサンプリングし，数値積分することで呼吸領域に該当する部分の体積を求める．そして，フレーム間での体積変化を求め，呼吸周波数成分のみをフィルタリングすることで，呼吸波形を算出する．
D) 準一回換気量の算出
以上で求められた呼吸波形は， Fig. 6 に示すように，呼吸領域に相当する体表面の体積のフレーム間変化であるから，呼気時と吸気時では符号が反転する．したがって，ゼロクロスを検出することで呼気および吸気の分離を行うことができる．呼吸波形を 1 回の呼吸毎に積分した値は，呼吸 1 回分の体積変化に相当し，実際の呼吸流量である一回換気量（TV：Tidal Volume）と高い相関性を有することを，筆者らはこれまでの研究で明らかにしている (5)．ここで，吸波形を 1 回の呼吸毎に積分した値を，TV に準ずる量として準一回換気量（ QTV: Quasi Tidal Volume）と呼ぶこととする．

4. おわりにわれわれがこれまで開発してきたアクティブステレオセンサの代替として Kinect を用いることで，運動負荷試験を実現できるかについて検討すべく，Kinect を用いた運動負荷試験中の非接触呼吸計測手法について提案した．
提案手法においては，自転車エルゴメータでペダルこぎ運動を行う被験者の正面に Kinect を設置し，呼吸に伴う体表面の変形を抽出することで非接触呼吸計測を実現した．

3. 実験および結果
試作システムによる計測と同時に，従来手法である呼気ガス分析機（ミナト医科学社 AEROMONITOR AE-280S）を用いた計測を行い，提案手法の妥当性について検討した．
初期負荷 0W，漸増強度 30W／ min のランプ負荷法により運動強度を 140W まで漸増させるよう，運動プロトコルを設定した．被験者は，電子メトロノーム音により，ペダルこぎ回転数が 60RPM となるようにペダルこぎ運動を行った．
Fig. 7 に提案手法により抽出された呼吸波形を示す．実験においては，運動開始後 30 秒間（運動強度 0~15W の間）のデータを呼吸領域抽出のために用いた．
Fig. 8 に，同時測定による結果の一例を示す．黒い円形
シンボルは提案手法により得られた QTV を示している．
また，白い菱形シンボルは呼気ガス分析機による TV を示している．さらに，提案手法において呼吸領域のみで呼吸波形を算出することの有効性を検討するために，ROI 全体から算出された呼吸波形から QVT を求めた．ROI 全体か−3−40Inter-frame change of depth [mm/frame]

Fig. 53020100-10-20-30-40020Fig. 7406080

Exercise intensity [W]100120140

Calculated respiratory waveform.

3Normalized QVT / Normalized TV(a) Region of respiration.

ら求められた QVT を灰色の三角形シンボルで示している．
なお，グラフの縦軸は，QVT または VT の値を，それぞれの安静時における QVT の 30 秒間平均値を基準として正規化している．
Fig.8 より，運動強度が上昇に伴い TV と QTV はほぼ同じ傾向で変化しているが，100W 以上では TV と QTV の乖離が大きくなることが確認された．運動負荷試験で求められる指標である換気性作業閾値は 100W 以上の運動強度で現れることが少なくないことから，より高い運動強度においても正確に QTV の変化を計測する必要があるものと考えられる．
呼吸領域から求められた呼吸波形を元に算出された
QTV は，ROI 全領域から求められた QTV に比べて，TV の変化と同傾向で変化していることが確認された．このことから，呼吸による体表形状変化が支配的となる領域を特定することは，ペダルこぎ運動中の呼吸運動の抽出に有効であることがわかった．今後は，呼吸領域の設定方法について検討を加え，100W 以上の運動強度における正確な QTV算出の実現を目指す予定である．

QVT (Region of respiration)

2.5

QVT (ROI)2Expiratory gas analyzer

1.510.50020406080100120

Exercise intensity [W]Fig. 8

Normalized QTV and normalized TV.
.

140ペダルこぎ運動による体表形状変化よりも呼吸に伴う変化が支配的となる領域を，周波数解析により呼吸領域として抽出し，呼吸領域の体積の経時変化を求めた．そして，呼吸領域の体積の経時変化から呼吸周波数成分を抽出することで呼吸波形を算出した．呼吸波形において呼吸 1 回毎の面積を求めることで一回換気量に準ずる量として QTV を算定した．
従来方法である呼気ガス分析装置との比較実験により提案手法の妥当性について検討を行った結果， 100W 程度までの運動強度においては，呼気ガス分析装置で計測されるTV と同様の傾向で QTV が変化するが， 100W より大きな運動強度においては QTV と TV の乖離が大きくなることが確認された．このため，大きな運動強度において QTV とTV の乖離が発生することの改善が，今後の課題と考えられた．
なお，本研究の一部は，日本学術振興会・科研費（23700576），堀科学芸術振興財団・研究助成による助成を受けて実施されたものである．ここに記して謝意を表す．
参考文献
青木広宙，市村志朗，藤原豊樹，清岡智，越地耕二，続敬之，仲村秀俊，藤本英雄：“パターン光投影による非接触呼吸計測を用いた換気性作業閾値算定の提案”，電気学会論文誌C，Vol. 131-C, No.1, pp. 152-159, 2011.
(2) 青木広宙, 藤本英雄, 仲村秀俊：“自転車エルゴメータのペダルこぎ運動時における非接触呼吸計測”，電気学会電子･情報･システム部門大会講演論文集，Vol. 2010,
pp. 530-535, 2010.
(3) D.T. Lee, and B.J. Schachter,: “Two Algorithms forConstructing a Delaunay Triangulation”,, International
Journal of Computer and Information Sciences, Vol. 9, No.
3, pp. 219-242, 1980.
(4) Microsoft Corp., “HUMAN INTERFACE GUIDELINES
Kinect for Windows v1.5.0”, 2012.
(5) 青木広宙，宮崎雅樹，仲村秀俊，古川亮，佐川立昌，
川崎洋：“ Kinectを用いた非接触呼吸計測に関する基礎的検討”，第 18回 画像センシングシンポジウム講演論
文集，pp.IS-1-26-1- 6，2012.

(1)−4−