情報処理学会 インタラクション 2017
IPSJ Interaction 20173-405-56
2017/3/2

首の伸びを検知するデバイスの開発と VR コンテンツの提案
蟹江 秀俊1,a)

王 鴻宇1

北村 勇喜1 西澤 博大1
浦 正広1 宮田 一乘1

畠山 巧幹1

森 健斗1

概要：本論文では，首を伸ばす仮想体験ができるシステムの提案を行う．近年は多様なヒューマンインタフェースが開発・利用され，様々な体の動きを入力として扱えるようになった．その中に首を使用したものがあるが，「首の伸び」に焦点を当てたデバイスは我々の調査では見当たらなかった．システムの構築にあたり，肩の動きから首の伸ばす動作を推定するデバイスを開発した．両肩と背中に取り付けた加速度センサとジャイロセンサから得たデータを検証し，「首の伸び」の識別可能性を示す．

Development of Neck Stretch Behavior Detection Device and Proposeof VR Content
Kanie Hidetoshi1,a) Wang Hongyu1 Kitamura Yuuki1 Nishizawa Hiroto1
Hatakeyama Takumi1 Mori Kento1 Ura Masahiro1 Miyata Kazunori1

Abstract: This paper proposes a virtual system on experiencing neck stretching. Recently, many diﬀerent
ways of human interface have been developed which make body movement can be used as a method of inputting. However, as far as we have searched, devices focusing on ”neck stretching” have not been widelyused yet. To construct our system, we developed the devices which can estimate the tendency of stretchingneck by the movement of shoulders. As a result, by verifying the data collected from acceleration sensors
and gyro sensor attached on shoulders and back, the identifiability of ”neck stretching” can be indicated.

1. はじめに
これまでに，身体の動きを利用した様々な形のデジタルコンテンツが開発されてきた．近年では VR 事業の拡大により，直観的な操作の新しいヒューマンインタフェースの本研究では，普段体験することのできない首が伸びる感覚を味わうことのできる VR コンテンツを提案し，そのための「首の伸び」を検知するデバイスの開発，検証を行う．

2. 関連事例提案が盛んに行われている．従来のシステムには，指先の本章では，人の動作の一つである「首の伸び」を検知す

動きをそのまま入力操作として利用するものや映像に合わるにあたり，首に着目した製品や研究及び動作推定の既存せて触感をユーザに与えるものなどがある．特に，首を入研究について述べる．

力に用いた従来のシステムでは，首ふり動作を検知して活用するものがほとんどである．その用途は，障がい者向け

2.1 関連製品のものや，フィットネスに関するものなどがある．商品化

クラウドファンディングの Kickstarter において，フィッされたいくつかのウェアラブルデバイスでも首の動きを利トネスを目的としたネックレス型のウェアラブルデバイ用しているが，エンタテインメントシーンを主要目的としス「Fineck」というものが商品化されている [1]．スマートて開発されていない．

フォンの専用アプリケーションと連動することで歩数計や消費カロリーの表示だけでなく，首の状態を検知して利用

1a)

北陸先端科学技術大学院大学
JAIST, Nomi, Ishikawa 923-1292, Japans1610043@jaist.ac.jp© 2017 Information Processing Society of Japan

者に姿勢矯正の警告と首の角度を使ったゲームで首のエクササイズを可能にしている．

851

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-405-56
2017/3/2

同じく Kickstarter において，ネック型ヘッドホンのように耳にかけ，首の後ろにぶら下げて使う「ALEX」というヘルスケア商品も存在する [2]．このデバイスは，首の姿勢を計測して，猫背やスマートフォンの操作に代表される頭部前方位姿勢の姿勢矯正を行うことを目的としている．
姿勢悪化時には，振動によって警告を行い利用者に姿勢矯正を促している．
図 1

2.2 関連研究
倉沢らの研究 [3] では，ユーザコンテキスト（ユーザ自身の仕草，運動状態，感情やユーザを取り巻く状況など）を携帯電話に搭載可能な小型センサで推定し, ユーザに適切な情報配信を行うコンテキスト情報基盤の構築を目的と提案システム概要図

Outline of the proposed systemと Vive コントローラで取得した手の動きを，仮想空間でのモデルの頭部と手の動きに反映させる．

4. デバイスの検討と検証している．倉沢らは，実用面の観点から，日常的にユーザ

本章では，はじめに首の伸び検出の手法について検討のが持ち歩いている携帯電話に着目し，携帯電話に搭載され経緯を述べる．次に，検討したデバイスの概要と計測の手た単一の加速度センサのデータをもとに解析を行い，装着法について示す．つづいて，実験の条件及び使用した装置

場所や利用者の姿勢，運動状態を認識するコンテキスト推について述べ，最後に検証結果を示す．

定を行う手法を提案した．
久保らの研究 [4] では，首振り動作の検知方法を利用し，4.1 デバイスの検討

両手の機能障害者が手を使わずに PC 操作を行うことを目提案システムでは，首の伸びを入力とする直感的な動作的としている．障害者向けアプリケーションでなくても市反映が可能なヒューマンインタフェースの実現を目的とし販のものを無改造で使用するために，専用の入力ツールにている．

よって PC の操作を行う手法について検討し，既存の入力

当初，我々は筋電計を用いた首の伸縮検知について検討

デバイスが持つ機能との連携を取ることとしている．同研した．首周辺の筋肉を動かす際に発生する表面電位を測定

究では，動物体追跡ボードの輝度/色差信号の前処理に着することで首の状態の観測を試みた．しかし，首の動き以目し，PC に取り付けたカメラへの入力画像から特定の色外の動作にも反応し，それらとの識別が困難であったためを持つ領域を抽出し，その領域の重心座標を得ている．そ首の伸びのみを検知することが出来ないと判断した．

してその当該座標をもとに PC のディスプレイ上の座標位さらに，首の伸びと関係があると予想される背中の筋肉置に変換し，画面上の疑似ポインタとしてリアルタイム表（僧帽筋）に着目し計測を行ったが，同様の問題が発生し示を行った．

た．それに加えて，筋電計を用いて背中の筋肉から測定を

樫本らの研究 [5] では，明るさに依存しない深度センサ行う場合は，普段は服で隠れている部分に直接筋電計を張を採用し，非拘束非接触による頭部旋回運動オンライン検り付けて測定を行う必要があり，容易に体験することは難知法を提案した．これにより従来の類似システムが持つ，しい．よって，筋電計を用いた計測は，我々の目的には不使用環境の明るさに依存する欠点を改善した．また，提案適切という結論に至った．

システムにより得られる認識結果に基づいて，電動車椅子つぎに，首を伸ばそうとする動作が，肩の上下運動に関などの機械システム制御のための操縦インタフェースの開係があると仮定して首の伸びの推定を行った．なぜなら，発を行った．

首を伸ばす動作で実際の首の長さにはほとんど変化はない

以上で述べたとおり，体の姿勢の検知や首の姿勢に着目が，肩を下げて背筋を伸ばす動作が首が伸びていると錯覚したデバイス，支援ツールとして首振り動作を取り扱ったしているのではないかとの仮説を設定したからである．

ものは存在する．しかし，「首の伸び」に焦点を当てたデバ
イスは我々の調査では見当たらなかった．

3. システムの概要

日本整形外科学会・日本リハビリテーション医学会の規定 [6] では，健康な人が動かせる関節の可動域を定義している．本研究では，この甲骨帯の「引き下げ」「拳上」の動き (図 2) を肩の上下運動であると仮定して，その動作を計

本研究のシステム概要を図 1 に示す．Aruduino のセン

測するデバイスを検討する．また，甲骨帯以外の動作が混サから取得した入力データにより「首の伸び」を検知し，合する状態であっても甲骨帯の動作のみを計測できるのか

VR コンテンツの制作は Unity で行う．VR コンテンツをを検証するため，胸腰部の動作を加えた姿勢を計測条件と提示するためのヘッドマウントディスプレイ (HMD) にはして比較実験を行う（図 3）．各可動域の基本軸と移動軸のHTC Vive を使用する．また，HMD から得た頭部の動き

定義を表 1 に示す．

© 2017 Information Processing Society of Japan852

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-405-56
2017/3/2

実験の様子を図 4 に示す．

図 2

甲骨帯の可動域 ([6] より加工，転載)

Movement range of the scapula band [6]

図 4

実験風景

Experimental scene

4.3 検証条件
図 3

胸腰部の可動域 ([6] より加工，転載)

Movement range of the Chest waist [6]

両肩と背中に取り付けた加速度センサとジャイロセンサの計測データから，「首の伸び」を検知できるかの検証を行う．本検証では，「首の伸び」を甲骨帯における「引き下げ」「拳上」の動作であると仮定する．さらに，今回制各可動域の基本軸と移動軸の定義 [6]作するコンテンツでは，椅子に座った状態で体験を行うた

表 1 Definition of basic axis and movement

め，その状態で「首の伸び」を行う様子を計測する．また，

axis of each range of motion[6]甲骨帯以外の動作が混合する状態であっても甲骨帯の動作

可動域

運動方向

基本軸

移動軸

甲骨帯

屈曲

両側の肩峰を結ぶ線

頭頂と肩峰を結ぶ線

両側の肩峰を結ぶ線

肩峰と胸骨上縁を結ぶ「屈曲（前屈）」「伸展（後屈）」「右側屈」「左側屈」を加えた

線

5 つの姿勢を計測条件として比較実験を行う．ここで，体第 1 胸椎棘突起と第 5の正面に向かって平行な肩の回転運動を roll 回転（甲骨部伸展
拳上引き下げ
胸腰部屈曲（前屈）

仙骨後面

腰椎棘突起を結ぶ線
伸展（後屈）

のみを計測できるかの検証をするため，肩に力を加えず直立している状態を「自然状態」とし，その状態に胸腰部のの「屈曲」「伸展」），垂直な肩の回転運動を pitch 回転（甲骨部の「引き下げ」「拳上」）と定義し，各センサーの軸方向

側屈

ヤコビー線の中心に第 1 胸椎棘突起と第 5たてた垂直線

腰椎棘突起を結ぶ線

を図 5 に示す．実験に再現性を持たせるために Processingのアニメーションとオーディオ機能を利用して動作の時間とタイミングを合わせるプログラムを作成した．これらにより多数の被験者の計測データを同じタイミングのグラフ

4.2 デバイスの概要
提案システムは，両肩に加速度センサを一つずつ装着し，で表現可能となった．実験機材および計測条件を表 2，表3 に示す．

背中部分に加速度センサとジャイロセンサを装着する．センサは，図 2 と図 3 を参考に甲骨帯と胸腰部の可動域を測定可能だと思われる箇所に設定した．両肩に取り付けた加速度センサより出力される 3 軸の加速度から，甲骨帯の「引き下げ」「拳上」を計測する．背中の加速度センサは，体全体の傾斜角度を計測する．ジャイロセンサは，下半身を伴う動きや体を上下させる動きなど，体を傾ける運動以外を検知する．また，センサの位置にマジックテープを用いることで，衣服の上から装着できるため，筋電計での計測と比較すると簡単に着脱できるようになる．開発したデバ

図 5

各センサの軸方向 ([6] より加工，転載)

The axial direction of each sensor [6]イスの動作検証には，Arduino と Processing を利用する．

© 2017 Information Processing Society of Japan853

情報処理学会 インタラクション 2017
IPSJ Interaction 2017

表 23-405-56
2017/3/2

実験機材の詳細

Details of experimental equipment

実験機材

型番

三軸加速度センサ

KXSC7-2050

三軸ジャイロセンサ

L3GD20

計測機器

Arduino Mega

PC

Microsoft Surface pro3
(CPU:Intel core i5 4300U,RAM:4GB)

開発環境

Arduino IDE
Processing

表 3

計測条件の詳細図 6

Details of measurement conditions
実験条件

詳細

計測条件

test0:自然状態

直立状態の各角度

Each angle in the upright state

test1:屈曲（前屈）
test2:伸展（後屈）test3:右側屈
test4:左側屈
実験時間” 各計測条件で 45 秒”
0〜5 秒：自然状態
5〜10 秒：計測状態へ移行
10〜15 秒：計測状態の維持
15〜20 秒：甲骨帯の動作

図 720〜25 秒：計測状態の維持

体を傾斜させた状態の各角度

Each angle in the tilted body state

25〜30 秒 ：甲骨帯の動作30〜35 秒：計測状態の維持
35〜40 秒：計測状態を戻す
40〜45 秒：自然状態
間隔時間

実験時間の間：自然状態で 15 秒（計測なし）

4.4 検証結果
首を伸ばす動作が肩を下げることと解釈している 5 人の被験者に対しシステムの検証を行った．その 5 人のうちの1 名から得た計測データを一例として取り上げる．図 6 は自然状態での甲骨帯のデータをグラフ化したものである．

図 8

背中の傾斜角度で補正した pitch データ

Pitch data corrected by the inclination angle of the back

このグラフから，実験時間の 15〜20 秒と 25〜30 秒の区間で肩の pitch 回転と roll 回転の値が減少していることがわ
かる．次に屈曲（前屈）における甲骨帯の計測データを図7 に示す．この計測条件では roll 回転は発生しないことが理想的だが，甲骨帯の動くタイミングで角度に変化がみられる．このほかの計測条件においても roll 回転の角度は不安定な計測データが見られた．
次に背中の傾きから肩の傾きを補正したデータの処理を行う．自然状態以外の状態から得た肩の計測データには，上半身の傾斜と甲骨帯の動作が併合した角度が示されている．よって上半身の傾斜を背中から得たデータと仮定して，併合した角度から上半身の傾斜分を取り除き，甲骨帯の動作の角度のみを取り出す．図 7 に示したデータから，上半身の傾斜を取り除き補正したものが図 8 である．補正後の計測データにおいて，roll 回転からは肩の上下運動との関連性が見い出されなかったため，pitch 回転のみを示す．
図 6，図 8 より補正した波形は自然状態における甲骨帯の計測データと酷似しているため，この補正処理によって

図 9

被験者 1 人における全条件の角度比較

Angle comparison of all conditions in one subject

得た pitch 回転の角度を利用すれば，首を伸ばす動作を用© 2017 Information Processing Society of Japan854

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-405-56
2017/3/2

いたヒューマンインタフェースの実現が可能となる．さらに，すべての計測条件において pitch 回転に補正をかけたものを図 9 に示す．同様に，残りの被験者に対して補正処理を行ったところ，全体で 5 人中 3 人の計測結果からは想定する首の動きを識別できる計測データが確認できた．

5. VR コンテンツの提案
前章で検証したデバイスを活用した VR コンテンツ「ひ図 10まわりびより」を提案する．
「ひまわりびより」では，プレ「ひまわりびより」のキャラクター

Character ofHimawari biyori

イヤーが仮想空間で植物（ひまわり：図 10）となって直感的な操作でより大きく成長することが目的であり, プレイヤーの首の伸びを植物の成長に対応させている．
プレイヤーは太陽の光を浴びることで栄養分（得点）を獲得し，その栄養分を消費して成長することで，より多くの栄養分を獲得する機会を得ることができる．また, 実際具体的な体験の流れを以下に列挙する．
( 1 ) デバイスの取り付け( 2 ) HMD 上でルール説明( 3 ) 首の伸びデバイスのキャリブレーション( 4 ) 仮想体験開始→首を伸ばし，手を動かして太陽から栄養分を獲得のひまわりの花は太陽を向くという特性を取り入れ，太陽→獲得した栄養分にしたがい，植物が成長を正面にとらえ続けることで，効率よく栄養分を獲得で( 5 ) 仮想体験終了（スコアの表示）

きる．

( 6 ) デバイスの取り外し

仮想空間の太陽とモデルの間には多数の建造物が配置さ

6. おわりにれており，それらによって影が作られる．プレイヤーが顔本研究では，首を伸ばす動作をエンタテインメントに利に光を浴び続けるには，顔の位置をはるか上に移動させることが不可欠な環境となる．またプレイヤーの手と連動している植物の葉は, 日光を効率よく浴びるために，手のひらを太陽に対して垂直にすると効率よく栄養分を得られる用するために肩の動きに着目して，その上下運動から首の伸びを推定するシステムを提案した．さらに，日本整形外科学会・日本リハビリテーション医学会で規定されている関節の可動域を利用して，体の動きを想定して計測実験をようにする．
顔を上に移動させるために，自然に行いたくなる動作として背伸びが挙げられるが，デバイスの検証条件と同様に，プレイ中は椅子に座った姿勢になってもらい，背伸び行為は行わないものとした．また首をのばす行為を意識してもらうために，プレイ中の様子を第三者視点から見るこ行った．その結果，5 人中 3 人の計測結果からは想定する首の動きを識別できる計測データが確認できた．しかし，本検証の被験者は検証の仮説を事前に知っていたため事前情報のない被験者が首を伸ばす動きをした場合に自然と肩を下げようとするかの真偽を確かめる必要がある．
さらに身体の平行移動を考慮するためにジャイロセンとができるディスプレイを設置し，プレイヤーの動作とヒマワリの様子を同時に見てもらうことで，首を伸ばす動作によって操作できることを認知できるようにする．より詳
細なコンテンツの要素は表 4 に示す．

サーの計測データを加えることで，平行移動にも対応したシステムを実現できると考えられる．今後はより精確な数値を出力させるための効果的なセンサの設置場所を模索し，提案システムの精度向上を検討する予定である．加えて VR コンテンツの体験評価の実施を目指す．

表 4ルールコンテンツの要素

Content elements
他プレイヤーとの得点・高さで競争得点の獲得

参考文献
[1]
[2]

太陽の方向を見る
葉に太陽の光を当てる

プレイヤー

ひまわり

プレイ時間1分

操作

首を伸ばす

[3]

[4]

首ふり動作
手動作入力
配置物

ひまわり

[5]

建造物とその影太陽© 2017 Information Processing Society of Japan[6]

2016/12/21 「Fineck」 http://thebridge.jp/2014/12/fineck
2016/12/21 「ALEX」 http://japan.cnet.com/news/service/35076569/
倉沢 央, 川原 圭博, 森川 博之, 青山 友紀, ” センサ装着場所を考慮した 3 軸加速度センサを用いた姿勢推定手法”, 情報処理学会研究報告ユ
ビキタスコンピューティングシステム, 2006(54(2006-UBI-011)),
p15-22, 2006-05-23
久保 宏 一郎 , 嶌 旧 聡 , 藤野雄一, 大塚作一, ” 首振り動作による障害者用 PC 操作支援ツールの検討”, 電子情報通信学会技術研究報告. HCS, ヒューマンコミュニケーション基礎 100(7), p29-36,
2000-04-14
樫本 昂大, 大塚 弘文, ” 深度センサを用いた首振り動作のオンライン計測とその応用”, 電子情報通信学会技術研究報告. WIT, 福祉情報工学 114(261), p43-48, 2014-10-12
米本 恭三, 石上 重信, 近藤 徹, ” 関節可動域表示ならびに測定法”,
リハビリテーション医学 32, p207-217, 1995855