情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21003
2021/3/10

ウェアラブルセンサを用いた動作計測実験における機器装着バイアスの検証
河村知輝1,a)土田修平1,b)

寺田 努1,c)

塚本昌彦1,d)

概要：他人から注目を浴びると普段以上の成果を出そうとする心理効果をホーソン効果と呼ぶ．ホーソン
効果は人の行動に良い影響を与える効果として主に挙げられている．例えば，医療の現場において他人から見られているといった状況から手指の消毒回数が増え，衛生施行状況が改善されたり，集中的に患者を治療すると症状が改善されたりする．しかし，この効果はウェアラブルセンサを用いた動作計測実験においては大きな問題を引き起こしている可能性がある．具体的には，センサの装着自体が，実験者の「装着部位を動かして欲しい」といった期待を表し，それが被験者の動きに影響している可能性がある．もし，センサ装着位置の身体部位は大げさに動かしてしまう，などの影響が現れていれば，ウェアラブルセンサ
を用いてこれまで行われてきたあらゆる評価実験の信頼性に疑問が生じることになる．そこで本研究では，同じ動作をセンサ装着部位を変えながら行わせる実験をすることで，センサを装着すること自体が被験者のジェスチャ軌跡に与える影響を評価する．本稿では，センサの取り付け位置を左右の手首に限定し，複数のジェスチャを行った被験者の映像を解析した．結果，センサ装着部位の違いによって動作が変化する
ことから，これまで実施されてきたセンサ装着によるスキル評価や行動認識の成果はホーソン効果を含む機器装着バイアスの影響を含んでおり，そのまま信頼できないのではないかという重要な知見が得られた．

1. はじめに
ホーソン効果とは，他人から注目を浴びるとその期待にる．例えば，センサを用いたスポーツにおけるスキル評価
や日常動作のジェスチャ認識での影響を考える．具体的には，増田ら [4] によるテニスのスイングフォームの分析や，応えようとして，普段以上の成果を出そうとする心理効果

齋藤ら [5] による野球の投球フォームの分析，Ravi ら [6]の一つである [1]．例えば，宇佐美 [2] は手指の衛生教育のによる立つや歩くなどのジェスチャ認識の研究では，セン場において，手指衛生施行状況の調査を頻繁に行ったこと

サを手首等に装着し，加速度や角速度の値から分析・評価

で周囲から見られているという心理が働き，以前より衛生を行っている．その他大量の関連研究において，動作計測

状況が改善されたと報告している．さらに，平出ら [3] はのためにウェアラブルセンサが用いられているが，一般に医療の現場において救急隊員の行動が，誰かに見られていウェアラブルセンサは実験者が計測したい部位に装着するるという心理（ホーソン効果）から良い方向に変化していため，被験者はセンサ装着部位に対しての期待感を感じ，ることを報告している．この報告では，救急隊員が除細動

装着部位の動作が大きくなるといった普段とは違う行動をを行うまでに至る時間が年々短縮していることがホーソンしている可能性がある．また，ホーソン効果のほかにも期効果と結びついていると説明し，より効率的な蘇生普及活

待による行動変化が存在し，ある人が他人に期待するとそ動を実現するためにホーソン効果を活用する研究が行われの期待に応えようとして，他人が普段以上の成果を出そうている．

とするピグマリオン効果の影響も考えられる [7]．もし，計このようにホーソン効果は人の作業や行動に良い影響を測データがホーソン効果やピグマリオン効果の影響を含ん与えている．一方で，本研究ではホーソン効果により意図だものになっていた場合，認識モデル構築やスキル判定がしない問題が引き起こされている可能性について議論す

不正確になったり，評価実験における結果が信頼できないものになる可能性があるなど，その影響は多岐にわたる．

1

a)
b)
c)
d)

神戸大学大学院工学研究科
Grad. School of Engineering, Kobe University
tomoki-kawamura@stu.kobe-u.ac.jp
tuchida@eedept.kobe-u.ac.jp
tsutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp© 2021 Information Processing Society of Japan

一方でホーソン効果やピグマリオン効果はその効果を評価することが難しく，センサ装着時のそれら効果による影響を確かめた実験は筆者らの調べる限り存在しない．センサ
装着時の心理的影響について，ホーソン効果やピグマリオ

21

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21003
2021/3/10

ン効果を含む機器装着バイアスがあると我々は考えている．

付けた加速度センサと実験環境を撮影した映像の記録か

そこで本研究では，センサ装着場所による違いで人の意ら想定したジェスチャとの違いを指摘している．また，指識やそれに伴う行動がどのように変化するのかを検証する

示の具体度が上がると，ジェスチャの認識精度も上昇することを目的とする．本稿ではその初期段階として，簡単なことが分かっている．Ravi ら [6] は，一つの加速度センサ

ジェスチャをいくつか選び，センサ装着位置を変えながらで立つ，ウォーキング，ランニング，掃除機をかける動作

被験者には実験の目的を伝えずジェスチャを行わせることを含む 8 つのジェスチャ認識手法を提案している．Tapia

で，センサ装着位置がジェスチャに与える影響を評価する．

ら [19] は，5 つの 3 軸加速度センサを用いて，運動強度を

2. 関連研究2.1 ホーソン効果について心理学において，他人から注目を浴びるとその期待に応えようとして普段以上の成果を上げようとするホーソン効変えたウォーキング，サイクリングなどの行動認識を行っている．また，倉沢ら [20] はセンサを鞄の中，ズボンのポケット，上着のポケットに装着し，それぞれの装着場所において歩く，走る，座っている，立っているなどの動作推定を行っている．

果がある [1, 8]．ホーソン効果はウェスタン・エレクトリッ

しかし，これらの日常動作やスポーツにおけるジェス

ク (Western Electric) 社のホーソン (Hawthorne) 工場にて

チャ認識の研究では認識に重要である部位に絞ってセンサ行われた実験から得られた結果である．ホーソンは 1924が装着されていることが多く，そのことがホーソン効果を

年から 8 年間でインタビュー実験も含め 6 つの実験を行引き起こしている可能性があるが，この問題については考い，物的要因が人の作業量を増加させるのではなく，人間慮されていない．

関係や社会的要因が影響することを明らかにした．また，
ホーソン効果と似た心理効果にピグマリオン効果が存在す

3. センサ装着が行動に与える影響の評価実験

る [7]．この効果は，ある人が他人に期待するとその期待に加速度センサを取り扱う研究において，従来は測定した応えようとして，他人が普段以上の成果を出そうとする心い項目を中心にセンサの装着場所を決めていた．しかし，理効果である．例えば，教師が生徒に対して抱く期待が，センサ装着場所によって人の行動が変化すると，測定結果

生徒の学業成績に影響を与えることが分かっている [9]．

に影響が生じてしまう．そこで本章では，センサ装着場所

ホーソン効果は，医療現場において重要な効果を示す．
一般的に言われているのが，治療法の有効性を証明する際によって人の行動がどのように変化するのかを確かめるた
めの実験を行った．

に現れ，集中的にケアをすると症状が改善される事例である．例えば，認知症を治療するための試験において頻繁に

3.1 実験条件・環境評価訪問を行うと，そうでない場合に比べて認知機能の改実験ではセンサ装着自体が行動に与える影響として，以善が見られた [10]．多賀 [11] は医療の臨床に役立つ研究結

下の 3 種類が挙げられる．(I) センサへの意識による行動

果を得るためには，ホーソン効果とピグマリオン効果の制の変化 (ホーソン効果を含む機器装着バイアス)，(II) 被験御が不可欠と述べている．医療の分野だけではなく，他分

者のやる気や疲れ，慣れによる行動の変化，(III) 装着への野の実験においても人の本来の行動や選択を妨げないため違和感による行動の変化 (装着に対する不快感や重さ，セに，これらの効果を制御することが重要であると考える．

ンサが外れないように行動するなど)．(II) と (III) の影響

しかし，本研究で対象とするセンサ装着場所に関するをなるべく取り除き，(I) のみを抽出するための実験条件・

ホーソン効果とピグマリオン効果についての影響が日常動環境を構築する．

作の行動認識 [12] やスポーツにおける行動認識 [13, 14] に腕など上半身にセンサを装着すると上半身の動きが，足おいて考慮されていることは無く，その影響を含めた結果など下半身にセンサを装着すると下半身の動きがそれぞれを実験結果としている可能性がある．本研究では，実験者期待されると被験者が感じ，行動が変化すると予想される．

が被験者に対してどのような期待を抱いているかを隠し，

本実験ではセンサ装着のバリエーションが増えすぎるのを人からの注目ではなくセンサからの注目に置き換えること避けるため，特に上半身の動きに注目し，装着場所を手首で，人の行動にどのような影響がでるのかを明らかにする．

に限定した．被験者に実験の目的を推測されてしまう可能性を減らすため，本実験ではセンサ装着無しのパターンを

2.2 加速度センサを用いたジェスチャ認識
加速度センサを用いたジェスチャの認識は数多くされている [15–17]．村尾ら [18] は，被験者に与える指示の具体実施しない．したがって，装着は，右手首のみ，左手首のみ，両手首の 3 パターンで， 3.2 節で述べるジェスチャ動
作を分析する．

度によって，ジェスチャ動作が変化することを確認してい被験者には実験開始前に図 1 のように無線通信型の 3 軸

る．この研究では，10 種類のジェスチャについて指示の加速度・角速度センサ (ATR 社製，WAA-010，重さ 20g，

具体度を文章，図，動画と変化させたとき，右手首に取り

サイズ W:39mm,H:44mm,D:12mm) を装着し，加速度およ© 2021 Information Processing Society of Japan22

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

リストバンドINT21003
2021/3/10

加速度センサ(WAA-010)( 2 ) 個人のなかでは動作の形が決まっているジェスチャ
例: 歩く，走る，タイピングなど( 3 ) 意識の違いで動作が変わりそうなジェスチャ
例: ボタンを押して帰ってくる，字を書く，物を拾う，ラケットを振るなど
装着前

装着後
図 1 センサ装着の方法( 4 ) 意識によらず毎回動作が変わりそうなジェスチャ
例: 掃除機をかける，本をめくる，ドライヤーなど
本実験で扱うジェスチャは関連研究に挙げた論文を参考に決定した以下 11 種類である．

び角速度を PC 上で取得すると説明した．(III) の影響がな( a ) 座る/立つ動作．用意された椅子を用いて，椅子の前るべくでないようにするため，ある程度の締め付けがあるに立つ．そして，座る/立つの動作を 10 回繰り返す．

リストバンドを使用し，センサは小型のものを使用した．

座ると立つの間には 5 秒程度の静止時間がある．

センサ装着場所は，右手首だけのとき，左手首だけのとき，( b ) 歩く動作．黄色の線 (図 2 左) の上に立つ．オレンジ

両手首のときの 3 パターンであるが，(II) の影響 (順序効のコーン (図 2 左) まで歩き，U ターンする．そして果など) を避けるため，それぞれの被験者で実験順序を変

黄色の線まで歩いて戻ってくる．5 秒程度静止後，もえた．被験者は実際にセンサを使用したことがある，またう一度同じ動作をする．この動作を 10 回繰り返す．

はセンサを使って加速度を計測できることを知っている研( c ) 走る動作 (ジョギング程度)．黄色の線の上に立つ．オ

究室に所属する 20 代の男性 12 名である．
実験は，図 2 左に示す研究室内にあるスタジオで行っレンジのコーンまで走り，U ターンする．そして黄色の線まで走って戻ってくる．5 秒程度静止後，もう一た．ここで，本実験ではセンサを装着していない箇所の動度同じ動作をする．この動作を 10 回繰り返す．

きを評価する必要がある (例えば，右手にしかセンサをつ( d ) ボタンを押して帰ってくる動作．黄色の線の上に立つ．

けていないときに左手がどう動くかを計測する必要がある)

机の上にあるボタン (図 3( i )) を 1 回押す．そして黄ため，装着した加速度センサのデータのみからは分析が行

色の線まで歩いて戻ってくる．5 秒程度静止後，もうえない．したがって，スタジオ内にはあらかじめ図 3(vi)

一度同じ動作をする．この動作を 10 回繰り返す．

に示す小型のカメラ (GoPro 社製，HERO8) を 4 箇所に設( e ) ボールをキャッチする動作．オレンジのコーン付近に立置し (図 2 右)，実験風景を撮影し，映像を解析することでつ．黄色の線の上に立っている筆者がボール (図 3(ii)

動作評価を行った．被験者には実験が終わるまで「このカに示す直径 9 cm のボール) を下投げで投げるので，メラは別の人が実験に使うため置いている」とだけ伝え，

キャッチする．この動作を 10 回繰り返す．

カメラを意識させないようにした．カメラについて説明す( f ) 投げる動作．黄色の線の上に立つ．そして，オレンジ

る際は，実験環境にあるカメラ位置については伝えていなのコーンに向かってボールを上投げで投げる．5 秒程

い．実験終了後，カメラで撮影していたことを明かし同意

度静止後，もう一度同じ動作をする．この動作を 10 回を得た上でデータの解析に用いた．解析は第一著者が映像繰り返す．

を目視で確認し，センサ装着場所による動作の変化を明ら( g ) ラケットを振る動作．緑色の線 (図 2 左) の上に立つ．

かにする．その後，目視によって見られた動作の違いにつそして 5 秒程度静止後，ラケット (図 3(iii)) を振る．

いて動画解析アプリケーション ( 3.4.2 節) を用いて定量的

この動作を 10 回繰り返す．

に解析する．実験中の予期しない事態に備えて，被験者に( h ) 物を拾う動作．緑色の線の上に立つ．そして，ボール

なるべく影響が出ないように実験者はスタジオ内にて測定

を緑色の線の上に置く．5 秒程度静止後，ボールを拾を行った．なお，この実験は神戸大学大学院工学研究科のう．この動作を 10 回繰り返す．

研究倫理審査委員会の承認を得て行った．

( i ) 字を書く動作．椅子に座った状態で机の上においてある紙にボールペンを使って「塚本寺田研究室は教授が3.2 ジェスチャ項目

2 人いる研究室である」と書く．

本研究で実験の対象とするジェスチャについては以下の( j ) 掃除機をかける動作．図 3(iv) に示す掃除機 (Dyson

ように決定した．さまざまなジェスチャは，センサへの意

Cyclone V10 Absolutepro) を用いてスタジオ内 (図 2

識による行動変化が起こりやすいものと起こりにくいものに分けられると考え，以下の 4 つのカテゴリを含むように
ジェスチャセットを作成する．

左) を 30 秒間掃除する．

( k ) 本をめくる動作．図 3(v) の本のページを 10 ページ分
めくる．

( 1 ) 誰がやっても同じ動作をするジェスチャ

これらジェスチャの一部は日常生活動作 (ADL: Activities

例: 座る，立つ，寝転んでいるなど

of Daily Living) と手段的日常生活動作 (IADL: Instrumen-© 2021 Information Processing Society of Japan23

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21003
2021/3/10

カメラ
緑色の線
オレンジのコーン

オレンジの緑色の線 黄色の線
コーン

スタート
黄色の線

実験者

ゴール

3m

指示書に記載された指示図

スタジオ風景図 2(ⅰ) ボタン(ⅱ) ボール(ⅲ) テニスラケット(ⅳ) 掃除機(ⅴ) 本(ⅵ) カメラ図 3

スタジオを上から見た図

実験環境（1-a）座る / 立つ（2-b）歩く(2-c) 走る（3-d）ボタンを押す （3-e）ボールキャッチ(3-f) 投げる

（3-g）ラケットを振る （3-h）物を拾う(3-i) 字を書く（4-j）掃除機をかける （4-k）本をめくる

実験で使用した道具

tal Activity of Daily Living) から選択した [21]．ADL とは歩行，座る立つ動作などを含む生活に欠かせない基本的な行動であり，IADL とは字を書く，本をめくる，掃除機をかける動作など ADL より複雑で高次な活動を指す．それ以外の，ボタンを押して帰ってくる動作，ボールをキャッチする動作，投げる動作，ラケットを振る動作，物を拾う動
作は筆者が独自に考えたジェスチャである．各ジェスチャを行っている実験風景を図 4 に示す．上記 (a)∼(k) までの順番は図 4 内の (1-a)∼(4-k) の順番と対応している．

図 4

実験で使用したジェスチャ

また，上記のジェスチャは 4 つのカテゴリから一つ以上

は説明 1 のときに指示書を渡し，ジェスチャに関する質問選ぶように定めた．具体的には，誰がやっても同じ動作をは受け付けないようにした．被験者にはセンサの装着場所

するジェスチャは (a)，個人のなかでは動作の形が決まっを 3 パターン行うことは事前に伝えず，予め実験者が決めているジェスチャは (b, c)，意識の違いで動作が変わりそた装着場所の順番で行った．センサ装着後，指示書のジェ

うなジェスチャは (d, e, f, g, h, i)，意識によらず毎回動作

スチャを上から順に行ってもらった．ジェスチャの順番はが変わりそうなジェスチャは (j, k) である．また，ホーソ

順序効果や慣れの影響を減らすため，被験者毎にランダムン効果の影響を確かめるため，指示内容は簡単に理解しやな順番を用いた．各ジェスチャを 10 セット (本をめくる動

すいものにした．例えば，ラケットを振る動作においては，

作は 10 ページ，掃除機は約 30 秒間) 行ってもらい 10 セッラケットを振るとだけ指示を出し具体的な体全体の動きを

ト内の動作はなるべく同じ動作を行ってもらった．一つの指定していない．本研究において重要である「意識の違い

ジェスチャが終わるごとに準備を含め 1 分程度の休憩がで動作が変わりそうなジェスチャ」の項目は，他の項目よある．1 回目の測定が終了後，センサの装着場所を入れ替りも多くのジェスチャを取り入れた．

えて 2 回目の測定に移る．2 回目の測定においてもジェス
チャの種類は同じであるが，順番は 1 回目とは異なる順番

3.3 実験手順
実験手順の概要を図 5 に示す．ジェスチャに関する指示© 2021 Information Processing Society of Japanを指示した．3 回目の測定においても同様である．実験終了後にカメラで映像を撮っていたことを被験者に伝え，許24

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

1分

INT21003
2021/3/10

1分

図 5

実験手順

可が得られた場合のみ映像による解析を行った．

1分

図 6

オープンポーズから得られる 25 の特徴点取られていたことには気づかなかった」と述べていることから，被験者はカメラを意識した動作をせず，カメラに対3.4 解析手法

して動作を行う位置が毎回変化しているジェスチャがあっ

3.4.1 ジェスチャ動作の定性的な解析

た．そのため，単純な特徴点の座標を比較できないので，それぞれの被験者の映像から，動作の違いについて調査取得した 25 点の特徴点を単位ベクトルに変換することにする．まず，定性的な解析手法としては第一著者が目視でよって基準を統一し，解析を行った．単位ベクトルに変換

4 方向から撮影された映像を確認し，1 セット 10 回の試行する部分は，座標の隣合った 2 点を結んだ部分である．例の内 6 回以上同じジェスチャ動作を行った場合，そのセンえば，図 6 において左肩から左肘を結んだ線，左肘から左サ装着場所でのジェスチャ軌跡とした．掃除機をかける動手首を結んだ線である．

作に関しては，18 秒以上同じ動きをしていると，そのセン

単位ベクトルに変換後，単位ベクトルの x,y 座標それぞ

サ装着場所でのジェスチャ軌跡とする．

れに対して分散値をジェスチャ 10 試行分算出する．映像

3.4.2 ジェスチャ動作の定量的な解析から被験者のジェスチャ 1 試行分を取り出す際，動画アノ

映像中の人物の動作を定量的に解析する手法として，テーションツール ELAN を用いて第一著者が目視にて動作

Kinect や RealSence の深度センサ付のカメラを用いた 3

開始から終了までのラベル付けを行った．ラベル付けする

次元モーション解析，Cao らが提案した深度データなしで際は，ジェスチャ開始時の被験者の姿勢を統一した．掃除映像を 2 次元モーション解析する OpenPose [22] がある．

機をかける動作に関しては，30 秒間の連続した動作になっ

実験中，被験者はカメラを意識した動作をしないため，複ているため定量的な解析は実施しなかった．右手首，左手

数方向からの撮影が必要である．しかし，実験室内に多方

首，両手首の 3 パターンにおいて分散値に違いが生じた場

向からの Kinect や RealSence などのカメラがあると，実合，動きに違いが見られたと判定する．それぞれの装着パ

験内容を推測される恐れがある．そのため，カメラの影響

ターンにおいて，ある部位の分散値を見る際，10 試行分のをなるべく取り除くために小型の RGB カメラ (GoPro 社

分散値の平均をその動作に対する動きの分散値とする．例

製，HERO8) を用いて撮影を行い，OpenPose を用いた定

えば，被験者 A のラケットを振る動作において右手首装着

量的な解析を行う．OpenPose とは深層学習を用いること時に 10 回の振る動作が存在する．右肩から右肘の単位ベによって，映像中の人物に対して図 6 のような 25 の特徴

クトルの x 座標 (x-RS-RE) において 10 試行分のデータの点 (2 次元 x, y 座標) を推定することができ，それらの点を

分散値をそれぞれ算出し，平均をとることによって右手首つなぎ合わせることで骨格推定が可能である．特徴点には装着時における x-RS-RE の分散値とする．

それぞれの点に対して信頼度（0∼1 の間の値を取る）が存

センサ取り付け位置を手首に限定し，解析に用いる

在し，特徴点を抽出する際は信頼度が 0.85 以上になるよう骨格情報は上半身に絞り，LShoulder-LElbow(左肩-左肘)，に設定した．しかし，0.85 以上の信頼度が得られなかった

LElbow-LWrist(左肘-左手首)，RShoulder-RElbow(右肩-右点 (被験者 G の投げる動作において両手首装着時 7 回目の肘)，RElbow-RWrist(右肘-右手首) の 4 つに対して単位ベ

左腕 (x,y-LE-LW)，被験者 K の物を拾う動作において右手

クトルの x,y 座標それぞれを解析した．以下，本文中で首装着時 9 回目の左腕 (x,y-LE-LW) の特徴点) に関してはは左肩から左肘までの単位ベクトルの x 座標を x-LS-LE，信頼度の閾値を 0.8 以上にし，処理を行った．

y 座標を y-LS-LE と表す．同様に，左肘から左手首，右OpnePose にて解析する前に，第一筆者が目視によって肩から右肘，右肘から右手首までに関しても x-LE-LW，動作の違いを確認し，違いが見られた被験者の映像に対し

y-LE-LW，x-RS-RE，y-RS-RE，x-RE-RW，y-RE-RW でて，OpenPose の解析を行った．実験終了後，被験者にカメ表す．解析する際のカメラの向きに関しては，目視にて違ラで映像を撮っていたことを明かした際，全員が「映像をいが見られた視点の映像を基準とする．しかし，OpenPose© 2021 Information Processing Society of Japan25

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21003
2021/3/10(RH) 右手首装着時(LH) 左手首装着時(BH) 両手首装着時

図 7 4 方向のカメラ視点ҩ͏͗ड़ͪඅ‫ंݩ‬අ‫ंݩ‬( $ & * ) .


ૺΖ

ζ

ϚνϱΝԣͤ

ỽϚʖϩΫϡροο

/ % ' + -

ิ͚



η

,

࠴Ζཱིͯ

౦͝Ζ

がある被験者の数が多かったジェスチャは，ラケットを振෼Νल͑る，投げる，物を拾う動作の順で 12 人中 6 人，4 人，3 人

ἀϧίρφΝ৾Ζ࣊Νॽ͚

図 9 ラケットを振る動作（被験者 A）

ૡঈ‫ؽ‬Ν͖͜Ζに違いが見られた．その他のジェスチャに関しては座る/ຌΝΌ͚Ζ立つ，ボールキャッチ，字を書く動作が 12 人中 2 人に違い୯͗Ώͮͱ΍ಋͣಊࡠΝͤΖζΥηοϡ

が見られ，歩く，掃除機をかける動作に関しては 12 人中 1‫ݺ‬ਕ͹͵͖Ͳͺಊࡠ͹‫݀͗ܙ‬Ήͮͱ͏ΖζΥηοϡ

人，3 人 (18 秒以上の人は 1 人) に違いが見られた．被験者

қࣟ͹ҩ͏Ͳಊࡠ͗୉͚͘รΚΕͨ͑͵ζΥηοϡ

E 以外の被験者は全て右利きである．ジェスチャによってқࣟͶΓΔͥຘյಊࡠ͗รΚΕͨ͑͵ζΥηοϡ

目視による違いが分かりにくいため，本稿では違いが顕著

図 8に表れていたラケットを振る動作，物を投げる動作，物を違いが確認できた被験者のジェスチャ項目

拾う動作について説明する．
をかけた際に 1 視点のカメラだけでは解析できない被験者

4.1.1 ラケットを振る動作がいた (被験者 D，G，E，K)．例えば，図 7 は投げる動作

ラケットを振る動作について違いがあった被験者 6 名

1 のカメラ視点においての動作開始直後で，投げ始めは ○の内，2 名の解析結果を報告する．被験者 A に関して，

左腕の動きは確認できるが，右腕が隠れており確認できな

第一著者が目視にて映像を解析すると左手首 (図 9(LH))

2 の視点も同様に，片腕が見えなくなる場面があっい． ○や両手首 (図 9(BH)) 装着時は，右手首 (図 9(RH)) 装着

1 のカメラ視点を使い，右腕に関たため，左腕に関しては ○時に比べてラケットを振る時の左腕の動きが大きくなっ2 の視点を用いて解析することによって対応した．
しては ○ていることがわかった．右手首に装着しているときよりも左手首，両手首装着時の方が 10 回とも左腕の動作が4. 実験結果と考察
4.1 目視による動作の違いと定量的な解析

大きくなっていた．OpenPose にて解析したデータを図 9下に示す．図 9 下は各部位に対する単位ベクトルの分散値の 10 試行分の平均である．単位ベクトルの分散値は

図 8 に各ジェスチャに対する目視にて違いが確認できた

x 座標，y 座標それぞれに対して示している．図 9 下の被験者を示す．左から被験者毎に違いが確認できた数が多エラーバーはデータの標準偏差を示し，∗ は p < 0.05 でい順に示している．図 8 より，違いが見られたジェスチャ有意であることを示す．右手首，左手首，両手首の 3 条

は座る/立つ (a)，歩く (b)，ボールキャッチ (e)，投げる

件で 10 試行分の単位ベクトル (x，y 座標それぞれに対(f)，ラケットを振る (g)，物を拾う (h)，字を書く (i)，掃除して) を標本とした 1 要因分散分析を行った．分析の結機をかける (j)，本をめくる (k) 動作である．センサ装着場

果，x-LS-LE(F(2, 9) = 8.15, p < 0.01), y-LS-LE(F(2, 9) =所の違いでジェスチャが変化した被験者の数が一番多かっ

6.42, p < 0.01), x-LE-LW(F(2, 9) = 8.39, p < 0.01), y-

たのは，本をめくる動作で 12 人中 9 人であった．次に違い

LE-LW(F(2, 9) = 28.52, p < 0.01), x-RS-RE(F(2, 9) =© 2021 Information Processing Society of Japan26

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

(RH) 右手首装着時

図 10(LH) 左手首装着時

INT21003
2021/3/10(BH) 両手首装着時ラケットを振る動作（被験者 C）(RH) 右手首装着時(LH) 左手首装着時

図 11(BH) 両手首装着時投げる動作 (被験者 D)

7.16, p < 0.01), x-RE-RW(F(2, 9) = 8.08, p < 0.01), y-は，x-RS-RE(MSe = 0.0001)，y-RS-RE(MSe = 0.0000)

RE-RW(F(2, 9) = 6.32, p < 0.01) で有意差が見られた．

において右手首装着時の方が左手首，両手首装着時の分

さらに，LSD 法 (有意水準 5 % 以下) を用いて多重比較を

散値より有意に大きかった．x-RE-RW(MSe = 0.0010)，

行ったところ左腕に関しては，x-LS-LE(MSe = 0.0038)，

y-RE-RW(MSe = 0.0001) において左手首装着時の方が右y-LS-LE(MSe = 0.0002)，x-LE-LW(MSe = 0.0138)，y-

手首，両手首装着時の分散値より有意に大きかった．

LE-LW(MSe = 0.0010) において左手首，両手首装着時

4.1.2 投げる動作の分散値が右手首装着時に比べて有意に大きかった．ま投げる動作について違いがあった被験者 4 名の内，2 名

た，右腕に関しては，x-RE-RW(MSe = 0.0070)，y-RE-の解析結果を報告する．被験者 D に関して，第一著者がRW(MSe = 0.0022) において右手首装着時より左手首，両目視にて映像を解析すると右手首装着時 (図 11(RH)) は手首装着時の分散値の方が有意に大きかった．以下同様に投げ終わった後のフォームにおいて左手が首元まで上が各被験者に対して分析を行う．

り，右手は左手の肘に付くほど上がっている．しかし，被験者 C に関して，第一著者が目視にて映像を解析する

左手首 (図 11(LH)) や両手首装着時 (図 11(BH)) は左手がと右手首装着時 (図 10(RH)) はほとんど左腕が動いていな

胸元までしか上がっておらず，右手の位置も右手首装着

いが，左手首 (図 10(LH)) や両手首装着時 (図 10(BH)) に時より下側に来ていることが分かる．OpenPose で解析

は左腕が大きく動いていた．また，右手首装着時のみジェしたデータを図 11 下に示す．同様の 3 条件で 1 要因分

スチャ途中に左手でスマートフォンを見ていた．OpenPose

散分析を行った結果．x-LS-LE(F(2, 9) = 5.31, p < 0.05),

で解析したデータを図 10 下に示す．同様の 3 条件で 1 要因

y-LS-LE(F(2, 9) = 14.93, p < 0.01), x-LE-LW(F(2, 9) =分散分析を行った結果，x-LS-LE(F(2, 9) = 6.16, p < 0.01),

22.57, p < 0.01), y-LE-LW(F(2, 9) = 2.82, p < 0.10), x-y-LS-LE(F(2, 9) = 3.63, p < 0.05), x-LE-LW(F(2, 9) =RS-RE(F(2, 9) = 10.37, p < 0.01), y-RS-RE(F(2, 9) =6.07, p < 0.01), y-LE-LW(F(2, 9) = 3.30, p < 0.05), x-

3.79, p < 0.05), x-RE-RW(F(2, 9) = 23.24, p < 0.01),

RS-RE(F(2, 9) = 7.63, p < 0.01), y-RS-RE(F(2, 9) =y-RE-RW(F(2, 9) = 8.62, p < 0.01) で 有 意傾 向 お よび

4.73, p < 0.05), x-RE-RW(F(2, 9) = 14.20, p < 0.01), y-

有 意 差 が 見 ら れ た ．さ ら に ，LSD 法 (有 意 水 準 5 % 以

RE-RW(F(2, 9) = 15.89, p < 0.01) で有意差が見られた．

下) を 用 い て 多 重 比 較 を 行 っ た と こ ろ ，左 腕 に 関 し て

さらに，LSD 法 (有意水準 5 % 以下) を用いて多重比較を

は x-LS-LE(MSe = 0.0003)，x-LS-LE(MSe = 0.0000)，

行ったところ左腕に関しては，x-LS-LE(MSe = 0.0005)，

x-LE-LW(MSe = 0.0001) において右手首装着時は左手

y-LS-LE(MSe = 0.0003)，y-LE-LW(MSe = 0.0007) にお首，両手首装着時の分散値より有意に大きかった．y-LE-

いて左手首，両手首装着時の分散値が有意に大きかった．

LW(MSe = 0.0059) においては，右手首装着時の方が両手

x-LE-LW(MSe = 0.0014) において，右手首装着時より両首装着時の分散値より有意に大きかった．右腕に関して

手首装着時の分散値が有意に大きかった．右腕に関して

は，x-RS-RE(MSe = 0.0039)，y-RS-RE(MSe = 0.0005)，© 2021 Information Processing Society of Japan27

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

(RH) 右手首装着時(LH) 左手首装着時

図 12

INT21003
2021/3/10(BH) 両手首装着時投げる動作 (被験者 G)(RH) 右手首装着時

図 13(LH) 左手首装着時(BH) 両手首装着時

物を拾う動作（被験者 E）

x-RE-RW(MSe = 0.0009) において右手首装着時は左手
首，両手首装着時の分散値より有意に大きかった．x-RE-

件で 1 要因分散分析を行った結果，x-LS-LE(F(2, 9) =RW(MSe = 0.0009)，y-RE-RW(MSe = 0.0120) において16.83, p < 0.01), y-LS-LE(F(2, 9) = 10.75, p < 0.01),

は，左手首装着時の方が両手首装着時の分散値より有意に

y-LE-LW(F(2, 9) = 4.51, p < 0.05), x-RS-RE(F(2, 9) =大きく，y-RE-RW(MSe = 0.0120) においては右手首装着

8.41, p < 0.01), y-RS-RE(F(2, 9) = 7.26, p < 0.01), x-

時の方が両手首装着時の分散値より有意に大きかった．

RE-RW(F(2, 9) = 9.03, p < 0.01) で有意差が見られた．

被験者 G に関して，第一著者が目視にて映像を解析す

LSD 法 (有意水準 5 % 以下) を用いて多重比較を行った

ると右手首装着時 (図 12(RH)) は左腕が振り切れている

ところ，左腕に関して x-LS-LE(MSe = 0.0003)，y-LE-

が，左手首 (図 12(LH)) や両手首装着時 (図 12(BH)) は左

LW(MSe = 0.0000) において左手首装着時の方が，右手腕が胸の位置にあることがわかった．OpenPose で解析

首，両手首装着時の分散値より有意に小さかった．y-LS-

したデータを図 12 下に示す．同様の 3 条件で 1 要因分

LE(MSe = 0.0002) において右手首装着時は左手首，両手散分析を行った結果，x-LS-LE(F(2, 9) = 2.82, p < 0.10),

首装着時の分散値より有意に大きかった．右腕に関して

y-LE-LW(F(2, 9) = 3.97, p < 0.05), y-RS-RE(F(2, 9) =は，x-RS-RE(MSe = 0.0025)，y-RS-RE(MSe = 0.0006)，

3.83, p < 0.05) で有意傾向および有意差が見られた．さら

x-RE-RW(MSe = 0.0005) において左手首装着時の方が右に，LSD 法 (有意水準 5 % 以下) を用いて多重比較を行っ

手首，両手首装着時の分散値より有意に大きかった．

たところ，x-LS-LE(MSe = 0.0117) において両手首装着

被験者 K に関して，第一著者が目視にて映像を解析

時の方が右手首装着時の分散値より有意に大きかった．

すると右手首装着時 (図 14(RH)) は 9 回，左手の位置がy-LE-LW(MSe = 0.0012) において両手首装着時の方が右左手首 (図 14(LH)) や両手首装着時 (図 14(BH)) に比べ

手首，左手首装着時の分散値より有意に大きかった．右腕て高い位置にあることがわかった．OpenPose で解析しに関しては，y-RS-RE(MSe = 0.0015) において両手首装たデータを図 14 下に示す．同様の 3 条件で 1 要因分散

着時の方が右手首装着時の分散値より有意に大きかった．

分析を行った結果，y-LE-LW(F(2, 9) = 2.69, p < 0.10),

4.1.3 物を拾う動作

x-RS-RE(F(2, 9) = 7.20, p < 0.01), y-RS-RE(F(2, 9) =物を拾う動作について違いがあった被験者 3 名の内，2 名

5.80, p < 0.05), x-RE-RW(F(2, 9) = 19.81, p < 0.01), y-の解析を報告する．被験者 E に関して，第一著者が目視にRE-RW(F(2, 9) = 23.66, p < 0.01) で有意傾向および有意て映像を解析すると右手首装着時 (図 13(RH)) は 10 回とも差が見られた．さらに，LSD 法 (有意水準 5 % 以下) を用

右手でボールを拾っており，左手首装着時 (図 13(LH)) にいて多重比較を行ったところ左腕に関して有意差は無かっは 10 回とも左手でボールを拾っていた，また，両手首装着

た．右腕に関しては，x-RE-RW(MSe = 0.0001)，y-RE-

時 (図 13(BH) には 10 回とも右手でボールを拾っていた．

RW(MSe = 0.0000) において左手首装着時の方が，右手首，

OpenPose で解析したデータを図 13 下に示す．同様の 3 条

両手首装着時に比べて有意に小さかった．

© 2021 Information Processing Society of Japan28

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21003
2021/3/10

なフィードバックが得られない可能性がある．
次に多く違いが見られたのは，物を拾う動作である．被験者 E では，左手首装着時のみ左手で物を拾っていることが目視にて確認できた．OpenPose の解析結果より，左手
首装着時は右手首，両手首装着時に比べて左肩から左肘の分散値が小さいことが分かる．また，右手首，両手首装着(RH) 右手首装着時(LH) 左手首装着時(BH) 両手首装着時

時は右肩から右肘の分散値が小さいことが分かった．物を拾っている方の腕の分散値が小さくなった理由は，拾っている腕はカメラに対して直線で運動しているため動きの分
散値が小さくなったと考えられることから，目視にて確認
した違いと一致していることが分かる．被験者 K に関しては，左手首，両手首にセンサが装着されると左腕の動きが小さくなることが目視にて確認できた．OpnePose の解析
結果より，目視にて確認できなかったが，右腕に関して右肘から右手首までの分散が左手首装着時のときが一番小さ
く，映像で確認したところ左手首装着時は右腕の動きが変化していることが確認できた．

図 14 物を拾う動作 (被験者 K)

センサ装着場所による動作の違いが多く見られたジェスチャがある一方， 3.2 節で分けたカテゴリ 1, 2 においては

4.2 考察違いがほとんど見られなかった．理由としては，個人で動それぞれのジェスチャについて考察する． 3.2 節より本きのパターンが決まっているため違いの数が少なかった考をめくる動作は IADL であり，4 つのカテゴリ内の 4 つ目

えられる．カテゴリ 3 のボタンを押す動作で違いが見られである「意識によらず毎回動作が変わりそうなジェスチャ」

なかったのは，ボタンを押すまでに歩く動作を挟んだことの分類に入っているため，意識によらず毎回動作が変化しによってボタンを押すまでの時間が長くなったためセンサていると考えられるが，被験者によってはセンサを意識しへの意識が薄れ，利き手で押していたと考えられる．

た行動も見られた．例えば，被験者 C や E はセンサ装着

上記の結果より，センサを装着することによる影響が表をした腕でページをめくっていることからセンサを意識しれる人が存在し，ホーソン効果を含む機器装着バイアスのた動きになっていると考えられる．同じカテゴリに入って影響が見られた．そのため，今までのセンサを用いた実験

いる掃除機をかける動作に関してはランダムな動作が多い

環境における行動認識やスポーツにおけるスキル評価におため，目視による変化はあまり見られなかった．

いてセンサ装着自体の影響を考慮する必要があると考えら

ラケットを振る動作は 4 つのカテゴリの内の三つ目であれる．例えば，特定の部位にだけセンサをつけて評価してる「意識の違いで動作が変わりそうなジェスチャ」に分類

いるような研究はその結果の信頼性が足りない可能性が高されており，被験者がセンサを意識したことで行動が変化

い．センサ装着の影響は受けやすい被験者とそうでない被したと考えられる．被験者全員が右手でラケットを振って験者がいたため，被験者によってセンサ装着に対する影響

おり，センサ装着によってラケットを持っていない左手のの大きさには，個人差があると考えられる．

動きに違いが主に見られた．特に被験者 A と C に関して

また，違いが出やすいジェスチャに関しては本をめくる

は，OpenPose の解析結果からも左手首にセンサを取り付動作やラケットを振る動作，投げる動作など物を用いて行けられると左腕全体の動作が大きくなっていることが見らうジェスチャに関して出やすいことがわかった．本実験でれたことから，目視にて見られた違いと一致している．

はセンサ装着無しのパターンを行わなかったが，片腕のみ

次に投げる動作について違いが見られた被験者についてのセンサ装着の影響を見る際には，装着無しのパターンも説明する．被験者 D に関して，OpnePose の解析結果より，必要になると考えられる．今後は説明を考えた上で装着

右手首と左手首，両手首装着時の間に有意な差が全体を通パターンの最初に行うなどし，実験する予定である．さらして表れているので，目視にて確認した違いと一致していに，本論文では目視によって違いが確認できたジェスチャ

る．被験者 G に関して，OpenPose の解析結果より左腕のに絞って定量的な評価を行ったが，今後は目視では見られy-LE-LW において，右手首装着時よりも両手首装着時のなかった動作に対して定量的な解析を行う予定である．

分散値が大きいことから，目視による違いと一致している

この効果をなくすためにどのような考慮が必要かということが分かった．センサ装着によって，被験者のように投ガイドラインに関しても今後考えていく必要がある．例えげる動作が変化すると，投球フォームが崩れてしまい最適

ば，どのような実験を行う際であってもセンサを全身にく© 2021 Information Processing Society of Japan29

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21003
2021/3/10

まなく装着することで部位の動作の偏りはなくすことができると考えられる．また，映像からの解析で十分な場合，
ウェアラブルセンサは利用せず，小型のカメラ等を用いて[7]あまり意識をさせずにデータを取得するといった工夫が有効である可能性がある．このような実験結果と考察をまと[8]めることで，動作解析実験を行う際にホーソン効果を含む[9]

機器装着バイアスを生じさせないためのガイドラインを作成する予定である．

[10]

5. まとめ本研究では，センサを装着すること自体が被験者のジェ[11]

スチャ軌跡に与える影響を調べるため，センサ装着場所を変えながら被験者の動作を計測する実験を行った．調査の[12]

結果，センサ装着の影響が現れる被験者が存在し，ホーソン効果を含む機器装着バイアスの影響が見られた．違いが現れた例としては，装着した腕の動きが大きくなることや，[13]

装着した腕で物を拾う，本のページをめくるといった違い
が目視にて確認できた．目視によって違いが確認できた動作に対して OpenPose による解析をした結果，目視によっ[14]て見られた違いと概ね一致していた．よって，センサを用いた実験においてはセンサ装着による機器装着バイアスの影響を考えなければならないことが明らかになった．

[15]

この結果は，これまでの数多くの動作計測研究の評価における信頼性に疑問を投げかけるものであり，動作計測実験において考慮しなくてはいけない新たな要素を示した貴[16]

重なものであると考える．今後のさらなる調査により，正しい動作計測実験を行うためのガイドライン作成が行える可能性がある．また本結果は，これまでの動作計測研究の[17]

信頼性の格付けを行うような利用方法も考えられる．
謝辞

本研究の一部は，JST CREST（JPMJCR16E1，

JPMJCR18A3）の支援によるものである．ここに記して謝意を表す．
参考文献
[1]
[2]

[3]

[4]

[5]

[6]

F. Roethlisberger and W. Dickson: Management and theWorker, Harvard Univ. Press (July 1939).
宇佐美恵: 看護ケアにおける手指衛生行為改善を目的とした教育プログラムの効果の検討, 環境感染, Vol. 22, No. 1,
pp. 46–51 (Mar. 2007).
平出 敦, 石見 拓ほか: 蘇生データの記録集計過程におけるホーソン効果に関する検討, 科学研究費補助金研究成果
報告書, pp. 1–5 (Jan. 2010).
増田大輝, 田坂和之, 大岸智彦, 小花貞夫: ウェアラブル
センサを用いたテニス上達支援システムの提案と考察, 第76 回全国大会講演論文集, Vol. 2014, No. 1, pp. 91–92(Mar. 2014).
齋藤健治, 井上一彦, 井上伸一: 加速度センサにより計測した野球投球時の体幹および前腕の運動と投球スピードとの関係, 人間工学, Vol. 48, No. 1, pp. 40–47 (Feb. 2012).
N. Ravi, N. Dandekar, P. Mysore, and M. L. Littman:
Activity Recognition from Accelerometer Data, Proc.
of the American Association for Artifcial Intelli-© 2021 Information Processing Society of Japan

[18]

[19]

[20]

[21]

[22]

gence(AAAI), Vol. 5, No. 2005, pp. 1541–1546 (July
2005).
R. Rosenthal and L. Jacobson: Pygmalion in the Classroom, Journal of the Urban Review, Vol. 3, No. 1, pp.
16–20 (Sep. 1968).
大橋昭一, 竹林浩志: ホーソン実験の研究: 人間尊重的経営の源流を探る, 同文舘出版 (Sep. 2008).
井上健治, 大沢啓子, 亀谷秀樹, 佐々木正宏, 渡辺孝憲: 教師の期待効果に関する研究, 東京大学教育学部紀要, Vol. 17,
pp. 59–76 (Feb. 1978).
R. McCarney, J. Warner, S. Iliﬀe, R. Van Haselen, M.
Griﬃn, and P. Fisher: The Hawthorne Eﬀect: A Randomised, Controlled Trial, Journal of BMC Medical Research Methodology, Vol. 7, No. 1, p. 30 (July 2007).
多賀谷昭: 看護研究における介入効果の検証方法, 長野県
看護大学紀要, Vol. 16, pp. 13–23 (Mar. 2014).
L. Bao and S. S. Intille: Activity Recognition from UserAnnotated Acceleration Data, Proc. of the International
Conference on Pervasive Computing, Springer, pp. 1–17
(Apr. 2004).
S. Slawson, L. Justham, A. West, P. Conway, M. Caine,and R. Harrison: Accelerometer Proﬁle Recognition of
Swimming Strokes, Journal of Engineering of Sport,
Vol. 7, pp. 81–87 (June 2008).
鳥越庸平, 高田将志, 中村優吾, 藤本まなと, 荒川 豊, 安
本慶一, 陳成, 前川卓也, 天方大地, 原隆 浩: 剣道上達支援のための IMU を用いた打突動作認識, 研究報告モバイ
ルコンピューティングとパーベイシブシステム (MBL),
Vol. 2019, No. 37, pp. 1–7 (Feb. 2019).
出田 怜, 村尾和哉, 寺田 努, 塚本昌彦: 加速度センサによるジェスチャの早期認識手法の提案とその応用, 研究報告
マルチメディア通信と分散処理 (DPS), Vol. 2014, No. 15,
pp. 1–7 (May 2014).
N. Kern, B. Schiele, and A. Schmidt: Multi-Sensor Activity Context Detection for Wearable Computing, Proc.
of the European Symposium on Ambient Intelligence,
pp. 220–232 (Nov. 2003).
U. Maurer, A. Smailagic, D. P. Siewiorek, and M.
Deisher: Activity Recognition and Monitoring Using
Multiple Sensors on Diﬀerent Body Positions, Proc.
of the International Workshop on Wearable and Implantable Body Sensor Networks (BSN), pp. 113–116(Apr. 2006).
村尾和哉, 寺田 努: 指示の具体度がジェスチャ動作に与える影響の評価, 研究報告ユビキタスコンピューティングシ
ステム (UBI), Vol. 2011, No. 6, pp. 1–8 (May 2011).
E. M. Tapia, S. S. Intille, W. Haskell, K. Larson, J.
Wright, A. King, and R. Friedman: Real-Time Recognition of Physical Activities and Their Intensities Using Wireless Accelerometers and a Heart Rate Monitor,
Proc. of the 11th IEEE International Symposium on
Wearable Computers, pp. 37–40 (Oct. 2007).
倉沢 央, 川原圭博, 森川博之, 青山友紀: センサ装着場所を考慮した 3 軸加速度センサを用いた姿勢推定手法, 情報処理学会研究報告ユビキタスコンピューティングシステ
ム (UBI), Vol. 2006, No. 54 (2006-UBI-011), pp. 15–22(May 2006).
大内一成, 土井美和子: スマートフォンを用いた生活行動
認識技術, 東芝レビュー, Vol. 68, No. 6, pp. 40–43 (Mar.
2013).
Z. Cao, G. Hidalgo Martinez, T. Simon, S. Wei, and
Y. A. Sheikh: OpenPose: Realtime Multi-Person 2D
Pose Estimation using Part Aﬃnity Fields, Journal ofIEEE Transactions on Pattern Analysis and MachineIntelligence.

30