身体動揺に含まれる高周波成分の可視化のための運動拡大を用いた映像生成
我那覇 航 ∗∗ ，神谷 卓也 ∗∗ ，西山 正志 ∗∗ ，岩井 儀雄 ∗∗Video Generation using Motion Magniﬁcation for Visualization of High-frequency Components in Body Sway
Wataru GANAHA, Takuya KAMITANI, Masashi NISHIYAMA, and Yoshio IWAI
We propose a method for temporally enhancing the high-frequency components of video sequences with no artifacts toobserve the micromovement of the human body. The existing methods of video motion magniﬁcation cause severe artifacts
in the enhanced video sequence because the temporal micromovement and the spatial appearance of a subject are not stably
separated from the input video sequence. When the observer views the enhanced video sequence with severe artifacts, theycannot fully check the high-frequency components of body sway. Here, we assume that the temporal micromovement
is the same among all pixels contained in the subject’s head. Our method stably separates the video sequence into thetemporal micromovement and the spatial appearance. Then, our method ampliﬁes the high-frequency components of thetemporal micromovement. The experimental results show that our method enhanced the video sequence of body sway
with no artifacts. We conﬁrmed that the high-frequency components were viewed in the enhanced video sequence. We
also visualized the reason for success or failure in baggage weight classiﬁcation using the video sequence of body sway as
an application of our method.
Key words: video motion magniﬁcation, body sway, visualization, high-frequency components, temporal micromovement.

1.

はじめに

立つ姿勢の人物において，意識的に抑えようとしても自然にものの，頭上カメラから記録される映像において，その高周波成分は低周波成分に比べて非常に微弱である．このため，高周波成分を人間が映像から直接観察することは一般的に難しい．

発生する身体動揺 1, 2) と呼ばれる現象が存在する．身体動揺を微小移動に含まれる高周波成分を, どのようにすれば人間が観察するため，足元の圧力センサ 3, 4, 5) で記録された信号が，映像から観察できるかを考える．このためのアプローチとし一般的に利用されている．このセンサにより，身体が僅かに移て，映像運動拡大 11) を適用することが挙げられる．ここで述

動する方向，および，その移動の幅が各時刻で記録される．本

べる映像運動拡大では，映像を，対象物の微小移動と見え方と論文では，これら方向と幅とが時系列に変化する様を，微小移に分離する．次に，微小移動に含まれる高周波成分において，動と呼ぶ．近年では，圧力センサではなく頭上カメラ 6, 7, 8) で対象物の移動幅を増大し，微小移動と見え方とを映像として統記録された映像も利用されている．この頭上カメラにより，身合する．映像運動拡大の既存手法 12, 13) として文献が提案され体の微小移動のみならず，身体そのものの見え方を含む映像がている．ただし，これらの既存手法では，映像を微小移動と見記録される．頭上カメラは圧力センサとは異なり，身体動揺をえ方とに安定して分離することが難しく，微小移動の高周波成映像として人間が直接観察できる利点がある．本論文では頭上分を強調した場合，得られる映像にアーチファクトが発生す

カメラを利用することで，身体の微小移動を含む映像を観察す

る．映像中のアーチファクトによって，微小移動の高周波成分るものとして議論を進める．

を，人間が映像から視覚的に観察しにくくなる課題があった．

頭上カメラで記録された映像中の微小移動は，主に 3 Hz 以

そこで本論文では，身体動揺の映像を対象として，被写体の下の周波数成分 5) で構成されていることが知られている．圧力

頭領域の微小移動に含まれる高周波成分を，アーチファクトをセンサで記録された信号中の微小移動も，同様の周波数成分 2)

発生させずに強調する手法について述べる．本研究のねらいをで構成されていることが知られている．身体の微小移動におけ

図 1 に示す．提案手法では，頭領域に含まれる全ての画素にる 3 Hz 以下の周波数成分の中で，2 Hz から 3 Hz に該当する

おいて，微小移動の方向が同じになり，かつ，その幅が同じに

高周波成分は様々な分野で特に重要とされている．医療分野のなると仮定する．頭上カメラから記録される映像中の頭領域を文献 9) では，平衡障害が微小移動の高周波成分に影響するこ微小移動と見え方とへ安定に分離し，微小移動の幅のみを増大とが報告されている．また，パターン認識分野の文献 10) では，することで，映像運動拡大を行う．実験において，既存手法で手荷物の重量が微小移動の高周波成分に影響することが報告さ発生するアーチファクトが，提案手法では発生しないことを確れている．ただし，微小移動の高周波成分は重要とされている

認し，高周波成分を映像から観察できることを確認した．さらに提案手法の応用として，身体動揺を用いた手荷物の軽重認識∗∗∗∗

原稿受付 令和 4 年 5 月 13 日
掲載決定 令和 4 年 8 月 31 日
鳥取大学大学院工学研究科 (鳥取市湖山町南 4 丁目 101)

における成功・失敗の理由の可視化に利用できる可能性を示した．以下では，2. で関連研究を述べ，3. で提案手法について述
べ，4. で実験結果について述べる．最後に，5. でまとめる．

Time

Overheadcamera系列信号を，時間方向にフィルタリングすることで，対象物の微小移動を捉える．三つ目は，ニューラルネットワークを用い...

たアプローチ 13, 21) である．このアプローチでは，映像の分離
Difficultto observehighfrequency

Head video sequence
1. Separate video sequence into
the micromovement and appearance
2. Enhance high-frequency componentsof the micromovementの画像ペアをネットワークへ入力する．エンコーダで特徴を抽出し，学習可能な空間分解フィルタを用いることで，微小移動を表す特徴マップと，見え方を表す特徴マップとに分離する．
微小移動に対応する特徴マップをマニピュレータで増大し，見え方に対応する特徴マップと合わせてデコーダで映像を生成す

Body sway

る．ただし，これらの手法 17, 18, 12, 19, 20, 13, 21) で映像を安定して...
Enhanced video sequence with no artifacts
Fig. 1を目的とするネットワークを利用する．ある時刻と次の時刻とEasy
to observehighfrequency

We consider how to observe the high-frequency components
in the head’s micromovement acquired from an overheadcamera. Our method separates a video sequence into thetemporal micromovement and the spatial appearance. Then,
our method enhances only the high-frequency componentsof the micromovement for generating a video sequence withno artifacts.

分離することは難しく，アーチファクトが発生する．提案手法
では，頭上カメラから記録される身体動揺に特化することで，アーチファクトを発生させずに強調することをねらう．

3. 提案手法
3.1

概要

提案手法では，身体の微小移動に含まれる高周波成分を人間が観察しやすくするために，その高周波成分のみが強調された映像を生成する．頭上カメラの視野内には被写体の頭や肩が存在するが，微小移動の幅が最も大きい頭領域を観察の対象とす

2. 関連研究る．提案手法では，ある時刻における頭領域に含まれる全ての2.1 身体の微小移動に含まれる高周波成分に関する知見同じになると仮定し，頭領域のみの映像において，微小移動の

身体の微小移動の高周波成分に関する文献について述べる．

高周波成分を強調する．提案手法は，以下の手続きからなる．

画素において，微小移動の方向が同じになり，かつ，その幅が医療分野の文献 9, 14, 15, 16) では，いくつかの条件下において，微小移動の高周波成分に重要な手掛りが表れることが報告されている．具体的な例として，文献

9)では，平衡機能に関わる前庭小脳系障害の有無により，2.5 Hz を中心とする高周波成分に手掛りが表れることが報告されている．関連するものとして，文献 14) では，小脳障害の有無によって，3.0 Hz 付近の高周波成

初期化
身体動揺の映像中から被写体の頭領域を抽出する．頭領
域以外の領域は除去される．

P1: 分離頭領域が抽出された映像を，微小移動と見え方とに分離すでは，受る．その際，各時刻における頭領域の中心位置を利用す

容体拮抗薬の服用の有無により，2.25 Hz よりも高い帯域の周る．初期時刻における中心位置から，各時刻における中心

分に手掛りが表れることが報告されている．文献

15)

波数成分に手掛りが表れることが報告されている．他にも，文献

16)

では，被験者が感じる不安の程度によって，2.02 Hz よりも高い帯域の周波数成分に手掛りが表れることが報告されている．さらにパターン認識分野の文献

10)

では，立つ姿勢の被験者が手に持っている荷物の重量により，2.0 Hz よりも高い帯位置までのベクトルが，各時刻における移動の方向と幅となる．微小移動は，この方向と幅とを時系列に並べた信号となる．見え方は，各時刻において微小移動の方向と幅を除去した画像となる．

P2: 強調域に含まれる高周波成分に手掛りが表れることが報告されてい映像から分離された微小移動の高周波成分を強調する．

る．このように，微小移動に含まれる周波数成分の中で，2 Hz

微小移動を表す時系列信号にバンドパスフィルタを適用

から 3 Hz に該当する高周波成分が重要であるという知見が得られている．提案手法では映像運動拡大を行うことで，微小移動の高周波成分に表れる手掛りを，人間が映像から直接観察しやすくすることをねらう．

2.2 映像運動拡大の既存手法
運動拡大を用いて映像を生成する既存手法について述べる．
微小移動に含まれる高周波成分を強調するため，1. で述べたように，対象物の微小移動と見え方とに，映像を分離する必要がある．このために，三つのアプローチが存在する．一つ目は，Lagrangian 型のアプローチ 17) である．このアプローチでは，映像中の対象物に属する画素の集合が，対象物の見え方とし高周波成分を取り出し，高周波成分のみとなった時系列
信号において，その幅を増大する．

P3: 統合各時刻における微小移動の高周波成分と見え方とを画像に統合する．頭領域の見え方そのものを，微小移動の方向
へ，P2 で増大された幅だけ平行移動させる．
P4: 補助輪郭
各時刻における微小移動の高周波成分が強調された画像に，初期時刻の補助輪郭を合成する．補助輪郭と頭領域輪郭との間のずれが，微小移動の幅と方向とを視覚的に表している．

なる．また，それらの画素から計算されるオプティカルフロー

手続き P1 から P3 では，頭領域の中心位置の平行移動というシが，対象物の微小移動となる．二つ目は，Eulerian 型のアプ

ンプルな操作によって微小移動の高周波成分を強調するため，

18, 12, 19, 20)である．このアプローチでは，Lagrangian 型

統合された画像中にアーチファクトは発生しない利点がある．

とは異なり，映像の各時刻において空間方向の周波数変換を行

また手続き P4 では，補助輪郭を用いることで，微小移動の高うことで，対象物の見え方を捉える．空間周波数に対応する時

周波成分における幅の大小や方向を，人間が観察しやすい利点

ローチ

P1: Separation

Head movementT
direction and width 1
Time 𝑡(𝑔𝑥 𝑡 , 𝑔𝑦 𝑡 )

1

T

1

Time 𝑡T

T

1Time 𝑡1

T

High-frequency
components
Enhancedvideo sequencewith auxiliary contour

Head appearance
image 𝑰(1)𝒮 = 𝑺 𝑡 𝑡 = 1, ⋯ , 𝑇

Enhanced
image 𝑺෠ 𝑇

Head appearance
image 𝑰(𝑇)

Fig. 2

TimeT

Enhanced
image 𝑺෠ 1

Appearance
Headvideo sequenceTime𝑔ො𝑥 (𝑡)𝑔෤𝑥 (𝑡)𝑔෤𝑦 (𝑡)T

Body sway

contour

Amplifying
1

𝑔𝑥 (𝑡)

Original
video sequence

P4: Auxiliary

P3: Integration

1𝑔𝑦 (𝑡)Time

Time

Bandpass

Micromovement

T

P2: Enhancement𝑔ො𝑦 (𝑡)Initialization
Time 1𝒮ሙ = 𝑺ෘ 𝑡 𝑡 = 1, ⋯ , 𝑇

We generate a video sequence for temporally enhancing high-frequency components with no artifacts for observing the head’s micromovement.
In initialization, we extract the head video sequence from the original video sequence of body sway. In P1, we separate the head video sequence
into the spatial appearance and the temporal micromovement of the subject’s head. In P2, we only enhance the high-frequency components ofthe temporal micromovement. In P3, we integrate the head appearance and the enhanced micromovement into the image of each time point. In
P4, we add the auxiliary contour to the output video sequence.

がある．提案手法の概要を図 2 に示す．以下では，各手続きのまる．

i(x′ , y ′ , t) = s(x − cx (t), y − cy (t), t)

詳細を述べる．

(3)

3.2 映像の初期化

ここで，s(x, y, t) は，画像 S(t) における座標 (x, y) の画素値を初期化では，頭上カメラで記録された映像から頭領域を抽出表す．なお，I(t) における原点は画像の中心位置であり，S(t)する．微小移動の幅が最も大きい頭領域を取り出すため，肩領における原点は画像の左上位置である．各時刻 t = 1, · · · , T

域と床領域を映像から除去する．具体的には，身体動揺の映像

において，式 (3) の処理から得た画像 I(t) が，頭領域の見え方の各時刻において RGB 値を用いた閾値処理を適用する．頭領となる．

域が抽出された映像 S を式 (1) で表す．

S = {S(t) | t = 1, · · · , T }

3.4
(1)

微小移動に含まれる高周波成分の強調

手続き P2 では，微小移動に含まれる高周波成分を取り出し，強調するための操作を行う．まず，(gx (t), gy (t)) の時系列信

ここで，S(t) は頭領域映像 S の時刻 t における画像である．

号に含まれる高周波成分を取り出すために，その時系列信号を

3.3 映像を微小移動と見え方とに分離

周波数成分に変換した後，バンドパスフィルタを適用する．具手続き P1 では，頭領域映像 S を，各時刻における頭領域

体的には，移動幅 gx (t) の時系列信号に時間方向の離散フーリの中心位置を用いて，微小移動と見え方とに分離する．まず，

エ変換を適用し，周波数成分 Gx (f ) に変換する．同じ処理を

各時刻の S(t) から頭領域の移動方向と移動幅とを微小移動

gy (t) の時系列信号にも適用する．なお，gx (t) と gy (t) とは独立であると仮定する．帯域指定された周波数成分を G̃x (f )，および，G̃y (f ) とし，式 (4) で表す．

として取り出す．S(t) における頭領域の中心位置の x 成分を

cx (t)，y 成分を cy (t) とする．初期時刻 t = 1 における中心位
置から，各時刻における中心位置までのベクトル (gx (t), gy (t))
を，移動方向と移動幅とする．gx (t) と gy (t) とは式 (2) から求G̃x (f ) = B(f )Gx (f )G̃y (f ) = B(f )Gy (f )まる．

gx (t) = cx (t) − cx (1)gy (t) = cy (t) − cy (1)(4)

ここで，B(f ) を [fl , fh ) Hz の周波数帯域を通すバンドパス(2)フィルタとし，式 (5) で表す．


1 (fl ≤ f < fh ),B(f ) =
0 otherwise.

各時刻における gx (t) と gy (t) とを，t = 1 から t = T まで並
べた時系列信号が，頭領域の微小移動となる．
次に，頭領域映像 S から見え方を求めるために，各時刻のS(t) について，時刻間で生じる中心位置の変動を取り除く．
S(t) の画素値を画像平面上で平行移動させ，頭領域の見え方
画像 I(t) を生成する．時刻 t の画像 I(t) における座標 (x′ , y ′ )の画素値を i(x′ , y ′ , t) とすると，その画素値は式 (3) から求(5)[fl , fh ) Hz で指定された G̃x (f ) を時間領域に戻すために，逆離散フーリエ変換を適用し，移動幅 g̃x (t) の時系列信号に変換する．同じ処理を G̃y (f ) にも適用し，移動幅 g̃y (t) の時系列信号に変換する．

次に，微小移動における移動幅を増大するための操作を行う．ここでは，先ほどのバンドパスフィルタを経て得られた

g̃x (t)，g̃y (t) を増大するために，高周波成分が強調された微小移動を表す ĝx (t), ĝy (t) を式 (6) で求める．
ሙ(a) Example of 𝑺
𝑆(𝑡)ĝx (t) = αg̃x (t)ĝy (t) = αg̃y (t)(6)

ここで，α を，強調の強さを制御するパラメータとする．α を大きく設定することで，各時刻における移動幅がより大きく増大される．

3.5 微小移動と見え方とを映像に統合
手続き P3 では，頭領域の見え方画像 I(t) を画像平面上で

Large

平行移動させ，微小移動の高周波成分と見え方とを画像 Ŝ(t)Small(b) Width of head’s movementに統合する．時刻 t の画像 Ŝ(t) における座標 (x, y) の画素値ŝ(x, y, t) は，式 (7) から求まる．
′

Front
′

ŝ(x, y, t) = i(x + cx (1) + ĝx (t), y + cy (1) + ĝy (t), t)(7)

ここで i(x′ , y ′ , t) は，3.3 で述べたように，頭領域の見え方を表す画像 I(t) における座標 (x′ , y ′ ) の画素値である．画像 Ŝ(t)における原点は，その画像の左上位置である．強調された微小

Left

Right

移動と見え方とが統合された画像 Ŝ(t) では，帯域指定された周波数成分の微小移動のみが含まれており，その成分が増大されている．

3.6 補助輪郭の合成

Back(c) Direction of head’s movement

強調された高周波成分を含む微小移動において，その幅の大小や，方向の違いをわかりやすくするため，手続き P4 では映像に加工を加える．具体的には，手続き P3 で生成された各時刻の画像 Ŝ(t) に，補助輪郭を合成する．補助輪郭が合成された画像 Š(t) の例を図 3(a) に示す．図中の赤色の線が補助輪郭である．画像 Š(t) では，補助輪郭と頭領域輪郭との間のずれが，微小移動の幅と方向とを視覚的に表している．輪郭間のずFig. 3In (a), we show the images with the auxiliary contour. In (b),when the width of the head’s movement is ampliﬁed, the gap
size between the auxiliary contour and the head region contour changes. In (c), when the direction of the head’s movement is different, the direction from the auxiliary contour tothe head region contour changes.

れの大きさは，微小移動の幅に該当する．微小移動の幅が増減したときに，ずれの大きさが変化する例を図 3(b) に示す．一方，輪郭間のずれの方向は，微小移動の方向に該当する．微小することが挙げられる．もちろん信号処理の知識を持つ人間であれば，微小移動の時系列信号から，高周波成分で何が生じて移動の方向が異なるときに，ずれの方向が変化する例を図 3(c)いるかを観察できる．ただし，信号処理の知識を持たない人間に示す．補助輪郭が合成されている画像 Š(t) では，補助輪郭であっても，身体の微小移動に含まれる高周波成分を観察したが合成されていない画像 Ŝ(t) に比べて，微小移動の高周波成い場面は存在すると考える．例えば，医療分野において，身体分における幅の大小や方向の違いを，人間が視覚的に観察しやすいという利点がある．
補助輪郭として，頭領域映像 S の初期時刻 t = 1 における画動揺に関する症状について，医師が患者へ説明する場面で，患者が自身の症状を観察しやすくするため，提案手法を適用できる可能性があると考える．

像 S(1) の頭領域の輪郭を用いる．この補助輪郭の上に，各時微小移動の時系列信号を人間が観察する場合と，微小移動の刻の Ŝ(t) を重ね合わせることで，Š(t) を生成する．全ての時

映像を人間が観察する場合において，利点と欠点を考察する．

刻 t = 1, · · · , T における Š(t) から構成される映像を Š とし，その映像を式 (8) で表す．

Š = {Š(t) | t = 1, · · · , T }時系列信号において，信号処理の知識を適用できれば，微小移動に含まれる高周波成分を厳密に観察できる利点がある．一(8)方，信号処理の知識を適用できなければ，時系列信号で何が生じているかをそもそも観察できない欠点がある．映像では，信Š は，身体の微小移動に含まれる高周波成分のみが強調された

号処理の知識を適用できなくとも，微小移動に含まれる高周波映像であり，かつ補助輪郭が合成されている．この映像から高成分を表す頭の動きを，目視で直接観察できる利点がある．一周波成分を人間が視覚的に観察しやすいという利点がある．

方，映像上では高周波成分の微小移動が数値で表現されていな

3.7 映像による可視化の応用

いため，動きの厳密な度合を観察できない欠点がある．このよ

提案手法の目的は，3.1 で述べたように，身体の微小移動にうにそれぞれ利点と欠点が存在するが，本論文では，信号処理含まれる高周波成分を，映像から観察しやすくすることであの知識を持たない人でも，身体の微小移動に含まれる高周波成る．想定する応用として，信号処理の専門知識を持たない人間分を観察しやすくすることを目指し，映像による可視化を設計

が，多くの説明を受けることなく，高周波成分を映像から観察している．

Overhead camera

Participant

Landmark30

𝑔𝑦 (𝑡)

𝑔𝑥 (𝑡)

30
0

120

2.5 m

-30
1

120

360

120
240
Time 𝑡Time 𝑡(b) Low frequency [0.0, 1.0) Hz

360

The setting of an overhead camera and a standing participant.

30𝑔෤𝑦 (𝑡)30𝑔෤𝑥 (𝑡)1.8 m(a) All frequency

2.8 m

Fig. 4

360

-30
1

240
Time 𝑡Time 𝑡

240

0

0

-30
1

120

240

360

-30
1

4.1.1 実験条件
提案手法により，頭領域の微小移動の高周波成分を強調する

30𝑔෤𝑦 (𝑡)4.1 提案手法による映像運動拡大の基本性能𝑔෤𝑥 (𝑡)

30

4. 実験

0

-30
1

0

120

実験を行った．以下では，次の項目を確認した．

0

-30
240
360
1
120
240
Time 𝑡Time 𝑡(c) Middle frequency [1.0, 2.0) Hz

30

360

30

成分に比べて非常に微弱であり，強調なしでは人間が視覚的にほぼ観察できない．
項目 2

0

-30
1

身体動揺の映像において，微小移動の高周波成分を強調した場合，強調しない場合に比べて，高周波成分を人間が視覚的に観察しやすい．

𝑔෤𝑦 (𝑡)身体動揺の映像において，微小移動の高周波成分は低周波

𝑔෤𝑥 (𝑡)項目 1

Fig. 5

120

0

-30
240
360
1
120
240
Time 𝑡Time 𝑡(d) High frequency [2.0, 3.0) Hz

360

We show the time-series signals of the head’s micromovement. In (a), gx (t)，gy (t) contain all frequency components. In (b), (c), and (d), g̃x (t), g̃y (t) contain only speciﬁcfrequency components passed through the bandpass ﬁlters.

身体動揺の映像を人間が観察するときに，その映像に含める周波数帯域の成分を以下で設定した．

• 全周波成分• [0.0, 1.0) Hz の低周波成分• [1.0, 2.0) Hz の中周波成分• [2.0, 3.0) Hz の高周波成分
身体動揺の撮影環境を図 4 に示す．撮影中に，直立姿勢 (ロン

映像を生成した．なお本論文では，提案手法で生成された映像を，人間が観察することを想定している．ただし，映像中の全ての時刻の画像を掲載することは，紙面の都合によりできないため，ここでは映像から抜粋した一部の画像を掲載した．提案手法により生成された映像 Š のフレームレートを算出した．その時系列信号を図 5(a) に示す．縦軸は微小移動

30 fps とした．その映像の時間長を 12 秒とした．よって，時刻は t = 1 から t = T = 360 であった．図 6 の 4 枚の画
像 Š(t) は，映像 Š から時間方向に 4 秒間隔で取り出された
t = 1, t = 120, t = 240, t = 360 のものとした． 図中の (a) は，
微小移動の全周波成分を含む映像である．(b) は，微小移動の[0.0, 1.0) Hz の低周波成分のみを含む映像である．(c) は，微小移動の [1.0, 2.0) Hz の中周波成分のみを含む映像である．(d)は，微小移動の [2.0, 3.0) Hz の高周波成分のみを含む映像である．ただし，図中の (a) から (d) は，式 (6) の α を 1 とした提の各成分の大きさを表し，横軸は時刻を表し，その時刻の範案手法で生成された映像であり，帯域指定はされているものの

囲は t = 1 から t = T = 360 である．図中の (b) は，手続き

周波数成分は強調されていない．図中の (a) から (d) の結果をP2 のバンドパスフィルタを適用することで，[0.0, 1.0) Hz の低周波成分のみとなった g̃x (t), g̃y (t) の時系列信号である．同様に，(c) は [1.0, 2.0) Hz の中周波成分のみとなった g̃x (t), g̃y (t)の時系列信号，(d) は [2.0, 3.0) Hz の高周波成分のみとなったg̃x (t), g̃y (t) の時系列信号である．

生成するとき，3.6 で述べた補助輪郭を赤線で合成した．具体

ベルグ肢位) を保つように被験者に指示した．また，被験者の足元から 2.8 m 離れた印に視線を向けるように指示し，顔向きの変化を抑制した．床から頭上カメラの距離を 2.5 m とした．身体動揺の映像の解像度を，600×600 画素とした．映像の撮影時に，カメラのフレームレートを 30 fps とした．撮影
した映像の時間長を 12 秒とした．撮影された映像から，提案
手法の手続き P1 の式 (2) を用いて，微小移動 gx (t)，gy (t) を的には，全ての画像で，同じ位置に同じ補助輪郭 (時刻 t = 1の頭領域輪郭) を重ね合わせた．
まず，微小移動の全周波成分，または，低周波成分を含む映像を可視化した結果について述べる．図 6(a) の時刻 t = 1 を

4.1.2 項目 1 の評価

見ると，仕様通りに補助輪郭と頭領域輪郭とが完全に一致し提案手法により生成された映像 Š の一部を図 6 に示す．

ていた．一方，図中の (a) の時刻 t = 120，t = 240，および，

ここでは，帯域指定された周波数成分のみの微小移動を含む

t = 360 において，補助輪郭と頭領域輪郭との間に，ずれが𝑡 = 240

𝑡 = 36050

50𝑔ො𝑦 (𝑡)𝑡 = 120𝑔ො𝑥 (𝑡)

𝑡=1

0

-50
1

120

(a) All frequency
𝑡 = 240𝑡 = 360

0120

𝑡 = 360𝑡 = 240𝑡 = 360

Fig. 7240
Time 𝑡

360

120

240
Time 𝑡

360

120

240
Time 𝑡

360

0

-50
360
1
(b) 𝛼 = 100500(c) Middle frequency [1.0, 2.0) Hz
𝑡 = 120

240

50

-50
1

𝑡=1

Time 𝑡𝑔ො𝑦 (𝑡)𝑡 = 240𝑔ො𝑥 (𝑡)𝑡 = 12012050(b) Low frequency [0.0, 1.0) Hz
𝑡=1

-50
1

(a) 𝛼 = 1

50

-50
1

360

𝑔ො𝑦 (𝑡)𝑡 = 120𝑔ො𝑥 (𝑡)𝑡=1Time 𝑡

240

0

120

Time 𝑡

240

0

-50
360
1
(c) 𝛼 = 200

We show the time-series signals of ĝx (t), ĝy (t) by enlarging
the high-frequency components in the head’s micromovement. (a) α = 1, (b) α = 100, and (c) α = 200 were
used.

(d) High frequency [2.0, 3.0) Hz

Fig. 6

In (a), we show a part of the video sequence containing all
frequency components in the head’s micromovement. In (b),(c), and (d), we show a part of the video sequences containing speciﬁc frequency components passed through the bandpass ﬁlters.

生じていた．このずれは，(b) の時刻 t = 120，t = 240，および，t = 360 でも，(a) とほぼ同じ大きさで，ほぼ同じ方向に生じていた．この結果より，微小移動の全周波成分の大部分を，[0.0, 1.0) Hz の低周波成分が占めていることが可視化されたと言える．これは，身体の微小移動に含まれる周波数成分は直流付近が支配的になるという文献 2) の知見との関連性が示唆されている．次に，微小移動の中周波成分，または，高周波成分を含む映像を可視化した結果について述べる．図 6(c) の各時刻 t
では，輪郭間のずれがほぼ生じていなかった．この傾向は (d)でも同様に見られた．このことから，身体の微小移動の高周波成分では，低周波成分に比べて，移動幅が小さく非常に微弱であるため，提案手法による強調なしでは人間が視覚的にほぼ観察できないことが確認された．なお，身体の微小移動の中周波成分の結果でも，高周波成分の結果と同様の傾向が見られた．

4.1.3 項目 2 の評価
項目 1 の評価では頭領域映像 S に α = 1 とした上で提案手法を適用したが，ここでは微小移動の高周波帯域 [2.0, 3.0) Hzに含まれる高周波成分を，α を段階的に変化させて強調した．
この評価では，α を以下の 3 つで設定した．

• α=1• α = 100
• α = 200

図 7(a) に α = 1 とした時の ĝx (t), ĝy (t) の時系列信号を示す．
これらの信号は式 (6) において ĝx (t) = g̃x (t), ĝy (t) = g̃y (t)であるため図 5(d) と同じものとなる．図中の (b) と (c) に，
α = 100 とした時，および，α = 200 とした時の ĝx (t), ĝy (t)の時系列信号をそれぞれ示す．(b) や (c) では，(a) と比べて，微小移動の各成分の大きさが α の値だけ強調されていることが分かる．なお，式 (5) のバンドパスフィルタの変数を
fl = 2.0, fh = 3.0 とした．
提案手法により高周波成分が強調された結果の映像 Š を図 8に示す． 図中の各時刻 t の画像 Š(t) は，4.1.2 と同様に，12 秒の映像から 4 秒間隔で 4 枚取り出したものである．図中の (a)は α = 1 としたときの映像であり，図 6(d) と同じものである．図 8(b) は α = 100，(c) は α = 200 としたときの映像である．図中の (a) から (c) では，4.1.2 で述べた補助輪郭を，全ての画像で同じ位置に重ね合わせた．図中の (a) の各時刻 t では，
微小移動の高周波成分が強調されていないため，補助輪郭と頭領域輪郭との間のずれを，ほぼ確認できないことがわかる．
一方，(b)，(c) の各時刻では，微小移動の高周波成分が強調されているため，輪郭間のずれを確認できることがわかる．(a)，(b)，(c) の間で，時刻 t = 120 における輪郭間のずれを比較す
ると，α の値が大きくなるにつれて，ずれの方向は変わらず，
ずれの大きさだけが増加していることがわかる．時刻 t = 240と t = 360 でも，同様の傾向であった．なお，微小移動が強調されると，初期時刻 t = 1 であっても輪郭間のずれが生じていた．以上の結果より，微小移動の高周波成分が強調された映像において，補助輪郭と頭領域輪郭との間のずれを見ることで，強調しない場合に比べて，高周波成分を人間が視覚的に観察しやすくなると言える．

𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360𝑡 = 240𝑡 = 360𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360𝑡 = 240𝑡 = 360(a) 𝛼 = 1
𝑡=1

𝑡 = 120(a) Ours

𝑡=1

𝑡 = 120(b) 𝛼 = 100
𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360(c) 𝛼 = 200

Fig. 8We generated the video sequences to observe the highfrequency components of the head’s micromovement. α is aparameter representing the degree of amplifying. (a) α = 1,(b) α = 100, and (c) α = 200 were used.

(b) Phase-based
𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360

4.2 既存手法との比較
微小移動の高周波成分を強調した映像について，提案手法と既存手法 12, 13) との比較実験を行った．頭領域映像 S に既存手法を適用した際に発生するアーチファクトが，提案手法では発(c) Learning-based

生しないかどうかを以下で確認した．ここでは，図 4 の撮影環境で収集した映像を用いた．
提案手法および既存手法を用いて，微小移動の高周波成分を強調した．その周波数帯域は，4.1 と同様に [2.0, 3.0) Hz とした．手法別の強調結果を図 9 に示す．図中の (a) では，(b)や (c) と条件を揃えるために，補助輪郭を合成しなかった．

Phase-based video motion processing 12) を適用した映像である(b) では，どの時刻 t でも，頭領域全体にぼやけが生じていた．
Learning-based video motion magniﬁcation 13) を適用した映像である (c) では，どの時刻 t でも，頭領域の形状歪みが生じていた．特に，時刻 t = 120 で大きな歪みが見られた．このようFig. 9We generated the video sequences for temporally enhancing
the high-frequency components using different methods. In(a), we used our method. In (b), we used the phase-based
video motion processing 12) . In (c), we used the learningbased video motion magniﬁcation 13) .

できる科目を指し，これらの科目を全て履修したことがない
大学生を対象とした．12 名 (男性 11 名，女性 1 名，平均年齢22.3±1.5 歳) の観察者が主観評価に参加した．観察者には以下の 2 つの刺激を与えた．

に，既存手法では同一人物であるにも関わらず，アーチファク
トによって見え方が変化していた．提案手法で生成された映像である (a) では，各時刻における頭領域の見え方そのものを移動させて強調を表現するため，自然な見え方であることを確認した．以上より，微小移動の高周波成分を強調する過程において，既存手法を適用した場合に発生するアーチファクトが，提案手法では発生しないことが確認された．

4.3 映像を観察する場合と時系列信号を観察する場合の主観評価
提案手法により生成された映像を観察する場合と，時系列信• 時系列信号の刺激．微小移動の低周波成分，中周波成分，
および，高周波成分が，それぞれ強調された ĝx (t), ĝy (t)の時系列信号である．この信号は，3.4 の式 (6) を用いて算出された．図 10(a) にその刺激を示す．
• 映像の刺激．微小移動の低周波成分，中周波成分，および，高周波成分が，それぞれ強調された映像 Š である．こ
の映像は，3.6 の式 (8) を用いて生成された．図 10(b) にその刺激を示す．なお，図中では Š のある時刻の画像のみを掲載しているが，実験時は 30 fps の映像を表示した．

号を観察する場合とを比較する主観評価を行った．この主観評

上記の時系列信号と映像とを4.1 で述べた条件で生成した．強価では，どちらの場合が，身体の微小移動に含まれる各周波成調の度合いを表す α について，時系列信号と映像との間で共通分を観察しやすいと感じるかを観察者に尋ねた．観察者は，信の値とし，低周波成分で α = 1，中周波成分で α = 10，高周波号処理の知識を持っていない前提とした．ここで述べる信号処

成分で α = 70 とした．ここではパラメータ α を決めるため，理の知識とは，フーリエ解析や信号処理工学など大学で受講指定された帯域の周波数成分が強調された ĝx (t)，ĝy (t) の絶対

値の最大値を用いた．この値が高周波成分，中周波成分において，低周波成分における α = 1 としたときの最大値と近くなる
よう α を定めた．
それぞれの刺激を与える前に，身体動揺が何であるかについて観察者へ説明した．また，低周波成分，中周波成分，および，高周波成分が何であるかを理解してもらうため，時間方向
および空間方向で，頭がどのように揺れ動くかを説明した．観察者から説明が分からない申し出があった場合は，説明を再度行った．
観察者へ刺激を与える実験環境を図 11 に示す．刺激を表示(a)するため 65 インチディスプレイ (LG 社，OLED65E9PJA) を用いた．ディスプレイから水平方向に 1.5 m の位置に立つよう観察者に指示した．床からディスプレイまでの高さを 0.9 m とした．観察者へ刺激を与える手順を以下とした．

1. 順序効果を避けるため，それぞれの刺激を与える順序を，
観察者ごとに重複無しランダムで決めた．

2. 白色画像をディスプレイに 3 秒間表示した．
3. 手順 1 で決めた一つ目の順序の刺激をディスプレイに
36 秒間表示した．
4. 白色画像をディスプレイに 3 秒間表示した．
5. 手順 1 で決めた一つ目の順序の刺激をディスプレイに
36 秒間表示した．
6. どちらの刺激が各周波数成分を観察しやすかったかにつ(b)Fig. 10

いて観察者に回答させた．
映像の刺激において，強調された映像 Š は 12 秒間であるが，3 回繰り返すことで 36 秒間表示した．回答の選択肢として，どWe show the stimuli of the time-series signals and the video
sequences given to the observers. In (a), we used the timeseries signals of ĝx (t), ĝy (t), in which micro-movementsof the speciﬁc frequency component were emphasized. In(b), we used the video sequences Š, in which the micromovements of the speciﬁc frequency components are emphasized. Only images at a certain time in the video sequences are shown here.

ちらともいえない，時系列信号の刺激，および，映像の刺激とした．
映像を観察する場合と時系列信号を観察する場合とを比較

Display
65 inchObserver

した主観評価の結果を図 12 に示す．どちらともいえないを選択した観察者が 2 名，時系列信号の刺激を選択した観察者が0.9 m

2 名，映像の刺激を選択した観察者が 8 名であった．映像の刺激を選択した観察者の人数が最も多かった．観察者が映像の刺1.5 m

激を選択した理由として，実際の頭の様子が見てとれるため内容がイメージしやすい，見るべきポイントが明らかであるといFig. 11

う意見が挙げられた．一方，観察者が時系列信号の刺激を選択

The setting of the subjective assessment.

した理由として，実験前に説明された各周波数成分が数値として表されており，正確に読み取りやすいという意見が挙げらTime-series signals
NeutralVideo sequences

れた．以上の結果より，観察者が信号処理の知識を持っていな
い前提では，提案手法により生成された映像を観察する場合
は，時系列信号を観察する場合と比べて，身体の微小移動に含まれる各周波成分を観察しやすくなることが多くなることが分

0

3
6
9
The number of observers

かった．

4.4 提案手法と既存手法とを用いた場合の主観評価提案手法で生成された映像と，4.2 で述べた既存手法 12,13)

Fig. 12

12

Result of the subjective assessment comparing observing
the video sequences with observing the time-series signals.

で生成された映像について，どれが観察しやすいかを比較する
主観評価を行った．実験には，以下の映像を用いた．

• 提案手法で生成された映像 Š
• Phase-based video motion processing12) で生成された映像• Learning-based video motion magniﬁcation13) で生成された映像
微小移動の [2.0, 3.0) Hz の高周波成分を強調した．これら 3 つの映像は 4.2 の図 9 で説明したものと同じである．12 名 (男性10 名，女性 2 名，平均年齢 23.0±1.0 歳) の観察者が主観評価に参加した．観察者へ刺激を与える手順を以下とした．

1. 順序効果を避けるため，3 つの映像の配置を観察者ごとにランダムに決めた．

2. 白色画像をディスプレイに 3 秒間表示した．
3. 刺激をディスプレイに 36 秒間表示した．ある観察者へあ隔で 5 枚取り出したものである．図中の (a) は，被験者 1 が軽微小移動の高周波成分が強調された映像

い手荷物を持った場合の映像であり，図中の (b) は，被験者 1が重い手荷物を持った場合の映像である．(a) と (b) とを比較すると，手荷物の重さによる被験者 1 の見た目の差異は，ほぼないことがわかる．被験者 2 について，(e) と (f) とを比較すると，同様に見た目の差異は，ほぼないことがわかる．
手荷物の軽重認識のため，文献 10) の特徴量と線形 SVM とを用いた．この特徴量を算出するため，提案手法の手続き P1 において算出された gx (t)，gy (t) の時系列信号を用いた．具体的には，それらの時系列信号から求まるパワースペクトル密度をFig. 13

We show the stimuli of the video sequences for temporally
enhancing the high-frequency components using different
methods. From left to right, we used our method, the phasebased video motion processing 12) and the learning-based
video motion magniﬁcation 13) . Only images at a certain
time in the video sequences are shown here.

Ours
Phase-based
Learning-based

0

3
6
9
The number of observers

Fig. 14

12

Result of the subjective assessment comparing our methodwith the existing methods 12, 13) .

特徴量とした．線形 SVM における識別関数の重みは，特徴量の各要素がどれだけ判別に寄与するかを表すことが知られている．その重みが 2 Hz から 3 Hz の帯域におけるパワースペク
トル密度で大きくなることが実験で既に明らかになっている．
これは，この帯域の周波数成分が軽重認識の精度に寄与すること示している．認識時のテストサンプルとして，図 15(a)，(b)，(e)，(f) の映像を用いた．被験者 1 の映像は軽重認識が成功するサンプルであり，被験者 2 の映像は軽重認識が失敗するサン
プルである．線形 SVM の学習に用いる訓練サンプルは，テス
トサンプルとは異なる 14 名の被験者の映像を用いた．
被験者 1 の微小移動の高周波成分 (2 Hz から 3 Hz) を，提案手法により強調した．その結果の映像 Š を図 15(c)，(d) に示
す．同様に，被験者 2 の微小移動の高周波成分を強調した．その結果の映像 Š を図 15(g)，(h) に示す．なお，強調時の α を200 とした．被験者 1 の軽い手荷物の場合の (c) では，どの時刻においても，補助輪郭が頭領域輪郭と完全に一致することはる時刻に表示した刺激の例を図 13 に示す．

4. 白色画像をディスプレイに 3 秒間表示した．
5. どの映像が高周波成分を観察しやすいと感じるかを，観察なく，輪郭間のずれが発生していた．重い手荷物の場合の (d)でも輪郭間のずれが発生しており，別の被験者 2 の (g)，(h) においても輪郭間のずれが発生していた．これらのずれの大きさ

者に回答させた．

は，3.6 でも述べたように，微小移動の幅を表しており，ずれ
なお，実験時は図 11 の環境を用いて 30 fps の映像を刺激との方向は微小移動の方向を表している．以下では，補助輪郭として表示した．提案手法および既存手法で強調された映像は頭領域輪郭との間のずれの大きさについてまず議論する．被験12 秒間である．手順 3 において 3 つの刺激を同時に再生し，再生の繰り返し数を 3 回とした．

者 1 において，輪郭間のずれの大きさが時間方向にどのよう提案手法と既存手法とを用いた場合についての主観評価の結の時刻 t でも，ほぼ一定であった．一方，重い手荷物の場合のに変化しているかを見ると，軽い手荷物の場合の (c) では，ど果を図 14 に示す．提案手法を選択した観察者が 10 名であり最(d) で，輪郭間のずれの大きさの時間変化を見ると，時刻間でも多かった．以上の結果より，提案手法で生成された映像は，差が見られ，特に t = 120 や t = 240 で大きく増加していた．

既存手法で生成された映像に比べて，身体の微小移動に含まれまた，t = 240 や t = 360 で大きく減少していた．被験者 2 にる高周波成分を観察しやすいと感じることが多くなることが分

おいて，輪郭間のずれの大きさの時間変化を見ると，軽い手荷かった．

物の場合の (g) では，どの時刻でも，ほぼ一定であった．一方，

4.5 手荷物の軽重認識における映像運動拡大の応用

重い手荷物の場合の (h) では，(d) の映像で見られたような時刻

身体の微小移動の高周波成分を，提案手法を用いて可視化す

間の大きな増減は見られなかった．次に，補助輪郭と頭領域輪る応用例について述べる．ここでは，立つ姿勢の被験者が持つ郭との間のずれの方向について議論する．被験者 1 の映像と被

10)

の事例

験者 2 の映像では，輪郭間のずれの方向に共通の傾向は見られに取り組んだ．この文献で述べられている認識に有効な高周波なかった．被験者 1 や被験者 2 とは異なる被験者の映像をテス

成分 (2 Hz から 3 Hz) を，この実験では映像上で強調した．認

トサンプルとしたときも同様に，輪郭間のずれの方向に共通の識が成功する被験者と失敗する被験者とについて，高周波成分

傾向は見られなかった．

手荷物の軽重を，身体動揺の映像から認識する文献が強調された映像を生成することで，手荷物の軽重認識におけ文献 10) の特徴量を用いた軽重認識の結果と，提案手法を用る成功・失敗の理由を，提案手法を用いて新たに可視化するこ

いた可視化の結果とが，どのように関係しているかを考察すとをねらった．

る．先に述べたように，文献 10) の特徴量では，2 Hz から 3 Hz

手荷物を持つ被験者の身体動揺の映像を 2 名分撮影した．こにおける高周波成分のパワースペクトル密度の大きさが，軽重のとき，それぞれの被験者が持つ手荷物の重さは，体重の 5%，

認識の精度に寄与することが分かっている．この高周波成分をおよび，体重の 20% とした．図 4 の撮影環境で映像を収集し提案手法により可視化した結果において，認識が成功する場合た．手荷物を持つ被験者の身体動揺の映像を図 15(a)，(b)，(e)，と失敗する場合とを比較すると，補助輪郭と頭領域輪郭との間(f) に示す．図中の各時刻 t の画像は，20 秒の映像から 4 秒間のずれの大きさの時間変化に差が生じていた．この輪郭間のず

𝑡=1

𝑡 =120𝑡 = 240𝑡 = 360

𝑡 = 480𝑡=1(a) Original video sequense
𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360

𝑡 = 120𝑡 = 240𝑡 = 360

𝑡 = 480(b) Original video sequence𝑡 = 480𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360(c) High frequency [2.0, 3.0) Hz(d) High frequency [2.0, 3.0) Hz

Light baggage

Heavy baggage

𝑡 = 480

Participant 1 (Recognition: Success)

𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360

𝑡 = 480𝑡=1(e) Original video sequense

𝑡=1

𝑡 = 120𝑡 = 240𝑡 = 360

𝑡 = 120𝑡 = 240𝑡 = 360

𝑡 = 480(f) Original video sequence𝑡 = 480𝑡=1(g) High frequency [2.0, 3.0) Hz

𝑡 = 120𝑡 = 240𝑡 = 360

𝑡 = 480(h) High frequency [2.0, 3.0) Hz

Light baggage

Heavy baggage
Participant 2 (Recognition: Failure)Fig. 15

We visualized the reason for success or failure in baggage weight classiﬁcation using the video sequence of body sway as an application of
our method. In (a), (b), (e), and (f), we show a part of the original video sequences acquired from the overhead camera. Participants carrying
light or heavy baggage were standing in an upright posture (Romberg posture). In (c), (d), (g), and (h), we show a part of the enhanced video
sequences generated for observing the high-frequency components, which are discriminative for baggage weight classiﬁcation.

れの大きさは，3.6 でも述べたように，身体の微小移動の幅に周波数の振幅が類似していることを表す．また，位相差の絶対該当することから，可視化された微小移動の幅の時間変化が認

値が 0 に近ければ，それらの時系列信号に含まれる各周波数

識の成功・失敗の理由であると考えられる．

の周期ずれが少ないことを表す．マーカを取り付ける被験者を

4.6 映像から算出された周波数成分の客観評価3 名とし，1 名あたり 10 回撮影した．撮影された 12 秒間の映提案手法により算出された gx (t)，gy (t) の時系列信号の周波像から算出された振幅二乗コヒーレンスおよび位相差の絶対値数成分が，どの程度正確であるかを評価した．ここでは時系列を，全被験者と全撮影回数とを用いて平均した．

信号を求めるため，3.3 で述べた頭領域の中心位置 cx (t)，cy (t)振幅二乗コヒーレンスを求めた結果を図 16(b) に示す．縦軸の代わりとして，頭の位置を精度よく捉えることができるマーが振幅二乗コヒーレンスを表し，横軸が周波数を表す．横軸

カを用いた．被験者の頭に帽子を固定させ，その帽子にマーカの範囲を，これまでの実験で対象とした [0.0, 3.0) Hz から広を取り付けた．4.1 で述べた撮影環境において，マーカが取りげ，極めて速い微小移動を含む [0.0, 6.0) Hz とした．図中よ付けられた被験者の映像を収集した例を図 16(a) に示す．具体り，[0.0, 3.0) Hz では，[3.0, 6.0) Hz に比べて，振幅二乗コヒー

的には，2×2 のチェスボードをマーカとし，その中心位置をレンスの値が大きいことがわかる．[0.0, 3.0) Hz の帯域で振幅

Harris のコーナー検出を用いて推定した．この実験では，各時二乗コヒーレンスを平均すると 0.97 であった．次に，位相差刻で得られたマーカの中心位置を時間方向に並べたものを，頭の絶対値を求めた結果を図 16(c) に示す．縦軸が位相差の絶の位置に関する高精度の時系列信号とした．

対値を表し，横軸が周波数を表す．図中より，[0.0, 3.0) Hz でマーカから算出された時系列信号と，提案手法で利用した頭は，[3.0, 6.0) Hz に比べて，位相差の絶対値がやや小さいこと

領域の中心位置から算出された時系列信号との間で，振幅二乗がわかる．[0.0, 3.0) Hz の帯域で位相差の絶対値を平均するとコヒーレンスおよび位相差の絶対値を求めた．振幅二乗コヒー

2.6 度であった．以上より，提案手法により算出される gx (t)，gy (t) の時系列信号は，マーカから算出された頭の位置を用いレンスの値が 1 に近ければ，それらの時系列信号に含まれる各

2)

3)

Absolute value ofphase difference (deg)magnitude squared
coherence(a)Fig. 16

1.0

0.5

0.0

0

1

2
3
4
Frequency (Hz)
(b)

5

6

0

1

2
3
4
Frequency (Hz)
(c)

5

6

180

90

0

(a) Image of the observer attaching with the marker. (b) Result of ﬁnding the magnitude squared coherence. (c) Resultof ﬁnding the absolute value of the phase difference.

た高精度の時系列信号に対して，完全に一致するとは言えない
ものの，[0.0, 3.0) Hz ではある程度近い値をとることができると考えられる．

5. おわりに
本論文では，身体の微小移動に含まれる高周波成分を観察す
るため，その高周波成分のみが強調された映像を，アーチファ
クトを発生させずに生成する手法について述べた．提案手法では，映像を，人物の微小移動と見え方とに安定に分離し，微小移動の幅のみを増大することで，映像の運動拡大を行った．実験において，提案手法で微小移動の高周波成分を強調すること
で，強調しない場合に比べてその高周波成分を視覚的に観察しやすくなることを確認した．実験結果にて，提案手法はアーチ
ファクトを発生させず微小移動の高周波成分を強調できることを確認し，強調された高周波成分を映像から人間が視覚的に観察できることを確認した．さらに提案手法の応用として，身体動揺を用いた手荷物の軽重認識における成功・失敗の理由の可視化を示した．
今後の課題として，人物の頭上だけでなく，人物の正面などにカメラを設置する場合を想定し，提案手法を改良していくことが挙げられる．また，非常に小さい振幅で振動する構造物など，人物の身体ではないものを対象物としたときの提案手法の適用が挙げられる．
参1)

考stabilization process? Human Movement Science, Vol. 24, No. 4, pp.
588–615, 2005.
K. Taguchi. Spectral analysis of body sway. Journal for Oto-RhinoLaryngology, Head and Neck Surgery, Vol. 39, No. 6, pp. 330–337,
1977.

文

献

A. Bottaro, M. Casadio, P. G. Morasso, and V. Sanguineti. Body sway
during quiet standing: Is it the residual chattering of an intermittent

N. Nies and P. L. Sinnott. Variations in balance and body sway in
middle-aged adults. subjects with healthy backs compared with subjects with low-back dysfunction. Spine, Vol. 16, No. 3, pp. 325–330,
1991.
4) P. S. Bergin, A. M. Bronstein, N. M. Murray, S. Sancovic, and D. K.
Zeppenfeld. Body sway and vibration perception thresholds in normal aging and in patients with polyneuropathy. Journal of Neurology,
Neurosurgery & Psychiatry, Vol. 58, No. 3, pp. 335–340, 1995.
5) J. A. Raymakers, M. M. Samson, and H. J. J. Verhaar. The assessmentof body sway and the choice of the stability parameter (s). Gait &posture, Vol. 21, No. 1, pp. 48–58, 2005.
6) F. Wang, M. Skubic, C. Abbott, and J. M. Keller. Body sway measurement for fall risk assessment using inexpensive webcams. In Proceedings of the Annual International Conference of the IEEE Engineeringin Medicine and Biology, pp. 2225–2229, 2010.
7) J. Gea, M. A. Muñoz, I. Costa, L. F. Ciria, J. G. Miranda, and P. Montoya. Viewing pain and happy faces elicited similar changes in postural body sway. PLoS One, Vol. 9, No. 8, p. e104381, 2014.
8) L. F. Ciria, M.A. Muñoz, J. Gea, N. Peña, J. G. V. Miranda, P. Montoya, and J. Vila. Head movement measurement: An alternative
method for posturography studies. Gait & posture, Vol. 52, pp. 100–
106, 2017.
9) K. Taguchi. Clinical application of the frequency spectra obtained
from the movement of the body’s center of gravity during standing.
Equilibrium Research, Vol. 37, No. 1, pp. 113–117, 1978.
10) 山口優太, 中山晴貴, 神谷卓也, 西山正志, 岩井儀雄, 櫛田大輔. 身体動揺の時系列深度画像における時間手掛りを用いた手荷物の軽重認
識. 精密工学会誌, Vol. 88, No. 1, 2022.

11) A. C. Le Ngo and R. C. W. Phan. Seeing the invisible: Survey of video
motion magniﬁcation and small motion analysis. ACM Computing
Surveys, Vol. 52, No. 6, 2019.
12) N. Wadhwa, M. Rubinstein, F. Durand, and W. T. Freeman. Phasebased video motion processing. ACM Transactions on Graphics,
Vol. 32, No. 4, pp. 1–10, 2013.
13) T. H. Oh, R. Jaroensri, C. Kim, M. Elgharib, F. Durand, W. T. Freeman, and W. Matusik. Learning-based video motion magniﬁcation.
In Proceedings of the European Conference on Computer Vision, pp.
633–648, 2018.
14) M. Dankova, M. Vyhnalek, T. Funda, J. Jerabek, and O. Cakrt. 3 hz
postural tremor: A speciﬁc and sensitive sign of cerebellar dysfunction
in patients with cerebellar ataxia. Clinical Neurophysiology, Vol. 131,
No. 10, pp. 2349–2356, 2020.
15) AN. Nicholson, Nicola A. Wright, MB. Zetlein, D. Currie, and
DG. McDevitt. Central effects of beta-adrenoceptor antagonists. iielectroencephalogram and body sway. British journal of clinical pharmacology, Vol. 26, No. 2, pp. 129–141, 1988.
16) M. Wada, N. Sunaga, and M. Nagai. Anxiety affects the postural swayof the antero-posterior axis in college students. Neuroscience letters,Vol. 302, No. 2-3, pp. 157–159, 2001.
17) C. Liu, A. Torralba, W. T. Freeman, F. Durand, and E. H. Adelson.
Motion magniﬁcation. ACM Transactions on Graphics, Vol. 24, No. 3,
pp. 519–526, 2005.
18) H. Wu, M. Rubinstein, E. Shin, J. Guttag, F. Durand, and W. T. Freeman. Eulerian video magniﬁcation for revealing subtle changes in theworld. ACM Transactions on Graphics, Vol. 31, No. 4, pp. 1–8, 2012.
19) N. Wadhwa, M. Rubinstein, F. Durand, and W. T. Freeman. Riesz
pyramids for fast phase-based video magniﬁcation. In Proceedings ofthe IEEE International Conference on Computational Photography,
pp. 1–10, 2014.
20) X. Wu, X. Yang, J. Jin, and Z. Yang. Amplitude-based ﬁltering forvideo magniﬁcation in presence of large motion. Sensors, Vol. 18,
No. 7, p. 2312, 2018.
21) W. Chen and D. McDuff. Deepmag: Source-speciﬁc change magniﬁcation using gradient ascent. ACM Transactions on Graphics, Vol. 40,
No. 1, 2020.