動点の連動解析技術を使った行動評価方法とその応用
理化学研究所 光量子工学研究センター
画像情報処理チーム
専任研究員 太田 聡史
令和３年５月２５日

従来技術とその問題点
既に実用化されている技術として、単純な行動テストを組み合わせたテストバッテリーや、歩行のような周期的な運動を対象とした手法がある。
• 前者については、事前に概念化された行動異常の検出についてのみ有効。
• 後者については時系列データの整列が困難な非周期的な運動計測には向かない。
等の問題がある。
1

動作のキャラクタライゼーション
CRYSTALIZED MOTION PROFILES (CMP)

Figure 7. Examples of crystalized motion profiles (CMP). (a) Mouse 140912E07: normal (+/+); (b) Mouse 140912I07: transgenic(Hg/+). While the two examples show visual differences in this particular case, it is generally difficult to distinguish transgenic mice(Tg/+) from the others (+/+) only with visual inspections. Only upper triangular elements are shown because the matrices aresymmetric.
Satoshi Oota1, Yuko Okamura-Oho2, Ko Ayusawa3, Yosuke Ikegami4, Akihiko
Neurorobotic approach to study Huntington disease based on a mouse
5, Eiichi YOSHIDA3 and Yoshihiko Nakamura4, Member, IEEE
Neurorobotic
approachtostudy
Huntington
diseasebasedonamouse
Murai
neuromusculoskeletal modelneuromusculoskeletal model2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND 2

新技術の特徴・従来技術との比較• 従来技術では扱いづらかった全身の運動パターンを包括的に比較することに成功した。
• 従来は定型的な運動解析に限られていたが、新技術では任意の運動に適用することが可能。
• 本技術の適用により、高感度に運動機能の特徴が検出できるために、複雑な運動表現型のの早期発見への道が開けた。
3

ハンチンドン病モデルマウスを用いた
ケーススタディBand

4p16.3Start

3,074,681 bp

[1]

End

3,243,960 bp[1]

Huntintin

https://en.wikipedia.org/wiki/Huntingtin

Classification of the trinucleotide repeat, and resulting disease status,
depends on the number of CAG repeats[25]Repeat countClassification

Disease status

Risk to offspring<26Normal

Will not beaffectedNone27–35

Intermediate

Will not beaffected

Elevated but
<<50%

36–39

Reduced
Penetrance

May or may notbe affected

50%

40+

Full PenetranceWill be affected50%

https://en.wikipedia.org/wiki/Huntington%27s_disease

4骨格モデルの模式図
𝜃𝜃𝑥𝑥neck01,head, 𝜃𝜃𝑦𝑦neck01,head , 𝜃𝜃𝑧𝑧neck01,head𝜃𝜃𝑥𝑥neck02,neck01 , 𝜃𝜃𝑦𝑦neck02,neck01 , 𝜃𝜃𝑧𝑧neck02,neck01(a)𝜃𝜃𝑥𝑥neck03,neck02 , 𝜃𝜃𝑦𝑦neck03,neck02 , 𝜃𝜃𝑧𝑧neck03,neck02

hand_l,finger_l, 𝜃𝜃𝑧𝑧

finger_l
hand_l𝜃𝜃𝑥𝑥forearm_l,hand_l , 𝜃𝜃𝑦𝑦forearm_l,hand_l , 𝜃𝜃𝑧𝑧forearm_l,hand_lneck01

1

neck02

2

neck03

3

neck04

4

neck05

5neck06

6

neck07

7

humerous_l𝜃𝜃𝑥𝑥humerou_l, forearm_l , 𝜃𝜃𝑦𝑦humerou_l, forearm_l , 𝜃𝜃𝑧𝑧humerou_r, forearm_l𝜃𝜃𝑥𝑥torso,humerous_l , 𝜃𝜃𝑦𝑦torso,humerous_l , 𝜃𝜃𝑧𝑧torso,humerous_lmetatarsals_l,phalanx_l𝜃𝜃𝑥𝑥metatarsals_l,phalanx_l, 𝜃𝜃𝑦𝑦𝜃𝜃𝑥𝑥neck06,neck05 , 𝜃𝜃𝑦𝑦neck06,neck05 , 𝜃𝜃𝑧𝑧neck06,neck05
𝜃𝜃𝑥𝑥neck07,neck06 , 𝜃𝜃𝑦𝑦neck07,neck06 , 𝜃𝜃𝑧𝑧neck07,neck06

𝜃𝜃𝑥𝑥torso,neck07 , 𝜃𝜃𝑦𝑦torso,neck07 , 𝜃𝜃𝑧𝑧torso,neck07

finger_r

back07

7back06

6back05

5back04

4back03

3back02

2back011

phalanx_ltarsals_lpelvis,femur_l𝜃𝜃𝑥𝑥pelvis,tibia_l pelvis,tibia_l pelvis,tibia_l𝜃𝜃𝑥𝑥, 𝜃𝜃𝑦𝑦, 𝜃𝜃𝑧𝑧Root𝜃𝜃𝑥𝑥neck06,back07 , 𝜃𝜃𝑦𝑦neck06,back07 , 𝜃𝜃𝑧𝑧neck06,back07

𝜃𝜃𝑥𝑥neck05,neck06 , 𝜃𝜃𝑦𝑦neck05,neck06 , 𝜃𝜃𝑧𝑧neck05,neck06
𝜃𝜃𝑥𝑥neck04,neck05 , 𝜃𝜃𝑦𝑦neck04,neck05 , 𝜃𝜃𝑧𝑧neck04,neck05

Superroot𝜃𝜃𝑥𝑥neck03,neck04 , 𝜃𝜃𝑦𝑦neck03,neck04 , 𝜃𝜃𝑧𝑧neck03,neck04

𝜃𝜃𝑥𝑥neck02,neck03 , 𝜃𝜃𝑦𝑦neck02,neck03 , 𝜃𝜃𝑧𝑧neck02,neck03
𝜃𝜃𝑥𝑥neck01,neck02 , 𝜃𝜃𝑦𝑦neck01,neck02 , 𝜃𝜃𝑧𝑧neck01,neck02
pelvis,neck01

𝜃𝜃𝑥𝑥

pelvis,neck01, 𝜃𝜃𝑦𝑦metatarsals_r,phalanx_r

𝜃𝜃𝑥𝑥pelvis,neck01, 𝜃𝜃𝑧𝑧metatarsals_r,phalanx_r, 𝜃𝜃𝑦𝑦phalanx_r

metatarsals_r,phalanx_r, 𝜃𝜃𝑧𝑧metatarsals_r

femure_r

pelvis,femur_l, 𝜃𝜃𝑦𝑦𝜃𝜃𝑥𝑥humerou_r, forearm_r , 𝜃𝜃𝑦𝑦humerou_r, forearm_r , 𝜃𝜃𝑧𝑧humerou_r, forearm_r v

𝜃𝜃𝑥𝑥back07,torso, 𝜃𝜃𝑦𝑦back07,torso, 𝜃𝜃𝑧𝑧back07,torsoFemur_lmetatarsals_l

hand_r,finger_r, 𝜃𝜃𝑧𝑧𝜃𝜃𝑥𝑥torso,humerous_r , 𝜃𝜃𝑦𝑦torso,humerous_r , 𝜃𝜃𝑧𝑧torso,humerous_r

pelvis𝜃𝜃𝑥𝑥tarsals_l,metatarsals_l, 𝜃𝜃𝑦𝑦tarsals_l,metatarsals_l, 𝜃𝜃𝑧𝑧tarsals_l,metatarsals_l

hand_r,finger_r, 𝜃𝜃𝑦𝑦𝜃𝜃𝑥𝑥forearm_r,hand_r , 𝜃𝜃𝑦𝑦forearm_r,hand_r , 𝜃𝜃𝑧𝑧forearm_r,hand_r

humerous_r

metatarsals_l,phalanx_l, 𝜃𝜃𝑧𝑧hand_r,finger_r

𝜃𝜃𝑥𝑥

hand_rpelvis,femur_l, 𝜃𝜃𝑧𝑧

pelvis,femur_r

𝜃𝜃𝑥𝑥𝜃𝜃𝑥𝑥tibia_l,tarsals_l , 𝜃𝜃𝑦𝑦tibia_l,tarsals_l, 𝜃𝜃𝑧𝑧tibia_l,tarsals_lpelvis,tibia_r

𝜃𝜃𝑥𝑥pelvis,femur_r, 𝜃𝜃𝑦𝑦pelvis,tibia_r, 𝜃𝜃𝑦𝑦pelvis,femur_r

pelvis,tibia_r, 𝜃𝜃𝑧𝑧tarsals_r

hand_l,finger_l, 𝜃𝜃𝑦𝑦𝜃𝜃𝑥𝑥neck05,neck04 , 𝜃𝜃𝑦𝑦neck05,neck04 , 𝜃𝜃𝑧𝑧neck05,neck04

torso

hand_l,finger_l

𝜃𝜃𝑥𝑥

(b)

𝜃𝜃𝑥𝑥neck04,neck03 , 𝜃𝜃𝑦𝑦neck04,neck03 , 𝜃𝜃𝑧𝑧neck04,neck03

head, 𝜃𝜃𝑧𝑧

𝜃𝜃𝑥𝑥tibia_r,tarsals_r , 𝜃𝜃𝑦𝑦tibia_r,tarsals_r , 𝜃𝜃𝑧𝑧tibia_r,tarsals_r𝜃𝜃𝑥𝑥tarsals_r,metatarsals_r , 𝜃𝜃𝑦𝑦tarsals_r,metatarsals_r , 𝜃𝜃𝑧𝑧tarsals_r,metatarsals_r

Oota1, Yuko Okamura-Oho2, Ko Ayusawa3, Yosuke Ikegami4, Akihiko
Neurorobotic
approachapproachto study Huntington
based ondiseasea mouse based on a Satoshi
Neurorobotic
to studydisease
Huntington
mouse
Murai5, Eiichi YOSHIDA3 and Yoshihiko Nakamura4, Member, IEEE
neuromusculoskeletal modelneuromusculoskeletal model2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND 5
SYSTEMS (IROS)

動作マーカー軌道の例

Figure 4. An expected static pose of a mouse on a slope. Red points represent experimental markers (Head, B1, B2, B3, T1, LEl, LHand, REl, RHand, LKne, LAnk, LFoot, RKne, RAnk, and RFoot).
The other four markers represent a slope on which the mouse makes gaits. Curve lines indicate trajectories of the experimental markers: i.e., the static pose is the average posture during the gait. The
length unit is millimeter. Snapshots of the postures for both healthy and pathological gaits with rendered scaled skeletal models are shown in Fig. 6.

Neurorobotic approach to study Huntington disease based on a mouseneuromusculoskeletal model

Satoshi Oota1, Yuko Okamura-Oho2, Ko Ayusawa3, Yosuke Ikegami4, Akihiko
Murai5, Eiichi YOSHIDA3 and Yoshihiko Nakamura4, Member, IEEE
2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND 6
SYSTEMS (IROS)

骨格モデルの関節角度の依存樹

Figure 5 A dependency tree of all thejoint angle sequences of the motion data 1_4of Mouse 140912I07. Only representative
joint angles are displayed. Part of the tree istruncated while the relative scale is correct.
Neurorobotic approach to study Huntington disease based on a mouseneuromusculoskeletal model

7

ハンチンドン病モデルマウスを用いたケーススタディ（結果）

Figure 8. Clustering of mice according to the crystalized motion profile (CMP): Tg/+ and +/+ indicate transgenic andnormal mice, respectively. Thick dots represent roots of the clusters. Data 1_2 (Mouse 140912E07) was misclassified(underline). * indicates that the clustering with this edge is significant at 3.6% level.
Neurorobotic approach to study Huntington disease based on a mouseneuromusculoskeletal model

Satoshi Oota1, Yuko Okamura-Oho2, Ko Ayusawa3, Yosuke Ikegami4, Akihiko
Murai5, Eiichi YOSHIDA3 and Yoshihiko Nakamura4, Member, IEEE
2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND 8
SYSTEMS (IROS)

想定される用途• 本技術の特徴を生かすためには、様々な運動機能解析に適用することで、動物実験、診断、機能回復の評価においてメリットが大きいと考えられる。
• 上記以外に、実データから構築したCMP行列を用いた制御への応用が期待される。
• その意味において、ロボティックスといった分野に展開することも可能と思われる。
9

ＣＭＰ行列を用いたコントローラの開発
Real world

CMP

Animal motion data

Retrieve lookup tableReduction

Parameter spaceController

Neurorobotic approach to study Huntington disease based on a mouseneuromusculoskeletal model

Quadruped/bipedrobots

Satoshi Oota1, Yuko Okamura-Oho2, Ko Ayusawa3, Yosuke Ikegami4, Akihiko
Murai5, Eiichi YOSHIDA3 and Yoshihiko Nakamura4, Member, IEEE
2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND 10
SYSTEMS (IROS)

実用化に向けた課題• 現在、実験動物を用いて高感度な表現型検出が可能なところまで開発済み。しかし、関節角度空間の特徴量を抽出する方法には改良の余地がある。今後、人間の実験データを取得し、方法の改良と実装を目指す。
• 実用化に向けての展望：現在の80%程度の精度を90%程度まで向上させたい。
• パラメータの設定方法をいかに確立するか。
11

企業への期待• 未解決のパラメータ設定法については、機械学習等の技術により開発できると考えている。
• 運動解析や運動制御技術を持つ企業との共同研究を希望。
• また、定式化の困難なソフトロボティックス分野への展開を考えている企業には、本技術の導入が有効と思われる。
12

本技術に関する知的財産権• 発明の名称 ：判定装置、判定方法、プログラム、ならびに、情報記録媒体• 出願番号 ：特願2019-177109• 出願人：理化学研究所、産業技術総合研究所• 発明者：太田 聡史、鮎澤 光、
吉田 英一、持丸 正明
13産学連携の経歴• 2015年-2017年 産総研と共同研究実施• 2017年-2018年 理研・産総研チャレンジ研究（フィージビリティ・スタディ）に採択• 2018年-2020年 理研・産総研チャレンジ研究（本格）に採択

14

お問い合わせ先
株式会社理研鼎業（りけんていぎょう）

戦略企画部 （理研新技術説明会事務局）
E-mail: senryaku@innovation-riken.jp※ 連携に関する窓口は、理化学研究所より委託を受けて実施しております。

15