人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-01

深層学習ネットワークへの HMM 適用による分類パターン解釈
支援
Interpretation Support System for Classification Patterns from
Deep Learning Networks using HMM
Masayuki ANDO1

安藤 雅行 1∗ 河原 吉伸 2,3 砂山 渡 4 畑中 裕司 5
Yoshinobu KAWAHARA2,3 Wataru SUNAYAMA4

Yuji HATANAKA5

滋賀県立大学大学院工学研究科
Graduate School of Engineering, The University of Shiga Prefecture2
理化学研究所革新知能統合研究センター
2
RIKEN Center for Advanced Intelligence Project3
九州大学 マス・フォア・インダストリ研究所
3
Institute of Mathematics for Industry, Kyushu University
4
滋賀県立大学工学部
4
School of Engineering, The University of Shiga Prefecture5
大分大学理工学部
5
Faculty of Science and Technology, Oita University
1

1

Abstract: This paper describes an interpretation support system for classification patterns
extracted from deep learning with texts using HMM, and verified its eﬀectiveness. It is well known
that classification patterns by deep learning models are often diﬃcult to interpret the reasonsderived. In the proposed system, the content of deep learning results is extracted using HMMs,
and classification patterns are provided for the system users to interpret the learned features. In
verification experiments to confirm the eﬀectiveness of the system, based on the learning result of
deep learning classifying sentences, In the experiment, one group used the proposed system. The
other group used the system that displays words with high TFIDF values. The results show that the
subjects who used the proposed system were able to understand the meanings of the classification
patterns of deep learning with texts more deeply than those who used the comparison system.

はじめに脳の学習に近い段階的な学習ができ，従来の機械学習と比べて学習の精度が高いという利点がある．
インターネットの普及に伴い，また，SNS（Social
一方で，その深層学習による予測・分類基準が人間にNetworking Service）の出現によって，画像，テキス
は不明な点が問題になってきている．特に，医療分野や
ト，数値データが大規模になり，その処理や情報の抽
自動運転では，その分類基準の理解は安全性において出に機械学習が使用されるようになってきた．しかし， 重要視されている．仮にテキスト分野においても深層従来の機械学習は大量のデータから規則などを学習し， 学習の判断基準をより深く理解できれば，医療分野に分類・予測を行う際，データのどの特徴（画像なら色おいて新人とベテランの書いた電子カルテの違いから，や形など）に注目するかは人間が指定する必要があっ
良い電子カルテを書く方法を容易に理解でき，企業にた．そこで注目されるようになってきた技術が，深層おいても良い報告書や企画書を書く方法を短時間で習学習である．深層学習は近年流行りだした機械学習で得できるなど，深層学習の新しい活用が期待される．
あり，学習を行う層（入力データの規則などを学習す
本研究では，構造が複雑になる代わりに，単語の出現る部分）を多層化している．これにより，より人間のの時系列や順序も考慮した学習が可能な，再帰的深層学∗ 連絡先：滋賀県立大学大学院工学研究科 先端工学専攻 安藤雅行
習である RNN（Recurrent Neural Network）や LSTM
〒 522-8533 滋賀県彦根市八坂町 2500
（Long Short-Term Memory）を使用し，テキスト集合
E-mail: oh23mandou@ec.usp.ac.jp

1

ー

1

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-01の学習によって構築されたネットワークを HMM(Hidden
Markov Model) に当てはめ，ネットワークの重みの値から，入力層に時系列順に入力される特徴量（本研究ではテキストを構成する単語）の尤度を算出する．その上で，単語の時系列パターンを尤度順に取り出すことで，再帰的深層学習の学習済みネットワークに蓄積された情報を，分類パターン（単純な単語の順序列）として抽出し、その解釈を支援するシステムを提案する．
以下本論文では，2 章で関連研究について述べる．3
章で HMM を利用した深層学習による分類パターンの抽出・可視化システムの構成と詳細について述べる．4
章で提案システムの評価実験について述べ，5 章で本論文を締めくくる．

2

図 1: システムの構成

関連研究

では深層学習モデルが DNN だったため，単語の時系
列情報が失われ，その解釈も一定までしか得られない問題があった．
本研究ではこのような問題意識の下，文章の分類問
題を例とし，深層学習モデルとして RNN を使用する
ことで，単語の時系列情報を含めた分類パターンからの分類基準の解釈支援システムの開発を目指す．

インターネットの普及などにより，急速に大規模化しつつあるテキストへの対策として活用され始めているのが，深層学習を用いたテキストマイニングシステ
ムである [1, 2]．深層学習とは，一般に多層から構成されるニューラルネットワークを用いた学習を指し，例
えば，深層学習の応用モデルである畳み込みニューラ
ルネットワーク [3] の出現により，画像を用いた場合に限らず多くの場面で高い分類性能を実現できることが報告されている．
その一方で，深層学習には判断根拠のブラックボッ
クス問題が存在している．深層学習は非常に複雑なプ
ロセスによって情報を学習し，高い精度で予測・分類を行える．しかし，そのプロセスの複雑さにより，人間が深層学習の判断基準を説明することが非常に難しい．
深層学習のモデルへの信頼性・公平性の説明や判断
基準への理解を重視した研究分野として，XAI（Explainable AI：説明可能な AI）[4] が注目されてきている．XAI の研究としては，深層学習モデルの動作を理解・信頼するために，何を学習したか説明を行うことの必要性の提唱 [5, 6] から始まり，実際に，モデル内のデータや変数間の相関関係から動作の説明を試みたり[7]，反事実的条件文を用いてモデルの動作をユーザに理解させる研究 [8] 等，モデルの動作自体を説明できな
いか試みる研究が行われている．また，モデルの動作の解釈だけではなく，モデルの動作の安定性・信頼性に注目し，悪意のあるデータへの対策 [9] や，モデルの動作を別の論理回路や決定木に当てはめ，モデルの動作やその安定性を評価する研究 [10, 11] も存在する．
そこで，テキストベースの DNN（Deep Neural Network）について，層ごとの学習の流れを単語情報でラベル付けして可視化し，分類基準を人間が理解できる学習ネットワークの解釈支援システムの研究 [12] が存在し，一定の成果が確認された．一方で，上記の研究

ー

3

HMM を利用した再帰的深層学習
ネットワークからの分類パターン
抽出・可視化システム

本章では，テキストベースの分類タスクの深層学習
ネットワークにおいて，HMM を利用した分類パター
ンの解釈支援を目的としたシステムの構成とその詳細について述べる．

3.1

提案システムの構成

提案システムでは，まず，図 1 に示すように，各分類
先ごとにラベル付けしたテキスト集合を RNN にて分類し，その分類先を導いた学習ネットワークを HMM に当てはめ，提案システムの分類パターンの抽出処理部
によって各出力 (分類先) を導く分類パターンの尤度に基づく抽出を行う．最後に，システムの利用者は，シス
テムの可視化処理部によって得られた学習ネットワー
クの表示を自分が見やすいように調整し．分類パター
ンを可視化する．また，システムでは分類パターンの意味を理解しやすくするための機能（解釈支援機能）を利用できる．

2ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-01

まず，分類パターンの候補として，RNN への入力に使用した全単語の組み合わせを作成する．この時，組み合わせの条件として以下を満たす単語列を候補とする．

• 分類パターン候補の長さ（単語数）は任意で決めた長さで揃えるとする• 分類パターン候補の単語の順序は実際のテキスト
中の単語の出現順序に基づくものとする
次に RNN の入力層ノードを HMM の観測シンボル
集合，中間層ノード（LSTM ユニット）を状態集合 S ={s} とし，同様に中間層の（再帰的処理による）時系列間の重みを状態遷移確率 A，入力層中間層間の重みをシンボル出力確率 B とする．そして，中間層出力層間の重みを初期状態確率 π とするが，この π はその時選択するラベル（分類先）によって変わる．この時，観測シンボルによる観測系列（前述した分類パターン候補）を O = o1 , o2 , ..., oT （T は観測系列の長さ（前述
した分類パターン候補の長さ）），状態数（中間層ノード数）を N （状態番号は i, j ）と置くと，状態遷移確率
A は式 (1)，シンボル出力確率 B は式 (2)，初期状態確率 π は式 (3) となる．

図 2: RNN から HMM への変換

3.2

深層学習による学習ネットワークの形成

3.2.1

テキスト中の単語のベクトル化

A = {aij |aij = P (st+1 = j|st = i)}(1 ≤ i, j ≤ N )(1)

深層学習で学習を行う前に，テキストデータはテキスト中の単語を取り出したあと，単語を One hot 法 [13]と呼ばれる手法に従い単語ベクトルの羅列に直す．そして，テキスト中の各単語をその単語ベクトルに置き換え，深層学習への入力データとする．

3.2.2

B = {bij (ot )|bij (ot ) = P (ot |st−1 = i, st = j)}(1 ≤ i, j ≤ N, 1 ≤ t ≤ T ) (2)π = {πi |πi = P (s0 = i)}(1 ≤ i ≤ N )この時，ある分類先 x に対して，単語出現パターン
O が存在する時，初期状態確率を πx と表すと，尤度
P (O|πx , A, B) は，式 (4) で算出される．
∑
P (O|πx , A, B) =P (S|πx , A, B)P (O|S, πx , A, B)

学習によるネットワークの重み付け

One hot 法によって単語ベクトルの羅列に変換され，分類先ごとにラベル付けされたテキストデータは，RNNでそれぞれの出力層ノード（分類先）を導くネットワー
クへの重み付けがされていく．入力文章は各単語がベクトル化され，タイムステップごとに単語ベクトルが順番に入力されていく．また，LSTM での分類時は，最後の単語が入力されたタイミングで，出力層から分類結果が出力される．

3.3

HMM を用いた学習ネットワークからの分類パターンの抽出・可視化処理

3.3.1

RNN から HMM への変換

allS

=

∑

πxs0 as0 s1 bs0 s1 (o1 ) · as1 s2 bs1 s2 (o2 )·alls0 ...sT... · asT −1 sT bsT −1 sT (oT(4))
最後に，全ての単語出現パターンについて式 (4) で尤度を算出し，尤度の高い順に，単語出現パターンを分類に寄与する分類パターンとして抽出する．

3.3.2

分類先を導く分類パターンの可視化

提案システムの可視化処理部では，分類先に強く結びつく，尤度の高い分類パターン集合が表示される．例
として，5 種類の和菓子の作り方に関するテキスト集

提案システムの分類パターンの抽出処理では，RNNによって得られた学習ネットワークを図 2 のように，ひとつの HMM として処理を行う．

ー

(3)

3

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-01

ユーザは，解釈支援ネットワーク上で単語を選択することで，原文の中でその単語を含む文章が表示され，参照することができる．ただし，見やすさを考慮して，表示されるのは 1 つの文章につき，選択した単語の前
10 単語，後 10 単語までの区間とした．また，単語は最大 2 種類まで選択でき，その場合は単語間の文章は全て表示される．図 4 に 5 種類の和菓子の作り方について分類先「饅頭・大福」のテキストを使用し，単語「チン」と「片栗粉」を順番に選択した時の分類パター
ンの原文表示例を示す．

4

図 3: 提案システムの画面例

HMM を適用したテキスト分類パターン解釈支援システムの有効性の検証実験

本章では，深層学習の深い知見を有さない被験者が提案システムの出力する単語の出現パターンをもとに，
分類パターンの解釈を行うことができるかを検証した
実験について述べる．

4.1

実験は，課題１「キャラセリフ」、課題２「家電レビュー」、課題３「ゲームレビュー」の 3 つの課題（詳細は下記参照）に対して，各課題ごとに指定する「出力ラベル」に分類される文章の分類パターンの解釈を行ってもらった．実験は深層学習についての深い見識がない 16 名の大学生，大学院生に対して行い，提案シ
ステムを用いるグループと，比較システムを用いるグ
ループに 8 名ずつの 2 つに分けて行った．
実験では，学習結果を言葉で表して説明する提案シ
ステムとの比較として，分類先カテゴリに特有の単語を抽出する TFIDF から，分類先の特徴を解釈するシ
ステムを用意した．TFIDF 値を利用する比較システムを採用したのは，TFIDF による特徴的な単語単体や，単語の組合せから解釈した結果と，提案システムによる単語の時系列関係を参照した解釈を比較することで，分類パターンの解釈における単語の時系列関係を提示することの有効性を明示できると考えたためである．
提案システムを用いるグループでは，提案システム
を用いて，分類に寄与する単語（単語単体，組合せ，時系列順序）を見つけてもらった．比較システムを用いるグループでは，比較システムとして，指定する出力
ラベルに特有の単語を式 (5) の TFIDF 値により抽出してリスト形式で提示するシステムを用意し，これらの単語を元に，分類に寄与する単語を見つけてもらった．
また比較システムにおいても，提案システムの原文表
示機能を利用できるようにした．

図 4: 原文表示例（「饅頭・大福」についてのテキストに対して単語「チン」と「片栗粉」を選択）
合1 の分類を行った場合の，提案システムのメイン画面を図 3 に示す．表示分類先は「饅頭・大福」を選択している．図 3 では，分類パターン中の単語の流れを矢印の向きで表し，分類パターンを構成する単語をノードで表している．また，尤度の大きさを矢印の太さで表している．

3.4

分類パターン解釈支援機能：原文表示機能

システムには，利用者が抽出された分類パターンの解釈行いやすいように，その表示内容の補足を行う機能がある．その中のひとつである原文表示機能について述べる。
分類パターンの解釈に向けて，単語情報だけでは，その単語が実際にどのような文脈で使われていたのかを把握することは難しい．そのため，原文表示機能により，分類パターン中の単語群が，実際に学習に用いたテキスト内でどのように使われているかを表示する．
1 クックパッド (URL:https://cookpad.com) から収集

ー

実験手順

4

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-01ある単語 i の T F IDFi = 単語 i の文章頻度

×(log(

出力ラベル数) + 1)
単語 i の DF 値

(5)

実験手順について，以下のステップで両グループの被験者に解釈を行ってもらった．その際，提案システムで表示される分類パターン数は，単語数 3 個から構成される分類パターンを尤度の高い順に 5 つとした．また，比較システムでの表示単語数も提案システムに合わせて 15 個とした．
手順１ 解釈対象の出力ラベルを選択する：課題１では「ツンデレ」、課題２と課題３では「役に立つ」に分類されるレビューを対象とした．

図 5: 被験者の解釈の妥当性の内訳（被験者平均）

手順２ それぞれの選択した出力ラベルに対応した「解釈の目的」を読んで内容を理解する．
手順３ 選択した出力について，「解釈支援ネットワー
ク」を表示させて，出力に寄与すると思われる特徴（単語単体や組合せ，時系列順序等）を 10 個
見つける．
手順４ 注目した特徴に対して，原文表示機能を用いながら考案してもらう．
図 6: 被験者別の不明，不当解釈個数

学習データの詳細について述べる。課題「キャラセリフ」においては，Twitter の「ツンデレ bot」
「デレデレ bot」「キャラセリフ bot」からそれぞれ「ツンデレ」「デレデレ」「ノーマル」のキャラの特徴を持つセリフ
を 500 件ずつ，計 1500 件を利用し、「ツンデレ」を解釈対象とした．課題「家電レビュー」と課題「ゲームレビュー」においては、amazon の「人気家電製品」の上位 50 種類と「人気ゲームソフト」の上位 100 種類より、「役に立つ」（星 4 以上かつ，「役に立つ人数」が 10以上）レビュー，「役に立たない」（星 4 以上かつ，「役に立つ人数」が 0）レビュー，「低評価」（星 2 以下）レ
ビューをそれぞれ課題「ゲームレビュー」では 1036 件ずつ，計 3108 件を利用し、課題「ゲームレビュー」ではそれぞれ 1473 件ずつ，計 4419 件を利用した。また、
解釈対象は「役に立つ」を選択した．
学習は LSTM によって行い，中間層は 1 層とした．
中間層のノード数は，分類精度が 95%を下回らない範囲で，ノード数を減らす操作を行った．学習率は 0.1，
l1 ノルム係数，l2 ノルム係数はともに 0.0001，学習回
数は 50 回で学習を行った．

4.2• 妥当な解釈（妥当）：内容の正しさが原文から確認でき，「解釈の目的」にも合っている．
• 妥当か判断できない解釈（不明）：内容の意図がはっきりせず，妥当か妥当でないかが判断できない．
• 妥当でない解釈（不当）：解釈の内容に誤りが確認できたか．または「解釈の目的」に合った内容ではない．
図 5 の結果から，提案システムでは，97%以上の解釈が妥当な解釈に分類され，その正しさが確認できた．
特に，比較システムで 10%近く存在している妥当でな
い解釈については，提案システムの結果ではひとつも見られなかった．また，妥当か判断できない解釈についても，比較システムでは全体の 5%から 10%程度に含まれていたが，提案システムでは全体の 3%以下であった．このことから，提案システムではより意図が明確で妥当な内容の解釈が行われていたと言える．
．
また，被験者ごとの「妥当でない解釈（不当解釈）」と「妥当かどうか判断できない解釈（不明解釈）」の数を図 6 に示す．図 6 の A から H は提案システムの被験者 8 名，I から P は比較システムの被験者 8 名を表す．
図 6 より，「不明解釈」を行った被験者の数は，提案システムで 5 人，比較システムで 7 人と大きな差はな
かった一方で，「不当解釈」を行った被験者は提案シス

結果と考察

まず，被験者により記述された解釈の妥当性の内訳（被験者平均）を図 5 に示す．ただし，解釈の妥当性の内訳は，以下に定義する内容をもとに，著者の 1 名が分類を行った．

ー

5ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-01

テムで 0 人に対し，比較システムで 8 人全員となり，1人を除いて複数の「不当解釈」を与えていたことがわかる．そのため，個人差によらず提案システムを用いた方が，より妥当な解釈を与えられたことが確認できる．
以上をまとめると，提案システムでは，比較システ
ムより，より正解率の高い，典型的で妥当な解釈が導き出せることが確認できた．これは，特に複数の単語の時系列関係に注目して解釈が行えることが要因と言える．

5[5] A. Fernandez, F. Herrera, O. Cordon, M. Jose delJesus, F. Marcelloni, ‘Evolutionary fuzzy systems
for explainable artificial intelligence: Why, when,
what for, and where to?’, IEEE Computational
Intelligence Magazine 14 (1), 69-81, 2019.
[6] J. Haspiel, N. Du, J. Meyerson, L. P. Robert Jr,
D. Tilbury, X. J. Yang, A. K. Pradhan, ‘Explanations and expectations: Trust building in automated vehicles’, Companion of the ACM/IEEEInternational Conference on Human-Robot Interaction, ACM, pp. 119-120, 2018.

おわりに[7] O. Goudet, D. Kalainathan, P. Caillou, I. Guyon,
D. Lopez-Paz, M. Sebag, ‘Learning functionalcausal models with generative neural networks’,
Explainable and Interpretable Models in Computer Vision and Machine Learning, Springer,
pp. 39-80, 2018.

本研究では，複数のテキストデータの分類を単語の
時系列関係が学習できる RNN で行い，学習ネットワー
クの解釈を行うための分類パターンの解釈支援システ
ムを提案した．本研究の特徴として，学習済みの再帰的深層学習のネットワーク構造を HMM に当てはめて処理することで，モデルの構造を変えることなく，容易に，学習された特徴量の時系列情報を抽出できる点が挙げられる．提案システムの有効性を確かめる検証実験では，提案する環境が，深層学習に精通していないユーザでも，時系列情報を含む分類パターンから，容易に原文の内容を広くカバーする妥当な解釈につなげられることを確認した．
今後は，BERT（Bidirectional Encoder Representations from Transformers）などのさらに複雑な深層学
習ネットワークを対象とした解釈環境を構築することを目指す．

[8] R. M. J. Byrne, ‘Counterfactuals in explainable artificial intelligence (XAI): Evidence fromhuman reasoning’, Proceedings of the TwentyEighth International Joint Conference on Artificial Intelligence, IJCAI-19, pp. 6276-6282, 2019.
[9] X. Yuan, P. He, Q. Zhu, X. Li, ‘Adversarial
examples: Attacks and defenses for deep learning’, IEEE Transactions on Neural Networks andLearning Systems 30 (9), 2805-2824, 2019.
[10] G. Audemard, F. Koriche, P. Marquis, ‘On
Tractable XAI Queries based on Compiled Representations’, KR Proceedings 2020 Special Session on KR and Machine Learning, pp.838-849,
2020.

参考文献
[1] ボレガラ ダヌシカ，“自然言語処理のための深層学
習”，人工知能学会誌，Vol.29, No.2, pp.195–201,
2014[11] Q. Zhang, Y. Yang, H. Ma, Y. N. Wu, ‘Interpreting CNNs via decision trees’, IEEE Conference on Computer Vision and Pattern Recognition, pp. 6261-6270, 2019.

[2] Ebru Arisoy，Tare N. Sainath，Brian Kingsbury，Bhuvaba Ramabhadran，“Deep Neural Network
Language Models”, In Proceedings of the NAACLHLT Workshop，Will We Ever Really Replace
the N-gram Model?, pp.20-28, 2012[12] 安藤雅行，河原吉伸，砂山渡，畑中裕司，‘テキス
トベースの深層学習における分類パターンの解釈
支援’，知能と情報 (日本知能情報ファジィ学会誌)，
Vol.31, No.4, pp.779-787, 2019.

[3] Y. LeCun, L. Bottou, Y. Bengio, and P. Haﬀner,“Gradient-based learning applied to document
recognition”, In Proceedings of the IEEE, 1998

[13] M. Feurer, A. Klein, K. Eggensperger, J. Springenberg, M. Blum, and F. Hutter. “Eﬃcient androbust automated machine learning”, In Neural
Information Processing Systems (NIPS), 2015[4] D. Gunning, ‘Explainable artificial intelligence(xAI)’, Tech. rep., Defense Advanced Research
Projects Agency (DARPA), 2017.

ー

6

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-02

CLIP を用いた画像ランキングによるパラメータ最適化に基づいた絵本の挿絵生成
Generated Images for Picture Book
based on Parameter Optimization by Image Ranking Using CLIP
齋藤 優也 1

黄 潤和 2

Yuya Saito1， Runhe Huang2
1

1

法政大学大学院 情報科学研究科
Graduate School of Computer and Information Sciences, Hosei University
2
法政大学 情報科学部
2
Faculty of Computer and Information Sciences, Hosei University

Abstract: We propose a system for generating images from the text of a picture book to assist in image
formation when reading. In the proposed system, each paragraph of the picture book is summarized, andan image is generated using VQGAN-CLIP of Text-to-Image model based on the summarized text on the
top of the original content. In the process of generating an image, we also propose a ranking method for
determining parameters (the seed value and learning times) based on the CLIP image score and the loss
value of image generation. In the experiments, the relationship between the loss value and the learning time
was investigated, and the learning time parameter was determined in consideration of the execution time.

1

取るために，PEGASUS[1]による文章要約を利用し，パラグラフの内容を 1~2 文にまとめ上げる．要約された文章を基に Text-to-Image と呼ばれる文章からその内容に見合った画像を生成する技術で挿絵を生成する．今回は VQGAN-CLIP[2]， [3]と呼ばれるモデ
ルを利用する．挿絵を生成する際は複数枚生成し，ランキングを行うことで最適な挿絵を生成できるよ
うにする．本研究では，特に絵本の文章から画像の生成を行う．絵本は元々文章と画像がペアとなっているため，挿絵として画像を生成することに適している文章であると考えられるからである．最終的に絵本の各パラグラフに対して挿絵を生成し，提案シ
ステムによる絵本の作成を行えることを目的とする．

はじめに

近年，様々なデータ化が進み，読書をする媒体も紙などの書籍から電子化された電子書籍へと変化している．スマートフォンの普及が進んだ背景もあり，場所や時間を問わずに簡単に読書を行うことが可能となっている．電子書籍を提供する Kindle など様々なサービスでは，読書をサポートするための様々な機能が搭載されている．分からない単語の意味の検索を行う単語検索機能や，メモをしたい箇所を保存しておくハイライト機能，文字を読みやすくするための拡大機能などがサポートされている．これらの機能は紙媒体の時代から行われていることを簡単に行えるようにしただけではあるが，電子書籍ならではの機能として，文章を自動で要約して読書の時間を短縮するような機能も注目を浴びている．
そこで，本研究では文章の内容を解析して，読書のサポートをする機能として，自動で本文から挿絵を生成することによって，読者のイメージ形成をサポートする機能を提案する．本研究によって提案されるシステムでは，各パラグラフに対して挿絵をそれぞれ生成する．各パラグラフの文章の内容を読み

ー

2

関連研究

2.1

文章要約

自然言語処理分野において，文章要約は入力とする文章から簡潔でかつ正確な要約を出力することを目的に研究が行われてきた．一般的に，文章要約に

7ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-02

3[10]を応用し，膨大なデータセットを学習させることで汎用的な画像を生成することが可能となった．
これにより，モデルが未知のデータに対しても画像生成が可能となるゼロショット学習が可能となり，優れた性能を示すことができた．

は，入力の文章内から重要な部分を断片的に得て要約する抽出型要約と，入力の内容に沿った文章を生成することによる抽象的要約の 2 通りに大きく分けることができる．
抽出型要約には，文章をグラフ構造で表現し，文や単語の関係性を基に要約するグラフベースの
TextRank[4]や，文章全体のトピックを算出し，そのトピックにあった文章を抽出するトピックベースのLSA(Latent Semantic Analysis)[5]を利用した手法など
様々な手法が取り入れられてきた．
一方で抽象的要約においては，人が要約を作るよ
うに，文章の意味を理解したうえで適切な要約を生成する手法である．抽象型要約を実現するためには，長文の内容理解能力，文章の情報整理能力，新たな文章を生成する能力など，自然言語処理分野でも難しい処理が求められる．これらの複雑な処理を実現するために，機械学習が多く取り入れられている．
文章データと要約文章を含む高品質な教師付きデー
タセットが多く公開されていることも機械学習が盛ん に な っ て い る 理 由 で あ る ． 特 に ， RNN や
Transformer を応用した Encoder-Decoder モデルが主流となっている．さらに，近年自然言語処理分野で
大 き な 注 目 を 浴 び て い る BERT[6] を 応 用 し た
PEGASUS によって，高品質な要約を生成することが可能となった．

2.2

3 提案手法
本研究では，絵本の文章を入力テキストとして，
そのテキスト内容に見合った画像を生成するためのシステムを提案する．提案システムのアーキテクチ
ャは図 1 となる．

図 1：提案システムのアーキテクチャ

Text-to-Image

Text-to-Image タスクとは，任意のテキストから，
そのテキストの内容に沿った画像を生成するタスクのことである．従来，このタスクではあらかじめテ
キストと画像のペアを用意し，入力のテキストに対してそれらの画像を組み合わせる手法がとられてきた．しかし，機械学習分野の発展や豊富なデータセットの取得が可能となったことから，汎用的な画像が生成可能となった．このタスクは，アート生成やコンピュータによるデザインの補助などに応用できると考えられている．
様々な手法が研究されているタスクであるが，近年では特に，深層学習モデルを取り入れた研究が盛んになりつつある．深層学習モデルの一つである敵
対性ネットワーク(GAN)を応用し，テキストを入力として与えることで直接画像を生成する手法がある．
最初に GAN を応用した GAN-INT-CLS[7]をはじめ，高解像度画像が生成可能となる StackGAN[8]のように GAN を応用した多くの研究が行われている．その他にも機械学習モデルでは，OpenAI から発表された DALL-E[9]と呼ばれるモデルが注目を浴びている．
自然言語処理分野で革新的な性能を示した GPT-ー

8

入力されたテキストに前処理によって整形したの
ち，機械学習モデルによって文章要約を行い，要約文章を獲得する．その後，Text-to-Image のモデルによって，要約文章から画像を生成する．また，複数枚画像を生成したのち，ランキング方式で画像生成に必要なパラメータを決定する．最後に，決定したパラメータを用いて出力とする挿絵を再生成する．
なお，今回使用する文章は，英文の絵本を対象としている．前処理や要約，Text-to-Image には英文を利用したデータセットを使用する．

3.1

前処理

対象とする絵本の本文に対して前処理を行う．前
処理は自然言語処理分野で一般的な手法で，文章中のノイズを除去し，機械のパフォーマンスを安定させることが目的である．提案システムで行う前処理は以下のとおりである．
・ストップワードの除去“a”や”the”，”is”などの情報量の少ない単語をテキストから取り除くことで，重要な単語に焦点を当てることが可能となる．
・不要な記号の除去
文章中に含まれる，”!”や”?”などの記号を除去し，”.”に変換させる．文章内の曖昧性を減らし，パフォーマンスを安定させる．

ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-02

3.2

文章要約

文章要約では，Text-to-Image のモデルに与える入力の文章を生成することを目的とする．各パラグラ
フの挿絵を生成するためには，そのパラグラフの内容を最も示す文章を入力とすることが適している．
そのための手段として，今回は文章要約による重要文の生成を行う．2.1 で文章要約に関する様々な研究について述べたが，本研究では，文章要約に特化した事前学習モデルである Pretraining with Extracted
Gap-sentences for Abstractive Summarization Sequenceto-sequence models (PEGASUS)を用いた．PEGASU によって，各パラグラフに対して，1~2 文程度の要約
文章を得ることが可能となった．
PEGASUS の基本的な構造は，BERT と同様に
Encoder-Decoder モデルであるが，最大の特徴は Gap
Sentences Generation(GSG)という学習方法である．この GSG という方法は，事前学習に用いる学習方法が適用するタスクに似ていればいるほど，より高速かつ高い性能を発揮できるという方法に基づいている．
つまり，文章要約用にモデルを学習するのであれば，学習方法は実際に文章要約に似た方法を利用することが好ましいということである．BERT などの事前
学 習 モ デ ル の 学 習 方 法 で は ， Masked Language
Model(MLM)と呼ばれる学習方法がある．この方法
は，入力文章の一部分をランダムにマスクし，マス
クした箇所を学習モデルが予測する方法で学習を行う．GSG では MLM の方法を，より文章要約のタス
クに適するように工夫が加えられている．まず，MLM ではランダムにマスクする箇所を決定していたが，文章要約にはランダムに決定する方法は適していない．そこで GSG では，重要な文章をあえてマ
スクし，その箇所を予測させるように学習を行う．

な表現度を持つ（GAN）によって得た特徴マップに対して，ベクトル量子化（VQ）のプロセスを加える
ことで，高解像度の画像を生成したり，合成したりすることが可能となったモデルである．
従来の研究では，より高解像度の画像を生成するためのモデルとして，画像のピクセルの情報を直接Transformer に与え，Transformer の利点である長距離の依存関係を応用するアプローチが検討された．画
像内のコンテキストをより詳しく理解することが出来る手法ではあるが，Transformer の構造上，画像のピクセル数が増えるに応じて，必要となる GPU のス
ペックが高くなってしまう問題点があり，高解像度の画像を生成することが難しかった．そこで，
VQGAN はベクトル量子化の方法で利用し，画像内のピクセル情報をクラスタリングし，各グループにまとめ上げた．これにより，Transformer に与える情報量が削減し，より高解像度の画像の生成を行うことが可能となった．
本研究では，Variational Autoencoder(VAE)として
VQGAN を利用することで，画像を生成するため
Image Generator としての役割を担うこととなる．

Text-to-Image の生成モデルは 2.2 で述べたように
様々なモデルがあるが，今回は VQGAN と CLIP を組み合わせた VQGAN-CLIP と呼ばれるモデルを使用する．VQGAN-CLIP は様々な画像を生成することが出来ること，オープンソースとして誰でも使用可能となっていることから，AI によるアート生成の分野でも注目を浴びているモデルとなる．
このセクションでは，構成要素となっている
VQGAN と CLIP について，そして VQGAN-CLIP としての全体のアーキテクチャについて述べる．

3.3.2 CLIP
画像とテキストの関係性を得ることのできる事前学習モデルとして Contrastive Language-Image Pretraining(CLIP)が提案された．CLIP はインターネット
上から収集した 4 億もの画像とテキストをペアとした事前学習モデルである．テキストには Transformerを用いた Text Encoder と，
画像には ResNet-50，Vision
Transformer(ViT)を用いて Image Encoder を学習させる．それぞれの Encoder を通して，画像とテキストの Embedding を取得し，それぞれのコサイン類似度が最大となるように Encoder を学習させることで，与えられた画像に対してキャプションを生成する事
前学習モデルを実現した．
さらに，一般的な事前学習モデルの精度は，学習したデータセットに依存し，未知のデータに対して精度を上げることが出来なかったが，CLIP は学習したデータ以外でも精度が高くなるような Zero-shot
学習が可能となった．
本研究では，入力テキストの Embedding を得るた
めの Text Encoder と，VQGAN によって生成された
画像の Embedding を得るための Image Encoder として使用される．また，CLIP は画像とテキストの相関性をスコアで獲得することが可能であり，後述する
ランキングによるパラメータ決定の際にも利用する．

3.3.1 VQGAN
VQGAN は Vector Quantization GAN である．豊富

3.3.3 VQGAN-CLIP
先ほど説明した，VQGAN と CLIP を組み合わせた

3.3

画像生成

ー

9

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-02

VQGAN-CLIP に よ っ て Text-to-Image を 行 う ．
VQGAN-CLIP のアーキテクチャは，図 2 となる．

は学習率を示すパラメータであり，生成される画像の内容に対する影響が少ないため，今回は 0.01 に固定して毎回学習を行う．
Seed 値の決定には，CLIP の画像スコアを利用す
る．3.3.2 で述べたように CLIP には，テキストと画像を与えることで，画像の内容がテキストにどれく
らい即しているかを図るスコアを算出することが出来る．このスコアを生成したすべての画像で比較することによって，最もよい Seed 値を調べることが可能となる．
本研究では，与えられたテキストに対して，ランダムな seed 値を与え，25 枚の画像を生成する．各画
像は生成後，CLIP による画像のスコアがそれぞれ算出される．それに加え，各画像を学習し生成した際の loss を基に以下の式(1)でランキングスコアを出す．

図 2：VQGAN-CLIP のアーキテクチャ
VQGAN-CLIP は，生成したい内容のテキストとVQGAN が画像生成するために必要なパラメータを入力として与える．パラメータには，学習回数の上限を決める iter 値，生成される画像の内容を決定する seed 値，学習率を示す step size などがある．これ
らの入力を基に，画像を生成するためのプロセスは次の通りとなる．
①与えられたパラメータから Image Generator である VQGAN が画像を生成する．
②①で生成した画像に対して，CLIP の Image
Encoder によって画像の Embedding を得る．
同様に，入力として与えられたテキストに対しては，CLIP の
Text Encoder によってテキストの Embedding を得る．
③画像 Embedding とテキスト Embedding を比較し，
2 つの loss 値を求める．
④③で求めた loss 値が小さくなるように逆誤差伝播法で繰り返し学習を行う．
以上の①~⑤のプロセスを経て，生成する画像が入力されたテキストの内容に近づいていく．ただし，上記で説明したパラメータは自分で決定する必要があり，最適なパラメータを探すことは困難である．
そのため，次セクションで述べる方法によって，パラメータを決定する方法を提案する．

3.4

ランキングによるパラメータ決定

3.3.2 で画像生成に必要なパラメータを決定する
ために複数枚画像を生成し，その中でランキングを行い，ランクが高い画像を生成したときに使用したパラメータを使用する．今回のランキングによって決定するパラメータは，生成される画像の内容を決定する seed 値と，画像を生成する際の学習回数を決定する iter 値の 2 つとする．3.3.3 で述べた step sizeーRank score =𝐶𝐿𝐼𝑃による画像スコア

画像を生成したときの𝑙𝑜𝑠𝑠(1)

CLIP による画像スコアは，テキストと画像の相関性を示すスコアで，高い数値であればあるほど相関性があるといえる．また，画像を生成したときの loss
は，低い値であればあるほど良い画像が生成できているといえる．つまり，Rank Score は高い値であるほど良い画像が生成されたといえる．
続いての iter 値の決定には，画像が生成されたときの loss 値を利用する．loss 値は先述した通り，低い値であれば，テキストと画像の間で誤差が少ないと評価することが出来る．つまり，loss 値が低い際の iter 値が学習回数として最も適しているといえる．
今回は iter 値が 50 ずつ増えるごとに画像を保存し，loss 値を記録する．4 で行う実験によって，各 iter 値
での画像の loss を参考にし，最も適した iter 値を決
定する．

3.5

再生成

3.4 で決定したパラメータであるランキングが最も高い Seed 値を VQGAN-CLIP のパラメータとし，同じテキストで画像を再度生成する．学習回数 50 回ごとに画像と loss 値を記録し，学習終了後に loss 値が最も低いときの画像をシステムの出力とする．

4 実験
提案システムにおける，パラメータ決定方法の精度を確かめるために，実際に画像を生成した際の iterと loss の関係性を調査する．実験に使う絵本のデー
タは，無料の公開されている絵本から文章のみを抽出する．抽出した文章は，1 本分の絵本で 21 パラグ

10ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-02

ラフ分を使用し，21 枚の画像を生成する．学習回数の上限を 100 回，250 回，500 回として学習を行う．
その際に，iter 値が 50 ずつ増えるごとに loss 値を計測する．
文章要約に用いた PEGASUS は，cnn_dailymail を使用する．CNN と Daily Mail によって書かれた 30
万件強のニュース記事を含む英語のデータセットである．文章要約の機械学習に使われる一般的なデー
タセットである．
VQGAN には，ImageNet のデータセットを学習に用いたモデルを使用する．ImageNet は画像認識分野
における標準的なデータセットであり，訓練用の画像データが 120 万枚用意されており，学習に十分な
データセットである．
CLIP は，提案元である OpenAI が公開されている
事前学習モデルを使用する．3.3.2 で述べたようにイ
ンターネット上から収集した 4 億にも及ぶ画像とテキストのペアを学習に利用している．
使用する GPU は，NVIDIA GeForce GTX 1080，8GBを使用し，画像生成し，実行時間を計測する．

と考えることが出来る．
また，各 iter 値での loss 値の平均を見ると，上限
100 回から上限 250 回の時に約 0.06 下がっているのに対して，上限 250 回から 500 回の時には 0.02 ほどしか下がっていない．
表 2：各パラグラフに対して，学習回数を定めた
ときの loss 値が最も低くなる iter 値
学習回数100
パラグラフ iter

5 実験結果と考察
学習回数を上限 100， 250， 500 回として学習を行った際に，学習回数が 50 ずつ増えるごとに loss を計測する．その後，どの iter 値が最も低い loss 値となったかを，パラグラフごとにまとめる．実行時間
に関する結果を表 1，iter 値と loss 値の関係を示した
結果は表 2 となった．

平均

表 1：上限学習回数を行った際の平均実行時間
学習回数

100

250

500

実行時間(s)48.1166 114.4604 225.50585

100との差66.34385

250との差177.3893
111.04545

表 1 の実行時間から，学習回数が増えると，実行時間も増加していることが分かる．これは，画像を生成するプロセスを繰り返し行っているためである．
次に，表 2 の iter 値と loss 値の関係性についての結果を見る．iter 値を 100 とした時は，ほとんどのパラグラフで 100 回学習したときの loss 値が最も低くなった．次に，iter 値が 250 の時も同様に，ほとんどのパラグラフで 250 回学習した時の loss 値が最も低くなった．続いて，iter 値が 500 とした時は，平均して iter 値が 350 の時が最も loss 値が低くなる事が分かる．このことから，最も低い loss 値の時の iter 値を探すには最低でも 500 回程度の学習が必要である

ー

11

250

loss

iter

500

loss

iter

loss

1

100

0.755

250 0.692047

400

2

100 0.858606

150 0.777282

400 0.738503

3100 0.841877

250 0.734142

350 0.710746

4

100 0.783286

250 0.747524

250 0.744691

5

100 0.840254

250

0.78228

250

6

50

250

0.67835

300 0.662174

7

100 0.776059

250 0.689184

300 0.686342

8

100 0.806283

200 0.801432

250 0.720158

9

100 0.842293

250 0.743442

300 0.740903

10500.75486

250 0.702702

400 0.686614

11

100 0.731423

200 0.689242

300 0.695985

12

100 0.733282

250 0.709531

450 0.702995

13

100 0.775316

250 0.758003

350 0.746047

14

100 0.774019

250 0.708915

500 0.709487

15

100 0.757584

250 0.720492

250 0.710087

16

100 0.824111

250 0.694436

500 0.666173

17

100 0.857855

250 0.758764

450 0.714617

18

100 0.792461

250 0.757109

400 0.721365

19

100 0.789375

250

0.73341350 0.712016

20

100 0.789269

250 0.737588

300 0.714016

21

100

250 0.688265

300 0.676064

0.79047 240.4762 0.728769

350 0.710971

95.23810.760710.75595

0.68390.7875

表 1 と表 2 の結果から，ランキング前の画像を複数枚生成する際には，学習回数の上限を 250 回にし，ランキング後の再生成では，500 回にすることが最も良いと考えた．複数枚の画像を生成するときは，実行時間が増えすぎず，loss も最適なときにほ
とんど変わらないためである．一方，ランキング後は質の良い画像を生成したいため，loss 値が最も低くなる iter 値が見つけられる 500 回が最適であると考えた．

6 今後の展望
今回提案するシステムの評価として，画像生成の精度に関する評価を行う予定である．今回使用するモデルでの VQGAN-CLIP は，教師なし学習である
ためモデルの評価が難しい．一般的に GAN などの教師なし学習では，教師あり学習と異なって，正解
データがないためにモデルをどのように評価するかという問題がある．一般的に使われる性能評価の指ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-02

標として，Inception Score や FID などの指標がある
が，ある程度の実際の画像が必要である．本研究のシステムでは，入力される文章に制限を設けていな
いため，生成される画像も多種多様となることもあり，特定の画像を用意することが困難であると考えた．そのため，生成された画像の評価には客観的評価として，アンケート方法を用いる予定である．ア
ンケートによって評価する内容は，①文章から画像の整合性があっているか(Text→Image)，②画像から文章を想像できるか(Image→Text)の評価を行う．ア
ンケートで評価する内容は以下の通りである．

ある PEGASUS を利用して，要約文章の生成を行った．その後，要約文章を入力テキストとして Text-toImage のモデルである VQGAN-CLIP から，テキストの内容にあった画像を生成することが出来た．また，画像生成の際に必要なパラメータの決定を，複数枚の画像をランク付けし，最も適したパラメータを決定した．今後は，生成された画像の評価をアンケー
トによって行い，システムの調査を行っていく．

謝辞
本研究を進めるにあたり，ご指導いただいた黄潤
和教授に感謝します．また，日頃の議論を通じて多くの知識や示唆をいただいた黄研究室の皆様に感謝いたします．

①要約文章から生成した画像は，その文章の内容にあっているかを検討する．生成された画像内のオブジェクト(人や建物など)， 背景や風景，時間などはあっていると思うかついて評価する．
②生成された画像から，どのような文章を生成できるかを検討する．画像内にどのようなオブジェク
トがあるように見えるか，風景や背景などの様子はどのように見えるかについて評価を行う．

参考文献
[1]

Zhang， Jingqing， et al. "Pegasus: Pre-training withextracted gap-sentences for abstractive summarization."International Conference on Machine Learning. PMLR，
2020.

[2]

①と②の評価によって，テキストと画像の双方向からの評価が出来ると考えている．
また，よりシステムの生成する画像の質を向上するために以下のような方法を検討する．
・生成画像の統一性
現在の画像は各パラグラフを別々に生成するために，それぞれの画像に統一性がない．生成画像の統
一性は，絵本を作成するうえでは必要なものであると考えられる．画像生成モデルには，自分で画像を当てることによってその画像を参考に，入力テキス
トに合わせた画像を新たに生成することが可能であるため，これによって統一性を保証することが出来ると考えている．
・生成画像の画風変換
画像生成モデルは多様なデータを学習させている
ため，入力テキストに特定のテキストを追加することで，画風を変えることが可能である．例えば，生成する画像を「葛飾北斎」が書いたようにしたい場
合は，入力テキストに「by Hokusai Katsushika」と追加することで，あたかも「葛飾北斎」が書いたような画像を生成することができる．

Esser， Patrick， Robin Rombach， and Bjorn Ommer.
"Tamingtransformers

forhigh-resolution

image

synthesis." Proceedings of the IEEE/CVF Conference on
Computer Vision and Pattern Recognition. 2021.
[3]

Radford ， Alec， et al. "Learning transferable visualmodels from natural language supervision." arXiv preprint
arXiv:2103.00020 (2021).

[4]

Mihalcea， Rada， and Paul Tarau. "Textrank: Bringing
order into text." Proceedings of the 2004 conference on
empirical methods in natural language processing. 2004.

[5]

Ozsoy，Makbule Gulcin，Ferda Nur Alpaslan，and Ilyas
Cicekli. "Text summarization using latent semantic
analysis." Journal of Information Science 37.4 (2011):
405-417.

[6]

Devlin ， Jacob ， et al. "Bert: Pre-training of deep
bidirectional transformers for language understanding."
arXiv preprint arXiv:1810.04805 (2018).

[7]

Reed， Scott， et al. "Generative adversarial text to image
synthesis." International Conference on Machine Learning.
PMLR， 2016.

[8]

Zhang， Han， et al. "Stackgan: Text to photo-realistic
image synthesis with stacked generative adversarial

7 まとめ

networks." Proceedings of the IEEE international
conference on computer vision. 2017.

今回，読者のイメージ形成のサポートとして絵本の文章から画像を生成するシステムを提案した．提案システムでは，生成するための文章を決めるために，文章要約の方法を用いて，事前学習モデルでのー[9]Ramesh ， Aditya ， et al. "Zero-shot text-to-image
generation." arXiv preprint arXiv:2102.12092 (2021).

[10] Brown， Tom B.， et al. "Language models are few-shotlearners." arXiv preprint arXiv:2005.14165 (2020).

12ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03

逐次推薦状況におけるプロービングアイテム決定戦略に関する検討
Consideration of Strategy for Selecting Probing Items in Intractive
Recommendation
高間 康史 1∗ 徐 銘蔓 1 柴田 祐樹 1
Yasufumi Takama1 Mingman Xu1 Hiroki Shibata1
東京都立大学Tokyo Metropolitan University
1

1

Abstract: This paper compares several strategies for determining probing items. Probing items
are presented to users especially at their sign-up process to get their feedback, from which user
proﬁles are constructed. Therefore, how to select probing items are important for designing recommender systems. This paper reports the results of comparing several strategies by simulatinguser behaviors using a dataset.

1

はじめに

本稿では，逐次推薦状況において，ユーザの嗜好を推定するためのプロービングアイテム決定戦略について検討する．情報推薦を利用したサービスでは，アイテ
ムに対するユーザの関心や嗜好に関する情報を収集し，これに基づいて推薦アイテムを決定する．特に，協調フィルタリングを用いたサービスでは，ユーザがアイ
テムに対して下した行為（閲覧，購入，評価など）に関する情報（インタラクションデータ）に基づいて，推薦アイテムを決定する [12]．研究においては，事前に収集された大規模インタラクションデータを対象とする場合が一般的であるが，実際のサービスを想定すると，サービスを通じてインタラクションデータを逐次収集していく必要がある．
インタラクションデータを収集するアプローチの一つとして，新規ユーザが推薦サービスの利用を始める
際に，いくつかのアイテムを提示し，それらに対するフィードバックを得ることでユーザプロファイルを構築する事が考えられ，そのようなプロセスを本稿ではサインアッププロセスと呼ぶ．サインアッププロセスにおいて提示するアイテムは，得られるユーザプロファ
イルの質に影響を与えることから，提示すべきアイテ
ムの選択は重要と考える．
本稿では，「ユーザのフィードバックを効率よく得られるようなアイテム」をプロービングアイテムと定義
し，行為履歴のない新規ユーザにアイテムを逐次的に∗ 連絡先： 東京都立大学システムデザイン学部〒 191-0065 東京都日野市旭が丘 6-6
E-mail: ytakama@tmu.ac.jpー13

推薦していく状況を想定して，プロービングアイテムの決定戦略について検討する．具体的には，ユーザプ
ロファイルを構築するサインアッププロセスと協調フィ
ルタリングを用いる推薦プロセスの 2 段階に分け，それぞれアイテムの推薦およびユーザによる評価（フィードバック）を繰り返しながらユーザプロファイルを逐次更新していく．実験協力者によるユーザ実験ではなく，データセット（評価値行列）を利用してユーザの行動を模擬することで逐次推薦状況を再現する．これ
により，ユーザ実験よりも大規模なユーザ実験を低コ
スト・短時間で実施可能である．優れた推薦システム
は，サインアッププロセスにおけるユーザの労力を最小限に抑えつつ，高い推薦精度を達成できるとの考えに基づき，複数のプロービングアイテム決定戦略の比較検討を行う．

2

関連研究

2.1

協調フィルタリング

情報推薦手法は，アイテムの属性を利用する内容ベー
スフィルタリングと，ユーザがアイテムに対して下した行為履歴に基づく協調フィルタリングに大別される．
協調フィルタリングでは，行為履歴を評価値行列として表現し，これを入力データとしてアイテムに対するユーザの予測評価値を計算する [12]．
協調フィルタリングはメモリベース法とモデルベース法，及びこれらのハイブリッド手法に大別される．メ
モリベース法はユーザやアイテム同士の類似度を評価ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03値行列から直接計算し，予測評価値を求める．代表的な手法に k-NN (k-Nearest Neighbor) [3] があり，ピア
ソン相関係数を用いて推薦対象ユーザと類似するユーザ集合を求め，類似ユーザが対象アイテムに対して下した評価値と，推薦対象ユーザとの類似度に基づいて
予測評価値を求める．
モデルベース法は評価値行列から構築したユーザやアイテムのモデルを用いて予測評価値を求める．評価
値行列から，潜在因子によるユーザベクトル，アイテ
ムベクトルを求める行列分解ベース [8, 13] や深層学習
ベースの手法 [4, 5] が提案されている．

2.2

コールドスタート

コールドスタートは協調フィルタリングの課題の一つとして指摘されており，新規ユーザや新規アイテムが増えた際に，行為履歴が蓄積されるまで精度良い推薦が行えなかったり，推薦ができない問題を指す．
これまでに，コールドスタート問題の解決策として様々な手法が提案されており，非個人化推薦と個人化推薦に大別される．非個人化推薦にはランダムな推薦 [6]，人気度やエントロピーに基づいた推薦手法 [10, 11] がある．個人化推薦では，アンケートに基づく推薦 [1, 18]，
評価値行列の拡張による推薦 [7, 14] やソーシャル情報を利用する推薦手法 [9, 15] などが挙げられる．

2.3

対話型情報推薦システム

推薦システムの評価は，MAE (Mean Absolute Error) や RMSE (Root Mean Square Error) など予測評
価値の誤差や，適合率，再現率など推薦リストに基づく評価が主流である．これらは，蓄積された行為履歴に基づいてユーザの嗜好を予測し，一度だけ推薦の提示を行う状況を想定した評価と言える．
一方，情報推薦システムを運用している状況を想定
すると，行為履歴はアイテムの推薦を通じて逐次的に得られるため，ユーザに対しどのようなアイテムを提示するかは，その後の推薦アルゴリズムの挙動に影響を与えることになる．この様な，ユーザとの対話から得られる情報の活用に焦点を当てた，対話型情報推薦システム（conversational recommender systems）に関する研究が行われている．
対話型情報推薦システムにおいて，逐次的に得られるユーザフィードバックを手掛かりに適切な推薦アイテムを決定するプロセスを探索と利用のトレードオフ（exploration-exploitation tradeoﬀ）としてとらえ，多腕バンディット問題（multi-armed bandit problem）の枠組みを適用する研究も多い．Zhao らは PMF[13] を拡張したインタラクティブな協調フィルタリング手法

ーを提案している [19]．Thompson Sampling を利用してユーザに推薦するアイテムを決定し，フィードバッ
ク（評価）に基づきユーザプロファイルを逐次更新す
る．Christakopoulou らは Thompson Sampling の他，
UCB (Upper Conﬁdence Bond) や Greedy など複数のアイテム提示戦略について比較している [2]．
ユーザとのインタラクション設計に着目した研究として，Sun らは，自然言語による対話を通じた推薦シス
テムを提案している [16]．アイテムが満たす条件・特徴を取得する事を目的としたモデリングのための対話と，推薦のための対話の両方を考慮しており，どちらの対話を行うかを決定する対話戦略を学習している．Wegba
らは，ユーザが満足するまで推薦を繰り返す事を想定した対話型映画推薦システムを提案している [17]．ユー
ザが満足するまで繰り返す反復的プロセスはユーザによる映画データベースの探索とみなせるため，映画をキャラクタと見立てたストーリーテリングによってより良い探索体験を提供することで，推薦結果に対する満足度向上を目指している．

逐次推薦状況の構築

3

逐次推薦状況を想定して情報推薦システムを評価する場合，実験協力者を募って行うユーザ実験と，デー
タセット（評価値行列）に基づくオフライン実験の 2
つのアプローチが考えられる．前者は，実際のユーザの反応・フィードバックを取得できる利点があるが，大規模な実験を実施したり，多数のシステムやアルゴリ
ズムを比較することが困難である．一方，オフライン
実験は評価値行列に含まれない状況，例えば未評価ア
イテムに対する評価などが不明であるなどの欠点があるが，多数ユーザによる評価や，多数システム・アル
ゴリズムを同一条件で比較することが可能という利点がある．従って，ユーザ実験を行う前に，検証すべき
仮説や評価対象とするシステム・アルゴリズムを絞り込む用途などに，オフライン実験は有効と考える．
以上の考えに基づき，本稿ではデータセットを利用したオフライン実験を採用する．本節では，利用する
データセット，逐次推薦の手順，ユーザフィードバックを取得するためのプロービングアイテム決定戦略について説明する．

3.1

データセット対象データセットとして Grouplens が提供している
MovieLens 100K Dataset1 を使用する．このデータセッ
トにはユーザ 943 人が映画 1,682 件に対し，評価 1〜5の 5 段階で下した 100,000 件の評価を含んでいる．
1 https://grouplens.org/datasets/movielens/

14ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03(a) KNNWithMeans を用いて，Rt′ に基づき vi (∈Vt − Vt′ ) の予測評価値 r̂ti を求め，最大値をとるアイテム vm を ut に提示する．

逐次推薦を行う対象ユーザは，その行動を模擬する必要がある事から，評価件数が少ないユーザは対象として不適である．本稿では，評価件数が 200 以上のユーザを推薦対象ユーザとする．データセット内の全ユー
ザのうち，本条件を満たすユーザは 149 人存在した．他のユーザも，推薦対象としては利用しないが近傍ユーザなどとしては利用する．

3.2(b) vm に対する ut のフィードバック rtm (∈ Rt )を取得し，Vt′ , Rt′ に vm , rtm をそれぞれ追加
する．
サインアッププロセスにおいて，Vt に含まれるアイ
テムを ut が過去に評価したことのあるアイテムとして扱う．提示されたアイテムに対するユーザのフィード
バックを取得する必要があるため，推薦プロセスにおいても Vt から推薦アイテムを選択する．

逐次推薦手順

推薦対象ユーザは，当該推薦システムを初めて利用する新規ユーザである事を想定する．新規ユーザは推薦アイテムを決定するために必要な行為履歴を持たないため，本稿では以下の 2 段階に分けて推薦を行う．

3.3

プロービングアイテム決定戦略

サインアッププロセスにおけるプロービングアイテ
ム決定戦略として，本稿では以下の 11 種類を採用し，比較する．

• サインアッププロセス：ユーザプロファイル構築を目的とした推薦を行う• 推薦プロセス：ユーザが好むアイテムを推薦することを目的とした推薦を行う

1. Random: ランダムにアイテムをソート
2. Popularity: 人気度（評価件数）fi が高いアイテ
ムを優先

サインアッププロセスは，推薦プロセスにおいて有効なユーザプロファイルを構築するためのフィードバッ
クを得ることが目的であり，このプロセスで提示するアイテムを本稿ではプロービングアイテムと呼ぶ．推薦プロセスでは，一般的なユーザベース協調フィルタリング（KNNWithMeans2 ）を利用する．
各推薦対象ユーザ ut に対して，以下の手順で推薦を逐次実行する．ここで，Vt は ut が実際に評価したアイ
テム，Rt ⊂ R（R は評価値行列）は ut の実際の評価履歴とする．

3. Variance[6]: 評価値の分散が大きいアイテムを優先
4. Mean: 平均評価値が高いアイテムを優先
5. Pure entropy[6]: エントロピーが大きいアイテムを優先∑
pij log(pij )H(vi ) = −(1)j

1. 初期設定：元のデータセットから Rt を除去し，
Vt′ = {}, Rt′ = {} とする．

pij はアイテム vi に対する全評価のうち評価値がj である割合を示す．

2. サインアッププロセス：以下の推薦を 10 回繰り返す．

6. Entropy0[11]: 評価値行列の欠損値を 0 で置換してから各アイテムのエントロピーを計算し，大きいアイテムを優先(a) Vt′ に含まれないアイテムを後述する決定戦
略によってソートし，リストとして ut に提示する．

7. Ent*Pop[10]: H(vi )（Pure entropy）と fi の積が大きいアイテムを優先
8. Ent*(log Pop)[10]: H(vi )（Pure entropy）と log fiの積が大きいアイテムを優先(b) ut はリストの上位から評価したことのあるアイテムを探して行き，最初に発見したアイテムを vi (∈ Vt ) とする．

9. HELF[11]: エントロピーと評価件数の調和平均が大きいアイテムを優先(c) vi に対する ut のフィードバック（評価値）
rti (∈ Rt ) を取得し，Vt′ , Rt′ に vi , rti をそれぞれ追加する．

LF (vi ) =3. 推薦プロセス：以下の推薦を 10 回繰り返す．

H ′ (vi ) =HELF (vi ) =2 http://surpriselib.com/

ー

15

ー

log filog |R|
H(vi )log 5
2LF (vi )H ′ (vi )LF (vi ) + H ′ (vi )

(2)
(3)
(4)

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03|R| は全評価件数であり，式 (3) は評価値（5 段階）の異なり数で H(vi ) を補正している．

1.5
RandomPopularity
Variance
Mean
Pure entropy
Entropy0
Ent*Pop
Ent*(log Pop)
HELF
Item-based(Popularity)
Item-based(Random)

1.4
1.3

10. Item-based (Popularity): 初回は人気度が高いア
イテムを優先，2 回目からアイテム近傍ベース協
調フィルタリングを用いて予測評価値が高いアイ
テムを優先

1.2

RMSE

1.1
1
0.9

11. Item-based (Random): 初回はランダムにアイテ
ムをソート，2 回目からアイテム近傍ベース協調
フィルタリングを用いて予測評価値が高いアイテ
ムを優先

0.8
0.7
0.6
0.5
1

2

3

4

5

6

7

8

9 10 11 12 13 14 15 16 17 18 19 20# of presented movies

評価実験

4.1

評価指標

図 1: 各決定戦略による RMSE の結果

本稿では，サインアッププロセスにおけるユーザの労力，推薦プロセスにおける推薦性能の二つの観点か
らプロービングアイテム決定戦略を評価する．前述の通り，サインアッププロセスでは各プロービングアイテ
ム決定戦略に従いアイテムをソートして推薦対象ユー
ザに提示し，ユーザはリストの上位から自身が視聴したことのある映画を探し，見つけたらそれに対する評
価をシステムに伝えるプロセスを繰り返す．このとき，視聴したことのアイテムを見つけるまでに要する時間がユーザの労力とみなせる．そこで本実験では，提示されたアイテムのリストにおける，実際に評価したことのあるアイテムの最高順位に基づいてユーザの労力を評価する．この順位が高いほど，サインアッププロ
セスにおけるユーザの労力は少ないことになる．
推薦プロセスにおける推薦性能の評価には RMSE と
MAE を用いる．RMSE と MAE は評価値の予測における精度評価の指標であり，それぞれ以下の式で定義
される．

√
RM SE

=

1 ∑
(rˆi − ri )2
|R|

(5)

ri ∈R

M AE

=

1 ∑
|rˆi − ri |
|R|

(6)

ri ∈R

ここで，ri ，rˆi はそれぞれ，実際の評価値と予測評価値を表す．トップ k 推薦を想定して適合率，再現率で評価することも考えられるが，本稿では推薦性能の時間的変化を確認する意図もあり，予測誤差による評価を採用した．

ー

16

1.2
RandomPopularity
Variance
Mean
Pure entropy
Entropy0
Ent*Pop
Ent*(log Pop)
HELF
Item-based(Popularity)
Item-based(Random)

1.1
1
0.9

MAE

4

0.8
0.7
0.6
0.5
0.4
1

2

3

4

5

6

7

8

9 10 11 12 13 14 15 16 17 18 19 20# of presented movies

図 2: 各決定戦略による MAE の結果

4.2

実験結果

評価件数が 200 以上のユーザ 149 人に対して，それぞれ 3.2 節に示した手順で全 20 回（サインアッププロ
セス，推薦プロセス各 10 回）の推薦を行った．推薦回
ごとの全ユーザの平均 RMSE, MAE を求めた結果を図1, 2 にそれぞれ示す．また，サインアッププロセスにおけるユーザの労力に関する指標として，視聴したことのある映画の最高順位の全ユーザ平均を求めた結果を図 3 に示す．
図に示した結果に基づき，サインアッププロセスにおけるユーザの労力，推薦プロセス開始時および終了時の推薦性能に関して各プロービングアイテム決定戦
略を比較した結果を表 1 に示す．
サインアッププロセスでは，人気度を考慮した戦略
でユーザ労力が低い傾向にある．人気アイテムはユー
ザが知っている可能性が高いため，サインアッププロ
セスにおけるユーザ労力の削減に貢献したと考える．

ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03

得ていたことが最終的な性能向上につながったと考える．反対に，Popularity の推薦性能は推薦プロセスを通じてあまり変化しておらず，サインアッププロセスで多様なアイテムについてのフィードバックが得られなかったことが影響した可能性があると考える．エント
ロピーと人気度の両方を考慮した戦略である Ent*Pop，Ent*(log Pop) は，ユーザ労力と推薦プロセス全体を通じた性能の両面で良い結果が得られていると言える．
Item-based (Random, Popularity) はどの評価指標においても他の戦略より劣る結果となった．このことは，新規ユーザに対する推薦が困難という協調フィル
タリングの欠点が反映されたものといえ，システム利用開始時の早い段階でユーザに提示するプロービング
アイテムの選択が重要であることを示唆していると考
える．

300

250

RandomPopularity
Variance
Mean
Pure entropy
Entropy0
Ent*Pop
Ent*(log Pop)
HELF
Item-based(Popularity)
Item-based(Random)

Ranking

200

150

100

50

0
1

2

3

4

5

6

7

8

9

10

# of presented movies

図 3: サインアッププロセスにおけるユーザの労力
表 1: 各決定戦略の比較
ユーザ労力 推薦性能 推薦性能
（開始時） （終了時）
Random△○○Popularity○○△
Variance
×
×
○
Mean
△
△
△
Pure entropy△
×○
Entropy0○○△
Ent*Pop○△○
Ent*(log Pop)
○
△
○
HELF
○
△
△
Item-based
×△×(Popularity)
Item-based
×××(Random)
決定戦略

5

本稿では，逐次推薦状況においてユーザプロファイ
ルを構築するために提示するプロービングアイテムの決定戦略について，データセットを用いた比較実験を行った．ランダムな選択や人気度を考慮した選択など，
11 種類の決定戦略について実験を行った結果，人気度を考慮した戦略はユーザ労力が抑えられること，エントロピーと人気度の両方を利用した戦略はユーザ労力と推薦性能のバランスが良い結果が得られることを確認した．
本稿の課題として，データセットを利用した実験であるため，ユーザが評価したことのあるアイテムについてしかフィードバックが得られないことが挙げられる．また，ユーザが過去に評価したアイテムは，ユーザの嗜好や知識に影響を与え，結果としてそれ以降のアイテム評価に影響することが考えられるが，今回の実験では考慮することができていない．これらの課題に関しては，実験協力者を募ってのユーザ実験の実施などが必要と考えるが，コストのかかるユーザ実験前に，検証すべき戦略の絞り込みをするためには，本稿で採用したアプローチは有効と考える．

Entropy0 では未評価が多いアイテムのエントロピーが低下する効果があり，人気度の考慮と同様の効果があったと考える．一方，Variance や Pure entropy など，評価のばらつきのみを考慮した戦略ではユーザ労力が高い傾向があり，人気度との組み合わせなどが必要と考える．
推薦プロセス開始時の推薦性能は，Random，Popularity，Entropy0 で良好な結果が得られている．Random では様々なアイテムを提示することがユーザプロ
ファイルの質向上につながり，推薦プロセス開始時に高い推薦性能が得られていると考える．しかし，サインアッププロセスでユーザが知っているアイテムを上位で提示できない場合があるため，ユーザの労力は Popularity よりも劣る結果となったと考える．
推薦プロセス終了時の推薦性能は，Random，Variance，Pure entropy，Ent*Pop，Ent*(log Pop) で他よりも良好な結果が得られている．Variance と Pure entropy は，多様なアイテムについてのフィードバックを

ー

おわりに

謝辞
本研究の一部は JSPS 科研費 19K22896, 21H03553の助成を受けたものです。

参考文献[1] M. Aharon, O. Anava, N. Avigdor-Elgrabli, D.
Drachsler-Cohen, S. Golan, O. Somekh. Ex-

17ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03

cuseme: Asking users to help in item cold-start
recommendations, 9th ACM Conference on Recommender Systems, pp. 83–90, 2015.

[12] P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom,
J. Riedl. GroupLens: An Open Architecture
for Collaborative Filtering of Netnews, ACM
Conference on Computer Supported Cooperative
Work, pp. 175–186, 1994.

[2] K. Christakopoulou, F. Radlinski, K. Hofmann.
Towards Conversational Recommender Systems,
KDD’16, pp. 815–824, 2016.

[13] R. Salakhutdinov, A. Mnih. Probabilistic Matrix
Factorization, NIPS’07, pp. 1257–1264, 2007.

[3] T. Cover, P. Hart. Nearest Neighbor Pattern
Classiﬁcation, IEEE Transaction on Information
Theory, Vol. IT-13, pp. 21–27, 1967.

[14] M. Saveski, A. Mantrach. Item Cold-start Recommendations: Learning Local Collective Embeddings, 8th ACM Conference on Recommender
Systems, pp. 89–96, 2014.

[4] T. Ebesu, B. Shen, Y. Fang. Collaborative Memory Network for Recommendation Systems, SIGIR’18, pp. 515–524, 2018.

[15] S. Sedhain, S. Sanner, D. Braziunas, L. Xie,
J. Christensen. Social Collaborative Filtering for
Cold-Start Recommendations, 8th ACM Conference on Recommender Systems, pp. 345–348,
2014.

[5] X. He, L. Liao, H. Zhang, L. Nie, X. Hu,
T.-S. Chua. Neural Collaborative Filtering,
WWW2017, pp. 173–182, 2017.
[6] A. Kohrs, B. Merialdo. Improving Collaborative
Filtering for New Users by Smart Object Selection, International Conference on Media Features, 2001.

[16] Y. Sun, Y. Zhang. Conversational Recommender
System, SIGIR’18, pp. 234–244, 2018.
[17] K. Wegba, A. Lu, Y. Li, W. Wang, Interactive
Storytelling for Movie Recommendation throughLatent Semantic Analysis, IUI2018, pp. 521–533,
2018.

[7] X. Lam, T. Vu, T. Le, A. Duong. Addressing Cold-Start Problem in Recommendation Systems, 2nd International Conference on Ubiquitous Information Management and Communication, pp. 208–211, 2008.

[18] M. Zhang, J. Tang, X. Zhang, X. Xue. Addressing Cold Start in Recommender Systems:
A Semi-Supervised Co-Training Algorithm, 37th
International ACM Conference on Research; Development in Information Retrieval, pp. 73–82,
2014.

[8] D.D. Lee, H.S. Seung. Algorithms for Nonnegative Matrix Factorization, NIPS’00, pp. 556–562,
2000.
[9] C. Li, F. Wang, Y. Yang, Z. Li, X. Zhang. Exploring Social Networking Information for Solving Cold Start in Product Recommendation, International Conference on Web Information Systems Engineering, pp. 276–283, 2015.

[19] X. Zhao, W. Zhang, J. Wang. Interactive Collaborative Filtering, CIKM’13, pp. 1411–1420, 2013.

[10] A. Rashid, I. Albert, D. Cosley, S. Lam, S. Mcnee, J. Konstan, J. Riedl. Getting to Know You:
Learning New User Preferences in Recommender
Systems, 7th International Conference on Intelligent User Interfaces, pp. 127–134, 2002.
[11] A. Rashid, G. Karypis, J. Riedl. Learning Preferences of New Users in Recommender Systems: An Information Theoretic Approach,
ACM SIGKDD Explorations Newsletter, Vol. 10,
Issue 2, pp. 90–100, 2008.

ー

18

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-04

インタラクティブ観光経路推薦手法の構築に対する検討
Prior Investigation Towards Interactive Sightseeing Route Recommendation
Method柴田祐樹 1∗ 高間康史 1
Hiroki Shibata1
Yasufumi Takama1
東京都立大学大学院システムデザイン研究科
Graduate School of System Design, Tokyo Metropolitan Universiy1

1

Abstract: This paper reports a prior investigation towards an interactive sightseeing route recommendation
method. While most of the traditional recommendation systems just present a few solutions to its user, thisstudy assumes that users establish their own route from the distribution of degree of recommendation. The
degree is formulated as a probability distribution. A fast iterative sampling method called Exchange Monte
Carlo is employed. The degree of recommendation is assumed to be updated based on the feedback fromusers. Through results by simulation, practical use cases are discussed.

1

はじめに

本稿ではインタラクティブ経路推薦手法について検討する．観光経路推薦では多くの不確実性を扱わなければならない．不確実性の原因として，天候の変化，人の行動に起因する外乱，センサの精度不足などがある．
この前提の推薦であっても利用者との対話を通して推薦内容を改善していくことが可能であり，その枠組み
は Human in the loop と呼ばれ，研究が進められている[1]．観光経路推薦では前述の通り状況が刻一刻と変化していく．くわえて，変化に対応して利用者が待てる
時間内で再度推薦を行わなければならない．この問題に関して様々な観点から研究が行われている [6, 7, 3]．
観光経路推薦では Traveling Salesman Problem (TSP)の拡張である Selective TSP (STSP) [8] が問題の定式化としてよく用いられる．TSP は最適化問題に含まれる．
最適化問題を定式化として利用した推薦手法では，最適解の近似解のいくらかを候補として推薦が広く行われる [6, 7]．しかしながらこの方法は，利用者に経路を追従する負担を強いることになり，運送計画の決定には適するが，被災地からの避難中や，休暇中の移動など状況の変化が多い用途には適していないと考える．
よって本研究では利用者に経路の大まかな方向を与え，利用者自身で実際の経路を決定可能な推薦の提示方法
を考える．
本稿では，離散的な経路を提示するのではなく，経路の分布を提示することで，利用者が分布から経路を描くことができるのではないかと考える．これに対し，不確実性を扱う観光経路推薦の研究の中でも確率分布
により経路生成を定式化し，Simulated Annealing (SA)[5] を用いて推薦経路を生成する研究が行われている[3]．しかしながら，[3] は分布の生成のための標本抽出法について論じておらず，確率モデルに適した問題の定式化と，SA による最適化法の提案にとどまる．
SA は温度 0 の極限分布から最適解を抽出するために，モデルの温度と呼ばれる制御変数を複数用いる．
同様に多数の温度を用いて確率分布を近似する手法に，
Exchange Monte Carlo (EMC) [9] と呼ばれる手法がある．SA が極限分布のみを近似するのに対し，EMC は
任意の温度の分布を近似することが可能であるため，確率分布を近似する場合は EMC を用いた方が良い．また，EMC は最適化性能においても優れていることが報告されている．
本稿では，[3] の問題定式化に基づき，EMC を利用して確率分布の近似を行う手法を提案し，数値実験結果を，実際の利用場面と照らし合わせて考察する．評
価実験では人工データセットを用い，EMC が SA に比べ優れていることを示す．確率分布を提示することにより，利用者が自ら道順を選択することが可能な推薦
手法は著者らの確認する限り見当たらない．また，同時に，インタラクティブに利用者の状態を反映させる
ことが経路最適化手法を目指した研究も見当たらない．
以上の課題に本研究は貢献する．

∗ 連絡先：東京都立大学システムデザイン学部情報科学〒 191-0065 東京都日野市旭が丘 6-6
E-mail: hshibata@tmu.ac.jp

ー

19

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-04

1.1

記法

2.2

n を自然数としたとき，[n] = {1, 2, ..., n} であるとする．
ある集合 A と添字の集合 N があるとき，AN は集合であるとし，その要素 a ∈ AN は ∀i ∈ N [ai ∈ A] を満たす系列であるとする．例えば， x ∈ R[n] は x = (x1 , x2 , ..., xn )で書かれる実数列を意味する．#A は集合 A の要素数を示す．{1, 2, ...} のように {·} を用いて定義されたものは集合であり，(1, 2, ...) のように (·) を用い定義されたものは族であるとする1 ．

2

関連研究

2.1

Traveling Salesman Problem

観光経路推薦の問題定式化に TSP がよく使われる．
N を接点の集合，E ⊂ N × N を辺の集合としてグラフ(N, E) を考える．このとき，TSP は各 n ∈ N を訪れるべき場所，各 e = (n1 , n2 ) ∈ E は n1 , n2 を結ぶ抽象的な経路であると定義する．普通は n1 , n2 を実在の経路で結ぶ最短経路がこれに選ばれる．e には重み we ≥ 0 が割り当てられる．重みはすべての辺に定義される，つまり (N, E) は完全グラフであるとされる． x が有効な経路であることを[[]]P(x) ⇔ x ∈ N [#N+1] , ∀i, j ∈ [#N] xi , x j , x1 = x#N+1と定義する．この制約 P を用いて，TSP は以下の x∗ を求める問題と定義される．

ϕ(x∗ ) = min ϕ(x), ϕ(x) =
P(x)

#N
∑

w xi ,xi+1

(1)

i=1

上記中の ϕ は目的関数と呼ばれる．
観光経路の選定では，訪れるべき場所が定まっているよりも，利用可能な時間が定まっている場合の方が多いと言える．利用時間を制約として，より良い経路を選ぶ問題の定式化に Selective TSP (STSP) [8] がある．
STSP は与えられた制限コスト内で訪れた地点にある価値の総和を最大化する問題として経路最適化問題を定式化する．
STSP，TSP どちらにおいても，考慮するグラフは実
際の交通機関を抽象化したもので，グラフは完全であるとしており，実際の道路の接続関係とは異なる．問
題は抽象化され，完全グラフであるため解法を考えやすいという利点がこの定式化にはあるが，観光経路推薦に用いる場合，接点として設定した地点間の経路の情報，つまり移動途中の景観などの情報が失われている，という欠点がある．

観光経路推薦手法は，ユーザ毎の価値観に応じユー
ザ毎に異なる推薦を行うことができ，またその逆に同じユーザに推薦される経路は，同じ性質を持つものであることが求められる．このために，前節で説明した
STSP の価値は，通常ユーザの価値観をモデル化して決定される．つまり，推薦には価値観モデル化と，モデルからの解の推定をそれぞれ行うための 2 つの手法が必要となる．この 2 つをつなぐのが問題の定式化である．
推薦する経路を求める問題を定式化するが，不確実性に対処するかを考える必要がある．経路推薦における不確実性について論じた文献に [6] がある．前述した価値観モデル自体に不確実性が含まれることから，推薦問題の定式化も不確実性を扱えることが望ましい．不確実性を矛盾なくあつかう枠組みとして，Fuzzy 集合
論を [6] では用いている．確率モデルによる定式化を用いた研究には Edge Vector (EV) [3] がある．本研究では
主に EV を扱うため，こちらについて詳しく紹介する．
前節で述べたとおり，観光経路推薦では STSP が問題の定式化としてよく使われる．STSP は完全グラフを対象とする．これに対し EV では実際の道路地図を用いる．また，STSP が接点に観光地点の価値を割り当てるのに対し，EV ではすべての道に価値があると仮定する．また，価値，移動負荷は両方とも辺上に定義されるとしてしている．図 1 にこれらグラフの比較を示す．図中左側が従来より STSP で使われているグラフである．背面に灰色で元となった道路地図を意図したグラフを示し，興味ある地点を５つ仮定し，それぞれ興味の度合いを大きさで表現するとした丸で表している．大きな途中の細かい道はすべて抽象化された経路に置き換えられている．これにより問題の規模はものと道路地図よりずっと小さくなることがわかる．右側は EV で仮定されるグラフである．すべての道を興味ある地点と仮定して最適化を行う．問題の規模は，左側のモデル化より大きいため，高速な解法が経路生成において必要となる．これに対し，SA と仮想辺と呼ばれる概念の利用が EV で提案されている．
EV の問題定式化をここで説明する．道路地図のグ
ラフを (N, E) とする．e ∈ E に対し w0e ≥ 0 を道に定義された重み，b0e ≥ [0, 1) を道に定義された価値とする．
n, n′ ∈ N に対し，重み w を次の通り定義する．
[](n, n′ ) ∈ E ⇒ wn,n′ = w0n,n′ , bn,n′ = b0n,n′ ,[](n, n′ ) < E ⇒ wn,n′ = s(n, n′ ), be = −Bs(n, n′ ) .
ただし s は以下で定義される．これは実最短経路を与1 添字が自然数で与えられる場合，族は組や数列という概念に等
しい．

ー

20

観光経路推薦ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-04

Major spots only

想辺を含む状態は取りづらくなり，最終的に最適解か
らこれは取り除かれる．しかしながら，完全グラフでない本定式化では，途中仮想辺を経由しなければ遷移が行えない場合があり，遷移しづらいことが問題となる．これは後述する meta-Heuristics により解決される．

All edges are spots

2.3

Proposed

Conventional

組み合わせ最適化問題の近似解法には，Simulated annealing (SA) [5] や遺伝的アルゴリズム [11]，Exchange
Monte Carlo (EMC)[9], 蟻コロニー最適化 [4] と言った
meta-Heuristics (MHs) が一般に用いられる．MHs は局
所最適化法と組み合わせて利用する．いずれも，局所最適化を目的関数を低下させる方向にのみ用いる貪欲
法に対し，目的関数の増加を確率的に一時的に認めることで，過適合を防ぐ手法である．TSP 系の問題に対する局所最適化法としては，k-opt 法 [10] が広く用いられる．ここでは MHs のうち，SA と EMC について説明する．
SA, EMC どちらも Markov 連鎖 Monte Carlo(MCMC)法に基づく手法である．標本を抽出したい対象の確率変数を x，その分布を p (x) と表す．MCMC では確率変数の系列 x1 , x2 , ... を用いて x を近似することを考える．このとき，十分大きな i について，⟨xi ⟩ = x とな
るよな系列を定める遷移確率 p (xi+1 |xi ) が存在する [2]．
実際に X を x の取りうる状態の空間としたとき，任意の x, x′ ∈ X について，以下の定式化を考えることができる．

図 1: Conceptual emages of the formulations used in Selective Traveling Salesman Problem (left) and proposed
method (right).

図 2: Comparison of 2 function shapes used in [3].
えるものである．

s(n, n′ ) = min
x,m

m−1
∑

w xi ,xi+1 , x ∈ N [m] ,i=1

x1 = n, xm = n′ , ∀i ∈ [m − 1](xi , xi + 1) ∈ E
B は罰則係数であり，EV では B > 0 の値とされる．これは超パラメータである．辺 e < E を仮想辺と呼ぶ．対応する be は罰則負荷である．以上の重みの元，EV の目的関数は次で定義される．
 m−1
m−1
 ∑
∑
b xi ,xi+1(2)ϕ(x, m) = Fr  w xi ,xi+1 − C  −i=1

Meta-Heuristics()
p xi+1 = x′ |xi = x =() ()
A x′ , x q xi+1 = x′ |xi = x + C(x)δ(x, x′ ) (3)
ここで，(i = j ⇒ δ(i, j) = 1)∧(i , j ⇒ δ(i, j) = 0) は Kronecker のデルタであり，A は次で定義される．
()
p (x = x′ )A(x′ , x) = min 1,
p (x = x)i=1関数 Fr : R → R は制約関数で，STSP に対応させる場合
は，Fr (x) = lima→∞ exp (ax) と定義する．他に，Fr (x) =Fev (x) の定義も EV では用いられる．図 2 にこれら関数の形状を示す．Fev の定義の詳細は [3] に記載されている．経路の制約は次で定義される．
[]
P(x, m) ⇔ x ∈ N [m] ∧ ∀i, j ∈ [m] xi , x j

さらに q は次の対称性を満たすとする．
()()
q xi+1 = x′ |xi = x = q xi+1 = x|xi = x′

時間制約に関しては Fr で表現されるため，上記には明示されない．
仮想辺 e < E が経路 x に含まれているとき，we の定義より，x に罰則が追加される．この仮想辺 e を s(e) と等しい E からなる経路に置き換えた場合の経路を x′ とすると，ϕ(x) > ϕ(x′ ) となるように，B を定める必要がある．通常 B > 1 でこれが満たされる．これにより，仮以上の式 (3) の系により系列を計算する方法は，Metropolis 法と呼ばれ，MCMC 法を実現するために考案された最初のものである．
目的関数 ϕ : X → R が与えられたとき，x の確率分
布を次の Boltzmann 分布で定める．
()
1
p (x = x|T ) ∼ exp − ϕ(x)
(4)
T

ー

また，C は次で定義される．
∑()
C(x) = 1 −A(x′ , x)q xi+1 = x′ |xi = x
x′ ∈X

21

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-04

この分布を SA と EMC では対象とする．上記分布は Tが小さくなるほど ϕ(x) の値が小さな x が生成されやすくなる分布である．SA ではこの性質を利用し，T → 0 の分
布から最適解を抽出することを考える．この極限分布は計算ができないため，実際には MCMC で p (x = x|T )を近似しながら，T を低下させ，極限分布を近似する．
温度の低下のさせ方としては，系列の添字 i に対し，ある定数を T 0 , c 用いて T ∼ T 0 exp (−ci) とする方法がある．
他にも提案されているが，T i > T i+1 であり，T i ≤ T i+1となる温度列を定義することの有用性を主張している
文献は著者らの確認する限り見当たらない．条件が変わった場合に再度最高温度から冷却の過程を実行し直す過程が必要となる．これは，計算済みの近似解を有効利用できないことを意味し，状況の微小な変化への追従性が悪いと言える．つまり，インタラクティブな用途で用いる際の欠点となる．
EMC は複数の温度を (T l |l ∈ L) として用意する．L は
適当な添字の集合である．対応する複数の分布 p(xl |T l ), l ∈L を用意する．x = (xl |l ∈ L) と置いて，これら #L の確率変数をまとめて一つの Markov 系列で近似することができる．各 l ∈ L に対する分布の違いは温度だけに限る必要はないが，本稿では温度のみを対象とする．このような異なる超パラメータを持つ確率モデルのこと
を複製（Replica）と呼ぶ．EMC では，複製を含めた全体のモデルに対するパラメータは不変であり，SA と異なる．この性質により，一度得られた解を引き続き改善することが可能であり，さらにそれぞれの複製は独立して計算することが可能なため，並列性に優れる．
SA，EMC ともに q は，用いる局所最適化法と同等な変化を与えるように定式化を行う．

3

いる複製間で異なる式 (4) の T について以降考える．
温度の組を
T = (T 1 , T 2 , ..., T N ) とする．複製の分布( )を p xl , l ∈ L とする．ただし，添字集合 L は L ={l|l = 1, ..., N} と定義する．このとき，すべての複製をまとめた確率変数を単に x と表すこととし，その分布を次で定義する．
∏ ()
p (x = x|T ) =p xl = xl |T l ,(5)l∈L

この分布を近似するために，Markov 連鎖 x1 , x2 , ... を考える．遷移確率分布に式 (3) を用いる．q を以降定義する．
ある添字の組 j, k ∈ L の対を無作為に選び以下の入れ替えを行うように q (xi+1 = x′ |xi = x) を定めるとする．

x′ = (x1 , ..., xk , ..., x j , ..., x#L ), x = (x1 , ..., x j , ..., xk , ..., x#L )上述した無作為な添字対の選択と入れ替えを実現する
q は次の通り定義される．これは Gibbs 法に等しい．

()
q xi+1 = x′ |xi = x =
∑ (
) (
)∏ (
)
δ x ′ j , xk δ x ′ k , x j
δ x′ l , xl p(j = j, k = k).
j,k∈Ll, j,k

分布 p(k, j) は添字の選択を行う確率分布である．一様分布とすることもできるが，計算負荷の観点から，近傍の j, k のみ生成される分布とする．式 (3) の A について，式 (5) を代入することで以下を得る．
() ()
p xk = x j |T k p x j = xk |T jp (x = x′ |T )().
=
p (x = x|T )p (xk = xk |T k ) p x j = x j |T j
目的関数に関して書けば，次のとおりである．丸め誤差の影響を避けるため，実際の計算には以下を用いる．

提案手法

(
)
p (x = x′ |T )1 (= exp −
ϕ(x j ) − ϕ(xk )p (x = x|T )
Tk
))
1 (
−
ϕ(xk ) − ϕ(x j ) . (6)Tj

本稿では，EV の定式化を元に，EMC により経路の確率分布を近似する．完全グラフへ変換してから通常の STSP により最適化を実行すれば，EV の定式化は必要ない．しかしながら，その場合道の価値と負荷を変更するたびに完全グラフへの変換を実行しなければならない．利用者の行動履歴から得られる情報は，本来の道路地図に対応したものであるから，変換をせずに扱えたほうが応用性は高いと考える．また，インタラ
クティブ性の観点から，追加の計算負荷は避けるべきである．従い，提案手法では完全グラフへの変換をせずとも同等の計算が行える仮想辺による EV の定式化を採用する．
目的関数に式 (2) を使う．問題のグラフは EV と同様に仮想辺を用いて実際の道路地図をそのまま用いるものとする．局所最適化方には 2 変数を対象とした k-Opt
法を用いる．確率分布には式 (4) を用いる．EMC が用ー計算の手続きは次のとおりである．

1. 系列の初期値 x0 を設定後，以下を反復
2. 局所最適化と同等な q により各系列 l ∈ L を独立に更新（通常の MCMC）
3. 式 (6) の系により系列間の状態を交換（EMC の主な特色）
4. 目的とするモデル l0 の系列の現在の状態を標本
として抽出

22

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-04

SA は SAa, a = 1, 2, 4, 8, 16 で 5 つの条件について評価を行う．この a について，温度は式 (7) により，T (at)により定められる．つまり，a の値が大きければ，急速に温度が低下することになる．
以上の設定で EMC, SAa のいずれからも 8 つの標本を抽出して統計量を算出し，結果を考察する．疑似乱数の計算には Mersenne Twister2 ，実数の近似には倍精度浮動小数点数を用いる．

1.0e+00

0

d

0.5

-0.5

4.2

-1.0e+00

図 3: Synthesized map for experiments. Black and graydenote be = 1, be = −1 respectively.

4

評価実験

4.1

設定

格子状グラフを用いた評価実験を示す．座標点の集合を，I = [n] × [m]，接点の集合を N として，全単射
h : I → N により，辺の集合 E を次で定義する．

{}
E = (hi, j , hi+1, j )|i ∈ [n − 1] ∧ j ∈ [m] ∪{}(hi, j , hi, j+1 )|i ∈ [n] ∧ j ∈ [m − 1]
負荷は ∀e ∈ E [we = 1] とする．be (e ∈ E) は be ∈ {−1, 1}の 2 値のみを取るとし，そのうち 8 割は −1 となるように無作為に決定する．以上の定義により生成したグラ
フに b の値により色をつけた可視化を図 3 に示す．黒は be = −1，灰色は be = 1 を示す．市街地では格子状に道が配置されていることが多いため，このグラフを用いた実験は現実的であると考えている．
実験では定常状態に達する過程を観察する．実験の説
明において t は計算の進捗度を表すものとし，t = 0, t = 1
でそれぞれ計算開始，計算終了を意味する．∆t を繰り返しの単位とする．実験では ∆t = 2−17 とする．∆t 計
算が進むごとに，それぞれの系列が 26 回，式 (3) により更新され，その後，モデルのパラメタの変更が EMC,
SA それぞれの場合で行われる．
温度は以下により設定する．

T (τ) = exp (ln T L + (ln T H − ln T L ) v)

(7)

EMC に対して，この式を用いて，∀l ∈ L, T l = T (τ), τ =(n − 1) / (N − 1) として (T l ; l ∈ L) を定める．N = 64, つ
まり #L = 64 の複製が用意される．分布を近似する標本は l0 = 64 のモデルから抽出した標本のみを用いる．
状態の交換は l′ = l + 1, l, l′ ∈ L となる組 (l, l′ ) の間で行
われる．

ー

23

実験結果と考察

目的関数の推移を評価する．ここでは最適化性能のみを計測する．よって，目的関数の値は小さいほうが良い．実験結果を図 4 に示す．EMC の場合が最も低い
目的関数の値（Energy）を示している．また，いずれの
a についても，EMC は SAa より低い目的関数の値を出している．また，SAa は a が大きくなるほど，つまり温度を急激に低下させるほど精度が悪くなっているとわかる．これに比べ，EMC は急速に最適化が進行した後，その後も時間をかけるほど解が改善していることがわ
かる．全方法の繰り返し数は等しく，EMC は並列化により複製を並列計算できることから，その計算時間は
SA と概ね等しい．それにも関わらず．EMC は SA のどの場合よりも早い段階で良い解を得られており，推薦時間にどのような期限が設定された場合でも一般的に計算を開始することが可能であると言える．一方の
SA では長い計算時間で精度を確保するか，低い精度でも短時間で結果を出すかを計算開始時に決定しなければならないが，これは一般に困難である．このことから，EMC の利用がインタラクティブな推薦に適している考える．実際の利用場面としては，例えば，不測の事態で経路を再計算しなければならないとき，ユーザがそれを緊急の事情により待てない場合が考えられる．
このとき，未知の計算時間で妥当な解の生成を開始でき，加えて時間が確保できた場合は引き続き解の改善
を EMC は行える．ただし，このためには問題のグラフを再構成しない EV による定式化が合わせて必要である．
確率分布による可視化について，本稿で検討しているものを図 5 に示す．(a) は EMC, (b) SA1 により生成されたものである．正方形を縦横 256 分割した少領域に重なる経路の頻度を可視化している．(a) の方を見れ
ば，複数の経路が重なる色が濃い部分は選択の余地がなくそこを通るべきであるとわかり，濃い経路の途中にある分岐についてはどれを選んでも問題がないことが見てわかりやすい．一方で (b) の結果では経路にまとまりがなく，道筋を見極めることが難しい．(a) がこのような可視化を可能な理由は，用いた EMC が確率
2 http://www.math.sci.hiroshima-u.ac.jp/m-mat/MT/emt.
htmlー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-04

EMC
SA2
SA4
SA8
SA16
SA1

140

120

100

80

60

40

20

1.1e+00
0

0.8

-40

0.6

prob

1

-20

0.4

-60

0.2
-80
0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.0e+00

図 4: History of objective function for each method.

(a) Exchange Monte Carlo: EMC
分布に従い経路を生成しているため，推薦度が正しくモデル化できているからであると言える．

まとめ

本稿では，インタラクティブ観光経路推薦手法の構築のための，経路分布推定手法を提案し，実験結果を考察した．提案手法は Exchange Monte Carlo 法を利用し，広く用いられる Simulated Annealing よりもインタ
ラクティブ性において優れた性質を持つことを実験により示した．また，推薦度の可視化により，ユーザが経路を自ら設計する場面を検討し，提案手法の想定される場面における応用性を述べた．
今後，インタラクティブ性の評価指標と対応する実験，実データを用意した評価実験を検討する必要がある．また，並列性能の改善，温度の決定法を検討する．

参考文献

1.1e+00
1
0.8
0.6

prob

5

0.4
0.2
0.0e+00(b) Simulated Anneaing: SA1
図 5: Visualized example of route distribution.
[6] Laporte, G., Martello, S.: Tour Route Planning Problem
for Sightseeing with the Multiroute under Several Uncertain Conditions, 2012 IEEE International Conference on
Systems, Man, and Cybernetics, pp. 715-720 (2012)[1] Pinto, R., Mettler, T., Taisch, M.: Managing Supplier Delivery Reliability Risk Under Limited Information: Foundations for a Human-in-the-Loop DDS, Decision Support
System, Vol. 58, No. 2, pp. 1076-1084 (2013)[7] Ronny, K., Marko, M., Hagen, K.: A City Guide Agent
Creating and Adapting Individual Sightseeing Tours Basedon Field Trial Results, International Journal of Computational Intelligence Research, Vol. 2, No. 2 pp. 191-206(2006)[2] Metropolis, N., Rosenbluth, A., Rosenbluth, M., Teller,
A.: Equation of State Calculations by Fast Computing Machines, The Journal of Chemical Physics, Vol. 21, No. 6,
pp. 1087-1092 (1953)[8] Feillet, D., Dejax, P., Gendreau, M.: Traveling Salesman
Problem with Proﬁts: An Overview, Transportation Science, Vol. 39, No. 2, pp. 188-205 (2005)[9] Hukushima, K., Nemoto, K.: Exchange Monte Carlo
Method and Application to Spin Glass Simulations, Journal of the Physical Society of Japan, Vol. 65, No. 6, pp.
1604-1608 (1995)[3] Shibata, H., Takama, Y.: Improvements on Probability
Model for Sightseeing Route Recommendation Method
Employing Generalized Formulation in terms of Edges,
33th International Conference of Technologies and Applications of Artiﬁcial Intelligence, 6 pages (2019)[10] Sohl-Dickstein, J., Mudigonda, M., DeWeese, M.: General k-Opt Submoves for the LinKernighan TSP Heuristic,
Mathematical Programming Computation, Vol. 1, No. 2-3,
pp. 119-163 (2009)[4] Dorigo, M., Maniezzo, V., Colorni, A.: Ant System: Optimization by a Colony of Cooperating Agents, IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), Vol. 26, No. 1 pp. 29-41 (1996)[11] Goldberg, D.: Genetic Algorithms in Search, Optimization, and Machine Learning, 1st edition, Addison-Wesley
Professional (1989)[5] Kirkpatrick, S., Gelatt, C., Vecchi, M.: Optimization by
Simulated Annealing, Science, Vol. 220, No. 4598, pp.
671-680 (1983)

ー

24

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

跳躍動作の周波数特性に着目した
スポーツ損傷潜在リスクの推定
Estimating the Potential Risk of Sports Injuries
Based on the Frequency Characteristics of Jumping Motion
松下 光範 a,∗鈴木 雄登 b,†尾崎 優 a,‡

堀 寛史 cMitsunori Matsushita

Yuto Suzuki

Suguru Ozaki

Hirofumi Horia. 関西大学総合情報学部
Faculty of Informatics, Kansai University

b. 関西大学大学院総合情報学研究科
Graduate School of Informatics, Kansai Universityc. びわこリハビリテーション専門職大学理学療法学科
Faculty of Physiotherapy, Biwako Professional University of Rehabilitation
Abstract: 本稿では，スポーツ障害の予防支援を目的として，ユーザが抱える怪我のリスク（スポーツ損傷潜在リスク）の推定を試みた．従来，スポーツ損傷潜在リスクは理学療法士などの専門家が三次元動作解析装置や床反力計といった機器を用いて推定するため，継続してリスク管理を行うコストが高い．こうした観点から，本研究ではスマートフォンのセンサを用いて簡易的にスポーツ損傷潜在リスクを評定することを試みる．提案手法では，跳躍動作の周波数特性に着目し，対象者の跳躍動作データに
フーリエ変換を用いて周波数成分に分解する．分解することで得た周波数スペクトルを特異値分解を用いて次元削減を行うことで特徴量を抽出し，それを k 近傍法を用いて分類する．本稿では，と提案手法によるスポーツ損傷潜在リスクの推定結果とスポーツの現場で継続的に使用してもらうために試作した
スマホアプリケーションについて報告する．

つに分類される [7]．スポーツ外傷は 1 回の強い外力によって生じる，明らかな受傷起点がある怪我である．例

1 はじめにえば，他人との接触やジャンプの着地失敗による足首の2020 年に蔓延した COVID-19 の影響により，人々の捻挫や靭帯損傷などが該当する．スポーツ障害は，何度運動やスポーツに関する環境に様々な変化が現れた．例も繰り返し強い力が加わることや身体能力の限界を超え

えば，屋内スポーツジムで発生したクラスター感染によた運動を行うことで，徐々に肩や肘，膝，足首などに痛るスポーツ施設等の利用制限や，長期間の休校措置によみを感じはじめ，その症状が慢性的に続く状態をいう．

る体育授業や部活動への参加機会の減少が，人々の身体スポーツ外傷は多くの場合，大きな痛みを伴うため，発活動量の低下を招いている．運動実施の減少が 1 ヶ月

症後すぐに治療へと移行しやすい．一方，スポーツ障害

続くと体力の回復には 3 ヶ月程度かかると言われておは気付かないうちに症状が進行・悪化することが多く，

り*1，それに起因するスポーツ損傷の増加が懸念されて治療が長期化しがちで明確な原因が判明しない場合も多いる．

い．そのため，スポーツ障害を起こさないためには早期スポーツ損傷は，スポーツ外傷とスポーツ障害の二発見や予防が重要であり，理学療法士など専門家による継続的な評価や検査を受けることが望ましい [6]．

∗ 連絡先：関西大学総合情報学部

しかし，これらの評価や検査で使用する機器は価格が〒569-1095 大阪府高槻市霊仙寺町 2-1-1

E-mail: mat@res.kutc.kansai-u.ac.jp† 現在, 株式会社内田洋行‡ 現在, パナソニックシステムソリューションズジャパン株式会*1 https://www3.nhk.or.jp/news/html/20200827/
k10012587111000.html（2021/11/7 確認）

社

ー

25

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

高額なうえ特定の場所に設置する必要があるため，ス「どのくらいの活動強度で運動しているか」は怪我のしポーツの現場に導入するには制約が大きく，継続的かつやすさに影響するため，これらの方法や得られた知見を容易に評価や検査を受けられる状況にはない [12]．そこ

参考にしながらシステム設計を行う．

で本研究では，スポーツ損傷の予防・早期発見のために，

Wilkerson らは，NCAA フットボールチームの選手
45 名を対象にスポーツ外傷のリスク推定を行った [2]．
この研究では 45 名の選手を対象に、プレシーズン練習開

ユーザ自身が日常で簡便に利用できるスポーツ損傷潜在リスク評価ツールの実現を目指す．

始１ヶ月前に，以前の筋骨格損傷の持続的影響の自己評
価を 10 項目からなるスポーツ・フィットネス・インデッ2 先行研究クス（SFI）を用いて調査するとともに，スマートフォン

本章ではスマートフォンを活用した身体への負担推定を用いて片足スクワットテスト（UFS）の加速度データ

や傷病予測に関する研究について挙げる．

を取得した．これらのデータと試合参加の記録（GP）か

まず，正しい姿勢で運動することがスポーツ損傷のリ

ら、「SFI スコアが低い (Lo SFI)」，「USF 値が高い（Hi

スク低減に寄与するという観点から，スマートフォンのセンサを活用した姿勢推定について述べる．樫原らは，UFS）」，「試合出場回数が多い（HiGP）」を傷害リスク因子とする傷害予測モデルを作成した．Wilkerson らのスマートフォンを用いた歩行動作改善ツール [5] を開発

研究の目的は我々の研究と合致しており大いに参考にな

し，スマートフォンに内臓された加速度センサのみでも，るものの，レベルの高いアスリートを対象にしているた

良い姿勢を意識した歩行と無意識な歩行では加速度の波

め，本研究が想定するユーザには難しい測定項目（e.g.,形に差異があることを明らかにした．また，王らは，ス

片足スクワットテスト）が含まれており，多くの人が日

マートフォンを用いて，腕立て伏せやスクワットなど，常的に利用するには十分ではない．

機器を用いずに自重による負荷を利用したトレーニングの支援システムを開発した [4]．このシステムでは，ス

3 デザイン指針

マートフォンのカメラを用いてユーザのトレーニング
時の画像を撮影し，OpenPose*1 を利用して姿勢データ

本研究で目指すスポーツ損傷潜在リスク推定システムを取得する．このシステムでは取得した姿勢データからは，専門家の判断を代替するのではなく，スクリーニン

ユーザの姿勢が正しいかを確認し，音声フィードバック

グ手段としての活用を想定している．スクリーニング

により姿勢の修正をユーザに促す．

は，検査や測定を実施する前におおまかに正常か否かを次に，スポーツ損傷のリスク低減の観点から，活動強判別し，詳細な検査・測定を実施すべきか否かを判断す

度の推定に関する研究について述べる．隅田らは，スるものである [3]．スポーツ現場では医師による画像所

マートフォンのセンサを用いて活動時の負担度を推定

見の確認および診察が難しいため，初期評価時のスク

し，ユーザにとって負担が最小となる歩行ルートを推薦

リーニングによる損傷程度の把握が重要になる [13]．そするナビゲーションシステムを提案した [9]．このシスのため，本研究で目指すシステムは，ユーザ自身が簡易

テムでは個々の負担度変化を推定するために，機械学習

かつ継続的に利用できるようにすることで，自身の身体を用いて加速度や歩行速度などの歩行データから心拍数

状況を理解し，予防的に専門家への受診ができるよう支を予測する負担度モデルを作成している．Pernek らは，援することを企図する．

スポーツ活動強度の推定手法を提案した [1]．提案手法

こうした目的から，(1) 特別な機器を必要としないこ

では，スマートフォンを用いて取得した加速度や心拍のと，(2) 日常的に容易にできる運動動作を対象にするこ

データに対し，高周波数を除去して特徴抽出を行い、そと，(3) 高い運動能力を持つアスリートではなく中学やの特徴量を用いて多層パーセプロトン，線形回帰，回帰

高校の部活動に参加する生徒などを対象ユーザとするこ木，サポートベクトル回帰の 4 種類の機械学習アルゴと，をシステムのデザイン指針と定めた．こうした観点

リズムを用いてスポーツ活動強度を推定した．これらのから，本研究では運動動作を用いた計測のうち，広い場研究では，活動時にユーザにかかる負担の推定を試みて所を必要とせずに気軽に実施でき，下肢の損傷潜在リスいる．

クを評価するのに有効である跳躍動作を計測対象とす

これらの研究はスポーツ損傷リスクの推定を企図した

る．跳躍動作を分析することで，下肢の筋力の強さだけものではないが，「正しい姿勢で運動ができているか」

でなく，体幹のバランスなどがわかる [11]．跳躍動作は歩行動作などに比べて運動量が大きいため下肢筋力や体幹などの傾向が現れるという特徴から，理学療法分野*1 https://github.com/CMU-Perceptual-Computing-Lab/
openpose（2021/11/7 確認）

ー

26

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

や医学の分野で検査の際に活用されている．本稿では，下の 3 点を注意事項として指示した．

跳躍動作の測定手法の一つであるリバウンドジャンプ

1. できるだけ高く跳ぶこと．
2. 床の反発を利用して間隔をあけずに跳ぶこと．
3. 初期位置からできるだけ移動しないこと．

（Rebound Jump, 以下 RJ と記す）を用いる．RJ は，
踏切時間を短くし鉛直方向へできるだけ高く跳躍することで短い時間でのパワー発揮能力を評価する，スポーツ
パフォーマンス測定手法の一つである [10]．提案システ

この跳躍により，加速度，角速度，クォータニオンに

ムでは，スマートフォンで獲得可能なセンサ情報に基づついて各 3 軸，計 9 種類の時系列データを取得した．一

いてユーザの RJ の特徴を抽出し，身体状態を推定する．

般に腕の振込み動作は跳躍動作を正当に評価するために制約を課すことが多いが，本研究で実装を目指すシステ
ムは日常的にユーザが自分自身で測定することを想定し4 データセットているため，煩雑な動作条件を排除するという観点から

我々はこれまでに，下肢の筋力を継続的に計測するこ腕の振込みについての指示は行わなかった．

とを目的として，スマートフォンに内蔵のモーションセ

収集されたデータに対して本稿第 4 著者がスポーツ損

ンサを用いた跳躍動作の計測システムを実装し、跳躍

傷潜在リスクの評価を行った．評価に用いたのは動作の鉛直方向の移動を分析するために加速度センサ• 質問紙の回答• 立ち上がりテストの結果• 跳躍時の正面・側面からの OpenPose ボーン付きの値を，姿勢の傾きを分析するためにジャイロセンサから得られるクォータニオンの値を各々取得すること
で，跳躍動作の特徴取得が可能であることを確認してい動画

る [8]．本研究では，このシステムを用いて実験参加者• 身体ラインの角度• OpenPose ボーン付き静止画の RJ データを収集し，そのデータに対して潜在リスク
評価値を付与して教師データとして用いる．
データの収集は，安全性担保の観点から，日常的に運の５つである．これらのデータを用いて，スポーツ損傷動を行っている 20 代の男子大学生 44 名を対象に行っ潜在リスクの原因特定に用いられる安定性，再現性，強た．実験では，まず倫理事項を口頭及び書面で説明した

度，knee-in （以降，KI と記す）
，trunk-out（以降，TO

後同意書を記入してもらい，その後に (1) 質問紙調査，(2) 下肢筋力評価， (3) RJ の順に実施した．質問紙調査と記す）の 5 つの指標，ならびに総合評価についての推では，身長，年齢，体重，利き足，怪我と運動の経歴につ安定性は，身体・重心のバランスが保てているか，強度いて尋ねた．次に，下肢筋力評価として，村永が考案しは，対象者が行っている跳躍動作が強いか，KI は，着た立ち上がり評価 [16] を行ってもらった．立ち上がり

地時に膝が内側に曲がっている状態か，TO は，着地時

評価は，40cm，30cm，20cm，10cm の高さの台を用いに体感が外側に傾いている状態かを指す指標である．まて，腰掛け座位から反動を使わずに両脚，片脚のそれぞた，総合評価は動作から読み取れる怪我のリスクを表す

れで立ち上がることができるかを測るテストである．こ指標であり，スポーツ損傷潜在リスクと同義である．本の下肢筋力評価は，実験の安全性を担保するために実施研究では，再現性，安定性，強度，総合評価についてはした．本研究では，この結果を評価指標の一つとして扱
ニング基準としても利用する．そのため，20cm 以下の0（できていない）〜5（とても良い）の 6 段階で評価することとした．また，KI，TO については，傾向が見られる場合は 1，見られない場合は 0 の 2 段階で評価する

台座からの左右両方の片脚立ち上がりを遂行できた実験こととした．左右それぞれの動作における評価の分布を協力者のみ次の手順に進んでもらうこととした．今回の表 1 および表 2 に示す．

定を行う．再現性は，同じ動作の再現ができているか，

うとともに，実験協力者の安全性担保のためのスクリー実験では，44 名の実験参加者のうち 40 名が 20cm 以下の片足立ち上がりを両足とも遂行できた．

5 提案手法つぎに，これら 40 名の実験参加者に，両足での RJ，および片足での RJ を課した．このとき，跳躍時のデー

連続跳躍動作の周波数特性に着目してスポーツ損傷

タを取得するためにスマートフォンをベルトで腰に装着

潜在リスク推定精度を測定するために，本稿ではフーさせた．その跳躍の様子は VTR でも撮影した．跳躍時

リエ変換を用いる．フーリエ変換では，任意の周期関数

は靴を脱ぎ，安全のために EVA 樹脂製マットないしタf (t) は特定の周波数を有する波の重ね合せにより表現される [14]．一次領域における関数 f (t) が周波数領域

イルカーペット上で跳躍してもらった．跳躍時には，以

ー

27

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

表 1: 右足 RJ の評価分布
評価値

再現性

安定性

強度

KI

TO

総合評価

0
1
2
3
4
5

0
0
4
19
14
3

0
0
6
14
18
2

0
1
7
14
15
3

31
9
N/A
N/A
N/A
N/A

27
13
N/A
N/A
N/A
N/A

0
0
7
14
15
4

表 2: 左足 RJ の評価分布
評価値

再現性

安定性

強度

0
1
2
3
4
5

0
0
5
16
17
2

0
0
7
20
10
3

0
1
7
16
11
5

KI
19
21
N/A
N/A
N/A
N/A

TO
30
10
N/A
N/A
N/A
N/A

総合評価

0
0
6
19
11
4

図 1: 跳躍動作の鉛直方向の加速度て現れる．着地時の極小値を取得することにより，跳躍動作の回数ごとに分割した．動作の開始と動作の終了の影響を排除するために 2〜4 回目の跳躍動作を抽出した．
同様の分割作業を，鉛直方向の加速度 Y を基準に，他で角振動数 ω を変数とする関数 F (ω) で表現されたとの 8 種類のモーションデータに対しても行った．

き．F (ω) を f (t) のフーリエ変換といい，次の式で表される．

∫ ∞F (ω) =

6.2 フーリエ変換を用いた周波数分解
f (t)e−iωt dt(1)

データ整形を行ったモーションデータに対し，フーリ−∞エ変換を用いて周波数スペクトルに変換した．図 2 にス

この式のように，取得したモーションデータ f (t) がいく
つかの周波数成分に分解される．それによって求められポーツ損傷潜在リスクが高い実験参加者の周波数スペク

た F (ω) がスペクトルであり，絶対値がその周波数成分

トルを示す．
スポーツ損傷潜在リスクが高い跳躍動作ではピーク値の振幅に対応している．F (ω) のスペクトルを並べたもが分散していることが確認できる．

のが周波数スペクトルである．スポーツ損傷潜在リスクが低い人ほど跳躍動作に安定性があり，周波数成分が分次に，スポーツ損傷潜在リスクが低い実験参加者の周散しにくいという仮説のもと，本研究では，特徴値とし

波数スペクトルを図 3 に示す．スポーツ損傷潜在リスクてフーリエ変換後の周波数スペクトルを用いて，スポーが高い実験参加者の波形と比べると，スポーツ損傷潜在

ツ損傷潜在リスクの推定を行った．

リスクが低い評価ではピーク値の違いを確認することができる．スポーツ損傷潜在リスクが低い跳躍動作は周波数成分が分散していないが，スポーツ損傷潜在リスクが6 スポーツ損傷潜在リスク推定手法

高い跳躍動作は周波数成分が分散していることが観察できる．

本稿では，(1) モーションデータの整形，(2) 周波数成分への分解，(3) 特異値分解による次元削減，(4) k 近傍

スポーツ損傷潜在リスクが低い跳躍動作は動作回数ご法による分類，という流れでスポーツ損傷潜在リスクのとに同じような動作を再現できているために周波数成分

推定モデルを作成する．以下で各々の処理の詳細についが分散していないのに対して，スポーツ損傷潜在リスクて述べる．

が高い跳躍動作は動作回数ごとにズレが生じており，結果として周波数成分が分散したのではないかと考える．

6.1 モーションデータの整形

6.3 特異値分解を用いた次元削減

まず，フーリエ変換を行うために，モーションデータ
の整形を行った．ある実験協力者の鉛直方向の加速度をフーリエ変換後の周波数スペクトルの次元削減のため

図 1 に示す．跳躍動作は自由落下により重心の移動がに特異値分解を用いる．特異値分解は動作識別への適用

規則的に生じる動作であるため，跳躍と着地が傾向とし事例があり，本研究に利用可能であると判断して採用

ー

28

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

図 2: スポーツ損傷潜在リスクが高い跳躍動作

図 3: スポーツ損傷潜在リスクが低い跳躍動作

した [15]．式 (2) に示すように，特異値分解では時系列

これらの結果から第一特異値を抽出し，それらを特徴値データから行列 D を構成し，それを特異値，左特異ベとした．

クトル ，右特異値ベクトルに分解する．

D = U ΣV T

6.4 k 近傍法

(2)

特異値分解により得られた 9 種類の特徴値を説明変数

U = (u1 , u1 , . . . , um ) は m × m のユニタリ行列で，V = (v1 , v1 , . . . , vn ) は n × n のユニタリ行列である．
また，Σ は m × n で，対角要素以外は 0，対角要素は非負となる行列である．Σ の対角要素は特異値を示し，
ui (1 ≤ i ≤ m) が左特異ベクトル，vj (1 ≤ j ≤ n) がに，理学療法士による評価データを目的変数に男子大学
生 40 名のデータを学習・テストデータとして k 近傍法
を用いて，スポーツ損傷潜在リスクの推定を行った．k近傍法は与えられた学習データをベクトル空間上に配置
し，リスクの推定対象となるデータ（未知データ）から

右特異ベクトルである．左特異ベクトルが時系列データ

距離が近い順番に任意の k 個を取得し，その k 個の多数の特徴を抽出したものであり，特異値行列 Σ が対応す

決により，その未知データが属するクラスを推定する．

る左特異ベクトルの影響の大きさ（重み）を示している

本稿では，leave-one-out 交差検証を用いて推定精度をことから，特異値の高い左特異ベクトルは対象の時系列

比較した．

データの特徴を良く表現するベクトルとして扱うことができる．

6.5 結果提案手法では，周波数スペクトルから m × n の行列

D を作成する必要がある．本稿では m ＝ 9 とし，9 種
類のモーションデータを用いて，9 個の行列を作成した．

ーk 近傍法は，k の値により推定精度が大きく変動するため，本稿では，k=3, 5, 7, 9 としてスポーツ損傷潜29

ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

表 3: 提案手法の左足 RJ

k=3
k=5
k=7
k=9

再現性

安定性

強度

0.225
0.275
0.275
0.375

0.300
0.325
0.425
0.450

0.450
0.425
0.450
0.425

TO
0.525
0.525
0.425
0.575

KI
0.725
0.775
0.725
0.750

総合評価

全項目平均

0.475
0.475
0.550
0.550

0.450
0.467
0.475
0.521

総合評価

全項目平均

0.350
0.325
0.250
0.325

0.454
0.483
0.479
0.525

表 4: 提案手法の右足 RJ

k=3
k=5
k=7
k=9

再現性

安定性

強度

0.350
0.425
0.400
0.375

0.350
0.400
0.425
0.500

0.300
0.375
0.425
0.450

TO
0.725
0.725
0.775
0.775

KI
0.650
0.650
0.600
0.725

在リスクの推定を行った．提案手法の推定精度を表 3，
表 4 に示す．精度自体はまだ改善の余地はあるものの，いずれの指標についてもチャンスレベルを上回る結果となっており，提案手法の有用性は一定程度示せたものと考えている．
全項目平均を見ると，いずれの足の RJ でも k = 9 が最も高い精度を示した．今回は実験参加者が 40 名であるため，今後継続的に実験参加者を増やすことで精度向上が図れるか検証する必要がある．また，今回の実験結果では，右足 RJ の総合評価の精度が左足 RJ に比べて

図 4: スマホアプリケーションの処理手順

低い結果になっている．その一因として利き足が影響している可能性が考えられる．今回，事前の質問紙調査で利き足の確認を行わなかったが，今後の調査では実験参の注意事項をまとめた動画が再生され，確認することが加者の利き足についても収集する必要がある．

できる．

7 アプリケーション

ポーツ損傷潜在リスクを確認することができる．計測画

計測画面では，ユーザ自身に RJ を行ってもらい，ス
面では，動作説明と同様の動画を再確認するためのボタ
本稿で示した提案手法に基づき，スマートフォンを用

ンと，計測を行うための画面へと遷移するためのボタン

いたアプリケーションとして，スポーツ損傷潜在リスクがあり，計測を行うための画面へ遷移すると，「靴を脱推定システムを実装した．スマートフォンをプラット

ぎましたか？」と「iPhone をベルトに挿入してくださ

フォームとした理由は，可搬性が高く、広く普及していい」というメッセージが順に示され，ユーザに計測を行るためである．このシステムの処理手順を図 4 に示す．

うために必要な行動を促す．計測を開始すると，「右足本システムは，フロントエンドに Swift（ver.5.0）を，の RJ を 5 回行ってください」という音声が再生されてバックエンドに Python（ver.2.7.16）を利用し，iPhone

ユーザに計測を行う対象動作を説明する．動作を開始す

対応の iOS アプリケーションとして実装した．図 5 にる時には，ユーザ自身に計測のスタートボタンを押してアプリケーション画面を示す．

もらい RJ を 5 回行ってもらい，動作の終了後に計測のメニュー画面 (a) では計測，動作説明，記録，設定の 4ストップボタンを押してもらうことでモーションデー

種類の項目があり，ボタンを押すことでそれぞれのペー

タをサーバに記録する．これらの計測手順を右足 RJ をジへと遷移する．

行った後に，左足 RJ を行ってもらい，スポーツ損傷潜動作説明の画面では，計測手順の説明と RJ を行う際

ー

在リスク推定に必要な動作が終了する．これらの収集し30ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05(a) メニュー(b) 損傷潜在リスクの要因(c) 左足のレーダーチャート(d) 両足のレーダーチャート

図 5: スマホアプリケーションのスナップショット

たモーションデータから，提案手法で示したスポーツ損に設置する必要があるといった制約があり，日常で継続

傷潜在リスクの推定を用いることで，バックエンドで計して検査をすることが容易ではない．本研究では，個人算機による自動評価を行い，ユーザのスマートフォンへが所有するスマートフォンを活用することで，その問題提示する．

の解決を試みた．提案手法では，跳躍動作の周波数特性

スポーツ損傷潜在リスクの推定結果を，スポーツ損傷に着目したスポーツ損傷潜在リスクを簡便に評価する

潜在リスクの判断の要因 (b) とそれを可視化したレー

ことを企図し，ユーザの跳躍動作の時系列データ（加速ダーチャート (c)，(d) の 3 つの画面によって提示す度，角速度，クォータニオンの 3 軸 XYZ における 9 種

る．計測結果画面へ遷移した時点では，右足のレーダー

類の時系列データ）から各々の周波数スペクトルを導出

チャートが出力される．右足・左足それぞれのボタンをし，特異値分解を用いて第一特異値の抽出を行った．さ押すことで左右別々に推定結果を確認することができ，らに，抽出した第一特異値を特徴値として，k 近傍法に両足のボタンを押すことで左右のレーダーチャートを比より損傷潜在リスクの推定を行った．leave-one-out 法

較して確認することができる．レーダーチャートは，再を用いた評価により，一定程度の有用性が示せたと考え

現性・安定性・強度・総合評価は 5 段階，TO・KI は 2ている．

段階で表示される．

今後，下記の項目の実施により精度の向上を目指す．

記録画面ではデータを取得した時間ごとにフォルダが

1. データセットを増やし，評価ごとの偏りをなくす．
今回推定に用いたデータ数は 40 人分で，運動経験のある 20 代男性に限定した上で立ち上がり評

分割され，フォルダを選択することで，特定の日時に取得した左右のデータを選択することができる．左右のど
ちらか一方を選択することで，取得した過去のスポーツ

価によるスクリーニングも行ったことから，評価

損傷潜在リスク推定結果を確認することができる．推定ごとの偏りが大きい．また，実験時のデータのみ

結果の出力方法は，モーションデータの取得後のスポーでの判断となり，長期的な推移や質問紙調査の内

ツ損傷潜在リスク推定結果の出力画面 (b)〜(d) と同様容の反映も行えていない．これらを評価値に反映の形で出力される．

することで，精度の改善が期待される．今後，作成したアプリケーションを活用して，より多くの

8 おわりにデータの収集を試みる．

2. 複数の理学療法士の評定結果を統合する．
現状では第 4 著者の評価のみを用いてスポーツ損

本稿では，スポーツ損傷の予防支援を目的に，スマー
トフォンを用いた簡易計測による損傷潜在リスクの評価

傷潜在リスクの推定を行っている．しかし，今後手法の提案を行った．スポーツ損傷のリスクを評価する

データセットを増加させるにあたり，複数の理学

ために理学療法士が用いる機器は，高額かつ特定の場所

ー

31

ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-05

療法士の評価を学習データとして扱えることが望美, 中江徳彦: スポーツ傷害に対する理学療法の取ましい．今後は，スポーツ理学療法の経験を持つり組み, 理学療法学, Vol. 32, No. 4, pp. 269–274

理学療法士の評価を組み合わせる手法についても(2005).
[8] 鈴木雄登, 松下光範, 堀寛史: 継続的な評価の支援

検討していく．

3. 各推定項目での説明変数の組み合わせを動的に変を目的としたスマートフォンによる跳躍動作の簡更する．

易センシング, 情報科学技術フォーラム講演論文集,

現在は，左右の RJ を独立して評価を推定しており，左右の差の影響を考慮できていない．また，Vol. 18, No. 4, pp. 457–460 (2019).
[9] 隅田麻由, 今津眞也, 水本旭洋, 安本慶一: 健康指TO や KI のように，周期的特徴を持たない要素

向歩行ナビゲーションのためのスマートフォンにについて，現状の手法を適用することが妥当であ

よる身体的負担度の推定, 情報処理学会研究報告,

るかは検証の必要が残る．今後は，左右のスポー

Vol. 2012-MBL-62, No. 27, pp. 1–8 (2012).
[10] 図子あまね, 苅山靖, 図子浩二: リバウンドジャン

ツ損傷潜在リスクや要因の差を複合的に推定できる手法を検討する．

プテストを用いた跳躍選手の専門的な下肢筋力・パワーに関する評価, 体力科学, Vol. 66, No. 1, pp.

79–86 (2017).
[11] 中俣修, 新田收, 占川順光: 健常人における両脚跳
躍動作の跳躍高を決定する因子の分析—体幹・下肢の姿勢と運動に着目して—, 理学療法学, Vol. 41,
No. 5, pp. 290–300 (2014).
[12] 新島有信, 水野理, 田中智博: ズボンのポケットに謝辞
本研究の実施に当たり，データ分析手法に関してご示唆を頂いた関西大学総合情報学部林勲教授に感謝する．
なお，本研究の一部は 2021 年度関西大学研修員費によって行われた．

収納したスマートフォンによる歩容解析方法に関する検討, 情報処理学会研究報告, Vol. 2014-UBI-43,

参考文献

No. 13, pp. 1–8 (2014).
[13] 濱田太郎, 中尾英俊, 稲葉考洋, 高橋孝輔, 来田晃幸,
松本和大: 高校部活動の支援: 硬式野球部 (1), ア
スリートケア—理学療法士によるスポーツ選手への健康支援— (越智隆弘 (編)), 三輪書店, chapter
3-1, pp. 210–216 (2017).
[14] 古田昌伸, 中山栄浩: 高速フーリエ変換法を用いた
セレーションの評価, 軽金属, Vol. 54, No. 2, pp.
51–56 (2004).
[15] 三嶋賢一, 金田さやか, 中西弘明, 椹木哲夫, 堀口由
貴男: 特異値分解を用いた非周期動作における運動特徴の解析, ロボティクス・メカトロニクス講演会
講演概要集 2010, 2A1-A26 (2010).
[16] 村永信吾: 立ち上がり動作を用いた下肢筋力評価とその臨床応用, 昭和医学会雑誌, Vol. 61, No. 3, pp.
362–367 (2001).

[1] Pernek, I., Stiglic, G. and Kokol, P.: How hard
am I training? Using smart phones to estimate
sport activity intensity, 2012 32nd International
Conference on Distributed Computing Systems
Workshops, pp. 65–68 (2012).
[2] Wilkerson, G. B., Gupta, A. and Colston, M. A.:
Mitigating sports injury risks using internet ofthings and analytics approaches, Risk analysis,Vol. 38, No. 7, pp. 1348–1360 (2018).
[3] 臼田滋: 理学療法評価とは, ビジュアルレクチャー
理学療法基礎評価学 (臼田滋 (編)), 医歯薬出版株式会社, chapter 1, pp. 2–10 (2014).
[4] 王瑞贇, 高橋伸, 志築文太郎: スマートフォンを用いた自重トレーニング時の姿勢支援システム, 情報処
理学会研究報告, Vol. 2019-EC-52, No. 5, pp. 1–6(2019).
[5] 樫原裕大, 清水裕基, 三好健文, 吉永努, 入江英嗣: ス
マートフォンを用いた歩行動作改善ツールの開発,
情報処理学会研究報告, Vol. 2011-UBI-32, No. 7,
pp. 1–8 (2011).
[6] 小 林 寛 和: ス ポ ー ツ と 理 学 療 法, 理 学 療 法 学,
Vol. 42, No. 8, pp. 773–774 (2015).
[7] 小柳磨毅, 橋本雅至, 向井公一, 田中則子, 佐藤睦ー32ー