実物体によるモーションクエリを用いた 3 次元形状モデル検索
小川

兼人†

伊藤

雄一†

安部

登樹‡

岸野

文郎†

我々は，ブロックをクエリとして用いる 3 次元形状モデル検索について検討を進めており，本稿では，組み立て形状に加え，ユーザがモデルから想起するモーションをクエリとして用いる検索シ
ステムを提案する．モーションは，ブロックに内蔵したジャイロセンサで取得したデータから平均，分散，エネルギー，周波数領域エントロピーなどの特徴量を抽出し表現される．検索クエリとしてのモーションの有効性を検証するべく，分類器（Support Vector Machine）を用いて，モデルの識別率，ユーザ間およびモデル間のモーション類似性を評価した．さらに，提案システムを実装し，検索結果の分析より，形状をクエリとする検索にモーションクエリを加えることの有効性を確認した．

A 3D Shape Model Retrieval Systemusing Motion Query with Physical Objects
KENTO OGAWA†

YUICHI ITOH†

NARISHIGE ABE‡

FUMIO KISHINO†

We propose a 3D shape model retrieval system using physical blocks as a query. In this paper, we use not
only the constructed shape but also the motion users input with them as queries. The motion is represented byfeatures which are extracted from the measured data with a gyroscopic sensor. The features are average,
variance, energy, frequency domain entropy, etc. We conducted experiments to evaluate the accuracy of modelrecognition and motion similarity among users and models using a classifier (Support Vector Machine). In
addition, we have developed the retrieval system using shape and motion query, and verified the effectivenessof adding motion into the shape retrieval through the analysis of retrieval results.

1.

はじめに

ロックを用いて入力できる．しかし，形状や機能だけでなく，モデルからユーザが想起するモーションも併

医療・教育・エンタテインメントなど様々な分野にせてクエリとして用いることで，さらに検索精度およ

おいて，3 次元形状モデルの需要が高まっており，

び直感性を向上させることができると考えられる．

Web 上には，無数のモデルが存在する．また，3 次元

そこで本稿では，ブロックを用いた 3 次元形状モデ

形状モデルは，Web ページや画像などに比べ，ユー

ル検索において，ユーザが手元で組み立てた形状や機ザが所望するものを検索する際に，多数の特徴をクエ

能だけでなく，所望のモデルから想起するモーション

リとして入力する必要がある．そのため，誰もが直感もクエリとして用いる検索システムを提案する．この的に容易に 3 次元形状モデルを検索することは難しい．

システムでは，ユーザが所望の形状を，ブロックを用

そこで我々は，積み木のようにユーザ自身が手元でいて組み立てた後，その組み立て形状を動かすことでブロックを組み立て，その形状をクエリとして検索すモーションを入力し，モデルを検索することができる．

1)

る手法 について検討を進めている．このシステムでモーションはブロックに内蔵したジャイロセンサからは，ユーザが実物体を用いて手元で 3 次元形状を組み取得したデータを特徴量に変換し表現する．特徴量に立てると，その 3 次元形状が自動的にクエリとしてシ

は，平均，差分平均，分散，最大パワースペクトル，

ステムに入力され，システムはデータベースの各モデ

エネルギー，周波数領域エントロピーを用いる．そしルの形状と入力形状とを比較し，概観形状が類似したて，クラス分類器でモーションの特徴量を識別し，結モデルを候補モデルとして即座にユーザに提示する．

果を形状クエリの検索結果と併せてユーザに提示する．

さらにユーザは，モデルの概観形状だけでなく，光る

これにより，直感性を維持しつつ，検索精度の向上がものや回るものなどのモデルが有する特徴も，機能ブ期待される．

† 大阪大学 大学院情報科学研究科
Graduate School of Information Science and Technology, Osaka
University‡ 株式会社富士通研究所
Fujitsu Laboratories Ltd. Limited

2.

モーションを用いた 3 次元形状検索

2.1

モーションによる検索

ユーザが所望するモデルから想起するモーションを

情報処理学会 インタラクション 2009

クエリとして表現するにはいくつかの手法が考えられる．一般にWebページ検索や図書館での蔵書検索など
では，検索クエリとしてキーワードが用いられている．
キーワードを用いてモーションを表現しようとする場
合，ある位置から「前へ」や，ある軸を基準に「左に回転」などと表記できるが，3 次元形状モデルをキーワードで表現する場合と同様に，ユーザが所望するモーションを表現するには曖昧で直感的ではない．
また，マウスやスタイラスで入力した軌跡をモーシ
ョンとすることも考えられる．Thorneらの提案しているMotion Doodles 2)では，マウスで決められた軌跡を

図2

検索の流れ

入力することで，「歩く」「走る」「跳ぶ」などの行動

き，その組み立て形状をリアルタイムにコンピュータを表現できる．しかし，2 次元GUIでは，3 次元のモに入力できるインタフェースである．また，ジャイローションを表現することは困難であり，3 次元GUIにセンサ（NEC TOKIN MDP-A3U9S）を内蔵しており，

おいても，モデルの回転などは何らかのコマンドでモ

ユーザは手元のブロックを動かすことで，コンピューーションを表現しなければならず，直感的であるとはタ内の 3 次元オブジェクトを操作できる．また，超音言い難い．もし，ユーザが実物体を動かすことでモー波センサや温度センサ，タクタイルセンサなどの入力

ションを入力でき，それをクエリとして検索すること

デバイスや，ライトやバイブレータ，ブザーなどの出ができれば，そのインタフェースはユーザにとって直力デバイスを装備した機能ブロックもあり，ユーザは感的で使いやすいものになると考えられる．

これらの入出力デバイスを用いてコンピュータと双方

そこで本稿では，子供が積み木などである形状を組向にインタラクションすることができる．

み立て，その組み立て形状を動かすことで形状モデル

提案システムの検索の流れを図 2 に示す．システムを表現するように，ユーザが組み立てた形状を動かすはオフラインとオンラインの作業に分かれている．オ

ことによって入力したモーションをクエリとして利用

フライン作業では，予め 3 次元形状モデルデータベー

する検索システムを提案する．また，提案システムでスのモデルのモデル名を決定し，3 次元形状記述手法

利用するインタフェースとして，ActiveCube

3)

を用い

の１つである距離ヒストグラム 1),4) に変換しておく．

ることで，言語・文化・世代などに依存しない形状モ

実際の検索はオンラインで行い，まずユーザが組み立

デル検索システムを実現する．提案システムにより，てた形状を即座にコンピュータが認識し，点群を生成

テキストやマウスなどでの 3 次元モーションを表現すした後，距離ヒストグラムに変換する．この距離ヒス

るときの曖昧さや困難さがなくなり，より直感的にモトグラムとデータベースの各モデルの距離ヒストグラーションを入力し，検索することが可能になる．

ムとの類似度を算出し，結果をディスプレイなどに提2.2

提案システムの概要

示する．さらにユーザが所望のモデルから想起するモ

図 1 に示すように，実物体を用いて直感的な 3 次元ーションを，組み立て形状を動かすことで表現し，車，形状モデル検索を行うため，我々はActiveCubeを用い飛行機などの各クラスに対するモーション類似度を分

1)

た検索システムを提案し，検討を進めている ．
ActiveCube はユーザが積み木のようにブロックを組み合わせることで 3 次元形状を組み立てることがで類器を用いて算出する．そして，形状クエリによる形状類似度とモーションクエリによるモーション類似度とを併せて最終的な検索結果を出力する．

3.

モーションの識別

3.1

モーションの特徴量

ActiveCubeに内蔵したジャイロセンサで得られるデータは，x軸，y軸，z軸方向の加速度とヨー，ピッチ，ロール角であり，取得データの特徴量抽出には，デー
タを一定時間に分割し，分割単位毎に特徴量を求める
スライディング・ウィンドウ方式5),6)を用いた．
抽出する特徴量として，加速度センサのデータから
図1

検索の様子

実物体によるモーションクエリを用いた 3 次元形状モデル検索

ユーザの行動識別を行う研究5)で用いられている平均，
差分平均，分散，最大パワースペクトル，エネルギー，
周波数領域エントロピーの計 6 つを用いた．最大パワースペクトルとエネルギーは，各データについて高速
フーリエ変換（Fast Fourier Transform; FFT）を行い，得られた周波数成分の絶対値の最大値と絶対値の合計をそれぞれ表している．ある 1 軸のFFT成分をF1, F2,
F3, … , Fn とすると，最大パワースペクトル（MaxPower Spectrum; MPS）は式（1）により求められ，エネルギー（Energy; En）は式（2）で求められる．

MPS = max[Fi ]2≤i ≤ n1 n
2
E n = ∑ Fi
n i=2

Entropy; FDE）は，FFT の全成分の総和で各成分を正規化し，式（3）の確率分布 p を求め，そのエントロ
ピーを式（4）によって求める．

Fi

∑

n
j =2

2

（3）

（4）

i=2

3.2

次に，特徴量を計算した分割センサデータを 1 つ 1
つ前述の分類器にかけ，それぞれどのクラスに属するかを識別していく．その結果，NS個の結果集合SRが求まる．ここで，モーションが定義されているクラスをモデルの集合をCi（0 ≤ i ≤ k）とする．i = 0 のとき，

すなわちC0はモーションクラスに分類されていないモデルの集合とする．このとき，結果集合SRはciの集合nFDE = − ∑ p (i ) log p (i )となる．ここで，SRに含まれているクラスciの分割センサデータ数をNci とする．本研究では，この値を用いて，3 次元形状モデルデータベースに含まれているモーション分類器

取得モーションデータから犬や車などのクラスを推定するアルゴリズムとして，クラス分類器を用いる．
代表的な分類器として，Nearest Neighbor（NN），C4.5

モデルが属する各クラス x に対するモーションクエ
リによる類似度（Motion Similarity; MS）を以下のように定義する．

決定木（C4.5），Support Vector Machine（SVM）があ

MS ( x ) =る．この中から，モーションの分類に適した分類器を，N cx( ) × 100max N ci0≤i ≤ kモーションによるモデル識別率の観点から決定する．
3.3

（6）

c1, c2, c3, ..., ck（k ≥ 1）とし，各クラスに含まれている2

Fi

モーション類似度の計算フロー⎢ ND ⎥
NS = ⎢⎥⎣W (1 − L ) ⎦（2）

また，周波数領域エントロピー（Frequency Domainp (i ) =

図3

（1）

（7）

x ∈ Cx (0 ≤ x ≤ k )モーションクエリによる類似度

ユーザが所望の形状を組み立てた後，その組み立て

このように，分割センサデータが一番多く分類され形状を用いてモーションを数秒間入力しクエリとする．

たクラスのモーション類似度を 100 とし，他のクラス

ここで，モーションクエリによる類似度を定義する．

のモーション類似度は，類似度が 100 のクラスを基準

モーション類似度の計算フローを図 3 に示す．F[Hz]とした割合で表現する．モーションが定義されたクラでT[sec]モーションを取得すると，1 回のモーションスに属さないモデルは，モーション類似度を 0 とする．

入力で，センサから取得できるデータ数ND は次式で4.

計算できる．

N D = FT

（5）

実験

モーションが検索クエリとして有効であるかを調べ

このセンサデータをスライディング・ウィンドウ方式

るために，前述の特徴量と分類器を用いて，分類器別によって分割し，分割したセンサデータ毎に特徴量をのモデル識別率，ユーザ間およびモデル間のモーショ

求める．ウィンドウの幅をW，データの重複率をL

ン類似性を評価した．実装環境はデスクトップPC（0 ≤ L ≤ 1）とすると，1 回のモーション入力で得ら（OS: Windows XP Pro, CPU: Intel Pentium4 3.2GHz，

れる分割センサデータ数NSは式（6）で計算できる．

RAM: 1GB ） を 使 用 し ， 開 発 言 語 と し て C++ お よ情報処理学会 インタラクション 2009

図4

モーション入力に使用した組み立て形状

ActiveCubeライブラリ，SVMの実装にはLIBSVM

図5
7)

を

提示モデルのサムネイル

表1 分類器別の全モデルの平均識別率（%）

用いた．また，実験時の分類器はオープンソースのデ

NN

C4.5

SVM

被験者 1

55.2

66.0

68.1

評価実験で用いるモデル，モーション取得時間，サ

被験者 2

56.7

60.3

61.5

ンプリング周波数，ウィンドウ幅，重複率を決めるた

被験者 3

65.7

58.2

70.1

めに予備実験を行った．20 代の男性 3 人を被験者と

被験者 4

58.8

48.7

65.4

し，モーションを想起しやすいと考えられる動物と乗

被験者 5

51.6

39.1

56.7

り物を対象とした 40 個の 3 次元モデルのサムネイル

被験者 6

56.6

59.9

65.4

ータマイニングツールであるWeka 8)を使用した．
4.1

予備実験

画像を選択し，1 つずつランダムに画面に提示し，そ4.2の画像から被験者が想起するモーションを，図 4 に示

4.2.1 実験方法

す一定の組み立て形状の ActiveCube を用いて入力し本実験では，人の行動識別によく利用される分類器てもらった．これは，被験者にできる限り形状に依存であるNN，C4.5，SVMのそれぞれのモデル識別率をしないモーションを入力してもらい，さらに，形状に評価することで，モーションの分類に適した分類器を長軸を設けることで，モデルの頭部位置などを暗示し，決定する．モデル識別率というのは，ある特定のモデユーザにとってモーションの想起と入力が容易となる

ルにおける 3.3 節で述べた分割センサデータのうち，

ように，この直方体の形状を用いた．また，モーショ

分類器によって適切なクラス，例えば犬の分割センサ

ンの入力方法（例えば形状把持の方法）についての制

データなら犬のクラスに分類されたデータの割合であ約は特に設けなかった．画像が表示されている間に，る．20 代の男性 6 人を被験者とし，図 5 に示す 17 個

被験者によって入力されたモーションを，その画像にの 3 次元モデルについて，予備実験と同様の手順でモ対するモーションとする．

ーションを入力してもらった．モーションの取得時間

分類器別のモデル識別率の評価

モーション取得時間は，ユーザへの負担を考慮し，は 1 つのモデルにつき約 4 秒で，各モデルにつき 5 回

1 つのモデルにつき約 4 秒に設定し，各モデルにつきデータを取得した．予備実験の結果より，サンプリン

3 回データを取得した．また，人の行動識別に必要な

グ周波数は 40Hz，ウィンドウ幅は 64，重複率は 50%

周波数

9)

を考慮し，これを 20～100Hz，重複率をとした．取得したデータから前述の特徴量を算出し，50% 5),6)，サンプルデータが生成されるようウィンド

各被験者の 5 回分のデータを，全てのデータを学習デ

ウ幅を 8～128 に設定した条件下で，モデルの識別率

ータおよびテストデータとして利用できる交差確認法と識別時間，特徴量の計算時間を評価した．結果より，

10)

識別率が高く，かつ処理時間が短くなる条件を選択し，割し，上記の 3 種の分類器で評価した．

を用いて，学習データ 8 割とテストデータ 2 割に分評価実験で用いるパラメータは，サンプリング周波数

4.2.2 結果と考察

40Hz，ウィンドウ幅 64，重複率 50%と決定した．モ

被験者毎の分類器別の全モデルの平均識別率を表 1

デル画像は，実験後のアンケートで，被験者が異なるに示す．表 1 より，被験者による識別率の差は見られ

モーションを入力したと判断した図 5 に示す 17 個をるものの，いずれの被験者についても，最も識別率が採用し，モーション取得時間は約 4 秒を採用した．こ高いのは SVM を用いた場合で，50%後半から 60%後の 17 種のモデルが，3.3 節で述べたモーションが定義

半の識別率を得ている．提案システムでは，3.3 節式されているクラスということになる．本稿ではこの（7）に示すように，サンプルデータが一番多く分類

17 個について評価するが，各クラスには同様のモーされたクラスのモーション類似度を 100 と定義するたションが想起される複数のモデルを含めるため，検索

め，50%以上の識別率があれば，検索結果の上位にユ

時には対象モデル数を増加させることができる．

ーザ所望のモデルを提示できる可能性が高くなる．また，モーションと形状のクエリを組み合わせて検索結実物体によるモーションクエリを用いた 3 次元形状モデル検索

果を提示するため，50%後半から 60%後半の識別率で検索を行う前にキャリブレーションが必要である．

もモーションクエリを用いることで検索精度を向上で

表 4 より，バスの 148 個のデータが電車に識別されきると考えられる．本実験の結果より，以降の実験でている．これはバスのモーションが他のモーションにはモーションを識別する分類器として SVM を用いる．

比べ，電車のモーションに類似していることを示唆し

4.3

ユーザ間のモーション類似性の評価ている．他にも馬とウサギ，船と電車においてこの傾4.3.1 実験方法

向が顕著に見られ，ユーザ間での識別が困難なモデル

ユーザがモデルから想起するモーションには個人差の組み合わせが存在することがわかった． このようがあるため，システムの利用の際には予めユーザ毎にに本実験を通じて，キャリブレーションの必要性を確

各モデルのモーションを取得するという事前のキャリ認し，今後はキャリブレーションの負荷軽減について

ブレーションが必要になると推測される．しかし，キも考慮していく必要があることがわかった．

ャリブレーションはユーザにとって大きな負担となる．
そこで，ユーザ間のモーション類似性を調べることで，

表2 被験者別の全モデルの平均識別率（%）
識別率

キャリブレーションの負荷軽減の可能性を検証した．

識別率

分類器別のモデル識別率の評価実験で取得したデータ

被験者 1

29.9

被験者 1022.9に加え，新たに 20 代～30 代の男性 8 人と女性 4 人を

被験者 2

20.9

被験者 11

25.3

被験者として，同様の手順でモーションを取得し，特

被験者 3

23.9

被験者 1222.1

徴量を算出したデータを用いて SVM による分類を行

被験者 4

23.0

被験者 13

20.9

った．この際，交差確認法にもとづき，18 人中 17 人

被験者 5

22.4

被験者 1414.9のデータを学習データとし，残り 1 人のデータをテス

被験者 6

25.3

被験者 1525.6

トデータとして，全 18 人の被験者について行った．

被験者 7

32.6

被験者 1623.8

4.3.2 結果と考察

被験者 8

23.2

被験者 17

17.6

被験者別の全モデルの平均識別率の結果を表 2 に示

被験者 9

27.7

被験者 1824.2

す．表 2 より，識別率は平均 23.7%であった．これは先の実験での識別率の半分以下の識別率であり，被験者間のモーション類似性は低いといえる．すなわち，

表3 モデル別の全被験者の平均識別率（%）
モデル名

識別率

モデル名

識別率

新たなユーザのモーションをキャリブレーションなし

鳥

8.96

飛行機

11.5

に識別することが困難であることを示している．被験

車

33.2

ウサギ

26.3

者 14 と被験者 17 の識別率が低くなっているが，これ

バス

8.91

ロボット

5.92

については，被験者の動作は正常であったが，モーシ

犬

22.0

ロケット

46.9

ョンの計測開始から実際の入力までに若干時間を要し，

イルカ

47.9

船

26.2

4 秒以内で十分なデータ量が取得できなかった可能性

魚

13.6

ヘビ

35.1

がある．4 秒というモーション時間は，実験での反復

飛行船

36.5

電車

37.2

作業を考慮して選んだ値であり，もう少し長めに設定

ヘリコプター

6.15

熊

10.0

する方が安定したデータの取得にはよいと考えられる．

馬

26.1

また，モデル別の全被験者の平均識別率を表 3 に，全被験者の混同行列を表 4 に示す．表 3 より，モデル毎に識別率の差が見られ，イルカ，ロケットの識別率
が他のモデルよりも高く，18 人の被験者間で同じよ
うなモーションが入力されたことが考察される．逆に，
鳥，バス，ヘリコプター，ロボットなどの識別率は低
く，各被験者によって異なるモーションが入力されたと考えられる．実際，例えば鳥についてのモーション
では，地面を歩いているときの単調な振動のモーショ
ンや空を飛んでいる動作，また，それらを組み合わせた動作など複数のモーションが見られた．このようにモデル画像から想起されるモーションは人それぞれで，

表4

全被験者の混同行列

情報処理学会 インタラクション 20094.4

モデル間のモーション類似性の評価

空4.4.1 実験方法

陸

本実験では，ユーザ間のモーション類似性の評価
実験で取得したデータを用い，式（7）で定義したモーションクエリによる類似度の有効性を検証する．
前節の実験で得られた全 18 人の被験者の 1 回目か

海

ら 4 回目までの各モデルに対するモーションデータ

動物

を SVM を用いて学習し，全被験者の 5 回目のデー
タをクエリとしてモーション類似度を算出し，その乗り物

平均を各モデルに対するモーション類似度とした．
4.4.2 結果と考察
図7

SOM によるモーション類似度のクラスタリング結果

5.

考察

デルが分類された割合，すなわちモーション類似度を

5.1

モーションデータの解析表している．17 種類のモデルのうち，電車以外のモ

ここでは，前章でのモーション類似度の結果を用い

デルについては，被験者が意図したモーションのモデてクラスタリングを行い，モデル別のモーションデー

ルが 1 位に分類されており，電車についても 2 位に分タの傾向を検討する．クラスタリング手法として，自類されていることがわかる．この結果より，ユーザが己組織化マップ（Self Organizing Map; SOM）11)を用いモデルから想起するモーションを入力することで，検た．クラスタリング結果を図 7 に示す．前章で述べた索結果の上位にそのモデルを提示できると考えられる．

漠然としたイメージでのモーションを用いた検索につまた，ユーザが漠然としたイメージでモデルを検索す

いても，このクラスタリング結果はその方向性を示す

る際に，想定していたモデルだけでなく，モーション

ものである．図において，ノードが白いほど，隣接しクエリに類似した他のモデルも上位に提示できる．例

たノードとの類似度が高く，色が濃くなるほど類似度

えば，空を飛ぶモデルを検索する場合，ヘリコプターが低い．また，モデル間の距離が近いほど，類似度がのモーションを入力するだけで，ヘリコプターのモデ高いことを表している．

全被験者のモーション類似度の結果を図 6 に示す．
図 6 において，括弧内の数字はテストデータが 1 位のモデルに分類された個数を基準として，それぞれのモルはもちろん，飛行船や鳥などのモデルも検索上位に提示可能である．

この図より，モーションデータは陸上を動くモデル（陸のモデル，右），空を飛ぶモデル（空のモデル，
左）に分けられていることがわかる．これは陸のモデルから想起するモーションと，空のモデルから想起す
るモーションに違いがあることを示している．同様に，動物のモデル（右上）と乗り物のモデル（左下）にも分かれている．さらに詳細を見てみると，海に関するモデル（海のモデル）である魚と船はそれぞれ陸のモデルであるヘビと電車と似たモーションであることがわかる．イルカについては独立したモーションである．
しかしながら全ての海に関するモデルは，陸に関するモデルのクラスタ内に含まれていることがわかる．これより，海に関するモデルには，海固有のモーションが存在するのではなく，陸に関するモーションから成り立っていることが予見される．
以上より，今回対象としたモデルのモーションは，「陸の動物」「陸の乗り物」「空の動物」「空の乗り物」の 4 つのクラスタに分類されることがわかった．
また，クラスタ内において，例えばバスと電車，馬とウサギなどは，4.3 節での結果と同様に，両者のモー

図6

モーション類似度結果

実物体によるモーションクエリを用いた 3 次元形状モデル検索

ションが非常に類似しており，それらを識別することは困難であると考えられる．これを解決する手法として，形状，モーションに加えて，ユーザがモデルから想起する音など，ユーザ間で共通の認識があると考えられる新たなクエリを用いた検索手法が挙げられる．
5.2

形状類似度とモーション類似度の組み合わせ

提案システムでは，ユーザが組み立てたブロックの形状と，その形状を動かすことによって入力するモーションを用いて，最終的な類似度を算出し，ユーザに提示する．本研究では，形状類似度を Shape Similarity(SS)，モーション類似度を Motion Similarity (MS) とし，
最終的な類似度 Similarity を式（8）で定義する．

Similarity = (1 − α ) × SS + α × MS

（8）

式中のαはモーション類似度の寄与率を表しており，今回は最も単純な形式での形状類似度とモーション類
似度の合計を表す式を検討した．
図 4 の直方体の組み立て形状の形状類似度を算出した結果と，被験者がイルカ，ヘリコプター，電車のモーションを，この形状で入力した際のモーション類似
度 を 用 い ， α の 値 を 0 ， 0.25 ， 0.5 と 変 化 さ せ て
Similarity を算出した結果を図 8 に示す．形状は一定であるため，α=0 の場合は 1 例だけを（a）に示す．
図 8 の（a）より，形状のみをクエリとした結果では，直方体の形状に合わせて，車のモデルが多く検索されている．（b）では，イルカのモーションの影響が出始め，形状のみでは上位に検索されていなかったイ
ルカのモデルが 1 位に検索されている．また，その他の上位に検索されているモデルの類似度が全体的に減少している．（c）では，検索上位をイルカのモデルが占めており，ソファやバナナなどモーションが想起しづらいモデルは上位に見当たらなくなっている．
ヘリコプターのモーションを入力した（d）ではモーションの寄与率が低い段階から，形状だけでは出現しなかったヘリコプターのモデルが上位に検索されている．また，形状クエリの影響が大きい車のモデルも検索上位に残っている．しかし，モーションの寄与率をさらに高くした（e）では，上位モデルはほとんどヘリコプターになり，クエリとしてのモーションが，検索結果に大いに影響を与えていることがわかる．
電車をクエリとした（f），（g）では，電車から想起

図8

形状類似度とモーション類似度の組み合わせ結果

易に検索でき，さらに双方を組み合わせることで，より一層の検索精度および直感性の向上が期待できる．
提案システムにおける検索の直感性されるモーションを入力するだけで，電車だけでなく，

5.3

自転車，バイク，車といった「陸の乗り物」に関連し実装した検索システムをユーザに体験してもらった

た様々なモデルが検索結果として出力されている．

際に得られたフィードバックとそれに対する考察を述このように，形状クエリだけでは上位に表示されにべる．まず，システムの使用方法の理解については，

くいモデルも，モーションクエリを用いることで，容数回のモーション入力の練習を終えると，ほとんどのユーザが，モーションクエリを用いて所望のモデルを

情報処理学会 インタラクション 2009

検索できるようになっていた．また，モーション入力

モーションクエリを加えることの有効性を確認した．

に慣れるにつれ，ユーザは，特定のモデルを検索する

今後は，対象モデルを増やし，ユーザ間とモデル間のではなく，自由なモーション入力により，意外なモのモーション類似性について更なる考察を行い，シスデルを検索することに関心を示す傾向にあった．これ

テムの利用に必要なキャリブレーション手間の軽減手より，モーションクエリを用いた検索は，習得までに法を考案し，システムを用いた評価実験を通じて，提それほど時間を要さず，ユーザが新たな楽しみ方を考案システムの有効性について検証していく予定である．

案できるほど，理解しやすいシステムであるといえる．

謝辞

本研究の一部は，科学研究費補助金基盤研究

しかし，例えばロボットや食べ物，道具のモデルな（C）19500107 の助成，マイクロソフト産学連携研究

どモーションが想起しづらいモデルに関する検索にお機構 CORE 連携研究プロジェクトの研究助成を受けいては，モーション検索は使い勝手が悪いという意見た．また，大阪大学 大学院情報科学研究科の高嶋和もあった．逆に，イルカやロケットなどのモーション

毅助教，濱恵美子氏には，多くの御助言，御協力をいが想起しやすいモデルについては，形状クエリを用い

ただいた．

た場合に比べ，所望のモデルをより容易で直感的に検索できたという意見を得た．これより，モーションが想起しづらいモデルの検索では，前節の式（8）において，モーション類似度の寄与率を小さくし，想起しやすいモデルでは，寄与率を大きくすることで，提案システムの能力を最大限に発揮できると考えられる．
5.4

ブロック形状と入力モーションの関係性

今回，実験でのモーション入力の際に，4.1 節で述
べた理由より，直方体のブロック形状を用いたが，実際，ActiveCube の大きさの制約から，それほど詳細なモデルの形状は作れず，ブロックを 3，4 個接続した単純な直方体でモデルを表現する場合も多い．よって，今回の実験ではモーション入力の際のブロック形状をあまり重視はしていないが，単純な直方体を用いて得られた結果は，現状の ActiveCube の大きさゆえに，概観形状だけでは詳細なモデル検索ができないという制約を解消するための有力な手法になりうる．
ま た ， 今 回 は 有 線 で ホ ス ト PC と 通 信 す る
ActiveCube を用いたため，モーション入力の際に片手をケーブルを支えるために使用したり，ケーブルの切断を気にするあまり，モーションを自制しているよ
うな被験者も見られた．今後は無線の ActiveCube を用いた実験も検討する必要がある．

6.

おわりに

本稿では，実物体の組み立て形状をクエリとする 3次元形状モデル検索システムの新たなクエリとして，
実物体を用いて入力するモーションを考慮した検索手法を提案した．ユーザの入力したモーションによる形状モデルの識別率やユーザ間およびモデル間のモーシ
ョン類似性を評価し，モーションが検索クエリとして有効であることを確認した．さらに，形状とモーショ
ンクエリを組み合わせた検索システムを実装し，モデ
ルの検索結果の分析より，形状をクエリとする検索に

参

考

文

献

1) H. Ichida, Y. Itoh, Y. Kitamura and F. Kishino:“Interactive Retrieval of 3D Shape Models using
Physical Objects”, In Proc. of the ACM Multimedia
2004, NY, USA, pp. 692-699, (2004).
2) M. Thorne, D. Burke and M. Panne: “Motion
Doodles: An Interface for Sketching Character
Motion”, Computer Graphics Annual Conference
Series (Proc. of SIGGRAPH), (2004).
3) Y. Kitamura, Y. Itoh and F. Kishino: “Real-time 3D
Interaction with ActiveCube”, In CHI 2001 Extended
Abstracts, pp. 355-356, (2001).
4) R. Osada, T. Funkhouser, B. Chazelle and D. Dobkin:“Shape distributions”, ACM Transactions on
Graphics, Vol. 21, No. 4, pp. 807-832, (2002).
5) L. Bao, S. S. Intille: “Activity Recognition fromuser-annotated acceleration data”, In Proc. of
PERVASIVE 2004, LNCS 3001, Springer, pp. 1-17,(2004).
6) N. Ravi, N. Dandekar, P. Mysore and M. L. Littman:“Activity recognition from accelerometer data”, In
Proc. of American Association for Artificial
Intelligence, pp. 1541-1546, (2005).
7) LIBSVM http://www.csie.ntu.edu.tw/~cjlin/libsvm/
8) I. H. Witten, E. Frank: “DATA MINING practical
Machine Learning Tools and Techniques”, Morgan
Kaufmann Publishers, (2000).
9) C. V. Bouten, K. T. Koekkoek, M. Verduin, R. Kodde
and J. D. Janssen: “A Triaxial Accelerometer andPortable Data Processing Unit for the Assessment ofDaily Physical Activity”, IEEE Trans. on BioMedical Eng., Vol. 44, No. 3, pp. 136-147, (1997).
10) R. Kohavi: “A Study of Cross-Validation and
Bootstrap for Accuracy Estimation and Model
Selection”, In Proc. of the 14th International Joint
Conference on Artificial Intelligence, pp. 1137-1143,(1995).
11) T. Kohonen: “Self-Organizing Maps”, Springer
Series in Information Sciences, Vol. 30, Springer,(2001).