The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

身体感覚によるコンテンツ整理をめざして

1D2-02

Toward Contents Management with Somatic Sensation
黄 宏軒

野村 聡史

角 康之

西田 豊明

Hung-Hsuan Huang

Satoshi Nomura

Yasuyuki Sumi

Toyoaki Nishida

京都大学大学院情報学研究科
Graduate School of Informatics, Kyoto University
This paper describes our ideas upon a large scale contents repository management system that utilizes the use of intuitive
hand operations and semantic gestures in a 3D virtual environment. We expect that by applying these ideas, it is possible
improve the efficiency of personal digital contents management or even collaborative works between multiple users.

1. はじめに本論文は，コンテンツレポジトリ内の個々のコンテンツを仮想の３次元空間中に表現し．操作にジェスチャーを用いることで，実体のある物を扱うかのような直感的な操作環境の構築を目指すものである．これにより、個人コンテンツ管理の効率化だけでなく、複数の人間がコンテンツに対して共同作業を行う際にも有効であると考える．

2. 研究背景
近年，デジタル記録機器とインターネット使用の急速な普及にともない，多くの人々が日常的にデジタルコンテンツを扱うようになった．これらのテキスト，電子ドキュメント，画像，映像といったコンテンツは，個人でも，時間の経過につれ，大量に溜まってきて，もはや人間の有限な記憶と既存 OS が提供する単純なフォルダー，ファイル構造では，正確に把握できない状況になった．そこで，我々は，外化記憶が必要だと主張し，種々のコンテンツ整理をした上で，生涯に渡る長期的な外化記憶構築支援システムを開発してきた．
• Gallery[黄 04]は，デジタル写真をメディアとしてキーワー
ドとアノテションを付加することにより，ユーザーがズーミング機能付きの二次元平面に，自分の思い出の論理構造を手動で構築できる外化記憶システムである．
• 知球[久保田 04]は，仮想な球面に写真に限らず，ウィンドウスのデスクトップのように，通常のファイルを手動で配置し，持続的に外化記憶を構築していくことができるシステ
ムである．
• Contents Garden[野村 05]は，知球のコンテンツを球面から鉢型に投影し，ユーザーによる直接の手動配置にDistort, Push，Make Space といった支援動作を加えると提案している．
これらのシステムは，個人コンテンツレポジトリを，無限二次元平面，球面，鉢型に配置し，情報の空間化を目指している．ところが，それぞれのデザインの原点からみると，成功しているものの，３つのシステムとも，マウスの操作，ウィンドウ，コンテキストメニューなどを多く使用しており，伝統的な GUI 操作とディスプレイの前という場所に拘束されている．
数十年前に発明されて以来，使いやすいものの，大幅な進歩はない GUI の効率の悪さは，以前からのユーザー研究で報告されている．それを補うために，ホットキーの多用や，マウスジェスチャーなどの手法は市販のソフトウェアなどに採用されてお連絡先：黄 宏軒，京都大学大学院情報学研究科，〒6068501 京都市左京区吉田本町京都大学構内工学部 10 号
館 223 室，(075)753-5387，huang@ii.ist.i.kyoto-u.ac.jp

り，例えば，操作効率が良いと謳えているウェブブラウザーのOpera [Opera 05] のマウスジェスチャーはその代表例の一つであるが，こういった手法は，あくまでも熟練者向けで，自然ではないキーの組み合わせと連想しにくいジェスチャーをユーザーに覚えさせてしまい，問題を根本的に解決していないのである．
その一方で，認知科学では，数々の身体の動きやジェスチャーと思考の関係の研究がなされてきて，近年になり，徐々に解明されつつある．その中で，自発的なジェスチャーは，人間が物事を考える際に，イメージ的な情報を組織化する過程として，無意識的に行われ，このからだ的思考が分析的思考を会話的に補助していることがわかった．[喜多 02] この仮説を土台にして，ユーザーが実空間において，いかに身体感覚を生かしてコンテンツ整理の効率を高め，ユーザーの思考プロセスを支援することは，本研究のきっかけとなった．

3. 提案手法
身体感覚のコンピューター操作といえば，まず考えられるのは，手の動き，すなわち，ジェスチャーの応用である．２次元の自由度しか持たないマウスの操作に引き換え，仮想の３次元空間において，両腕の動き及び１０本の指の形で，手のジェスチャーによるコンピューターの操作インターフェースは，無限の自由度を持つのである．これを上手く活用すれば，自然的で，なおかつ高効率な大量コンテンツ整理環境が実現可能だと思われる．
したがって，第 2 節で述べた我々がこれまで開発してきたシステムに対する考察をまとめ，以下の内容を課題とした．仮想の３次元世界内にある台の上に置いてあるサムネールで表示された大量なコンテンツオブジェクト群を，散乱しており，構造がない状態から，まとめるとする．また，コンテンツオブジェクト自体に含まれる情報はサムネール画像と作成時間のみである．これまでのシステムに，このような状況では，マウスによる操作が，最も煩わしくて非効率的であり，両手で大量なオブジェクトを直感的に操作することが望ましいところである．そして，いかに身体によって効率的に素早く操作することを目指し，我々は以下に述べる３通りのコマンド系によるシステムを構想した．

3.1 直接に行うオブジェクト操作
画面上に表示されているオブジェクトを掴んで移動したり，指差しで輪郭を描いて選択範囲を指定した一団のオブジェクトをグルーピングしたり，両手の掌でグルーピングしたコンテンツの団塊を整形したりするといった直接に行うオブジェクト操作のことである．それに，一枚一枚のオブジェクトのサムネールが紙片のごとく振舞う物理性質のモデルを付加し，実物のようにリアルを体感できるようにする．

-1-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

3.2 バーチャル小道具の使用

3.4 実装状況

効率の悪いコンテキストメニュー，連想しにくいキーの組み合
わせとマウスジェスチャーを避けるために，連想しすいメタファーの形状を明示的に描いたり，映像的(iconic) [McNeill 92]ジェスチャーを構えたりすることで，仮想の小道具を画面上に生成させ，コンテンツ整理のタスクを支援するという発想である．例としては，以下のようなメタファーを使った小道具が考えられる．
• 板：右手の人差し指を伸ばして(図 1-a)，画面上に表示されたカーサーに長方形の輪郭を描かせ，そのサイズの仮想板を生成する．同時に多数のコンテンツを移動したい
場合，一団のコンテンツをまとめて押しのけたり，引き寄せたりすることができる．
• 磁石：右手の親指と人差し指で U 字型を構えて(図 1-b)，指定したコンテンツを磁石に変身させ，色の分布で類似しているコンテンツを引き付けることができる．
• 時計：右手の人差し指の先端で親指に触れ，円形を構えて(図 1-c)，時計を呼び出し，所定のコンテンツグループをファイル生成時間順で並び替えることができる．
• 箱：両手の人差し指と親指で四角形を構えて(図 1-d)，仮想の箱を生成させる．邪魔で暫く使わないものをそれにしまっておくことができる．
• ハサミ：右手でジャンケンのハサミジェスチャーを構えて(図 1-e)，指定した不要になったコンテンツを削除する．

モーションキャプチャーとデータグローブを用いた試作システ
ムはまだ実装中であるが，それができたら，図 2 に示す典型的なシナリオのように，ユーザーが情報の空間に没入し，実空間における身体をフル稼働し，より素早いコンテンツ整理の実現が期待できる．また，ユーザーを狭い場所から解放し，大型ディスプレイの採用しただけに，将来的には，複数ユーザー間の共同作業への支援も考えられる．

a.

b.

c.

d.

e.

f.

3.3 セマンティックジェスチャー
両手の掌を左右方向で小幅に振ることで(図 1-f)，選択したコンテンツ団塊や仮想箱などのオブジェクトのサイズを，「もう少し大きい」，「もう少し小さい」，「これぐらいの大きさ」などの言語的なジェスチャーでシステムとインタラクションする．

図 2. コンテンツ整理のシナリオの例．(a) 散らかった多数のコンテンツ (b) コンテンツがばらばらで，作業スペースがないから，板で全てのコンテンツを周辺に押しのける． (c) まとめたい一種類のコンテンツ一枚を取り出し，磁石ツールで類似しているコンテンツを引き寄せる．(d) 集まったコンテンツをグルーピングする．(e) 手でグルーピングされたコンテンツを整形してまとめる．(f) まとめた同種類のコンテンツを箱にしまっておく．

a.

4. まとめb.

c.

d.

我々はこれまで，情報の空間化によって，持続的に発展可能な大量なデジタルコンテンツからなる外化記憶の構築支援シス
テム取り込んで，種々のシステムを開発してきた．これらのシス
テムをより自然なインターフェース，なおかつ効率がよい操作に改善するために，直接に手でコンテンツを扱う身体的なインターフェースを考案した．

参考文献

e. f.
図 1．考案した数々のジェスチャー．(a) 物を指示したり，グルーピングの範囲の輪郭を描いたりする直示的な指差し．実物を連想させる小道具の映像的なジェスチャー，(b) 磁石 (c) 時計 (d) 箱 (e)ハサミ と (f) サイズ，形状などを微調整に使う言語的なシマンティッ
クジェスチャー．

[McNeill 92] David McNeill, Hand and Mind, the University of
Chicago Press, 1992.
[Opera 05] Opera Web Browser, Opera Software,
http://www.opera.com, 2005.
[喜多 02] 喜多 壮太郎，ジェスチャー 考えるからだ，金子書房，2002．
[久保田 04] 久保田秀和，角康之，西田豊明：「知球」：持続的に発展可能な時空間記憶の構築，情報処理学会研究報告「ヒューマンインタフェース」，Vol.2004，No.90，2004．
[黄 04] 黄 宏軒，角 康之，西田 豊明：Galley: 人間記憶支援システム，日本人工知能学会第 18 回全国大会，2004.
[野村 05] 野村 聡史，久保田 秀和，角 康之，西田 豊明：ポリシーに基づいたコンテンツの空間配置の支援，日本人工知能学会第 19 回全国大会，2005．

-2-