HOTARU
携帯端末画面を投影することによるインタラクション手法の提案
宮原 耕介

井上 博司 常定 裕司
東京大学

杉本 雅則

{miyahara, inoue, tsunesada, sugi}@itl.t.u-tokyo.ac.jp

1. はじめに携帯電話は普及率が６割を超え、近年ではカメラ・GPS など多機能化が進んでいる。このような状況の中、携帯電話や PHS、PDA などの携帯端末の画面を 1 人で見るのではなくて、他人と一緒に画面を見る、あるいは他人が操作を行なう、という機会や要望は増えている。しかし、携帯端末は携帯性を重視するがゆえに、入出力領域が限られ、他人と画面を共有するのは容易ではない。
この問題を解決する手段として、筆者らは、小型プロジェクターによる携帯端末画面の投影という手法を提案する。携帯端末の画面を机や壁などに投影して拡大し、携帯端末の背面に搭載されたカメラを用いて、投影された画面に対する人の操作を認識する（図１）。現時点では、携帯端末に搭載可能なほど、小型・省電力なプロジェクターは実現されていないものの、様々な企業・研究機関で開発が行なわれており[1]、そのようなプロジェクターが実現するのもそう遠くないと考えている。
その場合、携帯端末、カメラ、プロジェクターが 1つのデバイス上に集約され、様々な場所で本研究が提案するインタラクションを行なうことができる。
本稿では、携帯端末の画面を投影することで可能になるインタラクション手法と、投影された画面に対する操作の認識手法の提案を行なう。

2. 投影された携帯端末画面に対するインタラ
クション
我々が普段、紙やホワイトボードを用いて人と話したり議論する際には、その場にいる誰もが紙やホワイトボードに書き込みをしたり、自分が見やすい方向に向けたりすることができる。これとHOTARU: Interaction techniques for projected displays ofmobile devices
Kosuke Miyahara, Hiroshi Inoue, Yuji Tsunesada, Masanori
Sugimoto
The University of Tokyo

同じように、本システムではその場にいる誰もが、投影された携帯端末画面に対する書き込みや画面の回転、といった操作を認識し実行することが可能になる。図１は壁に投影した地図に右側のユーザが書き込みを行なっている様子である。
また、本研究では複数人が携帯端末の画面を投影し、机や壁に複数の画面が投影されている環境におけるインタラクションについてもデザインを行なっている[2]。

図 1 携帯端末の画面を壁に投影した場合の使用例

3. システムの構成
机に携帯端末の画面を投影した場合のシステム構成が図２である。壁に投影する場合も同様のシステム構成になる。このシステムは大きく分けて２つの要素技術から成り立っている。
携帯端末の位置を測定し、その位置と傾きに応じて端末画面を投影する
携帯端末搭載のカメラを用いて、人間の操作を認識する
以下では、この２つの要素技術について詳細を述べる。
3.1 携帯端末の位置と傾きを測定し、それに応じた端末画面を投影する
携帯端末に搭載できるような小型のプロジェクターは今のところないので、本研究では大型のプロジェクターを用いて、小型プロジェクターの投影をシミュレートした。その為には、端末の位置

PDA位置座標を送信
PDA位置認識
カメラ

プロジェクタ

投影する

図４ 認識結果カメラの映像を送る

4. 評価実験

操作認識カメラ
画像処理
サーバ

PDA

画面のキャプチャを送信

投影・端末位置認識
サーバ

操作の認識結果を送る

図２ システムの概要と傾きを求める必要がある。これを測定する為に、図３のような基盤を作成した。この基盤には赤外線 LED が二等辺三角形状に配置されており、天井に設置したステ
レオカメラで LED 光を認識し、位置と傾きの測定を行なっている[3]。
図３ 赤外線 LED
このようにして得られたを用いたマーカー
PDA の位置・傾きの情報とPDA 画面のキャプチャを組み合わせ、PDA にプロジェクターが搭載されたかのように画面を投影している。
3.2 携帯端末搭載のカメラを用いて、人間の操作を認識する
本研究では、携帯端末から投影された画面に対する操作の認識に、端末搭載のカメラを用いる。
また、指先に赤色 LED のついたリングを装着し、認識の精度を上げている。
これらの条件を踏まえて、操作を認識するには
1. 赤色 LED を装着した指先の位置を認識する
2. 投影された PDA の画面を認識する
3. 平面射影変換により、実際に PDA 画面のどこを操作しているのかを求めるの手順が必要になる。図４は指先と、投影されたPDA 画面の認識の様子であり、緑色の円が指先の認識結果、赤枠が投影された PDA 画面の認識結果である。投影された PDA 画面の認識の際、コーナー検出やハフ変換を用いることで、PDA 画面に手や腕が重なった場合でも精度良く PDA 画面を認識することを可能にした。
このようにして、図１のようにどこにでも画面を投影し、携帯端末背面のカメラを用いているので、どこでも操作を行なうことができる。

本システムの簡単な評価実験を行なった。被験者は 6 名で 2 名 1 組のグループに分け、投影した画面の操作や書き込みなどを 30 分ほど行なってもらった。
２人で画面を見ながら作業を行なう場合、画面が大きく投影され、自由に手で操作できるので作業の容易さが向上した。また、PDA の手ぶれによる投影画面が揺れも、気にならない程度であるし、認識も問題なく出来ている。

5. 関連研究
携帯端末の位置に応じた画面の投影を行なう研究例では、HyperPallete[4]があるが、本研究の場合、周囲にいる人が投影された画面に指で書き込みを行なえるという特徴がある。
また、本研究のように小型プロジェクターの普及を見越した研究例では iLamps[5]があるが、カメラを用いた人間の操作の認識は行なわれていない。

6. まとめ
本稿では、携帯端末画面を投影することによるインタラクション手法の提案と実装を報告した。
今後は、複数の端末画面が投影されている場合における、端末間の連携手法について改善を行なう予定である。
参考文献
[1]

http://www.nytimes.com/2004/11/04/technology/circuits/04next.html[2]

宮原ほか，携帯端末画面を投射することによるインタラクション手法の提案，ヒューマンインタフェース学会研究報告集，Vol.6，No.4，pp.25-30，2004.

[3]

矢谷ほか，ユーザの位置、方向、ジェスチャを認識することによるモ
バイルデバイスのための情報移動手法，ヒューマンインタフェース学会研究報告集，Vol.6，No.4，pp.31-36，2004.

[4]

Ayatsuka, Y., et al., “HyperPalette: a Hybrid Computing Environment for Small
Computing Devices”, ProceedingsofCHI,pp.133-134,2000.

[5]

Raskar,R.,etal.,"iLamps:Geometrically Awareand Self-Configuring Projectors",
ACMTransactionson Graphics,vol.22,n.3, 2003.