アクティブな投影型情報提示システムにおける生活支援サービス選択
羽山 典孝 ÝÝ東京大学

森 武俊 Ý

Ý 大学院情報学環

野口 博史 ÞÝÝ 大学院学際情報学府

アクティブな投影型情報提示システム
室内における生活支援を念頭においた自由度の高い投影型の情報提示環境の実現を目指し，センサ環境： と天井に設置されたパンチルト可能なプロジェクタによるシステムの構築を進めている．本研
究は，居住者の生活をセンサを通して観察し，その状況に応じて投影位置やタイミング，コンテンツを臨機応変に変化させることにより，情報支援のみならず，環境型のシステムが提供できる支援全般を促進するような「アクティブな情報提示」を中心課題としている．
そのために本システムは，  が持つ生活中の移動方向や立ち位置 床圧力センサ ・家具家電の状態
スイッチセンサ ，及び物体の識別  による計測機能と，可動プロジェクタ パン  度チルト  度 による広範囲な提示機能を基本として持っている．

アクティブな情報提示システム
・ ・ ・

日常生活センシング環境 :SensingRoom

可動プロジェクタ

家具家電の状態
物体の識別機能 居住者の位置情報(床圧力センサ) (スイッチセンサ)・ ・ ・

情報提示支援の例  アクティブな情報提示システムの構成と提示例



生活支援サービス選択

これまで本研究は上記の機能に基づき，センサ値や時間的な経過，発生履歴などの条件の組をルールとして記述し，さらにそれをシステムの投影コンテンツと提示位置に予め結びつけておくことで提示支援の管理を行ってきた．
これにより，予め用意しておいたシチュエーションのいずれかとなったら，システムが位置やコンテンツを変更し「サービスの通知」や「操作のガイド」，「場所の教示」などを提示することで，居住者を能動的に支援サービスに導き込むアプリケーションが実現している  ．
しかしながら従来の方法では，居住者の動きに変化が無い場合，居住者からの明示的なサービスの選択，あるいはその選択から提示内容を分岐させていくような段階を持つアプリケーションの構築が困難であった．

                             

佐藤 知正 ÞÞ 大学院情報理工学系研究科

一方，   !"#$  では，パンチル
ト回転ミラー付きプロジェクタを用い，小売店内で商品情報の提供や顧客の誘導，あるいは什器に関連する情報を拡張表示するアプリケーションなどを提案している．
これらは，幾何モデルと複数台カメラによる人間の位置情報と，フレーム間差分を用いた手の追跡や指先発見による接触情報を基にして提供するサービスを決定している．
しかし，本研究が対象とする居住空間は店舗とは異なり，センシングにより取得される位置情報や接触情報のみから提供するサービスを決定づけることは困難である．
そのため，居住者によるサービスの選択フェーズの導入が必要となる．さらに，本システムにこのようなインタラクションを導入するにあたっては、日常生活に適合した方法で実現されることも必要となる．
そこで，室内にカメラを分散配置させ，それをインターフェイスとして用い， 居住者の手振りのイメージを第三者が見ているように居住者自身に示す選択方法と，居住者の手で家具家電に直接投影された % を選択するという二種類の方法を実現し，階層的なメニューの提供やサービス起動を試みる．
以下，これらの選択動作機能の実現手法について述べ，最後にこれらを含めたインタラクティブな情報提示アプ
リケーションを例示する．



鏡像提示による手振り  選択

対面上に配置されたカメラで撮像した自分自身のシルエットを巨大ディスプレイに表示させながら，システムが重ねて描画した図形とインタラクションを行う &'
らのビデオプレイス ( は、非拘束ながら高い実用性をもったものである．
そこで本システムはビデオプレイスの配置を応用した，オプティカルフローによる手振り選択動作の取得を行う．
これまでの床センサから得られる居住者の位置情報により提示位置を動的に変化させることに加えて， のような方法を取り入れる．
鏡像に重ねたUIを居住者に提示

手振り動作

UI上のオプティカルフローの算出
数十フレームを保持

Optical Flow

Pixelframe

CameraFloor Sensor
選択動作の発生スペクトルの算出
条件： 決められた帯域で一定以上のパワー
一定フレーム以上継続

周期的な運動の検知  手振り選択 % の実現手法
まず，対面上から取得された鏡像に図形やメッセージを重ねて描画し，% とする．これを居住者の目の前に投影する．次に，% 上で手を振る動作をシステムが検知することをもって選択動作とする．
手振り状態にある場合，その速度に着目すればゼロ交差がある周期的な挙動を示すと思われる．そこで，算出されたオプティカルフローから，% 表示と平行な成分を積算し，その平均を振幅とみなして数十フレーム観察する．これを一周期としてフーリエ解析によりスペクトルの算出を行う．そして，ある決められた帯域で一定以上のパワーを持つことを条件に手振りとしての認識を行う．
以上の手順により，居住者が立ち止まった状態であっても複数の候補から明示的なサービスの選択ができる．

ヒストグラム近似を用いた投影  選択

可動プロジェクタの利点の一つは，居住者の傍に投影を行えることである．居住者の近くに家具や壁がある場
合は，% 画面を直接投影し，手領域と背景領域を判別したうえで選択動作として検知する方法が有効である．
投影された % による影響は，照光条件と背景が複雑に変わる問題として捉えなおすことができる．そこで )'ら * の判別法に基づいた選択動作の検知を行った．
この方法は，事前に手の色のモデルを持つのではなく，ヒストグラムを混合ガウス分布によって近似し，手領域と背景領域のモデルを動的に生成するものである．さらに，事前に % 選択時の手領域のみを切り出した画像群を用意し，手の存在確率密度分布を生成しておく．最後に，色らしさと位置らしさの両条件から手領域であるかどうかを判別する．
一方，手領域の判別結果の例は  であるが、このようにプロジェクタの投光による影響や % の特徴によっては，手領域が不連続になる場合もある．そこで，局所的な探索手法である平均値シフト法を用い，手の追跡を行う．そして，追跡対象である手の重心位置や滞留フレーム数などの情報を基にして % の選択動作を検知する．

入力画像

オンライン処理
Saturation

アプリケーション例

アプリケーション例として，上記二種類の選択方法を用いたマルチメディアプレーヤーのソファ上での起動を順に示す．
床センサの出力により室内を歩く居住者の前にサービスを起動し，そこで必要であれば支援サービスを手振りによって選択をしてもらう  ．手振り % の実現により，居住者の傍に投影可能な面が無いとしても選択メニューの提供が可能となる．
ここで，居住者は複数の候補から「リラックスする」を選んだとする．そして、そこからソファへ投影 % サー
ビスが利用可能なことが通知され，座るように促す  ．
そこで，二階層の % を操作し (,* ，そのうちの -. が選択され，プロジェクタが -. を投影する  ．
1

プロジェクタ

鏡像+UI

2

対面上のカメラ3546

 ( 手振り選択と投影 % 選択によるサービス選択
オフライン処理

C
olorH
ist
og
ram

埋め込まれてない場所でも選択動作の実現が可能となる．

Hue
背景領域
手領域

Max
Es im
tim umat Li
io ken li
hood

X-AxisY-Axis

事前にUIに対応した手領域の存在(x,y)確率密度分布を算出
手の色らしさと位置らしさの両条件から手領域かどうかを判別

処理結果

色のヒストグラムを混合ガウス分布で近似し、一番目の分布を手領域として制限を設けて推定

結論アクティブな情報提示システムに適合した生活支援サー
ビス選択方法として，鏡像提示の % 選択とヒストグラムを用いた投影 % 選択を実現した．さらに，これらの選択方法を用いたアプリケーション例を示し，階層的なメニュー選択とサービスの起動が行えることを確認した．

参考文献
 


上記の手法を投影 % 選択に用いる利点は，% の表示
内容変更時などに生じるさまざまな色の分布の変化を想定し，最尤推定時に用いる + アルゴリズムの更新ステップを対応させることが可能であること，さらに，手領域と % の対応を手の存在確率密度分布として捉えることができることにある．
以上の方法により投影 % を実現することで，センサが      +

0

#*& !

"# $  % &" '(   手領域の判別方法と処理結果の一例

    ! )

+,,-. ((-,/-0 1 +,,-

森武俊，羽山典孝，野口博史，佐藤知正．環境センサと可動プロジェクタによる段階的な情報支援の実現．計測自動制御学会 & 部門講演会，((23/23+，+,,-．
  #  4"  56"  7 " 9 4:

8 4/&   "       7 7
 &%&4 &" 9! & *&-'5

9;,0.

 2

A B

C D

# 9"
8

8!

#/&&+,,0<&=479/ >" "# 9  9(/9(5

&;32?

 %/((02/-, @32  '"  & &" 9!   ! / %   *%8+,,,. (( --1/-20 +,,,