ユーザインタフェース変換に基づく PC 遠隔操作システムの開発
岡田英彦，

旭敏之

NEC インターネットシステム研究所
1

はじめにリティ技術とは，障害者や高齢者を含めて誰もが容易携帯電話機や PDA 端末などの携帯端末が近年急速に普及しており，携帯端末から種々の情報や機器，サービスなどにアクセスして閲覧，操作，利用するための技術が研究開発されている[1-3]．
著者らは，携帯端末から PC を遠隔操作するシステ
ムを開発した．携帯端末による PC 遠隔操作を実現する上での主要な課題として，携帯端末と PC の UI 上の相違が挙げられる．i モード端末などの携帯端末はPC と異なり，画面サイズが小さく，表示データは文字主体である．著者らは，この UI 上の相違の課題を解決するため，GUI を文字 UI に変換する手法を開発し，PC 遠隔操作システムに応用した．

2に情報処理機器・システムを利用可能にするための技術であり[4]，GUI を対象とした同技術によって，PCの現在の GUI 画面に表示されている GUI 部品の情報（種類，名前，位置など）を解析する．この GUI 画面の情報は「オフスクリーンモデル（OSM）」と呼ばれている[5]．提案手法では，GUI 画面を解析して OSMを生成し，この OSM をテキスト化して携帯端末に送信する．このテキスト化された OSM が携帯端末の画面に表示されると，ユーザはこの画面から遠隔操作対象 PC の現在の画面状態がわかり，操作を入力できる．
入力された操作は PC の GUI 画面上で実行され，画面が更新されると，再度 OSM を生成して携帯端末に送信する．以上のサイクルを繰り返すことで，文字表示主体の携帯端末から PC の GUI アプリケーションを遠GUI−文字 UI 変換手法隔操作できる．

著者らが開発した GUI−文字 UI 変換手法を図 1 に

ただし，携帯端末の画面サイズは一般的に小さいの示す．本手法の特徴は，GUI アクセシビリティ技術をで，PC の画面に現在表示されているすべての GUI 部用いて，PC の現在の GUI 画面にどのような GUI 部品品の情報を送信すると，表示されている部品の数が多が表示されているかを解析する点である．アクセシビ

いほど，その中から操作したい部品を携帯端末の画面上で探し出すことが困難になる．従って，すべてのPCインタラクションモデルに基づくGUI画面解析対象の決定

GUI 部品の情報を送信するのではなく，現在の画面において送信すべき部品を絞り込み，その部品の情報だけを送信すべきである．そこで提案手法では，ユーザGUIアクセシビリティ技術を用いたGUI画面の解析(focused OSMの生成)

fOSMのテキスト化(Text-fOSMの作成)

画面更新の監視が GUI アプリケーションを操作する一般的な手順をモデル化し，このインタラクションモデルに基づいて選択されたGUI部品に対する操作の実行送信すべき部品を決定する[6]．これにより，携帯端末の画面に表示される PC 画面の情報量を抑えるとともに，PC 上での画面解析処理の負荷を軽減できる．
この部分的な画面情報のことを focused OSM（fOSM）

T-fOSMの送信操作の受信と呼ぶことにした．図 1 における「T-fOSM」とは，テキスト化された fOSM のことである．

T-fOSMの表示操作の送信操作対象GUI部品の選択(&同部品への操作の入力)

図1

携帯端末

GUI−文字 UI 変換手法

PC Remote Controller based on User Interface Transformation.
Okada, H. and Asahi, T., Internet System Res. Labs, NEC Corp.

3

PC 遠隔操作システム
著者らは，2 章に記載の GUI−文字 UI 変換手法を用いた PC 遠隔操作システムを開発した．本システムにはメール版と Web 版の 2 種類がある．この 2 シス
テムの違いは，図 1 における「fOSM のテキスト化」および「T-fOSM の送信」の手段の違いにある．つまり，PC の GUI 画面の情報をテキスト化し携帯端末に送信する手段として，メールおよび Web を用いた 2fOSM
生成部

画面更新
監視部

fOSM

操作実行部

Webページ作成部

操作情報
受信・解析部

システムをそれぞれ開発した．本稿では Web 版について記載する．
Web 版遠隔操作システムでは，PC の GUI 画面情報を HTML 形式で出力し，携帯端末の Web ブラウザに表示させる．本システムの構成を図 2 に示す．本シス
テムの場合，ユーザが遠隔操作に用いる携帯端末は，認証情報

HTTPサーバ

Web ブラウザを備えた端末であれば任意である．

PC

本システムによる遠隔操作の利用イメージを以下携帯端末に示す．例えば，PC の画面に図 3(a)のようなアプリケーション起動メニューが表示された場合，Web 版シ

図2

Web 版 PC 遠隔操作システムの構成

ステムでは，携帯端末の Web ブラウザに図 3(b)のように表示される．つまり，メニュー項目を HTML ハイパーリンク（<A>タグ）で表現している．
図 3(b)の画面でユーザがいずれかのリンクを選択
すると，そのリンクに対応する図 3(a)内のメニュー項目が PC 画面上でクリックされる．つまり Web 版 PC
リモコンでは，Web ページ上での操作によって PC を遠隔操作できる．
また，PC の画面に図 4(a)のようなファイル選択ウィンドウが表示された場合は，携帯端末の Web ブラウザに図 4(b)のように表示される．メール版ではすべ(b)ての GUI 部品情報をテキストでしか表現できないが，Web 版では携帯端末の Web ブラウザにボタンやリストボックス，チェックボックス，ラジオボタンなどを(a)図3

Web 版における UI 変換例(1)表示可能である．

4

まとめ
著者らが開発した PC 遠隔操作システムの類似シス

テムに対する独自性は，GUI−文字 UI 変換を行う点にある．PC の GUI 画面を解析してメール形式や(a)HTML 形式で出力し，携帯端末に表示させる．
今後の課題としては，提案した GUI−文字 UI 変換手法の有効性評価（特に，変換後の画面での操作のわかりやすさ），セキュリティ機能の実装などが挙げられる．
参考文献[1] ディジタル配信の潤滑油−コンテンツ変換に出番. 日経エレクトロニクス, No. 775, pp.57-62 (2000).
[2] i モードから PC を遠隔操作. 日経パソコン, No.375,
pp.264-269 (2001).
[3] Su, N., Tsukamoto, M. and Nishio, S.: Rajicon: A System for
Remote PC Access through a Cellular Phone. マルチメディ
ア，分散，協調とモバイル（DICOMO 2001）シンポジウ

(b)

図4

Web 版における UI 変換例(2)ム，pp.349-354 (2001).

[4] http://www.kokoroweb.org/src/guide/guide.html[5] Schwerdtfeger, R. S: Making the GUI Talk; BYTE,
pp.118-128 (1991).

[6] 岡田, 旭: 携帯端末による PC 遠隔操作システムの提案.
情報処理学会研究報告, 2001-HI-93, pp.1-6 (2001).