エンターテインメントのためのセンシング・インタラクション技術(株）ソニーコンピュータサイエンス研究所
Sony CSL

1988設立。
コンピュータサイエンスにおける基盤的かつ実際的な研究を行う。
30名程度（東京・パリ）

インタラクションラボ Interaction Laboratory

暦本純一
Director, Interaction Laboratory

CSL内の研究室（他に基盤研究室、CSLParisがある）
主にシステム系（UI,ネットワーク）の研究を行う。
１０名程度（リサーチャー＋デザイナ）

Sony Computer Science Laboratories, Inc.

© 2007 Jun Rekimoto© 2007 Jun Rekimoto

イノベーションのジレンマ
性能・技術・コスト

白熱電球→蛍光灯→ＬＥＤブラウン管→液晶
ハードディスク→フラッシュ電話網→インターネット
放送網→インターネット

要求水準

破壊的テクノロジー
時間© 2007 Jun Rekimoto© 2007 Jun Rekimoto

Innovation’s Dilemma(Game version)

Innovation’s Dilemma(Game version)
BudgetBudgetEntertainment Value© 2007 Jun Rekimoto

Entertainment Value© 2007 Jun Rekimoto

Innovation’s Dilemma(Game version)
BudgetExamples ofSensor
Enhanced
Interactions
HoloWall (rekimoto et al.)Sony PlayStation
EyeToyVIDEOPLACE (Kruger)
Entertainment Value© 2007 Jun Rekimoto© 2007 Jun Rekimotoセンシングによるインタラクション
 より直感的・身体的 現実・生活とのリンク（位置情報）
 付加ハードのコスト

 Sensing Principles
 Camera (computer vision)

CyberCode: Motion Sensor
 Electric Field, Electrostatic Potential
 無線ＬＡＮ

Initial Idea Sketch(1996)
news© 2007 Jun Rekimoto© 2007 Jun Rekimotonews

Estimation of Camera Position &Orientation
v2nv3

v1v4XYZ

結果x=

R y + T

Camera Pos

Real World Posz

First estimate n,then estimatenews

R and TR : rotation matrix
T : translation vector© 2007 Jun Rekimoto

MATRIX (CyberCode) 1996

© 2007 Jun Rekimoto

PlayStation3 “Eye of Judgment”

CyberCode© 2007 Jun Rekimoto© 2007 Jun Rekimoto

Mr. Spielberg

HoloWall

ELECTRONIC ENTERTAINMENT EXPO 2006
© 2007 Jun Rekimoto© 2007 Jun Rekimoto

Enhanced Realities, SIGGRAPH98

HoloTable, Sony Explora Science Beijing© 2007 Jun Rekimoto© 2007 Jun Rekimoto

ID-Camera223245678710
4213© 2007 Jun Rekimotovideo

SensingGamepad

 Key Idea:
An image sensor
simultaneously captures imageand IDs, pixel-by-pixel.
 IDs are transmitted from activebeacons (e.g., signboards, LED,etc.)

Rekimoto, etal. CHI2004© 2007 Jun Rekimoto

AD converter
Noise filter
High-impedance
electrode
amplifierUSBinterface+-- ++-To host computer++-++Gamepad++----+ + +----＋＋＋+ - ++- - + + +++-- + + +© 2007 Jun Rekimoto

Sensing circuit(amplifier, ADC,microprocessor, USB)

© 2007 Jun Rekimoto

Electrode(embedded)

Electrostatic
potential
Foot-touch

Foot-liftjumping

Electrode(exposed for explanation)© 2007 Jun Rekimoto© 2007 Jun Rekimoto

landing

1 secTime-+

Hand tracking without camera© 2007 Jun Rekimoto© 2007 Jun Rekimoto

SmartSkin© 2007 Jun Rekimoto© 2007 Jun RekimotoSmartSkin:

SmartSkin:静電容量の変化を検出近接（非接触）
インタラクション。
多点検出© 2007 Jun Rekimoto© 2007 Jun Rekimoto

T. Moscovich, T. Igarashi, J. Rekimoto, K. Fukuchi, J. F. Hughes. “A Mluti‐finger Interface for
Performance Animation of Deformable Drawings”, UIST 2005
© 2007 Jun Rekimoto© 2007 Jun Rekimoto

Sony Explora Science Tokyo

Sony Explora Science Tokyo© 2007 Jun Rekimoto© 2007 Jun Rekimoto

The Number of Found AccessPoints.

Rekimoto War Walking 2005

PlaceEngine
Wifi Location Platform

Yokohama
GotandaSony CSL© 2007 Jun RekimotoSony Computer Science Laboratories, Inc.

t
© 2007 Jun Rekimoto

WiFi 利用位置認識：

War Walking in Paris 2006.10© 2007 Jun Rekimoto© 2007 Jun Rekimoto

WiFi 利用位置認識：
任意のWiFi機器で位置計測可能
屋内外問わず利用可能
測位時間が短い
アクセスポイント位置推定データベースの構築・維持が課題
データベース照合

位置情報（緯度経度・住所）

WiFi ＡＰ情報(MAC, RSSI)© 2007 Jun Rekimoto

AP位置データベース© 2007 Jun Rekimoto距離（ｍ）GPS WiFi 実際

公衆アクセスポイント８００箇所での測定結果：ＷｉＦｉアクセスポイント機種・クライアン
ト機種は多岐にわたるが、ＲＳＳＩ値と距離（上限）との関係は比較的安定している。

屋内

屋内

電界強度(RSSI値) (dBm)© 2007 Jun Rekimoto© 2007 Jun Rekimoto

アプリケーション
ＧＰＳWiFi© 2007 Jun Rekimoto

正確
起動に時間が必要
屋外でのみ利用可

そこそこ正確
起動時間が不要
日常のＷｉＦｉ機器で利用可
屋内外で利用可ナビゲーション

ナビゲーション
Web Mashup
セルフロギングゲーム© 2007 Jun Rekimoto

Instant Message (eg Skype, GoogleTalk, Messenger)© 2007 Jun Rekimoto© 2007 Jun Rekimoto

WiFi セルフロギング定期的にWiFi電測情報をロギング
z後で位置情報に変換
z利用者は携帯するだけ
z屋内外で記録可能WHEN ⇔ WHERE
想定図：
現状はW-ZERO3で実験© 2007 Jun Rekimotoz時刻つき情報はすべて位置つきにz写真 ファイル etc.

筆者の日常的な移動には、電車の車中、乗り換えた地下鉄の中、駅構内など、衛星電波を受信できないルートが多数含まれる。目的地について も、冷房のきいた地下街を経由して、そのままビルの中に入ったりしていては、GPSの出番がない。
…
そういう意味では、GPS-CS1Kが活躍しそうなのは、散歩や行楽、あるいは山歩きのお供としての利用だ。バッテリの持ち的にも、毎日、通勤や通学の際に使うというのにはあまり適さないように思う。
（PC-Watch)© 2007 Jun Rekimoto

139.730518 35.625954 1157023714 wifi
570
fi
139.
35.6
139.730559 35.626012 1157023775 wifi
75 wi
0516
954 11139.73 18 35.625 2 11570237 37 wifi
139.730343 35.626014 1157023837 wifi
05
01
139.72964 35.625728 1157023898 wifi
139.73 59 35.626 4 11570238 wifi
139.729264 35.625775 1157023959 wifi
05
01
9873
26
38
9.
139.727745 35.626497 1157024020 wifi
1335.65702
wifi
11
43
9
8
503
72
139.726077 35.626821 1157024081 wifi
570239fi
139.73 4 35.625
11wi
139.725559 35.626941 1157024142 wifi
52096
77
139.72485 35.627074 1157024203 wifi
139.72 64 35.625 7 11570240 81 wifi
92
49
40
139.724556 35.626261 1157024264 wifi
72
2602
9.
.6
13
139.724315 35.626311 1157024325 wifi
45 35 26821 1157 4142 wifi
77
72
139.724399 35.625942 1157024387 wifi
5702
139.
35.6fi
11wi
77
16094
03
139.724283 35.626309 1157024448 wifi
139.72 59 35.626 4 11570242 64 wifi
139.715426 35.633614 1157024692 wifi
5507
42
72
2702
9.
139.715033 35.63386 1157024753 wifi
135 35.6 26261 1157 4325 wifi
48
139.715033 35.63386 1157024814 wifi
725702
fi
139.
35.6
11
139.715033 35.63386 1157024875 wifi
wi
56
187
45
31
139.715033 35.63386 1157024936 wifi
139.72 15 35.626 2 11570243 48 wifi
139.682615 35.60666 1157025607 wifi
4394
4472
25
02
9.
.6
57
fi
13
139.664109 35.583979 1157025973 wifi
wi
99 35 26309 1192
43
46
72
139.662247 35.581179 1157026034 wifi
139.
35.6
115702 53 wifi
834
139.659815 35.576127 1157026095 wifi
4261
139.72 26 35.633
570247fi
139.65462 35.565581 1157026253 wifi
11wi
54
86
1448
139.648527 35.555817 1157026315 wifi
02139.71 33 35.633
1157
wifi
139.646514 35.552622 1157026377 wifi
50
86
75
71
33
48
139.
139.639583 35.543508 1157026438 wifi
35.6
115702 36 wifi
3350
86
139.634768 35.53706 1157026499 wifi
139.71 033 35.633
570249fi
11wi
139.63443 35.536479 1157026560 wifi
15.63386 1157025607 wifi 139.632995 35.535917 1157026621 wifi
139.735735033
6659
139.632985 35.535898 1157026682 wifi
7106
02
9.
13
35.6
1157
wifi 139.631946 35.535918 1157026743 wifi
915342697
60
139.68 109 35.583 9 115702 95 wifi 139.724315 35.626311 1157024325 wifi
64
35.625942 1157024387 wifi
.58117 11570260 wifi 139.724399
139.6
35
139.724283 35.626309 1157024448 wifi
2247
127
53
fi 139.715426 35.633614 1157024692 wifi
139.66 15 35.576 1 11570262
15 wi
98
35.63386 1157024753 wifi
58570263 7 wifi 139.715033
139.65 2 35.565
11139.71503335.63386
1157024814 wifi
746
81
37
fi 139.715033 35.63386 1157024875 wifi
139.65 27 35.555 2 1157026
38 wi 139.715033 35.63386 1157024936 wifi
8562
139.64 14 35.552 8 11570264 wifi 139.682615 35.60666 1157025607 wifi
6550
9964
4364
139.664109 35.583979 1157025973 wifi
139.
35.5
fi 139.632995
5702
35.535917 1157026621 wifi
9583
06 1160 wi
139.63 68 35.537 9 11570265 21 wifi139.632985 35.535898 1157026682 wifi
4747
139.631946 35.535918 1157026743 wifi
0266
139.63 3 35.536
7 1157 6682 wifi
139.724315 35.626311 1157024325 wifi
4491
6335fi
5702
139.
35.5
35.625942 1157024387 wifi
43 wi 139.724399
2995
898 11139.724283 35.626309 1157024448 wififi
139.63 85 35.535 8 11570267
25 wi 139.715426 35.633614 1157024692 wifi
2991
fi
139.63 46 35.535 1 11570243 87 wi139.715033
35.63386 1157024753 wifi
19314363
139.715033
35.63386
1157024814 wifi
2602fi139.
35.61157© 2007 Jun Rekimoto
35.63386 1157024875 wifi
4315
448 wi139.715033
5942
139 7235 62157024ifi

9.7305139.73051
139.73051
139.73055
139.730343
139.72964
139.729264
139.727745
139.726077
139.725559
139.72
485 35139.724556 3139.724315 3139.724399
35139.724283
35139.715426
35139.715033
35.
139.715033
35.
139.715033
35.
139.715033
35.6
139.682615
35.6
139.664109
35.5
139.662247
35.58
139.659815
35.
139.65462 35. 57
139.64565
8527
35.555
139.646514
35.552139.639583
35.543139.634768
35.
139.63443 35. 5370
139.6353647
2995
35.535
139.6392985
35.535
139.6389
1946
35.535139.72914315
35.626139.72314399
35.625139.72944283
35.626139.71309
5426
35.633139.71614
5033
35.633139.71865033
35.633139.7186 15033
35.633139.7186 15033
35.633139.6886 1
2615
35.606
139.6666 11
4109
35.583139.63979 12995
35.535
139.63917 12985
35.535
139.63898 11
1946
35.535139.72918 114315
35.626139.72311 114399
35.625139.72942 1154283
35.626139.71
309 1155426
35.633139.71
614 1155033
35.633139.71
86 1155033
70
35.633139.71
86 1155033
70
35.633139.71
86 1155033
70
35.633139.68
86 1152615
702
35.606
139.6666 1154109
702
35.583139.72
979 1154399
35.625139.72942 115 70
4283
35.626702
139.71
309 1155426
35.633139.71
614 115 702
5033
35.633702
139.71
86 1155033
35.63370247
139.71
86 1155033
70248
35.633139.71
86 1155033
35.63370248
139.68
86 1152615
70249335.606
139.6666 1154109
35.583702560139.63979
2995
11570235.535
139.6359
917 1152985
35.535
139.63898 115 702662
1946
35.535139.72918 115 702668
4315
35.626139.72311 115 702674
4399
35.625139.72942 115 7024325
4283
35.626139.71
309 115 7024387
5426
35.633702444139.71614
85033
11570235.633139.714692
86 1155033
70247535.633139.71
3 w
86 1155033
702
35.
139.715033 35 63386 115702 4814 w
13948
63

Rekimoto 8/26 PM© 2007 Jun Rekimoto

LifeVector : My Probability density 2006.8-9© 2007 Jun Rekimoto© 2007 Jun Rekimoto© 2007 Jun Rekimoto© 2007 Jun Rekimoto

www.placeengine.com
イベント抽出
普段の行動から逸脱したところを表示

位置測位クライアントソフ
ト配布中
Windows XP, W-ZERO3

PlaceEngine API
PlaceEngine Client (new)www.placeengine.com/doc© 2007 Jun Rekimoto© 2007 Jun Rekimoto

www.csl.sony.co.jp/person/rekimoto.html
http://www.designinginteractions.com/© 2007 Jun Rekimoto© 2007 Jun Rekimoto