３次元視覚を用いた洗面台型ディスプレ イ
西田佳史 † , 平山敏行 ‡ , 柿倉正義 ‡ , 堀俊夫 † , 末廣尚士 † , 平井成興 †† (経産省 産業技術総合研究所 電子技術総合研究所)‡ (東京電機大学 工学部 電子工学科)

Washstand Display Using Stereo Vision
Yoshifumi Nishida† , Toshiyuki Hirayama‡ , Masayoshi Kakikura‡ , Toshio Hori† ,Takashi Suehiro† , and Shigeoki Hirai†† (Electrotechnical Labratory, AIST, METI)‡ (Department of Electronic Engineering, Tokyo Denki University)
Abstract
This paper presents a washstand display as an example of information processing furniture whose original function
is augmented and where a new function for supporting human daily life is integrated. Based on a questionnaire survey,
fundamental functions to be augmented and integrated are discussed. This paper also shows a theory of a mirror and amethod for creating a virtual mirror. The authors constructed an experimental system of the washstand display whose
mirror function are augmented for supporting operation at the washstand and where a new function is integrated forsupporting habituation of healthcare at home. The system consists of two stereo vision systems and a liquid crystal
display with a touch sensor. The experimental results proves the feasibility of the system.
キーワード : 洗面台, 実時間ステレオヴィジョン, 仮想視点, 在宅健康管理, センサ化技術(washstand, realtime stereo vision, virtual viewpoint, home healthcare, sensorization)

1.

緒論

日常生活空間は、我々の生活を可能ならしめており、その意味では、生活を支えるためのさまざまな「機能」を持っていると考えることができる。日常生活空間を工学的に取り扱うことで、日常生活空間が implicit に果たしている機能や要求機能を分析し 、これを情報機械要素を用いて実現し 、再び 、日常生活空間に統合することで、新しい機能を持った生活空間を作り出すことが可能となる。
空間機能実現の方向性には 、1) 家具など の環境要素が本来持っている機能を高度化することで、それを使って行われる作業を支援するという方向性、(e.g., 自動ド ア機能付き玄関、昇降機能付きのベッド ) 、2) 本
来の機能を維持しつつ、全く新しい機能を付加するという方向性 (e.g., セキュリティ機能を持った玄関, 生
体計測機能を持ったベッド ) 、の２つの方向性があると考えている。
我々の研究グループでは、健康管理の習慣化支援機能、特に、自分の健康管理を継続的に意識し続けることを支援する機能を実現するための生活空間型知的システムの研究を実施しており、現在までにセンサ化された生活空間を構築し 、健康情報の自動計測機能を実現している (1) 。空間機能の観点からは、生活空間内の要素に生体計測機能という新しい機能を付加している。
また、本研究では、他の研究とは異なり、従来比較的よく扱われている自動計測・自動解釈機能のみならず、これらの解釈結果を人に伝達するための機能の実現も目指している。健康管理のためには、入力・解釈・出力までの一連の流れ (自己コミュニケーション機能) が必要であるからである。
本論文の目的は、健康情報を継続的に把握し続けることを支援するための日常環境型情報提示システムの具体例として 、「洗面台型ディスプレ イ装置」を構築することにある。本研究で提案する洗面台型ディスプ
レ イ装置は、洗面台の鏡の部分に計算機モニターを設置し 、モニター上に３次元視覚装置を用いて再構成された顔画像や健康情報等を表示することができるシステムである。既に提案している洗面台型ディスプレイ
(1)を発展させたものであり、鏡としての機能を高度化すると同時に、健康関心維持支援という新しい機能を統合した洗面台である。
洗面台を利用した習慣化支援という観点からは、

1. 日常生活におけて、誰しも毎日使用するため継続的な情報提示が可能となる。我々の行った聞き取り調査では、女性の場合は、洗面台の前で 1 日 30分から 1 時間ぐらい過ごすことが分かったが、このことから情報を読み取る時間も十分あるものと期待できる。
2. 起床後比較的すぐに使用することが多いため、その後の行動に影響を与えることが可能になるという理由から適切であると考えた。継続可能な健康管理の支援という観点からは 、同様の発想のものが、既に企業から提案されているが (2, 3, 4) 、これらの提案

電気学会 システム・制御研究会 SC-01-5 (2001.3.26 電気通信大学)

1/6

とは異なり、本研究では、洗面台に設置された計算機モニターを鏡として用いている。
一方、洗面台で人が行う作業支援という観点からは、洗面台に対する要望がある。1) 化粧をする時に、天気の情報を知りたい、また、アイラインを描く等の作業の際、顔の拡大機能が欲しい。2) 朝、身支度の時間に追われ、ニュースなどの情報をゆっくり見る時間がないので、必ず使用する洗面台のそばで、このような情報にアクセスしたい等。
そこで、本研究では、洗面台の持つ本来機能である鏡機能を３次元視覚装置を用いて補強し (本来機能強化)、かつ、日常生活において、毎日使用されるという洗面台の特徴を利用して、情報提示機能 (典型的には、健康管理情報提示) を実現する (新機能統合)。
近年、計算機の性能向上により、DSP や画像処理プロセッサを用いて、複数の CCD カメラから入力した画像から視差を計算することで実時間で３次元情報を取り出すことが可能と成ってきている (5) 。最近では、汎用 CPU を用いた視差画像生成システムが開発され(6)、校正済みのステレオヴィジョンや PC 用視差演算ライブラリが入手可能となってきている (7) 。このように、３次元視覚装置の速度、精度、入手可能性が向上したため、これらの技術をベースとした応用研究が可能となってきている。
こうした背景から、本論文では、前述した機能を実現するため、実時間仮想視点技術 (8) を洗面台に応用し 、日常生活環境型の情報提示システムの具体例を示す。
２章で仮想的な鏡を構築する理論を導き、これを実現する手法を示す。３章で試作した検証システムとその実現機能ついて述べ、４章で結論を述べる。

2.

洗面台型ディスプレイ2·1

仮想的な鏡の理論

fyf

n

Pf

zf

Φ1

PmPrPΦrY

αmirror imageZ(a)mirrorPre*ny*PrPΦ2PPrz*
Pr||P||P0

Pm*α(b)

Pffocusβretina(c)Fig. 1 Model of mirror

2·2 鏡像理論 (写像 Φr )写像 Φr を表す行列 Mr を求める。いま、鏡面上のあ−−→p→る点を p とすると、−0 p, p0 pr は以下のように書ける。

人が鏡の前に立ち鏡を見ている状態を、図 1(a) に示すようにモデル化する。鏡面を平面 α とし 、網膜を平面 β(図 1(c)) とすると、鏡を見ている状態は、1) 鏡像が平面 α に射影 (中心射影) されたできた画像を、2)さらに、平面 β に射影 (中心射影) している状態と近似して考えることができる。鏡上の座標系 (O − XY Z:
ワールド 座標) からみたある点 p の鏡面対称点を pr とし 、この点の鏡平面 α への写像点を pm 、pm の網膜上への写像点を p∗re とする。∗ は図 1(c) に示すような視点におかれた座標系 (O − X ∗ Y ∗ Z ∗ ) からみた座標値を示す。
‘pr = Φr (p)pm = Φ1 (pr )pm = Φ1 (Φr (p))
p∗re = Φ2 (p∗m )mirror

(1)
(2)
(3)
(4)

式 (4) は 、人の目が行う変換であるので、式 (3) を実現すれば 、仮想的な鏡が実現できる。

−−→−→
p→0 p = p0 p⊥ + p0 p
−
p =−
p−→
p +−
p−→
pp−→0 r⊥0 r0 r

(5)
(6)

−→→
p  ,−p ⊥ は、それぞれ n を用いて以下のように書くことができる。
−→−→
p−0 p = (p0 p · n)n−p→
p =−
p→
p−−
p→
p0 ⊥00 −→=−p→0 p − (p0 p · n)n(7)(8)(9)−−→ −→−−→−p→0 p と p0 pr  、p0 p⊥ と p0 pr ⊥ の間には、以下の関係がある。
−−−→
p→0 p = − p0 pr −p =−p−→pp→0 ⊥0 r⊥

(10)
(11)

→p r は、以下のように書き表すことがでしたがって、−きる。

電気学会 システム・制御研究会 SC-01-5 (2001.3.26 電気通信大学)−→ −−→−−→
p−0 pr = p0 pr ⊥ + p0 pr (12)2/6

−→=−p→0 p⊥ − p0 p
p − 2(−p→p · n)n=−p→00−→=−p→0 p − 2(n ⊗ n)p0 p(13)
(14)
(15)

したがって、Eq. (16) のように定義された鏡像変換
行列 Mr を Eq. (17) のように求めることができる。
（ I は単位行列。⊗ は直積。)−→−→
p−0 pr = Mr p0 p−→
Mr = I − 2(n ⊗ n)

(16)
(17)

2·4 写像 Φ2 に関する考察
平面上の点を平面上へ射影する変換。Fig. 2に示すように、画面を見る位置によって画像は変形する。この変形は、扇形変形 (平行が保たれない)(10) を含んだ射影変換であるが、Fig. 2のような写真の場合、ほぼ紙面横方向のみに縮小させる変形 (せん断変形 (10)：顔が細くなる) として知覚される。
投影された顔画像が正面画像であれば 、人が立つ位置によらず、顔の大きさは変化するものの、洗面台鏡上に投影された顔画像は常に正面を向いているように感じる。

Fig. 1(a)(b) のように座標系 (O-XYZ) を選べば 、Eq. (23) より Mr は次のような行列となる。
1
Mr =  00

0
0 0 −101

screen image
on the mirror

α γ

XZ

image similar tothat on retinal(18)θ-nhuman eye2·3 写像 Φ1
写像 Φ1 は 、鏡像のある点 pr の焦点 (視点)pf から焦点距離 f にある画像平面 α への中心射影を表している。
写像 Φ1 は、以下のような射影を表す。座標系 (O −Xf Yf Zf ) から見た pm を pfm 、pr を pfr とすると、
pfm = (xf , y f , z f )(19)

pfr = (X f , Y f , Z f )

f(20)

f ·X
 Zfxf f  f ·Yf y =
 Zfzff








(21)

焦点距離 f は 、鏡面垂直単位ベクトルを n とすると、次式により与えられる。

f = |pf · n|n = ez = (0, 0, 1) なので、
f = zf(22)(23)(24)となる。
写像 Φ1 は以下のような式により表現できる。

zf(xr − xf )zr − zfzf
  ym  =  yf −(yr − yf )  (25)zr − zfzm0xmxf −例えば 、OpenGL などのグラフィック描画ライブラリを利用すると、このような中心射影が関数として利用可能であるため、視点、画角、カメラ座標系、クリップする範囲などを設定することで実現できる。

θ=0

θ=15

θ=40 θ=60

Fig. 2 Deformation of image depending on
the position of a human

2·5 鏡を実現する手順
1. 3 次元計測する。
2. 計測データ座標系を鏡座標系 (Fig. 1中の O −XY Z) に変換する。
3. 鏡像変換行列 Mr により点を変換し 、鏡像を作成する。
4. カ メラを視点 pf の位置おき 、画面に垂直な方向 (−n) に向けて設置する。(カメラ座標 (O −Xf Yf Zf )。カメラモデルは 、中心射影モデル。)
5. カメラ座標 (O − Xf Yf Zf ) からみたのディスプレ
イの 4 隅の点で囲まれる範囲を、画像中から切り取り、ディスプレ イの出力画像とする。
これにより、通常の鏡と同様に仮想鏡上には、顔の左右反転画像が投影され、画像上の顔 (目) を見たときには、アイコンタクトが成立する。

2·6 鏡機能の高度化
鏡の基本機能である顔の左右画像を表示する機能を実現しつつ、1) 顔を回転、拡大したり (上述 4,5 を変更して、カメラの位置や視線を変更する）、2) その他の情報、例えば 、健康情報、天気情報などを顔の周辺

電気学会 システム・制御研究会 SC-01-5 (2001.3.26 電気通信大学)

3/6

に表示するなどにより、鏡の機能を高度化することが可能である。
例えば 、4,5 を変更して、「カメラを顔の中心の位置おき、画面に垂直な方向 (−n) に向けて設置し 、画像中心を中心とした範囲で切り取る」とすると、人の位置によらず、常に顔がディスプレ イの中心に表示されるような鏡が実現できる。

3D-Stereo Vision

3D-Stereo Vision

Point Grey Research, Inc.
Digiclops

Point Grey Research, Inc.
Digiclops

IEEE1394

ComputerDual-Pentium

Computer

1GHz

Dual-Pentium

Windows2000

3.

IEEE1394

1GHz

Windows2000

洗面台型ディスプレイの検証システム

3·1 システム構成
試作した検証システムのシステム構成を Fig. 4に示す。検証システムは、タッチパネルつきのの液晶ディスプレ イ、顔画像のデータを読み込むためのカメラ(PointGrey Research 社の Digiclops)、3 台の計算機(Dual-Pentium 1GHz, Windows2000) からなっている。２台の計算機は、視差演算処理のために使用し 、１台の計算機は、２台の計算機の３次元情報を統合し、OpenGL を用いたグラフィック表示のために使用している。また、使用した３次元視覚装置は、基本的には、3 眼式の平行ステレオの原理で局所相関演算により視差を計算するものである (7) 。

Ethernet(Socket)
ComputerDual-Pentium

1GHz

Windows2000
NVIDIAGFORCE2 GTS

RS232CLCDTouch panel

Fig. 4 System conﬁguration

Stereo vision 1 LCD with touch panel
Stereo vision 2

Fig. 3 Constructed washstand display

3·2 洗面台型ディスプレ イの処理の流れ
3·3 処理の流れの概要
システムの処理の流れを Fig. 5に示す。顔画像の生成は以下の一連の処理により実現されている。1) カメラによる入力, 2) 視差の計算, 3) 3 次元計測点の計算,
4) 左右 3 次元計測データを統合するためのワールド 座標系への変換, 5) 補間処理, 6) テクスチャ画像の平滑処理, 7) テクスチャマッピング , 8) タッチパネルからの入力, 9) 視点設定, 10) 出力画像の生成。視差計算に用いた画像サイズは、320x240[pixel] である。一連の処理は、現在のところ、約 3Hz で実現できている。

3·3.1 座標変換と統合処理
2 台の 3 眼ステレオ装置を用いて３次元計測を行う。
２つの３次元計測データの座標系とワールド 座標系との関係は、Fig. 6に示す通りである。この図では、各3 眼ステレオ装置の画像座標を一つに代表させて描いてあるが、実際には、各々3 つの画像座標を持ち、平行ステレオの原理により３次元計測を行っている。2 次
元画像座標と 3 次元カメラ座標間の変換は両方向 (2D→ 3D, 3D → 2D) で可能とする。
図中 Mw , Mw は、３次元計測データ座標系をワールド 座標系に変換するための行列を表している。
カメラ座標校正用のパターンを用いて変換行列を計算した。例えば 、Mw は 、Eq. (26) と定義できる。
P1 ,Pw は 、それぞれ 、ステレオヴィジョン 1 により計測された点と、その点と対応するワールド 座標の点からなる 4 x 2n の行列を表している。
Mw , Mw は、疑似逆行列を用いた線形な最小２乗
あてはめ (Eq. (27)) や、非線形の最適あてはめ (行列を Eq. (28) のように定義し 、さらに、誤差関数 func
を Eq. (29) 定義し 、Newton-Rapthon 法などで最小化する。) で求められる (9) 。実際に、両方の方法で求めたが、大きな差は見られなかった。
P w = M1w · P 1

電気学会 システム・制御研究会 SC-01-5 (2001.3.26 電気通信大学)

(26)
4/6

(a)input images

Input of image

Input of image

Z2
LCDxx

Yw
Zw

ycenter

X2x
Focus

Xw

y

Focus

M1w

M2w

ca

Y2

ll
en
gt

Interpolation

:foY1

f1

ngthX1
f2

Integration by transformingcoordinates

Z1centeryl le

Calculation of 3D pointscaCalculation of 3D points:foCalculation of disparity

Input of texture image

Input of texture image

Calculation of disparity

hStereovision 1

Smoothing
Generating 3D object

Stereovision 2

Fig. 6 Coordinate transformation

Texture map(b)3D object(c)texture image

Input from touch sensor

Set of viewpoint

Other info.
(a)Coordinatestransformation& Integration

Display(b)Interpolation(d)output images(c)Smoothing

Fig. 5 Process ﬂow

M1w = P w · P 1T · (P 1 · P 1T )−1(27)M1w = R(z, θ1 ) · R(y, θ2 ) · R(x, θ3 ) + T
(28)
21 T
21func = T r{(M1w · P − P ) · (M1w · P − P )}(29)
ただし 、T は転置行列を表す。R は回転行列、T は並進行列を表す。３次元形状モデルの統合の様子を Fig.
7(a) の処理に示す。

(d)Virtualviewpoint

Fig. 7 Integration, interpolation, smoothing,and virtual viewpoint

3·3.2 補間処理
本節で述べる補間処理とは、信頼性のある視差の計算が行えなかった部分に対して 、Fig. 8に示すように、計算不能領域をデプスマップ画像におけるそれらの近傍の座標 (デプ ス情報が存在する近傍) を利用して、「計算不能点は、それらを囲む近傍の点を結ぶ直線上に、等間隔に存在する」と仮定して、線形近似することで補間を行った。Fig. 7(b) に示すように、本研究で扱うような計算不能領域が小さい領域である場合には、過大な計算コストを必要としない有効な手法であると考えられる。
電気学会 システム・制御研究会 SC-01-5 (2001.3.26 電気通信大学)

Fig. 8 Interpolation of 3D points

5/6

3·3.3 平滑処理
本システムでは、左右一つづつ置かれた 3 次元視覚装置の計測データを利用して再構築された 3 次元形状モデルにテクスチャマップを行うために、左右のステレオビジョンの各々がもつ 3 台のＣＣＤカメラの一つから入力されたテクスチャを 2 枚使用する。一般に、光源の位置とカメラの位置の相対位置が異なるため、これらのテキスチャをそのまま用いると色むらの原因となる。境界においてなめらかにつなぐために、各々テクスチャに対して、境界付近において平滑化を行う必要がある (Fig. 9参照)。今回使用したアルゴ リズ
ムは、1) 各テクスチャの境界線上の対応点を求める。
2) この対応点をもとに 、Eq. (30) に示す混色処理により平滑化を行う。というものである。Eq. (30)では、(x1 , y1 ), (x2 , y2 ) が対応点の組みを示しており、
I1 (x1 , y1 ), I2 (x2 , y2 ) は、テクスチャ画像の対応点おける色情報 (RGB) を示している。w は重み付けのパラメータを示している。テクスチャ画像の平滑化の様子
を Fig. 7(c) の処理に示す。
boundary

I1(i,j)I2(i,j)correspo n di n g p o i n t s

Texture from right stereo vision

Texture from left stereo vision

Fig. 9 Smoothing texture

I1 (x1 + i, y1 )=wI1 (x1 + i, y1 ) + (1 − w)I2 (x2 − i, y2 )(30)
3·4 実現された基本機能
Fig. 10に示すように 、洗面台型ディスプレ イは 、鏡として機能するだけでなく、タッチパネルによる操作により本研究グループで研究されていた圧力センサ
ベッド や、集音マイクから得られる個人の健康情報、また、インターネットにアクセスし天気・金融情報を表示することが可能になっている。

4.

結論

本論文では、日常環境型情報提示システムの具体例として、健康情報を継続的に把握し続けることを支援するための「洗面台型ディスプレイ装置」を提案した。
聞き取り調査に基づき、高度化すべき洗面台の本来機能を明らかにし 、また、これに統合可能な機能として、健康情報伝達機能を述べた。仮想的な鏡機能を実現するための理論を導き、これを利用して実現する手法を述べた。さらに、実際に、洗面台型ディスプレイの検証システムを構築した。検証システムは、洗面台の鏡を実現するための計算機モニター、3 次元視覚装置からなり、モニター上に３次元視覚装置を用いて再構成

Icons for accessing health information or others,
and magnifying, reducing, and rotating the face.

Fig. 10 Example of output of washstand display

された顔画像や健康情報等を表示することができるシステムである。最後に、検証システムにおいて実現された機能を報告した。
今後の課題としては、仮想鏡機能に関して、計算処理の向上、ノイズの低減、複数のテキスチャマップを滑らかにつなげるための平滑アルゴ リズムの改良、高度な鏡を実現するための目、口などの身体部位を認識する機能の付加などがあげられる。
本研究の一部は、文科省 総合研究 (H12-14 年度 人間支援のための分散リアルタイムネットワーク基盤技術の研究) 、および 、文科省 流動促進研究 (H10-12 年
度 環境感覚を用いた人間の生理情報の蓄積とその応用に関する研究 ) の助成金によって実施された。
参考文献(1) Y. Nishida, T. Hori, T. Suehiro, S. Hirai, “Sensorized Environment for Self-communication
Based on Observation of Daily Human Behavior,” Proc. of 2000 IEEE/RSJ International
Conference on Intelligent Robots and Systems(IROS’2000), pp1364-1372, 2000
(2) 特許, 特開平 11-197116, 1999
(3) 特許, 特開 2000-060752, 2000
(4) 特許, 特開 2000-139736, 2000
(5) T. Kanade, H. Kano, S. Kimura, A. Yoshida,
K. Oda, ”Development of a Vide-Rate Stereo Machine,” Proc. of 2000 IEEE International Conference on Intelligent Robots and Systems(IROS’95), Vol. 1, pp95-100, 1995
(6) 岡田, 加賀美, 稲葉, 井上, ”PC による高速対応点探索に基づくロボット搭載可能な実時間視差画像・フロー生成法と実現,” 日本ロボット学会誌,Vol.18, No.6, pp138-143, 2000(7) http://www.ptgrey.com/products/digiclops/speciﬁc/index.htm(8) 塚本, 松本, 今井, 小笠原, ”ステレオカメラを用いた任意視点画像のリアルタイム生成,” 第 18 回日
本ロボット学会学術講演会予稿集, Vol. 1, pp313312, 2000
(9) O. Faugeras, “Three-Dimensional Computer Vision, A Geometric Viewpoint,” MIT Press, 1993
(10) J. Sato, ”コンピュータビジョン —視覚の幾何学—,” コロナ社, 1999

電気学会 システム・制御研究会 SC-01-5 (2001.3.26 電気通信大学)

6/6