ケツログ：結露面上の絵及び文字の保存システム
石田 こなつ1(指導教員：五十嵐 悠紀)

はじめに入浴中の浴室の壁や雨の日の窓にできる結露面には，ペンなどの描くための道具を必要とせず，子供から大人まで誰でも自由に絵や文字を描くことができる．そして，結露面は時間の経過や結露を拭き取ることにより描画内容が消えるため，描画への抵抗感が小さく，「つい描きたくなる」という優れた特徴を持つ．一方
で，描画内容が消えてしまい，保存ができないことはデメリットでもある．
これまでに，模様を描いた結露面の画像をユーザ側から撮影し，画像処理をすることで結露面への描画内容を保存する手法が提案されている [1]．この手法では，オクルージョンが発生するため，結露面への描画の過程を撮影することは難しく，書き順の保存ができない．
本稿では，結露面に絵や文字を描く指の動きを，FTIR の手法を用いて，結露面の裏側に設置したカメラで動画像の撮影を行うことで，結露面上に描いた絵や文字の保存を行う手法を提案する．そして，結露を発生させる装置を設置し，ユーザが実際に描いた内容の保存結果を示し，その際の結露面上に一度に描く人数や時間についても調査した．

2

図 1: FTIR の原理

図 3: 装置．(A) 構造の模式図, (B) 外観図
アクリル板：縦，横 55cm．側面から赤外光を入れるため，厚さ 0.8cm とした．
赤外光 LED テープ：アクリル板の四方の側面に設置するため，60 個の赤外光 LED がついた 50cm のテー
プを 4 本．4 章の調査の際には，電圧を 10.8V として使用した．
赤 外 線 カ メ ラ：web カ メ ラ Baﬀalo 社 製
BSW200MBK の 赤 外 線 カット フィル タ を 取 り 除き，レンズ前に可視光カットフィルタを設置した．
ファン：冷気をアクリル板に当てるためのダイソー
社製 USB 扇風機．
この装置では，冷凍庫に電源を入れてから，アクリ
ル板に初めて結露ができるまで平均 30 分かかり，結露を拭き取った後は，約 3 分で結露が再生する．

提案手法

入浴中などのプライバシーが守られなければならない状況では，可視光カメラでの撮影は不可能である．
そのため，本稿では，結露面に絵や文字を描いている指の動きを赤外線カメラで撮影し，結露に描いた絵や文字を保存する手法を取った．

2.1

FTIR によるアクリル板上の指の動きの認識

Han[2] は，赤外光をアクリル板内で全反射させ（TIR），アクリル板に物体が触れた部分だけ赤外光が散乱する FTIR（Frustrated Total Internal Reﬂection）という現象を利用したマルチタッチディスプレイを提案した（図 1）．指がアクリル板に触れることで赤外光が散乱した部分を，赤外線カメラで撮影することで，指が触れている部分を認識することができる．
この時，散乱する赤外光は接触面積によって増減する．アクリル板が乾燥している場合，指の指紋の凹部分は強く押さないとアクリル板に接触しない．本提案
では，アクリル板が結露で覆われており，アクリル板に触れる際に指先に水の膜が形成されるため，接触面積が大きくなり，アクリル板を強く押さなくても散乱する赤外光が多くなるという利点がある．そのため，
図 2 のように，結露面上の絵や文字を描く指先が強く光って観察される．
2.2

図 2: 結露面に触れた指

3

動画像処理アルゴリズム

結露面に描いた絵や文字の保存は，システム内において以下の順で処理を行う．

1. 結露面に描かれた際の指の動きを録画．
2. OpenCV での動画像処理．
3. 処理結果を動画像またはコマごとに表示．
まず，ユーザが結露面に絵や文字を描画している間，描画している指の動きを図 3(A) に示した赤外線カメラで内部から撮影する．
次に，撮影された動画像に対して OpenCV を用いて
図 4 の手順で処理し，指の動きを抜き出す．本提案では，画像の二値化を行う際に，フレームの画像を用いる方法と差分画像を用いる方法の 2 つを実装した．フ
レームの画像を用いる方法では，二値化を行う際の閾値を x(0 ≤ x ≤ 255) とした．差分画像を用いる方法

装置

結露を発生させ，FTIR による指の動きの認識するために，図 3 に示す装置を制作した．使用したものを以下に示す．
冷凍庫： Haier 社製 JF-U40A（幅 50cm，奥行50.5cm，高さ 54cm）の扉をアクリル板に換装した．

1

図 4: 動画像処理の流れ
では，全ての画像をグレースケール化した．そして，1枚目の画像を画素ごとに，t(0 ≤ t ≤ 255) を閾値として，t 未満の明るさの画素は明るさを 0 とした上で，2枚目の画像との差分を取った．二値化を行う際の閾値は y(0 ≤ y ≤ 255) とした．これらの閾値はユーザが任意に設定することができる．
また，輪郭抽出の処理では，アクリル板に触れる指の大きさよりも小さいため，輪郭の内側の面積が閾値100 以下のものは除いた上で，複数の輪郭が存在する場合は，手の甲や手のひらの映り込みを考慮し，画像上で上部に位置する輪郭を採用した．閾値は実験の結果 100 とした．最後に，描画された絵や文字を再現したものをコンピュータ上で表示し，結露が消えた後であってもユーザが確認することができるようにした．

4

結果

実験装置とビデオカメラを大学の廊下に設置し，通りかかったユーザが結露面に描く内容や周りの状況について調査した．実験によって得られたユーザの描画結果を図 5 に示す．図 5(A,B) はフレームの画像を用いる方法で，図 5(C,D) は差分画像を用いる方法で処理を行った．本装置に絵や文字を描いた人の述べ人数は 35 人で，1 人で描きに来た人は 12 人であった．複数人で描きに来たのは 12 組で，そのうち 1 人のみが描いたのは 4 組，2 人以上が描いたのは 8 組であった．
ユーザは結露面への 1 回の描画あたり 2〜27 秒かけており，30 人が人差し指で描いていたが，複数本の指を使って絵や文字を描いた人はいなかった．また，描画後に自分が描いた絵を立ち止まって見返さなかった人が 17 人いた．これは，結露面に指で細かな描き込みをするのは難しく，後に消えてしまうため，結露面に描く絵や文字に精巧さを求めないからだと考えられる．

5

図 5: ユーザ実験で得られた結果の例．(A) ユーザが猫を描いた際の動画像処理前の画像，(B) (A) の動画像処理結果 (x = 88)，(C) ユーザが「さむい」と描いた際の動画像処理前の画像，(D) (C) の動画像処理結果 (t = 58，y = 17)．

参考文献
[1] 宮崎陽平, 安藤正宏, 藤田悠矢, 羽鹿諒, Ondreicka
Merrielle, 伊藤雄一. ケツログラフィティ: 結露を用いたインタラクティブディスプレイ. エンタテインメントコンピューティングシンポジウム 2013
論文集, pp. 238–241, 2013.

まとめ[2] Jeﬀerson Y Han. Low-cost multi-touch sensing
through frustrated total internal reﬂection. In
Proceedings of the 18th annual ACM symposium
on User interface software and technology, pp.
115–118, 2005.

FTIR を用いて動画像を撮影し，動画像処理することで，ユーザが通常の結露面と同様に絵や文字を描画でき，結露面上では描画内容が消えても，コンピュータ上に描画内容を保存することができるシステムを実装した．
今後は，結露面と描画内容が残るホワイトボードで，描画する内容や時間を比較する調査を行い，得られた結果から結露面への描画の利点を生かしたアプリケーションの実装を行っていきたい．
また，動画像処理の際の閾値の設定を自動化していきたい．

2