!"##$%&%%$

ケツログ：結露面上の絵及び文字の保存システム
石田 こなつ*的場 やすし*五十嵐 悠紀*概要． 入浴中の浴室の鏡や雨の日の窓にできる結露面には，ペンなどの描くための道具を必要とせず，子供から大人まで誰でも自由に絵や文字を描くことができる．しかし，描いた絵や文字は時間の経過で消失するため，それを保存することができない．本稿では，結露面に絵や文字を描く指の動きを FTIR で認識することで結露面上に描いた模様の保存を行う手法を提案する．また，結露を発生させる装置を設置し，結露面上に描く絵や文字の記録と各ユーザの描き方について調査を行った．

1

はじめに

人は誰しも結露面へ落書きした経験があるだろう．
指だけで自由に描けて何も汚さず，時間が経てば跡形も無く消えるため，結露面への落書きは抵抗感が低く「つい描きたくなる」という優れた特徴を持つ．
一方で，描いた内容の保存ができないのはデメリットでもある．
これまでに，模様を描いた結露面の画像を撮影し，画像処理をすることで結露面に描いた絵や文字を保存する手法が提案されている[1]．しかし，入浴中などの，模様を書き終えてすぐの結露面の撮影ができない場合には，時間の経過により結露面上の模様の保存は困難である．
本稿では，結露面に絵や文字を描く指の動きをFTIR の手法を用いて認識することで，結露面上に描いた模様の保存を行う手法を提案する．そして，結露を発生させる装置を設置し，ユーザが実際に描いた内容の保存結果を示し，その際の結露面上に一度に描く人数や時間についても調査した．

2

図 1．FTIR の原理

図 2．結露面に触れた指う現象を利用したマルチタッチディスプレイを提案した．指がアクリル板に触れることで赤外光が散乱した部分を，赤外線カメラで撮影することで，指が触れている部分を認識することができる．
この時，散乱する赤外光は接触面積によって増減する．アクリル板が乾燥している場合，指の指紋の凹部分は強く押さないとアクリル板に接触しないが，結露面では指先に水の膜が形成されるため接触面積が大きくなり，強く押さなくても散乱する赤外光が多くなるという利点がある．そのため，図 2 のように結露面上の絵や文字を描く指先が強く光って観察される．

提案手法

2.1 FTIR によるアクリル板上の指の動きの認識

2.2 装置

入浴中などのプライバシーが守られなければならない状況では，可視光カメラでの撮影は不可能である．そのため，本稿では，結露面に絵や文字を描いている指の動きを赤外線カメラで撮影し，結露に描いた絵や文字を保存する手法を取った．Han[2]は，赤外光をアクリル板内で全反射させ（TIR），アクリル板に物体が触れた部分だけ赤外光が散乱する
FTIR（Frustrated Total Internal Reflection）とい結露を発生させ，FTIR による指の動きの認識するために，図 3 に示す装置を制作した．使用したものを以下に示す．
冷凍庫： Haier 社製 JF-U40A（幅 50cm，奥行50.5cm，高さ 54cm）の扉をアクリル板に換装した．

Copyright is held by the author(s). This paper isnonrefereed and non-archival. Hence it may later
appear in any journals, conferences, symposia, etc.
* お茶の水女子大学

図 3．装置．（A）構造の模式図，（B）外観図

WISS 2022

図 4．動画像処理の流れ

アクリル板：縦，横 55cm．側面から赤外光を入れるため，厚さ 8mm とした．
赤外光 LED テープ：アクリル板の四方の側面に設置するため，60 個の赤外光 LED がついた 50cmのテープを 4 本．4 章の調査の際には，電圧を 10.8Vとして使用した．
赤 外 線 カ メ ラ ： web カ メ ラ Baffalo 社 製
BSW200MBK の赤外線カットフィルタを取り除き，レンズ前に可視光カットフィルタを設置した．
ファン：冷気をアクリル板に当てるためのダイソー社製 USB 扇風機．
この装置では，冷凍庫に電源を入れてから，アクリル板に初めて結露ができるまで平均 30 分かかり，結露を拭き取った後は，約 3 分で結露が再生する．

3

動画像処理アルゴリズム

結露面に描いた絵や文字の保存は，システム内において(1)結露面に描かれた際の指の動きを録画，(2)OpenCV での動画像処理，(3)処理結果を動画像またはコマごとに表示，の順で処理を行う．
まず，ユーザが結露面に絵や文字を描画している間，描画している指の動きを図 3(A)に示した赤外線カメラで内部から撮影する．
次に，撮影された動画像に対して OpenCV を用いて図 4 の手順で処理し，指の動きを抜き出す．本提案では，画像の二値化を行う際に，フレームの画像を用いる方法と差分画像を用いる方法の 2 つを実装した．フレームの画像を用いる方法では，二値化を行う際の閾値を x とした．差分画像を用いる方法では，1 枚目の画像をグレースケール化し，画素ごとに，t（0 ≤ 𝑡 ≤ 255）を閾値として，t 未満の明るさの画素は明るさを 0 とした．二値化を行う際の閾値は y とした．これらの閾値はユーザが任意に設定することができる．また，輪郭抽出の処理では，輪郭の内側の面積が閾値以下のものを除いた上で，複数の輪郭が存在する場合は，手の甲や手のひらの映り込みを考慮し，画像上で上部に位置する輪郭を採用した．閾値は実験の結果 100 とした．
最後に，描画された絵や文字を再現したものをコンピュータ上で表示し，結露が消えた後であってもユーザが確認することができるようにした．

4

結果

実験装置とビデオカメラを大学の廊下に設置し，通りかかったユーザが結露面に描く内容や周りの状況について調査した．
実験によって得られた結果を図 5 に示す．図5(A,B)はフレームの画像を用いる方法で，図 5(C,D)
は差分画像を用いる方法で処理を行った．本装置に絵や文字を描いた人の述べ人数は 35 人で，1 人で描きに来た人は 12 人であった．複数人で描きに来たのは 12 組で，そのうち 1 人のみが描いたのは 4 組，2 人以上が描いたのは 8 組であった．1 回の描画あたり 2～27 秒かけており，30 人が人差し指で描いていた．複数本の指を使って絵や文字を描いた人はいなかった．また，描画後に自分が描いた絵を立ち止まって見返さなかった人が 17 人いた．これは，結露面に指で細かな描き込みをするのは難しく，後に消えてしまうため，結露面に描く絵や文字に精巧さを求めないからだと考えられる．

図 5．ユーザ実験で得られた結果の例．（A）ユーザが猫を描いた際の動画像処理前の画像，（B）（A）の動画像処理結果（𝑥 = 88），（C）ユーザが「さむい」と描いた際の動画像処理前の画像，（D）（C）の動画像処理結果（𝑡 = 58，𝑦 = 17）．

ケツログ：結露面上の絵及び文字の保存システム

謝辞
ユーザ実験に参加してくださった方に感謝する．

参考文献[1] 宮崎 陽平，安藤 正宏，藤田 悠矢，羽鹿 諒，O.
Merrielle，伊藤 雄一，ケツログラフィティ：結露を用いたインタラクティブディスプレイ, エンタテイ
ンメントコンピューティングシンポジウム 2013, pp.
238-241, 2013[2] Jefferson Y. Han, Low-cost multi-touch sensing
through frustrated total internal reflection,

UIST ’05: Proceedings of the 18th annual ACM
symposium on User interface software andtechnology, pp. 115-118, 2005

未来ビジョン
結露面に絵や文字を描くことは，タッチ型デバイスに描くよりも，気軽に思いついたことを描ける良さがある．それは，結露ができる
状況が入浴中などのリラックスしているときであることや，描いたものは水をかけたり放置したりすることで簡単に消え，描いた内容を再び直視せずに済むことが理由だと考えている．
本稿で結露面に描いた絵や文字の保存に取り組んだ理由は，結露面であれば，入浴中などのリラックスしたときでも環境に馴染み，アイデアのメモができると考えたからである．
今後の展望として，図 2 では結露した部分も赤外光を弱く散乱して観察されているため，結露部と非結露部とアクリル板に接触した指先の 3 つを個別に認識できるようにしたいと考えている．また，通常の窓ガラスへの応用も室外面に冷気を吹き付けることで可能である．さらに結露面はプロジェクターのスクリーンとしても機能することから，窓ガラスやショーウインドウのタッチパネルディスプレイ化を実現したい．