情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-60
2020/3/9

人工大理石透過型 LED ディスプレイとそのタッチインタフェース化の試み
多田 智哉1,a)

平井 重行2,b)

概要：本研究では，人工大理石（樹脂）を素材とするキッチンや洗面台などにおいて，そのテーブルトップの天板の背面に LED マトリクスなどディスプレイパネルを配置し，樹脂素材を透過させた光を用いたディスプレイシステムを構築している．さらに，その背面部分に赤外線 LED とフォトダイオードを配置することで，厚みのある不透明樹脂を介したタッチや物体の検出を試みた．これらディスプレイとセンシング機能を統合することで，既存のキッチンや洗面台そのものを埋め込みタッチディスプレイとして機能させ，濡れた手や汚れた手でも扱えるシステムとして様々な応用が可能となる．本稿ではこれらのシステ
ム構成や透過光の光学的特徴、動作、応用について述べる．

1. はじめに住環境をスマート化する様々な IoT（Internet of Things）製品が，家電や日用品などの形で数々登場している．一方
で，住宅設備や部屋に取り付ける装飾品などの形で情報

理石透過型ディスプレイの光学的特性，および赤外線によるタッチインタフェース化の基礎実験について述べる．加えて，これらを統合した際の応用についても述べる．

2. 関連研究および製品

ディスプレイ化を行ったり，操作するユーザインタフェー

本章では，本研究に関する住環境のディスプレイ化に関ス機能を持たせる製品や研究がある．例えば，スマートする研究や製品，また赤外線を用いたタッチインタフェー

キッチンやスマート洗面台などである．情報ディスプレイ

スについて述べる．

化については，住宅設備の内部に埋め込む場合と，プロジェクタを活用する場合がある．操作のユーザインタフェース

2.1 住環境の視覚ディスプレイ化を実現するセンサについては，埋め込む形式かカメラ画像

Leonardo ら [1] ら，森岡ら [2]，星島ら [3]，塚田ら [4] の研を元にしたものが多い．方式として多種多様なディスプレ

究では，キッチンの調理支援を行うディスプレイとしてプロイ·操作機能を持たせることが可能な中で，我々はキッチンジェクタを用いている．また，榊原らによる TubTouch[5]や洗面台で用いる素材の一種である人工大理石（樹脂）にや Sumida らによる RapTapBath[6] では，浴槽の縁のディ着目している．人工大理石は光を透過および拡散する特性スプレイ化を行なっている．プロジェクタを用いる場合，を持っており，テーブルトップの天板背面側の狭い隙間に投影位置を合わせる必要がある上，カメラ画像やタッチセディスプレイパネルを設置することで，表面からは見えなンサなどによるタッチインターフェースと併用する際にいディスプレイとして機能させることができる．本研究ではそれらと位置合わせが必要になる．位置合わせの簡略化

は，チップ LED で構成された LED マトリクスパネルを用については，Robert らによる WorldKit[7] や Brett らによいて，人工大理石製のキッチンや洗面台を LED 光の透過る RoomAlive[8] の研究では，RGBD カメラとプロジェクディスプレイとして構成する研究を行っている．さらに，タを組み合わせ，部屋の家具の形状・位置や投影面の向き

人工大理石は可視光だけでなく赤外線も透過する特性があまで 3D スキャンして投影するようにしている．これらはることから，赤外線 LED およびフォトダイオードも天板

タッチ位置も RGBD カメラで検出しており，位置合わせが背面側に設置することで表面のタッチ検出や物体検出が可必要なくなる．本研究の実装予定の埋込みディスプレイと能である．本稿は，それら LED マトリクスによる人工大センサが一体化する仕組みでは，部屋の広範囲なディスプ

12a)b)

京都産業大学大学院 先端情報学研究科
京都産業大学 コンピュータ理工学部
i1986098@cc.kyoto-su.ac.jp
hirai@cse.kyoto-su.ac.jp© 2020 Information Processing Society of Japan

レイ化は難しいものの，投影位置とタッチ位置の位置合わせは必要ないうえ，埋め込むために機器としては目に見えなくするため，よりスマートな形で導入ができると言える．

397

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-60
2020/3/9

一方で，プロジェクタではなく，mui Lab 社の mui[9] やマトリクスパネルの一部のチップ LED を，赤外線 LED お

凸版印刷社のインフォウォール [10] では，木目の装飾やよびフォトダイオードに置き換えることで，PSD 方式に類調度品として LED マトリクスを埋め込む形で部屋の壁に似した方式の赤外線タッチインタフェースも同時に構成す設置する情報ディスプレイとなっている．mui においてはることを想定している．ただ，本稿の執筆時点ではそこま木目の表面上にタッチセンサも実装されている．これらはでは実装できていないため，本稿では赤外線 LED とフォト壁に設置するものであり，ディスプレイ表面は薄い木目のダイオードをアレイ状に配置した際のタッチインタフェーテクスチャを用いている．本研究のディスプレイは内部にスの特性について後述する．

LED マトリクスを用いる点では同様だが，人工大理石はキッチンなどの住宅設備の天板や浴槽などを構成する素材で，厚みも 6〜10mm 程度ある. 光の透過・拡散の仕方から LED 光の見え方でも違いがあることから，表示する情報の表現方法については異なると考えられる．

2.2 赤外線センサを用いたインターフェースの拡張
赤外線を用いた一般的なタッチパネルディスプレイとしては，赤外線カメラ方式，赤外線遮断方式，PSD（PlannerScatter Detection）方式，PIT（Projected Infrared Technology）方式の 4 つの手法があり，様々な製品として利用

図 1構成した人工大理石透過型 LED ディスプレイ

されている [11]．PSD 方式と PIT 方式は，本研究と同様の赤外線の発光素子と受光素子を用いるが，他の方式も含めていずれも液晶ディスプレイなどのパネル表面に機構を構成する必要がある．本研究で対象とするキッチンや洗面台等は，様々な物を置く場所であり，物を落としたりする可能性や水場でもあることから，表面にタッチ検出機構を設ける手段は相応しくない．HoloWall[12] は，ガラスの裏面から赤外線を入光させ，Jeﬀerson らによる FTIR
（Frustrated Total Internal Reflection）方式 [13] は，ガラ図 2 図 1 に赤外線 LED とフォトダイオードの設置イメージ

スやアクリル板などの面の横から赤外線を入光させ，タッチした部分の反射した赤外光を背面に設置した IR カメラで画像処理によってタッチ位置を検出する方式である．これらは，背面の IR カメラやプロジェクタを設置する空間4. ディスプレイシステム構成要素について
4.1 人工大理石についてが必要であり，住宅設備や壁などに埋め込む用途には不向人工大理石は樹脂で成形され，様々な色のものができるきである．本研究での赤外線を用いる手法は，人造大理石

ほか，成形時に微小な粒などを混ぜることにより様々な風の背面に赤外線発光素子と受光素子をアレイ状に平面配置合いや見た目のものを作ることができる．その色や内部にすることで薄いパネル上に構成でき，キッチンなどの天板含まれる他の物質によって光の透過特性が多少変わるものの背面の狭い場所に設置することができる．ディスプレイの，可視光および赤外光はある程度透過および拡散するこ

パネルの方式ではないが，Stearns らの研究 [14] では，赤とが知られている [15]．本研究では，その特性を活かして，外線センサ，小型カメラ，慣性測定ユニットや LED を用

キッチンや洗面台の天板背面にフルカラー LED マトリク

いて，ユーザ自身の身体に触れた位置とジェスチャを識別

スパネルを設置し，LED 光を透過させることで埋込み式のする．これは指先にセンサなどを付ける方式であり，調理ディスプレイを構成する．本稿の実験や試作で利用していや手洗いなど本研究の適用場面では適用が難しい．

る人工大理石は，トクラス株式会社製で，色彩はグラーナ

3. システム概要
本研究は，キッチンや洗面台の天板で利用される素材の一種である人工大理石向けのディスプレイシステムを構成

II マーブルホワイト，厚さ 6mm のものである．
4.2 人工大理石透過型 LED ディスプレイの光学特性についてする．図 1 に示すように，人工大理石の天板の背面に LED

人工大理石に入射する光は透過するが，屈折率に応じマトリクスパネルを設置することで，天板裏の狭い隙間にて内部で拡散する特性がある．そのため，背面に設置しディスプレイを構成する．また，図 2 に示すように，LEDた LED の光は表面では滲んで見える．図 3 に，それぞれ© 2020 Information Processing Society of Japan398

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-60
2020/3/96mm，9mm，11mm の人工大理石を透過した LED 光の滲む様子を示す．このような滲みのある表示となるため，

LED マトリクスのドットピッチが特定のサイズ（例えば2mm ピッチや 2.5mm ピッチなど）であっても，人が見た際にはそのドットピッチでの画素が明確にわかるわけではない．本研究では，その人工大理石の光学特性を活用することで，LED マトリクス上の LED を部分的に発光させなくても，マトリクスディスプレイとしての表示機能をある程度保持できると考えている．その考えに基づき，次節に示す通り，通常のフルカラー LED を赤外線 LED とフォトダイオード（赤外線受光素子）に置き換えてタッチ検出機構を構成する．
図 4

フルカラー LED の一部を赤外線 LED およびフォトダイオードに置き換えた例[1] 厚さ 6mm の板での透過表示例[1] 何も置かれていないとき[2] タッチしたとき
図 5人工大理石内部の赤外線の反射のイメージ

5. タッチインタフェースの試作と基礎実験[2] 厚さ 9mm の板での
図 3[3] 厚さ 11mm の板での透過表示例
透過表示例
LED マトリクスによる人工大理石の背面からの透過表示例

5.1 タッチインターフェースのハードウェア構成
赤外線を用いたタッチインタフェースの実装については，まず方式としての動作確認を行った．ここでは，チップパーツで実装する前に，まず砲弾型の赤外線 LED およびフォトダイオードを用いた．パーツとしては，赤外線フォ4.3 タッチ・物体の検出手法について

トリフレクタ TCRT5000L で使われている，波長 940nm

厚みある人工大理石の背面に LED マトリクスを設置しの赤外線 LED と，フォトダイオードを用いた．厚さ 6mmてディスプレイを構成するが，そのフルカラー LED の一の人造大理石に赤外線を入射させ，人が触れた場合のフォ部を赤外線 LED およびフォトダイオードに置き換える．

トダイオードの反応を確認したところ，指で触れることでその様子を図 4 に示す．図中では赤外線 LED が 2 つ配置センサの値が変化することが確認された．そこで，砲弾型されている間に赤外線受光素子としてフォトダイオードがの赤外線 LED とフォトダイオードを複数個ずつ 2 次元配配置されている．図 5[1] のように赤外線 LED から入射し置することで，人造大理石の表面上でタッチ位置を検出す

た赤外光は，人工大理石内部で拡散すると共にある程度反るハードウェアの試作を行う．ここでは図 6 に示すよう射された状態となる．これに対し，図 5[2] に示すようにに，MDF 板に 3mm 径の丸穴を 0.3mm 間隔で縦横に配置

表面を指でタッチした場合には，タッチ箇所の赤外線が外した形で開け，砲弾型 LED が自由に配置できる治具を作部へ透過するのを遮断し，背面へ向けて反射する量が増え成した．そして，赤外線 LED とフォトダイオードの配置ることとなる．この赤外線の増加量を背面側に複数配置さや距離によって，どのような値の変化が起こるかについてれた赤外線受光素子で計測してタッチ位置を検出する．こ

計測実験を行った．配置は，図 6 の写真に示す通り，青くのタッチした箇所の赤外線の反射量増加を検出するのは，見える点が赤外線 LED で，縦横のそれぞれの中央の位置

PIT 方式や FTIR 方式と同様であるが，本方式は背面直近に，黒色のフォトダイオードを配置した．赤外線 LED とに複数設置された受光素子で赤外光の量の変化を検出する

フォトダイオードの配置間隔は，1 つおきの穴に配置した点でそれらとは違う．

場合は 6.6mm 間隔，2 つおきの場合は 9.9mm 間隔，3 つお© 2020 Information Processing Society of Japan399

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-60
2020/3/9

きだと 13.2mm 間隔となる．ここでは砲弾型の両ダイオードの上部が治具（MDF 板）の上面と同じ高さとなるよう上下位置を調整した．また，治具の上面に人工大理石の板を置くことで赤外線を入射させた．これは赤外線 LED の赤外光が周囲のフォトダイオードに直接入力されないようMDF 板が遮蔽物となっている．図 7 は，この計測実験における計測結果のグラフで，横軸はフォトダイオード周辺に配置する赤外線 LED の数，縦軸は人工大理石を挟んでフォトダイオード直上に手指を置いた場合の電圧の変化量を示す．各データプロットは平均値であり，各色および折れ線は，それぞれの配置間隔のデータを表す．なお，フォトダイオードの周囲への赤外線 LED の数と配置について

図 6

MDF 板に穴を開け赤外線 LED とフォトダイオードを並べた例

は，2 個はフォトダイオードの左右への配置，3 個は上と左右への配置，4 個は上下左右への配置である．
この図から，配置間隔が 6.6mm の場合（赤外線 LED とフォトダイオードが穴 1 つぶん開いた状態の配置）では，周囲に LED が 2 つ以上配置された場合に電圧値が 0V となっている．これは，赤外線 LED の数が増えることでフォ
トダイオードの受光量が人工大理石の表面に手指を置く前後で変化が少ないことを示している．そのため，3.6mm という近い間隔で赤外線 LED とフォトダイオードを配置すると赤外線反射量としてはうまく計測できないこととなる．
一方で，図 7 の 9.9mm 間隔，13.2mm 間隔のグラフを

図 7

指を置いたときの平均電圧の変化

見ると，赤外線 LED の個数が増えていくことで，手指を置いた際のフォトダイオードの出力電圧の変化量が大きくびマルチプレクサの制御は Arduino Uno で行い，計測さなっている．これは，距離が離れるとセンサ付近まで人工れたデータを PC にシリアル通信で転送したのち，PC 上大理石内部を反射する赤外光の量が減少するためである．

で Processing でデータ処理および可視化処理を行う試作シ

ただ，13.2mm 間隔の場合，赤外線 LED が 3 個と 4 個でステムとなっている．Processing の描画画面例を図 10 に，電圧差があまり出ないことや，全 LED 個数で 9.9mm 間

それをプロジェクタで人工大理石の上面から投影してタッ隔よりも電圧の変化量が小さく出る傾向があることから，チ操作している様子を図 11 に示す．

13.2mm 間隔ほど離して配置するよりも，9.9mm 間隔程度で配置するほうがタッチセンシングとしての位置検出の精度が上げやすくなると考えられる．
以上の基礎実験の図 7 の結果からは，人工大理石を介した赤外光でのタッチセンシングには，3mm 径の砲弾型

LED を用いる場合は，赤外線 LED とフォトダイオードの間隔は 9.9mm 程度で配置すれば良いことが確認できた．

5.2 タッチインタフェースの試作
前節の基礎実験の結果を元に，9.9mm 間隔（図 8 の治具での穴 2 つおきの間隔）で赤外線 LED とフォトダイオードを交互に配置する形で人工大理石向けのタッチインタ

図 8 使用器具

フェース機能の試作を行った．図 9 はその配置の様子を図示したものである. このインタフェースの試作システム
では，16 個のフォトダイオードの電圧値を計測するため，16bit 4ch ADC である ADS1115 を 1 つ用い，計測チャンネル数を増やすためにマルチプレクサ 74HC4051 を用いる
ことで，16ch ぶんの計測を行った．また，その ADC およ© 2020 Information Processing Society of Japan400

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1B-60
2020/3/9

ラフィックス表示として工夫すれば，あまり気にしなくてよい表現も可能と考えている．この赤外線 LED とフォトダイオードも含めた LED マトリクスディスプレイパネルをチップパーツで構成し，基板を含めて薄い機器として構成することで，キッチンや洗面台などの天板の裏側の隙間に設置することが可能になる．

6. アプリケーション案
人工大理石が使われている洗面所や，キッチンで動作することが想定されるアプリケーション案について述べる．
自宅の中では常にスマートフォンを持ち歩かない人も多いことから，キッチンでの調理中や，洗面台での化粧中や歯磨き中などの場面で，電話がかかってきた場合に，その様子を図 12 のようにアイコンを表示する．その場合，タッ
図 9

赤外線 LED とフォトダイオードの並び例

チした場合は電話に出る，スワイプ操作した場合は電話に出ない，といった操作を割り当てておくことが考えられる．
また，カレンダーシステムと連動して予定時刻の数分前に画面でそれを知らせるよう視覚的に白く点滅してアラーム表示させ，アラームを止めるのに，テーブルトップをダブルタップするよう操作する．ほかには，キッチンタイマーとして，タッチ操作で時間設定し，残り時間表示を行わせる案もある．さらに，関連研究で述べたような調理支援アプリのレシピ情報を表示させて，その手順の表示操作をス

図 10 Processing を用いた表現例
青色の円:フォトダイオード
灰色の円:赤外線 LED

ワイプで行うなども考えられる．それら通常の生活支援ア
プリケーションの案の一方，タッチ操作とは関係なくとも，緊急地震速報が起こった場合に全画面で赤く光らせ，何秒後に地震が到達するか時間表示させることなどもできる．

[1] タッチしていないとき
図 11[2] タッチしたとき実際に動作させている様子（プロジェクターによる表示）

なお，この試作システムにおいては，フォトダイオードと赤外線 LED の数を増やし，より広範囲なタッチインタフェースを構成する場合も，ADC の IC を増やすこととマ

図 12

人工大理石透過型 LED ディスプレイの表示例

ルチプレクサの IC を増やすことで容易に拡張できる．また，この試作システムの治具の空いている穴に砲弾型のフルカラー LED を設置することで，LED マトリクスのディ

7. おわりにスプレイ機能とタッチインタフェース機能とが一体化し本研究では，キッチンや洗面台などで利用される人工大たものとして構成することもできる．その場合，LED が理石において，その光を透過する特性があることから，薄2 次元アレイ状に配置された LED マトリクスとしてみれ型の LED マトリクスを背面に埋め込むことで，透過光にば，所々点灯しない画素がある形となる．だが，そもそもよるディスプレイ化を試みた．また，赤外線 LED とフォ人工大理石を介した表示では，光が拡散して表面では滲んトダイオードを背面で併用することで，表面上での手指ででしまうことから，多少の画素の抜けがあっても，荒いグのタッチやものを置いたことなどが検出できることを確認© 2020 Information Processing Society of Japan401

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

し，砲弾型 LED での実装ではあるものの，実際に人工大

1B-60
2020/3/9[14]

理石の板の裏側から平面上でのタッチ操作できることについても示した．
今後はチップ LED で構成された LED マトリクスにおいて，赤外線 LED およびフォトダイオードのチップパーツを統合化する形で，ディスプレイパネル兼タッチセンサとして機能する薄型デバイスの実装を行う．そして，実際のキッチンや洗面台のテーブルトップ背面に埋込み，様々[15]

Stearns, Lee, et al. ”TouchCam: Realtime Recognitionof Location-Specific On-Body Gestures to Support Users
with Visual Impairments.” Proceedings of the ACM on
Interactive, Mobile, Wearable and Ubiquitous Technologies 1.4 (2018): 164.
各種材料反射率｜照明設計資料｜パナソニック照明設計
サポート
https://www2.panasonic.biz/ls/lighting/plam/knowledge/document/0412.html(最終アクセス日 2019 年 12 月 13 日)

なアプリケーションの実装と共にユーザ評価を行っていきたい．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]
[12]

[13]

Bonanni, Leonardo, Chia-Hsun Lee, and Ted Selker.
”CounterIntelligence: Augmented reality kitchen.” Proc.
CHI. Vol. 2239. 2005.
森岡俊介, and 上田博唯. ”カメラとプロジェクタを使った調理支援システム.” 電子情報通信学会技術研究報告.
MVE, マルチメディア・仮想環境基礎 110.457 (2011):
37-41.
星島佑哉, et al. ”プロジェクションマッピングを用いた調理支援システムの提案.” 研究報告エンタテインメントコンピューティング (EC) 2016.2 (2016): 1-3.
塚田義典, and 細越一希. ”距離画像センサと小型プロジェクタを用いたスマートキッチンの実現に関する研究.” 日
本知能情報ファジィ学会 ファジィ システム シンポジウ
ム 講演論文集 第 34 回ファジィシステムシンポジウム.
日本知能情報ファジィ学会, 2018.
榊原吉伸, 林宏憲, and 平井重行. ”TubTouch: 湯水の影響や自由形状への適用を考慮した浴槽タッチ UI 環境.” 情報処理学会論文誌 54.4 (2013): 1538-1550.
Sumida, Tomoyuki, et al. ”RapTapBath: User interface
system by tapping on a bathtub edge utilizing embedded
acoustic sensors.” Proceedings of the 2017 ACM International Conference on Interactive Surfaces and Spaces.
ACM, 2017.
Xiao, Robert, Chris Harrison, and Scott E. Hudson.
”WorldKit: rapid and easy creation of ad-hoc interactive applications on everyday surfaces.” Proceedings ofthe SIGCHI Conference on Human Factors in Computing Systems. ACM, 2013.
Jones, Brett, et al. ”RoomAlive: magical experiences enabled by scalable, adaptive projector-camera units.” Proceedings of the 27th annual ACM symposium on Userinterface software and technology. ACM, 2014.
mui Labhttps://mui.jp/#jp(最終アクセス日 2019 年 12 月 13 日)
凸版印刷、家族や地域の情報を知らせる壁材 ― 凸版印刷
https://www.toppan.co.jp/news/2018/12/
newsrelease181212 1 .html(最終アクセス日 2019 年 12 月 13 日)
西川武士. ”光学式タッチインタフェース.” 映像情報メディア学会誌 68.12 (2014): 907-914.
Matsushita, Nobuyuki, and Jun Rekimoto. ”HoloWall:designing a finger, hand, body, and object sensitivewall.” ACM symposium on user interface software andtechnology. 1997.
HAN, Jeﬀerson Y. Low-cost multi-touch sensing throughfrustrated total internal reflection. In: Proceedings of the18th annual ACM symposium on User interface softwareand technology. ACM, 2005. p. 115-118.

© 2020 Information Processing Society of Japan402