情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3C-642024/2/28

MarbLED: 人工大理石透過型 LED タッチディスプレイとそのアプリケーションプラットフォーム
浦 千尋1,a)中植 義斗1,b)蚊野 浩2,c)

平井 重行2,d)

概要：光を透過・拡散する人工大理石の特性を活用し，その素材が使われているキッチンの天板や洗面台等をコンピューティングプラットフォームへと変えるシステム ”MarbLED” を提案する．MarbLED のハードウェアは，小型の LED マトリクス基板の形をしており，RGB フルカラー LED によるディスプレイ機能と，IRLED による赤外光を利用したタッチや物体検出が可能なセンシング機能とを統合化した基板となっている．また，MarbLED のソフトウェアは，小型基板を複数枚並べて一つのディスプレイとして連携させ、アプリケーションプラットフォームとして機能させることができる．我々は，これらハードウェアおよびソフトウェアプラットフォームと共に，アプリケーション開発が容易となる SDK も開発した．本稿では，MarbLED のハードウェアの機能と性能について，またソフトウェアの構成と機能について述べ，MarbLED を活用したアプリケーション例について示す．

1. はじめにを行った．加えて，デバイスの設定や動作環境を抽象化したソフトウェア開発キット (SDK) の開発も行った．このスマートホームに向けたユーザーインターフェイスやイ

SDK は開発者に対して，LED タッチディスプレイの機能ンタラクション技術に関する研究において，キッチンや洗を提供する．これらハードウェアとソフトウェア環境を総面台に注目した研究が進められている．[1], [2], [3] そこで称して「MarbLED」と呼び，本稿では MarbLED のハーは，情報の提示をプロジェクションによって行う研究がドウェアの概要とソフトウェアプラットフォームの機能に多数を占めている．一方で，生活空間に馴染んだインターついて説明する．加えて，SDK を使用して開発されたスフェイスを実現することを目的に，ディスプレイやコントマートキッチンを実現するアプリケーションの例をいくつ

ローラの機能を表面から見えないように隠したインターか示す．

フェイスも提案されている．[4], [5], [6] その中で，Tada らは既存のキッチン天板の背面に，センサを備えた LED マ2. システムの概要

トリクスディスプレイを埋め込むことによるタッチディス

本研究は，キッチンや洗面台の天板に使用される樹脂製プレイの実装を提案した．[5] このシステムは高解像度の表の人工大理石に着目したものである．既設の住宅設備に存示には適していないが，薄いデバイスで実現することがで在する僅かな隙間に取り付けることを目標にするため，狭き既存の住宅設備に後付けできることが利点である．これいスペースに収まるデバイスにする必要がある．そこで，に続く我々の研究 [7] では，前述のタッチディスプレイのLED マトリクスディスプレイのような薄型のデバイスをハードウェアを表面実装基板として開発し，タッチ及び領使用する．加えて，パネル内の RGBLED の一部を IRLED

域検出の機能を実現することで実用的なデバイスへ近づけとフォトディテクタに置き換えることで，キッチンや洗た．本研究では，これらデバイスに存在したいくつかの問面台の天板でタッチや物体の検出を実現する．人工大理

題点を改善するとともに，より高輝度での表示と大面積で石は，光を透過および拡散する性質を持っており，人工大のセンシングを実現するために，新たな基板の設計と実装

理石に入った光はその厚みに応じて拡散する．その結果，RGBLED の光は拡散しながら透過し，天板表面にはぼや12a)b)c)d)

京都産業大学大学院
京都産業大学
ura@3ccd.jp
ynkue165@gmail.com
kano@cc.kyoto-su.ac.jp
hirai@cc.kyoto-su.ac.jp© 2024 Information Processing Society of Japan

けた図形が表示される．この特性により，RGBLED の一部を可視光を発しない IRLED やフォトディテクタに置き換えたとしても，その欠けた画素を隠蔽することが可能である．センシング基板上に構成するタッチインターフェー

1331

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3C-64
2024/2/28

スは図 1 のような仕組みで動作する．赤外線 LED の赤外
光が人工大理石を透過し，人工大理石上のタッチや物体で反射し再度大理石を通過してフォトディテクタに入力される．この入力の強弱によって物体の検出を行う．このIRLED とフォトディテクタを LED マトリクス内で離散的な市松格子状に交互に配置することで，赤外反射光の 2 次元的な検出を行う．さらに，その離散的なフォトディテクタの検出光量に対し，線形補間によってセンサ間の値を補図 2間することにより，2 次元でのタッチ位置や物体領域の検試作した基板

出を高解像度化する．

図 3
図 1

基板上での素子の配置

赤外線タッチパネル動作のイメージ

3. ハードウェアの試作
図 4

MarbLED システムの構成と接続

3.1 構成MarbLED のハードウェアは人工大理石の背面に配置すの設計を踏まえ，LED マトリクス形態のプリント基板とる．我々の以前の試作 [7] では，描画機能を市販の LED マして新たに多層基板を設計した．素子の高密度化を行い，トリクスディスプレイで行い，その上にセンシング用の基薄型デバイスとして構成するため，表面実装部品を用いて板を重ねることで画面表示とタッチセンシングの双方をいる．現時点の試作基板は 4 層基板であり，表面に高輝度実現していた．ただ，それには実用・実践上の観点で次のRGBLED と IRLED，フォトディテクタをアレイ状に配置２点の問題があり，本研究ではそれらの改善と機能追加をし，LED マトリクス面を構成した．裏面には，LED ドラ行った．

イバやマルチプレクサ，ADC などの IC と，その他表面実( 1 ) 人工大理石を透過させて観察する LED の輝度が不十装部品を配置した（図 2 参照）．中間層の 2 層はそれぞれ分で，明るい場所での視認性が低い．

RGBLED の配線、センシング機能の配線を行っている．

( 2 ) 拡張性のないセンシング基板のため面積に限度がある．

なお，この試作では裏面に Raspberry Pi Pico（RP2040 マ（１）の問題に対し，ここでは高輝度 RGBLED を用いイコン）を配置し，各基板の制御とデータ通信を担っていることとした．そして，表示機能とセンシング機能とを統る．その基板内での IC の構成や接続を図 5 に示す．

合した表面実装基板を設計し，試作した．その基板の両面の様子を図 2 に，また LED・センサ面を拡大した素子の様子を図 3 に示す．（２）の問題に対しては，基板を複数枚並べて配置し利用面積を拡張できるよう基板を設計した．
現状の試作基板を複数接続する場合の接続構成を図 4 に示
す．ここでは，いくつかの基板をデイジーチェーンで繋いで制御するサブコントローラ（RP2040 マイコン）があり，複数のサブコントローラをネットワークを通じて束ね，すべての基板を制御する構成としている．これにより複数枚

図 5

MarbLED 基板の構成と接続の基板を並べて連携させ，面積に拡張性を持たせる．

3.2 多層基板の回路設計と実装
MarbLED の基板は，先行研究 [7] でのセンシング基板© 2024 Information Processing Society of Japan4. センシング機能の評価
本節では，試作したハードウェアの動作確認と評価を

1332

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3C-642024/2/28

行う．

4.1 ディスプレイ表示
LED マトリクスディスプレイの表示輝度について確認した．以前の試作 [7] では，センシング基板の下側に配置した LED マトリクスの光がスルーホールを通じて人工大理石へ入光していたため，輝度が多少低くなっていた．今回の MarbLED 基板では高輝度 RGBLED を採用し，LED マトリクスとして人工大理石の直下で光らせることで，ディスプレイとしての表示輝度の向上を図った．結果を図 6 に

図 7

円形の物体を人工大理石上に配置した様子示す．どちらのタッチパネルディスプレイも厚み 6mm の人工大理石下に設置し，同一の環境とカメラの露出で撮影した．

図 6

人工大理石を介して表示させた様子

図 8

物体サイズと，物体位置によるセンサ値の変化

図 6（a）は RGB 各色で円を描画させ，図 6（b）は RGB体が存在する場合は直上に配置した場合に比べて反射光が各色で縞模様を描画したものである．以前の表示に比べ，弱くなっている．直上に配置した場合は，直径 7.5mm の物

MarbLED の試作基板の輝度が向上していることが確認で体であっても物体なしと比較してセンサ値の差がセンサ値きる．のばらつきに影響されない程度確保されている．しかしながら，センサ間に配置した場合直径 7.5mm の物体は物体な4.2 検出可能な物体サイズ

しと比較して値の差が小さく，センサ値のばらつきによっ

MarbLED システムはキッチンなどで，タッチパネルディて検出が不安定になると考えられる．直径 10mm では，値スプレイとして使用することを前提としている．そこで，の差はばらつきと比較して十分大きく，単純な閾値処理に離散的なフォトディテクタの配置で，指先位置の連続的なよる物体の有無の区別が可能と言える．これらから，タッ検出が可能であることを示す評価実験を行った．ここではチしたときの接触面の直径が 10mm 程度以上であれば安定厚み 6mm の人工大理石の下に MarbLED 基板を配置し，したタッチ検出が可能で，位置の変化を連続的に捉えるこ

指先のタッチサイズを想定した円形の MDF 板を用意してとができると考えられる。

人工大理石の表面に配置した（図 7 参照）．この MDF 板
は直径 7.5mm から，25.0mm までの範囲の 6 種類の直径4.3 タッチ位置と物体の検出のものを用いた．評価は，MDF 板をセンサ（フォトディ

基板上で市松に配置されたセンサの出力値を画像化し，テクタ）の直上に配置した場合と、センサとセンサの間にそれを画像処理することで物体の検出を行う．具体的な検配置した場合とでセンサ値を計測し，それらの位置の違い出の手順を下に示す．

による計測値の違いを比較する．これは物体サイズがセン( 1 ) 前述の画像を線形補間で拡大し，センサ間の値を補間サピッチより小さい場合に，人工大理石による光の拡散に( 2 ) 二値化した後，ラベリング処理を実行

よって反射光の検出が可能であるか確認するためである．

( 3 ) 個々の領域の重心位置をタッチ位置として使用．

各条件でセンサ値を 100 サンプル取得し，その平均を図 8

ここでは複数の条件下で上記の手順を実行し，センサと位に示す.

置検出の動作を確認する．人工大理石に配置した物体と，ここで，センサ値は大きいほど反射光が強いことを示しており，エラーバーは各物体サイズにおけるセンサ値の標

その検出結果を図 9 に示す．MarbLED 基板は 6mm 厚の人工大理石の中央下に配置した．

準偏差を示している．物体サイズが大きくなるにつれて反各図の右は，検出結果を示した画像である．緑色はラベ射光が強くなっていることがわかる．また，センサ間に物リング結果の輪郭を表しており，赤色はその重心位置であ© 2024 Information Processing Society of Japan1333

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3C-64
2024/2/28

画を行える．

5.1.2 グラフィクス描画機能
上記のライブラリを利用することで，アプリケーションは天板表面に図形を表示することができる．具体的には，
図 10 のように，ドット，直線，円，矩形などの図形を LEDマトリクス上に表示する．また，ライブラリには動画や画像，テキストを表示する機能も用意しており，ユーザインタフェース（UI）デザインとして様々なコンテンツを制作することができる．ただし，ディスプレイの特性上，使用するフォントの種類やサイズには注意する必要があり，文字がぼやけて見えたり，滲んで見えることがある．

図 9

物体検出の動作確認

る．(a)(b) どちらの場合も、物体に対応した領域の反射光が強くなっており、領域の重心を求めることで位置を検出できている。しかしながら (b) の場合、輪郭線が歪んでおり、指先のように小さい物体の場合、形状の検出は不安定になる。

5. ソフトウェア環境

図 10

グラフィクス描画機能の例

このディスプレイデバイスのためのアプリケーションをより簡単かつ効率的に開発するために，ミドルウェアとシこれらの機能を利用することで，アプリケーション開発ミュレータを含むソフトウェア開発キット（SDK）を開発

者は直感的に UI デザインを作成することができ，後述すした．

るタッチイベント処理と組み合わせることで，ボタンやスミドルウェアには，ソフトウェアライブラリとそのアプライダなどのインタラクティブな UI コンポーネントを作リ実行環境を含めている．ソフトウェアライブラリには，成することができる．

画像の表示や簡易なグラフィクス・アニメーションの描画

5.1.3 マルチタッチイベント処理の他，タッチイベントや物体領域に対する処理などの機能

Processing や openFrameworks のようないくつかのツーが含まれている．ランタイム環境の機能は，ハードウェア

ルでは，PC 環境上でマウスクリック，キーボード入力，の抽象化，アプリケーションの切り替え，実装したアプリディスプレイタッチ入力などに対するイベント処理を実装

ケーションのイベント処理の呼び出しなどである．これらすることができる．それらと同様に，本研究では，天板表の機能を利用することで，複数アプリの切り替えながらの面でのタッチイベントを検出してアプリケーションに通操作を可能としている．

知するタッチイベント処理を実装した．複数点のタッチイ

また，人工大理石を介して見た際のぼかしの入った表示をアプリ開発用 PC 上で再現するシミュレータを開発した．

ベントや領域の管理には TUIO プロトコル [8] を使用している．

TUIO プロトコルは，Open Sound Control（OSC）プロ
5.1 ミドルウェア

トコル上に実装された複数のタッチ点情報を扱う通信プロ

5.1.1 アプリケーションライブラリ

トコルである．ディスプレイデバイス上の各センサからの開発している SDK では，グラフィクス描画やイベント処データを元に画像処理を行い，センシングプログラムから理の実装に使用される Processing や openFrameworks の得られたタッチ点・領域情報を TUIO のタッチ点データような，図形やテキスト，画像などの表示，タッチイベンメッセージとして送信する．そして，ランタイム環境におト処理などの API を含めたアプリケーションライブラリをいてタッチ点データを TUIO のタッチ点データを受信し，提供している．また，天板の背面に配置するディスプレイ実行中のアプリケーションのタッチ点・領域イベントとしデバイスは，複数枚パネルを縦横に並べて配置するため，て処理する．この機能により，天板表面でのタッチ入力を描画処理を呼び出す場合は，実際の複数枚パネルを組み合行うアプリケーションの実装が容易になり，インタラクわせた新しいワールド座標系で定義された座標を用いて描ティブなコンテンツの制作が可能となる．

© 2024 Information Processing Society of Japan1334

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

5.1.4 ランタイム環境

3C-642024/2/28

しなければならない．そこで本研究では，スマートフォンスマートフォンや PC のユーザは，使いたいアプリケー向け開発環境である Android Studio や Xcode などのようションをインストールして切り替えながら使うことができに，PC などの端末上でアプリケーション開発に利用できる．本研究でもこれらと同様に，制作された複数のアプリるシミュレータ機能を開発した．このシミュレータ機能をケーションを読み込み，切り替えながら動作させるための使用することで，アプリケーション開発者は，実際のデバ実行環境も開発した．この機能により，ユーザは複数のアイスを接続していない状態でも，リアルタイムにぼかし表プリケーションを MarbLED システムにインストールして示やタッチイベントなどの操作を確認することができる．

おき，ランチャーからアプリケーションを起動し切り替えシミュレータは図 12 のように，2 つの画面を表示する．
上の画面は，マトリクス上に配置された各チップ LED のることができる．
ランタイム機能としては，複数のアプリケーションデー色と点灯状態を表示し，下の画面は，人工大理石の天板をタを読み込み，切り替える機能と，描画した内容を天板背介して見た際のぼかしの入った表示を再現する．このよう面に配置した LED マトリクスパネルに反映させる機能をなぼやけた表示を再現するために，シミュレータでは画面実装した．様々な仕様の LED マトリクスパネルや，別のにガウシアンフィルタを適用し，ドットをマトリクス上にマイコンでの点灯制御など，今後のハードウェア構成の変配置して全体の画面を再現している．

更にも柔軟に対応ができるよう，アプリケーションの動作を管理する部分と，LED マトリクスの点灯制御をする部分を分離した設計としている．
また点灯制御については，基板を縦横に並べて配置する
ため，アプリの動作により更新されたスクリーン全体の点灯状態から，図 11 のように各サブコントローラに必要な部分のみを切り出して点灯状態を示す RGB データを送信することで，それぞれのサブコントローラで RGBLED の点灯制御を行えるようにしている．

図 12

シミュレータ画面の例

このシミュレータ機能により，実機を使った動作確認が難しい場合でも，いつでもどこでも表示されるアプリケーションの表示内容や操作などを確認することができ，アプリケーション開発を効率的に行うことができる．

5.3 アプリケーション例
図 11

RGB データの送信イメージ

本研究で開発したディスプレイデバイスを用いたアプリ
ケーションの例を図 13 に示す．

これらのランタイム機能の実装により，ハードウェア構成やプログラムなどの変更に対応した実装の修正や追加を容易に行うことができる．

5.2 シミュレータ
このディスプレイシステム向けのアプリケーションを開発する際には，少しぼやけた表示で実際のデザインの見え方を確認したり，デバイス上でタッチイベントなどの操作を確認したりする必要があるため，キッチンの天板の背面などにディスプレイデバイスを設置した実際の環境を利用© 2024 Information Processing Society of Japan

図 13アプリケーション例

1335

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3C-64
2024/2/28

図 13 の左上のアプリケーションは，キッチンタイマーや時計アプリであり，料理の作業中などにわざわざスマートフォンを手にとって確認する必要がなく，キッチンの天板表面に時間が表示されることで，料理の作業を効率的に[4]行うことができる．
また，図の右上は音楽プレイヤー，テレビ，エアコン，照明などの荷電制御アプリの例である．これらのアプリケーションでは，既存の家電製品を接続し，キッチンや洗面所[5]からリモコンとして家中の家電を操作することができる．
図の左下は，3 本指で遊べるマルチタッチゲームの例である．これは大理石の天板上を動き回る赤い敵オブジェク
トを撃つシューティングゲームである．ディスプレイ上の3 点をタッチすると，それらの点を通る円の中心に緑色の[6]照準が表示され，その位置に弾を発射することができる．
図の右下は，音楽ビジュアライザアプリで，音楽のテンポや音量に合わせて，コップを囲む円の表示が変化する．
このアプリケーションでは，キッチンの天板表面上の様々な物体に対する領域検出機能を利用しており，例えば料理[7]

中にキッチンでまな板の縁を囲むようなデザインの表示を楽しむことができる．
[8]

6. おわりに本研究では，人工大理石透過型 LED タッチディスプレイ

ity Detection for Healthcare using a Low-Power RadarEnabled Sensor Network, ICC 2019 - 2019 IEEE International Conference on Communications (ICC), pp. 1–7(online), DOI: 10.1109/ICC.2019.8761484 (2019).
Kaila, L., Raula, H., Valtonen, M. and Palovuori, K.:
Living Wood: A Self-Hiding Calm User Interface, Proceeding of the 16th International Academic MindTrek
Conference, MindTrek ’12, New York, NY, USA, Association for Computing Machinery, p. 267–274 (online), DOI:
10.1145/2393132.2393191 (2012).
Tada, T. and Hirai, S.: Transmissive LED Touch Display for Engineered Marble, Adjunct Proceedings of the33rd Annual ACM Symposium on User Interface Software and Technology, UIST ’20 Adjunct, New York, NY,USA, Association for Computing Machinery, p. 145–147(online), DOI: 10.1145/3379350.3416162 (2020).
Olwal, A. and Dementyev, A.: Hidden Interfaces for Ambient Computing: Enabling Interaction in Everyday Materials through High-Brightness Visuals on Low-Cost Matrix Displays, Proceedings of the 2022 CHI Conferenceon Human Factors in Computing Systems, CHI ’22, New
York, NY, USA, Association for Computing Machinery,(online), DOI: 10.1145/3491102.3517674 (2022).
Ura, C., Kano, H. and Hirai, S.: Development of a Transmissive LED Touch Display for Engineered Marble, 2023
International Conference on Consumer ElectronicsTaiwan (ICCE-Taiwan), IEEE, pp. 23–24 (2023).
Kaltenbrunner, M. and Echtler, F.: The TUIO 2.0 Protocol: An Abstraction Framework for Tangible Interactive
Surfaces, Proc. ACM Hum.-Comput. Interact., Vol. 2,
No. EICS (online), DOI: 10.1145/3229090 (2018).

(MarbLED) をコンピューティングプラットフォームとして使用できるものにするため，ハードウェアとソフトウェアの両面から取り組んだ．ハードウェアには，表示の高輝度化や基板のモジュール化によって多様な環境で動作を可能とする機能の追加と改善を行った．またソフトウェアの面からは，MarbLED システムにおけるアプリケーション開発を容易なものにするためミドルウェアの開発とシミュレータの開発を行った．今後は，MarbLED 基板の制御を見直すことでより高解像のセンシングを行えるように改良を行う予定である．それに伴って，より安定した位置が得られるよう物体検出の手順に対して変更を加える必要がある．また，ソフトウェアとハードウェアの統合も進めており，具体的なアプリケーションの表示・操作や，実践的な適用についても進めていきたい．
参考文献
[1]

[2]

[3]

BONANNI, L.: CounterIntelligence : Augmented Reality Kitchen, Extended Abstracts of Computer Human Interaction (CHI) 2005, (online), available from⟨https://cir.nii.ac.jp/crid/1572824500223078784⟩ (2005).
Suzuki, Y., Morioka, S. and Ueda, H.: Cooking Support
with Information Projection onto Ingredient, Proceedingsof the 10th Asia Paciﬁc Conference on Computer Human Interaction, APCHI ’12, New York, NY, USA, Association for Computing Machinery, p. 193–198 (online),
DOI: 10.1145/2350046.2350084 (2012).
Luo, F., Poslad, S. and Bodanese, E.: Kitchen Activ-© 2024 Information Processing Society of Japan

1336