WISS 2022

人工大理石透過型 LED タッチディスプレイのアプリケーションプラット
フォーム
中植 義斗 ∗

浦 千尋 ∗蚊野 浩 †平井 重行 †概要. キッチンの天板などで利用される人工/人造大理石は，光を透過・拡散する特性がある．その天板の背面に IRLED とフォトトランジスタを含めた LED マトリクスを配置することで，隠れたタッチディスプレイとする技術とアプリケーションプラットフォーム化について研究している．本稿では，このタッチディスプレイの画面描画関連 API，センシング機能関連 API，画面設計支援シミュレータ機能などのアプリケーション開発のためのソフ トウェアプラットフォームについて述べる．またそれを活用したアプリケーション例についても示す．

1

はじめに
スマートハウスにおける数々のスマート化研究[1][8][4][10][9] では，プロジェクタを用いるものが多い．そのような中で，Tada らは，人工大理石製のキッチンなどの天板の背面に LED マトリクスを配置してタッチディスプレイ化する技術を提案，試作した [6]．これは人工大理石の光の透過・拡散性に着目し，IRLED とフォトダイオードも素子に含めた LED マトリクスを利用する．高精細な表示には向かないものの，薄型に構成できることから，既設キッチンの狭い隙間にも後付けできる実践性の高さなどが利点として挙げられる．浦らは，その LEDタッチディスプレイのハードウェアを表面実装の基板化し，タッチや領域のセンシング機能の高度化を含め，より実践的な形態へと開発を進めた [7]．本研
究は，この人工大理石透過型 LED タッチディスプ
レイについて，そのデバイスの設定や表示機能，またセンサ機能を抽象化し，アプリケーション開発を容易にするためのライブラリおよびアプリケーションの動作環境の開発を行っている．以下の章では，開発中の機能について，またライブラリを利用したアプリケーション例についても述べる．

2

ソフトウェアプラットフォーム概要

2.1 複数 LED パネルの統合化と点灯制御
LED マトリクスパネルは，パネル上の LED の配置間隔や画素数により，様々な形状やサイズのものがある．それらを縦横に配置し，多様なキッチンなどのサイズに対応できるよう，本研究でのライブラ
リでは，パネルの配置を元に画素を統合したワール
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
京都産業大学大学院†
京都産業大学

ド座標を定義し，アプリケーションからはそのワールド座標での描画が行えるようにしている．

2.2 描画機能
LED マトリクスパネルに対して新たに定義されたワールド座標で図形やテキスト，動画・画像の表示を行うための API を提供している．また，LED の点灯制御に用いるドライバに依存する処理については，各処理を抽象化することでハードウェア構成の変更に柔軟に対応できるようにしている．描画機能
としては以下の機能を実装しており，Processing[5]のような関数呼び出しによって LED マトリクスパネル上に表示を行える．

• 図形描画機能• テキスト描画機能• 画像描画機能• 動画再生機能
2.3

タッチ・物体領域情報の利用機能

本研究で試作しているディスプレイパネルでは，
図 1 のようにマトリクス内に一定間隔で配置されたフォトトランジスタの電圧値から，天板表面のタッチ位置・物体領域を検出する．検出したタッチ点や物体領域は TUIO プロトコル [2][3] のデータとして出力し，アプリケーションプログラムは TUIO クライアントアプリとして作成することで，人工大理石上をインタラクティブにタッチ操作したり，物体の領域に対応した処理を行うことができる．

2.4

表示シミュレーション機能

マトリクスパネル上の各 LED の点灯状態を，図2 のように PC などの通常のコンピュータ画面で確認表示する機能を提供する．また，人工大理石を介して見る際の滲んだ表示となる様子を確認表示する機能も提供する．アプリケーションソフトウェアを

WISS 2022

3.2

音楽ビジュアライザアプリ

図 3 に示しているアプリケーションは，再生している音楽のビートに合わせてカップの縁に表示している円の大きさが変化するアプリケーションである．

図 1. センサチップが格子状に配置された基板

図 3. 音楽ビジュアライザアプリの表示例

3.3

図 2. 表示シミュレーション機能の表示例（上：LED 点灯状態のシミュレート，下：滲んだ表示のシミュレート）複数タッチ点を利用したゲームアプリ

図 4 に示しているアプリケーションは，タッチされた 3 点を通る円の中心座標に照準を表示し，人工大理石の天板上を動き回る赤色の敵オブジェクトを狙うシューティングゲームの例である．

開発する際に，実機でかつ人工大理石下にディスプレイデバイスを配置せずとも，PC 上でアプリ表示画面の確認ができるようにし，画面設計支援を行えるようにしている．

2.5

アプリ動作環境本研究で提供している雛形に基づいてアプリケーションプログラムを作成することで，プラグイン方式でアプリケーションを読み込み，トリガーによるアプリケーションの切り替えを可能にするアプリ動作環境を開発している．これにより，スマートフォンのアプリなどのように，後から作成したアプリケーションの追加や削除を容易に行え，使用者が使いたいアプリを自由に選ぶことができるようにしている．

33.1

アプリケーション例
キッチンタイマーアプリ

タッチ操作および「1 分タイマー」などの音声認識によりキッチンタイマーをスタートし，指定時間が経過すると音と表示によって通知するアプリケーションである．テキスト表示機能，あるいは画像の表示機能によって残り時間を表示する．

図 4. 3 点タッチによるシューティングゲームの例4

おわりにキッチンや洗面台の天板をインタラクティブディスプレイ化する人工大理石透過型 LED タッチディスプレイについて，そのアプリケーションプラットフォームとアプリケーション例について述べた．今後も引き続きハードウェア開発の高度化と並行してソフトウェア開発も進めてゆき，アプリケーションが実世界の環境で利用できるようにしていく．

人工大理石透過型 LED タッチディスプレイのアプリケーションプラットフォーム

謝辞
研究で利用している人工/人造大理石は，トクラス株式会社から提供いただいた．ここに感謝の意を表する．

参考文献[1] L. Bonanni, C.-H. Lee, and T. Selker.
Attention-based design of augmented reality interfaces. In CHI’05 extended abstracts on Human factors in computing systems, pp. 1228–1231, 2005.
[2] M. Kaltenbrunner, T. Bovermann, R. Bencina,E. Costanza, et al. TUIO: A protocol for tabletop tangible user interfaces. Proc. of the The
6th Int l Workshop on Gesture in HumanComputer Interaction and Simulation, pp. 1–5,2005.
[3] M. Kaltenbrunner and F. Echtler. The TUIO
2.0 protocol: An abstraction framework fortangible interactive surfaces. Proceedings ofthe ACM on Human-Computer Interaction,
2(EICS):1–35, 2018.
[4] P. Olivier, G. Xu, A. Monk, and J. Hoey. Ambient kitchen: designing situated services using ahigh ﬁdelity prototyping environment. In Proceedings of the 2nd international conference onpervasive technologies related to assistive environments, pp. 1–7, 2009.

未来ビジョン
本研究は，キッチンや洗面台の天板をタッチディスプレイ化するハードウェアと共に，そこで様々なアプリケーションが動作する環境となるソフトウェアプラットフォームを設計・開発している．そもそも、我々は本研究のタッチディスプレイの技術だけでなく，浴室や天井など住宅の様々な場所・環境を情報化し，アプリケーションやコンテンツが動作するインタラクション環境となることを目指している．これ
らは基本的に既存の環境を後付けデバイスによってインタラクション可能な環境へと変化させることで通底している．住宅のライフサイクルに比べ，情報系の最新テクノロジーの進化の速さやライフサイクルは極端に違うため，新築やリフォームによるタイミングでしか導入できない技術では普及は見込めない，という考えにも基づいている．そして，ユーザや家[5] C. Reas and B. Fry. Processing: programming
for the media arts. Ai & Society, 20(4):526–538,2006.
[6] T. Tada and S. Hirai. Transmissive LED Touch
Display for Engineered Marble. In Adjunct Publication of the 33rd Annual ACM Symposium
on User Interface Software and Technology, pp.
145–147, 2020.
[7] 浦千尋, 蚊野浩, 平井重行. 人工大理石透過型 LED
タッチディスプレイのハードウェア改良-センシ
ング基板の設計と表面実装. 情報処理学会インタラクション 2022 論文集 インタラクティブ発表
2D-01, pp. 254–258, 2022.
[8] 杉野碧, 塚田浩二, 椎尾一郎. 家事を楽しくする「歌うキッチン」 の提案. 第 69 回全国大会講演
論文集, 2007(1):283–284, 2007.
[9] 塚田義典, 細越一希. 距離画像センサと小型プロジェクタを用いたスマートキッチンの実現に関する研究. 日本知能情報ファジィ学会 ファジィ システム シンポジウム 講演論文集第 34 回ファジィシステムシンポジウム, pp. 286–287. 日本知能情報ファジィ学会, 2018.
[10] 武田嵩太朗, 鈴木優, 島村祐介, 朴春子, 大和田創,三末和男, 田中二郎. キッチンにおける調理者の状況に適したインタフェースキッチンにおける調理者の状況に適したインタフェース―まな板への情報提示とそのタッチ操作手法の開発――まな板への情報提示とそのタッチ操作手法の開発―. 2010.

族の趣味嗜好やライフステージに合わせて家を部分的にスマート化することで，その場所にソフトウェアの柔軟性を実環境へ持ち込むことで，環境の機能を動的に変化させる狙いもある．そのような考えから，図に示すような形で住宅の各所にアプリやコンテンツをインストールする，スマートフォンと同等のことが行える家が，スマートハウスの未来の一つと考えている．