修士論文
令和 5 年度

人工大理石透過型

LED タッチディスプレイの研究開発― Research and Developmentof an Engineered Marble Transmissive LED Touch Display ―京都産業大学大学院
先端情報学研究科
博士前期課程 2 年

286022
浦 千尋

要旨
人工大理石表面での，18 × 18 画素のフルカラー表示と物体検出機能を持つ LED タッ
チディスプレイシステムを開発した．このシステムは樹脂製の人工大理石が光を透過する
性質を利用し，背面に LED マトリクスディスプレイを配置することで，人工大理石表面に画像を描画することができる．また LED マトリクスの一部の画素を赤外線 LED とフォトトランジスタに置き換えることで，大理石表面の物体検出を行う機能を付加した．
このような描画機能と物体検出機能を活用することで，人工大理石が利用されやすいキッ
チンカウンターや洗面台において，埋め込み型のタッチパネルディスプレイとして活用することができる．
今回の開発は，我々の以前の研究の改良である．主な改良点は，従来の試作が表示部とセンシング部が分離していたものを，１枚のプリント基板に一体化したことである．基板
表面に RGBLED とセンサ，そして赤外線 LED を配置し，裏面に LED ドライバや ADC
等の表面実装部品を配置した．また，複数の基板をデイジーチェーン接続できるようにし，大面積のシステムを構成できるようにした．
本研究で開発したハードウェアを制御する目的で，ソフトウェア環境の整備を行った．
プロセス間の通信において Pub/Sub 型の通信を行うことで，基板数の増減など構成の変化に対応しやすいソフトウェア構成を実現した．
本研究のハードウェアについて，表示機能の性能評価を行った．ディスプレイ表示を以前の試作と同じ条件で撮影し，試作基板の輝度が向上していることを確認した．また，2種類の白色人工大理石と 1 種類の黒色人工大理石を用いて，人工大理石の模様と厚みによるディスプレイ表示への影響を確認した．その結果，白色人工大理石は，12mm の厚みであっても視認性に大きな影響はないが，黒色人工大理石では 12mm 以上で表示が目視確認できなくなり，明るい環境では 9mm で表示が見づらくなることが分かった．

検出可能な物体サイズの検証と，人工大理石の模様と厚みによるセンシングへの影響を確認した．その結果，厚さ 6mm の人工大理石において，直径 10mm の物体の検出を安定して行うことができた．また，人工大理石が 9mm までの厚みであれば，物体をセンサ間に配置した場合であっても十分な反射光が得られており，安定した物体の検出が可能である．しかし，12mm の厚みではセンサ値のレンジが小さくなっており，センサ間において物体の検出が難しくなった．黒色人工大理石では，人工大理石を透過した反射光を受光できず，
センシングが困難である．
以上の結果から，本研究での試作デバイスは 9mm 以下の白色人工大理石下において指先サイズの物体検出が可能であり，タッチディスプレイとして十分な性能であることを確
認した．

目次
第1章

序論

3

1.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.2

目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.3

論文構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

従来研究と本研究の基礎となる技術

52.1

住環境の視覚ディスプレイ化. . . . . . . . . . . . . . . . . . . . . . .

5

2.2

空間に馴染むインターフェイス . . . . . . . . . . . . . . . . . . . . . .

6

2.3

赤外線を用いたインターフェイス . . . . . . . . . . . . . . . . . . . . .

7

2.4

人工大理石の特性

82.5

プリント基板と表面実装部品. . . . . . . . . . . . . . . . . . . . . . .

8

2.6

メッセージングミドルウェア. . . . . . . . . . . . . . . . . . . . . . .

9

第2章

第3章

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

システムの構成と実装

11

3.1

概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

3.2

前試作の概要と本研究での改善点 . . . . . . . . . . . . . . . . . . . . .

12

3.3

ハードウェア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.4

3.3.1

構成

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

3.3.2

サブコントローラ . . . . . . . . . . . . . . . . . . . . . . . . .

15

3.3.3

MarbLED 基板 . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.3.4

MarbLED 基板の制御 . . . . . . . . . . . . . . . . . . . . . . .

17

3.3.5

基板間の同期 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

3.3.6

赤外線 LED の制御による高解像度化 . . . . . . . . . . . . . . .

20

3.3.7

基板の補強 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

ソフトウェア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.4.1

構成

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.4.2

ドライバ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

3.4.3

データベース . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

3.4.4

画像処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

1

第4章

センシング機能の評価

27

ディスプレイ表示. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

4.1.1

以前の試作との比較 . . . . . . . . . . . . . . . . . . . . . . . .

27

4.1.2

人工大理石の厚みと模様による違い . . . . . . . . . . . . . . . .

28

検出可能な物体サイズ . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

人工大理石の模様と厚みによる検出への影響 . . . . . . . . . . .

30

4.3

タッチ位置と物体の検出 . . . . . . . . . . . . . . . . . . . . . . . . . .

31

4.4

赤外線 LED の制御による検出位置の高解像度化 . . . . . . . . . . . . .

32

結論

34

4.1

4.2

4.2.1

第5章
業績

36

参考文献

37

付録

41

2

第1章

序論
1.1 背景近年 IoT（Internet of Things）デバイスが急速に普及しており，パソコンやスマートフォンなど，従来のインターネット接続端末に加え，家電や自動車，ビルや工場など，世界中の様々なものがインターネットに接続されるようになっている．その中で，スマート
家電や IoT 化された電子機器を含むコンシューマ分野は，今後高い成長が見込まれており [23]，技術開発や研究が活発に行われている．

IoT に関する技術は住環境にも持ち込まれており，これらはスマートホーム技術と呼ばれる．スマートホームとは住環境を対象にした環境知能化と呼ばれるものであり，センサやコンピュータからなるシステムを，ユーザに意識させないよう住環境に埋め込み，ユーザに有益な支援や情報を提供する技術である [2]．近年は，AI スピーカや AI ディス
プレイなどのデバイスの登場によって高度化が進んでおり，音声認識を活用したインタラ
クションも可能となっている．
また，スマートホームに向けたユーザーインターフェイスやインタラクション技術に関する研究において，キッチンや洗面台に着目した研究が進められている [3, 17, 10]．そこ
では，調理支援などの情報提示をプロジェクションによって行う研究が多数を占めている．一方で，生活空間に馴染んだインターフェイスを実現することを目的に，ディスプレ
イやコントローラの機能を表面から見えないように隠したインターフェイスも提案されている [9, 18, 16]．
その中で，Tada らは人工大理石が使われているキッチン天板の背面に，センサを備えた LED マトリクスディスプレイを埋め込むことによるタッチディスプレイの実装を提案した [18]．このシステムは高解像度の表示には適していないが，薄いデバイスで実現することができ既存の住宅設備に後付けできることが利点である．また，天板そのものには加工しないため，人工大理石が本来持つ強度・硬度・耐熱性・耐水性といった特徴を活かすことができる．

Tada らに続く我々の研究 [19] では，前述のタッチディスプレイのハードウェアを表面
3

実装基板として開発し，タッチ及び領域検出の機能を実現することで実用的なデバイスへ近づけた．そこで，本研究ではこれらデバイスに存在したいくつかの問題点を改善するとともに，より高輝度での表示と大面積でのセンシングを実現するために，新たな基板の設計と実装を行い，その評価を行った．

1.2 目的
本研究は, 住環境に溶け込むインターフェイスの開発を通して，住環境そのものを拡張することを目標としている．住環境の拡張とは，住環境に埋め込まれたスマートホームデ
バイスをアプリケーションプラットフォームとすることで，住宅設備の機能を動的に変更できるようにすることを指す．これによって，スマートフォンなどの端末を必要とせず，それと同等の情報と機能を住環境とのコミュニケーションから得ることが可能となり，快適な暮らしが実現できると期待している．
先行する Tada らの研究では，上記目標の一部となるインターフェイスとしてキッチンや洗面台に注目し，それらにディスプレイや操作インタフェースを持たせることを提案した．本研究は，実際に上記インターフェイスをデバイスとして試作し，その評価を通して
上記の目標が実現可能であるか検証することを目的とする．
本論文は，Tada らの研究とそれに続く我々の研究 [19] で試作したデバイスをアップデートした新たなデバイスについて詳細を示す．また，それらをインターフェイスとして動作させるためのソフトウェア環境とその動作について説明する．加えて，試作したデバイスがインターフェイスとして十分な性能を持っているか，複数の評価を通して確認する．

1.3 論文構成
本論文は，第２章で，本研究に関連する研究として，住環境の視覚ディスプレイ化や空間に馴染むディスプレイについて説明する．また，本研究で使用する技術についても説明を行う．第３章では，これまでの試作で明らかになった改善点を踏まえ，本研究で試作したデバイスのハードウェアの詳細について述べる．加えて，ソフトウェアの構成とその要素についても説明する．第４章では，上記試作デバイスの評価を行い，インターフェイス
としての性能を確認する．

4

第2章

従来研究と本研究の基礎となる技術
２章では，関連研究と，本研究で使用する技術について説明する．
まず，本研究の目的の一つである既存の住宅設備のスマート化という観点から，住環境の視覚ディスプレイ化に関する従来研究について説明する．次に，住空間におけるデバイ
スのデザインという観点で，空間に馴染むインターフェイスに関する関連研究と，製品について紹介する．最後に，本研究で作成したデバイスにおいて使用する技術について説明する．

2.1 住環境の視覚ディスプレイ化
キッチンを含め，既にある住宅設備を視覚ディスプレイ化する場合，プロジェクタを用いて画像を投影することが多い．例えば，Leonardo ら [3]，Olivier ら [15]，Suzuki ら[17] の研究では，キッチンの調理支援を行うシステムとして，キッチンのワークトップや壁，調理の具材などにプロジェクタによる投影を行っている．これらプロジェクタによる投影は，像が明るく鮮明であるという利点があり，平面でない場所や複雑な表面形状への投影が可能である（図 2.1）．実際に，前述のキッチンの調理支援の例では，この特徴を活かして調理する魚や野菜などの具材への投影を行っている．しかし，投影位置を厳密に合わせる必要があり，事前にキャリブレーションが必要である．その簡略化について，Robert らによる WorldKit[20] や Brett らによる RoomAlive[8] では，深度カメラとプロジェクタを組み合わせる方法が提案されており，深度カメラを用いてタッチセンシングなども可能となっている．ただ，キッチンにおけるプロジェクタの設置場所は，コンロ近くだと油汚れなどの観点から注意が必要となる．本研究のデバイスは，キッチンの天板裏側
を LED マトリクスで照射することで，天板そのものを視覚ディスプレイ化すると共に，
赤外光でのタッチ・物体検出を行うものであり，キッチンの上部空間に機器を設置するものではない．キッチンに内蔵することで，キッチン天板表面の掃除などに支障がないうえ，IH コンロや浄水器のために電源ラインが引かれており，機器設置や配線の点で有利である．

5

図 2.1 TubTouch によるユーザーインターフェイス構成例

2.2 空間に馴染むインターフェイス
住空間において，ユーザに情報を提示するためのディスプレイが多く利用されている．
例えば，スマートフォンやスマートディスプレイなどのデバイス，加えて電化製品などである．これらは，IoT の流れの中でインターネットに接続され，ユーザへ膨大な情報を提供するようになっている．しかし，そのようなデバイスはユビキタスコンピューティングの思想を実現する一方で，ユーザーの注意が分散してしまう可能性がある．
この問題を解決するために，大きく分けて二つのアプローチが取られており，一つはディスプレイを備えず，音声操作やスマートフォン経由の操作に限る手法である．そしてもう一方は，アンビエントディスプレイや「Calm」テクノロジーというアプローチである．例として，Kaila ら [9] は，薄い木板の裏側に LED と静電容量センサを配置し，表面から隠れたインターフェイスを実現している（図 2.2）．同様に，Olwal ら [16] は,POLED ディスプレイの輝度を向上させ，それをテキスタイルや木目パネルの裏側に配置することで，表面から隠れたディスプレイを構築している（図 2.3）
．また，Muller ら [13]は，非発光のエレクトロクロミックディスプレイを使用した透明ディスプレイによって，空間に馴染むディスプレイを提案している．これらの手法は，必要な場合にのみ現れユー
ザの注意を引くため，前述の問題を解決しているとともに，既存の素材を活かすことで空間に馴染むディスプレイを実現し，従来の「黒い」ディスプレイが持つ，空間における違和感を解消している．
上記アプローチの製品が既に発表されている．例として muiLab 社の「mui Board」[12] は，木目パネルの裏側に LED マトリクスディスプレイと静電容量式センサを配置することで，空間に溶け込むインターフェイスを実現している．また，凸版印刷の「インフォウォール」[7] も木目パネルの裏側に 49 インチ液晶ディスプレイを配置することで，景観を損なわないデジタルサイネージシステムを実現している．
このような取り組みは，住空間や公共の空間にとどまらず，自動車にも応用されている．それは，運転支援技術の発展に伴う情報量増加へ対処するためである．年々自動車の6

図 2.2 Kaila らによる LivingWood

図 2.3 Olwal らによるインターフェイス

図 2.4 Continental 社による ShyTech Display

ディスプレイシステムは肥大化しており，ドライバーの注意が分散することによる安全性への問題が指摘されている．また，自動運転技術の発展による車室内の住空間化に対応する需要も存在する．そこで，Continental 社は模様パネル下に液晶ディスプレイを配置した「ShyTech Display」[4] を発表した（図 2.4）．これは直下型バックライト方式の液晶
ディスプレイと，インセル型タッチパネルによって，高輝度なタッチディスプレイを実現している．
本研究ではこれらの取り組みを踏まえた上で，人工大理石が使用されているキッチンや洗面台に焦点を当て空間に馴染むディスプレイシステムを実現する．

2.3 赤外線を用いたインターフェイス
赤外線を用いたタッチパネルデバイスは複数の方式で実用化されている．主なものに，赤外線カメラ方式 ， 赤外線遮断方式，PSD(Planar Scatter Detection) 方式 ，PIT(Projected Infrared Technology) 方式がある [24]．いずれも液晶ディスプレイなどの表面にタッチ検出のデバイスを構成するものであり，２点以上のタッチ操作が可能となっている．また Matsushita らによる HoloWall[11] と，Han による FTIR(Frustrated7図 2.5

人工大理石が使用されているキッチンと洗面台

Total Internal Refrection) 方式 [5] は，ガラスやアクリル面のそれぞれ裏側と横側から赤外線を入光させ，タッチ部分の反射光を IR カメラと画像処理によって解析するシステム
である．どちらの方式もタッチパネルの大型化が可能であるが，ガラス背面に IR カメラを設置する空間が必要であり，本研究での設置を想定しているキッチンの天板裏などではそれら方式は利用できない．

2.4 人工大理石の特性
人工大理石は，一般家庭において洗面台やキッチンのカウンタートップとして利用されている素材である（図 2.5）．また浴槽に使用される場合もある．主成分は樹脂であり，様々な色のものが作成できるほか，成型時に微小な粒などを混ぜることにより様々な風合
いや見た目のものを作ることができる．特徴として天然大理石と同様の重厚感・透明性と，良好な対候性や耐薬品性が挙げられる．材料開発の進展によって，強度・硬度・耐熱性・耐水性・対汚染性・成型性・加工性など様々な機能が付加されており，前述の建材や内装材としての用途だけでなく，オフィス・工場といった産業空間やコンピュータ機器など新規用途にも需要が広がっている [22].
タッチディスプレイの表面に人工大理石を用いることにより，以上のような特性を付加することができ，耐久性が必要な場面において使用することができる．

2.5 プリント基板と表面実装部品
表面実装とはプリント基板に電子部品を実装する手法であり，プリント基板表面に表面実装部品と呼ばれる電子部品を直接はんだ付けする．表面実装部品のほかにスルーホール
部品と呼ばれる金属リード線をもったものがあるが，これはリード線を基板のスルーホールに通して実装する必要がある．表面実装部品はリード線を持たないため小型である。また，製品を量産する場合に，機械的に高速に実装することができる．近年の電子部品の実装は，製品を小型化する必要から，実装面積と部品の大きさを抑えることのできる表面実装が主流となっている [21]．
プリント基板とは図 2.6 に示すようなもので，設計された回路に基づいて部品間を接続

8図 2.6

プリント基板に実装された表面実装部品するための配線パターンを基板の表面または内部にプリントしたものである．人間が手作業で行う配線の接続に比べ，信頼性や生産性の面でメリットがある．

2.6 メッセージングミドルウェア
MarbLED システムはディスプレイやセンサの数を変えることができる構成になっている．それに対応してソフトウェアにも柔軟性が必要であることから，本研究で作成したソ
フトウェアは分散型のシステムを採用した．そして，それらの通信にメッセージングミド
ルウェアの一つである ZeroMQ[1] を用いている．
メッセージングミドルウェアは，分散型システムや複数のアプリケーション間でのメッセージ送受信を管理するためのミドルウェアである．メッセージングミドルウェアが持つ特徴を以下に示す．

1. 非同期通信
2. キューイング
3. メッセージングパターンのサポート
4. 拡張性と柔軟性
非同期通信は，メッセージの送信側と受信側で非同期に処理が行えるものである．これはキューによって実現されており，それぞれの動作速度の違いを吸収することが可能である．本研究のソフトウェアにおいても，ディスプレイ表示データの生成・MarbLED 基板との通信・センサデータの解析といったそれぞれの担当プログラムで動作周期が異なるため，キューイング機能が重要な役割を担っている．
また，メッセージングパターンとして，PUB-SUB（Publish - Subscribe）モデル・
キューイング・トピックなどの機能が提供されている．PUB-SUB モデルは，情報の発信者（Publisher）と情報の購読者（Subscriber）を分離するためのデザインパターンであ9

る．これを活用することで，情報の発信者は特定の購読者を知らずに情報を送信し，購読者は発信者を知らずに情報を受信することが可能になる．発信者は，データを生成し，特定のトピックに対してデータを発信し，購読者は，特定のトピックのデータを受信するといった動作である．トピックとは，任意に設定できるデータの種類やカテゴリを表す文字列である．例として，本研究のソフトウェアではトピックに MarbLED 基板の ID やデータのカテゴリ（センサデータ・ディスプレイ表示データ等）を設定し，送受信するデータ
を MarbLED 基板やデータのカテゴリによってフィルタできるようにしている．これらの機能により，メッセージングミドルウェアは拡張性と柔軟性を実現する．

10

第3章

システムの構成と実装
本章では，人工大理石透過型タッチディスプレイの動作原理を説明する．その後，ハードウェアとソフトウェアそれぞれの構成と実装を，以前のシステムからの改善点を踏まえて説明する．

3.1 概要本研究は，キッチンや洗面台の天板に使用される樹脂製の人工大理石に着目し, それらをコンピューティングプラットフォームに変えることを目的としている．それを実現する
デバイスは，既設の住宅設備に存在する隙間に取り付けることを目標にするため，狭いス
ペースに収まるものにする必要がある．そこで，LED マトリクスディスプレイのような薄型のデバイスを使用し表示機能を付加する．加えて，パネル内の RGBLED の一部を赤
外線 LED とフォトディテクタに置き換えることで，キッチンや洗面台の天板でタッチや物体の検出を実現する．
本研究のデバイスは，人工大理石の光を透過および拡散する性質を利用したものである．人工大理石に入った光はその厚みに応じて拡散するため，RGBLED の光は拡散しながら透過し，天板表面にぼやけた図形が表示される．この特性により，RGBLED の一部を可視光を発しない赤外線 LED やフォトディテクタに置き換えたとしても，その欠けた画素を隠蔽することが可能である．（図 3.1 参照）
センシング基板上に構成するタッチインターフェースは図 3.2 のような仕組みで動作する．赤外線 LED の赤外光が人工大理石を透過し，人工大理石上の指や物体で反射し再度大理石を通過してフォトディテクタに入力される．この入力の強弱によって物体の検出を行う．物体の 2 次元的な位置は，赤外線 LED とフォトディテクタを LED マトリクス内
で離散的な市松格子状に交互に配置することで検出する．さらに，その離散的なフォトディテクタの検出光量に対し，線形補間によってセンサ間の値を補間することにより，2次元でのタッチ位置や物体領域の検出を高解像度化する．

11

図 3.1

人工大理石下でディスプレイを発光させた様子

図 3.2

赤外線タッチパネル動作のイメージ

3.2 前試作の概要と本研究での改善点
多田らの先行研究では，表示のための LED と光センシング部品を 16 × 16 のマトリックス状に，一枚の基板に実装していた．本研究の前試作では，多田らの試作を実用的な物に近づけるために，32 × 64 の LED タッチディスプレイシステムに改良した．これは既製品の LED マトリクスディスプレイを使用しており，新たに設計するプリント基板は，
センシングに必要な回路だけとし，表面実装 IC とチップパーツを基板の片面だけに実装した．これにより，当該ディスプレイは LED マトリクスディスプレイとセンシング基板が分離した形となり，図 3.3 のように，センシング基板を LED マトリクスディスプレイ
の上に重ねて配置し，さらにその上に人工大理石を配置する構成になっている．センシン
グ基板には LED マトリクスディスプレイ上の LED チップに対応した位置にドリル穴を空けておき，LED 光がセンシング基板を通じて人工大理石に入光できるようにしていた．
しかしこのシステムでは以下のような問題があった．

1. センシング基板を介することによる RGBLED の輝度減衰122. ADC に入力するセンサ数が多いことによるセンシング速度の不足
１．によって人工大理石表面の表示が暗くなる．LED マトリクスディスプレイと人工大理石の間にセンシング基板を挟み込む構成のため，ディスプレイから人工大理石までの距離が遠くなることが原因である．構造上，人工大理石による減衰が大きいため，人工大理石下で発生する減衰は抑える必要がある．また，既製品の LED マトリクスディスプレ
イは，LED チップを露出させて表示することを前提としているため，その上に人工大理石をかぶせて表示すると暗くなる．
２．については，100ksps の ADC 一基に対してフォトトランジスタが 121 個接続されていたことが原因である．マルチプレクサによる信号線の切り替えやノイズフィルタなどのオーバヘッドを加えると，センシング速度は 10fps 程度であり，十分 ( 30fps 程度 ) な
速度を確保することが困難であった．これらの問題を解決するため，本研究では以下の改善を基板設計に取り入れた．

1. センシング機能とディスプレイ機能の一体化
2. 基板の小型化と，複数の基板をデイジーチェーンで接続することによる大画面化
対応
１枚のプリント基板上に，センシング用の部品とディスプレイ用のカラー LED を実装することにより，前述の輝度減衰の問題に対応した．つまり，カラー LED と人工大理石
を密着させることで，輝度の減衰を抑えるということである．また，高輝度タイプのカ
ラー LED を使用することで視認性の向上が期待できる．
基板の小型化は，ADC あたりのセンサ数を削減することでセンシング速度の向上を狙ったものである．しかし，センサピッチを維持する場合，１枚のプリント基板でセンシングできる領域が狭くなる．その問題に対しては，複数の基板をデイジーチェーンすることにより対応した．また，センシング速度の向上には，ソフトウェアを C++ で記述する
ことによっても取り組んだ．
以上の改善点を取り込んだ上で，電源由来のノイズ低減について取り組んだ．人工大理石を介したセンシングでは，微小な反射光の変化をセンシングする必要がある．しかしながらセンサ値に含まれるノイズ成分によって，誤検出が発生する場合があり，これへの対策が必要である．本研究では，アナログ部分の電源に低ノイズの電源 IC を，ADC へのリファレンス電圧供給に専用 IC を使用するなどして，ノイズ対策に取り組んだ．

3.3 ハードウェア
3.3.1 構成
基板の小型化により，広い面積のタッチディスプレイを構成するには多数の基板が必要となる．しかし，すべての基板とホストコントローラを一対一で接続することは，接続線

13図 3.3以前の試作基板の構成

図 3.4 MarbLED システムの構成と接続

図 3.5 MarbLED システムを接続した様子の増加や基板間の同期をとるという観点で問題がある．そこで，本試作では図 3.4 のようなリーダーフォロワ構成でシステムを開発した．
ここで，ホストコントローラは位置検出の処理やアプリケーションの実行を行うコン
ピュータを指す．サブコントローラは MarbLED 基板を複数束ね，それらの制御とホス
トコントローラ間の通信を行う．そして，MarbLED 基板はセンシングとディスプレイ表
示を行う．これらコンポーネントを接続した様子を図 3.5 に示す．図は，サブコントロー
ラ１台に MarbLED 基板を２台接続した様子であり，各基板をフラットケーブルで接続
している．

14

3.3.2 サブコントローラ
サブコントローラは MarbLED 基板を複数束ね，それらの制御とホストコントローラ間の通信を行うものであり，サブコントローラ 1 台につき，MarbLED 基板が 3 から 4 台デイジーチェーン接続される．ここで，サブコントローラが持つ機能は以下の通りである．

1. MarbLED 基板からセンシングデータを取得し，それをホストコントローラに送信する

2. ホストコントローラから表示データを受信し，MarbLED 基板の RGBLED を制御して表示させる
センシングデータとは，フォトディテクタの出力を A/D 変換した結果を指し，表示データは MarbLED 基板上の RGBLED の輝度情報を指す．
まず１．の動作について説明する．サブコントローラと MarbLED 基板間は I2C で接続され，センシングデータのやり取りを行う．各 MarbLED 基板には異なるＩＤをあら
かじめ割り当て，サブコントローラは各基板に対して逐次センシングデータを要求する．
そして，回収したデータをサブコントローラ内のバッファに蓄積する．サブコントローラとホストコントローラは Ethernet で接続される．サブコントローラはホストコントロー
ラが接続されると，バッファ内のデータを TCP で送信する．これら受信と送信の動作は非同期に行われるが，送信動作は秒間 30 回に設定している．
次に，２．の動作について説明する．サブコントローラはホストコントローラから表示
データを UDP で受信し，内部のバッファに保存する．そして，表示データを MarbLED
基板上の RGBLED に送出する．つまり，RGBLED は MarbLED 基板上のマイコンではなく，サブコントローラが制御を行う．（詳細は 3.3.5 に示す．）これは表示データの通信によってセンシングデータ用の帯域を圧迫することを避けるためである（I2C は半二重の通信方式であるため）．また，表示データの受信は秒間 30 回行い，RGBLED への送出は受信した時点で即時行う．
サブコントローラのマイコンには Raspberry Pi Pico（RP2040）を使用し，Ethernet
通信を実装するために SPI 接続の IC

Wiznet W5500 を組み合わせた．ホストコント

ローラとは，表示データは UDP，センシングデータは TCP で通信を行う．表示データ
通信用のポートは MarbLED 基板毎に用意し，ホストコントローラは特定 MarbLED 基板に対応したポート番号に対して表示データを送信する．そして，サブコントローラは受信した表示データをバッファに蓄積し，全 MarbLED 基板に対して一括で送出する．センシングデータは，各基板のデータをサブコントローラ内のバッファに蓄積し，単一のポートから一括でホストコントローラへ送信する．サブコントローラが行う通信の詳細
は，3.4 で詳しく説明する．

15

図 3.6

図 3.7

試作した基板基板上での素子の配置

3.3.3 MarbLED 基板
本節では，MarbLED 基板の構成について説明する．
基板は 4 層のプリント基板として設計し，基板の片面に 288 個の RGBLED と 18 個の赤外線 LED，そして 18 個のフォトトランジスタを実装した．裏面には，センサ等を駆動する IC 類や制御用のマイコンを配置した．これにより，18 x 18 ピクセルでの表示（センサ部分を除く）を実現する．4 層基板の内訳は，内層の 2 層はそれぞれ GND と電源層，表裏面は信号線の配線である．試作した基板を図 3.6 に示す．
図 3.7 のように，センサと赤外線 LED はそれぞれ 12mm ピッチで市松格子状に配置する．これらの配置は多田らの先行研究を踏襲したものである．また，RGBLED のピッチは 4mm であり，これは我々の以前の試作を踏まえた値である．
基板上の各部品の接続を図 3.8 に示す．18 個の赤外線 LED は，16ch の LED ドライ
バ IC を 2 つ使用し駆動する．同様に，18 個のフォトトランジスタは，2 つの 16ch マル
チプレクサによって切り替え，ヴォルテージフォロワ経由で ADC に入力する．そして，以上の IC 類の制御は，基板上に実装した

Raspberry Pi Pico で行う．Raspberry Pi

Pico には，前述の LED ドライバ IC とマルチプレクサの他，ADC や他基板との通信コ
16図 3.8 MarbLED 基板の構成と接続

図 3.9

赤外線 LED の発光パターン

ネクタが接続される．

RGBLED はマイコン内臓の製品を使用した．これはシリアル通信によって輝度情報を個別に設定することが可能であり，デイジーチェーンで接続することで，一本の制御線
で多数の LED を制御できる．これは基板内の配線の削減に寄与する他，ダイナミック点灯が可能であるため，表示輝度の向上が期待できる．
本試作では複数の基板を接続するため，基板上にデイジーチェーン用のコネクタを２つ実装した．このコネクタは，センシングデータの通信，RGBLED 制御用の通信，基板間の同期といった用途に使用する．

3.3.4 MarbLED 基板の制御
MarbLED 基板上のマイコンは，赤外線 LED とセンサの制御を行っている．赤外線
LED の制御は LED ドライバで行い，フォトディテクタの出力の取得には AD コンバー
タ・マルチプレクサをそれぞれ制御する．センシングは，18 個のフォトディテクタから 1
つを選択し，AD 変換を行う．これを 18 回繰り返すことで，基板 1 枚のセンシングを完了する．ここで，赤外線 LED は選択中のフォトディテクタの周囲に実装されたものだけを発光させる．（図 3.9 参照）

17図 3.10 MarbLED 基板の制御手順

18 個のフォトディテクタから値を取得するまでの手順を図 3.10 に示す．まず，値を取得するフォトディテクタが接続されているマルチプレクサを選択（マルチプレクサの

Enable 端子を Low）する．続いてマルチプレクサ内のチャンネルを選択する．ここまでの手順で AD コンバータの入力端子にフォトディテクタの出力が接続された状態となる．
次に，LED ドライバに前述の発光パターンを送出し赤外線 LED を発光させ，AD コン
バータから値を読み取る．続けて，赤外線 LED を消灯させ，再度 AD コンバータから値を読み取る．２回の読み取りで得た値の差分をセンサの値としてバッファへ格納する．
これは外光への対策を実装したものである．LED を発光させている状態の値から，LEDを発光させていない状態の値を差し引くことで，赤外線 LED の反射光のみを抽出できることができる．
本研究では，センシング速度の向上のため，基板を小型化し ADC あたりのセンサ数を減らした．その結果，前述の制御で少なくとも秒間 30 回のセンシングが可能であり，以前の試作と比べ高速化を実現できた．

3.3.5 基板間の同期
本節では，センシングタイミングの同期と，RGBLED の制御の二つについて説明する．
複数の基板で同時にセンシングを行う場合，赤外線 LED の干渉が起こる可能性がある．
つまり，隣接する基板から発射される赤外線が他基板のフォトディテクタに入射してしまうということである．本研究では，全基板の赤外線 LED の発光位置を一致させることで，この問題への対策を行った．これにより，値を取得中のフォトディテクタと隣接基板の赤
外線 LED の距離を一定に保つことが可能である．
センシングは基板の左上から右下に向かって行い，それに伴って選択中のフォトディテ

18

図 3.11

タイミングを同期した場合の赤外線 LED の発光

図 3.12基板間の接続クタの周囲４つの LED の発光位置も移動する．すべての基板で同じ箇所が発光していれば，図 3.11 のように発光 LED 間の距離は基板の幅と同じになるため，相互の干渉は十分に少なくなると考えられる．
赤外線 LED の点灯パターンは各基板で保持しており，同期させるタイミングは

1. 赤外線 LED が切り替わるタイミング (SensingClock)
2. 赤外線 LED の発光が右下から左上に戻るタイミング (VSYNC)の 2 つである．基板間の接続は図 3.12 のように行う．２本の線を各基板に接続し，その配線は 1kΩ でプルアップする．２本の線はそれぞれ HSYNC，VSYNC を行うために利用される．各基板はセンシング中,HSYNC バスを Low に設定する．センシングが終われ
ばハイインピーダンス (Hi-Z) に設定し，SensingClock ラインが HIGH レベルになるまで待機する．
（SensingClock バスはすべての基板が Hi-Z に設定された時に HIGH レベルになる．つまり，すべての基板のセンシング終了を待機するということである．）HIGH
レベルになれば次のセンシングを開始し，再びラインを Low に設定する．VSYNC バス
は上記動作を「赤外線 LED の発光が右下から左上に戻るタイミング」のみ行う．これら
動作のタイミングを図 3.13 に示す．
次に，RGBLED の制御について説明する．RGBLED はマイコン内蔵の製品を使用しており，シリアル通信によって輝度情報を個別に設定することが可能である．複数の RGBLED をデイジーチェーンすることにより一本の信号線で制御が可能であり，MarbLED 基板ではその先端と後端を外部のコネクタと接続する．基板間の信号線を図19図 3.13

信号タイミングと動作の関係

図 3.14基板間の信号線

3.14 に示す．
ここで，SensingClock と VSync は前述の同期に使用し，I2C はセンシングデータの通信に使用する．RGB Data は RGBLED の信号線であり，図中では，左から右の方向でデータが送信される．つまり，基板内でデイジーチェーンされている RGBLED の先端が左の基板に接続され，後端が右の基板に接続される．

3.3.6 赤外線 LED の制御による高解像度化
本節では，赤外線 LED を時分割制御することによるセンシングデータの高解像度化について説明する．3.3.5 で説明したように，選択したフォトディテクタの周囲 4 つの赤外線 LED を発光させることが通常の制御である．これは，4 つの赤外線 LED の赤外光による反射を一度にセンシングしているということである．ここで，4 つの LED を異なるタイミングで発光させセンシングを行うことを考える．（図 3.15 参照）つまり，一つのフォトトランジスタから４回値を取得する．これによりフォトトランジスタ直上ではなく，各LED 方向にオフセットした位置の反射光が得られる．その後，各タイミングでの値を合成することで 4 倍の解像度のセンシング画像を生成することができる．

3.3.7 基板の補強
我々の以前の試作において，実環境で使用した場合，人工大理石にかかる力によってセンシングに影響が出る場合があった．具体的には，強く指で触れた場合よりも弱く触れた
場合のほうが反射光が強くなり，強く触れた場合に位置を見失う場合があった．原因とし20

図 3.15

図 3.16

赤外線 LED の発光タイミング

固定治具を取り付けた様子

図 3.17

固定治具の構造て，指の押圧により，人工大理石とセンシング基板間の距離が変化していることが考えられる．
以前の試作は LED ディスプレイとセンシング基板そして人工大理石を重ねた構成であり，人工大理石に加わった力が，センシング基板に伝わることになる．基板フレームに使用している MDF 板は比較的柔らかい素材であり，基板本体も力が加われば変形するため，力が加わった際に人工大理石と基板の距離が近くなっている可能性がある．
対策として，人工大理石に加わった力を設置面に逃すことを検討した．図 3.17 のように人工大理石を設置面から浮かせた形で設置し，センシング基板を人工大理石からぶら下げる構成である．作成した治具を図 3.16 に示す．これにより，人工大理石に加わる力の大小に関わらず安定したセンシングが可能になった．

3.4 ソフトウェア
本章では，メインコントローラ上で動作するソフトウェアについて説明する．

3.4.1 構成
前章までで説明した通り，本研究で試作した基板は，複数接続することを前提に設計した．それに対応して，基板数の増減など構成の変化に対応しやすいように，ソフトウェア

21図 3.18

ソフトウェアの構成を設計する必要がある．また，以前のシステムでは画像処理などの実行に Python を用いており，処理速度の面で問題があった．よって，本研究ではすべてを C++ 言語で記述した．

MarbLED システムにおけるソフトウェアの構成を図 3.18 に示す．本節では，メイン
コントローラ内のドライバ・アナライザ・データベースプログラムについて説明する．ここで，ドライバはサブコントローラとの通信を担当するプログラムを指す．具体的には，サブコントローラからのセンサ値の受信やサブコントローラへ表示データの送信を行うプ
ログラムであり，サブコントローラ毎に実行される．データベースプログラムは，ドライ
バプログラムから受け取った MarbLED 基板のメタデータやレイアウトを管理するものである．メタデータとは，表示解像度やセンサ数，基板のバージョンなどで，レイアウト
は MarbLED 基板を複数配置した際の配置位置を指す．アナライザは，ドライバから受け取ったセンサ値をデータベースのレイアウトを基に画像上に表現し，タッチ位置の推定
や物体の検出等の画像処理を行うプログラムである．ランタイムは，MarbLED システム上で動作するアプリケーションを実行するための環境である．ランタイムについては，並行して行う中植らの研究 [14] に詳細がある．
これら，メインコントローラ内のプログラムは，独立したプロセスとして実行され，プロセス間の通信はメッセージングミドルウェアである ZeroMQ[1] を使用する．ZeroMQを使用して Publish/Subscribe 型の通信を行うことで，お互いのプログラムの増減や有無に関係なく，各プログラムを動作させることができる．この特徴は，基板数の増減など構成の変化に対応しやすいソフトウェアという目的に合致しており，本研究に適している．
また，ソフトウェア全体を C++ で記述したことにより，動作速度の向上を実現した．

3.3.2 で説明した通り，サブコントローラからメインコントローラへ秒間 30 回でセンサ値が送信されるが，ドライバプログラムからアナライザプログラムに至るまで，そのデータを損失することなく処理が可能である．つまり，システム全体で秒間 30 回の物体検出を実現できている．これは以前の試作において秒間 15 回程度であることと比較して 2 倍の速度向上である．

3.4.2 ドライバ
ドライバプログラムが担う機能は以下の通りである．

22

図 3.19

ドライバプログラムが行う通信

1. サブコントローラからのセンサ値受信
2. アナライザプログラムへのセンサ値送信
3. ランタイムプログラムから表示データ受信
4. サブコントローラへ表示データ送信
5. データベースプログラムに基板情報を登録
図 3.19 に，ドライバプログラムが行う通信を示す．図はサブコントローラに MarbLED
基板が 2 台接続されている場合であり，ドライバプログラムは基板の数に対応した表示
データバッファとセンサ値バッファを確保する．
機能１．は，図 3.19（b）の通信に該当する．ドライバプログラムは，サブコントローラのポートに TCP で接続し，センサ値を受信する．サブコントローラが送信するセンサ値
は各基板のデータが混在しているため，ドライバ内で基板毎のバッファに振り分ける．その後，機能２．の通り，それぞれのバッファ内容を Publish し，アナライザが Subscribeする．これは図 3.19（a）の通信である．
機能３．は，図 3.19（c）の通信に該当する．ランタイム（アプリケーションの描画内容）から Publish された表示データを各基板に対応した表示バッファに振り分ける．サブ
コントローラは，MarbLED 基板毎に表示データの受信ポートを持つため，ドライバはそ
れぞれのポートに表示データを UDP で送信する．
以上がサブコントローラとの通信に関わる機能である．加えて，機能５．に示した通り，データベースプログラムへの基板情報の登録機能がある．基板情報とは，MarbLED
基板のバージョンや，解像度，サブコントローラに接続されている基板枚数などである．
これらをサブコントローラの IP アドレスとともに登録することで，再接続した際に一意に基板を特定することができる．これはデータベースに保存されたレイアウト（基板位置）と基板本体を紐づけるために必要な機能である．また，MarbLED 基板のバージョン
等は，アナライザプログラムがセンサ値を画像処理する際に利用する．なぜならバージョン毎にセンサの配置やピッチが異なるからである．

23

3.4.3 データベース
データベースプログラムは，前節までの説明の通りドライバプログラムから受け取った

MarbLED 基板のメタデータやレイアウトを管理するものである．本研究では，データベース管理システムとして SQLite[6] を使用した．データベースプログラムが担う役割は以下の通りである．

1. MarbLED 基板へ一意な ID 割り当て
2. MarbLED 基板に紐づけられたレイアウト情報の保存
3. MarbLED 基板のメタデータの保存

まず１．の機能について説明する．ドライバプログラムから与えられた IP アドレスとサブコントローラに接続されている基板枚数から，MarbLED 基板の ID を生成する．これにより，サブコントローラの接続・切断に関わらず,MarbLED 基板を一意に特定することが可能になる．例えば，”192.168.0.100”の IP アドレスを持つサブコントローラに

MarbLED 基板が 2 基接続されていれば，その Marb 基板にはそれぞれ”1”と”2”の ID が割り当てられる（ドライバプログラムが初期状態の場合）．次に，MarbLED 基板が 1 基接続された”192.168.0.101”のサブコントローラが接続されると，その MarbLED 基板には，”3”の ID が割り当てられる．このように割り当てられた ID に基づいてドライバプロ
グラムやその他プログラムは MarbLED 基板を識別し，動作を行う．
２．の機能は，個々の基板の配置情報を保存するための機能である．機能の使用例として，複数ディスプレイにまたがった表示を行う場合，配置情報を参照し適切な基板に表示
データをマッピングする必要がある．また，センシングの際も複数基板のセンシングデー
タを統合する際に，配置情報を基にデータを合成し物体位置を推定する．３．の機能も同様に，解像度の情報を表示データの生成に利用することや，センシングデータの統合にセ
ンサ数やセンサピッチの情報が利用される．

3.4.4 画像処理
本節では，アナライザプログラム内で行う画像処理について説明する．画像処理の目的
はセンサ値を画像として表現し，物体位置を推定することである．ドライバプログラムから受け取ったセンサ値から物体位置の推定までの処理の流れを以下に示す．

1. センサ値をキャリブレーション
2. レイアウト情報に基づいてセンサ値を画像上にプロット
3. 画像をバイリニアで補間
4. 画像を二値化し，ラベリング
24図 3.20

センサ値の画像上での表現

5. Blob の重心を物体位置として使用

キャリブレーション
キャリブレーションは，センサごとの個体差を吸収する目的と人工大理石を基板の上に置いた状態でのセンサ値のレンジを調整する目的で行う．そのために人工大理石を基板上に設置し，反射光が最小と最大となる状態を計測し，センサ毎のレンジを設定する．本研
究では，始めに人工大理石を基板の上に設置した状態（反射光が最小）で計測し，その後，上に白い紙を乗せて（反射光が最大）再度計測する．前者で得た値を０，後者で得た値を１として正規化し，その後の処理に用いる．
位置の検出
センサ値のプロットは図 3.20 のように行う．図中の基板は簡単のためにセンサ数を 8にしている．基板上のセンサは図左のように千鳥格子状に配置されているが，これを 45
度回転し図右のように配置し，センサ値を輝度として画像を生成する．複数枚の基板を接続している場合は，データベースプログラムに保存されたレイアウトに基づいてセンサ値の配置を変更する．図 3.20 は，基板を 2 枚接続し横に並べて配置した様子である．
画像上にセンサ値を配置できれば，次にその画像をバイリニア法で補間する．これは，疎なセンサ配置においてセンサ間の値を補間する目的で行う．図 3.21 は 4 倍に拡大した様子である．その後，二値化処理を行った後ラベリング処理を行う．（二値化処理は判別分析法で閾値を決定する．）ラベリング処理の結果得られた Blob を物体位置として使用
し，後段のアプリケーションに位置を送信する．

25

図 3.21

センサ値を画像として表現（人工大理石上に手を置いた様子）

26

第4章

センシング機能の評価
本章では，試作したハードウェアの動作確認と性能評価を行う．

4.1 ディスプレイ表示
4.1.1 以前の試作との比較
LED マトリクスディスプレイの表示輝度について確認した．以前の試作 [19] では，
センシング基板の下側に配置した LED マトリクスの光がスルーホールを通じて人工大理石へ入光していたため，輝度が低くなっていた．今回の MarbLED 基板では高輝度

RGBLED を採用し，LED マトリクスとして人工大理石の直下で光らせることで，ディスプレイとしての表示輝度の向上を図った．結果を図 4.1 に示す．どちらのタッチパネル
ディスプレイも厚み 6mm の人工大理石下に設置し，同じ条件で撮影した．

図 4.1

人工大理石を介して表示させた様子

図 4.1（a）は RGB 各色で円を描画させ，図 4.1（b）は RGB 各色で縞模様を描画したものである．以前の表示に比べ，MarbLED の試作基板の輝度が向上していることが確認
できる．

27

4.1.2 人工大理石の厚みと模様による違い
人工大理石はアクリル樹脂製であり, 多様な模様と色を表現することができる．また，厚みも調整が可能である．そこで，人工大理石の模様と厚みによるディスプレイ表示への影響を確認した．ここでは，3 つの模様でそれぞれ 3 段階の厚みの人工大理石を用意し表示を撮影した．ディスプレイの輝度は 50% に設定した．結果を図 4.2 に示す．

図 4.2

人工大理石の模様と厚みによる表示の違い

図中の画像は，ディスプレイの上に各人工大理石を配置し同じ条件で撮影したものである．2 種類の白色人工大理石では輝度に大きな違いは見られないが，白色模様の人工大理
石では模様を表現するための不純物が大きいため，輝度が多少低くなっている．また，黒色人工大理石は白色に比べ輝度が大幅に低下していることがわかる．ここで，黒色人工大理石のみ撮影時の露出を変更して再撮影した．（図 4.3）

図 4.3

黒色人工大理石の厚みによる表示の違い

人工大理石が厚くなると暗く，ぼやけた表示になっていることがわかる．白色人工大理
石は，12mm の厚みであっても視認性に大きな影響はないが，黒色人工大理石では 12mm

28

以上で表示が目視確認できなくなり，明るい環境では 9mm で表示が見づらくなることが分かった．人工大理石の模様については，図 4.2 の通り，ディスプレイ表示に影響するが，表示ピッチと比較し十分に小さい模様であれば影響は小さい．また，模様を表現するための不純物がディスプレイ光源に対して逆光の状態であるため，ディスプレイが発光している状態では模様の色は区別できない．

4.2 検出可能な物体サイズ
MarbLED システムはキッチンなどで，タッチパネルディスプレイとして使用することを前提としている．そこで，離散的なフォトディテクタの配置で，指先位置の連続的な検出が可能であることを確認する評価実験を行った．ここでは厚み 6mm の人工大理石の下に MarbLED 基板を配置し，指先のタッチサイズを想定した円形の MDF 板を用意して人工大理石の表面に配置した（図 4.4 参照）．この MDF 板は直径 7.5mm から，25.0mmまでの範囲の 6 種類の直径のものを用いた．評価は，MDF 板をセンサ（フォトディテク
タ）の直上に配置した場合と、センサとセンサの間に配置した場合とでセンサ値を計測し，それらの位置の違いによる計測値の違いを比較する．これは物体サイズがセンサピッ
チより小さい場合に，人工大理石による光の拡散によって反射光の検出が可能であるか確認するためである．各条件でセンサ値を 100 サンプル取得し，その平均と標準偏差を図4.5 に示す.

図 4.4

円形の物体を人工大理石上に配置した様子

ここで，センサ値は大きいほど反射光が強いことを示しており，エラーバーは各物体サ
イズにおけるセンサ値の標準偏差を示している．物体サイズが大きくなるにつれて反射光が強くなっていることがわかる．また，センサ間に物体が存在する場合は直上に配置した場合に比べて反射光が弱くなっている．直上に配置した場合は，直径 7.5mm の物体であっても物体なしと比較してセンサ値の差がセンサ値のばらつきに影響されない程度確保されている．しかしながら，センサ間に配置した場合直径 7.5mm の物体は物体なしと比較して値の差が小さく，センサ値のばらつきによって検出が不安定になる．直径 10mm29

図 4.5

物体サイズと，物体位置によるセンサ値の変化

では，値の差はばらつきと比較して十分大きく，単純な閾値処理による物体の有無の区別が可能と言える．これらから，タッチしたときの接触面の直径が 10mm 程度以上であれば安定したタッチ検出が可能で，位置の変化を連続的に捉えることができる．

4.2.1 人工大理石の模様と厚みによる検出への影響
前節で，ディスプレイ表示を確認したことと同様に，人工大理石の模様と厚みによるセンシングへの影響を確認した．ここでは，3 つの模様でそれぞれ 3 段階の厚みの人工大理石を用意し，各人工大理石の上に直径 10mm の MDF 板を配置した．また，使用する

MarbLED 基板は本研究で作成したものではなく，我々の以前の研究で試作したものである．なぜなら，本研究での試作基板では，赤外線 LED の輝度が低く（後述）厚い人工大理石において十分な反射光を得られなかったためである．各条件でのセンサ値を，人工大
理石の厚み別で表に示す．表 4.1 は 6mm 厚，表 4.2 は 9mm 厚，表 4.3 は 12mm 厚を示している．センサ値は 500 サンプル取得し，その平均を示している．
白色人工大理石は，厚みが増すほど反射光が強くなっている．これは赤外線 LED から発射された赤外光が人工大理石を透過する以前で反射しているからだと考えられ，厚みが増すごとにその反射光量が増加していると予想できる．また，黒色模様に比べ白色模様の人工大理石で値が高いことがわかる．これも同様に，模様による反射が影響していると考えられる．オブジェクトの有無によるセンサ値のレンジは，人工大理石が厚くなるほど小さくなっていることがわかる．人工大理石が厚くなれば，透過する光量も低下するからで
ある．9mm までの厚みであれば，物体をセンサ間に配置した場合であっても十分な反射光が得られており，模様にかかわらず安定した物体の検出が可能であると判断できる．しかし，12mm の厚みではセンサ値のレンジが小さくなっており，センサ値のばらつき（標準偏差）が 11 程度であることを踏まえると，センサ間において物体の検出が不可能であると言える．黒色人工大理石では，すべての厚みで人工大理石を透過した反射光を受光できず，センシングが不可能である．黒色人工大理石は 9mm の厚みで値が低くなっている
が，人工大理石の模様に依るものだと考えられる．センサの直上に黒色の模様があれば，

30

センサ値が小さくなる可能性がある．

4.3 タッチ位置と物体の検出
基板上で市松に配置されたセンサの出力値を画像化し，それを画像処理することで物体の検出を行う．具体的な検出の手順を下に示す．

1. 前述の画像を線形補間で拡大し，センサ間の値を補間
2. 二値化した後，ラベリング処理を実行
3. 個々の領域の重心位置をタッチ位置として使用．
ここでは複数の条件下で上記の手順を実行し，センサと位置検出の動作を確認する．人工
大理石に配置した物体と，その検出結果を図 4.6 に示す．MarbLED 基板は 6mm 厚の人
工大理石の中央下に配置した．

図 4.6

物体検出の動作確認

各図の右は，検出結果を示した画像である．緑色はラベリング結果の輪郭を表しており，赤色はその重心位置である．(a)(b) どちらの場合も、物体に対応した領域の反射光が強くなっており、領域の重心を求めることで位置を検出できている。しかしながら (b) の場合、輪郭線が歪んでおり、指先のように小さい物体の場合、形状の検出は不安定になる.

31

4.4 赤外線 LED の制御による検出位置の高解像度化
本研究では，赤外線 LED の制御によるセンシング画像の高解像度化に取り組んだ．詳
細はハードウェアの項で説明している．本節では，その動作について結果を確認する．また，使用する MarbLED 基板は本研究で作成したものではなく，我々の以前の研究で試作したものである．なぜなら，本研究での試作基板では赤外線 LED の輝度が低く（後述），

1 つの赤外線 LED では十分な反射光を得られなかったためである．人工大理石上に白色の棒と手を置いた様子を図 4.7 と図 4.8 に示す．

図 4.7

センシング画像の高解像度化（棒を置いた様子）

図 4.8

センシング画像の高解像度化（手を置いた様子）

4 つの赤外線 LED を異なるタイミングで発光させ，それぞれで得られたセンサ値を画像上の対応する位置に配置するため，各図の（a）は，（b）に比べ 4 倍の解像度を持っている．図 4.7 は直径 8mm 程度の白色の棒を人工大理石上に置いた様子だが，（a）では細く表現され，エイリアスの影響も減少していることがわかる．また，図 4.8 のように手を置いた場合には，それぞれの指を識別可能な解像度を持っていることが見て取れる．

32

表 4.1

人工大理石 : 6mm

模様

オブジェクトの位置
なし

センサ間

直上

白色人工大理石: 黒色模様

26698

27148

28038

白色人工大理石: 白色模様

30860

31268

31825

黒色人工大理石: 黒色模様

1201

1199

1201

表 4.2

人工大理石 : 9mm

模様

オブジェクトの位置
なし

センサ間

直上

白色人工大理石: 黒色模様

31170

31387

31706

白色人工大理石: 白色模様

33983

34171

34519

黒色人工大理石: 黒色模様

981

982

982

表 4.3

人工大理石 : 12mm

模様

オブジェクトの位置
なし

センサ間

直上

白色人工大理石: 黒色模様

31960

32097

32285

白色人工大理石: 白色模様

36872

36952

37079

黒色人工大理石: 黒色模様

1202

1203

1204

33

第5章

結論
本研究では，人工大理石透過型 LED タッチディスプレイをより実用的なものへ近づけるため，LED ディスプレイとセンサ部の一体化とモジュール化について取り組んだ．またそれらを制御するためのソフトウェア環境についても整備した．そして評価において，
人工大理石下で指先サイズの物体検出を検証し，タッチディスプレイとして十分な性能であることを確認した．
今回の試作では，LED マトリクスディスプレイとセンシングのための素子を１枚の基板に実装し，以前の試作と比較してより高輝度な表示が可能になった．これをカメラ撮影
によって以前の試作との比較を行い，輝度の向上を確認した．また，人工大理石の色や模様の違いによる表示への影響を調査し，白色の人工大理石では厚みに関わらず十分な輝度で表示できることを確認した．しかし，厚みが増すごとに表示光が拡散するほか，輝度も若干低下する．また，黒色人工大理石では輝度が低く，蛍光灯環境の室内では表示が視認しづらいことが分かった．
基板のセンシング機能についても評価を行い，問題なく物体を検出できることを確認した．また，こちらも同様に人工大理石の色や模様の違いによるセンシングへの影響を調査した．その結果，白色人工大理石では 9mm までの厚みでセンシングが可能であり，それ以上の厚みでは十分な反射光が得られず，物体検出が難しくなった．また，黒色人工大理
石では厚みに関係なく検出が困難であった．人工大理石の模様による反射光への影響は確認できたが，センサのレンジに対して小さく，物体検出に影響がないことが確認できた．
これら評価に加えて，赤外線 LED の制御によるセンシング画像の高解像度化についても検証した．人工大理石上にいくつかの物体を配置し，高解像度化の制御の有無によるセンシング画像の違いを比較した．その結果，高解像度化の制御を行ったものは，エイリアスの影響が減少していることが確認でき，以前の処理に比べ高い解像度の画像を生成できることが分かった．
以上の結果を踏まえ，本研究での試作デバイスは白色の人工大理石下において指先サイ
ズの物体検出が可能であり，タッチディスプレイとして十分な性能であることを確認できた．

34

残された課題は２つあり，一つに RGBLED を点灯させた場合の発熱への対策がある．
高輝度の LED によって基板全体が発熱するため，その冷却手法について検討する必要がある．あと一つは，より多くのデバイスを接続した場合の動作の検証である．その後，本研究の目標である住環境そのものの拡張の実現に向けて，具体的なアプリケーションの検討を行うことが考えられる．

35

業績
学術業績
 中植義斗, 浦千尋, 蚊野浩, 平井重行: 人工大理石透過型 LED タッチディスプレイ
のアプリケーションプラットフォーム, WISS2022 論文集, 1-A07 (2022)

 C. Ura, H. Kano and S. Hirai, ”Development of a Transmissive LED Touch Dis-

play for Engineered Marble,” 2023 International Conference on Consumer Electronics - Taiwan (ICCE-Taiwan), PingTung, Taiwan, 2023, pp. 23-24 (2023)
 Yoshito Nakaue, Chihiro Ura, Hiroshi Kano, Shigeyuki Hirai: MarbLED: Em-

bedded and Transmissive LED Touch Display System and Its Application Platform for Surface Computing with Engineered Marble, Companion Proc. ofISS2023, pp.57-60 (2023)

その他
 Maker Meeting for Maker Fair Kyoto 2022 での展示（2022）
 Smart Sensing 2022 にて技術展示（2022）
 CEDEC 2022 でのオンラインインタラクティブ発表（2022）
 GUGEN 2022 への作品応募および展示会での作品展示 （2022）
 make.ctrl.Japan4 in ゲームマーケット 2022 秋にてデモ展示（2022）
 Maker Fair Kyoto 2023 での展示（2023）
 make.ctrl.Japan6 in BitSummit にてデモ展示（2023）
 CEDEC 2023 でのインタラクティブ発表（2023）

36

参考文献
[1] Faruk Akgul. ZeroMQ. Packt Publishing, 2013.
[2] Juan Augusto Wrede and Paul Mccullagh. Ambient intelligence: Concepts andapplications. Comput. Sci. Inf. Syst., 4:1–27, 01 2007.
[3] L. BONANNI. Counterintelligence : Augmented reality kitchen. Extended Abstracts of Computer Human Interaction (CHI) 2005, 2005.
[4] Andreas Brüninghaus, Jürgen Bäthis, Kai Hohmann, and Jochen Möller. Shy
technology in displays for automated driving, 2023.
[5] Jeﬀerson Han. Low-cost multi-touch sensing through frustrated total internal
reﬂection. 01 2007.
[6] Richard D Hipp. SQLite, 2020.
[7] TOPPAN Holdings Inc. 凸版印刷、「インフォウォール ®」新モデルの販売を開始,
2020.
[8] Brett Jones, Rajinder Sodhi, Michael Murdock, Ravish Mehra, Hrvoje Benko,
Andrew Wilson, Eyal Ofek, Blair MacIntyre, Nikunj Raghuvanshi, and Lior
Shapira. Roomalive: Magical experiences enabled by scalable, adaptive projectorcamera units. In Proceedings of the 27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, page 637–644, New York, NY, USA,2014. Association for Computing Machinery.
[9] Lasse Kaila, Henrik Raula, Miika Valtonen, and Karri Palovuori. Living wood: A
self-hiding calm user interface. In Proceeding of the 16th International Academic
MindTrek Conference, MindTrek ’12, page 267–274, New York, NY, USA, 2012.
Association for Computing Machinery.
[10] Fei Luo, Stefan Poslad, and Eliane Bodanese. Kitchen activity detection for
healthcare using a low-power radar-enabled sensor network. In ICC 2019 - 2019
IEEE International Conference on Communications (ICC), pages 1–7, 2019.
[11] Nobuyuki Matsushita and Jun Rekimoto. Holowall: Designing a ﬁnger, hand,body, and object sensitive wall. In Proceedings of the 10th Annual ACM Symposium on User Interface Software and Technology, UIST ’97, page 209–210, New37

York, NY, USA, 1997. Association for Computing Machinery.
[12] Inc. mui Lab. mui lab, 2021.
[13] Heiko Müller, Ashley Colley, Jonna Häkkilä, Walther Jensen, and Markus
Löchtefeld. Using electrochromic displays to display ambient information andnotiﬁcations. In Adjunct Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019
ACM International Symposium on Wearable Computers, UbiComp/ISWC ’19
Adjunct, page 1075–1078, New York, NY, USA, 2019. Association for Computing Machinery.
[14] Yoshito Nakaue, Chihiro Ura, Hiroshi Kano, and Shigeyuki Hirai. Marbled:
Embedded and transmissive led touch display system and its application platform
for surface computing with engineered marble. In Companion Proceedings of the2023 Conference on Interactive Surfaces and Spaces, ISS Companion ’23, page
57–60, New York, NY, USA, 2023. Association for Computing Machinery.
[15] Patrick Olivier, Xu Patrick, Guangyou Xu, Monk, Andrew, Jesse Hoey, and Jesse.
Ambient kitchen: Designing situated services using a high ﬁdelity prototyping
environment. 06 2009.
[16] Alex Olwal and Artem Dementyev. Hidden interfaces for ambient computing:
Enabling interaction in everyday materials through high-brightness visuals on
low-cost matrix displays. In Proceedings of the 2022 CHI Conference on Human
Factors in Computing Systems, CHI ’22, New York, NY, USA, 2022. Association
for Computing Machinery.
[17] Yu Suzuki, Shunsuke Morioka, and Hirotada Ueda. Cooking support with information projection onto ingredient. In Proceedings of the 10th Asia Paciﬁc
Conference on Computer Human Interaction, APCHI ’12, page 193–198, New
York, NY, USA, 2012. Association for Computing Machinery.
[18] Tomoya Tada and Shigeyuki Hirai. Transmissive led touch display for engineered
marble. In Adjunct Proceedings of the 33rd Annual ACM Symposium on User
Interface Software and Technology, UIST ’20 Adjunct, page 145–147, New York,NY, USA, 2020. Association for Computing Machinery.
[19] Chihiro Ura, Hiroshi Kano, and Shigeyuki Hirai. Development of a transmissive
led touch display for engineered marble. In 2023 International Conference on
Consumer Electronics-Taiwan (ICCE-Taiwan), pages 23–24. IEEE, 2023.
[20] Robert Xiao, Chris Harrison, and Scott E. Hudson. Worldkit: Rapid and easy
creation of ad-hoc interactive applications on everyday surfaces. In Proceedingsof the SIGCHI Conference on Human Factors in Computing Systems, CHI ’13,
page 879–888, New York, NY, USA, 2013. Association for Computing Machinery.
38[21] 津久井 勤. 電子機器の高密度実装化と信頼性. エレクトロニクス実装学会誌,
2(4):269–274, 1999.
[22] 成田 俊人. 人工大理石. 成形加工, 14(6):345–350, 2002.
[23] 総務省. 情報通信白書. Japanese Government, 2020.
[24] 西川 武士. 光学式タッチインタフェース. 映像情報メディア学会誌, 68(12):907–914,
2014.

39

謝辞
本論文を作成にあたり, 丁寧な御指導を賜りました蚊野浩教授に感謝いたします. また，本研究を進める上で協力をいただいたトクラス株式会社に感謝いたします．

40

付録
MarbLED 基板部品リスト
本研究で試作した MarbLED 基板に使用した部品のリストを表 5.1 に示す
表 5.1 MarbLED 基板部品リスト

品名

メーカ

使用数

説明

SIM-040ST

Rohm

18

センシング用赤外線 LED

SML-H10TBT86

Rohm

18

センシング用フォトディテクタ

WS2812C-2020

WorldSemi

288

RGBLED

Kyocera AVX

2

フラットケーブルコネクタ

ADS8860IDGSR

Texas Instruments

1

ADC

B4B-PH-SM4-TB

JST

1

電源供給用コネクタ

CD74HC4067SM96

Texas Instruments

2

マルチプレクサ

MCP4018T-104E/LT

Texas Instruments

2

デジタルポテンショメータ

OPA320AIDBVR

Texas Instruments

1

ヴォルテージフォロワ

Raspberry Pi

1

制御用マイコンREF6050IDGKR

Texas Instruments

1

ADC 用リファレンス電源 IC

STP16CP05MTR

STMicroElectronics

2

赤外線 LED 用 LED ドライバ

TMP112AIDRLR

Texas Instruments

4

温度補正用温度センサ

TPS7A4700RGWR

Texas Instruments2

電圧レギュレータ

TPS3836K33DBVR

Texas Instruments

1

電圧監視 IC

046288008000846+

Pico41