情報理工学特別研究報告書

題目
人工大理石透過型 LED タッチディスプレイの高画素化・大画面化のための改良設計

学生証番号 853149
氏名 浦 千尋

提出日 令和 4 年 1 月 28 日
指導教員 蚊野 浩

京都産業大学
情報理工学部

要約
人工大理石表面での 64×32 画素のフルカラー表示と物体機能を持つ LED タッチディ
スプレイシステムを開発した．このシステムは樹脂製の人工大理石が光を透過する性質を利用し，背面に LED マトリクスディスプレイを配置することで，人工大理石表面に図形などを描画することができる．また LED マトリクス同様に，赤外線 LED とフォトトラ
ンジスタのマトリックスを背面に配置することで，大理石表面の物体検出を行う機能を付加した．このような描画機能と物体検出機能を活用することで，人工大理石が利用されやすいキッチンカウンターや洗面台において埋め込み型のタッチパネルディスプレ
イとして活用することができる．
今回の開発は，前年までに行われた先行研究の改良である．主な改良点は，従来の試作品の表示・センシング部の画素数が 16×16 画素、面積が 50×50mm であったものを，32×64 画素，130×260mm に高画素化・大面積化したことである．これを実現するために，表示用の LED マトリックスは市販品を用い，その上に重ねて使用するタッチセンシ
ング用のプリント基板を開発した．プリント基板には，32×64 個のドリル穴（直径 1.5mm）
を開けることで，LED マトリックスの LED 光が通過するようにした．基板上に赤外 LEDとフォトトランジスタを 16mm ピッチで規則的に配置することで，手や指の形状を認識できるタッチ機能を実装する．赤外 LED などを含むほとんど全ての部品に，表面実装部品を用いることで，表面だけに部品を実装し，裏面は LED マトリックスパネルと密着できるようにした．それにより，表示画像の高画素化に加え，カラー化を達成することができた．また，人工大理石表面のセンシングを 21Hz 程度で行えることを確認した．赤外線を含む外光への対策を行うことにより，日差しが強い環境でもセンシングが行えるようになった．

ii

目次
1章

序論

・・・1

2章

従来研究と本研究の基礎となる技術

・・・2

2.1

住環境の視覚ディスプレイ化

・・・2

2.2

赤外線を用いたインターフェイス

・・・3

2.3

人工大理石の特性

・・・4

2.4

プリント基板と表面実装部品

・・・5

システムの概要とデバイスの試作

・・・6

3章
3.1

赤外線タッチパネルシステムの概要

・・・6

3.2

太陽光など赤外線を含む外光への対策

・・・8

3.3

ハードウェア構成

・・・8

3.4

センシング基板の回路設計と実装

・・・9

3.5

センシング基板の制御

・・・10

3.6

センサ値の後処理

・・・12

4章

センシング基板の動作確認と性能評価

・・・14

4.1

動作確認

・・・14

4.2

応答速度

・・・17

4.3

大理石表面に上からタッチした際の信号変化

・・・18

4.4

スキャン速度の計測

・・・19

4.5

タッチ位置補間の検証

・・・19

4.6

外光の影響を除去する方法

・・・20

5章

結論

・・・22

参考文献

・・・23

謝辞

・・・24

付録 1〜4・・・25

iii

1 章 序論
情報を提供する手段としての視覚ディスプレイにはさまざまなタイプのものがある．
街中の公共施設や商業施設など多くの人が行き交う場所では，大画面ディスプレイを使ったデジタルサイネージが活用されている．個人向けでは携帯電話のほか，スマートウ
ォッチなどのウェアラブル端末が存在する．
住環境においては，視覚ディスプレイを含めた IoT（Internet of Things）製品が家電のみならず，日用品などの形で登場しており，画像認識技術や音声対話技術と共にイ
ンタラクティブなシステムとして発展している．その中で，キッチンや洗面台など既存の住宅設備をスマート化する試みがある．
多田らの研究[1]（本研究の先行研究）では，キッチンや洗面化粧台で用いる人工大理石製天板の裏側に LED マトリクスとフォトディテクタを配置することで，天板表面
をタッチディスプレイ化する機能を実現し，その基本動作を確認した．このディスプレ
イは，人工大理石が光を透過する特性を利用するもので，天板内部で光が拡散することから滲んだ表示となる．そして，LED マトリクス素子の間に，赤外線 LED とフォトダ
イオードをまばらに配置し，天板表面をタッチもしくは物体を置いた際の赤外反射光を検出することで，タッチ位置や物体の範囲などを計測する機能を持たせている．ただし
多田らの試作機は砲弾型の個別 LED を用いたため，ディスプレイの LED 素子数が少なく，面積が小さなものであった．この試作品は，表示とセンシングのための画素数が16×16 画素，面積が 50×50mm 程度であった．
本研究は，この LED タッチディスプレイの画素数と面積を大きくし，また，センサ
素子やその他の IC に表面実装部品を用いたプリント基板を開発することで，より実用的なディスプレイ装置として実現することを目指している．今回は LED マトリクスと
赤外線センシングの回路を分離し，センシング機能についてのみ回路を多層基板として設計し，表面実装を行う形でハードウェア改良を行った．本稿はそのセンシング基板のプリント基板化と表面実装について述べ，試作した基板の動作および性能について述べ
る．

1

2章

従来研究と本研究の基礎となる技術

2.1

住環境の視覚ディスプレイ化

キッチンを含め，既にある住宅設備を視覚ディスプレイ化する場合，プロジェクタを用いて画像を投影することが多い．例えば，Leonardo ら[2]，Oliver ら[3]，Suzuki ら[4]，塚田ら[5]の研究では，キッチンの調理支援を行うシステムとして，キッチンのワークトップや壁，調理の具材などにプロジェクタによる投影を行っている．これらプロジェクタによる投影は，像が明るく鮮明であるという利点があり，平面でない場所や複雑な表面形状への投影が可能である（図１）．実際に，前述のキッチンの調理支援の例
では，この特徴を活かして調理する魚や野菜などの具材への投影を行っている．しかし，投影位置を厳密に合わせる必要があり，事前にキャリブレーションが必要となる．その簡略化については，Robert らによる WorldKit[6]や Brett らによる RoomAlive[7]で，深度カメラとプロジェクタを組み合わせる方法が提案されており，深度カメラを用いてタッチセンシングなども可能となっている．ただ，キッチンにおけるプロジェクタの設
置場所は，コンロ近くだと油汚れなどの観点から注意が必要となる．
本研究のデバイスは，キッチンの天板裏側を LED マトリクスで照射することで，天板そのものを視覚ディスプレイ化すると共に，赤外光でのタッチ・物体検出を行うものであり，キッチンの上部空間に機器を設置するものではない．キッチンに内蔵することで，キッチン天板表面の掃除などには支障がないうえ，IH コンロや浄水器のために元々電源ラインが引かれていることが多く，機器設置や配線の点でも比較的有用な手段と言える．

図１ TubTouch によるユーザインタフェース構成例

2

またディスプレイを既存の設備に埋め込むことにより情報ディスプレイ化を行う試
みもあり，muiLab 社の mui[8]や凸版印刷社のインフォウォール[9]では，それぞれ LED
マトリクスディスプレイと液晶ディスプレイの表面に，ある程度光を透過する木目の装飾を行うことにより，周囲の環境との調和を図っている（図２）．

図２ mui[8] ，LED マトリックスの表面に木目の装飾を施したもの

2.2

赤外線を用いたインターフェイス

赤外線を用いたタッチパネルデバイスは複数の方式で実用化されている．主なものに，
赤 外 線 カ メ ラ 方 式 ， 赤 外 線 遮 断 方 式 ， PSD(Planar Scatter Detection) 方 式 ，
PIT(Projected Infrared Technology)方式がある[10]．いずれも液晶ディスプレイなどの表面にタッチ検出のデバイスを構成するものであり，２点以上のタッチ操作が可能となっている．また Matsushita らによる HoloWall[11]と，Han による FTIR (Frustrated
Total Internal Refrection) 方式[12]は，ガラスやアクリル面のそれぞれ裏側と横側から赤外線を入光させ，タッチ部分の反射光を IR カメラと画像処理によって解析するシステムである．どちらの方式もタッチパネルの大型化が可能であるが，ガラス背面にIR カメラを設置する空間が必要であり，本研究での設置を想定しているキッチンの天板裏などではそれら方式は利用できない．

3

2.3

人工大理石の特性

人工大理石は，一般家庭において洗面台やキッチンのカウンタートップとして利用されている素材である（図３）．また浴槽に使用される場合もある．主成分は樹脂であり，様々な色のものが作成できるほか，成型時に微小な粒などを混ぜることにより様々な風合いや見た目のものを作ることができる．特徴として天然大理石と同様の重厚感・透明性と，良好な対候性や耐薬品性が挙げられる．材料開発の進展によって，強度・硬度・耐熱性・耐水性・対汚染性・成型性・加工性など様々な機能が付加されており，前述の建材などの用途だけでなく，産業空間や，コンピュータ機器など新規用途にも需要が広がっている[13].
タッチディスプレイの表面に人工大理石を用いることにより，以上のような特性を付加することができ，耐久性が必要な場面において使用することができる．

図 3 人工大理石が使用されているキッチンと洗面台

4

2.4

プリント基板と表面実装

表面実装とはプリント基板に電子部品を実装する手法であり，プリント基板表面に表面実装部品と呼ばれる電子部品を直接はんだ付けする．表面実装部品のほかにスルーホール部品と呼ばれる金属リード線をもったものがあるが，これはリード線を基板のスルーホールに通して実装する必要がある．図４に表面実装部品とスルーホール部品の例を示す．表面実装部品はリード線を持たないため小型である。また，製品を量産する場合に，機械的に高速に実装することのできる．近年の電子部品の実装は，製品を小型化する必要から，実装面積と部品の大きさを抑えることのできる表面実装が主流となっている[14]．
プリント基板とは図５に示すようなもので，設計された回路に基づいて部品間を接続するための配線パターンを基板の表面または内部にプリントしたものである．人間が手作業で行う配線の接続に比べ，信頼性や生産性の面でメリットがある．

図 4 表面実装部品（左）とスルーホール部品（右）図 5 プリント基板に実装された表面実装部品

53章

システムの概要とデバイスの試作

3.1

赤外線タッチパネルシステムの概要

LED マトリクスディスプレイを人工大理石背面に配置し，樹脂製の人工大理石が光を透過する性質を利用したディスプレイシステムを構築する．
先行研究では，一枚の基板に，表示のための LED と光センシング部品を 16×16 のマトリックス状に実装していた．本研究では，より実用的な物に近づけるために，32×64 の LED タッチディスプレイシステムに高画素化・大面積化する．そのための LED
ディスプレイ部とタッチセンサー部を一枚の基板に実装すると，部品点数と配線が増加
し回路設計が複雑になるため，LED マトリクスディスプレイについては既製品を使用した．そして，新規に開発するプリント基板にはセンシングに必要な回路だけを設計し，表面実装用の IC およびチップパーツを片面のみに実装する形とした．これにより，本開発の LED タッチディスプレイは，LED マトリクスディスプレイとセンシング基板が分離した形となる．そして，図 6 のように，センシング基板を LED マトリクスディス
プレイの上に重ねて配置し，さらにその上に人工大理石を配置する．
センシング基板の適切な位置に規則的なドリル穴を空けておき，LED 光がセンシン
グ基板を通過して人工大理石に入光するようにした（図 7 参照）．実際に LED マトリ
クスディスプレイの LED を表示させた様子を図 8 に示す．

図 6 LED マトリクス，センシング基板，人工大理石を重ねた様子

6

図 7 タッチパネルシステムの構成

図 8 センシング基板と人工大理石を重ねて基板背面の LED マトリクスを発光させた様子

センシング基板上に構成するタッチインターフェイスは，図 9 のような仕組みで動作する．赤外線 LED の光が人工大理石を透過し，大理石表側にある指などの物体で反射し，再度大理石を通過してフォトディテクタに入力される．この反射光の強弱によって物体の検出を行う．

図 9 赤外線タッチパネル動作のイメージ

7

3.2

太陽光など赤外線を含む外光への対策

本手法では，物体の検出に赤外線を使用しているため，太陽光など赤外線領域の波長を含む光が装置へ入光すると，赤外線 LED から発射した光との判別ができず，物体が存在す
るかのように検出されてしまう可能性がある（図 10 参照）．また，太陽光の場合，明るさが時刻によって変化したり，障害物によって遮られたりするため，キャリブレーションを行うことも難しい．そこで，物体検出を行うフォトディテクタの値の測定は，赤外線 LED
発光の有無で 2 回行うことで，外光の影響をキャンセルする方法を考えた．LED を発光させている状態の値から，LED を発光させていない状態の値を差し引くことで，赤外線 LEDの反射光のみを抽出できることができる．
また表示用の LED マトリクスディスプレイについても赤外線領域の波長が含まれる可能性があるが，上記の方法で同様に対処することができる．

図 10 太陽からの赤外線が基板に入光する様子

3.3

ハードウェア構成

試作したハードウェアでは，表示用 LED マトリクスディスプレイとして 4mm ピッチで画素数 32×64，フルカラー表示の既製品を使用した．ディスプレイの画素密度（4mm ピッチ）は，センシング基板に配置する赤外線 LED や受光素子のサイズを考慮して決めた．
基板に開けたドリル穴の径は 1.5mm で，マトリクスディスプレイに合わせて 4mm ピッチで配置した．センシング基板は，ドリル穴がマトリクスディスプレイの発光部分（LED）の直上になるように位置調整し，マトリクスディスプレイの上に密着させて重ねて配置す
る．センシング基板には，図 11 のように赤外線 LED とフォトディテクタを交互に 12mm

8

ピッチで並べる．この配置は，多田らの先行研究[1]を踏襲したものであり，LED マトリク
ス素子の 3 つおきの位置に，赤外線 LED またはフォトディテクタが重なって配置される形となる．今回の開発において，今回使用した赤外線 LED とフォトディテクタのサイズの都合から，LED マトリクスディスプレイは 4mm ピッチのものを選択した．これにより，センシング基板上に表面実装した素子の位置の LED マトリクスの素子の光は一部遮断される．
だが，人工大理石の光学特性のため拡散して滲んだ表示となることから，部分的に発光していない LED があっても表示機能は保持できる（図 8 参照）．センシング基板上の赤外線
LED とフォトディテクタは，以上のような配置を行うことで今回の基板上ではそれぞれ
121 個ずつ実装した．

図 11 センシング基板上の各素子の配置

3.4

センシング基板の回路設計と実装

赤外線 LED とフォトディテクタを実装するセンシング基板は、プリント基板として新たに設計した．素子を高密度に実装するため，実装部品は外部接続用のピンヘッダを除き，表面実装部品を使用した（図 12 参照）．基板は外層に信号配線，内層に電源とグランドのプレーンを配置した 4 層基板とした．赤外線 LED とフォトディテクタは，図11 のように配置されており，それらの基板内での接続の概要を図 13 に示す．赤外線
LED 制御用の LED ドライバは 16 チャンネル出力シンクドライブのものを 8 つ使用し，これにより赤外線 LED を定電流駆動した．センシングのための 121 個のフォトディテ
クタについては，16ch アナログマルチプレクサを 8 個用いて，チャンネルを切り替えながら各位置の値を選択的にセンシングする．そして，マルチプレクサで選択したフォ
トディテクタのアナログ出力を，分解能 16bit，100kHz サンプリングの AD コンバー
タでデジタル値に変換し，制御用マイコンに伝送する．

9

図 12 表面実装された AD コンバータ（中央）とマルチプレクサ（右下）

図 13 センシング基板内の接続の概要

3.5

センシング基板の制御

センシング基板の制御には，デバッグの容易さと動作速度から Raspberry Pi を使用
した． Raspberry Pi の GPIO 端子を，センシング基板の LED ドライバ・AD コンバ
ータ・マルチプレクサ・デコーダに接続し，制御する．
赤外線 LED の制御は LED ドライバで行い，フォトディテクタの出力の取得には ADコンバータ・マルチプレクサ・デコーダをそれぞれ制御する．
先行研究での試作基板では，すべての赤外線 LED を発光させていたため，センサ直上にある物体以外に反射した光も受光してしまっていた．今回の試作では，値を取得す
るフォトディテクタの周囲に配置された赤外線 LED のみを発光させるように制御した．
その発光パターンを図 14 に示す．発光する LED は対象のフォトディテクタの上下左右に 配置された 4 個である．

10

図 14 赤外線 LED の発光パターン
フォトディテクタの値を 1 フレーム分（121 画素）取得するまでの制御の手順を図15 に示す．まず，デコーダを用いてフォトディテクタが接続されているマルチプレク
サを選択（マルチプレクサの Enable 端子を Low）し，同様にマルチプレクサでフォト
ディテクタが接続されているチャンネルを選択する．ここまでの手順で AD コンバータの入力端子にフォトディテクタの出力が接続された状態となる．次に，LED ドライバに前述の発光パターンを送出し赤外線 LED を発光させ，AD コンバータから値を読み取る．続けて，赤外線 LED を消灯させ，再度 AD コンバータから値を読み取る．２回の読み取りで得た値の差分をセンサの値としてバッファへ格納する．これは 3.2 で示した外光への対策を実装したものである．

図 15 センシング基板の制御手順

11

3.6

センサ値の後処理

センサ値の後処理は，処理速度の関係で制御用の Raspberry Pi2 とは別に Windows
PC で行った．ソフトウェアは Python で記述した．後処理では，センサ値のキャリブ
レーションとデータの整形，値の補正と可視化を行う．
キャリブレーションは，センサごとの個体差を吸収する目的と人工大理石を基板の上に置いた状態でのセンサ値のレンジを調整する目的で行う．そのために人工大理石を基板上に設置し，反射光が最小と最大となる状態を計測し，センサ毎のレンジを設定する．
本研究では，始めに人工大理石を基板の上に設置した状態（反射光が最小）で計測し，その後，上に白い紙を乗せて（反射光が最大）再度計測する．前者で得た値を０，後者で得た値を１として正規化し，その後の処理に用いる．
本手法のタッチパネルシステムは，物体の検出に反射光を用いているため，小さい物
体からは弱い反射，大きい物体からは強い反射が得られる．そのままで 2 値化などの処理を行った場合，小さい物体が検出しづらくなってしまう．例えば，指先で人工大理石をタッチした場合と，手のひらで触れた場合では，後者のほうが大きい値となってしま
い，指先でのタッチを取り逃してしまう可能性がある．そこで，小さい値を強調するようにセンサ値に補正をかけた．補正に使用する関数として以下の式であらわされるガンマ曲線を採用した．16bitAD コンバータを使用しているため，レンジは 0～65535 であり，γ値は１未満に設定する．
!

𝑥"𝑓(𝑥) = 65535 × *+65535

この信号値の変換は，映像信号や画像信号に用いられるものであるが，小さい値の強調が可能であるとともに，大きい値の階調が失われない点でセンサ値の補正に適していると考えた．
3.3 で説明したように，センサは赤外線 LED と交互に平面上に配置されており，得られるデータは，121 個の値である．センサ値の可視化を行うために 121 個のデータを
基板上の配置と同様に 420×270 画素の画像上に配置する．そして，2 次元正規分布のグラデーション画像にセンサ値を掛け合わせたものを，画像上に加算していくことで 2次元画像を表現した（図 16 参照）．

12

図 16 センサ値を可視化した画像の例（パターンに意味はない）

これにより，センサのない部分（赤外線 LED が配置されている箇所や，センサの間）がグラデーション画像によって補間され，画像を 2 値化処理などで扱うことが容易にな
った．

13

4章

センシング基板の動作確認と性能評価

4.1

動作確認

実装したセンシング基板の動作確認を行うため，図 17 のように基板の上に左手を直接かざした状態と，基板の上に人工大理石を置き，その上から左手を置いた状態それぞれのセンサの値を確認した．それらの状態について各センサの値を画像として表したものを図 18，19 に示す．図 18，19 はセンサ値のキャリブレーションとガンマ変換を行った数値を画像化したものであり，前節で説明したグラデーションをかけたものではない．

図 17 基板の上に手をかざした様子

図 18 基板の上に手をかざした際のセンサの値

図 19 基板の上に人工大理石を置いて手をかざした際のセンサの値

14これらから，手による赤外反射光が強い場所が明るく表示されていることがわかる．
図 19 において，人工大理石を上に置いた状態では大理石からの反射の影響で，センサの値が全体に大きくなるため，輝度のレンジを調整した画像となっている．図 18，19のいずれにおいても手をかざした位置と対応した位置でセンサの出力が大きくなっていることがわかる．また大理石を上に置いた状態であっても小指と親指が確認でき，正しくセンサの値が取得できていることがわかる．
加えて，3.7 で示した可視化のための後処理を行った画像を図 20，図 21，22 に示す．
それぞれ重ねる 2 次元正規分布のグラデーションのパラメータを変えて生成したものである．グラデーションを生成する関数を下に示す．
1 𝑥 # 1 𝑦 #𝑧 = 𝑒𝑥𝑝 /− * + − * + 5
2 𝑤
2 𝑤
ｚは輝度，ｗは分散 2（標準偏差）である．今回，ｗの数値を 10，12，14 に設定した．

図 20 後処理を行ったセンサ値画像 w=10

図 21 後処理を行ったセンサ値画像 w=1215

図 22 後処理を行ったセンサ値画像 w=14

それぞれセンサのない部分（赤外線 LED が配置されている箇所や，赤外線 LED とフォ
トディテクタの間）が正規分布の重ね合わせによって補間され，手の形が判別し易い画像になっている．しかし w の値が小さければ，センサのない場所が目立つ結果となり，w の値が大きければ細かいディティールが失われる結果となった．

16

4.2

応答速度

センシング基板の性能評価の一つとして，フォトディテクタの周囲に配置した赤外線
LED を点灯させ，フォトディテクタの出力（AD コンバータへの入力）をオシロスコープ
で記録した．また，LED ドライバを駆動してから，フォトディテクタの出力を AD 変換
し Raspberry Pi で読み取るまでの時間を記録した．ここではセンシング基板の中心付近にあるフォトディテクタを対象に計測を行った． 赤外線 LED の点灯は，Raspberry Pi
から LED ドライバの Enable 端子を操作することで行う．

図 23 フォトディテクタに赤外線を入力した時の出力の時間変化

Raspberry Pi からの出力信号，フォトディテクタの出力，AD コンバータの出力をグラフ化したものを図 23 に示す．
Raspberry Pi が LED を点灯させる信号を送出してから，
フォトディテクタの出力が安定するまで約 50µ 秒要することが分かった．また，ADC がフォトディテクタの出力をサンプリングしてから Raspberry Pi に取り込まれるまでの時間を加えると，約 3m 秒要することが分かった．

17

4.3

大理石表面に上からタッチした際の信号変化

大理石の上からフォトディテクタの直上をタッチし，フォトディテクタの出力の時間変化を計測した．タッチパネルの中心付近にあるフォトディテクタを対象に計測を行った．タッチ動作を模擬するために，サーボモータで駆動する治具（図 24 参照）を使用
し，Raspberry Pi から制御した．計測についても Raspberry Pi で行う．治具は計測開始から動作し，0.4 秒間大理石表面をタッチする．そのあと再び初期位置に戻る．計測
開始時からの時間とセンサの値をプロットしたものを図 25 に示す．

図 24 機械的に大理石表面をタッチするための治具

図 25 大理石表面をタッチした際の時間変化

図から，物体が近づいて大理石表面をタッチする際のセンサ値の変化と，タッチした
後に，物体が離れる際の変化はほとんど同様のものであることがわかった．

18

4.4

スキャン速度の計測

Raspberry Pi で，フォトディテクタ 121 個の値を取得するまでにかかる時間を測定した．すべての値を取得するごとに，１つの GPIO ピンの値を HIGH と LOW を交互に切り替え，オシロスコープで計測した．制御ソフトウェアは，Linux 上で動作しているため，完全に安定した値は得られないが，概ね 21.6Hz であることが分かった．また，LED の制御において，LED ドライバの ENABLE 端子を切り替えてから実際に LED が発光し始めるまで 50µ 秒程度の遅延があった．これは，LED ドライバの仕様を考慮しても大きいものであり，基板の設計または赤外線 LED の選定が原因であると考えられる．そのため，制御ソフトウェア上で LED の発光を指示してから，AD コンバータから値を読み取るまで 50µ 秒遅延させている．適切な LED ドライバを使用することで，遅延を解決することができれば 30Hz 以上のスキャン速度に改善できる見込みである．
また，
ESP32 や Arduinoなどのマイコンをセンシング基板の制御に用いることでより高い速度でのスキャンが可能であると考えられる．

4.5

タッチ位置補間の検証

図 26 二つのセンサ出力の時間変化を計測

フォトディテクタの直上ではない箇所において，人工大理石上でのタッチ位置を推定できることを確認するため，図 26 のように二つのセンサの間で指を動かし，双方のセンサ出力の時間変化を計測した．指を動かす速度は一往復で約 2 秒である．その結果を
図 27 に示す．なお，使用した二つのセンサの出力信号レベルが異なったため，上限と下限が合うよう各センサで縦軸のレンジを調整している．また，図 26 に示した A・B・
C の区間と図 27 の A・B・C の区間は対応している．

19

図 27 二つのセンサの間で指を動かした時の出力の時間変化（左側縦軸はセンサ 1，右側縦軸はセンサ 2）

この図から，区間 B は２つのフォトディテクタの間であるが，指が中間位置にあるときそれぞれのフォトディテクタから出力を得られていることが確認できた．これにより，物体がフォトディテクタの直上になくとも複数のフォトディテクタの値からタッチ位置を推定できると考えられる．

4.6

外光の影響を除去する方法

図 28 のように，
タッチパネルシステムの上に常時発光している赤外線 LED を配置し，3.2 で示した外光への対策を行った制御と，対策を行っていない制御を比較した．セン
サ値は可視化された画像から確認する．また，キャリブレーション操作は赤外線 LED を配置しない状態で行い，センサのキャリブレーション値は双方とも同じものを使用する．
結果を図 29，30 に示す．

図 28 タッチパネルシステムの上に赤外線 LED を配置した様子

20

図 29 外光への対策を行っていない場合の可視化画像

図 30 外光への対策を行った場合の可視化画像

図 29 は赤外線 LED の光が照射されている箇所でセンサの値が高くなっているが，図30 ではほとんどセンサ値が変化していない．これにより，3.2 で示した外光に対する対策が，有効に機能していることが分かった．

21

5章

結論

本研究では，人工大理石透過型 LED タッチディスプレイについて，そのハードウェア
をより実用的なものへ近づけるため，システムの高画素化と大型化について取り組んだ．
今回の試作では，LED マトリクスディスプレイと赤外線センシングの回路を切り離し，
後者について，多層プリント基板化およびチップパーツによる表面実装を行った．セン
シング基板には LED マトリクスの素子の光を透過させる穴を開け，基板背面に既存製品の LED マトリクスを配置する形とすることでフルカラー化を行った．そして，試作した
センシング基板の評価として，基板上面に人工大理石の板を置き，その表面上の物体やタッチの検出が行えることを確認した．
今後，センシング基板について人工大理石上に置かれた物体の領域検出の精度確認，2 次元でのタッチ位置推定処理の実装と確認，C++などによる処理の高速化など，センシング性能や機能に関する評価や改良を行っていく．そして，LED マトリクスディスプ
レイとセンシング基板とを合わせたシステム全体での動作確認や評価を行う予定である．さらには，LED マトリクスの機能も合わせた多層基板として設計，実装を重ね，より薄型なデバイスとして実際のキッチンワークトップなどの背面に設置できる形にしてゆき，実利用を想定した評価も行っていきたい．さらに，並行して進めているアプリ
ケーション開発用ライブラリ[15]への対応も進め，より具体的なアプリケーションの表
示・操作や，実践的な適用についても進めていく．

22

参考文献
[1] Tada, T., and Hirai, S., Transmissive LED Touch Display for Engineered
Marble., ACM UIST 2020 (Adjunct Volume), pp.145-147 (2020)[2] Bonanni, L., C.-H. Lee, and T. Selker, Attention-based design of augmented
reality interfaces. In CHI'05 extended abstracts, pp. 1228--1231 (2005)[3] Olivier, P., Xu, G., Monk, A. and Hoey, J., Ambient kitchen: designing situatedservices using a high fidelity prototyping environment, Proc. of the 2nd
International Conference on PErvasive Technologies Related to Assistive
environments, pp.1-7 (2009)[4] Suzuki, Y., Morioka, S. and Ueda, H., Cooking support with information
projection onto ingredient, In Proc. of the 10th asia pacific conference on
Computer human interaction, pp. 193--198, (2012)[5] 塚田義典, 細越一希, 距離画像センサと小型プロジェクタを用いたスマートキッチ
ンの実現に関する研究, 日本知能情報ファジィ学会 ファジィシステムシンポジウ
ム 講演論文集 第 34 回ファジィシステムシンポジウム. 日本知能情報ファジィ学会, 2018.
[6] Xiao, R., Harrison, C., and Hudson, S. E., WorldKit: Rapid and Easy Creation of
Ad-hoc Interactive Applications on Everyday Surfaces, Proc. of the 31st Annual
SIGCHI Conference on Human Factors in Computing Systems, pp. 879-888(2013)[7] Jones, B., et al., RoomAlive: magical experiences enabled by scalable, adaptive
projector-camera units, Proc. of User interface software and technology, pp.
637--644 (2014)[8] mui Lab https://mui.jp（最終アクセス日 2022 年 1 月 24 日）[9] 凸 版 印 刷 、「 イ ン フ ォ ウ ォ ー ル ® 」 新 モ デ ル の 販 売 を 開 始
https://www.toppan.co.jp/news/2020/12/newsrelease201201_1.html（最終アクセス日 2022 年 1 月 24 日）[10] 西川武士, 光学式タッチインタフェース, 映像情報メ ディア学会誌 Vol. 68, No.
12, pp. 907--914 (2014)[11] Matsushita, N. and Rekimoto, J., HoloWall: designing a finger, hand, body, andobject sensitive wall. In Proceedings of the 10th annual ACM symposium on
User interface software and technology. pp. 209--210 (1997)[12] HAN, J. Y., Low-cost multi-touch sensing through frustrated total internal

23

reflection, Proc. of the 18th annual ACM symposium on User interface softwareand technology, pp. 115-118. (2005)[13] 成田俊人，人工大理石，成形加工 2002 年 14 巻 6 号，解説 : ザ・フェイク，一般社団法人 プラスチック成形加工学会，2002 年 ，p. 345-350[14] 津久井勤，電子機器の高密度実装化と信頼性，エレクトロニクス実装学会誌，特集
検査・信頼性解析技術の動向 Vol.2 No.4，エレクトロニクス実装学会，1999 年，
p.269—274[15] 中植義斗, 平井重行, 人工大理石透過型 LED タッチディスプレイのソフトウェア
ライブラリ開発, 情報処理学会インタラクション 2022 論文集, インタラクティブ
発表 (2022)

謝辞
本論文を作成にあたり,丁寧な御指導を賜りました蚊野浩教授に感謝いたします.

24

付録 1 開発したソフトウェアlセンシング基板制御ソフトウェア
開発言語は，C++を用いて開発し，Raspberry Pi 上で動作させる．後処理用ソフ
トウェアとは，UDP を介して OSC プロトコルで通信を行う．

l

後処理用ソフトウェア
Python3.9 を用いて開発し，画像処理には OpenCV を使用する．制御ソフトウェ
アとの間は，UDP を介して OSC プロトコルで通信を行う．
C++と Python の開発には JetBrains の統合開発環境を使用した．C++は「CLion」，

Python は「PyCharm」という名称で，学生版は無償で利用できる．リモートホストを
Visual Studio などと比べて容易に設定できるため，開発やデバッグの作業は性能の良い Windows PC 上で行い，ビルドや実行は Raspberry Pi で行える．

付録 2 使用した部品のリスト(抵抗，コンデンサを除く)
項目

メーカー

型番

数量

赤外線 LED

ローム

SIM-040ST

121

フォトトランジスタ

ローム

SCM-014TBT86

121

マルチプレクサ

Texas instruments

CD74HC4067SM96

8AD コンバータ

Texas instruments

ADS8866IDGSR

1

LED ドライバ

STMicroelectronics STP16CP05MTR

8

デコーダ

Texas instruments

1

SN74LS138DR

LED ドライバはシンクドライブのものを使用した．ドライバのロジック電源とは別に，LED のための電源を用意する必要がある．

25

付録 3 基板の設計
基板の設計は Autodesk EAGLE を使用した．

１． 回路の設計
はじめに回路図エディタを用いて，回路を設計する．この時，部品を配置する必要があるが，一般的な部品（ピンヘッダや抵抗）以外は EAGLE に収録されていないため，
部品ライブラリを作成するか，外部から調達する．今回は，Component SearchEngine( https://componentsearchengine.com/ )から部品ライブラリをダウンロードして使用した．Component Search Engine は部品ライブラリ提供を行う SamacSys が運営する Web サービスで，もし収録されていない部品があれば，データシートなど添付して依頼すれば 1 から 2 営業日程で作成される．

２．パターンの設計
回路の設計が終われば，基板のパターンを設計する．今回の基板は 4 層にしたため，
1 層目と 4 層目に配線，2 層目と 3 層目に電源を配置した．部品は 1 層目のみに配置した．また，配線層においても，配線以外の部分に GND のベタパターンを配置すること
で，基板の反りを抑制できる．層間の接続は via（ビア）を使用する．配線の太さは，信号部分で 0.127mm とし，電源部分では 0.508mm とした．Eagle のデフォルト設定
では寸法の単位が mil になっているため，読み替える必要がある（設定変更は View タ
ブの Grid から）．
付録 4 で説明する基板の発注先によって，製造できる基板に制限がある（デザインルールと呼ぶ）．ルールに沿っていない基板は発注できないため，パターンの設計の段階
で，発注先を決めておきルールを確認しておく必要がある．Eagle には基板パターンの検査機能(DRC: デザインルールチェッカー)があり，これを活用すればルールに沿わない設計箇所が示される．基板製造の業者によっては，Eagle 向けのデザインルールファ
イルが提供されている．
基板上の配線は，前項で設計した回路図通りにしか配線できないようになっている．

26

付録 4 基板の発注
基板の製造は，p 板ドットコム（ https://www.p-ban.com/ ）に依頼した．費用は，基板サイズ 316.0mm×193.3mm の 4 層基板で 66,000 円（税抜）程度である．
発注した際の仕様を下に示す．
項目

内容

基板種類

リジット基板

材質

FR-4

構成層数

4層

外形寸法

316.0 mm × 193.3 mm

ビルドアップ工法

なし

特性インピーダンス

指定なし

最小パターン幅/間隔

0.127mm

最小ビア径/ランド径

φ0.3/0.6mm

レジスト印刷

両面に塗る

シルク印刷

L1 面

板厚

1.6mm

銅箔厚み

内層 35μm 外層 35μm

長孔なし

端面スルーホールなし

0.3mm 未満のパッドなし

27