情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D012022/2/21

人工大理石透過型 LED タッチディスプレイのハードウェア改良 - センシング基板の設計と表面実装
浦 千尋1,a)蚊野 浩1,b)

平井 重行1,c)

概要：樹脂製の人工大理石が光を透過する性質を利用し，その背面に LED マトリクスディスプレイを配置することで，人工大理石表面に図形などを描画することのできるディスプレイシステムを構築する．またマトリクスディスプレイと同様に赤外線 LED とフォトトランジスタを背面に配置することで大理石表面の物体検出を行う機能を付加している．このような描画機能と物体検出機能を活用することで，人工大理石が利用されやすいキッチンカウンターや洗面台において埋め込み型のタッチパネルディスプレイとして活用することができる．

1. はじめにスマートキッチンに関するする数々の研究がある [1][2][3][4][5][6]．その中で，多田らの研究 [7] では，キッ動作および性能について述べる．

2. 関連研究および先行研究
2.1 スマートキッチンの視覚ディスプレイ

チンや洗面化粧台で用いる人工大理石製天板の裏側に LED

キッチンを含め，既にある住宅設備を視覚ディスプレマトリクスとフォトディテクタを配置することで，天板表イ化する場合，プロジェクタを用いて画像を投影するこ

面をタッチディスプレイ化する機能を実現し，その基本動とが多い．例えば，Leonardo ら [1]，Oliver ら [3]，Suzuki

作を確認した．このディスプレイは，人工大理石が光を透ら [5]，塚田ら [6] の研究では，キッチンの調理支援を行う過する特性を利用するもので，天板内部で光が拡散するこシステムとして，キッチンのワークトップや壁，調理の具とから滲んだ表示となる．そして，LED マトリクスの素子材などにプロジェクタによる投影を行っている．これらプについて，赤外線 LED とフォトダイオードまばらに配置

ロジェクタによる投影は，像が明るく鮮明な利点があり，することで，天板表面をタッチもしくは物体を置いた際の平面でない場所や複雑な形状のものへも投影可能である．

赤外反射光を検出し，タッチ位置や物体の範囲などを計測

実際に，前述のキッチンの調理支援の例では，この特徴をする機能を持たせている．ただし，多田らの試作機は，砲活かして調理する魚や野菜などの具材への投影を行って弾型 LED を用いていたほか，ディスプレイ面積が比較的いる．しかし，投影位置を厳密に合わせる必要があり，事小さなものだった．

前にキャリブレーションが必要となる．その簡略化につ

本研究は，その LED タッチディスプレイのデバイスにいては，Robert らによる WorldKit[11] や Brett らによるついて，その面積と画素数を大きくし，PCB 基板化かつRoomAlive[12] で，深度カメラとプロジェクタを組み合わセンサ素子や IC を表面実装した試作機を開発することで，せる方法が提案されており，深度カメラを用いてタッチセより実用的なディスプレイ装置として実現することを目指ンシングなども可能となっている．ただ、キッチンにおけしている．そして，今回は，LED マトリクスと赤外線セるプロジェクタ設置場所は，コンロ近くだと油汚れなどのンシングの回路とをいったん分け，センシング機能につい観点から注意が必要となる．本研究のデバイスは，キッチてのみ回路を多層基板として設計し，表面実装を行う形でンの天板裏側から LED マトリクスで天板そのものを視覚ハードウェア改良を行った．本稿は，そのセンシング基板ディスプレイ化すると共に，赤外光でのタッチ・物体検出の PCB 基板化と表面実装について述べ，試作した基板のを行うものであり，キッチンの上部空間に機器を設置するものではない．キッチンに内蔵することで，キッチン天板1a)b)c)

京都産業大学 情報理工学部
ura@3ccd.jp
kano@cc.kyoto-su.ac.jp
hirai@cc.kyoto-su.ac.jp© 2022 Information Processing Society of Japan

表面の掃除などには支障がないうえ，IH コンロや浄水器のために元々電源ラインが引かれていることが多く，機器設置や配線の点でも比較的有用な手段と言える．

254

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D01
2022/2/21

2.2 光学式タッチインターフェース
赤外線を用いたタッチパネルデバイスは複数の方式で実用化されている．主なものに，赤外線カメラ方式，赤外線遮断方式，PSD(Planar Scatter Detection) 方式，PIT(ProjectedInfrared Technology) 方式がある [8]．いずれも液晶ディスプレイなどの表面にデバイスを構成するものであり，２点以上のタッチ操作が可能となっている．また Matsushitaらによる HoloWall[9] と，Han による FTIR (FrustratedTotal Internal Refrection) 方式 [10] は，ガラスやアクリル

図 1

LED マトリクス，センシング基板，人工大理石を重ねた様子

面のそれぞれ裏側と横側から赤外線を入光させ，タッチ部分の反射光を IR カメラと画像処理によって解析するシステムである．どちらの方式もタッチパネルの大型化が可能であるが，ガラス背面に IR カメラを設置する空間が必要であり，本研究での設置を想定しているキッチンの天板裏などではそれら方式は利用できない．

3. システム概要
図 2

タッチパネルシステムの構成

樹脂製の人工大理石が光を透過する性質を利用し，LEDマトリクスディスプレイを人工大理石背面に配置することでディスプレイシステムを構築する．先行研究では，表示のための LED と光センシング部品を 16 × 16 のマトリックス状に，一枚の基板に実装していた．本研究では，より実用的な物に近づけるために，32 × 64 の LED タッチディスプレイシステムに改良する．これを一枚の基板に実装すると，部品点数と配線が増加し，多層基板としての回路設計が複雑になるため，まずは LED マトリクスディスプレイについては既製品を使用することとした．そして，設計するプリント基板にはセンシングに必要な回路のみ構成

図3

センシング基板と人工大理石を重ねて基板背面の LED マトリクスを発光させた様子し，表面実装用の IC およびチップパーツのみを片面のみに実装する形とした．これにより，現状の試作ディスプレイは LED マトリクスディスプレイとセンシング基板が分離した形となり，図 1 のように，センシング基板を LEDマトリクスディスプレイの上に重ねて配置し，さらにその上に人工大理石を配置する．ここではセンシング基板にはLED マトリクスディスプレイの対応した位置にドリル穴を空けておき，LED 光がセンシング基板をを通じて人工大理石に入光できるようにした（図 2 参照）．実際に LED マトリクスディスプレイの LED を表示させた様子を図 3 に

図 4赤外線タッチパネル動作のイメージ示す．センシング基板上に構成するタッチインターフェー
スは図 4 のような仕組みで動作する．赤外線 LED の光がカラー表示の既製品を使用した．ディスプレイの画素密度

人工大理石を透過し，大理石表面の障害物へ反射し再度大は，センシング基板に配置する赤外線 LED や受光素子のサ理石を通過してフォトディテクタに入力される．この入力

イズを考慮して決めた．基板に開けられたドリル穴の径はの強弱によって物体の検出を行う．

1.5mm で，マトリクスディスプレイに合わせて 4mm ピッ4. ハードウェアの試作と動作確認
4.1 ハードウェア構成
今回試作したハードウェアでは，表示用 LED マトリク
スディスプレイには 4mm ピッチで画素数 64 × 32，フル© 2022 Information Processing Society of Japan

チで配置している．センシング基板は，ドリル穴がマトリクスディスプレイの発光部分（LED）の直上になるように位置調整し，マトリクスディスプレイの上に密着させて重ねて配置する．
センシング基板には，図 5 のように赤外線 LED または255

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D01
2022/2/21

フォトディテクタを交互に 12mm ピッチで並べる．この配置は，多田らの先行研究 [7] を踏襲したものであり，LEDマトリクスの素子の 3 つおきの位置に赤外線 LED またはフォトディテクタを配置する形となる．この際，今回使用した赤外線 LED とフォトディテクタのサイズの都合から，

LED マトリクスディスプレイは 4mm ピッチのものを選択している．これにより，センシング基板上に表面実装された素子の位置の LED マトリクスの素子の光は一部遮断

図 6

センシング基板内の接続の概要される．だが，人工大理石の光学特性のため拡散して滲んだ表示となることから，部分的に発光していない LED が人工大理石を置き，その上から左手を置いた状態，それぞあっても表示機能は保持できる（図 3 参照）．センシングれのセンサの値を確認した．それらの状態について，各セ基板上の赤外線 LED とフォトディテクタは，以上のようンサの値を画像として表したものを図 8，9 に示す．

な配置を行うことで今回の基板上ではそれぞれ 121 個ずつ実装した．

図 7
図 5基板の上に手をかざした様子

センシング基板上の各素子の配置

4.2 センシング基板の回路設計と実装
今回，赤外線 LED とフォトディテクタを実装するセンシング基板は、プリント基板として新たに設計した．素子の高密度化を行うため，実装部品は外部接続用のピンヘッダを除き，表面実装部品を使用した．基板は外層に信号配線，内層に電源とグランドのプレーンを配置した 4 層基板とした．使用した赤外線 LED とフォトディテクタはそれ

図 8

ぞれ，図 5 のように配置してあるが，それらのセンシング基板の上に手をかざした際のセンサの値

基板内での接続の概要を図 6 に示す. 赤外線 LED 制御用の LED ドライバは 16 チャンネル出力シンクドライブのものを 8 つ使用し，これにより赤外線 LED を定電流駆動した．センシングのための 121 個のフォトディテクタについては，16ch アナログマルチプレクサを 8 個用いて，ch を切り替えながら各位置の値を選択的にセンシングする．そして，マルチプレクサで選択したフォトディテクタのアナログ出力を，分解能 16bit，100kHz サンプリングの AD コンバータでデジタル値に変換し，制御用マイコンに伝送する．今回の試作機では，制御用マイコンに Raspberry Pi 2

図 9基板の上に人工大理石を置いて手をかざした際のセンサの値を使用している．

5. センシングの性能評価

これらから，手による赤外反射光が強い場所が明るく表示されている．図 9 では，人工大理石を上に置いた状態で実装したセンシング基板の動作確認を行うため，図 7 のは大理石からの反射の影響で，センサの値が全体に大きくように基板の上に左手を直接かざした状態と，基板の上になるため，輝度のレンジを調整した画像となっている．図© 2022 Information Processing Society of Japan256

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D01
2022/2/21

8，9 のいずれにおいても手をかざした位置と対応した位置一往復で 2 秒程度である．その結果を図 12 に示す．なお，でセンサの出力が大きくなっていることがわかる．また大ここでは使用した二つのセンサの出力信号レベルが異なっ

理石を上に置いた状態であっても小指と親指が確認でき，たため，上限と下限が合うよう各センサで縦軸のレンジを正しくセンサの値が取得できていることがわかる．

調整している．また，図 11 に示した A・B・C の区間と図

なお，現状のセンシング基板上のフォトディテクタ全体で12 の A・B・C の区間は対応している．のスキャンレートは 4Hz 程度と低い．これは，Raspberry

Pi 2 上で Python3 のプログラムで制御しており，赤外線LED の点灯パターンを LED ドライバへ送出する時間がかかっていることに原因がある．制御プログラムを Python3から C++や Rust で書き直すことにより数十 Hz 程度には改善できる見込みである．
ここで，センシング基板の性能を評価するため，フォトディテクタの周囲に配置された赤外線 LED を点滅させ，フォトディテクタの出力の時間変化を計測した．ここではセンシング基板の中心付近にあるフォトディテクタを対象に計測を行った．計測開始から 1 秒後に LED を点灯させ，2 秒後に LED を消灯させる．計測開始時からの時間とセ

図 12

二つのセンサの間で指を動かした時の出力の時間変化（左側縦軸はセンサ 1，右側縦軸はセンサ 2）

ンサの値をプロットしたものを図 10 に示す．
この図から，区間 B は２つのフォトディテクタの間を示しているが，指が中間位置にあるときそれぞれのフォトディテクタから出力を得られていることが確認できた．これにより，物体がフォトディテクタの直上になくとも複数のフォトディテクタの値からタッチ位置を推定できると考えられる．そして、前述の通り，フォトディテクタの出力信号レベルが異なるため，レベル調整のためのキャリブレーション処理が必要となることもわかった．
図 10

フォトディテクタに赤外線を入力した時の出力の時間変化

6. おわりに
本研究は，人工大理石透過型 LED タッチディスプレイ

この計測結果から，フォトディテクタの値を AD 変換し，について，そのハードウェアをより実用的なものへ近づけRaspberryPi に入力されるまで 2ms 以下で行えることが確るため，ディスプレイデバイスの大型化とカラー表示化に認できた．また，赤外線 LED を消灯させた際についてもついて取り組んだ．今回の試作では，LED マトリクスディ同様に 2ms 以下で出力が得られることが確認できた．

スプレイと赤外線センシングの回路とを一旦切り離し，後者についてはセンシング基板として多層プリント基板化およびチップパーツによる表面実装を行った．センシング
基板には LED マトリクスの素子の光が透過させる穴を開け，基板背面に既存製品の LED マトリクスを配置する形とすることでフルカラー化を行った．そして，試作したセンシング基板の評価として，基板上面に人工大理石の板を置き，その表面上の物体やタッチの検出が行えることを確認した．今後は，センシング基板について人工大理石上に置かれた物体の領域検出の精度確認や，2 次元でのタッチ図 11

二つのセンサ出力の時間変化を計測

位置推定処理の実装と確認，C++などによる処理の高速化など，センシング性能や機能に関する更なる評価や改良を次に，フォトディテクタの直上ではない箇所において，行っていく．そして，LED マトリクスディスプレイとセン人工大理石上でのタッチ位置を推定できることを確認する

シング基板とを合わせたシステム全体での動作確認や評価ため，図 11 のように二つのセンサの間で指を動かし，双を行う予定である．さらには，LED マトリクスの機能も方のセンサ出力の時間変化を計測した．指を動かす速度は合わせた多層基板として設計，実装を重ね，より薄型なデ© 2022 Information Processing Society of Japan257

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D01
2022/2/21

バイスとして実際のキッチンワークトップなどの背面に設置できる形にしてゆき，実利用を想定した評価も行っていきたい．さらに，並行して進めているアプリケーション開発用ライブラリ [13] への対応も進め，より具体的なアプリ
ケーションの表示・操作や，実践的な適用についても進めていきたい．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]
[9]

[10]

[11]

[12]

[13]

Bonanni, L., C.-H. Lee, and T. Selker, Attention-based
design of augmented reality interfaces. In CHI’05 extended abstracts, pp. 1228–1231 (2005)
杉野 碧, 塚田 浩二, 椎尾 一郎, 家事を楽しくする「歌うキッチン」, 情報処理学会第 69 回全国大会講演論文集,pp. 283–284 (2007)
Olivier, P., Xu, G., Monk, A. and Hoey, J., Ambient
kitchen: designing situated services using a high ﬁdelity
prototyping environment, Proc. of the 2nd International
Conference on PErvasive Technologies Related to Assistive environments, pp.1-7 (2009)
武田嵩太朗, 鈴木優, 島村祐介, 朴春子, 大和田創, 三末和男, 田中二郎, キッチンにおける調理者の状況に適したイ
ンタフェース ―まな板への情報提示とそのタッチ操作手法の開発―, 情報処理学会第 72 回全国大会講演論文集,pp. 183-184 (2010)
Suzuki, Y., Morioka, S. and Ueda, H., Cooking support
with information projection onto ingredient, In Proc. of
the 10th asia paciﬁc conference on Computer human interaction, pp. 193–198, (2012)
塚田義典, 細越一希, 距離画像センサと小型プロジェクタを用いたスマートキッチンの実現に関する研究, 日本知能
情報ファジィ学会 ファジィシステムシンポジウム 講演論文集 第 34 回ファジィシステムシンポジウム. 日本知能情報ファジィ学会, 2018.
Tada, T., and Hirai, S., Transmissive LED Touch Display for Engineered Marble., ACM UIST 2020 (AdjunctVolume), pp.145-147 (2020)
西川武士, 光学式タッチインタフェース, 映像情報メ ディ
ア学会誌 Vol. 68, No. 12, pp. 907–914 (2014)
Matsushita, N. and Rekimoto, J., HoloWall: designinga ﬁnger, hand, body, and object sensitive wall. In Proceedings of the 10th annual ACM symposium on Userinterface software and technology. pp. 209–210 (1997)
HAN, J. Y., Low-cost multi-touch sensing through frustrated total internal reﬂection, Proc. of the 18th annual
ACM symposium on User interface software and technology, pp. 115-118. (2005)
Xiao, R., Harrison, C., and Hudson, S. E., WorldKit:
Rapid and Easy Creation of Ad-hoc Interactive Applications on Everyday Surfaces, Proc. of the 31st Annual
SIGCHI Conference on Human Factors in Computing
Systems, pp. 879-888 (2013)
Jones, B., et al., RoomAlive: magical experiences enabled by scalable, adaptive projector-camera units, Proc.
of User interface software and technology, pp. 637–644(2014)
中植義斗, 平井重行, 人工大理石透過型 LED タッチディスプレイのソフトウェアライブラリ開発, 情報処理学会インタラクション 2022 論文集, インタラクティブ発表 (2022)© 2022 Information Processing Society of Japan258