情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D13
2022/2/21

ImayohClay: 粘土型インタフェースを用いた色と言葉に親しむための AR 教材
山本知沙†１

大島登志一†１

概要：本研究では，手を使う体験を重視して，粘土をインタフェースとして活用し「色」と「言葉」を関連付けながら楽しく学べる AR システムを試作した．ユーザは実際に手を動かして，粘土の造形と着色，混色による色の創造を楽しむことができる．着色と混色は投影によって表現され，色の名前として日本の伝統的な色彩語を採用することで，伝統的な色名を通して，日本の言語文化や歴史に触れ，豊かな言語感覚を養うことを期待する．本研究は粘土の着色や造形などの体験を通して，学習の動機づけを高めることを目的とする．

1. はじめにく学ぶ姿勢を身に着けるために活用されることを想定する．
具体的には，粘土の位置計測に Kinect を用いて，粘土にプ

本研究では，「国語」×「図画工作」をテーマに，粘土をロジェクタによる映像投影を行う．ユーザの正面に見えるインタフェースとして活用することで，ユーザに多感覚的PC モニタには日本の伝統色の名前や由来が紹介される．

なフィードバックを与える色と言葉の教材を制作する．

「色選択パレットデバイス」によって，ユーザは粘土に投

文部科学省は児童生徒の読解力の学力向上を重視し，主体的・対話的で深い学びの視点からの言語能力，情報活用

影する色を選択し，粘土に投影されている色が何色であるかを知ることができる．(図 1)

能力育成のための指導を充実させることなどを挙げている[1]言語能力は，あらゆる他者と協働し，豊かな人生を切り拓くために重要な資質であるとされ，言語能力向上のために新たな教育の在り方が模索されている．諸外国では，すでに教科横断的な学習が多く取り入れられており，日本でも STEAM 教育[2]が注目されている．これは Science(科学)，Technology( 技 術 ) ， Engineering( 工 学 ) ， Art( 芸 術 ) ，Mathematics(数学)の要素の知識や考え方を統合的に働かせ，現実社会の問題を創造的に解決する学習方法を重視している[3]．
現状を受けて改訂された図画工作科の指導要領 [4]には，「生活や社会の中の形や色などと豊かに関わる資質・能力

図 1

ImayohClayの育成を一層重視することを示す」とあり，造形的に表す

以上のような研究の趣旨を踏まえて，本システムの名称

活動や作品を作り出すことは，自分にとっての意味や価値を日本の伝統色の一つである「今様」に由来して「Imayoh」をつくりだすことであり，同時に自分自身をも作り出してと命名した．今流行りの，現代風のといった意味があり，いることであると考えられている．社会の中で出会う色や平安時代の王朝の女性によく好まれた色だとされている．

形を，自分の感覚や行為を通して理解することが重要な学投影を用いた現代的な粘土のインタラクティブな体験を表びであると示されている．

現した．

要するに読解力をはじめとする言語能力の向上と，教科横断的な学習を早急に進めていくことが，新たな時代の教育の課題であるといえる．

2. 関連研究

そこで本研究では，「国語」と「図画工作」を中心に，他山岡らは，色と形の関連性を考えながら造形を行える粘教科の関心へと繋げ，学習の動機付けを高めるような教材

土インタフェースとして NeonDough[5] を提案している．

を目指す．粘土造形という体験を通して，先人が感じ表現

NeonDough は伝導性粘土，LED やセンサ類を内蔵したモジ

してきた色と言葉について触れ，学ぶ．日本の伝統色からュール等を組み合わせたもので構成されている．そのためは，歴史，文学，美術に関連した知識を得ることが可能で配線が粘土造形の妨げになる問題や，LED の入っている部あり，混色に興味を持つことは物理学的な興味関心に繋が分にしか着色されないという点が気がかりである．また，る可能性もある．子供から大人まで，幅広い年齢層が楽し

Jefferson らの「ClaytricSurface: 硬度可変ディスプレイの提†1 立命館大学 映像学部
College of Image Arts and Sciences, Ritsumeikan University© 2022 Information Processing Society of Japan310

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D13
2022/2/21

案とアプリケーションの開発」 [7]では，粘土や砂など素材たまり同士を近づけることで色同士が混色されて投影されそのものの硬度に制限されない硬度可変ディスプレイを提る．ユーザは粘土の造形と混色を繰り返す中で，投影され案している．本研究では，実際の粘土を使った造形を採用た色の名前や由来を知ることができる．

しており，粘土をデバイス化することはしない．
砂場の形状変化を計測して投影している作品として，

3.2 システム構成「AR Sandbox: Cutting-Edge Earth Science Visualization」[6]があるが，本研究では上部からの計測および投影の手法を参考に実装している．
これらの研究はどれも，粘土や砂などある程度自由な形状変化が可能な素材をインタフェースとして用いている．本研究で用いている粘土は造形に十分な柔軟性があり，楽しみながら学ぶツールとして適切であると考えられる．
図 4

3. システムデザイン

システム構成図

図 4 にシステム構成図を示す．粘土板領域の中にある粘3.1 ユーザの体験土を，Kinect を用いて深度画像を取得している．使用した

本研究では，多感覚的な刺激を与えられるインタフェー製品は Kinect for Windows である．粘土への投影はプロジスとして粘土を用いる．粘土は小学校の図画工作の授業でェクタで行う．Kinect とプロジェクタは粘土板に対して平用いられるほか，芸術療法などでも用いられる．また子供

行にシステムの上部分に設置し，下向きに投影及び計測をの頃から身近にあった素材であり，多くの人にとって扱い行っている(図 5)．色選択パレットデバイスは自作した．色やすいものであると考えた．粘土造形を加えることによっ

情報パネルは PC モニタに表示される．て，直接的な触覚，視覚だけでなく，体験者自身の記憶や感情とも絡む学習効果が得られるのではないだろうか．
粘土で作品制作をする際，絵具を混ぜて色粘土にすることや，造形した後に筆などで着色してより完成度の高い作品に仕上げることがあるが，直接粘土に色を混ぜてしまうと元の白色に戻すことは不可能である．そこで，粘土に色をプロジェクションすることで何度でも着色と混色の体験を可能にした．さらに偶然混ざって作られた色が何色だろうかという情報を提示することで知的好奇心を刺激し，自発的な学習へと繋いでいくことを期待している．

図 2

ユーザの手順図 3投影された粘土体験の手順について述べる(図 2)．はじめにユーザは任意

図 5装置配置の様子の大きさの粘土を手に取る．手に取った粘土を色選択パレットデバイスにのせ，色を選択する．次に粘土板の上に粘土を置くと，粘土の形に合わせて，前の手順で選択した色

3.3 パレットデバイス
色選択パレットデバイス(図 6)は制御するために Arduinoが投影される(図 3)．色選択パレットデバイスには 5 色の基を組 み 込ん で いる ． 選択 さ れた 項 目を 判 定す る ため に本色と，「なにいろ」という項目がある．粘土に色が投影さCdS(硫化カドミウム)セルという光センサを用いている(図れた状態で，「なにいろ」に粘土をのせると，PC モニタに色の名前や由来が記載された「色情報パネル」が表示される．粘土板に新たに色を選択した粘土を置き，それぞれに色が投影された 2 つの粘土のかたまりをつくる．粘土のか© 2022 Information Processing Society of Japan8)．センサが粘土によって隠れることで電気抵抗が低下し，一定値以下になると粘土が置かれたと判定する．ユーザが粘土を置きやすく，光センサが反応しやすいように，デバ
イスは横から見た際，傾けた階段状になっている(図 7)．

311

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D13
2022/2/21が多いため，粘土を置く範囲のみトリミング処理を行い，元の解像度にリサイズしている(図 10)．

図 6 色選択パレットデバイス(a)カラー画像(b)深度画像(c)注目領域(d)ラベリング結果

何色のパレットが選択されているのか視覚化するため，パレットに粘土が置かれるとそれぞれの項目に応じた色のLED が点灯する．粘土に投影するプログラムとはシリアル通信を用いて Arduino との同期を行っている．

図 10

粘土領域の取得

深度画像は，粘土板の高さを原点とし，Kinect の高さまでの間をグレースケールで表現している．粘土が置かれた部分は高さが出るほど白に近い色として表現されるため，
図 7横から見た様子図 8

CdS セル

どの位置に粘土が置かれているか判別することができる．
深度画像を二値化してラベリング処理を行い，一定以上の3.4 粘土の入出力装置化

面積の領域を粘土の領域としてラベルを設定する．ラベル

図 9 にシステム全体の機能ブロック図を示す．Kinect にが付けられた領域に色を描画する．描画する色の決定は，よって取得した深度情報を TCP/IP によって通信し，リアユーザによって色選択パレットデバイスで選択された色のルタイムに画像を更新していく．取得した深度画像からほか，混色処理がされた後に決定され，プロジェクタを通OpenCV を利用してラベリング処理を行う．ラベリング処して映像出力される．

理で領域として認識された箇所に，色選択パレットデバイ
スから選択された色を描画する．領域が 2 つある場合には3.5 粘土の位置関係の判定混色処理が行われ，ラベリング結果に混色された色が描画

実際の運用では，ユーザが両手に持った粘土の位置を入される．OpenCV でつけられたラベルとは別に OpenGL のれ替える可能性があり，本来であれば同一の粘土を追跡すオブジェクトとして用意された識別番号にラベル番号を格る必要がある．しかしながら現状は実装の途中であり，以納しておく．粘土が移動した距離に応じて移動した粘土が下のような課題が残されている．OpenCV のラベリング処同一のものであるか識別する処理が行われ，描画色として理は，画像の左上から横方向へ一列ずつ下方向に向かって決定された色はプロジェクタから映像出力される．ユーザ

走査し，二値化画像の画素の色が白の位置を検索しているがパレットデバイスの「なにいろ」部にのせると，描画さという特性がある．そのためユーザが粘土の上下位置を入れている色の RGB 値を取得し色情報パネルを表示する．

れ替えると，ラベルの番号が変わってしまい，描画色も入れ替わってしまうという現象が生じる．
本研究では以下のような方式で，領域同士の位置関係の判定について実装した．位置，ID，領域の面積，色の情報をもったオブジェクトを用意し，ラベルとの同期を行っている．本研究の段階においては，ユーザの持つ粘土は 2 つまでという限定的な状況を設定し，オブジェクト「0」と「1」のみを設定している．まず「saveClay」という仮のオブジェ
クトをつくり，検出されたラベルの位置，ID，領域の面積，

図 9

機能ブロック図

色を紐づける．ラベルが一つもない，つまり粘土が範囲内投影範囲である粘土板の上に粘土を置いた時に，深度情に置かれていない場合にはすべての「saveClay」オブジェク

報を OpenCV によって処理し，粘土がどこに置かれているトの位置を範囲外へと設定する．ラベルが一つの場合には，かを判定している．受信したままの深度画像は余分な領域「saveClay」オブジェクトの「1」を範囲外に設定する(図 11)．

© 2022 Information Processing Society of Japan312情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D13
2022/2/21

ら徐々に一つの色へと変化していくことがわかった．

図 11

ラベル番号と saveClay オブジェクト

次に「clay」というオブジェクトをつくり，現フレームの「saveClay」オブジェクトの位置と前フレームの「clay」オ
図 13

ブジェクトの位置間の距離を計算する．
「saveClay[0]」と前粘土の混色実験

フレームの「clay[0]」間の距離が，「saveClay[0]」と前フレ粘土の混色再現について，本研究の段階においてはラベーム「clay[1]」間の距離より小さい場合，「saveClay[0]」とリングされた領域間の距離が一定以下になることによっていう仮オブジェクトは現フレームでは「clay[0]」というオ混色されたとする．色は徐々に変化していき，実際の粘土ブジェクトであると決定される．に見られたようなマーブル模様の変化は再現していない．
ラベリング処理時に領域の重心を求め，重心間の距離を計算し，この距離が近いほど混色表現も強くなる(図 14)．どちらかの粘土が領域外にある場合にはこの処理は行われな
い．計算の流れを以下に示す．
領域同士の距離を D とし，色が変化していく閾値を S と

図 12

フレーム更新時の粘土オブジェクトの移動距離する．距離によって定まる係数 K を，どちらかの粘土の位置が固定されたまま，もう一方の粘𝐾=土が検出範囲外に出た場合には，設定した閾値以下であれば，そのまま前フレームのオブジェクト決定を引き継ぐよう処理している．これにより，「clay[0]」が外に出て，「clay[1]」が範囲内に残った場合，残った「clay[1]」が「clay[0]」にな

1 − (S − D)
Sとする．
領域 1 の色を C = (r，g，b)とし，領域 2 の色を C1 = (r1，g1，b1) とする．距離 D が閾値 S 以下の場合，ってしまうという問題を解消している．以下に想定される

C = K × C + (1 – K) × C1

移動距離ごとのオブジェクトの対応付けについての表を示

C1 = K × C1 + (1 – K) × Cす(表 1)．という式で表される．

saveClay[0]と前フレーム clay[0]間の距離 = A
saveClay[0]と前フレーム clay[1]間の距離 = B
saveClay[1]と前フレーム clay[0]間の距離 = C
saveClay[1]と前フレーム clay[1]間の距離 = D
条件

saveClay[0]saveClay[1]A<閾値 or D<閾値

clay[0]clay[1]

B<閾値 or C<閾値

clay[1]clay[0]A<= B and C>=D

clay[0]clay[1]

A>B and C<D

clay[1]clay[0]

A<=B and C<=D

clay[0]clay[1]

A>B and D>C

clay[1]clay[0]表 1 オブジェクト決定の条件式

図 14

混色の再現

2 領域における混色の再現は以上の通りである．しかし，今後 3 領域以上の自由な混色を表現する際には，また新た3.6 粘土における混色の再現な計算が必要となる．

現実の粘土に絵具を混ぜて行われる混色は，次第に黒に近づいていくことから減法混色であると考えられる．図 13

3.7 色彩情報の生成と表示に示したものは，紙粘土に絵具を混ぜてどのように色が変

色情報パネルに記載している項目は，「①色の名前(漢字)」，化していくかを観察したものである．これにより，各色の「②色の名前(ひらがな)」，「③色の名前(ローマ字)」，「④色混色結果と，混ざる過程においてマーブル模様を描きながの図」，「⑤仲間の色」，「⑥由来(詳細)」，「⑦由来(一言)」，© 2022 Information Processing Society of Japan313

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D132022/2/21「⑧小学校で習う漢字」の 8 項目である(図 15)．色の由来

れぞれの実験の後にアンケートに回答してもらった． 実験は主に『日本の伝統色』[8]より引用している．色の RGB 値の流れは以下の通りである．

は書籍によって異なるが，『日本の伝統色』[8]の値で統一し1. 日本には古来より様々な色の名前があり，その由ている．また『日本の色辞典』[9]，『定本和の色辞典』[10]を来には文化的・歴史的背景があるということを前参考に，250 色の情報について記載している．日本の伝統提情報として提示する．

文化だけでなく，言葉に触れることも本研究の目的として

2. マウスのみを用いた操作で，着色・混色を通しているため，小学校で習う漢字も項目として記載している．

「色情報パネル」を自由に見てもらい，覚えてい仲間の色は，小学校などで用いられる色鉛筆やクレヨンセる色を書き出してもらう．

ットの基本色 12 色を記載した．色の名前自体は難解であ

3. 粘土インタフェースを用いて，同様に着色・混色っても，基本の色があることで理解しやすくすることを目を通して「色情報パネル」を見てもらう．さらに的としている．

粘土を用いた体験では，色や名前などから自由に連想したものを造形してもらう．その後覚えている色を書き出してもらう．

図 15

色情報パネル
図 16

色情報パネルの生成方法について述べる．上記の色情報

マウスで体験するプログラムに加えてそれぞれの RGB 値を記載した CSV 形式のデータ

評価実験を行うにあたって，マウス操作のみで自由に混を用意する．項目ごとに位置や大きさを設定し，250 色分色を行い，色情報パネルを表示するプログラムを作成したのパネルを生成した．この手法で実装したことにより，今(図 16)．混色の再現や色情報を表示するために用いられて後さらなる色情報の追加が容易に可能である．

いる実装方法は，粘土を用いて実装しているものと同じ方

色情報パネルは粘土を，色選択パレットデバイスの「な法である．にいろ」部に置いた際に表示される．本研究段階において，本実験では，粘土型インタフェースの使用によってユー

粘土オブジェクトは 2 つまでと限定しているため，「なにザの記憶の定着度に差異は見られなかった．しかし色の由いろ」部に入力があった時点で，粘土の検出範囲外にある来から着想を得て粘土の造形(図 17)を行った被験者は，そ粘土オブジェクトの色がパレットに置かれているものとす

れに関する色名や由来についてよく記憶していた．また子る．粘土オブジェクトに何色が投影されているかどうかは，供の頃，粘土遊びが好きだったかという問いに対して，過RGB 値によって設定されているため，その値を参照する．

半数以上の被験者が好きであったと回答した．

各色情報パネルには RGB 値が指定してあるため，3 次元空間における 2 点間の距離を求めることで近似値が算出できる．日本の伝統色には「四十八茶百鼠」と呼ばれるように茶色，灰色系統の色が多く存在するのに対して，高貴な身分の人が着るものとされた色などが存在する，黄色や紫色系統は幅が狭い．そのため，粘土に投影されている色と近似値として求められた色情報パネルの色味に差異が生じることがある．

図 17

被験者による造形の例

粘土型のインタフェースの有用性については，主体的な学びへの第一歩としては効果が期待できると考える．第一に粘土遊び自体への好感度が高かった点と，混色体験と合4. 実験とその考察わせることで，より多くの色について知りたいという探求心が生まれたという点が理由である．ImayohClay は「色」

ImayohClay の粘土型インタフェースの有用性，および学と「言葉」と「粘土」という複数の要素を持つことから，習の動機付けを高めることに効果があるかを検証するため，ユーザを混乱させてしまったり，情報過多になってしまっ立命館大学映像学部映像学科に所属する男女 16 人を対象たりといった不安もある．そのため，日本の伝統色を通しに評価実験を行った．被験者には 2 通りの実験を行い，そて日本文化や歴史について学ぶことができるというのはあ© 2022 Information Processing Society of Japan314

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D132022/2/21

くまでも副次的効果であり，学びへの前向きな姿勢を身にマーブリングシミュレーションを取り入れることは叶わな着けてもらうことが本研究の最も効果の期待できるところかったが，これを表現できるとさらにユーザの感性を刺激である．

するシステムになると考えられる．

その後 SIGGRAPH Asia 2021 においても，幅広い年齢層を対象とした運用実験を行った．ここでは 250 名を超える

謝辞

多くのユーザに体験してもらうことができた．4 歳の男児

ものです．

は粘土遊びと投影による着色や混色を楽しんでもらうことができたが，色名に興味を示さなかった．小学 4 年生の女
児は色の名前にも興味を示しており，粘土遊びと伝統色による学習の動機付けを高めることに期待ができる．

図 18

SIGGRAPH Asia 2021 での展示の様子

5. まとめ本研究では，「国語」と「図画工作」を中心に教科横断的な学習と，主体的な学習の第一歩となるシステムの開発を行った．デバイスの使いづらさや，粘土の検出技術などに課題は残るものの，粘土を用いた体験に対する肯定意見は

本研究は，JSPS 科研費 21K12004 の助成を受けた

参考文献[1]文部科学省: 小学校学習指導要領(平成 29 年告示)解説 国語編，2017[2]文部科学省初等教育局教育課程課:STEAM 教育等の教科等横断的な学習の推進について<https://www.mext.go.jp/content/20210714-mxt_new-cs01000016477_004．pdf>， (2021 年 12 月 6 日参照)
[3]STEAM JAPAN: STEAM 教育って？<https://steam-japan．
com/about/>， (2021 年 12 月 6 日参照)
[4]文部科学省: 小学校指導要領(平成 29 年告示)解説 図画工作編，2017[5]山岡潤一，筧康明: NeonDough: 導電性粘土を用いた光る粘土細工，ヒューマンインターフェース学会論文誌 Vol.14，
No.4， pp.341-350， 2012[6]Oliver Kreylos，Burak Yikilmaz，Peter Gold: AR Sandbox:
Cutting-Edge Earth Science Visualization， ACM SIGGRAPH，
2014[7]Jefferson Pardomuan，佐藤俊樹，的場やすし，小池英樹:
ClaytricSurface: 硬度可変ディスプレイの提案とアプリケーシ
ョンの開発，日本ソフトウェア科学会第 20 回インタラクティ
ブシステムとソフトウェアに関するワークショップ，2012[8]濱田信義ほか: 日本の伝統色 THE TRADITIONAL COLORS OFJAPAN，株式会社パイ インターナショナル，2016[9]吉岡幸雄: 日本の色辞典， 紫紅社， 2021
[10]内田広由紀: 定本和の色事典，株式会社視覚デザイン研究所，2019

多くあった．日本の伝統色を採用した点については，教科等横断的な学習を達成するための要素として十分機能しているといえるだろう．粘土の体験自体は楽しく学ぶこと自体には効果的であることが示され，色と言葉に親しむための第一歩的システムとして活用できるといえる．
一方で粘土の体験に夢中になってしまい，色情報に関心が向かなかったり，情報過多になってしまったりという問題については，各要素を慎重に検討し直す必要があるともいえる．図画工作科の造形指導の際には，何度でも繰り返し色を変えることが可能な本システムは非常に有用性が高いと考えられる．色の背景について学ぶという要素は段階的に追加していくことで，ユーザを混乱させることなく，活用できるのではないだろうか．また対象とするユーザごとに表示する色情報の内容についても精査する必要がある．
今後の展望としては，粘土体験の拡張，デバイスの改善が挙げられる．粘土体験の拡張は，粘土領域が 3 つ以上になっても検出が可能になること，手などで覆われても領域が入れ替わらないことなどユーザ目線で使いやすいものにする必要がある．デバイスの改善としては，光センサの見直しによる色選択パレットデバイスの改良が急がれる．また，本研究段階においては実際の粘土のような混色表現に© 2022 Information Processing Society of Japan315