情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-212023/3/1

漢字と自然の関わりを伝える書道体験システムのプロトタイプ

小林桂†1

長田一馬†2

概要：日本の文化産業戦略において，日本人の感性や伝統に支えられた文化や儀式，風習を日本の魅力として日本人自らが再認識し，発信することが重要であるとされている．本研究では，書道を題材とし，漢字と自然の関わりを伝えるために，利用者が卓上に投影された書き順を見ながら自然の造形を元に作られた漢字を筆で書くと，書いた字が自然のオブジェクトへと変化するシステムを提案する．文化体験を活用するために，実際の筆や和紙を使い，墨は書いた字を変化させるためにプロジェクターで投影する映像で表現した．

1. はじめにタップ入力やパソコンでのキーボード入力で制作することが多く，効率的である．しかし手書き文字は温かさや誠実

日本の文化産業戦略において，日本人の感性や伝統に支さを伝えることができ，感情がより伝わると考えられていえられた文化や儀式，風習を日本の魅力として再認識し，る[7]．また文字を書くことは，学習に効果的であり，漢字評価し，発進することが重要であるとされている[1]．しかの手書き習得は文章作成能力に影響を与えていることが明し伝統文化は，担い手の減少や核家族化による世代間の交らかになっている[8]．

流機会の減少などにより，その魅力が十分に継承されてい字を書く行為にはさまざまな効果があると考えられ，手ない．これまでの研究では神社[2]，風呂敷[3]，和食[4]を題

書きで脳を活性化[9]させることや，長期記憶化[10]は伝達材とし，実際の文化体験の中で利用者の行動をセンサーな効果があると考えられるため，字を扱うメディアを考える

どで認識し，行動に沿った適切な情報を卓上に投影するシ

上で，「字を書く」行動をシステムに取り入れた．

ステムを考案した．システムは利用者に文化の知識や価値

2.3 漢字の成り立ちを伝える取り組み観を伝えることができた．

漢字の成り立ちを伝える取り組みでは，書籍，ウェブサ

本研究では，利用者に漢字と自然の関わりを伝えるためイトなどでイラストを効果的に活用している．書籍では子に，これまでのシステムを発展させ，利用者が卓上に投影供を対象にしたもの[11]から専門的に長い歴史の中で漢字された書き順を見ながら自然の造形を元に作られた漢字をの変化がわかるように解説されたもの[12]がある．ウェブ

筆で書くと，書いた字が自然のオブジェクトへと変化する

サイトでは，アニメーションを活用してわかりやすく伝え書道の体験システムを提案する．ている[13]．

2. 関連研究2.4 漢字の学習ゲーム

2.1 筆を使ったインターフェース
本研究と関わりのある筆を使ったインタラクションの従来研究としては，リチャード・グリーン氏は，本物の筆や布を使ってデジタルアートが制作できるペンタブとソフトを開発した[5]．またシャープは液晶ディスプレイの新技術「フリードローイング技術」を発表し，ディスプレイ上に筆で字を書くことができるシステムを実現している[6]．従来はディスプレイ上に筆を接触させるシステムであるが，本研究では実際の文化体験を重視することがこれまでの研究で重要な要素であることがわかっているため，ディスプレイを使わず，筆を紙に接触させ，滑らす感覚を残すシス
テムを考えた．
2.2 字を書くことの効果
現在では，テキストをスマートフォンでのフリック入力，漢字の成り立ちを伝える取り組みで紹介した事例は，一方向のメディアであるが，インタラクションを活用した例もある．漢字の書き順を覚えることを目的としたゲーム[14]は，音楽を取り入れることで学習に対する没入感を向上させている．アドベンチャー形式のシリアスゲーム[15]では，基本的な漢字を学習するために，ターン制の戦闘を取り入れた．敵への攻撃や防御を，プレイヤー自らが選択した漢字を正しい書き順で書くことで達成させることができる．
拡張現実メディアは，PDA とカードを使ったもの[16]がある．カードの両面には同一の漢字が印刷され，PDA にユーザーが探すべき漢字を表すアイコンが表示される．ユー
ザーが正しいカードを捲ると PDA 上に映したカードに 3Dオブジェクトが表示される．
これまでの取り組み，研究では，漢字の成り立ちを伝え†1 名古屋市立大学†2 無所属© 2023 Information Processing Society of Japan203

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-21
2023/3/1

図 1 システム構成図ているものや学習目的のものはあるが，文化体験の中のイ

このようにテクノロジーの介入の度合を上げた分，見やンタラクションで漢字と自然の成り立ちを伝えるものはなすさなど体験の質を向上させれば，伝統文化の体験としてい．漢字と自然の関わりを書道体験の中で知ることは，体利用者に受け入れられ，伝達効果もあるのではないかと考験と知識が結びつきやすく，単に知識としてではなく，漢えた．また実際の墨を使うシステムは一度書いてしまうと，字が使われる地域の価値観などを思い起こさせるなどの効用紙を再利用できないためコストがかかるが，書いた字を果があると考えられる．

投影映像で表示するものは，用紙を再利用でき，システム

3. 書道の選定管理者の視点からも利点がある．
システムは図 1 のように PC，カメラ，プロジェクター，これまでの研究で扱った風呂敷や和食は，卓上で行う文VIVE ベースステーション，Tundra トラッカー，筆から構化[3][4]である．また神社を題材としたときは，作法や祭神成される．カメラとベースステーションはライトスタンドの情報を伝えたが，リサーチの結果，卓上で体験できるメを使って設置した．プロジェクターは短焦点のものを卓上ディア[2]を制作した．卓上の映像に手をかざす，オブジェ投影用金具で固定した．

クトを置くなどして映像を切り替えるインタラクションを4.1 システムの体験取り入れた．制作事例とインタラクションのための技術の制作する書道の体験メディアで扱う字は，自然の造形を活用例を増やし，デザイン手法をさらに明確にするため，元に作られた字に注目した．これまでに扱った神社は山や卓上で行う文化を題材とすることにした．

岩，木や滝などの自然物を神宿るものとして祀り[17]，和食

またこれまで身近な文化を題材にしてきたが，これらはは四季折々の旬の食材を素材本来の味を生かして作られる

日常生活で触れる機会があるため，興味を持ちやすく，メため[18]，自然との関わりを伝えることが重要だと考えた．

ディアを通じて得た知識が日常生活で生かされることで定多くの漢字は象形文字であり，自然の造形を元に作られた着しやすいと考え，日本だけの文化ではないが，卓上で行漢字が複数ある．

うもので身近な文化として書道に着目した．

4. システム構成
これまでの手法，考え方では，実際の文化体験を利用するため，利用者は実際の墨で字を書き，その字をカメラで取得した画像から認識して投影映像を切り替えるが，テクノロジーが文化に介入する手法の発展として，墨を投影映像で表現することが考えられる．この手法は本物の墨の色を体感することはできないが，書いた字は投影映像のため，自由に変化させることができ，実際の墨で書いた字の上に映像を投影するより字から自然のオブジェクトへの変化が見やすく，字の造形と自然の関わりもより感じさせることができると考えられる．

© 2023 Information Processing Society of Japan

システムに取り入れる漢字の種類と数は，子供や外国人にも体験できるように，容易なもの，展示したときの一人当たりの体験時間を考慮して選択した．利用者は山，川，木，日などの手本がついた用紙を自由に選び，書くことができる．用紙にはマーカーが添付され，卓上に置かれた時点で，カメラが漢字の種類を認識し，書き順が卓上の中央に投影される（図 2）．
利用者が卓上に投影された書き順を見ながら，字を書き終えると，書いた字が自然のオブジェクトに変化するアニメーションが投影される．例えば「山」を書くと，字が徐々に実際の山の形に変化していく（図 3）．アニメーションは，利用者が筆で書く字と親和性のある手書きで制作し，一秒

204情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-21
2023/3/1

テムを提案した．
今後の展望としては，システムで書くことができる字の数を増やし，また利用者が書き終えた字は，利用者の反対側に風景の一部として追加投影され，異なる字を複数書くことで，風景画が完成するように改善する．この機能は字の成り立ちが自然から影響を受けていることを強調して伝えると共に，利用者の文化体験の促進を目的とした．
謝辞

本研究は名古屋市立大学特別研究奨励費 2214010 により助成を受けたものです．
図 2 卓上に投影される漢字の書き順

参考文献
[1]

図 3 書いた字が自然のオブジェクトに変化する
あたり 20 から 25 フレームが使われている．
4.2 筆の表現と文字認識
筆の表現と文字認識は Unity で制作した．利用者が書いた字を投影映像で表現するため，筆の位置を計測する必要がある．ベースステーションを展示空間に設置し（図 1），筆にトラッカーを付けて実現した．トラッカーはネジを使い，筆の先端に着け，筆の長さを設定することにより，どのような角度でも筆が紙に触れている状態がわかる．
文字認識は，用紙に表示された手本領域を塗りつぶせているかの判定を行う．

5. まとめ・今後の展望
本稿では，利用者に漢字と自然の関わりを伝えるために，利用者が自然の造形を元に作られた漢字を筆で書くと，書いた字が自然のオブジェクトへと変化する書道の体験シス© 2023 Information Processing Society of Japan“日本文化産業戦略」~文化産業を育む感性豊かな土壌の充実と戦略的な発信~”. https://www.tnemoto.com/policy/opinion/pdf/agw/betten_2.pdf, (参照 2022-1220).
[2] Kei Kobayashi and Junichi Hoshino. Augmented Reality Mediafor Experiencing Worship Culture in Japanese Shrines. IFIP
International Conference on Entertainment Computing (ICEC2020). 2020, p. 270-276.
[3] 小林桂, 長田一馬, 星野准一. 風呂敷文化を伝える拡張現実
メディア. デザイン学研究. 2021, vol. 67, no. 3, p. 65-74.
[4] 小林桂, 長田一馬, 星野准一. 和食文化を伝える卓上投影イ
ンタラクティブシステム. 情報処理学会人文科学とコンピュータシンポジウム「じんもんこん 2021」. 2021, p. 240-247.
[5] “Digital Painting With Real Brushes: Light Strokes for IPad”.
https://www.instructables.com/Digital-Painting-With-RealBrushes-Light-Strokes-f/, (参照 2022-12-20).
[6] “シャープ、タッチパネル液晶を進化させる新コンセプト「フリードローイング技術」”.
https://www.phileweb.com/news/d-av/201503/10/36474.html, (参照 2020-12-20).
[7] 寺田恵理, 保崎則雄. 手で書くこと，手書き文字に対する認識に関する一調査. 日本教育工学会論文誌. 2018, vol.
42(Suppl.), p. 145-148.
[8] Sadao Otsuka and Toshiya Murai. Cognitive underpinnings ofmultidimensional Japanese literacy and its impact on higher-level
language skills. scientific reports. 2021. p. 1-14.
[9] Eva Ose Askvik, F. R. (Ruud) van der Weel and Audrey L. H. vander Meer. The Importance od Cursive Handwriting Over
Typewriting for Learning in the Classroom: A High-Density EGG
Study of 12-Years-Old Children and Young Adults. Frontiers inPsychology. 2020, vol. 11, p. 1-16.
[10] “【毎月 1000 人の患者を診察する話題の医師】認知症専門医が教える 40 代からの“記憶力アップ”術とは！”.
https://prtimes.jp/main/html/rd/p/000000933.000005069.html, (参照 2022-12-20).
[11] 伊藤信夫, 金子都美絵. 白川静文学に学ぶ漢字なりたちブッ
ク 1 年生. 太郎次郎社エディタス, 2018,125p.
[12] 落合淳思. 漢字の字形. 中央公論新社, 2019, 207p.
[13] “家庭学習レシピ 漢字の成り立ち【象形・指事・会意・形声】まとめ”. https://homework-recipe.com/kanji-naritati, (参照2022-12-20).
[14] Oleksandra Keehl and Melcer. Radical Tunes Exploring the Impactof Music on Memorization of Stroke Order in Logographic Writing
Systems. FDG ’19. 2019, p. 1-6.
[15] David A. Plecher et al.. Dragon Tale – A Serious Game forLearning Japanese Kanji. CHI PLAY’18 Extended Abstracts. 2018,
p. 577-583.
[16] Daniel Wagner and Istvan Barakonyi. Augmented Reality Kanji205

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

1B-21
2023/3/1

Learning. ISMAR ’03. 2003, p. 1-2.
[17] “神社本庁 神道への誘い”.
https://www.jinjahoncho.or.jp/shinto/shinto_izanai, (参照 202212-20).
[18] “「和食」がユネスコ無形文化遺産に登録されています”.
https://www.maff.go.jp/j/keikaku/syokubunka/ich/, (参照 202212-20).

© 2023 Information Processing Society of Japan206