情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-072024/2/28

紙への手書きをデジタルメディアとして活用するメディア体験の提案
重本玲奈†1安藤潤人†2角康之†3野間春生†2

概要：紙に手書きすると，言葉の情報以外にも個性や感情を容易に与えられる発展性があると考える．本研究では紙にペンで書き込むだけでデジタルメディアに取り込めるアプリケーションに OCR の機能を付与し，紙片の画像に書かれたテキスト情報を付与でき，デジタルメディア上で紙片の画像を活用・再利用できるようにした．このシステムは， KJ 法や駅の掲示板，クーポンシステムへの応用が考えられる．

1. はじめに間，書き込んだ紙の識別 ID，ペン ID などを NoSQL データ
ベ ー ス で あ る Amazon Web Service( 以 下 AWS と す る )ユニクロが展開するキャンペーンの一つであるイチロー

DyanmoDB に保持し，参照できるようにした．加えて，描POST では，手書きした手紙を直接，店舗のポストに投函，画した画像に OCR を用いて，ストロークから文字情報をあるいは，手書きした手紙の画像をユニクロ社の WEB サ抽出する機能を組み込んだ．また，先行研究では表示先とイトから投稿，さらには WEB サイトからテキストを打ちしてオンラインホワイトボードサービスの Miro を使用し込んで投稿することで，イチロー選手に手紙を出すサービていたが，本提案では表示機能の幅を広げるために，スを提供している[1]．この WEB サイトでは，こうやってNoSQL データベースと連動する自作の表示環境を掲示板投稿された手紙とイチロー選手からのメッセージを一覧でとして開発した．

きる．その際には，手書き文字や絵とテキストの文章が混ざって表示されている．このように混ざって表示されるこ

3. システム概要とで，各々の個性がより強く現れる．

3.1 手書き入力デバイス

この個性とは，紙に手書きするときに文字の大きさ・太本提案では紙に実際に手書きしたストロークを記録するさ・形状・勢い・図形や絵などを活用して直感的に想いをデバイスである NeoLAB 株式会社の Neo smartpen を用い表現し，書き手の個性を誰でも直ちにかつ容易に表現できる．このペンで専用の微細な画像コードが埋め込まれた用ることが起因していると考える．また，手書きではその時々紙である N ノートに書き込むことで，ペンのストロークデの感情を表現にのせることもできると考える．この 2 点でータをデジタル化できる．N ノートにはドットが印刷され紙に手書きすることで，言葉に載せられる以上の情報を容ており，ペンに内蔵されているカメラでドットを読み取る易に与えられる発展性があると考える.

ことで，ストロークの X 座標・Y 座標と同時に，記述した本研究では，紙にペンで書き込むだけでデジタルメディアノートの ID(ノートの種類)とノートページとペン ID を取に取り込めるアプリケーション機能を追加し，デジタルメ得している．

ディア上でのデータを活用できるシステムを提案する．特現在，Neo LAB 社によってスマートフォン向けのアプリに本稿では，先行研究で作成した紙に手書きしたものを，ケーションの SDK が公開されている．この SDK は，スト単にイメージとして取り込むだけでなく，手書き文字認識

ロークを Bluetooth 経由でスマートフォンを介して取得し，機能により，その意味を理解するための機能を開発した[1]．

端末内でレンダリングする機能のみが実装されており，デ2. 提案方針
先行研究では，紙に手書きした付箋を用い，デジタルとアナログの利点を融合したハイブリッド形式の学会での意
見共有掲示板を提案した[2]．この提案時は付箋状の紙に手書きしたストロークデータを取得し，デジタルメディアの掲示板上で画像として図 1 のように表示した．
本提案では，紙への手書きをデジタルメディアに取り込んで画像として表示するだけでなく，デジタルメディア上で情報として扱えるサービスを構築した．具体的には，手書き入力デバイスで取得したストローク情報と，記載した時

図 1 先行研究の提案†1 立命館大学情報理工学研究科†2 立命館大学情報理工学部†3 公立はこだて未来大学© 2024 Information Processing Society of Japan1093

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-072024/2/28

図 2 システムの流れ

図 4 KJ 法での使用

図 3 付箋形式の N ノートというメモパッド

図 5 駅の掲示板としての使用ータの保存は行われない．本提案ではこの SDK をベース⑤

API Gateway にて取得した，X 座標・Y 座標のストロとして，ストロークデータを取得した後に，データサーバークデータ，ペン ID，ノート ID，ページ ID，画像ーに送信して保存している．の URL，文字認識の結果を DynamoDB に追加登録す

3.2 データサーバの構成
手書きによる紙への入力からデータサーバでの処理の一る．
⑥

AWS DynamoDB に登録された画像と，文字認識の結連の流れを図式化したものを図 2 とする．参加者が専用紙果を svelte で作成した web 上の表示先に表示する．に Neo smartpen で何らの書き込みを行うと，前述のようにこの時，任意の時間ごとにポーリングを行い，表示開発したアプリがそのストローク情報を保持する．そしてを更新する．

付箋形式の N ノートであるメモパッドの右上のメールマー
クの付近(図 3)をペンで長押ししすると「記載完了」を意味

4. 提案を用いた応用体験

して，記録したストロークなどの情報をすべてデータサー

今回の開発で，紙片に書いた文字を認識できるようになっバに送信する．

たため，紙に手書きされた文字をデジタルメディアとしてこれにより，以下の自動処理が実行される．

複製，検索，分析できるようになった．つまり，直感的な

①

②

③
④

AWS の API Gate way で POST として，取得した，X思いや感情がのっている手書きの画像のまま，記載された座標・Y 座標のストロークデータ，ペン ID，ノート情報の活用ができるため，紙への手書きとデジタルメディID，ページ ID が送信される．

アの利点を持ち合わせた体験ができる．具体的には，このAWS の Lambda が API Gateway へのイベントをトリ提案手法によって，KJ 法や駅の掲示板，クーポンシステムガーとして実行される．Lambda では，ペンのストロへの応用が想定できる．

ークの X 座標・Y 座標から matplotlib で散布図とし4.1 KJ 法て手書きのストローク画面を描画する．

KJ 法でブレインストーミングでのアイデアの断片の記録

作成した画像ファイルに書かれている字を Azure AI

は実際の紙への手書きで行い，その後の分類や文章化をデVision の OCR サービスで自動認識する．

ジタルメディア上で行える．試作した環境を図 4 に示す．

作成した画像を AWS S3 に追加し，その画像の URL

アイデアを紙に手書きすることで，誰でも直感的に絵や図を取得する．

を用いながらアイデアを出すことができる．

© 2024 Information Processing Society of Japan1094

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3A-07
2024/2/28

すことを目標している．そして，直感的に想いを表現できる紙への手書き表現と検索・分析・共有・複製がしやすいデジタルメディアの各々の利点を持つより新しいメディア体験を生み出し，その体験が人々にとって有用かを検証していきたい．
謝辞

サイボウズラボの生田泰章氏には，研究の進め方やシステムの開発について有益な助言をいただきました．心より感謝申し上げます．公立はこだて未来大学の角研究室の皆さんにはブレインストーミングで様々なアイデアを出していただきました．ありがとうございました．
図 6 クーポンシステムとしての使用
4.2 駅の掲示板
駅の掲示板の応用では，駅の改札口付近に設置されていた掲示板のように手書きしたメモを共有するサービスが考えられる（図 5）．駅の典型的な掲示板として，紙片を貼り付

参考文献
[1]

“イチローポスト”. https://www.uniqloichiropost.com/, (参照2023-12-21).
[2] 重本玲奈，安藤潤人，野間春生. デジタルとアナログの利点を融合した学会発表での意見共有掲示板の提案. インタラク
ション 2023, 2023．

けるスペースを作成する．そこに本提案システムを用いて手書きした紙片を貼る．この時，掲示板に共有されている情報は，web サイト上でも確認でき，記載した内容や時間などをリモートで検索・確認でき機能が考えられる．感情を載せて記載した紙片は，駅の掲示板と web サイト上のどちらでも見られると考える．
4.3 クーポンシステム
クーポンシステムの想定される使われ方を図 6 に示す．
提案手法を用いてお店の口コミを紙片に書いて掲示板に共有することで口コミとして広める．そして，口コミを書いた人は口コミを書いた紙片をお店に持っていく．すると，その紙片が証明となるため，店員はその紙片に書いてある文言と掲示板上にある紙片を比較し，合致していれば，クーポンとして使用できる．そうすることで，購買意欲を高められると同時に，記載した情報をオンラインで公開できる．そして，お店を探すユーザは，オンラインサイト上で口コミやお店の情報やキーワードを掲示板上で検索できるようになると考える．

5. おわりに本研究では，先行研究で作成した，アプリケーションに機能を追加し，デジタルメディア上でのデータを活用できるシステムを提案する．OCR の機能を付与したことで，紙片の画像に書かれたテキスト情報を付与でき，デジタルメディア上で紙片の画像を活用・再利用できるようになった．
その OCR の結果に自然言語処理を施すことで，紙に手書きされた言葉が分析できる様になった．この機能を発展させると，同じ言葉が書いてある紙片や内容が似ている紙片を自動抽出することもできる．これらの機能を実装することで，書き込んだ多くの紙片群のグループ分けを容易にし，その振り分け結果から新たな発見を促進する体験を生み出© 2024 Information Processing Society of Japan1095