WISS2008

ペン・ペーパーデバイスを用いた帳簿の管理・検索システム
A system for managing and retrieving books that uses a pen device

秋田 宣嗣

織田 英人

寺田 達也

中川 正樹∗

Summary. This paper presents a system that accumulates， manages and retrieves handwritings fromprinted PDF documents．The proposed system allows people to annotate on a printed PDF document，store annotations in digital ink and make annotations searchable．It applies handwriting recognition
to digital ink and stores the result as the metadata．The recognition result is employed for the searchfunction that searches for a keyword in the metadata．Therefore， the system can retrieve a keyword
even if it is not typed but annotated by pen．

1

はじめに

『書く（描く）』という行為は，初等教育でまず初めに学ぶ情報入力の手段であり，IT 化が進んだ現在においても，キーボード入力に比べ誰もが容易に行える．十数年前は，社会全体の IT 化に伴い，紙文書が電子化され，ペーパーレス社会が促進されていくであろうと予想されていたが，今もなお，人々はノートやメモなどの紙を利用し，教育機関においてもペーパーテストが行われるなど，紙の重要性は変わっていない．これに伴い，近年，紙に書き込んだ内容を読み取るための様々な方式のペン・ペーパーデバイスが発売されている．そこで本研究では，ペン・ペーパーコンピューティングを普及させるため，手書きというアナログ行為と誰もが日常的に行っている手書きとコンピュータのシームレスな統合，すなわちアナログ行為とデジタル技術を接続するシステムの開発を目指す．本研究は次の３点から成る．

• 手書きデータを価値のあるデータとして蓄積する．

• 手書きテキスト認識・検索技術を用いることにより手書きデータの価値を向上させる．

• ペン・ペーパーデバイスの利用場面を確立する．
提案するシステムでは，印刷された文書にペン・ペーパーデバイスを用いてアノテーションを筆記し，それを電子的に取り込むことで帳簿ファイルに反映する．また，アノテーションを認識し，これの検索も可能とする．

2

提案する機能ペン・ペーパーコンピューティングを普及させるため，アナログ行為とデジタル技術を接続するイン∗

Copyright is held by the author(s).
Yoshitsugu Akita， Terada， Hidehito Oda and Masaki
Nakagawa， 東京農工大学大学院 工学府 情報工学専攻

タフェースの整備を提案する．

2.1

手書きデータを価値のあるデータとして蓄積

従来のペンコンピューティングでは，ペンはキーボードの代用品として，例えば，入力したい漢字の読みがわからない場合など，ごく限られた用途にだけ用いられていた．そこで，紙に手軽に文字や絵図，文章に関する簡単な注釈やコメントなど（以下，アノテーション）を書き込むことで手書きの利点を最大限に活かすとともに，筆記された情報をパソコンに大量に蓄積することで，それを再利用することを容易にする．
手書きデータの保存には InkML を使用する．InkML
はペンの筆点座標を XML で記述するための仕様で，現在 W3C から草案が公開されている．ペンデバイ
スのデータ形式は各ベンダーがそれぞれ独自のものを使用していたが，これを共通化することで開発したソフトウェアを様々なペンデバイスに対応させることが容易になる．
次に InkML で保存されたアノテーションを，該当する PDF の文書上に再現する．再現には PDF のAPI で定義された関数を使用する．
再現されたアノテーションの例を図 1 に示す．

2.2

手書きテキスト認識・検索技術を用いることにより手書きデータの価値を向上

手書きは，文字や絵図などが混在する柔軟な入力ができるという利点がある．しかし，その反面，蓄積された手書きテキストの量が多くなるにつれ，それを効率よく管理・再利用することが問題となる．この問題に対して，2．1 で蓄積された手書きテキストに対して認識や検索技術を提供することで，手書きデータの再利用性を向上し，人間の知的能力を増強させる．データの認識や検索技術には，当研究室で開発した手書き文字認識・検索技術 [1][2] を用いる．
本稿における手書き文字認識・検索技術では，完全にWISS 2008

検索システム部分には文書内のアノテーションを検索した結果を表示する．サムネイル部分には文書全体をサムネイルとして表示する．

図 1. アノテーションが付加された文書例

手書き文字をテキスト化するだけではなく，認識結果をデータ検索用のメタデータとして扱い，データの再利用性を向上させるなど，各種アプリケーションで再利用することを意識した適切な加工を行う．
図 3. ソフトウェアの構成図

2.3

使用するペン・ペーパーデバイス

提案するシステムでは，有限会社海連から発売されているペン・ペーパーデバイスである Technoteシリーズを使用する．このペン・ペーパーデバイス
は，普通紙を載せて専用のペンで書くことで手書きデータを保存することができる．また，横長にも縦長にも配置することができ，立ち作業の現場などでの帳簿への記入にも適している．他のペン・ペーパーデバイスも同様に専用のペンを使うものが多いが，Technote シリーズはマルチカラー識別システムを備えており赤，青，黒の三色を使用でき，紙への記入時に情報量を多くを持たせることができる．Technoteの一つである TN-A401 を図 2 に示す．

図 2. 海連社製 TN-A401

3システムの試作第２章に示した機能を備えた帳簿へのアノテーションを電子的に管理・検索するソフトウェアを試作した．図 3 に試作したソフトウェアの構成図を示す．本ソフトウェアは，文書表示部分，検索システ
ム部分，サムネイル部分から成る．文書表示部分には，アノテーションの付加された文書を表示する．

システムの評価実験

4

試作したシステムの評価実験を予定している．

4.1

評価実験

試作したシステムに関する評価実験を行う．主にシステムの使用感とそれぞれの機能についての有用性を調査することを目的とする．

5まとめ

本稿では，印刷された文書にペン・ペーパーデバイスである TechNote シリーズを用いてアノテーションを筆記し，それを電子的に取り込むことで帳簿の原文書ファイルに反映し，反映されたアノテーションの認識・検索を可能とする設計とソフトウェアの一例を示した．ペン・ペーパーデバイスを用いることで，手書きによって文書を電子的に保存することができる．今後の課題は，ユーザインターフェースデザインの検討と機能拡張を行い，実用性を高めることが挙げられる．

参考文献[1] M． Nakagawa and M． Onuma． On-line handwritten Japanese text recognition free from constrains on line direction and character orientation， In Proc． 7th ICDAR ， pp．519-523， Edinburgh， Aug． 2003
[2] H． Oda， et al． A search method for online handwritten text employing writing-box-free
handwriting recognition， In Proc． 9th IWFHR ，pp． 545-550， Tokyo， Oct． 2004．