WISS2005

SmartWrite:紙のシンプルさを追求した手書きメモツールの開発
SmartWrite: Peperlike pen-based memo tool pursued brevity

美崎 薫

加藤 直樹∗

Summary.
This paper describes the memo tool, ’SmartWrite,’ a pen-based memo environmentthat can be treated like paper and has a similar feel. Computers are now in common use in everyday
tasks. However, paper notebooks and memo pads are still used for rapidly writing down ideas. To
confer the benefits of the computer for memo writing, we adopted the following design principles inthe development of the SmartWrite: (1) use of a page-like design; (2) obviate unnecessary operations;(3) long-term usability; (4) ease of browsing; (5) handwriting and keyboard input; (6) able to treat
memos and photographs seamlessly. This paper presents the details of these policies, user interfaces, andfunctions of the SmartWrite.

1

はじめにコンピュータ技術の高度化と低価格化が進み, 日常の様々な場面でコンピュータに接するようになってきた. 計算や文書作成などコンピュータを利用していることを明らかに意識するとき以外にも, 電車の中で音楽を聴くときやビデオ録画操作など, いろいろな活動においてコンピュータを利用している. このように次々にコンピュータが生活の中に入ってきているものの, まだ充分にコンピュータが活用されていない分野は存在している. たとえば, アイデアをメモしそれを見るという作業に関しては, まだ依然として紙の手帖やノート, メモ帳が使われることが多い. これは, いわゆるヘビーユーザーと呼ばれるコンピュータに精通している人たちの間でも, 同様な状況である. この理由としては, 電源を入れてソフトウェアを起動する準備作業や文字ベースで使用するコンピュータは, アイデアをすぐに図入りでメモをする作業には適していないということが挙げられる.
これらの問題点を解消するために, 準備作業が必要なくペン入力が可能な PDA(Personal Digital Assistants) をメモ帳代わりにと目標を立てた製品化が行われてきたが, 画面 (筆記領域) の大きさ, 応答速度, 筆記情報の精細さ (きれいさ) が十分でなく, 成功の域に達していない. 携帯電話に押されて PDA というジャンル自体が危機に瀕している話もある.「紙」らしさを実現するためには, ハードウェアの制約はきわめて重大である. PDA は奮わないが、フルスペックのコンピュータの機能をもつ Tablet PC やSONY 製 VAIO U などメモ作業に適応可能なハードウェアが製品化されている. メモ作成を目的としたソフトウェアも Microsoft の One Note や Jour∗c 2005 日本ソフトウェア科学会 ISS 研究会．
°MISAKI Kaoru Misaki,oﬃce ZeRO, Naoki Kato, 東京
学芸大学

nal,Pen Plus 社の Pen Plus を代表として製品化が進められている.
キーボードベースであれば, タブを利用して複数のメモを切り替えられることを特徴としたものや, デスクトップに貼り付けられることを特徴とした付箋紙型など, 様々なソフトウェアがフリー/シェアウェ
アとして公開されている. メモのスタイルは一人一人異なり, 既存のソフトウェアでも十分な人もいれば, まったく適応しない人もいる. そこで, 第 1 筆者
は, 紙の感覚で扱え, とにかくシンプルに使えるメモ環境を実現する Smart プロジェクトを立ち上げた[1]. 本稿では,Smart プロジェクトの一つとして開発を進める手書きメモツール SmartWrite(MicrosoftWindows 用) について述べる.

2基本設計SmartWrite はペンコンピュータ (Tablet PC など, 表示一体型タブレットを有したペン入力可能なノート型パーソナルコンピュータ) を, メモ作成に十分な紙の模倣とすることを目指すソフトウェアである [2]. 一般的なキーボード＆マウスベースのパーソ
ナルコンピュータを利用している際のメモ作成にも利用することを想定している.SmartWrite のコンセ
プトを次に示す.
2.1

長く使えること・閲覧が容易なこと紙を模倣したソフトウェアを実現した場合, 作成したデータがそのソフトウェアに依存していることが多い. 先に示した One Note や Journal はその例である.PDA に搭載されているメモソフトは SONY
製 CLIE の手書きメモを筆頭に独自フォーマットであることがほとんどである. データがソフトウェア独自のフォーマットであると, データの寿命はソフトウェアの寿命にしばられるし, ソフトウェアがイ

WISS 2005

ンストールされていない環境では閲覧もできない.
データ自体は汎用のたとえば BMP、PNG、JPEG等であるとしても, 保存するフォルダがアプリケーション直下で移動できないため, 記憶媒体の容量の制約などから, 移動したり保存することが困難であることも少なくない. この問題を解決するために,SmartWrite
ではデータ形式を一般的なものとし, 保存場所はユーザが自由に設定可能とする.

2.2

保存操作が必要ないこと

紙になにかを書いた場合, 情報はその瞬間に記録され, 保存する作業は必要ない. そこで, 紙を模倣するソフトウェアでは, 保存作業を必要としないことが望ましい.

2.3

文字は手書きとキーボードによる入力が可能

メモは日常活動における思い付きを記録する, つまり, 短期記憶の外在化を行う面を持ち, 書きたいときにすぐに書けることが重要である. したがって, そのときに使うことが可能なデバイス, ペンコンピュー
タならペン, デスクトップコンピュータならキーボードでメモ作成できることが重要である. メモ書きは短期記憶から長期記憶への意識的な記銘処理と助けると考えられる. 手書きでメモを書くことは, 文字の集合としてだけではなく 2 次元的な画像として記憶されることを考慮すると, 目視 (browsing) による検索などで有利に作用すると考えられ, 手書きを重要なメモ作成の方法と位置づける.

2.4

メモと写真をシームレスに扱える

Smart プロジェクトでは, 写真 (画像ファイル) をメモと同列に扱うことを前提としている. メモが考えを記録するのに対して, 写真は見たものを記録する手段である. さらに, 記録写真を見ることによって新たな発想を得て, その上にメモをしたくなることがある. これらのことから, メモと写真を区別なく扱えると便利である.
2.5

ページモチーフを持つことページを持つことを, 紙を模倣するソフトウェアに対する重要なモチーフとして位置づける. 小さな画面に多数の情報を表示する方法としては, スクロールの利用が標準的となっている. しかし, スクロールは一覧性を損なうこと, 特にペンによる操作は煩雑であること, そして, そもそも紙らしさを損ねることから, 紙を模倣するソフトウェアには合わない. 一方
で,1 ページに表現できる情報量は限りがあるため,複数のページ間の移動をスムーズに行なえることが重要となる.

図 1. 全画面モードとウィンドウモード

33.1

機能とユーザインタフェース
メモ紙

ペンコンピュータ自体が電子化した紙と感じられるように, 画面全体を書き込みが行なえる領域 (メモ紙) とする (1). この状態を全画面モードと呼ぶ. また, 複数のメモを同時に扱いたいことや, 他のアプリケーションと並行して使いたいことも考えられるため, 画面内に複数のメモ紙をウィンドウとして開くことができるウィンドウモードも提供する.
Web ブラウザを利用した調べ作業などを行ないながらのメモ作成の場合, その内容を見ながらメモをとりたいことがある. ウィンドウモードがその解決方法の一つであるが, 書き込める領域が大きい全画面モードを常に使いたい要求のために, メモ紙を半透明にすることを可能とする (2). ウィンドウモー
ドにおいての半透明機能は, 後述するキャプチャ機能を向上させる効果もある.

3.2

背景-デザイン, キャプチャ, 写真へのメモ

画面, もしくは, ウィンドウが紙であることを誘発(アフォード) するために罫線などを表示する手段がとられることが多い.SmartWrite では, 任意の画像を背景に貼ることで, 同様の効果を狙う. 先にも述べた他のアプリケーションの出力情報を見ながらのメSmartWrite: Peperlike pen-based memo tool pursued brevity

図 2. 半透明機能

図 4. 写真へのメモ書き

図 5. 写真オブジェクトとテキストボックス
図 3. キャプチャ機能

モ作成では, その出力自体をメモ紙に記録し, その上にメモを書き込みたいことがある. そのために, メモ紙の下の画像 (メモ紙が表示されていなければ見える画面) をメモ紙に背景の代わりとして取り込むキャプチャ機能を提供する (3).
また, 過去に撮影した写真にメモを書き込む作業をしたいことがある. このために, 写真を背景として取り込むことを可能とする (4). 先の紙らしく見せるための画像とこの写真画像は, 同じ画像ファイルであるが,SmartWrite では次の違いを持たせる. 一つは取り込み方で, 背景画像はサムネイル一覧から選択する方式とするのに対して, 写真画像は後述する
ドラッグ＆ドロップを基本とする. また, 背景画像を変更するとその変更を記録し, 次にメモ紙を新規に開いたときには, 前回利用した背景画像を利用する.
一方, 写真画像を取り込んだ場合は, その写真に含まれる撮影日時などの情報をメモ紙の中に表示する.

3.3

文字列の入力

書きたいと思ったときに手書きでもキーボードでも入力可能なように, モードは設けない. 常に, ペンライティング (ペンによるドラッギング) を行なえばその筆跡を描け, キーボードをタイプすれば文字の入力を行なえるようにする. 文字の入力位置は, 最初に Enter キーを押した場合はポインタの位置, 最初から文字をタイプした場合は任意に設定した場所となる二通りを用意する. 後者は定型的なメモのための機能であり,Enter キーを押す必要がないため, より早く文字列の入力が可能となる. 一方, 前者は任意の位置に文字列を書き込むための機能と位置づける.
キーボードがタイプされると, 上記位置にテキストボックスが表示され, タイプされた文字列はその中に入力されていくようにする (5). テキストボック
スも 2.5 節に述べたことと同じ理由で, スクロールは取り入れない. 文字列の横幅がボックスの横幅より長くなったときには自動的に折り返し, 縦幅に収まらなくなったときには, 収まるようにフォントサイズを小さくする.

3.4 写真オブジェクト
1 枚の写真に対してメモを書き込む場合は, 写真を背景として取り込めばよい. さらに, 複数の写真をメモ紙に貼り付けて, それに対するアノテーションも行なえるようにする (メモ紙に貼り付けられた写真を写真オブジェクトと呼ぶ. 図 5). 背景と写真オブジェクトの違いは, 後者が位置や大きさを変更できる点である.

WISS 2005

複数の写真をメモ紙に貼り付けるために, 後述するドラッグ＆ドロップによる起動において複数の写真ファイルを同時にドロップする方法と, ウィンドウモードにおいてウィンドウ内に写真をドロップする方法を提供する. 複数の写真を写真オブジェクトとして取り込もうとしたときに, まず 1 枚だけドロップしてメモ紙を開くと, その写真は背景として取り込まれてしまう. 逆に, メモ紙を開いてから写真を背景に取り込もうと, 写真ファイルをドロップしてもそれは写真オブジェクトとして取り込まれる. このようなときに意図した状態へするために, 背景に取り込んだ写真を写真オブジェクトへ, 逆に, 写真オブジェクトを背景へと変換する機能を用意する.

3.5

起動

メモ紙をすばやく開けるように,SmartWrite は常駐ソフトとし,1 アクションでメモ紙を開ける. アクションとしては画面端に置いた起動バーかタスクト
レイのアイコンをクリック (タップ) する操作を採用する. SmartWrite を起動する (二重起動することになる) 操作をした場合も, ユーザはメモを開きたいために起動操作をしたと考えるのが妥当であるため,メモ紙が開かれる.
起動バーを用いる操作は, ペンによる操作ではペン先を画面の端 (液晶と枠の段差) に引っ掛けることで容易に実施できる操作であるために採用した.
アイコンのクリックなどは視ながらでないとできない操作であるが, 画面端のクリックは手の感触だけで操作が可能になる. デスクトップ機でタブレットを使うような相対座標の場合にも同様で, ポインタをアイコンの上に移動する作業は視認しなければ無理だが, 端に移動するだけなら手の感触だけで行える. 画面の端は, 右利きの人には右端, 左利きの人には左端は移動距離が短かく, 手でディスプレイを覆わない, という特徴がある. この位置ではペンが垂直に近い立ち方をするため, ポインティングもしやすい.
いっぽう, 利き腕の逆の端の場合, 移動距離は多くなるが, ディスプレイを支えとして使えるため楽だというユーザーもいる. そこで, 上下左右どの端にするか, および, 起動バーの幅は任意に設定可能とする.
最初から写真を取り込んだ状態で開く方法として, 起動バー, または,SmartWrite のアイコンに対して写真ファイルをドラッグ＆ドロップする方法を提供する. さらに, 後者の方法を実現すると MicrosoftWindows の仕組みから, 写真ファイルの起動プログラムを SmartWrite に指定しておくことで, 写真ファイルに対してダブルクリックをするなどの開く操作を行なうことでも, その写真を取り込んだ状態のメモ紙が開かれることになる.

44.1

ファイル形式
Exif(JPEG) 形式の採用

第 2.1 節の基本方針から,SmartWrite では広く普及している JPEG(Joint Photographic ExpertsGroup) 形式 [3] を採用する. 正確には JPEG 形式のアプリケーションセグメント APP1 に附属情報を記録できる Exif 画像ファイル規定 (Exif: Exchangeable image fileformat)[4], を用いる.JPEG 形式を採用することで,Microsoft Windows 標準のファイルビューワでメモの内容一覧を閲覧することが可能である.Exif はデジタルスチルカメラでの採用が最も多い形式であり, 写真とシームレスに扱うのにも都合がよい.SmartWrite では, 書いたメモを見て応用することを最重要視しているのである.
ペンで筆跡を入力できるソフトウェアでは, 後で筆跡に対して認識などの後処理をできるように, 筆跡を構成する座標点列を保存するベクトル形式を用いることが多い. しかし, ベクトル形式には標準的なフォーマットがない. JPEG 形式は基本的には不可逆圧縮方式であり, 生成した時点で劣化が起こる. その画像に対して追記をし, 再び保存すると, さらに劣化は進む. しかし, メモソフトと位置づければ, 何度も追記をすることはさほど多くないと考えた.
メモの必要を筆跡の文字化と考えると,JPEG 形式は望ましくないが, 筆跡の認識は, 修正なしには使用できないと考え,SmartWrite では文字認識をせず, ビットマップでペンの軌跡を残すこととした. メ
モを書いているときには, 誤認識の修正のをかけるほどの時間的余裕はないし, メモを見て修正する場合には, キーボードを用いたほうが遙かに効率的である. いずれにしろ, 誤認識の修正を強要する構造にする必要はない.

4.2

時刻情報の記述とフォルダ作成

SmartWrite での保存は自動的に行われる. 保存はウィンドウを閉じた時点で行い, 作成されたファイルは自動的に任意のフォルダに保存できる. 任意のフォルダとは, 具体的には年-月-日の階層構造をもったフォルダとし (変更は可能), ファイル名も年-月-日と時刻を使用した．
実物の紙に記録した場合と異なり, コンピュータで保存する場合には保存時には, 自動的に日時の情報を付加可能である. 紙に走り書きのメモをした場
合で, 実はそのメモをした日時が重要であることは少なからず考えられるが, 実物の紙を使用する場合日時はユーザーが付加する義務を負う. この点でコンピュータ上の紙メモソフトは実物の紙に対してアドバンテージをもつ.
ファイルはメモ作成終了時にその日のフォルダに自動的に保存されるため, 紙のメモのように「メモをなくす」ということが起こりにくい. もっとも, 最SmartWrite: Peperlike pen-based memo tool pursued brevity

初からコンピュータのファイルとしてメモを保存してしまうため, そのファイルを開く操作をしなければ, メモを見ることさえできないということになる.
これはコンピュータでメモをとる場合には, 回避できない問題である.

4.3

取り込み写真の情報継承

1 枚の写真にメモを書き込む場合は, 写真が撮影された日時などの情報を取っておくと便利である.
そこで, 取り込んだ写真ファイルに埋め込まれている Exif 情報の一部を継承して保存する. 保存するのは,ImageDescription(タイトル) タグ,Artist(撮影者名) タグ, 撮影日時が含まれる ExifIFD(Exif 固有タグ集合) とする.
4.4

独自情報の格納画像として保存することとしたため, キーボードを用いて入力した文字も画像化されてしまい, 符号化情報 (文字コード) が失われてしまう. 符号化情報を保存しておくことで, 検索が容易になる. また, 背景や写真オブジェクトとして取り込んだ写真ファイルの名前を保存しておくことで, 元の画像を取り出すことが可能になる. そこで, これらの情報を保存する.
保存はファイルの複写や移動を行なっても失われないように JPEG(Exif) ファイル自体に埋め込む. 埋め込む場所は JPEG のコメントセグメント COM0とする.Exif の UserComment タグに埋め込む方法も考えらるが, コメントセグメントに埋め込んだ情報は Microsoft Windows 標準のファイルビューワで閲覧可能であるためと, 背景に取り込んだ写真のUserComment と衝突しないために, コメントセグメントに格納する方法を選択した. なお, 埋め込む情報は XML 形式で格納する.

55.1

SmartWrite の実空間での運用3 週間で 497 枚、6 カ月で 1,188 枚のメモ

実際に, 第 1 筆者は, このプロジェクトの最中の2005 年 7 月と 8 月に合計して 3 週間 (2 週間+1 週間) にわたって紙と SmartWrite とをヘビーに併用する機会を得た. とくに前期 2 週間は紙と SmartWriteのみを使用しキーボードつきのコンピュータは使用しなかった. 後期 1 週間は紙と SmartWrite のほかにキーボードつきのコンピュータも併用した. 使用した紙は,B5 判のノートと A4 のコピー/プリント用紙, およびファイロファクスサイズのシステム手帳用紙である. ノートはリングタイプだが,A4 とシステム手帳用紙はフォルダを用いず, ばらばらに 1枚ずつの用紙として使用した. この間に作成した紙のメモは約 162+4 枚,SmartWrite によるメモは約377+120 枚である.SmartWrite は、2005 年 3 月から使用しており,2005 年 8 月末までに合計して 1,188

図 6. ディスプレイサイズと記述できる文字数枚のメモを作成する利用実績がある.
この 3 週間のみの特徴では, 期間を経るにしたがって,SmartWrite の使用比率が高まっていくことがわ
かる. これは, 日常的に使うツールとして SmartWriteに使い慣れるということもあったし, 紙のメモは枚数が限られ, 新規に紙メモを追加する場合, 新規にノートを入手する必要がある, などの理由による. 特筆すべきは後期 1 週間で作成した紙メモが, わずか 4 枚に留まっているという事実であろう. 新規にノートを用意したにもかかわらず SmartWrite の使用比率が紙メモの比ではないことを考えあわせれば, 第 1筆者に限っていえば,「SmartWrite は紙を超えた」のかもしれない. メモは、800 × 600 ピクセルの全画面モードで使用した.

5.2

ディスプレイサイズと記述できる文字数

SmartWrite はディスプレイのサイズ (およびユーザーの記述する文字のサイズ) によって決定的に文字数に差がでる. そのため, 単純に枚数の多寡を紙と比較することはできない. 使用した例は図 6 のようになる.
5.3

紙と SmartWrite の比較

紙のメモはメモが容易であり使い慣れてきた, ハイクオリティであり軽量であり, 共有しやすいというメリットがあるいっぽうで, 暗がりでは使用でき

WISS 2005の重ね書きはなかった.1 枚のメモのファイルサイズは、800 × 600 ピクセルの場合 60KB 程度であるため,1 万枚でも 600MB 程度にすぎず, 現在のように記憶媒体が豊富に存在する場合, ほとんど枚数に制約を受けないなど, 従来紙の問題とされていたいくつかを克服することができている.
実体験で紙のメモが 4 枚と激減していることからもわかるように, 第 1 筆者にとっては, ほとんどSmartWrite は紙の域に達しており, 紙にノスタルジーを感じることはあっても, 情報処理のツールとして紙を使うことは, 金輪際ないだろう.
図 7. 重複して文字を書いてしまった紙のメモず, 無理に使用すると文字を重ねて書いてしまい判読不能になり, メモの体をなさない（図 7）, 筆記には別途筆記具が必要である, ばらばらになると順番を直すことが困難であるなどの問題があることが判明した. 前述のように, 紙のメモは枚数にしばしば制限を受けることもわかった. 重要な内容を目立たせるために,「書き写し」作業がひんぱんに発生し, 時間的/用紙的な無駄も少なくなかった.
メモのなかには時刻情報が決定的に重要であることがあるが, そのメモに時刻情報を追加するためには, メモをとる度に時計を参照する必要があり, 継続して記述し続けることはたいへん困難であることを痛感した. ルーズリーフなどの場合, ばらばらになってしまう問題もある. ばらばらになって日付が書いていない場合, 元の状態に戻すことはきわめて困難であり, 別途ナンバリングや日付印などを併用する必要があることがわかった.
梅棹はカードと同時に日付を入れることを提唱しているが, 訓練によって日付をいれることができるようになったとしても,(2 週間同じ風景の場所に拘束されることによって) 時間感覚を失ったり,2000 年問題で注目されたように年号を 2 桁で書いたり, 時計を読み間違えたり, 疲労困憊していてメモを書くので精いっぱいだったりするような場合に, 時刻まで記述するのはきわめて困難であり現実味がない.
SmartWrite は動作に電源が必要であるという決定的なデメリットはあるが, メモをとる場合, 自動的に日付と時刻を記述し, 順番を整理してくれるため,のちの整理の作業効率を向上できる. 第 4.4 節のように,SmartWrite で記述したメモには,「SmartWrite」のタグが埋められており,「SmartWrite」の文字を検索するだけで, メモの総数を知る作業を容易に行える. いっぽう紙の場合, メモの総数をカウントするためには,1 枚ずつめくって数える必要がある.
液晶が発光する場合, 暗がりでも容易に文字を記述できるし, 次々と新規のメモを作成すれば新規の白紙ページが現れるため, 紙のメモに存在した文字

6

おわりに

本稿では, 紙の感覚で扱える手書きメモ環境を目指して開発を行ってきた SmartWrite について述べた. 手書きメモ環境を実現するソフトウェアは, はじめに述べたとおり数多く製品化されているし研究としても数々行われている. その中で,SmartWrite は,ライターとして長年活動してきた中で得られたメモ活動に対する要求と, ペン入力インタフェースの研究から得られた設計指針をすり合わせることで, 少なくとも現状において最良のメモ作成環境とすることを試みている. 特に, 閲覧まで考慮したメモソフトは少なく, 閲覧ツールとして同時に開発を進めている SmartCalendar との連携を強めることで, メモ環境としての完成度を高めつつある.SmartWrite は
http://smartproject.hp.infoseek.co.jp/からダウンロードして利用することができる.

謝辞
本研究は情報処理推進機構未踏ソフトウェア創造事業採択プロジェクト「SmartWrite/SmartCalendar」の一環として行なわれたものです. また, 本研究の一部は, 科学研究費・若手研究 (B)17700096「野外における情報収集および情報交換活動を支援する情報機器に関する研究」の補助によります.

参考文献[1] 美崎薫, SmartWrite/SmartCalendar:手軽に書けるメモとメモと写真を見続けるカレンダー環境の実現, 情報処理学会研究報告 (HI-114), Vol.2005,
No.71, pp.71-76, 2005.
[2] 加藤直樹, 美崎薫, SmartWrite:シンプルさを追求した手書きメモツールの開発, HI シンポジウム
2005 講演論文集, 1, pp.127-130, 2005.
[3] CCITT T.81, http://www.w3.org/Graphics/JPEG/itut81.pdf.
[4] JEITS CP-3451, http://www.exif.org/Exif22.PDF.
[5] 梅棹忠夫, 知的生産の技術, 岩波書店, 1969.