DEIM Forum 2014 A4-5

電子ドキュメント上での書き込みを支援する
手書きアノテーション認識モデル
浅井洋樹†

山名早人‡

†早稲田大学大学院基幹理工学研究科 〒169-8555 東京都新宿区大久保 3-4-1
早稲田大学メディアネットワークセンター 〒169-8050 東京都新宿区戸塚町 1-104‡早稲田大学理工学術院 〒169-8555 東京都新宿区大久保 3-4-1
国立情報学研究所 〒101-8430 東京都千代田区一ツ橋 2-1-2
E-mail: {asai, yamana}@yama.info.waseda.ac.jp
あらまし ドキュメント上にペンで情報を付加する手書きアノテーションは，資料に関するメモの記録や理解を深めるために広く行われている．電子ドキュメント上での手書きアノテーションを実現するためには，自由に書き込めながらも複雑な操作で思考を妨げない手書きの特長を生かせる UI 設計や，動的に変化するコンテンツに対応するためのアノテーション認識が必要となる．本研究では，電子ドキュメント手書きアノテーションシステム設計
支援，およびアノテーション範囲認識を目的とした手書きアノテーション認識モデルを提案する．本提案モデルでは下線や囲い込み，縦線といった一般的な範囲選択アノテーションの自動検出に加え，筆記者の意図する選択範囲推定を実現する．認識精度評価の結果，83～96%程度の精度でアノテーションを認識可能であることを確認した．
キーワード 電子ドキュメント，手書き，アノテーション

1. は じ め に
資料上に情報を書き込むアノテーション行為は，ドしても手書きアノテーションを実現できるインタ
フ ェ ー ス に 関 す る 研 究 が 行 わ れ て い る [3][4][5][6]．

キュメントと人間の間における重要なインタラクショ

しかしこれ らのシステ ムは，紙のドキュメントと同ン の 一 つ で あ る [1]．紙 の ド キ ュ メ ン ト に 対 し て 手 書 き

様な手書きアノテーションが可能であるものの，ドで情報を書き込む 手書きアノテーションは，ドキュメ

キュメント中の特定の箇所を強調するアノテーション

ントに対する理解や情報付加，編集，校正など様々なや，アノテーション情報を 付加したドキュメント中の場面で行われており，我々がドキュメントを扱う際に要素を理解可能なのはユーザのみ であり，コンピュー欠くことのできな いものとなっている ．このように紙タがその情報を処理できる状態ではない．このため，のドキュメントに対して手書きアノテーションが行わ

手書きアノテーションを支援する インタフェースの設れてきたが ，ディスプレイ上に動的に表示される電子計や，ドキュメントの閲覧性向上，検索システムの開ドキュメントに対しても手書きによる アノテーション

発が制限されてしまう．そこで本研究では この課題をを実現することに よって，電子ドキュメントの利便性解決するため，以下の 2 点を実現する手書きアノテーが向上すると考えられる．

ション認識モデルを提案する．

アノテーションの基本的な動作はドキュメント上の強調または情報付加をする箇所を選択する「範囲選 手書きによる範囲選択 と情報付加 の識別択 」と コ メ ン ト や 図 な ど の 情 報 を 記 入 す る「 情 報 付 加 」

 ドキュメント上の選択範囲 推定の 2 点で構成される．紙のドキュメント上における 手
書きアノテーションでは，ペンによる下線や囲い込み

学習データを用いて上記を実現する提案認識モデといった範囲選択とテキストや図の書き込みといった

ルのパラメータを推定し，人間のアノテーショ ン傾向

情報付加を行なっている．一方で電子ドキュメント上に基づいた アノテーション検出モデル を構築する．本でのアノテーションシステムでは，マウスやタッチ操研究で提案する手書きアノテーション認識モデルを利作によるドキュメント範囲選択とキーボードによる情用することにより，ユーザの負担を増やすことなくド報付加を行うものが一般的であり，手書きアノテー

キュメント範囲選択を検出可能となるため，手書きアションとは異なるドキュメント範囲選択操作やメノテーションシステムの設計において アノテーション

ニュー操作が加わるユーザインタフェースが提供されを支援するシステムが実現可能となる．また， 認識しる．またキーボードでのアノテーションは手書きアノたアノテーション情報を用いた情報ナビゲーションシ

テーションと比較して文字変換作業を伴う場面では非ステムや検索システムを構築することが可能となる．

効 率 で あ る と の 報 告 [2]も あ り ，電 子 ド キ ュ メ ン ト に 対

2. 関 連 研 究いることを確認している． これらの報告をもとに本研

人間のアノテーション行為を調査した報告の他に，究で扱うアノテーションについて整理する．本研究で動的にレイアウトが変化する電子ドキュメント特有のはアノテーションをドキュメントの範囲を選択する問題に対して取り組む研究や，コンピュータ上で手書「 範 囲 選 択 」と こ れ 以 外 の 書 き 込 み で あ る「 情 報 付 加 」

きアノテーションを認識する手法に関する研究が行わの 2 ス テ ッ プ に 分 け て 扱 っ て い る ．範 囲 選 択 は Marshallれている．また最近ではこれらの技術を応用した電子の 分 類 に お い て テ キ ス ト 中 で お こ な わ れ る Telegraphic

ドキュメント上での手書きアノテーションを実現する

アノテーションがこれに該当するものであり，これをシステムに関する研究が行われている ．本節では本稿参考に提案認識モデルでは下線，囲い込み，縦線の 3で提案するアノテーション認識モデルに特に関連する

種類の範囲選択の認識に対応させ る．

部分である ドキュメントへの手書きアノテーションを

ま た Wang ら の 分 類 に お い て Non-Actionable に 該 当調査した研究や手書きアノテーションを認識する手法

する書き込みが本提案モデルの認識対象である．

に関する研究について述べる．

Actionable に 該 当 す る 書 き 込 み は ， 本 研 究 の 対 象 と す

2.1. ド キ ュ メ ン ト へ の 手 書 き ア ノ テ ー シ ョ ン
本節ではアノテーション行為自体についてその種類や目的などを調査している研究について説明し，本提案モデルで検出するアノテーションの種類について
議 論 す る ． Marshall は 大 学 生 ・ 大 学 院 生 が 講 義 で 使 用するテキストを対象にアノテーションに関する調査をる電子ドキュメント上においては編集操作を意味する
ものであり，アプリケーションにおけるメニュー操作
や，本認識 モデルへの入力とは別の段階でジェスチャ
として認識すべきものであると考え，本研究での認識
対象からは除外する．
2.2. 手 書 き ア ノ テ ー シ ョ ン の 認 識

実 施 し ，そ の 結 果 を 報 告 し て い る [1]．調 査 報 告 に よ る

本節では前節で述べたような手書きアノテーショと ， 収 集 し た 150 冊 以 上 の テ キ ス ト を 調 べ た 結 果 ， アン を 認 識 す る 手 法 に 関 す る 研 究 に つ い て 述 べ る ．Wang

ノテーションの種類について次の 2 つの特徴に分類しらは電子ノートシステム上に書き込まれた手書きアノている．

テ ー シ ョ ン を 認 識 す る 研 究 [7]を 行 っ て い る ．こ の 研 究では，画像やテキストといった様々な種類のコンテン

1)

2)

Telegraphic

ツが貼り付けられたノート上に書き込まれた手書きア

テ キ ス ト 中 で は 下 線 や ハ イ ラ イ ト ，囲 い 込 み とノテーションを，図や下線，囲い込みや縦線など 7 種

いった書き込み，余白ではカッコ（本稿では縦類に分類する手法を提案している．分類における特徴

線 と 表 記 ） や 記 号 ， ペ ー ジ 全 体 の 囲 い 込 み ，矢量 と し て は Fonseca ら の 研 究 [9]で 挙 げ て い る 形 状 特 徴印といった書き込みがこれに該当する．

量と，文字の書き込みと下線の位置関係といった意味

Explicit

特徴量を用いており，これらを機械学習で分類をおこ

テキスト中では行間のコメントや外国語単語

な っ て い る ． ま た ， そ の 後 の 報 告 [10]で は コ ン テ ン ツの 訳 の 書 き 込 み ，余 白 で は 短 い 文 章 や テ キ ス ト間を接続する矢印や線といったアノテーションの認識

中では書ききれなかったコメントがこれに該について述べている．

当する．

これらの研究はアノテーションをおこなっている
手書きストロークが検出できるが，本研究の対象とし一 方 Wang ら は ア ノ テ ー シ ョ ン の 役 割 に つ い て 次 の
2 種 類 に 分 類 で き る と 述 べ て い る [7]．

ている電子ドキュメント上でのアノテーションにおいて，どの箇所を選択しているかを認識することはできない．本研究ではアノテーションの分類だけでなくド

1)

2)

Non-Actionable

キュメント上の選択範囲も検出することで，電子ド説 明 文 や 要 約 ，強 調 ，コ メ ン ト と い っ た 情 報 をキュメントのアノテーションシステム やナビゲーショ

付加するアノテーション．

ンなどの情報検索システムを構築する上で必要となるActionable

情報の認識を行う．

挿 入 や 削 除 ，移 動 や 置 換 と い っ た 編 集 操 作 を 指示するアノテーション．

3. 手 書 き ア ノ テ ー シ ョ ン認 識 モ デ ル
本節では本研究で提案する手書きアノテーション

ま た 我 々 の 以 前 の 研 究 [8]に お い て ，手 書 き ノ ー ト に認識モデルの詳細について述べる．本研究で提案する

おいて特定の箇所 を強調するアノテーションについて

アノテーション認識モデルでは，手書きアノテーショ

調査を実施した結果も，ここで挙げた報告と同様に下ン支援インタフェースや情報閲覧・検索システムへの線や囲い込みといったアノテーションがおこなわれて応用を想定したものである．入力データとして手書き

からこの目的を満たす 下線，囲い込み，縦線の範囲選

手書きストローク

択ストロークに対応させる ．認識対象となる 4 分類の範囲選択アノテーションを 表 1 に示す．

形状特徴による範囲選択分
類仮説の立案（3.3）
電子ドキュメント
範囲選択の分類（仮説）{囲い込み|下線|縦線}

構成要素の抽出とグルーピング処理（3.2）

表 1 検出対象範囲選択アノテーションの例
範囲選択分類

位置特徴による範囲選
択仮説の検証（3.4）
情報付加
ストローク

範囲選択
ストローク

アノテーション例

下線
選択範囲の推定（3.5）

選択範囲の要素

囲い込み（単一行）

範囲選択ストロークの検出

範囲選択箇所の抽出

図 1 提案アノテーション認識モデルの概要

囲い込み（複数行）

ストロークと電子ドキュメントデータを入力する．ここで入力として挙げた手書きストロークとはペンで筆記する際にペン先が画面に 触れてから離れるまでの範

縦線

囲を指す．本認識モデルは 1 ストローク分を入力デー
タとして扱うため，一筆ごとにアノテーションの認識を処理することが可能である．認識モデルの出力として得られる情報は，入力手書きストロークが範囲選択

認識対象の範囲選択ストロークの考え方として，要ストロークであるかどうかの判定結果と電子ドキュメ

素単位で選択する範囲選択ストロークと行単位で要素ント上の選択範囲 情報である．

を選択する範囲選択ストロークで分類している．要素

以上のような認識を行う提案モデルの処理フロー

単位での範囲選択では下線と囲い込み（単一行）に対を図 1 に示す．本提案認識モデルでは，まず電子ド応し，行単位での範囲選択では囲い込み（複数行）とキュメントの情報からドキュメントを構成する文字や縦線に対応している． なお筆記者によってはここで挙画像といった要素を抽出する．さらに文字データに対げた 4 種の範囲選択ストローク以外のパターンも存在

しては行単位でのグルーピングを行う．また，入力しする可能性があるため，本稿で提案する認識モデルでた手書きデータに対してはまずどの範囲選択ストロー

は開始・終了対応点を定義することで 認識パターンをクに該当するかの 分類仮説を立て ，その後仮説と抽出追加できるように設計している．

したドキュメント要素位置情報から範囲選択ストロー
クの判定を実施する．また範囲選択ストロークとして認識されたストロークは統計データに基づいた範囲選
択箇所の推定を行い，選択範囲のドキュメント要素を得る．以下の節で詳細を述べていく．

3.2. ド キ ュ メ ン ト か ら の 要 素 抽 出 と グ ル ー ピ ン グ
提案モデルが最初に行う処理として，ドキュメントに含まれる文字や画像などの要素情報を取得する． 本
節では電子ドキュメントから抽出する構成要素とそのグルーピング処理について説明する． 抽出する情報は

3.1. 検 出 対 象 ア ノ テ ー シ ョ ン

要素のサイズを示す矩形情報とその要素が表示されて本節では認識対象とする手書きアノテーションにいる座標情報である．なおこれらの情報はドキュメン

よ る 範 囲 選 択 ス ト ロ ー ク の 種 類 に つ い て 述 べ る ． 2.1

ト の 種 類（ HTML や PDF な ど ）や 要 素 の 種 類（ 文 字 ・節でも述べたようにドキュメント中の 箇所を指定する

画 像 な ど ）に 依 存 し な い 情 報 の た め ，様 々 な 電 子 ド キ ュ

手書きアノテーション には，強調や情報を付加する役

メントに対して汎用的に利用できるように設計 してい割と編集操作を指示する役割が存在する．本研究ではる．

編集操作のジェスチャ認識を行うのではなく， ペンにドキュメントの構成要素情報を取得した後に，文字よって情報を付加するアノテーションを認識すること要素に対しては行単位のグルーピング処理を行う．こが 目 的 の た め ，[7]で 挙 げ て い る ア ノ テ ー シ ョ ン の 種 類

れは行単位で選択を行 う種類の範囲選択手法に対応す囲選択ストロークの分類特徴量として それぞれの範囲

ドキュメント要素

選択ストロークの特徴 を顕著に表す次の 2 つの特徴量を採用する ．

連結距離
図 3 ドキュメント要素と連結距離

 縦横比
Hstroke
Wstroke 密度
Lstroke
Wstroke + Hstroke

るためである．具体的には要素の出現シーケンス上で隣り合う要素同士の連結距離を求めることによってグルーピングを実施する ．連結距離とは シーケンス上で隣り合う要素を囲む矩形において ，その右辺の中点と左辺の中点を結ぶユークリッド距離を表すもので，その関係を図 3 に示す．
ドキュメント内に存在するすべての文字要素に対し て 連 結 距 離 を 算 出 し ， 以 下 で 算 出 さ れ る 閾 値 𝑃を 超

な お Hstroke ，Wstroke は 手 書 き ス ト ロ ー ク の 矩 形 に お け
る 幅 と 高 さ ， Lstroke は ス ト ロ ー ク の 長 さ を 表 し て い る ．
また分類器として高速に判定可能で尐ない特徴量において可読性に優れる決 定木を用いる．なお決定木の構
築 に は R の mvpart パ ッ ケ ー ジ 1 に よ る 構 築 ア ル ゴ リ ズ
ムを用いた．

えた場合を分割点としてグルーピングを行う．
3.4. 範 囲 選 択 ス ト ロ ー ク の 識 別
̃ +2×𝑊
̅𝑃=𝐷本 ス テ ッ プ で は 3.3 で 得 ら れ た 範 囲 選 択 ス ト ロ ー ク
分 類 の 仮 説 と 3.2 で 得 ら れ た ド キ ュ メ ン ト 構 成 要 素 ・

̃ は ペ ー ジ 内 の ド キ ュ メ ン ト 構 成 要 素 t ∈ Tに
ここで𝐷
̅ は t の矩形幅における平おける連結距離の中央値， 𝑊

グループ情報を用いて，入力された手書きストローク

均値をそれぞれ表している ．

ク単位で範囲選択ストロークと，それ以外の情報付加の範囲選択ストローク識別を行う．ここではストローストロークの分類をおこなう．

3.3. 形 状 特 徴 に よ る 範 囲 選 択 ス ト ロ ー ク の 分 類
ドキュメントの構成要素抽出とグルーピングをした後に，手書きストロークの処理行う．本節では形状

本提案アノテーション認識モデルでは選択範囲をドキュメント上の開始要素と終了要素の検出によって推定する．開始要素，終了要素それぞ れに対して手書特徴を利用した範囲選択を行う手書きストロークの分

きストロークとの位置関係を利用して判定を行なう ．

類について述べる．本研究では入力された手書きスト

3.3 節 で 分 類 し た 範 囲 選 択 ス ト ロ ー ク の 分 類 に 対 し て

ロークをアノテーションにおける範囲選択を表す範
囲 選 択 ス ト ロ ー ク と ，そ れ 以 外 の 書 き 込 み で あ る 情 報

それぞれアノテーション開始対応点・終了対応点を定義し，これとドキュメント要素との位置関係から算出

付加ストローク の 2 種類にわけて考えている．手書きできる相対座標を識別の特徴として用いる ．本手法をストロークが入力された時点ではこの両者の手書きス

採用することで，本研究で対象とした範囲選択スト

トロークが混在した状態で存在しているが，最初の処理である本ステップではこの両者の識別を行わない．
ここではすべてのストロークを範囲選択ストローク仮範囲選択アノテーション

定したうえ で範囲選択ストロークの種類ごとに分類を

アノテーション開始対応点

行い，分類結果を仮説として出力する ．情報付加スト

終点ドキュメント要素

ロークとの識別については次のステップで実施する ．
本ステップで分類する範囲選択ストロークは囲い

・・・

込み，下線，縦線の 3 種類である．範囲選択ストロークの分類における特徴量として，手書きストロークの形状から得られる特徴量を利用する． 本提案モデルは
電子ドキュメント上での手書きアノテーションを支援するインタフェースでの応用を想定しているため，

相対座標
始点ドキュメント要素

アノテーション終了対応点

図 2 ドキュメント要素との相対座標

ユーザのアノテーション行為を妨げない処理速度が要求される．このため，より尐ない特徴量でシンプルに判定できる手法を選択する ことが望ましい ．そこで範1
mvpart: Multivariate partitioning,
http://cran.r-project.org/web/packages/mvpart/index.html

ローク以外への対応がこれら 2 点の開始・終了対応点を定義するのみで対応可能となる 柔軟なモデルを実現

2

AD(a, t) =し て い る ． 相 対 座 標 の 説 明 に 関 す る 図 を 図 2， 各 範 囲
選択ストローク分類に対するアノテーション開始対応
点・終了点の定義を表 2 にそれぞれ示す．

(𝑥𝑟𝑐 − 𝜇𝑥 )2 (𝑦𝑟𝑐 − 𝜇𝑦 )
1
(
+
2
1−𝜌
𝜎𝑥2
𝜎𝑦2
− 2𝜌

(𝑥𝑟𝑐 − 𝜇𝑥 )(𝑦𝑟𝑐 − 𝜇𝑦 ))𝜎𝑥 𝜎𝑦

表 2 ア ノ テ ー シ ョ ン 開 始 ・ 終 了 対 応 点 の 定義
範囲選択
分類
下線
囲い込み
（単一行）
囲い込み
（複数行）
縦線

アノテーション
開 始 対 応 点 (𝐚𝐱 , 𝐚𝐲 )ストローク矩形の
左辺中点
ストローク矩形の
左辺中点
ストローク矩形の
左上端
ストローク矩形の上辺中点

アノテーション
終 了 対 応 点 (𝐚𝐱 , 𝐚 𝐲 )ストローク矩形の
右辺中点
ストローク矩形の
右辺中点
ストローク矩形の
右下端
ストローク矩形の下辺中点分類された仮説に従って， ドキュメント要素の重心に対するアノテーション開始・終了点との相対座標を算出する．ただしドキュメント要素の大きさの変化にこ こ で ρ, σ2x , 𝜎𝑦2 , 𝜇𝑥 , 𝜇𝑦 は 2 変 量 正 規 分 布 モ デ ル に お ける相関係数，分散，平均をそれぞれ表している．
ページ内のすべてのドキュメント要素に対して入力
手書きストロークにおけるアノテーション開始・終了
対 応 点 に 対 す る AD を 求 め ， 得 ら れ た 最 小 値 が ア ノテーション開始・終了 対応点ともに正規分布の信頼区
間 99.9%に 収 ま っ た 場 合 は 範 囲 選 択 ス ト ロ ー ク ， そ れ以外は情報付加ストロークとそれぞれ分類する． 2 変量正規分布におけるマハラノビス距離の二乗値は 自由度 2 の カ イ 二 乗 分 布 に 従 う こ と か ら ， 信 頼 区 間 99.9%の 境 界 を 表 す AD の 閾 値 ADthresは 以 下 の よ う に 算 出 できる．

よって相対座標が変化することを防ぐため，ドキュメ

ADthres = 𝜒2 (2,0.001)~13.816

ント要素幅と高さがそれぞれ 1 となるよう座標変換することで正規化を実施する．つまり算出する相対座標は以下の式で表せる．

(xrc , 𝑦𝑟𝑐 ) = (以上の手順により人間の手書きアノテーション傾向にもとづいた範囲選択ストロークの識別をおこなう．

𝑔𝑥 − 𝑎𝑥 𝑔𝑦 − 𝑎𝑦
,
)
𝑊𝑜𝑏𝑗
𝐻𝑜𝑏𝑗

3.5. 範 囲 選 択 箇 所 の 推 定
前節で範囲選択ストロークと識別された手書きス
トロークに対して，最後にドキュメント要素の選択範

こ こ で gは ド キ ュ メ ン ト 要 素 tの 重 心 座 標 ， aは 表 2

囲 の 推 定 を 行 う ． 前 節 で 算 出 し た AD が 最 小 と な る ド

で定義したアノテーション開始・終了対応点の座標，
Wobjと Hobj は ド キ ュ メ ン ト 要 素 tの 幅 と 高 さ を そ れ ぞ れキ ュ メ ン ト 要 素 t target を ア ノ テ ー シ ョ ン 開 始・終 了 対 応表す．

選択箇所の始点・終点要素を求める．

点，つまり以下の式で算出し，ドキュメント要素範囲

t target = arg min 𝐴𝐷(𝑎, 𝑡)

人間の手書きアノテーションによるこれら相対座標𝑡の傾向から範囲選択ストロークの識別を行う． 具体的には人間の手書きアノテーションから算出できる相対以上によりドキュメント範囲選択箇所が推定でき，座標の分布 を確率モデルに当てはめる．人間の操作にコンピュータ側でアノテーション情報の認識を行うこよって表れる誤差は一般的に正規分布に従うことから，とができる．

本認識対象の手書きアノテーションについてもズレの分布が正規分布に従うと仮定する．よって手書きアノ

4. 評 価 実 験テーションの相対座標のデータセットから正規分布の

本節では提案アノテーション認識モデルのパラ

当てはめをおこなう． これによって得られた正規分布

メータ推定，およびモデルの認識精度の評価をおこなと入力された手書きストロークとの距離を定義するこうために実施した，被験者からアノテーションデータ

とで，その距離をもとに範囲選択ストロークの識別をを収集する評価実験について述べる．

行 う ． 本 稿 で は こ の 距 離 を ア ノ テ ー シ ョ ン 距 離 （ AD:Annotation Distance） と 呼 ぶ こ と に す る ． AD は デ ー タ
セットから得られた 2 変量正規分布と入力ストロークから得られた相対座標との距離を算出，すなわちマハ
ラノビス距離をもとに次のように定義する．

4.1. 評 価 環 境
まず実験の被験者や評価手順・環境について述べる．
本収集実験の被験者は著者らの所属する大学の学生であ り ， 被 験 者 数 は 10 名 で あ る ． ま た 実 験 を 行 う に あアノテーションを収集した．このようにすべての被験者から収集したアノテーションデータを用いてモデルの パ ラ メ ー タ 推 定 お よ び ，認 識 精 度 の 評 価 を お こ な う ．
なお被験者がアノテーションに失敗した筆記データはあらかじめ取り除いている ．
4.2. モ デ ル パ ラ メ ー タ の 決 定
本節では提案アノテーション認識モデルのパラメータ推定について述べる．前節で収集したデータを用いて正規 分布フィッティングをおこない，提案モデ
ルのパラメータを 求めた．算出したパラメータを表 3に 示 す ．ま た ，被 験 者 か ら 収 集 し た ア ノ テ ー シ ョ ン デ ー
タから算出したアノテーション開始・終了 対応点の相対座標と正規分布フィッティングの結果をプロットした グ ラ フ を 図 6～ 図 13 に そ れ ぞ れ 示 す ． 点 の プ ロ ッ

図 5 実験環境のスクリーンショット

トは実際の被験者から取得した相対座標データ，実線・破線の楕円はそれぞれ正規分布フィッティング 時

たって手書きアノテーションデータを記録するアプリの 99.9%・ 95%信 頼 区 間 を 表 し て い る ． こ こ で 示 し た

ケーションを開発し，使用した．実験に使用したハーパラメータはドキュメント中の文字サイズなど 内容にド ウ ェ ア は Sony VAIO Duo 11 で あ る ．ソ フ ト ウ ェ ア の依存するものではない，つまりドキュメントごとに依開 発 環 境 は Windows8.1 お よ び Windows ス ト ア ア プ リ

存しないように提案モデルを設計しているため，汎用ケーションである．実験用アプリケーションのスク

的に本パラメータを用いることが可能と考えられる．

2

リ ー ン シ ョ ッ ト を 図 5 に 示 す ．実 験 用 ア プ リ ケ ー シ ョ
ン は 指 定 さ れ た URL が 示 す HTML ド キ ュ メ ン ト に 対

表 3 収集データより算出したパラメータ

して手書きアノテーションが可能となっている．搭載されている機能にはナビゲーションモードと書き込みモードの 2 つが存在する．ナビゲーションモードではドキュメントのリンク遷移やスクロールといったドキュメントに対する操作をタッチ操作でおこなうことができる． 一方書き込みモードに移行するとドキュメントの位置が固定され，ペンによる書き込みのみを受け付ける状態となる．このモードでは手書きによる書

下線
囲込
単行
囲込
複行
縦線

開始
終了
開始
終了
開始
終了
開始
終了

𝛒

𝛔𝟐𝐱

𝛔𝟐𝐲

𝛍𝐱

𝛍𝐲

-0.102-0.016-0.022-0.0990.102-0.034-0.030
0.231

0.050
0.080
0.093
0.138
0.494
0.702
0.773
0.465

0.015
0.015
0.008
0.008
0.066
0.042
0.031
0.054

0.454
-0.6100.727-0.747
1.839
1.888
1.704
1.563

-0.424-0.424
0.040
0.040
0.926
-0.7810.599-0.551

き込み（アノテーション）と書き込みの消去（消しゴム）の操作のみ受け付ける状態となる．
被験者にはこの実験システムと紙に印刷されたHTML ド キ ュ メ ン ト を 与 え て い る ． 印 刷 さ れ た HTML
ドキュメントには複数箇所がハイライトされており，
被験者はハイライトされた箇所と同じ箇所を実験シス
テム上に表示されているドキュメントから探し出し，
手書きによる範囲選択アノテーションを行 う．なお被験者には一回のアノテーションには一筆（ 1 ストローク）で完結させるよう指示 した．実験では被験者に対し て 指 定 さ れ た 10 箇 所 を ア ノ テ ー シ ョ ン し ，こ れ を 3回繰り返す ．アノテーションの種類は下線，囲い込み（ 単 一 行 ），囲 い 込 み（ 複 数 行 ），縦 線 の 4 種 類 で あ り ，
被 験 者 一 人 あ た り 合 計 で 10 × 3 × 4 = 120ス ト ロ ー ク の2Sony VAIO Duo 11 (SVD1122AJ),
http://vcl.vaio.sony.co.jp/product/sv/svd1122aj.html

図 4 アノテーション分類の特徴量分布

4.3. 認 識 精 度 評 価

後 1 要 素 の 誤 差 を 修 正 で き れ ば さ ら に 最 大 で 10%の 認

パラメータの算出に加えて，被験者から収集した

識精度向上が見込めることがわかる．

データを用いて提案認識モデルの認識精度評価を実施し た ． ま ず 3.3 節 で 説 明 し た 形 状 特 徴 に よ る 範 囲 選 択

5. ま と め と 今 後 の 課 題

ストロークの分類における精度評価について述べる．

本研究では電子ドキュメント上における手書きア

被験者から収集したアノテーションデータに対して分

ノテーション環境での支援を目的とした，アノテー

類時に用いた特徴量を可視化した結果を図 4 に示す．

ション認識モデルを提案した．また代表的なアノテー

この可視化結果を参照すると，縦横比と密度の 2 つのション 4 パターンを本認識モデルに適用し，評価を

特徴量が分類する 3 クラスの範囲選択ストロークを分行った結果，筆記者に依存せずに堅牢な検出をおこな類する上で有効な特徴量であることが視覚的に確認でえることが確認できた．

き る ．ま た こ れ ら の デ ー タ に 対 し て Leave-one-out 交 差

本研究での結果を踏まえ，認識精度向上のための検検 定 を 実 施 し た と こ ろ ，100%の 精 度 を 達 成 す る こ と を討課題としては，確率分布モデルの比較検討や，コン確認した．

テンツ情報を元に分割点の重み付けモデルの導入であ次 に 3.5 節 で 説 明 し た 選 択 範 囲 の 推 定 に つ い て 検 証る．これらを検討することでより認識精度の向上が見をおこなった．本提案認識モデルを個人化せずとも堅込まれる．また，今後は本認識モデルを利用したイン

牢な認識モデルであるかどうかを検証するために，被タフェースを利用し，実際のアプ リケーションでの有験者ごとのグループデータを分割し，交差検定をおこ

用性についても検証を行う必要がある ．

な っ た ．交 差 検 定 に よ っ て 算 出 し た 精 度 を 表 4 に 示 す ．

謝
表 4 提案モデルのアノテーション認識精度
下線
囲込
単行
囲込
複行
縦線

開始
終了
開始
終了
開始
終了
開始
終了

Top-1
95.99%
92.64%
92.64%
86.62%
97.98%
97.98%
98.99%
96.98%

Top-2
100.00%100.00%97.99%
97.99%
98.99%
98.99%
98.99%
98.99%

Complete88.63%(STD: 0.0658)
83.28%(STD: 0.2107)
96.97%(STD: 0.0407)
96.98%(STD: 0.0586)

表 中 の Top-1， Top-2 は 各 範 囲 選 択 ス ト ロ ー ク の 開
始・終了オブジェクト個々の推定精度をあらわしており ， Top-1 は 完 全 に 一 致 し た 場 合 の み を 許 容 し た 場 合の 推 定 精 度 ， Top-2 は ド キ ュ メ ン ト 要 素 オ ブ ジ ェ ク ト
シーケンス上での前後 1 要素の誤認識までを許容した
場 合 の 推 定 精 度 を そ れ ぞ れ 示 し て い る ．ま た Complete
は範囲選択開始要素，終了要素ともに完全に認識成功
した場合の認識精度をあらわしている．
本実験結果をみると，行単位で要素を選択する囲い
込 み（ 複 数 行 ） と 縦 線 に よ る 範 囲 選 択 は 96%以 上 の 精
度で完全に認識をおこなえていることがわかる．一方
要素単位で選択する下線や囲い込み（単一行）による
範 囲 選 択 は 行 単 位 の 範 囲 選 択 と 比 較 す る と 10%程 度 認
識精度が低下することを確認した．またこれらの認識精度の値は他人のみの統計データを用いて推定したパラメータを利用しているため，パーソナライゼーショ
ン，つまりユーザの初期使用時にパラメータ学習を行わずにこれらの認識精度を達成できることを示している ． さ ら に Top-1 と Top-2 の 精 度 値 を 比 較 す る と ， 最
大 10%程 度 の 差 が あ る こ と が 確 認 で き る ．す な わ ち 前

辞

本 研 究 の 一 部 は JSPS 科 研 費 ・ 挑 戦 的 萌 芽 研 究（ No.25540040） に よ る も の で あ る ．

参

考

文

献

[1] Marshall, C.C., Annotation: from paper books to thedigital library, In Proc. DL 1997, pp.131-140 (1997).
[2] Hamzah, M.D., Tano, S., Iwata, M., and Hashiyama,T. Effectiveness of Annotating by Hand for
non-Alphabetical Languages, In Proc. CHI 2007,
pp.841-850 (2006).
[3] Yoon, D., Chen, N., and Guimbretière, F.
TextTearing: opening white space for digital ink
annotation, In Proc. UIST 2013, pp.107-112 (2013).
[4] Plimmer, B., Chang, S.H-H., Doshi, M., Laycock, L.
and Seneviratne, N. iAnnotate : exploring multi-user
ink annotation in web browsers, In Proc. AUIC 2010,
pp.52-60 (2010).
[5] Agrawala, M., and Shilman, M., DIZI: a digital ink
zooming interface for document annotation, In Proc.
INTERACT 2005, pp.69-79 (2005).
[6] Kaneider, D., Seifried, T., and Haller, M., Automatic
annotation placement for interactive maps, In Proc.
ITS 2013, pp.61-70 (2013).
[7] Wang, X., Shilman, M., and Raghupathy, S., Parsing
Ink Annotations on Heterogeneous Documents, In
Proc. SBM 2006, pp.43 -50 (2006),[8] 浅 井 洋 樹 , 山 名 早 人 : オ ン ラ イ ン 手 書 き ノ ー ト からの強調語抽出, 日本データベース学会論文誌,
Vol.10, No.1, pp.67-72 (2011).
[9] Fonseca, M.J., Pimentel, C., and Jorge, J.A., Cali: An
online scribble recognizer for calligraphic interfaces,
In AAAI Symp. Sketch Understanding 2002,
pp.51-58 (2002).
[10] Wang, X., and Raghupathy, S., Ink Annotations andtheir Anchoring in Heterogeneous Digital Documents,
In Proc. ICDAR 2007, pp.163 -167 (2007).

図 6 下線開始相対座標の分布

図 10 縦 線 開 始 相 対 座 標 の 分 布

図 7 下線終了相対座標の分布

図 11 縦 線 終 了 相 対 座 標 の 分 布

図 8 囲 い 込 み （ 単 一 行 ） 開 始 相 対 座 標 の 分布

図 12 囲 い 込 み（ 複 数 行 ）開 始 相 対 座 標 の 分 布

図 9 囲 い 込 み （ 単 一 行 ） 終 了 相 対 座 標 の 分布

図 13 囲 い 込 み（ 複 数 行 ）終 了 相 対 座 標 の 分 布