1322
筆記の様子を記録した連続静止画像からのインクデータ生成手法の検討
浜口 拡輝*1

加藤 直樹*1 杉原 敏昭*2

The investigation into the method of generating ink data from continual images recorded a series of strokes
Hiroki Hamaguchi*1, Naoki Kato*1 and Toshiaki Sugihara*2
Abstract - Ricoh CO., Ltd. has invented the tabletop computer with an input method by magic marker. For
example, the computer can take pictures of the handwriting of the written magic marker, and can take it into
Microsoft Word as an object. In this research, we propose the method of generating ink data like tablet PC fromcontinual images recorded a series of strokes. And we also calculated the character recognition rate of theHiragana and Kanji thorough experiments its taking picture rate are 15 and 30 frames per second.
Keywords: Tabletop computer, Ink data1.

はじめに知識の共有や創造を目的として，少人数で対面して行われる会議はオフィスにおいてよく見られる光景である．
近年，このようなリアルタイムかつ複数人で行われる会議を，コンピュータを使って支援し，円滑化・効率化・活性化するシステムの開発が行われている．
その一つとして，テーブル面にコンピュータ画面を表示する Tabletop Computer 環境の開発が進んでいる．株式会社リコーでは，その画面をビデオカメラで記録し，書き込んだマジックペンの筆跡を静止画像として保存できるシステム Interactive Station（図 1）を開発している［1］．
たとえば，Interactive Station では，Microsoft Word で文章

図1

Interactive Station の外観を表示した状態で，画面上にマジックペンで書き込みをFig.1

Looks of Interactive Station.

行なうと，筆跡をオブジェクトとして Word に取り込むことができる．また，単にテーブル面にマジックペンで書き込みを行うため，複数人で同時に筆記できるという，従来のペン入力機器の課題であった同時複数入力を可能にしている．
このシステムでは，マジックペンの筆跡を静止画像として保存することはできるが，筆跡をペン入力タブレッ
ト等からの入力と同じように，筆点列（インク）データとして取得することはできない．しかし，筆跡をインクデータとして取得できれば，筆記再生や，オンライン方式の文字認識，ジェスチャ認識を行なうことができるようになる．
本稿では，上記の利点を Interactive Station でも受けられるようにすることを目標とする基礎研究として，書き*1: 東京学芸大学*1: Tokyo Gakugei University*1: 株式会社リコー*1: Ricoh CO., Ltd.

195

図2

Interactive Station のシステム構成

Fig.2 System composition of Interactive Station.

込みの様子を連続的に記録した画像から，インクデータを生成する手法を提案し，本手法の有効性について検討と考察を行なう．
2.
2.1

インク生成手法

前提条件

Interactive Station では，図 2 のようにマジックペンによる書き込みを画面の裏側（プロジェクタで投影している側）からビデオカメラで撮影している．十分に短い間隔で書き込みの様子を記録できる場合，画像の差分を取ることで，インクデータを生成することができるが，本
図3

研究では，現実的な撮影レートである 30fps（frames persecond）および 15fps で記録した静止画像群からインクデFig.3

連続静止画像の抜粋例

An excerpting example of continual images.

ータを生成することを目指す．
2.2

提案手法

連続静止画像（図 3）のうち，最終画像から特徴点を抽出し，抽出した特徴点を最初の連続静止画像から順番に比較することにより，抽出した特徴点が図形画素になる順に番号付けを行なう．この処理によって，すべての特徴点を書いた順に並び替えることができ，インクデータが生成される（図 4）
．
2.3

前処理

前処理として膨張処理と細線化処理を最終画像に施す．
注目画素 P0 の 8 近傍画素の集合を（式 1）のように定義する．
N8≡{P1, P2, P3, P4, P5, P6, P7, P8}…（式 1）

また，画素 Pk（k∈N8）の諧調値を B(Pk)（k∈N8）と表記し，背景画素（マジックペンで書かれていない部分）の諧調値を 0，図形画素（マジックペンで書かれている部分）の諧調値を 1 とする．

図4

インクデータ生成手法の概要

Fig.4 Outline of the method of generating ink data.

(1) 膨張処理
膨張化

マジックペンでの書き込みを行なうと，マジックペン細線化によるかすれや，筆記の様子をビデオカメラで記録するときに生じるかすれがあることが予想される．かすれがあると適切な細線化処理を行うことができないため，かすれを取り除くために，最終画像に膨張処理を行なう（図5 中）（式 2）．の 2 つの条件がすべて満たされたとき，B(P0)＝1 と置き換える処理を画像中のすべての画素において

図5Fig.5

最終画像（左）と処理画像

The final image (left) and processing images.

独立に行う．
（式 2）は，背景画素に注目したとき，その画素を中心とする 8 近傍中に 1 つでも図形画素があれば，(2) 細線化処理その背景画素を図形画素に置き換える処理を示す．

膨張処理を行なった最終画像に対し，細線化処理を行う（図 5 右）．細線化処理には Hilditch による細線化［2］B(P0)＝0…（式 2）を行ってから，特定のパタンと一致したとき，残存してΣB(Pk)≧1 （k∈N8）

いる不要な図形画素を削るマスクパタン法の二段階で行なう．

196

→→

M1M2→

→

P0P0

図8M3M4→→

特徴点抽出パタン

Fig.8 Sampling pattern of characteristic points.

AM5M6→→

M7M8→→

BC

図 9 1 枚の静止画像に複数ある特徴点の並び替え
Fig.9 Sort of characteristic points that exist in a image.
(1) 端点の抽出

M9

まず，注目画素 P0 に対して（式 3）を満たすとき，注M10目画素 P0 を端点である特徴点として抽出する（図 7 左）．
→（式 3）は，注目している画素が図形画素であり，その 8→近傍画素の中に図形画素がただ 1 つ存在するとき，注目M11している画素が端点であることを示す．

M12
図6

マスクパタン

B(P0)＝1Fig.6 Mask pattern.

…（式 3）

ΣB(Pk)＝1 （k∈N8）(2) 端点以外の特徴点の抽出
筆跡の中で，曲率が大きく変化している画素を特徴点として抽出する．さまざまな書き込みを想定し，実験を繰り返したところ，経験的に図 8 のような 2 つの特徴点抽出パタンが得られた．それぞれのパタンにおいて，90°，

図 7 特徴点の抽出

180°，270°回転させたときも含め，計 8 パタンとの比

Fig.7 Sampling of characteristic points.

較を行う．ただし，図 8 において左右に 3 連結している画素については，一例であり，この部分は 1 つ以上連結

Hilditch による細線化を行うと，図形画素は，図 6 のしていれば，いくつ連結していてもよいとする．そして，

M1〜M4 の左側パタンのように，上下左右いずれかのみ8 パタンのいずれかと一致したとき，注目画素 P0 を端点の 4 連結で接続される．しかし，4 連結では，まだ削る以外の特徴点として抽出する（図 7 右）．
特徴点の順序付けことができる不要な図形画素が残っているため，図 6 の2.5

M1〜M4 の左側パタンと一致した部分を，右側のパタン抽出した特徴点と筆記の様子を記録した連続静止画像に置き換えるマスクパタン処理を行なう．その後，M5〜を順に比較し，抽出している特徴点がはじめて図形画素

M12 パタンにおいても同様の処理を行う．になる順を筆記順序とする（図 4）．1 枚の静止画像に，2.4

はじめて図形画素になる特徴点が複数ある場合について

特徴点の抽出

特徴点の抽出は，端点の抽出とそれ以外の特徴点の抽は，直前に順序付けされた特徴点からの距離を求め，その距離が小さい順を筆記順とする．たとえば，図 9 にお出の二段階で行なう．

197

端点その他

書き込みAB
図 10 問題例と改善例

インク生成

Fig.10 Examples of problem and improvement.
いて，直前に順序付けされた特徴点を A，同時に図形画

図 11 インクデータ生成ツール

素に含まれた特徴点を B，C とすると，AB 間と AC 間のFig.11 Tool of generating ink data.

距離を比較し，AB 間の距離の方が小さいため，A，B，C と順序付けする．
2.6

X 座標の差≧Y 座標の差のとき

特徴点の補正…（式 4）

x＝(x1＋x2) / 2 （min(y1, y2)≦y≦max(y1, y2)）

特徴点を抽出するとき，端点である特徴点か，端点以X 座標の差＜Y 座標の差のとき外の特徴点か判断をしている．ここで，インクデータにy＝(y1＋y2) / 2 （min(x1, x2)≦x≦max(x1, x2)）おける端点は，ストロークの始点または終点を指す．しかし，前述の特徴点抽出処理では，たとえば，“は”や“ほ”すると，端点と端点の間に少なくとも 1 つは端点以外のハネの部分にように，曲率が大きく変化している部分の特徴点が存在することになる．そこで，再度，特徴点が，端点である特徴点として抽出されてしまうことがあの順序付けを行ない，端点が端点以外の特徴点に挟まれる．

たとき，端点以外の特徴点と判断のし直しを行なう．たそこで，特徴点の順序付けを行ってから，端点 (x1, y1)とえば，図 10 では（式 4）によって，新しい特徴点 A をと端点 (x2, y2) の間に特徴点が 1 つも存在しないとき，追加し，その後，特徴点 B を端点以外の特徴点と判断し（式 4）と図形画素との交点を新たに特徴点として抽出直している．

する．
（式 4）は，端点 (x1, y1) と端点 (x2, y2) を斜辺とする直角三角形を作り，斜辺以外の二辺のうち，長辺の垂直二等分線と交わる図形画素 (x, y) を特徴点とする処
理を示す．

3.
3.1

予備評価

目的

提案したインク生成手法の有効性について検証するた
め，ひらがなと漢字について，入力した文字と文字認識結果の一致率を調べ，本手法の有効性の検証を行なう．
3.2

実装

提案したインク生成手法の有効性を確かめるために，一文字の筆記を行なうと，指定の撮影レートで連続静止

198

表1

漢字リスト

Table1

Kanji list.

学年

表3

誤認識率の高い文字

Table3 Character that wrong recognition rate is high.

実験に用いた漢字

入力
文字

一五人

町

右口

水

天

雨

校

引

丸

古作場

け

1|l

太

東

歩羽岩

た

7

十ナ

悪開

銀仕

拾真

炭

湯氷

由とて

Z

乙

愛街

給固士

は

1|l!

照束

徒夫

約

ほ

1|l

I

異揮己至

純

やちぺ

パ

人

泉

値

拝忘論

よ

0S

D

□

け

1|l

I

た

7

十ナ

1とて

Z

乙は

1|lI

ほ

1|l

I

やち

力カ

九よ0O

▽□

右六

方介る口ﾛは

校

投

松様

持

丸もBの岩

京

交

寒悪

突

窓

恐

仕には拾格

路

枠

炭年

業

産

そ湯済場

氷水

れ街

例

卸

いずれの実験においても，ワコム製 17 インチの液晶ペ

固

国

回

四因

ンタブレット DTU-710 を用いる．また，一文字の筆記を

照

京

き米

気

行うキャンバスのサイズは，縦横 300 ピクセル（約束来

東

徒

従値

種

任異

算

業

量

己をてそ

至

査

立

そ

筆者が筆記したひらがな 46 字種各 5 回に対しての認識

純

鉄

関

紙

立

実験を 30fps（実験 1A）および 15fps（実験 1B）の撮影

拝

排

協

州

洋

1 年生
2 年生
3 年生
4 年生
5 年生

表2Table2

実験1A

文字認識率

Character recognition rate.
第一位候補

第三位候補以内

実験 1A

0.909

0.926

実験 1B

0.909

0.930

実験 2

0.284

0.439

実験1B

図 12 端点が取得できない例
Fig.12 Example that edge point can’t be secured.

画像を作成し，その静止画像群を元にインクを生成し，単文字認識にかけるツールを試作した（図 11）．なお，単文字認識エンジンには Microsoft Windows XP Tablet PC
実験 2

Edition 2005 Recognizer を用いた．
3.3

実験環境7.14cm）とし，通常の入力と同じように筆記を行なった．
3.4

被験者

被験者は，筆者 1 名であり，普段からペン入力タブレットを使用している．
3.5

タスク内容レートで行う．また，ランダムに選んだ，小学校 1 年生

199

誤字候補f空をから 5 年生で習う漢字，各学年 10 字種各 5 回に対しての点が，筆記中の重なりによって抽出できなくなる文字は認識実験を 30fps（実験 2）の撮影レートで行う．なお，限られている．しかし，漢字では，多くの文字に，スト

実験 2 の結果より，撮影レートを 15fps に設定した実験

ロークの始点または終点として取得したい特徴点が，筆を行なう必要がないと判断したため，行わなかった．実

記中の重なりによって抽出できないという問題が生じ，験に用いた漢字のリストを表 1 に示す．

認識率を大きく低下させた原因であると考えられる．

3.6

実験結果

また，漢字はひらがなより文字が複雑であり，似たよ

実験 1A，1B，および実験 2 において，入力した文字と文字認識結果の一致率を表 2 に示す．

うな候補が多いことが認識率を低下させた原因であると考えられる．

実験 1A，1B，および実験 2 において，入力した文字

4.
4.1

考察

おわりに5.

に対し，誤認識率の高い文字と誤字候補を表 3 に示す．

本稿では，書き込みの様子を連続的に記録した静止画像から，インクデータを生成する手法を提案し，その有文字認識率効性を調べるために行なった実験と，その結果に対する入力をひらがなとしたとき，撮影レートを 30fps（実験考察を述べた．

1A），15fps（実験 1B）としたいずれの場合でも，第一位実験から，ひらがなの入力に対して，30〜15fps という候補が入力文字と一致した率が 90％以上を示した．しか限定的な撮影レートにおいて，文字認識結果の一致率がし，入力を漢字（実験 2）にすると，実験 1 に比べ，文90％以上であり，本手法が有効である可能性を示すこと字認識率は大きく低下する（表 2）．これより，ひらがなができた．

においてのみ，本手法の有効性を示すことができたと考えられる．
4.2

また，誤認識の原因として，ストロークの始点または終点として取得したい特徴点が，筆記中の重なりによっ撮影レートの与える影響て抽出できなくなっていることがわかった．

入力をひらがなとしたとき，実験 1A，1B において，今後の課題として， 今回，認識率を低下させた原因をほぼ同じ文字認識率を示した（表 2）．また，誤認識率の解消するためにアルゴリズムを改良することが挙げられ高い文字が同じ文字になる傾向があり（表 3），ひらがなる．また，今回，抽出した特徴点だけでは間引きが大きを入力文字としたとき，撮影レートの違いが，本手法にすぎ，筆記再生にたえられるインクデータとはなってい与える影響は少ないと考えられる．

ない．今後，特徴点どうしの間の点をインクデータに追4.3

誤認識率の高い文字の特徴加することも試みたい．

実験 1A，1B では誤認識率の高い文字が同じ文字にな謝辞

り，誤認識の原因を考察したところ，傾向として二種類

本研究の一部は，科学研究費補助金・若手研究（B）に分類することができる．

19700112 の補助による．

一つは，「け，た，は，ほ」のように文字全体を認識するのではなく，文字の扁の部分だけを認識しているグル

参考文献
[1]

新西，伊賀，桜井：Interactive Station: デジタル情報に手ープである．これは，文字認識エンジンの問題であり，書きできるテーブルトップコンピュータ，ヒューマンイン

一文字に対応する認識枠をあらかじめ用意することによタフェースシンポジウム 2007 論文集，pp.245-248 (2007).

り，認識精度を高められそうである．

[2]

もう一つは，「と，や，よ」のように，ストロークの始点または終点として取得したい特徴点が，筆記中の重なりによって抽出できないというグループである（図 12）．
適切に生成された時のインクデータと比べると，筆記中の重なりによって抽出できない特徴点を除く特徴点に順序付けが施されたインクデータが生成されており，これらが認識率を低下させた原因であると考えられる．
実験 1A，1B のように，ひらがなを入力文字としたとき，ストロークの始点または終点として取得したい特徴

200

安居院，長尾：画像の処理と認識，pp.68-72，昭晃堂 (1992).