CH−003

1.はじめに
筆跡学において、筆跡とは書字運動の一部が紙面に固定化されたものと考えられている[1]。筆跡は単に機械的に印刷された文字とは異なり、人の運動特性が反映されていることから、筆跡から筆者を識別することが可能であるということが筆跡鑑定の根拠として存在する[2]。筆跡と書字運動の関係についての研究としては、ペンタプレットや筋電図から得られた書字運動データをもとに運動のモデル化を目的としたものや、文字認識精度の向上のために書字運動を考慮した辞書を作成することを目的としたものがある[3][4][5]。筆跡鑑定の現場においては、オフラインの画像情報から得られる字画構成と字画形態に加え、実体顕微鏡等を用いて画線の交錯や筆記具のかすれ等から推定される筆順や運筆方向及び紙面の凹み具合から推定される筆圧等の動的情報が鑑定人により検査される[6]。また、英語圏の筆跡鑑定支援システムとして提案されているWANDA[7]においても、鑑定対象となるオフライン筆跡を検査者がペンタプレットでなぞり書きをすることで疑似的に時系列情報を付加し、その運筆方向の特徴が検査に用いられている。動的特徴は鑑定人の詳細な検査により得られるものであるが、動的特徴とオフライン筆跡にはある一定の関係があることが先行研究で述べられている[8][9]。また、何らかの筆の動きを想定してすでに描画されたオフライン画像から、その描画過程を深層強化学習により推定する方法も提案されている[10]。本研究では筆跡鑑定のための基礎的研究としてオフライン筆跡と動的特徴の関係性を調べることを目的とし、オンラインデータから得られる動的特徴とオフライン筆跡の関係性をEncoder-Decoder構造でモデル化し、オフライン筆跡から書字運動が推定可能か否かを検討した。
2.提案手法
書字運動を把握するために、ペンタプレットを用いてオンラインデータを収集するとともに、一般公開されているオンラインデータベースである UJIデータ[11]を用いた。収集したデータについては、実際に記載された用紙からオフライン画像を取得可能であるが、画像を使うにあたり、枠線の除去やオンライン情報の解像度とオフライン画像のサイズ調整等の前処理が必要となる。また、UJIデータは文字を書くときのペン先座標（x,y）情報のみしか含まれておらず、紙に書かれたオフライン画像は存在しない。本研究の目的は、オフライン筆跡の形態情報から動的特徴を推定することであるため、ペン先座標情報のみから生成される筆跡画像をオフライン筆跡として扱うこととした。また、動的情報である筆圧、速度、時間成分については、カラーマップの運動情報画像として相対筆圧分布画像、相対速度分布画像、時系列画像を生成し、オフライン筆跡と運動情報画像の関係性を図１に示すU-Net[12]構造のEncoder-Decoderモデルによるピクセル単位の対応付け学習を行った。
2.1書字運動データの収集
人が文字を書く過程を調べるためは、ペンタプレット等により書字運動データを取得する必要がある。本研究では、ひらがな文字を記載するときのオンラインデータを収集するとともに、一般に公開されている UJIデータのラテン文字及び数字を記載するときのオンラインデータを用い、字種の違いによる影響についても検討した。 2.1.1ひらがな文字データペンタプレット（Wacom製Intuos4）を用いて、筆者15名から、10字種のひらがな文字を記載するときのオンラインデータを収集した（図２参照）。各筆者は、ボールペン動的特徴を推定するためのEncoder-Decoderモデル図1 ↑岐阜県警察本部刑事部科学捜査研究所図2　ひらがなデータの収集状況芯を装着したintuos4専用のインクペンにより実際にペンタプレット上に置かれた用紙に文字を記載するとともに、ペンタプレットが接続されたPCによりWintab対応の自作ソフトウェアを用いて運動情報（ペン先座標、筆圧、ペンの方位角、ペンの仰角）を取得した。本研究で用いたペンタプレットの分解能は縦横ともに2000Line/cmであり、サンプリングレートは0.05msである。また、ペンの情報は竜磁誘導方式により取得されるものであり、ペンタプレット本体からペン先が約 lcm離れた位置の情報も取得可能である。1文字を記載するとき、1cmを超えてペンを紙面から離す筆者はみられず、空筆を含む運筆情報が取得された。各筆者は 1.5cm×1.5cmの記載枠に「あいうえおかきくけこ」の 10字種を、6回は普通の速度で記載するように教示し、6回を速く記載するように教示してデータを収集した。いずれの筆者においても速く書くように教示した場合には、普通の速度で書くように教示した場合よりも記載時間が短く、教示通りにデータが採取された。同教示により、少数の筆者からではあるが、筆者の個人内の変動が提えられるオンラインデータが収集された。 2.1.2 UJIデータUJIデータは、ペンタプレット入力対応のPCにより取得されたラテン文字（大文字・小文字）、数字等を記載するときのオンラインデータである。各筆者はパソコン画面上の記載枠に従って、各字種を2回記載したデータが含まれる。 UJIデータには初期に収集された筆者11人のみのデータと、その後に収集された49人の筆者のデータに分けられ、モデルの学習には初期に収集された筆者11人中の10人のデータを用い、モデルの評価実験に筆者49人のデータを用いた。なお、UJIデータはひらがなデータとは異なり、筆圧情報及び空筆部の情報は収録されておらず、運動情報はペン先座標のみである。ひらがな文字データと UJIデータについて、各サンプリング点間の距離に基づき速度計算するとともに、オンラインデータのペン先座標を基にペン先の軌道を画像化し、縦横比を保持した大きさの正規化(64×64pixels)、位置の中心化を行った。なお、ひらがなデータについては空筆部の情報も取得されていることから、等間隔（約5pixel長）に線形補間でリサンプリングを行った。上記の前処理により、オフライン筆跡及び１文字記載時の相対速度、相対筆圧、時系列情報をカラーマップにより表現した運動情報画像を生成した（図３参照）。
2.3 Encoder-Decoderモデルによる推定
オフライン筆跡と運動情報画像の対応関係をモデル化するために、図１に示すEncoder-Decoderモデルを構築した。ペン先座標のみから得られる二値化されたオフライン筆跡図3　運動情報画像及びオフライン筆跡生成の流れ
を入力画像として用い、各運動情報画像とモデルから推論される生成画像との誤差が小さくなるように学習を行った。 3種類の運動情報画像は、いずれも同一の構造を用い、相対速度分布推定モデル、相対筆圧分布推定モデル、時系列情報推定モデルを求めた。学習に使用したデータの内訳を表１に示す。文字を記載するときに使用するペンの太さや文字の大きさが変わったとしても、運動情報の分布には変化がないと考えられている[13]ことから、図4に示すように線の太さを1～5pixelの5パターンに変化させて各画像を生成したものをモデル学習用及びテスト用データとして用意した。損失関数は、生成画像と実際の運動情報画像間の平均絶対値誤差とし、モデルの最適化にはAdamを用い、ミニバッチサイズを100とした。UJIデータについてはepochが100を上限、ひらがなデータについてはepochが200を上限として学習するように設定し、学習途中であってもモデル評価用データ（モデル学習用データの20％）に対する損失が連続して10回減少しなくなったときに学習を打ち切ることとした。
3.結果・考察
テスト用データに対して提案手法により動的特徴を推定するとともに、ETL7手書き文字データベース[14] (ETL7データ)に対しても提案モデルにより動的情報を推定した。また、提案手法によるオフライン筆跡からの動的特徴推定モデルの推定精度について、筆者49人のUJIデータを用いて検証した。
3.1テスト用データに対する推定
テスト用データに対してオフライン筆跡から動的特徴を推定した結果を図５に示す。オフライン筆跡から親察される形態と運動情報には関係があり、転折部では速度が遅い状態、湾曲部では曲率が大きいほど速度が速く筆圧が低い状態がみられた。これらは、人の書字運動で描かれる軌道が、羅度最小化理論やトルク変化最小化理論等の最適化原理に基づいたモデルによって近似的に生成可能である、という指摘と一致することを支持しているものといえる[15] [16]。
3.2 ETL7データに対する推定精度
ETL7データは筆者175名が枠の大きさが異なる2枚の用紙にひらがな46字種及び濁点、半濁点の記号を記載したものをスキャナにより電子化し、文字単位で切出したオフライン筆跡のデータベースである。 16階調の64× 63pixelsの原画像に対して、ノイズ除去、位置と大きさの正規化を行い64×64pixelsの2値画像として提案モデルに入力することで動的特徴を推定した（図5-(c)参照）。今回学習に用いたデータは筆者13人が6回記載した10字種のみであり、網羅的に運動を推定するためには少数のデータではあるが、基本的な筆順に準じた軌道及び運動制御理論に沿った相対筆圧推定、相対速度推定、時系列情報推定がなされているものと考えられる。図5　オフライン筆跡からの動的特徴の推定結果
3.3 UJIデータに対する推定精度
UJIデータの筆者 49名が 62字種を 2回記載したときのオフライン筆跡から、提案モデルにより生成される相対速度分布画像及び時系列画像と正解画像の平均絶対値誤差を各データについて求め、字種単位で平均した結果を図６に示す。一部の字種（a, m, x, A, M, X, 0 等）の相対速度分布画像で誤差が大きくなったことについては、図７に示すように元データの不備により相対速度分布画像が正常に作成されなかったことに起因する。しかしながら、それらのデータに対しても学習により得られた人の書字運動を反映した相対速度分布が推定されていることが確認された。時系列画像については、1ストロークで書かれるものについては概ね正しい推定が行われた。2ストローク以上で複数の筆順で書かれる可能性のある字種（x, E, X 等）や、1ストロークであっても始筆部が人によって様々であり、複数の運筆が想定される字種（o, O, 0, 8等）では正しく推定されない場合がみられた（図8参照)字種により推定精度に達いはみられるが、オフライン筆跡という形態情報のみからであっても、本提案モデルにより複数筆者の文字の書き方を学習することで、人の書字運動がモデル化可能であることが示された。
4.まとめ
提案するEncoder-Decoderモデルにより、オフライン筆跡からその文字を書くときの動的特徴である相対速度分布、相対筆圧分布、時系列情報が推測可能であることが示され、筆跡とその背後にある書字運動の関係性を見出した。本実験では、少数筆者のひらがなデータ及び UJIデータにより運動推定モデルを学習したものであり、筆跡の多様性に対応するためには、より多くのデータを用いた実験が必要である。また、同一人が複数回、様々な条件でどのような筆跡を書くかといった個人内変動の把握が筆跡鑑定では重要であるため、各条件（例えば、記載時間、圧の加え方、記載時の姿勢、筆記具の違い）等をパラメータとして、それらの条件に依存しない筆者固有の書字運動特性の推定するモデルの構築を今後の課題とする。