(57)【要約】      （修正有）【課題】手書きの文字や絵の時空間情報を定量化し特徴量を抽出することで、書き手の精神・心理・生理状態を把握し、判定する方法と装置を提供する。【解決手段】デジタルペン１１１からストロークデータを取得するデジタルペン接続装置１０１、ストロークデータから記入された文字や絵を認識する認識部１０３、認識された文字や絵を比較・評価する演算部１０２を備え、手書きの書字情報を計測するステップ１２１と、計測した書字情報を記録するステップ１２２と、書字情報を基に文字や絵の切り出し同定を実行するステップ１２３と、切り出し同定を行った文字や絵を単位としたストローク情報から特徴量を算出するステップおよび前記特徴量を表示するステップ１２４とにより書き手の状況を判定する。【選択図】図１
2010131280.tif 000002
【特許請求の範囲】
【請求項１】
手書きの書字情報を計測するステップと、
前記計測した書字情報を記録するステップと、
前記書字情報を基に文字や絵の切り出し同定を実行するステップと、
前記切り出し同定を行った文字や絵を単位としたストローク情報から特徴量を算出するステップおよび前記特徴量を表示するステップとを有することを特徴とする精神状態判定支援方法。
【請求項２】
ドットパターンが形成された紙面上にデジタルペンによって記載される手書き書字情報を計測するステップと、前記計測した書字情報を記録するステップと、
前記書字情報を基に文字または絵の切り出し同定を実行するステップと、
前記切り出し同定を行った前記文字または絵を単位としたストローク情報を基に特徴量を算出するステップと、
前記特徴量を表示するステップとを備え、
前記特徴量は、前記文字または絵の高さ、幅、前記紙面における記入領域に占める割合、面積の少なくとも一つを含むことを特徴とする精神状態判定支援方法。
【請求項３】
請求項１または２に記載の精神状態判定支援方法において、
前記切り出し同定を実行するステップでは、
前記ストローク情報を基に、一つあるいは複数の軸への射影像を用いて、射影像間の空間的な隙間を検出する方法、ストローク間隔時間が長い部分を検出する方法、外郭方向寄与度や外郭局所的輪郭線といった統計量の差異を検出する方法を切り出し方法として含むことを特徴とする精神状態判定支援方法。
【請求項４】
請求項１または２に記載の精神状態判定支援方法において、
予め記憶された前記特徴量の標準値と前記特徴量との乖離度を算出するステップを有することを特徴とする精神状態判定支援方法。
【請求項５】
請求項４に記載の精神状態判定支援方法であって、
前記特徴量を表示するステップにおいて、前記乖離度を前記特徴量と共に表示することを特徴とする精神状態判定支援方法。
【請求項６】
紙面に記入できるデジタルペンからストローク情報を取得するデジタルペン接続装置と、当該ストローク情報を記憶する記憶装置と、前記ストローク情報から記入された文字や絵を認識する認識部と認識された前記文字や絵を比較・評価する特徴量抽出部を有する演算部と、出力装置とを有する精神状態判定支援装置において、
前記特徴量抽出部は、前記ストローク情報および認識結果を基に、文字や絵の高さ、文字や絵の幅、紙面における記入領域に占める文字や絵の割合、文字や絵の面積等の書字・描画の少なくとも一つを特徴量として算出することを特徴とする精神状態判定支援装置。
【請求項７】
請求項６に記載の精神状態判定支援装置において、
前記記憶装置は、前記特徴量の標準値をそれぞれ予め格納し、
前記特徴量抽出部は、当該標準値と前記特徴量との乖離度を算出することを特徴とする精神状態判定支援装置。
【請求項８】
請求項７に記載の精神状態判定支援装置において、
前記出力手段は、前記乖離度を前記特徴量と共に出力することを特徴とする精神状態判定支援装置。
【請求項９】
請求項８に記載の精神状態判定支援装置において、
前記紙面に文字や絵が複数記入される場合に、
前記特徴量抽出部は、
前記文字や絵毎に前記標準値との乖離度を算出することを特徴とする精神状態判定支援装置。
【請求項１０】
請求項８に記載の精神状態判定支援装置において、
前記紙面に文字や絵が複数記入される場合に、
前記特徴量抽出部は、
所定の文字や絵を基準とした文字や絵同士の特徴量の比較を実行し、当該比較結果を前記出力手段に出力させることを特徴とする精神状態判定支援装置。
【請求項１１】
請求項７に記載の精神状態判定支援装置において、
前記特徴量は、筆速・加速度、文字や絵毎の記入時間、紙面上における位置のいずれか一つを含むことを特徴とする精神状態判定支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手書きの文字や絵の時空間情報を定量化し特徴量を抽出することで、書き手の精神・心理・生理状態を把握する方法と装置に関する。
【背景技術】
【０００２】
『書字・描画』は書いた内容を他人に伝えることが目的である。したがって、従来は、書かれた文字や描かれた絵の内容のみが注目されてきた。しかしながら、『書字・描画』は脳からの制御を受けて実行される。『書字・描画』の内容、すなわち何をどう描くかを企図し決定するのは脳である。また、鉛筆やボールペン等の『書字・描画』する道具の動きを手を通して制御するのも脳である。そのため、書かれた文字や描かれた絵は脳機能を反映することになり、書き手の脳の状態、つまり精神・心理・生理状態が反映される。
例えば、うつ病になると書字速度が遅くなることが報告されている（非特許文献１など）。また、パーキンソン病患者には、字の大きさが徐々に小さくなる症状（小字症と呼ばれる）が現れることがある（非特許文献２など）。さらに、心理検査の一つであるHTPテスト（House, tree, person test）は、一枚のシートに家・木・人の３つを一緒に描かせ、それら３つの大きさのバランスや描いた位置等で被験者の精神状態を評価することができる（非特許文献３など）。さらにまた、人物画を書かせ、その描画プロセスで発生する書き直しの頻度で、学習障害児のスクリーニングが可能である（非特許文献４など）。
【０００３】
一方、手書きの書字・描画の情報をデジタル化して取得するデバイスの一つにデジタルペンがある（特許文献１など）。これは、実際にインクを使用して筆記するボールペンに、用紙上の位置情報を読み取るための装置を内蔵したものである。用紙上に印刷されたドットパターンを、デジタルペンに内蔵された光学系（赤外線レーザ・CCDカメラ等で構成される）が認識し、ペン先の位置を計算・同定して、時系列データとして記録することで実現される（特許文献１など）。
【０００４】
なお、書字・描画の過程が時系列データとして取得できるものであれば、入力デバイスはデジタルペンに限らず、タブレットPCで用いるタッチパネルやPCの描画ソフトウェアで用いるマウス等でも良い。しかしながら、位置分解能やサンプリングレート（時間分解能）を鑑みると、『日常場面での自然な書字・描画』の字の大きさや書字速度等の下、例えば１ストローク（漢字では一画に相当）の書字速度を分析可能な分解能で取得するには、少なくとも位置分解能は1 mm 以下、時間分解能は33 ms （ビデオレート）以下である必要がある。これを安価で実現するデバイスとして、デジタルペンは有効な手段である。現実的であることは、ひいては利便性・機動性を担保する。
【０００５】
【特許文献１】特開2006 - 154986号公報
【非特許文献１】Kinematical analysis of handwriting movements in depressed patients. Mergl R et. al、Acta Psychiatrica Scandinavia、第109巻5号、383-391頁 (2004年)
【非特許文献２】毛利春枝、天谷智子、塚原佳子、三宅裕子、 Micrographiaの症候学的検討、 高次脳機能研究、 第24巻 第1号、1−10頁（2004年）
【非特許文献３】三上直子、 S-HTP法：統合型HTP法による臨床的・発達的アプローチ、 誠信書房（1995年）
【非特許文献４】中山健、前川久男、上哲志、 学習障害児の人物画におけるプランニングの研究、 小児の精神と神経、 第38巻 第2号、91−105頁（1998年）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
例えば前述のデジタルペンを用いると、書字・描画の手書き過程をストロークに分解し、さらにこのストロークに含まれる点の位置情報と時間情報を時系列データとして取得して解析できる。ここでストロークとは、漢字では一画、絵では一筆に相当する。デジタル化された書字・描画情報は、点を折れ線で結ぶことで、実際に書字・描画されたものに実用上支障のない誤差範囲で近似して表現することができる。
【０００７】
しかしながら、単にストローク情報だけを解析しても、『文字』や『絵』の特徴量を抽出し相互に比較することはできない。例えば、パーキンソン病患者に見られる小字症を評価するためには、一つ一つの『文字』を区別して認識し、それらの大きさの変化を捉えることが必須である。また、HTPテストでは、絵のどの部分が家・木・人なのか区別して認識しないと、相互の大きさのバランスや位置関係を評価することができない。また、描画シートのどの位置にどれだけの大きさで描かれたかも重要な評価項目である。
【０００８】
上記の様に、日常場面で書かれた『文字』や描かれた『絵』を単位とした情報に着目し、『文字』や『絵』の特徴量を定量化し比較・評価することで、書き手の精神・心理・生理状態を判定する支援手段および装置は提供されていなかった。
【課題を解決するための手段】
【０００９】
この課題を解決するために、デジタルペンやタブレットPCなどの入力手段を用いて、日常場面で書かれた『文字』や描かれた『絵』を構成する点の位置情報と時間情報を時系列データとして取得した後、一つ一つの『文字』や『絵』を区別して切り出す手段と、区別されたそれぞれの『文字』や『絵』の特徴量を抽出・表示する手段を有する方法および装置で実現できる。ここで抽出・表示された特徴量は相互に比較・評価する支援装置を提供する。
【００１０】
切り出された『文字』や『絵』の特徴量としては、例えば文字や絵の高さ、幅や面積等が挙げられる。さらに、HTPテスト（House, tree, person test）の場合の様に、家・木・人の３つの『絵』の間の高さの比や面積の比が挙げられる。
【発明の効果】
【００１１】
本発明によれば、比較、評価結果定量的に表示することができるので、医師・カウンセラー等が書き手の精神・心理・生理状態の高精度な判定を支援し、さらに被験者本人や保護者等の第三者に対して、客観性を持たせた判定結果を提供することが可能となる。
【００１２】
特別なことをすることなく、例えばアンケートに記入するといった日常場面での手書きの書字・描画データから、書き手の精神・心理・生理状態を定量的に把握することで、メンタルヘルス予防・購買傾向の分析・学習効率の向上・労働生産性の向上などに利用することが可能となる。
【発明を実施するための最良の形態】
【００１３】
まず、本発明の実施の形態の概要について説明する。
本実施の形態の計算機は、図１（ｂ）のフロー１２１から１２４に沿って、用紙内のレイアウト、用紙内に記入されたストロークの位置、記入時のペンストロークの接触時間およびストローク間の間隔時間等を計算して記憶し、当該記憶された情報を基に記入される一つ一つの『文字』や『絵』を区別して認識し、文字や絵の特徴量を定量化して比較・評価することにより書き手の精神・心理・生理状態を判定する支援装置に関する。
【００１４】
本実施の形態の計算機は、デジタルペンからストロークデータを取得するデジタルペン接続装置１０１、ストロークデータから記入された文字や絵を認識する認識部１０３、認識された文字や絵を比較・評価する演算部１０２を備える。また、デジタルペン１１１は、ＣＰＵ・メモリ・通信インターフェース・カメラ１１２・電池および筆圧センサを備える。また、デジタルペン１１１は、インクまたは黒鉛によって紙面上に文字・記号等を筆記可能なペン先を備える。
【００１５】
図１（ａ）は、本発明の実施の形態の計算機の論理的な構成を示すブロック図である。
本実施の形態の計算機は、デジタルペン接続装置１０１、演算部１０２、認識部１０３、記憶装置１０５および出力装置１０６を備える。ここで、これらは一つの計算機１０７内に格納される例を示しているが、必ずしもこれに限らず、いずれかが独立して存在していても良いことは云うまでもない。
【００１６】
デジタルペン接続装置１０１は、デジタルペン接続装置１０１に接続されたデジタルペン１１１から情報を収集する。演算部１０２は、認識部１０３、特徴量抽出部１０４や図示しないプロセッサおよびメモリを備え、プロセッサがメモリに記憶されたプログラムを実行することにより各種処理を行う。
【００１７】
認識部１０３は、紙面上に記載される文字や絵の切り出し処理を実行する。切り出し処理の例として、記憶装置１０５に格納されている文字認識データベースを用いて、デジタルペン１１１によって取得されたストロークを文字として認識する。この文字認識には、既存の文字認識エンジンを用いることができる。また、絵を認識する場合にも同様に記憶装置１０５に格納されている画像認識データベースを用いて、デジタルペンから得られるストローク情報を基に画像マッチングを実行し、絵を認識することも可能である。
【００１８】
さらに切り出し処理の例として、ストローク情報を基に一つあるいは複数の軸への射影像を用いて、射影像間の空間的な隙間を検出して文字や絵を切り出す方法もある。また、ストロークの時間情報を用いて、ストローク間隔時間が長い部分を検出し、文字や絵を切り出す方法を採用しても良い。さらに上記二つの空間的・時間的な切り出し方法を併用して切り出し精度を高めることもできる。さらにまた、ストローク情報から外郭方向寄与度や外郭局所的輪郭線といった統計量の差異を検出し、文字や絵を切り出す方法もある。これらの切り出し処理を実行した後に、上述した文字・画像認識を実行しても良い。
【００１９】
特徴量抽出部１０４では、座標情報・用紙ID・筆記時間の他、図４および図５に示す様なデジタルペンから得られる情報、認識部１０３による認識結果、および記憶装置１０５内のデータを基に、筆速・加速度、一つの文字や絵単位での記入時間、紙面上における位置、文字や絵の高さ、文字や絵の幅、紙面における記入領域に占める文字や絵の割合、文字や絵の面積等を書字・描画の特徴量として算出する。
【００２０】
また、上述した特徴量の標準的な値を記憶し、記憶装置１０５に格納されている特徴量データベースを用いて、標準値との乖離度を各々算出する。
【００２１】
記憶装置１０５は、磁気ディスク装置等の不揮発性記憶装置によって構成され、特徴量データベースの例として出現頻度データ１０８、標準時間データベース１０９および原稿用紙データ１１０等を格納する。
【００２２】
出現頻度データ１０８は、作業上出現しやすいストロークの情報を含む。具体的には、操作者によって記入される頻度が多いもしくは少ない文字・絵に関するデータを含む。これは使用する場面に応じて適宜内容を変更することが可能であり、絵を描く場面が多い場合にはその絵に対応する画像データを記憶しておくことができ、文字や数字を書くことが多い場合にはそれに応じて文字や数字を記憶しておくことができる。これにより、認識処理に要する処理速度を向上させることが可能となる。
【００２３】
標準時間データベース１０９は、文字や絵を記入するために必要な時間の情報を含む。具体的には、文字や絵毎に、一画のストロークの記入に必要な時間およびストローク間のペン先の移動に必要な時間のデータを含む。原稿用紙データ１１０は、利用者が作業する用紙の情報を含む。
【００２４】
また、記憶装置１０５は標準位置データベースを有しても良い。この標準位置データベースは、記入用紙上に記載される文字や絵の標準的な位置を記憶しておくものである。特に、HTPテスト（House, tree, person test）の様な記載を行う場面で、家・木・人の３つの『絵』を描く位置、大きさ、範囲が評価のファクターとなりうる場合には、予め特徴点となる部分を一箇所ないし複数箇所決めて記憶しておく。例えば、それぞれの絵の中心座標や、木であれば、木の頂点部分・木と葉の境界部分・葉が最も張出している部分等の特徴がある部分の座標である。これらの特徴点の情報は後述する特徴量算出の際に用いることができる。また、これらの特徴点の座標は原稿用紙データと対応付けて予め記憶しても良いし、適宜演算部１０２により、デジタルペンの入力により得られる情報から原稿用紙データ１１０を用いて用紙情報を獲得して得られる用紙サイズの情報から絵の標準的配置を特定し、特定した位置に対応するドットパターン等の紙面位置情報と対応付けても良い。
【００２５】
出力装置１０６は、ディスプレイ・プリンタ等であって、本計算機による処理結果を出力する。なお、出力装置の代わりに記憶装置を設け、記憶装置に処理結果を格納してもよい。
【００２６】
ここで、デジタルペンに１１１によるストローク情報の取得の原理について説明する。
図２は、本発明の実施の形態のデジタルペン１１１による紙面上の座標取得の説明図である。デジタルペン１１１は、位置検出用のドット２０４が印刷された用紙２０１と共に用いられる。
【００２７】
ここで、用紙２０１の一部２０２を拡大して、ドット２０４について説明する。用紙２０１には、複数の小さなドット２０４が印刷されている。このドット２０４は、仮想的な格子線の交点（基準点）２０３から上下左右にずれた位置に印刷されている。紙に文字・図形がデジタルペン１１１で記入されると、記入された文字等は紙に視認可能に残る。デジタルペン１１１は、筆圧センサによってペン先が紙に接したことを検出すると、カメラ１１２によって紙上に印刷されたドット２０４を撮影する。デジタルペン１１１は、例えば、６×６個のドット２０４を含む領域を撮影する。
【００２８】
デジタルペン１１１は、撮影したドットパターンのズレ量から、当該ドットパターンが存在する絶対座標を演算する。この絶対座標は、広大な平面領域における当該ドットパターンが存在する座標である。この広大な平面領域は、同じドットパターンが重複して存在しない様に配置できる全領域である。
【００２９】
デジタルペン１１１は、演算された絶対座標を、デジタルペン接続装置１０１を介し、図示しないサーバに送信し、サーバを介して計算機１０７に送信する。サーバは、デジタルペン１１１によって演算された絶対座標に基づいて、前記広大な平面領域中の該紙面の位置（ドットパターンＩＤ）と、ある一枚の紙面における座標（相対座標）とを特定し、デジタルペン１１１が撮影したドットパターンから、ドットパターンＩＤおよび相対座標を取得する。
【００３０】
デジタルペン１１１が、ペン先が接した位置の情報を周期的（例えば、一定時間毎）に取得することにより、ペン先の動きが分かる。そして、デジタルペン１１１は、撮影したドットパターンに対応する絶対座標、当該ドットパターンの撮影時刻およびペンＩＤを計算機１０７に送信する。
【００３１】
計算機１０７は、デジタルペン１１１によって演算された絶対座標に基づき、位置情報サーバから相対座標を取得する。サーバは、取得した相対座標およびドットパターンが撮影された時刻から、ペン先の軌跡（ストローク情報）を生成する。なお、ここではサーバを介する例を示したが、必ずしもサーバは必要ではなく、上記処理を計算機１０７で実行する様にしても良い。
【００３２】
また、デジタルペン１１１は、ドットパターンＩＤおよび相対座標を特定するために、位置情報サーバを用いなくてもよい。例えば、紙に印刷された識別番号、紙に印刷されたバーコード、または紙に埋め込まれたＩＣタグ等によって用紙を特定してもよい。さらに、タブレットを用いて用紙上の位置（相対座標）を特定することもできる。なお、ＩＣタグ等を用いる用紙の特定またはタブレットを用いる用紙上の位置の特定のいずれかと、位置情報サーバによる絶対座標の特定を組み合わせてもよい。この様にすると、書類管理システムがドットパターンＩＤおよび相対座標を特定する処理を軽減できる。
【００３３】
図３は、本発明の実施の形態のストロークセット３０１の一例を示す。ストロークセット３０１は、デジタルペン１１１によって記入された文字「東京」を示す。本実施の形態では、図に示す様に、用紙の左上を原点とし、横方向をＸ軸とし、縦方向をＹ軸として、ストロークの位置が定められる。前述した様に、ストロークセットは、一纏まりの線（ストローク）の集合であり、線が記入された時間および／または線同士の位置関係に基づいて特定される。
【００３４】
図４は、本発明の実施の形態のストローク情報をまとめたストロークセット情報４０１の構成図である。図４には、図３に示すストロークセット３０１のストロークセット情報を示す。ストロークセット情報４０１は、ストロークセットＩＤ４０２、ペンＩＤ４０３、記入開始日時４０４、該当矩形座標４０５、ストローク数４０６およびストローク情報４０７を含む。
【００３５】
ストロークセットＩＤ４０２は、当該ストロークセットの一意な識別子である。ペンＩＤ４０３は、当該ストロークセットを記入したデジタルペン１１１の一意な識別子である。記入開始日時４０４は、当該ストロークセットを記入し始めた日時である。該当矩形領域４０５は、当該ストロークセットを含む矩形の領域である。該当矩形領域４０５は、当該ストロークセットが記入された書類における座標（相対座標）であり、矩形領域の左上端の座標および右下端の座標で表される。ストローク数４０６は、当該ストロークセットに含まれる線（ストローク）の数である。ストローク数４０６と同数のストローク情報４０７が記録される。ストローク情報４０７は、標本点数４０７Ａおよびシリアル番号４０７Ｂを含む。標本点数４０７Ａは、デジタルペン１１１により取得され、当該ストロークを構成する相対座標の数である。シリアル番号４０７Ｂは、デジタルペン１１１によって取得され、当該ストロークを構成する相対座標の一意な識別子であり、ストローク座標情報５０５（図５）へのリンクである。
【００３６】
図５は、本発明の実施の形態のストローク情報２３のうちストローク座標情報５０５の構成図である。
【００３７】
ストローク座標情報５０５は、シリアル番号５０１、Ｘ座標５０２、Ｙ座標５０３および取得時刻５０４を含む。シリアル番号５０１は、デジタルペン１１１により取得された相対座標の一意な識別子である。Ｘ座標５０２は、Ｘ軸方向の相対座標であり、例えばミリメートルを単位として表す。Ｙ座標５０３は、図４に示すＹ軸方向の相対座標であり、例えばミリメートルを単位として表す。取得時刻５０４は、デジタルペン１１１によって当該相対座標が取得された時刻を表す。なお、図５に示す例では、取得時刻５０４には、記入開始日時４０４からの経過時間が記録されている。
【００３８】
図６は、本発明の実施の形態の計算機による認識処理の全体を示すフローチャートである。主に文字認識の場合を例に、以下説明する。
【００３９】
まず、デジタルペン接続装置１０１は、デジタルペン接続装置１０１に接続されたデジタルペン１１１から、取得したペン情報（ストローク情報）を取得し（６０１）、取得したストローク情報を演算部１０２に送る。演算部１０２は、取得したストローク情報から、ペンイベント（ペンが紙面に接するペンダウンおよびペンが紙面から離れるペンアップ）を抽出し、ペンイベントにおいてストローク情報を分割し、一つ一つのストロークを特定する（６０２）。また、演算部１０２は、取得したストローク情報から、利用者が記入したイメージ画像を作成し、作成されたイメージ画像を認識部１０３に送る。認識部１０３は、作成されたイメージ画像について、画像認識ないし文字認識を実行する（６０３）。
【００４０】
その後、演算部１０２は、分割されたストロークと、文字または絵として認識されたストロークとを比較する。ここで文字認識の場合には、文字や絵を構成するものとして認識されなかったストロークは意味のない作業の結果なので、ノイズストロークであると判定する様にしても良い。この場合、判定されたノイズストロークを分割されたストロークから除去する（６０４）。このノイズストロークの除去によって、意味のある作業によって記入されたストロークのみを抽出することができ、より高精度な評価支援を行うことができる。
【００４１】
また、出現頻度データ１０８を参照して、ノイズストロークであるかを特定する様にしても良い。例えば、文字のみ・絵のみを記載する場面においてそれ以外のものが記入されている場合には、認識される文字や絵のうち対象以外のものはノイズと判定することができる。
【００４２】
その後、演算部１０２は、ノイズが除去された各ストロークの始点および終点の時刻（記入開始時刻および記入終了時刻）を特定して、各ストロークの継続時間および間隔時間を算出する（６０５）。具体的には、ストロークの記入終了時刻から記入開始時刻を減じてストロークの継続時間を求める。また、ストロークの記入開始時刻から前のストロークの記入終了時刻を減じてストロークの間隔時間を求める。
【００４３】
さらに、演算部１０２は、ノイズが除去された各ストロークの始点および終点の位置（Ｘ座標およびＹ座標）を特定し、特定された座標間の移動時間を求める（６０６）。
【００４４】
次に、図７に特徴量抽出部１０４により求められ出力装置に出力される例として、文字情報の解析結果の例を示す。書字中の位置・時間・筆圧情報からなる時系列データを解析し、筆圧７０２の時間変化、書字速度７０３の時間変化、書字加速度７０４の時間変化、全てのストローク距離の和である総書字距離７０５、平均書字速度７０６、文字高さおよび面積７０７を表示している。
【００４５】
この様な書字の特徴量を用いることで、書字速度の変化、書き手の精神・心理・生理状態を推定することができる。例えば、段々筆速が低下することから、書き手の疲労や意欲の低下等が推定できる。
【００４６】
図８に、特徴量抽出部１０４によって求められ出力装置に出力される例として、書字情報（文字列）８０１を解析し、特徴量として文字高さの値８０２を割り出してグラフ化した例を示す。このグラフの横軸はa) のx軸方向の位置であり、a) と b) の横軸は同一スケールで対応している。また、文字高さはa) のy軸方向に測定した。
【００４７】
さらに、文字列８０１の文字それぞれの高さ８０３の値をc) の表にまとめて示す。文字列８０１には同じ文字（例えば『日』）が二個ずつある。この同じ文字の高さの比３０４をd) の表にまとめて示す。比の値は、（左側の文字の高さ）/（右側の文字の高さ）で求めた。d) の表より、同じ文字に着目すると、常に右側の文字の高さが左側の文字の高さよりも小さいことがわかる。これは即ち、左から右に書き進むにつれて徐々に文字が小さくなることを示し、小字症の典型例であると考えられる。この比の値を用いて小字症を定量的に扱うことが可能となり、パーキンソン病の診断支援や投薬計画の支援に応用することができる。
【００４８】
図９に、特徴量抽出部１０４によって求められ出力装置に出力される例として、描画情報（絵）９０１を解析し、特徴量としてb）に示す絵の高さ９０２と面積９０３の値を割り出した例を示す。さらに、絵９０１のそれぞれの高さ９０２・面積９０３の絶対値、および人の高さ・面積を基準としたときの比の値を表c) にまとめて示す。
【００４９】
c) の表より、人の大きさに比して家が小さいことがわかる。これは、この絵に若干遠近法的な表現が含まれているためと考えられ、この例では特に精神的な不安定さ等の病的な要素は見られない。
【００５０】
この様な比の値を用いてHTPテストを定量的に扱うことが可能となり、書き手の精神・心理・生理状態を定量的に把握できる。さらに、これらのデータの時間的な変化をモニタすることでメンタルヘルス予防に応用ことができる。
【００５１】
図１０では、a) に示す様なテストの問題・回答用紙１００１上に記入された書字情報をデジタルペン１１１を用いて収集した例を示す。この書字データを演算部１０２で解析し、回答用紙１００１上に文字がいつどの順で書かれたか、b) の様に『書字タイムログ１００２』の形で表示することができる。
【００５２】
この書字タイムログ１００２から、設問の回答順や思考時間を割り出すことができる。これらの情報から、回答者の思考プロセスを分析することが可能となり、例えば回答者はどの設問でつかえているか、どの様な問題の回答に時間がかかるか、検算・見直しはしているか等を把握することができる。したがって、学習効率の向上、効果的な教授方法の策定、あるいは労働生産性の向上などに利用することが可能となる。
【００５３】
図１１は、アンケート用紙上１１０１に記入された書字情報をデジタルペン１１１で収集した例を示す。この書字データを解析し、アンケートのどこからいつどの順で回答されたか、図の様に軌跡１１０２を描くことができる。なお、時間情報は左上にバー１１０３で示す通り、それぞれ１５秒間の時間帯を濃淡で表示している。
【００５４】
この軌跡と時間の情報から回答者の意欲・理解・躊躇・自信等を分析することで、回答者の興味の対象や大事にしていることの把握が可能となる。したがって、購買傾向の分析などに応用することができる。例えば、それぞれの指標に閾値を設けてそれを超える場合には購買意欲があると判定方法などがある。ここでは、回答数が多い（関心が高いことを示す）、記入時間が短い（判断が早いことを示す）、記入文字数が多く筆速が早い（商品知識が豊富であることを示す）等の特徴の一つないし複数条件に合致する顧客は購買意欲が高いと判断し、その顧客に迅速に説明に伺い丁寧に接客する等の対応が可能となる。さらに、この様なアンケートの書字データをBluetooth（登録商標）無線等で通信を実行し、基地局となる演算装置で実時間解析すれば、例えば展示会場内で購買意欲の高い人を見分け、その場で勧誘することが可能となる。また、そのアンケートに対してどの程度関連知識を有しているか、興味があるかをある程度把握できるため、興味がある人・ない人、関連知識がある人・ない人、それぞれの回答傾向分析なども行うことが可能となる。
【産業上の利用可能性】
【００５５】
本発明は、日常場面での手書きの書字・描画データから、書き手の精神・心理・生理状態を定量的に把握することで、メンタルヘルス予防・購買傾向の分析・学習効率の向上・労働生産性の向上などに用いることができる。
【図面の簡単な説明】
【００５６】
【図１】本発明における書字・描画情報の解析システムの基本構成の一例。
【図２】本発明の実施の形態のデジタルペンによる紙面上の座標取得の説明図。
【図３】本発明の実施の形態のストロークセットの一例。
【図４】本発明の実施の形態のストロークセット情報の構成図。
【図５】本発明の実施の形態のストローク座標情報の構成図。
【図６】本発明の実施の形態の計算機による処理の全体を示すフローチャート。
【図７】書字情報の解析結果の一例。
【図８】文字列の書字情報から文字高さの変化を割り出した一例。
【図９】絵の描画情報から、絵の高さと面積の比を割り出した一例。
【図１０】テストの問題・回答用紙の書字データから書字タイムログを生成した一例。
【図１１】アンケート用紙上から記入軌跡を生成した一例。
【符号の説明】
【００５７】
１０１：デジタルペン接続装置、１０２：演算部、１０３：認識部、１０４：特徴量抽出部、１０５：記憶装置、１０６：出力装置、１０７：計算機、１０８：出現頻度データ、１０９：標準時間データベース、１１０：原稿用紙データ、１１１：デジタルペン、１１２：カメラ、１２１：書字情報の計測装置（入力手段）、１２２：書字データの記録装置、１２３：文字や絵の切り出し同定を実行する演算装置、１２４：特徴量抽出を実行し表示する演算・表示装置、２０１：ドットが印刷された用紙、２０２：用紙２０１の一部、２０３：仮想的な格子線の交点、２０４：ドット、３０１：ストロークセット、４０１：ストロークセット情報、４０２：ストロークセットＩＤ、４０３：ペンＩＤ、４０４：記入開始日時、４０５：該当矩形座標、４０６：ストローク数、４０７：ストローク情報、４０７Ａ：標本点数、４０７Ｂ：シリアル番号、５０１：シリアル番号、５０２：Ｘ座標、５０３：Ｙ座標、５０４：取得時刻、５０５：ストローク座標情報、６０１：ペン情報（ストローク情報）の取得、６０２：一つ一つのストロークの分割・特定、６０３：画像認識ないし文字認識の実行、６０４：ノイズストローク除去、６０５：各ストロークの継続時間および間隔時間の算出、６０６：特定された座標間の移動時間の算出、７０１：文字、７０２：筆圧データ、７０３：書字速度データ、７０４：書字加速度データ、７０５：総書字距離データ、７０６：平均書字速度データ、７０７：文字高さ・面積データ、８０１：文字列、８０２：文字高さデータ、９０１：絵、９０２：絵の高さ、９０３：絵の面積、１００１：テストの問題・回答用紙、１００２：書字タイムログ、１１０１：アンケート用紙、１１０２：軌跡、１１０３：時間を表示したバー。
【図１】
2010131280.tif 000003
【図２】
2010131280.tif 000004
【図３】
2010131280.tif 000005
【図４】
2010131280.tif 000006
【図５】
2010131280.tif 000007
【図６】
2010131280.tif 000008
【図７】
2010131280.tif 000009
【図８】
2010131280.tif 000010
【図９】
2010131280.tif 000011
【図１０】
2010131280.tif 000012
【図１１】
2010131280.tif 000013