(57)【要約】【課題】座標入力装置により入力されたストロークについて文字認識その他の情報処理を実行する情報処理装置等に関して、記憶装置に記憶された文字列の中から所望の文字列を探索することが容易となる状態で、文字認識により認識された文字列を記憶装置に記憶させること。【解決手段】座標入力装置により入力されたストロークについて情報処理を実行する情報処理装置であって、前記ストロークを記憶装置に記憶させるストローク記憶手段と、前記ストロークを表示装置に表示させるストローク表示手段と、前記ストロークについて文字認識を実行する文字認識手段と、前記文字認識手段により認識された文字を記憶装置に記憶させる文字記憶手段と、前記文字認識手段により認識された文字を表示装置に表示させる文字表示手段と、前記文字認識手段により認識された文字列に包含される文字列を構造化して記憶装置に記憶させる文字列記憶手段とを備えることを特徴とする情報処理装置。【選択図】    図１
2004171465.tif 000002
【特許請求の範囲】
【請求項１】
座標入力装置により入力されたストロークについて情報処理を実行する情報処理装置であって、前記ストロークを記憶装置に記憶させるストローク記憶手段と、前記ストロークを表示装置に表示させるストローク表示手段と、前記ストロークについて文字認識を実行する文字認識手段と、前記文字認識手段により認識された文字を記憶装置に記憶させる文字記憶手段と、前記文字認識手段により認識された文字を表示装置に表示させる文字表示手段と、前記文字認識手段により認識された文字列に包含される文字列を構造化して記憶装置に記憶させる文字列記憶手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記文字列記憶手段は、前記文字認識手段により認識された文字列に包含される単語を構造化して記憶装置に記憶させることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記文字列記憶手段は、前記文字認識手段により認識された文字列に包含される単語をその分類により構造化して記憶装置に記憶させることを特徴とする請求項１に記載の情報処理装置。
【請求項４】
座標入力装置により入力されたストロークについて情報処理を実行する情報処理方法であって、前記ストロークを記憶装置に記憶させるストローク記憶段階と、前記ストロークを表示装置に表示させるストローク表示段階と、前記ストロークについて文字認識を実行する文字認識段階と、前記文字認識段階により認識された文字を記憶装置に記憶させる文字記憶段階と、前記文字認識段階により認識された文字を表示装置に表示させる文字表示段階と、前記文字認識段階により認識された文字列に包含される文字列を構造化して記憶装置に記憶させる文字列記憶段階とを備えることを特徴とする情報処理方法。
【請求項５】
前記文字列記憶段階は、前記文字認識段階により認識された文字列に包含される単語を構造化して記憶装置に記憶させることを特徴とする請求項４に記載の情報処理方法。
【請求項６】
前記文字列記憶段階は、前記文字認識段階により認識された文字列に包含される単語をその分類により構造化して記憶装置に記憶させることを特徴とする請求項４に記載の情報処理方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の情報処理方法をコンピュータに実行させる情報処理プログラム。
【請求項８】
請求項４乃至６のいずれか１項に記載の情報処理方法をコンピュータに実行させる情報処理プログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置、情報処理方法、情報処理プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
コンピュータ等の情報処理装置に文字を入力するための「文字入力装置」としてはキーボードが広く普及しており、座標を入力するための「座標入力装置」としてはマウスやタブレットが広く普及している。これに応じて情報処理装置は、入力された文字や座標について情報処理を実行する。例えば、入力された文字をアイコンに付加させる名前として処理したり、入力された座標をポインタを移動させる位置として処理したりする。
この他の例としては、座標入力装置による座標入力を手書きによる文字入力として処理する「手書き文字入力処理」が知られている。具体的に言うと、座標入力装置により入力された座標値の集合（ストローク）について、情報処理装置が文字認識（活字化）を実行することにより、座標入力装置による座標入力（ストローク入力）を手書きによる文字入力として処理するのである。
【０００３】
なお、手書き文字入力処理に関連する特許文献としては、例えば「特開平９−３１９５０３号公報」や「特開２０００−７６３８０号公報」や「特開２０００−９９２２３号公報」や「特開２００１−１４１０３号公報」等が存在する。
【０００４】
【特許文献１】
特開平９−３１９５０３号公報
【特許文献２】
特開２０００−７６３８０号公報
【特許文献３】
特開２０００−９９２２３号公報
【特許文献４】
特開２００１−１４１０３号公報
【０００５】
【発明が解決しようとする課題】
上述した「手書き文字入力処理」を実行する情報処理装置について考察する。文字認識により認識された文字列は、記憶装置に記憶されて管理されることが少なくない。しかし、従来においては、このようにして記憶装置に記憶された文字列の中から所望の文字列を探索することは容易ではなかった。
【０００６】
したがって、本発明は、座標入力装置により入力された座標（ストローク）について文字認識その他の情報処理を実行する情報処理装置等に関して、記憶装置に記憶された文字列の中から所望の文字列を探索することが容易となる状態で、文字認識により認識された文字列を記憶装置に記憶させることを課題とする。
【０００７】
【課題を解決するための手段】
請求項１に記載の発明（情報処理装置）は、座標入力装置により入力されたストロークについて情報処理を実行する情報処理装置であって、前記ストロークを記憶装置に記憶させるストローク記憶手段と、前記ストロークを表示装置に表示させるストローク表示手段と、前記ストロークについて文字認識を実行する文字認識手段と、前記文字認識手段により認識された文字を記憶装置に記憶させる文字記憶手段と、前記文字認識手段により認識された文字を表示装置に表示させる文字表示手段と、前記文字認識手段により認識された文字列に包含される文字列を構造化して記憶装置に記憶させる文字列記憶手段とを備える。
【０００８】
請求項２に記載の発明（情報処理装置）は、請求項１に記載の発明（情報処理装置）に関して、前記文字列記憶手段は、前記文字認識手段により認識された文字列に包含される単語を構造化して記憶装置に記憶させる。
【０００９】
請求項３に記載の発明（情報処理装置）は、請求項１に記載の発明（情報処理装置）に関して、前記文字列記憶手段は、前記文字認識手段により認識された文字列に包含される単語をその分類により構造化して記憶装置に記憶させる。
【００１０】
請求項４に記載の発明（情報処理方法）は、座標入力装置により入力されたストロークについて情報処理を実行する情報処理方法であって、前記ストロークを記憶装置に記憶させるストローク記憶段階と、前記ストロークを表示装置に表示させるストローク表示段階と、前記ストロークについて文字認識を実行する文字認識段階と、前記文字認識段階により認識された文字を記憶装置に記憶させる文字記憶段階と、前記文字認識段階により認識された文字を表示装置に表示させる文字表示段階と、前記文字認識段階により認識された文字列に包含される文字列を構造化して記憶装置に記憶させる文字列記憶段階とを備える。
【００１１】
請求項５に記載の発明（情報処理方法）は、請求項４に記載の発明（情報処理方法）に関して、前記文字列記憶段階は、前記文字認識段階により認識された文字列に包含される単語を構造化して記憶装置に記憶させる。
【００１２】
請求項６に記載の発明（情報処理方法）は、請求項４に記載の発明（情報処理方法）に関して、前記文字列記憶段階は、前記文字認識段階により認識された文字列に包含される単語をその分類により構造化して記憶装置に記憶させる。
【００１３】
請求項７に記載の発明（情報処理プログラム）は、請求項４乃至６のいずれか１項に記載の情報処理方法をコンピュータに実行させる。
【００１４】
請求項８に記載の発明（記録媒体）は、請求項４乃至６のいずれか１項に記載の情報処理方法をコンピュータに実行させる情報処理プログラムが記録されている。
【００１５】
請求項１又は４に記載の発明（情報処理装置又は情報処理方法）は、座標入力装置により入力されたストロークについて文字認識を実行して、認識された文字列に包含される文字列を構造化して記憶装置に記憶させることにより、例えば、記憶装置に記憶された文字列の一覧を閲覧したり、記憶装置に記憶された文字列の中から所望の文字列を検索したりなどして、記憶装置に記憶された文字列の中から所望の文字列を比較的容易に探索することが可能になる。
【００１６】
請求項２又は５に記載の発明（情報処理装置又は情報処理方法）は、認識された文字列に包含される単語を構造化して記憶装置に記憶させることにより、例えば、記憶装置に記憶された単語の一覧を閲覧したり、記憶装置に記憶された単語の中から所望の単語を検索したりなどして、記憶装置に記憶された単語の中から所望の単語を比較的容易に探索することが可能になる。
【００１７】
請求項３又は６に記載の発明（情報処理装置又は情報処理方法）は、認識された文字列に包含される単語をその分類により構造化して記憶装置に記憶させることにより、例えば、記憶装置に記憶された単語の分類ごとの一覧を閲覧したり、記憶装置に記憶された単語の中から所望の単語を分類を指定しつつ検索したりなどして、記憶装置に記憶された単語の中から所望の単語を比較的容易に探索することが可能になる。
【００１８】
請求項７又は８に記載の発明（情報処理プログラム又は記録媒体）は、請求項４乃至６のいずれか１項に記載の情報処理方法をコンピュータに実行させることができる。
【００１９】
【発明の実施の形態】
本発明の実施の形態について説明する。
【００２０】
図１は、本発明の実施の形態の例である情報処理装置１１を備えるシステムを表す。図１のシステムは、情報処理装置１１と、座標入力装置１２と、記憶装置１３と、表示装置１４により構成される。情報処理装置１１及び記憶装置１３は例えば、両者を一体化したパーソナルコンピュータであり、座標入力装置１２及び表示装置１４は例えば、両者を一体化したリコー社製のメディアサイト（登録商標）である。座標入力装置１２はマウスやタブレットやＶｉｒｔｕａｌ  Ｉｎｃ社製のｍｉｍｉｏ（登録商標）やＥＦＩ社製のｅＢｅａｍ（登録商標）等でもよく、表示装置１４はＣＲＴやプロジェクタ等でもよい。座標入力装置１２は、操作者が指やペン等の指示体を使用して座標入力面上をなぞって入力した信号を座標値として検出して、情報処理装置１１に入力する装置である。情報処理装置１１は、このようにして入力された座標値の集合（ストローク）について情報処理を実行する。例えば、ストロークやこれに何らかの処理を施したものを、記憶装置１３に記憶させたり、表示装置１４の表示面上に表示させたりする。なお、座標入力面と表示面をまとめて「手書き入力画面」と呼ぶ。
【００２１】
図２は、図１の情報処理装置１１を表す。図２の情報処理装置１１は、座標入力部２１と、ストローク記憶部３１と、ストローク表示部３２と、文字認識部４１と、文字記憶部４２と、文字表示部４３と、文字列処理部５１とを備える。文字列処理部５１はさらに、文字列記憶部５２その他の機能ブロックを備える。当該その他の機能ブロックについては後述する。
【００２２】
図１の情報処理装置１１に関して、図２の各機能ブロックに係る機能その他の機能は、ここでは３つのソフトにより実現する。後述するような「単語登録ソフト」と「電子白板ソフト」と「単語閲覧ソフト」である。これらのソフトは、図１のパーソナルコンピュータにインストールされている。以下、これらのソフトについて説明する。
【００２３】
（１）単語登録ソフト
１つ目のソフトである単語登録ソフトは、図３に示すように、単語をあらかじめ登録しておくソフトである。登録する内容は、単語とジャンル（分類）の２つであり、これらの情報は電子白板ソフトで使用する。まず、図３の「登録する単語」の欄に登録する単語を入力し、４種類のジャンル「人名・見出し・日付・一般」の中から１種類を選択し、登録ボタンを押すと登録が完了する。また、登録を中断したい場合にはクリアボタンを、登録した単語の一覧を見たい場合は一覧ボタンを押す。クリアボタンを押すと、登録する単語の入力ボックス内がクリアされて、ジャンル「一般」が選択状態になる。一覧ボタンを押すと、図４に示すようなダイアログが現れ、これまでに登録した単語がジャンルの情報と共に一覧できる。
【００２４】
図４において、単語を１つ選択して修正ボタンを押すと、図３のダイアログが表示される。この際、その「登録する単語」の欄には選択した単語が表示され、選択した単語のジャンルが選択状態になっている。ここで内容を変更して登録ボタンを押すと、登録内容を修正できる。また、図４において、単語を１つ以上選択して削除ボタンを押すと、選択した単語を削除することができる。また、図４において、閉じるボタンを押すと、図４のダイアログを閉じることができる。なお、図３のダイアログを閉じる際に、登録された内容がハードディスク内の所定のファイルに保存される。
【００２５】
（２）電子白板ソフト
２つ目のソフトである電子白板ソフトは、図５に示すように、手書き入力画面にＧＵＩとしてボタン群と手書き入力エリアとを表示させるソフトである。ボタン群としては、手書き認識ボタン、図形ボタン、キーボードボタン、単語登録ボタン、ページ戻るボタン、ページ進むボタン、印刷ボタン、終了ボタンが存在する。手書き認識ボタン、単語登録ボタン、終了ボタンについては後述する。その他のボタンは、一般的な電子白板ソフトと同様の機能を提供する。
【００２６】
図６は、図１の情報処理装置１１により実行される情報処理に係るフローチャートである。電子白板ソフトが情報処理装置１１に当該情報処理を実行させる。まず、開始と共に開始処理（Ｓ６１）を実行して、ハードディスクから単語辞書メモリに単語登録ソフトにより登録した単語を読み込む。次に、座標入力装置により入力された座標値を、座標入力処理（Ｓ６２）においてストローク記憶部３１が座標値メモリに順次記憶させる。すなわち、ストロークを記憶させる。座標値メモリに記憶処理があると、表示処理に処理を渡し、表示処理（Ｓ６７）においてストローク表示部３２が前後の座標値を線分で結んで表示装置１４に表示させる。すなわち、ストロークを表示させる。また、座標入力処理（Ｓ６２）においては、図５のボタンが押されたかどうかを監視しており、ボタン群の内のいずれかのボタンが押された場合には、モード判別処理に処理を渡す。モード判別処理（Ｓ６３）においては、どのボタンが押されたかを特定する。ここでは、各ボタンには各ボタン固有のインデックスが設定してあるので、インデックスを調べることでどのボタンが押されたかを特定できる。手書き認識ボタンが押された場合は手書き文字認識処理、単語登録ボタンが押された場合は単語追加処理、それ以外のボタンが押された場合は終了処理に処理を渡す。
【００２７】
手書き文字認識処理（Ｓ６４）においては、文字認識部４１がストロークについて文字認識を実行して、文字記憶部４２が認識された文字列を結果メモリに記憶させると共に、表示処理と共に認識文字列処理に処理を渡す。また、認識された文字列の外接四角形を算出し、各パラメータの初期化を行い、結果メモリに記憶させる。認識文字列処理（Ｓ６５）においては、文字列処理部５１が結果メモリに記憶された認識文字列について処理を実行して、表示処理に処理を渡すと共に座標入力処理に処理を返す。例えば、文字列処理部５１内の文字列記憶部５２が認識文字列に包含される文字列（ここでは単語）を、構造化して結果メモリに記憶させたり全単語メモリに記憶させたりする。単語追加処理（Ｓ６６）においては、単語辞書メモリに新たな単語を登録して、座標入力処理に処理を返す。表示処理（Ｓ６７）においては、認識文字列や包含文字列を結果メモリから取得して、表示装置１４に表示させる。具体的に言うと、文字表示部４３が認識文字列を、文字列処理部５１内の文字列表示部が包含文字列を、それぞれ表示装置１４に表示させる。これと共に、座標入力処理に処理を返して新たな入力を待つ。終了処理（Ｓ６８）においては、結果メモリ、単語辞書メモリ、全単語メモリ内のデータをハードディスクに出力して、処理を終了する。
【００２８】
このように、情報処理装置１１は座標入力装置１２により入力された座標（ストローク）について情報処理を実行する。以下、Ｓ６１からＳ６８までの各ステップについて説明する。
【００２９】
（開始処理）
図７は、開始処理（Ｓ６１）について説明するための図である。図３のようにしてハードディスクに記憶させた単語辞書ファイルを開い（Ｓ７１）て、登録単語をすべて読み込む。読み込んだ登録単語は、単語辞書メモリに記憶（Ｓ７２）させる。そして、座標入力処理（Ｓ６２）に処理を渡す。
【００３０】
（座標入力処理）
図８は、座標入力処理（Ｓ６２）について説明するための図である。メディアサイト（登録商標）の座標入力面を制御するドライバでは、座標を検出すると、Ｗｉｎｄｏｗｓ（登録商標）のマウスイベントに対応付けを行なっている。具体的に言うと、操作者が指やペンなどの指示体を使用して座標入力面上に触れることを、マウス左ボタンのＤＯＷＮイベントに対応付け、指示体を使用して座標入力面上をなぞることを、マウス左ボタンのＭＯＶＥイベントに対応付け、指示体を座標入力面上から離すことを、マウス左ボタンのＵＰイベントに対応付ける。よって、メディアサイト（登録商標）の座標入力面を制御するドライバは、検出した座標値とマウスイベントの情報を座標入力処理（Ｓ６２）に入力することになる。
【００３１】
座標入力処理（Ｓ６２）においては、座標入力部２１がマウスイベントを常に監視（Ｓ８１）している。マウスイベントがない場合には、マウスイベントの監視でループし続ける。ボタン上でマウスイベントがあった場合には、ボタンが押されたと判断して、モード判別処理（Ｓ６３）に処理を渡す。手書き入力エリアでマウスイベントがあった場合には、座標値を座標値メモリに記憶（Ｓ８２）させる。そして、ＵＰイベントかどうか（Ｓ８３）を調べ、ＵＰイベントでなければ、マウスイベントの監視に処理を返す。ＵＰイベントであれば、座標値メモリのページを捲り（Ｓ８４）１大きくする。これは、図９に示すように、マウスのＤＯＷＮからＭＯＶＥを経てＵＰまでのイベントで検出された座標値の集合をストロークとして記憶するためである。ここで、ストローク単位を操作者に明示するために、図９に示すように、各座標点間を直線で結び表示させることが一般的である。よって、座標値メモリに座標値を記憶させると、表示処理（Ｓ６７）に処理を渡し、表示装置１４に線分を表示させる。
【００３２】
図１０に座標値メモリの構造について示す。座標値メモリは複数のページを有しており、１ページが１ストロークに対応する。ページ内にはマウスのＤＯＷＮからＵＰまでのイベントで検出された座標値がすべて記憶されている。上述のように、ページを捲ると次のイベントは新しいストロークとして記憶できる。ページを捲った後は、マウスイベントの監視に処理を返す。
【００３３】
（モード判別処理）
図１１は、モード判別処理（Ｓ６３）について説明するための図である。モード判別処理（Ｓ６３）においては、どのボタンが押されたかを特定する。まず、押されたボタンが手書き認識ボタンかを調査（Ｓ１１１）する。上述したようにここでは、手書き認識ボタンのインデックスかどうかを調べる。手書き認識ボタンのインデックスであった場合には、手書き文字認識処理（Ｓ６４）に処理を渡す。手書き認識ボタンのインデックスでなかった場合には、押されたボタンが単語登録ボタンかを調査（Ｓ１１２）する。すなわち、単語登録ボタンのインデックスかどうかを調べる。単語登録ボタンのインデックスであった場合には、単語追加処理（Ｓ６６）に処理を渡す。単語登録ボタンのインデックスでなかった場合には、終了処理（Ｓ６８）に処理を渡す。
【００３４】
（手書き文字認識処理）
図１２は、手書き文字認識処理（Ｓ６４）について説明するための図である。まず、座標値メモリを参照して座標値の呼び出し（Ｓ１２１）を行う。そして、一文字切り出し（Ｓ１２２）によって一文字単位のストロークに分ける。分けた一文字単位のストロークそれぞれについて、認識エンジン（Ｓ１２４）を使用して文字認識（Ｓ１２３）を実行する。なお、一文字切り出しや認識エンジンに関してはすでに様々な方法が提案されており、そのいずれを使用してもよい。
【００３５】
全ストロークについて文字認識が終了したら、結果メモリに認識された文字列を記憶（Ｓ１２５）させる。次に、全ストロークに係る座標値群の外接四角形を算出（Ｓ１２６）する。具体的に言うと、座標値群のｘ座標及びｙ座標について最小値及び最大値を算出する。ｘ座標の最小値をＸｍｉｎ、ｘ座標の最大値をＸｍａｘ、ｙ座標の最小値をＹｍｉｎ、ｙ座標の最大値をＹｍａｘとするとき、外接四角形は左上座標（Ｘｍｉｎ，Ｙｍｉｎ）と右下座標（Ｘｍａｘ，Ｙｍａｘ）で定義し、結果メモリに記憶させる。次に、結果メモリのその他のパラメータの初期化（Ｓ１２７）を行う。
【００３６】
したがって、結果メモリの構造は図１３に示すようになる。座標値メモリ同様に結果メモリも複数のページを有しており、１ページが１文字列（認識文字列）に対応する。１ページ内には、認識文字列、外接四角形、フォントサイズ、カラー、フォント、装飾、ジャンル、見出し、関連文字列という９つのパラメータが存在する。すなわち、Ｓ１２７において初期化されるのは、認識文字列と外接四角形の２つ以外の７つのパラメータである。最後に、表示処理（Ｓ６７）と共に認識文字列処理（Ｓ６５）に処理を渡す。なお、Ｓ１２１からＳ１２４までの処理は文字認識部４１、Ｓ１２５からＳ１２７までの処理は文字記憶部４２により実行される。
【００３７】
（認識文字列処理）
図１４は、認識文字列処理（Ｓ６５）について説明するための図である。認識文字列処理（Ｓ６５）においては、単語辞書メモリを参照した単語抽出処理（Ｓ１４１）と、結果メモリを参照した単語視覚化処理（Ｓ１４２）と、見出し構造化処理（Ｓ１４３）と、関連文字列記憶処理（Ｓ１４４）とを実行して、それぞれの結果を結果メモリに記憶させる。さらに、結果メモリを参照した全単語抽出処理（Ｓ１４５）を実行して、その結果を全単語メモリに記憶させる。以下、これらの各処理について説明する。
【００３８】
図１５は、第１番目の単語抽出処理（Ｓ１４１）について説明するための図である。まず、結果メモリに記憶された認識文字列内に単語辞書メモリに登録された単語が包含されるかを検索・判断（Ｓ１５１・Ｓ１５２）する。検索方法としては、既存の検索方法を使用する。例えば、Ｊａｖａ（登録商標）のＳｔｒｉｎｇクラスのｃｏｍｐａｒｅＴｏメソッドを使用すれば、文字列の比較を行うことができる。このようにして、認識文字列に包含される単語（包含文字列）を抽出する。単語辞書内の単語が認識文字列内に包含される場合には、結果メモリのジャンルの値を設定（Ｓ１５３）する。単語辞書内の単語が人名の場合はジャンルを１に、見出しの場合はジャンルを２に、日付の場合は３に、一般の場合は４に設定する。これを利用して単語が構造化される。その結果を結果メモリに記憶させ、単語視覚化処理（Ｓ１４２）に処理を渡す。単語辞書内の単語が認識文字列内に包含されない場合には、単語視覚化処理（Ｓ１４２）に処理を渡す。なお、Ｓ１５１からＳ１５２までの処理は文字列処理部５１内の単語抽出部により実行され、Ｓ１５３の処理は文字列処理部内の文字列記憶部５２により実行される。
【００３９】
図１６は、第２番目の単語視覚化処理（Ｓ１４２）について説明するための図である。まず、結果メモリを参照（Ｓ１６１）して、ジャンルが０の場合には見出し構造化処理（１４３）に処理を渡す。ジャンルが０以外の場合には、結果メモリのカラー、フォント、装飾に所定の値を設定（Ｓ１６２〜Ｓ１６４）する。設定する値は、ジャンルの数値毎にあらかじめ設定しておいてもよい。または、処理中にダイアログを表示させて、操作者が設定するようにしてもよい。これを利用して単語が視覚化される。その結果を結果メモリに記憶させ、見出し構造化処理（Ｓ１４３）に処理を渡す。さらに、これらの情報は視覚的に変化を伴うので、表示処理（Ｓ６７）に処理を渡し、表示装置１４に表示された内容を更新する。すなわち、表示された単語のカラー、フォント、装飾を更新する。このようにして、抽出された単語（包含文字列）を視覚化する。なお、Ｓ１６１からＳ１６４までの処理は文字列処理部５１内の単語視覚化部により実行される。
【００４０】
図１７は、第３番目の見出し構造化処理（Ｓ１４３）について説明するための図である。まず、結果メモリを参照して、１つ前の文字列の見出し（すなわち、結果メモリの１つ前のページの見出し）を調べて、その値をｃｎｕｍと（Ｓ１７１）する。前のページがない場合には、ｃｎｕｍ＝０とする。次に、結果メモリのジャンルを参照（Ｓ１７２）して、ジャンルが２である場合はｃｎｕｍ＋１として結果メモリの見出しに記憶（Ｓ１７３）させる。ジャンルが２でない場合はｃｎｕｍを結果メモリの見出しに記憶（Ｓ１７４）させる。このようにすれば、結果メモリの見出しの値が同じ文字列をひとつの構造として扱うことができる。そして、関連文字列記憶処理（Ｓ１４４）に処理を渡す。なお、Ｓ１７１からＳ１７４までの処理は文字列処理部５１内の文字列記憶部５２により実行される。詳細に言うと、文字列記憶部５２内の見出し構造化部により実行される。
【００４１】
図１８は、第４番目の関連文字列記憶処理（Ｓ１４４）について説明するための図である。まず、結果メモリを参照して、ジャンルが１又は３であるかを調査（Ｓ１８１）する。ジャンルが１でも３でもない場合には、全単語抽出処理（Ｓ１４５）に処理を渡す。ジャンルが１又は３である場合には、結果メモリの外接四角形を参照して、外接四角形の角４点の座標値を求める。例えば、図１９に示すような文字列「対象文字列」が存在した場合、対象文字列の角４点をＬＵ、ＬＤ、ＲＵ、ＲＤとする。ＬＵ、ＬＤ、ＲＵ、ＲＤはそれぞれｘ座標、ｙ座標値を持つものとする。そして、他の文字列「テスト１」と「テスト２」についても同様にして、図１９に示すようにＬＵ１、ＬＤ１、ＲＵ１、ＲＤ１及びＬＵ２、ＬＤ２、ＲＵ２、ＲＤ２を求める。次に、各点間の距離を求め（Ｓ１８２）て、そのうち最小の距離を探索する。図１９の場合には、対象文字列のＬＤとテスト１のＲＵ１間が最短距離であるので、対象文字列の結果メモリの関連文字列にテスト１の結果メモリのページ番号を設定して記憶（Ｓ１８３）させる。または、最小の距離ではなく、所定の距離以下ならばすべて関連文字列としてもよい。このようにして、各文字列を他の文字列（例えば、文字列間の距離が最小距離や所定距離以下となるような文字列）と関連付けて記憶させる。そして、全単語抽出処理（Ｓ１４５）に処理を渡す。なお、Ｓ１８１からＳ１８３までの処理は文字列処理部５１内の文字列記憶部５２により実行される。詳細に言うと、文字列記憶部５２内の関連文字列記憶部により実行される。
【００４２】
図２０は、第５番目の関連文字列記憶処理（Ｓ１４５）について説明するための図である。まず、結果メモリの認識文字列を参照して、認識文字列内に包含される全単語を抽出（Ｓ２０１）する。抽出方法としては既存の方法が多数あり、いずれを使用してもかまわない。このようにして、認識文字列に包含される全単語を抽出する。次に、抽出した単語について、全単語メモリ内にすでに登録されていないかを調査（Ｓ２０２）する。登録されている場合は座標入力処理（Ｓ６２）へ処理を返す。登録されていない場合は全単語メモリに抽出した単語を記憶（Ｓ２０３）させて、座標入力処理（Ｓ６２）に処理を返す。なお、Ｓ２０１の処理は文字列処理部５１内の全単語抽出部により実行され、Ｓ２０２からＳ２０３までの処理は文字列処理部内の文字列記憶部５２により実行される。
【００４３】
（単語追加処理）
図２１は、単語追加処理（Ｓ６６）について説明するための図である。まず、登録する単語の切り出し（Ｓ２１１）を行う。切り出しにはジェスチャを使用する。例えば、図２２Ａに示すように、操作者が、登録する単語を囲むようなストローク（ここでは「新しい機能の実装」という文字列の内の「機能」という単語を囲んでいる）を描画し、単語登録ボタンを押したとする。同ストロークの座標点は座標値メモリに存在する。一方、結果メモリに記憶された各文字列の外接四角形の座標値を参照して、上記のストロークの座標値のうち一点でも外接四角形内に存在するならば、その認識文字列を呼び出す。等幅のフォントを用いているとすると、図２２Ｂに示すように外接四角形を文字列の文字数で分割する。ストロークのｘ座標値の最小値及び最大値がどの分割エリアに存在するかを調べる。しかし、図２２Ｂのように分割すると、囲み方によって選択文字が異なってしまい、ロバスト性がない。よって、図２２Ｃに示すように、分割した外接四角形を半文字分ずらして設定する。そうすることで、認識文字列から登録単語をロバストに切り出すことができる。そして、図３と同様のダイアログを表示させて、登録単語の欄へ切り出した登録単語を表示する。ここで操作者は、ジャンルを選択（Ｓ２１２）して登録ボタンを押す。すると、登録単語がジャンル情報を伴って単語辞書メモリへ登録（Ｓ２１３）され、座標値入力処理（Ｓ６２）に処理を返す。このようにして、ジェスチャを使用するなどして文字列から単語を切り出して追加登録する。なお、Ｓ２１１からＳ２１３までの処理は単語追加部により実行される。
【００４４】
（表示処理）
図２３は、表示処理（Ｓ６７）について説明するための図である。座標入力処理（Ｓ６２）から処理を受け取った場合には、座標値メモリ内の座標点を線分で結んで表示装置１４に表示（Ｓ２３１）させる。すなわち、ストロークを表示させる。手書き文字認識処理（Ｓ６４）から処理を受け取った場合には、結果メモリ内の認識文字列を表示装置１４にＴｅｘｔ表示（Ｓ２３２）させる。Ｔｅｘｔ表示の方法は、ＶｉｓｕａｌＢａｓｉｃに代表されるようなＴｅｘｔＢｏｘにて行なう。この際、カラー、フォント、装飾については結果メモリを参照せずに、デフォルトで所有する値を使用する。認識文字列処理（Ｓ６５）から処理を受け取った場合には、結果メモリを参照してカラー、フォント、装飾を設定して（Ｓ２３３）から、結果メモリ内の認識文字列を表示装置１４にＴｅｘｔ表示（Ｓ２３２）させる。すなわち、単語を視覚化して表示させる。そして、座標入力処理（Ｓ６２）に処理を返す。
【００４５】
（終了処理）
図２４は、終了処理（Ｓ６８）について説明するための図である。ここでは、各処理によって得られた情報をハードディスクに保存（Ｓ２４１）する。すなわち、結果メモリ、単語辞書メモリ、全単語メモリに記憶されているデータを、前述の単語登録ソフトや後述の単語閲覧ソフトで利用可能にする。このようにして処理を終了する。
【００４６】
（３）単語閲覧ソフト
３つ目のソフトである単語閲覧ソフトは、図２５に示すようなユーザインタフェースを提供するソフトである。閲覧方法としては、このような専用ソフトを用意する方法の他に、データベースソフトとＷｅｂブラウザとを組み合わせた情報閲覧システムが考えられる。本ソフトには、検索エリアと検索結果表示エリアがある。検索エリアには、人名選択エリアと、抽出キーワード選択エリアと、フリーキーワード入力エリアと、検索ボタンがある。人名選択エリアは、図２６に示すように、単語辞書ファイルに保存してあるジャンルが人名の文字列を表示可能である。抽出キーワード選択エリアは、図２７に示すように、電子白板ソフトで抽出した全単語を表示可能である。フリーキーワード入力エリアには、操作者が自由な文字列を入力可能である。いずれか少なくとも１つのエリアを埋めて検索ボタンを押すと、検索結果が検索結果表示エリアに表示される。人名選択エリアを埋めて検索した場合、電子白板ソフトで関連付けた文字列を表示する。抽出キーワードエリアやフリーキーワードエリアを埋めて検索した場合、電子白板ソフトで保存した文字列すべてについて検索を行い、該当する文字列を列挙する。なお、人名選択エリアと同様の日付選択エリアを設けてもよい。
【００４７】
（変形例）
図１の情報処理装置１１は、本発明に係る「情報処理装置」の実施の形態の例である。さらに、図１の情報処理装置１１により実行される情報処理方法は、本発明に係る「情報処理方法」の実施の形態の例である。さらに、当該情報処理方法をコンピュータに実行させるコンピュータプログラムは、本発明に係る「情報処理プログラム」の実施の形態の例である。さらに、当該情報処理方法をコンピュータに実行させるコンピュータプログラムが記録されているコンピュータ読取可能な記録媒体は、本発明に係る「記録媒体」の実施の形態の例である。
【００４８】
【発明の効果】
このように、本発明は、座標入力装置により入力された座標（ストローク）について文字認識その他の情報処理を実行する情報処理装置等に関して、記憶装置に記憶された文字列の中から所望の文字列を探索することが容易となる状態で、文字認識により認識された文字列を記憶装置に記憶させることを可能にする。
【図面の簡単な説明】
【図１】本発明の実施の形態の例である情報処理装置を備えるシステムを表す。
【図２】図１の情報処理装置を表す。
【図３】単語登録ソフトについて説明するための図である。
【図４】単語登録ソフトについて説明するための図である。
【図５】電子白板ソフトについて説明するための図である。
【図６】図１の情報処理装置により実行される情報処理に係るフローチャートである。
【図７】開始処理（Ｓ６１）について説明するための図である。
【図８】座標入力処理（Ｓ６２）について説明するための図である。
【図９】座標入力処理（Ｓ６２）について説明するための図である。
【図１０】座標入力処理（Ｓ６２）について説明するための図である。
【図１１】モード判別処理（Ｓ６３）について説明するための図である。
【図１２】手書き文字認識処理（Ｓ６４）について説明するための図である。
【図１３】手書き文字認識処理（Ｓ６４）について説明するための図である。
【図１４】認識文字列処理（Ｓ６５）について説明するための図である。
【図１５】単語抽出処理（Ｓ１４１）について説明するための図である。
【図１６】単語視覚化処理（Ｓ１４２）について説明するための図である。
【図１７】見出し構造化処理（Ｓ１４３）について説明するための図である。
【図１８】関連文字列記憶処理（Ｓ１４４）について説明するための図である。
【図１９】関連文字列記憶処理（Ｓ１４４）について説明するための図である。
【図２０】全単語抽出処理（Ｓ１４５）について説明するための図である。
【図２１】単語追加処理（Ｓ６６）について説明するための図である。
【図２２】単語追加処理（Ｓ６６）について説明するための図である。
【図２３】表示処理（Ｓ６７）について説明するための図である。
【図２４】終了処理（Ｓ６８）について説明するための図である。
【図２５】単語閲覧ソフトについて説明するための図である。
【図２６】単語閲覧ソフトについて説明するための図である。
【図２７】単語閲覧ソフトについて説明するための図である。
【符号の説明】
１１  情報処理装置
１２  座標入力装置
１３  記憶装置
１４  表示装置
２１  座標入力部
３１  ストローク記憶部
３２  ストローク表示部
４１  文字認識部
４２  文字記憶部
４３  文字表示部
５１  文字列処理部
５２  文字列記憶部
【図１】
2004171465.tif 000003
【図２】
2004171465.tif 000004
【図３】
2004171465.tif 000005
【図４】
2004171465.tif 000006
【図５】
2004171465.tif 000007
【図６】
2004171465.tif 000008
【図７】
2004171465.tif 000009
【図８】
2004171465.tif 000010
【図９】
2004171465.tif 000011
【図１０】
2004171465.tif 000012
【図１１】
2004171465.tif 000013
【図１２】
2004171465.tif 000014
【図１３】
2004171465.tif 000015
【図１４】
2004171465.tif 000016
【図１５】
2004171465.tif 000017
【図１６】
2004171465.tif 000018
【図１７】
2004171465.tif 000019
【図１８】
2004171465.tif 000020
【図１９】
2004171465.tif 000021
【図２０】
2004171465.tif 000022
【図２１】
2004171465.tif 000023
【図２２】
2004171465.tif 000024
【図２３】
2004171465.tif 000025
【図２４】
2004171465.tif 000026
【図２５】
2004171465.tif 000027
【図２６】
2004171465.tif 000028
【図２７】
2004171465.tif 000029