(57)【要約】  手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を第２の端末に送信する処理と、前記第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報の前記第２の端末からの受信に応じ、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する処理と、を実行する。
2017042981.tif 000002
【特許請求の範囲】
【請求項１】
手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を第２の端末に送信する処理と、
前記第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報の前記第２の端末からの受信に応じ、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する処理と、
を実行することを特徴とする入力処理方法。
【請求項２】
前記送信する処理は、前記第１のテキスト情報、および、前記第１のテキスト情報に関する属性情報を前記第２の端末に送信し、
前記修正する処理は、前記属性情報を含めた情報を前記第２の端末より受信する、
ことを特徴とする請求項１に記載の入力処理方法。
【請求項３】
前記第１のテキスト情報の修正は、文字列の修正である、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項４】
前記第１のテキスト情報の修正は、前記第１の手書き入力の認識単位を修正した認識結果による修正である、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項５】
前記第２の手書き入力は、前記第２のテキスト情報に含まれる文字に対する修正入力である、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項６】
前記第２の手書き入力は、前記第２のテキスト情報に対する認識単位指示入力である、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項７】
前記第１の端末は、前記第２の端末の画面に関する情報に基づき、受信した前記筆跡情報を補正する、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項８】
前記第１の端末は、該第１の端末における修正結果を前記第２の端末に送信する、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項９】
前記第２の端末は、前記第１のテキスト情報の修正が可能な端末の中から前記第１の端末を決定する、
ことを特徴とする請求項１または２に記載の入力処理方法。
【請求項１０】
手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を第２の端末に送信する手段と、
前記第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報の前記第２の端末からの受信に応じ、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する手段と、
を備えたことを特徴とする入力処理装置。
【請求項１１】
コンピュータに、
手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を第２の端末に送信する処理と、
前記第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報の前記第２の端末からの受信に応じ、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する処理と、
を実行させる入力処理プログラム。
【請求項１２】
第１の端末と第２の端末とを備え、
前記第１の端末は、該第１の端末で手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を前記第２の端末に送信する手段を備え、
前記第２の端末は、該第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力を受けた場合に、前記第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報を前記第１の端末に送信する手段を備え、
前記第１の端末は、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する手段を備える、
ことを特徴とする入力処理システム。
【請求項１３】
第１の端末が、該第１の端末で手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を第２の端末に送信する処理と、
前記第２の端末が、該第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力を受けた場合に、前記第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報を前記第１の端末に送信する処理と、
前記第１の端末が、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する処理と、
を実行することを特徴とする入力処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力処理方法、入力処理装置、入力処理プログラムおよび入力処理システムに関する。
【背景技術】
【０００２】
ユーザによる手書き入力を受け付け、受け付けた手書き入力について文字認識を行って得られた認識文字を、入力文字として処理するツールが知られている（例えば、特許文献１等を参照。）。【０００３】
また、複数のタブレット等の端末において、画面に入力されたデータを共有することが行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２３５１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の端末において画面に入力されたデータを共有し、手書き入力に対応させ、手書き入力による修正にも対応させた場合、端末に表示された文字に対し、その文字について手書き入力を受け付けたのとは異なる端末から手書き入力により修正が行われる場面が考えられる。例えば、顧客に第１の端末で手書き入力を行わせ、店員が第２の端末で記載内容の修正を手書き入力で行うような場合が想定される。【０００６】
この場合、表示される文字についての入力済の手書き入力の筆跡情報（ストローク情報）を修正のために他の端末で再利用できるようにすると、複数の端末において筆跡情報についても共有しなければならない。一般に、筆跡情報は二次元座標が多数連なったものとなるため、データ量が多く（例えば、数キロバイト）、必ずしも修正に利用されるとは限らない多量のデータを複数の端末で共有することとなる。【０００７】
また、データの共有が行われる端末は、必ずしも処理能力（ＣＰＵ、電池、認識ソフトの有無等）が全て揃っているとは限らず、仮に筆跡情報を複数の端末で共有した場合であっても、修正の処理を円滑に行えない場合がある。例えば、手書き文字認識に必要な端末のメモリ使用量は、ＲＡＭ（Random Access Memory）で２．５ＭＢ、ＲＯＭ（Read Only Memory）で１．５ＭＢ程度となり、リソースが乏しい端末では処理を円滑に行えない場合があり、通常の処理に与える影響も無視できない。【０００８】
そこで、一側面では、複数の端末で手書き入力の結果を共有する場合において、手書き入力により認識されたテキストに対する修正を、通信量及び／又は処理リソースを抑えながら行えるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
一つの形態では、手書き入力された第１の手書き入力に基づいて認識された第１のテキスト情報を第２の端末に送信する処理と、前記第２の端末において表示された、前記第１のテキスト情報に対応する第２のテキスト情報に対する第２の手書き入力に関する筆跡情報、および、前記第２のテキスト情報に関する表示位置情報の前記第２の端末からの受信に応じ、前記筆跡情報、および、前記表示位置情報に基づき、前記第１のテキスト情報を修正する処理と、を実行する。
【発明の効果】
【００１０】
一側面では、複数の端末で手書き入力の結果を共有する場合において、手書き入力により認識されたテキストに対する修正を、通信量及び／又は処理リソースを抑えながら行えるようにすることができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態にかかるシステムの構成例を示す図である。
【図２】端末のハードウェア構成例を示す図である。
【図３】端末１の機能構成の例を示す図である。
【図４】文字・ストローク情報およびセグメント情報の構造例を示す図である。
【図５】エリア情報の構造例を示す図である。
【図６】端末間でのデータの共有の例を示す図（その１）である。
【図７】端末間でのデータの共有の例を示す図（その２）である。
【図８】送信データの例を示す図である。
【図９】実施形態の処理例を示すフローチャート（その１）である。
【図１０】実施形態の処理例を示すフローチャート（その２）である。
【図１１】ストローク情報の補正の例を示す図である。
【図１２】画面のサイズやエリア位置情報から単純に補正した場合の問題を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施形態につき説明する。
【００１３】
＜構成＞
図１は一実施形態にかかるシステムの構成例を示す図である。図１において、複数の端末（端末装置）１Ａ、１Ｂ、・・は、無線ＬＡＮ（Local Area Network）等のネットワーク５を介して通信装置６に接続され、端末１Ａ、１Ｂ、・・の相互間でデータの共有が行われるようになっている。通信装置６は、端末１Ａ、１Ｂ、・・のいずれかから宛先を指定したデータを受信すると、該当する宛先の端末にデータを送信する。なお、端末１Ａ、１Ｂ、・・の相互間で直接にデータの送受信を行う場合は、ネットワーク５および通信装置６を省略することもできる。
【００１４】
各端末１（１Ａ、１Ｂ、・・）には、主なプログラムとして、テキスト表示アプリケーション１０（１０Ａ、１０Ｂ、・・）と、修正対象文字特定プログラム２０（２０Ａ、２０Ｂ、・・）と、認識プログラム３０（３０Ａ、３０Ｂ、・・）と、共有プログラム７０（７０Ａ、７０Ｂ、・・）とが配置されている。
【００１５】
テキスト表示アプリケーション１０は、例えば、伝票作成アプリケーションやメール作成アプリケーション等の、入力された文字群（テキスト）を表示するプログラムである。テキスト表示アプリケーション１０により表示されたテキストを「表示テキスト」とも呼ぶ。
【００１６】
修正対象文字特定プログラム２０は、表示テキストに対して手書きによる修正入力がされた場合に、入力されたストロークから、置換・挿入・削除の対象となる表示テキストの範囲や位置を特定するとともに、認識単位修正の対象となる表示テキストの結合範囲または分割位置を特定する。なお、手書き入力および手書き修正入力は、指によりストロークを入力する場合に限られず、例えばスタイラス（stylus）等を用いてストロークを入力してもよい。
【００１７】
認識プログラム３０は、手書き入力および手書き修正入力により入力されたストロークから文字を認識し、入力されたストロークに対応する文字を認識結果として取得する。
【００１８】
共有プログラム７０は、端末間のデータ共有のためのデータの送受信の処理を行う。
【００１９】
テキスト表示アプリケーション１０、修正対象文字特定プログラム２０および共有プログラム７０は各端末１に設けられることを想定しているが、認識プログラム３０はリソースの観点から設けられない端末もある。
【００２０】
図２は端末１（１Ａ、１Ｂ、・・）のハードウェア構成例を示す図である。図２において、端末１は、それぞれバスＢで相互に接続されている表示操作装置１０１、ドライブ装置１０２、補助記憶装置１０３、メモリ装置１０４、演算処理装置１０５、インタフェース装置１０６を有する。
【００２１】
表示操作装置１０１は、例えば、タッチパネル等であり、各種信号の入力と、各種信号の表示（出力）に用いられる。インタフェース装置１０６は、モデム、ＬＡＮカード等を含み、ネットワークに接続するために用いられる。
【００２２】
テキスト表示アプリケーション１０、修正対象文字特定プログラム２０、認識プログラム３０および共有プログラム７０は、端末１を制御する各種プログラムの少なくとも一部である。これらのプログラムは、例えば、記録媒体１０７による配布やネットワークからのダウンロード等によって提供される。テキスト表示アプリケーション１０、修正対象文字特定プログラム２０、認識プログラム３０および共有プログラム７０を記録した記録媒体１０７は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
【００２３】
また、テキスト表示アプリケーション１０、修正対象文字特定プログラム２０、認識プログラム３０および共有プログラム７０を記録した記録媒体１０７がドライブ装置１０２にセットされると、各プログラムは記録媒体１０７からドライブ装置１０２を介して補助記憶装置１０３にインストールされる。ネットワークからダウンロードされた各プログラムは、インタフェース装置１０６を介して補助記憶装置１０３にインストールされる。
【００２４】
補助記憶装置１０３は、インストールされたテキスト表示アプリケーション１０、修正対象文字特定プログラム２０、認識プログラム３０および共有プログラム７０を格納するとともに、基本ソフトウェアであるＯＳ（Operating System）、必要なファイル、データ等を格納する。メモリ装置１０４は、各プログラムの起動時に補助記憶装置１０３にそれぞれのプログラムを読み出して格納する。そして、演算処理装置１０５は、メモリ装置１０４に格納された各プログラムに従って、後述するような各種処理を実現している。
【００２５】
図３は端末１（１Ａ、１Ｂ、・・）の機能構成の例を示す図である。図３において、端末１は、テキスト表示アプリケーション実行部１１と修正対象文字特定部２１と文字認識部３１と共有制御部７１とを備えており、処理に際して記憶部４１の各種情報を参照・更新する。テキスト表示アプリケーション実行部１１は、テキスト表示アプリケーション１０（図１）に対応するものである。修正対象文字特定部２１は、修正対象文字特定プログラム２０（図１）に対応するものである。文字認識部３１は、認識プログラム３０（図１）に対応するものである。共有制御部７１は、共有プログラム７０（図１）に対応するものである。
【００２６】
修正対象文字特定部２１は、ストローク情報取得部２２と領域特定部２３と置換・挿入・削除位置範囲特定部２４と結合範囲・分割位置特定部２５とストローク情報補正部２６とを備えている。
【００２７】
ストローク情報取得部２２は、ユーザによる手書きのストローク情報（入力ストローク情報）を取得する機能を有している。このストローク情報は、入力ストローク情報４４に対応する。領域特定部２３は、入力ストローク情報のストロークの領域（例えば、ストロークに外接する四角形の領域）を特定する機能を有している。
【００２８】
置換・挿入・削除位置範囲特定部２４は、入力ストローク情報の示す手書き入力が文字または文字列の置換、文字または文字列の挿入、文字または文字列の削除である場合に、置換・挿入・削除する位置または範囲を特定する機能を有している。結合範囲・分割位置特定部２５は、入力ストローク情報の示す手書き入力が認識単位修正入力である場合に、結合を行う文字またはセグメントの範囲または分割を行う文字内のセグメントの位置を特定する機能を有している。セグメントは、文字を構成する部分である。
【００２９】
ストローク情報補正部２６は、他の端末から手書き入力の筆跡情報として送られてきたストローク情報を、手書き入力の対象となった文字または文字列に関する位置情報に基づいて、自端末の座標上のストローク情報に補正（座標変換）する機能を有している。
【００３０】
図４は文字・ストローク情報４２およびセグメント情報４３の構造例を示す図である。文字・ストローク情報４２は、入力エリアＩＤと認識ＩＤ（文字認識を識別）を対応付けたテーブルと、認識ＩＤと文字ＩＤを対応付けたテーブルと、文字ＩＤ、文字、ストローク情報ＩＤ、文字領域を対応付けたテーブルと、ストローク情報ＩＤと座標情報を対応付けたテーブルとを含んでいる。各テーブルの情報は、破線で示すように相互に関係付けられる。なお、文字領域は、文字に外接する四角形の領域の左辺の中央の座標値（Ｌ〜）と、上辺の中央の座標値（Ｔ〜）と、右辺の中央の座標値（Ｒ〜）と、底辺の中央の座標値（Ｂ〜）とを含んでいる。
【００３１】
セグメント情報４３は、文字ＩＤとセグメントＩＤを対応付けたテーブルと、セグメントＩＤとセグメント領域を対応付けたテーブルとを含んでいる。各テーブルの情報は、破線で示すように相互に関係付けられる。なお、セグメント領域は、セグメントに外接する四角形の領域の左辺の中央の座標値（ｌ〜）と、上辺の中央の座標値（ｔ〜）と、右辺の中央の座標値（ｒ〜）と、底辺の中央の座標値（ｂ〜）とを含んでいる。
【００３２】
なお、文字・ストローク情報４２とセグメント情報４３はテキスト表示アプリケーション１０を単位に管理されるものであり、所定のタイミングで消去される。例えば、全入力データ入力後、確定時、送信時、アプリ終了時、タイムアウト時等において消去することができる。また、消去するかしないかの０か１かではなく、パラメータによって消去するタイミングを調整可能である。例えば、パスワード入力エリアは入力時に保存せず消去する等、コントロール可能である。
【００３３】
図５はエリア情報４５の構造例を示す図である。エリア情報４５は、手書き入力による修正指示が行われた場合に、自端末で修正を行うか、他端末で修正を行うか等の判断に用いられる。エリア情報４５は、入力エリアＩＤと修正可能なデバイスＩＤ（端末ＩＤ）が対応付けられている。修正可能かどうかは、運用上の観点から権限に基づいて決定される場合と、処理能力（ＣＰＵ、電池、認識ソフトの有無等）の観点から決定される場合とがある。
【００３４】
＜動作概要＞
図６および図７は端末間でのデータの共有の例を示す図である。いずれも端末１Ａで手書き入力されて共有されたテキストに対し端末１Ｂで手書きによる修正の操作が行われ、その修正を端末１Ａで行う場合を示しており、図６は置換の操作の場合、図７は認識単位修正の操作の場合を示している。
【００３５】
図６において、ａに示すように、端末１Ａの一番上の入力エリアに「あいう」という手書き入力が行われると、ｂに示すように、文字認識された結果「あいう」が手書き入力された入力エリアに表示される。また、ｃに示すように、端末１Ａから端末１Ｂ（その他、データを共有している端末があればその端末も含む）に対して、共有の機能により入力テキストと入力エリアＩＤ（表示についての属性情報）が送信され、端末１Ｂでは、ｄに示すように、対応する入力エリアに「あいう」が表示される。図８のａは、その際の送信データの例を示しており、送信元を示す入力デバイスＩＤも付加されているが、合計で数バイト程度のデータ量となる。
【００３６】
図６に戻り、ｅに示すように、端末１Ｂにおいて「あいう」の「い」を「え」に置換しようとする手書き入力、すなわち、表示文字「い」の上に文字「え」を手書き入力する操作が行われ、端末１Ｂは自端末で修正は行わず、端末１Ａに修正を行わせると判断したとする。この場合、ｆに示すように、端末１Ｂから端末１Ａに対して、「え」の筆跡情報と、手書き入力の対象となる「あいう」のテキスト位置情報（表示位置情報）等が送信される。図８のｂは、その際の送信データの例を示しており、筆跡情報の部分のサイズが大きく、数キロバイト程度のデータ量となるが、送信されるのは端末１Ａに対してのみであるため、システム全体の通信量にはほとんど影響しない。
【００３７】
図６に戻り、ｇに示すように、端末１Ａにおいて、端末１Ｂから送信された筆跡情報およびテキスト情報に基づいて修正の対象となる文字または文字列の特定と文字認識が行われ、ｈに示すように、「あいう」の「い」が「え」に置換されて表示される。また、ｉに示すように、端末１Ａから端末１Ｂ（その他、データを共有している端末があればその端末も含む）に対して、共有の機能により入力テキストと入力エリアＩＤが送信され、端末１Ｂでは、ｊに示すように、対応する入力エリアに「あえう」が表示される。図８のｃは、その際の送信データの例を示しており、入力デバイスＩＤも付加されているが、合計で数バイト程度のデータ量となる。
【００３８】
次に、図７において、ａに示すように、端末１Ａの一番上の入力エリアに「江口」という手書き入力が行われ、認識単位（１つの文字として認識されるセグメントの集合）が正確に認識されなかったとして、ｂに示すように、文字認識された結果「シエロ」が手書き入力された入力エリアに表示されたとする。なお、これは、「江」のさんずいの部分が「シ」、「江」の残りの部分が「エ」（カタカナ）、「口」が「ロ」（カタカナ）と認識されたとしている。なお、文字認識においては文脈補正が行われるため、カタカナに続く文字はカタカナが優先される。
【００３９】
また、ｃに示すように、端末１Ａから端末１Ｂ（その他、データを共有している端末があればその端末も含む）に対して、共有の機能により入力テキストと入力エリアＩＤが送信され、端末１Ｂでは、ｄに示すように、対応する入力エリアに「シエロ」が表示される。
【００４０】
次いで、ｅに示すように、端末１Ｂにおいて「シエロ」の「シエ」部分を１つの文字として認識するように、例えば円で囲むような認識単位修正の手書き入力の操作が行われ、端末１Ｂは自端末で修正は行わず、端末１Ａに修正を行わせると判断したとする。この場合、ｆに示すように、端末１Ｂから端末１Ａに対して、認識単位修正の筆跡情報と、修正の対象となる「シエロ」のテキスト位置情報が送信される。
【００４１】
次いで、ｇに示すように、端末１Ａにおいて、端末１Ｂから送信された筆跡情報およびテキスト情報に基づいて認識単位である結合する範囲等の特定が行われ、蓄積されているストローク情報に基づいて文字認識が行われ、ｈに示すように、「シエロ」が「江口」に修正されて表示される。なお、「シエ」部分が漢字の「江」に修正されたことに伴い、それに続くカタカナの「ロ」（ろ）は漢字の「口」（くち）に併せて修正される。
【００４２】
また、ｉに示すように、端末１Ａから端末１Ｂ（その他、データを共有している端末があればその端末も含む）に対して、共有の機能により入力テキストと入力エリアＩＤが送信され、端末１Ｂでは、ｊに示すように、対応する入力エリアに「江口」が表示される。
【００４３】
＜詳細動作＞
図９および図１０は上記の実施形態の処理例を示すフローチャートであり、図９は端末１Ｂから修正の処理を要求された端末１Ａにおいて、筆跡情報（ストローク情報）の補正を文字認識よりも先に行うようにした場合を示し、図１０は補正を文字認識の後に行うようにした場合を示している。補正を先に行う場合は、筆跡をリアルタイムに表示することも可能になるとともに、その後の処理を自端末において修正の操作が行われた場合と同様に行えるメリットがあるが、補正により筆跡情報が縮小してしまう場合には、認識精度が低下するというデメリットがある。認識精度の低下としては、例えば「１」を手書き入力したつもりでも、解像度が低下して横幅が１ピクセルに圧縮された場合、アルファベットのエルと認識されてしまうことがある。補正を後に行う場合は、上記のメリットとデメリットが逆になる。
【００４４】
図９において、端末１Ｂで修正の手書き入力を開始すると、端末１Ｂは、１画分（ペンダウンからペンアップまで）のストローク情報を取得し（ステップＳ１０１）、入力終了と判断しない場合（ステップＳ１０２のＮＯ）はストローク情報の取得（ステップＳ１０１）を繰り返す。なお、入力終了は、所定時間にわたって手書き入力が行われないか否かで判断することができる。
【００４５】
入力終了と判断した場合（ステップＳ１０２のＹＥＳ）、端末１Ｂは、ストローク情報の示すストロークの領域（入力領域）を特定する（ステップＳ１０３）。
【００４６】
次いで、端末１Ｂはエリア情報４５を参照して処理を代行可能な他端末を確認するとともに、必要に応じ自端末と他端末のリソース状況を考慮して、自端末で処理を行うか否か判断する（ステップＳ１０４）。なお、自端末で処理を行わない場合は処理を行わせる他端末を特定する。
【００４７】
自端末で処理を行わないと判断した場合（ステップＳ１０４のＮＯ）、ここでは、端末１Ａにデータ（筆跡情報、テキスト位置情報）を送信する（ステップＳ１０５）。
【００４８】
端末１Ａは、データを受信すると（ステップＳ１０６）、筆跡情報（ストローク情報）の補正を行う（ステップＳ１０７）。補正されたストローク情報は文字・ストローク情報４２として蓄積される。
【００４９】
図１１はストローク情報の補正の例を示す図である。図示のように、端末１Ａの画面サイズが２５６０×１６００、端末１Ｂの画面サイズが１９２０×１０８０であるとする。ここで、端末１Ｂにおいて手書きされたストローク情報を、単純に画面のサイズやエリア位置情報から端末１Ａ側で補正を行うと、筆跡情報（ストローク情報）の位置や大きさは、端末１Ａにおいて相対的にずれたものとなってしまう。図１２のａは仮に画面のサイズから補正を行った場合の例を示し、ｂは仮にエリア位置情報から補正を行った場合の例を示している。いずれも、文字列「あいう」の「い」に重ねて「え」を手書きした場合を想定しているが、補正により、「い」に重ならなくなってしまう。
【００５０】
図１１に戻り、端末１Ａでのａの手書き入力、ｂのテキスト表示、端末１Ｂでのｃのテキスト表示を経て、端末１Ｂでｄに示すように、文字列「あいう」の「い」に重ねて「え」を手書きしたとする。この場合、端末１Ａは、文字列「あいう」のテキスト位置情報と筆跡情報に基づき補正（座標変換）を行うことで、ｅに示すように、端末１Ａでの「い」に正確に重なる位置に「え」の手書き入力を認識することができる。
【００５１】
図９に戻り、データ補正（ステップＳ１０７）の後、端末１Ａは、修正の対象となる文字または文字列を特定する（ステップＳ１０８）。すなわち、文字または文字列の置換、文字または文字列の挿入、文字または文字列の削除である場合は、置換・挿入・削除する位置または範囲を特定する。また、認識単位修正入力である場合は、結合を行う文字またはセグメントの範囲または分割を行う文字内のセグメントの位置を特定する。
【００５２】
次いで、端末１Ａは、文字または文字列の置換または挿入である場合には、筆跡情報から文字認識を行う（ステップＳ１０９）。認識単位修正入力である場合は、蓄積されているストローク情報から、認識単位のセグメントを固定して再度の文字認識を行う。文字認識された文字または文字列、文字または文字列の削除である場合は削除される文字または文字列は、テキスト表示アプリケーション実行部１１に渡され、表示対象のテキストが修正される。そして、端末１Ａは修正後のテキストによりテキスト表示を行い（ステップＳ１１０）、同内容を端末１Ｂに送信する（ステップＳ１１１）。
【００５３】
端末１Ｂは、データを受信すると（ステップＳ１１２）、受信したデータに従ってテキスト表示を行い（ステップＳ１１３）、処理を終了する。
【００５４】
一方、端末１Ｂが自端末で処理を行うと判断した場合（ステップＳ１０４のＹＥＳ）、端末１Ｂは、自ら修正の対象となる文字または文字列を特定し（ステップＳ１１４）、必要に応じて文字認識を行い（ステップＳ１１５）、テキスト表示を行い（ステップＳ１１６）、端末１Ａにデータ送信する（ステップＳ１１７）。端末１Ａは、データを受信すると（ステップＳ１１８）、受信したデータに従ってテキスト表示を行い（ステップＳ１１９）、処理を終了する。
【００５５】
図１０において、端末１Ｂで修正の手書き入力を開始すると、端末１Ｂは、１画分（ペンダウンからペンアップまで）のストローク情報を取得し（ステップＳ２０１）、入力終了と判断しない場合（ステップＳ２０２のＮＯ）はストローク情報の取得（ステップＳ２０１）を繰り返す。なお、入力終了は、所定時間にわたって手書き入力が行われないか否かで判断する。
【００５６】
入力終了と判断した場合（ステップＳ２０２のＹＥＳ）、端末１Ｂは、ストローク情報のストロークの領域（入力領域）を特定する（ステップＳ２０３）。
【００５７】
次いで、端末１Ｂはエリア情報４５を参照して処理を代行可能な他端末を確認するとともに、必要に応じ自端末と他端末のリソース状況を考慮して、自端末で処理を行うか否か判断する（ステップＳ２０４）。なお、自端末で処理を行わない場合は処理を行わせる他端末を特定する。
【００５８】
自端末で処理を行わないと判断した場合（ステップＳ２０４のＮＯ）、ここでは、端末１Ａにデータ（筆跡情報、テキスト位置情報）を送信する（ステップＳ２０５）。
【００５９】
端末１Ａは、データを受信すると（ステップＳ２０６）、文字または文字列の置換または挿入である場合には、筆跡情報から文字認識を行う（ステップＳ２０７）。
【００６０】
次いで、端末１Ａは、筆跡情報（ストローク情報）の補正を行う（ステップＳ２０８）。補正されたストローク情報は文字・ストローク情報４２として蓄積される。
【００６１】
次いで、端末１Ａは、修正の対象となる文字または文字列を特定する（ステップＳ２０９）。すなわち、文字または文字列の置換、文字または文字列の挿入、文字または文字列の削除である場合は、置換・挿入・削除する位置または範囲を特定する。また、認識単位修正入力である場合は、結合を行う文字またはセグメントの範囲または分割を行う文字内のセグメントの位置を特定する。また、認識単位修正入力である場合は、蓄積されているストローク情報から、認識単位のセグメントを固定して再度の文字認識を行う。
【００６２】
文字認識された文字または文字列、文字または文字列の削除である場合は削除される文字または文字列、再度の文字認識により取得された文字列は、テキスト表示アプリケーション実行部１１に渡され、表示対象のテキストが修正される。そして、端末１Ａは修正後のテキストによりテキスト表示を行い（ステップＳ２１０）、同内容を端末１Ｂに送信する（ステップＳ２１１）。
【００６３】
端末１Ｂは、データを受信すると（ステップＳ２１２）、受信したデータに従ってテキスト表示を行い（ステップＳ２１３）、処理を終了する。
【００６４】
一方、端末１Ｂが自端末で処理を行うと判断した場合（ステップＳ２０４のＹＥＳ）、端末１Ｂは、自ら修正の対象となる文字または文字列を特定し（ステップＳ２１４）、必要に応じて文字認識を行い（ステップＳ２１５）、テキスト表示を行い（ステップＳ２１６）、端末１Ａにデータ送信する（ステップＳ２１７）。端末１Ａは、データを受信すると（ステップＳ２１８）、受信したデータに従ってテキスト表示を行い（ステップＳ２１９）、処理を終了する。
【００６５】
＜総括＞
以上説明したように、本実施形態によれば、複数の端末で手書き入力の結果を共有する場合において、手書き入力により認識されたテキストに対する修正を、通信量及び／又は処理リソースを抑えながら行えるようにすることができる。
【００６６】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。
【符号の説明】
【００６７】
１、１Ａ、１Ｂ            端末
１０、１０Ａ、１０Ｂ      テキスト表示アプリケーション
２０、２０Ａ、２０Ｂ      修正対象文字特定プログラム
３０、３０Ａ、３０Ｂ      認識プログラム
７０、７０Ａ、７０Ｂ      共有プログラム
１１                      テキスト表示アプリケーション実行部
２１                      修正対象文字特定部
２２                      ストローク情報取得部
２３                      領域特定部
２４                      置換・挿入・削除位置範囲特定部
２５                      結合範囲・分割位置特定部
２６                      ストローク情報補正部
３１                      文字認識部
４１                      記憶部
４２                      文字・ストローク情報
４３                      セグメント情報
４４                      入力ストローク情報
４５                      エリア情報
５                        ネットワーク
６                        通信装置
７１                      共有制御部
【図１】
2017042981.tif 000003
【図２】
2017042981.tif 000004
【図３】
2017042981.tif 000005
【図４】
2017042981.tif 000006
【図５】
2017042981.tif 000007
【図６】
2017042981.tif 000008
【図７】
2017042981.tif 000009
【図８】
2017042981.tif 000010
【図９】
2017042981.tif 000011
【図１０】
2017042981.tif 000012
【図１１】
2017042981.tif 000013
【図１２】
2017042981.tif 000014
【国際調査報告】
2017042981.tif 000015
2017042981.tif 000016
2017042981.tif 000017
2017042981.tif 000018