(57)【要約】コンピューティングデバイス上でデジタル文書を編集するためのシステムが提供される。各コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。少なくとも１つの非一時的コンピュータ可読媒体は、コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクの表示を引き起こし、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出し、ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクの表示を引き起こすように構成される。
2019507915.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイス上でデジタル文書を編集するためのシステムであって、各コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記少なくとも１つの非一時的コンピュータ可読媒体は、
コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクの表示を引き起こし、
前記文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出し、
前記ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクの表示を引き起こす
ように構成されたことを特徴とするシステム。
【請求項２】
前記第２のデジタルインクは、前記第１のデジタルインクとは異なることを特徴とする請求項１に記載のシステム。
【請求項３】
前記第２のデジタルインクは、前記第１のデジタルインクの正規化版であることを特徴とする請求項１または２に記載のシステム。
【請求項４】
前記少なくとも１つの非一時的コンピュータ可読媒体は、前記ディスプレイインターフェース上で、前記検出された編集ジェスチャに基づいて第３のデジタルインクとして前記文書内容の再表示を引き起こすように構成されたことを特徴とする請求項１ないし３のいずれか１つに記載のシステム。
【請求項５】
前記第３のデジタルインクは、前記第１のデジタルインクおよび前記第２のデジタルインクとは異なることを特徴とする請求項４に記載のシステム。
【請求項６】
前記第３のデジタルインクは、前記第１のデジタルインクのタイプセット版であることを特徴とする請求項５に記載のシステム。
【請求項７】
コンピューティングデバイス上でデジタル文書を編集するための方法であって、各コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、
コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクを表示するステップと、
前記文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出するステップと、
前記ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクを表示するステップと
を含むことを特徴とする方法。
【請求項８】
前記第２のデジタルインクは、前記第１のデジタルインクとは異なることを特徴とする請求項７に記載の方法。
【請求項９】
前記第２のデジタルインクは、前記第１のデジタルインクの正規化版であることを特徴とする請求項７または８に記載の方法。
【請求項１０】
前記ディスプレイインターフェース上で、前記検出された編集ジェスチャに基づいて第３のデジタルインクとして前記文書内容を再表示するステップを含むことを特徴とする請求項７ないし９のいずれか１つに記載の方法。
【請求項１１】
前記第３のデジタルインクは、前記第１のデジタルインクおよび前記第２のデジタルインクとは異なることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記第３のデジタルインクは、前記第１のデジタルインクのタイプセット版であることを特徴とする請求項１１に記載の方法。
【請求項１３】
その中に実施されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体であって、前記コンピュータ可読プログラムコードは、コンピューティングデバイスへの手書きを編集する入力を認識するための方法を実装するために実行されるように適合され、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で前記入力を認識するための少なくとも１つのシステム非一時的コンピュータ可読媒体とを備え、前記方法は、
前記コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクを表示するステップと、
前記文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出するステップと、
前記ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクを表示するステップと
を含むことを特徴とする非一時的コンピュータ可読媒体。
【請求項１４】
前記第２のデジタルインクは、前記第１のデジタルインクとは異なることを特徴とする請求項１３に記載の非一時的コンピュータ可読媒体。
【請求項１５】
前記第２のデジタルインクは、前記第１のデジタルインクの正規化版であることを特徴とする請求項１３または１４に記載の非一時的コンピュータ可読媒体。
【請求項１６】
前記ディスプレイインターフェース上で、前記検出された編集ジェスチャに基づいて第３のデジタルインクとして前記文書内容を再表示するステップを含むことを特徴とする請求項１３ないし１５のいずれか１つに記載の非一時的コンピュータ可読媒体。
【請求項１７】
前記第３のデジタルインクは、前記第１のデジタルインクおよび前記第２のデジタルインクとは異なることを特徴とする請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記第３のデジタルインクは、前記第１のデジタルインクのタイプセット版であることを特徴とする請求項１７に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この説明は、一般には、コンピューティングデバイスインターフェースを使用するデジタルノートテイキングシステムおよび方法の分野に関する。この説明は、より詳細には、表示された文字、シンボル、およびオブジェクトに関する様々なジェスチャのユーザ入力手書きを認識することのできるデジタルノートテイキングシステムおよび方法に関する。
【背景技術】
【０００２】
関連出願の相互参照
本願は、２０１５年１２月１日に出願された欧州特許出願公開第１５２９０２９６．１号明細書と、２０１６年１月６日に出願された米国特許出願第１４／９８９，２１７号明細書の優先権を主張し、それらは、参照により本明細書にその全体が組み込まれ、本明細書の一部にされる。
【０００３】
コンピューティングデバイスは、日常生活に対して引き続きよりユビキタスとなっている。それらは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ハイブリッドコンピュータ（２−ｉｎ−１）、ｅブックリーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ（スマートウォッチ、スマートグラス／ヘッドセットを含む）、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどの形態を取る。さらに、コンピューティングデバイスは、車、トラック、農業機器、製造機器、建築物環境制御（例えば、照明、ＨＶＡＣ）、家庭用および商用アプライアンスなどの、車両および機器内に組み込まれている。
【０００４】
コンピューティングデバイスは一般に、中央演算処理装置（ＣＰＵ）などの少なくとも１つの処理要素と、何らかの形態のメモリと、および入力および出力デバイスとからなる。様々なコンピューティングデバイスおよびその後続の使用は、様々なインターフェースおよび入力デバイスを必要とする。そのような１つの入力デバイスは、タッチスクリーンやタッチパッドなどのタッチセンシティブ表面であり、ユーザの指、またはペンやスタイラスなどの器具と、タッチセンシティブ表面との間の接触を通じて、ユーザ入力が受け取られる。別の入力デバイスは、入力表面の上でユーザによって行われたジェスチャを感知する入力表面である。別の入力デバイスは、非タッチ物理表面または仮想表面とのタッチまたは非タッチ対話のどちらかの相対位置を検出する位置検出システムである。これらの入力の方法のいずれも、一般には描画またはテキストの入力のために使用することができる。ユーザ入力がテキストであるとき、手書き認識システムまたは方法を使用してユーザの手書きが解釈される。
【０００５】
スマートフォン、ファブレット、タブレットなどのポータブルコンピューティングデバイスにおける手書き認識の１つの適用分野は、ノートテイキング（ｔａｋｉｎｇ）でのものである。これは特に、コンピューティングデバイスのユーザが例えば講義または会合の間にノートを取り込む、教育およびビジネス環境において行われる。これは通常、ユーザがコンピューティングデバイス上で手書きノートテイキングアプリケーションを立ち上げることによって行われ、手書きノートテイキングアプリケーションは、デバイスにおいてローカルに、またはデバイスの通信リンクを介してリモートに、タッチセンシティブ表面上で入力された手書きノートを受諾および解釈する。従来では、そのような手書きノートテイキングアプリケーションは、取られたノートからユーザに完全な文書作成体験を提供するためのその能力が限られている。これらのアプリケーションは主に、文書作成ではなく認識精度に焦点が当てられてきたからである。すなわち、利用可能なアプリケーションは、ユーザへの様々なフィードバック機構と共に、手書きの認識、および認識された手書きのタイプセットテキストへの変換を実現するが、それは一般に、入力との対話の範囲である。
【０００６】
ユーザが、内容の編集、ノートのレイアウトの操作、ノートの文書への変換、ノートの文書への追加などの、出力テキストとの何らかの別の対話を望む場合、一般に、テキストを別々の文書処理アプリケーション内にインポートする必要がある。このこと自体は大きな問題ではないが、手書きノートの元のレイアウト、および実際の入力手書き自体、いわゆるデジタルインクが、通常はインポートプロセスにおいて廃棄されるので、ユーザは、取られたノートにおける意図を確認するために元のノートを再び参照しなければならない。例えば、ユーザは、注釈または装飾によって、またはノート内容自体のレイアウトを通じて、ノート内のある語または節を強調していることがある。
【０００７】
いくつかの利用可能な手書きデジタルノートテイキングアプリケーションは、デジタルインクに対して編集する能力を提供する。しかしながら、これは一般に、何らかの種類の制御、例えばメニューの立上げまたはプロセスの実行を引き起こす特定のジェスチャの入力を通じて行われる。しかしながら、手書きノートテイキングアプリケーションを使用するとき、ユーザは一般に、自然でも直感的でもない特定のジェスチャを学習すること、またはメニューを通じて編集選択を行うことなどができず、またはそれを望まないことを本出願人は発見した。
【０００８】
さらに、ジェスチャはまた、何らかの種類のコンテンツの変更、例えば編集、スタイル変更、フォーマットを引き起こすためにも使用される。したがって、制御のためのジェスチャと、内容入力のためのジェスチャとを区別することができ、適切な処置を取ることができるように、アプリケーションがジェスチャを使用するユーザの意図を決定することが必要である。課題は、いくつかの対話が複数の意図を有し、さらには内容自体を構成することがあることである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】米国特許出願第１４／８８６，１９５号明細書
【特許文献２】米国特許出願第１４／９５５，１５５号明細書
【特許文献３】米国特許出願第１４／９５５，１７４号明細書
【非特許文献】
【００１０】
【非特許文献１】Ｗ３Ｃ  ＨＴＭＬ５  ＤＯＭ  −  Ｋｉｎｄｓ  ｏｆ  ｃｏｎｔｅｎｔ：  ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｈｔｍｌ５／ｄｏｍ．ｈｔｍｌ＃ｋｉｎｄｓ−ｏｆ−ｃｏｎｔｅｎｔ
【発明の概要】
【課題を解決するための手段】
【００１１】
本明細書の以下で説明される本開示の例は、コンピューティングデバイス上でデジタル文書を編集するためのシステムおよび方法を提供する。
【００１２】
本開示のいくつかの態様において、コンピューティングデバイス上でデジタル文書を編集するためのシステムが提供され、各コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクの表示を引き起こし、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出し、ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクの表示を引き起こすように、少なくとも１つの非一時的コンピュータ可読媒体を構成することができる。
【００１３】
第２のデジタルインクは第１のデジタルインクとは異なるものでよい。
【００１４】
第２のデジタルインクは第１のデジタルインクの正規化版でよい。
【００１５】
ディスプレイインターフェース上で、検出された編集ジェスチャに基づいて第３のデジタルインクとして文書内容の再表示を引き起こすように、少なくとも１つの非一時的コンピュータ可読媒体を構成することができる。
【００１６】
第３のデジタルインクは第１のデジタルインクおよび第２のデジタルインクとは異なるものでよい。
【００１７】
第３のデジタルインクは第１のデジタルインクのタイプセット版でよい。
【００１８】
本開示のいくつかの態様において、コンピューティングデバイス上でデジタル文書を編集するための方法が提供され、各コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備えることができ、方法は、コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクを表示すること、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出すること、およびディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクを表示することを含む。
【００１９】
第２のデジタルインクは第１のデジタルインクとは異なるものでよい。
【００２０】
第２のデジタルインクは第１のデジタルインクの正規化版でよい。
【００２１】
方法は、ディスプレイインターフェース上で、検出された編集ジェスチャに基づいて第３のデジタルインクとして文書内容を再表示することをさらに含むことができる。
【００２２】
第３のデジタルインクは第１のデジタルインクおよび第２のデジタルインクとは異なるものでよい。
【００２３】
第３のデジタルインクは第１のデジタルインクのタイプセット版でよい。
【００２４】
いくつかの態様において、本開示は、その中に実施されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体を提供し、前記コンピュータ可読プログラムコードは、コンピューティングデバイスへの手書きを編集する入力を認識するための方法を実装するために実行されるように適合され、コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力を認識するための少なくとも１つのシステム非一時的コンピュータ可読媒体とを備え、方法は、コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクを表示すること、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出すること、およびディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクを表示することを含むことができる。
【００２５】
第２のデジタルインクは第１のデジタルインクとは異なるものでよい。
【００２６】
第２のデジタルインクは第１のデジタルインクの正規化版でよい。
【００２７】
方法は、ディスプレイインターフェース上で、検出された編集ジェスチャに基づいて第３のデジタルインクとして文書内容を再表示することを含むことができる。
【００２８】
第３のデジタルインクは第１のデジタルインクおよび第２のデジタルインクとは異なるものでよい。
【００２９】
第３のデジタルインクは第１のデジタルインクのタイプセット版でよい。
【００３０】
一例において、コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを含むことができる。コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクの表示を引き起こし、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出し、ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクの表示を引き起こすように、非一時的コンピュータ可読媒体を構成することができる。第２のデジタルインクは第１のデジタルインクとは異なるものでよく、かつ／または第１のデジタルインクの正規化版でよい。ディスプレイインターフェース上の、検出された編集ジェスチャに基づく第３のデジタルインクとしての文書内容の再表示を引き起こすように、非一時的コンピュータ可読媒体を構成することができる。第３のデジタルインクは第１のデジタルインクおよび第２のデジタルインクとは異なるものでよく、さらには第１のデジタルインクのタイプセット版でよい。
【００３１】
別の例において、本発明は、コンピューティングデバイス上で文書を編集するための方法を含む。各コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備えることができる。方法は、コンピューティングデバイスのディスプレイインターフェース上に、文書内容に従って第１のデジタルインクを表示するステップと、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出するステップと、ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクを表示するステップとを含むことができる。第２のデジタルインクは第１のデジタルインクとは異なるものでよく、かつ／または第１のデジタルインクの正規化版でよい。方法は、ディスプレイインターフェース上で、検出された編集ジェスチャに基づいて第３のデジタルインクとして文書内容を再表示するステップを含むことができる。第３のデジタルインクは第１のデジタルインクおよび第２のデジタルインクとは異なるものでよく、さらには第１のデジタルインクのタイプセット版でよい。
【００３２】
別の例において、本発明は、その中に実施されたコンピュータ可読プログラムコードを有する非一時的コンピュータ可読媒体を含む。コンピューティングデバイスへの手書きを編集する入力を認識するための方法を実装するために実行されるように、コンピュータ可読プログラムコードを適合することができる。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力を認識するための少なくとも１つのシステム非一時的コンピュータ可読媒体とを備えることができる。方法は、コンピューティングデバイスのディスプレイインターフェース上で、文書内容に従って第１のデジタルインクを表示するステップと、文書内容に関する１つまたは複数の編集ジェスチャとして手書き入力を検出するステップと、ディスプレイインターフェース上で、手書き入力に従って第２のデジタルインクを表示するステップとを含むことができる。第２のデジタルインクは第１のデジタルインクとは異なるものでよく、かつ／または第１のデジタルインクの正規化版でよい。方法は、ディスプレイインターフェース上で、検出された編集ジェスチャに基づいて第３のデジタルインクとして文書内容を再表示するステップを含むことができる。第３のデジタルインクは第１のデジタルインクおよび第２のデジタルインクとは異なるものでよく、さらには第１のデジタルインクのタイプセット版でよい。
【図面の簡単な説明】
【００３３】
図面と共に行われる、その例の以下の詳細な説明から、本システムおよび方法をより完全に理解されよう。図面において、同様の参照番号は同様の要素を示す。
【図１】本システムおよび方法の例による、コンピューティングデバイスのブロック図である。
【図２】本システムおよび方法の例による、手書き認識のためのシステムのブロック図である。
【図３】本システムおよび方法の例による、図２の手書き認識システムの詳細を示すブロック図である。
【図４】コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図５Ａ】本システムおよび方法による、語を分断することに関する編集ジェスチャの例を示す図である。
【図５Ｂ】本システムおよび方法による、語を分断することに関する編集ジェスチャの例を示す図である。
【図６Ａ】本システムおよび方法による、改行することに関する編集ジェスチャの例を示す図である。
【図６Ｂ】本システムおよび方法による、改行することに関する編集ジェスチャの例を示す図である。
【図７Ａ】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図７Ｂ】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図８Ａ】本システムおよび方法による、改行することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図８Ｂ】本システムおよび方法による、改行することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図８Ｃ】本システムおよび方法による、改行することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図９Ａ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの例を示す図である。
【図９Ｂ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの例を示す図である。
【図１０Ａ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの別の例を示す図である。
【図１０Ｂ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの別の例を示す図である。
【図１０Ｃ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの別の例を示す図である。
【図１０Ｄ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの別の例を示す図である。
【図１１Ａ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図１１Ｂ】本システムおよび方法による、パラグラフを分断することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図１２Ａ】本システムおよび方法による、２つの語を結合することに関する編集ジェスチャの例を示す図である。
【図１２Ｂ】本システムおよび方法による、２つの語を結合することに関する編集ジェスチャの例を示す図である。
【図１２Ｃ】本システムおよび方法による、２つの語を結合することに関する編集ジェスチャの例を示す図である。
【図１３Ａ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの例を示す図である。
【図１３Ｂ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの例を示す図である。
【図１３Ｃ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの例を示す図である。
【図１３Ｄ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの例を示す図である。
【図１３Ｅ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの例を示す図である。
【図１４】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの例を示す図である。
【図１５Ａ】本システムおよび方法による、２つのパラグラフを結合することに関する編集ジェスチャの例を示す図である。
【図１５Ｂ】本システムおよび方法による、２つのパラグラフを結合することに関する編集ジェスチャの例を示す図である。
【図１５Ｃ】本システムおよび方法による、２つのパラグラフを結合することに関する編集ジェスチャの例を示す図である。
【図１６Ａ】本システムおよび方法による、２つのパラグラフの間のスペースを除去することに関する編集ジェスチャの例を示す図である。
【図１６Ｂ】本システムおよび方法による、２つのパラグラフの間のスペースを除去することに関する編集ジェスチャの例を示す図である。
【図１７Ａ】本システムおよび方法による、パラグラフの間のスペースを除去することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図１７Ｂ】本システムおよび方法による、パラグラフの間のスペースを除去することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図１７Ｃ】本システムおよび方法による、パラグラフの間のスペースを除去することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図１７Ｄ】本システムおよび方法による、パラグラフの間のスペースを除去することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図１８Ａ】本システムおよび方法による、１つの文字を消去することに関する編集ジェスチャの例を示す図である。
【図１８Ｂ】本システムおよび方法による、１つの文字を消去することに関する編集ジェスチャの例を示す図である。
【図１８Ｃ】本システムおよび方法による、１つの文字を消去することに関する編集ジェスチャの例を示す図である。
【図１８Ｄ】本システムおよび方法による、１つの文字を消去することに関する編集ジェスチャの例を示す図である。
【図１９Ａ】本システムおよび方法による、いくつかの文字を消去することに関する編集ジェスチャの例を示す図である。
【図１９Ｂ】本システムおよび方法による、いくつかの文字を消去することに関する編集ジェスチャの例を示す図である。
【図１９Ｃ】本システムおよび方法による、いくつかの文字を消去することに関する編集ジェスチャの例を示す図である。
【図２０Ａ】本システムおよび方法による、１つの語を消去することに関する編集ジェスチャの例を示す図である。
【図２０Ｂ】本システムおよび方法による、１つの語を消去することに関する編集ジェスチャの例を示す図である。
【図２０Ｃ】本システムおよび方法による、１つの語を消去することに関する編集ジェスチャの例を示す図である。
【図２１Ａ】本システムおよび方法による、２つの語を消去することに関する編集ジェスチャの例を示す図である。
【図２１Ｂ】本システムおよび方法による、２つの語を消去することに関する編集ジェスチャの例を示す図である。
【図２１Ｃ】本システムおよび方法による、２つの語を消去することに関する編集ジェスチャの例を示す図である。
【図２２Ａ】本システムおよび方法による、いくつかの語を消去することに関する編集ジェスチャの例を示す図である。
【図２２Ｂ】本システムおよび方法による、いくつかの語を消去することに関する編集ジェスチャの例を示す図である。
【図２２Ｃ】本システムおよび方法による、いくつかの語を消去することに関する編集ジェスチャの例を示す図である。
【図２３Ａ】本システムおよび方法による、語を消去することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図２３Ｂ】本システムおよび方法による、語を消去することに関する編集ジェスチャの例を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図２４Ａ】本システムおよび方法による、テキストの１つの行を消去することに関する編集ジェスチャの例を示す図である。
【図２４Ｂ】本システムおよび方法による、テキストの１つの行を消去することに関する編集ジェスチャの例を示す図である。
【図２４Ｃ】本システムおよび方法による、テキストの１つの行を消去することに関する編集ジェスチャの例を示す図である。
【図２５Ａ】本システムおよび方法による、テキストのいくつかの行を消去することに関する編集ジェスチャの例を示す図である。
【図２５Ｂ】本システムおよび方法による、テキストのいくつかの行を消去することに関する編集ジェスチャの例を示す図である。
【図２５Ｃ】本システムおよび方法による、テキストのいくつかの行を消去することに関する編集ジェスチャの例を示す図である。
【図２６Ａ】本システムおよび方法による、１つのパラグラフを消去することに関する編集ジェスチャの例を示す図である。
【図２６Ｂ】本システムおよび方法による、１つのパラグラフを消去することに関する編集ジェスチャの例を示す図である。
【図２７Ａ】本システムおよび方法による、いくつかのパラグラフを消去することに関する編集ジェスチャの例を示す図である。
【図２７Ｂ】本システムおよび方法による、いくつかのパラグラフを消去することに関する編集ジェスチャの例を示す図である。
【図２８】入力エリアに対する手書き内容として入力された複数行パラグラフを示す図である。
【図２９】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフを示す図である。
【図３０】本システムおよび方法による、図２９の追加の入力を伴う図２８のパラグラフをタイプセットした結果を示す図である。
【図３１Ａ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３１Ｂ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３２】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３３Ａ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３３Ｂ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３４】本システムおよび方法による、図３３Ｂの追加の入力を伴う図２８のパラグラフをタイプセットした結果を示す図である。
【図３５Ａ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３５Ｂ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３５Ｃ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３５Ｄ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図３６】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図３７Ａ】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図３７Ｂ】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図３８】本システムおよび方法による、図３７Ａおよび３７Ｂのパラグラフをタイプセットした結果を示す図である。
【図３９】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図４０Ａ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図４０Ｂ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図４０Ｃ】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図４１】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図４２Ａ】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図４２Ｂ】本システムおよび方法による、改行することに関する編集ジェスチャの別の例を示す図である。
【図４３】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図４４】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフの別の例を示す図である。
【図４５Ａ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの別の例を示す図である。
【図４５Ｂ】本システムおよび方法による、２つの行を結合することに関する編集ジェスチャの別の例を示す図である。
【図４６】本システムおよび方法による、デジタルインクとして入力およびレンダリングされた追加の手書き内容を含む、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図４７】本システムおよび方法による、図４６のタイプセッティングの結果である、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【図４８】本システムおよび方法による、図４５および４６のタイプセッティングの結果である、コンピューティングデバイスの入力表面の一部の上の、スクロールページの例示的視覚的レンダリングの概略図である。
【発明を実施するための形態】
【００３４】
以下の詳細な説明では、関連する教示の完全な理解を与えるために、例として、多数の特定の詳細が説明される。しかしながら、こうした詳細なしに本教示を実施できることは当業者には明らかなはずである。他の例では、本教示の態様を不必要に不明瞭にすることを避けるために、周知の方法、手順、構成要素、および／または回路が、詳細なしに比較的高いレベルで説明されている。
【００３５】
上方、下方、上、下、最低、最高、水平、垂直などの方向的な特徴への参照およびその議論が、認識されるべき入力が行われる入力表面に適用されるデカルト座標系に関して行われる。さらに、左および右などの用語が、図面を閲覧するときの読者の基準座標系に関して行われる。さらに、本説明における「テキスト」という用語の使用は、すべての英数字文字、任意の文字言語でのその文字列、および文字言語で使用される通常の非英数字文字、例えばシンボルを包含すると理解されたい。さらに、本説明における「非テキスト」という用語は、非テキストコンテキストにおいて使用される、自由形式の手書きまたは手描き内容、レンダリングされたテキストおよびイメージデータ、ならびに非英数字文字、その文字列、および英数字文字、その文字列を包含すると理解されたい。さらに、これらの図面で示される例は、左から右への文字言語コンテキストでのものであり、したがって位置に対するどんな参照も、異なる方向のフォーマットを有する文字言語に対して適合させることができる。
【００３６】
本明細書で説明される様々な技術は一般に、内容の入力されたスタイルを保持すると共に、その内容の忠実なタイプセットまたは美化版への変換を可能にする方式で、ポータブルおよび非ポータブルコンピューティングデバイス上の手描きおよび手書き内容を取り込み、処理し、管理することに関する。本明細書で説明されるシステムおよび方法は、コンピューティングデバイスに接続された、もしくはコンピューティングデバイスの、タッチセンシティブ画面などの入力表面を介して、またはコンピューティングデバイスに接続された、デジタルペンやマウスなどの入力デバイスを介して、または位置検出システムによって監視される物理もしくは仮想表面を介してコンピューティングデバイスに入力されたユーザの自然な筆記および描画スタイルの認識を利用することができる。いわゆるオンライン認識技法を使用する手書き入力の認識に関して様々な例が説明されるが、デジタルインクではなくイメージが認識されるオフライン認識などの認識のための入力の他の形態に対する応用が可能であることを理解されたい。ユーザによるその手の使用を通じた、デジタル媒体上もしくはデジタルに接続された媒体上への直接的な、またはハンドヘルドスタイラスなどの入力ツールを介する、デジタルコンテンツの作成を定義するために、手描きおよび手書きという用語が本明細書では互換的に使用される。入力技法の簡潔な説明を与えるために「手」という用語が本明細書では使用されるが、足、口、目などの類似の入力のためのユーザの体の他の部分の使用が、この定義内に含まれる。
【００３７】
図１は、例示的コンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ｅブックリーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、対話型ホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどでよい。コンピューティングデバイス１００は、少なくとも１つの処理要素の構成要素と、何らかの形態のメモリと、入力および／または出力（Ｉ／Ｏ）デバイスとを含む。構成要素は、コネクタ、線、バス、ケーブル、バッファ、電磁リンク、ネットワーク、モデム、変換器、ＩＲポート、アンテナ、または当業者に知られているその他のものなどの入力および出力を通じて互いに通信する。
【００３８】
コンピューティングデバイス１００は、イメージ、テキスト、ビデオなどのコンピューティングデバイスからのデータを出力するための少なくとも１つのディスプレイ１０２を有する。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、または当業者に知られているようなタッチセンシティブである、またはタッチセンシティブではない任意の他の適切な技術を使用することができる。ディスプレイ１０２の少なくとも一部は、少なくとも１つの入力表面１０４と同じ場所に配置される。入力表面１０４は、抵抗型、表面弾性波、容量型、赤外線グリッド、赤外線アクリル投影、光学画像形成、分散信号技術、音響パルス認識、またはユーザ入力を受け取るための、当業者に知られている任意の他の適切な技術などの技術を利用することができる。入力表面１０４は、その境界を明確に特定する永続的境界またはビデオ生成された境界によって境界を定めることができる。
【００３９】
入力表面１０４に加えて、コンピューティングデバイス１００は、ローカルインターフェースを介して通信可能に結合される１つまたは複数の追加のＩ／Ｏデバイス（または周辺機器）を含むことができる。追加のＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザリーダ、無線周波数デバイスリーダ、または当業者に知られている任意の他の適切な技術などの入力デバイスを含むことができる。さらに、Ｉ／Ｏデバイスは、プリンタ、バーコードプリンタ、または当業者に知られている任意の他の適切な技術などの出力デバイスを含むことができる。さらに、Ｉ／Ｏデバイスは、変調器／復調器（別のデバイス、システム、またはネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）もしくは他のトランシーバ、電話インターフェース、ブリッジ、ルータ、または当業者に知られている任意の他の適切な技術などの、入力と出力の両方を通信する通信デバイスを含むことができる。ローカルインターフェースは、簡単のために省略されるが当業者に知られている、コントローラ、バッファ（キャッシュ）、ドライバ、レピータ、受信機などの、通信を可能にするための追加の要素を有することができる。さらに、ローカルインターフェースは、他のコンピュータ構成要素の間の適切な通信を可能にするために、アドレス、制御、および／またはデータ接続を含むことができる。
【００４０】
コンピューティングデバイス１００はまた、ソフトウェア、特にメモリ１０８内に記憶されたソフトウェアを実行するためのハードウェアデバイスであるプロセッサ１０６をも含む。プロセッサは、任意のカスタムメイドプロセッサもしくは市販の汎用プロセッサ、中央演算処理装置（ＣＰＵ）、（マイクロチップまたはチップセットの形態の）半導体ベースのマイクロプロセッサ、マクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタロジック、ディスクリートハードウェア構成要素、状態機械、または当業者に知られている、ソフトウェア命令を実行するために設計されたそれらの任意の組合せでよい。適切な市販のマイクロプロセッサの例は以下の通りである。Ｈｅｗｌｅｔｔ−Ｐａｃｋａｒｄ  ＣｏｍｐａｎｙのＰＡ−ＲＩＳＣシリーズマイクロプロセッサ、Ｉｎｔｅｌ  Ｃｏｒｐｏｒａｔｉｏｎの８０ｘ８６もしくはＰｅｎｔｉｕｍシリーズマイクロプロセッサ、ＩＢＭのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃ．のＳｐａｒｃマイクロプロセッサ、Ｍｏｔｏｒｏｌａ  Ｃｏｒｐｏｒａｔｉｏｎの６８ｘｘｘシリーズマイクロプロセッサ、ＤＳＰマイクロプロセッサ、またはＡＲＭマイクロプロセッサ。
【００４１】
メモリ１０８は、揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭなどのＲＡＭ））および不揮発性メモリ要素（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気もしくは光テープ、メモリレジスタ、ＣＤ−ＲＯＭ、ワーム、ＤＶＤ、ｒｅｄｕｎｄａｎｔ  ａｒｒａｙ  ｏｆ  ｉｎｅｘｐｅｎｓｉｖｅ  ｄｉｓｋｓ（ＲＡＩＤ）、別の直接アクセス記憶デバイス（ＤＡＳＤ））のうちのいずれか１つまたは組合せを含むことができる。さらに、メモリ１０８は、電子、磁気、光、および／または他のタイプの記憶媒体を組み込むことができる。メモリ１０８は、様々な構成要素が互いにリモートに位置するが、プロセッサ１０６によってアクセスされることもできる分散アーキテクチャを有することができる。さらに、メモリ１０８は、コンピューティングデバイス１００によってリモートにアクセス可能な、サーバまたはクラウドベースのシステムなどの、デバイスからリモートでよい。メモリ１０８はプロセッサ１０６に結合され、したがってプロセッサ１０６は、メモリ１０８から情報を読み取り、メモリ１０８に情報を書き込むことができる。代替では、メモリ１０８はプロセッサ１０６と一体でよい。別の例では、プロセッサ１０６およびメモリ１０８はどちらも、単一のＡＳＩＣまたは他の集積回路内に存在することができる。
【００４２】
メモリ１０８内のソフトウェアは、オペレーティングシステム１１０およびアプリケーション１１２を含む。任意選択で、ソフトウェアは、１つまたは複数の別々のコンピュータプログラムをそれぞれ含むことができる手書き認識（ＨＷＲ）システム１１４をさらに含む。これらのそれぞれは、論理機能を実装するための実行可能命令の順序付けられたリストを有する。オペレーティングシステム１１０は、アプリケーション１１２（およびＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、ＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣおよびＩＰＨＯＮＥ  ＯＳ（登録商標）、ＬＩＮＵＸ、ＡＮＤＲＯＩＤ（登録商標）などの、任意のプロプライエタリオペレーティングシステムまたは市販のオペレーティングシステムでよい。他のオペレーティングシステムも利用することができることを理解されたい。
【００４３】
アプリケーション１１２は、ユーザ入力の検出、管理、および処理に関する１つまたは複数の処理要素を含む（後で詳細に論じられる）。ソフトウェアはまた、手書き認識、様々な機能、またはその両方に関する１つまたは複数の他のアプリケーションをも含むことができる。他のアプリケーションのいくつかの例は、テキストエディタ、電話ダイヤラ、住所録、インスタントメッセージング機能、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワードプロセッシングプログラム、ウェブブラウザ、およびカメラを含む。アプリケーション１１２および他のアプリケーションは、製造時にコンピューティングデバイス１００と共に提供されるプログラムを含み、製造後にコンピューティングデバイス１００内にアップロードまたはダウンロードされるプログラムをさらに含むことができる。
【００４４】
サポート機能およびコンプライアンス機能を有するＨＷＲシステム１１４は、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、または実施されるべき命令のセットを有する任意の他のエンティティでよい。ソースプログラムであるとき、オペレーティングシステムと共に適切に動作するように、メモリ内に含まれることがあり、または含まれないことがあるコンパイラ、アセンブラ、インタプリタなどを介してプログラムを変換する必要がある。さらに、サポート機能およびコンプライアンス機能を有する手書き認識システムを、（ａ）データのクラスおよびメソッドを有するオブジェクト指向プログラミング言語、（ｂ）ルーチン、サブルーチン、および／または関数を有する手続型プログラミング言語、例えば、限定はしないがＣ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ（登録商標）、Ｏｂｊｅｃｔｉｖｅ  Ｃ、Ｓｗｉｆｔ、およびＡｄａ、または（ｃ）関数型プログラミング言語、例えば、限定はしないがＨｏｐｅ、Ｒｅｘ、Ｃｏｍｍｏｎ  Ｌｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、およびＦ＃として書くことができる。あるいは、ＨＷＲシステム１１４は、サーバまたはクラウドベースのシステムなどの、デバイスからリモートの手書き認識システムとの通信のための方法またはシステムでよいが、コンピューティングデバイス１００の前述の通信Ｉ／Ｏデバイスを使用して、通信リンクを通じてコンピューティングデバイス１００によってリモートにアクセス可能である。さらに、アプリケーション１１２およびＨＷＲシステム１１４は共に動作することができ、または単一のアプリケーションとして組み合わせることができる。
【００４５】
入力表面１０４上で、または入力表面１０４を介して入力されたストロークは、プロセッサ１０６によってデジタルインクとして処理される。ユーザは、指で、または入力表面と共に使用するのに適したペンやスタイラスなどの何らかの器具でストロークを入力することができる。ユーザはまた、入力表面１０４の近傍の運動を感知する技術が使用されている場合に、入力表面１０４の上でジェスチャを行うことによって、またはマウスやジョイスティックなどのコンピューティングデバイス１００の周辺デバイスで、ストロークを入力することができる。ストロークは、少なくともストローク開始場所、ストローク終了場所、およびストローク開始場所とストローク終了場所とを結ぶ経路によって特徴付けられる。様々なユーザが、同一のオブジェクト、例えば、英字、形状、シンボルをわずかな変化を伴って自然に書くことがあるので、ＨＷＲシステムは、正しいオブジェクトまたは所期のオブジェクトとして認識されながらも、各オブジェクトを入力することのできる様々な方式に対処する。
【００４６】
図２は、ＨＷＲシステム１１４の例の、そのローカル（すなわち、デバイス１００上にロードされる）形態、またはリモート（すなわち、デバイス１００によってリモートにアクセス可能な）形態での略図である。ＨＷＲシステム１１４は、前処理１１６、認識１１８、出力１２０などのステージを含む。前処理ステージ１１６はデジタルインクを処理して、より高い精度を達成し、認識ステージ１１８中の処理時間を削減する。この前処理は、サイズ正規化、および／または入力を平滑化するためのＢスプライン近似などの方法を適用することによって、ストローク開始場所とストローク終了場所を結ぶ経路を正規化することを含むことができる。次いで、前処理されたストロークが認識ステージ１１８に渡され、認識ステージ１１８は、ストロークを処理して、それによって形成されたオブジェクトを認識する。次いで、認識されたオブジェクトは、一般に手書き要素／文字のタイプセット済みバージョンとしてディスプレイ１０２に出力１２０である。
【００４７】
認識ステージ１１８は、異なる処理要素またはエキスパートを含むことができる。図３は、認識ステージ１１８の概略的詳細を示す図２の例の略図である。動的プログラミングを通じて協調して出力１２０を生成する、セグメント化エキスパート１２２、認識エキスパート１２４、および言語エキスパート１２６という３つのエキスパートが示されている。
【００４８】
セグメント化エキスパート１２２は、表現、例えば語、数式、または形状のグループを形成するために、入力ストロークを個々の要素仮説、例えば英数字文字および数学演算子、テキスト文字、個々の形状、またはサブ表現にセグメント化するための様々な方式を定義する。例えば、セグメント化エキスパート１２２は、元の入力の連続するストロークをグループ化することによって要素仮説を形成し、セグメント化グラフを得ることができ、各ノードは少なくとも１つの要素仮説に対応し、要素間の隣接制約がノード接続によって処理される。あるいは、セグメント化エキスパート１２２は、テキスト、線画、式、楽譜などの異なる入力タイプについて別々のエキスパートを利用することができる。
【００４９】
認識エキスパート１２４は、分類器１２８によって抽出された特徴の分類を実現し、セグメント化グラフの各ノードについて要素候補のリストを確率または認識スコアと共に出力する。この認識タスクに対処するために使用されることのできる多くのタイプの分類器、例えば、サポートベクトルマシン、隠れマルコフモデル、または多層パーセプトロン、ディープ、畳込みもしくは再帰型ニューラルネットワークなどのニューラルネットワークが存在する。選択は、タスクについて望まれる複雑さ、精度、および速度に依存する。
【００５０】
言語エキスパート１２６は、言語モデル（例えば、文法または意味論）を使用して、セグメント化グラフ内の異なる経路についての言語的意味を生成する。エキスパート１２６は、言語情報１３０に従って他のエキスパートによって提案される候補をチェックする。言語情報１３０は、語彙、正規表現などを含むことができる。言語エキスパート１２６は、最良の認識経路を見つけることを目標とする。一例において、言語エキスパート１２６は、言語情報１３０の内容を表す有限状態オートマトン（ＦＳＡ）などの言語モデルを探ることによってこれを行う。語彙制約に加えて、言語エキスパート１２６は、要素の所与のシーケンスが指定の言語内にどれほど頻繁に現れるか、または特定のユーザによってどれほど頻繁に使用されるかについての統計情報モデリングを使用して、セグメント化グラフの所与の経路の解釈の言語的可能性を評価することができる。
【００５１】
本システムおよび方法は、デバイス１００に対する手書き入力を認識するためにＨＷＲシステム１１４を利用する。前述のように、アプリケーション１１２は、認識されたユーザ入力のレイアウトを処理するためのアプリケーションを含む。異なる処理を扱う別々の層を有するアーキテクチャでそのようなアプリケーションを提供することができる。これらの層のうちの１つまたは複数は、前述の通信チャネルを介してアクセス可能なデバイス１００のリモートでよい。層は、アプリケーションラッパ、プラットフォームラッパ、および（プラットフォーム特有の）アプリケーションユーザインターフェースを含むことができる。
【００５２】
本システムおよび方法によって提供されるアプリケーション１１２は、講義、会合、ブレインストーミングセッションなどの間に、学生、学術専門家、職業人などのユーザが手書きノートを取ることを可能にし、ユーザは、ユーザのポータブルまたは非ポータブルコンピューティングデバイス上で、ジェスチャなどの自然で直感的な操作を用いて、手書きノートを共有可能なフォーマットされた文書に変換することができる。アプリケーションは、ユーザのコンピューティングデバイスを使用して適切に探索および記憶することのできる「クリーン」なノートを取ることを可能にする。筆記が線（罫線）に対して行われ、向き（すなわち、ポートレイトまたはランドスケープ）およびデバイス表示能力に応答して、パラグラフおよび他のレイアウト要素が尊重されるので、本システムおよび方法は、自然な筆記を入力することをさらに可能にする。デバイス間の取り込まれたノートの同期、およびノートの自動保存もサポートされ、テキスト、Ｌａｔｅｘ、ＨＴＭＬ、イメージ、ＰＤＦなどの様々なフォーマットへのエクスポートオプションも同様である。次に、これらおよび他の態様が説明される。
【００５３】
アプリケーション１１２は、レイアウト定義および保存を可能にする構造化内容を提供するように、文書および文書要素の定義および処理のためのフレームワークを利用する。この文書モデルは様々なタイプの文書要素を処理し、それらは、ＨＴＭＬ５リファレンスで最良に説明される（例えば、非特許文献１参照。）。アプリケーション１１２によって利用される文書モデルは、ＨＴＭＬ仕様を再現せず、むしろそれは、それらから着想を得ている。文書モデルの要素のサブセットは、フロー、セクショニング、見出し、フレージング、埋込み型、および対話型である。
【００５４】
既存のデジタルノートテイキングアプリケーションのユーザが、編集するときに、テキストリフローおよび制御されないテキスト／要素位置と共に、どのようにテキストが振る舞うかを理解する問題を有することを本出願人は発見した。そのようなアプリケーションの使用についての学習曲線を低下させるために、手書きは、ユーザが良く通じているもののより近くにあるべきである。すなわち、同一のモデルおよび挙動で、テキスト編集ソフトウェア／ウェブサービスにおいてキーボードで書くこと、およびキーボードおよびマウス対話を通じて編集することである。任意のデジタルデバイスユーザは既に、内容を書き、または編集するために、画面上でジェスチャすることに慣れている。ジェスチャリングは、タッチおよびホバーデバイス上の自然で直感的なパターンである。手書きノートテイキング環境における迅速な解決策は、デジタルノートテイキングおよび文書作成環境における編集を可能にするように、タップ、ダブルタップ、プレス、ロングプレス、スワイプ、ピンチなどの現在使用されているジェスチャを単に適合させることである。これらのジェスチャは、一般に、タッチおよびホバーデバイス上のその既存の機能のために直感的に提供されるが、この直観性は、必ずしもユーザフィードバックに基づく内容編集機能に十分に引き継がれないことを本出願人はさらに発見した。したがって、本システムおよび方法は、内容編集機能を実現するための新しいクラスのジェスチャリングおよび挙動を提供する。次に、本システムおよび方法のこれらおよび他の特徴が詳細に説明される。
【００５５】
図４は、例示的コンピューティングデバイス１００の入力表面１０４の一部の上の、ノートテイキングページ４００の例示的視覚的レンダリングの概略図を示す。ページ４００は、内容入力および編集が実施される編集ビューで示される。しかしながら、文書構造編集およびノートブックナビゲーションのために他のビューを使用することができる。ユーザインターフェース（ＵＩ）制御（後述）を提供することに加えて、編集ビューは、デバイス１００のディスプレイ１０２から垂直にオーバーフローする全幅ページを提供する。ページ４００はフレキシブルな高さであり、本質的に無限の高さであり、良く理解されているタッチスクリーンコンピューティングデバイスジェスチャ、またはマウスなどを用いる非タッチスクリーンコンピューティングデバイス方法を使用して、垂直にスクロールすることができる。ユーザのための筆記スペースを最大にするために（特に、より小型のデバイス上で）、少なくとも全体の編集ビュー高さを占有するように空のスクロール可能ページが画定される。
【００５６】
編集ビュー（および適宜に他のビュー）において、上部パディング４０２、左マージン４０４、および右マージン４０６を含むいくつかのページ要素が表示される。パディングおよびマージンは、線パターン背景４１０を有する入力エリア４０８を画定する。線パターン４１０は、密度独立ピクセル（ｄｐ）である垂直リズム高さ単位の倍数によって分離された水平線を有する。特定のデバイス１００の如何に関わらず、水平線４１０の間の垂直距離は、線パターン単位（ＬＰＵ）によって画定され、垂直リズム高さ単位は、特定のデバイス上のＬＰＵの目盛付きの尺度を与える。例えば、垂直リズム高さ単位の一定の倍数である、任意のデバイスについての約１センチメートルにＬＰＵを設定することができ、またはユーザがその筆記スタイルに従って線パターン単位を垂直リズム高さ単位の異なる倍数にカスタマイズすることを可能にすることができる。あるいは、垂直リズムはタイプセットテキストサイズ（例えば、最小テキストサイズ）に基づくことができ、このタイプセットテキストサイズの倍数としてＬＰＵが与えられる。すべての線４１０は、可視であるが内容自体のレンダリングに関して薄くされる、同一の光および淡色、例えばグレーで表示される。このようにして、線パターンは、内容入力から気を散らすことなく手書き入力を誘導するように、目立つが控えめである。線パターン背景４１０は、手書きテキストコンテキストに表示され、複数の目的を果たす。
・手書き認識が最適化されるように、その上に書くようにユーザに強制する
・ユーザが規則的な垂直リズム筆記を選び、同一の筆記サイズ、およびより良好なブロック寸法および位置となるように助ける
・ユーザがパラグラフを定義するように行スキップを制御するのを助ける
【００５７】
上部パディング４０２は、任意の新しいページまたはセクション上に表示され、線パターン背景を含まない。これは、ユーザが適切な垂直間隔で、すなわちインターフェース１０４の端に近づき過ぎず、セクションタイトル付けおよびタグ付けなどの他の要素のための余地を残すように書くことを助ける。上部パディング４０２は、ＬＰＵの倍数によって画定され、例えば図４の例では、上部パディングはＬＰＵの２倍である。しかしながら、見出し、例えば文書およびセクションタイトル、注釈などのために上部パディングでの筆記を可能にすることが望ましいことがある。入力エリア４０８の下部に類似の下部パディングも設けることができる。
【００５８】
左マージン（ｍａｒｇｉｎ）４０４および右マージン４０６は垂直線と共に表示される。図４の例では、これらの線はカラーおよび解像度において線パターン４１０と同様であるが、望ましい場合、これらの線をより太く表示することができる。垂直線マージンは、対応する左および右「ページ」縁部から垂直リズム単位の倍数によって配置される。図４の例では、マージン４０４、４０６は上部パディング４０２内に表示されず、第１の線パターン４１０水平線から開始する。しかしながら、望ましい場合、マージンは上部パディング内に延びることができる。さらに、線パターン４１０は、マージン要素内では、これらのエリア内の筆記を思いとどまらせるために表示されない。しかしながら、注釈などのためにマージン内の筆記を可能にすることが望ましいことがある。あるいは、ページ４００の水平範囲とのホバーオーバまたは接触対話時にのみマージンを表示することができ、または全体的に省略することができ、それによって、例えば画面／ＵＩ縁部の過度に近くで書かないようにユーザの自然な手書き挙動に依拠する。
【００５９】
ページ４００上への手書き内容の入力は、入力表面１０４に関するジェスチャの使用を通じて、例えばデバイス１００の画面技術に依存するタッチ、力、および／または近接を通じて実施される。ユーザの指をスタイラスまたはペンと区別するコンピューティングデバイス１００の能力（それによってデバイスがアクティブおよびパッシブなスタイラスを定義する）、または手書きのためにそれが使用されていることをデバイスに示し、または通信するためのスタイラスの能力、またはそのようなインジケーションを与えるためのユーザの能力に応じて、ジェスチャ検出を様々に処理することができる。デフォルトで、区別しないデバイスにおいて、入力エリア４０８内の任意のシングルポイントタッチまたはホバーイベントを、内容入力または内容対話と見なすべきである。
【００６０】
サイジングまたは位置合せを気にすることなく、どんな所でもユーザがオブジェクトブロック（テキスト、線画などのブロック）を作成することを可能にする制約のないキャンバスとして、スクロールページを設けることができる。しかしながら、構造化された内容を含む専門的にフォーマットされた文書を提供するために、すべての内容を（入力で、またはユーザ対話に沿って）それに対して位置合せ／画定されるべき、いくつかの位置合せ要素またはパターンを定義することができる。これは、ブロックを画定することを可能にする。ブロックのそのレンダリングはデバイスサイズ／向きに応答するからである。例示的位置合せパターンおよび応答性ディスプレイが説明されている（例えば、参照によりその内容全体が本明細書に組み込まれる、本出願人および譲受人の名義で出願された「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｏｆ  Ｄｉｇｉｔａｌ  Ｎｏｔｅ  Ｔａｋｉｎｇ」という名称の特許文献１参照。）。
【００６１】
図４は、デジタルインクとしてレンダリングされた手書き入力をさらに示す。具体的には、図４の例では、５つのテキストオブジェクト４１２、４１４、４１６、４１８、および４２０が示されている。テキストオブジェクト４１２は、単一の線４１０上の２つの語を含むテキストブロックであり、例えば文書またはセクションタイトルを定義する。テキストオブジェクト４１４は、ブロック４１２から１つの線４１０だけ間隔を置いて配置された単一の線４１０上の２つの語を含むテキストブロックであり、例えばセクションタイトルまたはサブタイトルを定義する。テキストオブジェクト４１６は、第１の（最上部の）線４１０がブロック４１４から１つの線４１０だけ間隔を置いて配置された、複数の線４１０にわたる多くの語を含むテキストブロックであり、例えば（セクション）パラグラフを定義する。テキストオブジェクト４１８は、ブロック４１６の最下部の線４１０から１つの線４１０だけ間隔を置いて配置された単一の線４１０上の２つの語を含むテキストブロックであり、例えばセクションタイトルまたはサブタイトルを定義する。テキストオブジェクト４２０は、最上部の線４１０がブロック４１８から１つの線４１０だけ間隔を置いて配置された、複数の線４１０にわたる多くの語を含むテキストブロックであり、例えば（セクション）パラグラフを定義する。
【００６２】
文書モデルは、見出しおよびフッタの範囲を定義する内容としてセクショニング内容を定義する。見出し内容は、セクショニング内容要素を使用して明示的にマークアップされるか、それとも見出し内容自体によって示唆されるかに関わらず、セクションのヘッダを定義する。パラグラフは通常、それらの間にどんな空行もない、１つまたは複数の文を有するテキストのブロックを形成するフロー内容の連続である。パラグラフは、入力長さおよび位置に応じて任意の幅（単一の語から全幅まで）でよい。任意の時に、パラグラフの最も広い行が、新しい内容が入力されるときの文書モデルに関する潜在的結果と共に、その境界を画定する。（最後の行以外の）すべての行がおおよそ同一の幅である限り、文書モデルは、タイプセッティングリフローが実施されるとき、新しい内容をパラグラフの行内に付加させる。以下で論じられるように、パラグラフは主に、内容入力の間に線４１０をスキップすることによって作成される。空行を残すことなくテキストがパラグラフの直前または直後に入力されるとき、すべての新しい内容が既存のパラグラフ内にマージ（ｍｅｒｇｅ）される。すべてのパラグラフは、内容編集またはジェスチャで分割またはマージすることができる（以下で説明される）。
【００６３】
理解できるように、図４に表示されるように、テキストブロック４２０の内容は、入力エリア４０８の下部を越えて流れる。しかしながら、入力エリア上の任意の場所、またはマージンのうちの１つまたは複数などの専用エリア内で、シングルポイント対話（例えば、インターフェース１０４にタッチし、またはインターフェース１０４の上をホバーリングする１本の指またはスタイラスジェスチャ）またはマルチポイント対話（例えば、ほぼ同時にインターフェース１０４にタッチし、またはインターフェース１０４の上をホバーリングする２本の指）によってユーザがページ４００をスクロールすることを通じて、内容を閲覧（および入力）することができる。指をスタイラスと区別することのできるデバイス、またはデバイスに対するその使用を示すスタイラスを使用しているとき、またはユーザがこのインジケーションを与え、したがって例えば内容入力のためのアクティブなスタイラスを定義するとき、マルチポイント対話は不要であり、スクローリングは、例えばインターフェース表面１０４上の任意の場所での１本指垂直スクロールジェスチャで利用可能である。
【００６４】
前述のように、テキストブロック４１２乃至４２０はそれぞれ、空の線４１０、例えば２つのＬＰＵの間隔によって分離される。この単純な制約が、ユーザによって容易に理解され、適用される方式で、垂直フローでの別々のパラグラフ（およびオブジェクトブロック）の入力に対して課され、その結果、スクロールページ４００の垂直フローでのオブジェクトブロックの間の相対的レイアウトをクリーンに維持し、直接的に入力された内容、およびドラッグアンドドロップまたはプッシュアンドドロップされたブロックに適用することができる。この手法の利点は、本システムおよび方法によって提供される編集のいくつかの例の以下の説明から明らかとなるであろう。しかしながら、後で説明されるように、代替または追加として、スタイリングを定義するためのジェスチャの使用では特に、そのような制約は不要であることがある。
【００６５】
図５乃至７、９、１０、１２、１３、１５、１６、１８乃至２２、および２４乃至４５は、一般の例示的テキストブロックに対して実施される編集ジェスチャの例を示し、図８、１１、１４、１７、２３、および４６乃至４８は、図４の例示的入力に対して実施されるそれらの例示的編集ジェスチャを示す。図５乃至７、９、１０、１２、１３、１５、１６、１８乃至２２、２４乃至２７、３６乃至３８、４１、４２、および４５の例示では、表示された手書き入力としてではなく、単に例示的な目的で、パラグラフ「
【００６６】
【数１】
2019507915.tif 000003
【００６７】
」、改行またはキャリッジリターン「
【００６８】
【数２】
2019507915.tif 000004
【００６９】
」、および文字／語スペース「
【００７０】
【数３】
2019507915.tif 000005
【００７１】
」を示す文書処理マークが示されている。前述のパラグラフ化規則のコンテキストにおいて、
・テキストブロックが別のテキスト（または他のオブジェクト）ブロックから少なくとも１つの空の線４１０によって分離されるとき、パラグラフが画定される
・２つのテキストブロックが、それらの間の空の線４１０なしに、関連するジェスチャ（後述）の入力を通じて互いに分離されるとき、改行が画定される。改行は明示的な入力の部分ではなく、むしろそれらは、テキストレイアウトを考慮に入れ、ユーザ入力を保存するだけのために、文書モデルによって暗黙的に作成／削除される。このようにして、改行は、パラグラフの間のスペースを表現するためのレイアウトヘルパとして働く。
・テキストブロック内の文字、語、シンボルなどが同一の線４１０上で、または後続の線４１０にわたって互いに分離されるとき、スペースが画定される。
【００７２】
シンボルは、編集ジェスチャの検出および認識の結果の理解を助け、キーボードを使用して実施される同様の操作、例えばパラグラフ「
【００７３】
【数４】
2019507915.tif 000006
【００７４】
」、改行またはキャリッジリターン「
【００７５】
【数５】
2019507915.tif 000007
【００７６】
」を与えるためのリターンキーまたはエンターキーのキー入力、およびスペース「
【００７７】
【数６】
2019507915.tif 000008
【００７８】
」を与えるためのスペースバーのキー入力に対するコンテキスト比較を提供するために示される。改行は、フレージング内容または内容フローにキャリッジリターンを導入する特殊要素である。
【００７９】
例の説明が行われる前に、本システムおよび方法のアプリケーション１１２およびＨＷＲシステム１１４が手書きジェスチャをどのように検出し、認識するかの例の簡潔な説明が次に与えられる。前述のように、入力表面１０４上に、または入力表面１０４を介して入力されたストロークが、テキスト文字や語などの手書きオブジェクトとして各ストロークおよびストロークのグループを認識するために、セグメント化、認識、および言語モデルを使用してＨＷＲシステム１１４によって処理される。ジェスチャの認識は、例えば少なくともストローク開始場所、ストローク終了場所、およびストローク開始場所とストローク終了場所とを結ぶ経路によって特徴付けられるジェスチャのストロークを検出するために同一の手法を使用し、このストローク検出をストロークの他の特徴の決定と組み合わせ、使用された特定のジェスチャを認識するために、ジェスチャ入力およびその入力のコンテキストを検出する。これは、新しく入力されたストロークが、追加のテキストなどの別の手書き内容であるか、それとも既に入力された（かつ認識された）内容に対する何らかの種類の制御を定めるためのジェスチャであるかがこの時点では未知であるので行われる。
【００８０】
したがって、入力ストロークは、ＨＷＲシステム１１４の認識器１１８によって処理され、ストロークが一定の入力（例えば、テキスト、シンボル、形状、直線、ジグザグ線、カールした線）である確率が決定され、筆記方向（例えば、左、右、垂直、水平）、幾何形状（例えば、方向、形状の変化のタイプおよび数）、ＬＰＵに対する関係などの特徴が決定される。これらの決定された特徴は、決定された可能性のあるストロークタイプと共に、処理されたストロークがジェスチャのタイプ（例えば、下線、取消し線、スクラッチアウト）である可能性の決定を可能にする。決定された可能性のあるジェスチャタイプは、可能性のあるジェスチャのストロークと、近接する認識されたオブジェクト（例えば、文字、語、パラグラフ）とを比較することによって、コンテキストについて評価される。この比較は、例えば入力ストロークがジェスチャであり、別のテキスト入力ではないこと、および検出されたケースにおいて可能性のあるジェスチャタイプを適用することができるかどうかを検証するために使用される。これは、例えば、ジェスチャおよびオブジェクト／テキストのストロークの相対的幾何学的特徴（例えば、ベース線、バウンディングボックス、重複率）を比較することによって、かつ／または認識されたテキストの言語の考慮によって行われる。次いで、結果のセットが、可能性のあるジェスチャが適用されなければならないデジタルインクの確率スコアおよび間隔と共にアプリケーション１１２に提案される。したがって、ＨＷＲシステム１１４は、ジェスチャ認識結果を提案するだけであり、コンテキスト自体に対するどんな更新も行わない。このようにして、任意の事前決定された認識結果、例えばそれについてジェスチャが入力された、認識されたテキストが維持される。アプリケーション１１２は、内容に対する修正を適用するために、またはそれらを無視するために、これらのジェスチャ認識結果を処理する。
【００８１】
いくつかの幾何形状の評価を、アプリケーション１１２上のＵＩ設定を通じて使用不能にすることができる。これは、一定のジェスチャの可用性に関する制約を可能にする。例えば、ＨＷＲシステム１１４は、左から右への方向と右から左への方向の両方で取消し線削除ジェスチャを認識することができるが、それらの方向の一方での取消し線を可能にすることだけが望ましいことがある。そのような使用不能を使用して認識を容易にし、または別のジェスチャ使用を可能にすることができ、例えば、使用不能にされた方向の（逆）取消し線を認識された取消し線の「アンドゥ」として認識することができる。何らかのタイプのジェスチャを完全に使用不能にする、例えばジェスチャをすべて消去することも可能である。さらに、いくつかの特徴の評価を使用して、確率スコアを向上させることができる。例えば、筆記フローを使用して、入力が継続的に書かれるときに他のジェスチャは最良の結果とはならないような追加、上書き、挿入ジェスチャの確率スコアを向上させることができ、例えば、編集ジェスチャは、内容入力後のある時に適用されるのではなく、内容入力の後に続く。これを使用して、発音区別符号、例えば文字「ｔ」を含む完全な語を書いた後の「ｔ」についてのストロークなどの時間外の内容入力の認識を容易にすることができる。
【００８２】
次に、例示的編集ジェスチャが説明される。図５Ａは、それらの間のスペースによって画定されたいくつかの語「Ｂｒｅａｋ」５０２、「ａ」５０４、および「ｗｏｒｄ」５０６と、語５０６の後ろのピリオド５０７の単一行パラグラフ５００を示す。編集ジェスチャ５０８が、例えば、示される表示された位置でユーザがその指またはスタイラス先端を上から下にスワイプすることによって、単一ストロークでの上から下への垂直線としての入力として検出される。すなわち、上から下へのストロークが漸進的に濃くなることによって示されているように、ストローク開始位置は、時間順でストローク終了位置の上にある。編集ストローク５０８は、語５０６の文字／英字の間、すなわち「ｏ」と「ｒ」との間を通るときに、ＨＷＲシステム１１４によって検出される。例えば語の中の（認識された）テキスト５００に対する編集ストローク５０８のこの相対場所は、編集ジェスチャ５０８の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。
【００８３】
これらの特徴を単独で考慮すると、編集ジェスチャ５０８は、検出された場所で語５０６を分断または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が、語５０６が「ｏ」と「ｒ」との間にスペースを有する２つの部分５０６ａおよび５０６ｂに分断されている図５Ｂに示されている。理解できるように、パラグラフ５００の特徴は、別の方法で保持される。しかしながら、そのような単純な編集ジェスチャは、ＨＷＲシステム１１４がそのような上書き文字の認識を可能にする場合、手書き認識を通じて、追加で入力された文字、例えば英字「ｌ」と混同されることがある。図示されるケースにおいて、ＨＷＲシステム１１４の言語モデルは、例えば語「ｗｏｌｒｄ」について不十分な結果を返すことになるので、文字「ｌ」のこの認識結果の確率は、編集ジェスチャ「ｂｒｅａｋ」の確率よりも低くなる可能性が最も高いはずである。しかしながら、言語モデルは、例えば「ｗｏｒｌｄ」のミススペリングについて比較的高い確率を与えることがあり、またはジェスチャが、その代わりに語５０６の「ｒ」と「ｄ」との間に配置されていることがある。そのような認識結果は、入力の言語およびコンテキストに依存し、したがって、堅固で広く適用可能なシステムおよび方法を提供するために、そのような要素に一般に無関係である認識が好ましい。
【００８４】
したがって、追加の特徴の考慮が本システムおよび方法によって行われる。そのような特徴は、ページ４００の入力環境と比較した、編集ストローク５０８の垂直範囲である。例えば、ストローク５０８は、パラグラフ５００がその上に書かれる線４１０（さらに、その上の線４１０）を横切り、それは例えば英字「ｌ」の典型的な特徴ではなく、したがってその文字が認識される確率を相対的に低減するために使用することができる。代替または追加として、そのような特徴は、それらのオブジェクトの要素（例えば、ベース線、中心線、上端線、アセンダー線、ディセンダー線、ｍａｔｒａ線、ｒｕｋａｒ線など）の平均および／または最大線パターンなどの、それらの間の幾何学的関係を画定する近接オブジェクトの組合せ特徴と比較した、編集ストローク５０８の垂直範囲である。例えば、編集ストローク５０８は、語５０６（さらにはパラグラフ５００）のストロークのベース線を横切り、それは例えば英字「ｌ」の典型的な特徴ではなく、したがってその文字が認識される確率を相対的に低減するために使用することができる。
【００８５】
認識された編集操作が実施されるまで、例えば図５Ａに示されるような形状で、または何らかの他の適切なレンダリングで、入力編集ストロークをデジタルインクとして表示するようにアプリケーション１１２を構成することができ、またはアプリケーション１１２は、そのような表示なしに単に編集操作を実施することができる。検出された編集ジェスチャの表示を使用し、ジェスチャ自体およびその相対場所の認識に関してユーザに認識フィードバックを提供することができる。そうでない場合、そのようなフィードバックのために最終的編集操作、例えば図５Ｂに示される修正後の表示を使用することができる。
【００８６】
図６Ａは、それらの間のスペースによって画定されたいくつかの語「Ｂｒｅａｋ」６０２、「ａ」６０４、および「ｌｉｎｅ」６０６と、語６０６の後ろのピリオド６０７の単一行パラグラフ６００を示す。編集ジェスチャ６０８が、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク６０８は、語６０２と６０４との間を通るときに、ＨＷＲシステム１１４によって検出される。図５の例と同様に、例えば語の間のスペース内の、（認識された）テキスト６００に対する編集ストローク６０８のこの相対場所は、編集ジェスチャ６０８の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ６０８は、検出された場所でパラグラフ６００の単一の行を２つの行に改行または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が図６Ｂに示されており、パラグラフ６００がテキストの２つの行６００ａおよび６００ｂに分断されており、パラグラフ６００の元の（第１の）線４１０上の語６０２が行６００ａとして、パラグラフ６００の第１の線４１０の直下の次の（第２の）線４１０上の語６０４および６０６およびピリオド６０７が、語６０２と語６０４との間のスペースを有する行６００ｂとして示されている。理解できるように、パラグラフ６００の特徴は、別の方法で保持される。図５に関連して上記で説明されたように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク６０８の垂直範囲などの追加の特徴の考慮を本システムおよび方法によってさらに使用し、そのような認識結果をさらに検証することができる。
【００８７】
図６に関連して上記で論じられたように、パラグラフ６００は、行の間のスペースの提供と共に、２つの行にわたって分割される。しかしながら、あるいは、改行の提供と共に分割を実施することができる。これらの状況の間の違いは、応答性ディスプレイ（例えば、アプリケーション１１２についてのＵＩのウィンドウサイズ、またはデバイス１００のアスペクトまたは画面サイズが変化される）、デジタルインクの内容またはタイプセッティングのタイプセットインクへの別の編集などの表示条件の変化時に、パラグラフの行間のスペースの提供が、デジタルまたはタイプセットインクのリフローを可能にすることであり、例えば、パラグラフの語が語間隔慣習を尊重するために隣接する行にフローされるのに対して、改行の提供はフローを入力として保存し、したがってリフローが改行される行におよぶことは許されない。
【００８８】
図７Ａは、改行時にスペースの代わりに改行が与えられる例を示す。図７Ａにおいて、それらの間のスペースによって画定されたいくつかの語「Ｂｒｅａｋ」７０２、「ａ」７０４、「ｌｏｎｇｅｒ」７０５、および「ｌｉｎｅ」７０６と、語７０６の後ろのピリオド７０７の単一行パラグラフ７００が入力されている。編集ジェスチャ７０８が、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク７０８は、語７０２と７０４との間を通るときに、ＨＷＲシステム１１４によって検出される。図６の例と同様に、例えば語の間のスペース内の、（認識された）テキスト７００に対する編集ストローク６０８のこの相対場所は、編集ジェスチャ７０８の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ７０８は、検出された場所でパラグラフ７００の単一の行を２つの行に改行または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が図７Ｂに示されており、パラグラフ７００が語７０２と語７０４との間に改行を有する２つの行７００ａおよび７００ｂに分割されており、したがって語７０２が元の（第１の）線４１０上にとどまり、残りの語７０４、７０５、および７０６と、ピリオド７０７が、第１の線４１０の下の次の（第２の）線４１０に移動される。理解できるように、パラグラフ７００の特徴は、別の方法で保持される。図６に関連して上記で説明されたように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク７０８の垂直範囲などの追加の特徴の考慮を本システムおよび方法によってさらに使用し、そのような認識結果をさらに検証することができる。
【００８９】
パラグラフ６００の全幅が図６で削減され、ユーザの意図がパラグラフ６００の次に追加のオブジェクトブロック（例えばイメージブロック）を入力することであったという考慮に至り、したがってリフローの許容が適切であるのに対して、図７では、改行操作後に第２の線４１０が第１の線４１０よりも多くの内容を備え（図７Ｂ参照）、ユーザがパラグラフ７００のレイアウト変更を意図したという考慮に至り、したがって改行が適切であることなど、パラグラフ寸法および／またはジェスチャ位置などの入力の別の特徴の考慮を通じて、図６および７などでのシナリオにおいてスペースまたは改行が提供されるかどうかの決定を実現することができる。追加および／または代替の特徴を使用することができ、ユーザによってＵＩを介して設定可能とすることができることを理解されたい。
【００９０】
図８は、図４の例示的入力に対して実施される例示的改行操作を示す。図８において、分断ジェスチャ８００が、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク８００は、ピリオド４２２および大文字化された語４２４である、パラグラフ４１６の行４２６上の要素４２２と４２４との間を通るときに、ＨＷＲシステム１１４によって検出される。図５乃至７の例と同様に、例えば文の間のスペース内の、（認識された）パラグラフ４１６に対する編集ストローク８００のこの相対場所は、編集ジェスチャ８００の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ８００は、検出された場所でパラグラフ４１６を分断または分割することがユーザによって意図されているという決定に至ることがある。アプリケーション１１２のこの認識および／または設定のコンテキストに応じて、この認識結果は、上記で論じられたように、検出された分断位置でのスペースまたは改行の提供を引き起こすことがある。これらのレイアウト操作のどちらかの提供は、内容の他の部分に対する異なるアクションを引き起こすことがある。
【００９１】
例えば、アプリケーション１１２が、テキストリフローが可能にされないことを意味する、認識結果の決定の際の改行を与える場合、分断されたパラグラフの任意の下流側内容を、分断操作の間に同様に非リフローすることができる。これが図８Ｂに示されており、パラグラフ４１６が分断されており、その結果、ピリオド４２２が元の（第１の）線４１０上に（先行する語と共に）とどまり、語４２４（および後続の語４２８およびコンマ４３０）がパラグラフ４１６の新しい行４３２として下の後続の（第２の）線４１０上に移動され、改行（図示せず）が行４２６と４３２との間に与えられる。したがって、図８Ａに示される入力４００の元のレイアウト内の第２の線４１０（行４３４）上のパラグラフ４１６のテキストが、第２の線４１０の下の次の（第３の）線４１０に移動され、したがって、図８Ｂに示されるように、パラグラフ４１６のすべての残りの行、見出し４１８、およびパラグラフ４２０が同様に移動する（例えば、図８Ａに表示されるパラグラフ４２０のテキストの最後の行４３６がディスプレイ１０４の外にスクロールされることがわかる）。
【００９２】
一方、アプリケーション１１２が、テキストリフローが可能にされることを意味する、認識結果の決定の際のスペースを与える場合、分断されたパラグラフの任意の下流側内容は、分断操作の間に同様にリフロー可能でよい。これが図８Ｃに示されており、パラグラフ４１６が分割されており、その結果、ピリオド４２２が第１の線４１０上に（先行する語と共に）とどまり、語４２４（および後続の語４２８およびコンマ４３０）が下の第２の線４１０上に移動され、行４２６と第２の線４１０上の内容との間にスペース（図示せず）が与えられる。しかしながら、図８Ｂの例とは異なり、移動された内容は新しい行を作成せず、その代わりに、この内容（すなわち、語４２４および４２８およびコンマ４３０）が、パラグラフ４１６の次の行４３４上にリフローされ、したがって、リフローされた上部の内容を収容するために、元々は行４３４内の内容の一部が第３の線４１０（パラグラフ４１６の行４３８）上にリフローされ、元々は行４３８内の内容の一部がリフローする。理解できるように、このケースでは、パラグラフ４１６のリフローされた行４３８は、リフローされた内容および元の内容を収容するので、下流側内容（例えば、見出し４１８およびパラグラフ４２０）のさらなるリフローは不要である。
【００９３】
前述の例は、説明された上から下への単一ストローク分断ジェスチャを使用する、単一行または複数行パラグラフ内のテキストの改行を示す。このジェスチャは、例で示される左から右への言語入力の垂直フローシナリオについて、オブジェクトブロックの要素を分断するのに比較的直感的であると考えられる。しかしながら、特に水平フロー言語での、異なる方向での単一ストロークジェスチャ、改行またはキャリッジリターンシンボルをトレースする２ストロークジェスチャなどの複数ストロークジェスチャ、またはタップなどの無方向性ジェスチャも使用することができることを理解されたい。行ではなくパラグラフを分断するコンテキストにおいて類似の分断ジェスチャを使用することもできる。
【００９４】
図９Ａは、いくつかの語の複数行パラグラフ９００を示す。（第１の線４１０上の）パラグラフ９００の第１の行９００ａ内の「Ｂｒｅａｋ」９０２と、（第１の線４１０の直下の第２の線４１０上の）パラグラフ９００の第２の行９００ｂ内の「ａ」９０４、「ｐａｒａｇｒａｐｈ」９０６、および語９０６の後ろのピリオド９０７とを示し、それらの間に改行を有する。編集ジェスチャ９０８が、行９００ａの改行（例えば、語９０２の右側の）で検出され、または編集ジェスチャ９１０が、行９００ｂの先頭（例えば、語９０４の左側の）で検出され、どちらも単一ストロークで上から下への垂直線として入力される。どちらのケースでも、編集ストローク９０８または９１０は、パラグラフ９００の行９００ａと９００ｂとの間を通るときに、ＨＷＲシステム１１４によって検出される。
【００９５】
図５乃至８の例と同様に、例えば改行での、（認識された）テキスト９００に対する編集ストローク９０８または９１０のこの相対場所は、編集ジェスチャ９０８または９１０の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ９０８または９１０は、検出された場所で単一のパラグラフ９００を２つのパラグラフに分断または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が図９Ｂに示されており、パラグラフ９００が２つの単一行パラグラフ９１２および９１４に分断されており、（第１の）パラグラフ９１２が、（元の第１の線４１０上に）パラグラフ９００の元の（第１の）行９００ａの語９０２を含み、（第２の）パラグラフ９１４が、第２の線４１０の直下の次の（第３の）線４１０上に、パラグラフ９００の元の（第２の）行９００ｂの語９０４および９０６およびピリオド９０７を含み、したがって第２の線４１０が、ここでは空であり、例えばパラグラフ９００の行の間で内容がなく、改行がパラグラフマーカで置き換えられる。図５乃至８に関連して上記で説明されたように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク９０８または９１０の垂直範囲などの追加の特徴の考慮は本システムおよび方法によってさらに使用され、そのような認識結果をさらに検証することができる。
【００９６】
図９に関連して上記で論じられたように、複数行パラグラフ９００が、既存の改行にわたって２つのパラグラフに分割される。図１０に示されるように、そのような分割を既存のスペースにわたって実施することもできる。図１０Ａは、いくつかの語の複数行パラグラフ１０００、（第１の線４１０上の）パラグラフ１０００の第１の行１０００ａ内の「Ｂｒｅａｋ」１００２および「ａｇａｉｎ」１００３と、（第１の線４１０の直下の第２の線４１０上の）パラグラフ１０００の第２の行１０００ｂ内の、「ａ」１００４、「ｐａｒａｇｒａｐｈ」１００６、および語１００６の後ろのピリオド１００７とを示し、それらの間にスペースを有する。編集ジェスチャ１００８が、行１０００ａの語１００３の後ろのスペース（例えば、語１００３の右側の）で検出され、または編集ジェスチャ１０１０が、行１０００ｂの先頭（例えば、語１００４の左側の）で検出され、どちらも単一ストロークで上から下への垂直線として入力される。どちらのケースでも、編集ストローク１００８または１０１０は、パラグラフ１０００の行１０００ａと１０００ｂとの間を通るときに、ＨＷＲシステム１１４によって検出される。
【００９７】
図９の例と同様に、例えばエンドスペースでの、（認識された）テキスト１０００に対する編集ストローク１００８または１０１０のこの相対場所は、編集ジェスチャ１００８または１０１０の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ１００８または１０１０は、検出された場所で単一のパラグラフ１０００を２つのパラグラフに分断または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が図１０Ｂに示されており、パラグラフ１０００が２つの単一行パラグラフ１０１２および１０１４に分断されており、（第１の）パラグラフ１０１２が、（元の第１の線４１０上に）パラグラフ１０００の元の（第１の）行１０００ａの語１００２および１００３を含み、（第２の）パラグラフ１０１４が、第２の線４１０の直下の次の（第３の）線４１０上に、パラグラフ１０００の元の（第２の）行１０００ｂの語１００４および１００６およびピリオド１００７を含み、したがって第２の線４１０が、ここでは空であり、行１０００ａのエンドスペースがパラグラフマーカで置き換えられる。したがって、図９Ｂの例のそれと類似の認識結果が得られる。図９に関連して上記で説明されたように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク１００８または１０１０の垂直範囲などの追加の特徴の考慮を本システムおよび方法によってさらに使用し、そのような認識結果をさらに検証することができる。
【００９８】
別々のパラグラフの間のさらなるスペースを、それらが図９および１０の例のように単一のパラグラフを分割することによって形成されたものであっても、その方式で最初に入力されたものであっても、同様に配置された分断ジェスチャを使用して与えることができる。図１０Ｃは、図１０Ｂの別々のパラグラフ１０１２および１０１４を示し、編集ジェスチャ１００８が、パラグラフ１０１２の語１００３の後ろ（例えば、語１００３の右側の）のパラグラフマーカで検出され、または編集ジェスチャ１０１０が、パラグラフ１０１４の先頭（例えば、語１００４の左側の）で検出され、または編集ジェスチャ１０１６が、（第２の線４１０内の）パラグラフ１０１２と１０１４との間の空スペース内で検出され、これらのジェスチャのいずれも、単一ストロークでの上から下への垂直線として入力される。どちらのケースでも、編集ストローク１００８、１０１０、または１０１６は、パラグラフ１０１２と１０１４との間を通るときに、ＨＷＲシステム１１４によって検出される。
【００９９】
図１０Ａについては、例えばパラグラフの間の、（認識された）テキスト１０１２および１０１４に対する編集ストローク１００８、１０１０、または１０１６のこの相対場所は、編集ジェスチャ１００８、１０１０、または１０１６の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ１００８、１０１０、または１０１６は、検出された場所でパラグラフ１０１２と１０１４との間にさらなるスペースを追加することがユーザによって意図されているという決定に至ることがある。この認識結果が図１０Ｄに示されており、（第２の）パラグラフ１０１４が第３の線４１０の直下の次の（第４の）線４１０に移動され、したがって第２の線４１０と第３の線４１０の両方が、ここでは空であり、第３の線４１０内に改行マーカが記録される。アプリケーション１１２を通じて選択可能となることがある、この改行の提供を使用し、例えば第２の線４１０または第３の線４１０に内容が追加される場合、下流側内容の移動の制御を実現することができ、例えば第２の行に内容が追加される場合、これは、パラグラフ１０１２に追加される内容と見なされ、したがって第３の線４１０が、パラグラフ１０１４の移動なしに保持される。前述のように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク１００８、１０１０、または１０１６の垂直範囲などの追加の特徴の考慮を本システムおよび方法によってさらに使用し、そのような認識結果をさらに検証することができる。
【０１００】
図１１は、図４の例示的入力に対して実施される例示的スペース追加操作を示す。図１１において、スペースジェスチャ１１００が、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク１１００は、パラグラフ４１６と４１８との間の、それらの間の空の（第１の）線４１０上、かつパラグラフ４１８がその上に与えられる（第２の）線４１０の上を通るときに、ＨＷＲシステム１１４によって検出される。図１０Ｃおよび１０Ｄの例と同様に、例えばパラグラフの間のスペース内の、（認識された）パラグラフ４１６および４１８に対する編集ストローク１１００のこの相対場所は、編集ジェスチャ１１００の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ１１００は、検出された場所でパラグラフ４１６と４１８との間にさらなるスペースを追加することがユーザによって意図されているという決定に至ることがある。
【０１０１】
この認識結果が図１１Ｂに示されており、パラグラフ４１８が、第２の線４１０の下の後続の（第３の）線４１０上に移動されている。したがって、図１１Ａに示される入力４００の元のレイアウトでの第３の線４１０の下の（第４の）線４１０上のパラグラフ４２０が、第４の線４１０の下の次の（第５の）線４１０に移動される（例えば、図１１Ａに表示されるパラグラフ４２０のテキストの最後の行４３６が、ディスプレイ１０４の外にスクロールされることがわかる）。アプリケーション１１２のこの認識および／または設定のコンテキストに応じて、この認識結果は、上記で論じられたように、検出された分断位置での改行の提供、したがって内容の他の部分に対するアクションを引き起こすことがある。
【０１０２】
前述の例は、説明された上から下への単一ストローク分断またはスペースジェスチャを使用する、単一行または複数行パラグラフの別々のパラグラフへの分断、または別々のパラグラフのスペーシングを示す。このジェスチャは、例で示される左から右への言語入力の垂直フローシナリオについて、オブジェクトブロックを別々のブロックに分断し、またはオブジェクトブロックをスペーシングするのに比較的直感的であると考えられる。しかしながら、特に水平フロー言語での、異なる方向での単一ストロークジェスチャ、改行またはキャリッジリターンシンボルをトレースする２ストロークジェスチャなどの複数ストロークジェスチャ、またはタップなどの無方向性ジェスチャも使用することができることを理解されたい。
【０１０３】
前述の編集ジェスチャは、手書き内容に関する分断操作、分割操作、またはスペーシング操作を実施するためのものであった。他の編集操作も可能である。図１２Ａは、それらの間のスペースによって画定されたいくつかの語「Ｊｏｉｎ」１２０２、「ｔｗｏ」１２０４、および「ｗｏｒｄｓ」１２０６、ならびに語１２０６の後ろのピリオド１２０７の単一行パラグラフ１２００を示す。編集ジェスチャ１２０８が、例えば、示される表示される位置においてユーザがその指またはスタイラス先端を下から上にスワイプすることによって、単一ストロークでの下から上への垂直線としての入力として検出される。すなわち、下から上へのストロークが漸進的に濃くなることによって示されているように、ストローク開始位置は、時間順でストローク終了位置の下にある。編集ストローク１２０８は、語１２０４と１２０６との間のスペースを通るときに、ＨＷＲシステム１１４によって検出される。例えば語の間のスペース内の、（認識された）テキスト１２００に対する編集ストローク１２０８のこの相対場所は、編集ジェスチャ１２０８の前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向は別の特徴を与える。
【０１０４】
これらの特徴を単独で考慮すると、編集ジェスチャ１２０８は、検出された場所で語１２０４と１２０６とを互いに結合し、またはスペースを削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１２Ｂに示されるようなものであり、語１２０４と１２０６とが新しい語１２０９として、すなわち語１２０４の「ｏ」と語１２０６の「ｗ」で結合されている。理解できるように、パラグラフ１２００の特徴は、別の方法で保持される。しかしながら、そのような単純な編集ジェスチャは、手書き認識を通じて、追加で入力された文字、例えば英字「ｌ」と混同されることがある。図示されるケースにおいて、ＨＷＲシステム１１４の言語モデルは、例えば下から上へのストローク順で書かれた「ｌ」文字について不十分な結果を返すことになるので、文字「ｌ」のこの認識結果の確率は、恐らくは編集ジェスチャ「ｊｏｉｎ」の確率よりも低くなる可能性が高いはずである。しかしながら、言語モデルは、例えば、入力が「ｌ」である場合の語「ｔｗｏｌｗｏｒｄｓ」、または入力が編集ジェスチャ「ｊｏｉｎ」である場合の語「ｔｗｏｗｏｒｄｓ」について比較的類似の確率を与えることがある。そのような認識結果は、入力の言語およびコンテキストに依存し、したがって、堅固で広く適用可能なシステムおよび方法を提供するために、そのような要素に一般に無関係である認識が好ましい。
【０１０５】
したがって、追加の特徴の考慮が本システムおよび方法によって行われる。上から下への垂直編集ジェスチャと同様に、そのような特徴は、ページ４００の入力環境と比較した、編集ストローク１２０８の垂直範囲である。例えば、ストローク１２０８は、パラグラフ１２００がその上に書かれる線４１０（さらに、その上の線４１０）を横切り、それは例えば英字「ｌ」の典型的な特徴ではなく、したがってその文字が認識される確率を相対的に低減するために使用することができる。代替または追加として、そのような特徴は、それらのオブジェクトの要素（例えば、ベース線、中心線、上端線、アセンダー線、ディセンダー線、ｍａｔｒａ線、ｒｕｋａｒ線など）の平均および／または最大線パターンなどの、それらの間の幾何学的関係を画定する近接オブジェクトの組合せ特徴と比較した、編集ストローク１２０８の垂直範囲である。例えば、編集ストローク１２０８は、語１２０４および１２０６（さらにはパラグラフ１２００）のストロークのベース線を横切り、それは例えば英字「ｌ」の典型的な特徴ではなく、したがってその文字が認識される確率を相対的に低減するために使用することができる。
【０１０６】
異なるジェスチャタイプを可能にし、または要求することによって、そのような結合またはスペース削除ジェスチャの認識をさらに高めることができる。図１２Ｃは単一行パラグラフ１２００を示し、編集ジェスチャ１２１０が、例えば、示される表示される位置においてユーザがその指またはスタイラス先端を上下に数回スワイプすることによって、単一の多方向性ストロークでの垂直ジグザグ線としての入力として検出される。編集ストローク１２１０は、語１２０４と１２０６との間のスペースを通るときに、ＨＷＲシステム１１４によって検出される。例えば語の間のスペース内の、（認識された）テキスト１２００に対する編集ストローク１２１０のこの相対場所は、編集ジェスチャ１２１０の前述の特徴のうちの１つを与えるのに対して、ジグザグは別の特徴を与える。
【０１０７】
これらの特徴を単独で考慮すると、編集ジェスチャ１２１０は、検出された場所で語１２０４と１２０６とを互いに結合し、またはスペースを削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は図１２Ｂに示されるようなものである。このようにして、図１２Ａに関連して説明された比較的単純な単一方向性編集ジェスチャではなく、ジグザグまたはスクラッチアウトジェスチャが使用される。しかしながら、ジグザグジェスチャ１２１０も、手書き認識を通じて、追加で入力された文字、例えば英字「ｗ」と混同されることがある。図示されるケースにおいて、ＨＷＲシステム１１４の言語モデルは、例えば、認識されたテキスト１２００の他の文字の斜線とは大いに異なる、示される斜線で書かれた「ｗ」文字について不十分な結果を返すことになるので、文字「ｗ」のこの認識結果の確率は、恐らくは編集ジェスチャ「ｊｏｉｎ」の確率よりも低くなる可能性が高いはずである。しかしながら、言語モデルは、例えば、入力が「ｗ」である場合の語「ｔｗｏｗｗｏｒｄｓ」、または入力が編集ジェスチャ「ｊｏｉｎ」である場合の語「ｔｗｏｗｏｒｄｓ」について比較的類似の確率を与えることがある。そのような認識結果は、入力の言語およびコンテキストに依存し、したがって、堅固で広く適用可能なシステムおよび方法を提供するために、そのような要素に一般に無関係である認識が好ましい。
【０１０８】
したがって、追加の特徴の考慮が本システムおよび方法によって行われる。下から上への結合またはスペース削除ジェスチャと同様に、そのような特徴は、ページ４００の入力環境と比較した、編集ストローク１２１０の垂直範囲である。例えば、ストローク１２１０は、パラグラフ１２００がその上に書かれる線４１０を横切り、それは例えば英字「ｗ」の典型的な特徴ではなく、したがってその文字が認識される確率を相対的に低減するために使用することができる。代替または追加として、そのような特徴は、それらのオブジェクトの要素（例えば、ベース線、中心線、上端線、アセンダー線、ディセンダー線、ｍａｔｒａ線、ｒｕｋａｒ線など）の平均および／または最大線パターンなどの、それらの間の幾何学的関係を画定する近接オブジェクトの組合せ特徴と比較した、編集ストローク１２１０の垂直範囲である。例えば、編集ストローク１２１０は、語１２０４および１２０６（さらにはパラグラフ１２００）のストロークのベース線を横切り、それは例えば英字「ｗ」の典型的な特徴ではなく、したがってその文字が認識される確率を相対的に低減するために使用することができる。
【０１０９】
認識された編集操作が実施されるまで、例えば図１２Ａまたは図１２Ｃに示されるような形状で、もしくは何らかの他の適切なレンダリングで、入力編集ストロークをデジタルインクとして表示するようにアプリケーション１１２を構成することができ、またはアプリケーション１１２は、そのような表示なしに単に編集操作を実施することができる。検出された編集ジェスチャの表示を使用し、ジェスチャ自体およびその相対場所の認識に関してユーザに認識フィードバックを提供することができる。そうでない場合、そのようなフィードバックのために最終的編集操作、例えば図１２Ｂに示される修正後の表示を使用することができる。
【０１１０】
類似の結合またはスペース（または改行）削除ジェスチャを使用し、パラグラフの別々のテキスト行を結合することができる。例えば、図１３Ａは、いくつかの語の複数行パラグラフ１３００、（第１の線４１０上の）パラグラフ１３００の第１の行１３００ａ内の「Ｊｏｉｎ」１３０２および「ｔｗｏ」１３０４と、（第１の線４１０の直下の第２の線４１０上の）パラグラフ１３００の第２の行１３００ｂ内の、「ｌｉｎｅｓ」１３０６、および語１３０６の後ろのピリオド１３０７とを示し、それらの間にスペースを有する。編集ジェスチャ１３０８が、行１３００ａのエンドスペース（例えば、語１３０４の右側の）で検出され、または編集ジェスチャ１３１０が、行１３００ｂの先頭（例えば、語１３０６の左側の）で検出され、どちらも単一ストロークで下から上への垂直線として入力される。同様に、図１３Ｂにおいて、単一の多方向性ストロークで垂直ジグザグ線としての入力として検出される編集ジェスチャ１３１２が、パラグラフ１３００の行１３００ａのエンドスペースで検出される。どちらのケースでも、編集ストローク１３０８、１３１０、または１３１２は、パラグラフ９００の行１３００ａと１３００ｂとの間を通るときに、ＨＷＲシステム１１４によって検出される。例えば行間のスペースでの、（認識された）テキスト１３００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向またはジグザグは別の特徴を与える。
【０１１１】
これらの特徴を単独で考慮すると、編集ジェスチャは、検出された場所で行１３００ａと１３００ｂとを互いに結合し、またはスペースを削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１３Ｃに示されるようなものであり、行１３００ａと１３００ｂとが、パラグラフ１３００の内容のすべてを含む新しい行１３１４として結合されている。下から上への編集ジェスチャ１３０８もしくは１３１０またはジグザグジェスチャ１３１２が、パラグラフ１３００の２つの行１３００ａと１３００ｂとの間のエンドスペースの代わりに、改行にわたって使用される、図１３Ｄおよび１３Ｅに示される例を結合することから、類似の認識結果が得られる。
【０１１２】
図１４は、図８Ｂの例示的認識結果に対して実施される例示的行結合またはスペース削除操作を示し、改行（図示せず）が、分断されたパラグラフ４１６の行４２６および４３２の間に与えられる。図１４において、結合ジェスチャ１４００が、示される表示される位置での単一ストロークでの下から上への垂直線としての入力として検出される。編集ストローク１４００は、パラグラフ４１６のそれぞれ行４２６および４３２上のピリオド４２２と語４２４との間を通るときに、ＨＷＲシステム１１４によって検出される。前の例と同様に、例えばパラグラフの行の間の改行上の、（認識された）パラグラフ４１６に対する編集ストローク１４００のこの相対場所は、編集ジェスチャ１４００の前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ１４００は、検出された場所でパラグラフ４１６の行４２６と４３２とを、それらの間の改行の除去と共に結合することがユーザによって意図されているという決定に至ることがある。したがって、語４２４（および後続の語４２８およびコンマ４３０）が、第１の線４１０の直下の（第２の）線４１０から、ピリオド４２２を有する（第１の）線４１０上に移動され、第３の線４１０および第４の線４１０上のパラグラフ４１６のテキストが、それぞれ第２の行および第３の行に移動され、見出し４１８およびパラグラフ４２０が、同様にそれぞれ１つの線４１０だけ上に移動され、したがって表示は図４のそれに戻る。
【０１１３】
前述の例は、説明された下から上への単一ストローク結合もしくは削除スペースジェスチャまたはジグザグ多方向性単一もしくは複数ストロークスクラッチアウトジェスチャを使用する、単一行または複数行パラグラフ内のテキストの行の結合またはスペースの削除を示す。これらのジェスチャは、例で示される左から右への言語入力の垂直フローシナリオについて、オブジェクトブロックの要素を結合し、または要素の間のスペースを削除するのに比較的直感的であると考えられる。しかしながら、特に水平フロー言語での、異なる方向での単一ストロークジェスチャ、複数ストロークジェスチャ、またはタップなどの無方向性ジェスチャも使用することができることを理解されたい。類似の結合またはスペース（または改行）削除ジェスチャ使用し、別々のパラグラフの間のスペース（または改行）を結合または除去することができる。
【０１１４】
図１５Ａは、（第１の）線４１０上の１つの語「Ｊｏｉｎ」１５０２の（第１の）単一行パラグラフ１５００と、第１の線４１０の直下の空の（第２の）線４１０と、第２の線４１０の直下の（第３の）線４１０上の、いくつかの語「ｔｗｏ」１５０４および「ｐａｒａｇｒａｐｈｓ」１５０６、ならびに語１５０６の後ろのピリオド１５０７の（第２の）単一行パラグラフ１５０３とを示す。第１のパラグラフ１５００の終わり（例えば、語１５０２の右側の）での編集ジェスチャ１５０８、パラグラフ１５００と１５０３との間の、空の第２の線４１０での編集ジェスチャ１５１０、および第２のパラグラフ１５０３の先頭（例えば、語１５０４の左側の）での編集ジェスチャ１５１２のいずれかが検出され、それぞれは、単一ストロークでの下から上への垂直線として入力される。同様に、図１５Ｂにおいて、単一の多方向性ストロークで垂直ジグザグ線としての入力として検出される編集ジェスチャ１５１４が、パラグラフ１５００と１５０３との間の空の第２の線４１０で検出される。どちらのケースでも、編集ストローク１５０８、１５１０、１５１２、または１５１４は、ＨＷＲシステム１１４によって、第１のパラグラフ１５００と第２のパラグラフ１５０３との間にあると検出される。例えばパラグラフの間の空行での、（認識された）テキスト１５００および１５０３に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向またはジグザグは別の特徴を与える。
【０１１５】
これらの特徴を単独で考慮すると、編集ジェスチャは、検出された場所でパラグラフ１５００と１５０３とを互いに結合し、またはそれらの間の空行を削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１５Ｃに示されるようなものであり、パラグラフ１５００と１５０３とが、（第１の線４１０上の）第１の行１５１６ａ内の第１のパラグラフ１５００の内容および第２のパラグラフ１５０３の語１５０４と、（第２の線４１０上の）第２の行１５１６ｂ内の第２のパラグラフ１５０３の語１５０６およびピリオド１５０７とを含む、新しい（第３の）パラグラフ１５１６として結合され、それらの間にスペースを有する（例えば、行１５１６ａのエンドスペース）。したがって、単一のパラグラフを生成するように、結合されたパラグラフの内容がリフローされる。これは、パラグラフを結合する際のユーザの意図であると考えられるからである。しかしながら、あるいは、リフローが生じないように改行を与えることができる。そのケースにおいて、図１３Ｄおよび１３Ｅに示される結合例と類似の認識結果が得られ、下から上への編集ジェスチャ１５０８、１５１０、もしくは１５１２、またはジグザグジェスチャ１５１４が、パラグラフ１５００と１５０３との間のエンドスペースの代わりに、改行にわたって使用される。
【０１１６】
類似の結合またはスペース（または改行）削除ジェスチャを使用し、別々のパラグラフの間の追加のスペース（改行）を除去することができる。例えば、図１６Ａは、（第１の）線４１０上の、いくつかの語「Ｔｗｏ」１６０１および「ｐａｒａｇｒａｐｈｓ」１６０２、ならびに語１６０２の後ろのピリオド１６０３の（第１の）単一行パラグラフ１６００と、（図１０Ｄの例と同様に）第３の線４１０上に改行を有する、第１の線４１０の直下の２つの空の（第２および第３の）線４１０と、第３の線４１０の直下の（第４の）線４１０上の、いくつかの語「Ｕｎｓｐａｃｅ」１６０５および「ｐａｒａｇｒａｐｈｓ」１６０６、ならびに語１６０６の後ろのピリオド１６０７の（第２の）単一行パラグラフ１６０４とを示す。第１のパラグラフ１６００の終わり（例えば、ピリオド１６０３の右側の）での編集ジェスチャ１６０８、空の第２の線４１０での編集ジェスチャ１６１０またはパラグラフ１６００と１６０４との間の空の第３の線４１０での編集ジェスチャ１６１２、および第２のパラグラフ１６０４の先頭（例えば、語１６０５の左側の）での編集ジェスチャ１６１４のいずれかが検出され、それぞれは、単一ストロークでの下から上への垂直線として入力される。編集ストローク１６０８、１６１０、１６１２、または１６１４は、ＨＷＲシステム１１４によって、２つの空の線４１０によって分離される第１のパラグラフ１６００と第２のパラグラフ１６０４との間にあると検出される。例えばパラグラフの間の空行での、（認識された）テキスト１６００および１６０４に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向は別の特徴を与える。
【０１１７】
これらの特徴を単独で考慮すると、編集ジェスチャは、検出された場所でパラグラフ１６００と１６０４との間の空行のうちの１つを除去することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１６Ｂに示されるようなものであり、第２のパラグラフ１６０４が第３の線４１０上に移動され、したがって別の方法で保持される２つのパラグラフの改行および特徴が除去される。具体的には図示していないが、パラグラフ１６００と１６０４との間のスクラッチアウトジェスチャの検出で、類似の認識結果を得ることができることを理解されたい。
【０１１８】
図１７Ａは、図１１Ｂの例示的認識結果に対して実施される、パラグラフ間の空行を削除するための例示的操作を示す。図１７Ａにおいて、スペース削除ジェスチャ１７００が、示される表示される位置での単一ストロークでの下から上への垂直線としての入力として検出される。編集ストローク１７００が、パラグラフ４１６と４１８との間の２つの空の線４１０（第３の線４１０）のうちの１つにあるとＨＷＲシステム１１４によって検出される。前の例と同様に、例えば別々のパラグラフの間の空行上の、（認識された）パラグラフ４１６および４１８に対する編集ストローク１７００のこの相対場所は、編集ジェスチャ１７００の前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ１７００は、検出された場所でパラグラフ４１６と４１８との間の空の線４１０のうちの１つを削除し、それらの間の改行（図示せず）を除去することがユーザによって意図されているという決定に至ることがある。したがって、見出し４１８が前の空の（第３の）線４１０上に移動され、したがって、パラグラフ４２０が同様に１つの線４１０だけ上に移動され、それによって、パラグラフ４２０の最後の行４３６が再び現れ、表示は図４のそれに戻る。
【０１１９】
図１７Ｂは、パラグラフ４１６と４１８とを結合し、またはパラグラフ４１６と４１８との間の残りの空行を削除するための例示的操作を示す。図１７Ｂにおいて、結合またはスペース削除ジェスチャ１７０２が、示される表示される位置での単一ストロークでの下から上への垂直線としての入力として検出される。編集ストローク１７０２が、パラグラフ４１６と４１８との間の空の線４１０（第２の線４１０）にあるとＨＷＲシステム１１４によって検出される。前の例と同様に、例えば別々のパラグラフの間の空行上の、（認識された）パラグラフ４１６および４１８に対する編集ストローク１７０２のこの相対場所は、編集ジェスチャ１７０２の前述の特徴のうちの１つを与えるのに対して、下から上への筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ１７０２は、検出された場所でパラグラフ４１６と４１８とを結合し、またはパラグラフ４１６と４１８との間の空の線４１０を削除することがユーザによって意図されているという決定に至ることがある。
【０１２０】
この認識結果が図１７Ｃに示されており、パラグラフ４１８の単一の語がパラグラフ４１６の最後の行４３８上の、例えばピリオド４４０の後ろにリフローされ、新しいパラグラフ４４２が形成される。したがって、パラグラフ４２０が２つの線４１０だけ上に（第３の線４１０に）移動され、図１５Ｃの認識結果例と同様に、パラグラフ４２０と４４２との間の空の（第２の）線４１０が残される。アプリケーション１１２のこの認識および／または設定のコンテキストに応じて、この認識結果は、図１７Ｃのようなリフローではなく、検出された結合／削除位置での改行の提供を引き起こすことがある。この代替認識結果が図１７Ｄに示されており、パラグラフ４１８が、（第１の線４１０上の）パラグラフ４１６の最後の行４３８の直下の前の空の（第２の）線４１０上に移動され、行４３８上のピリオド４４０と行４４６との間に改行（図示せず）と共に、新しい最後の行４４６上にパラグラフ４１８の単一の語を有する新しいパラグラフ４４４を形成する。したがって、パラグラフ４２０が１つの線４１０だけ上に（第４の線４１０に）移動される。
【０１２１】
前述の例は、説明された下から上への単一ストローク結合もしくは削除スペースジェスチャ、またはジグザグ多方向性単一もしくは複数ストロークスクラッチアウトジェスチャを使用する、単一行または複数行パラグラフの単一のパラグラフへの結合、または別々のパラグラフの間のスペースの削除を示す。これらのジェスチャは、例で示される左から右への言語入力の垂直フローシナリオについて、オブジェクトブロックを結合し、またはオブジェクトブロックの間のスペースを削除するのに比較的直感的であると考えられる。しかしながら、特に水平フロー言語での、異なる方向での単一ストロークジェスチャ、複数ストロークジェスチャ、またはタップなどの無方向性ジェスチャも使用することができることを理解されたい。
【０１２２】
前述の編集ジェスチャは、手書き内容に関する分断操作、分割操作、またはスペーシング操作と、結合操作またはスペース削除操作とを実施するためのものであった。他の編集操作も可能である。図１８Ａは、それらの間のスペースによって画定されたいくつかの語「Ｅｒａｓｅ」１８０２、「ｏｎｅ」１８０４、および「ｃｈａｒ」１８０６、ならびに語１８０６の後ろのピリオド１８０７の単一行パラグラフ１８００を示す。編集ジェスチャ１８０８が、例えば、示される表示される位置においてユーザがその指またはスタイラス先端を横方向の斜線で数回スワイプすることによって、単一の多方向性ストロークでの傾斜したジグザグ線としての入力として検出される。編集ストローク１８０８は、ＨＷＲシステム１１４によって、（実質上）語１８０４の（全体の）文字「ｅ」１８０４ａ上、またはその上にあると検出される。例えば単一の文字上の、（認識された）テキスト１８００に対する編集ストローク１８０８のこの相対場所は、編集ジェスチャ１８０８の前述の特徴のうちの１つを与えるのに対して、ジグザグは別の特徴を与える。
【０１２３】
これらの特徴を単独で考慮すると、編集ジェスチャ１８０８は、語１８０４の文字１８０４ａを削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１８Ｂに示されるようなものであり、文字１８０４ａが削除され、語１８０４の文字「ｏ」１８０４ｂおよび「ｎ」１８０４ｃを残し、新しい語「ｏｎ」１８０９を形成する。理解できるように、パラグラフ１８００の特徴は、別の方法で保持される。この（傾斜した）ジグザグジェスチャ１８０８は、少なくとも先に論じられた理由で（例えば、傾斜、ベース線の横断、語「ｏｎ」の「ｏｎｗ」よりも高い確率などの考慮で）、ＨＷＲシステム１１４によるスクラッチアウト削除ジェスチャとしての認識に関して比較的堅固であると考えられる。しかしながら、複数の文字が誤って削除されないように、そのようなジェスチャの使用のために一定量の精度が必要とされることがある。したがって、そのような文字削除操作のために代替または追加のジェスチャを提供することができる。
【０１２４】
図１８Ｃは単一行パラグラフ１８００を示し、編集ジェスチャ１８１０が、例えば、ユーザがその指またはスタイラス先端を下から上、左から右に傾斜した方向にスワイプすることによって、単一ストロークでの下から上への斜線としての入力として検出される。すなわち、ストローク開始位置は、下から上、左から右へのストロークが漸進的に濃くなることによって示されているように、時間順でストローク終了位置の下かつ右にある。図１８Ｄは単一行パラグラフ１８００を示し、編集ジェスチャ１８１２が、例えば、ユーザがその指またはスタイラス先端を下から上にらせん状に右にスワイプすることによって、単一ストロークでの下から上へのカールした線としての入力として検出される。すなわち、ストローク開始位置は、下から上、左から右へのストロークが漸進的に濃くなることによって示されているように、時間順でストローク終了位置の下かつ左にある。編集ストローク１８１０および編集ストローク１８１２は、（実質上）語１８０４の（全体の）文字１８０４ａの上を通るときに、ＨＷＲシステム１１４によって検出される。例えば単一の文字上の、（認識された）テキスト１８００に対する編集ストローク１８１０および１８１２のこの相対場所は、編集ジェスチャ１８１０および１８１２の前述の特徴のうちの１つを与えるのに対して、編集ジェスチャ１８１０の左から右、下から上への筆記方向と、編集ジェスチャ１８１２のカールした筆記方向とはそれぞれ、別の特徴を与える。
【０１２５】
これらの特徴を単独で考慮すると、編集ジェスチャ１８１０および１８１２はそれぞれ、語１８０４の文字１８０４ａを削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１８Ｂに示されるようなものである。（傾斜した）下から上へのジェスチャ１８１０は、少なくとも先に論じられた理由で（例えば、傾斜、ベース線の横断、語「ｏｎ」の良好な確率などの考慮で）、削除ジェスチャとしてのＨＷＲシステム１１４による認識に関して比較的堅固であると考えられる。さらに、（カールした）下から上へのジェスチャ１８１０は、少なくとも先に論じられた理由で（例えば、傾斜、カールした形状、語「ｏｎ」の良好な確率などの考慮で）、ＨＷＲシステム１１４による「ピグテール」削除ジェスチャとしての認識に関して比較的堅固であると考えられる。しかしながら、スクラッチアウトジェスチャと同様に、複数の文字が誤って削除されないように、そのようなジェスチャの使用のために一定量の精度が必要とされることがある。
【０１２６】
認識された編集操作が実施されるまで、例えば図１８Ａ、１８Ｂ、または１８Ｃに示されるような形状で、もしくは何らかの他の適切なレンダリングで、入力編集ストロークをデジタルインクとして表示するようにアプリケーション１１２を構成することができ、またはアプリケーション１１２は、そのような表示なしに単に編集操作を実施することができる。検出された編集ジェスチャの表示を使用し、ジェスチャ自体およびその相対場所の認識に関してユーザに認識フィードバックを提供することができる。そうでない場合、そのようなフィードバックのために最終的編集操作、例えば図１８Ｂに示される修正後の表示を使用することができる。
【０１２７】
類似の削除ジェスチャを使用し、語の複数の文字を削除することができる。例えば、図１９Ａは、いくつかの語の複数行パラグラフ１９００、（第１の線４１０上の）パラグラフ１９００の第１の行１９００ａ内の「Ｅｒａｓｅ」１９０２および「ｓｅｖｅｒａｌ」１９０４と、（第１の線４１０の直下の第２の線４１０上の）パラグラフ１９００の第２の行１９００ｂ内の、「ｃｈａｒａｃｔｅｒｓ」１９０６、および語１９０６の後ろのピリオド１９０７とを示し、それらの間にスペースを有する。単一の多方向性ストロークでの垂直ジグザグ線として入力される編集ジェスチャ１９０８が、語１９０６の（全体の）一連の文字１９０６ａ上、またはその上で（実質上）検出される。同様に、図１９Ｂにおいて、単一ストロークでの左から右への垂直線としての入力として検出される編集ジェスチャ１９１０が、（実質上）語１９０６の（全体の）一連の文字１９０６ａの上で検出される。どちらのケースでも、編集ストローク１９０８または１９１０は、語１９０６の一連の文字１９０６ａの上を通るときに、ＨＷＲシステム１１４によって検出される。例えば一連の文字上の、（認識された）テキスト１９００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、ジグザグの、または左から右への（水平な）筆記方向は別の特徴を与える。
【０１２８】
これらの特徴を単独で考慮すると、編集ジェスチャは、語１９０６の一連の文字１９０６ａを削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図１９Ｃに示されるようなものであり、複数の文字１９０６ａが削除され、語１９０６の一連の文字「ｃｈａｒ」１９０６ｂおよび文字「ｓ」１９０６ｃを残し、それぞれ２つの新しい語１９１２および１９１４を形成する。理解できるように、パラグラフ１９００の特徴は、別の方法で保持され、文字１９０６ｃをリフローして語１９０６内の文字１９０６ｂと結合するのではなく、除去された文字はスペースで置き換えられる。ユーザが新しい文字を追加するために複数の文字を削除することを意図したと考えられるので、この例ではこれが行われる。しかしながら、部分的に削除された語の残りの文字を結合するなど、異なる考慮を行い、または設定することができることを理解されたい。単一の消去編集ジェスチャまたは単一のスペース削除ジェスチャで、複数の、テキストやスペース文字などの順次の同様の要素の消去を達成することができることを理解されたい。
【０１２９】
ジグザグジェスチャ１９０８は、少なくとも先に論じられた理由で（例えば、傾斜、ベース線の横断、必要とする精度がより低い、いくつかの文字にわたる一節の考慮で）、ＨＷＲシステム１１４によるスクラッチアウト削除ジェスチャとしての認識に関して比較的堅固であると考えられる。さらに、水平ジェスチャ１９１０は、ＨＷＲシステム１１４による取消し線削除ジェスチャとしての認識に関して比較的堅固であると考えられる。それはいくつかの文字の上を通り、必要とする精度がより低く、削除のための良く知られている編集ジェスチャであり、例えばハイフンまたはダッシュ文字であるには恐らくは比較的長過ぎるので、認識されたテキスト１９００に関連してＨＷＲシステム１１４によって文字と認識される比較的低い確率を有するからである。
【０１３０】
認識された編集操作が実施されるまで、例えば図１９Ａまたは１９Ｂに示されるような形状で、もしくは何らかの他の適切なレンダリングで、入力編集ストロークをデジタルインクとして表示するようにアプリケーション１１２を構成することができ、またはアプリケーション１１２は、そのような表示なしに単に編集操作を実施することができる。検出された編集ジェスチャの表示を使用し、ジェスチャ自体およびその相対場所の認識に関してユーザに認識フィードバックを提供することができる。そうでない場合、そのようなフィードバックのために最終的編集操作、例えば図１９Ｃに示される修正後の表示を使用することができる。
【０１３１】
類似の削除ジェスチャを使用し、行（またはパラグラフ）から１つまたは複数の語を削除することができる。例えば、図２０Ａは、それらの間のスペースによって画定されたいくつかの語「Ｅｒａｓｅ」２００２、「ｏｎｅ」２００４、および「ｗｏｒｄ」２００６と、その後に続くピリオド２００７の単一行パラグラフ２０００を示す。単一の多方向性ストロークでの垂直ジグザグ線として入力される編集ジェスチャ２００８が、（全体の）語２００６およびピリオド２００７上、またはその上で（実質上）検出される。同様に、図２０Ｂにおいて、単一ストロークでの左から右への水平線としての入力として検出される編集ジェスチャ２０１０が、（全体の）語２００６およびピリオド２００７の上で（実質上）検出される。どちらのケースでも、編集ストローク２００８または２０１０は、語２００６およびピリオド２００７の上を通るときに、ＨＷＲシステム１１４によって検出される。例えば語上の、（認識された）テキスト２０００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、ジグザグの、または左から右への（水平な）筆記方向は別の特徴を与える。
【０１３２】
これらの特徴を単独で考慮すると、編集ジェスチャは、語２００６およびピリオド２００７を削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図２０Ｃに示されるようなものであり、語２００６およびピリオド２００７が削除され、語２００２および２００４を残す。
【０１３３】
さらに、図２１Ａは、それらの間のスペースによって画定されたいくつかの語「Ｅｒａｓｅ」２１０２、「ｔｗｏ」２１０４、および「ｗｏｒｄｓ」２１０６と、その後に続くピリオド２１０７の単一行パラグラフ２１００を示す。単一の多方向性ストロークでの垂直ジグザグ線として入力される編集ジェスチャ２１０８が、（全体の）語２１０４および２１０６およびピリオド２１０７上、またはその上で（実質上）検出される。同様に、図２１Ｂにおいて、単一ストロークでの左から右への水平線としての入力として検出される編集ジェスチャ２１１０が、（全体の）語２１０４および２１０６およびピリオド２１０７の上で（実質上）検出される。どちらのケースでも、編集ストローク２１０８または２１１０は、語２１０４および２１０６およびピリオド２１０７の上を通るときに、ＨＷＲシステム１１４によって検出される。例えば語上の、（認識された）テキスト２１００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、ジグザグの、または左から右への（水平な）筆記方向は別の特徴を与える。
【０１３４】
これらの特徴を単独で考慮すると、編集ジェスチャは、語２１０４および２１０６およびピリオド２１０７を削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図２１Ｃに示されるようなものであり、語２１０４および２１０６およびピリオド２１０７が削除され、語２１０２を残す。
【０１３５】
類似の削除ジェスチャを使用し、複数行パラグラフから語を削除することができる。例えば、図２２Ａは、いくつかの語の複数行パラグラフ２２００、（第１の線４１０上の）パラグラフ２２００の第１の行２２００ａ内の「Ｅｒａｓｅ」２２０２および「ｓｅｖｅｒａｌ」２２０３と、（第１の線４１０の直下の第２の線４１０上の）パラグラフ２２００の第２の行２２００ｂ内の、それらの間のスペースによって画定された「ｗｏｒｄｓ」２２０４、「ａｔ」２２０５、および「ｏｎｃｅ」２２０６、ならびにその後に続くピリオド２２０７とを示し、それらの間にスペースを有する。単一の多方向性ストロークでの垂直ジグザグ線として入力される編集ジェスチャ２２０８が、（全体の）語２２０３、２２０５、および２２０６、ならびにピリオド２２０７上、またはその上で（実質上）検出される。編集ストローク２２０８は、語２２０３、２２０５、および２２０６、ならびにピリオド２２０７の上を通るときに、ＨＷＲシステム１１４によって検出される。例えば別々の行上のいくつかの語上の、（認識された）テキスト２２００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、ジグザグは別の特徴を与える。
【０１３６】
これらの特徴を単独で考慮すると、編集ジェスチャは、語２２０３、２２０５、および２２０６、ならびにピリオド２２０７を削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図２２Ｂに示されるようなものであり、語２２０３、２２０５、および２２０６、ならびにピリオド２２０７が削除され、それぞれの行２２００ａおよび２２００ｂ上の語２２０２および２２０４を、それらの間のスペースと共に残す。ユーザが新しい語を複数行パラグラフに追加するために複数の語を削除することを意図したと考えられるので、この例ではこれが行われる。しかしながら、異なる考慮を行い、または設定することができることを理解されたい。例えば、図２２Ｃは代替認識結果を示し、語２２０４が第１の線４１０上の語２２０２の後ろに、それらの間のスペースと共にリフローされ、新しい単一行パラグラフ２２１０を形成する。前と同様に、スクラッチアウトおよび取消し線ジェスチャは、認識について比較的堅固であると考えられる。
【０１３７】
図２３は、図４の入力例に対して実施される、語を削除するための例示的操作を示す。図２３Ａにおいて、取消し線削除ジェスチャ２３００が、示される表示される位置での単一ストロークでの左から右への水平線としての入力として検出される。編集ストローク２３００が、（実質上）パラグラフ４１６の行４３４中の（全体の）語４４８上、またはその上にあるとＨＷＲシステム１１４によって検出される。前の例と同様に、例えばパラグラフの語上の、（認識された）パラグラフ４１６に対する編集ストローク２３００のこの相対場所は、編集ジェスチャ２３００の前述の特徴のうちの１つを与えるのに対して、左から右への（水平の）の筆記方向は別の特徴を与える。これらの特徴を単独で考慮すると、編集ジェスチャ２３００は、パラグラフ４１６の語４４８を削除することがユーザによって意図されているという決定に至ることがある。
【０１３８】
この認識結果が図２３Ｂに示されており、語４４６が省略され、したがって行４３４上の残りの語が（左マージン４０４に）リフローされ、語４５０が行４３８から行４３４の他の（リフローされた）語の後ろに上方にリフローされ、行４３８上の残りの語およびピリオドが（左マージン４０４に）リフローされる。このリフローは、行４３４と４３８との間にスペース（図示せず）が存在したので実施される。理解できるように、内容は、編集後パラグラフ４１６の行４３８上にとどまるので、下流側内容（すなわち、パラグラフ４１８および４２０）は移動しない。
【０１３９】
類似の削除ジェスチャを使用し、複数行パラグラフからテキストの１つまたは複数の行を削除することができる。例えば、図２４Ａは、いくつかの語の複数行パラグラフ２４００、（第１の線４１０上の）パラグラフ２４００の第１の行２４００ａ内の「Ｅｒａｓｅ」２４０２および「ｏｎｅ」２４０３と、（第１の線４１０の直下の第２の線４１０上の）パラグラフ２４００の第２の行２４００ｂ内の、それらの間のスペースによって画定された「ｌｉｎｅ」２４０４、「ｏｆ」２４０５、および「ｔｅｘｔ」２４０６、ならびにその後に続くピリオド２４０７とを示し、それらの間にスペースを有する。単一の多方向性ストロークでの垂直ジグザグ線として入力される編集ジェスチャ２４０８が、パラグラフ２４００の（全体の）行２４００ｂ、例えば語２４０４、２４０５、および２４０６、ならびにピリオド２４０７上、またはその上で（実質上）検出される。同様に、図２４Ｂにおいて、単一ストロークでの左から右への水平線としての入力として検出される編集ジェスチャ２４１０が、（全体の）行２４００ｂの上で（実質上）検出される。どちらのケースでも、編集ストローク２４０８または２４１０は、行２４００ｂの上を通るときに、ＨＷＲシステム１１４によって検出される。例えば行上のすべての語上の、（認識された）テキスト２４００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、ジグザグのまたは左から右への（水平な）筆記方向は別の特徴を与える。
【０１４０】
これらの特徴を単独で考慮すると、編集ジェスチャは、行２４００ｂ（語２４０４、２４０５、および２４０６、ならびにピリオド２４０７を含む）を削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図２４Ｃに示されるようなものであり、第２の行が省略され、語２４０２および２４０３を有する第１の行２４００ａを残す。
【０１４１】
さらに、図２５Ａは、それらの間のスペースによって画定された一連の語２５０２、２５０４、および２５０６、ならびに第３の行２５００ｃ内のその後に続くピリオド２５０７をそれぞれ含む（第１の）行２５００ａ、（第２の）行２５００ｂ、および（第３の）行２５００ｃといういくつかの行の複数行パラグラフ２５００を示し、それぞれはそれらの間にスペースを有する。単一の多方向性ストロークでの垂直ジグザグ線として入力される編集ジェスチャ２５０８が、パラグラフ２５００の（全体の）第１の行２５００ｂおよび第２の行２５００ｃ、例えば一連の語２５０４および２５０６およびピリオド２５０７上、またはその上で（実質上）検出される。同様に、図２５Ｂにおいて、単一ストロークでの左から右、下から上への（傾斜した）線としての入力として検出される編集ジェスチャ２５１０が、パラグラフ２５００の（全体の）第１の行２５００ｂおよび第２の行２５００ｃの上で（実質上）検出される。どちらのケースでも、編集ストローク２５０８または２５１０は、行２５００ｂと２５００ｃの両方の上を通るときに、ＨＷＲシステム１１４によって検出される。例えば別々の行上のいくつかの語上の、（認識された）テキスト２５００に対する編集ストロークのこの相対場所は、編集ジェスチャの前述の特徴のうちの１つを与えるのに対して、ジグザグの、または左から右／下から上への（傾斜した）筆記方向は別の特徴を与える。
【０１４２】
これらの特徴を単独で考慮すると、編集ジェスチャは、第２の行２５００ｂおよび第３の行２５００ｃ（一連の語２５０４および２５０６およびピリオド２５０７を含む）を削除することがユーザによって意図されているという決定に至ることがあり、したがって認識結果は、図２５Ｃに示されるようなものであり、第２の行および第３の行が省略され、第１の行２５００ａを一連の語２５０２と共に残す。前と同様に、スクラッチアウトおよび傾斜取消し線ジェスチャは、認識について比較的堅固であると考えられる。
【０１４３】
類似の削除ジェスチャを使用し、１つまたは複数の単一行および／または複数行パラグラフを削除することができる。例えば、図２６Ａおよび２６Ｂは、複数行パラグラフ２６００をそれぞれ示し、スクラッチアウトジェスチャ２６０２および傾斜取消し線削除ジェスチャ２６０４が、それぞれ（全体の）パラグラフ２６００上、またはその上で、ＨＷＲシステム１１４によって検出されるものとして（実質上）入力され、編集ジェスチャのそれぞれが、全体のパラグラフ２６００を削除するようにユーザによって意図されるという決定となる。さらに、図２７Ａおよび２７Ｂは、（例えば、線４１０のうちの１つの空の線によって分離される）複数行パラグラフ２７００および単一行パラグラフ２７０１をそれぞれ示し、それぞれスクラッチアウトジェスチャ２７０２および傾斜取消し線削除ジェスチャ２７０４が（全体の）パラグラフ２７００および２７０１（およびそれらの間の空の線４１０）上、またはその上で、ＨＷＲシステム１１４によって検出されるものとして（実質上）入力され、編集ジェスチャのそれぞれが、パラグラフ２７００と２７０１の両方を削除するようにユーザによって意図されるという決定となる。
【０１４４】
前述の例は、説明された（比較的まっすぐな）下から上、左から右への単一の傾斜ストローク削除ジェスチャ、下から上、左から右への単一のカールストローク削除ジェスチャ、左から右への多方向単一傾斜ストローク削除ジェスチャ、および（比較的まっすぐな）左から右への単一の水平削除ジェスチャを使用する、テキストの語および行からの単一の文字（英字、シンボルなど）の削除、テキストの１つまたは複数の行からの単一または複数の語の削除、１つまたは複数の単一行または複数行パラグラフからのテキストの単一または複数の行の削除、および１つまたは複数の単一行または複数行パラグラフの削除を示す。これらのジェスチャは、例で示される左から右への言語入力の垂直フローシナリオについて、オブジェクトブロックの要素またはオブジェクトブロック自体を削除するのに比較的直感的であると考えられる。しかしながら、特に水平フロー言語での、異なる方向および形態での単一ストロークジェスチャ、複数ストロークジェスチャ、またはタップなどの無方向性ジェスチャが使用することができることを理解されたい。
【０１４５】
前述の編集ジェスチャは、手書き内容に関する分断操作、分割操作、スペーシング操作、結合操作、および削除操作を実施するためのものであった。他の編集操作も可能である。図２８は、概して線パターン４１０の線上の入力エリア４０８に手書き内容として入力され、例えばデバイスのインターフェース表面１０４上のデジタルインクとしてレンダリングされた複数行パラグラフ２８００を示す。図２９は、デジタルインク２９００として入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフ２８００を示す。追加の内容２９００は、パラグラフ２８００の（第１の）行２８０６上の複数の語「ｃａｎ」２８０２および「ｒｅｐｌａｃｅ」２８０４の下に書かれた下線２９０２と、パラグラフ２８００の第１の行２８０６上のいくつかの語「ｋｅｙｂｏａｒｄ」２８０８および「ａｎｄ」２８１０、ならびに後続の（第２の）行２８１４上の語「ｍｏｕｓｅ」２８１２の下に書かれた下線２９０４とを含む。追加の内容２９００は、内容がパラグラフ２８００の認識されたテキストに関する下線であるという認識を通じて、ＨＷＲシステム１１４によって内容として扱われる。しかしながら、本システムおよび方法は、以下のように、そのような「内容」を編集のためのジェスチャと見なすための機構を提供する。
【０１４６】
ペンおよび紙のコンテキストにおいて、ユーザは、パラグラフの部分または全体について、その中の一定のテキストまたは全体のパラグラフ自体、さらには文書のセクションを強調するために、下線、または２重下線、円、楕円、ボックス、カラーリングなどの他の装飾を使用することがある。したがって、本システムおよび方法のアプリケーション１１２が手書き入力、特にノートテイキングの入力をデジタルインクとしてレンダリングし、文書作成および共有のために手書きとしてのそのデジタルインクとの継続した対話（編集など）を可能にするとき、手書き装飾は、ユーザがそれらを入力したものとして維持され、または後で詳細に説明されるように美化される。これは、装飾を与える際のユーザの意図を維持すると共に、ノート／文書が手書き（デジタルインク）形態で保持される。
【０１４７】
本システムおよび方法は、ＨＷＲシステム１１４を通じて、デジタルインクのタイプセットインクへのタイプセッティングまたはフォント化を通じて手書き入力をデジタル化または変換するための機構も提供する。この機能は特に、通信および共有のための少なくともほぼ最終の文書の作成、例えば、キーボード（および関連するジェスチャリングデバイス）だけを使用して生成することができたタイプセット文書にデジタルインクで編集およびフォーマットされた手書きノートの変換を可能にするために提供される。しかしながら、そのようなタイプセット文書において、手書きでのような装飾の使用は、同じ強調効果を与えないことがあり、または専門的に見える文書結果には適していないことがある。したがって、本システムおよび方法は、そのような装飾入力に適用されるべき追加の情報を決定する。これは、例えば、これらの装飾の、タイプセット文書内のスタイル変更への変換を可能にし、純粋な内容と編集ジェスチャとの間を区別するのを助けるように行われる。
【０１４８】
例えば、図３０は、タイプセットパラグラフ３０００への図２９の装飾２９００を伴う、パラグラフ２８００をタイプセットした結果を示す。理解できるように、アプリケーション１１２は、デジタルインク下線２９０２および２９０４の、パラグラフ２８００の関連する語２８０２、２８０４、２８０８、２８１０、および２８１２のタイプセットインクバージョンについてのボールドフォントへの変換を引き起こす。このようにして、アンダーラインが引かれた語の適切な強調がタイプセット文書内に保持され、それによってユーザの意図が保持される。ボールドフォントのスタイリングは例に過ぎず、後で論じられるように、他のフォント化を実現することができることを理解されたい。さらに、適切な場合、例えばタイプセット下線としてレンダリングされた下線２９０２および２９０４で、元の装飾スタイルを維持することもできる。さらに、異なる装飾を使用して異なるスタイリングを適用することができる（後で論じられる）。アプリケーション１１２のＵＩを介して、入力装飾またはスタイル変更のそのようなタイプセッティングを設定可能にすることができる。
【０１４９】
装飾入力、およびその入力の内容（例えば、デジタルインク語、パラグラフ）との関連付けを適切に認識するために、ＨＷＲシステム１１４は、既存の（認識された）内容と、新しく入力された（可能性のある）装飾入力との間の幾何学的および空間的関係を検出する。形状、下線などの装飾は、ＨＷＲシステム１１４の様々なモデル、具体的には言語モデルから容易に認識される。関連付けは、認識された装飾のタイプに関連する、そのような認識された装飾および近接する内容の相対場所を通じて決定される。例えば、下線は概して水平線であり、概してパラグラフの１つまたは複数の文字、語、または行の下にあり、下線が、それがその下にある要素に関係付けられる。
【０１５０】
内容を編集するための手書きジェスチャの使用に伴って生じる問題は、内容選択およびアプリケーション制御のために類似のジェスチャが与えられることがあることである。例えば、内容、例えば１つまたは複数の語を円で囲むことが、コピーアンドペーストもしくはカットアンドペースト操作、またはドラッグアンドドロップ操作、またはプッシュアンドドロップ操作などの対話のためにその内容を選択する目的でユーザによって意図されることがある。内容の編集のために手書きジェスチャの使用に伴って生じる別の問題は、非テキスト入力がサポートされる場合は特に、内容自体のために類似の入力が与えられることである。例えば、円が、ユーザによってダイアグラムまたは描画内の円として入力されることがある。したがって、ユーザの意図を決定し、それに適切に従うために、アプリケーション１１２がそのようなイベントを区別することができることが必要となる。
【０１５１】
利用可能なデジタルノートテイキングアプリケーションにおいて、これらのイベントの明示的な区別を可能にするために別々のペンまたはスタイラスが提供される。例えば、テキスト入力と、デジタルインク上の上書き、取消し線などの単純なテキスト編集のために１つのペンを使用することができ、描画または非テキスト入力のために別のペンが使用され、内容の選択および装飾などの複雑な内容編集のために別のペンが使用される。テキストペン、描画ペン、および選択ペンは、ペンを互いに区別するためにデバイスおよびアプリケーションによって検出可能な符号化などを備える。あるいは、これらのペンのうちの１つまたは複数は、選択または切換えを通じて、例えばペン上のボタンの押下を通じて、これらの属性のうちの複数を示す能力を備えることができる。しかしながら、特別な機能のために異なるハードウェアを使用しなければならないこと、またはそのハードウェアを操作しなければならないことをユーザは理解していないことを出願人は発見した。
【０１５２】
したがって、本システムおよび方法は、ユーザの指／手またはスタイラスなどの単一の入力デバイスを使用して、機能選択なしにすべての内容および対話入力が実施されること、したがって内容、装飾、および選択を単一のツールで扱うことを可能にする。アプリケーション１１２は、これらの間を区別してユーザ意図を決定する。これは、最初に、可能性のある装飾入力として認識されたすべての適切な入力をデフォルトで装飾として扱い、非テキスト入力として認識されたすべての入力をデフォルトで非テキストとして扱うことによって行われる。非テキストの認識は、本システムおよび方法によって実装される認識システムによって実現される（例えば、参照によりその内容全体が本明細書に組み込まれる、本出願人および譲受人の名義で出願された「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｏｆ  Ｈａｎｄｗｒｉｔｉｎｇ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  Ｄｉａｇｒａｍｓ」という名称の特許文献２参照。）。
【０１５３】
デフォルト装飾分類に関して、認識された装飾に関連付けられると決定された内容との、後続の、または別の（約１から３ストロークのおよび／または約５０ｍｓから約５００ｍｓの適切な時間遅延を伴う）対話がアプリケーション１１２によって検出された場合、処理は、選択入力のそれに変更される。例えば、入力が検出され、１つまたは複数の語の周りの円として認識されるとき、円は、ＨＷＲシステム１１４による装飾として分類され、したがって円装飾についてスタイリングまたは編集が設定されており、または設定可能であるものが何であっても、タイプセッティングに対して適用されるべきである。次いで、シングルポイントまたはマルチポイントジェスチャ（例えば、タップまたはダブルタップ）などのジェスチャが、それによって取り囲まれる円および／または語上、またはその周りの次の入力として検出される場合、入力は選択として扱われ、装飾分類はアプリケーション１１２によって除去される。あるいは、次の入力が、書かれた別の内容、または内容の関連しない部分での他のジェスチャである場合、装飾分類は保持される。そのようなジェスチャ入力の手動指定も、例えばＵＩを通じて、ユーザに対して提供することができる。
【０１５４】
編集可能であるデジタルインク内容の装飾を与えるための手書きジェスチャの使用に伴って生じる別の問題は、リフローおよびパラグラフサイズ変更などに伴う、デバイス向きの編集または変更、デジタルインク内容の再表示をトリガするウィンドウサイズ表示またはデバイス表示が生じるときの、装飾の適切なレンダリングである。これが以下で詳細に説明される。
【０１５５】
図３１Ａは、図２９の装飾２９００を伴うパラグラフ２８００を示す。編集ジェスチャ３１００が、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク３１００は、語２８０８と２８１０との間を通るときに、ＨＷＲシステム１１４によって検出される。図６の例と同様に、例えば語の間のスペース内の、（認識された）テキスト２８００および装飾２９００に対する編集ストローク３１００のこの相対場所は、編集ジェスチャ３１００が、検出された場所でパラグラフ２８００の第１の行２８０６を２つの行に改行または分割することがユーザによって意図されているという決定に至る。この認識結果が図３１Ｂに示されており、語２８１０が第２の行２８１４に移動され、したがって語２８１２がパラグラフ２８００の後続の（第３の）行２８１６上に移動し、下流側内容が次の行に移動される。これは、パラグラフ２８００が行２８１４と２８１６との間に改行（図示せず）を有するので、行われる。あるいは、分割された語２８１０を行２８１４上にリフローすることができ、したがって語２８１２がその行２８１４上にリフローされる。どちらのケースでも、語２８０８、２８１０、および２８１２は下線２９０４に関連付けられるので、下線２９０４の編集も必要となる。
【０１５６】
下線２９０４は、実際には、行２８０６上の（第１の）部分２９０４ａと、行２８１４上の（第２の）部分２９０４ｂという２つのセクションまたは部分で入力される。図３１Ｂに示されるように、下線部分２９０４ｂは単に、関連する語２８１２と共に移動する。しかしながら、下線部分２９０４ａは語２８０８と２８１０の両方に関連付けられ、したがって編集ジェスチャ３１００によって分断される。したがって、下線部分２９０４ａは、（例えば、ＨＷＲシステム１１４のセグメンタによって）（第１の）セグメント３１０２および（第２の）セグメント３１０４にセグメント化される。第１のセグメント３１０２は、編集ジェスチャ３１００が下線部分２９０４ａを横切る場所の左側の、下線部分２９０４ａのデジタルインクのすべてを含み、したがってパラグラフ２８００の行２８０６上に保持され、語２８０８に対する相対位置が保持される。第２のセグメント３１０４は、編集ジェスチャ３１００が下線部分２９０４ａを横切る場所の右側の、下線部分２９０４ａのデジタルインクのすべてを含み、したがってパラグラフ２８００の行２８１４上に移動され、語２８１０に対する相対位置が保持される。
【０１５７】
理解できるように、このとき下線が、アンダーラインが引かれた語２８０８の先に突き出るので、下線部分２９０４ａの第１のセグメント３１０２の得られる表示は、ユーザにとって完全に満足ではないことがある。この例では、これは大きな問題ではないことがあるが、セグメント化された装飾が満足に表示されないときに状況が生じることがあることを理解することができ、その例が後で説明される。編集後の表示がより満足の行くものとなるように、デジタルインクの部分を省略するように装飾のセグメント化を構成することが可能である。例えば、アンダーラインが引かれた語２８０８の最後の文字の先に右端範囲が突き出ないように、第１のセグメント３１０２を「カット」することができる。しかしながら、そのような省略の適切な範囲は、確認し、様々なタイプの内容および装飾に一般的な方式で適用することが難しいことがある。これは特に、デジタルインクとしてレンダリングされる手書きがあまり綺麗ではないとき、例えばそれが大雑把で、不安定で、波打ってなどおり、したがってデジタルインク自体の形に関係しない任意の位置でデジタルインクをカットすることが、得られる編集後のデジタルインクの可読性に伴う問題を引き起こすことがあるときにそうである。
【０１５８】
代替操作は、カットではなく、デジタルインクを再スケーリングすることである。しかしながら、そのような再スケーリングも、得られるスケーリング後のデジタルインクが小さ過ぎ、もしくは大き過ぎること、または手書きの不完全性が強調されることに伴う問題を引き起こすことがある。目立つ形でデジタルインクをスケーリングするための可能なプロセスが説明されている（例えば、参照によりその内容全体が本明細書に組み込まれる、本出願人および譲受人の名義で出願された「Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｈａｎｄｗｒｉｔｔｅｎ  Ｄｉａｇｒａｍ  Ｃｏｎｎｅｃｔｏｒｓ」という名称の特許文献３参照。）。
【０１５９】
本システムおよび方法は、デジタルインクとタイプセットインクへの全フォント化との間の中間ステップをさらに提供する。この中間ステップは美化である。美化プロセスにおいて、アプリケーション１１２および／またはＨＷＲシステム１１４は、デジタルインクの極値および平均特徴を決定し、ＨＷＲシステム１１４の前処理１１６と同様の平滑化および正規化を適用する。結果は、可読性および規則性が向上した、手書きの「生の」品質を保持する、美化後のデジタルインクである。そのような美化は、アプリケーション１１２の選択可能な設定でよい。装飾の「生の」デジタルインクを編集することに伴う上記で論じられた問題に関して、本システムおよび方法は、デジタルインク内容と共に、または個々に、装飾に美化を適用し、言及した問題を最小限に抑えることができる。これは、美化後の装飾は本来、規則的なものであり、したがって、制御可能な、周知の、予想される方式で、カットし、サイズ変更し、スケーリングすることなどができるからである。次に、美化後の装飾に対する編集操作の例が説明される。
【０１６０】
図３２は、図２９に示されたのと同様であるが、装飾２９００が美化後のデジタルインク装飾３２００にレンダリングされたパラグラフ２８００を示す。したがって、下線２９０２が、「近い」タイプセット下線３２０２に変換され、下線２９０４が、関連する部分３２０４ａおよび３２０４ｂにおいて、「近い」タイプセット下線３２０４に変換される。あるいは、美化後のバージョンは、全タイプセット品質でよい。この例、すなわち比較的薄い下線では、これらのバージョンの間の違いはわずかであることがある。しかしながら、スケッチ状のストロークを有する２次元形状などの、よりスタイリスティックな装飾では、美化後のデジタルインクは、完全にデジタル化された文書としてファイナライズする前の継続される作業のための文書の所期の手書き形態をより密接に反映すると考えられる。
【０１６１】
図３３Ａは、図３２の装飾３２００を伴うパラグラフ２８００を示す。編集ジェスチャ３３００が、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク３３００は、語２８０２と２８０４との間を通るときに、ＨＷＲシステム１１４によって検出される。図３１Ａの例と同様に、例えば語の間のスペース内の、（認識された）テキスト２８００および装飾３２００に対する編集ストローク３３００のこの相対場所は、編集ジェスチャ３３００が、検出された場所でパラグラフ２８００の第１の行２８０６を２つの行に改行または分割することがユーザによって意図されているという決定に至る。この認識結果が図３３Ｂに示されており、語２８０４が第２の行２８１４に移動され、したがって第１の行２８０６の残りの語が第２の行２８１４上に移動し（語２８０８および２８１０と、下線３２０４の（第１の）部分３２０４ａとを含む）、その行２８１４上の語２８１２がリフローされる。このリフローは、図３１Ｂの改行操作結果の代替を示すために示される。理解できるように、パラグラフ２８００の他の部分は同じままである。
【０１６２】
この編集操作は、以下のような下線３２０２と３２０４の両方の再レンダリングという結果となる。下線３２０２が、（例えば、ＨＷＲシステム１１４のセグメンタによって）（第１の）セグメント３３０２および（第２の）セグメント３３０４にセグメント化される。第１のセグメント３３０２は、語２８０２だけに対して、かつその下に含まれる下線３２０２を編集ジェスチャ３３００が横切る場所の左側の下線３２０２の美化後のデジタルインクを含む。すなわち、語２８０２の右端文字範囲から編集ジェスチャ３３００が下線３２０２を交差する場所までの下線３２０２の美化後のデジタルインクが省略される。これは、上記で論じられたように、「生の」デジタルインクよりも単純な、美化後のデジタルインクについてのプロセスである。美化後のデジタルインクは、下線の長さに沿って妥当に不変のレンダリングを有し、したがって品質または意味を失うことなく任意の位置でカットすることができるからである。第２のセグメント３３０４は、編集ジェスチャ３３００が下線３２０２を横切る場所の右側の下線３２０２の美化後のデジタルインクを含む。
【０１６３】
下線３２０４について、第１の部分３２０４ａおよび第２の部分３２０４ｂが、パラグラフ２８００の行２８１４上で結合され、第１の部分３２０４ａおよび第２の部分３２０４ｂの組み合わされた長さ、および語２８０８、２８１０、および２８１２に対する相対位置の、新しい美化後のデジタルインク下線３３０６を形成する。これは、美化後のデジタルインクにとって、「生の」デジタルインクよりも単純な、美化後のデジタルインクについてのプロセスである。美化後のデジタルインクは、下線の長さに沿って妥当に不変のレンダリングを有し、したがって品質または意味を失うことなく任意の位置で結合することができるのに対して、「生の」デジタルインク下線２９０４の下線部分２９０４ａおよび２９０４ｂは、結合を可能にするためにかなりの調節を必要とすることがあり、それを一般的な形で適切に適用することはできないからである。
【０１６４】
理解できるように、図３３Ｂで得られる表示は、内容に関する元の装飾のクリアなインジケーションを保持する。図３４は、図３３Ｂの装飾３３００を伴うパラグラフ２８００をタイプセットパラグラフ３４００にタイプセットした結果を示す。理解できるように、アプリケーション１１２は、図３０の例のそれと同様の方式で、美化後のデジタルインク下線３３０２、３３０４、および３３０６の、パラグラフ２８００の関連する語２８０２、２８０４、２８０８、２８１０、および２８１２のタイプセットインクバージョンについてのボールドフォントへの変換を引き起こす。このようにして、アンダーラインが引かれた語の適切な強調がタイプセット文書内に保持され、それによってユーザの意図が保持される。
【０１６５】
美化後の装飾の提供は、他の編集操作時の、装飾された内容の目立つ再表示も助けることができる。図３５Ａは、図３２の装飾３２００を伴うパラグラフ２８００を示す。編集ジェスチャ３５００が、示される表示される位置での単一ストロークでの左から右への水平線としての入力として検出される。編集ストローク３５００は、（全体の）語２８１０上、またはその上を（実質上）通るときに、ＨＷＲシステム１１４によって検出される。図２０Ｂの例と同様に、例えば語の上の、（認識された）テキスト２８００および装飾３２００に対する編集ストローク３５００のこの相対場所は、編集ジェスチャ３５００が、パラグラフ２８００から語２８１０を削除することがユーザによって意図されているという決定に至る。この認識結果が図３５Ｂに示されており、語２８１０が省略される。
【０１６６】
この編集操作は、以下のような下線３２０４の再レンダリングという結果となる。図３５Ａの語２８１０の下の下線部分３２０４ａが、（例えば、ＨＷＲシステム１１４のセグメンタによって）セグメント３５０２にセグメント化され、セグメント３５０２は、語２８０８だけに対して、かつその下に含まれる下線３２０４の美化後のデジタルインクを含む。すなわち、語２８０８の右端文字範囲からの下線３２０４の美化後のデジタルインクが省略される。理解できるように、パラグラフ２８００の他の部分は同じままである。これは、少なくとも上記で論じられた理由で、「生の」デジタルインクよりも単純な、美化後のデジタルインクについてのプロセスである。代替において、削除操作が、その代わりに新しい内容の挿入のためにユーザによって意図されたと考えられ、アンダーライニングを保持することになる場合、下線部分３２０４ａの全体を保持することができる。
【０１６７】
さらに、図３５Ｃは、図３５Ｂの修正後の装飾３２００を伴うパラグラフ２８００を示す。別の手書き内容の入力が、パラグラフ２８００の行２８０６上の（装飾された）語２８０８の右側への入力として検出され、ＨＷＲシステム１１４によって語「ａｎｄ／ｏｒ」として認識されているデジタルインク内容３５０４として表示される。新しい内容が、装飾された語２８０８と２８１２との間に配置されるものとして検出されるので、この編集操作は、以下のような下線３５０４の再レンダリングという結果となる。
【０１６８】
図３５Ｄに示されるように、図３５Ｃの語２８０８の下の下線３５０４が、新しい美化後のデジタルインク下線３５０６を形成するように、その右端範囲から、追加された内容３５０４の下の右端範囲まで延長される。理解できるように、パラグラフ２８００の他の部分は同じままである。これは、少なくとも上記で論じられた理由で、「生の」デジタルインクよりも単純な、美化後のデジタルインクについてのプロセスである。代替において、新しい内容の下の延長なしにアンダーライニングを保持することができ、それによって、ユーザの意図が、新しい内容に同様にアンダーラインを引くことであった場合、新しい装飾入力を行うことができ、その時点で、アプリケーション１１２は、新しいアンダーライニングを下線３５０４と結合し、新しい下線３５０６を形成する可能性が高い。
【０１６９】
前述の装飾例は、単一ストロークでの単一の行に伴う比較的単純な形態の装飾、すなわちアンダーライニングに関するものである。先に論じられたように、手書き内容を取り囲む、または手書き内容に近接する、円、楕円、ボックスなどの２次元装飾を含む、より複雑な形態の装飾が可能である。
【０１７０】
図３６は、図６Ａと同様の、それらの間のスペースによって画定されたいくつかの語「Ｂｒｅａｋ」３６０２、「ａ」３６０４、および「ｌｉｎｅ」３６０６と、語３６０６の後ろのピリオド３６０７の単一行パラグラフ３６００を示す。しかしながら、図６Ａとは異なり、手描きまたは手書き装飾３６０８が、語３６０２、３６０４、および３６０６の周りに位置するとＨＷＲシステム１１４によって検出され、ピリオド３６０７が、楕円として認識され、例えば「生の」デジタルインクでレンダリングされる。図３７Ａは、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出された編集ジェスチャ３７００を示す。編集ストローク３７００は、語３６０２と３６０４との間を通るときに、ＨＷＲシステム１１４によって検出される。図６の例と同様に、例えば語の間のスペース内の、（認識された）テキスト３６００に対する編集ストローク３７００のこの相対場所は、編集ジェスチャ３７００の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。
【０１７１】
これらの特徴を単独で考慮すると、編集ジェスチャ３７００は、検出された場所でパラグラフ３６００の単一の行を２つの行に改行または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が図３７Ｂに示されており、パラグラフ３６００がテキストの２つの行３６００ａおよび３６００ｂに分断されており、パラグラフ３６００の元の（第１の）線４１０上の語３６０２が行３６００ａとして、パラグラフ３６００の第１の線４１０の直下の次の（第２の）線４１０上の語３６０４および３６０６およびピリオド３６０７が、語３６０２と語３６０４との間のスペースを有する行３６００ｂとして示されている。理解できるように、パラグラフ３６００の特徴は、別の方法で保持される。図６に関連して上記で説明されたように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク３７００の垂直範囲などの追加の特徴の考慮を本システムおよび方法によってさらに使用し、そのような認識結果をさらに検証することができる。いずれのケースでも、単一の行が２つの行に分割されるので、装飾が（以前に取り囲まれた）内容のすべてを引き続き取り囲むように、関連する楕円３６０８の編集も必要となる。このことが図３７Ｂに示されており、楕円が、パラグラフ３６００の編集後または再表示後の内容を取り囲むように、新しい「生の」デジタルインク装飾３７０２にサイズ変更および／またはスケーリングされる。
【０１７２】
理解できるように、装飾３７０２の得られる表示は、元の装飾３６０８とは全く異なるので、ユーザにとって完全に満足ではないことがある。この例では、これは大きな問題ではないことがあるが、サイズ変更された装飾が満足に表示されないときに状況が生じることがあることを理解することができ、その例が後で説明される。先に論じられたように（例えば、特許文献３参照。）、得られるスケーリング後のデジタルインクが小さ過ぎ、もしくは大き過ぎ、または手書きの不完全性を強調しないように、装飾のサイズ変更またはスケーリングを構成することが可能である。
【０１７３】
図３８は、図３７Ｂの装飾３７０２を伴うパラグラフ３６００をタイプセットパラグラフ３８００にタイプセットした結果を示す。理解できるように、アプリケーション１１２は、デジタルインク楕円３７０２の、パラグラフ３６００の関連する内容３６０２乃至３６０７のタイプセットインクバージョンについてのボールドフォントへの変換を引き起こす。このようにして、装飾された（円で囲まれた）内容の適切な強調がタイプセット文書内に保持され、それによってユーザの意図を保持する。ボールドフォントのスタイリングは例に過ぎず、後で論じられるように、フォント変更または他のフォント化またはスタイリングを実現することができることを理解されたい。さらに、異なる装飾を使用して異なるスタイリングを適用することができる（後で論じられる）。アプリケーション１１２のＵＩを介して、入力装飾またはスタイル変更のそのようなタイプセッティングを設定可能にすることができる。
【０１７４】
図３９は、デジタルインク３９００として入力およびレンダリングされた追加の手書き内容を伴う図２８のパラグラフ２８００を示す。追加の内容３９００は、パラグラフ２８００の（第１の）行２８２４上の複数の語「ｄｏｃｕｍｅｎｔｓ」２８１８、「ｗｉｔｈ」２８２０、および「ｃｌｅａｎ」２８２２を取り囲むように書かれた楕円を含む。追加の内容３９００は、パラグラフ２８００の認識されたテキストに関して、内容が非テキスト要素、例えば楕円であるという認識を通じて、ＨＷＲシステム１１４によって内容として扱うことができる。しかしながら、上記で論じられたように、本システムおよび方法は、内容のタイプセット（または美化後の）バージョン内の装飾されない内容のスタイリングとは異なるものであるべき装飾された内容のスタイリングなど、そのような「内容」を編集のための別のジェスチャと見なすための機構を提供する。
【０１７５】
図４０Ａは、図３９の装飾３９００を伴うパラグラフ２８００を示す。編集ジェスチャ４０００は、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出される。編集ストローク４０００は、語２８２０と２８２２との間を通るときに、ＨＷＲシステム１１４によって検出される。図３１の例と同様に、例えば語の間のスペース内の、（認識された）テキスト２８００および装飾３９００に対する編集ストローク４０００のこの相対場所は、編集ジェスチャ４０００が、検出された場所でパラグラフ２８００の第１の行２８２４を２つの行に改行または分割することがユーザによって意図されているという決定に至る。この認識結果が図４０Ｂに示されており、語２８２２が（第２の）行２８２６に移動され、したがって第２の行２８２６上の内容が後続の線４１０に移動される。このようにして、行２８２６上の移動された語２８２２の後ろに改行が与えられる。あるいは、図４０Ｃに示されるような認識結果を実施することができ、語２８２２が第２の行２８２６上に移動され、したがって第２の行２８２６上の内容がリフローされる。どちらのケースでも、語２８１８、２８２０、および２８２２は楕円３９００に関連付けられるので、装飾が（以前に取り囲まれた）内容のすべてを引き続き取り囲むように、装飾３９００の編集も必要とされる。これも図４０Ｂおよび４０Ｃに示されており、楕円が複製され、パラグラフ２８００の語２８１８および２８２０を取り囲むように、新しい「生の」デジタルインク装飾３９０２にサイズ変更および／またはスケーリングされ、パラグラフ２８００の語２８２２を取り囲むように、新しい「生の」デジタルインク装飾３９０４にサイズ変更および／またはスケーリングされる。
【０１７６】
理解できるように、（分割された）装飾３９０２および３９０４の得られる表示は、例えば、円で囲まれた内容のすべてが後続のスタイリングについて同じに扱われるべきかが明白ではないことなど、元の装飾３９００とは全く異なるので、ユーザにとって完全に満足ではないことがある。したがって、前述の１次元装飾、例えば下線の場合と同じく、２次元装飾も、デジタルインクの極値および平均特徴を決定し、ＨＷＲシステム１１４の前処理１１６と同様の平滑化および正規化を適用するアプリケーション１１２および／またはＨＷＲシステム１１４によって美化することができる。
【０１７７】
図４１は、図３６の単一行パラグラフ３６００を示す。しかしながら、図３６とは異なり、手描きまたは手書き装飾３６０８の美化後のデジタルインクバージョンが、アプリケーション１１２および／またはＨＷＲシステム１１４によって、語３６０２、３６０４、および３６０６、ならびにピリオド３６０７の周りに位置する、「近い」タイプセット楕円４１００にレンダリングされる。図４２Ａは、示される表示される位置での単一ストロークでの上から下への垂直線としての入力として検出された編集ジェスチャ４２００を示す。編集ストローク４２００は、語３６０２と３６０４との間を通るときに、ＨＷＲシステム１１４によって検出される。図３７Ａの例と同様に、例えば語の間のスペース内の、（認識された）テキスト３６００に対する編集ストローク４２００のこの相対場所は、編集ジェスチャ４２００の前述の特徴のうちの１つを与えるのに対して、上から下への筆記方向は別の特徴を与える。
【０１７８】
これらの特徴を単独で考慮すると、編集ジェスチャ４２００は、検出された場所でパラグラフ３６００の単一の行を２つの行に改行または分割することがユーザによって意図されているという決定に至ることがある。この認識結果が図４２Ｂに示されており、パラグラフ３６００がテキストの２つの行３６００ａおよび３６００ｂに分断されており、パラグラフ３６００の元の（第１の）線４１０上の語３６０２が行３６００ａとして、パラグラフ３６００の第１の線４１０の直下の次の（第２の）線４１０上の語３６０４および３６０６およびピリオド３６０７が、語３６０２と語３６０４との間のスペースを有する行３６００ｂとして示されている。理解できるように、パラグラフ３６００の特徴は、別の方法で保持される。図３７に関連して上記で説明されたように、ページ４００の入力環境および／または近接オブジェクトの組合せ特徴と比較した、編集ストローク４２００の垂直範囲などの追加の特徴の考慮を本システムおよび方法によってさらに使用し、そのような認識結果をさらに検証することができる。いずれのケースでも、単一の行が２つの行に分割されるので、装飾が（以前に取り囲まれた）内容のすべてを引き続き取り囲むように、関連する楕円４１００の編集も必要となる。このことが図４２Ｂに示されており、楕円が、パラグラフ３６００の編集後または再表示後の内容を取り囲むように、新しい美化後の装飾４２０２にサイズ変更および／またはスケーリングされる。理解できるように、美化後の装飾４２０２は内容だけを取り囲むようにサイズ変更されないが、元のサイズを保持する。しかしながら、これが行われる必要はなく、サイズ変更を行うことができる。しかしながら、例えば、分割操作についてのユーザの意図が考慮される場合、非サイズ変更は、装飾された部分への別の入力の後続の包含を助けることができる。
【０１７９】
そのような美化後の２次元装飾は、編集操作時の、内容の目立つ再表示を助けることができる。例えば、図４３は図３９の内容を示すが、デジタルインク楕円３９００が、パラグラフ２８００の第１の行２８２４上の語２８１８、２８２０、および２８２２を取り囲む美化後のデジタルインク楕円４３００としてレンダリングされる。図４４は、図４０Ｂの認識結果を示すが、複製され、サイズ変更され、かつ／またはスケーリングされた「生の」デジタルインク装飾３９０２および３９０４が、パラグラフ２８００の第１の行２８２４および第２の行２８２６上の語２８１８、２８２０、および２８２２を取り囲む美化後のデジタルインク楕円４４００としてレンダリングされる。このようにして、行２８２６上の移動された語２８２２と、「延長された」美化後のデジタルインク装飾４４００の後ろに与えられた改行は、例えば、円で囲まれた内容のすべてが後続のスタイリングについて同じに扱われるべきであるという明確さを保持する。
【０１８０】
美化後の装飾に対する類似の編集操作を実施して、装飾のサイズを延長するのではなく、縮小することができる。例えば、図４５Ａは、美化後の装飾４５０２によって取り囲まれる複数行パラグラフ４５００を示し、それについて、検出された編集ジェスチャ４５０６によって語４５０４が削除される。削除の認識結果が図４５Ｂに示されており、語４５０４が省略され、したがってパラグラフ４５００が単一行パラグラフとなるように、下流側内容がリフローされ、今や単一行のパラグラフ４５００の内容だけを取り囲むように、美化後の装飾４５０２のサイズが縮小される。
【０１８１】
図４６は、図４の例示的入力の例示的装飾を示す。図４６では、別の入力手書きが検出され、「生の」デジタルインク楕円４６００によって取り囲まれる見出し４１２と、「生の」デジタルインク下線４６０２によってアンダーラインが引かれた見出し４１４と、「生の」デジタルインク下線４６０４によってアンダーラインが引かれたパラグラフ４１６の語４５２および４５４と、「生の」デジタルインク下線４６０６によってアンダーラインが引かれた見出し４１８の表示が得られる。図４７は、美化後のデジタルインクとしてレンダリングされた図４６の例示的装飾を示す。すなわち、図４７において、「生の」デジタルインク楕円４６００は、美化後のデジタルインク楕円４７００としてレンダリングされ、「生の」デジタルインク下線４６０２は、美化後のデジタルインク下線４７０２としてレンダリングされ、「生の」デジタルインク下線４６０４は、美化後のデジタルインク下線４７０４としてレンダリングされ、「生の」デジタルインク下線４６０６は、美化後のデジタルインク下線４７０６としてレンダリングされ、美化後の形態は、美化されていない形態と実質上同じ範囲を有する。
【０１８２】
先に論じられたように、そのような装飾が、アプリケーションおよび／またはＨＷＲシステム１１４によって、デジタルインク内容がタイプセットインクに変換されるときの、一定のスタイリング変化を示すと見なすことができる。このスタイリングアプリケーションは、変換前の生のデジタルインクまたは美化後のデジタルインクの表示に関わりなく実施される。図４８は、タイプセッティング後の図４６および４７の内容を示す。例えば、デバイス１００のページ４００および／またはインターフェース表面１０４の指定の場所または任意の場所での、シングルポイントまたはマルチポイントジェスチャなどのジェスチャ、例えばタップまたはダブルタップの検出に応答して、これを実施することができる。理解できるように、ページ４００の異なる内容エリア内の異なる装飾に応答して、タイプセットされるスタイルは、異なるレベルの内容について異なる。例えば、円の装飾に応答して、見出し４１２が、文書またはセクション見出しを与えるために、（内容の他のセクションと比較して）大きい、ボールドフォントでレンダリングされ、分離された単一行パラグラフについての下線装飾に応答して、見出し４１４および４１８が、見出し４１４および４１８によって表される、セクションまたはサブセクション見出しを与えるために、（セクション見出し４１２と比較して）小さいが（内容の他のセクションと比較して）大きい、イタリックフォントでレンダリングされ、本文パラグラフ内容についての下線装飾に応答して、パラグラフ４１６のアンダーラインが引かれた内容４５２および４５４が、ボールドフォントでレンダリングされる。これらの適用されるスタイルは例に過ぎず、別の階層型の見出しスタイル、テキストおよび／または背景のカラーリングなどの他のスタイリングタイプが可能である。
【０１８３】
異なるスタイリングなどの異なるタイプセッティング結果について異なる装飾タイプを与えることができ、かつ本システムおよび方法は、内容の手書き入力およびジェスチャを使用して、内容と可能な限り多くの対話を実現することを対象とするので、別の手書き入力を通じて装飾自体を変更または編集する能力を提供することができる。例えば、装飾を異なる装飾で上書きし、または付加することは、元の装飾を変更し、例えば、パラグラフにヘッダ３スタイルを適用するための下線装飾が、第２の下線に付加され、ヘッダ２スタイルを適用するための２重下線装飾が作成される。例えば、装飾を異なる装飾で上書きし、または付加することは、すべての装飾を取り消し、例えば、左から右への下線が装飾を与え、右から左への下線で上書きすることが、「バックスペース」のように装飾を取り消す。例えば、装飾を編集ジェスチャで上書きし、または付加することは、装飾を変更または削除する。例えば、装飾の上の（実質上の、または部分的な）スクラッチアウトは装飾を除去するが、それに関連する内容は除去しない。
【０１８４】
本システムおよび方法は、講義、会合、およびブレインストーミングセッションなどの間に、学生、学術専門家、職業人などのユーザが、そのコンピューティングデバイス上で、ワード処理された文書に類似の、意味のある、共有可能なフォーマットで手書きノートを取ることを可能にするアプリケーションを提供する。筆記が線（罫線）に対して行われ、向き（すなわち、ポートレイトまたはランドスケープ）およびデバイス表示能力に応答して、パラグラフおよび他のレイアウト要素が尊重されるので、本システムおよび方法は、自然な筆記を入力することをさらに可能にする。内容を編集すること、ノートのレイアウトを操作すること、ノートを文書に変換または追加することなどの、ノート内で作成された、手書きまたはタイプセットテキスト、または非テキスト内容とのさらなる対話を、別々の文書処理アプリケーションにノートをインポートする必要なしに、アプリケーション自体の中で直接的に実施することができる。したがって、手書きノートの元のレイアウトが維持され、実際の入力手書き自体、デジタルインクも同様である。したがって、注釈、装飾、特殊レイアウトなどが、取られたノートの容易な理解のために維持される。
【０１８５】
最良の形態および／または他の例と考えられるものを上記で説明したが、様々な修正をその中で行うことができ、本明細書で開示される主題を様々な形態および例で実装することができ、多数の他の応用例、組合せ、および環境でそれらを適用することができ、そのうちの一部だけが本明細書で説明されたことを理解されたい。主題の真の精神および範囲から逸脱することなく、開示される態様を変更または補正できることを当業者は理解されよう。したがって、主題は、この説明での特定の詳細、展示、および図示される例に限定されない。本明細書で開示される有利な概念の真の範囲内に包含される、あらゆる修正および変更が保護されるものとする。
【図１】
2019507915.tif 000009
【図２】
2019507915.tif 000010
【図３】
2019507915.tif 000011
【図４】
2019507915.tif 000012
【図５Ａ】
2019507915.tif 000013
【図５Ｂ】
2019507915.tif 000014
【図６Ａ】
2019507915.tif 000015
【図６Ｂ】
2019507915.tif 000016
【図７Ａ】
2019507915.tif 000017
【図７Ｂ】
2019507915.tif 000018
【図８Ａ】
2019507915.tif 000019
【図８Ｂ】
2019507915.tif 000020
【図８Ｃ】
2019507915.tif 000021
【図９Ａ】
2019507915.tif 000022
【図９Ｂ】
2019507915.tif 000023
【図１０Ａ】
2019507915.tif 000024
【図１０Ｂ】
2019507915.tif 000025
【図１０Ｃ】
2019507915.tif 000026
【図１０Ｄ】
2019507915.tif 000027
【図１１Ａ】
2019507915.tif 000028
【図１１Ｂ】
2019507915.tif 000029
【図１２Ａ】
2019507915.tif 000030
【図１２Ｂ】
2019507915.tif 000031
【図１２Ｃ】
2019507915.tif 000032
【図１３Ａ】
2019507915.tif 000033
【図１３Ｂ】
2019507915.tif 000034
【図１３Ｃ】
2019507915.tif 000035
【図１３Ｄ】
2019507915.tif 000036
【図１３Ｅ】
2019507915.tif 000037
【図１４】
2019507915.tif 000038
【図１５Ａ】
2019507915.tif 000039
【図１５Ｂ】
2019507915.tif 000040
【図１５Ｃ】
2019507915.tif 000041
【図１６Ａ】
2019507915.tif 000042
【図１６Ｂ】
2019507915.tif 000043
【図１７Ａ】
2019507915.tif 000044
【図１７Ｂ】
2019507915.tif 000045
【図１７Ｃ】
2019507915.tif 000046
【図１７Ｄ】
2019507915.tif 000047
【図１８Ａ】
2019507915.tif 000048
【図１８Ｂ】
2019507915.tif 000049
【図１８Ｃ】
2019507915.tif 000050
【図１８Ｄ】
2019507915.tif 000051
【図１９Ａ】
2019507915.tif 000052
【図１９Ｂ】
2019507915.tif 000053
【図１９Ｃ】
2019507915.tif 000054
【図２０Ａ】
2019507915.tif 000055
【図２０Ｂ】
2019507915.tif 000056
【図２０Ｃ】
2019507915.tif 000057
【図２１Ａ】
2019507915.tif 000058
【図２１Ｂ】
2019507915.tif 000059
【図２１Ｃ】
2019507915.tif 000060
【図２２Ａ】
2019507915.tif 000061
【図２２Ｂ】
2019507915.tif 000062
【図２２Ｃ】
2019507915.tif 000063
【図２３Ａ】
2019507915.tif 000064
【図２３Ｂ】
2019507915.tif 000065
【図２４Ａ】
2019507915.tif 000066
【図２４Ｂ】
2019507915.tif 000067
【図２４Ｃ】
2019507915.tif 000068
【図２５Ａ】
2019507915.tif 000069
【図２５Ｂ】
2019507915.tif 000070
【図２５Ｃ】
2019507915.tif 000071
【図２６Ａ】
2019507915.tif 000072
【図２６Ｂ】
2019507915.tif 000073
【図２７Ａ】
2019507915.tif 000074
【図２７Ｂ】
2019507915.tif 000075
【図２８】
2019507915.tif 000076
【図２９】
2019507915.tif 000077
【図３０】
2019507915.tif 000078
【図３１Ａ】
2019507915.tif 000079
【図３１Ｂ】
2019507915.tif 000080
【図３２】
2019507915.tif 000081
【図３３Ａ】
2019507915.tif 000082
【図３３Ｂ】
2019507915.tif 000083
【図３４】
2019507915.tif 000084
【図３５Ａ】
2019507915.tif 000085
【図３５Ｂ】
2019507915.tif 000086
【図３５Ｃ】
2019507915.tif 000087
【図３５Ｄ】
2019507915.tif 000088
【図３６】
2019507915.tif 000089
【図３７Ａ】
2019507915.tif 000090
【図３７Ｂ】
2019507915.tif 000091
【図３８】
2019507915.tif 000092
【図３９】
2019507915.tif 000093
【図４０Ａ】
2019507915.tif 000094
【図４０Ｂ】
2019507915.tif 000095
【図４０Ｃ】
2019507915.tif 000096
【図４１】
2019507915.tif 000097
【図４２Ａ】
2019507915.tif 000098
【図４２Ｂ】
2019507915.tif 000099
【図４３】
2019507915.tif 000100
【図４４】
2019507915.tif 000101
【図４５Ａ】
2019507915.tif 000102
【図４５Ｂ】
2019507915.tif 000103
【図４６】
2019507915.tif 000104
【図４７】
2019507915.tif 000105
【図４８】
2019507915.tif 000106
【国際調査報告】
2019507915.tif 000107
2019507915.tif 000108
2019507915.tif 000109