(57)【要約】コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするためのシステムが提供され、コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体と、を備え、少なくとも１つの非一時的コンピュータ可読媒体は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示させること、図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って図要素のうちの他の１つ又は複数に関連付けること、及び受け取られたデジタルインクとの１つ又は複数のインタラクションに基づいて、及び１つ又は複数の関連付けに従って、図要素を表示変更させることを行うように構成される。
2018536927.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするためのシステムであって、
前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体と、を備え、前記少なくとも１つの非一時的コンピュータ可読媒体は、
前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示させること、
前記図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って前記図要素のうちの他の１つ又は複数に関連付けること、及び
受け取られた前記デジタルインクとの１つ又は複数のインタラクションに基づいて、及び前記１つ又は複数の関連付けに従って、前記図要素を表示変更させること
を行うように構成されるシステム。
【請求項２】
前記少なくとも１つの非一時的コンピュータ可読媒体は、前記手描きされた入力のストロークを分類することによって各図要素の前記クラスを識別するように構成される請求項１に記載のシステム。
【請求項３】
前記ストロークは、前記入力の空間情報及び時間情報に基づいてグループ化される請求項２に記載のシステム。
【請求項４】
前記ストロークは、ストロークの前記グループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類される請求項２又は３に記載のシステム。
【請求項５】
前記識別されるタイプは、テキストと、非テキストと、を含む請求項１乃至４のいずれか一項に記載のシステム。
【請求項６】
前記少なくとも１つの非一時的コンピュータ可読媒体は、前記分類されたストロークの前記図要素の認識のために手書き認識システムへ前記分類されたストロークをパースするように構成される請求項１乃至５のいずれか一項に記載のシステム。
【請求項７】
前記少なくとも１つの非一時的コンピュータ可読媒体は、各図要素の前記タイプを、前記認識された図要素、及び前記図要素の間の位置関係に基づいて識別するように構成される請求項６に記載のシステム。
【請求項８】
コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法であって、
前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体と、を備え、前記方法は、
前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示するステップと、
前記図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って前記図要素のうちの他の１つ又は複数に関連付けるステップと、
受け取られた前記デジタルインクとの１つ又は複数のインタラクションに基づいて、及び前記１つ又は複数の関連付けに従って、前記図要素を表示変更するステップと
を含む方法。
【請求項９】
前記手描きされた入力のストロークを分類することによって各図要素の前記クラスを識別するステップを含む請求項８に記載の方法。
【請求項１０】
前記ストロークは、前記入力の空間情報及び時間情報に基づいてグループ化される請求項９に記載の方法。
【請求項１１】
前記ストロークは、ストロークの前記グループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類される請求項９又は１０に記載の方法。
【請求項１２】
前記識別されるタイプは、テキストと、非テキストと、を含む請求項８乃至１１のいずれか一項に記載の方法。
【請求項１３】
前記分類されたストロークの前記図要素の認識のために手書き認識システムへ前記分類されたストロークをパースするステップを含む請求項８乃至１２のいずれか一項に記載の方法。
【請求項１４】
各図要素の前記タイプを、前記認識された図要素、及び前記図要素の間の位置関係に基づいて識別するステップを含む請求項１３に記載の方法。
【請求項１５】
コンピュータ可読プログラムコードが具現化されている非一時的コンピュータ可読媒体であって、
前記コンピュータ可読プログラムコードは、コンピューティングデバイス上でテキスト要素と、非テキスト要素と、を含む図を手描きするための方法を実装するように実行されるように適応され、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体と、を備え、前記方法は、
前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示するステップと、
前記図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って前記図要素のうちの他の１つ又は複数に関連付けるステップと、
受け取られた前記デジタルインクとの１つ又は複数のインタラクションに基づいて、及び前記１つ又は複数の関連付けに従って、前記図要素を表示変更するステップと
を含む非一時的コンピュータ可読媒体。
【請求項１６】
前記方法は、前記手描きされた入力のストロークを分類することによって各図要素の前記クラスを識別するステップを含む請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項１７】
前記ストロークは、前記入力の空間情報及び時間情報に基づいてグループ化される請求項１６に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記ストロークは、ストロークの前記グループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類される請求項１６又は１７に記載の非一時的コンピュータ可読媒体。
【請求項１９】
前記識別されるタイプは、テキストと、非テキストと、を含む請求項１５乃至１８のいずれか一項に記載の非一時的コンピュータ可読媒体。
【請求項２０】
前記方法は、前記分類されたストロークの前記図要素の認識のために手書き認識システムへ前記分類されたストロークをパースするステップを含む請求項１５乃至１９のいずれか一項に記載の非一時的コンピュータ可読媒体。
【請求項２１】
前記方法は、各図要素の前記タイプを、前記認識された図要素、及び前記図要素の間の位置関係に基づいて識別するステップを含む請求項２０に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、様々なグラフィックス及びテキストのユーザ入力された手書きを認識することができるコンピューティングデバイスインターフェースの分野に関する。特に、本開示は、デジタル図ドキュメントを生成する入力された手書きされた図要素の検出及び認識のためのシステム及び方法を提供する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、参照により内容の全体が本明細書に組み込まれている、２０１５年１０月１９日に出願した欧州特許出願第１５２９０２７１．４号明細書、及び欧州特許出願第１５２９０２７１．４号明細書の優先権を主張する、２０１５年１２月１日に出願した米国特許出願第１４／９５５，１５５号明細書の優先権を主張する。
【０００３】
コンピューティングデバイスは、日常生活により遍在するようになり続けている。それらは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、ハイブリッドコンピュータ（２−ｉｎ−１）、電子書籍リーダ、モバイル電話、スマートフォン、ウェアラブルコンピュータ（スマートウォッチ、スマートグラス／ヘッドセットを含む）、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどの形態をとる。更に、コンピューティングデバイスは、自動車、トラック、農場設備、製造設備、建造物環境制御（例えば、照明、ＨＶＡＣ）、並びに家庭用器具及び商用器具などの車両及び設備に組み込まれている。
【０００４】
コンピューティングデバイスは、一般に、中央処理装置（ＣＰＵ）、何らかの形態のメモリ、並びに入力デバイス及び出力デバイスなどの少なくとも１つの処理要素から成る。様々なコンピューティングデバイス及びそれらのその後の使用は、様々なインターフェース及び入力デバイスを必要とする。１つのそのような入力デバイスは、ユーザ入力がユーザの指又はペン若しくはスタイラスなどの用具とタッチセンシティブ表面との間の接触を通じて受け取られる、タッチスクリーン又はタッチパッドなどのタッチセンシティブ表面である。別の入力デバイスは、ユーザによって入力表面の上方で行われるジェスチャを感知する入力表面である。更なる入力デバイスは、非タッチ物理表面又は非タッチ仮想表面とのタッチインタラクション又は非タッチインタラクションの相対位置を検出する位置検出システムである。入力のこれらの方法のいずれも、図面及びテキストの手書きされた入力、又は手描きされた入力に対して一般に使用されることが可能であり、その入力が、手書き認識システム又は手書き認識方法を使用して解釈される。
【０００５】
コンピューティングデバイスにおける手書き認識の１つのアプリケーションは、活字組みのバージョンに変換されるべきコンピューティングデバイス上の手描きされた図の作成にある。図は、（部品などの）配置及び関係を説明する、又は示す図面である。図は、一般に、任意の又は特定の意味を有する形状と、これらの形状と関係があるテキストとを有する。フローチャート、組織チャート、概念マップ、スパイダマップ、ブロック／アーキテクチャ図、マインドマップ、ブロック図、ベン図、及びピラミッドなどの多くのタイプの図が存在する。可能な図のいくつかの活字組みの例及び手書きされた例を描いたものが、図１乃至図６に例示される。
【０００６】
図１Ａ及び図１Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線の矢印、曲線の矢印）のコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例の概念マップ１０を示す。更に、図１Ｂにおいて、コンテナ１２は、テキスト１６を包含する。一般に、概念マップにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義される概念的に関係付けられた、又は依存する要素又はテーマを定義する。ブロックの間の関係は、コネクタ上のラベルを使用して正確にされてよい。ブロック自体は、概念マップに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタによって接続されてよい。
【０００７】
図２Ａ及び図２Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線、曲線）のコネクタ１４と、マインドマップの或る特徴又は状態に至るパス１８とを定義する、形状を様々に有する活字組みの例及び手書きされた例のマインドマップ２０を示す。更に、図２Ｂにおいて、コンテナ１２及びパス１８は、関連付けられたテキスト１６を有する。一般に、マインドマップにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義される中心要素若しくは中心テーマからの可能な代替の状態又は結び付けられたアイディアを定義し、パスは、それらのパス上のテキストによって定義されるそれぞれの代替の状態の重要な特徴を定義する。ブロック自体は、マインドマップに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタ及びパスによって接続されてよい。
【０００８】
図３Ａ及び図３Ｂは、それぞれ、異なるタイプ（例えば、楕円形、矩形、ダイヤモンド）の図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線の矢印、曲げられた矢印、分岐したライン）のコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例のフローチャート若しくはフローダイアグラム３０を示す。更に、図３Ｂにおいて、コンテナ１２は、テキスト１６を包含し、テキストは、コネクタに関連付けられてもよい。一般に、フローチャートにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義された手順的に関係付けられた、又は依存する要素又はステップを定義する。ブロック自体は、フローチャートに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタによって接続されてよい。
【０００９】
図４Ａ及び図４Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線の矢印、曲げられたライン、分岐したライン）のコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例の組織チャート若しくはツリーダイアグラム４０を示す。更に、図４Ｂにおいて、コンテナ１２は、テキスト１６を包含する。一般に、組織チャートにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義される組織若しくはグループのメンバ若しくは機能の階層関係を定義する。ブロック自体は、組織チャートに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタによって接続されてよい。
【００１０】
図５Ａ及び図５Ｂは、それぞれ、ネスト化された関係（例えば、他のコンテナ１２内のコンテナ１２）を有する図ブロック若しくはコンテナ１２と、ネスト化されたブロックの間を含む図ブロック１２の間の関係を接続する、又は指定するコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例のブロック／アーキテクチャ図面５０を示す。更に、図５Ｂにおいて、コンテナ１２及びコネクタは、関連付けられたテキスト１６を有する。一般に、アーキテクチャ図面において、ネスト化されたブロックは、デバイス構成要素若しくはプロセス構成要素の配置若しくは所有を定義し、ブロックの間の接続は、それらのブロックにおけるテキストによって定義されるブロックの間の機能関係を定義する。
【００１１】
図６Ａ及び図６Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定するコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例のスパイダマップ６０を示す。更に、図６Ｂにおいて、コンテナ１２及びコネクタは、関連付けられたテキスト１６を有する。一般に、スパイダマップにおいて、ブロックの間の接続、及び／又はテキストは、テキストによって定義される中心要素若しくは中心テーマからの依存関係若しくは依存状態を定義する。
【００１２】
図１乃至図６に例示される図は、例に過ぎず、各図タイプに関して描かれたもの以外の他の、若しくは異なる要素、又は描かれた要素自体の異なるタイプ若しくは形態が、更に、又は代替において図に存在してよい。更に、これらの図タイプの他の定義、並びにこれらの図タイプの組合せが可能である。図における形状の基本構成要素（コンテナを伴う、又は伴わない接続）及びテキストを組み合わせることのこれらの無数の可能なバリエーションが、コンピューティングデバイスに手描きされた、又は手書きされたコンテンツとして入力されたこれらの要素の正確な認識に関して問題を生じさせる可能性がある。図は、コンピューティングデバイスのユーザが、例えば、講義中又は会議中に、検討されている概念、問題、又はソリューションを捉える図を作成する教育及びビジネスの場において特に使用される。図の別の頻繁な使用が、プレゼンテーション又は参照ドキュメントの作成である。入力は、ユーザが、デバイスにおいてローカルで、又はデバイスの通信リンクを介して遠隔で、タッチセンシティブ表面上、又は相対位置検出システムによって監視される表面上で手描きされた入力を受け取り、解釈するコンピューティングデバイス上の手書きされた図アプリケーション若しくは手書きされたスケッチアプリケーションを起動することによって達成され得る。
【００１３】
従来のそのような手書き作図アプリケーションは、作図の前述の複雑さを扱うそれらの能力において限定され、通常、ユーザの元の意図を反映しない振舞いを採用するように、又はそのような妥協を受け入れるようにユーザを制約する。その結果、いくつかの従来の手書き作図アプリケーションは、選択すべきメニューを移動し、形状を描き、形状と関係してテキストを挿入するようにユーザを強制する。このため、ユーザは、形状及びコネクタを自然に、又は自由に描くことができない。いくつかの他の従来の手書き作図アプリケーションは、ユーザが異なるストロークを描く順序に依拠して、それにより、予期される振舞いがたどられるにつれ、認識の解釈を導く。例えば、ユーザは、２つのブロック／ボックスを、それらのボックスの間のコネクタを定義することができるようになる前に先ず描く必要があり得る、又はボックスを、それにテキストを追加する前に描かなければならないことがあり得る。このことは、しかし、アプリケーションがしばしば使用されるわけではなく、非直観的で、図を迅速にキャプチャする能力がサポートされないようになっている場合、再学習される必要があり得る、要求される描き／書込み順序をユーザが学習して、実施する必要があるので、ユーザには困難である。例えば、ユーザが、タブレットなどのポータブルコンピューティングデバイスを用いて、移動中にプレゼンテーションを準備することを所望することがあり、又はユーザが、彼らの教師が授業中に描いたフローチャートをタッチスクリーンを有するラップトップなどのコンピューティングデバイス上に書き留めることを所望することがあり、そのようなユーザは、専用の面倒なソフトウェアの専門家であることなしに、混合したコンテンツを有する明確な図を描くことができる必要がある。
【００１４】
手書き作図アプリケーションをよりスマートにすることは、ユーザをサポートすることに役立つ。すなわち、アプリケーションは、ブロックとコネクタとの間、及び形状とテキストとの間などの、異なる形状の間で区別することができて、それにより、図を作成するとき、ユーザにより多くの自由を提供し得る。例えば、語グループ化、書込み／描き分類、及び描きグループ化を実行するインクパーサ（ｐａｒｓｅｒ）を使用することによって入力されたインクにおいて図面から書込みを見分けることについて説明する（例えば、特許文献１参照）。語グループ化は、ストロークを語、ライン、及びブロックの階層にグループ化することによって実行されるものとして説明される。しかし、この特許において説明されるとおり、そのような分類中にストロークを語にグループ化するこのことは、語グループが非テキストストロークを含むことにつながり、このことは、例えば、語グループがテキストレコグナイザに送られるとき、誤ったテキスト認識をもたらす。語グループ化の後、この特許は、書込み／描き分類が実行されることを説明する。このプロセスは、語コンテキスト特徴、空間コンテキスト特徴、及び時間コンテキストの考慮を含むものとして説明されるが、これらの特徴は、分類のためにファジイ関数にマップされ、このことは、誤った分類につながり得る、ストロークがテキストに属するか、図面に属するかに関する絶対的決定がこの時点で行われることを意味する。分類の後、この特許は、図面グループ化がチャート検出器によって実行されて、図面ストロークを、空間関係に基づいて独立したオブジェクトにグループ化することを説明する。しかし、このグループ化の正確さは、分類結果によって影響され、したがって、誤ったオブジェクトが形成され得る。
【００１５】
手描きされた形状及び手書きされたテキストが、ユーザに妥当な創造的自由が提供されて、よく認識される従来のアプリケーションにおいてさえ、通常、要素を追加すること、省くこと、又は置き換えること、進化する概念に図を適応させること、図のタイプを変換すること、その他を行う図の要素を編集するように、描かれた図を変更する能力は、特に、例えば、接続されたコンテナなどの認識された関係を保持する間、図要素の相対位置の操作に関して、或るオペレーションだけが利用可能であり、かつ図の活字組みのバージョン上でだけ利用可能であり、手書きされた入力、いわゆるデジタルインク上では利用可能でない場合、前述したとおり、限定され、かつ／又はジェスチャが学習されること、又は選択がメニューを介して行われることを要求する。例えば、或る編集オペレーションがデジタルインク上で直接に実行されることを許す推測モードプロトコルについて説明する（例えば、特許文献２参照）。しかし、説明されるオペレーションは、非常に限定される。更に、認識された関係を保持しながら、デジタルインクにおいて図要素の相対位置を操作する能力のためのソリューションは、まったく提供されない。
【００１６】
サイズ変更オペレーション及び位置付け変更オペレーションに関してデジタルインク上の相対操作について説明する（例えば、特許文献３参照）。しかし、これらのオペレーションにおいて、デジタルインクは、操作により拡大縮小されるに過ぎず、このため、ユーザは、デジタルインクをそれの元の描かれた寸法に戻す更なるインタラクションを実行することを要求され、例えば、コンテナを、それの接続されたコンテナから離れるように移動させることは、コネクタがｘ寸法とｙ寸法の両方において伸びることをもたらし、又はコネクタは、コネクタが異なる形態（例えば、直線形態から曲げられた形態）にサイズ変更される、若しくは変更されるときに、コネクタのデジタルインクを近似するバックボーン（水平ラインと垂直ライン）を再計算することによって「リフロー（ｒｅｆｌｏｗ）」される。このことは、デジタルインクの再生成を要求し、これは、高い曲率点（ｃｕｓｐ）におけるセグメント化を通じたコネクタインクの正規化を通じて行われ得る（特許文献４参照）。したがって、もたらされる操作されたデジタルインクは、元の描かれたインクとは極めて異なって、ユーザによる介入を要求することがあり得る。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】米国特許第７，３５２，９０２号明細書
【特許文献２】米国特許第８，０１４，６０７号明細書
【特許文献３】米国特許第７，３９４，９３５号明細書
【特許文献４】米国特許第７，３２４，６９１号明細書
【発明の概要】
【００１８】
本明細書の後段で説明される本開示の例は、コンピューティングデバイスに対する手書き入力を用いた図作成において使用するためのシステム、方法、及びコンピュータプログラム製品を提供する。コンピュータプログラム製品は、方法を実装するように実行されるように適応されたコンピュータ可読プログラムコードがそこに具現化されている非一時的コンピュータ可読媒体を有する。
【００１９】
コンピューティングデバイスは、入力表面の形態で入力デバイスに接続される。ユーザは、彼若しくは彼女の指を使用して、又はスタイラス若しくはペンなどの用具を使用して入力表面に圧力を加えること、又は入力表面の上方でジェスチャすることによって入力を提供することができる。本システム及び本方法は、入力ストロークを監視する。
【００２０】
コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を検出するため、及び認識するための少なくとも１つのアプリケーションとを有する。少なくとも１つのシステムアプリケーションは、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示させること、図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って図要素のうちの他の１つ又は複数に関連付けること、及び受け取られたデジタルインクとの１つ又は複数のインタラクションに基づいて、及び１つ又は複数の関連付けに従って、図要素を表示変更させることを行うように構成される。
【００２１】
開示されるシステム及び方法の別の態様は、手描きされた入力のストロークを分類することによって各図要素のクラスの識別を提供する。ストロークは、入力の空間情報及び時間情報に基づいてグループ化されてよく、ストロークは、ストロークのグループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類されてよい。識別されるタイプは、テキストと、非テキストとを含む。
【００２２】
開示されるシステム及び方法の別の態様は、分類されたストロークの図要素の認識のために手書き認識システムへ分類されたストロークをパースすることを提供する。
【００２３】
開示されるシステム及び方法の別の態様は、各図要素のタイプを、認識された図要素、及び図要素の間の位置関係に基づいて識別することを提供する。
【００２４】
いくつかの実装形態において、本開示は、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするためのシステムを提供する。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。少なくとも１つの非一時的コンピュータ可読媒体は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示させること、図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って図要素のうちの他の１つ又は複数に関連付けること、及び受け取られたデジタルインクとの１つ又は複数のインタラクションに基づいて、及び１つ又は複数の関連付けに従って、図要素を表示変更させることを行うように構成される。
【００２５】
少なくとも１つの非一時的コンピュータ可読媒体は、手描きされた入力のストロークを分類することによって各図要素のクラスを識別するように構成され得る。
【００２６】
ストロークは、入力の空間情報及び時間情報に基づいてグループ化され得る。
【００２７】
ストロークは、ストロークのグループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類されてよい。
【００２８】
識別されるタイプは、テキストと、非テキストとを含み得る。
【００２９】
少なくとも１つの非一時的コンピュータ可読媒体は、分類されたストロークの図要素の認識のために手書き認識システムへ分類されたストロークをパースするように構成され得る。
【００３０】
少なくとも１つの非一時的コンピュータ可読媒体は、各図要素のタイプを、認識された図要素、及び図要素の間の位置関係に基づいて識別するように構成され得る。
【００３１】
いくつかの実装形態において、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法が提供される。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。方法は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示するステップと、図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って図要素のうちの他の１つ又は複数に関連付けるステップと、受け取られたデジタルインクとの１つ又は複数のインタラクションに基づいて、及び１つ又は複数の関連付けに従って、図要素を表示変更するステップとを含む。
【００３２】
方法は、手描きされた入力のストロークを分類することによって各図要素のクラスを識別するステップを含み得る。
【００３３】
ストロークは、入力の空間情報及び時間情報に基づいてグループ化され得る。
【００３４】
ストロークは、ストロークのグループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類されてよい。
【００３５】
識別されるタイプは、テキストと、非テキストとを含む。
【００３６】
方法は、分類されたストロークの図要素の認識のために手書き認識システムへ分類されたストロークをパースするステップを含み得る。
【００３７】
方法は、各図要素のタイプを、認識された図要素、及び図要素の間の位置関係に基づいて識別するステップを含み得る。
【００３８】
いくつかの実装形態において、コンピュータ可読プログラムコードがそこに具現化されている非一時的コンピュータ可読媒体が提供される。前記コンピュータ可読プログラムコードは、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法を実装するように実行されるように適応される。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。方法は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブデジタルインクにおいて複数の入力された図要素を表示するステップと、図要素のうちの１つ又は複数を、各図要素のクラス及びタイプに従って図要素のうちの他の１つ又は複数に関連付けるステップと、受け取られたデジタルインクとの１つ又は複数のインタラクションに基づいて、及び１つ又は複数の関連付けに従って、図要素を表示変更するステップと、を含む。
【００３９】
方法は、手描きされた入力のストロークを分類することによって各図要素のクラスを識別するステップを含み得る。
【００４０】
ストロークは、入力の空間情報及び時間情報に基づいてグループ化され得る。
【００４１】
ストロークは、ストロークのグループに関して要素タイプ確率仮説を構築すること、及び試験することによって分類されてよい。
【００４２】
識別されるタイプは、テキストと、非テキストとを含み得る。
【００４３】
方法は、分類されたストロークの図要素の認識のために手書き認識システムへ分類されたストロークをパースするステップを含み得る。
【００４４】
方法は、各図要素のタイプを、認識された図要素、及び図要素の間の位置関係に基づいて識別するステップを含み得る。
【図面の簡単な説明】
【００４５】
本システム及び本方法は、図面と一緒に受け入れられた、これらの例の以下の詳細な説明からより十分に理解されよう。図面において、同様の参照符号は、同様の要素を表す。図面において、
【図１Ａ】活字組みの例の概念マップを示す図である。
【図１Ｂ】手書きされた例の概念マップを示す図である。
【図２Ａ】活字組みの例のマインドマップを示す図である。
【図２Ｂ】手書きされた例のマインドマップを示す図である。
【図３Ａ】活字組みの例のフローチャート若しくはフロー図である。
【図３Ｂ】手書きされた例のフローチャート若しくはフロー図である。
【図４Ａ】活字組みの例の組織チャート若しくは組織図である。
【図４Ｂ】手書きされた例の組織チャート若しくは組織図である。
【図５Ａ】活字組みの例のブロック／アーキテクチャ図面である。
【図５Ｂ】手書きされた例のブロック／アーキテクチャ図面である。
【図６Ａ】活字組みの例のスパイダマップ（ｓｐｉｄｅｒ  ｍａｐ）を示す図である。
【図６Ｂ】手書きされた例のスパイダマップを示す図である。
【図７】本システム及び本方法の例によるコンピューティングデバイスを示すブロック図である。
【図８】本システム及び本方法の例による手書き認識のためのシステムを示すブロック図である。
【図９】本システム及び本方法の例による図８の手書き認識システムの詳細を例示するブロック図である。
【図１０Ａ】例示的な手描きされた図である。
【図１０Ｂ】例示的な非テキスト及びテキスト曖昧性解消（ｄｉｓａｍｂｉｇｕａｔｉｏｎ）システム及び方法を示すフロー図である。
【図１１Ａ】例示的な手書きされたフロー図のデジタルインクレンダリングを示す図である。
【図１１Ｂ】例示的な手書きされたフロー図の活字組みのインクレンダリングを示す図である。
【図１２】図１１Ａの例示的な手書きされたフロー図の初期入力のデジタルインクレンダリングを示す図である。
【図１３Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１４Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１５Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１６Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１７Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１８Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１９Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２０Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２１Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２２Ａ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図１３Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図１４Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図１５Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図１６Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図１７Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図１８Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図１９Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図２０Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図２１Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図２２Ｂ】図１２の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みのインクレンダリングを示す図である。
【図２３】図２２Ｂの入力に続く例示的な手書きされたフロー図の以前の入力の活字組みのインクレンダリングを示す図である。
【図２４Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２５Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２６Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２７Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２８Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２９Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３０Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３１Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３２Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３３Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３４Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３５Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３６Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３７Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３８Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図３９Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４０Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４１Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４２Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４３Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４４Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４５Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４６Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４７Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４８Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図４９Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５０Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５１Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５２Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５３Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５４Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５５Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５６Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５７Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５８Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図５９Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６０Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６１Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６２Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６３Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６４Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６５Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図６６Ａ】図２２Ａの入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリングを示す図である。
【図２４Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図２５Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図２６Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図２７Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図２８Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図２９Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３０Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３１Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３２Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３３Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３４Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３５Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３６Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３７Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３８Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図３９Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４０Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４１Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４２Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４３Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４４Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４５Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４６Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４７Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４８Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図４９Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５０Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５１Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５２Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５３Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５４Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５５Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５６Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５７Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５８Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図５９Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６０Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６１Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６２Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６３Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６４Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６５Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６６Ｂ】図２３の入力に続く例示的な手書きされたフロー図の順次の入力のデジタルインクレンダリング及び以前の入力の活字組みされたインクレンダリングを示す図である。
【図６７】図６６Ｂの更なる入力の活字組みされたインクレンダリングを示す図である。
【図６８Ａ】デジタルインク形状の選択を示す図である。
【図６８Ｂ】デジタルインク形状の選択モード表示を示す図である。
【図６９Ａ】デジタルインク形状内のデジタルインクテキストの選択を示す図である。
【図６９Ｂ】デジタルインク形状内のデジタルインクテキストの選択モード表示を示す図である。
【図７０Ａ】デジタルインクテキストを包含するデジタルインク形状の選択を示す図である。
【図７０Ｂ】デジタルインクテキストを包含するデジタルインク形状の選択モード表示を示す図である。
【図７１Ａ】デジタルインク形状及びデジタルインクテキストの選択を示す図である。
【図７１Ｂ】デジタルインク形状及びデジタルインクテキストの選択モード表示を示す図である。
【図７２Ａ】デジタルインク形状、デジタルインクテキスト、及びデジタルインク落書きの選択を示す図である。
【図７２Ｂ】デジタルインク形状、デジタルインクテキスト、及びデジタルインク落書きの選択モード表示を示す図である。
【図７３Ａ】コネクタによって接続されたボックスの手描きされた入力を示す図である。
【図７３Ｂ】ボックスのそれぞれの上の移動オペレーションの実行後の図７３Ａの手描きされた入力を示す図である。
【図７３Ｃ】図７３Ａのコネクタのアームのズームインされたビューを示す図である。
【図７３Ｄ】図７３Ｂのコネクタのアームのズームインされたビューを示す図である。
【図７３Ｅ】図７３Ｃのアームを図７３Ｄのアームと類似した長さとなるように拡大縮小することを示す図である。
【図７４Ａ】形状要素上の移動オペレーション前の例示的な手描きされた図である。
【図７４Ｂ】形状要素上の移動オペレーション後の例示的な手描きされた図である。
【図７５Ａ】形状要素上の移動オペレーション前の例示的な手描きされた図である。
【図７５Ｂ】形状要素上の移動オペレーション後の例示的な手描きされた図である。
【図７６Ａ】コネクタ要素上の一連の移動オペレーションの前と後の例示的な手描きされた図である。
【図７６Ｂ】コネクタ要素上の一連の移動オペレーションの前と後の例示的な手描きされた図である。
【図７６Ｃ】コネクタ要素上の一連の移動オペレーションの前と後の例示的な手描きされた図である。
【図７６Ｄ】コネクタ要素上の一連の移動オペレーションの前と後の例示的な手描きされた図である。
【図７６Ｅ】コネクタ要素上の一連の移動オペレーションの前と後の例示的な手描きされた図である。
【図７７Ａ】形状要素上の移動オペレーションの前と後の例示的な手描きされた図である。
【図７７Ｂ】形状要素上の移動オペレーションの前と後の例示的な手描きされた図である。
【図７８Ａ】例示的な手描きされた図のデジタルインクレンダリングを示す図である。
【図７８Ｂ】例示的な手描きされた図の活字組みのインクレンダリングを示す図である。
【図７９】コンテナには大き過ぎるテキストを有する例示的な手描きされた図のデジタルインクレンダリングを示す図である。
【図８０】テキストを包含するようにコンテナの自動サイズ変更を用いた図７９の図の活字組みのインクレンダリングを示す図である。
【図８１】コンテナに包含されるようにテキストの自動リフローを用いた図７９の図の活字組みのインクレンダリングを示す図である。
【図８２Ａ】デジタルインクテキストを包含するデジタルインク形状の選択モード表示を示す図である。
【図８２Ｂ】図８２Ａの選択されたデジタルインク形状のサイズ変更オペレーションを示す図である。
【図８２Ｃ】図８２Ｂのサイズ変更されたデジタルインク形状の選択解除を示す図である。
【図８２Ｄ】更なるデジタルインクテキストを包含する図８２Ｃのサイズ変更されたデジタルインク形状を示す図である。
【図８３Ａ】図７８Ａの例示的な手描きされた図の選択モード表示を示す図である。
【図８３Ｂ】図８３Ａの選択された図のサイズ変更オペレーションを示す図である。
【図８３Ｃ】図８３Ｂのサイズ変更された図の選択解除を示す図である。
【図８４Ａ】テキストを包含するコンテナを有する例示的な手描きされた図のデジタルインクレンダリングを示す図である。
【図８４Ｂ】テキストを包含するコンテナを有する例示的な手描きされた図の活字組みのインクレンダリングを示す図である。
【図８４Ｃ】コンテナにテキストが追加されている図８４Ａの図のデジタルインクレンダリングを示す図である。
【図８４Ｄ】コンテナにテキストが追加されている図８４Ｂの図の活字組みのインクレンダリングを示す図である。
【図８５Ａ】デジタルインクテキストを包含するデジタルインクセルの選択モード表示を示す図である。
【図８５Ｂ】図８５Ａの選択されたデジタルインクセルのサイズ変更オペレーションを示す図である。
【図８６Ａ】２つのテキストブロックを包含するコンテナを有する例示的な手描きされた図のデジタルインクレンダリングを示す図である。
【図８６Ｂ】第２のテキストブロックの選択モード表示を有する図８６Ａの図である。
【図８６Ｃ】図８６Ａの図の活字組みのインクレンダリングを示す図である。
【発明を実施するための形態】
【００４６】
以下の詳細な説明において、多数の特定の詳細が、関係のある教示の徹底的な理解を提供するために例として提示される。しかし、本教示は、そのような詳細なしに実施され得ることが当業者には明白であろう。他の場合において、よく知られた方法、手順、構成要素、及び／又は回路は、本教示の態様を不必要に不明瞭にするのを回避するために、詳細なしに、相対的に高レベルで説明されている。
【００４７】
上に、下に、上方、下方、最低、最高、水平、垂直、その他などの方向特徴の参照及び説明は、認識されるべき入力が行われる入力表面に適用される、デカルト座標系に関して行われる。更に、左及び右などの用語は、図面を見るときの読者の参照の枠組みと関係して行われる。更に、本説明における「テキスト」という用語の使用は、任意の書かれた言語における全ての英数字、及びそれらの文字列、並びに普通の非英数字、例えば、書かれたテキストにおいて使用される記号を包含するものと理解される。更に、本説明における「非テキスト」という用語は、自由形状の手書きされた、若しくは手描きされたコンテンツ、及びレンダリングされたテキスト及び画像データ、並びに非テキストコンテキストにおいて使用される、非英数字、及びそれらの文字列、及び英数字、及びそれらの文字列を包含するものと理解される。更に、これらの図面に示される例は、左から右に書かれる言語コンテキストにあり、したがって、位置の任意の参照は、異なる方向フォーマットを有する書かれた言語に関して適応されられ得る。
【００４８】
本明細書において説明される様々な技術は、一般に、ポータブルコンピューティングデバイス上、及び非ポータブルコンピューティングデバイス上の手描きされたコンテンツ及び手書きされたコンテンツのキャプチャ、処理、及び管理を、コンテンツの入力されたスタイルを、そのコンテンツの忠実な活字組みバージョン若しくは美化されたバージョンへの変換を許しながら、保持する様態で行うことに関する。本明細書において説明されるシステム及び方法は、コンピューティングデバイスに接続された、若しくはコンピューティングデバイスの、タッチセンシティブスクリーンなどの入力表面を介した、又はコンピューティングデバイスに接続された、デジタルペン若しくはマウスなどの入力デバイスを介した、又は位置検出システムによって監視される物理表面若しくは仮想表面を介したコンピューティングデバイスに対するユーザの自然な書込みスタイル及び描きスタイルの入力の認識を利用し得る。いわゆるオンライン認識技法を使用した手書き入力の認識に関して様々な例が説明されるが、デジタルインクではなく、画像が認識されるオフライン認識などの、認識のための入力の他の形態への適用が可能であるものと理解される。手描きという用語と手書きという用語は、デジタル媒体若しくはデジタルで接続された媒体の上に直接にユーザの手の使用を通じて、又はハンドヘルドスタイラスなどの入力ツールを介してユーザによってデジタルコンテンツが作成されることを定義するように互換的に使用される。「手」という用語は、入力技法の簡潔な説明を提供するように本明細書において使用されるが、足、口、及び目などの、類似した入力のためのユーザの身体の他の部分の使用がこの定義に含まれる。
【００４９】
図７は、例示的なコンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、モバイル電話、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、インタラクション型ホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどであってよい。コンピューティングデバイス１００は、少なくとも１つの処理要素の構成要素と、何らかの形態のメモリと、入力及び／又は出力（Ｉ／Ｏ）デバイスとを含む。構成要素は、コネクタ、配線、バス、ケーブル、バッファ、電磁リンク、ネットワーク、モデム、トランスデューサ、ＩＲポート、アンテナ、又は当業者に知られているその他のものなどの入力及び出力を通じて互いに通信する。
【００５０】
コンピューティングデバイス１００は、画像、テキスト、及びビデオなどのデータをコンピューティングデバイスから出力するための少なくとも１つのディスプレイ１０２を有する。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、又は当業者に知られているタッチセンシティブであり、若しくはタッチセンシティブでない他の任意の適切な技術を使用してよい。ディスプレイ１０２は、少なくとも１つの入力表面１０４と並置されても、それに遠隔で接続されてもよい。入力表面１０４は、タッチセンシティブ表面若しくは近接センシティブ表面の形態においてユーザ入力を受け取る、抵抗、表面弾性波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識などの技術、又は当業者に知られている他の任意の適切な技術を使用してよい。入力表面１０４は、それの境界を明確に識別する永久的な、又はビデオ生成された境界によって境界づけられる。入力表面１０４は、位置検出システムによって監視される非タッチセンシティブ表面であってよい。
【００５１】
入力表面１０４に加えて、コンピューティングデバイス１００は、ローカルインターフェースを介して通信可能に結合された更なる１つ又は複数のＩ／Ｏデバイス（又は周辺装置）を含み得る。更なるＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザリーダ、無線周波数デバイスリーダ、又は当業者に知られている他の任意の適切な技術などの入力デバイスを含んでよい。更に、Ｉ／Ｏデバイスは、プリンタ、バーコードプリンタ、又は当業者に知られている他の任意の適切な技術などの出力デバイスを含んでよい。更に、Ｉ／Ｏデバイスは、変調器／復調器（別のデバイス、システム、若しくはネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）トランシーバ若しくは他のトランシーバ、電話インターフェース、ブリッジ、ルータ、又は当業者に知られている他の任意の適切な技術などの、入力と出力の両方を通信する通信デバイスを含んでよい。ローカルインターフェースは、簡単のために省かれるが、当業者には知られている、コントローラ、バッファ（キャッシュ）、ドライバ、中継器、及び受信機などの、通信を可能にする更なる要素を有してよい。更に、ローカルインターフェースは、その他のコンピュータ構成要素の間で適切な通信を可能にするアドレス接続、制御接続、及び／又はデータ接続を含んでよい。
【００５２】
また、コンピューティングデバイス１００は、ソフトウェア、特に、メモリ１０８に記憶されたソフトウェアを実行するためのハードウェアデバイスであるプロセッサ１０６も含む。プロセッサは、任意の特別仕様のプロセッサ若しくは市販の汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップ若しくはチップセットの形態の）、マクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートのゲート若しくはトランジスタロジック、ディスクリートのハードウェア構成要素、状態マシン、又は当業者に知られているソフトウェア命令を実行するために設計されたこれらの任意の組合せであることができる。適切な市販のマイクロプロセッサの例は、以下のとおり、すなわち、ヒューレットパッカード社からのＰＡ−ＲＩＳＣ系マイクロプロセッサ、インテル社からの８０×８６系若しくはＰｅｎｔｉｕｍ系マイクロプロセッサ、ＩＢＭ社からのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓ社からのＳｐａｒｃマイクロプロセッサ、モトローラ社からの６８ｘｘｘ系マイクロプロセッサ、ＤＳＰマイクロプロセッサ、又はＡＲＭマイクロプロセッサである。
【００５３】
メモリ１０８は、揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、若しくはＳＤＲＡＭなどのＲＡＭ））と不揮発性メモリ要素（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気テープ若しくは光テープ、メモリレジスタ、ＣＤ−ＲＯＭ、ＷＯＲＭ、ＤＶＤ、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙ  ｏｆ  Ｉｎｅｘｐｅｎｓｉｖｅ  Ｄｉｓｋｓ）、別の直接アクセスストレージデバイス（ＤＡＳＤ））のうちのいずれか１つ又は組合せを含み得る。更に、メモリ１０８は、電子タイプ、磁気タイプ、光タイプ、及び／又は他のタイプのストレージ媒体を組み込み得る。メモリ１０８は、様々な構成要素が互いに遠隔に位置付けられるが、プロセッサ１０６によってアクセスされることも可能である分散アーキテクチャを有することができる。更に、メモリ１０８は、コンピューティングデバイス１００によって遠隔でアクセス可能である、サーバに、又はクラウドベースのシステムにあるなど、デバイスから遠隔であってよい。メモリ１０８は、プロセッサ１０６に結合され、したがって、プロセッサ１０６は、メモリ１０８から情報を読み取ること、及びメモリ１０８に情報を書き込むことができる。代替において、メモリ１０８は、プロセッサ１０６と一体化していてよい。別の例において、プロセッサ１０６とメモリ１０８はともに、単一のＡＳＩＣ又は他の集積回路に存在してよい。
【００５４】
メモリ１０８におけるソフトウェアは、オペレーティングシステム１１０と、アプリケーション１１２とを含む。ソフトウェアは、任意選択で、別々の１つ又は複数のコンピュータプログラムをそれぞれが含み得る手書き認識（ＨＷＲ）システム１１４を更に含む。これらのそれぞれは、論理機能を実装するための実行可能命令の順序付けられたリストを有する。オペレーティングシステム１１０は、アプリケーション１１２（及びＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、任意の独自のオペレーティングシステムであっても、ＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ、及びＩＰＨＯＮＥ  ＯＳ（登録商標）、ＬＩＮＵＸ、及びＡＮＤＲＯＩＤなどの市販のオペレーティングシステムであってもよい。また、他のオペレーティングシステムが利用されてもよいものと理解される。
【００５５】
アプリケーション１１２は、ユーザによって入力された手描きされた形状及び手書きされたテキストの検出、管理、及び扱いと関係付けられた１つ又は複数の処理を含む（後段で詳細に説明される）。また、ソフトウェアは、手書き認識、異なる機能、又はその両方と関係付けられた他の１つ又は複数のアプリケーションを含んでもよい。他のアプリケーションのいくつかの例は、テキストエディタ、電話ダイヤラ、連絡先ディレクトリ、インスタントメッセージングファシリティ、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワードプロセッシングプログラム、ウェブブラウザ、及びカメラを含む。アプリケーション１１２、及び他のアプリケーションは、製造されたときにコンピューティングデバイス１００とともに提供されるプログラムを含み、製造後、コンピューティングデバイス１００にアップロードされる、又はダウンロードされるプログラムを更に含んでよい。
【００５６】
本システム及び本方法は、手書きされたテキストと、手描きされた形状、例えば、非テキストとを含む、デバイス１００に対する手書きされた入力を認識するためにＨＷＲシステム１１４を利用する。ＨＷＲシステム１１４は、サポート能力及び準拠能力を有して、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、又は実行されるべき命令のセットを有する他の任意のエンティティであり得る。ソースプログラムである場合、プログラムは、メモリ内に含まれても含まれなくてもよいコンパイラ、アセンブラ、インタープリタなどを介して変換されて、オペレーティングシステムに関連して適切に動作するようにされる必要がある。更に、サポート能力及び準拠能力を有した手書き認識システムは、（ａ）データ及びメソッドのクラスを有するオブジェクト指向プログラミング言語、（ｂ）例えば、Ｃ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ、Ｏｂｊｅｃｔｉｖｅ  Ｃ、Ｓｗｉｆｔ、及びＡｄａなどの、但し、以上には限定されない、ルーチン、サブルーチン、及び／又は関数を有する手続き型プログラミング言語、又は（ｃ）例えば、Ｈｏｐｅ、Ｒｅｘ、Ｃｏｍｍｏｎ  Ｌｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、及びＦ＃などの、但し、以上には限定されない、関数型プログラミング言語として書かれることが可能である。代替として、ＨＷＲシステム１１４は、サーバ又はクラウドベースのシステムなどのデバイスから遠隔の、但し、コンピューティングデバイス１００の前述の通信Ｉ／Ｏデバイスを使用して通信リンクを通じてコンピューティングデバイス１００によって遠隔でアクセス可能である手書き認識システムと通信するための方法又はシステムであってよい。更に、アプリケーション１１２とＨＷＲシステム１１４は、一緒に動作して、例えば、各システムによって処理されて、メモリ１０８に記憶される情報にアクセスしても、単一のアプリケーションとして組み合わされてもよい。
【００５７】
入力表面１０４上で、若しくはそれを介して入力されたストロークは、デジタルインクとしてプロセッサ１０６によって処理される。ユーザは、指、又は入力表面に対して使用するのに適したペン若しくはスタイラスなどの何らかの用具でストロークを入力してよい。また、ユーザは、入力表面１０４の付近における動きを感知する技術が使用されている場合、入力表面１０４の上方でジェスチャを行うことによって、又はマウス若しくはジョイスティックなどのコンピューティングデバイス１００の周辺デバイスを用いてストロークを入力してもよい。ストロークは、少なくとも、ストローク開始位置、ストローク終了位置、及びストローク開始位置とストローク終了位置を接続するパスによって特徴付けられる。異なるユーザが、わずかなばらつきとともに同一のオブジェクト、例えば、字、形状、記号を自然に書き込むことがあり得るため、ＨＷＲシステムは、各オブジェクトが、正しいオブジェクト、若しくは意図されたオブジェクトとして認識されながら、入力され得る様々な様態に対応する。
【００５８】
図８は、ＨＷＲシステム１１４の例の、それのローカル（すなわち、デバイス１００にロードされた）、又は遠隔（すなわち、デバイス１００によって遠隔でアクセスされる）における概略図である。ＨＷＲシステム１１４は、前処理１１６、認識１１８、及び出力１２０などの段階を含む。前処理段階１１６は、デジタルインクを処理して、より高い正確さを達成し、かつ認識段階１１８中の処理時間を低減する。この前処理は、入力を平滑化するＢスプライン近似などのサイズ正規化及び／又は方法を適用することによってストローク開始位置とストローク終了位置を接続するパスの正規化を含み得る。次に、前処理されたストロークは、ストロークを処理して、それによって形成されるオブジェクトを認識する認識段階１１８に渡される。次に、認識されたオブジェクトは、手書きされた要素／文字及び手描きされた形状のデジタルインクバージョン又は活字組みのバージョンとしてメモリ１０８及びディスプレイ１０２に出力される１２０。
【００５９】
認識段階１１８は、異なる処理要素又は処理エキスパートを含み得る。図９は、認識段階１１８の概略の詳細を示す図８の例の概略図である。動的プログラミングを通じて協働して出力１２０を生成する３つのエキスパート、セグメント化エキスパート１２２、認識エキスパート１２４、及び言語エキスパート１２６が例示される。
【００６０】
セグメント化エキスパート１２２は、表現、例えば、語、数学の式、又は形状のグループを形成するために、入力ストロークをセグメント化して、個々の要素仮説、例えば、英数字及び数学演算子、テキスト文字、個々の形状、又は部分表現にする異なる様態を定義する。例えば、セグメント化エキスパート１２２は、元の入力の連続するストロークをグループ化することによって要素仮説を形成して、各ノードが少なくとも１つの要素仮説に対応し、かつ要素間の隣接制約がノード接続によって扱われるセグメント化グラフを獲得してよい。代替として、セグメント化エキスパート１２２は、テキスト、図面、表、チャート、式、及び楽譜などの異なる入力タイプに関して別々のエキスパートを用いてよい。
【００６１】
認識エキスパート１２４は、クラシファイア１２８によって抽出された特徴の分類を提供し、かつセグメント化グラフの各ノードに関する確率若しくは認識スコアとともに要素候補のリストを出力する。この認識タスクに対処するのに使用されることが可能な多くのタイプのクラシファイア、例えば、サポートベクトルマシン、隠れマルコフモデル、又は多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、若しくは再帰型ニューラルネットワークなどのニューラルネットワークが存在する。選択は、タスクに望まれる複雑さ、正確さ、及び速度に依存する。
【００６２】
言語エキスパート１２６は、言語モデル（例えば、文法若しくはセマンティクス）を使用してセグメント化グラフにおける異なるパスに関する言語的意味を生成する。エキスパート１２６は、言語的情報１３０によりその他のエキスパートによって示唆される候補を検査する。言語的情報１３０は、語彙、正規表現、その他を含むことができる。言語エキスパート１２６は、最良の認識パスを見出すことを目指す。一例において、言語エキスパート１２６は、言語的情報１３０のコンテンツを表す最終状態オートマトン（決定論的ＦＳＡ）などの言語モデルを探索することによってこれを行う。語彙制約に加えて、言語エキスパート１２６は、要素の所与のシーケンスが、どれだけ頻繁に指定された言語において出現するか、又は特定のユーザによって使用されるかに関してモデル化する統計情報を使用して、セグメント化グラフの所与のパスの解釈の言語的尤度を評価してよい。
【００６３】
本システム及び本方法によって提供されるアプリケーション１１２は、学生、学問的専門家、及び職業的専門家などのユーザが、作成される図のタイプ、例えば、フローチャート、組織チャート、概念マップ、スパイダマップ、ブロック／アーキテクチャ図、マインドマップ、ブロック図、ベン図、及びピラミッドとは独立に、ＨＷＲシステム１１４を使用して手書きされた図を作成し、かつ忠実に認識されたそれらの図を得ることを許す。このリストは、網羅的ではなく、図の他のタイプ、又は非タイプが可能である。例えば、図１Ｂ、図２Ｂ、図３Ｂ、図４Ｂ、図５Ｂ、及び図６Ｂに例示される手描きされた図の異なる要素は、図タイプにかかわらず、その間の任意の空間関係及びコンテキスト関係と一緒に個々に認識される。前述したとおり、これらの図要素は、形状要素と、テキスト要素とを含む。形状要素又は図面要素は、線形構成又は非線形構成におけるグラフィック形成又はジオメトリ形成を定義するものであり、かつコンテナ、コネクタ、及び自由形態の描きを含む。テキスト要素は、テキスト文字を包含するものであり、かつテキストブロックと、テキストブロック及び形状要素に関するラベルとを含む。テキストブロックとラベルの両方が、１つ又は複数の垂直ラインにおいて、かつ／又は番号付き／ブレット付きリストとして提供される１つ又は複数の文字、語、文、又は段落のテキストを包含し得る。テキストブロックは、コンテナによって包含されても（内部テキストブロック）、コンテナの外部で提供されてもよい（外部テキストブロック）。外部テキストブロックは、コンテナ、又は図の他の要素と無関係であっても、他の或る図要素と直接に関係付けられてもよい。
【００６４】
更に、本システム及び本方法によって提供されるアプリケーション１１２は、ユーザが、適切な認識が行われるようにするために、描きの所定の順序又は要求される順序なしに、そのような形状及びテキストを手描きすることを許す。本システム及び本方法の手書き認識は、ユーザが、デジタルツールのパワーの恩恵を受けながら、ユーザの念頭にあるものを、紙の上でユーザがするように描く（技術によって遅くらされることなしに自由に）ことを許す。例示的な使用は、以下を含む。すなわち、
・作成：形状及びテキストの高レベルの識別、及びそれらの間の見分けが、事前割当てされたツールを選択する、若しくは使用することも、モード間で切り換えることも、特定の区域にズームすることも必要とせずに、ユーザによって形状がスケッチされ、テキストがユーザによって書き込まれることを許す。
・編集：形状特徴及び形状ポイントの識別が、新たなアイディアのためのスペースの作成、接続若しくは形状タイプの変更、及び編集ジェスチャの扱いのために形状が移動され、操作されることを可能にし、かつテキスト特徴とテキストポイントの識別が、編集ジェスチャの扱い、及びテキストレイアウトの定義を可能にする。
・検索：ユーザは、ユーザの図に包含される情報を活用して、ドキュメントを検索することができる。
・活字組み：図を作成するとき、ユーザには、即時認識フィードバックのためのオプションが提供される。
・インポート及びエクスポート：形状特徴及び形状ポイントの識別、並びにテキストの識別が、処理ツール及びプレゼンテーションツールからのオブジェクトのインポート、及び処理ツール及びプレゼンテーションツールへの作成されたドキュメントのエクスポートに適したデータモデルの使用を可能にする。
【００６５】
本システム及び本方法のこれら及びその他の特徴は、後段でより詳細に説明される。
【００６６】
手描きされた図要素の正確なコンテンツ認識が、手描きされた形状及び手書きされたテキストの正確かつ効率的な見分けを通じてアプリケーション１１２によって可能にされる。更に、形状における色塗りつぶしなどの特徴の高速かつ正確な認証及び提供が、手書き認識プロセス中に使用される形状を構成するストロークのセグメント化の情報（例えば、矩形は、４つのラインに分解されたものとしてアプリケーション１１２によって記憶されない）だけでなく、ＨＷＲシステム１１４によって認識されるとおりの識別された形状タイプ（例えば、矩形、円、その他）に関する情報を保って、アプリケーション１１２によって提供される。
【００６７】
更に、手描きされた図の忠実なレンダリングが、アプリケーション１１２によって提供される。これは、デジタルインクが保持され（例えば、メモリ１０８の中に）、認識された形状が正規化されず、それにより、手描きされた形状のユーザ定義されたサイズ、態様、及び形態を保ち、形状及びテキストが、図の他の要素にかかわらず識別されること、又は図の他の要素に基づいて再識別される、若しくは分類されることが可能であるためである。すなわち、アプリケーション１１２は、手描きされた形状だけを（例えば、関連付けられたコネクタもテキストも伴わずに）閉じた形状若しくは多角形（例えば、円、長円、方形、矩形、及び菱形）として、及び開いた形状（例えば、多角形の図面において組み合わされることが可能なライン）として識別する。アプリケーション１１２は、コンテナを作成し、かつ他の非テキスト要素とテキスト要素の間のコネクタを作成して、１つ又は複数の既存の非テキスト要素及び／又はテキスト要素を囲む手描きされた（例えば、輪郭若しくはコンテナを作成する）形状を更に識別する。また、他の形状（他のコンテナを含む）又はテキストを包含するコンテナも（例えば、要素の自動グループ化を使用することによって）識別される。アプリケーション１１２は、既存の形状内（例えば、コンテナ内）、及び他の要素近くで手書きされたテキストだけを（例えば、輪郭もコンテナも伴わずに）更に識別する。また、テキストの単一のライン（１つ若しくはいくつかの語）又はテキストの複数のライン（キャリッジリターン、番号付きリスト、ブレットポイント、その他を伴う、又は伴わない）も識別される。また、アプリケーション１１２は、テキストが、ユーザからの明示的なアクションを要求することなしに形状において直接に書き込まれること、又は特定のツールを使用して専用の入力方法をトリガすることも許す。また、テキストは、コンピューティングデバイスに接続されたキーボードを用いてなど、非手書き技法を使用して入力されることも可能である。
【００６８】
編集するとき、上書き、消去、及びレイアウト制御などの手書きされるオペレーションが、デジタルインクと活字組みのインクの両方に対して実行され得る。例えば、上書きすることは、形状を１つのタイプ若しくは形態から別のものに変更すること（例えば、矩形の上に長円を手描きすることによって矩形を長円に切り換えること）、コネクタに装飾を追加すること、及びテキストの周囲に形状を作成することを含む。消去は、形状及びテキストに対する掻き消しジェスチャ若しくは取り消しジェスチャなどの知られている手書きジェスチャを使用して実行され得る。レイアウト制御は、形状を移動させること、及びサイズ変更すること、形状及びテキストを互いに整列させること、及び互いに分散させることを行うように実行され得る。これらのオペレーションの少なくともいくつか、及びその他のオペレーションの検出は、本システム及び本方法によって使用される曖昧性解消プロセスによって強化される。次に、曖昧性解消プロセスが説明される。
【００６９】
本システム及び本方法は、形状及びテキストの異なる手書きされたオブジェクトの入力を自動的に検出し、見分けて、それらが、適切な認識技法を用いてＨＷＲ１１４によって処理されるようにする、例えば、検出された形状のストロークは、形状言語モデルを使用して処理され、検出されたテキストのストロークは、テキスト言語モデルを使用して処理される。しかし、多くの手書きされた形状及びテキスト文字は、共通の特徴（例えば、円と「ｏ」という字、矢じりと「ｖ」という字）を共有し得るので、ユーザには、アプリケーション１１２のユーザインターフェース（ＵＩ）を使用して誤った見分け決定を訂正する能力が提供されることに留意されたい。
【００７０】
曖昧性解消プロセスは、テキストと非テキスト（すなわち、形状）の混合されたコンテンツを包含する手書きされた入力が、自動的に（例えば、オンザフライで）、又はオンデマンドで認識され、美化されたデジタルインク及び活字組みのインクに変換されることを許す。デジタルインクは、手書きされた入力をデジタル画像フォーマットでレンダリングすることによって形成される。美化された（デジタル）インクは、デジタルインクが、元の手書きと比べて、類似したスタイリング又はルックアンドフィールを保持しながら、より規則的、かつより正規化されて見えるようにレンダリングすることによって形成される。活字組みのインクは、デジタルインクを活字組みの画像フォーマット若しくはフォント化された画像フォーマットに変換することによって形成される。美化された活字組みのインクは、活字組みのインクを、入力からの位置変更及びスタイリング変更を伴ってレンダリングすることによって形成される。ＨＷＲシステム１１４の前処理段階１１６は、曖昧性解消プロセスを実行するように構成される。プリプロセッサ１１６は、デジタルインクの要素を、非テキスト（すなわち、形状）、テキスト、及び形状とテキストの混合である、異なるクラス又はカテゴリに分類することによってこれを行う。次に、分類されたデジタルインクは、分類に依存した適切な認識処理のためにレコグナイザ１１８へパースされる。
【００７１】
例えば、テキストとして分類されたデジタルインクを処理するとき、レコグナイザ１１８は、セグメント化エキスパート１２２を用いて、テキストの個々のストロークをセグメント化してセグメント化グラフを決定し、認識エキスパート１２４を用いて、クラシファイア１２８を使用してグラフノードに確率を割り当て、言語エキスパート１２６を用いて、例えば、言語的情報１３０のテキストベースの語彙を使用してグラフを通る最良のパスを見出す。他方、非テキストとして分類されたデジタルインクを処理するとき、レコグナイザ１１８は、セグメント化エキスパート１２２を用いて、形状のストロークをセグメント化し、認識エキスパート１２４を用いて、クラシファイア１２８を使用してセグメント化グラフを決定し、言語エキスパート１２６を用いて、言語的情報１３０の形状ベースの語彙を使用してグラフを通る最良のパスを見出す。混合されたコンテンツ分類は、「ジャンク」として扱われ、レコグナイザ１１８へパースされるとき、認識の低い確率をもたらす。例えば、それらが語彙外の形状であるためにレコグナイザへパースされて、認識されない形状は、認識されないコンテンツ（後段で説明される）である落書きとして扱われる。
【００７２】
図１０Ａは、例示的な手描きされたダイアグラム１０００を示す。背景技術において説明されている例示的な図と同様に、ダイアグラム１０００は、異なるタイプ（矩形及び円）の図ブロック若しくはコンテナ、及び図ブロックの間の関係を接続する、若しくは指定する異なるタイプ（直線の矢印及び曲げられた矢印）のコネクタ、及びコンテナ内の異なる構成要素（単一の語、記号、及び複数の語を含む）のテキストを含む形状要素及びテキスト要素を有する。
【００７３】
図１０Ｂは、例示的な手描きされたダイアグラム１０００に関連して次に説明される、例示的な曖昧性解消システム及び方法のフロー図である。ステップ１において、ディスアンビギュエータ１１６が、ダイアグラム１０００の手描きされた入力のストローク、例えば、ストロークＳ１乃至Ｓ１０を受け取る。
【００７４】
ステップ２において、ストロークは、空間的考慮及び時間的考慮を使用してグループ化されて、いずれのストロークがダイアグラム１０００の非テキスト要素及びテキスト要素に属し得るかの仮説を構築する。空間的考慮は、ストロークの間の距離、ストロークのジオメトリ、ストロークの重なり合い、及びストロークの相対位置を含む。例えば、ストロークＳ１とストロークＳ２は、互いにより接近しており、ストロークＳ１及びＳ２は、ストロークＳ３乃至Ｓ８９を囲み、ストロークＳ１０は、ストロークＳ９の１つの終端に重なり合う。時間的考慮は、ストローク入力の時間順序を含む。例えば、ストロークは、Ｓ１、Ｓ２、Ｓ９、Ｓ１０、Ｓ３、Ｓ４、Ｓ５、Ｓ７、Ｓ６、及びＳ８の時間順序を有する。組み合わされた空間的考慮と時間的考慮が、ストロークの各グループ化に確率スコアを提供するのに使用される。確率スコアは、テキスト、非テキスト、及びジャンクである各クラスにつき１つの、３つの確率スコアのベクトルであり得る。高い確率スコアは、ストロークのグループが、スコアに関連付けられたクラスの１つのオブジェクトに属する可能性が高いことを示し、低い確率スコアは、ストロークのグループが、別のオブジェクトに属する、若しくは少なくとも、スコアに関連付けられたクラスのものには属さない可能性が高いことを示し、その間のスコアは、分類の相対尤度を示す。このようにして、このステップにおいて低い、若しくは非常に低い確率スコアを達成するグループは、次のステップにおいて試験するために仮説が不要に構築されることがないように破棄され、それにより、処理を最適化する。このスコアリングは、試験されるべきでないものをフィルタリングして除くように仮説の「粗い」分類を定義する。代替として、仮説は、ストロークの各体系的グループに関する各分類に関して構築されてよく、クラス上で行われるストロークの分類が最高のスコアを達成する。
【００７５】
また、空間情報及び時間情報が、仮説自体の構築においても使用される。例えば、ストロークＳ１及びＳ２を包含する第１のグループ、及びストロークＳ３乃至Ｓ８を包含する第２のグループに関して、空間情報は、第１のグループが第２のグループを囲むことであり、時間情報は、第１のグループのストロークが時間順序で入力されており、かつ第２のグループのストロークも時間順序で入力されていることであるので、第１のグループは、それが他の要素を包含するので、１つのオブジェクトに属するという第１の仮説が構築され、第２のグループは、それが別の要素に包含されるので、１つのオブジェクトに属するという第２の仮説が構築され、第１のグループと第２のグループは異なるオブジェクトに属するという第３の仮説が構築される。第３の仮説は、それが、第１のグループ又は第２のグループが複数のオブジェクトのものであることをそれら自体、排除しないため、第１の仮説と第２の仮説の単なる組合せではない。
【００７６】
ストロークＳ１乃至Ｓ１０の例に関して、以下の更なるグループは、高い確率スコアを有し、したがって、仮説として構築される。すなわち、
・Ｓ３とＳ４；それらが、時間的に順序付けられており、Ｓ４が、Ｓ５と比べて、Ｓ３により接近しているため
・Ｓ５乃至Ｓ８；それらが、時間的に順序付けられているため
・Ｓ２とＳ９；それらが、時間的に順序付けられており、かつ空間的に接近しているため
・Ｓ９とＳ１０；それらが、時間的に順序付けられており、Ｓ１０がＳ９の１つの終端に重なり合うため
他方、中間の確率スコア（例えば、可能性が高くもなく、可能性が低くもない）を有し、したがって、仮説を構築するために使用される可能性が高いグループは、ストロークＳ１とＳ９を、それらの空間的範囲が近いものの、特に接近しておらず、但し、それらが時間的に接近しているため、包含し、低い確率スコアを有し、したがって、仮説を構築するために使用されない可能性が高いグループは、ストロークＳ１とＳ１０を、それらが、その中間に他の多くのストロークを有して、空間的に遠く離れているので、包含し、非常に低い確率スコアを有し、したがって、仮説を構築するために使用されないグループは、ストロークＳ５とＳ１０を、それらが、空間的にも、時間的にもともに遠く離れているので、包含する。
【００７７】
ステップ３において、構築された仮説のストロークの各グループに関する特徴が抽出される。これらの特徴は、形状言語モデル及びテキスト言語モデルを考慮して抽出され、これらのモデルは、レコグナイザ１１８によって実装されるものであっても、例えば、メモリ１０８に記憶されたプリプロセッサ１１６の一部として別個に提供されてもよい。特徴は、分離距離、ストローク内の方向の変更、ストロークパターンの方向、相対的なジオメトリ範囲、組み合わされた相対位置と時間順序、曲率、線形性、及びルーピングを含む。このリストは、網羅的ではなく、抽出される特徴の数が大きいほど、全体的な分類の正確さが高いので、約１００個の異なる特徴が本システム及び本方法によって抽出される。
【００７８】
例えば、前述された第１のグループに関して、ストロークＳ１の抽出された特徴は、方向の２つの大きな変更と、３つの全体的に線形のセグメントと、部分的に閉じた形成とを含み、ストロークＳ２の抽出された特徴は、単一の方向と、全体的な線形を含み、ストロークＳ１とストロークＳ２の抽出された相対的特徴は、Ｓ２の水平の範囲が、Ｓ１の２つの垂直セグメントの終端と全体的に整列されたＳ１とＳ２の水平の範囲内にあることを含む。前述された第２のグループに関して、全てのストロークの抽出された相対的特徴は、いくつかの位置的に遅延されたストローク（例えば、「ｔ」の交差、若しくは文字、「ｉ」の打点を示し得る）を有する全体的に単方向のストロークパターンを含み、ストロークＳ５及びＳ６の抽出された相対的特徴は、重なり合いを含み、ストロークＳ５乃至Ｓ８の抽出された相対的特徴は、Ｓ６及びＳ８がＳ５及びＳ７から時間順序が位置的にずれていることを含み、ストロークＳ７の抽出された相対的特徴は、方向の多くのばらつきを含む（このことは、例えば、草書体のテキストを示し得る）。
【００７９】
ステップ４において、ストロークは、仮説を、それぞれの仮説とされるグループに、テキスト、非テキスト、及びジャンクである各クラスにつき１つの、３つの確率スコアのベクトルとして確率スコアを提供するのに使用される、それらの仮説内のストロークのグループの抽出された特徴と、それらのグループ内のストロークの空間情報及び時間情報とを含む、収集された情報の全てに基づいて試験することによって、テキスト、非テキスト、及びジャンクに分類される。例えば、前述された第１の仮説及び第２の仮説に関して、前述の抽出された特徴、並びに空間情報及び時間情報は、第１のグループが、テキスト及びジャンクのその他の分類と比べて、非テキストであることに関するより高い確率スコアを有すること、及び第２のグループが、非テキスト及びジャンクのその他の分類と比べて、テキストであることに関するより高い確率スコアを有することにつながる。確率スコアの分析は、各ストロークに関して行われて、或るストロークを包含する仮説／グループの全てに関する確率スコアベクトルが組み合わされて、そのストロークがテキストであること、又は非テキストであることの全体的な確率を提供するようにされ得る。このスコアリングは、認識のためにストロークのそれぞれの「細かい」分類を定義する。
【００８０】
ステップ５において、分類結果は、適切な認識モジュールによるストロークの手書き認識のためにレコグナイザへパースされる。
【００８１】
更に、単純なヒューリスティクスを用いる他の曖昧性解消技法が、前述の技法を補足し、強化するのに使用され得る。これらは、例えば、閾値、書込み速度、及びストローク間の時間を含む。曖昧性解消システム及び方法は、既に入力されている手書きに対して、又は手書きが入力されるにつれ、インクリメントで実行され得る。インクリメントの実行に関して、分類の信頼に要求される確率スコアは、非インクリメントの事例と比べて、より高く設定されることが可能であり、したがって、認識が行われる前にオブジェクトの全てのストロークの入力のための時間が提供される。代替として、以前に認識されたオブジェクトが、新たな入力が新たなグループ化及び新たな仮説をもたらすことに基づいて認識変更されてよいが、処理複雑度及び処理時間を望ましくないように増加させること（例えば、以前に認識された全ての要素の再試験）、又は図にわたって動転させる認識変更が作成されること、若しくは編集されることがないように配慮がなされる。例えば、新たに入力されたストロークより前に入力されている認識された全てのストロークを、すなわち、時間順序で、試験することは、認識速度に影響を及ぼし得る過度の処理にすぐにつながって、それにより、アプリケーション１１２のユーザ体験に悪影響を及ぼす可能性がある。これらの不利な効果は、例えば、時間順序に基づいて、制限された数の以前に入力されたストロークだけ、例えば、１回乃至約５回のストロークを試験すること、又は潜在的で新たなグループ化に関する新たに入力されたストロークに空間的に接近している以前に入力されたストロークだけを試験すること、又は現在、入力されているストロークと同一のタイプ、すなわち、テキスト若しくは非テキストの認識されたストロークだけを、それらのストロークが分類されると、試験することなどの、或るストロークに再分類を制限することによって、変更される可能性が高い要素（新たな入力のために）の良好な認識を提供しながら、最小限に抑えられ得る。
【００８２】
したがって、本システム及び本方法の非テキスト／テキスト見分けは、非テキストストロークとテキストストロークとを包含する任意のグループが、低い分類スコアを与えられ、したがって、レコグナイザへパースされず、絶対的分類が、認識に先立って実行されるのではなく、仮説が構築され、試験され、かつセグメント化されたストローク自体が検出可能な形状に再形成されるように非テキストに属するものとして分類されるのではなく、ストロークのグループが形状認識のために分類され、試験されるため、背景技術において述べられた以前の技法とは異なる。その結果、本システム及び本方法は、以前の技法の誤ったテキスト及び形状認識、並びに誤分類の潜在性という問題がない。
【００８３】
このため、本システムのテキスト／非テキストディスアンビギュエータ１１６は、形状及びテキストを識別することができ、かつテキスト内で、テキストライン、テキストラインの整合性のあるセットとして定義された段落、最初のブレット記号若しくは番号を有するテキストラインの垂直セットとして定義されたブレット付きリスト及び番号付きリスト、テキスト、下線付きリスト、及び更なるものを包含するセルのグループとして定義されたテーブルを識別することができる。更に、ディスアンビギュエータ１１６は、１つのテキスト若しくは形状に対して行われた殴り書きされたラインとして定義された掻き消し、１つのテキストに対して行われた単一のラインとして定義された取り消し線、１つのテキストに対して行われた交差されたラインのペアとして定義されたバツ印を含む、訂正されたテキストを識別することができる。更に、ディスアンビギュエータ１１６は、異なる要素の識別された位置及びサイズが、認識されたデジタルインクがより規則的かつ正規化された形態で出力されることを許すように調整され得るので、美化情報を提供することができる。
【００８４】
本システム及び本方法によるアプリケーション１１２のオペレーション及び特徴が、図の例示的な手書きされた入力と関係して次に説明される。図１１Ａは、アプリケーション１１２を使用してコンピューティングデバイス１００の入力表面１０４上で入力された手書きされたフローダイアグラム１１００のデジタルインクレンダリングを示し、図１１Ｂは、ＨＷＲシステム１１４による認識処理後の活字組みのインクにおけるフローダイアグラム１１００を示す。背景技術において説明される例示的な図と同様に、ダイアグラム１１００は、異なるタイプ（楕円、円、及びダイヤモンド）の図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（直線の矢印、曲げられた矢印、先の開いた（ｏｐｅｎ−ｈｅａｄｅｄ）矢印、及び先の閉じた（ｃｌｏｓｅｄ−ｈｅａｄｅｄ）矢印）のコネクタ１４と、コンテナ１２のうちのいくつかの内部のテキスト１６、コンテナ１２のうちのいくつかの外部の、かつそれらに関連付けられたテキスト１６、及びコネクタ１４のうちのいくつかに関連付けられたテキスト１６とを含む形状要素及びテキスト要素を有する。
【００８５】
本システム及び本方法のアプリケーション１１２がダイアグラム１１００の手書きされた要素を検出して、識別し、識別され、かつ認識された要素をデジタルインク及び活字組みのインクで表示する様態が、図１２乃至図６７と関係して次に説明される。図１２乃至図６７は、ステップバイステップで、ユーザによって、例えば、ユーザの指、又はスタイラスを用いたアプリケーション１１２に対する手描きされた入力からレンダリングされたデジタルインク及び活字組みのインク（ＨＷＲシステム１１４による曖昧性解消及び認識の後の）を有するコンピュータデバイス１００のインターフェース１０４を示す。
【００８６】
図１３乃至図２２及び図２４乃至図６６のそれぞれは、手描きされた入力に対して活字組みが自動的には実行されず、入力は（美化されない、又は美化された）デジタルインクとして表示される「Ａ」バージョン例、及び手描きされた入力に対してインクリメントの活字組みが実行されて、入力はデジタルインクとして先ず表示され、活字組みのインクとして次に表示される「Ｂ」バージョン例において提示される。すなわち、本システム及び本方法の認識処理は、手書きされた入力が受け取られるにつれ、インクリメント様態で実行されても、既に入力されたコンテンツに対して一括プロセスとして実行されてもよい。後者の事例において、アプリケーション１１２は、例えば、ＵＩメニュー、ボタン、又はジェスチャの実行を通じた、ユーザによる選択を通じて、図１３乃至図２２及び図２２乃至図６６の「Ｂ」バージョン例に描かれるとおり、活字組みの（又は美化された）インクをインクリメントの認識が進行するにつれてレンダリングするように構成可能である。前者の事例において、デジタル（又は美化された）インクの表示は、図１３乃至図２２及び図２４乃至図６６の「Ａ」バージョン例に描かれるとおり、（美化又は）活字組みを実行するユーザによる選択まで維持される。
【００８７】
図１２において、手描きされた形状１１００がデジタルインク形状１１０１ａとして表示される。形状１１０１は、単一の連続したストロークで手描きされ、非テキストとして検出され、楕円又は長円として認識される。閉じた形状として認識されると、デジタルインク形状内の色塗りつぶしなどの特定のレンダリングを通じて視覚的フィードバック（さもなければ、インクリメントの活字組みが使用されない場合、活字組みされた後にだけ確認可能である）がユーザに提供され得る。
【００８８】
図１３Ａにおいて、デジタルインク楕円１１０１ａ内に入力された手書きされたテキスト１１０２が、デジタルインクテキスト１１０２ａとして表示される。図１３Ｂにおいて、図１２の認識結果が、手書きされた楕円１１０１の寸法が維持されて、活字組みの楕円１１０１ｂとして表示され、楕円１１０１内に入力された手書きされたテキスト１１０２が、活字組みの楕円１１０１ｂ内のデジタルインクテキスト１１０２ａとして表示される。テキスト１１０２が、テキストとして検出され、「Ｉｄｅａｔｉｏｎ」という語として認識され、楕円１１０１が、入力１１０１と入力１１０２の相対位置及び特性のため、認識された語１１０２を包含するコンテナとして識別される。コンテナとそれにより包含されるテキストは、互いに関連付けられて、これらの要素に対して実行されるいくつかのアクションがその他の要素上の反応をもたらすようにする。例えば、コンテナがユーザによって選択され、移動されるとき、包含されるテキストは、コンテナとともに移動され、テキストがユーザによって選択されて、拡大される、又は追加されるとき、コンテナは、より大きいテキストサイズ若しくはブロックに対応するようにサイズ変更される。そのようなオペレーションが、後段でより詳細に説明される。
【００８９】
図１４Ａにおいて、楕円コンテナ１１０１ａの下で入力された手描きされた形状１１０３が、デジタルインク形状１１０３ａとして表示される。図１４Ｂにおいて、図１３Ｂの認識結果が、手書きされた語１１０２の寸法、及び楕円１１０１からの分離が維持されて、活字組みの楕円コンテナ１１０２ｂ内の活字組みの語１１０２ｂとして表示され、活字組みの楕円コンテナ１１０１ｂの下で入力された手描きされた形状１１０３が、デジタルインク形状１１０３ａとして表示される。形状１１０３は、２ストロークで手描きされ、グループ化されたストロークは、非テキストとして検出され、形状１１０３の特性（すなわち、ラインが、三角形の１つの辺とそれの終端のうちの１つにおける対点を切断している）のため、先の閉じた矢印として認識される。矢印は、１つ又は２つの開いた（例えば、ｖ形状の）又は閉じた（例えば、三角形の）「矢じり」に終端する直線の、又は曲げられた「ステム」によって形成されているものとして定義される。この時点で、矢印１１０３は、入力１１０１と１１０３のそれらの相対位置（例えば、事前設定された空間分離閾値がアプリケーション１１２によって使用され、その閾値を下回る非線形形状に対する線形形状の終端の分離は、接続関係の高い尤度を示し、空間閾値は、例えば、約５ピクセル乃至約１００ピクセルに設定された、ストロークの平均ポイント若しくは重心の間のピクセル単位の距離として定義され得る）、及び／又は特性（例えば、コンテナに近接した、又は隣接する１つの終端を有する矢印は、接続関係の高い尤度を示し、近接性は、空間閾値と類似した距離範囲において定義される）のため、楕円１１０１のコネクタとして識別され得る。
【００９０】
代替として、この識別は、別の接続された形状（すなわち、矢印の他方の終端に隣接する形状）が入力されるまで延期されてよい。更に代替として、又は加えて、矢印１１０３には、コネクタであることの或る確率が割り当てられてよく、したがって、接続された形状が入力されると、又はコンテナ１１０１が、例えば、識別されたコネクタ１１０３がコンテナ１１０１とともに移動されるようにユーザによって選択されて、移動されると、識別決定が迅速に行われるようになる。そのようなオペレーションが、後段でより詳細に説明される。コネクタとして識別されると、コネクタ終端が、コネクタが接続する形状の境界と「接触する」ようにコネクタの接続された終端上の短いアニメーション、又はデジタルインク及び活字組みのインクのレンダリングなどの視覚的フィードバックがユーザに提供されてよい。
【００９１】
図１５Ａにおいて、コネクタ１１０４ａの下に入力された手描きされた形状１１０４が、デジタルインク形状１１０４ａとして表示される。図１５Ｂにおいて、図１４Ｂの認識結果が、手描きされた矢印１１０３の近接終端が活字組みの楕円１１０３ｂの境界上に位置付け変更されて、活字組みのコネクタ矢印１１０３ｂとして表示されて、識別されたコネクタステータス、及び維持される活字組みの楕円１１０１からの手描きされた矢印１１０３の遠位終端の範囲の視覚的フィードバックを提供し、コネクタ１１０３より下に入力された手描きされた形状１１０４が、デジタルインク形状１１０４ａとして表示される。形状１１０４は、入力１１０３と１１０４の相対位置及び／又は特性のため、非テキストであるものとして検出され、ダイヤモンドであるものとして認識され、かつそれのポイントのうちの１つがコネクタ１１０３に接続されているものとして識別される、単一の連続したストロークで手描きされる。前述したとおり、この識別は、コネクタ１１０３の識別を決めるのに使用され得る。コネクタ１１０３の活字組みの矢じりは、手描きされた矢じりと類似したサイズでレンダリングされても、コネクタの寸法（例えば、ピクセル単位で定義された長さ、及び幅若しくはインク重み）とともに拡大縮小される（例えば、同等の）標準化された矢じりが使用されてもよい。
【００９２】
図１６Ａにおいて、ダイヤモンド１１０４ａ内で入力された手書きされたテキスト１１０５がデジタルインクテキスト１１０５ａとして表示される。図１６Ｂにおいて、図１５Ｂの認識結果が、手描きされたダイヤモンド１１０４の寸法が維持され、かつ上方ポイントが活字組みのコネクタ１１０３ｂの（相対）近接終端に位置付け変更されて、活字組みのダイヤモンド１１０４ｂとして表示され、ダイヤモンド１１０４内に入力された手描きされたテキスト１１０５は、活字組みのダイヤモンド１１０４ｂ内のデジタルインクテキスト１１０５ａとして表示される。テキスト１１０５は、入力１１０４と入力１１０５の相対位置及び特性のため、テキストであるものとして検出され、「？」という記号であるものとして認識され、ダイヤモンド１１０５は、認識された記号１１０５を包含するコンテナとして識別される。
【００９３】
図１７Ａにおいて、ダイヤモンド１１０４ａの左に入力された手書きされたテキスト１１０６が、デジタルインクテキスト１１０６ａとして表示される。図１７Ｂにおいて、図１６Ｂの認識結果が、手描きされた記号１１０５の寸法、及びダイヤモンド１１０４からの分離が維持されて、活字組みの記号１１０５ｂとして表示され、活字組みのダイヤモンド１１０４ｂの左に入力された手書きされたテキスト１１０６が、デジタルインクテキスト１１０６ａとして表示される。テキスト１１０６は、テキストであるものとして検出され、「Ｎｏ  Ｇｏ」という語であるものとして認識される。この時点で、テキスト１１０６は、それらの相対位置のため、コンテナ１１０４に関連付けられたものとして識別される（例えば、事前設定され、かつ再設定可能な空間分離閾値が、アプリケーション１１２によって使用され、その閾値を下回る、テキストブロック及び非テキストブロックの平均中心又は重心（テキスト及び非テキストのｘ空間範囲とｙ空間範囲によって定義される）、ブロックの隣接する境界若しくは同一の境界（例えば、上部）などの、検出されたテキストと非テキストのジオメトリ特徴の分離は、複数の関連付けられた形状、複数の関連付けられたテキストブロック、並びに関連付けられた形状及びテキストブロックなどの、関連付けられたオブジェクトの高い尤度を示す）。識別された関連付けは、要素１１０４又は１１０６のうちの１つがユーザによって選択されて、移動される、又は編集される、例えば、サイズ変更される場合、その他の要素が、相対的移動若しくは編集を通じて影響されることを意味する。そのようなオペレーションが、後段でより詳細に説明される。
【００９４】
図１８Ａにおいて、語１１０６ａの下に入力され、かつダイヤモンド１１０４ａの別のポイントからの手描きされた形状１１０７が、デジタルインク形状１１０７ａとして表示される。図１８Ｂにおいて、図１７Ｂの認識結果が、手描きされた語１１０６の寸法、及びダイヤモンド１１０４に対する相対位置が維持されて、活字組みの語１１０６ｂとして表示され、活字組みの語１１０６ｂの下に、活字組みのダイヤモンド１１０４ｂの別のポイントから入力された手描きされた形状１１０７が、デジタルインクテキスト１１０７ａとして表示される。形状１１０７は、２ストロークで手描きされ、グループ化されたストロークは、形状１１０７の特性のため、非テキストとして検出され、先の閉じた矢印として認識される。この時点で、矢印１１０３と同様に、矢印１１０７は、ダイヤモンド１１０４のコネクタとして識別され得る。更に、この時点で、矢印１１０７は、入力１１０６と入力１１０７のそれらの相対位置（前述の事前設定された分離閾値によって決定された）及び／又は特性のため、語１１０６に関連付けられたものとして更に識別されてよく、したがって、テキスト１１０６は、コネクタ１１０７のラベルとして定義される。
【００９５】
この識別された関連付けは、例えば、コネクタ１１０８からテキスト１１０６の相対的分離がコンテナ１１０４からのものと比べて、より小さいため、かつ／又は包含されないテキスト（形状によって囲まれないテキストである）が、他の近接した形状タイプと比べて、近接したコネクタに関連付けられる可能性がより高いと考えられるため、コンテナ１１０４と語１１０６を切り離すのに使用され得る。代替として、又は更に、矢印１１０７及び１１０６は、互いに関連付けられていることの或る確率を割り当てられてよく、したがって、識別決定は、例えば、矢印が、ユーザによって選択され、サイズ変更されて、語１１０６が矢印１１０７に対するそれらの相対位置を保持するように移動されるようになると、迅速に行われる。そのようなオペレーションが、後段でより詳細に説明される。
【００９６】
図１９Ａにおいて、コネクタ１１０７ａの左に入力された手描きされた形状１１０８が、デジタルインク形状１１０８ａとして表示される。図１９Ｂにおいて、図１８Ｂの認識結果が、手描きされた矢印１１０７の近接終端が活字組みのダイヤモンド１１０４ｂのポイント上に位置付け変更され、かつダイヤモンド１１０４からの手描きされた矢印１１０７の遠位終端の範囲、及び関連付けられた語１１０６からの分離が維持されて、活字組みのコネクタ矢印１１０７ｂとして表示され、活字組みのコネクタ１１０７ｂの左に入力された手描きされた形状１１０８が、デジタルインク形状１１０８ａとして表示される。形状１１０８は、単一の連続したストロークで手描きされ、入力１１０７と入力１１０８の相対位置及び特性のため、非テキストとして検出され、円として認識され、コネクタ１１０７に接続されたそれの境界を有するものとして識別される。前述したとおり、この識別結果は、矢印１１０７のコネクタステータスを決定する、又は確認するのに使用され得る。円１１０８は、「ｏ」という文字とのそれの類似性のため、非テキストではなく、テキストとして容易に検出されている可能性があることに留意されたい。前述されたとおり、このことは、ディスアンビギュエータ１１６によって用いられるそれらの相対位置（及び、場合により、時間的入力）により、又はユーザに提供される訂正機構を通じて、形状１１０７と形状１１０８のグループ化及び確率スコアリングによって回避される。
【００９７】
図２０Ａにおいて、円１１０８ａの左に入力された手書きされたテキスト１１０９が、デジタルインクテキスト１１０９ａとして表示される。図２０Ｂにおいて、図１９Ｂの認識結果が、手描きされた円１１０８の寸法が維持され、かつ近接境界ポイントがコネクタ１１０７ｂの（相対）近接終端に位置付け変更されて、活字組みの円１１０８ｂとして表示され、活字組みの円１１０８ｂの左に入力された手書きされたテキスト１１０９が、デジタルインクテキスト１１０９ａとして表示される。テキスト１１０９は、テキストとして検出され、「Ｓｔｏｐ」という語として認識される。この時点で、テキスト１１０６は、図１７の時点におけるコンテナ１１０４及び語１１０６と同様に、それらの相対位置のため、形状１１０８に関連付けられたものとして識別される可能性が高く、このため、テキスト１１０９は、コンテナ１１０８のラベルとして定義される。
【００９８】
図２１Ａにおいて、ダイヤモンド１１０４ａの別のポイントから楕円１１０１ａの境界上の別のポイントまで形状１１０１ａ及び１１０４ａの右に入力された手描きされた形状１１１０が、デジタルインク形状１１１０ａとして表示される。図２１Ｂにおいて、図２０Ｂの認識結果が、手描きされた語１１０９の寸法、及び活字組みの円１１０８ｂに対する相対位置が維持されて、活字組みの語１１０９ｂとして表示され、活字組みのダイヤモンド１１０４ｂの別のポイントから活字組みの楕円１１０１ｂの境界上の別のポイントまで活字組みの形状１１０１ｂ及び１１０４ｂの右に入力された手描きされた形状１１１０が、デジタルインク形状１１１０ａとして表示される。形状１１１０は、単一の連続したストロークで手描きされ、形状１１１０の特性のため、非テキストとして検出され、曲げられたラインとして認識される。この時点で、ラインの終端は、コンテナ１１０１及び１１０４にそれぞれ接合するため、曲げられたライン１１１０は、これらのコンテナを接続するコネクタとして識別される。この識別結果は、矢じりなどのコネクタ要素の存在なしに得られる。これは、コネクタ検出の高い尤度に関する前述の空間閾値が、そのようなコネクタ要素の存在にかかわらず満たされるためである。
【００９９】
図２２Ａにおいて、楕円１１０１ａに近接したコネクタ１１１０ａの終端の上に入力された手描きされた形状１１１１が、デジタルインク形状１１１１ａとして表示される。図２２Ｂにおいて、図２１Ｂの認識結果が、手描きされたコネクタ１１１０の１つの終端が活字組みのダイヤモンド１１０４ｂのポイント上に位置付け変更され、かつ手描きされたコネクタ１１１０の他方の終端が活字組みの楕円１１０１ｂの境界上に位置付け変更され、かつ手描きされたライン１１１０内の曲りの寸法が維持されて、活字組みの曲げられたコネクタ１１１０ｂとして表示され、活字組みの楕円１１０１ｂに近接した活字組みのコネクタ１１１０ｂの終端の上に入力された手描きされた形状１１１１が、デジタルインク形状１１１１ａとして表示される。形状１１１１は、単一の連続したストロークで手描きされ、形状１１１１の特性（すなわち、三角形の１つの辺とそれの終端のうちの１つにおける対点がライン１１１０によって交差されている）のため、非テキストとして検出され、閉じた矢じりとして認識される。ライン１１１０に追加された矢じりのこの決定は、例えば、以下のとおり、全体的な確率スコアの増加によって、ライン１１１０のコネクタステータスを確認するのに使用されることが可能である。
【０１００】
矢印１１０３、１１０７、及び１１１０のそれぞれは、２ストロークを使用して手描きされる。しかし、各矢印の個々のストロークの入力タイミングは異なり、したがって、入力の活字組みに関するＨＷＲシステム１１４の戻される認識は異なる。すなわち、矢印１１０３と矢印１１０７のストロークは、時間の相対的に短い間隔内、例えば、１秒内で描かれ、したがって、それらは、レコグナイザ１１８へパースするためにディスアンビギュエータ１１６によって非テキストとして一緒に分類され（例えば、事前設定され、かつ再設定可能な時間分離閾値が、アプリケーション１１２によって使用され、その閾値を下回る描きストロークの間の時間分離は、ストロークが単一の形状の部分であることの高い尤度を示す）、このため、活字組みの矢印１１０３ｂ及び１１０７ｂは、ＨＷＲシステム１１４によって出力される。他方、矢印１１１０のストローク１１１０とストローク１１１１は、時間の相対的に長い、例えば、１秒を超える（例えば、時間分離閾値より大きい）間隔内で描かれ、したがって、ストローク１１１０は、単独でレコグナイザ１１８へパースされ、活字組みのライン１１１０ｂとして出力される。しかし、完全なコネクタ矢印１１１０の適切な識別は、入力されたストロークの空間スコア及び時間スコア並びにメトリック又は特性から計算された全体的な確率スコアを通じて提供される。すなわち、ストローク１１１０及び１１１１が同一のオブジェクトの一部であることに関する時間スコアが低い一方で、特性（すなわち、ライン１１１０が形状１１１１を切断すること）に基づく、ストローク１１１０及び１１１１が同一のオブジェクトの一部であることに関する高い空間スコアの組合せは、ストローク１１１０及び１１１１が１つの形状に属することの全体的な確率が高いことをもたらす。
【０１０１】
このことが、インクリメントの活字組み例に関する図２３に例示され、図２２Ｂの認識結果が、手描きされた矢じり１１１１のポイントが活字組みのライン１１１０ｂの終端上、及び活字組みの楕円１１０１ｂの境界上に位置付け変更されて、それにより、前述の処理の結果、活字組みのコネクタ１１１０ｂをコネクタ矢印として再形成して、活字組みのコネクタ矢じり１１１１ｂとして表示される。
【０１０２】
図２４Ａにおいて、コネクタ矢印１１１０ａの下に入力された手書きされたテキスト１１１２が、デジタルインクテキスト１１１２ａとして表示される。図２４Ｂにおいて、図２３の認識結果の活字組みのコネクタ矢印１１１０ｂの下に入力された手書きされたテキスト１１１２が、デジタルインクテキスト１１１２ａとして表示される。テキスト１１１２は、テキストとして検出され、「ＲＥＤＩＲＥＣＴ」という語として認識される。テキスト１１１２は、それらの相対位置のため、コネクタ１１１０に関連付けられたものとして識別される。
【０１０３】
図２５Ａにおいて、コネクタ１１０３ａの右に入力された手書きされたテキスト１１１３が、デジタルインクテキスト１１１３ａとして表示される。図２５Ｂにおいて、図２４Ｂの認識結果が、手描きされた語１１１２の寸法、及び活字組みのコネクタ１１１０ｂに対する相対位置が維持されて、活字組みの語１１１２ｂとして表示される。したがって、図１７及び図１８、並びに図２４及び図２５の検出された入力及び関連付けから、コネクタ、及び関連付けられたテキスト（例えば、コネクタラベル）の識別が、これらの要素が入力される順序にかかわらず、本システム及び本方法によって行われることがわかる。更に、図２５Ｂにおいて、活字組みのコネクタ１１０３ｂの右に入力された手書きされたテキスト１１１３が、デジタルインクテキスト１１１３ａとして表示される。テキスト１１１３は、テキストであるものとして検出され、「Ｓ−Ｇａｔｅ」という用語であるものとして認識される。テキスト１１１３は、それらの相対位置のため（例えば、テキスト１１１３は、形状に包含されず、図１１００のその他の要素のいずれと比べてもコネクタ１１０３により近い）、コネクタ１１０３に関連付けられたものとして識別される。
【０１０４】
図２６Ａにおいて、ダイヤモンド１１０４ａの別のポイントからダイヤモンド１１０４ａの下に入力された手描きされた形状１１１４が、デジタルインク形状１１１４ａとして表示される。図２６Ｂにおいて、図２５Ｂの認識結果が、手描きされた用語１１１３の寸法、及び活字組みのコネクタ１１０３ｂに対する相対位置が維持されて、活字組みの用語１１１３ｂとして表示され、活字組みのダイヤモンド１１０４ｂの別のポイントから活字組みのダイヤモンド１１０４ｂの下に入力された手描きされた形状１１１４が、デジタルインク形状１１１４ａとして表示される。形状１１１０は、２ストロークで手描きされ、グループ化されたストロークは、非テキストとして検出され、形状１１１４の特性のため、先の開いた矢印として認識される。前の場合と同様に、矢印１１１４は、コンテナ１１０４とのその関係、及びそれの矢印特性のため、この時点でコネクタであると決定され得る。
【０１０５】
図２７Ａにおいて、コネクタ矢印１１１４ａの左に入力された手書きされたテキスト１１１５が、デジタルインクテキスト１１１５ａとして表示される。図２７Ｂにおいて、図２６Ｂの認識結果が、手描きされた矢印１１１４の近接終端が活字組みのダイヤモンド１１０４ｂのポイント上に位置付け変更され、かつ活字組みのダイヤモンド１１０４ｂからの手描きされた矢印１１１４の遠位終端の範囲が維持されて、活字組みのコネクタ矢印１１１４ｂとして表示され、活字組みのコネクタ矢印１１１４ｂの左に入力された手書きされたテキスト１１１５が、デジタルインクテキスト１１１５ａとして表示される。テキスト１１１５は、テキストとして検出され、「Ｇｏ」という語として認識される。テキスト１１１５は、それらの相対位置により、コネクタ１１１４に関連付けられものとして識別される。
【０１０６】
図２８Ａにおいて、コネクタ１１１４ａの下に入力された手書きされたテキスト１１１６が、デジタルインクテキスト１１１６ａとして表示される。図２８Ｂにおいて、図２７Ｂの認識結果が、手描きされた語１１１５の寸法、及び活字組みのコネクタ１１１４ｂに対する相対位置が維持されて、活字組みの語１１１５ｂとして表示され、活字組みのコネクタ１１１４ｂの下に入力された手書きされたテキスト１１１６が、デジタルインクテキスト１１１６ａとして表示される。テキスト１１１６は、テキストとして検出され、「Ｉｎｉｔｉａｌｉｚａｔｉｏｎ」という語として認識される。この時点において、テキスト１１１６は、入力１１１４と入力１１１６のそれらの相対位置（例えば、分離閾値によって決定された）及び／又は特性（例えば、矢印の先の下に位置付けられた語）のため、コネクタ１１１４に関連付けられたものとして識別され得る。この検出された関連付けは、テキスト１１１６のコンテナの存在なしに実行される。
【０１０７】
図２９Ａにおいて、語１１１６ａを囲むように入力された手描きされた形状１１１７が、デジタルインク形状１１１７ａとして表示される。図２９Ｂにおいて、図２８Ｂの認識結果が、手描きされた語１１１６の寸法、及び活字組みのコネクタ１１１４ｂに対する相対位置が維持されて、活字組みの語１１１６ｂとして表示される。したがって、図１２及び図１３、並びに図２８及び図２９の検出された入力及び関連付けから、コンテナ及び包含されるテキストの識別が、これらの要素が入力される順序にかかわらず、本システム及び本方法によって行われることがわかる。更に、活字組みの語１１１６ｂを囲むように入力された手描きされた形状１１１７が、デジタルインク形状１１１７ａとして表示される。形状１１１７は、単一の連続したストロークで描かれ、非テキストとして検出され、入力１１１６と入力１１１７の相対位置及び特性のため、語１１１６を包含するコンテナとして識別され、楕円として認識される。コンテナ１１１７の決定は、例えば、矢印１１１４がコンテナ１１０４とコンテナ１１１７との間に位置付けられていることによる全体的な確率スコアの増加によって、矢印１１１４のコネクタステータスを確認するのに使用されることが可能である。
【０１０８】
図３０Ａにおいて、コンテナ１１１７ａの下に入力された手描きされた形状１１１８が、デジタルインク形状１１１８ａとして表示される。図３０Ｂにおいて、図２９Ｂの認識結果が、手描きされた楕円１１１７の寸法が維持され、かつ活字組みの矢印１１１６の先からの分離が維持されて（これは、ここで、異なるタイプのコネクタ、例えば、先の閉じた矢印対先の開いた矢印の全てのレンダリングが、コネクタであると考えられるために接続された形状と実際に「接続する」必要がないことを示すのに行われる）、活字組みの楕円１１１７ｂとして表示され、活字組みのコンテナ１１１７の下に入力された手描きされた形状１１１８が、デジタルインク形状１１１８ａとして表示される。形状１１１８は、単一の連続したストロークで手描きされ、非テキストとして検出され、形状１１１８の特性のため、先の開いた矢印として認識される。前の場合と同様に、矢印１１１８は、それの矢印特性、及びコンテナ１１１７とのそれの関係のため、この時点でコネクタであると決定され得る。
【０１０９】
図３１Ａにおいて、矢印１１１８ａの一部と重なり合うコネクタ１１０４ａの下に入力された手描きされた形状１１１９が、デジタルインク形状１１１９ａとして表示される。図３１Ｂにおいて、図３０Ｂの認識結果が、手描きされた矢印１１１８の近接終端が活字組みの楕円１１１７の上に位置付け変更され、かつ活字組みの楕円１１１７からの手描きされた矢印１１１８の遠位終端の範囲が維持されて、活字組みのコネクタ矢印１１１８ｂとして表示され、活字組みの矢印１１１８の一部と重なり合う活字組みのコネクタ１１０４の下に入力された手描きされた形状１１１９が、デジタルインク形状１１１９ａとして表示される。形状１１１９は、単一の連続したストロークで手描きされ、非テキストとして検出され、入力１１１８と入力１１１９の相対位置及び／又は特性のため、ダイヤモンドとして認識され、その上方ポイント及び下方ポイントがコネクタ１１１８によって交差されているものとして識別される。この時点において、（確率的な）コンテナとしてのダイヤモンド１１１９、及びダイヤモンド１１１９と（確率的な）コネクタ矢印１１１８との間の接続関連付けの決定は、ダイヤモンド１１１９がコネクタ１１１８の「自由」終端に近接して（例えば、矢じりに）位置付けられていないので、低い確率スコアを割り当てられる。
【０１１０】
図３２Ａにおいて、ダイヤモンド１１１９ａ内の、かつその内部でコネクタ１１１８ａの一部と重なり合う手描きされた入力１１２０が、デジタルインク１１２０ａとして表示される。図３２Ｂにおいて、図３１Ｂの認識結果が、手描きされたダイヤモンド１１１９の寸法が維持され、かつ上方ポイント及び下方ポイントが活字組みのコネクタ１１１８の上に位置付け変更されて、活字組みのダイヤモンド１１１９ｂとして表示され、活字組みのダイヤモンド１１１９内の、かつその内部で活字組みのコネクタ１１１８の一部と重なり合う手描きされた入力１１２０が、活字組みのダイヤモンド１１１９ｂ内でデジタルインク１１２０ａとして表示される。入力１１２０は、手書きされた編集ジェスチャとして検出され、ダイヤモンド１１１９内の矢印１１１８のステム部分に対する掻き消しとして識別される。この掻き消し編集オペレーションは、アプリケーション１１１２によって、ダイヤモンド１１１９ｂ内の矢印１１１８の部分の消去として解釈される。その結果、矢印１１１８は、一方が、コンテナ１１１７とダイヤモンド１１１９の上部ポイントとの間のライン、他方が、ダイヤモンド１１１９の下部ポイントから突出する矢印である、２つの形状に分割される。この時点で、ラインは、コンテナ１１１７とダイヤモンド１１１９との間のコネクタとして識別され、矢印は、それの矢印特性、及び形状１１１９とのそれの関係のため、コネクタである可能性が高いものとして識別され、ダイヤモンド１１１９は、コンテナである可能性が高いものとして結果的に検出される。
【０１１１】
図３３Ａにおいて、消去識別が、デジタルインク矢印１１１８ａが、コンテナ１１１７ａとコンテナ１１１９ａの間のデジタルインクライン１１２１ａとして表示されるラインコネクタ１１２１と、コンテナ１１１９ａの下部から突出するデジタルインク矢印１１２２ａとして表示される矢印１１２２に分割されることをもたらす。更に、ダイヤモンド１１１９ａに近接したコネクタ１１２１ａの終端の上に入力された手描きされた形状１１２３が、デジタルインク形状１１２３ａとして表示される。図３３Ｂにおいて、消去識別は、活字組みの矢印１１１８ｂが、活字組みのコンテナ１１１７ｂと活字組みのコンテナ１１１９ｂとの間の活字組みのラインコネクタ１１２１ｂとして表示されるラインコネクタ１１２１と、活字組みのコンテナ１１１９ｂの下部から突出する活字組みの矢印１１２２ｂとして表示される矢印１１２２に分割されることをもたらす。更に、活字組みのダイヤモンド１１１９ｂに近接した活字組みのコネクタ１１２１の終端の上に入力された手描きされた形状１１２３が、デジタルインク形状１１２３ａとして表示される。形状１１２３は、単一の連続したストロークで手描きされ、非テキストとして検出され、形状１１２３の特性のため、閉じた矢じりとして認識される。ライン１１２１に追加された矢じりのこの決定は、前述された様態でライン１１２１のコネクタステータスを確認するのに使用されることが可能である。更に、この時点で、新たに分割された矢印１１２２が、コンテナ１１１９とのそれの関係、及びそれの矢印特性のため、コネクタであると決定され得る。
【０１１２】
図３４Ａにおいて、ダイヤモンド１１１９ａ内に入力された手書きされたテキスト１１２４が、デジタルインクテキスト１１２４ａとして表示される。図３４Ｂにおいて、図３３Ｂの認識結果が、手描きされた矢じり１１２３のポイントが活字組みのライン１１２１ｂの終端の上に、かつ活字組みのダイヤモンド１１１９ｂの上部ポイントの上に位置付け変更されて、それにより、前述の処理の結果、活字組みのコネクタ１１２１ｂをコネクタ矢印として再形成して、活字組みのコネクタ矢じり１１２３ｂとして表示される。更に、活字組みのダイヤモンド１１１９ｂ内に入力された手書きされたテキスト１１２４が、活字組みのダイヤモンド１１１９ｂ内にデジタルインクテキスト１１２４ａとして表示される。テキスト１１２４は、テキストとして検出され、「？」という記号として認識され、ダイヤモンド１１１９がコンテナであることの識別が、それが認識された記号１１２４を包含するので、確認される。
【０１１３】
図３５Ａにおいて、ダイヤモンド１１１９ａの別のポイントから入力された手描きされた形状１１２５が、デジタルインク形状１１２５ａとして表示される。図３５Ｂにおいて、図３４Ｂの認識結果が、手描きされた記号１１２４の寸法、及び活字組みのダイヤモンド１１１９ｂからの分離が維持されて、活字組みのシンボル１１２４ｂとして表示され、活字組みのダイヤモンド１１１９ｂのポイントから入力された手描きされた形状１１２５が、デジタルインク形状１１２５ａとして表示される。形状１１２５は、複数のストロークで手描きされ、非テキストとして検出され、形状１１２５の特性のため、先の閉じた矢印として認識される。前の場合と同様に、矢印１１２５は、それの矢印特性、及びコンテナ１１１９とのそれの関係のため、この時点でコネクタであると決定され得る。
【０１１４】
図３６Ａにおいて、コネクタ１１２５ａの左に入力された手描きされた形状１１２６が、デジタルインク形状１１２６ａとして表示される。図３６Ｂにおいて、図３５Ｂの認識結果が、手描きされた矢印１１２５の近接終端が活字組みのダイヤモンド１１１９ｂの近接ポイントの上に位置付け変更され、かつ活字組みのコンテナ１１１９ｂからの手描きされた矢印１１２５の遠位終端の範囲が維持されて、活字組みのコネクタ矢印１１２５ｂとして表示され、活字組みのコネクタ１１２５ｂの左に入力された手描きされた形状１１２６が、デジタルインク形状１１２６ａとして表示される。形状１１２６は、単一の連続したストロークで手描きされ、非テキストとして検出され、入力１１２５と入力１１２６の相対位置及び特性のため、方形として認識され、その境界がコネクタ１１２５に接続されているものとして識別される。前述されたとおり、この識別結果は、矢印１１２５のコネクタステータスを確認するのに使用され得る。
【０１１５】
前述の認識された先の閉じた矢印は、矢じりとして手描きされた塗りつぶされていない三角形、又は塗りつぶされた部分がない三角形を含み、これは、アプリケーション１１２によって、デジタルインクにおける塗りつぶされていない閉じた矢じり、及び活字組みのインクにおける塗りつぶされた閉じた矢じりにレンダリングされる（例えば、図１４及び図１５参照）。その一方で、先の閉じた矢印１１２５は、矢じりとして手描きされた塗りつぶされた（複数のストローク、又は方向の多くの変更を有する単一の連続したストロークを使用して）三角形を含み、これは、アプリケーション１１２によって、デジタルインクにおける塗りつぶされた閉じた矢じり（図３５Ａ参照）、及び活字組みのインクにおける塗りつぶされた閉じた矢じり（図３６Ｂ参照）にレンダリングされる。したがって、活字組みの結果は、同一である。代替として、塗りつぶされていない矢じりが、アプリケーション１１２のＵＩを通じてユーザによって選択可能であるものとして、活字組みのインクにおいて保持されることが可能である。
【０１１６】
図３７Ａにおいて、手描きされた形状１１２７が、方形１１２６ａと重なり合うデジタルインク形状１１２７ａとして表示される。図３７Ｂにおいて、図３６Ｂの認識結果が、手描きされた方形１１２６の寸法が維持され、かつ近接境界ポイントが活字組みのコネクタ１１２５ｂの（相対）近接終端に位置付け変更されて、活字組みの方形１１２６ｂとして表示され、手描きされた形状１１２７が、活字組みの方形１１２６ｂと重なり合うデジタルインク形状１１２７ａとして表示される。形状１１２７は、単一の連続したストロークで手描きされ、非テキストとして検出され、円として認識される。以前に識別された形状と実質的に重なり合う形状の検出は、アプリケーション１１２によって上書きジェスチャ又は置換えジェスチャとして解釈される。例えば、事前設定され、かつ再設定可能なジオメトリ閾値が、アプリケーション１１２によって使用され、その閾値未満の重ね合わされたジオメトリ形状の線形ポイント、境界、又は周辺の間のアベレージ距離又は平均距離は、上書きジェスチャの高い尤度を示す。したがって、上書きされた形状は、表示から削除され、又は省かれ（例えば、それに包含されるテキストを伴って、又は伴わずに）、新たな形状で置き換えられる。
【０１１７】
図３８Ａにおいて、検出された上書きジェスチャが、方形１１２６ａがデジタルインク円１１２７ａとして表示された円１１２７で置き換えられることをもたらし、コネクタ矢印１１２５ａの上に入力された手書きされたテキスト１１２８が、デジタルインクテキスト１１２８ａとして表示される。図３８Ｂにおいて、検出された上書きジェスチャが、手描きされた円１１２７の寸法が維持され、かつ近接境界ポイントが活字組みのコネクタ１１２５ｂの（相対）近接終端に位置付け変更されて、活字組みの方形１１２６ｂが活字組みの円１１２７ｂとして表示された円１１２７で置き換えられることをもたらし、活字組みのコネクタ矢印１１２５ｂの上に入力された手書きされたテキスト１１２８が、デジタルインクテキスト１１２８ａとして表示される。テキスト１１２８は、テキストとして検出され、「Ｎｏ  Ｇｏ」という語として認識される。テキスト１１２８は、それらの相対位置のため、コネクタ１１２５に関連付けられたものとして識別される。
【０１１８】
図３９Ａにおいて、手描きされた入力１１２９が、語１１２８ａと重なり合うデジタルインク１１２９ａとして表示される。図３９Ｂにおいて、図３８Ｂの認識結果が、手描きされた語１１２８の寸法、及び活字組みのコネクタ１１２５ｂに対する相対位置が維持されて、活字組みの語１１２８ｂとして表示され、手描きされた入力１１２９が、活字組みの語１１２８ｂと重なり合うデジタルインク１１２９ａとして表示される。入力１１２９は、手書きされた編集ジェスチャとして検出され、語１１２８に対する掻き消しとして識別される。この掻き消し編集オペレーションは、アプリケーション１１２によって語１１２８の消去として解釈される。
【０１１９】
図４０Ａにおいて、検出された消去が、表示からのデジタルインク語１１２８ａの除去をもたらし、図４０Ｂにおいて、検出された消去が、表示からの活字組みの語１１２８ｂの除去をもたらす。
【０１２０】
図４１Ａにおいて、ジェスチャ入力１１３０が、検出され、コネクタ１１０７ａのラベル１１０６ａの選択として識別されて、それにより、ラベル１１０６ａを囲む選択ボックス１１３１の表示が、後段で説明される選択モードプロパティを有する選択された活字組みのラベル１１０６ｃの表示によって置き換えられて、それにより、ユーザに識別されたジェスチャの視覚的フィードバックを提供することをもたらす。ジェスチャ１１３０は、例えば、図４１に描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。そのようなジェスチャ、及び「長い」というそれの相対的タイミングは、当業者によってよく理解される。
【０１２１】
図４１Ｂにおいて、選択ジェスチャの検出が、活字組みのラベル１１０６ｂを囲む選択ボックス１１３１の表示もまた、選択された活字組みのラベル１１０６ｃの表示によって置き換えられることをもたらす。選択ボックス１１３１は、コンテンツに対するインタラクションオペレーションを提供するためのハンドル１１３１ａを有して表示される。使用される選択ジェスチャに依存して、異なる選択モードが開始されることが可能である。例えば、図４０に例示される長い押し付け選択ジェスチャが、アプリケーション１１２によって、マルチ選択モード、すなわち、複数の要素の選択を開始することとして検出され、アプリケーション１１２は、他の図要素のその後の選択を予期するようになる。
【０１２２】
したがって、図４１Ａにおいて、その後のジェスチャ入力１１３２がコンテナ１１０８ａのラベル１１０９ａの選択として検出されて、識別され、図４１Ｂにおいて、活字組みのコンテナ１１０８ｂの活字組みのラベル１１０９ｂの選択として検出されて、識別される。ジェスチャ１１３２は、例えば、図４１に描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の短いタップである。そのようなジェスチャ、及び「短い」というそれの相対的タイミングは、当業者によってよく理解される。選択モードがアクティブである間、ダイアグラム１１１０の選択された要素は、選択されない活字組みのバージョン（例えば、異なる色及び／又はより大きいインク重み）とは異なるプロパティを有する活字組みのバージョンとして表示される。更に、ダイアグラム１１００の選択されない要素は、通常のレンダリングとは異なるように（例えば、図４１に示されるとおり、例えば、約２０％乃至約５０％、低減された不透明度又はインク重みで）表示され得る。
【０１２３】
前述のとおり、コンテナ及びコネクタ、並びにテキストを含む形状の選択中、一次選択モード表示が、ユーザに検出された選択の視覚的フィードバックを提供するように行われる。選択モード表示は、いくつかの様態でレンダリングされることが可能である。例えば、デジタルインクと活字組みのインクの両方が、前述された選択モードプロパティを有する選択された活字組みのインクとして表示され得る。代替として、活字組みのインクは、選択された活字組みのインクとして表示されてよく、デジタルインクに関して、デジタルインクと対応する活字組みのインクの両方が、活字組みのインクが選択された活字組みのインクとして表示され、かつデジタルインクが、前述された非選択プロパティのように、低減された強調で表示されて、一緒に表示されてよい。この選択モードレンダリングのいくつかの例が、図６８乃至図７２に示される。
【０１２４】
図６８Ａにおいて、手描きされた形状が、他の形状も、他のテキストコンテンツもまったく伴わないデジタルインク形状６８０として表示される。形状６８０は、非テキストとして検出され、三角形として認識される。更に、三角形６８０内で行われたジェスチャ入力６８２が、検出され、三角形６８０の選択として識別される。ジェスチャ６８２は、例えば、図６８Ａに描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。
【０１２５】
図６８Ｂにおいて、選択ジェスチャの検出が、低減された強調で（例えば、グレー表示されて）、かつ高められた強調で（例えば、三角形内の異なる色及び色塗りつぶしで）レンダリングされ、かつ境界（選択）ボックス６８６によって境界づけられた（色塗りつぶしは、境界づけられた形状だけでなく、境界ボックス全体の内部であってよい）選択された活字組みのインク三角形６４８と重ね合わされて、デジタルインク三角形６８０ａを表示させる。このようにして、ユーザには、選択検出、及び手描きされた形状の活字組みされた範囲の感覚のフィードバックが提供されて、元の入力コンテンツの表示を維持しながら、例えば、移動オペレーション及びサイズ変更オペレーションを導く。
【０１２６】
図６９Ａにおいて、手描きされた形状及びテキストが、それぞれ、デジタルインク形状６９０及びデジタルインクテキスト６９２として表示される。形状６９０は、非テキストとして検出され、円として認識され、テキスト６９２は、テキストとして検出され、「Ｔｅｘｔ」という語として認識され、形状６９０は、語６９２を包含するコンテナとして識別される。更に、語６９２の上で行われるジェスチャ入力６９４が、検出され、語６９２の選択として識別される。ジェスチャ６９４は、例えば、図６９Ａに描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。
【０１２７】
図６９Ｂにおいて、選択ジェスチャの検出が、デジタルインク円６９０の表示が維持されながら、低減された強調で（例えば、グレー表示されて）、かつ高められた強調で（例えば、異なる色で）レンダリングされ、かつ境界（選択）ボックス６９８によって境界づけられた（色塗りつぶしで）選択された活字組みのインク語６９６と重ね合わされて、デジタルインク語６９２ａを表示させる。このようにして、ユーザには、選択検出、及び手描きされたテキストの活字組みされた範囲の感覚のフィードバックが提供されて、元の入力コンテンツの表示を維持しながら、例えば、移動オペレーション及びサイズ変更オペレーションを導く。
【０１２８】
図７０Ａにおいて、手描きされた形状及びテキストが、それぞれ、デジタルインク形状７００及びデジタルインクテキスト７０２として表示される。形状７００は、非テキストとして検出され、長円として認識され、テキスト７０２は、テキストとして検出され、「Ｉｎｉｔｉａｌｉｚａｔｉｏｎ」という語として認識され、形状７００は、語７０２を包含するコンテナとして識別される。更に、長円７００の境界又は周辺の上で行われるジェスチャ入力７０４が、検出され、長円７００の選択として識別される。ジェスチャ７０４は、例えば、図７０Ａに描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。
【０１２９】
図７０Ｂにおいて、選択ジェスチャの検出が、デジタルインク語７０２の表示が維持されながら、低減された強調で（例えば、グレー表示されて）、かつ高められた強調で（例えば、長円内で異なる色及び色塗りつぶしで）レンダリングされ、かつ境界（選択）ボックス７０８によって境界づけられた選択された活字組みのインク長円７０６と重ね合わされて、デジタルインク長円７００ａを表示させる。このようにして、ユーザには、選択検出、及び手描きされた形状の活字組みされた範囲の感覚のフィードバックが提供されて、元の入力コンテンツの表示を維持しながら、例えば、移動オペレーション及びサイズ変更オペレーションを導く。
【０１３０】
図７１Ａにおいて、図６９Ａのデジタルインク円６９０及びデジタルインク語６９２が、表示される。コンテナ６９０内で、但し、語６９２の上ではない所で行われるジェスチャ入力７１０が、検出され、コンテナ全体、すなわち、円６９０とテキスト６９２の両方の選択として識別される。ジェスチャ７１０は、例えば、図７１Ａに描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。
【０１３１】
図７１Ｂにおいて、選択ジェスチャの検出が、低減された強調で、かつ高められた強調でレンダリングされ、かつ境界（選択）ボックス７１４によって境界づけられた選択された活字組みの円７１２及び選択された活字組みのインク語６９６と重ね合わされて、デジタルインク円６９０ａ及びデジタルインク語６９２ａを表示させる。このようにして、ユーザには、選択検出、及び手書きされたコンテナ全体の活字組みされた範囲の感覚のフィードバックが提供されて、元の入力コンテンツの表示を維持しながら、例えば、移動オペレーション及びサイズ変更オペレーションを導く。
【０１３２】
図７２Ａにおいて、手描きされた形状が、デジタルインク形状７２０として表示され、手書きされたテキストが、デジタルインクテキスト７２１として表示され、手描きされた入力が、デジタルインク入力７２２として表示される。形状７２０は、非テキストとして検出され、長円として認識され、テキスト７２１は、テキストとして検出され、「Ｉｄｅａ」という語として認識され、入力７２２は、非テキストとして、又はジャンクとして検出され、形状７２０は、語７２１と、入力７２２とを包含するコンテナとして識別される。コンテナ７２０内で、但し、語７２１の上でも、入力７２２の上でもない所で行われるジェスチャ入力７２３が、検出され、コンテナ全体、すなわち、長円７００、テキスト７２１、及び入力７２２の選択として識別される。ジェスチャ７２３は、例えば、図７２Ａに描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。
【０１３３】
図７２Ｂにおいて、選択ジェスチャの検出が、低減された強調で、かつ高められた強調でレンダリングされ、かつ境界（選択）ボックス７２６によって境界づけられた選択された活字組みのインク長円７２４及び選択された活字組みのインク語７２５と重ね合わされて、デジタルインク長円７２０ａ及びデジタルインク語７２１ａを表示させる。しかし、入力７２２は、非テキストとして分類された場合、レコグナイザ１１８によって認識可能でない、又はジャンクとして分類された場合、レコグナイザへパースされない。したがって、認識されない入力７２１は、選択されたデジタルインク７２７として表示され、これは、落書きとして、高められた強調でレンダリングされたデジタルインク入力７２２である。このようにして、ユーザには、選択検出、及び手書きされたコンテナの活字組みされた範囲の感覚のフィードバックが提供されて、元の入力コンテンツの表示を維持しながら、例えば、移動オペレーション及びサイズ変更オペレーションを導く。
【０１３４】
図６９乃至図７２において、検出される図要素の選択のタイプは、図要素と関係する選択ジェスチャの検出された位置に依存する。すなわち、これらの例のテキストを包含するコンテナに関して、ジェスチャ位置に依存して、コンテナだけ、テキストだけ、又はコンテナ及びそれに包含される要素（非テキストとテキストのいずれか、若しくは両方）が選択される。しかし、他の選択振舞いが可能である。例えば、コンテナ及びそれに包含される要素の内部又は上の任意の位置における選択ジェスチャが、コンテナ全体の選択をもたらし得る。更に、他の形状を包含し得るコンテナと、テキストだけを包含するコンテナであるセルとの間の見分けが、行われ得る。したがって、セル及びそれに包含されるテキストの内部、又は上の任意の位置における選択ジェスチャは、セル全体の選択をもたらし得る一方で、コンテナで行われる同様の選択は、図６９乃至図７２に示される選択をもたらす。
【０１３５】
また、デジタルインク表示の上の選択された活字組みのインクの前述の重ね合わせは、他の選択された図要素、特にコネクタにも適用可能である。代替として、これらの選択モード例に加えて、選択モードレンダリングなしにではあるが、デジタルインクと活字組みのインクの類似した重ね合わされた表示が提供されて、ユーザが、図要素自体を活字組みすることなしにデジタルインクの活字組みされたバージョンをプレビューすることを許してよい。プレビューモードは、例えば、図要素の上の短いタップ、又はユーザの指若しくはスタイラスの「ホバー」などのプレビュージェスチャが検出されると、開始される。
【０１３６】
例示的な入力に戻ると、図４２Ａにおいて、後に続く選択ジェスチャの検出が、選択モードプロパティを有し、それにより、ユーザに識別されたジェスチャの視覚的フィードバックを提供する、選択された活字組みのラベル１１０６ｃと、選択された活字組みのラベル１１０９ｃの表示によって置き換えられたラベル１１０９ａとについての選択ボックス１１３１の拡張された表示をもたらす。図４２Ｂにおいて、後に続く選択ジェスチャの検出は、選択された活字組みのラベル１１０６ｃと、選択された活字組みのラベル１１０９ｃの表示によってやはり置き換えられた活字組みのラベル１１０９ｂとを囲む選択ボックス１１３１の拡張された表示をもたらす。更なるジェスチャ入力１１３２は、検出され、図４２Ａにおいてコネクタ１１０３ａのラベル１１１３ａ、コネクタ矢印１１１０ａのラベル１１１２ａ、及びコネクタ矢印１１１０ａ自体の選択として識別され、図４２Ｂにおいて活字組みのコネクタ１１０３ｂの活字組みのラベル１１１３ｂ、活字組みのコネクタ矢印１１１０ｂの活字組みのラベル１１１２ｂ、及び活字組みのコネクタ矢印１１１０ｂ自体として識別される。
【０１３７】
図４３Ａにおいて、更なる選択ジェスチャの検出が、選択モードプロパティを有し、それにより、ユーザに認識の視覚的フィードバックを提供する、それぞれ、ラベル１１１２ａ及び１１１３ａ、並びにコネクタ１１１０ａに関する、マルチ選択された要素１１０３ａ、１１０６ａ、１１０９ａ、１１１０ａ、１１１２ａ、及び１１１３ａ、並びに選択された活字組みのラベル１１１２ｃ、選択された活字組みのラベル１１１３ｃ、及び選択された活字組みのコネクタ１１１０ｃについての選択ボックス１１３１の更なる拡張をもたらす。図４３Ｂにおいて、更なる選択ジェスチャの検出が、それぞれ、活字組みのラベル１１１２ｂ及び１１１３ｂ、並びに活字組みのコネクタ１１１０ｂに関する、マルチ選択された活字組みの要素１１０３ｂ、１１０６ｂ、１１０９ｂ、１１１０ｂ、１１１２ｂ、及び１１１３ｂ、並びに選択された活字組みのラベル１１１２ｃ及び１１１３ｃ並びにコネクタ１１１０ｃについての選択ボックス１１３１の更なる拡張をもたらす。
【０１３８】
図４４Ａ及び図４４Ｂにおいて、ジェスチャ入力１１３３が、選択ボックス１１３１の選択として検出される。ジェスチャ１１３３は、例えば、図４４に描かれるとおり、選択ボックス１１３１内の、但し、そこにおける図要素のいずれの上でもない所の、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。この認識されたジェスチャに応答して、アプリケーション１１２は、選択ボックス１１３１内の選択された要素上で実行されることが可能な或る編集選択肢を表示する選択メニュー１１３４を表示する。例えば、複製、コピー、及び貼り付けの選択肢が、メニューによって提供される。「ポップアップ」メニュー又はオンデマンドメニューのこの提供は、単に例であり、異なるオペレーションに関する異なるジェスチャ、又はデフォルトのオペレーションがジェスチャの使用を通じて選択されることなどの、編集オペレーションを提供するための他の機構が使用されることが可能である。
【０１３９】
図４５Ａ及び図４５Ｂにおいて、ジェスチャ入力１１３５が、メニュー１１３４から複製オペレーションの選択として検出され、図４５Ａにおけるラベル１１０６ａ、１１０９ａ、１１１２ａ、及び１１１３ａ、並びにコネクタ矢印１１１０ａ、並びに図４５Ｂにおける活字組みのラベル１１０６ｂ、１１０９ｂ、１１１２ｂ、及び１１１３ｂ、並びに活字組みのコネクタ矢印１１１０ｂの選択された要素が複製されることをもたらす。複製要素は、選択されたモードレンダリングにおける選択ボックス１１３１において、複製された元の要素と同一の位置関係で保持されるが、複製された要素の表示は、図４７におけるように、低減された強調の、通常のレンダリングに戻る、又は選択されないレンダリングに返る。ジェスチャ１１３０は、例えば、図４５に描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の押し付けである。更に、複製オペレーションは、いずれの選択されたテキストも省いて、例えば、ラベルを消去する／置き換える必要なしに、図の構造がコピーされ得るように構成され得る。
【０１４０】
図４６Ａ及び図４６Ｂにおいて、ジェスチャ入力１１３６が、矢印Ａの方向における選択ボックス１１３１上の移動オペレーションとして検出される。ジェスチャ１１３６は、例えば、図４６に描かれるとおり、選択ボックス１１３１内の、但し、そこにおける図要素のいずれの上でもない所のコンピューティングデバイス１００のインターフェース表面１０４上の長いタップアンドスライド（ドラッグ若しくはプッシュなどの）である。
【０１４１】
図４７Ａ及び図４７Ｂにおいて、移動オペレーションの完了が、検出され、コンテナ１１２９ａ若しくは１１２９ｂに隣接して位置付けられた選択された活字組みのラベル１１０６ｃ、コネクタ１１２５ａ若しくは１１２５ｂに隣接して位置付けられた選択された活字組みのラベル１１０９ｃ、コネクタ１１０３ａ若しくは１１０３ｂに隣接して位置付けられた選択された活字組みのラベル１１１２ｃ、コネクタ矢印１１１０ａ若しくは１１１０ｂに隣接して位置付けられた選択された活字組みのラベル１１１３ｃ、並びにコンテナ１１１７ａ及び１１１９ａ又は１１１７ｂ及び１１１９ｂを接続するように位置付けられた選択された活字組みのコネクタ矢印１１１０ｃの表示が、それぞれ、行われる。したがって、図が作成されるにつれ、既に描かれており、かつ認識されている図要素が、図の他の部分において再使用される、若しくは他の要素に、又は他の図の上に移動されることが可能である。このプロセスにおいて、複製矢印１１１０は、前述された様態で、元のコネクタ矢印１１１０のコネクタステータス、コンテナ１１１７及び１１１９のコンテナステータスのため、並びに、さもなければ、これらの要素の相対位置及び特性のため、コンテナ１１１７及び１１１９を接続するコネクタとして識別される。
【０１４２】
図４８Ａ及び図４８Ｂにおいて、ジェスチャ入力１１３７が、選択解除ジェスチャとして検出され、それに応答して、選択ボックス１１３１の表示が省かれ、かつ選択解除された図要素の選択モード活字組みの表示が省かれて、表示が、通常のデジタルインクバージョン又は活字組みの表示バージョンに返り、かつマルチ選択モードに関して適用可能である場合、その他の選択されない図要素の表示が、通常のレンダリングに戻される。ジェスチャ１１３７は、例えば、図４８に示されるとおり、選択ボックス１１３１の外部のコンピューティングデバイス１００のインターフェース表面１０４上の短いタップである。
【０１４３】
図９４Ａにおいて、ジェスチャ入力１１３８が、複製のコネクタ矢印１１１０ａの選択として検出される。図４９Ｂにおいて、ジェスチャ入力１１１３８が、複製の活字組みのコネクタ矢印１１１０ｂの選択として検出される。ジェスチャ１１３３は、例えば、図４９に描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の短いタップである。したがって、短いタップ選択ジェスチャは、アプリケーション１１２によって、ユニ選択モードを開始するもの、すなわち、図６８の例に示されるような単一の図要素の選択として識別されて、アプリケーション１１２が、選択された要素上で実行される後に続くオペレーションを予期するようになる。
【０１４４】
図５０Ａにおいて、選択検出に従って、コネクタ矢印１１１０ａが、選択モードプロパティを有する選択された活字組みの矢印１１１０ｃの表示によって置き換えられて、それにより、ユーザに検出の視覚的フィードバックを提供する。図５０Ｂにおいて、選択検出に従って、活字組みのコネクタ矢印１１１０ｂが、選択された活字組みの矢印１１１０ｃの表示によって置き換えられる。前述されたマルチ選択モードの場合と異なり、選択ボックスは、それに対するユーザのオペレーション中にコネクタの明確な表示を提供するためにコネクタ選択モードにおいても使用されることはない。
【０１４５】
図５１Ａ及び図５１Ｂにおいて、ジェスチャ入力１１３９が、矢印Ｂの方向で矢じりを有するコネクタ矢印ステムの矢じり及び／又は部分における曲げられたコネクタ矢印１１１０ｃに対する移動オペレーションとして検出される。ジェスチャ１１３９は、例えば、図５１において描かれるコンピューティングデバイス１００のインターフェース表面１０４上の長いタップアンドスライドである。コネクタ矢印１１１０ｃは、コンテナ１１１７及び１１１９に接続されたコネクタであるので、移動ジェスチャは、コンテナ１１１７に接続された矢じりステム部分だけに関係するものとして識別され、したがって、コンテナ１１１９に接続された、又はアンカされたコネクタ矢印１１１０ｃの終端は、移動オペレーション中に影響を及ぼされない。したがって、移動オペレーション中、コネクタ矢印１１１０は、コンテナ１１１７から離され、曲げられたコネクタ矢印１１１０ｃの或る部分のサイズ変更及び表示変更が行われ、主に、それぞれのコンテナに接続された垂直ステム部分を接続する水平ステム部分が、矢じりステムの移動に対応するようにサイズ変更される。そのような移動オペレーション中、「レンズ」などの特定の視覚的フィードバックが表示されて、特に、ユーザの指が使用される場合、オブジェクトとのインタラクションを導いてよい。
【０１４６】
図５２Ａ及び図５２Ｂにおいて、移動オペレーションの完了が検出され、より中心にあるように位置付け変更されたコンテナ１１１０の境界における曲げられたコネクタ矢印１１１０ｃの矢じりの接続ポイント又はアンカポイントの表示が行われ、ジェスチャ入力１１４０が検出され、選択解除ジェスチャとして識別される。ジェスチャ１１４０は、例えば、コネクタ１１１０から遠隔のコンピューティングデバイス１００のインターフェース表面１０４上の短いタップである。この移動オペレーションは、ユーザがどのように、アプリケーション１１２によって行われる接続ポイントのレンダリング及び位置付け変更を容易に調整することができるかを例示する。アプリケーション１１２は、認識された図を美化して、それが、最終的に、デジタル図を生成するための利用可能な技法の多くを使用して作成されることが可能な活字組みの形態のドキュメントの一部とされ得るようにしながら、ユーザの元の手描きされた入力に可能な限り少ない変更しか実行しないことによってバランスをとることを追求する。
【０１４７】
図５３Ａにおいて、選択解除の検出は、選択された活字組みのコネクタ１１１０ｃが省かれること、及びデジタルインクコネクタ１１１０ａ’としてのコネクタを表示させる。図５３Ｂにおいて、選択解除の検出が、選択された活字組みのコネクタ１１１０ｃが省かれること、及び活字組みのインクコネクタ１１１０ｂ’としてのコネクタを表示させる。新たに表示されたコネクタ１１１０ａ’及び１１１０ｂ’は、それぞれ、以前に表示されたデジタルインクコネクタ１１１０ａ及び活字組みのインクコネクタ１１１０ｂのサイズ変更されたバージョンである。活字組みのインクコネクタのサイズ変更オペレーションは、単純明快であり、当業者にはよく知られた技法を使用して達成される。しかし、デジタルインクのサイズ変更オペレーションは、元の描かれたインクと極めて異なるものとしてもたらされる操作されたデジタルインクを回避して、それにより、デジタルインクを更に操作する不必要なユーザインタラクションを回避するように、従来どおり、単なるデジタルインクの拡大縮小又は正規化が実行されない場合、単純明快ではない。コネクタのデジタルインク、及び他の要素が、本システム及び本方法におけるサイズ変更オペレーションにおいて操作される様態が、図７３乃至図７７を参照して次に説明される。
【０１４８】
図７３Ａは、曲げられた、又はｕ形状のコネクタ７３４によって接続されたボックス７３０とボックス７３２の手描きされた入力を示す。図７３Ｂは、コネクタ７３４’として表示される、コネクタ７３４のサイズ変更をもたらすボックス７３０及び７３２のそれぞれに対する移動オペレーションの実行の後の図７３Ａの手描きされた入力を示す。特に、ボックス７３０は、右に移動されて、コネクタ７３４’のアーム７３４ａ’として表示される、ボックス７３０において接続されたコネクタ７３４のアーム７３４ａの短縮化をもたらし、ボックス７３２は、左に移動されて、コネクタ７３４’のアーム７３４ｂ’として表示される、ボックス７３２において接続されたコネクタ７３４のアーム７３４ｂの延長をもたらす。移動オペレーションは、アーム７３４ａとアーム７３４ｂ（及び、したがって、コネクタ７３４’のアーム７３４ａ’とアーム７３４ｂ’）を接続するものとして識別されるコネクタ７３４のアーム７３４ｃに対する効果を有しない。すなわち、本システム及び本方法は、複数の接続部分又はサブコネクタから形成されるものとして曲げられたコネクタ、又は他のマルチアームコネクタを扱い、各サブコネクタは、コンテナ、及び別のサブコネクタなどの形状に、又は他の２つ（若しくはそれより多くの）サブコネクタに接続する。このようにして、サブコネクタは、コネクタの接続が全体（例えば、組み合わされたサブコネクタ）として維持されながら、その他のサブコネクタとは独立に操作されることが可能である。わかるとおり、コネクタ７３４のデジタルインクレンダリングされた特性（インク重み及び全体的な形状を含む）は、サイズ変更されたコネクタ７３４’のデジタルインクレンダリングにおいて実質的に維持される。これを達成する様態が、図７３Ｃ乃至図７３Ｅと関係して次に説明され、これらの図において、コネクタ７３４のアーム７３４ｂは、本システム及び本方法のオペレーションを例示するのに使用される。
【０１４９】
図７３Ｃは、図７３Ａのコネクタ７３４（ボックス７３２及びアーム７３４ｃのいくつかの部分も伴う）のアーム７３４ｂのズームインされたビューである。図７３Ｄは、図７３Ｂのコネクタ７３４’（ボックス７３２及びアーム７３４ｃのいくつかの部分も伴う）のアーム７３４ｂ’のズームインされたビューである。図７３Ｃ及び図７３Ｄのズームインされたビューは、アーム７３４ｂとアーム７３４ｂ’のズームインされた寸法が同一であるように同一の大きさのものである。図７３Ｅは、図７３Ｄのアーム７３４ｂ’のより大きい長さと適合するような大きさにおける、図７３Ｃに描かれる、アーム７３４ｂの更なるズームインされたビューである。したがって、図７３Ｅは、アーム７３４ｂ’のサイズ変更された長さを提供するアーム７３４ｂの拡大縮小を例示する。わかるとおりアーム７３４ｂの拡大縮小されたデジタルインクは、拡大縮小されないデジタルインクとは相当に異なり、したがって、望ましくない。
【０１５０】
従来の正規化は、異なる２つの技法を用いてこの問題に対処し、これらが、図７３Ｅと関係して次に説明される。第１の技法において、拡大縮小されるアーム７３４ｂの水平方向に沿った平均中心ラインがとられ、元のインク重み（すなわち、拡大縮小されないアーム７３４ｂの平均中心ラインからの水平の辺のアベレージ距離）が平均中心ラインの周りのデジタルインクを再生成するのに使用されて、それにより、拡大縮小されるアーム７３４ｂの水平の辺を破棄する。このオペレーションは、拡大されたレンダリングを解消するが、元のデジタルインクの辺と比べて、はるかに高い一様性を有するサイズ変更されたデジタルインク要素の辺を通常、もたらし、それにより、外見を相当に変更する。第２の技法において、拡大縮小されるアーム７３４ｂの水平の辺がとられ、元のインク重みが、辺からデジタルインクを再生成するのに使用されて、それにより、拡大縮小されるアーム７３４ｂの中心インクを破棄する。また、このオペレーションも拡大されたレンダリングを解消するが、元のデジタルインクの辺と比べて、はるかに低い一様性を有するサイズ変更されたデジタルインク要素の辺を通常、もたらし、それにより、外見を相当に変更する。これらの問題は、サイズ変更オペレーションがサイズの低減である場合にも同様に当てはまる。
【０１５１】
本システム及び本方法において、デジタルインクの拡大縮小されないバージョンと拡大縮小されるバージョンの態様が組み合わされて、元のデジタルインク要素の保持される特徴を有するサイズ変更されたデジタルインク要素を提供する。すなわち、アーム７３４ｂの終端における部分Ａが、図７３Ｃ及び図７３Ｄにおいて示されるとおり、サイズ変更されたアーム７３４ｂ’において拡大縮小されない形態で保持される。これらの部分の長さは、曲げられたコネクタのコーナ（図７３の場合のような）、矢印コネクタの矢じり、及び他の形状に対するジョイントなどの特徴的かつ目立つ特徴がサイズ変更されたコネクタにおいて維持されるように定義される。このようにして、特に矢じりは、サイズ変更されない。終端部分Ａ間のアーム７３４ｂのセクションにおいて、図７３Ｃにおける部分Ｂなどの相対的一様性の区域（すなわち、中心平均ライン及び水平の辺における水平方向に沿った垂直オフセットの段階的な変更）、及び図７３Ｃにおける部分Ｃなどの相対的に高い多様性の区域（すなわち、中心平均ライン及び水平の辺における水平方向に沿った垂直オフセットの急な変更）が決定される。
【０１５２】
相対的一様性の区域に関して、拡大縮小されるアームの水平の辺は、インク重みがサイズ変更されないインク重みに調整され、かつ中心水平部分が破棄されて、とられ、サイズ変更されたアーム７３４ｂ’における部分Ｂ’としてレンダリングされる（図７３Ｄに示されるとおり）。相対的一様性のため、サイズ変更されたデジタルインクのこの部分は、元のサイズ変更されないデジタルインクと実質的に類似していることがわかる。高い多様性の区域に関して、拡大縮小されるアームの中心平均ラインは、インク重みがサイズ変更されないインク重みに調整され、かつ辺が破棄されて、とられ、サイズ変更されたアーム７３４ｂ’における部分Ｃ’としてレンダリングされる（図７３Ｄに示されるとおり）。いくらかの多様性の保持のため、サイズ変更されたデジタルインクのこの部分は、特に図７３Ａ及び図７３Ｂのズームされないビューにおける、元のサイズ変更されないデジタルインクと実質的に類似していることがわかる。非テキストとテキストの両方である、全ての図要素のデジタルインクは、サイズ変更オペレーションのために同一の様態で扱われることが可能である。また、この扱いは、態様、方向、その他の変更などの他のオペレーションに関して行われることも可能である。
【０１５３】
例えば、図７４及び図７５は、デジタルインクボックスに対する移動オペレーションを、それに関連付けられたデジタルインクコネクタに対する結果的な効果とともに示す。図７４Ａにおいて、ボックス７４０が、選択ジェスチャ７４１の検出に応答して選択され、矢印Ｆの方向に移動される。ボックスは、２つの関連付けられたコネクタと、曲げられた先に開いた矢印コネクタ７４２と、直線の先の開いた矢印コネクタ７４３とを有する。移動オペレーションの完了における調整された表示が、図７４Ｂに示され、そこにおいて、コネクタ７４２及び７４３は、それぞれ、調整されたコネクタ７４２’及び７４３’として表示される。曲げられたコネクタ７４２は、別々のアームがそれぞれ、前述された様態で延長されて調整される。わかるとおり、コネクタ７４２の矢じりの寸法は、調整されたコネクタ７４２’において保持される。
【０１５４】
図７４Ａに実質的に垂直に表示されるコネクタ７４３は、前述された様態で短縮化されるように調整され、図７４Ｂにおける調整されたコネクタ７４３’として垂直ラインに対して傾斜した角度で表示される。わかるとおり、コネクタ７４３の矢じりの寸法は、調整されたコネクタ７４３’において保持される。コネクタの角度の変更は、コネクタのジオメトリを保持するように実行され、例えば、調整されたコネクタ７４３’が、元のコネクタ７４３と同様に実質的に直線であるようにレンダリングされ、ボックス７４０の移動により、曲線となるようにされない。そのような曲線化は、例えば、ボックス７４０及び別のボックス７４４に対するコネクタ７４３の接続ポイント又はアンカポイントが調整されたコネクタ７４３’に関して維持されたとした場合、要求される。しかし、接続ポイントの調整は、移動オペレーション中、及びその後、コネクタのジオメトリを保持するように、かつ妥当な表示変更を提供するように行われる。このことは、本システム及び本方法において、それぞれの接続された形状のジオメトリの中心を考慮に入れることによって達成される。
【０１５５】
図７４Ａにおいてわかるとおり、ボックス７４０及び７４４、並びに接続された他のボックス７４５及び７４６のジオメトリの中心は、アプリケーション１１２によって、バツ印Ｇによって示されるとおり決定される。また、例えば、曲げられたコネクタ７４２の「エルボー」において曲がる破線７４７として、ボックス７４０とボックス７４５との間のコネクタ７４２に関して示される、コネクタのジオメトリを考慮に入れるジオメトリの各中心と関連付けられたコネクタとの間の接続のパスも決定される。ボックス７４０が移動されるとき、接続されたボックスのジオメトリの中心の間の決定された接続パスが、例えば、図７４Ｂに示されるとおり、パスジオメトリを保持しながら、ジオメトリの中心の間に留まるように調整され、接続パス７４７は、それの曲げられたジオメトリを保持し、かつ直線のコネクタ７４３の接続パス７４８は、ボックス７４０とボックス７４４の重心の間のそれの直線のジオメトリを保持して、垂直線に対して角度を有するようになる。したがって、調整された曲げられたコネクタ７４２’は、調整された接続パス７４７に沿ってレンダリングされ、調整された曲げられたコネクタ７４３’は、調整された接続パス７４８に沿ってレンダリングされる。ジオメトリの中心、及び接続パスに関する描かれた印は、例示の目的でだけ提供され、アプリケーション１１２によってユーザに通常、表示されることはないことに留意されたい。しかし、アプリケーション１１２のＵＩは、ユーザに、例えば、編集オペレーション中、参照のためにそのような印を表示する能力を提供してよい。
【０１５６】
図７５Ａにおいて、ボックス７５０が、選択ジェスチャ７５１の検出に応答して選択され、矢印Ｈの方向に移動される。ボックスは、２つの関連付けられたコネクタ（本例においてより多くを有することが可能である）と、両方が実質的に直線のジオメトリを有し、かつ互いに実質的に平行である、第１の先の開いた矢印コネクタ７５２と、第２の先の開いた矢印コネクタ７５３とを有する。移動オペレーションの完了における調整された表示が、図７５Ｂに示され、そこにおいて、コネクタ７５２及び７５３が、調整されたコネクタ７５２’及び７５３’として表示される。図７５Ａに実質的に水平に表示される、コネクタ７５２及び７５３は、前述された様態で延長されるように調整され、かつ実質的に平行の整列を保持しながら、調整されたコネクタ７５２’及び７５３’として水平線に対して傾斜した角度で表示される。わかるとおり、コネクタ７５２及び７５３の矢じりの寸法は、調整されたコネクタ７５２’及び７５３’において保持される。
【０１５７】
図７４の例とは異なり、ボックス７５０及び接続されたボックス７５４のジオメトリ（Ｇ）の中心からのパスは、平行に整列されたコネクタ７５２及び７５３を通じて流れない。したがって、コネクタの実質的に平行の整列は、コネクタに対して実質的に全体的に平行に延びる平行のコネクタの共通の接続パスをそれらの間の実質的に中心に決定することによって、移動オペレーションにおいて尊重される。ボックス７５０が移動されるとき、共通の接続パスは、例えば、図７５Ｂに示されるとおり、パスジオメトリを保持しながら、ジオメトリの中心の間に留まるように調整され、共通の接続パス７５５は、ボックス７５０とボックス７５４のジオメトリの中心の間のそれの直線のジオメトリを保持して、水平線に対して角度を有するようになる。調整されたコネクタ７５２’及び７５３’は、調整された共通の接続パス７５５に沿ってレンダリングされて、元のコネクタ７５２及び７５３のそこからの平行の分離を保持するようになる。
【０１５８】
更に、図７６は、デジタルインクコネクタに対する移動オペレーションを、それに関連付けられたデジタルインクコネクタラベルに対する結果的な効果とともに示す。図７６Ａは、デジタルインクでレンダリングされた手描きされた図７６０を示す。図７６Ｂにおいて、コネクタ７６１の選択が、前述された選択モード活字組みの表示を通じて表示される。更に、選択されたコネクタ７６１のコネクタステータスが、コネクタ７６１の終端における接続ポイント７６２及び７６３の表示を通じて示される。選択されたコネクタは、終端７６３において矢印Ｉの方向に移動されることが追求され、移動中、接続区間７６４が表示される。図７６の例において、接続区間は、コネクタとのユーザのインタラクション中にユーザを導く選択モード色で色塗りつぶしされた円として表示されて、コネクタの１つ又は複数の終端が、コネクタとのインタラクションがその時点で止められた場合、それらの要素に対する接続をもたらす他の図要素への適切な近接性の範囲内にある時点（前述されたとおりに決定される）を示す。したがって、コネクタ７６１の終端７６３が、コンテナ７６５及び７６６から離れ過ぎて移動された場合、接続区間７６４の表示は、終端が別の要素に近接したところに再び運ばれるまで、止められる。わかるとおり、コネクタは、コンテナ内の、サブコンテナを含む、形状及びテキストに接続されることが可能である。
【０１５９】
図７６Ｃにおいて、コネクタ７６１は、終端７６３が新たな接続ポイント７６３’においてコンテナ７６５に接続されるように移動されている。その結果、コンテナ７６５、及び終端７６２が接続されたコンテナ７６７に対するコネクタ７６１の角度が、前述された様態で調整されたコネクタ７６１’として、コネクタ７６１のサイズ変更及び表示変更を伴って調整される。わかるとおり、コネクタ７６１の位置及び向きのこの調整は、コネクタ７６１に関連付けられたテキストラベル７６８の位置の結果的な調整をもたらし、この関連付けは、前述された様態で決定される。例えば、ラベル７６８の調整は、テキスト（認識されたテキストの重心からなどの）とコネクタ７６１との間のアベレージ距離を維持するように実行される。したがって、コネクタ７６１のユーザによるラベル付けは、移動オペレーションを通じて尊重される。更に、図７６Ｃにおいて、コネクタ７６１’が、終端７６２において矢印Ｊの方向に再び移動されることが追求され、移動中、接続区間７６４が再び表示される。
【０１６０】
図７６Ｄにおいて、コネクタ７６１’は、終端７６２が新たな接続ポイント７６２’においてコンテナ７６７に接続されるように移動されている。結果として、コンテナ７６５及び７６７に対するコネクタ７６１’の角度が、前述された様態で調整されたコネクタ７６１’’として、コネクタ７６１’のサイズ変更及び表示変更を伴って調整される。わかるとおり、コネクタ７６１’の位置及び向きのこの調整は、テキストラベル７６８の位置の結果的な調整を再びもたらす。ジェスチャ７６９が、選択解除ジェスチャとして検出され、したがって、図７６０が、移動されたコネクタ７６１及び関連付けられたテキストラベル７６８を伴って図７６Ｅに示されるとおり表示される。
【０１６１】
また、手描きされた図のユーザの意図を保持する様態で、組織チャート（図４参照）において特に使用される分岐したコネクタなどの、デジタルインクにおける複雑なコネクタに対する、又はそれらに効果を有する編集オペレーションを扱うことも、本システム及び本方法によって提供される。図７７Ａは、３つのレベルの階層構造を有するチャートとしてデジタルインクでレンダリングされた手描きされたダイアグラム７７０を示す。チャートの第２のレベルにおけるボックス７７１が、選択ジェスチャ７７２の検出において選択され、矢印Ｋの方向で移動される。ボックスは、４つの関連付けられたコネクタと、チャートの第１のレベルに対する分岐したコネクタ７７３と、チャートの第３のレベルに対する３つの「直線の」コネクタ７７４とを有する。分岐したコネクタ７７３は、上方分岐７７３ｂがトランク７７３ａから第１のレベルにおけるボックス７７５に垂直に上向きに延び、かつ３つの下方分岐７７３ｃがトランク７７３ａから第２のレベルにおけるボックス７７１及び２つのボックス７７６に垂直に下向きに延びて、水平方向に配置されたトランク７７３ａから形成されたサブコネクタを有する、前述されたとおりの、複雑なコネクタ又はマルチコネクタであるものとして本システム及び本方法によって検出される。ボックス７７１及びボックス７７６は、コネクタ７７４及びコネクタ７７７を経由して、それぞれ、第３のレベルにおけるテキストブロック７７８に接続される。
【０１６２】
移動オペレーションの完了における調整された表示が、図７７Ｂに示され、そこにおいて、コネクタ７７３及び７７４が、それぞれ、調整されたコネクタ７７３’及び７７４’として表示される。わかるとおり、直線のコネクタ７７４が、前述された様態で延長されるように調整され、分岐したコネクタ７７３が、分岐７７３ｂが調整された分岐７７３’として短縮されるように調整され、ボックス７７６に接続された分岐７７３ｃが、調整された分岐７７３ｃ’として延長され、移動されるボックス７７１に接続された分岐７７３ｃが、調整された分岐７７３ｃ’’として短縮され、トランク７７３ａが、トランク７７３ａの相対垂直位置は、その下のボックス７７１の移動に対応するように上向きに移動されるものの、調整なしに保持される。このようにして、手描きされたチャートの階層構造は、第１のレベルボックスと第２のレベルボックスの相対位置が第３のレベルのテキストブロックの相対位置と同様に保持されるので、尊重される。代替として、階層構造が重要であるものとして決定されない場合、コネクタ７７４経由で移動されるボックス７７１に接続されるテキストブロック７７８が、コネクタ７７４及び／又はボックス７７１を調整しないようにすることによってボックス７７１とともに移動されてよく、それに関連付けられたコネクタ及びテキストブロックは、トランク７７３ａの相対位置を調整しないようにすることによって分岐したコネクタのトランクの上に移動されてよい。更に、トランク自体は、移動オペレーションが、ボックスが互いにより離れる、又はより近づくことをもたらす場合、長さが小さくされても、大きくされてもよい。
【０１６３】
図の形状要素及びテキスト要素に対するこれらの例示的な編集オペレーションから、手描きされた図のデジタルインク要素との大きい範囲のインタラクションが本システム及び本方法によって提供されることが理解され、それらのインタラクションの効果及び結果は、デジタルインク自体の上に維持される。したがって、ユーザには、編集が実行されることを許すために図の活字組みのバージョンに変換することを必要とするのではなく、ユーザの手描きされたコンテンツに対する整合性のある制御が提供される。
【０１６４】
例示的な入力に戻ると、図５３Ａ及び図５３Ｂにおいて、ジェスチャ入力１１４１が、選択ジェスチャとして検出される。ジェスチャ１１４１は、例えば、図要素のいずれの上でもないコンピューティングデバイス１００のインターフェース表面１０４上の長い押し付けである。したがって、長い押し付け選択ジェスチャは、アプリケーション１１２によって、自由選択モードを開始するものとして、例えば、１つ若しくは複数の図要素の自由形態選択、又はいわゆる「ｌａｓｓｏ」ジェスチャとして識別されて、アプリケーション１１２が、選択された要素に対して実行される後に続くオペレーションを予期するようになる。この識別に応答して、自由選択アイコン１１４２が表示されてよく、それにより、ユーザに検出の視覚的フィードバックを提供する。
【０１６５】
図５４Ａ及び図５４Ｂにおいて、ジェスチャ入力１１４３が、矢印Ｃの方向における選択オペレーションとして検出される。ジェスチャ１１４３は、例えば、図５４に描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上のスライドである。この検出に応答して、選択区間１１４４が選択モードレンダリングとともに表示され、それにより、ユーザに検出の視覚的フィードバックを提供する。
【０１６６】
図５５Ａ及び図５５Ｂにおいて、自由選択ジェスチャ１１４３の継続が、選択区間１１４４の拡張された表示として検出され、認識される。
【０１６７】
図５６Ａ及び図５６Ｂにおいて、選択オペレーションの完了が、自由選択ジェスチャ１１４３がダイアグラム１１００の或る要素の周りにほぼ円の形態を完成させたことのため、検出され、選択ボックス１１４５が、完成された選択区間１１４４内の図要素についての結果、すなわち、複製のテキスト１１０６、１１０９、１１１２、及び１１１３、テキスト１１１６及び１１２４、複製の形状１１０３、並びに形状１１１０、１１１４、１１１７、１１１９、１１２２、１１２５、及び１１２９のそれぞれのデジタルインク形態及び活字組みのインク形態として表示される。これらの選択された要素は、選択されたモードプロパティを有する１１０３ｃ、１１０６ｃ、１１０９ｃ、１１１０ｃ、１１１２ｃ、１１１３ｃ、１１１４ｃ、１１１６ｃ、１１１７ｃ、１１１９ｃ、１１２２ｃ、１１２４ｃ、１１２５ｃ、及び１１２９ｃとして表示され、選択されない要素は、マルチ選択モードの非選択プロパティを有して表示され、それにより、ユーザに検出の視覚的フィードバックを提供する。したがって、複数の認識された図要素が、迅速に選択されることが可能である。
【０１６８】
図５６に示される例において、自由形態選択モードが、選択区間によって完全に囲い込まれた要素と選択区間内、すなわちコネクタ矢印１１１４内に部分的にだけ囲い込まれた要素もともに、選択されたものとして認識されるように構成される。代替として、自由形態選択モードは、選択区間によって完全に囲い込まれた要素だけが選択されたものとして認識されるように構成されてよい。後者の事例に関して、マルチ選択に含めるように部分的に囲い込まれた要素の選択が、前述のものなどの選択ジェスチャを通じてユーザによって行われることが可能である。任意の事例に関して、自由形態モード及びマルチ選択モードにおいて、選択された要素は、同一のジェスチャを通じて選択解除されることが可能である。例えば、図５６Ａ及び５６Ｂにおいて、ジェスチャ入力１１４６が、検出され、選択された活字組みのコネクタ１１１４ｃの選択解除として識別される。ジェスチャ１１４６は、例えば、図５６に描かれるとおり、コネクタ１１１４上、かつ選択ボックス１１４５内のコンピューティングデバイス１００のインターフェース表面１０４上の短いタップである。
【０１６９】
図５７Ａ及び図５７Ｂにおいて、検出結果は、選択解除されたコネクタ１１１４の選択モード活字組みの表示が、表示がそれぞれの通常のデジタルインク及び活字組みのインクに返り、かつ選択ボックス１１４５が結果的に小さくなって、選択解除されたコネクタ１１１４をもはや囲まなくなって、省かれることをもたらす。更に、ジェスチャ入力１１４７が、選択ボックス１１４５の選択として検出される。ジェスチャ１１４７は、例えば、図５７に描かれるとおり、選択ボックス１１４５内の、但し、そこにおける図要素のいずれの上でもない所の、コンピューティングデバイス１００のインターフェース表面１０４上の長いタップである。この認識されたジェスチャに応答して、アプリケーション１１２は、選択メニュー１１３４を表示する。更なるジェスチャ入力１１４８が、メニューからの複製オペレーションの選択として検出され、選択された要素が複製されることをもたらす。複製の要素は、複製された元の要素と同一の位置関係で選択されたモードレンダリングで選択ボックス１１４５において保持されるが、複製された要素の表示は、図５７における場合と同様に、低減された強調で、通常のレンダリングに戻る、又は選択されないレンダリングに返る。ジェスチャ１１４８は、例えば、図５７に描かれるとおり、コンピューティングデバイス１００のインターフェース表面１０４上の押し付けである。
【０１７０】
図５８Ａ及び図５８Ｂにおいて、ジェスチャ入力１１４９が、検出され、矢印Ｄの方向における選択ボックス１１４５に対する移動オペレーションとして識別される。ジェスチャ１１４９は、例えば、図５８に描かれるとおり、選択ボックス１１４５内の、但し、そこにおける図要素のいずれの上でもない所のコンピューティングデバイス１００のインターフェース表面１０４上の長いタップアンドスライドである。
【０１７１】
図５９Ａ及び図５９Ｂにおいて、ジェスチャ入力１１４９が、継続して検出され、選択ボックス１１４５、そこに包含される複製の要素を、選択ボックス１１４５の左境界及び右境界に沿い、かつその上及びその下に延びる破線の垂直ラインとしての整列ガイド１１５０の表示と一緒に移動させることとして識別される。そのような整列要素の表示の使用、レンダリング、及びタイミングは、当業者によって理解され、表示インターフェースの基礎をなす整列グリッドに関連して行われてよく、このグリッドは、図５９に示されるとおり、選択ボックスの１つ又は複数の範囲を定義するのに使用されてもよい。整列ガイド１１５０は、図１１００の移動しない要素に関して移動する要素のユーザによる配置においてユーザを導くように提供される。例えば、図５９において、スライドするジェスチャ入力１１４９による選択ボックス１１４５に対する移動オペレーションが、矢印Ｅの方向で認識され、それにより、ユーザが、選択されない要素に関連して複製された要素を位置付けることを追求する。移動オペレーションの完了において、ジェスチャ入力１１５１が、選択解除ジェスチャとして検出される。ジェスチャ１１５１は、例えば、図５９に示されるとおり、選択ボックスの外部のコンピューティングデバイス１００のインターフェース表面１０４上の短いタップである。
【０１７２】
図６０Ａ及び図６０Ｂにおいて、移動オペレーションの完了に応答して、選択ボックス１１４５の表示が省かれ、表示がそれぞれの通常のデジタルインク及び活字組みのインクに返って、選択解除された図要素の選択モード活字組みの表示が省かれ、かつ他の選択されない図要素の表示が、それぞれの通常のデジタルインク及び活字組みのインクに戻される。完了された移動オペレーションのため、図６０Ａにおける元の矢印１１２２に隣接して位置付けられた複製のコンテナ１１１７ａ、及び図６０Ｂにおける元の活字組みの矢印１１２２ｂに隣接して位置付けられた複製の活字組みのインクコンテナ１１１７ｂの表示が行われる。このプロセスにおいて、元の矢印１１２２のコネクタステータスが、元のコンテナ１１１９と複製のコンテナ１１１７との間のそれの接続のため、確認される。
【０１７３】
更に、図６０Ａにおいて、複製の矢印１１２２ａの開いた矢じりの上に入力された手描きされた形状１１５２が、デジタルインク形状１１５２ａとして表示される。図６０Ｂにおいて、複製の活字組みの矢印１１２２ｂの開いた矢じりの上に入力された手描きされた形状１１５２が、デジタルインク形状１１５２ａとして表示される。形状１１５２は、単一の連続したストロークで手描きされ、非テキストとして検出され、形状１１５２の特性のため、閉じた矢じりとして識別される。前述されたとおり、以前に認識された形状と実質的に重なり合う形状のこの検出は、上書きジェスチャとしてアプリケーション１１２によって解釈される。したがって、上書きされた形状は、表示から削除され、又は省かれて、新たな形状で置き換えられる。
【０１７４】
図６１Ａにおいて、上書きは、先の開いた複製の矢印１１２２ａが表示から除去されること、及び手描きされた矢じり１１５２のポイントが、複製の矢印１１２２ａの「ステム」の終端に位置付け変更されて、それにより、先の開いた複製の矢印１１２２ａを先の閉じた矢印として実質的に再形成して、デジタルインクの先の閉じた矢印１１５３ａとしての先の閉じた矢印１１５３を表示させる。図６１Ｂにおいて、上書きは、活字組みの先の開いた複製の矢印１１２２ｂが表示から除去されること、及び手描きされた矢じり１１５２のポイントが、複製の活字組みの矢印１１２２ｂの「ステム」の終端に位置付け変更されて、それにより、複製の先の開いた活字組みの矢印１１２２ｂを先の閉じた矢印として実質的に再形成して、活字組みの先の閉じた矢印１１５３ｂとしての先の閉じた矢印１１５３を表示させる。
【０１７５】
更に、図６１Ａにおいて、手描きされた入力１１５４が、複製の語１１１６ａと重なり合うデジタルインク１１５４ａとして表示される。図６１Ｂにおいて、手描きされた入力１１５４が、複製の活字組みの語１１１６ｂと重なり合うデジタルインク１１５４ａとして表示される。入力１１５４は、手書きされた編集ジェスチャとして検出され、複製のコンテナ１１１７内に包含された語１１１６上の掻き消し（消去印）として識別される。この掻き消し編集動作は、アプリケーション１１２によって、語１１６の消去として解釈される。
【０１７６】
図６２Ａにおいて、識別された編集オペレーションが、複製の語１１１６ａが表示から除去されて、複製のコンテナ１１１７ａが空になることをもたらす。図６２Ｂにおいて、識別された編集オペレーションが、複製の活字組みの語１１１６ｂが表示から除去されて、複製の活字組みのコンテナ１１１７ｂが空になることをもたらす。
【０１７７】
図６３Ａにおいて、複製の楕円１１１７ａ内に入力された手書きされたテキスト１１５５が、デジタルインクテキスト１１５５ａとして表示される。図６３Ｂにおいて、複製の活字組みの楕円１１１７ｂ内に入力された手書きされたテキスト１１５５が、複製の活字組みの楕円１１１７ｂ内のデジタルインクテキスト１１５５ａとして表示される。テキスト１１５５は、テキストとして検出され、「Ｐｌａｎｎｉｎｇ  ＆  Ｓｐｅｃ」という句として認識され、要素１１１７と要素１１５５の相対位置及び特性のため、認識された句１１５５を包含するコンテナとして確認される。図６３Ｂにおいて、手書きされたテキスト１１５５ａは、コンテナの活字組みのサイズのため、活字組みのコンテナ１１１７ｂに完全には包含されないことがわかる。本システム及び本方法のアプリケーション１１２は、テキスト１１５５が、例えば、手書きされた入力のいくらかがコンテナの境界と重なり合うことにもかかわらず、包含されたテキスト、又はコンテナラベルとして意図されることを検出する。また、この状況は、テキスト又は形状が、デジタルインクコンテナ内に完全には収まらないように書かれる、又はそのように書かれることが所望される場合にも生じ得る。しかし、これらの状況は、図７８乃至図８３の例において説明されるとおり扱われる。
【０１７８】
図７８は、テキストがコンテナ内に手書きされているが、そのボックス内に収まらない例を例示する。図７８Ａにおいて、形状７８０及びテキスト７８１の手書きされた入力が、そこにほとんど包含されたデジタルインクテキスト７８１ａを有するデジタルインクボックス７８０ａとして表示される。テキスト７８１は、テキストとして検出され、「Ｔｈｉｓ  ｉｓ  ａ  ｔｏｏ  ｌｏｎｇ  ｔｅｘｔ」として認識される。ボックス７８０は、非テキストとして検出され、矩形として認識される。矩形７８０を認識された句７８１を包含するコンテナとして識別するため、入力７８０及び７８１の相対位置及び特性が考慮される。例えば、事前設定され、かつ設定可能な空間閾値が、アプリケーション１１２によって使用され、その閾値に対する矩形７８０及びテキストブロック７８１のジオメトリ特徴の比較メトリックが、テキストブロックが矩形に包含される尤度を示す。例えば、矩形７８０とテキストブロック７８１の平均中心又は重心（前述された）の間の距離が、距離閾値（前述された）と比較され、又は矩形７８０とテキストブロック７８１の区域の重なり合いの割合が、重なり合い閾値と比較され、包含の高い尤度は、テキストのより多くが潜在的なコンテナの外ではなく内に書き込まれている場合に示される。
【０１７９】
コンテナステータスの決定は、１つの考慮であり、異なる図要素の信頼でき、かつ直観的な関連付けを提供する。別の考慮が、手描きされた図のレンダリングされた表示である。前段で説明されたとおり、本システム及び本方法は、ユーザの入力の可能な限り最小の量の自動的操作を実行することを追求する。しかし、デジタルインクと活字組みのインクの両方における入力の可読性及び妥当な表示が、或る程度の改良、いわゆる美化を実施することによってサポートされる。図６３において、デジタルインクフットプリントを（わずかに）縮小させるインクリメントの活字組み中にアプリケーション１１２によって使用される活字組みのため、デジタルインクコンテナ１１１７ａではなく、活字組みのコンテナ１１１７ｂの上のテキスト１１５５の入力で問題が生じること、例えば、活字組み又はフォント化が、デジタルインクと比べて（わずかに）より小さい寸法の活字組みのインクをもたらすことがわかった。しかし、活字組みがデジタルインクフットプリントを拡大する場合、同様の問題が生じる可能性があり、例えば、活字組みが、デジタルインクと比べて（わずかに）より大きい寸法の活字組みのインクをもたらす。しかし、この様態における活字組みの効果は、他の状況において有益であり得る。例えば、図７８Ｂにおいて、図７８Ａの認識結果が、図７８Ａにおけるデジタルインクバージョンとは異なり、活字組みのコンテナ７８０ｂ内に完全に包含された活字組みの句７８１ｂとして表示される。
【０１８０】
また、美化は、活字組みのインクに対して実行されることも可能である。例えば、図７９において、形状７９０、テキスト７９１、並びに更なる形状７９２及び７９３の手書きされた入力が、そこにほとんどが包含されたデジタルインクテキスト７９１ａを有するデジタルインクボックス７９０ａ、及びボックス７９０とボックス７９２との間にデジタルインク矢印７９３ａを有するデジタルインクボックス７９２ａとして表示される。テキスト７９１は、テキストとして検出され、「Ｔｈｉｓ  ｉｓ  ａ  ｗａｙ  ｔｏｏ  ｔｏｏ  ｔｏｏ  ｔｏｏ  ｔｏｏ  ｌｏｎｇ  ｔｅｘｔ」という句として認識される。ボックス７９０及び７９２、並びに矢印７９３は、非テキストとして検出され、それぞれ、矩形及び矢印として認識される。更に、ボックス７９０は、認識された句７９１を包含するコンテナ７９０として識別され、矢印７９３は、コンテナ７９０と矩形７９２とを接続するコネクタとして識別される。しかし、アプリケーション１１２は、例えば、それぞれジオメトリ区域の比較を通じて、コンテナ７９０のサイズと比較されたテキスト７９１のテキストブロックのサイズのため、活字組みを行うと、活字組みのテキストが活字組みのコンテナ内に収まらず、そのことが、望ましくないレンダリングにつながることを更に検出する。このことは、例えば、活字組みのテキストのフォントのサイズを低減すること、又はそのようなフォントのタイプを変更することによって扱われることが可能であるが、これは、図の異なる部分におけるテキストが異なるフォントサイズ又は異なるフォントタイプのものであることをもたらすことがあり（例えば、本システム及び本方法は、テキストに関してデフォルトの、ユーザ設定可能なフォントスタイルを実装し得る）、このことは、望ましくない。図８０及び図８１は、この状況を自動的に扱うための異なる機構を例示し、図８２及び図８３は、手動の機構を例示する。
【０１８１】
図８０において、コンテナ７９０の垂直範囲（すなわち、高さ）が、句７９１の表示を活字組みの句７９１ｂとしてそこに完全に包含する活字組みのコンテナ７９０ｂとして表示されるように矢印Ｌに沿ってアプリケーション１１２によって拡張される。このことは、アプリケーション１１２が、テキストの活字組みされた寸法を包含するように活字組みのコンテナの要求される範囲を決定することによって達成される。わかるとおり、活字組みの矩形７９２ｂ及びコネクタ７９３ｂとしての矩形７９２及びコネクタ７９３の表示は、拡大されたコンテナ７９０ｂに対応するように結果的に下向きに移動される。したがって、活字組みのインクのこの美化は、関係を保持しながら、図要素のきれいな表示を提供する。
【０１８２】
代替として、図８１において、コンテナ７９０が、図８０の拡張なしに活字組みのコンテナ７９０ｂ’として表示され、むしろ、句７９１は、矢印Ｍによって示されるとおり、活字組みのインクをリフローさせることによって完全にサイズ変更されないコンテナ７９０内に活字組みの句７９１ｂ’として表示される。これは、アプリケーション１１２が、コンテナの活字組みされた寸法に対するそのようなリフローされたテキストの相対範囲を決定することによって達成される。したがって、活字組みの矩形７９２ｂ及びコネクタ７９３ｂの表示は、移動されない。したがって、活字組みのインクのこの美化は、絶対位置を保持しながら、図要素のきれいな表示を提供する。
【０１８３】
活字組みのインクのサイズ変更及びリフローを通じた前述された自動美化の代替として、又はそれに加えて、入力された手描きされた図を手動で美化する能力も、本システム及び本方法によって提供される。図８２Ａにおいて、テキスト１１１６を包含するコンテナ１１１７が、コンテナ１１１７の選択モードにおいて表示されているものとして、すなわち、デジタルインク語１１１６ａを包含し、かつそれについての選択ボックス８２０を有する選択された活字組みのコンテナ１１１７ｃとして、ダイアグラム１１００から分けられて示される。図８２Ｂにおいて、選択ボックス８２０のサイズ変更ハンドル８２０ａ上のジェスチャ入力８２１が、矢印Ｎの方向におけるそのサイズ変更ハンドル８２０ａに対する移動オペレーションとして検出される。このオペレーションは、図８２Ｂに描かれるとおり、サイズ変更された選択された活字組みのコンテナ１１１７ｃ’としての選択された活字組みのコンテナ１１１７ｃの表示のサイズ変更をもたらす。しかし、わかるとおり、選択されないテキスト１１１６は、コンテナ１１１７のサイズ変更中に移動されない。これは、アプリケーション１１２が、コンテナ／包含される関係を保持しながら、コンテナとそれに包含されるコンテンツが独立に扱われることが可能であるような様態でコンテナを定義するためである。
【０１８４】
図８２Ｃにおいて、選択解除ジェスチャ８２２の検出が、デジタルインクコンテナ１１１７ａのサイズ変更されたバージョンであるデジタルインクコンテナ１１１７ａ’としてのコンテナ１１１７を表示させる。図８２Ｄにおいて、テキスト１１１６ａの下のコンテナ１１１７ａ’内に入力された手書きされたテキスト８２３が、デジタルインクテキスト８２３ａとして表示される。アプリケーション１１２が、入力１１１６、１１１７、及び８２３の相対位置及び特性のため、テキスト１１１６と８２３が関係付けられていることを検出する（例えば、アプリケーション１１２が、事前設定され、かつ設定可能な空間閾値を使用し、閾値未満のテキスト１１１６とテキスト８２３の互いに対する近接性が、テキストがテキストブロックに属することの高い尤度を提供する）。
【０１８５】
代替として、図８３Ａにおいて、図７８Ａのコンテナ７８０及びテキスト７８１が、選択モードにおいて表示されているものとして、すなわち、選択された活字組みの句７８１ｃを包含する選択された活字組みの矩形７８０ｃとして示される。コンテナ７８０ｃは、矩形であるので、それは、選択ボックスハンドル８３０を有して表示される。更に、サイズ変更ハンドル８３０のうちの１つに対するジェスチャ入力８３１が、矢印Ｏの方向におけるそのサイズ変更ハンドル８３０に対する移動オペレーションとして検出される。
【０１８６】
図８３Ｂにおいて、サイズ変更オペレーションが、コンテナ及びそれのコンテンツのサイズ変更、並びに選択された活字組みの矩形７８０ｃ’、及びテキスト７８１のリフローテキストブロックである、選択された活字組みの句７８１ｃ’を表示させる。したがって、コンテナとテキストの両方が選択されているので、テキストは、コンテナのサイズ変更中に移動される。図８３Ｃにおいて、選択解除されたサイズ変更された要素が、デジタルインクコンテナ７８０ａ’及びデジタルインクテキスト７８１ａ’として表示される。
【０１８７】
図８２の例において、手書きされたテキストが、コンテナのサイズ変更の後、デジタルインクテキストを包含するコンテナに追加されている。しかし、コンテナにテキストを追加する能力は、コンテナのサイズ変更を伴って、又は伴わずに、既に包含されているテキストの活字組みの後に実行されることも可能である。これは、活字組みされた既に作成されている図において、又は例示的なダイアグラム１１００に関して描かれるとおり、図作成時のインクリメントの活字組み中に行われることが可能である。インクリメントの活字組みの例が、図８４に例示される。図８４Ａにおいて、形状８４１内に入力された手書きされたテキスト８４０が、それぞれ、デジタルインクテキスト８４０ａ及びデジタルインク形状８４１ａとして表示される。テキスト８４０は、テキストとして検出され、「Ｔｈｉｓ  ｉｓ」という語として認識され、形状８４１は、非テキストとして検出され、矩形として認識される。図８４Ｂにおいて、認識結果が、相対位置及び寸法が実質的に維持されて、活字組みの語８４０ｂを包含する活字組みの矩形８４１ｂとして表示される。図８４Ｃにおいて、活字組みの語８４０ｂの右の活字組みの矩形８４１ｂ内に入力された手書きされたテキスト８４２が、デジタルインクテキスト８４２ａとして表示される。更なるテキスト８４２が、テキストとして検出され、「ａ  ｃｅｌｌ」という語として認識される。図８４Ｄにおいて、認識結果が、全ての要素の相対位置及び寸法が実質的に維持されて、活字組みの語８４２ｂとして表示される。図８２の例の場合と同様に、アプリケーション１１２は、テキスト８４０とテキスト８４２が、入力８４０、８４１、及び８４２の相対位置及び特性のため、関係付けられていることを検出し、したがって、それらをテキスト８４３としてグループ化し、かつ組み合わされたテキスト８４０及び８４２が「Ｔｈｉｓ  ｉｓ  ａ  ｃｅｌｌ」という句として認識されることをもたらす。
【０１８８】
図８４において、コンテナ内の活字組みのテキストが、コンテナ内のテキストの右側にスペースが利用可能であるにもかかわらず、コンテナ内の、デジタルインクテキストと同一の相対位置に、すなわち、左側に、若しくは左揃えで保持され、したがって、ユーザの手書きされた入力を尊重する。代替として、本システム及び本方法は、例えば、図７８Ｂに示されるとおり、コンテナ内にスペースが存在する場合、テキストを中心に置くなどの、テキスト位置が調整されることをもたらし得る。この美化は、活字組みのインクテキストとデジタルインクテキストのいずれか、又は両方に関して、かつ包含される形状に関しても行われることが可能であり、例えば、ユーザ選択のための設定として提供される。一般に、そのような美化は、前段で定義されたとおり、コンテナとセルに関して異なるように実行される。特に、テキストだけを包含するセルに関して、セル内のテキストは、セルのラベルとして扱われてよい。したがって、入力されたテキストは、例えば、セル内の中心に置かれる（水平と垂直の両方で）ようにデジタルインクと活字組みのインクの両方において美化される。これは、図８５Ａにおいて例示され、そこにおいて、デジタルインクラベル８５０がデジタルインクセル８５１の中心に置かれる。セル８５１は、選択モードで示され、図８５Ｂにおいてサイズ変更されたものとして表示され、そこにおいて、デジタルインクラベル８５０は、例えば、セルラベルに関して定義されるとおり、中心に表示されたままとなる。
【０１８９】
代替として、セルのそのようなサイズ変更（例えば、事前設定され、かつ設定可能な寸法閾値を超える）は、セルが、セルとしてのその定義を失うことをもたらしてよく、その場合、包含されるテキストは、サイズ変更されたコンテナにおいてラベルとしてもはや定義されず、関連付けられた美化を伴って、又は伴わずに、ラベルとしてではなく、テキストブロックとして扱われる。このことは、他のテキストブロック及び形状がサイズ変更されたコンテナに容易に入力されることを許す。代替として、又は更に、セル定義を失うことは、更なるテキスト又は形状が、アプリケーション１１２がテキストを（美化された）テキストラベルに自動的に結び付けることはしない（例えば、追加されたテキストが、関係するテキストに関して使用される前述の閾値を伴わない）様態でサイズ変更された（又は元の描かれたサイズの）セル内に手描きされる場合に生じてよい。逆の条件が、コンテナをセルとして再分類するのに使用され得る。
【０１９０】
図８６は、コンテナ内の複数のテキストブロックの例を例示する。図８６Ａにおいて、そこにテキスト８６１及び８６２を有する入力された形状８６０が、デジタルインクテキスト８６１ａと、デジタルインクテキスト８６２ａとを包含するデジタルインクコンテナ８６０ａとして表示される。選択ジェスチャ８６３が検出されると、テキストブロック８６２が、図８６Ｂにおいて選択された活字組みのテキストブロック８６２’として選択モードで表示される。これは、テキスト８６１とテキスト８６２が、コンテナにおいて個々のテキストブロックであるものとして識別されることを例示する。図８６Ｃにおいて、入力８６０、８６１、及び８６２は、活字組みされており、活字組みのコンテナ８６０ｂ、並びに活字組みのテキストブロック８６１ｂ及び８６２ｂとして表示される。
【０１９１】
例示的な入力に戻ると、図６４Ｂにおいて、認識結果が、活字組みの句１１５５ｂとして、並びに図８０と関係して前述されたとおり自動的サイズ変更が実行されて、活字組みの楕円コンテナ１１５６ｂとして表示された活字組みの句１１５５ｂを包含するコンテナ１１５６として自動的にサイズ変更された複製の活字組みのコンテナ１１１７ｂとして表示される。更に、図６４Ａにおいて、手描きされた入力１１５７が、複製の用語１１１３ａの一部分と重なり合うデジタルインク１１５７ａとして表示される。図６４Ｂにおいて、手描きされた入力１１５７が、複製の活字組みの用語１１１３ｂの一部分と重なり合うデジタルインク１１５７ａとして表示される。入力１１５７は、手書きされた編集ジェスチャとして検出され、複製のコネクタ１１０３上の複製のラベル１１１３の一部に対する掻き消しとして識別される。この掻き消し編集オペレーションは、アプリケーション１１２によって、複製の用語１１１３の「Ｓ−Ｇａｔｅ」における「Ｓ」という文字の消去として解釈される。
【０１９２】
図６５Ａ及び図６５Ｂにおいて、消去オペレーションが、複製の用語１１１３ａ及び活字組みの用語１１１３ｂがそれぞれ表示から除去されること、並びに、それぞれ、デジタルインク用語１１５８ａ及び活字組みの用語１１５８ｂ、すなわち、「−Ｇａｔｅ」としての用語１１５８を表示させる。
【０１９３】
図６６において、テキスト１１５８ａの左に入力された手書きされたテキスト１１５９が、デジタルインクテキスト１１５９ａとして表示される。図６６Ｂにおいて、活字組みのテキスト１１５８ｂの左に入力された手書きされたテキスト１１５９が、デジタルインクテキスト１１５９ａとして表示される。テキスト１１５９は、テキストとして検出され、「Ｉ」という文字として認識される。テキスト１１５９は、それらの相対位置及び特性のため、ラベル１１５７のテキストに関連付けられているものとして認識され、例えば、両方がテキストオブジェクトであり、したがって、「Ｉ−Ｇａｔｅ」という用語として認識される。
【０１９４】
図６７において、認識結果が、活字組みの用語１１５８ｂが表示から除去されること、及び用語１１６０の活字組みの用語１１６０ｂ、すなわち、「Ｉ−Ｇａｔｅ」としてを表示させる。既に説明されたものと事実上類似した重要度が劣る更なる入力が検出されると、図１１Ｂに示される図１１００の完全な活字組みのバージョンが、アプリケーション１１２によって提供される。
【０１９５】
本システム及び本方法によって提供されるアプリケーション１１２は、デジタルインク形態と活字組みのインク形態の両方で手書きされた図の表示を忠実に許す。作成される図のタイプ、及び要素の描きの順序とは独立に、手描きされた要素が識別され、それらのコンテンツが、手書き認識を使用して認識され、それらの空間関係及びコンテキスト関係が検出される。図は、手書きされたジェスチャ及びコンピューティングデバイスジェスチャを使用してデジタルインク形態と活字組みのインク形態の両方で編集されることが可能である。
【０１９６】
以上は、最良の形態及び／又は他の例と考えられるものについて説明したが、そこにおいて様々な変更が行われ得ること、及び本明細書において開示される主題は、様々な形態及び例において実装され得ること、及びそれらは、他の多数のアプリケーション、組合せ、及び環境において適用されてよく、それらのうちのいくつかだけが本明細書において説明されてきたことを理解されたい。当業者は、開示される態様が、主題の真の趣旨及び範囲を逸脱することなく、変更されても、補正されてもよいことを認識するであろう。したがって、主題は、この説明における特定の詳細、提示、及び例示される例に限定されない。本明細書において開示される有利な概念の真の範囲に含まれるあらゆる全ての変更及び改変を保護することが意図される。
【図１Ａ】
2018536927.tif 000003
【図１Ｂ】
2018536927.tif 000004
【図２Ａ】
2018536927.tif 000005
【図２Ｂ】
2018536927.tif 000006
【図３Ａ】
2018536927.tif 000007
【図３Ｂ】
2018536927.tif 000008
【図４Ａ】
2018536927.tif 000009
【図４Ｂ】
2018536927.tif 000010
【図５Ａ】
2018536927.tif 000011
【図５Ｂ】
2018536927.tif 000012
【図６Ａ】
2018536927.tif 000013
【図６Ｂ】
2018536927.tif 000014
【図７】
2018536927.tif 000015
【図８】
2018536927.tif 000016
【図９】
2018536927.tif 000017
【図１０Ａ】
2018536927.tif 000018
【図１０Ｂ】
2018536927.tif 000019
【図１１Ａ】
2018536927.tif 000020
【図１１Ｂ】
2018536927.tif 000021
【図１２】
2018536927.tif 000022
【図１３Ａ】
2018536927.tif 000023
【図１３Ｂ】
2018536927.tif 000024
【図１４Ａ】
2018536927.tif 000025
【図１４Ｂ】
2018536927.tif 000026
【図１５Ａ】
2018536927.tif 000027
【図１５Ｂ】
2018536927.tif 000028
【図１６Ａ】
2018536927.tif 000029
【図１６Ｂ】
2018536927.tif 000030
【図１７Ａ】
2018536927.tif 000031
【図１７Ｂ】
2018536927.tif 000032
【図１８Ａ】
2018536927.tif 000033
【図１８Ｂ】
2018536927.tif 000034
【図１９Ａ】
2018536927.tif 000035
【図１９Ｂ】
2018536927.tif 000036
【図２０Ａ】
2018536927.tif 000037
【図２０Ｂ】
2018536927.tif 000038
【図２１Ａ】
2018536927.tif 000039
【図２１Ｂ】
2018536927.tif 000040
【図２２Ａ】
2018536927.tif 000041
【図２２Ｂ】
2018536927.tif 000042
【図２３】
2018536927.tif 000043
【図２４Ａ】
2018536927.tif 000044
【図２４Ｂ】
2018536927.tif 000045
【図２５Ａ】
2018536927.tif 000046
【図２５Ｂ】
2018536927.tif 000047
【図２６Ａ】
2018536927.tif 000048
【図２６Ｂ】
2018536927.tif 000049
【図２７Ａ】
2018536927.tif 000050
【図２７Ｂ】
2018536927.tif 000051
【図２８Ａ】
2018536927.tif 000052
【図２８Ｂ】
2018536927.tif 000053
【図２９Ａ】
2018536927.tif 000054
【図２９Ｂ】
2018536927.tif 000055
【図３０Ａ】
2018536927.tif 000056
【図３０Ｂ】
2018536927.tif 000057
【図３１Ａ】
2018536927.tif 000058
【図３１Ｂ】
2018536927.tif 000059
【図３２Ａ】
2018536927.tif 000060
【図３２Ｂ】
2018536927.tif 000061
【図３３Ａ】
2018536927.tif 000062
【図３３Ｂ】
2018536927.tif 000063
【図３４Ａ】
2018536927.tif 000064
【図３４Ｂ】
2018536927.tif 000065
【図３５Ａ】
2018536927.tif 000066
【図３５Ｂ】
2018536927.tif 000067
【図３６Ａ】
2018536927.tif 000068
【図３６Ｂ】
2018536927.tif 000069
【図３７Ａ】
2018536927.tif 000070
【図３７Ｂ】
2018536927.tif 000071
【図３８Ａ】
2018536927.tif 000072
【図３８Ｂ】
2018536927.tif 000073
【図３９Ａ】
2018536927.tif 000074
【図３９Ｂ】
2018536927.tif 000075
【図４０Ａ】
2018536927.tif 000076
【図４０Ｂ】
2018536927.tif 000077
【図４１Ａ】
2018536927.tif 000078
【図４１Ｂ】
2018536927.tif 000079
【図４２Ａ】
2018536927.tif 000080
【図４２Ｂ】
2018536927.tif 000081
【図４３Ａ】
2018536927.tif 000082
【図４３Ｂ】
2018536927.tif 000083
【図４４Ａ】
2018536927.tif 000084
【図４４Ｂ】
2018536927.tif 000085
【図４５Ａ】
2018536927.tif 000086
【図４５Ｂ】
2018536927.tif 000087
【図４６Ａ】
2018536927.tif 000088
【図４６Ｂ】
2018536927.tif 000089
【図４７Ａ】
2018536927.tif 000090
【図４７Ｂ】
2018536927.tif 000091
【図４８Ａ】
2018536927.tif 000092
【図４８Ｂ】
2018536927.tif 000093
【図４９Ａ】
2018536927.tif 000094
【図４９Ｂ】
2018536927.tif 000095
【図５０Ａ】
2018536927.tif 000096
【図５０Ｂ】
2018536927.tif 000097
【図５１Ａ】
2018536927.tif 000098
【図５１Ｂ】
2018536927.tif 000099
【図５２Ａ】
2018536927.tif 000100
【図５２Ｂ】
2018536927.tif 000101
【図５３Ａ】
2018536927.tif 000102
【図５３Ｂ】
2018536927.tif 000103
【図５４Ａ】
2018536927.tif 000104
【図５４Ｂ】
2018536927.tif 000105
【図５５Ａ】
2018536927.tif 000106
【図５５Ｂ】
2018536927.tif 000107
【図５６Ａ】
2018536927.tif 000108
【図５６Ｂ】
2018536927.tif 000109
【図５７Ａ】
2018536927.tif 000110
【図５７Ｂ】
2018536927.tif 000111
【図５８Ａ】
2018536927.tif 000112
【図５８Ｂ】
2018536927.tif 000113
【図５９Ａ】
2018536927.tif 000114
【図５９Ｂ】
2018536927.tif 000115
【図６０Ａ】
2018536927.tif 000116
【図６０Ｂ】
2018536927.tif 000117
【図６１Ａ】
2018536927.tif 000118
【図６１Ｂ】
2018536927.tif 000119
【図６２Ａ】
2018536927.tif 000120
【図６２Ｂ】
2018536927.tif 000121
【図６３Ａ】
2018536927.tif 000122
【図６３Ｂ】
2018536927.tif 000123
【図６４Ａ】
2018536927.tif 000124
【図６４Ｂ】
2018536927.tif 000125
【図６５Ａ】
2018536927.tif 000126
【図６５Ｂ】
2018536927.tif 000127
【図６６Ａ】
2018536927.tif 000128
【図６６Ｂ】
2018536927.tif 000129
【図６７】
2018536927.tif 000130
【図６８Ａ】
2018536927.tif 000131
【図６８Ｂ】
2018536927.tif 000132
【図６９Ａ】
2018536927.tif 000133
【図６９Ｂ】
2018536927.tif 000134
【図７０Ａ】
2018536927.tif 000135
【図７０Ｂ】
2018536927.tif 000136
【図７１Ａ】
2018536927.tif 000137
【図７１Ｂ】
2018536927.tif 000138
【図７２Ａ】
2018536927.tif 000139
【図７２Ｂ】
2018536927.tif 000140
【図７３Ａ】
2018536927.tif 000141
【図７３Ｂ】
2018536927.tif 000142
【図７３Ｃ】
2018536927.tif 000143
【図７３Ｄ】
2018536927.tif 000144
【図７３Ｅ】
2018536927.tif 000145
【図７４Ａ】
2018536927.tif 000146
【図７４Ｂ】
2018536927.tif 000147
【図７５Ａ】
2018536927.tif 000148
【図７５Ｂ】
2018536927.tif 000149
【図７６Ａ】
2018536927.tif 000150
【図７６Ｂ】
2018536927.tif 000151
【図７６Ｃ】
2018536927.tif 000152
【図７６Ｄ】
2018536927.tif 000153
【図７６Ｅ】
2018536927.tif 000154
【図７７Ａ】
2018536927.tif 000155
【図７７Ｂ】
2018536927.tif 000156
【図７８Ａ】
2018536927.tif 000157
【図７８Ｂ】
2018536927.tif 000158
【図７９】
2018536927.tif 000159
【図８０】
2018536927.tif 000160
【図８１】
2018536927.tif 000161
【図８２Ａ】
2018536927.tif 000162
【図８２Ｂ】
2018536927.tif 000163
【図８２Ｃ】
2018536927.tif 000164
【図８２Ｄ】
2018536927.tif 000165
【図８３Ａ】
2018536927.tif 000166
【図８３Ｂ】
2018536927.tif 000167
【図８３Ｃ】
2018536927.tif 000168
【図８４Ａ】
2018536927.tif 000169
【図８４Ｂ】
2018536927.tif 000170
【図８４Ｃ】
2018536927.tif 000171
【図８４Ｄ】
2018536927.tif 000172
【図８５Ａ】
2018536927.tif 000173
【図８５Ｂ】
2018536927.tif 000174
【図８６Ａ】
2018536927.tif 000175
【図８６Ｂ】
2018536927.tif 000176
【図８６Ｃ】
2018536927.tif 000177
【国際調査報告】
2018536927.tif 000178
2018536927.tif 000179
2018536927.tif 000180