(57)【要約】コンピューティングデバイス上でテキスト要素と非テキスト要素とを含む図の手描き接続のためのシステムであって、コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、少なくとも１つの非一時的コンピュータ可読媒体は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示すること、複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別すること、少なくとも１つの識別されたコネクタのジオメトリ特性を決定すること、及び少なくとも１つの識別されたコネクタのインタラクティブインク、又はそれによって接続された複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、かつ決定されたジオメトリ特性に従って、図要素を表示変更させることを行うように構成される。
2018536928.tif 000002
【特許請求の範囲】
【請求項１】
コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図の手描き接続のためのシステムであって、
前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記少なくとも１つの非一時的コンピュータ可読媒体は、
前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示することと、
複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別することと、
前記少なくとも１つの識別されたコネクタのジオメトリ特性を決定することと、
前記少なくとも１つの識別されたコネクタの前記インタラクティブインク、又はそれによって接続された前記複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、及び前記決定されたジオメトリ特性に従って、前記図要素を表示変更させることとを行うように構成されるシステム。
【請求項２】
前記少なくとも１つのコネクタは、前記コネクタの特性、及び前記図要素の間の位置関係に基づいて識別される請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの識別されたコネクタの前記ジオメトリ特性は、前記接続された図要素のジオメトリ特徴の間の接続パスと関係付けられる請求項１又は２に記載のシステム。
【請求項４】
前記ジオメトリ特徴は、前記接続された図要素のジオメトリの中心を含む請求項３に記載のシステム。
【請求項５】
前記少なくとも１つの識別されたコネクタの前記ジオメトリ特性は、前記接続された図要素との前記少なくとも１つのコネクタの接続のポイントの間の関係を含む請求項４に記載のシステム。
【請求項６】
前記接続パスは、接続の前記ポイントに基づいて、前記接続された図要素のジオメトリの前記中心からオフセットされる請求項５に記載のシステム。
【請求項７】
前記インタラクティブインクは、デジタルインクである請求項１乃至６のいずれか一項に記載のシステム。
【請求項８】
コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法であって、
前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記方法は、
前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示するステップと、
複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別するステップと、
前記少なくとも１つの識別されたコネクタのジオメトリ特性を決定するステップと、
前記少なくとも１つの識別されたコネクタの前記インタラクティブインク、又はそれによって接続された前記複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、及び前記決定されたジオメトリ特性に従って、前記図要素を表示変更するステップと
を含む方法。
【請求項９】
前記コネクタの特性、及び前記図要素の間の位置関係に基づいて、前記少なくとも１つのコネクタを識別するステップを含む請求項８に記載の方法。
【請求項１０】
前記少なくとも１つの識別されたコネクタの前記ジオメトリ特性は、前記接続された図要素のジオメトリ特徴の間の接続パスと関係付けられる請求項８又は９に記載の方法。
【請求項１１】
前記ジオメトリ特徴は、前記接続された図要素のジオメトリの中心を含む請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つの識別されたコネクタの前記ジオメトリ特性は、前記接続された図要素との前記少なくとも１つのコネクタの接続のポイントの間の関係を含む請求項１１に記載の方法。
【請求項１３】
前記接続パスは、接続の前記ポイントに基づいて、前記接続された図要素のジオメトリの前記中心からオフセットされる請求項１２に記載の方法。
【請求項１４】
前記インタラクティブインクは、デジタルインクである請求項８乃至１３のいずれか一項に記載の方法。
【請求項１５】
コンピュータ可読プログラムコードが具現化されている非一時的コンピュータ可読媒体であって、
前記コンピュータ可読プログラムコードは、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法を実装するように実行されるように適応され、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備え、前記方法は、
前記コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示するステップと、
複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別するステップと、
前記少なくとも１つの識別されたコネクタのジオメトリ特性を決定するステップと、
前記少なくとも１つの識別されたコネクタの前記インタラクティブインク、又はそれによって接続された前記複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、及び前記決定されたジオメトリ特性に従って、前記図要素を表示変更するステップと
を含む非一時的コンピュータ可読媒体。
【請求項１６】
前記コネクタの特性、及び前記図要素の間の位置関係に基づいて、前記少なくとも１つのコネクタを識別するステップを含む請求項１５に記載の非一時的コンピュータ可読媒体。
【請求項１７】
前記少なくとも１つの識別されたコネクタの前記ジオメトリ特性は、前記接続された図要素のジオメトリ特徴の間の接続パスを含む請求項１５又は１６に記載の非一時的コンピュータ可読媒体。
【請求項１８】
前記ジオメトリ特徴は、前記接続された図要素のジオメトリの中心を含む請求項１７に記載の非一時的コンピュータ可読媒体。
【請求項１９】
前記少なくとも１つの識別されたコネクタの前記ジオメトリ特性は、前記接続された図要素との前記少なくとも１つのコネクタの接続のポイントの間の関係を含む請求項１８に記載の非一時的コンピュータ可読媒体。
【請求項２０】
前記接続パスは、接続の前記ポイントに基づいて、前記接続された図要素のジオメトリの前記中心からオフセットされる請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２１】
前記インタラクティブインクは、デジタルインクである請求項１５乃至２０のいずれか一項に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、様々な形状及び文字のユーザ入力された手書きを認識することができるコンピューティングデバイスインターフェースの分野に関する。詳細には、本開示は、入力された手書きされた図要素の間のコネクタを表示させる編集オペレーションを扱うためのシステム及び方法を提供する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、参照により内容の全体が本明細書に組み込まれている、２０１５年１０月１９日に出願した欧州特許出願第１５２９０２６９．８号明細書、及び欧州特許出願第１５２９０２６９．８号明細書の優先権を主張する、２０１５年１２月１日に出願した米国特許出願第１４／９５５，１７４号明細書の優先権を主張する。
【０００３】
コンピューティングデバイスは、日常生活により遍在するようになり続けている。それらは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、モバイル電話、スマートフォン、ウェアラブルコンピュータ、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどの形態をとる。更に、コンピューティングデバイスは、自動車、トラック、農場設備、製造設備、建造物環境制御（例えば、照明、ＨＶＡＣ）、並びに家庭用器具及び商用器具などの車両及び設備に組み込まれている。
【０００４】
コンピューティングデバイスは、一般に、中央処理装置（ＣＰＵ）、何らかの形態のメモリ、並びに入力デバイス及び出力デバイスなどの少なくとも１つの処理要素から成る。様々なコンピューティングデバイス及びそれらのその後の使用は、様々なインターフェース及び入力デバイスを必要とする。１つのそのような入力デバイスは、ユーザ入力がユーザの指又はペン若しくはスタイラスなどの用具とタッチセンシティブ表面との間の接触を通じて受け取られる、タッチスクリーン又はタッチパッドなどのタッチセンシティブ表面である。別の入力デバイスは、ユーザによって入力表面の上方で行われるジェスチャを感知する入力表面である。更なる入力デバイスは、非タッチ表面とのタッチインタラクション又は非タッチインタラクションの相対位置を検出する位置検出システムである。入力のこれらの方法のいずれも、図面及びテキストの手書きされた入力、又は手描きされた入力に対して一般に使用されることが可能であり、その入力が、手書き認識システム又は手書き認識方法を使用して解釈される。
【０００５】
コンピューティングデバイスにおける手書き認識の１つのアプリケーションは、活字組みのバージョンに変換されるべきコンピューティングデバイス上の手描きされた図の作成にある。図は、（部品などの）配置及び関係を説明する、又は示す図面である。図は、一般に、任意の又は特定の意味を有する形状と、これらの形状と関係があるテキストとを有する。フローチャート、組織チャート、概念マップ、スパイダマップ、ブロック／アーキテクチャ図、マインドマップ、ブロック図、ベン図、及びピラミッドなどの多くのタイプの図が存在する。可能な図のいくつかの活字組みの例及び手書きされた例を描いたものが、図１乃至図６に例示される。
【０００６】
図１Ａ及び図１Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線の矢印、曲線の矢印）のコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例の概念マップ１０を示す。更に、図１Ｂにおいて、コンテナ１２は、テキスト１６を包含する。一般に、概念マップにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義される概念的に関係付けられた、又は依存する要素又はテーマを定義する。ブロック自体は、概念マップに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタによって接続されてよい。
【０００７】
図２Ａ及び図２Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線、曲線）のコネクタ１４と、マインドマップのある特徴又は状態に至るパス１８とを定義する、形状を様々に有する活字組みの例及び手書きされた例のマインドマップ２０を示す。更に、図２Ｂにおいて、コンテナ１２及びパス１８は、関連付けられたテキスト１６を有する。一般に、マインドマップにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義される中心要素若しくは中心テーマからの可能な代替の状態を定義し、パスは、それらのパス上のテキストによって定義されるそれぞれの代替の状態の重要な特徴を定義する。ブロック自体は、マインドマップに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタ及びパスによって接続されてよい。
【０００８】
図３Ａ及び図３Ｂは、それぞれ、異なるタイプ（例えば、楕円形、矩形、ダイヤモンド）の図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線の矢印、曲げられた矢印、分岐したライン）のコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例のフローチャート若しくはダイアグラム３０を示す。更に、図３Ｂにおいて、コンテナ１２は、テキスト１６を包含し、テキストは、コネクタに関連付けられてもよい。一般に、フローチャートにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義された手順的に関係付けられた、又は依存する要素又はステップを定義する。ブロック自体は、フローチャートに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタによって接続されてよい。
【０００９】
図４Ａ及び図４Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定する、異なるタイプ（例えば、直線の矢印、曲げられたライン、分岐したライン）のコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例の組織チャート若しくはダイアグラム４０を示す。更に、図４Ｂにおいて、コンテナ１２は、テキスト１６を包含する。一般に、組織チャートにおいて、ブロックの間の接続は、それらのブロックにおけるテキストによって定義される組織若しくはグループのメンバ若しくは機能の階層関係を定義する。ブロック自体は、組織チャートに存在しなくてよく、代わりに、テキスト（例えば、関連付けられた形状もコンテナも有しないテキストブロックにおいて定義される）が、コネクタによって接続されてよい。
【００１０】
図５Ａ及び図５Ｂは、それぞれ、ネスト化された関係（例えば、他のコンテナ１２内のコンテナ１２）を有する図ブロック若しくはコンテナ１２と、ネスト化されたブロックの間を含む図ブロック１２の間の関係を接続する、又は指定するコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例のブロック／アーキテクチャ描画５０を示す。更に、図５Ｂにおいて、コンテナ１２及びコネクタは、関連付けられたテキスト１６を有する。一般に、アーキテクチャ図面において、ネスト化されたブロックは、デバイス構成要素若しくはプロセス構成要素の配置若しくは所有を定義し、ブロックの間の接続は、それらのブロックにおけるテキストによって定義されるブロックの間の機能関係を定義する。
【００１１】
図６Ａ及び図６Ｂは、それぞれ、図ブロック若しくはコンテナ１２と、図ブロック１２の間の関係を接続する、又は指定するコネクタ１４とを定義する、形状を様々に有する活字組みの例及び手書きされた例のスパイダマップ６０を示す。更に、図６Ｂにおいて、コンテナ１２及びコネクタは、関連付けられたテキスト１６を有する。一般に、スパイダマップにおいて、ブロックの間の接続、及び／又はテキストは、テキストによって定義される中心要素若しくは中心テーマからの依存関係若しくは依存状態を定義する。
【００１２】
図１乃至図６に例示される図は、例に過ぎず、各図タイプに関して描かれたもの以外の他の、若しくは異なる要素、又は描かれた要素自体の異なるタイプ若しくは形態が、更に、又は代替において図に存在してよい。更に、これらの図タイプの他の定義、並びにこれらの図タイプの組合せが可能である。図における形状の基本構成要素（コンテナを伴う、又は伴わない接続）及びテキストを組み合わせることのこれらの無数の可能なバリエーションが、コンピューティングデバイスに手描きされた、又は手書きされたコンテンツとして入力されたこれらの要素の正確な認識に関して問題を生じさせる可能性がある。図は、コンピューティングデバイスのユーザが、例えば、講義中又は会議中に、検討されている概念、問題、又はソリューションを捉える図を作成する教育及びビジネスの場において特に使用される。これは通常、ユーザが、デバイスにおいてローカルで、又はデバイスの通信リンクを介して遠隔で、タッチセンシティブ表面上、又は相対位置検出システムによって監視される表面上で手描きされた入力を受け取り、解釈するコンピューティングデバイス上の手書きされた図アプリケーション若しくは手書きされたスケッチアプリケーションを起動することによって行われる。
【００１３】
従来のそのような手書き作図アプリケーションは、作図の前述の複雑さを扱うそれらの能力において限定され、通常、ユーザの元の意図を反映しない振舞いを採用するように、又はそのような妥協を受け入れるようにユーザを制約する。その結果、いくつかの従来の手書き作図アプリケーションは、選択すべきメニューを移動し、形状を描き、形状と関係してテキストを挿入するようにユーザを強制する。このため、ユーザは、形状及びコネクタを自然に、又は自由に描くことができない。いくつかの従来のアプリケーションは、ユーザに提供される妥当な創造的自由によって、手描きされた形状及び手書きされたテキストをよく認識する。しかし、要素を追加すること、省くこと、又は置き換えること、進化する概念に図を適応させること、図のタイプを変換すること、その他を行う図の要素を編集するように、描かれた図を変更する能力は、特に、例えば、接続されたコンテナなどの認識された関係を保持する間、図要素の相対位置の操作に関して、或るオペレーションだけが利用可能であり、かつ図の活字組みのバージョン上でだけ利用可能であり、手書きされた入力、いわゆるデジタルインク上では利用可能でない場合、前述したとおり、限定され、かつ／又はジェスチャが学習されること、又は選択がメニューを介して行われることを要求する。例えば、或る編集オペレーションが直接デジタルインク上にあることを許す推測モードプロトコルについて説明する（例えば、特許文献１参照）。しかし、説明されるオペレーションは、非常に限定される。更に、認識された関係を保持しながら、デジタルインクにおいて図要素の相対位置を操作する能力のためのソリューションは、まったく提供されない。
【００１４】
サイズ変更オペレーション及び位置付け変更オペレーションに関してデジタルインク上の相対操作について説明する（例えば、特許文献２参照）。しかし、これらのオペレーションにおいて、デジタルインクは、操作により拡大縮小されるに過ぎず、このため、ユーザは、デジタルインクをそれの元の描かれた寸法に戻す更なるインタラクションを実行することを要求され、例えば、コンテナを、それの接続されたコンテナから離れるように移動させることは、コネクタがｘ寸法とｙ寸法の両方において伸びることをもたらし、又はコネクタは、コネクタが異なる形態（例えば、直線形態から曲げられた形態）にサイズ変更される、若しくは変更されるときに、コネクタのデジタルインクを近似するバックボーン（水平ラインと垂直ライン）を再計算することによって「リフロー（ｒｅｆｌｏｗ）」される。このことは、デジタルインクの再生成を要求し、これは、高い曲率点（ｃｕｓｐ）におけるセグメント化を通じたコネクタインクの正規化を通じて行われ得る（特許文献３参照）。したがって、もたらされる操作されたデジタルインクは、元の描かれたインクとは極めて異なって、ユーザによる介入を要求することがあり得る。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】米国特許第８，０１４，６０７号明細書
【特許文献２】米国特許第７，３９４，９３５号明細書
【特許文献３】米国特許第７，３２４，６９１号明細書
【発明の概要】
【００１６】
本明細書の後段で説明される本開示の例は、コンピューティングデバイスに対する手書き入力を用いた図作成において使用するためのシステム、方法、及びコンピュータプログラム製品を提供する。コンピュータプログラム製品は、方法を実装するように実行されるように適応されたコンピュータ可読プログラムコードがそこに具現化されている非一時的コンピュータ可読媒体を有する。
【００１７】
コンピューティングデバイスは、入力表面の形態で入力デバイスに接続される。ユーザは、彼若しくは彼女の指を使用して、又はスタイラス若しくはペンなどの用具を使用して入力表面に圧力を加えること、又は入力表面の上方でジェスチャすることによって入力を提供することができる。本システム及び本方法は、入力ストロークを監視する。
【００１８】
コンピューティングデバイスは、プロセッサと、プロセッサの制御下で手書き入力を検出するため、及び認識するための少なくとも１つのアプリケーションとを有する。少なくとも１つのシステムアプリケーションが、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示させること、複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別すること、少なくとも１つの識別されたコネクタのジオメトリ特性を決定すること、及び少なくとも１つの識別されたコネクタのインタラクティブインク、又はそれによって接続された複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、かつ決定されたジオメトリ特性に従って、図要素を表示変更させることを行うように構成される。
【００１９】
開示されるシステム及び方法の別の態様は、コネクタの特性、及び図要素の間の位置関係に基づいて、少なくとも１つのコネクタを識別することを提供する。
【００２０】
開示されるシステム及び方法の別の態様は、少なくとも１つの識別されたコネクタのジオメトリ特性を、接続された図要素のジオメトリ特徴の間の接続パスと関係付けられたものとして提供する。ジオメトリ特徴は、接続された図要素のジオメトリの中心を含む。
【００２１】
開示されるシステム及び方法の別の態様は、接続された図要素との少なくとも１つのコネクタの接続のポイントの間の関係を含む少なくとも１つの識別されたコネクタのジオメトリ特性を提供する。
【００２２】
開示されるシステム及び方法の別の態様は、接続パスを、接続のポイントに基づいて、接続された図要素のジオメトリの中心からオフセットされたものとして提供する。
【００２３】
開示されるシステム及び方法の別の態様は、インタラクティブインクをデジタルインクとして提供する。
【００２４】
いくつかの実装形態において、本開示は、コンピューティングデバイス上にテキストと、非テキストとを含む図の接続を手描きするためのシステムを提供する。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。少なくとも１つの非一時的コンピュータ可読媒体は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示させること、複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別すること、少なくとも１つの識別されたコネクタのジオメトリ特性を決定すること、及び少なくとも１つの識別されたコネクタのインタラクティブインク、又はそれによって接続された複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、かつ決定されたジオメトリ特性に従って、図要素を表示変更させることを行うように構成される。
【００２５】
少なくとも１つのコネクタは、コネクタの特性、及び図要素の間の位置関係に基づいて識別され得る。
【００２６】
少なくとも１つの識別されたコネクタのジオメトリ特性は、接続された図要素のジオメトリ特徴の間の接続パスと関係付けられ得る。
【００２７】
ジオメトリ特徴は、接続された図要素のジオメトリの中心を含み得る。
【００２８】
少なくとも１つの識別されたコネクタのジオメトリ特性は、接続された図要素との少なくとも１つのコネクタの接続のポイントの間の関係を含み得る。
【００２９】
接続パスは、接続のポイントに基づいて、接続された図要素のジオメトリの中心からオフセットされ得る。
【００３０】
インタラクティブインクは、デジタルインクであり得る。
【００３１】
いくつかの実装形態において、本開示は、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法を提供する。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。方法は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示するステップと、複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別するステップと、少なくとも１つの識別されたコネクタのジオメトリ特性を決定するステップと、少なくとも１つの識別されたコネクタのインタラクティブインク、又はそれによって接続された複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、かつ決定されたジオメトリ特性に従って、図要素を表示変更するステップとを含む。
【００３２】
方法は、コネクタの特性、及び図要素の間の位置関係に基づいて、少なくとも１つのコネクタを識別するステップを含み得る。
【００３３】
少なくとも１つの識別されたコネクタのジオメトリ特性は、接続された図要素のジオメトリ特徴の間の接続パスと関係付けられ得る。
【００３４】
ジオメトリ特徴は、接続された図要素のジオメトリの中心を含み得る。
【００３５】
少なくとも１つの識別されたコネクタのジオメトリ特性は、接続された図要素との少なくとも１つのコネクタの接続のポイントの間の関係を含み得る。
【００３６】
接続パスは、接続のポイントに基づいて、接続された図要素のジオメトリの中心からオフセットされ得る。
【００３７】
インタラクティブインクは、デジタルインクであり得る。
【００３８】
いくつかの実装形態において、本開示は、コンピュータ可読プログラムコードがそこに具現化されている非一時的コンピュータ可読媒体を提供する。前記コンピュータ可読プログラムコードは、コンピューティングデバイス上でテキスト要素と、非テキスト要素とを含む図を手描きするための方法を実装するように実行されるように適応される。コンピューティングデバイスは、プロセッサと、プロセッサの制御下で入力された手描き図要素を検出するため、及び認識するための少なくとも１つの非一時的コンピュータ可読媒体とを備える。方法は、コンピューティングデバイスに関連付けられたディスプレイデバイス上にインタラクティブインクにおいて複数の入力された図要素を表示するステップと、複数の図要素を接続するコネクタとして少なくとも１つの図要素を識別するステップと、少なくとも１つの識別されたコネクタのジオメトリ特性を決定するステップと、少なくとも１つの識別されたコネクタのインタラクティブインク、又はそれによって接続された複数の図要素のうちの１つ若しくは複数との受け取られた１つ又は複数のインタラクションに基づいて、かつ決定されたジオメトリ特性に従って、図要素を表示変更するステップとを含む。
【００３９】
非一時的コンピュータ可読媒体は、コネクタの特性、及び図要素の間の位置関係に基づいて、少なくとも１つのコネクタを識別することを含み得る。
【００４０】
少なくとも１つの識別されたコネクタのジオメトリ特性は、接続された図要素のジオメトリ特徴の間の接続パスを含み得る。
【００４１】
ジオメトリ特徴は、接続された図要素のジオメトリの中心を含み得る。
【００４２】
少なくとも１つの識別されたコネクタのジオメトリ特性は、接続された図要素との少なくとも１つのコネクタの接続のポイントの間の関係を含み得る。
【００４３】
接続パスは、接続のポイントに基づいて、接続された図要素のジオメトリの中心からオフセットされ得る。
【００４４】
インタラクティブインクは、デジタルインクであり得る。
【図面の簡単な説明】
【００４５】
本システム及び本方法は、図面と一緒に受け入れられた、これらの例の以下の詳細な説明からより十分に理解されよう。図面において、同様の参照符号は、同様の要素を表す。図面において、
【図１Ａ】活字組みの例の概念マップを示す図である。
【図１Ｂ】手書きされた例の概念マップを示す図である。
【図２Ａ】活字組みの例のマインドマップを示す図である。
【図２Ｂ】手書きされた例のマインドマップを示す図である。
【図３Ａ】活字組みの例のフローチャート若しくはフロー図である。
【図３Ｂ】手書きされた例のフローチャート若しくはフロー図である。
【図４Ａ】活字組みの例の組織チャート若しくは組織図である。
【図４Ｂ】手書きされた例の組織チャート若しくは組織図である。
【図５Ａ】活字組みの例のブロック／アーキテクチャ図面である。
【図５Ｂ】手書きされた例のブロック／アーキテクチャ図面である。
【図６Ａ】活字組みの例のスパイダマップ（ｓｐｉｄｅｒ  ｍａｐ）を示す図である。
【図６Ｂ】手書きされた例のスパイダマップを示す図である。
【図７】本システム及び本方法の例によるコンピューティングデバイスを示すブロック図である。
【図８】本システム及び本方法の例による手書き認識のためのシステムを示すブロック図である。
【図９】本システム及び本方法の例による図８の手書き認識システムの詳細を例示するブロック図である。
【図１０Ａ】コネクタで他の形状要素に接続された形状要素に対する移動オペレーション前の例示的な手描きされた図である。
【図１０Ｂ】コネクタで他の形状要素に接続された形状要素に対する移動オペレーション後の例示的な手描きされた図である。
【図１１Ａ】例示的な手描きされた図におけるデジタルインク形状に対する移動オペレーションを、デジタルインクコネクタに対する例示的な結果的な効果をとともに示す図である。
【図１１Ｂ】図１１Ａの図のデジタルインクコネクタに対する移動オペレーションを示す図である。
【図１１Ｃ】移動オペレーション後の図１１Ｂの図である。
【図１２Ａ】デジタルインクにおいてレンダリングされた例示的な手描きされた図である。
【図１２Ｂ】図１２Ａの図の形状要素に対する移動オペレーションを、関連付けられたコネクタに対する例示的な結果的な効果とともに示す図である。
【図１３Ａ】活字組みのインクにおいてレンダリングされた図１２Ａの図である。
【図１３Ｂ】活字組みのインクにおいてレンダリングされた図１２Ｂの図である。
【図１４Ａ】平行のコネクタで別の形状要素に接続された形状要素に対する移動オペレーション前の例示的な手描きされた図である。
【図１４Ｂ】平行のコネクタで別の形状要素に接続された形状要素に対する移動オペレーション後の例示的な手描きされた図である。
【図１５Ａ】平行のコネクタで別の形状要素に接続された形状要素に対する移動オペレーション前の例示的な手描きされた図である。
【図１５Ｂ】平行のコネクタで別の形状要素に接続された形状要素に対する移動オペレーション後の例示的な手描きされた図である。
【図１６Ａ】デジタルインクにおいてレンダリングされた例示的な手描きされた図である。
【図１６Ｂ】図１６Ａの図の形状要素に対する移動オペレーションを、関連付けられた交差させられたコネクタに対する例示的な結果的な効果とともに示す図である。
【図１６Ｃ】図１６Ｂの図の形状要素に対する更なる移動オペレーションを、コネクタに対する例示的な結果的な効果とともに示す図である。
【図１７Ａ】活字組みのインクにおいてレンダリングされた図１６Ａの図である。
【図１７Ｂ】活字組みのインクにおいてレンダリングされた図１６Ｂの図である。
【図１７Ｃ】活字組みのインクにおいてレンダリングされた図１６Ｃの図である。
【発明を実施するための形態】
【００４６】
以下の詳細な説明において、多数の特定の詳細が、関係のある教示の徹底的な理解を提供するために例として提示される。しかし、本教示は、そのような詳細なしに実施され得ることが当業者には明白であろう。他の場合において、よく知られた方法、手順、構成要素、及び／又は回路は、本教示の態様を不必要に不明瞭にするのを回避するために、詳細なしに、相対的に高レベルで説明されている。
【００４７】
上に、下に、上方、下方、最低、最高、水平、垂直、その他などの方向特徴の参照及び説明は、認識されるべき入力が行われる入力表面に適用される、デカルト座標系に関して行われる。更に、左及び右などの用語は、図面を見るときの読者の参照の枠組みと関係して行われる。更に、本説明における「テキスト」という用語の使用は、任意の書かれた言語における全ての英数字、及びそれらの文字列、並びに普通の非英数字、例えば、書かれたテキストにおいて使用される記号を包含するものと理解される。更に、本説明における「非テキスト」という用語は、自由形状の手書きされた、若しくは手描きされたコンテンツ、及びレンダリングされたテキスト及び画像データ、並びに非テキストコンテキストにおいて使用される、非英数字、及びそれらの文字列、及び英数字、及びそれらの文字列を包含するものと理解される。更に、これらの図面に示される例は、左から右に書かれる言語コンテキストにあり、したがって、位置の任意の参照は、異なる方向フォーマットを有する書かれた言語に関して適応されられ得る。
【００４８】
本明細書において説明される様々な技術は、一般に、ポータブルコンピューティングデバイス上、及び非ポータブルコンピューティングデバイス上の手描きされたコンテンツ及び手書きされたコンテンツのキャプチャ、処理、及び管理を、コンテンツの入力されたスタイルを、そのコンテンツの忠実な活字組みバージョン若しくは美化されたバージョンへの変換を許しながら、保持する様態で行うことに関する。本明細書において説明されるシステム及び方法は、コンピューティングデバイスに接続された、若しくはコンピューティングデバイスの、タッチセンシティブスクリーンなどの入力表面を介した、又はコンピューティングデバイスに接続された、デジタルペン若しくはマウスなどの入力デバイスを介した、又は位置検出システムによって監視される表面を介したコンピューティングデバイスに対するユーザの自然な書込みスタイル及び描きスタイルの入力の認識を利用し得る。いわゆるオンライン認識技法を使用した手書き入力の認識に関して様々な例が説明されるが、デジタルインクではなく、画像が認識されるオフライン認識などの、認識のための入力の他の形態への適用が可能であるものと理解される。手描きという用語と手書きという用語は、デジタル媒体若しくはデジタルで接続された媒体の上に直接にユーザの手の使用を通じて、又はハンドヘルドスタイラスなどの入力ツールを介してユーザによってデジタルコンテンツが作成されることを定義するように互換的に使用される。「手」という用語は、入力技法の簡潔な説明を提供するように本明細書において使用されるが、足、口、及び目などの、類似した入力のためのユーザの身体の他の部分の使用がこの定義に含まれる。
【００４９】
図７は、例示的なコンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、モバイル電話、スマートフォン、ウェアラブルコンピュータ、デジタルウォッチ、インタラクション型ホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、携帯情報端末（ＰＤＡ）、ゲームコンソールなどであってよい。コンピューティングデバイス１００は、少なくとも１つの処理要素の構成要素と、何らかの形態のメモリと、入力及び／又は出力（Ｉ／Ｏ）デバイスとを含む。構成要素は、コネクタ、配線、バス、ケーブル、バッファ、電磁リンク、ネットワーク、モデム、トランスデューサ、ＩＲポート、アンテナ、又は当業者に知られているその他のものなどの入力及び出力を通じて互いに通信する。
【００５０】
コンピューティングデバイス１００は、画像、テキスト、及びビデオなどのデータをコンピューティングデバイスから出力するための少なくとも１つのディスプレイ１０２を有する。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、又は当業者に知られているタッチセンシティブであり、若しくはタッチセンシティブでない他の任意の適切な技術を使用してよい。ディスプレイ１０２は、少なくとも１つの入力表面１０４と並置されても、それに遠隔で接続されてもよい。入力表面１０４は、タッチセンシティブ表面若しくは近接センシティブ表面の形態においてユーザ入力を受け取る、抵抗、表面弾性波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識などの技術、又は当業者に知られている他の任意の適切な技術を使用してよい。入力表面１０４は、それの境界を明確に識別する永久的な、又はビデオ生成された境界によって境界づけられる。入力表面１０４は、位置検出システムによって監視される非タッチセンシティブ表面であってよい。
【００５１】
入力表面１０４に加えて、コンピューティングデバイス１００は、ローカルインターフェースを介して通信可能に結合された更なる１つ又は複数のＩ／Ｏデバイス（又は周辺装置）を含み得る。更なるＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザリーダ、無線周波数デバイスリーダ、又は当業者に知られている他の任意の適切な技術などの入力デバイスを含んでよい。更に、Ｉ／Ｏデバイスは、プリンタ、バーコードプリンタ、又は当業者に知られている他の任意の適切な技術などの出力デバイスを含んでよい。更に、Ｉ／Ｏデバイスは、変調器／復調器（別のデバイス、システム、若しくはネットワークにアクセスするためのモデム）、無線周波数（ＲＦ）トランシーバ若しくは他のトランシーバ、電話インターフェース、ブリッジ、ルータ、又は当業者に知られている他の任意の適切な技術などの、入力と出力の両方を通信する通信デバイスを含んでよい。ローカルインターフェースは、簡単のために省かれるが、当業者には知られている、コントローラ、バッファ（キャッシュ）、ドライバ、中継器、及び受信機などの、通信を可能にする更なる要素を有してよい。更に、ローカルインターフェースは、その他のコンピュータ構成要素の間で適切な通信を可能にするアドレス接続、制御接続、及び／又はデータ接続を含んでよい。
【００５２】
また、コンピューティングデバイス１００は、ソフトウェア、特に、メモリ１０８に記憶されたソフトウェアを実行するためのハードウェアデバイスであるプロセッサ１０６も含む。プロセッサは、任意の特別仕様のプロセッサ若しくは市販の汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップ若しくはチップセットの形態の）、マクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは他のプログラマブルロジックデバイス、ディスクリートのゲート若しくはトランジスタロジック、ディスクリートのハードウェア構成要素、状態マシン、又は当業者に知られているソフトウェア命令を実行するために設計されたこれらの任意の組合せであることができる。適切な市販のマイクロプロセッサの例は、以下のとおり、すなわち、ヒューレットパッカード社からのＰＡ−ＲＩＳＣ系マイクロプロセッサ、インテル社からの８０×８６系若しくはＰｅｎｔｉｕｍ系マイクロプロセッサ、ＩＢＭ社からのＰｏｗｅｒＰＣマイクロプロセッサ、Ｓｕｎ  Ｍｉｃｒｏｓｙｓｔｅｍｓ社からのＳｐａｒｃマイクロプロセッサ、モトローラ社からの６８ｘｘｘ系マイクロプロセッサ、ＤＳＰマイクロプロセッサ、又はＡＲＭマイクロプロセッサである。
【００５３】
メモリ１０８は、揮発性メモリ要素（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭ、若しくはＳＤＲＡＭなどのＲＡＭ））と不揮発性メモリ要素（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気テープ若しくは光テープ、メモリレジスタ、ＣＤ−ＲＯＭ、ＷＯＲＭ、ＤＶＤ、ＲＡＩＤ（Ｒｅｄｕｎｄａｎｔ  Ａｒｒａｙ  ｏｆ  Ｉｎｅｘｐｅｎｓｉｖｅ  Ｄｉｓｋｓ）、別の直接アクセスストレージデバイス（ＤＡＳＤ））のうちのいずれか１つ又は組合せを含み得る。更に、メモリ１０８は、電子タイプ、磁気タイプ、光タイプ、及び／又は他のタイプのストレージ媒体を組み込み得る。メモリ１０８は、様々な構成要素が互いに遠隔に位置付けられるが、プロセッサ１０６によってアクセスされることも可能である分散アーキテクチャを有することができる。更に、メモリ１０８は、コンピューティングデバイス１００によって遠隔でアクセス可能である、サーバに、又はクラウドベースのシステムにあるなど、デバイスから遠隔であってよい。メモリ１０８は、プロセッサ１０６に結合され、したがって、プロセッサ１０６は、メモリ１０８から情報を読み取ること、及びメモリ１０８に情報を書き込むことができる。代替において、メモリ１０８は、プロセッサ１０６と一体化していてよい。別の例において、プロセッサ１０６とメモリ１０８はともに、単一のＡＳＩＣ又は他の集積回路に存在してよい。
【００５４】
メモリ１０８におけるソフトウェアは、オペレーティングシステム１１０と、アプリケーション１１２とを含む。ソフトウェアは、任意選択で、別々の１つ又は複数のコンピュータプログラムをそれぞれが含み得る手書き認識（ＨＷＲ）システム１１４を更に含む。これらのそれぞれは、論理機能を実装するための実行可能命令の順序付けられたリストを有する。オペレーティングシステム１１０は、アプリケーション１１２（及びＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、任意の独自のオペレーティングシステムであっても、ＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣ、及びＩＰＨＯＮＥ  ＯＳ（登録商標）、ＬＩＮＵＸ、及びＡＮＤＲＯＩＤなどの市販のオペレーティングシステムであってもよい。また、他のオペレーティングシステムが利用されてもよいものと理解される。
【００５５】
アプリケーション１１２は、ユーザによって入力された手描きされた形状及び手書きされたテキストの検出、管理、及び扱いと関係付けられた１つ又は複数の処理を含む（後段で詳細に説明される）。また、ソフトウェアは、手書き認識、異なる機能、又はその両方と関係付けられた他の１つ又は複数のアプリケーションを含んでもよい。他のアプリケーションのいくつかの例は、テキストエディタ、電話ダイヤラ、連絡先ディレクトリ、インスタントメッセージングファシリティ、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワードプロセッシングプログラム、ウェブブラウザ、及びカメラを含む。アプリケーション１１２、及び他のアプリケーションは、製造されたときにコンピューティングデバイス１００とともに提供されるプログラムを含み、製造後、コンピューティングデバイス１００にアップロードされる、又はダウンロードされるプログラムを更に含んでよい。
【００５６】
本システム及び本方法は、手書きされたテキストと、手描きされた形状、例えば、非テキストとを含む、デバイス１００に対する手書きされた入力を認識するためにＨＷＲシステム１１４を利用する。ＨＷＲシステム１１４は、サポート能力及び準拠能力を有して、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、又は実行されるべき命令のセットを有する他の任意のエンティティであり得る。ソースプログラムである場合、プログラムは、メモリ内に含まれても含まれなくてもよいコンパイラ、アセンブラ、インタープリタなどを介して変換されて、オペレーティングシステムに関連して適切に動作するようにされる必要がある。更に、サポート能力及び準拠能力を有した手書き認識システムは、（ａ）データ及びメソッドのクラスを有するオブジェクト指向プログラミング言語、（ｂ）例えば、Ｃ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ、Ｏｂｊｅｃｔｉｖｅ  Ｃ、Ｓｗｉｆｔ、及びＡｄａなどの、但し、以上には限定されない、ルーチン、サブルーチン、及び／又は関数を有する手続き型プログラミング言語、又は（ｃ）例えば、Ｈｏｐｅ、Ｒｅｘ、Ｃｏｍｍｏｎ  Ｌｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、及びＦ＃などの、但し、以上には限定されない、関数型プログラミング言語として書かれることが可能である。代替として、ＨＷＲシステム１１４は、サーバ又はクラウドベースのシステムなどのデバイスから遠隔の、但し、コンピューティングデバイス１００の前述の通信Ｉ／Ｏデバイスを使用して通信リンクを通じてコンピューティングデバイス１００によって遠隔でアクセス可能である手書き認識システムと通信するための方法又はシステムであってよい。更に、アプリケーション１１２とＨＷＲシステム１１４は、一緒に動作して、例えば、各システムによって処理されて、メモリ１０８に記憶される情報にアクセスしても、単一のアプリケーションとして組み合わされてもよい。
【００５７】
入力表面１０４上で、若しくはそれを介して入力されたストロークは、デジタルインクとしてプロセッサ１０６によって処理される。ユーザは、指、又は入力表面に対して使用するのに適したペン若しくはスタイラスなどの何らかの用具でストロークを入力してよい。また、ユーザは、入力表面１０４の付近における動きを感知する技術が使用されている場合、入力表面１０４の上方でジェスチャを行うことによって、又はマウス若しくはジョイスティックなどのコンピューティングデバイス１００の周辺デバイスを用いてストロークを入力してもよい。ストロークは、少なくとも、ストローク開始位置、ストローク終了位置、及びストローク開始位置とストローク終了位置を接続するパスによって特徴付けられる。異なるユーザが、わずかなばらつきとともに同一のオブジェクト、例えば、字、形状、記号を自然に書き込むことがあり得るため、ＨＷＲシステムは、各オブジェクトが、正しいオブジェクト、若しくは意図されたオブジェクトとして認識されながら、入力され得る様々な様態に対応する。
【００５８】
図８は、ＨＷＲシステム１１４の例の、それのローカル（すなわち、デバイス１００にロードされた）、又は遠隔（すなわち、デバイス１００によって遠隔でアクセスされる）における概略図である。ＨＷＲシステム１１４は、前処理１１６、認識１１８、及び出力１２０などの段階を含む。前処理段階１１６は、デジタルインクを処理して、より高い正確さを達成し、かつ認識段階１１８中の処理時間を低減する。この前処理は、入力を平滑化するＢスプライン近似などのサイズ正規化及び／又は方法を適用することによってストローク開始位置とストローク終了位置を接続するパスの正規化を含み得る。次に、前処理されたストロークは、ストロークを処理して、それによって形成されるオブジェクトを認識する認識段階１１８に渡される。次に、認識されたオブジェクトは、手書きされた要素／文字及び手描きされた形状のデジタルインクバージョン又は活字組みのバージョンとしてメモリ１０８及びディスプレイ１０２に出力される１２０。
【００５９】
認識段階１１８は、異なる処理要素又は処理エキスパートを含み得る。図９は、認識段階１１８の概略の詳細を示す図８の例の概略図である。動的プログラミングを通じて協働して出力１２０を生成する３つのエキスパート、セグメント化エキスパート１２２、認識エキスパート１２４、及び言語エキスパート１２６が例示される。
【００６０】
セグメント化エキスパート１２２は、表現、例えば、語、数学の式、又は形状のグループを形成するために、入力ストロークをセグメント化して、個々の要素仮説、例えば、英数字及び数学演算子、テキスト文字、個々の形状、又は部分表現にする異なる様態を定義する。例えば、セグメント化エキスパート１２２は、元の入力の連続するストロークをグループ化することによって要素仮説を形成して、各ノードが少なくとも１つの要素仮説に対応し、かつ要素間の隣接制約がノード接続によって扱われるセグメント化グラフを獲得してよい。代替として、セグメント化エキスパート１２２は、テキスト、図面、式、及び楽譜などの異なる入力タイプに関して別々のエキスパートを用いてよい。
【００６１】
認識エキスパート１２４は、クラシファイア１２８によって抽出された特徴の分類を提供し、かつセグメント化グラフの各ノードに関する確率若しくは認識スコアとともに要素候補のリストを出力する。この認識タスクに対処するのに使用されることが可能な多くのタイプのクラシファイア、例えば、サポートベクトルマシン、隠れマルコフモデル、又は多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワーク、若しくは再帰型ニューラルネットワークなどのニューラルネットワークが存在する。選択は、タスクに望まれる複雑さ、正確さ、及び速度に依存する。
【００６２】
言語エキスパート１２６は、言語モデル（例えば、文法若しくはセマンティクス）を使用してセグメント化グラフにおける異なるパスに関する言語的意味を生成する。エキスパート１２６は、言語的情報１３０によりその他のエキスパートによって示唆される候補を検査する。言語的情報１３０は、語彙、正規表現、その他を含むことができる。言語エキスパート１２６は、最良の認識パスを見出すことを目指す。一例において、言語エキスパート１２６は、言語的情報１３０のコンテンツを表す最終状態オートマトン（決定論的ＦＳＡ）などの言語モデルを探索することによってこれを行う。語彙制約に加えて、言語エキスパート１２６は、要素の所与のシーケンスが、どれだけ頻繁に指定された言語において出現するか、又は特定のユーザによって使用されるかに関してモデル化する統計情報を使用して、セグメント化グラフの所与のパスの解釈の言語的尤度を評価してよい。
【００６３】
本システム及び本方法によって提供されるアプリケーション１１２は、学生、学問的専門家、及び職業的専門家などのユーザが、作成される図のタイプ、例えば、フローチャート、組織チャート、概念マップ、スパイダマップ、ブロック／アーキテクチャ図、マインドマップ、ブロック図、ベン図、及びピラミッドとは独立に、ＨＷＲシステム１１４を使用して手書きされた図を作成し、かつ忠実に認識されたそれらの図を得ることを許す。このリストは、網羅的ではなく、図の他のタイプ、又は非タイプが可能である。例えば、図１Ｂ、図２Ｂ、図３Ｂ、図４Ｂ、図５Ｂ、及び図６Ｂに例示される手描きされた図の異なる要素は、図タイプにかかわらず、その間の任意の空間関係及びコンテキスト関係と一緒に個々に認識される。前述したとおり、これらの図要素は、形状要素と、テキスト要素とを含む。形状要素又は図面要素は、線形構成又は非線形構成におけるグラフィック形成又はジオメトリ形成を定義するものであり、かつコンテナ、コネクタ、及び自由形態の描きを含む。テキスト要素は、テキスト文字を包含するものであり、かつテキストブロックと、テキストブロック及び形状要素に関するラベルとを含む。テキストブロックとラベルの両方が、１つ又は複数の垂直ラインにおいて提供される１つ又は複数の文字、語、文、又は段落のテキストを包含し得る。テキストブロックは、コンテナによって包含されても（内部テキストブロック）、コンテナの外部で提供されてもよい（外部テキストブロック）。外部テキストブロックは、コンテナ、又は図の他の要素と無関係であっても、他の或る図要素と直接に関係付けられてもよい。
【００６４】
更に、本システム及び本方法によって提供されるアプリケーション１１２は、ユーザが、作成された図の編集オペレーションのキャプチャを許すデジタルツールのパワーの恩恵を受けながら、技術に起因して遅らされることなしに、紙の上でそれらがするように、そのような形状及びテキストを自由に手描きすることを許す。詳細には、形状が、新たなアイディアのためのスペースの作成、接続若しくは形状タイプの変更、及び編集ジェスチャの扱いのために移動され、操作されることを可能にする編集がサポートされる。本システム及び本方法によってコネクタに対して実行される編集オペレーションの扱いが、図１０乃至図１８に例示される例示的な図と関係させて次に説明される。
【００６５】
図１０は、手描きされた図において、デジタルインクボックスに対する移動オペレーションを、それに関連付けられたデジタルインクコネクタに対する例示的な結果的な効果とともに示す。図１０Ａにおいて、ボックス１０００が、選択ジェスチャ１００１によって選択され、矢印Ａの方向で移動される。選択されたボックスは、この選択が行われると、選択モードレンダリングで例示される。ボックスは、２つの関連付けられたコネクタと、曲げられた矢印コネクタ１００２と、直線の矢印コネクタ１００３とを有する。移動オペレーションの完了時の調整された表示が、図１０Ｂに示され、そこにおいて、コネクタ１００２及び１００３が、調整されたコネクタ１００２’及び１００３’として、それぞれ表示される。曲げられたコネクタ１００２は、それの別々のアーム（すなわち、曲げられたコネクタの「エルボー」において接合された）がエルボーの周りで延長されて調整される。
【００６６】
図１０Ａに実質的に垂直に表示されるコネクタ１００３は、短縮化されるように調整され、図１０Ｂにおける調整されたコネクタ１００３’として垂直ラインに対して傾斜した角度で表示される。コネクタの角度の変更は、コネクタのジオメトリを保持するように実行され、例えば、調整されたコネクタ１００３’が、元のコネクタ１００３と同様に実質的に直線であるようにレンダリングされ、ボックス１０００の移動により、曲線となるようにされない。そのような曲線化は、例えば、ボックス１０００及び別のボックス１００４に対するコネクタ１００３の接続ポイント又はアンカポイントが調整されたコネクタ１００３’に関して維持されたとした場合、要求される。しかし、接続ポイントの調整は、移動オペレーション中、及びその後、コネクタのジオメトリを保持するように、かつ妥当な表示変更を提供するように行われる。このことは、それぞれの接続された形状のジオメトリの中心を考慮に入れることによって達成され得る。
【００６７】
図１０Ａにおいてわかるとおり、ボックス１０００及び１００４、並びに接続された他のボックス１００５及び１００６のジオメトリの中心は、アプリケーション１１２によって、バツ印Ｂによって示されるとおり決定される。また、例えば、曲げられたコネクタ１００２のエルボーにおいて曲がる破線１００７として、ボックス１０００とボックス１００５との間のコネクタ１００２に関して示される、コネクタのジオメトリを考慮に入れるジオメトリの各中心と関連付けられたコネクタとの間の接続のパスも決定される。ボックス１０００が移動されるとき、接続されたボックスのジオメトリの中心の間の決定された接続パスが、例えば、図１０Ｂに示されるとおり、パスジオメトリを保持しながら、ジオメトリの中心の間に留まるように調整され、接続パス１００７は、それの曲げられたジオメトリを保持し、かつ直線のコネクタ１００３の接続パス１００８は、ボックス１０００とボックス１００４の重心の間のそれの直線のジオメトリを保持して、垂直線に対して角度を有するようになる。したがって、調整された曲げられたコネクタ１００２’は、調整された接続パス１００７に沿ってレンダリングされ、調整されたコネクタ１０３’は、調整された接続パス１００８に沿ってレンダリングされる。
【００６８】
図１１は、手描きされた図におけるデジタルインクボックス及びデジタルインクコネクタに対する移動オペレーションを、デジタルインクコネクタに対する例示的な結果的な効果をとともに示す。図１１Ａにおいて、ボックス１１００が、選択ジェスチャ１１０１によって選択され、矢印Ｃの方向で移動される。ボックスは、関連付けられた直線のコネクタ１１０２を有する。コネクタ１１０２は、分岐したコネクタ１１０３の分岐を有する。分岐したコネクタは、トランクと、トランクから延びる分岐とから形成されたサブコネクタを有する複雑なコネクタ若しくはマルチコネクタである。トランク及び分岐は、それら自体、曲げられたコネクタ又は分岐したコネクタなどのマルチコネクタであり得る。移動オペレーションの完了時の調整された表示が、図１１Ｂに示され、そこにおいて、コネクタ１１０２は、調整されたコネクタ１１０２’として表示される。図１１Ａに実質的に水平に表示されるコネクタ１１０２は、延長されるように調整され、図１１Ｂにおいて調整されたコネクタ１１０２’として水平線に対して傾斜した角度で表示される。
【００６９】
（トランク）コネクタ１１０３に対する（分岐）コネクタ１１０２の接続ポイントは、ユーザによって作成された図の元の関係を保持するために、かつ分岐したコネクタのトランク経由で接続されたボックスの階層構造におけるボックス１１００の位置が、同一であるレベルに変更されている（例えば、トランクに直接接続されている）か、又はより低いレベルに変更されている（例えば、その他のボックスのうちの１つに接続されている）かがアプリケーション１１２に把握されていないので、調整されない。代替として、接続ポイントは、移動の意図が確かめられることが可能である場合、自動的に調整されてよい。更に図１１Ｂにおいて、調整されたコネクタ１１０２’が、選択ジェスチャ１１０４によって選択され、矢印Ｄの方向で移動される。選択された調整されたコネクタは、この選択が行われると、選択モードレンダリングで例示される。移動オペレーションの完了時の調整された表示が、図１１Ｃに示され、そこにおいて、調整されたコネクタ１１０２’が、調整されたコネクタ１１０２’’として表示される。
【００７０】
ボックス１１００のジオメトリの中心は、バツ印Ｂによって示されるとおり、アプリケーション１１２によって決定されることがわかる。図１１Ａにおいて、ジオメトリのこの中心及びトランクコネクタ１１０３からの接続のパスが、破線１１０５として示される。ボックス１１００が移動される場合、この決定された接続パスは、破線１１０５’によって示されるとおり調整されて、コネクタ１１０２が、図１１Ｂに示されるとおり、ジオメトリの中心からの接続パス上に留まるようになる。コネクタ１１０３が移動される場合、この決定されたパスは、破線１１０５’’によって示されるとおり調整されて、コネクタ１１０２が、図１１Ｃに示されるとおり、ジオメトリの中心から接続パス上に留まるようになる。したがって、調整されたコネクタ１１０２’は、接続パス１１０５’に沿ってレンダリングされ、このことは、ボックス１１００の境界に対するコネクタ１１０２の接続ポイントが、図１１Ａにおけるポイントｉから図１１Ｂにおけるポイントｉｉに移動することをもたらす。その結果、コネクタ１１０２は、ボックス１１００のコーナ１１００ａの周囲で移動される。次に、調整されたコネクタ１１０２’’が、接続パス１１０５’’に沿ってレンダリングされ、このことは、ボックス１１００の境界に対するコネクタ１１０２の接続ポイントが、図１１Ｂにおけるポイントｉｉから図１１Ｃにおけるポイントｉに戻るように移動することをもたらす。その結果、コネクタ１１０２は、ボックス１１００のコーナ１１００ａの周囲で戻るように移動される。
【００７１】
図１０及び図１１において、接続された形状上のコネクタの接続のポイントが、形状のジオメトリの中心、及びそれらの間の接続パスとの関係で移動される。このため、図１０及び図１１の例において、ジオメトリの中心は、接続に関するアンカポイントとして扱われる。これは、接続ポイント自体がコンテナ境界上のアンカポイントとして扱われる従来の技法とは異なる。この扱いは、多くの編集オペレーションにおいて問題ないが、それは、接続ポイントを移動するために図要素とのインタラクションを再びユーザに要求する他の多くのオペレーションにおいて望ましくない結果をもたらす可能性がある。他方、本システム及び本方法の接続ポイントの調整は、接続のパラメータではなく、接続自体が尊重されるため、オブジェクトを移動すること、及びサイズ変更することなどの編集することにおけるユーザの意図と一致する。コネクタをアンカするのにジオメトリの中心を直接使用することは、多くの状況において良好な結果を提供するが、オブジェクトのより複雑な位置変更は、接続のより複雑な調整を要求する。例えば、ジオメトリの中心を（直接）使用することは、接続されたオブジェクトの境界の実質的に中心に置かれた接続ポイントを有するコネクタに関して一般にうまく機能するが、オフセットされた接続ポイントに関して、又はそれらの側方に複数のコネクタを有するオブジェクトに関してうまく機能しない。そのようなコネクタシナリオの変換を扱う本システム及び本方法の技法の例が、次に説明される。
【００７２】
図１２は、手描きされた図１２００におけるデジタルインクボックスに対する移動オペレーションを、それに関連付けられたデジタルインクコネクタに対する例示的な結果的な効果とともに示す。図１２Ａにおいて、図１２００は、コネクタ１２０６によって接続されたボックス１２０２及びボックス１２０４を含む。図１２Ｂにおいて、ボックス１２０４は、ボックス１２０２に対して移動されて、調整されたコネクタ１２０６’としてコネクタの結果的な調整表示が行われる。ボックス１２０２及び１２０４に対するコネクタ１２０６の接続ポイントｉ及びｉｉは、図１１と同様に、それぞれ、コーナ１２０２ａ及び１２０４ａの周りの調整されたコネクタ１２０６’に関する接続ポイントｉｉｉ及びｉｖにそれぞれ調整されることがわかる。しかし、図１１の例示的な図１１００におけるコネクタとは異なり、図１２００のコネクタ１２０６は、ボックス１２０２及び１２０４の境界の中心に置かれた接続ポイントを有せず、したがって、ボックスのジオメトリの中心に直接アンカされない。このことにかかわらず、コネクタの調整された表示は、自然であり、かつユーザによる図１２００に対する意図される編集を尊重しているように見える。中心に置かれていないコネクタの接続ポイントが移動オペレーション中に調整されることに成功する様態が、図１２００の活字組みの形態における図１２の移動オペレーションを示す図１３を参照して説明される。本明細書における図の活字組みされたバージョンは、説明を明瞭にする目的で使用されるに過ぎず、以下の説明される技法は、デジタルインクバージョンにも適用可能である。
【００７３】
図１３Ａにおいて、ボックス１２０２が、活字組みのボックス１２０２ｂとして表示され、ボックス１２０４が、活字組みのボックス１２０４ｂとして表示され、コネクタ１２０６が、活字組みのコネクタ１２０６ｂとして表示され、図１３Ｂにおいて、調整されたコネクタ１２０６’が、活字組みのコネクタ１２０６ｂ’として表示される。図１３Ａは、接続ポイント調整のために本システム及び本方法によって決定され、使用される図要素の関係のジオメトリ特徴を示す。これらの特徴は、ボックス１２０２及び１２０４のジオメトリＢの中心と、コネクタ１２０６の両端からボックスに入るコネクタ１２０６の延長ライン（破線）１２０８と、ライン（破線）１２１０とを含み、ライン（破線）１２１０は、各ボックスのジオメトリの中心を通り、延長ライン１２０８に垂直であり、それによって、互いに平行である、垂直のライン１２１０上でポイントＥから接続パスとして延長ラインを形成する。ジオメトリの中心、及び関係ラインに関する描かれた印は、例示の目的でだけ提供され、アプリケーション１１２によってユーザに通常、表示されることはないことに留意されたい。しかし、アプリケーション１１２のＵＩは、ユーザに、例えば、編集オペレーション中、参照のためにそのような印を表示する能力を提供してよい。
【００７４】
図１３Ｂにおいて、これらの印付けが、図１２００の調整された表示との関係で示される。調整されたコネクタ１２０６ｂ’は、ボックス１２０４の移動のため、それが調整されるにつれ、接続パス１２０８上でレンダリングされることがわかる。この調整において、垂直のライン１２１０は、ジオメトリＢの中心を通過するものとして維持されるが、ボックス１２０２及び１２０４の新たな相対ｘ位置及び相対ｙ位置と対応するように回転させられる。ポイントＥは、この回転を通じて垂直のライン１２１０上に保持され、ポイントＥと、ボックス１２０２及び１２０４にそれぞれ関するジオメトリＢの中心との間の距離Ｆ及びＧも保持される。
【００７５】
したがって、図１２及び図１３の技法によって、接続されたオブジェクトのジオメトリの中心からオフセットされた中心に置かれていないコネクタに関する接続パスが決定され、したがって、接続ポイント位置の調整が、ジオメトリの中心に対して間接的に行われる。この平行移動技法のために使用されるジオメトリ特徴は、図１２及び図１３の単一コネクタ例に適している。しかし、複数コネクタを含む状況は、更なる、又は異なるジオメトリ特徴が考慮されることを要求し得る。
【００７６】
図１４は、手描きされた図におけるデジタルインクボックスに対する移動オペレーションを、それに関連付けられた平行のデジタルインクコネクタに対する例示的な結果的な効果とともに示す。図１４Ａにおいて、ボックス１４００が、選択ジェスチャ１４０１の検出に応答して選択され、矢印Ｈの方向に移動される。ボックスは、２つの関連付けられたコネクタと、両方が実質的に直線のジオメトリを有し、かつ互いに実質的に平行である、第１のコネクタ１４０２と、第２のコネクタ１４０３とを有する。移動オペレーションの完了における調整された表示が、図１４Ｂに示され、そこにおいて、コネクタ１４０２及び１４０３が、調整されたコネクタ１４０２’及び１４０３’として表示される。図１４Ａに実質的に水平に表示される、コネクタ１４０２及び１４０３は、延長されるように調整され、かつ実質的に平行の整列を保持しながら、調整されたコネクタ１４０２’及び１４０３’として水平線に対して傾斜した角度で表示される。
【００７７】
図１０の例とは異なり、ボックス１４００及び接続されたボックス１４０４のジオメトリＢの中心からのパスは、平行に整列されたコネクタ１４０２及び１４０３を通じて流れない。したがって、コネクタの実質的に平行の整列は、コネクタに対して実質的に全体的に平行に延びる平行のコネクタの共通の接続パスをそれらの間の実質的に中心に決定することによって、移動オペレーションにおいて尊重される。ボックス１４００が移動されるとき、共通の接続パスは、例えば、図１４Ｂに示されるとおり、パスジオメトリを保持しながら、ジオメトリの中心の間に留まるように調整され、共通の接続パス１４０５は、ボックス１４００とボックス１４０４のジオメトリの中心の間のそれの直線のジオメトリを保持して、水平線に対して角度を有するようになる。調整されたコネクタ１４０２’及び１４０３’は、調整された共通の接続パス１４０５に沿ってレンダリングされて、元のコネクタ１４０２及び１４０３のそこからの平行の分離を保持するようになる。
【００７８】
図１０及び図１１の例と同様に、図１４の平行のコネクタは、接続されたオブジェクトに対して実質的に中心に置かれ、したがって、前述されたとおり、ジオメトリの中心に直接アンカすることが、それに対する共通の接続パスの構築を通じてではあるが、適切である。図１５は、活字組みの手描きされた図１５００における活字組みのインクボックスに対する移動オペレーションを、それに関連付けられた平行の活字組みのインクコネクタに対する例示的な結果的な効果とともに示す。
【００７９】
図１５Ａにおいて、活字組みのボックス１５０２及び１５０４が、活字組みの平行のコネクタ１５０６及び１５０８によって接続され、図１５Ｂにおいて、ボックス１５０４が、ボックス１５０２に対して移動され、調整された活字組みのコネクタ１５０６’及び１５０８’としてのコネクタの結果的な調整が行われる。それぞれ、ボックス１５０２及び１５０４に対する平行のコネクタ１５０６及び１５０８の接続ポイントｉ及びｉｉが、ボックスのジオメトリの中心からオフセットされることがわかる。図１４の例と同様に、アプリケーション１１２は、平行のコネクタ１５０６及び１５０８に関する共通の接続パス１５１０を決定するが、この共通のパス１５１０は、図１２及び図１３の技法を使用してボックス１５０２及び１５０４のジオメトリＢの中心からオフセットされる。したがって、共通の接続パス１５１０がオフセットにより調整され、かつ調整されたコネクタ１５０６’及び１５０８’がこの調整されたパスに沿ってレンダリングされて、元のコネクタ１５０６及び１５０８のそこからの平行の分離、並びに、それぞれ、ボックス１５０２及び１５０４に対するオフセット調整された接続ポイントｉｉｉ及びｉｖを保持するようになるので、コネクタの実質的に平行の整列が、ボックス１５０４の移動オペレーションにおいて尊重される。
【００８０】
また、より複雑な複数コネクタシナリオも、前述の調整技法を適応させることによって扱われる。図１６は、手描きされた図１６００におけるデジタルインクボックスに対する移動オペレーションを、それに関連付けられたデジタルインクコネクタに対する例示的な結果的な効果とともに示し、図１７は、図１６００の活字組みの形態におけるこれらの移動オペレーションを示す。図１６Ａにおいて、図１６００は、コネクタ１６０６及び１６０８によって接続されたボックス１６０２及び１６０４を含む。コネクタ１６０６及び１６０８は、図１５の例示的な図の場合のように平行なのではなく、それらは、交差することがわかる。図１６Ｂにおいて、ボックス１６０４が、ボックス１６０２に対して移動され、調整されたコネクタ１６０６’及び１６０８’としてコネクタの結果的な調整表示が行われ、これは、交差を保持する。図１６Ｃにおいて、ボックス１６０４が、ボックス１６０２に対して更に移動され、調整されたコネクタ１６０６’’及び１６０８’’として調整されたコネクタの結果的な調整表示が行われ、これも、交差を保持する。図１６００における交差したコネクタの配置は、図１６００の活字組みの形態における図１６の移動オペレーションを示す図１７に関して後段で説明されるとおり、図１６Ａ乃至図１６Ｃにわたって実行される完全な移動オペレーションに関して更に複雑化される。
【００８１】
図１７Ａにおいて、ボックス１６０２が、活字組みのボックス１６０２ｂとして表示され、ボックス１６０４は、活字組みのボックス１６０４ｂとして表示され、コネクタ１６０６は、活字組みのコネクタ１６０６ｂとして表示され、コネクタ１６０８は、活字組みのコネクタ１６０８ｂとして表示される。図１７Ｂにおいて、調整されたコネクタ１６０６’が、活字組みのコネクタ１６０６ｂ’として表示され、調整されたコネクタ１６０８’が、活字組みのコネクタ１６０８ｂ’として表示される。図１７Ｃにおいて、調整されたコネクタ１６０６’’が、活字組みのコネクタ１６０６ｂ’’として表示され、調整されたコネクタ１６０８’’が、活字組みのコネクタ１６０８ｂ’’として表示される。
【００８２】
図１７Ａは、接続ポイント調整のために本システム及び本方法によって決定され、使用される図要素の関係のジオメトリ特徴を示す。これらの特徴は、ボックス１６０２及び１６０４のジオメトリＢの中心と、ボックス１６０２の境界上のコネクタ１６０６の接続ポイントＩ1からボックス１６０２内に突出するコネクタ１６０６のライン（破線）１７１０と、突出ライン１７１０と平行であるようにボックス１６０２の境界上のコネクタ１６０８の接続ポイントＪ1からボックス１６０２内に突出するコネクタ１６０８のライン（破線）１７１２と、平行の突出ライン１７１０及び１７１２に垂直であり、かつボックス１６０２のジオメトリＢの中心、並びに突出ライン１７１０及び１７１２上のポイントＥを通過するライン（破線）１７１４と、ボックス１６０４の境界上のコネクタ１６０６の接続ポイントＩ2からボックス１６０４内に突出するコネクタ１６０６のハング（ｈａｎｇ）ライン（破線）１７１６と、突出ライン１７１６と平行であるようにボックス１６０４の境界上のコネクタ１６０８の接続ポイントＪ2からボックス１６０４内に突出するコネクタ１６０８のライン（破線）１７１８と、突出ライン１７１６及び１７１８に垂直であり、かつ垂直のライン１７１４と平行であるようにボックス１６０４のジオメトリＢの中心、並びに突出ライン１７１６及び１７１８上のポイントＥを通過するライン（破線）１７２０とを含む。
【００８３】
突出ラインの向き、及び、したがって、平行の垂直のラインの向きは、ボックスのジオメトリの中心に最も近づけて接続されるコネクタがそのボックスに接続する角度に基づいて決定される。参照向き（ｒｅｆｅｒｅｎｃｅ  ｏｒｉｅｎｔａｔｉｏｎ）を設定するための異なる基準、例えば、ジオメトリＢの中心を接続するライン（接続パス）とライン１７１４との間に示される（２倍の）角度の使用も可能である。図１６及び図１７の例において、コネクタ１６０８は、それがボックス１６０２のジオメトリの中心に最も近づけて接続されるので、参照として使用される。したがって、図１７Ａに示されるとおり、コネクタ１６０８のボックス１６０２の境界に対する角度Ｋが、使用される。代替として、（２倍の）角度が使用され、このことは、円形の、又は規則的でない形状であることが可能な、ボックスの形状からこれらのパラメータを切り離す。突出ライン１７１２（及び、したがって、突出ライン１７１０、１７１６、及び１７１８）の向きは、同一の角度Ｋで、但し、接続ポイントＪ1においてコネクタ１６０８に垂直であるライン（破線）１７２２から設定される。
【００８４】
図１７Ｂにおいて、特徴印付けが、図１６００の調整された表示と関係させて示される。調整されたコネクタ１６０６ｂ’が、それぞれ、ボックス１６０２及び１６０４に対する接続ポイントＩ3及びＩ4を有してレンダリングされ、調整されたコネクタ１６０８ｂ’が、それぞれ、ボックス１６０２及び１６０４に対する接続ポイントＪ3及びＪ4を有してレンダリングされることがわかる。この調整において、垂直のライン１７１４及び１７２０は、ジオメトリＢの中心を通過するものとして維持されるが、ボックス１６０２及び１６０４の新たな相対ｘ位置及び相対ｙ位置と対応するように回転させられる。この回転を通じて、垂直のライン１７１４及び１７２０に対する突出ライン１７１０、１７１２、１７１６、及び１７１８の垂直の向きは、維持され、前段で設定されたとおり、又は垂直のライン１７１４と、ジオメトリＢの中心の間の接続パスとの間の角度の維持を通じて、それぞれ、ボックス１６０２及び１６０４におけるポイントＥの間の距離Ｌ及びＭも維持される。
【００８５】
図１７Ｃにおいて、特徴印付けが、図１６００の調整された表示と関係させて示される。調整されたコネクタ１６０６ｂ’’が、それぞれ、ボックス１６０２及び１６０４に対する接続ポイントＩ5及びＩ6を有してレンダリングされ、調整されたコネクタ１６０８ｂ’’が、それぞれ、ボックス１６０２及び１６０４に対する接続ポイントＪ5及びＪ6を有してレンダリングされることがわかる。この調整において、垂直のライン１７１４は、ボックス１６０２のジオメトリＢの中心を通過するものとして維持され、かつボックス１６０２及び１６０４の新たな相対ｘ位置及び相対ｙ位置と対応するように回転させられる。しかし、この回転において、突出ライン１７１０のポイントＥは、ボックス１６０２の外にある。したがって、突出ライン１７１０のポイントＥは、垂直のライン１７１４上のポイントＥ’に移されて、距離Ｌは、ボックス１６０２におけるポイントＥとポイントＥ’との間の距離Ｌ’に結果的に短縮される。コネクタ１６０６の他方の終端における突出ライン１７１６のポイントＥは、コネクタ１６０６及び１６０８の相対ジオメトリを維持するためにポイントＥ’に比例した量だけ移される。すなわち、距離Ｍは、ボックス１６０４におけるポイントＥとポイントＥ’との間の距離Ｍ’に短縮される。移す割合は、ボックス１６０２及び１６０４の相対寸法、例えば、ｙ方向におけるボックスの幅に基づいて決定される。垂直のライン１７２０は、ボックス１６０４のジオメトリの中心を通るものとして例示されないが、それが行われた場合、垂直のライン１７１４及び１７２０は平行なままであるので、同一のジオメトリが獲得されることに留意されたい。この回転を通じて、垂直のライン１７１４及び１７２０に対する突出ライン１７１０、１７１２、１７１６、及び１７１８の垂直の向きは、前段で設定されたとおり、又は垂直のライン１７１４と、ジオメトリＢの中心の間の接続パスとの間の角度の維持を通じて維持される。
【００８６】
したがって、図１６及び図１７の例の技法によって、接続されたオブジェクトのジオメトリの中心からオフセットされた中心に置かれていない、交差したコネクタに関する接続パスが、決定され、したがって、接続ポイント位置の調整が、ジオメトリの中心に対して間接的に行われる。更に、接続ポイントは、このオフセットにより移されて、コネクタをオブジェクトに妥当に接続されているように保ち、それによって、ユーザによるオブジェクトの完全に自由な移動を許す。実際、中心に置かれたコネクタ事例と中心に置かれていないコネクタ事例に関する技法は、類似しているものと理解され、中心に置かれた事例に関して、コネクタが位置する接続パスのオフセットは、ゼロであり、中心に置かれていない事例に関して、ジオメトリの中心に対してコネクタに関して生成される接続パスのオフセットは、非ゼロである。
【００８７】
以上は、最良の形態及び／又は他の例と考えられるものについて説明したが、そこにおいて様々な変更が行われ得ること、及び本明細書において開示される主題は、様々な形態及び例において実装され得ること、及びそれらは、他の多数のアプリケーション、組合せ、及び環境において適用されてよく、それらのうちのいくつかだけが本明細書において説明されてきたことを理解されたい。当業者は、開示される態様が、主題の真の趣旨及び範囲を逸脱することなく、変更されても、補正されてもよいことを認識するであろう。したがって、主題は、この説明における特定の詳細、提示、及び例示される例に限定されない。本明細書において開示される有利な概念の真の範囲に含まれるあらゆる全ての変更及び改変を保護することが意図される。
【図１Ａ】
2018536928.tif 000003
【図１Ｂ】
2018536928.tif 000004
【図２Ａ】
2018536928.tif 000005
【図２Ｂ】
2018536928.tif 000006
【図３Ａ】
2018536928.tif 000007
【図３Ｂ】
2018536928.tif 000008
【図４Ａ】
2018536928.tif 000009
【図４Ｂ】
2018536928.tif 000010
【図５Ａ】
2018536928.tif 000011
【図５Ｂ】
2018536928.tif 000012
【図６Ａ】
2018536928.tif 000013
【図６Ｂ】
2018536928.tif 000014
【図７】
2018536928.tif 000015
【図８】
2018536928.tif 000016
【図９】
2018536928.tif 000017
【図１０Ａ】
2018536928.tif 000018
【図１０Ｂ】
2018536928.tif 000019
【図１１Ａ】
2018536928.tif 000020
【図１１Ｂ】
2018536928.tif 000021
【図１１Ｃ】
2018536928.tif 000022
【図１２Ａ】
2018536928.tif 000023
【図１２Ｂ】
2018536928.tif 000024
【図１３Ａ】
2018536928.tif 000025
【図１３Ｂ】
2018536928.tif 000026
【図１４Ａ】
2018536928.tif 000027
【図１４Ｂ】
2018536928.tif 000028
【図１５Ａ】
2018536928.tif 000029
【図１５Ｂ】
2018536928.tif 000030
【図１６Ａ】
2018536928.tif 000031
【図１６Ｂ】
2018536928.tif 000032
【図１６Ｃ】
2018536928.tif 000033
【図１７Ａ】
2018536928.tif 000034
【図１７Ｂ】
2018536928.tif 000035
【図１７Ｃ】
2018536928.tif 000036
【国際調査報告】
2018536928.tif 000037
2018536928.tif 000038
2018536928.tif 000039