(57)【要約】【課題】ビデオからのインクストロークのリアルタイムエンドツーエンド取り込みのためのシステム、方法及びプログラムを提供する。【解決手段】市販のビデオカメラを使用して通常のペンと紙で書かれたインクストロークを取り込むためのリアルタイムエンドツーエンドシステムについて説明する。典型的にペン先の位置特定とペンの上下動作の検出とを区別している従来のカメラベースのアプローチと比較すると、ディープニューラルネットワークを使用してこれら２つのステップを統合する統一アプローチが説明されている。さらに、説明されたシステムは、ペン先の位置を決定するために手動の初期化を必要としない。予備評価は、英語及び日本語の句のための手書き認識に対する記載されたシステムの有効性を実証する。【選択図】図１
2020009442.tif 000002
【特許請求の範囲】
【請求項１】
ａ．ユーザの手書きのビデオを取得するための少なくとも１つのカメラと、
ｂ．複数のインクストロークを検出するためにニューラルネットワークを使用して前記ユーザの前記手書きの前記取り込まれたビデオを処理し、前記検出された複数のインクストロークを使用して前記ユーザの前記手書きを認識するための処理ユニットと
を備えたシステム。
【請求項２】
前記ニューラルネットワークは、ディープラーニングニューラルネットワークである、請求項１に記載のシステム。
【請求項３】
前記カメラはウェブカメラである、請求項１に記載のシステム。
【請求項４】
前記カメラが卓上の上方に取り付けられている、請求項１に記載のシステム。
【請求項５】
前記カメラが電気スタンドに取り付けられている、請求項１に記載のシステム。
【請求項６】
前記ニューラルネットワークは、エンコーダ及びデコーダを備える、請求項１に記載のシステム。
【請求項７】
前記エンコーダは、前記ユーザの前記手書きの前記取り込まれたビデオの一連のビデオフレームを入力し、畳み込みネットワークブロックから学習された特徴表現を生成する、請求項６に記載のシステム。
【請求項８】
前記エンコーダは、リカレントニューラルネットワークを使用して前記特徴表現を生成する、請求項７に記載のシステム。
【請求項９】
前記デコーダは、逆畳み込みネットワークブロックを使用して、前記特徴表現をピクセル単位のラベルマップに変換する、請求項７に記載のシステム。
【請求項１０】
前記畳み込みネットワークブロックは、複数のリンクを使用して前記逆畳み込みネットワークブロックとリンクされている、請求項９に記載のシステム。
【請求項１１】
前記ユーザの前記手書きは、手書き認識エンジンを使用して認識される、請求項１に記載のシステム。
【請求項１２】
前記処理及び認識がリアルタイムで実行される、請求項１に記載のシステム。
【請求項１３】
前記処理ユニットは、前記認識されたユーザの手書きに基づいてテキスト情報を出力する、請求項１に記載のシステム。
【請求項１４】
前記ユーザの手書きが、通常のペンと紙で書かれたインクを含む、請求項１に記載のシステム。
【請求項１５】
ａ．ユーザの手書きのビデオを取得するために少なくとも１つのカメラを使用することと、
ｂ．複数のインクストロークを検出するためにニューラルネットワークを使用して前記ユーザの前記手書きの前記取り込まれたビデオを処理し、前記検出された複数のインクストロークを使用して前記ユーザの前記手書きを認識するために処理ユニットを使用することと
を含む方法。
【請求項１６】
前記ニューラルネットワークは、ディープラーニングニューラルネットワークである、請求項１５に記載の方法。
【請求項１７】
前記カメラはウェブカメラである、請求項１５に記載の方法。
【請求項１８】
前記カメラが卓上の上方に取り付けられている、請求項１５に記載の方法。
【請求項１９】
前記カメラが電気スタンドに取り付けられている、請求項１５に記載の方法。
【請求項２０】
前記ニューラルネットワークは、エンコーダ及びデコーダを備える、請求項１５に記載の方法。
【請求項２１】
前記エンコーダは、前記ユーザの前記手書きの前記取り込まれたビデオの一連のビデオフレームを入力し、畳み込みネットワークブロックから学習された特徴表現を生成する、請求項２０に記載の方法。
【請求項２２】
前記処理ユニットを使用して、前記認識されたユーザの手書きに基づいてテキスト情報を出力することをさらに含む、請求項１５に記載の方法。
【請求項２３】
前記ユーザの手書きは、通常のペンと紙で書かれたインクを含む、請求項１５に記載の方法。
【請求項２４】
コンピュータプログラムであって、
ａ．ユーザの手書きのビデオを取得するために少なくとも１つのカメラを使用することと、
ｂ．複数のインクストロークを検出するためにニューラルネットワークを使用して前記ユーザの前記手書きの前記取り込まれたビデオを処理し、前記検出された複数のインクストロークを使用して前記ユーザの前記手書きを認識するための処理ユニットを使用することと
を含む方法を実施する一組の命令を具体化する、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示された実施形態は、一般にデータ入力のためのシステム及び方法に関し、より詳細には、ビデオからのインクストロークのリアルタイムエンドツーエンド取り込みのためのシステム、方法及びプログラムに関する。
【背景技術】
【０００２】
ペンと紙を使ったデータ入力は、コンピュータとユーザとの間の自然で便利なインタフェースを形成することができる。キーボードはコンピュータへの主要な入力装置であるが、メモの作成、会議でのブレインストーミング、及び手書きスケッチベースのモデリングなど、多くのタスクでは、キーボードよりも手書き入力を好む傾向がある。インクストロークを記録することができる市販の製品が存在するが、それらは、例えば特許文献１に記載されているように、印刷パターンを有する特別なペン及び／又は紙を必要とする。そのような市販の製品の例としては、ＦＸ  Ｄｅｎｓｈｉ  Ｐｅｎ富士ゼロックスＤｅｎｓｈｉ−Ｐｅｎ、Ａｎｏｔｏ  Ｌｉｖｅｓｃｒｉｂｅ  Ｐｅｎ、Ｗａｃｏｍ  Ｂａｍｂｏｏ  Ｓｐａｒｋ、及び最近発売されたＭｏｌｅｓｋｉｎ  Ｓｍａｒｔ  Ｗｒｉｔｉｎｇ  Ｓｅｔが挙げられる。これらは、フォームへの記入などの垂直方向の用途には便利であるが、一般的な使用法では、通常のペンと紙を使用できると便利である。
【０００３】
また、例えば、非特許文献１〜１０に記載されているように、カメラベースのアプローチが長年にわたって提案されてきた。これらのアプローチのほとんどは、典型的に、ペン先追跡とペンアップ／ダウン検出という２段階のパイプラインに依存している。第１段階では、ペン先の初期位置が手動で決定され、テンプレートマッチングと動き予測モデル（例えばカルマンフィルタ）の組み合わせを使用して、ペン先が手書きプロセス全体にわたって追跡される。第２段階では、ペン先の追跡された各位置がインクトレースを生じたか否かをチェックすることによってペンアップ及びペンダウンイベントが検出される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，５７０，８１３号明細書
【非特許文献】
【０００５】
【非特許文献１】Gernot A Fink, Markus Wienecke, and Gerhard Sagerer. Video-based on-line handwriting recognition. In Proc. ICDAR 2001, pages 226-230
【非特許文献２】Jae-Hyun Seok, Simon Levasseur, Kee-Eung Kim, and J Kim. Tracing handwriting on paper document under video camera. In ICFHR 200
【非特許文献３】Horst Bunke, T Von Siebenthal, T Yamasaki, and Markus Schenkel. Online handwriting data acquisition using a video camera. In Proc. ICDAR 1999, pages 573-576
【非特許文献４】Mario E Munich and Pietro Perona. Visual input for pen-based computers. In Proc. ICPR 1996, pages 33-37
【非特許文献５】Mario E. Munichand Pietro Perona. Visualinputforpen-basedcomputers.TPAMI,24(3):313-328, 2002
【非特許文献６】Chelhwon Kim, Patrick Chiu, and Hideto Oda. Capturing handwritten ink strokes with a fast video camera. In 2017 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), pages 1269-1274. IEEE, 2017
【非特許文献７】Toshinori Yamasaki and Tetsuo Hattori. A new data tablet system for handwriting characters and drawing based on the image processing. In Systems, Man, and Cybernetics, 1996., IEEE International Conference on, volume 1, pages 428-431. IEEE, 1996
【非特許文献８】Pradeep Kumar Jayaraman and Chi-Wing Fu. Interactive line drawing recognition and vectorization with commodity camera. In Proceedings of the 22nd ACM international conference on Multimedia, pages 447-456. ACM, 2014
【非特許文献９】Feng Lin and Xiaoou Tang. Dynamic stroke information analysis for video-based handwritten Chinese character recognition. In Computer Vision, 2003. Proceedings. Ninth IEEE International Conference on, pages 695-700. IEEE, 2003
【非特許文献１０】Amay Champaneria and Larry Rudolph. Padcam: a human-centric perceptual interface for temporal recovery of pen-based input. In Proceedings of 2004 AAAI Symposium on Making Pen-Based Interaction Intelligent and Natural, AAAI Press, Arlington, Virginia, pages 35-41, 2004
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、書き込みプロセス中にインクトレースがペン先又はユーザの手によって覆われる可能性があるので、完全なインクトレースを有するビデオシーケンスの最後の画像は、ビデオシーケンスが終わりに達した後（又は数フレーム遅延後）に取得される必要があることが多い。したがって、既存のカメラベースのアプローチのほとんどは、依然としてリアルタイム性能には及ばず、書き込み時に認識を実行する必要がある用途には適用できない。
【０００７】
本開示の技術は、手書きインクストローク取得のための従来のシステム、方法及びプログラムに関連する上記及び他の問題のうちの１つ又は複数を実質的に回避するシステム、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本明細書に記載の実施形態の一態様によれば、ユーザの手書きのビデオを取得するための少なくとも１つのカメラと、複数のインクストロークを検出するためにニューラルネットワークを使用してユーザの手書きの取り込まれたビデオを処理し、検出された複数のインクストロークを使用してユーザの手書きを認識するための処理ユニットとを備えたシステムが提供される。
【０００９】
１つ又は複数の実施形態では、ニューラルネットワークはディープラーニングニューラルネットワークである。
【００１０】
１つ又は複数の実施形態では、カメラはウェブカメラである。
【００１１】
１つ又は複数の実施形態では、カメラは卓上の上方に取り付けられている。
【００１２】
１つ又は複数の実施形態では、カメラは電気スタンドに取り付けられている。
【００１３】
１つ又は複数の実施形態では、ニューラルネットワークはエンコーダ及びデコーダを含む。
【００１４】
１つ又は複数の実施形態では、エンコーダは、ユーザの手書きの取り込まれたビデオの一連のビデオフレームを入力し、畳み込みネットワークブロックから学習された特徴表現を生成する。
【００１５】
１つ又は複数の実施形態では、エンコーダは、リカレントニューラルネットワークを使用して特徴表現を生成する。
【００１６】
１つ又は複数の実施形態では、デコーダは、逆畳み込みネットワークブロックを使用して、特徴表現をピクセル単位のラベルマップに変換する。
【００１７】
１つ又は複数の実施形態では、畳み込みネットワークブロックは、複数のリンクを使用して逆畳み込みネットワークブロックとリンクされている。
【００１８】
１つ又は複数の実施形態では、ユーザの手書きは手書き認識エンジンを使用して認識される。
【００１９】
１つ又は複数の実施形態では、認識されたユーザの手書きに基づくテキスト情報が出力されている。
【００２０】
１つ又は複数の実施形態では、ユーザの手書きは、通常のペンと紙で書かれたインクを含む。
【００２１】
本明細書に記載の実施形態の別の態様によれば、ユーザの手書きのビデオを取得するために少なくとも１つのカメラを使用することと、複数のインクストロークを検出するためにニューラルネットワークを使用してユーザの手書きの取り込まれたビデオを処理し、検出された複数のインクストロークを使用してユーザの手書きを認識するために処理ユニットを使用することとを含む方法が提供される。
【００２２】
１つ又は複数の実施形態では、ニューラルネットワークはディープラーニングニューラルネットワークである。
【００２３】
１つ又は複数の実施形態では、カメラはウェブカメラである。
【００２４】
１つ又は複数の実施形態では、カメラは卓上の上方に取り付けられている。
【００２５】
１つ又は複数の実施形態では、カメラは電気スタンドに取り付けられている。
【００２６】
１つ又は複数の実施形態では、ニューラルネットワークはエンコーダ及びデコーダを含む。
【００２７】
１つ又は複数の実施形態では、エンコーダは、ユーザの手書きの取り込まれたビデオの一連のビデオフレームを入力し、畳み込みネットワークブロックから学習された特徴表現を生成する。
【００２８】
１つ又は複数の実施形態では、エンコーダは、リカレントニューラルネットワークを使用して特徴表現を生成する。
【００２９】
１つ又は複数の実施形態では、デコーダは、逆畳み込みネットワークブロックを使用して、特徴表現をピクセル単位のラベルマップに変換する。
【００３０】
１つ又は複数の実施形態では、畳み込みネットワークブロックは、複数のリンクを使用して逆畳み込みネットワークブロックとリンクされている。
【００３１】
１つ又は複数の実施形態では、ユーザの手書きは手書き認識エンジンを使用して認識される。
【００３２】
１つ又は複数の実施形態では、認識されたユーザの手書きに基づくテキスト情報が出力されている。
【００３３】
１つ又は複数の実施形態では、ユーザの手書きは、通常のペンと紙で書かれたインクを含む。
【００３４】
本明細書に記載の実施形態の別の態様によれば、ユーザの手書きのビデオを取得するために少なくとも１つのカメラを使用することと、複数のインクストロークを検出するためにニューラルネットワークを使用してユーザの手書きの取り込まれたビデオを処理し、検出された複数のインクストロークを使用してユーザの手書きを認識するために処理ユニットを使用することとを含む方法を実施する一組の命令を具体化するコンピュータプログラムが提供される。
【００３５】
１つ又は複数の実施形態では、ニューラルネットワークはディープラーニングニューラルネットワークである。
【００３６】
１つ又は複数の実施形態では、カメラはウェブカメラである。
【００３７】
１つ又は複数の実施形態では、カメラは卓上の上方に取り付けられている。
【００３８】
１つ又は複数の実施形態では、カメラは電気スタンドに取り付けられている。
【００３９】
１つ又は複数の実施形態では、ニューラルネットワークはエンコーダ及びデコーダを含む。
【００４０】
１つ又は複数の実施形態では、エンコーダは、ユーザの手書きの取り込まれたビデオの一連のビデオフレームを入力し、畳み込みネットワークブロックから学習された特徴表現を生成する。
【００４１】
１つ又は複数の実施形態では、エンコーダは、リカレントニューラルネットワークを使用して特徴表現を生成する。
【００４２】
１つ又は複数の実施形態では、デコーダは、逆畳み込みネットワークブロックを使用して、特徴表現をピクセル単位のラベルマップに変換する。
【００４３】
１つ又は複数の実施形態では、畳み込みネットワークブロックは、複数のリンクを使用して逆畳み込みネットワークブロックとリンクされている。
【００４４】
１つ又は複数の実施形態では、ユーザの手書きは手書き認識エンジンを使用して認識される。
【００４５】
１つ又は複数の実施形態では、認識されたユーザの手書きに基づくテキスト情報が出力されている。
【００４６】
１つ又は複数の実施形態では、ユーザの手書きは、通常のペンと紙で書かれたインクを含む。
【００４７】
本発明に関連するさらなる態様は、以下の説明に一部が記載され、一部はその説明から明らかになるか、又は本発明の実施によって習得され得る。本発明の態様は、以下の詳細な説明及び添付の特許請求の範囲で特に指摘される様々な要素及び態様の要素及び組み合わせによって実現及び達成され得る。
【００４８】
上記及び下記の説明は、例示的及び説明的なものに過ぎず、特許請求の範囲に記載の発明又はその応用をいかなる形でも限定するものではないことを理解されたい。
【００４９】
添付の図面は、本明細書に組み込まれ、本明細書の一部を構成し、本発明の実施形態を例示し、説明と共に、本発明の技術の原理を説明し示す役割を果たす。
【図面の簡単な説明】
【００５０】
【図１】ユーザの手書きストロークのビデオフレームを取り込むＬＥＤ電気スタンドヘッドの下に取り付けられた小さなカメラの設定を示す図である。
【図２】説明したシステムの様々な例示的モジュールを示すシステムフローチャート２００の例示的実施形態を示す図である。
【図３】インクストローク検出器ネットワークの例示的実施形態を示す図である。
【図４】本明細書に記載の技術を実施するために使用することができるコンピュータシステム４００の例示的な実施形態を示す図である。
【発明を実施するための形態】
【００５１】
以下の詳細な説明では、同一の機能要素が同様の番号で示されている添付図面を参照する。前述の添付図面は、本発明の原理に従った特定の実施形態及び実施態様を示すものであって、限定としてではなく、例示として示す。これらの実施態様は、当業者が本発明を実施することができるように十分に詳細に記載されており、他の実施態様を利用してもよく、本発明の範囲及び趣旨から逸脱することなく様々な要素の構造変化及び／又は代用が行われてもよい。したがって、以下の詳細な説明は、限定された意味で解釈されるべきではない。さらに、説明した本発明の様々な実施形態は、汎用コンピュータ上で実行されるソフトウェアの形で、特殊なハードウェアの形で、又はソフトウェアとハードウェアの組み合わせの形で実施することができる。
【００５２】
本明細書に記載の実施形態の一態様によれば、オンライン手書き認識のために十分に高品質の通常のペンと紙を用いたカメラベースの手書きインクストローク取得システム及び方法が提供される。手書きの静止画像のみが使用される「オフライン」とは対照的に、「オンライン」は時間性インクストロークデータを有することを意味する。オンライン手書き認識はオフラインよりも優れていることが一般に認められている。例えば、「Rejean Plamondon and Sargur N. Srihari. Online and off-line handwriting recognition: a comprehensive survey. IEEE Transactions on pattern analysis and machine intelligence, 22(1): 63-84, 2000」、及び「Sanjiv Kumar, Singh Dalbiretal. Review of online & offline character recognition. International Journal Of Engineering And Computer Science, 4(05), 2015」を参照されたい。これは、文字の筆順が重要な日本語及びその他のアジア言語にとって特に重要である。本実施形態のシステムでは、書き込みプロセスはビデオカメラを使用して観察され、インクのトレースは、それらが紙に書かれているときのストロークの時系列シーケンスとして再構成される。この時間性ストロークデータはオンライン手書き認識エンジンに送られてテキストデータに変換される。この取得システムは、認識されたテキストデータを使用して、インデックス作成及び検索システム、言語翻訳、及び遠隔コラボレーションなど、幅広い用途に役立つ。
【００５３】
一実施形態のシステムは、一連の画像に対してリアルタイムで動作するディープニューラルネットワークを使用して上述の２つのステップを効率的に統合する統一アプローチを使用する。これは実際の用途の要件を満たすのにより好ましい。一実施形態のシステムは、ペン先追跡のための手動初期化ステップを必要としない。
【００５４】
一実施形態のシステム設定の概要を図１に示す。図1は、ユーザの手書きストロークのビデオフレームを取り込むＬＥＤ電気スタンドヘッドの下に取り付けられた小型カメラの配置を示す。具体的には、ＬＥＤ電気スタンドヘッド１０２の下に取り付けられた小型カメラ１０１が、卓上１０４上の紙１０３の方向を向き、ユーザのインクストロークを含むユーザの書き込みプロセスを取り込む。卓上設置に加えて、他の潜在的に有用なシナリオは、ホワイトボード、Ｇｏｏｇｌｅ  Ｇｌａｓｓ及びＧｏｏｇｌｅ  Ｃｌｉｐｓを含むがこれらに限定されないウェアラブル装置上のカメラにより手書きを取り込むことである。
【００５５】
図２は、一実施形態のステムの様々な例示的モジュールを示すシステムフローチャート２００の例示的実施形態を示す。書き込みプロセスのビデオフレームは、エンコーダ２０２及びデコーダ２０３からなるディープニューラルネットワーク２０１に送信される。ネットワーク２０１は、手書き認識エンジン２０５に送られる時間性インクストロークデータ２０４を再構成してテキストデータ２０６に変換する。一実施形態では、手書き認識エンジン２０５は、当技術分野で周知のＭｙＳｃｒｉｐｔソフトウェアパッケージに基づいている。
【００５６】
次いで、システム及び技術的詳細について説明する。一実施形態のシステムの状態ベクトルをｘ＝（ｘ，ｙ，ｖ）Ｔと定義する。ここでｘ、ｙは画像内のペン先の位置の座標、ｖ∈｛０，１｝はペン先の上下の動きを表す。目標は、時間ｔ、すなわちモデルＰ（ｘｔ｜ｚ１：ｔ）まで観察されたビデオフレームのシーケンスが与えられたとき、時間ｔにおける現在の状態ｘｔ＝（ｘｔ，ｙｔ，ｖｔ）Ｔを推定することである。ここでｚ１：ｔは現在の時間まで観察されたビデオフレームのシーケンスである。一実施形態のシステムから生成された状態ベクトルのシーケンスから、時間性インクストロークデータは、動きが下降したペン先位置のみをセグメント化することによって再構成することができる（すなわち、｛（ｘｔ，ｙｔ，１）｝）。
【００５７】
既存の視覚ベースのアプローチは、典型的にこの問題を２つの副問題、すなわちペン先追跡による（ｘｔ，ｙｔ）の推定と、ｖｔのためのペンの上下の分類とに分けている。本明細書の説明では、この問題はピクセルレベルの注釈タスクと見なされ、つまり、画像内の各ピクセルは３つのクラス∈｛背景，ペンアップ，ペンダウン｝のうちの１つに割り当てられ、タスクは、ペンの動きに基づいて、画像内のペン先のピクセルの領域をペンアップ又はペンダウンのいずれかにラベル付けすることであり、一方他のピクセルは背景クラスとしてラベル付けされる。この注釈付きピクセルを使用すると、注釈付き画像内のペンダウンピクセルを見つけ、それらの質量中心を計算することによって、これはペン先位置の推定であるが、インクストロークデータを再構築するのは容易である。したがって、連続するフレームに対してピクセル単位のラベルを付与することによって、ペン先追跡及びペンアップ／ダウンの分類が同時に行われる。
【００５８】
「Yilin Song, Chenge Li, and Yao Wang. Pixel-wise object tracking. arXiv preprint arXiv:1711.07377, 2017」、「JinhoLee, Brian Kenji Iwana, Shouta Ide, and Seiichi Uchida. Globally optimal object tracking with fully convolutional networks. arXiv preprint arXiv:1612.08274, 2016」、「Lijun Wang, Wanli Ouyang, Xiaogang Wang, and Huchuan Lu. Visual tracking with fully convolutional networks. In Proceedings of the IEEE International Conference on Computer Vision, pages 3119-3127, 2015」、「Sepehr Valipour, Mennatullah Siam, Martin Jagersand, and Nilanjan Ray. Recurrent fully convolutional networks for video segmentation. In Applications of Computer Vision (WACV), 2017 IEEE Winter Conference on, pages 29-36. IEEE, 2017」、及び「Matthias Schroeder and Helge Ritter. Hand-object interaction detection with fully convolutional networks. In The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 2017」を含む、この分野でのこれまでの取り組みが、主に、ピクセルを前景／背景として分類する検出部分のみに関係する。上記のケースでは、対象を背景から分離するだけでなく、ビデオフレームのシーケンス全体で対象の複数の状態間（つまり、ペンアップ状態とペンダウン状態の間）の動的な変化も検出するモデルが構築されている。
【００５９】
このピクセル単位の注釈付けタスクにおける目標は、Ｐ（ｖｔ（ｘ，ｙ）｜ｚ１：ｔ）をモデル化することである。ここで、ｖｔ（ｘ，ｙ）∈｛背景，ペンアップ，ペンダウン｝は、（ｘ，ｙ）の位置のピクセルに割り当てられたラベルであり、畳み込みニューラルネットワーク及びリカレントニューラルネットワークを利用して、Ｐ（ｖｔ（ｘ，ｙ）｜ｚ１：ｔ）を効果的にモデル化する。ディープニューラルネットワークのアーキテクチャについては、次のセクションで詳細に説明する。
【００６０】
ネットワークアーキテクチャ
１つ又は複数の実施形態では、モデルＰ（ｖｔ（ｘ，ｙ）｜ｚ１：ｔ）に対するディープラーニングニューラルネットワークが使用される。図３は、インクストローク検出器ネットワーク２０１の例示的実施形態を示す。ネットワーク２０１の図示の実施形態は、エンコーダ３０１とデコーダ３０２とからなる。エンコーダ３０１は、ビデオフレームのシーケンスを入力として取り、畳み込みネットワークから学習された特徴表現を出力する。これは、図３の畳み込みモジュール３０３によって実行される。システムがペンアップ／ペンダウンイベントを検出するのを助けるペン先の動き及び外観の時間性ダイナミクスを学ぶために、畳み込みモジュールからの特徴マップはさらにリカレントニューラルネットワークに進む。図３のＲＮＮモジュール３０４を参照されたい。このアーキテクチャは、完全なインクトレースを持つ最後に撮影された画像を参照する必要はない。
【００６１】
１つ又は複数の実施形態では、畳み込みネットワークモジュール３０３は、「Karen Simonyan and Andrew Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556, 2014」に記載されているＶＧＧ−１６ネットワークの構造に従う。これは、「Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3431-3440, 2015」に記載されているように、完全に連結された層が畳み込み層に変換されることを除き、大規模画像分類のために開発された。リカレントニューラルネットワークブロックでは、「Viorica Patraucean, Ankur Handa, and Roberto Cipolla. Spatio-temporal video autoencoder with differentiable memory. arXiv preprint arXiv:1511.06309, 2015」、「SHI Xingjian, Zhourong Chen, Hao Wang, Dit-Yan Yeung, Wai-Kin Wong, and Wang-chun Woo. Convolutional lstm network: A machine learning approach for precipitation nowcasting. In Advances in neural information processing systems, pages 802-810, 2015」、及び「Yilin Song, Chenge Li, and Yao Wang. Pixel-wise object tracking. arXiv preprint arXiv:1711.07377, 2017」に記載された畳み込みＬＳＴＭが、「Sepp Hochreiter and Jurgen Schmidhuber. Long short-term memory. Neural computation, 9(8):1735-1780, 1997」、及び「Wojciech Zaremba, Ilya Sutskever, and Oriol Vinyals. Recurrent neural network regularization. arXiv preprint arXiv:1409.2329, 2014」に記載されている、２Ｄ特徴マップを畳み込みネットワークブロックから１Ｄベクトルに展開し、結果として、すべての空間情報は失われる、完全に接続されたＬＳＴＭを使用するのではなく、空間情報を保存するために使用される。
【００６２】
１つ又は複数の実施形態では、デコーダ部３０２において、コード化された特徴マップは逆畳み込み層を通過してピクセル単位のラベルマップを生成する。畳み込みネットワークブロック３０３と逆畳み込みネットワークブロック３０５との間の複数のリンク３０６は、「Jonathan Long, Evan Shelhamer, and Trevor Darrell. Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition, pages 3431-3440, 2015」に記載されているように構築することができる。これは高レベルの粗層からの意味情報を低レベルの微細層からの外観情報と組み合わせて、正確で詳細なラベル付けマップを生成するスキップ接続と呼ばれている。
【００６３】
コンピュータシステムの例示的な実施形態
図４は、本明細書に記載の技術を実現するために使用することができるコンピュータシステム４００の例示的な実施形態を示す。１つ又は複数の実施形態では、コンピュータ４００は、当業者には周知のモバイルコンピューティング装置のフォームファクタ内で実現することができる。代替の実施形態では、コンピュータ４００はラップトップ又はノートパソコンに基づいて実現されてもよい。さらに別の実施形態では、コンピュータ４００は特殊なコンピューティングシステムとすることができる。
【００６４】
コンピュータ４００は、コンピュータ４００の様々なハードウェア構成要素間で情報を通信するためのデータバス４０４又は他の相互接続又は通信機構と、情報を処理し、その他の計算及び制御タスクを実行するためにデータバス４０４に結合された中央処理装置（ＣＰＵ又は単にプロセッサ）４０１とを含み得る。コンピュータ４００はまた、様々な情報ならびプロセッサ４０１によって実行される命令を格納するためにデータバス４０４に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶装置などのメモリ４１２を含む。メモリ４１２はまた、磁気ディスク、光ディスク、固体フラッシュメモリ装置、又は他の不揮発性固体記憶装置などの永続的記憶装置を含み得る。
【００６５】
１つ又は複数の実施形態では、メモリ４１２は、プロセッサ４０１による命令の実行中に、一時的な変数又は他の中間情報を格納するためにも使用され得る。任意選択で、コンピュータ４００は、読み出し専用メモリ（ＲＯＭ又はＥＰＲＯＭ）４０２、又はコンピュータ４００の動作に必要なファームウェア、基本入出力システム（ＢＩＯＳ）、ならびにコンピュータ４００の様々な構成パラメータなどの、プロセッサ４０１の静的情報及び命令を格納するためにデータバス４０４に結合された他の静的記憶装置をさらに含み得る。
【００６６】
１つ又は複数の実施形態では、コンピュータ４００は、ユーザのインクストロークのビデオを取り込むためのカメラ４０９をさらに組み込むことができる。
【００６７】
１つ又は複数の実施形態では、コンピュータ４００は、データバス４０４に結合されたネットワークインタフェース４０５などの通信インタフェースをさらに含んでもよい。ネットワークインタフェース４０５は、ＷＩＦＩインタフェース４０７及びセルラネットワーク（ＧＳＭ（登録商標）又はＣＤＭＡ）アダプタ４０８のうちの少なくとも１つを使用して、コンピュータ４００とインターネット４２４との間の接続を確立するように構成され得る。ネットワークインタフェース４０５は、コンピュータ４００とインターネット４２４との間に双方向データ通信を提供するように構成されてもよい。ＷＩＦＩインタフェース４０７は、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ、及び／又は８０２．１１ｎプロトコル、ならびに当業者には周知のブルートゥース（登録商標）プロトコルに従って動作することができる。例示的な実装形態では、ＷＩＦＩインタフェース４０７及びセルラネットワーク（ＧＳＭ（登録商標）又はＣＤＭＡ）アダプタ４０８は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号又は電磁信号を送受信する。
【００６８】
１つ又は複数の実施形態では、インターネット４２４は典型的に、１つ又は複数のサブネットワークを介して他のネットワークリソースへデータ通信を提供する。したがって、コンピュータ４００は、遠隔媒体サーバ、ウェブサーバ、他のコンテンツサーバ、ならびに他のネットワークデータ記憶リソースなど、インターネット４２４上の任意の場所にある様々なネットワークリソースにアクセスすることができる。１つ又は複数の実施形態では、コンピュータ４００は、ネットワークインタフェース４０５によって、インターネット４２４を含む様々なネットワークを介して、メッセージ、媒体、及びアプリケーションプログラムコードを含む他のデータを送受信するように構成される。インターネットの例では、コンピュータ４００がネットワーククライアントとして機能する場合、コンピュータ４００で実行されるアプリケーションプログラムのためのコード又はデータを要求することができる。同様に、様々なデータやコンピュータコードを他のネットワークリソースに送信することができる。
【００６９】
１つ又は複数の実施形態では、本明細書に記載の機能は、メモリ４１２に含まれる１つ又は複数の命令の１つ又は複数のシーケンスを実行するプロセッサ４０１に応答してコンピュータ４００によって実施される。そのような命令は、他のコンピュータ可読媒体からメモリ４１２に読み込まれてもよい。メモリ４１２に含まれる命令シーケンスの実行は、本明細書に記載されている様々なプロセスステップをプロセッサ４０１に実行させる。代替の実施形態では、本発明の実施形態を実施するために、ソフトウェア命令の代わりに又はソフトウェア命令と組み合わせて、ハードワイヤード回路を使用することができる。したがって、本発明の実施形態は、ハードウェア回路とソフトウェアとの特定の組み合わせに限定されない。
【００７０】
本明細書で使用される「コンピュータ可読媒体」という用語は、実行のためにプロセッサ４０１に命令を提供することに関与する任意の媒体を指す。コンピュータ可読媒体は機械可読媒体のほんの一例であり、本明細書で説明される方法及び／又は技術のいずれかを実施するための命令を搬送することができる。そのような媒体は多くの形態であり得、不揮発性媒体及び揮発性媒体を含むがこれらに限定されるものではない。
【００７１】
一般的な形態の非一時的コンピュータ可読媒体は、例えば、フロッピーディスク（登録商標）、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する他の任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、他の任意のメモリチップ又はカートリッジ、あるいはコンピュータが読み取ることができる他の任意の媒体を含む。様々な形態のコンピュータ可読媒体は、実行のために１つ又は複数の命令の１つ又は複数のシーケンスをプロセッサ４０１に搬送することに関係することができる。例えば、命令は最初に遠隔コンピュータから磁気ディスク上に運ばれてもよい。あるいは、遠隔コンピュータは命令をその動的メモリにロードし、インターネット４２４を介して命令を送信することができる。具体的には、コンピュータ命令は、当技術分野で周知の様々なネットワークデータ通信プロトコルを使用して、インターネット４２４を介して前述の遠隔コンピュータからコンピュータ４００のメモリ４１２にダウンロードすることができる。
【００７２】
１つ又は複数の実施形態では、コンピュータ４００のメモリ４１２は、以下のソフトウェアプログラム、アプリケーション、及び／又はモジュールのうちのいずれかを格納することができる。
【００７３】
１．オペレーティングシステム（ＯＳ）４１３は、基本的なシステムサービスを実施し、コンピュータ４００の様々なハードウェア構成要素を管理するためのモバイルオペレーティングシステムであり得る。オペレーティングシステム４１３の例示的な実施形態は、当業者には周知であり、現在知られている、又は今後開発される任意のモバイルオペレーティングシステムを含み得る。ネットワークインタフェース４０５を使用してネットワーク通信を可能にするためのネットワーク通信モジュール４１４をさらに提供することができる。
【００７４】
２．ソフトウェアモジュール４１５は、例えば、コンピュータ４００のプロセッサ４０１によって実行される一組のソフトウェアモジュールを含むことができ、これは、ユーザのインクストロークのビデオを取り込み（モジュール４１６）、オンライン手書き認識のために高品質を実行する（モジュール４１７）など、コンピュータ４００に所定の機能を実行させる。
【００７５】
３．データ記憶装置４１８は、例えば、様々なパラメータ及びしきい値４１９を格納するために使用され得る。
【００７６】
最後に、本明細書で説明されるプロセス及び技術は、本質的に特定の装置に関連しておらず、成分の任意の適切な組み合わせによって実施され得ることを理解されたい。さらに、本明細書に記載の教示に従って、様々なタイプの汎用装置を使用することができる。また、本明細書に記載の方法を実行するための特殊化された装置を構築することが有利であってもよい。本発明を特定の実施例に関連して説明してきたが、これらはあらゆる点で限定的ではなく例示的であることが意図されている。当業者は、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組み合わせが本発明を実施するのに適していることを理解するであろう。例えば、説明されたソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｏｂｊｅｃｔｉｖｅ−Ｃ、パール、シェル、ＰＨＰ、ジャバ、ならびに現在知られている又は今後開発されるプログラミング言語又はスクリプト言語などの多種多様なプログラミング言語又はスクリプト言語で実施され得る。
【００７７】
さらに、本明細書の考察及び本明細書に開示された本発明の実施から当業者には本発明の他の実施態様が明らかであろう。説明した実施形態の様々な態様及び／又は構成要素は、高品質のオンライン手書き認識のためのシステム及び方法において、単独で又は任意の組み合わせで使用することができる。本明細書及び実施例は、例示的なものとして考えられることが意図され、本発明の真の範囲及び趣旨は、添付の特許請求の範囲によって示される。
【図１】
2020009442.tif 000003
【図２】
2020009442.tif 000004
【図３】
2020009442.tif 000005
【図４】
2020009442.tif 000006