(57)【要約】本開示によれば、空中手書きを認識するための方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体が提供される。当該方法は、２次元グレースケール画像において、ユーザの手のひら領域を検出し、手のひら領域に基づいて、２次元グレースケール画像において指先を検出することを含む。当該方法は、一連の２次元グレースケール画像に基づいて、指先の空間的軌跡を決定し、空間的軌跡に基づいて、ユーザの手書き内容を識別することを更に含む。本開示の実施例によれば、２次元のグレースケール画像を用いて指先の空間的軌跡を識別して追跡することで、空中手書き認識を速く実行することができ、デバイスの処理性能に対する要求が低いとともに、高い正確率を確保することができる。【選択図】図２
2021524951.tif 000002
【特許請求の範囲】
【請求項１】
空中手書きを識別するための方法であって、
２次元グレースケール画像において、ユーザの手のひら領域を検出するステップと、
前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出するステップと、
一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定するステップであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含むステップと、
前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別するステップと、
を含む方法。
【請求項２】
２次元グレースケール画像においてユーザの手のひら領域を検出するステップは、
電子デバイスに設けられたカメラにより、２次元カラー画像を収集するステップと、
前記２次元カラー画像をグレースケール化することにより前記２次元グレースケール画像を生成するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記２次元グレースケール画像において指先を検出するステップは、
連続する画像フレームの情報を用いてトレーニングされた深層ニューラルネットワークを利用して、前記２次元グレースケール画像において指先を検出するステップを含む、請求項１に記載の方法。
【請求項４】
前記２次元グレースケール画像は、第１のグレースケール画像であり、前記一連の２次元グレースケール画像は、時間的に前記第１のグレースケール画像の直後に続く第２のグレースケール画像を更に含み、
前記指先の空間的軌跡を決定するステップは、
検出された前記指先に基づいて、手のひら枠の回帰用の探索領域を決定するステップと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されたことに応じて、前記探索領域にから前記指先の現在位置を決定するステップと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されていないことに応答して、前記第２のグレースケール画像において前記手のひらの検出を実行するステップと、
を含む、請求項１に記載の方法。
【請求項５】
カメラによって収集された第１のカラー画像において前記ユーザの手を検出したことに応答し、前記ユーザのジェスチャタイプを識別するステップを含み、
前記ジェスチャタイプは、少なくとも前記空中手書きをトリガするための開始ジェスチャ及び前記空中手書きを終了するための終了ジェスチャを含む、請求項１に記載の方法。
【請求項６】
前記ユーザのジェスチャタイプを識別するステップは、
検出された前記手に基づいて、手の回帰用の包囲領域を決定するステップと、
前記第１のカラー画像の後に続く前記第２のカラー画像における前記包囲領域において前記手が追跡されたことに応じて、前記包囲領域に基づいて前記ユーザのジェスチャタイプを決定するステップと、
前記第２のカラー画像における前記包囲領域において前記手が追跡されていないことに応じて、前記第２のカラー画像において前記手の検出を実行するステップと、
を含む、請求項５に記載の方法。
【請求項７】
前記ユーザの手書き内容を識別するステップは、
前記空間的軌跡の８方向の特徴と書き順の特徴とを抽出するステップと、
前記８方向の特徴と前記書き順の特徴とに基づいて、深層ニューラルネットワークを用いて前記ユーザの手書き文字を決定するステップと、
を含む、請求項１に記載の方法。
【請求項８】
前記空間的軌跡の８方向特徴を抽出するステップは、
カーブフィッティングにより、前記空間的軌跡をリサンプリングするステップと、
リサンプリングされた前記空間的軌跡に基づいて、前記８方向の特徴を抽出するステップと、
を含む、請求項７に記載の方法。
【請求項９】
空中手書きを認識するための装置であって、
２次元グレースケール画像において、ユーザの手のひら領域を検出する手のひら検出モジュールと、
前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出する指先検出モジュールと、
一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定する軌跡決定モジュールであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含む軌跡決定モジュールと、
前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別する軌跡認識モジュールと、
を備える、装置。
【請求項１０】
前記手のひら検出モジュールは、
電子デバイスに設けられたカメラにより、２次元カラー画像を収集する収集モジュールと、
前記２次元カラー画像をグレースケール化することにより前記２次元グレースケール画像を生成する生成モジュールと、
を備える、請求項９に記載の装置。
【請求項１１】
前記指先検出モジュールは、
連続する画像フレームの情報を用いてトレーニングされた深層ニューラルネットワークを利用して、前記２次元グレースケール画像において指先を検出するニューラルネットワーク検出モジュールを含む、請求項９に記載の装置。
【請求項１２】
前記２次元グレースケール画像は、第１のグレースケール画像であり、前記一連の２次元グレースケール画像は、時間的に前記第１のグレースケール画像の直後に続く第２のグレースケール画像を更に含み、
前記軌跡決定モジュールは、
検出された前記指先に基づいて、手のひら枠の回帰用の探索領域を決定する探索領域決定モジュールと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されたことに応じて、前記探索領域にから前記指先の現在位置を決定する第１の応答モジュールと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されていないことに応答して、前記第２のグレースケール画像において前記手のひらの検出を実行する第２の応答モジュールと、
を備える、請求項９に記載の装置。
【請求項１３】
カメラによって収集された第１のカラー画像において前記ユーザの手を検出したことに応答し、前記ユーザのジェスチャタイプを識別するジェスチャ認識モジュールを備え、
前記ジェスチャタイプは、少なくとも前記空中手書きをトリガするための開始ジェスチャ及び前記空中手書きを終了するための終了ジェスチャを含む、請求項９に記載の装置。
【請求項１４】
前記ジェスチャ認識モジュールは、
検出された前記手に基づいて、手の回帰用の包囲領域を決定する包囲領域決定モジュールと、
前記第１のカラー画像の後に続く前記第２のカラー画像における前記包囲領域において前記手が追跡されたことに応じて、前記包囲領域に基づいて前記ユーザのジェスチャタイプを決定する第３の応答モジュールと、
前記第２のカラー画像における前記包囲領域において前記手が追跡されていないことに応じて、前記第２のカラー画像において前記手の検出を実行する第４の応答モジュールと、
を備える、請求項１３に記載の装置。
【請求項１５】
前記軌跡認識モジュールは、
前記空間的軌跡の８方向の特徴と書き順の特徴とを抽出する特徴抽出モジュールと、
前記８方向の特徴と前記書き順の特徴とに基づいて、深層ニューラルネットワークを用いて前記ユーザの手書き文字を決定するニューラルネットワーク識別モジュールと
を備える、請求項９に記載の装置。
【請求項１６】
前記特徴抽出モジュールは、
カーブフィッティングにより、前記空間的軌跡をリサンプリングするリサンプリングモジュールと、
リサンプリングされた前記空間的軌跡に基づいて、前記８方向の特徴を抽出する第２の特徴抽出モジュールと
を備える、請求項１５に記載の装置。
【請求項１７】
電子デバイスであって、
１または複数のプロセッサと、
１又は複数のコンピュータプログラムを記憶した記憶装置と、を備え、
前記１又は複数のコンピュータプログラムがプロセッサに実行されると、前記電子デバイスに請求項１乃至８のいずれか１項に記載の方法を実現させる電子デバイス。
【請求項１８】
プロセッサにより実行されることにより、請求項１乃至８のいずれか１項に記載の方法を実現するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施例は、主に画像処理分野に関し、特に、空中手書きを認識するための方法、装置、デバイス、およびコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
モバイルインターネット技術及び人工スマート技術が急速に進むに伴い、画像を収集及び識別する能力を有する電子デバイスはますます多くなっている。例えば、スマートフォンは、一般的にフロントカメラとリアカメラを有し、それらのカメラにより、画像を撮像して、画像表示及び／又は認識処理に用いることができる。スマートフォンだけでなく、スマートウェアラブルデバイス（スマート腕時計等）や、スマートホーム（例えば、スマートテレビ）等のスマート端末にも画像を撮像可能なカメラが設けられてもよい。
【０００３】
一般的に、物理キーボード又は仮想的なキーボードを介してデバイスに文字を入力することができ、また、例えば、タッチスクリーン又はタッチパネルの表面等での平面書きのように、手書きにより文字を入力することもできる。平面書きの場合に、ユーザが手で、又はペンでタッチ面に接触する必要があるため、ユーザ体験がよくない。新たな手書き方式として、空中手書きが提出されている。空中手書きは、手書きのために自由な３次元空間をユーザへ提供することができ、ユーザ体験を改善することができる。
【発明の概要】
【０００４】
本開示の例示的な実施例によれば、空中手書きを認識するための方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体が提供される。
【０００５】
本開示の第１態様よれば空中手書きを識別するための方法であって、２次元グレースケール画像において、ユーザの手のひら領域を検出するステップと、前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出するステップと、一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定するステップであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含むステップと、前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別するステップと、を含む方法を提供する。
【０００６】
本開示の第２態様よれば、空中手書きを認識するための装置であって、２次元グレースケール画像において、ユーザの手のひら領域を検出する手のひら検出モジュールと、前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出する指先検出モジュールと、一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定する軌跡決定モジュールであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含む軌跡決定モジュールと、前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別する軌跡認識モジュールと、を備える、装置を提供する。
【０００７】
本開示の第３態様によれば、電子デバイスであって、１または複数のプロセッサと、１又は複数のコンピュータプログラムを記憶した記憶装置と、を備え、前記１又は複数のコンピュータプログラムがプロセッサに実行されると、前記電子デバイスに本開示の実施例に記載の方法を実現させる電子デバイスを提供する。
【０００８】
本開示の第４態様によれば、プロセッサにより実行されることにより、本開示に記載の方法を実現するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【０００９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。本開示の他の特徴は、以下の説明から容易に理解できる。
【図面の簡単な説明】
【００１０】
図面を踏まえて以下の詳細な説明を参照すれば、本開示の各実施形態の上述したもの並びに他の特徴、利点及び態様は、より明らかになるである。添付図面において、同一又は類似の参照番号は、同一又は類似の要素を表す。
【図１】本開示の実施形態に係る空中手書きを認識するための環境の一例を示す図である。
【図２】本開示の実施形態に係る空中手書きを認識するための方法のフローチャートである。
【図３】本開示の実施形態に係る指先を認識する方法のフローチャートである。
【図４】本開示の実施形態に係る軌跡を認識する方法のフローチャートである。
【図５】本開示の実施形態に係るジェスチャを認識する方法のフローチャートである。
【図６】本開示の実施形態に係る空中手書きを認識するための装置を示すブロック図である。
【図７】本開示が実施可能な複数の実施例の電子デバイスのブロック図である。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら本開示の実施形態を更に詳しく説明する。本開示のいくつかの実施形態が図面に示されているが、本開示は様々な形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではなく、逆に、これらの実施形態は、本開示をより明確かつ完全に理解するために提供されるものであることを理解されたい。なお、本開示の図面及び実施形態は例示的なものにすぎず、本開示の保護範囲を限定するものではない。
【００１２】
本開示の実施形態の説明では、用語「…を含む」およびそれに類似する用語は、「…を含むがそれらに限定されない」という非限定の表現として理解されるべきである。用語「…に基づいて」は、「少なくとも部分的に…に基づいて」と理解されるべきである。用語「１つの実施形態」または「該実施形態」は、「少なくとも１つの実施形態」と理解されるべきである。用語「いくつかの実施形態」は、「少なくともいくつかの実施形態」と理解されるべきである。以下では、他の明確か暗黙的な定義がさらに含まれ得る。
【００１３】
従来では、空中手書きの認識を実現するためには、通常、カメラで採集された深度画像やカラー画像を用いて、その深度画像やカラー画像を処理して、空中手書きの軌跡を認識する必要がある。通常、専用カメラ又はカメラアレイは、深度画像の採集に必要となるが、一般的な消費者電子デバイスに備えられない可能性がある。カラー画像は、マルチチャンネル情報を有するため、識別又は処理する時の速度が低いため、例えば、スマート腕時計やスマートホームなどの処理能力が限られたデバイスにとって、処理負荷が大きく、且つ、速度が低い。
【００１４】
本開示の実施例は、空中手書きを識別するための方案を提供する。本開示の実施例は、２次元グレースケール画像を用いて指先の空間的軌跡を識別、追跡するようにする。２次元グレースケール画像は、比較的高い速度で処理可能であるので、一般的に、２次元グレースケール画像を利用することにより、空中手書き認識の速度を高くすることができるとともに、デバイスの処理性能に対する要求が比較的低く、高い正確率を確保することができる。また、本開示の空中手書きを認識する方法は、入力法の文字入力だけでなく、他の電子デバイスのスマートインタラクション及び／又は入力にも利用され得る。
【００１５】
また、本開示のいくつかの実施例は、指先の識別及び／又はジェスチャの識別の際に、包囲ボックスで追跡することにより、検出の演算量を減少し、演算速度を向上させることができる。また、本開示のいくつかの実施例は、従来の８方向の特徴検出と深層ニューラルネットワーク（ＤＮＮ）とを組み合わせるようにし、これにより、軌跡識別の正確率を向上させることができる。以下、図１〜図７を参照して本開示の幾つかの実施形態について詳細に説明する。
【００１６】
図１は、本開示の実施形態に係る空中手書きを認識するための例示的な環境１００を示す模式図である。環境１００において、電子デバイス１１０は、手書き検出状態にあることができる。電子デバイスは、カメラ１１１（例えば単眼カメラ等）を含む。また、電子デバイス１１０は、指先の空間的な軌跡を取得する指先認識モジュール１１２と、空間的な軌跡を認識する軌跡認識モジュール１１４と、ジェスチャタイプを認識するジェスチャ認識モジュール１１６とを備える。理解すべきなのは、電子デバイス１１０は、撮像機能を有するあらゆる電子デバイスであってもよく、例えば、スマートフォン、ノートパソコン、スマート腕時計、スマートテレビ、スマートスピーカボックス、等が挙げられる。カメラ１１１は、電子デバイスに内蔵されるカメラであってもよく、また外付けのカメラであってもよい。
【００１７】
電子デバイス１１０は、手書き入力を受け付ける必要がある場合には、手書き検出状態となるように構成されていてもよい。電子デバイス１１０のカメラ１１１は、その撮像範囲内の画面を検出し、例えば、環境１００において、カメラ１１１は、ユーザ１２０の空中手書きを検出している。次に、カメラ１１１で撮像された画像がジェスチャ認識モジュール１１６に送られ、ジェスチャ認識モジュール１１６により開始ジェスチャが検出された後、指先認識モジュール１１２がユーザの指先の空間的な軌跡の検出を開始し、軌跡認識モジュール１１４が、検出された空間的な軌跡を認識してユーザの手書き内容を決定する。本開示の実施形態に係る指先認識モジュール１１２は、２次元グレースケール画像を用いて指先の空間的な軌跡を認識し追跡することにより、空中手書き認識の高速化を図ることができ、デバイスの処理性能に対する要求が低いとともに、高い精度が確保される。
【００１８】
図２は、本開示の実施形態に係る空中手書きを認識する方法２００のフローチャートを示す図である。なお、本開示の実施形態に係る方法２００は、図１を用いて説明した電子デバイス１１０により実行することができる。空中手書きは、指先がタッチパネル又はタッチペンに触れないような書き方である。ユーザの指先の空中での筆記軌跡を追跡することにより、対応する文字を識別することができる。
【００１９】
ブロック２０２において、２次元グレースケール画像においてユーザの手のひら領域を検出する。例えば、指先認識モジュール１１２は、電子デバイス１１０のカメラ１１１により撮像された２次元カラー画像を２次元のグレースケール画像に変換（例えばグレースケール化）することができる。グレースケール画像を利用すると、深度画像やカラー画像の場合に比べて、演算量が少なく、機器に対する要求が低いので、指先軌跡の検出速度を速くすることができる。ブロック２０４において、手のひら領域に基づいて、２次元グレースケール画像中の指先を検出する。例えば、指先認識モジュール１１２は、手のひら領域を抽出した後に、２次元グレースケール画像における指先のキーポイントを検出する。
【００２０】
ブロック２０６において、最初のフレームの２次元グレースケール画像を含む一連の２次元グレースケール画像に基づいて、指先の空間的な軌跡を決定する。例えば、指先認識モジュール１１２は、複数の２次元グレースケール画像に基づいて、空中での指先の移動軌跡を認識して追跡する。ブロック２０８において、空間的軌跡に基づいて、ユーザの手書き内容を認識する。例えば、軌跡認識モジュール１１４は、決定された空間的軌跡に基づいて、対応する文字を認識し、ここで、文字は、漢字、アルファベット、符号等であってもよい。このように、本開示の実施形態に係る方法２００は、２次元のグレースケール画像を用いて指先の空間的な軌跡を認識して追跡することで、空中手書き認識の高速化を図ることができる。
【００２１】
図３は、本開示の実施形態に係る指先認識方法３００のフローチャートを示す図である。なお、本開示の実施形態に係る方法３００は、図１を参照して説明した電子デバイス１１０内の指先認識モジュール１１２により実行され、図２を参照して説明した方法２００のステップ２０６の例で実現されてもよい。
【００２２】
ブロック３０２において、最初のフレームに検出された指先点に基づいて、手のひら枠の回帰用の探索領域を決定する。例えば、最初のフレームは、手のひらの検出により、手のひら枠を抽出し、そして、指先キーポイント検出を行って、手のひら枠の回帰を実行することで、これから追跡するための探索領域を生成する。
【００２３】
ブロック３０４において、次のフレーム（例えば２フレーム目）の探索領域において手のひらが追跡されたか否かを判断する。枠３０４において、次のフレームの探索領域において手のひらが追跡されたと判定した場合、ブロック３０６において、当該探索領域を用いて、現在の指先位置を予測する。すなわち、探索領域から、指先の現在位置を決定する。枠３０４において、次のフレームの探索領域において手のひらが追跡されていないと判定した場合には、手のひらが紛失したことになるので、枠３０８において、次のフレームで手のひらの検出を再開する。追跡の方法によれば、回帰により大まかな手のひら枠領域を得て、後続の追跡に利用することで、フレーム毎に手のひら領域を検出する状況を回避でき、これにより、計算量を減少させ、実行速度を向上させる。
【００２４】
幾つかの実施例において、連続する画像フレーム情報を用いてトレーニングされたＤＮＮを介して、２次元グレースケール画像中の指先を検出するようにしてもよい。連続するフレーム情報を用いることにより、映像において指先検出結果がより安定的である。いくつかの実施例において、指先の軌跡をより連続的かつ安定的に認識するために、さらにオプティカルフローを用いることもできる。ＤＮＮの訓練は、以下の３つの局面を含むことができる。まず、手のひら枠を利用して手のひら領域を切り取って、指先キーポイント検出を行うと同時に、現在の手のひら枠の回帰を実行する。次に、手のひら領域と指先の訓練が大体収束した後、連続するフレームを用いて訓練することで、指先キーポイントの安定性を向上させる。その後、現在予測された手のひら枠に手のひらが含まれるか否かを判定する分類器を訓練して、後続の追跡及び判定に用いる。よって、本開示の実施例は、深層学習により指先の勾配特徴を取得し、直接指先の回帰を行うことができ、従来のデプスマップ情報又はサーマルマップ情報を必要とせず、フレーム画像毎に手のひらの検出を行う必要もない。
【００２５】
図４は、本開示の実施例に係る軌跡を認識する方法４００のフローチャートである。なお、本開示の実施例に係る方法４００は、図１を参照して説明した電子デバイス１１０の軌跡認識モジュール１１４により実行され、図２を参照して説明した方法２００のステップ２０８の例で実現されてもよい。
【００２６】
ブロック４０２において、カーブフィッティングを介して空間的軌跡をリサンプリングする。ボックス４０４において、空間的軌跡の８方向の特徴と書き順の特徴を抽出する。例えば、カーブフィッティングを介してリサンプリングを行い、さらに微分して直接８方向の特徴を得ることができ、これにより精確的な８方向の特徴を得ることができる。また、ユーザの書き順を表すように、単純な８方向の特徴ではなく、時系列特徴を付加するようにしてもよい。あるいは、文字の空間的特徴を人為的に定義してもよい。また、人為的に文字の空間的特徴を定義するのではなく、ニューラルネットワークを利用することにより、空間的特徴と時系列的特徴をともに学習することもできる。ブロック４０６において、８方向の特徴と書き順の特徴とに基づいて、ＤＮＮを用いてユーザの手書き文字を決定する。
【００２７】
従来では、軌跡の識別には、８方向の特徴抽出、テンプレートマッチング、ポロジェンベイズ、又は分類器の組み合わせの混用等の方法、又は、８方向の特徴とコンボリューションニューラルネットワーク（ＣＮＮ）との組み合わせの方法等を採用することが一般的である。しかし、ＣＮＮは、空間的特徴のみに関するものであり、通常、文字等の文字書き込みの時系列情報を破棄するようにする。これに対して、本開示の実施例は、従来のＣＮＮ等の代わりに、ＤＮＮ（例えば５層の全結合ネットワークを含む）を利用することにより、ＣＮＮがユーザの書き順を記述できないという問題を解決することができる。
【００２８】
図５は、本開示の実施形態に係るジェスチャ認識方法５００のフローチャートである。なお、本開示の実施形態に係る方法５００は、図１を参照して説明した電子デバイス１１０のジェスチャ認識モジュール１１６により実行されて、図２を参照して説明した方法２００の前、その後、または実質的に同時に実行されてもよい。
【００２９】
ブロック５０２において、空中手書きをトリガするための開始ジェスチャを検出する。例えば、ジェスチャ認識モジュール１１６は、定期的または所定の規則に従って、開始ジェスチャを検出する。なお、２次元グレースケール画像によってもユーザの手を検出することができるが、カラー画像によりユーザの手を検出する場合、精度がより高く、手に属しない薄い色の陰影の誤判定を低減することができる。そのため、本開示のいくつかの実施例は、カメラ１１１によって収集された２次元カラー画像を用いてユーザの手を検出し、さらにユーザのジェスチャタイプを識別する。ブロック５０４において、開始ジェスチャが検出されたか否かを判断する。手が検出された後、手の特徴を抽出することができ、ジェスチの属するタイプを決定し、例えば、現在のジェスチャが一指下向きであると認識すると、空中手書きが開始する旨とする。
【００３０】
ブロック５０４において開始ジェスチャが検出されない場合、ブロック５０２に戻って、続けて開始ジェスチャを周期的に検出する。ブロック５０４で開始ジェスチャが検出された場合、ブロック５０６において指先認識モジュール１１２が動作を開始し、指先の空間的な軌跡を認識することができる。
【００３１】
ブロック５０８において、空中手書きをキャンセルするための終了ジェスチャが検出されたか否かを判断する。ブロック５０８において終了ジェスチャが検出されなければ、ブロック５０６に戻って、続けて指先の空間的軌跡を認識、追跡する。ブロック５０８で終了ジェスチャが検出された場合、ユーザが手書きの終了を指示したこととし、手書き認識の検出を停止し、５０２に戻って、続けて、手書きの開始ジェスチャを周期的に検出する。
【００３２】
いくつかの実施例において、検出された手に基づいて、手の回帰用のバウンディングボックスを決定することができる。第１のカラー画像の後に続く第２のカラー画像のバウンディングボックスに手が追跡された場合、バウンディングボックスに基づいてユーザのジェスチャタイプを決定する。第２のカラー画像のバウンディングボックスに手が追跡されていない場合、第２のカラー画像において手の検出を再開する。
【００３３】
例えば、手の検出では、ＣＮＮニューラルネットワークプランの画像認識により、画面における画像特徴を抽出し、続いて回帰計算を行い、現在フレームに手の有無及び手の位置を判断することができる。手の検出は、通常は、最初フレームのみに対し行われる。手部が紛失した後、さらに次の検出を行う。手に対して二分類判定を行い、フレーム毎に検出され、または追跡された手画像が手でなければ、再度検出するようにしてもよい。例えば、オンラインサンプルマイニングの方式を採用して手の二分類訓練を行うことができる。また、手の追跡を枠で行い、画像シーケンスでの移動中の手を追跡するようにしてもよい。すなわち、手の検出が成功した後、追跡ネットワークは動作して、手の二分類、バウンディングボックス領域及びジェスチャタイプを得る。手であれば、現在フレームのバウンディングボックスで、一つのフレームの画像を間引いて、追跡演算を継続する。手でなければ、手の検出動作を再実行する。
【００３４】
したがって、本開示の実施例は、追跡することにより、フレーム毎にユーザの手を検出する状況を回避し、それにより実行速度を向上させる。つまり、二分類の判別とバウンディングボックスの回帰を加味してジェスチャの検出および追跡を行うことで、デバイスの計算量を削減することができる。
【００３５】
図６は、本開示の一実施形態に係る空中手書きを認識するための装置６００のブロック図である。図６に示すように、装置６００は、手のひら検出モジュール６１０、指先検出モジュール６２０、軌跡決定モジュール６３０及び軌跡認識モジュール６４０を備える。手のひら検出モジュール６１０は、２次元グレースケール画像においてユーザの手のひら領域を検出するように構成され、指先検出モジュール６２０は、手のひら領域に基づいて、２次元グレースケール画像において指先を検出するように構成され、軌跡決定モジュール６３０は、２次元グレースケール画像を含む一連の２次元グレースケール画像に基づいて、指先の空間的な軌跡を決定するように構成され、軌跡認識モジュール６４０は、空間的な軌跡に基づいて、ユーザの手書き内容を認識するように構成される。
【００３６】
いくつかの実施例において、手のひら検出モジュール６１０は、電子デバイスのカメラによって２次元カラー画像を取得するように構成された取得モジュールと、２次元カラー画像をグレースケール化することによって２次元グレースケール画像を生成する生成モジュールとを備える。
【００３７】
いくつかの実施例において、指先検出モジュール６２０は、深層ニューラルネットワークを用いて２次元グレースケール画像における指先を検出するように構成されたニューラルネットワーク検出モジュールを備え、そのうち深層ニューラルネットワークは、連続する画像フレームの情報を用いてトレーニングされる。
【００３８】
幾つかの実施例において、前記２次元グレースケール画像は、第１のグレースケール画像であり、前記一連の２次元グレースケール画像は、時間的に前記第１のグレースケール画像の直後に続く第２のグレースケール画像を更に含み、前記軌跡決定モジュール６３０は、検出された前記指先に基づいて、手のひら枠の回帰用の探索領域を決定する探索領域決定モジュールと、第２のグレースケール画像における探索領域において手のひらが追跡されたことに応じて、探索領域にから指先の現在位置を決定する第１の応答モジュールと、第２のグレースケール画像における探索領域において手のひらが追跡されていないことに応答して、第２のグレースケール画像において手のひらの検出を実行する第２の応答モジュールと、を備える。
【００３９】
いくつかの実施例において、装置６００は、カメラによって収集された第１のカラー画像において前記ユーザの手を検出したことに応答し、前記ユーザのジェスチャタイプを識別するジェスチャ認識モジュールを備え、ジェスチャタイプは、少なくとも前記空中手書きをトリガするための開始ジェスチャ及び前記空中手書きを終了するための終了ジェスチャを含む。
【００４０】
幾つかの実施例において、ジェスチャ認識モジュールは、検出された前記手に基づいて、手の回帰用の包囲領域を決定する包囲領域決定モジュールと、第１のカラー画像の後に続く前記第２のカラー画像における包囲領域において前記手が追跡されたことに応じて、前記包囲領域に基づいて前記ユーザのジェスチャタイプを決定する第３の応答モジュールと、第２のカラー画像における包囲領域において手が追跡されていないことに応じて、前記第２のカラー画像において手の検出を実行する第４の応答モジュールと、を備える。
【００４１】
いくつかの実施例において、軌跡認識モジュールは、空間的軌跡の８方向の特徴と書き順の特徴とを抽出する特徴抽出モジュールと、８方向の特徴と前記書き順の特徴とに基づいて、深層ニューラルネットワークを用いて前記ユーザの手書き文字を決定するニューラルネットワーク識別モジュールとを備える。
【００４２】
いくつかの実施例において、特徴抽出モジュールは、カーブフィッティングにより、前記空間的軌跡をリサンプリングするリサンプリングモジュールと、リサンプリングされた前記空間的軌跡に基づいて、前記８方向の特徴を抽出する第２の特徴抽出モジュールとを備える。
【００４３】
なお、図６に示す手のひら検出モジュール６１０、指先検出モジュール６２０、軌跡決定モジュール６３０は、図１に示す指先認識モジュール１１２に含まれ、軌跡認識モジュール６４０は、図１に示す軌跡認識モジュール１１４であってもよい。また、図６に示されるモジュールは本開示の実施例を参照する方法又は過程におけるステップ又は動作を実行することができることは明らかである。
【００４４】
図７は、本開示の実施形態を実施するために使用できる例示的な装置７００の概略ブロック図を示している。装置７００は、本開示に記載された音声認識装置７００であり得ることを理解されたい。図に示すように、装置７００は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されているコンピュータプログラム命令又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラム命令によって様々な適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）７０１を備える。ＲＡＭ７０３には、装置７００の動作に必要な様々なプログラム及びデータが更に記憶されることが可能である。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。
【００４５】
装置７００において、キーボード、マウスなどの入力部７０６と、様々なタイプのディスプレイ、スピーカなどの出力部７０７と、磁気ディスク、光ディスクなどの記憶部７０８と、ネットワークカード、モデム、無線通信送受信機などの通信部７０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース７０５に接続されている。通信部７０９は、装置７００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報又はデータの交換を可能にする。
【００４６】
処理部７０１は、上述した方法２００のような様々な方法およびプロセスを実行する。例えば、いくつかの実施形態では、方法は、記憶部７０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信部７０９を介して装置７００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、ＣＰＵ７０１によって実行されると、上述した方法における１つまたは複数の動作またはステップが実行され得る。あるいは、他の実施形態では、ＣＰＵ７０１は、他の任意の適切な形態によって（例えば、ファームウェアによって）方法を実行するように構成されていてもよい。
【００４７】
本明細書で説明した機能は、少なくとも部分的に１つまたは複数のハードウェアロジックコンポーネントによって実行されることができる。例えば、非限定的に、採用できる汎用型のハードウェアロジックコンポーネントには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などが含まれる。  
【００４８】
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。
【００４９】
本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置またはデバイスが使用するため、または命令実行システム、装置またはデバイスと組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置またはデバイス、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。
【００５０】
また、各動作またはステップは、特定の順序で示されているが、所望の結果を得られるために、このような動作またはステップは示された特定の順序にてまたは順を追って実行されることを要求するか、または、図に示されたすべての動作またはステップが実行されることを要求するものと理解されるべきである。特定の環境では、マルチタスクと並列処理が有利である可能性がある。同様に、上記ではいくつかの具体的な実施詳細を説明したが、これらは本開示の範囲への制限と解釈されるべきではない。個別の実施形態のコンテキストで説明された、いくつかの特徴は、単一の実施において組み合わせて実施されることもできる。逆に、単一の実施のコンテキストで説明された様々な特徴は、複数の実施において、個別にまたは任意の適切なサブセットで実施されることもできる。
【００５１】
本開示の実施形態は、構造特徴および／または方法のロジック動作に特定された言語で記述されたが、特許請求の範囲内に限定される主題が、必ずしも上記に記載された特定の特徴または動作に限定されるものではないことを理解されたい。逆に、上述した特定の特徴および動作は、特許請求の範囲を実施するための例示的な形態にすぎない。
【図１】
2021524951.tif 000003
【図２】
2021524951.tif 000004
【図３】
2021524951.tif 000005
【図４】
2021524951.tif 000006
【図５】
2021524951.tif 000007
【図６】
2021524951.tif 000008
【図７】
2021524951.tif 000009
【手続補正書】
【提出日】令和2年11月30日(2020.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
空中手書きを識別するための方法であって、
２次元グレースケール画像において、ユーザの手のひら領域を検出するステップと、
前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出するステップと、
一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定するステップであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含むステップと、
前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別するステップと、
を含む方法。
【請求項２】
２次元グレースケール画像においてユーザの手のひら領域を検出するステップは、
電子デバイスに設けられたカメラにより、２次元カラー画像を収集するステップと、
前記２次元カラー画像をグレースケール化することにより前記２次元グレースケール画像を生成するステップと、
を含む、請求項１に記載の方法。
【請求項３】
前記２次元グレースケール画像において指先を検出するステップは、
連続する画像フレームの情報を用いてトレーニングされた深層ニューラルネットワークを利用して、前記２次元グレースケール画像において指先を検出するステップを含む、請求項１に記載の方法。
【請求項４】
前記２次元グレースケール画像は、第１のグレースケール画像であり、前記一連の２次元グレースケール画像は、時間的に前記第１のグレースケール画像の直後に続く第２のグレースケール画像を更に含み、
前記指先の空間的軌跡を決定するステップは、
検出された前記指先に基づいて、手のひら枠の回帰用の探索領域を決定するステップと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されたことに応じて、前記探索領域にから前記指先の現在位置を決定するステップと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されていないことに応答して、前記第２のグレースケール画像において前記手のひらの検出を実行するステップと、
を含む、請求項１に記載の方法。
【請求項５】
カメラによって収集された第１のカラー画像において前記ユーザの手を検出したことに応答し、前記ユーザのジェスチャタイプを識別するステップを含み、
前記ジェスチャタイプは、少なくとも前記空中手書きをトリガするための開始ジェスチャ及び前記空中手書きを終了するための終了ジェスチャを含む、請求項１に記載の方法。
【請求項６】
前記ユーザのジェスチャタイプを識別するステップは、
検出された前記手に基づいて、手の回帰用の包囲領域を決定するステップと、
前記第１のカラー画像の後に続く前記第２のカラー画像における前記包囲領域において前記手が追跡されたことに応じて、前記包囲領域に基づいて前記ユーザのジェスチャタイプを決定するステップと、
前記第２のカラー画像における前記包囲領域において前記手が追跡されていないことに応じて、前記第２のカラー画像において前記手の検出を実行するステップと、
を含む、請求項５に記載の方法。
【請求項７】
前記ユーザの手書き内容を識別するステップは、
前記空間的軌跡の８方向の特徴と書き順の特徴とを抽出するステップと、
前記８方向の特徴と前記書き順の特徴とに基づいて、深層ニューラルネットワークを用いて前記ユーザの手書き文字を決定するステップと、
を含む、請求項１に記載の方法。
【請求項８】
前記空間的軌跡の８方向特徴を抽出するステップは、
カーブフィッティングにより、前記空間的軌跡をリサンプリングするステップと、
リサンプリングされた前記空間的軌跡に基づいて、前記８方向の特徴を抽出するステップと、
を含む、請求項７に記載の方法。
【請求項９】
空中手書きを認識するための装置であって、
２次元グレースケール画像において、ユーザの手のひら領域を検出する手のひら検出モジュールと、
前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出する指先検出モジュールと、
一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定する軌跡決定モジュールであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含む軌跡決定モジュールと、
前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別する軌跡認識モジュールと、
を備える、装置。
【請求項１０】
前記手のひら検出モジュールは、
電子デバイスに設けられたカメラにより、２次元カラー画像を収集する収集モジュールと、
前記２次元カラー画像をグレースケール化することにより前記２次元グレースケール画像を生成する生成モジュールと、
を備える、請求項９に記載の装置。
【請求項１１】
前記指先検出モジュールは、
連続する画像フレームの情報を用いてトレーニングされた深層ニューラルネットワークを利用して、前記２次元グレースケール画像において指先を検出するニューラルネットワーク検出モジュールを含む、請求項９に記載の装置。
【請求項１２】
前記２次元グレースケール画像は、第１のグレースケール画像であり、前記一連の２次元グレースケール画像は、時間的に前記第１のグレースケール画像の直後に続く第２のグレースケール画像を更に含み、
前記軌跡決定モジュールは、
検出された前記指先に基づいて、手のひら枠の回帰用の探索領域を決定する探索領域決定モジュールと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されたことに応じて、前記探索領域にから前記指先の現在位置を決定する第１の応答モジュールと、
前記第２のグレースケール画像における前記探索領域において前記手のひらが追跡されていないことに応答して、前記第２のグレースケール画像において前記手のひらの検出を実行する第２の応答モジュールと、
を備える、請求項９に記載の装置。
【請求項１３】
カメラによって収集された第１のカラー画像において前記ユーザの手を検出したことに応答し、前記ユーザのジェスチャタイプを識別するジェスチャ認識モジュールを備え、
前記ジェスチャタイプは、少なくとも前記空中手書きをトリガするための開始ジェスチャ及び前記空中手書きを終了するための終了ジェスチャを含む、請求項９に記載の装置。
【請求項１４】
前記ジェスチャ認識モジュールは、
検出された前記手に基づいて、手の回帰用の包囲領域を決定する包囲領域決定モジュールと、
前記第１のカラー画像の後に続く前記第２のカラー画像における前記包囲領域において前記手が追跡されたことに応じて、前記包囲領域に基づいて前記ユーザのジェスチャタイプを決定する第３の応答モジュールと、
前記第２のカラー画像における前記包囲領域において前記手が追跡されていないことに応じて、前記第２のカラー画像において前記手の検出を実行する第４の応答モジュールと、
を備える、請求項１３に記載の装置。
【請求項１５】
前記軌跡認識モジュールは、
前記空間的軌跡の８方向の特徴と書き順の特徴とを抽出する特徴抽出モジュールと、
前記８方向の特徴と前記書き順の特徴とに基づいて、深層ニューラルネットワークを用いて前記ユーザの手書き文字を決定するニューラルネットワーク識別モジュールと
を備える、請求項９に記載の装置。
【請求項１６】
前記特徴抽出モジュールは、
カーブフィッティングにより、前記空間的軌跡をリサンプリングするリサンプリングモジュールと、
リサンプリングされた前記空間的軌跡に基づいて、前記８方向の特徴を抽出する第２の特徴抽出モジュールと
を備える、請求項１５に記載の装置。
【請求項１７】
電子デバイスであって、
１または複数のプロセッサと、
１又は複数のコンピュータプログラムを記憶した記憶装置と、を備え、
前記１又は複数のコンピュータプログラムがプロセッサに実行されると、前記電子デバイスに請求項１乃至８のいずれか１項に記載の方法を実現させる電子デバイス。
【請求項１８】
プロセッサにより実行されることにより、請求項１乃至８のいずれか１項に記載の方法を実現するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１９】
プロセッサにより実行されることにより、請求項１乃至８のいずれか１項に記載の方法を実現するコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施例は、主に画像処理分野に関し、特に、空中手書きを認識するための方法、装置、デバイス、およびコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
モバイルインターネット技術及び人工スマート技術が急速に進むに伴い、画像を収集及び識別する能力を有する電子デバイスはますます多くなっている。例えば、スマートフォンは、一般的にフロントカメラとリアカメラを有し、それらのカメラにより、画像を撮像して、画像表示及び／又は認識処理に用いることができる。スマートフォンだけでなく、スマートウェアラブルデバイス（スマート腕時計等）や、スマートホーム（例えば、スマートテレビ）等のスマート端末にも画像を撮像可能なカメラが設けられてもよい。
【０００３】
一般的に、物理キーボード又は仮想的なキーボードを介してデバイスに文字を入力することができ、また、例えば、タッチスクリーン又はタッチパネルの表面等での平面書きのように、手書きにより文字を入力することもできる。平面書きの場合に、ユーザが手で、又はペンでタッチ面に接触する必要があるため、ユーザ体験がよくない。新たな手書き方式として、空中手書きが提出されている。空中手書きは、手書きのために自由な３次元空間をユーザへ提供することができ、ユーザ体験を改善することができる。
【発明の概要】
【０００４】
本開示の例示的な実施例によれば、空中手書きを認識するための方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体が提供される。
【０００５】
本開示の第１態様よれば空中手書きを識別するための方法であって、２次元グレースケール画像において、ユーザの手のひら領域を検出するステップと、前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出するステップと、一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定するステップであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含むステップと、前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別するステップと、を含む方法を提供する。
【０００６】
本開示の第２態様よれば、空中手書きを認識するための装置であって、２次元グレースケール画像において、ユーザの手のひら領域を検出する手のひら検出モジュールと、前記手のひら領域に基づいて、前記２次元グレースケール画像において指先を検出する指先検出モジュールと、一連の２次元グレースケール画像に基づいて、前記指先の空間的軌跡を決定する軌跡決定モジュールであって、前記一連の２次元グレースケール画像は、前記２次元グレースケール画像を含む軌跡決定モジュールと、前記空間的軌跡に基づいて、前記ユーザの手書き内容を識別する軌跡認識モジュールと、を備える、装置を提供する。
【０００７】
本開示の第３態様によれば、電子デバイスであって、１または複数のプロセッサと、１又は複数のコンピュータプログラムを記憶した記憶装置と、を備え、前記１又は複数のコンピュータプログラムがプロセッサに実行されると、前記電子デバイスに本開示の実施例に記載の方法を実現させる電子デバイスを提供する。
【０００８】
本開示の第４態様によれば、プロセッサにより実行されることにより、本開示に記載の方法を実現するコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【０００９】
本開示の第５態様によれば、プロセッサにより実行されることにより、本開示に記載の方法を実現するコンピュータプログラムを提供する。
【００１０】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。本開示の他の特徴は、以下の説明から容易に理解できる。
【図面の簡単な説明】
【００１１】
図面を踏まえて以下の詳細な説明を参照すれば、本開示の各実施形態の上述したもの並びに他の特徴、利点及び態様は、より明らかになるである。添付図面において、同一又は類似の参照番号は、同一又は類似の要素を表す。
【図１】本開示の実施形態に係る空中手書きを認識するための環境の一例を示す図である。
【図２】本開示の実施形態に係る空中手書きを認識するための方法のフローチャートである。
【図３】本開示の実施形態に係る指先を認識する方法のフローチャートである。
【図４】本開示の実施形態に係る軌跡を認識する方法のフローチャートである。
【図５】本開示の実施形態に係るジェスチャを認識する方法のフローチャートである。
【図６】本開示の実施形態に係る空中手書きを認識するための装置を示すブロック図である。
【図７】本開示が実施可能な複数の実施例の電子デバイスのブロック図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照しながら本開示の実施形態を更に詳しく説明する。本開示のいくつかの実施形態が図面に示されているが、本開示は様々な形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではなく、逆に、これらの実施形態は、本開示をより明確かつ完全に理解するために提供されるものであることを理解されたい。なお、本開示の図面及び実施形態は例示的なものにすぎず、本開示の保護範囲を限定するものではない。
【００１３】
本開示の実施形態の説明では、用語「…を含む」およびそれに類似する用語は、「…を含むがそれらに限定されない」という非限定の表現として理解されるべきである。用語「…に基づいて」は、「少なくとも部分的に…に基づいて」と理解されるべきである。用語「１つの実施形態」または「該実施形態」は、「少なくとも１つの実施形態」と理解されるべきである。用語「いくつかの実施形態」は、「少なくともいくつかの実施形態」と理解されるべきである。以下では、他の明確か暗黙的な定義がさらに含まれ得る。
【００１４】
従来では、空中手書きの認識を実現するためには、通常、カメラで採集された深度画像やカラー画像を用いて、その深度画像やカラー画像を処理して、空中手書きの軌跡を認識する必要がある。通常、専用カメラ又はカメラアレイは、深度画像の採集に必要となるが、一般的な消費者電子デバイスに備えられない可能性がある。カラー画像は、マルチチャンネル情報を有するため、識別又は処理する時の速度が低いため、例えば、スマート腕時計やスマートホームなどの処理能力が限られたデバイスにとって、処理負荷が大きく、且つ、速度が低い。
【００１５】
本開示の実施例は、空中手書きを識別するための方案を提供する。本開示の実施例は、２次元グレースケール画像を用いて指先の空間的軌跡を識別、追跡するようにする。２次元グレースケール画像は、比較的高い速度で処理可能であるので、一般的に、２次元グレースケール画像を利用することにより、空中手書き認識の速度を高くすることができるとともに、デバイスの処理性能に対する要求が比較的低く、高い正確率を確保することができる。また、本開示の空中手書きを認識する方法は、入力法の文字入力だけでなく、他の電子デバイスのスマートインタラクション及び／又は入力にも利用され得る。
【００１６】
また、本開示のいくつかの実施例は、指先の識別及び／又はジェスチャの識別の際に、包囲ボックスで追跡することにより、検出の演算量を減少し、演算速度を向上させることができる。また、本開示のいくつかの実施例は、従来の８方向の特徴検出と深層ニューラルネットワーク（ＤＮＮ）とを組み合わせるようにし、これにより、軌跡識別の正確率を向上させることができる。以下、図１〜図７を参照して本開示の幾つかの実施形態について詳細に説明する。
【００１７】
図１は、本開示の実施形態に係る空中手書きを認識するための例示的な環境１００を示す模式図である。環境１００において、電子デバイス１１０は、手書き検出状態にあることができる。電子デバイスは、カメラ１１１（例えば単眼カメラ等）を含む。また、電子デバイス１１０は、指先の空間的な軌跡を取得する指先認識モジュール１１２と、空間的な軌跡を認識する軌跡認識モジュール１１４と、ジェスチャタイプを認識するジェスチャ認識モジュール１１６とを備える。理解すべきなのは、電子デバイス１１０は、撮像機能を有するあらゆる電子デバイスであってもよく、例えば、スマートフォン、ノートパソコン、スマート腕時計、スマートテレビ、スマートスピーカボックス、等が挙げられる。カメラ１１１は、電子デバイスに内蔵されるカメラであってもよく、また外付けのカメラであってもよい。
【００１８】
電子デバイス１１０は、手書き入力を受け付ける必要がある場合には、手書き検出状態となるように構成されていてもよい。電子デバイス１１０のカメラ１１１は、その撮像範囲内の画面を検出し、例えば、環境１００において、カメラ１１１は、ユーザ１２０の空中手書きを検出している。次に、カメラ１１１で撮像された画像がジェスチャ認識モジュール１１６に送られ、ジェスチャ認識モジュール１１６により開始ジェスチャが検出された後、指先認識モジュール１１２がユーザの指先の空間的な軌跡の検出を開始し、軌跡認識モジュール１１４が、検出された空間的な軌跡を認識してユーザの手書き内容を決定する。本開示の実施形態に係る指先認識モジュール１１２は、２次元グレースケール画像を用いて指先の空間的な軌跡を認識し追跡することにより、空中手書き認識の高速化を図ることができ、デバイスの処理性能に対する要求が低いとともに、高い精度が確保される。
【００１９】
図２は、本開示の実施形態に係る空中手書きを認識する方法２００のフローチャートを示す図である。なお、本開示の実施形態に係る方法２００は、図１を用いて説明した電子デバイス１１０により実行することができる。空中手書きは、指先がタッチパネル又はタッチペンに触れないような書き方である。ユーザの指先の空中での筆記軌跡を追跡することにより、対応する文字を識別することができる。
【００２０】
ブロック２０２において、２次元グレースケール画像においてユーザの手のひら領域を検出する。例えば、指先認識モジュール１１２は、電子デバイス１１０のカメラ１１１により撮像された２次元カラー画像を２次元のグレースケール画像に変換（例えばグレースケール化）することができる。グレースケール画像を利用すると、深度画像やカラー画像の場合に比べて、演算量が少なく、機器に対する要求が低いので、指先軌跡の検出速度を速くすることができる。ブロック２０４において、手のひら領域に基づいて、２次元グレースケール画像中の指先を検出する。例えば、指先認識モジュール１１２は、手のひら領域を抽出した後に、２次元グレースケール画像における指先のキーポイントを検出する。
【００２１】
ブロック２０６において、最初のフレームの２次元グレースケール画像を含む一連の２次元グレースケール画像に基づいて、指先の空間的な軌跡を決定する。例えば、指先認識モジュール１１２は、複数の２次元グレースケール画像に基づいて、空中での指先の移動軌跡を認識して追跡する。ブロック２０８において、空間的軌跡に基づいて、ユーザの手書き内容を認識する。例えば、軌跡認識モジュール１１４は、決定された空間的軌跡に基づいて、対応する文字を認識し、ここで、文字は、漢字、アルファベット、符号等であってもよい。このように、本開示の実施形態に係る方法２００は、２次元のグレースケール画像を用いて指先の空間的な軌跡を認識して追跡することで、空中手書き認識の高速化を図ることができる。
【００２２】
図３は、本開示の実施形態に係る指先認識方法３００のフローチャートを示す図である。なお、本開示の実施形態に係る方法３００は、図１を参照して説明した電子デバイス１１０内の指先認識モジュール１１２により実行され、図２を参照して説明した方法２００のステップ２０６の例で実現されてもよい。
【００２３】
ブロック３０２において、最初のフレームに検出された指先点に基づいて、手のひら枠の回帰用の探索領域を決定する。例えば、最初のフレームは、手のひらの検出により、手のひら枠を抽出し、そして、指先キーポイント検出を行って、手のひら枠の回帰を実行することで、これから追跡するための探索領域を生成する。
【００２４】
ブロック３０４において、次のフレーム（例えば２フレーム目）の探索領域において手のひらが追跡されたか否かを判断する。枠３０４において、次のフレームの探索領域において手のひらが追跡されたと判定した場合、ブロック３０６において、当該探索領域を用いて、現在の指先位置を予測する。すなわち、探索領域から、指先の現在位置を決定する。枠３０４において、次のフレームの探索領域において手のひらが追跡されていないと判定した場合には、手のひらが紛失したことになるので、枠３０８において、次のフレームで手のひらの検出を再開する。追跡の方法によれば、回帰により大まかな手のひら枠領域を得て、後続の追跡に利用することで、フレーム毎に手のひら領域を検出する状況を回避でき、これにより、計算量を減少させ、実行速度を向上させる。
【００２５】
幾つかの実施例において、連続する画像フレーム情報を用いてトレーニングされたＤＮＮを介して、２次元グレースケール画像中の指先を検出するようにしてもよい。連続するフレーム情報を用いることにより、映像において指先検出結果がより安定的である。いくつかの実施例において、指先の軌跡をより連続的かつ安定的に認識するために、さらにオプティカルフローを用いることもできる。ＤＮＮの訓練は、以下の３つの局面を含むことができる。まず、手のひら枠を利用して手のひら領域を切り取って、指先キーポイント検出を行うと同時に、現在の手のひら枠の回帰を実行する。次に、手のひら領域と指先の訓練が大体収束した後、連続するフレームを用いて訓練することで、指先キーポイントの安定性を向上させる。その後、現在予測された手のひら枠に手のひらが含まれるか否かを判定する分類器を訓練して、後続の追跡及び判定に用いる。よって、本開示の実施例は、深層学習により指先の勾配特徴を取得し、直接指先の回帰を行うことができ、従来のデプスマップ情報又はサーマルマップ情報を必要とせず、フレーム画像毎に手のひらの検出を行う必要もない。
【００２６】
図４は、本開示の実施例に係る軌跡を認識する方法４００のフローチャートである。なお、本開示の実施例に係る方法４００は、図１を参照して説明した電子デバイス１１０の軌跡認識モジュール１１４により実行され、図２を参照して説明した方法２００のステップ２０８の例で実現されてもよい。
【００２７】
ブロック４０２において、カーブフィッティングを介して空間的軌跡をリサンプリングする。ボックス４０４において、空間的軌跡の８方向の特徴と書き順の特徴を抽出する。例えば、カーブフィッティングを介してリサンプリングを行い、さらに微分して直接８方向の特徴を得ることができ、これにより精確的な８方向の特徴を得ることができる。また、ユーザの書き順を表すように、単純な８方向の特徴ではなく、時系列特徴を付加するようにしてもよい。あるいは、文字の空間的特徴を人為的に定義してもよい。また、人為的に文字の空間的特徴を定義するのではなく、ニューラルネットワークを利用することにより、空間的特徴と時系列的特徴をともに学習することもできる。ブロック４０６において、８方向の特徴と書き順の特徴とに基づいて、ＤＮＮを用いてユーザの手書き文字を決定する。
【００２８】
従来では、軌跡の識別には、８方向の特徴抽出、テンプレートマッチング、ポロジェンベイズ、又は分類器の組み合わせの混用等の方法、又は、８方向の特徴とコンボリューションニューラルネットワーク（ＣＮＮ）との組み合わせの方法等を採用することが一般的である。しかし、ＣＮＮは、空間的特徴のみに関するものであり、通常、文字等の文字書き込みの時系列情報を破棄するようにする。これに対して、本開示の実施例は、従来のＣＮＮ等の代わりに、ＤＮＮ（例えば５層の全結合ネットワークを含む）を利用することにより、ＣＮＮがユーザの書き順を記述できないという問題を解決することができる。
【００２９】
図５は、本開示の実施形態に係るジェスチャ認識方法５００のフローチャートである。なお、本開示の実施形態に係る方法５００は、図１を参照して説明した電子デバイス１１０のジェスチャ認識モジュール１１６により実行されて、図２を参照して説明した方法２００の前、その後、または実質的に同時に実行されてもよい。
【００３０】
ブロック５０２において、空中手書きをトリガするための開始ジェスチャを検出する。例えば、ジェスチャ認識モジュール１１６は、定期的または所定の規則に従って、開始ジェスチャを検出する。なお、２次元グレースケール画像によってもユーザの手を検出することができるが、カラー画像によりユーザの手を検出する場合、精度がより高く、手に属しない薄い色の陰影の誤判定を低減することができる。そのため、本開示のいくつかの実施例は、カメラ１１１によって収集された２次元カラー画像を用いてユーザの手を検出し、さらにユーザのジェスチャタイプを識別する。ブロック５０４において、開始ジェスチャが検出されたか否かを判断する。手が検出された後、手の特徴を抽出することができ、ジェスチの属するタイプを決定し、例えば、現在のジェスチャが一指下向きであると認識すると、空中手書きが開始する旨とする。
【００３１】
ブロック５０４において開始ジェスチャが検出されない場合、ブロック５０２に戻って、続けて開始ジェスチャを周期的に検出する。ブロック５０４で開始ジェスチャが検出された場合、ブロック５０６において指先認識モジュール１１２が動作を開始し、指先の空間的な軌跡を認識することができる。
【００３２】
ブロック５０８において、空中手書きをキャンセルするための終了ジェスチャが検出されたか否かを判断する。ブロック５０８において終了ジェスチャが検出されなければ、ブロック５０６に戻って、続けて指先の空間的軌跡を認識、追跡する。ブロック５０８で終了ジェスチャが検出された場合、ユーザが手書きの終了を指示したこととし、手書き認識の検出を停止し、５０２に戻って、続けて、手書きの開始ジェスチャを周期的に検出する。
【００３３】
いくつかの実施例において、検出された手に基づいて、手の回帰用のバウンディングボックスを決定することができる。第１のカラー画像の後に続く第２のカラー画像のバウンディングボックスに手が追跡された場合、バウンディングボックスに基づいてユーザのジェスチャタイプを決定する。第２のカラー画像のバウンディングボックスに手が追跡されていない場合、第２のカラー画像において手の検出を再開する。
【００３４】
例えば、手の検出では、ＣＮＮニューラルネットワークプランの画像認識により、画面における画像特徴を抽出し、続いて回帰計算を行い、現在フレームに手の有無及び手の位置を判断することができる。手の検出は、通常は、最初フレームのみに対し行われる。手部が紛失した後、さらに次の検出を行う。手に対して二分類判定を行い、フレーム毎に検出され、または追跡された手画像が手でなければ、再度検出するようにしてもよい。例えば、オンラインサンプルマイニングの方式を採用して手の二分類訓練を行うことができる。また、手の追跡を枠で行い、画像シーケンスでの移動中の手を追跡するようにしてもよい。すなわち、手の検出が成功した後、追跡ネットワークは動作して、手の二分類、バウンディングボックス領域及びジェスチャタイプを得る。手であれば、現在フレームのバウンディングボックスで、一つのフレームの画像を間引いて、追跡演算を継続する。手でなければ、手の検出動作を再実行する。
【００３５】
したがって、本開示の実施例は、追跡することにより、フレーム毎にユーザの手を検出する状況を回避し、それにより実行速度を向上させる。つまり、二分類の判別とバウンディングボックスの回帰を加味してジェスチャの検出および追跡を行うことで、デバイスの計算量を削減することができる。
【００３６】
図６は、本開示の一実施形態に係る空中手書きを認識するための装置６００のブロック図である。図６に示すように、装置６００は、手のひら検出モジュール６１０、指先検出モジュール６２０、軌跡決定モジュール６３０及び軌跡認識モジュール６４０を備える。手のひら検出モジュール６１０は、２次元グレースケール画像においてユーザの手のひら領域を検出するように構成され、指先検出モジュール６２０は、手のひら領域に基づいて、２次元グレースケール画像において指先を検出するように構成され、軌跡決定モジュール６３０は、２次元グレースケール画像を含む一連の２次元グレースケール画像に基づいて、指先の空間的な軌跡を決定するように構成され、軌跡認識モジュール６４０は、空間的な軌跡に基づいて、ユーザの手書き内容を認識するように構成される。
【００３７】
いくつかの実施例において、手のひら検出モジュール６１０は、電子デバイスのカメラによって２次元カラー画像を取得するように構成された取得モジュールと、２次元カラー画像をグレースケール化することによって２次元グレースケール画像を生成する生成モジュールとを備える。
【００３８】
いくつかの実施例において、指先検出モジュール６２０は、深層ニューラルネットワークを用いて２次元グレースケール画像における指先を検出するように構成されたニューラルネットワーク検出モジュールを備え、そのうち深層ニューラルネットワークは、連続する画像フレームの情報を用いてトレーニングされる。
【００３９】
幾つかの実施例において、前記２次元グレースケール画像は、第１のグレースケール画像であり、前記一連の２次元グレースケール画像は、時間的に前記第１のグレースケール画像の直後に続く第２のグレースケール画像を更に含み、前記軌跡決定モジュール６３０は、検出された前記指先に基づいて、手のひら枠の回帰用の探索領域を決定する探索領域決定モジュールと、第２のグレースケール画像における探索領域において手のひらが追跡されたことに応じて、探索領域にから指先の現在位置を決定する第１の応答モジュールと、第２のグレースケール画像における探索領域において手のひらが追跡されていないことに応答して、第２のグレースケール画像において手のひらの検出を実行する第２の応答モジュールと、を備える。
【００４０】
いくつかの実施例において、装置６００は、カメラによって収集された第１のカラー画像において前記ユーザの手を検出したことに応答し、前記ユーザのジェスチャタイプを識別するジェスチャ認識モジュールを備え、ジェスチャタイプは、少なくとも前記空中手書きをトリガするための開始ジェスチャ及び前記空中手書きを終了するための終了ジェスチャを含む。
【００４１】
幾つかの実施例において、ジェスチャ認識モジュールは、検出された前記手に基づいて、手の回帰用の包囲領域を決定する包囲領域決定モジュールと、第１のカラー画像の後に続く前記第２のカラー画像における包囲領域において前記手が追跡されたことに応じて、前記包囲領域に基づいて前記ユーザのジェスチャタイプを決定する第３の応答モジュールと、第２のカラー画像における包囲領域において手が追跡されていないことに応じて、前記第２のカラー画像において手の検出を実行する第４の応答モジュールと、を備える。
【００４２】
いくつかの実施例において、軌跡認識モジュールは、空間的軌跡の８方向の特徴と書き順の特徴とを抽出する特徴抽出モジュールと、８方向の特徴と前記書き順の特徴とに基づいて、深層ニューラルネットワークを用いて前記ユーザの手書き文字を決定するニューラルネットワーク識別モジュールとを備える。
【００４３】
いくつかの実施例において、特徴抽出モジュールは、カーブフィッティングにより、前記空間的軌跡をリサンプリングするリサンプリングモジュールと、リサンプリングされた前記空間的軌跡に基づいて、前記８方向の特徴を抽出する第２の特徴抽出モジュールとを備える。
【００４４】
なお、図６に示す手のひら検出モジュール６１０、指先検出モジュール６２０、軌跡決定モジュール６３０は、図１に示す指先認識モジュール１１２に含まれ、軌跡認識モジュール６４０は、図１に示す軌跡認識モジュール１１４であってもよい。また、図６に示されるモジュールは本開示の実施例を参照する方法又は過程におけるステップ又は動作を実行することができることは明らかである。
【００４５】
図７は、本開示の実施形態を実施するために使用できる例示的な装置７００の概略ブロック図を示している。装置７００は、本開示に記載された音声認識装置７００であり得ることを理解されたい。図に示すように、装置７００は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されているコンピュータプログラム命令又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラム命令によって様々な適当な動作及び処理を実行することができる中央処理装置（ＣＰＵ）７０１を備える。ＲＡＭ７０３には、装置７００の動作に必要な様々なプログラム及びデータが更に記憶されることが可能である。ＣＰＵ７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。
【００４６】
装置７００において、キーボード、マウスなどの入力部７０６と、様々なタイプのディスプレイ、スピーカなどの出力部７０７と、磁気ディスク、光ディスクなどの記憶部７０８と、ネットワークカード、モデム、無線通信送受信機などの通信部７０９とを含む複数のコンポーネントは、Ｉ／Ｏインターフェース７０５に接続されている。通信部７０９は、装置７００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の装置と情報又はデータの交換を可能にする。
【００４７】
処理部７０１は、上述した方法２００のような様々な方法およびプロセスを実行する。例えば、いくつかの実施形態では、方法は、記憶部７０８などの機械可読媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信部７０９を介して装置７００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、ＣＰＵ７０１によって実行されると、上述した方法における１つまたは複数の動作またはステップが実行され得る。あるいは、他の実施形態では、ＣＰＵ７０１は、他の任意の適切な形態によって（例えば、ファームウェアによって）方法を実行するように構成されていてもよい。
【００４８】
本明細書で説明した機能は、少なくとも部分的に１つまたは複数のハードウェアロジックコンポーネントによって実行されることができる。例えば、非限定的に、採用できる汎用型のハードウェアロジックコンポーネントには、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）などが含まれる。  
【００４９】
本開示の方法を実施するためのプログラムコードは、１つまたは複数のプログラミング言語のあらゆる組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサまたはコントローラに提供されることができ、これらのプログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図に規定された機能または動作が実施される。プログラムコードは、完全にデバイス上で実行されることも、部分的にデバイス上で実行されることも、スタンドアロンソフトウェアパッケージとして部分的にデバイス上で実行されながら部分的にリモートデバイス上で実行されることも、または完全にリモートデバイスもしくはサーバ上で実行されることも可能である。
【００５０】
本開示のコンテキストでは、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置またはデバイスが使用するため、または命令実行システム、装置またはデバイスと組み合わせて使用するためのプログラムを含むか、または格納することができる。機械可読媒体は、機械可読信号媒体または機械可読記憶媒体であり得る。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置またはデバイス、またはこれらのあらゆる適切な組み合わせを含むことができるが、これらに限定されない。機械可読記憶媒体のより具体的な例には、１本または複数本のケーブルに基づく電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、またはこれらのあらゆる適切な組み合わせが含まれ得る。
【００５１】
また、各動作またはステップは、特定の順序で示されているが、所望の結果を得られるために、このような動作またはステップは示された特定の順序にてまたは順を追って実行されることを要求するか、または、図に示されたすべての動作またはステップが実行されることを要求するものと理解されるべきである。特定の環境では、マルチタスクと並列処理が有利である可能性がある。同様に、上記ではいくつかの具体的な実施詳細を説明したが、これらは本開示の範囲への制限と解釈されるべきではない。個別の実施形態のコンテキストで説明された、いくつかの特徴は、単一の実施において組み合わせて実施されることもできる。逆に、単一の実施のコンテキストで説明された様々な特徴は、複数の実施において、個別にまたは任意の適切なサブセットで実施されることもできる。
【００５２】
本開示の実施形態は、構造特徴および／または方法のロジック動作に特定された言語で記述されたが、特許請求の範囲内に限定される主題が、必ずしも上記に記載された特定の特徴または動作に限定されるものではないことを理解されたい。逆に、上述した特定の特徴および動作は、特許請求の範囲を実施するための例示的な形態にすぎない。
【国際調査報告】
2021524951.tif 000010
2021524951.tif 000011
2021524951.tif 000012
2021524951.tif 000013