(57)【要約】  ユーザのジェスチャ及び対象物を含む画像を取得することと、ユーザのジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力することと、対象物の位置を決定し、ジェスチャ識別結果により対象物を識別し、画像識別結果を出力することと、画像識別結果によりユーザと対話することとを備える、対象物を自動的に取り込む方法。【選択図】図２
2018534649.tif 000002
【特許請求の範囲】
【請求項１】
対象物を自動的に取り込む方法であって、前記方法は、
ユーザのジェスチャ及び前記対象物を含む画像を取得することと、
前記ユーザの前記ジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は前記物体を指している前記手を示すジェスチャであるジェスチャ識別結果を出力することと、
前記対象物の位置を決定し、前記ジェスチャ識別結果により前記対象物を識別し、画像識別結果を出力することと、
前記画像識別結果により前記ユーザと対話することと
を備える方法。
【請求項２】
前記対象物の位置を決定し、前記ジェスチャ識別結果により前記対象物を識別し、前記画像識別結果を出力することは、
前記ジェスチャ識別結果により前記対象物の前記位置を決定することと、
前記対象物の画像特徴を抽出することと、
前記対象物の前記画像特徴を予め記憶された定型の特徴と比較して前記対象物の情報を得ることと、
前記対象物の前記情報を前記画像識別結果として出力することと
を備える、請求項１に記載の方法。
【請求項３】
前記対象物は、一個体又は一個体の一部である、請求項１に記載の方法。
【請求項４】
前記ユーザの音声を取得することと、
前記ユーザの前記音声を識別し、音声識別結果を出力することと
をさらに備え、
前記画像識別結果によって前記ユーザと対話することは、特に、前記画像識別結果と前記音声識別結果とによって前記ユーザと対話することである、請求項１に記載の方法。
【請求項５】
前記画像識別結果によって前記ユーザと対話することは、
前記画像識別結果を表示すること及び／又は
前記画像識別結果を再生すること
を備える、請求項１に記載の方法。
【請求項６】
対象物を自動的に取り込む装置であって、前記装置は、
プロセッサと、
記憶された命令を含むメモリと
を備え、
前記命令が前記プロセッサに実行されると、前記プロセッサに
ユーザのジェスチャ及び前記対象物を含む画像を取得することと、
前記ユーザの前記ジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は前記物体を指している前記手を示すジェスチャであるジェスチャ識別結果を出力することと、
前記対象物の位置を決定し、前記ジェスチャ識別結果により前記対象物を識別し、画像識別結果を出力することと、
前記画像識別結果により前記ユーザと対話することと
を実行させる、装置。
【請求項７】
前記命令が前記プロセッサに実行されると、前記プロセッサに実行された、前記対象物の位置を決定し、前記ジェスチャ識別結果により前記対象物を識別し、前記画像識別結果を出力することは、
前記ジェスチャ識別結果により前記対象物の前記位置を決定することと、
前記対象物の画像特徴を抽出することと、
前記対象物の前記画像特徴を予め記憶された定型の特徴と比較して前記対象物の情報を得ることと、
前記対象物の前記情報を前記画像識別結果として出力することと
を備える、請求項６に記載の装置。
【請求項８】
前記対象物は、一個体又は一個体の一部である、請求項６に記載の装置。
【請求項９】
前記命令が前記プロセッサに実行されると、前記プロセッサに
前記ユーザの音声を取得することと、
前記ユーザの前記音声を識別し、音声識別結果を出力することと
をさらに実行させ、
前記画像識別結果によって前記ユーザと対話することは、特に、前記画像識別結果と前記音声識別結果とによって前記ユーザと対話することである、請求項６に記載の装置。
【請求項１０】
前記命令が前記プロセッサに実行されると、前記画像識別結果によって前記ユーザと対話することは、
前記画像識別結果を表示すること及び／又は
前記画像識別結果を再生すること
を備える、請求項６に記載の装置。
【請求項１１】
コンピュータ可読命令を格納する一つ以上のコンピュータ非一時的記憶媒体であって、前記命令が一つ以上のプロセッサに実行されると、一つ以上のプロセッサに
ユーザのジェスチャ及び前記対象物を含む画像を取得することと、
前記ユーザの前記ジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は前記物体を指している前記手を示すジェスチャであるジェスチャ識別結果を出力することと、
前記対象物の位置を決定し、前記ジェスチャ識別結果により前記対象物を識別し、画像識別結果を出力することと、
前記画像識別結果により前記ユーザと対話することと
を実行させる、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピュータ識別の技術に関し、特に、対象物を自動的に取り込む方法、装置及び記憶媒体に関する。
【背景技術】
【０００２】
ＡＩ（Artificial Intelligence：人工知能）は、人間の知能を模擬、拡張、展開する理論、方法、技法及び応用を研究して発展させる新しい科学技術である。ＡＩの研究には、顔識別、音声識別、画像識別、文書識別、表情識別、年齢識別、声紋識別、行動識別などが含まれる。最近では、技術が急速に発展していることから、ますますスマート製品（smart product）が出始めている。
【０００３】
＜関連する出願への相互参照＞
本出願は、２０１５年８月２７日に出願された中国特許出願番号２０１５１０５３７４８１．４号「METHOD AND DEVICE OF AUTOMATICALLY CAPTURING A TARGET OBJECT」の利益を主張し、上記出願の全ての内容を参照により本願明細書に援用する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のスマート製品は、単純な環境で画像を識別することに限られている。複数の対象物のうちの一つ、或いはある対象物の一部を識別する必要が有る場合、機械は、どれが当該対象物であるかが分からず、人が機械を操作してその位置を特定する必要があることから、ユーザの経験としては物足りない。例えば、人がその機械と対話する際、人がスマート製品に「これは何ですか」や「ここを見て」というと、スマート製品は、「これ」や「ここ」などが何を意味するのか理解できない。つまり、スマート製品は、「これ」に当てはまる対象物を取り込む準備ができていない。
【課題を解決するための手段】
【０００５】
本出願が開示するさまざまな実施形態により、対象物を自動的に取り込む方法、装置及び記憶媒体を提供する。
【０００６】
対象物を自動的に取り込む方法であって、当該方法は、
ユーザのジェスチャ及び対象物を含む画像を取得することと、
ユーザのジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力することと、
対象物の位置を決定し、ジェスチャ識別結果により対象物を識別し、画像識別結果を出力することと、
画像識別結果によりユーザと対話することとを備えている。
【０００７】
プロセッサと、記憶された命令を含むメモリとを備える装置であって、当該命令がプロセッサに実行されると、プロセッサに
ユーザのジェスチャ及び対象物を含む画像を取得することと、
ユーザのジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力することと、
対象物の位置を決定し、ジェスチャ識別結果により対象物を識別し、画像識別結果を出力することと、
画像識別結果によりユーザと対話することとを実行させる。
【０００８】
コンピュータ可読命令を格納する一つ以上のコンピュータ非一時的記憶媒体であって、当該命令が一つ以上のプロセッサに実行されると、一つ以上のプロセッサに
ユーザのジェスチャ及び対象物を含む画像を取得することと、
ユーザのジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力することと、
対象物の位置を決定し、ジェスチャ識別結果により対象物を識別し、画像識別結果を出力することと、
画像識別結果によりユーザと対話することとを実行させる。
【０００９】
対象物を自動的に取り込む上記方法、装置及び記憶媒体において、ユーザのジェスチャ及び対象物を含む画像を取得し、ユーザのジェスチャを識別し、ジェスチャ識別結果を出力する。対象物の位置を決定し、対象物はジェスチャ識別結果によって識別され、画像識別結果を出力し、画像識別結果に従ってユーザと対話する。それにより複数の対象物のうちの一つ又は対象物の一部を識別する必要がある場合でも、ユーザのジェスチャによって対象物を正確に取り込むことができ、次に該対象物を識別し、ユーザと対話を行うことができる。これにより、識別精度や対話性能を改善する。
【００１０】
本発明の各実施形態によって、または先行技術において技術的解決策をより明確に説明するために、各実施形態又は先行技術を説明する添付図面を以下に簡潔に記載する。以下の説明における添付図面は、本発明の幾つかの実施形態に過ぎないことは明らかであり、当業者は、創造的な努力なしに添付図面から他の図面を導き出すことができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、一実施形態における対象物を自動的に取り込む装置の内部の概略図である。
【図２】図２は、一実施形態における対象物を自動的に取り込む装置のブロック図である。
【図３】図３は、ユーザのジェスチャの概略図である。
【図４】図４は、ユーザのジェスチャの別の概略図である。
【図５】図５は、ユーザのジェスチャのさらに別の概略図である。
【図６】図６は、別の実施形態における対象物を自動的に取り込む装置のブロック図である。
【図７】図７は、一実施形態における対象物を自動的に取り込む方法のフローチャートである。
【図８】図８は、別の実施形態における対象物を自動的に取り込む方法のフローチャートである。
【発明を実施するための形態】
【００１２】
添付の図面を参照して、本発明の各実施形態を以下により完全に説明する。しかしながら、本発明のさまざまな実施形態は、多くの異なる形態で具体化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態が提供されることによって、本開示が徹底されて完全になり、本発明の範囲を当業者に完全に伝えることとなる。
【００１３】
別段の定義がない限り、本明細書で使用されるすべての用語（技術的および科学的用語を含む）は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されているような用語は、関連技術の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想化された又は過度に形式的な意味で解釈されることはないことがさらに理解されるであろう。
【００１４】
図１は、一実施形態における対象物を自動的に取り込む装置の内部の概略図である。
【００１５】
本実施形態において、対象物を自動的に取り込む装置は、プロセッサ、記憶媒体、ＲＡＭ（Random-Access Memory：ランダムアクセスメモリ）及び、システムバスを介して接続される入出力（Ｉ／Ｏ）インターフェースを含む、ロボットやテレビなどの任意のスマート製品であってよい。該装置の記憶媒体は、オペレーティングシステム、データベース及びコンピュータ実行可能命令を格納している。データベースは、ユーザのジェスチャの画像、対象物の画像、画像識別結果などのデータを記憶するように構成される。ＣＰＵによって各命令が実行されると、対象物を自動的に取り込む方法を実行できる。装置のプロセッサは、装置全体の操作をサポートするためのコンピューティング及び制御機能を提供するように構成される。装置のＲＡＭは、記憶媒体内のコンピュータ実行可能命令の実行環境を提供する。装置の入出力（Ｉ／Ｏ）インターフェースは、他の装置を接続するように構成される。
【００１６】
図２は、一実施形態における対象物を自動的に取り込む装置のブロック図である。
【００１７】
該装置の内部構造は、図１に示す構造に対応可能であり、以下のモジュールは、それぞれソフトウェア、ハードウェア、又はそれらの組み合わせによって、全体的または部分的に実行されてもよい。本実施形態においては、図２に示すように、対象物を自動的に取り込む装置は、画像取得モジュール１１０と、ジェスチャ識別モジュール１２０と、画像識別モジュール１３０と、対話モジュール１４０とを備えている。画像取得モジュール１１０は、ユーザのジェスチャ及び対象物を含む画像を取得するように構成される。ジェスチャ識別モジュール１２０は、ユーザのジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力するように構成される。画像識別モジュール１３０は、対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果を出力するように構成される。対話モジュール１４０は、画像識別結果に従ってユーザと対話するように構成される。
【００１８】
画像取得モジュール１１０は、ユーザのジェスチャ及び対象物を含む画像情報を取得するように構成されたカメラである。一実施形態において、ユーザのジェスチャは、図３に示すような指が閉じた状態、又は図４に示すような指差し状態であってもよい。対象物は、一個体或いは一個体の一部である。ここでは、一個体は、任意の物体（リンゴ、カップ、本など）であってもよく、人であってもよく、また、一個体の一部は、カップのカップ蓋、本のカバー、人のある特定の器管又は一部などであってもよい。
【００１９】
例えば、ユーザがリンゴを識別する必要がある場合、ユーザがリンゴを保持していることを示すジェスチャ又はリンゴをさす指を示すジェスチャがカメラの可視範囲に現れるようにするだけでよく、それによって画像取得モジュール１１０は、ユーザのジェスチャ及びリンゴを含む画像情報を取得する。
【００２０】
ジェスチャ識別モジュール１２０は、ユーザのジェスチャを識別し、物体が手で保持されていることを示すジェスチャ又は、物体を指している手を示すジェスチャであるジェスチャ識別結果を出力するように構成される。特に、ユーザが、異なる位置に配置された物体を識別する必要がある場合、異なるジェスチャを行う。ユーザが、画像取得モジュール１１０の可視範囲内に対応するジェスチャを行った場合、ジェスチャ識別モジュール１２０は、ジェスチャ識別結果を出力できる。ジェスチャ識別結果は、物体が二つの手で保持されていることを示すジェスチャなどの他のジェスチャでもよく、本明細書において厳密に限定されるものではないことを理解されたい。
【００２１】
一実施形態において、ユーザが図３に示すジェスチャを行う場合、ジェスチャ識別モジュール１２０は、該ジェスチャをあらかじめ設定したジェスチャテンプレートと比較し、物体が手で保持されていることを示すジェスチャとしてジェスチャ識別結果を出力する。ユーザが、図４に示すジェスチャを行う場合、ジェスチャ識別モジュール１２０は、該ジェスチャをあらかじめ設定したジェスチャテンプレートと比較し、物体を指す手を示すジェスチャとしてジェスチャ識別結果を出力する。
【００２２】
さらに、ユーザは、図４に示すジェスチャを、物体の一部を指す手を示すジェスチャとして設定することができ、また、図５に示すジェスチャを、物体の全体を指す手を示すジェスチャとして設定できる。
【００２３】
あらかじめ設定したジェスチャテンプレートは、カスタマイズ可能である。
【００２４】
画像識別モジュール１３０は、対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果を出力するように構成される。ジェスチャ識別結果が対象物を手で保持することを示す又は対象物を指している手を示すジェスチャであっても、画像識別モジュール１３０は、ジェスチャ識別結果によって対象物の位置を決定することができる。
【００２５】
一実施形態において、画像識別モジュール１３０は、対象物取り込み部、画像処理部、画像識別部及び結果出力部を備える。対象物取り込み部は、ジェスチャ識別結果に従って対象物の位置を特定するように構成される。画像処理部は、対象物の画像特徴を抽出するように構成される。画像識別部は、対象物の画像特徴を予め記憶された定型の特徴と比較し、対象物の情報を得るように構成される。結果出力部は、対象物の情報を画像識別結果として出力するように構成される。
【００２６】
例えば、ユーザがリンゴを手に持ち、ジェスチャ識別結果は、物体が手で保持されていることを示すジェスチャである場合、対象物取り込み部は、ユーザの手の中にあるリンゴが対象物であると決定し、それにより画像処理部は、リンゴの画像特徴（色特徴やテクスチャ特徴など）を抽出する。次に、画像識別部は、物体の画像特徴を予め記憶された定型の特徴と比較するように構成される。予め記憶された定型の特徴には、さまざまなフルーツの定型の特徴、さまざまな研究論文の定型の特徴などが含まれていてもよい。比較後に、対象物はリンゴと識別され、対象物の情報を得て、該情報を出力する。
【００２７】
例えば、ユーザの指が口を指し、ジェスチャ識別結果が物体を指さしする手を示すジェスチャである場合、対象物取り込み部は、ユーザの手によって示された口が対象物であると決定する。画像処理部は、対象物の画像特徴を予め記憶された定型の特徴と比較する。比較後、対象物は人の口として識別され、対象物の情報を得て、該情報を出力する。
【００２８】
一実施形態において、対象物の情報には、対象物の中国語名、英語名などが含まれる。対象物の情報には、対象物の何らかの言い回しや文章を含めることもできることを理解されたい。例えば、上記の実施形態では、結果出力部によって出力された画像識別結果は、リンゴである。画像識別結果は、ニュートンの重力などのリンゴの言い回しを含むこともでき、また例えば、母は私にリンゴを与えるといったリンゴを用いた文章を含むこともできる。
【００２９】
対話モジュール１４０は、画像識別結果によってユーザと対話するように構成される。一実施形態において、対話モジュール１４０は、表示装置及び／又は音声再生装置を含む。表示装置は、画像識別結果を表示するように構成され、音声再生装置は、画像識別結果を再生するように構成される。すなわち、対話モジュール１４０は、画像識別結果を表示する方法でユーザと対話でき、また、画像識別結果を再生する方法でユーザと対話でき、さらに画像識別結果の表示と再生を同時に行うこともできる。
【００３０】
例えば、画像識別モジュール１３０によって出力された画像識別結果がリンゴであった場合、対話モジュール１４０は、リンゴの画像、漢字及び英単語を表示し、同時にリンゴの発音を再生する。
【００３１】
図６は、別の実施形態における対象物を自動的に取り込む装置のブロック図である。
【００３２】
装置の内部構造は、図１に示す構造に対応することができ、以下のモジュールは、それぞれソフトウェア、ハードウェア、又はそれらの組み合わせによって、全体的または部分的に実行されてもよい。本実施形態では、図６に示すように、対象物を自動的に取り込む装置は、画像取得モジュール２１０、ジェスチャ識別モジュール２２０、音声取得モジュール２３０、音声識別モジュール２４０、画像識別モジュール２５０及び対話モジュール２６０を備えている。
【００３３】
画像取得モジュール２１０は、ユーザのジェスチャ及び対象物を含む画像を取得するように構成される。一実施形態において、ユーザのジェスチャは、図２に示すような指が閉じた状態、又は図３に示すような指差し状態であってもよい。対象物は、一個体であり、或いは一個体の一部である。ここでは、一個体は、任意の物体（リンゴ、カップ、本など）であってもよく、人であってもよく、また、一個体の一部は、カップのカップ蓋、本のカバー、人のある特定の器管などであってもよい。
【００３４】
ジェスチャ識別モジュール２２０は、ユーザのジェスチャを識別し、ジェスチャ識別結果を出力するように構成される。ジェスチャ識別結果は、物体が手で保持されていること示すジェスチャ又は物体を指している手を示すジェスチャである。特に、ユーザが異なる位置に配置された物体を識別する必要がある場合、異なるジェスチャが行われる。ユーザが、画像取得モジュール２１０の可視範囲内において対応するジェスチャを行うと、ジェスチャ識別モジュール２２０は、ジェスチャ識別結果を出力する。
【００３５】
音声取得モジュール２３０は、ユーザの音声を取得するように構成される。特に、一実施形態において、ユーザが画像取得モジュール２１０を開始すると、音声取得モジュール２３０は自動的に開始される。ユーザは、画像取得モジュール２１０を開始させた後で、ジェスチャによって音声取得モジュール２３０を開始させることもできる。
【００３６】
音声識別モジュール２４０は、ユーザの声を識別し、音声識別結果を出力するように構成される。特に、ユーザによって出力された音声識別結果には、対話式文型が含まれている。例えば、ユーザがリンゴを手に保持しながらスマート製品に「これは何ですか。」と尋ねた場合、音声識別モジュール２４０が出力する音声識別結果には、例えば「これはリンゴです。」などの「これはＸＸです。」といった対話式文型が含まれることとなる。もしユーザが父親の鼻を指しながら「これはお父さんの何ですか。」と尋ねた場合、音声識別モジュール２４０が出力する音声識別結果には、例えば「これはお父さんの鼻です」などの「これはお父さんのＸＸです。」といった対話式文型が含まれることとなる。
【００３７】
画像識別モジュール２５０は、対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果を出力するように構成される。
【００３８】
対話モジュール２６０は、画像識別結果及び音声識別結果に従ってユーザと対話するように構成される。
【００３９】
例えば、画像識別モジュール２５０が出力する画像識別結果がカップであり、音声識別モジュール２４０が出力する音声識別結果には、「これはＸＸです。」という文型が含まれる場合、対話モジュール２６０がユーザと対話する際に、「これはカップです。」と表示及び／或いは再生され、子供の学習を有意に促進する。
【００４０】
図７は、一実施形態における対象物を自動的に取り込む方法のフローチャートである。
【００４１】
対象物を自動的に取り込む方法には、以下の工程が含まれる。
【００４２】
工程Ｓ１１０では、ユーザのジェスチャ及び対象物を含む画像を取得する。
【００４３】
一実施形態において、対象物は、一個体或いは一個体の一部である。一個体は、ここでは任意の物体（リンゴ、カップ、本など）であってもよく、また、人間でもよい。一個体の一部は、カップのカップ蓋や、本のカバー、人間のある特定の器管などでもよい。
【００４４】
工程Ｓ１２０では、ユーザのジェスチャが識別され、手に保持された物体を示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力する。
【００４５】
工程Ｓ１３０では、対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果が出力される。
【００４６】
工程Ｓ１４０では、画像識別結果に従ってユーザと対話する。
【００４７】
図８は、別の実施形態における対象物を自動的に取り込む方法のフローチャートである。
【００４８】
対象物を自動的に取り込む方法には、以下の工程が含まれる。
【００４９】
工程Ｓ２１０では、ユーザのジェスチャ及び対象物を含む映像を取得する。
【００５０】
工程Ｓ２２０では、ユーザのジェスチャが識別され、手に保持された物体を示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力する。
【００５１】
工程Ｓ２３０では、対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果が出力される。
【００５２】
工程Ｓ２４０では、ユーザの声を取得する。
【００５３】
工程Ｓ２５０では、ユーザの声を識別し、音声識別結果を出力する。
【００５４】
一実施形態において、工程Ｓ２４０及び工程Ｓ２５０は、工程Ｓ２１０の前に行われてもよく、また、工程Ｓ２１０の後に行われてもよい。
【００５５】
工程Ｓ２６０では、画像識別結果及び音声識別結果に従ってユーザと対話する。
【００５６】
対象物を自動的に取り込む上記方法において、ユーザのジェスチャ及び対象物を含む画像を取得し、ユーザのジェスチャを識別し、ジェスチャ識別結果を出力する。対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果を出力する。そして、画像識別結果によってユーザと対話する。その結果、複数の対象物のうちの一つ又は対象物の一部を識別する必要がある場合でも、ユーザのジェスチャによって対象物を正確に取り込むことができ、さらに、対象物を識別でき、ユーザと対話を行うことができる。これにより、識別精度や対話性能を改善する。
【００５７】
本出願においては、対象物を自動的に取り込む方法は、ユーザのジェスチャを識別することに加えて、眼球運動、体の回転、足踏み運動などのユーザの他の動作を識別することもできるが、ユーザの動作はこれらに限定されるわけではないことを理解されたい。
【００５８】
一実施形態において、コンピュータ可読命令を格納する一つ以上のコンピュータ非一時的記憶媒体を提供する。一つ以上のプロセッサによってコンピュータ可読命令が実行されると、一つ以上のプロセッサに以下の工程を実行させる。
【００５９】
ユーザのジェスチャ及び対象物を含む画像を取得する。
【００６０】
ユーザのジェスチャを識別し、物体が手に保持されていることを示すジェスチャ又は物体を指している手を示すジェスチャであるジェスチャ識別結果を出力する。
【００６１】
対象物の位置を決定し、ジェスチャ識別結果によって対象物を識別し、画像識別結果を出力する。
【００６２】
画像識別結果に従ってユーザと対話する。
【００６３】
当業者は、上記の実施形態における各方法を実行する各プロセスの全て又は一部は、関連ハードウェアに指示するコンピュータプログラムによって実行されてもよいことを理解できるであろう。該プログラムは、コンピュータ可読記憶媒体に格納されてもよい。プログラムを実行するときに、上述の各方法における実施形態の各プロセスを含むことができる。記憶媒体は、磁気ディスク、光ディスク、読み出し専用メモリ（ＲＯＭ）、 又はランダムアクセスメモリ（ＲＡＭ）などの非一時的な記憶媒体でもよい。
【００６４】
各実施形態を一つずつ説明したが、各実施形態は切り離されるものではないことを理解されたい。当業者は、本出願の開示を読むことによって、各実施形態に含まれる技術的特徴を、互いに対立しない限り、各実施形態間で任意に組み合わせ可能であることを明確に認識することができる。当然のことながら、同じ実施形態内で言及された各技術的特徴は、互いに対立しない限り、任意に組み合わせることが可能である。
【００６５】
本明細書において、本発明は、特定の実施形態を参照して図示及び説明されているが、本発明は、示された詳細に限定されるものではない。むしろ、請求項の等価物の範囲内で、かつ本発明から逸脱することなく、細部に様々な変更を加えることができる。
【図１】
2018534649.tif 000003
【図２】
2018534649.tif 000004
【図３】
2018534649.tif 000005
【図４】
2018534649.tif 000006
【図５】
2018534649.tif 000007
【図６】
2018534649.tif 000008
【図７】
2018534649.tif 000009
【図８】
2018534649.tif 000010
【国際調査報告】
2018534649.tif 000011
2018534649.tif 000012
2018534649.tif 000013
2018534649.tif 000014