(57)【要約】  電子デバイス及びその動作方法に係り、該電子デバイスは、オブジェクトに光を照射し、オブジェクトから反射された光を利用し、電子デバイスからオブジェクトまでの距離を検出する光学モジュール、及び検出されたオブジェクトまでの距離情報に基づいて、オブジェクトのタッチ情報及び／またはジェスチャ情報を決定するプロセッサを含む。
2019522860.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイスにおいて、
オブジェクトに光を照射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する光学モジュールと、
前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定するプロセッサと、を含む電子デバイス。
【請求項２】
前記プロセッサは、
前記オブジェクトまでの距離情報に基づいて、１以上のインタラクションポイントを決定することを特徴とする請求項１に記載の電子デバイス。
【請求項３】
前記プロセッサは、
前記オブジェクトまでの距離情報に基づいて決定されたインタラクショングループ、前記決定されたインタラクショングループのインタラクションタイプ、または前記距離情報に基づいて決定されたインタラクションタイプのうち少なくとも一つに基づいて、前記１以上のインタラクションポイントを決定することを特徴とする請求項２に記載の電子デバイス。
【請求項４】
前記プロセッサは、
前記１以上のインタラクションポイントが動く方向及び速度のうち少なくとも一つに基づいて、前記１以上のインタラクションポイントと関連したメインインタラクションポイントを決定することを特徴とする請求項３に記載の電子デバイス。
【請求項５】
前記プロセッサは、
環境情報に基づいて、前記光学モジュールを制御するための制御因子を調整し、
前記環境情報は、
前記オブジェクトの動作範囲と関連した領域の広さ、前記電子デバイスと共に利用されるアプリケーションの種類、または前記オブジェクトの動作と関連したアプリケーションの種類、前記電子デバイスの周辺環境と関連した情報のうち少なくとも一つを含むことを特徴とする請求項１に記載の電子デバイス。
【請求項６】
前記プロセッサは、
ユーザ入力、イメージ獲得センサ、周辺環境検出センサ、前記光学モジュールで検出された情報のうち少なくとも一つから、前記環境情報を獲得することを特徴とする請求項５に記載の電子デバイス。
【請求項７】
前記光学モジュールは、
１以上の光源と、
前記１以上の光源からの光の経路を変更させ、オブジェクトに伝達する光経路変更エレメントと、
前記オブジェクトから反射された光を受信し、前記反射光に基づいて、前記電子デバイスから前記オブジェクトまでの距離を検出する距離検出センサと、
前記光経路変更エレメントを回転させる回転エレメントと、を含むことを特徴とする請求項１に記載の電子デバイス。
【請求項８】
前記回転エレメントは、
前記光経路変更エレメントを横方向に回転させる回転支持台、または前記光経路変更エレメントを前記横方向とは異なる方向に回転させるチルト支持台のうち少なくとも一つを含むことを特徴とする請求項７に記載の電子デバイス。
【請求項９】
前記１以上の光源は、前記距離検出センサと一体に構成されるか、あるいは前記光経路変更エレメントと一体に構成されることを特徴とする請求項７に記載の電子デバイス。
【請求項１０】
電子デバイスの動作方法において、
オブジェクトに光を照射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する動作と、
前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する動作と、を含む電子デバイスの動作方法。
【請求項１１】
前記オブジェクトまでの距離情報に基づいて、１以上のインタラクションポイントを決定する動作をさらに含むことを特徴とする請求項１０に記載の電子デバイスの動作方法。
【請求項１２】
前記オブジェクトまでの距離情報に基づいて決定されたインタラクショングループ、前記決定されたインタラクショングループのインタラクションタイプ、または前記距離情報に基づいて決定されたインタラクションタイプのうち少なくとも一つに基づいて、前記１以上のインタラクションポイントを決定する動作をさらに含むことを特徴とする請求項１１に記載の電子デバイスの動作方法。
【請求項１３】
前記１以上のインタラクションポイントが動く方向及び速度のうち少なくとも一つに基づいて、前記１以上のインタラクションポイントと関連したメインインタラクションポイントを決定する動作をさらに含むことを特徴とする請求項１２に記載の電子デバイスの動作方法。
【請求項１４】
環境情報に基づいて、前記光学モジュールを制御するための制御因子を調整する動作をさらに含み、
前記環境情報は、
前記オブジェクトの動作範囲と関連した領域の広さ、電子デバイスと共に利用されるアプリケーションの種類、または前記オブジェクトの動作と関連したアプリケーションの種類、前記電子デバイスの周辺環境と関連した情報のうち少なくとも一つを含むことを特徴とする請求項１０に記載の電子デバイスの動作方法。
【請求項１５】
ユーザ入力、イメージ獲得センサ、周辺環境検出センサ、前記光学モジュールで検出された情報のうち少なくとも一つから、前記環境情報を獲得する動作をさらに含むことを特徴とする請求項１４に記載の電子デバイスの動作方法。
【請求項１６】
前記電子デバイスは、光学モジュールを含み、前記光学モジュールは、
光を照射する１以上の光源、前記オブジェクトから反射された光を受信して距離を検出する距離検出センサ、及び送受信される光の経路を変更するエレメントを含み、
前記１以上の光源は、前記距離検出センサと一体に構成されるか、あるいは前記エレメントと一体に構成されることを特徴とする請求項１０に記載の電子デバイスの動作方法。
【請求項１７】
前記エレメントは、横方向及び／または前記横方向とは異なる方向に回転することを特徴とする請求項１６に記載の電子デバイスの動作方法。
【請求項１８】
電子デバイスの動作方法を実行するプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記電子デバイスの動作方法は、
オブジェクトに光を照射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する動作と、
前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する動作と、を含むコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器及びその方法に係り、ユーザのジェスチャやタッチ動作を認識する電子機器、及び電子機器の動作方法を提供することに関する。
【背景技術】
【０００２】
最近、多様なセンサとプロセッサとの発展の恩恵により、ユーザらは、電子機器に、テキスト入力やキーパッド入力以外にも、多様なインターフェースを介して、電子機器へのデータ入力を実現している。例として、スマートフォンや電子機器は、設置されたカメラなどを介してジェスチャを認識したり、タッチセンシティブディスプレイなどを介してタッチ入力を受信したりすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、電子機器のディスプレイ上でのジェスチャ認識やタッチ入力は、ユーザが制限された電子機器のディスプレイ上での動作が要求されるということを解決するものである。
【０００４】
本発明はまた、カメラを利用したジェスチャ分析処理には、後処理過程において、多くのプロセッサ演算、及びカメラモジュール自体による消耗電流発生が起きることを解決するものである。
【課題を解決するための手段】
【０００５】
本発明の多様な実施形態は、ユーザが希望するいかなる空間においても、ジェスチャ認識やタッチ入力による処理を行うことができ、そのような処理に電流消耗を低減させることができる電子機器及びその動作方法を提供するものである。
【発明の効果】
【０００６】
本実施形態によれば、ユーザが希望するいかなる空間においても、ジェスチャ認識やタッチ入力による処理を行うことができ、そのような処理に電流消耗を低減させることができる。
【図面の簡単な説明】
【０００７】
【図１】一実施形態による電子機器の概念について説明する参照図である。
【図２】一実施形態による電子機器１００を含むシステムの概略的なブロック図である。
【図３】一実施形態による電子機器１００の一例による具体的なブロック図である。
【図４】一実施形態による電子機器１００の一例による具体的なブロック図である。
【図５】一実施形態による電子機器１００の一例による具体的なブロック図である。
【図６】一実施形態による電子機器１００の一例による具体的なブロック図である。
【図７】一実施形態による、電子機器１００に含まれる光学モジュール１３０の細部的なブロック図である。
【図８Ａ】一実施形態による、光伝送部と距離測定センサとを共に配する光学モジュールの一例を示す図面である。
【図８Ｂ】一実施形態によつ、光伝送部をミラーに配する光学モジュールの一例を示す図面である。
【図８Ｃ】一実施形態による、ミラーがチルトする光学モジュールの一例を示す図面である。
【図８Ｄ】一実施形態による、ミラーがチルトする光学モジュールでの動作原理について説明するための図面である。
【図９】一実施形態による、ＬＥＤモジュールをミラーの４方向に付着させた例を示す図面である。
【図１０】一実施形態による、電子機器１００での動作方法を示すフローチャートである。
【図１１Ａ】電子機器が、オブジェクトまでの距離を測定する原理について説明する図面である。
【図１１Ｂ】電子機器が、オブジェクトまでの距離を測定する原理について説明する図面である。
【図１１Ｃ】電子機器が、オブジェクトまでの距離を測定する原理について説明する図面である。
【図１１Ｄ】電子機器が、オブジェクトまでの距離を測定する原理について説明する図面である。
【図１１Ｅ】電子機器が、オブジェクトまでの距離を測定する原理について説明する図面である。
【図１２】一実施形態による、電子機器１００が、オブジェクトの距離情報に基づいて、オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する方法の過程を示すフローチャートである。
【図１３】一実施形態による、インタラクションポイントを抽出する過程を示すフローチャートである。
【図１４】電子機器１００がインタラクションタイプを判断する方法について説明するための参照図である。
【図１５Ａ】電子機器１００がインタラクションタイプを判断する方法について説明するための参照図である。
【図１５Ｂ】電子機器１００がインタラクションタイプを判断する方法について説明するための参照図である。
【図１５Ｃ】電子機器１００がインタラクションタイプを判断する方法について説明するための参照図である。
【図１５Ｄ】電子機器１００がインタラクションタイプを判断する方法について説明するための参照図である。
【図１５Ｅ】電子機器１００がインタラクションタイプを判断する方法について説明するための参照図である。
【図１６】二次元データ及び三次元データについて説明するための参照図である。
【図１７】一実施形態による、メインインタラクションポイントを抽出する方法について説明するための参照図である。
【図１８】一実施形態による、インタラクションタイプが仮想キーボードである場合の動作について説明するための参照図である。
【図１９】一実施形態による、電子機器１００の動作方法を示すフローチャートである。
【図２０】電子機器１００が、ミラーを利用してスキャンする範囲を決定する多様な方法について説明するための参照図である。
【図２１】電子機器１００が、ミラーを利用してスキャンする範囲を適応的に変更する方法について説明するための参照図である。
【図２２】一実施形態による、２以上の電子機器を利用し、陰影地域を解消する方法を示すフローチャートである。
【図２３】一実施形態による、２以上の電子機器を利用し、陰影地域を解消する方法について説明するための参照図である。
【図２４】ユーザのタッチ位置別、または電子機器１００のスキャン範囲における区間別にジェスチャのタイプを割り当て、ジェスチャのタイプにより、異なる制御動作を遂行することについて説明するための参照図である。
【図２５】電子機器１００が、三次元センシングモードとタッチ認識モードとで動作する方法の過程を示すフローチャートである。
【発明を実施するための形態】
【０００８】
一実施形態による電子機器は、オブジェクトに光を照射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する光学モジュール、及び前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定するプロセッサを含む。
【０００９】
一実施形態により、電子デバイスの動作方法は、オブジェクトに光を照射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する動作、及び前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する動作を含む。
【００１０】
一実施形態により、電子デバイスの動作方法を実行するプログラムが記録されたコンピュータで読み取り可能な記録媒体において、その電子デバイスの動作方法は、オブジェクトに光を照射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する動作、及び前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する動作を含む。
【００１１】
以下、添付された図面に記載された内容を参照し、本発明による例示的実施形態について詳細に説明する。また、添付された図面に記載された内容を参照し、本発明の実施形態による電子装置を構成して使用する方法について詳細に説明する。各図面で提示された同一参照番号または符号は、実質的に同一機能を遂行する部品または構成要素を示す。
【００１２】
第１、第２のように、序数を含む用語は、多様な構成要素についての説明に使用されるが、該構成要素は、用語によって限定されるものではない。該用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。例えば、本発明の権利範囲を外れずに、第１構成要素は、第２構成要素と命名され、同様に、第２構成要素も第１構成要素とも命名される。「及び／または」という用語は、複数の関連項目の組み合わせ、または複数の関連項目のうちいずれか１つの項目を含む。
【００１３】
本明細書で使用された用語は、実施形態についての説明に使用されたものであり、本発明を制限及び／または限定する意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本出願書において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数、動作、動作、構成要素、部品、またはそれらを組み合わせが存在するということを指定するものであり、１またはそれ以上の他の特徴、数、動作、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。
【００１４】
図１は、一実施形態による電子機器の概念について説明する参照図である。
【００１５】
図１を参照すれば、一実施形態による電子機器１００は、距離測定装置と回転ミラー装置とを具備し、オブジェクト１０までの距離を測定し、測定された距離を利用し、ジェスチャ認識やタッチ入力処理を行うことができる。
【００１６】
電子機器１００は、光源からの光を、回転ミラー装置を利用して反射させ、オブジェクト１０から反射された光を、距離測定装置を介して受信することができる。該距離測定装置は、オブジェクト１０から反射された光を基に、オブジェクト１０までの距離を測定することができる。電子機器１００は、測定されたオブジェクト１０までの距離情報を基に、ユーザのタッチ入力やジェスチャを認識することができる。
【００１７】
一実施形態による電子機器１００は、オブジェクト１０までの測定された距離を基に、タッチ入力やジェスチャの認識を行うために、ユーザが動作する空間に対する制約がない。電子機器１００は、ユーザが所望するいかなる空間にも位置され、ユーザは、自分が所望する空間に電子機器１００を位置させ、タッチやジェスチャ動作を遂行することにより、電子機器１００は、そのようなユーザのタッチ入力やジェスチャ動作を認識することができる。
【００１８】
また、電子機器１００は、ジェスチャ認識やタッチ入力認識のために、カメラや大型静電容量方式のスクリーンを利用するのではなく、距離測定センサを利用するために、ユーザの動作が、比較的大きい空間で遂行されても、電力消費増大を防ぐことができる。
【００１９】
図２は、一実施形態による電子機器１００を含むシステムの概略的なブロック図である。
【００２０】
図２を参照すれば、システムは光学モジュールを具備した電子機器１００、ネットワーク２００及び外部機器２５０を含む。
【００２１】
一実施形態による電子機器１００は、光学モジュール１３０、プロセッサ１１０、通信モジュール１２０を含む。
【００２２】
光学モジュール１３０は、プロセッサ１１０の制御により、光を照射し、オブジェクトから反射された光を受信し、電子機器１００からオブジェクトまでの距離を測定することができる。
【００２３】
一実施形態により、光学モジュール１３０は、光を照射する１以上の光源、前記オブジェクトから反射された光を受信して距離を検出する距離検出センサ、及び送受信される光の経路を変更するエレメントを含み、前記１以上の光源は、前記距離検出センサと一体に構成されるか、あるいは前記エレメントと一体にも構成される。
【００２４】
一実施形態により、前記エレメントは、横方向、及び／または前記横方向とは異なる方向に回転することができる。
【００２５】
通信モジュール１２０は、プロセッサ１１０の制御により、電子機器１００と外部機器２５０との通信をネットワーク２００を介して行うことができる。
【００２６】
プロセッサ１１０は、光学モジュール１３０及び通信モジュール１２０を含み、電子機器１００の全般的な動作を制御することができる。
【００２７】
一実施形態により、プロセッサ１１０は、光学モジュール１３０から測定されたオブジェクトまでの距離情報を基に、タッチ入力処理またはジェスチャ認識処理を行うことができる。
【００２８】
一実施形態により、プロセッサ１１０は、前記オブジェクトまでの距離情報に基づいて、１以上のインタラクションポイントを決定することができる。
【００２９】
一実施形態により、プロセッサ１１０は、前記オブジェクトまでの距離情報に基づいて決定されたインタラクショングループ、前記決定されたインタラクショングループのインタラクションタイプ、または前記距離情報に基づいて決定されたインタラクションタイプのうち少なくとも一つに基づいて、前記１以上のインタラクションポイントを決定することができる。
【００３０】
一実施形態により、プロセッサ１１０は、前記１以上のインタラクションポイントが動く方向及び速度のうち少なくとも一つに基づいて、前記１以上のインタラクションポイントと関連したメインインタラクションポイントを決定することができる。
【００３１】
一実施形態により、プロセッサ１１０は、環境情報に基づいて、前記光学モジュールを制御するための制御因子を調整することができる。該環境情報は、前記オブジェクトの動作範囲と関連した領域の広さ、電子デバイスと共に利用されるアプリケーションの種類、または前記オブジェクトの動作と関連したアプリケーションの種類、前記電子デバイスの周辺環境と関連した情報のうち少なくとも一つを含んでもよい。
【００３２】
一実施形態により、プロセッサ１１０は、ユーザ入力、イメージ獲得センサ、周辺環境検出センサ、前記光学モジュールで検出された情報のうち少なくとも一つから、前記環境情報を獲得することができる。
【００３３】
ネットワーク２００は、電子機器１００と外部機器２５０との通信を可能にする全てのネットワークを含んでもよい。ネットワーク２００は、有線ネットワーク、無線ネットワーク、近距離通信ネットワークを含んでもよい。
【００３４】
外部機器２５０は、電子機器１００から、ネットワーク２００を介してデータを受信するか、あるいは電子機器１００にデータを伝送することができる。
【００３５】
一実施形態により、外部機器２５０は、電子機器１００からオブジェクトまでの距離情報を受信し、それを利用し、ジェスチャ分析を行うことができる。
【００３６】
図３は、一実施形態による電子機器１００の一例による具体的なブロック図である。
【００３７】
図３を参照すれば、電子機器１００は、プロセッサ１１０、通信モジュール１２０、光学モジュール１３０、検出モジュール１４０、電源管理モジュール１５０を含む。
【００３８】
通信モジュール１２０は、Ｗｉ−Ｆｉ（wireless fidelity）、ブルートゥース（Bluetooth）［登録商標］、ＵＳＢ（universal serial bus）などを使用することができ、通信プロトコルとしては、ＴＣＰ（transmission control protocol）／ＩＰまたはソケットを使用することができる。
【００３９】
光学モジュール１３０は、光を伝送し、オブジェクトから反射された光を利用し、オブジェクトまでの距離を測定する。
【００４０】
検出モジュール１４０は、電子機器１００の周辺環境を認識するか、あるいは周辺環境に係わる情報を検出することができる。
【００４１】
一実施形態により、検出モジュール１４０は、カメラを具備し、オブジェクトに対して、タッチやジェスチャを遂行する空間のサイズに係わる情報を検出したり、オブジェクトのカラーなどを検出したりすることができる。
【００４２】
電源管理モジュール１５０は、電源として、内蔵バッテリまたは外装バッテリを利用することができる。該バッテリには、太陽熱電池または太陽光電池のような、自然エネルギーを介して得た電池によっても構成される。
【００４３】
プロセッサ１１０は、電子機器１００の内部構成要素の全般的な制御を行うものであり、インタラクションパターン処理モジュール１１１、電子機器因子調節モジュール１１２、環境因子モジュール１１３を含んでもよい。
【００４４】
インタラクションパターン処理モジュール１１１は、光学モジュール１３０から、オブジェクトまでの距離情報を受信し、既保存のインタラクションパターンを把握するフィルタを利用し、オブジェクトのインタラクションのタイプを判断することができる。例えば、該オブジェクトのインタラクションタイプは、指が１本であるか、指が２本であるか、ペンであるか、あるいは仮想キーボードを打つ動作であるかということなどを示すことができる。
【００４５】
電子機器因子調節モジュール１１２は、光学モジュール１３０の因子値、例えば、光学モジュール１３０に入っているミラーの回転速度、ミラーのチルト角度、光源の明るさなどを調節することができる。
【００４６】
環境因子モジュール１１３は、電子機器１００の周辺環境を認知することができる。電子機器１００の周辺環境は、ジェスチャ動作がなされる空間のサイズ、タッチ動作がなされる空間のサイズ、人が仮想キーボードを打っているか否かということ、周辺環境の光の強度などを含んでもよい。
【００４７】
図４は、一実施形態による電子機器１００の一例による具体的なブロック図である。
【００４８】
図４を参照すれば、電子機器１００は、通信モジュール１２０、光学モジュール１３０、検出モジュール１４０、電源管理モジュール１５０を含む。
【００４９】
図４に図示された例は、図３に図示された電子機器１００と同一であり、ただし、プロセッサ１１０を具備していない。図４に図示された電子機器１００においては、光学モジュール１３０から受信したオブジェクトまでの距離情報を、通信モジュール１２０を介して外部機器に伝送し、外部機器が、受信されたオブジェクトまでの距離情報を利用し、ジェスチャ分析及びタッチ分析を行うことができる。
【００５０】
図５は、一実施形態による電子機器１００の一例による具体的なブロック図である。
【００５１】
図５を参照すれば、電子機器１００は、通信モジュール１２０、光学モジュール１３０、電源管理モジュール１５０を含む。
【００５２】
図５に図示された例は、図４に図示された電子機器１００と同一であり、ただし、検出モジュール１４０を具備していない。図５に図示された電子機器１００においては、検出モジュール１４０で検出される情報を、連結された外部機器から、通信モジュール１２０を介して受信することができる。または、検出モジュール１４０の役割を行うことができる別途の外装カメラを電子機器１００に連結し、そのような外装カメラを介して、情報を受信することができる。
【００５３】
図６は、一実施形態による電子機器１００の一例による具体的なブロック図である。
【００５４】
図６を参照すれば、電子機器１００は、１以上のプロセッサ１１０、通信モジュール１２０、光学モジュール１３０、検出モジュール１４０、電力管理モジュール１５０、プロジェクションモジュール１６０、入出力インターフェース１７０、オーディオモジュール１８０、メモリ１９０を含んでもよい。
【００５５】
前記プロセッサ１１０は、運営体制または応用プログラムを駆動し、前記プロセッサ１１０に連結された多数のハードウェア構成要素またはソフトウェア構成要素を制御することができ、マルチメディアデータを含んだ各種データ処理及び演算を行うことができる。前記プロセッサ１１０は、例えば、ＳｏＣ（system on chip）によっても具現される。一実施形態によれば、前記プロセッサ１１０は、ＧＰＵ（graphics processing unit）（図示せず）をさらに含んでもよい。
【００５６】
一実施形態により、プロセッサ１１０は、光学モジュール１３０から受信したオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定することができる。
【００５７】
前記通信モジュール１２０は、前記電子機器１００とネットワークとを介して連結された他の電子装置、例えば、他の電子装置やサーバとの通信において、データ送受信を行うことができる。一実施形態によれば、前記通信モジュール１２０は、Ｗｉ−Ｆｉモジュール１２１、ＢＴモジュール１２２及びＲＦ（radio frequency）モジュール１２３を含んでもよい。
【００５８】
前記Ｗｉ−Ｆｉモジュール１２１及び前記ＢＴモジュール１２２は、例えば、当該モジュールを介して送受信されるデータを処理するプロセッサを含んでもよい。図６においては、Ｗｉ−Ｆｉモジュール１２１またはＢＴモジュール１２２が、それぞれ別個のブロックとして図示されているが、一実施形態によれば、Ｗｉ−Ｆｉモジュール１２１、ＢＴモジュール１２２のうち少なくとも一部（例：２以上）は、１つのＩＣ（integrated circuit）内またはＩＣパッケージ内にも含まれる。例えば、Ｗｉ−Ｆｉモジュール１２１、ＢＴモジュール１２２それぞれに対応するプロセッサのうち少なくとも一部は、１つのＳｏＣでもっても具現される。
【００５９】
ＲＦモジュール１２３は、データの送受信、例えば、ＲＦ信号の送受信を行うことができる。前記ＲＦモジュール１２３は、図示されていないが、例えば、トランシーバ（transceiver）、ＰＡＭ（power amp module）、周波数フィルタ（frequency filter）またはＬＮＡ（low noise amplifier）などを含んでもよい。また、前記ＲＦモジュール１２３は、無線通信において、自由空間上の電磁波を送受信する部品、例えば、導体または導線などをさらに含んでもよい。図６においては、Ｗｉ−Ｆｉモジュール１２１及びＢＴモジュール１２２が、１つのＲＦモジュール１２３を互いに共有するように図示されているが、一実施形態によれば、Ｗｉ−Ｆｉモジュール１２１及びＢＴモジュール１２２のうち少なくとも一つは、別個のＲＦモジュールを介して、ＲＦ信号の送受信を行うことができる。
【００６０】
一実施形態により、通信モジュール１２０は、プロセッサ１１０で決定したジェスチャ情報やタッチ情報、または光学モジュール１３０で検出したオブジェクトまでの距離情報を外部機器に伝達することができる。
【００６１】
光学モジュール１３０は、光源、回転ミラー装置、距離測定装置などを具備し、光をオブジェクトに照射し、オブジェクトから反射された光を受信し、それにより、オブジェクトまでの距離を測定することができる。光学モジュール１６０については、図８及び図９を参照し、詳細に説明する。
【００６２】
検出モジュール１４０は、物理量を計測するか、あるいは電子機器１００の作動状態を感知し、計測または感知された情報を電気信号に変換することができる。前記検出モジュール１４０は、例えば、イメージセンサ１４０Ａ、ジャイロセンサ１４０Ｂ、加速度センサ１４０Ｃ、超音波センサ１４０Ｄ、赤外線センサ１４０Ｅ、ホールセンサ１４０Ｆ、近接センサ１４０Ｇ、照度センサ１４０Ｈのうち少なくとも一つを含んでもよい。さらにはあるいは代替して、前記検出モジュール１４０は、例えば、臭覚センサ（Ｅ−nose sensor）（図示せず）、ＥＭＧセンサ（electromyography sensor）（図示せず）、ＥＥＧセンサ（electroencephalogram sensor）（図示せず）、ＥＣＧセンサ（electrocardiogram sensor）（図示せず）、虹彩センサ（図示せず）、指紋センサ（図示せず）または圧力センサ（図示せず）などを含んでもよい。前記検出モジュール１４０は、それらに属した少なくとも１以上のセンサを制御する制御回路をさらに含んでもよい。
【００６３】
一実施形態により、検出モジュール１４０は、内部に含まれた少なくとも１つのセンサを利用し、電子機器１００の周辺環境、例えば、光の明るさ、オブジェクトのカラー、またはジェスチャやタッチがなされる空間のサイズなどを検出することができる。
【００６４】
電力管理モジュール１５０は、前記電子機器１００の電力を管理することができる。前記電力管理モジュール１５０は、例えば、ＰＭＩＣ（power management integrated circuit）、充電ＩＣ（charger integrated circuit）、あるいはバッテリまたは燃料ゲージ（battery or fuel gauge）を含んでもよい。前記ＰＭＩＣは、例えば、集積回路ないまたはＳｏＣ半導体内にも搭載される。充電方式は、有線と無線とに区分される。前記充電ＩＣは、バッテリを充電させることができ、充電器からの過電圧または過電流の流入を防止することができる。一実施形態によれば、前記充電ＩＣは、有線充電方式または無線充電方式のうち少なくとも一つが可能である充電ＩＣを含んでもよい。
【００６５】
無線充電モジュール１５２は、無線充電が可能な回路、例えば、コイルループ、共振回路または整流器などの回路を含み、無線充電方式としては、例えば、磁気共鳴方式、磁気誘導方式または電磁波方式などがある。
【００６６】
バッテリ１５１は、電気を保存または生成することができ、その保存または生成された電気を利用し、前記電子装置１００に電源を供給することができる。前記バッテリ１５１は、例えば、充電式電池（rechargeable battery）または太陽電池（solar battery）を含んでもよい。
【００６７】
プロジェクションモジュール１６０は、照明モジュールと投射モジュールとを含んでもよい。前記投射モジュールは、スクリーンに光を投射して映像を表示することができる。該投射モジュールが光を投射する方式としては、ＤＬＰ、ＬＣＯＳ、３ＬＣＤ、ＬＣＤ、レーザの方式などがある。
【００６８】
一実施形態により、プロジェクションモジュール１６０が映像を投射し、そのように投射された映像でのユーザジェスチャを、光学モジュール１３０が検出することができる。
【００６９】
入出力インターフェース１７０は、例えば、ＨＤＭＩ（high-definition multimedia interface）［登録商標］１７１、ＵＳＢ１７２を含んでもよい。さらには、あるいは代替し、前記インターフェース１７０は、例えば、ＭＨＬ（mobile high-definition link）インターフェース、ＳＤ（secure digital）カード／ＭＭＣ（multi-media card）インターフェースまたはＩｒＤＡ（infrared data association）規格インターフェースを含んでもよい。
【００７０】
前記オーディオモジュール１８０は、音（sound）及び電気信号を双方向に変換させることができる。前記オーディオモジュール１８０は、例えば、スピーカー１８１またはマイク１８２などを介して、入力または出力される音情報を処理することができる。
【００７１】
メモリ１９０は、内蔵メモリ１９１を含んでもよい。前記内蔵メモリ１９１は、例えば、揮発性メモリ（例えば、ＤＲＡＭ（dynamic random access memory）、ＳＲＡＭ（static random access memory）、ＳＤＲＡＭ（synchronous dynamic random access memory）など）または不揮発性メモリ（non-volatile memory；例えば、ＯＴＰＲＯＭ（one time programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、ＥＰＲＯＭ（electrically programmable read only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、mask ＲＯＭ、flash ＲＯＭ、ＮＡＮＤ flash memory、ＮＯＲ flash memoryなど）のうち少なくとも一つを含んでもよい。
【００７２】
メモリ１９０は、プロセッサ制御により、電子機器１００を駆動して制御する多様なデータ、プログラムまたはアプリケーションを保存することができる。メモリ１９０は、１以上のプロセッサ１１０、通信モジュール１２０、検出モジュール１４０、光学モジュール１３０、入出力インターフェース１７０、オーディオモジュール１８０、電力管理モジュール１５０の駆動に対応する入力／出力される信号またはデータを保存することができる。
【００７３】
多様な実施形態による電子機器の前述の構成要素それぞれは、１またはそれ以上の部品（component）から構成され、当該構成要素の名称は、電子機器の種類によっても異なる。多様な実施形態による電子機器は、前述の構成要素のうち少なくとも一つを含んで構成され、一部構成要素が省略されるか、あるいはさらなる他の構成要素をさらに含んでもよい。また、多様な実施形態による電子機器の構成要素のうち一部が結合され、１つの個体（entity）に構成されることにより、結合される以前の当該構成要素の機能を同一に遂行することができる。
【００７４】
以下では、電子機器１００に含まれる光学モジュール１３０について詳細に説明する。
【００７５】
一実施形態により、光学モジュール１３０は、光源、前記光源からの光の経路を変更させ、オブジェクトに伝達する光経路変更エレメント、前記オブジェクトから反射された光を受信し、前記反射光に基づいて、前記光学デバイスから前記オブジェクトまでの距離を検出する距離検出センサ、及び前記光経路変更エレメントを回転させる回転エレメントを含んでもよい。
【００７６】
一実施形態により、該光経路変更エレメントでは、ミラー、レンズ、プリズムなどが利用される。
【００７７】
該距離検出センサとしては、例えば、ＴＯＦ（time of flight）距離センサが利用されるが、それに限定されるものではなく、距離を検出することができるセンサであるならば、いずれものでもよい。
【００７８】
一実施形態により、前記回転エレメントは、前記光経路エレメントを横方向に回転させる回転支持台、または前記光経路エレメントを前記横方向とは異なる方向に回転させるチルト支持台のうち少なくとも一つを含んでもよい。
【００７９】
そのような光学モジュール１３０は、それ自体で距離検出に利用される光学デバイスともされる。小型の距離検出センサに加え、光経路を変更させるエレメントと、該光経路変更エレメントを回転させる回転エレメントとを具備することにより、光学モジュールの体積を増大させずに、効果的にオブジェクトまでの距離を検出することが可能になる。オブジェクトまでの距離を検出する光学モジュールあるいは光学デバイスを小型化することにより、一実施形態による光学モジュールまたは光学デバイスは、多様な分野で便利であって効果的に活用される。
【００８０】
例えば、そのような光学デバイスは、携帯用プロジェクションデバイスに搭載されて共に利用される。
【００８１】
例えば、そのような光学デバイスは、ＴＶ（television）ディスプレイの一部に付着され、ＴＶに表示される画面と係わるユーザのタッチまたはジェスチャを検出することができる。
【００８２】
例えば、そのような光学デバイスは、小規模のドローンに搭載され、ドローンと共にも利用される。
【００８３】
例えば、そのような光学デバイスは、仮想現実を具現しためがねなどに搭載され、共に利用される。
【００８４】
図７は、一実施形態により、電子機器１００に含まれる光学モジュール１３０の細部的なブロック図である。
【００８５】
図７を参照すれば、光学モジュール１３０は、光伝送部１３１、距離測定センサ１３２、ミラー１３３、回転支持台１３４、ギア１３５、モータ１３６を含んでもよい。
【００８６】
光伝送部１３１は、赤外線光を伝送することができる。光伝送部１３１は、ＬＥＤモジュールを利用することができる。
【００８７】
距離測定センサ１３２は、光受信部を含み、ミラー１３３を介して反射された光を受信し、受信された光の特性を分析し、電子機器１００からオブジェクト１０までの距離を測定することができる。距離測定センサ１３２は、ＴＯＦ距離センサを含んでもよい。ＴＯＦ技術は、信号がオブジェクトに放出され、オブジェクトによって反射された、後センサに戻ってくる時間差に基づき、センサとオブジェクトとの距離を測定する方法である。信号を伝送するキャリアとしては、多様なタイプが利用されが、最も一般的な形態は、音と光とである。
【００８８】
ミラー１３３は、光伝送部１３１から受信された光を反射させ、オブジェクト１０に伝達することができる。このとき、光はミラー１３３の角度と、反射角とにより、特定位置に伝達される。そのように伝達された光は、特定の物体、すなわち、オブジェクト１０に反射され、ミラー１３３に戻ってきたり消失したりする。図７においては、ミラーとして表示されているが、本実施形態を具現するために、必ずしもミラーに限定されるものではなく、選択的には、受信された光の経路を変更させ、オブジェクト１０に伝達することができる他のエレメントが活用されもする。例えば、他のエレメントとしては、プリズムまたはレンズが使用される。
【００８９】
ミラー１３３は、モータ１３６、ギア１３５及び回転支持台１３４により、約３６０°回転し、周辺の物体を探知し、どれほどの距離に位置しているかということに係わる情報を得る。ミラー１３３は、回転支持台１３４が回転する角度により、多様に回転することができる。
【００９０】
ミラー１３３としては、ＣＶＤ（chemical vapor deposition）工程などを介して、光を良好に反射させることができる物質が利用される。該ミラーに利用される物質は、例えば、金（Ａｕ）または銀（Ａｇ）にもなる。
【００９１】
回転支持台１３４は、ミラー１３３に連結され、ミラーを一定角度ほど回転させることができる。例えば、光をスキャンする範囲が約６０°であり、回転支持台１３４が１回に約１°ずつ動くとするとき、回転支持台１３４は、約６０回動きことにより、約６０°ほどの範囲をスキャンすることができる。
【００９２】
一実施形態により、ミラー１３３、回転支持台１３４、ギア１３５、モータ１３６を、ＭＥＭＳ（micro electro mechanical system）技術でマイクロに作り、製品の体積を顕著に低減させることができる。
【００９３】
一実施形態により、モータ１３６を、piezo-electric効果を利用した、小型でありながら、低電力、低騷音であるモータを利用して具現することができる。
【００９４】
一実施形態により、ギア１３５の場合、モータ１３６により、上下左右の位置が変更される。
【００９５】
図８Ａは、一実施形態により、光伝送部と距離測定センサとを共に配する光学モジュールの一例を示す。
【００９６】
図８Ａを参照すれば、光伝送部１３１と、光を受信する距離測定センサ１３２とが一体に構成されている。そのように、光伝送部１３１と距離測定センサ１３２とを一体に構成する場合、光伝送部１３１から伝送される光は、ミラー１３３に反射され、オブジェクトに伝達される。ところで、光伝送部１３１から伝送される光は、ミラー１３３に反射され、オブジェクトに伝達されるだけではなく、一部の光は消失するか、あるいは一部の光は、ミラー１３３に反射され、距離測定センサ１３２に吸収される。従って、距離測定センサ１３２で受信する光は、オブジェクトから反射される光だけではなく、光伝送部１３１からの光が、ミラー１３３に反射される吸収される光を含んでもよい。そのように吸収される光は、ノイズと作用するので、距離測定センサ１３２が、オブジェクトから反射される光を基に、距離を測定するとき、正確な測定を妨害する要素として作用する。
【００９７】
図８Ｂは、一実施形態により、光伝送部をミラーに配する光学モジュールの一例を示す。
【００９８】
図８Ｂを参照すれば、光伝送部１３１は、ミラー１３３に配列され、一体に構成されている。そのように、光伝送部１３１をミラー１３３に配置すれば、光伝送部１３１からの光は、ミラー１３３に反射される過程が減り、すぐにオブジェクトに伝達されるので、光伝送部１３１からの光が消失するか、あるいは距離測定センサ１３２に吸収されることを防ぐことができる。従って、距離測定センサ１３２は、オブジェクトから反射される光のみを受信するので、距離測定に正確度を期することができる。
【００９９】
光は、散乱されて屈折される性質があり、いかに光を良好に反射させるミラーであっても、その効率が１００％にならない。従って、ミラー１３３に光伝送部１３１を配すれば、光の散乱または歪曲を減らすことができる。
【０１００】
一実施形態により、該ミラーは、回転支持台の回転によって回転するだけではなく、ミラーは、またチルトされる。
【０１０１】
図８Ｃは、一実施形態により、ミラーがチルトする光学モジュールの一例を示す。
【０１０２】
図８Ｃを参照すれば、ミラー１３３は、横方向回転を行う回転支持台１３４だけではなく、ミラー背面に、縦方向回転を行うチルト支持台１３７をさらに具備している。ミラー１３３は、回転支持台１３４によって回転することにより、オブジェクトを左右方向にスキャンすることができ、またチルト支持台１３７によって回転することにより、オブジェクトを上下方向にスキャンすることができる。従って、電子機器１００は、ミラー１３３を左右方向にスキャンすることにより、オブジェクトまでの距離情報に係わる二次元データを検出することができ、ミラー１３３を、左右方向及び上下方向にスキャンすることにより、オブジェクトまでの距離情報に係わる三次元データを検出することができる。本発明の一実施形態によれば、前記チルト支持台１３７を、ミラー背面に斜めに付け、ミラー１３３を斜め方向にスキャンし、三次元データを検出することもできる。本発明の一実施形態によれば、斜前方向とは、縦方向と横方向との間の任意の方向を意味する。
【０１０３】
一例により、ミラーの縦方向回転のために、一般モータを使用し、ギア操作で上下を調節するか、あるいはピエゾ（piezo）方式で電気を加えれば、形態が変化する物質を使用し、チルトを細密に調節することもできる。
【０１０４】
また、縦方向回転軸に対して線形（linear）モータを使用する場合、上下方向にミラーの高さ調節が行うことができ、多様な三次元データ測定が可能になる。そのように、チルトまたは線形モータを使用した三次元データスキャニングを介して、フォースタッチ（force touch）動作またはホバリング（hovering）動作の検出が可能になる。
【０１０５】
図８Ｄは、一実施形態により、ミラーがチルトする光学モジュールでの動作原理について説明するための図面である。
【０１０６】
図８Ｄを参照すれば、ミラー１３３は、チルト支持台１３７の回転により、縦方向にチルトされる。ミラー１３３が、第１チルト角にチルトされたとき、光伝送部１３１から伝送された光は、ミラー１３３によって反射され、オブジェクトの位置８１０を照射する。従って、オブジェクトの位置８１０から反射され、距離測定センサ１３２が受信する光は、オブジェクトの位置８１０までの距離情報を示すことができる。ミラー１３３が、第２チルト角にチルトされたとき、光伝送部１３１から伝送される光は、ミラー１３３によって反射され、オブジェクトの位置８２０を照射する。従って、オブジェクトの位置８２０から反射され、距離測定センサ１３２が受信する光は、オブジェクトの位置８２０までの距離情報を示すことができる。
【０１０７】
そのように、電子機器１００のミラー１３３の横方向回転と共に、ミラーを縦方向、すなわち、上下方向に角度を変更しながらスキャンを行えば、オブジェクトの距離情報を、さらに広い画角で検出することができる。例えば、ユーザの指タッチを検出するとき、指の上下方向距離情報も検出することができる。それを介して、タッチ動作だけではなく、ホバリング動作やフォースタッチ動作も検出することができる。
【０１０８】
図９は、一実施形態により、ＬＥＤモジュールを、ミラーの４方向に付着させた例を示す。
【０１０９】
図９を参照すれば、ミラー１３３には、４方向に、それぞれ光伝送部１３１が配列されている。
【０１１０】
一実施形態により、図９に図示された構造は、ミラー１３３に、光伝送部１３１を直接付着させる方式、または半導体工程技術を使用することができる。
【０１１１】
半導体工程技術を使用する方法は、半導体などを薄膜状に作製し、その上にＬＥＤを直接作る形態にもなる。電源の供給は、半導体薄膜を介して伝達され、支持台を介して電源を供給される。
【０１１２】
一実施形態により、ミラー１３３の４方向にＬＥＤモジュールを付着させ、伝導性フィルム、物質工程またはＣＶＤ（chemical vapor deposition）工程などを介して、ＬＥＤで電源を供給することができる電気回路を構成することができる。電源の供給は、ミラーを回転させる回転支持台１３４を介して受けることができる。
【０１１３】
図１０は、一実施形態により、電子機器１００での動作方法を示すフローチャートである。
【０１１４】
図１０を参照すれば、動作１０１０において、電子機器１００の光学モジュール１３０は、オブジェクトに光を照射し、オブジェクトから反射された光を利用し、電子機器からオブジェクトまでの距離を検出することができる。
【０１１５】
図１１Ａないし図１１Ｅを参照し、電子機器がオブジェクトまでの距離を測定する原理について説明する。
【０１１６】
図１１Ａは、電子機器１００のミラー１３３が、電子機器１００の側面を基準に、約３０°離れた位置からスキャンを始めることを示す。
【０１１７】
図１１Ａを参照すれば、ミラー１３３に配置されるか、あるいはミラー１３３と別途に構成された光伝送部から光を照射し、ミラー１３３は、既定角度ほど回転しながら、光伝送部から照射された光を反射させ、オブジェクトに伝達することができる。図１１Ａを参照すれば、約３０°位置においては、光を反射させるオブジェクトがないので、電子機器１００は、受信される光から、オブジェクト検出に利用される情報や、オブジェクトの距離情報を検出するのに利用される有効な情報を得ることができない。図１１Ｂは、電子機器１００のミラー１３３が約９０°進行した場合を示す。
【０１１８】
図１１Ｂを参照すれば、ミラーは、約３０°から始め、指定された角度ほど回転しながら光を照射し、反射された光を検出しながら、約９０°ほど回転が進んだところを示す。約９０°になるまで、電子機器１００のスキャン範囲には、何らのオブジェクトが存在しないので、電子機器１００は、有効な情報を得ることができない。
【０１１９】
図１１Ｃは、電子機器１００のミラー１３３が約１００°進行した場合を示す。
【０１２０】
図１１Ｃを参照すれば、ミラーは、約１００°ほど回転が進められており、電子機器１００は、オブジェクト１０の位置１１及び１２で反射された光を受信し、位置１１及び１２から反射された光を利用し、オブジェクト１０の位置１１及び１２までの距離ｄ１１及びｄ１２を測定することができる。
【０１２１】
図１１Ｄは、電子機器１００のミラー１３３が約１２０°進行した場合を示す。
【０１２２】
図１１Ｄを参照すれば、ミラーは、約１２０°ほど回転が進められており、電子機器１００は、オブジェクト１０の位置１３及び１４で反射された光を受信し、位置１３及び１４から反射された光を利用し、オブジェクト１０の位置１３及び１４までの距離ｄ１３及びｄ１４を測定することができる。
【０１２３】
図１１Ｅは、電子機器１００のミラー１３３が約１５０°進行した場合を示す。
【０１２４】
図１１Ｅを参照すれば、ミラーは、約１５０°ほど回転が進められており、電子機器１００は、オブジェクト１０の位置１５，１６，１７で反射された光を受信し、位置１５，１６，１７から反射された光を利用し、オブジェクト１０の位置１５，１６，１７までの距離ｄ１５，ｄ１６及びｄ１７を測定することができる。
【０１２５】
そのように、電子機器１００は、既定角度ほどミラーを回転させ、回転されるミラーを介して光を伝達し、オブジェクトからミラーを介して反射された光の強度を検出することにより、電子機器１００からオブジェクトまでの距離を検出することができる。
【０１２６】
ミラー１３３を１回に回転させる角度は、多様に決定される。例えば、オブジェクトの細部的な動作を検出するために、ミラー１３３が１回に回転する角度をさらに小さくすることができる。
【０１２７】
また、ミラー１３３がスキャンする範囲は、０°から約３６０°まで多様に決定される。例えば、ユーザが片方の手を利用してジェスチャを行う場合には、ミラー１３３がスキャンする範囲を比較的狭く設定することができ、ユーザが両手を利用してジェスチャを行う場合には、ミラー１３３がスキャンする範囲を比較的広く設定することができるであろう。
【０１２８】
動作１０２０において、電子機器１００のプロセッサ１１０は、検出されたオブジェクトまでの距離情報に基づいて、オブジェクトのタッチ情報及び／またはジェスチャ情報を決定することができる。
【０１２９】
一実施形態により、電子機器１００は、検出されたオブジェクトまでの距離情報に基づいて、１以上のインタラクションポイントを決定することができる。
【０１３０】
一実施形態により、電子機器１００は、オブジェクトまでの距離情報に基づいて、インタラクショングループを決定するか、決定されたインタラクショングループのインタラクションタイプを決定するか、あるいは距離情報に基づいて決定されたインタラクションタイプを決定することができる。また、電子機器１００は、決定されたインタラクショングループまたは決定されたインタラクションタイプのうち少なくとも一つに基づいて、１以上のインタラクションポイントを決定することができる。
【０１３１】
一実施形態により、電子機器１００は、１以上のインタラクションポイントが動く方向及び速度のうち少なくとも一つに基づいて、前記１以上のインタラクションポイントと関連したメインインタラクションポイントを決定することができる。
【０１３２】
動作１０３０において、電子機器１００は、決定されたタッチ情報及び／またはジェスチャ情報を利用し、電子機器１００を制御するか、あるいは決定されたタッチ情報及び／またはジェスチャ情報を外部機器に伝送することができる。該外部機器は、コンピュータ、スマートフォン、ＴＶなどを含んでもよい。
【０１３３】
図１０においては、電子機器１００から、タッチ情報及び／またはジェスチャ情報を決定するように図示されたが、電子機器１００は、オブジェクトまでの距離情報を外部機器に伝達し、外部機器において、タッチ情報及び／またはジェスチャ情報を決定することもできる。
【０１３４】
図１２は、一実施形態により、電子機器１００が、オブジェクトの距離情報に基づいて、オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する方法の過程を示すフローチャートである。
【０１３５】
図１２を参照すれば、動作１２１０において、電子機器１００は、インタラクションポイントを抽出することができる。
【０１３６】
該インタラクションポイントは、電子機器１００がジェスチャを分析するときに利用される有効な情報である。例えば、オブジェクトがユーザの手である場合、電子機器１００は、図１１Ｅに図示されているように、ある動作をしている手のアウトラインに係わる情報（距離情報に対応）を得ることができる。ところで、電子機器１００が、ユーザの手動作が、いかなるジェスチャにマッピングされるか、あるいはいかなるタッチ動作にマッピングされるかということを判断するためには、光学モジュールから得た情報において、ジェスチャやタッチ動作をマッピングするのに利用される有効な情報のみを抽出する必要がある。電子機器１００は、そのような有効な情報として、インタラクションポイントを抽出することができる。
【０１３７】
動作１２２０において、電子機器１００は、ジェスチャを分析することができる。
【０１３８】
動作１２１０において、電子機器１００は、分析されたインタラクションポイントを利用し、既保存のジェスチャパターンと比較し、いかなる種類のジェスチャであるかということを判断することができる。該ジェスチャの例としては、タッチ（touch）、シングルタップ（single tap）、ダブルタップ（double tap）、ドラッグ（drag）、ピンチ（pinch）、ズーム（zoom）、仮想キーボード入力などにもなる。既保存ジェスチャパターンと一致しないジェスチャは、無視されるか、あるいは追加される。一例により、ユーザは、ユーザが定義するジェスチャタイプを直接電子機器１００に入力することもできる。
【０１３９】
図１３は、一実施形態により、インタラクションポイントを抽出する過程を示すフローチャートである。
【０１４０】
図１３を参照すれば、動作１３１０において、電子機器１００は、インタラクショングループを決定することができる。
【０１４１】
電子機器１００がインタラクショングループを決定する方法について、図１４及び図１５を参照して説明する。
【０１４２】
図１４の１４１０は、電子機器１００と、電子機器１００前面で動作をするオブジェクトであるユーザの手１０とを図示する。電子機器１００は、オブジェクト１０の動作がなされる範囲内において、スキャンを行うことができる。
【０１４３】
図１４の１４２０は、１４１０の状態において、電子機器１００がオブジェクト１０をスキャンすることによって得られた距離情報に対応するデータを示す。
【０１４４】
図１５Ａは、図１４の１４２０に図示されたデータ、すなわち、電子機器１００で測定した二次元データを、ＸＹ座標によって再構成した図面である。
【０１４５】
図１５Ａを参照すれば、横軸は、ミラーの回転角を示し、縦軸は、各回転角で光を照射し、オブジェクトから反射された光に基づいて検出されたオブジェクトの距離値を示す。オブジェクトが電子機器から遠くにある場合、オブジェクトからの距離値は、大きく、オブジェクトが電子機器から近くにある場合、オブジェクトからの距離値は、小さい。
【０１４６】
説明の便宜のために、オブジェクトが検出されていない領域での距離値は、０にし、オブジェクトが検出された領域での距離値は、その距離によって反比例して対応する値を有すると仮定する。オブジェクトが検出されていない領域は、オブジェクトを検出することができないほど遠く離れている領域、またはオブジェクトが過度に近くにあり、検出し難い領域を含んでもよい。
【０１４７】
図１５Ｂは、図１４の１４２０に図示されたデータ、すなわち、電子機器１００で測定された三次元データをＸＹＺ座標によって再構成した図面である。
【０１４８】
図１５Ｂを参照すれば、ｘ軸は、ミラーの回転角を示し、ｙ軸は、各回転角で光を照射し、オブジェクトから反射された光に基づいて検出されたオブジェクトの距離値を示し、ｚ軸は、ミラーが縦方向に動くチルト値を示す。
【０１４９】
チルト支持台は、固定されており、回転支持台だけ回転する場合、電子機器１００が得る二次元データは、図１５Ａに図示されているように、固定されたチルト値での各回転角ごとのオブジェクトからの距離値の大きさを示すが、チルト支持台と回転支持台とがいずれも回転する場合、すなわち、ミラーがチルトしながらオブジェクトをスキャンする場合、電子機器１００が得る三次元データは、図１５Ｂに図示されているように、各チルト値での各回転角ごとのオブジェクトからの距離値の大きさを示すことができる。該チルト支持台は、指定された範囲において、連続的に回転されるが、該電子機器は、一定チルト値ごとに距離値を抽出することができる。従って、ミラーが、チルトなしに、１つのチルト値でのみスキャンする場合と異なり、ミラーがチルトしながらオブジェクトをスキャンする場合には、電子機器からオブジェクトまでの距離に係わる情報を三次元的に得ることができるので、電子機器１００は、オブジェクトまでの距離について、さらに立体的な結果を得ることができる。
【０１５０】
次に、図１５Ａに図示されたデータを基に、粗い（coarse）分析を行うことができる。それは、図１５Ｂに図示されたデータを基に、粗い分析を行うことができるということは、言うまでもない。単純には、図１５Ａに図示されたデータで、オブジェクトからの距離値が０であるデータと、０ではないデータとに分類する。そのように分類を行えば、図１５Ｃに図示されているように、オブジェクトが検出される部分と、オブジェクトが検出されない部分とにグルーピングされる。
【０１５１】
一実施形態により、距離値が０ではない部分、すなわち、オブジェクトが検出される部分を、インタラクショングループと決定することができる。
【０１５２】
動作１３２０において、電子機器１００は、インタラクショングループのインタラクションタイプを決定することができる。
【０１５３】
一実施形態により、電子機器１００は、二次元データの連続された０ではない値が持続する長さにより、インタラクションのタイプを決定することができる。該インタラクショングループのタイプは、例えば、シングルタッチであるか、ペンであるか、ユーザの手であるか、仮想キーボードを打つ動作であるかということなどを含んでもよい。また、ユーザの手である場合、それが男性の手であるか、女性の手であるか、子供の手であるかということをさらに示すことができる。
【０１５４】
オブジェクトがユーザの手であるか、ペンであるか、シングルタッチであるか、あるいは仮想キーボードを打つ動作であるかということにより、二次元データの連続された０ではない値が持続する長さが異なる。また、該オブジェクトがユーザの手である場合にも、それが男性の手であるか、女性の手であるか、あるいは子供の手であるかということにより、連続された０ではない値が持続する長さは、異なりもする。例えば、電子機器１００は、二次元データの連続された０ではない値が持続する長さが約５ｃｍ以上約１５ｃｍ以下である場合、そのデータに対応するオブジェクトは、ユーザの手であるとして、インタラクションタイプを決定することができる。例えば、電子機器１００は、二次元データの連続された０ではない値が持続する距離が約５ｃｍ以下である場合、そのデータに対応するオブジェクトは、ペン、またはユーザの指であるとして、インタラクションタイプを決定することができる。
【０１５５】
図１５Ｃを参照すれば、電子機器１００は、インタラクショングループ１に対応する二次元データの連続された０ではない値が持続する長さが一定である範囲に入る場合、そのデータに対応するオブジェクトを、ユーザの手であると決定することができる。インタラクショングループ２についても、同様である。
【０１５６】
従って、そのようなcoarse分析を介し、電子機器１００は、オブジェクトとして、両手が検出されたと判断し、インタラクショングループ１のインタラクションタイプは、ユーザの左手であり、インタラクショングループ２のインタラクションタイプは、ユーザの右手であると判断することができる。
【０１５７】
一例により、電子機器１００は、二次元データの連続された０ではない値が持続する距離が約５ｃｍ以下である場合、または約０．５ｃｍ以上約２ｃｍ以下である場合、そのデータに対応するオブジェクトは、ペンまたはユーザの指（シングルタッチに対応する）であるとインタラクションタイプを決定することができる。ところで、オブジェクトがペンや、ユーザの指である場合には、そのサイズが類似しているので、ただ二次元データの連続された０ではない値が持続する距離が、情報だけでは、そのオブジェクトがペンであるか指であるかということが判断し難い。サイズが類似したオブジェクトの場合、さらに具体的にオブジェクトのタイプを分類するために、電子機器１００は、三次元データを利用することができる。
【０１５８】
図１６を参照すれば、ユーザがペンを手にして動作する場合のオブジェクト１６１０と、ユーザの指で動作を行う場合のオブジェクト１６２０とが図示されている。電子機器１００が、ミラーをチルトなしに横方向だけに回転しながら、オブジェクト１６１０をスキャンして得る二次元距離データは、１６１１を反映させ、従って、１６１１においてオブジェクトが検出される部分は、１６１２である。電子機器１００が、同様に、ミラーをチルトなしに横方向だけに回転しながら、オブジェクト１６２０をスキャンして得る二次元距離データは、１６２１を反映させ、１６２１においてオブジェクトが検出される部分は、１６２２である。電子機器１００は、オブジェクト１６１０とオブジェクト１６２０とを二次元データを基に分析をするとき、有する情報は、１６１２、１６２２に限定されるので、電子機器１００は、オブジェクトが、ペンであるか、あるいはユーザの指であるか判別し難い。
【０１５９】
しかし、電子機器１００が、ミラーをチルトしながら、縦方向に回転しながらオブジェクト１６１０をスキャンして得る三次元距離データは、１６１３を反映させることができる。また、電子機器１００が、同様に、ミラーをチルトしながら、縦方向に回転しながら、オブジェクト１６２０をスキャンして得る三次元距離データは、１６２３を反映させることができる。
【０１６０】
そのように、電子機器１００が三次元データを得ることができる場合、電子機器１００は、ペンを手にしているオブジェクト１６１０の場合には、指によるシングルタッチと異なるように、ペンを手にしている指のデータが含まれており、指上に真っ直ぐに伸びたペンの様子を分析することができる。真っ直ぐに伸びたペンの様子の分析は、既保存フィルタを利用してエッジ（edge）を抽出し、細線化作業を介して、ペンの形態を推定することができる。そのような推定を介して、電子機器１００は、ペンの座標情報を抽出することができる。
【０１６１】
再び、図１３に戻り、動作１３２０において、電子機器１００は、インタラクションポイントを獲得することができる。
【０１６２】
電子機器１００は、インタラクショングループを決定し、インタラクショングループのタイプを決定し、次に、各インタラクショングループのインタラクションポイントを決定することができる。
【０１６３】
図１５Ｄを参照すれば、電子機器１００は、各インタラクショングループに対応するデータをさらに細部的な区間に分けて分析することができる。例えば、インタラクショングループ１に対応するデータの大きさを分析し、傾きが増大（＋）していて、傾きが低減（−）する部分を、１つのサブグループに決定することができる。そのような分析によれば、電子機器１００は、インタラクショングループ１に対して、サブグループ１，２，３，４，５を決定することができ、インタラクショングループ２に対して、サブグループ６，７，８，９，１０を決定することができる。該サブグループは、インタラクショングループにおいて、１以上のインタラクションポイントを抽出するための詳細単位であると言える。
【０１６４】
インタラクショングループに対して、各サブグループを決定する多様な方法がある。
【０１６５】
また、電子機器１００は、インタラクショングループで決定された各サブグループごとに、１以上のインタラクションポイントを決定することができる。
【０１６６】
電子機器１００は、例えば、インタラクショングループの各サブグループにおいて、最大サイズを有した点、傾きが０に近い点、またはそれ以外サブグループのメインポイントと見ることができる点を多様な方法によって決定することにより、インタラクションポイントで決定することができる。図１５Ｅには、各サブグループごとに、１つのインタラクションポイントＩＰ１ないしＩＰ１０が決定されたところが表示されている。
【０１６７】
一実施形態により、電子機器１００は、抽出された１以上のインタラクションポイントを基に、メインインタラクションポイントを抽出することができる。
【０１６８】
実施形態による電子機器１００は、既存スマートフォンにおいて、ジェスチャを認識する狭い範囲より、相対的に広い範囲のタッチやジェスチャを認識することができる。従って、ユーザのタッチ動作や、ジェスチャ動作は、多様な形態を有することができる。例えば、ピンチズームイン／アウト（pinch zoom in/out）動作が大きくなり、また、何本かの指をタッチした状態で、ジェスチャを行うこともできる。従って、動作が大きくて多様なさまざまなジェスチャやタッチ動作をさらに正確であって効果的に判断するために、メインインタラクションポイントを追加して抽出することができる。
【０１６９】
図１７は、一実施形態により、メインインタラクションポイントを抽出する方法について説明するための参照図である。
【０１７０】
図１７を参照すれば、電子機器１００は、ユーザの左手であるオブジェクトに対して、５個のインタラクションポイント、及びユーザの右手であるオブジェクトに対して、５個のインタラクションポイントを抽出することができる。
【０１７１】
電子機器１００は、また、ミラーが回転されるたびに測定される以前と現在とのデータを比較することにより、インタラクションポイントが動く方向または速度を推定することができる。例えば、ユーザは、両手の全ての指を平面にタッチした状態で、ピンチズームインやピンチズームアウトを行うために、各手の５本指いずれも含む手を動かすことができる。そのようなジェスチャの場合には、各指のタッチ動作の動きを判断するよりは、全体的な手のジェスチャ動作の動きを判断することが、オブジェクトの動きをさらに正確に判断することができる。従って、そのような場合には、各インタラクションポイントではなく、各インタラクションポイントを代表することができるメインインタラクションポイントを抽出することが望ましい。
【０１７２】
図１７を参照すれば、電子機器１００は、インタラクショングループに対応するデータまたはインタラクションポイントを基に、手の様子を三角測定し、電子機器１００に近い頂点のポイント１７１０，１７２０と、測定された手または指の方向または速度とを組み合わせ、１以上のメインインタラクションポイントを決定することができる。
【０１７３】
図１８は、一実施形態により、インタラクションタイプが仮想キーボードである場合の動作について説明するための参照図である。
【０１７４】
インタラクションタイプが、仮想キーボード１８００動作であるか否かということを判断すること、は多様な方法によっても決定される。
【０１７５】
一実施形態により、電子機器１００は、連結された外部機器から、仮想キーボードが実行されることを示す信号を受信することによって判断することができる。例えば、電子機器１００と機能的に連結された応用プログラムにおいて、キーボード入力する部分、例えば、EditTextウィゼットをユーザがクリックしたとき、当該応用プログラムから送ったキーボード入力動作信号を受信し、仮想キーボードの作動を判断することができる。
【０１７６】
または、一実施形態により、ユーザの指パターン、すなわち、指の様子で、１０本の指が検出されることに基づいて、仮想キーボード動作を判断することもできる。
【０１７７】
または、一実施形態により、ユーザが、仮想キーボード動作モードが始まることを手動で設定することもできる。
【０１７８】
仮想キーボード動作モードにおいては、密集された狭い範囲において、おおよそ１０個以上のインタラクションポイントを、迅速に抽出及び処理しなければならないので、精密な距離情報が必要である。
【０１７９】
仮想キーボード動作モードにおいては、入力動作を精密にスキャンするために、モータが回転する範囲を狭くし、同一時間に特定位置をスキャンする周期が短くなるように動作することができる。例えば、スキャン範囲を約、１８０°から約６０°に変更することができるであろう。該スキャン範囲を縮小する場合、約１８０°をスキャンするうちの資源が、約６０°スキャンするのに使用されるために、距離情報を同一時間の間、何回も測定することにより、精密なインタラクションポイント抽出が可能にもなる。または、光源の明るさ調節を介し、精密度を高めることもできる。
【０１８０】
図１９は、一実施形態により、電子機器１００の動作方法を示すフローチャートである。
【０１８１】
図１９を参照すれば、動作１９１０において、電子機器１００は、電子機器制御因子を調整することができる。
【０１８２】
該電子機器制御因子は、主に、電子機器１００に含まれた光学モジュールの制御因子を含んでもよい。
【０１８３】
一実施形態により、該電子機器は、環境情報に基づいて、光学モジュールを制御するための制御因子を調整することができる。
【０１８４】
一実施形態により、該電子機器は、ユーザ入力、カメラのようなイメージ獲得センサ、周辺環境検出センサ、前記光学モジュールで検出された情報のうち少なくとも一つから、前記環境情報を獲得することができる。
【０１８５】
例えば、該環境情報は、前記オブジェクトの動作範囲と関連した領域の広さを含んでもよい。例えば、オブジェクトの動作範囲と関連した領域が広いか狭いかということにより、光源の強度を調整するか、あるいはミラーの回転範囲を異なるように調整することができる。
【０１８６】
例えば、該環境情報は、電子機器と共に利用されるアプリケーションの種類、または前記オブジェクトの動作と関連したアプリケーションの種類を含んでもよい。該アプリケーションは、ユーザ動作の一助とするためのファンクション、タスクまたはアクティビティを遂行するために設けられたコンピュータプログラムを言う。例えば、該電子機器は、アプリケーションの種類によって光源の強度を調整するか、あるいはミラーの回転範囲を異なるように調整することができる。例えば、精巧なジェスチャの認識が必要な仮想キーボードに係わるオブジェクトの動作を検出するために、該電子機器は、光源の強度を強くするか、あるいはミラーの回転速度を速くし、何回もスキャンすることができるように調整することができる。
【０１８７】
例えば、該環境情報は、前記電子機器の周辺環境と関連した情報を含んでもよい。該電子機器の周辺環境と関連した情報は、周囲の光の明るさを含んでもよい。
【０１８８】
該電子機器制御因子の調整は、例えば、光源の強度調整を含んでもよい。該光源の強度は、検出しようとするオブジェクトの距離、周辺環境の光の強度、またはオブジェクトの特性によって調整され、自動的または手動でも調整される。例えば、電子機器１００は、オブジェクトが遠く離れているので、光源の強度を強く調整することができる。例えば、電子機器１００は、周りの光の強度が強ければ、光源の強度を強く調整することができる。例えば、電子機器１００は、オブジェクトが暗い色相を帯びれば、光源の強度を強く調整することができる。例えば、電子機器１００は、オブジェクトであるユーザの皮膚の色相が暗い色相であるならば、光源の強度を強く調整することができる。それを介して、オブジェクトから反射された光の検出が容易になる。
【０１８９】
電子機器制御因子の調整は、例えば、光学モジュールに含まれたミラーの回転速度調整を含んでもよい。ミラーの回転速度は、距離検出センサの応答速度、ミラーの回転、ミラーを回転させるモータの種類及び速度によって異なる。例えば、微細なジェスチャの検出のために、電子機器１００は、ミラーの回転速度を速く設定し、何回かスキャンすることにより、同一時間以内にさらに多くのデータを獲得することができる。
【０１９０】
該電子機器制御因子の調整は、例えば、光学モジュールに含まれたミラーの回転範囲調整を含んでもよい。基本的には、ミラーは、回転支持台により、約３６０°回転することができる。しかし、オブジェクトをスキャンするために、常時３６０°回転する必要性があるわけではないので、スキャンするオブジェクトにより、またはスキャンするオブジェクトのジェスチャにより、ミラーの回転範囲は、多様に調整される。例えば、ユーザが、片手だけでジェスチャする場合には、ミラーがスキャンする範囲は、狭いので、電子機器１００は、回転範囲を狭く設定することができ、ユーザが両手でジェスチャする場合には、ミラーがスキャンする範囲が広くなるので、電子機器１００は、回転範囲を広く設定することができる。
【０１９１】
該電子機器制御因子の調整は、例えば、光学モジュールに含まれたミラーのチルト範囲調整を含んでもよい。ミラーをチルトさせる動作は、図８Ｃ及び図８Ｄを参照して説明した通りである。電子機器１００は、ミラーのチルトなしに、ミラーの回転のみでオブジェクトの距離情報に係わる二次元データを得ることができ、ミラーをチルトさせながら回転させることにより、オブジェクトの距離情報に係わる三次元データを得ることができる。
【０１９２】
一実施形態により、電子機器１００は、電子機器制御因子を自動的または手動で調整することができる。自動的に調整することは、例えば、電子機器１００が特定のアプリケーションによるジェスチャを検出するとき、電子機器制御因子の調整が必要な場合、電子機器１００は、電子機器制御因子を自動的に調整することができる。例えば、電子機器１００で検出するジェスチャが、仮想キーボードでのユーザの指検出である場合には、ユーザが両手をいずれも検出しなければならないので、電子機器１００は、ユーザの両手をいずれもスキャンすることができる範囲にミラーの回転範囲を設定することができるであろう。
【０１９３】
動作１９２０において、電子機器１００は、電子機器制御因子が調整された状態で光を照射し、オブジェクトから反射された光を検出し、電子機器１００からオブジェクトまでの距離を測定することができる。
【０１９４】
動作１９３０において、電子機器は、オブジェクトから反射された光を検出した結果を基に、電子機器制御因子をさらに調整することができる。
【０１９５】
例えば、動作１９１０において、電子機器制御因子を調整したとしても、追ってある環境変化により、電子機器制御因子をさらに調整する必要がありうる。または、オブジェクトに光を照射し、オブジェクトから反射された光を検出してから、検出された距離値情報を基に、電子機器制御因子をさらに精巧に調整する必要がありうる。
【０１９６】
例えば、初めには、ユーザが両手を利用してジェスチャすると判断され、ミラーの回転範囲を約１８０°に設定したが、電子機器１００が一定時間の間、ユーザのジェスチャをモニタリングした結果、片手を利用してジェスチャをすると判断された場合、電子機器１００は、それ以上約１８０°回転範囲を維持する必要がなくなる。そのような場合、電子機器１００は、ミラーの回転範囲を約１８０°から約６０°に調整することができるであろう。
【０１９７】
動作１９１０及び動作１９３０での電子機器制御因子調整は、いずれも遂行されるか、あるいは選択的に一つだけ遂行される。
【０１９８】
動作１９４０において、該電子機器は、オブジェクトから反射された光を基に、インタラクションポイントを分析することができる。
【０１９９】
動作１９５０において、該電子機器は、インタラクションポイントを基に、ジェスチャを分析することができる。ここで、電子機器１００が直接ジェスチャ分析を行わず、インタラクションポイントに係わる情報を外部機器に伝達し、外部機器がジェスチャ分析を行うようにすることもできるということは言うまでもない。
【０２００】
動作１９６０において、該電子機器は、ジェスチャ分析結果を外部機器に伝送することができる。
【０２０１】
一実施形態により、電子機器１００は、消耗電流を減らすためのモードに合わせ、電子機器制御因子を調整することができる。例えば、電子機器１００の電源のバッテリが多く消費された場合、若干正確度を下がっても、光の強度を下げたり、回転速度を遅くしたりすることができる。消耗電流節約のための節電モードは、自動または手動でもなされる。
【０２０２】
一実施形態により、電子機器１００は、衝突により、電子機器１００が落下すると判断した場合、電子機器の部品を保護するために、急にミラーの回転を停止させることができる。
【０２０３】
電子機器１００がミラーを利用してスキャンする範囲は、多様に決定される。図２０は、電子機器１００が、ミラーを利用してスキャンする範囲を決定する多様な方法について説明するための参照図である。
【０２０４】
一実施形態により、電子機器１００のミラーがスキャンする範囲は、ユーザの指タッチによっても決定される。
【０２０５】
図２０の２０１０を参照すれば、まず、電子機器１００は、スキャン範囲を最大に設定して動作を始めれば、ユーザが所望するスキャン範囲をユーザの指でタッチすることができる。電子機器１００は、ユーザの指でタッチされた位置２０１１，２０１２，２０１３，２０１４を検出し、その位置によって定義される領域２０１５がスキャン範囲に含まれるように、ミラーのスキャン範囲を決定することができる。
【０２０６】
一実施形態により、電子機器１００のミラーがスキャンする範囲は、オブジェクトのサイズによっても決定される。
【０２０７】
図２０の２０２０を参照すれば、ユーザが紙などのオブジェクトを、電子機器１００前面に配置すれば、電子機器１００は、そのようなオブジェクトのサイズを検出し、そのようなオブジェクトの領域２０２１がスキャン範囲に含まれるように、ミラーのスキャン範囲を決定することができる。
【０２０８】
一実施形態により、電子機器１００のミラーがスキャンする範囲は、電子機器１００が投射する画面、または他の外部機器が投射する画面のサイズによっても決定される。
【０２０９】
図２０の２０３０を参照すれば、電子機器１００の前面には、プロジェクション装置から投射された画面が配置されている。電子機器１００は、そのような投射画面２０３１のサイズを検出し、そのような投射画面２０３１がスキャン範囲に含まれるように、ミラーのスキャン範囲を決定することができる。投射画面２０３１は、電子機器１００以外の他の外部プロジェクション装置から投射された画面でもある。または、電子機器１００は、プロジェクションモジュールをさらに具備し、電子機器１００のプロジェクションモジュールが投射した画面でもある。
【０２１０】
電子機器１００がミラーを利用してスキャンする範囲は、適応的にも変更される。
【０２１１】
図２１は、電子機器１００が、ミラーを利用してスキャンする範囲を適応的に変更する方法について説明するための参照図である。
【０２１２】
図２１の２１１０を参照すれば、電子機器１００は、オブジェクト領域２１００をスキャンするためのスキャン範囲を、第１角度と設定することができる。
【０２１３】
電子機器１００が、２１１０の第１角度のスキャン範囲で動作していて、オブジェクト領域２１００が狭くなり、オブジェクト領域２１２１になる場合、電子機器１００は、適応的にスキャン範囲を変更することができる。図２１の２１２０を参照すれば、電子機器１００は、スキャン範囲を第２角度と設定することができる。オブジェクト領域が狭くなることは、電子機器１００が自動的に検出するか、あるいはユーザが手動で小さいオブジェクトに変更することによっても検出される。
【０２１４】
電子機器１００が、２１１０の第１角度のスキャン範囲で動作していて、オブジェクト領域２１００が広くなり、オブジェクト領域２１３１になる場合、電子機器１００は、適応的にスキャン範囲を変更することができる。図２１の２１３０を参照すれば、電子機器１００は、スキャン範囲を第３角度と設定することができる。該オブジェクト領域が広くなることは、ユーザが手動で大きいサイズのオブジェクトを配置することにより、電子機器１００が検出するか、あるいはユーザがオブジェクト領域２１００の範囲を外れて動作する場合、電子機器１００は、ユーザのジェスチャを正確に検出するために、スキャン範囲を増大させる必要性を認識し、スキャン範囲を調整することができる。
【０２１５】
オブジェクト領域、またはミラーのスキャン範囲においては、複数のユーザがジェスチャを行い、電子機器１００が複数のユーザのジェスチャを検出することができる。例えば、１つの大きいテーブルに、本実施形態による電子機器１００を設置し、複数のユーザがそれぞれ仮想キーボードを実行するように動作することができる。そのとき、電子機器１００のスキャン範囲は、タッチポイント間の角度または距離、タッチポイントの個数、またはタッチポイントの位置のうち少なくとも１以上に基づいて、スキャン範囲を調整することができる。
【０２１６】
本発明の一実施形態によれば電子機器１００は、光源の明るさを変更し、スキャン範囲を調整することもできる。光源の明るさを増大させ、光をさらに遠く送り、それを介して、さらに遠いところまでスキャン範囲を拡張することもできる。反対に、光源の明るさを低減させ、光をさらに近くに伝送し、それを介して、スキャン範囲を狭めることもできる。
【０２１７】
電子機器１００のスキャン範囲において、１つのオブジェクトが異なるオブジェクトによる陰影により、電子機器１００が正しく検出し難いことがある。従って、そのような場合には、２以上の電子機器を利用し、陰影地域による問題点を解消することができる。
【０２１８】
図２２は、一実施形態により、２以上の電子機器を利用し、陰影地域を解消する方法を示すフローチャートである。
【０２１９】
図２２を参照すれば、動作２２１０において、第１電子機器と第２電子機器は、連結関連及び位置関連の情報を共有することができる。
【０２２０】
第１電子機器と第２電子機器は、それぞれの通信モジュールを利用して連結を行い、また相互間の位置情報を共有することができる。該位置情報は、Ｗｉ−Ｆｉ（wireless fidelity）信号強度、ＢＴ信号強度、または別途の位置を判断することができるセンサ、例えば、ＧＰＳセンサまたはジグビー（Zigbee）センサを介して得た情報のうち少なくとも１以上の情報を利用し、相互位置を判断することができる。そのように、第１電子機器と第２電子機器とが連結関連及び位置関連の情報を共有する動作は、２つの機器が互いに連結されるときに遂行され、または周期的にもなされる。
【０２２１】
動作２２２０において、第１電子機器と第２電子機器は、互いに検出されたオブジェクト距離情報を共有することができる。
【０２２２】
例えば、図２３を参照すれば、第１電子機器１００−１は、ユーザの第１タッチ２３１０を検出すれば、その第１タッチ２３１０による陰影地域の位置を判断し、その判断された陰影地域の位置に、第２電子機器１００−２で検出した第２タッチ２３２０があるか否かということを第２電子機器１００−２に確認することができる。もし第２電子機器１００−２において、その陰影地域の位置で検出した第２タッチがあれば、第２電子機器は、第２タッチに係わる情報を第１電子機器に伝達することができる。
【０２２３】
または、第１電子機器１００−１が、陰影地域に係わる情報を、第２電子機器１００−２に伝達し、その陰影地域に第２タッチがあるか否かということを確認する過程なしに、第２電子機器１００−２は、自体が検出した第２タッチ２３２０に係わる情報を、第１電子機器１００−１に直ちに伝達するようにすることもできる。
【０２２４】
動作２２３０において、第１電子機器及び第２電子機器のうち少なくとも一つは、共有されたオブジェクト距離情報を参照してジェスチャ分析を行うか、あるいはオブジェクト距離情報を外部機器に伝送することができる。
【０２２５】
例えば、第１電子機器１００−１は、第２電子機器１００−２から受信した第２タッチ２３２０に係わる情報を受信し、ジェスチャ分析を直接行うか、あるいは第１電子機器１００−１は、第２電子機器１００−２から受信した第２タッチ２３２０に係わる情報を外部機器に伝送することもできる。
【０２２６】
一方、図２３に図示されているように、ジェスチャやタッチの検出のために、複数個の電子機器を使用する場合、光の発散と受信との干渉が起きりうる。それを防止するために、第１電子機器及び第２電子機器の光の波長や時間、周波数のうち少なくとも１以上を異ならせ、各電子機器が照射する光の信号を区別することができる。または、２個以上の電子機器から出た光を区別するために、それぞれの光にさらなるコードを入れて区分することもできるであろう。そのようなコードの一例として、チェックサム（checksum）を別途に入れて区分することもできるであろう。
【０２２７】
一実施形態により、ユーザのタッチ位置別、または電子機器１００のスキャン範囲における区間別に、ジェスチャのタイプを割り当て、ジェスチャのタイプにより、異なる制御動作を遂行することができる。
【０２２８】
図２４は、ユーザのタッチ位置別、または電子機器１００のスキャン範囲における区間別に、ジェスチャのタイプを割り当て、ジェスチャのタイプにより、異なる制御動作を遂行することについて説明するための参照図である。
【０２２９】
図２４を参照すれば、車両の前部分に、電子機器１００が設置された形態を示す。電子機器１００は、運転席と補助席との部分をスキャンすることができる。そのとき、電子機器１００は、スキャン範囲を区間別に分け、各区間別にジェスチャ解釈を異ならせ、解釈されたジェスチャタイプにより、自動車内部装置を制御するのに利用される信号を自動車に伝送することができる。
【０２３０】
例えば、スキャン範囲において、Ａゾーンは、ホバリングジェスチャをマッピングし、タッチ状態で上下動するジェスチャにより、車両の室内温度を調節し、ホバリング状態で上下動するジェスチャにより、風の方向を調節することができる。そのとき、電子機器１００は、ホバリングジェスチャを認識するために、電子機器１００のミラーに対してチルト動作を追加することができる。
【０２３１】
スキャン範囲において、Ｂゾーンは、ユーザが、普通、アイコンなどをタッチして実行をするゾーンに設定し、一般的な電子機器のモードで動作することができる。
【０２３２】
スキャン範囲において、ＣゾーンとＥゾーンは、Ａゾーンと同様にマッピングされる。
【０２３３】
スキャン範囲においてＤゾーンは、ユーザがさらに迅速であって正確に入力をしなければならないゾーン、例えば、仮想キーボード入力を行うゾーンに設定することができる。もしＤゾーンから、主に動きが検出されたならば、電子機器１００は、さらに狭い範囲をスキャンするか、光の強度を調整するか、あるいはミラーの回転速度を調節し、さらに精密にＤゾーンでのジェスチャやタッチを検出する。
【０２３４】
一実施形態により、電子機器１００は、２以上のモードで動作することができる。
【０２３５】
図２５は、電子機器１００が、三次元センシングモードとタッチ認識モードとで動作する方法の過程を示すフローチャートである。
【０２３６】
図２５を参照すれば、動作２５１０において、電子機器は、三次元センシングモードであるかタッチ認識モードであるかということを判断することができる。
【０２３７】
該タッチ認識モードは、本明細書で前述のように、オブジェクトの動きを検出し、ジェスチャやタッチを認識するモードを言い、三次元センシングモードは、外部にあるオブジェクトに係わる位置を判断し、そのような位置情報を外部機器に伝達するモードを言う。
【０２３８】
一実施形態により、電子機器１００が三次元センシングモードであるか、タッチ認識モードかということは、ユーザが手動で設定することができる。
【０２３９】
一実施形態により、電子機器１００は、三次元センシングモードであるか、タッチ認識モードであるかということに係わる情報を、連結された外部機器から受信することができる。
【０２４０】
一実施形態により、電子機器１００は、電子機器１００に設けられた検出モジュールで検出した情報に基づいて、電子機器１００が三次元センシングモードであるか、あるいはタッチ認識モードであるかということを自動的に判断することができる。例えば、電子機器１００は、センサなどを利用し、電子機器１００がある表面に置かれた場合には、タッチ認識モードと判断し、ある表面に置かれたのではなく、空中に浮いていると検出した場合には、三次元センシングモードと判断することができる。本発明の一実施形態によれば、前記センサは、加速度センサ、ジャイロセンサ、重力センサ、高度センサ、超音波センサ、距離センサのうち少なくとも１以上を含んでもよい。
【０２４１】
動作２５２０において、電子機器１００が三次元センシングモードで動作すると判断した場合、電子機器１００は、光を照射してオブジェクトから反射された光を検出することにより、距離情報を獲得することができる。
【０２４２】
動作２５３０において、電子機器１００は、獲得した距離情報からオブジェクトの位置情報を確認することができる。
【０２４３】
動作２５４０において、該電子機器は、オブジェクトの位置情報を外部機器に伝送することができる。
【０２４４】
動作２５１０において、電子機器１００がタッチ認識モードで動作すると判断した場合、該電子機器は、動作２４５０において、光を照射してオブジェクトから反射された光を検出して距離を測定することができる。
【０２４５】
動作２５６０において、該電子機器は、測定された距離情報からインタラクションポイントを分析することができる。
【０２４６】
動作２５７０において、該電子機器は、インタラクションポイント分析を基に、ジェスチャ分析を行うことができる。
【０２４７】
動作２５４０において、次に、該電子機器は、分析されたジェスチャ結果を外部機器に伝送することができる。
【０２４８】
以上で説明された実施形態による電子機器は、大容量画面と共にも利用される。タッチスクリーンの大衆化により、画面をタッチすることは、ユーザの自然な欲求になった。しかし、大型画面では、静電容量または抵抗方式のタッチパネルは、速度が遅いので、適用し難かった。しかし、本実施形態による電子機器は、大型画面に単純に配置しさえすればいいために、本電子機器を大型画面のように利用するならば、大画面で迅速なインタラクション経験を提供することができ、自然にユーザの欲求を満たすことができる。
【０２４９】
また、最近、小型ドローンの開発により、小型ライダーの開発が必要になったが、現在ライダーのサイズは、大型及び重い重量により、小型ドローンに適用しなかった。本実施形態による電子機器は、自律走行ドローン、交通手段、交通手段内ＨＵＤ（head up display）などにも使用される。
【０２５０】
また、最近、ＶＲ（virtual reality）装置、ＡＲ（augmented reality）装置またはＭＲ（mixed reality）装置の大衆化により、ＶＲ装置、ＡＲ装置またはＭＲ装置をコントロールすることができる装置が必要になっている。本実施形態による電子機器は、小サイズのＶＲ装置、ＡＲ装置またはＭＲ装置のコントローラにも利用される。
【０２５１】
多様な実施形態に使用された用語モジュールは、例えば、ハードウェア、ソフトウェアまたはファームウエア（firmware）のうち一つまたは２以上の組み合わせを含む単位（unit）を意味する。該モジュールは、例えば、ユニット、ロジック（logic）、論理ブロック（logical block）、部品（component）または回路（circuit）などの用語に替えても使用される（interchangeably use）。該モジュールは、一体に構成された部品の最小単位またはその一部にもなる。該モジュールは、１またはそれ以上の機能を遂行する最小単位またはその一部にもなる。該モジュールは、機械的にまたは電子的にも具現される。例えば、本発明の多様な実施形態によるモジュールは、知られているか、あるいはこれから開発される、ある動作を遂行するＡＳＩＣ（application specific integrated circuit）チップ、ＦＰＧＡｓ（field-programmable gate arrays）またはプログラム可能論理装置（programmable-logic device）のうち少なくとも一つを含んでもよい。
【０２５２】
多様な実施形態によれば、本発明の多様な実施形態による装置（例：モジュールまたはその機能）または方法（例：動作）の少なくとも一部は、例えば、プログラミングモジュールの形態で、コンピュータで読み取り可能な記録媒体（computer-readable storage media）に保存された命令語によっても具現される。前記命令語は、１以上のプロセッサ（例：前記プロセッサ１１０）によって実行される場合、前記１以上のプロセッサが、前記命令語に該当する機能を遂行することができる。コンピュータで読み取り可能な記録媒体は、例えば、前記メモリ１９０にもなる。前記プログラミングモジュールの少なくとも一部は、例えば、前記プロセッサ１１０によっても具現（implement）（例：実行）される。前記プログラミングモジュールの少なくとも一部は、１以上の機能を遂行するための、例えば、モジュール、プログラム、ル−チン、命令語セット（sets of instructions）またはプロセスなどを含んでもよい。
【０２５３】
前記コンピュータで読み取り可能な記録媒体には、ハードディスク、フロッピー及び磁気テープのようなマグネチック媒体（magnetic media）と、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）のような光記録媒体（optical media）と、フロプティカルディスク（floptical disk）のような磁気・光媒体（magneto-optical media）と、ＲＯＭ（read-only memory）、ＲＡＭ（random access memory）、フラッシュメモリなようなプログラム命令（例：プログラミングモジュール）を保存して遂行するように、特別に構成されたハードウェア装置とが含まれてもよい。また、プログラム命令には、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用し、コンピュータによって実行される高級言語コードを含んでもよい。前述のハードウェア装置は、本発明の多様な実施形態の動作を遂行するために、１以上のソフトウェアモジュールとして作動するようにも構成され、その逆も、同様である。
【０２５４】
本発明の多様な実施形態によるモジュールまたはプログラミングモジュールは、前述の構成要素のうち少なくとも１以上を含むか、一部が省略されるか、あるいはさらなる他の構成要素をさらに含んでもよい。本発明の多様な実施形態によるモジュール、プログラミングモジュールまたは他の構成要素によって遂行される動作は、順次的、並列的、反復的またはヒューリスティック（heuristic）な方法でも実行される。また、一部動作は、異なる順序で実行されるか、省略されるか、あるいは他の動作が追加されもする。
【０２５５】
多様な実施形態によれば、命令を保存している記録媒体において、前記命令は、少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサをして、少なくとも１つの動作を遂行させるように設定されたものであり、前記少なくとも１つの動作は、オブジェクトに光を投射し、前記オブジェクトから反射された光を利用し、前記電子デバイスから前記オブジェクトまでの距離を検出する動作、及び前記検出されたオブジェクトまでの距離情報に基づいて、前記オブジェクトのタッチ情報及び／またはジェスチャ情報を決定する動作を含む。そして、本明細書及び図面に開示された本発明の実施形態は、本発明の実施形態による記述内容を容易に説明し、本発明の実施形態の理解の一助とするために、特定例を提示したものであるのみ、本発明の実施形態の範囲を限定するのではない。従って、本発明の多様な実施形態の範囲は、ここに開示された実施形態以外にも、本発明の多様な実施形態の技術的思想を基に導き出される全ての変更または変形された形態が、本発明の多様な実施形態の範囲に含まれるものであると解釈されなければならない。
【図１】
2019522860.tif 000003
【図２】
2019522860.tif 000004
【図３】
2019522860.tif 000005
【図４】
2019522860.tif 000006
【図５】
2019522860.tif 000007
【図６】
2019522860.tif 000008
【図７】
2019522860.tif 000009
【図８Ａ】
2019522860.tif 000010
【図８Ｂ】
2019522860.tif 000011
【図８Ｃ】
2019522860.tif 000012
【図８Ｄ】
2019522860.tif 000013
【図９】
2019522860.tif 000014
【図１０】
2019522860.tif 000015
【図１１Ａ】
2019522860.tif 000016
【図１１Ｂ】
2019522860.tif 000017
【図１１Ｃ】
2019522860.tif 000018
【図１１Ｄ】
2019522860.tif 000019
【図１１Ｅ】
2019522860.tif 000020
【図１２】
2019522860.tif 000021
【図１３】
2019522860.tif 000022
【図１４】
2019522860.tif 000023
【図１５Ａ】
2019522860.tif 000024
【図１５Ｂ】
2019522860.tif 000025
【図１５Ｃ】
2019522860.tif 000026
【図１５Ｄ】
2019522860.tif 000027
【図１５Ｅ】
2019522860.tif 000028
【図１６】
2019522860.tif 000029
【図１７】
2019522860.tif 000030
【図１８】
2019522860.tif 000031
【図１９】
2019522860.tif 000032
【図２０】
2019522860.tif 000033
【図２１】
2019522860.tif 000034
【図２２】
2019522860.tif 000035
【図２３】
2019522860.tif 000036
【図２４】
2019522860.tif 000037
【図２５】
2019522860.tif 000038
【国際調査報告】
2019522860.tif 000039
2019522860.tif 000040
2019522860.tif 000041
2019522860.tif 000042