(57)【特許請求の範囲】
【請求項１】
赤外線光を照射する赤外線光源と、
活性化ジェスチャーを受信するためのロック状態モード及び複数の駆動ジェスチャーのうちの１つの駆動ジェスチャーを受信するためのアイドル状態モードにおいて映像をキャプチャするカメラと、
前記ロック状態モード及び前記アイドル状態モードの間、前記カメラを通じてキャプチャされた映像からジェスチャーを抽出するジェスチャー処理部と、
前記抽出されたジェスチャーを基に、前記ロック状態モードをアイドル状態モードに転換するように制御する制御部と、を含み、
前記ジェスチャー処理部は、
前記カメラを通じてキャプチャされた映像を分析して映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つを把握する映像分析部と、
前記映像分析部を通じて把握された映像の明るさ情報を利用して夜昼間を判断する夜昼間判断部と、
前記映像分析部を通じて把握された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つに基づいて、ユーザのジェスチャーが活性化ジェスチャーであるのかまたは駆動ジェスチャーであるのかを判断するジェスチャー判断部と、
を含み、
前記制御部は、
前記ロック状態モードの間、前記カメラを通じてキャプチャされた第１映像の明るさ情報が基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記ロック状態モードにおいて、前記カメラを通じて第２映像をキャプチャし、
前記第２映像から検出された第１ジェスチャーが前記活性化ジェスチャーと同一であれば、前記ロック状態モードをアイドル状態モードに変更し、
前記アイドル状態モードの間、前記カメラを通じて第３映像をキャプチャし、前記第３映像から検出された第２ジェスチャーが前記複数の駆動ジェスチャーのうちの１つである第１駆動ジェスチャーであれば、前記第１駆動ジェスチャーに対応する第１機能を実行し、
前記ジェスチャー判断部は、手区分機能と手特定機能を含み、
前記手区分機能は、昼間と夜間に応じて異なるアルゴリズムが適用され、
前記ジェスチャー判断部は、夜間である場合、前記カメラを通じて獲得された映像のシルエット情報、シルエットの特徴点の動き情報及び明るさ情報を利用して手区分機能を実行する、ジェスチャー装置。
【請求項２】
前記ジェスチャー装置は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両に搭載されるジェスチャー装置であって、
前記カメラは、前記ルームミラーの下部に装着され、前記コンソールボックスと前記ギアノブとの間に定められる映像獲得領域に位置する対象物の映像をキャプチャし、
前記ジェスチャー処理部は、
前記第２映像から前記第１ジェスチャーを検出し、前記第１ジェスチャーが前記活性化ジェスチャーであるのか否かを判断し、
前記第３映像から前記第２ジェスチャーを検出し、前記第２ジェスチャーが駆動ジェスチャーであるのか否かを判断する、請求項１に記載のジェスチャー装置。
【請求項３】
前記制御部は、
前記第３映像から明るさ情報を検出し、
前記明るさ情報が前記基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記アイドル状態モードにおいて、前記カメラを通じて第２ジェスチャーを獲得する、請求項１または２に記載のジェスチャー装置。
【請求項４】
前記制御部は、
前記第２ジェスチャーが前記複数の駆動ジェスチャーのうち前記ロック状態モード内で認識した前記活性化ジェスチャーと同一な第２駆動ジェスチャーであれば、前記第２駆動ジェスチャーに対応する第２機能を実行し、
前記第２機能は、前記ロック状態モードを前記アイドル状態モードに変更する機能とは異なり、
前記活性化ジェスチャー及び前記第２駆動ジェスチャーは、前記アイドル状態モード及び前記ロック状態モード内で相互異なる機能を実行するための同一なジェスチャーである、請求項１〜３のいずれか一項に記載のジェスチャー装置。
【請求項５】
運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両において、
赤外線光を照射する赤外線光源と、
前記ルームミラーの下部に装着され、活性化ジェスチャーを受信するためのロック状態モード及び複数の駆動ジェスチャーのうちの１つの駆動ジェスチャーを受信するためのアイドル状態モードにおいて映像をキャプチャするカメラと、
前記ロック状態モード及び前記アイドル状態モードの間、前記カメラを通じてキャプチャされた映像からジェスチャーを抽出するジェスチャー処理部と、
前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換し、前記抽出されたジェスチャーに対応する機能を実行するように制御する制御部と、を含み、
前記ジェスチャー処理部は、
前記カメラを通じてキャプチャされた映像を分析して映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つを把握する映像分析部と、
前記映像分析部を通じて把握された映像の明るさ情報を利用して夜昼間を判断する夜昼間判断部と、
前記映像分析部を通じて把握された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報のうちの少なくとも一つに基づいて、ユーザのジェスチャーが活性化ジェスチャーであるのかまたは駆動ジェスチャーであるのかを判断するジェスチャー判断部と、
を含み、
前記制御部は、
前記ロック状態モードの間、前記カメラを通じてキャプチャされた第１映像の明るさ情報が基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記ロック状態モードにおいて、前記カメラを通じて第２映像をキャプチャし、
前記第２映像から検出された第１ジェスチャーが前記活性化ジェスチャーと同一であれば、前記ロック状態モードをアイドル状態モードに変更し、
前記アイドル状態モードの間、前記カメラを通じて第３映像をキャプチャし、前記第３映像から検出された第２ジェスチャーが前記複数の駆動ジェスチャーのうちの１つである第１駆動ジェスチャーであれば、前記第１駆動ジェスチャーに対応する第１機能を実行し、
前記ジェスチャー判断部は、手区分機能と手特定機能を含み、
前記手区分機能は、昼間と夜間に応じて異なるアルゴリズムが適用され、
前記ジェスチャー判断部は、夜間である場合、前記カメラを通じて獲得された映像のシルエット情報、シルエットの特徴点の動き情報及び明るさ情報を利用して手区分機能を実行する、車両。
【請求項６】
前記カメラは、前記コンソールボックスと前記ギアノブとの間に定められる映像獲得領域に位置する対象物の映像をキャプチャし、
前記ジェスチャー処理部は、
前記第２映像から前記第１ジェスチャーを検出し、前記第１ジェスチャーが前記活性化ジェスチャーであるのか否かを判断し、
前記第３映像から前記第２ジェスチャーを検出し、前記第２ジェスチャーが駆動ジェスチャーであるのか否かを判断する、請求項５に記載の車両。
【請求項７】
前記制御部は、
前記第３映像から明るさ情報を検出し、
前記明るさ情報が前記基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させ、
前記赤外線光源が駆動される前記アイドル状態モードにおいて、前記カメラを通じて第２ジェスチャーを獲得し、
前記第２ジェスチャーが前記複数の駆動ジェスチャーのうち前記ロック状態モード内で認識した前記活性化ジェスチャーと同一な第２駆動ジェスチャーであれば、前記第２駆動ジェスチャーに対応する第２機能を実行し、
前記第２機能は、前記ロック状態モードを前記アイドル状態モードに変更する機能とは異なり、
前記活性化ジェスチャー及び前記第２駆動ジェスチャーは、前記アイドル状態モード及び前記ロック状態モード内で相互異なる機能を実行するための同一なジェスチャーである、請求項５または６に記載の車両。
【請求項８】
前記ジェスチャー処理部は、前記映像から抽出された対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報を基に、前記ジェスチャーを抽出する、請求項５〜７のいずれか一項に記載の車両。
【請求項９】
ロック状態モードにおいて、第１映像を獲得するステップと、
前記第１映像から明るさ情報を抽出するステップと、
前記明るさ情報が基準値より小さいと、赤外線光が照射されるように赤外線光源を駆動させるステップと、
前記赤外線光源が駆動される前記ロック状態モードにおいて、第２映像を獲得するステップと、
前記第２映像から第１ジェスチャーを抽出するステップと、
前記検出された第１ジェスチャーが活性化ジェスチャーと同一であれば、ロック状態モードをアイドル状態モードに変更するステップと、
前記アイドル状態モードの間、第３映像をキャプチャするステップと、
前記第３映像から検出された第２ジェスチャーが複数の駆動ジェスチャーのうちの１つである第１駆動ジェスチャーであれば、前記第１駆動ジェスチャーに対応する第１機能を実行するステップと、を含み、
前記第１ジェスチャー及び前記第２ジェスチャーは、手区分機能と手特定機能を利用して認識され、
前記手区分機能は、昼間と夜間に応じて異なるアルゴリズムが適用され、
夜間である場合、前記獲得された第２映像または第３映像のシルエット情報、シルエットの特徴点の動き情報及び明るさ情報を利用して手区分機能を実行する、ジェスチャー装置の動作方法。
【請求項１０】
前記ジェスチャー装置の動作方法は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む車両に搭載されるジェスチャー装置の動作方法であって、
前記第２映像を獲得するステップは、前記コンソールボックスと前記ギアノブとの間に定められる映像獲得領域に位置する対象物の映像をキャプチャするステップを含み、
前記第２映像から前記第１ジェスチャーを検出し、前記第１ジェスチャーが前記活性化ジェスチャーであるのか否かを判断するステップと、
前記第３映像から前記第２ジェスチャーを検出し、前記第２ジェスチャーが駆動ジェスチャーであるのか否かを判断するステップと、を含む、請求項９に記載のジェスチャー装置の動作方法。
【請求項１１】
前記第３映像から明るさ情報を検出するステップと、
前記明るさ情報が前記基準値より小さいと、前記赤外線光が照射されるように前記赤外線光源を駆動させるステップと、
前記赤外線光源が駆動される前記アイドル状態モードにおいて、前記第２ジェスチャーを獲得するステップと、を含む、請求項９または１０に記載のジェスチャー装置の動作方法。
【請求項１２】
前記第２ジェスチャーが前記複数の駆動ジェスチャーのうち前記ロック状態モード内で認識した前記活性化ジェスチャーと同一な第２駆動ジェスチャーであれば、前記第２駆動ジェスチャーに対応する第２機能を実行するステップを含み、
前記第２機能は、前記ロック状態モードを前記アイドル状態モードに変更する機能とは異なり、
前記活性化ジェスチャー及び前記第２駆動ジェスチャーは、前記アイドル状態モード及び前記ロック状態モード内で相互異なる機能を実行するための同一なジェスチャーである、請求項９〜１１のいずれか一項に記載のジェスチャー装置の動作方法。
【請求項１３】
前記複数の駆動ジェスチャーのうちの少なくとも１つは、前記活性化ジェスチャーと同一である、請求項１〜４のいずれか一項に記載のジェスチャー装置。
【請求項１４】
前記複数の駆動ジェスチャーのうちの少なくとも１つは、前記活性化ジェスチャーと同一である、請求項５〜８のいずれか一項に記載の車両。
【請求項１５】
前記複数の駆動ジェスチャーのうちの少なくとも１つは、前記活性化ジェスチャーと同一である、請求項１０〜１２のいずれか一項に記載のジェスチャー装置の動作方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャーによって動作する装置に関するものである。
【背景技術】
【０００２】
最近、ユーザに情報を提供するマルチメディア電子機器が活発に開発及び発売されている。
【０００３】
このようなマルチメディア電子機器の代表的な例として、スマートフォンのようなモバイル機器がある。
【０００４】
モバイル機器は、移動性と携帯性を兼備していると共に、通話、音楽鑑賞、ビデオ鑑賞、メッセージ送受信、スケジュール管理、ネットサーフィンなど多様な機能を含んでいる。
【０００５】
一方、このようなマルチメディア電子機器は、車両に適用しようとする試みが行われている。
【０００６】
このようなマルチメディア電子機器の多様な機能を実行するための入力コマンドを受けるために、多様なボタンがマルチメディア電子機器の外観に設置されている。ユーザは、多様なボタンを操作して当該機能を実行することができる。
【０００７】
ところが、ユーザは、多様なボタンのそれぞれがどんな機能を実行するためのボタンであるのかを把握しにくく、例えユーザが当該ボタンの機能を把握していたとしても、ユーザがいちいち当該ボタンを押して動作させるにはかなり手間がかかる。
【０００８】
さらは、小型マルチメディア電子機器の場合、その占有面積の限界によって各ボタンの間の間隔が狭いので、ユーザの誤ったボタン選択によって誤動作が発生する問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、誤動作の発生可能性を最小化したジェスチャー装置及びその動作方法を提供する。
【００１０】
また、本発明は、ユーザの機器操作の便宜性を最大化したジェスチャー装置及びその動作方法を提供する。
【００１１】
また、本発明は、ジェスチャー装置を備えた車両を提供する。
【課題を解決するための手段】
【００１２】
本発明のジェスチャー装置は、映像を獲得する入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換するように制御する制御部と、を含む。
【００１３】
本発明の車両は、運転席、前記運転席の隣に配置されるコンソールボックス、ギアノブ及びルームミラーを含む。車両は、映像を獲得するために前記ルームミラーの下部に装着される入力モジュールと、前記獲得された映像からジェスチャーを抽出するジェスチャー処理部と、前記抽出されたジェスチャーを基に、ロック状態モードをアイドル状態モードに転換し、前記抽出されたジェスチャーに対応する機能を実行するように制御する制御部と、を含む。
【００１４】
本発明のジェスチャー装置の動作方法は、映像を獲得するステップと、前記映像からジェスチャーを抽出するステップと、前記抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認するステップと、前記抽出されたジェスチャーが前記活性化ジェスチャーである場合、ロック状態モードをアイドル状態モードに転換するステップと、を含む。
【発明の効果】
【００１５】
本発明は、初期にはロック状態モードに設定され、このようなロック状態モードにおいては、いかなるジェスチャーが取られてもジェスチャーによる誤動作が発生しなくなり、誤動作による製品の信頼性の低下を防止して品質の向上を図ることができる。
【００１６】
本発明は、多様なジェスチャーによって多様な機能が実行されるので、従来多数のボタン操作によって機能を実行する時発生する面倒を解消し、ボタンの間の狭い間隔による誤動作を防止することができる。
【図面の簡単な説明】
【００１７】
【図１】実施例に係るジェスチャー装置を示したブロック図である。
【図２】実施例に係るジェスチャー装置が備えられた車両を示した図である。
【図３】図２のルームミラーに装着された映像入力モジュールを示した図である。
【図４】図１の映像入力モジュールを示したブロック図である。
【図５】図１の出力モジュールを示したブロック図である。
【図６】図１のジェスチャー処理部を示したブロック図である。
【図７】活性化ジェスチャーの一例を示した図である。
【図８】ジェスチャー判断部の細部構成を示した図である。
【図９】第１実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。
【図１０】駆動ジェスチャーの一例を示した図である。
【図１１】駆動ジェスチャーの他の例を示した図である。
【図１２】第２実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。
【図１３】駆動ジェスチャーのさらに他の例を示した図である。
【図１４】駆動ジェスチャーのさらに他の例を示した図である。
【図１５】駆動ジェスチャーのさらに他の例を示した図である。
【発明を実施するための形態】
【００１８】
実施例の説明において、各構成要素の「上または下」に形成されると記載される場合、「上または下」は、２つの構成要素が直接接触または１つ以上の他の構成要素が２つの構成要素の間に配置されて形成されるものを全部含む。また、「上または下」と表現される場合、１つの構成要素を基準に、上側方向だけでなく下側方向の意味も含むことができる。また、「信号」は、電圧信号または電流信号である。
【００１９】
図１は、実施例に係るジェスチャー装置を示したブロック図である。
【００２０】
図１に示すように、実施例に係るジェスチャー装置は、映像入力モジュール１０、ジェスチャー処理部２０、制御部３０、出力モジュール４０及びメモリー５０を含むことができる。
【００２１】
映像入力モジュール１０は、対象物の映像を入力する。映像入力モジュール１０は、図４に示したように、カメラ１２及び赤外線光源１４を含むことができる。
【００２２】
カメラ１２は、対象物から映像を獲得して電気信号として出力することができる。カメラ１２は、制御部３０の制御下でリアルタイムで映像を獲得することができる。従って、カメラ１２によって静止対象物や動く対象物に対する映像をリアルタイムで獲得することができる。
【００２３】
カメラ１２が、例えば車両に装着される場合、車両の始動がオンされる時、このような車両の始動がオンされることを認知した制御部３０の制御下でカメラ１２が駆動される。
【００２４】
または、車両の始動がオンされることに関係なく、ユーザが直接カメラ１２を駆動させることもできる。
【００２５】
赤外線光源１４は、例えば赤外線発光素子(LED)を含むことができるが、これに対しては限定しない。
【００２６】
赤外線光源１４は、カメラの周辺に配置することができるが、これに対しては限定しない。
【００２７】
赤外線光源１４は、制御部３０の制御下、例えば、夜間に駆動されるようにすることができる。夜間の場合、赤外線光源１４から赤外線光が照射されることで、カメラ１２から獲得された映像が明るさを持つことになり、対象物と非対象物が区分される。
【００２８】
実施例に係るジェスチャー装置は、図２に示したように、例えば車両に備えられる。
【００２９】
車両の室内には、前方の天井１０２にルームミラー１０３が備えられ、運転席１０１の隣にコンソールボックス１０７とギアノブ１０５が装着されたギア変速レバー１０６が備えられる。また、運転席１０１と助手席(図示せず)の間にセンターフェイシア１０９が備えられる。ルームミラー１０３は、前面ガラスの上側近くの天井１０２に設置することができるが、これに対しては限定しない。ルームミラー１０３は、コンソールボックス１０７及びギアノブ１０５に対して垂直な天井１０２や斜め方向に向かう天井１０２に設置することができる。
【００３０】
映像入力モジュール１０は、図３に示したように、例えば車両のルームミラー１０３の下部の一部上に装着することができるが、これに対しては限定しない。
【００３１】
映像入力モジュール１０は、例えば車両の天井１０２の内面の一部上に装着することができるが、これに対しては限定しない。
【００３２】
映像入力モジュール１０が、車両のルームミラー１０３の下部の一部または車両の天井１０２の内面の一部のいずれの上に装着されるとても、映像入力モジュール１０は、例えば運転者の手及び/又は手に隣接した腕に対する映像を獲得しなければならない。ここで、腕とは、手首と肘の間を指すことができるが、これに対しては限定しない。
【００３３】
映像入力モジュール１０によって映像が獲得される領域を映像獲得領域Ａと命名することができる。映像獲得領域Ａは、ギアノブ１０５、コンソールボックス１０７、そしてギアノブ１０５とコンソールボックス１０７の間の領域を含むことができる。ギアノブ１０５は、ギア変速レバー１０６の上端に装着されてユーザのグリップ感を向上させる。
【００３４】
従って、映像獲得領域Ａに置かれる対象物に対する映像が映像入力モジュール１０によって獲得される。
【００３５】
出力モジュール４０は、車両に装着されてもよい。出力モジュール４０は、図５に示したように、音響出力部４２とディスプレイパネル４４を含むことができる。
【００３６】
ディスプレイパネル４４は、静止映像や動画が表示される部材として、例えばセンターフェイシア１０９に装着されてもよい。ディスプレイパネル４４は、例えば映画やミュージックビデオまたはナビゲーション画面を表示することができる。また、ディスプレイパネル４４は、ビデオ通話時に相手の顔や相手が送った映像を表示することができる。
【００３７】
音響出力部４２は、オーディオ信号が出力される部材として、車両の各ドアや天井１０２等に装着されてもよい。
【００３８】
制御部３０は、各構成要素、即ち映像入力モジュール１０、ジェスチャー処理部２０、出力モジュール４０及びメモリー５０を全体的に制御することができる。
【００３９】
例えば、制御部３０は、映像入力モジュール１０のカメラ１２によって映像が獲得されるように制御する一方、夜間モード時に映像入力モジュール１０の赤外線光源１４によって光が照射されるように制御することができる。
【００４０】
例えば、制御部３０は、出力モジュール４０の音響出力部４２によってオーディオ信号が出力されるように制御する一方、出力モジュール４０のディスプレイパネル４４によって映像信号が出力されるように制御することができる。
【００４１】
例えば、制御部３０は、メモリー５０に新しいデータがアップデートされるように制御し、既に保存されたデータが削除及び変更されるように制御することができる。
【００４２】
例えば、制御部３０は、ジェスチャー処理部２０の出力結果を基に、ユーザのイベントに対応する動作を実行するように制御することができる。
【００４３】
ジェスチャー処理部２０の出力結果に基づく制御部３０の制御動作に対しては、後で詳しく説明することにする。
【００４４】
ジェスチャー処理部２０は、図６に示したように、映像分析部２２、夜昼間判断部２４及びジェスチャー判断部２６を含むことができる。
【００４５】
映像分析部２２は、映像入力モジュール１０のカメラ１２から提供されたフレーム単位の映像を分析することができる。映像分析部２２は、映像の明るさ情報、対象物の形状、対象物の形状動き情報、対象物のシルエット(contour)情報及び対象物のカラー情報を把握することができる。映像の明るさ情報は、夜昼間判断部２４に提供することができる。対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報は、ジェスチャー判断部２６に提供することができる。
【００４６】
夜昼間判断部２４は、映像の明るさ情報を基に、昼間であるのか夜間であるのかを判断することができる。例えば、３０フレームの映像全体の明るさの平均レベルが閾値以上である場合、昼間であると判断することができる。例えば、３０フレームの映像全体の明るさの平均レベルが閾値以下である場合、夜間であると判断することができる。もし、夜間であると判断される場合、制御部３０の制御下映像入力モジュール１０の赤外線光源１４が駆動され、赤外線光が照射される。以後、カメラ１２によって赤外線光が反映された映像が再取得される。
【００４７】
ジェスチャー判断部２６は、対象物の形状情報、対象物の形状動き情報、対象物のシルエット情報及び対象物のカラー情報を基に、ユーザのジェスチャーが活性化ジェスチャーであるのか駆動ジェスチャーであるのかを判断することができる。
【００４８】
ここで、駆動ジェスチャーは、実施例に係るジェスチャー装置に予め設定された多数の機能を実行するための入力コマンドを意味することができる。従って、駆動ジェスチャーは多数個が存在してもよい。
【００４９】
多数の駆動ジェスチャーのいずれか１つのジェスチャーは、活性化ジェスチャーと同一または異なってもよい。駆動ジェスチャーが活性化ジェスチャーと同一であっても、実施例に係るジェスチャー装置をエラーなしに動作させることができる。例えば、活性化ジェスチャー(第１ジェスチャー)と多数の駆動ジェスチャーのうちの１つのジェスチャー(第２ジェスチャー)が同一である場合、映像入力モジュール１０によって先に入力された第１映像から抽出された第１ジェスチャーが活性化ジェスチャーとして認知されてアイドル状態モードに転換され、以後映像入力モジュール１０によって入力された第２映像から抽出された第２ジェスチャーが駆動ジェスチャーとして認知され、第２ジェスチャーに対応する機能が実行される。
【００５０】
例えば、駆動ジェスチャーとしては、ホーム画面をディスプレイするためのホームジェスチャー、文字や数字を入力するための入力窓をディスプレイするための入力ジェスチャー、次の画面や前の画面をディスプレイするための左側ジェスチャー、右側ジェスチャー、アップジェスチャー及びダウンジェスチャー、そして予め設定された動作を直ちに実行するようにするショートカットキー(shortcut key)ジェスチャーを用いることができるが、これに対しては限定しない。
【００５１】
活性化ジェスチャーは、上述した多数のジェスチャーによる誤動作が発生しないようにするためのロック装置を解除するためのジェスチャーであってもよい。活性化ジェスチャーによって駆動ジェスチャーを認識するためのアイドル状態(idle state)モードに転換することができる。アイドル状態モード以前には、ロック状態モードと命名することができる。従って、活性化ジェスチャーによってロック状態モードがアイドル状態モードに転換することができる。
【００５２】
活性化ジェスチャーは、特定対象物の形状が特定対象物の形状の動きとしてメモリー５０に予め設定される。
【００５３】
例えば、活性化ジェスチャーは、図７に示したように、子指のみを広げ残りの指が閉じられた形状に活性化ジェスチャーがメモリー５０に予め設定される場合、ユーザのこのようなジェスチャーによってロック状態モードがアイドル状態モードに転換される。
【００５４】
例えば、駆動ジェスチャーは、予め設定されてユーザの駆動ジェスチャーに答えて当該機能が実行されるが、これに対しては限定しない。
【００５５】
ジェスチャー判断部２６は、多様なアルゴリズムを適用することができる。
【００５６】
以下、多様なアルゴリズムのうちの１つのアルゴリズムを説明するが、実施例はこれに限定されない。
【００５７】
ジェスチャー判断部２６は、図８に示したように、手区分(hand segmentation)機能６１と手特定(hand classification)機能６５に区分することができる。
【００５８】
手区分機能６１は、対象物動き検出(moving object detection)機能６２と手認証(hand verification)機能６４に区分することができる。
【００５９】
手区分機能６１は、昼間と夜間に応じて異なるアルゴリズムが適用される。即ち、夜間の場合、映像入力モジュール１０から獲得された映像にカラー情報が含まれないために、シルエット情報とそのシルエットの特徴点(feature points)の動き情報及び明るさ情報などが利用される。
【００６０】
対象物動き検出機能６２は、映像入力モジュール１０から獲得された映像から、例えば手の後部領域に該当するBLOBを探し、これに対する関連情報、例えば特徴点の位置や関心領域(ROI：region of interest)のコーナー点(corner points)の位置を把握することができる。
【００６１】
手認証機能６４は、以前の映像から手に該当する領域を正確に区分し、当該領域内の全てのピクセルに対する座標値(x、y)と当該領域のシルエット情報、即ち当該領域の最も外側のピクセルに対する座標(x、y)を検出する。また、手認証機能６４は、次の映像から手領域が位置する座標値を推定して対象物動き検出機能６２に提供する。動き検出機能６２は、手認証機能６４から提供された情報を基に、手が位置する候補領域(ROI)の検出範囲を絞ることができ、より正確に手領域を検出することができる。
【００６２】
手特定機能６５は、ジェスチャー管理(gesture management)機能６７とジェスチャー特定(gesture classification)機能６９に区分することができる。
【００６３】
ジェスチャー管理機能６７は、効率的かつ正確なジェスチャー認識及び演算時間の短縮のために、アイドル状態モードへの転換以後の全てのジェスチャーに対するフロー管理を実行することができる。
【００６４】
ジェスチャー特定機能６９は、対象物動き検出機能６２から提供された特徴点(feature points)情報を利用して手の計上や動き形態を把握し、把握された手の動きのうちユーザが意図していない動作形態を除去し、ユーザが意図した動作形態のみを出力することができる。ジェスチャー特定機能(６９)によって、ユーザが意図していない動作形態による誤動作が防止される。
【００６５】
図９は、第１実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。
【００６６】
図１、図４及び図９に示すように、制御部３０の制御下で映像入力モジュール１０のカメラ１２が駆動される(Ｓ２０１)。
【００６７】
例えば、車両の始動がオンされると、制御部３０は、このような車両の始動がオンされたことを認知してカメラ１２が駆動されるように制御することができる。
【００６８】
例えば、ユーザのイベント、例えばカメラ１２の駆動ボタンに対する押しが感知されると、制御部３０はカメラ１２が駆動されるように制御することができる。
【００６９】
この時、ジェスチャー装置は、ロック状態モードに設定される(Ｓ２０３)。即ち、カメラ１２駆動によってカメラ１２のレンズに対応する映像獲得領域Ａに位置される対象物に対する映像が獲得される。この時、ユーザが映像獲得領域Ａで、思わず特定ジェスチャーを取る場合、駆動ジェスチャーとして認知されて特定機能が実行される誤動作が発生することがある。
【００７０】
実施例は、このような誤動作を防止するために、予め設定された特定ジェスチャー、即ち活性化ジェスチャーによってロック状態モードを解除してアイドル状態モードに転換された以後にのみ、ジェスチャーによる機能が実行されるようにすることができる。
【００７１】
従って、ロック状態モードに設定された場合、映像獲得領域Ａで特定ジェスチャー以外のいかなるジェスチャーが取られても、ジェスチャーによる誤動作が発生しなくなる。
【００７２】
駆動されたカメラ１２によって映像獲得領域Ａに位置された対象物に対する第１映像が獲得される(Ｓ２０５)。
【００７３】
ジェスチャー処理部２０は、獲得された第１映像から抽出されたジェスチャーが活性化ジェスチャーであるのか否かを確認する(Ｓ２０７)。
【００７４】
ジェスチャー処理部２０は、第１映像を分析して対象物の形状情報、対象物の形状動き情報、対象物のカラー情報などを把握し、把握されたこれら情報に基づいて、第１映像にジェスチャーが存在するのか、そしてジェスチャーが存在すればこのジェスチャーが予め設定された活性化ジェスチャーと一致するのかを判断することができる。
【００７５】
例えば、図７のような手の形状のジェスチャーが活性化ジェスチャーとしてメモリー５０に設定される。即ち、活性化ジェスチャーは、子指のみが広げられ残りの指は閉じられた形状を有する。このような場合、ジェスチャー処理部２０は、第１映像にジェスチャーが存在し、存在するジェスチャーが図７のような手の形状のジェスチャーと同一であるのかを判断する。
【００７６】
もし、第１映像に存在するジェスチャーが予め設定された活性化ジェスチャーと同一である場合、制御部３０はロック状態モードをアイドル状態モードに転換することができる(Ｓ２０９)。アイドル状態モードは、多様なジェスチャーを基に、実施例に係るジェスチャー装置に具現可能な多様な機能が実行される機能活性化状態ということができる。
【００７７】
ロック状態モードがアイドル状態モードに転換された以後、初めて多様な機能が実行可能となる。ロック状態モード状態において特定機能を実行するためのジェスチャーを取り、カメラ１２によってこのようなジェスチャーに対する映像が獲得されても、ロック状態モードに設定されているので、当該機能が実行されない。反面、アイドル状態モードに転換されると、特定機能を実行するためのジェスチャーに答えて、当該特定機能が実行可能となる。
【００７８】
実施例に係るジェスチャー装置は、多様な機能を実行及び多様な機能に対応するように、多様なジェスチャーを設定することができる。
【００７９】
例えば、図１０に示したように、手が左に移動するジェスチャーの場合、このような左側ジェスチャーによって、出力モジュール４０のディスプレイパネル４４に表示されるユーザーインターフェース(ＵＩ)画面が左に消える代わりに、次のＵＩ画面がディスプレイパネル４４上に表示される。
【００８０】
例えば、図１１に示したように、人差し指のみが広げられるジェスチャー、即ち「１」を現わすショートカットキーを表示するジェスチャーの場合、このようなショートカットキージェスチャーによって、「１」を現わすショートカットキーに設定された特定人の電話番号を利用して特定人の端末に呼び出し信号(call signal)が送信され、特定人と通話が可能となる。
【００８１】
この他にも、多様な機能に合うように多様なジェスチャーが設定される場合、アイドル状態モードに転換された後、このような多様なジェスチャーを介して多様な機能が実行可能となる。
【００８２】
実施例は、このように多様なジェスチャーによって多様な機能が実行されるので、従来多数のボタン操作によって機能を実行する時発生する面倒を解消し、ボタンの間の狭い間隔による誤動作を防止することができる。
【００８３】
アイドル状態モードにおける多様な機能の具現に対しては、以下説明する。
【００８４】
制御部３０の制御下カメラ１２によって第２映像が獲得される(Ｓ２１１)。
【００８５】
ジェスチャー処理部２０は、第２映像を基に、第２映像内にジェスチャーが存在するのか、そしてジェスチャーが存在すれば当該ジェスチャーが駆動ジェスチャーであるのかを確認する(Ｓ２１３)。
【００８６】
駆動ジェスチャーは、ジェスチャー装置に備えられた多様な機能に対応するように多様なジェスチャーを有することができる。
【００８７】
もし、第２映像内のジェスチャーが駆動ジェスチャーである場合、当該駆動ジェスチャーに対応する機能が実行される(Ｓ２１５)。
【００８８】
例えば、上述したように、人差し指のみが広げられるジェスチャーである場合、このようなジェスチャーに答えて、ショートカットキー「１」に該当する電話番号に呼び出し信号が送信され、当該電話番号のユーザと通話が連結される。
【００８９】
図１２は、第２実施例に係るジェスチャー装置の動作方法を説明するフローチャートである。
【００９０】
第２実施例において、ステップＳ２３０、ステップＳ２４０及びステップＳ２５０を除いては、第１実施例とほとんど類似しているので、第１実施例と同一なステップには同一図面符号を付与し、詳しい説明を省略することにする。第２実施例で省略された説明は、第１実施例から容易に理解することができる。
【００９１】
図１２に示したように、カメラ１２が駆動されるステップＳ２０１、ロック状態モードに設定されるステップＳ２０３及び第１映像が獲得されるステップＳ２０５が実行される。
【００９２】
第１映像が獲得されると、ジェスチャー処理部２０は、第１映像から把握された第１映像の明るさが閾値以下であるのかどうかを確認する(Ｓ２３０)。ここで、明るさは、１フレームの第１映像の明るさまたは多数フレームの第１映像の平均明るさであってもよいが、これに対しては限定しない。
【００９３】
第１映像の明るさが閾値以下である場合、夜間であることを意味し、第１映像の明るさが閾値以上である場合、昼間であることを意味することができる。閾値は、予め設定されていてもよく、ユーザによって設定されてもよい。
【００９４】
もし、第１映像の明るさが閾値以下である場合、赤外線光源１４が駆動され、赤外線光源１４から赤外線光が照射される(Ｓ２４０)。
【００９５】
赤外線光源１４が照射された状態で、カメラ１２によって第１映像が再獲得される(Ｓ２５０)。この時、獲得された第１映像は、ステップＳ２０５で獲得された第１映像とカラーが異なる場合がある。即ち、ステップＳ２０５で獲得された第１映像はカラーを持つ反面、ステップＳ２５０で獲得された第１映像は白黒である場合もある。
【００９６】
以後のステップＳ２０７、Ｓ２０９、Ｓ２１１、Ｓ２１３、Ｓ２１５は、第１実施例と同一であるので、詳しい説明は省略することにする。
【００９７】
もし、ステップＳ２３０で第１映像の明るさが閾値より大きい場合、赤外線光源１４が駆動される必要なく直接ステップＳ２０７が実行される。
【００９８】
図１３は、駆動ジェスチャーのさらに他の例を示した図である。
【００９９】
例えば、図１３に示したように、手の平と指を自然に伸ばした状態で手の平が車両の床を向かうようにして下へと移動したり、手の平が車両の屋根を向かうようにして上へ移動する場合、当該ジェスチャーによって出力モジュールであるマルチメディア装置のボリュームを下げたり高めることができるようにすることができる。
【０１００】
図１４は、駆動ジェスチャーのさらに他の例を示した図である。
【０１０１】
図１４に示すように、手の平が車両の床を向かうようにして手の平と指を広げた状態から拳を握るジェスチャーによって、音楽を再生したりナビゲーションなどを実行させる出力モジュールの特定機能を動作/実行するようにすることができる。
【０１０２】
図１５は、駆動ジェスチャーのさらに他の例を示した図である。
【０１０３】
図１５に示すように、手の平が車両の床を向かうようにして手の平と指を自然に伸ばした状態で２〜３回左右に振る場合、当該ジェスチャーによって、再生されている音楽が停止すると共に上位メニューに移動したり、任意のメニューから当該メニューの上位メニューに単純移動するようにすることができる。
【図１】
0006671288.tif 000002
【図２】
0006671288.tif 000003
【図３】
0006671288.tif 000004
【図４】
0006671288.tif 000005
【図５】
0006671288.tif 000006
【図６】
0006671288.tif 000007
【図７】
0006671288.tif 000008
【図８】
0006671288.tif 000009
【図９】
0006671288.tif 000010
【図１０】
0006671288.tif 000011
【図１１】
0006671288.tif 000012
【図１２】
0006671288.tif 000013
【図１３】
0006671288.tif 000014
【図１４】
0006671288.tif 000015
【図１５】
0006671288.tif 000016