(57)【要約】      （修正有）【課題】深度値に基づいたジェスチャ操作方法および深度値に基づいたジェスチャ操作システムを提供する。【解決手段】立体画像カメラモジュールは第１立体画像を取得する。その後、上記第１立体画像がトリガージェスチャを含んでいるか否かを確認するためのアルゴリズムが実行される。その後、立体画像カメラモジュールは第２立体画像を取得する。第２立体画像が、コマンドジェスチャに対応する操作を行うための該コマンドジェスチャを含んでいるか否かを確認するための別のアルゴリズムが実行される。【選択図】図１
2018077839.tif 000002
【特許請求の範囲】
【請求項１】
移動車両に適用される、深度値に基づいたジェスチャ操作方法であって、
第１立体画像を取得するステップと、
第１アルゴリズムを行うことによって、上記第１立体画像の複数の深度値がトリガージェスチャを含んでいるか否かを確認するステップと、
第２立体画像を取得するステップと、
第２アルゴリズムを行うことによって、上記第２立体画像の複数の深度値がコマンドジェスチャを含んでいるか否かを確認するステップと、
処理装置が、上記コマンドジェスチャに対応する操作を行うステップとを含むことを特徴とする深度値に基づいたジェスチャ操作方法。
【請求項２】
クラスタ化アルゴリズムを用いて、上記移動車両における上記トリガージェスチャの位置を確認するステップと、
上記処理装置が、上記移動車両における上記トリガージェスチャの位置に従って、上記コマンドジェスチャに対応する操作を行うことが許されるか否かを判断するステップと、
上記コマンドジェスチャに対応する操作を行うことが許される場合、上記処理装置が、上記コマンドジェスチャに対応する操作を行うステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項３】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは第１カメラユニットおよび第２カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、
上記第１カメラユニットが第１画像を取得するステップと、
上記第２カメラユニットが第２画像を取得するステップと、
上記処理装置が、上記第１画像、上記第２画像、および上記挟角に従って、上記第１立体画像を示すステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項４】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは第１カメラユニットおよび第２カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、
上記第１カメラユニットが第３画像を取得するステップと、
上記第２カメラユニットが第４画像を取得するステップと、
上記処理装置が、上記第３画像、上記第４画像、および上記挟角に従って、上記第２立体画像を示すステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項５】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは構造光投影モジュールおよび構造光カメラユニットを備え、
上記構造光投影モジュールが複数の面状光を連続的に投影するステップと、
上記構造光カメラユニットが複数の光パターンメッセージを受信するステップと、
上記複数の光パターンメッセージに従って計算を行って、上記第１立体画像または上記第２立体画像を取得するステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項６】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、
上記第１カメラユニットが第１画像を取得するステップと、
上記第２カメラユニットが第２画像を取得するステップと、
上記処理装置が、上記第１画像、上記第２画像、および上記挟角に従って、上記第１立体画像を示すステップと、
上記処理装置が、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断するステップと、
上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記構造光投影モジュールが複数の面状光を連続的に投影するステップと、
上記構造光カメラユニットが複数の光パターンメッセージを受信するステップと、
上記複数の光パターンメッセージに従って計算を行って、第３立体画像を取得するステップと、
上記処理装置が、上記第１立体画像および上記第３立体画像を合成し、合成第１立体画像を形成するステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項７】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、
上記第１カメラユニットが第３画像を取得するステップと、
上記第２カメラユニットが第４画像を取得するステップと、
上記処理装置が、上記第３画像、上記第４画像、および上記挟角に従って、上記第２立体画像を示すステップと、
上記処理装置が、上記第２立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断するステップと、
上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記構造光投影モジュールが複数の面状光を連続的に投影するステップと、
上記構造光カメラユニットが複数の光パターンメッセージを受信するステップと、
上記複数の光パターンメッセージに従って計算を行って、第４立体画像を取得するステップと、
上記処理装置が、上記第２立体画像および上記第４立体画像を合成し、合成第２立体画像を形成するステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項８】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、
上記構造光投影モジュールが複数の面状光を連続的に投影するステップと、
上記構造光カメラユニットが複数の光パターンメッセージを受信するステップと、
上記複数の光パターンメッセージに従って計算を行って、上記第１立体画像を取得するステップと、
上記処理装置が、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断するステップと、
上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記第１カメラユニットが第１画像を取得するステップと、
上記第２カメラユニットが第２画像を取得するステップと、
上記処理装置が、上記第１画像、上記第２画像、および上記挟角に従って、第３立体画像を示すステップと、
上記処理装置が、上記第１立体画像および上記第３立体画像を合成し、合成第１立体画像を形成するステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項９】
上記移動車両は立体画像カメラモジュールを備え、上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、
上記構造光投影モジュールが複数の面状光を連続的に投影するステップと、
上記構造光カメラユニットが複数の光パターンメッセージを受信するステップと、
上記複数の光パターンメッセージに従って計算を行って、上記第２立体画像を取得するステップと、
上記処理装置が、上記第２立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断するステップと、
上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記第１カメラユニットが第３画像を取得するステップと、
上記第２カメラユニットが第４画像を取得するステップと、
上記処理装置が、上記第３画像、上記第４画像、および上記挟角に従って、第４立体画像を示すステップと、
上記処理装置が、上記第２立体画像および上記第４立体画像を合成し、合成第２立体画像を形成するステップとをさらに含むことを特徴とする請求項１に記載の深度値に基づいたジェスチャ操作方法。
【請求項１０】
移動車両用の、深度値に基づいたジェスチャ操作システムであって、
第１立体画像および第２画像を取得する立体画像カメラモジュールと、
第１アルゴリズムを行って、上記第１立体画像の複数の深度値がトリガージェスチャを含んでいるか否かを確認し、第２アルゴリズムを行って、上記第２立体画像の複数の深度値がコマンドジェスチャを含んでいるか否かを確認する処理装置とを備え、
上記処理装置は、上記コマンドジェスチャに対応する操作を行うことを特徴とする深度値に基づいたジェスチャ操作システム。
【請求項１１】
上記処理装置は、クラスタ化アルゴリズムを行うことによって、上記移動車両における上記トリガージェスチャの位置を確認し、上記移動車両における上記トリガージェスチャの位置に従って、上記コマンドジェスチャに対応する操作を行うことが許されるか否かを判断し、上記コマンドジェスチャに対応する操作を行うことが許される場合、上記処理装置は、上記コマンドジェスチャに対応する操作を行うことを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１２】
上記立体画像カメラモジュールは第１カメラユニットおよび第２カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、上記処理装置は、上記第１カメラユニットによって取得された第１画像、上記第２カメラユニットによって取得された第２画像、および上記挟角に従って、上記第１立体画像を取得することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１３】
上記立体画像カメラモジュールは第１カメラユニットおよび第２カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、上記処理装置は、上記第１カメラユニットによって取得された第３画像、上記第２カメラユニットによって取得された第４画像、および上記挟角に従って、上記第２立体画像を取得することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１４】
上記立体画像カメラモジュールは構造光投影モジュールおよび構造光カメラユニットを備え、上記構造光投影モジュールは複数の面状光を連続的に投影し、上記構造光カメラユニットは複数の光パターンメッセージを受信し、上記処理装置は、上記複数の光パターンメッセージに従って計算を行って、上記第１立体画像または上記第２立体画像を取得することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１５】
上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、上記処理装置は、上記第１カメラユニットによって取得された第１画像、上記第２カメラユニットによって取得された第２画像、および上記挟角に従って、上記第１立体画像を取得し、上記処理装置は、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断し、上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記構造光投影モジュールは複数の面状光を連続的に投影し、上記構造光カメラユニットは複数の光パターンメッセージを受信し、上記処理装置は、上記複数の光パターンメッセージに従って計算を行って、第３立体画像を取得し、上記処理装置は、上記第１立体画像および上記第３立体画像を合成し、合成第１立体画像を形成することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１６】
上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、上記処理装置は、上記第１カメラユニットによって取得された第３画像、上記第２カメラユニットによって取得された第４画像、および上記挟角に従って、上記第２立体画像を取得し、上記処理装置は、上記第２立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断し、上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記構造光投影モジュールは複数の面状光を連続的に投影し、上記構造光カメラユニットは複数の光パターンメッセージを受信し、上記処理装置は、上記複数の光パターンメッセージに従って計算を行って、第４立体画像を取得し、上記処理装置は、上記第２立体画像および上記第４立体画像を合成し、合成第２立体画像を形成することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１７】
上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、上記構造光投影モジュールは複数の面状光を連続的に投影し、上記構造光カメラユニットは複数の光パターンメッセージを受信し、上記処理装置は、上記複数の光パターンメッセージに従って計算を行って、上記第１立体画像を取得し、上記処理装置は、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断し、上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記処理装置は、上記第１カメラユニットによって取得された第１画像、上記第２カメラユニットによって取得された第２画像、および上記挟角に従って、第３立体画像を取得し、上記処理装置は、上記第１立体画像および上記第３立体画像を合成し、合成第１立体画像を形成することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【請求項１８】
上記立体画像カメラモジュールは第１カメラユニット、第２カメラユニット、構造光投影モジュール、および構造光カメラユニットを備え、上記第１カメラユニットと上記第２カメラユニットとは挟角を成し、上記構造光投影モジュールは複数の面状光を連続的に投影し、上記構造光カメラユニットは複数の光パターンメッセージを受信し、上記処理装置は、上記複数の光パターンメッセージに従って計算を行って、上記第２立体画像を取得し、上記処理装置は、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断し、上記第２立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、上記処理装置は、上記第１カメラユニットによって取得された第３画像、上記第２カメラユニットによって取得された第４画像、および上記挟角に従って、第４立体画像を取得し、上記処理装置は、上記第２立体画像および上記第４立体画像を合成し、合成第２立体画像を形成することを特徴とする請求項１０に記載の深度値に基づいたジェスチャ操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にジェスチャ操作方法に関し、特に、移動車両によって取得された立体画像の深度値における操作ジェスチャを認識することによって操作を行うことが可能な、深度値に基づいたジェスチャ操作方法に関する。
【背景技術】
【０００２】
車は現代家族にとって最も一般的な移動車両である。車の販売会社はさまざまな新型を売り出す。そして、消費者も古い車を徐々に排除する。消費者は、古い車を新しいものに替えた後、さらに移動車両用の、ＧＰＳシステム、タイヤ空気圧監視システム、カーマルチメディア装置、ダッシュボードカメラ、およびヘッドアップディスプレイ等の電子サブシステムをさらに購入する可能性がある。これにより、巨大な消費者市場が実現する。移動車両用電子装置の製造業者も移動車両に適用可能なさまざまな電子装置を開発する。毎年、巨額の利益が生み出されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、近頃は、移動車両は、一般に１つ以上の電子機器を備えている。ユーザーは、現在の使用状況に従って、備え付けられた電子機器をオンまたはオフにすることができる。例えば、運転者は、なじみのある目的地に向かって移動車両を運転している間は、ＧＰＳナビゲーションをオフにすることができる。一方、運転者は、なじみのない場所に向かっている間は、ＧＰＳナビゲーションをオンにして、音楽を流すことができる。あいにく、移動車両内の電子装置の数が増えるにつれて、運転者はより多くの電子機器を同時に操作しなければならない。さらに、運転者はまた、ワイパー、ランプ、および窓等の基本電子装置を操作しなければならない。その結果、運転者は、非常に忙しいため、安全に運転できない恐れがある。
【０００４】
上記の問題を解決するために、移動車両における装置をさらに統合する製造業者もいる。運転者は、車において、タッチスクリーンを通して、システムに統合された装置を操作することができる。これにより、移動車両におけるたいていの装置が運転者によって操作可能となる。それにもかかわらず、このような統合システムの画面は、通常運転者側に配置されている。運転者は、装置を操作しなければならないときはいつも、確実に一時的に目を離す。したがって、この方法は、依然として運転の安全性に対する懸念につながる恐れがある。
【課題を解決するための手段】
【０００５】
本発明は、深度値に基づいたジェスチャ操作方法を提供することを目的とする。立体画像を得た後、アルゴリズムを行って、該立体画像にコマンドジェスチャが含まれているか否かを確認する。その後、上記コマンドジェスチャに対応する操作が行われてもよい。
【０００６】
上記目的および効果を達成するために、本発明の一実施形態によれば、深度値に基づいたジェスチャ操作方法が開示されており、移動車両に適用可能である。上記方法は、第１立体画像を取得するステップと、第１アルゴリズムを行うことによって、上記第１立体画像の複数の深度値がトリガージェスチャを含んでいるか否かを確認するステップと、第２立体画像を取得するステップと、第２アルゴリズムを行うことによって、上記第２立体画像の複数の深度値がコマンドジェスチャを含んでいるか否かを確認するステップと、処理装置が、上記コマンドジェスチャに対応する操作を行うステップとを含む。
【０００７】
本発明の一実施形態によれば、クラスタ化アルゴリズムを用いて、上記移動車両における上記トリガージェスチャの位置を確認する。上記処理装置は、上記移動車両における上記トリガージェスチャの位置に従って、上記コマンドジェスチャに対応する操作を行うことが許されるか否かを判断する。上記コマンドジェスチャに対応する操作を行うことが許される場合、上記処理装置は、上記コマンドジェスチャに対応する操作を行う。
【０００８】
本発明の一実施形態によれば、第１カメラユニットは第１画像を取得し、第２カメラユニットは第２画像を取得する。処理装置は、上記第１画像、上記第２画像、および挟角に従って、第１立体画像を取得する。
【０００９】
本発明の一実施形態によれば、第１カメラユニットは第３画像を取得し、第２カメラユニットは第４画像を取得する。処理装置は、上記第３画像、上記第４画像、および挟角に従って、第２立体画像を取得する。
【００１０】
本発明の一実施形態によれば、構造光投影モジュールは複数の面状光を連続的に投影する。構造光カメラユニットは、複数の光パターンメッセージを受信し、上記光パターンメッセージに従って計算を行って、第１立体画像または第２立体画像を取得する。
【００１１】
本発明の一実施形態によれば、第１カメラユニットは第１画像を取得し、第２カメラユニットは第２画像を取得する。処理装置は、上記第１画像、上記第２画像、および挟角に従って、第１立体画像を取得する。処理装置は、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断する。上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、構造光投影モジュールは複数の面状光を連続的に投影する。構造光カメラユニットは、複数の光パターンメッセージを受信し、上記複数の光パターンメッセージに従って計算を行って、第３立体画像を取得する。上記処理装置は、上記第１立体画像および上記第３立体画像を合成し、合成第１立体画像を形成する。
【００１２】
本発明の一実施形態によれば、第１カメラユニットは第３画像を取得し、第２カメラユニットは第４画像を取得する。処理装置は、上記第３画像、上記第４画像、および挟角に従って、第２立体画像を取得する。処理装置は、上記第２立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断する。上記第２立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、構造光投影モジュールは複数の面状光を連続的に投影する。構造光カメラユニットは、複数の光パターンメッセージを受信し、上記複数の光パターンメッセージに従って計算を行って、第４立体画像を取得する。上記処理装置は、上記第２立体画像および上記第４立体画像を合成し、合成第２立体画像を形成する。
【００１３】
本発明の一実施形態によれば、構造光投影モジュールは複数の面状光を連続的に投影する。構造光カメラユニットは、複数の光パターンメッセージを受信し、上記複数の光パターンメッセージに従って計算を行って、第１立体画像を取得する。処理装置は、上記第１立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断する。上記第１立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、第１カメラユニットは第１画像を取得し、第２カメラユニットは第２画像を取得する。上記処理装置は、上記第１画像、上記第２画像、および挟角に従って、第３立体画像を取得する。さらに、上記処理装置は、上記第１立体画像および上記第３立体画像を合成し、合成第１立体画像を形成する。
【００１４】
本発明の一実施形態によれば、構造光投影モジュールは複数の面状光を連続的に投影する。構造光カメラユニットは、複数の光パターンメッセージを受信し、上記複数の光パターンメッセージに従って計算を行って、第２立体画像を取得する。処理装置は、上記第２立体画像の上記複数の深度値の数が閾値よりも小さいか否かを判断する。上記第２立体画像の上記複数の深度値の数が上記閾値よりも小さい場合、第１カメラユニットは第３画像を取得し、第２カメラユニットは第４画像を取得する。上記処理装置は、上記第３画像、上記第４画像、および挟角に従って、第４立体画像を取得する。さらに、上記処理装置は、上記第２立体画像および上記第４立体画像を合成し、合成第２立体画像を形成する。
【００１５】
また、本発明は、深度値に基づいたジェスチャ操作システムをさらに提供する。上記システムは、立体画像カメラモジュールおよび処理装置を備えている。上記立体画像カメラモジュールは第１立体画像および第２立体画像を取得する。上記処理装置は、第１アルゴリズムを行って、上記第１立体画像の複数の深度値がトリガージェスチャを含んでいるか否かを確認し、第２アルゴリズムを行って、上記第２立体画像の複数の深度値がコマンドジェスチャを含んでいるか否かを確認する。その後、上記処理装置は、上記コマンドジェスチャに対応する操作を行う。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法のフローチャートを示す。
【図２Ａ】本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法のシステム構成図を示す。
【図２Ｂ】上記立体画像カメラモジュールが移動車両に配置されていることを説明するための、本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法のシステム構成図を示す。
【図３】本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法における上記立体画像カメラモジュールの概略図を示す。
【図４】本発明の第２実施形態に係る、深度値に基づいたジェスチャ操作方法における上記立体画像カメラモジュールの概略図を示す。
【図５】面状光の物体への投影を説明するための、本発明の第２実施形態に係る、深度値に基づいたジェスチャ操作方法の概略図を示す。
【図６】本発明の第２実施形態に係る、深度値に基づいたジェスチャ操作方法において上記面状光に含まれる二次元ドットマトリックスの概略図を示す。
【図７】本発明の第３実施形態に係る、深度値に基づいたジェスチャ操作方法のフローチャートを示す。
【図８】本発明の第４実施形態に係る、深度値に基づいたジェスチャ操作方法におけるステップＳ１のフローチャートを示す。
【図９】本発明の第４実施形態に係る、深度値に基づいたジェスチャ操作方法のシステム構成図を示す。
【図１０】本発明の第５実施形態に係る、深度値に基づいたジェスチャ操作方法におけるステップＳ５のフローチャートを示す。
【発明を実施するための形態】
【００１７】
本発明の構造および特性ならびに効果をさらに理解、認識してもらうために、本発明について、各実施形態および添付図面と共に、以下の通り詳細に説明する。
【００１８】
従来技術によれば、運転者が移動車両に備え付けられた装置を操作する際、頻繁にまたは一時的に視線をそらさなければならない、または操作対象の装置が多すぎるため、運転の安全性に影響が及ぶ。したがって、本発明はジェスチャ操作方法を提供する。
【００１９】
以下では、本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法の流れを説明する。本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法のフローチャートを示す図１を参照されたい。同図に示すように、本実施形態に係る、深度値に基づいたジェスチャ操作方法は、以下のステップを含む。
ステップＳ１：第１立体画像を取得するステップ、
ステップＳ３：トリガージェスチャが含まれているか否かを確認するステップ、
ステップＳ５：第２立体画像を取得するステップ、
ステップＳ７：コマンドジェスチャが含まれているか否かを確認するステップ、および
ステップＳ９：上記コマンドジェスチャに対応する操作を行うステップ
以下では、本発明に係る、深度値に基づいたジェスチャ操作方法を実行するのに必要なシステムを説明する。本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法のシステム構成図を示す図２Ａを参照されたい。同図に示すように、本発明に係る、深度値に基づいたジェスチャ操作方法用のシステムは、ジェスチャ制御システム１を備え、このジェスチャ制御システム１は、立体画像カメラモジュール１０および処理装置３０を備えている。
【００２０】
上記ジェスチャ制御システム１は、立体画像カメラモジュール１０が移動車両の内部を撮影するように、該移動車両の中に配置される。言い換えれば、立体画像カメラモジュール１０は、運転者のスペースまたは／および同乗者のスペースを撮影することができる位置に配置される。上記移動車両は、車、トラック、バス、電気自動車等を包含してもよい。
【００２１】
図２Ｂに示すように、本発明の好ましい実施形態によれば、立体画像カメラモジュール１０は、該立体画像カメラモジュールが移動車両の内部を撮影することができるように、該移動車両の中に配置される。
【００２２】
図３に示すように、立体画像カメラモジュール１０は、第１カメラユニット１０１および第２カメラユニット１０３を備えている。第１カメラユニット１０１と第２カメラユニット１０３とは挟角１０５を成す。
【００２３】
上記処理装置３０は、算術演算、論理演算、および画像操作を行うことが可能な電子部品である。
【００２４】
以下では、本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法の流れを説明する。図１〜３を参照されたい。移動車両の中に配置された電子機器を操作する際、ステップＳ１〜Ｓ９が行われる。
【００２５】
第１立体画像を取得するステップＳ１では、第１カメラユニット１０１は第１画像を取得し、第２カメラユニット１０３は第２画像を取得する。処理装置３０は、上記第１画像、上記第２画像、および挟角１０５に従って、第１立体画像を取得する操作を行う。
【００２６】
トリガージェスチャが含まれているか否かを確認するステップＳ３では、処理装置３０は、第１アルゴリズムを行ってトリガージェスチャが上記第１立体画像の複数の深度値に含まれているか否かを確認する。トリガージェスチャが上記第１立体画像の複数の深度値に含まれている場合、ステップＳ５が行われる。一方、トリガージェスチャが上記第１立体画像の複数の深度値に含まれていない場合、ステップＳ１に戻る。上記第１アルゴリズムは、ジェスチャ認識アルゴリズムである。すなわち、処理装置３０は、上記ジェスチャ認識アルゴリズムを用いて、上記第１立体画像における複数の画素の深度値（Ｚ値）に従って、トリガージェスチャが上記第１立体画像に含まれているか否かを確認する。
【００２７】
第２立体画像を取得するステップＳ５では、第１カメラユニット１０１は第３画像を取得し、第２カメラユニット１０３は第４画像を取得する。処理装置３０は、上記第３画像、上記第４画像、および挟角１０５に従って、第２立体画像を取得する操作を行う。
【００２８】
コマンドジェスチャが含まれているか否かを確認するステップＳ７では、処理装置３０は、第２アルゴリズムを行ってコマンドジェスチャが上記第２立体画像の複数の深度値に含まれているか否かを確認する。コマンドジェスチャが上記第２立体画像の複数の深度値に含まれている場合、ステップＳ９が行われる。一方、コマンドジェスチャが上記第２立体画像の複数の深度値に含まれていない場合、ステップＳ５に戻る。上記第２アルゴリズムは、ジェスチャ認識アルゴリズムである。すなわち、処理装置３０は、上記ジェスチャ認識アルゴリズムを用いて、上記第２立体画像における複数の画素の深度値（Ｚ値）に従って、コマンドジェスチャが上記第２立体画像に含まれているか否かを確認する。
【００２９】
上記コマンドジェスチャに対応する操作を行うステップＳ９では、処理装置３０は、上記コマンドジェスチャを認識した後に、上記コマンドジェスチャに対応する操作を行う。例えば、上記コマンドジェスチャがＧＰＳをオンにすることである場合、処理装置３０はＧＰＳをオンにする。また、上記コマンドジェスチャが音響機器をオンにすることである場合、処理装置３０は音響機器をオンにする。
【００３０】
その後、本発明の第１実施形態に係る、深度値に基づいたジェスチャ操作方法は完了する。平面画像を用いたジェスチャ認識方法と比較して、立体画像を用いてジェスチャ認識を行う本発明によれば、より精密に手の輪郭を取得することができるため、より正確なジェスチャ認識を実現することができる。
【００３１】
さらに、平面画像を用いてジェスチャ認識を行う際、ユーザーの手は、平面運動すなわち上下左右運動に限られる。これに対して、立体画像の深度値を用いてジェスチャ認識を行う際、ユーザーの手の三次元運動すなわち前後上下左右運動をさらに認識することができる。これにより、ユーザーは、移動車両に配置された１つ以上の装置を操作するという目的を達成するために、ジェスチャ操作システム１においてより多くのジェスチャを記録することができる。
【００３２】
さらに、本発明によれば、上記コマンドジェスチャを認識する前に、上記トリガージェスチャが最初に認識される。ユーザーは上記トリガージェスチャを最初に行うべきであり、ジェスチャ操作システム１は上記トリガージェスチャを認識することができる。これにより、ユーザーがいつ無意識に手を振っても、ジェスチャ操作システム１による誤動作を防ぐことができる。
【００３３】
以下では、本発明の第２実施形態に係る、深度値に基づいたジェスチャ操作方法を説明する。本発明の第２実施形態に係る、深度値に基づいたジェスチャ操作方法に必要な上記システムを示す図４を参照されたい。本実施形態と第１実施形態とは、本実施形態に係るジェスチャ操作システム１が構造光投影モジュール１０７および構造光カメラユニット１０９を備えている点で異なる。その他は第１実施形態と同一である。したがって、その詳細を再度説明することはしない。
【００３４】
構造光投影モジュール１７は、レーザーユニット１０７１およびレンズセット１０７３を備えている。図５に示すように、構造光源は、制御可能な点状光、線状光、または面状光を物体２の表面に投影する。その後、カメラ等のセンサは反射像を取得する。幾何演算後、上記物体の立体画像が取得される。本発明の一実施形態によれば、コヒーレンスに優れ、減衰が遅く、測定距離が長く、精度が高いという理由で、光源として、不可視レーザーが採用される。さらに、レーザーは他の光源にあまり影響されないため、普通光よりも好ましい。レーザーユニット１０７１によって供給されたレーザーは、レンズセット１０７３を通過した後に広がり、空間に面状光１０７５を形成する。本発明によって採用されたレンズセット１０７３は、パターン化された微細構造を有するパターンレンズを備えていてもよい。これにより、上記貫通レーザーによって形成された上記面状光は、図６に示す二次元光ドットマトリックス等のパターン化された特徴を有することができる。
【００３５】
本実施形態によれば、ステップＳ１およびＳ５では、構造光投影モジュール１０７は、複数の面状光１０７５を、移動車両における１つ以上の物体２の表面に連続的に投影する。その後、構造光カメラユニット１０は、面状光１０７５を投影した後、物体２の表面から反射された複数の光パターンメッセージを取得する。処理装置３０は、受信した複数の光パターンメッセージに従って計算を行って、上記第１立体画像および上記第２立体画像を取得する。
【００３６】
本発明の他の実施形態によれば、上記レーザーの投影距離は、レーザーユニット１０７１の出力を調整することによって、さらに長くまたは短くしてもよい。例えば、レーザーユニット１０７１の出力は、空いたスペースでは大きく、混雑したスペースでは小さくしてもよい。
【００３７】
本発明の第２実施形態に係る、深度値に基づいたジェスチャ操作方法によれば、構造光投影モジュール１０７が構造光を自然発生的に物体２の周囲に投影することができるため、上記方法は、暗いまたは薄暗い環境に適用することができる。
【００３８】
以下では、本発明の第３実施形態に係る、深度値に基づいたジェスチャ操作方法を説明する。図７を参照されたい。本実施形態と第１実施形態とは、本実施形態に係る方法がステップＳ４およびＳ８をさらに含んでいる点で異なる。その他は第１実施形態と同一である。したがって、その詳細を再度説明することはしない。
【００３９】
上記移動車両における上記トリガージェスチャの位置を特定するステップＳ４では、処理３０は、クラスタ化アルゴリズムを行って、上記移動車両における上記トリガージェスチャの位置を特定する。言い換えれば、処理装置３０は、上記クラスタ化アルゴリズム行って、上記移動車両において上記トリガージェスチャを行うユーザーの位置を特定する。例えば、上記トリガージェスチャを行うユーザーは、運転席、助手席、または後部座席にいる。
【００４０】
本発明の一実施形態によれば、上記移動車両において上記トリガージェスチャを行うユーザーの位置を特定した後、ユーザーをさらに識別することができる。例えば、運転席にいるユーザーは運転者であり、助手席にいるユーザーは交代運転者または同乗者であり、後部座席にいるユーザーは同乗者である。
【００４１】
本発明の一実施形態によれば、上記クラスタ化アルゴリズムは、Ｋ平均クラスタ化アルゴリズムまたは他の物体をクラスタ化することが可能なアルゴリズムである。
【００４２】
上記コマンドジェスチャを行うことが許されるか否かを判断するステップＳ８では、処理装置３０は、上記移動車両における上記トリガージェスチャの位置に従って、上記コマンドジェスチャに対応する操作を行うことが許されるか否かを判断する。言い換えれば、処理装置３０は、上記トリガージェスチャを行うユーザーの位置に従って、上記コマンドジェスチャに対応する操作が行われるべきか否かを判断する。
【００４３】
その後、本発明の第３実施形態に係る、深度値に基づいたジェスチャ操作方法は完了する。本実施形態を用いることにより、異なる位置に応じて異なるレベルの許可を与えることができる。例えば、運転者は、ワイパー、カーランプ、およびＧＰＳを操作する許可を得ることができ、交代運転者は、ＧＰＳおよびマルチメディアシステムを操作する許可を得ることができ、同乗者は、マルチメディアシステムを操作することが許される。これにより、運転者の邪魔になる恐れがあるワイパー等の装置をユーザーが無意識に駆動する危険性を低くすることができる。したがって、本発明の安全性は高められる。
【００４４】
次に、本発明の第４実施形態に係る、深度値に基づいたジェスチャ操作方法を説明する。ステップＳ１０１〜Ｓ１０５をさらに含むステップＳ１のフローチャートおよび本発明の第４実施形態に係る、深度値に基づいたジェスチャ操作方法のシステム構成図をそれぞれ示す図８および図９を参照されたい。本実施形態と第１実施形態とは、本実施形態によれば、ステップＳ１の後にステップＳ１０１〜Ｓ１０５がさらに含まれている点で異なる。ジェスチャ操作システム１は、第１カメラユニット１０１、第２カメラユニット１０３、構造光投影モジュール１０７、および構造光カメラユニット１０９を備えている。
【００４５】
第１立体画像を取得するステップＳ１では、第１カメラユニット１０１は第１画像を取得し、第２カメラユニット１０３は第２画像を取得する。処理装置３０は、上記第１画像、上記第２画像、および挟角１０５に従って、第１立体画像を取得する操作を行う。
【００４６】
上記第１立体画像の深度値の値が閾値よりも小さいか否かを判断するステップＳ１０１では、処理装置３０がその判断を行う。上記第１立体画像の深度値の値が閾値よりも小さい場合、ステップＳ１０３が行われる。一方、上記第１立体画像の深度値の値が閾値以上である場合、ステップＳ３に進む。言い換えれば、処理装置３０は、上記第１立体画像の画素をスキャンし、深度値の数を示すために、深度値を含んでいる画素の数の統計を集める。その後、処理装置３０は、深度値の数が閾値よりも小さいか否かを判断する。
【００４７】
第３立体画像を取得するステップＳ１０３では、構造光投影モジュール１０７は、複数の面状光１０７５を、移動車両における１つ以上の物体２の表面に連続的に投影する。その後、構造光カメラユニット１０９は、面状光１０７５を投影した後、物体２の表面から反射された複数の光パターンメッセージを取得する。処理装置３０は、受信した複数の光パターンメッセージに従って計算を行って、上記第３立体画像を取得する。
【００４８】
上記第１立体画像および上記第３立体画像を合成させるステップＳ１０５では、処理装置３０は、画像合成アルゴリズムに従って上記合成を行って、合成第１立体画像を取得する。
【００４９】
その後、ステップＳ３では、上記処理は、第１アルゴリズムに従って、上記合成第１立体画像が上記トリガージェスチャを含んでいるか否かを判断する。
【００５０】
本実施形態によれば、ステップＳ１が行われているとき、上記第１立体画像は、構造光投影モジュール１０７および構造光カメラユニット１０９を用いて取得することもできる。この場合、ステップＳ１０３では、処理装置３０が、第１カメラユニット１０１によって取得された上記第１画像、第２カメラユニット１０３によって取得された上記第２画像、および挟角１０５に従って、上記第３立体画像を取得する操作を行う。
【００５１】
薄暗い場所で第１カメラユニット１０１および第２カメラユニット１０３それぞれによって撮影された上記第１画像および上記第２画像は部分的または全面的に暗く見える恐れがある。そのため、上記の計算された第１立体画像における画素の中には、深度値が含まれていない恐れがある。さらに、明るい環境で構造光投影モジュール１０７および構造光カメラユニット１０９によって取得された上記第１立体画像における上記光パターンメッセージは、光の干渉のため、不完全なものとなる。この状況で、上記の取得された第１立体画像における画素の中には、深度値が含まれていない恐れがある。上記第１立体画像における深度値を含まない画素が多すぎる場合、上記第１アルゴリズムによって、上記第１立体画像が上記トリガージェスチャを含んでいるか否かを確認することは困難である。本実施形態によれば、上記第１立体画像における深度値の数が閾値よりも小さいと判断されるときはいつも、上記第３立体画像がさらに取得され、上記第１立体画像と合成される。作り出された合成第１立体画像は、上記第１アルゴリズムによって、上記合成第１立体画像が上記トリガージェスチャを含んでいるか否かを容易に確認することができる程度の数の深度値を含むことになる。
【００５２】
本実施形態の一実施形態によれば、上記閾値は、上記第１立体画像の画素総数の５０％である。言い換えれば、上記第１立体画像が１０００画素を含んでいる場合、上記閾値は５００である。
【００５３】
次に、本発明の第５実施形態に係る、深度値に基づいたジェスチャ操作方法を説明する。本発明の第５実施形態に係る、深度値に基づいたジェスチャ操作方法においてステップＳ５０１〜Ｓ５０５をさらに含むステップＳ５のフローチャートを示す図１０を参照されたい。本実施形態と第１実施形態とは、本実施形態によれば、ステップＳ５の後にステップＳ５０１〜Ｓ５０５がさらに含まれている点で異なる。本実施形態に係る必要なシステムは、上記第４実施形態に係る必要なシステムと同一である。図９を参照されたい。ジェスチャ操作システム１は、第１カメラユニット１０１、第２カメラユニット１０３、構造光投影モジュール１０７、および構造光カメラユニット１０９を備えている。
【００５４】
第２立体画像を取得するステップＳ５では、第１カメラユニット１０１は第３画像を取得し、第２カメラユニット１０３は第４画像を取得する。処理装置３０は、上記第３画像、上記第４画像、および挟角１０５に従って、第２立体画像を取得する操作を行う。
【００５５】
上記第２立体画像の深度値の値が閾値よりも小さいか否かを判断するステップＳ１０１では、処理装置３０がその判断を行う。上記第２立体画像の深度値の値が閾値よりも小さい場合、ステップＳ５０３が行われる。一方、上記第２立体画像の深度値の値が閾値以上である場合、ステップＳ７に進む。言い換えれば、処理装置３０は、上記第２立体画像の画素をスキャンし、深度値の数を示すために、深度値を含んでいる画素の数の統計を集める。その後、処理装置３０は、深度値の数が閾値よりも小さいか否かを判断する。
【００５６】
第４立体画像を取得するステップＳ５３では、構造光投影モジュール１０７は、複数の面状光１０７５を、移動車両における１つ以上の物体２の表面に連続的に投影する。その後、構造光カメラユニット１０９は、面状光１０７５を投影した後、物体２の表面から反射された複数の光パターンメッセージを取得する。処理装置３０は、受信した複数の光パターンメッセージに従って計算を行って、上記第４立体画像を取得する。
【００５７】
上記第２立体画像および上記第４立体画像を合成させるステップＳ５０５では、処理装置３０は、画像合成アルゴリズムに従って上記合成を行って、合成第２立体画像を取得する。
【００５８】
その後、ステップＳ７では、上記処理は、第２アルゴリズムに従って、上記合成第２立体画像が上記トリガージェスチャを含んでいるか否かを判断する。
【００５９】
本実施形態によれば、ステップＳ５が行われているとき、上記第２立体画像は、構造光投影モジュール１０７および構造光カメラユニット１０９を用いて取得することもできる。この場合、ステップＳ５０３では、処理装置３０が、第１カメラユニット１０１によって取得された上記第３画像、第２カメラユニット１０３によって取得された上記第４画像、および挟角１０５に従って、上記第４立体画像を取得する操作を行う。
【００６０】
本実施形態の一実施形態によれば、上記閾値は、上記第１立体画像の画素総数の５０％である。言い換えれば、上記第２立体画像が１０００画素を含んでいる場合、上記閾値は５００である。
【００６１】
本実施形態の一実施形態によれば、上記第１立体画像は、上記トリガージェスチャの連続ジェスチャを表す連続画像であってもよい。ステップＳ３では、処理装置３０は、第１アルゴリズムおよび隠れマルコフモデルを行って、上記第１立体画像が上記トリガージェスチャを含んでいるか否かを確認する。
【００６２】
本実施形態の一実施形態によれば、上記第１立体画像は、上記トリガージェスチャの連続ジェスチャを表す連続画像であってもよい。ステップＳ３では、処理装置３０は、上記第１アルゴリズムおよび隠れマルコフモデルを行って、上記第１立体画像が上記トリガージェスチャを含んでいるか否かを確認する。
【００６３】
本実施形態の一実施形態によれば、上記複数の光パターンメッセージは、上記複数の面状光を１つ以上の物体から反射させることによって、形成される。
【００６４】
したがって、本発明は、その新規性、非自明性、および有用性により、法的要件に合致している。しかしながら、上述の記載は、本発明の実施形態にすぎず、本発明の範囲および領域を制限するために用いられるのではない。本発明の請求項に記載の形、構造、特徴、または精神に従ってなされた同等の変更または改変は、添付の本発明の請求項に含まれる。
【図１】
2018077839.tif 000003
【図２Ａ】
2018077839.tif 000004
【図２Ｂ】
2018077839.tif 000005
【図３】
2018077839.tif 000006
【図４】
2018077839.tif 000007
【図５】
2018077839.tif 000008
【図６】
2018077839.tif 000009
【図７】
2018077839.tif 000010
【図８】
2018077839.tif 000011
【図９】
2018077839.tif 000012
【図１０】
2018077839.tif 000013