3Dモーションキャプチャと単純なハンドジェスチャによる個人識別所属： 会津大学
職名： 教授
氏名： 愼 重弼

コンピュタ理工学部

コンピュタ理工学科

目次
1. Conventional
technologies and theproblems(従来技術とその問題点)

2. General Descriptionof the Invention(発明内容の概要)

3. Experiment & Result(実験と結果)4. Prospective
Applications

5. Prospective
Market/Business(想定される業界）

6. Challenges for
Practical Use(実用化に向けた課題)

7. Patent Claims(特許請求の範囲)◆Q & A(想定される用途)
2従来技術とその問題点①
従来の技術とその問題点••

テキストベースのパスワードは長く・複雑にするほど覚えるのが困難であり、定期的な更新とその際に新しいパスワードを設定する必要がある（パスワードの再利用を避ける必要がある） 。また、クラッキングによるパスワード漏洩した時のリスクが非常に高い。
指紋や顔などの情報は非常にユニークな情報であるが、最近の３Dプリンタによって写真等の画像から簡単に模倣できてしまう。

３Dモーションキャプチャ（LeapMotion）を用いた他の手法•

ユーザーフレンドリーではなく、覚えずらい。

3

従来技術とその問題点②
Leap Motionを用いた従来の技術の問題点（例１）•Drawing circle with one finger•

Drawing signature [2][1]•Randomly chooses a string [11]これらの手法の問題点• 空中で描くことが難しい。
•

毎回、同じ形を描ける可能性が低い（再現性が低い）

4

従来技術とその問題点③
Leap Motionを用いた従来の技術の問題点（例２）•aLphabets String [6]•Hand gestures corresponding to numbers [7]•Some Defined Gesture [10]これらの手法の問題点• 文字や数字とそれに対応したジェスチャを覚える必要がある。
5

発明内容の概要①Technical Background (新技術概要)•

Leap Motion デバイスによってキャプチャされた生理学的情報と行動情報を利用して、ユーザーの身元を識別する。

•

連続ジェスチャパスワードを実行するのにかかる時間（行動情報）、被験者の指と手のひらの寸法や位置（生理学的情報）、およびパスワード自体（ユーザー自身が定義したジェスチャ）は、高いレベルの識別情報を提供できる。

•

タッチレスであるため、感染症の伝染を防ぐことができる。

6

発明内容の概要②
Features of the New Technology (新技術の特徴)•

Leap Motion センサーは、カメラ上のユーザーの手の動作をキャプチャし、センサー内の 2 台の赤外線カメラと赤外線 LED を使用して、それらを 3D 入力に変換する。

•

すべての指を動かす手の動作を計測することで、個人差が大きく現れることが予想される。 そのため、ジェスチャーは動的である必要がある。

•

Leap Motion センサーは、カメラから指が隠れるとトラッキングが正しく行われないという問題が発生している。 そのため、カメラから隠れてしまうジェスチャを避ける必要がある。

•本研究では、指を隠さずに少スペースですべての指を動かす新しいハンドジェスチャーを考案した。

7

発明内容の概要③
Features of the New Technology (新技術の特徴)•提案するジェスチャ（パスワード）は、シンプルかつ対応関係がわかりやすい（覚えやすい）、信頼できる (偽のジェスチャを作成することはできない)動的ハンドジェスチャに重点を置いている。

図.ハンドジェスチャの種類（４種）

8

発明内容の概要④
Features of the New Technology (新技術の特徴)•

個人識別は、この４種類のジェスチャ（指タッピング）の任意の組み合わせをパスワードとして用いる。

Example Password 1

Example Password 2

9発明内容の概要⑤
Features of the New Technology/Comparison withConventional Technologies（新技術の特徴・従来技術との比較）• この方法は、手のしぐさからその人の特徴が分かるため、情報漏洩のリスクが低い。
• この方法は空中でハンドジェスチャーを行うため、デバイスに触れる必要がない。
• 認証を簡単にするだけでなく、何も考えずに認証できるようにする。
10検証実験(データについて）
対象：２５人パスワード：４桁（任意パターンと統一パターンの２種）
ハンドジェスチャを一人当たりそれぞれ20回記録。
合計サンプル数： 25 x 2 x 20

（収集方法）
LeapMotionデバイスから15~40cm離れた場所でジェスチャを行い、それらを記録した。

11

特徴量について骨の長さなど時間に影響しない特徴（静的特徴：生理学的情報）と、時間と共に変化する各点の座標や点同士の距離（特に、親指の先端と各指の先端との距離）の情報（動的特徴）を算出した。
特に、パスワードの順番や動作を認識しやすくするために、動的特徴は時系列方向に４分割し、それぞれの区間の特徴を算出する。

指先(tip position)

人差し
指中指

薬指小指骨末節骨中節骨

親指基節骨中手骨算出できた特徴量の数は 手のひらの位
置
総数1195個。
手首の位置
腕12特徴量選択と性能評価生成された1195個の特徴量の中で個人識別に有効な特徴量を機械学習（ランダムフォレスト）を用いて、特徴量のランキングを作成する。

個人識別に用いる特徴をランキングが高い順から増やして、使用する特徴量の数と識別精度の推移を調査した。
個人識別で用いる機械学習モデルはサポートベクターマ
シーン。
パラメータの最適化も同時に行った。
検証は５分割クロスバリデーションを用いて、その平均を性能評価とした。
13検証結果
使用する特徴量の数を最小１０個からはじめ、１０個ずつ増やしていくと、１３０個使用した時に、任意パターンで99.8%、統一パターンで99.6%の識別精度を達成した。
使用された特徴量の数

任意パターンでの識別精度

統一パターンでの識別精度

102030405060
708090100
110120130140

95.6
96.8
98.6
98.6
99.6
99.4
99.6
99.4
99.8
99.6
99.6
99.6
99.8
99.8

75.7
78.3
90.5
97.198.1
98.1
98.5
98.5
99.0
99.2
99.4
99.4
99.6
99.6

使用した特徴量と識別精度の推移

14想定される用途◆

警備会社はこのシステムを使用して施設のセキュリティを確保できる。

◆

入国審査所はこのシステムを使用して、よりスマートな国境管理を実施できる。

◆IoT では、家庭やあらゆる組織でのセキュリティ対策の強化と自動アクセス制御が可能になるため、この種のシステムの恩恵を受ける。

◆

このシステムは、Web ベースまたはコンピュータ ベースのシステムにログインするために使用できる。
15

想定される業界① ～ ユーザ/対象者
User/Target•

個人向け✓ 自宅やその他のエリアにアクセスするためにセキュリティを必要とする方。

•組織向け✓ 施設に入る許可を与えるためにタッチレス システムを必要としている方。

•

webサービスプロバイダー向け✓ 特定のサービスへのリモートアクセス✓ メール、ショップサイト、個人の銀行口座等のwebベースのアクセス

16想定される業界② ～ 市場規模
デジタル セキュリティとオンライン保護を必要とする人の割合◆ 現時点では、システムやサービスへのログインを保護するために、すべての人がオンライン保護を必要としている。
◆ ほとんどすべての組織は、認証アクセスを制御するためにセキュリティシステムを使用している。 この種の非接触セキュリティ システムは、新型コロナウイルス感染症 (covid-19) などの感染症の感染拡大を防ぐことができる。

市場規模
セキュリティシステムの活用や自動化（タッチレス）の動向から、市場規模は拡大すると予想される。 そのため、本発明の有効性と価値は増大すると思われる。
17

実用化に向けた課題❑ 現状は、システム利用のためには、LeapMotionデバイスが必須である。
❑ 新規ユーザーの追加時、個人識別モデルの再学習が必要。
❑ パスワードの桁数を全ユーザー合わせる必要がある。
❑ 任意の桁数にすると、どこがパスワードの終わりなのか認識する必要がある。
❑ 認識制度の更なる向上❑ より正確な特徴を抽出し、効率的な機械学習モデルを使用して精度を向上させる。
18

企業への期待▪

非接触のセキュリティシステムを開発予定の企業の方には本技術の導入もしくは、共同研究を期待する。

▪

実用化に向けてアプリ・システムを共同開発してくださる企業。

▪

独自のカメラから骨格推定ができる技術をお持ちの企業。

19

本技術に関する知的財産権について▪

発明の名称：
ユーザ認証プログラム、情報処理装置及びユーザ認証方法

▪

出願番号：
出願人：
発明者：

▪
▪

特願2022-187467
会津大学
Jungpil SHIN, Md AI Mehedi Hasan

20

お問い合わせ先
会津大学
産学官連携コーディネーター 石橋 史朗
ＴＥＬ ０２４２－３７－２７７６
ＦＡＸ ０２４２－３７－２７７８
e-mail ubic-adm@ubic-u-aizu.jp

21

参考文献
[1] Chan, A., Halevi, T., Memon, N. (2015). Leap Motion Controller for Authentication via Hand Geometry and Gestures. In:
Tryfonas, T., Askoxylakis, I. (eds) Human Aspects of Information Security, Privacy, and Trust. HAS 2015. Lecture Notes in
Computer Science(), vol 9190. Springer, Cham. https://doi.org/10.1007/978-3-319-20376-8_2[2] G. Xiao, M. Milanova and M. Xie, "Secure behavioral biometric authentication with leap motion," 2016 4th International
Symposium on Digital Forensic and Security (ISDFS), 2016, pp. 112-118, doi: 10.1109/ISDFS.2016.7473528.
[3] Zhao, J., Tanaka, J. (2019). Hand Gesture Authentication Using Depth Camera. In: Arai, K., Kapoor, S., Bhatia, R. (eds)
Advances in Information and Communication Networks. FICC 2018. Advances in Intelligent Systems and Computing, vol887. Springer, Cham. https://doi.org/10.1007/978-3-030-03405-4_45[4] M. Ataş, "Hand Tremor Based Biometric Recognition Using Leap Motion Device," in IEEE Access, vol. 5, pp. 23320-23326,
2017, doi: 10.1109/ACCESS.2017.2764471.

[5] I. Nigam, M. Vatsa and R. Singh, "Leap signature recognition using HOOF and HOT features," 2014 IEEE International
Conference on Image Processing (ICIP), 2014, pp. 5012-5016, doi: 10.1109/ICIP.2014.7026015.
[6] A. Chahar, S. Yadav, I. Nigam, R. Singh and M. Vatsa, "A Leap Password based verification system," 2015 IEEE 7thInternational Conference on Biometrics Theory, Applications and Systems (BTAS), 2015, pp. 1-6, doi:
10.1109/BTAS.2015.7358745.
[7] Alex Ming Hui Wong, Dae-Ki Kang, "Stationary Hand Gesture Authentication Using Edit Distance on Finger Pointing
Direction Interval", Scientific Programming, vol. 2016, Article ID 7427980, 15 pages, 2016.
https://doi.org/10.1155/2016/7427980[8] Elyoenai Guerra-Segura, Aysse Ortega-Pérez, Carlos M. Travieso, In-air signature verification system using Leap Motion,Expert Systems with Applications, Volume 165, 2021, 113797, ISSN 0957-4174,
https://doi.org/10.1016/j.eswa.2020.113797.
[9] Manabe, T., Yamana, H. (2019). Two-Factor Authentication Using Leap Motion and Numeric Keypad. In: Moallem, A. (eds)
HCI for Cybersecurity, Privacy and Trust. HCII 2019. Lecture Notes in Computer Science(), vol 11594. Springer, Cham.
https://doi.org/10.1007/978-3-030-22351-9_3[10] Kurosu, M. (eds) Human-Computer Interaction. Theories, Methods, and Human Issues. HCI 2018. Lecture Notes inComputer Science(), vol 10901. Springer, Cham. https://doi.org/10.1007/978-3-319-91238-7_43[11] W. Xu, J. Tian, Y. Cao and S. Wang, "Challenge-Response Authentication Using In-Air Handwriting Style Verification," inIEEE Transactions on Dependable and Secure Computing, vol. 17, no. 1, pp. 51-64, 1 Jan.-Feb. 2020, doi:
10.1109/TDSC.2017.2752164.

22

Thank you for your attention

23