التعرف على الإيماءات

تصغير|300px|يتم اكتشاف موقع يد الطفل وحركته بواسطة خوارزمية التعرف على الإيماءات

**التعرف على الإيماءات** هو مجال بحث وتطوير في علوم الكمبيوتر وتكنولوجيا اللغة يهتم بالتعرف على الإيماءات البشرية وتفسيرها. فرع من فروع رؤية الكمبيوتر، يستخدم خوارزميات رياضية لتفسير الإيماءات.

يقدم التعرف على الإيماءات مسارًا لأجهزة الكمبيوتر للبدء في فهم وتفسير  بشكل أفضل، وهو ما لم يكن ممكنًا في السابق من خلال النص أو واجهات المستخدم الرسومية غير المحسنة (GUIs).

يمكن أن تنشأ الإيماءات من أي حركة أو حالة جسدية، ولكنها تنشأ عادة من الوجه أو اليد. أحد مجالات هذا المجال هو التعرف على المشاعر المستمدة من تعبيرات الوجه وإيماءات اليد. يتمكن المستخدمون من إجراء إيماءات بسيطة للتحكم في الأجهزة أو التفاعل معها دون لمسها فعليًا.

تم التوصل إلى العديد من الأساليب باستخدام الكاميرات وخوارزميات الرؤية الحاسوبية لتفسير لغة الإشارة، ومع ذلك فإن التعرف على الوضعية، والمشية، والقرب، والسلوكيات البشرية هو أيضًا موضوع تقنيات التعرف على الإيماءات. 

## نظرة عامة
تصغير|300px|عادةً ما تقوم البرامج الوسيطة بمعالجة التعرف على الإيماءات، ثم ترسل النتائج إلى المستخدم.
يتم تطبيق التعرف على الإيماءات في مجالات مثل:

* السيارات
* الالكترونيات الاستهلاكية
* عبور
* الألعاب
* الأجهزة المحمولة
* الدفاع
* أتمتة المنزل
* الترجمة الآلية للغة الإشارة

يمكن إجراء التعرف على الإيماءات باستخدام تقنيات الرؤية الحاسوبية ومعالجة الصور.

تتضمن الأدبيات العمل الجاري في مجال رؤية الكمبيوتر حول التقاط الإيماءات أو  والحركات البشرية الأكثر عمومية بواسطة الكاميرات المتصلة بجهاز الكمبيوتر.

تم استخدام مصطلح «التعرف على الإيماءات» للإشارة بشكل أضيق إلى رموز الكتابة اليدوية غير المدخلة للنص، مثل الحبر على الجهاز اللوحي الرسومي، وإيماءات اللمس المتعدد، والتعرف على إيماءات الماوس. هذا هو التفاعل بين الكمبيوتر من خلال رسم الرموز باستخدام مؤشر جهاز التأشير. توسع تقنية  نطاق التعرف على الإيماءات الرقمية إلى ما هو أبعد من أجهزة الإدخال التقليدية مثل لوحات المفاتيح والفئران، وتقلل من تأثير الأجهزة على النظام.

## أنواع الإيماءات
في واجهات الكمبيوتر، يتم التمييز بين نوعين من الإيماءات: نأخذ في الاعتبار الإيماءات عبر الإنترنت، والتي يمكن اعتبارها أيضًا عمليات معالجة مباشرة مثل التدرج والتدوير، وعلى النقيض من ذلك، تتم معالجة الإيماءات غير المتصلة بالإنترنت عادةً بعد انتهاء التفاعل؛ على سبيل المثال يتم رسم دائرة لتنشيط قائمة السياق.
* الإيماءات غير المتصلة: هي الإيماءات التي تُعالَج بعد تفاعل المستخدم مع الكائن. مثال على ذلك إيماءة لتفعيل قائمة.
* الإيماءات المتصلة: إيماءات معالجة مباشرة. تُستخدم لتغيير حجم كائن ملموس أو تدويره.

## واجهة بدون لمس
واجهة المستخدم بدون لمس (TUI) هي نوع ناشئ من التكنولوجيا حيث يتم التحكم في الجهاز عن طريق حركة الجسم والإيماءات دون لمس لوحة المفاتيح أو الماوس أو الشاشة.

### أنواع التكنولوجيا بدون لمس
هناك العديد من الأجهزة التي تستخدم هذا النوع من الواجهة مثل الهواتف الذكية وأجهزة الكمبيوتر المحمولة والألعاب وأجهزة التلفزيون ومعدات الموسيقى.

يستخدم أحد أنواع الواجهات التي لا تعمل باللمس اتصال البلوتوث بالهاتف الذكي لتنشيط نظام إدارة الزوار الخاص بالشركة. يؤدي هذا إلى التخلص من الحاجة إلى لمس الواجهة، سواء للراحة أو لتجنب مصدر محتمل للتلوث كما حدث أثناء جائحة كوفيد-19.

## أجهزة الإدخال
يمكن تحقيق القدرة على تتبع حركات الشخص وتحديد الإيماءات التي قد يقوم بها من خلال أدوات مختلفة. واجهات المستخدم الحركية (KUIs) هي نوع ناشئ من واجهات المستخدم التي تسمح للمستخدمين بالتفاعل مع أجهزة الحوسبة من خلال حركة الأشياء والأجسام. تشمل أمثلة  والألعاب التي تعتمد على الحركة مثل وي وكنيكت من مايكروسوفت وغيرها من المشاريع التفاعلية.

على الرغم من وجود قدر كبير من الأبحاث التي أجريت في مجال التعرف على الإيماءات المستندة إلى الصور/الفيديو، إلا أن هناك بعض الاختلافات في الأدوات والبيئات المستخدمة بين التنفيذات.
* القفازات السلكية. تُزوّد هذه القفازات الحاسوب بمعلومات حول موضع ودوران اليدين باستخدام أجهزة تتبع مغناطيسية أو بالقصور الذاتي. علاوة على ذلك، تستطيع بعض القفازات اكتشاف انحناء الأصابع بدقة عالية (5-10 درجات)، أو حتى توفير تغذية راجعة لمسية للمستخدم، وهي محاكاة لحاسة اللمس. كان جهاز داتا جلوفز أول جهاز متوفر تجاريًا يشبه القفازات لتتبع اليد، وهو جهاز يشبه القفازات يمكنه اكتشاف موضع اليد وحركتها وانحناء الأصابع. يستخدم هذا الجهاز كابلات ألياف بصرية تمتد على طول ظهر اليد. تُولّد نبضات ضوئية، وعندما تُثنى الأصابع، يتسرب الضوء من خلال شقوق صغيرة، ويُسجّل فقدان الضوء، مما يُعطي تقديرًا تقريبيًا لوضعية اليد.
* الكاميرات التي تستشعر العمق. باستخدام كاميرات متخصصة، مثل كاميرات الإضاءة المنظمة أو كاميرات زمن الرحلة، يُمكن إنشاء خريطة عمق لما يُرى من خلال الكاميرا على مسافة قصيرة، واستخدام هذه البيانات لتقريب تمثيل ثلاثي الأبعاد لما يُرى. تُعدّ هذه الكاميرات فعّالة في كشف إيماءات اليد بفضل قدرتها على التصوير على مسافة قصيرة.
* كاميرات ستيريو. باستخدام كاميرتين معروفتي العلاقة بينهما، يمكن تقريب تمثيل ثلاثي الأبعاد من خلال مخرجات الكاميرتين. للحصول على علاقاتهما، يمكن استخدام مرجع تحديد المواقع مثل شريط المعجم أو مُصدر الأشعة تحت الحمراء. بالاقتران مع قياس الحركة المباشر (الرؤية سداسية الأبعاد)، يمكن اكتشاف الإيماءات مباشرةً.
* وحدات التحكم القائمة على الإيماءات. تعمل هذه الوحدات كامتداد للجسم، بحيث يمكن للبرنامج التقاط بعض حركات الإيماءات بسهولة. ومن الأمثلة الناشئة على تقنيات التقاط الحركة القائمة على الإيماءات تقنية تتبع حركة اليد الهيكلية، التي تُطور لتطبيقات الواقع المعزز والافتراضي. ومن الأمثلة على هذه التقنية شركتا التتبع يو سينز وجيستيجون، اللتان تتيحان للمستخدمين التفاعل مع محيطهم دون الحاجة إلى وحدات تحكم.
* 
* تتبع إيماءات الفأرة، حيث ترتبط حركة الفأرة برمز ترسمه يد الشخص، والذي يمكنه دراسة تغيرات التسارع بمرور الوقت لتمثيل الإيماءات. كما يعوض البرنامج عن ارتعاش الإنسان والحركة غير المقصودة. يمكن استخدام مستشعرات هذه المكعبات الذكية الباعثة للضوء لاستشعار الأيدي والأصابع، بالإضافة إلى الأشياء الأخرى القريبة، ويمكن استخدامها لمعالجة البيانات. معظم التطبيقات موجودة في الموسيقى وتوليف الصوت، ولكن يمكن تطبيقها في مجالات أخرى.
* **كاميرا واحدة**. يمكن استخدام كاميرا قياسية ثنائية الأبعاد للتعرف على الإيماءات عندما لا تكون الموارد/البيئة مناسبة لأشكال أخرى من التعرف على الصور. كان يُعتقد سابقًا أن الكاميرا الواحدة قد لا تكون بنفس فعالية الكاميرات المجسمة أو كاميرات العمق، لكن بعض الشركات تطعن في هذه النظرية. تقنية التعرف على الإيماءات القائمة على البرامج تستخدم كاميرا قياسية ثنائية الأبعاد قادرة على اكتشاف إيماءات اليد القوية.

## الخوارزميات
اعتمادًا على نوع بيانات الإدخال، يمكن تفسير الإيماءة بطرق مختلفة. ومع ذلك، تعتمد معظم التقنيات على مؤشرات رئيسية مُمثلة في نظام إحداثيات ثلاثي الأبعاد. بناءً على الحركة النسبية لهذه المؤشرات، يمكن اكتشاف الإيماءة بدقة عالية، اعتمادًا على جودة الإدخال ونهج الخوارزمية.

لتفسير حركات الجسم، يجب تصنيفها وفقًا لخصائصها المشتركة والرسالة التي قد تعبر عنها. على سبيل المثال، في لغة الإشارة، تُمثل كل إشارة كلمة أو عبارة.

يميز بعض الأدبيات بين طريقتين مختلفتين في التعرف على الإيماءات: تعتمد على النموذج ثلاثي الأبعاد وتعتمد على المظهر. تعتمد الطريقة الرئيسية على معلومات ثلاثية الأبعاد حول العناصر الرئيسية لأجزاء الجسم للحصول على عدة معايير مهمة، مثل وضع راحة اليد أو زوايا المفاصل. وقد أثبتت المناهج المشتقة منها، مثل النماذج الحجمية، أنها تتطلب قدرات حاسوبية مكثفة، وتتطلب المزيد من التطورات التكنولوجية لتطبيقها في التحليل الفوري. أما الأنظمة القائمة على المظهر، فتستخدم الصور أو مقاطع الفيديو للتفسير المباشر. هذه النماذج أسهل في المعالجة، لكنها تفتقر عادةً إلى الشمولية المطلوبة للتفاعل بين الإنسان والحاسوب.

### خوارزميات تعتمد على نموذج ثلاثي الأبعاد
تصغير|يتم تفسير اليد الحقيقية (يسارًا) كمجموعة من الرؤوس والخطوط في إصدار الشبكة ثلاثية الأبعاد (يمينًا)، ويستخدم البرنامج موقعها النسبي وتفاعلها من أجل استنتاج الإيماءة.

يمكن لمنهج النماذج ثلاثية الأبعاد استخدام نماذج حجمية أو هيكلية، أو حتى مزيج من الاثنين. وقد استُخدمت هذه المناهج بكثافة في صناعة الرسوم المتحركة الحاسوبية ولأغراض الرؤية الحاسوبية. تُنشأ النماذج عادةً من أسطح ثلاثية الأبعاد معقدة، مثل نوربس أو الشبكات المضلعة.

إن العيب في هذه الطريقة هو أنها تتطلب قدرًا كبيرًا من العمليات الحسابية، ولا تزال هناك حاجة إلى تطوير أنظمة للتحليل في الوقت الفعلي. وفي الوقت الحالي، قد يكون النهج الأكثر إثارة للاهتمام هو رسم خريطة لأشياء بدائية بسيطة لأجزاء جسم الشخص الأكثر أهمية (على سبيل المثال، أسطوانات للذراعين والرقبة، وكرة للرأس) وتحليل الطريقة التي تتفاعل بها هذه الأشياء مع بعضها البعض. علاوة على ذلك، قد تكون بعض الهياكل المجردة مثل الأشكال  والأسطوانات المعممة أكثر ملاءمة لتقريب أجزاء الجسم.

### الخوارزميات القائمة على الهيكل العظمي
تصغير|النسخة الهيكلية (على اليمين) تُحاكي اليد (على اليسار) بفعالية. تحتوي هذه النسخة على معلمات أقل من النسخة الحجمية، كما أنها أسهل في الحساب، مما يجعلها مناسبة لأنظمة تحليل الإيماءات في الوقت الفعلي.

بدلاً من المعالجة المكثفة للنماذج ثلاثية الأبعاد والتعامل مع العديد من المعلمات، يُمكن ببساطة استخدام نسخة مُبسطة من معلمات زاوية المفصل مع أطوال القطع. يُعرف هذا بالتمثيل الهيكلي للجسم، حيث يُحسب هيكل عظمي افتراضي للشخص وتُربط أجزاء الجسم بأجزاء مُحددة. يُجرى التحليل هنا باستخدام موقع واتجاه هذه الأجزاء والعلاقة بين كل منها (على سبيل المثال، الزاوية بين المفاصل والموضع أو الاتجاه النسبي).

مزايا استخدام النماذج الهيكلية:
* الخوارزميات أسرع لأنها تُحلل فقط المعلمات الرئيسية.
* مطابقة الأنماط مع قاعدة بيانات القوالب ممكنة.
* استخدام النقاط الرئيسية يُمكّن برنامج الكشف من التركيز على الأجزاء المهمة من الجسم.

### النماذج القائمة على المظهر
تصغير|تُمثل هذه الصور الظلية الثنائية (يسار) أو الخطوط الكنتورية (يمين) مدخلات نموذجية لخوارزميات المظهر. تُقارن هذه الصور بنماذج أيدي مختلفة، وفي حال تطابقها، يُستنتج الإيماءة المقابلة.

لم تعد النماذج القائمة على المظهر تعتمد على التمثيل المكاني للجسم، بل تستمد معلماتها مباشرةً من الصور أو مقاطع الفيديو باستخدام قاعدة بيانات قوالب. يعتمد بعضها على قوالب ثنائية الأبعاد قابلة للتشوه لأجزاء الجسم البشري، وخاصة اليدين. القوالب القابلة للتشوه هي مجموعات من النقاط على محيط الجسم، تُستخدم كعقد استيفاء لتقريب محيط الجسم. إحدى أبسط دوال الاستيفاء هي الدالة الخطية، التي تُنتج شكلًا متوسطًا من مجموعات النقاط، ومعلمات تباين النقاط، والتشوه الخارجي. تُستخدم هذه النماذج القائمة على القالب في الغالب لتتبع اليد، ولكن يمكن استخدامها أيضًا لتصنيف الإيماءات البسيطة.

النهج الثاني في اكتشاف الإيماءات باستخدام النماذج القائمة على المظهر يستخدم تسلسلات الصور كقوالب للإيماءات. معلمات هذه الطريقة هي إما الصور نفسها، أو بعض الميزات المستمدة منها. في معظم الأحيان، يتم استخدام منظر واحد (أحادي المنظار) أو منظرين (مجسمين).

### نماذج تعتمد على تخطيط كهربية العضلات
يهتم تخطيط كهربية العضلات (EMG) بدراسة الإشارات الكهربائية التي تنتجها العضلات في الجسم. من خلال تصنيف البيانات المستلمة من عضلات الذراع، من الممكن تصنيف الفعل وبالتالي إدخال الإشارة إلى برنامج خارجي.  تتيح أجهزة EMG للمستهلكين استخدام أساليب غير جراحية مثل استخدام شريط على الذراع أو الساق والاتصال عبر البلوتوث. بفضل هذا، تتمتع تقنية EMG بميزة على الطرق البصرية حيث لا يحتاج المستخدم إلى مواجهة الكاميرا لتقديم المدخلات، مما يتيح المزيد من حرية الحركة.

## التحديات
هناك العديد من التحديات المرتبطة بدقة وفائدة التعرف على الإيماءات والبرمجيات المصممة لتنفيذه. بالنسبة للتعرف على الإيماءات المستندة إلى الصور، هناك قيود على المعدات المستخدمة و. قد لا تكون الصور أو مقاطع الفيديو تحت إضاءة متسقة، أو في نفس الموقع. قد تؤدي العناصر الموجودة في الخلفية أو السمات المميزة للمستخدمين إلى جعل التعرف عليهم أكثر صعوبة.

إن تنوع تطبيقات التعرف على الإيماءات المستندة إلى الصور قد يتسبب أيضًا في حدوث مشكلات تتعلق بإمكانية استخدام التكنولوجيا بشكل عام. على سبيل المثال، قد لا تعمل الخوارزمية المعايرة لكاميرا واحدة مع كاميرا أخرى. وتتسبب كمية الضوضاء الخلفية أيضًا في صعوبات في التتبع والتعرف، وخاصةً عندما تحدث الانسدادات (الجزئية والكاملة). علاوة على ذلك، فإن المسافة من الكاميرا، ودقة الكاميرا وجودتها، تسبب أيضًا اختلافات في دقة التعرف.

من أجل التقاط الإيماءات البشرية بواسطة أجهزة الاستشعار البصرية، هناك حاجة أيضًا إلى طرق رؤية كمبيوترية قوية، على سبيل المثال لتتبع اليد والتعرف على وضعية اليد أو لالتقاط حركات الرأس أو تعبيرات الوجه أو اتجاه النظر.

### القبول الاجتماعي
أحد التحديات الرئيسية التي تواجه اعتماد واجهات الإيماءات على الأجهزة المحمولة الاستهلاكية، مثل الهواتف الذكية والساعات الذكية، ينبع من آثار القبول الاجتماعي للإدخال الإيمائي. فبينما تُسهّل الإيماءات الإدخال السريع والدقيق على العديد من أجهزة الكمبيوتر الحديثة، إلا أن اعتمادها وفائدتها غالبًا ما يكونان محدودين بعوامل اجتماعية أكثر من العوامل التقنية. ولهذا الغرض، قد يسعى مصممو أساليب الإدخال الإيمائي إلى الموازنة بين الاعتبارات التقنية واستعداد المستخدم لأداء الإيماءات في سياقات اجتماعية مختلفة. بالإضافة إلى ذلك، تدعم أجهزة الأجهزة المختلفة وآليات الاستشعار أنواعًا مختلفة من الإيماءات التي يمكن التعرف عليها.

#### الجهاز المحمول
غالبًا ما يتم دعم واجهات الإيماءات على الأجهزة المحمولة والأجهزة ذات الشكل الصغير من خلال وجود أجهزة استشعار الحركة مثل وحدات القياس بالقصور الذاتي (IMUs). في هذه الأجهزة، يعتمد استشعار الإيماءات على قيام المستخدمين بأداء إيماءات تعتمد على الحركة والتي يمكن التعرف عليها بواسطة أجهزة استشعار الحركة هذه. قد يؤدي هذا إلى جعل التقاط الإشارات من الإيماءات الدقيقة أو منخفضة الحركة أمرًا صعبًا، حيث قد يصبح من الصعب التمييز بينها وبين الحركات الطبيعية أو الضوضاء. من خلال دراسة استقصائية حول قابلية استخدام الإيماءات، وجد الباحثون أن الإيماءات التي تتضمن حركة دقيقة، والتي تبدو مشابهة للتكنولوجيا الموجودة، وتبدو أو تشعر بأنها مشابهة لكل فعل، وممتعة، كانت أكثر عرضة للقبول من قبل المستخدمين، في حين أن الإيماءات التي تبدو غريبة، أو غير مريحة للأداء، أو تتداخل مع الاتصال، أو تنطوي على حركة غير عادية تسببت في أن يرفض المستخدمون استخدامها. تعتمد القبول الاجتماعي لإيماءات الأجهزة المحمولة بشكل كبير على طبيعية الإيماءة والسياق الاجتماعي.

#### أجهزة الكمبيوتر المحمولة والقابلة للارتداء
تختلف أجهزة الكمبيوتر القابلة للارتداء عادةً عن الأجهزة المحمولة التقليدية في أن مكان استخدامها وتفاعلها يحدث على جسم المستخدم. في هذه السياقات، قد تصبح واجهات الإيماءات مفضلة على طرق الإدخال التقليدية، لأن حجمها الصغير يجعل شاشات اللمس أو لوحات المفاتيح أقل جاذبية. ومع ذلك، فإنها تشترك في العديد من العقبات الاجتماعية نفسها التي تواجهها الأجهزة المحمولة عندما يتعلق الأمر بالتفاعل الإيمائي. ومع ذلك، فإن إمكانية إخفاء أجهزة الكمبيوتر القابلة للارتداء عن الأنظار أو دمجها في أشياء أخرى يومية، مثل الملابس، تسمح بإدخال الإيماءات لمحاكاة تفاعلات الملابس الشائعة، مثل ضبط ياقة القميص أو فرك الجيب الأمامي للبنطال. أحد الاعتبارات الرئيسية للتفاعل مع أجهزة الكمبيوتر القابلة للارتداء هو موقع وضع الجهاز والتفاعل معه. توصلت دراسة استكشفت مواقف الأطراف الثالثة تجاه تفاعل الأجهزة القابلة للارتداء والتي أجريت في جميع أنحاء الولايات المتحدة وكوريا الجنوبية إلى اختلافات في تصور استخدام الحوسبة القابلة للارتداء بين الذكور والإناث، ويرجع ذلك جزئيًا إلى مناطق مختلفة من الجسم تعتبر حساسة اجتماعيًا. توصلت دراسة أخرى تبحث في القبول الاجتماعي للواجهات المرسومة على الجسم إلى نتائج مماثلة، حيث وصفت الدراستان المناطق حول الخصر والفخذ والجزء العلوي من الجسم (بالنسبة للنساء) بأنها الأقل قبولاً بينما وصفت المناطق حول الساعد والمعصم بأنها الأكثر قبولاً.

#### المنشآت العامة
تسمح المنشآت العامة، مثل العروض العامة التفاعلية، بالوصول إلى المعلومات وتعرض الوسائط التفاعلية في الأماكن العامة مثل المتاحف والمعارض والمسارح. في حين أن شاشات اللمس هي شكل متكرر من أشكال الإدخال للعروض العامة، فإن واجهات الإيماءات توفر فوائد إضافية مثل تحسين النظافة، والتفاعل من مسافة بعيدة، وتحسين القدرة على الاكتشاف، وقد تفضل التفاعل الأدائي. أحد الاعتبارات المهمة للتفاعل الإيمائي مع العروض العامة هو الاحتمالية العالية أو توقعات الجمهور المتفرج.

### التعب
كان إرهاق الذراع أحد الآثار الجانبية لاستخدام شاشات اللمس أو القلم الضوئي الموجه رأسيًا. مع الاستخدام المطول، بدأ المستخدمون يشعرون بالتعب و/أو عدم الراحة في أذرعهم. ساهم هذا التأثير في تراجع استخدام شاشات اللمس على الرغم من شعبيتها الأولية في ثمانينيات القرن العشرين.

من أجل قياس الآثار الجانبية لإرهاق الذراع، قام الباحثون بتطوير تقنية تسمى «التحمل المستهلك».

## انظر أيضًا
* تعرف الأفعال

## المراجع

## وصلات خارجية

* قائمة المراجع الموضحة حول الحوسبة بالإيماءات والقلم
* ملاحظات حول تاريخ الحوسبة القائمة على القلم (يوتيوب)
* المستقبل، كل ذلك عبارة عن إيماءة—واجهات الإيماءات وألعاب الفيديو
* إعلان فورد التفاعلي بالإيماءات—الإيماءات المستخدمة للتفاعل مع اللافتات الرقمية
* تتبع اليد ثلاثي الأبعاد—دراسة استقصائية للأدبيات

*
تصنيف:تطبيقات في رؤية حاسوبية
تصنيف:واقع افتراضي
تصنيف:تمييز الأشياء وتبويب
تصنيف:تقنيات واجهة المستخدم
تصنيف:تاريخ التفاعل بين الإنسان والحاسوب
تصنيف:لغويات حاسوبية