شناخت فعالیت
در دهه‌های گذشته تعداد دوربین‌های فیلم برداری در همه‌ی بخش‌های زندگی بشر افزایش یافت است که در نتیجه‌ی ان حجم ویدئوهای ایجاد شده نیز بسیار زیاد شده‌است. حتی گوشی های همراه هم یک یا چند دوربین دارند . از این رو شناسایی انسان به عنوان عنصر مؤثر و اصلی بسیاری از ویدئوها و درک فعالیت‌های او اهمیت فراوانی دارد. کاربردهایی همچون نام‌گذاری کردن ویدئو بر اساس محتوا و استخراج محتوا، استخراج بخش‌های اساسی و خلاصه کردن ان نیازمند به شناسایی فعالیت‌هایی است که در ان ویدئو اتفاق می افتد. بررسی فعالیت‌های انسانی، شامل محدوده‌ای با کاربردهای فزاینده همچون امنیت، محتوای ویدئو و دسته بندی شخصی است. در سال‌های اخیر کاربردهای جدیدی برای شناخت فعالیت‌های انسانی در ویدئو پیدا شده‌است مثل شاخص‌های رفتاری، امنیت، بررسی ویدئو بر اساس محتوا، سنتز حرکات انسانی برای تعامل با کامپیوترها، بررسی ویدئوهای ورزشی و مراقبت از افراد ناتوان. چالش‌های متفاوتی در مراحل مختلف کار وجود دارد (برای مثال مقاومت در برابر خطا در مراحل اولیه‌ی پردازش، نمایش و ارائه‌ی متغیر با رتبه بندی در مراحل میانی پردازش و ارائه‌ی معنایی فعالیت‌های انسانی در سطح بالای پردازش) که کار را مشکل می سازند. از جمله چالش‌های دیگر برای شناخت فعالیت می‌توان به پس زمینه‌های متفاوت، حجم بالای داده ها، ویدئوها از نمای مختلف و ... اشاره کرد. چالش دیگری که در این مسئله وجود دارد بررسی دیتاست‌هایی است که بر اساس حرکات در دنیای واقعی(نه محیط ازمایشگاهی) انجام می‌شوند.
در واقع شناخت حرکت در انسان خود با کمک دو نوع ورودی مختلف انجام می‌شود. در یک حالت ورودی‌ها از سنسورهایی که در نقاط مختلف بدن نصب می‌شوند دریافت می‌شود. در این حالت بسته به کاربرد تعداد و محل قرارگیری سنسورها متفاوت است. سیستم بازشناسی حرکت بر اساس ورودی سنسوری معمولاً بر این اساس کار می‌کنند که کدام سنسور فعال شده‌است تا یک فعالیت انجام شود. سپس سیستم احتمالات شرطی حاصل از این سنسورها را ترکیب می‌کند تا حرکات مختلف را شناسایی کند و تصمیم بگیرد که چه حرکتی انجام شده‌است. روش دوم برای استخراج ویژگی‌ها با استفاده از دوربین است. شناسایی رفتار انسان، به عنوان یک موضوع تحقیقاتی مؤثر در بینایی کامپیوتری، از سال 1980 مورد پژوهش قرار گرفته‌است. در دهه‌ی گذشته، تحقیقات علمی عمدتاً بر روی یادگیری و تشخیص رفتارها از دنباله‌های ویدئویی به دست آمده از یک دوربین ساده، متمرکز بوده‌است و می‌توان منابع غنی را در طیف وسیعی از رشته‌ها از جمله بینایی کامپیوتری، تشخیص الگو، یادگیری ماشین و پردازش سیگنال یافت. اگر چه در طی تمامی این سال ها، پیشرفت‌های زیادی در زمینه استخراج ویژگی ،بازنمایی ویژگی و کلاس بندی صورت گرفته‌است، اما شناسایی رفتار انسان همچنان یک چالش بزرگ محسوب می‌شود. در این زمینه مشکلات زیادی همچون تغییرپذیری بالای درون کلاسی (انجام یک عمل به صورت‌های مختلف توسط افراد مختلف) و تغییرات پایین میان کلاسی (مانند شباهت عمل نوشیدن و خوردن)، پس زمینه‌های متحرک و پیچیده، حرکت دوربین و زاویه دیدهای متفاوت، وجود دارد. در سال‌های اخیر با کاهش هزینه‌های دسترسی، دوربین‌های ثبت محدوده، مورد استفاده قرار گرفته‌اند. در واقع این دوربین ها، تصاویر دوبعدی عمقی ایجاد می‌کنند به گونه‌ای که هر پیکسل در این تصاویر، نشانگر فاصله آن نقطه از سنسور دوربین است. این دوربین‌ها می‌توانند با مهیا کردن یک توالی از نقشه‌های عمقی، تا حد زیادی مشکلات مزبور را حل کنند. در گذشته با توجه به قیمت بالای این نوع خاص از دوربین ها، استفاده از آن‌ها در این حوزه، بسیار محدود بوده‌است. از سال 2010 میلادی، با انتشار دوربین کینکت شرکت مایکروسافت، امکانی جدید برای رسیدگی به این نوع مسائل فراهم شده‌است. کینکت، یک جریان عمقی و یک جریان رنگی مهیا می‌کند و در فیلدهای گسترده‌ای از جمله تشخیص و ردیابی افراد به کار می‌رود. با توجه به ساختار تصاویر عمقی، می‌توان به توسعه روش‌های مقاوم در برابر تغییرات پس زمینه و زاویه دید امید داشت. البته در سال‌های اخیر شرکت Intel هم سنسور real sense را معرفی کرد که قابلیت‌هایی بالاتر از کینکت ماکروسافت دارد و صنعتی تر است. مثلاً دوربین کینکت در استفاده‌ی طولانی مدت به دلیل بالا رفتن حرارت با مشکل نویز مواجه می‌شود که سنسور real sense از این لحاظ عملکرد بهتری دارد. همچنین باید ذکر شود که فقط این دو سنسور نیستند که در شناخت حرکت کاربرد دارند بلکه در بسیاری از روش‌ها داده‌ها به صورت خام از دوربین گرفته می‌شود که به روش‌های سنگین تری برای استخراج ویژگی‌ها نیاز دارد.