Recoñecemento de actividades

O recoñecemento de actividades, tamén chamado recoñecemento de accións, ten como meta recoñecer as accións e os obxectivos dun ou máis axentes a partir dunha serie de observacións sobre as actuacións dos axentes e as condicións ambientais. Dende a década de 1980, este campo de investigación captou a atención de varias comunidades da ciencia da computación debido á súa forza á hora de proporcionar soporte personalizado para moitas aplicacións diferentes e á súa conexión con moitos campos de estudo diferentes, como a medicina, a interacción persoa-computadora ou a socioloxía.
Debido á súa natureza multifacética, hai moitas denominacións para o recoñecemento de actividades, e en diferentes campos poden referirse a el como recoñecemento de plans, recoñecemento de obxectivos, recoñecemento de intencións ou recoñecemento de comportamentos, entre outras. Tipos
Recoñecemento de actividades dun só usuario baseado en sensores
O recoñecemento de actividades baseado en sensores integra a área emerxente das redes de sensores con novas técnicas de minería de datos e aprendizaxe automática para modelar unha ampla gama de actividades humanas. Os dispositivos móbiles (por exemplo, os teléfonos intelixentes) proporcionan datos de sensores e potencia de cálculo suficientes para permitir o recoñecemento da actividade física e proporcionar unha estimación do consumo de enerxía durante a vida cotiá. Os investigadores do recoñecemento de actividades baseado en sensores cren que ao capacitar ordenadores e sensores ubicuos para monitorizar o comportamento dos axentes (baixo o consentimento), estes ordenadores estarán máis axeitados para actuar no noso nome. Os sensores visuais que incorporan información sobre cor e profundidade, como o Kinect, permiten un recoñecemento automático de accións máis preciso e fusionan moitas aplicacións emerxentes como a educación interactiva e as contornas intelixentes. As múltiples vistas do sensor visual permiten o desenvolvemento da aprendizaxe automática para o recoñecemento automático de accións invariables á vista. Os sensores máis avanzados empregados nos sistemas de captura de movemento en 3D permiten un recoñecemento automático moi preciso, a custo dunha configuración de sistemas hardware máis complicada.
Niveis de recoñecemento de actividades baseado en sensores
O recoñecemento de actividades baseado en sensores é unha tarefa complexa debido á natureza ruidosa inherente da entrada. Polo tanto, a modelización estatística foi o principal impulso nesta dirección por capas, onde se realiza e conecta o recoñecemento en varios niveis intermedios. No nivel máis baixo onde se recollen os datos dos sensores, a aprendizaxe estatística céntrase en como atopar as localizacións detalladas dos axentes a partir dos datos do sinal recibidos. A un nivel intermedio, a inferencia estatística preocúpase por como recoñecer as actividades dos individuos a partir das secuencias de localización inferidas e as condicións ambientais nos niveis inferiores. Ademais, no nivel máis alto, unha preocupación principal é descubrir o obxectivo ou subobxectivos xerais dun axente a partir das secuencias de actividades mediante unha mestura de razoamento lóxico e estatístico.
Recoñecemento de actividades multiusuario baseado en sensores
O recoñecemento de actividades para varios usuarios mediante sensores corporais apareceu por primeira vez no traballo de ORL a principios da década dos 90. Empregáronse outras tecnoloxías de sensores, como os sensores de aceleración, para identificar patróns de actividade grupal durante escenarios de oficina. As actividades de varios usuarios en contornas intelixentes son abordadas en Gu et al. Neste traballo investigan o problema fundamental de recoñecer as actividades de varios usuarios a partir das lecturas dos sensores nunha contorna doméstica e propoñen unha nova estratexia de minería de patróns para recoñecer tanto as actividades dun só usuario como as de varios usuarios nunha solución unificada.
Recoñecemento de actividades en grupo baseado en sensores
O recoñecemento de actividades en grupo é fundamentalmente diferente do recoñecemento de actividades dun ou varios usuarios, xa que o obxectivo é recoñecer o comportamento do grupo como entidade, en lugar das actividades dos membros individuais que o forman. O comportamento grupal é de natureza emerxente, o que significa que as propiedades do comportamento do grupo son fundamentalmente diferentes das propiedades do comportamento dos individuos que o forman ou de calquera suma dese comportamento. Os principais desafíos residen en modelar o comportamento dos membros individuais do grupo, así como os roles do individuo dentro da dinámica do grupo e a súa relación co comportamento emerxente do grupo en paralelo. Entre os desafíos que aínda deben abordarse inclúense a cuantificación do comportamento e os roles dos individuos que se unen ao grupo, a integración de modelos explícitos para a descrición de roles en algoritmos de inferencia e as avaliacións de escalabilidade para grupos e multitudes moi grandes. O recoñecemento de actividades grupais ten aplicacións para a xestión de multitudes e a resposta en situacións de emerxencia, así como para redes sociais e aplicacións de autocuantificación. Enfoques
Recoñecemento de actividades mediante a lóxica e o razoamento
As aproximacións baseadas na lóxica rexistran tódalas explicacións loxicamente coherentes das accións observadas. Polo tanto, débense considerar todos os plans ou obxectivos posibles e coherentes. Kautz proporcionou unha teoría formal do recoñecemento de plans. Describiu o recoñecemento de plans como un proceso de inferencia lóxica de circunscrición. Todas as accións e plans denomínanse uniformemente obxectivos, e o coñecemento dun recoñecedor represéntase mediante un conxunto de declaracións de primeira orde, chamado xerarquía de eventos. A xerarquía de eventos está codificada na lóxica de primeira orde, que define a abstracción, a descomposición e as relacións funcionais entre os tipos de eventos.
O marco xeral de Kautz para o recoñecemento de plans ten unha complexidade temporal exponencial no peor dos casos, medida no tamaño da xerarquía de entrada. Lesh e Etzioni foron un paso máis alá e presentaron métodos para ampliar o recoñecemento de obxectivos para ampliar computacionalmente o seu traballo. En contraste coa abordaxe de Kautz, onde a biblioteca de plans se representa explicitamente, a abordaxe de Lesh e Etzioni permite a construción automática de bibliotecas de plans a partir de primitivas de dominio. Ademais, introduciron representacións compactas e algoritmos eficientes para o recoñecemento de obxectivos en grandes bibliotecas de plans.
Os plans e obxectivos inconsistentes son podados repetidamente cando chegan novas accións. Ademais, tamén presentaron métodos para adaptar un recoñecedor de obxectivos para xestionar o comportamento idiosincrásico individual dada unha mostra do comportamento recente dun individuo. Pollack et al. describiron un modelo de argumentación directa que pode coñecer a forza relativa de varios tipos de argumentos a favor da descrición da crenza e da intención.
Un problema grave das aproximacións baseadas na lóxica é a súa incapacidade ou inviabilidade inherente para representar a incerteza. Non ofrecen ningún mecanismo para preferir unha estratexia consistente a outra e son incapaces de decidir se un plan en particular é máis probable que outro, sempre que ambos poidan ser o suficientemente consistentes como para explicar as accións observadas. Tamén hai unha falta de capacidade de aprendizaxe asociada cos métodos baseados na lóxica.
Outra aproximación para o recoñecemento de actividades baseado na lóxica é usar o razoamento de fluxo baseado na programación de conxuntos de respostas, que usa restricións débiles para modelar un grao de ambigüidade/incerteza. Aplicouse ao recoñecemento de actividades para aplicacións relacionadas coa saúde.
Recoñecemento de actividades mediante razoamento probabilístico
A teoría da probabilidade e os modelos de aprendizaxe estatística fóronse aplicando cada vez máis no recoñecemento de actividades para razoar sobre accións, plans e obxectivos baixo incerteza. Na literatura houbo varias aproximacións que representan explicitamente incerteza en razoar sobre os plans e os obxectivos dun axente.
Usando datos de sensores como entrada, Hodges e Pollack deseñaron sistemas baseados na aprendizaxe automática para identificar individuos mentres realizan actividades cotiás, como facer café. O Intel Research Lab (Seattle) e a Universidade de Washington en Seattle realizaron algúns traballos importantes sobre o uso de sensores para detectar plans humanos. Algúns destes traballos deducen os modos de transporte de usuarios a partir de lecturas de identificadores de radiofrecuencia (RFID) e sistemas de posicionamento global (GPS).
Demostrouse que o uso de modelos probabilísticos temporais ten un bo rendemento no recoñecemento de actividades e, en xeral, supera os modelos non temporais. Os modelos xerativos como o Modelo Oculto de Markov (HMM) e as Redes Bayesianas Dinámicas (DBN), formuladas de forma máis xeral, son opcións populares para modelar actividades a partir de datos de sensores. Os modelos discriminativos como os campos aleatorios condicionais (CRF) tamén se aplican habitualmente e ofrecen un bo rendemento no recoñecemento de actividades.
Tanto os modelos xerativos como os discriminativos teñen as súas vantaxes e os seus inconvenientes, e a elección ideal depende da súa área de aplicación. Aquí pódese atopar un conxunto de datos xunto con implementacións de varios modelos populares (HMM, CRF) para o recoñecemento de actividades.
Os modelos probabilísticos temporais convencionais, como o modelo oculto de Markov (HMM) e o modelo de campos aleatorios condicionais (CRF), modelan directamente as correlacións entre as actividades e os datos observados dos sensores. Na segunda e terceira década dos anos 2000, as evidencias crecentes apoiaban o uso de modelos xerárquicos que teñen en conta a rica estrutura xerárquica que existe nos datos de comportamento humano. A idea central aquí é que o modelo non correlaciona directamente as actividades cos datos dos sensores, senón que divide a actividade en subactividades (ás veces denominadas accións) e modela as correlacións subxacentes en consecuencia. Un exemplo podería ser a actividade de preparar un salteado, que se pode dividir nas subactividades ou accións de cortar verduras, fritilas nunha tixola e servilas nun prato. Exemplos dun modelo xerárquico deste tipo son os modelos ocultos de Markov en capas (LHMM) e o modelo oculto de Markov xerárquico (HHMM), que demostraron superar significativamente a súa contraparte non xerárquica no recoñecemento de actividades.
Enfoque baseado na minería de datos para o recoñecemento de actividades
A diferenza das abordaxes tradicionais da aprendizaxe automática, propúxose unha aproximación baseada na minería de datos. No traballo de Gu et al. , o problema do recoñecemento de actividades formúlase como un problema de clasificación baseado en patróns. Propuxeron unha abordaxe de minería de datos baseada en patróns discriminativos que describen cambios significativos entre dúas clases de actividade de datos para recoñecer actividades secuenciais, entrelazadas e simultáneas nunha solución unificada. Gilbert et al. usan ángulos 2D tanto no espazo como no tempo. Estes agrúpanse espacial e temporalmente mediante un proceso xerárquico, cunha área de busca crecente. En cada etapa da xerarquía, as características máis distintivas e descritivas apréndense de forma eficiente mediante a minería de datos (regra de Apriori).
Recoñecemento de actividades baseado na visión
O recoñecemento de actividades baseado na localización tamén pode usar datos obtidos de GPS para cumprir co seu propósito. Uso de sensores
Recoñecemento de actividades baseado na visión
É un problema moi importante e desafiante rastrexar e comprender o comportamento dos axentes a través de vídeos gravados por varias cámaras. A técnica principal empregada é a visión por computador. O recoñecemento de actividades baseado na visión atopou moitas aplicacións como a interacción home-computadora, o deseño de interfaces de usuario, a aprendizaxe de robots e a vixilancia, entre outras. Algunhas das conferencias científicas onde se adoitan traballar no recoñecemento de actividades baseado na visión son o ICCV e o CVPR.
No recoñecemento de actividades baseado na visión realizouse moito traballo. Os investigadores tentaron varios métodos como o fluxo óptico, o filtrado de Kalman, os modelos ocultos de Markov, etc. , baixo diferentes modalidades como cámara única, estéreo e infravermellos. Ademais, os investigadores consideraron múltiples aspectos sobre este tema, incluíndo o seguimento de peóns individuais, o seguimento de grupos e a detección da caída de obxectos.
Algúns investigadores empregaron cámaras RGBD como Microsoft Kinect para detectar actividades humanas. As cámaras de profundidade engaden unha dimensión adicional, é dicir, unha profundidade que a cámara 2D normal non proporciona. A información sensorial destas cámaras de profundidade empregouse para xerar modelos esqueléticos en tempo real de humanos con diferentes posicións corporais. Esta información básica proporciona información significativa que os investigadores empregaron para modelar actividades humanas que son adestradas e posteriormente utilizadas para recoñecer actividades descoñecidas.
Co auxe da aprendizaxe profunda, o recoñecemento de actividades baseado en vídeo RGB experimentou un rápido desenvolvemento. Emprega vídeos capturados por cámaras RGB como entrada e realiza varias tarefas, entre elas: clasificación de vídeos, detección do inicio e o final da actividade nos vídeos e localización espazo-temporal da actividade e das persoas que a realizan. Os métodos de estimación de poses permiten extraer características esqueléticas máis representativas para o recoñecemento de accións. Dito isto, descubriuse que o recoñecemento de accións baseado na aprendizaxe profunda pode sufrir ataques adversarios, nos que un atacante altera a entrada de forma insignificante para enganar un sistema de recoñecemento de accións.
Malia o notable progreso do recoñecemento de actividades baseado na visión, o seu uso para a maioría das aplicacións de vixilancia visual reais segue sendo en 2025 unha aspiración distante. Pola contra, o cerebro humano parece ter perfeccionada a capacidade de recoñecer as accións humanas. Esta capacidade non só se basea nos coñecementos adquiridos, senón tamén na aptitude para extraer información relevante para un contexto dado e no razoamento lóxico. Baseándose nesta observación, propúxose mellorar os sistemas de recoñecemento de actividades baseados na visión integrando o razoamento de sentido común e o coñecemento contextual e de sentido común.
Recoñecemento xerárquico da actividade humana (HAR)
O recoñecemento xerárquico da actividade humana é unha técnica dentro da visión por computadora e da aprendizaxe automática. O seu obxectivo é identificar e comprender as accións ou comportamentos humanos a partir de datos visuais. Este método implica estruturar as actividades xerarquicamente, creando un marco que representa as conexións e interdependencias entre varias accións. As técnicas HAR pódense usar para comprender as correlacións de datos e os fundamentos dos modelos para mellorar os modelos, para equilibrar a precisión e as preocupacións sobre a privacidade en áreas de aplicación sensibles e para identificar e xestionar etiquetas triviais que non teñen relevancia en casos de uso específicos.
Niveis de recoñecemento de actividades baseado na visión
No recoñecemento de actividades baseado na visión, o proceso computacional adoita dividirse en catro pasos: a detección humana, o seguimento humano, o recoñecemento da actividade humana e unha avaliación da actividade de alto nivel.
Localización de accións precisas
No recoñecemento de actividades baseado en visión por computador, a localización de accións precisas adoita proporcionar máscaras de segmentación por imaxe que delinean o obxecto humano e a súa categoría de acción (por exemplo, Segment-Tube). Técnicas como as redes de Markov dinámicas, as redes neurais convolucionais e a LSTM empréganse a miúdo para explotar as correlacións semánticas entre fotogramas de vídeo consecutivos. As características xeométricas de granularidade fina, como as caixas delimitadoras obxectivas e as poses humanas, facilitan o recoñecemento de actividades cunha rede neural de grafos.
Recoñecemento automático segundo a forma de andar
Unha forma de identificar persoas específicas é por como camiñan. O software de recoñecemento da marcha pódese empregar para rexistrar a forma de andar ou o perfil das características da marcha dunha persoa nunha base de datos co fin de recoñecela máis tarde, mesmo se leva un disfrace.
Recoñecemento de actividades baseado en wifi
Cando o recoñecemento de actividades se realiza en interiores e cidades utilizando os sinais wifi e os puntos de acceso 802. 11 amplamente dispoñibles, hai moito ruído e incerteza. Estas incertezas pódense modelar mediante un modelo de rede bayesiana dinámico. Nun modelo de obxectivos múltiples que pode razoar sobre os obxectivos entrelazados do usuario, aplícase un modelo de transición de estado determinista. Outro posible método modela as actividades simultáneas e entrelazadas nunha abordaxe probabilística. Un modelo de descubrimento de accións do usuario podería segmentar os sinais wifi para producir posibles accións.
Modelos básicos de recoñecemento con wifi
Unha das ideas principais sobre o recoñecemento da actividade wifi é que cando o sinal atravesa o corpo humano durante a transmisión, isto provoca reflexión, difracción e dispersión. Os investigadores poden obter información destes sinais para analizar a actividade do corpo humano.
Modelo de transmisión estática
Como se mostra en, cando se transmiten sinais sen fíos en interiores, os obstáculos como paredes, o chan e o corpo humano provocan varios efectos como reflexión, dispersión, difracción e difracción. Polo tanto, o extremo receptor recibe varios sinais de diferentes rutas ao mesmo tempo, porque as superficies reflicten o sinal durante a transmisión, o que se coñece como efecto de traxectoria múltiple.
O modelo estático baséase nestes dous tipos de sinais: o sinal directo e o sinal reflectido. Dado que non hai ningún obstáculo na traxectoria directa, a transmisión directa do sinal pódese modelar mediante a ecuación de transmisión de Friis: P r
P t G t G r λ 2 ( 4 π ) 2 d 2 {\displaystyle P_{r}
{\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}d^{2}}}} P t {\displaystyle P_{t}} é a potencia subministrada aos terminais de entrada da antena transmisora; P r {\displaystyle P_{r}} é a potencia dispoñible nos terminais de saída da antena receptora; d {\displaystyle d} é a distancia entre as antenas; G t {\displaystyle G_{t}} é a ganancia da antena transmisora; G r {\displaystyle G_{r}} é a ganancia da antena receptora; λ {\displaystyle \lambda } é a lonxitude de onda da radiofrecuencia.
Se consideramos o sinal reflectido, a nova ecuación é: P r
P t G t G r λ 2 ( 4 π ) 2 ( d + 4 h ) 2 {\displaystyle P_{r}
{\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}(d+4h)^{2}}}} h {\displaystyle h} é a distancia entre os puntos de reflexión e a traxectoria directa.
Cando aparece un humano, temos unha nova ruta de transmisión. Polo tanto, a ecuación final é: P r
P t G t G r λ 2 ( 4 π ) 2 ( d + 4 h + Δ ) 2 {\displaystyle P_{r}
{\frac {P_{t}G_{t}G_{r}\lambda ^{2}}{(4\pi )^{2}(d+4h+\Delta )^{2}}}} Δ {\displaystyle \Delta } é a diferenza aproximada da ruta xerada polo corpo humano.
Modelo de transmisión dinámica
Neste modelo, consideramos o movemento humano, que fai que a ruta de transmisión do sinal cambie continuamente. Podemos usar o efecto Doppler para describir este efecto, que está relacionado coa velocidade do movemento. Δ f
2 v cos ⁡ θ c f {\displaystyle \Delta f
{\frac {2v\cos \theta }{c}}f} Ao calcular o desprazamento Doppler do sinal receptor, podemos descubrir o patrón do movemento, identificando así mellor a actividade humana. Por exemplo, en, o desprazamento Doppler úsase como pegada dixital para lograr unha identificación de alta precisión para nove patróns de movemento diferentes.
Zona de Fresnel
A zona de Fresnel empregouse inicialmente para estudar a interferencia e a difracción da luz, que posteriormente se emprega para construír o modelo de transmisión de sinais sen fíos. A zona de Fresnel é unha serie de intervalos elípticos cuxos focos son as posicións do emisor e do receptor.
Cando unha persoa se move a través de diferentes zonas de Fresnel, a traxectoria do sinal formada pola reflexión do corpo humano cambia, e se as persoas se moven verticalmente a través das zonas de Fresnel, o cambio de sinal será periódico. Nun par de artigos, Wang et al. aplicaron o modelo de Fresnel á tarefa de recoñecemento de actividades e obtiveron un resultado máis preciso.
Modelaxe do corpo humano
Nalgunhas tarefas deberiamos considerar modelar o corpo humano con precisión para obter mellores resultados. Por exemplo, en descríbese o corpo humano como cilindros concéntricos para a detección da respiración. A parte exterior do cilindro denota a caixa torácica cando as persoas inhalan, e a parte interior denota a caixa torácica cando as persoas exhalan. Polo tanto, a diferenza entre o raio deses dous cilindros representa a distancia de movemento durante a respiración. O cambio das fases do sinal pódese expresar na seguinte ecuación: θ
2 π 2 Δ d λ {\displaystyle \theta
2\pi {\frac {2\, \Delta d}{\lambda }}} θ {\displaystyle \theta } é o cambio das fases do sinal; λ {\displaystyle \lambda } é a lonxitude de onda da radiofrecuencia; Δ d {\displaystyle \Delta d} é a distancia de movemento da caixa torácica. Conxuntos de datos
Hai algúns conxuntos de datos populares que se usan para avaliar os algoritmos de recoñecemento de actividades ou de recoñecemento de accións en vídeo. UCF-50: contén 50 accións diversas e máis de 6500 exemplos. Caracterízase porque os exemplos están gravados en malas condicións (calidade da imaxe, posición da cámara, etc. ), sendo complicada a detección dos obxectos e accións.
UCF-101: consta de 101 clases de accións humana, máis de 13000 clips e 27 horas de datos de vídeo. As clases inclúen accións de maquillaxe, tocar o dhol, xogar ao críquet, afeitado da barba, etc.
HMDB51: trátase dunha colección de vídeos realistas de diversas fontes, como películas e vídeos web. O conxunto de datos está composto por 6849 videoclips de 51 categorías de acción (como «salto», «bico» e «riso»), onde cada categoría contén polo menos 101 videoclips.
Kinetics: este é un conxunto de datos significativamente maior que os anteriores. Contén 400 clases de accións humanas, con polo menos 400 videoclips para cada acción. Cada clip dura uns 10 segundos e está extraído dun vídeo diferente de YouTube. Este conxunto de datos foi creado por DeepMind.
MSR Daily Activity 3D: contén 16 actividades que se realizan na vida diaria, onde os suxeitos realizan cada acción sentados e de pé. Contén 320 exemplos.
N-UCLA: ao igual que o anterior, contén actividades que se realizan no día a día. En relación co anterior, só ten 10 clases diferentes, mais ten case 1500 exemplos.
DALY: os vídeos deste conxunto caracterízanse pola súa alta calidade e o gran número de exemplos que contén (3600 instancias e 31 horas de vídeos). Consta de 10 clases de actividades diarias.
Charades: este conxunto de datos está composto por case 10000 exemplos e 157 clases diferentes. As accións que se realizan son diversas e están creadas de vídeos que gravou moita xente facendo diferentes actividades.
UWA3D II: este conxunto de datos caracterízase polos seus vídeos tomados dende 4 puntos de vista diferentes. Contén 30 clases e 1075 exemplos.
NTU: con 56880 exemplos e 60 clases diferentes, os vídeos deste conxunto de datos están gravados en diferentes lugares e dende diferentes puntos de vista. Conteñen accións diversas.
IXMAS: este conxunto de datos contén 15 tipos distintos de accións gravadas dende distintos puntos de vista e consta de 396 vídeos.
Hollywood 2: consta de 7h de vídeos e 12 clases sacadas de diferentes películas. Contén accións comúns nas películas como pode ser saír dun coche, abrazar, correr ou responder unha chamada telefónica.
UCF Sport: este conxunto de datos é específico de actividades deportivas. Contén 150 vídeos e 10 accións de diferentes deportes.
Sports 1M: tamén é un conxunto de datos de deportes, sendo o conxunto máis grande non só entre os de deportes, senón entre calquera conxunto de actividades humanas. Contén máis de un millón de vídeos de YouTube e 487 clases.
ALMOND: conxunto de datos específico para adestrar modelos de actividades cotiás que poida realizar xente maior. É unha mestura de 5 conxuntos de datos vistos anteriormente (NTU, UWA3D, MSR, N-UCLA e IXMAS), onde se agrupan tódalas actividades usuais e de interese para monitorizar a este grupo. Aplicacións
A monitorización automática de actividades humanas ten múltiples aplicacións, aquí menciónanse só algunhas delas: dende proporcionar rehabilitación no fogar ás persoas que sofren lesións cerebrais traumáticas, pasando por aplicacións relacionadas coa seguridade e apoio loxístico, ata servizos baseados na localización. Tamén se desenvolveron sistemas de recoñecemento de actividades para a observación da fauna e a conservación de enerxía nos edificios.