Caracterización del comportamiento de los usuarios vulnerables de la vía mediante técnicas de Realidad Virtual y modelos de Machine Learning
Authors:   , Losada Arias Ángel 
Published: April 2024

Vulnerable Road Users (VRU) include pedestrians, cyclists, motorcyclists, and electric scooter users. In Spain and in the European Union, pedestrian and cyclist accidents and injury rates have been growing steadily in recent years, especially in urban environments.

Therefore, this doctoral research has focused on the implementation of two methods to characterize the behavior of pedestrians and cyclists in potential collision situations in the city: Virtual Reality (VR), and video surveillance and camera recording systems. Additionally, and considering the extent and level of detail of the pedestrian accident database compared to the cyclist counterpart, a technological application is developed based on the integration of a predictive pedestrian collision model to optimize the Advanced Driver-Assistance Systems (ADAS) in a commercial vehicle.

The research activities, carried out at the Instituto Universitario de Investigación del Automóvil Francisco Aparicio Izquierdo (INSIA), have been funded by the OPREVU, VULNEUREA, SAFEDUCA, VIRESTREEP projects and partially by the SEGVAUTO program. The virtual environments were designed by the Centro de Domótica Integral de la UPM (CEDINT), and are based on accident data in Madrid and an accident report from the Netherlands Organization for Applied Scientific Research (TNO).

In the experimental session, a portable backpack equipment coupled to a VR helmet has been used. Also, the bicycle simulator includes a controller, a training roller and an ad-hoc platform with pulley system to synchronize turning, speed and braking. In the simulations with cyclists, eye-tracking functionality has also been integrated for vehicle identification.

From the VR results, predictive collision models have been generated by supervised Machine Learning classification, based on the VRU's kinematics, attentional level and visual perception.

As part of the study using camera surveillance and recording systems, traffic flows in Vienna (Austria) have been analyzed using the Mobility Observation Box (MOB) system during the doctoral stay at AIT Austrian Institute of Technology GmbH. The obtained database of interactions was classified by clustering and validated by supervised Machine Learning classification in order to identify patterns of user behavior and establish up to three levels of road risk.

In the technological innovation section, an Autonomous Emergency Braking (AEB) system of a commercial vehicle was evaluated on track through validation tests, with the aim of modeling its decision algorithm. Its possible optimization areas were identified by subsequent simulation in CarSim, based on VR behavior patterns.

Given that one of the most influential variables in the pedestrian collision predictive model is the percentage of time that pedestrians observe the vehicle approach zone, a facial and eye recognition system has been designed that can be integrated into the AEB system, capable of determining whether or not the pedestrian is observing the vehicle and his or her level of attention.

In the optimization phase, a prototype has also been designed and simulated in Simulink and CarSim that integrates the optimized AEB system with the predictive pedestrian collision model, together with an Automatic Evasive Steering System (AES) and a series of additional ADAS. The evaluation of the joint system (OPREVU-AES) includes the analysis of the reconstructed crash avoidance rate and the variation of the probability of severe head injury (ISP) using PCCrash.

As conclusions, the models resulting from the VR and MOB system tests share a number of common kinematic variables that characterize the behavior of VRUs in potential collision situations. The accuracies of the generated models exceed 83%, with a great balance in the performance metrics. For its part, the face and eye recognition system guarantees an overall detection accuracy of over 79%.

Finally, OPREVU-AES can generate stable trajectories between 40 and 70 km/h, increase the available braking distance for a following vehicle and the reaction time of its driver, reduce the probability of serious head injury by 65% and an avoidance rate of up to 77.9%.

RESUMEN

Los usuarios vulnerables de la vía (Vulnerable Road Users, VRU) incluyen a peatones, ciclistas, motociclistas y usuarios de patinete eléctrico. En España y en la Unión Europea, las cifras de lesividad y accidentalidad de peatones y ciclistas han crecido de manera continuada en los últimos años, especialmente en entornos urbanos.

Por ello, esta investigación doctoral se ha centrado en la implementación de dos métodos de caracterización del comportamiento de peatones y ciclistas en situaciones potenciales de atropello en ciudad: Realidad Virtual (RV), y sistemas de videovigilancia y registro por cámara. Adicionalmente, y considerando la extensión y el nivel de detalle de la base de datos de accidentes de peatones en comparación con la homóloga de ciclistas, se desarrolla una aplicación tecnológica basada en la integración de un modelo predictivo de colisión de peatones para optimizar los sistemas de ayuda a la conducción (Advanced Driver-Assistance Systems, ADAS) en un vehículo comercial.

Las actividades de investigación, realizadas en el Instituto Universitario de Investigación del Automóvil Francisco Aparicio Izquierdo (INSIA), han sido financiadas por los proyectos OPREVU, VULNEUREA, SAFEDUCA, VIRESTREEP y parcialmente por el programa SEGVAUTO. Los entornos virtuales fueron diseñados por el Centro de Domótica Integral de la UPM (CEDINT), y están basados en datos de accidentes en Madrid y un informe de accidentalidad de la Organización Holandesa de Investigación Científica Aplicada (TNO).

En la sesión experimental se ha utilizado un equipo de mochila portátil acoplado a un casco de RV. Asimismo, el simulador de bicicleta incluye un mando, un rodillo de entrenamiento y una plataforma ad-hoc con sistema de poleas para sincronizar el giro, la velocidad y la frenada. En las simulaciones con ciclistas se ha integrado además la funcionalidad de registro de la pupila (Eye Tracking) para la identificación del vehículo.

A partir de los resultados de RV, se han generado modelos predictivos de colisión mediante clasificación supervisada de Machine Learning, en función de la cinemática del VRU, su nivel atencional y su percepción visual.

Como parte del estudio mediante sistemas de vigilancia y registro por cámara, se han analizado flujos de tráfico en Viena (Austria) mediante el sistema Mobility Observation Box (MOB) durante la estancia doctoral en AIT Austrian Institute of Technology GmbH. La base de datos de interacciones obtenida fue clasificada mediante clustering y validada mediante clasificación supervisada de Machine Learning, con el fin de identificar patrones de comportamiento de los usuarios y establecer hasta tres niveles de riesgo vial.

En el apartado de innovación tecnológica, un sistema de frenado autónomo de emergencia (Autonomous Emergency Braking, AEB) de un vehículo comercial fue evaluado en pista mediante ensayos de validación, con el objetivo de modelar su algoritmo de decisión. Sus posibles áreas de optimización fueron identificadas mediante la posterior simulación en CarSim, en función de los patrones de comportamiento en RV.

Dado que una de las variables más influyentes en el modelo predictivo de colisión de peatones es el porcentaje de tiempo que estos observan la zona de aproximación del vehículo, se ha diseñado un sistema de reconocimiento facial y ocular integrable en el sistema AEB, capaz de determinar si el peatón observa o no al vehículo y su nivel de atención.

En la fase de optimización, también se ha diseñado y simulado en Simulink y CarSim un prototipo que integra el sistema AEB optimizado con el modelo predictivo de colisión para peatones, junto con un sistema evasivo por volante (Automatic Evasive Steering, AES) y una serie de ADAS adicionales. La evaluación del sistema conjunto (OPREVU-AES) incluye el análisis de la tasa de evitación de accidentes reconstruidos y la variación de la probabilidad de lesión grave de cabeza (ISP) mediante PCCrash.

Como conclusiones, los modelos resultantes de los ensayos de RV y del sistema MOB comparten un serie de variables cinemáticas comunes que caracterizan el comportamiento de los VRUs en situaciones potenciales de colisión. Las exactitudes de los modelos generados superan el 83%, con un gran equilibrio en las métricas de rendimiento. Por su parte, el sistema de reconocimiento facial y ocular permite garantizar una exactitud en la detección general superior al 79%.

Por último, OPREVU-AES permite generar trayectorias estables entre 40 y 70 km/h, aumentar la distancia disponible para frenar para un vehículo seguidor y el tiempo de reacción de su conductor, reducir la probabilidad de lesión grave en la cabeza del 65% y una tasa de evitación de hasta el 77.9%.