Enhancing bus safety: A modular driver monitoring system
Authors: Nagy Viktor , Bézi Patrik , Kovács Gábor 
Published: May 2024

Summary.

In the area of road safety, the development of a Modular, Machine Vision-Based,
Custom-Built Driver Monitoring System (DMS) for bus drivers has become
imperative. This research presents a comprehensive system capable of detecting
drowsiness, blinking patterns, and various forms of distraction, including the
use of mobile phones, and one-handed driving. Leveraging the power of Mediapipe
and YOLOv7 for real-time image analysis, as well as ROS2 for seamless data
transfer, our system not only ensures the immediate safety of bus passengers but
also offers expandable functionality, such as eye tracking and skeleton
detection.

Összefoglalás.

A biztonságos tömegközlekedés iránti igény fokozza a járművezetőkre nehezedő
nyomást a növekvő forgalmi torlódások miatt. Ezt súlyosbítja a közlekedési
rendszer összetettsége és a fokozódó külső ingerek hatása, különösen városi
környezetben. A közösségi közlekedésben alkalmazható, a közlekedésbiztonságot
fokozó moduláris, gépi látáson alapuló, egyedi fejlesztésű
járművezető-felügyeleti rendszer kifejlesztése az autóbuszvezetők monitorozására
elengedhetetlen. Ez a kutatás egy olyan átfogó rendszert mutat be, amely képes
érzékelni az álmosságot, a pislogási mintákat és a figyelemelterelés
(disztrakció) különböző formáit, beleértve a mobiltelefon-használatot, és az
egykezes vezetést. A Mediapipe és a YOLOv7 valós idejű képelemzésre, valamint a
ROS2 adatátvitelre való felhasználásával rendszerünk nemcsak a busz utasainak
biztonságát garantálja, hanem olyan bővíthető funkcionalitást is kínál, mint
például szemkövetés és csontvázfelismerés (szkeleton).

A rendszer alapvető célja az, hogy a szemmozgás, fejtartás és testtartás
elemzésével pontosan azonosítja a járművezető fáradtságát, figyeli a pislogási
mintákat az álmosság jeleit, és felismeri a közúti biztonságot veszélyeztető
disztrakciókat. Továbbá a rendszer moduláris felépítése lehetővé teszi további
érzékelők, például szemmozgás-követő rendszer, telemetriai eszközök vagy
5G-adapterek egyszerű integrálását, ami átfogó megfigyelést és adatfúziót tesz
lehetővé a valós környezetbe történő adaptálás elősegítésére.

A fejlesztett Járművezető Monitoring Rendszer a ROS2 keretrendszer segítségével
integrált megoldást kínál a buszvezetők megfigyelésére. A rendszer alapvető
képessége a fedélzeti kamerák által rögzített felvételeken a járművezető
vizuális felismerése. Ezen túlmenően képes követni a vezető testén lévő
kulcspontok, mint a fej, a törzs és a karok pozícióját, ami létfontosságú az ő
testtartásának és mozgásának megértésében. Az egyediséget a vezetőfülke mérete
és a buszvezető személygépjárműhöz mérten dinamikus mozgásképe adja. A rendszer
az emberi arcot is részletesen elemzi, kiemelve a fontos arcpontokat, mint a
szemek, orr és száj. Ez lehetővé teszi a tekintet irányának, arckifejezéseknek,
valamint a fáradtság vagy stressz jeleinek azonosítását. Az adatok könnyebb
értelmezése érdekében a rendszer egy vizuális ábrázolást is nyújt az észlelési
folyamatról. Az adatok kezelése és kommunikációja a ROS2 keretrendszeren
keresztül történik, amely strukturált módon rendezi az adatokat és támogatja a
valós idejű feldolgozást és elemzést. Az összegyűjtött adatok tárolására a
.rosbag fájlformátumot használjuk, amely lehetővé teszi az adatok hatékony
rögzítését és későbbi felhasználását elemzésekhez és felülvizsgálatokhoz.

A tanulmány a moduláris járművezető-felügyeleti rendszer felépítését,
megvalósítását és tesztelését mutatja be, részletesen közli az alkalmazott
algoritmusokat és technológiákat. A valós körülmények között végzett kísérletek
eredményei bizonyítják a rendszer hatékonyságát, valamint a rendszer szélesebb
közlekedési ökoszisztémákba való integrálhatóságát.

A buszvezető monitorozása kapcsán kapott adatok hozzájárulhatnak a jármű és
utasai biztonságának fokozásához. A járművezető figyelmének nyomon követése és a
kognitív terhelés elemzése lehetőséget kínál a munkakörülmények optimalizálására
és a balesetmegelőzési megoldások javítására.