V1.0 2024/5/10

抜粋版
RaspberryPi5とMediapipeを使った居眠り運転防止キット～ google開発の顔認識ソフトを活用し、居眠り運転、脇見運転を検知・警告し、事故を未然に防止します～

開発編

スペクトラム・テクノロジー株式会社
https://spectrum-tech.co.jp
sales1@spectrum-tech.co.jp
all rights reserved 2024 spectrum technology co.

1

開発編 目次• Pi運用マニュアルページ• 居眠り運転防止キット 全体像

8

1.
2.
3.
4.

Piについて基本コマンド
基本操作
日常運用

3
356

• ハード・ソフトウエア概要
1.
2.

9

ハード概要
ソフト概要
① ソフト一覧② 機能一覧

1011• 居眠り運転防止キット 接続・設定
1.
2.
3.
4.
5.

ローカルでの接続・設定
ローカルでの確認
車への設置
車での接続・起動
電源オフ

1213
141516• Mediapipeについて

17①②③182021

1.

2.

居眠り・脇見運転防止 機能

録画、ログ
①
②

3.

運転時録画
運転時ログ

24
25

設定値カスタマイズ①②4.

概要
プログラム解説
ローカルテスト

抜粋版のためページと本文は一致しま
せん

運転時ログ収集Powerbiでの分析

2627

その他
①②自動起動運行管理開発キット連携

3132

all rights reserved 2024 spectrum technology co.

2

Pi運用マニュアル
1. Raspberry Piについて
既に全世界で1000万台以上販売された手のひらサイズのコンピュータです。
ＬｉｎｕｘベースのＲａｓｂｉａｎＯＳで動作しております。

2. Linux基本コマンド① システム関係• 起動：電源を入れると自動で起動します。
• 再起動：# reboot
又は、アプリケーション>ログアウト>再起動；左上のメニューから• 終了：# shutdown
又は、アプリケーション>ログアウト>シャットダウン；左上のメニューから• ログアウト # logout
又は、アプリケーション>ログアウト>ログアウト；左上のメニューから• 日本語／英語の入力切替：キーボードの全角/半角キーで切替ます。

all rights reserved 2024 spectrum technology co.

3

Pi運用マニュアル
2.

Linux基本コマンド② ディレクトリ操作、コピー、移動、削除
root@:~$ cd /root/Documents
ディレクトリの切り替え
root@:/root/Documents# ls
ファイルとディレクトリの表示（表示したら操作したいファイルを右クリックでコピペして操作します
root@:~# cp ファイル名 ディレクトリ
配下のディレクトリのファイルを別のディレクトリへコピー
root@:~# mv ファイル名 ディレクトリ
配下のディレクトリのファイルを別のディレクトリへ移動
root@:~# rm ファイル名
ファイルの削除
便利な機能 rm –help
コマンドのオプションが分からない場合は、ヘルプで問い合わせる。すべてのコマンド共通(マイナスを２個とhelp)③ ユーザ権限、プロセス他
root@:~ $ su スーパーユーザ（root)に切り替え、パスワードを入力
root@:~# ps a
現状の動いているプロセスを表示
root@:~# kill特定のプロセスを強制終了
root@:~# apt-get install pkg
パッケージのインストールなどに使用
root@:~# date
日付、時間の設定を行います。
root@:~# mousepad /etc/network/interfacesインタフェースに記述内容を変更します。Viよりも使いやすいです。

④ モジュール、usb、メモリ、ＨＤＤなどの表示
root@:~# lsmod
root@:~# lsusb
root@:~# free -mt
root@:~# df -h

linuxのモジュールリスト表示
usbのデバイス表示
メモリ使用状態表示
ＨＤＤ（マイクロＳＤ）の使用状態表示

pi@raspberrypi:~$ sudo
も同様のコマンドになります
all rights reserved 2024 spectrum technology co.

4RaspberryPi運用マニュアル
3. Raspberry Piの基本操作① 表示画面と内容トップ画面（上段のタスクバーで選択）• メニュー• ブラウザ• ファイルマネジャ• ターミナル••••••
all rights reserved 2024 spectrum technology co.

ＣＰＵ使用率日本語入力
ＶＮＣ
ＢＬＥWiFi
時刻
5

RaspberryPi運用マニュアル
4. 日常運用①

セキュリティ対策（アンチウイルス更新、スキャン）• アンチウイルス対策として無料のclamAVをインストールしてます。
• 手動での運用を基本としてます。
パターンファイル更新

手動スキャン時に更新されます
手動でスキャン
$ sudo clamscan --infected --remove --recursive
自動化可能ですが、バックグランドで重くなる可能性大。コマンド入力後約10分位かかります。

all rights reserved 2024 spectrum technology co.

6RaspberryPi運用マニュアル
4. 日常運用②

インストール済パッケージの更新リスト、アップグレード• Linuxの場合は、頻繁に更新が発生します。アップグレードを定期的に実施してください。
• 更新前には、バックアップを取ることをお勧めします。特にアップグレードはまれに動作不良、戻せない状態が発生します。自己責任で実施してください。

更新リスト取得$ sudo apt-get update
アップグレード実施$ sudo apt-get upgrade

all rights reserved 2024 spectrum technology co.

7

居眠り運転防止キット 全体像
ハードウエア

物品追加

Raspberry Pi5+Webカメラ（弊社提供可）BTスピーカ
（弊社提供可）GPSセンサ
運行管理開発キット併用時

画像系

HDMIケーブル（オプション）

電源アダプタ（オプション）プログラム言語

顔認識

カメラマウント（オプション）ＯＳ

Ｒasbian OS

弊社提供必須（お客様準備）

all rights reserved 2024 spectrum technology co.

8

１．ハード概要
本体

品名

項目

内容

Raspberry Pi5

ＣＰＵ

2.4GHz 4コア Cortex-A76 （ARMv8、64bit）

ＧＰＵ

VideoCore VII®

メモリ

4GB RAMＯＳ

Raspbian bookworm(Debianベース）

インターフェース

2.4/5GHz WiFi(802.11 bgnac), Bluetooth 5.0, BLE,
1G ether, USB 2.0x2, USB 3.0x2, micro HDMIx2,microSDカード, 40 GPIO pin

電源／消費電力

Micro USB Type C 3.0A

サイズ

85ｘ56ｘ18mm

付属品

内容

ケース

赤白、FAN付。

microSD 64GB

Raspbian OS, 必要なモジュールをインストールして提供します。お客様が設定するものは必要最低限のパスワード設定、ＷｉＦｉ設定になります。

プログラム

Mediapipe, 関連pip インストール済, Pythonプログラム

マニュアル

防止キット 設定編、開発編

備考

備考

Webカメラ、Bluetoothスピーカ、カメラマウント、ＵＳＢ電源ケーブル、ＨＤＭＩケーブルは付属しておりません。
別途オプション品等を購入ください
all rights reserved 2024 spectrum technology co.

9２．ソフト概要①ソフト一覧
提供するソフトウエアの概要です。
区分

ソフト名バージョン

OS

Raspbian

Bookworm 64bit

画像Opencv

4.9.0

顔認識

mediapipe

0.10.9プログラム言語

python33.11.2

その他

自動起動プログラム

all rights reserved 2024 spectrum technology co.

備考
仮想化時
仮想化で利用10

２．ソフトウエア概要②．居眠り運転防止キット 機能一覧
id区分

機能内容

A:実用可能
B:要確認
C:試験段階
Ｘ：エラー

設定値は、プログラムのパラメータで変更可能です。
設定値（デフォルト）

評価

コメント

10回連続（約1秒間）でB
脇見運転も検知0.12を下回ると検知10回連続（約1秒間）でA
脇見運転も検知2
下向き検知0.06を下回ると検知
１分間に3回のあくび
3
あくび検知
口の開き具合であくびを検知 （口の開きが0.7以上） Aを検知
5分間ｘ24回：2時間を長時間録画も可能で運転時の顔の状態を録画し繰り返し録画。5分間 A
すが、マイクロSDの4 運転時録画録画ます。
200MB
容量に注意
顔、あくびの状態を 正常時の目の状態、あくび回 全てのログを記録。１デバッグ用に使用し5 運転時ログ
A
記録数などをログとして記録
時間：200MBてください。
設定値カスタマイ 目の開き具合など 実地試験により、お客様の最A
Powerbiを使用
設定値を変更適地を取得し、カスタマイズズ
プログラム自動起 テザリング設定し、電源オン
A
6 自動起動
動により自動起動
弊社のAWSを使った運行管理開発キットと連携し、リ運行管理開発
GPS連携,リアルタイ
アルタイムに、遠隔から居眠り警報を把握。また、居 A
7
ムで居眠り把握キット併用
眠り危険個所の特定。
注意事項
区分
課題
対応
備考
カメラを窓の上の方に取り付けないこと。
ダッシュボードの直上に取り付け、8 カメラ取付位置 日除け使用時にカメラに目が映らないため、連続 設置時、日除けを使って確認エラー。
トンネル、夜間使
9
室内が暗いと、目の位置が検知できない。
暗視カメラを使用する
用テザリング等によりインターネットに接続しないと、 スマホのテザリング設定を行って、10 日付データ正確な日付データが入らない。
本体を立ち上げる
Pi5の電源をオフしないで、車の電源をオフにする VNC接続でPi5の電源オフにして11 電源オフと、マイクロSDが壊れる場合があります
から車の電源をオフにする。
12メガネ装着
メガネ装着時、カメラが反射により認識できない 逆光でも特に問題なし。
1

居眠り・脇見運転
瞬き検知
防止 機能

左右の目の開き割合で、居眠りを検知
左右の目の下向き割合で、居眠りを検知。

all rights reserved 2024 spectrum technology co.

11

居眠り運転防止キット 接続・設定
1. ローカルでの接続・設定• 車載搭載前のPi5, PC, カメラ、BTスピーカを接続します• Webカメラは接続するだけ• BTスピーカ：Pi5:右上アイコンでデバイス追加• PC:設定編のVNC接続WebカメラRaspberry Pi 5

BTスピーカマイクロＵＳＢ電源（TypeC)
VNC接続
ＵＳＢ電源５V３A（AC100Vアダプタ使用）

PC

インターネット

all rights reserved 2024 spectrum technology co.

12居眠り運転防止キット 接続・設定
3. 車への設置• ローカルでの試験などが完了後、車への設置を行ってください。
• カメラ取付• 日除けで目が隠れないようなダッシュボードのすぐ上カメラが来るように設置• BTスピーカ• ワイヤレスで適当な場所へ• Pi5本体• シガーソケットから電源：5V3Aに接続• 設置場所は、自由：助手席の下位• スマホ• テザリング接続後、Pi5起動確認• その後接続不要• 電源オフ時、再度接続してPi5電源オフ

all rights reserved 2024 spectrum technology co.

13Mediapipe、作成プログラムについて• MediaPipe Solutions は、人工知能 (AI) および機械学習 (ML) 技術をアプリケーションに迅速に適用するためのライブラリとツールのスイートを提供します。 これらのソリューションをアプリケーションにすぐに組み込んで、ニーズに合わせてカスタマイズし、複数の開発プラットフォームで使用できます。 MediaPipe Solutions は MediaPipe オープン ソース プロジェクトの一部であるため、アプリケーションのニーズに合わせてソリューション コードをさらにカスタマイズできます。
• Mediapipe https://developers.google.com/mediapipe• Github: https://github.com/google/mediapipe• 特徴• 利用が簡単• セルフサービスの ML ソリューション。 ローコード API またはノーコード スタジオを使用してカスタマイズ、評価、プロトタイ
プ、デプロイを行う• 革新的• Google ML の専門知識を活用して作成された、一般的なタスク向けの高度な ML ソリューション。

• 高速処理• ハードウェア アクセラレーションを含むエンドツーエンドの最適化を実現しながら、バッテリー駆動のデバイスでも十分に動作するほど高速です。

• 作成プログラムについて• 弊社作成のプログラムについては、著作権は弊社に帰属します。オープンソースではありません。複製等については、ご遠慮いただいています。複数台使用の場合は、複数の装置を購入してください。

all rights reserved 2024 spectrum technology co.

14

１．居眠り・脇見運転防止 機能①．概要

コマンド入力$ sudo systemctl stop drows$ source /home/pi/venv_py311/bin/activate$ cd/home/pi/Documents/drowsiness/mediapipe/face_landmarker$ python detect6.py

瞬き検知、下向き検知、あくび検知を行うプログラムです。
自動で起動します。検知するための設定値は、個人ごとにカスタマイズが可能です。
ローカルで動作させるには、自動起動を停止させます。
$ sudo systemctl stop drows$ source /home/pi/venv_py311/bin/activate
仮想化で使用$ cd /home/pi/Documents/drowsiness/mediapipe/face_landmarker$ python detect6.py• 動作させると、約0.1秒毎の目の開きなどが表示されます。
• また同じフォルダに動画記録、ログが自動出力されます。
• 停止は、ctl+Cです。

all rights reserved 2024 spectrum technology co.

15

１．居眠り・脇見運転防止 機能③．ローカルテスト• detect6.pyのプログラムを動作させ、瞬き検知、下向き検知、あくび検知をローカルで実施• 瞬き検知：100％動作します。ローカルで試験するのは難しいです。運転時は検出されます。
• 目の開きを捕捉。10回連続（約1秒間）0.12以下になると警報がでます。反応しない場合は、前ページの以下の設定値を変更• 画面上にDrowsiness alarmがでます。
• ログで、blinkで検索すると、検知した回数が出ます。20回目の次がアラームです。

• EYE_AR_THRESH = 0.12 を0.1（目をもっと細くする検知）とかに修正。
• 書き換え後、再度試験

all rights reserved 2024 spectrum technology co.

16

３．設定値カスタマイズ
運転時のドライバの顔の検出結果のログを収集し、PowerBIにより最適値に設定します②．Powerbiで分析• 添付のpowerbiにｘｌｓをインポートします。すでに関数などは作成済。
• ホーム＞データ変換の下＞データソース設定：ｘｌｓの場所に変更• ホーム＞データ変換の右の更新。エラーがでなければ、ok• Blinkの分析• Blink_alarmをチェック• ヒストグラムでアラームの分布、回数をチェック• Alarm_reccurでスライドを動かして、アラーム数が最適な、alarm_th, reccurを確認。

運行管理と併用時
は、地図上にアラーム場所が表示

all rights reserved 2024 spectrum technology co.

17

４．その他②．運行管理開発キット連携• ＡＷＳを使った運行管理開発キット：GPS端末からWebアプリまでトータルで提供。との連携が可能です。
• 居眠り、わき見運転の状態をリアルタイムに遠隔の管理者に通知します。メール通知なども可能で、運転者を遠隔から支援できます。
• 運転管理用プログラムにより動作し、Pi5にGPSを接続するだけで、自動で起動します。
• リアルタイム画面と分析用powerbiです。

居眠り警報

all rights reserved 2024 spectrum technology co.

18