全方位可視光通信の実現により COVID 患者用車椅子の赤外線フリー全方位遠隔操作
代表研究者

プレーマチャンドラ チンタカ

芝浦工業大学工学部電子工学科 教授

1 初めに
新型コロナウィルスの拡散により、他の人と距離を保ちながら活動することが一般的になってきた。介護施設や医療施設のスタッフも、患者と一定の距離を保ちながら作業しなければならない場面が増えてきた。
このような状況において、車椅子の患者の場合は、遠くから車椅子を操作することで、操作者の安全を確保することができる。また、介護や医療の現場では、患者に食事などを提供するためのロボットを導入し、それをリモコンで操作する必要性が高まっている。
図１に示したように、介護施設や医療施設では、透明な壁の外側からロボットを操作したり、車椅子を遠隔操作したりするニーズが高まっている。その一方で、現在のロボットのリモコン操作技術では、赤外線などの不可視光線が使用されており、患者や医療機器（精密機器）に影響を及ぼす可能性があるため、介護や医療施設でロボットの導入が制限される場合がある。赤外線は眼や皮膚などに障害を引き起こす可能性があり、環境省環境保健部環境安全課の調査報告書によると、介護や医療現場での使用には適さない場合がある[1]。また、患者や介護者の周囲で頻繁に赤外線を使用するのは望ましくないという研究報告もある[2]。不可視光線は、精密機器を含む電気・電子機器の誤作動などを引き起こす可能性があるた
め、介護や医療の現場だけでなく、産業現場でも不可視光線を利用することが困難な場合がある[1]。
図１：透明な壁の外側からロボットや介護や医療の施設など、精密機器のある現場でのロ車椅子をリモコンで操作
ボット操作には、可視光線のみを使用するリモコンが適していると言える。これにより、上述の人体や精密機器に影響を及ぼす心配がなくなる。本研究では、赤外線フリーのリモコン操作技術を開発する。リモコンには、小型の LED アレイを送信機とし、小型の全天球カメラを受信機として使用する。具体的には、事前に LED アレイの点滅パターンとそれに対応するロボットの動作（停止、前進、後退、右折など）を決めておき、受信側のカメラ画像から点滅パターンを認識し、そのパターンに対応する動作をロボットに実行させるものである。この技術を使用することで、赤外線などの不可視光線の利用が困難な現場でも、人体や精密機器に影響を与えずに、透明な壁の外側からリモコン操作を安全に行うことができる。LED アレイの点滅を患者が見える位置から操作し、患者も点滅と同時に車椅子が動くことを認識できれば、利用者の安心感を得られる。可視光線のみを使用するため、電波法の制限を受けることなく利用できるというメリットもある。本研究が提案するこのリモコン操作技術は、介護や医療の現場はもちろん、産業現場でも広く活用できると確信している。

受信機
２次元カメラ

送信機

受信機
全天球カメラ

画像処理用
ハードウェア

画像処理用
ハードウェア

送信機
LEDアレイ

図２：２次元カメラを受信機として利用（従来） 図３：全天球カメラを受信機として利用（本研究提案）
1
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

1.1 研究開発の目的と概要
本研究では、リモコンの送信機に小型 LED アレイ、受信機に小型全天球カメラを用いる。全天球カメラに映った送信機の画像を総合的に検討した結果、送信機と受信機が数メートル以内にある場合のリモコン操作を実現することとした。受信機側では全天球カメラを画像処理用の小型コンピューターに接続し、画像認識処理技術で送信機（LED アレイ）の点滅パターンを把握し、そのパターンに該当する動作を小型コンピューターからロボット・車椅子に伝達する。
受信機に２次元カメラを用いると、図２に示すようにカメラの画角が限られるため、リモコン操作はある一定の方位からせざるをえない。この問題の解決策として、図３に示すように受信機に全天球カメラを使用し、全方位からのリモコン操作を可能にした。これにより、操作者はどのような方向からでもロボットを操作できるようになった。
一方、全天球カメラには問題点もある。全天球カメラは、魚
図４：全天球カメラ画像眼レンズ２つを背中合わせにした構成であり、図４のようにそれぞれのレンズの画像が２つの円で表示される。それぞれのレンズで半天球画像（１つの円）を撮影し、その２つを合わせて全天球カメラ画像とする。このとき、多くの情報（半天球全域）が円形画像に映るため、画像上の物体の解像度が低下し、さらに大きく歪む問題が生じた。画像の中心から離れるほどこの歪みは大きくなる（図４）。また、全天球カメラ画像では物体とカメラの距離が離れると、２次元カメラと比較して物体の画像解像度が急激に低下する。そのため、受信機側の全天球カメラ画像に映る LED アレイ(送信機)の歪みや、LED アレイが全天球カ
図５：歪み補正した全天球カメラ画像
メラから離れることによる LED アレイの解像度の急激な低下に対応する必要がでてきた。
従来の手法で全天球カメラ画像の歪み補正をした例を図５に示す。赤い円内に送信機として利用した LED アレイが映っている。図６は、LED アレイの位置を変えず、全天球カメラと同じ位置に２次元カメラを置いて撮影した画像である。図５と図６を比較すると、２次元カメラ画像における LED アレイと比べ、全天球カメラ画像に映る LED アレイの画像は歪んでいて解像度も低い。このことから、ある程度歪み補正をしても低解像度で映った LED アレイの点滅パターンを認識するのは困難であることがわかる。
図６：２次元カメラ画像上の LED アレイ
そこで、全天球カメラ画像における LED アレイの認識及び点滅パターンの識別が本研究の重要な課題となる。この課題に取り組むため、機械学習（ML）または深層学習(DL)に基づいた AI モデルを開発することにした。さらに、提案したリモコンのロボットや車椅子への搭載に必要なハードウェア環境の構築を行った。また、開発したリモコンの操作技術を実際の車椅子に搭載して実証実験をし、有用性を確認した。

2 送信機の構成と点滅パターンの設定
本研究では、従来の研究と比較して送信機が小型になるよう設計した。具体的には、LED アレイとしては小型の 8*8 ドット赤色マトリクス LED である OptoSupply 社製 OSL641505-BRA を用いた。また、MicroControl Unit (MCU)には Microchip 社製 ATmega328P を採用し、プログラマブルに点灯パターンを設定できるようにした。今回は図７に示す通り、A ～ F までのパターンを定義し、それらの点灯を実現させた。
以上で述べたように、本研究では、LED アレイ（送信機）を事前に決めた複数のパターンで点滅させ、それぞれのパターンに相当する車椅子の動作を設定した。そして、全天球カメラ（受信機）で撮影した画像から

2
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

点滅パターンを認識し、それに相当する動作を車椅子が実行できるようにした。A～F の６パターンを設定したが、車椅子の主な操作、すなわち前進、後進、右折、左折、停止などを実装するには十分であった。受信機側における送信機の検出とそれらのパターンの識別については次章で述べる。

図７：LED アレイのパターン設定

3 受信機の処理
3-1 AI モデルの検討及び実装環境
受信機側では、送信機の検出及び点灯パターンの識別を行うため、機械学習に基づく物体検出 AI モデルを構築した。従来の機械学習に基づく物体検出アルゴリズムには、「Sliding window approach による Deformable
Parts Models (DPM)」[3]や「Region proposal method」[4]、「Deep neural network を用いた Region Based
Convolutional Neural Networks (R-CNN)」[5]などがあるが、これらの手法では対象物体の検出後に識別処理を行うため、処理時間が長くなる傾向がある。そこで、本研究では、先述した Region proposal method とDeep neural network を 1 つのレイヤーとして組み込むことで、検出と識別を同時に行えるモデルを提案した。これにより、対象物体を含む画像を入力するだけで、高速かつ高精度に検出と識別することが可能になった。また、受信機側では、学習済みモデルを NVIDIA 社製 Jetson Nano という小型コンピューターを使用して、リアルタイムでの物体検出に成功した。Jetson Nano は、車椅子に搭載できるほど小型のコンピューターであり、本研究の実用化に適していることを確認できた。
3-2 AI モデル作成用の学習データの生成
なお、Jetson Nano は受信側の実装に使用したが、物体検出アルゴリズムに使用するモデルを作成するには、大量の画像からなるデータセットを使用した処理が必要で、Jetson Nano は AI モデルの作成においては性能が不足していることが分かった。そのため、AI モデルの作成には AI コンピューターを使用した。物体検出アルゴリズムに学習させるためには、アノテーション作業を伴うデータセットの作成が必要である。本研究では、アノテーションツールとして labelImg v1.8.1 を使用してアノテーション作業を行った。
本研究を実施する上で重要な課題は、標準的なデータセットが存在しなかったことである。そこで、LED アレイ（送信機）を任意の場所に配置し、LED アレイのパターン A～F をそれぞれ点灯させた状態で、1～5m の距離から画像を撮影し、データセットを作成した。このようなデータを学習用の画像として、解像度 1920x960で各パターン 400 枚、合計 2,400 枚用意した。さらに、汎化性能を向上させるには上記のデータだけでは不十分と判断し、コンピューターシミュレーションによるデータセットの作成も行った。具体的には、背景の色をランダムに変化させた画像や室内画像を背景とした画像に対して、送信機のサイズや位置をランダムに変化させた画像を合成し、学習用データを自動生成した。このようにして、解像度 1920x960 で各パターン400 枚、合計 2,400 枚の学習データを用意した。提案した学習モデルは、この学習データの一部で学習させて作成した。そして、残りのデータで検証実験を実施した。

4 受信機側でのハードウェアの構築及び実環境での実験
本実験では、車椅子に全天球カメラや Jetson Nano、電子制御用のマイクロコントローラー（ECU）などの他のハードウェアを搭載し、実際の車椅子を使用して遠隔操作のためのハードウェア環境を構築した。図 8
で、車椅子に全天球カメラを搭載した状況を示す。電動車椅子を遠隔操作するためには、全天球カメラ画像から検出される点滅パターンに基づき、電動車椅子の車輪モーターを制御する必要がある。ここで、全天球カメラ画像から点滅パターンの検出される様子を図 9 に示す。そこで、全天球カメラを Jetson Nano と繋げ3
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度

て、全天球カメラ画像から送信機の点滅パターンを検出、さらにその点滅パターンに応じた車椅子車輪への制御信号を生成する。ここで、Jetson Nano から出力される車椅子への制御信号を「Microchip 社製 ATmega328P」という電子制御用マイクロコントローラー（ECU）を通して行う。ECU は車椅子の 2 つの車輪モーターに対して、起動状態、回転方向、回転速度などのパラメータを設定することができるハードウェアである。これまでの実験では、送信機と車椅子の距離が 2m 以内であれば、遠隔操作が可能であることが示された。

図 8：全天球カメラを車椅子に搭載した様子

図 9：車椅子に搭載したカメラ画像から LED アレイパターンを検出する
様子【参考文献】[1] “身のまわりの電磁界について” 環境省環境保健部環境安全課の報告書、平成 29 年 4 月[2] S. Cho etal: “Effects of infrared radiation and heat on human skin aging in vivo,” Journal ofInvestigative Dermatology Symposium Proceedings, Vol. 14, Issue 1 pp. 15-19, Aug. 2009.
[3] P. Felzenszwalb, D. McAllester, D. Ramanan, A Discriminatively Trained, Multiscale, DeformablePart Model. In CVPR 2008[4] S. Ren, K. He, R. Girshick, and J. Sun, Faster R-CNN: Towards Real-Time Object Detection withRegion Proposal Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.
39, Issue 6, June 2017.
[5] R. Girshick, "Fast R-CNN," 2015 IEEE International Conference on Computer Vision (ICCV),Santiago, Chile, 2015.

〈発題名AI Based Object Recognition Performance
betweenGeneral
CameraandOmnidirectional Camera Images
Remote Control of a Wheeled Robot byVisible Light for Support in Infectious
Disease Hospitals
機械学習を利用した一般カメラ対全天球
カメラ画像における物体認識の比較

表資料〉

掲載誌・学会名等

発表年月

2nd International Conference on
Image Processing and Robotics(ICIPRob)

June 2022

IEEE Access

Sept. 2021

2022 年電子情報通信学会総合大会（オンライン）

2022 年 3 月

4
公益財団法人電気通信普及財団
研究調査助成報告書 第38号 2023年度