電子航法研究所研究発表会(第 4 回

平成 16 年 6 月)

12．画像センサによる船舶のトラッキング管制システム部

１．はじめに海上交通の輻輳する海域ではレーダなどによる監視が行われ、航行の安全や交通管制に役立っている。一方では船舶の海難事故の中で衝突の割合は少なくない。船の位置情報を取得するには種々の方法があるが、特に最近導入が進められている AIS（船舶自動識別装置）が今後重要な役割を果たしていくことが期待されている。これは位置だけでなく各種の航法情報などが得られるので、これからの海上交通の安全確保や交通管制には欠かせないものになっていくであろう。相手側には特定の機器を装備せずに、こちら側から送る信号に対する応答を利用する代表的なものにレーダがある。これは多くの船に搭載されており、衝突防止などの航行の安全に役立っている。また最近ではレーザを利用したものも開発されている。大型船では ARPA(自動衝突予防援助装置)としてより高度に利用されている。また完全にパッシブな方法としては画像センサの利用がある。海上交通センタなどでも監視の補助として利用されている。画像センサはかならずしも精度がいいとは言えないが、比較的簡単な装置で監視を行うことが可能である。高度な航法機器や通信機器の発達した今日でも、視覚情報は重要である。そこで画像センサを利用した船舶の検知、追跡を自動的に行う方法について検討した。
画像センサを用いた研究は当研究所の報告〔１〕〔２〕や海上技術安全研究所の発表〔３〕〔４〕のように海難救助や、安全航行を目的に研究が進められている。また最近では海の ITS(高度交通システム)を目指して AIS の導入が急ピッチで進められており、AIS セミナーの報告書〔５〕でも画像センサによる船舶の安全な航行への応用が述べられている。昨年の研究発表〔６〕で画像センサを用いた基本的なトラッキングについての概要を報告したが、今回はパッシブなタグ付けを含んだトラッキング手法について検討した結果について述べる。

矢田 士郎

２．画像センサについて
画像センサとしては、通常の可視光用のセンサ、低照度の環境でも感度のあるセンサ、光を増幅する暗視用のセンサ、赤外領域に感度のあるセンサなどが利用可能である。ここでは特に夜間でも対応可能な赤外線カメラを主として利用した。本研
究で用いたカメラの諸元は検知器
PtSi ショットキバリア
観測波長 ３～５μｍ
画素数
約 36 万個
検出器温度77K
冷却方式
スターリングサイクルクーラー
視野角 約 14 度×11 度(50mm 標準レンズ)
約 7.5 度×5.5 度(100mm 望遠レンズ)の量子型のタイプである。これを用いた船舶画像の例を示す。

図１

赤外線カメラによる画像例（その１）電子航法研究所研究発表会

図２ 赤外線カメラによる画像例（その２）
図 1、図２ともカメラが水平に設置できなかったため、水平線が傾いてしまっているが、上記の赤外線カメラに望遠レンズをつけて海面上数ｍの高さから撮影したものである。この２つの図の船のタイプが異なるため、輝度の高い点の場所が異なることがわかる。
３．移動物体の検出方法について
主な検出手法としては次のようなものがある。
3.1 差分画像を用いたもの
3.1.1 フレーム間差分法
時間的に連続したフレームと隣接するフレーム同士の差分をとることにより画像の輝度値の変化した部分が求められる。これを利用して移動体の領域と考えられる部分を抽出するもので、時間微分法とも呼ばれる。環境の変化に対して比較的安定である。当然ではあるが、物体が静止していれば対応できない。
3.1.2 背景差分法
移動体の無い背景画像と、入力画像を比較して移動物体領域を抽出するものである。背景が安定していない場合は移動体領域がうまく抽出できない。また、背景が時間的に変化する場合は背景画像を適応的に逐次更新する必要がある。
3.2 時空間画像を用いたもの
動画像における連続フレームにおいて時間軸と空間軸を設けて 3 次元的に表現した画像を時空間画像という。静止物体の特徴点は時間軸に対して平行な軌跡となるが、移動物体は時間軸に対して平行でない軌跡を描くので、これにより検出が可能となる。

(第 4 回

平成 16 年 6 月)

3.3 オプティカルフローを用いたもの
オプティカルフロー(画面上の各点の見かけの速度)を利用することで移動体の速度を求めることができる。通常、速度場の解析に用いられる。
動画像圧縮などに用いられる移動ベクトルと異なり、より短いフレーム間隔から求められる。しかし計算量が多いので、ある程度領域を絞って処理を行うなどの工夫が必要である。背景が微小に変動する場合などではフローがランダムになりがちで、解析が困難になることが多い。また当然のことながら移動体が静止していると検出ができない。追尾対象の大きさがフローの解像度に比べてある程度大きくなければ安定的な抽出ができない。画像全体からオプティカルフローを抽出し、空間的にまとまりをもったオプティカルフローを統合してその領域を移動物体として扱うのが船などの検出にはよい。
3.4 領域分割を用いたもの
画像の中の各種の特徴量に基づいて、画像を複数の領域に分割することにより移動物体を抽出する。この中の方法の 1 つである領域拡張法は隣接する小領域の特徴量が類似している場合は、領域を統合してひとつの領域としていくことを逐次的に行っていくものである。特徴量としては濃度値などが用いられる。あまり細かい多数の領域に分割されないような制御が必要となる。
3.5 テンプレートマッチングを利用したもの
移動物体を含む領域を基準画像となるテンプレートとして登録しておき、入力画像中でテンプレートともっとも類似度の高い領域を求める。テンプレートマッチングでは、移動体の向きなどが変化するとテンプレートとのずれが大きくなりマッチングが行えなくなる。
移動物体の抽出はトラッキングの前処理であるので計算量の少ない方法が好ましい。ここでは主としてフレーム間差分を用い、背景差分を補助的に組み合わせたものを利用し、領域拡張法を用いて移動体を抽出した。
４．トラッキングおよびタグ付けについて
トラッキングにおいては、追跡する対象物を見電子航法研究所研究発表会失わないようにすることが重要であり、特に船舶同士の交差があっても正確に追従できることが望ましい。船舶画像のトラッキングにあたっては、もっとも輝度の高い点を追尾するピークポイン
トトラッキングや２値化画像の重心位置を追尾する方法などがあるが、ここでは船を長方形に置き換えた場合の中心をトラッキングするものとした。ただし監視境界に新たに船が進入する場合や、監視境界から船が出て行く場合は船の先端部をトラッキングの基準点とした。ここで述べるタグとはトラッキングに当たって船舶ごとに固有の番号を割り振ることを意味し、個別の船舶にタグを付けて識別する手法について検討を行った。
本研究ではあくまでもパッシブな方法に限定して行うこととし、AIS などによる船舶名などの情報を利用しないものとする。識別するに当たっては個別の船舶の特徴量を利用することにした。特徴量としては次のようなものがあげられる。
船の大きさ（高さ、長さ、面積）
船の形状(縦横比など)
船の輝度分布(赤外線)船の運動特性(速度ベクトル、旋回特性)
ここで述べる大きさはみかけの大きさを利用する場合もあるが、海面の位置と画角などのカメラの特性に基づいて想定できる実際に近い大きさを利用することも可能である。今回は簡単のため、みかけの大きさを利用した。また速度ベクトルを特徴量として利用した。その他の特徴量は今回は利用せずに、今後の課題とした。
監視領域にはいってきた船に対して新しいタグ付けを行い、大きさと速度ベクトルを登録し、予測位置を計算する。以後のトラッキングにおいては速度情報に基づいてマッチングを行い、対応するかどうかを調べる。類似度の高い船を当該の船と判断し、速度ベクトルなどの特徴量を更新し、次の予測を行いながらトラッキングを継続していく。船舶同士が交差した場合のオクルージョン(遮蔽)に対してもトラッキングがうまく行えるかについて実際の船舶の航行画像にあてはめて検討した。

(第 4 回

平成 16 年 6 月)

カメラ画像
フレーム間差分
閾値処理
連結
膨張収縮
移動体抽出A
図３ 移動体抽出部のフロートラッキングのフローについて図３に移動体抽出部を、図４にタグ付けを含んだトラッキング部分について示す。

電子航法研究所研究発表会

a タグ付きの移動体が監視境界内の場合
A
位置相関
タグ付けによるトラッキング
特徴量（位置、速度）の更新--------------------------------------------------------b 移動体が監視境界に進入し始めた場合
A（新しいタグの付与）(第 4 回

平成 16 年 6 月)

船舶の運動特性などの特徴量を利用してタグ付けを試みた。その結果ある程度は正しく行えたが、速度が大幅に変化する場合や小さい船が大きい船の後ろに隠される場合などでは、うまくいかないことがあった。また交差中に変針する船についても正しく対応できなかった。
通常、浦賀水道のような航路では船が密になることが少ないので、重なった船の分離はある程度うまくいくが、港などの小型船がたくさん集まるところでのトラッキングはさらに工夫が必要と考えられる。もちろんカメラから船を見る角度（俯角）により重なり具合も変わってくるので、それによりトラッキングの精度も影響される。
今後、撮像環境の変化にも柔軟に対応できるアルゴリズムの改良を進めるとともに、船舶の特徴量をさらに組み込んで、より信頼性、ロバストネ
スのある方法を検討していきたい。

特徴量（位置、速度）の登録---------------------------------------------------------c 移動体が監視境界外に出た場合
A
その船舶のタグを消去
図４ トラッキング部のフロー
なお、速度ベクトルの予測はαβトラッカーにより推定した。
5.

トラッキングの処理結果
船舶が交差した場合についての結果を図５、図６、図７に示す。船１が右に進み、船２，３が左に進んでいる場合である。船１と２が交差した場合でもタグ付けがうまくいっていることがわかる。この場合は正しく行われた例であるが、重なった状態で静止するとタグ付けがおかしくなることがあった。また進行方向が急激に変化した場合などの場合もうまくいかなかった。監視境界で２つの船が重なって進入してきた場合は、その後のトラッキングがうまく行えなかった。
6. まとめ
夜間、浦賀水道航路を航行する船舶の赤外線カメラの画像を利用して、トラッキングを行った。

謝辞
この実験にあたって、赤外線カメラ等の機材の使用にご協力いただいた電子航法開発部のセンシング研究 グループに感謝します。また AIS関係の資料に関しては塩地上席研究員に協力を得ました。
参考文献[1] 山本、山田、桐谷、“画像センサを用いた海上 の 救 命 筏 検 出 実 験 ”、 電 子 情 報 通 信 学 会
SANE97-48(1997)[2] 山本、山田、桐谷、松倉、“海上監視支援システム”、NAVIGATION（平成 11 年 3 月）
[3] 松倉、桐谷、室原、“赤外線画像を用いた航行船舶の観測”、日本写真測量学会平成 10 年度年
次学術講演会論文集(平成 10 年)[4] 桐谷、金井、松倉、“赤外線画像センサによる航行船舶及び海上浮遊物の観測”、船舶技術研究所発表講演集(平成 10 年)[5] 福戸、“他船情報の自動収集の試みと展望”、
AIS セミナー「AIS の現状と展望」AIS 研究会(平成 16 年１月)
[6]矢田、“赤外線センサ等による船舶の検知追跡”、第 3 回電子航法研究所研究発表会概要(平成１5 年 6 月)

電子航法研究所研究発表会

図５

図６

図７

トラッキング画像（交差前）

トラッキング画像（交差中）

トラッキング画像（交差後）(第 4 回

平成 16 年 6 月)