(57)【要約】【課題】  より簡易かつロバストに船舶を抽出できる時系列航海画像からの船舶の抽出方法を提供する。【解決手段】  時系列航海画像からの船舶の抽出方法であって、時系列航海画像の任意画面上で空間微分処理とグループ化処理により船舶領域を推定し、この推定した船舶領域を時系列画像上の別画像と照合することにより船舶を抽出する。【選択図】図１
2005149288.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）時系列航海画像の任意画像上で空間微分処理とグループ化処理により船舶領域を推定し、
（ｂ）該推定した船舶領域を時系列画像上の別画像と照合することにより船舶を抽出することを特徴とする時系列航海画像からの船舶の抽出方法。
【請求項２】
請求項１記載の時系列航海画像からの船舶の抽出方法において、前記照合時にその一致度を比較し、より一致度の高い領域を船舶と判定することを特徴とする時系列航海画像からの船舶の抽出方法。
【請求項３】
請求項２記載の時系列航海画像からの船舶の抽出方法において、さらに推定領域の移動ベクトルを比較し、より直線的な動きをする領域を船舶と判定することを特徴とする時系列航海画像からの船舶の抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時系列航海画像からの船舶の抽出方法に係り、特に、航海中に撮影される画像を処理して、他の航行船舶を抽出し、直接その存在を確認するものである。
【背景技術】
【０００２】
船舶の安全航行に関しては国際的な取組みが行われており、２０００年１２月に開催されたＩＭＯ（国際海事機関）第７３回海上安全委員会において、一定の船舶に対するＡＩＳ（Ａｕｔｏｍａｔｉｃ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｓｙｓｔｅｍ：船舶自動識別装置）等の搭載義務化等を内容とする海上人命安全条約（ＳＯＬＡＳ条約）の改正が採択され、２００２年７月に発効された。ＡＩＳは自船の位置、速度、進行方向などの情報を自動的に送受信する無線設備で、これらの情報を船舶相互間及び陸上との間で交信することにより、船舶の衝突防止や航行管理等に優れた効果を発揮すると期待されている。
【０００３】
しかしながら、ＡＩＳの搭載は今後数年に渡り段階的に行われるため、今すぐにその効果が期待できるわけではない。また、基本的に３００ＧＴ（Ｇｒｏｓｓ  Ｔｏｎｎａｇｅ）未満の内航貨物船にはＡＩＳの搭載の義務がない。したがってＡＩＳを搭載しない３００ＧＴ未満の船舶が頻繁に往来する海域においては、今後も他の安全航行支援の手法を併用しなければならない。さらに通行量の多い航路、湾内、狭水道通過時にはＡＩＳ運用の有無に関わらず、従来通り航海士の目視による安全確認が必要不可欠である。このような状況も踏まえ、従来から見張り支援のためのシステム（下記非特許文献１、２及び３参照）が研究されている。しかし、実船に搭載し視覚支援の観点から検討を重ねた航行支援システムの提案は数少ない。
【０００４】
本発明は、航行中に撮影される画像を処理して、他の航行船舶を抽出し、直接その存在を確認するとともに、ＡＩＳやレーダーとの連携によって、複合情報を構築し、より高度な安全かつ効率的運航に寄与する時系列航海画像からの船舶の抽出方法に関するものである。
【０００５】
従来から時系列画像をもとに航行船舶を抽出する研究は行われている（下記非特許文献４参照）。この方法によれば、カメラを陸上に固定し、オプティカルフローとテンプレートを併用して船舶の移動を追跡する。この方法は画像の撮影環境として固定されたカメラを使用しているので、背景の固定を前提として比較的安定に船舶を抽出することができた。しかしながら、背景が可変となる航行する船上から他船を抽出する手法として適用することは困難である。
【０００６】
また、停泊している船上にカメラを設置し、画像を取得する方法（下記非特許文献５参照）がある。この方法によれば、画像全体のオプティカルフローを求めた後、動きベクトルのヒストグラムからカメラの動きを推定し背景を除去した。さらに時間差分画像の投影を行い船舶の位置を推定している。この方法は、画面全体のオプティカルフローを扱うため計算コストが高く船舶を抽出する精度の点でも検討の余地がある。そこで、より簡易かつロバストに船舶が抽出できる方法の研究が望まれている。
【非特許文献１】今津隼馬，“見張りの自動化に関する基礎研究，”東京商船大学研究報告（自然科学）第４２号（平成３年１２月）
【非特許文献２】黒川肇，今津隼馬，“他船視覚情報の収集自動化に関する研究，”日本航海学会論文８２号, ｐｐ．８５−９１，１９９０
【非特許文献３】小野卓也，今津隼馬，“見張りの画像分割法について”，日本航海学会論文集８９号，ｐｐ．１６９−１７７，１９９３
【非特許文献４】佐鳥昭生，大島正毅，航海環境画像からの航行船舶検出に関する実験，日本航海学会論文集９７号，ｐｐ．２１３−２２０，１９９７
【非特許文献５】鈴木充雄，大島正毅，船上からの時系列画像を用いた航行船舶の検出実験，日本航海学会論文集１００号，ｐｐ．１３−１９，１９９９
【非特許文献６】Ｃ．Ｋ．Ｃｈｕｉ，Ａｎ  Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｗａｖｅｌｅｔｓ，Ａｃａｄｅｍｉｃ  Ｐｒｅｓｓ，Ｂｏｓｔｏｎ，１９９２．Ｄ．Ｌ．Ｄｏｎｏｈｏ：“Ｄｅ−ｎｏｉｓｉｎｇ  ｂｙ  Ｓｏｆｔ−ｔｈｒｅｓｈｏｌｄｉｎｇ，”ＩＥＥＥ  Ｔｒａｎｓ．Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ，Ｖｏｌ．４１，Ｎｏ．３，ｐｐ．６１３−６２７，１９９５
【非特許文献７】土屋裕、“画像処理”、コロナ社、４．２．２  ラベル付け等価テーブル法、ｐｐ．９２−９３，１９９９
【非特許文献８】尾上守夫，前田紀彦，斎藤優，“残差逐次検定法による画像の重ね合わせ“，情報処理，ｖｏｌ．１７，ｎｏ．７，ｐｐ．６３４−６４０，１９７６
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般的に背景が一定であれば画像の背景差分法により移動物体の抽出が可能である。しかし背景が可変の場合には背景差分法は利用できない。このためアクティブ背景差分法が提案されている。しかしアクティブ背景差分法はカメラの動きを計測するためにカメラにセンサを取り付ける必要があり、背景の動きを補償した後に背景差分法を適用するという手順を踏む必要がある。またカメラの回転中心と光学中心のずれによる誤差歪を完全に補正することが困難であるという問題がある。
【０００８】
本発明は、上記状況に鑑みて、より簡易かつロバストに船舶を抽出できる時系列航海画像からの船舶の抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記目的を達成するために、
〔１〕時系列航海画像からの船舶の抽出方法であって、時系列航海画像の任意画面上で空間微分処理とグループ化処理により船舶領域を推定し、この推定した船舶領域を時系列画像上の別画像と照合することにより船舶を抽出することを特徴とする。
【００１０】
〔２〕上記〔１〕記載の時系列航海画像からの船舶の抽出方法において、前記照合時にその一致度を比較し、より一致度の高い領域を船舶と判定することを特徴とする。
【００１１】
〔３〕上記〔２〕記載の時系列航海画像からの船舶の抽出方法において、さらに推定領域の移動ベクトルを比較し、より直線的な動きをする領域を船舶と判定することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、以下のような効果を奏することができる。
【００１３】
（ａ）複雑なセンサや設置場所でのキャリブレーションを必要としない。従ってカメラは船橋上の任意の位置に設置することができる。
【００１４】
（ｂ）船舶の抽出だけではなく海上に浮かぶ浮標、停泊船の認識、さらに背景に含まれる陸地も分離することができる。
【００１５】
（ｃ）レーダーや他の航海計器（ＡＩＳ等）と情報交換することで複合情報を構築し、より高度な安全かつ効率的な運航に寄与する船舶を確認することができる。
【発明を実施するための最良の形態】
【００１６】
時系列航海画像からの船舶の抽出方法において、時系列航海画像の任意画像上で空間微分処理とグループ化処理により船舶領域を推定し、この推定した船舶領域を時系列画像上の別画像と照合することにより船舶を抽出する。よって、より簡易かつロバストに船舶を抽出することができる。
【実施例】
【００１７】
以下、本発明の実施の形態について詳細に説明する。
【００１８】
図１は本発明の実施例を示す時系列航海画像からの船舶の抽出方法のフローチャートである。
【００１９】
まず、時系列画像上の任意画像において船舶の領域を推定する。この推定には空間微分（ステップＳ１）を採用する。空間微分の結果をグループ化（ステップＳ２）し、一画素のみの小グループは、ノイズとして削除する。その後、グループ化した領域を適当な時間間隔を空けた別画像と照合する（ステップＳ３）。
【００２０】
この際、自船の動揺と他船の移動による影響があるため原画像の座標を基点とした一定の範囲で、近傍走査による照合を行う。この照合でグループ毎の一致度を判定し、一致度の高いグループを船舶候補（ステップＳ４）と判断する。一致度の低いグループは波とみなして除外する（ステップＳ５）。
【００２１】
さらにグループ化された領域に対応する濃淡画像を指す原画像と被照合画像間で照合した結果をベクトルとしてテーブル化し、移動ベクトルを求め（ステップＳ６）、その特徴として照合位置との距離が小さければ、船舶（ステップＳ８）と大きければ波（ステップＳ７）と判別する。この処理を時系列画像上で順次行うことで、波を除去して船舶だけを抽出することができる。新たな船舶の出現に備えて、船舶領域の推定は一定期間ごとに再設定する。
【００２２】
以下、時系列航海画像からの船舶の抽出方法を詳細に説明する。
【００２３】
〔１〕船舶輪郭の抽出〔ステップＳ１〕
空間微分法で船舶推定領域の輪郭を抽出する。微分オペレータとして今回はＫｉｒｓｃｈのオペレータを用いた。
【００２４】
〔２〕グループ化〔ステップＳ２〕
空間微分を行った結果はそのままでは単なる画素の集団であるので、近接している画素群をグループ化し、個々にラベルを付加する（上記非特許文献６）。グループ化された領域は船舶領域であると推定する。この後の処理は、全てこのグループ単位で行う。
【００２５】
船舶領域は一定量の画素数を有すると想定することができる。従って一画素のみの極小領域は船舶以外であるか、微分化の際に発生したノイズと考えられるので除去することができる。ノイズを取り除いた後、画素数の大きなグループを船舶、あるいは固定物と推定する。
【００２６】
適切な閾値を設定して画素数の少ないグループを削除することにより、小さな波を消去することができる。この時、波間に浮かぶ小型の浮遊物を見落とす可能性もあるので閾値は低く設定する（最大輝度２５６に対し１００以下）。この段階ではグループをあまり削除せず、次の照合処理に比重をおいた判定とする。
【００２７】
〔３〕照合（マッチング）〔ステップＳ３〕
グループ化処理を施した画像から適正にフレームを定めた後の時系列上の画像を選択し船舶領域の照合（マッチング）処理を行う。航海環境時系列画像は近接した画像間では変化が少ないという特徴があるため、被照合画像の選択は画像の時間間隔を空ける必要がある。ただしあまり間隔を空け過ぎると照合の走査範囲が広範囲に及ぶというデメリットが現れてしまう。本方法では走査範囲をｘ−ｙ方向１００画素以内と限定して実験データを処理した結果、適当な画像間隔を１０フレーム（０．３３秒後）と設定した。
【００２８】
グループ化した推定領域を任意フレーム間で照合すると、推定領域が船舶領域であれば予想通り比較的高い率でマッチングする。しかし、推定領域が波であった場合でも近辺の海面に似通った形状の波が存在すると一致度が高いことがある。すなわち船舶と見誤ってしまうことになる。これは輪郭を抽出する際に微分値を閾値で分別し画面全体を二値化するため、濃淡情報が欠落し位置情報のみになるためと考えられる。
【００２９】
そこで、精度を向上させるためグループ化した船舶推定領域の座標に対応する原画像（濃淡画像）の領域を切り出し、被照合画像との照合を行う。この場合、二値データではなく画像の濃淡データ同士を照合するので船舶領域の一致度はより向上し、波領域の一致度は低下する。照合には対応の見込みのない候補の演算を打切ることで高速化をはかる残差逐次検定法（Ｓｅｑｕｅｎｔｉａｌ  Ｓｉｍｉｌａｒｉｔｙ  Ｄｅｔｅｃｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ：ＳＳＤＡ）を用いた（上記非特許文献７）。ＳＳＤＡ法では、残差Ｒを下記（１）式で計算する。（ｕ，ｖ）は被照合画像内における推定領域画像の位置を示している。Ｉ(u,v) （ｍ，ｎ）は被照合画像の部分画像、Ｔ（ｍ，ｎ）はサイズが（ＴＸ，ＴＹ）の推定領域画像である。
【００３０】
【数１】
2005149288.tif 000003
【００３１】
〔４〕グループ領域の移動ベクトル評価〔ステップＳ６〕
前述の方法によって画像を処理しても、海上の波の状態によっては照合の一致度が高くなり波を完全に判別することが出来ない。例えば、白波の立たない、穏やかなうねりがある海面でこの現象は顕著である。そこで照合の結果をベクトル化しグループの移動（フロー）傾向で判断する方法を併用した。
【００３２】
原画像上にあるグループの位置Ｏ（Ｘｏ，Ｙｏ）から被照合画像の照合位置Ｍ（ｕ，ｖ）までをベクトル化し移動ベクトルＭＶとする。すなわち、下記（２）式に示す通りである。
【００３３】
【数２】
2005149288.tif 000004
【００３４】
次に、グループごとに座標位置をテーブル化し、照合位置の履歴を取ることで移動ベクトルＭＶを求める。ただし船舶の動揺により背景が振動しているので、この処理はあくまで画像上の相対変化を観察しているに過ぎない。しかしこのベクトル変化を観察すると、船舶の場合は動揺と進行方向への移動との和であるのに対して、波の場合はその変化が明らかにランダムに発散する傾向が見られる。この変化の差で更に精度良く波を判別することができる。
【００３５】
〔５〕時系列連続照合
時系列画像間で連続して上記の照合を行っていくと、波は次々に除去されて船舶だけを抽出することができる。しかし、上記〔３〕で述べた処理だけでは船舶が画面から外れた（フレームアウト）場合や新たな船舶が画面内に入り込んできた（フレームイン）場合に対応することができない。さらに、小型の船舶を一度波であると処理してしまった場合にこの判定を覆すことができない。そこで、本発明では定期的に輪郭の抽出処理（ステップＳ１）を立ち上げ、新たな推定領域を定義して照合を継続する。これにより、見落としやすい新たな船舶の出現に対応することができる。
【００３６】
次に、実験環境及び処理環境について説明する。
【００３７】
航海環境時系列画像を取得するための実験環境及び撮影した画像の処理環境を以下にまとめる。
【００３８】
（１）実験環境：東京商船大学練習船汐路丸の船橋及びウイングにＣＣＤカメラ及びビデオカメラを設置し、撮影した画像をビデオレコーダーに録画した。
【００３９】
（２）実験場所：東京湾、浦賀水道航路、館山湾、房総半島南西沖を航海中に撮影した。
【００４０】
（３）実験機器
ビデオカメラ（ＤＣＲ−ＴＲＶ７：ＳＯＮＹ製）
ＣＣＤカメラ（ＣＣＤ−ＩＲＩＳ：ＳＯＮＹ製）
ビデオレコーダー（ＤＳＲ−Ｖ１０：ＳＯＮＹ製）
画像編集機（ＷＳＤ／２ＸＴｒｅｍｅ：ＡＣＣＯＭ製）
（４）実験期間：２０００年−２００２年の汐路丸研究航海期間に実施した。
【００４１】
（５）実験状況：撮影方向は船舶の右舷前方を中心に任意方向とした。撮影方向は適宜変更したが一連の撮影を行う際はカメラを固定した。倍率は状況によって変更したが一連の撮影時には固定した。フォーカスは、無限遠で固定とした。露出は撮影機器の自動選択機能を用いた。
【００４２】
（６）処理環境：海上で撮影したビデオテープから画像編集機でＵＮＩＸ(登録商標）（ＳＵＮ製）環境へダウンロードし、画像データを処理した。
【００４３】
次に、実験結果について説明する。
【００４４】
撮影したデータを本発明の方法で処理した結果を以下に示す。
【００４５】
相模沖で撮影した時系列画像の任意の一フレームを図２に示す。
【００４６】
この図２では、自船右舷前方の船舶を捕えており、このとき自船は右舷方向にロールをしている最中である。
【００４７】
船舶の輪郭を抽出するために、図２の画面を空間微分した結果を図３に示す。この図からわかるように、船舶だけでなく海面の波の輪郭も多く抽出されている。
【００４８】
図３で得られた輪郭の画素をグループ化し、１００画素以上のグループだけを抽出した結果を図４に示す。船舶以外に幾つかの大きな波が認められる。
【００４９】
このグループを図２の画面から１０フレーム後（約０．３３秒後）の画面と照合した結果を図５に示す。長方形の白い枠で囲まれているのがグループ化した領域である。枠の中心から伸びている白線は１０フレーム後の画面上で照合の結果一致した領域へのベクトルである。船舶領域のベクトルは１０フレーム間の動き（ロール＋相対移動）に対応するのに対し、波のグループについては発散傾向が見られる。
【００５０】
さらに、図２の画面から２０フレーム後の画面と照合した結果を図６に示す。船舶領域は図５のベクトルの延長線上にあるが波のグループのベクトルは一致していないことが分かる。
【００５１】
また、図７は浦賀水道航路を北上中、左舷方向を撮影した画像を処理したものである。多くの波がグループ化されているがそのベクトルはいずれも発散している。船舶は一部分割されて認識されているが同一の進行方向を持つグループとして把握できている。
【００５２】
次に、上記試験の評価と考察を以下に行う。
【００５３】
〔１〕輪郭抽出
輪郭を抽出するため使用したＫｉｒｓｃｈのオペレータは８方向からの微分を行うので画像の特徴を感度良く抽出することができる。
【００５４】
しかし、本発明においては海上を航行する船舶の抽出が主目的であり、微細な海上の波や雲の特徴を抽出してもこれらは雑音となり、輪郭をグループ化する際の障害となる。従って画像に応じた閾値を設定して抽出数を制限しなければならなかった。これは感度の低いオペレータに変更して（Ｓｏｂｅｌ，Ｐｒｅｗｉｔｔ等）も同様であった。このため、本発明では画像の空間微分を行った結果、抽出数の量に応じて閾値を変更し、再微分するフィードバックプロセスの組み込みが必要であると判断している。この処理により、撮影条件の変化に柔軟な対応が可能となる。
【００５５】
〔２〕照合
上記の通り、航海画像の特質として、海面部分の照合は一致度に大きな変化が見られない。探索範囲が広いケースでは、一時的に船舶よりも一致度が高いケースさえあった。従って一致度の差による判断だけでは明確に波を除去することはできない。実験の結果、波は照合位置がランダムに移動する傾向が見られる。すなわち、時系列上で船舶は一定周期の軌道をとるが、波の場合はその移動が無秩序に発散する傾向がある。これは波が時系列画像上、二度と同じ形状を取らないことに起因すると考えられる。このフロー差を検証することにより、船舶と波を判別することができる。
【００５６】
本発明では、船舶推定領域が移動したログ（履歴）をテーブル化して、フローの発散度をもって判断する方法で対応した。
【００５７】
表１は図４での各グループの座標（ｘｏ，ｙｏ）とそれぞれのグループが１０フレーム後（図５参照）で照合した座標（ｘ１，ｙ１）、また２０フレーム後（図６参照）で照合した座標（ｘ２，ｙ２）をテーブル化し、船舶の判定を行った結果を示す。
【００５８】
【表１】
2005149288.tif 000005
【００５９】
移動ベクトルＭＶ１、ＭＶ２は下記（３）式、（４）式で表される。図５から推定した移動ベクトル２＊ＭＶ１と図６の照合位置へのベクトルＭＶ２から下記（５）式によりｄｉｓｔａｎｃｅ（偏差）を算出する。
【００６０】
【数３】
2005149288.tif 000006
【００６１】
ｄｉｓｔａｎｃｅを閾値処理することにより一回の判定でほとんどの波を除去することができる。表１において、Ｌａｂｅｌ５が画像中の船舶のグループである。Ｌａｂｅｌ７２４はこの判定では船舶と判断されているが、処理を継続することで船舶以外の全ての波が除去される。
【００６２】
〔３〕グループ化
航路や湾内に於いて陸地を背景にして船舶を認識しなければならないケースがある。この場合に推定領域をグループ化すると、船舶と背景が結合してしまうことがある。船舶と背景が一体になってしまうと、グループ単位で照合を行ったときに船舶だけを抽出することができない。この対策としては照合する際にグループ内をブロックに細分化して個別のフローをとることで解決できる可能性がある。この場合、計算コストと精度のバランスを考慮する必要がある。
【００６３】
〔４〕画像倍率の問題
本発明で撮影した画像は任意に倍率を設定した。実際の船橋当直業務ではまず広い範囲を監視して必要な場合には双眼鏡で確認するという操作が行われている。低倍率で広範囲に撮影した画像は、対象となる船舶が小さいため波と間違って抽出できないことがある。したがって小型あるいは遠方の対象物を確認するためにはカメラのズーム（拡大）操作が必要である。このため本発明を船橋当直業務に適用するためにはカメラのパン（水平方向回転）、及びカメラのズーム操作をアクティブに行うことができる装置が理想的である。
【００６４】
上記したように、本発明によれば、実画像を処理した結果、船舶の抽出に有効であることが確認できた。
【００６５】
本発明は最終的に、ＡＩＳやレーダーとの連携による航行支援を目標に掲げている。このために、必要な情報はカメラ光軸の絶対方位と、ＡＩＳやレーダーの距離、方位情報等である。カメラの光軸は、ＧＰＳやジャイロコンパスの出力を利用して絶対方位を取得する方法がある。また、ＡＩＳやレーダーの情報を取得するためには、これらの機器と情報交換インターフェイスを構築することで相対船の位置、方位情報を取得することが可能である。
【００６６】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、これらを本発明の範囲から排除するものではない。
【産業上の利用可能性】
【００６７】
本発明は、より簡易かつロバストに相対船の位置、方位情報を抽出するのに適している。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施例を示す時系列航海画像からの船舶の抽出方法のフローチャートである。
【図２】本発明にかかる時系列画像の任意のフレームを示す図である。
【図３】本発明にかかる図２の画面を空間微分した結果を示す図である。
【図４】本発明にかかる図３で得られた輪郭の画素をグループ化し、１００画素以上のグループだけを抽出した結果を示す図である。
【図５】本発明にかかる図２の画面から１０フレーム後の画像と照合した結果を示す図である。
【図６】本発明にかかる図２の画面から２０フレーム後の画像と照合した結果を示す図である。
【図７】本発明にかかる浦賀水道航路における処理結果を示す図である。
【図１】
2005149288.tif 000007
【図２】
2005149288.tif 000008
【図３】
2005149288.tif 000009
【図４】
2005149288.tif 000010
【図５】
2005149288.tif 000011
【図６】
2005149288.tif 000012
【図７】
2005149288.tif 000013