(57)【要約】【課題】動画像中で移動体の像が非常に小さくても、簡易で高速な処理によって移動体の軌跡を表示し、移動体を観察することが可能な移動体の軌跡表示方法および軌跡表示装置を提供する。【解決手段】本発明にかかる移動体の軌跡表示方法の代表的構成は、動画像を撮影し、動画像を複数のフレームに分割し、複数のフレームを用いて、各画素の位置における複数のフレーム中の最大の輝度値を取得する最大値フィルタ処理を行い、複数のフレームを用いて、各画素の位置における複数のフレーム中の最小の輝度値を取得する最小値フィルタ処理を行い、各画素について最大の輝度から最小の輝度を減算して差分画像を生成し、差分画像において各画素についてその周辺画素との輝度分散値を求める分散フィルタ処理を行うことにより、移動体を軌跡で表示することを特徴とする。【選択図】図４
2019023800.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影し、
前記動画像を複数のフレームに分割し、
前記複数のフレームを用いて、各画素の位置における前記複数のフレーム中の最大の輝度値を取得する最大値フィルタ処理を行い、
前記複数のフレームを用いて、各画素の位置における前記複数のフレーム中の最小の輝度値を取得する最小値フィルタ処理を行い、
各画素について最大の輝度から最小の輝度を減算して差分画像を生成し、
前記差分画像において各画素についてその周辺画素との輝度分散値を求める分散フィルタ処理を行うことにより、
移動体を軌跡で表示することを特徴とする移動体の軌跡表示方法。
【請求項２】
前記動画像は、マルチコプターで撮影することを特徴とする請求項１に記載の軌跡表示方法。
【請求項３】
動画像を複数のフレームに分割するフレーム分割部と、
前記複数のフレームを用いて、各画素の位置における前記複数のフレーム中の最大の輝度値を取得する最大値フィルタと、
前記複数のフレームを用いて、各画素の位置における前記複数のフレーム中の最小の輝度値を取得する最小値フィルタと、
各画素について最大の輝度から最小の輝度を減算して差分画像を生成する差分画像生成部と、
前記差分画像において各画素についてその周辺画素との輝度分散値を求める分散フィルタとを備え、
移動体を軌跡で表示した画像を出力する出力部とを備えることを特徴とする移動体の軌跡表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の中に映り込む小さな移動体の移動軌跡を表示する軌跡表示方法および軌跡表示装置に関する。
【背景技術】
【０００２】
事業活動において、土木建設工事予定地などの環境への影響を把握または予測するため、動物や植物、昆虫などの生態を調べる環境調査が義務付けられることがある。環境調査では、法律で保護が義務付けられた希少な動物等の種類や個体数、生息域などを知る必要がある。特に、我が国は、変化の大きい気候と起伏に富んだ地形を有しているため、草原や森林だけでなく、湿原や砂丘など、特殊な立地で生息する動物等もある。これらの動物等も我が国の貴重な資源であり、各事業者には環境保護に対する積極的な取り組みが求められている。
【０００３】
旧来の環境調査においては、専門家による実地調査が一般的であった。例えば湿原の鳥群の調査などでは、主に専門家が湿地など鳥の群生地に直接立ち入り、双眼鏡やスポッティングスコープ（フィールドスコープ）による目視観察や踏査、写真撮影を行っていた。
【０００４】
しかしながら、例えば湿原などにおいては、そもそも人が立ち入ることが困難であり、なおかつ、人が地表面を踏むこと自体が環境への大きなダメージになってしまう。そのため、例えば仮設の足場（木道）を設けるなど、限定的な範囲のみでしか調査を行うことができない場合が多く、非常に手間がかかっていた。また地上からの観察では、鳥の種類を判別することはできるが、木立などにより見通せる視野が限られるため、鳥の個体数を調査することは難しかった。
【０００５】
これに対し近年は、遠隔操作可能な無人の小型マルチコプター、いわゆるドローンの性能向上および利用拡大に注目が集まっている。このマルチコプターにカメラを搭載して、環境調査を行うことも検討されている。マルチコプターを利用することで、人工衛星や航空機などを利用する場合に比べて、簡単かつより細かな環境調査も可能になる。
【０００６】
画像から鳥類を判別する方法については、特許文献１（ＷＯ２００９／１０２００１号公報）がある。特許文献１では、ドームミラーを用いて撮影した動画像から、飛来物の動きをＰＩＶ（粒子画像流速測定法）等で検知し、鳥類飛行パターンデータベースと照合して鳥類の飛行か否かを判別し、これに応じて風力発電装置の制御を行うとしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】ＷＯ２００９／１０２００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、マルチコプター（ドローン）を用いて鳥類の観察を行う場合、マルチコプターは騒音を発するため、鳥が警戒することから、対象とする鳥類から離れたところから観察・撮影を行う必要がある。ここで、高画質の望遠レンズをドローンに搭載すると、重量があるため墜落しやすく、墜落すれば高価な機器を失うことにもなる。また望遠レンズでは、観察できる視野が狭いという問題もある。
【０００９】
一方、一般的にドローンに搭載される広角レンズでは、視野が広い上に解像度が低いため、遠距離からの撮影となると鳥個体の像の大きさが画像中で非常に小さく、１ピクセル以下（サブピクセル）もしくは数ピクセル程度となってしまう。そのような小さな像では、個体を視認しづらく、ましてその数をカウントすることは難しいという問題がある。また、撮影機材が空中に浮いており固定されていない状況下において、そのような小さな像では、特許文献１のようにＰＩＶ等による解析も確実ではない。
【００１０】
発明者らが鋭意検討したところ、移動軌跡を線として表せば、一見して見分けがつくであろうと考えた。さらに、ＰＩＶ等による処理よりも簡易で高速な処理方法について検討し、本発明をするに至った。
【００１１】
そこで本発明は、動画像中で移動体の像が非常に小さくても、簡易で高速な処理によって移動体の軌跡を表示し、移動体を観察することが可能な移動体の軌跡表示方法および軌跡表示装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明にかかる移動体の軌跡表示方法の代表的構成は、動画像を撮影し、動画像を複数のフレームに分割し、複数のフレームを用いて、各画素の位置における複数のフレーム中の最大の輝度値を取得する最大値フィルタ処理を行い、複数のフレームを用いて、各画素の位置における複数のフレーム中の最小の輝度値を取得する最小値フィルタ処理を行い、各画素について最大の輝度から最小の輝度を減算して差分画像を生成し、差分画像において各画素についてその周辺画素との輝度分散値を求める分散フィルタ処理を行うことにより、移動体を軌跡で表示することを特徴とする。
【００１３】
上記構成によれば、動画像中で移動体の像が非常に小さくても、簡易で高速な処理によって移動体の軌跡を表示し、移動体を観察することが可能である。したがって鳥群を撮影した場合は、遠方を飛び去る鳥の数を数えることが可能となる。なお本発明は、鳥以外であっても移動体の数を観察する場合に適用することが可能であり、特に画像中の像が小さな移動体の観察に適している。
【００１４】
動画像は、マルチコプターで撮影してもよい。これにより、見通せない箇所での環境調査を行うことが可能となる。
【００１５】
また本発明にかかる移動体の軌跡表示装置の代表的な構成は、動画像を複数のフレームに分割するフレーム分割部と、複数のフレームを用いて、各画素の位置における複数のフレーム中の最大の輝度値を取得する最大値フィルタと、複数のフレームを用いて、各画素の位置における複数のフレーム中の最小の輝度値を取得する最小値フィルタと、各画素について最大の輝度から最小の輝度を減算して差分画像を生成する差分画像生成部と、差分画像において各画素についてその周辺画素との輝度分散値を求める分散フィルタとを備え、移動体を軌跡で表示した画像を出力する出力部とを備えることを特徴とする。
【００１６】
上述した移動体の軌跡表示方法における技術的思想に対応する構成要素やその説明は、当該移動体の軌跡表示装置にも適用可能である。
【発明の効果】
【００１７】
本発明によれば、動画像中で移動体の像が非常に小さくても、簡易で高速な処理によって移動体の軌跡を表示し、移動体を観察することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】本実施形態にかかる軌跡表示装置の構成について説明する図である。
【図２】本実施形態にかかる軌跡表示方法のフローチャートである。
【図３】処理画像の例を示す図である。
【図４】画像処理の前後を示す図（拡大図）である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００２０】
図１は本実施形態にかかる軌跡表示装置１００の構成について説明する図、図２は本実施形態にかかる軌跡表示方法のフローチャートである。
【００２１】
軌跡表示装置１００は動画像に対して処理を行い、移動体の軌跡を表示する。移動体としては、本実施形態では空を飛ぶ鳥を例に挙げて説明する。しかし本発明で言う移動体は空を飛ぶ鳥類に限定されるものではなく、昆虫類、地面を這う爬虫類、水中を泳ぐ魚類、さらには生物以外のものであっても、画像中に小さく映る移動体であれば好適に適用することができる。
【００２２】
本実施形態において動画像は、本実施形態においてはマルチコプター２００のカメラ２１０を用いて撮影する。マルチコプター２００は、湿原や山岳地帯、海岸線、その他観測員が容易には立ち入れない場所を飛行して撮影を行うことができるため、見通せない箇所での環境調査を行うことが可能となる。
【００２３】
カメラ２１０はマルチコプター２００に標準装備されているものであってもよいが、広い範囲を撮影できるように広角レンズ（広角フィルタ）を備えていることが望ましい。なお、広範囲を撮影すれば当然に移動体の像が小さくなるが、後述するように、本発明を用いれば移動体の像が非常に小さくてもその軌跡を表示することができる。
【００２４】
なお動画像を撮影する装置はマルチコプター２００に限られない。手持ちのハンディカメラや、定点カメラで撮影したものであってもよい。さらには過去に撮影された既存の動画像であっても処理対象とすることができる。動画像は、側方から撮影したものでもよく、上から（上空から）撮影したものでもよい。
【００２５】
軌跡表示装置１００は、専用の装置であってもよいが、具体的には汎用のコンピュータで構築することができる。以下、図１と図２を同時に参照しながら、軌跡表示装置１００の構成と動作について説明する。
【００２６】
画像取得部１１０は動画像のデータを取得する（ステップＳ３００）。動画像がデータファイルになっている場合にはＵＳＢやＩ／Ｏインターフェースが画像取得部１１０に該当し、動画像が映像信号である場合にはＨＤＭＩ（登録商標）やＩＥＥＥ１３９４インターフェースが画像取得部１１０に該当する。いずれにしても画像取得部１１０は、軌跡表示装置１００内で処理可能なように動画像のデータを入力できればよい。
【００２７】
処理部１２０は、具体的にはコンピュータのＣＰＵであり、次に説明するフレーム分割部１２２や各フィルタはＣＰＵで実行されるプログラムである。
【００２８】
フレーム分割部１２２において、動画範囲（時間）を選択し（ステップＳ３０２）、選択範囲の動画像を複数のフレーム（静止画）に分割する（ステップＳ３０４）。フレーム分割部１２２が抜き出す映像の範囲は、観察対象となる移動体（例えば鳥）ができるだけ多く映っている時間の範囲とすることが望ましい。
【００２９】
動画像を分割する具体的な処理は、動画像のフォーマットに依存する。例えば動画像がＭｏｔｉｏｎＪＰＥＧのように静止画を配列したフォーマットであれば、単純に各フレームを抜き出せばよい。動画像のｆｐｓ（frame per second）に依存することなく、一定時間単位（例えば０．１秒単位）で抜き出してもよい。ＭＰＥＧのように差分圧縮されているものは、ＧＯＰ（Group Of Pictures）のＩフレームごとに抜き出してもよい。
【００３０】
次に最大値フィルタ１２４は、分割された複数のフレームに対し、最大値フィルタ処理を行う（ステップＳ３０６）。最大値フィルタは、複数のフレームを用いて、各画素の位置における複数のフレーム中の最大の輝度値を取得する。言い換えると、各画素のデータとして、輝度値が最大であるフレームの画素データを採用する。画像のカラースペースがＹＣｂＣｒの場合は、輝度Ｙが最大となるときのＹＣｂＣｒの値をその画素のデータとする。カラースペースがＲＧＢのときは、一例として輝度Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂで算出し、輝度Ｙが最大となるときのＲＧＢの値をその画素のデータとする。
【００３１】
最小化フィルタ１２６は、分割された複数のフレームに対し、最小化フィルタ処理を行う（ステップＳ３０８）。最小フィルタは、複数のフレームを用いて、各画素の位置における複数のフレーム中の最小の輝度値を取得する。すなわち、各画素のデータとして、輝度値が最小となるフレームの画素データを採用する。
【００３２】
図３は処理画像の例を示す図である。図３（ａ）は処理前の画像の例であり、１フレームの画像である。運動場で撮影している。遠方に山あいが見えているが、画像中央部のやや上寄りに鳥が映っている。鳥はこの画像では点にしか見えていない。
【００３３】
図３（ｂ）は最大値フィルタ処理後の画像の例である。各画素は全フレームの明るい画素を拾っているから、全体的に明るい画像になっている。また、鳥は消えてしまっている。
【００３４】
図３（ｃ）は最小値フィルタ処理後の画像の例である。各画素は全フレームの暗い画素を拾っているから、全体的に暗い画像になっている。ここで、鳥は軌跡を示す線になっている。明るい空に鳥が暗い点として映っているから、最小値フィルタで全フレームから暗い画素データを拾うと、鳥の点が連続して残るのである。しかし図３（ｃ）の最小値フィルタ処理後の画像では、周辺の景色も見えているため、鳥の軌跡が視認しやすいとは感じられない。
【００３５】
そこで差分画像生成部１２８は、各画素について最大の輝度（最大値フィルタ処理後の画素データ）から最小の輝度（最小値フィルタ処理後の画素データ）を減算して、差分画像を生成する（ステップＳ３１０）。これにより、全く変化がない画素（最大値と最小値が一致する画素）は値がゼロ（黒）になるはずである。ただし、各画素を差分値にすると、画面全体が非常に暗くなってしまう（見た目にはほとんど単なる黒い四角になってしまうため、図示していない）。各画素の輝度値ないしＲＧＢの値を固定倍にゲインアップすることも考えられるが、それだと全体的に白くなってしまって軌跡が見分けにくいままである。
【００３６】
そこで次に、分散フィルタ１３０によって、差分画像に対して分散フィルタ処理を行う（ステップＳ３１２）。分散フィルタとは、注目画素とその周辺画素との輝度値の分散値を求めて、分散値をその注目画素の輝度値（輝度分散値）とするものである。輝度分散値は、輝度値のばらつきが大きいほど大きな値となる。この分散値画像において、オブジェクト（物体）の輪郭は輝度分散値が大きくなるため、輪郭を抽出することになる。
【００３７】
図３（ｄ）は分散フィルタ処理後の画像の例を示している。これにより差分画像では画面全体が暗くなってしまっていたところ、移動体（鳥）の軌跡を明確に表示できていることがわかる。そこで、分散フィルタ処理後の画像を、以下では軌跡画像と称する。
【００３８】
図４は画像処理の前後を示す図（拡大図）であって、図４（ａ）は図３（ａ）の中央部を拡大した図、図４（ｂ）は図３（ｄ）の軌跡画像の中央部を拡大した図である。なお上で説明したように、図４（ａ）は１フレームの画像、図４（ｂ）は複数のフレームから生成した軌跡画像である。この拡大図を参照すれば、移動体（鳥）の軌跡を明確に表示できていることが理解できる。
【００３９】
なお軌跡画像には、道路の縁や山の稜線、木々の輪郭も残ってしまっている。これらのオブジェクトは動いていないのだが、動画像撮影中にカメラが動いたり、動画像の画像圧縮によって輪郭にジャギーやブロックノイズが発生したりするため、最大値フィルタ後の画像と最小値フィルタ後の画像で輪郭上の画素の輝度が異なってしまうためである。
【００４０】
出力部１４０は、上記で生成した軌跡画像を表示する。表示は標準出力であるモニタに表示してもよいし、プリンタから紙に印刷してもよい。軌跡画像を白黒反転してから表示してもよい。
【００４１】
上記説明したように、本発明の構成によれば、動画像中で移動体の像が非常に小さくても、移動体の軌跡を表示し、移動体を観察することが可能である。したがって鳥群を撮影した場合は、遠方を飛び去る鳥の数を数えることが可能となる。なお本発明は、鳥以外であっても移動体の数を観察する場合に適用することが可能であり、特に画像中の像が小さな移動体の観察に適している。
【００４２】
上記の各種フィルタ処理は、ＰＩＶ処理等と比較すれば、簡易で高速な処理である。また、ＰＩＶは全体的な流れ場を算出するものであり、ノイズほどの小さな移動体を検出しようとはしていない。そのため本発明の目的とするところはＰＩＶ処理では達成できない。
【００４３】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００４４】
本発明は、動画像の中に映り込む小さな移動体の移動軌跡を表示する軌跡表示方法および軌跡表示装置として利用することができる。
【符号の説明】
【００４５】
１００…軌跡表示装置、１１０…画像取得部、１２０…処理部、１２２…フレーム分割部、１２４…最大値フィルタ、１２６…最小化フィルタ、１２８…差分画像生成部、１３０…分散フィルタ、１４０…出力部、２００…マルチコプター、２１０…カメラ
【図１】
2019023800.tif 000003
【図２】
2019023800.tif 000004
【図３】
2019023800.tif 000005
【図４】
2019023800.tif 000006