(57)【要約】【課題】動画像を利用した作業を効率化すること。【解決手段】複数の物体のそれぞれについて第１の動画データから抽出された移動軌跡に基づいて、前記物体が移動する第２の動画データを生成する生成手順をコンピュータが実行し、前記生成手順は、前記第２の動画データの開始時から、前記複数の物体の移動の終了時までの時間が、前記第１の動画データの開始時から、前記複数の物体の移動の終了時までの時間よりも短くなるように、前記複数の物体の相対的な移動の開始時期を変えて前記第２の動画データを生成する。【選択図】図６
2018101910.tif 000002
【特許請求の範囲】
【請求項１】
複数の物体のそれぞれについて第１の動画データから抽出された移動軌跡に基づいて、前記物体が移動する第２の動画データを生成する生成手順をコンピュータが実行し、
前記生成手順は、前記第２の動画データの開始時から、前記複数の物体の移動の終了時までの時間が、前記第１の動画データの開始時から、前記複数の物体の移動の終了時までの時間よりも短くなるように、前記複数の物体の相対的な移動の開始時期を変えて前記第２の動画データを生成する、
ことを特徴とする画像処理方法。
【請求項２】
各移動軌跡に対応する時区間に基づいて、前記第１の動画データにおいて、前記複数の物体のいずれもが移動していない時区間によって区切られる、少なくともいずれか一つの物体が移動している複数の時区間を抽出する抽出手順をコンピュータが実行し、
前記生成手順は、各時区間において移動する物体について、前記第１の動画データの開始時から当該物体が移動を開始するまでの経過時間から、前記第１の動画データの開始時から当該物体が移動する時区間の開始時までの経過時間を差し引くことで得られる時間が経過した時期に移動を開始するように、前記第２の動画データを生成する、
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記生成手順は、前記第１の動画データから抽出された移動軌跡のうち、第１の閾値以下の数の移動軌跡に基づいて、前記第２の動画データを生成する、
ことを特徴とする請求項１又は２記載の画像処理方法。
【請求項４】
前記生成手順は、前記複数の時区間のうち、第２の閾値以下の数の時区間において移動する物体について、前記第２の動画データを生成する、
ことを特徴とする請求項２記載の画像処理方法。
【請求項５】
前記第２の動画データに含まれる物体に対する所定の操作に応じ、当該物体に係る移動軌跡に対してアノテーションを付与する付与手順、
をコンピュータが実行することを特徴とする請求項１乃至４いずれか一項記載の画像処理方法。
【請求項６】
前記生成手順は、アノテーションが付与された移動軌跡に係る物体を、前記第２の動画データの表示対象から除去する、
ことを特徴とする請求項５記載の画像処理方法。
【請求項７】
複数の物体のそれぞれについて第１の動画データから抽出された移動軌跡に基づいて、前記物体が移動する第２の動画データを生成する生成部を有し、
前記生成部は、前記第２の動画データの開始時から、前記複数の物体の移動の終了時までの時間が、前記第１の動画データの開始時から、前記複数の物体の移動の終了時までの時間よりも短くなるように、前記複数の物体の相対的な移動の開始時期を変えて前記第２の動画データを生成する、
ことを特徴とする画像処理装置。
【請求項８】
請求項１乃至６いずれか一項記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
大容量な記憶媒体が安価に入手できるようになったことで、屋外に設置したカメラにより、定点映像を長期間に渡り連続して撮影・記録することが可能となりつつある。防犯カメラ用のレコーダーでは、解像度や圧縮率にもよるが、数十から数百時間の映像記録は既に当たり前であり、増設していくことでさらに長時間記録も可能である。
【０００３】
また、このような映像記録が可能になったことで、防犯用途以外にも定点映像の記録が用いられている。例えば、発明者らはニッポンバラタナゴという絶滅危惧種の魚が産卵するドブガイを水中カメラで撮影し続けることで、その産卵パターン等を明らかにする試みを進めている（例えば、非特許文献１参照）。長期間に渡り切れ目なく撮影した映像中から、ドブガイにアプローチするタナゴの数や、産卵試行数を時間帯別に集計し、そのデータと繁殖池の水温や溶存酸素量等と比較する。これにより、どのような環境条件の時に、産卵行動が活発化するか等を明らかにすることを目指している。
【０００４】
上記を実現するためには、記録した映像からニッポンバラタナゴの数や産卵試行数等を抽出する必要がある。現在、このような映像の解析を支援するため、アノテーションツール（ビデオ映像に注釈を付与し、解析を支援するソフトウェア）が提案・公開されている（例えば、非特許文献２、非特許文献３参照）。
【０００５】
また、画像処理技術を用いて、映像中の動物の種類や移動軌跡等を自動で認識することも実施されている（例えば、非特許文献４参照）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】水谷伸，白井良成，岸野泰恵，柳沢豊，大津賀真之，北川忠生，納谷太: 絶滅危惧の魚の繁殖生態解明に向けたオンライン画像行動解析の予備的検討, マルチメディア，分散，協調とモバイル(DICOMO2016)シンポジウム, pp.572-576, 2016.
【非特許文献２】Wittenburg, P., Brugman, H., Russel, A., Klassmann, A., Sloetjes, H. (2006). ELAN: a Professional Framework for Multimodality Research.In: Proceedings of LREC 2006, Fifth International Conference on Language Resources and Evaluation.
【非特許文献３】Carl Vondrick, Donald Patterson, Deva Ramanan. "Efficiently Scaling Up Crowdsourced Video Annotation" International Journal of Computer Vision (IJCV). June 2012.
【非特許文献４】UMATracker、［online］、インターネット＜ＵＲＬ：http://ymnk13.github.io/UMATracker/＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、長期間にわたり定点で撮影された映像の解析に、従来の技術はそれぞれ以下の課題を抱えている。
【０００８】
まず、アノテーションツール（すなわち、映像に手作業で注釈をつけるシステム）は、映像を再生しながら注釈をつけたい場所を探し、そこに注釈をつけるという作業を繰り返すため、注釈を付ける作業にかなりの時間がかかってしまう。そのため、長時間にわたり撮影された膨大な映像を解析するにはこれらのツールは適していない。例えば何日にもわたって撮影された水中映像から、ニッポンバラタナゴやその産卵試行を探して注釈をつけ、集計するのは困難である。
【０００９】
画像処理技術については、屋外で撮影された定点映像を対象とした場合、自動で映像中の動物の種類や移動軌跡を認識するのは困難である。屋外環境で撮影された映像には照明状態の変動等様々な画像処理を困難にする要素（ノイズ）が入っているためである。例えば、水槽ではなく実際の海や池などで録画された映像から特定の個体（例えば、ニッポンバラタナゴ）を画像処理技術を用いて抽出する際には、下記の課題を克服する必要がある。
（１）水槽ではなく実際の海や池などの水は多少はあるもののすべからく濁っている。
（２）ゴミや水棲昆虫、カウントしたくない別種の魚などが動画中に映り込む。
（３）気象条件の変化などで、動画の明るさや色がダイナミックに変化する。
【００１０】
結果として、カウントされるべき魚を認識できなかったり、誤って別のものをカウントしてしまうという事態が起きてしまう。このような誤認識が増えると、映像から得られた知見自体の信頼性が低下してしまう。
【００１１】
したがって、映像中の動物等の移動物体の種類の認識については、人手に頼らざるを得ないのが現状である。
【００１２】
本発明は、上記の点に鑑みてなされたものであって、動画像を利用した作業を効率化することを目的とする。
【課題を解決するための手段】
【００１３】
そこで上記課題を解決するため、複数の物体のそれぞれについて第１の動画データから抽出された移動軌跡に基づいて、前記物体が移動する第２の動画データを生成する生成手順をコンピュータが実行し、前記生成手順は、前記第２の動画データの開始時から、前記複数の物体の移動の終了時までの時間が、前記第１の動画データの開始時から、前記複数の物体の移動の終了時までの時間よりも短くなるように、前記複数の物体の相対的な移動の開始時期を変えて前記第２の動画データを生成する。
【発明の効果】
【００１４】
動画像を利用した作業を効率化することができる。
【図面の簡単な説明】
【００１５】
【図１】移動物体が現れた時間分布の一例を示す図である。
【図２】動画長が短縮された場合の移動物体が現れた時間分布の一例を示す図である。
【図３】移動物体が現れているセグメントの重ね合わせを説明するための図である。
【図４】セグメントの重ね合わせにより生成される動画像を説明するための図である。
【図５】第１の実施の形態における画像処理装置１０のハードウェア構成例を示す図である。
【図６】第１の実施の形態における画像処理装置１０の機能構成例を示す図である。
【図７】軌跡データの生成処理の処理手順の一例を説明するためのフローチャートである。
【図８】元画像の一例を説明するための図である。
【図９】元画像を前景と背景とに分離した状態の一例を示す図である。
【図１０】移動物体Ｂの軌跡データの一例を示す図である。
【図１１】合成画像の生成処理の処理手順の一例を説明するためのフローチャートである。
【図１２】合成画像の一例を説明するための図である。
【図１３】操作画面の一例を示す図である。
【図１４】アノテーションの付与処理の処理手順の一例を説明するためのフローチャートである。
【図１５】アノテーションが付与された状態の一例を示す図である。
【図１６】注釈ＤＢ２４の構成例を示す図である。
【図１７】アノテーションが付与された移動物体が表示対象から除去された状態を示す図である。
【図１８】未表示だった移動物体が表示対象に追加された状態を示す図である。
【図１９】未表示だったセグメントの合成を説明するための図である。
【図２０】第３の実施の形態における操作画面の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、図面に基づいて第１の実施の形態を説明する。ニッポンバラタナゴの産卵監視映像を例に本実施の形態の概要を説明する。産卵監視映像では、動画像の中にバラタナゴ等が画面の端から入り、産卵用のドブガイに近づいた後、画面外に抜けていくという行動が頻繁に映り込む。このような一連の移動物体とその軌跡に対して、その移動物体が何か（バラタナゴ、メダカ、ゴミ等）、産卵したか否かといったアノテーションを付与することを考える。全ての軌跡群に対してアノテーションをつけることができれば、そのアノテーションデータに基づいて、例えば、一時間にタナゴがのべ何回ドブガイに接近したかを算出できる。
【００１７】
本実施の形態では、まず、移動物体の軌跡を画像処理を用いて抽出し、軌跡データを作成する。画像中に移動物体が現れ、その移動物体が消えるまでを一つの軌跡データとして扱う。軌跡データの作成例は以下において説明するが、軌跡データの作成には公知の画像処理手法を用いることができる。
【００１８】
次に、軌跡データ及び動画像をアノテーション用のソフトウェアに読み込む。アノテーションソフトウェアは、軌跡データの生成に伴って作成される背景画像に重ねて、軌跡データに基づいて、移動物体を重畳する。この際、本実施の形態では、時間的に異なるセグメントの軌跡データを映像中で重ねて表示する。この点について図を用いて説明する。
【００１９】
図１は、移動物体が現れた時間分布の一例を示す図である。図１では、時刻ｔ０−ｔ５の時区間において、動画像中に７つの移動物体Ａ−Ｇが現れた時間帯が示されている。
【００２０】
まず、ｔ０−ｔ５の時区間を、移動物体が１つも表れていない時区間に基づいて分割する。図１の例では、ｔ０−ｔ１、ｔ２−ｔ３、ｔ４−ｔ５の３つのセグメントに分割することができる。移動物体が現れない区間、ｔ１−ｔ２、ｔ３−ｔ４を削除することで、動画像の時間（動画長）を短縮することができる。
【００２１】
図２は、動画長が短縮された場合の移動物体が現れた時間分布の一例を示す図である。図２に示されるように、動画長が圧縮（短縮）されることで、アノテーションの付与を高速化することができるが、
本実施の形態では、移動物体が現れている複数の時区間（セグメント）が重ねられることで、１つのセグメントの時間長の動画像が生成される。具体的には、図１のようにセグメントが分割された場合、図３に示されるように、ｔ２−ｔ３、ｔ４−ｔ５の時区間（セグメント）に現れた物体Ｄ−Ｇをｔ０−ｔ１の時区間に重ねて表示する動画像が生成される。その結果、図４に示されるような動画像が生成される。
【００２２】
本実施の形態では、図４に示されるような動画像を用いてアノテーションの付与が行われる。このような動画像を生成することで、ユーザは、一度に多数の移動物体を閲覧しながらアノテーションを付与することが可能となる。上記の例では、元の動画像はｔ０−ｔ５の長さであったのに対し、セグメントが重ね合わされた動画像はｔ０−ｔ１の長さとなる。ユーザは、ｔ０−ｔ１の時区間を再生するだけで、ｔ０−ｔ５の時区間中に現れる全ての移動物体とその軌跡を確認できる。圧縮時間は最長のセグメントの長さに依存する。図１の例では、ｔ０−ｔ１が３つのセグメントの中で最長であるため、圧縮された動画像の時間長はｔ１−ｔ０となる。仮に、ｔ２−ｔ３のセグメントが最長であれば圧縮された動画像の時間長はｔ３−ｔ２となる。
【００２３】
アノテーションの付け方としては、事前にアノテーション内容（例えば、「バラタナゴ、雄」）を選択した状態で移動物体をクリックしていくことで、クリックされた移動物体にアノテーションが付与されてもよい。又は、フォーカスが当たっている移動物体にキーボードショートカットを用いてアノテーションが付与されてもよい。
【００２４】
一つの移動物体に注目してアノテーションを付けながら、他の移動物体が何であるのかを並行して把握できるか否かは、個人の並行処理能力や作業への慣れに依存する。或るユーザは、一度に多数の移動物体が何であるかを把握し、次々にアノテーションを付けることができる一方、別のユーザは、注目した一つの移動物体にアノテーションを付け終わるまで、他の移動物体が何であるかは把握できないかもしれない。
【００２５】
そこで、移動軌跡に基づいて同時に表示する移動物体数、又はセグメント数等の条件について、ユーザによる設定が可能とされてもよい。この場合、アノテーションが付与された移動物体は表示対象から除かれ、条件を満たすように、例えば、出現時期が後の移動物体が表示対象に追加される。そうすることで、ユーザが一度に把握しやすい数の移動物体が表示された状態で、ユーザはアノテーションを次々に付与していくことができる。
【００２６】
以下、上記を実現する画像処理装置１０について具体的に説明する。図５は、第１の実施の形態における画像処理装置１０のハードウェア構成例を示す図である。図５の画像処理装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。
【００２７】
画像処理装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００２８】
メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画像処理装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。
【００２９】
図６は、第１の実施の形態における画像処理装置１０の機能構成例を示す図である。図６において、画像処理装置１０は、軌跡データ生成部１１、セグメント抽出部１２、画像合成部１３及び注釈付与部１４等を有する。
【００３０】
これら各部は、画像処理装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画像処理装置１０は、また、元画像ＤＢ２１、軌跡ＤＢ２２、背景画像ＤＢ２３及び注釈ＤＢ２４等を利用する。これら各データベースは、例えば、補助記憶装置１０２、又は画像処理装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
【００３１】
元画像ＤＢ２１には、元の動画像（例えば、移動物体が撮影された動画像）が記憶されている。以下、元画像ＤＢ２１に記憶されている動画像を、「元画像」という。
【００３２】
軌跡データ生成部１１は、元画像から各移動物体の移動軌跡を抽出し、抽出された移動軌跡ごとに、当該移動軌跡を示すデータ（以下、「軌跡データ」という。）を生成する。生成された軌跡データは、軌跡ＤＢ２２に記憶される。軌跡データ生成部１１は、また、軌跡データの生成に伴って、元画像から背景画像を抽出する。抽出された背景画像は、背景画像ＤＢ２３へ記憶される。
【００３３】
セグメント抽出部１２は、軌跡ＤＢ２２に記憶された軌跡データ群に基づいて、元画像の全時区間から、セグメントを抽出する。セグメントとは、上記の説明からも明らかなように、少なくとも一つの移動物体が継続して含まれている時区間（時間帯）をいう。
【００３４】
画像合成部１３は、移動軌跡ごとに軌跡ＤＢ２２に記憶されている軌跡データと、背景画像ＤＢ２３に記憶されている背景画像とに基づいて、当該移動物体が移動する動画像（以下、「合成画像」という。）を生成する。合成画像において、各移動物体が現れるタイミングは、図４において説明したように、元画像におけるタイミングから変更される。
【００３５】
注釈付与部１４は、合成画像において表示される各移動物体に対するアノテーション（注釈）の付与を支援する。注釈付与部１４は、各移動物体に付与されたアノテーションを注釈ＤＢ２４に記憶する。
【００３６】
以下、画像処理装置１０が実行する処理手順について説明する。図７は、軌跡データの生成処理の処理手順の一例を説明するためのフローチャートである。
【００３７】
ステップＳ１０１において、軌跡データ生成部１１は、元画像ＤＢ２１から元画像を読み込む。ここでは、ニッポンバラタナゴの産卵監視映像が元画像である例について説明する。
【００３８】
図８は、元画像の一例を説明するための図である。図８には、図１と同様の形式で、それぞれがニッポンバラタナゴである移動物体Ａ〜Ｇが元画像において現れる時間帯が示されている。図８では、各時区間ｔ０−ｔ１、ｔ２−ｔ３、ｔ４−ｔ５のそれぞれの或る時点における３つの画像も示されている。
【００３９】
続いて、軌跡データ生成部１１は、元画像を前景と背景とに分離する（Ｓ１０２）。例えば、画像処理を用いて背景を動的に生成し、背景差分によって移動物体を切り出すことで、前景（移動物体の画像）と背景とを分離することができる。より詳しくは、軌跡データ生成部１１は、まず、背景差分によって移動物体を抽出するために、元画像の背景画像を生成する。背景画像は、元画像中の複数のフレームの平均を用いて生成されてもよいし、フレームの各ピクセルごとの最頻値を用いて生成されてもよいし、他の方法によって生成されてもよい。背景画像が生成できたら、軌跡データ生成部１１は、元画像の各フレームごとに、背景差分を用いて前景画像を抜き出す。閾値を設定して抜き出した前景画像は、往々にして移動物体以外のノイズを含んでいるので、膨張収縮処理、メディアンフィルタといったノイズ除去手法を用いてノイズを取り除く。
【００４０】
図９は、元画像を前景画像と背景画像とに分離した状態の一例を示す図である。図９には、図８に示した３つの画像が、前景画像と背景画像とに分離された状態が示されている。軌跡データ生成部１１は、分離された背景画像を、背景画像ＤＢ２３に記憶する。
【００４１】
続いて、軌跡データ生成部１１は、分離した前景画像のフレーム間の関係等に基づいて軌跡データを生成し、生成した軌跡データを軌跡ＤＢ２２に記憶する（Ｓ１０３）。例えば、軌跡データ生成部１１は、各フレームの前景画像の各ピクセルにラベリング処理を行い、移動物体であると推定される矩形領域を認識する。軌跡データ生成部１１は、フレーム間で近い矩形領域同士（例えば、矩形領域の重心同士の距離が閾値としてのピクセル数以下である矩形領域同士）を同じ移動物体とみなし、同一の軌跡データとする。
【００４２】
図１０は、移動物体Ｂの軌跡データの一例を示す図である。図１０に示されるように、移動物体Ｂの軌跡データは、一定時間ごとの、時刻（元画像における経過時間）、元画像において移動物体であると推定された矩形領域のＸ座標、Ｙ座標、Ｗｉｄｔｈ（幅）、Ｈｅｉｇｈｔ（高さ）のリスト（集合）である。なお、他の移動物体の軌跡データの構成も同様である。
【００４３】
なお、背景画像ＤＢ２３には、図１０に示される時刻ごとに、背景画像が記録されてもよいし、一定期間ごとに、当該一定期間のいずれかのタイミングにおける背景画像が記録されてもよい。
【００４４】
また、軌跡データの生成方法は、上記したものに限定されない。背景差分を行う方法にも、混合正規分布を用いて背景をモデル化する方法など様々な手法が提案されており、それらの一部はＯｐｅｎＣＶ等のメジャーな画像処理ライブラリで利用可能である。また、例えば、オプティカルフロー等の手法を用いることで、背景差分を行わずに軌跡データが生成されてもよい。
【００４５】
図１１は、合成画像の生成処理の処理手順の一例を説明するためのフローチャートである。なお、図１１の処理手順は、図７に続けて実行されてもよいし、図７とは別のタイミングで、ユーザによる指示に応じた実行されてもよい。
【００４６】
ステップＳ２０１において、セグメント抽出部１２は、軌跡ＤＢ２２に記憶された軌跡データ群に基づいて、元画像ＤＢ２１に記憶されている元画像の全時区間からセグメントを抽出する（Ｓ２０１）。すなわち、或る軌跡データに基づいて、当該軌跡データに対応する移動物体が出現した時区間（出現期間）を特定することができる。各軌跡データに基づいて特定された各出現期間に基づいて、移動物体が一つも出現していない期間を特定することができ、当該期間によって、元画像の全時区間を分割することで、各セグメントを抽出することができる。図８の例によれば、時区間ｔ０−ｔ１がセグメント１、時区間ｔ２−ｔ３がセグメント２、時区間ｔ４−ｔ５がセグメント３としてそれぞれ抽出される。
【００４７】
続いて、画像合成部１３は、各移動物体の軌跡データに基づいて、元画像における各セグメントから、前景画像、すなわち、各移動物体の静止画像（以下、「物体画像」という。）を時系列に抽出する（Ｓ２０２）。具体的には、元画像の各フレームから、軌跡データにおいて時刻ごとに含まれる矩形領域のうち、当該フレームに対応する矩形領域を切り出すことで、物体画像が抽出される。抽出された物体画像は、例えば、軌跡ＤＢ２２に記憶されている軌跡データにおいて、当該物体画像に対応する時刻に関連付けられる。
【００４８】
なお、物体画像は、軌跡データの生成の過程において抽出されてもよい。すなわち、ステップＳ１０２において分離される前景画像が、物体画像として抽出されてよい。
【００４９】
続いて、画像合成部１３は、セグメントごとに、当該セグメントに属する各軌跡データの時刻の値から、当該セグメントの開始時刻を差し引くことで、各軌跡データの時刻を補正する（Ｓ２０３）。その結果、各セグメントの開始時期は、０（図８のｔ０）となる。また、各セグメントに属する各軌跡データの時刻は、元画像の開始時期からの経過時間となる。
【００５０】
続いて、画像合成部１３は、変数Ｔに時刻ｔ０を代入する（Ｓ２０４）。時刻ｔ０は、セグメント１における開始時刻である。
【００５１】
続いて、画像合成部１３は、いずれかの移動物体（軌跡データ）に対して既に付与されたアノテーションを注釈ＤＢ２４から取得する（Ｓ２０５）。いずれの移動物体に対してもアノテーションが付与されていない場合には、アノテーションは取得されない。
【００５２】
続いて、画像合成部１３は、アノテーションが付与された軌跡データを、表示対象から除去する（Ｓ２０６）。続いて、画像合成部１３は、残った軌跡データのうち、表示対象とする軌跡データをＮ個に絞り込む（Ｓ２０７）。例えば、開始時刻の早い順にＮ個の軌跡データが選択されてもよい。なお、残った軌跡データがＮ個以下である場合、ステップＳ２０７は実行されなくてよい。以下、ステップＳ２０７の終了時において表示対象とされている最大Ｎ個の軌跡データを「対象軌跡データ群」という。
【００５３】
続いて、画像合成部１３は、時刻Ｔにおける合成画像を生成する（Ｓ２０８）。時刻Ｔにおける合成画像は、時刻Ｔに対応する背景画像に対して、対象軌跡データ群のそれぞれの軌跡データについて、時刻ＴにおけるＸ、Ｙ、Ｗｉｄｔｈ、Ｈｅｉｔｈによって特定される領域へ、時刻Ｔにおける物体画像が合成されることで生成される。
【００５４】
続いて、画像合成部１３は、生成された合成画像を表示装置１０６へ表示する（Ｓ２０９）。
【００５５】
続いて、画像合成部１３は、時刻Ｔが、各軌跡データの補正後の時刻のうちの末尾の時刻（本実施の形態では、時刻ｔ１）に到達したか否かを判定する（Ｓ２１０）。時刻Ｔが、当該末尾の時刻に到達していない場合（Ｓ２１０でＮｏ）、画像合成部１３は、Δｔだけ待機する（Ｓ２１１）。Δｔは、軌跡データ（図１０）における時刻の間隔である。続いて、画像合成部１３は、Ｔに対してΔｔを加算して（Ｓ２０９）、ステップＳ２０８以降を繰り返す。
【００５６】
ステップＳ２１０において、時刻Ｔが、各軌跡データの補正後の時刻のうちの末尾の時刻に到達すると（Ｓ２１０でＹｅｓ）、図１１の処理は終了する。
【００５７】
すなわち、ステップＳ２０５以降では、各軌跡データに関連付けられている物体画像が、Δｔの間隔で、各軌跡データに基づいて時系列に合成されることで、合成画像が生成される。その結果、ユーザには、各移動物体がそれぞれの軌跡データに対応する移動軌跡で移動するように見える。
【００５８】
図１２は、合成画像の一例を説明するための図である。図１２には、合成画像において各移動物体が出現する時間帯が示されている。図１２に示されるように、合成画像では、時間が圧縮されて、同じ時区間（ｔ０−ｔ１）中に別の時区間中の移動物体が重畳された状態で表示される。
【００５９】
なお、図１２に示されるように、各移動物体の出現の開始時期は、各セグメント内において、相対的な関係が維持されている。そうすることで、例えば、セグメントごとに、各移動物体（ニッポンバラタナゴ）の相対的な位置関係を維持することができる。その結果、例えば、産卵のために、雄のニッポンバラタナゴと雌のニッポンバラタナゴとの接近等を把握可能とすることができる。
【００６０】
但し、相対的な位置関係の把握が不要な移動物体を対象としたり、相対的な位置関係の把握が不要な目的でアノテーションの付与等を行う場合、全ての移動物体の出現の開始時期が、合成画像の開始時（ｔ０）とされてもよい。そうすることで、合成画像の動画長が更に短縮されてもよい。
【００６１】
また、本実施の形態では、軌跡データにおいて移動物体を矩形で表現したが、移動物体の形状又は輪郭（以下、「物体形状」という。）を画像処理によってより忠実に抽出することができれば、物体形状は矩形で表現されなくてもよい。例えば、図１０において、Ｘ、Ｙ、Ｗｉｄｔｈ、Ｈｅｉｇｈｔの代わりに、物体画像を抽出可能な２値のマスク画像がそれぞれの時刻に対応付けられて軌跡ＤＢ２２に記憶されてもよい。物体を背景画像に合成する際には、このマスク画像を用いて元画像から抽出された物体画像が、合成されればよい。
【００６２】
なお、合成画像は、ユーザによるアノテーションの付与がし易いように、例えば、図１３に示されるような画面（以下、「操作画面」という。）に表示される。
【００６３】
図１３は、操作画面の一例を示す図である。図１３において、操作画面５１０は、合成画像表示領域５１１、出現時間帯表示領域５１２、アノテーション選択領域５１３，新規アノテーション入力領域５１４、新規アノテーション追加ボタン５１５、及び合成画像操作領域５１６等を含む。
【００６４】
合成画像表示領域５１１は、合成画像が表示される領域である。出現時間帯表示領域５１２は、各軌跡データの補正後の開始時刻から補正後の終了時刻までの時間帯（時区間）と共に、現時点における再生位置が表示される領域である。アノテーション選択領域５１３は、予め選択候補として登録されているアノテーションの中から、いずれかの移動物体に付与するアノテーションの選択をユーザから受け付けるための領域である。新規アノテーション入力領域５１４は、新たな選択候補として追加するアノテーションの入力をユーザから受け付けるための領域である。新規アノテーション追加ボタン５１５は、新規アノテーション入力領域５１４に入力されたアノテーションについて、選択候補としての追加指示をユーザから受け付けるためのボタンである。新規アノテーション追加ボタン５１５が押下された場合、新規アノテーション入力領域５１４に入力されたアノテーションが、アノテーション選択領域５１３に追加される。合成画像操作領域５１６は、合成画像の再生、逆再生、早送り、巻き戻し、停止等の操作を受け付けるための領域である。停止が指示された場合、画像合成部１３は、ステップＳ２０８以降の処理の進行を停止させる。再生が指示された場合、画像合成部１３は、ステップＳ２０８以降の処理を再開する。早送りが指示された場合、画像合成部１３は、例えば、ステップＳ２１１の待機時間を短くする。逆再生が選択された場合、画像合成部１３は、ステップＳ２０９において、ＴからΔｔを差し引く。巻き戻しが選択された場合、画像合成部１３は、例えば、ステップＳ２１１の待機時間を短くした上で、ＴからΔｔを差し引く。
【００６５】
続いて、操作画面５１０を介してアノテーションの付与が指示された場合に実行される処理について説明する。図１４は、アノテーションの付与処理の処理手順の一例を説明するためのフローチャートである。図１４の処理手順は、図１１のステップＳ２０４以降と並行して実行される。
【００６６】
操作画面５１０において合成画像が表示されている状態において、アノテーションの付与指示がユーザによって入力されると（Ｓ３０１でＹｅｓ）、注釈付与部１４は、合成画像上に当該アノテーションを表示する（Ｓ３０２）。当該アノテーションは、付与先として指示された移動物体の位置に表示される。
【００６７】
図１５は、アノテーションが付与された状態の一例を示す図である。図１５では、移動物体Ｃに対して、「タナゴメス」というアノテーションａ１が付与された例が示されている。
【００６８】
なお、アノテーションの付与は、例えば、アノテーション選択領域５１３において付与対象のアノテーションが選択された状態で、当該アノテーションの付与先の移動物体が、クリック等されることで行われてもよい。
【００６９】
続いて、注釈付与部１４は、付与対象のアノテーションを、付与先の移動物体の軌跡データに関連付けて、注釈ＤＢ２４に記憶する（Ｓ３０３）。
【００７０】
図１６は、注釈ＤＢ２４の構成例を示す図である。図１６に示されるように、付与されたアノテーションは、軌跡データのユニークな名前もしくはＩＤの一例である軌跡データ名に関連付けられて注釈ＤＢ２４に記憶される。
【００７１】
いずれかの移動物体に付与されたアノテーションが注釈ＤＢ２４に記憶されると、図１１のステップＳ２０６の効果により、当該移動物体は、表示対象から除去される。
【００７２】
図１７は、アノテーションが付与された移動物体が表示対象から除去された状態を示す図である。図１７では、移動物体Ｃの物体画像と、移動物体Ｃの軌跡データの時区間とが、合成画像表示領域５１１又は出現時間帯表示領域５１２から削除された例が示されている。アノテーションが付与された移動物体が表示対象から除去されることで、未だアノテーションが付与されていない移動物体を明らかにすることができる。
【００７３】
また、当該移動物体が表示対象から除去されることで、図１１のステップＳ２０７の効果により、これまで未表示だった移動物体が合成画像に含まれるようになる。
【００７４】
図１８は、未表示だった移動物体が表示対象に追加された状態を示す図である。図１８には、未表示だった移動物体Ｈの物体画像及び軌跡データの時区間が、合成画像表示領域５１１又は出現時間帯表示領域５１２に追加された例が示されている。なお、図１８は、Ｎ＝７の場合に対応する。
【００７５】
図１１及び図１４の処理手順により、合成画像中には、切れ目なく移動物体が常に複数表示され、ユーザは動画像をシークして移動物体を探すことなく、次々にアノテーションを移動物体に対して付与していくことが可能となる。
【００７６】
なお、合成画像においては、異なる時区間の移動物体の物体画像が合成されるため、各物体画像の重なり順が工夫されてもよい。時区間が相互に近い移動物体が表示されてアノテーションが付されるようにするためには、古い時区間の移動物体に対して優先的にアノテーションが付与されて、当該移動物体が表示対象から除去されるのが望ましい。そこで、画像合成部１３は、図１８に示したように、開始時刻が相対的に早い時区間の移動物体Ｈの物体画像が、開始時刻が相対的に遅い時区間の移動物体の背面になるように合成するようにしてもよい。
【００７７】
上述したように、第１の実施の形態によれば、長時間にわたる動画像への手作業による注釈づけの所要時間を短縮することができる。すなわち、動画像を利用した作業を効率化することができる。
【００７８】
次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。
【００７９】
第２の実施の形態では、図１１のステップＳ２０７の処理内容が異なる。具体的には、表示対象とする移動物体の数ではなく、表示対象とするセグメントの数に対して閾値Ｍが設けられる。
【００８０】
すなわち、ステップＳ２０７において、画像合成部１３は、古い順（開始時刻の早い順）にＭ個のセグメントに属している軌跡データを表示対象として絞り込む。例えば、Ｍ＝３であり、元画像において、セグメントがセグメント１〜４まであった場合、当初においては、セグメント１〜３までが表示対象とされる。この状態において、セグメント１に属する全ての軌跡データに対してアノテーションが付与されると、これまで未表示だったセグメント４に属する軌跡データに係る移動物体が表示対象とされる。
【００８１】
図１９は、未表示だったセグメントの合成を説明するための図である。図１９では、セグメント１（時区間ｔ０−ｔ１）が表示対象から除外された結果、セグメント４（時区間ｔ６−ｔ７）が表示対象（合成対象）とされる例が示されている。
【００８２】
この場合、表示対象のセグメントの中で最も古いセグメント（図１９ではセグメント２）の開始時刻を基準として、各移動軌跡の時刻が補正される。その結果、合成画像の時間長は、合成されたセグメントの中で最長のものとなる。図１９では、時刻ｔ２を開始時間とし、時間長ｔ７−ｔ６の合成画像がユーザに提示されることとなる。
【００８３】
次に、第３の実施の形態について説明する。第３の実施の形態では第１又は第２の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第１又は第２の実施の形態と同様でもよい。
【００８４】
第３の実施の形態では、アノテーションの付与のための操作方法が、上記各実施の形態とは異なる。具体的には、第３の実施の形態では、アノテーションの付与において、キーボードショートカットが利用される。
【００８５】
図２０は、第３の実施の形態における操作画面の一例を示す図である。図２０の操作画面５１０においては、アノテーション選択領域５１３に表示される各アノテーションに対して、キー（ａ、ｂ、ｃ、・・・）が割り当てられる。ユーザはフォーカスが当たっている（矩形で囲まれた）移動物体をターゲットとして、所望のキーを入力することで、当該移動物体に対して当該キーに割り当てられたアノテーションを付与することができる。例えば、図２０では、ユーザがｂキーを押すことで、移動物体Ａに対し「タナゴメス」というアノテーションが付与される例が示されている。出現時期が早い移動物体から順番にアノテーションを付与していくために、出現時期の昇順（出現時期が早い順から）でフォーカスが当てられるようにしてもよい。
【００８６】
次に、第４の実施の形態について説明する。第４の実施の形態では上記各実施の形態と異なる点について説明する。第４の実施の形態において特に言及されない点については、上記各実施の形態と同様でもよい。
【００８７】
移動物体の撮影状況によっては、移動物体の種類の認識はもとより、移動物体の移動軌跡の抽出も困難となる。例えば、産卵監視映像においては、背景差分による移動物体の抽出が不完全となり、本来一本でつながるべき移動軌跡（軌跡データ）が時間的に分断されて二本に分かれてしまう可能性が有る。このような場合、分断された二本の軌跡データに対して、別々の移動物体としてアノテーションが別々に付与されてしまう。
【００８８】
そこで、第４の実施の形態では、操作画面５１０に表示されている合成画像上で所定の操作が行われた場合に、当該所定の操作の対象とされた複数の移動物体の軌跡データが一つの軌跡データとされて軌跡ＤＢ２２に記憶される。
【００８９】
例えば、画像合成部１３は、シフトを押した状態で連続してクリックされた移動物体の軌跡データを、同一の移動物体の軌跡データであるとして、一つの軌跡データに合成して軌跡ＤＢ２２に記憶する。その後、合成された軌跡データに対して、例えば、「タナゴメス」といったようなアノテーションが付与される。
【００９０】
次に、第５の実施の形態について説明する。第５の実施の形態では上記各実施の形態と異なる点について説明する。第５の実施の形態において特に言及されない点については、上記各実施の形態と同様でもよい。
【００９１】
上記各実施の形態において付与されたアノテーションが、動画像（元画像）と共に閲覧できると便利である。例えば、元動画が再生されると、アノテーションが付与された軌跡データに対応した時区間において、当該軌跡データに対応する位置に当該アノテーションが表示され、当該軌跡データに連動して当該位置が移動し、消滅する。このように元画像に対してアノテーションを重ねて再生することで、ユーザは、アノテーションがどこに付与されていて、それが間違っていないか等を確認することができる。間違ったアノテーションが付与されていたら、元画像上で当該アノテーションを消去し、再び図１１及び図１４の処理手順によってアノテーションが付与しなおされてもよい。
【００９２】
なお、上記各実施の形態の適用範囲は、産卵監視映像に限定されたものではない。上記各実施の形態は、定点で撮影された、すなわち、背景と前景をある程度明確に切り分けることができる映像全般に適用可能である。例えば、定点で撮影された防犯カメラの映像やスポーツイベントの映像等に対して上記各実施の形態が適用されてもよい。
【００９３】
なお、上記各実施の形態において、元画像は第１の動画データの一例である。合成画像は、第２の動画データの一例である。画像合成部１３は、生成部の一例である。個数Ｎは、第１の閾値の一例である。Ｍは、第２の閾値の一例である。
【００９４】
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００９５】
１０          画像処理装置
１１          軌跡データ生成部
１２          セグメント抽出部
１３          画像合成部
１４          注釈付与部
２１          元画像ＤＢ
２２          軌跡ＤＢ
２３          背景画像ＤＢ
２４          注釈ＤＢ
１００        ドライブ装置
１０１        記録媒体
１０２        補助記憶装置
１０３        メモリ装置
１０４        ＣＰＵ
１０５        インタフェース装置
１０６        表示装置
１０７        入力装置
Ｂ            バス
【図１】
2018101910.tif 000003
【図２】
2018101910.tif 000004
【図３】
2018101910.tif 000005
【図４】
2018101910.tif 000006
【図５】
2018101910.tif 000007
【図６】
2018101910.tif 000008
【図７】
2018101910.tif 000009
【図８】
2018101910.tif 000010
【図９】
2018101910.tif 000011
【図１０】
2018101910.tif 000012
【図１１】
2018101910.tif 000013
【図１２】
2018101910.tif 000014
【図１３】
2018101910.tif 000015
【図１４】
2018101910.tif 000016
【図１５】
2018101910.tif 000017
【図１６】
2018101910.tif 000018
【図１７】
2018101910.tif 000019
【図１８】
2018101910.tif 000020
【図１９】
2018101910.tif 000021
【図２０】
2018101910.tif 000022