(57)【要約】【課題】移動オブジェクトを含むフレームにおいても、各フレームにおける小領域の変動を抑制することにより、精度よく領域識別を行うことを目的とする。【解決手段】時系列順に得られた複数の入力画像に基づいて、複数の入力画像のうち対象画像内の複数の位置それぞれにおける、移動方向及び移動量のうち少なくとも一方を含む移動情報を特定する移動情報特定手段と、移動情報に基づいて、対象画像を複数の動作領域に分割する第１の分割手段と、第１の分割手段により対象画像を分割することで得られた、動作領域を小領域に分割する第２の分割手段とを有する。【選択図】図１
2016130968.tif 000002
【特許請求の範囲】
【請求項１】
時系列順に得られた複数の入力画像に基づいて、前記複数の入力画像のうち対象画像内の複数の位置それぞれにおける、移動方向及び移動量のうち少なくとも一方を含む移動情報を特定する移動情報特定手段と、
前記移動情報に基づいて、前記対象画像を複数の動作領域に分割する第１の分割手段と、
前記第１の分割手段により前記対象画像を分割することで得られた、動作領域を小領域に分割する第２の分割手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記対象画像よりも過去に得られた前記入力画像に含まれず、かつ前記対象画像に含まれる新出現領域を検出する第１の検出手段をさらに有し、
前記第１の分割手段は、前記対象画像よりも後に得られた前記入力画像に基づいて、前記新出現領域を前記複数の動作領域に分割することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の分割手段は、前記新出現領域の移動情報に基づいて、前記新出現領域が属する動作領域を特定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記対象画像よりも過去に得られた前記入力画像に含まれ、かつ前記対象画像に含まれない遮蔽領域を検出する第２の検出手段と、
前記遮蔽領域の画像を前記対象画像に補間して分割用画像を生成する生成手段と
をさらに有し、
前記第２の分割手段は、前記分割用画像を利用して、前記動作領域を前記小領域に分割することを特徴とする請求項１乃至３何れか１項に記載の画像処理装置。
【請求項５】
前記対象画像のよりも過去に得られた前記入力画像の小領域中心に基づいて、前記対象画像の小領域中心の初期値を設定する設定手段をさらに有し、
前記第２の分割手段は、前記初期値に基づいて、前記動作領域を前記小領域に分割することを特徴とする請求項１乃至４何れか１項に記載の画像処理装置。
【請求項６】
前記小領域の特徴量を抽出する抽出手段と、
前記特徴量に基づいて、各小領域の意味的な領域クラスを推定する推定手段と
をさらに有することを特徴とする請求項１乃至５何れか１項に記載の画像処理装置。
【請求項７】
前記小領域と、前記対象画像よりも過去に得られた前記入力画像の前記小領域との対応関係を特定する関係特定手段をさらに有し、
前記抽出手段は、前記対応関係に基づいて、前記特徴量を抽出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
時系列順に得られた複数の入力画像に基づいて、前記複数の入力画像のうち対象画像内の複数の位置それぞれにおける、移動方向及び移動量のうち少なくとも一方を含む移動情報を特定する移動情報特定ステップと、
前記移動情報に基づいて、前記対象画像を複数の動作領域に分割する第１の分割ステップと、
前記第１の分割ステップにおいて前記対象画像を分割することで得られた、動作領域を小領域に分割する第２の分割ステップと
を含むことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
時系列順に得られた複数の入力画像に基づいて、前記複数の入力画像のうち対象画像内の複数の位置それぞれにおける、移動方向及び移動量のうち少なくとも一方を含む移動情報を特定する移動情報特定手段と、
前記移動情報に基づいて、前記対象画像を複数の動作領域に分割する第１の分割手段と、
前記第１の分割手段により前記対象画像を分割することで得られた、動作領域を小領域に分割する第２の分割手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、画像を複数の領域に分割する研究が多く行われている。近年では、画像から人物の領域、自動車の領域、道路の領域、建物の領域、空の領域等の、意味的な領域を切り出す技術が盛んに研究されている。このような技術は、意味的領域分割（Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ）と呼ばれ、写っている物の種類に対応した画像補正や、シーン解釈等に応用できると考えられている。
【０００３】
意味的領域分割を行うにあたり、画像の各位置に関するクラスラベルの識別を、画素単位ではなく、小領域（ｓｕｐｅｒｐｉｘｅｌ）単位で行うことは、すでに一般的である。小領域は、主に類似した特徴を持つ小さな領域として画像から切り出されるもので、さまざまな手法が提案されている。代表的なものとして、非特許文献１のようなグラフベースの手法や、非特許文献２のようなクラスタリングベースの手法がある。このようにして得られたそれぞれの小領域は、その小領域の内部の特徴量、又はその周辺のコンテクスト特徴量も一緒に用いてクラスラベルが識別される。通常は様々な学習画像を用いてこのような局所ベースの領域識別器を学習させることで領域識別を行うことになる。
【０００４】
上記のような小領域に対して領域識別器を使って画像上の領域クラスを識別しようとする際、小領域の不安定さに起因し、領域識別結果が不安定になる場合がある。例えば、動画像を撮影した際、フレーム毎に得られる小領域の形状と、各小領域から得られる特徴量の変動が大きいと、識別結果に変動が発生する。これらの原因は、画像上のノイズや、被写体の動きによる。例えば、仮に被写体が動いていなくても、画素毎の暗電流ノイズ等で同じ画素に対して毎フレームわずかに異なる輝度値が得られることがある。このようなノイズが画像全体に乗ると、小領域分割による境界線がフレームによって違ってきたり、小領域内部の特徴量が大きく変化してきたりするため、結果として識別結果がフレーム毎に異なってしまう。また、被写体が移動するような場合には、被写体の陰から出てくる領域や被写体に隠れて見えなくなる領域が新たに発生し、物体境界部分の画像特徴の変動が大きくなり、小領域分割やその特徴量が不安定になる。
【０００５】
この問題に対し、特許文献１には、フレーム間の画素値変化が少ない画素を信頼度の高い画素とし、信頼度の高い画素は前フレームの小領域分割結果から変化し難いように、小領域分割の際の画素連結の条件式に補正をかける技術が開示されている。これにより、時系列方向の小領域分割を安定化させている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−１４０２０１号公報
【非特許文献】
【０００７】
【非特許文献１】Ｅｆｆｉｃｉｅｎｔ  Ｇｒａｐｈ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｐ．Ｆ．Ｆｅｌｚｅｎｓｚｗａｌｂ，ＩＪＣＶ２００４．
【非特許文献２】ＳＬＩＣ  Ｓｕｐｅｒｐｉｘｅｌｓ，Ｒ．Ａｃｈａｎｔａ，Ａ．Ｓｈａｊｉ，Ｋ．Ｓｍｉｔｈ，Ａ．Ｌｕｃｃｈｉ，ＥＰＦＬ  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ，２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、フレーム間における各画素の変化だけを安定化のためのよりどころとしているが、これは背景が動かない固定カメラの場合だけを想定している。そのため、上記手法では動く領域に対する小領域の不安定度は軽減されないという問題がある。
【０００９】
本発明はこのような問題点に鑑みなされたもので、移動オブジェクトを含む入力画像においても、入力画像間の小領域の変動を抑制することにより、精度よく小領域に分割することを目的とする。
【課題を解決するための手段】
【００１０】
そこで、本発明は、画像処理装置であって、時系列順に得られた複数の入力画像に基づいて、前記複数の入力画像のうち対象画像内の複数の位置それぞれにおける、移動方向及び移動量のうち少なくとも一方を含む移動情報を特定する移動情報特定手段と、前記移動情報に基づいて、前記対象画像を複数の動作領域に分割する第１の分割手段と、前記第１の分割手段により前記対象画像を分割することで得られた、動作領域を小領域に分割する第２の分割手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、移動オブジェクトを含む入力画像においても、入力画像間の小領域の変動を抑制することにより、精度よく小領域に分割することができる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置のソフトウェア構成を示す図である。
【図２】画像処理装置のハードウェア構成を示す図である。
【図３】画像処理を示すフローチャートである。
【図４】移動情報の説明図である。
【図５】グルーピング処理の説明図である。
【図６】分割用画像生成処理の説明図である。
【図７】分割用画像生成処理の説明図である。
【図８】分割用画像生成処理の説明図である。
【図９】分割用画像生成処理の説明図である。
【図１０】分割処理の説明図である。
【図１１】分割処理の説明図である。
【図１２】小領域間の対応関係の一例を示す図である。
【図１３】領域判別処理の説明図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面に基づいて説明する。
【００１４】
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置のソフトウェア構成を示す図である。画像設定部１０１は、入力画像を設定する。入力画像として、時系列順に得られた複数の画像が与えられるものとする。複数の画像は、例えば、動画に含まれる時系列順の複数のフレームであってもよい。入力画像記憶部１１０は、画像設定部１０１により設定された入力画像を記憶する。
【００１５】
移動情報生成部１０２は、処理対象の入力画像である対象画像と、対象画像よりも時系列的に過去に得られた入力画像のそれぞれを用いて、対象画像中の複数の位置における移動方向及び移動量を特定し、これらを示す移動情報を生成する。以下、対象画像と区別すべく、対象画像よりも過去に得られた入力画像を前画像と称する。また、複数の位置は、特に限定されるものではない。移動情報生成部１０２は、例えば画素毎の移動情報を特定してもよい。また、他の例としては、移動情報生成部１０２は、例えば４画素等所定のサイズの部分領域単位で移動情報を生成してもよい。また、移動情報は、移動方向及び移動量のうち少なくとも一方を示す情報であればよく、移動情報生成部１０２は、移動方向及び移動量のうち少なくとも一方を特定し、特定した情報を示す移動情報を生成すればよい。
【００１６】
グルーピング部１０３は、移動情報生成部１０２により生成された移動情報に基づいて、対象画像中の領域を複数の動作領域に分割する。分割用画像生成部１０４は、対象画像及び前画像の部分画像を生成し、これを部分画像記憶部１１１に格納する。分割用画像生成部１０４はまた、部分画像を用いて、分割用画像を生成する。ここで、分割用画像は、対象画像を小領域に分割する際に利用される画像である。
【００１７】
分割部１０５は、グルーピング部１０３により得られた、各動作領域を小領域（ｓｕｐｅｒｐｉｘｅｌ）に分割し、得られた小領域を小領域記憶部１１２に格納する。関係設定部１０６は、分割部１０５により得られた対象画像の小領域を、前画像の小領域と比較し、両小領域の間の対応関係を特定する。そして、関係設定部１０６は、対応関係を示す関係情報を関係記憶部１１３に格納する。特徴抽出部１０７は、関係情報を参照し、対象フレームと前フレームとに基づいて、各小領域の特徴量を抽出し、特徴量を示す特徴量情報を特徴記憶部１１４に格納する。領域判別部１０８は、各小領域の特徴量に基づいて、各小領域の意味的な領域クラスを推定する。出力部１０９は、領域判別部１０８による判別結果を出力する。
【００１８】
図２は、画像処理装置のハードウェア構成を示す図である。画像処理装置は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、ＨＤＤ２０４と、表示部２０５と、入力部２０６とを有している。ＣＰＵ２０１は、ＲＯＭ２０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ２０４は、画像データや各種プログラム等各種情報を記憶する。表示部２０５は、各種情報を表示する。入力部２０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、図１を参照しつつ説明した画像処理装置の機能や、後述する画像処理装置の処理は、ＣＰＵ２０１がＲＯＭ２０２又はＨＤＤ２０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１９】
また、他の例としては、図１を参照しつつ説明した画像処理装置の各部の機能は、それぞれ独立したモジュールにより実現されるものであってもよく、また、複数の回路により実現されるものであってもよい。また、図１に示す各記憶部は装置内部又は外部のストレージとして実現されるが、これらは同一のストレージであってもよく、個別のストレージであってもよい。
【００２０】
図３は、画像処理装置による画像処理を示すフローチャートである。まず、Ｓ３００において、画像設定部１０１は、入力画像を設定する。以下、時刻ｔにおいて得られた入力画像をＩ＿ｔと書くこととし、入力画像Ｉ＿ｔを対象画像とする。設定される入力画像の入力方法は、特に限定されるものではない。入力画像は、例えば、カメラ等の撮像装置から与えられるものでもよいし、画像処理装置が撮像部を備え、撮像部から与えられてもよい。また、入力画像は、予め画像処理装置又は外部装置のハードディスク等のストレージに保存されていた画像データから与えられるものでもよい。
【００２１】
次に、Ｓ３０１において、移動情報生成部１０２は、対象画像内の各位置の移動情報を特定する（移動情報特定処理）。ここで、移動情報とは、時刻ｔ−１からｔに変化したときに、画像上の任意の画素がどのように移動してきたかを表す情報である。具体的にはオプティカルフローによる表現が一般的である。時刻ｔにおける入力画像Ｉ＿ｔ上の位置Ｘ＝（ｘ，ｙ）のオプティカルフローとして、移動ベクトルをＶ＿ｔ（Ｘ）＝（ｖ＿ｔ（ｘ），ｖ＿ｔ（ｙ））と書くこととする。これは、画像Ｉ＿ｔ上の位置Ｘにおける画素が、時刻ｔ−１において、画像Ｉ＿ｔ−１における位置Ｘ−Ｖ＿ｔ（Ｘ）から移動してきたことを表す。移動情報生成部１０２は、入力画像Ｉ＿ｔ上のすべての位置Ｘに関する移動ベクトルＶ＿ｔ（Ｘ）を移動情報として得る。
【００２２】
図４は、移動情報の説明図である。図４（ａ）左図は、時刻ｔ−１において得られた入力画像Ｉ＿ｔ−１を示す図である。図４（ａ）右図は、時刻ｔにおいて得られた入力画像Ｉ＿ｔを示す図である。図４（ｂ）は、入力画像Ｉ＿ｔ−１と、入力画像Ｉ＿ｔとを重ねて示す図である。なお、図４（ｂ）において、入力画像Ｉ＿ｔ−１の画像は、細線で示している。入力画像Ｉ＿ｔ−１における位置Ｘ＿１における画素が入力画像Ｉ＿ｔにおいて、位置Ｘ＿２に移動したとする。この場合のＸ＿１からＸ＿２までの移動量がＶ＿ｔ（Ｘ）である。Ｖ＿ｔ（Ｘ）は、移動量と移動方向とを含んでいる。
【００２３】
図３に戻り、Ｓ３０１の処理の後、Ｓ３０２において、グルーピング部１０３は、Ｓ３０１において生成された移動情報に基づいて、入力画像Ｉ＿ｔ内を複数の動作領域に分割する（分割処理）。図５は、グルーピング処理（Ｓ３０２）の説明図である。図５（ａ）に示すように、時刻ｔ−１において初期画像として、入力画像Ｉ＿ｔ−１が得られ、時刻ｔ−１の直後の時刻ｔにおいて入力画像Ｉ＿ｔが得られたとする。図５（ｂ）は、図５（ａ）に示す入力画像Ｉ＿ｔの移動情報を示す図である。入力画像Ｉ＿ｔにおいては、前景物体としての車を示す領域５０１において、入力画像Ｉ＿ｔの右方向の移動情報が生成されている。また、背景領域、すなわち領域５０１以外の領域５０２においては、入力画像Ｉ＿ｔの左方向の移動情報が生成されている。この場合、グルーピング部１０３は、入力画像５００を、領域５０１と領域５０２の２つの動作領域に分割する。このように、グルーピング部１０３は、入力画像において、同様の動作（移動）を示す画素をグルーピングすることにより、同様の動作を示す動作領域に分割する。なお、以下、領域５０２を、動作領域Ｒ＿Ａ（ｔ）、領域５０１を、動作領域Ｒ＿Ｂ（ｔ）と称することとする。また、時刻ｔにおける位置Ｘの画素が、動作領域Ｒ＿Ａ（ｔ）に属することを、Ｘ＿ｔ∈Ｒ＿Ａ（ｔ）と表わすこととする。
【００２４】
なお、本実施形態においては、説明を簡単にするため、入力画像が二種類の動作領域に分割される場合を例に説明するが、グルーピングにより得られる動作領域の数は、２種類に限られるものではなく、３種類以上の動作領域に分割される場合もある。
【００２５】
図３に戻り、Ｓ３０２の処理の後、Ｓ３０３において、分割用画像生成部１０４は、対象画像及び前画像の部分画像を生成し、これを部分画像記憶部１１１に格納する。そして、分割用画像生成部１０４は、部分画像を用いて、分割用画像を生成する。図６〜図９は、分割用画像生成処理の説明図である。対象画像が複数の動作領域に分割された場合には、前画像において他の物体に遮蔽されて見えなかった領域が対象画像において新たに出現する場合や、前画像に表示されていた領域が対象画像において、他の物体に遮蔽されて見なくなる場合がある。
【００２６】
例えば、図６（ａ）に示す入力画像Ｉ＿（ｔ−１）と図６（ｂ）に示す入力画像Ｉ＿ｔの間では、前景物体としての車が右に移動していることにより、入力画像Ｉ＿ｔ−１の領域６００に示されていた画像は、入力画像Ｉ＿ｔにおいては見えなくなっている。このように、前画像に含まれ、かつ対象画像に含まれない領域、すなわち対象画像において見えなくなる領域を遮蔽領域と称することとする。一方、入力画像Ｉ＿ｔの領域６２１には、入力画像Ｉ＿ｔ−１において見えなかった画像が出現している。このように、前画像に含まれず、対象画像において新たに出現した領域を新出現領域と称することとする。このような、遮蔽領域や新出現領域は、入力画像中の被写体の前後関係に起因して生じるものである。そこで、分割用画像生成部１０４は、まず各動作領域の前後関係（前景／背景関係）を特定する。ここで、前後関係とは、撮影における奥行方向（撮影方向）に沿ったものであり、撮影者側を前、被写体側を後ろとする方向における関係である。
【００２７】
前画像の存在しない初期画像や、動作領域が新たに出現した画像を含む場合には、動作領域間の前後関係はわからない。例えば、Ｒ＿Ａ（ｔ）が前景でＲ＿Ｂ（ｔ）が背景であれば、領域６００（遮蔽領域）がＲ＿Ｂ（ｔ）に属し、領域６２１（新出現領域）がＲ＿Ａ（ｔ）に属しても論理的矛盾はない。このような場合、分割用画像生成部１０４は、時刻ｔの後の時刻ｔ＋１において得られた入力画像Ｉ＿（ｔ＋１）を利用して、Ｒ＿Ａ（ｔ）の画像とＲ＿Ｂ（ｔ）の画像の前後関係を確定する。
【００２８】
すなわち、仮にＲ＿Ａ（ｔ）の画像が前景であれば、時刻ｔ＋１において得られた入力画像Ｉ＿（ｔ＋１）において新たに出現した領域６２１の画像は、Ｒ＿Ｂ（ｔ）の画像の進行方向後部の画像ということになり、Ｒ＿Ｂ（ｔ）に属することとなる。このため、領域６２１の画像は、時刻ｔ＋１においてＲ＿Ｂ（ｔ）の移動方向に追随するはずである。逆にＲ＿Ａ（ｔ）が背景であれば、領域６２１はＲ＿Ａ（ｔ）の移動方向に追随する。領域６００は領域６２１と同じ動作領域に属するため、領域６２１がＲ＿Ａ（ｔ）とＲ＿Ｂ（ｔ）のいずれに属するかが確定すれば、領域６００の属する動作領域も確定する。
【００２９】
そこで、分割用画像生成部１０４は、時刻ｔから時刻ｔ＋１における領域６２１の移動量算出結果を領域Ｒ＿Ａ及びＲ＿Ｂの時刻ｔ＋１における移動量と比較する。そして、分割用画像生成部１０４は、比較結果に基づいて、Ｒ＿Ａ（ｔ）及びＲ＿Ｂ（ｔ）が前景及び背景のいずれとなるかを特定し、また、領域６００,６２１がＲ＿Ａ（ｔ）及びＲ＿Ｂ（ｔ）のいずれに属するかを特定する。なお、一度、Ｒ＿Ａ（ｔ）とＲ＿Ｂ（ｔ）の前後関係が確定した後は、改めて、次の入力画像を取得するまで待つ必要はない。
【００３０】
分割用画像生成部１０４は、動作領域間の前後関係が確定しているか否かに応じて、分割用画像生成ステップ（Ｓ３０３）における処理内容を以下の３つのケースに応じて、分岐して実行する。すなわち、１つ目のケースは、動作領域の前後関係が確定しておらず、かつ、遮蔽領域及び新出現領域が部分画像記憶部１１１に記憶されていない場合である。２つ目のケースは、動作領域間の前後関係は確定していないが、遮蔽領域及び新出現領域が部分画像記憶部１１１に記憶されている場合である。３つ目のケースは、動作領域間の前後関係が確定している場合である。
【００３１】
第１のケース、すなわち、動作領域の前後関係が確定しておらず、かつ、遮蔽領域及び新出現領域が部分画像記憶部１１１に記憶されていない場合は、以下のような処理を行う。分割用画像生成部１０４は、入力画像Ｉ＿ｔ−１から遮蔽領域を検出し（検出処理）、遮蔽領域を切り出し、部分画像記憶部１１１に格納する。分割用画像生成部１０４はまた、新たに出現した新出現領域を検出し（検出処理）、新出現領域の位置を部分画像記憶部１１１に格納する。次に、分割用画像生成部１０４は、Ｒ＿Ａが前景という仮定で、図７に示すように、遮蔽領域６００と新出現領域６２１を動作領域Ｒ＿Ａ（ｔ）の一部として付加した画像を、Ｒ＿Ａ（ｔ）の分割用画像７００として生成する。そして、分割用画像生成部１０４は、これを部分画像記憶部１１１に格納する。この分割用画像は、動作領域Ｒ＿Ａを小領域に分割する際に利用されるものである。また、分割用画像生成部１０４は、動作領域Ｒ＿Ｂ（ｔ）に関しては、グルーピング処理（Ｓ３０２）において得られた動作領域Ｒ＿Ｂ（ｔ）そのものを、Ｒ＿Ｂ（ｔ）の分割用画像７０１として生成し、これを部分画像記憶部１１１に格納する。この分割用画像は、動作領域Ｒ＿Ｂ（ｔ）を小領域に分割する際に利用されるものである。
【００３２】
分割用画像生成部１０４はさらに、Ｒ＿Ｂ（ｔ）が前景という仮定で、同様にＲ＿Ａ（ｔ）及びＲ＿Ｂ（ｔ）それぞれの分割用画像を生成する。すなわち、分割用画像生成部１０４は、遮蔽領域６００と新出現領域６２１を動作領域Ｒ＿Ｂ（ｔ）の一部として付加した画像を、Ｒ＿Ｂ（ｔ）の分割用画像７１１として生成し、これを部分画像記憶部１１１に格納する。また、分割用画像生成部１０４は、動作領域Ｒ＿Ａ（ｔ）に関しては、グルーピング処理（Ｓ３０２）において得られた動作領域Ｒ＿Ａ（ｔ）そのものを、Ｒ＿Ａ（ｔ）の分割用画像７１０として生成し、これを部分画像記憶部１１１に格納する。このように、分割用画像生成部１０４は、各仮定に対し２つの分割用画像を生成し、これを部分画像記憶部１１１に格納する。
【００３３】
また、第２のケース、すなわち動作領域間の前後関係は確定していないが、遮蔽領域及び新出現領域が部分画像記憶部１１１に記憶されている場合には、以下のような処理を行う。まず、分割用画像生成部１０４は、新出現領域のオプティカルフローを算出し、移動情報を得る。そして、分割用画像生成部１０４は、移動情報に基づいて、動作領域間の前後関係を確定する。そして、分割用画像生成部１０４は、各仮定に対して生成した２つの分割用画像のうち、誤りの仮定から生成した２つの分割用画像を部分画像記憶部１１１から削除する。図８を参照しつつ、分割用画像生成処理を具体的に説明する。図８に示すように、図７に示す入力画像に続く入力画像を対象画像Ｉ＿ｔとする。すなわち、図８に示す入力画像Ｉ＿（ｔ−１），Ｉ＿（ｔ−２）は、それぞれ図７に示すＩ＿（ｔ），Ｉ＿（ｔ−１）である。ここで、入力画像Ｉ＿（ｔ−１）の新出現領域６２１と、入力画像Ｉ＿ｔの領域８００の画像の対応が取れると、分割用画像生成部１０４は、動作領域Ｒ＿Ａ（ｔ−１）が前景であると確定する。そして、分割用画像生成部１０４は、動作領域Ｒ＿Ｂ（ｔ−１）が前景と仮定して生成した分割用画像７１０，７１１を部分画像記憶部１１１から削除する。
【００３４】
このように、動作領域Ｒ＿Ｂ（ｔ−１）が前景と確定した場合、分割用画像生成部１０４は、さらに入力画像Ｉ＿ｔの動作領域Ｒ＿Ａ（ｔ）に、時刻ｔ−２の遮蔽領域６００及び時刻ｔ−１の遮蔽領域８０２を付加し、分割用画像８２０を生成する。そして、分割用画像生成部１０４は、これを部分画像記憶部１１１に格納する。また、分割用画像生成部１０４は、入力画像Ｉ＿ｔの動作領域Ｒ＿Ｂ（ｔ）を、分割用画像８２１として生成し、これを部分画像記憶部１１１に格納する。さらに、分割用画像生成部１０４は、入力画像Ｉ＿ｔの新出現領域８０１を時刻ｔ−１の分割用画像７００（図７）に付加することにより、分割用画像７００を、図８に示す分割用画像８３０に更新する。
【００３５】
また、第３のケース、すなわち動作領域間の前後関係が確定している場合には、以下のような処理を行う。まず、分割用画像生成部１０４は、背景側の動作領域に対して、過去の時刻において得られているすべての遮蔽領域を付加して、分割用画像を生成する。また、分割用画像生成部１０４は、処理実行時点の時刻における新出現領域を過去の入力画像に対して既に生成されている分割用画像に付加して、過去の分割用画像を更新する。図９に示す例においては、処理実行時点の時刻ｔよりも前の時点で、動作領域Ｒ＿Ｂが前景であることが確定しているものとする。この場合、分割用画像生成部１０４は、過去の入力画像Ｉ＿（ｔ−３），Ｉ＿（ｔ−２），Ｉ＿（ｔ−１）それぞれから得られた遮蔽領域９０１，９０２，９０３を、入力画像Ｉ＿ｔの動作領域Ｒ＿Ａ（ｔ）に付加することで、分割用画像９４０を生成する。そして、分割用画像生成部１０４は、これを部分画像記憶部１１１に格納する。分割用画像生成部１０４はまた、入力画像Ｉ＿ｔの動作領域Ｒ＿Ｂ（ｔ）を、分割用画像９４１として生成し、これを部分画像記憶部１１１に格納する。
【００３６】
図３に戻り、Ｓ３０３の処理の後、Ｓ３０４において、分割部１０５は、Ｓ３０３において生成された分割用画像を用いて、対象画像の各動作領域を小領域に分割する（分割処理）。本実施形態に係る分割部１０５は、ＳＬＩＣを用いることとする。ＳＬＩＣについては、非特許文献２を参照することができる。ＳＬＩＣでは、画像上のｉ番目の画素である画素Ｘ＿ｉ＝（ｘ＿ｉ，ｙ＿ｉ）と小領域中心画素Ｘ＿ｋ＝（ｘ＿ｋ，ｙ＿ｋ）間の距離基準として、以下のような値Ｄ＿ｉ，ｋが用いられる。
【数１】
2016130968.tif 000003
ここで、ｄ＿ｌａｂ及びｄ＿ｘｙは、それぞれ（式２）及び（式３）により得られる。
【数２】
2016130968.tif 000004
ここで、画素Ｘ＿ｉ及び小領域中心画素Ｘ＿ｋのＣＩＥＬＡＢ表色系における画素値は、それぞれ、Ｖ＿ｉ＝（ｌ＿ｉ，ａ＿ｉ，ｂ＿ｉ）及びＶ＿ｋ＝（ｌ＿ｋ，ａ＿ｋ，ｂ＿ｋ）で与えられており、Ｎ＿Ｒは分割対象領域Ｒの画素数である。また、Ｋは、小領域の数を制御するパラメータ、ｍは、位置差と色差の影響度に関するバランスを制御するパラメータである。
【００３７】
分割部１０５は、画像上の各画素Ｘ＿ｉに関して、以下の判定により、属する小領域ｋ（Ｉ，Ｘ＿ｉ）を決定する。
【数３】
2016130968.tif 000005
分割部１０５は、分割対象領域Ｒにおけるすべての画素の属する小領域を決定した後、各小領域ｋ内における輝度勾配の最も小さくなる画素を、新しい小領域中心Ｘ＿ｋに更新する。更新前の小領域中心位置をＸ＿ｋ＾ｏｌｄとしたとき、小領域中心の総移動量Ｅは以下のように表わされる。
【数４】
2016130968.tif 000006
【００３８】
分割部１０５は、総移動量Ｅの値と所定の閾値（例えば１０）とを比較し、総移動量Ｅの方が小さい場合には、その時点での結果を最終的な小領域分割結果とする。分割部１０５は、総移動量Ｅが閾値以上の場合は、（式４）による所属小領域の判定と、小領域中心の更新を繰り返す。
【００３９】
以上が小領域分割の方法であるが、ここで、小領域中心Ｘ＿ｋの初期位置を次のように設定する。すなわち、分割部１０５は、時刻ｔ−１においてすでに収束して得られている各動作領域内の小領域中心Ｘ＿ｋ（ｔ−１）に対して、時刻ｔにおけるＸ＿ｋ（ｔ−１）の移動先Ｘ＿ｋ（ｔ）を、Ｘ＿ｋ（ｔ−１）のオプティカルフローから算出する。
【００４０】
図１０を参照しつつ、本処理をより具体的に説明する。図１０（ａ）の時刻ｔ−１における領域１０００及び点１００１がそれぞれ動作領域Ｒ＿Ｂ（ｔ−１）と小領域中心Ｘ＿ｋ（ｔ−１）として得られているとする。図１０（ｂ）は、時刻ｔ−１の入力画像Ｉ＿ｔ−１に、時刻ｔの入力画像Ｉ＿ｔを重ねて示した図である。領域１０１０は、動作領域Ｒ＿Ｂ（ｔ）である。
【００４１】
時刻ｔ−１における画素Ｘ＿ｋ（ｔ−１）のオプティカルフローによる移動量は、矢印１０１１で示されており、これにより時刻ｔにおける小領域中心Ｘ＿ｋ（ｔ−１）の移動先Ｘ＿ｋ（ｔ）は、画素１０１２となる。分割部１０５は、このようにして、動作領域Ｒ＿Ｂ（ｔ−１）内の時刻ｔ−１における小領域中心を移動量に応じて移動させ、これらを小領域中心の初期値として動作領域Ｒ＿Ｂ（ｔ）の内部領域のみに対して小領域分割処理を行う。これにより、図５（ｃ）に示すような、分割結果を得ることができる。時刻ｔ−１における動作領域Ｒ＿Ａ，Ｒ＿Ｂの分割結果を図１１の１１００及び１１１０に示す。また、時刻ｔにおける動作領域Ｒ＿Ａ，Ｒ＿Ｂの分割結果を図１１の１１０１及び１１１１に示す。
【００４２】
このように、分割部１０５は、動作領域の境界を境界位置として、各動作領域に別々に初期小領域中心を設定して、小領域への分割を行う。これにより、フレームの違いによる小領域の形状の変化を抑えることができる。
【００４３】
なお、本実施形態に係る分割部１０５は、小領域への分割にＳＬＩＣを用いることとしたが、分割のための具体的な処理は、実施形態に限定されるものではない。他の例としては、分割部１０５は、例えば非特許文献１に示される手法を用いて分割処理を行ってもよい。この場合には、処理を開始する位置によって小領域分割結果に違いが発生するが、分割部１０５は、処理開始位置を上記説明のように移動させることによって小領域分割を行ってもよい。
【００４４】
図３に戻り、Ｓ３０４の処理の後、Ｓ３０５において、関係設定部１０６は、Ｓ３０４の処理において得られた各小領域と、過去の入力画像から得られた小領域とを比較し、両者の対応関係を特定する（関係特定処理）。具体的には、関係設定部１０６は、時刻ｔの入力画像Ｉ＿ｔの小領域と、ステップＳ３０３の処理において、時刻ｔの初期小領域中心の元となった時刻ｔ−１の小領域中心を持つ小領域とを対応するものとして特定する。そして、関係設定部１０６は、両者を関係付ける関係情報を生成し、これを関係記憶部１１３に格納する。関係情報により、過去の複数の入力画像それぞれから得られた小領域と、対象画像の小領域とを数珠つなぎに対応付けることができる。図１２は、小領域間の対応関係の一例を示す図である。異なる入力画像から得られた小領域１２００，１２０１，１２０２には、同じ物体の同じ部分を示す画像が示されており、小領域１２００，１２０１，１２０が対応付けられている。
【００４５】
図３に戻り、Ｓ３０５の処理の後、Ｓ３０６において、特徴抽出部１０７は、各小領域から特徴量を抽出する。小領域ｋにおける、安定化特徴量をＦ＿ｋ（ｔ）とする。特徴抽出部１０７は、（式６）に示すように、Ｆ＿ｋ（ｔ）を小領域が初めて画像上に現れた時刻ｔ＝ｔ＿０において、小領域ｋから算出された特徴量ｆ＿ｋ（ｔ＿０）で初期化する。
【数５】
2016130968.tif 000007
また、特徴抽出部１０７は、時刻ｔ＿０より後の時刻においては、Ｆ＿ｋ（ｔ）を（式７）により更新する。
【数６】
2016130968.tif 000008
ここでηは減衰定数で、０＜η＜１の値をとる。ηの値が大きい程、時刻ｔにおける特徴量ｆ＿ｋ（ｔ）への依存度が高く不安定になり、ηが小さい程、過去の特徴、特に初期特徴ｆ＿ｋ（ｔ＿０）への依存度が高く、変化し難くなる。撮影環境への追随性によって、例えばη＝０．５のような値に設定する。
【００４６】
次に、Ｓ３０７において、領域判別部１０８は、各小領域の安定化特徴量Ｆ＿ｋ（ｔ）を用いて意味的な領域クラスを推定する（推定処理）。具体的には、領域判別部１０８は、特徴量Ｆ＿ｋ（ｔ）を予め用意された領域判別器に入力することで、各小領域の判別結果を得る。なお、領域判別器の種類は特に限定されるものではない。領域判別器は、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）やニューラルネットワーク、ロジスティック回帰のような手法で事前に学習させた識別器でもよいし、閾値処理による簡単な判別処理による識別器でもよい。
【００４７】
図１１に示す動作領域Ｒ＿Ａ（ｔ）及びＲ＿Ｂ（ｔ）の分割用画像１１０１及び１１１１に対して、領域判別を行った結果の例を図１３の１３００及び１３１０に示す。図１３に示す領域１３０１及び１３１１のように、複数の動作領域において、重複して領域判別結果が得られる領域が存在する場合がある。このような領域が存在する場合には、領域判別部１０８は、動作領域間の前後関係が確定しているか否かを確認する。領域判別部１０８は、前後関係が確定している場合には、背景側の重複領域１３０１の領域判別結果は用いずに、前景側の重複領域１３１１の領域判別結果を優先して用いることにより、図１３の１３２０に示す領域判別結果を得ることとする。また、領域判別部１０８は、動作領域間の前後関係が確定していない場合には、それぞれの領域判別結果における領域判別器の出力スコアのうち、最大値を採用する等して、一時的な領域判別結果を得ればよい。
【００４８】
また、他の例としては、領域判別部１０８は、領域判別結果をさらに安定化させるために、Ｓ３０５において生成された関係情報に基づいて、領域判別器の出力スコアを過去の入力画像の出力結果で平均化してもよい。例えば、時刻ｔにおいて、小領域ｋにおけるクラスｃに対する領域判別器の出力スコアがｓ＿ｃ（ｋ，ｔ）で得られていたとする。この場合、領域判別部１０８は、安定化スコアＳ＿ｃ（ｋ，ｔ）を下記のように計算する。
【数７】
2016130968.tif 000009
ここでβは減衰定数で、０＜β＜１の値をとる。βの値が大きい程、時刻ｔにおける領域判別結果への依存度が高く不安定になり、βが小さい程、過去の領域判別結果への依存度が高く、変化し難くなる。
【００４９】
次に、Ｓ３０８において、出力部１０９は、Ｓ３０７において得られた領域判別結果を所定の方法で出力する。出力部１０９は、例えば、領域判別結果のクラスを色分けして表示画面上に表示する。これにより、ユーザは、領域分割結果を目視により確認することができる。
【００５０】
以上、Ｓ３００〜Ｓ３０８の処理により、対象画像（時刻ｔにおける入力画像Ｉ＿ｔ）、１フレーム分の処理が終了する。次に、Ｓ３０９において、ＣＰＵ２０１は、後続の入力画像（時刻ｔ＋１における入力画像Ｉ＿（ｔ＋１）が存在するか否かを確認する。ＣＰＵ２０１は、後続の入力画像が存在する場合には（Ｓ３０９でＹｅｓ）、処理をＳ３０１へ進め、入力画像Ｉ＿（ｔ＋１）を対象画像として処理を継続する。ＣＰＵ２０１は、後続の入力画像が存在しない場合には（Ｓ３０９でＮｏ）、画像処理を終了する。
【００５１】
以上のように、本実施形態に係る画像処理装置は、動きの類似する動作領域に分割した上で、小領域への分割は、動作領域内で行う。これにより、時間経過による小領域の形状の変動を低減し、安定した形状の小領域を得ることができる。また、本実施形態に係る画像処理装置は、対象画像から得られた小領域と過去の入力画像から得られた小領域の対応関係に基づいて、小領域の特徴量を抽出する。これにより、時間経過による小領域の特徴量の変動を低減し、安定した特徴量を得ることができる。さらに、本実施形態に係る画像処理装置は、可視領域が遮蔽された場合には、遮蔽された領域の画像情報を記憶し、これを用いて小領域分割を行う。これにより、遮蔽領域についても安定した特徴量を得ることができる。以上のように、安定した小領域分割結果を得ることができるので、小領域の特徴量を利用した領域判別においても、時間経過による変動の少ない、安定した結果を得ることができる。
【００５２】
本実施形態に係る画像処理装置の第１の変更例としては、分割部１０５は、分割用画像生成処理（Ｓ３０３）において特定した、動作領域間の前後関係を用いて、対象画像よりも過去の入力画像に対する小領域分割結果を更新してもよい。例えば、図７に示す分割用画像７００や、図８に示す分割用画像８２０，８３０のように、時刻ｔ以前の遮蔽領域による補間で、背景領域が更新されているとする。この場合、分割部１０５は、これらの分割用画像の動作領域に対して、再度小領域への分割を行い、各時刻の入力画像に対する小領域分割結果を更新してもよい。さらに、この場合には、画像処理装置は、Ｓ３０５〜Ｓ３０８においては、更新後の小領域分割結果を用いて、各処理を実行するものとする。
【００５３】
第２の変更例としては、画像処理装置は、二次元画像としての入力画像の他に、距離（デプス）情報を利用して、グルーピング処理（Ｓ３０２）を行ってもよい。すなわち、グルーピング部１０３は、オプティカルフロー算出時の近傍拘束条件に、距離による三次元位置の近さを含めてクラスタリングする。これにより、グルーピングの精度をさらに向上させることができる。
【００５４】
また、第３の変更例としては、画像処理装置は、入力画像情報として全周囲画像を用いてもよい。これにより、画面外の領域がなくなるため、関係設定ステップ（Ｓ３０５）において、周囲のすべての領域に対する対応関係を特定することができ、安定度がさらに向上することが期待できる。
【００５５】
また、第４の変更例としては、画像処理装置は、小領域をどのように処理するかは、実施形態に限定されるものではない。他の例としては、本画像処理装置又は外部装置が、領域分割結果を利用してタグ付け等他の処理を行う場合もある。この場合には、出力部１０９は、小領域の位置情報と領域判別結果を対応付けた情報を、次の処理部に出力してもよい。
【００５６】
以上、上述した各実施形態によれば、移動オブジェクトを含む入力画像においても、入力画像間の小領域の変動を抑制することにより、精度よく小領域に分割することができる。
【００５７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５８】
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００５９】
１０２  移動情報生成部
１０３  グルーピング部
１０４  分割用画像生成部
１０５  分割部
１０６  関係設定部
１０７  特徴抽出部
１０８  領域判別部
【図１】
2016130968.tif 000010
【図２】
2016130968.tif 000011
【図３】
2016130968.tif 000012
【図４】
2016130968.tif 000013
【図５】
2016130968.tif 000014
【図６】
2016130968.tif 000015
【図７】
2016130968.tif 000016
【図８】
2016130968.tif 000017
【図９】
2016130968.tif 000018
【図１０】
2016130968.tif 000019
【図１１】
2016130968.tif 000020
【図１２】
2016130968.tif 000021
【図１３】
2016130968.tif 000022