(57)【要約】【課題】少ない処理負荷でスーパーピクセルを高い精度で分類することができ、この分類結果に基づいてカメラ画像からオブジェクトを正確に抽出する。【解決手段】多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラからカメラ画像を視点ごとに取得する。各カメラ画像のオブジェクトマスクMkを生成する。スーパーピクセル分割部３０は、カメラ画像を多数のスーパーピクセルpiに分割する。第１分類部４０は、各スーパーピクセルpiをオブジェクトマスクMkに基づいて「オブジェクト」、「背景」および「不明」のいずれかに分類する。不明分類部１００は、第１分類部４０が「不明」に分類した各スーパーピクセルのみを対象に、第１分類手法とは異なる１ないし複数の分類手法を適用して「オブジェクト」または「背景」に分類する。オブジェクトマスク見直し部７０は、分類結果に基づいてオブジェクトマスクMkを見直す。【選択図】図１
2019021243.tif 000002
【特許請求の範囲】
【請求項１】
動画像を含む画像からオブジェクトを抽出するオブジェクト抽出装置において、
前記画像のオブジェクトマスクMkを取得する手段(20)と、
前記画像の各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により第１類、第２類および第３類のいずれかに分類する第１分類手段(40)と、
前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法によりさらに分類する第３類分類手段(100)と、
前記各分類結果に基づいてオブジェクトマスクMkを見直す手段(70)とを具備したことを特徴とするオブジェクト抽出装置。
【請求項２】
前記第３類分類手段は、前記第３類に分類されたスーパーピクセルを第１類，第２類および第３類のいずれかに分類する第２分類手段(50)を具備し、
前記第２分類手段(50)は、
前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正する手段(501)と、
第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類，第２類および第３類のいずれかに分類する手段(502)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
【請求項３】
前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類または第２類に分類する第３分類手段(60)を具備し、
前記第３分類手段(60)は、
第３類のスーパーピクセルを複数のスーパーピクセルに再分割する手段(601)と、
再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類する再分類手段(602)とを具備し、
再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１または２に記載のオブジェクト抽出装置。
【請求項４】
前記第３分類手段(60)は、前記第２分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項３に記載のオブジェクト抽出装置。
【請求項５】
前記第３分類手段(60)は、前記第１分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項３に記載のオブジェクト抽出装置。
【請求項６】
前記不明分類手段は、前記第３類に分類されたスーパーピクセルを第１類または第２類に分類する第４分類手段(80)を具備し、
前記第４分類手段(80)は、
スーパーピクセルごとに特徴ベクトルを生成する手段(801)と、
第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成する手段(802)と、
第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成する手段(803)と、
第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算する手段(804)と、
前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定する判定手段(805)とを具備したことを特徴とする請求項１に記載のオブジェクト抽出装置。
【請求項７】
前記第４分類手段(80)は、前記第２分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項６に記載のオブジェクト抽出装置。
【請求項８】
前記第４分類手段(80)は、前記第１分類手段が第３類に分類したスーパーピクセルを第１類または第２類に分類することを特徴とする請求項６に記載のオブジェクト抽出装置。
【請求項９】
前記第１分類手段(40)は、
オブジェクトマスクMkに基づいてスーパーピクセルごとにオブジェクト占有率を計算する手段(401)と、
オブジェクト占有率が所定のオブジェクト閾値を上回るスーパーピクセルを第１類に分類する手段(402)と、
オブジェクト占有率が所定の背景閾値を下回るスーパーピクセルを第２類に分類する手段(403)とを具備し、
第１類および第３類のいずれにも分類されないスーパーピクセルを第３類に分類することを特徴とする請求項１ないし８のいずれかに記載のオブジェクト抽出装置。
【請求項１０】
前記見直し後のオブジェクトマスクMkに基づいてオブジェクトを抽出することを特徴とする請求項１ないし９のいずれかに記載のオブジェクト抽出装置。
【請求項１１】
前記第１類、第２類および第３類が、それぞれ「オブジェクト」、「背景」および「不明」であることを特徴とする請求項１ないし１０のいずれかに記載のオブジェクト抽出装置。
【請求項１２】
オブジェクト抽出装置のスーパーピクセルラベリング方法において、
動画像を含む画像のオブジェクトマスクMkを取得し、
前記画像を複数のスーパーピクセルに分割し、
各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により、第１類、第２類および第３類のいずれかに分類し、
前記第３類に分類された各スーパーピクセルを前記第１分類手法とは異なる分類手法により第１類または第２類に分類し、
前記各分類結果に基づいて各スーパーピクセルをラベリングすることを特徴とするオブジェクト抽出装置のスーパーピクセルラベリング方法。
【請求項１３】
前記第１分類手法とは異なる分類手法が第２分類手法を含み、
前記第２分類手法は、
前記画像と視点の異なる複数の画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正し、
第３類のスーパーピクセルを前記修正後のオブジェクトマスクMk'に基づいて第１類、第２類および第３類のいずれかに分類することを特徴とする請求項１２に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
【請求項１４】
前記第１分類手法とは異なる分類手法が第３分類手法を含み、
前記第３分類手法は、
第３類のスーパーピクセルを複数のスーパーピクセルに再分割し、
再分割された各スーパーピクセルをオブジェクトマスクMkに基づいて第１類，第２類および第３類のいずれかに再分類し、
再分類後も第３類のスーパーピクセルを前記再分割及び再分類を繰り返すことを特徴とする請求項１２に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
【請求項１５】
前記第１分類手法とは異なる分類手法が第４分類手法を含み、
前記第４分類手法が段(80)は、
スーパーピクセルごとに特徴ベクトルを生成し、
第１類に分類された各スーパーピクセルの特徴ベクトルに基づいて第１類に固有のオブジェクトヒストグラムを生成し、
第２類に分類された各スーパーピクセルの特徴ベクトルに基づいて第２類に固有の背景ヒストグラムを生成し、
第３類に分類された各スーパーピクセルの特徴ベクトルを各ヒストグラムと比較して、当該各スーパーピクセルが第１類である確率および第２類である確率を計算し、
前記各確率に基づいて、前記第３類に分類された各スーパーピクセルが第１類および第２類のいずれであるかを判定することを特徴とする請求項１２に記載のオブジェクト抽出装置のスーパーピクセルラベリング方法。
【請求項１６】
前記第１類、第２類および第３類が、それぞれ「オブジェクト」、「背景」および「不明」であることを特徴とする請求項１２ないし１５のいずれかに記載のスーパーピクセルラベリング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像からオブジェクトを抽出するオブジェクト抽出装置およびそのスーパーピクセルラベリング方法に係り、特に、少ない処理負荷でスーパーピクセルを高い精度でラベリングすることができ、このラベリング結果に基づいてカメラ画像からオブジェクトを正確に抽出できるオブジェクト抽出装置およびそのスーパーピクセルラベリング方法に関する。
【背景技術】
【０００２】
特許文献１には、入力されたカメラ画像を多数のスーパーピクセルに分割し、対応するオブジェクトマスクに基づいて画像内の各スーパーピクセルを「オブジェクト」または「背景」のいずれかに分類してラベル付けし、ラベリング結果に基づいてオブジェクトを抽出する技術が開示されている。
【０００３】
非特許文献１には、3Dボクセルの投影を複数の較正されたカメラに照らし合わせることによって、各3Dボクセルを「物体」または「背景」にラベル付けするための3D視覚交差法ベースのモデルが開示されている。非特許文献２には、グラフ理論に基づくエネルギー最適化手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特願2017- 97953号
【非特許文献】
【０００５】
【非特許文献１】Hiroshi Sankoh, Mehrdad Panahpour Tehrani, Sei Naito, "Method and program for extracting silhouette image and method and program for constructing three dimensional model", US 8363941 B2
【非特許文献２】Rother, C., Kolmogorov, V., & Blake, A. (2004, August). Grabcut: Interactive foreground extraction using iterated graph cuts. In ACM transactions on graphics (TOG) (Vol. 23, No. 3, pp. 309-314). ACM.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、「オブジェクト」および「背景」のいずれにも明確に分類できない「不明」の取り扱いが考慮されていない。
【０００７】
非特許文献１では、3Dボクセルのラベリングがピクセルまたはボクセルレベルで行われるので非常に敏感であり、抽出されたマスク内に不足領域や不連続領域が生じ得る。したがって、不要な画素の除去と欠落した画素の復元とのトレードオフを回避することができなかった。
【０００８】
非特許文献２では、初期オブジェクト領域と背景領域の割り当てを必要とし、単一のオブジェクト抽出であれば問題ないものの、複数のオブジェクトがある場合は満足のいく結果が得られない。また、物体内部の色分布と背景の色分布が類似していると、物体内部のテクスチャが背景とみなされて除去され易くなり、抽出されたマスクの領域が欠落しまう。
【０００９】
本発明の目的は、上記の技術課題を解決し、少ない処理負荷でスーパーピクセルを高い精度で分類、ラベリングすることができ、このラベリング結果に基づいてカメラ画像からオブジェクトを正確に抽出できるオブジェクト抽出装置およびそのスーパーピクセルラベリング方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明は、画像からオブジェクトを抽出するオブジェクト抽出装置において、画像のオブジェクトマスクMkを取得する手段と、画像を複数のスーパーピクセルに分割する手段と、各スーパーピクセルをオブジェクトマスクMkに基づく第１分類手法により、「オブジェクト」、「背景」および「不明」のいずれかに分類する第１分類手段と、「不明」に分類された各スーパーピクセルを「オブジェクト」または「背景」に分類する不明分類手段と、各分類結果に基づいてオブジェクトマスクMkを見直す手段とを具備し、見直し後のオブジェクトマスクMkに基づいてオブジェクトを抽出するようにした。
【発明の効果】
【００１１】
本発明によれば、以下のような効果が達成される。
【００１２】
(1) 第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対してのみ、追加的に他の分類手法を適用するので、全てのスーパーピクセルに対して選択性の高い、換言すれば計算負荷の大きい分類手法を適用する場合に較べて、カテゴリ分類に係る処理負荷を軽減できる。
【００１３】
(2) 第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対して、不明原因である可能性の高い「マスク精度」および「スーパーピクセル分割ミス」に対して選択性の高い分類手法が適用されるので、精度の高い分類、ラベリングが可能になる。
【００１４】
(3)「オブジェクト」に固有のヒストグラムおよび「背景」に固有のヒストグラムに基づいて、「不明」に分類されたスーパーピクセルの特徴ベクトルが「オブジェクト」である確率および「背景」である確率を求めて分類、ラベリングを行うので、定量的な閾値に拠らない適応的で高精度の分類が可能になる。
【図面の簡単な説明】
【００１５】
【図１】本発明を適用したオブジェクト抽出装置のブロック図である。
【図２】カメラ画像の一例を示した図である。
【図３】オブジェクトマスクMkの一例を示した図である。
【図４】本発明の第１実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。
【図５】第１分類部(40)による分類結果の一例を示した図である。
【図６】「オブジェクト」、「背景」および「不明」の各分類結果をカメラ画像との比較で示した図である。
【図７】スーパーピクセルの再分割方法を示した図である。
【図８】第１分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。
【図９】第２分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。
【図１０】第３分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。
【図１１】本発明の第２実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。
【図１２】第４分類手法によるスーパーピクセルpiの分類手順を示したフローチャートである。
【図１３】本発明の第３実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。
【図１４】本発明の第４実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明を適用したオブジェクト抽出装置の概要を示したブロック図である。本発明のオブジェクト抽出装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。
【００１７】
多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCak（Ca1，Ca2…）から、図２に一例を示したカメラ画像（動画像を含む）を視点ごとに所定の周期で取得する。オブジェクトマスク生成部２０は、オブジェクトが存在しない環境下で撮影した背景映像をカメラ画像から減じて差分画像を取得し、この差分画像の各ピクセルを所定の閾値と比較する閾値処理により、図３に一例を示したオブジェクトマスクMkを生成する。
【００１８】
スーパーピクセル分割部３０は、カメラ画像を多数のスーパーピクセルp1,p2…pk（以下、piで代表する）に分割する。スーパーピクセルpiとは、輝度や色等の性質が比較的似ている複数のピクセルをまとめた、知覚的に意味のある小領域である。スーパーピクセルを算出するための手法としては、Graph-based手法、Mean Shift手法あるいはNormalized Cut手法などが知られている。各スーパーピクセルpiはオブジェクトマスクを定義するために有益な境界情報を有している。
【００１９】
第１分類部４０は、後に詳述するように、各スーパーピクセルpiに占めるオブジェク領域の割合（占有率ρi）をオブジェクトマスクMkに基づいて求め、各スーパーピクセルpiを占有率ρiに基づいて「オブジェクト（第１類）」、「背景（第２類）」および「不明（第３類）」のいずれかのカテゴリに分類する第１分類手法を採用する。
【００２０】
不明分類部１００は、第１分類部４０が「不明」に分類した各スーパーピクセルのみを対象に、前記第１分類手法とは異なる１ないし複数の分類手法を適用、併用して「オブジェクト」または「背景」に分類する。本実施形態では、不明分類部１００が後述する第２分類部５０，第３分類部６０および／または第４分類部８０を有する。
【００２１】
オブジェクトマスク見直し部７０は、前記分類結果に基づいて前記オブジェクトマスクMkを見直す。本実施形態では、「オブジェクト」ラベルＬobjを付されたスーパーピクセルpi内の各画素に対応する画素範囲がオブジェクト領域に修正され、背景ラベルLbgを付されたスーパーピクセルpi内の各画素に対応する画素範囲が背景領域に修正される。
【００２２】
図４は、本発明の第１実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、前記不明分類部１００が第２分類部５０および第３分類部６０を備えている。
【００２３】
第１分類部４０において、オブジェクト占有率計算部４０１は、スーパーピクセルpiごとに当該スーパーピクセルpi内の各画素に対応するオブジェクトマスクMkの画素がオブジェクト領域であるか否かに基づいて、各スーパーピクセルpiに占めるオブジェクト領域の割合を示すオブジェクト占有率ρiを計算する。
【００２４】
オブジェクト識別部４０２は、スーパーピクセルpiごとに、そのオブジェクト占有率ρiを所定のオブジェクト識別閾値ρth1_objと比較し、次式(1)が成立すると当該スーパーピクセルpiをカテゴリ「オブジェクト」に分類する。
【００２５】
ρth1_obj＜ρi＜１  …(1)
【００２６】
背景識別部４０３は、スーパーピクセルpiごとに、そのオブジェクト占有率ρiを所定の背景識別閾値ρth1_bgと比較し、次式(2)が成立すると当該スーパーピクセルpiをカテゴリ「背景」に分類する。
【００２７】
０＜ρi＜ρth1_bg  …(2)
【００２８】
ラベリング部４０４は、カテゴリが「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬobjを付し、カテゴリが「背景」のスーパーピクセルpiに背景ラベルLbgを付する。なお、「オブジェクト」および「背景」のいずれのカテゴリにも分類されなかったスーパーピクセルpiはカテゴリ「不明」に分類され、この時点ではラベル付けが行われない。
【００２９】
図５は、前記第１分類部４０による分類結果の一例を示した図であり、白色部分（画素値＝255）がカテゴリ「オブジェク」に分類された領域、黒色部分（画素値=0）がカテゴリ「背景」に分類された領域である。また、一部拡大して示したように、主に「オブジェク」領域と「背景」領域との境界に位置するグレー部分が、「オブジェクト」および「背景」のいずれにも分類されなかったカテゴリ「不明」の領域である。
【００３０】
図６は、「オブジェクト」、「背景」および「不明」の各分類結果をカメラ画像との比較で示した図である。本発明の発明者らは、スーパーピクセルpiの一部がカテゴリ「不明」に分類される原因が、カテゴリ「不明(1)」のように、スーパーピクセル分割のミスによるものと、カテゴリ「不明(2)」のように、オブジェクトマスクの精度によるものとに大別できることを新たに知見した。
【００３１】
そこで、本発明ではカテゴリ「不明」の領域に対してのみ更に、マスク精度に関わらず選択性の高い高精度の分類を可能にする第２分類手法、およびスーパーピクセル分割のミスに関わらず選択性の高い高精度の分類を可能にする第３分類手法を適用することにより、「不明」領域を「オブジェクト」および「背景」のいずれかに分類するようにしている。
【００３２】
図４へ戻り、第２分類部５０は、カテゴリ「不明」のスーパーピクセルpiのみを対象に、特に「不明(2)」の分類の好適な第２分類手法を適用することで「オブジェクト」または「背景」のいずれかのカテゴリに分類する。そして、カテゴリ「オブジェクト」に分類されたスーパーピクセルpiにはオブジェクトラベルＬobjを付し、カテゴリ「背景」に分類されたスーパーピクセルには背景ラベルLbgを付するようにしている。
【００３３】
第２分類部５０において、オブジェクトマスク修正部５０１は、後に詳述するように、前記オブジェクトマスクMkとは視点の異なる複数の他のカメラ画像のオブジェクトマスクMk-1，Mk+1に基づいて前記オブジェクトマスクMkを修正する。
【００３４】
分類再試行部５０２は、カテゴリが「不明」の各スーパーピクセルpiを前記修正後のオブジェクトマスクMk'に基づいて「オブジェクト」、「背景」および「不明」のいずれかのカテゴリに分類する。ラベリング部５０３は、カテゴリ「オブジェクト」のスーパーピクセルpiにオブジェクトラベルLobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。
【００３５】
第３分類部６０は、前記第2分類部５０による分類後も依然としてカテゴリ「不明」のスーパーピクセルpiを対象に、特に「不明(1)」の分類に好適な第３分類手法を適用することで「オブジェクト」または「背景」のいずれかのカテゴリに分類する。そして、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルLobjを付し、カテゴリ「背景」のスーパーピクセルに背景ラベルLbgを付する。
【００３６】
第３分類部６０において、スーパーピクセル再分割部６０１は、図７に示したように、カテゴリが「不明(1)」のスーパーピクセルpiを更に複数のスーパーピクセルに分割する。再分割部６０２は、各スーパーピクセルpiを、そのオブジェクト占有率ρiに基づいて「オブジェクト」または「背景」に分類する。
【００３７】
そして、依然として「不明」のスーパーピクセルについてはスーパーピクセル分割を繰り返し、最終的に全てのスーパーピクセルを「オブジェクト」または「背景」に分類する。ラベリング部６０３は、カテゴリ「オブジェクト」のスーパーピクセルpiにオブジェクトラベルＬobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。
【００３８】
図８は、前記第１分類部４０によるスーパーピクセルpiの分類手順を示したフローチャートである。
【００３９】
ステップＳ４１では、スーパーピクセル分割部３０からカメラ画像のスーパーピクセルpiが取得される。ステップＳ４２では、オブジェクトマスク生成部２０からオブジェクトマスクMkが取得される。ステップＳ４３では、オブジェクト占有率計算部４０１において、スーパーピクセルpiごとにオブジェクトマスクMkに基づいてオブジェクト占有率ρiが計算される。
【００４０】
ステップＳ４４では、オブジェクト識別部４０２が、スーパーピクセルpiの一つに注目し、今回の注目スーパーピクセルpiがオブジェクト領域であるか否かを、オブジェクト識別閾値ρth1_objとオブジェクト占有率ρiとの比較結果に基づいて判断する。本実施形態では、上式(1)が成立すればオブジェクト領域と識別されてステップＳ４５へ進み、今回の注目スーパーピクセルpiがカテゴリ「オブジェクト」に分類される。
【００４１】
これに対して、上式(1)が成立しなければステップＳ４６へ進み、背景識別部４０３が、今回の注目スーパーピクセルpiが背景領域であるか否かを、背景識別閾値ρth1_bgとオブジェクト占有率ρiとの比較結果に基づいて判断する。本実施形態では、上式(2)が成立すれば背景領域と識別されてステップＳ４７へ進み、今回の注目スーパーピクセルpiがカテゴリ「背景」に分類される。
【００４２】
ステップＳ４８では、前記ラベリング部４０４により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルＬobjが付され、カテゴリが「背景」のスーパーピクセルに背景ラベルＬbgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」に分類され、ラベル付けは行わない。
【００４３】
ステップＳ４９では、全てのスーパーピクセルpiについて上記の分類処理が完了したか否かが判断される。完了していなければステップＳ４４へ戻り、注目するスーパーピクセルpiを切り換えながら上記の各処理が繰り返される。
【００４４】
図９は、前記第2分類部５０によるカテゴリ「不明」のスーパーピクセルpiを対象とした分類手順を示したフローチャートである。
【００４５】
ステップＳ５１では、「オブジェクト」および「背景」のいずれにも分類されなかったカテゴリ「不明」のスーパーピクセルpiが取得される。ステップＳ５２では、他のカメラ画像に関して生成された複数のオブジェクトマスクMk-1，Mk+1およびそのカメラパラメータが取得される。
【００４６】
ステップＳ５３では、オブジェクトマスクMkおよび各参照用のオブジェクトマスク Mk-1，Mk+1に基づいて3Dビジュアルハルが構築され、マスクMkにおけるカテゴリ「不明」のスーパーピクセルの各座標を各参照用のオブジェクトマスクMk-1，Mk+1へ投影することで対応画素が識別される。ステップＳ５４では、前記オブジェクトマスク修正部５０１により、対応画素との比較でマスクMkが修正される。
【００４７】
本実施形態では、オブジェクトマスクMkの座標x,yにおける画素値をMk(x,y)、オブジェクトマスクMk-1の対応座標xk-1,yk-1における画素値をMk-1(x k-1,y k-1)、オブジェクトマスクMk+1の対応座標xk+1,yk+1における画素値をMk+1(x k+1,y k+1)としたとき、次式に基づいてオブジェクトマスクMkが修正される。
【００４８】
【数１】
2019021243.tif 000003
【００４９】
すなわち、参照用のオブジェクトマスクMk-1，Mk+1の画素値がいずれも0（背景）の座標については、オブジェクトマスクMkの現画素値に関わらず、その画素値が「0」に書き替えられる。同様に、参照用のオブジェクトマスクMk-1，Mk+1の画素値がいずれも２５５（オブジェクト）の座標については、オブジェクトマスクMkの現画素値に関わらず、その画素値が「２５５」に書き替えられる。参照オブジェクトマスクMk-1，Mk+1の画素値が一致しない場合はオブジェクトマスクMkの現画素値が維持される。
【００５０】
ステップＳ５５では、修正後のオブジェクトマスクMk'に基づいて、カテゴリが「不明」のスーパーピクセルpiごとにオブジェクト占有率ρiが再計算される。
【００５１】
ステップＳ５６では、スーパーピクセルpiの一つに注目して、今回の注目スーパーピクセルpiがオブジェクト領域に対応しているか否かが、オブジェクト判定閾値ρth2_objとオブジェクト占有率ρiとの比較結果に基づいて判断される。本実施形態では、次式(4)が成立すればオブジェクト領域と識別されてステップＳ５７へ進み、今回の注目スーパーピクセルpiがカテゴリ「オブジェクト」に分類される。
【００５２】
ρth2_obj＜ρi＜１  …(4)
【００５３】
これに対して、上式(4)が成立しなければステップＳ５８へ進み、今回の注目スーパーピクセルpiが背景領域に対応しているか否かが、背景判定閾値ρth2_bgとオブジェクト占有率ρiとの比較結果に基づいて判断される。本実施形態では、次式(5)が成立すれば背景領域と識別されてステップＳ５９へ進み、今回の注目スーパーピクセルpiがカテゴリ「背景」に分類される。
【００５４】
０＜ρi＜ρth2_bg  …(5)
【００５５】
ステップＳ６０では、前記ラベリング部５０３により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルLobjが付され、カテゴリ「背景」のスーパーピクセルに背景ラベルLbgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」のままでラベル付けは行わない。
【００５６】
ステップＳ６１では、カテゴリ「不明」の全てのスーパーピクセルについて上記の分類処理が完了したか否かが判断される。完了していなければステップＳ５６へ戻り、注目する「不明」のスーパーピクセルpiを切り換えながら上記の各処理が繰り返される。
【００５７】
図１０は、前記第３分類部６０によるカテゴリ「不明」のスーパーピクセルを対象とした分類手順を示したフローチャートである。
【００５８】
ステップＳ７０では、依然として「不明」のスーパーピクセルpiが取得される。ステップＳ７１では、前記図７(a)に示したように、前記スーパーピクセルpiに外接矩形が設定される。ステップＳ７２では、前記図７(b)に示したように、前記外接矩形内が複数のスーパーピクセルに分割される。
【００５９】
ステップＳ７３では、スーパーピクセルpiごとにオブジェクト占有率ρiが計算される。ステップＳ７４では、オブジェクト占有率ρiとオブジェクト識別閾値および背景識別閾値との関係に基づいて、上記と同様に、各スーパーピクセルpiが「オブジェクト」、「背景」、「不明」のいずれかに分類されてラベリングされる。
【００６０】
ステップＳ７５では、「不明」のスーパーピクセルpiが十分に少なくなったか否かが判断される。十分に少なくなっていなければステップＳ７１へ戻り、以前として「不明」のスーパーピクセルpiを更にスーパーピクセルに分解して上記の各処理が繰り返される。
【００６１】
これに対して、「不明」のスーパーピクセルpiが十分に少なくなるとステップＳ７６へ進み、前記ラベリング部６０３により、カテゴリ「オブジェクト」のスーパーピクセルにオブジェクトラベルLobjが付され、カテゴリ「背景」のスーパーピクセルに背景ラベルLbgが付される。「オブジェクト」および「背景」のいずれにも分類されなかったスーパーピクセルはカテゴリ「不明」のままでラベル付けは行わない。
【００６２】
ステップＳ７７では、前記ステップＳ７０で抽出された全ての「不明」のスーパーピクセルpiについて上記の処理が完了したか否かが判断される。完了していなければステップＳ７０へ戻り、注目する「不明」のスーパーピクセルpiを切り換えながら上記の各処理を繰り返す。
【００６３】
本実施形態によれば、第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対してのみ、追加的に他の分類手法を適用するので、全てのスーパーピクセルに対して選択性の高い、換言すれば計算負荷の大きい分類手法を適用する場合に較べて、カテゴリ分類に係る処理負荷を軽減できる。
【００６４】
また、本実施形態によれば、第１分類手法によりカテゴリ「不明」に分類されたスーパーピクセルに対して、不明原因である可能性の高い「マスク精度」および「スーパーピクセル分割ミス」に対して選択性の高い分類手法が適用されるので、精度の高い分類、ラベリングが可能になる。
【００６５】
図１１は、本発明の第２実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００を第４分類部８０で構成し、第１分類部４０が「不明」と判断したスーパーピクセルpiを対象に第４分類部８０が再分類を実行する点に特徴がある。
【００６６】
第４分類部８０において、特徴ベクトル生成部８０１は、全てのスーパーピクセルpiについて、その特徴ベクトルを構築する。本実施形態では、スーパーピクセルpiがLab色空間に変換され、L-a-b色空間におけるスーパーピクセルpiの全ピクセルの平均値μl，μa，μbおよびLab色空間内の色成分の共分散ρll，ρaa，ρbb，ρla，ρlb，ρabが求められ、これらを特徴量とするベクトルVpi=｛μl，μa，μb，ρll，ρaa，ρbb，ρla，ρlb，ρab｝が構築される。
【００６７】
オブジェクトヒストグラム生成部８０２は、カテゴリ「オブジェクト」に分類された全てのスーパーピクセルpiに関して、各特徴ベクトルの特徴量を個別に投票することで、各特徴量の分布を定量的に示すオブジェクトヒストグラムHistobjを生成する。
【００６８】
背景ヒストグラム生成部８０３は、カテゴリ「背景」に分類された全てのスーパーピクセルpiに関して、各特徴ベクトルの特徴量を個別に投票することで、各特徴量の分布を定量的に示す背景ヒストグラムHistbgを生成する。
【００６９】
確率計算部８０４は、カテゴリ「不明」の各スーパーピクセルpiの特徴ベクトルを、オブジェクトヒストグラムHistobjおよび背景ヒストグラムHistbgと比較することで、カテゴリ「不明」のスーパーピクセルpiごとに、オブジェクトである確率Robjおよび背景である確率Rbgを計算する。
【００７０】
判定部８０５は、確率Robj＞確率Rbgのスーパーピクセルpiはカテゴリ「オブジェクト」に分類し、確率Robj≦確率Rbgのスーパーピクセルpiはカテゴリ「背景」に分類する。ラベリング部８０６は、カテゴリ「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。
【００７１】
図１２は、前記第４分類部８０による分類手順を示したフローチャートであり、ステップＳ８１では、「オブジェクト」、「背景」および「不明」の各カテゴリに分類されたスーパーピクセルpiが取得される。ステップＳ８２では、特徴ベクトル生成部８０１により、全てのスーパーピクセルpiについて特徴ベクトルVpiが生成される。
【００７２】
本実施形態では、L-a-b色空間におけるスーパーピクセルpiの全ピクセルの平均値μl，μa，μbおよびLab色空間内の色成分の共分散ρll，ρaa，ρbb，ρla，ρlb，ρabを特徴量とする特徴ベクトルVpi=｛μl，μa，μb，ρll，ρaa，ρbb，ρla，ρlb，ρab｝が生成される。
【００７３】
ステップＳ８３では、オブジェクトヒストグラム生成部８０２が、カテゴリ「オブジェクト」に分類された全てのスーパーピクセルpiに関して、その特徴ベクトルの各特徴量を個別に投票することでオブジェクトヒストグラムHistobjを生成する。同様に、背景ヒストグラム生成部８０３が、カテゴリ「背景」に分類された全てのスーパーピクセルpiに関して、その特徴ベクトルの各特徴量を個別に投票することで背景ヒストグラムHistbgを生成する。
【００７４】
ステップＳ８４では、確率計算部８０４が、カテゴリ「不明」の各スーパーピクセルpiの特徴ベクトルを、オブジェクトヒストグラムHistobjおよび背景ヒストグラムHistbgと比較することで、カテゴリ「不明」の各スーパーピクセルpiがオブジェクトである確率Robjおよび背景である確率Rbgを計算する。
【００７５】
ステップＳ８５では、確率Robj，確率Rbgの大小関係が比較され、Robj＞Rbgであれば、ステップＳ８６へ進んでカテゴリ「オブジェクト」に分類される。これに対して、Robj≦Rbgであれば、ステップＳ８７へ進んでカテゴリ「背景」に分類される。ステップＳ８８では、ラベリング部８０６が、カテゴリ「オブジェクト」のスーパーピクセルpiに「オブジェクト」ラベルＬobjを付し、カテゴリ「背景」のスーパーピクセルpiに背景ラベルLbgを付する。
【００７６】
本実施形態によれば、「オブジェクト」に固有のヒストグラムおよび「背景」に固有のヒストグラムに基づいて、「不明」に分類されたスーパーピクセルの特徴ベクトルが「オブジェクト」である確率および「背景」である確率を求めて分類、ラベリングを行うので、定量的な閾値に拠らない適応的で高精度の分類が可能になる。
【００７７】
図１３は、本発明の第３実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００が第２分類部５０および第４分類部８０を具備し、第１分類部４０がカテゴリ「不明」に分類したスーパーピクセルに対して第２分類部５０が再分類を実施し、第２分類部５０がカテゴリ「不明」に分類したスーパーピクセルに対して第４分類部８０が更に再分類を実施する点に特徴がある。
【００７８】
図１４は、本発明の第４実施形態に係るオブジェクトマスク抽出装置の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態は、前記不明分類部１００を第３分類部６０で構成し、第１分類部４０がカテゴリ「不明」に分類したスーパーピクセルに対して、第３分類部６０が分類を実施する点に特徴がある。
【符号の説明】
【００７９】
１０…多視点画像入力部，２０…オブジェクトマスク生成部，３０…スーパーピクセル分割部，４０…第１分類部，５０…第２分類部，６０…第３分類部，７０…オブジェクトマスク見直し部，８０…第４分類部，４０１…オブジェクト占有率計算部，４０２…オブジェクト識別部，４０３…背景識別部，４０４…ラベリング部，５０１…オブジェクトマスク修正部，５０２…分類再試行部，５０３…ラベリング部，６０１…スーパーピクセル再分割部，６０２…再分割部，６０３…ラベリング部，８０１…特徴ベクトル生成部，８０２…オブジェクトヒストグラム生成部，８０３…背景ヒストグラム生成部，８０４…確率計算部，８０５…判定部，８０６…ラベリング部
【図１】
2019021243.tif 000004
【図２】
2019021243.tif 000005
【図３】
2019021243.tif 000006
【図４】
2019021243.tif 000007
【図５】
2019021243.tif 000008
【図６】
2019021243.tif 000009
【図７】
2019021243.tif 000010
【図８】
2019021243.tif 000011
【図９】
2019021243.tif 000012
【図１０】
2019021243.tif 000013
【図１１】
2019021243.tif 000014
【図１２】
2019021243.tif 000015
【図１３】
2019021243.tif 000016
【図１４】
2019021243.tif 000017