(57)【要約】【課題】カメラ画像からオブジェクトのシルエットを正確に抽出できるシルエット抽出方法および装置を提供する。【解決手段】カメラ画像ごとに各画素の特徴量に基づいてグローバル統計値を計算するグローバル統計値取得部２２と、カメラ画像を複数の局所領域Riに分割する領域分割部２３手段と、局所領域Riごとに各画素の特徴量に基づいてローカル統計値を計算するローカル統計値取得部２４と、グローバル統計値と各局所領域Riのローカル統計値とに基づいて局所領域Riごとに閾値thiを設定するローカル閾値設定部２５と、局所領域Riごとに、カメラ画像の各画素の特徴量と背景画像の対応する各画素の特徴量との差分を当該局所領域Riに固有の閾値thiと比較してシルエットを抽出し、シルエット画像を生成するシルエット画像生成部２７とを具備した。【選択図】図１
2018195047.tif 000002
【特許請求の範囲】
【請求項１】
画像からオブジェクトのシルエットを抽出するシルエット抽出装置において、
画像ごとに各画素の特徴量に基づいてグローバル統計値を計算する手段と、
前記画像を複数の局所領域に分割する手段と、
前記局所領域ごとに各画素の特徴量に基づいてローカル統計値を計算する手段と、
前記グローバル統計値と各局所領域のローカル統計値とに基づいて局所領域ごとに閾値を設定する手段と、
局所領域ごとに、画像の各画素の特徴量と背景画像の対応する各画素の特徴量との差分を当該局所領域に固有の閾値と比較してシルエットを抽出する手段とを具備したことを特徴とするシルエット抽出装置。
【請求項２】
前記グローバル統計値が、画像における各画素の特徴量の分散であることを特徴とする請求項１に記載のシルエット抽出装置。
【請求項３】
前記各画素の特徴量がピクセル強度であることを特徴とする請求項１または２に記載のシルエット抽出装置。
【請求項４】
前記画像を複数の局所領域に分割する際の各局所領域のサイズを、前記グローバル統計値に基づいて決定する領域サイズ決定手段を更に具備したことを特徴とする請求項１ないし３のいずれかに記載のシルエット抽出装置。
【請求項５】
前記グローバル統計値が、画像における各画素の特徴量の分散であり、前記領域サイズ決定手段は、分散が大きいほど局所領域のサイズを小さくすることを特徴とする請求項４に記載のシルエット抽出装置。
【請求項６】
コンピュータが画像からオブジェクトのシルエットを抽出するシルエット抽出方法において、
画像ごとに各画素の特徴量に基づいてグローバル統計値を計算し、
前記画像を複数の局所領域に分割し、
前記局所領域ごとに各画素の特徴量に基づいてローカル統計値を計算し、
前記グローバル統計値と各局所領域のローカル統計値とに基づいて局所領域ごとに閾値を設定し、
局所領域ごとに、画像の各画素の特徴量と背景画像の対応する各画素の特徴量との差分を当該局所領域に固有の閾値と比較してシルエットを抽出することを特徴とするシルエット抽出方法。
【請求項７】
前記グローバル統計値が、画像における各画素の特徴量の分散であることを特徴とする請求項６に記載のシルエット抽出方法。
【請求項８】
前記各画素の特徴量がピクセル強度であることを特徴とする請求項６または７に記載のシルエット抽出方法。
【請求項９】
前記画像を複数の局所領域に分割する際の各局所領域のサイズを、前記グローバル統計値に基づいて決定することを特徴とする請求項６ないし８のいずれかに記載のシルエット抽出方法。
【請求項１０】
前記グローバル統計値が、画像における各画素の特徴量の分散であり、分散が大きいほど局所領域のサイズを小さくすることを特徴とする請求項９に記載のシルエット抽出方法。
【請求項１１】
画像からオブジェクトのシルエットを抽出するシルエット抽出プログラムにおいて、
画像ごとに各画素の特徴量に基づいてグローバル統計値を計算する手順と、
前記画像を複数の局所領域に分割する手順と、
前記局所領域ごとに各画素の特徴量に基づいてローカル統計値を計算する手順と、
前記グローバル統計値と各局所領域のローカル統計値とに基づいて局所領域ごとに閾値を設定する手順と、
局所領域ごとに、画像の各画素の特徴量と背景画像の対応する各画素の特徴量との差分を当該局所領域に固有の閾値と比較してシルエットを抽出する手順とを、コンピュータに実行させるシルエット抽出プログラム。
【請求項１２】
前記グローバル統計値が、画像における各画素の特徴量の分散であることを特徴とする請求項１１に記載のシルエット抽出プログラム。
【請求項１３】
前記各画素の特徴量がピクセル強度であることを特徴とする請求項１１または１２に記載のシルエット抽出プログラム。
【請求項１４】
前記画像を複数の局所領域に分割する際の各局所領域のサイズを、前記グローバル統計値に基づいて決定することを特徴とする請求項１１ないし１３のいずれかに記載のシルエット抽出プログラム。
【請求項１５】
前記グローバル統計値が、画像における各画素の特徴量の分散であり、分散が大きいほど局所領域のサイズを小さくすることを特徴とする請求項１４に記載のシルエット抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像からオブジェクトのシルエットを抽出する装置、方法およびプログラムに係り、特に、カメラ画像からオブジェクトのシルエットを正確に抽出できるシルエット抽出装置、方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、カメラごとに単眼背景差分法を採用し、ローカルの色差ヒストグラムを計算して、抽出したシルエットをさらに細かく洗練する技術が開示されている。しかしながら、グローバル閾値が画素レベルのセグメンテーションを制御するのに十分ではないため、満足できる品質のシルエットマスクを確実に得ることはできない。
【０００３】
特許文献２には、Visual Hullを構築するために3D Multiviewを利用する手法が採用されている。しかしながら、3D空間における各ボクセルの存在は、全ての視点に基づいて決定論的である。換言すれば、3D空間内の各ボクセルは、いずれか1つのカメラで可視でない場合、他の全てのカメラでは可視であっても非存在とみなされる。したがって、特許文献２では、自由視点合成における重要な技術課題である、3Dボクセルモデルの部分的な欠落を解消できない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2016-177586号公報
【特許文献２】米国特許第8,363,941号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
自由視点映像合成におけるオブジェクトの視覚品質は、各カメラ画像のシルエットマスクの精度に大きく依存する。しかしながら、シーンの照度変動、背景変動およびオブジェクトと背景との間の色類似性の影響のため、背景差分法のみでオブジェクトのシルエットを完全に抽出することは難しい。
【０００６】
また、背景差分法の結果に基づいてボクセルの占有率を簡単に計算すると、抽出されたオブジェクトにおける欠落領域と不要領域とのトレードオフの問題があるため、ボクセル占有の可能性の閾値を制御して設定することは困難である。たとえば、不要な領域の削除を優先させるためには尤度の閾値を高く設定すれば良いが、欠落した領域の復元を優先させるためには尤度の閾値を低くしなければならない。
【０００７】
さらに、3Dボクセル投影に基づくセグメンテーションのみでは、各ピクセルが個別に処理されるため、実際には滑らかなオブジェクト境界が滑らではなくなる。GrabCutによる画像セグメンテーションでは、対象オブジェクトの全体が取り込まれ、背景との類似性のためにセグメント化でオブジェクトが部分的に欠落する可能性がある。
【０００８】
本発明の目的は、上記の技術課題を解決し、カメラ等の画像からオブジェクトのシルエットを正確に抽出できるシルエット抽出装置、方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明は、カメラ等の画像からオブジェクトのシルエットを抽出するシルエット抽出装置において、以下の構成を具備した点に特徴がある。
【００１０】
(1) 画像ごとに各画素の特徴量に基づいてグローバル統計値を計算する手段と、画像を複数の局所領域Riに分割する手段と、局所領域Riごとに各画素の特徴量に基づいてローカル統計値を計算する手段と、グローバル統計値と各局所領域Riのローカル統計値とに基づいて局所領域Riごとに閾値thiを設定する手段と、局所領域Riごとに画像の各画素の特徴量と背景画像の対応する各画素の特徴量との差分を当該局所領域Riに固有の閾値thiと比較してシルエットを抽出する手段とを具備した。
【００１１】
(2) 画像を複数の局所領域Riに分割する際の各局所領域Riのサイズを前記グローバル統計値に基づいて決定する領域サイズ決定手段を更に具備した。
【００１２】
(3) 前記グローバル統計値が画像における各画素の特徴量の分散であり、領域サイズ決定手段は、分散が大きいほど局所領域Riのサイズを小さくするようにした。
【発明の効果】
【００１３】
本発明によれば、以下のような効果が達成される。
【００１４】
(1) 単眼の背景差分法により、画像と背景画像との対応する画素値の差分を求めて各画素がシルエット内の画素であるか否かを判断するにあたり、画像を複数の局所領域Riに分割し、局所領域Riごとに差分閾値thiを設定するようにした。したがって、局所領域Riごとに各画素の特徴量の傾向が大きく異なるような場合でもオブジェクトのシルエットを正確に抽出できるようになる。
【００１５】
(2) 各局所領域Riの大きさを、画像における各画素のピクセル強度の分散（グローバル分散）に応じて可変とし、グローバル分散σglobが大きいほど各局所領域Riのサイズを小さくするようにした。したがって、画像を適正数の局所領域Riに分割することが可能となり、局所領域Riの増加による処理負荷の上昇を抑えながらシルエット抽出の精度を向上させることが可能になる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係るシルエット抽出装置の主要部の構成を示した機能ブロック図である。
【図２】カメラ画像の一例を示した図である。
【図３】カメラ画像を複数の局所領域Riに分割する方法を示した図である。
【図４】カメラｊごとにシルエット画像S(j)を生成する方法を示したフローチャートである。
【図５】適応的閾値thiを採用して生成したシルエット画像S(j)とグローバル閾値thglobを採用して生成したシルエット画像S(j)とを比較した図である。
【図６】3Dモデルのボクセルデータを各シルエット画像S(j)に投影して対応画素のデータを取得する方法を示した図である。
【図７】スーパーピクセルの分割例を示した図である。
【図８】シルエット画像S(j)の見直し手順を示したフローチャートである。
【図９】3Dモデル修正部(40)の他の実施形態の構成を示したブロック図である。
【図１０】勾配情報反映部(43)の機能を説明するための図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の一実施形態に係るシルエット抽出装置の主要部の構成を示した機能ブロック図である。このような装置は、汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装して構成しても良いし、あるいはアプリケーションの一部がハードウェア化またはROM化された専用機や単能機として構成しても良い。
【００１８】
多視点画像入力部１０は、オブジェクトObjを異なる視点で撮影する複数台のカメラCaj（Ca1，Ca2…）から、図２に一例を示したカメラ画像I(t)を視点ごとに所定の周期で取得する。シルエット画像生成部２０は、各カメラ画像I(t)に基づいてオブジェクトのシルエットを含むシルエット画像S(j)を視点ごとに生成する。
【００１９】
前記シルエット画像生成部２０において、背景画像取得部２１は、オブジェクトObjが存在しない空舞台のカメラ画像I(t)から背景画像を取得する。グローバル統計値取得部２２は、カメラ画像I(t)ごとに各画素の特徴量に基づいてカメラ画像全体の統計値（グローバル統計値）を計算する。本実施形態では、カメラ画像I(t)の全画素のピクセル強度の分散すなわちグローバル分散σglobが計算される。なお、カラー画像の場合は3原色のそれぞれについてμglobが計算される。
【００２０】
領域分割部２３は、図３に一例を示したように、各視点のカメラ画像I(t)を複数の矩形の局所領域Riに分割する。本実施形態では、カメラ画像I(t)がk個の局所領域Riに分割されているが、各局所領域Riのサイズすなわち分割数kはグローバル分散σglobに依存し、グローバル分散σglobが大きくなるほど局所領域Riのサイズは小さくされる。
【００２１】
ローカル統計値取得部２４は、各カメラ画像I(t)の局所領域Riごとに各画素の特徴量に基づいて各局所領域Riに固有の統計値（ローカル統計値）を計算する。本実施形態では、各局所領域Ri内の全画素のピクセル強度に基づいて各局所領域Riに固有のローカル分散σiが計算される。
【００２２】
ローカル閾値設定部２５は、前記局所領域Riごとに、カメラ画像I(t)の各画素のピクセル強度と前記背景画像の対応する画素のピクセル強度との差分に基づいて当該局所領域Ri内の各画素がシルエット領域および背景領域のいずれであるかを判別するためのローカル閾値thiを設定する。
【００２３】
本実施形態では、予め用意されている標準的なグローバル閾値thglobを、次式(1)に示したように、グローバル分散σglobとローカル分散σiとの比に基づいて局所領域Riごとに増減補正することで各ローカル閾値thiが適応的に求められる。
【００２４】
【数１】
2018195047.tif 000003
【００２５】
ここで、２つのパラメータA，Bは、グローバル分散σglobとローカル分散σiとの比α（α∈(0,1)）に応じて局所閾値thiを適合させるためのオフセット値であり、一般的にA，Bはいずれも正の値をとるが、一方は「０」であっても良い。
【００２６】
判別部２６は、局所領域Riごとに各画素のピクセル強度と前記背景画像の対応する画素のピクセル強度との差分を当該局所領域Riに固有のローカル閾値thiと比較する。そして、差分が前記ローカル閾値thiよりも大きい画素にはシルエット内である旨のラベル「１」を付し、差分値が前記ローカル閾値thiよりも小さい画素には背景である旨のラベル「０」を付する。
【００２７】
シルエット画像生成部２７は、全ての画素にラベル「０」またはラベル「１」の付されたシルエット画像S(j)を視点（カメラ）ごとに生成する。本実施形態ではm個のシルエット画像S(1)〜S(m)が生成される。
【００２８】
図４は、前記シルエット画像生成部２０によるシルエット画像S(j)の生成方法を示したフローチャートであり、時刻tにおいてカメラ画像I(t)ごとに同様の処理が繰り返されてm個のシルエット画像S(1)〜S(m)が生成される。
【００２９】
ステップＳ１では、オブジェクトが映っていない背景画像が、前記背景画像取得部２１により取得される。ステップＳ２では、各カメラCaからカメラ映像I(t)が取り込まれる。ステップＳ３では、カメラ画像I(t)の各画素のピクセル強度に基づいて、カメラ画像全体でのピクセル強度のグローバル分散σglobが、前記グローバル統計値取得部２２により計算、取得される。
【００３０】
ステップＳ４では、前記図２に示したように、カメラ画像I(t)が前記領域分割部２３によりk個の局所領域R1，R2…Ri…Rkに分割される。したがって、各カメラ画像I(t)は次式(2)で表される。
【００３１】
【数２】
2018195047.tif 000004
【００３２】
ステップＳ５では、局所領域Riの一つが選択される。ステップＳ６では、当該局所領域Riの各画素のピクセル強度に基づいて、その統計値であるピクセル強度のローカル分散σiが前記ローカル統計値取得部２４により計算、取得される。
【００３３】
ステップＳ７では、前記ローカル分散σiに基づいて当該局所領域Riに固有の閾値thiが、前記ローカル閾値設定部２５により上式(1)に基づいて計算される。ステップＳ８では、前記判別部２６が局所領域Riごとに、各画素のピクセル強度と背景画像の対応する画素のピクセル強度との差分を前記適応的閾値thiと比較し、差分が閾値thiよりも大きければシルエットの画素、小さければ背景の画素と判別する。
【００３４】
ステップＳ９では、全ての局所領域Riに関して上記の識別が完了したか否が判断される。完了していなければステップＳ５へ戻り、次の局所領域Riに対して同様の処理が繰り返される。全ての局所領域Riの各画素について前記判別が完了するとステップＳ１０へ進み、前記シルエット画像生成部２７によりシルエット画像S(j)が生成される。
【００３５】
図５は、本発明に係る適応的閾値thiを採用して生成したシルエット画像S(j)[同図(a)]と、従来技術のグローバル閾値thglobを採用して生成したシルエット画像S(j)[同図(b)]とを比較した図であり、適応的閾値thiを採用することでシルエットを正確に抽出できることが判る。
【００３６】
本実施形態によれば、単眼の背景差分法によりカメラ画像と背景画像とを対応する画素値の差分に基づいて各画素がシルエット内の画素であるか否かを判断するにあたり、カメラ画像を複数の局所領域Riに分割し、局所領域Riごとに差分閾値thiを設定するようにした。したがって、局所領域Riごとに各画素の特徴量の傾向が大きく異なるような場合でもオブジェクトのシルエットを正確に抽出できるようになる。
【００３７】
また、各局所領域Riの大きさを、カメラ画像における各画素のピクセル強度の分散（グローバル分散）に応じて可変とし、グローバル分散σglobが大きいほど各局所領域Riのサイズを小さくするようにした。したがって、カメラ画像を適正数の局所領域Riに分割することが可能となり、局所領域Riの増加による処理負荷の上昇を抑えながらシルエット抽出の精度を向上させることが可能になる。
【００３８】
図1へ戻り、三次元形状モデル生成部３０は、異なる視点ごとに生成されたシルエット画像S(j)を実空間に投影した視体積の中にオブジェクトが含まれるという制約に基づいて、視体積交差法により、各シルエット画像S(1)〜S(m)に対応する視体積の共通部分をオブジェクトの三次元形状（ボクセルデータの集合）と推定し、３次元ボクセル空間におけるオブジェクトの存在領域を示すVisual Hullを復元する。
【００３９】
3Dモデル修正部４０は、ボクセルデータ投影部４１を備え、Visual Hull内の各ボクセルデータを各視点のシルエット画像S(j)に投影する。そして、投影先がシルエット内である確率を確率計算部４２により計算し、確率の低いボクセルデータを排除することで前記Visual Hullの形状を修正する。
【００４０】
ここで、各シルエット画像S(j)の各座標(x,y)に位置する画素をa(i)(x,y)と表記し（以下、a(i)と簡略化する）、3D空間内の各座標(x,y,z)に位置するボクセルをv(x,y,z)と表記する（以下、vと簡略化する）と、図６に示したように、各カメラが3次元空間に対してカメラパラメータC(i)により完全に較正されていれば次式(3)が成立する。
【００４１】
【数３】
2018195047.tif 000005
【００４２】
そこで、本実施形態では3Dモデル内の全てのボクセルを上式(3)に基づいて各シルエット画像S(j)にそれぞれ投影する。a(i)の値を得る演算子をΩ(a(i))と定義すれば、各ボクセルvの投影先a(i)がシルエットである確率P2d(v)は次式(4)で求められる。
【００４３】
【数４】
2018195047.tif 000006
【００４４】
そして、各ボクセルvの正当性を評価するための閾値γ∈(0,1)を、隣接する接続や勾配などの局所的なピクセル情報に基づいて定義し、次式(5)に基づいて各ボクセルvに有効ラベル「１」または無効ラベル「０」を付する。そして、無効ラベル「０」を付されたボクセルをVisual Hullから排除することで3Dモデルが修正される。
【００４５】
【数５】
2018195047.tif 000007
【００４６】
シルエット画像見直し部５０は、ボクセルデータ投影部５１を備え、前記修正後のVisual Hull内の各ボクセルデータを各視点に投影することで修正されたシルエット画像S(j)を生成する。
【００４７】
シルエット画像再見直し部６０は、カメラ画像I(t)を多数のスーパーピクセルに分割し、その境界情報に基づいて前記見直し後シルエット画像S(j)_rev1を更に見直し、再見直し後シルエット画像S(j)_rev2を構築する。
【００４８】
前記シルエット画像再見直し部６０において、スーパーピクセル分割部６１は、図７(a)に模式的に示したように、カメラ画像I(t)を多数のスーパーピクセルUkに分割する。ここで、スーパーピクセルとは輝度や色等の性質が比較的似ているピクセルを複数まとめた小領域であり、スーパーピクセルを算出するための手法としては、Graph-based手法、Mean Shift手法あるいはNormalized Cut手法などが知られている。各スーパーピクセルUkはオブジェクトのシルエットを定義するために有益な境界情報を有している。
【００４９】
判別部６２は、各スーパーピクセルUk内の全画素を、前記見直し後シルエット画像S(j)_rev1の対応画素に付されたラベルに基づいてシルエット／背景のいずれかに判別する。占有率計算部６３は、前記判別結果に基づいて、スーパーピクセルUkごとに全画素に占めるシルエットの占有率を計算する。
【００５０】
ラベリング部６４は、次式(6)に示したように、スーパーピクセルUkごとに、当該スーパーピクセルUkにおけるシルエットの占有率を、総画素数Tとシルエットの画素数との比（ｈ/T）として求め、占有率と所定の閾値βとの関係に基づいて各スーパーピクセルUkをラベル付けする。すなわち、占有率（ｈ/T）が閾値βを超えるスーパーピクセルUkにラベル「１」が付される。
【００５１】
【数６】
2018195047.tif 000008
【００５２】
修正部６５は、ラベル「１」を付されたスーパーピクセルUkの各画素に対応する前記見直し後マスクS(j)_rev1の各画素値を「１」とする再見直し後マスクS(j)_rev2を獲得する。
【００５３】
図７(a)，(b)は、前記シルエット画像再見直し部６０の機能を模式的に表現した図であり、ここでは３つのスーパーピクセルUa，Ub，Ucに着目して説明する。
【００５４】
前記閾値β=0.6と仮定すると、スーパーピクセルUaではh/T＞βが成立するので当該スーパーピクセルUaにはラベル「１」が付される。その結果、見直し後マスクS(j)_rev1において当該スーパーピクセルUa内の各画素の画素値が全て「１」に書き換えられる。
【００５５】
これに対して、スーパーピクセルUb，Ucではh/T＞βが成立しないので当該各スーパーピクセルUb，Ucにはラベル「０」が付される。その結果、見直し後マスクS(j)_rev1において当該スーパーピクセルUb，Uc内の各画素の画素値が全て「０」に書き換えられる。
【００５６】
図８は、本実施形態におけるシルエット画像S(j)の見直し手順を示したフローチャートであり、ステップＳ２１では、複数の視点ごとに生成された複数のシルエット画像S(j)が取得される。ステップＳ２２では、前記三次元形状モデル生成部３０において、複数のシルエット画像S(j)に基づいてオブジェクトの3Dモデル（Visual Hull）が初期化される。
【００５７】
ステップＳ２３では、前記3Dモデル修正部４０において、3Dモデル内の各ボクセルが各シルエット画像S(j)に投影され、ボクセルごとに投影先がシルエット内である確率P2d(v)が、前記確率計算部４２により上式(4)に基づいて計算される。ステップＳ２４では、確率P2d(v)の低いボクセルを排除することで3Dモデルの形状が修正される。
【００５８】
ステップＳ２５では、前記シルエット画像見直し部５０において、前記更新後の3Dモデルの各ボクセルデータを各シルエット画像S(j)に投影し、投影先の各画素にシルエットである旨のラベル「１」を付することで見直し後シルエット画像S(j)_rev1を構築する。
【００５９】
ステップＳ２６では、前記シルエット画像再見直し部６０において、カメラ画像I(t)が複数のスーパーピクセルUkに分割される。ステップＳ２７では、スーパーピクセルUkごとに、見直し後シルエット画像S(j)_rev1においてシルエット内である画素に相当する画素（シルエット相当画素）の占有確率が計算される。
【００６０】
ステップＳ２８では、シルエット相当画素の占有確率が所定の閾値を超えるスーパーピクセルUk内の全ての画素に対応する前記見直し後シルエット画像S(j)_rev1の各画素のラベルをシルエット「１」に書く替えることで再見直し後シルエット画像S(j)_rev2が構築される。ステップＳ２９では、いくつかの後処理後（例えば、形態学的操作、およびフィルタリングなど）が実施されて各シルエット画像が完成する。
【００６１】
本実施形態によれば、シルエットに基づいて構築した3Dモデルの各ボクセルデータを各視点のシルエット画像に投影し、投影先がシルエット内の画素である確率の低いボクセルデータを排除することで前記3Dモデルを修正するようにした。したがって、見直し後の3Dモデルの各ボクセルデータを各視点のシルエット画像に投影することで各シルエットを見直す際の精度が向上し、シルエットから不要な領域を正確に排除できるようになる。
【００６２】
また、本実施形態によれば、カメラ画像を多数のスーパーピクセルに分割し、各スーパーピクセルの境界情報を用いて各シルエット画像の境界を見直すようにしたので、シルエットの境界を精度良く修正できるようになる。
【００６３】
図９は、前記3Dモデル修正部４０の他の実施形態の構成を示したブロック図であり、勾配情報反映部４３を更に具備した点に特徴がある。
【００６４】
上記の実施形態では、前記3Dモデル修正部４０が3Dモデルの各ボクセルデータを各シルエット画像S(j)へ投影し、ボクセルデータの投影先がシルエット内である確率P2dに基づいて各ボクセルデータを取捨するものとして説明した。これに対して、本実施形態では投影先のみならず、その近隣画素も考慮して当該投影先がシルエット内であるか否かを判断するようにした点に特徴がある。
【００６５】
本実施形態では、各ボクセルの投影先画素の上方向，下方向、右方向および左方向に距離τだけ離れた各画素に付されたラベルを、それぞれ(x，y+τ)，(x，y−τ)，(x+τ，y)，(x−τ，y)としたとき、次式(7)に基づいて勾配情報∇を求め、これを次式(8)に適用することで最終的の当該投影先がシルエット内であるか否かを判断するようにしている。ここで、τは勾配計算におけるステップであり、∇∈[0,4]である。
【００６６】
【数７】
2018195047.tif 000009
【００６７】
【数８】
2018195047.tif 000010
【００６８】
図１０は、本実施形態における投影先の判別方法を、τ=１の場合を例にして模式的に示した図であり、同図(a)では、投影先がシルエット内（〇：=１）であり、その上下左右の各方向に隣接する4つの画素の全てが背景（●：=0）である。したがって、∇=４となるので投影先はシルエット内と認識されない。
【００６９】
同図(b)では、投影先の画素がシルエット内であり、その上下左右の各方向に隣接する4つの画素のうち、１つのみがシルエット内で他の３つは背景である。したがって、∇=３となるので投影先はシルエット内と認識されない。同様に、同図(c)の例でも∇=２となるので投影先はシルエット内と認識されない。
【００７０】
これに対して、同図(d)では投影先がシルエット内であり、その上下左右の各方向に隣接する4つの画素のうち３つがシルエット内なので∇=１となり、同図(e)でも、４つの隣接画素全てがシルエット内なので∇=０となる。したがって、いずれの場合も投影先はシルエット内と認識される。
【００７１】
本実施形態によれば、ボクセルデータの投影先がシルエット内の画素として予めラベル付けされていても、その周辺画素の大部分が背景の画素としてラベル付けされている場合のように、投影先がシルエット内である旨のラベル付が妥当ではないと推定される場合にはシルエット内と認識しないようにしたので、外乱等の影響による誤ったラベル付けの影響を排除できるようになる。
【符号の説明】
【００７２】
１０…多視点画像入力部，２０…シルエット画像生成部，２１…背景画像取得部，２２…グローバル統計値取得部，２３…領域分割部，２４…ローカル統計値取得部，２５…ローカル閾値設定部，２６…判別部，２７…シルエット画像生成部，３０…三次元形状モデル生成部，４０…3Dモデル修正部，４１…ボクセルデータ投影部，４２…確率計算部，４３…勾配情報反映部，５０…シルエット画像見直し部，５１…ボクセルデータ投影部，６０…シルエット画像再見直し部，６１…スーパーピクセル分割部，６２…判別部，６３…占有率計算部，６４…ラベリング部，６５…修正部
【図１】
2018195047.tif 000011
【図２】
2018195047.tif 000012
【図３】
2018195047.tif 000013
【図４】
2018195047.tif 000014
【図５】
2018195047.tif 000015
【図６】
2018195047.tif 000016
【図７】
2018195047.tif 000017
【図８】
2018195047.tif 000018
【図９】
2018195047.tif 000019
【図１０】
2018195047.tif 000020