(57)【要約】【課題】  画像のブロック単位の奥行きの推定において、より精度を高めることができる技術を提供する。【解決手段】  入力される画像中のベクトルを推定するベクトル推定部と、前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトル-デプス推定部とを備え、前記ベクトル-デプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備える画像処理装置。【選択図】  図１１
2013137587.tif 000002
【特許請求の範囲】
【請求項１】
入力映像中のベクトルを推定するベクトル推定部と、
前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトル-デプス推定部とを備え、
前記ベクトル-デプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備える画像処理装置。
【請求項２】
前記入力映像は、単一の時系列画像であり、ベクトル推定部は、入力映像に含まれる異なる時刻の複数フレームから動きベクトルを推定する請求項１に記載の画像処理装置。
【請求項３】
前記入力映像は、複数の時系列画像であり、ベクトル推定部は、入力映像に含まれる異なる視点の２フレームから視差ベクトルを推定する請求項１に記載の画像処理装置。
【請求項４】
前記外部入力ベクトルは、符号化されたデータを伸長した際に生成されるベクトル情報である請求項１に記載の画像処理装置。
【請求項５】
前記ブロック細分化部は、ベクトルの単位であるM×N画素のブロックを、(M/2)×(N/2)画素のサブブロック4つに分割し、M×N画素のブロックと、(M/2)×(N/2)画素のサブブロックのアクティビティ評価値を比較し、サブブロックのアクティビティ評価値がブロックのアクティビティ評価値よりも有意差を持って下回る場合にブロックをサブブロックに分割し、逆の場合はサブブロックに分割せず、サブブロックに分割した場合、(M/2)×(N/2)画素のサブブロック同士の類似度を判定し、かく判定した結果に基づき水平・垂直方向に隣接するサブブロック同士を再結合する請求項１に記載の画像処理装置。
【請求項６】
前記アクティビティ評価値は、分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせである請求項５に記載の画像処理装置。
【請求項７】
前記類似度は、平均、または分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせである請求項５に記載の画像処理装置。
【請求項８】
前記デプス割り当て部は、デプスの単位であるM×N画素のブロックを、最小で1画素のサブブロックに分割し、M×N画素のブロック内で最大のサブブロックに対して、M×N画素のブロックが持つデプスを割り当て、それ以外のサブブロックはブロック内の位置に応じて、周囲のM×N画素のブロックがもつデプスと補間処理を行うことによって、ベクトルを割り当てる請求項１に記載の画像処理装置。
【請求項９】
入力される画像中のベクトルを推定するベクトル推定工程と、
前記ベクトル推定工程で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトル-デプス推定工程とを含み、
前記ベクトル-デプス推定工程は、ブロック単位のベクトルをデプスに変換するブロックデプス変換工程と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割工程と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て工程を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像処理装置等において、画像の奥行き（デプス）を推定することが行われてきた。例えば、奥行き座標を計算して対象物に関する３次元形状モデルを用いることにより、３次元物体の３次元的な動きを推定するというものがある（例えば、特許文献１参照。）。
【０００３】
しかしながら画像の奥行きの推定は例えば画像のブロック単位において行われるが、より精度を高める技術への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平２−２３９３７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の実施の形態は、画像のブロック単位の奥行きの推定において、より精度を高めることができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、実施形態によれば画像処理装置は、入力される画像中のベクトルを推定するベクトル推定部と、前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトル-デプス推定部とを備え、前記ベクトル-デプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備える。
【図面の簡単な説明】
【０００７】
【図１】この発明の一実施形態の動きベクトルによるデプス推定を示す図。
【図２】同実施形態の視差ベクトルによるデプス推定を示す図。
【図３】同実施形態のベクトル計算単位とデプスの解像度の効果を説明するために示す特性図。
【図４】同実施形態の基本手法の例を示す図。
【図５】同実施形態に用いられる応用手法を示す図。
【図６】同実施形態の改良手法のコンセプトを示す図。
【図７】同実施形態に用いられる手法（ブロックの分割）の詳細を示す図。
【図８】同実施形態に用いられる手法（サブブロックの結合）の詳細を示す図。
【図９】同実施形態に係わる手法（デプスの割り当て）の一例を示す図。
【図１０】本発明の一実施形態に係わるフローチャート。
【図１１】本発明の一実施形態に係わるブロック構成図。
【図１２】ブロック分割のパターンを説明するために示す図。
【発明を実施するための形態】
【０００８】
以下、実施形態を図１乃至図１１を参照して説明する。
【０００９】
先に図１１は、この発明の一実施形態に係わる画像処理装置１０のブロック構成図を示している。
【００１０】
この画像処理装置１０は、図１１（ａ）に示すようにベクトル推定部２０とベクトル‐デプス推定部３０とを含んで構成されている。更にこのベクトル‐デプス推定部３０は図１１（ｂ）に示すようにブロックデプス変換部３１、ブロック分割部３２、デプス割り当て部３３とを含んで構成されている。
【００１１】
各構成の機能と接続については、まずベクトル推定部２０は、動きベクトルを計算する場合は入力映像から破線のように入力映像ベクトルをフィードバックして入力映像と比較しながら、入力映像の動きベクトルを推定する。またステレオ画像からの視差ベクトルを計算する場合は、入力映像に含まれる複数視点映像同士を比較して計算する。この動きや視差の入力映像ベクトルを入力してベクトル‐デプス推定部３０は各ベクトルに対応するデプスを推定して出力するように構成されている。なお、あらかじめ計算されたデータである符号化圧縮された形式などの映像ソースに対し外部でデコードされた映像には、デコード時にこれを伸長した際に生成されるベクトル情報・ベクトルが捕捉されることが多い。外部入力ベクトルとしてベクトル‐デプス推定部３０はこれを利用することもできるように構成されている。
【００１２】
このベクトル‐デプス推定部３０では、まずブロックデプス変換部３１が上記入力映像ベクトルを入力して入力画像デプスを出力する。次のブロック分割部３２はこの入力画像デプスからデプス分割情報を生成する。このデプス分割情報に基づいて、デプス割り当て部３３はデプスを出力するように構成されている。
【００１３】
入力映像から抽出する動きベクトルからのデプス推定や、視差ベクトルからのデプス推定において、演算量の増加を抑えてデプスの解像度を高めることが出来る方法について、以下に説明する。
【００１４】
即ちデプスを推定する一般的な方法として、動きベクトルや視差ベクトルを用いる方法がある。例えば動きベクトルの場合、２Ｄ映像の異なる時刻の２フレームから動きベクトルを計算し、図１のように動きベクトルの画面内での違いから奥行きを推定することが出来る。
【００１５】
また視差ベクトルの場合、３Ｄ映像の異なる視点の２フレームから視差ベクトルを計算し、図２のように視差ベクトルの画面内での違いから奥行きを推定することが出来る。例えば左側の視点画像基準で視差ベクトルを計算した場合、視差ベクトルが正の方向に大きいほど奥側にあり、負の方向に大きいほど手前側にあると判断出来る。なおこれら正負は座標軸の方向を向かって左にとれば逆となる。
【００１６】
このような方法においては、デプスの解像度が問題となる。一般的にベクトルの検出は、画面を複数の画素のブロック、例えば１６×１６、８×８画素のブロックに分割して処理を行う。よって、図３のようにまず単にベクトルをデプスに変換すると、前述の複数の画素ブロック単位でしか求めることが出来ない。
【００１７】
一方、周囲の画素を含んだ画素ブロックで１画素ずつマッチング処理を行うことで、図４のように１画素ずつベクトルを求めることが出来る。この方法では高精度にベクトルを計算出来る上、デプスを１画素単位で求めることが出来るが、マッチング処理で差分を取る画素が画面全体で大幅に増えるため、高速に計算することが出来ない。
【００１８】
即ち固定ブロック分割による探索では、複数の画素で1つのデプスしか出ないため、デプスの解像度が下がってしまう。しかし複数の画素をまとめて処理出来るため処理負荷を低く抑えることが出来る。他方で画素単位（＋周辺画素）による探索では、1画素単位でベクトルが計算されるため、デプスの解像度を上げることが出来る。しかし1画素毎に数十画素の差分を評価するため処理負荷が高くなってしまうという基本的な背景がある。
【００１９】
また、別の方法として画素ブロック単位で計算したデプスに対して、図５に示すようにポストフィルタ処理で画像に合わせるという方法がある。フィルタ処理によって、デプスの解像度を向上させることが出来るが、画面全体に繰り返し処理をしないと十分に効果が得られない場合がある。言い換えると画素値の差分を見てデプスにフィルタ処理をするが、ブロック感は取りきれないで、あるいは繰り返し処理により改善するが、処理コストが増大する。
【００２０】
本実施形態では、画像内容が単純であるなど場合により上記のような基本的処理に留めることもあるが、実施形態の特徴として図６のように画素のブロックを画像特徴量に応じてサブブロックに細分化し、ブロック単位のデプスを割り当てる処理を行う。
【００２１】
図６（ａ）は入力画像を８×８画素のブロックに分割して処理を行う例である。この例では、オブジェクトに対してブロックが粗いのでデプスもブロック化するという判断を行う。
【００２２】
図６（ｂ）はこの判断に基づいて、ブロックを細かくして（各ブロックを最小でさらに４分の１、即ち４×４画素の後述するサブブロックに分割している。更に分割を繰り返し最小のブロック単位を１画素までにするように構成してもよい。）デプスを配分している。この配分の結果、デプスの解像度が向上している。
【００２３】
例えばブロックとサブブロックの分散やエッジ強度等で平坦度を比較し、サブブロックに分割して平坦度が高くなれば、サブブロックに分割した方が領域の境界でうまく分割出来ていると判定できる（図 7）。
【００２４】
この評価値の比較判定は、activity(M, N)  < （シグマ）activity(M/2, N/2, i)であるか否かによる。分割してバラつきが下がる場合は、分割によってサブブロック内に含まれるエッジが減少している、物体の境界に沿って分割がうまくいっているという判定となる。上記activity、即ちアクティビティ評価値は、例えば分散を用い、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせを用いて算出されるものである。この分散は、（シグマ）｛pixel(x, y)-avr｝２を正規化（MNまたは、M/2掛けるN/2で割る）するといったものである。なおpixel(x, y)は例えば各画素の輝度（色合い成分を加味してもよい）であり、avrはそれらの平均値である。
【００２５】
また、分割したブロック同士が類似している場合は再結合することにより、ブロック内の分割方法に柔軟性を持たせることが出来る（図 8）。再結合の結果は３つが再結合されるパターンが４通り（図９では小さいサブブロックが右上）、２つずつが２通り（図１２（ａ）の2分割が計６通り）などある。
【００２６】
詳しく図１２は、ブロック分割のパターンを説明するために示す図である。図１２（ａ）では上記の他のブロック分割のパターンが４分割、３分割、分割なしがある。図１２（ｂ）以下ではベクトル細分化の例を示している。
【００２７】
例えば図１２（ｃ）では１，２，３の３つの領域の平均値が夫々、（１）＝｛（E）+(A)｝/2、（２）＝｛（E)*2+(B)+(D)）/4, （３）＝｛（E)*2+(C)+(D)）/4と求められる。
【００２８】
サブブロックの類似度を計る評価値similarity(i)   i=0~3  を次のようにして求める。なおこのsimilarity、類似度は、平均、または分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせで算出してもよい。
【００２９】
４分割した各部分の評価値の比較と処置は次のようになる。 
上側：  abs( feature(0) - feature(1) ) <= threshold  ならば０，１を結合
下側：  abs( feature(2) - feature(3) ) <= threshold  ならば２，３を結合
左側：  abs( feature(0) - feature(2) ) <= threshold  ならば０，２を結合
右側：  abs( feature(1) - feature(3) ) <= threshold  ならば１，３を結合
即ち類似度により部分的に再結合する処置を行う。ただし、上記の条件式を3つ以上満たす場合は、分割しない方がよいという事を示しているので、分割をやめるものである（満たされない部分が他の３部分と矛盾する状態であるから比較判定の信頼性が低いからである）。
【００３０】
一番大きいサブブロックに、ブロックが持つデプスを割り当て、他のブロックは隣接するブロックと類似度を計算して、近いブロックのデプスを割り当てる等の処理により、デプスをより正確に割り当てることが出来る（図 9）。
【００３１】
小さいサブブロックは、周囲のブロックと近いデプス値の可能性が高いと推定される。即ち、周囲のブロックとの類似度でどのデプスを使うかを決定する。
【００３２】
最も大きいサブブロックは、ブロックが持つデプスを割り当てる。
【００３３】
図１０は、ブロック分割部３２とデプス割り当て部３３のこれらの処理のフローチャートを示すものである。
【００３４】
ブロック分割部３２は全てのブロックにおいて、図 7に示すブロック分割処理と、図 8に示すブロック再結合処理を、分割粒度（どのくらいの単位まで細分化するか）に応じて繰り返し処理を行う。
【００３５】
またデプス割り当て部３３は全てのブロックにおいて、ブロック内の全てのサブブロックにデプスを割り当てる。ブロック内で面積が最大のサブブロックを検索し、そのサブブロックはブロックが持つデプスを割り当てる。一方面積が最大のサブブロックではない場合は、周囲のブロックとの類似度を計算し最も類似度の高いブロックのデプスを割り当てる。
【００３６】
この最も類似度の高いブロックのデプスを割り当てる処理の代わりに、周囲のブロックとのデプスの平均値を計算しこの平均値のデプスを割り当てる処理としてもよい。
【００３７】
図１０の処理の要点は、上述の通りであるがブロック分割部３２とデプス割り当て部３３のそれらの処理のフローチャートを以下に説明する。
【００３８】
まずブロック分割部３２では、ステップＳ１とステップＳ９のループ端で表しているように、全てのブロックについてステップＳ２以下の処理を行う。
【００３９】
このステップＳ２からステップＳ８までは、図 7に示すブロック分割処理を分割粒度に応じてステップＳ３以下の全てのサブブロックの繰り返し処理を行う。
【００４０】
このステップＳ３以下の全てのサブブロックの繰り返し処理においてはまず、ステップS４では、大ブロックのActivityが小ブロックのActivityの合計より大きいか判定し、この判定がYesならば次のステップＳ５以下の処理を行ないNoならばステップS９へとぶ。
【００４１】
ステップＳ５では図７のブロック分割処理を行ない、ステップＳ６では図８のブロック再結合処理を行い、ステップＳ７の次のサブブロック探索へと移る。
【００４２】
次にデプス割り当て部３３では、ステップＳ１１とステップＳ１６のループ端で表しているように、全てのブロックについてステップＳ１２以下の処理を行う。
【００４３】
このステップＳ１２からステップＳ１５までは、デプスの割り当て処理を全てのサブブロックについて繰り返し行う。
【００４４】
このステップＳ１２以下の全てのサブブロックの繰り返し処理においてはまず、ステップS１３では、対象とするサブブロックが属するブロック内で面積が最大のサブブロックか判定する。この判定がYesならば、次のステップＳ１４の処理を行ないNoならばステップS１７以下の処理を行う。
【００４５】
ステップＳ１４ではブロックのデプスをサブブロックのデプスとする処理を行う。
【００４６】
他方まずステップＳ１７とステップＳ１９で挟まれるループでは、対象のサブブロックの全ての周囲ブロックにつき、類似度を計算する。次に、ステップＳ２０では、例えば上述したように最も類似度の高い周囲ブロックのデプスを対象のサブブロックに割り当てる。
【００４７】
以上に述べた実施形態の効果として、ベクトルからデプスに変換する方式において、画素のブロックを分割することによって、デプスの解像度を上げることが出来る
＜実施形態の特徴＞
（１）（ベクトル）を推定するベクトル推定部と、前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトル-デプス推定部とを備え、前記ベクトル-デプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備えることを特徴とする。
【００４８】
（２）前記入力映像は、単一の時系列画像（２Ｄ映像）であり、ベクトル推定部は、入力映像に含まれる異なる時刻の例えば２フレームから動きベクトルを推定することを特徴とする。
【００４９】
（３）前記入力映像は、複数の時系列画像である例えば２つの時系列画像（ステレオの３Ｄ映像）、または３つ以上の時系列画像（多視点の３Ｄ映像）であり、ベクトル推定部は、入力映像に含まれる異なる視点の２フレームから視差ベクトルを推定することを特徴とする。
【００５０】
（４）前記外部入力ベクトルは、符号化されたデータを伸長した際に生成されるベクトル情報であることを特徴とする。
【００５１】
（５）前記ブロック細分化部は、ベクトルの単位であるM×N画素のブロックを、(M/2)×(N/2)画素のサブブロック4つに分割することを特徴とし、M×N画素のブロックと、(M/2)×(N/2)画素のサブブロックのアクティビティ評価値を比較し、サブブロックのアクティビティ評価値がブロックのアクティビティ評価値よりも有意差を持って下回る場合にブロックをサブブロックに分割し、逆の場合はサブブロックに分割しないことを特徴とする。サブブロックに分割した場合、(M/2)×(N/2)画素のサブブロック同士の類似度を判定し、水平・垂直方向に隣接するサブブロック同士を再結合することを特徴とする。また、前述の処理を繰り返すことにより最小のブロック単位を１画素にすることを特徴とする。
【００５２】
（６）前記アクティビティ評価値は、分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせであることを特徴とする。
【００５３】
（７）前記類似度は、平均、または分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせであることを特徴とする。
【００５４】
（８）前記デプス割り当て部は、デプスの単位であるM×N画素のブロックを、最小で1画素のサブブロックに分割することを特徴とし、M×N画素のブロック内で最大のサブブロックに対して、M×N画素のブロックが持つデプスを割り当て、それ以外のサブブロックはブロック内の位置に応じて、周囲のM×N画素のブロックがもつデプスと補間処理を行うことによって、ベクトルを割り当てることを特徴とする。
【００５５】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
【００５６】
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００５７】
１０  画像処理装置
２０  ベクトル推定部
３０  ベクトル‐デプス推定部
３１  ブロックデプス変換部
３２  ブロック分割部
３３  デプス割り当て部
【図１】
2013137587.tif 000003
【図２】
2013137587.tif 000004
【図３】
2013137587.tif 000005
【図４】
2013137587.tif 000006
【図５】
2013137587.tif 000007
【図６】
2013137587.tif 000008
【図７】
2013137587.tif 000009
【図８】
2013137587.tif 000010
【図９】
2013137587.tif 000011
【図１０】
2013137587.tif 000012
【図１１】
2013137587.tif 000013
【図１２】
2013137587.tif 000014