"入力映像中のベクトルを推定するベクトル推定部と、前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトルデプス推定部とを備え、前記ベクトルデプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備える画像処理装置。前記入力映像は、単一の時系列画像であり、ベクトル推定部は、入力映像に含まれる異なる時刻の複数フレームから動きベクトルを推定する請求項1に記載の画像処理装置。前記入力映像は、複数の時系列画像であり、ベクトル推定部は、入力映像に含まれる異なる視点の2フレームから視差ベクトルを推定する請求項1に記載の画像処理装置。前記外部入力ベクトルは、符号化されたデータを伸長した際に生成されるベクトル情報である請求項1に記載の画像処理装置。前記ブロック細分化部は、ベクトルの単位であるM×N画素のブロックを、×画素のサブブロック4つに分割し、M×N画素のブロックと、×画素のサブブロックのアクティビティ評価値を比較し、サブブロックのアクティビティ評価値がブロックのアクティビティ評価値よりも有意差を持って下回る場合にブロックをサブブロックに分割し、逆の場合はサブブロックに分割せず、サブブロックに分割した場合、×画素のサブブロック同士の類似度を判定し、かく判定した結果に基づき水平垂直方向に隣接するサブブロック同士を再結合する請求項1に記載の画像処理装置。前記アクティビティ評価値は、分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせである請求項5に記載の画像処理装置。前記類似度は、平均、または分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせである請求項5に記載の画像処理装置。前記デプス割り当て部は、デプスの単位であるM×N画素のブロックを、最小で1画素のサブブロックに分割し、M×N画素のブロック内で最大のサブブロックに対して、M×N画素のブロックが持つデプスを割り当て、それ以外のサブブロックはブロック内の位置に応じて、周囲のM×N画素のブロックがもつデプスと補間処理を行うことによって、ベクトルを割り当てる請求項1に記載の画像処理装置。入力される画像中のベクトルを推定するベクトル推定工程と、前記ベクトル推定工程で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトルデプス推定工程とを含み、前記ベクトルデプス推定工程は、ブロック単位のベクトルをデプスに変換するブロックデプス変換工程と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割工程と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て工程を含む画像処理方法。本発明の実施の形態は、画像のブロック単位の奥行きの推定において、より精度を高めることができる技術を提供することを目的とする。上記課題を解決するために、実施形態によれば画像処理装置は、入力される画像中のベクトルを推定するベクトル推定部と、前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトルデプス推定部とを備え、前記ベクトルデプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備える。以下、実施形態を図1乃至図11を参照して説明する。先に図11は、この発明の一実施形態に係わる画像処理装置10のブロック構成図を示している。この画像処理装置10は、図11aに示すようにベクトル推定部20とベクトル‐デプス推定部30とを含んで構成されている。更にこのベクトル‐デプス推定部30は図11bに示すようにブロックデプス変換部31、ブロック分割部32、デプス割り当て部33とを含んで構成されている。各構成の機能と接続については、まずベクトル推定部20は、動きベクトルを計算する場合は入力映像から破線のように入力映像ベクトルをフィードバックして入力映像と比較しながら、入力映像の動きベクトルを推定する。またステレオ画像からの視差ベクトルを計算する場合は、入力映像に含まれる複数視点映像同士を比較して計算する。この動きや視差の入力映像ベクトルを入力してベクトル‐デプス推定部30は各ベクトルに対応するデプスを推定して出力するように構成されている。なお、あらかじめ計算されたデータである符号化圧縮された形式などの映像ソースに対し外部でデコードされた映像には、デコード時にこれを伸長した際に生成されるベクトル情報ベクトルが捕捉されることが多い。外部入力ベクトルとしてベクトル‐デプス推定部30はこれを利用することもできるように構成されている。このベクトル‐デプス推定部30では、まずブロックデプス変換部31が上記入力映像ベクトルを入力して入力画像デプスを出力する。次のブロック分割部32はこの入力画像デプスからデプス分割情報を生成する。このデプス分割情報に基づいて、デプス割り当て部33はデプスを出力するように構成されている。入力映像から抽出する動きベクトルからのデプス推定や、視差ベクトルからのデプス推定において、演算量の増加を抑えてデプスの解像度を高めることが出来る方法について、以下に説明する。即ちデプスを推定する一般的な方法として、動きベクトルや視差ベクトルを用いる方法がある。例えば動きベクトルの場合、2D映像の異なる時刻の2フレームから動きベクトルを計算し、図1のように動きベクトルの画面内での違いから奥行きを推定することが出来る。また視差ベクトルの場合、3D映像の異なる視点の2フレームから視差ベクトルを計算し、図2のように視差ベクトルの画面内での違いから奥行きを推定することが出来る。例えば左側の視点画像基準で視差ベクトルを計算した場合、視差ベクトルが正の方向に大きいほど奥側にあり、負の方向に大きいほど手前側にあると判断出来る。なおこれら正負は座標軸の方向を向かって左にとれば逆となる。このような方法においては、デプスの解像度が問題となる。一般的にベクトルの検出は、画面を複数の画素のブロック、例えば16×16、8×8画素のブロックに分割して処理を行う。よって、図3のようにまず単にベクトルをデプスに変換すると、前述の複数の画素ブロック単位でしか求めることが出来ない。一方、周囲の画素を含んだ画素ブロックで1画素ずつマッチング処理を行うことで、図4のように1画素ずつベクトルを求めることが出来る。この方法では高精度にベクトルを計算出来る上、デプスを1画素単位で求めることが出来るが、マッチング処理で差分を取る画素が画面全体で大幅に増えるため、高速に計算することが出来ない。即ち固定ブロック分割による探索では、複数の画素で1つのデプスしか出ないため、デプスの解像度が下がってしまう。しかし複数の画素をまとめて処理出来るため処理負荷を低く抑えることが出来る。他方で画素単位周辺画素による探索では、1画素単位でベクトルが計算されるため、デプスの解像度を上げることが出来る。しかし1画素毎に数十画素の差分を評価するため処理負荷が高くなってしまうという基本的な背景がある。また、別の方法として画素ブロック単位で計算したデプスに対して、図5に示すようにポストフィルタ処理で画像に合わせるという方法がある。フィルタ処理によって、デプスの解像度を向上させることが出来るが、画面全体に繰り返し処理をしないと十分に効果が得られない場合がある。言い換えると画素値の差分を見てデプスにフィルタ処理をするが、ブロック感は取りきれないで、あるいは繰り返し処理により改善するが、処理コストが増大する。本実施形態では、画像内容が単純であるなど場合により上記のような基本的処理に留めることもあるが、実施形態の特徴として図6のように画素のブロックを画像特徴量に応じてサブブロックに細分化し、ブロック単位のデプスを割り当てる処理を行う。図6aは入力画像を8×8画素のブロックに分割して処理を行う例である。この例では、オブジェクトに対してブロックが粗いのでデプスもブロック化するという判断を行う。図6bはこの判断に基づいて、ブロックを細かくして各ブロックを最小でさらに4分の1、即ち4×4画素の後述するサブブロックに分割している。更に分割を繰り返し最小のブロック単位を1画素までにするように構成してもよい。デプスを配分している。この配分の結果、デプスの解像度が向上している。例えばブロックとサブブロックの分散やエッジ強度等で平坦度を比較し、サブブロックに分割して平坦度が高くなれば、サブブロックに分割した方が領域の境界でうまく分割出来ていると判定できる図7。この評価値の比較判定は、activityシグマactivityであるか否かによる。分割してバラつきが下がる場合は、分割によってサブブロック内に含まれるエッジが減少している、物体の境界に沿って分割がうまくいっているという判定となる。上記activity、即ちアクティビティ評価値は、例えば分散を用い、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせを用いて算出されるものである。この分散は、シグマ{pixelavr}2を正規化MNまたは、M2掛けるN2で割るするといったものである。なおpixelは例えば各画素の輝度色合い成分を加味してもよいであり、avrはそれらの平均値である。また、分割したブロック同士が類似している場合は再結合することにより、ブロック内の分割方法に柔軟性を持たせることが出来る図8。再結合の結果は3つが再結合されるパターンが4通り図9では小さいサブブロックが右上、2つずつが2通り図12aの2分割が計6通りなどある。詳しく図12は、ブロック分割のパターンを説明するために示す図である。図12aでは上記の他のブロック分割のパターンが4分割、3分割、分割なしがある。図12b以下ではベクトル細分化の例を示している。例えば図12cでは1,2,3の3つの領域の平均値が夫々、1={E}2、2={E243={E24と求められる。サブブロックの類似度を計る評価値similarityi03を次のようにして求める。なおこのsimilarity、類似度は、平均、または分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせで算出してもよい。4分割した各部分の評価値の比較と処置は次のようになる。上側:absfeaturethresholdならば0,1を結合下側:absfeaturethresholdならば2,3を結合左側:absfeaturethresholdならば0,2を結合右側:absfeaturethresholdならば1,3を結合即ち類似度により部分的に再結合する処置を行う。ただし、上記の条件式を3つ以上満たす場合は、分割しない方がよいという事を示しているので、分割をやめるものである満たされない部分が他の3部分と矛盾する状態であるから比較判定の信頼性が低いからである。一番大きいサブブロックに、ブロックが持つデプスを割り当て、他のブロックは隣接するブロックと類似度を計算して、近いブロックのデプスを割り当てる等の処理により、デプスをより正確に割り当てることが出来る図9。小さいサブブロックは、周囲のブロックと近いデプス値の可能性が高いと推定される。即ち、周囲のブロックとの類似度でどのデプスを使うかを決定する。最も大きいサブブロックは、ブロックが持つデプスを割り当てる。図10は、ブロック分割部32とデプス割り当て部33のこれらの処理のフローチャートを示すものである。ブロック分割部32は全てのブロックにおいて、図7に示すブロック分割処理と、図8に示すブロック再結合処理を、分割粒度どのくらいの単位まで細分化するかに応じて繰り返し処理を行う。またデプス割り当て部33は全てのブロックにおいて、ブロック内の全てのサブブロックにデプスを割り当てる。ブロック内で面積が最大のサブブロックを検索し、そのサブブロックはブロックが持つデプスを割り当てる。一方面積が最大のサブブロックではない場合は、周囲のブロックとの類似度を計算し最も類似度の高いブロックのデプスを割り当てる。この最も類似度の高いブロックのデプスを割り当てる処理の代わりに、周囲のブロックとのデプスの平均値を計算しこの平均値のデプスを割り当てる処理としてもよい。図10の処理の要点は、上述の通りであるがブロック分割部32とデプス割り当て部33のそれらの処理のフローチャートを以下に説明する。まずブロック分割部32では、ステップS1とステップS9のループ端で表しているように、全てのブロックについてステップS2以下の処理を行う。このステップS2からステップS8までは、図7に示すブロック分割処理を分割粒度に応じてステップS3以下の全てのサブブロックの繰り返し処理を行う。このステップS3以下の全てのサブブロックの繰り返し処理においてはまず、ステップS4では、大ブロックのActivityが小ブロックのActivityの合計より大きいか判定し、この判定がYesならば次のステップS5以下の処理を行ないNoならばステップS9へとぶ。ステップS5では図7のブロック分割処理を行ない、ステップS6では図8のブロック再結合処理を行い、ステップS7の次のサブブロック探索へと移る。次にデプス割り当て部33では、ステップS11とステップS16のループ端で表しているように、全てのブロックについてステップS12以下の処理を行う。このステップS12からステップS15までは、デプスの割り当て処理を全てのサブブロックについて繰り返し行う。このステップS12以下の全てのサブブロックの繰り返し処理においてはまず、ステップS13では、対象とするサブブロックが属するブロック内で面積が最大のサブブロックか判定する。この判定がYesならば、次のステップS14の処理を行ないNoならばステップS17以下の処理を行う。ステップS14ではブロックのデプスをサブブロックのデプスとする処理を行う。他方まずステップS17とステップS19で挟まれるループでは、対象のサブブロックの全ての周囲ブロックにつき、類似度を計算する。次に、ステップS20では、例えば上述したように最も類似度の高い周囲ブロックのデプスを対象のサブブロックに割り当てる。以上に述べた実施形態の効果として、ベクトルからデプスに変換する方式において、画素のブロックを分割することによって、デプスの解像度を上げることが出来る<実施形態の特徴>1ベクトルを推定するベクトル推定部と、前記ベクトル推定部で推定されたベクトル、またはあらかじめ計算されたデータである外部入力ベクトルから、デプスを推定するベクトルデプス推定部とを備え、前記ベクトルデプス推定部は、ブロック単位のベクトルをデプスに変換するブロックデプス変換部と、入力されたベクトルの単位である複数の画素のブロックを、入力映像の物体境界に合うように、より小さい大きさの画素のサブブロックに細分化するブロック分割部と、ブロック単位のデプスをサブブロックに割り当てるデプス割り当て部を備えることを特徴とする。2前記入力映像は、単一の時系列画像2D映像であり、ベクトル推定部は、入力映像に含まれる異なる時刻の例えば2フレームから動きベクトルを推定することを特徴とする。3前記入力映像は、複数の時系列画像である例えば2つの時系列画像ステレオの3D映像、または3つ以上の時系列画像多視点の3D映像であり、ベクトル推定部は、入力映像に含まれる異なる視点の2フレームから視差ベクトルを推定することを特徴とする。4前記外部入力ベクトルは、符号化されたデータを伸長した際に生成されるベクトル情報であることを特徴とする。5前記ブロック細分化部は、ベクトルの単位であるM×N画素のブロックを、×画素のサブブロック4つに分割することを特徴とし、M×N画素のブロックと、×画素のサブブロックのアクティビティ評価値を比較し、サブブロックのアクティビティ評価値がブロックのアクティビティ評価値よりも有意差を持って下回る場合にブロックをサブブロックに分割し、逆の場合はサブブロックに分割しないことを特徴とする。サブブロックに分割した場合、×画素のサブブロック同士の類似度を判定し、水平垂直方向に隣接するサブブロック同士を再結合することを特徴とする。また、前述の処理を繰り返すことにより最小のブロック単位を1画素にすることを特徴とする。6前記アクティビティ評価値は、分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせであることを特徴とする。7前記類似度は、平均、または分散、または標準偏差、またはエッジ強度、または周波数変換された高周波成分、およびそれらの組み合わせであることを特徴とする。8前記デプス割り当て部は、デプスの単位であるM×N画素のブロックを、最小で1画素のサブブロックに分割することを特徴とし、M×N画素のブロック内で最大のサブブロックに対して、M×N画素のブロックが持つデプスを割り当て、それ以外のサブブロックはブロック内の位置に応じて、周囲のM×N画素のブロックがもつデプスと補間処理を行うことによって、ベクトルを割り当てることを特徴とする。なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。"