(57)【要約】【課題】ビデオ画像から詳細な深度マップを合成するための画像処理方法を提供すること。【解決手段】ピクセルに相関した動きベクトルを用いて画像を領域にグループ化するステップと、その領域間の境界領域を定義するステップと、その領域に深度値を割り当てるステップと境界領域のピクセルに深度値を割り当てるステップとによって粗い深度マップを生成するステップと、画像からのエッジ情報と粗い深度マップから引き出された勾配マップとを用いて勾配情報を演算するステップと、表面勾配積分の表面復元手法を前記勾配情報に適用することにより前記深度マップを得るステップとを有する。【選択図】図１
2010140476.tif 000002
【特許請求の範囲】
【請求項１】
ピクセルおよび前記ピクセルに相関した動きベクトルを有する画像から深度マップを生
成する画像処理方法であって、
前記動きベクトルを用いて前記画像を領域にグループ化するステップと、
前記領域の少なくともいくつかの間の境界領域を定義するステップと、
前記領域の少なくともいくつかに深度値を割り当てるステップと前記境界領域のピクセ
ルに深度値を割り当てるステップとによって粗い深度マップを生成するステップと、
前記画像からの少なくともいくらかのエッジ情報と前記粗い深度マップから引き出され
た勾配マップとを用いて勾配情報を演算するステップと、
表面勾配積分の表面復元手法を前記勾配情報に適用することにより前記深度マップを得
るステップとを有する画像処理方法。
【請求項２】
前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを
有する請求項１に記載の画像処理方法。
【請求項３】
前記境界領域のピクセルに深度値を割り当てるステップは、
前記第１拡張領域および前記第２拡張領域間における前記境界領域のピクセルの位置に
関連する加重係数によるブレンディングを有する請求項２に記載の画像処理方法。
【請求項４】
前記勾配情報を演算するステップは、
前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
テップと、
前記画像から前記エッジ情報を得るステップと、
前記エッジ情報の少なくともいくらかと前記境界領域における前記ピクセルからの前記
深度値の少なくともいくらかとを用いて前記勾配マップを生成するステップとを有する請
求項１に記載の画像処理方法。
【請求項５】
前記画像から前記エッジ情報を得るステップは、
前記ピクセルの色チャンネルのセットにエッジ検出器を適用し、前記色チャンネルのセ
ットにわたる最高値を記録するステップを有する請求項４に記載の画像処理方法。
【請求項６】
前記表面復元手法はFrankot‐Chellappa方法である請求項１に記載の画像処理方法。
【請求項７】
前記動きベクトルを用いて前記画像を領域にグループ化するステップは、
アフィンモデルのセットを初期化するステップと、
前記画像の動きベクトル各々を、前記アフィンモデルの中から前記ベクトルを最も近く
予測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
フィンモデルを調節するステップと、
前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
請求項１に記載の画像処理方法。
【請求項８】
請求項１の方法を実施する命令を有するコンピューター読み取り可能な媒体。
【請求項９】
ピクセルおよび前記ピクセルに相関する動きベクトルを有する画像から深度マップを生
成する画像処理方法であって、
アフィンモデルのセットおよび前記動きベクトルを用いて前記画像を領域にグループ化
するステップと、
少なくともいくつかの前記領域の間の境界領域を定義するステップと、
少なくともいくつかの前記領域に深度値を割り当てるステップと、前記境界領域に隣接
する前記領域の深度値をブレンディングすることによって前記境界領域における前記ピク
セルに深度値を割り当てるステップとによって、粗い深度マップを生成するステップと、
前記画像からエッジ情報を得るステップと、
前記粗い深度マップからアップサンプルされた粗い深度マップを生成するステップと、
前記エッジ情報と前記アップサンプルされた粗い深度マップの少なくとも１つの勾配マ
ップとを用いて、勾配情報を生成するステップと、
前記勾配情報に表面復元手法を適用することにより前記深度マップを生成するステップ
とを有する画像処理方法。
【請求項１０】
前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および第２領域の交差点として定義するステップとを有す
る請求項９に記載の画像処理方法。
【請求項１１】
前記境界領域に隣接する前記領域の深度値をブレンディングすることは、前記第１拡張
領域および前記第２拡張領域間における前記境界領域のピクセルの位置に関連する加重係
数によるブレンディングを有する請求項１０に記載の画像処理方法。
【請求項１２】
前記勾配情報は１対の勾配マップを有する請求項９に記載の画像処理方法。
【請求項１３】
前記表面復元手法はFrankot‐Chellappa方法である請求項９に記載の画像処理方法。
【請求項１４】
前記画像を領域にグループ化するステップは、
前記アフィンモデルのセットを初期化するステップと、
前記画像の動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近く予
測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
フィンモデルを調節するステップと、
前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
請求項９に記載の画像処理方法。
【請求項１５】
請求項９の方法を実施する命令を有するコンピューター読み取り可能な媒体。
【請求項１６】
動きベクトルを有する画像から深度マップを生成する画像処理システムであって、
前記動きベクトルはピクセルのセットに対応する各領域にグループ化されており、
前記画像を受信するよう連結された、前記動きベクトルを用いて前記画像を前記領域に
グループ化する動きベクトルモデル化器と、
前記画像を受信するよう連結された粗い深度マップ生成器と、
前記粗い深度マップおよび前記画像を受信するよう連結された詳細な深度マップ合成器
とを有し、
前記粗い深度マップ生成器は、
少なくともいくつかの前記領域間の境界領域を定義するステップと、
少なくともいくつかの前記領域に深度値を割り当てるとともに前記境界領域におけるピ
クセルに対し深度値を割り当てるステップとによって、前記粗い深度マップを生成するも
のであり、
前記詳細な深度マップ合成器は、前記画像からエッジ情報を得るステップと、前記エッ
ジ情報の少なくともいくらかと前記粗い深度マップから引き出された勾配マップとを用い
て勾配情報を演算するステップと、表面勾配積分の表面復元手法を前記勾配情報に適用す
るステップとによって前記深度マップを得るものである画像処理システム。
【請求項１７】
前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを
有する請求項１６に記載の画像処理システム。
【請求項１８】
前記勾配情報を演算するステップは、
前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
テップと、
前記画像から前記エッジ情報を得るステップと、
前記エッジ情報の少なくともいくらかおよび前記境界領域におけるピクセルからの深度
値の少なくともいくらかを用いて前記勾配マップを生成するステップとを有する請求項１
６に記載の画像処理システム。
【請求項１９】
前記動きベクトルを用いて画像を領域にグループ化することは、
アフィンモデルのセットを初期化するステップと、
前記画像の前記動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近
く予測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより各前記ア
フィンモデルを調節するステップと、
前記各動きベクトルを割り当てるステップと各前記アフィンモデルを調節するステップ
とを、前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応するステップとを有する請求
項１６に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般的に画像処理に関わり、より具体的にビデオ画像から詳細な深度マップを
合成するための画像処理に関わる。
【背景技術】
【０００２】
デジタルビデオ画像、またはビデオストリームから取り込まれたフレームは画像の画素
または「ピクセル」のアレーで表されるデジタル画像に加え、ビデオストリームから復号
化できる動きベクトルを含む。各ピクセルはアレーにおける位置とともに色強度を含み得
る１組の特徴を有する。ビデオ画像に結び付いた動きベクトルは画像にオーバレイされる
グリッド内に分布される。グリッドの各セルはピクセルのグループに対応する。MPEGビデ
オストリームの動きベクトルは通常まばらな形であり、これはグリッドの各セルがピクセ
ルのグループに対応することを意味する（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第７１２６５９８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
動きベクトルからの情報を画像ピクセルにより現されるビデオ画像のオブジェクトに結
び付ける方法は動きベクトルを用いて画像ピクセルに深度値の特徴を割り当てることがで
きる。画像ピクセルの深度値のアレーを表すことにより画像の「深度マップ」を作成する
ことができる。
ステレオの三次元映写システムを設定するなど、複数のプロジェクターの位置合わせを
含む用途においてビデオ画像の深度マップを役立てることができる。動きベクトルのまば
らな分布により、深度情報を用いて例えばオブジェクトの位置合わせをするのは難しい。
従って、このような用途においてはビデオ画像の詳細な深度マップはより満足できる解決
法となる。
【課題を解決するための手段】
【０００５】
本発明の画像処理方法は、ピクセルおよび前記ピクセルに相関した動きベクトルを有す
る画像から深度マップを生成する画像処理方法であって、
前記動きベクトルを用いて前記画像を領域にグループ化するステップと、
前記領域の少なくともいくつかの間の境界領域を定義するステップと、
前記領域の少なくともいくつかに深度値を割り当てるステップと前記境界領域のピクセ
ルに深度値を割り当てるステップとによって粗い深度マップを生成するステップと、
前記画像からの少なくともいくらかのエッジ情報と前記粗い深度マップから引き出され
た勾配マップとを用いて勾配情報を演算するステップと、
表面勾配積分の表面復元手法を前記勾配情報に適用することにより前記深度マップを得
るステップとを有することを特徴とする。
【０００６】
また、本発明の画像処理方法において、前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを有
することを特徴とする。
【０００７】
また、本発明の画像処理方法において、前記境界領域のピクセルに深度値を割り当てる
ステップは、
前記第１拡張領域および前記第２拡張領域間における前記境界領域のピクセルの位置に
関連する加重係数によるブレンディングを有することを特徴とする。
【０００８】
また、本発明の画像処理方法において、前記勾配情報を演算するステップは、
前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
テップと、
前記画像から前記エッジ情報を得るステップと、
前記エッジ情報の少なくともいくらかと前記境界領域における前記ピクセルからの前記
深度値の少なくともいくらかとを用いて前記勾配マップを生成するステップとを有するこ
とを特徴とする。
【０００９】
また、本発明の画像処理方法において、前記画像から前記エッジ情報を得るステップは
、
前記ピクセルの色チャンネルのセットにエッジ検出器を適用し、前記色チャンネルのセ
ットにわたる最高値を記録するステップを有することを特徴とする。
【００１０】
また、本発明の画像処理方法において、前記表面復元手法はFrankot‐Chellappa方法で
あることを特徴とする。
【００１１】
また、本発明の画像処理方法において、前記動きベクトルを用いて前記画像を領域にグ
ループ化するステップは、
アフィンモデルのセットを初期化するステップと、
前記画像の動きベクトル各々を、前記アフィンモデルの中から前記ベクトルを最も近く
予測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
フィンモデルを調節するステップと、
前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
ことを特徴とする。
【００１２】
また、本発明のコンピューター読み取り可能な媒体は、上記の画像処理方法を実施する
命令を有することを特徴とする。
【００１３】
ここで、本発明の画像処理方法は、ピクセルおよび前記ピクセルに相関する動きベクト
ルを有する画像から深度マップを生成する画像処理方法であって、
アフィンモデルのセットおよび前記動きベクトルを用いて前記画像を領域にグループ化
するステップと、
少なくともいくつかの前記領域の間の境界領域を定義するステップと、
少なくともいくつかの前記領域に深度値を割り当てるステップと、前記境界領域に隣接
する前記領域の深度値をブレンディングすることによって前記境界領域における前記ピク
セルに深度値を割り当てるステップとによって、粗い深度マップを生成するステップと、
前記画像からエッジ情報を得るステップと、
前記粗い深度マップからアップサンプルされた粗い深度マップを生成するステップと、
前記エッジ情報と前記アップサンプルされた粗い深度マップの少なくとも１つの勾配マ
ップとを用いて、勾配情報を生成するステップと、
前記勾配情報に表面復元手法を適用することにより前記深度マップを生成するステップ
とを有することを特徴とする。
【００１４】
また、本発明の画像処理方法において、前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および第２領域の交差点として定義するステップとを有す
ることを特徴とする。
【００１５】
また、本発明の画像処理方法において、前記境界領域に隣接する前記領域の深度値をブ
レンディングすることは、前記第１拡張領域および前記第２拡張領域間における前記境界
領域のピクセルの位置に関連する加重係数によるブレンディングを有することを特徴とす
る。
【００１６】
また、本発明の画像処理方法において、前記勾配情報は１対の勾配マップを有すること
を特徴とする。
【００１７】
また、本発明の画像処理方法において、前記表面復元手法はFrankot‐Chellappa方法で
あることを特徴とする。
【００１８】
また、本発明の画像処理方法において、前記画像を領域にグループ化するステップは、
前記アフィンモデルのセットを初期化するステップと、
前記画像の動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近く予
測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより前記各ア
フィンモデルを調節するステップと、
前記動きベクトル各々を割り当てるステップと前記各アフィンモデルを調節するステッ
プとを前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応しているステップとを有する
ことを特徴とする。
【００１９】
一方、本発明の画像処理システムは、動きベクトルを有する画像から深度マップを生成
する画像処理システムであって、
前記動きベクトルはピクセルのセットに対応する各領域にグループ化されており、
前記画像を受信するよう連結された、前記動きベクトルを用いて前記画像を前記領域に
グループ化する動きベクトルモデル化器と、
前記画像を受信するよう連結された粗い深度マップ生成器と、
前記粗い深度マップおよび前記画像を受信するよう連結された詳細な深度マップ合成器
とを有し、
前記粗い深度マップ生成器は、
少なくともいくつかの前記領域間の境界領域を定義するステップと、
少なくともいくつかの前記領域に深度値を割り当てるとともに前記境界領域におけるピ
クセルに対し深度値を割り当てるステップとによって、前記粗い深度マップを生成するも
のであり、
前記詳細な深度マップ合成器は、前記画像からエッジ情報を得るステップと、前記エッ
ジ情報の少なくともいくらかと前記粗い深度マップから引き出された勾配マップとを用い
て勾配情報を演算するステップと、表面勾配積分の表面復元手法を前記勾配情報に適用す
るステップとによって前記深度マップを得るものであることを特徴とする。
【００２０】
また、本発明の画像処理システムにおいて、前記境界領域を定義するステップは、
第１領域におけるピクセルを拡張して第１拡張領域を得るステップと、
第２領域におけるピクセルを拡張して第２拡張領域を得るステップと、
前記境界領域を前記第１領域および前記第２領域の交差点として定義するステップとを
有することを特徴とする。
【００２１】
また、本発明の画像処理システムにおいて、前記勾配情報を演算するステップは、
前記粗い深度マップをアップサンプリングすることにより前記勾配マップを生成するス
テップと、
前記画像から前記エッジ情報を得るステップと、
前記エッジ情報の少なくともいくらかおよび前記境界領域におけるピクセルからの深度
値の少なくともいくらかを用いて前記勾配マップを生成するステップとを有することを特
徴とする。
【００２２】
また、本発明の画像処理システムにおいて、前記動きベクトルを用いて画像を領域にグ
ループ化することは、
アフィンモデルのセットを初期化するステップと、
前記画像の前記動きベクトル各々を前記アフィンモデルの中から前記ベクトルを最も近
く予測するアフィンモデルに割り当てるステップと、
前記アフィンモデルに割り当てられた前記動きベクトルをはめ込むことにより各前記ア
フィンモデルを調節するステップと、
前記各動きベクトルを割り当てるステップと各前記アフィンモデルを調節するステップ
とを、前記動きベクトルの割り当ての変更がなくなるまで反復するステップと、
前記画像を前記領域に分割するステップであって、前記領域は前記アフィンモデルに割
り当てられた前記動きベクトルに結び付いたピクセルに対応するステップとを有すること
を特徴とする。
【図面の簡単な説明】
【００２３】
【図１】発明の各種実施形態によりビデオ画像から詳細な深度マップを合成するシステムのブロック図である。
【図２】本発明の各種実施形態によりビデオ画像から詳細な深度マップを合成する方法を示す図である。
【図３】（Ａ）は、本発明の各種実施形態による動きベクトルを図示するビデオ画像の例である。（Ｂ）は、本発明の各種実施形態による図３（Ａ）におけるビデオ画像例のある領域の拡大図である。
【図４】本発明の各種実施形態によりビデオ画像におけるベクトルをアフィンモデルのセットに割り当てる方法を示す図である。
【図５】本発明の各種実施形態によりビデオ画像の分割化された領域内のピクセルに深度値を割り当てる方法を描く図である。
【図６】（Ａ）は、本発明の各種実施形態によりビデオ画像の分割化された領域内の拡大ピクセルの例示す図である。（Ｂ）は、本発明の各種実施形態による図６（Ａ）のビデオ画像の分割化された領域の拡大図である。
【図７】本発明の各種実施形態により粗い勾配マップおよびエッジ情報から勾配マップを生成する方法を描く図である。
【図８】（Ａ）は、本発明の各種実施形態による、動きベクトルに基づき分割されたビデオ画像の例を示す図である。（Ｂ）は、本発明の各種実施形態により図８（Ａ）に図示されたのと同じビデオ画像から生成された詳細な勾配マップの例を示す図である。
【図９】本発明の各種実施形態によりビデオ画像の詳細な勾配マップから生成された三次元画像の例を示す図である。
【図１０】本発明の各種実施形態による演算システムのブロック図である。
【発明を実施するための形態】
【００２４】
ビデオ画像から深度マップを合成するシステムおよび方法がここに説明される。本発明
の実施形態において、ビデオストリームから復号化される動きベクトルはアフィンモデル
に基づくＫモデルのクラスターリング手法の適用によりグループに分類することができ、
動きベクトルのクラスターに従って分割された画像を用いて画像ピクセルの粗い深度マッ
プを生成することができる。実施形態において、粗い深度マップとともに画像からのエッ
ジ情報を用いて画像の高解像度勾配マップを生成することができ、Frankot‐Chellappaア
ルゴリズムなど、勾配情報から表面を構築するアルゴリズムを高解像度勾配マップに適用
して画像の詳細な深度マップを合成することができる。さらに画像の詳細な深度マップを
用いて例えば三次元表面を表示することができる。
【００２５】
本発明のいくつかの特徴および利点が本要約部において全般的に説明される。しかしさ
らなる特徴、利点、および実施形態が本明細書において呈示され、または本明細書におけ
る図面、明細書、およびクレームに照らし通常の同業者に明らかになるであろう。従って
、発明の範囲は本要約部に開示される特定の実施形態により限定されないことが理解され
よう。
【００２６】
以下の記述において、説明の目的から発明の理解を提供すべく具体的な詳細が述べられ
る。しかし同業者であれば発明がこれらの詳細なしで実施できることが明らかになろう。
同業者であれば以下にいくつか説明される本発明の実施形態はカメラ、スキャナー、プリ
ンター、コンピューター、ファクシミリ装置、表示またはカメラ機能を有する装置を含む
携帯装置、マルチメディア装置、等々を含み、いくつか異なるシステムおよび装置に組み
入れ得ることを理解しよう。本発明の実施形態はソフトウェア、ハードウェア、ファーム
ウェア、またはそれらの組み合わせに実装することができる。
【００２７】
ブロック図で示される構成要素、またはモジュール、は発明の代表的な実施形態を示す
もので、発明を分かりにくくすることを避けることを意図している。また本考察を通じ構
成要素は別個の機能ユニットとして説明されることができ、これらはサブユニットを有し
てなることができるが、同業者であればさまざまな構成要素またはそれらの一部は別個の
構成要素に分割されることができ、または単一のシステムまたは構成要素への一体化を含
み一体化され得ることを理解しよう。
【００２８】
さらに、図内における構成要素間の接続は直接の接続に限定される意図はない。逆に、
これら構成要素間のデータは中間構成要素により改変、再フォーマット化、またはその他
変更されることができる。また、より多いまたはより少ない接続を用いることができる。
さらに、「連結される」または「通信的に連結される」の用語は直接接続、１つ以上の中
間装置を通した間接接続、および無線接続を含むと理解されることが特記される。
【００２９】
明細書において「一実施形態」、「ある実施形態」、または「実施形態」への言及はそ
の実施形態に関連して説明された特定の特徴、構造、特性、または機能が発明の少なくと
も１つの実施形態に含まれ、１つを超える実施形態に含まれ得ることを意味する。明細書
の各所における「一実施形態で」、「ある実施形態で」、または「実施形態」の言い回し
は必ずしも同じ実施形態を指すものではない。
【００３０】
（システムの実施）
図１は発明の各種実施形態により入力ビデオ画像105から詳細な深度マップ125を合成す
るシステム100を描く。システム100は動きベクトルモデル化器110、粗い深度マップ生成
器115、および詳細な深度マップ合成器120を有してなる。
【００３１】
実施形態において、動きベクトルモデル化器110は入力ビデオ画像105から復号化された
動きベクトルのセットを受信し、動きベクトルを各々異なるモデルで表されるベクトルの
セットにグループ化する。実施形態において、動きベクトルはMPEGビデオストリームから
復号化され得、ベクトルは例えばピクセルの１６×１６のブロック毎に１ベクトルのよう
なまばらな形であることができる。実施形態において、アフィンモデルを用いてベクトル
のグループを表すことができる。画像の動きベクトルは各クラスターが異なるアフィンモ
デルに対応するようにＫ個のクラスターにグループ化することができる。同業者であれば
、アフィンモデルのパラメーターの選択およびアフィンモデルの選ばれた数、Ｋ、は発明
に肝要でないことを理解しよう。
【００３２】
実施形態において、粗い深度マップ生成器115はピクセルの少なくともいくつかは動き
ベクトルクラスターリングに基づき領域に割り当てられているビデオ画像を受信し、その
クラスターリング情報を用いて画像の粗い深度マップを合成する。実施形態において、Ｋ
個のアフィンモデル周囲に作成されたＫ個のクラスターの少なくともいくつかに基づき領
域に分割されることができる。例えば、ある実施形態においては画像の動きベクトルが画
像の前景および背景層に対応する２つの領域にクラスターされているかもしれない。実施
形態において、分割された各領域における画像ピクセルは形態拡大演算を用いて拡大する
ことができる。同業者であれば、形態拡大演算において多数のサイズおよび形状の拡大オ
ブジェクトを用いることができ、拡大オブジェクトの選択は発明に肝要でないことを理解
しよう。実施形態において、境界領域は画像における２つ以上の拡大領域の交差個所と特
定することができる。２つの領域に分割された画像例で示される実施形態において、境界
領域は画像の前景および背景層の交差個所として特定することができる。
【００３３】
実施形態において、画像の各分割化領域に深度値を割り当てることができ、各領域内の
ピクセルはそれらが対応する領域に割り当てられた深度値が割り当てられることができる
。
実施形態において、境界領域内の各ピクセルの深度値は境界領域に隣接する各領域とピ
クセルとの距離の関数として計算することができる。前景および背景領域など２つの領域
に分割された画像例で示される実施形態において、境界領域内における各ピクセルの深度
値は次の方程式により計算することができる。
【００３４】
【数１】
2010140476.tif 000003
【００３５】
ここでｚcbは境界内におけるピクセルの計算された深度値で、ｚfとｚbは各々前景およ
び背景層に割り当てられた深度値、およびｄfとｄbはピクセルから各々前景および背景領
域までの距離である。
【００３６】
実施形態において、画像ピクセルに割り当てられた深度値を用いて画像の粗い深度マッ
プを作成することができる。この粗い深度マップは画像に対し復号化された動きベクトル
のグリッドと同じ解像度を有することが特記される。例えば、１つのベクトルがピクセル
の１６×１６のブロックを表すMPEG画像から生成される深度マップは深度マップにおける
各１点がピクセルの１６×１６のブロックを表している。このまばらな解像度は粗い深度
マップにおいて画像層の間でギザギザしたエッジをもたらし得、画像内のオブジェクトの
エッジと位置合わせされていない可能性が高い。
【００３７】
実施形態において、詳細な深度マップ合成器120は粗い深度マップおよびビデオ画像を
受信し、その入力を用いて画像の詳細な深度マップ125を合成する。実施形態において、
粗い深度マップをアップサンプルすることにより、より高い解像度の粗い勾配マップを生
成することができる。同業者であれば、アップサンプリングのパラメーターまたは適用方
法の選択は発明に肝要でないことを理解しよう。
【００３８】
実施形態において、エッジ検出方法を画像に適用して画像におけるエッジ・ピクセルを
特定することができる。同業者であれば、多数のエッジ検出方法が存在し、特定方法の選
択は発明に肝要でないことを理解しよう。エッジ検出方法の一例はソーベル・エッジ検出
で、画像のピクセルに水平および垂直のソーベル演算子を適用して水平および垂直なエッ
ジ双方を検出することができる。画像の各ピクセルに対し水平（Ex）および垂直（Ey）方
向双方の強度勾配値を演算することができる。勾配の大きさが予め定義された閾値を超え
るピクセルはエッジ・ピクセルとして分類することができる。
【００３９】
実施形態において、各ピクセルにおいてチャンネルにわたる最大勾配値が双方の配向に
維持されるように、ソーベル演算子を例えばRGBチャンネルなど、画像のすべての色チャ
ンネルに適用することができる。実施形態において、エッジ検出器の適用からのエッジ情
報および粗い深度マップからの深度情報により、次の方程式に従い画像に対する１対の勾
配マップを形成することができる。
【００４０】
【数２】
2010140476.tif 000004
【００４１】
ここで、点pにおいて、Ｇx（p）は水平の勾配値で、Ｇy（p）は垂直の勾配値、Δxｚ（
p）はアップサンプルされた粗い深度マップからの深度値の水平（x）方向に沿った変化率
、Δyｚ（p）はアップサンプルされた粗い深度マップからの深度値の垂直（y）方向に沿
った変化率、E（p）はエッジ値、およびＴeは予め設定された閾値である（実施形態にお
いて、閾値の例は20％である）。実施形態において、粗い深度マップからの勾配値はエッ
ジ値により囲われると言え、従って勾配はエッジが存在する個所にのみ存在する。
【００４２】
実施形態において、画像の高解像度深度マップは表面勾配統合の表面復元手法を用いる
ことにより合成することができる。この手法は入力として勾配マップを取り入れ、深度マ
ップを生成する。実施形態において、Frankot‐Chellappaのフーリエ・ベースの投影手法
を用いることができるが、同業者であれば別の投影手法を用い得ることを理解しようが、
同業者であれば勾配情報から表面を構築する他のアルゴリズムを用い得ることを理解しよ
う。実施形態において、ビデオ画像の高解像度深度マップは上記に開示されたように形成
される詳細な勾配マップの対にFrankot‐Chellappaアルゴリズムを適用することにより演
算することができる。
【００４３】
実施形態において、ビデオ画像の詳細な深度マップ125は例えば三次元の表面を描くの
に用いることができる。
【００４４】
（ビデオ画像から詳細な深度マップを合成する方法）
図２は発明の実施形態により入力ビデオ画像105から詳細な深度マップ125を合成する方
法200を描く。方法200はＫ‐モデルの動きベクトルクラスターリングを画像から復号化さ
れた動きベクトルに適用すること（工程205）、画像ピクセルの粗い深度マップを作成す
ること（工程210）、画像の勾配マップを生成すること（工程215）、および画像勾配マッ
プに表面復元アルゴリズムを適用することにより詳細な深度マップ125を生成すること（
工程220）の工程を有してなる。方法200はシステム100の実施形態により実施することが
できる。
【００４５】
（Ｋ‐モデルの動きベクトルクラスターリング）
図３（Ａ）は動きベクトルが復号化されたMPEGビデオ画像を図示する。画像の一部分（
305）の拡大図が図３（Ｂ）に図示される。動きベクトルがMPEGビデオストリームから復
号化され得た実施形態において、ベクトル（310aおよび310b）は例えば１６×１６のピク
セルブロック毎に１ベクトルなど、まばらな形であり得る。
【００４６】
図４はＫ‐モデルの動きベクトルクラスターリングを用いて画像の動きベクトルをグル
ープに分類する方法400を描く。方法400は方法200において工程200としておよび動きベク
トルモデル化器110の実施形態において実施することができる。
【００４７】
カー・ハン・タンおよびアヌープ・バッタチャルジャを発明者として記載し２００５年
１２月５日に出願された「没入型サラウンド視界」と題する同一所有の米国特許出願番号
第１１／２９４０２３号明細書（米国公開番号第２００７／０１２６９３８ Ａ１号明細
書）において、MPEGビデオストリームから復号化されたまばらな動きベクトルがどのよう
にアフィンモデルにより表すことができるかが考察され、この出願は引用により全体とし
て本明細書に組み入れられる。モデルのパラメーターは次のような線形最小二乗のはめ込
みによって推定できる。光の流れベクトルn個、従ってn個の対応する点のペアpoints（ｘ
1，ｙ1）…（ｘn，ｙn）および（ｕ1，ｖ1）…（ｕn，ｖn）を仮定すると、
【００４８】
【数３】
2010140476.tif 000005
を解くとアフィンモデルの最小二乗の解としてａ1、ａ2、ａ3、ａ4、ａ5、およびａ6が
得られる。
【００４９】
実施形態において、アフィンモデルを用いてベクトルのグループを表すことができる。
画像の動きベクトルは各クラスターが異なるアフィンモデルに対応するようなＫ個のクラ
スターにグループ化することができる。同業者であればアフィンモデルのパラメーターの
初期選択およびアフィンモデルの数、Ｋ、は発明に肝要でないことを理解しよう。
【００５０】
工程405において、Ｋ個のアフィンモデルがランダムのパラメーター値で初期化される
。画像の各動きベクトルはベクトルを最も厳密に予測するモデルのグループに割り当てら
れる（工程410）。画像の動きベクトルがすべて割り当てられた後、各モデルはそのグル
ープのベクトルを用いてパラメーターを推定することにより更新できる（工程415）。モ
デルの更新後ベクトルを異なるグループに割り当てし直す必要がある場合（工程420）、
グループが安定するまで工程410および415が繰り返される（工程425）。
【００５１】
（粗い深度マップの合成）
図５は発明の実施形態によりビデオ画像の粗い深度マップを合成する方法500を描く。
方法500は方法200において工程210として、また粗い深度マップ生成器115の実施形態にお
いて実施できる。
【００５２】
実施形態において、画像はＫ個のアフィンモデルの周りに作成されたＫ個のクラスター
の少なくともいくつかに基づく領域に分割することができる。例えばある実施形態におい
ては、画像の動きベクトル画像の前景および背景層に対応する２つの領域にクラスターさ
れて良い。実施形態において、各分割化領域における画像ピクセル形態拡大演算を用いて
拡大することができる（工程510）。同業者であれば、形態拡大演算において多数のサイ
ズおよび形状の拡大オブジェクトを用いることができ、拡大オブジェクトの選択は発明に
肝要でないことを理解しよう。実施形態において、境界領域は画像における２つ以上の拡
大領域の交差個所と特定することができる。２つの領域に分割された画像例で示される実
施形態において、境界領域は画像の前景および背景層の交差個所として特定することがで
きる。
【００５３】
図６（Ａ）は発明の実施形態により拡大されたピクセルが領域に分割された、図３のMP
EG画像を図示する。画像の一部（605）の拡大図が図６（Ｂ）に図示される。本例におい
て、前景領域（620）、背景領域（610）、およびこの２つの領域が交差する境界領域（61
5aおよび615b）がある。
【００５４】
図８（Ａ）は図３（Ａ）に図示されるMPEG画像用に作成された２つの分割化領域を図示
する。本説明図において前景層（805）のピクセルは白く塗られる一方背景層（810）のピ
クセルは黒く塗られている。深度マップの解像度は図３（Ａ）における動きベクトルのグ
リッドの解像度と同じであるためエッジは滑らかでない。
【００５５】
実施形態において、画像の各分割化領域に深度値を割り当てることができ、各領域内の
ピクセルはそれらが対応する領域に割り当てられた深度値が割り当てられることができる
（工程515）。実施形態において、境界領域内の各ピクセルの深度値は境界領域に隣接す
る各領域とピクセルとの距離の関数として計算することができる（工程520）。前景およ
び背景領域など２つの領域に分割された画像例で示される実施形態において、境界領域内
における各ピクセルの深度値は次の方程式により計算することができる。
【００５６】
【数４】
2010140476.tif 000006
【００５７】
ここでｚcbは境界内におけるピクセルの計算された深度値で、ｚfとｚbは各々前景およ
び背景層に割り当てられた深度値、およびｄfとｄbはピクセルから各々前景および背景領
域までの距離である。
【００５８】
実施形態において、画像ピクセルに割り当てられた深度値を用いて画像の粗い深度マッ
プを作成することができる。この粗い深度マップは画像に対し復号化された動きベクトル
のグリッドと同じ解像度を有することが特記される。例えば、１つのベクトルがピクセル
の１６×１６のブロックを表すMPEG画像から生成される深度マップは深度マップにおける
各１点がピクセルの１６×１６のブロックを表している。このまばらな解像度は粗い深度
マップにおいて画像層の間でギザギザしたエッジをもたらし得、画像内のオブジェクトの
エッジと位置合わせされていない可能性が高い。
【００５９】
（詳細な勾配マップの生成）
図７は発明の実施形態によりビデオ画像の詳細な勾配マップを生成する方法700を描く
。方法700は方法200の工程215として、および詳細な深度マップ合成器120の実施形態にお
いて実施することができる。
【００６０】
実施形態において、粗い深度マップをアップサンプルすることにより、より高い解像度
の粗い勾配マップを生成することができる（工程705）。同業者であれば、アップサンプ
リングのパラメーターまたは適用方法の選択は発明に肝要でないことを理解しよう。
【００６１】
実施形態において、エッジ検出方法を画像に適用して画像におけるエッジ・ピクセルを
特定することができる（工程710）。同業者であれば、多数のエッジ検出方法が存在し、
特定方法の選択は発明に肝要でないことを理解しよう。エッジ検出方法の一例はソーベル
・エッジ検出で、画像のピクセルに水平および垂直のソーベル演算子を適用して水平およ
び垂直なエッジ双方を検出することができる。画像の各ピクセルに対し水平（Ｅx）およ
び垂直（Ｅy）方向双方の強度勾配値を演算することができる。勾配の大きさが予め定義
された閾値を超えるピクセルはエッジ・ピクセルとして分類することができる。
【００６２】
実施形態において、各ピクセルにおいてチャンネルにわたる最大勾配値が双方の配向に
維持されるように、ソーベル演算子を例えばRGBチャンネルなど、画像のすべての色チャ
ンネルに適用することができる。実施形態において、エッジ検出器の適用からのエッジ情
報および粗い深度マップからの深度情報により、次の方程式に従い画像に対する１対の勾
配マップを形成することができる。
【００６３】
【数５】
2010140476.tif 000007
【００６４】
ここで、点pにおいて、Ｇx（p）は水平の勾配値で、Ｇy（p）は垂直の勾配値、Δxｚ（
p） はアップサンプルされた粗い深度マップからの深度値の水平（x）方向に沿った変化
率、Δyz（p）はアップサンプルされた粗い深度マップからの深度値の垂直（y）方向に沿
った変化率、E（p）はエッジ値、およびＴeは予め設定された閾値である（実施形態にお
いて、閾値の例は20％である）。実施形態において、粗い深度マップからの勾配値はエッ
ジ値により囲われると言え、従って勾配はエッジが存在する個所にのみ存在する。
【００６５】
（詳細な深度マップの生成）
方法200の工程220および詳細な深度マップ合成器120の実施形態において、画像の高解
像度深度マップは表面勾配統合の表面復元手法を用いることにより合成することができる
。この手法は入力として勾配マップを取り入れ、深度マップを生成する。実施形態におい
て、Frankot‐Chellappaのフーリエ・ベースの投影手法を用いることができるが、同業者
であれば別の投影手法を用い得ることを理解しよう。実施形態において、ビデオ画像の高
解像度深度マップは上記に開示されたように形成される詳細な勾配マップの対にFrankot
‐Chellappaアルゴリズムを適用することにより演算することができる。
【００６６】
図８（Ｂ）は図３（Ａ）で図示されたMPEG画像用に作成された詳細な深度マップ125を
図示する。本説明図において前景層（805）のピクセルは白く塗られ、背景層（810）のピ
クセルは黒く塗られ、エッジに沿いブレンドされた境界領域は灰色の色合いで塗られる。
図８（Ａ）に図示される画像ピクセルのマップにおけるエッジに比べ、エッジはなめらか
にない、図３（Ａ）に図示される入力画像のエッジにより近い。
【００６７】
実施形態において、ビデオ画像の詳細な深度マップ125は例えば三次元の表面を描くの
に用いることができる。同業者であれば三次元の表面を描くのに標準のテクスチャ・マッ
ピング操作を用いることができ、いずれの特定なテクスチャ・マッピング操作も肝要でな
いことを理解しよう。図９は図８（Ｂ）に図示される深度マップから描かれた三次元画像
を図示する。
【００６８】
本発明は画像データを処理し得る任意の命令実行／演算装置またはシステムにおいて実
施できることが特記され、これには汎用コンピューターおよび画像処理用の特定コンピュ
ーターが含まれるがこれらに限定されない。本発明はさらに他の演算装置およびシステム
に実装することができ、これにはデジタルカメラ、プリンター、スキャナー、多機能プリ
ンター・スキャナー、ファクシミリ機、マルチメディア装置、および画像を処理し、取り
込み、伝送し、または記憶する他の任意の装置が含まれるがこれらに限定されない。さら
に、本発明の態様はいずれの装置内においてもソフトウェア、ハードウェア、ファームウ
ェア、またはこれらの組み合わせを含み、広範囲な形で実施することができる。例えば、
本発明の様々な態様を実施する機能は個々の論理部品、１つ以上の特定用途向け集積回路
（ASIC）、および／またはプログラム制御プロセッサーを含み広範囲な形で実装される部
品により実施することができる。これらの部品が実装される形は本発明に肝要ではないこ
とが特記される。
【００６９】
図１０は本発明の実施形態を実施または具現し得る命令実行／演算装置（演算システム
）1000の実施形態の機能的ブロック図を描く。図１０に示すように、プロセッサー1002が
ソフトウェア命令を実行し、他のシステムコンポーネントとやりとりする。一実施形態に
おいて、プロセッサーは（限定ではなく例として）AMD（登録商標）プロセッサー、INTEL
（登録商標）プロセッサー、SUN MICROSYSTEMS（登録商標）プロセッサー、またはPOWERP
C（登録商標）対応CPUなど汎用プロセッサー、またはプロセッサーは特定用途向けの１つ
または複数のプロセッサーであることができる。プロセッサー1002に連結された記憶装置
1004はデータおよびソフトウェアプログラムの長期的記憶を提供する。記憶装置1004はハ
ードディスクドライブおよび／またはコンピューター読み取り可能な媒体（例、ディスケ
ット、テープ、コンパクトディスク、DVD、等々）またはソリッドステート記憶装置など
データを記憶できる別の装置であって良い。記憶装置1004はプロセッサー1002で使用する
プログラム、命令、および／またはデータを収納することができる。一実施形態において
、記憶装置1004に記憶されそこからロードされるプログラムまたは命令はメモリー1006に
ロードされ、プロセッサー1002により実行される。一実施形態において、記憶装置1004は
プロセッサー1002でオペレーティングシステムを実施するプログラムまたは命令を収納す
る。一実施形態において、考えられるオペレーティングシステムはUNIX（登録商標）、AI
X（登録商標）、LINUX、Microsoft Windows（登録商標）、およびApple Macintosh OSが
含まれるが、これらに限定されない。実施形態において、オペレーティングシステムは演
算システム1000上で実行し、システムの稼動を制御する。
【００７０】
プロセッサー1002に連結されるアドレス可能なメモリー1006はデータおよびプロセッサ
ー1002により実行されるソフトウェア命令を記憶するのに使用することができる。メモリ
ー1006は例えばファームウェア、読み取り専用メモリー（ROM）、フラッシュメモリー、
不揮発性ランダム・アクセス・メモリー（NVRAM）、ランダム・アクセス・メモリー（RAM
）、またはこれらの任意の組み合わせであって良い。一実施形態において、メモリー1006
は別途サービス、ユーティリティー、コンポーネント、またはモジュールとして知られる
ソフトウェア・オブジェクトをいくつか記憶している。同業者であれば、さらに記憶装置
1004およびメモリー1006は同じ品目で双方の立場で機能し得ることを理解しよう。一実施
形態において、図１の１つ以上の要素が記憶装置1004、メモリー1006に記憶されプロセッ
サー1002により実行されるモジュールであることができる。
【００７１】
一実施形態において、演算システム1000は他の装置、他のネットワーク、または双方と
通信する能力を提供する。演算システム1000は１つ以上のネットワークインターフェイス
1012またはアダプターなどの通信ポート1014を含むことができ、演算システム1000を他の
ネットワークおよび装置と通信できるよう連結する。例えば、演算システム1000はネット
ワークインターフェイス1012、通信ポート1014、または双方、を含むことができ、これら
の各々はプロセッサー1002に通信できるよう連結され、演算システム1000を他のコンピュ
ーターシステム、ネットワーク、および装置に連結するために使用することができる。
【００７２】
一実施形態において、演算システム1000はプロセッサー1002に連結されグラフィックス
およびテキストの表示を容易にする１つ以上の出力装置1008を含むことができる。出力装
置1008はディスプレイ、LCD画面、CRTモニター、プリンター、タッチ画面、または情報を
表示する他の装置を含むことができるが、これらに限定されない。演算システム1000はさ
らに出力装置1008に情報または画像を表示するのを助けるグラフィイクス・アダプター（
図示せず）を含むことができる。
【００７３】
プロセッサー1002に通信できるよう連結される１つ以上の入力装置1010を用いてユーザ
ー入力を円滑にすることができる。入力装置1010はマウス、トラックボール、またはタッ
チ・パッドなどのポインター装置を含むことができるが、これらに限定されず、さらにデ
ータまたは命令を演算システム1000に入力するためにキーボードまたはキーパッドを含む
ことができる。
【００７４】
一実施形態において、演算システム1000は通信ポート1014、ネットワークインターフェ
イス1012、記憶装置1004，メモリー1006に記憶されるデータ、または入力装置を通してに
せよ、スキャナー、コピー機、ファクシミリ機、または他の演算装置から入力を受信する
ことができる。
【００７５】
同業者であれば、本発明の実施にいずれの演算システムも重要ではないことを理解しよ
う。同業者であればさらに上述の要素のいくつかはサブ・モジュールに物理的および／ま
たは機能的に分けられ、または組み合わせられることを理解しよう。
【００７６】
本発明の実施形態はさらに各種コンピューター実施の操作を行なうためのコンピュータ
ーコードを有するコンピューター読み取り可能な媒体を有するコンピューター製品に関わ
ることができることが特記される。媒体およびコンピューターコードは本発明の目的のた
めに特別に設計され構築されたものでも良く、または該当技術の当事者に知られ、利用可
能な種類のものであっても良い。コンピューター読み取り可能な媒体の例は、ハードディ
スク、フロッピー（登録商標）ディスク、および磁気テープなどの磁気媒体、CD‐ROMお
よびホログラフィー装置などの光媒体、光磁気媒体、および特定用途向け集積回路（ASIC
）、プログラマブル論理装置（PLD）、フラッシュメモリー装置、およびROMやRAM装置な
ど、プログラムコードを記憶し、または記憶して実行するよう特別に構成されるハードウ
ェア装置を含むがこれらに限定されない。コンピューターコードの例はコンパイラーによ
り作成されるような機械コード、およびインタプリタを用いてコンピューターにより実行
されるより高レベルのコードを含むファイルを含む。
【００７７】
発明は各種の改変および代わりの形を許すが、その具体的な例が図面に示され、本明細
書において詳細に説明される。しかし、発明は開示される特定の形に限定されるものでは
なく、逆に発明は添付クレームの範囲内に入るすべての改変、同等のもの、および代わり
のものを包含することが理解されよう。
【符号の説明】
【００７８】
３１０  ベクトル、６１０  背景領域、６１５  境界領域、６２０  前景領域、８０５
前景層。
【図１】
2010140476.tif 000008
【図２】
2010140476.tif 000009
【図４】
2010140476.tif 000010
【図５】
2010140476.tif 000011
【図７】
2010140476.tif 000012
【図１０】
2010140476.tif 000013
【図３】
2010140476.tif 000014
【図６】
2010140476.tif 000015
【図８】
2010140476.tif 000016
【図９】
2010140476.tif 000017