(57)【要約】  ２次元（２Ｄ）入力のフレームを平坦画像クラスおよび非平坦画像クラスのうちの１つに分類する、複雑適応のおよび自動の、２次元（２Ｄ）から３次元（３Ｄ）への画像およびビデオ変換に対する技術を記述する。平坦画像クラスのフレームは、表示するために３Ｄステレオに直接変換される。非平坦画像クラスとして分類されるフレームは、複雑さに基づいて、自動的に、かつ適応的にさらに処理されて、奥行きマップ推定が生成される。その後、奥行きマップ推定または調整された奥行きマップを使用して、非平坦画像クラスのフレームは、３Ｄステレオ画像に変換される。調整された奥行きマップは、複雑さに基づいて処理される。
2010515303.tif 000002
【特許請求の範囲】
【請求項１】
方法において、
２Ｄ入力を解析することと、
平坦画像クラスと非平坦画像クラスとから選択されるクラスに前記２Ｄ入力のフレームを分類することと、
奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理することと、
前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを前記処理ステップ後に、３Ｄステレオ画像に変換することとを含む方法。
【請求項２】
前記処理ステップは、前記奥行きマップ推定を推定することと、現在のアプリケーションが前記非平坦画像クラスとして分類されたフレームに対して低複雑さ解決方法を要求するかどうかを決定することと、前記低複雑さ解決方法が要求されるとき、前記奥行きマップ推定を使用して、前記非平坦画像クラスとして分類されたそれらのフレームを直接変換することとを含む請求項１記載の方法。
【請求項３】
前記処理ステップは、前記非平坦画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化することと、前記セグメント化された領域の画素奥行きを調整することとをさらに含む請求項２記載の方法。
【請求項４】
前記処理ステップは、利用可能な計算リソースと計算複雑さ要求とを決定することと、前記低複雑さ解決方法、中複雑さ解決方法、または高複雑さ解決方法を選択して、前記計算複雑さ要求を満たすこととをさらに含み、
前記高複雑さ解決方法または前記中複雑さ解決方法が要求される場合、前記オブジェクトセグメント化ステップは色情報を使用し、
前記高複雑さ解決方法が要求される場合、色情報と動き推定情報とが前記セグメント化ステップに対して使用される請求項３記載の方法。
【請求項５】
前記処理ステップは、連結成分ラベリングプロセスにより、前記セグメント化された領域を処理して第１の出力を形成することと、色ベースの領域マージプロセスにより、前記第１の出力を処理して第２の出力を形成することと、動きベースの領域マージプロセスにより、前記第２の出力を処理して第３の出力を形成することと、前記第３の出力の画素奥行きを調整して第４の出力を形成することと、前記第４の出力を時間的奥行き平滑化することとをさらに含む請求項３記載の方法。
【請求項６】
前記分類ステップは、前記フレームがズームされたシーンに対するものであるかどうかを決定することを含み、
前記フレームがズームされたシーンに対するものである場合、前記フレームは前記平坦画像クラスとして分類され、前記フレームがズームされたシーンに対するものでない場合、前記フレームは前記非平坦画像クラスとして分類される請求項１記載の方法。
【請求項７】
前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含む請求項１記載の方法。
【請求項８】
前記変換ステップは、前記平坦画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てることを含む請求項１記載の方法。
【請求項９】
前記変換ステップは、前記非平坦画像クラスとして分類されたフレームを左ビューとして使用することと、前記非平坦画像クラスとして分類されたフレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算することと、欠けている右視点からの３Ｄ可視表面を構築して、構築された３Ｄ表面を形成することと、前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させることとを含む請求項１記載の方法。
【請求項１０】
装置において、
２次元（２Ｄ）入力を解析する解析手段と、
平坦画像クラスおよび非平坦画像クラスから選択されるクラスに前記２Ｄ入力のフレームを分類する分類手段と、
奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理する処理手段と、
前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを、前記奥行きマップ推定を使用して、３Ｄステレオ画像に変換する変換手段とを具備する装置。
【請求項１１】
前記処理手段は、前記奥行きマップ推定を推定する推定手段と、現在のアプリケーションが前記非平坦画像クラスとして分類されたフレームに対して低複雑さ解決方法を要求するかどうかを決定する決定手段とを備え、
前記低複雑さ解決方法が要求されるとき、前記変換手段は、前記奥行きマップ推定を使用して、前記非平坦画像クラスとして分類されたそれらのフレームを直接変換する請求項１０記載の装置。
【請求項１２】
前記処理手段は、
前記低複雑さ解決方法が要求されないとき、前記非平坦画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化するセグメント化手段と、
前記セグメント化された領域の画素奥行きを調整する調整手段とをさらに備える請求項１１記載の装置。
【請求項１３】
前記処理手段は、
高複雑さ解決方法または中複雑さ解決方法が、前記非平坦画像クラスとして分類されたフレームを処理する現在のアプリケーションによって要求されるかどうかを決定する決定手段をさらに備え、
前記中複雑さ解決方法が要求されるとき、前記セグメント化手段は色情報だけを使用し、
前記高複雑さ解決方法が要求されるとき、前記セグメント化手段は動き推定情報と色情報とを使用する請求項１２記載の装置。
【請求項１４】
前記処理手段は、
前記セグメント化領域にラベルを付けて第１の出力を形成する連結成分ラベリング手段と、
前記第１の出力をマージして第２の出力を形成する色ベースの領域マージ手段と、
前記第２の出力をマージして第３の出力を形成する動きベースの領域マージ手段と、
前記第３の出力の画素奥行きを調整して第４の出力を形成する画素奥行き調整手段と、
前記第４の出力を時間的奥行き平滑化する時間的奥行き平滑化手段とをさらに備える請求項１３記載の装置。
【請求項１５】
前記分類手段は、前記フレームがズームされたシーンに対するものであるかどうかを決定し、前記フレームがズームされたシーンに対するものである場合、前記フレームを前記平坦画像クラスとして分類し、前記フレームがズームされたシーンに対するものでない場合、前記フレームを前記非平坦画像クラスとして分類する決定手段を備える請求項１０記載の装置。
【請求項１６】
前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含むリアルタイム２Ｄ画像である請求項１０記載の装置。
【請求項１７】
前記変換手段は、前記平坦画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てる割当手段を備える請求項１０記載の装置。
【請求項１８】
前記変換手段は、
前記非平坦画像クラスとして分類されたフレームを左ビューとして使用する手段と、
前記フレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算する計算手段と、
欠けている右視点からの３Ｄ可視表面を構築して、構築された３Ｄ表面を形成する構築手段と、
前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させる発生手段とを備える請求項１０記載の装置。
【請求項１９】
コンピュータプログラムプロダクトにおいて、
２次元（２Ｄ）入力を解析することと、
平坦画像クラスおよび非平坦画像クラスから選択されるクラスに前記２Ｄ入力のフレームを分類することと、
奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理することと、
前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを前記処理ステップ後に、３Ｄステレオ画像に変換することと、
をコンピュータに生じさせるための命令を有するコンピュータ読み取り可能媒体を含むコンピュータプログラムプロダクト。
【請求項２０】
装置において、
第１の画像クラスまたは第２の画像クラスに２次元（２Ｄ）入力のフレームを分類するように動作可能な画像分類モジュールと、
奥行きマップ推定を生成するために、前記第２の画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理するように動作可能な画像奥行きマップ推定モジュールと、
前記第１の画像クラスとして分類されたそれらのフレームを直接に、前記第２の画像クラスとして分類されたそれらのフレームを、前記奥行きマップ推定を使用して、３Ｄステレオ画像に変換するように動作可能な３Ｄ画像対発生器モジュールとを具備する装置。
【請求項２１】
前記第１の画像クラスは平坦画像を含み、前記第２の画像クラスは非平坦画像クラスを含む請求項２０記載の装置。
【請求項２２】
前記画像奥行きマップ推定モジュールはさらに、前記奥行きマップ推定を推定し、低複雑さ解決方法が現在のアプリケーションに対して要求されるかどうかを決定し、前記低複雑さ解決方法が要求される場合、前記奥行きマップ推定を使用して、前記第２の画像クラスとして分類されたそれらのフレームを直接変換するように動作可能である請求項２１記載の装置。
【請求項２３】
前記画像奥行きマップ推定モジュールはさらに、前記低複雑さ解決方法が要求されないとき、前記第２の画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化し、前記セグメント化された領域の画素奥行きを調整するように動作可能である請求項２２記載の装置。
【請求項２４】
前記画像奥行きマップ推定モジュールはさらに、高複雑さ解決方法または中複雑さ解決方法が、前記第２の画像クラスとして分類されたフレームを処理する現在のアプリケーションによって要求されるかどうかを決定するように動作し、
前記中複雑さ解決方法が要求されるとき、前記第２の画像クラスは色情報だけを使用してセグメント化され、
前記高複雑さ解決方法が要求されるとき、動き推定情報と色情報とが使用される請求項２３記載の装置。
【請求項２５】
前記画像奥行きマップ推定モジュールはさらに、前記セグメント化領域に連結成分ラベルを付けて第１の出力を形成し、前記第１の出力を色ベースの領域マージして第２の出力を形成し、前記第２の出力を動きベースの領域マージして第３の出力を形成し、前記第３の出力の画素奥行きを調整して第４の出力を形成し、前記第４の出力を時間的奥行き平滑化するように動作可能である請求項２３記載の装置。
【請求項２６】
前記画像分類モジュールはさらに、前記フレームがズームされたシーンに対するものであるかどうかを決定し、前記フレームがズームされたシーンに対するものである場合、前記フレームを前記平坦画像として分類し、前記フレームがズームされたシーンに対するものでない場合、前記フレームを前記非平坦画像として分類するように動作可能である請求項２１記載の装置。
【請求項２７】
前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含むリアルタイム２Ｄ画像である請求項２０記載の装置。
【請求項２８】
前記３Ｄ画像対発生器モジュールはさらに、前記第１の画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てるように動作可能である請求項２０記載の装置。
【請求項２９】
前記３Ｄ画像対発生器モジュールはさらに、前記第２の画像クラスとして分類されたフレームを左ビューとして使用し、前記フレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算し、欠けている右視点からの３Ｄ可視表面を構築し、前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させるように動作可能である請求項２０記載の装置。
【請求項３０】
前記装置は、ビデオ機能を有する、移動の、セルラの、または衛星の電話機、ビデオ機能を有する、単眼カメラ、ビデオデバイス、ラップトップ、タブレットＰＣ、あるいは、他の計算デバイス、のうちの１つを含む請求項２０記載の装置。
【発明の詳細な説明】
【背景】
【０００１】
Ｉ．分野
本開示は一般に、ステレオビデオ技術に関し、より詳細には、複雑適応２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換に対する技術に関する。
【０００２】
ＩＩ．背景
ステレオビデオ技術の発展は、左右のビューの間の両眼視差によって、実際的なシーンの３次元（３Ｄ）の知覚を可能にする。これは人間の視覚システムによく似ており、人間の視覚システムは、我々の左右の眼によって見られる２つの異なるビューを取得できる。ステレオビデオ技術は、人間の脳の重要な部分だけが両眼情報の処理に専用であるという仮定に基づいている。すなわち、これらのステレオシステムは我々の脳の機能を利用して、ビューの視差を測定し、観察者からのシーン中のオブジェクトの相対距離を測定する。
【０００３】
現在、ステレオビデオを取り込み、処理し、圧縮し、送信し、および表示するアプローチを開発するのに多大な努力がなされている。他のいくつかの努力がこれらの技術を標準化するのになされている。しかしながら、展開されている現在のマルチメディアデバイスのほとんどは、単眼のインフラストラクチャ内で実現されており、生成され、市場で売られるビデオのほとんどは、２次元（２Ｄ）の映画である。それゆえに、２Ｄ−ｔｏ−３Ｄビデオ変換技術が、３Ｄメディア消費市場を拡大するために期待されている。
【０００４】
最近、２Ｄから３Ｄに画像を変換することにおいていくつかの試みがある。１つのアプローチにおいて、リアルタイムの方法は、２Ｄ画像の多数の分離したエリアの、コントラスト、鮮鋭度、およびクロミナンスから、ならびに動き情報から、それらのエリアの深さを計算する。その後、変換が、取得されたステレオ情報に基づいて行われる。別のアプローチにおいて、顔の特徴ベースのパラメトリック奥行きマップ発生スキームが、２Ｄの頭および肩の画像を３Ｄに変換する。同様に、さらなるアプローチにおいて、運動学および人間の歩行の動きモデルが、予備知識の源として使用されて、単眼画像シーケンスの３Ｄの歩行が推定される。
【０００５】
２Ｄから３Ｄに画像を変換する別の試みにおいて、奥行きマップが、混合された１組の自動および手動の技術に基づいて抽出され、手動の処理は、自動のデータ相関解析が失敗したときに呼び出される。さらに別の試みにおいて、奥行きマップ発生に対して教師なし方法が提案されている。しかしながら、例えば、予備的処理における画像の分類のような、アプローチにおけるいくつかのステップは、些細なものではなく、実現するのに非常に複雑であるかもしれない。したがって、実施は、現実的でない。さらなる試みにおいて、リアルタイムの２Ｄ ｔｏ ３Ｄ画像変換アルゴリズムは、動き検出と領域セグメント化とを使用する。しかしながら、オブジェクトのセグメント化およびオブジェクトの奥行き推定の不正確さにより、アーティファクトが回避可能でない。セグメント化されたオブジェクトが使用されて、オブジェクトのセグメント化のアーティファクトが回避される。
【０００６】
２Ｄから３Ｄに画像を変換するさらなるアプローチにおいて、カメラの動きの解析が、ＶＯＰ（ビデオオブジェクトプレーン）の動きベクトルのデータに対して実施され、オブジェクトは、カメラの動きのタイプにしたがって別々に水平にシフトされる。さらなるアプローチにおいて、例えば、拡張カルマンフィルタのような、典型的なＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）法が、オブジェクトレベルの処理に対して拡張される。さらなるアプローチにおいて、新しいオンラインＩＣＡ混合モデルが、画像のセグメント化のために使用されており、システムは、奥行き推定および画素シフトのアルゴリズムを経て、３Ｄ効果画像を発生させる。
【０００７】
容易に理解できるように、２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換のための既存のアプローチは、複雑さ適応でない。さらに、２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換のための既知のアプローチは、リアルタイムおよびオフラインの２Ｄ−ｔｏ−３Ｄビデオ変換の両方に対して一般的ではなく、または、いくつかの以前に記録された２Ｄ映画の３Ｄ効果を向上させるために使用されない。
【０００８】
それゆえに、複雑適応の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換のための技術に対して技術的必要性が存在する。
【概要】
【０００９】
複雑適応の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換のための技術をここで記述する。１つの実施形態において、装置は、２次元（２Ｄ）の入力のフレームを、第１の画像クラスまたは第２の画像クラスに分類するように動作可能な画像分類モジュールを含む。装置はまた、奥行きマップ推定を生成するために、第２の画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理するように動作可能な画像奥行きマップ推定モジュールを含む。３Ｄ画像対発生モジュールが提供され、３Ｄ画像対発生モジュールは、第１の画像クラスとして分類されたそれらのフレームを直接に、第２の画像クラスとして分類されたフレームを、奥行きマップ推定を使用して、３Ｄステレオ画像に変換するように動作可能である。
【００１０】
別の観点において、方法は、２Ｄ入力を解析することと、平坦画像クラスと、非平坦画像クラスとから選択されるクラスに２Ｄ入力のフレームを分類することとを含む。非平坦画像クラスとして分類されたフレームは、複雑さに基づいて、自動的にかつ適応的に処理されて、奥行きマップ推定が生成される。平坦画像クラスとして分類されたフレームは、３Ｄステレオ画像に直接変換される。処理ステップの後に、非平坦画像クラスとして分類されたフレームは、３Ｄステレオ画像に変換される。
【００１１】
本開示のさまざまな観点および実施形態を、以下でさらに詳細に記述する。
【００１２】
同じ参照文字が全体にわたってそれに応じて識別する図面に関連して取り入れられるとき、以下で示した詳細な説明から、本開示の観点および実施形態は、より明らかになるだろう。
【図面の簡単な説明】
【００１３】
【図１】図１は、３Ｄステレオ画像装置のブロック図を図示する。
【図２】図２は、画像奥行き推定モジュールのブロック図を図示する。
【図３】図３は、ステレオ画像対発生モジュールのブロック図を図示する。
【図４】図４は、複雑適応および自動の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換方法のフローチャートを説明する。
【図５】図５は、フレームを分類する（ズームされた画像を決定する）方法のフローチャート図を説明する。
【図６】図６は、評価段階にある、選択されるセグメント化領域を図示する。
【図７】図７は、オブジェクトのセグメント化のための、複雑適応プロセスのフローチャートを図示する。
【図８】図８は、複雑適応セグメント化および画像奥行きマップ調整のプロセスのブロック図を図示する。
【図９】図９は、ステレオ画像対発生プロセスのフローチャートを説明する。
【図１０Ａ】図１０Ａは、両眼視の左右のビューを図示する。
【図１０Ｂ】図１０Ｂは、視差マップを計算するパラメータである、両眼視の幾何学モデルを図示する。
【図１１Ａ】図１１Ａは、Ｚバッファベースの３Ｄ補間プロセスのフローチャートを説明する。
【図１１Ｂ】図１１Ｂは、Ｚバッファベースの３Ｄ補間プロセスのフローチャートを説明する。
【詳細な説明】
【００１４】
２次元（２Ｄ）画像のビデオシーケンスを、３Ｄステレオビデオシーケンスに変換する特定の適用とともに、３Ｄステレオ画像装置の実施形態を以下で記述する。しかしながら、本発明は、リアルタイムおよびオフラインを要求する変換の両方において、他のタイプの２Ｄ画像を３Ｄに変換するのに十分適合されることも当業者によって理解されるだろう。いくつかの以前に記録された２Ｄ映画の３Ｄ効果を向上させるために、実施形態はまた、ＹＵＶフォーマット、または、赤、緑、青（ＲＧＢ）フォーマットで処理された画像に対して適合されている。２Ｄ画像は、単一センサのカメラセンサによって取り込まれる単眼画像を含んでいてもよい。
【００１５】
これから図１を参照すると、一般的に１０で示された３Ｄステレオ画像装置が示されている。３Ｄステレオ画像装置１０は、一般に、ここで記述する装置１０の動作を制御するプロセッサ２４と、レンズ１２と、２次元（２Ｄ）の画像取り込みユニット１４と、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０とを含んでいる。プロセッサ２４は、メモリ２６中に記憶されているプログラム命令またはプログラミングコードを実行して、ここで記述する動作を実行する。２Ｄ画像取り込みユニット１４は、カメラセンサモジュール１６と、ズームモジュール１８と、自動焦点モジュール２０とを含んでいる。カメラ、カムコーダー、および他のビデオ画像デバイス（例えば、ビデオ機能を有する移動電話機）の、ズーム機能および自動焦点機能は十分確立されており、さらなる説明を必要としない。装置１０は、ワイヤードまたはワイヤレス通信ネットワークまたはデバイスと通信するための通信ユニット２５をさらに含んでいる。したがって、装置１０は、ビデオ機能を有する、モバイルの、セルラの、衛星の、ワイヤレス通信デバイスまたは他の電話機に適している。装置１０は、ビデオ機能を有する、ラップトップ、タブレットＰＣ、ノートブックなどのような、他のハンドヘルドまたはポータブルのデバイスを含んでいてもよい。
【００１６】
カメラセンサモジュール１６は、単一センサのカメラセンサモジュールであり、ズームモジュール１８および／または自動焦点モジュール２０を使用して、単眼の画像またはビデオシーケンスを取り込む。例示目的のために、１つの画像だけが取り込まれることから、そのような画像は、ディスプレイ２２上でのステレオ画像化および表示に対して左（Ｌ）ビューを表すために使用される。左ビュー（最初の取り込まれた画像）および画像奥行きマップから、ステレオ画像対発生器モジュール５０において、第２のすなわち欠けている右（Ｒ）ビューを発生させるために、ステレオ画像対発生器モジュール５０が、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０中に含まれている。図３において最もよく見られるように、ステレオ画像対発生器モジュール５０は一般に、視差マップサブモジュール５２と、Ｚバッファ３Ｄ表面回復サブモジュール５４と、ステレオビュー発生器サブモジュール５６とを備えている。
【００１７】
２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０は、画像奥行き推定モジュール４０と、３Ｄ効果発生器モジュール６０とをさらに含んでいる。ステレオ画像対発生器モジュール５０の出力は、３Ｄ効果発生器モジュール６０によりさらに処理される左右のビューを出力する。例示的な実施形態において、３Ｄ効果発生器モジュール６０は、結果として生じる３Ｄ効果を実証する高価でない赤と青のアナグリフである。発生されるステレオビューは、ホログラフィックデバイスおよびステレオデバイスのような他のメカニズムによって表示されるのに適している。
【００１８】
これから図２を参照すると、画像奥行き推定モジュール４０のブロック図が示されている。画像奥行き推定モジュール４０は、画像分類サブモジュール４２と、画像奥行きマップ推定サブモジュール４６とを含んでいる。画像分類サブモジュール４２は、平坦画像検出器４４Ａを有しており、平坦画像検出器４４Ａは、画像を平坦または非平坦のタイプに分類して、平坦画像を処理する計算の複雑さを低減させ、画像奥行きマップ推定サブモジュール４６によって実行される画像奥行きマップ発生において、可能性のあるアウトライアーを低減させる支援をする。画像分類サブモジュール４２は、適切なときに、推定の精度を適応的に調整する複雑さ評価器４４Ｂをさらに含む。変換プロセスを単純化して、処理速度と推定の精度を交換できるという意味において、複雑さは適応性がある。
【００１９】
画像奥行きマップ推定サブモジュール４６は、オブジェクトセグメント化器４８Ａを含み、オブジェクトセグメント化器４８Ａは、オブジェクトのセグメント化に対してルールベースのアプローチを使用して、同じオブジェクトに属している画素の奥行きの調整を支援する。画像奥行きマップ推定サブモジュール４６はまた、時間的奥行き平滑化を使用して、奥行きマップ調整器４８Ｂによって、セグメント化エラーによりもたらされる視覚上の不快感を回避する。
【００２０】
これから図４を参照して、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０の動作を記述する。そのような動作は、複雑適応および自動の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換方法と呼ばれており、一般的に１００で示されている。記述的な目的のために、処理に対する画像は、ＹＵＶまたはＲＧＢフォーマットを有し、出力は左右のビューであると仮定している。
【００２１】
複雑適応および自動の２Ｄ−ｔｏ−３Ｄ画像およびビデオ変換方法１００は、ステップＳ１０２において入力画像を解析する。入力画像は、２Ｄ画像取り込みユニット１４によって取り込まれている。代わりに、入力画像は、古いまたは以前に記録された２Ｄ映画からのものであってもよい。ステップＳ１０４がステップＳ１０２の後に続き、ステップＳ１０４において、１組のヒューリスティック論理により、平坦または非平坦のフレーム（シーン）に入力画像を分類するために、画像解析が行われる。方法１００において、非平坦なフレーム（シーン）だけが、それらの複雑さに基づいて、さらにセグメント化され、処理される。それに応じて、ステップＳ１０８がステップＳ１０４の後に続き、ステップＳ１０８において、平坦画像検出器４４Ａによって入力画像が平坦なシーンであるかどうかが決定される。平坦画像検出器４４Ａの動作は、図５に関して詳細に記述する。ステップＳ１０８において、決定が“はい”である場合（シーンが平坦なシーンであることを意味する）、ステップＳ１１８がステップＳ１０８の後に続く。平坦画像に対して、結果として生じる左ビューおよび右ビューは、元の画像と同じである。それゆえに、奥行き推定／セグメント化のような、さらなる処理は必要とされない。デフォルトによって、ステレオ画像対発生ステップＳ１１８は、左右のビューの両方に対してステップＳ１０８からの元の画像を使用する。
【００２２】
しかしながら、ステップＳ１０８における決定が“いいえ”である場合（シーンが非平坦シーンであることを意味する）、ステップＳ１１０がステップＳ１０８の後に続き、それにより、さらなるセグメント化および処理が後に続いて起こり得る。一般に、フレームの奥行き情報はオブジェクトのセグメント化によって推定され、奥行きは、観察から抽出される、多数の予め規定されているルールにより調整される。複雑適応を向上させるために、関連している奥行きマップを発生させるプロセスは、低複雑さのアプリケーションに対するセグメント化動作を除去することにより単純化できる。その結果、ステップＳ１１０において、画素の奥行きの推定が行われる。ステップＳ１１２がステップＳ１１０の後に続き、ステップＳ１１２において、計算リソースの利用可能性および計算複雑さ要求が決定または評価され、それにより、方法１００および装置１０は、適切な複雑さ解決方法（例えば、低複雑さ解決方法、中複雑さ解決方法、および高複雑さ解決方法）をスマートに選択できる。したがって、この評価に基づいて、低複雑さ解決方法が要求されているかどうか、または処理がリアルタイムで実施されているかどうかが決定される。ステップＳ１１２における決定が“いいえ”である場合、ステップＳ１１４において、セグメント化動作による複雑適応（図８）が行われる。そうでなくて、ステップＳ１１２における決定が“はい”である場合、オブジェクトセグメント化器４８によるオブジェクトのセグメント化が回避され、ステップＳ１１８がステップＳ１１２の後に続く。ステップＳ１１８において、ステレオ画像対の発生が、ステレオ画像対発生器モジュール５０により行われる。
【００２３】
これからステップＳ１１４に戻ると、ステップＳ１０４における画像解析の間に、統計データがステップＳ１０６において発生される。そのような統計データは、ステップＳ１１４のオブジェクトのセグメント化を実行するためにオブジェクトセグメント化器４８Ａによって使用される。ステップＳ１１６がステップＳ１１４の後に続き、ステップＳ１１６において、図８に関してより詳細に記述するように、画素の奥行き調整が行われる。ステップＳ１１８がまた、ステップＳ１１６の後に続き、ステップＳ１１８において、図９に関してより詳細に記述するように、ステレオ画像対の発生が行われる。ステップＳ１２０がステップＳ１１８の後に続き、ステップＳ１２０において、さらにいくつかのフレームがあるかどうかが決定される。フレームが最後のフレームでない場合、ステップＳ１２０はステップ１０２に戻る。さもなければ、最後のフレームが到着したときに方法１００は終了する。
【００２４】
画像がステップＳ１０２において入力され、ステップＳ１０４において解析されるとき、入力画像が平坦なシーンを表すかどうかを検出するために、色ベースの解析が平坦画像検出器４４Ａによって使用される。入力画像が平坦なシーンである場合、両方（左および右）のビューが同じであり、したがって、ステップＳ１１８において、元の画像を（右）ビューに対して使用できる。
【００２５】
画像が非平坦なシーンである場合、ステップＳ１１０において、ルールベースの画像画素奥行き推定プロセスが使用されて、入力画像中の各画素に対して概算された奥行きが割り当てられる。ステップＳ１１２において決定される、低複雑さの制約がない場合、または、アプリケーションがリアルタイムで実施されている場合、ステップＳ１１４におけるオブジェクトのセグメント化とステップＳ１１６における画素奥行き調整とを使用することにより奥行きが調整され、それにより、同じオブジェクトを表している画素は、類似の奥行き値を有することができる。複雑さ評価器４４Ｂにより決定されるような、低複雑さの制約がある場合、ステップＳ１１４（オブジェクトのセグメント化）およびステップＳ１１６（画素奥行き調整）はスキップされ、または部分的にスキップされて、速度と精度が交換される。用語“部分的にスキップされる”は、オブジェクトのセグメント化におけるいくつかのステップ（例えば、動き推定）を、低／中の複雑さ要求を満たすためにスキップできることを意味する。画像奥行きマップ推定サブモジュール４６から発生される奥行きマップが処理されて、ステレオ画像対発生器モジュール５０によって、左右のビューを表しているステレオ画像対が自動的に発生される。
【００２６】
画像奥行き推定
ステップＳ１１０において、画像奥行き推定モジュール４０は、画像中の各画素に対して奥行きを推定する。ステレオビューが単眼画像とその関連する奥行きマップから発生される。一般に、画像奥行き推定プロセスは、観察から取得される１組のルールに基づいている。一例として、屋外の画像に対して、上部側は空を表す可能性が強く、地面は通常、画像の下部に位置している。これは、画像の中心および下部側が、一般的な画像における上部側よりもより近い傾向があるという観測に適合する。最も重要な部分は、オブジェクトの正確な奥行きを取得する代わりに、オブジェクト間の相対位置を発見することである。上述したようなルールは、オブジェクト間の相対位置（例えば、上部側は、中心および下部側より遠い）を検出するための基本的なガイドラインを与える。いったん（どちらがどちらよりも遠いような）オブジェクト間の関係が推定されると、オブジェクトの奥行きが、奥行きにおける線形または非線形の補間を使用することにより推定できる。
【００２７】
画像分類
画像分類サブモジュール４２は最初に、（ステップＳ１０８において）“平坦画像”および“非平坦画像”のクラスに画像を分類する。平坦画像クラスは、ほとんど奥行き情報を含まず、したがって、奥行きの推定は必要とされない。一般に、可能性のある平坦画像には、２種類の画像がある。平坦なシーンの画像の第１のタイプは、ズームされた画像である。ズームされた画像において、画像中の画素の奥行きの差異は、ズームモジュール１８によるズーム効果により、視覚的に無視できるほどである。平坦なシーンの画像の第２のタイプは、９０度のカメラの仰角による上（または下）からのビューに対応する画像を含む。上からのビューの画像は、ユーザが飛行機中で立っている間に、または他のいくつかの場所において、地球、地面などの方を見下ろしている間に、取り込まれた画像である。下からのビューの画像は、ユーザが立っているか、または他のいくつかの場所におり、画像を取り込むために見上げている間に取り込まれた画像である。
【００２８】
９０度よりも小さい仰角を有するビューは、十分な奥行き情報を含んでいる。さらに、視野角は奥行きの知覚を増加させることから、これらのビューからの奥行き情報は、ゼロ度（０°）の仰角によるビューからの奥行き情報よりも抽出することが容易である。
【００２９】
記述的な目的のために、処理するためのビデオは、ユーザによって注意深く生成され、したがって、視覚上の不快感が低い確率に制限されていると仮定する。それゆえに、ビデオにおいて、さかさまの画像の発生、および９０度のカメラの仰角による上（または下）からのビューは無視してもよいと結論づける（仮定する）ことは妥当であろう。したがって、レンズ１２の方向は、通常の知覚により標準的に合わされる（水平平面に沿って合わされる）と仮定される。
【００３０】
ズームモジュール１８によるズームインおよびズームアウトの動作は、２Ｄ画像取り込みユニット１４によるビデオまたは画像の取り込みのときに、カメラの動作において一般に使用される。したがって、平坦画像を検出するために、２Ｄ−ｔｏ−３Ｄビデオシーケンスコンバータ３０は、ズームされたフレームを自動的に検出できる必要がある。理論的に言えば、ズームインのフレームに対して、“膨張する”動きパターンが、動き推定において生じるだろう。すなわち、マクロブロックの動きベクトルが、ズーム動作の中心からの距離に比例するベクトルの長とともに、ズーム動作の中心から外側に向いているだろう。しかしながら、フレーム中のノイズが、不正確な動き推定と、それゆえに誤った検出とを生じさせるかもしれない。さらに、動き推定は、低複雑さのアプリケーションに対してかなり計算量が多い。
【００３１】
ズームされたフレームを自動的に検出してフレームを分類するために、色ベースの、ズームされた画像検出アルゴリズムが用いられる。ほとんどのビデオシーケンスにおいて、カメラのズーム動作は、ズームイン −＞ステイ −＞ズームアウト、またはズームイン −＞ステイ −＞シーンの変更、のシーケンスをたどり、それにより、ズームされ、取り込まれた画像は、色のヒストグラムの変化により検出できる。
【００３２】
図５は、フレームを分類する（ズームされた画像を決定する）ステップＳ１０８に対する方法のフローチャート図を示す。図５中で示したロジックに対応する擬似コードは、次のように示される。
【数１】
2010515303.tif 000003
【００３３】
最初に、ｎは現在のフレームｆnのインデックスを示し、Ｔnは現在の画像のズームのタイプを示し（Ｔn＝１は、ズームされた画像を表し、その他の場合は、Ｔn＝０）、Ｖnは現在の画像の分散を示し、Ｈn（Ｃn,m）は３２のビンの色のヒストグラムを示し、Ｃn,mはソートされたヒストグラムを有する色（すなわち、Ｃn,０は、最も高いヒストグラムを有する色）を示し、Ｓ（ｆn-1，ｆn）は、２つのフレームｆn-1とｆnとの間のシーンの類似性を示す（Ｓ（ｆn-1，ｆn）＝１は、シーンの変更があることを意味する）。Ｓ（ｆn-1，ｆn）は、等式（１）および等式（２）において次のように定義される。
【数２】
2010515303.tif 000004
【００３４】
Ｔｈは、画像の類似性を検出するためのしきい値である。
【００３５】
ステップＳ１０８に対する方法は、ステップＳ１５２から開始し、ステップＳ１５２において、Ｔn-1＝１（前のフレーム（ｎ−１）がズームされたフレームであったことを意味する）であるかどうかが決定される。ステップＳ１５２における決定が“はい”である場合、ステップＳ１５４がステップＳ１５２の後に続き、ステップＳ１５４において、上の等式（１）および等式（２）に基づいて、Ｓ（ｆn-1，ｆn）＝１（シーンの変更を意味する）であるかどうか、別の決定がなされる。ステップＳ１５４における決定が“はい”である場合（シーンの変更を意味する）、ステップＳ１６２がステップＳ１５４に続き、ステップＳ１６２において、Ｔnが０に等しくなるように設定される（現在のフレームがズームされた画像でないことを意味する）。したがって、現在のフレームは、非平坦画像である。
【００３６】
ステップＳ１５２において、前のフレームがズームされた画像（Ｔn-1＝１）であり、かつ、ステップＳ１５４において、現在のフレームがシーンの変更でない場合（Ｓ（ｆn-1，ｆn）≠１を意味する）、ステップＳ１５８において、ステップＳ１０８の方法は、２Ｄ画像取り込みユニット１４のズームモジュール１８がズームアウトしているかどうかを決定する。一例として、Ｖnとして示される画像の分散の段階的な増加と、最近のフレーム中のある色（前のフレームの原色成分）のパーセンテージの段階的な減少とにより、ズームアウトしている状態が決定できる。同様に、前のフレームｆn-1がズームされた画像でない場合（Ｔn-1＝０を意味する）、ステップＳ１０８の方法はまた、ステップ１５６においてカメラがズームインしているかどうかを検出する必要がある。したがって、ステップＳ１５６がステップＳ１５２の後に続く。
【００３７】
値ｋは、フレームレートと標準的なズーム速度とにより決定される定数であることに注目すべきである。ビデオクリップ当たり３０フレーム秒に対して、ｋ＝１０は、妥当な設定となり得る。
【００３８】
ステップＳ１５４に再び戻ると、決定が“いいえ”である場合（現在のフレームはシーンの変更でないことを意味する）、ステップＳ１５８がステップＳ１５４の後に続き、ステップＳ１５８において、次の等式（３）が満たされるかどうかが決定される。
【数３】
2010515303.tif 000005
【００３９】
ステップＳ１５８における決定が“いいえ”である場合、ステップＳ１６０がステップＳ１５８の後に続き、ステップＳ１６０において、Ｔnが１に等しくなるように設定される（現在のフレームがズームされた画像であることを意味する）。しかしながら、ステップＳ１５８における決定が“はい”である場合、ステップＳ１６２がステップＳ１５８の後に続き、ステップＳ１６２において、Ｔnが０に等しくなるように設定される（現在のフレームがズームされた画像でないことを意味する）。したがって、現在のフレームは非平坦画像である。
【００４０】
ステップＳ１５２における決定が“いいえ”である場合（前のフレームｆn-1がズームされた画像でないことを意味する）、ステップＳ１５６がステップＳ１５２の後に続く。ステップＳ１５６において、次の等式（４）が満たされるかどうかが決定される。
【数４】
2010515303.tif 000006
【００４１】
ステップＳ１５６における決定が“はい”である場合、ステップＳ１６０がステップＳ１５６の後に続き、ステップＳ１６０において、Ｔnが１に等しくなるように設定される（現在のフレームがズームされた画像であることを意味する）。しかしながら、ステップＳ１５６における決定が“いいえ”である場合、ステップＳ１６２がステップＳ１５６の後に続き、ステップＳ１６２において、Ｔnが０に等しくなるように設定される（現在のフレームがズームされた画像でないことを意味する）。したがって、現在のフレームは非平坦画像である。
【００４２】
画像奥行きマップ推定
平坦画像クラスはほとんど奥行き情報を含まないことから、（ステップＳ１０８において）平坦画像であると決定されたそれらの画像は、奥行き推定を必要としない。したがって、以下の記述は、非平坦画像に対してステップＳ１１０において実行される画像奥行きマップ推定に関する。例示的な実施形態は、画像画素の実際の奥行きを回復しない。代わりに、例示的な実施形態は、画像奥行きマップを発生させるか、または推定して、元の画像の３Ｄ効果を向上させる。ステップＳ１１０の画像奥行きマップ推定プロセスは、２つの基本的な仮定に基づいている。第１の仮定は、シーンは多数のオブジェクトによって構成され、同じオブジェクトに対応する画素はより近い奥行き値を有し、それらの差異は無視してよいものとし得ることである。第２の仮定は、ほとんどの非平坦画像に対して、オブジェクトの奥行きは、上部から下部にかけて減少するということである。仮定に対していくつかの反対の例があり、それらは、例えば、屋内のシーンや、閉塞が発生するケースである。しかしながら、そのようなシーンの検出は、極度に難しく、時間を消費し、利用可能な低複雑さ解決方法がない。一般に、上で示した２つの仮定は、ほとんどのビデオクリップに対して有効であり、反対の例は、発生される３Ｄ画像の視覚効果に対し重大な影響を与えない。
【００４３】
さらに図４を参照すると、ステップＳ１１０の画像奥行きマップ推定プロセスは、最初に、各画素に奥行き値を割り当て、奥行き値は、その垂直座標値に比例している。その後、奥行きマップは、図７中で示したステップＳ１１４においてオブジェクトのセグメント化の結果に基づいて調整される。特に図６および図７を参照すると、計算の複雑さを低減させるために、必要な場合に、画像の一部だけがセグメント化のために選択される。しかしながら、ステップＳ１１２において、低複雑さ解決方法が要求される場合、オブジェクトのセグメント化および画素奥行き調整のステップＳ１１４およびＳ１１６はスキップできる。
【００４４】
中心および下部の領域は通常、より視覚的に感度がよい、より近いオブジェクトに対応することから、図６において最もよく見られるように、これらの領域はセグメント化に対する領域として選ばれる。セグメント化領域は、元の画像の下部を中心とした部分として選択される。例示的な実施形態において、下部を中心とした部分の上端は、元の画像の上端よりも下に１／３のところにあり、すなわち、元の画像の垂直高さ（ｙ）の２／３である。セグメント化領域の下端は、元の画像の下端に位置合せされる。しかしながら、セグメント化領域の左右の端は、左端から水平長さ（ｘ）の１／１０と、右端から水平長さ（ｘ）の１／１０とである距離から始まる。セグメント化領域において、オブジェクトのセグメント化は、領域を多数の副領域（またはオブジェクト）に分けるように行われる。しかしながら、垂直高さ（ｙ）の１／３および水平長さ（ｘ）の１／１０以外の他の比率をセグメント化領域に対して代用してもよい。
【００４５】
再び図７を参照すると、オブジェクトセグメント化器４８Ａによって要求されるとき、複雑適応機能はまた、より高い複雑さ解決方法を使用する。したがって、ステップＳ１１４はステップＳ１６３から開始し、ステップＳ１６３において、計算リソースおよび計算複雑さ要求に基づいて、高複雑さ解決方法が要求されるかどうかが決定される。決定が“はい”である場合、ステップＳ１６４がステップＳ１６３の後に続き、ステップＳ１６４において、例えば、高複雑さ解決方法が用いられるとき、色情報だけでなく、動き推定から動き情報が取得される。ステップＳ１６５がステップＳ１６４の後に続き、ステップＳ１６５において、例えば、色および動き情報を使用して、オブジェクトがセグメント化される。
【００４６】
しかしながら、ステップＳ１６３における決定が“いいえ”である場合、ステップＳ１６６がステップＳ１６３の後に続き、ステップＳ１６６において、中複雑さ解決方法が要求されるかどうかが決定される。ステップＳ１６６における決定が“はい”である場合（オブジェクトのセグメント化に対して中複雑さの手続きが用いられることを意味する）、ステップＳ１６７がステップＳ１６６の後に続く。ステップＳ１６７において、中複雑さの手続きは、色情報だけを用いる。しかしながら、他の中複雑さの手続きを代用してもよい。ステップＳ１６８がステップＳ１６７の後に続き、ステップＳ１６８において、オブジェクトは、中複雑さの手続きを使用して色情報によりセグメント化される。ステップＳ１６５およびＳ１６８は、ステップＳ１１４に対するプロセスを終了させる。さらに、ステップＳ１６６における決定が“いいえ”である場合、ステップＳ１１４のプロセスはまた終了する。
【００４７】
理解できるように、中複雑さ解決方法がより高い優先順位を有するかどうか次第で、決定ステップＳ１６３およびＳ１６６の配列をシフトできる。一般に、高複雑さ解決方法はより正確である。動き推定および色情報は、オブジェクトのセグメント化ステップＳ１１４の一部とすることができ、または、画像解析ステップＳ１０４によって提供される、ステップＳ１０６における統計データの一部とすることができる。通常、動き推定プロセスは、かなり時間を消費する。したがって、動き推定プロセスは、ステップ１０４において必ずしも実行されず、複雑さ要求次第でステップＳ１１４において行われる。しかしながら、動き推定プロセスがいくつかのアプリケーションに対して利用可能である場合、オブジェクトのセグメント化（ステップＳ１１４）は労力を節約できる。
【００４８】
中複雑さ解決方法が要求されるとき、色情報だけがセグメント化に対して使用される。リアルタイムのアプリケーションに対して、または、低複雑さ解決方法が要求されるとき、セグメント化動作は、計算に重い負担をかけることを回避するためにスキップされる。３Ｄステレオ画像装置１０の現在のステータス（例えば、リソース割り振り、およびＣＰＵの使用）をプログラムコードに知らせるために、プロセッサ２４からフィードバックチャネルがあると仮定される。プロセッサ２４は、画像の複雑さに基づいて適応的に解決方法を選ぶことができる。複雑さ要求は、例えば、移動電話機中の、アプリケーションレベルのソフトウェアにより基本的に調整される。電力消費を制御するソフトウェアは、計算複雑さ要求に直接影響を及ぼす各実行タスクに対して、計算能力を動的に割り振る。
【００４９】
図８において、オブジェクトのセグメント化および奥行きマップ（画素奥行き）調整の両方の複雑適応プロセスを示す。プロセスは一般に、ステップＳ１１４とＳ１１６との両方に対するものであり、ステップＳ１７２から開始し、ステップＳ１７２において、セグメント化領域（図６）がフェッチされた画像において選択される。ステップＳ１７４がステップＳ１７２の後に続き、ステップＳ１７４において、連結成分ラベリングアプローチを使用して、同じ領域内の画素が類似の色強度を有する多数の小さい連結領域に画像を分割する。ステップＳ１７６がステップＳ１７４の後に続き、ステップＳ１７６において、いずれかの隣接する副領域が、近い、平均の色強度を有する場合、色ベースの領域マージアルゴリズムを使用して、これらの小さい領域をより大きい領域にマージする。ステップＳ１７８がステップＳ１７６の後に続き、ステップＳ１７８において、（利用可能な場合）動き情報をさらに使用して、動きベースの領域マージアルゴリズムにより、類似の方向に動いている領域をより大きいオブジェクトにマージする。
【００５０】
ステップＳ１７２、Ｓ１７４、Ｓ１７６、およびＳ１７８はセグメント化ステップである。ステップＳ１７６およびＳ１７８は、選択的に使用でき、ステップＳ１７８は、高複雑さ解決方法に対してだけに使用される。セグメント化ステップが完了した後に、ステップＳ１８０がステップＳ１７８の後に続き、ステップＳ１８０において、画素奥行きが各オブジェクトに対して調整され、オブジェクト内の各画素の奥行きには、オブジェクト中の画素の最小の奥行きが割り当てられる。最後に、ステップＳ１８２がステップＳ１８０の後に続き、ステップＳ１８２において、時間的奥行き平滑化プロセスを使用して、隣接フレーム間の急激な奥行きの変化を回避する。時間的奥行き平滑化プロセスに対するモチベーションは、一般に、ビデオクリップのフレームレートが十分高く、それにより、いくつかの閉塞のケースを除いて、シーン中のオブジェクトが奥行きにおいてあまり速く動かないことである。（ｎ−１）番目およびｎ番目のフレーム中の画素（ｉ，ｊ）の奥行きを、ｄn-1（ｉ，ｊ）およびｄn（ｉ，ｊ）により表し、ｄn（ｉ，ｊ）は、次の等式（５）にしたがって調整される。
【数５】
2010515303.tif 000007
【００５１】
元の画像に対応する推定奥行きマップは、より遠いオブジェクトに対応するより明るいエリアと、より近いオブジェクトに対応するより暗いエリアとを有する。例示的な実施形態において、よりよいセグメント化のための意味情報の欠如により、いくつかの分類が誤られたオブジェクトが存在するが、図８中で示した調整を有する画像奥行きマップ推定プロセスは、より近いオブジェクトからより遠いオブジェクトを分類することができる。
【００５２】
これから図１、３および９を参照すると、装置１０は、ここまでは、画像すなわち左ビューを取り込み、画像奥行きマップ推定サブモジュール４６の出力において、対応する画像奥行きマップを取得している。ステレオ画像対発生モジュール５０は、これから記述するステップＳ１１８における画像対発生プロセスを使用する。ステップＳ２０６において、左ビューが取得され、ステップＳ２０４において、その対応する画像奥行きマップが取得される。
【００５３】
ステップＳ１１８の画像対発生プロセスは最初に、取得されたまたは取り込まれた画像が３Ｄステレオ画像装置１０のステップＳ２０６における左ビューであることを仮定しているが、代わりに、取得されたまたは取り込まれた画像は、右ビューと考えることができる。次に、ステップＳ２０２において、ステップＳ２０４において取得された画像奥行きマップ（画像奥行き推定モジュール４０の出力）に基づいて、画像に対する視差マップ（両方のビューにおける画像点間の画素における距離）が、視差マップサブモジュール５２において計算される。視差マップサブモジュール５２による視差マップの計算は、図１１Ａおよび１１Ｂに関連して以下で記述する。左ビューおよび奥行きマップの両方が視差マップを計算するために入力されるが、３Ｄのビューの発生に対して、ステップＳ２０６の左ビューおよびステップＳ２０４の奥行きマップは、Ｚバッファベースの表面回復プロセスに直接寄与する。ステップＳ２０８がステップＳ２０２の後に続き、ステップＳ２０８において、Ｚバッファ３Ｄ表面回復サブモジュール５４による、Ｚバッファベースの３Ｄ補間プロセスが、右眼からのシーンに対する３Ｄ可視表面を構築するために呼び出される。ステップＳ２１０がステップＳ２０８の後に続き、ステップＳ２１０において、図１０Ｂにおいて最もよく見られるように、３Ｄ表面を投影面に投影することにより、右ビューが取得される。
【００５４】
図１０Ａにおいて、遠方のオブジェクトに対する、投影面上の左（Ｌ）および右（Ｒ）のビューを使用して、両眼視の幾何学モデルを示している。図１０（Ｂ）において、Ｆは焦点距離であり、Ｌ（ｘL，ｙL，０）は左眼であり、Ｒ（ｘR，ｙR，０）は右眼であり、Ｔ（ｘT，ｙT，ｚ）はシーンにおける３Ｄ点であり、Ｐ（ｘP，ｙP，Ｆ）およびＱ（ｘQ，ｙQ，Ｆ）は、左右の投影面へのＴの投影点である。明らかに、投影面上でのＰおよびＱの水平位置は、（ｘP−ｘL）および（ｘQ−ｘR）であり、したがって、視差は、ｄ＝［（ｘQ−ｘR）−（ｘP−ｘL）］である。
【００５５】
図１０Ｂ中で示したように、Ｆとｚとの比は、次の等式（６）中で規定される。
【数６】
2010515303.tif 000008
【００５６】
ここでｚは、奥行きであり、それにより次の等式（７）および（８）が成り立つ。
【数７】
2010515303.tif 000009
【００５７】
したがって、視差ｄは、次の等式（９）により取得できる。
【数８】
2010515303.tif 000010
【００５８】
したがって、左ビューにおけるすべての画素に対して、右ビューにおけるその対応する画素は、等式（９）において取得される視差値の距離だけ左側または右側にシフトされる。しかしながら、可能性のある閉塞により、左ビューから右ビューへのマッピングは、１対１のマッピングではなく、それゆえに、さらなる処理が右ビュー画像を取得するために必要とされる。
【００５９】
したがって、ステップＳ２１０のＺバッファベースの３Ｄ補間プロセスが、右ビュー発生のためにＺバッファ３Ｄ表面回復サブモジュール５４により実行される。（図１０Ａ中で示したように）眼からオブジェクトまでの距離と比較して、２つの眼の間の距離は非常に小さい。したがって、オブジェクトから左眼までの距離は、そのオブジェクトから右眼までの距離にほぼ等しいと仮定され、計算が非常に単純化される。したがって、奥行きマップＺ（ｘ，ｙ）（ここでＺ（ｘ，ｙ）は実際に画像奥行きマップであるが、検出すべき未知のマップである）は、右（Ｒ）ビューに対して維持され、ここでｘ，ｙは、ビューにおける画素の位置である。
【００６０】
これから図１１Ａおよび１１Ｂを参照して、右ビューに対する３Ｄ可視表面を再構築するためのステップＳ２１０のプロセスを記述する。開始（ステップＳ２２２）において、奥行きマップは無限大として初期化される。ステップＳ２２４がステップＳ２２２の後に続き、ステップＳ２２４において、左ビュー中の画素（ｘ0，ｙ0）が取得される。次に、ステップＳ２２６において、奥行きｚ0と視差値ｄ0とを有する、左ビュー中のすべての画素（ｘ0，ｙ0）に対して、次のように規定される等式（１０）により、奥行きマップが右ビュー中のその対応する画素のために更新される。
【数９】
2010515303.tif 000011
【００６１】
ステップＳ２２８がステップＳ２２６の後に続き、ステップＳ２２８は、さらに画素があるかどうかを決定するための決定ステップである。決定が“はい”である場合、ステップＳ２２８は次の画素を得るためにステップＳ２２４に戻る。しかしながら、左ビューにおけるすべての画素が処理された後（したがって、ステップＳ２２８における決定は“いいえ”である）は、ステップＳ２３０がステップＳ２２８の後に続き、ステップＳ２３０において、再構築された奥行きマップがチェックされ、無限大に等しい値を有する画素（左ビュー上で有効なマップがない画素）がサーチされる。ステップＳ２３２がステップＳ２３０の後に続き、ステップＳ２３２において、画素値（ＰＶ）が無限大に等しいかどうかが決定される。ステップＳ２３２における決定が“いいえ”である場合、画素値（ＰＶ）は有効であり、図１０ＢのステップＳ２４４において強度値として直接使用できる。
【００６２】
ステップＳ２３２における決定がそのような画素に対して“はい”である場合、ステップＳ２３４に続き、ステップＳ２３４において、最初に、利用可能な奥行き値を有する隣接する画素に基づいて、２Ｄ補間により、対応する画素に対する奥行きを計算する。ステップＳ２３６がステップＳ２３４の後に続き、ステップＳ２３６において、上述の等式（９）を使用して視差値が計算される。ステップＳ２３８がステップＳ２３６の後に続き、ステップＳ２３８において、プロセスは、左ビュー中の対応する画素を逆に発見する。画素が発見されたかどうかを決定するステップＳ２４０がステップＳ２３８の後に続く。対応する画素が利用可能である場合、ステップＳ２４４がステップＳ２４０の後に続き、ステップＳ２４４において、対応する強度値を右ビューの画素に関して使用できる。そうではなくて、ステップＳ２４０における決定が“いいえ”である場合、ステップＳ２４２がステップＳ２４０の後に続き、ステップＳ２４２において、補間が使用されて、利用可能な強度値を有する、右ビュー中の隣接画素に基づいて、強度値が計算される。
【００６３】
直接的な強度補間方法に対して、提案されたアルゴリズムを使用する利益は、それがステレオ効果に対してよりよいリアル感をもたらす、オブジェクト形状の３Ｄの連続性を考慮することである。左ビューの目に見えないエリアを回復する問題は不良設定問題である。１つの既知の解決方法において、欠けている画素の奥行きは、より遠い表面に対応する、水平方向におけるその隣接画素を使用することにより回復され、より遠い表面は、後ろに目に見える他の表面がシーン中にないという仮定を有する。いくつかのケースに対して、仮定は無効であるかもしれない。より可能性のあるケースを考慮するために、提案される解決方法において、表面の回復は、すべての方向におけるすべての隣接画素の奥行きを考慮し、それは、無効な仮定の機会を低減させ、回復された表面のよりよい３Ｄの連続性をもたらすだろう。
【００６４】
実験結果
多数のビデオクリップに対して方法１００をテストした。発生されるステレオビューは、ホログラフィックデバイスおよびステレオデバイスのようなメカニズムによって表示されるのに適しているが、高価でない赤および青のアナグリフを使用して、結果として生じる３Ｄ効果を実証した。アナグリフの結果は、一般に、元の画像中のオブジェクトに直接隣接した、元の画像中のオブジェクトの半透明シャドウまたはゴーストを実証する。赤および青のアナグリフは、青色および／または赤色により、半透明シャドウまたはゴーストに色をつける。１対の赤および青の３Ｄ眼鏡により、著しく向上した３Ｄ効果を観察できる。実験結果は、変換されたビデオの３Ｄ効果が実に明白であることを示している。
【００６５】
理解できるように、装置１０および方法１００は、複雑適応のおよび自動の、２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換を提供する。さらに、装置１０および方法１００は、リアルタイムおよびオフラインの２Ｄ−ｔｏ−３Ｄビデオ変換の両方に対して汎用である２Ｄ−ｔｏ−３Ｄ画像および／またはビデオ変換を提供し、それを使用して、以前に記録された、いくつかの２Ｄ映画の３Ｄ効果を向上させることができる。
【００６６】
入力画像（すなわち、圧縮したまたは生のデータ）のビットストリームのフォーマットや、出力ビデオに対する表示方法のような他の問題は、ここで記述した範囲の範囲内でないことに注目すべきである。
【００６７】
いかなる当業者であっても本開示を実施しまたは使用できるように、開示した実施形態の記述をこれまでに提供している。これらの実施形態に対してさまざまな修正が当業者に容易に明らかになり、本開示の精神または範囲から逸脱することなく、ここで規定した一般的な原理を、他の実施形態に適用してもよい。したがって、本開示は、ここで示した実施形態に限定するように向けられてはいないが、ここで開示した原理および新規な特徴と一致する最も広い範囲に一致すべきである。
【図１】
2010515303.tif 000012
【図２】
2010515303.tif 000013
【図３】
2010515303.tif 000014
【図４】
2010515303.tif 000015
【図５】
2010515303.tif 000016
【図６】
2010515303.tif 000017
【図７】
2010515303.tif 000018
【図８】
2010515303.tif 000019
【図９】
2010515303.tif 000020
【図１０Ａ】
2010515303.tif 000021
【図１０Ｂ】
2010515303.tif 000022
【図１１Ａ】
2010515303.tif 000023
【図１１Ｂ】
2010515303.tif 000024
【手続補正書】
【提出日】平成21年12月7日(2009.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法において、
２Ｄ入力を解析することと、
平坦画像クラスと非平坦画像クラスとから選択されるクラスに前記２Ｄ入力のフレームを分類することと、
奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理することと、
前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを前記処理ステップ後に、３Ｄステレオ画像に変換することとを含む方法。
【請求項２】
前記処理ステップは、前記奥行きマップ推定を推定することと、現在のアプリケーションが前記非平坦画像クラスとして分類されたフレームに対して低複雑さ解決方法を要求するかどうかを決定することとを含み、前記低複雑さ解決方法が要求されるとき、前記変換ステップはさらに、前記奥行きマップ推定を使用して、前記非平坦画像クラスとして分類されたそれらのフレームを直接３Ｄステレオ画像に変換することを含む請求項１記載の方法。
【請求項３】
前記処理ステップは、前記非平坦画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化することと、前記セグメント化された領域の画素奥行きを調整することとをさらに含む請求項２記載の方法。
【請求項４】
前記処理ステップは、利用可能な計算リソースと計算複雑さ要求とを決定することと、前記低複雑さ解決方法、中複雑さ解決方法、または高複雑さ解決方法を選択して、前記計算複雑さ要求を満たすこととをさらに含み、
前記高複雑さ解決方法または前記中複雑さ解決方法が要求される場合、前記オブジェクトセグメント化ステップは色情報を使用し、
前記高複雑さ解決方法が要求される場合、色情報と動き推定情報とが前記セグメント化ステップに対して使用される請求項３記載の方法。
【請求項５】
前記処理ステップは、連結成分ラベリングプロセスにより、前記セグメント化された領域を処理して第１の出力を形成することと、色ベースの領域マージプロセスにより、前記第１の出力を処理して第２の出力を形成することと、動きベースの領域マージプロセスにより、前記第２の出力を処理して第３の出力を形成することと、前記第３の出力の画素奥行きを調整して第４の出力を形成することと、前記第４の出力を時間的奥行き平滑化することとをさらに含む請求項３記載の方法。
【請求項６】
前記分類ステップは、前記フレームがズームされたシーンに対するものであるかどうかを決定することを含み、
前記フレームがズームされたシーンに対するものである場合、前記フレームは前記平坦画像クラスとして分類され、前記フレームがズームされたシーンに対するものでない場合、前記フレームは前記非平坦画像クラスとして分類される請求項１記載の方法。
【請求項７】
前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含む請求項１記載の方法。
【請求項８】
前記変換ステップは、前記平坦画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てることを含む請求項１記載の方法。
【請求項９】
前記変換ステップは、前記非平坦画像クラスとして分類されたフレームを左ビューとして使用することと、前記非平坦画像クラスとして分類されたフレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算することと、欠けている右視点からの３Ｄ可視表面を構築して、構築された３Ｄ表面を形成することと、前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させることとを含む請求項１記載の方法。
【請求項１０】
装置において、
２次元（２Ｄ）入力を解析する解析手段と、
平坦画像クラスおよび非平坦画像クラスから選択されるクラスに前記２Ｄ入力のフレームを分類する分類手段と、
奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理する処理手段と、
前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを、前記奥行きマップ推定を使用して、３Ｄステレオ画像に変換する変換手段とを具備する装置。
【請求項１１】
前記処理手段は、前記奥行きマップ推定を推定する推定手段と、現在のアプリケーションが前記非平坦画像クラスとして分類されたフレームに対して低複雑さ解決方法を要求するかどうかを決定する決定手段とを備え、
前記低複雑さ解決方法が要求されるとき、前記変換手段は、前記奥行きマップ推定を使用して、前記非平坦画像クラスとして分類されたそれらのフレームを直接３Ｄステレオ画像に変換する請求項１０記載の装置。
【請求項１２】
前記処理手段は、
前記低複雑さ解決方法が要求されないとき、前記非平坦画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化するセグメント化手段と、
前記セグメント化された領域の画素奥行きを調整する調整手段とをさらに備える請求項１１記載の装置。
【請求項１３】
前記処理手段は、
高複雑さ解決方法または中複雑さ解決方法が、前記非平坦画像クラスとして分類されたフレームを処理する現在のアプリケーションによって要求されるかどうかを決定する決定手段をさらに備え、
前記中複雑さ解決方法が要求されるとき、前記セグメント化手段は色情報だけを使用し、
前記高複雑さ解決方法が要求されるとき、前記セグメント化手段は動き推定情報と色情報とを使用する請求項１２記載の装置。
【請求項１４】
前記処理手段は、
前記セグメント化領域にラベルを付けて第１の出力を形成する連結成分ラベリング手段と、
前記第１の出力をマージして第２の出力を形成する色ベースの領域マージ手段と、
前記第２の出力をマージして第３の出力を形成する動きベースの領域マージ手段と、
前記第３の出力の画素奥行きを調整して第４の出力を形成する画素奥行き調整手段と、
前記第４の出力を時間的奥行き平滑化する時間的奥行き平滑化手段とをさらに備える請求項１３記載の装置。
【請求項１５】
前記分類手段は、前記フレームがズームされたシーンに対するものであるかどうかを決定し、前記フレームがズームされたシーンに対するものである場合、前記フレームを前記平坦画像クラスとして分類し、前記フレームがズームされたシーンに対するものでない場合、前記フレームを前記非平坦画像クラスとして分類する決定手段を備える請求項１０記載の装置。
【請求項１６】
前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含むリアルタイム２Ｄ画像である請求項１０記載の装置。
【請求項１７】
前記変換手段は、前記平坦画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てる割当手段を備える請求項１０記載の装置。
【請求項１８】
前記変換手段は、
前記非平坦画像クラスとして分類されたフレームを左ビューとして使用する手段と、
前記フレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算する計算手段と、
欠けている右視点からの３Ｄ可視表面を構築して、構築された３Ｄ表面を形成する構築手段と、
前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させる発生手段とを備える請求項１０記載の装置。
【請求項１９】
コンピュータプログラムにおいて、
２次元（２Ｄ）入力を解析するための命令と、
平坦画像クラスおよび非平坦画像クラスから選択されるクラスに前記２Ｄ入力のフレームを分類するための命令と、
奥行きマップ推定を生成するために、前記非平坦画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理するための命令と、
前記平坦画像クラスとして分類されたそれらのフレームを直接に、前記非平坦画像クラスとして分類されたそれらのフレームを前記処理ステップ後に、３Ｄステレオ画像に変換するための命令とをコンピュータに実行させるためのコンピュータプログラム。
【請求項２０】
装置において、
第１の画像クラスまたは第２の画像クラスに２次元（２Ｄ）入力のフレームを分類するように動作可能な画像分類モジュールと、
奥行きマップ推定を生成するために、前記第２の画像クラスとして分類されたそれらのフレームを、複雑さに基づいて、自動的に、かつ適応的に処理するように動作可能な画像奥行きマップ推定モジュールと、
前記第１の画像クラスとして分類されたそれらのフレームを直接に、前記第２の画像クラスとして分類されたそれらのフレームを、前記奥行きマップ推定を使用して、３Ｄステレオ画像に変換するように動作可能な３Ｄ画像対発生器モジュールとを具備する装置。
【請求項２１】
前記第１の画像クラスは平坦画像を含み、前記第２の画像クラスは非平坦画像クラスを含む請求項２０記載の装置。
【請求項２２】
前記画像奥行きマップ推定モジュールはさらに、前記奥行きマップ推定を推定し、低複雑さ解決方法が現在のアプリケーションに対して要求されるかどうかを決定するように動作可能であり、前記低複雑さ解決方法が要求される場合、前記３Ｄ画像対発生器モジュールはさらに、前記奥行きマップ推定を使用して、前記第２の画像クラスとして分類されたそれらのフレームを直接３Ｄステレオ画像に変換するように動作可能である請求項２１記載の装置。
【請求項２３】
前記画像奥行きマップ推定モジュールはさらに、前記低複雑さ解決方法が要求されないとき、前記第２の画像クラスとして分類されたフレームを多数のセグメント化された領域にオブジェクトセグメント化し、前記セグメント化された領域の画素奥行きを調整するように動作可能である請求項２２記載の装置。
【請求項２４】
前記画像奥行きマップ推定モジュールはさらに、高複雑さ解決方法または中複雑さ解決方法が、前記第２の画像クラスとして分類されたフレームを処理する現在のアプリケーションによって要求されるかどうかを決定するように動作し、
前記中複雑さ解決方法が要求されるとき、前記第２の画像クラスは色情報だけを使用してセグメント化され、
前記高複雑さ解決方法が要求されるとき、動き推定情報と色情報とが使用される請求項２３記載の装置。
【請求項２５】
前記画像奥行きマップ推定モジュールはさらに、前記セグメント化領域に連結成分ラベルを付けて第１の出力を形成し、前記第１の出力を色ベースの領域マージして第２の出力を形成し、前記第２の出力を動きベースの領域マージして第３の出力を形成し、前記第３の出力の画素奥行きを調整して第４の出力を形成し、前記第４の出力を時間的奥行き平滑化するように動作可能である請求項２３記載の装置。
【請求項２６】
前記画像分類モジュールはさらに、前記フレームがズームされたシーンに対するものであるかどうかを決定し、前記フレームがズームされたシーンに対するものである場合、前記フレームを前記平坦画像として分類し、前記フレームがズームされたシーンに対するものでない場合、前記フレームを前記非平坦画像として分類するように動作可能である請求項２１記載の装置。
【請求項２７】
前記２Ｄ入力は、オフライン２Ｄ画像、単眼画像、および以前に記録された２Ｄ映画、のうちの１つを含むリアルタイム２Ｄ画像である請求項２０記載の装置。
【請求項２８】
前記３Ｄ画像対発生器モジュールはさらに、前記第１の画像クラスとして分類されたフレームを左ビューおよび右ビューの両方として割り当てるように動作可能である請求項２０記載の装置。
【請求項２９】
前記３Ｄ画像対発生器モジュールはさらに、前記第２の画像クラスとして分類されたフレームを左ビューとして使用し、前記フレームの左ビューに対して、両眼視幾何学の左右のビューにおける画像点間の画素の距離に基づいて視差マップを計算し、欠けている右視点からの３Ｄ可視表面を構築し、前記構築された３Ｄ表面を投影面に投影することによりステレオビューを発生させるように動作可能である請求項２０記載の装置。
【請求項３０】
前記装置は、ビデオ機能を有する、移動の、セルラの、または衛星の電話機、ビデオ機能を有する、単眼カメラ、ビデオデバイス、ラップトップ、タブレットＰＣ、あるいは、他の計算デバイス、のうちの１つを含む請求項２０記載の装置。
【国際調査報告】
2010515303.tif 000025
2010515303.tif 000026
2010515303.tif 000027