(57)【特許請求の範囲】
【請求項１】
画像に対する深度マップを決定するための装置であって、
第１画像を、第１画像の少なくとも一部の画素に対する第１深度値を有する関連深度マップとともに提供するための画像ユニットと、
画像の少なくとも一部の画素に対する確率値を有する前記第１画像に対する確率マップを決定するための確率ユニットであって、画素に対する確率値は画素がテキスト画像オブジェクトに属する確率を示す、確率ユニットと、
前記第１画像に対する修正深度マップを生成するための深度ユニットであって、少なくとも第１画素に対する修正深度値を、前記第１画素に対する関連深度マップの第１深度値と複数の画素に対して同じであるテキスト画像オブジェクト深度値との重み付き組み合わせとして決定するように構成され、重みは前記第１画素に対する確率値に依存する、深度ユニットと
を有する装置。
【請求項２】
前記確率ユニットが前記第１画像に対する画素グループを決定するように構成され、各画素グループは複数の画素を有し、前記確率ユニットが画素グループに対し確率値を決定するように構成される、請求項１に記載の装置。
【請求項３】
前記深度ユニットが、前記第１画素が属する画素グループに対する第１確率値と隣接画素グループに対する第２確率値との間の空間的補間に応じて決定された補間確率値に応じて前記重み付き組み合わせの重みを決定するように構成され、補間は前記第１画素が属する画素グループにおける前記第１画素の位置に依存する、請求項２に記載の装置。
【請求項４】
前記確率ユニットが画像の画素グループに対し確率値を決定するように構成され、各画素グループが少なくとも１つの画素を有し、前記確率ユニットが、前記画素グループがテキスト画像オブジェクトに属する又はテキスト画像オブジェクトに属さないものとして指定されるかどうかを示す前記画素グループに対する値を有する分類マップをまず決定し、前記分類マップのフィルタリングに応じて前記確率マップを生成するように構成される、請求項１に記載の装置。
【請求項５】
前記分類マップが前記画素グループに対するバイナリ値を有し、各バイナリ値は画素グループがテキスト画像オブジェクトに属するものとして指定されること、又は画素グループがテキスト画像オブジェクトに属さないものとして指定されることのいずれかを示す、請求項４に記載の装置。
【請求項６】
前記フィルタリングが前記分類マップに適用されるバイナリ膨張フィルタリングを有する、請求項５に記載の装置。
【請求項７】
前記第１画像が時系列画像の一部であり、前記フィルタリングが時間ローパスフィルタリングを有する、請求項４に記載の装置。
【請求項８】
画素グループがテキスト画像オブジェクトに属する確率を増加させるための時定数が、画素グループがテキスト画像オブジェクトに属する確率を減少させるための時定数と異なるように、前記時間ローパスフィルタリングが非対称である、請求項７に記載の装置。
【請求項９】
前記フィルタリングが空間フィルタリングを有する、請求項４に記載の装置。
【請求項１０】
前記空間フィルタリングが最大出力値限界を持つフィルタであるソフトマックスフィルタを有する、請求項９に記載の装置。
【請求項１１】
前記空間フィルタリングが少なくとも２つの順次空間ソフトマックスフィルタを有する、請求項９に記載の装置。
【請求項１２】
前記第１深度値が、前記第１画像のシーンに対する異なるビュー方向に対応する複数の画像における画像オブジェクトに対する視差に対応する、請求項１に記載の装置。
【請求項１３】
前記確率値の増加する値に対して、前記テキスト画像オブジェクト深度の重みが増加され、前記第１深度値の重みが削減される、請求項１に記載の装置。
【請求項１４】
画像に対する深度マップを決定する方法であって、
第１画像を、第１画像の少なくとも一部の画素に対する第１深度値を有する関連深度マップとともに提供するステップと、
画像の少なくとも一部の画素に対する確率値を有する前記第１画像に対する確率マップを決定するステップであって、画素に対する確率値は画素がテキスト画像オブジェクトに属する確率を示す、ステップと、
前記第１画像に対する修正深度マップを生成するステップであって、少なくとも第１画素に対する修正深度値を、前記第１画素に対する前記関連深度マップの第１深度値と複数の画素に対して同じであるテキスト画像オブジェクト深度値との重み付き組み合わせとして決定するステップを含み、重みは前記第１画素に対する確率値に依存する、ステップと
を有する方法。
【請求項１５】
プログラムがコンピュータ上で実行されるときに請求項１４に記載の全ステップを前記コンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対する深度マップを決定するための、特に推定視差値に基づいて深度マップを決定するための方法及び装置に関する。
【背景技術】
【０００２】
３次元（３Ｄ）ディスプレイは、観察されているシーンの異なるビューをビューアの両目に提供することにより、視覚体験に第３の次元を加える。これは、表示される２つのビューを分離する眼鏡をユーザにかけさせることにより達成され得る。しかしながら、これはユーザにとって不便であると考えられ得るので、多くのシナリオでは、ビューを分離し、それらを異なる方向に送り、そこでそれらが個別にユーザの目に到達し得る、ディスプレイにある手段（レンチキュラレンズ、又はバリアなど）を用いるオートステレオスコピックディスプレイを用いることが好適である。ステレオディスプレイの場合、２つのビューが必要であるのに対して、オートステレオスコピックディスプレイは典型的により多くのビュー（例えば９ビューなど）を要する。
【０００３】
しかしながら、実用的なディスプレイは理想的な性能を持たない傾向があり、典型的には完全な３次元画像を提示することができない。
【０００４】
例えばレンチキュラベースのオートステレオスコピック３Ｄディスプレイは、アウトオブスクリーンブラーに悩まされる傾向がある。この効果はカメラシステムにおいて被写界深度ブラーとして知られるものと同様である。
【０００５】
また、提示される３次元画像の品質は受信画像データの品質に依存し、具体的には３次元知覚は受信深度情報の品質に依存する。
【０００６】
３次元画像情報はシーンの異なるビュー方向に対応する複数の画像により提供されることが多い。具体的には、フィルム若しくはテレビ番組などのビデオコンテンツがますます何らかの３Ｄ情報を含むように生成されつつある。かかる情報はわずかにオフセットされたカメラ位置から２つの同時画像をキャプチャする専用３Ｄカメラを使用してキャプチャされ得る。
【０００７】
しかしながら、多くのアプリケーションでは、提供画像が所望の方向に直接対応していないか、又はより多くの画像が必要とされることがある。例えば、オートステレオスコピックディスプレイ用に、２以上の画像が必要であり、実際９‐２６ビュー画像が使用されることが多い。
【０００８】
異なるビュー方向に対応する画像を生成するために、視点シフト処理が利用され得る。これは典型的には、関連する深度情報と一緒に単一ビュー方向の画像を使用するビューシフトアルゴリズムにより実行される。しかしながら、大きなアーチファクトのない新たなビュー画像を生成するために、提供深度情報が十分に正確でなければならない。
【０００９】
残念なことに、多くのアプリケーション及び使用シナリオでは、深度情報が所望の精度ほど正確でない場合がある。実際、多くのシナリオでは、異なるビュー方向のビュー画像を比較することにより深度値を推定し抽出することにより深度情報が生成される。
【００１０】
多くのアプリケーションでは、わずかに異なる位置にある２台のカメラを使用して３次元シーンがステレオ画像としてキャプチャされる。そして２画像内の対応する画像オブジェクト間の視差を推定することにより特定深度値が生成され得る。しかしながら、かかる深度抽出及び推定は問題があり、非理想的な深度値をもたらす傾向がある。これはやはりアーチファクトと劣化した３次元画像品質をもたらし得る。
【００１１】
３次元画像の劣化とアーチファクトは、例えば字幕ブロックなどのテキスト画像オブジェクトにとって特に重要になる傾向がある。シーンの一部ではなく、テキスト画像オブジェクトは、シーンに統合されている又は埋め込まれていると認識されない分離されたオブジェクトである傾向がある。さらに、テキスト画像オブジェクトの深度変動はビューアにとってより知覚される傾向がある。また、典型的なアプリケーションでは、テキスト（特に字幕など）は、鮮明かつ、はっきりしたエッジを伴って焦点が合っていることが期待される。従って、特に字幕ブロックなどのテキスト画像オブジェクトを高画質で提示することが非常に重要である。
【００１２】
故に、テキスト画像オブジェクトの適切な深度情報を決定するための改良されたアプローチが有利であり、特に、柔軟性の増大、容易な実施、複雑さの低減、改善された３Ｄ体験及び／又は改善された知覚画像品質を可能にするアプローチが有利である。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従って、本発明は上述の欠点の１つ以上を単独で又は任意の組み合わせで、好適には軽減、緩和又は排除することを目指す。
【課題を解決するための手段】
【００１４】
本発明の一態様によれば、画像に対する深度マップを決定するための装置が提供され、装置は：第１画像の少なくとも一部の画素の第１深度値を有する関連深度マップとともに第１画像を提供するための画像ユニットと；画像の少なくとも一部の画素の確率値を有する第１画像の確率マップを決定するための確率ユニットであって、画素の確率値は画素がテキスト画像オブジェクトに属する確率を示す、確率ユニットと；第１画像に対する修正深度マップを生成するための深度ユニットであって、第１画素に対する関連深度マップの第１深度値とテキスト画像オブジェクト深度値の重み付き組み合わせとして少なくとも第１画素に対する修正深度値を決定するように構成され、重み付けは第１画素の確率値に依存する、深度ユニットとを有する。
【００１５】
このアプローチは多くの実施形態において、画像処理のために使用されるときに改善された品質を提供し得る、改善された深度マップが生成されることを可能にし得る。例えば、多くの実施形態とシナリオにおいて、字幕などのテキスト画像オブジェクトの改善された提示が、修正深度マップを使用して達成され得る。修正深度マップが画像ビューシフトのために使用されるとき、及び／又はオートステレオスコピックディスプレイ上に３次元画像を提示するとき、改善は特に顕著になり得る。このアプローチはさらに、劣化、不一致及び／又はアーチファクトを軽減又は低減しながら、テキスト画像オブジェクトの提示深度のシフトを可能にし得る。
【００１６】
マップは、完全又は部分マップであり得る。例えば、確率マップは、画素／画素グループのサブセットのみの確率値を有し得る。所与の画素の確率値は、画素がテキスト画像オブジェクトに属する（その一部である）確率又は尤度の推定値をあらわし得る。例えば、確率値は決定された特性値がテキスト画像オブジェクトに対する期待値とどれほど厳密にマッチするかの指標であり得る。例えば、値（又は値の集合）を生成するために処理が第１画像に適用され得る。画素がテキスト画像オブジェクトに属する確率は、値が期待値にどれだけ厳密にマッチするかによってあらわされ得る。例えば、ａ＝０及びｂ＝１である［ａ；ｂ］の間隔の数値をもたらす処理が第１画像に適用され得る。テキスト画像オブジェクトに属する画素について、決定される特性はｂであると期待され、一方テキスト画像オブジェクトに属さない画素では、値はａであると期待される。決定値はこのように対応画素がテキスト画像オブジェクトに属する又は属さない確率を示す特性値に直接なり得る。例えば、ａ＝０及びｂ＝１の場合、値が高いほど、対応画素がテキスト画像オブジェクトに属する可能性が高くなる。値の厳密な処理及び決定は、個々の実施形態の選好及び要件に応じて、異なる実施形態において異なり得る。
【００１７】
テキスト画像オブジェクトは、テキストを有する画像の領域／エリア／サブセット又はセグメントであり得る。テキスト画像オブジェクトは具体的には字幕画像オブジェクトであり得る。テキスト画像オブジェクトは１つ以上の文字に対応し得るか、又は例えばテキスト用の境界領域を含み得る。
【００１８】
重み付き組み合わせは、具体的には第１深度値とテキスト画像オブジェクト深度値の加重和であり得、重みは確率値の関数である。一部の実施形態では、重み付き組み合わせは、具体的には第１深度値とテキスト画像オブジェクトの深度値の単調関数の加重和であり得、重みは確率値の関数である。
【００１９】
テキスト画像オブジェクト深度値は既定値であり得る。テキスト画像オブジェクト深度値は、具体的には時間及び／又は空間領域における固定値及び／又は一定値であり得る。テキスト画像オブジェクト深度値は、テキスト画像オブジェクトの所望の深度であり得る。テキスト画像オブジェクト深度値は、テキスト画像オブジェクトの好適な深度を示し、固定値及び／又は既定値であり得る。具体的には、テキスト画像オブジェクト深度値は、テキスト画像オブジェクトの好適な深度を示し、第１画像によりあらわされるシーンの深度特性と無関係であり得る。実際には、テキスト画像オブジェクトは典型的に、第１画像によりあらわされるシーンの一部でないオーバーレイグラフィックスであり得、テキスト画像オブジェクト深度値は、シーンの一部でないオーバーレイグラフィックス／テキスト画像オブジェクトに対する好適な深度をあらわし得る。テキスト画像オブジェクト深度値はテキスト画像オブジェクトと関連し、複数の画素又は画素グループに対して同じであり得る。多くの実施形態において、テキスト画像オブジェクト深度値は第１画像及び／又は関連深度マップの特性と無関係である。
【００２０】
第１画像は異なる視野角に対応する複数の画像の一部である画像であり得るか、又は、例えば単一の分離された独立画像（関連深度マップを持つ）であり得る。一部の実施形態では、第１画像は例えばビデオシーケンスからのフレームなど、時系列画像の画像であり得る。
【００２１】
本発明のオプションの特徴によれば、確率ユニットは第１画像の画素グループを決定するように構成され、各画素グループは複数の画素を有し、確率ユニットは画素グループの確率値を決定するように構成される。
【００２２】
これは、改善された性能及び／又は操作の容易化及び／又は複雑さの低減及び／又はリソース需要の低減を提供し得る。画素グループに対して決定される確率値は画素グループに属する全画素に割り当てられ得る。
【００２３】
本発明のオプションの特徴によれば、深度ユニットは、第１画素が属する画素グループに対する第１確率値と、隣接画素グループに対する第２確率値に応じて重み付き組み合わせの重みを決定するように構成され、第１確率値と第２確率値の重み付けは第１画素が属する画素グループにおける第１画素の位置に依存する。
【００２４】
これは多くのシナリオで向上した性能を可能にし得る。具体的に、アプローチは画像画素解像度よりも低い解像度で確率値の決定を可能にしながら、深度レベルの組み合わせに対して有効解像度を増加させることを可能にする。
【００２５】
一部の実施形態では、重み付き組み合わせの重みは補間確率値に応じて決定され得、補間確率値は第１画素が属する画素グループに対する第１確率値と隣接画素グループに対する第２確率値の間の空間的補間に応じて決定され、補間は第１画素が属する画素グループ内の第１画素の位置に依存する。
【００２６】
確率マップは複数の確率値を有し、具体的には複数の画素又は画素グループの各々について複数の確率値を有し得る。同様に、組み合わせは各画素に対して実行され得、少なくともいくつかの画素は異なる確率値を持ち、従って独立した組み合わせを持つ。このように、確率値と組み合わせは画像全体で変動し得る（これは異なる画素に対して異なり得る）。
【００２７】
本発明のオプションの特徴によれば、確率ユニットは画像の画素グループについて確率値を決定するように構成され、各画素グループは少なくとも１つの画素を有し、確率ユニットは、画素グループがテキスト画像オブジェクトに属するか又はテキスト画像オブジェクトに属さないものとして指定されるかを示す、画素グループの値を有する分類マップを最初に決定し、分類マップのフィルタリングに応じて確率マップを生成するように構成される。
【００２８】
これは実施の容易化及び／又は性能／結果の改善を提供し得る。
【００２９】
本発明のオプションの特徴によれば、分類マップは画素グループに対するバイナリ値を有し、各バイナリ値は、画素グループがテキスト画像オブジェクトに属するものとして指定されること、又は画素グループがテキスト画像オブジェクトに属さないものとして指定されることのいずれかを示す。
【００３０】
これは実施の容易化及び／又は性能／結果の改善を提供し得る。特に、これは多くのシナリオにおいて画素グループのよりロバストで信頼性の高い初期分類を可能にし得る。フィルタリングは、バイナリ分類を、画素グループの時間的及び／又は空間的近傍の特性も反映する非バイナリ確率値に変換し得る。
【００３１】
本発明のオプションの特徴によれば、フィルタリングは分類マップに適用されるバイナリ膨張フィルタリングを有する。
【００３２】
これは、性能を改善し、特にテキスト画像オブジェクトに対応する検出エリアの一貫性を改善し得る。多くのシナリオにおいて、これはかかるエリアでのホール形成を減少させ得る。
【００３３】
本発明のオプションの特徴によれば、フィルタリングは時間フィルタリングを有する。
【００３４】
これは、例えば修正深度マップに基づくビューシフトにより生成される画像を見るとき、例えば改善された安定性と一貫性を可能にし、改良されたユーザ経験を提供し得る。
【００３５】
本発明のオプションの特徴によれば、時間フィルタリングは非対称である。
【００３６】
これは多くのアプリケーションとシナリオにおいて向上した性能を提供し得る。
【００３７】
本発明のオプションの特徴によれば、フィルタリングは空間フィルタリングを有する。
【００３８】
これは多くのアプリケーションとシナリオにおいて向上した性能を提供し得る。
【００３９】
本発明のオプションの特徴によれば、空間フィルタリングはソフトマックスフィルタを有する。
【００４０】
これは多くのアプリケーションとシナリオにおいて向上した性能を提供し得る。特に、これはテキスト画像オブジェクトに対応するエリアに対して有利な深度プロファイルが生成されることを可能にし得る。例えば、多くのシナリオでは、ソフトマックスフィルタはホールの量若しくはサイズを低減しながら、及び／又はテキスト画像オブジェクトのエッジでソフト遷移を提供しながら、テキスト画像オブジェクトに対応する一貫した深度領域の生成を可能にし得る。
【００４１】
ソフトマックスフィルタは、フィルタと出力を最大値に制限するリミッタとのカスケードであり得る。例えば、ソフトマックスローパスフィルタは、ローパスフィルタと、ローパスフィルタの出力値を最大値に制限するリミッタとのカスケードに対応する動作を実行し得る。従って、ソフトマックスフィルタは最大出力値限界を持つフィルタに対応し得る。
【００４２】
本発明のオプションの特徴によれば、空間フィルタリングは少なくとも２つの順次空間ソフトマックスフィルタを有する。
【００４３】
これは多くのアプリケーションとシナリオにおいて向上した性能を提供し得る。特に、これはテキスト画像オブジェクトに対応するエリアに対して有利な深度プロファイルが生成されることを可能にし得る。例えば、多くのシナリオでは、ソフトマックスフィルタはテキスト画像オブジェクトに対応する一貫した深度領域の生成を可能にし得る。多くの実施形態では、フィルタはホールの量若しくはサイズを減少させながら、テキスト画像オブジェクトのエッジにおいてソフト遷移も提供し得る。
【００４４】
２つの連続空間ソフトマックスフィルタが、異なる設計／動作パラメータを持つように構成され得、具体的にはカーネル寸法、スケールファクタ及び／又は最大値が２つのフィルタに対して異なり得る。多くの実施形態では、第１フィルタのパラメータは、ホール形成を低減し、増大した一貫性を提供するように最適化され得るが、第２フィルタのパラメータは、テキスト画像オブジェクトのエッジで所望の深度遷移プロファイルを提供するように最適化される。
【００４５】
本発明のオプションの特徴によれば、第１深度値は第１画像のシーンの異なるビュー方向に対応する複数の画像中の画像オブジェクトの視差に対応する。
【００４６】
本発明は多くの実施形態において視差推定により生成される深度マップを改善し、具体的にはテキスト画像オブジェクトと関連する劣化及びアーチファクトを緩和し得る。
【００４７】
一部の実施形態では、画像ユニットは複数の画像中の画像オブジェクトについて視差を推定するように構成される。
【００４８】
本発明のオプションの特徴によれば、確率値の増加する値に対して、テキスト画像オブジェクト深度の重み付けは増加され、第１深度値の重み付けは減少される。
【００４９】
これは多くのアプリケーションとシナリオにおいて向上した性能を提供し得る。
【００５０】
本発明の一態様によれば、画像に対する深度マップを決定する方法が提供され、該方法は、第１画像の少なくとも一部の画素に対する第１深度値を有する関連深度マップとともに第１画像を提供するステップと；画像の少なくとも一部の画素の確率値を有する第１画像の確率マップを決定するステップであって、画素の確率値は画素がテキスト画像オブジェクトに属する確率を示す、ステップと；第１画像に対する修正深度マップを生成するステップであって、第１画素に対する関連深度マップの第１深度値と、テキスト画像オブジェクト深度値との重み付き組み合わせとして、少なくとも第１画素に対する修正深度値を決定するステップを有し、重み付けは第１画素の確率値に依存する、ステップとを有する。
【００５１】
本発明のこれらの及び他の態様、特徴及び利点は、以下に記載される実施形態を参照して明らかになるであろう。
【００５２】
本発明の実施形態はほんの一例として図面を参照して記載される。
【図面の簡単な説明】
【００５３】
【図１】従来技術の一部の実施形態にかかる装置を有するディスプレイシステムの一実施例の例示である。
【図２】オートステレオスコピックディスプレイから投影されるビュー画像の一実施例を例示する。
【図３】画像及び関連する検出テキストエリアの一実施例を例示する。
【図４】深度マップにおいて字幕ブロックを位置付ける実施例を例示する。
【図５】入力画像と、本発明の一部の実施形態にかかる装置においてそれに対して生成される確率マップの実施例を例示する。
【発明を実施するための形態】
【００５４】
以下の説明は、例えばオートステレオスコピックディスプレイ上の入力ステレオ画像の提示用の追加画像を生成するためのアプローチなど、シーンの異なるビュー方向に対する画像を生成するのに使用される修正深度マップを決定するためのシステムに適用可能な本発明の実施形態に焦点を当てる。しかしながら、本発明はこのアプリケーションに限定されず、多くの他のアプリケーションとシステムに適用され得ることが理解される。
【００５５】
図１はウィンドウの一部の実施形態にかかるシステムの一実施例を例示する。特定の実施例では、オートステレオスコピックディスプレイ１０１の異なるビューに対応する画像が入力３次元画像から生成される。入力３次元画像は例えば関連深度マップを伴う単一画像によりあらわされ得るか、又は例えばステレオ画像によりあらわされ得、そこから関連深度マップが抽出される。一部の実施形態では、画像はビデオシーケンス／信号からのフレームなど、時系列画像からの画像であり得る。
【００５６】
典型的には、オートステレオスコピックディスプレイは、各コーンがシーンの異なる視野角に対応する複数のビューを含む、ビューの"コーン"を生成する。隣接する（又は場合によりさらに変位した）ビュー間の視野角差は、ユーザの右目と左目の間の視野角差に対応して生成される。従って、その左目と右目が２つの適切なビューを見るビューアは３次元効果を知覚することになる。各ビューコーン内に９の異なるビューを生成するオートステレオスコピックディスプレイの一実施例が図２に例示される。
【００５７】
オートステレオスコピックディスプレイは、ビューを分離し、それらが個々にユーザの目に届くようにそれらを異なる方向に送るよう、レンチキュラレンズ又は視差バリア／バリアマスクなどの手段を使用する傾向がある。ステレオディスプレイでは、２つのビューが必要だが、ほとんどのオートステレオスコピックディスプレイは典型的により多くのビューを利用する。実際、一部のディスプレイでは、画像の異なる部分が異なるビュー方向に投影され得るように、ビュー方向の段階的移行が画像上で実行される。このように、一部のより最近のオートステレオスコピックディスプレイでは、オートステレオスコピックディスプレイが固定された数の完全なビューをレンダリングするのではなく、ビュー方向にわたる画像領域のより段階的で連続的な分布が適用され得る。かかるオートステレオスコピックディスプレイはフルビューではなくフラクショナルビューを提供するものとよばれることが多い。フラクショナルビューの詳細については例えばＷＯ２００６／１１７７０７に見られ得る。
【００５８】
しかしながら、ほとんどのオートステレオスコピックディスプレイは、比較的多数の異なるビュー方向に対して画像情報が生成されることを要することが一般的である。しかしながら、典型的に３次元画像データはステレオ画像として、又は深度マップを伴う画像として提供される。必要なビュー方向を生成するために、レンダリングにとって適切な画素値を生成するために画像ビューシフトアルゴリズムが典型的には適用される。しかしながら、かかるアルゴリズムは典型的には準最適であり、アーチファクト又は歪みを導入し得る。
【００５９】
本発明者らは、かかるアーチファクト、劣化、及び品質の低下が、特に字幕画像オブジェクトなどのテキスト画像オブジェクトに関連して、特に一般的で、知覚可能で、及び／又は重要であり得ることを認識した。従って、テキストを含む画像が、例えばオートステレオスコピックディスプレイによって受信され提示されるとき、字幕ブロックと同様のテキストオブジェクトの周囲でアーチファクトがしばしば知覚され得る。
【００６０】
かかる問題に対処するために、かかる画像オブジェクトを識別しようとするアルゴリズムが適用され得る。そして全テキストを固定深度に位置付けるために固定深度レベルが識別された画像オブジェクトに適用され得る。しかしながら、かかる検出は典型的には非常に困難であり、テキスト画像オブジェクト（及び非テキスト画像オブジェクト）への正確なセグメンテーションは典型的には実行不可能である。結果として、かかるアプローチはしばしば知覚可能なアーチファクトをもたらす。
【００６１】
例えば、字幕ボックスが識別され、このボックスの深度レベルが画面深度に設定され得る。図３はこれがどのようになされ得るかの一実施例を例示する。
【００６２】
字幕ボックスは字幕を画面深度に配置するために使用され得る。図３はこれがどのようになされ得るかを例示する。実施例では、字幕テキスト付きの輝度画像において字幕ボックスが検出される（図３ａ）。実施例では、各８×８ブロック内から抽出される特徴を使用して、８×８ブロックの画素ごとに検出が実行され得る。各黒色ブロックが最初に字幕の一部である（図３ｂでは白で示される）又は一部でない（図３ｂでは黒で示される）として分類され得る。最後に、まず検出結果を水平方向に積分し、ｙ座標に沿って開始位置と停止位置を見つけ出し、それから検出結果を水平方向に積分し、ｘ座標について開始位置と停止位置を見つけ出すことにより、境界字幕ボックスが決定される。具体的には、字幕ボックスの境界は字幕ボックスに属すると分類される全ブロックを含む最小矩形に設定され得る。
【００６３】
そして字幕ボックス内の全画素の深度が特定の深度値に設定され得、具体的には画面又は表示深度に設定され得る。これはアーチファクトを減らし、画面レベルにないオブジェクトへオートステレオスコピックディスプレイにより導入されるブラーを低減し得る。アプローチは、画面深度より後ろにあるセクション４０１と、画面深度の前にあるセクション４０３とを伴う画像を示す図４により例示され得る。上記アプローチは字幕ブロック４０５を識別し、これを画面深度に位置付け得る。
【００６４】
しかしながら、このソリューションは鮮明な（具体的にはアウトオブスクリーンブラーがない）幾何学的に正しい字幕オブジェクトをもたらすが、深度マップに新たに導入される急峻なエッジ（テキストボックスに起因）が（図４に４０７で示されるような）テキストボックスの境界付近で非常に目立つテクスチャ歪み（分解）をしばしばもたらし得る。さらに、テキストボックス自体が複数の小さなテキストボックスにばらばらになるとき、レンダリングエラーも見えるようになる。例えば、文章中のある文字は鮮明であり得るが他の文字は不鮮明になり得る。さらに、この挙動は急速に経時変化する可能性があり、これは実際にはビューアにとってかなり目立つ傾向がある。
【００６５】
実際には、字幕領域を識別しようとし、この領域の深度を（特に）画面深度に設定することは、典型的に様々な問題をもたらすことがわかっている。第１に、検出アルゴリズムにおけるノイズは頻繁に検出ボックスを２つ以上の個別ボックスにばらばらにさせ得る。これは、場合によりｘ及び／又はｙ座標に沿って存在する複数の開始位置と停止位置のために起こり得る。さらに、検出ボックスの開始位置と停止位置は分類エラーに敏感である傾向がある。結果として、得られる深度マップは時間的に不安定になり、オートステレオスコピックディスプレイにより表示される画像に目に見える時間的誤差を生じ得る。
【００６６】
図１の装置は既知のアプローチから知られている欠点の一部を緩和又は軽減し得る。装置はオートステレオスコピックディスプレイ１０１を駆動するディスプレイドライバ１０３を有する。ディスプレイドライバ１０３はオートステレオスコピックディスプレイ１０１のための複数のビュー画像を生成し、これらをそれに供給する機能を有する。ビュー画像は、入力として入力画像と深度マップを持つビューシフトアルゴリズムを使用して異なるビュー方向に対して生成される。
【００６７】
しかしながら、字幕領域を単に識別して画面深度へ設定するのではなく、システムは、（外部ソース又は内部ソースから受信され、しばしば異なるビュー方向に対応する画像からディスプレイドライバ１０３により生成されている、具体的にはステレオ画像などの）入力深度マップを処理して、字幕深度のより微妙な再配置が採用される修正深度マップを生成するように構成される。これは字幕又は他のテキスト画像オブジェクト周辺の目に見えるアーチファクトの低減又は緩和を含む、実質的に改善された視覚体験を提供する傾向がある。
【００６８】
ディスプレイドライバ１０３のアプローチは、対応する画素がテキスト画像オブジェクトに属するか否かを示す確率値を有する、αマップともよばれる確率マップをまず生成するステップを伴う。このように、所与の画素又は画素グループがテキスト画像オブジェクトであるか否かを決定する単純なバイナリ指定ではなく、確率マップは、画素又は画素グループがテキスト画像オブジェクトに属するか否かの推定確率を示す、しばしば実質的に連続的な非バイナリ値を提供し得る。α値ともよばれる確率マップの確率値は、典型的には離散値によりあらわされ、ほとんどの実施形態では、各値は少なくとも４、ただし典型的には少なくとも８、１６、３２、６４、１２８、２５６又はそれ以上の離散レベルによりあらわされ得る。多くの実施形態では、各確率値は少なくとも３、４、６、８、１０又は１６ビットのバイナリ値によりあらわされ得る。
【００６９】
アプローチでは、少なくとも一部の画素の深度レベルは、単純に元の深度値を選択するか又はそれを既定深度レベル（画面レベルなど）に設定することによっては生成されない。むしろ、修正深度マップの少なくとも一部の深度値は、元の深度値と、具体的にはテキスト画像オブジェクトにとって好適な深度レベル（画面深度など）であるテキスト画像オブジェクト深度値との重み付き組み合わせを実行することにより生成される。所与の画素の深度レベルの重み付けはその画素の確率値に基づいて決定される。
【００７０】
具体的に、α［ｉ，ｊ］が画素位置［ｉ，ｊ］における確率マップの値を示す場合、修正深度マップの修正深度レベルは：
【数１】
0006715864.tif 000002
として決定され得、Ｄｔｅｘｔはテキスト画像オブジェクト深度を示し、Ｄ［ｉ，ｊ］は元の深度レベルである。
【００７１】
従って、アプローチでは、テキスト画像オブジェクトにとって所望の深度レベルと元の深度レベルとの差にわたってより連続的に及ぶ深度レベルを提供する修正深度マップが生成される。このように、テキスト画像オブジェクトは事実上、元の深度提示と所望深度との間で空間的に（深度方向に）"ブレンド"され得る。
【００７２】
かかるアプローチは実際に、具体的には字幕ブロックなどのテキスト画像オブジェクト周辺のアーチファクト及び劣化の知覚が顕著に低減された、大幅により魅力的な視覚体験を提供することがわかっている。
【００７３】
アプローチの別の利点は、テキスト画像オブジェクト検出結果を使用して確率マップを生成することにより、結果的に得られるレンダリング画像を改善するために空間的及び時間的フィルタリングにかけられ得ることである。さらに、かかるフィルタリングは元の深度マップに影響を与えることなく実行され得る。
【００７４】
ディスプレイドライバ１０３は画像の少なくとも一部の画素の深度値を有する関連深度マップを画像に提供するように構成される画像ユニット１０５を有する。画像は入力画像と、深度マップは入力深度マップと（並びに画素及び深度値は入力画素及び深度値と）よばれる。
【００７５】
画像ユニット１０５は一部の実施形態では任意の適切な内部又は外部ソースから入力画像及び入力深度マップを単に受信するように構成され得る。例えば、画像と関連深度マップによりあらわされる３次元画像を有するビデオ信号がネットワーク（インターネットなど）、ブロードキャスト信号、メディアキャリアなどから受信され得る。
【００７６】
一部の実施形態では、画像ユニット１０５は入力画像及び／又は入力深度マップを生成するように構成され得る。具体的には、多くの実施形態では、画像ユニット１０５は異なるビュー方向に対応する複数の画像、具体的にはステレオ画像などにより形成される３次元画像を受信するように構成され得、視差推定を実行して入力深度マップを生成するように構成され得る。
【００７７】
深度マップに含まれる深度値は、具体的には深度座標（ｚ）値又は異なるビュー方向の画像間のシフトをあらわす視差値など、任意の適切な深度表現であり得る。
【００７８】
実施例では、入力深度値は観察又は推定される深度値である。具体的には、それらは外部ソースにおいて又は画像ユニット１０５自体により実行される視差推定により生成される値であり得る。従って、深度値は比較的不正確になることが多く、多数のミスやエラーを含み得る。
【００７９】
また、入力信号において、字幕などのテキスト画像オブジェクトは、オートステレオスコピックディスプレイ上にレンダリングされるときに好適な深度に位置付けられない可能性がある。これは例えば異なるディスプレイによって（例えばシャープネスに関して）異なる技術的に最適な深度に起因するか、又はアプリケーション間で異なる主観的選好に起因し得る。
【００８０】
例えば、テレビ番組及び映画の場合、字幕は典型的に画面の前に、すなわち字幕が画面の前にあるように見せる深度レベルにおいて、多くの場合最前面オブジェクトとして位置付けられる。しかしながら、多くのオートステレオスコピックディスプレイの場合、かかる深度レベルに対して大幅に増加したブラーが導入され、従って字幕を画面深度に位置付けることが好適であり得る。上記の通り、ディスプレイドライバ１０３はそれに応じて推定テキスト画像オブジェクトの深度レベルの段階的再調整を実行し得る。
【００８１】
具体的には、画像ユニット１０５は、対応する画素がテキスト画像オブジェクトに属する確率又は尤度を示す確率値を有する確率マップを生成するように構成される確率ユニット１０７に結合される。
【００８２】
所与の画素の確率値はそれがテキスト画像オブジェクトに属する確率又は尤度の推定をあらわし得る。確率は例えば、画素を有する画素グループがテキスト画像オブジェクトについて期待される特徴のセットにどれだけ厳密にマッチするかの指標であり得る。よりマッチするほど、画素がテキスト画像オブジェクトに属する確率が高くなる。
【００８３】
画素がテキスト画像オブジェクトに属する確率は、テキスト画像オブジェクトがテキスト文字の一部である画素のみを含むという考慮に基づき得る。しかしながら、多くの実施形態では、テキスト画像オブジェクトは典型的には境界ボックスを含むと考えられ得る。例えば、テキスト画像オブジェクトは周囲の字幕ボックスを含むと考えられ得る。テキスト画像オブジェクトをあらわすと考えられる厳密な特徴及び特性は、個々の実施形態の具体的な選好及び要件に依存し、特に確率値の決定はテキストボックスであると考えられるものの好適な特徴及び特性を反映するように適応され得ることが理解される。
【００８４】
例えば、一部の実施形態では、字幕は例えば灰色又は黒色のボックスに白文字として提供され得る。かかる実施例では、テキスト画像オブジェクトが字幕ボックス全体を含むとみなすことが非常に望ましいことがあり、すなわち確率は画素が字幕ボックスに属する確率を示すように決定され得、所望深度における字幕ボックスの段階的な位置決めをもたらし得る。他のアプリケーションでは、字幕は単に下にある画像の上に白文字として提供され得る。かかる実施例では、境界ボックスがなく、確率は画素がテキスト文字に属する確率を反映し得る。
【００８５】
多くの実施形態では、テキスト画像オブジェクトは具体的にはグラフィックオーバーレイ画像オブジェクトであり得、具体的には字幕若しくはタイトル画像オブジェクトであり得る。
【００８６】
確率マップを決定するための様々なアプローチが異なる実施形態において使用され得ることが理解され、高性能で高効率の動作を提供する具体的な実施例が後述される。
【００８７】
確率ユニット１０７は修正深度マップを生成するように構成される深度ユニット１０９に結合される。深度ユニット１０９はさらに画像ユニット１０５とメモリ／ストア１１１に結合され、テキスト画像オブジェクト深度値が格納される。深度ユニット１０９はそれに応じて入力深度マップ、テキスト画像オブジェクト深度値、及び確率マップを受信し、入力深度値とテキスト画像オブジェクト深度値の重み付き組み合わせの実行へと進み、重み付けは確率値に依存する。
【００８８】
具体的には、前述の通り、組み合わせは具体的には入力深度値とテキスト画像オブジェクト深度値との加重和などの線形結合であり得、重みが確率値に依存する。しかしながら、入力深度レベルとテキスト画像オブジェクト深度レベルからの相対的寄与が確率値に依存する、他の重み付き組み合わせが使用され得ることが理解される。例えば、一部の実施形態では、非線形結合が使用され得る。
【００８９】
このように、（所与の画素に対する）組み合わせは入力深度値、テキスト画像オブジェクト深度値、及び（画素に対する）確率値の関数として出力深度値を提供し、それぞれ入力深度値とテキスト画像オブジェクト深度値からの出力深度値への寄与が確率値に依存する。
【００９０】
重み付き組み合わせは、確率値の増加する値に対して、テキスト画像オブジェクト深度の重みが増加し、第１深度値の重みが減少するようなものである。従って、所与の画素がテキスト画像オブジェクトに属すると推定される蓋然性が高いほど、出力深度値がテキスト画像オブジェクト深度値に近づき、所与の画素がテキスト画像オブジェクトに属すると推定される蓋然性が低いほど、出力深度値が入力深度値に近づくことになる。厳密な関係は個々の実施形態の選好と要件に依存する。
【００９１】
多くの実施形態では、出力深度値は所与の画素について確率値の関数であり得、関数はゼロの確率値に対して画素の入力深度値を出力し、１の確率に対してテキスト画像オブジェクト深度値を出力する関数である。確率値の関数は具体的には単調関数であり得る。確率値の関数は所与の画素について画素の入力深度値からテキスト画像オブジェクト深度値までの深度値範囲に０から１の確率範囲をマッピングし得る。
【００９２】
ほとんどの実施形態では、テキスト画像オブジェクト深度値は既定値であり得、具体的には全画像及び／又は画像全体に対して一定値であり得る。しかしながら、一部の実施形態では、テキスト画像オブジェクト深度値は画像の異なる領域間で異なってもよく、例えば画像の下部にとって好適なテキスト画像オブジェクト深度値は画像の上部にとって好適なテキスト画像オブジェクト深度値と異なり得る。
【００９３】
深度ユニット１０９は実施例において、オートステレオスコピックディスプレイ１０１のためのビュー画像を生成するように構成される画像生成器１１３へ結合される。画像生成器１１３は深度ユニット１０９から修正深度マップを受信し、さらに画像ユニット１０５へ結合され、そこから入力画像を受信する。画像生成器１１３は、オートステレオスコピックディスプレイ１０１により生成される異なるビューと関連する特定のビュー方向のビュー画像を生成するようにビューシフトを実行することにより、オートステレオスコピックディスプレイ１０１のためのビュー画像を生成するように構成される。画像生成器１１３は入力画像と修正深度マップに基づいてビューシフトアルゴリズムによりこれらの画像を生成するように構成される。このように、ビュー画像はそれらがテキスト画像オブジェクトに属する可能性が高いと考えられるか否かを段階的に反映する深度で画素を提示するように生成される。結果として、ビューアにより知覚される投影３次元画像は、テキスト画像オブジェクトと他の画像領域との間のより段階的な遷移を伴うテキスト画像オブジェクトのより一貫したレンダリングを持つ傾向がある。これは典型的には３Ｄ提示の知覚欠陥を大幅に低減する。
【００９４】
このように、実施例では、入力画像のシーンの画像を、ただし入力画像のビュー方向と異なるビュー方向で生成するために、入力画像と修正深度マップが画像生成器１１３により使用される。
【００９５】
当業者は多くの異なるビューシフトアルゴリズムを知っており、任意の適切なアルゴリズムが本発明から逸脱することなく使用され得ることが理解される。
【００９６】
一部の実施形態では、画像ユニット１０５は入力画像と一緒に深度マップを直接受信し得る。一部の場合、深度マップはテキスト画像オブジェクトが例えばキャプチャ画像に含まれる又は追加されるのと同じ時間と場所で生成され得る。一部の場合において、深度マップは従って特定の好適な深度にある字幕などのテキスト画像オブジェクトの深度レベルを持つように生成され得る。このように、深度マップはテキスト画像オブジェクトに対して、テキスト画像オブジェクトのエリアに対応する十分かつ完全で一貫性のある領域を持ち、この領域内の深度値は全て同一であり得る。これはテキスト画像オブジェクトがわずかなエラーとわずかなアーチファクトを伴って位置付けられることを可能にし得る。しかしながら、この場合でも、テキスト画像オブジェクトの深度レベルは特定の使用シナリオにとって好適な深度レベルではないかもしれない。例えば、眼鏡ベースのアプローチを使用するビューに適した深度レベルは、オートステレオスコピックディスプレイを用いる提示にとって理想的ではないかもしれない。さらに、ビューシフトを実行するときにシャープな深度遷移が依然としてアーチファクトをもたらし得る。
【００９７】
さらに、多くのアプリケーションにおいて、深度マップはテキスト画像オブジェクト（字幕など）の包含と同じ時間と場所で生成されない場合がある。例えば、多くのシナリオにおいて、３次元画像はステレオ画像によりあらわされ得、字幕が両画像に含まれ、字幕の深度が２つのステレオ画像間の視差により制御される。かかる３次元ステレオ表現はいかなる深度マップも含まず、従ってかかるマップが必要な場合後処理操作として生成され得る。実際、多くのシナリオでは、深度マップはエンドユーザデバイスで生成され得る。
【００９８】
例えば、画像ユニット１０５は、同じシーンの異なるビュー方向に対応する複数の画像を受信するように構成され得る。具体的には、左目画像と右目画像を有するステレオ画像が受信され得る。ステレオ画像はテキスト画像オブジェクト、例えば字幕を含み、この深度は２つの画像間の視差により反映され得る。
【００９９】
そして画像ユニット１０５はビュー方向画像間の視差検出に応答して深度マップを生成するように構成され得る。このように、画像ユニット１０５は、画像内で対応する画像オブジェクトを見つけ出し、これらの間の相対シフト／視差を決定し、対応する深度レベルを画像オブジェクトに割り当てるように進行し得る。視差推定に基づいて深度を決定するための任意の適切なアルゴリズムが使用され得ることが理解される。
【０１００】
かかる視差推定は比較的正確な深度マップにつながり得る。しかしながら、深度マップは依然として典型的には比較的多数のエラーを有し、典型的には完全に一貫していない。特に、アーチファクトと不整合は、テキスト画像オブジェクトで特にしばしば発生し得る大きくシャープな深度遷移周辺で一般的であり得る。
【０１０１】
従って、異なる方向に対する画像の視差推定から生成される深度マップを直接使用することは、例えばビューシフトを実行するとき、知覚品質劣化とアーチファクトの導入をもたらす傾向がある。
【０１０２】
しかしながら、テキスト画像オブジェクトに対する所望の深度値と視差決定深度値のマージ及び確率検出に基づく修正深度マップの生成は、大幅に改善された画像と、具体的には一貫性が増加しアーチファクトが減少したテキスト画像オブジェクト周辺の大幅に改善された知覚画質をもたらす傾向がある。特に、視差推定を実行するときにテキスト画像オブジェクト周辺に典型的に発生し得るエラー、不整合又はアーチファクトの存在が記載のアプローチにより大幅に緩和され得る。
【０１０３】
以下、確率マップを決定するための具体的なアプローチが記載される。
【０１０４】
アプローチでは、確率値の決定は複数の画素を有し得る画素グループに対して実行され得る。従って、以下に記載の原理は個々の画素に適用され得るが、それらは具体的な実施例では画素グループベースで、具体的には矩形ブロックベースで実行される。具体的な実施例において、各画素グループは８×８画素のブロックである。
【０１０５】
従って、実施例では、確率ユニット１０７は入力画像について画素グループを決定するための機能を有し、各画素グループが複数の画素を有する。そして確率値の決定はこれら画素グループに基づく。
【０１０６】
アプローチでは、確率ユニット１０７はまず画素グループに対する値を有する分類マップを決定するように構成され、各値は対応する画素グループがテキスト画像オブジェクトに属するか又はテキスト画像オブジェクトに属さないとして指定されるかどうかを示す。
【０１０７】
具体的な実施形態において、分類値はバイナリ値であり、各値は従って、対応する画素グループがテキスト画像オブジェクトに属するものとして指定されること、又は画素グループがテキスト画像オブジェクトに属さないものとして指定されることを示す。このアプローチは多くの実施形態において分類プロセスを容易にし、ロバストな決定を生成し得る。さらに、これは処理を容易にし、続く異なる深度レベルのブレンディング又は組み合わせに高度に適した確率マップをもたらすことがわかっている。実際、これは高画質であると知覚される３次元画像の生成をもたらすことがわかっている。
【０１０８】
しかしながら、他の実施形態では、分類マップの値が非バイナリ値であってもよいことが理解される。例えば、オブジェクト分類プロセスは、画素グループがテキスト画像オブジェクトに属するか否かを示すための軟判定値を生成し得る。例えば値は［０；１］の間隔における離散値のセットであり得、１はテキスト画像オブジェクトに属するものとしての指定をあらわし、０はテキスト画像オブジェクトに属さないことの指定をあらわし、中間の値は画素グループがテキスト画像オブジェクトに属するものとして指定されるための要件にどれ位厳密にマッチすると考えられるかを反映する。実際に、値は一部の実施形態では初期確率値とみなされ得、分類マップは初期確率マップとみなされ得る。
【０１０９】
確率ユニット１０７は入力画像にテキスト画像オブジェクト分類プロセスを適用し得、これは各画素グループがテキスト画像オブジェクトに属するか否かを示すバイナリ決定を提供する。
【０１１０】
画素グループをテキスト画像オブジェクトに属する又は属さないものとして指定するために異なるアルゴリズムが使用され得ることが理解される。簡単な例として、画素グループ内の色分布が評価され得、それが字幕ボックス用に使用される色（例えば白と黒）に対応する画素の色を主に有する場合、画素グループはテキスト画像オブジェクトであると指定され得、そうでなければこれはテキスト画像オブジェクトでないと指定され得る。
【０１１１】
ほとんどの実施形態では、実質的により複雑な分類又は指定アルゴリズムが使用され得ることが理解される。例えば、分類はブロック毎に計算される複数の特徴に基づき得る。特徴は例えば画素強度ヒストグラムの所定ビン内の画素数と平均水平画素勾配であり得る。そしてＡｄａＢｏｏｓｔ（http://cseweb.ucsd.edu/~yfreund/papers/IntroToBoosting.pdf；日付：２０‐０５‐２０１５）などの機械学習アプローチが、例えば５０の'弱'分類規則を線形結合することによりいわゆる"強分類器"を（自動的に）訓練するために使用され得る。良い選択が作られ得るように、典型的には候補特徴のかなり大きなセット（例えば＞３００）がそこから選択するために使用されることに留意されたい。かかる候補特徴の大きなセットを得るために、平均水平画素勾配などの基本的特徴が、カーネルサイズが変動するマルチ空間畳み込み（フィルタ）演算への入力として各々使用され、従って各々が例えば１０の新たな特徴候補を生成し得る。分類器の訓練は所与の訓練画像セットを使用して８×８ブロックレベルである。そして得られるアルゴリズムはテキスト画像オブジェクトに属するか否かとして各ブロックを分類するために使用され得る。
【０１１２】
上述の通り、生成される分類値は上記実施例では、画素グループがテキスト画像オブジェクトに属するものとして指定されること、又はそれがテキスト画像オブジェクトに属さないものとして指定されることのいずれかを示すバイナリ値である。しかしながら、一部の実施形態では、分類プロセスは軟判定値を生成し得、これらがバイナリ値の代わりに使用され得る。例えば、ＡｄａＢｏｏｓｔ分類器は画素グループを指定するために閾値と比較される軟判定指標を内部で使用し生成し得る。しかしながら、一部の実施形態では、これらの軟判定値がバイナリ値を生成するための閾値への比較なしに分類マップのために代わりに使用され得る。
【０１１３】
確率マップを生成するための第２フェーズは、生成される分類マップへのフィルタリングの適用へと進むことである。フィルタリングは分類マップに時間的及び空間的制約と平滑化を課し得る。
【０１１４】
特に、分類プロセスがバイナリ硬判定分類結果を返すとき、これらの初期バイナリ値は、個々の画素グループ（又は画素）がテキスト画像オブジェクトに属するか否かの確率を示す非バイナリ値へ変換され得る。このように、初期バイナリ分類／指定はフィルタリングが分類マップへ適用されることにより段階的な非バイナリ確率値へ変換され得る。この変換は比較的低い複雑さとリソース要件で効率的な処理を可能にするだけでなく、非常に良好な結果を提供することもわかっており、確率値はグループの分類自体のみならず、これが画素グループの時間的及び／又は空間的近傍における他の分類にいかに関連するかも反映する。実際、アプローチは高度の一貫性を持ち、テキスト画像オブジェクトの深度の操作に非常に適した確率マップの生成をもたらす傾向がある。
【０１１５】
フィルタリングは複数のフィルタリング演算を有し得る。多くの実施形態では、フィルタリングは複数の順次フィルタリング演算を有してもよく、典型的には後続のフィルタリング演算は前のフィルタリング演算の結果に対して実行される。
【０１１６】
以下、複数の順次フィルタリング演算が実行される具体的アプローチの一実施例が記載される。しかしながら、これは一実施例に過ぎず、異なる実施形態では記載のフィルタ演算のサブセットのみが使用されてもよく、フィルタ演算の順序は他の実施形態では異なり得ることが理解される。例えば、一部の実施形態では、時間的フィルタリングが空間的フィルタリングの前に適用され得る一方、他の実施形態では空間的フィルタリングが時間的フィルタリングの前に適用され得る。
【０１１７】
実施例において、フィルタ演算は画素グループ解像度において実行され、各画素グループは複数の画素を有する。特に、全フィルタは８×８ブロック解像度において機能する。説明において、指数［ｍ，ｎ］は従ってブロック指数をあらわす。得られる確率マップもブロック解像度になる。修正深度マップの生成中、より高解像度を提供するために、具体的には画素レベル解像度を提供するために確率値が補間され得る。具体的な実施例として、画素レベルであるα［ｉ，ｊ］を計算するためにα［ｍ，ｎ］は（例えば線形）補間され得る。
【０１１８】
一部の実施形態において、フィルタリングは分類マップへ適用されるバイナリ膨張フィルタリングを含み得る。
【０１１９】
例えば、αｉｎｉｔ［ｍ，ｎ］はブロック指数［ｍ，ｎ］における生の検出結果、すなわち分類マップのバイナリ値を示し得る。生の検出結果は１（テキスト画像オブジェクトに属する）又は０（テキスト画像オブジェクトに属さない）の値のいずれかをとる。結果の密度を増すために（すなわち検出エリアのサイズを増すために）、αｉｎｉｔ［ｍ，ｎ］がまず、具体的には'十字'を持つモルフォロジー膨張フィルタなどの（典型的にはバイナリ）膨張フィルタを用いてフィルタリングされ得る：
【数２】
0006715864.tif 000003
【０１２０】
このように、テキスト画像オブジェクトに属すると検出されるエリアが増加され、それによりテキスト画像オブジェクト画素グループが含まれる尤度を増加し、これらの間の増加した重なりなどをもたらす。
【０１２１】
確率ユニット１０７はローパス時間フィルタリングも適用し得る。膨張フィルタリングが実行される場合、時間フィルタリングはこのフィルタリングの結果に適用され得る。そうでなければ、これは例えば分類マップへ直接適用され得る。
【０１２２】
多くの実施形態において、時間フィルタリングは非対称であり得る、すなわちローパス効果は一方向において他方向よりも顕著であり得る。具体的に、画素グループがテキスト画像オブジェクトに属する尤度を増加させるように変更するための時定数は、画素グループがテキスト画像オブジェクトに属する尤度を減少させるように変更するための字定数よりも低い。
【０１２３】
具体的な実施例として、時間非対称再帰形フィルタが例えば膨張フィルタの出力へ（又は例えば分類マップへ直接）適用され得る。多くの実施形態に適したフィルタの具体例は以下の通りであり得る：
【数３】
0006715864.tif 000004
上付き文字ｔはフレーム番号をあらわす。
【０１２４】
このフィルタはテキストが最初に検出されるときに深度が迅速に修正されることを保証し得る。しかしながら、深度マップ上のテキストの効果はテキストが除去されるときに徐々に低減するのみである。正味の効果は経時安定性がより良好である。α(t)dilは典型的にｔ＝０で全ブロックについてゼロに設定されることに留意されたい。
【０１２５】
一部の実施形態において、フィルタリングは空間フィルタリングを有する。このフィルタリングは分類マップに対して（例えば含まれる場合は膨張フィルタリング後に）直接実行され得るか、又は例えば時間フィルタリング後に実行され得る。
【０１２６】
一部の実施形態において、空間フィルタリングは線形ローパスフィルタであり得る。しかしながら、多くの実施形態において、空間フィルタリングは具体的には少なくとも１つのソフトマックスフィルタを含み得る。
【０１２７】
ソフトマックスフィルタは出力を最大値へ制限するリミッタとフィルタのカスケードであり得る。例えば、ソフトマックスフィルタはローパスフィルタの出力値を最大値へ制限するリミッタとローパスフィルタのカスケードに対応する演算を実行し得る。このように、ソフトマックスフィルタは最大出力値制限を持つフィルタに対応し得る。最大値は１の値であり得るがこれは異なる実施形態間で異なり得ることが理解される。
【０１２８】
具体的に、ソフトマックスフィルタはローパスフィルタなどの標準フィルタ演算を実行するフィルタであり得るが、フィルタ出力がより高い値へバイアスされるようにフィルタ出力に１より大きい値を乗じ、その後このように得られる出力と規定最大値の最小値がとられる。このように定義されるソフトマックスフィルタは従って３つのコンポーネントから成る：（標準）フィルタ演算、乗算係数、及びプリセット最大値。このようにソフトマックスフィルタリングは最大値へのフィルタ出力の制限を伴う空間（ローパス）フィルタリングの適用を有し得る。典型的に、ローパスフィルタリングは（典型的に正規化）ローパスフィルタを用いる最初のフィルタリングの後に、典型的には予め定められる倍率によるフィルタ出力値のスケーリングが続く２段階プロセスであり得る。そして得られるスケーリング済出力は最大値に制限される。しかしながら、スケーリングはフィルタリング全体の一部とみなされ得、例えば空間フィルタのスケーリング（カーネル）係数により例えば実施され得る。最大値は典型的には予め定められる。
【０１２９】
ソフトマックスフィルタの使用は改良された性能を提供し得る。特に、これは内側画素が（ほぼ確実に）テキスト画像オブジェクトであると示される領域を生成しながら、領域の境界へ向かってソフトで段階的な遷移を提供する傾向があり得る。かかる特徴は例えば確率値を用いて字幕ボックスを識別するために特に適する。
【０１３０】
一部の実施形態において、空間フィルタリングは少なくとも２つの順次空間ソフトマックスフィルタを有し得る。異なるソフトマックスフィルタは異なる特徴を持ち得る。具体的に、空間フィルタリングは２つの機能を提供し得る。１つはテキスト画像オブジェクトに対応する領域を埋める、すなわち好適には検出領域内にギャップがないように検出エリアを重ね合わせることである。もう１つは検出エリア周辺の遷移が滑らかで段階的になるように空間平滑化を提供することである。両機能は改良された視覚経験をもたらす。
【０１３１】
このように、具体的な実施例において、第１ソフトマックスフィルタはテキスト画像オブジェクトに対応する検出領域を"埋める"ために適用され得る。そして第２ソフトマックスフィルタが第１ソフトマックスフィルタの結果に適用されて滑らかな遷移を生成し得る。
【０１３２】
具体例として、時間フィルタリングに続き、一部のテキストオブジェクトはテキスト画像オブジェクトに属するエリアの指示の非常に疎に満たされるマップをもたらし得る。従って、例えば字幕ボックス内部のホールを埋めるために、'ソフトマックス'フィルタが適用され得る。例えば２１ブロックのカーネル高と３５ブロックのカーネル幅を伴うソフトマックスフィルタが使用され得る：
【数４】
0006715864.tif 000005
【０１３３】
具体例としてαは１の値が２５５によりあらわされるように８ビット数によりあらわされ得る。この実施例ではＫ１＝３２の値がしばしば使用され得る。かかるソフトマックスフィルタは多くの実施形態において文字とワードの間のホールを埋め得る。
【０１３４】
この第１ソフトマックスフィルタの後に第２ソフトマックスフィルタが続き、これはテキスト画像オブジェクトに対応する深度マップの領域と深度マップの周辺エリアとの間のハードな空間的境界を除去し、従ってこれが提示されるときに３次元画像の残りとテキストの間のソフトな遷移を提供しようとする。
【０１３５】
第２ソフトマックスフィルタは第１ソフトマックスフィルタに対応し得るがパラメータが異なり、具体的にはフィルタがマックスフィルタのようでなく、よりローパスフィルタのように振舞うよう、分母がより大きくなる。具体例では、高さ１１及び幅２５画素のカーネルサイズが使用され得る：
【数５】
0006715864.tif 000006
【０１３６】
再度、αは８ビット数によりあらわされ得、分母の適切な値はＫ２＝２５６であり得る。
【０１３７】
２つの順次ソフトマックスフィルタの使用は改良された性能をもたらし得るだけでなく実施容易化も可能にし得る。具体的に、同じアルゴリズム若しくは関数が単にパラメータ値を変更して使用され得る。実際、多くの実施形態では例えば積分画像アプローチを用いることなどにより画像データもより効率的に（再）利用され得る。
【０１３８】
図５は確率マップを決定するための上記アプローチ例の結果の実施例を例示する。図５はバイナリ膨張フィルタリングと時間フィルタリング後の入力画像５０１と分類マップ５０３を示す。見られる通り、この段階における確率マップは非常に疎密度であり得る（白がテキスト画像オブジェクトに属する確率の高いエリアを示し、黒がテキスト画像オブジェクトに属する確率の低いエリアを示す）。第１ソフトマックスフィルタの出力５０５が示される。見られる通り、このフィルタリングはテキスト画像オブジェクトに属する可能性があるとみなされるエリアの顕著な増加をもたらす。しかしながら遷移はかなり急である。第２ソフトマックスフィルタの出力５０７も示される。見られる通り、これは第１ソフトマックスフィルタの出力にかなり密接に対応するが大幅に平滑化された遷移を持ち、オートステレオスコピックディスプレイ１０１によりレンダリングされる画像においてはるかにより段階的な深度遷移をもたらす。
【０１３９】
上記実施例において、分類マップとそのフィルタリング／処理は、複数の画素を有する画素グループを、具体的には画素ブロックを使用して実行された。実際、実施例では８×８画素のブロックが使用された。これは解像度を６４倍減らし、従って実質的により効率的でより要求の少ない演算を可能にし得る。さらに、本発明者らは所望の性能と知覚画質を依然実現しながらこの解像度低減が適用され得ることに気が付いた。
【０１４０】
しかしながら、知覚画質を改良するために、重み付き組み合わせのための重みがブロックレベル解像度よりも高解像度で生成され得、具体的には画素解像度において生成され得る。
【０１４１】
これはブロックベース深度値間の補間を用いることにより実現され得る。例えば、隣接ブロックに対する確率値間の補間がブロックの個別画素に対する深度値を生成するために使用され得る。補間のための重みは画素グループ内の画素の位置に基づいて決定され得る。
【０１４２】
例えば、第１及び第２深度値間の補間が実行され得る。第１及び第２の深度値について実質的に画素グループ間の境界上の画素の場合、深度値は第１及び第２の深度値を実質的に均等に重み付けすることにより決定され得る。例えば単純平均化が実行され得る。しかしながら、１画素グループの中心の画素に対して、深度値は単にその画素グループに対して決定される深度値として決定され得る。
【０１４３】
明確にするための上記説明は異なる機能回路、ユニット及びプロセッサを参照して本発明の実施形態を記載していることが理解される。しかしながら、異なる機能回路、ユニット若しくはプロセッサ間での任意の適切な機能の分散が本発明から逸脱することなく使用され得ることが理解される。例えば、個別のプロセッサ若しくはコントローラにより実行されるように例示される機能は同じプロセッサ若しくはコントローラにより実行され得る。従って、具体的機能ユニット若しくは回路への言及は厳密な論理的又は物理的構造又は構成を示すのではなく記載の機能を提供するための適切な手段への言及とみなされるに過ぎない。
【０１４４】
本発明はハードウェア、ソフトウェア、ファームウェア若しくはこれらの任意の組み合わせを含む任意の適切な形式で実施され得る。本発明はオプションとして１つ以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして少なくとも部分的に実施され得る。本発明の一実施形態の要素及びコンポーネントは任意の適切な方法で物理的に、機能的に、及び論理的に実施され得る。実際に機能は単一ユニットで、複数のユニットで、又は他の機能ユニットの一部として実施され得る。従って、本発明は単一ユニットで実施され得るか、又は異なるユニット、回路及びプロセッサ間で物理的に及び機能的に分散され得る。
【０１４５】
本発明は一部の実施形態に関連して記載されているが、本明細書に記載の具体的形式に限定されることを意図しない。むしろ、本発明の範囲は添付のクレームによってのみ限定される。加えて、特徴が特定の実施形態と関連して記載されるように見えるかもしれないが、当業者は記載の実施形態の様々な特徴が本発明に従って組み合わされ得ることを認識し得る。クレーム中、有するという語は他の要素若しくはステップの存在を除外しない。
【０１４６】
さらに、個別にリストされるが、複数の手段、要素、回路若しくは方法ステップは例えば単一回路、ユニット若しくはプロセッサにより実施され得る。加えて、個々の特徴が異なるクレームに含まれ得るが、これらは場合により有利に組み合わされ得、異なるクレームへの包含は特徴の組み合わせが実現可能及び／又は有利でないことを示唆しない。またクレームの１カテゴリにおける特徴の包含はこのカテゴリへの限定を示唆するのではなく、特徴が必要に応じて他のクレームカテゴリへ等しく適用可能であることを示す。さらに、クレーム中の特徴の順序は特徴が動作されなければならないいかなる具体的な順序も示唆せず、特に方法クレームにおける個々のステップの順序はステップがこの順序で実行されなければならないことを示唆しない。むしろ、ステップは任意の適切な順序で実行され得る。加えて、単数形の言及は複数を除外しない。従って"ａ"、"ａｎ"、"第１"、"第２"などへの言及は複数を除外しない。クレーム中の参照符号は単に明確にする実施例として提供され、決してクレームの範囲を限定するものと解釈されないものとする。
【図１】
0006715864.tif 000007
【図２】
0006715864.tif 000008
【図３（ａ）】
0006715864.tif 000009
【図３（ｂ）】
0006715864.tif 000010
【図４】
0006715864.tif 000011
【図５】
0006715864.tif 000012