(57)【要約】符号化アーティファクトに対する人間の感性を低下させるために快適ノイズ又はフィルム粒子の形のノイズが画像深さ情報に応じて３次元画像に付加され、それにより主観的な画像品質を改善する。
2013530618.tif 000002
【特許請求の範囲】
【請求項１】
３次元画像にノイズを付加する方法であって、
画像深さに応じて前記画像の異なる領域にノイズを付加するステップを含む、方法。
【請求項２】
前記ノイズは快適ノイズを含む、請求項１記載の方法。
【請求項３】
前記ノイズはフィルム粒子を含む、請求項１記載の方法。
【請求項４】
前記３次元画像は第１のビュー及び第２のビューを有し、前記ノイズは前記画像深さに応じて前記第１のビュー及び前記第２のビューに付加される、請求項１記載の方法。
【請求項５】
前記ノイズを付加するステップは、
前記画像内の第１のビューについてのノイズを計算するステップと、
当該計算されたノイズを前記第１のビューピクチャに付加するステップと、
前記画像深さに応じて前記第１のビューピクチャについて前記計算されたノイズから第２のビューピクチャについてのノイズを合成するステップと、
当該合成されたノイズを前記第２のビューピクチャに付加するステップと、
を更に含む、請求項１記載の方法。
【請求項６】
前記第２のビューピクチャについてのノイズを合成するステップは、
前記合成されたノイズのうちの値が欠損している領域を識別するステップと、
当該識別された領域をノイズで埋めるステップと、
を更に含む、請求項５記載の方法。
【請求項７】
第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する方法であって、
前記第１のビューピクチャからフィルム粒子を抽出するステップと、
前記第２のビューピクチャから粒子を除去するステップと、
画像深さに基づいて前記第１のビューピクチャについて当該抽出されたフィルム粒子から前記第２のビューピクチャについてフィルム粒子を合成するステップと、
当該合成されたフィルム粒子を前記第２のビューピクチャに付加するステップと、
を含む、方法。
【請求項８】
前記第２のビューピクチャについてフィルム粒子を合成するステップは、
前記合成されたフィルムのうちの値が欠損している領域を識別するステップと、
当該識別された領域をフィルム粒子で埋めるステップと、
を更に含む、請求項７記載の方法。
【請求項９】
第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する方法であって、
前記第１のビューピクチャからフィルム粒子を除去するステップと、
前記第２のビューピクチャから粒子を除去するステップと、
前記第１のビューピクチャのために快適ノイズ及びフィルム粒子のいずれか一方を生成するステップと、
画像深さに基づいて前記第１のビューピクチャのために当該生成された快適ノイズ及びフィルム粒子のいずれか一方から前記第２のビューピクチャのために快適ノイズ及びフィルム粒子のいずれか一方を合成するステップと、
当該合成された快適ノイズ及びフィルム粒子のいずれか一方を前記第２のビューピクチャに付加するステップと、
を含む、方法。
【請求項１０】
前記第２のビューピクチャのために快適ノイズ及びフィルム粒子のいずれか一方を合成するステップは、
前記合成された快適ノイズ及びフィルム粒子のいずれか一方のうちの値が欠損している領域を識別するステップと、
当該識別された領域を快適ノイズ及びフィルム粒子のいずれか一方で埋めるステップと、
を更に含む、請求項９記載の方法。
【請求項１１】
３次元画像にノイズを付加する装置であって、
画像深さに応じて前記画像の異なる領域にノイズを付加するノイズ発生器を含む、装置。
【請求項１２】
前記ノイズ発生器は、
前記画像内の第１のビューについてのノイズを計算する手段と、
当該計算されたノイズを前記第１のビューピクチャに付加する手段と、
前記画像深さに応じて前記第１のビューピクチャについて前記計算されたノイズから第２のビューピクチャについてのノイズを合成する手段と、
当該合成されたノイズを前記第２のビューピクチャに付加する手段と、
を更に含む、請求項１１記載の装置。
【請求項１３】
前記第２のビューピクチャについてのノイズを合成する手段は、
前記合成されたノイズのうちの値が欠損している領域を識別する手段と、
当該識別された領域をノイズで埋める手段と、
を更に含む、請求項１２記載の装置。
【請求項１４】
第１のビューピクチャ及び第２のビューピクチャを有する３次元画像にフィルム粒子を付加する装置であって、
前記第１のビューピクチャからフィルム粒子を抽出する手段と、
前記第２のビューピクチャから粒子を除去する手段と、
画像深さに基づいて前記第１のビューピクチャについて当該抽出されたフィルム粒子から前記第２のビューピクチャについてフィルム粒子を合成する手段と、
当該合成されたフィルム粒子を前記第２のビューピクチャに付加する手段と、
を含む、装置。
【請求項１５】
前記第２のビューピクチャについてフィルム粒子を合成する手段は、
前記合成されたフィルムのうちの値が欠損している領域を識別する手段と、
当該識別された領域をフィルム粒子で埋める手段と、
を更に含む、請求項１４記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル画像へのノイズの付加に関する。
【背景技術】
【０００２】
時の経過に従って、テレビジョンは、白黒画像からカラー画像となり、そして今、高精細度に発展してきた。現在、テレビジョン機器のいくつかのメーカが３次元（３Ｄ）で画像を生成して表示することが可能な製品を市場に出し始めている。その新たに出現する３Ｄテレビジョンディスプレイ装置は、台形歪み、奥行き面湾曲、倍率、小型化効果、せん断歪み、クロストーク、ピケットフェンス効果、画像フリッピングを含むいくつかの視覚的な不快感の根源を招く。加えて、視覚的な違和感は不鮮明の結果、奥行き手掛かり、例えば、高速の動きの画像領域の不足から生じる可能性がある。鑑賞者は奥行き手がかりの欠如を有する画像内の領域を見るときにしばしば不快感を覚える。３Ｄ画像を左目及び右目で見る際におけるフィルム粒子に関連付けられたランダムノイズの違いは奇妙な視覚効果を表現させることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ディジタル画像に対するディザ信号の付加は、輪郭アーティファクトやブロッキングアーティファクト等の符号化アーティファクトに対する人間の感性を低下させることができ、主観品質を向上させることができる。一般的には、ビデオに「快適ノイズ(Comfort noise)」と呼ばれるノイズを付加することは、本目的を達成することに役に立つ。２次元画像に快適ノイズを付加する技術が存在するが、３Ｄ画像に快適ノイズを付加する良く知られた技術は存在しない。
【課題を解決するための手段】
【０００４】
簡単に記述すると、本発明の原理の好適な実施形態によれば、画像の深度に応じて、画像の異なる領域にノイズを加える工程を含む、３次元画像にノイズを付加する方法が提供される。
【図面の簡単な説明】
【０００５】
【図１】本発明の原理に従って３次元画像にノイズを付加するために本発明の原理による装置の例示的な実施形態を示している。
【図２】本発明の原理の第１の例示的な実施形態に応じて３次元画像にノイズを付加する方法のステップをフロー図として示している。
【図３】第２の好適な実施形態に応じて３次元画像にノイズを付加する方法のステップをフロー図として示している。
【図４】本発明の原理の第２の好適な実施形態に応じて３次元画像にフィルム粒子を付加する方法のステップをフロー図として示している。
【発明を実施するための形態】
【０００６】
図１は、本発明の原理の好適な実施形態に応じて３次元画像、通常、ディジタル画像にノイズを付加する装置１０の概略ブロック図を示している。以下でより詳細に説明されるように、ノイズはアーティファクトを低減するために画像に付加された種類の「快適」ノイズの形をとることができる。或いは、映画フィルムに基づいたビデオを含むディジタル画像の場合には、ノイズは、映画フィルムの状態を模倣するために、フィルム粒子の形をとることができる。以下では、ノイズ付加に言及するときに、付加されたノイズは、フィルム粒子又は快適ノイズを含む可能性がある。
【０００７】
装置１０は様々な形態を取ることができる。例示的な実施形態では、装置１０は、ケーブルシステムのヘッドエンド等のデータソース１２からビデオと深さ情報を含むビットストリームを受信するセットトップボックスを備えている。デマルチプレクサ１４はビデオデコーダ１６及び深さデコーダ１７各々によって復号化するためにビデオと深さ情報とを分離する。快適ノイズモジュール１８は、復号化されたビデオと深さ情報から快適ノイズを生成して３Ｄテレビ受像機（図示せず）による受信のために３次元（３Ｄ）ビデオ出力信号を得る。
【０００８】
快適ノイズモジュール１８は、ビデオデコーダ１６及び深さデコーダ１７各々から供給された復号化ビデオ及び深さ情報に応じて快適ノイズを生成する快適ノイズ発生器２０を備えている。実際には、ノイズ発生器２０は、プログラム命令を実行するためにプロセッサ（図示せず）の形を取ることができる。快適ノイズ生成器２０が復号化されたビデオ及び深さ情報に応じて快適ノイズを生成する方法は、図２及びその付随説明を参照することにより以下において理解され得る。快適ノイズ及びビデオミキサ２２は、快適ノイズ発生器２０から快適ノイズを、復号化されたビデオ及び深さ情報と組み合わせて３Ｄビデオ出力信号を生成する。
【０００９】
図２は、本発明の原理の好ましい実施形態に応じて快適ノイズを生成する方法のステップをフロー図の形式で示している。換言すれば、図２の方法は、ノイズ発生器２０内のプロセッサの命令を構成する。図２の方法は、初期化が発生した時に開始ステップ２００で始まる。その後、ステップ２０２は、左ビューのために快適ノイズ値ＮLを生成することを実行する。以下、より良く理解されるように、動きを含む一般的な３Ｄビデオ画像はピクチャのペアを含んでおり、各ペアは左右のビューを含む。本発明の原理の技術のノイズ発生は、ペアの左ビューピクチャについて先ず快適さを生成し、その値を使用してペアの右ビューピクチャについての快適ノイズを生成する。
【００１０】
ペアの左ビューピクチャについてのノイズを生成するために、図１の快適ノイズ生成器２０は、特定のピクチャ（以下、「ノイズ」ピクチャと称する）Ｎを次の関係式：
Ｎ(k,x,y)=α(k,x,y)×Ｎ(k-1,x,y)＋(1-α(k,x,y))×β(k,x,y)×R(k,x,y)     式(1)
によって数学的に表すことができる付加ノイズモデルを利用する。ここで、ｋはフレーム番号であり、ｘ，ｙはピクセルの水平及び垂直座標である。R(k,x,y)は一般的にガウス分布又はラプラシアン分布のランダムな数値である。α(k,x,y)及びβ(k,x,y)はそれぞれ時間的な相関係数及び輝度係数であり、０と１の間の範囲の値をとる。α(k,x,y)は再構成画像の画素又はそれに対応するブロックと、前に表示された画像の同一位置にある画素又はブロックとの間の時間的な相関に依存し、一方、β(k,x,y)は現在の画素又はそれに関連したブロックの明るさに依存する。式(1)を用いたステップ２０２の間の左ビューピクチャについての快適ノイズピクチャ（ＮL）の生成に続いて、このノイズピクチャはステップ２０４の間に左ビューピクチャに付加される。
【００１１】
ステップ２０４に続いて、右ビューピクチャについてのノイズピクチャ（ＮR）の合成が生じる。右ビューノイズピクチャＮRの合成はいくつかのステップで生じる。先ず、ステップ２０６の間に、左ノイズピクチャＮLは、一般的に「ホール」又は欠損値を有する右ビューノイズピクチャ（ＮRwithHoles）を得るためにワーピング（Warping）を受ける。そのようなホールの埋め方法は、図３を参照することにより以下に明らかになる。
【００１２】
３Ｄピクチャをワーピングする処理は、通常、１つ以上の画像から新しい視点（ビューポイント）及び基準面にピクセルを投影することを伴う。図１のビデオデコーダ１６及び深さデコーダ１７から得ることができるように、シーン及び深さ情報を用いて３Ｄ画像ワーピングを達成するために当該技術分野において様々な技術が存在する。例えば、深さベースの画像レンダリングはマトリックス乗算を使用して、参照画像及び関連付けられた深さ情報から仮想ビューを合成するためのよく知られた処理を構成している。
【００１３】
ステップ２０６に続いて、図２のステップ２０８は、右ビューノイズピクチャ（ＮRwithHoles）のホールを埋めることを実行してより完全な右ビューノイズピクチャ（ＮR）を生み出す。ホール埋めが生じる処理は図３を参照することによってより良く理解され得る。右ビューノイズピクチャ（ＮR）は、ステップ２１０の間に右ノイズビューに付加される。次に、ステップ２１２は、付加のピクチャが処理のために画像内に存在するか否かをチェックすることを実行する。付加の画像が処理のために存在しない場合には、処理はステップ２１４で終了する。そうでなければ、更なるピクチャが存在しなくなるまでステップ２０２ないし２１２は再び実行を受ける。
【００１４】
図２に示された快適ノイズ付加方法は、左右のノイズピクチャがビデオ画像と同じ視差（disparity）を有することを前提としている。単に左右のビューに同一のノイズを付加すること、又はノイズピクチャを個別に付加することと比べて、ノイズピクチャを合成するために深さ情報に依存している本発明の原理の快適ノイズ付加技術は、最適な鑑賞品質を経験的に提供する。
【００１５】
図３は右ビューノイズピクチャ（ＮRwithHoles）内のホール（欠損値）を埋めるための本発明の原理による方法のステップをフロー図の形式で示している。ホールの領域内にグラウンドトルース(ground truth)情報が存在し他の視点から閉塞されずに残る従来のホール埋め問題とは異なり、そのようなグラウンドトルース情報はワーピングされたノイズピクチャのホール領域内に存在しない。この問題を克服するために、本発明の原理のホール埋め方法は、バックグラウンドノイズを伝搬するのではなく、代わりに新たなノイズ情報を生成する。新しいノイズの生成は左右のビューピクチャが快適ノイズの付加に続いてより自然に見えるように低減アーティファクトの結果となる。
【００１６】
図３の方法は、初期化の間にステップ３００で始まる。次に、ステップ３０２は埋めることが必要な右ビューノイズピクチャ（ＮRwithHoles）内の領域（すなわち、ホール）、すなわち、補正が必要な欠損値を有する領域をマーク、又は別の方法で識別することを実行する。ステップ３０４の間には、図１の快適ノイズ発生器２０１は、そのホールを含むピクセルについての画像及び深さ情報に基づいて「ホール」毎に快適ノイズを生成する。その後、ステップ３０４の間にホールのために生成されたノイズ値は、右ビューノイズピクチャ（ＮRwithHoles）にコピーされてより完全な右ノイズピクチャ（ＮR）を得る。その後、処理はステップ３０８で終了する。
【００１７】
映画フィルムに記録された画像は、通常、目に見える粒子を示す。そのような粒子は、十分に光子を受けているハロゲン化銀から開発された金属銀の小さな粒子の存在のために処理された写真フィルムのランダム光学組織を構成している。よって、異なるピクチャ又はビュー内のフィルム粒子は互いに独立して残っている。３Ｄモードでフィルムを見るときに、無関係なノイズが不快な視覚効果を引き起こす。
【００１８】
本発明の原理の別の実施形態によれば、画像に本来存在するフィルム粒子は、抽出されて、不快な視覚効果を避けるために３Ｄ鑑賞用に特に合成されたフィルム粒子と置換される。図４は、本来の粒子を抽出し、深さ情報に基づいてフィルム粒子を合成する方法のステップをフロー図の形式で示している。
【００１９】
図４の方法は、初期化が生じた間に開始ステップ４００の実行の際に開始する。その後、左ビューピクチャに存在するフィルム粒子（ＧｒａｉｎL）はステップ４０２の間に抽出される。既存のフィルム粒子抽出器（図示せず）はその粒子を抽出するために機能することができる。フィルム粒子がいくつかの空間相関と時間的に相互に関連を持たされていないようであるので、１以上の時間的なフィルタ（図示せず）がフィルム粒子を除去することができる。フィルタリング後の一時的な平滑化画像と原画像との差分は抽出されたフィルム粒子を含む。ステップ４０２の後、ステップ４０４の実行でその間にフィルム粒子（ＧｒａｉｎR）が同様の技術を用いて右ビューピクチャから抽出される。
【００２０】
ステップ４０４に続いて、ステップ４０６は、右ビューピクチャからフィルム粒子を除去するために実行される。その後、左ビューピクチャ用の抽出されたフィルム粒子（ＧｒａｉｎR）は、ステップ４０８の間にワーピングを受けて右ビューピクチャ用の合成粒度（ＧｒａｉｎRwithHoles）を得る。左ビュー用の抽出されたフィルム粒子（ＧｒａｉｎL）のワーピングは図２のステップ２０６について前述された左ビュー快適ノイズピクチャをワーピングする処理と同様の方法で生じる。合成粒子（ＧｒａｉｎRwithHoles）に存在するホールは図２のステップ２０８と関連して説明された方法と同様の方法でステップ４１０の間に埋められて右ビューピクチャ用のより多くのフィルム粒子（ＧｒａｉｎR）を得る。ステップ４１０の後に、ステップ４１２の実行でその間に、より完全な右粒子（ＧｒａｉｎR）が右ビューピクチャに対して付加される。ステップ４１２に続くステップ４１４は、その間に、付加のピクチャが処理のためにビデオ画像に存在するか否か判別するためにチェックを行う。付加のピクチャが処理のために存在しない場合にはその処理はステップ４１６で終了する。そうでなければ、ステップ４０２ないし４１２は更なるピクチャが処理のために存在しなくなるまで再び実行される。
【００２１】
上述されたように、図４のフィルム粒子ノイズ付加技術は、左右のビューピクチャ内のフィルム粒子を抽出して除去することによって機能する。左ビューから右ビューへ抽出されたフィルム粒子をワーピングすることに代えて、図２及び図３について説明された技術を用いて左右のビューに快適ノイズを付加することができる。
【００２２】
本明細書に記載された全ての実施形態ついては、本発明の原理のノイズ付加技術は、左ビューノイズ及びフィルム粒子をワーピングすることに反対にするように、右ビューピクチャ快適ノイズ及びフィルム粒子をワーピングして左ビューノイズ及び快適粒子を各々得るように動作することができる。
【００２３】
上記したことはディジタル画像にノイズを付加する技術の説明である。
【図１】
2013530618.tif 000003
【図２】
2013530618.tif 000004
【図３】
2013530618.tif 000005
【図４】
2013530618.tif 000006
【国際調査報告】
2013530618.tif 000007
2013530618.tif 000008