(57)【要約】【課題】フィルムグレインの良好な再現を可能にする情報符号化方法を提供すること。【解決手段】  情報符号化方法は、入力画像情報に対するノイズ除去処理により、前記入力画像情報からメイン画像情報を生成し、前記入力画像情報及び前記メイン画像情報から、前記入力画像情報に含まれるノイズ画像情報を推定し、前記ノイズ画像情報に対応する第１のモデル情報を生成し、前記第１のモデル情報に含まれる複数のパラメータのうちの所定条件を満たさないパラメータを修正し、修正を反映させた複数のパラメータを含む第２のモデル情報を生成し、前記メイン画像情報を符号化し符号化画像情報を生成し、前記符号化画像情報、前記第１のモデル情報、及び前記第２のモデル情報を含む符号化情報を生成する。【選択図】      図１
2008219163.tif 000002
【特許請求の範囲】
【請求項１】
入力画像情報に対するノイズ除去処理により、前記入力画像情報からメイン画像情報を生成し、
前記入力画像情報及び前記メイン画像情報から、前記入力画像情報に含まれるノイズ画像情報を推定し、前記ノイズ画像情報に対応する第１のモデル情報を生成し、
前記第１のモデル情報に含まれる複数のパラメータのうちの所定条件を満たさないパラメータを修正し、修正を反映させた複数のパラメータを含む第２のモデル情報を生成し、
前記メイン画像情報を符号化し符号化画像情報を生成し、
前記符号化画像情報、前記第１のモデル情報、及び前記第２のモデル情報を含む符号化情報を生成する情報符号化方法。
【請求項２】
入力画像情報を符号化して符号化画像情報を生成し、
前記入力画像情報及び前記符号化画像情報の復号化画像情報から、前記符号化画像情報の生成に伴い損失したノイズ画像情報を推定し、前記ノイズ画像情報に対応する第１のモデル情報を生成し、
前記第１のモデル情報に含まれる複数のパラメータのうちの所定条件を満たさないパラメータを修正し、修正を反映させた複数のパラメータを含む第２のモデル情報を生成し、
前記符号化画像情報、前記第１のモデル情報、及び前記第２のモデル情報を含む符号化情報を生成する情報符号化方法。
【請求項３】
請求項１又は２に記載の前記符号化情報に含まれる前記第１及び第２のモデル情報のうちの前記第１のモデル情報を選択し、
前記第１のモデル情報から前記ノイズ画像情報を生成し、
前記符号化情報に含まれる前記符号化画像情報を復号化して復号化画像情報を生成し、
前記復号化画像情報及び前記ノイズ画像情報に基づき出力画像情報を生成し、
前記出力画像情報を出力する情報再生方法。
【請求項４】
請求項１又は２に記載の前記符号化情報を記憶した情報記憶媒体。
【請求項５】
入力画像情報に対するノイズ除去処理により、前記入力画像情報からメイン画像情報を生成し、
前記入力画像情報及び前記メイン画像情報から、前記入力画像情報に含まれるノイズ画像情報を推定し、前記ノイズ画像情報と前記メイン画像情報に対する前記ノイズ画像情報の合成領域を示す領域情報とを含むモデル情報を生成し、
前記メイン画像情報を符号化し符号化画像情報を生成し、
前記符号化画像情報及び前記モデル情報を含む符号化情報を生成する情報符号化方法。
【請求項６】
入力画像情報を符号化して符号化画像情報を生成し、
前記入力画像情報及び前記符号化画像情報の復号化画像情報から、前記符号化画像情報の生成に伴い損失したノイズ画像情報を推定し、前記ノイズ画像情報と前記メイン画像情報に対する前記ノイズ画像情報の合成領域を示す領域情報とを含むモデル情報を生成し、
前記メイン画像情報を符号化し符号化画像情報を生成し、
前記符号化画像情報及び前記モデル情報を含む符号化情報を生成する情報符号化方法。
【請求項７】
請求項５又は６に記載の前記符号化情報に含まれる前記符号化画像情報を復号化して復号化画像情報を生成し、
前記符号化情報に含まれる前記モデル情報の中の前記領域情報に基づき、前記復号化画像情報に対して前記モデル情報の中の前記ノイズ画像情報を合成し、
合成画像を出力する情報再生方法。
【請求項８】
請求項５又は６に記載の前記符号化情報を記憶した情報記憶媒体。
【請求項９】
画像領域及び非画像領域を含む画像情報と、
前記画像情報に対して合成されるノイズ画像情報と、
前記非画像領域と前記ノイズ画像の重なり領域の表示を制御するための制御情報と、
を記憶した情報記憶媒体。
【請求項１０】
前記制御情報は、前記非画像領域に重ね合わせる制御画像の色情報、及び前記画像領域の表示位置を示す位置情報を含むことを特徴とする請求項９に記載の情報記憶媒体。
【請求項１１】
前記制御情報は、前記画像領域の表示位置を示す位置情報を含むことを特徴とする請求項９に記載の情報記憶媒体。
【請求項１２】
請求項１０に記載の前記情報記憶媒体に記憶された前記位置情報及び前記色情報に基づき、前記制御画像を生成し、
前記画像情報、前記ノイズ画像情報、及び前記制御画像を合成し、
合成画像を出力する情報再生方法。
【請求項１３】
請求項１１に記載の前記情報記憶媒体に記憶された前記ノイズ画像情報及び前記位置情報に基づき、前記画像領域に対して前記ノイズ画像情報を合成し、
合成画像を出力する情報再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルムグレインテクノロジー（Film Grain Technology：ＦＧＴ）に関する。
【背景技術】
【０００２】
デジタルバーサタイルディスク（ＤＶＤ）のコンテンツ用途等を目的として映画フィルム映像を符号化する場合、映画本来の雰囲気を損なってしまうことがある。これは、符号化に伴い映像中のフィルムグレイン（フィルムの粒子感）が失われるためである。フィルムグレインはハリウッドの魂とも呼ばれており、ＤＶＤオーサリングスタジオにおいて非常に重要視されている。
【０００３】
特許文献１には、フィルムグレインシミュレーション方法が開示されている。また、動画像符号化の国際標準規格の一つであるＨ．２６４には、フィルムグレインテクノロジー（Film Grain Technology：ＦＧＴ）が開示されている。これら開示された技術によると、メイン画像に対してフィルムグレイン画像を合成することにより、フィルムグレインを残した映像を提供することが可能となる。
【特許文献１】米国特許出願公開第２００６／００８２６４９号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００４】
発明者らの検討によれば、復号されたメイン画像に対して微弱なフィルムグレイン画像を足し合わせると、すなわちフィルムグレインを再現するための情報のうちフィルムグレインの強度を示す情報の値が小さいときに、出力画像のブロック縦境界に歪みが見えるという現象が生じることが確認された。これは出力画像の品質を大きく損ねる。
【０００５】
また、映像領域と接する黒帯領域に、本来必要のないフィルムグレインが加算されてしまうと、これもまた出力画像の品質低下につながる。
【０００６】
本発明の目的は、上記課題を解決するためになされたものであり、フィルムグレインの良好な再現を可能にするための情報符号化方法及び情報記憶媒体、並びにフィルムグレインの再現性に優れた情報再生方法を提供することにある。
【課題を解決するための手段】
【０００７】
この発明の情報符号化方法、情報記憶媒体、及び情報再生方法は、以下のように構成されている。
【０００８】
（１）この発明の一例の情報符号化方法は、入力画像情報に対するノイズ除去処理により、前記入力画像情報からメイン画像情報を生成し、前記入力画像情報及び前記メイン画像情報から、前記入力画像情報に含まれるノイズ画像情報を推定し、前記ノイズ画像情報に対応する第１のモデル情報を生成し、前記第１のモデル情報に含まれる複数のパラメータのうちの所定条件を満たさないパラメータを修正し、修正を反映させた複数のパラメータを含む第２のモデル情報を生成し、前記メイン画像情報を符号化し符号化画像情報を生成し、前記符号化画像情報、前記第１のモデル情報、及び前記第２のモデル情報を含む符号化情報を生成する。
【０００９】
（２）この発明の一例の情報再生方法は、前記符号化情報に含まれる前記第１及び第２のモデル情報のうちの前記第１のモデル情報を選択し、前記第１のモデル情報から前記ノイズ画像情報を生成し、前記符号化情報に含まれる前記符号化画像情報を復号化して復号化画像情報を生成し、前記復号化画像情報及び前記ノイズ画像情報に基づき出力画像情報を生成し、前記出力画像情報を出力する。
【００１０】
（３）この発明の情報記憶媒体は、前記符号化情報を記憶する。
【発明の効果】
【００１１】
本発明によれば、フィルムグレインの良好な再現を可能にするための情報符号化方法及び情報記憶媒体を提供できる。また、本発明によれば、フィルムグレインの再現性に優れた情報再生方法を提供できる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。
【００１３】
フィルムグレインの符号化処理の概略について説明する。まず動画像である入力画像に対してフィルムグレイン除去処理を施すことにより、フィルムグレインを除去したメイン画像を生成する。生成されたメイン画像に対して、符号化部により動き補償、直交変換及び量子化を用いた圧縮符号化の処理を行う。一方、ノイズ推定部により入力画像とメイン画像との差分からフィルムグレイン画像を生成し、フィルムグレインを再現するための情報（引用するフィルムグレイン画像データベースを識別するための情報、フィルムグレインの強度等）を推定してモデル情報を生成する。
【００１４】
次に、復号処理では、復号部によって復号画像としてフィルムグレインが除去されているメイン画像を生成し、ノイズ生成部によって符号化部から送られてきたモデル情報を用いてメイン画像からノイズ画像、すなわちフィルムグレイン画像を生成する。生成されたメイン画像とフィルムグレイン画像を足し合わせることで、フィルムグレインが再現された出力画像を得る。
【００１５】
以上により、フィルムグレインを分離してモデル化するため、符号化処理によってフィルムグレインが失われることがなく、映画本来の雰囲気を再現できる。
【００１６】
発明者らの検討によれば、復号されたメイン画像に対して微弱なフィルムグレイン画像を足し合わせると、すなわちフィルムグレインを再現するための情報のうちフィルムグレインの強度を示す情報の値が小さいときに、出力画像のブロック縦境界に歪みが見えるという現象が生じることが確認された。これは出力画像の品質を大きく損ねる。フィルムグレイン画像生成処理においては、フィルムグレイン画像の継ぎ目を目立たなくする目的で、ブロックの縦境界（vertical edge）に対して、デブロッキングフィルタと呼ばれる平滑フィルタ処理を施す。このデブロックフィルタでは、下記式に示すように丸め項を含まない切捨て処理を行う。
【００１７】
for( k = 0; k < 8; k++){
l1 = previous_fg_block[ 6 ][ k ]
l0 = previous_fg_block[ 7 ][ k ]
r0 = fg_block[ 0 ][ k ]
r1 = fg_block[ 1 ][ k ]
fg_block[ 0 ][ k ] = (l0 + (r0 << 1) + r1) >> 2
previous_fg_block[ 7 ][ k ] = (l1 + (l0 << 1) + r0) >> 2
}
そのため、デブロックフィルタにより値が更新されるブロックの縦境界部のフィルムグレイン信号レベルの分布が、その他の領域で発生するフィルムグレイン信号レベルの分布に対して、負側にずれるため、出力画像のブロック縦境界に歪が見られる原因となっている。これに対して、デブロックフィルタを省略、もしくはデブロックフィルタで丸め項を含む四捨五入処理を行う等の対策により、縦境界の歪みが解決できる。
【００１８】
このような縦歪み対策を適用した場合、縦歪み対策済み機と縦歪み未対策機とのコンパチビリティの確保が必要となる。すなわち、フィルムグレインの再現性が高い(すなわちフィルムグレイン強度を示す情報値が小さい場合も含む)データを再生する場合、縦歪み対策済み機では縦歪み無しに再生可能であるが、縦歪み未対策機では縦歪みが発生する危険性が残る。以下説明する本実施形態では、このような縦歪み対策済み機と縦歪み未対策機とのコンパチビリティの確保を可能にする。
【００１９】
また、映画における映像領域と接する黒帯領域に、本来必要のないフィルムグレインが加算される点の改善も必要とされている。復号画像のブロック毎にフィルムグレインを加算するため、復号画像のブロックが映像領域と黒帯領域を跨ぐ場合、映像領域と同等のフィルムグレインが黒帯に加算されてしまう。以下説明する本実施形態では、このようなフィルムグレインが黒帯に加算されてしまうことによる画質低下を改善する。
【００２０】
（第１の実施形態）
第１の実施形態では、Film Grain characteristics SEI(Supplemental Enhancement Information )を二個生成する画像符号化装置(Noise reduction(NR)あり)と、FG_SEIを二個含む圧縮データを記憶した情報記憶媒体と、この情報記憶媒体に記憶された二個のFG SEI から一つのFG SEIを選択する画像復号化装置（情報再生装置）とを説明する。
【００２１】
フィルムグレインシミュレーションシステムは、画像符号化装置と画像復号化装置を備える。
【００２２】
まず、画像符号化装置について説明する。図１に示すように、画像符号化装置Ａ１０８は、ノイズリダクション部Ａ１０１、ビデオエンコード部Ａ１０２、フィルムグレイン推定部Ａ１０３、フィルムグレイン再現情報変調部Ａ１０４、フィルムグレイン再現情報二重化部Ａ１０５、多重化部Ａ１０６を備える。
【００２３】
入力画像Ａ１００は、ノイズリダクション部Ａ１０１にてフィルムグレインを除去される。これをメイン画像と呼ぶ。メイン画像は、エンコード部Ａ１０２にて、動き補償、直交変換、量子化による動画像符号化処理を施され、メイン画像圧縮データとなる。
【００２４】
フィルムグレイン推定部Ａ１０３は、フィルムグレインを含む入力画像Ａ１００とフィルムグレインを除去されたメイン画像との差分をとり、フィルムグレイン画像を生成する。さらに、フィルムグレイン画像を再現する際に利用されるフィルムグレイン信号の強度や、引用するフィルムグレインデータベースのIDを推定する。これらを、フィルムグレイン再現情報と呼ぶ。フィルムグレイン再現情報の具体例では、H.264/AVCにおけるFilm Grain characteristics SEI(Supplemental Enhancement Information )メッセージが挙げられる。
【００２５】
フィルムグレイン情報変調部Ａ１０４は、推定したフィルムグレイン再現情報（第１のモデル情報）に含まれる複数のパラメータの夫々が特定パラメータ範囲内に収まるように変調（修正）し、変調（修正）が反映された複数のパラメータを含むパラメータ制限フィルムグレイン再現情報（第２のモデル情報）を生成する。前述の通り、ＦＧＴには、デブロックフィルタ部の切捨てによる発生信号の偏りがあり、そのために出力画像に縦線が入ることがある。発生信号の偏りは、フィルムグレイン信号強度が低いほど、また利用するフィルムグレインデータベースの周波数が低いほど顕著である。そこで、推定したフィルムグレイン再現情報を、信号発生の偏りが解消できるパラメータ範囲に収まるように変調し、出力画像に縦線が入る不具合を回避する。図５は、特定パラメータ範囲の一例を示す図であり、縦軸がフィルムグレイン信号強度、横軸がフィルムグレインデータベースのIDとなっている。パラメータ制限フィルムグレイン再現情報は、デブロックフィルタで切り捨てを行うＦＧＴに従うフィルムグレイン生成処理を行う場合に利用されることを意図している。
【００２６】
フィルムグレイン情報二重化部Ａ１０５は、フィルムグレイン再現情報とパラメータ制限フィルムグレイン再現情報とを二重化し、二重化フィルムグレイン再現情報を生成する。このときの並びは、フィルムグレイン再現情報が先であり、パラメータ制限フィルムグレイン再現情報が次ぐ。復号化側においては、デブロックフィルタで四捨五入を行う、もしくはデブロックフィルタを適用しない等、縦歪み対策済みのＦＧＴ生成処理を行う場合はフィルムグレイン再現情報を利用し、縦歪み未対策なＦＧＴ生成処理を行う場合はパラメータ制限フィルムグレイン再現情報を利用する。つまり、縦歪み対策済み機はフィルムグレイン再現情報を選択し、縦歪み未対策機はパラメータ制限フィルムグレイン再現情報を選択する。これにより、縦歪み対策済み機と縦歪み未対策機とのコンパチビリティが確保できる。
【００２７】
多重化部Ａ１０６は、メイン画像圧縮データに二重化フィルムグレイン再現情報を付加する。これにより、フィルムグレインシミュレーションシステム対応の圧縮データＡ１０７が完成する。
【００２８】
情報記憶媒体は、この圧縮データＡ１０７を記憶する。
【００２９】
次に、情報記憶媒体に記憶された圧縮データＡ１０７を復号化する画像復号化装置について説明する。図２に示すように、画像復号化装置Ａ２０５は、フィルムグレイン再現情報分離部Ａ２０１、デコード部Ａ２０２、フィルムグレイン再現情報選択部Ａ２０３、フィルムグレイン生成部Ａ２０４、画像加算部Ａ２０５を備える。
【００３０】
フィルムグレイン再現情報分離部Ａ２０１は、圧縮データＡ２００から一つ、もしくは二つのフィルムグレイン再現情報を分離する。分離されたフィルムグレイン再現情報は、フィルムグレイン再現情報選択部Ａ２０３へ送られる。残りの圧縮データは、ビデオデコード部Ａ２０２にて、動き補償、逆量子化、逆直交変換による画像復号化処理を施されメイン画像が得られる。
【００３１】
フィルムグレイン再現情報選択部Ａ２０３は、一つ、もしくは二つのフィルムグレイン再現情報を受け取る。フィルムグレイン再現情報が一つの場合は、それをフィルムグレイン生成部Ａ２０４へ送る。フィルムグレイン再現情報が二つの場合は、フィルムグレイン生成部Ａ２０４の処理内容に応じてどちらかを選択する。
【００３２】
画像復号化装置（縦歪み未対策機）では、フィルムグレイン生成部Ａ２０４において、デブロックフィルタにおける切捨てが行われている。すなわち、縦線の歪が現れる可能性がある。つまり、画像復号化装置（縦歪み未対策機）では、二つのフィルムグレイン再現情報のうち、後に位置するパラメータ制限フィルムグレイン再現情報を選択する。
【００３３】
画像復号化装置（縦歪み対策済み機）では、フィルムグレイン生成部Ａ２０４において、デブロックフィルタで四捨五入が行われている、もしくは、デブロックフィルタが省略されている。すなわち、何らかの縦線歪対策が施されている。つまり、画像復号化装置（縦歪み対策済み機）では、前に位置するフィルムグレイン再現情報を選択する。
【００３４】
最後に、画像加算部Ａ２０５は、デコード部Ａ２０２の出力画像に対し、フィルムグレイン生成部Ａ２０４で生成されるフィルムグレイン画像を加算する。これにより、出力画像Ａ２０６が得られる。
【００３５】
以上に説明したように、このフィルムグレインシミュレーションシステムでは、符号化側で第一のフィルムグレイン再現情報と第二のフィルムグレイン再現情報とを生成し、これらを二重化し圧縮データに付加する。第一のフィルムグレイン再現情報は、特にパラメータ制約がないため、原画に忠実なフィルムグレインを再現可能なものである。しかし、縦線歪対策なしのフィルムグレイン生成処理で利用した場合、縦線歪が発生する可能性がある。第二のフィルムグレイン再現情報は、パラメータ制約があるため、原画に忠実なフィルムグレインを常に再現可能なわけではない。しかし、縦線歪対策なしのフィルムグレイン生成処理で利用した場合にも、縦線歪が発生する危険がない。
【００３６】
フィルムグレイン生成処理が縦線歪対策済みの場合（デブロックフィルタで四捨五入、デブロックフィルタ省略等）は、第一のフィルムグレイン再現情報を利用する。一方、フィルムグレイン生成処理が縦線歪対策無しの場合は、第二のフィルムグレイン情報を利用する。
【００３７】
このように、縦線歪対策済みのフィルムグレイン生成処理と、縦線歪対策無しのフィルムグレイン生成処理とが混在するシステムにおいても、縦線歪の発生を抑制しつつ、フィルムグレインの再現性を最大限に引き出すことができる。
【００３８】
（第２の実施形態）
第２の実施形態では、FG SEIを二個生成する画像符号化装置（NRなし)と、FG_SEIを二個含む圧縮データを記憶した情報記憶媒体と、この情報記憶媒体に記憶された二個のFG SEI から一つのFG SEIを選択する画像復号化装置（情報再生装置）とを説明する。
【００３９】
フィルムグレインシミュレーションシステムは、画像符号化装置と画像復号化装置を備える。
【００４０】
まず、画像符号化装置について説明する。図３に示すように、画像符号化装置Ａ３０７は、ビデオエンコード部Ａ３０１、フィルムグレイン推定部Ａ３０２、フィルムグレイン再現情報変調部Ａ３０３、フィルムグレイン再現情報二重化部Ａ３０４、多重化部Ａ３０５を備える。
【００４１】
入力画像Ａ３００は、ビデオエンコード部Ａ３０１にて、動き補償、直交変換、量子化による動画像符号化処理を施され、メイン画像圧縮データとなる。
【００４２】
フィルムグレイン推定部Ａ３０２は、フィルムグレインを含む入力画像Ａ３００とビデオエンコードによりフィルムグレインが減少したメイン画像圧縮データのローカルデコード画像との差分をとり、フィルムグレイン画像を生成する。さらに、フィルムグレイン画像を再現する際に利用されるフィルムグレイン信号の強度や、引用するフィルムグレインデータベースのIDを推定する。これらを、フィルムグレイン再現情報と呼ぶ。フィルムグレイン再現情報の具体例では、H.264/AVCにおけるFilm Grain characteristics SEI(Supplemental Enhancement Information )メッセージが挙げられる。
【００４３】
フィルムグレイン情報変調部Ａ３０３は、推定したフィルムグレイン再現情報（第１のモデル情報）に含まれる複数のパラメータの夫々が特定パラメータ範囲内に収まるように変調（修正）し、変調（修正）が反映された複数のパラメータを含むパラメータ制限フィルムグレイン再現情報（第２のモデル情報）を生成する。前述の通り、ＦＧＴには、デブロックフィルタ部の切捨てによる発生信号の偏りがあり、そのために出力画像に縦線が入ることがある。発生信号の偏りは、フィルムグレイン信号強度が低いほど、また利用するフィルムグレインデータベースの周波数が低いほど顕著である。そこで、推定したフィルムグレイン再現情報を、信号発生の偏りが解消できるパラメータ範囲に収まるように変調し、出力画像に縦線が入る不具合を回避する。図５は、特定パラメータ範囲の一例を示す図であり、縦軸がフィルムグレイン信号強度、横軸がフィルムグレインデータベースのIDとなっている。パラメータ制限フィルムグレイン再現情報は、デブロックフィルタで切り捨てを行うＦＧＴに従うフィルムグレイン生成処理を行う場合に利用されることを意図している。
【００４４】
フィルムグレイン情報二重化部Ａ３０４は、フィルムグレイン再現情報とパラメータ制限フィルムグレイン再現情報とを二重化し、二重化フィルムグレイン再現情報を生成する。このときの並びは、フィルムグレイン再現情報が先であり、パラメータ制限フィルムグレイン再現情報が次ぐ。復号化側においては、デブロックフィルタで四捨五入を行う、もしくはデブロックフィルタを適用しない等、縦歪み対策済みのＦＧＴ生成処理を行う場合はフィルムグレイン再現情報を利用し、縦歪み未対策なＦＧＴ生成処理を行う場合はパラメータ制限フィルムグレイン再現情報を利用する。つまり、縦歪み対策済み機はフィルムグレイン再現情報を選択し、縦歪み未対策機はパラメータ制限フィルムグレイン再現情報を選択する。これにより、縦歪み対策済み機と縦歪み未対策機とのコンパチビリティが確保できる。
【００４５】
多重化部Ａ３０５は、メイン画像圧縮データに二重化フィルムグレイン再現情報を付加する。これにより、フィルムグレインシミュレーションシステム対応の圧縮データＡ３０６が完成する。
【００４６】
情報記憶媒体は、この圧縮データＡ３０６を記憶する。
【００４７】
情報記憶媒体に記憶された圧縮データＡ３０７を復号化する画像復号化装置は第１の実施形態と同一の処理を行う。
【００４８】
以上に説明したように、このフィルムグレインシミュレーションシステムでは、符号化側で第一のフィルムグレイン再現情報と第二のフィルムグレイン再現情報とを生成し、これらを二重化し圧縮データに付加する。第一のフィルムグレイン再現情報は、特にパラメータ制約がないため、原画に忠実なフィルムグレインを再現可能なものである。しかし、縦線歪対策なしのフィルムグレイン生成処理で利用した場合、縦線歪が発生する可能性がある。第二のフィルムグレイン再現情報は、パラメータ制約があるため、原画に忠実なフィルムグレインを常に再現可能なわけではない。しかし、縦線歪対策なしのフィルムグレイン生成処理で利用した場合にも、縦線歪が発生する危険がない。
【００４９】
フィルムグレイン生成処理が縦線歪対策済みの場合（デブロックフィルタで四捨五入、デブロックフィルタ省略等）は第一のフィルムグレイン再現情報を利用する。一方、フィルムグレイン生成処理が縦線歪対策無しの場合は、第二のフィルムグレイン情報を利用する。
【００５０】
このように、縦線歪対策済みのフィルムグレイン生成処理と、縦線歪対策無しのフィルムグレイン生成処理とが混在するシステムにおいても、縦線歪の発生を抑制しつつ、フィルムグレインの再現性を最大限に引き出すことができる。
【００５１】
（第３の実施形態）
第３の実施形態では、FG SEI中にFG領域情報を記録する画像符号化装置（NRあり)と、FG_SEI中にFG領域情報を含む圧縮データを記憶した情報記憶媒体と、FG領域情報に基づきFGを復号化する画像復号化装置（情報再生装置）とを説明する。
【００５２】
フィルムグレインシミュレーションシステムは、画像符号化装置と画像復号化装置を備える。
【００５３】
まず、画像符号化装置について説明する。図６に示すように、画像符号化装置Ａ６０６は、ノイズリダクション部Ａ６０１、ビデオエンコード部Ａ６０２、フィルムグレイン推定部Ａ６０３、多重化部Ａ６０４を備える。
【００５４】
入力画像Ａ６００は、ノイズリダクション部Ａ６０１にてフィルムグレインを除去される。これをメイン画像と呼ぶ。メイン画像は、ビデオエンコード部Ａ６０２にて、動き補償、直交変換、量子化による動画像符号化処理を施され、メイン画像圧縮データとなる。
【００５５】
フィルムグレイン推定部Ａ６０３は、フィルムグレインを含む入力画像Ａ６００とフィルムグレインを除去されたメイン画像との差分をとり、フィルムグレイン画像を生成する。さらに、フィルムグレイン画像を再現する際に利用されるフィルムグレイン信号の強度や、引用するフィルムグレインデータベースのIDを推定する。これらを、フィルムグレイン再現情報（モデル情報）と呼ぶ。フィルムグレイン再現情報の具体例では、H.264/AVCにおけるFilm Grain characteristics SEI(Supplemental Enhancement Information )メッセージが挙げられる。フィルムグレイン推定部Ａ６０３は、さらに領域情報Ａ６０７を受け取り、フィルムグレイン再現情報中に記載する。領域情報Ａ６０７は、復号側で、フィルムグレインを加算する領域か否かの判断に利用される。
【００５６】
多重化部Ａ６０４は、メイン画像圧縮データにフィルムグレイン再現情報を付加する。これにより、フィルムグレインシミュレーションシステム対応の圧縮データＡ６０５が完成する。
【００５７】
情報記憶媒体は、この圧縮データＡ６０５を記憶する。
【００５８】
次に、情報記憶媒体に記憶された圧縮データＡ６０５を復号化する画像復号化装置について説明する。図４に示すように、画像復号化装置Ａ４０７として、フィルムグレイン情報分離部Ａ４０１、ビデオデコード部Ａ４０２、フィルムグレイン生成部Ａ４０３、フィルムグレイン適用範囲設定部Ａ４０４、画像加算部Ａ４０５とを備える。
【００５９】
フィルムグレイン再現情報分離部Ａ４０１は、圧縮データＡ４００からフィルムグレイン再現情報を分離する。
【００６０】
フィルムグレイン再現情報を分離された圧縮データは、ビデオデコード部Ａ４０２にて、動き補償、逆量子化、逆直交変換による画像復号化処理（例えば、H.264）によって映像データとなる。
【００６１】
フィルムグレイン再現情報は、フィルムグレイン生成部Ａ４０３にて利用されフィルムグレイン画像となる。フィルムグレイン生成部Ａ４０３の処理は、フィルムグレイン再現情報に従い、画像ブロック毎にフィルムグレイン画像を生成する処理であり、例えば、ＦＧＴのフィルムグレイン生成アルゴリズムがあげられる。
【００６２】
フィルムグレイン適用範囲設定部Ａ４０４は、入力として、フィルムグレイン再現情報とフィルムグレイン画像を受け取る。フィルムグレイン再現情報中にはフィルムグレイン適用領域として領域情報Ａ６０７が記載されており、ブロック毎に生成されたフィルムグレイン画像を整数画素単位でマスクする。例えば、フィルムグレイン適用領域として、映画の上下黒帯領域の画素数をそれぞれ記載しておき、フィルムグレイン画像のうち、黒帯領域に入る部分のフィルムグレイン信号を０とする。最後に、画像加算部Ａ４０５は、ビデオデコード部Ａ３０２が出力する映像データに対し、フィルムグレイン適用範囲設定部Ａ４０４が出力するフィルムグレイン画像を加算する。これにより、出力画像Ａ４０６が完成する。
【００６３】
以上に説明したように、このフィルムグレインシミュレーションシステムでは、フィルムグレイン適用範囲設定部Ａ４０４により、映画中の黒帯領域へ加算するフィルムグレイン信号を０とすることが可能となる。これにより、黒帯に不必要なフィルムグレインが加算される不具合が解決される。
【００６４】
（第４の実施形態）
第４の実施形態では、FG SEI中にFG領域情報を記録する画像符号化装置（NRなし)と、FG_SEI中にFG領域情報を含む圧縮データを記憶した情報記憶媒体と、FG領域情報に基づきFGを復号化する画像復号化装置（情報再生装置）とを説明する。
【００６５】
フィルムグレインシミュレーションシステムは、画像符号化装置と画像復号化装置を備える。
【００６６】
まず、画像符号化装置について説明する。図７に示すように、画像符号化装置Ａ７０５は、ビデオエンコード部Ａ７０１、フィルムグレイン推定部Ａ７０２、多重化部Ａ７０３を備える。
【００６７】
入力画像Ａ７００は、ビデオエンコード部Ａ７０１にて、動き補償、直交変換、量子化による動画像符号化処理を施され、メイン画像圧縮データとなる。
【００６８】
フィルムグレイン推定部Ａ７０２は、フィルムグレインを含む入力画像Ａ７００とビデオエンコードによりフィルムグレインが減少したメイン画像圧縮データのローカルデコード画像との差分をとり、フィルムグレイン画像を生成する。さらに、フィルムグレイン画像を再現する際に利用されるフィルムグレイン信号の強度や、引用するフィルムグレインデータベースのIDを推定する。これらを、フィルムグレイン再現情報（モデル情報）と呼ぶ。フィルムグレイン再現情報の具体例では、H.264/AVCにおけるFilm Grain characteristics SEI(Supplemental Enhancement Information )メッセージが挙げられる。フィルムグレイン推定部Ａ７０２は、さらに領域情報Ａ７０６を受け取り、フィルムグレイン再現情報中に記載する。領域情報Ａ７０６は、復号側で、フィルムグレインを加算する領域か否かの判断に利用される。
【００６９】
多重化部Ａ７０３は、メイン画像圧縮データにフィルムグレイン再現情報を付加する。これにより、フィルムグレインシミュレーションシステム対応の圧縮データＡ７０４が完成する。
【００７０】
情報記憶媒体は、この圧縮データＡ７０４を記憶する。
【００７１】
情報記憶媒体に記憶された圧縮データＡ７０４を復号化する画像復号化装置は、第３の実施形態と同一である。
【００７２】
以上に説明したように、このフィルムグレインシミュレーションシステムでは、フィルムグレイン適用範囲設定部Ａ４０４により、黒帯領域へ加算するフィルムグレイン信号を０とすることが可能となる。これにより、黒帯に不必要なフィルムグレインが加算される不具合が解決される。
【００７３】
（第５の実施形態）
第５の実施形態では、フィルムグレイン枠情報（枠の色情報、画像領域（実際の映像領域）の位置情報）を記憶した情報記憶媒体、及びこの情報記憶媒体に記憶されたフィルムグレイン枠情報に基づきフィルムグレイン枠を再生する情報再生について説明する。
【００７４】
図９に示すように、映画のように黒帯を含む映像Ｂ１−３に対してＦＧＴを適用した場合、フィルムグレインＢ１−２は復号画像に対しブロック毎に加算されるため、映像領域と接する黒帯領域には本来必要のないフィルムグレインが加算されてしまう。その結果、図８に示すように、黒帯領域に対して本来必要のないフィルムグレインが加算された出力映像Ｂ１−１となってしまう。
【００７５】
これに対し、図１０に示すように、復号画像Ｂ１−３とフィルムグレインＢ１−２の上に、黒帯領域を特定の色で塗りつぶし映像領域を切り抜いた形態の画像(以下、フィルムグレイン枠Ｂ１−５と呼ぶ)を重ねる。これにより、図８に示すように、不要な部分に加算されたフィルムグレインを打ち消した出力画像Ｂ１−４が得られる。出力画像Ｂ１−４の再生を実現するために、DVDビデオ(DVD-Video)、ハイディフィニッションビデオDVD(HD DVD-Video)、及びブルーレイディスク(BD Video)等の映像コンテンツが、フィルムグレインを再現するための情報と、フィルムグレイン枠の色情報と枠の切り抜き部分である映像領域情報を持つ。即ち、光ディスク等の情報記憶媒体が、画像領域（実際の映像）及び非画像領域（黒帯）を含む映像コンテンツ（画像情報）、フィルムグレインを再現するための情報（ノイズ画像情報）、フィルムグレイン枠情報（非画像領域とノイズ画像の重なり領域の表示を制御するための制御情報）を記憶する。
【００７６】
以下ではHD DVDのコンテンツの例について説明する。
【００７７】
HD DVDとはDVDに次ぐ光ディスク媒体であり、HD DVD の再生機が再生するHD DVD−Videoとは、DVD-Videoより高画質の映像・高音質な音声・高階調な字幕・よりインタラクティブなナビゲーションを記録することができるHD DVD用アプリケーションであり、HD DVD-Videには２種類のコンテンツタイプがあり、よりインタラクティブ性が高い上に、コメンタリー映像等をピクチャインピクチャの形で実現できるアドバンストコンテンツと（図１１及び図１２）、DVD−Videoと同様の構造のまま映像の高画質化、音声の高音質化、字幕の高諧調化ができるスタンダードコンテンツ（図１３及び図１４）とが存在する。
【００７８】
アドバンストコンテンツは、アドバンストコンテンツの再生情報を管理するプレイリストと、主にDiscに保存される映像・音声・字幕の集合であるプライマリビデオセット、Disc以外にも保存される可能性がある映像・音声・字幕の集合であるセカンダリビデオセット、アドバンストコンテンツの再生制御の情報やメニュー画面等のボタンに代表されるグラフィックエレメントや効果音用音声から成るアドバンストアプリケーション、そして字幕用のアドバンストサブタイトルで構成される。プライマリビデオセットPVTSは、映像・音声・字幕に関する属性情報や管理情報が記録されているビデオタイトルセットインフォメーションファイルVTSI、プライマリビデオセットの時間情報からアドレス情報に変換するタイムマップを記録するプライマリビデオセットのタイムマップファイルPTMAPと、映像情報自体であるプライマリーエンハンストビデオオブジェクトを記録するプライマリーエンハンストビデオオブジェクトファイルPEVOBが存在する。セカンダリビデオセットSVTSは、セカンダリビデオセットの時間情報からアドレス情報に変換するタイムマップを記録するセカンダリビデオセットのタイムマップファイルSTMAPと、映像情報自体であるセカンダリエンハンストビデオオブジェクトを記録するセカンダリーエンハンストビデオオブジェクトファイルSEVOBが存在する。
【００７９】
スタンダードコンテンツは、映像情報自体が記録されているエンハンストビデオオブジェクトデータEVOBと、そのエンハンストビデオオブジェクトデータの管理情報が記録されているナビゲーションデータIFOから成り立っている。スタンダードコンテンツSTDCTはメニュー画面を表すビデオマネジャVMGと、映像データが記録されているスタンダードビデオタイトルセットSTDVTSが存在する。メニュー画面が記録されているビデオマネジャVMGには、映像情報自体が記録されているエンハンストビデオオブジェクトデータEVOBであるファーストプレイPGCメニューエンハンストビデオオブジェクトFP_PGCM_EVOBSやビデオマネジャメニューエンハンストビデオオブジェクトVMGM_EVOBSと、その管理情報が記録されているナビゲーションデータIFOであるビデオマネジャインフォメーションVMGMIやそのバックアップデータであるビデオマネジャインフォメーションバックアップVMGI_BUPで構成される。スタンダードビデオタイトルセットSTDVTS内には、映像情報自体が記録されているエンハンストビデオオブジェクトデータEVOBであるビデオタイトルセットメニューエンハンストビデオオブジェクトVTSM_EVOBSやビデオタイトルセットタイトルエンハンストビデオオブジェクトVTSTT_EVOBSと、その管理情報が記録されているナビゲーションデータIFOであるビデオタイトルセットインフォメーションVTSIやそのバックアップデータであるビデオタイトルセットインフォメーションバックアップVTSI_BUPで構成される。
【００８０】
このとき、HD DVD-Videoのアドバンストコンテンツでは、以下のようにしてフィルムグレイン枠情報を持ち、黒帯問題を解決する。
【００８１】
アドバンストコンテンツのプライマリビデオセットPVTSのビデオタイトルセットインフォメーションVTSIは図１５に示されるような構造をもつ。VTSI内にはビデオタイトルセットエンハンストビデオオブジェクトアトリビュートテーブルVTS_EVOB_ATRTが記録され、VTS_EVOB_ATRTはビデオタイトルセットエンハンストビデオオブジェクトアトリビュートテーブルインフォメーションVTS_EVOB_ATRTI、ビデオタイトルセットエンハンストビデオオブジェクトアトリビュートサーチポインタVTS_EVOB_ATR_SRPとビデオタイトルセットエンハンストビデオオブジェクトアトリビュートVTS_EVOB_ATRからなる。さらにビデオタイトルセットエンハンストビデオオブジェクトアトリビュートVTS_EVOB_ATR中には、メインビデオ・サブビデオ・メインオーディオ・サブオーディオ・サブピクチャの属性情報などが記述される。本実施例ではVTS_EVOB_ATRにフィルムグレイン枠情報FILMG_FIを記録させる。フィルムグレイン枠情報FILMG_FIには、図１５に示すようにフィルムグレイン枠の切り抜き部分であるビデオ表示領域（図１６参照）を表す、ビデオ表示領域開始X座標FILMG_x1、ビデオ表示領域開始Y座標FILMG_y1、ビデオ表示領域終了X座標FILMG_x2、ビデオ表示領域終了Y座標FILMG_y2と、フィルムグレイン枠の色情報を表す、フィルムグレイン枠領域輝度値Y FILMGCOLOR_Y、フィルムグレイン枠領域色差値Cr FILMGCOLOR_Cr、フィルムグレイン枠領域色差値Cb FILMGCOLOR_Cbを記録させる。この領域に持つことで、FILMG_FIはEVOB毎に持つことができる。また、フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のHD DVD-Videoコンテンツや再生機との互換性を保つことができる。
【００８２】
アドバンストコンテンツのセカンダリビデオセットSVTSのタイムマップSTMAPは図１７に示されるような構造を取る。STMAPはTMAP ジェネラルインフォメーションマネジャTMAP_GI、TMAPサーチポインタTMAPI_SRP、TMAPインフォメーションTMAPI、EVOBアトリビュートEVOB_ATRからなる。EVOBアトリビュートEVOB_ATR中には、メインビデオ・サブビデオ・メインオーディオ・サブオーディオの属性情報などが記述される。本実施例ではEVOB_ATRにフィルムグレイン枠情報FILMG_FIを記録させる。フィルムグレイン枠情報FILMG_FIは、前述したPVTSの場合と同様の情報を持つ。フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のコンテンツや再生機との互換性を保つことができる。同様の情報は、プレイリストに持つこともできる。
【００８３】
アドバンストコンテンツにおいて、上述のようにフィルムグレイン枠情報FILMG_FIを持ったコンテンツは、図１８に示されるような順で重ね合わせられ表示される。まず、一番下には主映像であるメインビデオプレーンが存在する。メインビデオは、メインビデオとして復号された画像にフィルムグレインが加算された画像である。その上に、フィルムグレイン枠情報FILMG_FI領域に記録されたフィルムグレイン枠の色情報(FILMGCOLOR_Y, FILMGCOLOR_Cr, FILMGCOLOR_Cb)で示される色を持ち、フィルムグレイン枠の切り抜き部分であるビデオ表示領域情報(FILMG_y1, FILMG_y1,FILMG_x2, FILMG_y2)で示される領域を切り抜いた、フィルムグレイン枠プレーンを重ね、コメンタリーコンテンツ等に使用されるサブビデオプレーン、字幕に使用されるサブピクチャプレーン、ボタンやメニュー用主映像等様々に使用されるグラフィックプレーン、そしてユーザのポインター位置を示すカーソルプレーンの順で重ね合わせて出力する。このように、本実施例ではメインビデオプレーンとサブビデオプレーンの間にフィルムグレイン枠プレーンを挿入することにより、サブビデオ・サブピクチャ・グラフィック・カーソルという他のプレーンの出力に影響することなく、メインビデオの本来必要のない領域に重ねあわされてしまったフィルムグレインをフィルムグレイン枠によって上書きし、不要な部分だけフィルムグレイン効果を打ち消すことができる。
【００８４】
このときのHD DVD再生機のシステムモデルについて説明する。図１９に示されるようにHD DVD再生機は、DiscＢ６−３に加え、Persistent StorageＢ６−１とNetwork ServerＢ６−２にアクセスできる。入力としてはリモコン等Ｂ６−９からのユーザ操作情報があり、出力としてはTVモニタやスピーカーＢ６−１０への映像・音声がある。Player部は大別して、データアクセスマネジャ部Ｂ６−４、データキャッシュ部Ｂ６−５、ナビゲーションマネジャ部Ｂ６−６、プレゼンテーションエンジン部Ｂ６−７、AV レンダラー部Ｂ６−８から成る。データアクセスマネジャ部Ｂ６−４は、Disc、Network Source、Persistent Storageへのアクセスを司る部分である。データキャッシュ部Ｂ６−５は、File CacheとStreaming Bufferから成り、再生中のデータの一時記録を行う。ナビゲーションマネジャ部Ｂ６−６は、ユーザ操作を受けるユーザインターフェースエンジンと、ナビゲーションファイルを読み込んでパースするParserと、再生の初期化やタイトルの再生時間軸であるタイトルタイムラインの制御、コマンドの制御などを行う。また、プレゼンテーションエンジン部Ｂ６−７は、映像・音声・字幕データのデマルチプレクスとデコードを行い、AVレンダラー部Ｂ６−８に映像と音声と字幕の情報を出力する。AVレンダラー部Ｂ６−８は、Audioの混合に関して司る部分と、映像の混合に関して司る部分とから成る。これがHD DVD再生機のシステムモデルとなるが、さらに図１９のようにフィルムグレイン枠生成部Ｂ６−１１を備える。フィルムグレイン枠生成部Ｂ６−１１では、ナビゲーションマネジャ部Ｂ６−６で解析されたフィルムグレイン枠情報FILMG_FIをもとにフィルムグレイン枠画像を生成する。フィルムグレイン枠生成部Ｂ６−１１から出力されたフィルムグレイン枠は、AVレンダラー部Ｂ６−８で、図１８に示された順で重ね合わせられる。
【００８５】
次にHD DVD-Videoのスタンダードコンテンツにおいて、フィルムグレイン枠情報を持つケースについて説明する。
【００８６】
スタンダードコンテンツのビデオマネージャVMGのビデオマネージャ情報領域VMGIは、図２０〜図２２のように構成され、ビデオマネージャ情報管理テーブルVMGI_MAT、タイトルサーチポインタテーブルTT_SRPT、ビデオマネージャメニューPGCIユニットテーブルVMGM_PGCI_UT、パレンタル管理情報テーブルPTL_MAIT、ビデオタイトルセット属性情報テーブルVTS_ATRT、テキストデータマネージャTXTDT_MG、ファーストプレイPGCメニューセルアドレステーブルFP_PGCM_C_ADT、ファーストプレイPGCメニューエンハンストビデオオブジェクトユニットアドレスマップFP_PGCM_C_ADT、ビデオマネージャメニューセルアドレステーブルVMGM_C_ADT、ビデオマネージャメニューエンハンストビデオオブジェクトユニットアドレスマップVMGM_VOBU_ADMAPから成る。また、VMGI_MATは、VMGの識別情報やVMGI内のアドレス情報、FP_PGCMやVMGMの映像・音声・字幕の属性情報などから構成される。本実施例ではVMGI_MATにFP_PGCMのフィルムグレイン枠情報FP_FILMG_FIとVMGMのフィルムグレイン枠情報VMGM_FILMG_FIを記録させる。フィルムグレイン枠情報FP_FILMG_FI / VMGM_FILMG_FIには、アドバンストコンテンツの場合と同様に、フィルムグレイン枠の切り抜き部分であるビデオ表示領域を表すビデオ表示領域開始X座標FILMG_x1、ビデオ表示領域開始Y座標FILMG_y1、ビデオ表示領域終了X座標FILMG_x2、ビデオ表示領域終了Y座標FILMG_y2と、フィルムグレイン枠の色情報を表す、フィルムグレイン枠領域輝度値Y FILMGCOLOR_Y、フィルムグレイン枠領域色差値Cr FILMGCOLOR_Cr、フィルムグレイン枠領域色差値Cb FILMGCOLOR_Cbを記録させる。この領域に持つことで、FILMG_FIはFP_PGC、VTSM毎に持つことができる。また、フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FP_FILMG_FI/VMGM_FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のコンテンツや再生機との互換性を
保つことができる。
【００８７】
ビデオタイトルセット情報領域VTSIは図２３〜図２５のように構成され、ビデオタイトルセット情報管理テーブルVTSI_MAT、ビデオタイトルセットPTTサーチポインタテーブルVTS_PTT_SRPT、ビデオタイトルセットプログラムチェーン情報テーブルVTS_PGCIT、ビデオタイトルセットメニューPGCIユニットテーブルVTSM_PGCI_UT、ビデオタイトルセットタイムマップテーブルVTS_TMAPT、ビデオタイトルセットメニューセルアドレステーブルVTSM_C_ADT、ビデオタイトルセット メニュービデオオブジェクトユニットアドレスマップVTSM_EVOBU_ADMAP、ビデオタイトルセットセルアドレステーブルVTS_C_ADT、ビデオタイトルセット ビデオオブジェクトユニットアドレスマップVTS_EVOBU_ADMAPからなる。また、VTSI_MATは、VTSの識別情報やVTSI内のアドレス情報、VTSMやVTSタイトルの映像・音声・字幕の属性情報などから構成される。本実施例ではVTSI_MATにVTSMのフィルムグレイン枠情報VTSM_FILMG_FIとVTSタイトルのフィルムグレイン枠情報VTSTT_FILMG_FIを記録させる。フィルムグレイン枠情報VTSM_FILMG_FI / VTSTT_FILMG_FIは、前述したFP_FILMG_FI / VMGM_FILMG_FIの場合と同様の情報を持つ。この領域に持つことで、FILMG_FIはVTSM、VTSタイトル毎に持つことができる。また、フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のコンテンツや再生機との互換性を保つことができる。
【００８８】
スタンダードコンテンツにおいて、上述のようにフィルムグレイン枠情報FP_FILMG_FI / VMGM_FILMG_FI / VTSM_FILMG_FI / VTSTT_FILMG_FIを持ったコンテンツは、図２６に示されるような順で重ね合わせられ表示される。まず、一番下には主映像であるビデオプレーンが存在する。ビデオプレーンは、主映像として復号された画像にフィルムグレインが加算された画像である。その上に、フィルムグレイン枠情報FP_FILMG_FI / VMGM_FILMG_FI / VTSM_FILMG_FI / VTSTT_FILMG_FI領域に記録されたフィルムグレイン枠の色情報(FILMGCOLOR_Y, FILMGCOLOR_Cr, FILMGCOLOR_Cb)で示される色を持ち、フィルムグレイン枠の切り抜き部分であるビデオ表示領域情報(FILMG_y1, FILMG_y1,FILMG_x2, FILMG_y2)で示される領域を切り抜いた、フィルムグレイン枠プレーンを載せ、字幕に使用されるサブピクチャプレーン、ボタンなどの選択領域の表示に使われるハイライトプレーンの順で重ね合わせて出力する。このように、本実施例ではビデオプレーンとサブピクチャプレーンの間にフィルムグレイン枠プレーンを挿入することにより、本来必要のない領域に重ねあわされてしまったフィルムグレインをフィルムグレイン枠によって上書きし、不要な部分だけフィルムグレイン効果を打ち消すことができる。
【００８９】
このときのスタンダードコンテンツのHD DVD再生機システムモデルは、図１９のアドバンストコンテンツの場合のモデルと同様である。
【００９０】
以上のように、データにフィルムグレイン枠の色情報と切り抜き領域の情報を持たせ、再生時には復号映像とフィルムグレインの上からフィルムグレイン枠を重ね合わせることで映像領域と接する黒帯領域に見られるフィルムグレインの重ね合わせの不具合を回避することができる。
【００９１】
（第６の実施形態）
第６の実施形態では、フィルムグレイン枠情報（画像領域（実際の映像領域）の位置情報）を記憶した情報記憶媒体、及びこの情報記憶媒体に記憶されたフィルムグレイン枠情報に基づき画像領域とフィルムグレインとの合成画像を再生する情報再生について説明する。
【００９２】
以下にHD DVD-Videoの例について説明する。
【００９３】
HD DVD-Videoのアドバンストコンテンツでは、以下のようにしてフィルムグレイン枠情報を持つ。
【００９４】
アドバンストコンテンツのプライマリビデオセットPVTSのビデオタイトルセットインフォメーションVTSIは図２８に示されるような構造をもつ。VTSI内にはビデオタイトルセットエンハンストビデオオブジェクトアトリビュートテーブルVTS_EVOB_ATRTが記録され、VTS_EVOB_ATRTはビデオタイトルセットエンハンストビデオオブジェクトアトリビュートテーブルインフォメーションVTS_EVOB_ATRTI、ビデオタイトルセットエンハンストビデオオブジェクトアトリビュートサーチポインタVTS_EVOB_ATR_SRPとビデオタイトルセットエンハンストビデオオブジェクトアトリビュートVTS_EVOB_ATRからなる。さらにビデオタイトルセットエンハンストビデオオブジェクトアトリビュートVTS_EVOB_ATR中には、メインビデオ・サブビデオ・メインオーディオ・サブオーディオ・サブピクチャの属性情報などが記述される。本実施例ではVTS_EVOB_ATRにフィルムグレイン枠情報FILMG_FIを記録させる。フィルムグレイン枠情報FILMG_FIには、図２８に示すようにフィルムグレイン枠の切り抜き部分であるビデオ表示領域（図２９参照）を表す、ビデオ表示領域開始X座標FILMG_x1、ビデオ表示領域開始Y座標FILMG_y1、ビデオ表示領域終了X座標FILMG_x2、ビデオ表示領域終了Y座標FILMG_y2を記録させる。この領域に持つことで、FILMG_FIはEVOB毎に持つことができる。また、フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のHD DVD-Videoコンテンツや再生機との互換性を保つことができる。
【００９５】
アドバンストコンテンツのセカンダリビデオセットSVTSのタイムマップSTMAPは図３０に示されるような構造を取る。STMAPはTMAP ジェネラルインフォメーションマネジャTMAP_GI、TMAPサーチポインタTMAPI_SRP、TMAPインフォメーションTMAPI、EVOBアトリビュートEVOB_ATRからなる。EVOBアトリビュートEVOB_ATR中には、メインビデオ・サブビデオ・メインオーディオ・サブオーディオの属性情報などが記述される。本実施例ではEVOB_ATRにフィルムグレイン枠情報FILMG_FIを記録させる。フィルムグレイン枠情報FILMG_FIは、前述したPVTSの場合と同様の情報を持つ。フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のコンテンツや再生機との互換性を保つことができる。同様の情報は、プレイリストに持つこともできる。
【００９６】
HD DVD再生機のシステムモデルは図３１に示す通りである。HD DVD再生機は、DiscＢ１３−３に加え、Persistent StorageＢ１３−１とNetwork ServerＢ１３−２にアクセスできる。入力としてはリモコン等Ｂ１３−９からのユーザ操作情報があり、出力としてはTVモニタやスピーカーＢ１３−１０への映像・音声がある。Player部は大別して、データアクセスマネジャ部Ｂ１３−４、データキャッシュ部Ｂ１３−５、ナビゲーションマネジャ部Ｂ１３−６、プレゼンテーションエンジン部Ｂ１３−７、AV レンダラー部Ｂ１３−８から成る。データアクセスマネジャ部Ｂ１３−４は、Disc、Network Source、Persistent Storageへのアクセスを司る部分である。データキャッシュ部Ｂ１３−５は、File CacheとStreaming Bufferから成り、再生中のデータの一時記録を行う。ナビゲーションマネジャ部Ｂ１３−６は、ユーザ操作を受けるユーザインターフェースエンジンと、ナビゲーションファイルを読み込んでパースするParserと、再生の初期化やタイトルの再生時間軸であるタイトルタイムラインの制御、コマンドの制御などを行う。また、プレゼンテーションエンジン部Ｂ１３−７は、映像・音声・字幕データのデマルチプレクスとデコードを行い、AVレンダラー部Ｂ１３−８に映像と音声と字幕の情報を出力する。AVレンダラー部Ｂ１３−８は、Audioの混合に関して司る部分と、映像の混合に関して司る部分とから成る。本実施例におけるプレゼンテーションエンジン部Ｂ１３−７は、図３２に示すビデオデコーダを備えており、ナビゲーションマネジャ部で解析されたフィルムグレイン枠情報FILMG_FIを受け取り、これをビデコデコーダへの入力として渡す。ビデコデコーダＢ１４−９は、フィルムグレイン再現情報分離部Ｂ１４−２、ビデオデコード部Ｂ１４−３、フィルムグレイン再現処理部Ｂ１４−４、フィルムグレイン加算領域設定部Ｂ１４−６、加算部Ｂ１４−７を備える。フィルムグレイン再現情報分離部は符号化データＢ１４−１から、フィルムグレイン再現情報(フィルムグレイン再現処理部Ｂ１４−４にてフィルムグレインを再現するための情報)を分離する。フィルムグレイン再現情報を分離された符号化データは、ビデオデコード部Ｂ１４−３にて復号画像となる。フィルムグレイン再現処理部Ｂ１４−４は、フィルムグレイン再現情報にしたがい、フィルムグレイン画像を生成する。このとき、フィルムグレイン画像は、画像ブロック毎に生成されるため、縦横のサイズは、それぞれブロックサイズの倍数となっている。フィルムグレイン加算領域設定部Ｂ１４−６は、フィルムグレイン枠情報FILMG_FIＢ１４−５に従い、フィルムグレイン画像を加算領域と非加算領域にわける。このとき、フィルムグレイン枠領域をフィルムグレイン非加算領域、メインビデオ表示領域をフィルムグレイン加算領域とする。非加算領域のフィルムグレイン画像の信号レベルは0となる。加算部Ｂ１４−７は、フィルムグレイン画像の加算領域と復号画像を加算し、出力画像Ｂ１４−８を生成する。これらの操作により生成された出力画像は、黒帯を含む映画素材の場合においても、黒帯に対してフィルムグレインが加算されることがない。
【００９７】
次にHD DVD-Videoのスタンダードコンテンツにおいて、フィルムグレイン枠情報を持つ方法について説明する。
【００９８】
スタンダードコンテンツのビデオマネージャVMGのビデオマネージャ情報領域VMGIは、図３３〜図３５のように構成され、ビデオマネージャ情報管理テーブルVMGI_MAT、タイトルサーチポインタテーブルTT_SRPT、ビデオマネージャメニューPGCIユニットテーブルVMGM_PGCI_UT、パレンタル管理情報テーブルPTL_MAIT、ビデオタイトルセット属性情報テーブルVTS_ATRT、テキストデータマネージャTXTDT_MG、ファーストプレイPGCメニューセルアドレステーブルFP_PGCM_C_ADT、ファーストプレイPGCメニューエンハンストビデオオブジェクトユニットアドレスマップFP_PGCM_C_ADT、ビデオマネージャメニューセルアドレステーブルVMGM_C_ADT、ビデオマネージャメニューエンハンストビデオオブジェクトユニットアドレスマップVMGM_VOBU_ADMAPから成る。また、VMGI_MATは、VMGの識別情報やVMGI内のアドレス情報、FP_PGCMやVMGMの映像・音声・字幕の属性情報などから構成される。本実施例ではVMGI_MATにFP_PGCMのフィルムグレイン枠情報FP_FILMG_FIとVMGMのフィルムグレイン枠情報VMGM_FILMG_FIを記録させる。フィルムグレイン枠情報FP_FILMG_FI / VMGM_FILMG_FIには、アドバンストコンテンツの場合と同様に、フィルムグレイン枠の切り抜き部分であるビデオ表示領域を表すビデオ表示領域開始X座標FILMG_x1、ビデオ表示領域開始Y座標FILMG_y1、ビデオ表示領域終了X座標FILMG_x2、ビデオ表示領域終了Y座標FILMG_y2を記録させる。この領域に持つことで、FILMG_FIはFP_PGC、VTSM毎に持つことができる。また、フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FP_FILMG_FI/VMGM_FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のコンテンツや再生機との互換性を保つことができる。
【００９９】
ビデオタイトルセット情報領域VTSIは図３６〜図３８のように構成され、ビデオタイトルセット情報管理テーブルVTSI_MAT、ビデオタイトルセットPTTサーチポインタテーブルVTS_PTT_SRPT、ビデオタイトルセットプログラムチェーン情報テーブルVTS_PGCIT、ビデオタイトルセットメニューPGCIユニットテーブルVTSM_PGCI_UT、ビデオタイトルセットタイムマップテーブルVTS_TMAPT、ビデオタイトルセットメニューセルアドレステーブルVTSM_C_ADT、ビデオタイトルセット メニュービデオオブジェクトユニットアドレスマップVTSM_EVOBU_ADMAP、ビデオタイトルセットセルアドレステーブルVTS_C_ADT、ビデオタイトルセット ビデオオブジェクトユニットアドレスマップVTS_EVOBU_ADMAPからなる。また、VTSI_MATは、VTSの識別情報やVTSI内のアドレス情報、VTSMやVTSタイトルの映像・音声・字幕の属性情報などから構成される。本実施例ではVTSI_MATにVTSMのフィルムグレイン枠情報VTSM_FILMG_FIとVTSタイトルのフィルムグレイン枠情報VTSTT_FILMG_FIを記録させる。フィルムグレイン枠情報VTSM_FILMG_FI / VTSTT_FILMG_FIは、前述したFP_FILMG_FI / VMGM_FILMG_FIの場合と同様の情報を持つ。この領域に持つことで、FILMG_FIはVTSM、VTSタイトル毎に持つことができる。また、フィルムグレイン枠が使用されない場合は、フィルムグレイン枠情報FILMG_FI領域を0で埋める。この領域は従来reserved領域であり0で埋められているため、従来のコンテンツや再生機との互換性を保つことができる。
【０１００】
スタンダードコンテンツのHD DVD再生機システムモデル、および、HD DVD再生機システムモデル中のプレゼンテーションエンジンが備えるビデオデコーダは、アドバンストコンテンツの場合(図３１および図３２)と同様であるため、黒帯を含む映画素材の場合においても、黒帯に対してフィルムグレインが加算されることがない。
【０１０１】
以上のように、データにフィルムグレイン枠の切り抜き領域の情報を持たせ、その情報を利用し、ブロック毎に生成されるフィルムグレイン画像を加算領域と非加算領域にわけ、フィルムグレイン画像の非加算領域の信号レベルは0となる。図２７に示すように、復号画像とフィルムグレイン画像を加算する際には、加算領域のフィルムグレイン画像のみを復号画像に加算することで、映像領域と接する黒帯領域に見られるフィルムグレインの重ね合わせの不具合を回避することができる。
【０１０２】
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０１０３】
【図１】第１の実施形態における動画像符号化装置の概略を示す図。
【図２】第１、第２の実施形態における動画像復号化装置の概略を示す図。
【図３】第２の実施形態における動画像符号化装置の概略を示す図。
【図４】第３、第４の実施形態における動画像復号化装置の概略を示す図。
【図５】フィルムグレイン再現情報のパラメータ制限領域を示す図。
【図６】第３の実施形態における動画像符号化装置の概略を示す図。
【図７】第４の実施形態における動画像符号化装置の概略を示す図。
【図８】黒帯部分へのフィルムグレインの重なり、及びフィルムグレイン枠による画質改善を示す図。
【図９】黒帯部分へのフィルムグレインの重なりを示す図。
【図１０】黒帯部分を含むビデオ復号画像、フィルムグレイン、フィルムグレイン枠の関係を示す図。
【図１１】アドバンスドコンテンツの概要図。
【図１２】アドバンスドコンテンツの概要図。
【図１３】スタンダードコンテンツの概要図。
【図１４】スタンダードコンテンツの概要図。
【図１５】PVTSのビデオタイトルセットインフォメーションVTSIの概要図。
【図１６】メインビデオ表示領域を説明するための図。
【図１７】SVTSのタイムマップSTMAPの概要図。
【図１８】アドバンスドコンテンツにおける各プレーンと出力画像の関係図。
【図１９】HD DVD-Videoプレーヤーの概要図。
【図２０】スタンダードコンテンツのビデオマネージャ記録領域VMG及びビデオマネージャ情報領域VMGIの概要図。
【図２１】ビデオマネージャ情報管理テーブルVMGI_MATの概要図。
【図２２】FP_PGCMのフィルムグレイン枠情報FP_FILMG_FIとVMGMのフィルムグレイン枠情報VMGM_FILMG_FIの概要図。
【図２３】スタンダードコンテンツのビデオタイトルセット記録領域VTSのビデオタイトルセット情報領域VTSIの概要図。
【図２４】ビデオタイトルセット情報管理テーブルVTSI_MATの概要図。
【図２５】VTSMのフィルムグレイン枠情報VTSM_FILMG_FIとVTSタイトルのフィルムグレイン枠情報VTSTT_FILMG_FIの概要図。
【図２６】スタンダードコンテンツにおける各プレーンと出力画像の関係図。
【図２７】フィルムグレイン加算/非加算領域設定の例を示す図。
【図２８】PVTSのビデオタイトルセットインフォメーションVTSIの概要図。
【図２９】メインビデオ表示領域を説明するための図。
【図３０】SVTSのタイムマップSTMAPの概要図。
【図３１】HD DVD-Videoプレーヤーの概要図。
【図３２】第６の実施形態におけるビデオデコーダの概要図。
【図３３】スタンダードコンテンツのビデオマネージャ記録領域VMGのビデオマネージャ情報領域VMGIの概要図。
【図３４】ビデオマネージャ情報管理テーブルVMGI_MATの概要図。
【図３５】フィルムグレイン枠情報FP_FILMG_FIとVMGMのフィルムグレイン枠情報VMGM_FILMG_FIの概要図。
【図３６】ビデオタイトルセット情報領域VTSIの概要図。
【図３７】ビデオタイトルセット情報管理テーブルVTSI_MATの概要図。
【図３８】VTSMのフィルムグレイン枠情報VTSM_FILMG_FIとVTSタイトルのフィルムグレイン枠情報VTSTT_FILMG_FIの概要図。
【符号の説明】
【０１０４】
Ａ１００・・・入力画像
Ａ１０１・・・ノイズリダクション部
Ａ１０２・・・ビデオエンコード部
Ａ１０３・・・フィルムグレイン推定部
Ａ１０４・・・フィルムグレイン再現情報変調部
Ａ１０５・・・フィルムグレイン再現情報二重化部
Ａ１０６・・・多重化部
Ａ１０７・・・圧縮データ
Ａ１０８・・・動画像符号化装置
Ａ２００・・・圧縮データ
Ａ２０１・・・フィルムグレイン再現情報分離部
Ａ２０２・・・ビデオデコード部
Ａ２０３・・・フィルムグレイン再現情報選択部
Ａ２０４・・・フィルムグレイン生成部
Ａ２０５・・・画像加算部
Ａ２０６・・・出力画像
Ａ２０７・・・動画像復号化装置
Ａ３００・・・入力画像
Ａ３０１・・・ビデオエンコード部
Ａ３０２・・・フィルムグレイン推定部
Ａ３０３・・・フィルムグレイン再現情報変調部
Ａ３０４・・・フィルムグレイン再現情報二重化部
Ａ３０５・・・多重化部
Ａ３０６・・・圧縮データ
Ａ３０７・・・動画像符号化装置
Ａ４００・・・圧縮データ
Ａ４０１・・・フィルムグレイン再現情報分離部
Ａ４０２・・・ビデオデコード部
Ａ４０３・・・フィルムグレイン生成処理部
Ａ４０４・・・フィルムグレイン適用範囲設定部
Ａ４０５・・・画像加算部
Ａ４０６・・・出力画像
Ａ４０７・・・動画像復号化装置
Ａ６００・・・入力画像
Ａ６０１・・・ノイズリダクション部
Ａ６０２・・・ビデオエンコード部
Ａ６０３・・・フィルムグレイン推定部
Ａ６０４・・・多重化部
Ａ６０５・・・圧縮データ
Ａ６０６・・・動画像符号化装置
Ａ６０７・・・領域情報
Ａ７００・・・入力画像
Ａ７０１・・・ビデオエンコード部
Ａ７０２・・・フィルムグレイン推定部
Ａ７０３・・・多重化部
Ａ７０４・・・圧縮データ
Ａ７０５・・・動画像符号化装置
Ａ７０６・・・領域情報
Ｂ１−１・・・黒帯へのフィルムグレインの重なりを示す図
Ｂ１−２・・・フィルムグレイン
Ｂ１−３・・・ビデオ復号画像
Ｂ１−４・・・フィルムグレイン上にフィルムグレイン枠を重ねた図
Ｂ１−５・・・フィルムグレイン枠
Ｂ６−１・・・Persistent Storage
Ｂ６−２・・・Network Server
Ｂ６−３・・・Disc
Ｂ６−４・・・データアクセスマネジャ
Ｂ６−５・・・データキャッシュ
Ｂ６−６・・・ナビゲーションマネジャ部
Ｂ６−７・・・プレゼンテーションエンジン部
Ｂ６−８・・・ＡＶレンダラー部
Ｂ６−９・・・リモコン等
Ｂ６−１０・・・ＴＶモニタ./スピーカー等
Ｂ６−１１・・・フィルムグレイン枠生成部
Ｂ１３−１・・・Persistent Storage
Ｂ１３−２・・・Network Server
Ｂ１３−３・・・Disc
Ｂ１３−４・・・データアクセスマネジャ
Ｂ１３−５・・・データキャッシュ
Ｂ１３−６・・・ナビゲーションマネジャ部
Ｂ１３−７・・・プレゼンテーションエンジン部
Ｂ１３−８・・・ＡＶレンダラー部
Ｂ１３−９・・・リモコン等
Ｂ１３−１０・・・ＴＶモニタ./スピーカー等
Ｂ１４−１・・・符号化データ
Ｂ１４−２・・・フィルムグレイン再現情報分離部
Ｂ１４−３・・・ビデオデコード部
Ｂ１４−４・・・フィルムグレイン再現処理部
Ｂ１４−５・・・フィルムグレイン枠情報FILMG_FI
Ｂ１４−６・・・フィルムグレイン加算領域設定部
Ｂ１４−７・・・加算部
Ｂ１４−８・・・出力映像
Ｂ１４−８・・・動画像復号化装置
【図１】
2008219163.tif 000003
【図２】
2008219163.tif 000004
【図３】
2008219163.tif 000005
【図４】
2008219163.tif 000006
【図５】
2008219163.tif 000007
【図６】
2008219163.tif 000008
【図７】
2008219163.tif 000009
【図８】
2008219163.tif 000010
【図９】
2008219163.tif 000011
【図１０】
2008219163.tif 000012
【図１１】
2008219163.tif 000013
【図１２】
2008219163.tif 000014
【図１３】
2008219163.tif 000015
【図１４】
2008219163.tif 000016
【図１５】
2008219163.tif 000017
【図１６】
2008219163.tif 000018
【図１７】
2008219163.tif 000019
【図１８】
2008219163.tif 000020
【図１９】
2008219163.tif 000021
【図２０】
2008219163.tif 000022
【図２１】
2008219163.tif 000023
【図２２】
2008219163.tif 000024
【図２３】
2008219163.tif 000025
【図２４】
2008219163.tif 000026
【図２５】
2008219163.tif 000027
【図２６】
2008219163.tif 000028
【図２７】
2008219163.tif 000029
【図２８】
2008219163.tif 000030
【図２９】
2008219163.tif 000031
【図３０】
2008219163.tif 000032
【図３１】
2008219163.tif 000033
【図３２】
2008219163.tif 000034
【図３３】
2008219163.tif 000035
【図３４】
2008219163.tif 000036
【図３５】
2008219163.tif 000037
【図３６】
2008219163.tif 000038
【図３７】
2008219163.tif 000039
【図３８】
2008219163.tif 000040