(57)【要約】【課題】印象成分の操作を行うために必要な情報を用いて多様な鑑賞条件それぞれに対して制作者の意図を適切に再現した映像表示を実現するための映像ユニバーサルコンテンツ制作システム及びその制作表示配信システムを提供。【解決手段】原画像情報Ｇと印象成分の操作を行うための付加情報ｇとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部Ａと、映像コンテンツデータを読み出し再生する読出再生操作部Ｂと、付加情報ｇに対して調整係数を設定する調整係数設定部Ｃとを備え、前記データ記憶部Ａから読出再生操作部Ｂにて読み出し再生された制作者の制作表現意図が反映された原画像を基に調整係数設定部Ｃにより付加情報ｇに対する画像の調整係数ｒを設定し、該原画像に調整付加情報ｇｒを付加して、鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行って映像のユニバーサルコンテンツを制作する。【選択図】図８
2007121864.tif 000002
【特許請求の範囲】
【請求項１】
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部Ｍと、
映像コンテンツデータを読み出す読出部Ｂと、
映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報ｇに対して映像観賞条件を反映させるための調整パラメータｒを生成する調整パラメータ生成部１と、前記付加情報ｇと調整パラメータｒとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部２とを備えた映像最適化手段Ｃと、
得られた最適化映像を再生する映像再生手段Ｄと、
を備えることを特徴とする最適化映像再生システム。
【請求項２】
請求項１記載の最適化映像再生システムにおいて、前記付加情報ｇが、質感調整用情報、明度差調整用情報、色調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むことを特徴とする最適化映像再生システム。
【請求項３】
前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１又は２記載の最適化映像再生システム。
【請求項４】
前記画像表示デバテイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項３記載の最適化映像再生システム。
【請求項５】
前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項３記載の最適化映像再生システム。
【請求項６】
前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項３記載の最適化映像再生システム。
【請求項７】
請求項１乃至６のいずれか１項記載の最適化映像再生システムにおいて、前記映像再生手段Ｄにより再生された映像を出力表示する画像表示デバイスＥを備えることを特徴とする最適化映像再生システム。
【請求項８】
請求項７記載の最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Ｂと映像最適化手段Ｃと映像再生手段Ｄとを制御動作させる制御部Ａを備え、前記記憶部Ｍ、制御部Ａ、読出部Ｂ、映像最適化手段Ｃ、映像再生手段Ｄが、最適化映像を提供するプロバイダのデータサーバ側にあり、前記画像表示デバイスＥが最適化映像を利用するユーザ側にあり、前記制御部Ａと画像表示デバイスＥとは、ネットワークによる配信手段ＩＩＩを介して接続可能であることを特徴とする最適化映像配信システム。
【請求項９】
請求項７記載の最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Ｂと映像最適化手段Ｃと映像再生手段Ｄとを制御動作させる制御部Ａを備え、前記映像コンテンツデータ記憶部Ｍが最適化映像のための映像コンテンツデータを提供するプロバイダのデータサーバ側にあり、前記制御部Ａ、読出部Ｂ、映像最適化手段Ｃ、映像再生手段Ｄ、画像表示デバイスＥが、最適化映像を利用するユーザ側にあり、前記制御部Ａと画像表示デバイスＥとは、ネットワークによる配信手段ＩＩＩを介して接続可能であることを特徴とする最適化映像配信システム。
【請求項１０】
請求項８又は９記載の最適化映像配信システムにおいて、前記付加情報ｇが、質感調整用情報、明度差調整用情報、色調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むことを特徴とする最適化映像配信システム。
【請求項１１】
請求項１乃至７のいずれか１項記載の最適化映像再生システム又は請求項８乃至１０のいずれか１項記載の最適化映像配信システムにおいて使用する映像最適化装置であって、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータ記憶部Ｍから映像コンテンツデータとして読み出す読出部Ｂと、
映像観賞条件に合わせた印象成分の操作を行うために、前記付加情報ｇに対して調整パラメータｒを生成する調整パラメータ生成部１と、前記付加情報ｇと調整パラメータｒとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部２とを備えた映像最適化手段Ｃと、を備えることを特徴とする映像最適化装置。
【請求項１２】
前記映像観賞条件は、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１１記載の映像最適化装置。
【請求項１３】
前記画像表示デバテイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１２記載の映像最適化装置。
【請求項１４】
前記画像表示デバテイス特性は、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１２記載の映像最適化装置。
【請求項１５】
前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１２記載の映像最適化装置。
【請求項１６】
前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１２記載の映像最適化装置。
【請求項１７】
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして映像コンテンツデータ記憶部又は記憶媒体に記憶保持する映像コンテンツデータ記憶過程と、
映像コンテンツデータ記憶部又は記憶媒体から映像コンテンツデータを読み出す読み出し過程と、
映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報ｇに対して映像観賞条件を反映させるための調整パラメータｒを生成する調整パラメータ生成過程と、
前記付加情報ｇと調整パラメータｒとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化過程と、
得られた最適化映像を再生する映像再生過程と、
によって、原映像情報を最適化して再生することを特徴とする最適化映像再生方法。
【請求項１８】
前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１７記載の最適化映像再生方法。
【請求項１９】
前記画像表示デバテイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、
階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１８記載の最適化映像再生方法。
【請求項２０】
前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１８記載の最適化映像再生方法。
【請求項２１】
前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも１つ或いは全てを含むことを特徴とする請求項１８記載の最適化映像再生方法。
【請求項２２】
最適化映像再生システム又は最適化映像配信システム又は映像最適化装置又は最適化映像再生方法において使用する映像コンテンツデータを記憶した記憶媒体であって、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして記憶保持することを特徴とする映像コンテンツデータ記憶媒体。
【請求項２３】
請求項１乃至７のいずれか１項記載の最適化映像再生システム又は請求項８乃至１０のいずれか１項記載の最適化映像配信システム又は請求項１１乃至１６記載の映像最適化装置又は請求項１７乃至２１記載の最適化映像再生方法において使用する映像コンテンツデータを記憶した記憶媒体であって、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして記憶保持することを特徴とする映像コンテンツデータ記憶媒体。
【請求項２４】
前記付加情報ｇが、質感調整用情報、明度差調整用情報、色調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むことを特徴とする請求項２２又は２３記載の映像コンテンツデータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツに基づいて映像を最適化して再生し、配信するシステム及び装置であって、特にユニバーサルコンテンツ（登録商標）に対応するように、その映像コンテンツデータから、映像の鑑賞環境、鑑賞年齢や知覚能力等の鑑賞者の特性など鑑賞条件を想定して、映像鑑賞者に最適な映像として最適化して制作し、再生し、表示し、配信するための最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法及び映像コンテンツデータ記憶媒体に関する。
【背景技術】
【０００２】
大型ディスプレイ装置や、テレビジョン、或いは、携帯端末などの映像情報表示デバイス（装置）により映像コンテンツを鑑賞する際に、同一の映像コンテンツであっても、鑑賞条件（例えば表示デバイス、鑑賞環境、鑑賞者の特性の組み合せなど）の違いにより、鑑賞者に異なった印象を与える場合がある。
【０００３】
例えば、異なった映像表示デバイスを用いて表示した場合、色再現域、輝度再現域、画素数、表示画面の大きさ、などの表示デバイスの特性の違いによって、同一映像コンテンツが異なる印象を与える場合がある。また、周囲環境の色や明るさ、鑑賞する距離などの鑑賞環境の違いによっても、映像コンテンツの印象は変化する。
【０００４】
また、鑑賞者の知覚能力や身体的状態などの特性によっても、好ましい表現が異なることもある。鑑賞条件によっては、期待される（映像コンテンツ制作者が意図した）印象が得られない場合もある。
【０００５】
一般に、映像コンテンツから映像を最適化して制作する場合には、鑑賞条件を考慮しながら、想定された条件下で最良の効果が得られるように画像の調整を行うことになる。例えば、映像シアターのような映像鑑賞に好適な環境で、色再現域や輝度再現域が広い高性能プロジェクタを用いる場合には、豊かな色彩を用い、画像の明部と暗部の明るさに差をつけたダイナミックな表現を演出することができる。
【０００６】
また、大画面では動きの刺激効果が強まる傾向があるため、カメラの動きは控えめにすることになる。逆に、テレビ画面を明るい室内で見る場合など、再現できる色や輝度域が制限されている場合には、微妙な色使いが再現され難い、画像の明部と暗部の明るさに差を付け過ぎると、階調全体が再現できずに映像が見え難くなるなどの問題が生じるため、色を強調する、明るさの差を抑えるなどの調整が必要になる。また、小画面では、動きの刺激が弱まる、映像の細部が見え難くなるなどの傾向があるため、カメラワークもこれらの特性を考慮したものとなる。
【０００７】
近年、高性能デジタルプロジェクタ、携帯型映像端末、電子ＰＯＰ広告、屋外型超大型ディスプレイなど、映像表示デバイスの多様化や、車内や屋外など鑑賞環境の多様化が進むことにより、同一の映像コンテンツが様々な異なる環境で鑑賞されるケースが増えてきた。
【０００８】
しかし、例えば、映画館の大型スクリーンを想定して制作した映像コンテンツを、屋外の携帯型端末の小型画面で鑑賞するといった様に、制作時の想定と大きく異なる環境で鑑賞した場合には、前項のような原因から映像制作者の意図が鑑賞者に適切に伝わらず、映像鑑賞の質が大きく損なわれる結果になる。
【０００９】
その対策として、従来は、映画館のスクリーン、家庭のテレビなど、鑑賞に用いられる表示デバイスや環境、年齢や知覚能力などの鑑賞者の特性などを想定して、コンテンツ制作を行うことが普通であった。また、画像の明るさや色の分布、幾何学的な特徴などの映像コンテンツの物理的特徴を利用して、色調や階調などの画像の調整を自動的に行う方式も実用化されている。
【００１０】
しかしながら、多くの異なる条件に対して、それぞれに最適なコンテンツを制作しようとすると、制作者の負荷が多大なものとなる。また、映像コンテンツの物理的特徴に基づいた自動調整では、その調整結果が、映像制作者の意図を反映したものになるとは限らない。
【００１１】
映像コンテンツが映像鑑賞者に与える「スピード感」「迫力感」「鮮やかさ」「立体感」などの印象を決定する要素である、色彩、輝度、質感、動きなどの映像コンテンツの印象成分に着目すると、様々な種類や強度の印象成分、或いは、その組み合わせが、映像鑑賞者に与える印象の種類や強度は、映像コンテンツ制作に係る経験則から予測される他、実験用映像を用いた感性評価実験などによって、より正確かつ定量的に求めることができる。
【００１２】
映像コンテンツが映像鑑賞者に与える印象の内容や強度は、鑑賞条件に影響されるが、これは、鑑賞条件によって映像コンテンツが持つ様々な印象成分の伝達能力に差異が生じるために、各々の印象の強度が異なって感じられるためと考えることができる。
【００１３】
伝達能力が劣った鑑賞条件では、印象成分が弱まって伝達され、優れた鑑賞条件では印象成分が強く伝達されることとなるが、伝達能力が劣った鑑賞条件では印象成分を強調することによって、映像コンテンツ制作者が意図した印象を再現することができる。ただし過度の強度は表現意図を正しく伝えないだけではなく、不快感などの好ましくない印象も強調されるため、適切な強度で印象成分を強調する必要がある。
【００１４】
広視野没入型ディスプレイのような映像刺激が強調されやすいデバイスを用いる場合、映像刺激に対して過敏な反応を示す可能性の高い鑑賞者の場合、などにおいては、印象成分を弱め、刺激強度を減ずることも求められる。
【００１５】
また、映像表示デバイスの表示能力を超えた表示を要求した場合には、輝度や色の飽和などが生じることによって鑑賞品質が低下するため、制作者が意図する表現よりも印象の強度を弱めた表示を行うことも必要となる場合がある。
【００１６】
映像コンテンツが与える各種の印象の調整には、その印象に影響を与える印象成分を操作したり、新たに印象成分を付加するなどの調整を行えばよい。例えば、「鮮鋭度」が低下して感じられる傾向がある鑑賞条件において「鮮鋭度」を強調したい場合には、関連する印象成分の操作として、映像のコントラストを向上させる、空間周波数の高周波成分を強調するなどの画像処理が考えられる。
【００１７】
以下に、本発明に関連する公知の特許文献を記載する。
【特許文献１】特開２００４−８６６０４
【特許文献２】特開２００４−２１９７３１
【特許文献３】特開２００４−２５２３７２
【発明の開示】
【発明が解決しようとする課題】
【００１８】
しかしながら、伝達能力の優劣に応じて、映像コンテンツの全般に亘って、或いは、画像全面に亘って、一律に印象の強度を調整することが、必ずしも制作者の意図に沿った表現効果をもたらすものであるとは限らない。また、全ての印象成分について、数学的処理手法による抽出や操作が可能であるとは限らない。例えば、「不安感」や「幸福感」などの高次元の心理量を扱う場合においては、映像制作者などの高度なノウハウや判断に基づいた人為的な印象成分の操作が不可欠である。
【００１９】
本発明の課題は、制作者の制作表現意図が反映された印象成分の操作を行うために必要な情報を用いて、それを映像コンテンツの原映像情報に付加する付加情報として、その映像コンテンツに付加して流通させ、鑑賞者側の機器にて鑑賞条件に合わせ処理を行う、また、制作後処理（ポストプロダクション）過程で、各種鑑賞条件に適した映像コンテンツを生成して、パッケージ・ネットワーク・放送など各種メディアを用いて流通させる、また、コンテンツ配信時に、サーバー側の機能によって処理を行い、鑑賞条件に合わせた映像コンテンツとして配信するなどの形態で、多様な鑑賞条件それぞれに対して制作者の意図を適切に再現した映像の再生、表示を実現するための最適化映像再生システム及び映像最適化装置及び映像コンテンツデータ記憶媒体及び最適化映像再生方法を提供することにある。
【課題を解決するための手段】
【００２０】
本発明の請求項１に係る発明は、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部Ｍと、
映像コンテンツデータを読み出す読出部Ｂと、
映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報ｇに対して映像観賞条件を反映させるための調整パラメータｒを生成する調整パラメータ生成部１と、前記付加情報ｇと調整パラメータｒとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部２とを備えた映像最適化手段Ｃと、
得られた最適化映像を再生する映像再生手段Ｄと、
を備えることを特徴とする最適化映像再生システムである。
【００２１】
本発明の請求項２に係る発明は、
上記請求項１に係る最適化映像再生システムにおいて、前記付加情報ｇが、質感調整用情報、明度差調整用情報、色調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むことを特徴とする最適化映像再生システムである。
【００２２】
本発明の請求項３に係る発明は、
上記請求項１又は２に係る最適化映像再生システムにおいて、前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生システムである。
【００２３】
本発明の請求項４に係る発明は、
上記請求項３に係る最適化映像再生システムにおいて、前記画像表示デバテイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生システムである。
【００２４】
本発明の請求項５に係る発明は、
上記請求項３に係る最適化映像再生システムにおいて、前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生システムである。
【００２５】
本発明の請求項６に係る発明は、
上記請求項３に係る最適化映像再生システムにおいて、前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生システムである。
【００２６】
本発明の請求項７に係る発明は、
上記請求項１乃至６のいずれか１項に係る最適化映像再生システムにおいて、前記映像再生手段Ｄにより再生された映像を出力表示する画像表示デバイスＥを備えることを特徴とする最適化映像再生システムである。
【００２７】
本発明の請求項８に係る発明は、
上記請求項７に係る最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Ｂと映像最適化手段Ｃと映像再生手段Ｄとを制御動作させる制御部Ａを備え、前記記憶部Ｍ、制御部Ａ、読出部Ｂ、映像最適化手段Ｃ、映像再生手段Ｄが、最適化映像を提供するプロバイダのデータサーバ側にあり、前記画像表示デバイスＥが最適化映像を利用するユーザ側にあり、前記制御部Ａと画像表示デバイスＥとは、ネットワークによる配信手段ＩＩＩを介して接続可能であることを特徴とする最適化映像配信システムである。
【００２８】
本発明の請求項９に係る発明は、
上記請求項７に係る最適化映像再生システムを使用した最適化映像配信システムであって、前記読出部Ｂと映像最適化手段Ｃと映像再生手段Ｄとを制御動作させる制御部Ａを備え、前記映像コンテンツデータ記憶部Ｍが最適化映像のための映像コンテンツデータを提供するプロバイダのデータサーバ側にあり、前記制御部Ａ、読出部Ｂ、映像最適化手段Ｃ、映像再生手段Ｄ、画像表示デバイスＥが、最適化映像を利用するユーザ側にあり、前記制御部Ａと画像表示デバイスＥとは、ネットワークによる配信手段ＩＩＩを介して接続可能であることを特徴とする最適化映像配信システムである。
【００２９】
本発明の請求項１０に係る発明は、
上記請求項８又は９に係る最適化映像配信システムにおいて、前記付加情報ｇが、質感調整用情報、明度差調整用情報、色調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むことを特徴とする最適化映像配信システムである。
【００３０】
本発明の請求項１１に係る発明は、
上記請求項１乃至７のいずれか１項に係る最適化映像再生システム又は請求項８乃至１０のいずれか１項に係る最適化映像配信システムにおいて使用する映像最適化装置であって、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータ記憶部Ｍから映像コンテンツデータとして読み出す読出部Ｂと、
映像観賞条件に合わせた印象成分の操作を行うために、前記付加情報ｇに対して調整パラメータｒを生成する調整パラメータ生成部１と、前記付加情報ｇと調整パラメータｒとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化演算部２とを備えた映像最適化手段Ｃと、
を備えることを特徴とする映像最適化装置である。
【００３１】
本発明の請求項１２に係る発明は、
上記請求項１１に係る映像最適化装置において、前記映像観賞条件は、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも１つ或いは全てを含むことを特徴とする映像最適化装置である。
【００３２】
本発明の請求項１３に係る発明は、
上記請求項１２に係る映像最適化装置において、前記画像表示デバテイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする映像最適化装置である。
【００３３】
本発明の請求項１４に係る発明は、
上記請求項１２に係る映像最適化装置において、前記画像表示デバテイス特性は、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なくとも１つ或いは全てを含むことを特徴とする映像最適化装置である。
【００３４】
本発明の請求項１５に係る発明は、
上記請求項１２に係る映像最適化装置において、前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも１つ或いは全てを含むことを特徴とする映像最適化装置である。
【００３５】
本発明の請求項１６に係る発明は、
上記請求項１２に係る映像最適化装置において、前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも１つ或いは全てを含むことを特徴とする映像最適化装置である。
【００３６】
本発明の請求項１７に係る発明は、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして映像コンテンツデータ記憶部又は記憶媒体に記憶保持する映像コンテンツデータ記憶過程と、
映像コンテンツデータ記憶部又は記憶媒体から映像コンテンツデータを読み出す読み出し過程と、
映像観賞条件に合わせた映像の印象成分の操作を行うために、前記付加情報ｇに対して映像観賞条件を反映させるための調整パラメータｒを生成する調整パラメータ生成過程と、
前記付加情報ｇと調整パラメータｒとに基づいて、原映像情報を最適化して最適化映像を得る映像最適化過程と、
得られた最適化映像を再生する映像再生過程と、
によって、原映像情報を最適化して再生することを特徴とする最適化映像再生方法である。
【００３７】
本発明の請求項１８に係る発明は、
上記請求項１７に係る最適化映像再生方法において、前記映像観賞条件が、画像表示デバイス特性、視聴環境特性、観賞者特性のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生方法である。
【００３８】
本発明の請求項１９に係る発明は、
上記請求項１８に係る最適化映像再生方法において、前記画像表示デバテイス特性が、映像を観賞する際の表示デバイスサイズ、色再現性、階調再現性、解像度のうち、少なく
とも１つ或いは全てを含むことを特徴とする最適化映像再生方法である。
【００３９】
本発明の請求項２０に係る発明は、
上記請求項１８に係る最適化映像再生方法において、前記視聴環境特性が、視聴距離、外光レベルに関する情報のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生方法である。
【００４０】
本発明の請求項２１に係る発明は、
上記請求項１８に係る最適化映像再生方法において、前記観賞者特性が、観賞者の性別、年齢、視聴能力、嗜好のうち、少なくとも１つ或いは全てを含むことを特徴とする最適化映像再生方法である。
【００４１】
本発明の請求項２２に係る発明は、
最適化映像再生システム又は最適化映像配信システム又は映像最適化装置又は最適化映像再生方法において使用する映像コンテンツデータを記憶した記憶媒体であって、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして記憶保持することを特徴とする映像コンテンツデータ記憶媒体である。
【００４２】
本発明の請求項２３に係る発明は、
請求項１乃至７のいずれか１項記載の最適化映像再生システム又は請求項８乃至１０のいずれか１項記載の最適化映像配信システム又は請求項１１乃至１６記載の映像最適化装置又は請求項１７乃至２１記載の最適化映像再生方法において使用する映像コンテンツデータを記憶した記憶媒体であって、
原映像情報Ｇと、該原映像情報を映像観賞条件に合わせて製作表現意図が反映された映像に最適化するための付加情報ｇとを映像コンテンツデータとして記憶保持することを特徴とする映像コンテンツデータ記憶媒体である。
【００４３】
本発明の請求項２４に係る発明は、上記請求項２２又は２３記載の映像コンテンツデータ記憶媒体において、
前記付加情報ｇが、質感調整用情報、明度差調整用情報、色調整用情報、陰影調整用情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むことを特徴とする映像コンテンツデータ記憶媒体である。
【発明の効果】
【００４４】
本発明によれば、映像コンテンツに含まれる本発明における付加情報が、独立に処理可能な複数の要素から構成されるので、各種の表示デバイスの特性、環境の特性、鑑賞者の特性といった鑑賞条件に影響を与える複数の因子の独立した変化に対応した印象成分の操作が可能になる。
【００４５】
また、本発明によれば、コンテンツ鑑賞時には、この付加情報に基づいて映像コンテンツの印象成分を、鑑賞条件から決定される適切な強度に調整した映像を再生することができ、様々な異なる鑑賞条件において、映像の印象を制作者が意図したものに近づけると同時に鑑賞条件に適した映像コンテンツ鑑賞が可能となる。
【００４６】
例えば、ある鑑賞条件を想定して作成された映像コンテンツ中の原映像情報に対して、視認性の悪い小型鑑賞環境において、主要対象物の色彩を引き立たせるための強調画像と原映像情報の差、例えばＲ、Ｇ、Ｂの各輝度の差分を持った差分画像を付加情報として付与して流通、配信させることができる。
【００４７】
差分画像の生成処理においては、映像の特徴に基づいた自動処理ができるだけでなく、映像コンテンツ制作者の表現意図を反映した人為的な調整操作を行うことによって、映像コンテンツ制作者の表現意図に沿った印象の強調が可能な差分画像データを生成することができる。例えば、夕焼けの赤を特に強調したい場合であれば、他の部分に較べて夕焼け部分を特に鮮やかに見せるような調整を人為的に行うことが可能になる。
【００４８】
特に、鑑賞条件が映像コンテンツ制作時に想定よりも劣る場合には、原映像情報に適切な調整パラメータを乗じた差分データを加算することによって、映像観賞条件に合わせて、例えば、明るさ、色彩、陰影等の映像の印象成分を強調した映像に最適化して再生し、表示することができる。
【００４９】
強調の程度を決める調整パラメータは、実際に表示された映像を見ながら、最適と思われる値に調整してもよいし、主観評価実験や経験的な、或いは理論的な予測に基づいて、それぞれの鑑賞条件固有の調整パラメータを導出することができる。
【００５０】
このように、鑑賞者が受ける印象を支配する映像コンテンツの印象成分である、色、明るさ、動き、陰影、質感などについて、制作者の意図に基づいた調整を行うための情報を付加情報として、映像コンテンツに付加して流通させることにより、各種の異なる鑑賞条件において、制作者の意図を反映させた観賞者に最適な映像を生成し鑑賞することができる。
【発明を実施するための最良の形態】
【００５１】
本発明の最適化映像再生システム及び最適化映像配信システム及び最適化映像再生方法について、その実施の形態に基づいて以下に詳細に説明する。
【００５２】
図１は、原映像情報Ｇと付加情報ｇの映像コンテンツデータを模式的に表す説明図であり、その映像を構成する各画像フレーム１、２、３、・・・ｎと、その各画像フレームの再生時刻１、２、３、・・・ｎ、その各画像フレームの再生視野１、２、３、・・・ｎ、その各画像フレームの再生サイズ（拡大・縮小再生サイズ）１、２、３、・・・ｎとの関係を表す説明図である。
【００５３】
図１の例では、通常の動画（例えばＲ、Ｇ、Ｂ画像）である原映像情報Ｇの動画シーケンスに加え、映像の印象に影響を与える印象成分である、質感画像、明るさ画像、強調色調画像、陰影画像などのシーケンスを動画同様のビットマップ形式の付加情報ｇとして映像コンテンツデータに含めている。
【００５４】
また、カメラワークなどの動きに係る印象成分を制御するための再生時刻１、２、３、・・・ｎ、再生視野１、２、３、・・・ｎ、再生サイズ１、２、３、・・・ｎなどの各情報を、数値データとして各画像フレーム１、２、３、・・・ｎに付加している。
【００５５】
質感画像は、対象物表面のザラツキ感や光沢感などの質感を支配する情報で、物の表面の質感成分のみを持った差分画像である。ＣＧデータからのレンダリング処理、原映像情報からの高域通過フィルタ（画像周波数における高波長通過フィルタ）による抽出、手作業での描画、などの方法によって生成することができる。
【００５６】
差分画像生成時の処理パラメータ（レンダリング条件、フィルタの周波数特性など）の調整、重要部分の値の強調、不要部分の削除などの人為的な処理を加えることによって、制作者の表現意図をより適切に反映した付加情報が生成される。
【００５７】
この質感画像に負の値も含む適切な調整パラメータを乗じて原映像情報に加算すること
で、小型表示デバイスや低解像度表示デバイスなどの劣悪な鑑賞環境においても、制作者が意図した質感表現を維持することが可能となる。
【００５８】
例えば、原映像情報から高域通過フィルタによって質感成分を抽出する場合を例に採ると、フィルタの特性を変化させることで抽出される質感成分の特徴が変化し、制作者の意図に近づけた質感画像を生成することができる。さらに、背景や前景などの画像の領域ごとの独立した調整、上映時間経過に沿って変化する動的な調整などを行うことによって、特定の対象物を引き立たせるなど、映像制作者の意図をより強く反映させた質感成分の生成が可能となる。
【００５９】
＜画像の明るさ強調＞
明るさ画像（明度差調整用画像）は、空などのハイライト領域、木陰や屋内のシャドウ領域など、領域毎の明るさの印象を支配する付加情報で、画素の値はその領域の明るさの基準値を示す。ＣＧデータからのレンダリング処理、撮影時の照明操作、手作業での描画などの方法で生成することができる。
【００６０】
この明るさ画像（付加情報としての画像）に負の値も含む適切な調整パラメータ（例えば、−１〜＋１の範囲内の任意なパラメータ（係数））を乗じて原映像情報に加算することで、例えば、輝度再現域の狭い表示デバイスの場合には、ハイライト領域とシャドウ領域の明るさの差を狭めて、フラットな階調表現の映像として再生し、又は表示し、輝度再現域の広い表示デバイスの場合には、ハイライト領域とシャドウ領域の明るさの差を拡げてダイナミックな階調表現の映像として再生し、表示することができる。
【００６１】
図２（ａ）〜（ｃ）は画像の明るさを強調処理する際に使用する各画像の例を表し、（ａ）は画像を明るく強調するための明度差調整用画像（明暗コントラスト大の画像）、（ｂ）は原映像情報、（ｃ）は原映像情報（ｂ）を明度差調整用画像（ａ）及び調整パラメータｒに基づいて最適化した明度強調画像である。
【００６２】
＜画像の色調強調＞
次に、色調整用画像は、対象物の色の印象を強く訴求するための付加情報で、原映像情報に加算することで、例えば、人物の肌色を強調する、青空の青さを強調するなど、単に彩度が高められるだけではなく、「肌色らしい色」、「青空らしい色」などの色相も含めた色情報を演出的な意図に従って操作して、対象物の持つ色彩の印象を強調したユニバーサルコンテンツ（登録商標）としての色強調画像となる。
【００６３】
画像の物理的な特性に基づいた色調強調処理を行うだけではなく、特定の画像領域や特定の色域を選択的に操作するなど、人為的な処理を加えることによって、制作者の表現意図をより適切に反映した付加情報が生成される。
【００６４】
この色調整用画像の画素値と、原映像情報の画素値との混合比を適切に変化させて混合処理を行うことで、例えば、映画館などの良好な環境では原映像情報に近い色再現で、外光のある屋外や色が混じりやすい小型表示デバイスでは色表現を強調したユニバーサルコンテンツ（登録商標）としての映像として再生し、表示することができる。この色調整用画像（付加情報としての画像）に負の値も含む適切な調整パラメータ（例えば、−１〜＋１の範囲内の任意なパラメータ）を乗じて原映像情報に加算することで、適切に変化させて混合処理（混色）を行うことができる。
【００６５】
図３（ａ）〜（ｃ）は、画像の色調を強調処理する際に使用する各画像の例を表し、（ａ）は原映像情報（ユニバーサルコンテンツ（登録商標）が考慮されていない最初に製作された画像）、（ｂ）は色調整用画像（色調が強調されている画像）、（ｃ）は原映像情
報（ａ）と付加情報である色調整用画像（ｂ）を調整パラメータに基づいて重ね合わせて制作した混合色画像（色強調画像）である。
【００６６】
＜画像の陰影強調＞
陰影調整用画像は、奥行き感や立体感、境界の鮮明さなどの印象を支配する付加情報であり、シーン中の陰影成分だけを持った差分画像である。ＣＧデータのレンダリング処理、撮影時の照明操作、手作業での描画などの方法で生成することができる。
【００６７】
この陰影調整用画像に負の値も含む適切な調整パラメータ（例えば−１〜＋１の範囲内の任意なパラメータ）を乗じて原映像情報に加算することにより、陰影の強さを変化させ、小型表示デバイスや低解像度表示デバイスなどの貧弱な鑑賞環境においても、奥行き感や立体感、対象物の境界などを明瞭に示すことができる。
【００６８】
図４は（ａ）〜（ｃ）は、画像の陰影を強調処理する際に使用する各画像の例を表し、（ａ）は原映像情報（ユニバーサルコンテンツ（登録商標）が考慮されていない最初に製作された画像）、（ｂ）は陰影調整用画像（陰影成分画像、陰影が強調されている画像）、（ｃ）は原映像情報（ａ）と陰影調整用画像（ｂ）を、調整パラメータに基づいて重ね合わせて製作された陰影強調画像である。
【００６９】
本発明の実施の形態においては、映像コンテンツデータの原映像情報、付加情報ともにビットマップによって構成した場合について記述したが、この限りではなく、例えば、映像コンテンツデータが、実写や、ＣＧ映像の静止画又は動画等であってもよい。また、その他三次元ＣＧモデルから構成された、バーチャルリアリティコンテンツやゲームコンテンツ等についても同様に適用することができる。
【００７０】
また、原映像情報がビットマップ画像である場合においても、付加情報の記述形式はビットマップに限られるものではない。例えば、画像中の領域の指定方法として、二値のマスク画像を用いる、輪郭を座標値で示す、輝度範囲で示す、色範囲で示すなどの方法がある。また、質感の記述方法として、空間周波数分布などをによる数学的な記述、反射係数や拡散係数などの光学的パラメータの記述などの方法がある。また、「砂」「石」「木」などの具体的素材名の付加情報により、それぞれ対応付けされた画像処理の組み合わせで、原映像情報から質感調整画像情報を生成する方法がある。
【００７１】
明るさの記述についても、「シャドウ」や「ハイライト」などの記号的記述、輝度値の数値的記述などの方法がある。強調色の記述についても、強調後の色座標値による記述、変換式による記述、ルックアップテーブルによる記述、色名による記述などの方法がある。また、「青空」「夕焼け」などの各固有の色を持つ付加情報により、それぞれ対応付けされた色変換の組み合わせで原映像情報から色調整画像情報を生成する方法がある。
【００７２】
＜画像の再生時間調整による「迫力感」「重量感」強調＞
図５は、付加情報として、カメラワークなどの動きに係る印象成分を制御するための再生時間の情報を各画像フレームに数値データとして付加した場合の説明図である。図５（ａ）は原映像情報である画像フレーム１〜ｎと各画像フレーム１〜ｎの各々基準再生時間ｔo との関係を表す図、（ｂ）は再生時間を付加情報として付加した画像フレーム１〜ｎと各画像フレーム１〜ｎの各々基準時間ｔo に時間の付加情報として順にα1 、α2 、α3 、・・・αn を付加した再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn との関係を表す図である。
【００７３】
図５（ｂ）において、再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn は、映像コンテンツデータの各画像フレーム１〜ｎに対応して再生表示が行われるべき
各時間を示す。
【００７４】
図５（ａ）の画像フレーム１〜ｎの原映像情報は、臨場感の強い大型没入型表示デバイスに合わせて調整されたものであり、例えば、水平スクリーンサイズ１２ｍ、視野角１２０度の大型没入型環境で鑑賞した場合に最適な動きを与えるものであるとする。基準時間ｔo は、例えば１／３０秒であり、各画像フレーム１〜ｎは等間隔である。
【００７５】
この映像を、より小型の表示デバイス、例えば、２０インチの家庭用テレビの画面にて２ｍの距離で鑑賞した場合には、「迫力感」「重量感」などの印象が大きく損なわれる場合がある。例えば、この映像コンテンツが巨大な対象物に徐々に接近していくときの「迫力感」を訴求したものであるとすると、この種の迫力感は、鑑賞対象物やカメラの動き始めのフレームの呈示時間を延ばすことで強調できることが知られている。例えば、映像の初期再生速度を遅くして、さらに再生速度に加速度を与えることにより，この効果が得られる。観察される動きも同様に、初期速度は遅く、加速度を持ったものになる。
【００７６】
再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn は、前述の家庭用テレビを利用した場合において、没入型環境を用いて鑑賞した場合の印象に近づけるための補正された再生時間であるとすると、基準時間ｔo と再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn の関係は図５（ａ）、（ｂ）に示すような関係になる。
【００７７】
即ち、図５（ａ）に示すように、等間隔時間の各基準時間ｔo における各画像フレーム１〜６・・・ｎと、図５（ｂ）に示すような長い時間から短い時間に順に変化する各再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn における各画像フレーム１〜６・・・ｎとの関係になり、図５（ａ）に示す総呈示時間（総再生時間、ｔo ×ｎ）に対して、図５（ｂ）に示す総呈示時間（総再生時間、（ｔo ＋α1 ）＋（ｔo ＋α2 ）＋（ｔo ＋α3 ）＋・・・（ｔo ＋αn ））は長くなる。
【００７８】
さらに、総呈示時間を一定に保つことにより、映像コンテンツの総再生時間を変えることなく、観賞者に与える印象を制御することが可能となる。即ち、図５（ｃ）に示す各基準時間ｔo1、ｔo2、ｔo3、・・・ｔonにおける各画像フレーム１〜６・・・ｎと、図５（ｄ）に示す各再生時間ｔo1＋α1 、ｔo2＋α2 、ｔo3＋α3 、・・・ｔon＋αn における各画像フレーム１〜６・・・ｎとの関係になる。
【００７９】
即ち、図５（ｃ）に示す各画像フレーム１〜６・・・ｎの各々基準時間ｔo1、ｔo2、ｔo3、・・・ｔonは、初期の画像フレーム１と最後の画像フレームｎの再生時間の差は少なく、緩やかに徐々に短く変化していくのに対して、図５（ｄ）に示す各画像フレーム１〜６・・・ｎの再生時間ｔo1＋α1 、ｔo2＋α2 、ｔo3＋α3 、・・・ｔon＋αn は、初期の画像フレーム１と最後の画像フレームｎの再生時間は長い時間から短い時間に、その差が大きく変化する。
【００８０】
前述以外の鑑賞環境においては、この強調用時間（付加情報としての時間）に負の値も含む適切な調整パラメータ（例えば、−１〜＋１の範囲内の任意なパラメータ）を乗じて原映像情報の基準時間ｔo 又は各基準時間ｔo1、ｔo2、ｔo3、・・・ｔonに加算することで、適切に変化させて、「迫力感」「重量感」の調整を行うことができる。
【００８１】
また、例えば、調整パラメータ＝０を、基準時間ｔo 又はｔo1、ｔo2、ｔo3、・・・ｔonとして、調整パラメータ＝１を、再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn 、又はｔo1＋α1 、ｔo2＋α2 、ｔo3＋α3 、・・・ｔon＋αn として、０〜１の範囲の任意の調整パラメータを用いた内挿、或いは外挿により補正値を算出することができる。ただし、実際には、１／３０秒程度以上に呈示間隔を延ばすと、動きの滑ら
かさを損なうため、呈示間隔を延長する可能性がある部分については、基準時間の間隔を、例えば１／１２０などと細かくしておき、必要以上の更新速度になるフレームは間引くことにしてもよい。
【００８２】
また、上図は映像に画像フレーム（フレーム画像）の観念のある動画コンテンツを例にしているが、バーチャルリアリティ（ＶＲ）コンテンツやゲームコンテンツのように、画像内での動き量の制御が可能なコンテンツの場合には、呈示間隔を調整する代わりに、動き量を制御することによって同等の効果をもたらしてもよい。
【００８３】
＜画像の再生視野調整による「緊張感」強調＞
次に、主として鑑賞視野角が変化した場合の印象を調整するための画像の再生視野である表示画像のトリミング範囲について説明する。
【００８４】
例えば、大型没入型表示デバイスに合わせて調整された原映像情報を家庭用テレビに再生し、表示すると、例えばカメラの揺れから得られる「緊張感」の印象が大きく弱まる。ここで、この映像コンテンツが「緊張感」を訴求したものであるとすると、原映像情報のカメラの揺れに合わせて、画像のトリミング範囲を移動させることで、「緊張感」を強調することができる。
【００８５】
トリミング座標は、映像撮影時のカメラの動きやＣＧデータレンダリング時の仮想カメラの動きからの導出、算術関数による生成、専用ツールを用いての座標入力などの方法で生成することができる。
【００８６】
図６（ａ）〜（ｄ）は、各座標位置にある各々原映像情報Ｇの画像フレーム１〜４、・・・ｎと、その各々原映像情報Ｇの画像フレームを所定のトリミング座標にてトリミングした各々再生視野１〜４との関係を表す説明図である。再生視野１〜４、・・・ｎが、前述の家庭用テレビを利用した場合において、没入型環境を用いて鑑賞した場合の印象に近づけるための補正された再生視野であるとすると、再生視野１〜４、・・・ｎと、原映像情報Ｇの画像フレーム１〜４、・・・ｎの関係は図６（ａ）〜（ｄ）のようになる。
【００８７】
前述以外の鑑賞環境においては、例えば、調整パラメータ＝０を、矩形の原映像情報Ｇの画像フレーム座標（０，０）（１，１）、調整パラメータ＝１を、矩形の再生視野座標（ｘ11,y11) (x12,y12) 、又は（ｘ21,y21) (x22,y22) 、又は（ｘ31,y31) (x32,y32) 、又は（ｘ41,y41) (x42,y42) として、０〜１の範囲内の任意の調整パラメータを用いた内挿、或いは外挿によって補正値を算出することができる。
【００８８】
＜画像の再生サイズ（拡大・縮小再生サイズ）調整による映像細部強調＞
次に、主として画面サイズや解像度によって映像細部の視認性が変化した場合の見易さを調整するための表示画像のトリミング範囲について説明する。
【００８９】
例えば、大型高精細表示デバイスに合わせて調整された原映像情報を携帯端末の小型画面に再生し、表示すると、再生表示の大きさや解像度の低下によって映像の細部が見え難くなる。制作意図上、映像細部を見せることが必要である場合には、トリミングによって画像サイズを拡大することにより映像細部の視認性を高めることができる。トリミング座標は、映像撮影時のカメラの動きやＣＧデータレンダリング時の仮想カメラの動きからの導出、専用ツールを用いての座標入力などの方法で生成することができる。
【００９０】
図７（ａ）〜（ｄ）は、各座標位置にある各々原映像情報Ｇの画像フレーム１〜４、・・・ｎと、その各々原映像情報Ｇの画像フレームを所定のトリミング座標にてトリミングした各々再生サイズ１〜４、・・・ｎとの関係を表す説明図である。
【００９１】
再生サイズ１〜４、・・・ｎは、前述の携帯端末を利用した場合において、大型高精細表示デバイスを用いて鑑賞した場合の視認性に近づけるための補正された視野であるとすると、各再生サイズ１〜４、・・・ｎと、各原映像情報Ｇの画像フレーム１〜４、・・・ｎの関係は、図７（ａ）〜（ｄ）のようになる。ここでは、画面内の注目対象が画面左側から画面右側へと移動していることを想定している。
【００９２】
前述以外の鑑賞環境においては、例えば、調整パラメータ＝０を、矩形状の原映像情報Ｇの画像フレーム座標（０，０）（１，１）、調整パラメータ＝１を、矩形状再生サイズ座標（ｘ11,y11) (x12,y12) 、又は（ｘ21,y21) (x22,y22) 、又は（ｘ31,y31) (x32,y32) 、又は（ｘ41,y41) (x42,y42) として、０〜１の範囲内の任意の調整パラメータを用いた内挿、或いは外挿によって補正値を算出することができる。
【００９３】
＜マスクの付け加えによる特定映像領域に対する映像強調＞
次に、マスクの付け加えによる特定映像領域に対する映像強調について説明する。これは、主として映像／シーン毎に付加した制作者の意図情報に従い、観賞者と表示デバイス毎にコンテンツを最適化するものである。例えば、原映像情報Ｇ（オブジェクト）に対して１乃至複数のマスクを付加情報ｇとして付け加え、観賞環境に対応して、その映像の１乃至複数の特定領域に対して、各々異なる映像強調、補正処理を施すものである。
【００９４】
各映像領域に違う処理を施すためには、画面内での強調すべき対象の位置や、強調すべき色調などの制作者の演出意図を示す付加情報が必要となる。これらの付加情報を画像・映像コンテンツデータに付加しておくことによって、映像コンテンツの観賞時に、観賞環境に合わせた最適な画像処理を行うものである。
【００９５】
図８（ａ）は、映像の原映像情報Ｇの１画像フレームであり、図８（ｂ）〜（ｆ）は、図８（ａ）の原映像情報から特定領域を抜き出したマスクであり、例えば、図８（ａ）の原映像情報は、空と空に浮かぶ雲を背景とした建物（一例として教会）であり、図８（ｂ）は、建物本体部分のみを抜き出したマスク１、図８（ｃ）は、空に浮かぶ雲の部分のみを抜き出したマスク２、図８（ｄ）は、青い空の部分のみを抜き出したマスク３、図８（ｅ）は、建物に続く道の部分のみを抜き出したマスク４、図８（ｆ）は、建物が建つ地面（建物に続く道は除く）のみを抜き出したマスク５である。これらのマスクを使い分けてマスキング映像処理することにより映像の特定領域を強調、補正処理するものである。
【００９６】
なお、本発明においては、映像コンテンツ制作時に想定された鑑賞条件と同等の鑑賞条件で、映像鑑賞を行う場合には、映像コンテンツ中の原映像情報を、付加情報を付与することなくそのまま再生し、表示するものであるが、鑑賞条件が映像コンテンツ制作時に想定よりも劣る場合には、原映像情報に適切な調整パラメータを乗じた差分データを加算することによって、映像観賞条件に合わせて、明るさ、色彩、陰影、再生時間、再生視野、再生サイズ等の映像の印象成分を強調した映像に最適化して再生し、表示するものである。
【００９７】
次に、本発明の最適化映像再生システムを、図９（ａ）のシステムブロック図に基づいて以下に説明する。
【００９８】
本発明の最適化映像再生システムは、図９（ａ）に示すように、映像最適化手段Ｉを備え、該映像最適化手段Ｉは、映像を最適化するためにデータを演算処理制御する制御部Ａ（ＣＰＵ）と、原映像情報Ｇと、該原映像情報に付加させて制作者の制作表現意図が反映された鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行うための付加情報ｇとを映像コンテンツデータとして記憶保持する映像コンテンツデータ記憶部Ｍ（又は映像コンテ
ンツデータ記憶部Ｍと、そのサーバ）を備える。
【００９９】
前記付加情報ｇには、例えば、質感調整用画像情報、明度差調整用画像情報、色調整用画像情報、陰影調整用画像情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のいずれか又は全てを含むものである。
【０１００】
また、映像最適化手段Ｉは、原映像情報Ｇと付加情報ｇの映像コンテンツデータを映像コンテンツデータ記憶部Ｍから読み出す読出部Ｂと、映像最適化処理部Ｃと、映像再生処理部Ｄとを備える。制御部Ａは、読出部Ｂ、映像最適化処理部Ｃ、映像再生処理部Ｄを制御動作させるものである。なお、読出部Ｂには、読み出した映像コンテンツデータを一時的に記憶させるメモリ（図示せず）を搭載していてもよい。
【０１０１】
本発明における前記読出部Ｂは、制御部Ａによる制御にて読み出し制御信号の入出力を行い、映像コンテンツデータ記憶部Ｍ（又は該記憶部Ｍのデータサーバ）から必要なデータを読み出すデコーダ等のハードウエア系の読出部であってもよい。また、本発明における前記読出部Ｂは、制御部Ａ又は読出部Ｂのプログラムメモリに記憶収納されたアプリケーションプログラム（例えばブラウザ）による制御にて読み出し制御信号の入出力を行い、映像コンテンツデータ記憶部Ｍ（又は該記憶部Ｍのデータサーバ）から必要な原映像情報Ｇや付加情報ｇ等のデータ（ＨＴＭＬなどにて記述されたハイパーテキスト、ハイパーリンク等のテキストファイルデータ）を読み出すための（又はユーザ側端末７にダウンロードするための）ブラウザ等のソフトウエア系による読出部であってもよい。
【０１０２】
映像最適化処理部Ｃは、前記読出部Ｂから読み出された映像コンテンツデータにより再生された映像の印象に基づき、鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行うための付加情報ｇに対して、調整パラメータを設定するための調整パラメータ生成部１と、映像最適化演算部２とを備える。
【０１０３】
前記映像最適化処理部Ｃの調整パラメータ生成部１では、前記映像コンテンツデータ記憶部Ｍから読出部Ｂにて、制作者の制作意図が反映された原映像情報Ｇと付加情報ｇを読み出し、映像観賞条件（画像表示デバイス特性、視聴環境特性、観賞者特性のうち、１つ又は複数又は全部（少なくとも１つ又は全部）を含む）に合わせて、該調整パラメータ生成部１により、付加情報ｇに対する映像の調整パラメータｒを生成する。
【０１０４】
そして、映像最適化処理部Ｃの映像最適化演算部２では、調整パラメータ生成部１にて生成された調整パラメータｒに基づいて付加情報ｇを調整し、調整付加情報ｇｒを演算生成する。そして、原映像情報Ｇに調整付加情報ｇｒを付加することにより、原映像情報Ｇに対して鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行い、鑑賞者側の映像鑑賞条件に対応する最適化された映像データを制作する。
【０１０５】
映像再生処理部Ｄは、最適化された映像データを再生する映像再生部３と、必要に応じて映像データメモリ部４を備え、該映像再生部３により、映像最適化演算部２にて最適化された映像データが再生される。なお、本発明においては、映像再生処理部Ｄには、必要に応じて画像表示デバイスＥを接続することができ、例えば、映像再生部３に、直接、画像表示デバイスＥ（パソコン、モニターディスプレイ等）を接続して、最適化した映像を出力表示することができる。
【０１０６】
次に、本発明の最適化映像配信システムについて、図９（ａ）、図９（ｂ）のシステムブロック図に基づいて以下に説明する。
【０１０７】
本発明の最適化映像配信システムは、上記の最適化映像再生システムを使用したシステ
ムであって、図９（ａ）に示すように、映像最適化手段Ｉの映像コンテンツデータ記憶部Ｍ、制御部Ａ、読出部Ｂ、映像最適化処理部Ｃ、映像再生処理部Ｄが、映像コンテンツ及び最適化映像を提供する制作者やプロバイダ等のデータサーバ側にあり、映像表示手段ＩＩの画像表示デバイスＥ（例えば、パソコン等の端末機）が、映像コンテンツ及び最適化映像を利用する観察者であるユーザ側にある。そしてデータサーバ側の映像最適化手段Ｉとユーザ側の映像表示手段ＩＩとは、インターネット（イントラネット）等のネットワークによる配信手段ＩＩＩを介して互いに接続可能となっている。
【０１０８】
また、本発明の最適化映像配信システムの他の例としては、図９（ｂ）に示すように、映像最適化手段Ｉが、制御部Ａ、読出部Ｂ、映像最適化処理部Ｃ、映像再生処理部Ｄにより構成されている。映像コンテンツデータ記憶部Ｍは、映像最適化手段Ｉと分離していて、該記憶部Ｍと映像最適化手段Ｉとは互いに配信手段ＩＩＩを介して接続可能となっている。映像最適化手段Ｉは、観察者であるユーザ側の映像表示手段ＩＩ側にあり、例えば、制御部Ａ、読出部Ｂ、映像最適化処理部Ｃ、映像再生処理部Ｄは、画像表示デバイスＥと一体化されているものである。
【０１０９】
映像コンテンツデータ記憶部Ｍには、最適化映像再生システムと同様に、原映像情報Ｇと付加情報ｇが記憶されていて、前記付加情報ｇには、質感調整用画像情報、明度差調整用画像情報、色調整用画像情報、陰影調整用画像情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうち少なくともいずれか１つを含むものである。
【０１１０】
図９（ａ）において、例えば、観賞者側の映像表示手段ＩＩは、それぞれ観察環境に設置されている各観察者のパソコン等の映像表示端末部である画像表示デバイスＥ1 、Ｅ2 、Ｅ3 、・・・Ｅn であり、画像表示デバイスＥ1 、Ｅ2 、Ｅ3 、・・・Ｅn から、制作者側の映像最適化手段Ｉに対して、ネットワーク等の配信手段ＩＩＩを介してアクセス操作して、前記映像最適化手段Ｉの映像コンテンツデータ記憶部Ｍから読出部Ｂにて読み出す。読み出された制作者の制作表現意図が反映された原映像情報Ｇを基に、映像最適化処理部Ｃにより、付加情報ｇに対する画像の調整パラメータｒを生成し、前記原映像情報Ｇに調整付加情報ｇｒを付加することにより、鑑賞者側の映像鑑賞条件に合わせた印象成分の操作を行って、鑑賞者側の映像鑑賞条件に対応する最適化された映像データを製作する。
【０１１１】
製作された最適化された映像データは、映像再生処理部Ｄにて映像データとして再生されて、ネットワーク等の配信手段ＩＩＩを介して、観賞者（ユーザ）側の映像表示手段ＩＩの画像表示デバイスＥに配信されて表示される。
【０１１２】
この場合における前記付加情報ｇには、例えば、質感調整用画像情報、明度差調整用画像情報、色調整用画像情報、陰影調整用画像情報、再生時間調整情報、再生視野調整情報、再生サイズ調整情報のうちのいずれか、又はそれらの全てを含む。
【０１１３】
次に、本発明の最適化映像再生システムの動作について、その一例を、図１０のシステムフローチャート図に基づいて以下に説明する。
【０１１４】
＜Ｓ１＞
まず、画像フレーム１〜ｎのうちのいずれかの画像フレームｋの原映像情報Ｇと付加情報ｇとを、映像コンテンツデータ記憶部Ｍから読出部Ｂにより読み出し再生し、原映像情報Ｇに付加情報ｇを付加した再生画像をモニター画面（読出部Ｂのモニター、或いは映像再生処理部Ｄの映像再生部３のモニター）にて目視する。
【０１１５】
＜Ｓ２＞
続いて、再生画像を目視、確認して、映像最適化処理部Ｃの調整パラメータ生成部１にて、再生視野調整パラメータ、再生サイズ調整パラメータ、質感調整パラメータ、明度調整パラメータ、色調調整パラメータ、陰影調整パラメータ等の調整パラメータｒの設定を行う。なお、Ｓ１とＳ２とは、いずれが先であってもよい。
【０１１６】
＜Ｓ３＞
続いて、映像最適化処理部Ｃの映像最適化演算部２にて、付加情報ｇを調整パラメータｒにて調整した調整付加情報ｇｒに基づいて画像演算処理を行い、再生視野のトリミング処理、再生サイズのトリミング処理、質感の調整処理、明度の調整処理、色調の調整処理、陰影の調整処理を行い、最適化された映像データを得る。
【０１１７】
＜Ｓ４＞
続いて、最適化された映像データを映像再生処理部Ｄの映像再生部３にて再生し、再生画像をモニター画面に再生、表示する。
【０１１８】
＜Ｓ５＞
上記Ｓ１〜Ｓ４までの操作を、第１フレーム１から最終画像フレームｎまで行い、画像フレーム１〜ｎまでの原映像情報Ｇに調整付加情報ｇｒを付加した再生画像（Ｇ＋ｇｒ）データを映像再生処理部Ｄのメモリ４に記憶させる。そして、画像フレーム１〜ｎまでを使用して再生画像（再生映像、Ｇ＋ｇｒ）をモニター画面に再生、表示する。再生映像が観賞者の観賞条件に対応していれば、映像の最適化処理を終了する。一方、画像フレーム１〜ｎまでを使用して再生した映像に、さらに再生調整時間を付加情報ｇとして付加する必要があると判断された場合には、Ｓ６に進む。
【０１１９】
＜Ｓ６＞
映像再生処理部Ｄのメモリ４に記憶させた調整付加情報ｇｒを付加した各画像フレーム１〜ｎのうち、再生調整時間を付加情報ｇとして付加する必要がある画像フレームｋ、ｋ＋１、ｋ＋２、ｋ＋３、・・・ｋ＋ｍの連続する複数フレームの原映像情報Ｇと調整付加情報ｇｒとをモニター画面に表示するとともに、映像最適化処理部Ｃに取り込む。
【０１２０】
＜Ｓ７＞
次に、映像最適化処理部Ｃの調整パラメータ生成部１にて、原映像情報の基準時間ｔo 又はｔo1、ｔo2、ｔo3、・・・ｔonに対して調整する再生時間である基準時間ｔo に時間の付加情報として順に、α1 、α2 、α3 、・・・αn を付加した再生時間ｔo ＋α1 、ｔo ＋α2 、ｔo ＋α3 、・・・ｔo ＋αn 、又はｔo1＋α1 、ｔo2、＋α2 、ｔo3＋α3 、・・・ｔon＋αn を再生時間の付加情報ｇとして取得する。
【０１２１】
＜Ｓ８＞
続いて、映像最適化処理部Ｃの調整パラメータ生成部１にて、再生時間の調整パラメータｒを生成する。
【０１２２】
＜Ｓ９＞
続いて、映像最適化処理部Ｃの映像最適化演算部２にて、Ｓ７にて取得した再生時間の付加情報ｇと、Ｓ８にて生成した調整パラメータｒとに基づいて画像演算処理により、Ｓ５にて得られた前記再生画像（Ｇ＋ｇｒ）に対して、再生時間の調整パラメータｒを再生時間の付加情報ｇに乗じた再生時間の調整付加情報ｇｒを付加して、再生時間を補正処理し、最適化映像データを得る。
【０１２３】
＜Ｓ１０＞
映像最適化処理部Ｃにて得られた再生時間を補正処理した再生画像（Ｇ＋ｇｒ＋ｇｒ）
の最適化映像データを映像再生処理部Ｄの映像再生部３にて再生し、再生画像を映像としてモニター画面に再生、表示する。また、その再生画像（Ｇ＋ｇｒ＋ｇｒ）データを映像再生処理部Ｄのメモリ４に記憶させる。
【０１２４】
＜Ｓ１１＞
再生時間の補正処理を行った映像が、観賞者の観賞条件に対応していれば、映像ユニバーサルコンテンツの制作を終了する。一方、再生時間の補正処理を行った映像に、さらに再生調整時間を付加情報ｇとして付加する必要があると判断された場合には、Ｓ６又はＳ７又はＳ８に進む。
【図面の簡単な説明】
【０１２５】
【図１】本発明における原映像情報の画像フレームと付加情報の画像フレームを表す説明図。
【図２】（ａ）〜（ｃ）は本発明における画像の明度強調法を説明する画像フレームの画像。
【図３】（ａ）〜（ｃ）は本発明における画像の色調強調法を説明する画像フレームの画像。
【図４】（ａ）〜（ｃ）は本発明における画像の陰影強調法を説明する画像フレームの画像。
【図５】（ａ）〜（ｄ）は本発明における画像の再生時間調整法を説明する画像フレーム。
【図６】（ａ）〜（ｄ）は本発明における画像の再生視野調整法を説明する画像フレーム。
【図７】（ａ）〜（ｄ）は本発明における画像の再生サイズ調整法を説明する画像フレーム。
【図８】（ａ）〜（ｆ）は本発明における原映像情報と映像強調補正処理に使用するマスクの平面図。
【図９】（ａ）〜（ｂ）は本発明の最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法を説明するシステムブロック図。
【図１０】本発明の最適化映像再生システム及び最適化映像再生方法の一例を説明するシステムフローチャート図。
【符号の説明】
【０１２６】
Ｉ…映像最適化手段
ＩＩ…再生表示手段
ＩＩＩ…配信手段
Ａ…映像コンテンツデータ記憶部
Ｂ…読出部
Ｃ…映像最適化処理部
Ｄ…映像再生処理部
Ｅ1 、Ｅ2 、Ｅ3 、・・・Ｅn …映像表示デバイス
【図１】
2007121864.tif 000003
【図２】
2007121864.tif 000004
【図３】
2007121864.tif 000005
【図４】
2007121864.tif 000006
【図５】
2007121864.tif 000007
【図６】
2007121864.tif 000008
【図７】
2007121864.tif 000009
【図８】
2007121864.tif 000010
【図９】
2007121864.tif 000011
【図１０】
2007121864.tif 000012