(57)【要約】【課題】超高解像度映像の伝送に必要な伝送帯域が不足することと、低解像度の映像信号を再構築することで高解像度化する際の映像品質を改善すること。【解決手段】ネットワーク側機器から端末側機器に対して領域再構成用情報を送信することで、超解像技術等による映像再構成時に品質を高める。領域再構成用情報は映像を複数の領域に分割し、分割した複数の領域のそれぞれに対して映像再構成用の情報を含む。また、領域再構成用情報生成時に、映像に関連付けられた分類情報に基づく。【選択図】  図１
2019121836.tif 000002
【特許請求の範囲】
【請求項１】
所定のネットワークに接続される映像処理装置であって、
第１の映像を取得するデータ入力部と、
前記第１の映像を複数の領域に分割し、前記複数の領域のそれぞれに対して、前記第１の映像に関連付けられた複数の領域再構成用情報を生成する映像処理部と、
前記複数の領域再構成用情報を前記所定のネットワークを経由して接続される端末側機器に送信するデータ出力部と、を備える映像処理装置。
【請求項２】
前記映像処理部は、前記領域再構成用情報を生成する方法に関連付けられた情報を、前記端末側機器より取得する、請求項１に記載の映像処理装置。
【請求項３】
前記複数の領域のそれぞれに対して生成された領域再構成用情報は、それぞれ情報量が異なる、請求項１に記載の映像処理装置。
【請求項４】
前記データ入力部は、前記第１の映像に関連付けられた分類情報を取得し、
前記映像処理部は、前記分類情報に基づいて、前記領域再構成用情報を生成する、請求項１に記載の映像処理装置。
【請求項５】
前記データ入力部は、さらに、前記領域再構成用情報を生成する前記映像処理部に対して、領域再構成用情報のリクエストを要求することを特徴とする、請求項４に記載の映像処理装置。
【請求項６】
前記領域再構成用情報のリクエストには、前記領域再構成用情報の種別を含むことを特徴とする請求項５に記載の映像処理装置。
【請求項７】
前記領域再構成用情報のリクエストには、前記分類情報に関するパラメータを含むことを特徴とする請求項５に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置に関する。
【背景技術】
【０００２】
近年、ディスプレイ装置の解像度が向上し、超高解像度（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｎｓｉｔｙ：ＵＨＤ）表示が可能なディスプレイ装置が登場している。このＵＨＤディスプレイの中で特に高解像度の表示が可能なディスプレイ装置を使用する、横方向に８千ピクセル前後のテレビジョン放送を８Ｋスーパーハイビジョン放送の実用化が進められている。この８Ｋスーパーハイビジョン放送に対応するディスプレイ装置（８Ｋディスプレイ装置）に映像を供給する信号は非常に帯域が広く、非圧縮時は７０Ｇｂｐｓを超える速度、圧縮時でも１００Ｍｂｐｓ程度の速度の信号を供給することが必要となる。
【０００３】
このような広帯域の信号を利用する映像信号を配信するために、新しい方式の放送衛星や光ファイバーの利用が検討されている（非特許文献１）。
【０００４】
一方、低い解像度の映像信号を本来の解像度を超える解像度の映像に作り直す技術の一つである超解像技術を使用し、解像度の高いディスプレイ装置を使用して低い解像度の映像信号を表示する際の品位を向上させることがある。低い解像度の映像信号は多くの帯域を必要としないこと、従前の映像伝送システムを流用できることから、解像度の高いディスプレイ装置が実用化されるときに用いられることがある。
【０００５】
超解像技術には様々な手法が提案されているが、中でもニューラルネットワーク等の人工知能（Ａｒｔｉｆｉｃａｌ  Ｉｎｔｅｌｉｇｅｎｃｅ：ＡＩ）技術を使用し、大量の教師データを使用して学習した辞書やニューラルネットワークパラメータを利用することで、低解像度の映像データを高解像度化する際の映像の品位を高める提案が行われている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】総務省．“４Ｋ・８Ｋの推進に関する現状について”．総務省ホームページ．<www.soumu.go.jp/main_content/000276941.pdf>
【非特許文献２】Chao, et.al., “Image Super-Resolution Using Deep Convolutional Networks,” Feb. 2016, IEEE TPAMI
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、映像を圧縮した信号を使用したとしても一つの映像信号に必要な帯域は非常に広く、多チャンネルの映像を伝送するために必要とされる帯域は更に広くなる。また、従来から使用されてきた解像度、例えば１９８０×１０８０ピクセル解像度（以下ＨＤ解像度）や３８４０×２１６０ピクセル解像度（以下４Ｋ解像度）の映像信号による映像伝送に加えてさらに８Ｋ解像度（７６８０×４３２０ピクセル）の映像伝送を行う用途では８Ｋ解像度に用いる帯域を新たに用意できないという課題がある。
【０００８】
低解像度の映像信号を伝送し、超解像技術による高解像度化を行い、超高解像度の表示装置を使用する方法があるが、超解像技術として使用される処理方法は数々の方法があり、これらは入力される映像により出力の映像の品質に差が出るという問題がある。ニューラルネットワークを利用した超解像処理による低解像度の映像信号の８Ｋ解像度への変換
は、品質の良い学習データがある場合は効果があるが、あらゆる映像に対して高品質な超解像ニューラルネットワークを生成することは難しく、また、ニューラルネットワーク生成に必要な品質の良い学習データの生成のために必要な演算量と教師データは膨大で、多大なコストが発生する。
【０００９】
本発明は以上の課題を鑑みてなされたものであり、ネットワーク側機器から端末側機器に対して領域再構成用情報を送信することで、超解像技術等による映像再構成時に品質を高める機器とその構成を開示するものである。
【課題を解決するための手段】
【００１０】
（１）上記の目的を達成するために、本発明の一観点によれば、第１の映像を取得するデータ入力部と、前記第１の映像を複数の領域に分割し、前記複数の領域のそれぞれに対して、前記第１の映像に関連付けられた複数の領域再構成用情報を生成する映像処理部と、前記複数の領域再構成用情報を前記所定のネットワークを経由して接続される端末側機器に送信するデータ出力部と、を備える映像処理装置が提供される。
【００１１】
（２）上記の目的を達成するために、本発明の一観点によれば、前記映像処理部は、前記領域再構成用情報を生成する方法に関連付けられた情報を、前記端末側機器より取得する映像処理装置が提供される。
【００１２】
（３）上記の目的を達成するために、本発明の一観点によれば、前記複数の領域のそれぞれに対して生成された領域再構成用情報は、それぞれ情報量が異なる映像処理装置が提供される。
【００１３】
（４）上記の目的を達成するために、本発明の一観点によれば、前記データ入力部は、前記第１の映像に関連付けられた分類情報を取得し、前記映像処理部は、前記分類情報に基づいて、前記領域再構成用情報を生成する映像処理装置が提供される。
【００１４】
（５）上記の目的を達成するために、本発明の一観点によれば、前記データ入力部は、さらに、領域再構成用情報を生成する映像処理部に対して、領域再構成用情報のリクエストを要求することを特徴とする映像処理装置が提供される。
【００１５】
（６）上記の目的を達成するために、本発明の一観点によれば、前記領域再構成用情報のリクエストには、前記領域再構成用情報の種別を含むことを特徴とする映像処理装置が提供される。
【００１６】
（７）上記の目的を達成するために、本発明の一観点によれば、前記領域再構成用情報のリクエストには、前記分類情報に関するパラメータを含むことを特徴とする映像処理装置が提供される。
【発明の効果】
【００１７】
本発明によれば、ネットワーク側機器で生成した領域再構成用情報の使用により、端末側機器の表示品質の向上に寄与することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の機器構成例を示す図である。
【図２】本発明の一実施形態の領域分割例を示す図である。
【図３】本発明の一実施形態の領域分割例とランキング例を示す図である。
【図４】本発明の一実施形態の端末側機器の構成例を示す図である。
【図５】本発明の一実施形態の超解像処理部の構成例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態による無線通信技術について図面を参照しながら詳細に説明する。
【００２０】
（第１の実施形態）
以下、図を利用して本発明の一実施形態を詳細に説明する。図１は本実施の形態の機器構成の一例を示している。本実施の形態はネットワーク側機器１０１と端末側機器１０２から構成される。ネットワーク側機器１０１と端末側機器１０２はそれぞれ複数の機能ブロックを含んで構成される。ネットワーク側機器１０１、および端末側機器１０２は１つの装置で構成されなくとも良く、１つまたは複数の機能ブロックを含んだ複数の機器で構成されても良い。これらの機器は基地局装置、端末装置、映像処理装置などの機器に含まれても良い。
【００２１】
本実施形態においてはネットワーク側機器１０１と端末側機器１０２はネットワーク経由で接続され、このネットワークとして無線ネットワークを使用する。使用する無線ネットワークの方式は特に限定されず、携帯電話等に代表されるセルラー無線通信ネットワークやＦＴＴｘ（Ｆｉｂｅｒ  Ｔｏ  Ｔｈｅ  ｘ）を利用した光ファイバーによる有線通信ネットワークなどの公衆ネットワーク、無線ＬＡＮに代表される無線通信ネットワークやツイストペア線を利用した有線通信ネットワークなどの自営ネットワークを使用しても良い。このネットワークは、後述する画像の情報量が削減された符号化映像データと領域毎の再構成情報を伝送するために必要な能力（帯域が十分であることと、伝送エラーや有害なジッタ等の有害な外乱が十分に少ないこと）であれは良い。本実施形態ではセルラー無線通信ネットワークを使用する。
【００２２】
次にネットワーク側機器１０１の機能ブロックについて説明する。１０３は超高解像度映像、例えば７６８２ピクセル×４３２０ピクセルから構成される映像信号（以下８Ｋ映像信号）を符号化した映像データを供給する映像配信部、１０４は映像配信部１０３に１つ以上の８Ｋ映像信号を供給する映像信号供給部である。映像配信部１０３が使用する符号化方式は特に制限は無く、映像を圧縮するための符号化、例えばＨ．２６４方式やＨ．２６５、ＶＰ９方式などと、映像伝送のための符号化、例えばＭＰＥＧ２−ＴＳ方式やＭＰＥＧ  ＭＭＴ方式などの両方の符号化を行ってよい。あるいは、映像配信部１０３は映像を圧縮するための符号化は行わなくても良い。また、映像信号供給部１０４は映像信号を供給可能な装置であれば特に制限は無く、撮像素子により実際の映像を映像信号に変換するビデオカメラや、あらかじめ映像信号を記録されたデータストレージ機器などを使用して良い。１０５はネットワーク側機器１０１内のネットワークを構成する装置で、映像配信部１０３と領域再構成用情報生成部１０８と画像情報削減部１０６の間でデータ交換を可能とするネットワーク装置である。領域再構成用情報生成部１０８は領域選択部１０９、特徴抽出部１１０、再構成情報生成部１１１から構成される。１０６は映像配信部１０３から供給される８Ｋ映像の解像度を低解像度に変換し、画像に含まれる情報量を削減する画像情報量削減部、１０７は画像情報量削減部１０６が出力する低解像度映像データを符号化する映像符号化部である。画像情報量削減部１０６が生成する低解像度映像データの解像度は特に指定しないが、本実施形態では３８４０×２１６０ピクセルの映像（以下４Ｋ映像）とする。映像符号化部１０７で行う符号化方式は特に制限は無く、映像を圧縮するための符号化、例えばＨ．２６４方式やＨ．２６５、ＶＰ９方式などと、映像伝送のための符号化、例えばＭＰＥＧ２−ＴＳ方式やＭＰＥＧ  ＭＭＴ方式などの両方の符号化を行ってよい。１１２は領域再構成用情報生成部１０８が出力する領域再構成用情報と、映像符号化部１０７が出力する低解像度映像符号化データを多重し、基地局装置１１３から１つのコネクションで送信できるよう符号化する信号多重部である。本実施例では領
域再構成用情報と低解像度映像符号化データを多重して符号化するが、低解像度映像符号化データが映像伝送用符号化されている場合、複数のコネクションを使用して低解像度映像符号化データと領域再構成用情報を別々のコネクションを使用して送信しても良い。１１３は端末側機器１０２に対して領域再構成用情報と低解像度映像符号化データを送信する基地局装置、１１４は無線ネットワークを管理するネットワーク管理部、１１５は無線ネットワークに接続する端末装置を管理する端末情報制御部である。本実施例では便宜上ネットワーク側機器１０１を一つの機器として記載しているが、ネットワーク側機器１０１を複数の機器で構成し、映像配信部１０３、映像信号供給部１０４、領域再構成用情報生成部１０８、画像情報削減部１０６、映像符号化部１０７、信号多重部１１２などの機能ブロックはそれぞれ独立した映像処理装置として存在して良く、また複数の機能ブロックをまとめた映像処理装置として存在して良い。
【００２３】
次に端末側機器１０２の機能ブロックについて説明する。１１６は基地局装置１１３と通信を行い、ネットワーク側機器１０１と端末側機器１０２の間でデータの交換を行う端末無線部、１１７は端末無線部が基地局装置１１３と交換したデータから低解像度映像符号化データを抽出し、抽出した低解像度映像符号化データを復号して低解像度の映像、本実施形態では４Ｋ映像を出力する映像復号部、１１８は端末無線部１１６が交換するデータから領域再構成用情報を抽出し、領域再構成用情報を利用して映像復号部１１７が出力する映像に対して超解像処理を行い、高解像度映像、本実施例では８Ｋ映像の再構成を行う映像再構成部、１１９は映像再構成部１１８が再構成した映像を表示する映像表示部である。映像表示部１１９は８Ｋ映像を表示する能力があるものとする。１２０は端末無線部１１６を経由し、ネットワーク側機器１０１内のネットワーク管理部１１４とデータを交換し、端末側機器１０２の情報をネットワーク管理部１１４に送信し、またネットワーク管理部１１４から映像再構成に利用できる情報を受信する端末情報生成部である。
【００２４】
次にネットワーク側機器１０１の領域再構成用情報生成部１０８は、ネットワーク装置１０５から入力される第１の映像データに対して、処理を行なう。つまり、領域再構成用情報生成部１０８は該第１の映像データを取得するデータ入力部を備えることができる。領域再構成用情報生成部１０８は、該第１の映像データについて複数の領域に分割し、それぞれの領域に対して処理を行ない、第１の映像データに関連付けられた領域再構成用情報を、それぞれの領域に対して生成する。つまり、領域再構成用情報生成部１０８は、該第１の映像データに処理を施す映像処理部を備えることができる。また、領域再構成用情報生成部１０８は、該領域再構成用情報を出力するデータ出力部を備えることができる。該データ出力部は、分割された領域のそれぞれにおける該領域再構成用情報を出力することができる。領域再構成用情報生成部１０８の具体的な装置構成および信号処理については、以下で説明を行なう。
【００２５】
領域再構成用情報生成部１０８の動作を図２ならびに図３を使用して説明する。図２（ａ）は領域再構成用情報生成部１０８に入力される映像データの一例２０１を、図２（ｂ）は映像データの一例２０１の中で特徴が似ている部分を１つの領域として、複数の領域２０２〜領域２０５を抽出した例である。領域２０２はグラウンドに相当する、輝度、色の分布の変化が少ない領域、領域２０３、領域２０４は観客や椅子が多数配置されている観客席に相当する、輝度、色の分布の変化が多い領域、領域２０５は屋根に相当し、輝度の変化の分布の変化は多いが、色の分布の変化が少ない領域となる。図３を使用してこられの領域を抽出する過程を説明する。
【００２６】
図３（ａ）は解像度ｌ１×ｌ４の映像データ中のｌ２×ｌ２の領域３０１に含まれる４つのｌ３×ｌ３の領域３０２を示す。本実施形態ではｌ１＞ｌ４＞ｌ２＞ｌ３となる関係を想定する。複数のｌ３×ｌ３の領域３０２のそれぞれが同じような輝度の分布、色の分布をしているか調べ、同じような分布の領域があればそれらの領域は同一の特徴を持つ領
域として管理する。輝度の分布、色の分布を調べるため、ｌ３×ｌ３の領域３０２の映像データを輝度情報と色差情報に分離し、輝度情報と色差情報のそれぞれに対し、二次元離散コサイン変換（２Ｄ−ＤＣＴ）を行う。映像データに対して２Ｄ−ＤＣＴを行って結果を二次元に並べると、一例として図３（ｂ）のようになる。図３（ｂ）の一例では、直流（ＤＣ）成分を表す左上の頂点から右方向水平方向の周波数を表し、ＤＣ成分を表す点から右側に離れるほど水平方向の周波数成分が高いことを表す。同様にＤＣ成分を表す点から下方向側に離れたるほど垂直方向の周波数成分が高いことを表す。２Ｄ−ＤＣＴ後の各点の値の絶対値をある閾値で評価し、閾値を超える値であった点を１に、閾値以下だった点を０に置き換える。その後、領域ｒ４（３１０）に１が含まれている場合はランク４、これ以外で領域ｒ３（３０９）に１が含まれている場合はランク３、これ以外で領域ｒ２（３０８）に１が含まれている場合はランク２、それ以外はランク１とする。輝度信号、色差信号それぞれについて２Ｄ−ＤＣＴを行い、ランク付けを行う。このランク付け時に使用する閾値は予め決められた値でも良く、また、領域再構成用情報生成部１０８に入力された映像データによって変える値でも良い。ランクが高い領域ほど輝度情報、もしくは色差情報に高い周波数成分が含まれている、つまり分布の変化が大きい領域となる。なお、色差情報の代わりに色相情報を用いても良い。
【００２７】
４つのｌ３×ｌ３の領域３０２に対してランキングを行い、同一のランクの領域をグループ化した結果の一例が図３（ｃ）となる。輝度情報のランク付け結果がランク１であった領域が３０４、ランク２であった領域が３０３、ランク３であった領域が３０５である。大部分の映像信号は輝度情報の周波数方向の広がりよりも色差情報の周波数方向の広がりが小さいため、ある領域に対してランク付けを行った場合、輝度情報のランクが高くとも色差情報のランクが低くなることが多く、例えばランク１となることが多い。これに対し、領域内に色差が明確に変わる映像、例えば図３（ｃ）の領域３０３のようにグラウンドを表す部分と観客席を表す部分を含むような場合、色相信号のランクが高くなることがある。このような場合はその領域を更に分割して再評価し、分割後の領域のランクを再評価して良い。図３（ｄ）はｌ３×ｌ３の領域３０３を、４つのｌ５×ｌ５の領域に再分割する例を示している。対象領域が小さくなるため、２Ｄ−ＤＣＴ後の値が小さくなる。２Ｄ−ＤＣＴを適応する領域の大きさに応じてランク付けに用いる閾値を変えてよい。また、評価する領域が小さくなった場合、最大ランク値を制限しても良い。
【００２８】
以上、ｌ２×ｌ２領域３０１内を小さい領域、例えばｌ３×ｌ３の領域、またはｌ５×ｌ５の領域に区切ってランク付けする手順を示したが、同様の方法でｌ１×ｌ２の領域を小さい領域に区切ってランク付けを行う。ランク付けの結果、色差情報の周波数の広がりが小さい範囲で、輝度情報の周波数の広がりが同程度の領域を抽出することが可能となる。輝度信号の周波数の広がりが同程度の領域のそれぞれについて領域内の平均の色差を調べ、隣接する領域の色差の相関が高い領域を連結し、最終的に輝度情報の周波数の広がりが同程で同様の色差を有する領域に分割することが可能となる。
【００２９】
輝度情報の周波数の広がりが同程で同様の色差を有する領域毎に再構成用情報を生成する。この再構成用情報（領域再構成用情報）は端末側機器１０２が映像の再構成時に有用なものであればどのようなものを含んでも良い。この映像の再構成に使用する処理は超解像処理を含んでよい。この領域再構成用情報を超解像パラメータと称してよい。本実施の形態では領域内の輝度情報の周波数の広がりを示すランク情報と、ランク情報に対応する領域の形状を表す情報を含める。領域の形状を示す情報のフォーマットは複数存在しても良く、領域再構成用情報生成部１０８に入力される映像信号の縦横のピクセル数と領域の形状を示す複数の頂点の座標データ、領域再構成用情報生成部１０８に入力される映像信号の縦横のピクセルをいくつかのグリッドで区切って各グリッドに番号を割り当て、グリッドの番号で指定しても良い。また、座標データはピクセル単位で指定するのではなく、領域再構成用情報生成部１０８に入力される映像信号の横方向のピクセル数または縦方向
のピクセル数で正規化した値を使用して指定しても良い。また、各領域に対応する情報として、映像再構成の一方法として使用する辞書の種類や使用するインデックスの範囲を含めてよい。映像再構成の一方法として使用する辞書は、ニューラルネットワークの情報としてネットワーク構成やそのパラメータを含んでもよい。例えば、ニューラルネットワークの情報としてカーネルサイズやチャネル数、入出力のサイズ、ネットワークの重み係数やオフセット、アクティベーション関数の種類やパラメータ、プーリング関数のパラメータなどがあるが、これに限定されない。
この辞書の情報はネットワーク管理部１１４で管理し、端末側機器１０２と交換する情報と紐づいていても良い。
【００３０】
以上の手順を領域再構成用情報生成部１０８内の領域選択部１０９、特徴抽出部１１０、再構成情報生成部１１１が連携して実行する。領域選択部１０９は領域再構成用情報生成部１０８に入力される映像データをバッファし、特徴抽出部１１０が特徴抽出のために使用する２Ｄ−ＤＣＴを実行する領域の映像データを切り出す。特徴抽出部は領域選択部１０９が切り出した映像データを輝度情報と色差情報に分離した後２Ｄ−ＤＣＴを行い、領域に対してランク付けを行う。また、同一ランクの隣り合う領域の平均色差の相関を調べ、相関の高い領域を結合する。再構成情報生成部１１１は特徴抽出部１１０が出力する領域の形状情報とランクを使用し、領域再構成用情報を生成する。この領域再構成用情報は端末側機器１０２が単位時間内に表示する１つの映像に対応する情報を、端末側機器１０２が識別できるように生成する。例えば領域再構成用情報生成部１０８に入力される映像データにタイムスタンプやフレーム番号が含まれている場合、そのタイムスタンプやフレーム番号に対応付けて生成しても良い。直前のフレームと同一の再構成用情報を使用する領域に関する情報を省略することで、領域再構成用情報を削減しても良い。
【００３１】
信号多重部１１２は映像符号化部１０７が出力する低解像度映像符号化データと領域再構成用情報生成部１０８が出力する領域再構成用情報を多重化する。多重化の方法は特に指定しないが、映像伝送用符号化方法、例えばＭＰＥＧ２−ＴＳやＭＰＥＧ  ＭＭＴを使用しても良い。この時、領域再構成用情報と低解像度映像符号化データの時間的な対応が取れるように多重化する。この時映像配信部１０３が出力する情報にタイムスタンプやフレーム番号が含まれている場合はそのタイムスタンプやフレーム番号を使用して多重化して良い。また、映像符号化部１０７が映像伝送用符号化を行う場合、信号多重部１１２は映像符号化部１０７が使用した多重化方式を用いて領域再構成用情報を多重化して良い。多重化された低解像度映像符号化データと領域再構成用情報は基地局装置１１３を経由して端末側機器１０２に送信される。
【００３２】
領域再構成用情報生成部１０８は、入力される第１の映像データの映像分類に係る情報に基づいて、先に説明した領域選択部１０９の処理内容を変更することができる。第１の映像データの映像分類に係る情報としては、該第１の映像データのジャンル（例えば、スポーツ映像、風景映像、ドラマ映像、アニメーション映像等）に関する情報や、画質に関する情報（フレームレート、輝度および色差に関する情報、ハイダイナミックレンジ（ＨＤＲ）／スタンダードダイナミックレンジ（ＳＤＲ）に関する情報等）が用いられることができる。
【００３３】
続いて端末側機器１０２の映像再構成部１１８の動作を、図４を用いて説明する。図４（ａ）は映像再構成部１１８の機能ブロックの一例を示したものである。４０１は領域再構成用情報を入力し、映像再構成部１１８内の各ブロックの動作を制御する制御部、４０３は映像再構成部１１８に入力される映像データをフレーム単位で保存する第１フレームバッファ部、４０４は第１フレームバッファ部４０３に保存された映像データから所定の領域を抽出する領域抽出部、４０５は領域抽出部４０４が抽出した映像データに対して超解像処理を行う超解像処理部、４０６は超解像処理部４０５が出力した映像データを合成
し、フレーム内の映像データを生成して保存し、順次出力する第２フレームバッファ部である。
【００３４】
制御部４０１は第１フレームバッファ部４０３に１フレーム分の４Ｋ映像データが蓄積されると、領域抽出部４０４と超解像処理部４０５を設定して１フレームの全領域に対して超解像処理を行い、第２フレームバッファ４０６に保存する。この第２フレームバッファ４０６に保存した映像データはそのフレームの映像データの初期値となる。この初期値を生成するために使用する超解像処理部４０５の設定は後述するいずれかの超解像処理方法とサブモードを使用して良いが、計算量が一番少ない超解像処理方法、例えば超解像処理方法として補間機能を使用し、サブモードはバイキュービックを選択して良い。続いて制御部４０１は領域再構成用情報で指定される領域の形状のデータから第１フレームバッファ部４０３に保存されている映像データの対応部分を抽出するよう領域抽出部４０４を設定する。本実施の形態において、領域の形状がピクセル単位で指定されるときは８Ｋ映像におけるピクセルで指定されるため、第１フレームバッファ部４０３から領域の映像データを抽出する時に４Ｋ映像の対応するピクセルに変換する。領域の形状が正規化された値を使用している場合も４Ｋ映像の対応するピクセルに変換する。また制御部４０１は、領域再構成用情報で指定される領域に対応する情報、本実施の形態では輝度情報の周波数の広がりに関するランク情報に基づいて超解像処理部４０５が使用する超解像処理方法とサブモードを設定する。ランク１の時は超解像処理方法に補間機能を使用し、サブモードはバイキュービックを設定し、ランク２の時は超解像処理方法に補間機能を使用し、サブモードはランチョス３を設定し、ランク３の時は超解像処理方法にシャープ化機能使用し、サブモードはアンシャープを設定し、ランク４の時は超解像処理方法にシャープ化機能を使用し、サブモードは非線形関数を設定する。超解像処理部４０５は設定された超解像方法とサブモードを使用して対象領域の映像に超解像処理を行い、超解像処理後の映像データを第２フレームバッファ４０６上の映像データを上書きする。領域再構成用情報に含まれるすべての領域に対して超解像処理を行うとそのフレームに対する超解像処理が終了となり、次のフレームの処理に移行する。完成したフレームの映像データは順次映像表示部１１９に対して出力される。映像再構成用の辞書データ、辞書インデックスの検索範囲に関する情報をネットワーク側機器１０１から取得している場合は、超解像処理部４０５に対して映像再構成機能を使用するように設定しても良い。この時、超解像処理部４０５に対して辞書データ等の更新を行っても良い。
【００３５】
次に超解像処理部４０５内部の機能ブロックの一例を、図４（ｂ）を使用して説明する。４１１は領域の情報と超解像処理方法、サブモードが入力され、第１選択部４１５、第２選択部４１６、シャープ化機能部４１２、補間機能部４１３、映像再構成機能部４１４の各部を設定する制御部で、各ブロックを設定することで入力された領域の映像情報に対して超解像処理を行う。第１選択部４１５は使用する処理部を選択し、第２選択部４１６は選択した処理部から第２フレームバッファ部４０６に対して出力する映像データを選択する。４１２はシャープ化による超解像処理を行うシャープ化機能部で、水平方向にシャープ化による超解像処理を行った後、垂直方向にシャープ化処理を行い、画面全体にシャープ化処理を行う。シャープ化処理を行うための機能ブロックの一例を図５（ａ）に示す。図５（ａ）は一方向へのシャープ化処理を行う機能ブロックを示しているが、入力する映像信号のスキャン方向を変えることで領域全体をシャープ化することが可能となる。シャープ化の方法としてアンシャープマスク処理と、非線形関数を使用する高調波を使用したシャープ化処理の２種類を設定できる。５０１は第１選択部５０４、第２選択部５０７、第１フィルタ部５０５、第２フィルタ部５０６を制御する制御部、５０２は入力映像信号をアップサンプリングするアップサンプリング部、５０３はアップサンプリングされた映像信号の高周波部分を取り出すハイパスフィルタ（ＨＰＦ）部、５０４は適用するフィルタを選択する第１選択部、５０５はアンシャープ処理を行うための第１フィルタ部、５０６は非線形関数を適用する第２フィルタ部、５０７は制御部が選択したフィルタの出力
をリミッタ部５０８に入力する第２選択部、５０８は第２選択部５０７から入力されるフィルタ後の信号の振幅を制限するリミッタ部、５０９はリミッタ部５０８の出力と、アップサンプリング後の信号を加算する加算部である。第１フィルタ部５０５はアンシャープマスク処理に使用する高周波部分を更に強調するフィルタである。第１フィルタ部５０５の周波数特性は制御部５０１によって制御できる。第２フィルタ部５０６は非線形処理による高調波を発生させるフィルタで、一例として以下の式を使用できる。利得αは制御部５０１によって制御できる。
【数１】
2019121836.tif 000003
リミッタ部５０８は第１フィルタ部５０５、第２フィルタ部５０６によって増幅された振幅を一定値までに制限する。本実施例では予め決められた値に制限するが、この値を制御部５０１によって制御できるようにしても良い。加算部５０９がアップサンプリングされた映像信号と第１フィルタ部５０５の出力を加算することでアンシャープマスク処理が行われた映像信号を得ることができる。また、加算部５０９がアップサンプリングされた映像信号と第２フィルタ部５０６の出力を加算することで、アップサンプリング後の映像信号に含まれていない高周波成分を含む映像信号、つまり高解像度化された信号を得ることが可能となる。加算部５０９は第１フィルタ部５０５、第２フィルタ部５０６の通過遅延に相当するだけアップサンプリングされた映像信号を遅延させて加算する。
【００３６】
４１３は補間による超解像処理を行う補間機能部で、内部の機能ブロックの一例を図５（ｂ）に示す。５１１は第１選択部５１２、第２選択部５１５、第１補間部５１３、第２補間部５１４を制御する制御部、５１２は適用する補間部を切り替える第１選択部、５１３はバイキュービック（ｂｉ−ｃｕｂｉｃ）法による補間を行う第１補間部、５１４はランチョス３（Ｌａｎｃｚｏｓ３）法による補間を行う第２補間部、５１５は選択した補間部の出力を補間機能部４１３の出力とする第２選択部である。第１補間部５１３の出力のシャープ度よりも第２補間部５１４の出力のシャープ度を高くするように制御部５１１により設定する。これはランチョス３法の方がバイキュービック法よりも参照点が多く、補間後のシャープ度を高く設定できるためである。
【００３７】
４１４は、辞書データとのマッチングもしくは辞書データを利用したニューラルネットワークを使用して映像の再構築による超解像処理を行う映像再構成機能部で、内部の機能ブロックの一例を図５（ｃ）に示す。５２１は他の機能ブロックを制御する制御部、５２６は入力された映像データを、フレーム単位で８Ｋ解像度に変換する解像度変換部、５２２は解像度変換部５２６が出力する１フレームの画像データを順次読み込み、第１辞書データ部５２４または第２辞書データ部５２５に格納されているパッチデータを参照して詳細化したデータを画像再構成部５２７に出力するニューラルネットワーク部、５２７はニューラルネットワーク部５２２が出力する詳細化された画像データを利用して８Ｋ解像度の画像を再構築し、フレーム単位で出力する画像再構成部、５２３はニューラルネットワーク部５２２がパッチデータを参照する先の辞書データ部の設定を行う辞書検索部、５２４、５２５はそれぞれパッチデータを格納する第１辞書データ部、第２辞書データ部である。解像度変換部５２６が行う処理は限定されない。最近傍法や、直線補間などの計算量が少ない処理方法を用いてよい。この解像度変換部５２６が行う処理方法に適したパッチデータを格納する第１辞書データ部５２４、第２辞書データ部５２５を備えればよい。ニ
ューラルネットワーク部５２２が使用する方式は特に限定しないが、本実施形態では畳み込みニューラルネットワークを使用する。ニューラルネットワーク部５２２は画像の処理単位、例えば注目しているピクセルの周囲を含んだ３×３のピクセルを解像度変換部５２６から取得すると、辞書検索部５２３を経由して第１辞書部５２４、または第２辞書部５２５から畳み込み処理用のフィルタ係数と重み係数を得て、畳み込み処理後の最大値を画像再構成部５２７に出力する。ニューラルネットワーク部５２２は多層構造としても良い。第１辞書部５２４、第２辞書部５２５には、制御部５２１経由で、ネットワーク側機器１０１内のネットワーク管理部１１４から学習済みの辞書データを取得しておく。ニューラルネットワーク部５２２が解像度変換部５２６の出力する全てのピクセルに対して畳み込み処理を行い、その結果を画像再構成部５２７で再構築することで８Ｋ解像度の超解像処理を行う。映像再構成機能部４１４に入力される領域が４Ｋ映像データ中の１００×１００ピクセルであった場合、映像再構成機能部４１４の出力は８Ｋ映像データの２００×２００ピクセルのデータとなる。端末情報生成部１２０などから使用に適した辞書データの情報が得られた場合、辞書検索部５２３はニューラルネットワーク部５２２が使用する辞書データ部を第１辞書データ部５２４、第２辞書データ部５２５のいずれかに固定して良い。
【００３８】
超解像処理部４０５はランクの値が低いほど演算処理が少なく、ランクの値が高いほど多くの演算を必要とする処理方法を選択するようにしても良い。これによりランクの値が低い領域の演算処理を少なくすることで画面全体の超解像処理に必要な演算処理を減らし、超解像処理に必要な演算時間を短くすることが可能となる。
【００３９】
端末側機器１０２の端末情報生成部１２０は、ネットワークを介して、領域再構成用情報生成部１０８に対して、超解像度パラメータのリクエストを行ってもよい。この場合には、領域再構成用情報生成部１０８は、超解像度パラメータのリクエストにしたがって、超解像度パラメータを生成し、端末側機器１０２に伝送する。さらに、超解像度パラメータのリクエストには、端末側機器１０２の能力に応じて、利用可能な超解像パラメータの種別を含むことが好適である。例えば、超解像処理方法に補間機能、シャープ化機能が利用可能である場合には、補間機能、シャープ化機能を種別に指定する。またサブモードに関する種別もリクエストに加えてもよい。例えば、サブモードとしてアンシャープ、非線形関数を利用可能な場合には、端末情報生成部１２０は、アンシャープ、非線形関数を要求する。サブモードは非線形関数を利用可能な場合には、非線形関数を種別として要求する。
また、端末情報生成部１２０のリクエストには、分類情報に関するパラメータを含んでもよい。例えば、分類に用いる最大ブロックサイズや最小ブロックサイズ、ブロック分割の階層数の情報を含んでもよい。また、リクエストには、ランクの数を含んでもよい。
領域再構成用情報生成部１０８は、リクエストに含まれる種別や分類情報に関するパラメータに応じた超解像度パラメータを生成して端末情報生成部１２０に伝送する。例えば、種別として、アンシャープ、非線形関数の指定がある場合には、アンシャープ、非線形関数の情報を超解像度パラメータとして伝送する。また、分類情報として指定された最大ブロックサイズや最小ブロックサイズ、ブロック分割の階層数、ランクの数などに応じた超解像度パラメータとして伝送する。
【００４０】
超解像処理部４０５は処理後の映像信号が８Ｋ映像となるように処理するだけでなく、他の解像度の映像信号となるよう処理しても良い。映像表示部１１９の表示能力が８Ｋ映像を表示するに満たず、例えば５７６０ピクセル×２１６０ピクセルの表示能力であった場合、超解像処理後の映像データが５７６０ピクセル×２１６０ピクセルとなるように処理して良い。また映像表示部１１９の表示能力が８Ｋ映像を超えるピクセル数を有している場合、そのピクセル数に合わせて超解像処理を行っても良い。
【００４１】
以上のように各機能ブロックが動作することで、符号化された映像データの情報量を削減しつつ、映像配信部が供給する映像データに基づいたわずかな領域再構成用情報を使用して品質の高い超高解像度映像を表示することが可能となる。
【００４２】
上記実施例に示したように、ネットワーク側機器１０１は、例えば８Ｋ映像のような超高解像度映像コンテンツのデータを端末側機器１０２に伝送・配信する際に、伝送に使用する有線ネットワーク、無線ネットワーク、あるいは放送波伝送路等の伝送速度（伝送容量、伝送帯域）に応じて、元の超高解像度映像コンテンツを低解像度化して情報量を削減した上で映像符号化を行った低解像度映像符号化データを送信するとともに、元の超高解像度映像コンテンツの特徴を表す情報、例えば輝度情報や色差情報などの分布の似通っている領域に分割した情報および領域毎の特徴等を表す領域再構成用情報を生成して送信する。端末側機器１０２は、ネットワーク側機器１０１から受信した低解像度映像符号化データを復号した低解像度の映像データに対して、ネットワーク側機器１０１から受信した領域再構成用情報に基づいて超解像処理等を行って８Ｋ映像を再構成する。なお、複数の端末側機器１０２に対して同一の超高解像度映像コンテンツを伝送・配信する際には、複数の端末側機器１０２との間のそれぞれの伝送路の伝送速度等に応じて異なるサイズの低解像度化を選択して映像符号化した低解像度映像符号化データをそれぞれ送信し、領域再構成用情報については複数の端末側機器１０２で共通のものを生成して送信してもよい。このような構成によって、超解像度映像コンテンツを伝送する場合に、伝送路の伝送速度等に応じて映像符号化データの情報量を削減するとともに、再生時に、元の超高解像度映像コンテンツに基づいた領域再構成用情報を用いて超解像処理等の映像処理を施すことによって、より品質の高い超高解像度映像を再構成して表示することが可能となる。
【００４３】
（全実施形態共通）
本発明に関わる装置で動作するプログラムは、本発明に関わる実施形態の機能を実現するように、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ（ＣＰＵ）等を制御してコンピュータを機能させるプログラムであっても良い。プログラムあるいはプログラムによって取り扱われる情報は、一時的にＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）などの揮発性メモリあるいはフラッシュメモリなどの不揮発性メモリやＨａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ（ＨＤＤ）、あるいはその他の記憶装置システムに格納される。
【００４４】
尚、本発明に関わる実施形態の機能を実現するためのプログラムをコンピュータが読み取り可能な記録媒体に記録しても良い。この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。ここでいう「コンピュータシステム」とは、装置に内蔵されたコンピュータシステムであって、オペレーティングシステムや周辺機器等のハードウェアを含むものとする。また、「コンピュータが読み取り可能な記録媒体」とは、半導体記録媒体、光記録媒体、磁気記録媒体、短時間動的にプログラムを保持する媒体、あるいはコンピュータが読み取り可能なその他の記録媒体であっても良い。
【００４５】
また、上述した実施形態に用いた装置の各機能ブロック、または諸特徴は、電気回路、たとえば、集積回路あるいは複数の集積回路で実装または実行され得る。本明細書で述べられた機能を実行するように設計された電気回路は、汎用用途プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはその他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェア部品、またはこれらを組み合わせたものを含んでよい。汎用用途プロセッサは、マイクロプロセッサであってもよいし、従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであっても良い。前述した電気回路は、デジタル回路で構成されていてもよいし、アナログ回路で構成されていてもよい。また、半導体技術の進歩により現在の集積回
路に代替する集積回路化の技術が出現した場合、本発明の一または複数の態様は当該技術による新たな集積回路を用いることも可能である。
【００４６】
なお、本願発明は上述の実施形態に限定されるものではない。実施形態では、装置の一例を記載したが、本願発明は、これに限定されるものではなく、屋内外に設置される据え置き型、または非可動型の電子機器、たとえば、ＡＶ機器、オフィス機器、自動販売機、その他生活機器などの端末装置もしくは通信装置に適用出来る。
【００４７】
以上、この発明の実施形態に関して図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、本発明は、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。また、上記各実施形態に記載された要素であり、同様の効果を奏する要素同士を置換した構成も含まれる。
【産業上の利用可能性】
【００４８】
本発明は、映像処理装置に利用可能である。
【符号の説明】
【００４９】
１０１  ネットワーク側機器
１０２  端末側機器
１０３  映像配信部
１０４  映像信号供給部
１０５  ネットワーク装置
１０６  画像情報削減部
１０７  映像符号化部
１０８  領域再構成用情報生成部
１０９  領域選択部
１１０  特徴抽出部
１１１  再構成情報生成部
１１２  信号多重部
１１３  基地局装置
１１４  ネットワーク管理部
１１５  端末情報制御部
１１６  端末無線部
１１７  映像復号部
１１８  映像再構成部
１１９  映像表示部
１２０  端末情報生成部
４０１  制御部
４０３  第１フレームバッファ部
４０４  領域抽出部
４０５  超解像処理部
４０６  第２フレームバッファ部
４１１  制御部
４１２  シャープ化機能部
４１３  補間機能部
４１４  映像再構成機能部
４１５  第１選択部
４１６  第２選択部
５０１  制御部
５０２  アップサンプリング部
５０３  ハイパスフィルタ部
５０４  第１選択部
５０５  第１フィルタ部
５０６  第２フィルタ部
５０７  第２選択部
５０８  リミッタ部
５０９  加算部
５１１  制御部
５１２  第１選択部
５１３  第１補間部
５１４  第２補間部
５１５  第２選択部
５２１  制御部
５２２  ニューラルネットワーク部
５２３  辞書検索部
５２４  第１辞書データ部
５２５  第２辞書データ部
５２６  解像度変換部
５２７  画像再構成部
【図１】
2019121836.tif 000004
【図２】
2019121836.tif 000005
【図３】
2019121836.tif 000006
【図４】
2019121836.tif 000007
【図５】
2019121836.tif 000008