(57)【要約】【課題】  超解像技術等の高解像度化技術により、コンテンツ提供者の意思に反して高解像度化されることを防止する。【解決手段】  本発明の映像出力装置は、複数のフレームの画像から成る映像データの入力手段と、前記入力手段から入力された映像データの複数フレーム分の画像から空間解像度が増加した画像を生成する超解像処理手段と、前記超解像処理手段により生成した超解像画像から高周波成分を除去する低域通過型フィルタと、前記低域通過型フィルタにより高周波成分が除去された画像を画像圧縮してストリーム出力する画像圧縮部と、を備える構成とした。  さらに、前記低域通過型フィルタにより高周波成分が除去されるフレームあるいは画像領域を設定できるようにした。【選択図】図１
2009141824.tif 000002
【特許請求の範囲】
【請求項１】
映像ストリームデータを出力する映像出力装置であって、
複数のフレームの画像から成る映像データの入力手段と、
前記入力手段から入力された映像データの複数フレーム分の画像から空間解像度が増加した画像を生成する超解像処理手段と、
前記超解像処理手段により生成した超解像画像から高周波成分を除去する低域通過型フィルタと、
前記低域通過型フィルタにより高周波成分が除去された画像を画像圧縮してストリーム出力する画像圧縮部と、を備えることを特徴とする映像出力装置。
【請求項２】
請求項１に記載の映像出力装置において、
前記超解像処理手段で生成された超解像画像と前記低域通過型フィルタで高周波成分を除去された超解像画像を選択するセレクタ部と、
前記セレクタの動作を記憶するモード記憶部を備え、
前記画像圧縮部は、前記セレクタ部により選択された画像が入力され、高周波成分を除去された超解像画像かあるいは高周波成分を除去されていない超解像画像を画像圧縮することを特徴とする映像出力装置。
【請求項３】
映像ストリームデータを出力する映像出力装置であって、
複数のフレームの画像から成る映像データの入力手段と、
前記入力手段から入力された映像データの複数フレーム分の画像から空間解像度が増加した画像を生成する超解像処理手段と、
前記超解像処理手段により生成した超解像画像から高周波成分を除去する低域通過型フィルタと、
前記低域通過型フィルタにより高周波成分が除去された画像に対し標本化周波数の低減を行うダウンサンプル手段と、
前記ダウンサンプル手段により標本化周波数が低減した画像を画像圧縮してストリーム出力する画像圧縮部と、を備えることを特徴とする映像出力装置。
【請求項４】
請求項３に記載の映像出力装置において、
前記超解像処理手段で生成された超解像画像と前記低域通過型フィルタで高周波成分を除去された超解像画像を選択するセレクタ部と、
前記セレクタの動作を記憶するモード記憶部を備え、
前記ダウンサンプル手段には前記セレクタ部により選択された画像が入力され、高周波成分を除去された超解像画像かあるいは高周波成分を除去されていない超解像画像に対して標本化周波数の低減を行うことを特徴とする映像出力装置。
【請求項５】
請求項２あるいは請求項４に記載の映像出力装置において、
前記モード記憶部は、映像データのフレームごとに記憶内容が変更されることを特徴とする映像出力装置。
【請求項６】
請求項５に記載の映像出力装置において、
前記セレクタ部の動作モードを画像の座標領域から生成するモード情報生成手段を備えたことを特徴とする映像出力装置。
【請求項７】
請求項５に記載の映像出力装置において、
前記セレクタ部の動作モードを画像内容から生成するモード情報生成手段を備えたことを特徴とする映像出力装置。
【請求項８】
映像ストリームデータを出力する映像出力装置であって、
複数のフレームの画像から成る映像データの入力手段と、
前記入力手段から入力された映像データの複数フレーム分の画像から空間解像度が増加した画像を生成する超解像処理手段と、
前記超解像処理手段により生成した超解像画像から高周波成分を除去する低域通過型フィルタと、
前記低域通過型フィルタにより高周波成分が除去された画像に対し標本化周波数の低減を行うダウンサンプル手段と、
前記入力手段から入力される画像とダウンサンプル手段で標本化周波数が低減された画像を選択するセレクタ部と、
前記セレクタの動作を記憶するモード記憶部と、
前記セレクタ部で選択された画像を画像圧縮してストリーム出力する画像圧縮部と、を備えたことを特徴とする映像出力装置。
【請求項９】
請求項８に記載の映像出力装置において、
前記超解像処理手段は、前記セレクタ部で前記入力手段から入力される画像が選択されているときには、超解像処理動作を停止することを特徴とする映像出力装置。
【請求項１０】
映像ストリームデータを出力する映像出力装置であって、
複数のフレームの画像から成る映像データの入力手段と、
前記入力手段から入力された映像データの複数フレーム分の画像から空間解像度が増加した画像を生成する超解像処理手段と、
前記超解像処理手段により解像度が増加した画像を画像圧縮してストリーム出力する画像圧縮部と、を備え、
前記画像圧縮部は、少なくとも、入力された画像を周波数領域に変換した周波数領域データを生成し、前記周波数領域データの高周波成分を除去または低減させる高域除去処理を行うことを特徴とする映像出力装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は複数枚の静止画像または動画像を処理する映像処理装置に関する。
【背景技術】
【０００２】
デジタル放送やＤＶＤなどのメディアコンテンツでは、カメラの性能や帯域幅の制限から動画像の解像度は制限されている。しかしながら、視聴者はよりきれいな映像を見たいという欲求を持っている。このため、解像度制限された画像を高解像度化してきれいに見る技術、いわゆる超解像技術に注目が集まりつつある。
【０００３】
この超解像をおこなう技術は、特許文献１に開示されている技術を含めていくつかあるが、特許文献１には、サンプリング時の折り返し歪みを打ち消して原信号の高周波成分を復元することで、超解像をおこなう技術が記載されている。この超解像をおこなう技術を使用すれば、ＤＶＤの映像を高解像度化して表示することや、テレビ放送をよりきれいに視聴するといったことが可能となる。
【０００４】
【特許文献１】特開平8-336046号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この超解像技術を視聴者が使用することにより、オリジナルコンテンツの解像度、すなわちコンテンツ製作者が意図したよりも高い解像度で映像を視聴することが可能となる。これはコンテンツをきれいに視聴できるため、視聴者利益の観点からは好ましいケースが多いが、コンテンツ作成側や、被写体にとっては不利益が発生するケースもありうる。
【０００６】
例えば、「報道番組等で放送した街角の映像を超解像処理することで、偶然後ろを歩いていた芸能人の顔が特定され、プライバシー侵害で訴えられた」、「紀行番組で場所を公開せずに穴場を紹介したつもりが、背景の看板を超解像処理することで文字を読み取られ、場所を特定されて観光客が大量に押し寄せた」、といったことが発生しうる。このように、コンテンツによっては、超解像処理を行われると好ましくない結果に結びつくケースがありうる。そこで、本発明では、コンテンツ全体またはコンテンツの一部に対して、超解像処理を防止する仕掛けを提供することで、このような問題の発生を防ぐことを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の映像出力装置は、複数のフレームの画像から成る映像データの入力手段と、前記入力手段から入力された映像データの複数フレーム分の画像から空間解像度が増加した画像を生成する超解像処理手段と、前記超解像処理手段により生成した超解像画像から高周波成分を除去する低域通過型フィルタと、前記低域通過型フィルタにより高周波成分が除去された画像を画像圧縮してストリーム出力する画像圧縮部と、を備える構成とした。
【０００８】
さらに、前記超解像処理手段で生成された超解像画像と前記低域通過型フィルタで高周波成分を除去された超解像画像を選択するセレクタ部と、前記セレクタの動作を記憶するモード記憶部を備え、前記画像圧縮部は、前記セレクタ部により選択された画像が入力され、高周波成分を除去された超解像画像かあるいは高周波成分を除去されていない超解像画像を画像圧縮するようにした。
【発明の効果】
【０００９】
本発明を用いることにより、映像コンテンツ全体または映像コンテンツの一部に対して超解像処理による高解像度化を実現できなくすることができる。これにより、映像コンテンツが、コンテンツ提供者の意思に反して超解像化されることを防止でき、映像出力装置の使い勝手が向上する。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明の実施の形態を、複数の実施例に基づいて説明する。
【実施例１】
【００１１】
図１に本発明の第一の実施例の構成図を示す。この図のシステムは、コンテンツ制作者側のシステム１と視聴者側のシステム２で構成されており、コンテンツは放送電波によって両者の間を伝送される。なお、本実施例は放送に限ったものではなく、ＤＶＤなどのパッケージやインターネットなど、映像を受け渡す方式に関わらず適用することが可能である。  
本実施例では、本発明を用いたコンテンツ制作者側のシステム１は、ＣＣＤなどの撮像素子１０、超解像処理装置２０、低域通過フィルタ３０、画像圧縮回路４０から構成される。なお、本実施例では説明を簡単にするため、撮像素子１０の出力をそのまま超解像処理装置２０に接続しているが、これらは必ずしも直接接続されている必要はない。両者の間にハードディスクなどの記憶媒体やネットワークなどの伝送媒体が入っても本発明の効果に問題はない。これは撮像素子１０と超解像処理装置２０の間に限ったことではなく、他の構成要素の間またはその内部にも記憶媒体や伝送媒体を挿入することは可能である。これは他の実施例でも同様である。また、ここでは単に撮像素子１０と述べているが、実査には撮像素子後段に接続される可能性のある増幅回路やＡＤ変換器等の信号処理回路もここに含まれる。
【００１２】
被写体を映像撮像素子１０により撮影すると、素子１０の画素数により空間的にサンプリングされることになる。このときのサンプリング周波数をｆｓとする。撮像素子に入力される映像は、空間方向に周波数制限されていない、図２の９０１のような周波数特性を持っているものとする。この図において横軸は空間周波数、縦軸は振幅である。
【００１３】
一般に、アナログ信号をサンプリングする場合、図３のようにサンプリング周波数の半分（ｆｓ／２）よりも大きな周波数成分を通過させない特性８００を持つ低域通過フィルタにより帯域制限を行う。この帯域制限により、９０１の周波数特性は、図４の９０２のように変化する。これを、サンプリング周波数ｆｓでサンプリングすると、折り返し成分が発生し、図５のように周波数成分が変化する。
【００１４】
しかしながら、−ｆｓ／２〜ｆｓ／２の成分に関しては、図４と図５は同一となる。このように、図３の特性を持つ低域通過フィルタによって帯域制限することにより、帯域制限後の信号の−ｆｓ／２〜ｆｓ／２の成分に関しては劣化させることなくサンプリングできることになる。言い方を変えれば、サンプリング周波数ｆｓでサンプリングを行うデバイスでは、ｆｓ／２よりも小さな周波数成分のみを維持することが可能である。このことは、サンプリング定理として知られている。
【００１５】
しかしながら、ＣＣＤなどの撮像素子によって映像を取り込む場合のようにサンプリングを行う前に帯域制限が行われない場合、図２の９００の様な周波数特性の画像は、サンプリングにより折り返し成分が発生すると、図６の様に変化することになる。すなわち、元の周波数特性９０１にサンプリング周波数ｆｓを周期とする折り返し成分９０５，９０６，９０７が重ね合わせられることになる。元の周波数成分９０１と折り返し成分９０５、９０７がオーバーラップしている部分は、両者の成分が加算された値となる。このため、ｆｓ／２以下の成分に限定しても、元の信号とは異なる信号となり、１枚の画像からでは、元の信号を再現することは不可能である。
【００１６】
超解像は複数枚の画像を用いて、この折り返し成分を除去することで元の信号を再現する方式である。超解像の原理については、前述の特許文献に記載されているためここでは省略するが、超解像処理を行うことにより図６の周波数特性を持つ信号から、図２の信号をほぼ再現することが可能となる。すなわち、撮像素子１０によりサンプリング周波数ｆｓでサンプリングされた画像からｆｓ／２よりも高い周波数成分を持つ信号を復元することが可能となる。
【００１７】
このように超解像を用いれば、視聴者側でコンテンツ作成側が意図している解像度（ｆｓ／２相当）よりも高い解像度の映像を視聴することが可能となる。このことは、コンテンツ作成側にとっては、肖像権の侵害など、意図せぬリスクを発生させる要因となりうる。
【００１８】
本実施例では、まずコンテンツ作成側の装置１の内部で撮像素子１０の出力である信号（図６相当）に対して、超解像処理装置２０を用いて超解像処理を行い、図７の信号９０１を復元する。本実施例では、縦横各２倍の超解像を想定している。ただし本発明は、この倍率に限定されることはない。
【００１９】
縦横各２倍の超解像処理により解像度が２倍となったため、それに伴いサンプリング周波数も２倍となる。超解像後のサンプリング周波数をＦｓで表すと、Ｆｓ＝ｆｓ×２であり、図７の周波数特性はこの周期で繰り返されることになる。
【００２０】
本発明ではこの信号に対して、図８のような特性を持つ低域通過フィルタ３０により、帯域制限を行い、ｆｓ×（４ｎ＋１）／２〜ｆｓ×（４ｎ＋３）／２の成分を除去する。ここでｎは任意の整数である。その結果、低域通過フィルタ３０の出力は図９のような信号となる。ここで、低域通過フィルタ３０はデジタルフィルタを想定しているため、サンプリング周波数Ｆｓ周期で繰り返される周波数特性を持っていることになり、その出力である図９もサンプリング周波数Ｆｓで繰り返された特性を持つことになる。
【００２１】
ここで、サンプリング周波数をｆｓに戻す処理、すなわち１画素おきの間引き処理を行うと、信号の周波数特性は図１０のようになる。この周波数特性を見ると明らかなように、撮像素子１０の出力に含まれていたｆｓ×１／２よりも高い周波数成分に相当する情報は除去されており、視聴者側で超解像を行っても、撮像素子１０の出力に含まれていたｆｓ×１／２よりも高い周波数成分を復元することは不可能となる。
【００２２】
本実施例では、低域通過フィルタ３０の出力は、画像圧縮装置４０によって、ＭＰＥＧ等の画像圧縮方式により圧縮された後、ユーザ側へ送出される。なお、画像圧縮装置４０は本実施例の必須要素ではなく、画像を圧縮せずに使用する場合も本発明は有効である。
【００２３】
また、本方式を用いることで、画像圧縮装置４０の入力に含まれていた折り返し成分が除去されるため、画像の持つ情報量が下がり、より圧縮率を高めることが可能となる。このことは、同一のビットレートであれば、よりきれいな映像を伝送できることを示し、同一の画質であれば、より小さなビットレートに圧縮できることを意味している。
【実施例２】
【００２４】
実施例１で示した方式を用いることで、視聴者側で超解像を行っても高解像度化できないコンテンツを作成することが可能となる。これは、コンテンツ作成者側のリスクを低減する意味では有用であるが、より高い画質のコンテンツを提供したいというコンテンツ作成側と、より高い画質で視聴したいという視聴者側の要求には反することになる。そこで、本実施例では、コンテンツ全体ではなく、コンテンツの一部に対して超解像を行えなくする手段を提供することによりこの問題を緩和する。
【００２５】
本実施例におけるコンテンツ作成者側の機器の構成図を図１１に示す。本実施例では、超解像処理装置２０の出力２１と低域通過フィルタ３０の出力３１を選択するセレクタ87を設けている。９０は、このシステムを制御しているコントローラである。８１は現在処理中の画素の水平座標を示す水平座標カウンタ、８３は現在処理中の画素の垂直座標を示す垂直座標カウンタである。これらのカウンタ値は、範囲チェック回路８４、８５、８６によって範囲内であるかをチェックされ、その結果を用いてセレクタ８７の切り替え信号８６１が生成される。
【００２６】
例として図１２の画像を処理する場合を考える。画像２００には人間の顔２０１と建物２０２が含まれている。ここで、建物２０２に関しては超解像処理によって高解像化されても問題は生じないが、人間の顔２０１に関しては高解像化されるとプライバシー等の問題が生じる場合を想定する。
【００２７】
このような場合に、本実施例では人間の顔２０１を含む矩形領域に対して、超解像による高解像度化ができなくする仕組みを提供する。コントローラ９０はこの画像を処理する前に、前記矩形領域の水平座標の最小値２１１と最大値２１２および、垂直座標の最小値２２１と最大値２２２を範囲指定レジスタ８２へ格納する。この４つの値で指定される矩形領域が超解像に必要な情報を除去する対象の超解像禁止領域となる。範囲チェック回路８４の出力８４１は、水平座標カウンタ８１の値が、範囲指定レジスタ８２に格納されている水平座標の最小値２１１と最大値２１２の間にある時に１、それ以外のときに０となる。
【００２８】
同様に、範囲チェック回路８５の出力８５１は、垂直座標カウンタ８３の値が、範囲指定レジスタ８２に格納されている垂直座標の最小値２２１と最大値２２２の間にある時に１、それ以外のときに０となる。２次元範囲チェック回路８６は、その入力である８４１と８５１がともに１である時に、出力８６１に１を出力し、それ以外の場合は０を出力する。すなわち、現在の座標が範囲指定レジスタ８２で指定される範囲内であれば出力８６１は１、範囲外であれば０となる。セレクタ８７は、選択信号８６１が０の場合は入力２１を出力し、１の場合は入力３１を出力する。セレクタ８７の出力はダウンサンプル回路３５へ出力されることになる。
【００２９】
このような構成によって、画像２００の中の人間の顔２０１を含む矩形領域に関しては低域通過フィルタ３０を通過し、それ以外の領域については低域通過フィルタ３０をバイパスさせることが可能となる。この結果、人間の顔２０１を含む矩形領域のみ、視聴者側で超解像処理を行う際に必要とされる高周波成分を除去することが可能となる。また、本実施例では、セレクタ８７によって明示的に低域通過フィルタ３０をバイパスさせたが、セレクタ８７を使用せずに、低域通過フィルタ３０のフィルタ係数を信号８６１の値に応じて切り替えることにより、フィルタ特性を切り替えることでも同様の効果を実現することが可能である。この場合、信号８６１は低域通過フィルタ３０に接続されることになる。
【００３０】
また、今回は説明を簡単にするため、矩形領域を１カ所に限定したが、範囲指定レジスタ８２、範囲チェック回路８４、８５、８６を複数系統使用すれば複数の矩形領域を指定することも可能である。また範囲チェックの方法を変更することで、楕円等、矩形以外の形状を指定することも可能である。なお、範囲チェックレジスタ８２はフレーム単位で変更可能とすることで、フレームごとに超解像禁止領域の形状を変更することも可能である。
【実施例３】
【００３１】
本発明の別の実施例を図１３を用いて説明する。この実施例では、実施例２と同様の方法で生成した信号８６１を用いてセレクタ８７１の入力を切り替える。セレクタ８７１には、撮像素子１０の出力１１とダウンサンプル回路３５の出力３６が接続されている。セレクタ８７１は、選択信号８６１が０の場合は入力１１を出力し、１の場合は入力３６を出力する。セレクタ８７１の出力は画像圧縮回路４０へ出力されることになる。
【００３２】
この結果、人間の顔２０１を含む矩形領域のみ超解像に必要な高周波成分を除去することが可能となる。また、本方式では、超解像禁止としない領域を処理する際には、クロック制御回路９５により超解像処理回路２０や低域通過フィルタ３０、ダウンサンプル回路３５へのクロック供給を停止させることが可能となるため、消費電力削減等の観点で有利である。
【実施例４】
【００３３】
実施例２、３では超解像禁止領域を範囲指定レジスタ８２への座標設定によって設定したが、これを自動化することも可能である。これを図１４を用いて説明する。この図において９１は、画像の中から超解像禁止領域を検出するための回路である。人の顔を検出する場合であれば、色のヒストグラムから肌色に近い領域を抽出したり、画像認識によって顔を検出する等の方法が考えられる。
【００３４】
領域検出回路９１で超解像禁止領域と判断された領域においては、領域指定バッファ９２に１を、それ以外の領域においては０を書き込む。本実施例では、領域指定バッファ９２は深さ１のビットマップ形式を想定している。アドレス生成回路８８は水平座標カウンタ８１と垂直座標カウンタ８２の値から、領域指定バッファ９２を読み出す際に使用する読み出しアドレス８８１を生成する。このアドレスを用いて領域指定バッファ９２から読み出された値９２１を用いてセレクタ８７を切り替える。この方式では、領域指定バッファ９２の格納形式をビットマップ形式としているため、超解像禁止領域を任意の形状で指定することが可能となる。
【００３５】
本実施例の方法は画像圧縮装置４０におけるビットレート低減にも使用可能である。例えば、領域検出回路で画素周辺の周波数成分を調査し、その画素周辺が比較的なめらかな領域である場合は、超解像の効果が低いと判断して超解像禁止領域として処理する。逆に、その画素周辺に高周波成分が多く含まれる場合は超解像の効果が高いと判断して超解像可能領域として処理する。このようにすることで、超解像の効果が高い領域についてのみ視聴者側で超解像処理を行う際に必要となる情報を残すことが可能となる。この結果、超解像の効果が高い領域は超解像を可能としつつ、映像全体の情報量を落として圧縮率を上げることが可能となる。
【実施例５】
【００３６】
ここまでの実施例では、画像圧縮回路と独立した低域通過フィルタを使用してきたが、図１５のように、画像圧縮回路と統合させることも可能である。この図において１００が画像圧縮回路と低域通過フィルタを統合した回路である。この回路の実現例を図１６に示す。この例では画像圧縮方式としてＭＰＥＧやＨ２６４のように、動き補償によるフレーム間圧縮とＤＣＴなどのフレーム内圧縮を統合した方式を使用している。
【００３７】
この図において、１０１は、現在のフレームと参照フレームの差分を算出する減算回路、１０２は空間領域から周波数領域への変換を行う周波数変換回路、１０３は量子化と高域成分の除去を行う回路、１０４はハフマン符号等の可変長符号化を行う可変長符号化回路である。１０５、１０６、１０７はそれぞれ１０３、１０２、１０１に相当する処理の逆変換を行うことにより、参照フレームを生成する回路である。参照フレームはフレームバッファ１１０へ書き込まれる。動き検出回路１０９は入力された画像と参照フレームの相関をとり、一番類似した領域を探すことで動きベクトルの探索を行う。１０８は１０９で探索された動きベクトルを用いて参照フレームのなかの参照領域を読み出す動き補償回路である。本実施例の、量子化・高域除去回路１０３の動作を図１７を用いて説明する。
【００３８】
本実施例の圧縮方法では入力画像を矩形の小領域に分割して処理する。ここでは、小領域をブロックと呼び、ブロックのサイズは縦横ともに８画素とする。ただし本発明はこのサイズに限定される物ではない。
【００３９】
周波数変換回路１０２に入力された、入力画像ブロック３００はＤＣＴ等の変換により周波数領域へ変換される。周波数領域に変換されたブロック３０１は、縦横とも８要素であり、水平方向の周波数成分は右へ行くほど、垂直方向の周波数成分は下へ行くほど高くなる。ここで、量子化・高域除去回路１０３は、周波数領域に変換されたブロック３０１の左上４×４の領域、すなわち低周波領域のみを取り出し、残りの領域を除去する。さらに、この４×４の領域に対して量子化を行うことによって３０２を出力する。これにより、高域成分の除去とダウンサンプリングが行われたことになる。この結果である３０２は、可変長符号化回路１０４によって可変長符号化され、圧縮済み映像ストリームとなる。
【００４０】
さらに３０２は、参照フレーム作成のため、逆量子化・高域挿入回路１０５へも送られる。この、逆量子化・高域挿入回路１０５の動作を図１８を用いて説明する。逆量子化・高域挿入回路１０５に入力された周波数領域の画像３０２は、高周波成分に０を付加することにより８×８に拡張される。その後、左上の４×４成分に関しては逆量子化を行うことで、８×８の周波数領域の画像が復元される。これを逆周波数変換器１０７により、周波数領域から空間領域に変換すると、空間領域画像３０４が得られることになる。
【００４１】
このように、画像圧縮の過程で、高周波成分の除去を行うことにより、低域通過フィルタとダウンサンプリングの効果を実現させることが可能となる。
【実施例６】
【００４２】
本発明の第６の実施例を図１９と２０を用いて説明する。この実施例では、超解像処理回路２０において超解像処理を行う際に得られた動きベクトル５１０を、画像圧縮回路４０へ伝送し、動き検出に使用することで、画像圧縮回路に必要とされる処理量を削減する。
【００４３】
図１９は映像処理装置の構成図、図２０は映像圧縮装置４０の構成図である。図２０のおいて動き検出回路は、動き検出処理の開始座標を決定するために、動きベクトル５１０を使用する。これにより動き検出の対象とすべき範囲を狭めることができ、処理量の削減を実現できる。
【実施例７】
【００４４】
これまでの実施例では、折り返し成分を除去した映像または除去しない映像のどちらを選択的に使用していたが、図２１のような構成とすることで両者を同時に出力することが可能となる。これにより、超解像処理の可否の異なる複数のストリームが生成されることになる。
【００４５】
例えば、ネットワークで映像を配信する場合、高い料金を払った視聴者には、折り返し情報を含んだストリームを送信することで超解像処理を行ってきれいな映像を視聴することを可能とし、安い料金しか払わない視聴者には、折り返し情報を含まないストリームを送信するといったビジネスモデルが考えられる。このビジネスモデルはリアルタイムの映像伝送に限定される物ではなく、ＤＶＤ等のパッケージビジネスでも折り返し成分の有無の異なる二種類のコンテンツを異なる価格で販売することも可能である。
【実施例８】
【００４６】
実施例７では、コンテンツ制作者が２種類のコンテンツを同時に供給する方式であったが、伝送路の有効利用の観点から供給するコンテンツを一方に限定することも可能である。これを実現するのが図２２の方式である。この方式では、視聴者側の装置２にモード切替要求手段１５１が搭載されている。視聴者が追加料金を払う等の操作を行うと、モード切替要求１５２がネットワーク等を経由してコンテンツ制作者側の装置１へ送られる。
【００４７】
コンテンツ制作者側の装置１にはモード切替回路１５０があり、受信したモード切替要求１５２に応じてセレクタ８７１を切り替える。これにより、コンテンツ制作者側の装置１が送信するコンテンツに含まれる折り返し成分の有無が変更される。なおこの切替要求に応じて送出解像度等も同時に変更することも可能である。
【実施例９】
【００４８】
本発明は、ビデオカメラのように記憶装置を内蔵した撮影装置にも有効である。本発明を用いたビデオカメラの構成を図２３に示す。この図において４０１は折り返し情報の除去の有無を選択するモードレジスタ、４０２はモードレジスタに格納されている値を変更するためのスイッチ、４０３は撮影した映像を記録する記憶装置である。モードレジスタに記憶された値は、セレクタ８７１の切り替えに使用される。このような構成とすることで、使用者は状況に応じて、次の２つのモードを使い分けることが可能となる。
【００４９】
モード１：折り返し成分を取り除かずに記憶装置に映像を記録するモード
このモードでは、記録された映像に折り返し成分が残っているため、再生時に超解像処理によって高解像度化してきれいにみることが可能となる。
【００５０】
モード２：折り返し成分を取り除いて記憶装置に映像を記録するモード
このモードでは、情報量を削減してから映像を記録するため、より少ないビットレートで記録することが可能となる。このため、限られた容量の記憶媒体により長時間の録画が可能となる。また、録画した映像をインターネット等で公開した際に、視聴者に超解像処理されて、予期せぬ情報が広まることを防ぐことにも役立つ。
【図面の簡単な説明】
【００５１】
【図１】本発明の第一の実施例におけるシステム構成である。
【図２】撮像素子から入力された信号の空間周波数分布の例である。
【図３】低域通過フィルタの周波数特性をしめす図である。
【図４】低域通過フィルタ通過後の周波数特性をしめす図である。
【図５】低域通過フィルタ通過後の周波数特性をしめす図である。
【図６】低域通過フィルタ未使用時の周波数特性をしめす図である。
【図７】超解像による高解像度化後の周波数特性をしめす図である。
【図８】低域通過フィルタの周波数特性をしめす図である。
【図９】低域通過フィルタ通過後の周波数特性をしめす図である。
【図１０】低域通過フィルタ通過後の周波数特性をしめす図である。
【図１１】本発明の第二の実施例におけるシステム構成をしめす図である。
【図１２】超解像禁止領域指定方法の例をしめす図である。
【図１３】本発明の第三の実施例におけるシステム構成をしめす図である。
【図１４】本発明の第四の実施例におけるシステム構成をしめす図である。
【図１５】本発明の第五の実施例におけるシステム構成をしめす図である。
【図１６】本発明の第五の実施例における画像圧縮回路をしめす図である。
【図１７】本発明の第五の実施例における画像圧縮回路の内部処理の一部をしめす図である。
【図１８】本発明の第五の実施例における画像圧縮回路の内部処理の一部をしめす図である。
【図１９】本発明の第六の実施例におけるシステム構成をしめす図である。
【図２０】本発明の第六の実施例における画像圧縮回路をしめす図である。
【図２１】本発明の第七の実施例における画像圧縮回路をしめす図である。
【図２２】本発明の第八の実施例における画像圧縮回路をしめす図である。
【図２３】本発明の第九の実施例における画像撮影装置をしめす図である。
【符号の説明】
【００５２】
１：コンテンツ作成側システム、２：視聴者側システム、３：ビレオカメラ、1０：撮像素子、２０：超解像処理装置、２１：超解像処理装置の出力、３０：低域通過フィルタ、３１：低域通過フィルタの出力、３５：ダウンサンプル回路、４０：画像圧縮回路、５０：画像伸張回路、６０：超解像処理装置、７０：画像表示装置、８１：水平座標カウンタ、８２：範囲指定レジスタ、８３：垂直座標カウンタ、８４：水平座標範囲チェック回路、８５：垂直座標範囲チェック回路、８６：二次元範囲チェック回路、８７：セレクタ、８８：アドレス生成回路、９０：コントローラ、９１：領域検出回路、９２：領域指定バッファ、９５：クロック制御回路、１００：高域除去機能付き画像圧縮装置、１０１：差分算出回路、１０２：ＤＣＴ演算器、１０３：量子化および高域除去回路、１０４：可変長符号化回路、１０５：逆量子化および高域挿入回路、１０６：逆ＤＣＴ演算器、１０７：加算器、１０８：動き補償回路、１０９：動き検出回路、１１０：フレームバッファ、１５０：モード切替回路、１５１：モード切替要求発行手段、１５２：モード切替要求、２００：処理対象画像、２０１：人間の顔、２０２：建物、２１１：超解像禁止範囲の水平座標最小値、２１２：超解像禁止範囲の水平座標最大値、２２１：超解像禁止範囲の垂直座標最小値、２２２：超解像禁止範囲の垂直座標最大値、３００：空間領域のブロック、３０１：周波数領域のブロック、３０２：量子化および高域成分除去後の周波数領域のブロック、３０３：逆量子化および高域成分挿入後の周波数領域のブロック、３０４：空間領域のブロック、４０１：モードレジスタ、４０２：モードスイッチ、４０３：映像記憶装置、５１０：動き検出結果、８００：帯域制限用低域通過フィルタの周波数特性、８４１：水平座標範囲チェック回路の出力、８５１：垂直座標範囲チェック回路の出力、８７１：セレクタ、９０１：帯域制限されていない映像信号の周波数成分、９０２：帯域制限後の映像信号の周波数成分、９０５−９０７：サンプリングによって発生した折り返し成分、１０３０：量子化回路、１０５０：逆量子化回路、１０９０：動き検出回路
【図１】
2009141824.tif 000003
【図２】
2009141824.tif 000004
【図３】
2009141824.tif 000005
【図４】
2009141824.tif 000006
【図５】
2009141824.tif 000007
【図６】
2009141824.tif 000008
【図７】
2009141824.tif 000009
【図８】
2009141824.tif 000010
【図９】
2009141824.tif 000011
【図１０】
2009141824.tif 000012
【図１１】
2009141824.tif 000013
【図１２】
2009141824.tif 000014
【図１３】
2009141824.tif 000015
【図１４】
2009141824.tif 000016
【図１５】
2009141824.tif 000017
【図１６】
2009141824.tif 000018
【図１７】
2009141824.tif 000019
【図１８】
2009141824.tif 000020
【図１９】
2009141824.tif 000021
【図２０】
2009141824.tif 000022
【図２１】
2009141824.tif 000023
【図２２】
2009141824.tif 000024
【図２３】
2009141824.tif 000025