(57)【要約】【課題】映像表示位置から視聴者までの距離である視聴距離に応じた鮮鋭化処理を実行することができる映像処理装置を実現する。【解決手段】デジタルテレビジョン受信機１１に設けられた距離測定センサ１１４は、映像表示位置から視聴者までの距離である視聴距離を測定する。制御部１１１は、この視聴距離に基づいて、鮮鋭化処理の効果の大きさを制御する鮮鋭化パラメータを設定する。鮮鋭化パラメータは、視聴距離が短いほど鮮鋭化処理の効果を小さくする値が設定され、視聴距離が長いほど鮮鋭化処理の効果を大きくする値が設定される。超解像処理部１１７は、映像信号の解像度を表示器１１８の解像度と合致させるためのスケーリング処理を実行するとともに、設定された鮮鋭化パラメータにより、映像信号の鮮鋭化処理を実行する。これにより視聴者は、現在の視聴距離に最適な鮮鋭度の映像を視聴することができる。【選択図】図１
2010087620.tif 000002
【特許請求の範囲】
【請求項１】
映像信号に鮮鋭化処理を施す鮮鋭化手段と、
前記鮮鋭化手段の出力映像を表示する表示装置からの視聴距離に応じて前記鮮鋭化処理の効果を制御する鮮鋭化パラメータを設定するパラメータ設定手段とを具備することを特徴とする映像処理装置。
【請求項２】
前記パラメータ設定手段は、前記視聴距離が短いほど、前記映像信号に対する前記鮮鋭化処理の効果を小さくするよう前記鮮鋭化パラメータを設定することを特徴とする請求項１記載の映像処理装置。
【請求項３】
第１解像度の映像信号から画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を生成するスケーリング手段をさらに具備し、
前記鮮鋭化手段は、前記第２解像度の映像信号に前記鮮鋭化処理を施すことを特徴とする請求項２記載の映像処理装置。
【請求項４】
映像信号に対して、第１解像度の映像信号から画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を生成するスケーリング処理と鮮鋭化処理とを施す超解像化手段と、
前記超解像化手段の出力映像を表示する表示装置からの視聴距離に応じて前記鮮鋭化処理の効果を制御する鮮鋭化パラメータを設定するパラメータ設定手段とを具備することを特徴とする映像処理装置。
【請求項５】
前記パラメータ設定手段は、前記視聴距離が短いほど、前記映像信号に対する前記鮮鋭化処理の効果を小さくするよう前記鮮鋭化パラメータを設定することを特徴とする請求項４記載の映像処理装置。
【請求項６】
前記鮮鋭化手段の出力映像を表示する表示装置に前記視聴距離に基づいて前記鮮鋭化パラメータが設定されていることを示す情報を表示させる手段をさらに具備することを特徴とする請求項１記載の映像処理装置。
【請求項７】
前記超解像化手段の出力映像を表示する表示装置に前記視聴距離に基づいて前記鮮鋭化パラメータが設定されていることを示す情報を表示させる手段をさらに具備することを特徴とする請求項４記載の映像処理装置。
【請求項８】
映像信号に鮮鋭化処理を施す鮮鋭化ステップと、
前記鮮鋭化ステップの出力映像を表示する表示装置からの視聴距離に応じて前記鮮鋭化処理の効果を制御する鮮鋭化パラメータを設定するパラメータ設定ステップとを具備することを特徴とする映像処理方法。
【請求項９】
映像信号に画質処理を施す画質処理手段と、
前記画質処理手段の出力映像を表示する表示装置からの視聴距離に応じて前記画質処理の効果を制御するパラメータを設定するパラメータ設定手段とを具備することを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鮮鋭化機能を備える映像処理装置および映像処理方法に関する。
【背景技術】
【０００２】
近年、ＳＤ（Standard Definition）画質を超える解像度を持つパーソナルコンピュータ用ディスプレイで、映像コンテンツを視聴する機会が増加している。また、ハイビジョン放送の本格化に伴い、ＨＤ（High Definition）画質対応のテレビジョン受信機も一般家庭に普及してきている。
【０００３】
一方、このような映像表示装置に供給される映像データとして、放送や蓄積系のコンテンツにおいて高解像度の映像データが増加してきている。しかし、従来のビデオ機器、従来の放送、及び過去に蓄積されたコンテンツ等、ＳＤ画質のコンテンツは依然として残っている。このような低解像度の映像データを高解像度のテレビジョン受信機やパーソナルコンピュータ用ディスプレイ等の映像表示装置に表示するためには、スケーリング処理により、映像データの解像度を映像表示装置の解像度に合わせるための変換を行う必要がある。
【０００４】
通常、スケーリング処理には、フィルタによる処理が用いられるが、フィルタを用いたスケーリング処理を施した画像では鮮鋭感が失われ、ボケが生じる場合がある。これは、画像の拡大等の操作をする場合に補間される画素の輝度値として、例えば、画像上で該画素近傍にある画素群の輝度値の平均が設定されることで、画像内のエッジ等の高周波成分が失われることがあるためである。
【０００５】
特許文献１には、複数の低解像度フレームのそれぞれを基準フレームとして、基準フレーム中の１つの画素を注目画素として、該注目画素を含む画像領域を注目画像領域として設定し、基準フレーム内において該注目画像領域における画素値の変化パターンに最も近い画素値の変化パターンを有する複数の注目画像領域から複数の対応点を選択し、対応点での輝度の標本値を該対応点に対応する注目画素の画素値に設定し、このような対応点の標本値と複数の対応点の配置とに基づいて、基準フレームに対応し、より解像度の高い高解像度フレームの画素値を算出することにより、低解像度の画像信号から尤もらしい画素値を推定して画素を増やすことにより、鮮鋭な高解像度の画像信号を復元する高解像度化装置が開示されている。
【特許文献１】特開２００７−３１０８３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１の高解像度化装置により映像信号に対して一律に鮮鋭化処理を施した場合、視聴者に知覚される映像の鮮鋭度は、映像が表示される位置から視聴者までの距離である視聴距離に依存して変化する。例えば、視聴者は、鮮鋭化処理を施した映像を近くで見た場合には、ノイズや輪郭が強調されすぎることによる映像品質の劣化を知覚しても、離れて見た場合にはこのような劣化を知覚せず、むしろ適度な鮮鋭感を知覚するという現象が生じる。このため、映像信号に対する鮮鋭化処理の効果を制御する鮮鋭化パラメータを、視聴距離に基づいて変更する新たな手段の実現が必要である。
【０００７】
本発明は上述の事情を考慮してなされたものであり、視聴距離に基づく鮮鋭化処理を実行する映像処理装置及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、本発明の一つの態様に係る映像処理装置は、映像信号に鮮鋭化処理を施す鮮鋭化手段と、前記鮮鋭化手段の出力映像を表示する表示装置からの視聴距離に応じて前記鮮鋭化処理の効果を制御する鮮鋭化パラメータを設定するパラメータ設定手段とを具備することを特徴とする。
【０００９】
本発明の他の態様に係る映像処理方法は、映像信号に鮮鋭化処理を施す鮮鋭化ステップと、前記鮮鋭化ステップの出力映像を表示する表示装置からの視聴距離に応じて前記鮮鋭化処理の効果を制御する鮮鋭化パラメータを設定するパラメータ設定ステップとを具備することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、視聴距離に基づく映像の鮮鋭化処理を実行できる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態を説明する。
【００１２】
まず、図１を参照して、本発明の一実施形態に係る映像処理装置を説明する。一例として、デジタルテレビジョン受信機１１に含まれる映像処理装置を説明する。
【００１３】
映像処理装置は、制御部１１１、メモリ１１２、メモリＩ／Ｆ１１３、距離測定センサ１１４、センサＩ／Ｆ１１５、映像処理部１１６、超解像処理部１１７、及び表示器１１８から構成される。超解像処理部１１７はスケーリング処理と鮮鋭化処理とを行う。
【００１４】
制御部１１１は、映像処理装置を構成する各部を制御する。メモリ１１２は、処理に必要な命令群、及びデータを格納する。メモリ１１２は、メモリＩ／Ｆ１１３を介して、命令群及びデータの入出力を行う。
【００１５】
距離測定センサ１１４は、制御部１１１による要求に応じて、デジタルテレビジョン受信機１１の表示器１１８の画面から視聴者２１までの距離である視聴距離を測定する。距離測定センサ１１４により測定された視聴距離は、センサＩ／Ｆ１１５を介して、メモリ１１２へ格納される。また、メモリ１１２に格納された視聴距離のデータは、制御部１１１からの要求に応じて参照される。距離測定センサ１１４は、例えば、赤外線や電波を視聴者２１へ送信し、その反射波の受信時間により視聴距離を測定するセンサからなるが、このセンサに限定されず視聴距離を測定可能ないずれのセンサを用いてもよい。
【００１６】
映像処理部１１６は、デジタルテレビジョン受信機１１に入力された映像信号に対する処理を実行する。デジタルテレビジョン受信機１１には、チューナや外部入力端子等を介して、アナログ映像信号又はデジタル映像信号が入力される。映像処理部１１６は、入力された映像信号がアナログ映像信号である場合、アナログ映像信号をデジタル映像信号に変換する。次に、映像処理部１１６は、アナログ映像信号から変換されたデジタル映像信号、又は、デジタルテレビジョン受信機１１外部から入力されたデジタル映像信号に対して、所定のデジタル映像信号処理を施し、超解像処理部１１７へ出力する。
【００１７】
超解像処理部１１７は、入力された映像信号に対する超解像処理として、超解像アルゴリズムに基づくスケーリング処理及び鮮鋭化処理を実行する。
【００１８】
超解像処理は、第１解像度である低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の画像信号を復元する処理（スケーリング処理）と、鮮鋭化処理とを行う。ここで、「本来の画素値」とは、例えば、低解像度（第１解像度）の画像信号を得たときと同じ被写体を、高解像度（第２解像度）のカメラで撮像したときに得られる画像信号の各画素が示す値をいう。また、「推定して画素を増やす」とは、対象とする画像の特徴を捉えて、同一フレーム内、またはフレーム間において相関の高い画像から、本来の画素値を推定して、新たな画素に対応付ける画素値とすることを意味する。つまり、画像の相関性を利用する。なお、超解像処理部１１７は、例えば、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報及び特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像処理部１１７の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いることができる。
【００１９】
例えば、特開２００７−３１０８３７号公報に開示された超解像処理を用いる場合には、複数の中解像度フレームのそれぞれに対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
【００２０】
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像処理を用いる場合には、中解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置、およびこの第１の誤差、第１の画素の周辺の第２の画素位置、およびこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点、および注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル、および画像信号から取得された画素値に基づいて、画像信号に含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像処理は、このような処理を行うことにより、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する。
【００２１】
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像処理を用いることもできる。
【００２２】
また、本実施形態における超解像処理では、引き伸ばした映像に独自のアルゴリズムを加えることで一度低解像度映像に変換、さらにその映像をオリジナルの入力映像と比較して差分を検出して更に補正処理を施すことで、高画質処理がされてもよい。
【００２３】
ただし、超解像処理部１１７における超解像処理の手法は、上記に限定されるものではなく、低解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理と、鮮鋭化する処理とであれば、あらゆる手法を適用することができる。
【００２４】
本実施形態において超解像処理を実行する超解像処理部１１７は、スケーリング処理として、映像信号の解像度を表示器１１８の解像度に合致させるための処理を実行し、鮮鋭化処理として、視聴距離に基づく鮮鋭化パラメータを用いて映像信号を鮮鋭化する処理を実行する。鮮鋭化パラメータは、距離測定センサ１１４により測定され、メモリ１１２に格納された視聴距離を用いて、制御部１１１において算出される。鮮鋭化パラメータは、視聴距離が短いほど鮮鋭化処理の効果を小さくする値が設定され、視聴距離が長いほど鮮鋭化処理の効果を大きくする値が設定される。鮮鋭化パラメータは、例えば、メモリ等に予め格納した視聴距離と鮮鋭化パラメータの対応関係を示すテーブルや、予め定義した関数等を用いて算出することができる。
【００２５】
なお、上述の説明では、超解像処理部１１７において、スケーリング処理と鮮鋭化処理とを別個の処理として時系列的に行う場合を想定し、鮮鋭化処理のみを視聴距離に基づく処理としたが、低解像度の画像信号から本来の画素値を推定する際に鮮鋭化処理も行い、スケーリング処理と鮮鋭化処理を同時に行う場合にも、超解像処理における鮮鋭化処理を視聴距離に基づく処理とすることができる。また、例えば、スケーリング処理に用いる画像内のエッジ等の特徴量を、視聴距離に応じて決定されるしきい値に基づいて検出することで、視聴距離に基づくスケーリング処理を実現することもできる。
【００２６】
超解像アルゴリズムに基づくスケーリング処理及び鮮鋭化処理を施された映像信号は、表示器１１８へ送られる。表示器１１８は、入力された映像信号に基づく映像を画面に表示する。
【００２７】
図２は、視聴距離に基づいて鮮鋭化処理の効果の大きさを制御する鮮鋭化パラメータを変更するための動作を示すフローチャートである。まず、デジタルテレビジョン受信機１１の電源がオンにされると、デジタルテレビジョン受信機１１の距離測定センサ１１４は、視聴者２１までの距離である視聴距離を測定する（ステップＳ１０１）。制御部１１１は、視聴距離と鮮鋭化パラメータの対応を示す予め定められたデータから、測定された視聴距離に対応する鮮鋭化パラメータを取得し、鮮鋭化処理のための鮮鋭化パラメータを設定する（ステップＳ１０２）。視聴距離と鮮鋭化パラメータの対応を示すデータは、例えば、所定の範囲（例えば、５０ｃｍ）毎の視聴距離に対して鮮鋭化パラメータの値を設定する。つまり、視聴距離を所定の範囲毎の段階に分割して、鮮鋭化パラメータを設定する。
【００２８】
次に、デジタルテレビジョン受信機１１の距離測定センサ１１４は、再度、視聴者２１までの距離である視聴距離を測定する（ステップＳ１０３）。ここで、今回測定した視聴距離が、前回測定した視聴距離から変更されているかどうかを判定する（ステップＳ１０４）。今回測定した視聴距離が、前回測定した視聴距離から変更されていない場合（ステップＳ１０４のＮＯ）、ステップＳ１０３に戻る。今回測定した視聴距離が前回測定した視聴距離から変更されている場合（ステップＳ１０４のＹＥＳ）、今回測定した視聴距離が、現在の鮮鋭化パラメータに対応する視聴距離の範囲内であるかどうかを判定する（ステップＳ１０５）。今回測定した視聴距離が、現在の鮮鋭化パラメータに対応する視聴距離の範囲内にある場合（ステップＳ１０５のＹＥＳ）、ステップＳ１０３に戻る。今回測定した視聴距離が、現在の鮮鋭化パラメータに対応する視聴距離の範囲内にない場合（ステップＳ１０５のＮＯ）、ステップＳ１０２に戻り、測定された視聴距離に対応する鮮鋭化パラメータを取得し、鮮鋭化処理に設定される鮮鋭化パラメータを変更する。
【００２９】
以上の処理により、測定された視聴距離に基づいて、鮮鋭化パラメータが設定される。つまり、視聴距離の変化に基づいて、映像に施される鮮鋭化処理の効果の大きさが変更されることで、現在の視聴距離に適した鮮鋭化が施された映像を生成することができる。なお、以上の処理（すなわち、ステップＳ１０３の視聴距離の測定）は、例えば一定時間毎に実行され、鮮鋭化パラメータの更新が行われる。また、ステップＳ１０１及びステップＳ１０３において、視聴距離を測定する距離測定センサ１１４は、デジタルテレビジョン受信機１１に取り付けられたものでなくてもよく、例えば、デジタルテレビジョン受信機１１に一般に付属するリモートコントローラ（図示せず）に設けてもよい。
【００３０】
リモートコントローラは通常、視聴者が操作するために、視聴者の傍に置かれることが多い。そこで、リモートコントローラに、デジタルテレビジョン受信機１１から出力される音声の音量を検出するセンサを設ける。これにより、デジタルテレビジョン受信機１１から出力される音量とリモートコントローラに設けられたセンサにおいて検出される音量との関係から、視聴距離（デジタルテレビジョン受信機１１からリモートコントローラまでの距離）を推定することができる。
【００３１】
さらに、視聴距離の取得には、視聴者がデジタルテレビジョン受信機１１に対して、例えば視聴距離の設定入力画面を表示器１１８に表示するなどして視聴距離を自由に数値入力する操作を行う等、センサを用いない方法も含め、あらゆる方法を用いることができる。なお、センサを用いなければ製造コストを抑えるメリットがある。
【００３２】
図３は、距離測定センサ１１４により測定された視聴距離を表示器１１８である画面に提示した例である。視聴距離を提示することで、視聴者は、デジタルテレビジョン受信機１１が認識している現在の視聴距離と、表示される映像に視聴距離に基づく鮮鋭化処理が施されていることを確認できる。また、例えば図３の視聴距離のバーで視聴距離位置を上下にカーソル操作する等によって、視聴距離と鮮鋭化処理の程度の関係が容易に把握できる。このため、視聴者が視聴距離をマニュアルで変更するなどして、好みの鮮鋭化処理が施された映像を視聴者が楽しむことも可能である。また、視聴者へ提示する情報は、単に視聴距離を示す情報ではなく、視聴距離に基づいて設定される鮮鋭化パラメータ（ゲイン）等、画面に表示される映像に施された鮮鋭化処理の効果を示す指標であってもよい。
【００３３】
以上説明したように、本実施形態では、映像処理装置を含むデジタルテレビジョン受信機から視聴者までの視聴距離に応じて超解像処理の効果の大きさを制御する鮮鋭化パラメータを変更する。これにより、映像信号に対して視聴距離に応じた超解像処理が施され、現在の視聴距離に最適な映像を得ることができる。したがって視聴者は、現在の視聴距離に最適な鮮鋭度の映像を視聴することができる。
【００３４】
また本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、鮮鋭化処理以外の様々な画質処理に本発明を応用することも可能である。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施形態に係る映像処理装置の構成を示すブロック図。
【図２】同実施形態の映像処理装置によって実行される視聴距離に基づく鮮鋭化パラメータ変更処理を説明するフローチャート。
【図３】同実施形態の映像処理装置において測定された視聴距離を提示する画面表示の例を説明する図。
【符号の説明】
【００３６】
１１…デジタルテレビジョン受信機、１１１…制御部、１１２…メモリ、１１３…メモリＩ／Ｆ、１１４…距離測定センサ、１１５…センサＩ／Ｆ、１１６…映像処理部、１１７…超解像処理部、１１８…表示器。
【図１】
2010087620.tif 000003
【図２】
2010087620.tif 000004
【図３】
2010087620.tif 000005
【手続補正書】
【提出日】平成21年8月21日(2009.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像信号に鮮鋭化処理を施す鮮鋭化手段と、
視聴距離に応じて前記鮮鋭化処理を制御する制御手段とを具備することを特徴とする映像処理装置。
【請求項２】
前記制御手段は、前記視聴距離が短いほど、前記鮮鋭化処理の効果を弱めることを特徴とする請求項１記載の映像処理装置。
【請求項３】
第１解像度の映像信号から新しい画素値を生成することにより、前記第１解像度よりも高い第２解像度の映像信号を生成するスケーリング手段をさらに具備し、
前記鮮鋭化手段は、前記第２解像度の映像信号に前記鮮鋭化処理を施すことを特徴とする請求項２記載の映像処理装置。
【請求項４】
映像信号に対して、第１解像度の映像信号から新しい画素値を生成することによって、前記第１解像度よりも高い第２解像度の映像信号を生成するスケーリング処理と鮮鋭化処理とを施す解像度変換手段と、
視聴距離に応じて前記鮮鋭化処理を制御する制御手段とを具備することを特徴とする映像処理装置。
【請求項５】
前記制御手段は、前記視聴距離が短いほど、前記鮮鋭化処理の効果を弱めることを特徴とする請求項４記載の映像処理装置。
【請求項６】
前記鮮鋭化手段の出力映像を表示する表示装置に前記視聴距離に基づいて前記鮮鋭化処理が制御されていることを示す情報を表示させる手段をさらに具備することを特徴とする請求項１記載の映像処理装置。
【請求項７】
前記解像度変換手段の出力映像を表示する表示装置に前記視聴距離に基づいて前記鮮鋭化処理が制御されていることを示す情報を表示させる手段をさらに具備することを特徴とする請求項４記載の映像処理装置。
【請求項８】
映像信号に鮮鋭化処理を施す鮮鋭化ステップと、
前記鮮鋭化ステップの出力映像を表示する表示装置からの視聴距離に応じて前記鮮鋭化処理の効果を制御する鮮鋭化パラメータを設定するパラメータ設定ステップとを具備することを特徴とする映像処理方法。
【請求項９】
映像信号に画質処理を施す画質処理手段と、
視聴距離に応じて前記画質処理を制御する制御手段とを具備することを特徴とする映像処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
以上の課題を解決するため、本発明の一つの態様に係る映像処理装置は、映像信号に鮮鋭化処理を施す鮮鋭化手段と、視聴距離に応じて前記鮮鋭化処理を制御する制御手段とを具備することを特徴とする。