(57)【要約】【課題】可変レート制御されたストリームについて画像の解像度を維持して画像処理による画質劣化を回避する。【解決手段】画像処理装置は、解像度取得部、画像拡大縮小部および画像変換部を含んで構成される。解像度取得部は、時系列に連続する複数の画像について解像度を取得する。拡大縮小率生成部は、取得された解像度に基づいて複数の画像の各々に関する拡大縮小率を生成する。画像拡大縮小部は、生成された拡大縮小率に従って複数の画像の各々に対して画像拡大縮小処理を施す。画像変換部は、画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う。【選択図】図２
2014225718.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続する複数の画像について解像度を取得する解像度取得部と、
前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成部と、
前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小部と、
前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換部と
を具備する画像処理装置。
【請求項２】
前記複数の画像において相関度が低下する位置を検出する位置検出部をさらに具備し、
前記拡大縮小率生成部は、前記相関度が低下する位置においては前記拡大縮小率を初期化する
請求項１記載の画像処理装置。
【請求項３】
前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が所定範囲を超える場合には前記拡大縮小率を初期化する
請求項１記載の画像処理装置。
【請求項４】
前記生成された拡大縮小率の履歴を保持する拡大縮小率保持部をさらに具備し、
前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が前記所定範囲を超える場合であっても、前記拡大縮小率保持部に保持された拡大縮小率の履歴に基づいて前記所定範囲を超える状態が一時的であると判断した場合には前記初期化をすることなく前記拡大縮小率を生成する
請求項３記載の画像処理装置。
【請求項５】
前記画像変換部は、前記複数の画像の各々を対象画像として前記画像変換処理を行う際、前記対象画像に時系列に近接する他の画像が前記対象画像と相関がある場合には前記対象画像および前記他の画像を参照して前記画像変換処理を行い、前記他の画像が前記対象画像と相関がない場合には前記対象画像を補間して前記画像変換処理を行う
請求項１記載の画像処理装置。
【請求項６】
前記複数の画像の各々はインターレース画像であり、
前記画像変換部は、前記インターレース画像をプログレッシブ画像に変換する処理を前記画像変換処理として含む
請求項１記載の画像処理装置。
【請求項７】
前記画像変換部は、前記複数の画像の各々についてノイズを軽減する処理を前記画像変換処理として含む
請求項１記載の画像処理装置。
【請求項８】
時系列に連続する複数の画像について解像度を取得する解像度取得手順と、
前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成手順と、
前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小手順と、
前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換手順と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理を行う画像処理装置に関する。詳しくは、可変レート制御されたストリームに含まれた画像に対して画像処理を施す画像処理装置およびその画像処理方法に関する。
【背景技術】
【０００２】
近年、各種コンテンツを可変レート制御されたストリームによって配信する配信システムが普及している。このような配信システムでは、ストリームが１フレームを２フィールドに分けたインターレース画像として送信された場合、受信側でプログレッシブ画像に変換する必要が生じる。また、画像に含まれるノイズを受信側で低減する処理が行われることが多い。例えば、画像信号の出現パターンに応じて、インターレース・プログレッシブ変換やノイズ低減処理を行う画像処理装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５３６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
可変レート制御されたストリームでは、通信回線の状況によって画像の解像度が変化する。通信回線の状況は画像シーンとは無関係に変化するため、解像度も画像のシーンに関係なく変化してしまう。一方、上述のようにストリームに含まれる画像については、インターレース・プログレッシブ変換やノイズ低減処理が行われるが、その際には対象画像だけでなく他の画像を参照することが望ましい。しかしながら、解像度が変化してしまうと、他の画像を参照することができず、対象画像内の補間処理によって画像処理を行うことになり、画質が劣化してしまう。特に、ビデオ・オン・デマンドなどのサービスにおいては、再生開始時や回線が混み合う時間帯においては、インターレース・プログレッシブ変換やノイズ低減処理に起因する劣化が発生しやすくなる。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、可変レート制御されたストリームについて画像の解像度を維持して画像処理による画質劣化を回避することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列に連続する複数の画像について解像度を取得する解像度取得部と、上記取得された解像度に基づいて上記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成部と、上記生成された拡大縮小率に従って上記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小部と、上記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換部とを具備する画像処理装置およびその画像処理方法である。これにより、入力された画像の解像度に応じて画像拡大縮小処理を施して、画像変換処理の対象となる画像の解像度を維持するという作用をもたらす。
【０００７】
また、この第１の側面において、上記複数の画像において相関度が低下する位置を検出する位置検出部をさらに具備し、上記拡大縮小率生成部は、上記相関度が低下する位置においては上記拡大縮小率を初期化するようにしてもよい。これにより、画像変換処理に貢献しない不要な画像拡大縮小処理を抑制するという作用をもたらす。
【０００８】
また、この第１の側面において、上記拡大縮小率生成部は、上記取得された解像度に基づく拡大縮小率が所定範囲を超える場合には上記拡大縮小率を初期化するようにしてもよい。これにより、過大な画像拡大縮小処理による画質の劣化を未然に防ぐという作用をもたらす。
【０００９】
また、この場合において、上記生成された拡大縮小率の履歴を保持する拡大縮小率保持部をさらに具備し、上記拡大縮小率生成部は、上記取得された解像度に基づく拡大縮小率が上記所定範囲を超える場合であっても、上記拡大縮小率保持部に保持された拡大縮小率の履歴に基づいて上記所定範囲を超える状態が一時的であると判断した場合には上記初期化をすることなく上記拡大縮小率を生成するようにしてもよい。これにより、一時的な変動に対して過剰に反応しないようヒステリシス動作を行うという作用をもたらす。
【００１０】
また、この第１の側面において、上記画像変換部は、上記複数の画像の各々を対象画像として上記画像変換処理を行う際、上記対象画像に時系列に近接する他の画像が上記対象画像と相関がある場合には上記対象画像および上記他の画像を参照して上記画像変換処理を行い、上記他の画像が上記対象画像と相関がない場合には上記対象画像を補間して上記画像変換処理を行うようにしてもよい。このような前提において、入力された画像の解像度に応じて画像拡大縮小処理を施して、画像変換処理の対象となる画像の解像度を維持するという作用をもたらす。
【００１１】
また、この第１の側面において、上記複数の画像の各々はインターレース画像であり、  上記画像変換部は、上記インターレース画像をプログレッシブ画像に変換する処理を上記画像変換処理として含んでもよい。また、上記画像変換部は、上記複数の画像の各々についてノイズを軽減する処理を上記画像変換処理として含んでもよい。
【発明の効果】
【００１２】
本技術によれば、可変レート制御されたストリームについて画像の解像度を維持して画像処理による画質劣化を回避することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１３】
【図１】本技術の実施の形態における画像表示装置の一構成例を示す図である。
【図２】本技術の実施の形態における画像表示装置の要部の機能構成例を示す図である。
【図３】本技術の第１の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。
【図４】本技術の実施の形態における画像情報取得部１３０により取得される画像情報の一例を示す図である。
【図５】本技術の第１の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【図６】本技術の実施の形態における画像変換処理の処理手順の一例を示す流れ図である。
【図７】本技術の実施の形態における画像変換処理のタイミング例を示す図である。
【図８】本技術の第２の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。
【図９】本技術の第２の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【図１０】本技術の第３の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【図１１】本技術の第４の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。
【図１２】本技術の第４の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（解像度の変化に対する画像拡大縮小）
２．第２の実施の形態（シーンチェンジ発生時の画像拡大縮小抑制）
３．第３の実施の形態（解像度の急激変化に対する画像拡大縮小抑制）
４．第４の実施の形態（解像度の一時的変化に対するヒステリシス動作）
【００１５】
＜１．第１の実施の形態＞
［画像表示装置の構成］
図１は、本技術の実施の形態における画像表示装置の一構成例を示す図である。この画像表示装置は、通信回線を介して、可変レート制御されたストリームを受信して、そのストリームに含まれる画像を表示する。この画像表示装置は、ストリーム記憶部１０と、デマルチプレクサ１１と、デコーダ１２と、画像拡大縮小部１５と、画像変換部１６と、動画生成部１７と、プロセッサ２０と、メモリ３０と、ＯＳＤ生成部４０と、画像重畳部５０と、表示部６０とから構成される。また、プロセッサ２０、メモリ３０、画像拡大縮小部１５および画像変換部１６の部分を、特に、画像処理装置と称する。
【００１６】
ストリーム記憶部１０は、通信回線を介して受信したストリームを記憶するものである。例えば、ＭＰＥＧ−２システムやＨ．２６４／ＡＶＣのビットストリームを、トランスポートストリームやプログラムストリームによって伝送して記憶する。
【００１７】
デマルチプレクサ１１は、ストリーム記憶部１０に記憶されたストリームにおいて多重化されている画像、音声、データなどを分離してそれぞれメモリ３０に記憶させるものである。
【００１８】
デコーダ１２は、デマルチプレクサ１１によって分離された画像をデコードするものである。例えば、ＭＰＥＧ−２やＡＶＣのデジタルデコーダが想定される。
【００１９】
画像拡大縮小部１５は、デコーダ１２によってデコードされた画像に対して、画像拡大処理または画像縮小処理（以下、画像拡大縮小処理という。）を施すものである。
【００２０】
画像変換部１６は、画像拡大縮小部１５によって拡大縮小処理が施された画像に対して、画像変換処理を施すものである。ここで、画像変換処理としては、例えば、インターレース画像をプログレッシブ画像に変換するＩＰ変換（インターレース・プログレッシブ変換）処理や、画像からノイズを低減するノイズ低減（ＮＲ：ノイズリダクション）処理などが想定される。
【００２１】
動画生成部１７は、画像変換部１６によって画像変換処理が施された画像に対して、スケーリング処理を施して表示部６０のパネルサイズに合致したサイズの動画を生成するものである。
【００２２】
ＯＳＤ生成部４０は、ＯＳＤ（On Screen Display）画像を生成するものである。ＯＳＤ画像は、動画生成部１７により生成された動画に重畳表示されるものであり、例えば、ユーザインターフェース画像、字幕画像、データ放送サービスなどが想定される。
【００２３】
画像重畳部５０は、動画生成部１７により生成された動画に、ＯＳＤ生成部４０によって生成されたＯＳＤ画像を重畳するものである。この画像重畳部５０における重畳処理としては、例えば、αブレンド処理などが想定される。
【００２４】
プロセッサ２０は、この画像表示装置における一連の処理を制御するものである。
【００２５】
メモリ３０は、この画像表示装置において生成される画像、音声、データなどを記憶するものである。例えば、ＤＤＲなどのＤＲＡＭが想定される。
【００２６】
表示部６０は、画像重畳部５０によって重畳処理が施された画像を表示するものである。この表示部６０としては、例えば、ＬＣＤ（Liquid Crystal Display）などのディスプレイが想定される。
【００２７】
図２は、本技術の実施の形態における画像表示装置の要部の機能構成例を示す図である。ここでは、デマルチプレクサ１１０、デコーダ１２０、画像拡大縮小部１５０および画像変換部１６０を、それぞれデマルチプレクサ１１、デコーダ１２、画像拡大縮小部１５および画像変換部１６の機能として示している。また、画像情報取得部１３０および拡大縮小率生成部１４０を、プロセッサ２０の機能として示している。また、各機能構成の間は直接接続されるように図示しているが、画像表示装置においてはメモリ３０において一旦保持するように構成してもよい。
【００２８】
デマルチプレクサ１１０は、信号線１０９によって入力されたストリームにおいて、多重化されている画像、音声、データなどを分離して、信号線１１９に出力する。
【００２９】
デコーダ１２０は、信号線１１９によって入力された画像をデコードして、信号線１２９に出力する。また、このデコーダ１２０は、信号線１１９によって入力されたデータをデコードして、信号線１２８に出力する。
【００３０】
画像情報取得部１３０は、信号線１２８によって入力されたデータから画像情報を取得して、信号線１３９に出力する。ここで、画像情報としては、後述する画像の解像度に関する情報が想定される。なお、画像情報取得部１３０は、特許請求の範囲に記載の解像度取得部の一例である。
【００３１】
拡大縮小率生成部１４０は、信号線１３９によって入力された画像情報および信号線１２９によって入力された画像に基づいて画像の拡大縮小率を生成して、信号線１４９に出力する。
【００３２】
画像拡大縮小部１５０は、信号線１２９によって入力された画像に対して、信号線１４９によって入力された拡大縮小率に従って画像拡大縮小処理を施して、信号線１５９に出力する。拡大縮小率生成部１４０において生成された画像拡大縮小率が「１」よりも大きい場合には、画像拡大縮小部１５０は信号線１２９に出力された画像を拡大することになる。一方、拡大縮小率生成部１４０において生成された画像拡大縮小率が「１」よりも小さい場合には、画像拡大縮小部１５０は信号線１２９に出力された画像を縮小することになる。また、拡大縮小率生成部１４０において生成された画像拡大縮小率が「１」と等しい場合には、画像拡大縮小部１５０は画像を拡大も縮小もしないことになる。
【００３３】
画像変換部１６０は、信号線１５９によって入力された画像に対して、画像変換処理を施して、信号線１６９に出力する。
【００３４】
図３は、本技術の第１の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。この第１の実施の形態における拡大縮小率生成部１４０は、拡大縮小率演算部１４１と、基準解像度保持部１４２と、拡大縮小率決定部１４５とを備えている。なお、この第１の実施の形態では、信号線１３９によって入力された画像情報は使用しないものとしている。
【００３５】
基準解像度保持部１４２は、拡大縮小する際の基準となる解像度を保持するものである。例えば、いわゆるフルハイビジョンを基準とする場合には、横方向の画素数として「１９２０」、縦方向の画素数として「１０８０」を保持する。また、縦横いずれかの画素数とアスペクト比を保持するようにしてもよい。
【００３６】
拡大縮小率演算部１４１は、画像情報取得部１３０によって取得された画像情報および基準解像度保持部１４２に保持される解像度に基づいて拡大縮小率を演算するものである。すなわち、この拡大縮小率演算部１４１は、縦横それぞれ対応する画素数の比から拡大縮小率を演算する。例えば、基準解像度保持部１４２に保持される基準解像度が横「１９２０」画素、縦「１０８０」画素であった場合、取得された画像情報が横「１２８０」画素、縦「７２０」画素であれば、縦横いずれの方向においても拡大縮小率は「１．５」倍となる。一方、アスペクト比が一致しない場合には、拡大縮小率は方向ごとに異なる。例えば、上述の基準解像度に対して、取得された画像情報が横「７２０」画素、縦「４８０」画素であれば、得られる拡大縮小率は横方向に「２．６６」倍、縦方向に「２．２５」倍となる。このとき、アスペクト比を維持しないのであれば、それぞれ異なる拡大縮小率としてもよい。アスペクト比を維持する場合には、縦横いずれかの拡大縮小率により両者を拡大縮小することになる。
【００３７】
拡大縮小率決定部１４５は、拡大縮小率演算部１４１によって演算された拡大縮小率に基づいて、画像拡大縮小部１５０に指示する拡大縮小率を決定するものである。この第１の実施の形態における拡大縮小率生成部１４０では、拡大縮小率決定部１４５は、拡大縮小率演算部１４１によって演算された拡大縮小率をそのまま画像拡大縮小部１５０に指示する拡大縮小率として決定する。
【００３８】
［画像情報のデータ構造］
図４は、本技術の実施の形態における画像情報取得部１３０により取得される画像情報の一例を示す図である。この実施の形態では、時系列に連続する複数の画像がビットストリームとして伝送されることを想定している。ここでは、Ｈ．２６４／ＡＶＣを一例として、アクセスユニットのデータ構造を示している。Ｈ．２６４／ＡＶＣでは、ビットストリームの情報をピクチャ単位でアクセスするために、複数のＮＡＬユニットをまとめた区切りとしてアクセスユニットを規定している。
【００３９】
アクセスユニットは、アクセスユニットの先頭を示すＡＵＤ（アクセスユニットデリミタ）から開始して、ＳＰＳ、ＰＰＳ、ＳＥＩといったヘッダに続いて、データの本体であるピクチャを含む。ＳＰＳ（Sequence Parameter Set）は、動画シーケンス全体の符号化に関する情報を含むヘッダである。ＰＰＳ（Picture Parameter Set）は、ピクチャ全体の符号化モードを含むヘッダである。ＳＥＩ（Supplemental Enhancement Information）は、各ピクチャのタイミング情報などの補足情報を含むヘッダである。
【００４０】
ＳＰＳは、パラメータの一つとしてＶＵＩ（Video Usability Information）パラメータを伝送する。このＶＵＩパラメータは、動画表示に利用可能な情報のパラメータである。この実施の形態では、ＶＵＩパラメータのうち、特に、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ、ｓａｒ＿ｗｉｄｔｈ、ｓａｒ＿ｈｅｉｇｈｔが参照され得る。
【００４１】
ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃは、画素アスペクト比をコード化したものである。このａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃが「２５５」を示す場合、画素アスペクト比（ＳＡＲ：Sample Aspect Ratio）は、ｓａｒ＿ｗｉｄｔｈおよびｓａｒ＿ｈｅｉｇｈｔから計算される。ｓａｒ＿ｗｉｄｔｈは画素アスペクト比の横方向（水平方向）のサイズであり、ｓａｒ＿ｈｅｉｇｈｔは画素アスペクト比の縦方向（垂直方向）のサイズである。したがって、画像情報取得部１３０は、アクセスユニットのＳＰＳにおいて、ＶＵＩパラメータを参照することにより、必要な画像情報を取得することができる。
【００４２】
［拡大縮小率生成処理の処理手順］
図５は、本技術の第１の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【００４３】
ビットストリームに含まれる複数の画像の一つについて、画像情報取得部１３０によって解像度が取得される（ステップＳ９１３）。そして、この取得された解像度で、基準解像度保持部１４２に保持された基準解像度を、拡大縮小率演算部１４１において除算することにより、拡大縮小率が演算される（ステップＳ９１４）。
【００４４】
拡大縮小率決定部１４５は、拡大縮小率演算部１４１によって演算された拡大縮小率そのものを、画像拡大縮小部１５０に指示する拡大縮小率として決定する（ステップＳ９１７）。
【００４５】
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
【００４６】
［画像変換処理の処理手順］
図６は、本技術の実施の形態における画像変換処理の処理手順の一例を示す流れ図である。ここでは、時系列に連続する複数のインターレース画像の各々を対象画像として、時系列に沿って順番に画像変換処理を行うことを想定している。
【００４７】
まず、ノイズ低減処理を行うために、対象画像より２フィールド前のインターレース画像と対象画像との相関度を判断する（ステップＳ９３１）。両者に相関があると判断された場合には（ステップＳ９３１：Ｙｅｓ）、２フィールド前のインターレース画像と対象画像とを参照してノイズ低減処理を行う（ステップＳ９３２）。一方、両者に相関がないと判断された場合には（ステップＳ９３１：Ｎｏ）、対象画像内を補間することによりノイズ低減処理を行う（ステップＳ９３３）。この場合、２フィールド前のインターレース画像を参照した処理に比べて画質が劣化するおそれがある。
【００４８】
次に、インターレース画像からプログレッシブ画像への変換処理を行うために、対象画像より１フィールド前のインターレース画像と対象画像との相関度を判断する（ステップＳ９３４）。両者に相関があると判断された場合には（ステップＳ９３４：Ｙｅｓ）、１フィールド前のインターレース画像と対象画像とを参照してプログレッシブ画像への変換処理を行う（ステップＳ９３５）。一方、両者に相関がないと判断された場合には（ステップＳ９３４：Ｎｏ）、対象画像内を補間することによりプログレッシブ画像への変換処理を行う（ステップＳ９３６）。この場合、１フィールド前のインターレース画像を参照した処理に比べて画質が劣化するおそれがある。
【００４９】
［画像変換処理のタイミング］
図７は、本技術の実施の形態における画像変換処理のタイミング例を示す図である。同図において、横方向に時間の経過を示している。上段はフィールド画像が対象画像として入力される様子を示している。入力されたフィールド画像は、ノイズ低減処理（ＮＲ処理）が施されて、中段に示すように少なくとも２フィールド分がメモリ３０に保持される。なお、各画像番号の数字の後ろに付された記号「Ｔ」は上部（Ｔｏｐ）フィールドのインターレース画像であることを示し、記号「Ｂ」は下部（Ｂｏｔｔｏｍ）フィールドのインターレース画像であることを示す。
【００５０】
画像変換部１６０は、メモリ３０に保持されたインターレース画像を可能な限り参照して、上述のようにノイズ低減処理およびＩＰ変換処理を行う。ＩＰ変換処理が完了すると、下段に示すようにプログレッシブ画像が１フレーム毎に出力される。
【００５１】
ここで、可変フレームレート制御に伴って、例えば、時刻Ｔ６に入力されたインターレース画像７Ｂから解像度が低下した場合を想定する。この場合、従来のように画像拡大縮小部１５０による拡大縮小処理を行わなかったとすると、２フィールド前のインターレース画像５Ｂとの間において相関がないものと判断されるため、ノイズ低減処理はインターレース画像７Ｂ内を補間することにより行われてしまう。また、同様に、１フィールド前のインターレース画像６Ｔとの間においても相関がないものと判断されるため、ＩＰ変換処理はインターレース画像７Ｂ内を補間することにより行われてしまう。
【００５２】
これに対し、本技術の実施の形態では、解像度低下に伴って、画像拡大縮小部１５０によってインターレース画像７Ｂの拡大縮小処理が行われる。したがって、２フィールド前のインターレース画像５Ｂとの間において相関が維持されるため、ノイズ低減処理はインターレース画像５Ｂおよび７Ｂを参照して行われる。また、１フィールド前のインターレース画像６Ｔとの間においても相関が維持されるため、ＩＰ変換処理はインターレース画像５Ｂおよび６Ｔを参照して行われる。
【００５３】
このように、本技術の第１の実施の形態によれば、可変フレームレート制御に伴って入力画像の解像度が低下した場合であっても、画像拡大縮小部１５０による拡大縮小処理によって前の画像との相関が維持されるため、画像処理による劣化を回避することができる。
【００５４】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、入力画像の解像度が低下した場合であっても拡大縮小処理を行うことにより前の画像との相関を維持していた。これに対し、例えばシーンチェンジにより画像の内容が大きく異なることとなった場合には、拡大縮小処理を行っても前の画像との相関を維持することはできない。そこで、第２の実施の形態では、シーンチェンジが発生した場合には拡大縮小率を初期化して拡大縮小を行わないように抑制する。なお、図１および図２に示した基本構成については同様であるため、ここでは説明を省略する。
【００５５】
［画像表示装置の構成］
図８は、本技術の第２の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。この第２の実施の形態における拡大縮小率生成部１４０は、第１の実施の形態と同様に拡大縮小率演算部１４１、基準解像度保持部１４２および拡大縮小率決定部１４５を備え、さらに、シーンチェンジ検出部１４４を備えている。
【００５６】
シーンチェンジ検出部１４４は、信号線１２９によって入力された画像について、シーンチェンジが発生した時系列上の位置を検出するものである。すなわち、シーンチェンジ検出部１４４は、時系列に沿って画像間で相関度が低下する位置を検出することになる。なお、シーンチェンジ検出部１４４は、特許請求の範囲に記載の位置検出部の一例である。
【００５７】
拡大縮小率決定部１４５は、シーンチェンジ検出部１４４によってシーンチェンジの発生が検出された場合には、拡大縮小率演算部１４１による演算結果にかかわらず、拡大縮小率を「１．０倍」に初期化して信号線１４９に出力する。これにより、不要な拡大縮小処理を抑制することができる。
【００５８】
［拡大縮小率生成処理の処理手順］
図９は、本技術の第２の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【００５９】
ビットストリームに含まれる複数の画像の一つについて、シーンチェンジ検出部１４４によってシーンチェンジの発生の有無について検出処理が行われる（ステップＳ９１１）。シーンチェンジの発生が検出されると（ステップＳ９１２：Ｙｅｓ）、拡大縮小率決定部１４５は、拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
【００６０】
シーンチェンジの発生が検出されない場合には（ステップＳ９１２：Ｎｏ）、第１の実施の形態と同様の処理が行われる。すなわち、画像情報取得部１３０によって解像度が取得されて（ステップＳ９１３）、これに基づいて演算（ステップＳ９１４）された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。
【００６１】
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
【００６２】
［画像変換処理のタイミング］
上述の図７において、例えば、時刻Ｔ５に入力されたインターレース画像６Ｔからシーンチェンジが発生した場合を想定する。この場合、一時的にはＩＰ変換およびノイズ低減処理はインターレース画像内を補間することにより行われるが、ＩＰ変換についてはインターレース画像７Ｂ以降、ノイズ低減処理についてはインターレース画像８Ｔ以降については前の画像を参照することができる。
【００６３】
このように、本技術の第２の実施の形態によれば、例えばシーンチェンジにより画像の内容が大きく異なることとなった場合に、拡大縮小率を初期化して、不要な拡大縮小処理を抑制することができる。その結果、シーンチェンジ後の画像に対するＩＰ変換やノイズ低減処理の性能を向上させることができる。
【００６４】
＜３．第３の実施の形態＞
上述の第１の実施の形態では、入力画像の解像度が低下した場合であっても拡大縮小処理を行うことにより前の画像との相関を維持していた。これに対し、可変レート制御によって通信状況が次第に改善されて解像度が高画質になっていくような場合を考えると、いち早く元の解像度に切替えてＩＰ変換やノイズ低減処理を行った方が画質の向上に有効である。また、過大な画像拡大縮小処理を行うと画質が劣化してしまう。そこで、第３の実施の形態では、拡大縮小率が所定の範囲内に収まらない場合には拡大縮小率を初期化して拡大縮小を行わないように抑制する。なお、図１、図２および図８に示した基本構成については同様であるため、ここでは説明を省略する。
【００６５】
拡大縮小処理を抑制する際の目安として、例えば、拡大縮小率演算部１４１によって演算された拡大縮小率が「０．６６」より大きく、「１．５」より小さい値の範囲内であれば、その拡大縮小率をそのまま採用し、その範囲外であれば拡大縮小率を初期化することが考えられる。例えば、基準解像度が横「１９２０」画素、縦「１０８０」画素のとき、取得された画像情報が横「１２８０」画素、縦「７２０」画素の場合には、縦横いずれの方向においても拡大縮小率は「１．５」倍となって範囲外となるため、拡大縮小率を初期化することとする。ただし、この拡大縮小率の範囲は一例であり、画像処理装置の仕様に応じて適宜設定することができる。
【００６６】
［拡大縮小率生成処理の処理手順］
図１０は、本技術の第３の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【００６７】
シーンチェンジの検出については第２の実施の形態と同様である。すなわち、ビットストリームに含まれる複数の画像の一つについて、シーンチェンジ検出部１４４によってシーンチェンジの発生の有無について検出処理が行われる（ステップＳ９１１）。シーンチェンジの発生が検出されると（ステップＳ９１２：Ｙｅｓ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
【００６８】
シーンチェンジの発生が検出されない場合には（ステップＳ９１２：Ｎｏ）、第１の実施の形態と同様に、画像情報取得部１３０によって解像度が取得されて（ステップＳ９１３）、これに基づいて拡大縮小率演算部１４１によって拡大縮小率が演算される（ステップＳ９１４）。拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内である場合には（ステップＳ９１５：Ｙｅｓ）、拡大縮小率演算部１４１によって演算された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。ただし、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合には（ステップＳ９１５：Ｎｏ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
【００６９】
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
【００７０】
［画像変換処理のタイミング］
上述の図７において、例えば、時刻Ｔ６に入力されたインターレース画像７Ｂから解像度が大きく変化した場合を想定する。このときの拡大縮小率が所定の範囲を超えたとすると、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する。したがって、一時的にはＩＰ変換およびノイズ低減処理はインターレース画像内を補間することにより行われる。ただし、ＩＰ変換についてはインターレース画像８Ｔ以降、ノイズ低減処理についてはインターレース画像９Ｂ以降については前の画像を参照することができるため、その後の画質向上を図ることができる。
【００７１】
このように、本技術の第３の実施の形態によれば、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合に、拡大縮小率を初期化して不要な拡大縮小処理を抑制して、その後の画質向上を図ることができる。
【００７２】
＜４．第４の実施の形態＞
上述の第３の実施の形態では、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合に、拡大縮小率を初期化していた。これに対して、可変レート制御によって通信状況が瞬間的に変動した場合においても拡大縮小率を初期化してしまうと、ＩＰ変換およびノイズ低減処理において頻繁にインターレース画像内補間が発生してしまい、不要な画像劣化を招くおそれがある。そこで、第４の実施の形態では、拡大縮小率の変動が一時的なものであれば拡大縮小率の初期化を抑制するヒステリシス動作を行う。なお、図１および図２に示した基本構成については同様であるため、ここでは説明を省略する。
【００７３】
［画像表示装置の構成］
図１１は、本技術の第４の実施の形態における拡大縮小率生成部１４０の一構成例を示す図である。この第４の実施の形態における拡大縮小率生成部１４０は、第３の実施の形態と同様に拡大縮小率演算部１４１、基準解像度保持部１４２、シーンチェンジ検出部１４４および拡大縮小率決定部１４５を備え、さらに、拡大縮小率保持部１４３を備えている。
【００７４】
拡大縮小率保持部１４３は、拡大縮小率演算部１４１によって演算された拡大縮小率の履歴を保持するものである。拡大縮小率決定部１４５は、この拡大縮小率保持部１４３に保持された履歴を参照して、拡大縮小率の変動が一時的なものか否かを判断する。
【００７５】
例えば、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない旨を１回検出したとしても、それが連続していない場合にはすぐには拡大縮小率の初期化を行わない。一方、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない旨を複数回（例えば、２回）連続して検出した場合には、拡大縮小率の初期化を行うように制御することが考えられる。
【００７６】
［拡大縮小率生成処理の処理手順］
図１２は、本技術の第４の実施の形態における拡大縮小率生成処理の処理手順の一例を示す流れ図である。
【００７７】
シーンチェンジの検出については第２または第３の実施の形態と同様である。すなわち、ビットストリームに含まれる複数の画像の一つについて、シーンチェンジ検出部１４４によってシーンチェンジの発生の有無について検出処理が行われる（ステップＳ９１１）。シーンチェンジの発生が検出されると（ステップＳ９１２：Ｙｅｓ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。
【００７８】
シーンチェンジの発生が検出されない場合には（ステップＳ９１２：Ｎｏ）、第１の実施の形態と同様に、画像情報取得部１３０によって解像度が取得されて（ステップＳ９１３）、これに基づいて拡大縮小率演算部１４１によって拡大縮小率が演算される（ステップＳ９１４）。拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内である場合には（ステップＳ９１５：Ｙｅｓ）、拡大縮小率演算部１４１によって演算された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。
【００７９】
拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合には（ステップＳ９１５：Ｎｏ）、その範囲外となった事象が一時的なものか否かが判断される（ステップＳ９１６）。一時的ではないと判断された場合には（ステップＳ９１６：Ｎｏ）、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する（ステップＳ９１８）。一方、一時的なものと判断された場合には（ステップＳ９１６：Ｙｅｓ）、拡大縮小率演算部１４１によって演算された拡大縮小率が、画像拡大縮小部１５０に指示する拡大縮小率として決定される（ステップＳ９１７）。
【００８０】
拡大縮小率演算部１４１によって演算された拡大縮小率は、次の画像に対する判断（ステップＳ９１６）のために、拡大縮小率保持部１４３に保持される（ステップＳ９１９）。
【００８１】
これらの処理は、ビットストリームに含まれる複数の画像について時系列に沿って順番に繰り返される。
【００８２】
［画像変換処理のタイミング］
上述の図７において、例えば、時刻Ｔ６に入力されたインターレース画像７Ｂにおいて解像度が大きく変化した場合を想定する。このときの拡大縮小率が所定の範囲を超えていても、第４の実施の形態ではすぐには拡大縮小率の初期化を行わない。そして、次の時刻Ｔ７に入力されたインターレース画像８Ｔにおいて拡大縮小率が、時刻Ｔ５のインターレース画像６Ｔ以前の拡大縮小率に戻っていた場合には、拡大縮小率の変動が一時的なものであると解釈して、拡大縮小率の初期化を行わない。
【００８３】
一方、時刻Ｔ７に入力されたインターレース画像８Ｔにおいても拡大縮小率の変化が継続していた場合には、拡大縮小率の変動が一時的なものではないと解釈して、拡大縮小率決定部１４５は拡大縮小率を「１．０倍」に初期化する。
【００８４】
このように、本技術の第４の実施の形態によれば、拡大縮小率演算部１４１によって演算された拡大縮小率が所定の範囲内にない場合についてヒステリシス動作を行って、拡大縮小率の不要な初期化を抑制することができる。
【００８５】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００８６】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００８７】
なお、本技術は以下のような構成もとることができる。
（１）時系列に連続する複数の画像について解像度を取得する解像度取得部と、
前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成部と、
前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小部と、
前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換部と
を具備する画像処理装置。
（２）前記複数の画像において相関度が低下する位置を検出する位置検出部をさらに具備し、
前記拡大縮小率生成部は、前記相関度が低下する位置においては前記拡大縮小率を初期化する
前記（１）に記載の画像処理装置。
（３）前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が所定範囲を超える場合には前記拡大縮小率を初期化する
前記（１）または（２）に記載の画像処理装置。
（４）前記生成された拡大縮小率の履歴を保持する拡大縮小率保持部をさらに具備し、
前記拡大縮小率生成部は、前記取得された解像度に基づく拡大縮小率が前記所定範囲を超える場合であっても、前記拡大縮小率保持部に保持された拡大縮小率の履歴に基づいて前記所定範囲を超える状態が一時的であると判断した場合には前記初期化をすることなく前記拡大縮小率を生成する
前記（３）に記載の画像処理装置。
（５）前記画像変換部は、前記複数の画像の各々を対象画像として前記画像変換処理を行う際、前記対象画像に時系列に近接する他の画像が前記対象画像と相関がある場合には前記対象画像および前記他の画像を参照して前記画像変換処理を行い、前記他の画像が前記対象画像と相関がない場合には前記対象画像を補間して前記画像変換処理を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記複数の画像の各々はインターレース画像であり、
前記画像変換部は、前記インターレース画像をプログレッシブ画像に変換する処理を前記画像変換処理として含む
前記（１）から（５）のいずれかに記載の画像処理装置。
（７）前記画像変換部は、前記複数の画像の各々についてノイズを軽減する処理を前記画像変換処理として含む
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）時系列に連続する複数の画像について解像度を取得する解像度取得手順と、
前記取得された解像度に基づいて前記複数の画像の各々に関する拡大縮小率を生成する拡大縮小率生成手順と、
前記生成された拡大縮小率に従って前記複数の画像の各々に対して画像拡大縮小処理を施す画像拡大縮小手順と、
前記画像拡大縮小処理の施された複数の画像の各々に対して画像変換処理を行う画像変換手順と
を具備する画像処理方法。
【符号の説明】
【００８８】
１０  ストリーム記憶部
１７  動画生成部
２０  プロセッサ
３０  メモリ
４０  ＯＳＤ生成部
５０  画像重畳部
６０  表示部
１１、１１０  デマルチプレクサ
１２、１２０  デコーダ
１３０  画像情報取得部
１４０  拡大縮小率生成部
１４１  拡大縮小率演算部
１４２  基準解像度保持部
１４３  拡大縮小率保持部
１４４  シーンチェンジ検出部
１４５  拡大縮小率決定部
１５、１５０  画像拡大縮小部
１６、１６０  画像変換部
【図１】
2014225718.tif 000003
【図２】
2014225718.tif 000004
【図３】
2014225718.tif 000005
【図４】
2014225718.tif 000006
【図５】
2014225718.tif 000007
【図６】
2014225718.tif 000008
【図７】
2014225718.tif 000009
【図８】
2014225718.tif 000010
【図９】
2014225718.tif 000011
【図１０】
2014225718.tif 000012
【図１１】
2014225718.tif 000013
【図１２】
2014225718.tif 000014