(57)【要約】【課題】動き補償後の画像の画質を劣化させずに、画像を動き補償する際に参照される参照画像のデータ量を削減することができるようにする。【解決手段】動き補償部は、入力画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、入力画像を動き補償する際に参照される参照画像の読み出しを制御する。動き補償部は、動きベクトルと、制御にしたがって読み出された参照画像とを用いて、入力画像を動き補償する。本技術は、例えば、フレームレート変換を行う画像処理装置等に適用することができる。【選択図】図７
2014138242.tif 000002
【特許請求の範囲】
【請求項１】
画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、前記画像を動き補償する際に参照される参照画像の読み出しを制御する制御部と、
前記動きベクトルと、前記制御部による制御にしたがって読み出された前記参照画像とを用いて、前記画像を動き補償する動き補償処理部と
を備える画像処理装置。
【請求項２】
前記制御部は、前記最大値に基づいて、前記参照画像の一部を縮小して読み出すように制御する
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、前記最大値から所定の範囲の垂直方向の動き量に対応する前記参照画像の一部を縮小して読み出すように制御する
請求項２に記載の画像処理装置。
【請求項４】
前記動き補償処理部は、前記動きベクトルに対応する前記参照画像の縮小された領域または縮小されない領域を用いて、前記画像を動き補償する
請求項３に記載の画像処理装置。
【請求項５】
前記所定の範囲は、前記最大値に基づいて決定される
請求項３に記載の画像処理装置。
【請求項６】
前記制御部は、前記参照画像の一部の奇数ラインまたは偶数ラインを読み出すことにより、前記参照画像の一部を縮小して読み出すように制御する
請求項２に記載の画像処理装置。
【請求項７】
前記制御部は、前記参照画像の奇数ラインと偶数ラインの読み出しの開始または終了のタイミングが異なるように、前記参照画像の読み出しを制御する
請求項６に記載の画像処理装置。
【請求項８】
画像処理装置が、
画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、前記画像を動き補償する際に参照される参照画像の読み出しを制御する制御ステップと、
前記動きベクトルと、前記制御ステップの制御にしたがって読み出された前記参照画像とを用いて、前記画像を動き補償する動き補償処理ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関し、特に、動き補償後の画像の画質を劣化させずに、画像を動き補償する際に参照される参照画像のデータ量を削減することができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
動き補償によるフレームレート変換では、動きベクトル検出処理と動き補償処理において、動き補償範囲内の画像へのランダムアクセスが発生する。しかしながら、フレームメモリへのランダムアクセスは、フレームメモリと処理ブロックとの間の接続仕様や読み書きデータ量の制限により、実現不可能な場合が多い。
【０００３】
このような場合、フレームメモリから読み出した動き補償範囲内の画像を参照画像として保持するバッファが処理ブロックに必要となる。このバッファの容量は、参照画像の解像度と動き補償範囲に依存する。従って、動き補償範囲を拡大し、フレームレート変換の基本性能として重要視される高速の動きへの対応を実現しようとすると、バッファの容量が大きくなり、コストが大きくなる。よって、バッファの容量を削減することが求められている。
【０００４】
動きベクトル検出処理におけるバッファの容量は、参照画像の縮小やダイナミックレンジ(ビット幅)の圧縮により削減することができる。しかしながら、動き補償処理において参照画像の縮小やダイナミックレンジの圧縮が行われると、動き補償後の画像の画質が劣化する。そのため、動きベクトル検出処理の場合と同様に、動き補償処理におけるバッファの容量を削減することはできない。
【０００５】
そこで、高速の動きを有する画像では画質の劣化が知覚されにくいという性質を利用して、高速の動きに対応する参照画像を縮小し、静止または低速の動きに対応する参照画像をそのままにして動き補償処理を行うことが考案されている(例えば、特許文献１参照)。特許文献１の技術により、動き補償後の画像の画質の劣化を抑制しつつ、バッファの容量を削減することができる。
【０００６】
しかしながら、特許文献１の技術では、バッファの容量と画質劣化の間にトレードオフが存在する。即ち、参照画像の縮小領域を増加させると、バッファの容量は小さくなるが、縮小領域に対応する動き量が増加するため、画質劣化が発生する動き量の範囲が大きくなる。逆に、参照画像の縮小領域を削減すると、画質劣化が発生する動き量の範囲は小さくなるが、バッファの容量は大きくなる。
【０００７】
また、縮小した参照画像を用いて動き補償処理を行った後、通常の拡大処理ではなく、キュービックコンボリューションにより解像度を元に戻すことで、動き補償後の画像の画質の劣化を抑制しつつ、バッファの容量を削減することが考案されている（例えば、特許文献２参照）。特許文献２の技術では、通常の拡大処理を行う場合に比べて動き補償後の画像の画質の劣化を抑制できるが、参照画像を縮小しない場合に比べると画質の劣化が存在する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−１０１２６７号公報
【特許文献２】特開２００９−２７８３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のように、動き補償後の画像の画質の劣化を抑制しつつ、バッファの容量を削減することは考案されているが、動き補償後の画像の画質を劣化させずに、バッファの容量、即ち参照画像のデータ量を削減することは考案されていない。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、動き補償後の画像の画質を劣化させずに、参照画像のデータ量を削減することができるようにするものである。
【課題を解決するための手段】
【００１１】
本技術の一側面の画像処理装置は、画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、前記画像を動き補償する際に参照される参照画像の読み出しを制御する制御部と、前記動きベクトルと、前記制御部による制御にしたがって読み出された前記参照画像とを用いて、前記画像を動き補償する動き補償処理部とを備える画像処理装置である。
【００１２】
本技術の一側面の画像処理方法は、本技術の一側面の画像処理装置に対応する。
【００１３】
本技術の一側面においては、画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、前記画像を動き補償する際に参照される参照画像の読み出しが制御され、前記動きベクトルと、前記制御にしたがって読み出された前記参照画像とを用いて、前記画像が動き補償される。
【発明の効果】
【００１４】
本技術の一側面によれば、動き補償後の画像の画質を劣化させずに、参照画像のデータ量を削減することができる。
【図面の簡単な説明】
【００１５】
【図１】フレームレート変換を行う画像処理装置の構成の一例を示すブロック図である。
【図２】図１の動き補償部の構成の一例を示すブロック図である。
【図３】参照画像の一例を示す図である。
【図４】フレームレート変換を行う画像処理装置の構成の他の例を示すブロック図である。
【図５】本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図６】図５の画像信号処理部の構成例を示すブロック図である。
【図７】図６の画像変換部の構成例を示すブロック図である。
【図８】図７の検出部の構成例を示すブロック図である。
【図９】図８の探索範囲バッファに記憶される画像の例を示す図である。
【図１０】図７の動き補償部の構成例を示すブロック図である。
【図１１】参照画像の例を示す図である。
【図１２】参照画像の例を示す図である。
【図１３】画像変換部による効果を説明する図である。
【図１４】図７の画像変換部の画像変換処理を説明するフローチャートである。
【図１５】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
＜発明の前提＞
（画像処理装置の構成の一例）
図１は、フレームレート変換を行う画像処理装置の構成の一例を示すブロック図である。
【００１７】
図１の画像処理装置１０は、フレームメモリ１１、検出部１２、および動き補償部１３により構成される。画像処理装置１０は、外部から入力される画像に対して動き補償によるフレームレート変換を行う。
【００１８】
具体的には、画像処理装置１０のフレームメモリ１１は、DDR（Double Data Rate）メモリなどにより構成され、外部から入力されるフレーム単位の画像である入力画像を記憶する。
【００１９】
検出部１２は、フレームメモリ１１から、処理対象のフレームである基準フレームの処理対象の画素の輝度信号を水平ライン単位でラスタスキャン順（順次走査）に読み出し、内蔵するバッファに保持する。また、検出部１２は、フレームメモリ１１から、基準フレームの前後いずれかのフレームである参照フレームの入力画像内の、処理対象の画素の動きベクトルの探索範囲の輝度信号を、水平ライン単位でラスタスキャン順に読み出し、内蔵するバッファに保持する。検出部１２は、保持されている基準フレームと参照フレームの輝度信号を用いてブロックマッチング等を行い、画素ごとに動きベクトルを検出する。検出部１２は、検出された動きベクトルを動き補償部１３に供給する。
【００２０】
動き補償部１３は、生成するフレームレート変換後の画像の各画素を、ラスタスキャン順に処理対象の画素とする。動き補償部１３は、フレームメモリ１１から、基準フレームの入力画像内の処理対象の画素の動き補償範囲の輝度信号および色差信号を水平ライン単位でラスタスキャン順に読み出し、参照画像として内蔵するバッファに保持する。
【００２１】
なお、動き補償範囲は、探索範囲に対応する動きベクトルの範囲と、外部から入力されるフレームレート変換後の画像の位相である補間位相とに基づいて決定される、フレームレート変換後の画像に対する動きベクトルの範囲に対応する入力画像の範囲である。
【００２２】
具体的には、動き補償範囲に対応する動きベクトルの範囲が−Ｌから＋Ｌであり、探索範囲に対応する動きベクトルの範囲が−Ｘから＋Ｘであり、補間位相がＹであるとき、以下の式（１）の関係が成り立つ。
【００２３】
【数１】
2014138242.tif 000003
【００２４】
また、補間位相は、入力画像のフレーム間の時間を１としたときのフレームレート変換後の画像の時刻であり、0以上1未満の正数で表される。例えば、フレームレート変換後の画像のフレームレートが入力画像のフレームレートの２倍である場合、補間位相は、0または0.5である。
【００２５】
動き補償部１３は、検出部１２から供給される動きベクトルと外部から入力される補間位相とに基づいて、処理対象の画素における動きベクトルを求める。動き補償部１３は、処理対象の画素ごとに、動きベクトルと、内蔵するバッファに保持されている参照像とを用いて動き補償を行い、動き補償後の画像をフレームレート変換後の画像として生成する。そして、動き補償部１３は、フレームレート変換後の画像を出力する。
【００２６】
（動き補償部の構成の一例）
図２は、図１の動き補償部１３の構成の一例を示すブロック図である。
【００２７】
図２の動き補償部１３は、位置算出部２１、動き補償範囲バッファ２２、および補間処理部２３により構成される。
【００２８】
動き補償部１３の位置算出部２１は、生成するフレームレート変換後の画像の各画素を、ラスタスキャン順に処理対象の画素に決定する。位置算出部２１は、図１の検出部１２から供給される動きベクトルと外部から入力される補間位相とに基づいて、処理対象の画素における動きベクトルを求める。
【００２９】
位置算出部２１は、処理対象の画素における動きベクトルに基づいて、処理対象の画素に対応する入力画像の整数精度の画素単位の位置と小数精度の画素単位の位置を算出する。位置算出部２１は、算出された整数精度の画素単位の位置を動き補償範囲バッファ２２に供給し、小数精度の画素単位の位置を補間処理部２３に供給する。
【００３０】
動き補償範囲バッファ２２は、フレームメモリ１１から基準フレームの入力画像内の処理対象の画素の動き補償範囲の輝度信号および色差信号を、水平ライン単位でラスタスキャン順に読み出し、参照画像として保持する。動き補償範囲バッファ２２は、位置算出部２１からの整数精度の画素単位の位置に基づいて、保持している参照画像のうちの所定の画素の輝度信号および色差信号を読み出し、補間処理部２３に供給する。
【００３１】
補間処理部２３は、位置算出部２１から供給される小数精度の画素単位の位置に基づいて、動き補償範囲バッファ２２から読み出された輝度信号および色差信号に対して線形補間などを行い、処理対象の画素の輝度信号および色差信号を生成する。補間処理部２３は、生成された処理対象の画素の輝度信号および色差信号を、フレームレート変換後の画像の画素の輝度信号および色差信号として、出力する。
【００３２】
以上のように、位置算出部２１、動き補償範囲バッファ２２、および補間処理部２３は、処理対象の画素における動きベクトルと参照画像とを用いて動き補償処理を行い、動き補償処理後の画像をフレームレート変換後の画像として生成する。
【００３３】
（参照画像の一例）
図３は、参照画像の一例を示す図である。
【００３４】
図３に示すように、フレームレート変換後の画像の各画素が、順に処理対象の画素２５とされる。動き補償範囲バッファ２２は、画素２５に対応する入力画像の画素２６を含む画素２５の動き補償範囲２７の輝度信号および色差信号を、水平ライン単位で読み出し、参照画像として保持する。従って、動き補償範囲バッファ２２には、動き補償範囲２７内の各水平ラインの全画素からなる範囲２８の輝度信号および色差信号が、参照画像として保持される。
【００３５】
よって、範囲２８の輝度信号および色差信号のデータ量が、動き補償範囲バッファ２２の記憶容量として必要な容量である。このデータ量は、垂直方向の動き補償範囲、参照画像の解像度、およびダイナミックレンジにより決定される。従って、参照画像の解像度やダイナミックレンジを削減することにより、動き補償範囲バッファ２２の記憶容量を削減することができる。しかしながら、参照画像の解像度やダイナミックレンジの削減により動き補償後の画像の画質は劣化する。
【００３６】
（画像処理装置の構成の他の例）
図４は、フレームレート変換を行う画像処理装置の構成の他の例を示すブロック図である。
【００３７】
図４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００３８】
図４の画像処理装置３０の構成は、縮小部３１と縮小フレームメモリ３２が新たに設けられる点、および、検出部１２の代わりに検出部３３が設けられる点が図１の画像処理装置１０の構成と異なる。画像処理装置３０は、入力画像を低解像度化し、その結果得られる縮小画像を用いて動きベクトルを検出する。
【００３９】
具体的には、画像処理装置３０の縮小部３１は、入力画像を低解像度化し、フレーム単位の縮小画像を生成する。縮小部３１は、生成されたフレーム単位の縮小画像を縮小フレームメモリ３２に供給する。縮小フレームメモリ３２は、縮小部３１から供給されるフレーム単位の縮小画像を記憶する。
【００４０】
検出部３３は、縮小フレームメモリ３２から、基準フレームの処理対象の画素の輝度信号を水平ライン単位でラスタスキャン順に読み出し、内蔵するバッファに保持する。また、検出部３３は、縮小フレームメモリ３２から、参照フレームの縮小画像内の処理対象の画素の探索範囲の輝度信号を、水平ライン単位でラスタスキャン順に読み出し、内蔵するバッファに保持する。検出部３３は、保持されている基準フレームと参照フレームの輝度信号を用いてブロックマッチング等を行い、画素ごとに動きベクトルを検出する。検出部３３は、検出された動きベクトルを動き補償部１３に供給する。
【００４１】
以上のように、画像処理装置３０は、縮小画像を用いて動きベクトルを検出するので、画像処理装置１０に比べて、動きベクトルの検出に用いる画像のデータ量を削減し、検出部３３が内蔵するバッファの記憶容量を削減することができる。
【００４２】
＜一実施の形態＞
（画像処理装置の一実施の形態の構成例）
図５は、本技術を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００４３】
図５の画像処理装置５０は、画像受像部５１、画像信号処理部５２、および画像表示部５３により構成される。画像処理装置５０は、外部から入力画像として入力される２次元画像やＮ視点（Ｎは２以上の整数）の３次元画像に対して、動き補償によるフレームレート変換を行い、フレームレート変換後の画像を表示する。
【００４４】
具体的には、画像受像部５１は、入力画像のアナログ信号を受像してA/D変換し、デジタル信号を生成する。画像受像部５１は、入力画像のデジタル信号を画像信号処理部５２に供給する。
【００４５】
画像信号処理部５２は、画像受像部５１から供給される入力画像のデジタル信号に対して動き補償によるフレームレート変換を行う。画像信号処理部５２は、画像表示部５３を制御し、フレームレート変換後の画像を画像表示部５３に表示させる。
【００４６】
画像表示部５３は、LCD（Liquid Crystal Display）やOLED（Organic light-Emitting Diode）などの立体表示装置により構成される。画像表示部５３は、画像信号処理部５２の制御により、画像信号処理部５２から供給されるフレームレート変換後の画像を表示する。
【００４７】
（画像信号処理部の構成例）
図６は、図５の画像信号処理部５２の構成例を示すブロック図である。
【００４８】
図６の画像信号処理部５２は、画像変換部７１と駆動処理部７２により構成される。
【００４９】
画像信号処理部５２の画像変換部７１は、図５の画像受像部５１から供給される入力画像のデジタル信号に対して動き補償によるフレームレート変換を行い、フレームレート変換後の画像を駆動処理部７２に供給する。
【００５０】
なお、本実施の形態では、画像変換部７１はフレームレート変換のみを行うものとするが、画像変換部７１は、フレームレート変換以外の画像処理を行うようにすることもできる。例えば、画像変換部７１は、入力画像のデジタル信号が圧縮されている場合、入力画像のデジタル信号に対して解凍処理を行うようにすることもできる。また、画像変換部７１は、入力画像のデジタル信号に対して、画像表示部５３に対応する解像度への変換、色変換、ノイズリダクション等の処理を行うようにすることもできる。
【００５１】
駆動処理部７２は、画像変換部７１から供給される画像に対して、図５の画像表示部５３のインタフェース仕様に合わせたフォーマット変換を行う。駆動処理部７２は、画像表示部５３を制御し、フォーマット変換後の画像を画像表示部５３に表示させる。
【００５２】
（画像変換部の構成例）
図７は、図６の画像変換部７１の構成例を示すブロック図である。
【００５３】
図７に示す構成のうち、図４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５４】
図７の画像変換部７１の構成は、検出部３３の代わりに検出部９０が設けられる点、新たにライン分割部９１が設けられる点、フレームメモリ１１の代わりにフレームメモリ９２が設けられ、動き補償部１３の代わりに動き補償部９３が設けられる点が、図４の画像処理装置３０の構成と異なる。画像変換部７１は、入力画像の垂直方向の最大の動き量に基づいて、動き補償範囲のうちの所定の補正範囲の入力画像をフレームメモリ９２から読み出して保持する。
【００５５】
具体的には、画像変換部７１の検出部９０は、図４の検出部３３と同様に、縮小フレームメモリ３２から、基準フレームの処理対象の画素の輝度信号を水平ライン単位でラスタスキャン順に読み出し、内蔵するバッファに保持する。また、検出部９０は、検出部３３と同様に、縮小フレームメモリ３２から、参照フレームの縮小画像内の処理対象の画素の探索範囲の輝度信号を、水平ライン単位でラスタスキャン順に読み出し、内蔵するバッファに保持する。
【００５６】
検出部９０は、検出部３３と同様に、保持されている基準フレームと参照フレームの輝度信号を用いてブロックマッチング等を行い、画素ごとに動きベクトルを検出する。
【００５７】
なお、本実施の形態では、画素ごとに動きベクトルが検出されるものとするが、動きベクトルの検出単位は画素に限定されず、例えば、複数の画素からなるブロックであってもよい。
【００５８】
また、検出部９０は、入力画像の全画素の動きベクトルの垂直方向の動き量に基づいて、入力画像の上方向の最大の動き量と下方向の最大の動き量を求める。
【００５９】
なお、以下では、入力画像の上方向の最大の動き量と下方向の最大の動き量を特に区別する必要がない場合、それらをまとめて垂直最大動き量という。検出部９０は、垂直最大動き量と入力画像の各画素の動きベクトルを動き補償部９３に供給する。
【００６０】
ライン分割部９１は、入力画像の奇数ラインと偶数ラインを分離し、フレームメモリ９２に供給する。
【００６１】
フレームメモリ９２は、ライン分割部９１から供給される入力画像の奇数ラインと偶数ラインを別々に記憶する。フレームメモリ９２は、動き補償部９３から奇数ラインの範囲が供給されると、その範囲の奇数ラインを水平ライン単位で上から順に読み出し、動き補償部９３に供給する。また、フレームメモリ９２は、動き補償部９３から偶数ラインの範囲が供給されると、その範囲の偶数ラインを水平ライン単位で上から順に読み出し、動き補償部９３に供給する。
【００６２】
動き補償部９３は、生成するフレームレート変換後の画像の各画素を、ラスタスキャン順に処理対象の画素とする。動き補償部９３は、外部から入力される補間位相と、検出部９０から供給される垂直最大動き量とに基づいて、補正範囲に対応する動き量の範囲を決定する。また、動き補償部９３は、補間位相、垂直最大動き量等に基づいて、処理対象の画素ごとに、補正範囲内のフレームメモリ９２から読み出す奇数ラインの範囲と偶数ラインの範囲を決定する。
【００６３】
そして、動き補償部９３は、奇数ラインの範囲と偶数ラインの範囲に基づいて、奇数ラインおよび偶数ラインの読み出しの開始タイミングを決定する。動き補償部９３は、奇数ラインの読み出しの開始タイミングで、奇数ラインの範囲をフレームメモリ９２に供給し、偶数ラインの読み出しの開始タイミングで、偶数ラインの範囲をフレームメモリ９２に供給する。
【００６４】
動き補償部９３は、これによりフレームメモリ９２から読み出された奇数ラインの範囲の奇数ラインと偶数ラインの範囲の偶数ラインを、参照画像として内蔵するバッファに保持する。
【００６５】
また、動き補償部９３は、検出部９０から供給される動きベクトルと外部から入力される補間位相とに基づいて、処理対象の画素における動きベクトルを求める。動き補償部９３は、処理対象の画素ごとに、動きベクトルと、内蔵するバッファに保持されている参照画像とを用いて動き補償を行い、動き補償後の画像をフレームレート変換後の画像として生成する。そして、動き補償部９３は、フレームレート変換後の画像を出力する。
【００６６】
なお、図７の画像変換部７１は、ライン分割部９１を有したが、フレームメモリ９２が奇数ラインと偶数ラインを別々に記憶せずに、奇数ラインと偶数ラインの読み出しの開始タイミングを個別に設定できる場合には、ライン分割部９１を有しなくてもよい。
【００６７】
（検出部の構成例）
図８は、図７の検出部９０の構成例を示すブロック図である。
【００６８】
図８の検出部９０は、探索範囲バッファ１１１、算出部１１２、および選択部１１３から構成される。
【００６９】
検出部９０の探索範囲バッファ１１１は、図７の縮小フレームメモリ３２から、基準フレームの処理対象の画素の輝度信号を水平ライン単位でラスタスキャン順に読み出し、保持する。また、探索範囲バッファ１１１は、縮小フレームメモリ３２から、参照フレームの縮小画像内の処理対象の画素の探索範囲の輝度信号を、水平ライン単位でラスタスキャン順に読み出し、保持する。
【００７０】
また、探索範囲バッファ１１１は、算出部１１２から供給される読み出し位置情報で指定される位置に基づいて、その位置に記憶されている輝度信号を読み出し、算出部１１２に供給する。
【００７１】
算出部１１２は、探索範囲バッファ１１１内の基準フレームの処理対象の画素の輝度信号の位置を指定する情報を、読み出し位置情報として探索範囲バッファ１１１に供給する。また、算出部１１２は、探索範囲バッファ１１１内の探索範囲の各画素の輝度信号の位置を指定する情報を、順に、読み出し位置情報として探索範囲バッファ１１１に供給する。
【００７２】
算出部１１２は、探索範囲バッファ１１１から供給される処理対象の画素の輝度信号と、探索範囲の各画素の輝度信号のSAD（Sum of Absolute Difference(差分絶対値和)）を算出し、選択部１１３に供給する。
【００７３】
選択部１１３は、算出部１１２から供給されるSADの中から最小のSADを選択する。そして、選択部１１３は、そのSADに対応する探索範囲の画素を終点とし、処理対象の画素を始点とする動きベクトルを生成し、保持するとともに、図７の動き補償部９３に供給する。また、選択部１１３は、保持している入力画像の画面内の全画素の動きベクトルから垂直最大動き量を求め、動き補償部９３に供給する。
【００７４】
ここでは、検出部９０は、ブロックマッチングにより動きベクトルを検出するものとするが、動きベクトルの検出方法は、ブロックマッチング法に限定されない。
【００７５】
（探索範囲バッファに記憶される画像の例）
図９は、図８の探索範囲バッファ１１１に記憶される画像の例を示す図である。
【００７６】
図９に示すように、探索範囲バッファ１１１は、基準フレームの処理対象の画素１３０の輝度信号を水平ライン単位で読み出し、保持する。従って、探索範囲バッファ１１１には、画素１３０を含む水平ラインの全画素からなる範囲１３１の輝度信号が保持される。
【００７７】
また、探索範囲バッファ１１１は、画素１３０に対応する参照フレームの画素１３２を含む画素１３０の探索範囲１３３の輝度信号水平ライン単位で読み出し、保持する。従って、探索範囲バッファ１１１には、探索範囲１３３内の各水平ラインの全画素からなる範囲１３４の輝度信号が記憶される。
【００７８】
よって、探索範囲バッファ１１１に記憶される画像のデータ量は、探索範囲１３３の垂直方向の画素数、処理対象の画像の解像度、および輝度信号のダイナミックレンジにより決定される。
【００７９】
画像処理装置５０は、処理対象の画像として入力画像ではなく縮小画像を用いるので、探索範囲バッファ１１１に記憶される画像のデータ量を削減し、探索範囲バッファ１１１の記憶容量を削減することができる。なお、動きベクトルの検出精度は、一般的に、処理対象の画像の解像度とダイナミックレンジをある程度削減しても維持することができる。
【００８０】
（動き補償部の構成例）
図１０は、図７の動き補償部９３の構成例を示すブロック図である。
【００８１】
図１０に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００８２】
図１０の動き補償部９３の構成は、制御部１５１が新たに設けられる点、および、動き補償範囲バッファ２２の代わりに補正範囲バッファ１５２が設けられる点が図２の動き補償部１３の構成と異なる。
【００８３】
動き補償部９３の制御部１５１は、図８の選択部１１３から供給される垂直最大動き量と、外部から入力される補間位相とに基づいて、垂直最大動き量に対応するフレームレート変換後の画像に対する動きベクトルの上方向および下方向の最大の動き量を求める。そして、制御部１５１は、求められた下方向の最大の動き量から上方向の最大の動き量までの範囲に対応する入力画像の範囲を補正範囲に決定する。
【００８４】
制御部１５１は、垂直最大動き量、補正範囲バッファ１５２の記憶容量、および補間位相に基づいて、補正範囲に対応する動き量の範囲を、奇数範囲、偶数範囲、または奇数偶数範囲に分類する。奇数範囲とは、奇数ラインのみを用いて動き補償処理を行う垂直方向の動き量の範囲であり、偶数範囲とは、偶数ラインのみを用いて動き補償処理を行う垂直方向の動き量の範囲である。また、奇数偶数範囲とは、奇数ラインと偶数ラインの両方を用いて動き補償処理を行う垂直方向の動き量の範囲である。
【００８５】
以下に、奇数範囲、偶数範囲、および奇数偶数範囲の算出方法について説明する。
【００８６】
まず、補正範囲バッファ１５２に記憶される参照画像の容量Ｄは、以下の式（２）で表される。
【００８７】
【数２】
2014138242.tif 000004
【００８８】
なお、式（２）において、Ａは、１画素あたりの輝度信号および色差信号のデータ量（bit）を表し、Ｂは、水平ラインあたりの画素数を表す。また、Ｌは、処理対象の画素に対応する基準フレームの画素を含む水平ラインの垂直方向の水平ライン単位の座標を０としたときの補正範囲の垂直方向の水平ライン単位の座標の絶対値の最大値を表す。即ち、補正範囲の垂直方向の水平ライン単位の座標の範囲は、−Ｌ乃至Ｌである。
【００８９】
この容量Ｄが補正範囲バッファ１５２の記憶容量以下の最も大きい値となる場合の２Ｌ＋１が、補正範囲バッファ１５２に記憶可能な水平ラインの最大数Ｘとなる。
【００９０】
制御部１５１は、この水平ラインの最大数Ｘを用いて、以下の式（３）により、補正範囲に対応する動き量の範囲を、奇数範囲Ｒ０、奇数偶数範囲Ｒ２、または偶数範囲Ｒ１に分類する。
【００９１】
【数３】
2014138242.tif 000005
【００９２】
なお、式（３）において、Ｍは、垂直最大動き量に対応するフレームレート変換後の画像に対する動きベクトルの上方向の最大の動き量であり、Ｎは、下方向の最大の動き量である。従って、動き量−Ｎから動き量Ｍまでの範囲が、補正範囲に対応する動き量の範囲である。
【００９３】
また、式（３）において、MvY_up_maxは、垂直最大動き量のうちの入力画像の上方向の最大の動き量を表し、MvY_down_maxは、入力画像の下方向の最大の動き量を表す。また、αは、補間位相を表す。
【００９４】
式（３）によれば、補正範囲に対応する動き量の範囲のうちの、垂直最大動き量から所定の範囲の垂直方向の動き量が、奇数範囲Ｒ０または偶数範囲Ｒ１に分類される。また、水平ラインの最大数Ｘに応じて、補正範囲に対応する動き量の範囲を、全て奇数偶数範囲Ｒ２に分類するか、または、奇数偶数範囲Ｒ２と、奇数範囲Ｒ０および偶数範囲Ｒ１の少なくとも一方とに分類される。
【００９５】
なお、ここでは、上方向の最大の動き量から所定の範囲の垂直方向の動き量を奇数範囲Ｒ０とし、下方向の最大の動き量から所定の範囲の垂直方向の動き量を偶数範囲Ｒ１とするが、下方向の最大の動き量から所定の範囲の垂直方向の動き量を奇数範囲Ｒ０とし、上方向の最大の動き量から所定の範囲の垂直方向の動き量を偶数範囲Ｒ１とすることもできる。
【００９６】
制御部１５１は、位置算出部２１で決定される処理対象の画素ごとに、奇数範囲Ｒ０、奇数偶数範囲Ｒ２、および偶数範囲Ｒ１に基づいて、フレームメモリ９２から読み出す奇数ラインの範囲と偶数ラインの範囲を決定する。そして、制御部１５１は、奇数ラインの範囲と偶数ラインの範囲に基づいて、奇数ラインおよび偶数ラインの読み出しの開始タイミングを決定する。
【００９７】
制御部１５１は、奇数ラインの読み出しの開始タイミングで奇数ラインの範囲をフレームメモリ９２に供給することにより、奇数ラインの読み出しを制御する。また、制御部１５１は、偶数ラインの読み出しの開始タイミングで、偶数ラインの範囲をフレームメモリ９２に供給することにより、偶数ラインの読み出しを制御する。
【００９８】
補正範囲バッファ１５２は、フレームメモリ９２から読み出された奇数ラインの範囲の奇数ラインと偶数ラインの範囲の偶数ラインを、参照画像として保持する。補正範囲バッファ１５２は、位置算出部２１から供給される整数精度の画素単位の位置に基づいて、保持している参照画像のうちの所定の画素の輝度信号および色差信号を読み出し、補間処理部２３に供給する。
【００９９】
従って、位置算出部２１、補正範囲バッファ１５２、および補間処理部２３により、処理対象の画素における動きベクトルと参照画像とを用いて動き補償処理が行われる。即ち、位置算出部２１、補正範囲バッファ１５２、および補間処理部２３は、動き補償処理部として機能する。
【０１００】
（参照画像の例）
図１１および図１２は、参照画像の例を示す図である。
【０１０１】
図１１および図１２において、左下がりの斜線が付された長方形は、補正範囲バッファ１５２に参照画像として記憶される奇数ラインの画像を表し、右下がりの斜線が付された長方形は、参照画像として記憶される偶数ラインの画像を表す。また、濃度が付された長方形は、補正範囲バッファ１５２に記憶されない水平ラインの画像を表す。
【０１０２】
図１１に示すように、動き量Ｎと動き量Ｍの両方が比較的大きい場合、補正範囲に対応する動き量の範囲が、奇数範囲Ｒ０、偶数範囲Ｒ１、および奇数偶数範囲Ｒ２に分類される。そして、奇数範囲Ｒ０および奇数偶数範囲Ｒ２に対応する入力画像の範囲が奇数ラインの範囲とされ、奇数偶数範囲Ｒ２と偶数範囲Ｒ１に対応する入力画像の範囲が偶数ラインの範囲とされる。
【０１０３】
従って、奇数ラインの範囲内の先頭の奇数ラインの参照画像としての読み出しのタイミングが、奇数ラインの読み出しの開始タイミングに決定される。具体的には、図１１の例では、参照画像の先頭の奇数ラインの読み出しのタイミングが、奇数ラインの読み出しの開始タイミングに決定される。
【０１０４】
また、偶数ラインの範囲内の先頭の偶数ラインの参照画像としての読み出しのタイミングが、偶数ラインの読み出しの開始タイミングに決定される。具体的には、図１１の例では、参照画像の上から５番目の偶数ラインの読み出しのタイミングが、偶数ラインの読み出しの開始タイミングに決定される。即ち、奇数ラインと偶数ラインの読み出しの開始タイミングは異なっている。
【０１０５】
また、奇数ラインの範囲内の最後の奇数ラインの参照画像としての読み出しのタイミングと、偶数ラインの範囲内の最後の偶数ラインの参照画像としての読み出しのタイミングは異なっているため、奇数ラインと偶数ラインの読み出しの終了タイミングは異なっている。
【０１０６】
以上により、参照画像の上部の領域として、奇数範囲Ｒ０に対応する入力画像の範囲内の奇数ラインの輝度信号および色差信号がフレームメモリ９２から読み出される。そして、参照画像の中央の領域として、奇数偶数範囲Ｒ２に対応する入力画像の範囲内の奇数ラインと偶数ラインの輝度信号および色差信号がフレームメモリ９２から読み出される。そして、参照画像の下部の領域として、偶数範囲Ｒ１に対応する入力画像の範囲内の偶数ラインの輝度信号および色差信号が、フレームメモリ９２から読み出される。
【０１０７】
一方、図１２に示すように、動き量Ｍが比較的小さく、補正範囲バッファ１５２の記憶容量に余裕がある場合、補正範囲に対応する動き量の範囲のうちの動き量Ｍから所定の範囲の垂直方向の動き量は、奇数範囲Ｒ０ではなく、奇数偶数範囲Ｒ２に分類される。従って、補正範囲に対応する動き量の範囲は、偶数範囲Ｒ１と奇数偶数範囲Ｒ２に分類される。また、図１２の偶数範囲Ｒ１は、図１１の偶数範囲Ｒ１に比べて小さくり、図１２の奇数偶数範囲Ｒ２は、図１１の奇数偶数範囲Ｒ２に比べて大きくなる。
【０１０８】
この場合、奇数偶数範囲Ｒ２に対応する入力画像の範囲は奇数ラインの範囲とされ、奇数偶数範囲Ｒ２と偶数範囲Ｒ１に対応する入力画像の範囲は偶数ラインの範囲とされる。そして、奇数ラインの範囲に基づいて、奇数ラインの範囲内の先頭の奇数ラインの参照画像としての読み出しのタイミングが、奇数ラインの読み出しの開始タイミングに決定される。具体的には、図１２の例では、参照画像の先頭の奇数ラインの読み出しのタイミングが、奇数ラインの読み出しの開始タイミングに決定される。
【０１０９】
また、偶数ラインの範囲に基づいて、偶数ラインの範囲内の先頭の偶数ラインの参照画像としての読み出しのタイミングが、偶数ラインの読み出しの開始タイミングに決定される。具体的には、図１２の例では、参照画像の先頭の偶数ラインの読み出しのタイミングが、偶数ラインの読み出しの開始タイミングに決定される。即ち、奇数ラインと偶数ラインの読み出しの開始タイミングは同一である。
【０１１０】
さらに、奇数ラインの範囲内の最後の奇数ラインの参照画像としての読み出しのタイミングと、偶数ラインの範囲内の最後の偶数ラインの参照画像としての読み出しのタイミングは異なっているため、奇数ラインと偶数ラインの読み出しの終了タイミングは異なっている。
【０１１１】
以上により、参照画像の上部の領域として、奇数偶数範囲Ｒ２に対応する入力画像の範囲内の奇数ラインと偶数ラインの輝度信号および色差信号がフレームメモリ９２から読み出される。そして、参照画像の下部の領域として、偶数範囲Ｒ１に対応する入力画像の範囲内の偶数ラインの輝度信号および色差信号が、フレームメモリ９２から読み出される。
【０１１２】
なお、図示は省略するが、動き量Ｎが比較的小さく、補正範囲バッファ１５２の記憶容量に余裕がある場合も同様に、補正範囲に対応する動き量の範囲のうちの動き量Ｎから所定の範囲の垂直方向の動き量が、偶数範囲Ｒ１ではなく、奇数偶数範囲Ｒ２に分類される。また、動き量Ｍと動き量Ｎの両方が比較的小さく、補正範囲バッファ１５２の記憶容量に余裕がある場合、補正範囲に対応する動き量の範囲は、全て奇数偶数範囲Ｒ２に分類される。
【０１１３】
以上のように、補正範囲に対応する動き量の範囲が、奇数範囲Ｒ０、偶数範囲Ｒ１、または奇数偶数範囲Ｒ２に分類されるので、参照画像としては、とり得る動きベクトルに対応する動き補償範囲ではなく、補正範囲の入力画像が読み出される。従って、補正範囲バッファ１５２は、処理対象の画像では存在しない動き量−Ｎ乃至Ｍ以外の動き量に対応する範囲の入力画像、即ち動き補償に用いられない入力画像を参照画像として保持しなくて済む。
【０１１４】
その結果、補正範囲バッファ１５２に保持される参照画像のデータ量を削減することができる。このとき、動き補償範囲内の入力画像であって、参照画像として保持されない入力画像は、動き補償に用いられない入力画像であるため、動き補償後の画像の画質の劣化は発生しない。
【０１１５】
また、奇数偶数範囲Ｒ２では、入力画像の奇数ラインと偶数ラインの両方を用いて動き補償が行われる、即ち入力画像の解像度で動き補償が行われるため、動き補償後の画像の画質劣化はない。これに対して、奇数範囲Ｒ０と偶数範囲Ｒ１では、入力画像の奇数ラインと偶数ラインのいずれか一方を用いて動き補償が行われる、即ち垂直方向の解像度が入力画像の1/2である解像度で動き補償が行われるため、動き補償後の画像に画質劣化が発生する。
【０１１６】
しかしながら、図１１の場合のように、動き量−Ｎと動き量Ｍの両方が比較的大きい画像、即ち画面内で上方向と下方向の高速の動きを両方有する画像は、ほとんどなく、多くの画像では、動き量−Ｎと動き量Ｍの少なくとも一方が小さい。従って、奇数範囲Ｒ０と偶数範囲Ｒ１の少なくとも一方が存在しないか、または、小さくなり、奇数偶数範囲Ｒ２が大きくなる可能性が高い。よって、動き補償後の画像に画質劣化が発生する可能性は低い。
【０１１７】
（効果の説明）
図１３は、画像変換部７１による効果を説明する図である。
【０１１８】
図１３に示すように、画像変換部７１は、動き量−Ｎから動き量Ｍまでの範囲（以下、垂直最大動き量の範囲という）に基づいて、奇数ラインと偶数ラインの読み出しの開始タイミングまたは終了タイミングを動的に切り替える。
【０１１９】
具体的には、垂直最大動き量の範囲が大きく、補正範囲の入力画像を補正範囲バッファ１５２に記憶できない場合、図１１や図１２に示したように、画像変換部７１は、奇数ラインと偶数ラインの読み出しの開始タイミングや終了タイミングをずらす。
【０１２０】
これにより、補正範囲バッファ１５２に記憶される参照画像の一部の垂直方向の解像度は、入力画像の半分になる。即ち、画像変換部７１は、奇数ラインと偶数ラインの読み出しの開始タイミングまたは終了タイミングをずらすことにより、入力画像の垂直方向の解像度を半分にした垂直1/2縮小画像を容易に生成し、参照画像として補正範囲バッファ１５２に記憶させることができる。
【０１２１】
一方、垂直最大動き量の範囲が小さく、補正範囲の入力画像を補正範囲バッファ１５２に記憶できる場合、画像変換部７１は、奇数ラインと偶数ラインの読み出しの開始タイミングおよび終了タイミングをずらさない。従って、補正範囲バッファ１５２には、補正範囲の入力画像がそのまま参照画像として記憶される。
【０１２２】
また、図１３に示すように、画像変換部７１は、垂直最大動き量の範囲に基づいて、補正範囲バッファ１５２の構成を動的に切り替える。
【０１２３】
具体的には、垂直最大動き量の範囲が大きく、補正範囲の入力画像を補正範囲バッファ１５２に記憶できない場合、図１１や図１２に示したように、画像変換部７１は、動き量Ｍと動き量Ｎの大きさに応じて、補正範囲に対応する動き量を、奇数範囲Ｒ０および偶数範囲Ｒ１の少なくとも一方と、奇数偶数範囲Ｒ２とに分類する。従って、奇数範囲Ｒ０と偶数範囲Ｒ１が決められている場合に比べて、参照画像内の垂直1/2縮小画像の領域を抑制できる。
【０１２４】
これに対して、垂直最大動き量の範囲が小さく、補正範囲の入力画像を補正範囲バッファ１５２に記憶できる場合、画像変換部７１は、補正範囲に対応する動き量を、全て奇数偶数範囲Ｒ２に分類する。
【０１２５】
また、図１３に示すように、画像変換部７１では、垂直最大動き量の範囲と処理対象の画素の垂直方向の動き量に基づいて、動き補償処理に用いる画像が、垂直1/2縮小画像または入力画像に動的に切り替えられる。
【０１２６】
具体的には、垂直最大動き量の範囲が大きく、処理対象の画素の垂直方向の動き量が大きい場合、動き補償処理では、補正範囲バッファ１５２内の奇数範囲Ｒ０または偶数範囲Ｒ１に対応する垂直1/2縮小画像が参照画像として用いられる。従って、動き補償処理後の画像の画質劣化が発生する。
【０１２７】
一方、垂直最大動き量の範囲が大きく、処理対象の画素の垂直方向の動き量が大きい場合以外の場合、動き補償処理では、補正範囲バッファ１５２内の奇数偶数範囲Ｒ２に対応する入力画像が参照画像として用いられる。従って、動き補償処理後の画像の画質劣化が発生しない。
【０１２８】
このように、画像変換部７１では、垂直最大動き量の範囲が大きく、処理対象の画素の垂直方向の動き量が大きい場合以外、参照画像の解像度が低下せず、動き補償処理後の画像の画質が劣化しない。即ち、動き補償処理後の画像の画質が劣化する可能性は低い。なお、画質劣化が発生した場合であっても、処理対象の画素の垂直方向の動き量は大きいため、画質劣化は知覚されにくい。
【０１２９】
これに対して、縮小画像を用いて動き補償処理を行う動き量の範囲が固定されている場合、その範囲の動き量の画素では、常に画質劣化が発生する。
【０１３０】
（画像変換部の処理）
図１４は、図７の画像変換部７１の画像変換処理を説明するフローチャートである。
【０１３１】
図１４のステップＳ１１において、画像変換部７１の縮小部３１は、入力画像を低解像度化して、フレーム単位の縮小画像を生成し、縮小フレームメモリ３２に供給する。ステップＳ１２において、縮小フレームメモリ３２は、縮小部３１から供給されるフレーム単位の縮小画像を記憶する。以降のステップＳ１３乃至Ｓ１５の処理は、基準フレームの縮小画像の各画素を処理対象の画素として、処理対象の画素ごとに行われる。
【０１３２】
ステップＳ１３において、検出部９０の探索範囲バッファ１１１（図８）は、図７の縮小フレームメモリ３２から、基準フレームの処理対象の画素と、参照フレームの処理対象の画素の探索範囲の縮小画像の輝度信号を水平ライン単位でラスタスキャン順に読み出し、保持する。
【０１３３】
ステップＳ１４において、算出部１１２は、読み出し位置情報を探索範囲バッファ１１１に供給し、これにより探索範囲バッファ１１１から読み出された処理対象の画素の輝度信号と、探索範囲の各画素の輝度信号のSADを算出する。算出部１１２は、算出されたSADを選択部１１３に供給する。
【０１３４】
ステップＳ１５において、選択部１１３は、算出部１１２から供給されるSADの中から最小のSADを選択し、そのSADに対応する探索範囲の画素を終点とし、処理対象の画素を始点とする動きベクトルを生成する。選択部１１３は、動きベクトルを保持するとともに、図７の動き補償部９３に供給する。
【０１３５】
ステップＳ１６において、選択部１１３は、保持している入力画像の画面内の全画素の動きベクトルから垂直最大動き量を求め、動き補償部９３に供給する。
【０１３６】
ステップＳ１７において、動き補償部９３の制御部１５１（図１０）は、図８の選択部１１３から供給される垂直最大動き量と、外部から入力される補間位相とに基づいて、補正範囲を決定する。
【０１３７】
ステップＳ１８において、制御部１５１は、垂直最大動き量、補正範囲バッファ１５２の容量、および外部から入力される補間位相に基づいて、補正範囲に対応する動き量の範囲を、奇数範囲、偶数範囲、および奇数偶数範囲に分類する。
【０１３８】
ステップＳ１９において、位置算出部２１は、まだ処理対象の画素に決定されていないフレームレート変換後の画像の画素を、処理対象の画素に決定する。
【０１３９】
ステップＳ２０において、制御部１５１は、奇数範囲Ｒ０、奇数偶数範囲Ｒ２、および偶数範囲Ｒ１に基づいて、奇数ラインと偶数ラインの読み出しを制御する。
【０１４０】
具体的には、制御部１５１は、奇数範囲Ｒ０、奇数偶数範囲Ｒ２、および偶数範囲Ｒ１に基づいて、処理対象の画素に対して読み出す奇数ラインの範囲と偶数ラインの範囲を決定し、奇数ラインと偶数ラインの読み出しの開始タイミングを決定する。そして、制御部１５１は、奇数ラインの読み出しの開始タイミングで奇数ラインの範囲をフレームメモリ９２に供給し、偶数ラインの読み出しの開始タイミングで偶数ラインの範囲をフレームメモリ９２に供給する。
【０１４１】
ステップＳ２１において、補正範囲バッファ１５２は、ステップＳ２０の制御によりフレームメモリ９２から水平ライン単位でラスタスキャン順に読み出された入力画像の奇数ラインと偶数ラインの輝度信号および色差信号を参照画像として保持する。
【０１４２】
ステップＳ２２において、位置算出部２１は、図７の検出部９０から供給される動きベクトルと外部から入力される補間位相とに基づいて、処理対象の画素に対応する入力画像の整数精度の画素単位の位置と小数精度の画素単位の位置を算出する。位置算出部２１は、算出された整数精度の画素単位の位置を補正範囲バッファ１５２に供給し、小数精度の画素単位の位置を補間処理部２３に供給する。
【０１４３】
ステップＳ２３において、補正範囲バッファ１５２は、位置算出部２１から供給される整数精度の画素単位の位置に対応する画素の輝度信号および色差信号を、保持している参照画像から読み出し、補間処理部２３に供給する。
【０１４４】
ステップＳ２４において、補間処理部２３は、位置算出部２１から供給される小数精度の画素単位の位置に基づいて、補正範囲バッファ１５２から供給される輝度信号および色差信号に対して線形補間などを行い、処理対象の画素の輝度信号および色差信号を生成する。
【０１４５】
ステップＳ２５において、位置算出部２１は、フレームレート変換後の画像の全ての画素を処理対象の画素としたかどうかを判定する。ステップＳ２５でまだフレームレート変換後の画像の全ての画素を処理対象の画素としていないと判定された場合、処理はステップＳ１９に戻り、以降の処理が繰り返される。
【０１４６】
一方、ステップＳ２５でフレームレート変換後の画像の全ての画素を処理対象の画素としたと判定された場合、補間処理部２３は、ステップＳ２４で生成されたフレームレート変換後の全ての画素の輝度信号および色差信号を出力し、処理を終了する。
【０１４７】
以上のように、画像処理装置５０は、垂直最大動き量に基づく補正範囲の入力画像の参照画像としての読み出しを制御する。従って、予め決められた動き補償範囲の入力画像を参照画像として読み出す場合に比べて、動き補償に用いられない入力画像が参照画像として読み出されることを防止し、参照画像のデータ量を削減することができる。また、参照画像として読み出されない入力画像は、動き補償に用いられない入力画像であるので、動き補償後の画像の画質劣化は発生しない。よって、画像処理装置５０は、動き補償後の画像の画質を劣化させずに、参照画像のデータ量を削減することができるといえる。
【０１４８】
また、画像処理装置５０は、奇数ラインと偶数ラインの読み出しタイミングを制御することにより垂直1/2縮小画像を生成する。従って、入力画像から垂直1/2縮小画像を生成する処理を行う、垂直1/2縮小画像を記憶するメモリを新たに設ける等のオーバーヘッドが発生しない。
【０１４９】
さらに、画像処理装置５０は、垂直最大動き量から所定の範囲の垂直方向の動き量を奇数範囲Ｒ０または偶数範囲Ｒ１に決定するので、高速の動きを有する領域の動き補償処理にのみ垂直1/2縮小画像が用いられる。従って、動き補償処理後の画像の画質劣化が知覚されにくい。
【０１５０】
なお、上述した説明では、参照画像として基準フレームの入力画像が用いられたが、補間位相に基づいて、基準フレームと参照フレームのうちの位相が近い方の入力画像が参照画像として用いられるようにしてもよい。また、基準フレームと参照フレームの両方の入力画像が参照画像として用いられてもよい。さらに、基準フレームと参照フレーム以外のフレームの入力画像も参照画像として用いることができる。
【０１５１】
また、動き補償処理は、画素ごとではなく、動きベクトルの検出単位に対応するブロックごとに行われてもよい。また、動きベクトルの検出処理には、縮小画像ではなく入力画像が用いられるようにしてもよい。
【０１５２】
＜本技術を適用したコンピュータの説明＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１５４】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１５５】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１５６】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１５７】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５８】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５９】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１６０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１６１】
本技術は、特に、４Ｋ解像度（3840×2160画素）などの高解像度の入力画像に対して有用である。
【０１６２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６３】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１６４】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１６５】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１６６】
なお、本技術は、以下のような構成もとることができる。
【０１６７】
（１）
画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、前記画像を動き補償する際に参照される参照画像の読み出しを制御する制御部と、
前記動きベクトルと、前記制御部による制御にしたがって読み出された前記参照画像とを用いて、前記画像を動き補償する動き補償処理部と
を備える画像処理装置。
（２）
前記制御部は、前記最大値に基づいて、前記参照画像の一部を縮小して読み出すように制御する
前記（１）に記載の画像処理装置。
（３）
前記制御部は、前記最大値から所定の範囲の垂直方向の動き量に対応する前記参照画像の一部を縮小して読み出すように制御する
前記（２）に記載の画像処理装置。
（４）
前記動き補償処理部は、前記動きベクトルに対応する前記参照画像の縮小された領域または縮小されない領域を用いて、前記画像を動き補償する
前記（３）に記載の画像処理装置。
（５）
前記所定の範囲は、前記最大値に基づいて決定される
前記（３）または（４）に記載の画像処理装置。
（６）
前記制御部は、前記参照画像の一部の奇数ラインまたは偶数ラインを読み出すことにより、前記参照画像の一部を縮小して読み出すように制御する
前記（２）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記制御部は、前記参照画像の奇数ラインと偶数ラインの読み出しの開始または終了のタイミングが異なるように、前記参照画像の読み出しを制御する
前記（６）に記載の画像処理装置。
（８）
画像処理装置が、
画像の動きベクトルの垂直方向の動き量の最大値に基づく範囲を対象として、前記画像を動き補償する際に参照される参照画像の読み出しを制御する制御ステップと、
前記動きベクトルと、前記制御ステップの制御にしたがって読み出された前記参照画像とを用いて、前記画像を動き補償する動き補償処理ステップと
を含む画像処理方法。
【符号の説明】
【０１６８】
２１  位置算出部，  ２３  補間処理部，  ５０  画像処理装置，  ９０  検出部，  １５１  制御部，  １５２  補正範囲バッファ
【図１】
2014138242.tif 000006
【図２】
2014138242.tif 000007
【図３】
2014138242.tif 000008
【図４】
2014138242.tif 000009
【図５】
2014138242.tif 000010
【図６】
2014138242.tif 000011
【図７】
2014138242.tif 000012
【図８】
2014138242.tif 000013
【図９】
2014138242.tif 000014
【図１０】
2014138242.tif 000015
【図１１】
2014138242.tif 000016
【図１２】
2014138242.tif 000017
【図１３】
2014138242.tif 000018
【図１４】
2014138242.tif 000019
【図１５】
2014138242.tif 000020