(57)【要約】【課題】発生する動きベクトル情報量を考慮しつつ、画像を切出して符号化する。【解決手段】画像処理装置１は、高解像度画像から切出された低解像度画像の動き推定を行って動きベクトルを生成し、該動きベクトルを用いて動き補償した動き補償画像を出力するとともに、該動きベクトルの情報量を示す動きベクトル情報量を出力する動き推定部２８と、低解像度画像と動き補償画像との差分画像を符号化する符号化部２９と、動きベクトル情報量に基づいて、フレーム間の切出し位置の移動精度を制御する符号化制御部３０とを備える。【選択図】図１
2015170908.tif 000002
【特許請求の範囲】
【請求項１】
フレームごとに高解像度画像から切出し位置に従って切出された低解像度画像を符号化する画像処理装置であって、
前記低解像度画像の動き推定を行って動きベクトルを生成し、該動きベクトルを用いて動き補償した動き補償画像を出力するとともに、該動きベクトルの情報量を示す動きベクトル情報量を出力する動き推定部と、
前記低解像度画像と前記動き補償画像との差分画像を符号化して符号化データを出力する符号化部と、
前記動きベクトル情報量に基づいて、フレーム間の前記切出し位置の移動精度を制御する符号化制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記符号化制御部は、前記動きベクトル情報量が閾値を越えるか、又は前記動きベクトル情報量及び前記符号化データの情報量の総量に対する前記動きベクトル情報量の比率が閾値を越える場合に前記移動精度が低くなるように制御することを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記低解像度画像と該低解像度画像の局部復号画像との差分値を算出する画質評価部を更に備え、
前記符号化制御部は、前記差分値が閾値を越える場合に前記移動精度が高くなるように制御することを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
前記移動精度で決定された前記切出し位置に従って、前記高解像度画像から前記低解像度画像を生成する切出し処理部を更に備えることを特徴とする、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記切出し処理部は、フレーム間の前記切出し位置の移動速度の情報を出力し、
前記動き推定部は前記移動速度の情報を用いて前記動き推定を行って前記動きベクトルを生成することを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
コンピュータを、請求項１から５のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高解像度画像から切出された低解像度画像を符号化する画像処理装置及びプログラムに関するものである。
【背景技術】
【０００２】
従来、画素数の多い高解像度画像から一部の画像を切出して、高解像度画像よりも画素数の少ない低解像度画像として出力する画像処理装置が提案されている。例えば、高解像度画像を撮影し、その画像から切り出された低解像度画面を符号化して伝送する装置が知られている（特許文献１参照）。
【０００３】
また、８Ｋのスーパーハイビジョンや４Ｋのような超高精細映像を扱う機器の開発が進んでいるため、画像サイズの大きい超高精細映像から２Ｋのハイビジョンのような一回り小さいサイズを切り出す装置は、新しい映像制作ツールとして活用されている（非特許文献１参照）。このような装置では、元の大きなサイズの映像から任意の位置の映像を切出し、例えばハイビジョンサイズでの出力が可能である。また、切り出す位置を任意の速度で時間的に可変にすることも可能となっている。
【０００４】
一方、ＭＰＥＧ−２や、ＡＶＣ／Ｈ．２６４，ＨＥＶＣ／Ｈ．２６５などの一般的な圧縮符号化方式では動き推定を行う。動き推定はブロックなどの単位で画像の動きの大きさ及び方向（動きベクトル）を予測するものである。予測の精度は方式によって異なるが、１画素精度ではなく、１／２画素精度や１／４画素精度にして予測の効率を上げている。この場合、元の画素の間の１／２画素や１／４画素の値は内挿フィルタ等を施したうえで補間生成する。映像内の被写体の動き量は通常１画素精度とは限らないので、１／２画素精度以上にすることで予測の効率は向上する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３３６８０５号公報
【非特許文献】
【０００６】
【非特許文献１】“高機能「小型ＳＨＶダウンコンバータ」を初めて開発！〜ＳＨＶ“ワンリソース・マルチユース”の番組制作が飛躍的に向上〜”、[online]、平成２１年４月１７日、ＮＨＫ、[平成２５年３月２８日検索］、インターネット<URL：http://www.nhk.or.jp/pr/marukaji/pdf_ver/231.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、動き推定の予測精度を高めるほど動きベクトル情報量が増え、動きベクトル情報量が増えると内挿や補間のための処理量が多くなり、動き補償に必要となる参照画像用のメモリも増やす必要があるという問題がある。つまり、高解像度画像からの切出し処理は任意の位置、任意の精度で画像切出しを行えるが、切出し位置の精度を１画素より小さくすると、切出した画像の圧縮符号化を行う際に、動きベクトル情報量、処理量、動き補償の参照用メモリなどが増えてしまうという問題がある。
【０００８】
かかる事情に鑑みてなされた本発明の目的は、発生する動きベクトル情報量を考慮しつつ、高解像度画像から切出された低解像度画像を符号化することが可能な画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明に係る画像処理装置は、フレームごとに高解像度画像から切出し位置に従って切出された低解像度画像を符号化する画像処理装置であって、前記低解像度画像の動き推定を行って動きベクトルを生成し、該動きベクトルを用いて動き補償した動き補償画像を出力するとともに、該動きベクトルの情報量を示す動きベクトル情報量を出力する動き推定部と、前記低解像度画像と前記動き補償画像との差分画像を符号化して符号化データを出力する符号化部と、前記動きベクトル情報量に基づいて、フレーム間の前記切出し位置の移動精度を制御する符号化制御部と、を備えることを特徴とする。
【００１０】
さらに、本発明に係る画像処理装置において、前記符号化制御部は、前記動きベクトル情報量が閾値を越えるか、又は前記動きベクトル情報量及び前記符号化データの情報量の総量に対する前記動きベクトル情報量の比率が閾値を越える場合に前記移動精度が低くなるように制御することを特徴とする。
【００１１】
さらに、本発明に係る画像処理装置において、前記低解像度画像と、該低解像度画像の局部復号画像との差分値を算出する画質評価部を更に備え、前記符号化制御部は、前記差分値が閾値を越える場合に前記移動精度が高くなるように制御することを特徴とする。
【００１２】
さらに、本発明に係る画像処理装置において、前記移動精度で決定された前記切出し位置に従って、前記高解像度画像から前記低解像度画像を生成する切出し処理部を更に備えることを特徴とする。
【００１３】
さらに、本発明に係る画像処理装置において、前記切出し処理部は、フレーム間の前記切出し位置の移動速度の情報を出力し、前記動き推定部は前記移動速度の情報を用いて前記動き推定を行って前記動きベクトルを生成することを特徴とする。
【００１４】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像処理装置として機能させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、発生する動きベクトル情報量を考慮しつつ、高解像度画像から切出された低解像度画像を符号化することができるようになる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】高解像度画像及び高解像度画像から切出される低解像度画像を示す図である。
【図３】本発明の第１の実施形態に係る画像処理装置の動作を示すフローチャートである。
【図４】本発明の第２の実施形態に係る画像処理装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１８】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成例を示すブロック図である。図１に示す例では、画像処理装置１は、切出し装置１０と、符号化装置２０とを備える。本実施形態では、切出し装置１０と符号化装置２０とが分離した構成となっているが、切出し装置１０と符号化装置２０とが一体となって画像処理装置１を構成してもよい。また、画像処理装置１の外部に切出し装置１０を設け、画像処理装置１は切出し装置１０から入力される低解像度画像を符号化する符号化装置２０のみを備える構成としてもよい。
【００１９】
切出し装置１０は、フレームごとに高解像度画像の切出し位置を設定し、切出し位置に従って切出された低解像度画像を生成し、符号化装置２０に出力する。例えば、８Ｋ（７６８０×４３２０画素）や４Ｋ（３８４０×２１６０画素）のような高解像度画像を、ハイビジョンサイズ（１９２０×１０８０画素）の大きさに切り取る。切出し装置１０は、パラメータ設定部１１と、切出し処理部１２とを備える。
【００２０】
図２は、高解像度画像及び高解像度画像から切出される低解像度画像を示す図である。以下、図２を参照して切出し装置１０の説明をする。図２では、俯瞰的に撮影されたサッカー中継（選手や観客は省略）の高精細映像から撮りたいシーンを切出してハイビジョン映像とする例を示している。
【００２１】
パラメータ設定部１１は、切出し処理部１２に入力される高解像度画像Ａに対する切出し位置、切出される画像のサイズ、及びフレーム間の切出し位置の移動精度を含むパラメータを設定し、設定情報を切出し処理部１２に出力する。移動精度とは、切出し位置を移動させる際の最小の画素単位を意味し、例えば、１画素、１／２画素、１／４画素から選択できるものとする。１画素よりも細かい精度の画素は存在しないため、１／２画素又は１／４画素を選択した場合は、元の映像を内挿して１画素間の画素を生成してから切り出す処理となり、内挿処理を行うために処理量が増加し、映像を蓄積するメモリも別途必要となる。
【００２２】
パラメータの設定の仕方については特に制限はない。例えば、切出し装置１０の表示部（図示せず）に高解像度画像Ａを表示するとともに、切出される画像の枠（切出し位置）を示す長方形枠Ｂを重畳して表示させ、ユーザーインターフェースを利用して長方形枠Ｂをフレーム間で所定の移動精度で移動させて切出し位置を設定する。切出し処理部１２は、長方形枠Ｂに囲まれた画像を切出し、低解像度画像Ｃとして出力する。
【００２３】
長方形枠Ｂの位置は、ダイヤルなどのユーザーインターフェースを操作することによって移動させ、決定することができる。例えばスポーツ中継映像の各フレームが高解像度画像Ａとして入力された場合、ユーザはユーザーインターフェースを操作し、着目したい画像が含まれるように長方形枠Ｂを随時移動させる。長方形枠Ｂのサイズは、例えばハイビジョンサイズに切出す場合には１９２０×１０８０画素に固定する。また、切り出し位置を移動させる場合は、手動で長方形枠Ｂを動かしてもよいし、あらかじめ設定した速度・方向で長方形枠Ｂを動かしてもよい。長方形枠Ｂの移動精度には初期値を設定し、後述するように符号化制御部３０から入力される制御信号により変更され得る。
【００２４】
切出し処理部１２は、パラメータ設定部１１によって設定されたパラメータに従って高解像度画像Ａから画像を切出し、切り出された低解像度画像Ｃを符号化装置２０に出力する。
【００２５】
符号化装置２０は、例えば既存の映像符号化であるＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５等に準拠した方式により圧縮符号化を行う。図１に示す例では、符号化装置２０は、減算部２１と、直交変換部２２と、量子化部２３と、逆量子化部２４と、逆直交変換部２５と、加算部２６と、メモリ２７と、動き推定部２８と、符号化部２９と、符号化制御部３０を備える。
【００２６】
減算部２１は、切出し装置１０から入力される低解像度画像と、動き推定部２８から入力される動き補償画像とを差分して差分画像を生成し、直交変換部２２に出力する。
【００２７】
直交変換部２２は、減算部２１から入力される差分画像に対してブロック単位で直交変換（例えば、ＤＣＴ；Discrete Cosine Transform）処理を施して直交変換係数を生成し、量子化部２３に出力する。
【００２８】
量子化部２３は、直交変換部２２から入力される直交変換係数に対して、所要ビットレートに合うように量子化処理を行い、量子化された直交変換係数を逆量子化部２４及び符号化部２９に出力する。
【００２９】
逆量子化部２４は、量子化部２３から入力される量子化された直交変換係数に対して逆量子化処理を行い、生成される直交変換係数を逆直交変換部２５に出力する。
【００３０】
逆直交変換部２５は、逆量子化部２４から入力される直交変換係数に対して逆直交変換（例えば、ＩＤＣＴ；Inverse Discrete Cosine Transform）処理を施し、局部復号差分画像を生成し、加算部２６に出力する。
【００３１】
加算部２６は、逆直交変換部２５から入力される局部復号差分画像と、動き推定部２８から入力される動き補償画像とを加算して局部復号画像を生成し、メモリ２７に出力する。
【００３２】
動き推定部２８は、低解像度画像を正方形や長方形等のブロック形状に分割した部分ごとに、メモリ２７に記憶された局部復号画像（参照画像）を参照して類似部分を探索することにより動きベクトルを生成し、動きベクトルの情報を符号化部２９に出力する。探索方法は、ＳＳＤ（Sum of Squared Difference）法やＳＡＤ（Sum of Absolute intensity Difference）法を用いたブロックマッチング法、又は勾配法などの既存の手法を用いることができる。また、動き推定部２８は発生した動きベクトルの情報量を動きベクトル情報量として符号化制御部３０に出力する。
【００３３】
また、動き推定部２８は、メモリ２７に記憶された局部復号画像に対し、生成した動きベクトルを用いて動き補償を行って動き補償画像を生成し、減算部２１及び加算部２６に出力する。
【００３４】
画像中の被写体の動きは画素単位とは限らないので、動き推定の精度を高めるために、動き推定部２８は参照画像の画素精度より細かい、例えば１／２画素や１／４画素精度で動きベクトルを求めることができる。これにより、実際の動きにより近い動き推定が可能となり、予測効率向上によりトータルで符号化効率が上昇する。しかしこの場合、動きベクトルを表現するための精度も高くなるので動きベクトル情報量が増える。また、１画素未満の精度を探索するために参照画像を１画素より細かい精度に内挿・拡大する処理が必要になる。
【００３５】
符号化部２９は、量子化部２３から入力される量子化された直交変換係数について、符号化処理（例えば、スキャンを行って可変長符号化処理）を施して符号化データを生成し、外部に出力する。また、符号化部２９は、動き推定部２８から入力される動きベクトルの情報も同様に符号化処理を施し、得られる符号化データを外部に出力する。
【００３６】
また、符号化部２９は、符号化処理により発生した符号量を符号化制御部３０に出力する。
【００３７】
符号化制御部３０は、符号化の所要ビットレート等に応じて量子化の度合いを調整し、発生する情報量を所要ビットレート内に収める処理を行う。通常の符号化では、量子化部２３を制御して量子化幅を変化させることにより、発生情報量を制御する。本発明に係るが画像処理装置１ではこれに加え、切出し装置１０の制御を行うことにより、動きベクトルの情報量も制御する。
【００３８】
符号化制御部３０は、動きベクトルの情報量の増大を防止するために、動き推定部２８から入力される動きベクトル情報量、及び符号化部２９から入力される符号量に基づいて、切出し位置の移動精度を制御する。動きベクトル情報量及び符号量の総量を全情報量とすると、符号化制御部３０は、例えば、全情報量、動きベクトル情報量、及び全情報量に対する動きベクトル情報量の比率（以下、「動きベクトル情報等」という）の少なくとも１つが所定の閾値を越える場合に、パラメータ設定部１１に対して移動精度が低くなるように制御する。
【００３９】
パラメータ設定部１１は、符号化制御部３０から動きベクトル情報量を抑制する制御信号を受け取った場合、切出し処理部１２の移動精度に制限を課す。例えば、移動精度が１／４画素の場合には、１／２画素精度や１画素精度に制限する。切出し装置１０の処理において、細かい精度の速度に対応した映像を生成する必要が無くなるため、内挿処理やメモリの削減も可能になる。また、切出し位置の移動精度を低くすることにより、動き推定部２８で推定する動きベクトルの精度も粗くなる可能性が高くなるため、動きベクトル情報量を抑えることができる。
【００４０】
次に、画像処理装置１の動作について、図３を参照して説明する。図３は、画像処理装置１の動作を示すフローチャートである。
【００４１】
切出し装置１０は、まずパラメータ設定部１１により、切出される画像のサイズ、切出し位置、及びフレーム間の切出し位置の移動精度を含むパラメータを設定する（ステップＳ１０１）。そして、切出し処理部１２により、ステップＳ１０１にて設定されたパラメータを用いて、高解像度画像から一部の画像を切出して低解像度画像を生成する（ステップＳ１０２）。
【００４２】
符号化装置２０は、低解像度画像が入力されると、動き推定部２８により動き推定処理及び動き補償処理を行う（ステップＳ１０３）。そして、符号化制御部３０により、ステップＳ１０３により発生する動きベクトル情報量に基づき、動きベクトル情報量等の大きさを判定する。例えば、動きベクトル情報量が閾値を超えるか否かを判定する（ステップＳ１０４）。
【００４３】
動きベクトル情報量が閾値以下の場合には（ステップＳ１０４−Ｎｏ）、引き続き符号化処理を行い、符号化データを出力する（ステップＳ１０５）。一方、動きベクトル情報量が閾値を超える場合には（ステップＳ１０４−Ｙｅｓ）、符号化制御部３０はパラメータ設定部１１に対し、移動精度を現在の値よりも低く設定するように指示する。
【００４４】
なお、第１の閾値と第２の閾値を設け、符号化制御部３０は、動きベクトル情報量等が第１の閾値を越える場合には、パラメータ設定部１１に対して移動精度を現在の値よりも低く設定するように指示し、動きベクトル情報量等が第２の閾値以下である場合には、パラメータ設定部１１に対して移動精度を現在の値よりも高く設定するように指示してもよい。
【００４５】
上述したように、第１の実施形態に係る画像処理装置１は、動き推定部２８により、低解像度画像の動き推定を行って動きベクトルを生成し、該動きベクトルを用いて動き補償した動き補償画像を出力するとともに、該動きベクトルの情報量を示す動きベクトル情報量を出力し、符号化部２９により、低解像度画像と動き補償画像との差分画像を符号化して符号化データを出力し、符号化制御部３０により、動きベクトル情報量に基づいてフレーム間の切出し位置の移動精度を制御する。かかる構成により、動きベクトル情報量等が多い場合には切出し位置の移動精度を低くすることにより、動きベクトル情報量等を抑制することができ、処理量、メモリなどのリソースを軽減することが可能となる。
【００４６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図４は、第２の実施形態に係る画像処理装置の構成例を示すブロック図である。図４に示す例では、画像処理装置２は、切出し装置１０と、符号化装置２０とを備える。切出し装置１０は、パラメータ設定部１１と、切出し処理部１２とを備える。符号化装置２０は、減算部２１と、直交変換部２２と、量子化部２３と、逆量子化部２４と、逆直交変換部２５と、加算部２６と、メモリ２７と、動き推定部２８と、符号化部２９と、符号化制御部３０と、画質評価部３１とを備える。第２の実施形態の画像処理装置２は第１の実施形態の画像処理装置１と比較して、画質評価部３１を更に備える点が相違する。その他の構成については第１の実施形態と同一であるため、同一の参照番号を付して適宜説明を省略する。
【００４７】
画質評価部３１は、切出し装置１０から入力される低解像度画像と、メモリ２７から入力される局部復号画像との差分値を算出し、符号化制御部３０に出力する。差分値は、差の絶対値の和、差の絶対値の積、差の二乗和など、種々の演算方法により算出することができる。
【００４８】
符号化制御部３０は、第１の実施形態で説明した動きベクトル情報に加え、画質評価部３１により算出される差分値も勘案して切出し位置の移動精度を制御する。例えば、差分値が閾値を越える場合には、符号化による画質劣化が大きいため、量子化部２３による量子化精度及び切出し処理部１２による移動精度の少なくとも一方が高くなるように制御する。
【００４９】
また、切出し処理部１２は、切出し位置の移動速度及び移動精度の情報を動き推定部２８に出力するようにしてもよい。予め切出し位置の移動速度が分かれば、１フレームあたりのグローバル動きが分かるため、動き推定部２８はグローバル動きを利用して動き推定を行うことができる。また、予め切出し位置の移動精度が分かれば、動き推定部２８は通常の動き推定時に必要な１画素精度以上の内挿処理やメモリの用意などを簡略化することができる。なお、グローバル動きは切出し装置１０で生成した低解像度画像全体の動きであるため、元々の映像が持っているローカル動きとの相関性はない。
【００５０】
上述したように、第２の実施形態に係る画像処理装置２は、低解像度画像と該低解像度画像の局部復号画像との差分値を算出する画質評価部３１を更に備え、符号化制御部３０は差分値が閾値を越える場合に量子化精度及び移動精度の少なくとも一方が高くなるように制御する。このため、動きベクトル情報量等を抑制しつつ、符号化による劣化を防止することができるようになる。
【００５１】
また、切出し処理部１２が、フレーム間の切出し位置の移動速度の情報（グローバル動き情報）を動き推定部２８に出力し、動き推定部２８がグローバル動き情報を利用して動き推定を行うことにより、動きベクトルを少ない処理量で高精度に推定することができるようになる。
【００５２】
なお、上述した画像処理装置１，２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像処理装置１，２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００５３】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００５４】
１，２  画像処理装置
１０    切出し装置
１１    パラメータ設定部
１２    切出し処理部
２０    符号化装置
２１    減算部
２２    直交変換部
２３    量子化部
２４    逆量子化部
２５    逆直交変換部
２６    加算部
２７    メモリ
２８    動き推定部
２９    符号化部
３０    符号化制御部
３１    画質評価部
【図１】
2015170908.tif 000003
【図２】
2015170908.tif 000004
【図３】
2015170908.tif 000005
【図４】
2015170908.tif 000006