(57)【要約】【課題】高品質の補間信号を生成することができる補間信号生成装置を提供する。【解決手段】補間元画素抽出部３０１及び３０２は、動きベクトルＭＶａ及びＭＶｂに基づいて、画素Ｐ０ｆａ、Ｐ１ｆａ、Ｐ０ｆｂ、Ｐ１ｆｂを抽出する。差分値算出部３０３〜３０６は、画素Ｐ０ｆａと画素Ｐ１ｆａとの差分値Ｄａａ、画素Ｐ０ｆａとＰ１ｆｂとの差分値Ｄａｂ、画素Ｐ０ｆｂと画素Ｐ１ｆｂとの差分値Ｄｂｂ、画素Ｐ０ｆｂと画素Ｐ１ｆａとの差分値Ｄｂａを算出する。差分値加算部３０７〜３１０は、差分値Ｄａａと差分値Ｄａｂとの加算値ＡＤ０７、差分値Ｄａａと差分値Ｄｂａとの加算値ＡＤ０８、差分値Ｄａｂと差分値Ｄｂｂとの加算値ＡＤ０９、差分値Ｄｂｂと差分値Ｄｂａとの加算値ＡＤ１０を算出する。混合率算出部３１１及び３１２は、画素Ｐ０ｆａと画素Ｐ０ｆｂとの混合率Ｒ１１、画素Ｐ１ｆａと画素Ｐ１ｆｂとの混合率Ｒ１２を算出する。【選択図】図２
2019050474.tif 000002
【特許請求の範囲】
【請求項１】
時間方向に隣接する前側の第１のフレームと後側の第２のフレームとの間に内挿する補間フレーム内の補間画素を生成するために検出した第１の動きベクトルに基づいて、前記第１のフレーム内の第１の画素と前記第２のフレーム内の第２の画素とを抽出する第１の補間元画素抽出部と、
前記補間画素を生成するために検出した第２の動きベクトルに基づいて、前記第１のフレーム内の第３の画素と前記第２のフレーム内の第４の画素とを抽出する第２の補間元画素抽出部と、
前記第１の画素と前記第２の画素との第１の差分値を算出する第１の差分値算出部と、
前記第１の画素と前記第４の画素との第２の差分値を算出する第２の差分値算出部と、
前記第３の画素と前記第４の画素との第３の差分値を算出する第３の差分値算出部と、
前記第２の画素と前記第３の画素との第４の差分値を算出する第４の差分値算出部と、
前記第１の差分値と前記第２の差分値とを加算して第１の加算値を算出する第１の差分値加算部と、
前記第１の差分値と前記第４の差分値とを加算して第２の加算値を算出する第２の差分値加算部と、
前記第２の差分値と前記第３の差分値とを加算して第３の加算値を算出する第３の差分値加算部と、
前記第３の差分値と前記第４の差分値とを加算して第４の加算値を算出する第４の差分値加算部と、
前記第４の加算値が前記第１の加算値より大きいときには前記第１の画素と前記第３の画素との混合率のうち前記第１の画素の混合率を大きくし、前記第１の加算値が前記第４の加算値より大きいときには前記第３の画素の混合率を大きくするよう、前記第１の加算値と前記第４の加算値との差分の大きさに応じた第１の混合率を算出する第１の混合率算出部と、
前記第３の加算値が前記第２の加算値より大きいときには前記第２の画素と前記第４の画素との混合率のうち前記第２の画素の混合率を大きくし、前記第２の加算値が前記第３の加算値より大きいときには前記第４の画素の混合率を大きくするよう、前記第２の加算値と前記第４の加算値との差分の大きさに応じた第２の混合率を算出する第２の混合率算出部と、
前記第１の混合率に応じて前記第１の画素と前記第３の画素とを混合して第１の混合画素を生成する第１の画素混合部と、
前記第２の混合率に応じて前記第２の画素と前記第４の画素とを混合して第２の混合画素を生成する第２の画素混合部と、
前記第１の混合画素と前記第２の混合画素とを混合して、前記補間画素を生成する補間画素生成部と、
を備えることを特徴とする補間信号生成装置。
【請求項２】
前記第１の差分値算出部は、前記第１の差分値より所定の値を減算するか、前記第１の差分値を所定の値で除算することを特徴とする請求項１に記載の補間信号生成装置。
【請求項３】
前記第３の差分値算出部は、前記第３の差分値に所定の値を加算または乗算することを特徴とする請求項１に記載の補間信号生成装置。
【請求項４】
前記第１の動きベクトルは、前記第１のフレーム内の複数の画素よりなるブロックと前記第２のフレーム内の複数の画素よりなるブロックとの差分値に基づいて検出されており、
前記所定の値は、前記第１の動きベクトルを検出したときの差分値である
ことを特徴とする請求項２または３に記載の補間信号生成装置。
【請求項５】
時間方向に隣接する前側の第１のフレームと後側の第２のフレームとの間に内挿する補間フレーム内の補間画素を生成するために検出した第１の動きベクトルに基づいて、前記第１のフレーム内の第１の画素と前記第２のフレーム内の第２の画素とを抽出し、
前記補間画素を生成するために検出した第２の動きベクトルに基づいて、前記第１のフレーム内の第３の画素と前記第２のフレーム内の第４の画素とを抽出し、
前記第１の画素と前記第２の画素との第１の差分値を算出し、
前記第１の画素と前記第４の画素との第２の差分値を算出し、
前記第３の画素と前記第４の画素との第３の差分値を算出し、
前記第２の画素と前記第３の画素との第４の差分値を算出し、
前記第１の差分値と前記第２の差分値とを加算して第１の加算値を算出し、
前記第１の差分値と前記第４の差分値とを加算して第２の加算値を算出し、
前記第２の差分値と前記第３の差分値とを加算して第３の加算値を算出し、
前記第３の差分値と前記第４の差分値とを加算して第４の加算値を算出し、
前記第４の加算値が前記第１の加算値より大きいときには前記第１の画素と前記第３の画素との混合率のうち前記第１の画素の混合率を大きくし、前記第１の加算値が前記第４の加算値より大きいときには前記第３の画素の混合率を大きくするよう、前記第１の加算値と前記第４の加算値との差分の大きさに応じた第１の混合率を算出し、
前記第３の加算値が前記第２の加算値より大きいときには前記第２の画素と前記第４の画素との混合率のうち前記第２の画素の混合率を大きくし、前記第２の加算値が前記第３の加算値より大きいときには前記第４の画素の混合率を大きくするよう、前記第２の加算値と前記第４の加算値との差分の大きさに応じた第２の混合率を算出し、
前記第１の混合率に応じて前記第１の画素と前記第３の画素とを混合して第１の混合画素を生成し、
前記第２の混合率に応じて前記第２の画素と前記第４の画素とを混合して第２の混合画素を生成し、
前記第１の混合画素と前記第２の混合画素とを混合して、前記補間画素を生成する
ことを特徴とする補間信号生成方法。
【請求項６】
コンピュータに、
時間方向に隣接する前側の第１のフレームと後側の第２のフレームとの間に内挿する補間フレーム内の補間画素を生成するために検出した第１の動きベクトルに基づいて、前記第１のフレーム内の第１の画素と前記第２のフレーム内の第２の画素とを抽出するステップと、
前記補間画素を生成するために検出した第２の動きベクトルに基づいて、前記第１のフレーム内の第３の画素と前記第２のフレーム内の第４の画素とを抽出するステップと、
前記第１の画素と前記第２の画素との第１の差分値を算出するステップと、
前記第１の画素と前記第４の画素との第２の差分値を算出するステップと、
前記第３の画素と前記第４の画素との第３の差分値を算出するステップと、
前記第２の画素と前記第３の画素との第４の差分値を算出するステップと、
前記第１の差分値と前記第２の差分値とを加算して第１の加算値を算出するステップと、
前記第１の差分値と前記第４の差分値とを加算して第２の加算値を算出するステップと、
前記第２の差分値と前記第３の差分値とを加算して第３の加算値を算出するステップと、
前記第３の差分値と前記第４の差分値とを加算して第４の加算値を算出するステップと、
前記第４の加算値が前記第１の加算値より大きいときには前記第１の画素と前記第３の画素との混合率のうち前記第１の画素の混合率を大きくし、前記第１の加算値が前記第４の加算値より大きいときには前記第３の画素の混合率を大きくするよう、前記第１の加算値と前記第４の加算値との差分の大きさに応じた第１の混合率を算出するステップと、
前記第３の加算値が前記第２の加算値より大きいときには前記第２の画素と前記第４の画素との混合率のうち前記第２の画素の混合率を大きくし、前記第２の加算値が前記第３の加算値より大きいときには前記第４の画素の混合率を大きくするよう、前記第２の加算値と前記第４の加算値との差分の大きさに応じた第２の混合率を算出するステップと、
前記第１の混合率に応じて前記第１の画素と前記第３の画素とを混合して第１の混合画素を生成するステップと、
前記第２の混合率に応じて前記第２の画素と前記第４の画素とを混合して第２の混合画素を生成するステップと、
前記第１の混合画素と前記第２の混合画素とを混合して、前記補間画素を生成するステップと、
を実行させることを特徴とする補間信号生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一対の実フレーム間に内挿する補間フレームを構成する補間信号を生成する補間信号生成装置、補間信号生成方法、及び補間信号生成プログラムに関する。
【背景技術】
【０００２】
映像信号のフレームレートを変換するフレームレート変換装置は、一対の実フレーム間に内挿する補間フレームを構成する補間信号（補間画素）を生成する補間信号生成装置を備える。フレームレート変換装置は、画像の動きを検出する動きベクトル検出装置を備え、補間信号生成装置は動きベクトルに基づいて補間信号を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２８４４８６号公報
【特許文献２】特開２０１３−３０８３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１または２に記載されているように、補間信号生成装置は、最適な動きベクトルとして選択された１つの動きベクトルに基づいて補間信号を生成するのが一般的である。動きベクトル検出装置が最適な動きベクトルの選択を誤ると、補間エラーが発生して、補間信号の品質が悪化する。
【０００５】
本発明は、補間エラーが発生しにくく、高品質の補間信号を生成することができる補間信号生成装置、補間信号生成方法、及び補間信号生成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、時間方向に隣接する前側の第１のフレームと後側の第２のフレームとの間に内挿する補間フレーム内の補間画素を生成するために検出した第１の動きベクトルに基づいて、前記第１のフレーム内の第１の画素と前記第２のフレーム内の第２の画素とを抽出する第１の補間元画素抽出部と、前記補間画素を生成するために検出した第２の動きベクトルに基づいて、前記第１のフレーム内の第３の画素と前記第２のフレーム内の第４の画素とを抽出する第２の補間元画素抽出部と、前記第１の画素と前記第２の画素との第１の差分値を算出する第１の差分値算出部と、前記第１の画素と前記第４の画素との第２の差分値を算出する第２の差分値算出部と、前記第３の画素と前記第４の画素との第３の差分値を算出する第３の差分値算出部と、前記第２の画素と前記第３の画素との第４の差分値を算出する第４の差分値算出部と、前記第１の差分値と前記第２の差分値とを加算して第１の加算値を算出する第１の差分値加算部と、前記第１の差分値と前記第４の差分値とを加算して第２の加算値を算出する第２の差分値加算部と、前記第２の差分値と前記第３の差分値とを加算して第３の加算値を算出する第３の差分値加算部と、前記第３の差分値と前記第４の差分値とを加算して第４の加算値を算出する第４の差分値加算部と、前記第４の加算値が前記第１の加算値より大きいときには前記第１の画素と前記第３の画素との混合率のうち前記第１の画素の混合率を大きくし、前記第１の加算値が前記第４の加算値より大きいときには前記第３の画素の混合率を大きくするよう、前記第１の加算値と前記第４の加算値との差分の大きさに応じた第１の混合率を算出する第１の混合率算出部と、前記第３の加算値が前記第２の加算値より大きいときには前記第２の画素と前記第４の画素との混合率のうち前記第２の画素の混合率を大きくし、前記第２の加算値が前記第３の加算値より大きいときには前記第４の画素の混合率を大きくするよう、前記第２の加算値と前記第４の加算値との差分の大きさに応じた第２の混合率を算出する第２の混合率算出部と、前記第１の混合率に応じて前記第１の画素と前記第３の画素とを混合して第１の混合画素を生成する第１の画素混合部と、前記第２の混合率に応じて前記第２の画素と前記第４の画素とを混合して第２の混合画素を生成する第２の画素混合部と、前記第１の混合画素と前記第２の混合画素とを混合して、前記補間画素を生成する補間画素生成部とを備えることを特徴とする補間信号生成装置を提供する。
【０００７】
本発明は、時間方向に隣接する前側の第１のフレームと後側の第２のフレームとの間に内挿する補間フレーム内の補間画素を生成するために検出した第１の動きベクトルに基づいて、前記第１のフレーム内の第１の画素と前記第２のフレーム内の第２の画素とを抽出し、前記補間画素を生成するために検出した第２の動きベクトルに基づいて、前記第１のフレーム内の第３の画素と前記第２のフレーム内の第４の画素とを抽出し、前記第１の画素と前記第２の画素との第１の差分値を算出し、前記第１の画素と前記第４の画素との第２の差分値を算出し、前記第３の画素と前記第４の画素との第３の差分値を算出し、前記第２の画素と前記第３の画素との第４の差分値を算出し、前記第１の差分値と前記第２の差分値とを加算して第１の加算値を算出し、前記第１の差分値と前記第４の差分値とを加算して第２の加算値を算出し、前記第２の差分値と前記第３の差分値とを加算して第３の加算値を算出し、前記第３の差分値と前記第４の差分値とを加算して第４の加算値を算出し、前記第４の加算値が前記第１の加算値より大きいときには前記第１の画素と前記第３の画素との混合率のうち前記第１の画素の混合率を大きくし、前記第１の加算値が前記第４の加算値より大きいときには前記第３の画素の混合率を大きくするよう、前記第１の加算値と前記第４の加算値との差分の大きさに応じた第１の混合率を算出し、前記第３の加算値が前記第２の加算値より大きいときには前記第２の画素と前記第４の画素との混合率のうち前記第２の画素の混合率を大きくし、前記第２の加算値が前記第３の加算値より大きいときには前記第４の画素の混合率を大きくするよう、前記第２の加算値と前記第４の加算値との差分の大きさに応じた第２の混合率を算出し、前記第１の混合率に応じて前記第１の画素と前記第３の画素とを混合して第１の混合画素を生成し、前記第２の混合率に応じて前記第２の画素と前記第４の画素とを混合して第２の混合画素を生成し、前記第１の混合画素と前記第２の混合画素とを混合して、前記補間画素を生成することを特徴とする補間信号生成方法を提供する。
【０００８】
本発明は、コンピュータに、時間方向に隣接する前側の第１のフレームと後側の第２のフレームとの間に内挿する補間フレーム内の補間画素を生成するために検出した第１の動きベクトルに基づいて、前記第１のフレーム内の第１の画素と前記第２のフレーム内の第２の画素とを抽出するステップと、前記補間画素を生成するために検出した第２の動きベクトルに基づいて、前記第１のフレーム内の第３の画素と前記第２のフレーム内の第４の画素とを抽出するステップと、前記第１の画素と前記第２の画素との第１の差分値を算出するステップと、前記第１の画素と前記第４の画素との第２の差分値を算出するステップと、前記第３の画素と前記第４の画素との第３の差分値を算出するステップと、前記第２の画素と前記第３の画素との第４の差分値を算出するステップと、前記第１の差分値と前記第２の差分値とを加算して第１の加算値を算出するステップと、前記第１の差分値と前記第４の差分値とを加算して第２の加算値を算出するステップと、前記第２の差分値と前記第３の差分値とを加算して第３の加算値を算出するステップと、前記第３の差分値と前記第４の差分値とを加算して第４の加算値を算出するステップと、前記第４の加算値が前記第１の加算値より大きいときには前記第１の画素と前記第３の画素との混合率のうち前記第１の画素の混合率を大きくし、前記第１の加算値が前記第４の加算値より大きいときには前記第３の画素の混合率を大きくするよう、前記第１の加算値と前記第４の加算値との差分の大きさに応じた第１の混合率を算出するステップと、前記第３の加算値が前記第２の加算値より大きいときには前記第２の画素と前記第４の画素との混合率のうち前記第２の画素の混合率を大きくし、前記第２の加算値が前記第３の加算値より大きいときには前記第４の画素の混合率を大きくするよう、前記第２の加算値と前記第４の加算値との差分の大きさに応じた第２の混合率を算出するステップと、前記第１の混合率に応じて前記第１の画素と前記第３の画素とを混合して第１の混合画素を生成するステップと、前記第２の混合率に応じて前記第２の画素と前記第４の画素とを混合して第２の混合画素を生成するステップと、前記第１の混合画素と前記第２の混合画素とを混合して、前記補間画素を生成するステップとを実行させることを特徴とする補間信号生成プログラムを提供する。
【発明の効果】
【０００９】
本発明の補間信号生成装置、補間信号生成方法、及び補間信号生成プログラムによれば、補間エラーが発生しにくく、高品質の補間信号を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態の補間信号生成装置を備えるフレームレート変換装置の概略的な構成を示すブロック図である。
【図２】一実施形態の補間信号生成装置の具体的な構成を示すブロック図である。
【図３】時間方向に隣接する２フレーム間に補間フレームを内挿した状態を示す図である。
【図４Ａ】図２における差分値加算部３０７の動作を示す図である。
【図４Ｂ】図２における差分値加算部３０８の動作を示す図である。
【図４Ｃ】図２における差分値加算部３０９の動作を示す図である。
【図４Ｄ】図２における差分値加算部３１０の動作を示す図である。
【図５】一実施形態の補間信号生成装置の動作、一実施形態の補間信号生成方法による処理、一実施形態の補間信号生成プログラムがコンピュータに実行させる処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、一実施形態の補間信号生成装置、補間信号生成方法、及び補間信号生成プログラムについて、添付図面を参照して説明する。まず、図１を用いて、動きベクトル検出部及び補間フレーム内挿部を備えるフレームレート変換装置の概略的な構成及び動作を説明する。
【００１２】
図１において、動きベクトル検出部１及びフレームメモリ２には、入力映像信号Ｓｉｎの各フレームＳ０ｆ（第１のフレーム）を構成する画素が順に入力される。入力映像信号Ｓｉｎのフレームレート（フレーム周波数）は、例えば６０Ｈｚである。フレームＳ０ｆは現在フレームである。フレームメモリ２は、フレームＳ０ｆの全画素を記憶する。
【００１３】
フレームメモリ２は、フレームＳ０ｆを１フレーム期間遅延させて、フレームＳ０ｆに対して１フレーム前のフレームＳ１ｆ（第２のフレーム）を動きベクトル検出部１に供給する。動きベクトル検出部１に供給されるフレームＳ１ｆのフレームレートは６０Ｈｚである。フレームメモリ２は、フレームレート変換メモリとして機能する。フレームメモリ２は、フレームＳ１ｆをフレームレート１２０Ｈｚで読み出して、補間フレーム内挿部３に供給する。
【００１４】
動きベクトル検出部１に供給されるフレームＳ１ｆと、補間フレーム内挿部３に供給されるフレームＳ１ｆとはフレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームＳ１ｆと称する。
【００１５】
フレームＳ０ｆは、動きベクトル検出部１が後述する動きベクトルＭＶａ及びＭＶｂを検出するのに要する時間に相当する数十ライン程度だけフレームメモリ２によって遅延され、フレームレート１２０Ｈｚに変換されて、補間フレーム内挿部３に供給される。
【００１６】
フレームメモリ２に入力されるフレームＳ０ｆと補間フレーム内挿部３に供給されるフレームＳ０ｆとは、数十ライン程度の時間だけずれており、フレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームＳ０ｆと称する。
【００１７】
動きベクトル検出部１は、フレームＳ０ｆ内の複数の画素よりなるブロックとフレームＳ１ｆ内の複数の画素よりなるブロックとの差分値を算出し、差分値の小さい方向に基づき、２つの動きベクトルＭＶａ及びＭＶｂを検出する。動きベクトル検出部１は、差分値が最も小さい（相関が最も高い）方向の動きベクトルＭＶａ（第１の動きベクトル）と、その次に差分値が小さい（相関がその次に高い）方向の動きベクトルＭＶｂ（第２の動きベクトル）を検出するのがよい。
【００１８】
なお、複数の画素よりなるブロック間の差分値の算出方法は種々の公知技術を用いればよい。例えば、フレームＳ０ｆ内の画素とフレームＳ１ｆ内の画素との差分値を算出し、その差分値の絶対値を算出し、ブロックごとにその差分値の総和を求めることでブロック間の差分値を算出してもよい。
【００１９】
動きベクトルＭＶａ及びＭＶｂはフレームメモリ２に一旦書き込まれ、フレームレート１２０Ｈｚのフレームに対応するようにレートが変換されて、補間フレーム内挿部３に供給される。動きベクトル検出部１より出力される動きベクトルＭＶａ及びＭＶｂと、補間フレーム内挿部３に供給される動きベクトルＭＶａ及びＭＶｂとはレートが異なるが、両者は同じ動きベクトルであるため、双方を動きベクトルＭＶａ及びＭＶｂと称する。
【００２０】
補間フレーム内挿部３は補間信号生成部３０を備える。補間信号生成部３０は、本実施形態の補間信号生成装置を構成し、本実施形態の補間信号生成方法によって補間信号を生成する。補間信号生成部３０は、動きベクトルＭＶａ及びＭＶｂに基づいてフレームＳ０ｆ及びＳ１ｆより選択した２対の画素を用いて補間画素Ｐ０．５ｉ（図３参照）を生成する。補間信号生成部３０は、１フレームを構成する各補間画素Ｐ０．５ｉを生成して、補間フレームＳ０．５ｆ（図３参照）を生成する。
【００２１】
補間フレーム内挿部３は、時間方向に隣接する２つの実フレームであるフレームＳ０ｆとフレームＳ１ｆとの間に補間フレームＳ０．５ｆを内挿して、フレームレート１２０Ｈｚを有する出力映像信号Ｓｏｕｔを生成する。
【００２２】
図２は、補間信号生成部３０の具体的な構成を示している。補間信号生成部３０は、補間元画素抽出部３０１及び３０２、差分値算出部３０３〜３０６、差分値加算部３０７〜３１０、混合率算出部３１１及び３１２、画素混合部３１３及び３１４、補間画素生成部３１５を備える。
【００２３】
図２に示すように構成される補間信号生成部３０の動作を、図３及び図４Ａ〜図４Ｄを参照しながら説明する。図２において、フレームＳ０ｆ及びＳ１ｆは、補間元画素抽出部３０１及び３０２に供給される。補間元画素抽出部３０１（第１の補間元画素抽出部）には動きベクトルＭＶａが入力され、補間元画素抽出部３０２（第２の補間元画素抽出部）には動きベクトルＭＶｂが入力される。
【００２４】
図３において、補間フレームＳ０．５ｆ内の補間画素Ｐ０．５ｉを生成するために、動きベクトル検出部１によって図示のような動きベクトルＭＶａ及びＭＶｂが検出されたとする。図２に戻り、補間元画素抽出部３０１は、動きベクトルＭＶａに基づいて、フレームＳ０ｆ及びＳ１ｆよりそれぞれ画素Ｐ０ｆａ及びＰ１ｆａ（第１及び第２の画素）を抽出する。補間元画素抽出部３０２は、動きベクトルＭＶｂに基づいて、フレームＳ０ｆ及びＳ１ｆよりそれぞれ画素Ｐ０ｆｂ及びＰ１ｆｂ（第３及び第４の画素）を抽出する。
【００２５】
画素Ｐ０ｆａは、差分値算出部３０３及び３０４、及び画素混合部３１３に入力される。画素Ｐ１ｆａは、差分値算出部３０３及び３０６、及び画素混合部３１４に入力される。画素Ｐ０ｆｂは、差分値算出部３０５及び３０６、及び画素混合部３１３に入力される。画素Ｐ１ｆｂは、差分値算出部３０４及び３０５、及び画素混合部３１４に入力される。
【００２６】
差分値算出部３０３（第１の差分値算出部）は、画素Ｐ０ｆａと画素Ｐ１ｆａとの差分値Ｄａａ（第１の差分値）を算出する。差分値算出部３０４（第２の差分値算出部）は、画素Ｐ０ｆａと画素Ｐ１ｆｂとの差分値Ｄａｂ（第２の差分値）を算出する。差分値Ｄａａは差分値加算部３０７及び３０８に入力され、差分値Ｄａｂは差分値加算部３０７及び３０９に入力される。
【００２７】
差分値算出部３０５（第３の差分値算出部）は、画素Ｐ０ｆｂと画素Ｐ１ｆｂとの差分値Ｄｂｂ（第３の差分値）を算出する。差分値算出部３０６（第４の差分値算出部）は、画素Ｐ０ｆｂと画素Ｐ１ｆａとの差分値Ｄｂａ（第４の差分値）を算出する。差分値Ｄｂｂは差分値加算部３０９及び３１０に入力され、差分値Ｄｂａは差分値加算部３０８及び３１０に入力される。
【００２８】
図４Ａに示すように、差分値加算部３０７（第１の差分値加算部）は、差分値Ｄａａと差分値Ｄａｂとを加算して、加算値ＡＤ０７（第１の加算値）を生成する。加算値ＡＤ０７は、混合率算出部３１１（第１の混合率算出部）に入力される。図４Ｂに示すように、差分値加算部３０８（第２の差分値加算部）は、差分値Ｄａａと差分値Ｄｂａとを加算して、加算値ＡＤ０８（第２の加算値）を生成する。加算値ＡＤ０８は、混合率算出部３１２（第２の混合率算出部）に入力される。
【００２９】
図４Ｃに示すように、差分値加算部３０９（第３の差分値加算部）は、差分値Ｄａｂと差分値Ｄｂｂとを加算して、加算値ＡＤ０９（第３の加算値）を生成する。加算値ＡＤ０９は、混合率算出部３１２に入力される。図４Ｄに示すように、差分値加算部３１０（第４の差分値加算部）は、差分値Ｄｂａと差分値Ｄｂｂとを加算して、加算値ＡＤ１０（第４の加算値）を生成する。加算値ＡＤ１０は、混合率算出部３１１に入力される。
【００３０】
混合率算出部３１１は、加算値ＡＤ０７と加算値ＡＤ１０との差分をとり、差分値に応じて、画素混合部３１３がフレームＳ０ｆ内の画素Ｐ０ｆａと画素Ｐ０ｆｂとを混合するときの混合率Ｒ１１（第１の混合率）を算出する。
【００３１】
混合率算出部３１１は、加算値ＡＤ１０が加算値ＡＤ０７よりも大きいときには、差分値が大きくなるほど画素Ｐ０ｆａの混合率を大きくし、画素Ｐ０ｆｂの混合率を小さくする混合率Ｒ１１を生成する。加算値ＡＤ１０が加算値ＡＤ０７よりも大きいということは、動きベクトルＭＶｂに基づいて選択した画素Ｐ０ｆｂを用いて補間画素Ｐ０．５ｉを生成する方が、補間エラーが発生する可能性が高いということである。
【００３２】
逆に、混合率算出部３１１は、加算値ＡＤ０７が加算値ＡＤ１０よりも大きいときには、差分値が大きくなるほど画素Ｐ０ｆｂの混合率を大きくし、画素Ｐ０ｆａの混合率を小さくする混合率Ｒ１１を生成する。加算値ＡＤ０７が加算値ＡＤ１０よりも大きいということは、動きベクトルＭＶａに基づいて選択した画素Ｐ０ｆａを用いて補間画素Ｐ０．５ｉを生成する方が、補間エラーが発生する可能性が高いということである。
【００３３】
加算値ＡＤ１０が加算値ＡＤ０７より所定の閾値以上大きいときには、画素Ｐ０ｆａの混合率を１画素Ｐ０ｆｂの混合率を０としてもよい。逆に、加算値ＡＤ０７が加算値ＡＤ１０より閾値以上大きいときには、画素Ｐ０ｆａの混合率を０、画素Ｐ０ｆｂの混合率を１としてもよい。
【００３４】
混合率算出部３１２は、加算値ＡＤ０８と加算値ＡＤ０９との差分をとり、差分値に応じて、画素混合部３１４がフレームＳ１ｆ内の画素Ｐ１ｆａと画素Ｐ１ｆｂとを混合するときの混合率Ｒ１２（第２の混合率）を算出する。
【００３５】
混合率算出部３１２は、加算値ＡＤ０９が加算値ＡＤ０８よりも大きいときには、差分値が大きくなるほど画素Ｐ１ｆａの混合率を大きくし、画素Ｐ１ｆｂの混合率を小さくする混合率Ｒ１２を生成する。加算値ＡＤ０９が加算値ＡＤ０８よりも大きいということは、動きベクトルＭＶｂに基づいて選択した画素Ｐ１ｆｂを用いて補間画素Ｐ０．５ｉを生成する方が、補間エラーが発生する可能性が高いということである。
【００３６】
逆に、混合率算出部３１１は、加算値ＡＤ０８が加算値ＡＤ０９よりも大きいときには、差分値が大きくなるほど画素Ｐ１ｆｂの混合率を大きくし、画素Ｐ１ｆａの混合率を小さくする混合率Ｒ１２を生成する。加算値ＡＤ０８が加算値ＡＤ０９よりも大きいということは、動きベクトルＭＶａに基づいて選択した画素Ｐ１ｆａを用いて補間画素Ｐ０．５ｉを生成する方が、補間エラーが発生する可能性が高いということである。
【００３７】
加算値ＡＤ０９が加算値ＡＤ０８より所定の閾値以上大きいときには、画素Ｐ１ｆａの混合率を１、画素Ｐ１ｆｂの混合率を０としてもよい。逆に、加算値ＡＤ０８が加算値ＡＤ０９より閾値以上大きいときには、画素Ｐ１ｆａの混合率を０、画素Ｐ１ｆｂの混合率を１としてもよい。
【００３８】
画素混合部３１３（第１の画素混合部）は、画素Ｐ０ｆａと画素Ｐ０ｆｂとを混合率Ｒ１１で混合して、混合画素Ｐmix0f（第１の混合画素）を生成する。画素混合部３１４（第２の画素混合部）は、画素Ｐ１ｆａと画素Ｐ１ｆｂとを混合率Ｒ１２で混合して、混合画素Ｐmix1f（第２の混合画素）を生成する。
【００３９】
前述のように、動きベクトルＭＶａの方向が最も相関が高く、動きベクトルＭＶｂの方向がその次に相関が高い。そこで、加算値ＡＤ０７と加算値ＡＤ１０とが同じ値であっても、混合率算出部３１１は、画素Ｐ０ｆａの混合率をやや大きくし、画素Ｐ０ｆｂの混合率をやや小さくする混合率Ｒ１１を生成してもよい。同様に、加算値ＡＤ０８と加算値ＡＤ０９とが同じ値であっても、混合率算出部３１２は、画素Ｐ１ｆａの混合率をやや大きくし、画素Ｐ１ｆｂの混合率をやや小さくする混合率Ｒ１２を生成してもよい。
【００４０】
補間画素生成部３１５は、混合画素Ｐmix0fと混合画素Ｐmix1fとを混合して補間画素Ｐ０．５ｉを生成する。補間画素生成部３１５は、混合画素Ｐmix0fと混合画素Ｐmix1fとを均等に混合すればよい。
【００４１】
以上のようにして、補間信号生成部３０は、図３に示す補間フレームＳ０．５ｆを構成する各補間画素Ｐ０．５ｉを順に生成することにより、補間フレームＳ０．５ｆを生成する。
【００４２】
図５に示すフローチャートを用いて、動きベクトル検出部１及び補間信号生成部３０の動作を改めて説明する。図５は、本実施形態の補間信号生成装置の動作、及び、本実施形態の補間信号生成方法による処理を示す。
【００４３】
図５において、動きベクトル検出部１に入力映像信号Ｓｉｎが入力されて処理が開始されると、動きベクトル検出部１は、ステップＳ１にて、生成しようとする補間フレームＳ０．５ｆに対して前側のフレームＳ０ｆ及び後側のフレームＳ１ｆの画素に基づいて、動きベクトルＭＶａ及びＭＶｂを検出する。
【００４４】
補間信号生成部３０は、ステップＳ２にて、動きベクトルＭＶａ及びＭＶｂに基づいて、前後のフレームＳ０ｆ及びＳ１ｆから補間画素Ｐ０．５ｉを生成するための一対の画素Ｐ０ｆａ及びＰ１ｆａと、一対の画素Ｐ０ｆｂ及びＰ１ｆｂを抽出する。
【００４５】
補間信号生成部３０は、ステップＳ３にて、画素Ｐ０ｆａ及びＰ１ｆａと画素Ｐ０ｆｂ及びＰ１ｆｂとの間の差分値Ｄａａ、Ｄａｂ、Ｄｂａ、及びＤｂｂを算出する。補間信号生成部３０は、ステップＳ４にて、差分値Ｄａａと差分値Ｄａｂとを加算して加算値ＡＤ０７を生成し、差分値Ｄａａと差分値Ｄｂａとを加算して加算値ＡＤ０８を生成し、差分値Ｄａｂと差分値Ｄｂｂとを加算して加算値ＡＤ０９を生成し、差分値Ｄｂａと差分値Ｄｂｂとを加算して加算値ＡＤ１０を生成する。
【００４６】
補間信号生成部３０は、ステップＳ５にて、加算値ＡＤ０７と加算値ＡＤ１０とに基づき、画素Ｐ０ｆａ及びＰ０ｆｂの混合率Ｒ１１を生成し、加算値ＡＤ０８と加算値ＡＤ０９とに基づき、画素Ｐ１ｆａ及びＰ１ｆｂの混合率Ｒ１２を生成する。補間信号生成部３０は、ステップＳ６にて、画素Ｐ０ｆａ及びＰ０ｆｂを混合率Ｒ１１で混合して混合画素Ｐmix0fを生成し、画素Ｐ１ｆａ及びＰ１ｆｂを混合率Ｒ１２で混合して混合画素Ｐmix1fを生成する。
【００４７】
補間信号生成部３０は、ステップＳ７にて、混合画素Ｐmix0fと混合画素Ｐmix1fとを混合して補間画素Ｐ０．５ｉを生成する。補間信号生成部３０は、ステップＳ８にて、補間フレームＳ０．５ｆ内の全ての補間画素Ｐ０．５ｉを生成したか否かを判定する。全ての補間画素Ｐ０．５ｉを生成していなければ（NO）、動きベクトル検出部１及び補間信号生成部３０はステップＳ１〜Ｓ８の処理を繰り返す。
【００４８】
ステップＳ８にて全ての補間画素Ｐ０．５ｉを生成していれば（YES）、補間信号生成部３０は、ステップＳ９にて、入力映像信号Ｓｉｎが継続的に入力されたか否かを判定する。入力映像信号Ｓｉｎが継続的に入力されていれば（YES）、動きベクトル検出部１及び補間信号生成部３０はステップＳ１〜Ｓ９の処理を繰り返す。入力映像信号Ｓｉｎが継続的に入力されなければ（NO）、動きベクトル検出部１及び補間信号生成部３０は処理を終了させる。
【００４９】
図２に示す補間信号生成部３０をハードウェア（回路）で構成してもよいし、補間信号生成部３０と同等の機能をソフトウェア（コンピュータプログラム）によって実現してもよい。即ち、コンピュータプログラム（補間信号生成プログラム）が、コンピュータに図５に示す処理を実行させることができる。補間信号生成プログラムは、非一時的な記憶媒体に記憶されていてもよいし、インターネット等の通信回線でコンピュータへと送信されてもよい。
【００５０】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。本実施形態において、補間信号生成部３０は２つの動きベクトルＭＶａ及びＭＶｂに基づいて抽出した２対の画素を用いて補間画素Ｐ０．５ｉを生成しているが、３つの動きベクトルに基づいて抽出した３対の画素を用いて補間画素Ｐ０．５ｉを生成することも可能である。
【００５１】
また、差分値が最も小さい（相関が最も高い）方向の動きベクトルＭＶａ（第１の動きベクトル）に基づく画素を優先的に選択するように、差分値算出部３０３〜３０６で算出される差分値を調整してもよい。
【００５２】
具体的には、差分値算出部３０３は、動きベクトルＭＶａに基づいて抽出されるフレームＳ０ｆ内の画素Ｐ０ｆａとフレームＳ１ｆ内の画素Ｐ１ｆａとの差分値Ｄａａ（第１の差分値）より所定の値を減算する。なお、差分値Ｄａａより所定の値を減算したときに負の値となるときには０とすればよい。差分値算出部３０５は、動きベクトルＭＶｂに基づいて抽出されるフレームＳ０ｆ内の画素Ｐ０ｆｂとフレームＳ１ｆ内の画素Ｐ１ｆｂとの差分値Ｄｂｂ（第３の差分値）に所定の値を加算する。
【００５３】
このような構成とすることにより、混合率算出部３１１では画素Ｐ０ｆａの混合率が大きくなり、混合率算出部３１２では画素Ｐ１ｆａの混合率が大きくなる。
【００５４】
上記の所定の値とは予め定めた固定値であってもよいし、動きベクトルＭＶａを検出したときの、フレームＳ０ｆ内の複数の画素よりなるブロックとフレームＳ１ｆ内の複数の画素よりなるブロックとの差分値であってもよい。後者の場合、動きベクトル検出部１は、差分値算出部３０３及び３０５にその差分値を入力すればよい。
【００５５】
差分値算出部３０３は差分値Ｄａａを所定の値で除算し、差分値算出部３０５は差分値Ｄｂｂに所定の値を乗算してもよい。
【符号の説明】
【００５６】
１  動きベクトル検出部
２  フレームメモリ
３  補間フレーム内挿部
３０  補間信号生成部（補間信号生成装置）
３０１，３０２  補間元画素抽出部
３０３〜３０６  差分値算出部
３０７〜３１０  差分値加算部
３１１，３１２  混合率算出部
３１３，３１４  画素混合部
３１５  補間画素生成部
【図１】
2019050474.tif 000003
【図２】
2019050474.tif 000004
【図３】
2019050474.tif 000005
【図４Ａ】
2019050474.tif 000006
【図４Ｂ】
2019050474.tif 000007
【図４Ｃ】
2019050474.tif 000008
【図４Ｄ】
2019050474.tif 000009
【図５】
2019050474.tif 000010