(57)【要約】【課題】補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる補間フレーム生成装置を提供する。【解決手段】画素数検出部３は、補間画素から、補間フレームの有効画素範囲の端部までの画素数ｄを検出する。低減画素数生成部４は、画素数ｄを１未満の低減率で低減させた低減画素数ｄｒを生成する。抽出画素位置決定部５は、補間画素を生成するために検出された動きベクトルＭＶが示す、補間画素から第１及び第２のフレーム内の抽出画素までの画素数と、低減画素数ｄｒとを比較して小さい方を選択して、補間画素を生成するために第１及び第２のフレーム内より抽出する抽出画素の位置を決定する。補間画素生成部６０は、第１のフレーム内の抽出画素と第２のフレーム内の抽出画素とを用いて補間画素を生成する。【選択図】図１
2020017783.tif 000002
【特許請求の範囲】
【請求項１】
映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出する画素数検出部と、
前記画素数検出部が検出した画素数を１未満の低減率で低減させた低減画素数を生成する低減画素数生成部と、
前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定する抽出画素位置決定部と、
前記抽出画素位置決定部によって位置が決定された前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する補間画素生成部と、
を備える補間フレーム生成装置。
【請求項２】
前記画素数検出部は、前記補間画素から、前記有効画素範囲の端部までの水平方向または垂直方向の画素数を検出し、
前記抽出画素位置決定部は、
前記動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの水平方向または垂直方向の画素数と、前記低減画素数とを比較して小さい方を選択して、前記第１のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの水平方向または垂直方向の画素数と、前記低減画素数とを比較して小さい方を選択して、前記第２のフレーム内より抽出する抽出画素の位置を決定する
請求項１に記載の補間フレーム生成装置。
【請求項３】
前記画素数検出部は、前記補間画素から、前記有効画素範囲の端部までの水平方向の水平画素数と垂直方向の垂直画素数との双方を検出し、
前記低減画素数生成部は、前記水平画素数及び前記垂直画素数をそれぞれ１未満の低減率で低減させた水平低減画素数及び垂直低減画素数を生成し、
前記抽出画素位置決定部は、
前記動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの水平方向の画素数と、前記水平低減画素数とを比較して小さい方を選択し、垂直方向の画素数と、前記垂直低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの水平方向の画素数と、前記水平低減画素数とを比較して小さい方を選択し、垂直方向の画素数と、前記垂直低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定する
請求項１に記載の補間フレーム生成装置。
【請求項４】
映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出し、
検出した画素数を１未満の低減率で低減させた低減画素数を生成し、
前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、
前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定し、
位置を決定した前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する
補間フレーム生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置及び方法に関する。
【背景技術】
【０００２】
映像信号のフレームレートを変換するフレームレート変換装置は、一対の実フレーム間に内挿する補間フレームを生成する補間フレーム生成装置を備える。フレームレート変換装置は、画像の動きを検出する動きベクトル検出装置を備え、補間フレーム生成装置は動きベクトルに基づいて補間フレームを構成する各画素位置の補間画素を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２４５１３５号公報
【特許文献２】特許第５６８２４５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
補間フレーム内の補間画素を生成するには、動きベクトルに基づいて選択される、一対の実フレーム双方の画素が必要である。しかしながら、動きベクトルに基づいて補間画素を生成するために画素を選択しようとするときに、選択しようとする画素が実フレームの有効画素範囲外に位置することがある。このような場合には、何らかの対処をして補間画素を生成することが必要となる。
【０００５】
特許文献１には、一対の実フレームのうち、補間画素を生成するために選択しようとする画素が有効画素範囲内に位置する実フレーム内の画素のみを用いて補間画素を生成することが記載されている。特許文献２には、有効画素範囲外に位置する画素に代えて、有効画素範囲の最端部に位置する画素を用いて補間画素を生成することが記載されている。
【０００６】
特許文献１に記載の方法は、いわゆる片側補間であり、正しい動きベクトルが検出されれば適切な補間画素が生成されるが、フレームの端部では正しい動きベクトルの検出が困難であり、動きベクトルが誤検出されると視覚的な違和感が大きくなってしまう。特許文献２に記載の方法は、有効画素範囲外に位置する複数の画素が有効画素範囲の最端部に位置する画素に置換されて補間画素が生成されるため、動きの速い画像において動きがホールドされたような補間画素が生成されてしまう。
【０００７】
本発明は、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる補間フレーム生成装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出する画素数検出部と、前記画素数検出部が検出した画素数を１未満の低減率で低減させた低減画素数を生成する低減画素数生成部と、前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定する抽出画素位置決定部と、前記抽出画素位置決定部によって位置が決定された前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する補間画素生成部とを備える補間フレーム生成装置を提供する。
【０００９】
本発明は、映像信号における時間方向に隣接する第１のフレームと第２のフレームとの間に内挿する補間フレーム内において生成しようとする補間画素から、前記補間フレームの有効画素範囲の端部までの画素数を検出し、検出した画素数を１未満の低減率で低減させた低減画素数を生成し、前記補間画素を生成するために検出された動きベクトルが示す、前記補間画素から前記第１のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第１のフレーム内より抽出する抽出画素の位置を決定し、前記動きベクトルが示す、前記補間画素から前記第２のフレーム内の抽出画素までの画素数と、前記低減画素数とを比較して小さい方を選択して、前記補間画素を生成するために前記第２のフレーム内より抽出する抽出画素の位置を決定し、位置を決定した前記第１のフレーム内の抽出画素と前記第２のフレーム内の抽出画素とを用いて前記補間画素を生成する補間フレーム生成方法を提供する。
【発明の効果】
【００１０】
本発明の補間フレーム生成装置及び方法によれば、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態の補間フレーム生成装置を備えるフレームレート変換装置の概略的な構成を示すブロック図である。
【図２】動きベクトルに基づいて補間画素を生成する動作を概念的に示し、補間画素を生成するため画素が実フレームの有効画素範囲外に位置する状態の一例を示す図である。
【図３】補間画素から水平方向及び垂直方向の有効画素範囲の端部までの画素数を示す図である。
【図４】動きベクトルに基づいて選択される画素が実フレームの水平方向の有効画素範囲外に位置する一例を示す図である。
【図５Ａ】図１における低減画素数生成部４の動作を概念的に示す特性図である。
【図５Ｂ】図１における抽出画素位置決定部５の動作を概念的に示す特性図である。
【図６】図１における補間画素生成部６０が図４に示す一例において補間画素をどのように生成するかを示す図である。
【図７】一実施形態の補間フレーム生成装置の動作、及び、一実施形態の補間フレーム生成方法を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、一実施形態の補間フレーム生成装置及び方法について、添付図面を参照して説明する。まず、図１を用いて、一実施形態の補間フレーム生成装置を備えるフレームレート変換装置の概略的な構成及び動作を説明する。
【００１３】
図１において、動きベクトル検出部１及びフレームメモリ２には、入力映像信号Ｓｉｎの各フレームｆ０（第１のフレーム）を構成する画素が順に入力される。入力映像信号Ｓｉｎのフレームレート（フレーム周波数）は、例えば６０Ｈｚである。フレームｆ０は実フレームであり、フレームｆ０を現在フレームとする。フレームメモリ２は、フレームｆ０の全画素を記憶する。
【００１４】
フレームメモリ２は、フレームｆ０を１フレーム期間遅延させて、フレームｆ０に対して１フレーム前のフレームｆ１（第２のフレーム）を動きベクトル検出部１に供給する。動きベクトル検出部１に供給されるフレームｆ１のフレームレートは６０Ｈｚである。フレームｆ１は実フレームである。フレームメモリ２は、フレームレート変換メモリとして機能する。フレームメモリ２は、フレームｆ１をフレームレート１２０Ｈｚで読み出して、補間フレーム内挿部６に供給する。
【００１５】
動きベクトル検出部１に供給されるフレームｆ１と、補間フレーム内挿部６に供給されるフレームｆ１とはフレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームｆ１と称する。
【００１６】
フレームｆ０は、動きベクトル検出部１が後述する動きベクトルＭＶを検出するのに要する時間に相当する数十ライン程度だけフレームメモリ２によって遅延され、フレームレート１２０Ｈｚに変換されて、補間フレーム内挿部６に供給される。
【００１７】
フレームメモリ２に入力されるフレームｆ０と補間フレーム内挿部６に供給されるフレームｆ０とは、数十ライン程度の時間だけずれており、フレームレートが異なるが、両者は同じフレームの信号であるため、双方をフレームｆ０と称する。
【００１８】
動きベクトル検出部１は、フレームｆ０内の複数の画素よりなるブロックとフレームｆ１内の複数の画素よりなるブロックとの差分値を算出し、差分値の小さい方向に基づき、動きベクトルＭＶを検出する。
【００１９】
なお、複数の画素よりなるブロック間の差分値の算出方法は種々の公知技術を用いればよい。例えば、フレームｆ０内の画素とフレームｆ１内の画素との差分値を算出し、その差分値の絶対値を算出し、ブロックごとにその差分値の総和を求めることでブロック間の差分値を算出してもよい。
【００２０】
動きベクトルＭＶはフレームメモリ２に一旦書き込まれ、フレームレート１２０Ｈｚのフレームに対応するようにレートが変換されて、画素数検出部３及び抽出画素位置決定部５に供給される。動きベクトル検出部１より出力される動きベクトルＭＶと、抽出画素位置決定部５に供給される動きベクトルＭＶとはレートが異なるが、両者は同じ動きベクトルであるため、双方を動きベクトルＭＶと称する。
【００２１】
補間フレーム内挿部６は補間画素生成部６０を備える。仮に、動きベクトルＭＶがそのまま補間画素生成部６０に供給されるとすれば、図２に示すように、補間画素生成部６０は、動きベクトルＭＶに基づいてフレームｆ０及びｆ１より選択した一対の画素Ｐ０及びＰ１を用いて、補間フレームｆ０．５内の補間画素Ｐｉを生成する。
【００２２】
補間画素生成部６０が動きベクトルＭＶをそのまま用いて補間画素Ｐｉを生成しようとすると、動きベクトルＭＶに基づいて選択しようとするフレームｆ０またはｆ１内の画素が有効画素範囲外に位置することがある。図２は、選択しようとする画素Ｐ０がフレームｆ０の有効画素範囲外に位置している例を示している。
【００２３】
有効画素範囲とは、フルＨＤの映像信号を例とすると、水平１９２０画素、垂直１０８０画素の領域であり、有効画素範囲外とは、その領域の外部であって、正しい補間画素を生成することができる画素が存在しない領域である。水平１９２０画素、垂直１０８０画素の内部であっても、例えばフレームの上下端部が一様の黒とされているレターボックス形式の画像がある。映像信号がこのような画像である場合には、黒の画素を用いて正しい補間画素を生成することはできない。フレームの一部が黒等の固定色または固定輝度の画素となっている場合には、固定色または固定輝度の画素以外の領域が有効画素範囲となる。
【００２４】
図１に戻り、動きベクトルＭＶに基づいて抽出しようとする抽出画素がフレームｆ０またはｆ１の有効画素範囲外に位置する場合であっても、視覚的な違和感の少ない補間画素を生成するための具体的な構成を説明する。
【００２５】
図１において、フレームメモリ２及び画素数検出部３には、補間フレームｆ０．５内の補間画素Ｐｉの位置を特定するためのタイミング信号が供給される。タイミング信号は、補間フレームｆ０．５内の水平方向の位置を示す水平カウント値と、垂直方向の位置を示す垂直カウント値とで構成することができる。
【００２６】
画素数検出部３は、各補間画素Ｐｉから、補間フレームｆ０．５の有効画素範囲の端部までの水平方向または垂直方向の画素数ｄを検出する。一例として、補間画素Ｐｉが図３に示す位置にあるとき、画素数検出部３は、補間画素Ｐｉから水平方向の端部までの水平画素数ｄｈと、垂直方向の端部までの垂直画素数ｄｖを検出するのがよい。
【００２７】
補間画素Ｐｉを基準とすると、水平方向において、図３に図示している水平画素数ｄｈだけ離れた左側端部と、図示されていない右側端部との２つの端部が存在する。補間画素Ｐｉを基準とすると、垂直方向において、図３に図示している垂直画素数ｄｖだけ離れた上側端部と、図示されていない下側端部との２つの端部が存在する。後述するように、画素数検出部３は、動きベクトルＭＶを参照して、補間画素Ｐｉから、フレームｆ０またはｆ１の抽出画素へと向かう方向に応じた端部までの画素数ｄを検出する。
【００２８】
画素数検出部３が検出した画素数ｄは、低減画素数生成部４に供給される。画素数ｄは、水平画素数ｄｈまたは垂直画素数ｄｖであり、好ましくは、水平画素数ｄｈ及び垂直画素数ｄｖである。低減画素数生成部４は、入力された画素数ｄを１未満の低減率で低減させた低減画素数ｄｒを生成して抽出画素位置決定部５に供給する。低減画素数生成部４は、水平画素数ｄｈ及び垂直画素数ｄｖをそれぞれ低減させた水平低減画素数及び垂直低減画素数を生成する。
【００２９】
低減率を例えば１／２とすると、低減画素数生成部４は、画素数ｄに係数１／２を乗じることによって低減画素数ｄｒを生成する。このとき、低減画素数生成部４は例えば小数点以下を繰り上げる。小数点以下を繰り下げてもよい。
【００３０】
抽出画素位置決定部５は、補間画素Ｐｉからフレームｆ０及びｆ１の抽出画素までの水平方向または垂直方向の画素数Ｎを検出する。画素数検出部３が水平画素数ｄｈ及び垂直画素数ｄｖを検出する場合には、抽出画素位置決定部５は、補間画素Ｐｉからフレームｆ０及びｆ１の抽出画素までの水平方向及び垂直方向の画素数Ｎを検出する。フレームｆ０及びｆ１の抽出画素は、補間画素Ｐｉを生成するために検出された動きベクトルＭＶによって決まる。
【００３１】
図４は、簡略化のため、フレームｆ０、ｆ１、及び補間フレームｆ０．５における各１ラインの左端部を示している。補間フレームｆ０．５における補間画素Ｐｉ１〜Ｐｉ１２を生成するための動きベクトルＭＶが、補間画素Ｐｉ１〜Ｐｉ１２に対して共通に検出されているとする。図４において、ハッチングを付した画素は有効画素範囲外の画素である。
【００３２】
図４に示す例では、補間画素Ｐｉ１〜Ｐｉ１２を生成するために選択されるフレームｆ０の抽出画素は、補間画素Ｐｉ１〜Ｐｉ１２を（１／２）×ＭＶで表されるベクトルだけシフトした画素Ｐ０（−６）〜Ｐ０６である。補間画素Ｐｉ１〜Ｐｉ１２を生成するために選択されるフレームｆ１の抽出画素は、補間画素Ｐｉ１〜Ｐｉ１２を−（１／２）×ＭＶで表されるベクトルだけシフトした画素Ｐ１７〜Ｐ１１８である。
【００３３】
画素数検出部３は、補間画素Ｐｉからフレームｆ０またはｆ１の抽出画素へと向かう方向に位置する端部を、補間画素Ｐｉからの画素数ｄを検出する端部とする。後述するように、抽出画素位置決定部５は各補間画素Ｐｉを生成するためのフレームｆ０及びｆ１内の最終的な抽出画素の位置を決定する。
【００３４】
図４に示す例では、フレームｆ０の画素Ｐ０（−６）〜Ｐ０６は、補間画素Ｐｉ１〜Ｐｉ１２から左方向に向かう画素位置に位置している。よって、画素数検出部３は、抽出画素位置決定部５がフレームｆ０内の抽出画素の位置を決定する際には、補間画素Ｐｉ１〜Ｐｉ１２から補間フレームｆ０．５の左端部までの画素数ｄを検出する。また、フレームｆ１の画素Ｐ１７〜Ｐ１１８は、補間画素Ｐｉ１〜Ｐｉ１２から右方向に向かう画素位置に位置している。よって、画素数検出部３は、抽出画素位置決定部５がフレームｆ１内の抽出画素の位置を決定する際には、補間画素Ｐｉ１〜Ｐｉ１２から補間フレームｆ０．５の右端部までの画素数ｄを検出する。
【００３５】
抽出画素位置決定部５は、検出した画素数Ｎと、低減画素数生成部４より供給された低減画素数ｄｒとを比較して、小さい方を選択する。抽出画素位置決定部５のフレームｆ０に対する動作と、フレームｆ１に対する動作を説明すると次のとおりである。
【００３６】
補間画素Ｐｉ１〜Ｐｉ１２からフレームｆ０の抽出画素である画素Ｐ０（−６）〜Ｐ０６までの水平方向の画素数Ｎはそれぞれ６画素である。フレームｆ０に対する動作では、各補間画素Ｐｉから補間フレームｆ０．５の左端部までの画素数ｄが検出されている。補間画素Ｐｉ１において、画素数ｄは０であるから低減画素数ｄｒは０であり、画素数Ｎは６であるから、抽出画素位置決定部５は低減画素数ｄｒの０を選択する。補間画素Ｐｉ２において、画素数ｄは１であるから低減画素数ｄｒは０．５の小数点以下を繰り上げて１であり、画素数Ｎは６であるから、抽出画素位置決定部５は低減画素数ｄｒの１を選択する。
【００３７】
同様に、抽出画素位置決定部５は、補間画素Ｐｉ３において低減画素数ｄｒの１を選択し、補間画素Ｐｉ４において低減画素数ｄｒの２を選択し、補間画素Ｐｉ５において低減画素数ｄｒの２を選択する。抽出画素位置決定部５は、補間画素Ｐｉ６以降も同様に、画素数Ｎと低減画素数ｄｒとを比較して、小さい方を選択する。補間画素Ｐｉ１２において、画素数ｄは１１で低減画素数ｄｒは６である。抽出画素位置決定部５は、低減画素数ｄｒと画素数Ｎとが同じであれば、画素数Ｎを選択すればよい。
【００３８】
補間画素Ｐｉ１〜Ｐｉ１２からフレームｆ１の抽出画素である画素Ｐ１７〜Ｐ１１８までの水平方向の画素数Ｎはそれぞれ６画素である。フレームｆ１に対する動作では、各補間画素Ｐｉから補間フレームｆ０．５の右端部までの画素数ｄが検出されている。補間画素Ｐｉ１〜Ｐｉ１２において、画素数ｄは１９１９〜１９０８であるから低減画素数ｄｒは９６０〜９５４であり、画素数Ｎは６であるから、抽出画素位置決定部５は画素数Ｎを選択する。
【００３９】
図４は、水平方向の処理を示すが、画素数検出部３〜抽出画素位置決定部５が垂直方向の処理を実行する場合には、水平方向と同様の処理が実行される。画素数検出部３は垂直方向の画素数ｄを検出し、低減画素数生成部４は低減画素数ｄｒを生成し、抽出画素位置決定部５は、垂直方向の画素数Ｎと低減画素数ｄｒとを比較して、小さい方を選択する。
【００４０】
図５Ａ及び図５Ｂを用いて、画素数検出部３〜抽出画素位置決定部５の動作を説明する。図５Ａ及び図５Ｂにおいて、横軸を画素数ｄ、縦軸を画素数Ｎとする。低減画素数ｄｒはＮ＝ｄ／２の直線で表すことができる。比較のため、二点鎖線にてＮ＝ｄの直線も示されている。図４と同様に、動きベクトルＭＶが、補間画素Ｐｉ１から水平方向の所定の範囲で共通に検出されて、太い破線で示すように、画素数Ｎが一様に画素数Ｎ０であるとする。
【００４１】
抽出画素位置決定部５は、検出した画素数Ｎ０と低減画素数ｄｒとを比較して、小さい方を選択する。従って、図５Ｂに示すように、抽出画素位置決定部５は、画素数Ｎ０がｄ／２を超える領域において低減画素数ｄｒを選択し、画素数Ｎ０がｄ／２以下の領域において画素数Ｎ０を選択する。これにより、太い破線で示すように、画素数Ｎ０がｄ／２を超える領域においては画素数Ｎ０が低減画素数ｄｒへと置換され、画素数Ｎ０がｄ／２以下の領域においては画素数Ｎ０が維持される。
【００４２】
抽出画素位置決定部５は、以上のように選択した低減画素数ｄｒまたは画素数Ｎを、フレームｆ０またはｆ１の有効画素範囲内より抽出する最終的な抽出画素の位置と決定する。抽出画素位置決定部５は、抽出画素の位置を示す抽出画素位置指示信号を生成して、補間画素生成部６０に供給する。
【００４３】
抽出画素位置指示信号は、各補間画素Ｐｉを基準としてフレームｆ０内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルと、各補間画素Ｐｉを基準としてフレームｆ１内の抽出画素の位置を指示する水平方向及び垂直方向のベクトルとで構成することができる。
【００４４】
補間画素生成部６０は、入力された抽出画素位置指示信号に基づいて抽出したフレームｆ０内の抽出画素とフレームｆ１内の抽出画素とを混合して、補間フレームｆ０．５内の各補間画素Ｐｉを生成する。補間画素生成部６０が、補間フレームｆ０．５内の全ての補間画素Ｐｉを生成することによって、補間フレームｆ０．５が生成される。補間フレーム内挿部６は、時間方向に隣接するフレームｆ０とフレームｆ１との間に補間フレームｆ０．５を内挿して、フレームレート１２０Ｈｚを有する出力映像信号Ｓｏｕｔを生成する。
【００４５】
図６を用いて、図４に示す補間フレームｆ０．５内の補間画素Ｐｉ１〜Ｐｉ１２が具体的にどのように生成されるかについて説明する。補間画素生成部６０は、補間画素Ｐｉ１において、低減画素数ｄｒの０に基づいて選択したフレームｆ０内の画素Ｐ０１と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１７とを混合して、補間画素Ｐｉ１を生成する。補間画素生成部６０は、補間画素Ｐｉ２において、低減画素数ｄｒの１に基づいて選択したフレームｆ０内の画素Ｐ０１と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１８とを混合して、補間画素Ｐｉ２を生成する。
【００４６】
補間画素生成部６０は、補間画素Ｐｉ３において、低減画素数ｄｒの１に基づいて選択したフレームｆ０内の画素Ｐ０２と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１９とを混合して、補間画素Ｐｉ３を生成する。補間画素生成部６０は、補間画素Ｐｉ４において、低減画素数ｄｒの２に基づいて選択したフレームｆ０内の画素Ｐ０２と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１１０とを混合して、補間画素Ｐｉ４を生成する。補間画素生成部６０は、補間画素Ｐｉ５以降も同様にして、各補間画素Ｐｉを生成する。
【００４７】
補間画素生成部６０は、補間画素Ｐｉ１２において、低減画素数ｄｒの６に基づいて選択したフレームｆ０内の画素Ｐ０６と、画素数Ｎの６に基づいて選択したフレームｆ１内の画素Ｐ１１８とを混合して、補間画素Ｐｉ１２を生成する。補間画素Ｐｉ１２では、動きベクトルＭＶをそのまま補間画素生成部６０に供給した場合と同じフレームｆ０及びｆ１内の画素が抽出されて、補間画素Ｐｉ１２が生成される。
【００４８】
図６より分かるように、本実施形態の補間フレーム生成装置及び方法によれば、特許文献１に記載の方法とは異なり、フレームｆ０及びｆ１内の双方の画素を用いた両側補間であるので、誤った動きベクトルが検出されたとしても、片側補間と比べて視覚的な違和感が少ない補間画素が生成される。本実施形態の補間フレーム生成装置及び方法によれば、特許文献２に記載の方法とは異なり、動きがホールドされたような補間画素が生成されることはない。本実施形態の補間フレーム生成装置及び方法によれば、補間画素を生成するために抽出しようとする画素が実フレームの有効画素範囲外に位置する場合に、有効画素範囲内の画素に置換されて抽出されるため、視覚的な違和感の少ない補間画素を生成することができる。
【００４９】
図７に示すフローチャートを用いて、本実施形態の補間フレーム生成装置の動作、及び、補間フレーム生成装置で実行される補間フレーム生成方法による処理を改めて説明する。
【００５０】
図７において、動きベクトル検出部１に入力映像信号Ｓｉｎが供給されて処理が開始されると、動きベクトル検出部１は、ステップＳ１にて、フレームｆ０及びｆ１の画素に基づいて、補間フレームｆ０．５の補間画素を生成するための動きベクトルＭＶを検出する。
【００５１】
画素数検出部３は、ステップＳ２にて、補間画素Ｐｉから有効画素範囲の端部までの画素数ｄを検出する。低減画素数生成部４は、ステップＳ３にて、画素数ｄに応じた低減画素数ｄｒを生成する。抽出画素位置決定部５は、ステップＳ４にて、低減画素数ｄｒと、動きベクトルＭＶによって決まる抽出画素までの画素数Ｎとを比較し、小さい方を抽出画素位置指示信号として出力する。
【００５２】
補間画素生成部６０は、ステップＳ５にて、抽出画素位置指示信号に基づいてフレームｆ０及びｆ１より画素を抽出して補間画素Ｐｉを生成する。補間画素生成部６０は、ステップＳ６にて、補間フレームｆ０．５内の全ての補間画素Ｐｉを生成したか否かを判定する。全ての補間画素Ｐｉを生成していなければ（NO）、ステップＳ１〜Ｓ６の処理が繰り返される。
【００５３】
ステップＳ６にて全ての補間画素Ｐｉを生成していれば（YES）、補間画素生成部６０は、ステップＳ７にて、入力映像信号Ｓｉｎが継続的に入力されたか否かを判定する。入力映像信号Ｓｉｎが継続的に入力されていれば（YES）、ステップＳ１〜Ｓ７の処理が繰り返される。入力映像信号Ｓｉｎが継続的に入力されなければ（NO）、補間画素生成部６０は、補間フレーム生成の処理を終了させる。
【００５４】
図１に示すフレームレート変換装置（補間フレーム生成装置）をハードウェア（回路）で構成してもよいし、少なくとも一部をソフトウェア（コンピュータプログラム）によって構成してもよい。フレームレート変換装置（補間フレーム生成装置）を構成する上で、ハードウェアとソフトウェアとの使い分けは任意である。
【００５５】
コンピュータプログラム（フレームレート変換プログラムまたは補間フレーム生成プログラム）が、コンピュータに図７に示す処理を実行させてもよい。コンピュータプログラムは、非一時的な記憶媒体に記憶されていてもよいし、インターネット等の通信回線でコンピュータへと送信されてもよい。
【００５６】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。
【符号の説明】
【００５７】
１  動きベクトル検出部
２  フレームメモリ
３  画素数検出部
４  低減画素数生成部
５  抽出画素位置決定部
６  補間フレーム内挿部
６０  補間画素生成部
【図１】
2020017783.tif 000003
【図２】
2020017783.tif 000004
【図３】
2020017783.tif 000005
【図４】
2020017783.tif 000006
【図５Ａ】
2020017783.tif 000007
【図５Ｂ】
2020017783.tif 000008
【図６】
2020017783.tif 000009
【図７】
2020017783.tif 000010