(57)【要約】【課題】信頼性の高い動きベクトルを決定できる動きベクトル装置を実現する。【解決手段】ベクトル補正装置１００では、動きベクトル検出部３が原画ｆ（ｔ）とｆ（ｔ＋１）とから動きベクトルを検出する。統計処理部８は、作画方向判定部４における作画方向の判定結果に応じて、原画ｆ（ｔ−１）からｆ（ｔ）への動きベクトルの出現頻度と、原画ｆ（ｔ＋２）からｆ（ｔ＋１）への動きベクトルの出現頻度とから、検出された動きベクトルが割り付けられない内挿画像の未定ブロックに割り付けるための類推ベクトルを類推する。ベクトル割付部６は、内挿画像の各ブロックに、検出された動きベクトルと類推ベクトルとを割り付ける。ベクトル補正部７は、未定ブロックに割り付けられた類推ベクトルを、周辺ブロックに割り付けられた検出された動きベクトルのうち最も近いものに置き換えることで、内挿ベクトルを補正する。【選択図】図１
2010178216.tif 000002
【特許請求の範囲】
【請求項１】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする動きベクトルを検出する検出手段と、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、
上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴とするベクトル補正装置。
【請求項２】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする動きベクトルを検出する検出手段と、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、
上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴とするベクトル補正装置。
【請求項３】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする前方向動きベクトルを検出する第１検出手段と、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする後方向動きベクトルを検出する第２検出手段と、
上記前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定手段と、
後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定手段と、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、
上記第１検出手段および第２検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴とするベクトル補正装置。
【請求項４】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする第１前方向動きベクトルを検出する第１検出手段と、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第１後方向動きベクトルを検出する第２検出手段と、
上記第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点を始点とする第１後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定手段と、
第１後方向動きベクトルの始点と、当該第１後方向動きベクトルの終点を始点とする第１前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定手段と、
上記第１の原画像の各ブロックを始点とし、上記第１の時刻よりも前の第３の時刻に対応する第３の原画像の何れかのブロックを終点とする第２後方向動きベクトルと、上記第３の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第２前方向動きベクトルとを比較する比較手段と、
上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも小さく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも大きいブロックを、第１の不一致ブロックとして特定する第１不一致ブロック特定手段と、
上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも大きく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも小さいブロックを、第２の不一致ブロックとして特定する第２不一致ブロック特定手段と、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルから類推する第１類推手段と、
上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルから類推する第２類推手段と、
上記第１検出手段および第２検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴とするベクトル補正装置。
【請求項５】
請求項１から４までのいずれか１項に記載のベクトル補正装置を備えた画像補間装置であって、
上記補正手段によって補正されたベクトルに基づいて、上記内挿画像を生成する内挿画像生成手段とを備えていることを特徴とする画像補間装置。
【請求項６】
請求項５に記載の画像補間装置を備えていることを特徴とするテレビジョン受像装置。
【請求項７】
請求項５に記載の画像補間装置を備えていることを特徴とする映像再生装置。
【請求項８】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする動きベクトルを検出する検出ステップと、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推ステップと、
上記検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴とするベクトル補正方法。
【請求項９】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする動きベクトルを検出する検出ステップと、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推ステップと、
上記検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴とするベクトル補正方法。
【請求項１０】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする前方向動きベクトルを検出する第１検出ステップと、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする後方向動きベクトルを検出する第２検出ステップと、
上記前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定ステップと、
後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定ステップと、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推ステップと、
上記検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴とするベクトル補正方法。
【請求項１１】
第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする第１前方向動きベクトルを検出する第１検出ステップと、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第１後方向動きベクトルを検出する第２検出ステップと、
上記第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点を始点とする第１後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定ステップと、
第１後方向動きベクトルの始点と、当該第１後方向動きベクトルの終点を始点とする第１前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定ステップと、
上記第１の原画像の各ブロックを始点とし、上記第１の時刻よりも前の第３の時刻に対応する第３の原画像の何れかのブロックを終点とする第２後方向動きベクトルと、上記第３の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第２前方向動きベクトルとを比較する比較ステップと、
上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも小さく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも大きいブロックを、第１の不一致ブロックとして特定する第１不一致ブロック特定ステップと、
上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも大きく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも小さいブロックを、第２の不一致ブロックとして特定する第２不一致ブロック特定ステップと、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルから類推する第１類推ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルから類推する第２類推ステップと、
上記第１検出ステップおよび第２検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴とするベクトル補正方法。
【請求項１２】
請求項１から４までのいずれか１項に記載のベクトル補正装置を動作させる制御プログラムであって、コンピュータを上記の各手段として機能させるための制御プログラム。
【請求項１３】
請求項１２に記載の制御プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置、および、ベクトル補正方法に関し、特に、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体に関するものである。
【背景技術】
【０００２】
２４Ｈｚのフィルム素材を６０Ｈｚや１２０Ｈｚの表示装置に写す場合や、ＩＰ変換等で生成された６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合など原画像素材のフレーム数を変更する場合、時間的に連続した複数のフレームから動きベクトルを求め、動きベクトルに基づいて生成した内挿画像により画像信号のフレーム数を変換する技術が一般的に知られている。
【０００３】
図１１は入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。例えば、６０Ｈｚのプログレッシブ信号を１２０Ｈｚの表示装置に写す場合、時間ｔ−１における原画像１１−１と時間ｔにおける原画像１１−２とを用いて、時間的にちょうど半分（中間）の時刻において内挿画像１１−３を作成して出力することにより、フレームレートを増やしている。
【０００４】
ここで、２枚の原画像から１枚の内挿画像を生成する一般的なプロセスについて説明する。まず、２枚の画像のうち動きベクトルを求める基準となる原画像を決める。図１１における時刻ｔの画像をｆ（ｔ）とすると、ｆ（ｔ−１）とｆ（ｔ）とから内挿画像を生成する場合において、ｆ（ｔ−１）もしくはｆ（ｔ）のいずれかを基準原画像とする。以下では、ｆ（ｔ−１）を基準画像とした場合について説明する。
【０００５】
図１２は、ベクトルを算出するために基準画像をブロックに分割する例を示す図である。図１２に示すとおり、基準画像であるｆ（ｔ−１）は、動きベクトルを算出するための複数のブロックに分割される。図１２における個所１２−１のように、細い線で囲まれた部分は原画像のピクセルを意味し、この例では８ピクセル×８ピクセルの領域ごとに最小ブロック１２−２を定義している。
【０００６】
次に定義された最小ブロックごとにｆ（ｔ−１）とｆ（ｔ）との間の動きベクトルを求める。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。
【０００７】
このようにして基準原画像においては最小ブロックごとにもっとも信頼性の高いと思われる動きベクトルが検出される。通常よく行われる処理としては、このようにして決定された動きベクトルに対して、メディアンフィルタ等のフィルタリングを行い、誤検出を防ぐようにする。
【０００８】
次に、上記のようにして求められた動きベクトルを用いて内挿画像の各座標に対してベクトルの割付処理を行う。割付座標の単位は任意であるが、通常は基準画像のブロック単位より小さな領域が指定される。図１２に示す例では、基準原画像を８ピクセル×８ピクセルで定義したので、例えば４ピクセル×２ピクセルのような小さな領域ごとに、内挿座標に対してベクトルが割り付けられる。
【０００９】
内挿座標へのベクトルの割付について、簡略化のため、水平方向の１次元処理として図１３を用いて説明する。図１３は、内挿座標へのベクトルの割付の例を示す図である。基準原画像ｆ（ｔ−１）の座標ｘについて、矢印１３−１で示す動きベクトルＶｘが求まったとすると、内挿画像を時間ｔ−１と時間ｔのちょうど真ん中に内挿画像を作成する場合、Ｖｘによって算出される内挿座標Ｎ（ｘ）は、Ｎ（ｘ）＝ｘ＋Ｖｘ／２となる。
【００１０】
このとき、Ｎ（ｘ）が含まれる内挿座標の小ブロックに対して、ベクトルＶｘが割付けられる。この処理を基準原画像のすべてのブロックについて実行することで、内挿座標の小ブロック上にベクトルを割り付けていく。結果、内挿座標の各小ブロックについては、ベクトルが複数割付けられたり、全く割付けられなかったりする箇所が発生するが、通常は複数割付けられた場合は、割付けられたベクトルのうち、そのベクトルを用いて計算したｆ（ｔ−１）およびｆ（ｔ）の特定領域との相関が最も高いもので代表する。また全く割付けられなかった場合は、ゼロベクトルで代用する。よく知られている処理としては割付けられたベクトルに対してメディアンフィルタ等のフィルタリング処理を施し、最終ベクトルとする。
【００１１】
最後に、最終的に求められた内挿座標上の割付ベクトルを用いて、ｆ（ｔ−１）もしくはｆ（ｔ）の座標を計算し、片方もしくは両方の画像を用いて内挿画像を生成する。
【００１２】
以上が一般的な内挿画像を作成する処理であるが、さらに動きベクトルの信頼性を向上し、内挿画像におけるアーティファクトを減少させるため双方向ベクトルを導入した処理が提案されている。双方向ベクトルとは、図１３においてｆ（ｔ−１）を基準画像としてｆ（ｔ）の画像を参照して前方向動きベクトルと、ｆ（ｔ）を基準画像としてｆ（ｔ−１）の画像を参照した後方向動きベクトルとの両方向のベクトルのことをいう。
【００１３】
ところで、内挿画像を生成して画像を補間する場合、「消える領域」および「現れる領域」が問題となる。例えば、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間において物体が移動する場合、物体の移動によって、ｆ（ｔ−１）では物体に隠れていないが、ｆ（ｔ）では物体に隠れている背景の領域を「消える領域」と呼び、ｆ（ｔ−１）では物体に隠れているが、ｆ（ｔ）では物体に隠れていない背景の領域を「現れる領域」と呼ぶ。そのため、「消える領域」の情報（背景領域の画像データ）はｆ（ｔ−１）にのみ存在し、「現れる領域」の情報（背景領域の画像データ）はｆ（ｔ）にのみ存在する。ここで、上述した勾配法やブロックマッチングでは、動きベクトルが存在しないという解が存在せず、計算式上の解（勾配法）または画素相関値の最も小さな領域（すなわち画素相関の高い領域）を解として導く手法である。
【００１４】
したがって、ｆ（ｔ−１）からｆ（ｔ）へ動きベクトルを求めた場合、「消える領域」は対応点がなく、周辺の任意の類似点に向かって動きベクトルが示され、ｆ（ｔ）からｆ（ｔ−１）へ動きベクトルを求めた場合、「現れる領域」は対応点がなく、周辺の任意の類似点に向かってベクトルが示される。
【００１５】
このようにして決定された動きベクトルに基づいて内挿画像を作成する場合、原画像ｆ（ｔ−１）もしくは原画像ｆ（ｔ）のどちらかを使用して内挿画像を作成すると、内挿画像において「消える領域」もしくは「現れる領域」に対応する領域に物体が映し出されてしまう。また、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の両方を使用して内挿画像を作成する場合、「消える領域」および「現れる領域」の両方に物体が映し出されてしまい、生成される内挿画像の精度は低下するという問題が発生する。
【００１６】
これに対して、「消える領域」、「現れる領域」を考慮して画像を補間する構成は、例えば、特許文献１〜３に開示されている。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開平８−９３３９号公報（１９９６年１月１２日）
【特許文献２】特開平７−３３６６８８号公報（１９９５年１２月２２日）
【特許文献３】特開平９−２１４８９９号公報（１９９７年８月１５日）
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、上記従来の構成は、「消える領域」、「現れる領域」を考慮した画像の補間方法ではあるが、内挿画像を精度良く生成することができないという問題が生じる。
【００１９】
例えば、時間的に前の原画像をｆ（ｔ）と時間的に後の原画像をｆ（ｔ＋１）とし、ｆ（ｔ）の時間的にひとつ前の原画像をｆ（ｔ−１）、ｆ（ｔ＋１）の時間的にひとつ後の原画像をｆ（ｔ＋２）とする。特許文献１や特許文献３の記載の構成では、ｆ（ｔ）とｆ（ｔ＋１）の間に内挿画を生成すると、「消える領域」、「現れる領域」に割り付けるベクトルにｆ（ｔ−１）とｆ（ｔ）との間で求めた動きベクトルやｆ（ｔ＋１）とｆ（ｔ＋２）との間で求めた動きベクトルを割り当てる構成となっている。これは、物体および背景領域が等速運動をすることを前提としている。実際の映像においては、物体が完全に等速運動している場合は少なく、また、加減速運動する物体をカメラが追いかけることにより、相対的に背景領域が加減速をすることになる。
【００２０】
図４は、背景の動き量が変化する状態を説明するための図であって、時刻ｔ−１における原画像ｆ（ｔ−１）、時刻ｔにおける原画像ｆ（ｔ）、時刻ｔ＋１における原画像ｆ（ｔ＋１）、時刻ｔ＋２における原画像ｆ（ｔ＋２）および時刻ｔ＋３における原画像ｆ（ｔ＋３）の一例を示す図である。
【００２１】
図４において、符号４−１の四角で囲った部分は、動きベクトル検出を行う１つの画素グループを指している。アルファベットを記した画素グループを背景の領域とし、符号４−２の斜線で記した部分を物体の領域とする。また、符号４−３の矢印は物体の動きベクトルを示し、符号４−４は背景の動きベクトルを示している。今、映像としては、アルファベットで示されるような背景の中、物体が加速をしていく様子を例に説明する。カメラは物体を中心に捉えるように物体を追って撮影するものとする。加速する速度は、フレームおきに２ブロック／フレームであるものとする。
【００２２】
原画像ｆ（ｔ−１）と原画像ｆ（ｔ）では、加速する物体は静止して撮像されており、相対的に背景は左方向に２ブロック／フレームの速度で動いている。原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）では、加速する物体は静止して撮像されており、相対的に背景は４ブロック／フレームの速度で動いている。原画像ｆ（ｔ＋１）と原画像ｆ（ｔ＋２）では、加速する物体は静止して撮像され、相対的に背景は６ブロック／フレームの速度で動いている。原画像ｆ（ｔ＋２）と原画像ｆ（ｔ＋３）では、加速する物体は静止して撮像され、相対的に背景は８ブロック／フレームの速度で動いている。
【００２３】
このフレームを使用して時間的に２枚の原画像の１／２の位置における内挿画を作成する場合について、図５を用いて説明する。図５は、図４の原画像から内挿画像を作画した場合に生じる問題点を説明するための図であって、原画像の中間時点に内挿画を作成した場合の様子を示す図である。図５では、時刻ｔ−０．５における内挿画像ｆ（ｔ−０．５）、時刻ｔ＋０．５における内挿画像ｆ（ｔ＋０．５）、時刻ｔ＋１．５における内挿画像ｆ（ｔ＋１．５）および時刻ｔ＋２．５における原画像ｆ（ｔ＋２．５）を示している。
【００２４】
図５において、符号５−１は動きベクトル検出を行う１つの画素グループを指している。アルファベットが記されている画素グループは背景であり、図４に示す画素グループ４−１に相当する。また、符号５−２の斜線で示される部分は物体を示しており、図４の領域４−２に相当する。
【００２５】
符号５−３Ａの実線で示される矢印は、物体部の内挿画ｆ（ｔ−０．５）が時間的に過去の原画像ｆ（ｔ−１）を参照していることを示す。符号５−３Ｂの実線で示される矢印は物体部の内挿画ｆ（ｔ−０．５）が時間的に未来の原画像ｆ（ｔ）を参照していることを示す。矢印５−３Ａ、５−３Ｂは、図４の動きベクトル４−３に相当する。符号５−４Ａの実線で示される矢印は、背景部の内挿画ｆ（ｔ−０．５）が時間的に過去の原画像ｆ（ｔ−１）を参照していることを示す。符号５−４Ｂの実線で示される矢印は背景部の内挿画ｆ（ｔ−０．５）が時間的に未来の原画像ｆ（ｔ）を参照していることを示す。矢印５−４Ａ、５−４Ｂは、図４の動きベクトル４−４に相当する。符号５−１１の点線で示される矢印は内挿画の「消える領域」であり、時間的に過去の原画像ｆ（ｔ−１）からのみ作画することを示す。
【００２６】
ここで、物体によって隠される背景の「消える領域」に着目して説明する。まず、原画ｆ（ｔ）と原画ｆ（ｔ＋１）間では、物体と背景の‘Ｇ’が内挿画ｆ（ｔ＋０．５）に双方向からブレンドされる。物体と‘Ｇ’の間が「消える領域」と認識され、過去のみから作画しようとする。このとき「消える領域」に割り当てられるベクトルは、特許文献１〜３に従えば、前回検出した背景の動きベクトルとなる。
【００２７】
２ブロック／フレームで背景は加速しているので、原画ｆ（ｔ−１）と原画ｆ（ｔ）との間で、背景は２ブロック動く。したがって、‘Ｄ’、‘Ｅ’が内挿画ｆ（ｔ＋０．５）に表示される。内挿画ｆ（ｔ＋０．５）では、背景が“ＤＥＧ”となり、“ＥＧ”間に非連続点が発生する。
【００２８】
また、原画ｆ（ｔ＋１）と原画ｆ（ｔ＋２）との間では、物体領域と背景領域の‘Ｍ’の画素グループが内挿画ｆ（ｔ＋１．５）に双方向からブレンドされる。物体と‘Ｍ’の間が「消える領域」と認識され、過去のみから作画しようとする。このとき「消える領域」に割り当てるベクトルは、特許文献１〜３に従えば、前回検出した背景の動きベクトルとなる。
【００２９】
２ブロック／フレームで背景は加速しているので原画ｆ（ｔ）と原画ｆ（ｔ＋１）間の背景の動きは４となる。したがって、‘Ｉ’‘Ｊ’‘Ｋ’が内挿画ｆ（ｔ＋１．５）に表示される。内挿画ｆ（ｔ＋１．５）では背景が“ＩＪＫＭ”となり、“ＫＭ”間に非連続点が発生する。原画ｆ（ｔ＋２）と原画ｆ（ｔ＋３）間では、物体と背景の‘Ｕ’が内挿画ｆ（ｔ＋２．５）に双方向からブレンドされるが、物体と‘Ｕ’との間が「消える領域」と認識され、過去のみから作画しようとする。このとき「消える領域」に割り当てるベクトルは、特許文献１〜３に従えば、前回検出した背景の動きベクトルとなる。
【００３０】
２ブロック／フレームで背景は加速しているので原画ｆ（ｔ＋１）と原画ｆ（ｔ＋２）間の背景は６ブロック動く。したがって、‘Ｐ’‘Ｑ’‘Ｒ’‘Ｓ’が内挿画ｆ（ｔ＋２．５）に表示される。内挿画ｆ（ｔ＋２．５）では背景が“ＰＱＲＳＵ”となり、“ＳＵ”間に不連続点が発生する。ここまで、「消える領域」について説明したが、「現れる領域」についても説明は省略するが同様の現象が発生する。
【００３１】
このように特許文献１〜３に従った場合、フレーム間の微妙な動きの変化によって内挿画上に物体の輪郭に沿って不連続点が発生してしまい、良質な内挿画が得られない問題が発生する。
【００３２】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、内挿画像の破綻を防止し、精度良く内挿画像を生成するために、信頼性の高い動きベクトルを決定することが可能なベクトル補正装置、ベクトル補正方法、画像補間装置、テレビジョン受像装置、映像再生装置、制御プログラム、および、コンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００３３】
本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする動きベクトルを検出する検出手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００３４】
上記の構成によれば、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける内挿ベクトルを補正する。
【００３５】
検出手段は、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする動きベクトルを検出する。
【００３６】
作画方向判定手段は、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する。作画方向判定手段は、例えば、特許文献１〜３のような手法により、作画方向の判定を行う。
【００３７】
また、第１類推手段は、内挿画像のブロックにおいて検出手段により検出された動きベクトルが割り付けられない未定ブロックであって、作画方向判定手段において第１の原画像のみを用いて作画すると判定された未定ブロックに割り付けるためのベクトルとして、第１の時刻よりも前の第３の時刻における第３の原画像において未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルのうち最も出現頻度の高いベクトルを選択する。
【００３８】
また、第２類推手段は、内挿画像のブロックにおいて検出手段により検出された動きベクトルが割り付けられない未定ブロックであって、作画方向判定手段において第２の原画像のみを用いて作画すると判定された未定ブロックに割り付けるためのベクトルとして、第２の時刻よりも後の第４の時刻における第４の原画像において未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルのうち最も出現頻度の高いベクトルを選択する。
【００３９】
割付手段は、検出手段によって検出された動きベクトルと、第１類推手段および第２類推手段によって類推されたベクトルとを、上記内挿画像の各ブロックに割り付ける。
【００４０】
そして、補正手段は、未定ブロックに割り付けられた内挿ベクトルを、未定ブロックから所定の範囲内にある未定ブロック以外のブロックに割り付けられた内挿ベクトル（すなわち、類推ベクトルが割り付けれたブロックの周辺のブロックに割り付けられた内挿ベクトルのうち、検出手段によって検出された内挿ベクトル）のうち最も近い内挿ベクトルに置き換える。補正手段は、類推ベクトルと周辺のブロックに割り付けられた内挿ベクトルの差分をとり、類推ベクトルを、当該類推ベクトルとの差が最も小さいベクトルに置き換える。
【００４１】
これにより、本発明に係るベクトル補正装置は、第３の原画像と上記第１の原画像との間の動きベクトルおよび上記第２の原画像と上記第４の原画像間の動きベクトルを、内挿ベクトルとして直接使用することがない。すなわち、内挿ベクトルとして、類推ベクトルを用いない。したがって、フレーム間で動きに変化が生じても、第１の原画像と第２の原画像の間において検出された動きベクトルを内挿ベクトルとして使用するので、不連続点が背景に発生することなく、良質な内挿画像を得ることが可能となる。
【００４２】
本発明に係るベクトル補正方法は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする動きベクトルを検出する検出ステップと、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推ステップと、上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推ステップと、上記検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴としている。
【００４３】
上記の構成によれば、本発明に係るベクトル補正装置と同様の作用効果を奏する。
【００４４】
本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする動きベクトルを検出する検出手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００４５】
上記の構成によれば、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける内挿ベクトルを補正する。
【００４６】
検出手段は、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする動きベクトルを検出する。
【００４７】
作画方向判定手段は、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する。作画方向判定手段は、例えば、特許文献１〜３のような手法により、作画方向の判定を行う。
【００４８】
また、第１類推手段は、内挿画像のブロックにおいて検出手段により検出された動きベクトルが割り付けられない未定ブロックであって、作画方向判定手段において第１の原画像のみを用いて作画すると判定された未定ブロックに割り付けるためのベクトルとして、第１の時刻よりも前の第３の時刻における第３の原画像において未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルのうち最も出現頻度の高いベクトルを選択する。
【００４９】
また、第２類推手段は、内挿画像のブロックにおいて検出手段により検出された動きベクトルが割り付けられない未定ブロックであって、作画方向判定手段において第２の原画像のみを用いて作画すると判定された未定ブロックに割り付けるためのベクトルとして、第２の時刻よりも後の第４の時刻における第４の原画像において未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルのうち最も出現頻度の高いベクトルを選択する。
【００５０】
割付手段は、検出手段によって検出された動きベクトルと、第１類推手段および第２類推手段によって類推されたベクトルとを、上記内挿画像の各ブロックに割り付ける。
【００５１】
そして、補正手段は、未定ブロックに割り付けられた内挿ベクトルを、未定ブロックから所定の範囲内にある未定ブロック以外のブロックに割り付けられた内挿ベクトル（すなわち、類推ベクトルが割り付けれたブロックの周辺のブロックに割り付けられた内挿ベクトルのうち、検出手段によって検出された内挿ベクトル）のうち最も近い内挿ベクトルに置き換える。補正手段は、類推ベクトルと周辺のブロックに割り付けられた内挿ベクトルの差分をとり、類推ベクトルを、当該類推ベクトルとの差が最も小さいベクトルに置き換える。
【００５２】
これにより、本発明に係るベクトル補正装置は、第３の原画像と上記第１の原画像との間の動きベクトルおよび上記第２の原画像と上記第４の原画像間の動きベクトルを、内挿ベクトルとして直接使用することがない。すなわち、内挿ベクトルとして、類推ベクトルを用いない。したがって、フレーム間で動きに変化が生じても、第１の原画像と第２の原画像の間において検出された動きベクトルを内挿ベクトルとして使用するので、不連続点が背景に発生することなく、良質な内挿画像を得ることが可能となる。
【００５３】
本発明に係るベクトル補正方法は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする動きベクトルを検出する検出ステップと、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推ステップと、上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記検出ステップにより検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推ステップと、上記検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴としている。
【００５４】
上記の構成によれば、本発明に係るベクトル補正装置と同様の作用効果を奏する。
【００５５】
本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする前方向動きベクトルを検出する第１検出手段と、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする後方向動きベクトルを検出する第２検出手段と、上記前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定手段と、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００５６】
上記の構成によれば、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける内挿ベクトルを補正する。
【００５７】
第１検出手段は、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする前方向動きベクトルを検出する。また、第２検出手段は、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする後方向動きベクトルを検出する。
【００５８】
第１判定手段は、上記前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向動きベクトルを上記内挿ベクトルとして割り付けないと判定する。また、第２判定手段は、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿ベクトルとして割り付けないと判定する。
【００５９】
第１の原画像における領域が第２の原画像にも存在する場合、前方向動きベクトルの始点と、当該前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点とは略一致するが、反対に、略一致しない場合、第１の原画像において存在する領域が、第２の原画像において存在していないことになる。つまり、第１判定手段および第２判定手段によって、補正対象ブロックとして、第１の原画像における「消える領域」（すなわち、移動する物体などの背後に隠れる領域）が検出される。なお、所定の閾値としては、例えば、動きベクトルの検出精度に応じてブロック数が予め設定される構成であってよく、特に限定されない。
【００６０】
また、作画方向判定手段は、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する。作画方向判定手段は、特許文献１〜３に示されるようなヒットボード技法やベクトル演算で求めることが可能である。また、類推ベクトルを原画補正領域から割り付けて内挿座標に与えてもかまわない。
【００６１】
また、第１類推手段は、内挿画像のブロックにおいて検出手段により検出された動きベクトルが割り付けられない未定ブロックであって、作画方向判定手段において第１の原画像のみを用いて作画すると判定された未定ブロックに割り付けるためのベクトルとして、第１の時刻よりも前の第３の時刻における第３の原画像において未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルのうち最も出現頻度の高いベクトルを選択する。
【００６２】
また、第２類推手段は、内挿画像のブロックにおいて検出手段により検出された動きベクトルが割り付けられない未定ブロックであって、作画方向判定手段において第２の原画像のみを用いて作画すると判定された未定ブロックに割り付けるためのベクトルとして、第２の時刻よりも後の第４の時刻における第４の原画像において未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルのうち最も出現頻度の高いベクトルを選択する。
【００６３】
例えば、第１の原画像と第３の原画像の検出においては、未定ブロックを中心に所定の範囲内の第１の原画像から第３の原画像に向かう後方向動きベクトル検出結果で出現頻度が最も多かったものを第１の原画像のみを用いて作画する場合の類推ベクトルとする。第２の原画像と第４の原画像の検出においては、未定ブロックを中心に所定の範囲内の第２の原画像から第４の原画像に向かう前方向動きベクトル検出結果で出現頻度が最も多かったものを第２の原画像のみを用いて作画する場合の類推ベクトルとする。
【００６４】
割付手段は、検出手段によって検出された動きベクトルと、第１類推手段および第２類推手段によって類推されたベクトルとを、上記内挿画像の各ブロックに割り付ける。
【００６５】
そして、補正手段は、未定ブロックに割り付けられた内挿ベクトルを、未定ブロックから所定の範囲内にある未定ブロック以外のブロックに割り付けられた内挿ベクトル（すなわち、類推ベクトルが割り付けれたブロックの周辺のブロックに割り付けられた内挿ベクトルのうち、検出手段によって検出された内挿ベクトル）のうち最も近い内挿ベクトルに置き換える。補正手段は、類推ベクトルと周辺のブロックに割り付けられた内挿ベクトルの差分をとり、類推ベクトルを、当該類推ベクトルとの差が最も小さいベクトルに置き換える。
【００６６】
これにより、本発明に係るベクトル補正装置は、第３の原画像と上記第１の原画像との間の動きベクトルおよび上記第２の原画像と上記第４の原画像間の動きベクトルを、内挿ベクトルとして直接使用することがない。すなわち、内挿ベクトルとして、類推ベクトルを用いない。したがって、フレーム間で動きに変化が生じても、第１の原画像と第２の原画像の間において検出された動きベクトルを内挿ベクトルとして使用するので、不連続点が背景に発生することなく、良質な内挿画像を得ることが可能となる。
【００６７】
本発明に係るベクトル補正方法は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする前方向動きベクトルを検出する第１検出ステップと、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする後方向動きベクトルを検出する第２検出ステップと、上記前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定ステップと、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定ステップと、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推ステップと、上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推ステップと、上記検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴としている。
【００６８】
上記の構成によれば、本発明に係るベクトル補正装置と同様の作用効果を奏する。
【００６９】
本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする第１前方向動きベクトルを検出する第１検出手段と、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第１後方向動きベクトルを検出する第２検出手段と、上記第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点を始点とする第１後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定手段と、第１後方向動きベクトルの始点と、当該第１後方向動きベクトルの終点を始点とする第１前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定手段と、上記第１の原画像の各ブロックを始点とし、上記第１の時刻よりも前の第３の時刻に対応する第３の原画像の何れかのブロックを終点とする第２後方向動きベクトルと、上記第３の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第２前方向動きベクトルとを比較する比較手段と、上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも小さく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも大きいブロックを、第１の不一致ブロックとして特定する第１不一致ブロック特定手段と、上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも大きく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも小さいブロックを、第２の不一致ブロックとして特定する第２不一致ブロック特定手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルから類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルから類推する第２類推手段と、上記第１検出手段および第２検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００７０】
上記の構成によれば、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付ける内挿ベクトルを補正する。
【００７１】
第１検出手段は、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする第１前方向動きベクトルを検出する。また、第２検出手段は、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第１後方向動きベクトルを検出する。
【００７２】
第１判定手段は、上記第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点を始点とする第１後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１前方向動きベクトルを上記内挿ベクトルとして割り付けないと判定する。また、第２判定手段は、第１後方向動きベクトルの始点と、当該第１後方向動きベクトルの終点を始点とする第１前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿ベクトルとして割り付けないと判定する。
【００７３】
第１の原画像における領域が第２の原画像にも存在する場合、第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点のブロックを始点とする第１後方向動きベクトルの終点とは略一致するが、反対に、略一致しない場合、第１の原画像において存在する領域が、第２の原画像において存在していないことになる。つまり、第１判定手段および第２判定手段によって、補正対象ブロックとして、第１の原画像における「消える領域」（すなわち、移動する物体などの背後に隠れる領域）が検出される。なお、所定の閾値としては、例えば、動きベクトルの検出精度に応じてブロック数が予め設定される構成であってよく、特に限定されない。
【００７４】
また、比較手段は、上記第１の原画像の各ブロックを始点とし、上記第１の時刻よりも前の第３の時刻に対応する第３の原画像の何れかのブロックを終点とする第２後方向動きベクトルと、上記第３の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第２前方向動きベクトルとを比較する。
【００７５】
また、第１不一致ブロック特定手段は、上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも小さく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも大きいブロックを、第１の不一致ブロックとして特定する。また、第２不一致ブロック特定手段は、上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも大きく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも小さいブロックを、第２の不一致ブロックとして特定する。
【００７６】
第１の不一致ブロックにおける第１前方向動き動きベクトルは、「現れる領域」用のベクトルとなる。また、第２の不一致ブロックにおける第２後方向動きベクトルは、「消える領域」用のベクトルとなる。
【００７７】
また、作画方向判定手段は、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する。作画方向判定手段は、特許文献１〜３に示されるようなヒットボード技法やベクトル演算で求めることが可能である。また、類推ベクトルを原画補正領域から割り付けて内挿座標に与えてもかまわない。
【００７８】
また、第１類推手段は、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルから類推する。
【００７９】
また、第２類推手段は、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルから類推する。
【００８０】
例えば、未定ブロックを中心に所定の範囲内にある上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルのうち、出現頻度の高い動きベクトル、あるいは、平均値の動きベクトルを類推ベクトルとする。また、未定ブロックを中心に所定の範囲内にある上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルのうち、出現頻度の高い動きベクトル、あるいは、平均値の動きベクトルを類推ベクトルとする。
【００８１】
割付手段は、第１検出手段および第２検出手段によって検出された動きベクトルと、第１類推手段および第２類推手段によって類推されたベクトルとを、上記内挿画像の各ブロックに割り付ける。
【００８２】
そして、補正手段は、未定ブロックに割り付けられた内挿ベクトルを、未定ブロックから所定の範囲内にある未定ブロック以外のブロックに割り付けられた内挿ベクトル（すなわち、類推ベクトルが割り付けれたブロックの周辺のブロックに割り付けられた内挿ベクトルのうち、検出手段によって検出された内挿ベクトル）のうち最も近い内挿ベクトルに置き換える。補正手段は、類推ベクトルと周辺のブロックに割り付けられた内挿ベクトルの差分をとり、類推ベクトルを、当該類推ベクトルとの差が最も小さいベクトルに置き換える。
【００８３】
これにより、本発明に係るベクトル補正装置は、第３の原画像と上記第１の原画像との間の動きベクトル動きベクトルを、内挿ベクトルとして直接使用することがない。すなわち、内挿ベクトルとして、類推ベクトルを用いない。したがって、フレーム間で動きに変化が生じても、第１の原画像と第２の原画像の間において検出された動きベクトルを内挿ベクトルとして使用するので、不連続点が背景に発生することなく、良質な内挿画像を得ることが可能となる。しかも、上記第４の原画像は必要とせずに、第１の原画像、第２の原画像、第３の原画像の３枚の原画像で同等の内挿画を作成することが可能となる。
【００８４】
本発明に係るベクトル補正方法は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正方法であって、
上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする第１前方向動きベクトルを検出する第１検出ステップと、
上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第１後方向動きベクトルを検出する第２検出ステップと、
上記第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点を始点とする第１後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定ステップと、
第１後方向動きベクトルの始点と、当該第１後方向動きベクトルの終点を始点とする第１前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定ステップと、
上記第１の原画像の各ブロックを始点とし、上記第１の時刻よりも前の第３の時刻に対応する第３の原画像の何れかのブロックを終点とする第２後方向動きベクトルと、上記第３の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第２前方向動きベクトルとを比較する比較ステップと、
上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも小さく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも大きいブロックを、第１の不一致ブロックとして特定する第１不一致ブロック特定ステップと、
上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも大きく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも小さいブロックを、第２の不一致ブロックとして特定する第２不一致ブロック特定ステップと、
上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルから類推する第１類推ステップと、
上記作画方向判定ステップの判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出ステップおよび第２検出ステップにより検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルから類推する第２類推ステップと、
上記第１検出ステップおよび第２検出ステップによって検出された動きベクトルと、上記第１類推ステップおよび上記第２類推ステップによって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付ステップと、
上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正ステップとを含んでいることを特徴とするベクトル補正方法。
【００８５】
上記の構成によれば、本発明に係るベクトル補正装置と同様の作用効果を奏する。
【００８６】
本発明に係る画像補間装置は、ベクトル補正装置を備えた画像補間装置であって、上記補正手段によって補正されたベクトルに基づいて、上記内挿画像を生成する内挿画像生成手段とを備えていることが好ましい。
【００８７】
上記の構成によれば、本発明に係る画像補間装置は、補正された内挿ベクトルに基づいて内挿画像を作画することができる。これにより、良質な内挿画像を得ることができる。
【００８８】
また、本発明に係るテレビジョン受像装置は、上記画像補間装置を備えていることが好ましい。
【００８９】
また、本発明に係る映像再生装置は、上記画像補間装置を備えていることが好ましい。
【００９０】
なお、画像補間装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記画像補間装置をコンピュータにおいて実現する制御プログラム、およびその制御プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００９１】
本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする動きベクトルを検出する検出手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００９２】
また、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする動きベクトルを検出する検出手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記検出手段により検出された動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００９３】
また、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする前方向動きベクトルを検出する第１検出手段と、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする後方向動きベクトルを検出する第２検出手段と、上記前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定手段と、後方向動きベクトルの始点と、当該後方向動きベクトルの終点を始点とする前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の時刻よりも前の第３の時刻における第３の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第１の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された前方向動きベクトルおよび後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の時刻よりも後の第４の時刻における第４の原画像において上記未定ブロックから所定の範囲内にあるブロックを始点とし上記第２の原画像の何れかのブロックを終点とする動きベクトルの出現頻度から類推する第２類推手段と、上記検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００９４】
また、本発明に係るベクトル補正装置は、第１の時刻に対応する第１の原画像と、上記第１の時刻よりも後の第２の時刻に対応する第２の原画像との間に内挿する内挿画像の各ブロックに割り付けるベクトルを補正するベクトル補正装置であって、上記第１の原画像と上記第２の原画像とから、上記第１の原画像の各ブロックを始点とし、上記第２の原画像の何れかのブロックを終点とする第１前方向動きベクトルを検出する第１検出手段と、上記第１の原画像と上記第２の原画像とから、上記第２の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第１後方向動きベクトルを検出する第２検出手段と、上記第１前方向動きベクトルの始点と、当該第１前方向動きベクトルの終点を始点とする第１後方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１前方向動きベクトルを上記内挿画像のブロックに割り付けないと判定する第１判定手段と、第１後方向動きベクトルの始点と、当該第１後方向動きベクトルの終点を始点とする第１前方向動きベクトルの終点との間隔が、所定の閾値よりも大きい場合、当該第１後方向ベクトルを上記内挿画像のブロックに割り付けないと判定する第２判定手段と、上記第１の原画像の各ブロックを始点とし、上記第１の時刻よりも前の第３の時刻に対応する第３の原画像の何れかのブロックを終点とする第２後方向動きベクトルと、上記第３の原画像の各ブロックを始点とし、上記第１の原画像の何れかのブロックを終点とする第２前方向動きベクトルとを比較する比較手段と、上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも小さく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも大きいブロックを、第１の不一致ブロックとして特定する第１不一致ブロック特定手段と、上記第１の原画像のブロックのうち、上記第１前方向動きベクトルの終点を始点とする上記第１後方向動きベクトルの終点との間隔が所定の閾値よりも大きく、かつ、上記第２後方向動きベクトルの終点を始点とする上記第２前方向動きベクトルの終点との間隔が所定の閾値よりも小さいブロックを、第２の不一致ブロックとして特定する第２不一致ブロック特定手段と、上記内挿画像の各ブロックに対して、上記第１の原画像のみから作画するか、上記第２の原画像のみから作画するか、もしくは、第１の原画像および第２の原画像の両方から作画するかを判定する作画方向判定手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第１の不一致ブロックを始点とする上記第１前方向動きベクトルから類推する第１類推手段と、上記作画方向判定手段の判定結果に応じて、上記内挿画像のブロックにおいて上記第１検出手段および第２検出手段により検出された上記第１前方向動きベクトルおよび上記第１後方向動きベクトルが割り付けられない未定ブロックに割り付けるための類推ベクトルを、上記第２の不一致ブロックを始点とする上記第２後方向動きベクトルから類推する第２類推手段と、上記第１検出手段および第２検出手段によって検出された動きベクトルと、上記第１類推手段および上記第２類推手段によって類推された類推ベクトルとを、上記内挿画像の各ブロックに割り付ける割付手段と、上記未定ブロックに割り付けられた類推ベクトルを、当該未定ブロックから所定の範囲内にあるブロックに割り付けられた動きベクトルのうち、当該類推ベクトルに最も近い動きベクトルに置き換える補正手段とを備えていることを特徴としている。
【００９５】
それゆえ、内挿ベクトルとして割り付けられる類推ベクトルは、内挿画像を挟む原画像間の動き検出の結果として得られた動きベクトルに置き換えられる。したがって、内挿ベクトルは、動きの変化に対応したベクトルとなり、補正された内挿ベクトルを用いて作画された内挿画に不連続点を発生させることがなく、良質な内挿画を生成することが可能となる。
【図面の簡単な説明】
【００９６】
【図１】本発明に係る画像補間装置１の構成を示すブロック図である。
【図２】背景が移動する映像の原画像を示す図であり、（ａ）は、内挿画像に対して時間的に過去の原画像ｆ（ｔ―１）を示す図であり、（ｂ）は、内挿画像に対して時間的に未来の原画像ｆ（ｔ）を示す図である。
【図３】内挿画像の作画処理を説明するための図であって、図２（ａ）および（ｂ）に示す原画像と内挿画像を、背景の動き方向の断面をとって一次元表示した図である。
【図４】背景の動き量が変化する状態を説明するための図であって、時刻ｔ−１における原画像ｆ（ｔ−１）、時刻ｔにおける原画像ｆ（ｔ）、時刻ｔ＋１における原画像ｆ（ｔ＋１）、時刻ｔ＋２における原画像ｆ（ｔ＋２）および時刻ｔ＋３における原画像ｆ（ｔ＋３）の一例を示す図である。
【図５】背景の動き量が変化する状態を説明するための図であって、図４を作画した場合に内挿画に生じる問題点を説明した図であり、原画像の中間時点に内挿画を作成するとした図であり、時刻ｔ−０．５における原画像ｆ（ｔ−０．５）、時刻ｔにおける原画像ｆ（ｔ＋０．５）、時刻ｔ＋１．５における原画像ｆ（ｔ＋１．５）および時刻ｔ＋２．５における原画像ｆ（ｔ＋２．５）の一例を示す図である。
【図６】背景の動き量が変化する状態を説明するための図であって、本発明によって図５の内挿画像の問題点が改善できることを示す図である。
【図７】本発明に係る画像補間装置の構成を示すブロック図である。
【図８】双方向ベクトル比較の手法を説明する図であり、比較する座標を示す図である。
【図９】双方向ベクトル比較の手法を説明する図であり、一致条件を説明する図である。
【図１０】本発明に係る画像補間装置の変形例である統計データ処理部の動作を説明した図である。
【図１１】入力される６０Ｈｚの原画像と１２０Ｈｚの出力画像との関係を示す図である。
【図１２】動きベクトルを算出するために基準画像をブロックに分割する例を示す図である。
【図１３】内挿座標へのベクトルの割付の例を示す図である。
【発明を実施するための形態】
【００９７】
〔実施の形態１〕
（画像補間装置１の概要）
図１は、本発明に係る画像補間装置１の構成を示すブロック図である。本発明に係る画像補間装置１は、遅延部２（映像データ遅延手段）とベクトル検出部３（検出手段）と作画方向判定部４（作画方向判定手段）と遅延部５（ベクトルデータ遅延手段）とベクトル割付部６（割付手段）とベクトル補正部７（補正手段）と統計処理部８（第１類推手段、第２類推手段）と遅延部９（１次置き換えベクトル遅延部）と遅延部１０（２次置き換えベクトル遅延部）と作画部１１（内挿画像生成手段）と遅延部１２（作画用遅延手段）を備えている。
【００９８】
なお、本実施の形態では、動きベクトル補正装置１００は、遅延部２（映像データ遅延手段）と動きベクトル検出部３と作画方向判定部４と遅延部５（ベクトルデータ遅延手段）とベクトル割付部６とベクトル補正部７と統計処理部８と遅延部９（１次置き換えベクトル遅延部）と遅延部１０（２次置き換えベクトル遅延部）とを備えている。動きベクトル補正装置１００は、画像補間装置１に一体的に備えられており、作画部１１と遅延部１２（作画用遅延手段）と共に画像補間装置１を形成している。
【００９９】
画像補間装置１は、外部から入力される映像信号に含まれる時刻ｔ＋１における原画像ｆ（ｔ＋１）（第２の原画像、未来画）と、１つ前の時刻ｔにおける原画像ｆ（ｔ）（第１の原画像、過去画）とから、内挿画像を生成する。画像補間装置１では、外部からの映像信号は、遅延部２、およびベクトル検出部３に入力される。以下では、外部から時刻ｔ＋１における原画像ｆ（ｔ＋１）を表す映像信号が入力されたときの処理について説明する。
【０１００】
遅延部２は、入力された外部からの映像信号を遅延させて、ベクトル検出部３と作画部１１および遅延部１２に供給する。外部から原画像ｆ（ｔ＋１）を表す映像信号が入力されるタイミングにおいて、遅延部２は、原画像ｆ（ｔ）を表す映像信号を出力する。遅延部２は、例えば、ＤＤＲなどのメモリによって構成される。
【０１０１】
動きベクトル検出部３は、それぞれ原画像ｆ（ｔ）を基準画像として動きベクトルを算出する。また、動きベクトル検出部３は、図２に示すように、原画像を複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。図２は、背景が移動する映像の原画像を示す図であり、（ａ）は、内挿画像に対して時間的に過去の原画像ｆ（ｔ―１）を示す図であり、（ｂ）は、内挿画像に対して時間的に未来の原画像ｆ（ｔ）を示す図である。動きベクトル検出部３は、ブロックマッチングや勾配法によって動きベクトルを算出するが、動きベクトルは他の方法によって算出されてもよい。動きベクトル検出部３は、検出した動きベクトルを、作画方向判定部４および統計処理部８に出力する。このベクトルを始点となる時間を基準に表記してＶ（ｔ）とする。
【０１０２】
作画方向判定部４は、特許文献１に示されるような方法（ヒットボード技法）により、過去画像のみで表現すべき領域および未来画像のみで表現すべき領域を特定する。領域特定されたベクトルは置き換えるべきベクトルとの時間的な位相を合わせるために遅延部５に送られ、１入力分遅延させる。
【０１０３】
統計処理部８は、動きベクトル検出部３からの動きベクトルの情報を統計データ（例えば、ヒストグラム）として処理し、所定の座標ごとに最適な置き換えベクトル（類推ベクトル）を抽出する。例えば、「消える領域」に与えるベクトルとしては、１フレーム前の入力時の検出における該「消える領域」の座標を終点とするベクトルであり、「現れる領域」に与えるベクトルとしては、１フレーム後の入力時の検出における該「現れる領域」の座標を始点とするベクトルである。統計的に処理することで、全座標について個別に置き換えベクトルを算出するのではなく、所定の領域ごとに代表的な置き換えベクトルを算出することで保持すべきデータ量を減ずることが可能となる。処理結果により「現れる領域」に適応するべきベクトルｆＶ（ｔ）と「消える領域」に適応すべきベクトルｐＶ（ｔ）を出力する。ｆＶ（ｔ）はベクトル割付部６に出力し、ｐＶ（ｔ）は、使用する時間軸を調整するために遅延部９に出力する。
【０１０４】
ベクトル割付部６は、遅延部５、遅延部９および遅延部１０によって時間的な調整を受けた検出ベクトルＶ（ｔ−１）と、その置き換え領域の情報（検出ベクトルを用いずに類推ベクトルに置き換える領域の情報）と、未来側の画像のみで表現すべき場合の置き換えるべき類推ベクトルｆＶ（ｔ）と、過去側の画像のみで表現すべき場合の置き換えるべき類推ベクトルｐＶ（ｔ−２）の情報とに基づいて内挿時間に即した内挿ベクトルＶｉ（ｔ−１）を作成しベクトル補正部７に出力する。つまり、上記の置き換え領域の情報とは、内挿座標（内挿画像のブロック）において、例えば、信頼性の低い検出ベクトルや誤検出された検出ベクトルが割り付けられてしまうことになる領域であって、より精度の高い類推ベクトルに置き換えが必要な領域の情報である。そして、ベクトル割付部６は、置き換え領域の情報をもとに、内挿画像に割り付ける内挿ベクトルを、検出ベクトルから類推ベクトルに置き換える処理を行う。このとき、置き換えた領域がベクトル補正部７で認識できるようにフラグとなる情報を内挿ベクトルに付加することが好ましい。また、未割付となった領域の情報も付加することが好ましい。
【０１０５】
ベクトル補正部７は、内挿ベクトルＶｉ（ｔ−１）のうち、置き換えベクトル（類推ベクトル）が割り付けられている領域に対して、内挿画像上のブロックの隣接するブロックのベクトルと該置き換えベクトルとを比較する。該隣接ブロックのベクトルの中で置き換えベクトルと最もベクトルの差が小さいものをブロックごとに算出する。算出したベクトルをｍＶ（ｔ−１）とすると、ブロックの内挿ベクトルの値ｆＶ（ｔ）もしくはｐＶ（ｔ−２）をｍＶ（ｔ−１）に置き換える。比較対象となる隣接ブロックは、要求される精度に応じて予め設定され、特に限定はされない。
【０１０６】
未割付領域も隣接ブロックに置き換え領域が存在した場合、未割付領域は置き換え領域として扱い、ｆＶ（ｔ）もしくはｐＶ（ｔ−２）の値は隣接ブロック上の値を適応して扱う。また、どの隣接ブロックとのベクトル差も閾値より大きい場合、置き換え処理は行わないことが好ましい。複数の隣接ブロックに異なったｆＶ（ｔ）もしくはｐＶ（ｔ−２）に類似したベクトルが存在した場合、類似ベクトルの平均値を取ってもかまわないものとする。
【０１０７】
そして、作画部１１は、ベクトル割付部９からの動きベクトルの割付情報に基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。
【０１０８】
（画像補間処理）
はじめに、本願発明に係る画像補間装置１における画像補間処理のうち、一般的な画像補間処理と同様の処理内容について説明する。
【０１０９】
（１）動きベクトルの検出
図２は、物体Ａをカメラが追っている映像の原画像を示す図であり、（ａ）は時刻ｔ−１における原画像ｆ（ｔ−１）を示す図であり、（ｂ）は時刻ｔにおける原画像ｆ（ｔ）を示す図である。図２に示す例では、時刻ｔと時刻ｔ−１の間の内挿画像を生成する。時刻ｔ−１は、時刻ｔの１つ前の時刻であり、原画像ｆ（ｔ−１）は内挿画像に対して過去の画像となり、原画像ｆ（ｔ）は内挿画像に対して未来の画像となる。
【０１１０】
図２（ａ）に示すとおり、原画像ｆ（ｔ−１）において、個所２−１のように細い線で囲まれた部分は、１ピクセル（画素）を表しており、８×８ピクセルの画素群ごとに検出ブロック２−２〜２−１１を構成している。原画像ｆ（ｔ）においても、８×８ピクセルの画素群ごとに検出ブロック２−１３〜２−２２を構成している。原画像ｆ（ｔ−１）およびｆ（ｔ）における白抜きの画素群は、物体Ａを表している。また、図２（ａ）および（ｂ）において、斜線等によって示される領域は、物体Ａの背景領域を表している。図２（ａ）および（ｂ）において、線種による違いは視覚的に背景の動きを示すためにつけたテクスチャであり、同一情報を示すものではない。また、図２（ａ）の矢印２−１２は、背景領域の動きベクトルを示している。
【０１１１】
図３は、内挿画像の作画処理を説明するための図であって、図２（ａ）および（ｂ）に示す原画像と内挿画像を、物体Ａの動き方向の断面をとって一次元表示した図である。図３では、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）とを動きベクトルで対応付けて示している。動きベクトルは、ｆ（ｔ−１）とｆ（ｔ）との間で、検出ブロックごとに検出される。動きベクトルの求め方としては、ブロックマッチングや勾配法など一般的な方法を用いる。
【０１１２】
動きベクトルの検出においては、「消える領域」、「現れる領域」が問題となる。例えば、検出ブロック３−６に示されている背景領域の画像は、未来画においては、物体によって隠れてしまう「消える領域」である。つまり、原画像ｆ（ｔ−１）の検出ブロック３−６に示されている背景画像は、原画像ｆ（ｔ）では、物体の陰に隠れてしまっている。そのため、内挿画において正しく検出されたブロック間（物体と背景領域）に、３−１３や３−１４のような時間的に一方向にのみしか情報のない領域が発生する。したがって、この領域は検出情報が存在し得ないので類推によって求めることになる。
【０１１３】
（２）類推ベクトル
類推ベクトルは、図３において、原画像領域の検出ブロック３−６や３−８にあたる領域を特定することから始まる。まず、ブロック３−６の領域は、動きベクトル検出によって求めたベクトルは原画像ｆ（ｔ）のいずれかの座標において、他の検出ベクトルと競合する。原画像ｆ（ｔ）において競合したベクトルの始点を「消える領域」と判定する。ブロック３−８の領域はｆ（ｔ）の座標においてどのベクトルも割りつかなかった領域を「現れる領域」と判定する。
【０１１４】
「消える領域」の動きベクトルは、過去の動きを継続するすると類推することになる。したがって、原画像ｆ（ｔ−２）（第４の原画像）と原画像ｆ（ｔ−１）（第２の原画像）の間の検出でブロック３−６の領域を終点とするベクトルが継続すると予測し、ブロック３−６の類推ベクトルとする。「現れる領域」の動きベクトルは、未来の動きから類推することになる。したがって、原画像ｆ（ｔ）（第１の原画像）と原画像ｆ（ｔ＋１）（第３の原画像）の間の検出でブロック３−８の領域を始点とするベクトルは、過去を継続して動いていると予測し、逆向きのベクトルが原画像ｆ（ｔ）のブロック３−８からの類推ベクトルとする。
【０１１５】
（３）動きベクトルの割り付け
以下に、内挿座標への動きベクトルの割り付けについて説明する。本願発明に係る画像補間装置１は、上述のとおり、「消える領域」、「現れる領域」において検出された動きベクトルを、統計データに基づいて補正したうえで、内挿座標への動きベクトルの割付処理を行う。
【０１１６】
図３では、原画像ｆ（ｔ−１）を基準として原画像ｆ（ｔ）に対して検出された動きベクトルが内挿座標に割り付けられる様子が示されている。図３に示す例では、動きベクトルは、過去画ｆ（ｔ−１）から未来画ｆ（ｔ）に対して求められており、理想的に求まったものとして示している。図３において、実線の矢印は、原画において検出された動きベクトルであって、内挿ブロックにおいて割り付けられた動きベクトルを示しており、破線の矢印は、類推ベクトルを示している。
【０１１７】
図３において、原画像ｆ（ｔ−１）は、検出ブロック３−１〜３−６を含んでおり、原画像ｆ（ｔ）は、検出ブロック３−７〜３−１２を含んでいる。図２（ａ）の検出ブロック２−２〜２−６は図３の検出ブロック３−２〜３−６に対応しており、図２（ｂ）の検出ブロック２−１３〜２−１７は図３の検出ブロック３−８〜３−１２に対応している。
【０１１８】
また、図３に示す例では、内挿画像ｆｉ（ｔ−１）は、内挿ブロック３−１３〜３−２４を持ち、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との中間点において作成される。内挿ブロックには、基準となる原画像において検出された動きベクトルと類推ベクトルが割り付けられる。内挿ブロックは、検出ブロックよりも小さい領域であり、検出ブロックよりも少ない画素で構成されている。以下では、内挿ブロックに割り付けられた動きベクトルを内挿ベクトルと呼ぶ。
【０１１９】
図３において、検出ブロック３−１は動きベクトルとして背景の動きが検出され割付が行われる。（図示せず）
また、検出ブロック３−２における動きベクトルとしても背景の動きを示すベクトルが３−７に向かって検出される。３−２で検出されたベクトルは内挿ブロックの３−１４、３−１５に割り付けられる。
【０１２０】
また、検出ブロック３−３における動きベクトルとして、物体の動きを示すベクトルが３−９に向かって検出される。そして、検出ブロック３−３において検出された動きベクトルは、内挿ブロック３−１７、３−１８に割り付けられる。
【０１２１】
また、検出ブロック３−４における動きベクトルとして、物体の動きを示すベクトルが３−１０に向かって検出される。そして、検出ブロック３−４において検出された動きベクトルは、内挿ブロック３−１９、３−２０に割り付けられる。
【０１２２】
また、検出ブロック３−５における動きベクトルとして、物体の動きを示すベクトルが３−１１に向かって検出される。そして、検出ブロック３−５において検出された動きベクトルは、内挿ブロック３−２１、３−２２に割り付けられる。
【０１２３】
また、検出ブロック３−６における動きベクトルは、近傍の類似点に向かって最も近しい検出結果として検出される（図示せず）。検出されたベクトルは、原画像ｆ（ｔ）上において正しいベクトルと競合を発生する。この結果、競合した正しいベクトルともども過去からの類推ベクトルを使用することになる。図３においては、検出ブロック３−６から内挿ブロック３−２３に向かって背景の動きベクトル３−２６が発生して割り付けられる。
【０１２４】
一方、ｆ（ｆ）上のブロック３−８には割り付けられるベクトルが存在しない結果となる。この結果、未来からの類推ベクトルを使用することになり、図３においては、ブロック３−８の未来の位置から内挿ブロック３−１６に向かって背景の動きベクトル３−２５が発生して割り付けられる。
【０１２５】
（４）内挿画像の作画
次に、内挿ベクトルを用いた内挿画像の作画方法について説明する。図２（ａ）において、図面左上の座標を（０，０）、図面右方向をｘ座標の正の方向、図面下方向をｙ座標の正の方向とし、過去画ｆ（ｔ−１）における座標（ｘ，ｙ）の画素値をＰｐ（ｘ，ｙ）、未来画ｆ（ｔ）における座標（ｘ，ｙ）の画素値をＰｆ（ｘ，ｙ）と表す。また、内挿画ｆｉ（ｔ−１）において、座標（ｘ，ｙ）に割り付いている動きベクトルを（Ｖｘ，Ｖｙ）、座標（ｘ，ｙ）の画素値をＰ（ｘ，ｙ）とする。ここで、内挿画ｆｉ（ｔ−１）は、過去画ｆ（ｔ−１）と未来画ｆ（ｔ）との中間（１／２の位置）に作画されるものとする。
【０１２６】
このとき、作画される内挿画像ｆｉ（ｔ−１）は、
Ｐ（ｘ，ｙ）＝α×Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）＋（１−α）×Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）
となる。
【０１２７】
ここで、Ｐｐ（ｘ−Ｖｘ×１／２，ｙ−Ｖｙ×１／２）、Ｐｆ（ｘ＋Ｖｘ×１／２，ｙ＋Ｖｙ×１／２）は、単一画素を示すのではなく、過去画、未来画を代表する値を意味する。例えば、ベクトルが少数値を示す場合などにおいては、原画像をリニア補間した値やガウシアンフィルタによりフィルタリングされた値などを意味する。また、αは過去画および未来画の混合比率であり、ブレンド率と呼ばれる。αの値としては、１／２に固定してもよいし、内挿画の時間的内分点の比率によって変動させてもよい。
【０１２８】
（背景速度の変化の問題）
上述では、簡単化のため各フレーム間で背景速度を等速として説明した。しかしながら実際の映像では、加速運動や減速運動が発生する。この場合について図４を用いて説明する。図４は、背景の動き量が変化する状態を説明するための図であって、時刻ｔ−１における原画像ｆ（ｔ−１）、時刻ｔにおける原画像ｆ（ｔ）、時刻ｔ＋１における原画像ｆ（ｔ＋１）、時刻ｔ＋２における原画像ｆ（ｔ＋２）および時刻ｔ＋３における原画像ｆ（ｔ＋３）を示す例である。図４において、４−１で示す小さな四角は１画素を表わし、背景を意味する。図４では１画素ごとに動きベクトルの検出を行っているものとする。また、各画素を区別するためにアルファベットを記した。４−２で示す斜線部は物体を意味している。実際には物体は加速運動をしているものとし、カメラは物体を中央に捉えるように振舞っている。そのため、相対的に背景が加速運動するように撮像されているものとする。
【０１２９】
原画像ｆ（ｔ−１）から原画像ｆ（ｔ）においては、物体は静止した状態を示す動きベクトル４−３が検出される。背景は左方向に２画素分の動きを示す４−４の動きベクトルが検出される。原画像ｆ（ｔ）から原画像ｆ（ｔ＋１）では物体は静止した動きを示す４−５の動きベクトルを検出し、背景は左方向に４画素分の動きを示す４−６の動きベクトルを検出する。
【０１３０】
原画像ｆ（ｔ＋１）から原画像ｆ（ｔ＋２）では物体は静止した状態を示す動きベクトル４−７の動きベクトルが検出される。背景は左方向に６画素分の動きを示す４−８の動きベクトルが検出される。
【０１３１】
原画像ｆ（ｔ＋２）から原画像ｆ（ｔ＋３）では、物体は静止した状態を示す動きベクトル４−９の動きベクトルが検出される。背景は左方向に８画素分の動きを示す４−１０の動きベクトルが検出される。
【０１３２】
物体と背景の動きベクトル４−４、４−６、４−８、４−１０を示した背景との間の背景領域は、未来側の原画像に対応点が存在しないので類似した領域に対してベクトルを発生させる。発生したベクトルは、終点において他のベクトルと競合するため、類推ベクトルに置き換えられて割付される。
【０１３３】
図５を用いて作画される内挿画について説明する。図５は、背景の動き量が変化する状態を説明するための図であって、図４を作画した場合に内挿画に生じる問題点を説明した図であり、原画像の中間時点に内挿画を作成するとした図であり、時刻ｔ−０．５における原画像ｆ（ｔ−０．５）、時刻ｔにおける原画像ｆ（ｔ＋０．５）、時刻ｔ＋１．５における原画像ｆ（ｔ＋１．５）および時刻ｔ＋２．５における原画像ｆ（ｔ＋２．５）の一例を示す図である。図５において内挿画へ向かう矢印は割付ベクトルによって原画像が参照されていることを示す。符号５−３Ａ、５−５Ａ、５−７Ａ、５−９Ａで示すベクトルは、内挿画像の物体領域が図４に示した動きベクトルによって過去側の原画像を参照していることを示す。符号５−３Ｂ、５−５Ｂ、５−７Ｂ、５−９Ｂで示すベクトルは、内挿画像の物体領域が図４に示した動きベクトルによって未来側の原画像を参照していることを示す。符号５−４Ａ、５−６Ａ、５−８Ａ、５−１０Ａで示すベクトルは、内挿画像の背景領域が図４に示した動きベクトルによって過去側の原画像を参照していることを示す。符号５−４Ｂ、５−６Ｂ、５−８Ｂ、５−１０Ｂによって示すベクトルは、内挿画像の背景領域が図４に示した動きベクトルによって未来側の原画像を参照していることを示す。ここまでの過去画像および未来画像の両方の矢印によって示される内挿画像部は、上述のαブレンドによって最終的な内挿画像として表示される。符号５−１１〜５−１４によって示す矢印は、消える領域が類推ベクトルによって過去画像のみから作画されることを示している。
【０１３４】
図５の例では、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）とでの動きベクトル検出において、背景Ａおよび背景Ｂは、未来画像に対応点がないために類推ベクトルに置き換わる。この場合、過去の動きを継続すると類推され、類推ベクトルとして符号５−１１で示すベクトルを発生させる。（ここではｆ（ｔ−２）を図示していないが、物体は静止していたものとする。）背景Ａからの類推ベクトルは、他と競合しないために内挿点に割りつくが、背景Ｂからの類推ベクトルは、他と競合するために消滅する。（類推ベクトルは競合時に優先度を低くするのが一般的である。また、画素相関値も大きくなりやすく、ＳＡＤやＤＦＤなどで競合点での優先度を決定しても選ばれにくい。）
原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間のベクトル検出において背景Ｃ、背景Ｄ、背景Ｅおよび背景Ｆは未来画像に対応点がないため、背景Ｃ〜Ｆからの検出ベクトルは、類推ベクトルに置き換わる。類推ベクトルとしては、過去の動きが継続すると類推されるため、ベクトル５−４Ｂの逆向きに相当するベクトル５−１２を発生させる。背景Ｄおよび背景Ｅからの類推ベクトルは、他と競合しないために内挿点に割りつくが、背景Ｃおよび背景Ｆからの類推ベクトルは、他と競合するために消滅する。なお、特許請求の範囲における未定ブロックは、例えば、内挿画ｆ（ｔ＋０．５）のＤ〜Ｅに対応する。
【０１３５】
原画像ｆ（ｔ＋１）と原画像ｆ（ｔ＋２）との間のベクトル検出において、背景Ｇ、背景Ｈ、背景Ｉ、背景Ｊ、背景Ｋおよび背景Ｌは未来画像に対応点がないため、背景Ｇ〜Ｋからの検出ベクトルは、類推ベクトルに置き換わる。類推ベクトルとしては、過去の動きが継続すると類推されるため、ベクトル５−６Ｂの逆向きに相当するベクトル５−１３を発生させる。背景Ｉ、背景Ｊおよび背景からの類推ベクトルは、他と競合しないために内挿点に割りつくが、背景Ｇ、背景Ｈおよび背景Ｌからの類推ベクトルは、他と競合するために消滅する。なお、特許請求の範囲における未定ブロックは、例えば、内挿画ｆ（ｔ＋１．５）のＩ〜Ｍに対応する。
【０１３６】
原画像ｆ（ｔ＋２）と原画像ｆ（ｔ＋３）との間のベクトル検出において、背景Ｍ、背景Ｎ、背景Ｏ、背景Ｐ、背景Ｑ、背景Ｒ、背景Ｓおよび背景Ｔは未来画像に対応点がないため、背景Ｍ〜Ｓからの検出ベクトルは、類推ベクトルに置き換わる。類推ベクトルとしては、過去の動きを継続すると類推されるため、ベクトル５−８Ｂの逆向きに相当するベクトル５−１４を発生させる。背景Ｐ、背景Ｑ、背景Ｒおよび背景Ｓからの類推ベクトルは他と競合しないために内挿点に割りつくが、背景Ｍ、背景Ｎ、背景Ｏおよび背景Ｔからの類推ベクトルは、他と競合するために消滅する。なお、特許請求の範囲における未定ブロックは、例えば、内挿画ｆ（ｔ＋２．５）のＰ〜Ｕに対応する。
【０１３７】
ここで内挿画に着目すると、内挿画ｆ（ｔ−０．５）において、検出されたベクトルを用いて作画された背景Ｃと類推ベクトルを用いて作画された背景Ａとの間に非連続点が発生している。（本来は背景Ｂが存在すべきである。）
また、内挿画ｆ（ｔ＋０．５）において、検出されたベクトルを用いて作画された背景Ｇと類推ベクトルを用いて作画された背景Ｅとの間に非連続点が発生している。（本来は背景Ｆが存在すべきである。）
また、内挿画ｆ（ｔ＋１．５）において、検出されたベクトルを用いて作画された背景Ｍと類推ベクトルを用いて作画された背景Ｋとの間に非連続点が発生している。（本来は背景Ｌが存在すべきである。）
また、内挿画ｆ（ｔ＋２．５）において、検出されたベクトルを用いて作画された背景Ｕと類推ベクトルを用いて作画された背景Ｓとの間に非連続点が発生している。（本来は背景Ｔが存在すべきである。）
このように物体の輪郭に沿って非連続点が発生すので内挿画像が低下する。
【０１３８】
（内挿ベクトルの補正）
本発明に係る画像補間装置１では、上記問題に対して図１のベクトル補正部７によって内挿ベクトルに対して補正する。図１において、ベクトル補正部７は、ベクトル割付部６から、内挿ベクトルと、未来側の類推ベクトルｆＶ（ｔ）と、過去側の類推ベクトルｐＶ（ｔ−２）と、未割付領域の情報を得る。このとき、ｆＶ（ｔ）およびｐＶ（ｔ−２）は、実際のデータをもらっても、割りついたベクトルにフラグ等を設けて伝達してもかまわない。
【０１３９】
ベクトル補正部７は、内挿画の左上の座標を（０，０）としたとき、水平方向に向かって補正処理する。補正処理する内挿座標を（ｘ，ｙ）としたときの内挿ベクトルの水平方向の成分をＶｉｘ（ｘ，ｙ）、垂直方向の成分をＶｉｙ（ｘ，ｙ）とした場合、内挿画像の１つ左の水平方向のベクトル成分はＶｉｘ（ｘ−１，ｙ）、垂直方向のベクトル成分はＶｉｙ（ｘ−１，ｙ）と表記する。
【０１４０】
ベクトル補正部７での補正処理は、処理座標が類推ベクトルであった場合に発生する。その補正内容は、隣接したブロックのベクトルとの比較によって行う。類推ベクトルを（Ｖｉｘ（ｘ，ｙ），Ｖｉｙ（ｘ，ｙ））としたときに、例えば、｜Ｖｉｘ（ｘ，ｙ）−Ｖｉｘ（ｘ±１，ｙ±１）｜＾２＋｜Ｖｉｙ（ｘ，ｙ）−Ｖｉｙ（ｘ±１，ｙ±１）｜＾２を個別に求め、大きさの最も小さいベクトルに置き換える。例えば、（Ｖｉｘ（ｘ−１，ｙ），Ｖｉｙ（ｘ−１，ｙ））が最も小さい値を示したならば、内挿座標（ｘ，ｙ）のベクトルは（Ｖｉｘ（ｘ−１，ｙ），Ｖｉｙ（ｘ−１，ｙ））に置き換え、類推ベクトルが割り付けられたフラグを解除する。隣接ベクトルとの差分を検査する際に、類推ベクトルが割り付けられた内挿座標のベクトルは検査対象から削除することが望ましい。
【０１４１】
この補正処理により左もしくは上から背景の動きベクトルが伝播でき、内挿時間を挟んだ原画像の背景ベクトルの選択が可能となり非連続点を改善できる。上記説明では、対象座標の（±１，±１）を対象としたが、この範囲は必要に応じて拡げてもかまわない。また、処理削減のため減らすことも可能である。例えば、一般的な画像であれば、図２のように上方向にも背景は存在する。また水平方向への伝播も必要となるため、補正対象ブロックの上の座標および左の座標のみの参照で背景ベクトルを伝播させることも可能である。
【０１４２】
補正によって改善する内挿画について図６を用いて説明する。図６は、背景の動き量が変化する様子を説明するための図であって、本発明によって図５の内挿画像の問題点が改善できることを示す図である。類推ベクトルの抽出までは図５における説明と同一であるので、ここでは省略する。
【０１４３】
原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間でのベクトル検出の結果、図５に示すベクトル５−１１が類推ベクトルとなる。この場合、補正処理においては、物体ベクトルと偶然同一であるため物体ベクトルが選択され、この場合は改善できず、図６の６−１１の内挿ベクトルが決定される。
【０１４４】
原画像ｆ（ｔ）と原画像ｆ（ｔ−１）との間でのベクトル検出の結果、図５に示すベクトル５−１２が類推ベクトルとなる。この場合、補正処理においては、物体ベクトルと背景ベクトルとの差が偶然同一となり、図６のベクトル６−１２Ａもしくは６−１２Ｂのどちらかが選ばれ、必ずしも改善できることになはならない。（この場合、過去の動きを継続するような動きに優先度を与えること、周囲により多くあるベクトル選択することなどが考えられる。）
原画像ｆ（ｔ＋１）と原画像ｆ（ｔ＋２）との間でのベクトル検出の結果、図５に示すベクトル５−１３は類推ベクトルとなる。ベクトル補正部７は、類推ベクトル５−１３が割り付けられている内挿ブロックに隣接する所定の範囲内にあるブロックの検出ベクトルと、類推ベクトル５−１３とを比較し、類推ベクトル５−１３を、類推ベクトル５−１３と最も近い検出ベクトルに置き換える。この場合、補正処理において、類推ベクトル５−１３は、隣接するブロックの検出ベクトルとの比較の結果、背景ベクトル５−８Ａに近いと判定され、図６のベクトル６−１３に補正される。これにより、内挿画の精度が改善される。なお、上記所定の範囲は、要求される精度に応じて任意に設定可能である。
【０１４５】
原画像ｆ（ｔ＋２）と原画像ｆ（ｔ＋３）との間でのベクトル検出の結果、図５に示すベクトル５−１４は類推ベクトルとなる。ベクトル補正部７は、類推ベクトル５−１４が割り付けられている内挿ブロックに隣接する所定の範囲内にあるブロックの検出ベクトルと、類推ベクトル５−１４とを比較し、類推ベクトル５−１４を、類推ベクトル５−１４と最も近い検出ベクトルに置き換える。この場合、補正処理において、類推ベクトル５−１４は、隣接するブロックの検出ベクトルとの比較の結果、背景ベクトル５−１０Ａに近いと判定され、図６のベクトル６−１４に補正される。これにより、内挿画の精度が改善される。
【０１４６】
上述のように物体ベクトルと背景ベクトルの差が動きの変化量に比べて大きい場合は内挿画の背景の非連続点は削除することができ、良質な内挿画を得ることが可能となる。
【０１４７】
なお、ここまで、時間的に過去の原画像を基準として説明してきたが、時間的に未来の原画像を基準として、過去の原画像に向かって検出を行う構成であってもよい。すなわち、上述の説明においては、例えば、原画像ｆ（ｔ−１）から原画像ｆ（ｔ）に対する動きベクトルを検出して内挿画像に割り付ける構成であったが、原画像ｆ（ｔ）から原画像ｆ（ｔ−１）に対する動きベクトルを検出して内挿画像に割り付ける構成であってもよい。過去・未来を逆と考えるだけであるのでここでは説明を省略する。
【０１４８】
〔実施の形態２〕
（画像補間装置３の概要）
図７は本発明に係る画像補間装置３の構成を示すブロック図である。本発明に係る画像補間装置３は、遅延部１３（映像データ遅延手段）と動きベクトル検出部１４（前方向動きベクトル検出部、第１検出手段）および動きベクトル検出部１５（後方向動きベクトル検出部、第２検出手段）と双方向ベクトル比較部１６（第１判定手段、第２判定手段）と遅延部１７（ベクトル遅延手段）とベクトル割付部１８（割付手段）と統計処理部１９（第１類推手段、第２類推手段）と遅延部２０（過去側類推ベクトル遅延部）と遅延部２１（未来側類推ベクトル遅延部）とベクトル補正部２２（補正手段）と作画部２３（内挿画像生成手段）と遅延部２４（作画データ遅延部）とを備えている。
【０１４９】
画像補間装置３は、外部から入力される映像信号に含まれる時刻ｔ＋１における原画像ｆ（ｔ＋１）（第２の原画像、未来画）と、１つ前の時刻ｔにおける原画像ｆ（ｔ）（第１の原画像、過去画）とから、内挿画像を生成する。画像補間装置３では、外部からの映像信号は、遅延部１３（映像データ遅延手段）、動きベクトル検出部１４（前方向動きベクトル検出部）および動きベクトル検出部１５（後方向動きベクトル検出部）に入力される。以下では、外部から時刻ｔ＋１における原画像ｆ（ｔ＋１）を表す映像信号が入力されたときの処理について説明する。
【０１５０】
遅延部１３（映像データ遅延手段）は、入力された外部からの映像信号を遅延させて、動きベクトル検出部１４（前方向動きベクトル検出部）、動きベクトル検出部１５、作画部２３および遅延部２４（作画データ遅延部）に供給する。外部から原画像ｆ（ｔ＋１）を表す映像信号が入力されるタイミングにおいて、遅延部１３は、原画像ｆ（ｔ）を表す映像信号を出力する。遅延部１３は、例えば、ＤＤＲなどのメモリによって構成される。
【０１５１】
動きベクトル検出部１４および１５は、それぞれ原画像ｆ（ｔ）および原画像ｆ（ｔ−１）を基準画像として、双方向の動きベクトルを算出する。また、動きベクトル検出部１４，１５は、図２に示すように、原画像を複数のピクセルから成る複数のブロックに分割し、ブロック単位で動きベクトルを検出する。動きベクトル検出部１４，１５は、ブロックマッチングや勾配法によって動きベクトルを算出するが、動きベクトルは他の方法によって算出されてもよい。動きベクトル検出部１４，１５は、検出した動きベクトルを、双方向ベクトル比較部１６および統計データ処理部１９に出力する。
【０１５２】
双方向ベクトル比較部１６は、動きベクトル検出部１４，１５において検出された動きベクトルを比較し、比較結果に基づいて、「現れる領域」および「消える領域」（補正対象ブロック）を特定する。そして、双方向ベクトル比較部１６は、動きベクトル検出部１４，１５において検出された動きベクトルと共に、「現れる領域」、「消える領域」を特定する情報を遅延部１７（動きベクトル遅延部）および統計データ処理部１９に割り付けるベクトルを出力する。割り付けるベクトルは、前方向動きベクトルでも後方向動きベクトルでもかまわないが、内挿画の時間的に近い側を基準として検出を行ったベクトルを使用するのが好ましい。
【０１５３】
遅延部１７（動きベクトル遅延部）は、割り付けるベクトルを受け取り、未来側の類推ベクトルの算出が終わるまで遅延させ、ベクトル割付部１８に出力する。
【０１５４】
統計データ処理部１９は、動きベクトル検出部１４，１５からの動きベクトルの情報からの情報を統計処理し、動きベクトルの統計データ（例えば、ヒストグラム）を算出し、類推ベクトルを出力する。一般的に「消える領域」、「現れる領域」はある程度の大きさがかたまって存在する。統計的に処理することで領域ごとに類推することが可能となり、全画素数、全ブロック数の大きさの類推ベクトルを持たなくて良くなり、規模を小さくすることが可能となる。統計データ処理部１８は、未来側の類推ベクトルｆＶ（ｔ）をベクトル割付部１７に出力し、過去側の類推ベクトルｐＶ（ｔ）を遅延部１９（類推ベクトル遅延部）に出力する。
【０１５５】
遅延部２０、２１は過去の類推ベクトルは割付の１つ前の検出結果から求める必要があるためにその時間差を整合するために存在する。時間的位相を合わせた過去側の類推ベクトルをベクトル割付部１８に出力する。
【０１５６】
ベクトル割付部１８は、遅延部１７、遅延部２０および遅延部２１によって時間的な調整を受けた検出ベクトルＶ（ｔ−１）とその置き換え領域の情報と未来側の画像のみで表現すべき場合の置き換えるべきベクトル値ｆＶ（ｔ）と過去側の画像のみで表現すべき場合の置き換えるべきベクトルｐＶ（ｔ−２）の情報をもとに内挿時間に即した内挿ベクトルＶｉ（ｔ−１）を作成しベクトル補正部２２に出力する。このとき、置き換えた領域がベクトル補正部２２で認識できるようにフラグとなる情報を内挿ベクトルに付加することが好ましい。また、未割付となった領域の情報も付加することが好ましい。
【０１５７】
ベクトル補正部２２は、内挿ベクトルＶｉ（ｔ−１）で、置き換えベクトルが割り付けられている領域に対して、内挿画像上のブロックの隣接するブロックのベクトルと該置き換えベクトルとを比較する。該隣接ブロックのベクトルの中で置き換えベクトルと最もベクトルの差が小さいものをブロックごとに算出する。算出したベクトルをｍＶ（ｔ−１）とすると、ブロックの内挿ベクトルの値ｆＶ（ｔ）もしくはｐＶ（ｔ−２）をｍＶ（ｔ−１）に置き換える。未割付領域も隣接ブロックに置き換え領域が存在した場合、未割付領域は置き換え領域として扱い、ｆＶ（ｔ）もしくはｐＶ（ｔ−２）の値は隣接ブロック上の値を適応して扱う。また、どの隣接ブロックとのベクトル差も閾値より大きい場合、置き換え処理は行わないことが好ましい。複数の隣接ブロックに異なったｆＶ（ｔ）もしくはｐＶ（ｔ−２）に類似したベクトルが存在した場合、類似ベクトルの平均値を取ってもかまわないものとする。
【０１５８】
そして、作画部２３は、ベクトル割付部２１からの動きベクトルの割付情報に基づいて、原画像の映像信号から、内挿画像の各座標における映像信号を読み出し、内挿画像を生成する。
【０１５９】
（画像補間装置１と画像補間装置３）
画像補間装置１と画像補間装置３では、双方向にベクトルを求めるため動きベクトル検出部１４、１５と、「消える領域」、「現れる領域」の抽出する双方向ベクトル比較部１６が存在する。双方向ベクトル比較部１６について説明する。その他の部分については画像補間装置１と同じであるので省略する。
【０１６０】
双方向ベクトル比較部１６は、動きベクトル検出部１４において検出された原画像ｆ（ｔ）の各検出ブロックを始点とする前方向動きベクトルについて、各前方向動きベクトルの終点となる原画像ｆ（ｔ＋１）の検出ブロックを始点とする後方向動きベクトルと比較し、それらの対向する前方向動きベクトルと後方向動きベクトルとが、大きさが等しい逆向きのベクトルであるか否かを判定する。つまり、前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点が、当該前方向動きベクトルの始点と一致するか否かを判定する。
【０１６１】
双方向ベクトル比較部１６での比較処理の一例について図８を用いて説明する。図８は、双方向ベクトル比較の手法を説明する図であり、比較する座標を示す図である。原画像ｆ（ｔ−１）からｆ（ｔ）の検出を行ったとき、ｆ（ｔ−１）上のあるブロックの前方向検出のベクトル検出結果が（Ｖxft1，Ｖyft1）であったとする。図８において、８−１〜８−４は、ｆ（ｔ）からｆ（ｔ−１）に対して後方向検出を行うｆ（ｔ）上の固定ブロックである。８−５は、ｆ（ｔ−１）上のあるブロックの前方向検出のベクトル検出結果が（Ｖxft1，Ｖyft1）を示したときに、ｆ（ｔ）上に割り付けられたエリアとする。また、８−１〜８−４で求まった後方向ベクトルを（Ｖxbt1，Ｖybt1）〜（Ｖxbt4，Ｖybt4）としたときに、比較部１６での比較処理の行う比較処理で等しいと判定する条件は、設定によって変更できる判定値をＶxth、Ｖythとすると
｜Ｖxft1＋Ｖxbt1｜＜Ｖxth
｜Ｖxft1＋Ｖxbt2｜＜Ｖxth
｜Ｖxft1＋Ｖxbt3｜＜Ｖxth
｜Ｖxft1＋Ｖxbt4｜＜Ｖxth
のどれかが成立し、かつ
｜Ｖyft1＋Ｖybt1｜＜Ｖyth
｜Ｖyft1＋Ｖybt2｜＜Ｖyth
｜Ｖyft1＋Ｖybt3｜＜Ｖyth
｜Ｖyft1＋Ｖybt4｜＜Ｖyth
のどれかが成立する場合を指す。つまり、前方向検出ベクトルが指し示す終点周辺のどこかのブロックの後方向ベクトルと一定値以下の差のとき（前方向と後方向ベクトルは向きが逆であるため、加算した結果がゼロとなるのが理想）一致と判断する。
【０１６２】
ここでは、双方向ベクトル比較のブロックを２×２の領域としたが、演算精度によっては、３×３の領域や、１ブロック単体としてもよいものとする。
【０１６３】
より具体的には、双方向ベクトル比較部１６は（以下の説明では、簡単化するために比較ブロックは１ブロック単体として記す）、図９に示す検出ブロック９−１４〜９−２６を始点とする前方向動きベクトルについて、各前方向動きベクトルの終点の検出ブロックを始点とする後方向動きベクトルと比較する。図９は、双方向ベクトル比較の手法を説明する図であり、一致条件を説明する図である。
【０１６４】
例えば、原画像ｆ（ｔ−１）の検出ブロック９−２５を始点とする前方向動きベクトル９−４０の終点は、原画像ｆ（ｔ）の検出ブロック９−３８であり、双方向ベクトル比較部１５は、検出ブロック９−３８を始点とする後方向動きベクトル９−４１と前方向動きベクトル９−４０とを比較する。この場合、双方向ベクトル比較部１５は、前方向動きベクトル９−４０および後ろ方向動きベクトル９−４１について、いずれも、ゼロベクトルであり、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが等しいと判定する。
【０１６５】
また、例えば、原画像ｆ（ｔ−１）の検出ブロック９−２４を始点とする前方向動きベクトル９−４２の終点は、原画像ｆ（ｔ）の検出ブロック９−３８であり、双方向ベクトル比較部１６は、検出ブロック９−３８を始点とする後方向動きベクトル９−４１と前方向動きベクトル９−４２とを比較する。この場合、双方向ベクトル比較部１６は、９−２４の前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが異なっていると判定する。
【０１６６】
双方向ベクトル比較部１６は、原画像ｆ（ｔ−１）の全ての検出ブロックについて同様の判定処理を実行する。図９に示す例では、双方向ベクトル比較部１６は、検出ブロック５−２１〜５−２４を始点とする前方向動きベクトルについて、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが異なっていると判定する。
【０１６７】
前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが同じである場合、前方向動きベクトルが指し示す原画像ｆ（ｔ）の検出ブロックと、後方向動きベクトルが指し示す原画像ｆ（ｔ−１）の検出ブロックとは、同一の物体の領域、あるいは、同一の背景領域ということになる。
【０１６８】
反対に、前方向動きベクトルの始点と、当該前方向動きベクトルの終点を始点とする後方向動きベクトルの終点とが異なる場合、前方向動きベクトルの始点となる原画像ｆ（ｔ−１）の検出ブロックに表示されている物体や背景領域は、原画像ｆ（ｔ）には表示されていないことを意味する。
【０１６９】
つまり、原画像ｆ（ｔ−１）における検出ブロックを始点とする前方向動きベクトルと、当該前方向動きベクトルの終点となる原画像ｆ（ｔ）における検出ブロックを始点とする後方向動きベクトルとを比較し、前方向動きベクトルと後方向動きベクトルとが反対向きで大きさが等しいベクトルであるか否かを判定することによって、時間的に前の時刻における原画像ｆ（ｔ−１）には表示されているが、時間的に後の時刻における原画像ｆ（ｔ）に表示されない「消える領域」を検出することができる。図９に示す例では、原画像ｆ（ｔ−１）における検出ブロック９−２１〜９−２４が「消える領域」として特定される。
【０１７０】
なお、上述した双方向ベクトル比較部１６における判定処理は、動きベクトルの検出精度を考慮して幅をもたせてもよい。つまり、前方向動きベクトルの始点と、当該前方向動きベクトルの終点のブロックを始点とする後方向動きベクトルの終点との間隔が、所定の閾値よりも大きいか否か（予め定められた範囲内にあるか否か）を判定し、所定の閾値よりも大きい場合には「消える領域」と判定する構成であってもよい。ここで、所定の閾値（予め定められた範囲）としては、動きベクトルの検出精度に応じたブロック数を設定可能な構成であってよく、特に限定はされない。
【０１７１】
映像補間装置１では、ブロック９−３８で競合する前方向ベクトル９−４０と前方向９−４２で判定を行う。この場合、９−２４、９−２５ともに「消える領域」側のベクトルがどちらであるか判定できず、補正対象として９−２４および９−２５の両方を補正対象領域としてしまう。映像補間装置３では明確に領域が判定可能となる。
【０１７２】
（変形例）
画像補間装置１および画像補間装置３においては、類推ベクトルを抽出するために原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の間の内挿画を作画する場合、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の検出および、原画像ｆ（ｔ＋１）と原画像ｆ（ｔ＋２）の検出結果が必要となる。画像補間装置３においては、図７の統計データ処理部１９での処理を変更することで、必要な１回の内挿処理に必要な検出回数を削減可能となる。
【０１７３】
統計データ処理部１９は、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の検出において、原画像ｆ（ｔ）の座標上の双方向ベクトル比較部の結果を参照する。原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の検出において、双方向ベクトル比較の結果が一致しなかった領域で、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の検出では、双方向ベクトル比較の結果が一致した領域の原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の検出の前方向動きベクトルを「現れる領域」の動きベクトルとする。原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の検出において、双方向ベクトル比較の結果が一致した領域で、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の検出では、双方向ベクトル比較の結果が一致しなかった領域の原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の検出の後方向動きベクトルを「消える領域」の動きベクトルとする。
【０１７４】
「消える領域」、「現れる領域」はフレーム間で座標は連続して近傍点に存在する。例えば、図９において「消える領域」は、原画像ｆ（ｔ−２）上では、９−４〜９−７であり、原画像ｆ（ｔ−１）上では、９−２１〜９−２４となる。原画像ｆ（ｔ）では、９−３８〜９−４１である。隣接するフレームを重ね合わせて消える領域を見た場合、原画像ｆ（ｔ−２）と原画像ｆ（ｔ−１）を重ねたときの「消える領域」の座標は、原画像ｆ（ｔ−２）の座標上で９−４〜９−１１となる。「現れる領域」についても同様である。（この例では、フレーム間で「消える領域」が隣接しているが、背景が動いた場合はズレが生じるが、近傍領域には存在する。）
上記、双方向ベクトル比較を用いて「消える領域」の動きベクトルおよび「現れる領域」の動きベクトルとして検出したベクトルを統計データ処理部１９は、その発生頻度をヒストグラムなどの統計処理をして、所定の領域の「消える領域」に対する類推ベクトルおよび「現れる領域」の類推ベクトルを抽出する。
【０１７５】
もう少し具体的に図１０を用いて説明する。図１０は、本発明に係る画像補間装置３の変形例である統計データ処理部１９（比較手段、第１不一致ブロック特定手段、第２不一致ブロック特定手段）の動作を説明した図である。原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間の原画像ｆ（ｔ＋０．５）を作成する場合について説明する。このとき、原画像ｆ（ｔ）、および、原画像ｆ（ｔ＋１）上の検出ブロックの双方向ベクトルの一致／不一致に着目する。また、１フレーム前の検出結果（原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間での検出結果）であって、ｆ（ｔ）上の検出ブロックにおける双方向ベクトルの一致／不一致の結果を参照値として使用する。
【０１７６】
まず、「現れる領域」の類推ベクトルは、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間のベクトル検出において双方向のベクトル（第２前方向動きベクトル、および、第２後方向動きベクトル）が不一致となり、かつ、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間のベクトル検出において双方向のベクトル（第１前方向動きベクトル、および、第１後方向動きベクトル）が一致する原画像ｆ（ｔ）上のブロック（図１０では、ブロック１０−１４であり、特許請求の範囲における第１の不一致ブロックに対応）におけるベクトルであって、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間のベクトル検出時に求めた原画像ｆ（ｔ）から原画像ｆ（ｔ＋１）に向かって求めたベクトルとなる。
【０１７７】
すなわち、「現れる領域」の類推ベクトルは、原画上で過去の検出で双方向ベクトルが不一致（図１０の「×」に対応）を示していた領域であって、現在の検出で双方向ベクトルが一致（図１０の「○」に対応）を示す領域、すなわち、ブロック１０−１４における現在の検出の未来向きのベクトル１０−４１となる。
【０１７８】
ブロック１０−１４は、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間での検出において、双方向ベクトル比較の結果、一致しなかったブロックであって、未来側にあるブロックであるので、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間では「現れる領域」となる。このブロックの原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の動きベクトルは、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間では、１０−４１と検出され、双方向ベクトル比較の結果も一致する。
【０１７９】
したがって、この近傍（所定の範囲）にある「現れる領域」の動きベクトルは、ブロック１０−４１の動きを示すと予想できる。このベクトルは、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）で「現れる領域」として検出されるブロック１０−２８〜１０−３１の類推ベクトルとして（逆向きとして）出力される。なお、上記所定の範囲は、例えば仕様に応じて設定される。
【０１８０】
一方、「消える領域」の類推ベクトルは、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間のベクトル検出において双方向のベクトルが一致し、かつ、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間のベクトル検出において双方向のベクトルが不一致となる原画像ｆ（ｔ）上のブロック（図１０では、ブロック１０−２１〜１０−２４であり、特許請求の範囲における第２の不一致ブロックに対応）におけるベクトルであって、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間のベクトル検出時に求めた原画像ｆ（ｔ）から原画像ｆ（ｔ−１）に向かって求めたベクトル（の逆向き）となる。
【０１８１】
すなわち、「消える領域」の類推ベクトルは、原画上で、過去の検出で双方向ベクトルが一致（図１０の「○」に対応）を示していた領域で、現在の検出で双方向ベクトルが不一致（図１０の「×」に対応）を示す領域、すなわち、ブロック１０−２１〜１０−２４における過去の検出の過去向きベクトル１０−４０となる。（ベクトル１０−４０は、ブロック１０−２１〜１０−２４の過去向きベクトルを代表した値を示しているものとする。）
ブロック１０−１５〜１０−２０は原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の検出においても、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の検出においても双方向ベクトル比較で一致するので、類推ベクトルの対象とならない。
【０１８２】
ブロック１０−２１〜１０−２４は、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間での検出において、双方向ベクトルの比較で一致し、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）との間での検出においては、双方向ベクトル比較は一致しない。
【０１８３】
したがって、この近傍（所定の範囲）にある「消える領域」の動きベクトルは１０−４０の動きをすると予想できる。このベクトルは原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）で「消える領域」として検出される１０−２１〜１０−２４の類推ベクトルとして（逆向きとして）出力される。なお、上記所定の範囲は、例えば仕様に応じて設定される。
【０１８４】
ここで、内挿画像の作画において、未割付となった領域に対して原画像ｆ（ｔ）を用いるか、原画像ｆ（ｔ＋１）を用いるかの判定を行う。判定は、未割付となった内挿点からゼロベクトルが指し示す原画像ｆ（ｔ）および原画像ｆ（ｔ＋１）の原画座標を中心に、一定領域の双方ベクトルの一致／不一致のブロック数をカウントする。
【０１８５】
内挿画ｆ（ｔ＋０．５）において、未割付となる領域は内挿ブロック１０−４３、１０−４４、１０−５１、１０−５２となる。ここで、内挿ブロック１０−４３からゼロベクトルが示す過去および未来の原画像の領域の双方向ベクトルの一致／不一致を比較する。
【０１８６】
図１０においては、ブロック１０−１５〜１０−１８とブロック１０−２８〜１０−３１に相当する内挿点（およびその周辺点）では、双方向ベクトルの不一致点は、原画像ｆ（ｔ＋１）にのみ存在する。つまり、未来側だけに余りブロックが多く存在することになり、この未割付の内挿点は、「現れる領域」であると判定する。
【０１８７】
つまり、原画像のブロック１０−１５周辺の双方向ベクトルは一致を示しており、原画像のブロック１０−２８周辺の双方向ベクトルは不一致を示している。未来側に余った領域が存在することから１０−４３は「現れる領域」であると判定する。従って、内挿ブロック１０−４３には、「現れる領域」の類推ベクトル１０−４１を適用し、未来からのみ作画する判定をする。内挿ブロック１０−４４に対しても同様である。
【０１８８】
一方、ブロック１０−２１〜１０−２４とブロック１０−３４〜１０−３７に相当する内挿点（およびその周辺点）では、双方向ベクトルの不一致点は、原画像ｆ（ｔ）にのみ存在する。つまり、過去側だけに余りブロックが多く存在することになり、この未割付の内挿点は、「消える領域」であると判定する。
【０１８９】
つまり、内挿ブロック１０−５１からゼロベクトルが示す過去および未来の原画像の領域の双方向ベクトルの一致／不一致を比較する。原画像のブロック１０−２３周辺の双方向ベクトルは不一致を示しており、原画像のブロック１０−３６周辺の双方向ベクトルは一致を示している。過去側に余った領域が存在することから内挿画像のブロック１０−５１は「消える領域」であると判定する。従って、ブロック１０−５１には「消える領域」の類推ベクトル１０−４０を適用し、過去からのみ作画する判定をする。内挿画像のブロック１０−５２に対しても同様である。
【０１９０】
この内挿点で判定した「消える領域」および「現れる領域」に上記で求めた類推ベクトルを適応する。さらに画像補間装置１と同様に周辺点のベクトルと比較し、加速度に対する置き換え処理を行う。
【０１９１】
類推ベクトルは、一定領域ごとに原画像ｆ（ｔ−１）と原画像ｆ（ｔ）の検出結果および原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）の検出結果から「現れる領域」のベクトルおよび「消える領域」のベクトルに該当判定されたベクトルの平均値や頻度の高いものをその領域の類推ベクトルとする。「現れる領域」、「消える領域」それぞれ個別に持っても、合わせて１つの代表値を持っても良いものとする。
【０１９２】
また、この説明では、未割付領域に対してゼロベクトルを中心に双方向ベクトルの不一致数を比較して、作画方向を判定したが、類推ベクトルが指し示す原画像ｆ（ｔ）および原画像ｆ（ｔ＋１）の領域を中心に双方向ベクトルの不一致数を比較する方法であっても良いものとする。
【０１９３】
上述のように、原画像ｆ（ｔ）と原画像ｆ（ｔ＋１）のベクトル検出時には、原画像ｆ（ｔ−１）と原画像ｆ（ｔ）との間でのベクトル検出が、１フレーム前の検出で完了しており、その結果を用いることになる。その意味において、ベクトル検出の結果に対して遅延部が必要となる。この場合、内挿画像ｆ（ｔ＋０．５）を作成するにあたり、原画像ｆ（ｔ＋１）と原画像ｆ（ｔ＋２）との検出結果は必要とはならないため、過去（１フレーム前）に検出した結果を用いればよく、改めてベクトル検出する必要がなくなる。
【０１９４】
したがって、本発明の変形例では、未来の検出結果を使用せずに内挿画を作成可能となる。図７においては遅延部１７および遅延部２１が必要なくなり、より小規模な形式で同等の結果を得ることが可能となる。
【０１９５】
また、本発明に係る画像補間装置１および３は、例えば、テレビジョン受像装置に備えられて、受信した放送信号に含まれる映像信号に基づいて表示される画像を補間する構成であってもよい。あるいは、本発明に係る画像補間装置１は、ＤＶＤ再生装置やビデオ再生装置などの映像再生装置に備えられて、記録媒体に記録されている映像データに基づいて再生される画像を補間する構成であってもよい。
【０１９６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１９７】
最後に、画像補間装置１の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０１９８】
すなわち、画像補間装置１および３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像補間装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、画像補間装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０１９９】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２００】
また、画像補間装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２０１】
本発明に係る画像補間装置は、映像信号に含まれる原画像から補間画像を精度良く生成することができるため、テレビジョン受像装置やＤＶＤ再生装置などにおいて好適に利用できる。
【符号の説明】
【０２０２】
１            画像補間装置
２            遅延部（映像データ遅延手段）
３            動きベクトル検出部（検出手段）
４            作画方向判定部（作画方向判定手段）
５            遅延部（ベクトルデータ遅延手段）
６            ベクトル割付部（割付手段）
７            ベクトル補正部（補正手段）
８            統計処理部（第１類推手段、第２類推手段）
９            遅延部（１次置き換えベクトル遅延部）
１０          遅延部（２次置き換えベクトル遅延部）
１１          作画部（内挿画像生成手段）
１２          遅延部（作画用遅延手段）
１００        ベクトル補正装置
１３          遅延部（映像データ遅延手段）
１４          動きベクトル検出部（前方向動きベクトル検出部、第１検出手段）
１５          動きベクトル検出部（後方向動きベクトル検出部、第２検出手段）
１６          双方向ベクトル比較部（第１判定手段、第２判定手段）
１７          遅延部（ベクトル遅延手段）
１８          ベクトル割付部（割付手段）
１９          統計処理部（第１類推手段、第２類推手段、比較手段、第１不一致ブロック特定手段、第２不一致ブロック特定手段）
２０          遅延部（過去側類推ベクトル遅延部）
２１          遅延部（未来側類推ベクトル遅延部）
２２          ベクトル補正部（補正手段）
２３          作画部（内挿画像生成手段）
２４          遅延部（作画データ遅延部）
【図１】
2010178216.tif 000003
【図２】
2010178216.tif 000004
【図３】
2010178216.tif 000005
【図４】
2010178216.tif 000006
【図５】
2010178216.tif 000007
【図６】
2010178216.tif 000008
【図７】
2010178216.tif 000009
【図８】
2010178216.tif 000010
【図９】
2010178216.tif 000011
【図１０】
2010178216.tif 000012
【図１１】
2010178216.tif 000013
【図１２】
2010178216.tif 000014
【図１３】
2010178216.tif 000015