(57)【要約】【課題】この発明は、滑らかな再生画像が得られるフレームレート変換処理装置を提供することを目的とする。【解決手段】動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、ならびに動き量設定手段によってフレーム毎に設定された画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段を備えている。【選択図】図２
2006304266.tif 000002
【特許請求の範囲】
【請求項１】
動画像のフレームレートを変換するフレームレート変換装置において、
変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、
変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、
パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、ならびに
動き量設定手段によってフレーム毎に設定された画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段、
を備えていることを特徴とするフレームレート変換装置。
【請求項２】
動画像のフレームレートを変換するフレームレート変換装置において、
変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、
変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、
パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、
動き量設定手段によってフレーム毎に設定された画像の動き量を時間方向に平滑化する時間方向平滑化手段、ならびに
時間方向平滑化手段によって得られた画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段、
を備えていることを特徴とするフレームレート変換装置。
【請求項３】
動き検出手段は、代表点マッチング法によって、各フレームの映像エリアに設定された複数の動きベクトル検出領域毎に、動きベクトル、相関累積値の最小値および相関累積値の平均値を、画像の動きに関する情報として検出するものであり、
パン・チルト判定手段は、
各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、
複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに
複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、そのフレームはパン・チルトしていると判定する手段、
を備えていることを特徴とする請求項１乃至２に記載のフレームレート変換装置。
【請求項４】
動き検出手段は、代表点マッチング法によって、各フレームの映像エリアに設定された複数の動きベクトル検出領域毎に、動きベクトル、相関累積値の最小値および相関累積値の平均値を、画像の動きに関する情報として検出するものであり、
パン・チルト判定手段は、
各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、
複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域に対して検出された動きベクトルに基づいて、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域数を算出する手段、
動きベクトルの類似性があると判定された検出領域数が第３の閾値以上であるか否かを判別する手段、
動きベクトルの類似性があると判定された検出領域数が第３の閾値未満である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに
動きベクトルの類似性が高い検出領域数が第３の閾値以上である場合には、そのフレームはパン・チルトしていると判定する手段、
を備えていることを特徴とする請求項１乃至２に記載のフレームレート変換装置。
【請求項５】
動画像のフレームレートを変換するフレームレート変換装置を備えた映像装置において、
フレームレート変換装置は、
変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、
変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、
パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、ならびに
動き量設定手段によってフレーム毎に設定された画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段、
を備えていることを特徴とする映像装置。
【請求項６】
動画像のフレームレートを変換するフレームレート変換装置を備えた映像装置において、
フレームレート変換装置は、
変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、
変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、
パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、
動き量設定手段によってフレーム毎に設定された画像の動き量を時間方向に平滑化する時間方向平滑化手段、ならびに
時間方向平滑化手段によって得られた画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段、
を備えていることを特徴とする映像装置。
【請求項７】
動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置において、
代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、
各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、
複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに
複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、そのフレームはパン・チルトしていると判定する手段、
を備えていることを特徴とするパン・チルト判定装置。
【請求項８】
動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置において、
代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、
各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、
複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域に対して検出された動きベクトルに基づいて、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域数を算出する手段、
動きベクトルの類似性があると判定された検出領域数が第３の閾値以上であるか否かを判別する手段、
動きベクトルの類似性があると判定された検出領域数が第３の閾値未満である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに
動きベクトルの類似性が高い検出領域数が第３の閾値以上である場合には、そのフレームはパン・チルトしていると判定する手段、
を備えていることを特徴とするパン・チルト判定装置。
【請求項９】
動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置を備えた映像装置において、
パン・チルト判定装置は、
代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、
各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、
複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに
複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、そのフレームはパン・チルトしていると判定する手段、
を備えていることを特徴とする映像装置。
【請求項１０】
動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置を備えた映像装置において、
パン・チルト判定装置は、
代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、
各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、
検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、
複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、
複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域に対して検出された動きベクトルに基づいて、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域数を算出する手段、
動きベクトルの類似性があると判定された検出領域数が第３の閾値以上であるか否かを判別する手段、
動きベクトルの類似性があると判定された検出領域数が第３の閾値未満である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに
動きベクトルの類似性が高い検出領域数が第３の閾値以上である場合には、そのフレームはパン・チルトしていると判定する手段、
を備えていることを特徴とする映像装置。
【請求項１１】
動画像のフレームレートを変換するフレームレート変換装置において、
動画像内の連続する２つのフレームの一方を現フレームとし他方を前フレームとし、それらのフレーム間に生成されるフレームを予測フレームとして、前フレーム画像と現フレーム画像との間の画像の動き量とフレームレートとに基づいて、前フレーム画像に対する予測画像のずらし量を算出するとともに現フレーム画像に対する予測画像のずらし量を算出する手段、
前フレーム画像に対する予測画像のずらし量を用いて前フレーム画像をずらすことにより、前フレーム画像が存在しない第１の空白部分と前フレーム画像が存在する第１の元画像部分とからなる第１の仮の予測画像を生成する手段、
現フレーム画像に対する予測画像のずらし量を用いて現フレーム画像をずらすことにより、現フレーム画像が存在しない第２の空白部分と現フレーム画像が存在する第２の元画像部分とからなる第２の仮の予測画像を生成する手段、ならびに
前フレーム画像、現フレーム画像、第１の仮の予測画像および第２の仮の予測画像に基づいて予測画像を生成する予測画像生成手段を備えており、
予測画像生成手段は、第１の仮の予測画像と第２の仮の予測画像とを重ね合わせたと仮定した場合に、第１の仮の予測画像内の第１の空白部分のうち第２の仮の予測画像内の第２の元画像部分が重なる部分については、第２の仮の予測画像から予測画像を生成し、第２の仮の予測画像内の第２の空白部分のうち第１の仮の予測画像内の第１の元画像部分が重なる部分については、第１の仮の予測画像から予測画像を生成し、第１の空白部分と第２の空白部分とが重なる部分については、現フレーム画像と前フレーム画像とを加重加算した画像によって予測画像を生成し、第１の仮の予測画像内の第１の元画像部分と第２の仮の予測画像内の第２の元画像部分とが重なり合う部分については、第１の仮の予測画像または第２の仮の予測画像の一方から予測画像を生成することを特徴とするフレームレート変換装置。
【請求項１２】
動画像のフレームレートを変換するフレームレート変換装置を備えた映像装置において、
フレームレート変換装置は、
動画像内の連続する２つのフレームの一方を現フレームとし他方を前フレームとし、それらのフレーム間に生成されるフレームを予測フレームとして、前フレーム画像と現フレーム画像との間の画像の動き量とフレームレートとに基づいて、前フレーム画像に対する予測画像のずらし量を算出するとともに現フレーム画像に対する予測画像のずらし量を算出する手段、
前フレーム画像に対する予測画像のずらし量を用いて前フレーム画像をずらすことにより、前フレーム画像が存在しない第１の空白部分と前フレーム画像が存在する第１の元画像部分とからなる第１の仮の予測画像を生成する手段、
現フレーム画像に対する予測画像のずらし量を用いて現フレーム画像をずらすことにより、現フレーム画像が存在しない第２の空白部分と現フレーム画像が存在する第２の元画像部分とからなる第２の仮の予測画像を生成する手段、ならびに
前フレーム画像、現フレーム画像、第１の仮の予測画像および第２の仮の予測画像に基づいて予測画像を生成する予測画像生成手段を備えており、
予測画像生成手段は、第１の仮の予測画像と第２の仮の予測画像とを重ね合わせたと仮定した場合に、第１の仮の予測画像内の第１の空白部分のうち第２の仮の予測画像内の第２の元画像部分が重なる部分については、第２の仮の予測画像から予測画像を生成し、第２の仮の予測画像内の第２の空白部分のうち第１の仮の予測画像内の第１の元画像部分が重なる部分については、第１の仮の予測画像から予測画像を生成し、第１の空白部分と第２の空白部分とが重なる部分については、現フレーム画像と前フレーム画像とを加重加算した画像によって予測画像を生成し、第１の仮の予測画像内の第１の元画像部分と第２の仮の予測画像内の第２の元画像部分とが重なり合う部分については、第１の仮の予測画像または第２の仮の予測画像の一方から予測画像を生成することを特徴とする映像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像のフレームレートを変換するためのフレームレート変換装置、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置、フレームレート変換装置を備えた映像装置およびパン・チルト判定装置を備えた映像装置に関する。ここで、映像装置には、デジタルカメラ、ビデオカメラ、テレビジョン受像機等が含まれる。
【背景技術】
【０００２】
例えば、デジタルカメラで動画を撮影した場合、記録媒体に記録される記録画像のフレームレートは３０フレーム／秒であり、再生画像のフレームレートは６０フレーム／秒であるため、記録画像から再生画像を生成する際にはフレームレート変換処理が行われる。      
【０００３】
従来のフレームレート変換方法として、図１５に示すように、記録画像の隣合うフレーム間にそのうちの時間的に早い方のフレームを挿入する方法がある。また、記録画像の隣合うフレーム間に予測画面を挿入する方法も開発されている。しかしながら、従来においては、パンまたはチルト時の映像であるか否かを考慮せずに、フレームレートを変換しているため、滑らかな再生画像が得られないという問題がある。
【特許文献１】特開平９−２００７７０号公報
【特許文献２】特開２００３−６９９６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、滑らかな再生画像が得られるフレームレート変換装置を提供することを目的とする。
【０００５】
また、この発明は、滑らかな再生画像が得られるフレームレート変換装置を備えた映像装置を提供することを目的とする。
【０００６】
また、この発明は、パンまたはチルト状態での画像であるか否かを判定することができるパン・チルト判定装置を提供することを目的とする。
【０００７】
また、この発明は、パンまたはチルト状態での画像であるか否かを判定することができるパン・チルト判定装置を備えた映像装置を提供することを目的とする。
【０００８】
また、この発明は、空白部分が発生しない予測画像を生成することができるフレームレート変換装置を提供することを目的とする。
【０００９】
また、この発明は、空白部分が発生しない予測画像を生成することができるフレームレート変換装置を備えた映像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、動画像のフレームレートを変換するフレームレート変換装置において、変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、ならびに動き量設定手段によってフレーム毎に設定された画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段を備えていることを特徴とする。
【００１１】
請求項２に記載の発明は、動画像のフレームレートを変換するフレームレート変換装置において、変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、動き量設定手段によってフレーム毎に設定された画像の動き量を時間方向に平滑化する時間方向平滑化手段、ならびに時間方向平滑化手段によって得られた画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段を備えていることを特徴とする。
【００１２】
請求項３に記載の発明は請求項１乃至２に記載の発明において、動き検出手段は、代表点マッチング法によって、各フレームの映像エリアに設定された複数の動きベクトル検出領域毎に、動きベクトル、相関累積値の最小値および相関累積値の平均値を、画像の動きに関する情報として検出するものであり、パン・チルト判定手段は、各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、そのフレームはパン・チルトしていると判定する手段を備えていることを特徴とする。
【００１３】
請求項４に記載の発明は請求項１乃至２に記載の発明において、動き検出手段は、代表点マッチング法によって、各フレームの映像エリアに設定された複数の動きベクトル検出領域毎に、動きベクトル、相関累積値の最小値および相関累積値の平均値を、画像の動きに関する情報として検出するものであり、パン・チルト判定手段は、各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域に対して検出された動きベクトルに基づいて、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域数を算出する手段、動きベクトルの類似性があると判定された検出領域数が第３の閾値以上であるか否かを判別する手段、動きベクトルの類似性があると判定された検出領域数が第３の閾値未満である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに動きベクトルの類似性が高い検出領域数が第３の閾値以上である場合には、そのフレームはパン・チルトしていると判定する手段を備えていることを特徴とする。
【００１４】
請求項５に記載の発明は、動画像のフレームレートを変換するフレームレート変換装置を備えた映像装置において、フレームレート変換装置は、変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、ならびに動き量設定手段によってフレーム毎に設定された画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段を備えていることを特徴とする。
【００１５】
請求項６に記載の発明は、動画像のフレームレートを変換するフレームレート変換装置を備えた映像装置において、フレームレート変換装置は、変換対象の動画像の各フレーム毎に、画像の動きに関する情報を検出する動き検出手段、変換対象の動画像の各フレーム毎に、動き検出手段によって検出された画像の動きに関する情報に基づいて、パンまたはチルト状態での画像であるか否かを判定するパン・チルト判定手段、パン・チルト判定手段によってパンまたはチルト状態での画像ではないと判定されたフレームについては画像の動き量を０に設定し、パンまたはチルト状態での画像であると判定されたフレームについては、動き検出手段によって検出された画像の動きに関する情報から画像の動き量を求め、得られた動き量を画像の動き量として設定する動き量設定手段、動き量設定手段によってフレーム毎に設定された画像の動き量を時間方向に平滑化する時間方向平滑化手段、ならびに時間方向平滑化手段によって得られた画像の動き量に基づいて、フレームレート変換に必要な予測画像を生成する予測画像生成手段を備えていることを特徴とする。
【００１６】
請求項７に記載の発明は、動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置において、代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、そのフレームはパン・チルトしていると判定する手段を備えていることを特徴とする。
【００１７】
請求項８に記載の発明は、動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置において、代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域に対して検出された動きベクトルに基づいて、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域数を算出する手段、動きベクトルの類似性があると判定された検出領域数が第３の閾値以上であるか否かを判別する手段、動きベクトルの類似性があると判定された検出領域数が第３の閾値未満である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに動きベクトルの類似性が高い検出領域数が第３の閾値以上である場合には、そのフレームはパン・チルトしていると判定する手段を備えていることを特徴とする。
【００１８】
請求項９に記載の発明は、動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置を備えた映像装置において、パン・チルト判定装置は、代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、そのフレームはパン・チルトしていると判定する手段を備えていることを特徴とする映像装置。
【００１９】
請求項１０に記載の発明は、動画像の各フレーム毎にパンまたはチルト状態での画像であるか否かを判定するパン・チルト判定装置を備えた映像装置において、パン・チルト判定装置は、代表点マッチング法によって、動画像の各フレーム毎に、そのフレームの映像エリアに設定された複数の動きベクトル検出領域それぞれに対して、動きベクトル、相関累積値の最小値および相関累積値の平均値を算出する手段、各動きベクトル検出領域毎に検出された相関累積値の平均値に基づいて、各動きベクトル検出領域のうち、検出された動きベクトルの信頼性が高い領域を特定するとともに、検出された動きベクトルの信頼性が高い検出領域数を算出する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上であるか否かを判別する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上未満である場合には、そのフレームはパン・チルトしていないと判定する手段、検出された動きベクトルの信頼性が高い検出領域数が第１の閾値以上である場合には、動きベクトルの信頼性が高い検出領域に対して検出された相関累積値の平均値および相関累積値の最小値に基づいて、動きベクトルの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数を算出する手段、複数種類の動きが存在している検出領域数が第２の閾値未満であるか否かを判別する手段、複数種類の動きが存在している検出領域数が第２の閾値以上である場合には、そのフレームはパン・チルトしていないと判定する手段、複数種類の動きが存在している検出領域数が第２の閾値未満である場合には、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域に対して検出された動きベクトルに基づいて、動きベクトルの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域数を算出する手段、動きベクトルの類似性があると判定された検出領域数が第３の閾値以上であるか否かを判別する手段、動きベクトルの類似性があると判定された検出領域数が第３の閾値未満である場合には、そのフレームはパン・チルトしていないと判定する手段、ならびに動きベクトルの類似性が高い検出領域数が第３の閾値以上である場合には、そのフレームはパン・チルトしていると判定する手段を備えていることを特徴とする。
【００２０】
請求項１１に記載の発明は、動画像のフレームレートを変換するフレームレート変換装置において、動画像内の連続する２つのフレームの一方を現フレームとし他方を前フレームとし、それらのフレーム間に生成されるフレームを予測フレームとして、前フレーム画像と現フレーム画像との間の画像の動き量とフレームレートとに基づいて、前フレーム画像に対する予測画像のずらし量を算出するとともに現フレーム画像に対する予測画像のずらし量を算出する手段、前フレーム画像に対する予測画像のずらし量を用いて前フレーム画像をずらすことにより、前フレーム画像が存在しない第１の空白部分と前フレーム画像が存在する第１の元画像部分とからなる第１の仮の予測画像を生成する手段、現フレーム画像に対する予測画像のずらし量を用いて現フレーム画像をずらすことにより、現フレーム画像が存在しない第２の空白部分と現フレーム画像が存在する第２の元画像部分とからなる第２の仮の予測画像を生成する手段、ならびに前フレーム画像、現フレーム画像、第１の仮の予測画像および第２の仮の予測画像に基づいて予測画像を生成する予測画像生成手段を備えており、予測画像生成手段は、第１の仮の予測画像と第２の仮の予測画像とを重ね合わせたと仮定した場合に、第１の仮の予測画像内の第１の空白部分のうち第２の仮の予測画像内の第２の元画像部分が重なる部分については、第２の仮の予測画像から予測画像を生成し、第２の仮の予測画像内の第２の空白部分のうち第１の仮の予測画像内の第１の元画像部分が重なる部分については、第１の仮の予測画像から予測画像を生成し、第１の空白部分と第２の空白部分とが重なる部分については、現フレーム画像と前フレーム画像とを加重加算した画像によって予測画像を生成し、第１の仮の予測画像内の第１の元画像部分と第２の仮の予測画像内の第２の元画像部分とが重なり合う部分については、第１の仮の予測画像または第２の仮の予測画像の一方から予測画像を生成することを特徴とする。
【００２１】
請求項１２に記載の発明は、動画像のフレームレートを変換するフレームレート変換装置を備えた映像装置において、フレームレート変換装置は、動画像内の連続する２つのフレームの一方を現フレームとし他方を前フレームとし、それらのフレーム間に生成されるフレームを予測フレームとして、前フレーム画像と現フレーム画像との間の画像の動き量とフレームレートとに基づいて、前フレーム画像に対する予測画像のずらし量を算出するとともに現フレーム画像に対する予測画像のずらし量を算出する手段、前フレーム画像に対する予測画像のずらし量を用いて前フレーム画像をずらすことにより、前フレーム画像が存在しない第１の空白部分と前フレーム画像が存在する第１の元画像部分とからなる第１の仮の予測画像を生成する手段、現フレーム画像に対する予測画像のずらし量を用いて現フレーム画像をずらすことにより、現フレーム画像が存在しない第２の空白部分と現フレーム画像が存在する第２の元画像部分とからなる第２の仮の予測画像を生成する手段、ならびに前フレーム画像、現フレーム画像、第１の仮の予測画像および第２の仮の予測画像に基づいて予測画像を生成する予測画像生成手段を備えており、予測画像生成手段は、第１の仮の予測画像と第２の仮の予測画像とを重ね合わせたと仮定した場合に、第１の仮の予測画像内の第１の空白部分のうち第２の仮の予測画像内の第２の元画像部分が重なる部分については、第２の仮の予測画像から予測画像を生成し、第２の仮の予測画像内の第２の空白部分のうち第１の仮の予測画像内の第１の元画像部分が重なる部分については、第１の仮の予測画像から予測画像を生成し、第１の空白部分と第２の空白部分とが重なる部分については、現フレーム画像と前フレーム画像とを加重加算した画像によって予測画像を生成し、第１の仮の予測画像内の第１の元画像部分と第２の仮の予測画像内の第２の元画像部分とが重なり合う部分については、第１の仮の予測画像または第２の仮の予測画像の一方から予測画像を生成することを特徴とする。
【発明の効果】
【００２２】
この発明によれば、滑らかな再生画像が得られるフレームレート変換装置を提供することができる。
【００２３】
また、この発明によれば、滑らかな再生画像が得られるフレームレート変換装置を備えた映像装置を提供することができる。
【００２４】
また、この発明によれば、パンまたはチルト状態での画像であるか否かを判定することができるパン・チルト判定装置を提供することができる。
【００２５】
また、この発明によれば、パンまたはチルト状態での画像であるか否かを判定することができるパン・チルト判定装置を備えた映像装置を提供することができる。
【００２６】
また、この発明によれば、空白部分が発生しない予測画像を生成することができるフレームレート変換装置を提供することができる。
【００２７】
また、この発明によれば、空白部分が発生しない予測画像を生成することができるフレームレート変換装置を備えた映像装置を提供することができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００２９】
〔１〕デジタルカメラの構成についての説明
図１は、デジタルカメラの構成を示している。
【００３０】
ＣＣＤ２は、レンズ１を通して入射した光学像を光電変換し、電気信号として出力する。ＣＣＤ２の出力信号（ＲＧＢ信号）は、ＣＤＳ回路とＡＧＣ回路とを備えたＣＤＳ／ＡＧＣ回路３に送られる。ＣＤＳ／ＡＧＣ回路３に入力したＣＣＤ２の出力信号は、ＣＤＳ回路で相関二重サンプリング処理された後、ＡＧＣ回路で最適な振幅にゲイン調整される。ＣＤＳ／ＡＧＣ回路３の出力信号は、カメラプロセス回路４によってＹＵＶ信号に変換される。Ｙは輝度信号、Ｕは（Ｂ−Ｙ）を表す色差信号、Ｖは（Ｒ−Ｙ）を表す色差信号である。
【００３１】
カメラプロセス回路４の出力信号（ＹＵＶ信号）は、手ぶれ補正およびフレームレート変換部５によって手ぶれ補正処理が行われた後、画像圧縮回路６に送られる。画像圧縮回路６では、手ぶれ補正処理後の信号（ＹＵＶ信号）に対して圧縮処理が行われる。画像圧縮回路６の出力信号は、記録メディア７に記録される。
【００３２】
記録メディア７に記録された圧縮画像をテレビ受像機等に表示させる際には、記録メディア７に記録された圧縮画像が読み出されて画像伸張回路８に送られる。画像伸張回路８では、圧縮画像が伸張されることにより、ＹＵＶ信号が得られる。画像伸張回路８の出力信号（ＹＵＶ信号）は、手ぶれ補正およびフレームレート変換部５によって、フレームレート変換処理が行われた後、ＮＴＳＣエンコーダ９に送られる。ＮＴＳＣエンコーダ９では、フレームレート変換処理後の信号（ＹＵＶ信号）がＮＴＳＣエンコードされ、外部出力として出力される。
【００３３】
〔２〕手ぶれ補正およびフレームレート変換部５の構成についての説明
図２は、輝度信号Ｙに対する手ぶれ補正およびフレームレート変換部５の構成を示している。なお、輝度信号Ｙおよび各色差信号Ｕ，Ｖに対する手ぶれ補正およびフレームレート変換部５の構成は同じであるので、輝度信号Ｙに対する構成について説明する。
【００３４】
〔２−１〕画像記録時の動作についての説明
撮影された画像を記録する際には、カメラプロセス回路４によって得られた輝度信号Ｙは、セレクタ１１を介して第１のフレームメモリ（フレームメモリＡ）１２に書き込まれて行く。また、第１のフレームメモリ１２に書き込まれた輝度信号Ｙは、所定のタイミングで読み出されて、第２のフレームメモリ（フレームメモリＢ）１３に書き込まれて行く。また、第２のフレームメモリ１３に書き込また輝度信号Ｙは、所定のタイミングで読み出されて、第３のフレームメモリ（フレームメモリＣ）１４に書き込まれて行く。
【００３５】
第１のフレームメモリ１２から読み出された輝度信号Ｙおよび第２のフレームメモリ１３から読み出された輝度信号Ｙは、動きベクトル検出部１５に送られ、動きベクトル等が検出される。動きベクトル検出部１５によって検出された動きベクトル等は、動き補正部１６に送られる。
【００３６】
第３のフレームメモリ１４から読み出された輝度信号Ｙは、動き補正部１６に送られる。動き補正部１６では、動きベクトル検出部１５によって検出された動きベクトル等に基づいて、第３のフレームメモリ１４から読み出された輝度信号Ｙに対して動き補正を行う。動き補正部１６によって動き補正が行われた輝度信号Ｙは、画像圧縮回路６に送られる。
【００３７】
〔２−２〕画像再生時の動作についての説明
次に、記録メディア７に記録された圧縮画像から再生画像を生成する場合の動作につい説明する。
【００３８】
記録メディア７に記録された圧縮輝度信号は、画像伸張回路８に送られて伸張される。画像伸張回路８によって得られた輝度信号Ｙは、手ぶれ補正およびフレームレート変換部５に送られる。記録メディア７から読み出されて画像伸張回路８によって得られた輝度信号Ｙのフレームレートは、３０フレーム／秒である。手ぶれ補正およびフレームレート変換部５では、画像伸張回路８から送られてくる３０フレーム／秒の輝度信号Ｙを、６０フレーム／秒の輝度信号Ｙに変換する。つまり、フレームレートを２倍に変換する。
【００３９】
画像伸張回路８から手ぶれ補正およびフレームレート変換部５に送られてきた輝度信号Ｙは、セレクタ１１を介して、第１のフレームメモリ（フレームメモリＡ）１２に書き込まれて行く。また、第１のフレームメモリ１２に書き込まれた輝度信号Ｙは、所定のタイミングで読み出されて、第２のフレームメモリ（フレームメモリＢ）１３に書き込まれて行く。また、第２のフレームメモリ１３に書き込まれた輝度信号Ｙは、所定のタイミングで読み出されて、第３のフレームメモリ（フレームメモリＣ）１４に書き込まれて行く。      
【００４０】
第１のフレームメモリ１２から読み出された輝度信号Ｙおよび第２のフレームメモリ１３から読み出された輝度信号Ｙは、動きベクトル検出部１５に送られ、動きベクトル等が検出される。動きベクトル検出部１５によって検出された動きベクトル等は、パン・チルト判定部１７に送られる。パン・チルト判定部１７は、動きベクトル検出部１５によって検出された動きベクトル等に基づいて、そのフレームがパンまたはチルト時に撮影されたフレームであるか否かを判定し、その判定結果に応じてそのフレームの暫定の動き量ＭＡを算出する。
【００４１】
パン・チルト判定部１７によって算出された暫定の動き量ＭＡは、動き量制御部１８に送られる。動き量制御部１８は、パン・チルト判定部１７によって算出された暫定の動き量ＭＡおよびパン・チルト判定部１７の判定結果に基づいて、予測画像を生成する際に用いられる動き量Ｍを算出する。動き量制御部１８によって算出された動き量Ｍは、出力画像生成部１９に送られる。
【００４２】
第２のフレームメモリ１３から読み出された輝度信号Ｙおよび第３のフレームメモリ１４から読み出された輝度信号Ｙは、出力画像生成部１９に送られる。出力画像生成部１９は、第２のフレームメモリ１３から読み出された輝度信号Ｙおよび第３のフレームメモリ１４から読み出された輝度信号Ｙならびに動き量制御部１８によって算出された動き量Ｍに基づいて、出力画像を生成する。出力画像生成部１９によって生成された出力画像はＮＴＳＣエンコーダ９に送られる。
【００４３】
フレームレート変換のために用いられる回路のうち、フレームメモリ１２、１３、１４および動きベクトル検出部１５は、手ぶれ補正に用いられる回路におけるフレームメモリ１２、１３、１４および動きベクトル検出部１５を用いることができるため、構成が簡単となる。
【００４４】
〔３〕画像再生時の動作についての詳細な説明
以下、画像再生時の動作について詳しく説明する。
【００４５】
〔３−１〕各フレームメモリＡ，Ｂ，Ｃへの書き込みと読み出しのタイミングについての説明
【００４６】
図３は、各フレームメモリＡ，Ｂ，Ｃへの書き込みと読み出しのタイミングを示している。なお、図３において、信号ＥＮは元の映像信号の１フレーム毎に発生するイネーブル信号であり、信号ＳＥＬは動き量制御部１８の動き量を制御するための選択信号である。信号ＥＮおよび信号ＳＥＬは、動き量制御部１８に与えられている。
【００４７】
〔３−２〕動きベクトル検出部１５についての説明
動きベクトル検出部１５は、代表点マッチング法に基づいて、動きベクトル等を算出する。図４に示すように、各フレームの映像エリア１００内に、複数の動きベクトル検出領域Ｅ1 〜Ｅ12が設定されている。各動きベクトル検出領域Ｅ1 〜Ｅ12の大きさは同じである。また、各動きベクトル検出領域Ｅ1 〜Ｅ12は、図５に示すように、各小領域ｅに分割されている。そして、図６に示すように、各小領域ｅそれぞれに、複数のサンプリング点Ｓと、１つの代表点Ｒとが設定されている。
【００４８】
現フレームにおける小領域ｅ内の各サンプリング点Ｓの映像信号レベル（輝度レベル）と、前フレームにおける対応する小領域ｅ内の代表点Ｒの映像信号レベル（輝度レベル）との差（各サンプリング点Ｓにおける相関値）が、各動きベクトル検出領域Ｅ1 〜Ｅ12ごとに求められる。
【００４９】
そして、各動きベクトル検出領域Ｅ1 〜Ｅ12ごとに、動きベクトル検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏位が同じサンプリング点どうしの相関値が累積加算される。したがって、各動きベクトル検出領域Ｅ1 〜Ｅ12ごとに、１つの小領域ｅ内のサンプリング点Ｓの数に応じた数の相関累積値が求められる。
【００５０】
そして、各動きベクトル検出領域Ｅ1 〜Ｅ12内において、相関累積値が最小となる点の偏位、すなわち相関性が最も高い偏位が、当該動きベクトル検出領域Ｅ1 〜Ｅ12の動きベクトルＶとして抽出される。
【００５１】
さらに、この実施例では、各動きベクトル検出領域Ｅ1 〜Ｅ12毎に、相関累積値の最小値ＭＩＮが求められるとともに、各動きベクトル検出領域Ｅ1 〜Ｅ12毎に、相関累積値の平均値ＡＶＥが求められる。
【００５２】
〔３−３〕パン・チルト判定部１７についての説明
図７は、パン・チルト判定部１７によるパン・チルト判定処理手順を示している。
まず、各動きベクトル検出領域のうち、検出された動きベクトルＶの信頼性が高い検出領域を特定するとともに、検出された動きベクトルＶの信頼性が高い検出領域数Ｔ1 を求める（ステップＳ１）。
【００５３】
輝度の変化の少ない領域では、動きベクトルを正確に検出することができない。輝度の変化の少ない領域では、相関累積値の平均値ＡＶＥが小さくなる。そこで、相関累積値の平均値ＡＶＥが所定の閾値αより大きい場合には、当該動きベクトル検出領域において検出された動きベクトルＶの信頼性が高いと判別する。
【００５４】
次に、検出された動きベクトルＶの信頼性が高い検出領域数Ｔ1 が閾値θ1 以上であるか否かを判別する（ステップＳ２）。検出された動きベクトルＶの信頼性が高い検出領域数Ｔ1 がθ1 未満である場合には、そのフレームはパン・チルトしていないと判定し（ステップＳ７）、当該フレームの暫定の動き量ＭＡを０に設定する（ステップＳ８）。
【００５５】
検出された動きベクトルＶの信頼性が高い検出領域数Ｔ1 がθ1 以上である場合には、検出された動きベクトルＶの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域と複数種類の動きが存在していない検出領域を特定するとともに、複数種類の動きが存在している検出領域の数Ｔ2 を求める（ステップＳ３）。
【００５６】
パンまたはチルトしている場合には、検出領域内の動きは１種類となるため、検出された動きベクトルＶの信頼性が高い検出領域のうち、複数種類の動きが存在している検出領域の数Ｔ2 を求めている。相関累積値の平均値ＡＶＥを相関累積値の最小値ＭＩＮで除算した値（ＡＶＥ／ＭＩＮ）が所定の閾値βより大きい場合には、当該動きベクトル検出領域において複数種類の動きが存在していると判別する。
【００５７】
次に、複数種類の動きが存在している検出領域数Ｔ2 が閾値θ2 未満であるか否かを判別する（ステップＳ４）。複数種類の動きが存在している検出領域数Ｔ2 がθ2 以上である場合には、そのフレームはパン・チルトしていないと判定し（ステップＳ７）、当該フレームの暫定の動き量ＭＡを０に設定する（ステップＳ８）。
【００５８】
複数種類の動きが存在している検出領域数Ｔ2 がθ2 未満である場合には、検出された動きベクトルＶの信頼性が高くかつ複数種類の動きが存在していない検出領域において、動きベクトルの類似性がある検出領域を特定するとともに、動きベクトルの類似性がある検出領域の数Ｔ3 を求める（ステップＳ５）。
【００５９】
動きベクトルの類似性があるか否かは次のように判別する。まず、検出された動きベクトルＶの信頼性が高くかつ複数種類の動きが存在していない検出領域の動きベクトルの平均値＊Ｖを算出する。そして、これらの検出領域毎に、その動きベクトルＶと平均値＊Ｖとの差の絶対値｜Ｖ−＊Ｖ｜が所定の閾値γより小さいか否かを判別し、小さい場合には当該動きベクトル検出領域において検出動きベクトルは、これらの検出領域によって検出された動きベクトルと類似性があると判別する。
【００６０】
次に、動きベクトルの類似性があると判定された検出領域の数Ｔ3 が閾値θ3 以上であるか否かを判別する（ステップＳ６）。動きベクトルの類似性があると判定された検出領域の数Ｔ3 がθ3 未満である場合には、そのフレームはパン・チルトしていないと判定し（ステップＳ７）、当該フレームの暫定の動き量ＭＡを０に設定する（ステップＳ８）。動きベクトルの類似性が高い検出領域の数Ｔ3 がθ3 以上である場合には、そのフレームはパン・チルトしていると判定し（ステップＳ９）、当該フレームの暫定の動き量ＭＡを、上記ステップＳ５において特定された動きベクトルの類似性がある検出領域（個数Ｔ3 ）の動きベクトルＶの平均値に設定する（ステップＳ１０）。
【００６１】
なお、ステップＳ５、Ｓ６の処理を省略するようにしてもよい。つまり、ステップＳ４において、複数種類の動きが存在している検出領域数Ｔ2 がθ2 未満であると判別した場合に、そのフレームはパン・チルトしていると判定するようにしてもよい。この場合には、当該フレームの暫定の動き量ＭＡを、上記ステップＳ３において特定された複数種類の動きが存在していない検出領域の動きベクトルＶの平均値に設定する。
【００６２】
〔３−４〕動き量制御部１８についての説明
図８は、動き量制御部１８の構成を示している。
動き量制御部１８は、暫定の動き量ＭＡを時間方向に平滑化する平滑化回路２０、平滑化回路２０の出力ＭＢと”０”とが入力されるセレクタ３０とを備えている。セレクタ３０には、制御信号として選択信号ＳＥＬが入力している。
【００６３】
信号ＳＥＬは、図３に示すように、動きベクトル検出部１５に異なるフレームが入力されるとき（出力画像生成部１９に同じフレームが入力されるとき）には”１”となり、動きベクトル検出部１５に同じフレームが入力されるとき（出力画像生成部１９に異なるフレームが入力されるとき）には”０”となる。セレクタ３０は、信号ＳＥＬが１のときには、入力信号”０”を実際の動き量Ｍとして出力し、信号ＳＥＬが０のときには、平滑化回路２０の出力ＭＢを実際の動き量Ｍとして出力する。
【００６４】
平滑化回路２０は、乗算器２１、加算器２２、メモリ２３および乗算器２４を備えている。メモリ２３には、イネーブル信号ＥＮが書込み読出し制御信号として与えられている。
【００６５】
平滑化回路２０によって１つ前のフレームに対して算出された動き量をＭＢt-1 とする。１つ前のフレームに対して算出された動き量ＭＢt-1 は、メモリ２３に格納されている。
【００６６】
現フレームに対する暫定の動き量ＭＡt が平滑化回路２０に入力されると、乗算器２１は、現フレームに対する暫定の動き量ＭＡt に係数（１−η）を乗算する。一方、メモリ２３から１つ前のフレームに対して算出された動き量ＭＢt-1 が読み出されてセレクタ３０に送られるとともに、乗算器２４に送られる。乗算器２４は、１つ前のフレームに対して算出された動き量ＭＢt-1 に係数ηを乗算する。
【００６７】
加算器２２は、乗算器２１の乗算結果（１−η）・ＭＡt に、乗算器２４の乗算結果η・ＭＢt-1 を加算する。加算器２２の加算結果（η・ＭＢt-1 ＋（１−η）・ＭＡt ）が現フレームに対して算出された動き量ＭＢt としてメモリ２３に格納される。
【００６８】
つまり、前フレームと前々フレームとの間の平滑後の動き量をＭＢt-1 、現フレームと前フレームとの間の暫定の動き量をＭＡt とすると、現フレームと前フレームとの間の平滑後の動き量ＭＢt は次式（１）によって算出される。
【００６９】
ＭＢt ＝η・ＭＢt-1 ＋（１−η）・ＭＡt     …（１）
【００７０】
ここで、ηは平滑化の度合いを規定する係数であり、０≦η≦１である。ηが大きいほど、平滑化の度合いが強くなる。パン・チルトしていると判別されたフレームと、パン・チルトしていないと判別されたフレームとが切り換わると、映像上急激な違いが現れ、不自然な動画となる。そこで、次式（２）に示すように、パン・チルトしていると判別されたフレームと、パン・チルトしていないと判別されたフレームとで、ηの値を切り換えるようにしている。
【００７１】
パン・チルトしているフレーム：η＝η1 
パン・チルトしていないフレーム：η＝η2 （η1 ＜η2 ）  …（２）
【００７２】
〔３−５〕出力画像生成部１９についての説明
出力画像生成部１９は、フレームメモリ１３、１４から入力される２つの画像と、動き量制御部１８から与えられる動き量Ｍとに基づいて出力画像を生成する。
【００７３】
フレームメモリ１３、１４から入力される２つの画像が同じフレームである場合には、動き量Ｍは０であるので、これらの２つの画像のうちの一方の画像を出力画像として出力する。
【００７４】
フレームメモリ１３、１４から入力される２つの画像が異なるフレームである場合には、それらの画像と、動き量制御部１８から与えられる動き量Ｍと、予め設定されたフレームレートの変換倍率ｍとに基づいて、（ｍ−１）枚の予測画像を生成する。そして、得られた予測画像を出力画像として出力する。この場合は、フレームレートの変換倍率は２であるので、１枚の予測画像を生成する。
【００７５】
フレームメモリ１３、１４から入力された２つの画像のうち、記録時刻が早い方の画像を前フレームといい、記録時刻が遅い方の画像を現フレームということにする。
【００７６】
まず、次式（３）に基づいて、前フレームの画像に対する予測画像のずらし量Ｃt-1 を算出する。ただし、ｍ＝２である。
【００７７】
Ｃt-1 ＝Ｍ／ｍ    …（３）
【００７８】
そして、前フレームの画像をずらし量Ｃt-1 だけずらすことにより、予測画像を生成する。例えば、図９に示すように、前フレームの画像をＦ1 とし、現フレームの画像をＦ2 とすると、前フレームの画像をＦ１をずらし量Ｃt-1 だけ移動させることにより、予測画像Ｆ12を生成する。
【００７９】
次式（４）に基づいて、現フレームの画像に対する予測画像のずらし量Ｃt を算出し、現フレームの画像をずらし量Ｃt だけ移動させることにより、予測画像を生成してもよい。
【００８０】
Ｃt ＝−Ｍ／ｍ    …（４）
【００８１】
前フレームの画像をずらし量Ｃt-1 だけ移動させることにより第１の予測画像を生成するとともに、現フレームの画像をずらし量Ｃt だけ移動させることにより第２の予測画像を生成し、第１の予測画像と第２の予測画像とを加重加算することにより、出力画像を生成するようにしてもよい。
【００８２】
ところで、元のフレームの画像を移動させることによって予測画像を生成した場合、予測画像内に元フレームの画像が存在しない空白部分ができる。このような空白が生じる部分の最大範囲が予め求められており、図１０に示すように、予測画像Ｆ12のうち、空白の最大範囲Ｓを一定の映像レベル（例えば、黒レベル）でマスクすることによって、出力画像を生成することが好ましい。
【００８３】
なお、フレームレートの変換倍率ｍが、例えば、３の場合には、２つの予測画像を生成する。この場合、前フレームの画像に対する１番目の予測画像のずらし量Ｃt-1 は（１／３）×Ｍとなり、前フレームの画像に対する２番目の予測画像のずらし量Ｃt-1 は（２／３）×Ｍとなる。
【００８４】
上述したように、元のフレームの画像を移動させることによって予測画像を生成した場合、予測画像内に元フレームの画像が存在しない空白部分ができる。このような空白部分が生じない予測画像を生成する方法について説明する。
【００８５】
図１１は、予測画像の生成方法の基本的な考え方を示している。
【００８６】
図１１において、Ｆ1 は前フレームの画像を示し、Ｆ2 は現フレームの画像を示している。
【００８７】
ここでは、前フレームの画像Ｆ1 に対する予測画像のずらし量をＣt で表し、現フレームの画像Ｆ2 に対する予測画像のずらし量をＣt+1 で表すことにする。フレームレートの変換倍率をｍ、動き量制御部１８から与えられる動き量をＭとすると、Ｃt およびＣt+1 は、次式（５）により算出される。ただし、この例では、ｍ＝２とする。
【００８８】
Ｃt ＝Ｍ／ｍ
Ｃt+1 ＝−Ｍ／ｍ    …（５）
【００８９】
各ずらし量Ｃt ，Ｃt+1 は水平方向のずらし量Ｃti，Ｃ(t+1)iと、垂直方向のずらし量Ｃtj，Ｃ(t+1)j  とからなる。
【００９０】
前フレームの画像Ｆ1 が右側にずれる場合の水平方向のずらし量Ｃtiの符号を正（プラス）とし、前フレームの画像Ｆ1 が下側にずれる場合の垂直方向のずらし量Ｃtjの符号を正（プラス）とする。
【００９１】
図１１の例では、ＣtiおよびＣtjの符号が共に正である場合について説明する。まず、前フレームの画像Ｆ1 をずらし量Ｃt だけずらした第１の仮の予測画像Ｆ12を生成する。第１の仮の予測画像Ｆ12は、前フレームの画像Ｆ1 をＣtiだけ右側にかつＣtjだけ下側にずらした画像となる。第１の仮の予測画像Ｆ12中のハッチング部分Ｓ１は、元フレームの画像Ｆ1 が存在しない空白部分を示している。
【００９２】
次に、現フレームの画像Ｆ2 をずらし量Ｃt+1 だけずらした第２の仮の予測画像Ｆ21を生成する。第２の仮の予測画像Ｆ21は、現フレームの画像Ｆ2 をＣtiだけ左側にかつＣtjだけ上側にずらした画像となる。第２の仮の予測画像Ｆ21中のハッチング部分Ｓ２は、元フレームの画像Ｆ2 が存在しない空白部分を示している。
【００９３】
前フレームの画像Ｆ1 、現フレームの画像Ｆ2 、第１の仮の予測画像Ｆ12および第２の仮の予測画像Ｆ21に基づいて、空白部分がない予測画像Ｆx を生成する。
【００９４】
図１２は、予測画像Ｆx と、第１の仮の予測画像Ｆ12と、第２の仮の予測画像Ｆ21とを重ね合わせた図を示している。
【００９５】
図１２において、第１の仮の予測画像Ｆ12中の空白部分を領域Ｓ１とし、第２の仮の予測画像Ｆ21の空白部分を領域Ｓ２とする。領域Ｓ１のうち領域Ｓ２と重ならない部分をＱ１で表し、領域Ｓ２のうち領域Ｓ１と重ならない部分をＱ２で表し、領域Ｓ１と領域Ｓ２とが重なる２つのコーナ部分をＲで表し、その他の領域をＴで表すことにする。
【００９６】
予測画像Ｆx 内の領域Ｔについては、第１の仮の予測画像Ｆ12および第２の仮の予測画像Ｆ21のいずれからも予測画像を生成することができるが、この例では第１の仮の予測画像Ｆ12から予測画像を生成する。予測画像Ｆx 内の領域Ｑ１については、第２の仮の予測画像Ｆ21に元画像が存在するので、第２の仮の予測画像Ｆ21から予測画像を生成する。予測画像Ｆx 内の領域Ｑ２については、第１の仮の予測画像Ｆ12に元画像が存在するので、第１の仮の予測画像Ｆ12から予測画像を生成する。予測画像Ｆx 内の領域Ｒについては、前フレームの画像Ｆ1 と現フレームの画像Ｆ2 とを加重加算した画像から予測画像を生成する。このようにすると、空白部分のない予測画像Ｆx を生成することができる。
【００９７】
上記は、ＣtiおよびＣtjの符号が共に正である場合について説明したが、ＣtiおよびＣtjの符号に組合せによって、予測画像Ｆx 内の領域Ｑ１、Ｑ２、Ｒ、Ｔの配置パターンは、図１３に示すように、４種類のパターン（Ｐ＝１〜４）が存在する。
【００９８】
各パターンＰ１〜Ｐ４において、予測画像Ｆx 内の領域Ｔについては、第１の仮の予測画像Ｆ12から生成する。予測画像Ｆx 内の領域Ｑ１については、第２の仮の予測画像Ｆ21から生成する。予測画像Ｆx 内の領域Ｑ２については、第１の仮の予測画像Ｆ12から生成する。予測画像Ｆx 内の領域Ｒについては、前フレームの画像Ｆ1 と現フレームの画像Ｆ2 とを加重加算した画像から生成する。このようにすると、空白部分のない予測画像Ｆx を生成することができる。
【００９９】
図１４は、上記のような予測画像Ｆx を生成するための、出力画像生成部１９の構成例を示している。
【０１００】
１０１は、動き量制御部１８から与えられる動き量Ｍに基づいて、前フレームの画像Ｆ1 のずらし量Ｃt を算出する前フレーム用ずらし量算出部である。１０２は、動き量制御部１８から与えられる動き量Ｍに基づいて、現フレームの画像Ｆ2 のずらし量Ｃt+1 を算出する現フレーム用ずらし量算出部である。
【０１０１】
１０３は、フレームメモリＣ（１４）から与えられる前フレームの画像Ｆ1 をずらし量Ｃt だけずらした第１の仮の予測画像Ｆ12を生成する前フレーム画像ずらし部である。１０４は、フレームメモリＢ（１３）から与えられる現フレームの画像Ｆ2 をずらし量Ｃt+1 だけずらした第２の仮の予測画像Ｆ21を生成する現フレーム画像ずらし部である。
【０１０２】
１０７は、フレームメモリＣ（１４）から与えられる前フレームの画像Ｆ1 に係数δ（０≦δ≦１）を乗算する乗算器である。１０８は、フレームメモリＢ（１３）から与えられる現フレームの画像Ｆ2 に係数（１−δ）を乗算する乗算器である。１０９は、乗算器１０７の乗算結果と、乗算器１０８の乗算結果とを加算する加算器である。加算器１０９からは、前フレームの画像Ｆ1 と現フレームの画像Ｆ2 とを加重加算した画像が出力される。
【０１０３】
前フレーム画像ずらし部１０３から出力される第１の仮の予測画像Ｆ12、現フレーム画像ずらし部１０４から出力される第２の仮の予測画像Ｆ21および加算器１０９から出力される加重加算画像は、セレクタ１１０に入力する。
【０１０４】
１０５は、前フレームの画像Ｆ1 の水平方向のずらし量Ｃtiの符号および垂直方向のずらし量Ｃtjの符号に基づいて、図１３に示す４種類の配置パターンのいずれのパターンに該当するかを分類するパターン分類部である。１０６は、パターン分類部１０５によって分類されたパターンＰに基づいて、セレクタ１１０に選択信号ＳＥＬを出力する選択信号出力部である。
【０１０５】
パターン分類部１０５は、次の条件式（６）に基づいて、パターン信号Ｐを出力する。      
【０１０６】
ｉｆ  Ｃti≦０かつＣtj≦０    ｔｈｅｎ  Ｐ＝１
ｉｆ  Ｃti＞０かつＣtj≦０    ｔｈｅｎ  Ｐ＝２
ｉｆ  Ｃti≦０かつＣtj＞０    ｔｈｅｎ  Ｐ＝３
ｉｆ  Ｃti＞０かつＣtj＞０    ｔｈｅｎ  Ｐ＝４
【０１０７】
選択信号出力部１０６の動作について説明する。選択信号出力部１０６は、第１の仮の予測画像Ｆ12を選択すべき画素位置に対しては選択信号ＳＥＬ＝１を出力し、第２の仮の予測画像Ｆ21を選択すべき画素位置に対しては選択信号ＳＥＬ＝２を出力し、加重加算画像を選択すべき画素位置に対しては選択信号ＳＥＬ＝３を出力する。
【０１０８】
したがって、図１３に示す各パターン（Ｐ＝１〜４）において、ＴおよびＱ２の領域内の画素位置に対しては選択信号ＳＥＬ＝１を出力し、Ｑ１の領域内の画素位置に対しては選択信号ＳＥＬ＝２を出力し、Ｒの領域内の画素位置に対しては選択信号ＳＥＬ＝３を出力する。
【０１０９】
具体的には、選択信号出力部１０６は、画素位置を（ｉ，ｊ）、１フレームの水平方向の画素数をＩ、１フレームの垂直方向の画素数をＪとすると、パターン毎に定められた次のような条件式にもとづいて、選択信号を出力する。
【０１１０】
（１）Ｐ＝１の場合（図１３（ａ））の条件式
if  ｜Ｃti｜≦ｉ＜Ｉかつ｜Ｃtj｜≦ｊ＜Ｊ，  then  ＳＥＬ＝１
if  ０≦ｉ＜（Ｉ−Ｃti）かつ０≦ｊ＜｜Ｃtj｜  または
０≦ｉ＜｜Ｃti｜かつ｜Ｃtj｜≦ｊ＜（Ｊ−｜Ｃtj｜），  then  ＳＥＬ＝２
if  ０≦ｉ＜｜Ｃti｜かつ（Ｊ−｜Ｃtj｜）≦ｊ＜Ｊ  または
（Ｉ−｜Ｃti｜）≦ｉ＜Ｉかつ０≦ｊ＜｜Ｃtj｜，  then  ＳＥＬ＝３
【０１１１】
（２）Ｐ＝２の場合（図１３（ｂ））の条件式
if  ０≦ｉ＜（Ｉ−｜Ｃti｜）かつ｜Ｃtj｜≦ｊ＜Ｊ，  then  ＳＥＬ＝１
if  ｜Ｃti｜≦ｉ＜Ｉかつ０≦ｊ＜｜Ｃtj｜  または
（Ｉ−｜Ｃti｜）≦ｉ＜Ｉかつ｜Ｃtj｜≦ｊ＜（Ｊ−｜Ｃtj｜），then  ＳＥＬ＝２if  ０≦ｉ＜｜Ｃti｜かつ０≦ｊ＜｜Ｃtj｜  または
（Ｉ−｜Ｃti｜）≦ｉ＜Ｉかつ（Ｊ−｜Ｃtj｜）≦ｊ＜Ｊ，  then  ＳＥＬ＝３
【０１１２】
（３）Ｐ＝３の場合（図１３（ｃ））の条件式
if  ｜Ｃti｜≦ｉ＜Ｉかつ０≦ｊ＜（Ｊ−｜Ｃtj｜），  then  ＳＥＬ＝１
if  ０≦ｉ＜｜Ｃti｜かつ｜Ｃtj｜≦ｊ＜Ｊ  または
｜Ｃti｜≦ｉ＜（Ｉ−｜Ｃti｜）かつ（Ｊ−｜Ｃtj｜）≦ｊ＜Ｊ，then  ＳＥＬ＝２if  ０≦ｉ＜｜Ｃti｜かつ０≦ｊ＜｜Ｃtj｜  または
（Ｉ−｜Ｃti｜）≦ｉ＜Ｉかつ（Ｊ−｜Ｃtj｜）≦ｊ＜Ｊ，  then  ＳＥＬ＝３
【０１１３】
（４）Ｐ＝４の場合（図１３（ｄ））の条件式
if  ０≦ｉ＜（Ｉ−｜Ｃti｜）かつ０≦ｊ＜（Ｊ−｜Ｃtj｜），  then  ＳＥＬ＝１
if  ｜Ｃti｜≦ｉ＜（Ｉ−｜Ｃti｜）かつ（Ｊ−｜Ｃtj｜）≦ｊ＜Ｊ  または
（Ｉ−｜Ｃti｜）≦ｉ＜Ｉかつ｜Ｃtj｜≦ｊ＜Ｊ，then  ＳＥＬ＝２
if  ０≦ｉ＜｜Ｃti｜かつ（Ｊ−｜Ｃtj｜）≦ｊ＜Ｊ  または
（Ｉ−｜Ｃti｜）≦ｉ＜Ｉかつ０≦ｊ＜｜Ｃtj｜，  then  ＳＥＬ＝３
【０１１４】
セレクタ１１０は、選択信号出力部１０６から選択信号ＳＥＬ＝１が送られてくると、第１の仮の予測画像Ｆ12を選択して出力する。また、選択信号出力部１０６から選択信号ＳＥＬ＝２が送られてくると、第２の仮の予測画像Ｆ21を選択して出力する。また、選択信号出力部１０６から選択信号ＳＥＬ＝３が送られてくると、加重加算画像を選択して出力する。これにより、空白部分のない予測画像が生成される。
【図面の簡単な説明】
【０１１５】
【図１】デジタルカメラの構成を示すブロック図である。
【図２】輝度信号Ｙに対する手ぶれ補正およびフレームレート変換部５の構成を示すブロック図である。
【図３】各フレームメモリＡ，Ｂ，Ｃへの書き込みと読み出しのタイミングを示すタイミングチャートである。
【図４】各フレームの映像エリア１００内に設定された複数の動きベクトル検出領域Ｅ1 〜Ｅ12を示す模式図である。
【図５】図４の各動きベクトル検出領域Ｅ1 〜Ｅ12内の小領域ｅを示す模式図である。
【図６】図５の小領域ｅに設定された複数のサンプリング点Ｓと１つの代表点Ｒとを示す模式図である。
【図７】パン・チルト判定部１７によるパン・チルト判定処理手順を示すフローチャートである。
【図８】動き量制御部１８の構成を示す回路図である。
【図９】前フレームの画像Ｆ1 と現フレームの画像Ｆ2 と予測画像Ｆ12とを示す模式図である。
【図１０】予測画像Ｆ12のうち、空白の最大範囲を一定の映像レベルでマスクすることによって得られた出力画像を示す模式図である。
【図１１】空白部のない予測画像の生成方法の基本的な考え方を示している。
【図１２】予測画像Ｆx と、第１の仮の予測画像Ｆ12と、第２の仮の予測画像Ｆ21とを重ね合わせた図を示す模式図である。
【図１３】予測画像Ｆx 内の領域Ｑ１、Ｑ２、Ｒ、Ｔの配置パターンの種類を示す模式図である。
【図１４】出力画像生成部１９の構成例を示すブロック図である。
【図１５】従来のフレームレート変換方法の一例を説明するための模式図である。
【符号の説明】
【０１１６】
５  手ぶれ補正およびフレームレート変換部
１１  セレクタ
１２、１３、１４  フレームメモリ
１５  動きベクトル検出部
１７  パン・チルト判定部
１８  動き量制御部
１９  出力画像生成部
【図１】
2006304266.tif 000003
【図２】
2006304266.tif 000004
【図３】
2006304266.tif 000005
【図４】
2006304266.tif 000006
【図５】
2006304266.tif 000007
【図６】
2006304266.tif 000008
【図７】
2006304266.tif 000009
【図８】
2006304266.tif 000010
【図９】
2006304266.tif 000011
【図１０】
2006304266.tif 000012
【図１１】
2006304266.tif 000013
【図１２】
2006304266.tif 000014
【図１３】
2006304266.tif 000015
【図１４】
2006304266.tif 000016
【図１５】
2006304266.tif 000017