(57)【要約】  補間フレームの各画素について一意に動きベクトルを特定することが可能であり、また、高精度に動きベクトルを特定することができる画像処理システムを提供する。動きベクトル候補選択手段３０１は、補間フレームの予め定められた動きベクトルの候補を順次選択する。差分画像生成手段３０２、二値画像生成手段３０３、面積画像生成手段３０４は、それぞれ選択された動きベクトルの候補に応じて、差分画像、二値画像、面積画像を生成する。動きベクトル決定手段３０５は、補間フレームの各画素について、その画素に対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する。画素値決定手段３０６は、画素毎に特定された動きベクトルを用いて、補間フレームの各画素値を決定することにより、補間フレームを生成する。
2009119347.tif 000002
【特許請求の範囲】
【請求項１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理システムであって、
予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択手段と、
補間フレーム中の画素と動きベクトル候補選択手段が選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成する差分画像生成手段と、
前記差分画像を二値化した二値画像を生成する二値画像生成手段と、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成手段と、
補間フレームの各画素について、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する動きベクトル特定手段と、
補間フレームの各画素毎に、動きベクトル特定手段で特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する画素値決定手段とを備える
ことを特徴とする画像処理システム。
【請求項２】
差分画像生成手段は、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する
請求項１に記載の画像処理システム。
【請求項３】
画素値決定手段は、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算する
請求項１または請求項２に記載の画像処理システム。
【請求項４】
差分画像生成手段は、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する
請求項１に記載の画像処理システム。
【請求項５】
画素値決定手段は、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する
請求項１または請求項４に記載の画像処理システム。
【請求項６】
動きベクトル特定手段は、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する
請求項１から請求項５のうちのいずれか１項に記載の画像処理システム。
【請求項７】
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定手段と、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類手段と、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算する背景部画素値決定手段とを備え、
差分画像生成手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
二値画像生成手段は、前記差分画像を二値化した二値画像を生成し、
面積画像生成手段は、前記二値画像から面積画像を生成し、
動きベクトル特定手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、
画素値決定手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する
請求項１から請求項６のうちのいずれか１項に記載の画像処理システム。
【請求項８】
画素分類手段は、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定する
請求項７に記載の画像処理システム。
【請求項９】
背景部画素値決定手段は、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定する
請求項７または請求項８に記載の画像処理システム。
【請求項１０】
大域的動き特定手段は、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する
請求項７から請求項９のうちのいずれか１項に記載の画像処理システム。
【請求項１１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理方法であって、
予め定められた動きベクトルの候補を順次選択し、
補間フレーム中の画素と選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
前記差分画像を二値化した二値画像を生成し、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成し、
補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定し、
補間フレームの各画素毎に、特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する
ことを特徴とする画像処理方法。
【請求項１２】
補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する
請求項１１に記載の画像処理方法。
【請求項１３】
補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算する
請求項１１または請求項１２に記載の画像処理方法。
【請求項１４】
補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する
請求項１１に記載の画像処理方法。
【請求項１５】
補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する
請求項１１または請求項１４に記載の画像処理方法。
【請求項１６】
面積画像を生成すると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択した動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する
請求項１１から請求項１５のうちのいずれか１項に記載の画像処理方法。
【請求項１７】
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定し、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類し、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算し、
差分画像を生成する際、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
前記差分画像を二値化した二値画像を生成し、
前記二値画像から面積画像を生成し、
補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、
補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する
請求項１１から請求項１６のうちのいずれか１項に記載の画像処理方法。
【請求項１８】
大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定する
請求項１７に記載の画像処理方法。
【請求項１９】
大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定する
請求項１７または請求項１８に記載の画像処理方法。
【請求項２０】
大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する
請求項１７から請求項１９のうちのいずれか１項に記載の画像処理方法。
【請求項２１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成するコンピュータに搭載される画像処理用プログラムであって、
前記コンピュータに、
予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択処理、
補間フレーム中の画素と動きベクトル候補選択処理で選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成する差分画像生成処理、
前記差分画像を二値化した二値画像を生成する二値画像生成処理、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成処理、
補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する動きベクトル特定処理、および、
補間フレームの各画素毎に、動きベクトル特定処理で特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する画素値決定処理
を実行させるための画像処理用プログラムが格納された記録媒体。
【請求項２２】
コンピュータに、
差分画像生成処理で、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算させる
請求項２１に記載の画像処理用プログラムが格納された記録媒体。
【請求項２３】
コンピュータに、
画素値決定処理で、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算させる
請求項２１または請求項２２に記載の画像処理用プログラムが格納された記録媒体。
【請求項２４】
コンピュータに、
差分画像生成処理で、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算させる
請求項２１に記載の画像処理用プログラムが格納された記録媒体。
【請求項２５】
コンピュータに、
画素値決定処理で、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算させる
請求項２１または請求項２４に記載の画像処理用プログラムが格納された記録媒体。
【請求項２６】
コンピュータに、
動きベクトル特定処理で、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する
請求項２１から請求項２５のうちのいずれか１項に記載の画像処理用プログラムが格納された記録媒体。
【請求項２７】
コンピュータに、
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定処理、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類処理、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算する背景部画素値決定処理を実行させ、
差分画像生成処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成させ、
二値画像生成処理で、前記差分画像を二値化した二値画像を生成させ、
面積画像生成処理で、前記二値画像から面積画像を生成させ、
動きベクトル特定処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定させ、
画素値決定処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、
画素値を決定させる
請求項２１から請求項２６のうちのいずれか１項に記載の画像処理用プログラムが格納された記録媒体。
【請求項２８】
コンピュータに、
画素分類処理で、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定させる
請求項２７に記載の画像処理用プログラムが格納された記録媒体。
【請求項２９】
コンピュータに、
背景部画素値決定処理で、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定させる
請求項２７または請求項２８に記載の画像処理用プログラムが格納された記録媒体。
【請求項３０】
コンピュータに、
大域的動き特定処理で、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算させる
請求項２７から請求項２９のうちのいずれか１項に記載の画像処理用プログラムが格納された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に、連続するフレームの間にフレームを補間する画像処理システム、画像処理方法および画像処理用プログラムに関する。
【背景技術】
【０００２】
動画像の連続するフレームの間に新たにフレームを補間することで、フレームレートを向上させることができる。以下、補間されるフレームを補間フレームと記す。【０００３】
図１５は、一般的な補間フレーム生成処理で生成される補間フレームを示す説明図である。図１５に示すフレーム１００，１０１は連続する二つのフレームであり、補間フレーム１０６は、その間に補間されるフレームとして生成される。図１５では、与えられる二つのフレーム１００，１０１の画素を黒色で示し、画素値が定められる補間フレーム１０６の画素を斜線で示している。【０００４】
各フレームは、ｘ軸方向およびｙ軸方向に並ぶ画素を含んでいる。図１５に示すｔ軸は、フレームが切り換えられる時刻を表している。図１５では、フレームのｙ軸を省略しているが、ｙ軸を省略せずに連続する二つのフレーム１００，１０１および補間フレームを図示すると、図１６に示すようになる。また、連続する二つのフレームのうち、先に表示される方のフレームを第１フレームと記し、後に表示される方のフレームを第２フレームと記す。すなわち、連続する二つのフレームのうち、時間軸上で先のフレームが第１フレームであり、後のフレームが第２フレームである。【０００５】
第１フレーム１００と第２フレーム１０１の間の補間フレーム１０６を生成する場合、第１フレーム１００中の画素と、第２フレーム１０１中の画素との対応関係を推定し、第１フレーム１００中の画素から第２フレーム１０１中の対応画素への動きベクトルを推定する。図１５では、この動きベクトルを矢印で示している。第１フレーム１００における座標（ｘＴ，ｙＴ）の画素から第２フレーム１０１中の対応画素への動きベクトルを（ｕＴ，ｖＴ）と記す。【０００６】
動きベクトル推定後、第１フレーム１００中の画素から第２フレーム１０１中の対応画素への動きベクトルが補間フレームを通過する位置を特定する。この位置は、（ｘＴ＋ｕＴ／２，ｙＴ＋ｖＴ／２）である。そして、その位置における画素の画素値を、第１フレーム１００中の画素と、第２フレーム１０１中の対応画素との平均値とする。【０００７】
例えば、図１５では、第１フレーム１００中の画素１０２と、第２フレーム中の画素１０４とが対応する。この場合、画素１０２の座標を（ｘＴ，ｙＴ）とし、画素１０２から対応画素１０４への動きベクトル１０３を（ｕＴ，ｖＴ）とすると、補間フレーム上でその動きベクトル１０３が通過する位置は、（ｘＴ＋ｕＴ／２，ｙＴ＋ｖＴ／２）となる。そして、補間フレームにおける（ｘＴ＋ｕＴ／２，ｙＴ＋ｖＴ／２）の画素値（すなわち、図１５の画素１０５の画素値）を、画素１０２，１０４の画素値の平均値として定める。【０００８】
また、動きベクトルの推定では、一定サイズのブロック単位でテンプレートマッチングを行う。例えば、第１フレーム１００の各画素について、同画素を中心とする一定サイズのブロックと対応する第２フレーム２００中のブロックを探すことで、動きベクトルを特定する方法がある。テンプレートマッチングの例が特許文献１に記載されている。特許文献１には、動きベクトルの候補毎に、１フィールド前の画像の参照ブロックと１フィールド後の画像の参照ブロックとのそれぞれの画素の差分絶対値和を計算し、その最小値を示すベクトルを動きベクトルとする動きベクトル検出方法が記載されている。また、特許文献２には、複数の候補ベクトルの中から動きベクトルを算出する動き検出方法が記載されている。【０００９】
テンプレートマッチングでは、予め、表示される物体の形状を一定サイズのブロックと仮定し、連続する二つのフレーム間で、互いに対応する一定サイズのブロックの組を特定する。【００１０】
【特許文献１】特開２００６−１６６０６１号公報（段落００１１）
【特許文献２】特開２００５−３１８５７６号公報（段落００３１−００３３）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
一般的な補間フレームの生成処理では、画素値を特定することができない場合があった。図１７は、画素値を定めることができない補間フレーム中の画素の例を示す。図１５を参照して説明した一般的な補間フレーム生成方法では、第１フレーム１００中の各画素から、第２フレーム２００中の対応画素への動きベクトルを推定し、その動きベクトルが通過する補間フレームの画素に画素値を付与する。【００１２】
しかし、第１フレーム１００中の画素から第２フレーム２００中の画素への動きベクトルが、補間フレーム１０６中の全ての画素を通過するとは限らない。図１５を参照して説明した一般的な方法では、補間フレーム１０６において、動きベクトルが通過しない画素については画素値を定めることはできない。図１７に例示する画素１０７，１０８は、このように動きベクトルが通過しないために、画素値を特定することができない画素を表している。【００１３】
また、補間フレーム１０６の画素には、複数の動きベクトルが通過することもあり得る。そのような画素については、複数の画素値を付与することが可能となるので、画素値を一意に特定することができない。例えば、図１７に示す画素１０９は、フレーム１００，１０１中の２組の画素から画素値を計算することができるため、画素値が一意に定められない。【００１４】
また、動きベクトルを定めるためのテンプレートマッチングでは、動きベクトルを正確に推定できない場合があった。図１８は、動きベクトルを推定できない場合の例を示す説明図である。図１８では、異なる方向に移動する二つの物体Ａ，Ｂを表示する連続する二つのフレーム２００，２０１を示している。図１８に示すように、第１フレーム２００では、物体Ａ，Ｂは近くに配置されているが、第２フレーム２０１では離れる。図１８において、テンプレートマッチングで用いるブロックは点線の矩形で示している。【００１５】
図１８に例示するフレーム２００，２０１間で、物体と比較して小さなブロック２０６を用いてテンプレートマッチングを行うと、ブロック２０６に対応するブロックは、フレーム２０１において複数定められる。例えば、図１８においてフレーム２０１内に示すブロック２０９は、いずれもブロック２０６に対応するブロックとして選択し得る。このように、ブロック２０６に対応し得るブロックが複数存在することにより、ブロック２０６から、第２フレーム２０１内のブロックへの動きベクトルを一意に特定することができない。【００１６】
また、例えば、物体と比較して大きなブロック２０７を用いてテンプレートマッチングを行うと、第２フレーム２０１上には、ブロック２０７に示すように物体Ａ，Ｂを含むブロックが存在しない。すなわち、ブロック２０７に対応するブロックを第２フレーム２０１から特定することができない。よって、動きベクトルを特定することができない。【００１７】
また、図１８に示すブロック２０８のように、動きの異なる物体の境界部分のブロックに関するテンプレートマッチングでは、どのような大きさのブロックを用いても、第２フレーム２０２から対応するブロックを特定することができない。よって、動きベクトルを特定することができない。【００１８】
また、テンプレートマッチングでは、表示される物体と同じ形状のブロックを用いることが理想的であるが、フレームに表示される物体の形状等は未知であるので、そのような理想的なブロックでテンプレートマッチングを行うことは困難である。【００１９】
そこで、本発明は、補間フレームの各画素について一意に動きベクトルを特定することが可能であり、また、高精度に動きベクトルを特定することができる画像処理システム、画像処理方法および画像処理用プログラムが格納された記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の画像処理システムは、一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理システムであって、予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択手段と、補間フレーム中の画素と動きベクトル候補選択手段が選択した動きベクトルの候補とによって定まる一のフレーム中の画素と他のフレーム中の画素との差分を計算し、補間フレーム中の画素と同一座標の画素に差分を割り当てた差分画像を生成する差分画像生成手段と、差分画像を二値化した二値画像を生成する二値画像生成手段と、二値画像で差分なしに該当する画素の画素値を、その画素が連結している領域の面積とし、二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成手段と、補間フレームの各画素について、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する動きベクトル特定手段と、補間フレームの各画素毎に、動きベクトル特定手段で特定された動きベクトルによって定まる一のフレーム中の画素と他のフレーム中の画素とに基づいて画素値を決定する画素値決定手段とを備えることを特徴とする。【００２１】
また、本発明の画像処理方法は、一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理方法であって、予め定められた動きベクトルの候補を順次選択し、補間フレーム中の画素と選択した動きベクトルの候補とによって定まる一のフレーム中の画素と他のフレーム中の画素との差分を計算し、補間フレーム中の画素と同一座標の画素に差分を割り当てた差分画像を生成し、差分画像を二値化した二値画像を生成し、二値画像で差分なしに該当する画素の画素値を、その画素が連結している領域の面積とし、二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成し、補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定し、補間フレームの各画素毎に、特定された動きベクトルによって定まる一のフレーム中の画素と他のフレーム中の画素とに基づいて画素値を決定することを特徴とする。【００２２】
また、本発明の画像処理用プログラムが格納された記録媒体は、一のフレームと他のフレームとの間に挿入される補間フレームを生成するコンピュータに搭載される画像処理用プログラムが格納された記録媒体であって、コンピュータに、予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択処理、補間フレーム中の画素と動きベクトル候補選択処理で選択した動きベクトルの候補とによって定まる一のフレーム中の画素と他のフレーム中の画素との差分を計算し、補間フレーム中の画素と同一座標の画素に差分を割り当てた差分画像を生成する差分画像生成処理、差分画像を二値化した二値画像を生成する二値画像生成処理、二値画像で差分なしに該当する画素の画素値を、その画素が連結している領域の面積とし、二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成処理、補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する動きベクトル特定処理、および、補間フレームの各画素毎に、動きベクトル特定処理で特定された動きベクトルによって定まる一のフレーム中の画素と他のフレーム中の画素とに基づいて画素値を決定する画素値決定処理を実行させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、補間フレームの各画素について、それぞれ一意に動きベクトルを特定することが可能であり、また、高精度に動きベクトルを特定することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の画像処理システムの例を示すブロック図である。
【図２】本発明における動きベクトルを示す説明図である。
【図３】動きベクトルの候補の例を示す説明図である。
【図４】動きベクトルの候補の他の例を示す説明図である。
【図５】二値画像の例を模式的に示す説明図である。
【図６】面積画像を示す説明図である。
【図７】画素値０の画素が斜め方向に連結した二値画像の例を示す説明図である。
【図８】本発明の画像処理システムの処理経過の例を示す説明図である。
【図９】画像処理システムの処理により生成される各種画像を示す模式図である。
【図１０】画像（フレーム）全体を複数個のブロックに分割する例を示す説明図である。
【図１１】本発明の効果を示す説明図である。
【図１２】本発明の他の実施形態の画像処理システムの例を示すブロック図である。
【図１３】大域的動き算出手段が大域的動き情報を計算する処理の例を示すフローチャートである。
【図１４】フレームを正方ブロックに分割したときのグリッド点の例を示す説明図である。
【図１５】一般的な補間フレーム生成処理で生成される補間フレームを示す説明図である。
【図１６】二つのフレームおよび補間フレームを示す説明図である。
【図１７】画素値を定めることができない補間フレーム中の画素の例を示す説明図である。
【図１８】動きベクトルを推定できない場合の例を示す説明図である。
【符号の説明】
【００２５】
３０１  動きベクトル候補選択手段
３０２  差分画像生成手段
３０３  二値画像生成手段
３０４  面積画像生成手段
３０５  動きベクトル特定手段
３０６  画素値決定手段
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態を図面を参照して説明する。
図１は、本発明の画像処理システムの例を示すブロック図である。本発明の画像処理システムは、動きベクトル候補選択手段３０１と、差分画像生成手段３０２と、二値画像生成手段３０３と、面積画像生成手段３０４と、動きベクトル特定手段３０５と、画素値決定手段３０６とを備える。【００２７】
本発明の画像処理システムには、動画像を表示するための連続するフレームが入力される。そして、画像処理システムは、入力された連続する二つのフレームの間に挿入する補間フレームを生成する。画像処理システムは、補間フレームの画素値を決定することにより補間フレームを生成する。【００２８】
以下の説明では、まず、入力される各フレームがグレースケールの画像であり、入力される各フレームの画素の画素値が輝度を示す輝度値である場合を例にして説明する。【００２９】
動きベクトル候補選択手段３０１は、予め定められた動きベクトルの複数の候補の中から各候補を順次、選択していく。例えば、動きベクトルの候補は、画像処理システムが備えるメモリ（図示せず。）に記憶され、動きベクトル候補選択手段３０１は、動きベクトルの各候補を順次、選択していけばよい。【００３０】
ここで、本発明における動きベクトルについて説明する。図２は、本発明における動きベクトルを示す説明図である。図２では、フレームのｙ軸を省略している。本発明における動きベクトルは、補間フレーム５２中の画素６２から、第２フレーム（連続する２つのフレームにおける後のフレーム）５１中の画素６１への動きを表すベクトルである。すなわち、動きベクトルは、補間フレーム５２中の画素を始点とし、第２フレーム中の画素を終点とするベクトルである。図２では、実線の矢印で動きベクトル７１を図示している。また、動きベクトル７１の逆ベクトル７２は、補間フレーム５２中の画素６２から、第１フレーム（連続する２つのフレームにおける前のフレーム）５０中の画素６０へのベクトルである。【００３１】
補間フレーム５２中の画素６２に対して動きベクトル７１を定めると、第２フレーム５１中の画素６１が定まり、また、動きベクトル７１の逆ベクトル７２も定まるので、第１フレーム５０中の画素６０も定まる。従って、補間フレーム５２中の画素６２に対して、動きベクトル７１を一つ定めると、二つのフレーム５０，５１中の画素６０，６１も定まる。なお、ここでは、画像として表示される物が等速直線運動するものとみなしている。すなわち、画面において、画素６０で表示された部分が画素６１の位置まで等速直線運動するものとみなしている。そして、補間フレーム５２中の画素６２は、画素６０で表示された部分が画素６２の位置まで移動するときの中点となる位置に相当する。動画像を表示するためのフレームは高速に切り換えられるので、連続する２つのフレームで表示される物の動きは等速直線運動であるとみなすことができる。【００３２】
図３は、動きベクトルの候補の例を示す説明図である。図３（ａ）は、動きベクトルの複数の候補を模式的に示している。図３（ａ）に示す中央の画素８１は、補間フレーム上の画素である。図３（ａ）では、８個のベクトルを図示しているが、動きベクトルとしてゼロベクトルもある。画素８１に表示される部分が表示画面内で移動しない場合には、動きベクトルはゼロベクトルとなる。図３（ｂ）は、図３（ａ）に示す各動きベクトルの要素を示している。図３（ｂ）に示すように、動きベクトルはｘ成分とｙ成分とで表される。例えば、動きベクトルが（０，０）であるということは、補間フレーム中の画素８１に表示される部分が、第２フレームに切り替わっても移動しないということを意味している。また、例えば、動きベクトルが（−１，−１）であるということは、補間フレーム中の画素８１に表示される部分が、第２フレームに切り替わると、画素８１よりもｘ座標が１小さく、ｙ座標が１小さい画素に移動するということを意味している。図３（ｂ）に例示する他の動きベクトルについても同様である。【００３３】
図３では、ゼロベクトルを含む９個の動きベクトルの候補を示しているが、動きベクトルの候補の組み合わせは、図３に示す例に限定されない。例えば、図４（ａ）に示すように、５行５列に並ぶ画素の中心から、その５行５列に並ぶそれぞれの画素への動きを示すベクトルの集合であってもよい。図４（ａ）では、５行５列の場合を示したが、中心となる画素からｎ行ｎ列に並ぶ各画素への動きを示すベクトルの集合であってもよい。また、図４（ｂ）に示すように、中心となる画素からｎ行ｎ列に並ぶ画素のうちの一部の画素への動きを示すベクトルの集合であってもよい。さらに、入力される連続するフレームが、横方向のみに移動する画像を表すならば、動きベクトルのｙ座標はすべて０であってもよい。動きベクトルの候補の組み合わせは、入力される連続する二つのフレーム間における画像の最大移動量や移動方向に応じて、予め決定しておけばよい。【００３４】
動きベクトルの候補は、動きベクトルの始点となる画素からのオフセットを示しているということができるので、以下の説明では、各動きベクトルの候補をオフセット信号と記す。【００３５】
動きベクトル候補選択手段３０１は、予め定められた複数のオフセット信号の中から、オフセット信号を順次、選択する。以下、オフセット信号（動きベクトルの候補）のｘ成分をｕとし、ｙ成分をｖとして、オフセット信号を（ｕ，ｖ）と表す。【００３６】
差分画像生成手段３０２は、補間フレーム中の画素と動きベクトル候補選択手段３０１が選択したオフセット信号とによって定まる第１フレーム中の画素と第２フレーム中の画素との差分を計算する。そして、差分画像生成手段３０２は、補間フレーム中のその画素と同一の座標の画素値として、計算した差分を割り当てた差分画像を生成する。【００３７】
差分画像は、補間フレームの各画素の座標と同一座標の画素を有する。差分画像の各画素の画素値は、補間フレームの画素とオフセット信号によって定まる第１フレームおよび第２フレームの画素の差分である。【００３８】
補間フレームの画素の座標を（ｘ，ｙ）としたときに、差分画像における座標（ｘ，ｙ）の画素の画素値をＳ（ｘ，ｙ）を表すこととする。差分画像生成手段３０２は、オフセット信号（ｕ，ｖ）が選択されると、補間フレームの各画素毎に、以下に示す式（１）の計算によって差分画像の各画素の画素値を定める。【００３９】
Ｓ（ｘ，ｙ）＝｜Ｉｔ＋１（ｘ＋ｕ，ｙ＋ｖ）−Ｉｔ（ｘ−ｕ，ｙ−ｖ）｜    式（１）【００４０】
なお、Ｉｔ＋１（ｘ＋ｕ，ｙ＋ｖ）は、第２フレームにおける座標（ｘ＋ｕ，ｙ＋ｖ）の画素の輝度値である。また、Ｉｔ（ｘ−ｕ，ｙ−ｖ）は、第１フレームにおける座標（ｘ−ｕ，ｙ−ｖ）の画素の輝度値である。【００４１】
図２に示す補間フレーム５２の画素６２の座標が（ｘ，ｙ）であるとする。また、動きベクトル７１の候補として、あるオフセット信号（ｕ，ｖ）が選択されたとする。すると、画素６２およびオフセット信号（ｕ，ｖ）により定まる第２フレーム５１中の画素６１の座標は（ｘ＋ｕ，ｙ＋ｖ）となる。また、画素６２および選択されたオフセット信号（ｕ，ｖ）により定まる第１フレーム５０中の画素６０の座標は（ｘ−ｕ，ｙ−ｖ）となる。このように、補間フレーム５２の画素６２およびオフセット信号（ｕ，ｖ）により、画素６０，６１が定まる。式（１）の右辺は、補間フレーム５２の画素６２およびオフセット信号（ｕ，ｖ）により定まる第２フレーム５１中の画素６１および第１フレーム５０中の画素６０の輝度値の差分の絶対値である。差分画像生成手段３０２は、この値を、差分画像における座標（ｘ，ｙ）の画素値とする。【００４２】
動きベクトル候補選択手段３０１は、予め定められている複数のオフセット信号の中から、各オフセット信号を順に、一つ一つ選択する。選択されたオフセット信号が、第１フレームの画像から第２フレームの画像への変化に則しているならば、画素６０，６１は画像中の同じ部分を表すことになるので、理想的には画素６０，６１の輝度値の差分は０となる。なお、実際には、画素６０，６１が画像の同じ部分を表していたとしても、ノイズ等の影響により完全に０とはならない場合がある。一方、選択されたオフセット信号が実際の画像の変化に則していなければ、画素６０，６１はそれぞれ画像中の別の部分を表すことになり、画素６０，６１の輝度値の差分は大きくなる。【００４３】
差分画像生成手段３０２は、式（１）の計算を補間フレーム中の各画素毎に行い、その画素と同一座標の差分画像中の画素値を決定していくことで、差分画像を生成する。【００４４】
また、差分画像生成手段３０２は、選択されたオフセット信号の信頼度を格納する信頼度画像の全画素の画素値を０に初期化する。信頼度画像は、補間フレームの各画素の座標と同一座標の画素を有する。補間フレームの画素の座標を（ｘ，ｙ）としたときに、信頼度画像における座標（ｘ，ｙ）の画素の画素値をＲ（ｘ，ｙ）と表すこととする。信頼度画像では、画素値Ｒ（ｘ，ｙ）として、補間フレームの画素（ｘ，ｙ）における各オフセット信号の信頼度の最大値が格納されることになる。【００４５】
また、差分画像生成手段３０２は、動きベクトル画像の全画素の画素値を０に初期化する。動きベクトル画像とは、動きベクトル（具体的には信頼度が最も高いオフセット信号）の成分を格納する画像である。動きベクトルの成分には、ｘ成分とｙ成分があるので、動きベクトル画像も二種類用意する。両者を区別するため、ｘ成分を格納する方をｘ成分用動きベクトル画像と記し、ｙ成分を格納する方をｙ成分用動きベクトル画像と記す。この二種類の動きベクトル画像は、補間フレームの各画素の座標と同一座標の画素を有する。補間フレームの画素の座標を（ｘ，ｙ）としたときに、ｘ成分用動きベクトル画像における座標（ｘ，ｙ）の画素の画素値をＵ（ｘ，ｙ）と表し、ｙ成分用動きベクトル画像における座標（ｘ，ｙ）の画素の画素値をＶ（ｘ，ｙ）と表すこととする。Ｕ（ｘ，ｙ）には、補間フレームの画素（ｘ，ｙ）において、信頼度が最大のオフセット信号のｘ成分が格納され、Ｖ（ｘ，ｙ）にはそのオフセット信号のｙ成分が格納されることになる。【００４６】
二値画像生成手段３０３は、差分画像生成手段３０２が生成した差分画像をしきい値で二値化した二値画像を生成する。しきい値は、一定の値に定められている。二値画像における座標（ｘ，ｙ）の画素の画素値をＢ（ｘ，ｙ）と表すことにする。二値画像生成手段３０３は、差分画像の画素値Ｓ（ｘ，ｙ）がしきい値より大きければ、その画素に対応する二値画像中の画素の画素値を１とする。また、差分画像の画素値Ｓ（ｘ，ｙ）がしきい値以下であれば、その画素に対応する二値画像中の画素の画素値を０とする。二値画像生成手段３０３は、この処理を画素毎に行い、二値画像を生成する。従って、二値画像の画素値は、以下に示す式（２）のように表される。ただし、式（２）において、ｔｈｒｅｓｈは、しきい値である。【００４７】
2009119347.tif 000003
【００４８】
図５は、二値画像の例を模式的に示す説明図である。図５に示す"１"，"０"は、各画素の画素値である。二値画像生成手段３０３が生成した二値画像では、Ｂ（ｘ，ｙ）＝０となる画素は、差分なしに該当する画素である。すなわち、差分画像において差分が生じていないとみなされる部分に相当する画素である。また、Ｂ（ｘ，ｙ）＝１となる画素は、差分ありに該当する画素である。すなわち、差分画像において差分が生じているとみなされる部分に相当する画素である。【００４９】
面積画像生成手段３０４は、二値画像生成手段３０３が生成した二値画像を参照して、面積画像を生成する。面積画像は、二値画像の各画素のうち差分なしに該当する画素の画素値を、その画素（差分なしに該当する画素）が連結している領域の面積とし、二値画像の各画素のうち差分ありに該当する画素の画素値を所定の値とした画像である。この所定の値は、差分なしに該当する画素の面積の最小値未満の値であればよい。以下、差分なしに該当する画素が連結している領域の面積を、その連結している画素数で表し、この所定の値を０とする場合を例にして説明する。【００５０】
面積画像は、補間フレームの各画素の座標と同一座標の画素を有する。面積画像における座標（ｘ，ｙ）の画素の画素値をＡ（ｘ，ｙ）とすると、Ｂ（ｘ，ｙ）＝０であるならば、着目している座標（ｘ，ｙ）の画素を含む領域であって、Ｂ（ｘ，ｙ）＝０となる画素が連結している領域の面積を、Ａ（ｘ，ｙ）とする。また、Ｂ（ｘ，ｙ）＝１であるならば、Ａ（ｘ，ｙ）＝０とする。【００５１】
図６は、図５に例示する二値画像に基づいて生成される面積画像を示す説明図である。図６に示す面積画像の各画素は、それぞれ図５に示す二値画像の各画素に対応している。二値画像において、領域９２の画素値は０である。そして、画素値０の画素が連結している領域９２の面積は６である（図５参照）。従って、面積画像では、領域９２内の画素と同一座標の各画素の画素値は６となる（図６参照）。同様に、二値画像における領域９４内の画素と同一座標の各画素の画素値は４となる（図５、図６参照）。また、二値画像における領域９１，９２の各画素の画素値は１である（図５参照）。従って、面積画像では、領域９１，９３内の画素と同一座標の各画素の画素値は０となる。【００５２】
画素値０の画素が連結している状態とは、例えば、画素値０の画素同士が互いに縦、横、または斜め方向に並んでいる状態である。あるいは、画素値０の画素同士が互いに縦または横に並んでいる状態を、画素値０の画素が連結している状態と定義してもよい。例えば、図７に示す状態の二値画像が得られたとする。画素値０の画素同士が互いに縦、横、または斜め方向に並んでいる状態を、画素値０の画素が連結している状態と定義すると、画素値０の画素が連結している領域の面積は５となる。また、画素値０の画素同士が互いに縦または横に並んでいる状態を、画素値０の画素が連結している状態と定義すると、面積１の領域が５個存在していることになる。画素値０の画素が連結している状態の定義はいずれであってもよい。斜め方向の並びも連結状態に含めると、補間精度を向上させることができる。一方、斜め方向の並びを連結状態に含めなければ、面積画像生成処理の負荷を軽減することができる。【００５３】
面積画像の各画素における画素値Ａ（ｘ，ｙ）は、座標（ｘ，ｙ）における、選択されているオフセット信号の信頼度である。【００５４】
動きベクトル特定手段３０５は、補間フレームの各画素について、その補間フレームの画素と対応する面積画像中の画素の画素値が最大となるオフセット信号を動きベクトルとして特定する。すなわち、補間フレームのそれぞれの画素について、信頼度が最も高いオフセット信号を動きベクトルとして特定する。【００５５】
具体的には、動きベクトル特定手段３０５は、面積画像が生成されると、面積画像の各画素の画素値Ａ（ｘ，ｙ）の最大値が更新されたか否かを判定する。そして、面積画像の画素値Ａ（ｘ，ｙ）が更新されていると、その面積画像生成時に選択されているオフセット信号を、その画素の座標（ｘ，ｙ）と同一座標の補間フレーム中の画素の動きベクトルとする。動きベクトル特定手段３０５は、このようにＡ（ｘ，ｙ）の最大値が更新されたときに、補間フレーム中の座標（ｘ，ｙ）の画素の動きベクトルを更新することにより、補間フレームのそれぞれの画素毎に、最も信頼度の高い動きベクトルを特定する。【００５６】
本実施形態では、動きベクトル特定手段３０５は、信頼度画像、ｘ成分用動きベクトル画像およびｙ成分用動きベクトル画像を用いて、上記の処理を行う。すなわち、各座標毎にＲ（ｘ，ｙ）とＡ（ｘ，ｙ）とを比較する。そして、Ｒ（ｘ，ｙ）＜Ａ（ｘ，ｙ）であることを条件として、以下に示す式（３）、式（４）、式（５）の様に、Ｒ（ｘ，ｙ），Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ）を更新する。なお、ｕ，ｖは、それぞれ面積画像生成時に選択されていたオフセット信号のｘ成分、ｙ成分である。【００５７】
Ｒ（ｘ，ｙ）＝Ａ（ｘ，ｙ）          式（３）【００５８】
Ｕ（ｘ，ｙ）＝ｕ                    式（４）【００５９】
Ｖ（ｘ，ｙ）＝ｖ                    式（５）【００６０】
全てのオフセット信号が順に選択され、最終的に得られたＵ（ｘ，ｙ），Ｖ（ｘ，ｙ）が、補間フレームの座標（ｘ，ｙ）の画素における動きベクトルのｘ成分、ｙ成分である。【００６１】
画素値決定手段３０６は、補間フレームの各画素の動きベクトルが特定されると、補間フレームの各画素毎に、動きベクトル特定手段３０５に特定された動きベクトルによって定まる第１フレーム中の画素と第２フレーム中の画素とに基づいて画素値を決定する。補間フレーム中のある画素およびその画素の動きベクトルによって定まる第１フレームの画素および第２フレームの画素は、画像の同じ部分を表す。従って、着目している補間フレームの画素も同じ部分を表すように、画素値をさだめればよい。本実施形態では、画素値決定手段３０６は、補間フレーム中の画素と動きフレームによって定まる第１フレームの画素および第２フレームの画素の輝度値の平均値を算出し、その平均値を、補間フレーム中の着目している画素の画素値とする。すなわち、画素値決定手段３０６は、補間フレーム中の各画素毎に、以下の式（６）の計算を行って補間フレームの各画素の画素値（本実施形態では輝度値）を決定する。【００６２】
Ｉ（ｘ，ｙ）＝｛Ｉｔ＋１（ｘ＋Ｕ（ｘ，ｙ），ｙ＋Ｖ（ｘ，ｙ））＋Ｉｔ（ｘ−Ｕ（ｘ，ｙ），ｙ−Ｖ（ｘ，ｙ））｝／２                                    式（６）【００６３】
式（６）において、Ｉ（ｘ，ｙ）は、補間フレームの座標（ｘ，ｙ）の画素の画素値（輝度値）である。また、（ｘ＋Ｕ（ｘ，ｙ），ｙ＋Ｖ（ｘ，ｙ））は、座標（ｘ，ｙ）と動きベクトル（Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ））とにより定まる座標であり、具体的には座標（ｘ，ｙ）を動きベクトル分だけ変化させた座標である。Ｉｔ＋１（ｘ＋Ｕ（ｘ，ｙ），ｙ＋Ｖ（ｘ，ｙ））は、第２フレームにおけるその座標の画素の輝度値である。同様に、（ｘ−Ｕ（ｘ，ｙ），ｙ−Ｖ（ｘ，ｙ））は、座標（ｘ，ｙ）と動きベクトル（Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ））とにより定まる座標であり、具体的には座標（ｘ，ｙ）を、動きベクトルの逆ベクトル分だけ変化させた座標である。Ｉｔ（ｘ−Ｕ（ｘ，ｙ），ｙ−Ｖ（ｘ，ｙ））は、第１フレームにおけるその座標の画素の輝度値である。【００６４】
画素値決定手段３０６は、補間フレームの各画素の輝度値を決定することにより、補間フレームを生成する。【００６５】
動きベクトル候補選択手段３０１、差分画像生成手段３０２、二値画像生成手段３０３、面積画像生成手段３０４、動きベクトル特定手段３０５、および画素値決定手段３０６は、例えば、プログラム（画像処理用プログラム）に従って動作するＣＰＵによって実現される。なお、プログラムは、例えば、画像処理システムが備える記憶装置（図示せず）に記憶される。ＣＰＵは、そのプログラムを読み込み、そのプログラムに従って、動きベクトル候補選択手段３０１、差分画像生成手段３０２、二値画像生成手段３０３、面積画像生成手段３０４、動きベクトル特定手段３０５、および画素値決定手段３０６として動作する。【００６６】
次に、動作について説明する。図８は、本発明の画像処理システムの処理経過の例を示す説明図である。また、図９は、画像処理システムの処理により生成される各種画像を示す模式図である。【００６７】
差分画像生成手段３０２は、信頼度画像、ｘ成分用動きベクトル画像およびｙ成分用動きベクトル画像を初期化する（ステップＳ１）。すなわち、各座標（ｘ，ｙ）について、Ｒ（ｘ，ｙ）＝０、Ｕ（ｘ，ｙ）＝０、Ｖ（ｘ，ｙ）＝０とする。なお、入力されるフレーム（第１フレームおよび第２フレーム）の大きさは一定であり、従って、補間フレームにおける各画素の座標は予め定められているものとする。【００６８】
差分画像生成手段３０２に、連続する２つのフレーム（第１フレームおよび第２フレーム）が入力されると、差分画像生成手段３０２は、用意されている複数のオフセット信号の中から未選択のオフセット信号を一つ選択する（ステップＳ２）。【００６９】
次に、差分画像生成手段３０２は、補間フレームの各画素毎に、その画素と選択したオフセット信号とによって定まる第１フレーム中の画素と第２フレーム中の画素とで、輝度値の差分の絶対値を計算し、その差分の絶対値を画素値とする差分画像を生成する（ステップＳ３）。すなわち、選択したオフセット信号を（ｕ，ｖ）とすると、差分画像生成手段３０２は、各画素毎に式（１）に示す計算を行い、Ｓ（ｘ，ｙ）を画素値とする二値画像を生成する。【００７０】
例えば、図９に示す入力画像４００，４０１が第１フレームおよび第２フレームとして入力されたとする。そして、この連続するフレーム４００は、画像中の物体Ａ，Ｂが遠ざかるように移動する状況を表す動画であるものとする。また、第１フレームおよび第２フレームにおいて、物体Ａ，Ｂ以外の背景部分は、グラデーションとなっていて、背景部分の各画素の輝度値は一様でないものとする。図９に示す差分画像４０２は、ステップＳ３で生成される差分画像の例を示している。領域７０１は、第１フレーム４００で物体Ａを表す画素の輝度と第２フレーム４０１で物体Ａを表す画素の輝度との差分の絶対値が割り当てられる領域である。領域７０２は、第１フレーム４００で物体Ｂを表す画素の輝度と第２フレーム４０１で物体Ｂを表す画素の輝度との差分の絶対値が割り当てられる領域である。同じ物体を表す画素同士の差分は、ノイズ等の影響により０とならない場合があるが、有意な差は生じない。なお、本例では背景部分の輝度は一様でないので、座標（ｘ，ｙ）とオフセット信号により定まる２つの画素が背景部分の画素同士である場合、オフセット信号が（０，０）である場合を除いて有意な差が生じる。【００７１】
ステップＳ３の後、二値画像生成手段３０３は、各座標毎に（すなわち各画素毎に）、式（２）に示す計算を行って、ステップＳ３で生成された差分画像を二値化した二値画像を生成する（ステップＳ４）。しきい値（式（２））に示すｔｈｒｅｓｈは、有意でないとみなせる差分を０とし、有意とみなせる差分を１とする値として定めておけばよい。【００７２】
図９に示す例では、二値画像４０３において、差分画像４０２の領域７０１，７０２に対応する領域の画素は０となり、差分画像４０２の領域７０１，７０２以外の領域に対応する領域の画素は１となる。【００７３】
二値画像が生成されると、面積画像生成手段３０４は、その二値画像に基づいて面積画像を生成する（ステップＳ５）。ステップＳ５では、面積画像生成手段３０４は、二値画像を参照し、画素値が０となっている画素同士が連結している領域毎に、その領域の面積を計算する。例えば、画素値が０となっている画素同士が連結している領域毎に、その連結している画素数をカウントする。そして、面積画像生成手段３０４は、その領域の各画素の画素値をその面積とする。すなわち、Ｂ（ｘ，ｙ）＝０であれば、その座標（ｘ，ｙ）と連結している画素値０の画素の面積（Ｐとする）を求め、Ａ（ｘ，ｙ）＝Ｐとする。また、面積画像生成手段３０４は、二値画像で画素値が１となっている画素に関してはＡ（ｘ，ｙ）＝０とする。すなわち、Ｂ（ｘ，ｙ）＝１であれば、Ａ（ｘ，ｙ）＝０とする。【００７４】
図９に示す面積画像４０４では、領域７０１の各画素の画素値は領域７０１の面積値に設定されている。また、領域７０２の各画素の画素値は領域７０２の面積値に設定されている。その他の領域７０３の各画素の画素値は０に設定される。【００７５】
ステップＳ２〜Ｓ５の処理を行うので、一つのオフセット信号を選択すると、一つの面積画像を生成することになる。【００７６】
図９に示す物体Ａ，Ｂのように、動画において画像中の物体が移動する場合、補間画像中の個々の画素において、選択されたオフセット信号がその動きに則しているならば、補間画像中の画素とオフセット信号から定まる第１フレームおよび第２フレームの画素の間に有意な差は生じない。また、選択されたオフセット信号が動画における移動に則しているほど、そのような画素の数は、物体を表す画素の数に近づき、オフセット信号が動画における移動に則していなければ０に近づく。ここでは、動画中で表示される物体について述べたが背景についても同様である。従って、面積画像における各画素の画素値Ａ（ｘ，ｙ）は、オフセット信号が画像の動きに則しているほど大きくなる。よって、Ａ（ｘ，ｙ）は、座標（ｘ，ｙ）における選択中のオフセット信号の信頼度となる。【００７７】
ステップＳ５の後、動きベクトル特定手段３０５は、Ａ（ｘ，ｙ）と、Ｒ（ｘ，ｙ）とを比較し、Ｒ（ｘ，ｙ）＜Ａ（ｘ，ｙ）であることを条件に、Ｒ（ｘ，ｙ）の値を、Ａ（ｘ，ｙ）に更新し、Ｕ（ｘ，ｙ）の値をｕに更新し、Ｖ（ｘ，ｙ）の値をｖに更新する。ｕ，ｖは、ステップＳ２で選択したオフセット信号のｘ成分、ｙ成分である。Ｒ（ｘ，ｙ）＜Ａ（ｘ，ｙ）が成立していない画素に関しては、この各更新を行わない。動きベクトル特定手段３０５は、この処理を各座標毎に行う（ステップＳ６）。【００７８】
ステップＳ６の後、動きベクトル候補選択手段３０１は、既に全てもオフセット信号を選択済みか否かを判定する（ステップＳ７）。まだ、選択していないオフセット信号があれば（ステップＳ７におけるＮｏ）、ステップＳ２以降の処理を行う。【００７９】
なお、動きベクトル候補選択手段３０１が、ステップＳ２に移行する度にオフセット信号を選択するが、オフセット信号の選択順序は特に限定されない。例えば、動きベクトル候補選択手段３０１は、図３（ｂ）に例示するような各オフセット信号を選択する場合、ラスタースキャン順に選択してもよい。あるいは、動きなしを意味するゼロベクトル（０，０）を中心として、動きの少ない順にオフセット信号を選択してもよい。【００８０】
全てのオフセット信号を選択済みである場合（ステップＳ７におけるＹｅｓ）、ステップＳ８に移行する。このとき、個々の画素に特定されているＵ（ｘ，ｙ），Ｖ（ｘ，ｙ）は、その画素に関して最も信頼度の高い動きベクトルのｘ成分、ｙ成分である。よって、補間フレームの座標（ｘ，ｙ）における動きベクトルは、（Ｕ（ｘ，ｙ），Ｖ（ｘ，ｙ））である。【００８１】
ステップＳ８において、補間フレーム中の各画素毎に式（６）に示す計算を行って、補間フレームの各画素の輝度値を決定することにより、補間フレームを生成する（ステップＳ８）。このように、本発明では、補間フレームの画素毎に特定される動きベクトルを用いて、補間フレームの各画素の画素値を個別に計算する。【００８２】
なお、ここでは、画像全体についてステップＳ１〜Ｓ８の処理を適用する場合を示したが、予め画像全体を複数個のブロックに分割し、各ブロック毎にステップＳ１〜Ｓ８の処理を適用してもよい。すなわち、第１フレームおよび第２フレームをそれぞれ同様に複数のブロックに分割し、第１フレームのブロックと第２フレームのブロックのペア毎にステップＳ１〜Ｓ８の処理を実行すればよい。この場合、画像処理システムは、各フレームを複数のブロックに分割する分割手段（図示せず）を備えていればよい。分割手段は、動きベクトル候補選択手段３０１等と同様に、例えば、プログラム（画像処理用プログラム）に従って動作するＣＰＵによって実現される。図１０は、画像（フレーム）全体を複数個のブロックに分割する例を示す説明図である。分割手段は、第１フレームおよび第２フレームをそれぞれ図１０に例示するように、ｎ個のブロックに分割すればよい。【００８３】
また、図１０では、各ブロックが互いに重なりを持たないように分割する例を示しているが、各ブロックで重なる領域が生じるようにブロックを分割してもよい。この場合、複数のブロックに属する画素に対しては、複数の動きベクトルが推定されることになる。この場合、画素値決定手段３０６は、一つの画素に対して推定されたそれぞれの動きベクトルに関する信頼度Ｒ（ｘ，ｙ）を比較し、信頼度Ｒ（ｘ，ｙ）が最も高い動きベクトルをその画素の動きベクトルとして採用し、補間フレームの画素値を決定すればよい。【００８４】
次に、本発明の効果について説明する。
本発明によれば、動きベクトル候補選択手段３０１が、オフセット信号（動きベクトルの候補）を選択する。そして、差分画像生成手段３０２、二値画像生成手段３０３、および面積画像生成手段３０５が、それぞれ一つのオフセット信号に応じて、差分画像、二値画像、面積画像を生成する。そして、動きベクトル特定手段３０５が、補間フレームの各画素毎に、面積画像中の画素の画素値が最大となるオフセット信号を動きベクトルとして特定する。従って、補間フレーム中の画素毎に、それぞれ動きベクトルを一意に特定することができる。すなわち、補間フレームの画素のうち、動きベクトルが特定されない画素や、図１７の画素１０９のように複数方向から補間される画素がなく、画素毎に一つの動きベクトルを特定することができる。【００８５】
図１１は、本発明の効果を示す説明図である。図１１に示すように、補間フレーム５２上の各画素毎に、動きベクトルを求めることができる。図１１において、点線の矢印は、動きベクトルの逆ベクトルである。補間フレーム５２上の各画素毎に動きベクトルを定めることで、第２フレーム５１上の画素および第１フレーム５０上の画素を定めることができ、その画素の画素値から、補間フレーム５２の画素の画素値を計算することができる。本発明では、補間フレームの画素毎に動きベクトルを特定できるので、各画素の画素値を一意に定めることができる。【００８６】
また、本発明では、各座標（ｘ，ｙ）毎に、面積画像における画素値が最大となるオフセット信号を動きベクトルとして定める。したがって、一定サイズのブロック単位でテンプレートマッチングを行う場合に生じていた問題（動きベクトルを特定できなかったり、ブロックを特定できなかったりする場合があるという問題）が生じないので、動きベクトルを高精度に定めることができる。【００８７】
また、本発明は、連続する２つのフレーム間に補間画像を挿入するので、動画像のフレームレートの向上させることができる。また、スロー再生される動画に本発明を適用することにより、動画像のスロー再生で動画の滑らかな表示を実現することができる。【００８８】
上記の実施形態では、入力される各フレームがグレースケールの画像であり、その各フレームの画素の画素値が輝度値である場合を例にして説明した。入力される各フレームがカラー画像であり、その各フレームの画素の画素値が、Ｒ（赤色）成分、Ｇ（緑色）成分、Ｂ（青色）成分の値であってもよい。Ｒ成分の値はＲの濃淡を表す値である。Ｇ成分、Ｂ成分についても同様である。【００８９】
この場合、差分画像生成手段３０２は、ステップＳ３で、以下に示す式（７）の計算によって、差分画像の各画素の画素値を求めればよい。ただし、第２フレームの任意の画素の座標を（Ｘ，Ｙ）とすると、その画素のＲ成分、Ｇ成分、Ｂ成分をそれぞれｒｔ＋１（Ｘ，Ｙ）、ｇｔ＋１（Ｘ，Ｙ）、ｂｔ＋１（Ｘ，Ｙ）と記すものとする。同様に、第１フレームの任意の画素の座標を（Ｘ，Ｙ）とすると、その画素のＲ成分、Ｇ成分、Ｂ成分をそれぞれｒｔ（Ｘ，Ｙ）、ｇｔ（Ｘ，Ｙ）、ｂｔ（Ｘ，Ｙ）と記すものとする。【００９０】
2009119347.tif 000004
【００９１】
すなわち、差分画像生成手段３０２は、ステップＳ３において、座標（ｘ，ｙ）とオフセット信号とにより定まる第１フレームおよび第２フレーム上の一組の画素のＲ成分同士の差分の絶対値と、Ｇ成分同士の差分の絶対値と、Ｂ成分同士の差分の絶対値の合計をＳ（ｘ，ｙ）として計算する。【００９２】
また、この場合、画素値決定手段３０６は、ステップＳ８において、補間フレームの座標（ｘ，ｙ）の画素値として、Ｒ成分、Ｇ成分、Ｂ成分をそれぞれ、以下の式（８）〜式（１０）の計算により求める。【００９３】
ｒ（ｘ，ｙ）＝｛ｒｔ＋１（ｘ＋Ｕ（ｘ，ｙ），ｙ＋Ｖ（ｘ，ｙ））＋ｒｔ（ｘ−Ｕ（ｘ，ｙ），ｙ−Ｖ（ｘ，ｙ））｝／２                                    式（８）【００９４】
ｇ（ｘ，ｙ）＝｛ｇｔ＋１（ｘ＋Ｕ（ｘ，ｙ），ｙ＋Ｖ（ｘ，ｙ））＋ｇｔ（ｘ−Ｕ（ｘ，ｙ），ｙ−Ｖ（ｘ，ｙ））｝／２                                    式（９）【００９５】
ｂ（ｘ，ｙ）＝｛ｂｔ＋１（ｘ＋Ｕ（ｘ，ｙ），ｙ＋Ｖ（ｘ，ｙ））＋ｂｔ（ｘ−Ｕ（ｘ，ｙ），ｙ−Ｖ（ｘ，ｙ））｝／２                                    式（１０）【００９６】
ｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）は、それぞれ、補間フレームの座標（ｘ，ｙ）の画素のＲ成分、Ｇ成分、Ｂ成分である。【００９７】
すなわち、画素値決定手段３０６は、補間フレームの画素値として、座標（ｘ，ｙ）と動きベクトルとにより定まる第１フレームおよび第２フレーム上の一組の画素のＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値をそれぞれ求める。【００９８】
次に、本発明の他の実施形態を説明する。以下に示す実施形態では、はじめに、画像全体の動きを示す情報（以下、大域的動き情報と記す。）を求めて、補間フレームの背景部分と前景部分とを分離する。そして、前景部分については、第１の実施形態と同様に補間フレームの画素値を決定し、背景部分については、大域的動き情報を用いて補間フレームの画素値を決定する。【００９９】
図１２は、本実施形態の画像処理システムの例を示すブロック図である。既に説明した構成要素と同様の構成要素については、図１と同一の符号を付し詳細な説明を省略する。本実施形態の画像処理システムは、動きベクトル候補選択手段３０１と、差分画像生成手段３０２と、二値画像生成手段３０３と、面積画像生成手段３０４と、動きベクトル特定手段３０５と、画素値決定手段３０６と、大域的動き算出手段３５１と、前景背景判定手段３５２と、背景部画素値決定手段３５３とを備える。【０１００】
大域的動き算出手段３５１は、第１フレームおよび第２フレームが入力されると、第１フレームと第２フレームとの間での画像全体の動きを示す大域的動き情報を特定する。既に説明したように、第１フレームは、連続する２つのフレームにおける前のフレームであり、第２フレームは、連続する２つのフレームにおける後のフレームである。よって、補間フレームを基準にして、第１フレームは過去のフレームであり、第２フレームは未来のフレームであるということができる。【０１０１】
また、大域的動きとは、連続するフレーム間での画像全体の動きであり、大域的動きの例として、カメラが右から左にパンして撮影した場合に画像全体で観測される左から右への動きや、カメラがズームインして撮影した場合に観測される画像中心から外側に向けて放射状に広がる動き等が挙げられる。なお、ここでは、パンやズームインを例示したが、大域的動きを生じさせるカメラの動きは、これらに限定されない。【０１０２】
前景背景判定手段３５２は、大域的動き情報を用いて、補間フレームの画素を、連続するフレーム（第１フレームおよび第２フレーム）の大域的動きに従うと判定される画素と、大域的動きに従うと判定されない画素とに分類する。大域的動きに従うと判定される画素は、補間フレームにおける背景部分の画素であるということができ、大域的動きに従うと判定されない画素は、補間フレームにおける前景部分の画素であるということができる。【０１０３】
動きベクトル候補選択手段３０１、差分画像生成手段３０２、二値画像生成手段３０３、面積画像生成手段３０４、動きベクトル特定手段３０５、および画素値決定手段３０６は、前景背景判定手段３５２によって補間フレームにおける前景部分の画素と判定された画素群のみを対象として、第１の実施形態と同様に、ステップＳ１〜Ｓ８の処理（図８参照）を行い、補間フレームの前景部分の画素値を決定する。【０１０４】
背景部画素値決定手段３５３は、前景背景判定手段３５２によって補間フレームにおける背景部分の画素と判定された画素の画素値を、大域的動き情報、第１フレームおよび第２フレームの画素値から求める。前景部分および背景部分の画素の画素値がそれぞれ決定されることによって、補間フレームが得られる。【０１０５】
大域的動き算出手段３５１、前景背景判定手段３５２、および背景部画素値決定手段３５３は、例えば、プログラム（画像処理用プログラム）に従って動作するＣＰＵによって実現される。すなわち、ＣＰＵがプログラムに従って、動きベクトル候補選択手段３０１、差分画像生成手段３０２、二値画像生成手段３０３、面積画像生成手段３０４、動きベクトル特定手段３０５、画素値決定手段３０６、大域的動き算出手段３５１、前景背景判定手段３５２、および背景部画素値決定手段３５３として動作してもよい。【０１０６】
次に、本実施形態の動作について説明する。連続するフレーム（第１フレームおよび第２フレーム）が入力されると、大域的動き算出手段３５１は、連続するフレームにおける画像全体の大域的な動きを示す大域的動き情報を算出する。以下、第１フレームを符号Ｔで表し、第２フレームを符号「Ｔ＋１」で表す。画像全体の動きを表す運動モデルとして、例えば、アフィン変換を用いることができる。運動モデルとしてアフィン変換を用いる場合、第１フレームＴ上の画素の座標（ｘＴ，ｙＴ）から第２フレーム（Ｔ＋１）上の対応画素の座標（ｘＴ＋１，ｙＴ＋１）への座標変換は、以下に示す式（１１）で表される。【０１０７】
2009119347.tif 000005
【０１０８】
以下の説明では、この式（１１）の変換を定めるパラメータを要素とするベクトル（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６）を大域的動き情報として算出する場合を例にして説明する。また、このベクトル（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６）を記号ａで表すこととする。【０１０９】
図１３は、大域的動き算出手段３５１が大域的動き情報（ベクトルａ）を計算する処理の例を示すフローチャートである。大域的動き算出手段３５１は、第１フレームおよび第２フレームをそれぞれブロックに分割し、ブロック毎にテンプレートマッチングを行って、ブロック同士の対応関係を特定する（ステップＡ１）。具体的には、テンプレートマッチングを行って、グリッド座標同士の対応関係を特定する。ここで、各ブロックの中心の画素をグリッド点と記し、グリッド座標はグリッド点の座標である。【０１１０】
ステップＡ１において、大域的動き算出手段３５１は、例えば、第１フレームおよび第２フレームをそれぞれ正方のブロックに分割して、テンプレートマッチングを行えばよい。フレームを正方ブロックに分割したときのグリッド点の例を図１４に示す。図１４中に示す「＋」は、グリッド点（各ブロックの中心画素）を表す。大域的動き算出手段３５１は、第１フレームのブロックと第２フレームのブロックとの組毎に、ブロックにおける対応する画素同士の差分の絶対値を求め、ブロック全体におけるその絶対値の総和（ＳＡＤ：Sum of Absolute Difference）を計算する。そして、一方のフレーム（第１フレーム）のブロックに対して、もう一方のフレームのブロックのうちＳＡＤが最少となるブロックを対応付ける。このとき、ブロックのグリッド座標同士を対応づける。ＳＡＤ値が小さいほどブロック同士が類似していると言える。なお、ブロックの大きさは、例えば、予め指定された固定サイズとすればよい。あるいは、複数のサイズ（例えば、大、中、小などの複数のサイズ）についてテンプレートマッチングを行ってもよい。複数のサイズのブロックを用いる場合、ブロックサイズが大きいほどＳＡＤ値は大きくなるので、ＳＡＤ値をブロックの画素数で除算し、その除算結果で、ブロック同士の類似の度合いを評価すればよい。【０１１１】
なお、グリッド点の定め方は、正方グリッドの中心をグリッド点とする方法以外であってもよい。例えば、Harris Corner Detector等を用いて、画像上でエッジが交差するような点を探索することで、画像上のグリッド座標を適応的に定めてもよい。【０１１２】
ステップＡ１の後、大域的動き算出手段３５１は、ＲＡＮＳＡＣ（Random Sample Consensus ）アルゴリズムによって、グリッド点の誤対応をアウトライヤとして検出し、誤対応とされたグリッド点を除外する（ステップＡ２）。例えば、誤対応とされるグリッド点の組における第１フレーム側のグリッド点を、第１フレームのグリッド点のリストから除外する。【０１１３】
ステップＡ２の例を以下に示す。大域的動き算出手段３５１は、ステップＡ１で対応関係を定めたグリッド点同士の組の中から、３組を選択する。この３つのグリッド点の組において、第１フレームの３つのグリッド座標を（ｘ１Ｔ，ｙ１Ｔ）、（ｘ２Ｔ，ｙ２Ｔ）、（ｘ３Ｔ，ｙ３Ｔ）と記し、第２フレームの３つのグリッド座標を（ｘ１Ｔ＋１，ｙ１Ｔ＋１）、（ｘ２Ｔ＋１，ｙ２Ｔ＋１）、（ｘ３Ｔ＋１，ｙ３Ｔ＋１）と記す。なお、この座標値の記号の右上に示した１，２，３は、１番目、２番目、３番目を意味する添え字である。大域的動き算出手段３５１は、この３組を選択した後、ベクトルａ＝（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６）変数として、以下の式（１２）をベクトルａについて解く。【０１１４】
2009119347.tif 000006
【０１１５】
式（１２）をベクトルａについて解くとは、ａ１，ａ２，ａ３，ａ４，ａ５，ａ６を変数とする連立方程式を解くということである。式（１２）をａ１，ａ２，ａ３，ａ４，ａ５，ａ６について解いたならば、大域的動き算出手段３５１は、そのａ１，ａ２，ａ３，ａ４，ａ５，ａ６を式（１１）に代入し、第１フレームにおける各グリッド座標を変換する。大域的動き算出手段３５１は、この変換後の座標と、ステップＡ１で第１フレームにおける各グリッド座標に対応付けられた第２フレームの座標との距離を求め、座標間の距離が閾値以上である場合には、その第１フレームにおけるグリッド座標をアウトライヤと判定する。この閾値は予め定めておけばよい。そして、大域的動き算出手段３５１は、アウトライヤと判定された第１フレームのグリッド座標の数をカウントする。このカウント結果をＮとする。このように、対応するグリッド点の組を３組定めた場合におけるアウトライヤの数をカウントする。【０１１６】
同様に、大域的動き算出手段３５１は、グリッド点の組を３組選択し、そのときのアウトライヤの数Ｎをカウントする処理を繰り返す。この繰り返し処理において、ステップＡ１で定めたグリッド点の組の中から、３つの組み合わせを全て網羅的に選択してもよい。すなわち、ステップＡ１で定めたグリッド点の組から３組を選択する組み合わせについて全て選択し終えるまで繰り返し処理を続けてもよい。あるいは、選択する３つの組に関して条件を定めてもよい。例えば、第１フレーム（第２フレームとしてもよい）の座標同士の距離が一定距離以上であるという条件を満たしている３組を選択するようにして、その条件を満たす３組を全て選択するまで繰り返し処理を行ってもよい。【０１１７】
グリッド点の組を３組選択し、アウトライヤの数Ｎをカウントする処理を繰り返し行い、その繰り返し処理が終了すると、アウトライヤ数Ｎが最小となるときのアウトライヤを、誤対応となるアウトライヤとして決定し、そのアウトライヤを、第１フレームのグリッド座標のリストから除外する。【０１１８】
ステップＡ２の後、大域的動き算出手段３５１は、第１フレームのグリッド座標のリストで残っている全グリッド座標（すなわち、ステップＡ２で削除されなかった全グリッド座標）を用いて、アフィン変換のパラメータａ１，ａ２，ａ３，ａ４，ａ５，ａ６を求める（ステップＡ３）。第１フレームのグリッド座標のうちステップＡ２で削除されなかった各グリッド座標を（ｘ１Ｔ，ｙ１Ｔ）、（ｘ２Ｔ，ｙ２Ｔ）、・・・、（ｘｎＴ，ｙｎＴ）とする。この座標値の記号の右上に示した１，２，・・・，ｎは座標の順番を示す添え字である。このｎは、ステップＡ２でアウトライヤとして削除されなかったグリッド点の総数である。ステップＡ１で、この各グリッド座標（ｘ１Ｔ，ｙ１Ｔ）、（ｘ２Ｔ，ｙ２Ｔ）、・・・、（ｘｎＴ，ｙｎＴ）と対応付けられた第２フレームのグリッド座標を（ｘ１Ｔ＋１，ｙ１Ｔ＋１）、（ｘ２Ｔ＋１，ｙ２Ｔ＋１）、・・・、（ｘｎＴ＋１，ｙｎＴ＋１）とする。大域的動き算出手段３５１は、以下に示す式（１３）をベクトルａ（すなわち、アフィン変換のパラメータａ１〜ａ６）について解く。【０１１９】
2009119347.tif 000007
【０１２０】
一般に、ｎは３以上の値をとるため、求める解（ベクトルａ）の自由度６に対して、式の本数（拘束条件）は６以上となる。よって、式（１３）を解く問題は過拘束となる。この場合、大域的動き算出手段３５１は、最小二乗問題としてベクトルａを解けばよい。すなわち、最小二乗法により、ベクトルａの要素ａ１〜ａ６を解けばよい。【０１２１】
式（１３）を解くことによって得られたベクトルａ＝（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６）が大域的動き情報に該当する。【０１２２】
以上のように、大域的動き算出手段３５１が大域的動き情報（ａ１，ａ２，ａ３，ａ４，ａ５，ａ６）を求めた後、前景背景判定手段３５２は、補間フレームの画素を、背景部分の画素と、前景部分の画素とに分類する。以下、この分類処理について説明する。【０１２３】
第１フレームＴと第２フレーム（Ｔ＋１）との間に補間される補間フレームを符号「Ｔ＋０．５」で表す。補間フレーム（Ｔ＋０．５）上の画素の座標を（ｘＴ＋０．５，ｙＴ＋０．５）とする。補間フレーム上の座標（ｘＴ＋０．５，ｙＴ＋０．５）が大域的な動きに従う場合、すなわち、背景部分の画素である場合、その大域的な動きによる第１フレームＴ上への投影座標（ｘＴ，ｙＴ）における画素値ＩＴ（ｘＴ，ｙＴ）と、第２フレーム（Ｔ＋１）上への投影座標（ｘＴ＋１，ｙＴ＋１）における画素値ＩＴ＋１（ｘＴ＋１，ｙＴ＋１）は一致する。一方、補間フレーム上の座標（ｘＴ＋０．５，ｙＴ＋０．５）が大域的な動きに従わない場合、すなわち、前景部分の画素である場合、ＩＴ（ｘＴ，ｙＴ）とＩＴ＋１（ｘＴ＋１，ｙＴ＋１）とは一致しない。なお、大域的な動きによる第１フレームＴ上への投影座標（ｘＴ，ｙＴ）とは、大域的な動きのもとで補間フレームの座標（ｘＴ＋０．５，ｙＴ＋０．５）に対応する第１フレーム内の座標である。同様に、大域的な動きによる第２フレーム（Ｔ＋１）上への投影座標（ｘＴ＋１，ｙＴ＋１）とは、大域的な動きのもとで補間フレームの座標（ｘＴ＋０．５，ｙＴ＋０．５）に対応する第２フレーム内の座標である。【０１２４】
前景背景判定手段３５２は、補間フレーム内の個々の座標（画素）毎に、大域的な動きによるその座標の第１フレームＴ上への投影座標の画素値と、第２フレーム（Ｔ＋１）上への投影座標の画素値との差分の絶対値を計算する。その差分の絶対値が、予め定められた前景背景判定用閾値以上である場合、前景背景判定手段３５２は、補間フレーム内のその座標を前景部分の画素の座標であると判定する。一方、差分の絶対値が前景背景判定用閾値未満であれば、補間フレーム内のその座標を背景部分の画素の座標であると判定する。【０１２５】
以下、補間フレームにおける座標（ｘＴ＋０．５，ｙＴ＋０．５）の画素を例にして、その画素が前景部分と背景部分のどちらに該当するかを判定する処理を説明する。大域的動き情報として求められたアフィン変換のパラメータをａ１，ａ２，ａ３，ａ４，ａ５，ａ６で表す。【０１２６】
前景背景判定手段３５２は、（ｘＴ＋０．５，ｙＴ＋０．５）の第１フレームＴ上への投影座標（ｘＴ，ｙＴ）を、以下に示す式（１４）を計算することによって求める。【０１２７】
ｘＴ＝ｆ１ｘＴ＋０．５＋ｆ２ｙＴ＋０．５＋ｆ３
ｙＴ＝ｆ４ｘＴ＋０．５＋ｆ５ｙＴ＋０．５＋ｆ６                式（１４）【０１２８】
ただし、前景背景判定手段３５２は、式（１４）におけるｆ１，ｆ２，ｆ３，ｆ４，ｆ５，ｆ６を、以下の式によって計算する。【０１２９】
ｆ１＝（２ａ１ａ５−２ａ２ａ４＋２ａ１）／ｄ
ｆ２＝２ａ２／ｄ
ｆ３＝（−ａ２ａ６＋ａ３ａ５＋ａ３）／ｄ
ｆ４＝２ａ４／ｄ
ｆ５＝｛（２ａ１＋２）ａ５−２ａ２ａ４＋２ａ１｝／ｄ
ｆ６＝｛（ａ１＋１）ａ６−ａ３ａ４｝／ｄ【０１３０】
前景背景判定手段３５２は、上記の式におけるｄを以下の式（１５）により計算すればよい。
ｄ＝｛（ａ１＋１）ａ５−ａ２ａ４＋ａ１＋１｝          式（１５）【０１３１】
式（１４）で計算した第１フレームＴ上への投影座標（ｘＴ，ｙＴ）の画素値を、ＩＴ（ｘＴ，ｙＴ）とする。【０１３２】
また、前景背景判定手段３５２は、（ｘＴ＋０．５，ｙＴ＋０．５）の第２フレーム（Ｔ＋１）上への投影座標（ｘＴ＋１，ｙＴ＋１）を、以下に示す式（１６）を計算することによって求める。【０１３３】
ｘＴ＋１＝ｇ１ｘＴ＋０．５＋ｇ２ｙＴ＋０．５＋ｇ３
ｙＴ＋１＝ｇ４ｘＴ＋０．５＋ｇ５ｙＴ＋０．５＋ｇ６                式（１６）【０１３４】
ただし、前景背景判定手段３５２は、式（１５）で計算したｄを用いて、式（１６）におけるｇ１，ｇ２，ｇ３，ｇ４，ｇ５，ｇ６を、以下の式によって計算する。【０１３５】
ｇ１＝（−２ａ５−２）／ｄ
ｇ２＝−２ａ２／ｄ
ｇ３＝−（−ａ２ａ６＋ａ３ａ５＋ａ３）／３
ｇ４＝−２ａ４／ｄ
ｇ５＝｛（２ａ１＋２）ａ５−２ａ２ａ４＋２ａ１｝／ｄ
ｇ６＝｛−（ａ１＋１）ａ６−ａ３ａ４｝／ｄ【０１３６】
式（１６）で計算した第２フレーム上への投影座標（ｘＴ＋１，ｙＴ＋１）の画素値を、ＩＴ＋１（ｘＴ＋１，ｙＴ＋１）とする。【０１３７】
前景背景判定手段３５２は、｜ＩＴ（ｘＴ，ｙＴ）−ＩＴ＋１（ｘＴ＋１，ｙＴ＋１）｜を計算し、その計算結果の値が前景背景判定用閾値以上であれば補間フレーム上の座標（ｘＴ＋０．５，ｙＴ＋０．５）は前景部分の画素であると判定する。一方、｜ＩＴ（ｘＴ，ｙＴ）−ＩＴ＋１（ｘＴ＋１，ｙＴ＋１）｜が前景背景判定用閾値未満であれば補間フレーム上の座標（ｘＴ＋０．５，ｙＴ＋０．５）は背景部分の画素であると判定する。【０１３８】
前景背景判定手段３５２は、この判定を補間フレームの各画素毎に行う。そして、前景背景判定手段３５２は、補間フレームの画素のうち、背景部分の画素と判定した各画素の情報と、その各画素の第１フレームへの投影座標の画素値および第２フレームへの投影座標の画素値とを背景部画素値決定手段３５３に入力する。例えば、上記の（ｘＴ＋０．５，ｙＴ＋０．５）が背景部分の画素であると判定した場合、その座標（ｘＴ＋０．５，ｙＴ＋０．５）および判定時に特定した画素値ＩＴ（ｘＴ，ｙＴ）およびＩＴ＋１（ｘＴ＋１，ｙＴ＋１）を背景部画素値決定手段３５３に入力する。背景部分の画素であると判定した他の画素についても同様である。【０１３９】
背景部画素値決定手段３５３は、前景背景判定手段３５２から入力された情報を用いて、補間フレームの背景部分の各画素の画素値を決定する。背景部画素値決定手段３５３は、背景部分の画素の第１フレームへの投影座標における画素値と、第２フレームへの投影座標における画素値との平均値を、その背景部分の画素の画素値とする。例えば、背景部分の画素の座標を（ｘＴ＋０．５，ｙＴ＋０．５）とし、その第１フレームへの投影座標における画素値がＩＴ（ｘＴ，ｙＴ）であり、第２フレームへの投影座標における画素値がＩＴ＋１（ｘＴ＋１，ｙＴ＋１）であるとする。この場合、ＩＴ（ｘＴ，ｙＴ）およびＩＴ＋１（ｘＴ＋１，ｙＴ＋１）の平均値を（ｘＴ＋０．５，ｙＴ＋０．５）の画素値とする。背景部画素値決定手段３５３は、背景部分と判断された補間フレーム内の各画素について同様に画素値を求める。【０１４０】
また、前景背景判定手段３５２は、補間フレームの画素のうち、前景部分の画素と判定した各画素の情報を差分画像生成手段３０２に入力する。動きベクトル候補選択手段３０１、差分画像生成手段３０２、二値画像生成手段３０３、面積画像生成手段３０４、動きベクトル特定手段３０５、および画素値決定手段３０６は、補間フレームの画素のうち、前景部分の画素と判定された画素のみを対象として、ステップＳ１〜Ｓ８の処理を実行する。補間フレームの画素全体ではなく、前景部分と判定された画素のみを対象とする点以外は、既に説明したステップＳ１〜Ｓ８の処理と同様である。【０１４１】
例えば、ステップＳ１では、差分画像生成手段３０２は、信頼度画像、ｘ成分用動きベクトル画像およびｙ成分用動きベクトル画像の画素のうち、前景部分の画素と判定された画素の座標と同一の座標を対象に初期化すればよい。他の座標は無視される。ステップＳ２でオフセット信号を選択した後、差分画像生成手段３０２は、補間フレーム中の前景部分の画素と判定された画素を対象として、補間フレーム中のその画素とオフセット信号とによって定まる第１フレーム中の画素と第２フレーム中の画素との差分を計算し、差分画像中の画素のうち、前景部分の画素と判定された画素と同一座標の画素に対して、計算した差分を割り当てて差分画像を生成する。ステップＳ４において、二値画像生成手段３０３は、その差分画像を用いて、前景部分の画素と判定された画素と同一座標の画素を対象にして画素値を二値化し、二値画像を生成する。ステップＳ５では、前景部分の画素と判定された画素と同一座標の画素を対象にして、二値画像から面積画像を生成する。ステップＳ６において、動きベクトル特定手段３０５は、補間フレーム中の前景部分の画素と判定された画素と同一の座標を対象として、信頼度画像、ｘ成分用動きベクトル画像およびｙ成分用動きベクトル画像の画素を更新するか否かを判定し、更新すると判定した場合には更新を行う。また、ステップＳ８では、画素値決定手段３０６は、補間フレームの画素のうち、補間フレームの前景部分の各画素について画素値を計算すればよい。この結果、前景部分の画素の画素値が決定される。【０１４２】
背景部分の画素値が背景部画素値決定手段３５３によって決定され、前景部分の画素値がステップＳ１〜Ｓ８の処理で決定されるので、補間フレームの各画素の画素値が定まる。すなわち、補間フレームが生成される。【０１４３】
前景となる部分に関して局所的に算出される動きと比較して、画像全体に対して一つ推定される大域的な動きは、自由度が小さい分、推定誤差も小さくなる。従って、例えば、人工的な画面をスクロールする場合や、カメラをパン、チルト、ズームなどして撮影した場合などにおいて、連続するフレームの間の補間フレーム生成に本実施形態を適用すると、画像の大部分を占める背景部分の画素値を、大域的動きに基づいて高精度に求めることができる。そして、大域的動きを伴わない前景部分の画素値を、背景部分の画素値とは別に求めるので、局所的な補間部分を必要最小限に留め、補間フレーム画質を向上させることができる。【０１４４】
他の処理に関しては、既に説明したグレースケールの場合と同様である。画素がＲ，Ｇ，Ｂの各成分を有する場合でも、本発明の効果を得ることができる。【０１４５】
以上、説明した実施形態には、差分画像生成手段が、補間フレーム中の画素と動きベクトルの候補とによって定まる一のフレーム中の画素と他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する構成が記載されている。【０１４６】
また、画素値決定手段が、補間フレームの画素の画素値として、その画素と動きベクトルとによって定まる一のフレーム中の画素と他のフレーム中の画素との輝度値の平均値を計算する構成が記載されている。【０１４７】
また、差分画像生成手段が、補間フレーム中の画素と動きベクトルの候補とによって定まる一のフレーム中の画素と他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する構成が記載されている。【０１４８】
また、画素値決定手段が、補間フレームの画素の画素値として、その画素と動きベクトルとによって定まる一のフレーム中の画素と他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する構成が記載されている。【０１４９】
また、動きベクトル特定手段が、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する構成が記載されている。【０１５０】
また、一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定手段（例えば、大域的動き算出手段３５１）と、大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類手段（例えば、前景背景判定手段３５２）と、背景部分の画素と判定された画素の画素値を、一のフレームおよび他のフレームの対応画素の画素値から計算する背景部画素値決定手段（例えば、背景部画素値決定手段３５３）とを備え、差分画像生成手段が、補間フレーム中の前景部分の画素と判定された画素を対象として、その画素と動きベクトルの候補とによって定まる一のフレーム中の画素と他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素にその差分を割り当てた差分画像を生成し、二値画像生成手段が、その差分画像を二値化した二値画像を生成し、面積画像生成手段が、その二値画像から面積画像を生成し、動きベクトル特定手段が、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、画素値決定手段が、補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する構成が記載されている。【０１５１】
また、画素分類手段が、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、その補間フレームの画素は前景部分の画素であると判定し、差の絶対値が閾値未満である場合に、その補間フレームの画素は背景部分の画素であると判定する構成が記載されている。【０１５２】
また、背景部画素値決定手段が、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、その平均値を補間フレームの画素の画素値として決定する構成が記載されている。【０１５３】
また、大域的動き特定手段が、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する構成が記載されている。【０１５４】
なお、上記で説明された画像処理は、コンピュータに実行させるプログラムとして構成することができる。このプログラムは、様々な種類の記憶媒体に格納することが可能であり、また、通信媒体を介して伝達されることが可能である。ここで、記憶媒体には、例えば、フレキシブルディスク、ハードディスク、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭカートリッジ、バッテリバックアップ付きＲＡＭメモリカートリッジ、フラッシュメモリカートリッジ、不揮発性ＲＡＭカートリッジ等が含まれる。また、通信媒体には、電話回線等の有線通信媒体、マイクロ波回線等の無線通信媒体等が含まれ、インターネットも含まれる。【０１５５】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。【０１５６】
この出願は、２００８年３月２８日に出願された日本出願特願２００８−０８５５５９及び２００８年１１月２６日に出願された日本出願特願２００８−３０１５０８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１５７】
本発明は、動画像の連続する２つのフレーム間に補間フレームを挿入する画像処理システムとして好適に適用される。
【図１】
2009119347.tif 000008
【図２】
2009119347.tif 000009
【図３】
2009119347.tif 000010
【図４】
2009119347.tif 000011
【図５】
2009119347.tif 000012
【図６】
2009119347.tif 000013
【図７】
2009119347.tif 000014
【図８】
2009119347.tif 000015
【図９】
2009119347.tif 000016
【図１０】
2009119347.tif 000017
【図１１】
2009119347.tif 000018
【図１２】
2009119347.tif 000019
【図１３】
2009119347.tif 000020
【図１４】
2009119347.tif 000021
【図１５】
2009119347.tif 000022
【図１６】
2009119347.tif 000023
【図１７】
2009119347.tif 000024
【図１８】
2009119347.tif 000025
【手続補正書】
【提出日】平成21年9月4日(2009.9.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理システムであって、
予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択手段と、
補間フレーム中の画素と動きベクトル候補選択手段が選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成する差分画像生成手段と、
前記差分画像を二値化した二値画像を生成する二値画像生成手段と、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成手段と、
補間フレームの各画素について、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する動きベクトル特定手段と、
補間フレームの各画素毎に、動きベクトル特定手段で特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する画素値決定手段とを備え、
前記動きベクトル特定手段は、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する
ことを特徴とする画像処理システム。
【請求項２】
差分画像生成手段は、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する
請求項１に記載の画像処理システム。
【請求項３】
画素値決定手段は、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算する
請求項１または請求項２に記載の画像処理システム。
【請求項４】
差分画像生成手段は、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する
請求項１に記載の画像処理システム。
【請求項５】
画素値決定手段は、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する
請求項１または請求項４に記載の画像処理システム。
【請求項６】
（削除）
【請求項７】
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定手段と、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類手段と、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算する背景部画素値決定手段とを備え、
差分画像生成手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
二値画像生成手段は、前記差分画像を二値化した二値画像を生成し、
面積画像生成手段は、前記二値画像から面積画像を生成し、
動きベクトル特定手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、
画素値決定手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する
請求項１から請求項５のうちのいずれか１項に記載の画像処理システム。
【請求項８】
画素分類手段は、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定する
請求項７に記載の画像処理システム。
【請求項９】
背景部画素値決定手段は、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定する
請求項７または請求項８に記載の画像処理システム。
【請求項１０】
大域的動き特定手段は、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する
請求項７から請求項９のうちのいずれか１項に記載の画像処理システム。
【請求項１１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理方法であって、
予め定められた動きベクトルの候補を順次選択し、
補間フレーム中の画素と選択した動きベクトルの侯補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
前記差分画像を二値化した二値画像を生成し、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成し、
補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定し、
面積画像を生成すると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択した動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新し、
補間フレームの各画素毎に、特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する
ことを特徴とする画像処理方法。
【請求項１２】
補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する
請求項１１に記載の画像処理方法。
【請求項１３】
補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算する
請求項１１または請求項１２に記載の画像処理方法。
【請求項１４】
補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する
請求項１１に記載の画像処理方法。
【請求項１５】
補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する
請求項１１または請求項１４に記載の画像処理方法。
【請求項１６】
（削除）
【請求項１７】
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定し、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類し、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算し、
差分画像を生成する際、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
前記差分画像を二値化した二値画像を生成し、
前記二値画像から面積画像を生成し、
補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、
補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する
請求項１１から請求項１５のうちのいずれか１項に記載の画像処理方法。
【請求項１８】
大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定する
請求項１７に記載の画像処理方法。
【請求項１９】
大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定する
請求項１７または請求項１８に記載の画像処理方法。
【請求項２０】
大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する
請求項１７から請求項１９のうちのいずれか１項に記載の画像処理方法。
【請求項２１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成するコンピュータに搭載される画像処理用プログラムであって、
前記コンピュータに、
予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択処理、
補間フレーム中の画素と動きベクトル候補選択処理で選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成する差分画像生成処理、
前記差分画像を二値化した二値画像を生成する二値画像生成処理、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成処理、
補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定し、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する動きベクトル特定処理、および、
補間フレームの各画素毎に、動きベクトル特定処理で特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する画素値決定処理
を実行させるための画像処理用プログラムが格納された記録媒体。
【請求項２２】
コンピュータに、
差分画像生成処理で、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算させる
請求項２１に記載の画像処理用プログラムが格納された記録媒体。
【請求項２３】
コンピュータに、
画素値決定処理で、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算させる
請求項２１または請求項２２に記載の画像処理用プログラムが格納された記録媒体。
【請求項２４】
コンピュータに、
差分画像生成処理で、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算させる
請求項２１に記載の画像処理用プログラムが格納された記録媒体。
【請求項２５】
コンピュータに、
画素値決定処理で、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算させる
請求項２１または請求項２４に記載の画像処理用プログラムが格納された記録媒体。
【請求項２６】
（削除）
【請求項２７】
コンピュータに、
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定処理、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類処理、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算する背景部画素値決定処理を実行させ、
差分画像生成処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成させ、
二値画像生成処理で、前記差分画像を二値化した二値画像を生成させ、
面積画像生成処理で、前記二値画像から面積画像を生成させ、
動きベクトル特定処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定させ、
画素値決定処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、
画素値を決定させる
請求項２１から請求項２５のうちのいずれか１項に記載の画像処理用プログラムが格納された記録媒体。
【請求項２８】
コンピュータに、
画素分類処理で、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定させる
請求項２７に記載の画像処理用プログラムが格納された記録媒体。
【請求項２９】
コンピュータに、
背景部画素値決定処理で、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定させる
請求項２７または請求項２８に記載の画像処理用プログラムが格納された記録媒体。
【請求項３０】
コンピュータに、
大域的動き特定処理で、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算させる
請求項２７から請求項２９のうちのいずれか１項に記載の画像処理用プログラムが格納された記録媒体。
【手続補正書】
【提出日】平成22年9月9日(2010.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理システムであって、
予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択手段と、
補間フレーム中の画素と動きベクトル候補選択手段が選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成する差分画像生成手段と、
前記差分画像を二値化した二値画像を生成する二値画像生成手段と、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成手段と、
補間フレームの各画素について、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定する動きベクトル特定手段と、
補間フレームの各画素毎に、動きベクトル特定手段で特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する画素値決定手段とを備え、
前記動きベクトル特定手段は、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する
ことを特徴とする画像処理システム。
【請求項２】
差分画像生成手段は、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する
請求項１に記載の画像処理システム。
【請求項３】
画素値決定手段は、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算する
請求項１または請求項２に記載の画像処理システム。
【請求項４】
差分画像生成手段は、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する
請求項１に記載の画像処理システム。
【請求項５】
画素値決定手段は、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する
請求項１または請求項４に記載の画像処理システム。
【請求項６】
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定手段と、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類手段と、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算する背景部画素値決定手段とを備え、
差分画像生成手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
二値画像生成手段は、前記差分画像を二値化した二値画像を生成し、
面積画像生成手段は、前記二値画像から面積画像を生成し、
動きベクトル特定手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、
画素値決定手段は、補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する
請求項１から請求項５のうちのいずれか１項に記載の画像処理システム。
【請求項７】
画素分類手段は、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定する
請求項６に記載の画像処理システム。
【請求項８】
背景部画素値決定手段は、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定する
請求項６または請求項７に記載の画像処理システム。
【請求項９】
大域的動き特定手段は、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する
請求項６から請求項８のうちのいずれか１項に記載の画像処理システム。
【請求項１０】
一のフレームと他のフレームとの間に挿入される補間フレームを生成する画像処理方法であって、
予め定められた動きベクトルの候補を順次選択し、
補間フレーム中の画素と選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
前記差分画像を二値化した二値画像を生成し、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成し、
補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定し、
面積画像を生成すると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択した動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新し、
補間フレームの各画素毎に、特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する
ことを特徴とする画像処理方法。
【請求項１１】
補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算する
請求項１０に記載の画像処理方法。
【請求項１２】
補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算する
請求項１０または請求項１１に記載の画像処理方法。
【請求項１３】
補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算する
請求項１０に記載の画像処理方法。
【請求項１４】
補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算する
請求項１０または請求項１３に記載の画像処理方法。
【請求項１５】
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定し、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類し、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算し、
差分画像を生成する際、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成し、
前記差分画像を二値化した二値画像を生成し、
前記二値画像から面積画像を生成し、
補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定し、
補間フレーム中の前景部分の画素と判定された画素を対象として、画素値を決定する
請求項１０から請求項１４のうちのいずれか１項に記載の画像処理方法。
【請求項１６】
大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定する
請求項１５に記載の画像処理方法。
【請求項１７】
大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定する
請求項１５または請求項１６に記載の画像処理方法。
【請求項１８】
大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算する
請求項１５から請求項１７のうちのいずれか１項に記載の画像処理方法。
【請求項１９】
一のフレームと他のフレームとの間に挿入される補間フレームを生成するコンピュータに搭載される画像処理用プログラムであって、
前記コンピュータに、
予め定められた動きベクトルの候補を順次選択する動きベクトル候補選択処理、
補間フレーム中の画素と動きベクトル候補選択処理で選択した動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、補間フレーム中の前記画素と同一座標の画素に前記差分を割り当てた差分画像を生成する差分画像生成処理、
前記差分画像を二値化した二値画像を生成する二値画像生成処理、
前記二値画像で差分なしに該当する画素の画素値を、前記画素が連結している領域の面積とし、前記二値画像で差分ありに該当する画素の画素値を所定の値とした面積画像を生成する面積画像生成処理、
補間フレームの各画素毎に、対応する面積画像中の画素の画素値が最大となる動きベクトルの候補を動きベクトルとして特定し、面積画像が生成されると、面積画像の各画素毎に画素値の最大値が更新されたか否かを判定し、画素値が更新されると、前記面積画像生成時に選択された動きベクトルの候補を、画素値が更新された面積画像中の画素と同一座標の補間画素中の画素の動きベクトルとして、補間画素中の画素の動きベクトルを更新する動きベクトル特定処理、および、
補間フレームの各画素毎に、動きベクトル特定処理で特定された動きベクトルによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とに基づいて画素値を決定する画素値決定処理
を実行させるための画像処理用プログラム。
【請求項２０】
コンピュータに、
差分画像生成処理で、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素の輝度値の差分の絶対値を計算させる
請求項１９に記載の画像処理用プログラム。
【請求項２１】
コンピュータに、
画素値決定処理で、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との輝度値の平均値を計算させる
請求項１９または請求項２０に記載の画像処理用プログラム。
【請求項２２】
コンピュータに、
差分画像生成処理で、補間フレーム中の画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分として、画素のＲ成分同士の差分の絶対値とＧ成分同士の差分の絶対値とＢ成分同士の差分の絶対値の合計を計算させる
請求項１９に記載の画像処理用プログラム。
【請求項２３】
コンピュータに、
画素値決定処理で、補間フレームの画素の画素値として、当該画素と動きベクトルとによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素とのＲ成分同士の平均値と、Ｇ成分同士の平均値と、Ｂ成分同士の平均値とを計算させる
請求項１９または請求項２２に記載の画像処理用プログラム。
【請求項２４】
コンピュータに、
一のフレームと他のフレームとの間での画像全体の動きを示す大域的動き情報を特定する大域的動き特定処理、
大域的動き情報に基づいて、補間フレームの各画素を背景部分の画素と前景部分の画素とに分類する画素分類処理、
背景部分の画素と判定された画素の画素値を、前記一のフレームおよび前記他のフレームの対応画素の画素値から計算する背景部画素値決定処理を実行させ、
差分画像生成処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、当該画素と動きベクトルの候補とによって定まる前記一のフレーム中の画素と前記他のフレーム中の画素との差分を計算し、前景部分の画素と判定された画素と同一座標の画素に前記差分を割り当てた差分画像を生成させ、
二値画像生成処理で、前記差分画像を二値化した二値画像を生成させ、
面積画像生成処理で、前記二値画像から面積画像を生成させ、
動きベクトル特定処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、動きベクトルを特定させ、
画素値決定処理で、補間フレーム中の前景部分の画素と判定された画素を対象として、
画素値を決定させる
請求項１９から請求項２３のうちのいずれか１項に記載の画像処理用プログラム。
【請求項２５】
コンピュータに、
画素分類処理で、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との差の絶対値が閾値以上である場合に、前記補間フレームの画素は前景部分の画素であると判定し、前記差の絶対値が閾値未満である場合に、前記補間フレームの画素は背景部分の画素であると判定させる
請求項２４に記載の画像処理用プログラム。
【請求項２６】
コンピュータに、
背景部画素値決定処理で、大域的動き情報と補間フレームの画素とから定まる一のフレーム内の画素の画素値と、大域的動き情報と補間フレームの画素とから定まる他のフレーム内の画素の画素値との平均値を計算し、当該平均値を前記補間フレームの画素の画素値として決定させる
請求項２４または請求項２５に記載の画像処理用プログラム。
【請求項２７】
コンピュータに、
大域的動き特定処理で、大域的動き情報として、一のフレーム内の画素の座標を他のフレーム内の対応画素の座標に変換するアフィン変換のパラメータを計算させる
請求項２４から請求項２６のうちのいずれか１項に記載の画像処理用プログラム。
【国際調査報告】
2009119347.tif 000026
2009119347.tif 000027