(57)【要約】【課題】二重像等の少ない補間フレーム画像を生成することを目的とする。【解決手段】第１の画像から第２の画像への第１の移動量マップと第２の画像から第１の画像への第２の移動量マップとを生成する第１の生成手段と、第１の画像と第２の画像との間に内挿する第３の画像の内挿位置に基づいて第３の画像の統合信頼度を生成する第２の生成手段と、統合信頼度に基づいて第３の画像を生成する際の第１の画像の割合である混合比を決定する決定手段と、第１の画像と第２の画像と内挿位置と混合比と統合信頼度とに基づき第３の画像を生成する第３の生成手段と、を有する。【選択図】図４
2020028064.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像から第２の画像への第１の移動量マップと前記第２の画像から前記第１の画像への第２の移動量マップとを生成する第１の生成手段と、
前記第１の画像と前記第２の画像との間に内挿する第３の画像の内挿位置に基づいて前記第３の画像の統合信頼度を生成する第２の生成手段と、
前記統合信頼度に基づいて前記第３の画像を生成する際の前記第１の画像の割合である混合比を決定する決定手段と、
前記第１の画像と前記第２の画像と前記内挿位置と前記混合比と前記統合信頼度とに基づき前記第３の画像を生成する第３の生成手段と、
を有する画像処理装置。
【請求項２】
前記第２の生成手段は、前記第３の画像の前記内挿位置が前記第１の画像及び前記第２の画像の何れかに近いほど前記統合信頼度を上げる請求項１記載の画像処理装置。
【請求項３】
前記第２の生成手段は、前記第３の画像の着目領域の参照先の前記第１の画像と前記第２の画像との相関が小さいほど前記着目領域に対応した前記統合信頼度を下げる請求項１記載の画像処理装置。
【請求項４】
前記第１の移動量マップの信頼度と前記第２の移動量マップの信頼度とを生成する第４の生成手段を更に有し、
前記第２の生成手段は、前記第３の画像の着目領域に対応した前記第１の画像の移動量マップの信頼度が低く、かつ、前記第３の画像の着目領域に対応した前記第２の画像の移動量マップの信頼度が低くなるほど、前記着目領域に対応した前記統合信頼度を下げる請求項１記載の画像処理装置。
【請求項５】
前記第３の生成手段は、前記第３の画像の前記統合信頼度の低い着目領域の画素値を、前記着目領域の周辺領域の前記統合信頼度の高い領域の画素値から補間して生成する請求項３又は４記載の画像処理装置。
【請求項６】
前記第２の生成手段は、前記第１の画像の移動量マップの信頼度に関し、前記第１の画像の移動量マップの周辺領域の分散が大きいほど信頼度を下げ、前記第２の画像の移動量マップの信頼度に関し、前記第２の画像の移動量マップの周辺領域の分散が大きいほど信頼度を下げる請求項４記載の画像処理装置。
【請求項７】
前記第２の生成手段は、前記第１の画像の移動量マップの信頼度に関し、前記第１の画像の特徴量が大きいほど信頼度を上げ、前記第２の画像の移動量マップの信頼度に関し、前記第２の画像の特徴量が大きいほど信頼度を上げる請求項４記載の画像処理装置。
【請求項８】
前記第１の画像の特徴量は、前記第１の画像のテクスチャ度であり、前記第２の画像の特徴量は、前記第２の画像のテクスチャ度である請求項７記載の画像処理装置。
【請求項９】
画像処理装置が実行する情報処理方法であって、
第１の画像から第２の画像への第１の移動量マップと前記第２の画像から前記第１の画像への第２の移動量マップとを生成する第１の生成工程と、
前記第１の画像と前記第２の画像との間に内挿する第３の画像の内挿位置に基づいて前記第３の画像の統合信頼度を生成する第２の生成工程と、
前記統合信頼度に基づいて前記第３の画像を生成する際の前記第１の画像の割合である混合比を決定する決定工程と、
前記第１の画像と前記第２の画像と前記内挿位置と前記混合比と前記統合信頼度とに基づき前記第３の画像を生成する第３の生成工程と、
を含む情報処理方法。
【請求項１０】
コンピュータを、請求項１乃至８何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、２つのフレーム画像間の移動量マップとその移動量マップの信頼度とを用いた補間フレーム画像生成手方法が提案されている。
例えば、特許文献１の装置では、第１のフレーム画像から第２のフレーム画像への動きベクトル、第２のフレーム画像から第１のフレーム画像への動きベクトルを検出する。そして、その装置では、それぞれの動きベクトルの有効性をもう一方の動きベクトルとの相関に基づいて判定する。そして、その装置では、補間フレーム画像から第１のフレーム画像と第２のフレーム画像とへの対応位置の参照は、両方の動きベクトルのうちで有効と判断された動きベクトルに基づいて決定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の装置では、第１のフレーム画像と第２のフレーム画像との間の動きベクトルとそれに関連付けられた信頼度マップとを用いて、フレーム補間画像を生成する。しかしながら、上記信頼度マップは、２つのフレーム画像間の移動量の確からしさを表す情報であり、補間フレーム画像から第１及び第２のフレーム画像への移動量の確からしさを表す情報ではない。そのため、補間フレーム生成時に内挿位置基準で移動量の確からしさを示す情報がないと、第１又は第２のフレーム画像の正しい移動先の画素を参照できず、二重像、又は画素欠陥、又は歪みを生じる場合がある。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、第１の画像から第２の画像への第１の移動量マップと前記第２の画像から前記第１の画像への第２の移動量マップとを生成する第１の生成手段と、前記第１の画像と前記第２の画像との間に内挿する第３の画像の内挿位置に基づいて前記第３の画像の統合信頼度を生成する第２の生成手段と、前記統合信頼度に基づいて前記第３の画像を生成する際の前記第１の画像の割合である混合比を決定する決定手段と、前記第１の画像と前記第２の画像と前記内挿位置と前記混合比と前記統合信頼度とに基づき前記第３の画像を生成する第３の生成手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、二重像等の少ない補間フレーム画像を生成することができる。
【図面の簡単な説明】
【０００７】
【図１】補間フレーム画像生成処理について説明するための図である。
【図２】画像処理装置のハードウェア構成の一例を示す図である。
【図３】画像処理装置の機能構成の一例を示す図である。
【図４】実施形態１に関わる画像処理装置の全体処理を示すフローチャートである。
【図５】第１の移動量マップの算出方法の一例を示す図である。
【図６】図４のＳ２０４の処理の一例を示すフローチャートである。
【図７】混合比について説明するための図である。
【図８】統合信頼度について説明するための図である。
【図９】図１２のＳ１１０８の処理の一例を示すフローチャートである。
【図１０】補間フレーム画像を生成する処理を説明するための図である。
【図１１】実施形態１の補間画素を生成する処理を説明するための図である。
【図１２】実施形態２に関わる画像処理装置の全体処理を示すフローチャートである。
【図１３】低コントラスト時の移動量算出を説明するための図である。
【図１４】図１２のＳ１１０６の処理の一例を示すフローチャートである。
【図１５】図１２のＳ１１０８の処理の一例を示すフローチャートである。
【図１６】実施形態２の補間画素を生成する処理を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
実施形態の説明を記載する前に補間フレーム画像生成処理について、図１を用いて説明を行う。
補間フレーム画像生成処理とは、１台の撮像装置で異なる時刻と異なる位置とから同被写体を撮影した第１のフレーム画像５０６と第２のフレーム画像５０８とを用いて、第１のフレーム画像５０６の撮影位置５００と第２のフレーム画像５０８の撮影位置５０２とを端点とする線分上の任意の位置５０４から撮影できる画像５１０を生成する処理である。
また、上記の任意の位置５０４のことを本明細書では内挿位置と呼ぶ。内挿位置は、第１のフレーム画像５０６の撮影位置５００を０、第２のフレーム画像５０８の撮影位置を１とし、０から１までに正規化された値として取り扱う。
また、本明細書では、２台の撮像装置で異なる位置から同時刻に同被写体を撮影した第１のフレーム画像と第２のフレーム画像とを用いた処理として説明を行うが、２台の撮像装置で異なる位置から同時刻に同被写体を撮影した第１のフレーム画像と第２のフレーム画像とを用いた場合も同様に説明できる。
以後、実施形態の説明においては上記前提の下で説明を行う。
【００１０】
図２は、画像処理装置１００のハードウェア構成の一例を示す図である。
画像処理装置１００は、ハードウェア構成として、ＣＰＵ１０、記憶部１１、通信部１２、を含む。
ＣＰＵ１０は、画像処理装置１００の全体を制御する。ＣＰＵ１０は、記憶部１１に記憶されたプログラムに基づき処理を実行することにより、後述する図３の機能及び後述する図６、図９、図１２、図１４、図１５のフローチャートの処理が実現される。
記憶部１１は、プログラム、ＣＰＵ１０がプログラムに基づき処理を実行する際に使用される画像等を記憶する。
通信部１２は、画像処理装置１００を例えばネットワーク等に接続し、外部装置との通信等を制御する。
なお、画像処理装置１００は、ユーザ操作を受け付ける操作部、画像等を表示する表示部等をハードウェア構成として更に含んでもよい。また、画像処理装置１００が撮像機能を有する場合、画像処理装置１００は、レンズ、撮像素子、絞り、シャッター等で構成された撮像部、被写体までの距離を測定するための距離センサ等をハードウェア構成として更に含んでもよい。
【００１１】
図３は、画像処理装置１００の機能構成の一例を示す図である。
画像処理装置１００は、機能構成として、制御部１０８、画像信号処理部１１０、記憶処理部１１２、移動量マップ生成部１１４、混合比決定部１１６、統合信頼度生成部１１８、移動量マップ信頼度生成部１２０、補間フレーム生成部１２２、を含む。
制御部１０８は、画像信号処理部１１０、記憶処理部１１２、移動量マップ生成部１１４、混合比決定部１１６、統合信頼度生成部１１８、移動量マップ信頼度生成部１２０、補間フレーム生成部１２２等を制御する。
画像信号処理部１１０は、フレーム画像に対して、同時化処理、ホワイトバランス処理、γ処理、ＮＲ処理等の画像信号処理を行う。
記憶処理部１１２は、フレーム画像を記憶部１１に記憶したり、移動量マップを記憶部１１に記憶したりする。
移動量マップ生成部１１４は、フレーム画像間の領域毎の移動量を表す移動量マップを算出する。
混合比決定部１１６は、２つのフレーム画像を領域毎に混合するときの比率である混合比を算出する。混合比決定部１１６は、混合比を、２つのフレーム画像に対して補間フレーム画像を内挿する位置に応じて決定する。
統合信頼度生成部１１８は、補間フレーム画像の確からしさを表す統合信頼度マップを生成する。統合信頼度マップの値域は０から１までとし、１に近づくほどその領域の補間画素の確からしいことを表す。
移動量マップ信頼度生成部１２０は、第１及び第２の移動量マップの確からしさを表す第１及び第２の移動量マップ信頼度を生成する。
補間フレーム生成部１２２は、第１及び第２のフレーム画像と、混合比決定部１１６で決定された第１及び第２のフレーム画像の混合比と、統合信頼度生成部１１８で生成された統合信頼度マップとに基づき、補間フレーム画像を生成する。
【００１２】
実施形態１に関わる画像処理装置１００の基本的な情報処理を表す図４を用いて、処理の流れを以下に説明する。図４は、実施形態１に関わる画像処理装置１００の基本的な情報処理を示すフローチャートである。
Ｓ２００において、移動量マップ生成部１１４は、記憶処理部１１２を介して記憶部１１に記憶された第１のフレーム画像と第２のフレーム画像とを選択する。
Ｓ２０２において、移動量マップ生成部１１４は、第１のフレーム画像から第２のフレーム画像への領域毎の移動量を表す第１の移動量マップ、第２のフレーム画像から第１のフレーム画像への領域毎の移動量を表す第２の移動量マップを算出する。
移動量の算出方法は種々あるが、本実施形態では、画像のテンプレートマッチングを用いて算出する。第１の移動量マップの算出方法について、図５を用いて以下に説明する。
まず、移動量マップ生成部１１４は、図５の第１のフレーム画像１０００上に第１の移動量マップの移動量を算出する位置にテンプレート領域１００４を設定する。移動量マップ生成部１１４は、第２のフレーム画像１００２上には、それに対応する探索領域１００６を設定する。
移動量マップ生成部１１４は、テンプレートマッチングにおいて、テンプレート領域１００４を探索領域１００６上で走査し、類似度が最も高い走査位置をテンプレート領域１００４の移動量として算出する。移動量マップ生成部１１４は、類似度の評価として、例えばＳＡＤ（差分絶対値和。Ｓｕｍ  Ｏｆ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる。移動量マップ生成部１１４は、テンプレート領域内の画素値の差分絶対値和が最も小さくなる位置をそのテンプレート領域における移動量とする。
移動量マップ生成部１１４は、第１のフレーム画像の全領域に対して順次、テンプレート領域１００４を設定し、同様に移動量を算出することで、第１の移動量マップを生成する。
移動量マップ生成部１１４は、第２の移動量マップについても、第２のフレーム画像にテンプレート領域を設定し、第１のフレーム画像に探索領域を設定することで同様に生成する。
【００１３】
Ｓ２０４において、統合信頼度生成部１１８等は、補間フレーム画像の確からしさを表す統合信頼度マップを生成する。詳細な処理は、図６のフローチャートを用いて以下に述べる。
Ｓ３００において、統合信頼度生成部１１８は、補間フレーム画像の内挿位置に応じて統合信頼度を設定する。統合信頼度生成部１１８は、図８に示すように内挿位置と第１及び第２のフレーム画像の何れかの画像との距離が近づくほど、統合信頼度を上げ、遠ざかるほど、統合信頼度を下げる。上記を踏まえ、統合信頼度は、例えば下記（式１）の通り計算する。
統合信頼度＝３β×β−３β＋１            （式１）
ここで、βは補間フレーム画像の内挿位置である。
Ｓ３０２において、混合比決定部１１６は、第１のフレーム画像と第２のフレーム画像とを混合して、補間フレーム画像を生成する際の第１のフレーム画像の割合である混合比αを決定する。混合比αは、０≦α≦１を満たす必要があるので、本実施形態では統合信頼度を用いる。
【００１４】
図４のフローチャートに戻る。
Ｓ２０６において、補間フレーム生成部１２２は、補間フレーム画像を生成する。Ｓ２０６の処理の詳細は、図９のフローチャートを用いて以下に述べる。補間フレーム生成部１２２は、処理を補間フレーム画像の領域毎に行う。
Ｓ４０２において、補間フレーム生成部１２２は、補間フレーム画像に着目領域を設定し、Ｓ２０２で生成された第１の移動量マップ及び第２の移動量マップと、Ｓ３００で生成された混合比αとに基づき、第１のフレーム画像と第２のフレーム画像とを合成し、補間フレーム画像を生成する。
より具体的な処理を図１０で説明する。
第１のフレーム画像９００と第２のフレーム画像９０２とに対して、内挿位置βに補間フレーム画像９１０の補間フレーム画素９２４を生成する場合を例に説明する。ここで、０≦β≦１である。
補間フレーム画像９１０から第１のフレーム画像への移動量９１２をＭＩ１、第２から第１のフレーム画像への移動量９０４をＭ２１とおくと２つ変数の関係は（式２）で表される。同様に補間フレーム画像から第２のフレーム画像への移動量９１４をＭＩ２、第１から第２のフレーム画像への移動量９０６をＭ１２とおくと２つ変数の関係は（式３）で表される。
ＭＩ１＝Ｍ２１×β                                （式２）
ＭＩ２＝Ｍ１２×（１−β）                        （式３）
ここで、第２のフレーム画像９０２から第１のフレーム画像９００への移動量９０４と、第１のフレーム画像９００から第２のフレーム画像９０２への移動量９０６とは、Ｓ２０２で算出済みであるとする。図１０ではＭ２１＝＋１、Ｍ１２＝−１、β＝０．２５として図示している。
【００１５】
図１０で図示した値を用いて、（式２）に基づき移動量を計算すると、補間フレーム画像から第１のフレーム画像への移動量９１２の値ＭＩ１は＋０．２５になる。同様に（式３）に基づき移動量を計算すると、補間フレーム画像から第２のフレーム画像への移動量９１４の値ＭＩ２は−０．７５になる。
したがって、補間フレーム画素９２４の第１のフレーム画像９００、及び第２のフレーム画像９０２への参照位置は、それぞれ参照位置９１６、参照位置９１８になる。通常、参照位置は整数画素位置にはならないので、補間フレーム生成部１２２は、周辺の画素から補間処理によって参照画素値を算出する。例えば、補間フレーム生成部１２２は、参照位置に隣接する左右２画素からの線形補間により画素値を算出する。すると、第１のフレーム画像の参照画素値９２０（Ｉ１とおく）が計算される。同様に第２のフレーム画像の参照画素値９２２（Ｉ２とおく）が計算される。
最後に、補間フレーム生成部１２２は、内挿位置βによってきまる混合比αに基づき、Ｉ１とＩ２とを混合し、補間フレーム画素９２４を生成する。
図１０では、内挿位置βは０．２５であるから、図７と（式１）に従い混合比αは０．８１２５になる。したがって、（式４）により補間フレーム画素９２４の画素値Ｉが計算される。
Ｉ＝α・Ｉ１＋（１−α）・Ｉ２                  （式４）
補間フレーム生成部１２２は、補間フレーム画像の全画素に対して、Ｓ２０２〜Ｓ２０６に処理を実施することで補間フレームが画像を生成する。
【００１６】
以上のようにして、補間フレーム画像に対応した統合信頼度マップを用いてフレーム補間をすることで、二重像、又は画素欠落、又は歪みの少ない補間フレーム画像を生成することができる。
【００１７】
＜実施形態２＞
実施形態２は、実施形態１に対して、統合信頼度マップの生成方法と、補間フレームの生成方法が異なる。図２及び図３で示される構成は実施形態１と同様なので説明を省略する。処理についても実施形態１と同様の処理は説明を省略する。
図１２は、実施形態２に関わる画像処理装置１００の基本的な情報処理を示すフローチャートである。
図１２のＳ１１００、Ｓ１１０２は、図４のＳ２００、Ｓ２０２に対応するので説明を省略する。
Ｓ１１０４において、移動量マップ信頼度生成部１２０は、移動量マップの領域毎の確からしさを表す移動量マップ信頼度を生成する。実施形態１のＳ２０２で図５を用いて説明した通り、本実施形態では移動量マップは第１及び第２のフレーム画像の相関に基づき決定される。しかし、コントラストの低い領域は、対応する位置が真の位置からずれても相関が高くなる可能性がある。例えば、図１３で示した第１のフレーム画像１５００に設定したテンプレート領域１５０４のコントラストが低い場合、第２のフレーム画像１５０２の位置１５０６又は位置１５０８で相関値を取得しても差は小さい。そのため、ノイズの影響によってはどちらの相関が高くなるか分からず、対応する位置が真の位置からずれる可能性がある。
したがって、本実施形態では、移動量マップ信頼度生成部１２０は、第１及び第２のフレーム画像のテクスチャ度を判定するために領域毎に特定の帯域のみ通過させるバンドパスフィルタをかけ、その値が大きいほど、テクスチャがあり高コントラストであると判断し、移動量マップ信頼度を大きくする。又は、移動量マップ信頼度生成部１２０は、移動量マップの着目した領域を含む周辺領域の分散が大きいときは、その領域の移動量マップ信頼度を小さくしてもよい。テクスチャ度は、画像の特徴量の一例である。
【００１８】
Ｓ１１０６において、本実施形態の統合信頼度生成部１１８等は、補間フレーム画像の領域毎の信頼度を表す統合信頼度マップを生成する。詳細な処理フローは、図１４のフローチャートを用いて以下に述べる。
図１４のＳ１２００、Ｓ１２０２は、図６のＳ３００、Ｓ３０２に対応するので説明を省略する。
Ｓ１２０４において、統合信頼度生成部１１８は、補間フレーム画像から第１及び第２のフレーム画像への参照先の相関を評価する。相関は、第１のフレーム画像と第２のフレーム画像との参照先の画素値の差異が小さいほど、大きくする。相関が小さいほど、第１のフレーム画像と第２のフレーム画像とで異なる被写体を参照していると考えられるので、統合信頼度生成部１１８は、その領域の統合信頼度を下げる。
Ｓ１２０６において、統合信頼度生成部１１８は、補間フレーム画像に対応する第１及び第２の移動量マップ信頼度を評価する。統合信頼度生成部１１８は、それぞれの移動量マップ信頼度が共に低いほど、第１及び第２のフレーム画像への参照先が共に信頼できないと判定し、その領域の統合信頼度を下げる。
【００１９】
図１２のフローチャートに戻る。
Ｓ１１０８において、補間フレーム生成部１２２は、補間フレーム画像を生成する。Ｓ１１０８の処理の詳細は、図１５のフローチャートを用いて以下に述べる。処理は補間フレーム画像の領域毎に行う。
Ｓ１３０２において、補間フレーム生成部１２２は、統合信頼度の高い画素を対象とした画素値を生成する処理を実施する。統合信頼度が高い場合は、第１及び第２のフレーム画像の画素を直接参照しても、二重像、画素欠落、歪みは生じにくい。ここでは、実施形態１の図９のＳ４０２の方法を用いて画素を生成するので、処理の説明は省略する。生成した画素値は画素値ＩＨと呼ぶ。
Ｓ１３０４において、補間フレーム生成部１２２は、補間フレーム画像の統合信頼度の低い画素を対象とした補間画素生成処理を実行する。この処理の詳細を図１６で説明する。
補間フレーム生成部１２２は、統合信頼度の低い着目領域８００の画素値ＩＬを、統合信頼度の高い領域８０２の画素値ＩＡ１と領域８０４の画素値ＩＡ２とを用いた（式５）の線形補間処理により生成する。
ＩＬ＝０．５・ＩＡ１＋０．５・ＩＡ２                （式５）
Ｓ１３０６において、補間フレーム生成部１２２は、統合信頼度の高い画素に対する補間画素値生成（Ｓ４０２）で生成した補間画素値ＩＨと、統合信頼度の低い画素に対する補間画素値生成方法（Ｓ４０４〜Ｓ４０９）で生成した画素値ＩＬと、統合信頼度γと、を用い、（式６）に基づき、画素値Ｉを計算する。
Ｉ＝γ・ＩＨ＋（１−γ）・ＩＬ                      （式６）
そして、Ｓ１３０８において、補間フレーム生成部１２２は、補間フレーム画像の全領域について処理を実施するまで、Ｓ１３０２〜Ｓ１３０６に処理を続ける。
又は、図１２の補間フレーム画像生成処理（Ｓ１１０８）を図１０で示す方法で実施してもよい。この処理の詳細を以下に説明する。
補間フレーム画像１４０４に対応する統合信頼度マップを統合信頼度マップ１４０６とおく。補間フレーム画像１４０４の着目画素１４１０に対応する統合信頼度を統合信頼度１４２２、着目画素１４１０の周辺画素１４１２に対応する統合信頼度を統合信頼度１４２２とする。統合信頼度１４２２は信頼度が低く、統合信頼度１４２４は信頼度が高いとする。
Ｓ４０４において、補間フレーム生成部１２２は、統合信頼度の高い周辺画素１４１２の第１のフレーム画像への参照先を、第１の移動量マップと補間フレーム画像１４０４の内挿位置βとを用い、（式２）に基づき参照先１４１６と計算する。また、補間フレーム生成部１２２は、統合信頼度の高い周辺画素１４１２の第２のフレーム画像への参照先を、第２の移動量マップと補間フレーム画像１４０４の内挿位置βとを用い、（式３）に基づき参照先１４２０と計算する。
ここで、補間フレーム画像１４０４において、周辺画素１４１２に対して着目画素１４１０は画素ずれ１４１１だけ画素の位置がずれている（図１１では右に１画素ずれていることを表している）。
Ｓ４０６において、補間フレーム生成部１２２は、この位置関係を用いて、着目画素の１４１０に対応する第１及び第２のフレーム画像への参照先を算出する。第１のフレーム画像１４００への周辺画素の参照先は参照先１４１６であるから、補間フレーム生成部１２２は、そこから画素ずれ１４１１と同じだけずらした画素ずれ１４１５だけずれた参照先１４１４を着目画素の参照先とする。同様に、補間フレーム生成部１２２は、第２のフレーム画像１４０２への着目画素の参照先１４１８を計算する。
Ｓ４０８において、補間フレーム生成部１２２は、Ｓ３００で算出済みの混合比αに基づき、参照先１４１４の画素値と参照先１４１８の画素値とを混合し、着目画素１４１０の画素値ＩＬとする。
そして、補間フレーム生成部１２２は、（式６）に基づき、画素値Ｉを計算する。
【００２０】
以上のようにして、フレーム補間画像に対応した統合信頼度マップを用いてフレーム補間をすることで、二重像、又は画素欠落、又は歪みの少ない補間フレーム画像を生成することができる。
【００２１】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２２】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、画像処理装置１００の機能構成の一部又は全てはハードウェア構成として画像処理装置１００に実装されてもよい。
また、画像処理装置１００のハードウェア構成としてＣＰＵ、記憶部、通信部は１つである必要はない。複数のＣＰＵがプログラムに基づき、複数の記憶部に記憶されたデータ等を用いながら処理を実行するようにしてもよい。また、ＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることとしてもよい。
【符号の説明】
【００２３】
１０    ＣＰＵ
１００  画像処理装置
【図１】
2020028064.tif 000003
【図２】
2020028064.tif 000004
【図３】
2020028064.tif 000005
【図４】
2020028064.tif 000006
【図５】
2020028064.tif 000007
【図６】
2020028064.tif 000008
【図７】
2020028064.tif 000009
【図８】
2020028064.tif 000010
【図９】
2020028064.tif 000011
【図１０】
2020028064.tif 000012
【図１１】
2020028064.tif 000013
【図１２】
2020028064.tif 000014
【図１３】
2020028064.tif 000015
【図１４】
2020028064.tif 000016
【図１５】
2020028064.tif 000017
【図１６】
2020028064.tif 000018