(57)【要約】【課題】高解像度／高フレームレートの動画像情報をより簡易な構成で生成することが可能な画像処理装置を提供する。【解決手段】時刻ｔに対応し且つ既定の解像度／フレームレートのフレーム画像情報Ｆb(t)と、同じ解像度／フレームレートで且つ時刻ｔ＋Ｔbに対応するフレーム画像情報Ｆb(t+Tb)と、時刻ｔと時刻ｔ＋Ｔbとの間の時刻ｔ＋ｔ’に対応する補間用フレーム画像情報Ｆa(t+t’)と、を用いて、フレーム画像情報Ｆbの解像度に対応した解像度を有し且つ時刻ｔ＋ｔ’に対応した補間フレーム画像情報Ｆ^(t+t’)を生成し、フレーム画像情報Ｆb(t)と、フレーム画像情報Ｆb(t+Tb)と、補間フレーム画像情報Ｆ^(t+t’)と、を用いて、被写体に対応した出力画像情報Ｆoutを生成する。【選択図】図１
2017041820.tif 000002
【特許請求の範囲】
【請求項１】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報を取得する第１取得手段と、
前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報を取得する第２取得手段と、
第１時刻に対応する前記フレーム画像情報である第１フレーム画像情報と、前記第１時刻より後の第２時刻に対応する前記フレーム画像情報である第２フレーム画像情報と、前記第１時刻と前記第２時刻との間の第３時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第３時刻に対応した補間フレーム画像情報を生成する補間手段と、
前記第１フレーム画像情報と、前記第２フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記補間手段は、
前記第１フレーム画像情報と前記補間用フレーム画像情報とに基づいたグローバルモーション推定法による第１動き推定処理を行う第１動き推定手段と、
前記第２フレーム画像情報と前記補間用フレーム画像情報とを用いたグローバルモーション推定法による第２動き推定処理を行う第２動き推定手段と、
前記第１動き推定処理の結果と前記第１フレーム画像情報とに基づいた第１動き補償処理を行う第１動き補償手段と、
前記第２動き推定処理の結果と前記第２フレーム画像情報とに基づいた第２動き補償処理を行う第２動き補償手段と、
前記第１動き補償処理の結果と前記第２動き補償処理の結果とを合成して前記補間フレーム画像情報を生成する合成手段と、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ記録する記録手段を更に備え、
前記第１取得手段及び前記第２取得手段は、前記記録されているフレーム画像情報及び補間用フレーム画像情報を前記記録手段からそれぞれ取得することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の画像処理装置において、
前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記被写体における前景と背景とをそれぞれ区別して検出する前景／背景検出手段と、
前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記前景における動き量を検出する動き量検出手段と、
を更に備え、
前記補間手段は、各前記検出された背景及び前景並びに動き量を用いて前記補間フレーム画像情報を生成することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の画像処理装置において、
前記被写体を撮像して前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ生成する撮像手段を更に備えることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、前記撮像手段を切り換えて前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ時分割的に生成する切換制御手段を更に備えることを特徴とする画像処理装置。
【請求項７】
請求項５に記載の画像処理装置において、
前記撮像手段は、
前記被写体を撮像して前記フレーム画像情報を生成する第１撮像手段と、
前記被写体を撮像して前記補間用フレーム画像情報を生成する第２撮像手段と、
前記被写体からの光を分光して前記第１撮像手段及び前記第２撮像手段にそれぞれに出射する分光手段と、
を備え、
前記第１撮像手段は、前記分光された一方の前記光を受光して前記フレーム画像情報を生成し、
前記第２撮像手段は、前記分光された他方の前記光を受光して前記補間用フレーム画像情報を生成することを特徴とする画像処理装置。
【請求項８】
請求項５に記載の画像処理装置において、
前記撮像手段は、
前記被写体を撮像して前記フレーム画像情報を生成する第１撮像手段と、
前記被写体を撮像して前記補間用フレーム画像情報を生成する第２撮像手段と、
を備え、
前記第１撮像手段と前記第２撮像手段とが隣接する位置に別個に設置されていることを特徴とする画像処理装置。
【請求項９】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置において実行される画像処理方法であって、
前記フレーム画像情報を取得する第１取得工程と、
前記補間用フレーム画像情報を取得する第２取得工程と、
第１時刻に対応する前記フレーム画像情報である第１フレーム画像情報と、前記第１時刻より後の第２時刻に対応する前記フレーム画像情報である第２フレーム画像情報と、前記第１時刻と前記第２時刻との間の第３時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第３時刻に対応した補間フレーム画像情報を生成する補間工程と、
前記第１フレーム画像情報と、前記第２フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成工程と、
を含むことを特徴とする画像処理方法。
【請求項１０】
予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置に含まれるコンピュータを、
前記フレーム画像情報を取得する第１取得手段、
前記補間用フレーム画像情報を取得する第２取得手段、
第１時刻に対応する前記フレーム画像情報である第１フレーム画像情報と、前記第１時刻より後の第２時刻に対応する前記フレーム画像情報である第２フレーム画像情報と、前記第１時刻と前記第２時刻との間の第３時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第３時刻に対応した補間フレーム画像情報を生成する補間手段、及び、
前記第１フレーム画像情報と、前記第２フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段、
として機能させることを特徴とする画像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理用プログラムの技術分野に属し、より詳細には、動画像に相当する動画像情報を生成する画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラムの技術分野に属する。
【背景技術】
【０００２】
近年、被写体をデジタル的に撮像することが広く行われている。このような撮像には、静止画像としての撮像と動画像としての撮像とがあるが、いずれの場合も、一般に高画質化が求められている。
【０００３】
ここで、被写体を動画像として撮像する場合の高画質化には、動画像化する際の雑音を低減又は除去する方法、画像としての解像度を上げる方法、又は、動画像としてのいわゆるフレームレートを上げる方法などがある。このような動画像における高画質化を目的とした技術を開示する先行技術文献としては、例えば下記特許文献１及び特許文献２がある。
【０００４】
このとき下記特許文献１に開示されている技術はいわゆるフレーム補間に関する技術であり、動画像内における動きベクトルの信頼度に基づき、動画像を構成する各フレーム間で破綻が生じないように、当該フレーム間を補間する構成とされている。また下記特許文献２に開示されている技術では、雑音の軽減を目的として、動画像を構成する複数のフレーム画像を重ねる際の位置合わせを適切に行うと共に、動画像内の動きベクトルに基づいて混合率の適正化を図る構成とされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４４８４６号公報
【特許文献２】特開２０１４−１８７６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１に開示されている技術では、例えば高解像度且つ通常のフレームレートの動画像から高解像度且つ高フレームレートの動画像を生成して高画質化を図る場合、動きの速い被写体を撮像した領域については動きの推定が困難となり、動きベクトルとしての信頼性が低下する。このため、上記高画質化のためには、上記特許文献１に示されるように当該信頼性の低下を補填する他の処理を追加する必要があるという問題点がある。
【０００７】
また、動画像の高画質化のためには、一般に雑音の除去に比して解像度及びフレームレートの適正化の方が簡易な処理であるところ、上記特許文献２に開示されている技術では、当該解像度及びフレームレートの適正化（制御）については何ら言及されていない。
【０００８】
そこで本発明は、上記の問題点等に鑑みて為されたもので、その課題の一例は、高解像度／高フレームレートの動画像情報をより簡易な構成で生成することが可能な画像処理装置及び画像処理方法並びに当該画像処理装置用のプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、請求項１に記載の発明は、予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報を取得するストレージ部等の第１取得手段と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報を取得するストレージ部等の第２取得手段と、第１時刻に対応する前記フレーム画像情報である第１フレーム画像情報と、前記第１時刻より後の第２時刻に対応する前記フレーム画像情報である第２フレーム画像情報と、前記第１時刻と前記第２時刻との間の第３時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第３時刻に対応した補間フレーム画像情報を生成するグローバルモーション推定部等の補間手段と、前記第１フレーム画像情報と、前記第２フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する補間部等の生成手段と、を備える。
【００１０】
上記の課題を解決するために、請求項９に記載の発明は、予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置において実行される画像処理方法であって、前記フレーム画像情報を取得する第１取得工程と、前記補間用フレーム画像情報を取得する第２取得工程と、第１時刻に対応する前記フレーム画像情報である第１フレーム画像情報と、前記第１時刻より後の第２時刻に対応する前記フレーム画像情報である第２フレーム画像情報と、前記第１時刻と前記第２時刻との間の第３時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第３時刻に対応した補間フレーム画像情報を生成する補間工程と、前記第１フレーム画像情報と、前記第２フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成工程と、を含む。
【００１１】
上記の課題を解決するために、請求項１０に記載の発明は、予め設定された解像度及びフレームレートで被写体を撮像して得られたフレーム画像情報と、前記フレーム画像情報より低い解像度、及び、当該フレーム画像情報より高いフレームレートで前記被写体を撮像して得られた補間用フレーム画像情報と、がそれぞれ入力される画像処理装置に含まれるコンピュータを、前記フレーム画像情報を取得する第１取得手段、前記補間用フレーム画像情報を取得する第２取得手段、第１時刻に対応する前記フレーム画像情報である第１フレーム画像情報と、前記第１時刻より後の第２時刻に対応する前記フレーム画像情報である第２フレーム画像情報と、前記第１時刻と前記第２時刻との間の第３時刻に対応する前記補間用フレーム画像情報と、を用いて、前記フレーム画像情報の解像度に対応した解像度を有し且つ前記第３時刻に対応した補間フレーム画像情報を生成する補間手段、及び、前記第１フレーム画像情報と、前記第２フレーム画像情報と、前記生成された補間フレーム画像情報と、を用いて、前記被写体に対応した動画像情報を生成する生成手段、として機能させる。
【００１２】
請求項１、請求項９又は請求項１０のいずれか一項に記載の発明によれば、既定の解像度及びフレームレートであり且つ第１時刻及び第２時刻にそれぞれ対応した第１フレーム画像情報及び第２フレーム画像情報と、第１フレーム画像情報及び第２フレーム画像情報より低解像度／高フレームレートであり且つ第３時刻に対応した補間用フレーム画像情報と、を用いて、フレーム画像情報の解像度に対応した解像度を有し且つ第３時刻に対応した補間フレーム画像情報を生成する。そして、第１フレーム画像情報と第２フレーム画像情報と補間フレーム画像情報とを用いて動画像情報を生成する。よって、解像度及びフレームレートがそれぞれ異なる二種類のフレーム画像情報を用いることで、高解像度／高フレームレートの動画像情報をより簡易な構成で生成することができる。
【００１３】
上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記補間手段は、前記第１フレーム画像情報と前記補間用フレーム画像情報とに基づいたグローバルモーション推定法による第１動き推定処理を行うグローバルモーション推定部等の第１動き推定手段と、前記第２フレーム画像情報と前記補間用フレーム画像情報とを用いたグローバルモーション推定法による第２動き推定処理を行うグローバルモーション推定部等の第２動き推定手段と、前記第１動き推定処理の結果と前記第１フレーム画像情報とに基づいた第１動き補償処理を行う動き補償部等の第１動き補償手段と、前記第２動き推定処理の結果と前記第２フレーム画像情報とに基づいた第２動き補償処理を行う動き補償部等の第２動き補償手段と、前記第１動き補償処理の結果と前記第２動き補償処理の結果とを合成して前記補間フレーム画像情報を生成するブレンド部等の合成手段と、を備える。
【００１４】
請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、補間手段が、第１動き推定手段、第２動き推定手段、第１動き補償手段、第２動き補償手段及び合成手段を備えるので、補間フレーム画像情報を高精度に生成することができる。
【００１５】
上記の課題を解決するために、請求項３に記載の発明は、請求項１又は請求項２に記載の画像処理装置において、前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ記録するストレージ部等の記録手段を更に備え、前記第１取得手段及び前記第２取得手段は、前記記録されているフレーム画像情報及び補間用フレーム画像情報を前記記録手段からそれぞれ取得するように構成される。
【００１６】
請求項３に記載の発明によれば、請求項１又は請求項２に記載の発明の作用に加えて、フレーム画像情報及び補間用フレーム画像情報をそれぞれ記録する記録手段を更に備え、当該記録手段からフレーム画像情報及び補間用フレーム画像情報をそれぞれ取得するので、被写体の撮像に対して事後的に当該被写体に対応した動画像情報を生成することができる。
【００１７】
上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の画像処理装置において、前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記被写体における前景と背景とをそれぞれ区別して検出する処理部等の前景／背景検出手段と、前記フレーム画像情報と前記補間用フレーム画像情報とに基づいて、前記前景における動き量を検出する処理部等の動き量検出手段と、を更に備え、前記補間手段は、各前記検出された背景及び前景並びに動き量を用いて前記補間フレーム画像情報を生成するように構成される。
【００１８】
請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、被写体における前景と背景とをそれぞれ区別して検出し、更に前景における動き量を検出し、それらを用いて補間フレーム画像情報を生成するので、より高精度に当該補間フレーム画像情報を生成することができる。
【００１９】
上記の課題を解決するために、請求項５に記載の発明は、請求項１から請求項４のいずれか一項に記載の画像処理装置において、前記被写体を撮像して前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ生成する撮像部等の撮像手段を更に備える。
【００２０】
請求項５に記載の発明によれば、請求項１から請求項４のいずれか一項に記載の発明の作用に加えて、フレーム画像情報及び補間用フレーム画像情報をそれぞれ生成する撮像手段を備えるので、一つの画像処理装置内において、被写体の撮像と補間フレーム画像情報の生成とを行うことができる。
【００２１】
上記の課題を解決するために、請求項６に記載の発明は、請求項５に記載の画像処理装置において、前記撮像手段を切り換えて前記フレーム画像情報及び前記補間用フレーム画像情報をそれぞれ時分割的に生成する切換制御部等の切換制御手段を更に備える。
【００２２】
請求項６に記載の発明によれば、請求項５に記載の発明の作用に加えて、撮像手段を切り換えてフレーム画像情報及び補間用フレーム画像情報をそれぞれ時分割的に生成するので、撮像手段としての規模を最小化してフレーム画像情報及び補間用フレーム画像情報を生成することができる。
【００２３】
上記の課題を解決するために、請求項７に記載の発明は、請求項５に記載の画像処理装置において、前記撮像手段は、前記被写体を撮像して前記フレーム画像情報を生成する撮像素子等の第１撮像手段と、前記被写体を撮像して前記補間用フレーム画像情報を生成する撮像素子等の第２撮像手段と、前記被写体からの光を分光して前記第１撮像手段及び前記第２撮像手段にそれぞれに出射する分光部等の分光手段と、を備え、前記第１撮像手段は、前記分光された一方の前記光を受光して前記フレーム画像情報を生成し、前記第２撮像手段は、前記分光された他方の前記光を受光して前記補間用フレーム画像情報を生成するように構成される。
【００２４】
請求項７に記載の発明によれば、請求項５に記載の発明の作用に加えて、被写体からの光を分光して第１撮像手段及び第２撮像手段にそれぞれに出射し、その一方を受光して第１撮像手段によりフレーム画像情報を生成し、他方を受光して第２撮像手段により補間用フレーム画像情報を生成するので、フレーム画像情報及び補間用フレーム画像情報を連続して生成することができる。
【００２５】
上記の課題を解決するために、請求項８に記載の発明は、請求項５に記載の画像処理装置において、前記撮像手段は、前記被写体を撮像して前記フレーム画像情報を生成する撮像素子等の第１撮像手段と、前記被写体を撮像して前記補間用フレーム画像情報を生成する撮像素子等の第２撮像手段と、を備え、前記第１撮像手段と前記第２撮像手段とが隣接する位置に別個に設置されているように構成される。
【００２６】
請求項８に記載の発明によれば、請求項５に記載の発明の作用に加えて、撮像手段を構成する第１撮像手段と第２撮像手段とが隣接する位置に別個に設置されているので、同一の被写体に対応するフレーム画像情報及び補間用フレーム画像情報を確実に生成することができる。
【発明の効果】
【００２７】
本発明によれば、既定の解像度及びフレームレートであり且つ第１時刻及び第２時刻にそれぞれ対応した第１フレーム画像情報及び第２フレーム画像情報と、第１フレーム画像情報及び第２フレーム画像情報より低解像度／高フレームレートであり且つ第３時刻に対応した補間用フレーム画像情報と、を用いて、フレーム画像情報の解像度に対応した解像度を有し且つ第３時刻に対応した補間フレーム画像情報を生成する。そして、第１フレーム画像情報と第２フレーム画像情報と補間フレーム画像情報とを用いて動画像情報を生成する。
【００２８】
従って、解像度及びフレームレートがそれぞれ異なる二種類のフレーム画像情報を用いることで、高解像度／高フレームレートの動画像情報を簡易な構成で生成することができる。
【図面の簡単な説明】
【００２９】
【図１】第１実施形態に係る画像処理装置の概要構成を示すブロック図である。
【図２】第１実施形態に係る撮像部の概要構成を示すブロック図であり、（ａ）は当該概要構成の第1例を示すブロック図であり、（ｂ）は当該概要構成の第２例を示すブロック図であり、（ｃ）は当該概要構成の第３例を示すブロック図である。
【図３】第１実施形態に係るフレーム間補間処理を示すフローチャートである。
【図４】第１実施形態に係るフレーム間補間処理を例示する図である。
【図５】第２実施形態に係る画像処理装置の概要構成を示すブロック図である。
【発明を実施するための形態】
【００３０】
次に、本発明を実施するための形態等について、図面に基づいて説明する。なお、以下に説明する各実施形態及び変形形態は、動きを含む被写体を動画像として撮像し、当該被写体に相当する動画像情報を出力する画像処理装置に対して本発明を適用した場合の実施の形態等である。
【００３１】
（Ｉ）第１実施形態
始めに、本発明に係る第１実施形態について、図１乃至図４を用いて説明する。なお、図１は第１実施形態に係る画像処理装置の概要構成を示すブロック図であり、図２は第１実施形態に係る撮像部の概要構成を示すブロック図であり、図３は第１実施形態に係るフレーム間補間処理を示すフローチャートであり、図４は当該フレーム間補間処理を例示する図である。
【００３２】
図１に示すように、第１実施形態に係る画像処理装置Ｓは、ＣＣＤ（Charge-Coupled Device）素子又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）素子等からなる撮像素子を含む撮像部Ｃと、ハードディスク又は不揮発性のメモリ等を含むストレージ部１と、縮小部２及び縮小部３と、グローバルモーション推定部４及びグローバルモーション推定部５と、動き補償部６及び動き補償部７と、ブレンド部８と、揮発性又は不揮発性のメモリ等からなる蓄積部９と、補間部１０と、により構成されている。
【００３３】
このとき、上記縮小部２及び縮小部３、グローバルモーション推定部４及びグローバルモーション推定部５、動き補償部６及び動き補償部７、ブレンド部８並びに補間部１０については、いわゆる汎用のマイクロコンピュータ等を構成するハードウェアロジック回路により実現してもよいし、後述する第１実施形態に係るフレーム間補間処理に対応するプログラムを当該マイクロコンピュータに読み込んで実行することによりソフトウェア的に実現されるものであってもよい。なおこの場合の当該フレーム間補間処理に対応するプログラムは、例えば光ディスク等の記録媒体に予め記録されているものを読み出して用いてもよいし、例えばインターネット等のネットワークを介して取得したものを用いてもよい。
【００３４】
また、上記撮像部Ｃが本発明に係る「撮像手段」の一例に相当し、上記ストレージ部１が本発明に係る「第１取得手段」の一例、「第２取得手段」の一例及び「記録手段」の一例にそれぞれ相当し、上記グローバルモーション推定部４及びグローバルモーション推定部５、動き補償部６及び動き補償部７並びにブレンド部８が本発明に係る「補間手段」の一例に相当し、上記補間部１０が本発明に係る「生成手段」の一例に相当する。更に、上記グローバルモーション推定部４が本発明に係る「第１動き推定手段」の一例に相当し、上記グローバルモーション推定部５が本発明に係る「第２動き推定手段」の一例に相当し、上記動き補償部６が本発明に係る「第１動き補償手段」の一例に相当し、上記動き補償部７が本発明に係る「第２動き補償手段」の一例に相当し、上記ブレンド部８が本発明に係る「合成手段」の一例に相当する。
【００３５】
次に、第１実施形態に係る画像処理装置Ｓにおいて実行される、第１実施形態に係るフレーム間補間処理について、主として図１乃至図４を用いて説明する。
【００３６】
先ず撮像部Ｃは、動きがある被写体を動画像としてデジタル的に撮像し、高解像度且つ低フレームレートのフレーム画像情報Ｆbと、低解像度且つ高フレームレートの補間用フレーム画像情報Ｆaと、をそれぞれ生成してストレージ部１に出力する。このとき、撮像部Ｃは、同一の当該被写体について上記フレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaをそれぞれ出力する。
【００３７】
ここで、上記フレーム画像情報Ｆbの解像度としては例えば１９２０ドット×１０８０ドット程度の解像度が好適であり、そのフレームレートとしては例えば１．８７５fps（flame per second）程度のフレームレートが好適である。また上記補間用フレーム画像情報Ｆaの解像度としては例えば４８０ドット×２７０ドット程度の解像度が好適であり、そのフレームレートとしては例えば３０fps程度のフレームレートが好適である。この場合に、フレーム画像情報Ｆbの解像度及びフレームレートと、補間用フレーム画像情報Ｆaの解像度及びフレームレートと、の間の第１実施形態に係る関係は、フレーム画像情報Ｆbの解像度が補間用フレーム画像情報Ｆaの解像度より高く、且つフレーム画像情報Ｆbのフレームレートが補間用フレーム画像情報Ｆaフレームレートより低いという条件を満たせば、例えば画像処理装置Ｓとして最終的に出力する出力画像情報Ｆoutの用途等に応じて、任意に設定することができる。よって例えば、上記フレーム画像情報Ｆbのフレームレートとして例えば３０fpsとし、上記補間用フレーム画像情報Ｆaのフレームレートを例えば４８０fpsとしてもよい。また、上記フレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaをそれぞれ出力する撮像部Ｃの具体的な構成については、後ほど図２を用いて説明する。
【００３８】
次にストレージ部１は、撮像部Ｃから出力されてきたフレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaをそれぞれ構成する各フレーム画像のデータを、当該フレーム画像ごとに予め設定された規則に基づくタイムスタンプ（時刻情報）を付与して、一時的に記録する。
【００３９】
その後ストレージ部１は、第１実施形態に係るフレーム補間処理の対象となるフレーム画像情報Ｆbの時刻ｔが例えば図示しない操作部等により指定されると、当該時刻ｔをタイムスタンプとするフレーム画像情報Ｆb(t)を読み出し、縮小部２、動き補償部６及び補間部１０に出力する。またストレージ部１は、上記時刻ｔに対して予め設定された時間Ｔbを加えた時刻ｔ＋Ｔbをタイムスタンプとするフレーム画像情報Ｆb(t+Tb)を読み出し、縮小部３、動き補償部７及び補間部１０に出力する。更にストレージ部１は、時刻ｔに対して時刻Ｔbより小さい時間ｔ’を加えた時刻ｔ＋ｔ’（即ち、時刻ｔと時刻ｔ＋Ｔbとの間の時刻ｔ＋ｔ’）をタイムスタンプとする補間用フレーム画像情報Ｆa(t+t’)を読み出し、グローバルモーション推定部４及びグローバルモーション推定部５にそれぞれ出力する。なおこのときの時間Ｔbについては任意に決められるものではなく、フレーム画像情報Ｆb(t)のフレームレートにより予め設定される。より具体的に例えば、フレーム画像情報Ｆb(t)のフレームレートが３０fpsであれば、時間Ｔbは１／３０秒となる。
【００４０】
次に縮小部２は、補間用フレーム画像情報Ｆa(t+t’)の解像度に合わせてフレーム画像情報Ｆb(t)を縮小し、縮小フレーム画像情報Ｆbp(t)を生成してグローバルモーション推定部４に出力する。これと並行して縮小部３は、縮小部２と同様に補間用フレーム画像情報Ｆa(t+t’)の解像度に合わせてフレーム画像情報Ｆb(t+Tb)を縮小し、縮小フレーム画像情報Ｆbp(t+Tb)を生成してグローバルモーション推定部５に出力する。
【００４１】
これによりグローバルモーション推定部４は、ストレージ部１から入力されている補間用フレーム画像情報Ｆa(t+t’)と縮小フレーム画像情報Ｆbp(t)とを用いた従来と同様のグローバルモーション推定法による動き推定処理（フレーム画像情報Ｆbとしての動き推定処理。以下、同様。）を行い、動き推定情報Ｆe1を生成して動き補償部６に出力する。また、グローバルモーション推定部５は、上記補間用フレーム画像情報Ｆa(t+t’)と縮小フレーム画像情報Ｆbp(t+Tb)とを用いた上記グローバルモーション推定法による動き推定処理を行い、動き推定情報Ｆe2を生成して動き補償部７に出力する。
【００４２】
次に動き補償部６は、上記動き推定情報Ｆe1とフレーム画像情報Ｆb(t)とに基づいて当該フレーム画像情報Ｆb(t)に対する動き補償処理（フレーム画像情報Ｆbとしての動き補償処理。以下、同様。）を行い、補償画像情報Ｆmc1を生成してブレンド部８に出力する。一方動き補償部７は、上記動き推定情報Ｆe2とフレーム画像情報Ｆb(t+Tb)とに基づいて当該フレーム画像情報Ｆb(t+Tb)に対する動き補償処理を行い、補償画像情報Ｆmc2を生成してブレンド部８に出力する。
【００４３】
これらによりブレンド部８は、補償画像情報Ｆmc1と補償画像情報Ｆmc2とを合成（ブレンド）し、時刻ｔ＋ｔ’をタイムスタンプとする補間用フレーム画像情報Ｆa(t+t’)の解像度を元のフレーム画像情報Ｆb(t)の解像度に対応させて変換した補間フレーム画像情報Ｆ^b(t+t’)を生成して一時的に蓄積部９に蓄積する。これにより、補間用フレーム画像情報Ｆa(t+t’1)を用いた一の補間フレーム画像情報Ｆ^b(t+t’)の生成及び蓄積が終了する。
【００４４】
その後、ストレージ部１、縮小部２及び縮小部３、グローバルモーション推定部４及びグローバルモーション推定部５、動き補償部６及び動き補償部７並びにブレンド部８は、時刻ｔと時刻ｔ＋Ｔbとの間の時刻ｔ＋ｔ’1乃至時刻ｔ＋ｔ’n（ｎは２以上の自然数）をそれぞれタイムスタンプとする補間用フレーム画像情報Ｆa(t+t’1)乃至補間用フレーム画像情報Ｆa(t+t’n)を各々用いた各補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)の生成を順次行い、当該生成された補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)を蓄積部９に順次蓄積することを繰り返す。
【００４５】
そして、各時刻ｔ＋ｔ’1乃至時刻ｔ＋ｔ’nそれぞれをタイムスタンプとする補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)が蓄積部９に蓄積されたら、補間部１０は、上記フレーム画像情報Ｆb(t)とフレーム画像情報Ｆb(t+Tb)との間を当該補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)を用いて補間し、第１実施形態に係るフレーム間補間処理の結果としての出力画像情報Ｆoutを生成して外部に出力する。
【００４６】
次に、上記撮像部Ｃの具体的な構成について、図２を用いて具体的に説明する。第１実施形態に係る撮像部Ｃは、上述したようにフレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaをそれぞれ生成してストレージ部１に出力する。このための撮像部Ｃの構成の第１例としては、図２（ａ）に例示する撮像部Ｃ１のように、フレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaを時分割的に生成することが可能な上記ＣＣＤ素子又はＣＭＯＳ素子等からなる撮像素子２０と、被写体からの光Ｌを集光して撮像素子２０に出射する光学系Ｒ（レンズ等を含む。以下、同様。）と、撮像素子２０の機能を時分割的に切り換えて上記フレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaをそれぞれ生成させる切換制御部２３と、を備える構成が挙げられる。この切換制御部２３が本発明に係る「切換制御手段」の一例に相当する。
【００４７】
また当該撮像部Ｃの構成の第２例としては、図２（ｂ）に例示する撮像部Ｃ２のように、上記ＣＣＤ素子又はＣＭＯＳ素子等からなりフレーム画像情報Ｆbのみを生成する撮像素子２１と、上記ＣＣＤ素子又はＣＭＯＳ素子等からなり補間用フレーム画像情報Ｆaのみを生成し且つ撮像素子２１とは別個に配置された撮像素子２２と、被写体からの光Ｌを集光する光学系Ｒと、光学系Ｒにより集光された光Ｌを分光してそれぞれ撮像素子２１及び撮像素子２２に受光させるハーフミラー等の分光部ＨＦと、を備える構成が挙げられる。このとき、撮像素子２１が本発明に係る「第１撮像手段」の一例に相当し、撮像素子２２が本発明に係る「第２撮像手段」の一例に相当し、分光部ＨＦが本発明に係る「分光手段」の一例に相当する。
【００４８】
更に当該撮像部Ｃの構成の第３例としては、図２（ｃ）に例示する撮像部Ｃ３のように、別個且つ隣接して配置された上記第２例と同様の撮像素子２１及び撮像素子２２と、被写体からの光Ｌを集光して撮像素子２１に出射する光学系Ｒ１と、当該光Ｌを集光して撮像素子２２に出射する光学系Ｒ２と、を備える構成が挙げられる。なおこの第３例の場合、撮像素子２１と撮像素子２２との間に、一の被写体からの光Ｌに対する視差が生じる場合がある。このため、撮像素子２１の位置と撮像素子２２の位置との距離に対して十分に遠方の被写体を撮像対象とするか、或いは、受光後の他の処理により当該視差を打ち消すための補正を施す必要がある点に留意が必要である。
【００４９】
次に、上述してきた第１実施形態に係る一連のフレーム間補間処理について、纏めて図３及び図４を用いて説明する。
【００５０】
第１実施形態に係るフレーム間補間処理としては、その開始後に図示しない操作部等によりフレーム画像情報Ｆbの上記時刻ｔが指定されると（ステップＳ１）、当該時刻ｔに対応する上記フレーム画像情報Ｆb(t)、上記フレーム画像情報Ｆb(t+Tb)及び上記補間用フレーム画像情報Ｆa(t+t’1)を用いた縮小部２及び縮小部３、グローバルモーション推定部４及びグローバルモーション推定部５、動き補償部６及び動き補償部７並びにブレンド部８による第１実施形態に係るフレーム間補間処理を行い、上記補間フレーム画像情報Ｆ^b(t+t’1)を生成し（ステップＳ２）、蓄積部９に蓄積する（ステップＳ３）。その後、上記補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)全ての生成と蓄積が完了しているか否かを判定し（ステップＳ４）、当該生成及び蓄積が完了していない場合は（ステップＳ４；ＮＯ）、未完了のタイムスタンプについての補間フレーム画像情報Ｆ^bの生成を行うべく上記ステップＳ１に戻る。一方ステップＳ４の判定において補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)全ての生成と蓄積が完了している場合（ステップＳ４；ＹＥＳ）、それらを用いた上記出力画像情報Ｆoutの生成と出力を上記補間部１０において行い（ステップＳ５）、時刻ｔから時刻ｔ＋Ｔbについての第１実施形態に係るフレーム間補間処理を終了する。
【００５１】
次に、第１実施形態に係るフレーム間補間処理を時刻ｔから時刻ｔ＋Ｔb1までと、時刻ｔ＋Ｔb1から時刻ｔ＋Ｔb2までと、の間を対象として行った場合について、図４を用いて説明する。
【００５２】
先ず図４左に例示するように、一つの被写体を撮像部Ｃにより撮像した結果として、時刻ｔをタイムスタンプとするフレーム画像情報Ｆb(t)、時刻ｔ＋Ｔb1をタイムスタンプとするフレーム画像情報Ｆb(t+Tb1)、及び時刻ｔ＋Ｔb1をタイムスタンプとするフレーム画像情報Ｆb(t+Tb2)がストレージ部１に記録されている場合を考える。この場合には、当該フレーム画像情報Ｆb(t)等に加えて、同一の被写体を撮像した結果として、時刻ｔと時刻ｔ＋Ｔb1との間の時刻である時刻ｔ＋ｔ’1乃至時刻ｔ＋ｔ’nをそれぞれのタイムスタンプとする補間用フレーム画像情報Ｆa(t+t’1)乃至補間用フレーム画像情報Ｆa(t+t’n)と、時刻ｔ＋Ｔb1と時刻ｔ＋Ｔb2との間の時刻である時刻ｔ＋ｔ’n+1乃至時刻ｔ＋ｔ’m（ｍは自然数且つｍ＞ｎ）をそれぞれのタイムスタンプとする補間用フレーム画像情報Ｆa(t+t’n+1)乃至補間用フレーム画像情報Ｆa(t+t’m)と、がストレージ部１に記録されている。そして、図４左に例示するフレーム画像情報Ｆb(t)等及び補間用フレーム画像情報Ｆa(t+t’1)等を用いて第１実施形態に係るフレーム間補間処理を実行するとする。このとき、時刻ｔから時刻ｔ＋Ｔb1までについての当該フレーム間補間処理においては、時刻ｔは図１乃至図３用いて説明した当該フレーム間補間処理における時刻ｔにそのまま対応し、時刻ｔ＋Ｔb1が図１乃至図３用いて説明した当該フレーム間補間処理における時刻ｔ＋Ｔbに対応している。一方、時刻ｔ＋Ｔb1から時刻ｔ＋Ｔb2までについての当該フレーム間補間処理においては、時刻ｔ＋Ｔb1が図１乃至図３用いて説明した当該フレーム間補間処理における時刻ｔに対応しており、時刻ｔ＋Ｔb2が図１乃至図３用いて説明した当該フレーム間補間処理における時刻ｔ＋Ｔbに対応する。
【００５３】
この状態において、図４左に例示するフレーム画像情報Ｆb(t)等及び補間用フレーム画像情報Ｆa(t+t’1)等を用いて第１実施形態に係るフレーム間補間処理を実行すると、時刻ｔから時刻ｔ＋Ｔb1までについては、フレーム画像情報Ｆb(t)及びフレーム画像情報Ｆb(t+Tb1)と、補間用フレーム画像情報Ｆa(t+t’1)乃至補間用フレーム画像情報Ｆa(t+t’n)と、を用いて当該フレーム間補間処理が実行される結果、図４右に例示するように、フレーム画像情報Ｆb(t)とフレーム画像情報Ｆb(t+Tb1)との間が、補間用フレーム画像情報Ｆa(t+t’1)乃至補間用フレーム画像情報Ｆa(t+t’n)を用いて生成され且つフレーム画像情報Ｆb(t)及びフレーム画像情報Ｆb(t+Tb1)に対応した解像度を有する補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)により埋められる。また同様に、時刻ｔ＋Ｔb1から時刻ｔ＋Ｔb2までについては、フレーム画像情報Ｆb(t+Tb1)及びフレーム画像情報Ｆb(t+Tb2)と、補間用フレーム画像情報Ｆa(t+t’n+1)乃至補間用フレーム画像情報Ｆa(t+t’m)と、を用いて当該フレーム間補間処理が実行される結果、図４右に例示するように、フレーム画像情報Ｆb(t+Tb1)とフレーム画像情報Ｆb(t+Tb2)との間が、補間用フレーム画像情報Ｆa(t+t’n+1)乃至補間用フレーム画像情報Ｆa(t+t’m)を用いて生成され且つフレーム画像情報Ｆb(t+Tb1)及びフレーム画像情報Ｆb(t+Tb2)に対応した解像度を有する補間フレーム画像情報Ｆ^b(t+t’n+1)乃至補間フレーム画像情報Ｆ^b(t+t’m)で埋められる。以上の第１実施形態に係るフレーム間補間処理の結果、出力画像情報Ｆoutにおいては図４右に例示するように、フレーム画像情報Ｆb(t)→補間フレーム画像情報Ｆ^b(t+t’1)乃至補間フレーム画像情報Ｆ^b(t+t’n)→フレーム画像情報Ｆb(t+Tb1)→補間フレーム画像情報Ｆ^b(t+t’n+1)乃至補間フレーム画像情報Ｆ^b(t+t’m)→フレーム画像情報Ｆb(t+Tb2)、と連続したフレーム構成となる。この図４右に例示する出力画像情報Ｆoutの場合、元のフレーム画像情報Ｆbの解像度が１９２０ドット×１０８０ドットであり、元の補間用フレーム画像情報Ｆaのフレームレート３０がfpsであれば、出力画像情報Ｆoutとしての解像度は１９２０ドット×１０８０ドット、そのフレームレートは３０fpsとなる。一方、元のフレーム画像情報Ｆaの解像度が１９２０ドット×１０８０ドットでフレームレートが３０fpsであり、元の補間用フレーム画像情報Ｆaの解像度が４８０ドット×２７０ドットでフレームレートが４８０fpsであれば、出力画像情報Ｆoutとしての解像度は１９２０ドット×１０８０ドット、そのフレームレートは４８０fpsとなる。
【００５４】
以上説明したように、第１実施形態に係るフレーム間補間処理によれば、高解像度且つ低フレームレートのフレーム画像情報Ｆb(t)及びフレーム画像情報Ｆb(t+Tb)と、低解像度且つ高フレームレートの補間用フレーム画像情報Ｆa(t+t’)と、を用いて補間フレーム画像情報Ｆ^b(t+t’)を生成し、これらを用いて出力画像情報Ｆoutを生成する。よって、解像度及びフレームレートがそれぞれ異なる二種類のフレーム画像情報Ｆb及びフレーム画像情報Ｆaを用いることで、高解像度／高フレームレートの出力画像情報Ｆoutを簡易な構成で生成することができる。
【００５５】
また、グローバルモーション推定部４及びグローバルモーション推定部５、動き補償部６及び動き補償部７及びブレンド部８を用いてフレーム間補間処理を行うので、補間フレーム画像情報Ｆ^b(t+t’)を高精度に生成することができる。
【００５６】
更に、フレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)をそれぞれ一時的に記録するストレージ部１を更に備え、当該ストレージ部１からフレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)をそれぞれ取得するので、被写体の撮像に対して事後的に当該被写体に対応した出力画像情報Ｆoutを生成することができる。
【００５７】
更にまた、フレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)をそれぞれ生成する撮像部Ｃを備えるので、一つの画像処理装置Ｓ内において、被写体の撮像と補間フレーム画像情報Ｆ^b(t+t’)の生成とを行うことができる。
【００５８】
また、撮像部Ｃの構成として図２（ａ）に例示する構成を用いる場合は、一つの撮像素子２０を切り換えてフレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)をそれぞれ時分割的に生成するので、撮像部Ｃとしての規模を最小化してフレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)を生成することができる。
【００５９】
更に、撮像部Ｃの構成として図２（ｂ）に例示する構成を用いる場合は、被写体からの光Ｌを分光して撮像素子２１及び撮像素子２２にそれぞれに出射し、撮像素子２１によりフレーム画像情報Ｆb(t)を生成し、撮像素子２２により補間用フレーム画像情報Ｆa(t+t’)を生成するので、フレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)を連続して生成することができる。
【００６０】
更にまた、撮像部Ｃの構成として図２（ｃ）に例示する構成を用いる場合は、撮像部Ｃを構成する撮像素子２１と撮像素子２２とが隣接する位置に別個に設置されているので、同一の被写体に対応するフレーム画像情報Ｆb(t)及び補間用フレーム画像情報Ｆa(t+t’)を確実に生成することができる。
【００６１】
（II）第２実施形態
次に、本発明に係る他の実施形態である第２実施形態について、図５を用いて説明する。なお図５は、第２実施形態に係る画像処理装置の概要構成を示すブロック図である。
【００６２】
以下に説明する第２実施形態に係る画像処理装置では、上述した第１実施形態に係る画像処理装置Ｓの構成に加えて、移動する被写体における前景（移動体自体）と背景（移動しない背景）とを区別した上で、フレーム間補間処理を行う。また、図５に示す第２実施形態に係る画像処理装置において、第１実施形態に係る画像処理装置Ｓと同一の構成については同一の部材番号を付して細部の説明は省略する。
【００６３】
図５に示すように、第２実施形態に係る画像処理装置ＳＳは、第１実施形態に係る画像処理装置Ｓの構成に加えて、縮小部３０と、処理部３１と、前フレームメモリ３２と、を備える。このとき処理部３１が、本発明に係る「前景／背景検出手段」の一例及び「動き量検出手段」の一例にそれぞれ相当する。
【００６４】
この構成において、撮像部Ｃからのフレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaは第１実施形態に係る画像処理装置Ｓと同様にストレージ部１に出力される他、フレーム画像情報Ｆbは縮小部３０に、補間用フレーム画像情報Ｆaは処理部３１に、それぞれ出力される。そして縮小部３０は、補間用フレーム画像情報Ｆaの解像度に合わせてフレーム画像情報Ｆbを縮小し、縮小フレーム画像情報Ｆbpを生成して処理部３１に出力する。
【００６５】
これらにより処理部３１は、補間用フレーム画像情報Ｆa及び縮小フレーム画像情報Ｆbpを用いて、例えば従来と同一の方法により、被写体における前景と背景とを区別して検出し、更に被写体における当該前景の動き量の検出を行う。この場合に処理部３１は、必要な縮小フレーム画像情報Ｆbp等を前フレームメモリ３２に一時的に記憶させつつ、当該前景／背景の検出及び前景の動き量の検出を行う。また処理部３１は、当該前景／背景の検出及び前景の動き量の検出における必要に応じて、制御信号Ｓcを撮像部Ｃに出力して当該撮像部Ｃを制御する。
【００６６】
より具体的に、例えばフレーム画像情報Ｆbにおけるフレーム全体で一括したフレーム間補間処理を行う場合に処理部３１は、制御信号Ｓcを用いて、当該フレームの構成が背景のみ（即ち、前景が殆ど動かない）で背景の動きが単純であるときには、全体における補間用フレーム画像情報Ｆaの割合を増やす（換言すれば、フレーム画像情報Ｆbとして撮像する頻度を減らす）ように撮像部Ｃを制御し、一方当該背景の動きが複雑（即ちその背景が前景とみなせる場合）又は前景が（激しく）動くときには、フレーム画像情報Ｆbとしてのフレーム数（全体におけるフレーム画像情報Ｆbの割合）を増やすように制御する。なお、この場合の後者の制御では、画像処理装置ＳＳのユーザが指定したフレーム数、又は撮像部Ｃの特性上の上限以上のフレーム数とはならないように制御する必要がある。
【００６７】
これに対し、例えば（前景／背景に関係なく）フレーム画像情報Ｆbにおけるブロック（領域）毎に制御を行う（又は当該制御が可能な）場合に制御部３１は、制御信号Ｓcを用いて、当該フレームにおける背景と見做せるブロック（領域）については補間用フレーム画像情報Ｆaとしてのフレーム数（全体における補間用フレーム画像情報Ｆaの割合）を増やすように撮像部Ｃを制御し、一方当該フレームにおける前景と見做せるブロック（領域）についてはフレーム画像情報Ｆbとしてのフレーム数を増やすように制御する。このとき、上記前景と見做せるブロックについての制御では、画像処理装置ＳＳのユーザが指定したフレーム数、又は撮像部Ｃの特性上の上限以上のフレーム数とはならないように制御する必要がある。
【００６８】
これらにより処理部３１は、縮小フレーム画像情報Ｆbp及び補間用フレーム画像情報Ｆaを用いて、上記前景／背景の検出及び前景の動き量の検出を行う。
【００６９】
なお、上記の構成により検出した前景及び背景並びに前景の動き量については、検出信号Ｓdとしてストレージ部１に記録しておき、事後のフレーム間補間処理（より具体的には、グローバルモーション推定部４及びグローバルモーション推定部５におけるグローバルモーション推定法による動き推定処理、又は動き補償部６及び動き補償部７における動き補償処理等）に供させることもできる。
【００７０】
以上説明したように、第２実施形態に係るフレーム間補間処理によれば、第１実施形態に係るフレーム間補間処理による作用効果に加えて、被写体における前景と背景とをそれぞれ区別して検出し、更に前景における動き量を検出し、それらを用いて補間フレーム画像情報Ｆ^b(t+t’)を生成するので、より高精度に補間フレーム画像情報Ｆ^b(t+t’)を生成することができる。
【００７１】
（III）変形形態
次に、本発明に係る変形形態について説明する。なお以下の説明において、第１実施形態に係る画像処理装置Ｓと同一の構成部材については同一の部材番号を付して、細部の説明を省略する。
【００７２】
（１）第１変形形態
先ず第１変形形態として、上記各実施形態に係るグローバルモーション推定部４及びグローバルモーション推定部５それぞれにおける動き推定処理並びに動き補償部６及び動き補償部７それぞれにおける動き補償処理と並行して、
（ａ）上記グローバルモーション推定法に対応したいわゆるローカル動きベクトル法を上記前景のブロックに適用しつつ、フレーム画像情報Ｆbに対して動き補償処理を施したデータ、又は、
（ｂ）補間用フレーム画像情報Ｆaに対していわゆる超解像処理を施したデータ、
のいずれか一方又は双方を第１実施形態又は第２実施形態に係る補償画像情報Ｆmc1及び補償画像情報Ｆmc2と共に用いてブレンド部８における合成処理を実行するように構成してもよい。この場合、上記（ａ）のデータ又は上記（ｂ）のデータのいずれを用いるかについては、上記（ａ）の処理は上記前景（移動体自体）の形状が変形する場合には不適であり、当該前景自体の形状が変形することなく移動する場合にしか適用できない。よって、それ自体の形状が変形しない前景を含む被写体を撮像する場合は上記（ａ）のデータを用い、それ以外の場合は上記（ｂ）のデータを用いる、といった区分が考えられる。一方、上記（ａ）のデータ及び上記（ｂ）のデータの双方を用いることを考慮する場合、例えば、検出された動きベクトルの信頼度に基づき，その信頼度が既定値以上に高い場合（即ち、いわゆる単純移動の場合）は上記（ａ）のデータを用い、それ以外の場合は上記（ｂ）を用いるように構成することもできるし、更には当該信頼度に応じて上記（ａ）のデータと上記（ｂ）のデータとを合成（ブレンド）して用いるように構成してもよい。
【００７３】
（２）第２変形形態
次に第２変形形態として、上記各実施形態では、ＣＣＤ素子又はＣＭＯＳ素子等からなる撮像部Ｃを用いたが、これ以外に、解像度及びフレームレートのそれぞれが相互に異なるフレーム画像情報Ｆb及び補間用フレーム画像情報Ｆaを時分割的に又は同時並行的に生成／出力することができる撮像素子であれば、他の方式の撮像素子を用いることも可能である。
【産業上の利用可能性】
【００７４】
以上それぞれ説明したように、本発明は画像処理装置の分野に利用することが可能であり、特に動画像を高画質化することを目的とする画像処理装置の分野に適用すれば特に顕著な効果が得られる。
【符号の説明】
【００７５】
１    ストレージ部
２、３、３０    縮小部
４、５    グローバルモーション推定部
６、７    動き補償部
８    ブレンド部
９    蓄積部
１０    補間部
２０、２１、２２    撮像素子
２３    切換制御部
３１    処理部
３２    前フレームメモリ
Ｓ、ＳＳ    画像処理装置
Ｃ、Ｃ１、Ｃ２、Ｃ３    撮像部
Ｆa、Ｆa(t+t’1)、Ｆa(t+t’n)、Ｆa(t+t’n+1)、Ｆa(t+t’m)    補間用フレーム画像情報
Ｆb、Ｆb(t)、Ｆb(t+Tb)、Ｆb(t+Tb1)、Ｆb(t+Tb2)    フレーム画像情報
Ｆ^b(t+t’)、Ｆ^b(t+t’1)、Ｆ^b(t+t’n)、Ｆ^b(t+t’n+1)、Ｆ^b(t+t’m)    補間フレーム画像情報
Ｆbp、Ｆbp(t)、Ｆbp(t+Tb)    縮小フレーム画像情報
Ｆe1、Ｆe2    動き推定情報
Ｆmc1、Ｆmc2    補償画像情報
Ｆout    出力画像情報
Ｌ    光
Ｒ、Ｒ１、Ｒ２    光学系
ＨＦ    分光部
Ｓc    制御信号
Ｓd    検出信号
【図１】
2017041820.tif 000003
【図２】
2017041820.tif 000004
【図３】
2017041820.tif 000005
【図５】
2017041820.tif 000006
【図４】
2017041820.tif 000007