(57)【要約】【課題】動画像処理装置において、該装置に入力された動画像情報から、より高精細な動画像コンテンツを得ることができ、かつ、使い勝手の向上を図ることができるようにする。【解決手段】超解像処理構成管理部１３は、超解像処理、判定処理、補間処理をどのような順序で実行するかを決定し、超解像処理部１５、画像フレーム補間判定部１７、画像フレーム補間処理部１９の駆動を管理する。全体的な処理シーケンスは、変更が可能である。画像フレームの補間処理、超解像処理を開始するに際しての先頭のベース画像フレーム、先頭の参照画像フレームを、初期画像フレームとして設定する。画像フレーム補間判定部１７が、対象となるベース画像フレーム、参照画像フレームの間に、補間画像フレームを挿入すべきか否かを判定するに際しての条件を決定する。【選択図】図１
2009267446.tif 000002
【特許請求の範囲】
【請求項１】
入力した動画像情報に超解像処理を施して高解像度化された前記動画像情報を出力する動画像情報処理装置において、
前記動画像情報に含まれる画像の、時間的に隣接する画像フレーム同士の間における変位量を検出する変位量検出部と、
前記変位量検出部により検出された前記画像の変位量が、所定値を超えているかどうか判断する判断部と、
前記判断部が、前記画像の変位量が前記所定値を超えていると判断した場合にのみ、前記時間的に隣接する画像フレームから、前記画像フレーム同士の間に挿入する補間画像フレームを生成する補間画像フレーム生成部と、
を備える動画像情報処理装置。
【請求項２】
請求項１記載の動画像情報処理装置において、
前記変位量検出部が、前記画像を構成する個々の画素の、前記画像フレーム同士の間における変位量を検出する動画像情報処理装置。
【請求項３】
請求項１記載の動画像情報処理装置において、
前記変位量検出部が、前記画像を構成する個々の画素の幾つかを含むブロックの、前記画像フレーム同士の間における変位量を検出する動画像情報処理装置。
【請求項４】
請求項１記載の動画像情報処理装置において、
前記画像フレーム同士の間への、補間画像フレームの挿入の必要性を評価する評価部、を更に備え、
前記評価部が、前記補間画像フレームの挿入が必要であると評価し、且つ、前記判断部が、前記画像の変位量が前記所定値を超えていないと判断した場合には、前記補間画像フレーム生成部が、前記補間画像フレーム生成におけるよりも、演算処理量の少ないアルゴリズムで補間画像フレームを生成するようにした動画像情報処理装置。
【請求項５】
請求項４記載の動画像情報処理装置において、
前記評価部による評価が、単位時間当たりの画像フレーム数を一定にする必要性があるかどうかをチェックすることにより行われる動画像情報処理装置。
【請求項６】
請求項５記載の動画像情報処理装置において、
前記演算処理量の少ないアルゴリズムによる補間画像フレームの生成方法が、補間画像フレームの挿入に係わる前記両画像フレームのうちの一方を利用する方法を含む動画像情報処理装置。
【請求項７】
請求項５記載の動画像情報処理装置において、
前記演算処理量の少ないアルゴリズムによる補間画像フレームの生成方法が、補間画像フレームの挿入に係わる前記両画像フレームの双方、又は少なくとも一方に係わる全部の画素情報と全て同一の画素情報を持つ画像フレームを補間画像フレームとする方法を含む動画像情報処理装置。
【請求項８】
請求項７記載の動画像情報処理装置において、
前記両画像フレームの双方、又は少なくとも一方に係わる全部の画素情報が、輝度値が一定であることを示す画素情報を含む動画像情報処理装置。
【請求項９】
請求項１記載の動画像情報処理装置において、
前記変位量検出部による変位量の検出が、超解像処理が施されることにより高解像度化された後の動画像情報の画像フレームに対して行われる動画像情報処理装置。
【請求項１０】
入力した動画像情報に超解像処理を施して高解像度化された前記動画像情報を出力する動画像情報処理方法において、
前記動画像情報に含まれる画像の、時間的に隣接する画像フレーム同士の間における変位量を検出する第１のステップと、
前記第１のステップにおいて検出された前記画像の変位量が、所定値を超えているかどうか判断する第２のステップと、
前記第２のステップにおいて前記画像の変位量が前記所定値を超えていると判断された場合にのみ、前記時間的に隣接する画像フレームから、前記画像フレーム同士の間に挿入する補間画像フレームを生成する第３のステップと、
を備える動画像情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力した動画像情報に超解像処理を施して高解像度化された前記動画像情報を出力する動画像情報処理方法、及び装置に関する。
【背景技術】
【０００２】
近年、動画像合成の技術分野において、動画像の連続する複数のフレーム（画像フレームのこと。以下同じ）をサンプリングし、高精細な合成フレームを作成することを目的とした提案がなされている。
【０００３】
該提案では、動画像データ、及び合成フレームの画像特性に基づいてサンプリングした、基準フレームを含む複数枚の画像フレームの内、基準フレームに近い画像フレームから順に、該基準フレームとの対応関係を求める。そして、上記フレームと基準フレームとの相関が、所定の閾値より高いフレームを用いて、合成フレームが作成されるようになっている（例えば特許文献１参照）。
【０００４】
【特許文献１】特開2004-120626号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上述した特許文献１に開示されている技術では、ユーザが、より高精細な高解像度の画像フレームの出力を所望する場合には、該ユーザが、上記装置の画像表示部に表示されるユーザインタフェースを通じて、上記装置に入力される画像情報に含まれる複数の画像フレーム中から、超解像処理の対象となる画像フレームを選択するという作業が必要不可欠であった。
【０００６】
上記超解像処理の対象となる画像情報が、例えば、放送された画像情報の録画情報に含まれる動画像コンテンツ等のユーザが所持する画像コンテンツである場合には、該画像コンテンツから、より高精細な高解像度の画像フレームを出力する際に、上記作業に加えて、更に、該動画コンテンツに対する事前編集処理のような作業が要求されることになる。その為、高解像度の動画像コンテンツを、極簡単な操作で視聴することを希望するユーザにとっては、上記操作が負担になるという問題がある。
【０００７】
しかも、動画像コンテンツ（動画像情報）に含まれる複数の画像フレーム同士の間における同一画像の動きを示す情報（例えば、動きベクトルに係わる情報）が一定であるものは少ないと想定されるので、上記複数の画像フレーム中の時間的に隣接する画像フレーム同士の間における同一画像の動きが大きい場合には、より高精細な高解像の画像フレームを得るための画像フレームが、入力された画像情報（動画像コンテンツ）中には、存在しないと思料される。
【０００８】
従って本発明の目的は、動画像処理装置において、該装置に入力された動画像情報から、より高精細な動画像コンテンツを得ることができ、かつ、使い勝手の向上を図ることができるようにすることにある。
【課題を解決するための手段】
【０００９】
本発明の第１の観点に従う動画像情報処理装置は、入力した動画像情報に超解像処理を施して高解像度化された上記動画像情報を出力するもので、上記動画像情報に含まれる画像の、時間的に隣接する画像フレーム同士の間における変位量を検出する変位量検出部と、上記変位量検出部により検出された上記画像の変位量が、所定値を超えているかどうか判断する判断部と、上記判断部が、上記画像の変位量が上記所定値を超えていると判断した場合にのみ、上記時間的に隣接する画像フレームから、上記画像フレーム同士の間に挿入する補間画像フレームを生成する補間画像フレーム生成部と、を備える。
【００１０】
本発明の第１の観点に係る好適な実施形態では、上記変位量検出部が、上記画像を構成する個々の画素の、上記画像フレーム同士の間における変位量を検出する。
【００１１】
上記とは別の実施形態では、上記変位量検出部が、上記画像を構成する個々の画素の幾つかを含むブロックの、上記画像フレーム同士の間における変位量を検出する。
【００１２】
また、上記とは別の実施形態では、上記画像フレーム同士の間への、補間画像フレームの挿入の必要性を評価する評価部、を更に備え、上記評価部が、上記補間画像フレームの挿入が必要であると評価し、且つ、上記判断部が、上記画像の変位量が上記所定値を超えていないと判断した場合には、上記補間画像フレーム生成部が、上記補間画像フレーム生成におけるよりも、演算処理量の少ないアルゴリズムで補間画像フレームを生成するようにしている。
【００１３】
また、上記とは別の実施形態では、上記評価部による評価が、単位時間当たりの画像フレーム数を一定にする必要性があるかどうかをチェックすることにより行われる。
【００１４】
また、上記とは別の実施形態では、上記演算処理量の少ないアルゴリズムによる補間画像フレームの生成方法が、補間画像フレームの挿入に係わる上記両画像フレームのうちの一方を利用する方法を含む。
【００１５】
また、上記とは別の実施形態では、上記演算処理量の少ないアルゴリズムによる補間画像フレームの生成方法が、補間画像フレームの挿入に係わる上記両画像フレームの双方、又は少なくとも一方に係わる全部の画素情報と全て同一の画素情報を持つ画像フレームを補間画像フレームとする方法を含む。
【００１６】
また、上記とは別の実施形態では、上記両画像フレームの双方、又は少なくとも一方に係わる全部の画素情報が、輝度値が一定であることを示す画素情報を含む。
【００１７】
更に、上記とは別の実施形態では、上記変位量検出部による変位量の検出が、超解像処理が施されることにより高解像度化された後の動画像情報の画像フレームに対して行われる。
【００１８】
本発明の第２の観点に従う動画像情報処理方法は、入力した動画像情報に超解像処理を施して高解像度化された上記動画像情報を出力するもので、上記動画像情報に含まれる画像の、時間的に隣接する画像フレーム同士の間における変位量を検出する第１のステップと、上記第１のステップにおいて検出された上記画像の変位量が、所定値を超えているかどうか判断する第２のステップと、上記第２のステップにおいて上記画像の変位量が上記所定値を超えていると判断された場合にのみ、上記時間的に隣接する画像フレームから、上記画像フレーム同士の間に挿入する補間画像フレームを生成する第３のステップと、を備える。
【発明の効果】
【００１９】
本発明によれば、動画像処理装置において、該装置に入力された動画像情報から、より高精細な動画像コンテンツを得ることができ、かつ、使い勝手の向上を図ることができるようになる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を、図面により詳細に説明する。
【００２１】
図１は、本発明の第１の実施形態に係る、動画像処理システムの全体構成を示すブロック図である。
【００２２】
上記動画像処理システムは、図１に示すように、動画像処理装置１と、動画像取得部３と、動画像格納部５と、動画像提示部７と、を備える。動画像処理装置１は、画像フレーム入力部９と、画像フレーム一時格納部１１と、超解像処理構成管理部１３と、超解像処理部１５と、画像フレーム補間判定部１７と、画像フレーム補間処理部１９と、画像フレーム出力部２１と、を内蔵する。
【００２３】
動画像取得部３は、例えば、所定の通信ネットワーク（図示しない）を通じて放送局（図示しない）から送信される動画像情報（動画像コンテンツ）や、録画装置（図示しない）において録画された動画像情報や、動画像格納部５から出力される高解像度化された動画像情報等を取得して、該動画像情報を、画像フレーム入力部９に出力する。
【００２４】
動画像提示部７は、動画像処理装置１から出力される、動画像処理装置１において画像フレーム補間処理、及び超解像処理が施されることにより高解像度化された後の動画像情報（動画像コンテンツ）を、可視画像として表示する。
【００２５】
動画像格納部５は、例えば動画像処理装置１において、画像フレーム補間処理、及び超解像処理が施されることにより高解像度化された後の動画像情報（動画像コンテンツ）が動画像処理装置１から出力される毎に、該高解像度化された後の動画像情報を格納する。該動画像情報は、例えば、動画像取得部３からの動画像情報の読み込み要求に起因して（或いは適宜のタイミングで）、動画像格納部５より、動画像取得部３に出力される。
【００２６】
動画像処理装置１において、画像フレーム入力部９は、動画像取得部３から出力される上記動画像情報を読み込み、該動画像情報から、該動画像情報を構成する画像フレームを取得する。該画像フレームは、画像フレーム入力部９から、画像フレーム一時格納部１１、及び超解像処理構成管理部１３に夫々出力される。
【００２７】
画像フレーム一時格納部１１は、画像フレーム入力部９から出力される、動画像取得部３が取得した動画像情報を構成する複数の画像フレームを一時的に格納する。画像フレーム一時格納部１１は、超解像処理構成管理部１３からの画像フレーム読み出し要求に応じて、一時的に格納している画像フレームを超解像処理構成管理部１３に出力すると共に、超解像処理構成管理部１３から、後述する超解像処理のために必要なベース画像フレーム、及び参照画像フレームとして出力される画像フレームについても、一時的に格納する。これらの画像フレーム（ベース画像フレーム、及び参照画像フレーム）についても、超解像処理構成管理部１３からの読み出し要求に応じて画像フレーム一時格納部１１から超解像処理構成管理部１３に出力される。なお、上記ベース画像フレーム、及び参照画像フレームとして画像フレーム一時格納部１１に格納されている画像フレームは、夫々新たにベース画像フレーム、及び参照画像フレームとして設定された画像フレームにより更新される。
【００２８】
超解像処理部１５は、上記ベース画像フレーム、及び参照画像フレームとして、画像フレーム一時格納部１１に一時的に格納されている画像フレームを、超解像処理構成管理部１３を通じて入力する。そして、該ベース画像フレーム、及び参照画像フレームを利用して超解像処理を実行することにより、高解像度化された（拡大された）画像フレームを生成する。該高解像度化された画像フレームは、超解像処理構成管理部１３に出力される。なお、超解像処理部１５において採用される超解像処理のアルゴリズムは、特定のものに限定されない。
【００２９】
画像フレーム補間判定部１７は、画像フレーム一時格納部１１に格納されている上記ベース画像フレーム、及び参照画像フレームを超解像処理構成管理部１３を通じて読み込む。そして、上記ベース画像フレームと上記参照画像フレームとを利用して、上記ベース画像フレームと上記参照画像フレームとの間に、補間画像フレームを挿入すべきかどうか判定するための処理を実行する。画像フレーム補間判定部１７による上記判定の基準（条件）は、以下に説明するように、超解像処理構成管理部１３により決定される。上記判定結果は、画像フレーム補間判定部１７から画像フレーム補間処理部１９に出力される。
【００３０】
画像フレーム補間処理部１９は、画像フレーム補間判定部１７において、補間画像フレームを挿入すべきであると判定されたベース画像フレーム、及び参照画像フレームを利用して、上記ベース画像フレームと、上記参照画像フレームとの間に挿入すべき補間画像フレームを生成する。上記生成された補間画像フレームは、画像フレーム補間処理部１９から、例えば超解像処理部１５に出力される。なお、画像フレーム補間処理部１９において採用される画像フレーム補間処理のアルゴリズムは、特定のものに限定されない。
【００３１】
超解像処理構成管理部１３は、超解像処理部１５による超解像処理、画像フレーム補間判定部１７による判定処理、及び画像フレーム補間処理部１９による補間処理を、どのような順序で実行するかを決定すると共に、決定した順序に従って、超解像処理部１５、画像フレーム補間判定部１７、及び画像フレーム補間処理部１９の駆動を管理する。即ち、超解像処理構成管理部１３は、画像フレームの補間判定、画像フレームの補間処理、及び超解像処理に係わる全体的な処理シーケンスを、その管理下に置く。なお、該全体的な処理シーケンスは、超解像処理構成管理部１３により変更が可能である。
【００３２】
超解像処理構成管理部１３は、画像フレームの補間処理、及び超解像処理を開始するに際しての先頭のベース画像フレーム、及び先頭の参照画像フレームを、初期画像フレームとして設定する。そして、（画像フレーム入力部９を通じて）入力した動画像情報を構成する複数の画像フレーム中から、初期画像フレームとして設定されたベース画像フレーム、及び参照画像フレームを入力すると共に、それらの画像フレームを、夫々初期画像フレームとしてのベース画像フレーム、及び初期画像フレームとしての参照画像フレームとして、画像フレーム一時格納部１１に格納する。超解像処理構成管理部１３は、画像フレーム補間判定部１７が、対象となるベース画像フレーム、及び参照画像フレームの間に、補間画像フレームを挿入すべきか否かを判定するに際しての基準（条件）を決定すると共に、決定した基準（条件）を、画像フレーム補間判定部１７に通知する。超解像処理構成管理部１３は、画像フレーム補間処理、及び超解像処理が施されることにより動画像情報を高解像度化すると、該高解像度化された動画像情報を、画像フレーム出力部２１に出力する。
【００３３】
画像フレーム出力部２１は、上記高解像度化された動画像情報が、超解像処理構成管理部１３から出力されると、上記動画像情報を一時的に保持する。そして、該動画像情報を、適宜のタイミングで動画像提示部７、及び動画像格納部５に出力する。
【００３４】
図２は、図１に記載の動画像処理装置１において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示す説明図である。
【００３５】
図２において、画像フレーム補間処理部３１は、画像フレーム入力部９から連続的に入力される個々の画像フレームを参照して、各々の画像フレーム同士の間に挿入する補間画像フレームを生成するための処理動作を実行するもので、図１に記載の画像フレーム補間判定部１７の機能と、画像フレーム補間処理部１９の機能とを合わせ持つ。
【００３６】
なお、図２に記載の超解像処理部は、図１に記載の超解像処理部１５と同一であるので同一符号を付す。
【００３７】
図２において、時間軸（t）には、図１で示した動画像処理装置１に入力される動画像情報３１を構成する複数の画像フレームの入力タイミング（入力時刻）がプロットされる。
【００３８】
時間軸（t）上において、入力時刻t2が最も早い画像フレームの入力時刻を示しており、該入力時刻t2では、画像フレーム３５が入力される。
【００３９】
次に、上記入力時刻t2に続く入力時刻t1では、次の画像フレーム３７が入力される。更に、上記入力時刻t1に続く入力時刻t0では、次の画像フレーム３９が入力される。
【００４０】
なお、動画像情報３３は、実際には、多数の画像フレームを含むものであるが、図２においては、図示と説明の都合上、画像フレーム３５、３７、３９の３つの画像フレームのみを記載することとした（以下の図４についても同様である）。
【００４１】
上記各画像フレーム（３５、３７、３９）は、画像フレーム３５、３７、３９の順に、画像フレーム補間処理部３１によって読み込まれる。既述のように、画像フレーム補間処理部３１は、入力した個々の画像フレームを参照して、各々の画像フレーム同士の間に挿入する補間画像フレームを生成するものであるが、図２に示した例では、画像フレーム補間処理部３１が生成する補間画像フレームは、上記画像フレーム３７、３９の間に挿入される、補間画像フレームのみに限られる。
【００４２】
なお、補間画像フレーム生成処理部３１における処理動作の詳細については、例えば、本願出願人の特許出願に係る、特開2007-316293号公報を参照されたい。
【００４３】
補間画像フレーム生成処理部３１は、上記補間画像フレーム生成処理を行った結果として、動画像情報４１を超解像処理部１５に出力する。該動画像情報４１には、既述の画像フレーム３５、３７、及び画像フレーム３９に加えて、補間画像フレーム生成処理部３１により生成された補間画像フレーム４３が含まれている。
【００４４】
超解像処理部１５は、補間画像フレーム生成処理部３１から出力される上記動画像情報４１を読み込み、該動画像情報４１に対し超解像処理を施すことによって得られた動画像情報４５を出力する。超解像処理部１５から出力される上記動画像情報４５には、何れも超解像処理が施された後の画像フレーム４７、４９、５１、５３が含まれる。上記画像フレーム４７乃至５３は、いずれも高解像度化（拡大）された画像フレームである。
【００４５】
図３は、図１に記載の動画像処理装置１において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示すフローチャートである。
【００４６】
図３において、まず、超解像処理構成管理部１３が、一連の処理動作を開始するに際して、動画像情報を構成する先頭のベース画像フレーム、及び参照画像フレームを、初期画像フレームとして設定する（ステップS６１）。次に、超解像処理構成管理部１３は、ステップS６１において初期画像フレームとして設定したベース画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する（ステップS６２）。ステップS６２で示した処理動作が終了すると、超解像処理構成管理部１３は、ステップS６１において初期画像フレームとして設定した参照画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する（ステップS６３）。
【００４７】
次に、ステップS６１で入力したベース画像フレーム、及びステップS６２で入力した参照画像フレームに基づき、画像フレーム補間判定部１７が、それら画像フレーム同士の間における同一画像の動きの大きさ（即ち、動きベクトル）を算出する。この動きの大きさ（動きベクトル）の算出は、例えば、ベース画像フレーム中の各々のピクセルと、該各々のピクセルに夫々対応する参照画像フレーム中の各々のピクセルとの間の変位量、即ち、動きベクトルを算出することにより、行っても良いし、ベース画像フレーム中の一定の大きさの画像ブロックと、該ブロックに対応する参照画像フレーム中の画像ブロックとの間の動きベクトルを算出することにより、行っても良い（ステップS６４）。
【００４８】
次に、画像フレーム補間判定部１７は、ステップS６４で算出した動きの大きさ（動きベクトル）と、予め設定されている動きの大きさに係わる基準値とを比較する処理を行う。この処理は、例えば、ステップS６４で算出した動きの大きさ（動きベクトル）の平均値と、上記基準値との間における単純な差分を求めることにより、行ってもよいし、ステップS６４で算出した動きの大きさ（動きベクトル）の最大値と、上記基準値とを比較することにより、行ってもよい（ステップS６５）。該比較の結果、算出された動きの大きさ（動きベクトル）が、上記基準値よりも大きいと判断されれば（ステップS６５でYES）、画像フレーム補間判定部１７は、（時間的に隣接する）画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間における同一画像の動き量が大きいと認識し、画像フレームの補間処理（時間的に隣接する画像フレーム同士の間に、新たに生成した画像フレームを挿入するための処理）が必要であると判断する。そして、ステップS６６で示す処理動作に移行する。一方、算出された動きの大きさ（動きベクトル）が、上記基準値よりも小さいと判断されれば（ステップS６５でNO）、画像フレーム補間判定部１７は、（時間的に隣接する）画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間における同一画像の動き量が小さいと認識し、上述した画像フレームの補間処理が不要であると判断する。そして、ステップS６８で示す処理動作に移行する。
【００４９】
上記のように、画像フレーム補間判定部１７が、画像フレームの補間処理が必要であると判断すると、画像フレーム補間処理部１９は、該判断の対象となったベース画像フレーム、及び参照画像フレーム中の同一画像が、各々の画像フレームにおける該画像の位置に対し、それらの中間の位置に位置付けられるような画像フレームを補間画像フレームとして生成する（ステップS６６）。そして、超解像処理構成管理部１３が、該生成された補間画像フレームを、新たな参照画像フレームとして設定すると共に、該新たな参照画像フレームで、従前の参照画像フレームを更新する（ステップS６７）。次に、超解像処理部１５が、ステップS６７で設定した新たな参照画像フレームと、ベース画像フレームとを利用して、超解像処理を実行することにより、高解像度の（拡大された）画像フレーム（即ち、超解像処理が施された後の画像フレーム）を生成する（ステップS６８）。該高解像度の画像フレームは、超解像処理部１５から超解像処理構成管理部１３、及び画像フレーム出力部２１を通じて動画像提示部７と、動画像格納部５とに夫々出力される（ステップS６９）。
【００５０】
次に、超解像処理構成管理部１３が、上述した新たな参照画像フレームを、新たなベース画像フレームとして設定する。該新たなベース画像フレームは、更なる新たな参照画像フレームが設定されると、該更なる新たな参照画像フレームにより更新されることになる（ステップS７０）。次に、ステップS７１で示す処理動作に移行する。ステップS６５で、画像フレーム補間判定部１７により画像フレームの補間処理が不要であると判断された場合には、超解像処理構成管理部１３は、ステップS６３において動画像取得部３が取得した動画像情報中から、次に動画像提示部７を通じて表示出力すべき画像フレームを、画像フレーム入力部９を通じて取得する。そして、該取得した画像フレームを、新たな参照画像フレームとして設定する（ステップS７１）。次に、超解像処理構成管理部１３は、ステップS６３において動画像取得部３が取得した動画像情報中から画像フレーム入力部９を通じて入力した画像フレームが、上記動画像情報中の最終画像フレームかどうかチェックする。換言すれば、上記動画像情報中の最終画像フレームについて、上述した一連の処理が完了したかどうかをチェックすることになる（ステップS７２）。該チェックの結果、最終画像フレームであると判断すれば（ステップS７２でYES）、図３で示した超解像処理構成管理部１３等による一連の処理動作は終了する。一方、最終画像フレームでないと判断した場合には（ステップS７２でNO）、ステップS６２で示した処理動作に復帰し、ステップS７２で最終画像フレームであると判断されるまでの間、ステップS６２乃至ステップS７１で夫々示した処理動作が繰り返されることになる。
【００５１】
以上説明したように、本発明の第１の実施形態に係る動画像処理装置１によれば、動画像取得部３を通じて取得した動画像情報に含まれる複数の画像フレームを、画像フレーム入力部９を通じて入力する。次に、画像フレーム補間判定部１７により算出された画像フレーム同士の間における同一画像の動きの大きさが所定の基準値を超えている場合には、画像フレーム補間処理部１９により生成した補間画像フレームを、時間的に隣接する画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間に挿入する。そして、超解像処理部１５において、上記画像フレームと上記補間画像フレームとに基づき、超解像処理が施された後の画像フレーム（即ち、高解像度化された後の画像フレーム）を生成すると共に、該生成した高解像度の画像フレームを、画像フレーム出力部２１を通じて動画像提示部７へ出力するようにしている。
【００５２】
換言すれば、本発明の第1の実施形態では、動画像情報中の、時間的に隣接する画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間における同一画像の動きの大きさが所定の基準値を超えている場合には、補間画像フレームを生成すると共に、該生成した補間画像フレームと、上記動画像情報中の画像フレームとから超解像処理を施すことにより、高解像度の画像フレームを生成することとしたので、超解像処理の対象となる画像フレーム同士の間における同一画像の動きの大きさを、相対的に小さくする（或いは、所定値以下にする）ことができる。そのため、必要最低限の画像フレーム補間処理を行うだけで、動画像情報中の超解像処理が施された高解像度の画像フレームを、画質を損なわずに、且つ、滑らかな状態で再生することができる。
【００５３】
ところで、上述した本発明の第１の実施形態では、例えば、図２で示した画像フレーム３５、３７のような、画像フレーム同士の間における同一画像の動きの大きさが所定の基準値以下である場合には、補間画像フレーム生成処理部３１は、画像フレーム３５、３７間に挿入する補間画像フレームを生成しない。そのため、補間画像フレーム生成処理部３１から出力される動画像情報４１では、画像フレーム３５、３７間には、画像フレーム３７、３９間と相違して、補間画像フレームが挿入されていない。しかし、補間画像フレーム生成処理部３１から出力される動画像情報を構成する画像フレームの（単位時間当たりの）数を一定数にする等の目的で、既存の画像フレーム間に画像フレームを挿入したい場合も想定し得る。このような場合には、既述のような画像フレーム同士の間における同一画像の動きの大きさが所定の基準値を超えているときに採用する補間画像フレーム生成処理のアルゴリズムに加えて、該アルゴリズムよりも演算処理量の少ない簡易な補間画像フレーム生成処理のアルゴリズムをも採用することになる。
【００５４】
例えば、図３に記載のフローチャートにおいて、ステップS６６で示す処理動作を実行するに際し、図２に記載の例では生成されていない補間画像フレームを、それよりも時間的に前に位置付けられる画像フレームである画像フレーム３５や、それよりも時間的に後に位置付けられる画像フレームである画像フレーム３７等で代用することも想到され得る。また、輝度値が一定である等の、画像フレーム上のピクセルに係わる情報が全て同一の画像フレームを、補間画像フレームとして採用する手法も想到され得る。更には、図２に記載の超解像処理部１５では、入力した動画像情報４１が画像フレーム３５、３７間に補間画像フレームが挿入されていないため、該超解像処理部１５から出力される動画像情報（動画像コンテンツ）４５においても、上記（動画像情報４１の）補間画像フレームに対応する高解像度の画像フレームが生成されていないが、この場合にも、上述した簡易な補間画像フレーム生成処理のアルゴリズムを介して生成した補間画像フレームを利用して、その高解像度の画像フレームを取得することが可能である。
【００５５】
上記のような手法を採用すれば、通常の補間画像フレーム生成処理における演算処理量よりも少ない処理量で生成した補間画像フレームを、動画像情報（動画像コンテンツ）中の補間画像フレームの挿入が不要とされた箇所に挿入することにより、該動画像情報における単位時間当たりの画像フレーム数を一定数に設定することができ、それにより、動画像情報を滑らかな状態で再生することができる。
【００５６】
図４は、図１に記載の動画像処理装置１において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示す説明図である。
【００５７】
図４に示す処理手順は、動画像処理装置１に入力された動画像情報３１に対し、まず超解像処理部１５が超解像処理を行い、次いで補間画像フレーム生成処理部３１が補間画像フレームの生成処理を行うようにした点、換言すれば、補間画像フレーム生成処理に先んじて超解像処理を行うようにした点で、図２に示す処理手順と相違する。その他の点については、図２で示したものと同一であるので、図４において、図２で示した物と同一物には、同一符号を付してそれらの詳細な説明を省略する。
【００５８】
図４では、動画像処理装置１に入力される動画像情報３１の画像フレーム３５が入力時刻（入力タイミング）t2で超画像処理部１５に入力されて、超解像処理が施されることにより、高解像度化（拡大）された動画像情報８１を構成する、高解像度の画像フレーム８３に生成される。また、上記動画像情報３１の画像フレーム３７が入力時刻（入力タイミング）t１で超画像処理部１５に入力されて、超解像処理が施されることにより、高解像度化（拡大）された上記動画像情報８１を構成する、高解像度の画像フレーム８５に生成される。更に、上記動画像情報３１の画像フレーム３９が入力時刻（入力タイミング）t０で超画像処理部１５に入力されて、超解像処理が施されることにより、高解像度化（拡大）された上記動画像情報８１を構成する、高解像度の画像フレーム８７に生成される。
【００５９】
そして、上記高解像度化（拡大）された動画像情報８１が、超画像処理部１５から補間画像フレーム生成処理部３１に出力されると、補間画像フレーム生成処理部３１において、該動画像情報８１に対し、既述のような補間画像フレームの生成処理が施される。それにより、高解像度化された画像フレーム８５、８７に基づいて生成処理された補間画像フレーム９１が上記高解像度化された画像フレーム８５、８７間に挿入された動画像情報、即ち、高解像度化（拡大）された動画像情報８９が、補間画像フレーム生成処理部３１から出力されることになる。
【００６０】
図５は、図１に記載の動画像処理装置１において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示すフローチャートである。
【００６１】
図５において、まず、超解像処理構成管理部１３が、一連の処理動作を開始するに際して、動画像情報を構成する先頭のベース画像フレーム、及び参照画像フレームを、初期画像フレームとして設定する。該処理動作は、図３におけるステップS６１で示した処理動作に対応している（ステップS１１１）。次に、超解像処理構成管理部１３は、ステップS１１１において初期画像フレームとして設定したベース画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する。該処理動作は、図３におけるステップS６２で示した処理動作に対応している（ステップS１１２）。次に、ステップS１１２で示した処理動作が終了すると、超解像処理構成管理部１３は、ステップS１１１において初期画像フレームとして設定した参照画像フレームを、画像フレームデータ入力部９を介して動画像取得部３が取得した動画像情報から入力する。該処理動作は、図３におけるステップS６３で示した処理動作に対応している（ステップS１１３）。
【００６２】
次に、超解像処理部１５が、ステップS１１２で設定したベース画像フレームと、ステップS１１３で設定した参照画像フレームと、を利用して、超解像処理を実行することにより、高解像度の（拡大された）画像フレーム（即ち、超解像処理が施された後の画像フレーム）を生成する。該処理動作は、図３におけるステップS６８で示した処理動作に対応している（ステップS１１４）。次に、画像フレーム補間判定部１７が、高解像度化処理が施された後のベース画像フレーム、及び高解像度化処理が施された後の参照画像フレーム同士の間における同一画像の動きの大きさ（即ち、動きベクトル）を算出する。該処理動作は、図３におけるステップS６４で示した処理動作に対応している（ステップS１１５）。次に、画像フレーム補間判定部１７が、ステップS１１５において算出した動きの大きさ（即ち、動きベクトル））と、予め設定されている動きの大きさ（動きベクトル）に係わる基準値とを比較する処理を行う。該処理動作は、図３におけるステップS６５で示した処理動作に対応している（ステップS１１６）。
【００６３】
該比較の結果、算出された動きの大きさ（動きベクトル）が、上記基準値よりも大きいと判断されれば（ステップS１１６でYES）、画像フレーム補間処理部１９が、（時間的に隣接する）画像フレーム（例えば、ベース画像フレームと参照画像フレ−ム。以下同じ）同士の間における同一画像の動き量が大きいと認識し、既述のような画像フレームの補間処理が必要であると判断する。そして、ステップS１１７で示す処理動作に移行する。一方、算出された動きの大きさ（動きベクトル）が、上記基準値よりも小さいと判断されれば（ステップS１１６でNO）、画像フレーム補間処理部１９は、（時間的に隣接する）画像フレーム同士の間における同一画像の動き量が小さいと認識し、上述した画像フレームの補間処理が不要であると判断する。そして、ステップS１１９で示す処理動作に移行する。
【００６４】
上記のように、画像フレームの補間処理が必要であると判断すると、画像フレーム補間処理部１９が、該判断の対象となった（超解像処理が施された後の）ベース画像フレーム、及び（超解像処理が施された後の）参照画像フレーム中の同一画像が、各々の画像フレームにおける該画像の位置に対し、それらの中間の位置に位置付けられるような画像フレームを補間画像フレームとして生成する。該処理動作は、図３におけるステップS６６で示した処理動作に対応している（ステップS１１７）。ステップS１１７において生成された上記補間画像フレームは、画像フレーム補間処理部１９から超解像処理構成管理部１３、及び画像フレーム出力部２１を通じて動画像提示部７と動画像格納部５とに夫々出力される（ステップS１１８）。次に、ステップS１１４において生成された上記補間画像フレームが、画像フレーム補間処理部１９から超解像処理構成管理部１３、及び画像フレーム出力部２１を通じて動画像提示部７と動画像格納部５とに夫々出力される。該処理動作は、図３におけるステップS６９で示した処理動作に対応している（ステップS１１９）。
【００６５】
次に、超解像処理構成管理部１３が、ステップS１１４において超解像処理が施された後の参照画像フレームを、新たな参照画像フレームとして設定すると共に、該新たな参照画像フレームで、従前のベース画像フレームを更新する。該処理動作は、図３におけるステップS７０で示した処理動作に対応している（ステップS１２０）。該処理動作が終了すると、超解像処理構成管理部１３は、ステップS１１３において動画像取得部３が取得した動画像情報中から、次に動画像提示部７を通じて表示出力すべき画像フレームを、画像フレーム入力部９を通じて取得する。そして、該取得した画像フレームを、新たな参照画像フレームとして設定する。該処理動作は、図３におけるステップS７１で示した処理動作に対応している（ステップS１２１）。
【００６６】
次に、超解像処理構成管理部１３は、ステップS６３において動画像取得部３が取得した動画像情報中から画像フレーム入力部９を通じて入力した画像フレームが、上記動画像情報中の最終画像フレームかどうかチェックする（ステップS１２２）。該チェックの結果、最終画像フレームであると判断すれば（ステップS１２２でYES）、図３で示した超解像処理構成管理部１３による一連の処理動作は終了する。一方、最終画像フレームでないと判断した場合には（ステップS１２２でNO）、ステップS１１２で示した処理動作に復帰し、ステップS１２２で最終画像フレームであると判断されるまでの間、ステップS１１２乃至ステップS１２１で夫々示した処理動作が繰り返されることになる。該処理動作は、図３におけるステップS７２で示した処理動作に対応している。
【００６７】
上述した図５に記載の処理手順によれば、動画像取得部３、及び画像フレーム入力部９を通じて取得した動画像情報に含まれる複数の画像フレームに対し、超解像処理部１５が超解像処理を施すことにより上記複数の画像フレームを高解像度の画像フレームに変換すると共に、該変換後の高解像度の画像フレーム同士の間における同一画像の動きの大きさが所定の基準値を超えている場合には、画像フレーム補間処理部１９において生成された高解像度の画像フレームを、時間的に隣接する上記高解像度の画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間に挿入することとした。即ち、図５に記載の処理手順では、補間画像フレームの生成処理よりも前に超解像処理を行うため、図３に記載の処理手順と比較して、超解像処理の対象となる画像フレームの数が全体的に少なくなるので、超解像処理に際しての演算処理量を削減することができる。
【００６８】
図６は、本発明の第２の実施形態に係る、動画像処理システムの全体構成を示すブロック図である。
【００６９】
本実施形態に係る動画像処理システムは、図６に記載の動画像処理装置１３１が、図１に記載の動画像処理装置１が備える構成に加えて、共通動き検出処理部１３３を新たに備える点と、図１に記載の動画像処理装置１が備える超解像処理部１５、画像フレーム補間判定部１７、及び画像フレーム補間処理部１９に替えて、超解像基本処理部１３５、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９を動画像処理装置１３１が備える点において、図１に記載の動画像処理装置１と相違する。その他の構成については、図１に記載の構成と同一であるので、図６において、図１に記載の物と同一物には、同一符号を付してそれらの詳細な説明を省略する。
【００７０】
図１に記載の動画像処理装置１では、超解像処理部１５、画像フレーム補間判定部１７、画像フレーム補間処理部１９が、夫々、時間的に隣接する画像フレーム（例えば、ベース画像フレームと参照画像フレーム）同士の間におけるピクセル（画素）、又は（画像フレーム中の）ブロック毎の動き（ベクトル）情報の算出や、該算出結果を利用した処理を実行する。上記各々の処理中には、動き（ベクトルの）検出処理が含まれている。そこで、本実施形態では、該動き（ベクトルの）検出処理を、一括して実行するために、共通動き検出処理部１３３を設けることとした。共通動き検出処理部１３３による上記処理以外の処理動作については、夫々、超解像基本処理部１３５、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９において実行することとなる。
【００７１】
図６において、超解像処理構成管理部１３は、例えば、図２、及び図３で示した処理手順、即ち、まず画像フレームの補間処理を実行した後に超解像処理を実行する手順か、それとも図４、及び図５で示した処理手順、即ち、まず超解像処理を実行した後に画像フレームの補間処理を実行する手順の何れか一方を選択する。超解像処理構成管理部１３が、前者を選択した場合には、図３のステップS６４において、画像フレーム補間基本判定部１３７、及び共通動き検出処理部１３３が、協働して上述した動き判定処理を実行し、共通動き検出処理部１３３が、該実行結果を保持する。次に、図３のステップS６６において、画像フレーム補間基本処理部１３９が、共通動き検出処理部１３３による（画像の）動き検出処理の結果を利用して、超解像処理を実行する。
【００７２】
上記何れかの処理手順の選択において、超解像処理構成管理部１３が、後者を選択した場合には、超解像基本処理部が、図５のステップS１１４において、超解像基本処理部１３５、及び共通動き検出処理部１３３が、協働して上述した超解像処理を実行し、共通動き検出処理部１３３が、該実行結果を保持する。次に、図５のステップS１１７において、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９が、共通動き検出処理部１３３が保持している超解像処理の実行結果を利用して、補間画像フレームの生成処理を実行する。
【００７３】
上記のように、超解像処理、及び画像フレーム補間処理に共通する動き検出に係わる処理を、共通動き検出処理部１３３において一括して実行すると共に、共通動き検出処理部１３３における処理結果を、超解像基本処理部１３５、画像フレーム補間基本判定部１３７、及び画像フレーム補間基本処理部１３９で共有することとすれば、動き（ベクトル）検出処理に係わる演算処理量の削減を図ることが可能になる。
【００７４】
上述した各々の実施形態によれば、ユーザが、低解像度の状態で配信される動画像情報（動画像コンテンツ）を、滑らかで高精細な表示態様での視聴を欲する場合に、時間的に隣接する画像フレーム同士の間における同一画像の動きに係わる情報（動きベクトル情報）に基づいて、画像フレーム補間処理と超解像処理とを併用することにより、単純な処理の組合せによって演算処理量が増大するのを抑制することが可能となる。そして、これにより、効率の良い超解像処理と使い勝手の向上とを図ることが可能になる。
【００７５】
なお、本発明は、例えば、動画像情報の蓄積が可能な装置や、超解像処理が施された後の動画像情報の表示が可能な装置である、TV、PC、DVD/HDDレコーダ等のレコーダ、STB等に適用が可能である。
【００７６】
以上、本発明の好適な実施形態を説明したが、これらは本発明の説明のための例示であって、本発明の範囲をこれらの実施形態にのみ限定する趣旨ではない。本発明は、他の種々の形態でも実施することが可能である。
【図面の簡単な説明】
【００７７】
【図１】本発明の第１の実施形態に係る、動画像処理システムの全体構成を示すブロック図。
【図２】図１に記載した動画像処理装置において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示す説明図。
【図３】図１に記載した動画像処理装置において実行される、画像フレームの補間処理から超解像処理に至る処理手順の一例を示すフローチャート。
【図４】図１に記載した動画像処理装置において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示す説明図。
【図５】図１に記載した動画像処理装置において実行される、超解像処理から画像フレームの補間処理に至る処理手順の一例を示すフローチャート。
【図６】本発明の第２の実施形態に係る、動画像処理システムの全体構成を示すブロック図。
【符号の説明】
【００７８】
１、１３１  動画像処理装置
３  動画像取得部
５  動画像格納部
７  動画像提示部
９  画像フレーム入力部
１１  画像フレーム一時格納部
１３  超解像処理構成管理部
１５  超解像処理部
１７  画像フレーム補間判定部
１９  画像フレーム補間処理部
２１  画像フレーム出力部
１３３  共通動き検出処理部
１３５  超解像基本処理部
１３７  画像フレーム補間基本判定部
１３９  画像フレーム補間基本処理部
【図１】
2009267446.tif 000003
【図２】
2009267446.tif 000004
【図３】
2009267446.tif 000005
【図４】
2009267446.tif 000006
【図５】
2009267446.tif 000007
【図６】
2009267446.tif 000008