(57)【要約】【課題】再生表示時に不自然な映像とならないように、入力信号に応じた最適なフレーム補間処理を行う画像処理装置を提供すること。【解決手段】入力された動画像データを補間処理する為に内挿する補間画像フレームを、アルファブレンディング処理により生成する画像処理装置を次のように構成する。すなわち、対象画像フレームと参照画像フレームとの間の特徴量を算出し、前記特徴量が所定の条件を満たすか否かを判定し、前記特徴量が所定の条件を満たさない場合には、アルファブレンディング処理を実行せず、フレームを複製して補間画像フレームとして出力するαブレンディング部４０を画像処理装置に具備させる。【選択図】図２
2011234307.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像データを補間処理する為に内挿する補間画像フレームを、アルファブレンディング処理により生成する画像処理装置であって、
対象画像フレームと参照画像フレームとの間の特徴量を算出する算出部と、
前記特徴量が所定の条件を満たすか否かを判定する判定部と、
前記判定部により前記特徴量が所定の条件を満たさないと判定された場合に、アルファブレンディング処理を実行せず、フレームを複製して補間画像フレームとして出力する複製処理部と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記複製処理部によって複製されるフレームは、前記対象画像フレームと前記参照画像フレームとが平均化されて生成された平均画像フレーム、前記対象画像フレームと前記参照画像フレームとのうち何れか一方に加重を掛けて平均化されて生成された時間加重平均画像フレーム、及び前記対象画像フレーム或いは前記参照画像フレームを複製した画像フレーム、のうちの何れかである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定部は、対象画像フレームと参照画増フレームとの特徴量の差分が所定の閾値よりも小さい場合に所定の条件を満たすと判定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
入力された動画像データを補間処理する為に内挿する補間画像フレームを、アルファブレンディング処理により生成する画像処理装置であって、
前記動画像データのうち補間処理対象の領域を構成する対象画像フレームと参照画像フレームとに基づいて、それらフレーム間の動きを推定して動き情報を算出する動き推定部と、
前記動き推定部により算出された動き情報に基づいて、前記アルファブレンディング処理の処理内容を示すアルファマップを生成するアルファマップ生成部と、
前記対象画像フレームと前記参照画像フレームとに基づいて、破綻防止画像フレームを生成する破綻防止画像生成部と、
前記対象画像フレームと前記参照画像フレームとの間の特徴量を算出する算出部と、
前記特徴量が所定の条件を満たすか否かを判定する判定部と、
前記判定部により前記特徴量が所定の条件を満たすと判定された場合に、前記アルファマップに基づいて、前記対象画像フレームと前記参照画像フレームと前記破綻防止画像フレームとをアルファブレンディング処理して補間画像フレームを生成するアルファブレンディング処理部と、
前記アルファブレンディング処理部により前記アルファブレンディング処理が実行されない場合には、前記対象画像フレームまたは前記破綻防止画像フレームを複製して補間画像フレームとして出力する複製処理部と、
を具備することを特徴とする画像処理装置。
【請求項５】
前記判定部は、前記特徴量が複数の条件を全て満たすか否かを判定し、
前記アルファブレンディング処理部は、前記判定部によって前記特徴量が前記複数の条件を全て満たすと判定された場合にのみ、前記アルファブレンディング処理を実行する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記算出部は、前記特徴量を複数種類算出し、
前記判定部は、前記複数種類の特徴量が各々の特徴量について設定された所定の条件を満たすか否かを判定し、
前記アルファブレンディング処理部は、前記判定部によって前記複数種類の特徴量がそれぞれ前記所定の条件を満たすと判定された場合にのみ、前記アルファブレンディング処理を実行する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記特徴量は、前記対象画像フレームと前記参照画像フレームとの間の輝度値の絶対誤差、輝度値の２乗誤差、輝度値の分散、アルファ値の絶対誤差、及び輝度値の動き推定誤差のうち少なくとも何れか一つである
ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記破綻防止画像フレームとは、前記対象画像フレームと前記参照画像フレームとが平均化されて生成された平均画像フレーム、前記対象画像フレームと前記参照画像フレームとのうち何れか一方に加重を掛けて平均化されて生成された時間加重平均画像フレーム、及び前記対象画像フレーム或いは前記参照画像フレームを複製した画像フレーム、のうちの何れかである
ことを特徴とする請求項４に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に動画像データに対してフレーム補間処理を施す画像処理装置に関する。
【背景技術】
【０００２】
近年、携帯電話機に係る技術の進歩により、携帯電話機にて動画像データを再生表示させる際に、所定の映像補正処理を行うことで、ユーザーに高品質な映像を提供することが一般的になっている。
【０００３】
例えば、一般的には“ワンセグ”と称されている“携帯電話・移動体端末向けの1セグメント部分受信サービス”に係る映像のように、低フレームレートの映像については、品質の改善を行う為に、フレーム補間処理が行われている。
【０００４】
このフレーム補間処理とは、画像処理装置に入力された動画像データにおけるフレーム間の動き推定を行い、該推定結果に基づいて前記フレーム間に補間フレームを内挿する処理である。このフレーム補間処理により、再生表示時の動画像データがより滑らかに推移する自然な映像となる。このようなフレーム補間処理に関する技術としては、例えば特許文献１に次のような技術が開示されている。
【０００５】
すなわち、特許文献１に開示されている技術では、入力された画像と推定されたフロー（動きベクトル）とに基づいて、フローの信頼度を局所的に計算する。そして、この信頼度をフローに従って補間フレームの時間位置にワーピングし、０−１のアルファ値に変換しアルファマップを生成する。このアルファ値により、動き補償画像と破綻防止画像とをアルファブレンドすることにより、局所的な画質劣化にも対応可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−２４４８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、フレーム補間処理の対象領域におけるフレーム間差分が或る程度大きい場合、それらフレーム間の対応付けは当然ながら困難である。従って、結果としてフレーム補間処理後の動画像データは、再生表示時に不自然な映像となってしまうことが多い。
【０００８】
ところで、特許文献１に開示されている技術では、フレーム間の動きを推定した際に信頼度を算出し、該信頼度に基づいて補間画像を生成する為のブレンディングを行っている。従って、フレーム間差分が或る程度大きい領域やフレーム間の動きを適切に算出できない領域においては、例えば時間加重平均やグローバルな動きに基づいてブレンディングを行うことになる。このような場合、補間画像は中間的な輝度値となることが多く、再生表示時に視聴者にとって不自然な映像として知覚されることが多い。
【０００９】
本発明は、前記の事情に鑑みて為されたものであり、再生表示時に不自然な映像とならないように、入力信号に応じた最適なフレーム補間処理を行う画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記の目的を達成するために、本発明の第１の態様による画像処理装置は、
入力された動画像データを補間処理する為に内挿する補間画像フレームを、アルファブレンディング処理により生成する画像処理装置であって、
対象画像フレームと参照画像フレームとの間の特徴量を算出する算出部と、
前記特徴量が所定の条件を満たすか否かを判定する判定部と、
前記判定部により前記特徴量が所定の条件を満たさないと判定された場合に、アルファブレンディング処理を実行せず、フレームを複製して補間画像フレームとして出力する複製処理部と、
を具備することを特徴とする。
【００１１】
前記の目的を達成するために、本発明の第２の態様による画像処理装置は、
入力された動画像データを補間処理する為に内挿する補間画像フレームを、アルファブレンディング処理により生成する画像処理装置であって、
前記動画像データのうち補間処理対象の領域を構成する対象画像フレームと参照画像フレームとに基づいて、それらフレーム間の動きを推定して動き情報を算出する動き推定部と、
前記動き推定部により算出された動き情報に基づいて、前記アルファブレンディング処理の処理内容を示すアルファマップを生成するアルファマップ生成部と、
前記対象画像フレームと前記参照画像フレームとに基づいて、破綻防止画像フレームを生成する破綻防止画像生成部と、
前記対象画像フレームと前記参照画像フレームとの間の特徴量を算出する算出部と、
前記特徴量が所定の条件を満たすか否かを判定する判定部と、
前記判定部により前記特徴量が所定の条件を満たすと判定された場合に、前記アルファマップに基づいて、前記対象画像フレームと前記参照画像フレームと前記破綻防止画像フレームとをアルファブレンディング処理して補間画像フレームを生成するアルファブレンディング処理部と、
前記アルファブレンディング処理部により前記アルファブレンディング処理が実行されない場合には、前記対象画像フレームまたは前記破綻防止画像フレームを複製して補間画像フレームとして出力する複製処理部と、
を具備することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、再生表示時に不自然な映像とならないように、入力信号に応じた最適なフレーム補間処理を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る画像処理装置を適用した携帯電話機の一構成例を示すブロック図。
【図２】本発明の一実施形態に係る画像処理装置の一構成例を示す図。
【図３】本発明の一実施形態に係る画像処理装置による補間画像フレームの生成処理のフローチャートを示す図。
【図４】本発明の一実施形態の第１変形例に係る画像処理装置による補間画像フレームの生成処理のフローチャートを示す図。
【図５】本発明の一実施形態の第２変形例に係る画像処理装置による補間画像フレームの生成処理のフローチャートを示す図。
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施形態について説明する。
【００１５】
図１は、本発明の一実施形態に係る画像処理装置を適用した携帯電話機の一構成例を示すブロック図である。同図に示すように、携帯電話機１は、携帯電話機１の各部を統括的に制御する制御部１２１と、アンテナ１２２Ａと接続された無線回路１２２と、音声データを処理するためのコーデック部１２８と、コーデック部１２８に接続されたマイクロフォン１１３及び第１スピーカ１１１と、アンテナ１２３Ａに接続されたチューナ１２３と、ＡＶデコーダ１２９と、ユーザの操作の入力を受付ける操作部１２５と、ＬＣＤ１１６の表示を制御するための表示制御部１３０と、制御部１２１で実行するプログラムやデータ等を記憶するためのＲＯＭ１３１と、制御部１２１の作業領域として使用されるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３２と、を具備する。
【００１６】
前記無線回路１２２は、アンテナ１２２Ａにより受信された無線信号が入力され、無線信号を復調した音声信号をコーデック部１２８に出力する。また、無線回路１２２は、コーデック部１２８から音声信号が入力され、音声信号を変調した無線信号をアンテナ１２２Ａに出力する。
【００１７】
前記コーデック部１２８は、無線回路１２２から入力される音声信号を復号し、復号したデジタルの音声信号をアナログに変換し、増幅し、そして第１スピーカ１１１に出力する。また、コーデック部１２８は、マイクロフォン１１３からアナログの音声信号が入力され、音声信号をデジタルに変換し、符号化し、そして符号化した音声信号を無線回路１２２に出力する。
【００１８】
前記チューナ１２３は、アンテナ１２３Ａに接続されており、アンテナ１２３Ａにより受信されたデジタルテレビジョン放送信号が入力される。デジタルテレビジョン放送信号は、映像データおよび音声データを含む高周波デジタル変調信号である。チューナ１２３は、アンテナ１２３Ａから入力される高周波デジタル変調信号から特定の周波数の信号を取り出す。また、チューナ１２３は、逆インターリーブ回路、誤り訂正回路を備えており、取り出した特定の周波数の高周波デジタル変調信号を復調して可変長符号の信号をＡＶデコーダ１２９及び制御部１２１に出力する。
【００１９】
前記制御部１２１は、当該携帯電話機１の各部を統括的に制御する。具体的には、例えば次のような制御を行う。
【００２０】
《録画処理》チューナ１２３が出力する信号をＲＯＭ１３１に記録する制御。
【００２１】
《再生処理》チューナ１２３が出力する信号をＡＶデコーダ１２９に出力する制御。或いは、ＲＯＭ３１に記憶された信号をＡＶデコーダ１２９に出力する制御。
【００２２】
《録画・再生処理》チューナ１２３が出力する信号をＲＯＭ１３１に記録すると共に、ＡＶデコーダ１２９に出力する制御。
【００２３】
なお、無線回路１２２を介して当該携帯電話機１をインターネットに接続し、インターネットに接続されたコンピュータからプログラムをダウンロードして、制御部１２１で実行するようにしてもよい。ここでいうプログラムは、制御部１２１により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００２４】
前記ＡＶデコーダ１２９は、ビデオデコーダ及びオーディオデコーダを備えている。ＡＶデコーダ１２９は、制御部１２１により制御され、入力された信号をデコード処理（復号処理）して映像信号と音声信号を生成する。そして、ＡＶデコーダ１２９は、生成した映像信号をＤ／Ａ（デジタル／アナログ）変換した動画像を表示制御部３０に出力し、且つ、生成した音声信号をＤ／Ａ変換して第２スピーカ１２に出力する。
【００２５】
前記表示制御部１３０は、制御部１２１により制御され、制御部１２１からの指示に従ってＬＣＤ１１６を制御し、画像データをＬＣＤ１１６に表示させる。ＬＣＤ１１６に表示させる画像データは、動画像データと静止画像データとを含む。
【００２６】
前記操作部１２５は、操作キー１１４と、ランプ１２５Ａとを含む。操作キー１１４は、ユーザによる操作の入力を受け付け、受付けた操作を制御部１２１に出力する。ランプ１２５Ａは、制御部１２１により制御されて発光する。
【００２７】
前記制御部１２１は、操作キー１１４から操作が入力されると、入力された操作に応じて処理を実行する。制御部１２１は、ＲＯＭ１３１に記憶されている複数のアプリケーションプログラムを読出して実行する。アプリケーションプログラムには、携帯電話機１をテレビジョンまたはラジオとして機能させるためのアプリケーションプログラム、携帯電話機１を記録再生装置として機能させるためのアプリケーションプログラムを含む。
【００２８】
以下、前記制御部１２１によって実行される画像処理について詳細に説明する。図２は、本一実施形態に係る画像処理部の一構成例を示す図である。この画像処理部は、ＡＶデコーダ１２９によるデコード処理で生成した動画像データに後述の処理を施す。
【００２９】
本一実施形態に係る画像処理部は、動き推定部１０と、アルファマップ（以降、αマップと記す）生成部２０と、破綻防止画像生成部３０と、アルファブレンディング（以降、αブレンディングと記す）部４０と、を具備する。
【００３０】
前記動き推定部１０は、入力された動画像データのうちフレーム補間処理対象の領域を構成する対象画像フレームと参照画像フレームとに基づいて、それらフレーム間の動きを推定して動きベクトルを算出する。
【００３１】
詳細には、動き推定部１０は、動きベクトルの算出処理において、対象画像フレーム及び参照画像フレームをそれぞれ所定数のブロックに分割し、対象画像フレームと参照画像フレームとで互いに最も類似するブロックを探索する。そして、動き推定部１０は、前記の各ブロックについて、動きベクトル及び動きの差分値（誤差）を算出して出力する。
【００３２】
なお、動き推定部１０による前記探索の方法としては例えば前探索やダイヤモンドサーチ等を挙げることができ、その際の評価関数として二乗誤差や絶対誤差等を挙げることができる。
【００３３】
前記αマップ生成部２０は、動き推定部１０によって算出された動きベクトルと差分値とに基づいてαマップを生成して出力する。αマップとは、後述するαブレンンディング部４０において用いられるブレンディング比を示すデータベースである。
【００３４】
なお、動き推定部１０によって算出された動きベクトルのみでは信頼性が低い場合がある。すなわち、各ブロックにおける前記差分値が大きい場合や、各ブロックにおいて近傍の動きとは大きく異なる動きが含まれている場合等である。
【００３５】
従って、αマップ生成部２０は、各ブロックの近傍の動き及び各フレーム間のグローバルな動き等を考慮してα値を算出してαマップを生成する。
【００３６】
前記破綻防止画像生成部３０は、入力された対象画像フレームと参照画像フレームとに基づいて、破綻防止画像フレームを生成する。この破綻防止画像フレームとしては、例えば時間加重平均画像フレーム、平均画像フレーム、及び対象画像フレーム／参照画像フレームを複製したフレームを挙げることができる。
【００３７】
前記時間加重平均画像フレームとは、フレーム補間処理の処理対象フレーム間に内挿される補間フレームであって、内挿後に隣接するフレームのうち何れか一方に加重を掛けて、内挿後に隣接する２つのフレームを平均化して生成された画像である。具体的には、時間加重平均画像(Ｔ_ａｖｅ)は、対象画像(Ｓｒｃ)と参照画像(Ｒｅｆ)に重みをかけた画像であり、下記の数式で表される。
【００３８】
Ｔ_ａｖｅ＝ｗ＊Ｓｒｃ ＋ (１−ｗ)＊Ｒｅｆ，０<ｗ<１
ここで、ｗ＝０．５で平均画像、０<ｗ<０．５で参照画像に大きな重み付けをした画像、０．５<ｗ<１．０で対象画像に大きな重み付けをした画像となる。
【００３９】
前記平均画像フレームとは、フレーム補間処理の処理対象フレーム間に内挿される補間フレームであって、内挿後に隣接する２つのフレームを平均化して生成された画像である。
【００４０】
前記αブレンディング部４０は、αマップ生成部２０により生成されたαマップに基づいて、対象画像フレームと参照画像フレームと破綻防止画像フレームとをブレンディング処理することで補間画像フレームを生成する。
【００４１】
以下、本一実施形態に係る画像処理装置のαブレンディング部４０による補間画像フレームの生成処理について、図３に示すフローチャートを参照して説明する。図３は、本一実施形態に係る画像処理装置による補間画像フレームの生成処理のフローチャートを示す図である。
【００４２】
まず、αブレンディング部４０は、対象画像フレームと参照画像フレームとに基づいて、両フレーム間の特徴量を算出する（ステップＳ１００）。このステップＳ１００において算出する特徴量としては、例えば“両フレーム間の輝度値の「絶対差」もしくは「絶対差分」”、“両フレーム間の輝度値の「二乗差」もしくは「二乗差分」”、“両フレーム間の輝度値の分散”、“両フレーム間のアルファ値の「絶対差」もしくは「絶対差分」”、“両フレーム間の輝度値の動き推定誤差”等を挙げることができる。
【００４３】
ここで一例として、“両フレーム間の輝度値の「絶対差」もしくは「絶対差分」”を特徴量として用いる場合について説明する。すなわち、この両フレーム間の輝度値の「絶対差」もしくは「絶対差分」は、下記（式１）によって表される。
【数１】
2011234307.tif 000003
【００４４】
ここで、Ｓｒｃｔ（ｉ，ｊ）は対象画像フレームの画素を表しており、Ｓｒｃｔ−１（ｉ，ｊ）は参照画像フレームの画素を表している。
【００４５】
なお、本例では、このステップＳ１００において画素単位で特徴量の算出処理を行っているが、処理対象の一画素だけでなくその近傍の画素をも含めた一領域について同様の処理を行っても勿論よい。換言すれば、処理対象である１画素の特徴量を算出する際に、近傍の複数画素についても特徴量を算出することで、それら複数画素を含む領域単位での処理としてもよい。
【００４６】
さらには、両フレームを任意のサイズの複数のブロックに分割し、それらブロックに対して同様の処理を行っても勿論よい。換言すれば、処理対象の画素として複数画素を設定してもよい。
【００４７】
前記ステップＳ１００における処理を終えると、αブレンディング部４０は、前記ステップＳ１００において算出した特徴量について、当該特徴量がαブレンド条件を満たしているか否かを判定する（ステップＳ１１０）。
【００４８】
具体的には、このステップＳ１１０における判定処理では、“特徴量と所定の閾値との大小関係”、“隣接画素における特徴量との差分、に対する所定の閾値との大小関係”、等を判定する。
【００４９】
ここで一例として、“両フレーム間の輝度の「絶対差」もしくは「絶対差分」”による閾値判定”について説明する。すなわち、この両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定処理は、下記（式２）によって表される。
【数２】
2011234307.tif 000004
【００５０】
本例では、この（式２）に記述されている条件を特徴量が満たす場合には、後述するステップＳ１２０へ移行してαブレンディング処理を実行する。他方、この（式２）に記述されている条件を特徴量が満たしていない場合には、後述するステップＳ１３０へ移行して対象画像フレームを複製する。以下、詳細に説明する。
【００５１】
前記ステップＳ１１０をＹＥＳに分岐する場合（特徴量が条件を満たすと判定した場合）には、αブレンディング部４０は、後述するαブレンディング処理を行って、補間画像フレームを生成する（ステップＳ１２０）。
【００５２】
すなわち、このステップＳ１２０においては、例えば下記（式３）によってαブレンディング処理を行って、補間画像フレームを構成する画素の画素値を算出する。
【数３】
2011234307.tif 000005
【００５３】
ここで、α（ｉ，ｊ）はαマップに基づくα値を表しており、Ｔｍｃ（ｉ，ｊ）は動き推定部１０による動き推定結果から取得した画素の輝度値を表しており、Ｔｔ（ｉ，ｊ）は破綻防止画像生成部３０により生成された破綻防止画像フレームを構成する画素の輝度値を表している。
【００５４】
上述の処理により、αブレンディング部４０は、ステップＳ１２０において対象画像フレームと参照画像フレームとに基づいて、適応的に変化させた重み付けをしてαブレンディング処理を行って、補間画像フレームを構成する画素の画素値を算出する（補間画像フレームを生成する）。
【００５５】
他方、前記ステップＳ１１０をＮＯに分岐する場合（特徴量が条件を満たさないと判定した場合）には、αブレンディング部４０は、補間画像フレームとして対象画像フレームを複製する（ステップＳ１３０）。
【００５６】
すなわち、このステップＳ１３０においては、例えば下記（式４）によって、対象画像フレームを構成する画素の画素値に基づいて、補間画像フレームを構成する画素の画素値を算出する（補間画像フレームを生成する）。
【数４】
2011234307.tif 000006
【００５７】
前記ステップＳ１２０または前記ステップＳ１３０における処理を終えると、αブレンディング部４０は、当該補間画像フレームの生成処理を終了するか否かを判定する（ステップＳ１４０）。このステップＳ１４０をＹＥＳに分岐する場合は、当該補間画像フレームの生成処理を終了する。一方、このステップＳ１４０をＮＯに分岐する場合は、前記ステップＳ１００に移行する。このステップＳ１００〜ステップＳ１４０で構成されるループの処理は、補間画像フレームの生成の為のループである。従って、補間画像フレームにおける全ての画素の画素値の算出が完了した時点（補間画像フレームが完成した時点）で、当該一連の処理を終了する。
【００５８】
以上説明したように、本一実施形態によれば、再生表示時に不自然な映像とならないように、入力信号に応じた最適なフレーム補間処理を行う画像処理装置を提供することができる。
【００５９】
すなわち、上述の処理を実行することで、補間処理対象のフレーム間における特徴量を算出し、これに基づいてαブレンディング処理を適応的に切り替える。これにより、従来技術を用いた場合であれば移動体の移動時にαブレンディングによって生じてしまう“ぼけ”を抑制することができ、視聴時に不自然な映像となってしまうことを抑制することができる。
【００６０】
より詳細には、入力された動画像データについて、補間処理対象となるフレームとフレームとの間に、上述の処理により生成した適切な補間画像フレームを生成して内挿することで、単位時間当たりのフレーム数を増加させ、滑らかな動画像すなわち視聴者にとって自然な映像を呈示する。
【００６１】
ここで、αブレンディング処理により生成した画像フレームを補間画像フレームとして内挿すると不自然な映像となってしまう場合には（対象画像フレームと参照画像フレームとの差分が大きすぎる場合には）、対象画像フレームを複製して内挿することで、不自然な映像となることを抑制する。
【００６２】
なお、本一実施形態に係る画像処理装置は、携帯電話機の他、例えばテレビジョン受像機やＰＣ等にも適用することができる。また、本一実施形態に係る画像処理装置は、入力される動画像の解像度、大きさ、フレームレート、及び補間フレーム数等に関わらず適用可能であることは勿論である。
【００６３】
以上、一実施形態に基づいて本発明を説明したが、本発明は上述した態様に限定されるものではなく、例えば下記のように種々の変形及び応用が可能なことは勿論である。
【００６４】
例えば、図３に示す一処理例は、次のように変形することができる。
【００６５】
［第１変形例］
以下、本第１変形例に係る画像処理装置について説明する。説明の重複を避ける為、前記一実施形態に係る画像処理装置との相違点を説明する。図４は、前記一実施形態の第１変形例に係る画像処理装置による補間画像フレームの生成処理のフローチャートを示す図である。
【００６６】
本第１変形例に係る画像処理装置では、αブレンディング部４０による“特徴量がαブレンド条件を満たしているか否かの判定処理（前記ステップＳ１１０における処理に相当）”を多段階で行う。換言すれば、本第１変形例に係る画像処理装置では、αブレンディング部４０による補間画像フレームの生成処理を多段階的に切り替えて行う。
【００６７】
まず、αブレンディング部４０は、対象画像フレームと参照画像フレームとに基づいて、両フレーム間の特徴量を算出する（ステップＳ２００）。このステップＳ２００における処理は、上述のステップＳ１００における処理と同様であるので、詳細な説明は省略する。
【００６８】
前記ステップＳ２００における処理を終えると、αブレンディング部４０は、前記ステップＳ２００において算出した特徴量について、当該特徴量がαブレンド第１条件を満たしているか否かを判定する（ステップＳ２１０）。
【００６９】
具体的には、このステップＳ２１０における判定処理では、“特徴量と所定の閾値との大小関係”、“隣接画素における特徴量との差分、に対する所定の閾値との大小関係”、等を判定する。
【００７０】
ここで一例として、“両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定”について説明する。すなわち、この両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定処理は、下記（式５）によって表される。
【数５】
2011234307.tif 000007
【００７１】
本例では、この（式５）に記述されている条件を特徴量が満たす場合には、後述するステップＳ２２０へ移行してαブレンディング処理を実行する。他方、この（式５）に記述されている条件を特徴量が満たしていない場合には、後述するステップＳ２３０へ移行して更なる判定処理を行う。
【００７２】
前記ステップＳ２１０をＹＥＳに分岐する場合（特徴量が条件を満たすと判定した場合）には、αブレンディング部４０は、αブレンディング処理を行って、補間画像フレームを生成する（ステップＳ２２０）。このステップＳ２２０における処理は、上述のステップＳ１２０における処理と同様であるので、詳細な説明は省略する。
【００７３】
他方、前記ステップＳ２１０をＮＯに分岐する場合（特徴量が条件を満たさないと判定した場合）には、αブレンディング部４０は、前記ステップＳ２００において算出した特徴量について、当該特徴量がαブレンド第２条件を満たしているか否かを判定する（ステップＳ２３０）。
【００７４】
具体的には、このステップＳ２３０における判定処理では、“特徴量と所定の閾値との大小関係”、“隣接画素における特徴量との差分、に対する所定の閾値との大小関係”、等を判定する。
【００７５】
ここで一例として、“両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定”について説明する。すなわち、この両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定処理は、下記（式６）によって表される。
【数６】
2011234307.tif 000008
【００７６】
本例では、この（式６）に記述されている条件を特徴量が満たす場合には、後述するステップＳ２４０へ移行して破綻防止画像フレームを複製する。他方、この（式６）に記述されている条件を特徴量が満たしていない場合には、後述するステップＳ２５０へ移行して対象画像フレームを複製する。
【００７７】
前記ステップＳ２３０をＹＥＳに分岐する場合（特徴量が条件を満たすと判定した場合）には、αブレンディング部４０は、補間画像フレームとして破綻防止画像フレームを複製する（ステップＳ２４０）。
【００７８】
すなわち、このステップＳ２４０においては、例えば下記（式７）によって、破綻防止画像フレームを構成する画素の画素値に基づいて、補間画像フレームを構成する画素の画素値を算出する（補間画像フレームを生成する）。
【数７】
2011234307.tif 000009
【００７９】
前記ステップＳ２３０をＮＯに分岐する場合（特徴量が条件を満たさないと判定した場合）には、αブレンディング部４０は、補間画像フレームとして対象画像フレームを複製する（ステップＳ２５０）。このステップＳ２５０における処理は、上述のステップＳ１３０における処理と同様であるので、詳細な説明は省略する。
【００８０】
前記ステップＳ２２０、前記ステップＳ２４０、または前記ステップＳ２５０における処理を終えると、αブレンディング部４０は、当該補間画像フレームの生成処理を終了するか否かを判定する（ステップＳ２６０）。このステップＳ２６０をＹＥＳに分岐する場合は、当該補間画像フレームの生成処理を終了する。一方、このステップＳ２６０をＮＯに分岐する場合は、前記ステップＳ２００に移行する。
【００８１】
以上説明したように、本第１変形例によれば、前記一実施形態に係る画像処理装置と同様の効果を奏する上に、αブレンディング部４０による補間画像フレームの生成処理を多段階的に切り替えて行う為、より自然な映像を呈示可能な画像処理装置を提供することができる。
【００８２】
すなわち、上述の処理を実行することで、補間処理対象のフレーム間における特徴量を算出し、これに基づいてαブレンディング部４０による補間画像フレームの生成処理を適応的に多段階で切り替える。これにより、従来であれば移動体の移動時にαブレンディングによって生じる“ぼけ”を抑制し、視聴時に不自然な表示の映像となってしまうことを抑制すると共に、切り替え処理に伴う出力画像の急激な変化も抑制可能となる。つまり、より自然な表示の映像を提供することができる。
【００８３】
より具体的には、本第１変形例に係る画像処理装置によれば、補間画像フレームとしてαブレンディング処理により生成した画像フレームを内挿すると不自然な映像となってしまう場合には（対象画像フレームと参照画像フレームとの差分が大きすぎる場合には）、その差分の大きさに応じて（前記特徴量の値に応じて）、対象画像フレームを複製して内挿する／破綻防止画像フレームを複製して内挿することで、不自然な映像となることを抑制する。
【００８４】
なお、対象画像フレームと参照画像フレームとの差分の大きさに基づいて、対象画像フレームを複製して内挿するか、破綻防止画像フレームを複製して内挿するか、を決定するのであるが、対象画像フレームを複製して内挿する場合は、対象画像フレームと参照画像フレームとの差分がより大きい場合である。
【００８５】
［第２変形例］
以下、本第２変形例に係る画像処理装置について説明する。説明の重複を避ける為、前記一実施形態に係る画像処理装置との相違点を説明する。図５は、前記一実施形態の第２変形例に係る画像処理装置による補間画像フレームの生成処理のフローチャートを示す図である。
【００８６】
本第２変形例に係る画像処理装置では、αブレンディング部４０による“αブレンド条件を満たしているか否かの判定処理（前記ステップＳ１１０における処理に相当）に係る特徴量”を複数設定する。換言すれば、本第２変形例に係る画像処理装置では、αブレンディング部４０による補間画像フレームの生成処理を、複数の特徴量についての判定結果に基づいて切り替える。
【００８７】
まず、αブレンディング部４０は、対象画像フレームと参照画像フレームとに基づいて、両フレーム間の特徴量（第１特徴量）を算出する（ステップＳ３００）。このステップＳ３００における処理は、上述のステップＳ１００における処理と同様であるので、詳細な説明は省略する。
【００８８】
続いて、αブレンディング部４０は、対象画像フレームと参照画像フレームとに基づいて、両フレーム間の特徴量（前記第１特徴量とは異なる特徴量である第２特徴量）を算出する（ステップＳ３１０）。このステップＳ３１０における処理は、上述のステップＳ１００における処理と同様であるので、詳細な説明は省略する。
【００８９】
前記ステップＳ３１０における処理を終えると、αブレンディング部４０は、前記ステップＳ３００において算出した第１特徴量について、当該第１特徴量がαブレンド第１条件を満たしているか否かを判定する（ステップＳ３２０）。
【００９０】
具体的には、このステップＳ３２０における判定処理では、“特徴量と所定の閾値との大小関係”、“隣接画素における特徴量との差分、に対する所定の閾値との大小関係”、等を判定する。
【００９１】
ここで一例として、“両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定”について説明する。すなわち、この両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定処理は、下記（式８）によって表される。
【数８】
2011234307.tif 000010
【００９２】
本例では、この（式８）に記述されているαブレンド第１条件を第１特徴量が満たす場合には、後述するステップＳ３３０へ移行して、更なる判定処理を行う。他方、この（式８）に記述されているαブレンド第１条件を第１特徴量が満たしていない場合には、後述するステップＳ３６０へ移行する。
【００９３】
前記ステップＳ３２０をＹＥＳに分岐する場合（第１特徴量がαブレンド第１条件を満たすと判定した場合）には、αブレンディング部４０は、前記ステップＳ３１０において算出した第２特徴量について、当該第２特徴量がαブレンド第２条件を満たしているか否かを判定する（ステップＳ３３０）。
【００９４】
具体的には、このステップＳ３３０における判定処理では、“特徴量と所定の閾値との大小関係”、“隣接画素における特徴量との差分、に対する所定の閾値との大小関係”、等を判定する。
【００９５】
ここで一例として、“両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定”について説明する。すなわち、この両フレーム間の輝度の「絶対差」もしくは「絶対差分」による閾値判定処理は、下記（式９）によって表される。
【数９】
2011234307.tif 000011
【００９６】
ところで、前記ステップＳ３２０をＮＯに分岐する場合（第１特徴量がαマップ第１条件を満たさないと判定した場合）には、αブレンディング部４０は、補間画像フレームとして対象画像フレームを複製する（ステップＳ３６０）。このステップＳ３６０における処理は、上述のステップＳ１３０における処理と同様であるので、詳細な説明は省略する。
【００９７】
また、前記ステップＳ３３０をＮＯに分岐する場合（第２特徴量がαマップ第２条件を満たさないと判定した場合）には、αブレンディング部４０は、補間画像フレームとして破綻防止画像フレームを複製する（ステップＳ３５０）。
【００９８】
すなわち、このステップＳ３５０においては、例えば下記（式１０）によって、破綻防止画像フレームを構成する画素の画素値に基づいて、補間画像フレームを構成する画素の画素値を算出する（補間画像フレームを生成する）。
【数１０】
2011234307.tif 000012
【００９９】
前記ステップＳ３４０、前記ステップＳ３５０、または前記ステップＳ３６０における処理を終えると、αブレンディング部４０は、当該補間画像フレームの生成処理を終了するか否かを判定する（ステップＳ３７０）。このステップＳ３７０をＹＥＳに分岐する場合は、当該補間画像フレームの生成処理を終了する。一方、このステップＳ３７０をＮＯに分岐する場合は、前記ステップＳ３００に移行する。
【０１００】
以上説明したように、本第２変形例によれば、前記一実施形態に係る画像処理装置と同様の効果を奏する上に、αブレンディング部４０による補間画像フレームの生成処理の切り替えをより細かに行う為、より自然な映像を呈示可能な画像処理装置を提供することができる。
【０１０１】
すなわち、上述の処理を実行することで、補間処理対象のフレーム間における特徴量を算出し、これに基づいてαブレンディング部４０による補間画像フレームの生成処理を適応的に多段階的に切り替える。これにより、従来であれば移動体の移動時にαブレンディングによって生じる“ぼけ”を抑制し、視聴時に不自然な表示の映像となってしまうことを抑制すると共に、上述の切り替え処理に伴う出力画像の急激な変化も抑制可能となり、より自然な表示の映像を提供することができる。
【０１０２】
より具体的には、複数の特徴量（第１特徴量及び第２特徴量）の全てが、所定の条件を満たさない限り、αブレンディング処理によって生成された画像フレームを補間画像フレームとして利用しない。
【０１０３】
つまり、前記一実施形態に比べて、αブレンディング処理によって生成された画像フレームを補間画像フレームとして利用する為の条件が厳しい。従って、上述の切り替え処理に伴う出力画像の急激な変化の抑制効果がより高まる。
【０１０４】
なお、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【符号の説明】
【０１０５】
１０…動き推定部、  ２０…アルファマップ生成部、  ３０…破綻防止画像生成部、  ４０…アルファブレンディング部。
【図１】
2011234307.tif 000013
【図２】
2011234307.tif 000014
【図３】
2011234307.tif 000015
【図４】
2011234307.tif 000016
【図５】
2011234307.tif 000017