(57)【要約】【課題】  従来、時系列に並んだ複数の画像のうちの或る画像を用いて所定の画像処理を施し、この画像処理の効果の度合いの高い画像を得ようとする場合、ユーザは、実際に、これら複数の画像の各画像に画像処理を施し、トライアンドエラーで所望の画像を得るようにしていた。そのため、ユーザの負担が大きく、所望の画像を得るまでに相当の時間を要していた。【解決手段】  時系列に並んだ複数の画像について、各画像毎に所定の画像処理に適した度合いを推奨度として算出する推奨度算出部と、推奨度算出部により算出された推奨度を、各画像の時間的な位置と対応付けてそれぞれ記憶する記憶部と、を備える画像処理装置。【選択図】  図１
2006020137.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
時系列に並んだ複数の画像について、各画像毎に所定の画像処理に適した度合いを推奨度として算出する推奨度算出部と、
前記推奨度算出部により算出された前記推奨度を、前記各画像の時間的な位置と対応付けてそれぞれ記憶する記憶部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記各画像を表示することが可能な表示部を備え、
前記表示部は、前記複数の画像のうちの或る画像を表示する際に、前記記憶部に記憶された前記推奨度のうち、少なくとも、表示する前記画像の時間的な位置と対応付けられた前記推奨度を示す情報を、併せて表示することを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置であって、
前記所定の画像処理は、前記複数の画像のうち、処理対象となる画像を含む所定数の画像を合成して、比較的高解像度で高画質な画像を生成する画像処理であることを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置であって、
前記推奨度算出部は、前記処理対象となる画像を基準画像として順次定め、前記所定数の画像のうち前記基準画像を除いた対象画像の、前記基準画像に対する位置ずれを補正すると共に、
前記位置ずれを補正された前記対象画像と前記基準画像との重なり部分の大きさの、前記対象画像の大きさに対する割合と、前記位置ずれを補正された前記対象画像のうち前記基準画像に対して局所的な動きのない部分の大きさの、前記重なり部分の大きさに対する割合と、のうち、少なくともいずれか一方の割合に基づいて、前記推奨度を算出することを特徴とする画像表示装置。
【請求項５】
請求項３または請求項４に記載の画像処理装置であって、
前記所定数は、２以上の自然数であることを特徴とする画像処理装置。
【請求項６】
請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
前記複数の画像は、動画像を構成する複数の画像であることを特徴とする画像処理装置。
【請求項７】
時系列に並んだ複数の画像について、所定の画像処理に適した度合いを示す推奨度を表示するための推奨度表示方法であって、
（ａ）前記複数の画像について、各画像毎に前記推奨度を算出する工程と、
（ｂ）前記複数の画像のうちの或る画像を表示する際に、算出した前記推奨度のうち、少なくとも、表示する前記画像と対応付けられた前記推奨度を示す情報を、併せて表示する工程と、
を備える推奨度表示方法。
【請求項８】
請求項７に記載の推奨度表示方法であって、
前記所定の画像処理は、前記複数の画像のうち、処理対象となる画像を含む所定数の画像を合成して、比較的高解像度で高画質な画像を生成する画像処理であることを特徴とする推奨度表示方法。
【請求項９】
時系列に並んだ複数の画像について、所定の画像処理に適した度合いを示す推奨度を表示するためのコンピュータプログラムであって、
（ａ）前記複数の画像について、各画像毎に前記推奨度を算出する機能と、
（ｂ）前記複数の画像のうちの或る画像を表示する際に、算出した前記推奨度のうち、少なくとも、表示する前記画像と対応付けられた前記推奨度を示す情報を、併せて表示する機能と、
をコンピュータに実現させるためのプログラム。
【請求項１０】
請求項９に記載のコンピュータプログラムであって、
前記所定の画像処理は、前記複数の画像のうち、処理対象となる画像を含む所定数の画像を合成して、比較的高解像度で高画質な画像を生成する画像処理であることを特徴とするコンピュータプログラム。
【請求項１１】
請求項９または請求項１０に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成して、比較的高解像度で高画質な画像を生成する画像処理に関し、特に、動画像を構成する各画像が、この画像処理に適しているか否かを、実際にこの画像処理を行うことなく、判断することができる技術に関する。
【背景技術】
【０００２】
デジタルビデオカメラなどで撮影された動画像は、複数の低解像度の画像（例えば、フレーム画像など。）から成り、従来より、これら複数の低解像度のフレーム画像のうち、１枚または２枚以上のフレーム画像を用いて、高解像度の画像を生成することが行われている。なお、このように高解像度の画像を生成する方法として、例えば、下記特許文献１に記載された方法が提案されている。
【０００３】
【特許文献１】特開平１１−１６４２６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前述のような高解像度の画像を生成する方法の中には、時系列に並んだ複数の低解像度のフレーム画像を合成し、高解像度で、かつ、高画質な画像を生成する方法がある。以下、この方法を用いた画像処理（以下、「鮮明化処理」と呼ぶ。）について、図１２を用いて簡単に説明する。なお、説明を分かり易くするために、合成するフレーム画像数は２枚とする。
【０００５】
図１２は、２枚のフレーム画像を用いた鮮明化処理の概要を模式的に示した説明図である。
図１２において、上部の２つの画像は、風景を撮影した動画像中の、時系列に並んだ２枚のフレーム画像を示し、これら２枚のフレーム画像が重なった状態を下部に示す。なお、この動画像を撮影した際に手ぶれが生じていた。
図１２に示すような２枚のフレーム画像を用いた鮮明化処理は以下の如くである。すなわち、まず、この２枚のフレーム画像のうち、高解像度化の基準となるフレーム画像（以下、「基準フレーム画像」と呼ぶ。）を選択する。なお、他方を対象フレーム画像と呼ぶ。次に、基準フレーム画像に対して、対象フレーム画像の位置がどれだけずれているかを示す位置ずれ量を、パターンマッチ法や勾配法などにより算出する。
なお、ここでいう「ずれ」とは、いわゆるパンと呼ばれるカメラワークや、手ぶれのように、ビデオカメラの向きの変化に起因するフレーム画像の全体的なずれを示す。
【０００６】
次に、前述の位置ずれ量をキャンセルするように対象フレーム画像の位置を補正する。その結果、図１２の下部に示すように、基準フレーム画像と対象フレーム画像とは重なり、重なり部分において、写し出された被写体が一致することとなる。
【０００７】
そして、この重なり部分については、基準フレーム画像と対象フレーム画像とを合成して高解像度化し、一方、重なり部分以外の領域については、基準フレーム画像を単純に解像度変換して高解像度化する。従って、重なり部分は、２枚のフレーム画像を合成して高解像度化するので、１枚のフレーム画像を解像度変換する重なり部分以外の領域に比べて、高画質化が期待できる。
なお、図１２に示す対象フレーム画像内のハッチングを施した領域は、鮮明化処理では用いられない。
【０００８】
以上は、動きのない風景を撮影した動画像中のフレーム画像を用いて鮮明化処理を行う場合であったが、例えば、走行している自動車を撮影した動画像のように、動きのある動画像中のフレーム画像を用いた場合、基準フレーム画像と対象フレーム画像との重なり部分であっても、それぞれのフレーム画像に写し出された自動車は一致することはない。従って、この自動車の部分については、基準フレーム画像を単純に解像度変換することとなり、高画質化は期待できない。
なお、以下、「動き」とは、前述の自動車のように、被写体の動きであり、フレーム画像内での局所的な動きを示す。
【０００９】
以上説明したように、鮮明化処理を行う場合、この処理による高画質化の度合いは、フレーム画像同士の重なり部分が大きいほど、また、「動き」の部分が小さいほど、高いこととなる。従って、この重なり部分が大きい、また、動きの部分が小さいフレーム画像ほど、鮮明化処理に適していることになる。
【００１０】
従来、鮮明化処理を行う場合、ユーザは、動画像を再生して、鮮明化処理を施したい所望のシーンのフレーム画像が表示されたところで一時停止させ、このフレーム画像を基準フレーム画像として特定して、鮮明化処理を施していた。
しかし、この基準フレーム画像として特定したフレーム画像を含む複数のフレーム画像において、上述の重なり部分が小さく、又は上述の動きの部分が大きく、これら複数のフレーム画像が鮮明化処理に適していなかった場合、鮮明化処理によって得られた画像の高画質化の度合いは低いものとなっていた。
そこで、ユーザは、所望のシーン内において基準フレーム画像として特定するフレーム画像を替えては、実際に鮮明化処理を施し、トライアンドエラーで高画質化の度合いの高い画像を得るようにしていた。そのため、ユーザの負担が大きく、高画質化の度合いの高い画像を得るまでに相当の時間を要していた。
【００１１】
本発明は、上述の課題を解決するためになされたものであり、動画像を構成する各画像が、比較的高解像度で高画質な画像を生成する処理に適しているか否かを、実際にこの処理を行うことなく、判断することができる技術を提供することを目的とする
【課題を解決するための手段】
【００１２】
前述の課題の少なくとも一部を解決するために、本発明の画像処理装置は、時系列に並んだ複数の画像について、各画像毎に所定の画像処理に適した度合いを推奨度として算出する推奨度算出部と、前記推奨度算出部により算出された前記推奨度を、前記各画像の時間的な位置と対応付けてそれぞれ記憶する記憶部と、を備えることを要旨とする。
【００１３】
このように構成することにより、記憶部に記憶された推奨度に基づいて、各画像が、上述の所定の画像処理に適しているか否かを判断することができる。従って、ユーザは、各画像がこの画像処理に適しているか否かを、実際にこの画像処理を行うことなく判断することができる。
【００１４】
なお、前述の画像処理装置は、前記各画像を表示することが可能な表示部を備え、前記表示部は、前記複数の画像のうちの或る画像を表示する際に、前記記憶部に記憶された前記推奨度のうち、少なくとも、表示する前記画像の時間的な位置と対応付けられた前記推奨度を示す情報を、併せて表示することが好ましい。
【００１５】
このように構成することにより、ユーザは、表示部に表示される画像を見ながら、併せてこの画像の推奨度を確認することが可能となる。従って、ユーザは、各画像が上述の所定の画像処理に適しているか否かを、簡単に判断することができる。
【００１６】
なお、前述の画像処理装置において、前記所定の画像処理は、前記複数の画像のうち、処理対象となる画像を含む所定数の画像を合成して、比較的高解像度で高画質な画像を生成する画像処理であってもよい。
【００１７】
このような比較的高解像度で高画質な画像を生成する画像処理では、各画像同士の重なり部分が大きいほど、また、動きの部分が小さいほど、複数の画像を合成する部分が大きくなるので高画質化の度合いが高くなり、この画像処理に適することとなる。ここで、前述の重なり部分や動きの部分の大きさは、撮影装置の動きや被写体の動きの大きさなどにより各画像毎に異なることがあるので、この画像処理に適した度合いも各画像毎に異なることがある。
従って、上述のように、各画像の推奨度を各画像の時間的な位置と対応付けてそれぞれ記憶し、また、各画像を表示する際に、表示する各画像の時間的な位置と対応付けられた推奨度を示す情報を併せて表示することで、ユーザは、各画像がこの画像処理に適しているか否かを、実際にこの画像処理を行うことなく判断することが可能となり、高画質化の度合いの高い画像を短時間で得ることが可能となる。
【００１８】
なお、前述の画像処理装置において、前記推奨度算出部は、前記処理対象となる画像を基準画像として順次定め、前記所定数の画像のうち前記基準画像を除いた対象画像の、前記基準画像に対する位置ずれを補正すると共に、前記位置ずれを補正された前記対象画像と前記基準画像との重なり部分の大きさの、前記対象画像の大きさに対する割合と、前記位置ずれを補正された前記対象画像のうち前記基準画像に対して局所的な動きのない部分の大きさの、前記重なり部分の大きさに対する割合と、のうち、少なくともいずれか一方の割合に基づいて、前記推奨度を算出することが好ましい。
【００１９】
このように位置ずれを補正すると、補正された対象画像と基準画像との重なり部分については、対象画像と基準画像とを合成して高解像度化するので、高画質化が期待できる。一方、この重なり部分であっても、局所的な動きのある場合、その部分については基準画像のみで高解像度化するので、高画質は期待できない。
ここで、この画像処理に適した複数の画像ほど、基準画像のみで高解像度化したときよりも高画質となる度合いが高いので、「重なり部分の大きさの、対象画像の大きさに対する割合」と、「位置ずれを補正された対象画像のうち基準画像に対して局所的な動きのない部分の大きさの、重なり部分の大きさに対する割合」と、のうち、少なくともいずれか一方の割合に基づくことで、この処理に適した度合いを、推奨度として適切に算出することが可能となる。
【００２０】
なお、前述の画像処理装置において、前記所定数は、２以上の自然数であることが好ましい。
このようにすることで、少なくとも２枚の画像を合成して高解像度化することができるので、１枚の画像を単純に解像度変換して得られる高解像度の画像に比べて、高画質な画像を得ることが可能となる。
【００２１】
なお、前述の画像処理装置において、前記複数の画像は、動画像を構成する複数の画像であってもよい。
動画像を構成する複数の画像は、時系列に並んだ画像であるので、本発明を適用することが可能である。
【００２２】
なお、本発明は、上述した装置発明の態様に限ることなく、推奨度表示方法などの方法発明としての態様で実現することも可能である。さらには、それら方法や装置を構成するためのコンピュータプログラムとしての態様や、そのようなコンピュータプログラムを記録した記録媒体としての態様や、上記コンピュータプログラムを含み搬送波内に具現化されたデータ信号など、種々の態様で実現することも可能である。
【００２３】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体等として構成する場合には、画像処理装置を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、ＲＯＭカートリッジ、パンチカード、バーコードなどの符合が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
Ａ．第１の実施例：
Ａ１．装置構成：
Ａ２．推奨度表示処理の具体的な動作：
Ａ３．実施例の効果：
Ｂ．第２の実施例：
Ｂ１．総合推奨度の表示：
Ｂ２．実施例の効果：
Ｃ．第３の実施例：
Ｃ１．総合推奨度の表示：
Ｃ２．実施例の効果：
Ｄ．第４の実施例：
Ｄ１．総合推奨度の表示：
Ｄ２．実施例の効果：
Ｅ．第５の実施例：
Ｅ１．総合推奨度の表示：
Ｅ２．実施例の効果：
Ｆ．第６の実施例：
Ｆ１．総合推奨度の表示：
Ｆ２．実施例の効果：
Ｇ．変形例：
Ｇ１．変形例１：〜Ｇ９．変形例９：
【００２５】
Ａ．第１の実施例：
Ａ１．装置構成：
図１は、本発明の第１の実施例における画像処理装置の概要構成を示す説明図である。画像処理装置１０は、コンピュータ１００と、コンピュータ１００にデータを入力する装置として、キーボード１１０，マウス１１１，及びＤＶＤドライブ１１２と、データを出力する装置として、ディスプレイ１１３と、を備える。
コンピュータ１００は、主として、ＣＰＵ１０１，メモリ１０２，ハードディスク１０３，及び入出力インタフェース部１０４を備えており、それぞれ内部バス１０５に接続されている。ここで、入出力インタフェース部１０４は、コンピュータ１００に対して、前述のキーボード１１０，マウス１１１，ＤＶＤドライブ１１２，及びディスプレイ１１３を、それぞれ接続するためのインタフェース群から成る。
なお、ＤＶＤドライブ１１２は、挿入されるＤＶＤ１１２ｄに記録されている動画像データを読み出すことができる。
【００２６】
画像処理装置１０では、所定のオペレーティングシステムの下、後述する推奨度表示処理のためのアプリケーションプログラムが実行される。なお、このオペレーティングシステムには、各種ドライバが組み込まれ、前述のキーボード１１０，マウス１１１，ＤＶＤドライブ１１２，及びディスプレイ１１３が、それぞれ制御される。
そして、前述のアプリケーションプログラムが起動され、メモリ１０２にロードされると、ＣＰＵ１０１は、このアプリケーションプログラムを実行することにより、表示処理部１０１ａ及び推奨度算出部１０１ｂとして機能することになる。
【００２７】
Ａ２．推奨度表示処理の具体的な動作：
図２は、第１の実施例における推奨度表示処理の手順を示すフローチャートである。
この推奨度表示処理が実行される前に、ＤＶＤ１１２ｄに記録されている動画像データ１０３ｍが、ＤＶＤドライブ１１２を介してハードディスク１０３に書き込まれ、記憶されている。この動画像データ１０３ｍは、時系列に並んだ複数のフレーム画像の画像データ（以下、「フレーム画像データ」と呼ぶ。）から成り、このフレーム画像データは、フレーム画像の各画素の、Ｙ（輝度），Ｃｒ（赤の色差），Ｃｂ（青の色差）を示す画素値から成る。
【００２８】
今、ユーザが、この動画像データ１０３ｍの表す動画像から、高画質化の度合いの高い高解像度の画像を得る場合について説明する。
なお、本実施例において、この鮮明化処理は、合成するフレーム画像の枚数によって第１モード，第２モード，第３モードの３つのモードがある。具体的には、２枚（基準フレーム画像１枚及び対象フレーム画像１枚）のフレーム画像を合成して縦横それぞれ１．５倍密の高解像度画像を得る第１モード，４枚のフレーム画像（基準フレーム画像１枚及び対象フレーム画像３枚）を合成して縦横それぞれ２倍密の高解像度画像を得る第２モード，８枚のフレーム画像（基準フレーム画像１枚及び対象フレーム画像７枚）を合成して縦横それぞれ４倍密の高解像度画像を得る第３モードの鮮明化処理がある。
【００２９】
まず、ユーザは、図１に示すキーボード１１０やマウス１１１を用いて動画像データ１０３ｍを指定し、推奨度表示処理のためのアプリケーションプログラムを起動する。
【００３０】
ユーザによって前述のアプリケーションプログラムが起動されると、まず、表示処理部１０１ａは、ユーザの指定した動画像データ１０３ｍの表す動画像の、各フレーム画像の推奨度を示す総合推奨度データが、メモリ１０２に記憶されているか判定する（ステップＳ２０２）。初期状態では、メモリ１０２には総合推奨度データは記憶されていないので、推奨度算出部１０１ｂは、総合推奨度を算出する総合推奨度算出処理を実行する（ステップＳ２０４）。
以下、総合推奨度算出処理について、図３〜図５を用いて詳細に説明する。なお、以下において、フレーム番号ｊのフレーム画像をフレーム画像Ｆ（ｊ）と記載するものとする。
【００３１】
図３は、総合推奨度算出処理の手順を示すフローチャートである。
まず、推奨度算出部１０１ｂは、各フレーム画像を基準フレーム画像とした時の、７枚先のフレーム画像までの各フレーム画像の位置ずれ量を、パターンマッチ法を用いて算出し、各フレーム番号に対応付けてメモリ１０２に記憶させる（ステップＳ３０２）。
【００３２】
具体的には、フレーム画像Ｆ（１）を基準フレーム画像とした場合を例として説明すると、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（２）の位置ずれ量、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（３）の位置ずれ量、...と順次算出し、フレーム画像Ｆ（１）に対する７枚先のフレーム画像であるフレーム画像Ｆ（８）の位置ずれ量までを求める。そして、それぞれ求めた位置ずれ量を、フレーム番号１と対応付けてメモリ１０２に記憶させる。
なお、この位置ずれ量は、並進（縦及び横）のずれ量と、回転のずれ量と、の組み合わせである。
【００３３】
次に、推奨度算出部１０１ｂは、フレーム番号を示す変数ｊに初期値１を代入する（ステップＳ３０４）。
なお、以下の処理は、各フレーム画像毎に（変数ｊの値が１ずつ変わる毎に）、第１〜第３の各モードについて実行されることになるが、まず第１モードについて説明する。
【００３４】
次に、推奨度算出部１０１ｂは、メモリ１０２に記憶させた位置ずれ量データ１０２ａから、フレーム番号ｊに対応する位置ずれ量を読み出し、読み出した位置ずれ量に基づいて、対象フレーム画像の画素のうち、合成に用いられる画素（以下、「合成利用画素」と呼ぶ。）数と、この合成利用画素のうち、動きの部分でない画素（以下、「動きなし画素」と呼ぶ。）数と、を算出し、それぞれ合成利用画素数データ１０２ｂ及び動きなし画素数データ１０２ｃとして、各フレーム番号に対応付けてメモリ１０２に記憶させる（ステップＳ３０６）。
【００３５】
前述の合成利用画素とは、基準フレーム画像と対象フレーム画像との重なり部分の画素の数であり、例えば、図１２の下部に示す１点鎖線で囲まれた領域にある画素の数である。  そして、この合成利用画素数は、以下のように算出する。すなわち、対象フレーム画像の各画素の座標に対し、基準フレーム画像の座標系上の座標となるように座標変換（前述の「対象フレーム画像の位置の補正」に相当）を施し、座標変換後の各座標が、基準フレーム画像に相当する領域内にあるか否かを判定して、基準フレーム画像に相当する領域内にあると判定した画素数をカウントして算出する。
【００３６】
具体的には、例えば、基準フレーム画像及び対象フレーム画像の座標系として、それぞれ図１２に示すように、ｘ１−ｙ１座標系及びｘ２−ｙ２座標系を定めた場合、前述の位置ずれ量が、ｘ１−ｙ１座標系において、横ずれ量ｕ，縦ずれ量ｖ，回転ずれ量δであるとすると、対象フレーム画像の画素の座標（ｘｋ，ｙｋ）と、この座標（ｘｋ，ｙｋ）を座標変換した後の座標（ｘｔ，ｙｔ）と、の間には、以下の式（１）及び式（２）が成り立つ。
ｘｔ＝ｃｏｓδ・ｘｋ＋ｓｉｎδ・ｙｋ＋ｕ  ...（１）
ｙｔ＝−ｓｉｎδ・ｘｋ＋ｃｏｓδ・ｙｋ＋ｖ  ...（２）
【００３７】
ここで、基準フレーム画像の横（ｘ１方向）及び縦（ｙ１方向）の長さを、それぞれＷｆ及びＨｆとすると、前述の座標変換後の座標（ｘｔ，ｙｔ）が、以下の条件式（３）を満たせば、座標変換前の（ｘｋ，ｙｋ）の位置の画素は、重なり部分にある画素である。
０≦ｘｔ≦Ｗｆ、かつ、０≦ｙｔ≦Ｈｆ  ...（３）
そして、対象フレーム画像内の全ての画素について上述の式（１）及び式（２）による座標変換を行い、式（３）を満たすか判定を行い、式（３）を満たした画素の数をカウントすることで、合成利用画素数を算出する。
【００３８】
一方、動きなし画素数の算出方法について、図４を用いて説明する。
図４は、基準フレーム画像と対象フレーム画像との重なり部分を拡大して示した説明図である。図４において、白抜きの四辺形は、基準フレーム画像の各画素を示し、ハッチングを施した四辺形は、座標変換後の対象フレーム画像の各画素を示す。
【００３９】
対象フレーム画像の各画素のうち、動きの部分でない画素の輝度値は、この画素の座標変換後の座標の周囲にある、基準フレーム画像の画素の輝度値に近い値を示すこととなる。従って、対象フレーム画像の各画素のうち、重なり部分の画素であると判定された画素について、その画素の輝度値が、座標変換後の座標の周囲にある基準フレーム画像の画素の輝度値に近い値であるか否かを判定することで、動きなし画素であるか否かを判定する。
【００４０】
具体的には、例えば、座標変換後の画素が、図４に示す判定画素Ｇｐであるとすると、判定画素Ｇｐの輝度値が、この判定画素Ｇｐを囲むように位置する、基準フレーム画像の画素Ｇ１〜Ｇ４の各輝度値のうち、最小値と最大値との範囲内にあれば、その判定画素Ｇｐを動きなし画素であると判定する。そして、動きなし画素であると判定された画素数をカウントすることで、動きなし画素数を算出する。
【００４１】
図３に戻って、推奨度算出部１０１ｂは、メモリ１０２から、合成利用画素数データ１０２ｂを読み出し、対象フレーム画像の全画素数に対する、合成利用画素数の割合をパーセントで示した値を位置ずれ推奨度として算出し、各フレーム番号に対応付けて、位置ずれ推奨度データ１０２ｅとしてメモリ１０２に記憶させる（ステップＳ３０８）。
【００４２】
従って、位置ずれ推奨度は、対象フレーム画像全体に対する重なり部分の割合を示す。ここで、重なり部分については、２枚のフレーム画像（基準フレーム画像１枚及び対象フレーム画像１枚）を合成して高画質化が期待できるので、位置ずれ推奨度は、対象フレーム画像全体に対する高画質化が期待できる部分の割合を示すことになる。
【００４３】
次に、推奨度算出部１０１ｂは、メモリ１０２から、合成利用画素数データ１０２ｂ及び動きなし画素数データ１０２ｃを読み出し、合成利用画素数に対する、動きなし画素数の割合をパーセントで示した値を動き推奨度として算出し、各フレーム番号に対応付けて、動き推奨度データ１０２ｄとしてメモリ１０２に記憶させる（ステップＳ３１０）。
【００４４】
従って、動き推奨度は、重なり部分全体に対する動きのない部分の割合を示す。ここで、動きのない部分については、２枚のフレーム画像（基準フレーム画像１枚及び対象フレーム画像１枚）を合成して高画質化が期待できるので、動き推奨度は、重なり部分全体に対する高画質化が期待できる部分の割合を示すことになる。
【００４５】
次に、推奨度算出部１０１ｂは、メモリ１０２から動き推奨度データ１０２ｄ及び位置ずれ推奨度データ１０２ｅを読み出し、位置ずれ推奨度と動き推奨度とを掛け合わせて、総合推奨度として算出し、各フレーム番号に対応付けて、総合推奨度データ１０２ｆとしてメモリ１０２に記憶させる（ステップＳ３１２）。例えば、位置ずれ推奨度が５０％で、動き推奨度が４０％であれば、総合推奨度は２０％と算出される。
【００４６】
このように、総合推奨度は、位置ずれ推奨度と動き推奨度とを掛け合わせて算出されるので、重なり部分が大きいほど、また、動きのない部分が大きい（動きの部分が小さい）ほど、高い値となる。そして、重なり部分が大きいほど、また、動きの部分が小さいほど高画質化が期待でき、鮮明化処理に適するので、総合推奨度は、各フレーム画像を基準フレーム画像としたときの、各フレーム画像の鮮明化処理に適した度合いを示す。
【００４７】
以上、第１モードについて、ステップＳ３０６〜ステップＳ３１２の処理を説明したが、続いて、第２，第３モードについても、それぞれ、合成利用画素数，動きなし画素数，位置ずれ推奨度，動き推奨度，総合推奨度を算出し、各フレーム番号に対応付けて、それぞれ、合成利用画素数データ，動きなし画素数データ，位置ずれ推奨度データ，動き推奨度データ，総合推奨度データとしてメモリ１０２に記憶する（ステップＳ３１４）。
【００４８】
なお、前述の合成利用画素数等の算出方法は第１モードにおける算出方法とほぼ同じであるが、異なる点について、第２モード（基準フレーム画像１枚及び対象フレーム画像３枚での合成）を例として説明する。
【００４９】
「合成利用画素数」については、３枚の対象フレーム画像のそれぞれについて、重なり部分の画素数を求め、これら求めた値を足し合わせて算出する。
具体的には、例えば、基準フレーム画像がフレーム画像Ｆ（１）であり、対象フレーム画像がＦ（２）〜Ｆ（４）の場合について説明すると、まず、フレーム画像Ｆ（１）とフレーム画像Ｆ（２）との重なり部分の画素数については、前述の第１モードにおいて既に算出しているので、メモリ１０２から合成利用画素数データ１０２ｂを読み出して求める。次に、フレーム画像Ｆ（１）とフレーム画像Ｆ（３）との重なり部分の画素数は、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（３）の位置ずれ量に基づき、前述の式（１）及び式（２）による座標変換を施し、前述の条件式（３）を満たす画素数をカウントして算出する。次に、フレーム画像Ｆ（１）とフレーム画像Ｆ（４）との重なり部分の画素数は、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（４）の位置ずれ量に基づき、前述の式（１）及び式（２）による座標変換を施し、前述の条件式（３）を満たす画素数をカウントして算出する。
そして、以上のようにして対象フレーム画像毎に求めた画素数を足し合わせて、第２モードのフレーム画像Ｆ（１）の合成利用画素数とする。
【００５０】
「動きなし画素数」については、３枚の対象フレーム画像のそれぞれについて、前述の第１モードと同様にして動きの部分でない画素をカウントし、それぞれカウントした値を足し合わせて算出する。
「位置ずれ推奨度」については、３枚の対象フレーム画像のそれぞれの全画素数を足し合わせた値に対する、前述のようにして算出した合成利用画素数の割合をパーセントで示した値として算出する。
【００５１】
以上、第２モードを例としたが、第３モードについても対象フレーム画像数が７枚と異なるだけで、前述の第２モードにおける合成利用画素数等の算出方法と同じである。
なお、合成利用画素数の算出においては、例えば、基準フレーム画像がフレーム画像Ｆ（１）で、対象フレーム画像がフレーム画像Ｆ（２）〜Ｆ（８）の７枚の場合、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（２）〜Ｆ（４）の重なり部分の画素数は、既に、第１モード及び第２モードにおいて算出されて合成利用画素数データ１０２ｂとしてメモリ１０２に記憶されている。
従って、今度は、対象フレーム画像Ｆ（２）〜Ｆ（４）の３枚についての重なり部分の画素数は、メモリ１０２からこの合成利用画素数データ１０２ｂを読み出して求め、一方、フレーム画像Ｆ（１）に対するフレーム画像Ｆ（５）〜Ｆ（８）の重なり部分の画素数を、前述の第２モードと同様にして新たに算出することとなる。
【００５２】
第３モードについての総合推奨度データ１０２ｆをメモリ１０２に記憶させ、ステップＳ３１４の処理を終えると、推奨度算出部１０１ｂは、次のフレーム画像があるか否かを判定し（ステップＳ３１６）、次のフレーム画像がある場合には、変数ｊにｊ＋１を代入し（ステップＳ３１８）、フレーム画像Ｆ（ｊ＋１）について、ステップＳ３０６〜ステップＳ３１８の処理を実行する。
【００５３】
そして、ステップＳ３１６において、推奨度算出部１０１ｂが次のフレーム画像がないと判定すると、総合推奨度算出処理は終了する。
【００５４】
図５は、メモリ１０２に記憶された総合推奨度データ１０２ｆを示す説明図である。図５に示すように、各フレーム画像を基準フレーム画像とした場合の、鮮明化処理の各モードの総合推奨度が、各フレーム番号と対応付けてメモリ１０２に記憶されている。
【００５５】
図２に戻って、総合推奨度算出処理の結果、メモリ１０２に総合推奨度データ１０２ｆが記憶されたので、表示処理部１０１ａは、後述する推奨度表示ダイアログを生成して、図１に示すディスプレイ１１３に表示すると共に、メモリ１０２から総合推奨度データ１０２ｆを読み出し、また、ハードディスク１０３から動画像データ１０３ｍを読み出し、推奨度表示ダイアログに、総合推奨度及び動画像データ１０３ｍの表す動画像の先頭フレーム画像を表示する（ステップＳ２０６）。
なお、次回、この推奨度表示処理を実行する際には、総合推奨度データ１０２ｆは、既にメモリ１０２に記憶されているので、表示処理部１０１ａは、図２に示すように、総合推奨度算出処理を実行せずに、このステップＳ２０６の処理を実行する。
【００５６】
図６は、第１の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログを示す説明図である。
図６に示すように、推奨度表示ダイアログＤｇは、画像表示枠Ｗ１，スライドバーＳｂ１及びスライダｓｄ，推奨度表示枠Ｗ２，操作部２０，プルダウンボタンＰｂ，モード表示枠Ｗ３，鮮明化ボタンＫｂ１から成る。なお、操作部２０は、再生ボタン２１や一時停止ボタン２２など、動画像の再生を操作する各種ボタンから成る。
【００５７】
画像表示枠Ｗ１は、指定された動画像データの表す動画像を表示し、スライドバーＳｂ１は、この動画像の時間的な長さを示す。また、スライダｓｄは、動画像の再生と共にスライドバーＳｂ１上をスライドして、画像表示枠Ｗ１に表示された瞬間のフレーム画像の時間的な位置を示す。推奨度表示枠Ｗ２は、画像表示枠Ｗ１に表示される動画像の総合推奨度を表示する。プルダウンボタンＰｂは、鮮明化処理のモードを選択するプルダウンメニューＰｍを表示させるためのボタンである。そして、モード表示枠Ｗ３は、選択された鮮明化処理のモードを表示する。鮮明化ボタンＫｂ１は、鮮明化処理の実行を決定するためのボタンである。
【００５８】
推奨度表示枠Ｗ２の横の長さは、スライドバーＳｂ１の長さと一致しており、左から右の方向で時間軸を示し、一方、縦の長さは、下辺の位置が０％で、上辺の位置が１００％となる総合推奨度を示す。そして、表示処理部１０１ａは、メモリ１０２から読み出した総合推奨度データ１０２ｆに基づき、総合推奨度を示すグラフを生成し、前述の推奨度表示枠Ｗ２に表示する。
【００５９】
初期表示状態では、画像表示枠Ｗ１には、動画像データ１０３ｍの示す動画像の先頭フレーム画像が表示されており、スライダｓｄは、スライドバーＳｂ１の最も左の位置にある。また、モード表示枠Ｗ３には初期値として第１モードが表示されている。そして、推奨度表示枠Ｗ２には、第１モードの総合推奨度を示すグラフが表示される。
【００６０】
図６に示す推奨度表示ダイアログＤｇの表示状態は、初期表示状態において、ユーザが、図１に示すマウス１１１を用いて図６に示す再生ボタン２１を押下して動画像を再生させ、フレーム画像Ｆ（５）が画像表示枠Ｗ１に表示された瞬間の表示状態である。このとき、スライダｓｄは、スライドバーＳｂ１上でフレーム画像Ｆ（５）の時間的な位置を示すと共に、推奨度表示枠Ｗ２に表示された総合推奨度のグラフにおける時間的な位置を指し示す。
【００６１】
図５に示すように、フレーム画像Ｆ（５）の第１モードでの総合推奨度は９１％であり、ユーザは、図６に示す総合推奨度のグラフから、フレーム画像Ｆ（５）の総合推奨度が１００％に近い値であることを読み取ることができる。従って、ユーザは、このフレーム画像Ｆ（５）が第１モードの鮮明化処理に適しており、フレーム画像Ｆ（５）を基準フレーム画像として第１モードの鮮明化処理を施すと、高画質化の度合いの高い高解像度の画像が得られると判断することができる。
そして、この判断に基づき、ユーザが、マウス１１１を用いて一時停止ボタン２２を押下して、動画像の再生を一時停止させ、このフレーム画像Ｆ（５）を基準フレーム画像として特定した上で、鮮明化ボタンＫｂ１を押下すると、鮮明化処理部（図示省略）は、フレーム画像Ｆ（５）を基準フレーム画像とした第１モードの鮮明化処理を実行し、高画質化の度合いの高い高解像度の画像を生成する。
【００６２】
なお、前述のように動画像を一時停止させた状態で、ユーザがマウス１１１を用いて、プルダウンボタンＰｂを押下すると、図６に示すプルダウンメニューＰｍが表示される。そして、ユーザが、プルダウンメニューＰｍから、第１〜第３モードのいずれかのモードを選択すると、選択されたモードがモード表示枠Ｗ３に表示され、表示処理部１０１ａは、選択されたモードでの総合推奨度を示すグラフを生成し、推奨度表示枠Ｗ２に表示する。
そして、ユーザが一時停止ボタン２２または再生ボタン２１を押下することにより、動画像の再生が、先ほど一時停止した時間的な位置から再開する。なお、一時停止ボタン２２または再生ボタン２１に代えて、鮮明化ボタンＫｂ１を押下すると、選択したモードでの鮮明化処理が実行される。
【００６３】
Ａ３．実施例の効果：
以上説明したように、画像処理装置１０は、ユーザが指定した動画像について、各フレーム画像を基準フレーム画像とした場合の、重なり部分の大きさと動きのない部分の大きさとに基づく鮮明化処理の総合推奨度を算出して、各フレーム画像のフレーム番号に対応付けて記憶するようにしている。そして、推奨度表示ダイアログＤｇの画像表示枠Ｗ１に動画像を表示する際、動画像全体の総合推奨度を示すグラフを併せて表示すると共に、スライダｓｄを用いて、総合推奨度を示すグラフにおける時間的な位置を示すことで、画像表示枠Ｗ１に表示された瞬間のフレーム画像の総合推奨度を表示するようにしている。従って、ユーザは、各フレーム画像が鮮明化処理に適しているか否かを、実際に鮮明化処理を行うことなく判断できるので、高画質化の度合いの高い高解像度の画像を短時間で得ることが可能となる。
【００６４】
Ｂ．第２の実施例：
前述の第１の実施例では、推奨度表示ダイアログＤｇにおいて、総合推奨度を推奨度表示枠Ｗ２にグラフとして示したが、本実施例では、総合推奨度に対して、予め、鮮明化処理に適していると判断するしきい値を設定しておき、このしきい値以上となる総合推奨度を持つフレーム画像の時間的な位置を、スライドバー上で示すようにする。
【００６５】
なお、本実施例における画像処理装置の装置構成は、図１に示す装置構成と同じであり、また、本実施例における推奨度表示処理及び総合推奨度算出処理の手順については、それぞれ図２及び図３に示すフローチャートと同じであるので、説明を省略する。
また、本実施例では、前述の総合推奨度に対するしきい値が５０％として予め設定されて、しきい値データ（図示省略）としてメモリ１０２に記憶されている。そして、表示処理部１０１ａが、図２に示すステップＳ２０６の処理を実行する際、メモリ１０２から、総合推奨度データ１０２ｆを読み出すと共に、前述のしきい値データを読み出し、総合推奨度データ１０２ｆの示す各値が、それぞれしきい値の５０％以上であるか否かを判定する。
【００６６】
Ｂ１．総合推奨度の表示：
図７は、第２の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図である。図７において、（Ａ）は、第１モードの総合推奨度を示す推奨度表示ダイアログＤｇを示し、（Ｂ）は、第２モードの総合推奨度を示す推奨度表示ダイアログＤｇを示す。
図７において、スライドバーＳｂ２以外は、図６に示す画像表示枠Ｗ１，スライダｓｄ，操作部２０，プルダウンボタンＰｂ，モード表示枠Ｗ３，鮮明化ボタンＫｂ１と、それぞれ同じであるので、説明を省略する。
【００６７】
スライドバーＳｂ２の横の長さは、画像表示枠Ｗ１に表示される動画像の時間的な長さを示している。そして、前述のように、表示処理部１０１ａによって、総合推奨度がしきい値の５０％以上であると判定されたフレーム画像の時間的な位置が、網掛けの部分として、このスライドバーＳｂ２上に表示される。
【００６８】
図７（Ａ）に示す推奨度表示ダイアログＤｇの表示状態は、前述の第１の実施例と同様に、動画像の再生が始まり、フレーム画像Ｆ（５）が画像表示枠Ｗ１に表示された瞬間の表示状態である。
図５に示すように、フレーム画像Ｆ（５）の第１モードの総合推奨度は９１％であり、ユーザは、スライダｓｄが網掛け部分にあることから、このフレーム画像Ｆ（５）の総合推奨度が５０％以上であることを読み取ることができる。従って、ユーザは、このフレーム画像Ｆ（５）が第１モードの鮮明化処理に適しており、フレーム画像Ｆ（５）を基準フレーム画像として第１モードの鮮明化処理を施すと、高画質化の度合いの高い高解像度の画像が得られると判断することができる。
そして、この判断に基づき、ユーザが、マウス１１１を用いて一時停止ボタン２２を押下して、動画像の再生を一時停止させ、このフレーム画像Ｆ（５）を基準フレーム画像として特定した上で、鮮明化ボタンＫｂ１を押下すると、鮮明化処理部（図示省略）は、フレーム画像Ｆ（５）を基準フレーム画像とした第１モードの鮮明化処理を実行し、高画質化の度合いの高い高解像度の画像を生成する。
【００６９】
なお、プルダウンメニューＰｍから第２モードが選択されると、図７（Ｂ）に示すように、第１モードに代えて、第２モードの総合推奨度が５０％以上であるフレーム画像の時間的な位置が、スライドバーＳｂ２上に網掛け部分として表示される。従って、ユーザは、この網掛け部分にあるフレーム画像が、第２モードの鮮明化処理に適していると判断することができる。
【００７０】
Ｂ２．実施例の効果：
第２の実施例では、推奨度表示ダイアログＤｇの画像表示枠Ｗ１に動画像を表示する際、総合推奨度がしきい値以上であるフレーム画像の時間的な位置と、しきい値よりも小さいフレーム画像の時間的な位置と、を区別して示すスライドバーＳｂ２を表示すると共に、スライダｓｄを用いて、画像表示枠Ｗ１に表示された瞬間のフレーム画像の時間的な位置を指し示すようにしている。従って、ユーザは、各フレーム画像の総合推奨度が、予め設定したしきい値以上であるか否かを簡単に判断できるので、各フレーム画像が鮮明化処理に適しているか否かを、実際に鮮明化処理を行うことなく判断することできる。従って、高画質化の度合いの高い高解像度の画像を短時間で得ることが可能となる。
【００７１】
Ｃ．第３の実施例：
前述の第１の実施例では、推奨度表示ダイアログＤｇにおいて、総合推奨度を推奨度枠Ｗ２内にグラフとして示したが、本実施例では、各モード毎に備えた鮮明化ボタンの色の明るさを変化させることにより、総合推奨度を示すようにする。
【００７２】
なお、本実施例における画像処理装置の装置構成は、図１に示す装置構成と同じであり、また、本実施例における推奨度表示処理及び総合推奨度算出処理の手順については、それぞれ図２及び図３に示すフローチャートと同じであるので、説明を省略する。
ここで、前述の鮮明化ボタンの色の明るさは、総合推奨度０％〜１００％に対応した２５５（明るい）〜０（暗い）の階調となる。そして、表示処理部１０１ａは、図２に示すステップＳ２０６の処理を実行する際に、メモリ１０２から総合推奨度データ１０２ｆを読み出して、総合推奨度に対応した明るさの階調を決定する。
【００７３】
Ｃ１．総合推奨度の表示：
図８は、第３の実施例のおける、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図である。図８において、画像表示枠Ｗ１，スライドバーＳｂ１，操作部２０は、それぞれ図６と同じであるので説明を省略する。
本実施例における推奨度表示ダイアログＤｇは、前述の画像表示枠Ｗ１等の他に、第１〜第３の鮮明化処理の各モードに対応した鮮明化ボタンＫｂ１１〜Ｋｂ１３を備えている。そして、鮮明化ボタンＫｂ１１〜Ｋｂ１３の色は、画像表示枠Ｗ１に表示された瞬間のフレーム画像の、それぞれのモードにおける総合推奨度に対応した明るさとなる。
【００７４】
図８に示す推奨度表示ダイアログＤｇの表示状態は、前述の第１の実施例と同様に、動画像の再生が始まり、フレーム画像Ｆ（５）が画像表示枠Ｗ１に表示された瞬間の表示状態である。
図５に示すように、フレーム画像Ｆ（５）の、第１〜第３モードの総合推奨度は、それぞれ、９１％，８６％，１８％であり、図８に示すように、鮮明化ボタンＫｂ１１〜Ｋｂ１３の色は、それぞれの値に対応した明るさとなる。そして、鮮明化ボタンＫｂ１１，Ｋｂ１２の色は、比較的暗いので、ユーザは、このフレーム画像Ｆ（５）が、第１モードまたは第２モードの鮮明化処理に適しており、フレーム画像Ｆ（５）を基準フレーム画像として第１モードまたは第２モードの鮮明化処理を施すと、高画質化の度合いの高い高解像度の画像が得られると判断することができる。
そして、この判断に基づき、ユーザが動画像の再生を一時停止させてこのフレーム画像Ｆ（５）を基準フレーム画像として特定した上で、鮮明化ボタンＫｂ１１または鮮明化ボタンＫｂ１２を押下すると、鮮明化処理部（図示省略）は、このフレーム画像Ｆ（５）を基準フレーム画像とした第１モードまたは第２モードの鮮明化処理を実行し、高画質化の度合いの高い高解像度の画像を生成する。
【００７５】
Ｃ２．実施例の効果：
第３の実施例では、推奨度表示ダイアログＤｇに第１〜第３の鮮明化処理の各モードに対応した鮮明化ボタンＫｂ１１〜Ｋｂ１３を備えると共に、画像表示枠Ｗ１に動画像を表示する際、画像表示枠Ｗ１に表示された瞬間のフレーム画像の、各モードの総合推奨度を、それぞれ、鮮明化ボタンＫｂ１１〜Ｋｂ１３の色の明るさで示すようにしている。従って、ユーザは、これら鮮明化ボタンＫｂ１１〜Ｋｂ１３の色の明るさを確認することで、各フレーム画像が鮮明化処理に適しているか否かを、実際に鮮明化処理を行うことなく判断できるので、高画質化の度合いの高い高解像度の画像を短時間で得ることが可能となる。
また、鮮明化処理の各モードに対応した鮮明化ボタンＫｂ１１〜Ｋｂ１３を同時に表示するようにしているので、ユーザは、表示された瞬間のフレーム画像が、それぞれのモードの鮮明化処理に適しているか否かを、同時に判断することができる。
【００７６】
Ｄ．第４の実施例：
前述の第１の実施例では、推奨度表示ダイアログＤｇにおいて、総合推奨度を推奨度表示枠Ｗ２にグラフとして示したが、本実施例では、総合推奨度に対して、予め、鮮明化処理に適していると判断するしきい値を設定しておき、表示されたフレーム画像の総合推奨度がこのしきい値以上である場合に、鮮明化ボタンを押下可能な表示状態にすることにより、総合推奨度を示すようにする。
【００７７】
なお、本実施例における画像処理装置の装置構成は、図１に示す装置構成と同じであり、また、本実施例における推奨度表示処理及び総合推奨度算出処理の手順については、それぞれ図２及び図３に示すフローチャートと同じであるので、説明を省略する。
また、本実施例では、前述の総合推奨度に対するしきい値が５０％として予め設定されて、しきい値データ（図示省略）としてメモリ１０２に記憶されている。そして、表示処理部１０１ａが、図２に示すステップＳ２０６の処理を実行する際、メモリ１０２から、総合推奨度データ１０２ｆを読み出すと共に、前述のしきい値データを読み出し、総合推奨度データ１０２ｆの示す各値が、それぞれしきい値の５０％以上であるか否かを判定する。
【００７８】
Ｄ１．総合推奨度の表示：
図９は、第４の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図である。図９において、画像表示枠Ｗ１，スライドバーＳｂ１，操作部２０は、それぞれ図６と同じであるので、説明を省略する。
本実施例における推奨度表示ダイアログＤｇは、前述の画像表示枠Ｗ１等の他に、第３の実施例と同様に、第１〜第３モードの鮮明化処理の各モードに対応した鮮明化ボタンＫｂ２１〜Ｋｂ２３を備えている。
【００７９】
そして、画像表示枠Ｗ１に動画像が再生表示されると、各鮮明化ボタンＫｂ２１〜Ｋｂ２３は、画像表示枠Ｗ１に表示された瞬間のフレーム画像について、前述のように、総合推奨度がしきい値の５０％以上であると判定された場合、押下可能な表示状態となり、一方、しきい値５０％よりも小さいと判定された場合、グレーアウトして、押下できない表示状態となる。
【００８０】
図９に示す推奨度表示ダイアログＤｇの表示状態は、動画像の再生が始まり、フレーム画像Ｆ（３０）が画像表示枠Ｗ１に表示された瞬間の表示状態である。
図５に示すように、フレーム画像Ｆ（３０）の、第１〜第３モードの総合推奨度は、それぞれ、５０％，１７％，７％であり、第１モードのみしきい値（５０％）以上となっている。従って、図９に示すように、鮮明化ボタンＫｂ２１のみ押下可能な表示状態となり、鮮明化ボタンＫｂ２２，Ｋｂ２３は、それぞれグレーアウトして押下できない表示状態となっている。そして、ユーザは、この鮮明化ボタンＫｂ２１〜Ｋｂ２３の表示状態から、第２，第３モードでの総合推奨度が５０％よりも小さく、一方、第１モードでの総合推奨度が５０％以上であると読み取ることができる。従って、ユーザは、このフレーム画像Ｆ（３０）が第１モードの鮮明化処理に適しており、フレーム画像Ｆ（３０）を基準フレーム画像として第１モードの鮮明化処理を施すと、高画質化の度合いの高い高解像度の画像が得られると判断することができる。
そして、この判断に基づき、ユーザが動画像の再生を一時停止させてこのフレーム画像Ｆ（３０）を基準フレーム画像として特定した上で、鮮明化ボタンＫｂ２１を押下すると、鮮明化処理部（図示省略）は、このフレーム画像Ｆ（３０）を基準フレーム画像とした第１モードの鮮明化処理を実行し、高画質化の度合いの高い高解像度の画像を生成する。
【００８１】
Ｄ２．実施例の効果：
第４の実施例では、推奨度表示ダイアログＤｇに第１〜第３の鮮明化処理の各モードに対応した鮮明化ボタンＫｂ２１〜Ｋｂ２３を備えると共に、画像表示枠Ｗ１に動画像を表示する際、画像表示枠Ｗ１に表示された瞬間のフレーム画像の、各モードの総合推奨度が、しきい値以上であれば、これら鮮明化ボタンＫｂ２１〜Ｋｂ２３を、それぞれ押下可能な表示状態とし、しきい値よりも小さければ、押下することができない表示状態としている。従って、ユーザは、これら鮮明化ボタンＫｂ２１〜Ｋｂ２３の表示状態を確認することで、このフレーム画像の総合推奨度が、予め設定したしきい値以上であるか否かを簡単に判断できるので、各フレーム画像が鮮明化処理に適しているか否かを、実際に鮮明化処理を行うことなく判断することができる。従って、高画質化の度合いの高い高解像度の画像を短時間で得ることが可能となる。
また、鮮明化処理の各モードに対応した鮮明化ボタンＫｂ２１〜Ｋｂ２３を同時に表示するようにしているので、ユーザは、表示された瞬間のフレーム画像が、それぞれのモードの鮮明化処理に適しているか否かを、同時に判断することができる。
【００８２】
Ｅ．第５の実施例：
前述の第１の実施例では、推奨度表示ダイアログＤｇにおいて、総合推奨度を推奨度表示枠Ｗ２にグラフとして示したが、本実施例では、総合推奨度を複数段階のレベルで表示するインジケータを用いて示すようにする。
【００８３】
なお、本実施例における画像処理装置の装置構成は、図１に示す装置構成と同じであり、また、本実施例における推奨度表示処理及び総合推奨度算出処理の手順については、それぞれ図２及び図３に示すフローチャートと同じであるので、説明を省略する。
ここで、前述の総合推奨度の複数段階のレベルは、０％〜１００％を１０％毎に区切った、第１〜第１０までの１０段階のレベルであり、表示処理部１０１ａは、図２に示すステップＳ２０６の処理を実行する際、メモリ１０２から総合推奨度データ１０２ｆを読み出して、このレベルを決定する。
【００８４】
Ｅ１．総合推奨度の表示：
図１０は、第５の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図である。
図１０において、推奨度インジケータＩｄ以外は、図６に示す画像表示枠Ｗ１，スライドバーＳｂ１，スライダｓｄ，操作部２０，プルダウンボタンＰｂ，モード表示枠Ｗ３，プルダウンメニューＰｍ，鮮明化ボタンＫｂ１と、それぞれ同じであるので、説明を省略する。
【００８５】
推奨度インジケータＩｄは、１０の領域に分けられており、１つの領域は前述の１レベルに相当する。そして、第１レベル（総合評価値＝０〜１０％）ならば一番左の領域が点灯し、第２レベル（総合評価値＝１１％〜２０％）ならば、一番左及びその右隣りの２つの領域が点灯するというように、レベルが上がるに従って、点灯する領域が左から右へだんだんと増えていき、第１０レベル（総合評価値＝９１％〜１００％）で、全ての領域が点灯する。
そして、表示処理部１０１ａは、画像表示枠Ｗ１に表示された瞬間のフレーム画像の、総合推奨度のレベルに対応した領域を点灯させる。
【００８６】
図１０に示す推奨度表示ダイアログＤｇの表示状態は、動画像の再生が始まり、フレーム画像Ｆ（３０）が画像表示枠Ｗ１に表示された瞬間の表示状態である。
図５に示すように、フレーム画像Ｆ（３０）の第１モードの総合推奨度は、５０％であるので、表示処理部１０１ａは、第５レベルと決定し、推奨度インジケータＩｄの左側半分の領域を点灯させる。従って、ユーザは、このフレーム画像Ｆ（３０）の第１モードの総合推奨度が４１％〜５０％であることを読み取ることができる。従って、ユーザは、このフレーム画像Ｆ（３０）が第１モードの鮮明化処理に適しており、フレーム画像Ｆ（３０）を基準フレーム画像として第１モードの鮮明化処理を施すと、高画質化の度合いの高い高解像度の画像が得られると判断することができる。
そして、この判断に基づき、ユーザが動画像の再生を一時停止させてこのフレーム画像Ｆ（３０）を基準フレーム画像として特定した上で、鮮明化ボタンＫｂ１を押下すると、鮮明化処理部（図示省略）は、このフレーム画像Ｆ（３０）を基準フレーム画像とした第１モードの鮮明化処理を実行し、高画質化の度合いの高い高解像度の画像を生成する。
【００８７】
なお、プルダウンメニューＰｍから、鮮明化処理の別のモードが選択されると、選択されたモードでの総合推奨度のレベルに応じて、推奨度インジケータＩｄの領域が点灯する。
【００８８】
Ｅ２．実施例の効果：
第５の実施例では、推奨度表示ダイアログＤｇの画像表示枠Ｗ１に動画像を表示する際、画像表示枠Ｗ１に表示された瞬間のフレーム画像の総合推奨度を、１０段階のレベルに分けて推奨度インジケータＩｄで表示するようにしている。従って、ユーザは、各フレーム画像の推奨度が、どの程度であるのかを簡単に判断できるので、各フレーム画像が鮮明化処理に適しているか否かを、実際に鮮明化処理を行うことなく判断することができる。従って、高画質化の度合いの高い高解像度の画像を短時間で得ることが可能となる。
【００８９】
Ｆ．第６の実施例：
前述の第１の実施例では、推奨度表示ダイアログＤｇにおいて、総合推奨度を推奨度表示枠Ｗ２内にグラフとして示したが、本実施例では、総合推奨度に対して、予め、各モードの鮮明化処理に適していると判断するしきい値を設定しておくと共に、表示されたフレーム画像の、或るモードでの総合推奨度がしきい値以上であれば、プルダウンメニューＰｍにおいて、そのモードを選択可能な表示状態とすることにより、総合推奨度を示すようにする。
【００９０】
なお、本実施例における画像処理装置の装置構成は、図１に示す装置構成と同じであり、また、本実施例における推奨度表示処理及び総合推奨度算出処理の手順については、それぞれ図２及び図３に示すフローチャートと同じであるので、説明を省略する。
また、本実施例では、前述の総合推奨度に対するしきい値が５０％として予め設定されて、しきい値データ（図示省略）としてメモリ１０２に記憶されている。そして、表示処理部１０１ａが、図２に示すステップＳ２０６の処理を実行する際、メモリ１０２から、総合推奨度データ１０２ｆを読み出すと共に、前述のしきい値データを読み出し、総合推奨度データ１０２ｆの示す各値が、それぞれしきい値の５０％以上であるか否かを判定する。
【００９１】
Ｆ１．総合推奨度の表示：
図１１は、第６の実施例における、図５に示す推奨度を表示する推奨度表示ダイアログＤｇを示す説明図である。図１１において、画像表示枠Ｗ１，スライドバーＳｂ１，スライダｓｄ，操作部２０，モード表示枠Ｗ３，プルダウンボタンＰｄは、それぞれ図６と同じであるので、説明を省略する。
【００９２】
本実施例では、プルダウンボタンＰｂが押下されると、図６に示すプルダウンメニューＰｍと同様なプルダウンメニューＰｍ２が表示され、このプルダウンメニューＰｍ２には、第１〜第３の鮮明化処理の各モード名が表示される。そして、この各モード名の表示状態は、総合推奨度がしきい値５０％以上であると判定された場合、選択可能な表示状態となり、一方、しきい値５０％よりも小さいと判定された場合、グレーアウトして、選択できない表示状態となる。
【００９３】
図１１に示す推奨度表示ダイアログＤｇの表示状態は、動画像の再生が始まり、フレーム画像Ｆ（３０）が画像表示枠Ｗ１に表示された瞬間の表示状態である。なお、このフレーム画像Ｆ（３０）が表示された瞬間に、ユーザが動画像の再生を一時停止させている。
このとき、ユーザがプルダウンボタンＰｂを押下すると、図１１に示すようにプルダウンメニューＰｍ２が表示される。
【００９４】
図５に示すように、フレーム画像Ｆ（３０）の、第１〜第３モードの総合推奨度は、それぞれ、５０％，１７％，７％であり、第１モードのみしきい値（５０％）以上となっている。従って、図１１に示すように、プルダウンメニューＰｍ２の第１モードのみが選択可能な表示状態となり、第２，第３モードは、それぞれグレーアウトして選択できない表示状態となっている。そして、ユーザは、このプルダウンメニューＰｍ２の各モード名の表示状態から、第２，第３モードでの総合推奨度が５０％よりも小さく、一方、第１モードでの総合推奨度が５０％以上であると読み取ることができる。従って、ユーザは、このフレーム画像Ｆ（３０）が第１モードの鮮明化処理に適しており、フレーム画像Ｆ（３０）を基準フレーム画像として第１モードの鮮明化処理を施すと、高画質化の度合いの高い高解像度の画像が得られると判断することができる。
そして、この判断に基づき、ユーザが動画像の再生を一時停止させてこのフレーム画像Ｆ（３０）を基準フレーム画像として特定した上で、鮮明化ボタンＫｂ１を押下すると、鮮明化処理部（図示省略）は、このフレーム画像Ｆ（３０）を基準フレーム画像とした第１モードの鮮明化処理を実行し、高画質化の度合いの高い高解像度の画像を生成する。
【００９５】
Ｆ２．実施例の効果：
第６の実施例では、動画像を再生中にユーザが一時停止させ、基準フレーム画像として特定したフレーム画像について、各モードでの総合推奨度がしきい値以上であるか否かを、プルダウンメニューＰｍ２に表示される各モード名の表示状態を変えることで示すようにしている。従って、ユーザは、特定したフレーム画像の総合推奨度が、予め設定したしきい値以上であるか否かを簡単に判断できるので、各フレーム画像が鮮明化処理に適しているか否かを、実際に鮮明化処理を行うことなく判断することができる。従って、高画質化の度合いの高い高解像度の画像を短時間で得ることが可能となる。
また、プルダウンメニューＰｍ２には、第１〜第３の鮮明化処理の全てのモードが表示されるので、ユーザは、表示された瞬間のフレーム画像が、それぞれのモードの鮮明化処理に適しているか否かを、同時に判断することができる。
【００９６】
Ｇ．変形例：
なお、本発明は、前述の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様において実施することが可能であり、例えば以下のような変形も可能である。
【００９７】
Ｇ１．変形例１：
前述の第１〜第６の実施例では、推奨度表示ダイアログＤｇにおいて、動画像と共に、総合推奨度を示すようにしていたが、総合推奨度に代えて、若しくは、総合推奨度と共に、動き推奨度又は位置ずれ推奨度を示すようにしてもよい。
【００９８】
Ｇ２．変形例２：
前述の第１〜第６の実施例において、位置ずれ推奨度は、対象フレーム画像の全画素数に対する、合成利用画素数の割合をパーセントで示した値として算出されるので、対象フレーム画像と基準フレーム画像とがぴったり一致した時が１００％となり、最も推奨度が高くなっていた。ここで、基準フレーム画像と対象フレーム画像とがぴったり一致する場合、基準フレーム画像と対象フレーム画像とを合成して高解像度の画像を生成しても、基準フレーム画像を解像度変換したのと同じこととなり、高画質化は期待できない。
【００９９】
鮮明化処理において、基準フレーム画像に対する対象フレーム画像の最も理想的な位置ずれは、半画素ずつ横方向及び縦方向にずれる位置ずれである。そして、この位置ずれの場合の合成利用画素数は、対象フレーム画像の横及び縦の画素数をそれぞれＮｗ及びＮｈとした場合、（Ｎｗ−１）×（Ｎｈ−１）となる。そこで、位置ずれ推奨度を、この（Ｎｗ−１）×（Ｎｈ−１）の値に対する、合成利用画素数の割合をパーセントで示した値として算出するようにしてもよい。
または、位置ずれ推奨度の算出方法はそのままで、算出した位置ずれ推奨度が１００％になった場合、位置ずれ推奨度を０％に置き換えるようにしてもよい。
【０１００】
なお、位置ずれ量が、縦ずれ量のみで、横ずれ量及び回転ずれ量がない場合、横方向には、高画質化は期待できないので、例えば、位置ずれ推奨度を１／２にするといったように、算出した位置ずれ推奨度を補正するようにしてもよい。なお、位置ずれが横ずれ量のみの場合も同様である。
以上のようにすることで、実際の鮮明化処理に即した、正確な総合推奨度を算出することが可能となる。
【０１０１】
Ｇ３．変形例３：
前述の第１〜第６の実施例では、位置ずれ量データ１０２ａ，合成利用画素数データ１０２ｂ，動きなし画像数データ１０２ｃ，動き推奨度データ１０２ｄ，位置ずれ推奨度データ１０２ｅ，総合推奨度データ１０２ｆを、それぞれ、メモリ１０２に記憶させるようにしていたが、これらのデータを、動画像データ１０３ｍの一部として記憶するようにしてもよい。
このようにすることで、前述のデータを一部として記憶した動画像データ１０３ｍを、ＤＶＤ等の記録媒体に保存しておけば、動画像データ１０３ｍの総合推奨度を、他の画像処理装置で確認する場合、このＤＶＤ等の記録媒体から動画像データ１０３ｍを読み出す際に、併せて、前述のデータを読み出すことが可能になるので、総合推奨度算出処理を実行する必要がなく、迅速に総合推奨度を確認することができる。
【０１０２】
Ｇ４．変形例４：
前述の第２，第４，第６の実施例において、総合推奨度に対するしきい値として、５０％を設定していたが、この値に限らず、例えば、８０％など他の値であっても構わない。また、総合推奨度に対するしきい値に変えて、動き推奨度及び位置ずれ推奨度に対して、それぞれしきい値を設定するようにしてもよい。
【０１０３】
なお、ユーザが、位置ずれ推奨度に対してしきい値を設定する場合、位置ずれ推奨度自体のしきい値でなく、何画素分のずれまで許容するかという、ずれの画素数の許容値をしきい値として設定するようにしてもよい。具体的には、例えば、縦及び横について、それぞれ２０画素までのずれを許容するとして、ユーザが、「２０画素」を設定するようにしてもよい。
そして、対象フレーム画像の横および縦の画素数をそれぞれＮｗ及びＮｈとし、前述の変形例２のように、重なり部分にある画素数が（Ｎｗ−１）×（Ｎｈ−１）の時に位置ずれ推奨度が１００％になるとして、前述のように、ユーザが「２０画素」をしきい値として設定した場合、画像処理装置は、（Ｎｗ−１）×（Ｎｈ−１）に対する（Ｎｗ−２０）×（Ｎｈ−２０）の割合をパーセントで示した値を、位置ずれ推奨度のしきい値として算出するようにすればよい。
【０１０４】
Ｇ５．変形例５：
前述の第１〜第６の実施例では、動き推奨度を算出する際に、画像単位で動きの部分であるか否か判定し、動きなし画素数をカウントして、動き推奨度を算出するようにしていたが、これに代えて、ブロック単位で動きベクトル求めて、動き推奨度を算出するようにしてもよい。
【０１０５】
具体的には、まず、基準フレーム画像及び対象フレーム画像を、それぞれ縦×横の画素数が、８×８又は１６×１６等のブロックに分割し、基準フレーム画像の各ブロックに対する、対象フレーム画像の同じ位置のブロックの動きベクトルを、それぞれ算出する。次に、算出した各ブロックの動きベクトルの平均を算出し、この平均の動きベクトルと各ブロックの動きベクトルとを比較して、大きさ及び方向の差分を求める。なお、この動きベクトルの大きさ及び方向の差分について、予めしきい値を設定しておく。次に、このしきい値よりも前述の差分が小さいブロックをカウントする。ここで、しきい値以上のブロックは、他のブロックに比べて動きベクトルが大きく異なっているので、「動き」のあるブロックとして判断することができる。そして、全ブロック数に対する、しきい値よりも差分が小さいブロック数の割合をパーセントで示した値を、動き推奨度として算出する。
このようにすることで、画素毎に動きなし画素か否かを判定することがないので、動き推奨度の算出を短時間で実行することが可能となる。
【０１０６】
Ｇ６．変形例６：
前述の第５の実施例では、総合推奨度のレベルは、１０段階であったが、この１０段階に限定されるものではなく、１０よりも少ない、もしくは多い段階であっても構わない。
【０１０７】
Ｇ７．変形例７：
前述の第１〜第６の実施例において、ハードウェアによって実現されていた構成の一部を、ソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアによって置き換えるようにしてもよい。例えば、前述の位置ずれ量を算出する処理をハードウェア回路で実行するようにしてもよい。
【０１０８】
Ｇ８．変形例８：
前述の実施例では、動画像データ１０３ｍが記録されている記録媒体として、ＤＶＤ１１２ｄを用いていたが、ＤＶＤ１１２ｄに代えて、ＭＯ，ＣＤ−Ｒ／ＲＷ，磁気テープ，メモリカード等、他の記録媒体を用いることも可能である。
【０１０９】
Ｇ９．変形例９：
前述の第１〜第６の実施例において、鮮明化処理は、２枚，４枚，または８枚のフレーム画像を合成するものとしたが、これら枚数に限らず、２枚以上のフレーム画像を合成するものであればよい。
【図面の簡単な説明】
【０１１０】
【図１】本発明の第１の実施例における画像処理装置の概要構成を示す説明図。
【図２】第１の実施例における推奨度表示処理の手順を示すフローチャート。
【図３】総合推奨度算出処理の手順を示すフローチャート。
【図４】基準フレーム画像と対象フレーム画像との重なり部分を拡大して示した説明図。
【図５】メモリ１０２に記憶された総合推奨度データ１０２ｆを示す説明図。
【図６】第１の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログを示す説明図。
【図７】第２の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図。
【図８】第３の実施例のおける、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図。
【図９】第４の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図。
【図１０】第５の実施例における、図５に示す総合推奨度を表示する推奨度表示ダイアログＤｇを示す説明図。
【図１１】第６の実施例における、図５に示す推奨度を表示する推奨度表示ダイアログＤｇを示す説明図。
【図１２】２枚のフレーム画像を用いた鮮明化処理の概要を模式的に示した説明図。
【符号の説明】
【０１１１】
１０...画像処理装置
２０...操作部
２１...再生ボタン
２２...一時停止ボタン
１００...コンピュータ
１０１...ＣＰＵ
１０１ａ...表示処理部
１０１ｂ...推奨度算出部
１０２...メモリ
１０２ａ...位置ずれ量データ
１０２ｂ...合成利用画素数データ
１０２ｃ...動きなし画素数データ
１０２ｄ...動き推奨度データ
１０２ｅ...位置ずれ推奨度データ
１０２ｆ...総合推奨度データ
１０３...ハードディスク
１０３ｍ...動画像データ
１０４...入出力インタフェース部
１０５...内部バス
１１０...キーボード
１１１...マウス
１１２...ＤＶＤドライブ
１１２ｄ...ＤＶＤ
１１３...ディスプレイ
Ｄｇ...推奨度表示ダイアログ
Ｇ１〜Ｇ４...画素
Ｇｐ...判定画素
Ｉｄ...推奨度インジケータ
Ｋｂ１、Ｋｂ１１〜Ｋｂ１３、Ｋｂ２１〜Ｋｂ２３...鮮明化ボタン
Ｐｂ...プルダウンボタン
Ｐｍ、Ｐｍ２...プルダウンメニュー
Ｓｂ１、Ｓｂ２...スライドバー
ｓｄ...スライダ
Ｗ１...画像表示枠
Ｗ２...推奨度表示枠
Ｗ３...モード表示枠
【図１】
2006020137.tif 000003
【図２】
2006020137.tif 000004
【図３】
2006020137.tif 000005
【図４】
2006020137.tif 000006
【図５】
2006020137.tif 000007
【図６】
2006020137.tif 000008
【図７】
2006020137.tif 000009
【図８】
2006020137.tif 000010
【図９】
2006020137.tif 000011
【図１０】
2006020137.tif 000012
【図１１】
2006020137.tif 000013
【図１２】
2006020137.tif 000014