(57)【要約】【課題】  画像処理による画質等の差違が画像の細部において顕著となるような画像処理を用いた場合には、その画像処理の効果が分かりづらかった。【解決手段】  画像処理前後の画像における、同じ位置のブロックの、同じ位置にある画素の画素値の差分を算出する。なお、画像処理前後の画像の解像度が異なる場合には、処理前の画像の解像度を調整して、処理後の画像の解像度と等しくして、上述の差分を算出する。この算出された画素毎の画素値の差分を用いてブロック全体としての画素値の差分を算出し、この差分をブロック間で比較して、差分が最大となるブロックを特定する。この特定されたブロック内の所定の領域を拡大した画像を、画像処理前後の画像の画像データからそれぞれ生成して、同一画面上に表示する。このようにすることで画像処理の効果が顕著な領域が拡大表示され、画像処理の効果が確認し易くなる。【選択図】  図１
2005122601.tif 000002
【特許請求の範囲】
【請求項１】
第１の静止画像と、前記第１の静止画像に対して所望の画像処理を施した結果得られる第２の静止画像と、を表示することが可能な画像処理装置であって、
前記第１の静止画像と、前記第２の静止画像と、を比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となる領域を特定する領域特定処理部と、
前記第１の静止画像における前記特定領域を拡大して第１の領域拡大画像を得ると共に、前記第２の静止画像における前記特定領域を拡大して第２の領域拡大画像を得る拡大処理部と、
前記第１の領域拡大画像と、前記第２の領域拡大画像と、を並列して表示させる表示処理部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第１の静止画像と、前記第２の静止画像と、で解像度が異なる場合には、前記第１の静止画像の解像度を調整して前記第２の静止画像の解像度と等しくする解像度調整部をさらに備えると共に、
前記領域特定処理部は、解像度を調整された前記第１の静止画像と、前記第２の静止画像と、を比較することを特徴とする画像処理装置。
【請求項３】
請求項１または請求項２のいずれかに記載の画像処理装置において、
前記第１の静止画像または前記第２の静止画像から前記特定領域を含む第３の静止画像を生成する特定領域画像生成部をさらに備えると共に、
前記表示処理部は、前記第３の静止画像と、前記第３の静止画像内での前記特定領域の位置を示すマークと、を表示させることを特徴とする画像処理装置。
【請求項４】
請求項１ないし請求項３のいずれかに記載の画像処理装置において、
前記領域特定部は、前記第１の静止画像と、前記第２の静止画像と、をそれぞれ同様な複数のブロックに分け、前記第１の静止画像と前記第２の静止画像について、同じ位置にある前記ブロック同士を順次比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となるブロックを導き出し、そのブロックに基づいて、前記所定領域を特定することを特徴とする画像処理装置。
【請求項５】
請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
前記所望の画像処理は、複数の比較的低解像度な静止画像から１枚の比較的高解像度な静止画像を生成する画像処理であることを特徴とする画像処理装置。
【請求項６】
第１の静止画像と、前記第１の静止画像に対して所望の画像処理を施した結果得られる第２の静止画像と、を表示するための画像処理方法であって、
（ａ）前記第１の静止画像と、前記第２の静止画像と、を比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となる領域を特定する工程と、
（ｂ）前記第１の静止画像における前記特定領域を拡大して第１の領域拡大画像を得ると共に、前記第２の静止画像における前記特定領域を拡大して第２の領域拡大画像を得る工程と、
（ｃ）前記第１の領域拡大画像と、前記第２の領域拡大画像と、を並列して表示する工程と、
を備える画像処理方法。
【請求項７】
請求項６に記載の画像処理方法において、
前記第１の静止画像と、前記第２の静止画像と、で解像度が異なる場合には、
（ｄ）前記第１の静止画像の解像度を調整して前記第２の静止画像の解像度と等しくする工程をさらに備えると共に、
前記工程（ａ）では、解像度を調整された前記第１の静止画像と、前記第２の画像と、を比較することを特徴とする画像処理方法。
【請求項８】
請求項６または請求項７のいずれかに記載の画像処理方法において、
（ｅ）前記第１の静止画像または前記第２の静止画像から前記特定領域を含む第３の静止画像を生成する工程と、
（ｆ）前記第３の静止画像と、前記第３の静止画像内での前記特定領域の位置を示すマークと、を表示する工程と、
をさらに備えることを特徴とする画像処理方法。
【請求項９】
請求項６ないし請求項８のいずれかに記載の画像処理装置において、
前記工程（ａ）では、前記第１の静止画像と、前記第２の静止画像と、をそれぞれ同様な複数のブロックに分け、前記第１の静止画像と前記第２の静止画像について、同じ位置にある前記ブロック同士を順次比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となるブロックを導き出し、そのブロックに基づいて、前記所定領域を特定することを特徴とする画像処理方法。
【請求項１０】
請求項６ないし請求項９のいずれかに記載の画像処理方法において、
前記所望の画像処理は、複数の比較的低解像度な静止画像から１枚の比較的高解像度な静止画像を生成する画像処理であることを特徴とする画像処理方法。
【請求項１１】
第１の静止画像と、前記第１の静止画像に対して所望の画像処理を施した結果得られる第２の静止画像と、を表示させるためのプログラムであって、
前記第１の静止画像と、前記第２の静止画像と、を比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となる領域を特定する第１の機能と、
前記第１の静止画像における前記特定領域を拡大して第１の領域拡大画像を得ると共に、前記第２の静止画像における前記特定領域を拡大して第２の領域拡大画像を得る第２の機能と、
前記第１の領域拡大画像と、前記第２の領域拡大画像と、を並列して表示させる第３の機能と、
をコンピュータに実現させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムにおいて、
前記第１の静止画像と、前記第２の静止画像と、で解像度が異なる場合には、
前記第１の静止画像の解像度を調整して前記第２の静止画像の解像度と等しくする第４の機能を、さらにコンピュータに実現させると共に
前記第１の機能として、解像度を調整された前記第１の静止画像と、前記第２の静止画像と、を比較することを特徴とするプログラム。
【請求項１３】
請求項１１または請求項１２のいずれかに記載のプログラムにおいて、
前記第１の静止画像または前記第２の静止画像から前記特定領域を含む第３の静止画像を生成する第５の機能と、
前記第３の静止画像と、前記第３の静止画像内での前記特定領域の位置を示すマークと、を表示させる第６の機能と、
をさらにコンピュータに実現させるためのプログラム。
【請求項１４】
請求項１１ないし請求項１３のいずれかに記載のプログラムにおいて、
前記第１の機能は、前記第１の静止画像と、前記第２の静止画像と、をそれぞれ同様な複数のブロックに分け、前記第１の静止画像と前記第２の静止画像について、同じ位置にある前記ブロック同士を順次比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となるブロックを導き出し、そのブロックに基づいて、前記所定領域を特定する機能を含むことを特徴とするプログラム。
【請求項１５】
請求項１１ないし請求項１４のいずれかに記載のプログラムにおいて、
前記所望の画像処理は、複数の比較的低解像度な静止画像から１枚の比較的高解像度な静止画像を生成する画像処理であることを特徴とするプログラム。
【請求項１６】
請求項１１ないし請求項１５のいずれかに記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、或る画像に所望の画像処理を施した場合に、その画像処理の効果を確認するための技術に関し、特に、画像処理後の画像内において、最も画像処理の効果が大きい領域を拡大して表示することが可能な技術に関する。
【背景技術】
【０００２】
或る画像に対して、鮮明化、ぼかし、またはノイズ軽減等の画像処理を施した場合に、処理後の画像について、画像処理の効果を確認したい場合がある。一般的に、この画像処理の効果は、画像処理前後における、画像の画質等の差違として現れるので、この画像処理前後における、画像の画質等を比較することで、画像処理の効果を確認することができる。
従来より、複数の画像間における、画質等の差違を確認にするために、その差違をグラフで示したり、画像として表示したりする技術があった。
このような技術の一例としては、下記の特許文献１に記載されたものが知られている。
【０００３】
【特許文献１】特開平６−２３７９１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、画像処理による画質等の差違が、画像の細部において顕著となるような画像処理方法を用いた場合においては、画像処理前後における、画像の画質等の差違、つまり、画像処理の効果が、確認しづらいという課題があった。
【０００５】
本発明は、上述の課題を解決するためになされたものであり、画像の細部において、画質等の変化が顕著となるような画像処理を施した場合においても、容易にその画像処理の効果を確認できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上述の課題の少なくとも一部を解決するために、本発明の画像処理装置は、第１の静止画像と、前記第１の静止画像に対して所望の画像処理を施した結果得られる第２の静止画像と、を表示することが可能な画像処理装置であって、
前記第１の静止画像と、前記第２の静止画像と、を比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となる領域を特定する領域特定処理部と、
前記第１の静止画像における前記特定領域を拡大して第１の領域拡大画像を得ると共に、前記第２の静止画像における前記特定領域を拡大して第２の領域拡大画像を得る拡大処理部と、
前記第１の領域拡大画像と、前記第２の領域拡大画像と、を並列して表示させる表示処理部と、
を備えることを要旨とする。
【０００７】
本発明の画像処理装置では、領域特定処理部は、所望の画像処理を施す前の第１の静止画像と、所望の画像処理を施した結果得られる第２の静止画像と、を比較して、それぞれ同じ位置にある画素について、所定の画素値の変化を把握して、その変化が最大となる所定の領域を特定する。
一方、拡大処理部は、第１の静止画像および第２の静止画像における、領域特定処理部によって特定された所定の領域を、それぞれ拡大して、第１の領域拡大画像および第２の領域拡大画像を生成し、また、画像処理部は、拡大処理部によって生成された第１の領域拡大画像および第２の領域拡大画像を、それぞれ並べて表示させる。
【０００８】
画像に所望の画像処理を施した場合に、処理後の画像において、その画像処理の効果が大きい部分は、当然に、その部分における画素の所定画素値が、処理前に比べて大きく変化しているものと仮定すると、上述のような構成とすることで、上述の画像処理の効果が最大となる領域を特定することができる。しかも、画像処理前後の画像について、その特定した領域を拡大し、並列して表示することで、一見して、画像処理前後の画像を比較することができると共に、その画像処理が、画像の細部において、画質が変化するような画像処理であったとしても、その画像処理の効果が確認しやすくなる。
【０００９】
また、本発明の画像処理装置において、前記第１の静止画像と、前記第２の静止画像と、で解像度が異なる場合には、前記第１の静止画像の解像度を調整して前記第２の静止画像の解像度と等しくする解像度調整部をさらに備えると共に、
前記領域特定処理部は、解像度を調整された前記第１の静止画像と、前記第２の静止画像と、を比較することが好ましい。
【００１０】
このような構成とすることで、仮に、第１の静止画像および第２の静止画像が、互いに解像度が異なる場合でも、第１の静止画像の解像度が、第２の静止画像の解像度と等しくなるように調整されるので、第１の静止画像および第２の静止画像において、それぞれ同じ位置に画素が存在することとなる。したがって、領域特定処理部は、第１の静止画像および第２の静止画像に含まれる全ての画素について、同じ位置にあるそれぞれの画素の画素値の変化を把握することができ、所定画素値の変化が最大となる領域を、正確に特定することができる。
【００１１】
また、本発明の画像処理装置において、前記第１の静止画像または前記第２の静止画像から前記特定領域を含む第３の静止画像を生成する特定領域画像生成部をさらに備えると共に、
前記表示処理部は、前記第３の静止画像と、前記第３の静止画像内での前記特定領域の位置を示すマークと、を表示させるようにしてもよい。
【００１２】
本発明において、仮に、所望の画像処理の効果が最大となる領域のみが拡大されて表示された場合には、その拡大表示された領域が、第１の静止画像および第２の静止画像の画像内で、どの位置にあたるかを確認しづらくなってしまう。しかし、上述のような構成とすることで、第１の静止画像および第２の静止画像の画像内における、上述の拡大表示された領域の位置を明確に示すことができ、第１の静止画像および第２の静止画像において、どの位置の領域が、画像処理の効果が最大であったのかを容易に確認することができる。
【００１３】
また、前記領域特定部は、前記第１の静止画像と、前記第２の静止画像と、をそれぞれ同様な複数のブロックに分け、前記第１の静止画像と前記第２の静止画像について、同じ位置にある前記ブロック同士を順次比較して、前記所望の画像処理の前後において、所定画素値の変化が最大となるブロックを導き出し、そのブロックに基づいて、前記所定領域を特定するようにしてもよい。
【００１４】
このような構成とすることで、ブロックに含まれる複数の画素の所定画素値の変化に基づいて、所望の画像処理の効果が最大となる領域を特定することになるので、信頼性の高い領域の特定が可能となる。
【００１５】
なお、前記所望の画像処理は、複数の比較的低解像度な静止画像から１枚の比較的高解像度な静止画像を生成する画像処理であってもよい。
【００１６】
なお、本発明は、以下に示すような種々の態様で実現することが可能である。
（１） 画像処理方法。
（２） 上述の画像処理装置や画像処理方法を実現するためのコンピュータプログラム。
【００１７】
本発明をコンピュータプログラムまたはそのプログラムを記録した記録媒体として構成する場合には、上述の画像処理装置の動作を制御するプログラム全体として構成するものとしてもよいし、本発明の機能を果たす部分のみを構成するものとしてもよい。また、記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ／ＲＡＭ、光磁気ディスク、ＩＣカード、メモリカード、磁気テープ、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置などコンピュータが読み取り可能な種々の媒体を利用できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ１．装置構成：
Ａ２．具体的な動作：
Ａ３．鮮明化処理の詳細動作：
Ａ４．実施例の効果：
Ｂ．変形例
【００１９】
Ａ．実施例：
Ａ１．装置構成：
図２は、本発明の実施例における画像処理装置１０の概略構成を示す説明図である。画像処理装置１０は、コンピュータ２０と、コンピュータ２０にデータを入力するための装置として、キーボード３０、マウス３１、ビデオカメラ３２、およびＤＶＤドライブ３３と、画像等を出力する装置として、ディスプレイ４０、およびプリンタ４１と、を備えている。なお、ビデオカメラ３２は、動画像の撮影の他に、挿入される磁気テープ３５に保存されている静止画像データや動画像データを読み出すことができる。またＤＶＤドライブ３３は、挿入されるＤＶＤ３４に保存されている静止画像データや、動画像データを読み出すことができる。
【００２０】
コンピュータ２０は、ＣＰＵ２１、メモリ２２、ハードディスク２３、および入出力インタフェース部２４を備えており、それぞれ内部バス２５によって接続されている。ここで、入出力インタフェース部２４は、コンピュータ２０に対して、上述のキーボード３０、マウス３１、ビデオカメラ３２、ＤＶＤドライブ３３、ディスプレイ４０、およびプリンタ４１を、それぞれ接続するためのインタフェース群からなる機能部である。
【００２１】
コンピュータ２０では、所定のオペレーティングシステムの下、アプリケーションプログラム１００が動作することとなる。なお、このオペレーティングシステムには、各種ドライバが組み込まれ、上述のキーボード３０、マウス３１、ビデオカメラ３２、ＤＶＤドライブ３３、ディスプレイ４０、およびプリンタ４１が制御される。このアプリケーションプログラム１００が、起動されてメモリ２２にロードされると、ＣＰＵ２１は、アプリケーションプログラム１００を実行することにより、画像処理部１００ａ，１フレーム高解像度化処理部１００ｂ，領域特定処理部１００ｃ，拡大処理部１００ｄ，および表示処理部１００ｅとして機能することとなる。
なお、１フレーム高解像度化処理部１００ｂは、請求項に記載の解像度調整部、および特定領域画像生成部に該当し、領域特定処理部１００ｃは、請求項に記載の領域特定処理部に該当し、拡大処理部１００ｄは、請求項に記載の拡大処理部に該当し、表示処理部１００ｅは、請求項に記載の表示処理部に該当する。
【００２２】
Ａ２．具体的な動作：
本実施例では、画像に所望の画像処理を施した後、効果明確化処理として、画像処理後の画像において、その画像処理の効果が大きい領域を特定し、その特定した領域を拡大して表示することにより、ユーザが容易にその画像処理の効果を確認できるようにするものである。
なお、画像に施す画像処理としては、動画像から高解像度で高画質な静止画像を生成するための鮮明化処理を行う場合を例として説明する。
また、本実施例では、画像に所望の画像処理を施した場合に、処理後の画像において、その画像処理の効果が大きい部分は、当然に、その部分の画素の画素データ（画素値）が、処理前に比べて大きく変化しているものと仮定して、各画素の処理前後の画素データの変化に求めることにより、処理後の画像における画像処理の効果の大きい領域を特定するようにしている。
なお、画像を構成する各画素の画素データとしては、輝度と色差の情報であるＹＣｒＣｂデータを用いており、そのＹＣｒＣｂデータのうち、特に、輝度値Ｙについて、処理前後の変化を求めて、画像処理の効果が大きい領域を特定するようにしている。
【００２３】
図１は、本実施例における画像処理装置１０のユーザインタフェースを示す説明図である。図１において、（Ａ）は、ディスプレイ４０上に表示されるムービ操作ダイアログＤ１を示す説明図である。また、（Ｂ）は、鮮明化処理の結果得られるフレーム画像のブロック分割例を示す説明図である。また、（Ｃ）は、ディスプレイ４０上に表示される鮮明化ダイアログＤ２を示す説明図である。
【００２４】
図２において、ビデオカメラ３２に挿入された、磁気テープ３５に保存されている動画像データや、ＤＶＤドライブ３３に挿入された、ＤＶＤ３４に保存されている動画像データが、キーボード３０やマウス３１の操作により指定され、読み出されると、図１（Ａ）に示すように、ディスプレイ４０上にムービ操作ダイアログＤ１が表示される。このとき、このムービ操作ダイアログＤ１内の画像表示枠Ｗ１１内には、指定された動画像データの先頭のフレーム画像が静止画像として表示される。
【００２５】
上述の指定された動画像データがファイルとして存在するのであれば、そのファイル名もムービ操作ダイアログＤ１内に表示される。例えば、図１（Ａ）では、Ｍｏｖｉｅ００１．ａｖｉという動画像ファイルが指定されたとして、そのファイル名が表示されている。その他に、ムービ操作ダイアログＤ１内には、図１（Ａ）に示すように、上述の指定された動画像の再生、停止、早送り、戻し、一時停止、のそれぞれの操作ボタンを含む動画像操作メニューＭ１が表示される。
また、動画像操作メニューＭ１内の再生操作ボタンｍ１０が、キーボード３０やマウス３１の操作によって選択されると、動画像の再生が始まり、画像表示枠Ｗ１１内に動画が表示される。更に、この動画像の再生中に、動画像操作メニューＭ１内の一時停止操作ボタンｍ１１が選択されると、動画像の再生が停止し、図１（Ａ）に示すように、そのタイミングで画像表示枠Ｗ１１に表示されていたフレーム画像が、静止画像として表示される。
そして、ムービダイアログＤ１内には、この表示されたフレーム画像に対して、各種処理を施すための静止画像操作メニューＭ２も表示されることとなる。この静止画像操作メニューＭ２には、「鮮明化」操作ボタンｍ２０、「プリント」操作ボタンｍ２１、および「保存」操作ボタンｍ２２が含まれる。
この状態において、「プリント」操作ボタンｍ２１が、図２に示すキーボード３０やマウス３１の操作によって選択されると、画像表示枠Ｗ１１に表示されているフレーム画像の画像データが、動画像データの中から抽出され、図２に示すプリンタ４１に送られてフレーム画像が印刷される。また、「保存」操作ボタンｍ２２が、キーボード３０やマウス３１の操作によって選択されると、画像表示枠Ｗ１１に表示されているフレーム画像の画像データが、動画像データの中から抽出され、図２に示すハードディスク２３や、ＤＶＤ３４に保存される。
一方、「鮮明化」操作ボタンｍ２０が、キーボード３０やマウス３１の操作によって選択されると、ディスプレイ４０上に図１（Ｃ）に示す鮮明化ダイヤログＤ２が表示され、鮮明化処理と、その後に、本発明の特徴部分である効果明確化処理と、が実行される。
図１（Ａ）に示す「鮮明化」操作ボタンｍ２０が選択されると、図２に示すＣＰＵ２１の機能部である画像処理部１００ａによって、まず、鮮明化処理が実行される。
鮮明化処理では、まず、フレーム画像ＦＡを含む複数枚のフレーム画像の画像データが、動画像データから切り出され、図２に示すメモリ２２に格納される。（なお、この動画像データからの切り出しおよびメモリ２２への格納を、以下「キャプチャ」と呼ぶ。）そして、このキャプチャされた複数のフレーム画像の中から１つの基準フレーム画像と、それ以外の対象フレーム画像と、が決定され、これら基準フレーム画像および対象フレーム画像の画像データを利用して補間処理が行われ、基準フレーム画像を高解像度化した鮮明化処理画像ＦＢが生成される。そして、この鮮明化処理画像ＦＢの画像データが、メモリ２２に格納され、鮮明化処理は終了する。
なお、フレーム画像のキャプチャは、上述のように、鮮明化処理内で実行されても、図１に示す動画像操作メニューＭ１内の一時停止操作ボタンｍ１１が選択されたタイミングで実行されても構わない。
鮮明化処理の詳細な動作については後述するが、以下、鮮明化処理において、フレーム画像ＦＡが基準フレーム画像として選択されたものとし、また、フレーム画像ＦＡの解像度に対する鮮明化処理画像ＦＢの解像度の倍率が、倍率Ａであるものとする。
こうして、鮮明化処理が終了すると、次に、効果明確化処理が実行される。
【００２６】
図３は本発明の一実施例としての効果明確化処理の処理手順を示すフローチャートである。
効果明確化処理では、まず、１フレーム高解像度化処理（ステップＳ３）において、フレーム画像ＦＡを高解像度化して、鮮明化処理画像ＦＢと同じ解像度にする。この１フレーム高解像度化処理（ステップＳ３）は、図２に示す１フレーム高解像度化処理部１００ｂによって実行される。
【００２７】
１フレーム高解像度化処理（ステップＳ３）では、メモリ２２に格納されているフレーム画像ＦＡのみの画像データを用いて、補間処理を行って、鮮明化処理画像ＦＢと同じ解像度の１フレーム高解像度化画像ＦＣを得る。ただし、この補間処理方法としては、バイ・リニア法、バイ・キュービック法、またはニアレストネイバ法等のうち、鮮明化処理における補間処理と同じ補間処理方法を用い、かつ、同じ倍率Ａとする。
【００２８】
例えば、鮮明化処理において、バイ・リニア法を用いて補間処理を行い、フレーム画像ＦＡに対して１．５倍密に高解像度化された、鮮明化処理画像ＦＢを得た場合には、１フレーム高解像度化処理（ステップＳ３）においても、同様に、バイ・リニア法を用いて補間処理を行い、フレーム画像ＦＡに対して、１．５倍密に高解像度化された、１フレーム高解像度化画像ＦＣを得るものとする。
そして、このようにして得られた１フレーム高解像度化画像ＦＣの画像データは、メモリ２２に格納される。
【００２９】
１フレーム高解像度化処理（ステップＳ３）に引き続き、ブロック輝度差分算出処理（ステップＳ４）、およびブロック輝度差分最大ブロック特定処理（ステップＳ５）が、図２に示す領域特定処理部１００ｃによって実行される。
ブロック輝度差分算出処理（ステップＳ４）では、まず、１フレーム高解像度化画像ＦＣと鮮明化処理画像ＦＢとを比較して、対象ブロックとして同じ位置にあるブロックに着目し、それらブロックに含まれる同じ位置の画素について、それぞれの輝度の差分（以下、「輝度差分」と呼ぶ。）が算出される。そして、対象ブロックに関し、全ての画素についての輝度差分が算出されると、続いて、これら全ての輝度差分の合計値（以下、「ブロック輝度差分」と呼ぶ。）が算出され、その値がメモリ２２に格納される。そして、以上の手順が、対象ブロックを順次切り換えて、全てのブロックについて実行される。
続いて実行される、ブロック輝度差分最大ブロック特定処理（ステップＳ５）では、上述のブロック輝度差分算出処理（ステップＳ４）で算出された、各ブロック毎のブロック輝度差分が、互いに比較される。そして、ブロック輝度差分が最大となるブロックが特定され、そのブロック番号がメモリ２２に格納される。
なお、ブロック輝度差分算出処理（ステップＳ４）、およびブロック輝度差分最大ブロック特定処理（ステップＳ５）の詳細な手順については、後述する。
【００３０】
続いて輝度差分最大ブロックの拡大処理（ステップＳ６）が、図２に示す拡大処理部１００ｄによって実行される。この処理では、まず、ブロック輝度差分最大ブロック特定処理（ステップＳ５）において、メモリ２２に格納されたブロック番号が参照される。続いて、この参照されたブロック番号に基づいて、メモリ２２に格納された、鮮明化処理画像ＦＢの画像データおよび１フレーム高解像度化画像ＦＣの画像データの中から、該当するブロックの中心位置を中心とした所定の領域の画像データが、それぞれ抽出される。そして、これら抽出された所定領域の画像データに基づいて、それぞれ拡大処理が施され、領域拡大画像Ｆｂおよび領域拡大画像Ｆｃが生成される。そして、この領域拡大画像Ｆｂ，Ｆｃのそれぞれの画像データが、メモリ２２に格納される。なお、上述の拡大処理における拡大率を、拡大率Ｂとする。
【００３１】
なお、この時の拡大処理は、バイ・リニア法、バイ・キュービック法、またはニアレストネイバ法等を用いた補間処理によって行われるが、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣのそれぞれの所定領域について、それぞれ同じ補間方法を用い、かつ、同じ拡大率Ｂとする。
【００３２】
なお、上述の所定領域のサイズは、拡大率Ｂと、後述の画像表示枠Ｗ２２，Ｗ２３のサイズと、によって予め規定されている。
【００３３】
続いて表示処理（ステップＳ７）が、図２に示す表示処理部１００ｅによって実行される。この処理では、メモリ２２に格納された、領域拡大画像Ｆｂ，Ｆｃの、それぞれの画像データが読みだされ、図１（Ｃ）に示すように、鮮明化ダイアログＤ２内にある、画像表示枠Ｗ２２，Ｗ２３内に、それぞれ並べて表示される。図１（Ｃ）では、ブロック輝度差分最大ブロック特定処理（ステップＳ５）の結果、図１（Ｂ）に示す２０番目のブロックが決定されたものとして示している。
【００３４】
また、上述の２つの領域拡大画像Ｆｂ，Ｆｃの並列表示の他に、鮮明化ダイアログＤ２内には、図１（Ｃ）に示すように、フレーム画像ＦＡを縮小したフレーム画像（以下、「縮小フレーム画像」と呼ぶ。）Ｆａが、画像表示枠Ｗ２４内に表示される。
この縮小フレーム画像Ｆａは、図２に示す１フレーム高解像度化処理部１００ｂによって、メモリ２２に格納されたフレーム画像ＦＡの画像データに基づいて、バイ・リニア法、バイ・キュービック法、またはニアレストネイバ法等を用いた補間処理が行われて生成される。
更に、この縮小フレーム画像Ｆａ上に十字カーソルＣｓが表示されるが、この十字カーソルＣｓは、ブロック輝度差分最大ブロックの特定処理（ステップＳ５）で決定されたブロックの中心位置に表示されて、並列表示された２つの領域拡大画像Ｆｂ，Ｆｃが、どの位置のブロックの所定領域を拡大した画像であるかを示すマークである。
【００３５】
なお、縮小フレーム画像Ｆａは、他の画像と比較するための画像ではなく、領域拡大画像Ｆｂ、および領域拡大画像Ｆｃが、どの位置のブロックに該当するかを示すためだけの画像であるため、画質は問わず、また、画像表示枠Ｗ２４内に表示可能な画像サイズであればよい。従って、フレーム画像ＦＡまたは鮮明化処理画像ＦＢが、画像表示枠Ｗ２４内に表示可能な画像サイズであれば、縮小フレーム画像Ｆａに代えて、これらフレーム画像ＦＡまたは鮮明化処理画像ＦＢを表示しても構わない。
【００３６】
ところで、鮮明化ダイアログＤ２内には、図１（Ｃ）に示すように、「プリント」操作ボタンｍ３１、「保存」操作ボタンｍ３２、および「閉じる」操作ボタンｍ３３を含む、操作メニューＭ３が表示される。ここで、「プリント」操作ボタンｍ３１が、図２に示すキーボード３０やマウス３１の操作によって選択されると、鮮明化処理画像ＦＢの画像データが、プリンタ４１に送られ、鮮明化処理画像ＦＢが印刷される。また、「保存」操作ボタンｍ３２が、キーボード３０やマウス３１の操作によって選択されると、鮮明化処理画像ＦＢの画像データが、この時点での格納先であるメモリ２２から、ハードディスク２３やＤＶＤ３４等の記録媒体にコピーされ、保存される。また、「閉じる」操作ボタンｍ３３が、キーボード３０やマウス３１の操作によって選択されると、鮮明化ダイヤログＤ２が閉じて、ムービ操作ダイアログＤ１がアクティブとなり、かつ、メモリ２２に格納されていた、画像データやブロック番号等の全てのデータが、クリアされることとなる。
【００３７】
以下、ブロック輝度差分算出処理（ステップＳ４）、およびブロック輝度差分最大ブロック特定処理（ステップＳ５）について、それぞれ詳細な手順を説明する。
【００３８】
図４は、本発明の実施例におけるブロック輝度差分算出処理（ステップＳ４）の詳細な処理手順を示すフローチャートである。まず、処理対象となるブロックのブロック番号を示す変数ｊに対して、最初に処理対象となるブロックのブロック番号が代入される（ステップＳ４０１）。ここで、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣは、ともに同じ数のブロックに分割され、同じ位置のブロックに、同じブロック番号を付すものとする。本実施例では、図１（Ｂ）に示すように、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣを、左上隅のブロックからブロックＢ１、Ｂ２、Ｂ３、...、Ｂ３６、およびブロックＣ１、Ｃ２、Ｃ３、...、Ｃ３６と、それぞれ同数の３６のブロックに分割して、この順番に、１、２、...、３６と、それぞれブロック番号を付す。
そして、上述のように定めたブロック番号の順番に処理を行う場合には、ステップＳ４０１では、変数ｊに、ブロックＢ１およびＣ１のブロック番号「１」が代入される。
【００３９】
続いて、変数ＳＶ（ｊ）に、初期値の「０」（ゼロ）が代入される（ステップＳ４０２）。この変数ＳＶ（ｊ）は、ｊ番目のブロックのブロック輝度差分を示すが、今、上述のように、１番目のブロックが選択されている場合には、変数ＳＶ（１）＝０となる。
続いて、ブロック内の画素番号を示す変数ｉに対して、最初の処理対象となる画素番号が代入される（ステップＳ４０３）。この画素番号は、例えば、図１（Ｂ）で示すように定めたブロック番号と同様に、それぞれのブロック内の左上隅の画素を１番目として、右隣りの画素を２番目とするように、順番に定めるようにする。従って、最初の画素番号として、「１」が変数ｉに代入され、変数ｉ＝１となる。
【００４０】
続いて、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣの、同じ画素番号の画素の、輝度値の差分が算出される（ステップＳ４０４）。これは、鮮明化処理画像ＦＢのｊ番目のブロックのｉ番目の画素の輝度値ＶＦＢ（ｉ）と、１フレーム高解像度化画像ＦＣのｊ番目のブロックのｉ番目の画素の輝度値ＶＦＣ（ｉ）と、の差分の絶対値を算出し、変数ΔＶ（ｉ）に代入するものである。
例えば、上述のように変数ｊ＝１、変数ｉ＝１となっていた場合には、鮮明化処理画像ＦＢの画像データおよび１フレーム高解像度化画像ＦＣの画像データから、それぞれ、ブロック番号１のブロックにある画素番号１の画素の、輝度値ＶＦＢ（１）および輝度値ＶＦＣ（１）が読み出される。そして、輝度値ＶＦＢ（１）と、輝度値ＶＦＣ（１）と、の差分の絶対値を算出して、その結果を変数ΔＶ（１）に代入する。
続いて、変数ＳＶ（ｊ）の値に、上述のステップＳ４０４で求めた変数ΔＶ（ｉ）の値を加えて、その結果を変数ＳＶ（ｊ）に代入する（ステップＳ４０５）。上述のように、ステップＳ４０２において変数ＳＶ（１）＝０（初期値）とし、ステップＳ４０３において、ｉ＝１としているので、ステップＳ４０４、およびステップＳ４０５が実行された結果、変数ＳＶ（ｊ）＝変数ΔＶ（１）となる。
【００４１】
続いて、ｊ番目のブロックに、ステップＳ４０４およびステップＳ４０５の処理をすべき、次の画素の有無が判定される（ステップＳ４０６）。この判定は、１ブロックあたりの画素数と、変数ｉと、を比較することで行うことができる。なお、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣの総画素数は、画像サイズ（縦×横の画素数）から算出でき、１ブロックあたりの画素数は、その総画素数とブロック分割数から算出できる。
上述の判定の結果、次の画素がある場合には、変数ｉに対して、次の画素番号が代入され（ステップＳ４０７）、以下、ステップＳ４０４〜ステップＳ４０７が実行される。このステップＳ４０４〜ステップＳ４０７は、ステップＳ４０６において、次の画素がないと判断されるまで繰り返し実行されることとなる。この結果、例えば、ｊ＝１として、１番目のブロックについて処理を行った場合には、１ブロックあたりの画素数がｍとすると、最終的に変数ＳＶ（１）＝変数ΔＶ（１）＋変数ΔＶ（２）＋...＋変数ΔＶ（ｍ）となる。このように、変数ＳＶ（１）として、ブロック番号１のブロックに含まれる、全ての画素についての輝度差分の合計値、すなわち、ブロック輝度差分が求められることとなる。
そして、ステップＳ４０６において、ブロック内に次の画素がないと判断されると、この段階でのブロック輝度差分ＳＶ（ｊ）の値が、メモリ２２に格納される（ステップＳ４０８）。
【００４２】
続いて、ブロック輝度差分を算出すべき次のブロックの有無が判断される（ステップＳ４０９）。そして、次のブロックがある場合、変数ｊに次のブロックのブロック番号が代入され（ステップＳ４１０）、当該ブロックにつき、ステップＳ４０２〜ステップＳ４１０が実行される。このステップＳ４０２〜ステップＳ４１０は、ステップＳ４０９において、ブロック輝度差分を算出すべきブロックがなくなったと判断されるまで実行される。
なお、この判定は、ブロック分割数（本実施例では、３６）と、変数ｊの値と、を比較して行うことができる。
【００４３】
そして、ステップＳ４０９において、ブロック輝度差分を算出すべきブロックがなくなったと判断されると、ブロック輝度差分算出処理（ステップＳ４）は終了する。そして、最終的に、このブロック輝度差分算出処理（ステップＳ４）処理の結果、各ブロックの輝度差分ＳＶ（１）〜ＳＶ（３６）の値が、メモリ２２に格納されることとなる。
【００４４】
次に、ブロック輝度差分最大ブロック特定処理（ステップＳ５）の詳細な手順について、図５を用いて説明する。
【００４５】
図５は、本実施例におけるブロック輝度差分最大ブロック特定処理（ステップＳ５）の詳細な処理手順を示すフローチャートである。まず、変数ＳＶｍａｘに初期値「−１」が代入される（ステップＳ５０１）。この変数ＳＶｍａｘは、最大となるブロック輝度差分を示す変数である。続いて、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣ内の、同じ位置のブロックのブロック番号を示す変数ｊに対して、最初に処理対象となるブロック番号が代入される（ステップＳ５０２）。そこで、最初のブロック番号として「１」が代入されると、変数ＳＶｍａｘ＝−１、および変数ｊ＝１となる。
【００４６】
続いて、ブロック輝度差分算出処理（ステップＳ４）で算出された、ブロック番号ｊのブロックのブロック輝度差分ＳＶ（ｊ）の値が、メモリ２２から読み出され、変数ＳＶ（ｊ）に代入される（ステップＳ５０３）。続いて、この変数ＳＶ（ｊ）の値が、変数ＳＶｍａｘの値よりも大きいか否かが判定される（ステップＳ５０４）。そして、変数ＳＶ（ｊ）の値が、変数ＳＶｍａｘの値よりも大きい場合には、変数Ｊに変数ｊの値が代入される（ステップＳ５０５）。この変数Ｊは、最大となるブロック輝度差分を持つブロックのブロック番号を示す変数である。ステップＳ５０５に続き、変数ＳＶ（ｊ）の値が、変数ＳＶｍａｘに代入され（ステップＳ５０６）、その後、ステップＳ５０７に移行することとなる。
【００４７】
ステップＳ５０５以降の上述の動作を具体的に示すと、例えば、上述のように、ステップＳ５０３終了の段階で、変数ＳＶｍａｘ＝−１、および変数ｊ＝１であったとする。ここで、ブロック番号「１」のブロック輝度差分ＳＶ（１）の値は、図４のステップＳ４０４に示すように絶対値であり、仮にその値を「３」とすると、この時の変数ＳＶｍａｘの値（＝−１（初期値））よりも大きく、ステップＳ５０４の判定において、変数ＳＶ（１）の値が、変数ＳＶｍａｘの値よりも大きいと判定される。そして、ステップＳ５０５に移行して、変数Ｊにブロック番号の「１」が代入され、ステップＳ５０６において、変数ＳＶｍａｘに変数ＳＶ（１）の値である「３」が代入される。従って、ステップＳ５０６終了の段階で、変数ＳＶｍａｘ＝３、変数Ｊ＝１となり、１番目のブロックのブロック輝度差分が、この段階で最大となるブロック輝度差分であり、その値が３となる。
【００４８】
一方、ステップＳ５０４において、変数ＳＶ（ｊ）の値が、変数ＳＶｍａｘの値よりも小さい、または、等しい場合には、ステップＳ５０７に移行する。なお、この場合には、変数Ｊおよび変数ＳＶｍａｘの値は変化しない。そして、ステップＳ５０３〜ステップＳ５０６を実行すべき次のブロックの有無が判断される（ステップＳ５０７）。そして、次のブロックがある場合、変数ｊに、次のブロックのブロック番号が代入され（ステップＳ５０８）、当該ブロックにつき、ステップＳ５０３〜ステップＳ５０８が実行される。そして、このステップＳ５０３〜ステップＳ５０８は、ステップＳ５０７において、次のブロックがないと判定されるまで、繰り返し実行される。
【００４９】
そして、ステップＳ５０７において、次のブロックがないと判定されると、この時の変数Ｊの値が、メモリ２２に格納される（ステップＳ５０９）。このとき、ブロック番号「３６」までの全てのブロックのブロック輝度差分ＳＶ（１）〜ＳＶ（３６）が比較されたことになるので、変数Ｊの値は、これらブロック輝度差分ＳＶ（１）〜ＳＶ（３６）のうち、最大となるブロックのブロック番号となり、その値がメモリ２２に格納されることになる。
そして、ステップＳ５０９が終了した段階で、ブロック輝度差分最大ブロック特定処理（ステップＳ５）は終了することとなる。
【００５０】
Ａ３．鮮明化処理の詳細動作：
上述の画像処理装置において、画像処理の一例とした鮮明化処理について、その詳細な動作を以下に説明する。
【００５１】
図６は、本実施例における鮮明化処理の手順を示すフローチャートである。図６において、（Ａ）は、鮮明化処理の全体手順を示し、（Ｂ）は、図６（Ａ）における合成処理についての詳細手順を示す。
なお、以下の鮮明化処理は、図２に示す画像処理部１００ａによって実行され、その処理中において算出されたデータ（後述するずれ量や補正量等）は、図２に示すメモリ２２に格納される。
【００５２】
図６（Ａ）に示す鮮明化処理が開始されると、まず、フレーム画像データ取得処理（ステップＳ１１）が実行される。このフレーム画像データ取得処理（ステップＳ１１）では、まず、画像処理装置１０によって、ビデオカメラ３２に挿入された磁気テープ３５や、ＤＶＤドライブ３３に挿入されたＤＶＤ３４から動画像データが読み出され、動画像が再生される。そして、この再生されている動画像から、所望の複数枚のフレーム画像がキャプチャされる。本実施例では、４枚のフレーム画像がキャプチャされたものとする。
【００５３】
フレーム画像データ取得処理（ステップＳ１１）に続いて、補正量推定処理（ステップＳ１２）が実行される。補正量推定処理（ステップＳ１２）では、まず、キャプチャされた４枚のフレーム画像のうち、高画質化および高解像度化の基準となるフレーム画像が選択される。この選択されたフレーム画像を、以下、「基準フレーム画像Ｆ０」と呼び、その他のフレームの画像を、「対象フレーム画像Ｆ１〜Ｆ３」と呼ぶこととする。
【００５４】
次に、この基準フレーム画像Ｆ０に対して、３枚の対象フレーム画像Ｆ１〜Ｆ３が、それぞれ、どれだけずれているかを示すずれ量を、順次算出する。なお、ここでいう「ずれ」とは、撮影対象物自体の動きやビデオカメラの設置場所の移動に起因するものではなく、いわゆるパンと呼ばれるカメラワークや、手ぶれのように、ビデオカメラの向きの変化のみに起因するものであり、異なるフレーム画像間において、全ての画素が、同じ量だけずれるようなずれを想定している。ずれは、並進（横および縦）のずれと、回転のずれと、の組み合わせで表される。
【００５５】
対象フレーム画像Ｆ１〜Ｆ３について、上述のずれ量がそれぞれ算出されると、このずれ量を基にして、ずれを補正するための補正量がそれぞれ算出される。補正量も、ずれと同様、並進（横および縦）の補正量と、回転の補正量と、の組み合わせで表される。
【００５６】
補正量推定処理（ステップＳ１２）に続いて、合成処理（ステップＳ１３）が実行される。この合成処理（ステップＳ１３）は、図６（Ｂ）に示すように、画素位置の補正処理（ステップＳ１３１）、最近傍画素決定処理（ステップＳ１３２）、および画素補間処理（ステップＳ１３３）の順に実行される。
【００５７】
画素位置の補正処理（ステップＳ１３１）では、補正量推定処理（ステップＳ１２）で算出された補正量を用いて、対象フレーム画像Ｆ１〜Ｆ３を補正する。ここで、補正とは、対象フレーム画像Ｆ１〜Ｆ３の各画素の画素位置を、横の補正量だけ横に移動、縦の補正量だけ縦に移動、および回転の補正量だけ回転をした画素位置に置き換えることを意味する。この補正処理の結果、基準フレーム画像Ｆ０、および対象フレーム画像Ｆ１〜Ｆ３は、重なり部分において一致することになる。
【００５８】
次に、最近傍画素決定処理（ステップＳ１３２）が実行される。図７は、本実施例における最近傍画素決定処理（ステップＳ１３２）を説明するための説明図である。図７では、基準フレーム画像Ｆ０、および対象フレーム画像Ｆ１〜Ｆ３の一致した画像の一部を拡大し、各フレーム画像Ｆ０〜Ｆ３、および、それらフレーム画像Ｆ０〜Ｆ３から得られる高画質化された鮮明化処理画像ＦＢの、それぞれの画素の位置関係を示している。
また、図７では、鮮明化処理画像ＦＢの各画素が黒丸で示されているとともに、基準フレーム画像Ｆ０の各画素が白抜きの四辺形で示され、補正後の対象フレーム画像Ｆ１〜Ｆ３の各画素が、それぞれ異なるハッチングを施した四辺形で示されている。なお、本実施例では、鮮明化処理画像ＦＢは、基準フレーム画像Ｆ０に対して、１．５倍密の画素密度に高解像度化されている。したがって、図７に示すように、鮮明化処理画像ＦＢの各画素間の距離は、基準フレーム画像Ｆ０の各画素間の距離の２／３になっており、図７に示す画素Ｇ（ｋ）のように、鮮明化処理画像ＦＢの画素のうち、縦横それぞれの方向に２画素おきにある画素は、基準フレーム画像Ｆ０の画素と画素位置が一致することになる。
【００５９】
今、鮮明化処理画像ＦＢ内のｊ番目の画素Ｇ（ｊ）に注目して、まず、この画素（以下、「注目画素」と呼ぶ。）Ｇ（ｊ）と、基準フレーム画像Ｆ０内の注目画素Ｇ（ｊ）に最も近い画素と、の距離Ｌ０が算出される。次に、補正後の対象フレーム画像Ｆ１，Ｆ２，Ｆ３内のそれぞれ最も注目画素Ｇ（ｊ）に近い画素と、注目画素Ｇ（ｊ）と、の距離Ｌ１，Ｌ２，Ｌ３がそれぞれ算出される。
【００６０】
続いて、距離Ｌ０〜Ｌ３の値が互いに比較され、注目画素Ｇ（ｊ）に最も近い距離にある画素（以下、「最近傍画素」と呼ぶ。）が決定される。本実施例では、図７に示すように、距離Ｌ３にある対象フレームＦ３の画素が、注目画素Ｇ（ｊ）に最も近い画素となっているので、この画素が、注目画素Ｇ（ｊ）の最近傍画素として決定されることとなる。なお、この画素Ｇ（ｊ）に対する最近傍画素が、補正後の対象フレーム画像Ｆ３のｉ番目の画素であったとして、以下、最近傍画素ｇ（Ｆ３，ｉ）と表記する。
そして、以上説明した処理が、鮮明化処理画像ＦＢ内の全て画素について順次実行され、それぞれの画素について、最近傍画素が決定される。
【００６１】
次に、画素補間処理（ステップＳ１３３）が実行される。画素補間処理（ステップＳ１３３）では、鮮明化処理画像ＦＢにおける各画素の画素データを、他の画素の画素データから補間する。
本実施例において、この補間処理で用いる画素データは、最近傍画素決定処理（ステップＳ１３２）で決定した最近傍画素の画素データ、および、この最近傍画素が属する補正後のフレーム画像内の画素の画素データを用いる。
【００６２】
図８は、本実施例におけるバイリニア法を用いた画素補間処理（ステップＳ１３３）を説明するための説明図である。
具体的には、仮に、最近傍画素決定処理（ステップＳ１３２）によって、注目画素Ｇ（ｊ）に対する最近傍画素が、補正後の対象フレーム画像Ｆ３のｉ番目の画素であると決定した場合には、図８に示すように、最近傍画素ｇ（Ｆ３，ｉ）の他、この最近傍画素ｇ（Ｆ３，ｉ）とともに注目画素Ｇ（ｊ）を囲む、画素ｇ（Ｆ３，ｊ）、画素ｇ（Ｆ３，ｋ）、および画素ｇ（Ｆ３，ｌ）の、それぞれの画素データを用いて、バイ・リニア法により、注目画素Ｇ（ｊ）の画素データを求める。なお、補間処理方法としては、バイ・リニア法の他にも、バイ・キュービック法、またはニアレストネイバ法等、様々な方法を用いることができる。
【００６３】
そして、上述の補間処理の結果、得られた鮮明化処理画像ＦＢの画像データは、メモリ２２に格納され、画素補間処理（ステップＳ１３３）は終了し、鮮明化処理も終了することとなる。
【００６４】
Ａ４．実施例の効果：
以上説明したように、本実施例によれば、上述の鮮明化処理のように、画像の細部において、画質が変化するような画像処理を行った場合においても、処理後の画像において、その画像処理の効果が最大となるブロックを特定して、その特定したブロック内の所定領域を、図１（Ｃ）に示すように、鮮明化ダイヤログＤ２内において、領域拡大画像Ｆｂ，Ｆｃとして、拡大して表示することで、画像処理の効果が確認しやすくなる。また、図１（Ｃ）に示すように、処理前の領域拡大画像Ｆｂと処理後の領域拡大画像Ｆｃとを、鮮明化ダイヤログＤ２内において、並べて表示することで、一見して、処理前後の領域拡大画像Ｆｂ，Ｆｃを比較することができ、画像処理の効果が確認しやすくなる。更に、縮小フレーム画像Ｆａおよび十字カーソルＣｓを、領域拡大画像Ｆｂ，Ｆｃとともに、鮮明化ダイヤログＤ２内に表示することで、処理前後の画像において、どの領域が画像処理の効果が最大であったのかを容易に確認することができる。
【００６５】
また、１フレーム高解像度化処理（ステップＳ３）において、鮮明化処理で用いたのと同じ補間処理方法、かつ、同じ倍率Ａを用いて、鮮明化処理画像ＦＢと同じ解像度の１フレーム高解像度化画像ＦＣを得ることにより、鮮明化処理画像ＦＢと、１フレーム高解像度化画像ＦＣと、の画質の差が、補間方法の差違や解像度の倍率の差違ではなく、鮮明化処理の効果によってのみ発生することとなり、画像処理効果を精確に確認することができる。
【００６６】
また、輝度差分最大ブロックの拡大処理（ステップＳ６）において、拡大処理の対象範囲を、ブロック全体ではなく所定領域に限定することで、輝度差分最大ブロックの拡大処理（ステップＳ６）を高速化できる。更に、輝度差分最大ブロックの拡大処理（ステップＳ６）において、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣの、それぞれの所定領域に対して拡大処理を施す際に、同じ補間方法と同じ拡大率Ｂを用いることにより、領域拡大画像Ｆｂと、領域拡大画像Ｆｃと、の画質の差を、この時の拡大率の差違や補間方法の差違によるものではなく、画像処理の効果のみによるものとすることができる。
【００６７】
Ｂ．変形例：
なお、本発明は、上述の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において、種々の態様において実施することが可能であり、例えば以下のような変形も可能である。
【００６８】
（１）本発明の実施例では、効果明確化処理に用いる画像は、効果明確化処理に先立って画像処理装置１０内で実行される鮮明化処理の結果得られる、フレーム画像ＦＡおよび鮮明化処理画像ＦＢであったが、これに限るものではない。予め、別の画像処理装置で鮮明化処理を実行し、その結果得られる鮮明化処理後の画像と、その鮮明化処理が施される前の画像と、を効果明確化処理で用いても構わない。ただし、この場合には、これら鮮明化処理前後の画像を、ＤＶＤ，磁気テープ，ＭＯ，ＣＤ−Ｒ／ＲＷ，またはメモリカード等の記録媒体、もしくは電気通信媒体（図示省略）を介して、図２に示すメモリ２２に格納しておく必要がある。
【００６９】
（２）本発明の実施例では、画像処理の一例として、鮮明化処理を行う場合について説明したが、画像処理は鮮明化処理に限らない。例えば、ぼかし、またはノイズ軽減等、鮮明化処理以外の画像処理についても、本発明の画像処理装置１０を用いることで、その画像処理の効果を容易に確認することができる。鮮明化処理以外の画像処理の場合には、鮮明化処理に代えて、該当する画像処理が、図２に示す画像処理部によって実行されればよい。なお、特に、解像度が変化しないような画像処理の場合には、図３に示す１フレーム高解像度化処理（ステップＳ３）は、実行する必要はなく、従って、図３に示すブロック輝度差分算出処理（ステップＳ４）においては、１フレーム高解像度化画像ＦＣに代えて、当該画像処理後の画像（本実施例における鮮明化処理画像ＦＢ）を、画像処理前の画像（本実施例におけるフレーム画像ＦＡ）と比較し、各ブロック内の各画素の輝度差分を算出すればよい。
【００７０】
（３）本発明の実施例では、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣを、３６という、適当に定めた数でブロックに分割しているが、これに代えて、各ブロックのサイズが、輝度差分最大ブロックの拡大処理（ステップＳ６）における所定領域のサイズと一致するように、ブロック分割数を定めて分割してもよい。
本実施例では、拡大率Ｂの値によっては、ブロック輝度差分が最大となるブロックの画像全体が、表示処理（ステップＳ７）において、画像表示枠Ｗ２２，Ｗ２３内に表示されない場合がある。この場合には、表示されない領域の画素の輝度差分が非常に大きいために、当該ブロックが、ブロック輝度差分が最大のブロックと決定されたとしても、表示処理（ステップＳ７）において、その輝度差分の非常に大きい領域の画像は表示されないため、輝度差分、つまり、画像処理の効果が確認しづらくなるという課題が生じる場合がある。
しかし、上述のように、各ブロックのサイズが、所定領域のサイズと一致するようなブロック分割方法を採用することにより、ブロック輝度差分が最大として決定したブロックに含まれる、全ての画素に対応する拡大画像が表示されるので、上述の課題が生じることはなく、画像処理の効果を明確に表示することが可能となる。
【００７１】
さらに、上述のようにブロックに分割し、ブロック毎のブロック輝度差分を比較することに代えて、ブロックに分割せず、画素毎の輝度差分を比較することによって画像処理の効果が大きい領域を特定するようにしてもよい。具体的には、例えば、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣの、それぞれ同じ位置の画素の輝度値の差分を求め、その差分を比較することで、輝度差分が最大となる画素を特定し、その画素位置を中心として、上述の所定領域を定めるようにしてもよい。
【００７２】
（４）本発明の実施例において、ハードウェアによって実現されていた構成の一部を、ソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアによって置き換えるようにしてもよい。例えば、図３に示すブロック輝度差分算出処理（ステップＳ４）をソフトウェア（アプリケーションプログラム１００）ではなく、ハードウェア回路で行うこととしてもよい。
【００７３】
（５）本発明の実施例では、図１（Ｃ）に示す、縮小フレーム画像Ｆａ上の十字カーソルＣｓは、領域拡大画像Ｆｂ，Ｆｃが、どの位置のブロックに該当するかを示すものであるが、更に、効果明確化処理を施したいブロックを指定するために用いてもよい。
具体的には、図３に示す効果明確化処理を実行後、引き続き、図１（Ｃ）に示す十字カーソルＣｓを、縮小フレーム画像Ｆａ上の、所望のブロックの中心位置に、キーボード３０やマウス３１の操作によって移動させ、この状態で、マウス３１のクリックや、キーボード３０におけるエンターキー等のキー押下の操作によって、所望のブロックのブロック番号を決定する。そして、このように決定したブロック番号を、図３に示すブロック輝度差分最大ブロック特定処理（ステップＳ５）で特定されるブロック番号に代えて用い、輝度差分最大ブロックの拡大処理（ステップＳ６）、および表示処理（ステップＳ７）を行ってもよい。
このようにすることで、フレーム画像ＦＡ内で、関心のある領域が決まっている場合には、その領域についての画像処理の効果を容易に確認することができる。
【００７４】
（６）本発明の実施例において、並列表示された２つの領域拡大画像Ｆｂ，Ｆｃが、どの位置のブロックに該当するかを示す方法として、縮小フレーム画像Ｆａを表示し、該当するブロックの中心位置を、十字カーソルを用いて示しているが、これに限らない。十字カーソル以外にも、矢印等のカーソルを用いて、該当するブロックの中心位置を示しても構わない。更に、該当するブロックを赤い枠等で、縁取りして表示ことで、該当するブロックを示しても構わない。本発明では、並列表示された領域拡大画像Ｆｂ、および領域拡大画像Ｆｃが、どの位置のブロックの所定領域を拡大した画像であるかを示すことができるマークを用いればよい。
【００７５】
（７）本発明の実施例において、図１（Ｃ）に示すように領域拡大画像Ｆｂ，Ｆｃは、横に並べて表示しているが、これに限らない。例えば、縦に並べて表示したり、別ダイアログにそれぞれ表示するといった方法を用いても構わない。本発明において、領域拡大画像Ｆｂ，Ｆｃは、少なくとも同一画面上に表示されればよい。
【００７６】
（８）本発明の実施例では、ブロック輝度差分最大ブロック特定処理（ステップＳ５）において、ブロック輝度差分を、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣの、それぞれ同じ位置のブロックの同じ位置の画素の画素データの差分を求め、これらを全て足し合わせて算出しているが、これに代えて、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣの、それぞれ同じ位置のブロックの同じ位置の画素の画素データの差分の平均値をブロック毎に算出して、その値をブロック輝度差分としても構わない。
【００７７】
（９）本発明の実施例では、ブロック分割数を３６としていたが、この数に限るものではない。また、ブロック番号および画素番号はともに、左上隅を１として、順番に２，３，４，...と自然数を付していたが、これに限らない。各々のブロックおよび各々の画素が一意に定まるような番号を、任意の順番で付してあればよく、また、鮮明化処理画像ＦＢおよび１フレーム高解像度化画像ＦＣにおける、同じ位置のブロックおよび同じ位置の画素に対して、同じ番号を付してあればよい。
【００７８】
（１０）本発明の実施例では、処理前後の変化を求める画素データとして輝度値Ｙを用いていたが、輝度値Ｙに代えて、Ｃｒ（赤と輝度の色差値）またはＣｂ（青と輝度との色差値）を用いても構わない。また、画素データとしてＹＣｒＣｂデータを用いているが、ＹＣｒＣｂデータを所定の換算式を用いて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各階調値からなるＲＧＢデータに変換しこれを用いても良く、またその他の表色系デ−タであったも構わない。
【００７９】
（１１）本発明の実施例では、画像処理装置１０は、静止画像データや動画像データの記録媒体として、ビデオカメラ３２に挿入された磁気テープ３５、またはＤＶＤドライブ３３に挿入されたＤＶＤ３４を用いているが、これらに限らない。ＭＯ，ＣＤ−Ｒ／ＲＷ，またはメモリカード等、他の記録媒体を用いることも可能である。
【００８０】
（１２）本発明の実施例では、画像処理の効果が最も大きいブロックの所定領域を、拡大表示しているが、これに代えて、画像処理の効果が最も小さいブロックの所定領域を、拡大表示することも可能である。この場合、図５に示すステップＳ５０４において、変数ＳＶｍａｘの値に代えて、最小となるブロック輝度差分を示す、変数ＳＶｍｉｎの値と、変数ＳＶ（ｊ）の値と、を比較するようにすればよい。そして、ステップＳ５０４において、変数ＳＶ（ｊ）の値が、変数ＳＶｍｉｎの値よりも小さい場合には、ステップＳ５０５に移行し、一方、変数ＳＶ（ｊ）の値が、変数ＳＶｍｉｎの値よりも大きい、または、等しい場合に、ステップＳ５０７に移行するようにすればよい。更に、ステップＳ５０６において、変数ＳＶ（ｊ）の値を、変数ＳＶｍｉｎに代入するようにすればよい。
このようにすることで、画像処理効果の最も小さい領域を容易に確認することができ、当該領域について、追加して画像処理を行う、等の判断を行うことができる。
（１３）本発明の実施例では、上述の鮮明化処理において、動画像データから複数枚のフレーム画像の画像データを切り出していたが、例えば、単に、時系列に並んだ複数の画像データから切り出すようにしてもよい。そのような時系列に並んだ複数の画像データとしては、デジタルカメラなどによって連写して撮影された複数の画像データなどが考えられる。
【図面の簡単な説明】
【００８１】
【図１】本実施例における画像処理装置１０のユーザインタフェースを示す説明図。
【図２】本発明の実施例における画像処理装置１０の概略構成を示す説明図。
【図３】本発明の一実施例としての効果明確化処理の処理手順を示すフローチャート。
【図４】本発明の実施例におけるブロック輝度差分算出処理（ステップＳ４）の詳細な処理手順を示すフローチャート。
【図５】本実施例におけるブロック輝度差分最大ブロック特定処理（ステップＳ５）の詳細な処理手順を示すフローチャート。
【図６】本実施例における鮮明化処理の手順を示すフローチャート。
【図７】本実施例における最近傍画素決定処理（ステップＳ１３２）を説明するための説明図。
【図８】本実施例におけるバイリニア法を用いた画素補間処理（ステップＳ１３３）を説明するための説明図。
【符号の説明】
【００８２】
１０...画像処理装置
２０...コンピュータ
２１...ＣＰＵ
２２...メモリ
２３...ハードディスク
２４...入出力インタフェース部
２５...内部バス
３０...キーボード
３１...マウス
３２...ビデオカメラ
３３...ＤＶＤドライブ
３４...ＤＶＤ
３５...磁気テープ
４０...ディスプレイ
４１...プリンタ
Ｄ１...ムービ操作ダイアログ
Ｄ２...鮮明化ダイアログ
Ｍ１...動画像操作メニュー
Ｍ２...静止画像操作メニュー
Ｍ３...操作メニュー
ｍ１０...再生操作ボタン
ｍ１１...一時停止操作ボタン
ｍ２０...「鮮明化」操作ボタン
ｍ２１、ｍ３１...「プリント」操作ボタン
ｍ２２、ｍ３２...「保存」操作ボタン
ｍ３３...「閉じる」操作ボタン
Ｗ１１、Ｗ２２、Ｗ２３、Ｗ２４...画像表示枠
Ｃｓ...十字カーソル
【図１】
2005122601.tif 000003
【図２】
2005122601.tif 000004
【図３】
2005122601.tif 000005
【図４】
2005122601.tif 000006
【図５】
2005122601.tif 000007
【図６】
2005122601.tif 000008
【図７】
2005122601.tif 000009
【図８】
2005122601.tif 000010