(57)【要約】【課題】動画に含まれる画像から、より画質の高い静止画を生成することができる。【解決手段】プリンタは、動画のうち静止画として指定された対象フレーム５２と合成に用いる合成用フレーム（前フレーム５４、次フレーム５６）の複数の画像を抽出し、対象フレーム５２の注目画素５２ａを設定し、補正対象としての補間対象領域５２ｂを、対象フレーム５２の注目画素５２ａを含む領域に対して設定すると共に、この補間対象領域５２ｂよりも大きな領域であるアフィン領域５２ｃ，５４ｃ，５６ｃを対象フレーム５２及び合成用フレームに対して設定し、設定されたアフィン領域５２ｃ，５４ｃ，５６ｃを縮小したものと補間対象領域５２ｂとの類似度を算出し、この算出した類似度ＳＭＬを用いた判定結果に基づいてアフィン領域５２ｃ，５４ｃ，５６ｃのいずれかを用いて補間対象領域５２ｂをフラクタル補間することにより静止画を生成する。【選択図】図７
2009015618.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を含む動画から静止画を生成する画像処理装置であって、
静止画として指定され複数の画素からなる対象画像と合成に用いる複数の画素からなる合成用画像との複数の画像を抽出する画像抽出手段と、
対象画像の注目画素を設定し、該設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を前記対象画像の一部分に対して設定すると共に、該補正対象領域よりも大きな領域であり該補正対象領域を補正するのに用いる補正用領域を前記対象画像の一部分及び前記合成用画像の一部分に対して設定する領域設定手段と、
前記設定された対象画像又は合成画像の補正用領域と前記設定された対象画像の補正対象領域との類似度を、該補正用領域のサイズと該補正対象領域のサイズとを合わせた状態で算出し該算出した類似度に基づいて該補正対象領域を該補正用領域によって補正可能であるか否かを判定する補正判定手段と、
前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成する静止画生成手段と、
を備えた画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記設定された注目画素が所定のエッジ領域にあるか否かを判定するエッジ判定手段、を備え、
前記静止画生成手段は、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であると共に前記設定された注目画素が前記エッジ領域にあるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成する、画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
情報を記憶する記憶手段、を備え、
前記領域設定手段は、前記補正判定手段が前記注目画素が補正可能か否かを判定すると次の注目画素を設定し、
前記静止画生成手段は、前記補正用領域を用いて前記補正対象領域を補正するに際して、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であると共に前記設定された注目画素が前記エッジ領域にあるときには、前記注目画素が設定されるたびに、前記補正用領域を縮小して得られた各画素の画素値を加算して前記補正対象領域に含まれる各画素の画素値とし、前記対象画像及び合成用画像が記憶されている領域とは異なる領域に該加算後の画素値を前記記憶手段へ記憶させる、画像処理装置。
【請求項４】
前記画像抽出手段は、前記前記複数の画像を抽出するに際して、前記対象画像と該対象画像の前後にある画像のうち少なくとも一方を抽出する、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記領域設定手段は、前記対象画像に対して前記補正用領域を設定するに際して、前記補正対象領域を含む該対象画像の領域を前記補正用領域として設定し、前記合成用画像に対して前記補正用領域を設定するに際して、前記対象画像の補正対象領域に相当する前記合成用画像の補正対象領域を含む領域を前記補正用領域として設定する、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像抽出手段は、連続する複数の対象画像が静止画として指定されたときには、複数の前記対象画像と前記合成用画像との複数の画像を抽出し、
前記領域設定手段は、静止画を生成しようとする対象画像に隣り合う画像の所定枚数内に、前記静止画生成手段によって補正が行われて静止画が生成された他の対象画像があるときには、該生成された静止画を前記合成用画像として前記補正用領域を設定し、
前記静止画生成手段は、補正判定手段による前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成する、請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
前記静止画生成手段は、前記設定された注目画素が前記エッジ領域にないときには、該対象画像を用いてノイズ除去処理により前記対象画像の前記注目画素を補正することにより前記静止画を生成する、請求項２又は３に記載の画像処理装置。
【請求項８】
複数の画像を含む動画から静止画を生成する画像処理装置を利用したコンピュータ・ソフトウェアによる画像処理方法であって、
（ａ）静止画として指定され複数の画素からなる対象画像と合成に用いる複数の画素からなる合成用画像との複数の画像を抽出するステップと、
（ｂ）対象画像の注目画素を設定し、該設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を前記ステップ（ａ）で抽出した対象画像に対して設定すると共に、該補正対象領域よりも大きな領域であり該補正対象領域を補正するのに用いる補正用領域を前記ステップ（ａ）で抽出した対象画像及び前記合成用画像に対して設定するステップと、
（ｃ）前記ステップ（ｂ）で設定した対象画像又は合成画像の補正用領域と前記ステップ（ｂ）で設定した対象画像の補正対象領域との類似度を、該補正用領域のサイズと該補正対象領域のサイズとを合わせた状態で算出し該算出した類似度に基づいて該補正対象領域を該補正用領域によって補正可能であるか否かを判定するステップと、
（ｄ）前記ステップ（ｃ）の判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、画像処理装置としては、動画データを構成する２枚のフレームにある特徴点を抽出し、各フレーム間において相関性の高い特徴点同士を組み合わせ、この特徴点の周囲にある画素を用いて特徴点同士の動き量を求め、このフレーム同士の動き量に基づいて、実画素の間に副画素を補間することにより２枚のフレームを合成し、静止画の画質を高めるものが提案されている（例えば、特許文献１参照）。
【特許文献１】特開２００５−２８４６３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、この特許文献１に記載された画像処理装置では、例えば手ぶれなどによるフレームの上下左右方向や回転などフレーム全体の動きを主に検出するものであるため、被写体の一部が動作するなどの場合には静止画の画質を高めることができない場合があった。このため、静止画の画質を更に高めることが望まれていた。
【０００４】
本発明は、このような課題に鑑みなされたものであり、動画に含まれる画像から、より画質の高い静止画を生成することができる画像処理装置、画像処理方法及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述の目的を達成するために以下の手段を採った。
【０００６】
本発明の画像処理装置は、
複数の画像を含む動画から静止画を生成する画像処理装置であって、
静止画として指定され複数の画素からなる対象画像と合成に用いる複数の画素からなる合成用画像との複数の画像を抽出する画像抽出手段と、
対象画像の注目画素を設定し、該設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を前記対象画像の一部分に対して設定すると共に、該補正対象領域よりも大きな領域であり該補正対象領域を補正するのに用いる補正用領域を前記対象画像の一部分及び前記合成用画像の一部分に対して設定する領域設定手段と、
前記設定された対象画像又は合成画像の補正用領域と前記設定された対象画像の補正対象領域との類似度を、該補正用領域のサイズと該補正対象領域のサイズとを合わせた状態で算出し該算出した類似度に基づいて該補正対象領域を該補正用領域によって補正可能であるか否かを判定する補正判定手段と、
前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成する静止画生成手段と、
を備えたものである。
【０００７】
この画像処理装置では、静止画として指定された対象画像と合成に用いる合成用画像との複数の画像を抽出し、対象画像の注目画素を設定し、この設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を対象画像に対して設定すると共に、この補正対象領域よりも大きな領域でありこの補正対象領域を補正するのに用いる補正用領域を対象画像及び合成用画像に対して設定し、設定された対象画像又は合成画像の補正用領域と設定された対象画像の補正対象領域との類似度を、この補正用領域のサイズとこの補正対象領域のサイズとを合わせた状態で算出しこの算出した類似度に基づいて補正対象領域を補正用領域によって補正可能であるか否かを判定し、判定結果が補正対象領域を補正用領域によって補正可能であるときには、この補正用領域を用いて補正対象領域を補正することにより静止画を生成する。このように、動画に含まれる複数の画像を用いると共に、画像の一領域を用い類似度に基づいてこの対象画像の一領域を補正することにより静止画を生成する。したがって、動画に含まれる画像から、より画質の高い静止画を生成することができる。
【０００８】
本発明の画像処理装置は、前記設定された注目画素が所定のエッジ領域にあるか否かを判定するエッジ判定手段、を備え、前記静止画生成手段は、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であると共に前記設定された注目画素が前記エッジ領域にあるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成するものとしてもよい。こうすれば、補正効果の高いエッジ領域について補正用領域を用いて補正するため、一層画質の高い静止画を生成することができる。ここで、「所定のエッジ領域」とは、画像のエッジのみの領域としてもよいし、画像のエッジに隣接した所定範囲まで含む領域としてもよい。このとき、本発明の画像処理装置は、情報を記憶する記憶手段、を備え、前記領域設定手段は、前記補正判定手段が前記注目画素が補正可能か否かを判定すると次の注目画素を設定し、前記静止画生成手段は、前記補正用領域を用いて前記補正対象領域を補正するに際して、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であると共に前記設定された注目画素が前記エッジ領域にあるときには、前記注目画素が設定されるたびに、前記補正用領域を縮小して得られた各画素の画素値を加算して前記補正対象領域に含まれる各画素の画素値とし、前記対象画像及び合成用画像が記憶されている領域とは異なる領域に該加算後の画素値を前記記憶手段へ記憶させるものとしてもよい。こうすれば、補正用領域を縮小して得られた各画素を加算して各画素の画素値とするため、比較的均一な状態でエッジ領域を高画質にすることができる。また、対象画像と異なる領域に補正結果を記憶するため、対象画像をあとで利用することができる。
【０００９】
本発明の画像処理装置において、前記画像抽出手段は、前記前記複数の画像を抽出するに際して、前記対象画像と該対象画像の前後にある画像のうち少なくとも一方を抽出するものとしてもよい。こうすれば、対象画像により近い合成用画像を利用して対象画像を補正するため、静止画の画質を向上しやすい。このとき、対象画像と該対象画像の直後の画像を抽出するものとしてもよいし、対象画像と該対象画像の直前及び直後の画像を抽出するものとしてもよい。
【００１０】
本発明の画像処理装置において、前記領域設定手段は、前記対象画像に対して前記補正用領域を設定するに際して、前記補正対象領域を含む該対象画像の領域を前記補正用領域として設定し、前記合成用画像に対して前記補正用領域を設定するに際して、前記対象画像の補正対象領域に相当する前記合成用画像の補正対象領域を含む領域を前記補正用領域として設定するものとしてもよい。こうすれば、より補正対象領域に近い領域に補正用領域が設定されるから、補正対象領域と補正用領域との類似度を高めやすく、ひいては画質の高い静止画を生成しやすい。
【００１１】
本発明の画像処理装置において、前記画像抽出手段は、連続する複数の対象画像が静止画として指定されたときには、複数の前記対象画像と前記合成用画像との複数の画像を抽出し、前記領域設定手段は、静止画を生成しようとする対象画像に隣り合う画像の所定枚数内に、前記静止画生成手段によって補正が行われて静止画が生成された他の対象画像があるときには、該生成された静止画を前記合成用画像として前記補正用領域を設定し、前記静止画生成手段は、補正判定手段による前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成するものとしてもよい。こうすれば、複数の対象画像が静止画として指定されたときに、補正後の静止画をも用いて対象画像を補正するため、一層画質の高い静止画を生成することができる。ここで「隣り合う画像の所定枚数」は、生成する静止画の画質が高くなるように経験的に定めた枚数に設定するものとしてもよい。
【００１２】
本発明の画像処理装置において、前記静止画生成手段は、前記設定された注目画素が前記エッジ領域にないときには、該対象画像を用いてノイズ除去処理により前記対象画像の前記注目画素を補正することにより前記静止画を生成するものとしてもよい。こうすれば、注目画素がエッジ領域にないときには、ノイズ除去処理を行うため、比較的簡便な処理で補正を行うことにより補正処理の負荷を低減することができる。
【００１３】
本発明の印刷装置は、上述したいずれかに記載の画像処理装置と、前記画像処理装置によって生成された静止画を印刷媒体へ印刷処理する印刷実行手段と、を備えたものである。印刷装置は、動画に含まれる静止画を印刷することが多く、より画質の高い静止画を必要とすることから、本発明を適用する意義が高い。
【００１４】
本発明の画像処理方法は、
複数の画像を含む動画から静止画を生成する画像処理装置を利用したコンピュータ・ソフトウェアによる画像処理方法であって、
（ａ）静止画として指定され複数の画素からなる対象画像と合成に用いる複数の画素からなる合成用画像との複数の画像を抽出するステップと、
（ｂ）対象画像の注目画素を設定し、該設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を前記ステップ（ａ）で抽出した対象画像に対して設定すると共に、該補正対象領域よりも大きな領域であり該補正対象領域を補正するのに用いる補正用領域を前記ステップ（ａ）で抽出した対象画像及び前記合成用画像に対して設定するステップと、
（ｃ）前記ステップ（ｂ）で設定した対象画像又は合成画像の補正用領域と前記ステップ（ｂ）で設定した対象画像の補正対象領域との類似度を、該補正用領域のサイズと該補正対象領域のサイズとを合わせた状態で算出し該算出した類似度に基づいて該補正対象領域を該補正用領域によって補正可能であるか否かを判定するステップと、
（ｄ）前記ステップ（ｃ）の判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正することにより前記静止画を生成するステップと、
を含むものである。
【００１５】
この画像処理方法では、静止画として指定された対象画像と合成に用いる合成用画像との複数の画像を抽出し、対象画像の注目画素を設定し、この設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を対象画像に対して設定すると共に、この補正対象領域よりも大きな領域でありこの補正対象領域を補正するのに用いる補正用領域を対象画像及び合成用画像に対して設定し、設定された対象画像又は合成画像の補正用領域と設定された対象画像の補正対象領域との類似度を、この補正用領域のサイズとこの補正対象領域のサイズとを合わせた状態で算出しこの算出した類似度に基づいて補正対象領域を補正用領域によって補正可能であるか否かを判定し、判定結果が補正対象領域を補正用領域によって補正可能であるときには、この補正用領域を用いて補正対象領域を補正することにより静止画を生成する。このように、動画に含まれる複数の画像を用いると共に、画像の一領域を用い類似度に基づいてこの対象画像の一領域を補正することにより静止画を生成する。したがって、動画に含まれる画像から、より画質の高い静止画を生成することができる。なお、この画像処理方法において、上述した画像処理装置の種々の態様を採用してもよいし、また、上述した画像処理装置の各機能を実現するようなステップを追加してもよい。
【００１６】
本発明のプログラムは、上述した画像処理方法の各ステップを１又は複数のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した画像処理方法の各ステップが実行されるため、この画像処理方法と同様の作用効果が得られる。
【発明を実施するための最良の形態】
【００１７】
次に、本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明を具現化した一実施形態である印刷システム１０の構成の概略を示す構成図である。本実施形態の印刷システム１０は、図１に示すように、動画から静止画を生成して印刷を実行するプリンタ２０と、動画を撮影し撮影した動画をプリンタ２０へ送信可能なデジタルビデオ４０とを備えている。
【００１８】
プリンタ２０は、装置全体の制御を司るコントローラ２１と、携帯用の記憶媒体であるメモリカード１２をスロット２５ａに装着・取外し可能であるリーダライタ２５と、記録紙Ｓへ画像を印刷処理する印刷機構２６と、接続された外部機器との間で情報の入出力が可能なＵＳＢ−インタフェース（ＵＳＢ−Ｉ／Ｆ）２８と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル３０と、を備えている。コントローラ２１やリーダライタ２５、印刷機構２６、ＵＳＢ−Ｉ／Ｆ２８、操作パネル３０は、バス２９によって電気的に接続されている。コントローラ２１は、ＣＰＵ２２を中心とするマイクロプロセッサとして構成されており、情報を記憶消去可能であり各種処理プログラムを記憶したフラッシュＲＯＭ２３と、一時的にデータを記憶するＲＡＭ２４とを備えている。印刷機構２６は、図示しないが、各色のインクに圧力をかけ、この加圧されたインクを記録紙Ｓに吐出して印刷処理を実行するインクジェット方式の機構である。なお、インクへ圧力をかける機構は、圧電素子の変形によるものとしてもよいしヒータの熱による気泡の発生によるものとしてもよい。操作パネル３０は、ユーザがプリンタ２０に対して各種の指示を入力するためのデバイスであり、各種の指示に応じた文字や画像が表示されるカラー液晶パネルにより構成された表示部３２や、各種操作を行う操作部３４が設けられている。操作部３４には、ユーザが処理や文字等を選択するカーソルなどを移動させるときに押下されるカーソルキー３４ａや処理選択などを決定するときに押下される決定キー３４ｂなどが配置されている。メモリカード１２は、データの書き込み及び消去可能な不揮発性のメモリであり、デジタルビデオ４０などの撮影装置により撮影された複数の画像ファイルなどが保存されている。
【００１９】
デジタルビデオ４０は、各種制御を実行するＣＰＵ４２と、各種処理プログラムを記憶したＲＯＭ４３と、一時的にデータを記憶するＲＡＭ４４と、大容量の記憶メモリとしてのＨＤＤ４５と、図示しないメモリカードを装着し情報を読出・書込するリーダライタ４６と、入射した光を撮像素子により電気信号に変換し動画ファイルや静止画ファイルを生成する撮像ユニット４７と、接続された外部機器との間で情報の入出力が可能なＵＳＢ−Ｉ／Ｆ４８と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル４１と、を備えている。ＨＤＤ４５には、撮像ユニット４７で撮影された動画データや静止画データが記憶されている。撮像ユニット４７は、撮像素子（例えばＣＣＤやＣＭＯＳなど）により入射した光をレッド「Ｒ」、グリーン「Ｇ」、ブルー「Ｂ」の各色に分解して得られた電気信号を入力し、入力したデータに周知の画像処理（例えばホワイトバランス処理やガンマ処理など）を施し、動画や静止画の画像データを生成可能に構成されている。
【００２０】
次に、こうして構成された本実施形態の印刷システム１０の動作、特に動画データを取得し取得した動画データから静止画を生成するプリンタ２０の動作について説明する。まず、ユーザは、デジタルビデオ４０とプリンタ２０とをＵＳＢケーブル４０ａで接続し、操作パネル４１を操作し、デジタルビデオ４０のＨＤＤ４５に保存されている、目的とする静止画が含まれた動画データをプリンタ２０へ送信する。この動画データを受信したプリンタ２０は、受信した動画データをＲＡＭ２４に設けられた受信バッファへ記憶させる。次に、ユーザは、プリンタ２０の操作パネル３０を操作し、表示部３２に表示された図示しない処理選択画面で動画からの静止画生成処理を選択する。すると、ＣＰＵ２２は、受信した動画データを表示部３２上に再生する。ユーザは、表示部３２に表示されている画像のうち、静止画として欲しい場面で、決定キー３４ｂを押下して生成すべき静止画を指定する。すると、ＣＰＵ２２は、指定された動画データのフレーム（画像）から静止画を生成すべく以下の処理を実行する。図２は、プリンタ２０のＣＰＵ２２により実行される画像合成処理ルーチンの一例を示すフローチャートである。このルーチンは、フラッシュＲＯＭ２３に記憶され、操作パネル３０をユーザが操作して表示部３２に表示されたフレームが静止画に指定されたあと実行される。
【００２１】
このルーチンを実行すると、ＣＰＵ２２は、静止画に指定された対象フレームと、この対象フレームの補間に用いる合成用フレームとして、対象フレームの直前及び直後のフレームとを読み出し、ＲＡＭ２４に記憶する（ステップＳ１００）。図３は、対象フレームと合成用フレームの説明図である。ここでは、対象フレームの補正に適した合成用フレームの枚数を経験的に求め、図３に示すように、対象フレーム５２のフレーム番号ＦｎをＦ０としたとき、フレーム番号Ｆ−１である前フレーム５４と、フレーム番号Ｆ１である次フレーム５６との２つの合成用フレームを用いるものとした。次に、ＣＰＵ２２は、対象フレーム５２の補間を行う画素としての注目画素を設定する（ステップＳ１１０）。ここでは、対象フレーム５２の左上の画素を初期位置（ｘ、ｙ）とし、処理を繰り返すたびに右側へ向かって移動させ右端に達すると次列の左端の画素から右端へ移動させるよう順に注目画素が設定されるものとした。
【００２２】
続いて、ＣＰＵ２２は、注目画素を含むエッジ検査用領域内にエッジがあるか否かを判定する（ステップＳ１２０）。図４は、エッジ領域の説明図である。ここでは、エッジとエッジから所定範囲内（例えば４×４の画素範囲など）のエッジ近傍の領域をエッジ領域とし、注目画素５２ａがこのエッジ領域に含まれているときには、複数フレームによるフラクタル補間を実行するものとした。こうすれば、エッジのみにフラクタル補間を施すのに比して効果的に画質を向上することができる。このエッジ検査用領域５１の中にエッジがあるか否かの判定は、垂直方向、水平方向、傾斜方向のエッジを検出するエッジ検出フィルタの各々を対象領域にかけることにより行うものとした。なお、このエッジ検査用領域５１は、補間対象領域５２ｂ（図５参照）よりも大きい領域に設定されている。
【００２３】
ここで、対象フレーム５２の補間（合成）について説明する。本実施形態では、注目画素が画像のエッジ領域に含まれているときには、注目画素を含む補正対象領域に対してフラクタル補間を実行し、注目画素が画像のエッジ領域に含まれていないときには、注目画素に対してノイズ除去処理を実行するものとした。一般に、自然形状などは、局所的な領域（補間対象領域と称する）に含まれる画像の形状がそれに相似したもっと大きな領域（アフィン領域と称する）に含まれる画像の形状の縮小になっている、即ちフラクタル性がある。ここでは、アフィン領域に含まれる画像の形状を補間対象領域に合うよう縮小し、縮小した画像の形状が補間対象領域に含まれる画像の形状と相似するときには、補間対象領域の画像をこの縮小した画像に置き換えるような概念の処理を行うことにより、補間対象領域をより自然な形で高解像度化を図るという補間方法をフラクタル補間と呼ぶものとする。
【００２４】
さて、ステップＳ１２０で、注目画素を含むエッジ検査用領域内にエッジがないときには、注目画素に対してノイズ除去処理を実行する（ステップＳ１３０）。このノイズ除去処理は、注目画素とこの注目画素の周囲にある画素の値の平均を算出するものとした。ここで、算出した平均の画素値は、元画像が記憶されているＲＡＭ２４の領域とは異なる領域に記憶するものとした（図４の「Ｒｎ１」参照）。このように、注目画素５２ａがエッジ領域外であるときには、対象フレーム５２の一部領域のみを用いて注目画素５２ａを補うのである。
【００２５】
一方、ステップＳ１２０で、注目画素を含むエッジ検査用領域内にエッジがあるときには、注目画素５２ａを含む補間対象領域５２ｂ（図５参照）に対してフラクタル補間処理を実行する。具体的には、図５に示すように、注目画素５２ａを含む補間対象領域５２ｂを設定すると共に、この補間対象領域５２ｂを補正するのに用いる補間対象領域５２ｂよりも大きな領域であるアフィン領域５２ｃとを設定する（ステップＳ１４０）。図５は、フラクタル補間の説明図である。補間対象領域５２ｂは、注目画素５２ａの周りの所定画素数（例えば３×３や４×４など）の領域に定めるものとしてもよい。また、アフィン領域５２ｃは、補間対象領域５２ｂの所定数倍（例えば２倍や２．５倍など）の領域に定めるものとしてもよい。ここでは、補間対象領域５２ｂが３×３の画素領域に定められ、アフィン領域５２ｃが補間対象領域５２ｂの４倍の６×６の画素領域に定められる。また、画像合成処理の初めでは、アフィン領域５２ｃは、対象フレーム５２の注目画素５２ａ及び補間対象領域５２ｂを含む領域に設定される。
【００２６】
次に、ＣＰＵ２２は、類似度ＳＭＬの閾値ＳＭＬｒｅｆを設定する（ステップＳ１５０）。この類似度ＳＭＬは、補間対象領域５２ｂの領域をアフィン領域５２ｃを縮小した領域に置き換えるような概念の処理を実行するか否か、即ちフラクタル補間を実行するか否かを判定するのに用いられる値である。この閾値ＳＭＬｒｅｆは、注目画素５２ａの補間を実行すると画質が元画像よりも向上すると経験的に求められた値にその初期値が設定されるものとした。続いて、ＣＰＵ２２は、設定したアフィン領域５２ｃの各画素値を読み出し（ステップＳ１６０）、アフィン領域５２ｃを補間対象領域５２ｂのサイズに合うように縮小することにより補間対象領域５２ｂの各画素値を補間するのに用いる補間用画素値を取得する（ステップＳ１７０）。続いて、注目画素５２ａを含む補間対象領域５２ｂに対する、縮小したアフィン領域５２ｃの各画素値（補間用画素値）との相似性を表す類似度ＳＭＬを計算する（ステップＳ１８０）。ここでは、補間対象領域５２ｂの各画素値と各補間用画素値との差の二乗平均を求め、この差の二乗平均の総和が小さいほど大きい値に、即ち相似性が高いほど大きい値になるように類似度ＳＭＬを計算するものとした。
【００２７】
続いて、ＣＰＵ２２は、計算した類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えるか否か、即ち補間対象領域５２ｂの画像形状と縮小したアフィン領域５２ｃの画像形状との間の類似度が高いか否かを判定する（ステップＳ１９０）。類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えるときには、補間対象領域５２ｂの画像形状と縮小したアフィン領域５２ｃの画像形状とが相似する形状であるものとし、ＲＡＭ２４の所定領域に各補間用画素値を仮記憶し（ステップＳ２００）、閾値ＳＭＬｒｅｆに計算した類似度ＳＭＬをセットする（ステップＳ２１０）。なお、補間対象領域５２ｂに最も近似する補間用画素値を用いて補間対象領域５２ｂを補間するよう設定されているため、ここでは、閾値ＳＭＬｒｅｆをより類似する値である類似度ＳＭＬに変更し、補間用画素値はより類似するものに上書きしていくものとした。
【００２８】
ステップＳ２１０のあと、またはステップＳ１９０で類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えないとき、即ち類似度が低くアフィン領域５２ｃを補間対象領域５２ｂの補間用画素として採用しなかったあと、ＣＰＵ２２は、アフィン領域５２ｃの全シフトが終了したか否かを判定する（ステップＳ２２０）。図６は、アフィン領域５２ｃのアフィン変換の概要の一例を示す説明図である。ここでは、アフィン領域５２ｃに様々なアフィン変換を施すことにより、補間対象領域５２ｂに含まれる画像形状に最も相似する画像を求めるものとした。本実施形態では、アフィン領域５２ｃを所定範囲だけ上下左右に平行移動したり（図６（ａ））、アフィン領域５２ｃを所定角度だけ回転したり（図６（ｂ））、アフィン領域５２ｃを横方向に引き延ばしたり（図６（ｃ））、アフィン領域５２ｃを縦方向に引き延ばしたり（図６（ｄ））、などの処理を順に行うよう設定されている。このように、様々なアフィン領域５２ｃを設定し、補間対象領域５２ｂに最適な補間用画素を検索するのである。さて、アフィン領域５２ｃの全シフトが終了していないときには、アフィン領域５２ｃを予め定められた所定量だけシフトさせ、ステップＳ１６０以降の処理、即ち、シフトしたアフィン領域５２ｃが補間対象領域５２ｂに、より類似するか否かを判定する処理を繰り返す。
【００２９】
一方、アフィン領域５２ｃの全シフトが終了したときには、ＣＰＵ２２は、類似度ＳＭＬの判定を行っていないフレームがあるか否かを判定する（ステップＳ２４０）。類似度ＳＭＬの判定を行っていないフレームがあるときには、ＣＰＵ２２は、例えば対象フレーム５２から前フレーム５４へなど、フラクタル補間に用いる注目フレームを変更すると共に、変更したフレームのアフィン領域を設定し（ステップＳ２５０）、ステップＳ１６０以降の処理、即ち、前フレーム５４のアフィン領域５４ｃや次フレーム５６のアフィン領域５６ｃが補間対象領域５２ｂに、より類似するか否かを判定する処理を繰り返す。例えば、図７に示すように、注目フレームを前フレーム５４へ変更した場合、対象フレーム５２の注目画素５２ａの座標と同じ前フレーム５４の座標を仮注目画素５４ａとし、上述と同様に、この仮注目画素５４ａを含むアフィン領域５４ｃを設定する。つまり、注目画素５２ａや補間対象領域５２ｂを実質的に含む画素範囲に、アフィン領域を設定するのである。
【００３０】
ステップＳ２４０で類似度ＳＭＬの判定を行っていないフレームがないとき（すべてのフレームを判定したとき）には、ＣＰＵ２２は、現在ＲＡＭ２４の所定領域に仮記憶されている補間用画素値、即ち、設定されている補間対象領域５２ｂに最も近似する補間用画素値をＲＡＭ２４の別領域に設けられたシート上の対応する座標に各々加算することによりＲＡＭ２４へ記憶する（ステップＳ２６０）。例えば、注目画素５２ａを隣りの画素に変更したときには、補間対象領域５２ｂが前回の領域と重なるが、ここでは、補正用画素値を積算していき、積算した数で最終的に除算することによりフラクタル補間の値を平均化するものとした。なお、補間用画素値が仮記憶されていないときには、元画像の補間対象領域５２ｂをこのシート上に記憶するものとした。
【００３１】
続いて、ＣＰＵ２２は、すべての注目画素５２ａを終了したか否かを判定し（ステップＳ２７０）、すべての注目画素５２ａを終了していないときには、ステップＳ１１０で次の注目画素５２ａを設定し、ステップＳ１２０以降の処理を繰り返す。そして、すべての注目画素５２ａを終了したときには、各画素値を積算した数で除算して平均化し（ステップＳ２８０）、エッジ領域のスムージング処理などを施して静止画を生成し、生成した静止画をメモリカード１２など予め設定された保存先に保存し（ステップＳ２９０）、このルーチンを終了する。図８は、補間処理を施す前後の静止画の画質の説明図である。エッジがぼけるなどした動画データの元画像（図８（ａ））を含む複数フレームを用い、この複数フレーム全体のズレを補正した状態で各フレームの画素値を平均化する方法で静止画を合成すると、被写体自体の動きがあまり加味されず、図８（ｃ）に示すように、エッジがぼやけた画像となってしまう。これを更に修正しようとシャープネス処理などを施すと、ノイズまで強調されてしまい、十分に画質を向上させることができない場合があった。本実施形態では、動画データの元画像（図８（ａ））を含む複数フレームを用いたフラクタル補間を実行することにより、シャープネス処理やガンマ処理などを施すことなく十分に画質を向上させ、くっきりしたエッジの画像とすることができる（図８（ｂ））。なお、静止画を生成したあと、印刷機構２６によりこの静止画の印刷処理などを行ってもよい。
【００３２】
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のコントローラ２１が本発明の画像抽出手段、領域設定手段、補正判定手段、静止画生成手段、エッジ判定手段に相当し、ＲＡＭ２４が記憶手段に相当し、印刷機構２６が印刷実行手段に相当する。また、対象フレーム５２が対象画像に相当し、前フレーム５４及び次フレーム５６が合成用画像に相当し、補間対象領域５２ｂが補正対象領域に相当し、アフィン領域５２ｃが補正用領域に相当し、記録紙Ｓが印刷媒体に相当する。なお、本実施形態では、プリンタ２０の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。
【００３３】
以上詳述した本実施形態の印刷システム１０によれば、静止画として指定された対象フレーム５２と合成に用いる合成用フレームとの複数の画像を抽出し、対象フレーム５２の注目画素５２ａを設定し、補正対象としての補間対象領域５２ｂを対象フレーム５２の注目画素５２ａを含む領域に対して設定すると共に、この補間対象領域５２ｂよりも大きな領域でありこの補間対象領域５２ｂを実質的に含むアフィン領域５２ｃ，５４ｃ，５６ｃを対象フレーム５２及び合成用フレームに対して設定し、設定された対象フレーム５２又は合成フレームのアフィン領域５２ｃ，５４ｃ，５６ｃを縮小したものと補間対象領域５２ｂとの類似度ＳＭＬを算出し、この算出した類似度ＳＭＬを用いた判定結果に基づいてアフィン領域５２ｃ，５４ｃ，５６ｃのいずれかを用いて補間対象領域５２ｂをフラクタル補間することにより静止画を生成する。このように、動画データに含まれる複数のフレームを用いると共に、フレームの一領域を用い類似度ＳＭＬに基づいてこの対象フレーム５２の一領域をフラクタル補間することにより静止画を生成する。したがって、動画に含まれる画像から、より画質の高い静止画を生成することができる。また、注目画素５２ａを実質的に含む領域にアフィン領域５２ｃ，５４ｃ、５６ｃを設定するから、補間対象領域５２ｂとアフィン領域５２ｃ，５４ｃ、５６ｃとの類似度を高めやすく、ひいては画質の高い静止画を生成しやすい。更に、注目画素５２ａがエッジ領域にあるときにフラクタル補間を実行するため、補正効果の高いエッジ領域について補正用領域を用いて補正するため、一層画質の高い静止画を生成することができる。更にまた、注目画素５２ａがエッジ領域にないときには対象フレーム５２のみを用いてノイズ除去処理を実行するため、比較的簡便な処理で補間を行うことにより補間処理の負荷を低減することができる。そして、補正用領域を縮小して得られた各補正用画素値を加算して各画素の画素値とするため、比較的均一な状態でエッジ領域を高画質にすることができる。また、対象フレームと異なるＲＡＭ２４の領域に補間結果を記憶するため、対象フレームをあとで利用することができる。そしてまた、対象フレーム５２とこの対象フレーム５２の前後にある画像を抽出するため、対象フレーム５２により近い合成用フレームを利用してフラクタル補間し、静止画の画質を向上しやすい。そして更に、プリンタ２０は、動画に含まれる静止画を印刷することが多く、より画質の高い静止画を必要とすることから、本発明を適用する意義が高い。
【００３４】
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【００３５】
例えば、上述した実施形態では、エッジ領域ではフラクタル補間を実行し、エッジ領域以外ではノイズ除去処理を実行するものとしたが、エッジ領域以外でもフラクタル補間を実行するものとしてもよい。こうしても、動画に含まれる画像から、より画質の高い静止画を生成することができる。特に、類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えない領域にはフラクタル補間を実行しないため、エッジ領域以外の領域に上述したフラクタル補間処理を実行しても画質が劣化することはない。
【００３６】
上述した実施形態では、対象フレーム５２を１枚と合成用フレームとして前フレーム５４と次フレーム５６の２枚とを用いて合計３枚のフレームを使用してフラクタル補間を実行するものとしたが、合成用フレームとして１枚以上使用してフラクタル補間を実行してもよい。例えば、対象フレーム５２よりあとのフレームのみを１枚以上のいずれかを用いてフラクタル補間を行うものとしてもよいし、対象フレーム５２の前のフレームのみを１枚以上のいずれかを用いてフラクタル補間を行うものとしてもよいし、対象フレーム５２に隣り合う前後１枚以上のいずれかを用いてフラクタル補間を行うものとしてもよい。こうしても、動画に含まれる画像から、より画質の高い静止画を生成することができる。
【００３７】
上述した実施形態では、エッジ領域には画像のエッジとこのエッジの近傍を含むものとし、このエッジ領域に対してフラクタル補間を行うものとしたが、エッジ領域には画像のエッジのみを含むものとし、このエッジ領域に対してフラクタル補間を行うものとしてもよい。
【００３８】
上述した実施形態では、アフィン領域５２ｃのアフィン変換として、アフィン領域５２ｃを、所定範囲だけ上下左右に平行移動する処理、所定角度だけ回転する処理、横方向に引き延ばす処理、縦方向に引き延ばす処理などを行うものとしたが、これに限らず菱形に変形させる処理などを加えてもよいし、上記いずれかの処理の１以上を省略するものとしてもよい。こうしても、動画に含まれる画像から、より画質の高い静止画を生成することができる。
【００３９】
上述した実施形態では、エッジ領域以外ではノイズ除去処理として周囲の画素の平均を取るものとしたが、エッジ領域以外ではノイズ除去フィルタをかける処理や、スムージングをかける処理などを実行するものとしてもよい。あるいはエッジ領域以外では何も処理しないものとしてもよい。
【００４０】
上述した実施形態では、アフィン領域５２ｃを補間対象領域５２ｂのサイズに合うように縮小して類似度ＳＭＬを算出するものとしたが、アフィン領域５２ｃを縮小せずに類似度ＳＭＬを算出するものとしてもよい。また、上述した実施形態では、アフィン領域５２ｃを縮小して補間対象領域５２ｂに置き換えるような概念で補間処理を実行し静止画を生成するものとしたが、アフィン領域５２ｃを縮小せずに、アフィン領域５２ｃのサイズに合わせて補間処理を実行し静止画を生成するものとしてもよい。
【００４１】
上述した実施形態では、注目画素５２ａが実質的に含まれる領域に補間対象領域５２ｂやアフィン領域５２ｃを設定するものとしたが、例えば前フレーム５４や次フレーム５６など、注目画素５２ａが実質的に含まれないアフィン領域を設定してもよい。こうしても、類似度ＳＭＬが高いものを用いてフラクタル補間を実行するから、動画に含まれる画像から、より画質の高い静止画を生成することはできる。
【００４２】
上述した実施形態では、１つの対象フレーム５２が選択されたときの静止画の生成処理について説明したが、連続する複数の対象フレームが静止画の生成に指定されたときに、以下の処理を実行するものとしてもよい。以下に、フレーム番号ＦｎがＦ０，Ｆ１，Ｆ２のフレームが対象フレームとして指定された場合について具体的に説明する。まず、ＣＰＵ２２は、フレーム番号ＦｎがＦ０，Ｆ１，Ｆ２のフレームを対象フレームとして抽出する。また、対象フレームＦ０については、合成用フレームＦ−１，Ｆ１を抽出し、対象フレームＦ１については、合成用フレームＦ０，Ｆ２を抽出し、対象フレームＦ２については、合成用フレームＦ１，Ｆ３を抽出する。次に、対象フレームＦ０，合成用フレームＦ−１，Ｆ１を用いて、上述の画像合成処理ルーチンを実行し、対象フレームＦ０の複数フレームによるフラクタル補間を実行する。次にフラクタル補間を実行する対象フレームＦ１の合成フレームのなかに、フラクタル補間を実行した静止画が隣り合う所定枚数内（例えば１枚内や３枚内など）にあるか否かを判定し、所定枚数内にあるときは、フラクタル補間後の静止画を合成用フレームＦ０としてアフィン領域を設定し対象フレームＦ１の補間対象領域に対してフラクタル補間を行う。この隣り合う所定枚数は、生成する静止画の画質が高くなるように経験的に定めた枚数に設定するものとしてもよい。なお、フラクタル補間を実行した静止画が隣り合う所定枚数内にないときは、そのまま合成用フレームＦ０を用いて複数フレームによるフラクタル補間を行う。同様に対象フレームＦ２の複数フレームによるフラクタル補間を行う。こうすれば、複数の対象フレームが静止画として指定されたときに、フラクタル補間後の静止画をも用いて対象フレームを補間するため、一層画質の高い静止画を生成することができる。
【００４３】
上述した実施形態では、プリンタ２０を本発明の画像処理装置として説明したが、動画に含まれる複数の画像を利用しフラクタル補間により静止画を生成するものであれば特に限定されず、例えば、ピクチャービューワ、デジタルビデオ、カメラ付き携帯電話及びモバイルＰＣなどとしてもよい。また、プリンタ２０は、スキャナを備えたマルチファンクションプリンタやＦＡＸなどとしてもよい。また、上述した実施形態では、印刷機構２６は、加圧されたインクを記録紙Ｓに吐出して印刷処理を実行するインクジェット方式の機構であるとしたが、電子写真方式のカラーレーザプリンタや、熱転写方式のカラープリンタや、ドットインパクト方式のカラープリンタとしてもよいし、これらのモノクロプリンタとしてもよい。更に、プリンタ２０の態様で説明したが、画像処理方法の態様としてもよいし、この方法のプログラムの態様としてもよい。
【図面の簡単な説明】
【００４４】
【図１】印刷システム１０の構成の概略を示す構成図である。
【図２】画像合成処理ルーチンの一例を示すフローチャートである。
【図３】対象フレームと合成用フレームの説明図である。
【図４】エッジ領域の説明図である。
【図５】フラクタル補間の説明図である。
【図６】アフィン領域５２ｃのアフィン変換の概要の一例を示す説明図である。
【図７】フラクタル補間の説明図である。
【図８】補間処理を施す前後の静止画の画質の説明図である。
【符号の説明】
【００４５】
１０  印刷システム、１２  メモリカード、２０  プリンタ、２１  コントローラ、２２  ＣＰＵ、２３  フラッシュＲＯＭ、２４  ＲＡＭ、２５  リーダライタ、２５ａ  スロット、２６  印刷機構、２８  ＵＳＢ−インタフェース（Ｉ／Ｆ）、２９  バス、３０  操作パネル、３２  表示部、３４  操作部、３４ａ  カーソルキー、３４ｂ  決定キー、４０  デジタルビデオ、４０ａ  ＵＳＢケーブル、４１  操作パネル、４２  ＣＰＵ、４３  ＲＯＭ、４４  ＲＡＭ、４５  ＨＤＤ、４６  リーダライタ、４７  撮像ユニット、４８  ＵＳＢ−インタフェース（Ｉ／Ｆ）、５１  エッジ検査用領域、５２  対象フレーム、５２ａ  注目画素、５２ｂ  補間対象領域、５２ｃ，５４ｃ、５６ｃ  アフィン領域、５４  前フレーム、５４ａ  仮注目画素、５６  次フレーム。
【図１】
2009015618.tif 000003
【図２】
2009015618.tif 000004
【図３】
2009015618.tif 000005
【図４】
2009015618.tif 000006
【図５】
2009015618.tif 000007
【図６】
2009015618.tif 000008
【図７】
2009015618.tif 000009
【図８】
2009015618.tif 000010