(57)【要約】【課題】  複数フレームの画像から、形状が複雑に変化する対象の高画質な静止画像を生成すること。【解決手段】  画像処理装置１は、指定されたフレームにおける指定されたオブジェクトおよび他のフレームにおけるそのオブジェクトが小領域に分割され、他のフレームにおいて、指定されたオブジェクトの各小領域（抽出画像片）と適合する小領域（適合領域）が探索される。そして、探索された適合領域が、抽出画像片と重み付け平均化されることにより、指定されたフレームにおいて、指定されたオブジェクトの部分が高精細化される。  したがって、複数フレームの画像から、人物のように形状が複雑に変化する対象の高画質な静止画像を生成することが可能となる。【選択図】  図１
2005123997.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームに含まれる画像に基づいて、処理対象となる画像を補正する画像処理装置であって、
前記処理対象として指定された所定フレームの画像と、該画像に対応する他のフレームそれぞれの画像とを、画像を構成する所定情報に基づいて、小領域に分割する分割手段と、
前記処理対象の画像における前記小領域それぞれについて、他の各フレームにおける前記小領域の中から、前記処理対象の画像における該小領域と画像の内容が適合する適合領域を検出する適合領域検出手段と、
前記処理対象の画像における前記小領域と、該小領域に対応する前記適合領域とを合成することにより、前記処理対象の画像を補正する補正手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記適合領域検出手段は、前記小領域の回転、平行移動、拡大・縮小あるいは所定方向への伸縮の少なくともいずれかを行うことにより、前記適合領域を検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記適合領域検出手段は、前記小領域内の周辺部分に位置する所定画素を削除した上で、前記適合領域を検出することを特徴とする請求項１または２記載の画像処理装置。
【請求項４】
前記適合領域検出手段は、前記処理対象の画像における前記小領域の位置に基づいて、前記他のフレームにおいて、該小領域に対応する適合領域を検出するための位置範囲を設定することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記適合領域検出手段は、前記複数のフレーム間で前記処理対象の画像が移動する方向に基づいて、前記他のフレームにおいて、前記処理対象の画像における前記小領域に対応する適合領域を検出するための位置範囲を設定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記補正手段は、前記処理対象の画像における前記小領域と該小領域に対応する前記適合領域とのフレーム間距離あるいはフレームにおける位置の差の少なくともいずれかに応じて、該小領域と適合領域とを平均化することにより、前記合成を行うことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
複数のフレームに含まれる画像に基づいて、処理対象となる画像を補正するための画像処理プログラムであって、
前記処理対象として指定された所定フレームの画像と、該画像に対応する他のフレームそれぞれの画像とを、画像を構成する所定情報に基づいて、小領域に分割する分割機能と、
前記処理対象の画像における前記小領域それぞれについて、他の各フレームにおける前記小領域の中から、前記処理対象の画像における該小領域と画像の内容が適合する適合領域を検出する適合領域検出機能と、
前記処理対象の画像における前記小領域と、該小領域に対応する前記適合領域とを合成することにより、前記処理対象の画像を補正する補正機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項８】
複数のフレームに含まれる画像に基づいて、処理対象となる画像を補正する画像処理方法であって、
前記処理対象として指定された所定フレームの画像と、該画像に対応する他のフレームそれぞれの画像とを、画像を構成する所定情報に基づいて、小領域に分割する分割ステップと、
前記処理対象の画像における前記小領域それぞれについて、他の各フレームにおける前記小領域の中から、前記処理対象の画像における該小領域と画像の内容が適合する適合領域を検出する適合領域検出ステップと、
前記処理対象の画像における前記小領域と、該小領域に対応する前記適合領域とを合成することにより、前記処理対象の画像を補正する補正ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数フレームの画像に基づいて、画像の画質を改善することが可能な画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、動画像における１フレームの静止画像に着目し、その静止画像を表示したり、印刷したりすることが行われている。
例えば、ホームビデオで撮影された動画像において、ある瞬間の静止画像をビデオプリンタで印刷するといったことが行われている。
ところが、このような動画像における１フレームの静止画像は、表示あるいは印刷するためには画質が不十分であることが多い。
【０００３】
上述のように、動きのある対象物を高画質の静止画として取得する場合、特に、動きのある対象物の決定的な瞬間を高画質の静止画として取得しようとする場合には、膨大な数の静止画像を短時間に連続的に撮影することが考えられるが、高度な撮影技術および撮影機材を必要とし、一般の利用者がこのような方法を行うことは困難である。
また、従前に撮影されたビデオ映像中の対象物を高画質で印刷したいという要求も生ずるが、従来、それを実現することは困難であった。
【０００４】
さらに、遠方の物体が撮影された場合、そもそも画像の解像度が低く、撮影された動画像が価値の低いものになってしまうことがあった。例えば、貴重な野生動物を発見した場合に、遠方から撮影した動画像は、その野生動物が低画質で写っているため、特徴が認識できない等、記録映像として利用価値が低いものとなってしまう。
このような問題を解決するために、動画像における複数のフレーム等、複数の静止画像を合成して高画質の画像を取得する技術が知られている。
【０００５】
例えば、テレビジョン学会誌Vol．49，No.3（1995）には、従来のブロックマッチングに代えて、四辺形パッチを用いた動き推定を行うことにより、一連の動画像から高精細な静止画像を生成する技術が開示されている。
【非特許文献１】テレビジョン学会誌Vol．49，No.3（1995）p.299-308
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記文献に記載された技術は、主として、動画像中の剛体を対象として、画像を高精細化することを想定しており、動きが比較的単純な対象に対応するものであった。そのため、人間や動物のように、形状が複雑に変化する対象に対して、直ちに適用できるものではなかった。
即ち、従来、複数フレームの画像から、形状が複雑に変化する対象の高画質な静止画像を生成することが困難であった。
【０００７】
本発明の課題は、複数フレームの画像から、形状が複雑に変化する対象の高画質な静止画像を生成することである。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、本発明は、
複数のフレームに含まれる画像に基づいて、処理対象となる画像を補正する画像処理装置であって、前記処理対象として指定された所定フレームの画像と、該画像に対応する他のフレームそれぞれの画像とを、画像を構成する所定情報に基づいて、小領域に分割する分割手段（例えば、図１の制御部２０）と、前記処理対象の画像における前記小領域それぞれについて、他の各フレームにおける前記小領域の中から、前記処理対象の画像における該小領域と画像の内容が適合する適合領域を検出する適合領域検出手段（例えば、図１の制御部２０）と、前記処理対象の画像における前記小領域と、該小領域に対応する前記適合領域とを合成することにより、前記処理対象の画像を補正する補正手段（例えば、図１の制御部２０）とを含むことを特徴としている。
【０００９】
このような構成により、指定されたフレームにおける指定された画像および他のフレームにおけるその画像が小領域に分割され、他のフレームにおいて、指定された画像の各小領域と適合する小領域（適合領域）が検出される。
そして、探索された適合領域が、指定された画像と合成されることにより、指定されたフレームにおいて、指定された画像が高精細化される。
【００１０】
したがって、形状が複雑に変化する被写体の画像であっても、小領域に分割して、他のフレームにおける適合領域を検出し、指定された画像の小領域と合成するため、複数フレームの画像から、高画質な静止画像を生成することが可能となる。
また、前記適合領域検出手段は、前記小領域の回転、平行移動、拡大・縮小あるいは所定方向への伸縮の少なくともいずれかを行うことにより、前記適合領域を検出することを特徴としている。
【００１１】
このような構成により、指定された画像の被写体の一部が、姿勢を変化したり、移動したり、近づいたり、遠ざかったり、向きを変えたりした場合にも、適切に適合領域を検出することが可能となる。
また、前記適合領域検出手段は、前記小領域内の周辺部分に位置する所定画素を削除した上で、前記適合領域を検出することを特徴としている。
【００１２】
このような構成により、誤差の大きい周辺部分を除外して適合領域の検出を行うことができるため、より適切に適合領域を検出することが可能となる。
また、前記適合領域検出手段は、前記処理対象の画像における前記小領域の位置に基づいて、前記他のフレームにおいて、該小領域に対応する適合領域を検出するための位置範囲を設定することを特徴としている。
【００１３】
このような構成により、指定された画像における相対的な位置を反映させた位置範囲から適合領域を検出することができるため、より効率的に適合領域を検出することが可能となる。
また、前記適合領域検出手段は、前記複数のフレーム間で前記処理対象の画像が移動する方向に基づいて、前記他のフレームにおいて、前記処理対象の画像における前記小領域に対応する適合領域を検出するための位置範囲を設定することを特徴としている。
【００１４】
このような構成により、被写体の動きを反映させた位置範囲から適合領域を検出することができるため、より効率的に適合領域を検出することが可能となる。
また、前記補正手段は、前記処理対象の画像における前記小領域と該小領域に対応する前記適合領域とのフレーム間距離あるいはフレームにおける位置の差の少なくともいずれかに応じて、該小領域と適合領域とを平均化することにより、前記合成を行うことを特徴としている。
【００１５】
このような構成により、指定された画像に対して、より適切な適合領域の内容が、より高く反映される形態で、画像を高画質化することができる。
また、本発明は、
複数のフレームに含まれる画像に基づいて、処理対象となる画像を補正するための画像処理プログラムであって、前記処理対象として指定された所定フレームの画像と、該画像に対応する他のフレームそれぞれの画像とを、画像を構成する所定情報に基づいて、小領域に分割する分割機能と、前記処理対象の画像における前記小領域それぞれについて、他の各フレームにおける前記小領域の中から、前記処理対象の画像における該小領域と画像の内容が適合する適合領域を検出する適合領域検出機能と、前記処理対象の画像における前記小領域と、該小領域に対応する前記適合領域とを合成することにより、前記処理対象の画像を補正する補正機能とをコンピュータに実現させることを特徴としている。
【００１６】
また、本発明は、
複数のフレームに含まれる画像に基づいて、処理対象となる画像を補正する画像処理方法であって、前記処理対象として指定された所定フレームの画像と、該画像に対応する他のフレームそれぞれの画像とを、画像を構成する所定情報に基づいて、小領域に分割する分割ステップと、前記処理対象の画像における前記小領域それぞれについて、他の各フレームにおける前記小領域の中から、前記処理対象の画像における該小領域と画像の内容が適合する適合領域を検出する適合領域検出ステップと、前記処理対象の画像における前記小領域と、該小領域に対応する前記適合領域とを合成することにより、前記処理対象の画像を補正する補正ステップとを含むことを特徴としている。
【００１７】
このように、本発明によれば、複数フレームの画像から、形状が複雑に変化する対象の高画質な静止画像を生成することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図を参照して本発明の実施の形態を説明する。
まず、構成を説明する。
図１は、本発明に係る画像処理装置１の機能構成を示すブロック図である。
図１において、画像処理装置１は、入力部１０と、制御部２０と、記憶部３０と、ＲＡＭ（Random Access Memory）４０と、ＶＲＡＭ（Video Random Acc ess Memory）５０と、表示部６０とを含んで構成される。
【００１９】
入力部１０は、カーソルキーや数字入力キー等を備えたキーボード及びマウス等のポインティングデバイスを含み、キーボードにおいて押下されたキーの押下信号やマウスの位置信号を制御部２０に出力する。
制御部２０は、画像処理装置１全体を制御するもので、入力部１０から入力される各種の指示信号に従って、記憶部３０に記憶された各種処理に関するプログラムを読み出して実行する。例えば、制御部２０は、後述する高精細化処理の実行が指示された場合に、記憶部３０から高精細化処理プログラムを読み出して実行する。そして、制御部２０は、各種プログラムを実行した処理結果を記憶部３０やＲＡＭ４０の所定の領域に格納したり、表示部６０に表示させたりする。
【００２０】
記憶部３０は、フラッシュＲＯＭ等の不揮発性の半導体メモリで構成され、高精細化処理プログラムや、そのサブプログラムである適合性判定処理プログラム、および画像処理装置１の制御のための各種処理に関するプログラムを記憶している。また、記憶部３０は、高精細化処理の対象となる動画像を記憶している。
ＲＡＭ４０は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性のメモリによって構成され、画像処理装置１が動作する際に生成される種々のデータを一時的に保持する。例えば、ＲＡＭ４０は、高精細化処理の過程において生成される抽出画像片（後述）や、高精細化処理において生成された高精彩の画像（後述する画質改善後画像）を保持する。
【００２１】
ＶＲＡＭ５０は、表示部６０で表示される表示データを格納するビデオメモリである。
表示部６０は、例えばドットマトリクスタイプのカラー液晶表示セルやＣＲＴ（Cathode Ray Tube）等から構成され、ＶＲＡＭ５０に格納された各種データを表示する。
次に、動作を説明する。
図２は、制御部２０が実行する高精細化処理を示すフローチャートである。
【００２２】
高精細化処理は、画像処理装置１のユーザが、実行を指示入力することによって起動される。
図２において、高精細化処理の実行が開始されると、制御部２０は、処理対象となる動画像（図３参照）を記憶部３０から読み出す（ステップＳ１）。
図３は、処理対象となる動画像の一部のフレームＡ〜Ｃを示す図である。
【００２３】
図３において、フレームＡ〜Ｃは、フレームＡ→フレームＢ→フレームＣの順で表示される一連の動画像であり、主とする被写体として人物、背景に家の画像が含まれている。また、フレームＡ〜Ｃにおいて、人物は、画面左から右へと移動すると共に、フレームＡにおいて伸ばしていた右腕を、フレームＢにおいては折り曲げ、フレームＣでは再び伸ばし始めている。
【００２４】
図２に戻り、ステップＳ１の後、制御部２０は、読み込んだ動画像の各フレームの中から、高精細の画像としたいオブジェクトおよびフレームの指定を受け付け（ステップＳ２）、読み込んだ一連の動画像の中から、指定されたオブジェクトを抽出する（ステップＳ３）。
ここで、動画像に含まれる特定のオブジェクトを抽出する処理は、例えば、特開平１０−３０４３４８号公報に記載された技術を利用することが可能であり、この場合、動画像中の特定のオブジェクトを自動的に抽出することが可能である。また、その他の方法として、動画像の各フレームにおいて、ユーザが、抽出したいオブジェクトを手動で囲うこと等によっても特定のオブジェクトを抽出することができる。
【００２５】
ステップＳ３の後、制御部２０は、各フレームにおける指定されたオブジェクトを、所定の小領域（以下、「抽出画像片」と言う。）にそれぞれ分割する（ステップＳ４）。
図４は、フレームＡ〜Ｃにおいて、指定されたオブジェクトが抽出画像片に分割された状態を示す図である。
図４のようにオブジェクトを抽出画像片に分割する場合、各画素の輝度や色に応じて分割することが可能である。例えば、輝度や色が変化する境界を基に、抽出画像片に分割することが可能である。
【００２６】
図２に戻り、ステップＳ４の後、制御部２０は、指定されたフレームにおける抽出画像片毎に、適合性判定処理（後述）を実行する（ステップＳ５）。なお、適合性判定処理によって、各抽出画像片について、他のフレームにおいて適合している領域（以下、「適合領域」と言う。）が取得される。
ステップＳ５の後、制御部２０は、各抽出画像片のうち、適合性判定処理によって、適合領域が取得されているものについて、その適合領域を抽出画像片と合成する処理を行う（ステップＳ６）。
【００２７】
このとき、制御部２０は、抽出画像片の画素値と、適合領域の画素値とを、適合領域が取得されたフレームと指定されたフレームとのフレーム間距離（フレームが離れている枚数）に応じて、重み付け平均する。
例えば、一連の動画像のフレームＡ〜Ｅ（フレームＤ，Ｅは不図示）において、フレームＣの抽出画像片に対して、フレームＡ，Ｂ，Ｅから適合領域が取得された場合、適合領域が取得されなかったフレームＤには、抽出画像片を適合領域として割り当てると、（Ａ＋２×Ｂ＋４×Ｃ＋２×Ｃ＋Ｅ）／１０の重み付けで、平均値をとることが可能である。
【００２８】
なお、フレーム間距離に応じて重み付け平均をとることの他、抽出画像片の中心のフレームにおける位置（アドレス）と適合領域の中心のフレームにおける位置（アドレス）との距離に応じて重み付け平均をとることも可能である。
ステップＳ６の後、制御部２０は、抽出画像片について適合領域の合成が行われた後の画像（以下、「画質改善後画像」と言う。）を表示部６０に出力したり、不図示のプリンタに出力したりする（ステップＳ７）。
【００２９】
図５は、画質改善後画像を示す模式図である。
なお、図５においては、高精細化する画像として、図３のフレームＢにおける人物が指定された場合の例を示している。
図５における黒塗り部分は、適合領域が取得され、高精細化された部分であり、他の部分は、元の画像がそのまま保持された部分である。
【００３０】
次に、高精細化処理において実行される適合性判定処理について説明する。
図６は、制御部２０が実行する適合性判定処理を示すフローチャートである。
適合性判定処理は、高精細化処理のステップＳ５においてサブフローとして実行される。
図６において、適合性判定処理が開始されると、制御部２０は、指定されたオブジェクトの各抽出画像片について、他のフレームにおいて取得された適合領域と外接矩形の中心を重ね合わせ（ステップＳ１０１）、抽出画像片と適合領域とにおいて重なった領域の面積Ｍ０を取得する（ステップＳ１０２）。
【００３１】
図７は、抽出画像片と、その適合領域の一例を示す図であり、図７（ａ）は、フレームＡにおける人物の手首の位置の適合領域ａを表し、図７（ｂ）は、指定されたフレームＢにおける抽出画像片ｂを表している。
また、図８は、図７（ａ）に示す適合領域ａに外接矩形が設定された状態を示す図であり、外接矩形の対角線の交点が、適合領域の中心とみなされる。なお、図７（ｂ）に示す抽出画像片ｂにも、図８と同様に外接矩形が設定され、抽出画像片の中心が定められる。
【００３２】
そして、ステップＳ１０２においては、図７に示す抽出画像片ｂおよび適合領域ａに設定された外接矩形の中心が、図９（ａ）に示すように重ね合わせられ、さらに、図９（ｂ）に示すように回転されている。
次に、図６のステップＳ１０２の後、制御部２０は、図９（ｂ）の状態にある抽出画像片ｂおよび適合領域ａにおいて、重なっている部分の各画素同士の画素値（例えば、輝度や色を示す値）の差分の平均値Δｄ０を算出する（ステップＳ１０３）。
【００３３】
そして、制御部２０は、図９（ｂ）の状態に重ねられている抽出画像片ｂおよび適合領域ａを水平および垂直方向に互いに所定量（例えば数画素等）ずらす（ステップＳ１０４）。なお、このとき、抽出画像片ｂおよび適合領域ａを互いにずらすことの他、中心のまわりに所定量（例えば１０度等）回転させることとしても良い。さらに、抽出画像片ｂに対して適合領域ａを拡大若しくは縮小したり、縦横いずれかの方向に圧縮若しくは伸長したりすることとしても良い。
【００３４】
続いて、制御部２０は、ステップＳ１０４においてずらされた抽出画像片ｂと適合領域ａとにおいて重なった領域の面積Ｍ１を取得し（ステップＳ１０５）、重なっている部分の各画素同士の画素値の差分の平均値Δｄ１を算出する（ステップＳ１０６）。
次に、制御部２０は、面積Ｍ０が面積Ｍ１より小さく、かつ、画素値の差分の平均値Δｄ０がΔｄ１より大きいか否か（（Ｍ０＜Ｍ１）＆（Δｄ０＞Δｄ１））の判定を行う（ステップＳ１０７）。
【００３５】
ステップＳ１０７において、面積Ｍ０が面積Ｍ１より小さく、かつ、画素値の差分の平均値Δｄ０がΔｄ１より大きいと判定した場合、制御部２０は、ステップＳ１０４の処理に移行する。
一方、ステップＳ１０７において、面積Ｍ０が面積Ｍ１以上である、あるいは、画素値の差分の平均値Δｄ０がΔｄ１以下であると判定した場合、制御部２０は、高精細化処理のメインフローに戻り、ステップＳ６に移行する。
【００３６】
以上のように、本実施の形態に係る画像処理装置１は、指定されたフレームにおける指定されたオブジェクトおよび他のフレームにおけるそのオブジェクトが小領域に分割され、他のフレームにおいて、指定されたオブジェクトの各小領域（抽出画像片）と適合する小領域（適合領域）が探索される。
そして、探索された適合領域が、抽出画像片と重み付け平均化されることにより、指定されたフレームにおいて、指定されたオブジェクトの部分が高精細化される。
【００３７】
したがって、複数フレームの画像から、人物のように形状が複雑に変化する対象の高画質な静止画像を生成することが可能となる。
なお、本実施の形態において、抽出画像片に対する適合領域を探索する際に、抽出されたオブジェクトの中心に対する抽出画像片の位置を基に、探索領域を限定することとしても良い。例えば、抽出されたオブジェクトの中心の直上に位置する抽出画像片の適合領域を探索する場合、他のフレームにおいて、抽出されたオブジェクトの直上付近の一定領域を探索対象とすることが可能である。
【００３８】
また、抽出されたオブジェクトが各フレームにおいて一定方向に移動している場合、各フレームにおいて、指定されたフレームにおける指定されたオブジェクトの位置から、その移動方向にあたる一定領域を適合領域の探索領域とすることが可能である。
上述のような場合、適合領域を探索するための処理負荷が軽減される。
また、本実施の形態において、抽出画像片と適合領域とが適合しているか否かを判定する際に、抽出画像片および適合領域の周辺部分を所定量（例えば数画素程度）削除した上で判定を行うこととしても良い。これは、抽出画像片および適合領域の周辺部分は、画素値の境界付近であることから、両者を比較する際の誤差を多く含むと考えられるからである。
【００３９】
さらに、本実施の形態において、動画像に含まれる複数のフレームを対象として、抽出画像片に対する適合領域を取得し、画質を向上させることとして説明したが、指定されたオブジェクトが撮影されたものであれば、複数の静止画像を対象として、抽出画像片に対する適合領域を取得することとしても良い。
【図面の簡単な説明】
【００４０】
【図１】本発明に係る画像処理装置１の機能構成を示すブロック図である。
【図２】制御部２０が実行する高精細化処理を示すフローチャートである。
【図３】処理対象となる動画像の一部のフレームＡ〜Ｃを示す図である。
【図４】フレームＡ〜Ｃにおいて、指定されたオブジェクトが抽出画像片に分割された状態を示す図である。
【図５】画質改善後画像を示す模式図である。
【図６】制御部２０が実行する適合性判定処理を示すフローチャートである。
【図７】抽出画像片と、その適合領域の一例を示す図である。
【図８】図７（ａ）に示す適合領域ａに外接矩形が設定された状態を示す図である。
【図９】図７に示す抽出画像片ｂおよび適合領域ａが重ね合わせられた状態を示す図である。
【符号の説明】
【００４１】
１  画像処理装置、１０  入力部、２０  制御部、３０  記憶部、４０  ＲＡＭ、５０  ＶＲＡＭ、６０  表示部
【図１】
2005123997.tif 000003
【図２】
2005123997.tif 000004
【図３】
2005123997.tif 000005
【図４】
2005123997.tif 000006
【図５】
2005123997.tif 000007
【図６】
2005123997.tif 000008
【図７】
2005123997.tif 000009
【図８】
2005123997.tif 000010
【図９】
2005123997.tif 000011