(57)【要約】【課題】動画に含まれるフレームのぶれを精度よく補正する画像処理装置を提供する。【解決手段】動画に含まれるフレームのぶれを補正する画像処理装置であって、動画に含まれる複数のフレームに基づいて複数のフレームに渡る被写体の動きを示すフレーム間動きベクトルを算出するフレーム間動きベクトル算出部と、フレーム間動きベクトルに基づいて、複数のフレームのうちの特定のフレームを撮像している時間であるフレーム撮像時間内における被写体の動きを示すフレーム内動きベクトルを算出するフレーム内動きベクトル算出部と、フレーム内動きベクトルに基づいて特定のフレームにおける被写体の動きに基づく被写体のぶれを補正するぶれ補正部とを備える。【選択図】  図１
2004247972.tif 000002
【特許請求の範囲】
【請求項１】
動画に含まれるフレームのぶれを補正する画像処理装置であって、
前記動画に含まれる複数のフレームに基づいて、前記複数のフレームに渡る被写体の動きを示すフレーム間動きベクトルを算出するフレーム間動きベクトル算出部と、
前記フレーム間動きベクトルに基づいて、前記複数のフレームのうちの特定のフレームを撮像している時間であるフレーム撮像時間内における前記被写体の動きを示すフレーム内動きベクトルを算出するフレーム内動きベクトル算出部と、
前記フレーム内動きベクトルに基づいて、前記特定のフレームにおける前記被写体の動きに基づく前記被写体のぶれを補正するぶれ補正部と
を備えることを特徴とする画像処理装置。
【請求項２】
前記フレーム間動きベクトルに基づいて、前記複数のフレームにそれぞれ撮像されている前記被写体を同じ位置に移動して、前記複数のフレームを重ね合わせることにより、前記特定のフレームの解像度を高めるスーパーリゾリューション部をさらに備え、
前記ぶれ補正部は、前記スーパーリゾリューション部によって解像度が高められた前記特定のフレームにおける前記被写体のぶれを補正することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定のフレームが印刷又は表示されるべき出力サイズを取得する出力サイズ取得部と、
前記出力サイズ取得部が取得した前記出力サイズに基づいて、前記フレーム間動きベクトル算出部が前記フレーム間動きベクトルを算出するときに用いる前記フレームの数を決定するフレーム数決定部と
をさらに備え、
前記フレーム間動きベクトル算出部は、前記フレーム数決定部が決定した数の前記フレームに基づいて、前記フレーム間動きベクトルを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記フレーム内動きベクトル算出部は、前記被写体が静止していた場合に１つの画素に撮像されるべき前記被写体上の点である被写点が、前記フレーム撮像時間内に移動することによっていずれの画素に跨って撮像されているかを算出することにより、前記フレーム内動きベクトルを算出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ぶれ補正部は、
前記フレーム内動きベクトルに基づいて、前記特定のフレームにおいて前記被写点が複数の画素によってそれぞれ撮像されている時間である画素撮像時間をそれぞれ算出する画素撮像時間算出部と、
前記画素撮像時間算出部が算出した複数の前記画素撮像時間、及び前記複数の画素のそれぞれの実際の画素値に基づいて、前記被写体が静止していた場合に複数の画素がそれぞれ撮像すべき理想の画素値を算出する理想画素値算出部と
を備えることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
動画に含まれるフレームのぶれを補正する画像処理方法であって、
前記動画に含まれる複数のフレームに基づいて、前記複数のフレームに渡る被写体の動きを示すフレーム間動きベクトルを算出する段階と、
前記フレーム間動きベクトルに基づいて、前記複数のフレームのうちの特定のフレームを撮像している時間であるフレーム撮像時間内における前記被写体の動きを示すフレーム内動きベクトルを算出する段階と、
前記フレーム内動きベクトルに基づいて、前記特定のフレームにおける前記被写体の動きに基づく前記被写体のぶれを補正する段階と
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び画像処理方法に関する。特に本発明は、動画に含まれるフレームのぶれを補正する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
従来、ビデオカメラで撮影した動画情報の任意の画像を静止画としてプリントするビデオプリンタが開発された。このビデオプリンタでは、ビデオカメラで撮影された動画をモニタ画面上に再生し、ユーザによって動画中の所望の画像が選択されると、そのフレームの映像信号に基づいて静止画のプリントが行われる（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開平６−３１１４６６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、ビデオカメラで撮影された動画に含まれるフレームは、解像度が低く、また手ぶれ等による乱れを含む場合があるため、そのフレームの映像信号のみからでは写真のようにきれいな画像を得ることができない。
【０００５】
そこで本発明は、上記の課題を解決することのできる画像処理装置及び画像処理方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００６】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、動画に含まれるフレームのぶれを補正する画像処理装置であって、動画に含まれる複数のフレームに基づいて、複数のフレームに渡る被写体の動きを示すフレーム間動きベクトルを算出するフレーム間動きベクトル算出部と、フレーム間動きベクトルに基づいて、複数のフレームのうちの特定のフレームを撮像している時間であるフレーム撮像時間内における被写体の動きを示すフレーム内動きベクトルを算出するフレーム内動きベクトル算出部と、フレーム内動きベクトルに基づいて、特定のフレームにおける被写体の動きに基づく被写体のぶれを補正するぶれ補正部とを備える。
【０００７】
フレーム間動きベクトルに基づいて、複数のフレームにそれぞれ撮像されている被写体を同じ位置に移動して、複数のフレームを重ね合わせることにより、特定のフレームの解像度を高めるスーパーリゾリューション部をさらに備え、ぶれ補正部は、スーパーリゾリューション部によって解像度が高められた特定のフレームにおける被写体のぶれを補正してもよい。
【０００８】
特定のフレームが印刷又は表示されるべき出力サイズを取得する出力サイズ取得部と、出力サイズ取得部が取得した出力サイズに基づいて、フレーム間動きベクトル算出部がフレーム間動きベクトルを算出するときに用いるフレームの数を決定するフレーム数決定部とをさらに備え、フレーム間動きベクトル算出部は、フレーム数決定部が決定した数のフレームに基づいて、フレーム間動きベクトルを算出してもよい。
【０００９】
フレーム内動きベクトル算出部は、被写体が静止していた場合に１つの画素に撮像されるべき被写体上の点である被写点が、フレーム撮像時間内に移動することによっていずれの画素に跨って撮像されているかを算出することにより、フレーム内動きベクトルを算出してもよい。
【００１０】
ぶれ補正部は、フレーム内動きベクトルに基づいて、特定のフレームにおいて被写点が複数の画素によってそれぞれ撮像されている時間である画素撮像時間をそれぞれ算出する画素撮像時間算出部と、画素撮像時間算出部が算出した複数の画素撮像時間、及び複数の画素のそれぞれの実際の画素値に基づいて、被写体が静止していた場合に複数の画素がそれぞれ撮像すべき理想の画素値を算出する理想画素値算出部とを備えてもよい。
【００１１】
本発明の第２の形態によると、動画に含まれるフレームのぶれを補正する画像処理方法であって、動画に含まれる複数のフレームに基づいて、複数のフレームに渡る被写体の動きを示すフレーム間動きベクトルを算出する段階と、フレーム間動きベクトルに基づいて、複数のフレームのうちの特定のフレームを撮像している時間であるフレーム撮像時間内における被写体の動きを示すフレーム内動きベクトルを算出する段階と、フレーム内動きベクトルに基づいて、特定のフレームにおける被写体の動きに基づく被写体のぶれを補正する段階とを備える。
【００１２】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００１３】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１４】
図１は、本発明の一実施形態に係る画像処理装置１００の構成の一例を示す。画像処理装置１００は、例えばビデオプリンタであり、動画に含まれる複数のフレームを用いて被写体の動きを算出して、被写体の動きに基づいてスーパーリゾリューション処理及びぶれ補正処理を行い、高画質な静止画を生成してプリントする。
【００１５】
画像処理装置１００は、複数のフレームを含む動画を入力する動画入力部１０２と、動画入力部１０２が入力したフレームにスーパーリゾリューション処理を行うスーパーリゾリューション部１０４と、動画入力部１０２が入力したフレームにぶれ補正処理を行うぶれ補正部１０６と、スーパーリゾリューション処理及びぶれ補正処理が施された静止画を出力する静止画出力部１０８とを備える。
【００１６】
さらに画像処理装置１００は、複数のフレームに渡る被写体の動きを示すフレーム間動きベクトルを算出するフレーム間動きベクトル算出部１１０と、複数のフレームのうちの特定のフレームを撮像している時間であるフレーム撮像時間内における被写体の動きを示すフレーム内動きベクトルを算出するフレーム内動きベクトル算出部１１２と、特定のフレームが出力されるべき出力サイズを取得する出力サイズ取得部１１４と、フレーム間動きベクトル算出部１１０が用いるフレームの数を決定するフレーム数決定部１１６とを備える。
【００１７】
出力サイズ取得部１１４は、特定のフレームが印刷又は表示されるべき出力サイズを静止画出力部１０８から取得する。また、出力サイズ取得部１１４は、ユーザによって操作入力された出力サイズを取得してもよい。そして、フレーム数決定部１１６は、出力サイズ取得部１１４が取得した出力サイズに基づいて、フレーム間動きベクトル算出部１１０がフレーム間動きベクトルを算出するときに用いるフレームの数を決定する。例えば、フレーム数決定部１１６は、出力サイズが所定のサイズより大きい場合、予め定められたフレームの数より大きいフレームの数に決定する。これにより、出力サイズが非常に大きい場合であっても、フレーム間動きベクトル算出部１１０が多くのフレームを用いてフレーム間動きベクトルを算出して、スーパーリゾリューション部１０４が多くのフレームを用いてスーパーリゾリューション処理を行うことができるので、高画質な静止画を得ることができる。
【００１８】
フレーム間動きベクトル算出部１１０は、静止画出力部１０８が出力すべき特定のフレームを含む複数のフレームを動画入力部１０２から取得する。そして、フレーム間動きベクトル算出部１１０は、フレーム数決定部１１６が決定した数のフレームに基づいて、特定のフレームの前後に渡って連続する複数のフレームを抽出し、抽出した複数のフレームに基づいてフレーム間動きベクトルを算出する。
【００１９】
フレーム内動きベクトル算出部１１２は、フレーム間動きベクトル算出部１１０が抽出した複数のフレームを取得する。そして、フレーム内動きベクトル算出部１１２は、フレーム間動きベクトル算出部１１０から取得した複数のフレーム、及びフレーム間動きベクトル算出部１１０が算出したフレーム間動きベクトルに基づいてフレーム内動きベクトルを算出する。具体的には、フレーム内動きベクトル算出部１１２は、被写体が静止していた場合に１つの画素に撮像されるべき被写体上の点である被写点が、フレーム撮像時間内に移動することによっていずれの画素に跨って撮像されているかを算出することによりフレーム内動きベクトルを算出する。
【００２０】
スーパーリゾリューション部１０４は、フレーム間動きベクトル算出部１１０が算出したフレーム間動きベクトルに基づいて、複数のフレームにそれぞれ撮像されている被写体を同じ位置に移動して複数のフレームを重ね合わせることにより、特定のフレームの解像を高める処理を行う。次に、ぶれ補正部１０６は、フレーム内動きベクトル算出部１１２が算出したフレーム内動きベクトルに基づいて、スーパーリゾリューション部１０４によって解像度が高められた特定のフレームにおける被写体の動きに基づく被写体のぶれを補正する。
【００２１】
静止画出力部１０８は、スーパーリゾリューション部１０４によって解像度が高められ、ぶれ補正部１０６によって被写体の触れが補正された特定のフレームを静止画として出力する。静止画出力部１０８は、静止画をプリントする印刷手段であってもよいし、静止画を表示する表示手段であってもよい。また、静止画出力部１０８は、外部の画像印刷装置又は画像表示装置に静止画を出力するインタフェースであってもよい。
【００２２】
なお、スーパーリゾリューション部１０４が複数のフレームを用いて特定のフレームを高解像度化した後に、ぶれ補正部１０６が高解像度化された特定のフレームの被写体のぶれを補正する形態について説明したが、ぶれ補正部１０６が複数のフレームの被写体のぶれを補正した後に、スーパーリゾリューション部１０４がぶれが補正された複数のフレームを用いて特定のフレームを高解像度化してもよい。
【００２３】
図２は、本実施形態に係るぶれ補正部１０６の構成の一例を示す。ぶれ補正部１０６は、特定のフレームにおいて被写点が複数の画素によってそれぞれ撮像されている時間である画素撮像時間をそれぞれ算出する画素撮像時間算出部２００と、複数の画素がそれぞれ撮像すべき理想の画素値を算出する理想画素値算出部２０２と、理想画素値算出部２０２が算出した理想の画素値に基づいて出力用の静止画を生成する出力画像生成部２０４とを備える。
【００２４】
画素撮像時間算出部２００は、フレーム内動きベクトル算出部が算出したフレーム内動きベクトル１１２に基づいて画素撮像時間を算出する。そして、理想画素値算出部２０２は、スーパーリゾリューション部１０４によって解像度が高められた特定のフレームにおける複数の画素のそれぞれの実際の画素値を算出する。そして、理想画素値算出部２０２は、画素撮像時間算出部２００が撮像した複数の画素撮像時間、及び複数の画素のそれぞれの実際の画素値に基づいて、被写体が静止していた場合に特定のフレームにおける複数の画素のそれぞれの理想の画素値を算出する。そして、出力画像生成部２０４は、算出した理想の画素値に基づいて静止画を生成して静止画出力部１０８に出力する。
【００２５】
本実施形態の画像処理装置１００によれば、複数のフレームに渡る被写体の動きに基づいて出力するための静止画を高解像度化し、特定のフレームにおける被写体の動きに基づいて出力するための静止画をぶれ補正する。したがって、精度よく高解像度化及びぶれ補正を行うことができるので、非常に高画質な静止画を印刷又は表示することができる。
【００２６】
図３は、特定のフレームの各画素に写るべき被写体上の領域の一例を示す。具体的には、領域Ａは画素ａに写るべき領域、領域Ｂは画素ｂに写るべき領域、領域Ｃは画素ｃに写るべき領域である。また、矢印３００は、特定のフレームのフレーム内動きベクトルを示す。即ち、被写体に対する画素ａの動きを示す。つまり、特定のフレームの画素ａには、手ぶれ等により領域Ａ、Ｂ、及びＣが写り込んでいることを示す。本実施形態のぶれ補正部１０６は、このような被写体のぶれをフレーム内動きベクトルを用いて補正することができる。
【００２７】
図４は、本実施形態に係るぶれ補正部１０６の動作フローの一例を示す。以下、図３及び図４を参照してぶれ補正部１０６の動作を説明する。
【００２８】
画素撮像時間算出部２００は、特定フレームの各画素のそれぞれに写る被写点３００を求める（Ｓ４００）。そして、画素撮像時間算出部２００は、フレーム内動きベクトル算出部１１２が算出したフレーム内動きベクトルに基づいて、特定のフレームのフレーム撮像時間内に各画素に写っている画素撮像時間ｔを算出し、各画素に各領域をそれぞれ写っている時間を算出する（Ｓ４０２）。例えば、画素ａに領域Ａが写っている時間ｔ１、画素ａに領域Ｂが写っている時間ｔ２、及び画素ａに領域Ｃが写っている時間ｔ３を算出する。また、理想画素値算出部２０２は、特定のフレームの各画素の実際の画素値Ｒを求める（Ｓ４０４）。例えば、画素ａの実際の画素値Ｒａ、画素ｂの実際の画素値Ｒｂ、及び画素ｃの実際の画素値Ｒｃを求める。
【００２９】
次に、理想画素値算出部２０２は、各画素の実際の画素値Ｒ、画素撮像時間ｔ、及び理想の画素値Ｉを用いて、実際の画素値Ｒと理想の画素値Ｉとの関係を表す行列式を決定する（Ｓ４０６）。理想の画素値Ｉとは、各画素に対して被写体が静止していた場合に各画素に写るべき画素値であり、画素ａの理想の画素値Ｉａ、画素ｂの理想の画素値Ｉｂ、及び画素ｃの理想の画素値Ｉｂとする。
【００３０】
例えば、画素ａの実際の画素値Ｒｂと理想の画素値Ｉａとの関係を表す式は以下のようになる。
Ｒｂ＝α１＊Ｉａ＋α２＊Ｉｂ＋α３＊Ｉｃ
ここで、
α１＝ｔ１／（ｔ１＋ｔ２＋ｔ３）
α２＝ｔ２／（ｔ１＋ｔ２＋ｔ３）
α３＝ｔ３／（ｔ１＋ｔ２＋ｔ３）
とする。
【００３１】
また、他の各画素についても同様に、実際の画素値Ｒと理想の画素値Ｉとの関係を表す式は以下のようになる。
Ｒｃ＝β１＊Ｉｂ＋β２＊Ｉｃ＋β３＊Ｉｄ
Ｒｄ＝γ１＊Ｉｃ＋γ２＊Ｉｄ＋γ３＊Ｉｅ
・・・
【００３２】
理想画素値算出部２０２は、各画素の実際の画素値Ｒ及び画素撮像時間ｔを代入して行列式を解くことにより、各画素の理想の画素値Ｉを算出する（Ｓ４０８）。そして、出力画像生成部２０４は、理想の画素値Ｉに基づいて特定のフレームの各画素の画素値を補正して出力する静止画を生成する（Ｓ４１０）。以上でぶれ補正部１０６の動作フローを終了する。
【００３３】
なお、図３及び図４では、各画素が被写体に対して主走査方向にのみ移動している場合を用いて説明したが、各画素が被写体に対して主走査方向及び複走査方向に移動している場合であっても、被写体のフレーム内動きベクトルを算出することによって、同様に各画素の実際の画素値を用いて各画素の理想の画素値を求めることができる。
【００３４】
本実施形態に係るぶれ補正部１０６によれば、各画素に実際に写っている実際の画素値に基づいて各画素に写るべき理想の画素値を算出することにより被写体のぶれを補正するので、実際の被写体の画像に非常に近い静止画を生成することができる。したがって、ユーザの意図に反する画像処理を施すことなく、ユーザの意図に沿った静止画を印刷又は表示することができる。
【００３５】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００３６】
【発明の効果】
上記説明から明らかなように、本発明の画像処理装置によれば、動画から高解像度で高画質な静止画を得ることができる。
【図面の簡単な説明】
【図１】画像処理装置１００の構成の一例を示す図である。
【図２】ぶれ補正部１０６の構成の一例を示す図である。
【図３】特定のフレームの各画素に写るべき被写体上の領域の一例を示す図である。
【図４】ぶれ補正部１０６の動作フローの一例を示す図である。
【符号の説明】
１００  画像処理装置
１０２  動画入力部
１０４  スーパーリゾリューション部
１０６  ぶれ補正部
１０８  静止画出力部
１１０  フレーム間動きベクトル算出部
１１２  フレーム内動きベクトル算出部
１１４  フレーム数決定部
１１６  出力サイズ取得部
２００  画素撮像時間算出部
２０２  理想画素値算出部
２０４  出力画像生成部
３００  被写点
３０２  フレーム内動きベクトル
【図１】
2004247972.tif 000003
【図２】
2004247972.tif 000004
【図３】
2004247972.tif 000005
【図４】
2004247972.tif 000006