(57)【要約】電子式画像ぶれ補正において、カメラ動きによって１枚のフレーム中に発生するブラーを補正することができる撮影装置および撮影方法において、撮影装置（１００）は、入力画像（１１７）を画像特徴量に変換する第１画像特徴量変換部（１０４）、入力画像特徴量（１１８）を時系列に評価してブラー検出するブラー検出部（１０５）、ブラーモデル（１２４）を使ってブラーなし撮影画像（１２９）に対して擬似的にブラーを発生させて、ブラー合成画像（１３０）を生成するブラー合成部（１０７）、ブラーを含む画像の画像特徴量をブラーのない画像の画像特徴量に置換するためのブラー除去用画像特徴量置換テーブル部（１１０）、および、入力画像特徴量（１１８）の画像特徴量に最も近い画像特徴量に対を成すブラーなし撮影画像の画像特徴量をブラー除去画像特徴ベクトル画像（１３３）として出力する最近傍画像特徴量検出部（１１３）を備える。
2009019848.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像に発生するブラーを補正する撮影装置であって、
動画像を撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出手段と、
前記ブラー検出手段によってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成手段と、
前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換手段と、
前記ブラー検出手段によってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記ブラー補正手段は、
時間的に対応する前記ブラー合成画像の画像特徴量と前記ブラーなし撮影画像の画像特徴量とを対応付けた置換テーブルを生成する置換テーブル部と、
前記置換テーブルを用いて、前記ブラーあり撮影画像の画像特徴量に最も近い画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換える補正部とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記ブラー合成手段は、当該撮影装置の動きを検出するとともに、前記ブラーなし撮影画像および前記ブラーあり撮影画像間の前記撮影装置の動きに応じて、前記ブラーなし撮影画像および前記ブラーあり撮影画像間を時間的に補間するブラーモデルを作成し、作成した前記ブラーモデルを用いて前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記ブラー補正手段は、前記置換テーブル部が前記置換テーブルの生成を行うテーブル生成モードと、前記補正部が前記置換テーブルを用いて前記ブラーあり撮影画像のブラーを補正する補正モードとを個別に実行する
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像を、前記ブラー検出手段によって検出された前記ブラーの発生および前記ブラーが発生した位置を示すブラー検出情報とともに格納する格納手段を備え、
前記ブラー検出手段、ブラー合成手段、および画像特徴量変換手段は、前記格納手段に格納されている画像および前記ブラー検出情報を読み出して、読み出した前記画像に対して処理を行う
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記画像特徴量変換手段は、前記撮影手段によって撮影された前記撮影画像を画素あるいはブロックごとに画像特徴量に変換し、
前記ブラー検出手段は、前記撮影画像の画像特徴量の類似性を時系列に追跡し、前記画像特徴量の変化量が所定の閾値を超えた場合に、前記所定の閾値を超えた前記画像特徴量の画素位置、あるいはブロック内にブラーが発生したと判断する
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記撮影装置は、さらに、
前記ブラーなし撮影画像を、一時的に格納する一時格納手段を備え、
前記ブラー合成手段は、前記ブラー検出手段によってブラーが検出された場合、前記一時格納手段に格納されている前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、前記ブラー合成画像を生成する
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記撮影装置は、さらに、
ブラー補正を行うか否かの選択を受け付ける指示受付手段を備え、
前記ブラー補正手段は、前記指示受付手段によってブラー補正を行うことが受け付けられた場合にのみ、前記ブラーあり撮影画像のブラーを補正する
ことを特徴とする請求項１記載の撮影装置。
【請求項９】
前記指示受付手段は、さらに、ブラー補正を行う領域を受け付け、
前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行う領域に対してのみ、前記ブラーあり撮影画像のブラーを補正する
ことを特徴とする請求項８記載の撮影装置。
【請求項１０】
前記指示受付手段は、さらに、ブラー補正を行わない領域を受け付け、
前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行わない領域に対しては、前記ブラーあり撮影画像のブラーを補正しない
ことを特徴とする請求項８記載の撮影装置。
【請求項１１】
前記ブラー検出手段は、
前記ブラーあり撮影画像内のブラー検出頻度を算出するブラー検出頻度算出部と、
ブラーを補正するための画像特徴量の置き換えを、前記ブラーあり撮影画像の全体について実行するか部分的に実行するかを前記ブラー検出頻度の閾値比較で判断する閾値比較部と、
前記閾値比較部の判断結果に基づいて、画像特徴量の置換単位を前記ブラー検出情報に付加するブラー検出情報生成部とを備え、
前記ブラー検出情報が前記撮影画像の全体での画像特徴量の置き換えを指定した場合には、画像特徴量の置き換えを実行する代わりに、前記ブラーなし撮影画像で前記ブラーあり撮影画像の全体を置き換えることでブラーを補正する
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記撮影装置は、さらに、
撮影画角を規定するズーム倍率を設定するズーム設定部を備え、
前記閾値比較部は、前記ブラー検出頻度を前記ズーム設定部で設定したズーム倍率に応じて調整した閾値と比較することにより前記判断を行う
ことを特徴とする請求項１１記載の撮影装置。
【請求項１３】
撮影した画像に発生するブラーを補正する撮影方法であって、
動画像を撮影する撮影ステップと、
前記撮影ステップによって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出ステップと、
前記ブラー検出ステップによってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成ステップと、
前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換ステップと、
前記ブラー検出ステップによってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正ステップと
を含むことを特徴とする撮影方法。
【請求項１４】
撮影した画像に発生するブラーを補正するためのプログラムであって、
動画像を撮影する撮影ステップと、
前記撮影ステップによって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出ステップと、
前記ブラー検出ステップによってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成ステップと、
前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換ステップと、
前記ブラー検出ステップによってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影で発生するブラーを除去する撮影装置、撮影方法、およびプログラムに関するものである。
【背景技術】
【０００２】
近年、撮像素子の高密化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化と小型化が著しい。撮像素子の素子密度が高まると、受光素子の面積が小さくなり、ＳＮ（Signal Noise）比を確保するためには長い露光時間が必要になる。露光中にカメラ位置が動くと、画像ぶれが発生するため、撮影者はできるだけカメラを動かさないように、カメラを三脚に固定したり、手持ちカメラの場合は、脇を締めるなどの工夫を行う。【０００３】
画像ぶれ防止に対する撮影者への負担を軽減するために、カメラに画像ぶれ補正機能を搭載する機種が実用化されている。その基本的な考え方は、カメラの動きを検出し、この動きを相殺するように撮影画像を得る、というものである。カメラ動きを相殺する具体的な方法は、大きく２つに分類でき、「電子式」と「光学式」がある。電子式は、撮影画像の一部を切り出す方法で、切り出し位置をカメラ動きの逆方向に移動させて、画像ぶれを相殺する。【０００４】
図３４は、電子式の画像ぶれ補正機能の一例を説明するための説明図である。【０００５】
例えば、図３４（ａ）に示すように、カメラは撮影画像１０よりも小さい切り出しフレーム１１を設定する。カメラは切り出しフレーム１１内の画像を出力画像１２として出力し、ディスプレイに表示したり、記録メディアに格納する。図３４（ｂ）の撮影画像１３は、撮影画像１０の１フレーム先の画像である。図３４（ａ）の撮影から図３４（ｂ）の撮影の間に、カメラ動き１４が発生し、被写体１５が静止していても、画像ぶれ補正機能がなければ、出力画像１６のように、被写体１５の画面内の位置が移動する。この出力画像１２と出力画像１６の違いが、「画像ぶれ」である。カメラが動かず、かつ被写体も動かないのであれば、出力画像における被写体の位置は変わらないはずである。【０００６】
そこで、画像ぶれ補正機能を有するカメラは、図３４（ｃ）に示すように、カメラ動き１４の逆向き、かつ同じ大きさのカメラ動き補正ベクトル１７で切り出しフレーム１１を移動することで、画像ぶれを解消し、出力画像１２と同一の出力画像１８を得る。【０００７】
一方、光学式の画像ぶれ補正機能を有するカメラは、カメラ動きを相殺するように、レンズ系や撮像素子を機械的に移動させる。従って、撮像素子上の結像画像そのものに画像ぶれ補正が施される。【０００８】
上述のように電子式の画像ぶれ補正は、図３４で説明したように、カメラの動きに応じて切り出しフレーム１１を移動させるため、カメラの動きを正確に検出する必要がある。そして、このカメラの動きは、撮影画像の動きによって検出される。被写体が静止していれば簡単に正確なカメラの動きを検出することができる。しかし、実際には動く被写体を撮影することがあり、特に、ビデオカメラは、被写体の動きを時間的に追いかける動画としての記録を主目的とするため、被写体が静止しているということは殆どない。【０００９】
そこで、例えば、特許文献１は、移動する被写体が映り込んでも画像ぶれ補正が可能である電子式の画像ぶれ補正技術を開示している。【００１０】
図３５は、上記特許文献１の撮影装置が備える動きベクトル検出装置の構成を示す構成図である。この動きベクトル検出装置は、動きベクトル検出手段３１と、動きベクトル判定手段３２と、発散度計算手段３３と、ＬＰＦ３４と、変換手段３５と、制御手段３６とを備えている。動きベクトル検出手段３１は、撮影画像のブロックごとに動きベクトルを検出する。【００１１】
図３６は、ブロックごとの動きベクトルを示す図である。図３６（ａ）に示すように、動きベクトル検出手段３１は、撮影画像２０を複数のブロックに分割し、ブロックごとに動きベクトルを検出する。被写体が静止していた場合、すべてのブロックの動きベクトルは一致し、これがカメラ動きを表わす。一方、移動する被写体が存在する場合には、すべてのブロックの動きベクトルは一致しない。したがって、動きベクトル検出手段３１は、図３６（ｂ）のように、異なる向きを持つ動きベクトルを検出する。そこで、発散度計算手段３３は、それらの動きベクトルの分散の度合いを示す「発散度」を計算する。そして、制御手段３６は、その発散度に応じた、撮影画像２０の全体の動きベクトル（カメラ動き）を算出する。具体的には、変換手段３５は、撮影画像全体の動きベクトルの大きさを制御する動きベクトル係数と発散度との関係を設定し、発散度が大きくなるに従って、その発散度の動きベクトルの大きさを抑えていく。【００１２】
図３７は、動きベクトル係数と発散度との関係を示す図である。変換手段３５は、発散度の大きい動きベクトルほど、その動きベクトルの動きベクトル係数を小さくすることによって、撮影画像全体の動きベクトルに対する、発散度の大きい動きベクトルが与える影響を抑えている。このような変換手段３５による処理結果に基づいて、制御手段３６は、撮影画像全体の動きベクトルの大きさを制御している。
【特許文献１】特許第２５０６４６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、１枚のフレームの露光中に撮像センサが移動するとブラーと呼ばれる画像ぶれが発生する。【００１４】
図３８は、１枚のフレームの露光中に発生するブラーを説明するための説明図である。例えば、図３８（ａ）に示すように、被写体４０上のＡ点が撮像センサ４１の画素４２に結像している状態４３が、撮像センサ４１の移動によって崩れて、状態４４に変化した場合を考える。図３８（ｂ）に示す状態４４では、被写体上のＡ点からの光が撮像センサ４１の領域Ｂに入射する。被写体上の１点（Ａ点）からの光が撮像センサ上の複数画素（領域Ｂ）に入射するためにフォーカスがずれ、かつ、受光位置も画素４２から領域Ｂへ移動する。状態４３から状態４４に移行する間、撮像センサ４１のシャッターが開放であった場合、被写体上の点Ａからの光は、画素４２から領域Ｂへ連続的に入射位置を変え、各画素で積分されて撮影画像が得られる。以上のように、撮像センサ４１のシャッターが開放のまま撮像センサ４１が移動すると、被写体上の１点からの光が撮像センサの複数画素に入射して、例えば図３８（ｃ）に示す画像４６のようなブラーが発生し、画質が劣化する。【００１５】
しかしながら、前記従来の電子式の画像ぶれ補正技術では、図３４で説明したように、カメラ動き１４を相殺するように、切り出しフレーム１１の位置を制御している。よって、このような方法では、被写体１５を出力画像１２内の安定した位置に配置して画像ぶれを補正したとしても、出力画像１２に発生したブラーを除去することはできず、画像ぶれ補正が不十分であるという課題を有している。【００１６】
そこで、本発明は上記の事情に鑑みてなされたものであり、電子式画像ぶれ補正において、カメラ動きによって１枚のフレーム中に発生するブラーを補正することができる撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明に係る撮影装置は、撮影した画像に発生するブラーを補正する撮影装置であって、動画像を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出手段と、前記ブラー検出手段によってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成手段と、前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換手段と、前記ブラー検出手段によってブラーが検出された位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正手段とを備えることを特徴とする。【００１８】
ここで、画像特徴量は、注目画素を含む複数画素の輝度分布に基づく量である。たとえば、注目画素を中心とした５画素×５画素のブロックに含まれる２５画素の輝度値や、注目画素とその周辺画素の輝度値の違いを反映した特性値などが画像特徴量の一例である。ブラー除去は、ブラーあり撮影画像の画像特徴量をブラーなし撮影画像の画像特徴量に置換することで実現できる。【００１９】
これによって、カメラ動きによって発生したブラーを、画像処理を用いて補正することができ、フレーミング位置の移動でカメラ動きを相殺する電子式画像ぶれ補正の画質を向上することができる。【００２０】
なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２１】
本発明に係る撮影装置によれば、カメラ動きによって１枚のフレーム中に発生するブラーの影響を低減した画像を得ることができる。結果として、撮影者は画像ぶれを防止するために、三脚を使ったり、脇を締めてカメラを構えるなどの配慮が不要になり、フレーミングを中心とした撮影行為そのものに集中することができる。また、露光不足で発生するブラーを画像処理で除去でき、画像ぶれに関する知識が乏しい初心者でも画像ぶれのない映像を撮影できるため、ビデオ撮影の手軽さが向上し、利用者層や利用シーンの拡大につながる。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【図２】図２（ａ）（ｂ）は、本発明の実施の形態１に係る撮影装置が適用される具体的な装置例を示す図である。
【図３】図３は、ウェーブレット変換による多重解像度表現から画像特徴ベクトル（ｗ１、ｗ２、．．．、ｗｐ）を生成する方法を説明する図である。
【図４】図４（ａ）（ｂ）は、ウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨを説明する図である。
【図５】図５（ａ）（ｂ）（ｃ）は、スケールレベルｎ＝２の画像特徴量を画素ごとに算出する方法を説明する図である。
【図６】図６（ａ）（ｂ）は、ブラー除去の原理を説明する図である。
【図７】図７は、カメラ動きに基づいたブラー生成方法を説明する図である。
【図８】図８は、画像ぶれ補正部の内部構成を示すブロック図である。
【図９】図９は、動きベクトル算出の一例を示す図である。
【図１０】図１０は、フレーミング領域と外枠領域を説明する図である。
【図１１】図１１（ａ）（ｂ）は、静止物体の検出に外枠領域を用いる理由を説明する図である。
【図１２】図１２は、動きベクトルから静止物体を検出する方法を説明する図である。
【図１３】図１３は、外枠領域の動きベクトルを示す図である。
【図１４】図１４（ａ）（ｂ）は、外枠領域に静止物体を撮影できない場合を示す図である。
【図１５】図１５は、画像拡大用辞書を参照して、画像ぶれ補正フレーミング画像を画像拡大し、画像ぶれ補正画像を算出するブロック図である。
【図１６】図１６は、出力画像サイズ調整部の構成を説明するブロック図である。
【図１７】図１７は、撮影装置の各構成要素の動作タイミングを示す図である。
【図１８】図１８は、撮影装置のブロック図の動作フローである。
【図１９】図１９（ａ）（ｂ）は、カメラノイズや照明の変化が静止物体の動きベクトルに及ぼす影響を説明する図である。
【図２０】図２０は、本発明の実施の形態２に係る撮影記録再生装置の構成を示すブロック図である。
【図２１】図２１は、記録フォーマットの一例を説明する図である。
【図２２】図２２は、テーブル作成モードの動作を説明する図である。
【図２３】図２３は、補正モードの動作を説明する図である。
【図２４】図２４は、再生部を内蔵したディスプレイ装置の一例を示す外観模式図である。
【図２５】図２５は、本発明の実施の形態３に係る撮影記録再生装置の構成を示すブロック図である。
【図２６】図２６は、撮影者が指示を入力する画面を説明する図である。
【図２７】図２７は、ブラー除去領域の指定方法を説明する図である。
【図２８】図２８は、ブラーなし領域の指定方法を説明する図である。
【図２９】図２９は、本発明の実施の形態４に係る撮影記録再生装置の構成を示すブロック図である。
【図３０】図３０は、ブラー検出部の内部構成の一例を示すブロック図である。
【図３１】図３１は、本発明の実施の形態５に係る撮影記録再生装置の構成を示すブロック図である。
【図３２】図３２は、ブラー検出部の内部構成の一例を示すブロック図である。
【図３３】図３３は、ズーム倍率に応じた閾値の調整を説明する図である。
【図３４】図３４（ａ）（ｂ）（ｃ）は、電子式画像ぶれ補正の原理を説明する図である。
【図３５】図３５は、従来の撮影装置が備える動きベクトル検出装置の構成を示すブロック図である。
【図３６】図３６（ａ）（ｂ）は、動きベクトルの一例を示す図である。
【図３７】図３７は、従来の撮影装置が備える動きベクトル係数と発散度との関係を示す図である。
【図３８】図３８（ａ）（ｂ）（ｃ）は、ブラーが発生する原因を説明する図である。
【符号の説明】
【００２３】
１００  撮影装置
２００、３００  撮影記録再生装置
１０１  被写体
１０２  出力画像
１０３  撮像センサ部
１０４  第１画像特徴量変換部
１０５  ブラー検出部
１０６  ブラーなし撮影画像一時メモリ部
１０７  ブラー合成部
１０８  第２画像特徴量変換部
１０９  第３画像特徴量変換部
１１０  ブラー除去用画像特徴量置換テーブル部
１１１  ブラー合成画像特徴量格納部
１１２  ブラーなし画像特徴量格納部
１１３  最近傍画像特徴量検出部
１１４  画像ぶれ補正部
１１５  出力部
１１６  撮影画像表示部
【発明を実施するための最良の形態】
【００２４】
本発明の実施の形態に係る撮影装置は、撮影した画像に発生するブラーを補正する撮影装置であって、動画像を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出手段と、前記ブラー検出手段によってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成手段と、前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換手段と、前記ブラー検出手段によってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正手段とを備えることを特徴とする。【００２５】
これによって、カメラ動きによって１枚のフレーム中に発生するブラーを補正することができる。【００２６】
ここで、前記ブラー補正手段は、時間的に対応する前記ブラー合成画像の画像特徴量と前記ブラーなし撮影画像の画像特徴量とを対応付けた置換テーブルを生成する置換テーブル部と、前記置換テーブルを用いて、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換える補正部とを備えてもよい。【００２７】
また、前記ブラー合成手段は、当該撮影装置の動きを検出するとともに、前記ブラーなし撮影画像および前記ブラーあり撮影画像間の前記撮影装置の動きに応じて、前記ブラーなし撮影画像および前記ブラーあり撮影画像間を時間的に補間するブラーモデルを作成し、作成した前記ブラーモデルを用いて前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成してもよい。【００２８】
前記ブラー補正手段は、前記置換テーブル部が前記置換テーブルの生成を行うテーブル生成モードと、前記補正部が前記置換テーブルを用いて前記ブラーあり撮影画像のブラーを補正する補正モードとを個別に実行してもよい。これによって、例えば撮影終了後から再生開始前の空き時間に置換テーブルを作成することが可能となる。【００２９】
前記撮影装置は、さらに、前記撮影手段によって撮影された画像を、前記ブラー検出手段によって検出された前記ブラーの発生および前記ブラーが発生した位置を示すブラー検出情報とともに格納する格納手段を備え、前記ブラー検出手段、ブラー合成手段、および画像特徴量変換手段は、前記格納手段に格納されている画像および前記ブラー検出情報を読み出して、読み出した前記画像に対して処理を行ってもよい。【００３０】
また、前記画像特徴量変換手段は、前記撮影手段によって撮影された前記撮影画像を画素あるいはブロックごとに画像特徴量に変換し、前記ブラー検出手段は、前記撮影画像の画像特徴量の類似性を時系列に追跡し、前記画像特徴量の変化量が所定の閾値を超えた場合に、前記所定の閾値を超えた前記画像特徴量の画素位置、あるいはブロック内にブラーが発生したと判断してもよい。【００３１】
また、前記撮影装置は、さらに、前記ブラーなし撮影画像を、一時的に格納する一時格納手段を備え、前記ブラー合成手段は、前記ブラー検出手段によってブラーが検出された場合、前記一時格納手段に格納されている前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、前記ブラー合成画像を生成してもよい。【００３２】
また、前記撮影装置は、さらに、ブラー補正を行うか否かの選択を受け付ける指示受付手段を備え、前記ブラー補正手段は、前記指示受付手段によってブラー補正を行うことが受け付けられた場合にのみ、前記ブラーあり撮影画像のブラーを補正してもよい。これによって、撮影者がブラー補正の処理を無効にすることができ、より幅の広い映像表現を可能にすることができる。【００３３】
また、前記指示受付手段は、さらに、ブラー補正を行う領域を受け付け、前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行う領域に対してのみ、前記ブラーあり撮影画像のブラーを補正してもよい。また、前記指示受付手段は、さらに、ブラー補正を行わない領域を受け付け、前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行わない領域に対しては、前記ブラーあり撮影画像のブラーを補正しないでもよい。これによって、撮影者が選択した領域に対してだけブラー補正の処理を行うことができる。【００３４】
また、前記ブラー検出手段は、前記ブラーあり撮影画像内のブラー検出頻度を算出するブラー検出頻度算出部と、ブラーを補正するための画像特徴量の置き換えを、前記ブラーあり撮影画像の全体について実行するか部分的に実行するかを前記ブラー検出頻度の閾値比較で判断する閾値比較部と、前記閾値比較部の判断結果に基づいて、画像特徴量の置換単位を前記ブラー検出情報に付加するブラー検出情報生成部とを備え、前記ブラー検出情報が前記撮影画像の全体での画像特徴量の置き換えを指定した場合には、画像特徴量の置き換えを実行する代わりに、前記ブラーなし撮影画像で前記ブラーあり撮影画像の全体を置き換えることでブラーを補正してもよい。これによって、例えば前記ブラー検出頻度が高い場合には、画素単位、あるいはブロック単位の画像特徴量の置換より高速に処理ができ、かつ画像特徴量置換によるアーティファクトの影響を受けにくい画像全体の置換によって、ブラー補正を行うことができる。【００３５】
また、前記撮影装置は、さらに、撮影画角を規定するズーム倍率を設定するズーム設定部を備え、前記閾値比較部は、前記ブラー検出頻度を前記ズーム設定部で設定したズーム倍率に応じて調整した閾値と比較することにより前記判断を行ってもよい。これによって、ブラー発生の可能性が高まる高倍率ズーム撮影時に前記閾値を下げて画像全体の置換が実行されやすくすることで、処理負荷を低減し、アーティファクトの少ない高画質のブラー除去画像を生成できる。【００３６】
以下、本発明の各実施の形態について、それぞれ図面を参照して詳細に説明する。【００３７】
（実施の形態１）
本実施の形態では、ブラーあり画像の画像特徴量をブラーなし画像の画像特徴量に置き換えてブラーを除去する撮影装置について説明する。【００３８】
図１は、本発明の実施の形態１に係る撮影装置１００の構成を示すブロック図である。図２は、本発明の実施の形態１に係る撮影装置１００が適用される具体的な装置例を示す図である。【００３９】
撮影装置１００は、被写体１０１を動画像として撮影し、ブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、図１に示すように撮像センサ部１０３、第１画像特徴量変換部１０４、ブラー検出部１０５、ブラーなし撮影画像一時メモリ部１０６、ブラー合成部１０７、第２画像特徴量変換部１０８、第３画像特徴量変換部１０９、ブラー除去用画像特徴量置換テーブル部１１０、ブラー合成画像特徴量格納部１１１、ブラーなし画像特徴量格納部１１２、最近傍画像特徴量検出部１１３、画像ぶれ補正部１１４、出力部１１５、および撮影画像表示部１１６を備えている。この撮影装置１００は、例えば、図２（ａ）に示すような動画撮影機能が付いたデジタルスチルカメラ、図２（ｂ）に示すようなビデオムービーカメラ等に適用することができる。【００４０】
出力画像１０２は、例えば、撮影装置１００に接続されたディスプレイ装置４０に映し出される。あるいは、出力画像１０２は、撮影装置１００に接続されたビデオ記録装置５０に記録される。【００４１】
撮像センサ部１０３は、被写体１０１を撮影し、撮影した画像を入力画像１１７として出力する。【００４２】
第１画像特徴量変換部１０４は、入力画像１１７を画像特徴量に変換し、入力画像特徴量１１８として出力する。画像特徴量は、注目画素とその周辺画素の輝度値の違いを反映した特性値であり、例えばウェーブレット変換を用いて算出する。【００４３】
図３は、ウェーブレット変換による多重解像度表現から画像特徴ベクトル（ｗ1、ｗ2、．．．、ｗp）を生成する方法の一例を示す図であり、図４は、ウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨを説明する図である。【００４４】
図３に示すウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬとは、ハール型のマザーウェーブレットを用いた場合の例である。図４（ａ）に示すように、出力ＨＬは処理対象の画素９６０とこの画素９６０の右隣接画素９６１との差分値、出力ＬＨは処理対象の画素９６０とこの画素９６０の下隣接画素９６２との差分値、出力ＨＨは画素９６０とこの画素９６０斜下隣接画素９６３との差分値、出力ＬＬは処理対象の画素９６０とこの画素９６０の右、下、斜下の３つの画素との合計４つの画素の平均値である。図４（ａ）はスケール１に相当し、図４（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素の平均値である出力ＬＬが差分値の計算対象になり、スケール２における出力ＨＬはブロック９６４とブロック９６５との差分値、スケール２における出力ＬＨはブロック９６４とブロック９６６との差分値、スケール２における出力ＨＨはブロック９６４とブロック９６７との差分値となる。また、スケール２における出力ＬＬはブロック９６４からブロック９６７の平均値となる。【００４５】
図５は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図５（ａ）は、画素９７０の画像特徴量（ｗ1，ｗ2，…，ｗ7）1,1を算出する方法であり、ブロック９７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図５（ｂ）は、画素９７２の画像特徴量（ｗ1，ｗ2，…，ｗ7）1,2を算出する方法であり、ブロック９７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図５（ｃ）は、画素９７４の画像特徴量（ｗ1，ｗ2，…，ｗ7）1,3を算出する方法であり、ブロック９７５内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが、１画素ごとに移動することで、画素ごとに画像特徴量が算出される。【００４６】
同様に、スケールレベルｎ＝３の場合には、画素ごとに、１０個のウェーブレット係数が算出され、これらを要素とする１０次元の画像特徴ベクトル（ｗ1、ｗ2、．．．、ｗ10）を定義することができる。【００４７】
なお、本発明は、画像特徴量の生成方法に制限を与えるものではなく、画像特徴量は任意の方式で生成できる。たとえば、図５（ａ）のブロック９７１に含まれる２５画素の輝度値列を画像特徴ベクトルとしても構わない。また、図５のブロック９７１、ブロック９７３、ブロック９７５の空間的関係も任意であり、各ブロックの重なりは、たとえば１画素分でも、２画素分でも構わない。【００４８】
図６は、ブラー除去の原理を説明する図であり、図６（ａ）は、時刻ｔ３と時刻ｔ４の間で発生したブラーを検出し、カメラ動きからブラーモデルを生成するまでの流れを示す図である。【００４９】
ブラー検出は、時間的に連続する画像間で類似の画像特徴量ベクトルを追跡し、画像特徴ベクトルの距離変化が閾値ｔｆ（例えば５）を超えたらブラーが発生したと判断する。図６（ａ）に示す例では、画像Ｈ１の画素１２０と画像Ｈ２の画素１２１の画像特徴ベクトルの距離は２、画像Ｈ２の画素１２１と画像Ｈ３の画素１２２の画像特徴ベクトルの距離は１である。ここでは、閾値ｔｆ＝５と設定したため、ブラーなしと判断される。ところが、画像Ｈ３の画素１２２と画像Ｂ４の画素１２３の画像特徴ベクトルの距離は３０であるので、ブラーが発生したと判断される。【００５０】
ブラーモデル１２４は、時刻ｔ３から時刻ｔ４までの間におけるカメラ動きに基づき、ブラーの発生をモデル化したものである。図３８を用いて説明したように、ブラーは被写体上の１点（図３８のＡ点）が撮像素子の複数の画素（図３８の領域Ｂ）に入射するために発生する。従って、ブラーを有する画像Ｂ４は、画像Ｈ３をカメラ動きに従って積分すれば生成することができる。【００５１】
図７は、カメラ動きに基づいたブラー生成方法を説明する図である。時刻ｔ３に撮影された画像９８０と時刻ｔ４に撮影された画像９８１の同じ位置にある画素９８２と画素９８３に着目する。時刻ｔ３と時刻ｔ４の間にカメラが動かなかった場合は、画素９８２と画素９８３に入射する光量に変化はなく、ブラーは発生しない。一方、時刻ｔ３から時刻ｔ４までの間に例えば画像９８１内に記した矢印９８４の方向と大きさにカメラ動きが発生したとすると、画素９８２と画素９８３とに入力する光量は異なる。そして、この入射光量の変化は連続的である。そこで、カメラ動きは等速であり、直線的である、と仮定するならば、図７に示すように、実際に撮影されていない中間的な画像である画像９８５や画像９８６などを計算によって作り出すことができる。図７では、計算によって８枚の中間的な画像を生成し、画像９８０と画像９８１を含め、合計１０枚の画像に離散化した例を示している。画素９８２と同じ位置にある画素９８７や画素９８８、画素９８３などの画素値Ｉ1，Ｉ2，Ｉ3，…，Ｉ10を加算し、１０で除算して、ブラー画像９８９の画素９９０の画素値を算出することができる。【００５２】
なお、カメラは動かず、被写体が動いた場合にも、ブラーは発生する。しかし、本願が対象とするのは、カメラ動きによって生じるブラーであり、被写体の動きをモデル化するものではない。【００５３】
図６（ｂ）は、ブラーあり撮影画像Ｂ４の画像特徴量をブラーなし撮影画像Ｈ１、Ｈ２、Ｈ３の何れかの画像特徴量に置き換えて、ブラー除去撮影画像ＨＭ４を生成する流れを示す図である。図６（ａ）で説明したブラーモデル１２４を用いて、ブラーなし撮影画像Ｈ１、Ｈ２、Ｈ３に対して擬似的にブラーを発生させて、ブラー合成画像ＢＭ１、ＢＭ２、ＢＭ３を生成する。ブラーあり撮影画像Ｂ４の画素１２５の画像特徴量とブラー合成画像ＢＭ１、ＢＭ２、ＢＭ３の画像特徴量を比較し、最も類似した最近傍画像特徴量を持つ画素を検出する。図６（ｂ）は、ブラー合成画像ＢＭ３の画素１２６が最も類似した最近傍画像特徴量を持つと検出された場合の例である。この場合、画素１２６と同一位置にあるブラーなし撮影画像Ｈ３の画素１２７が有する画像特徴量が、ブラーあり撮影画像Ｂ４の画素１２５の画像特徴量と置き換えられるブラー除去撮影画像ＨＭ４の画素１２８として決定される。【００５４】
なお、本発明は、画像特徴量の選択方法に制限を与えず、任意の方法が適用できる。たとえば、所定の距離内に収まる複数の画像特徴量を一旦集め、これらの平均を取ってブラーなし撮影画像の画像特徴量としても構わない。【００５５】
このように、本発明では、「ブラーあり撮影画像」の画像特徴量を、「ブラーあり撮影画像」の前に撮影されている「ブラーなし撮影画像」の画像特徴量に置き換えることによって、ブラーを除去している。【００５６】
ブラー検出部１０５は、図６（ａ）を用いて説明したように、全画素に対して入力画像特徴量１１８を時系列に評価し、画像特徴ベクトルの距離変化が閾値ｔｆを超えたら、ブラーが発生したと判断し、ブラー検出情報１１９内のブラー有無情報をＯＮに切り替える。また、ブラー検出部１０５は、ブラーが発生した画素の位置を示す情報をブラー検出情報１１９内のブラー位置情報として出力する。さらに、ブラー検出部１０５は、ブラー検出後も引き続き、画像特徴ベクトルの変化を時系列に評価する。ブラーが発生している状況で、画像特徴ベクトルの距離変化が閾値ｔｆを超えない場合は、状況が変わっていないことを示しているため、ブラーが引き続き発生していることに相当する。ブラーが発生している状況で、再び閾値ｔｆを超える距離変化が発生したら、ブラーは消滅したことに相当する。この場合、ブラー検出部１０５は、ブラー検出情報１１９内のブラー有無情報をＯＦＦに切り替える。ブラー有無情報がＯＦＦの時には、ブラー検出部１０５は、ブラー検出情報１１９内のブラー位置情報は出力しない。ただし、ブラー発生時に、画像特徴ベクトルの距離変化が閾値ｔｆを超えるような、さらに大きなブラーが発生する場合があるため、画像特徴ベクトルの距離変化と成分変化を確認する必要がある。すなわち、ブラーが発生すると、撮像素子の１点に被写体上の複数箇所から光が入力するため、図３８（ｃ）の画像４６のように、画像特徴ベクトルの高周波成分が失われ、周波数分布は低域側にシフトする。図３で説明したウェーブレット変換であれば、スケールレベルの深い方向、すなわち、ｎ値が大きなスケールレベルへ成分がシフトする。そこで、画像特徴ベクトルの距離変化が閾値ｔｆを超え、かつ、画像特徴ベクトルの成分が低域にシフトした場合は、カメラがより大きく動き、さらに大きなブラーが発生している、と判断する。逆に、画像特徴ベクトルの距離変化が閾値ｔｆを超え、かつ、画像特徴ベクトルの成分が高域にシフトした場合は、ブラーが消滅した、と判断する。なお、周波数成分の変化は、画像特徴ベクトルの各成分の差分の大小から判断でき、図３のウェーブレット変換の場合は、スケールレベル１が最も周波数の高い成分であり、スケールレベル５までウェーブレット変換を行った場合は、スケールレベル５が最も周波数が低い成分である。【００５７】
ブラー検出部１０５は、撮影装置１００を立ち上げた直後の初期設定では、ブラー検出情報１１９内のブラー有無情報をＯＦＦにリセットする。【００５８】
なお、カメラ側に起因するブラー発生の可能性の大小は、シャッタースピードやカメラ姿勢の変化、オートフォーカス動作などから予測することができる。すなわち、シャッタースピードが遅くなれば、撮像センサ部１０３上の受光時間が長くなり、ブラー発生の可能性は高まる。逆に、シャッタースピードが早くなれば、撮像センサ部１０３上の受光時間が短くなり、ブラー発生の可能性は低くなる。また、カメラ姿勢の変化はブラー発生に直結する。オートフォーカス機能が撮影装置１００に実装されている場合は、オートフォーカスの動作を参照し、ピント合わせができていない場合は、ブラー発生と判断することも可能である。そこで、ブラー検出部１０５は、画像特徴ベクトルの距離変化を閾値判定するとともに、シャッタースピードや、カメラ動きの変化、オートフォーカス動作も加味して、統合的に判断すれば、ブラー検出精度を高める点で有効である。また、画像特徴ベクトルの距離変化の閾値判定を行わず、シャッタースピードや、カメラ動きの変化、オートフォーカス動作の少なくとも１つを用いてブラー発生を判断することも可能である。【００５９】
ブラーなし撮影画像一時メモリ部１０６は、ブラー検出情報１１９内のブラー有無情報がＯＦＦの時に入力画像１１７をメモリに書き込み、ブラーが発生するまで一時的にブラーなし撮影画像を保持する。図６（ａ）に示す例の場合、ブラーなし撮影画像Ｈ１、Ｈ２、Ｈ３がブラーなし撮影画像一時メモリ部１０６に一時的に記録されている。撮影が進むに従って、撮影シーンが変化していくため、ブラー除去に活用できるブラーなし撮影画像の枚数は限られてくる。そこで、ブラーなし撮影画像一時メモリ部１０６は、例えば、３０枚分のメモリ容量を確保し、これを超えたら、最も古いブラーなし撮影画像から順に１枚ずつ上書きしながら書き込みを行う。ブラー検出情報１１９内のブラー有無情報がＯＮになった時、ブラーなし撮影画像一時メモリ部１０６は、記録しているブラーなし撮影画像１２９を順次読み出し、ブラー合成部１０７と第３画像特徴量変換部１０９とへ出力する。【００６０】
ブラー合成部１０７は、ブラー検出情報１１９内のブラー有無情報がＯＮの時、図６（ａ）を用いて説明したブラーモデル１２４をカメラの動きに基づいて作成する。ここで、カメラ動きを検出する方法は、例えば、ジャイロ等を備えて検出してもよいし、撮影された画像から検出してもよい。そして、ブラー合成部１０７は、作成したブラーモデル１２４を使って、ブラーなし撮影画像１２９に対して擬似的にブラーを発生させて、ブラー合成画像１３０を生成する。【００６１】
第２画像特徴量変換部１０８は、第１画像特徴量変換部１０４と同じ方式で、ブラー合成画像１３０を画像特徴量に変換して、ブラー合成画像特徴量１３１を出力する。【００６２】
第３画像特徴量変換部１０９は、第１画像特徴量変換部１０４と同じ方式で、ブラーなし撮影画像１２９を画像特徴量に変換して、ブラーなし撮影画像特徴量１３２を出力する。【００６３】
ブラー除去用画像特徴量置換テーブル部１１０は、ブラーを含む画像の画像特徴量をブラーのない画像の画像特徴量に置換するための置換対である。ブラー除去用画像特徴量置換テーブル部１１０の入力側がブラー合成画像特徴量格納部１１１であり、ブラー合成画像特徴量１３１が格納される。ブラー除去用画像特徴量置換テーブル部１１０の出力側がブラーなし画像特徴量格納部１１２であり、ブラーなし撮影画像特徴量１３２が格納される。すなわち、ブラー合成画像特徴量１３１とブラーなし撮影画像特徴量１３２は、例えば画像（フレーム）単位にそれぞれ同じ画素位置の画像特徴量が対応付けて格納されることになる。なお、ここでは画像単位に画像特徴量を格納しているが、これに限られるものではない。例えば、画像特徴量でソートした形式で格納し、それぞれを画素配置するように変換しても構わない。【００６４】
最近傍画像特徴量検出部１１３は、ブラー除去用画像特徴量置換テーブル部１１０への画像特徴量の書き込み終了後、ブラー検出情報１１９内のブラー有無情報がＯＮの状態で動作し、入力画像特徴量１１８の画像特徴量に類似する画像特徴量をブラー合成画像特徴量格納部１１１の中から検出する。ここで、最近傍画像特徴量検出部１１３は、前記類似する画像特徴量として、入力画像特徴量１１８の画像特徴量に最も近い画像特徴量をブラー合成画像特徴量格納部１１１の中から検出してもよい。最も近いブラー合成画像特徴量が検出されたら、これと対を成すブラーなし撮影画像の画像特徴量をブラーなし画像特徴量格納部１１２から読み出し、ブラー除去画像特徴ベクトル画像１３３として出力する。【００６５】
画像ぶれ補正部１１４は、ブラー検出情報１１９内のブラー有無情報がＯＦＦの時、入力画像特徴量１１８の画像ぶれを補正し、ブラー検出情報１１９内のブラー有無情報がＯＮの時、ブラー除去画像特徴ベクトル画像１３３の画像ぶれを補正し、画像ぶれ補正画像１３４として出力する。画像ぶれ補正部１１４は、出力画像１０２よりも広い画角で被写体を撮影して外枠領域を取得し、外枠領域で算出された動きベクトルの中から実際に静止している物体の画像中での動きのみを抽出してカメラ動きを算出する。入力画像１１７上で出力画像１０２に一致する領域（フレーミング領域）の位置を、カメラ動きを打ち消すように移動して画像ぶれを補正する。補正されたフレーミング領域で入力画像１１７から画像を切り出し、切り出した画像のサイズを出力画像のサイズに合わせて画像拡大を施して出力画像を得る。以上の構成によって、撮影者６０が撮影したい被写体１０１が動いていても、その被写体の周辺に存在する静止物体を外枠領域内に捉えることができ、従って、静止物体の動きベクトルを捉えることで安定した画像ぶれ補正が可能になる。以下、図８から図１６を用いて、画像ぶれ補正部１１４の詳細を説明する。【００６６】
図８は、画像ぶれ補正部１１４の内部構成を示すブロック図である。【００６７】
画像ぶれ補正部１１４は、図８に示すように動きベクトル算出部１４０、フレーミング領域設定部１４１、静止物体検出部１４２、カメラ動き算出部１４３、フレーミング領域補正部１４４、補正フレーミング領域切り出し部１４５、および出力画像サイズ調整部１４６を備えている。【００６８】
動きベクトル算出部１４０は、入力画像（撮影画像）に含まれる全ての特徴点を検出し、その入力画像（撮影画像）と他の時刻の入力画像（撮影画像）との間での特徴点の動きを動きベクトル信号１４７として検出する。【００６９】
図９は動きベクトル算出の一例を示す図である。【００７０】
例えば、撮影画像は、時刻Ｔ１の撮影画像１５１から時刻Ｔ２の撮影画像１５２に変化する。ここで、画像１５０は、時刻ｔ１での撮影画像１５１と、時刻ｔ２での撮影画像１５２を重ね合わせたものである。動きベクトル算出部１４０は、この例では、画像特徴量の追跡によって検出された被写体の目の位置の特徴点１５５と特徴点１５７との違いから、動きベクトル１５３を算出する。また、動きベクトル算出部１４０は、肩の位置にある特徴点１５６と特徴点１５８との位置の違いから、動きベクトル１５４を算出する。なお、本発明において、動きベクトルの算出方法は任意であり、制限を与えるものではない。例えば、入力画像特徴量１１８の画像特徴量を用いず、入力画像１１７の輝度値を用いて特徴点を検出し、この特徴点を追跡することで動きベクトルを算出しても構わない。【００７１】
図１０は、入力画像１１７内に設定されるフレーミング領域および外枠領域を示す図である。【００７２】
フレーミング領域設定部１４１は、図１０に示すように、入力画像１１７内にフレーミング領域１６０と外枠領域１６１を設定する。フレーミング領域１６０は、図１０に示す点線の四角で囲まれた領域であって、後述する撮影画像表示部１１６に表示される画像の領域である。なお、撮影者６０は、表示されたフレーミング領域１６０に表示される画像を、撮影されている画像（画角）だと理解して、カメラ位置や向きを調整する。外枠領域１６１は、入力画像１１７におけるフレーミング領域１６０以外であり、後述するように、この領域で算出された動きベクトルを用いて画像ぶれを補正するために設定される。つまり、フレーミング領域設定部１４１は、フレーミング領域１６０を、例えば、点１６２と点１６３のｘ座標とｙ座標で定義し、これらの座標を示す情報をフレーミング領域設定信号１４８として出力する。【００７３】
静止物体検出部１４２は、動きベクトル信号１４７の示す動きベクトルのうち、外枠領域１６１で算出された動きベクトルのみを使って静止物体を検出する。すなわち、静止物体検出部１４２は、入力画像１１７に含まれる全ての特徴点の動きベクトルの中から、外枠領域１６１の動きベクトルを抽出する。さらに、静止物体検出部１４２は、その外枠領域１６１の動きベクトルの中から、静止物体の動きベクトルと推定されるものだけを抽出する。一般に、広角撮影を行った場合、被写体の背景に静止物体が撮影されることが多い。したがって、上述のように外枠領域１６１のみを用いる理由は、被写体の動きを記録したいビデオカメラの撮影では、撮影者がフレーミングした領域（つまりフレーミング領域１６０）の周辺に被写体背景として静止物体が撮影される、という仮定に基づいている。【００７４】
図１１は、フレーミング領域１６０および外枠領域１６１に表示される画像の例を示す図である。【００７５】
図１１（ａ）と図１１（ｂ）に示すように、撮影者６０と静止物体７０が、一続きの地面や建物の床、壁等に接地している場合、撮影者６０が静止していれば、撮影者６０と静止物体７０や静止物体７３の位置関係は固定され、これらは入力画像１１７上で同じ位置に撮影される。また、地面や建物の床、壁などは、一般にテクスチャ（模様や光沢、微小な凹凸によって生じる陰影などの総称）を持ち、平らな地面や床面、壁面でも輝度の違いから特徴点を検出することができる。そこで、地面７１や、壁面７２も静止物体として利用でき、外枠領域１６１に静止物体を検出できる。一方、撮影者６０が持つ撮影装置１００の構えが動いた場合、静止物体７０や静止物体７３は入力画像１１７上で異なった位置に撮影され、その結果、図９を用いて説明したように、動きベクトルが発生する。これらの動きベクトルが画像ぶれの方向と大きさを表わし、これらの動きベクトルを利用して、図３４（ｃ）に示した要領で画像ぶれを補正できる。【００７６】
図１２は、静止物体検出部１４２が静止物体（静止物体の動きベクトル）を検出する方法を説明するための図である。【００７７】
例えば、時刻ｔ１から時刻ｔ２の経過の間に、被写体１０１は、被写体１０１から見て左前方へ移動する。画像１５０は、時刻ｔ１の入力画像９０１と、時刻ｔ２の入力画像９０２と、動きベクトルとを重ねて表示した画像である。静止物体の動きベクトルは、撮影装置１００の移動によって生じるため、すべて類似の方向と大きさを持つ。【００７８】
ここで、撮影されるシーンの３次元の空間情報が撮像センサ部１０３の２次元面に投影されるため、撮影装置１００から遠い距離にある静止物体と近い距離にある静止物体では、動きベクトルの方向と大きさが完全に一致することはないが、概ね同じ傾向を示す。また、撮像センサ部１０３が有するレンズの周辺ひずみのために、画面中央と画面周辺で動きベクトルが異なる場合もある。そこで、静止物体検出部１４２は、動きベクトルの方向と大きさに許容範囲を設けて、外枠領域１６１の動きベクトルのうち、この許容範囲内に収まる動きベクトルを、静止物体の動きベクトルと解釈して、その動きベクトルの示す動きを撮影装置１００の画像ぶれとする。また、動きベクトルの始点と終点のどちらかがフレーミング領域１６０内に存在する場合があるが、フレーミング領域１６０の中にも静止物体（図１２に示す静止物体７０と静止物体７４）が撮影される場合がある。したがって、静止物体検出部１４２は、動きベクトルの始点あるいは終点が外枠領域１６１に存在すれば、その動きベクトルが外枠領域１６１の動きベクトルに属すると判断する。【００７９】
図１３は、外枠領域１６１の動きベクトルを示す図である。【００８０】
静止物体検出部１４２は、図１３の実線の矢印に示す動きベクトルを、外枠領域１６１の動きベクトルとして抽出する。つまり、静止物体検出部１４２は、外枠領域１６１内に少なくとも始点、あるいは終点を有する動きベクトルのみを抽出する。そして、静止物体検出部１４２は、その抽出した動きベクトルの平均ベクトルを求め、許容範囲として平均ベクトルとの距離（距離閾値ｔｖ）を設定し、距離閾値ｔｖよりも平均ベクトルとの距離が小さい動きベクトルを静止物体の動きベクトルとして検出する。すなわち、動き検出手段たる動きベクトル算出部１４０および静止物体検出部１４２は、上述の外側の領域において複数の動きベクトルを検出するとともに、検出された複数の動きベクトルの中から、その複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出している。【００８１】
ところで、外枠領域１６１に静止物体を撮影できないケースがある。【００８２】
図１４は、静止物体を撮影できないケースを示す図である。【００８３】
例えば、図１４（ａ）に示すように、撮影装置１００と被写体１０１の距離が非常に近い場合や、図１４（ｂ）に示すように、撮影者６０が移動手段８０に載って移動している場合には、静止物体を撮影することができない。いずれの場合も、画面全体で動きが観察されるような状態であり、動きを感じる映像であることが自然な状況である。【００８４】
従って、静止物体検出部１４２は、入力画像１１７に基づいて、静止物体を撮影しているか否かを判別し、静止物体を撮影していると判別したときには、上述のように静止物体の動きベクトルを検出する。一方、静止物体検出部１４２は、静止物体を撮影していないと判別したときには、静止物体の動きベクトルの検出を行わず、画像ぶれ補正が行われないような補正中断処理を実行する。この場合、撮影装置１００は、入力画像１１７をそのまま出力画像１０２として出力する。【００８５】
例えば、静止物体検出部１４２は、外枠領域１６１の動きベクトルと、フレーミング領域１６０の動きベクトルとがそれぞれ略等しい大きさおよび向きを有する場合に、静止物体を撮影していないと判別する。または、静止物体検出部１４２は、外枠領域１６１の動きベクトルのばらつきが非常に大きい場合に、静止物体を撮影していないと判別する。【００８６】
以上より、静止物体検出部１４２は、静止物体を撮影していると判別したときには、外枠領域１６１に属する動きベクトルをもとに静止物体（静止物体の動きベクトル）を検出し、検出された１つまたは複数の動きベクトルを静止物体動きベクトル信号１４９として出力する。一方、静止物体を撮影していないと判別したときには、静止物体検出部１４２は、静止物体の動きベクトルの検出を行わず、補正中断処理として、静止物体なしを示す静止物体動きベクトル信号１４９を出力する。たとえば、静止物体検出部１４２は、静止物体なしを示す静止物体動きベクトル信号１４９として、すべての成分が０の動きベクトルを示す静止物体動きベクトル信号１４９や、動きベクトルの大きさの最大値（具体的には、画像の対角の長さ）よりも明らかに大きな値をすべての成分に有する動きベクトルを示す静止物体動きベクトル信号１４９を出力する。【００８７】
後述するカメラ動き算出部１４４は、静止物体なしを示す静止物体動きベクトル信号１４９を受けた場合は、カメラ動きを算出する動作を停止する。その結果、フレーミング領域補正部１４４の動作も停止され、補正フレーミング領域切り出し部１４５は、撮像センサ部１０３から取得した入力画像１１７をそのまま出力する。【００８８】
このように、撮影された状況に応じて画像ぶれ補正機能が停止され、画面全体で動きが観察されるような映像や、動きを感じる映像を出力することができる。【００８９】
カメラ動き算出部１４４は、静止物体検出部１４２から取得した静止物体動きベクトル信号１４９からカメラ動き信号９０を算出する。上述したように、静止物体動きベクトル信号１４９は、方向と大きさが許容範囲内で異なる複数の動きベクトルを有する。そこで、カメラ動き算出部１４３は、これらの単純な平均や頻度分布による加重平均などで１本の動きベクトルに変換し、この動きベクトルと逆方向で同じ大きさの動きベクトル（カメラ動き）をカメラ動き信号９０として出力する。【００９０】
フレーミング領域補正部１４４は、カメラ動き算出部１４３から取得したカメラ動き信号９０を使って、画像ぶれを相殺する位置にフレーミング領域を補正する。補正の要領は図３４を用いて説明した処理と同じである。すなわち、カメラ動き信号９０は、図３４（ｂ）のカメラ動き１４と同様の動きを示す。そこで、フレーミング領域補正部１４４は、フレーミング領域設定部１４１からフレーミング領域設定信号１４８を取得すると、そのフレーミング領域設定信号１４８の示すフレーミング領域１６０の座標（図１０に示す点１６２，１６３の座標）を、カメラ動き信号９０の示す動きベクトルと逆方向で同じ長さのカメラ動き補正ベクトルだけ移動させる。そして、フレーミング領域補正部１４４は、座標を移動することによって補正されたフレーミング領域の位置を示す情報を、補正フレーミング領域信号９１として出力する。【００９１】
補正フレーミング領域切り出し部１４５は、撮像センサ部１０３から入力画像１１７を取得して、フレーミング領域補正部１４４から補正フレーミング領域信号９１を取得する。そして、補正フレーミング領域切り出し部１４５は、入力画像１１７から、補正フレーミング領域信号９１の示す、画像ぶれが補正されたフレーミング領域を切り出し、その切り出した画像を画像ぶれ補正フレーミング画像９２として出力する。【００９２】
出力画像サイズ調整部１４６は、補正フレーミング領域切り出し部１４５から画像ぶれ補正フレーミング画像９２を取得し、その画像サイズ（水平画素数とライン数）を、ディスプレイ装置４０に表示される画像のサイズまたはビデオ記録装置５０に記録される画像のサイズ、つまり上述の目的とする出力画像１０２のサイズに合うように変換する。そして、出力画像サイズ調整部１４６は、画像サイズが変換された画像ぶれ補正フレーミング画像９２を画像ぶれ補正画像１３４として出力する。【００９３】
なお、フレーミング領域設定部１４１によって、画像ぶれ補正フレーミング画像９２の水平画素数とライン数が、目的とする画像ぶれ補正画像１３４のそれと一致するように設計されている場合は、出力画像サイズ調整部１４６は、画像サイズを変換する必要はなく、画像ぶれ補正フレーミング画像９２をそのまま画像ぶれ補正画像１３４として出力する。【００９４】
また、画像ぶれ補正フレーミング画像９２の水平画素数とライン数が、目的とする画像ぶれ補正画像１３４のそれより大きい場合は、出力画像サイズ調整部１４６は、縮小処理を行う。たとえば、画像ぶれ補正フレーミング画像９２のサイズが７２０画素×４８０ラインで、目的とする画像ぶれ補正画像１３４のサイズが３６０画素×２４０ラインの場合、出力画像サイズ調整部１４６は、水平画素数とライン数ともに１／２に縮小する。縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。【００９５】
一方、画像ぶれ補正フレーミング画像９２の水平画素数とライン数が、目的とする画像ぶれ補正画像１３４のそれより小さい場合は、出力画像サイズ調整部１４６は、拡大処理を行う。例えば、画像ぶれ補正フレーミング画像９２のサイズが７２０画素×４８０ラインで、目的とする画像ぶれ補正画像１３４のサイズが２１６０画素×１４４０ラインの場合、出力画像サイズ調整部１４６は、水平画素数とライン数ともに３倍に拡大する。拡大処理には、バイリニア補間やバイキュービック補間などによる再サンプリングがあるが、補間処理では高周波成分を作り出すことが困難であり、通常、ボケを感じる鮮鋭度の低い画像となる。また、この傾向は、拡大率が多くなるほど強まり、フレーミング領域１６０が入力画像１１７よりも小さければ小さいほど、画像ぶれ補正画像１３４の画質は劣化する。【００９６】
そこで、本発明では、出力画像サイズ調整部１４６は、拡大処理を行うときには、すでに撮影された過去の画像から画像ぶれ補正画像１３４を構成する。すなわち、出力画像サイズ調整部１４６は、過去に撮影された画像を画像拡大用のデータベースとして用い、画像ぶれ補正画像１３４をそのデータベースから参照した画像データで構成する。【００９７】
図１５は、拡大処理を行う出力画像サイズ調整部１４６の内部構成例を示すブロック図である。この出力画像サイズ調整部１４６は、画像拡大用データベース１７１を参照して、画像ぶれ補正フレーミング画像９２を拡大するものであって、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５とから成る。また、画像拡大用データベース１７１は、リソースデータ部１７２と、低解像度リソースデータ部１７４とを備えている。【００９８】
この出力画像サイズ調整部１４６は、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。【００９９】
まず、出力画像サイズ調整部１４６による画像拡大用データベース１７１のリソースの構築について説明する。【０１００】
リソースデータ部１７２は、過去に撮影した画像を画像拡大用のリソースとして保持する。従って、リソースデータ部１７２は、補正フレーミング領域切り出し部１４５から出力される画像ぶれ補正フレーミング画像９２を取得し、画像拡大用のリソースとして保持する。【０１０１】
低解像度化部１７３は、目的とする画像ぶれ補正画像１３４に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、リソースデータ部１７２が持つ画像拡大用のリソースを低解像度化する。撮像センサ部１０３の低解像度化モデルでは、予め、複数のサンプルを用いて低解像度画像と高解像度画像を撮影して画像縮小用のデータベースを作成したり、複数のサンプルから解析的に低解像度化関数を導出する。あるいは、画像拡大用のリソースにローパスフィルタとサブサンプリングを施すことを低解像度化モデルとする。【０１０２】
低解像度化部１７３は、低解像度化されたリソースを低解像度リソースデータ部１７４に格納する。このとき、低解像度化部１７３は、リソースデータ部１７２の画像拡大用のリソース（過去に撮影された高解像度の画像）と、そのリソースを低解像度化して生成されたリソース（低解像度の画像）とを対応付けておく。したがって、画像拡大用データベース１７１を利用すれば、低解像度の画像を高解像度の画像に置き換えることができる。なお、リソースデータ部１７２および低解像度リソースデータ部１７４は、低解像度と高解像度の画像を、ピクチャ単位や、ピクチャを構成するブロック単位で格納していてもよい。【０１０３】
次に、出力画像サイズ調整部１４６による拡大処理について説明する。【０１０４】
類似データ検出部１７５は、補正フレーミング領域切り出し部１４５から画像ぶれ補正フレーミング画像９２を取得する。そして、類似データ検出部１７５は、低解像度リソースデータ部１７４を参照して、画像ぶれ補正フレーミング画像９２との類似性が最も高い低解像度リソース（画像）を検出する。そして、類似データ検出部１７５は、検出された低解像度リソースに対応付けられている元のリソース（高解像度の画像）をリソースデータ部１７２から見つけ出す。類似データ検出部１７５は、その見つけ出したリソースを画像ぶれ補正画像１３４とし、リソースデータ部１７２から出力させる。【０１０５】
なお、類似データ検出部１７５で用いられる類似性の尺度は任意であるが、たとえば空間周波数特性の類似性を用いてもよい。つまり、リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに格納されるデータは、画像データそのものではなく、例えば、図３を用いて説明したウェーブレット変換による画像特徴ベクトルであってもよい。ウェーブレット変換による画像特徴ベクトルを用いると、上記のように、例えばスケールｎ＝３の場合には、１０個のウェーブレット係数が算出され、これらを要素とする１０次元の画像特徴ベクトル（ｗ１、ｗ２、  …、  ｗ１０）を定義することができる。この場合、類似性の大小は、１０次元の画像特徴空間での画像特徴ベクトルの距離の大小になり、画像ぶれ補正フレーミング画像９２の画像特徴ベクトルに最も近い低解像度リソースデータの画像特徴量ベクトルが検出される。【０１０６】
このような空間周波数特性の類似性を用いる場合は、各画像データを空間周波数データに変換する必要がある。【０１０７】
図１６は、出力画像サイズ調整部１４６の内部構成例を示すブロック図である。【０１０８】
出力画像サイズ調整部１４６は、第１の画像特徴ベクトル算出部１７６と、第２の画像特徴ベクトル算出部１７９と、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５と、出力画像算出部１８１とを備えている。【０１０９】
この出力画像サイズ調整部１４６は、上述と同様、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。【０１１０】
まず、画像拡大用データベース１７１のリソースが構築されている状態で、出力画像サイズ調整部１４６が拡大処理を行うときの処理について説明する。【０１１１】
リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに、高解像度の画像を示す画像特徴ベクトルと、その画像に対応する低解像度の画像を示す画像特徴ベクトルとが対応付けて格納されている。【０１１２】
第１の画像特徴ベクトル算出部１７６は、出力画像サイズ調整部１４６が拡大処理を行うときには、補正フレーミング領域切り出し部１４５から出力された画像ぶれ補正フレーミング画像９２を取得し、その画像ぶれ補正フレーミング画像９２を画像特徴ベクトル１７７に変換して類似データ検出部１７５に出力する。ここで、第１の画像特徴ベクトル算出部１７６は、例えば、図３に示す要領で画像特徴ベクトルを算出する。【０１１３】
類似データ検出部１７５は、画像ぶれ補正フレーミング画像１１８の画像特徴ベクトル１７７に最も近い画像特徴ベクトルを低解像度リソースデータ部１７４から見つけ出す。そして、類似データ検出部１７５は、その見つけ出した低解像度の画像特徴ベクトルに対応付けられた高解像度の画像特徴ベクトルをリソースデータ部１７２から出力させる。【０１１４】
すなわち、上述の類似データ検索手段たる類似データ検出部１７５は、切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する。【０１１５】
出力画像算出部１８１は、リソースデータ部１７２から出力された高解像度の画像特徴ベクトルに対して、第１の画像特徴ベクトル算出部１７６で行われたウェーブレット変換の逆変換を行うことによって、出力画像特徴ベクトル１８０を画像ぶれ補正画像１３４に変換して出力する。【０１１６】
一方、出力画像サイズ調整部１４６が画像拡大用データベース１７１のリソースを構築するときには、第１の画像特徴ベクトル算出部１７６は、画像ぶれ補正フレーミング画像９２に対応する高解像度の画像特徴ベクトル１７７を算出して画像拡大用データベース１７１のリソースデータ部１７２に格納する。このように格納された画像特徴ベクトル１７７は、拡大画像の画像特徴量として参照される。【０１１７】
低解像度化部１７３は、第１の画像特徴ベクトル算出部１７６で算出された画像特徴ベクトル１７７に対応する画像ぶれ補正フレーミング画像９２を取得する。そして、低解像度化部１７３は、目的とする画像ぶれ補正画像１３４に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、画像ぶれ補正フレーミング画像９２を低解像度化して、低解像度化画像ぶれ補正フレーミング画像１７８を出力する。【０１１８】
第２の画像特徴ベクトル算出部１７９は、低解像度化画像ぶれ補正フレーミング画像１７８の画像特徴ベクトルを算出し、低解像度リソースデータ部１７４に格納する。第２の画像特徴ベクトル算出部１７９の画像特徴ベクトルの算出方法は、第１の画像特徴ベクトル算出部１７６と同一であり、その結果、リソースデータ部１７２との互換性が確保されている。【０１１９】
このように出力画像サイズ調整部１４６が構成されているため、類似データ検出部１７５は、画像ぶれ補正フレーミング画像９２と最も類似度の高い低解像度のリソースを画像特徴量ベクトル空間で検出することができる。そして、検出された低解像度のリソースを生成するための元とされた高解像度のリソースをリソースデータ部１７２から参照し、出力画像特徴ベクトル１８０として出力することができる。【０１２０】
なお、類似データ検出部１７５の処理高速化のために、図３に示すスケールｎのＬＬ成分などを用いて、参照範囲を一旦絞り込み、絞り込んだ範囲内で画像特徴ベクトルの距離比較を行う方法は有効である。【０１２１】
出力部１１５は、ディスプレイ装置４０やビデオ記録装置５０と同一のインターフェースを有し、出力画像１０２をディスプレイ装置４０やビデオ記録装置５０へ出力する。なお、ディスプレイ装置４０やビデオ記録装置５０は外部ビデオ機器の一例であり、本発明は外部ビデオ機器に制限を与えるものではない。【０１２２】
撮影画像表示部１１６は、画像ぶれ補正フレーミング画像９２を撮影者６０に表示する。撮影者６０は、撮影画像表示部１１６に表示された画像ぶれ補正フレーミング画像９２を見ることで、撮影画角を目視確認できる。通常、撮影装置１００の大きさから、撮影画像表示部１１６に用いられるディスプレイパネルの対角の長さは、３インチ前後であり、水平画素数は３２０画素、ライン数は２４０ライン程度である。従って、ディスプレイパネルの水平画素数とライン数は、撮像センサ部１０３のそれよりも小さい場合が多く、撮影画像表示部１１６での画像サイズ変換は実質、縮小処理になる。画像の縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。【０１２３】
図１７は、撮影装置１００の各構成要素の動作タイミングを示す図である。【０１２４】
撮影装置１００を構成するすべての要素は、電源投入の立ち上げ後、ただちに初期化が行われる。ブラー検出部１０５が出力するブラー検出情報１１９内のブラー有無情報は、初期化によって、ＯＦＦ（ブラーなし）にリセットされる。【０１２５】
時刻ｔ１のタイミングで撮影が開始され、撮像センサ部１０３が画像０１を撮影する。画像０１はブラーなし撮影画像一時メモリ部１０６に書き込まれ（期間０１）、同時に、第１画像特徴量変換部１０４で画像特徴量に変換される（期間０２）。第１画像特徴量変換部１０４の画像特徴量はブラー検出部１０５へ入力され、ブラー検出処理が行われる（期間０３）。期間０３ではブラーが検出されないとすると、ブラー検出情報１１９内のブラー有無情報はＯＦＦのままで、ブラー除去に関連する部分は動作しない。画像０１は画像ぶれ補正部１１４へ入力され、画像ぶれ補正画像１３４が生成されて、出力部１１５の動作まで待機する。出力部１１５は、期間０４のタイミングで画像ぶれ補正画像１３４を出力画像１０２として外部へ出力する。【０１２６】
引き続き、時刻ｔ２のタイミングで撮影が開始され、時刻ｔ１と同じくブラー発生は検出されず、期間０１から期間０４と同じ動作が行われる。【０１２７】
次に、時刻ｔ１０を一例として、ブラー発生時の動作タイミングを説明する。【０１２８】
撮像センサ部１０３が画像１０を撮影する。画像１０はブラーなし撮影画像一時メモリ部１０６に書き込まれ（期間１１）、同時に、第１画像特徴量変換部１０４で画像特徴量に変換される（期間１２）。第１画像特徴量変換部１０４の画像特徴量はブラー検出部１０５へ入力され、ブラー検出処理が行われる（期間１３）。期間１３ではブラーが検出されるとすると、ブラー検出情報１１９内のブラー有無情報がＯＮに切り替わる（期間１４）。ブラー検出情報１１９内のブラー有無情報がＯＮになると、ブラーなし撮影画像一時メモリ部１０６は書き込みモードから読み出しモードに切り替わり、ブラーなし撮影画像１２９が読み出され、ブラー合成部１０７と第３画像特徴量変換部１０９とへ出力される（期間１５）。ブラー合成部１０７は、ブラーなし撮影画像１２９を取得次第、ブラー合成の動作を開始し（期間１６）、合成完了次第、逐次、ブラー合成画像１３０を第２画像特徴量変換部１０８に出力する。第２画像特徴量変換部１０８は、ブラー合成画像特徴量１３１を算出次第（期間１７）、ブラー合成画像特徴量格納部１１１に書き込む（期間１８）。第３画像特徴量変換部１０９も同様に、ブラーなし撮影画像特徴量１３２を算出次第（期間１９）、ブラーなし画像特徴量格納部１１２に書き込む。ブラー除去用画像特徴量置換テーブル部１１０への書き込みが完了する（期間１８が終了）と、読込みモードに切り替わり（期間２０）、最近傍画像特徴量検出部１１３が最近傍画像特徴量を探し始める（期間２１）。最近傍画像特徴量が検出され、ブラー除去用画像特徴量置換テーブル部１１０からブラー除去画像特徴ベクトル画像１３３が出力されると、画像ぶれ補正部１１４はブラー除去画像特徴ベクトル画像１３３の画像ぶれを補正し、画像ぶれ補正画像１３４を出力する（期間２２）。出力部１１５は、期間２３のタイミングで画像ぶれ補正画像１３４を出力画像１０２として外部へ出力する。【０１２９】
引き続き、時刻ｔ１１のタイミングで撮像センサ部１０３が画像１１を撮影するが、図１７に示す例では、ブラー発生は時刻ｔ１９まで続き、ブラー検出情報１１９内のブラー有無情報はＯＮの状態が続く。【０１３０】
時刻ｔ２０で撮影された画像２０ではブラーが発生せず、期間３０でブラーなしと判断され、ブラー検出情報１１９内のブラー有無情報はＯＦＦに切り替わる（期間３１）。【０１３１】
図１８は、撮影装置１００の動作を示すフローチャートである。【０１３２】
まず、撮影装置１００は、以下に順次説明する２つの初期設定を行う（ステップＳ１００）。初期設定の１つめは、ブラー評価用閾値ｔｆの設定である。ブラー検出部１０５は、画像特徴量ベクトルの距離変化を時系列に追跡し、この距離変化量がブラー評価用閾値ｔｆを超えたら「ブラーあり」、超えなければ「ブラーなし」と判定する。【０１３３】
初期設定の２つめは、画像ぶれ補正部１１４の動作に関する設定である。画像ぶれ補正部１１４の設定は以下の２つから成る。【０１３４】
画像ぶれ補正部１１４の設定の１つめは、静止物体の動きベクトルを検出する際の動きベクトルの類似度（許容範囲）の設定である。動きベクトルは、図１２で説明したように、時刻ｔ１と時刻ｔ２における同一画素値の特徴点の動きとして求められる。しかし、実際には、カメラノイズや照明の変化、被写体反射率の非等方性など、様々な原因で同一の特徴点であっても画素値が変化することがある。したがって、図１９（ａ）の実線の矢印で示すように、静止物体の動きベクトルであっても、様々な方向や大きさを持つ。そこで、静止物体検出部１４２は、外枠領域１６１の動きベクトルの中から、類似の動きベクトルを外枠領域から集め、例えば、カメラ動き算出部１４３がそれらの平均をもってカメラ動きとするなどの処理が必要になる。【０１３５】
具体的には、静止物体検出部１４２は、図１９（ｂ）に示すように、動きベクトルの方向と、その方向の動きベクトルの頻度との関係を示すヒストグラムを作成する。そして、静止物体検出部１４２は、動きベクトルを最大頻度から順に累積し、例えば全体頻度の５０％までを類似ベクトル（静止物体の動きベクトル）の候補として、その他を切り捨てる。さらに、静止物体検出部１４２は、類似ベクトル候補の大きさの平均値と分散を算出し、例えば分散の７５％以内に入るベクトルを抽出し、これを最終結果として、静止物体の動きベクトルとする。この場合、静止物体検出部１４２は、初期設定として、ヒストグラムの横軸を決めるために必要な動きベクトルの方向に対するピッチと、類似ベクトル候補を決めるために必要な累積頻度に対する割合と、類似ベクトル候補から最終結果を抽出するために必要になる分散値とを設定する。【０１３６】
なお、以上は一例であり、本発明は静止物体の動きベクトルの検出方法に制限を与えるものではない。また、静止物体の動きベクトルにおける類似度の設定は、静止物体検出部１４２が有するメモリからデータを読み出すことで実行される。【０１３７】
画像ぶれ補正部１１４の設定の２つめは、フレーミング領域の設定であり、例えば、入力画像１１７の水平画素数とライン数に対する所定の割合でフレーミング領域を設定する。入力画像１１７の水平画素数を１０８０画素、ライン数を７２０ラインとし、フレーミング領域の割合を７５％とした場合、フレーミング領域の水平画素数は８１０画素、ライン数は５４０ラインとなる。フレーミング領域の位置は、図１０に示したように、フレーミング領域１６０の中心が入力画像１１７の中心と一致するように決められる。フレーミング領域の設定は、画像ぶれ補正部１１４の内部構成であるフレーミング領域設定部１４１で行われる。なお、以上は一例であり、本発明はフレーミング領域の設定方法を制限するものではない。たとえば、フレーミング領域の入力画像に対する水平画素数とライン数の割合を個別に設定しても構わない。フレーミング領域の設定は、フレーミング領域設定部１４１が有するメモリから読み出すことで実行される。【０１３８】
ステップＳ１００の初期設定に引き続き、撮像センサ部１０３は被写体１０１を撮影して入力画像１１７を出力する（ステップＳ１０１）。第１画像特徴量変換部１０４は、入力画像１１７を画像特徴量に変換し、入力画像特徴量１１８を出力する（ステップＳ１０２）。ブラー検出部１０５はブラーの有無を検出する（ステップＳ１０３）。この結果、ブラーが検出された場合（ステップＳ１０３でブラーあり）、ブラー合成部１０７は、ブラーなし撮影画像１２９に対して、ブラー合成を行い、ブラー合成画像１３０を生成する（ステップＳ１０４）。最近傍画像特徴量検出部１１３は、ブラー除去用画像特徴量置換テーブル部１１０を参照してブラー除去画像特徴ベクトル画像１３３を取得する（ステップＳ１０５）。画像ぶれ補正部１１４は、ブラー除去画像特徴ベクトル画像１３３の画像ぶれを補正し、画像ぶれ補正画像１３４として出力する（ステップＳ１０６）。【０１３９】
一方、ブラーが検出されなかった場合（ステップＳ１０３でブラーなし）、入力画像１１７はブラーなし撮影画像一時メモリ部１０６に書き込まれる（ステップＳ１０７）。入力画像特徴量１１８が画像ぶれ補正部１１４に入力される（ステップＳ１０８）。画像ぶれ補正部１１４は、入力画像特徴量１１８の画像ぶれを補正し、画像ぶれ補正画像１３４として出力する（ステップＳ１０９）。【０１４０】
出力部１１５は、画像ぶれ補正画像１３４を出力画像１０２として出力する（ステップＳ１１０）。【０１４１】
ところで、カメラの３次元的な動きは、回転動きと並進動きに分解できる。上述したフレーミング領域の大きさを固定し、フレーミング領域の位置を変更して画像ぶれを補正する方法は、主に回転動きによって発生する画像ぶれを補正する。一方、並進動きによって発生する画像ぶれは、フレーミング領域の大きさを変更することで補正される。そこで、回転動きと並進動きを統合的に捉えた場合には、カメラ動き算出部１４３およびフレーミング領域補正部１４４は、３次元のアフィン変換を行い、カメラの回転動きと並進動きを統合的に検出して、フレーミング領域の位置および大きさを変更しても構わない。このような統合的な検出をすることは、３次元のアフィン変換行列の係数を複数の動きベクトルで最小二乗近似することに相当する。以上のように、統合的な３次元のアフィン変換で一般化すれば、図３４で説明したような大きさ固定のフレーミング領域の位置を変更する場合よりも正確な画像ぶれ補正が可能になる。【０１４２】
なお、ブラーなし撮影画像一時メモリ部１０６とブラー除去用画像特徴量置換テーブル部１１０とに不揮発メモリを用いると、撮影装置１００の電源を切った後でも、データが保持される。よって、撮影装置１００の再起動後、直ちに、ブラーなし撮影画像一時メモリ部１０６とブラー除去用画像特徴量置換テーブル部１１０のデータを利用できる。【０１４３】
以上のように、本実施の形態の撮影装置１００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、カメラ動きに起因するブラーを除去することができ、カメラ撮影に不慣れなユーザーでも画像ぶれを心配することなく、自由にビデオ撮影ができる。【０１４４】
（実施の形態２）
本実施の形態では、撮影した画像を記録する記録メディア部を備えた撮影記録再生装置について説明する。【０１４５】
図２０は、本発明の実施の形態２に係る撮影記録再生装置２００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０１４６】
撮影記録再生装置２００は、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、図２０に示すように被写体１０１を撮影し、撮影した画像を記録メディア部２０３に記録する撮影記録部２０１と、記録メディア部２０３に記録された画像を再生し、再生した出力画像１０２を出力する再生部２０２と備えている。出力画像１０２は、例えば、撮影記録再生装置２００に接続されたディスプレイ装置４０に映し出される。【０１４７】
撮影記録部２０１は、撮像センサ部１０３、記録メディア部２０３、ブラー検出部２０５、および撮影画像表示部２０６を備えており、撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素の位置を示すブラー位置情報を含むブラー検出情報１１９とともに記録メディア部２０３に記録する。【０１４８】
ブラー検出部２０５は、画素単位に入力画像１１７で発生したブラーを検出する。ブラー検出の方法は任意であるが、ブラー検出部２０５が、撮影装置１００が有する第１画像特徴量変換部１０４とブラー検出部１０５の機能を有すれば、図６（ａ）で説明したように、画像特徴ベクトルの距離変化に対する閾値処理でブラーを検出できる。ブラー検出部２０５は、ブラーが発生したと判断した場合は、ブラー検出情報１１９内のブラー有無情報をＯＮとし、ブラーが発生していないと判断した場合は、ブラー検出情報１１９内のブラー有無情報をＯＦＦとする。また、ブラー検出部２０５は、ブラーが発生した画素の位置を示す情報をブラー検出情報１１９内のブラー位置情報として出力する。【０１４９】
撮影画像表示部２０６は、入力画像１１７を撮影者６０に表示する。これにより、撮影者６０は撮影画角の確認ができる。【０１５０】
記録メディア部２０３は、入力画像１１７をブラー検出情報１１９とともに記録する。従って、入力画像１１７は、１枚ごとに「ブラーあり撮影画像」あるいは「ブラーなし撮影画像」に識別される。【０１５１】
図２１は、記録フォーマットの一例を説明する図である。記録メディア部２０３の記録位置を管理するメモリアドレス部２２０とデータ部２２１からなり、データ部２２１には、入力画像１１７、入力画像１１７のタイムコード２２２、およびブラー検出情報１１９が記録される。タイムコード２２２を参照すれば、映像シーケンスのどの時点で撮影された入力画像であるか、が把握できる。【０１５２】
再生部２０２は、記録メディア部２０３、第１画像特徴量変換部２０４、ブラーなし再生画像抽出部２０８、ブラー合成部１０７、第２画像特徴量変換部１０８、ブラー除去用画像特徴量置換テーブル部２１３、ブラー合成画像特徴量格納部１１１、ブラーなし画像特徴量格納部１１２、最近傍画像特徴量検出部１１３、画像ぶれ補正部１１４、および出力部１１５を備えており、記録メディア部２０３に記録された入力画像１１７を読み出し、入力画像１１７のブラーと画像ぶれを補正して出力画像１０２を生成する。【０１５３】
記録メディア部２０３は、読み出し機能を有し、入力画像１１７とブラー検出情報１１９を読み出し、それぞれ再生画像２０７、ブラー検出情報２０９として出力する。従って、再生画像２０７は、１枚ごとに「ブラーあり再生画像」あるいは「ブラーなし再生画像」に識別される。【０１５４】
再生部２０２は、再生画像２０７が記録メディア部２０３から読み出された後、ブラー除去用画像特徴量置換テーブル部２１３を作成する「テーブル作成モード」と、再生画像２０７のブラーと画像ぶれを補正する「補正モード」に分かれて動作する。【０１５５】
図２２は、再生部２０２の構成要素のうち、テーブル作成モードで動作する部分のみを切り出したブロック図であり、記録メディア部２０３から読み出した再生画像２０７をもとに、ブラー除去用画像特徴量置換テーブル部２１３にデータを書き込むまでの動作に対応している。図２３は、再生部２０２の構成要素のうち、補正モードで動作する部分のみを切り出したブロック図であり、記録メディア部２０３から読み出した再生画像２０７のブラーをブラー除去用画像特徴量置換テーブル部２１３を用いて除去し、再生画像２０７の画像ぶれを画像ぶれ補正部１１４で補正するまでの動作に対応している。テーブル作成モードは、補正モードの前に実行され、補正モードで必要となるブラー除去用画像特徴量置換テーブル部２１３を準備する位置付けにある。以降、テーブル作成モード（図２２）と補正モード（図２３）に分けて、再生部２０２の動作を説明する。【０１５６】
まず、再生部２０２のテーブル作成モードについて説明する。【０１５７】
ブラーなし再生画像抽出部２０８は、ブラー検出情報２０９内のブラー有無情報がＯＦＦの場合、再生画像２０７がブラーを含まないと判断し、ブラーなし再生画像２１０をブラー合成部１０７へ出力する。ブラー検出情報２０９内のブラー有無情報がＯＮの場合、ブラーなし再生画像抽出部２０８は出力を停止し、ブラーなし再生画像２１０はブラー合成部１０７に供給されない。ブラーなし再生画像２１０を受けたブラー合成部１０７は、実施の形態１の撮影装置１００と同様に、入力されたブラーなし再生画像２１０に対して擬似的にブラーを発生させて、ブラー合成画像１３０を生成する。第２画像特徴量変換部１０８は、ブラー合成画像特徴量１３１を生成して、ブラー合成画像特徴量格納部１１１に格納する。【０１５８】
第１画像特徴量変換部２０４は、再生画像２０７のうち、ブラーを含まない画像のみを画像特徴量に変換し、再生画像特徴量２１１として出力する。第１画像特徴量変換部２０４は、ブラーの有無を判断するために、ブラー検出情報２０９を取得し、ブラー検出情報２０９内のブラー有無情報がＯＦＦの場合、再生画像２０７を画像特徴量に変換し、再生画像特徴量２１１を出力する。再生画像特徴量２１１は、ブラーなし画像特徴量格納部１１２に格納される。【０１５９】
なお、ブラー除去に使われる画像特徴量は、図６で説明したように、ブラー発生直前の数枚の画像から参照する。なぜならば、時間的に離れた画像は、一般に、撮影されているシーンが異なるため、画像特徴量の違いも大きく、ブラー除去に利用できる画像特徴量の数が限られてくる。そこで、撮影記録再生装置２００のブラー除去用画像特徴量置換テーブル部２１３は、再生画像２０７のタイムコードも合わせて記録し、ブラーあり再生画像のタイムコードの直前の画像特徴量が参照できるようにする。なお、ブラー除去に使われる画像特徴量は、ブラー発生直前の数枚の画像ではなく、ブラー消滅直後の数枚の画像から参照しても構わない。【０１６０】
記録メディア部２０３は、ランダム読み出し機能を有し、格納されたデータのメモリアドレスやタイムコード、ブラー検出情報を指定して、飛び飛びにデータにアクセスできる。そこで、ブラーあり画像とブラーなし画像とが混在するビデオシーケンスにおいて、ブラー検出情報１１９内のブラー有無情報を参照して、ブラー発生部のみにランダムアクセスして、ブラー合成画像特徴量とブラーなし画像特徴量とを生成し、ブラー除去用画像特徴量置換テーブル部２１３に格納することも可能である。【０１６１】
次に、再生部２０２の補正モードについて説明する。【０１６２】
第１画像特徴量変換部２０４は、再生画像２０７のうち、ブラーを含む画像のみを画像特徴量に変換し、再生画像特徴量２１１として出力する。すなわち、第１画像特徴量変換部２０４は、ブラーの有無を判断するために、ブラー検出情報２０９を取得し、ブラー検出情報２０９内のブラー有無情報がＯＮの場合、再生画像２０７を画像特徴量に変換し、再生画像特徴量２１１を出力する。再生画像特徴量２１１が入力される最近傍画像特徴量検出部１１３および画像ぶれ補正部１１４、さらに、これらに引き続く一連の動作は、実施の形態１の撮影装置１００と同一であり、ここでは説明を割愛する。【０１６３】
なお、テーブル作成モードは、撮影記録再生装置２００の電源が投入されている間、常時動作可能とし、記録メディア部２０３に新しいデータが書き込まれたら、順次、ブラー除去用画像特徴量置換テーブル部２１３にブラー除去用の画像特徴量（ブラー合成画像特徴量１３１および再生画像特徴量２１１）を登録するように動作する。一般的なビデオ撮影では、「撮影」と「撮影画像の再生」の間に時間的なズレがあり、撮影直後に撮影済みの映像を確認する場合でも、数秒間のタイムラグは発生する。そこで、撮影されたデータから順次、ブラー除去用画像特徴量を算出し、ブラー除去用画像特徴量置換テーブル部２１３へ登録すれば、撮影画像の再生が開始する前に、ブラー除去用画像特徴量置換テーブル部２１３を準備できる。仮に、撮影画像の再生指示が発生した時点で、テーブル作成モードの全動作が終了していなくても、再生画像２０７を記録メディア部２０３から読み出す速度を倍速にして、テーブル作成モードと補正モードを時分割で実行すればいい。テーブル作成モードは、補正モードよりも「撮影」と「撮影画像の再生」のタイムラグ分だけ早く処理が進んでいるため、この時差が消滅する前にテーブル作成モードの動作を完了させる。撮影直後の映像確認を除けば、一般的には、テーブル作成モードから補正モードへの切り替わりには時間的余裕があり、例えば、旅行中に撮影した映像を自宅に帰宅した後、撮影映像を再生する、といった利用形態が多い。【０１６４】
また、ブラー除去用画像特徴量置換テーブル部２１３に、撮影記録再生装置２００の電源を切ってもデータが保持される不揮発メモリを用いることで、ブラー除去用画像特徴量置換テーブル部２１３の再登録を防ぐことが可能である。これにより、撮影記録再生装置２００を再起動後、直ちに補正モードを実行できる。【０１６５】
さらに、出力部１１５の出力（出力画像１０２）を記録メディア部２０３へ戻し、記録メディア部２０３に書き込むことも可能である。この場合、記録メディア部２０３は、再生画像２０７の読み出しと、出力画像１０２の書き込みを時分割で実行することになる。出力画像１０２は、ブラー除去と画像ぶれ補正がともに施された画像であり、記録メディア部２０３に書き込まれた出力画像１０２を再生する場合は、補正モードを動作させる必要はなく、出力画像１０２をそのまま撮影記録再生装置２００の外部へ出力すればいい。【０１６６】
なお、再生部２０２は、ディスプレイ装置４０に内蔵しても構わない。図２４に示すように、ディスプレイ装置４０に搭載された記録メディア部２０３に入力画像１１７とブラー検出情報１１９が格納された記録メディアを挿入して使用する。ディスプレイ装置４０に内蔵された再生部２０２がブラー除去を施した出力画像１０２を生成し、ディスプレイパネル４１に映し出される。【０１６７】
以上のように、本実施の形態の撮影記録再生装置２００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、カメラ動きに起因するブラーを除去することができ、カメラ撮影に不慣れなユーザーでも画像ぶれを心配することなく、自由にビデオ撮影ができる。特に、記録メディアを取り出すことで、他の機器とデータのやり取りが可能になる。また、撮影終了後から再生開始前の空き時間にブラー除去用画像特徴量置換テーブル部２１３を作成することができ、ブラー検出精度とブラー合成精度を高めることができ、出力画像１０２の画質を高めることができる。【０１６８】
（実施の形態３）
本実施の形態では、撮影者から受けた指示内容に応じてブラー除去を実行する撮影記録再生装置について説明する。【０１６９】
図２５は、本発明の実施の形態３に係る撮影記録再生装置３００の構成を示すブロック図である。なお、図２０に示す撮影記録再生装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０１７０】
撮影記録再生装置３００は、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、図２５に示すように被写体１０１を撮影し、撮影した画像を記録メディア部２０３に記録する撮影記録部３０１、記録メディア部２０３に記録された映像を再生し、再生した出力画像１０２を出力する再生部３０２、撮影者指示入力部３０３、および撮影者指示設定部３０４を備えている。出力画像１０２は、例えば、撮影記録再生装置３００に接続されたディスプレイ装置４０に映し出される。【０１７１】
撮影記録部３０１は、撮像センサ部１０３、記録メディア部２０３、ブラー検出部２０５、および撮影画像表示部３０５を備えており、撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素の位置を示すブラー位置情報を含むブラー検出情報１１９とともに記録メディア部２０３に記録する。【０１７２】
撮影者指示入力部３０３は、撮影者６０から、ブラー除去の有効／無効の指示、ブラー除去領域の指定、ブラーなし領域の指定を受け付ける。【０１７３】
図２６は、撮影者６０が指示を入力する画面を説明する図である。左側が指示メニューであり、「ブラー除去の有効／無効」の指示メニューが選択され、図２６の例では、「有効」が選択されている。指示メニューの選択は、撮影記録再生装置３００に付属するボタンやダイアルを使用する。図２６に示す画面は、撮影画像表示部３０５を利用し、撮影画像の表示と兼用する。【０１７４】
ブラー除去の「無効」が選択される例としては、「流し撮り」がある。流し撮りは、目の前を通り過ぎる被写体（例えば、高速走行する車や、スポーツシーンでの走者など）をカメラの向きを変えてフレーム内に捉え続ける撮影方法である。このような撮影方法の場合、ブラーを意図的に発生させて、撮影画像にスピード感を与えるために、ブラー除去の処理を無効にする必要がある。【０１７５】
図２７はブラー除去領域の指定方法を説明する図であり、被写体３１２、被写体３１３、被写体３１４のうち、被写体３１３がシャッター開放中に移動し、ブラーが発生したケースを想定した一例である。【０１７６】
ブラー除去領域の指定には、撮影画像表示部３０５を用い、例えば図２７に示すように、入力画像１１７、あるいは再生画像２０７の一部領域を指定する。撮影者６０が画像上で直接、ブラー除去処理を適用する領域を指定する。撮影画像表示部３０５はタッチパネルからなり、撮影者６０は、例えば、ポインティングデバイス３０６を使って、あるいは、撮影者６０の指先で直接、曲線３０７を描き、領域３０８をブラー除去の対象領域として指定する。ブラー除去の対象領域は、領域識別信号３１５として撮影者指示入力部３０３へ出力され、領域３０８に属する画素のみにブラー除去処理が施されることになる。【０１７７】
図２６において、ブラー除去領域の指定で、「撮影画像」が選択された場合は、記録メディア部２０３に記録された入力画像１１７が経路３０９を経由して撮影画像表示部３０５へ出力される。入力画像１１７は、ブラー除去の処理が施されていない画像である。従って、「撮影画像」は、これからブラー除去を実行するにあたって、撮影者６０が、ブラー除去を施す対象を明示的に指定する場合に選択されることになる。この場合、撮影者指示入力部３０３は、後述する撮影者指示設定部３０４を介して、領域３０８を撮影者指定ブラー信号３１１としてブラー検出部２０５へ出力する。ブラー検出部２０５は、撮影者指定ブラー信号３１１として入力された領域３０８に対してのみ、ブラー検出処理を行う。【０１７８】
一方、ブラー除去領域の指定で、「補正画像」が選択された場合は、ブラー除去と画像ぶれ補正を施した画像ぶれ補正画像１３４が経路３１０を経由して撮影画像表示部３０５へ出力される。再生画像２０７は、ブラー除去と画像ぶれ補正が施された画像である。従って、「補正画像」は、ブラー除去が不十分である部分を撮影者６０が明示的に指定する場合に選択されることになる。この場合、ブラー検出部２０５は領域３０８の情報を活用してブラー検出の設定を更新すべきであり、撮影者指示入力部３０３は、後述する撮影者指示設定部３０４を介して、領域３０８を撮影者指定ブラー信号３１１としてブラー検出部２０５へ出力する。ブラー検出部２０５が、例えば、図６で示した画像特徴ベクトルの距離変化に対する閾値処理を行っている場合には、撮影者指定ブラー信号３１１として入力された領域３０８に対して距離変化の閾値を小さくし、より小さな距離変化でもブラー発生と判断するように設定を更新する。【０１７９】
ブラーなし領域の指定は、撮影者６０が撮影画像表示部３０５に表示された画像を見て、明示的にブラーなしの領域を指定して、ブラー検出部２０５のブラー検出精度を高めるために使用する。【０１８０】
図２８は、ブラーなし領域が指定された一例を示す図であり、被写体３１２、被写体３１３、被写体３１４のうち、被写体３１３がシャッター開放中に移動し、ブラーが発生したケースを想定した一例である。ここでは、被写体３１２を囲む領域３１９と被写体３１４を囲む領域３２０が、撮影者６０によってブラーなしと指定されている。ブラーなしの領域（図２８では、領域３１９と領域３２０）以外のブラー除去の対象領域は、領域識別信号３１５として撮影者指示入力部３０３へ出力され、ブラーなしの領域以外の領域に属する画素のみにブラー除去処理が施される。【０１８１】
図２６において、ブラーなし領域の指定で、「撮影画像」が選択された場合は、記録メディア部２０３に記録された入力画像１１７が経路３０９を経由して撮影画像表示部３０５へ出力される。入力画像１１７は、ブラー除去の処理が施されていない画像である。従って、「撮影画像」は、これからブラー除去を実行するにあたって、撮影者６０が、ブラー除去を施さない対象を明示的に指定する場合に選択されることになる。ここで所定の領域をブラーなしと指定することによって、その領域内に対してだけブラーを発生させてぼかすことができる。この場合、撮影者指示入力部３０３は、撮影者指示設定部３０４を介して、ブラーなしの領域（図２８では、領域３１９と領域３２０）をブラーなし領域信号３２１として、ブラーなし再生画像抽出部２０８へ出力する。ブラーなし再生画像抽出部２０８は、指定されたブラーなし領域内は、ブラーなし再生画像２１０として出力する。【０１８２】
一方、ブラーなし領域の指定で、「補正画像」が選択された場合は、ブラー除去と画像ぶれ補正を施した画像ぶれ補正画像１３４が経路３１０を経由して撮影画像表示部３０５へ出力される。再生画像２０７は、ブラー除去と画像ぶれ補正が施された画像である。従って、「補正画像」は、ブラー除去が十分に行われた部分を撮影者６０が明示的に指定する場合に選択されることになる。この場合、ブラー除去用画像特徴量置換テーブル部２１３の中で、ブラーなしと指定された領域の画像特徴量はこのまま維持し、以降のブラー除去の処理で再利用する。ブラー検出部２０５は領域３０８の情報を活用してブラー検出の設定を更新すべきであり、撮影者指示入力部３０３は、後述する撮影者指示設定部３０４を介して、ブラーなしの領域（図２８では、領域３１９と領域３２０）以外の領域撮影者指定ブラー信号３１１としてブラー検出部２０５へ出力する。ブラー検出部２０５が、例えば、図６で示した画像特徴ベクトルの距離変化に対する閾値処理を行っている場合には、撮影者指定ブラー信号３１１として入力されたブラーなしの領域以外の領域に対して距離変化の閾値を小さくし、より小さな距離変化でもブラー発生と判断するように設定を更新する。【０１８３】
撮影者指示設定部３０４は、撮影者指示入力部３０３が受けた撮影者６０からの指示内容を撮影記録再生装置３００の各モジュールへ展開する。ブラー除去の有効／無効の識別は、ブラー除去識別信号３１７によって、撮影者指示設定部３０４からセレクタ部３１８へ伝えられる。ブラー除去で有効が選択されている場合、セレクタ部３１８は、再生画像特徴量２１１を最近傍画像特徴量検出部１１３へ出力し、ブラー除去用画像特徴量置換テーブル部２１３でブラー除去を実行する。一方、ブラー除去で無効が選択されている場合、セレクタ部３１８は、再生画像特徴量２１１を画像ぶれ補正部１１４へ出力し、ブラー除去の処理は施さず、画像ぶれ補正が実行される。【０１８４】
以上のように、本実施の形態の撮影記録再生装置３００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、カメラ動きに起因するブラーを除去することができ、カメラ撮影に不慣れなユーザーでも画像ぶれを心配することなく、自由にビデオ撮影ができる。特に、流し撮りなどでブラーを意図的に発生させたい場合は、撮影者がブラー除去の処理を無効にすることができ、より幅の広い映像表現を可能にする。また、ブラー除去された画像に、なおブラーが残っていると撮影者が判断した場合には、ブラーが残存している領域やブラーが発生していない領域を撮影者が直接指定することで、より正確なブラー除去が可能になる。【０１８５】
（実施の形態４）
本実施の形態では、ブラー検出頻度に応じて、画像単位でブラー除去を行う撮影記録再生装置について説明する。【０１８６】
図２９は、本発明の実施の形態４に係る撮影記録再生装置４００の構成を示すブロック図である。なお、図２０に示す撮影記録再生装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０１８７】
撮影記録再生装置４００は、図２９に示すように、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、撮影記録部４０１と再生部４０２から成る。【０１８８】
撮影記録部４０１は、撮像センサ部１０３、ブラー検出部４０４、記録メディア部４０３、および撮影画像表示部２０６を備え、被写体１０１を撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素、あるいはブロックの位置を示すブラー位置情報を含むブラー検出情報１１９とともに、記録メディア部４０３に記録する。【０１８９】
再生部４０２は、記録メディア部４０３に記録された映像を再生し、再生した出力画像１０２を出力する。出力画像１０２は、例えば、撮影記録再生装置４００に接続されたディスプレイ装置４０に映し出される。【０１９０】
ブラー検出部４０４は、図６に示したブラー検出部１０５と同じ方式でブラーを検出する。加えて、画像単位でブラー発生頻度を算出し、これが発生頻度の閾値を上回れば、画像全体で一様にブラーが発生していると判断し、画素単位、あるいはブロック単位で画像特徴量の置き換えを行う代わりに、ブラーあり画像をブラーなし画像に画像単位で置き換える。画像単位の置換は、画素単位、あるいはブロック単位の画像特徴量の置換より高速に処理ができ、画像特徴量置換によるアーティファクトの影響を受けにくい。【０１９１】
図３０は、ブラー検出部４０４の内部構成を示すブロック図である。ブラー検出頻度算出部４０４１は、入力画像１１７内でブラーが発生した画素あるいはブロックの個数を数え上げる。ブラー検出頻度は、画像単位で算出されるため、画像単位識別信号提供部４０４２から画像データ列の最初の画素と最後の画素を示す画像単位識別信号４０４３がブラー検出頻度算出部４０４１に入力される。ブラー検出頻度算出部４０４１は、前記数え上げたブラー発生画素数の画像全体の画素数に対する割合、あるいは前記数え上げたブラー発生ブロック数の画像全体のブロック数に対する割合をブラー検出頻度とし、これをブラー検出頻度信号４０４４として出力する。画像単位置換切替閾値提供部４０４５は、画素単位、あるいはブロック単位の画像特徴量の置換から、画像単位の画像特徴量の置換に切り換えるブラー検出頻度の閾値を閾値比較部４０４６に提供する。閾値比較部４０４６は、ブラー検出頻度信号４０４４が画像単位置換切替閾値提供部４０４５が提供する閾値より大きい場合、ブラー検出情報生成部４０４７に画像単位での画像特徴量の置換を指示する。ブラー検出情報生成部４０４７は、画像特徴量の置換単位を示すビットをブラー検出情報４０５に書き込む。たとえば、画像特徴量の置換単位を示すために、２ビット確保し、“００”を画素単位、“０１”をブロック単位、“１０”を画像単位とする。【０１９２】
記録メディア部４０３は、図２０の記録メディア部２０３と同じように、ブラーあり画像、ブラーなし画像によって出力先を切り替える。加えて、ブラー検出情報４０５が、画像特徴量の置換単位に画像単位（前述の例では“１０”）を指定した場合は、経路４０７を通して、ブラーなし画像を画像ぶれ補正部１１４へ出力する。ブラーなし画像の選択方法は、図６で説明したように、ブラー発生時点から最も近い過去のブラーなし画像を選ぶ。【０１９３】
以上により、画像単位の置換は、画素単位、あるいはブロック単位の画像特徴量の置換より高速に処理ができ、画像特徴量置換によるアーティファクトの影響を受けにくい。【０１９４】
（実施の形態５）
本実施の形態では、ズーム倍率が高い場合、画像単位で画像特徴量を置き換えてブラーを除去する撮影記録再生装置について説明する。【０１９５】
図３１は、本発明の実施の形態５に係る撮影記録再生装置５００の構成を示すブロック図である。なお、図２０に示す撮影記録再生装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０１９６】
撮影記録再生装置５００は、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、被写体１０１を撮影し、撮影した画像を記録メディア部５０６に記録する撮影記録部５０１、記録メディア部５０６に記録された映像を再生し、再生した出力画像１０２を出力する再生部５０２、撮像センサ部５０７、ズーム設定部５０３、ズーム制御部５０４、およびブラー検出部５０５を備えている。出力画像１０２は、例えば、撮影記録再生装置５００に接続されたディスプレイ装置４０に映し出される。【０１９７】
撮影記録部５０１は、撮像センサ部５０７、ズーム設定部５０３、ズーム制御部５０４、ブラー検出部５０５、記録メディア部５０６、および撮影画像表示部２０６を備えている。撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素、あるいはブロックの位置を示すブラー位置情報を含むブラー検出情報５０８とともに、記録メディア部５０６に記録する。【０１９８】
撮像センサ部５０７は、撮影者６０がズーム設定部５０３で設定したズーム倍率に応じて、撮影画角が制御され、相対的に画角の狭い拡大画像や、相対的に画角の広い縮小画像を撮影できる。本発明は、ズームの方式に制限を与えるものではなく、光学系にて画角を変更する光学ズームや、画像処理により画角を変える電子ズームなど、任意の方式を利用できる。撮影者６０は、撮影画像表示部２０６を見て、撮影画角を確認できる。【０１９９】
ズーム制御部５０４は、ズーム設定部５０３で設定されたズーム倍率になるように、撮像センサ部５０７を制御する。【０２００】
ブラー検出部５０５は、図６で説明したブラー検出部１０５と同じ方式でブラーを検出するとともに、ズーム設定部５０３からズーム倍率を取得し、ズーム倍率に応じて、画像特徴量の置換単位を切り換える。すなわち、ズーム倍率が高くなると画角が狭くなるため、ブラーの発生の可能性が高まる。また、画角が狭いと、画角内に収まる被写体の種類も限定され、広角撮影に比べて平坦な被写体が映る可能性が高くなる。平坦な被写体がブラーを含んで撮影された場合、画面全体に一様なブラーが発生するため、画素単位、あるいはブロック単位で成される画像特徴量の置換は、どれも同じようなものになる。この仮定が正しければ、画素単位、あるいはブロック単位で画像特徴量を置き換えるよりも、画像単位で一括に置き換える方が処理負荷の観点から効率的である。画像単位で画像特徴量を置き換えるということは、すなわち、ブラーなし画像を１枚選択することである。従って、画像単位の画像特徴量の置換は、画素単位、あるいはブロック単位での画像特徴量の置換で発生するアーティファクトの心配がなく、画質の観点からも信頼性が高い。【０２０１】
以上の観点から、ブラー検出部５０５は、図３２に示すように、ブラー検出部４０４と比べてズーム倍率が入力可能な構成とし、画像単位置換切替閾値提供部５０４５はズーム倍率に応じた閾値設定を行う。具体的には、図３３に示すように、ズーム倍率が４倍を超えたら、ブラー検出頻度が０．３（ブラーを含む画素、あるいはブロックが全画素数、あるいは全ブロック数の３０％）以上の場合、画像単位で画像特徴量を置換する。また、ズーム倍率が１倍を下回った場合は、ブラー検出頻度が０．９（ブラーを含む画素、あるいはブロックが全画素数、あるいは全ブロック数の９０％）以上の場合、画像単位で画像特徴量を置換する。【０２０２】
以上により、ブラー発生の可能性が高まる高倍率ズーム撮影時に、画像単位での画像特徴量の置換を行うことで、処理負荷を低減し、アーティファクトの少ない高画質のブラー除去画像を生成できる。【０２０３】
以上、本発明に係る撮影装置および撮影記録再生装置について、実施の形態１〜５に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、上記実施の形態を変形したものや、上記実施の形態１〜３の各構成要素を任意に組み合わせて実現される別の形態も、本発明に含まれる。
【産業上の利用可能性】
【０２０４】
本発明に係る撮影装置および撮影記録再生装置は、例えばビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラやカメラ付き携帯電話などビデオ機器全般で実行可能である。また、広く普及しているパーソナルコンピュータでも実行可能である。
【図１】
2009019848.tif 000003
【図２】
2009019848.tif 000004
【図３】
2009019848.tif 000005
【図４】
2009019848.tif 000006
【図５】
2009019848.tif 000007
【図６】
2009019848.tif 000008
【図７】
2009019848.tif 000009
【図８】
2009019848.tif 000010
【図９】
2009019848.tif 000011
【図１０】
2009019848.tif 000012
【図１１】
2009019848.tif 000013
【図１２】
2009019848.tif 000014
【図１３】
2009019848.tif 000015
【図１４】
2009019848.tif 000016
【図１５】
2009019848.tif 000017
【図１６】
2009019848.tif 000018
【図１７】
2009019848.tif 000019
【図１８】
2009019848.tif 000020
【図１９】
2009019848.tif 000021
【図２０】
2009019848.tif 000022
【図２１】
2009019848.tif 000023
【図２２】
2009019848.tif 000024
【図２３】
2009019848.tif 000025
【図２４】
2009019848.tif 000026
【図２５】
2009019848.tif 000027
【図２６】
2009019848.tif 000028
【図２７】
2009019848.tif 000029
【図２８】
2009019848.tif 000030
【図２９】
2009019848.tif 000031
【図３０】
2009019848.tif 000032
【図３１】
2009019848.tif 000033
【図３２】
2009019848.tif 000034
【図３３】
2009019848.tif 000035
【図３４】
2009019848.tif 000036
【図３５】
2009019848.tif 000037
【図３６】
2009019848.tif 000038
【図３７】
2009019848.tif 000039
【図３８】
2009019848.tif 000040
【手続補正書】
【提出日】平成20年10月30日(2008.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影した画像に発生するブラーを補正する撮影装置であって、
動画像を撮影する撮影手段と、
前記撮影手段によって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出手段と、
前記ブラー検出手段によってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成手段と、
前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換手段と、
前記ブラー検出手段によってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記ブラー補正手段は、
時間的に対応する前記ブラー合成画像の画像特徴量と前記ブラーなし撮影画像の画像特徴量とを対応付けた置換テーブルを生成する置換テーブル部と、
前記置換テーブルを用いて、前記ブラーあり撮影画像の画像特徴量に最も近い画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換える補正部とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記ブラー合成手段は、当該撮影装置の動きを検出するとともに、前記ブラーなし撮影画像および前記ブラーあり撮影画像間の前記撮影装置の動きに応じて、前記ブラーなし撮影画像および前記ブラーあり撮影画像間を時間的に補間するブラーモデルを作成し、作成した前記ブラーモデルを用いて前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記ブラー補正手段は、前記置換テーブル部が前記置換テーブルの生成を行うテーブル生成モードと、前記補正部が前記置換テーブルを用いて前記ブラーあり撮影画像のブラーを補正する補正モードとを個別に実行する
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像を、前記ブラー検出手段によって検出された前記ブラーの発生および前記ブラーが発生した位置を示すブラー検出情報とともに格納する格納手段を備え、
前記ブラー検出手段、ブラー合成手段、および画像特徴量変換手段は、前記格納手段に格納されている画像および前記ブラー検出情報を読み出して、読み出した前記画像に対して処理を行う
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記画像特徴量変換手段は、前記撮影手段によって撮影された前記撮影画像を画素あるいはブロックごとに画像特徴量に変換し、
前記ブラー検出手段は、前記撮影画像の画像特徴量の類似性を時系列に追跡し、前記画像特徴量の変化量が所定の閾値を超えた場合に、前記所定の閾値を超えた前記画像特徴量の画素位置、あるいはブロック内にブラーが発生したと判断する
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記撮影装置は、さらに、
前記ブラーなし撮影画像を、一時的に格納する一時格納手段を備え、
前記ブラー合成手段は、前記ブラー検出手段によってブラーが検出された場合、前記一時格納手段に格納されている前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、前記ブラー合成画像を生成する
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記撮影装置は、さらに、
ブラー補正を行うか否かの選択を受け付ける指示受付手段を備え、
前記ブラー補正手段は、前記指示受付手段によってブラー補正を行うことが受け付けられた場合にのみ、前記ブラーあり撮影画像のブラーを補正する
ことを特徴とする請求項１記載の撮影装置。
【請求項９】
前記指示受付手段は、さらに、ブラー補正を行う領域を受け付け、
前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行う領域に対してのみ、前記ブラーあり撮影画像のブラーを補正する
ことを特徴とする請求項８記載の撮影装置。
【請求項１０】
前記指示受付手段は、さらに、ブラー補正を行わない領域を受け付け、
前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行わない領域に対しては、前記ブラーあり撮影画像のブラーを補正しない
ことを特徴とする請求項８記載の撮影装置。
【請求項１１】
前記ブラー検出手段は、
前記ブラーあり撮影画像内のブラー検出頻度を算出するブラー検出頻度算出部と、
ブラーを補正するための画像特徴量の置き換えを、前記ブラーあり撮影画像の全体について実行するか部分的に実行するかを前記ブラー検出頻度の閾値比較で判断する閾値比較部と、
前記閾値比較部の判断結果に基づいて、画像特徴量の置換単位を前記ブラー検出情報に付加するブラー検出情報生成部とを備え、
前記ブラー検出情報が前記撮影画像の全体での画像特徴量の置き換えを指定した場合には、画像特徴量の置き換えを実行する代わりに、前記ブラーなし撮影画像で前記ブラーあり撮影画像の全体を置き換えることでブラーを補正する
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記撮影装置は、さらに、
撮影画角を規定するズーム倍率を設定するズーム設定部を備え、
前記閾値比較部は、前記ブラー検出頻度を前記ズーム設定部で設定したズーム倍率に応じて調整した閾値と比較することにより前記判断を行う
ことを特徴とする請求項１１記載の撮影装置。
【請求項１３】
撮影した画像に発生するブラーを補正する撮影方法であって、
動画像を撮影する撮影ステップと、
前記撮影ステップによって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出ステップと、
前記ブラー検出ステップによってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成ステップと、
前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換ステップと、
前記ブラー検出ステップによってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正ステップと
を含むことを特徴とする撮影方法。
【請求項１４】
撮影した画像に発生するブラーを補正するためのプログラムであって、
動画像を撮影する撮影ステップと、
前記撮影ステップによって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出ステップと、
前記ブラー検出ステップによってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成ステップと、
前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換ステップと、
前記ブラー検出ステップによってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正ステップと
をコンピュータに実行させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影で発生するブラーを除去する撮影装置、撮影方法、およびプログラムに関するものである。
【背景技術】
【０００２】
近年、撮像素子の高密化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化と小型化が著しい。撮像素子の素子密度が高まると、受光素子の面積が小さくなり、ＳＮ（Signal Noise）比を確保するためには長い露光時間が必要になる。露光中にカメラ位置が動くと、画像ぶれが発生するため、撮影者はできるだけカメラを動かさないように、カメラを三脚に固定したり、手持ちカメラの場合は、脇を締めるなどの工夫を行う。
【０００３】
画像ぶれ防止に対する撮影者への負担を軽減するために、カメラに画像ぶれ補正機能を搭載する機種が実用化されている。その基本的な考え方は、カメラの動きを検出し、この動きを相殺するように撮影画像を得る、というものである。カメラ動きを相殺する具体的な方法は、大きく２つに分類でき、「電子式」と「光学式」がある。電子式は、撮影画像の一部を切り出す方法で、切り出し位置をカメラ動きの逆方向に移動させて、画像ぶれを相殺する。
【０００４】
図３４は、電子式の画像ぶれ補正機能の一例を説明するための説明図である。
【０００５】
例えば、図３４（ａ）に示すように、カメラは撮影画像１０よりも小さい切り出しフレーム１１を設定する。カメラは切り出しフレーム１１内の画像を出力画像１２として出力し、ディスプレイに表示したり、記録メディアに格納する。図３４（ｂ）の撮影画像１３は、撮影画像１０の１フレーム先の画像である。図３４（ａ）の撮影から図３４（ｂ）の撮影の間に、カメラ動き１４が発生し、被写体１５が静止していても、画像ぶれ補正機能がなければ、出力画像１６のように、被写体１５の画面内の位置が移動する。この出力画像１２と出力画像１６の違いが、「画像ぶれ」である。カメラが動かず、かつ被写体も動かないのであれば、出力画像における被写体の位置は変わらないはずである。
【０００６】
そこで、画像ぶれ補正機能を有するカメラは、図３４（ｃ）に示すように、カメラ動き１４の逆向き、かつ同じ大きさのカメラ動き補正ベクトル１７で切り出しフレーム１１を移動することで、画像ぶれを解消し、出力画像１２と同一の出力画像１８を得る。
【０００７】
一方、光学式の画像ぶれ補正機能を有するカメラは、カメラ動きを相殺するように、レンズ系や撮像素子を機械的に移動させる。従って、撮像素子上の結像画像そのものに画像ぶれ補正が施される。
【０００８】
上述のように電子式の画像ぶれ補正は、図３４で説明したように、カメラの動きに応じて切り出しフレーム１１を移動させるため、カメラの動きを正確に検出する必要がある。そして、このカメラの動きは、撮影画像の動きによって検出される。被写体が静止していれば簡単に正確なカメラの動きを検出することができる。しかし、実際には動く被写体を撮影することがあり、特に、ビデオカメラは、被写体の動きを時間的に追いかける動画としての記録を主目的とするため、被写体が静止しているということは殆どない。
【０００９】
そこで、例えば、特許文献１は、移動する被写体が映り込んでも画像ぶれ補正が可能である電子式の画像ぶれ補正技術を開示している。
【００１０】
図３５は、上記特許文献１の撮影装置が備える動きベクトル検出装置の構成を示す構成図である。この動きベクトル検出装置は、動きベクトル検出手段３１と、動きベクトル判定手段３２と、発散度計算手段３３と、ＬＰＦ３４と、変換手段３５と、制御手段３６とを備えている。動きベクトル検出手段３１は、撮影画像のブロックごとに動きベクトルを検出する。
【００１１】
図３６は、ブロックごとの動きベクトルを示す図である。図３６（ａ）に示すように、動きベクトル検出手段３１は、撮影画像２０を複数のブロックに分割し、ブロックごとに動きベクトルを検出する。被写体が静止していた場合、すべてのブロックの動きベクトルは一致し、これがカメラ動きを表わす。一方、移動する被写体が存在する場合には、すべてのブロックの動きベクトルは一致しない。したがって、動きベクトル検出手段３１は、図３６（ｂ）のように、異なる向きを持つ動きベクトルを検出する。そこで、発散度計算手段３３は、それらの動きベクトルの分散の度合いを示す「発散度」を計算する。そして、制御手段３６は、その発散度に応じた、撮影画像２０の全体の動きベクトル（カメラ動き）を算出する。具体的には、変換手段３５は、撮影画像全体の動きベクトルの大きさを制御する動きベクトル係数と発散度との関係を設定し、発散度が大きくなるに従って、その発散度の動きベクトルの大きさを抑えていく。
【００１２】
図３７は、動きベクトル係数と発散度との関係を示す図である。変換手段３５は、発散度の大きい動きベクトルほど、その動きベクトルの動きベクトル係数を小さくすることによって、撮影画像全体の動きベクトルに対する、発散度の大きい動きベクトルが与える影響を抑えている。このような変換手段３５による処理結果に基づいて、制御手段３６は、撮影画像全体の動きベクトルの大きさを制御している。
【特許文献１】特許第２５０６４６９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
ところで、１枚のフレームの露光中に撮像センサが移動するとブラーと呼ばれる画像ぶれが発生する。
【００１４】
図３８は、１枚のフレームの露光中に発生するブラーを説明するための説明図である。例えば、図３８（ａ）に示すように、被写体４０上のＡ点が撮像センサ４１の画素４２に結像している状態４３が、撮像センサ４１の移動によって崩れて、状態４４に変化した場合を考える。図３８（ｂ）に示す状態４４では、被写体上のＡ点からの光が撮像センサ４１の領域Ｂに入射する。被写体上の１点（Ａ点）からの光が撮像センサ上の複数画素（領域Ｂ）に入射するためにフォーカスがずれ、かつ、受光位置も画素４２から領域Ｂへ移動する。状態４３から状態４４に移行する間、撮像センサ４１のシャッターが開放であった場合、被写体上の点Ａからの光は、画素４２から領域Ｂへ連続的に入射位置を変え、各画素で積分されて撮影画像が得られる。以上のように、撮像センサ４１のシャッターが開放のまま撮像センサ４１が移動すると、被写体上の１点からの光が撮像センサの複数画素に入射して、例えば図３８（ｃ）に示す画像４６のようなブラーが発生し、画質が劣化する。
【００１５】
しかしながら、前記従来の電子式の画像ぶれ補正技術では、図３４で説明したように、カメラ動き１４を相殺するように、切り出しフレーム１１の位置を制御している。よって、このような方法では、被写体１５を出力画像１２内の安定した位置に配置して画像ぶれを補正したとしても、出力画像１２に発生したブラーを除去することはできず、画像ぶれ補正が不十分であるという課題を有している。
【００１６】
そこで、本発明は上記の事情に鑑みてなされたものであり、電子式画像ぶれ補正において、カメラ動きによって１枚のフレーム中に発生するブラーを補正することができる撮影装置および撮影方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明に係る撮影装置は、撮影した画像に発生するブラーを補正する撮影装置であって、動画像を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出手段と、前記ブラー検出手段によってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成手段と、前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換手段と、前記ブラー検出手段によってブラーが検出された位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正手段とを備えることを特徴とする。
【００１８】
ここで、画像特徴量は、注目画素を含む複数画素の輝度分布に基づく量である。たとえば、注目画素を中心とした５画素×５画素のブロックに含まれる２５画素の輝度値や、注目画素とその周辺画素の輝度値の違いを反映した特性値などが画像特徴量の一例である。ブラー除去は、ブラーあり撮影画像の画像特徴量をブラーなし撮影画像の画像特徴量に置換することで実現できる。
【００１９】
これによって、カメラ動きによって発生したブラーを、画像処理を用いて補正することができ、フレーミング位置の移動でカメラ動きを相殺する電子式画像ぶれ補正の画質を向上することができる。
【００２０】
なお、本発明は、このような撮影装置として実現することができるだけでなく、このような撮影装置が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００２１】
本発明に係る撮影装置によれば、カメラ動きによって１枚のフレーム中に発生するブラーの影響を低減した画像を得ることができる。結果として、撮影者は画像ぶれを防止するために、三脚を使ったり、脇を締めてカメラを構えるなどの配慮が不要になり、フレーミングを中心とした撮影行為そのものに集中することができる。また、露光不足で発生するブラーを画像処理で除去でき、画像ぶれに関する知識が乏しい初心者でも画像ぶれのない映像を撮影できるため、ビデオ撮影の手軽さが向上し、利用者層や利用シーンの拡大につながる。
【発明を実施するための最良の形態】
【００２２】
本発明の実施の形態に係る撮影装置は、撮影した画像に発生するブラーを補正する撮影装置であって、動画像を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像にブラーが発生したこと、およびブラーが発生した時間位置を検出するブラー検出手段と、前記ブラー検出手段によってブラーが検出されなかった画像であるブラーなし撮影画像およびブラーが検出された画像であるブラーあり撮影画像を用いて、前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成するブラー合成手段と、前記ブラーなし撮影画像、前記ブラー合成画像、および前記ブラーあり撮影画像をそれぞれ画像特徴量に変換する画像特徴量変換手段と、前記ブラー検出手段によってブラーが検出された時間位置の画素あるいはブロックそれぞれに対して、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換えることによって、前記ブラーあり撮影画像のブラーを補正するブラー補正手段とを備えることを特徴とする。
【００２３】
これによって、カメラ動きによって１枚のフレーム中に発生するブラーを補正することができる。
【００２４】
ここで、前記ブラー補正手段は、時間的に対応する前記ブラー合成画像の画像特徴量と前記ブラーなし撮影画像の画像特徴量とを対応付けた置換テーブルを生成する置換テーブル部と、前記置換テーブルを用いて、前記ブラーあり撮影画像の画像特徴量に類似する画像特徴量を有する前記ブラー合成画像を特定し、特定した前記ブラー合成画像に時間的に対応する前記ブラーなし撮影画像の画像特徴量で、前記ブラーあり撮影画像の画像特徴量を置き換える補正部とを備えてもよい。
【００２５】
また、前記ブラー合成手段は、当該撮影装置の動きを検出するとともに、前記ブラーなし撮影画像および前記ブラーあり撮影画像間の前記撮影装置の動きに応じて、前記ブラーなし撮影画像および前記ブラーあり撮影画像間を時間的に補間するブラーモデルを作成し、作成した前記ブラーモデルを用いて前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、ブラー合成画像を生成してもよい。
【００２６】
前記ブラー補正手段は、前記置換テーブル部が前記置換テーブルの生成を行うテーブル生成モードと、前記補正部が前記置換テーブルを用いて前記ブラーあり撮影画像のブラーを補正する補正モードとを個別に実行してもよい。これによって、例えば撮影終了後から再生開始前の空き時間に置換テーブルを作成することが可能となる。
【００２７】
前記撮影装置は、さらに、前記撮影手段によって撮影された画像を、前記ブラー検出手段によって検出された前記ブラーの発生および前記ブラーが発生した位置を示すブラー検出情報とともに格納する格納手段を備え、前記ブラー検出手段、ブラー合成手段、および画像特徴量変換手段は、前記格納手段に格納されている画像および前記ブラー検出情報を読み出して、読み出した前記画像に対して処理を行ってもよい。
【００２８】
また、前記画像特徴量変換手段は、前記撮影手段によって撮影された前記撮影画像を画素あるいはブロックごとに画像特徴量に変換し、前記ブラー検出手段は、前記撮影画像の画像特徴量の類似性を時系列に追跡し、前記画像特徴量の変化量が所定の閾値を超えた場合に、前記所定の閾値を超えた前記画像特徴量の画素位置、あるいはブロック内にブラーが発生したと判断してもよい。
【００２９】
また、前記撮影装置は、さらに、前記ブラーなし撮影画像を、一時的に格納する一時格納手段を備え、前記ブラー合成手段は、前記ブラー検出手段によってブラーが検出された場合、前記一時格納手段に格納されている前記ブラーなし撮影画像に対して擬似ブラーを合成することにより、前記ブラー合成画像を生成してもよい。
【００３０】
また、前記撮影装置は、さらに、ブラー補正を行うか否かの選択を受け付ける指示受付手段を備え、前記ブラー補正手段は、前記指示受付手段によってブラー補正を行うことが受け付けられた場合にのみ、前記ブラーあり撮影画像のブラーを補正してもよい。これによって、撮影者がブラー補正の処理を無効にすることができ、より幅の広い映像表現を可能にすることができる。
【００３１】
また、前記指示受付手段は、さらに、ブラー補正を行う領域を受け付け、前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行う領域に対してのみ、前記ブラーあり撮影画像のブラーを補正してもよい。また、前記指示受付手段は、さらに、ブラー補正を行わない領域を受け付け、前記ブラー補正手段は、前記指示受付手段によって受け付けられたブラーの補正を行わない領域に対しては、前記ブラーあり撮影画像のブラーを補正しないでもよい。これによって、撮影者が選択した領域に対してだけブラー補正の処理を行うことができる。
【００３２】
また、前記ブラー検出手段は、前記ブラーあり撮影画像内のブラー検出頻度を算出するブラー検出頻度算出部と、ブラーを補正するための画像特徴量の置き換えを、前記ブラーあり撮影画像の全体について実行するか部分的に実行するかを前記ブラー検出頻度の閾値比較で判断する閾値比較部と、前記閾値比較部の判断結果に基づいて、画像特徴量の置換単位を前記ブラー検出情報に付加するブラー検出情報生成部とを備え、前記ブラー検出情報が前記撮影画像の全体での画像特徴量の置き換えを指定した場合には、画像特徴量の置き換えを実行する代わりに、前記ブラーなし撮影画像で前記ブラーあり撮影画像の全体を置き換えることでブラーを補正してもよい。これによって、例えば前記ブラー検出頻度が高い場合には、画素単位、あるいはブロック単位の画像特徴量の置換より高速に処理ができ、かつ画像特徴量置換によるアーティファクトの影響を受けにくい画像全体の置換によって、ブラー補正を行うことができる。
【００３３】
また、前記撮影装置は、さらに、撮影画角を規定するズーム倍率を設定するズーム設定部を備え、前記閾値比較部は、前記ブラー検出頻度を前記ズーム設定部で設定したズーム倍率に応じて調整した閾値と比較することにより前記判断を行ってもよい。これによって、ブラー発生の可能性が高まる高倍率ズーム撮影時に前記閾値を下げて画像全体の置換が実行されやすくすることで、処理負荷を低減し、アーティファクトの少ない高画質のブラー除去画像を生成できる。
【００３４】
以下、本発明の各実施の形態について、それぞれ図面を参照して詳細に説明する。
【００３５】
（実施の形態１）
本実施の形態では、ブラーあり画像の画像特徴量をブラーなし画像の画像特徴量に置き換えてブラーを除去する撮影装置について説明する。
【００３６】
図１は、本発明の実施の形態１に係る撮影装置１００の構成を示すブロック図である。図２は、本発明の実施の形態１に係る撮影装置１００が適用される具体的な装置例を示す図である。
【００３７】
撮影装置１００は、被写体１０１を動画像として撮影し、ブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、図１に示すように撮像センサ部１０３、第１画像特徴量変換部１０４、ブラー検出部１０５、ブラーなし撮影画像一時メモリ部１０６、ブラー合成部１０７、第２画像特徴量変換部１０８、第３画像特徴量変換部１０９、ブラー除去用画像特徴量置換テーブル部１１０、ブラー合成画像特徴量格納部１１１、ブラーなし画像特徴量格納部１１２、最近傍画像特徴量検出部１１３、画像ぶれ補正部１１４、出力部１１５、および撮影画像表示部１１６を備えている。この撮影装置１００は、例えば、図２（ａ）に示すような動画撮影機能が付いたデジタルスチルカメラ、図２（ｂ）に示すようなビデオムービーカメラ等に適用することができる。
【００３８】
出力画像１０２は、例えば、撮影装置１００に接続されたディスプレイ装置４０に映し出される。あるいは、出力画像１０２は、撮影装置１００に接続されたビデオ記録装置５０に記録される。
【００３９】
撮像センサ部１０３は、被写体１０１を撮影し、撮影した画像を入力画像１１７として出力する。
【００４０】
第１画像特徴量変換部１０４は、入力画像１１７を画像特徴量に変換し、入力画像特徴量１１８として出力する。画像特徴量は、注目画素とその周辺画素の輝度値の違いを反映した特性値であり、例えばウェーブレット変換を用いて算出する。
【００４１】
図３は、ウェーブレット変換による多重解像度表現から画像特徴ベクトル（ｗ1，ｗ2，…，ｗp）を生成する方法の一例を示す図であり、図４は、ウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨを説明する図である。
【００４２】
図３に示すウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨ、ＬＬとは、ハール型のマザーウェーブレットを用いた場合の例である。図４（ａ）に示すように、出力ＨＬは処理対象の画素９６０とこの画素９６０の右隣接画素９６１との差分値、出力ＬＨは処理対象の画素９６０とこの画素９６０の下隣接画素９６２との差分値、出力ＨＨは画素９６０とこの画素９６０の斜下隣接画素９６３との差分値、出力ＬＬは処理対象の画素９６０とこの画素９６０の右、下、斜下の３つの画素との合計４つの画素の平均値である。図４（ａ）はスケール１に相当し、図４（ｂ）はスケール２に相当する。スケール２では、スケール１における４画素の平均値である出力ＬＬが差分値の計算対象になり、スケール２における出力ＨＬはブロック９６４とブロック９６５との差分値、スケール２における出力ＬＨはブロック９６４とブロック９６６との差分値、スケール２における出力ＨＨはブロック９６４とブロック９６７との差分値となる。また、スケール２における出力ＬＬはブロック９６４からブロック９６７の平均値となる。
【００４３】
図５は、スケールレベルｎ＝２を例にとって、画像特徴量を画素ごとに算出する方法を説明する図である。図５（ａ）は、画素９７０の画像特徴量（ｗ1，ｗ2，…，ｗ7）1,1を算出する方法であり、ブロック９７１内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。同様に、図５（ｂ）は、画素９７２の画像特徴量（ｗ1，ｗ2，…，ｗ7）1,2を算出する方法であり、ブロック９７３内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。図５（ｃ）は、画素９７４の画像特徴量（ｗ1，ｗ2，…，ｗ7）1,3を算出する方法であり、ブロック９７５内の１６画素がウェーブレット変換で参照されて、７次元の画像特徴量が算出される。以上のように、ウェーブレット変換で参照されるブロックが、１画素ごとに移動することで、画素ごとに画像特徴量が算出される。
【００４４】
同様に、スケールレベルｎ＝３の場合には、画素ごとに、１０個のウェーブレット係数が算出され、これらを要素とする１０次元の画像特徴ベクトル（ｗ1，ｗ2，…，ｗ10）を定義することができる。
【００４５】
なお、本発明は、画像特徴量の生成方法に制限を与えるものではなく、画像特徴量は任意の方式で生成できる。たとえば、図５（ａ）のブロック９７１に含まれる２５画素の輝度値列を画像特徴ベクトルとしても構わない。また、図５のブロック９７１、ブロック９７３、ブロック９７５の空間的関係も任意であり、各ブロックの重なりは、たとえば１画素分でも、２画素分でも構わない。
【００４６】
図６は、ブラー除去の原理を説明する図であり、図６（ａ）は、時刻ｔ３と時刻ｔ４の間で発生したブラーを検出し、カメラ動きからブラーモデルを生成するまでの流れを示す図である。
【００４７】
ブラー検出は、時間的に連続する画像間で類似の画像特徴量ベクトルを追跡し、画像特徴ベクトルの距離変化が閾値ｔｆ（例えば５）を超えたらブラーが発生したと判断する。図６（ａ）に示す例では、画像Ｈ１の画素１２０と画像Ｈ２の画素１２１の画像特徴ベクトルの距離は２、画像Ｈ２の画素１２１と画像Ｈ３の画素１２２の画像特徴ベクトルの距離は１である。ここでは、閾値ｔｆ＝５と設定したため、ブラーなしと判断される。ところが、画像Ｈ３の画素１２２と画像Ｂ４の画素１２３の画像特徴ベクトルの距離は３０であるので、ブラーが発生したと判断される。
【００４８】
ブラーモデル１２４は、時刻ｔ３から時刻ｔ４までの間におけるカメラ動きに基づき、ブラーの発生をモデル化したものである。図３８を用いて説明したように、ブラーは被写体上の１点（図３８のＡ点）が撮像素子の複数の画素（図３８の領域Ｂ）に入射するために発生する。従って、ブラーを有する画像Ｂ４は、画像Ｈ３をカメラ動きに従って積分すれば生成することができる。
【００４９】
図７は、カメラ動きに基づいたブラー生成方法を説明する図である。時刻ｔ３に撮影された画像９８０と時刻ｔ４に撮影された画像９８１の同じ位置にある画素９８２と画素９８３に着目する。時刻ｔ３と時刻ｔ４の間にカメラが動かなかった場合は、画素９８２と画素９８３に入射する光量に変化はなく、ブラーは発生しない。一方、時刻ｔ３から時刻ｔ４までの間に例えば画像９８１内に記した矢印９８４の方向と大きさにカメラ動きが発生したとすると、画素９８２と画素９８３とに入力する光量は異なる。そして、この入射光量の変化は連続的である。そこで、カメラ動きは等速であり、直線的である、と仮定するならば、図７に示すように、実際に撮影されていない中間的な画像である画像９８５や画像９８６などを計算によって作り出すことができる。図７では、計算によって８枚の中間的な画像を生成し、画像９８０と画像９８１を含め、合計１０枚の画像に離散化した例を示している。画素９８２と同じ位置にある画素９８７や画素９８８、画素９８３などの画素値Ｉ1，Ｉ2，Ｉ3，…，Ｉ10を加算し、１０で除算して、ブラー画像９８９の画素９９０の画素値を算出することができる。
【００５０】
なお、カメラは動かず、被写体が動いた場合にも、ブラーは発生する。しかし、本願が対象とするのは、カメラ動きによって生じるブラーであり、被写体の動きをモデル化するものではない。
【００５１】
図６（ｂ）は、ブラーあり撮影画像Ｂ４の画像特徴量をブラーなし撮影画像Ｈ１、Ｈ２、Ｈ３の何れかの画像特徴量に置き換えて、ブラー除去撮影画像ＨＭ４を生成する流れを示す図である。図６（ａ）で説明したブラーモデル１２４を用いて、ブラーなし撮影画像Ｈ１、Ｈ２、Ｈ３に対して擬似的にブラーを発生させて、ブラー合成画像ＢＭ１、ＢＭ２、ＢＭ３を生成する。ブラーあり撮影画像Ｂ４の画素１２５の画像特徴量とブラー合成画像ＢＭ１、ＢＭ２、ＢＭ３の画像特徴量を比較し、最も類似した最近傍画像特徴量を持つ画素を検出する。図６（ｂ）は、ブラー合成画像ＢＭ３の画素１２６が最も類似した最近傍画像特徴量を持つと検出された場合の例である。この場合、画素１２６と同一位置にあるブラーなし撮影画像Ｈ３の画素１２７が有する画像特徴量が、ブラーあり撮影画像Ｂ４の画素１２５の画像特徴量と置き換えられるブラー除去撮影画像ＨＭ４の画素１２８として決定される。
【００５２】
なお、本発明は、画像特徴量の選択方法に制限を与えず、任意の方法が適用できる。たとえば、所定の距離内に収まる複数の画像特徴量を一旦集め、これらの平均を取ってブラーなし撮影画像の画像特徴量としても構わない。
【００５３】
このように、本発明では、「ブラーあり撮影画像」の画像特徴量を、「ブラーあり撮影画像」の前に撮影されている「ブラーなし撮影画像」の画像特徴量に置き換えることによって、ブラーを除去している。
【００５４】
ブラー検出部１０５は、図６（ａ）を用いて説明したように、全画素に対して入力画像特徴量１１８を時系列に評価し、画像特徴ベクトルの距離変化が閾値ｔｆを超えたら、ブラーが発生したと判断し、ブラー検出情報１１９内のブラー有無情報をＯＮに切り替える。また、ブラー検出部１０５は、ブラーが発生した画素の位置を示す情報をブラー検出情報１１９内のブラー位置情報として出力する。さらに、ブラー検出部１０５は、ブラー検出後も引き続き、画像特徴ベクトルの変化を時系列に評価する。ブラーが発生している状況で、画像特徴ベクトルの距離変化が閾値ｔｆを超えない場合は、状況が変わっていないことを示しているため、ブラーが引き続き発生していることに相当する。ブラーが発生している状況で、再び閾値ｔｆを超える距離変化が発生したら、ブラーは消滅したことに相当する。この場合、ブラー検出部１０５は、ブラー検出情報１１９内のブラー有無情報をＯＦＦに切り替える。ブラー有無情報がＯＦＦの時には、ブラー検出部１０５は、ブラー検出情報１１９内のブラー位置情報は出力しない。ただし、ブラー発生時に、画像特徴ベクトルの距離変化が閾値ｔｆを超えるような、さらに大きなブラーが発生する場合があるため、画像特徴ベクトルの距離変化と成分変化を確認する必要がある。すなわち、ブラーが発生すると、撮像素子の１点に被写体上の複数箇所から光が入力するため、図３８（ｃ）の画像４６のように、画像特徴ベクトルの高周波成分が失われ、周波数分布は低域側にシフトする。図３で説明したウェーブレット変換であれば、スケールレベルの深い方向、すなわち、ｎ値が大きなスケールレベルへ成分がシフトする。そこで、画像特徴ベクトルの距離変化が閾値ｔｆを超え、かつ、画像特徴ベクトルの成分が低域にシフトした場合は、カメラがより大きく動き、さらに大きなブラーが発生している、と判断する。逆に、画像特徴ベクトルの距離変化が閾値ｔｆを超え、かつ、画像特徴ベクトルの成分が高域にシフトした場合は、ブラーが消滅した、と判断する。なお、周波数成分の変化は、画像特徴ベクトルの各成分の差分の大小から判断でき、図３のウェーブレット変換の場合は、スケールレベル１が最も周波数の高い成分であり、スケールレベル５までウェーブレット変換を行った場合は、スケールレベル５が最も周波数が低い成分である。
【００５５】
ブラー検出部１０５は、撮影装置１００を立ち上げた直後の初期設定では、ブラー検出情報１１９内のブラー有無情報をＯＦＦにリセットする。
【００５６】
なお、カメラ側に起因するブラー発生の可能性の大小は、シャッタースピードやカメラ姿勢の変化、オートフォーカス動作などから予測することができる。すなわち、シャッタースピードが遅くなれば、撮像センサ部１０３上の受光時間が長くなり、ブラー発生の可能性は高まる。逆に、シャッタースピードが早くなれば、撮像センサ部１０３上の受光時間が短くなり、ブラー発生の可能性は低くなる。また、カメラ姿勢の変化はブラー発生に直結する。オートフォーカス機能が撮影装置１００に実装されている場合は、オートフォーカスの動作を参照し、ピント合わせができていない場合は、ブラー発生と判断することも可能である。そこで、ブラー検出部１０５は、画像特徴ベクトルの距離変化を閾値判定するとともに、シャッタースピードや、カメラ動きの変化、オートフォーカス動作も加味して、統合的に判断すれば、ブラー検出精度を高める点で有効である。また、画像特徴ベクトルの距離変化の閾値判定を行わず、シャッタースピードや、カメラ動きの変化、オートフォーカス動作の少なくとも１つを用いてブラー発生を判断することも可能である。
【００５７】
ブラーなし撮影画像一時メモリ部１０６は、ブラー検出情報１１９内のブラー有無情報がＯＦＦの時に入力画像１１７をメモリに書き込み、ブラーが発生するまで一時的にブラーなし撮影画像を保持する。図６（ａ）に示す例の場合、ブラーなし撮影画像Ｈ１、Ｈ２、Ｈ３がブラーなし撮影画像一時メモリ部１０６に一時的に記録されている。撮影が進むに従って、撮影シーンが変化していくため、ブラー除去に活用できるブラーなし撮影画像の枚数は限られてくる。そこで、ブラーなし撮影画像一時メモリ部１０６は、例えば、３０枚分のメモリ容量を確保し、これを超えたら、最も古いブラーなし撮影画像から順に１枚ずつ上書きしながら書き込みを行う。ブラー検出情報１１９内のブラー有無情報がＯＮになった時、ブラーなし撮影画像一時メモリ部１０６は、記録しているブラーなし撮影画像１２９を順次読み出し、ブラー合成部１０７と第３画像特徴量変換部１０９とへ出力する。
【００５８】
ブラー合成部１０７は、ブラー検出情報１１９内のブラー有無情報がＯＮの時、図６（ａ）を用いて説明したブラーモデル１２４をカメラの動きに基づいて作成する。ここで、カメラ動きを検出する方法は、例えば、ジャイロ等を備えて検出してもよいし、撮影された画像から検出してもよい。そして、ブラー合成部１０７は、作成したブラーモデル１２４を使って、ブラーなし撮影画像１２９に対して擬似的にブラーを発生させて、ブラー合成画像１３０を生成する。
【００５９】
第２画像特徴量変換部１０８は、第１画像特徴量変換部１０４と同じ方式で、ブラー合成画像１３０を画像特徴量に変換して、ブラー合成画像特徴量１３１を出力する。
【００６０】
第３画像特徴量変換部１０９は、第１画像特徴量変換部１０４と同じ方式で、ブラーなし撮影画像１２９を画像特徴量に変換して、ブラーなし撮影画像特徴量１３２を出力する。
【００６１】
ブラー除去用画像特徴量置換テーブル部１１０は、ブラーを含む画像の画像特徴量をブラーのない画像の画像特徴量に置換するための置換対である。ブラー除去用画像特徴量置換テーブル部１１０の入力側がブラー合成画像特徴量格納部１１１であり、ブラー合成画像特徴量１３１が格納される。ブラー除去用画像特徴量置換テーブル部１１０の出力側がブラーなし画像特徴量格納部１１２であり、ブラーなし撮影画像特徴量１３２が格納される。すなわち、ブラー合成画像特徴量１３１とブラーなし撮影画像特徴量１３２は、例えば画像（フレーム）単位にそれぞれ同じ画素位置の画像特徴量が対応付けて格納されることになる。なお、ここでは画像単位に画像特徴量を格納しているが、これに限られるものではない。例えば、画像特徴量でソートした形式で格納し、それぞれを画素配置するように変換しても構わない。
【００６２】
最近傍画像特徴量検出部１１３は、ブラー除去用画像特徴量置換テーブル部１１０への画像特徴量の書き込み終了後、ブラー検出情報１１９内のブラー有無情報がＯＮの状態で動作し、入力画像特徴量１１８の画像特徴量に類似する画像特徴量をブラー合成画像特徴量格納部１１１の中から検出する。ここで、最近傍画像特徴量検出部１１３は、前記類似する画像特徴量として、入力画像特徴量１１８の画像特徴量に最も近い画像特徴量をブラー合成画像特徴量格納部１１１の中から検出してもよい。最も近いブラー合成画像特徴量が検出されたら、これと対を成すブラーなし撮影画像の画像特徴量をブラーなし画像特徴量格納部１１２から読み出し、ブラー除去画像特徴ベクトル画像１３３として出力する。
【００６３】
画像ぶれ補正部１１４は、ブラー検出情報１１９内のブラー有無情報がＯＦＦの時、入力画像特徴量１１８の画像ぶれを補正し、ブラー検出情報１１９内のブラー有無情報がＯＮの時、ブラー除去画像特徴ベクトル画像１３３の画像ぶれを補正し、画像ぶれ補正画像１３４として出力する。画像ぶれ補正部１１４は、出力画像１０２よりも広い画角で被写体を撮影して外枠領域を取得し、外枠領域で算出された動きベクトルの中から実際に静止している物体の画像中での動きのみを抽出してカメラ動きを算出する。入力画像１１７上で出力画像１０２に一致する領域（フレーミング領域）の位置を、カメラ動きを打ち消すように移動して画像ぶれを補正する。補正されたフレーミング領域で入力画像１１７から画像を切り出し、切り出した画像のサイズを出力画像のサイズに合わせて画像拡大を施して出力画像を得る。以上の構成によって、撮影者６０が撮影したい被写体１０１が動いていても、その被写体の周辺に存在する静止物体を外枠領域内に捉えることができ、従って、静止物体の動きベクトルを捉えることで安定した画像ぶれ補正が可能になる。以下、図８から図１６を用いて、画像ぶれ補正部１１４の詳細を説明する。
【００６４】
図８は、画像ぶれ補正部１１４の内部構成を示すブロック図である。
【００６５】
画像ぶれ補正部１１４は、図８に示すように動きベクトル算出部１４０、フレーミング領域設定部１４１、静止物体検出部１４２、カメラ動き算出部１４３、フレーミング領域補正部１４４、補正フレーミング領域切り出し部１４５、および出力画像サイズ調整部１４６を備えている。
【００６６】
動きベクトル算出部１４０は、入力画像（撮影画像）に含まれる全ての特徴点を検出し、その入力画像（撮影画像）と他の時刻の入力画像（撮影画像）との間での特徴点の動きを動きベクトル信号１４７として検出する。
【００６７】
図９は動きベクトル算出の一例を示す図である。
【００６８】
例えば、撮影画像は、時刻Ｔ１の撮影画像１５１から時刻Ｔ２の撮影画像１５２に変化する。ここで、画像１５０は、時刻ｔ１での撮影画像１５１と、時刻ｔ２での撮影画像１５２を重ね合わせたものである。動きベクトル算出部１４０は、この例では、画像特徴量の追跡によって検出された被写体の目の位置の特徴点１５５と特徴点１５７との違いから、動きベクトル１５３を算出する。また、動きベクトル算出部１４０は、肩の位置にある特徴点１５６と特徴点１５８との位置の違いから、動きベクトル１５４を算出する。なお、本発明において、動きベクトルの算出方法は任意であり、制限を与えるものではない。例えば、入力画像特徴量１１８の画像特徴量を用いず、入力画像１１７の輝度値を用いて特徴点を検出し、この特徴点を追跡することで動きベクトルを算出しても構わない。
【００６９】
図１０は、入力画像１１７内に設定されるフレーミング領域および外枠領域を示す図である。
【００７０】
フレーミング領域設定部１４１は、図１０に示すように、入力画像１１７内にフレーミング領域１６０と外枠領域１６１を設定する。フレーミング領域１６０は、図１０に示す点線の四角で囲まれた領域であって、後述する撮影画像表示部１１６に表示される画像の領域である。なお、撮影者６０は、表示されたフレーミング領域１６０に表示される画像を、撮影されている画像（画角）だと理解して、カメラ位置や向きを調整する。外枠領域１６１は、入力画像１１７におけるフレーミング領域１６０以外であり、後述するように、この領域で算出された動きベクトルを用いて画像ぶれを補正するために設定される。つまり、フレーミング領域設定部１４１は、フレーミング領域１６０を、例えば、点１６２と点１６３のｘ座標とｙ座標で定義し、これらの座標を示す情報をフレーミング領域設定信号１４８として出力する。
【００７１】
静止物体検出部１４２は、動きベクトル信号１４７の示す動きベクトルのうち、外枠領域１６１で算出された動きベクトルのみを使って静止物体を検出する。すなわち、静止物体検出部１４２は、入力画像１１７に含まれる全ての特徴点の動きベクトルの中から、外枠領域１６１の動きベクトルを抽出する。さらに、静止物体検出部１４２は、その外枠領域１６１の動きベクトルの中から、静止物体の動きベクトルと推定されるものだけを抽出する。一般に、広角撮影を行った場合、被写体の背景に静止物体が撮影されることが多い。したがって、上述のように外枠領域１６１のみを用いる理由は、被写体の動きを記録したいビデオカメラの撮影では、撮影者がフレーミングした領域（つまりフレーミング領域１６０）の周辺に被写体背景として静止物体が撮影される、という仮定に基づいている。
【００７２】
図１１は、フレーミング領域１６０および外枠領域１６１に表示される画像の例を示す図である。
【００７３】
図１１（ａ）と図１１（ｂ）に示すように、撮影者６０と静止物体７０が、一続きの地面や建物の床、壁等に接地している場合、撮影者６０が静止していれば、撮影者６０と静止物体７０や静止物体７３の位置関係は固定され、これらは入力画像１１７上で同じ位置に撮影される。また、地面や建物の床、壁などは、一般にテクスチャ（模様や光沢、微小な凹凸によって生じる陰影などの総称）を持ち、平らな地面や床面、壁面でも輝度の違いから特徴点を検出することができる。そこで、地面７１や、壁面７２も静止物体として利用でき、外枠領域１６１に静止物体を検出できる。一方、撮影者６０が持つ撮影装置１００の構えが動いた場合、静止物体７０や静止物体７３は入力画像１１７上で異なった位置に撮影され、その結果、図９を用いて説明したように、動きベクトルが発生する。これらの動きベクトルが画像ぶれの方向と大きさを表わし、これらの動きベクトルを利用して、図３４（ｃ）に示した要領で画像ぶれを補正できる。
【００７４】
図１２は、静止物体検出部１４２が静止物体（静止物体の動きベクトル）を検出する方法を説明するための図である。
【００７５】
例えば、時刻ｔ１から時刻ｔ２の経過の間に、被写体１０１は、被写体１０１から見て左前方へ移動する。画像１５０は、時刻ｔ１の入力画像９０１と、時刻ｔ２の入力画像９０２と、動きベクトルとを重ねて表示した画像である。静止物体の動きベクトルは、撮影装置１００の移動によって生じるため、すべて類似の方向と大きさを持つ。
【００７６】
ここで、撮影されるシーンの３次元の空間情報が撮像センサ部１０３の２次元面に投影されるため、撮影装置１００から遠い距離にある静止物体と近い距離にある静止物体では、動きベクトルの方向と大きさが完全に一致することはないが、概ね同じ傾向を示す。また、撮像センサ部１０３が有するレンズの周辺ひずみのために、画面中央と画面周辺で動きベクトルが異なる場合もある。そこで、静止物体検出部１４２は、動きベクトルの方向と大きさに許容範囲を設けて、外枠領域１６１の動きベクトルのうち、この許容範囲内に収まる動きベクトルを、静止物体の動きベクトルと解釈して、その動きベクトルの示す動きを撮影装置１００の画像ぶれとする。また、動きベクトルの始点と終点のどちらかがフレーミング領域１６０内に存在する場合があるが、フレーミング領域１６０の中にも静止物体（図１２に示す静止物体７０と静止物体７４）が撮影される場合がある。したがって、静止物体検出部１４２は、動きベクトルの始点あるいは終点が外枠領域１６１に存在すれば、その動きベクトルが外枠領域１６１の動きベクトルに属すると判断する。
【００７７】
図１３は、外枠領域１６１の動きベクトルを示す図である。
【００７８】
静止物体検出部１４２は、図１３の実線の矢印に示す動きベクトルを、外枠領域１６１の動きベクトルとして抽出する。つまり、静止物体検出部１４２は、外枠領域１６１内に少なくとも始点、あるいは終点を有する動きベクトルのみを抽出する。そして、静止物体検出部１４２は、その抽出した動きベクトルの平均ベクトルを求め、許容範囲として平均ベクトルとの距離（距離閾値ｔｖ）を設定し、距離閾値ｔｖよりも平均ベクトルとの距離が小さい動きベクトルを静止物体の動きベクトルとして検出する。すなわち、動き検出手段たる動きベクトル算出部１４０および静止物体検出部１４２は、上述の外側の領域において複数の動きベクトルを検出するとともに、検出された複数の動きベクトルの中から、その複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出している。
【００７９】
ところで、外枠領域１６１に静止物体を撮影できないケースがある。
【００８０】
図１４は、静止物体を撮影できないケースを示す図である。
【００８１】
例えば、図１４（ａ）に示すように、撮影装置１００と被写体１０１の距離が非常に近い場合や、図１４（ｂ）に示すように、撮影者６０が移動手段８０に載って移動している場合には、静止物体を撮影することができない。いずれの場合も、画面全体で動きが観察されるような状態であり、動きを感じる映像であることが自然な状況である。
【００８２】
従って、静止物体検出部１４２は、入力画像１１７に基づいて、静止物体を撮影しているか否かを判別し、静止物体を撮影していると判別したときには、上述のように静止物体の動きベクトルを検出する。一方、静止物体検出部１４２は、静止物体を撮影していないと判別したときには、静止物体の動きベクトルの検出を行わず、画像ぶれ補正が行われないような補正中断処理を実行する。この場合、撮影装置１００は、入力画像１１７をそのまま出力画像１０２として出力する。
【００８３】
例えば、静止物体検出部１４２は、外枠領域１６１の動きベクトルと、フレーミング領域１６０の動きベクトルとがそれぞれ略等しい大きさおよび向きを有する場合に、静止物体を撮影していないと判別する。または、静止物体検出部１４２は、外枠領域１６１の動きベクトルのばらつきが非常に大きい場合に、静止物体を撮影していないと判別する。
【００８４】
以上より、静止物体検出部１４２は、静止物体を撮影していると判別したときには、外枠領域１６１に属する動きベクトルをもとに静止物体（静止物体の動きベクトル）を検出し、検出された１つまたは複数の動きベクトルを静止物体動きベクトル信号１４９として出力する。一方、静止物体を撮影していないと判別したときには、静止物体検出部１４２は、静止物体の動きベクトルの検出を行わず、補正中断処理として、静止物体なしを示す静止物体動きベクトル信号１４９を出力する。たとえば、静止物体検出部１４２は、静止物体なしを示す静止物体動きベクトル信号１４９として、すべての成分が０の動きベクトルを示す静止物体動きベクトル信号１４９や、動きベクトルの大きさの最大値（具体的には、画像の対角の長さ）よりも明らかに大きな値をすべての成分に有する動きベクトルを示す静止物体動きベクトル信号１４９を出力する。
【００８５】
後述するカメラ動き算出部１４４は、静止物体なしを示す静止物体動きベクトル信号１４９を受けた場合は、カメラ動きを算出する動作を停止する。その結果、フレーミング領域補正部１４４の動作も停止され、補正フレーミング領域切り出し部１４５は、撮像センサ部１０３から取得した入力画像１１７をそのまま出力する。
【００８６】
このように、撮影された状況に応じて画像ぶれ補正機能が停止され、画面全体で動きが観察されるような映像や、動きを感じる映像を出力することができる。
【００８７】
カメラ動き算出部１４４は、静止物体検出部１４２から取得した静止物体動きベクトル信号１４９からカメラ動き信号９０を算出する。上述したように、静止物体動きベクトル信号１４９は、方向と大きさが許容範囲内で異なる複数の動きベクトルを有する。そこで、カメラ動き算出部１４３は、これらの単純な平均や頻度分布による加重平均などで１本の動きベクトルに変換し、この動きベクトルと逆方向で同じ大きさの動きベクトル（カメラ動き）をカメラ動き信号９０として出力する。
【００８８】
フレーミング領域補正部１４４は、カメラ動き算出部１４３から取得したカメラ動き信号９０を使って、画像ぶれを相殺する位置にフレーミング領域を補正する。補正の要領は図３４を用いて説明した処理と同じである。すなわち、カメラ動き信号９０は、図３４（ｂ）のカメラ動き１４と同様の動きを示す。そこで、フレーミング領域補正部１４４は、フレーミング領域設定部１４１からフレーミング領域設定信号１４８を取得すると、そのフレーミング領域設定信号１４８の示すフレーミング領域１６０の座標（図１０に示す点１６２，１６３の座標）を、カメラ動き信号９０の示す動きベクトルと逆方向で同じ長さのカメラ動き補正ベクトルだけ移動させる。そして、フレーミング領域補正部１４４は、座標を移動することによって補正されたフレーミング領域の位置を示す情報を、補正フレーミング領域信号９１として出力する。
【００８９】
補正フレーミング領域切り出し部１４５は、撮像センサ部１０３から入力画像１１７を取得して、フレーミング領域補正部１４４から補正フレーミング領域信号９１を取得する。そして、補正フレーミング領域切り出し部１４５は、入力画像１１７から、補正フレーミング領域信号９１の示す、画像ぶれが補正されたフレーミング領域を切り出し、その切り出した画像を画像ぶれ補正フレーミング画像９２として出力する。
【００９０】
出力画像サイズ調整部１４６は、補正フレーミング領域切り出し部１４５から画像ぶれ補正フレーミング画像９２を取得し、その画像サイズ（水平画素数とライン数）を、ディスプレイ装置４０に表示される画像のサイズまたはビデオ記録装置５０に記録される画像のサイズ、つまり上述の目的とする出力画像１０２のサイズに合うように変換する。そして、出力画像サイズ調整部１４６は、画像サイズが変換された画像ぶれ補正フレーミング画像９２を画像ぶれ補正画像１３４として出力する。
【００９１】
なお、フレーミング領域設定部１４１によって、画像ぶれ補正フレーミング画像９２の水平画素数とライン数が、目的とする画像ぶれ補正画像１３４のそれと一致するように設計されている場合は、出力画像サイズ調整部１４６は、画像サイズを変換する必要はなく、画像ぶれ補正フレーミング画像９２をそのまま画像ぶれ補正画像１３４として出力する。
【００９２】
また、画像ぶれ補正フレーミング画像９２の水平画素数とライン数が、目的とする画像ぶれ補正画像１３４のそれより大きい場合は、出力画像サイズ調整部１４６は、縮小処理を行う。たとえば、画像ぶれ補正フレーミング画像９２のサイズが７２０画素×４８０ラインで、目的とする画像ぶれ補正画像１３４のサイズが３６０画素×２４０ラインの場合、出力画像サイズ調整部１４６は、水平画素数とライン数ともに１／２に縮小する。縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。
【００９３】
一方、画像ぶれ補正フレーミング画像９２の水平画素数とライン数が、目的とする画像ぶれ補正画像１３４のそれより小さい場合は、出力画像サイズ調整部１４６は、拡大処理を行う。例えば、画像ぶれ補正フレーミング画像９２のサイズが７２０画素×４８０ラインで、目的とする画像ぶれ補正画像１３４のサイズが２１６０画素×１４４０ラインの場合、出力画像サイズ調整部１４６は、水平画素数とライン数ともに３倍に拡大する。拡大処理には、バイリニア補間やバイキュービック補間などによる再サンプリングがあるが、補間処理では高周波成分を作り出すことが困難であり、通常、ボケを感じる鮮鋭度の低い画像となる。また、この傾向は、拡大率が多くなるほど強まり、フレーミング領域１６０が入力画像１１７よりも小さければ小さいほど、画像ぶれ補正画像１３４の画質は劣化する。
【００９４】
そこで、本発明では、出力画像サイズ調整部１４６は、拡大処理を行うときには、すでに撮影された過去の画像から画像ぶれ補正画像１３４を構成する。すなわち、出力画像サイズ調整部１４６は、過去に撮影された画像を画像拡大用のデータベースとして用い、画像ぶれ補正画像１３４をそのデータベースから参照した画像データで構成する。
【００９５】
図１５は、拡大処理を行う出力画像サイズ調整部１４６の内部構成例を示すブロック図である。この出力画像サイズ調整部１４６は、画像拡大用データベース１７１を参照して、画像ぶれ補正フレーミング画像９２を拡大するものであって、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５とから成る。また、画像拡大用データベース１７１は、リソースデータ部１７２と、低解像度リソースデータ部１７４とを備えている。
【００９６】
この出力画像サイズ調整部１４６は、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。
【００９７】
まず、出力画像サイズ調整部１４６による画像拡大用データベース１７１のリソースの構築について説明する。
【００９８】
リソースデータ部１７２は、過去に撮影した画像を画像拡大用のリソースとして保持する。従って、リソースデータ部１７２は、補正フレーミング領域切り出し部１４５から出力される画像ぶれ補正フレーミング画像９２を取得し、画像拡大用のリソースとして保持する。
【００９９】
低解像度化部１７３は、目的とする画像ぶれ補正画像１３４に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、リソースデータ部１７２が持つ画像拡大用のリソースを低解像度化する。撮像センサ部１０３の低解像度化モデルでは、予め、複数のサンプルを用いて低解像度画像と高解像度画像を撮影して画像縮小用のデータベースを作成したり、複数のサンプルから解析的に低解像度化関数を導出する。あるいは、画像拡大用のリソースにローパスフィルタとサブサンプリングを施すことを低解像度化モデルとする。
【０１００】
低解像度化部１７３は、低解像度化されたリソースを低解像度リソースデータ部１７４に格納する。このとき、低解像度化部１７３は、リソースデータ部１７２の画像拡大用のリソース（過去に撮影された高解像度の画像）と、そのリソースを低解像度化して生成されたリソース（低解像度の画像）とを対応付けておく。したがって、画像拡大用データベース１７１を利用すれば、低解像度の画像を高解像度の画像に置き換えることができる。なお、リソースデータ部１７２および低解像度リソースデータ部１７４は、低解像度と高解像度の画像を、ピクチャ単位や、ピクチャを構成するブロック単位で格納していてもよい。
【０１０１】
次に、出力画像サイズ調整部１４６による拡大処理について説明する。
【０１０２】
類似データ検出部１７５は、補正フレーミング領域切り出し部１４５から画像ぶれ補正フレーミング画像９２を取得する。そして、類似データ検出部１７５は、低解像度リソースデータ部１７４を参照して、画像ぶれ補正フレーミング画像９２との類似性が最も高い低解像度リソース（画像）を検出する。そして、類似データ検出部１７５は、検出された低解像度リソースに対応付けられている元のリソース（高解像度の画像）をリソースデータ部１７２から見つけ出す。類似データ検出部１７５は、その見つけ出したリソースを画像ぶれ補正画像１３４とし、リソースデータ部１７２から出力させる。
【０１０３】
なお、類似データ検出部１７５で用いられる類似性の尺度は任意であるが、たとえば空間周波数特性の類似性を用いてもよい。つまり、リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに格納されるデータは、画像データそのものではなく、例えば、図３を用いて説明したウェーブレット変換による画像特徴ベクトルであってもよい。ウェーブレット変換による画像特徴ベクトルを用いると、上記のように、例えばスケールｎ＝３の場合には、１０個のウェーブレット係数が算出され、これらを要素とする１０次元の画像特徴ベクトル（ｗ1，ｗ2，…，ｗ10）を定義することができる。この場合、類似性の大小は、１０次元の画像特徴空間での画像特徴ベクトルの距離の大小になり、画像ぶれ補正フレーミング画像９２の画像特徴ベクトルに最も近い低解像度リソースデータの画像特徴量ベクトルが検出される。
【０１０４】
このような空間周波数特性の類似性を用いる場合は、各画像データを空間周波数データに変換する必要がある。
【０１０５】
図１６は、出力画像サイズ調整部１４６の内部構成例を示すブロック図である。
【０１０６】
出力画像サイズ調整部１４６は、第１の画像特徴ベクトル算出部１７６と、第２の画像特徴ベクトル算出部１７９と、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５と、出力画像算出部１８１とを備えている。
【０１０７】
この出力画像サイズ調整部１４６は、上述と同様、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。
【０１０８】
まず、画像拡大用データベース１７１のリソースが構築されている状態で、出力画像サイズ調整部１４６が拡大処理を行うときの処理について説明する。
【０１０９】
リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに、高解像度の画像を示す画像特徴ベクトルと、その画像に対応する低解像度の画像を示す画像特徴ベクトルとが対応付けて格納されている。
【０１１０】
第１の画像特徴ベクトル算出部１７６は、出力画像サイズ調整部１４６が拡大処理を行うときには、補正フレーミング領域切り出し部１４５から出力された画像ぶれ補正フレーミング画像９２を取得し、その画像ぶれ補正フレーミング画像９２を画像特徴ベクトル１７７に変換して類似データ検出部１７５に出力する。ここで、第１の画像特徴ベクトル算出部１７６は、例えば、図３に示す要領で画像特徴ベクトルを算出する。
【０１１１】
類似データ検出部１７５は、画像ぶれ補正フレーミング画像１１８の画像特徴ベクトル１７７に最も近い画像特徴ベクトルを低解像度リソースデータ部１７４から見つけ出す。そして、類似データ検出部１７５は、その見つけ出した低解像度の画像特徴ベクトルに対応付けられた高解像度の画像特徴ベクトルをリソースデータ部１７２から出力させる。
【０１１２】
すなわち、上述の類似データ検索手段たる類似データ検出部１７５は、切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する。
【０１１３】
出力画像算出部１８１は、リソースデータ部１７２から出力された高解像度の画像特徴ベクトルに対して、第１の画像特徴ベクトル算出部１７６で行われたウェーブレット変換の逆変換を行うことによって、出力画像特徴ベクトル１８０を画像ぶれ補正画像１３４に変換して出力する。
【０１１４】
一方、出力画像サイズ調整部１４６が画像拡大用データベース１７１のリソースを構築するときには、第１の画像特徴ベクトル算出部１７６は、画像ぶれ補正フレーミング画像９２に対応する高解像度の画像特徴ベクトル１７７を算出して画像拡大用データベース１７１のリソースデータ部１７２に格納する。このように格納された画像特徴ベクトル１７７は、拡大画像の画像特徴量として参照される。
【０１１５】
低解像度化部１７３は、第１の画像特徴ベクトル算出部１７６で算出された画像特徴ベクトル１７７に対応する画像ぶれ補正フレーミング画像９２を取得する。そして、低解像度化部１７３は、目的とする画像ぶれ補正画像１３４に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、画像ぶれ補正フレーミング画像９２を低解像度化して、低解像度化画像ぶれ補正フレーミング画像１７８を出力する。
【０１１６】
第２の画像特徴ベクトル算出部１７９は、低解像度化画像ぶれ補正フレーミング画像１７８の画像特徴ベクトルを算出し、低解像度リソースデータ部１７４に格納する。第２の画像特徴ベクトル算出部１７９の画像特徴ベクトルの算出方法は、第１の画像特徴ベクトル算出部１７６と同一であり、その結果、リソースデータ部１７２との互換性が確保されている。
【０１１７】
このように出力画像サイズ調整部１４６が構成されているため、類似データ検出部１７５は、画像ぶれ補正フレーミング画像９２と最も類似度の高い低解像度のリソースを画像特徴量ベクトル空間で検出することができる。そして、検出された低解像度のリソースを生成するための元とされた高解像度のリソースをリソースデータ部１７２から参照し、出力画像特徴ベクトル１８０として出力することができる。
【０１１８】
なお、類似データ検出部１７５の処理高速化のために、図３に示すスケールｎのＬＬ成分などを用いて、参照範囲を一旦絞り込み、絞り込んだ範囲内で画像特徴ベクトルの距離比較を行う方法は有効である。
【０１１９】
出力部１１５は、ディスプレイ装置４０やビデオ記録装置５０と同一のインターフェースを有し、出力画像１０２をディスプレイ装置４０やビデオ記録装置５０へ出力する。なお、ディスプレイ装置４０やビデオ記録装置５０は外部ビデオ機器の一例であり、本発明は外部ビデオ機器に制限を与えるものではない。
【０１２０】
撮影画像表示部１１６は、画像ぶれ補正フレーミング画像９２を撮影者６０に表示する。撮影者６０は、撮影画像表示部１１６に表示された画像ぶれ補正フレーミング画像９２を見ることで、撮影画角を目視確認できる。通常、撮影装置１００の大きさから、撮影画像表示部１１６に用いられるディスプレイパネルの対角の長さは、３インチ前後であり、水平画素数は３２０画素、ライン数は２４０ライン程度である。従って、ディスプレイパネルの水平画素数とライン数は、撮像センサ部１０３のそれよりも小さい場合が多く、撮影画像表示部１１６での画像サイズ変換は実質、縮小処理になる。画像の縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。
【０１２１】
図１７は、撮影装置１００の各構成要素の動作タイミングを示す図である。
【０１２２】
撮影装置１００を構成するすべての要素は、電源投入の立ち上げ後、ただちに初期化が行われる。ブラー検出部１０５が出力するブラー検出情報１１９内のブラー有無情報は、初期化によって、ＯＦＦ（ブラーなし）にリセットされる。
【０１２３】
時刻ｔ１のタイミングで撮影が開始され、撮像センサ部１０３が画像０１を撮影する。画像０１はブラーなし撮影画像一時メモリ部１０６に書き込まれ（期間０１）、同時に、第１画像特徴量変換部１０４で画像特徴量に変換される（期間０２）。第１画像特徴量変換部１０４の画像特徴量はブラー検出部１０５へ入力され、ブラー検出処理が行われる（期間０３）。期間０３ではブラーが検出されないとすると、ブラー検出情報１１９内のブラー有無情報はＯＦＦのままで、ブラー除去に関連する部分は動作しない。画像０１は画像ぶれ補正部１１４へ入力され、画像ぶれ補正画像１３４が生成されて、出力部１１５の動作まで待機する。出力部１１５は、期間０４のタイミングで画像ぶれ補正画像１３４を出力画像１０２として外部へ出力する。
【０１２４】
引き続き、時刻ｔ２のタイミングで撮影が開始され、時刻ｔ１と同じくブラー発生は検出されず、期間０１から期間０４と同じ動作が行われる。
【０１２５】
次に、時刻ｔ１０を一例として、ブラー発生時の動作タイミングを説明する。
【０１２６】
撮像センサ部１０３が画像１０を撮影する。画像１０はブラーなし撮影画像一時メモリ部１０６に書き込まれ（期間１１）、同時に、第１画像特徴量変換部１０４で画像特徴量に変換される（期間１２）。第１画像特徴量変換部１０４の画像特徴量はブラー検出部１０５へ入力され、ブラー検出処理が行われる（期間１３）。期間１３ではブラーが検出されるとすると、ブラー検出情報１１９内のブラー有無情報がＯＮに切り替わる（期間１４）。ブラー検出情報１１９内のブラー有無情報がＯＮになると、ブラーなし撮影画像一時メモリ部１０６は書き込みモードから読み出しモードに切り替わり、ブラーなし撮影画像１２９が読み出され、ブラー合成部１０７と第３画像特徴量変換部１０９とへ出力される（期間１５）。ブラー合成部１０７は、ブラーなし撮影画像１２９を取得次第、ブラー合成の動作を開始し（期間１６）、合成完了次第、逐次、ブラー合成画像１３０を第２画像特徴量変換部１０８に出力する。第２画像特徴量変換部１０８は、ブラー合成画像特徴量１３１を算出次第（期間１７）、ブラー合成画像特徴量格納部１１１に書き込む（期間１８）。第３画像特徴量変換部１０９も同様に、ブラーなし撮影画像特徴量１３２を算出次第（期間１９）、ブラーなし画像特徴量格納部１１２に書き込む。ブラー除去用画像特徴量置換テーブル部１１０への書き込みが完了する（期間１８が終了）と、読込みモードに切り替わり（期間２０）、最近傍画像特徴量検出部１１３が最近傍画像特徴量を探し始める（期間２１）。最近傍画像特徴量が検出され、ブラー除去用画像特徴量置換テーブル部１１０からブラー除去画像特徴ベクトル画像１３３が出力されると、画像ぶれ補正部１１４はブラー除去画像特徴ベクトル画像１３３の画像ぶれを補正し、画像ぶれ補正画像１３４を出力する（期間２２）。出力部１１５は、期間２３のタイミングで画像ぶれ補正画像１３４を出力画像１０２として外部へ出力する。
【０１２７】
引き続き、時刻ｔ１１のタイミングで撮像センサ部１０３が画像１１を撮影するが、図１７に示す例では、ブラー発生は時刻ｔ１９まで続き、ブラー検出情報１１９内のブラー有無情報はＯＮの状態が続く。
【０１２８】
時刻ｔ２０で撮影された画像２０ではブラーが発生せず、期間３０でブラーなしと判断され、ブラー検出情報１１９内のブラー有無情報はＯＦＦに切り替わる（期間３１）。
【０１２９】
図１８は、撮影装置１００の動作を示すフローチャートである。
【０１３０】
まず、撮影装置１００は、以下に順次説明する２つの初期設定を行う（ステップＳ１００）。初期設定の１つめは、ブラー評価用閾値ｔｆの設定である。ブラー検出部１０５は、画像特徴量ベクトルの距離変化を時系列に追跡し、この距離変化量がブラー評価用閾値ｔｆを超えたら「ブラーあり」、超えなければ「ブラーなし」と判定する。
【０１３１】
初期設定の２つめは、画像ぶれ補正部１１４の動作に関する設定である。画像ぶれ補正部１１４の設定は以下の２つから成る。
【０１３２】
画像ぶれ補正部１１４の設定の１つめは、静止物体の動きベクトルを検出する際の動きベクトルの類似度（許容範囲）の設定である。動きベクトルは、図１２で説明したように、時刻ｔ１と時刻ｔ２における同一画素値の特徴点の動きとして求められる。しかし、実際には、カメラノイズや照明の変化、被写体反射率の非等方性など、様々な原因で同一の特徴点であっても画素値が変化することがある。したがって、図１９（ａ）の実線の矢印で示すように、静止物体の動きベクトルであっても、様々な方向や大きさを持つ。そこで、静止物体検出部１４２は、外枠領域１６１の動きベクトルの中から、類似の動きベクトルを外枠領域から集め、例えば、カメラ動き算出部１４３がそれらの平均をもってカメラ動きとするなどの処理が必要になる。
【０１３３】
具体的には、静止物体検出部１４２は、図１９（ｂ）に示すように、動きベクトルの方向と、その方向の動きベクトルの頻度との関係を示すヒストグラムを作成する。そして、静止物体検出部１４２は、動きベクトルを最大頻度から順に累積し、例えば全体頻度の５０％までを類似ベクトル（静止物体の動きベクトル）の候補として、その他を切り捨てる。さらに、静止物体検出部１４２は、類似ベクトル候補の大きさの平均値と分散を算出し、例えば分散の７５％以内に入るベクトルを抽出し、これを最終結果として、静止物体の動きベクトルとする。この場合、静止物体検出部１４２は、初期設定として、ヒストグラムの横軸を決めるために必要な動きベクトルの方向に対するピッチと、類似ベクトル候補を決めるために必要な累積頻度に対する割合と、類似ベクトル候補から最終結果を抽出するために必要になる分散値とを設定する。
【０１３４】
なお、以上は一例であり、本発明は静止物体の動きベクトルの検出方法に制限を与えるものではない。また、静止物体の動きベクトルにおける類似度の設定は、静止物体検出部１４２が有するメモリからデータを読み出すことで実行される。
【０１３５】
画像ぶれ補正部１１４の設定の２つめは、フレーミング領域の設定であり、例えば、入力画像１１７の水平画素数とライン数に対する所定の割合でフレーミング領域を設定する。入力画像１１７の水平画素数を１０８０画素、ライン数を７２０ラインとし、フレーミング領域の割合を７５％とした場合、フレーミング領域の水平画素数は８１０画素、ライン数は５４０ラインとなる。フレーミング領域の位置は、図１０に示したように、フレーミング領域１６０の中心が入力画像１１７の中心と一致するように決められる。フレーミング領域の設定は、画像ぶれ補正部１１４の内部構成であるフレーミング領域設定部１４１で行われる。なお、以上は一例であり、本発明はフレーミング領域の設定方法を制限するものではない。たとえば、フレーミング領域の入力画像に対する水平画素数とライン数の割合を個別に設定しても構わない。フレーミング領域の設定は、フレーミング領域設定部１４１が有するメモリから読み出すことで実行される。
【０１３６】
ステップＳ１００の初期設定に引き続き、撮像センサ部１０３は被写体１０１を撮影して入力画像１１７を出力する（ステップＳ１０１）。第１画像特徴量変換部１０４は、入力画像１１７を画像特徴量に変換し、入力画像特徴量１１８を出力する（ステップＳ１０２）。ブラー検出部１０５はブラーの有無を検出する（ステップＳ１０３）。この結果、ブラーが検出された場合（ステップＳ１０３でブラーあり）、ブラー合成部１０７は、ブラーなし撮影画像１２９に対して、ブラー合成を行い、ブラー合成画像１３０を生成する（ステップＳ１０４）。最近傍画像特徴量検出部１１３は、ブラー除去用画像特徴量置換テーブル部１１０を参照してブラー除去画像特徴ベクトル画像１３３を取得する（ステップＳ１０５）。画像ぶれ補正部１１４は、ブラー除去画像特徴ベクトル画像１３３の画像ぶれを補正し、画像ぶれ補正画像１３４として出力する（ステップＳ１０６）。
【０１３７】
一方、ブラーが検出されなかった場合（ステップＳ１０３でブラーなし）、入力画像１１７はブラーなし撮影画像一時メモリ部１０６に書き込まれる（ステップＳ１０７）。入力画像特徴量１１８が画像ぶれ補正部１１４に入力される（ステップＳ１０８）。画像ぶれ補正部１１４は、入力画像特徴量１１８の画像ぶれを補正し、画像ぶれ補正画像１３４として出力する（ステップＳ１０９）。
【０１３８】
出力部１１５は、画像ぶれ補正画像１３４を出力画像１０２として出力する（ステップＳ１１０）。
【０１３９】
ところで、カメラの３次元的な動きは、回転動きと並進動きに分解できる。上述したフレーミング領域の大きさを固定し、フレーミング領域の位置を変更して画像ぶれを補正する方法は、主に回転動きによって発生する画像ぶれを補正する。一方、並進動きによって発生する画像ぶれは、フレーミング領域の大きさを変更することで補正される。そこで、回転動きと並進動きを統合的に捉えた場合には、カメラ動き算出部１４３およびフレーミング領域補正部１４４は、３次元のアフィン変換を行い、カメラの回転動きと並進動きを統合的に検出して、フレーミング領域の位置および大きさを変更しても構わない。このような統合的な検出をすることは、３次元のアフィン変換行列の係数を複数の動きベクトルで最小二乗近似することに相当する。以上のように、統合的な３次元のアフィン変換で一般化すれば、図３４で説明したような大きさ固定のフレーミング領域の位置を変更する場合よりも正確な画像ぶれ補正が可能になる。
【０１４０】
なお、ブラーなし撮影画像一時メモリ部１０６とブラー除去用画像特徴量置換テーブル部１１０とに不揮発メモリを用いると、撮影装置１００の電源を切った後でも、データが保持される。よって、撮影装置１００の再起動後、直ちに、ブラーなし撮影画像一時メモリ部１０６とブラー除去用画像特徴量置換テーブル部１１０のデータを利用できる。
【０１４１】
以上のように、本実施の形態の撮影装置１００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、カメラ動きに起因するブラーを除去することができ、カメラ撮影に不慣れなユーザーでも画像ぶれを心配することなく、自由にビデオ撮影ができる。
【０１４２】
（実施の形態２）
本実施の形態では、撮影した画像を記録する記録メディア部を備えた撮影記録再生装置について説明する。
【０１４３】
図２０は、本発明の実施の形態２に係る撮影記録再生装置２００の構成を示すブロック図である。なお、図１に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０１４４】
撮影記録再生装置２００は、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、図２０に示すように被写体１０１を撮影し、撮影した画像を記録メディア部２０３に記録する撮影記録部２０１と、記録メディア部２０３に記録された画像を再生し、再生した出力画像１０２を出力する再生部２０２とを備えている。出力画像１０２は、例えば、撮影記録再生装置２００に接続されたディスプレイ装置４０に映し出される。
【０１４５】
撮影記録部２０１は、撮像センサ部１０３、記録メディア部２０３、ブラー検出部２０５、および撮影画像表示部２０６を備えており、撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素の位置を示すブラー位置情報を含むブラー検出情報１１９とともに記録メディア部２０３に記録する。
【０１４６】
ブラー検出部２０５は、画素単位に入力画像１１７で発生したブラーを検出する。ブラー検出の方法は任意であるが、ブラー検出部２０５が、撮影装置１００が有する第１画像特徴量変換部１０４とブラー検出部１０５の機能を有すれば、図６（ａ）で説明したように、画像特徴ベクトルの距離変化に対する閾値処理でブラーを検出できる。ブラー検出部２０５は、ブラーが発生したと判断した場合は、ブラー検出情報１１９内のブラー有無情報をＯＮとし、ブラーが発生していないと判断した場合は、ブラー検出情報１１９内のブラー有無情報をＯＦＦとする。また、ブラー検出部２０５は、ブラーが発生した画素の位置を示す情報をブラー検出情報１１９内のブラー位置情報として出力する。
【０１４７】
撮影画像表示部２０６は、入力画像１１７を撮影者６０に表示する。これにより、撮影者６０は撮影画角の確認ができる。
【０１４８】
記録メディア部２０３は、入力画像１１７をブラー検出情報１１９とともに記録する。従って、入力画像１１７は、１枚ごとに「ブラーあり撮影画像」あるいは「ブラーなし撮影画像」に識別される。
【０１４９】
図２１は、記録フォーマットの一例を説明する図である。記録メディア部２０３の記録位置を管理するメモリアドレス部２２０とデータ部２２１からなり、データ部２２１には、入力画像１１７、入力画像１１７のタイムコード２２２、およびブラー検出情報１１９が記録される。タイムコード２２２を参照すれば、映像シーケンスのどの時点で撮影された入力画像であるか、が把握できる。
【０１５０】
再生部２０２は、記録メディア部２０３、第１画像特徴量変換部２０４、ブラーなし再生画像抽出部２０８、ブラー合成部１０７、第２画像特徴量変換部１０８、ブラー除去用画像特徴量置換テーブル部２１３、ブラー合成画像特徴量格納部１１１、ブラーなし画像特徴量格納部１１２、最近傍画像特徴量検出部１１３、画像ぶれ補正部１１４、および出力部１１５を備えており、記録メディア部２０３に記録された入力画像１１７を読み出し、入力画像１１７のブラーと画像ぶれを補正して出力画像１０２を生成する。
【０１５１】
記録メディア部２０３は、読み出し機能を有し、入力画像１１７とブラー検出情報１１９を読み出し、それぞれ再生画像２０７、ブラー検出情報２０９として出力する。従って、再生画像２０７は、１枚ごとに「ブラーあり再生画像」あるいは「ブラーなし再生画像」に識別される。
【０１５２】
再生部２０２は、再生画像２０７が記録メディア部２０３から読み出された後、ブラー除去用画像特徴量置換テーブル部２１３を作成する「テーブル作成モード」と、再生画像２０７のブラーと画像ぶれを補正する「補正モード」に分かれて動作する。
【０１５３】
図２２は、再生部２０２の構成要素のうち、テーブル作成モードで動作する部分のみを切り出したブロック図であり、記録メディア部２０３から読み出した再生画像２０７をもとに、ブラー除去用画像特徴量置換テーブル部２１３にデータを書き込むまでの動作に対応している。図２３は、再生部２０２の構成要素のうち、補正モードで動作する部分のみを切り出したブロック図であり、記録メディア部２０３から読み出した再生画像２０７のブラーをブラー除去用画像特徴量置換テーブル部２１３を用いて除去し、再生画像２０７の画像ぶれを画像ぶれ補正部１１４で補正するまでの動作に対応している。テーブル作成モードは、補正モードの前に実行され、補正モードで必要となるブラー除去用画像特徴量置換テーブル部２１３を準備する位置付けにある。以降、テーブル作成モード（図２２）と補正モード（図２３）に分けて、再生部２０２の動作を説明する。
【０１５４】
まず、再生部２０２のテーブル作成モードについて説明する。
【０１５５】
ブラーなし再生画像抽出部２０８は、ブラー検出情報２０９内のブラー有無情報がＯＦＦの場合、再生画像２０７がブラーを含まないと判断し、ブラーなし再生画像２１０をブラー合成部１０７へ出力する。ブラー検出情報２０９内のブラー有無情報がＯＮの場合、ブラーなし再生画像抽出部２０８は出力を停止し、ブラーなし再生画像２１０はブラー合成部１０７に供給されない。ブラーなし再生画像２１０を受けたブラー合成部１０７は、実施の形態１の撮影装置１００と同様に、入力されたブラーなし再生画像２１０に対して擬似的にブラーを発生させて、ブラー合成画像１３０を生成する。第２画像特徴量変換部１０８は、ブラー合成画像特徴量１３１を生成して、ブラー合成画像特徴量格納部１１１に格納する。
【０１５６】
第１画像特徴量変換部２０４は、再生画像２０７のうち、ブラーを含まない画像のみを画像特徴量に変換し、再生画像特徴量２１１として出力する。第１画像特徴量変換部２０４は、ブラーの有無を判断するために、ブラー検出情報２０９を取得し、ブラー検出情報２０９内のブラー有無情報がＯＦＦの場合、再生画像２０７を画像特徴量に変換し、再生画像特徴量２１１を出力する。再生画像特徴量２１１は、ブラーなし画像特徴量格納部１１２に格納される。
【０１５７】
なお、ブラー除去に使われる画像特徴量は、図６で説明したように、ブラー発生直前の数枚の画像から参照する。なぜならば、時間的に離れた画像は、一般に、撮影されているシーンが異なるため、画像特徴量の違いも大きく、ブラー除去に利用できる画像特徴量の数が限られてくる。そこで、撮影記録再生装置２００のブラー除去用画像特徴量置換テーブル部２１３は、再生画像２０７のタイムコードも合わせて記録し、ブラーあり再生画像のタイムコードの直前の画像特徴量が参照できるようにする。なお、ブラー除去に使われる画像特徴量は、ブラー発生直前の数枚の画像ではなく、ブラー消滅直後の数枚の画像から参照しても構わない。
【０１５８】
記録メディア部２０３は、ランダム読み出し機能を有し、格納されたデータのメモリアドレスやタイムコード、ブラー検出情報を指定して、飛び飛びにデータにアクセスできる。そこで、ブラーあり画像とブラーなし画像とが混在するビデオシーケンスにおいて、ブラー検出情報１１９内のブラー有無情報を参照して、ブラー発生部のみにランダムアクセスして、ブラー合成画像特徴量とブラーなし画像特徴量とを生成し、ブラー除去用画像特徴量置換テーブル部２１３に格納することも可能である。
【０１５９】
次に、再生部２０２の補正モードについて説明する。
【０１６０】
第１画像特徴量変換部２０４は、再生画像２０７のうち、ブラーを含む画像のみを画像特徴量に変換し、再生画像特徴量２１１として出力する。すなわち、第１画像特徴量変換部２０４は、ブラーの有無を判断するために、ブラー検出情報２０９を取得し、ブラー検出情報２０９内のブラー有無情報がＯＮの場合、再生画像２０７を画像特徴量に変換し、再生画像特徴量２１１を出力する。再生画像特徴量２１１が入力される最近傍画像特徴量検出部１１３および画像ぶれ補正部１１４、さらに、これらに引き続く一連の動作は、実施の形態１の撮影装置１００と同一であり、ここでは説明を割愛する。
【０１６１】
なお、テーブル作成モードは、撮影記録再生装置２００の電源が投入されている間、常時動作可能とし、記録メディア部２０３に新しいデータが書き込まれたら、順次、ブラー除去用画像特徴量置換テーブル部２１３にブラー除去用の画像特徴量（ブラー合成画像特徴量１３１および再生画像特徴量２１１）を登録するように動作する。一般的なビデオ撮影では、「撮影」と「撮影画像の再生」の間に時間的なズレがあり、撮影直後に撮影済みの映像を確認する場合でも、数秒間のタイムラグは発生する。そこで、撮影されたデータから順次、ブラー除去用画像特徴量を算出し、ブラー除去用画像特徴量置換テーブル部２１３へ登録すれば、撮影画像の再生が開始する前に、ブラー除去用画像特徴量置換テーブル部２１３を準備できる。仮に、撮影画像の再生指示が発生した時点で、テーブル作成モードの全動作が終了していなくても、再生画像２０７を記録メディア部２０３から読み出す速度を倍速にして、テーブル作成モードと補正モードを時分割で実行すればいい。テーブル作成モードは、補正モードよりも「撮影」と「撮影画像の再生」のタイムラグ分だけ早く処理が進んでいるため、この時差が消滅する前にテーブル作成モードの動作を完了させる。撮影直後の映像確認を除けば、一般的には、テーブル作成モードから補正モードへの切り替わりには時間的余裕があり、例えば、旅行中に撮影した映像を自宅に帰宅した後、撮影映像を再生する、といった利用形態が多い。
【０１６２】
また、ブラー除去用画像特徴量置換テーブル部２１３に、撮影記録再生装置２００の電源を切ってもデータが保持される不揮発メモリを用いることで、ブラー除去用画像特徴量置換テーブル部２１３の再登録を防ぐことが可能である。これにより、撮影記録再生装置２００を再起動後、直ちに補正モードを実行できる。
【０１６３】
さらに、出力部１１５の出力（出力画像１０２）を記録メディア部２０３へ戻し、記録メディア部２０３に書き込むことも可能である。この場合、記録メディア部２０３は、再生画像２０７の読み出しと、出力画像１０２の書き込みを時分割で実行することになる。出力画像１０２は、ブラー除去と画像ぶれ補正がともに施された画像であり、記録メディア部２０３に書き込まれた出力画像１０２を再生する場合は、補正モードを動作させる必要はなく、出力画像１０２をそのまま撮影記録再生装置２００の外部へ出力すればいい。
【０１６４】
なお、再生部２０２は、ディスプレイ装置４０に内蔵しても構わない。図２４に示すように、ディスプレイ装置４０に搭載された記録メディア部２０３に入力画像１１７とブラー検出情報１１９が格納された記録メディアを挿入して使用する。ディスプレイ装置４０に内蔵された再生部２０２がブラー除去を施した出力画像１０２を生成し、ディスプレイパネル４１に映し出される。
【０１６５】
以上のように、本実施の形態の撮影記録再生装置２００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、カメラ動きに起因するブラーを除去することができ、カメラ撮影に不慣れなユーザーでも画像ぶれを心配することなく、自由にビデオ撮影ができる。特に、記録メディアを取り出すことで、他の機器とデータのやり取りが可能になる。また、撮影終了後から再生開始前の空き時間にブラー除去用画像特徴量置換テーブル部２１３を作成することができ、ブラー検出精度とブラー合成精度を高めることができ、出力画像１０２の画質を高めることができる。
【０１６６】
（実施の形態３）
本実施の形態では、撮影者から受けた指示内容に応じてブラー除去を実行する撮影記録再生装置について説明する。
【０１６７】
図２５は、本発明の実施の形態３に係る撮影記録再生装置３００の構成を示すブロック図である。なお、図２０に示す撮影記録再生装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０１６８】
撮影記録再生装置３００は、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、図２５に示すように被写体１０１を撮影し、撮影した画像を記録メディア部２０３に記録する撮影記録部３０１、記録メディア部２０３に記録された映像を再生し、再生した出力画像１０２を出力する再生部３０２、撮影者指示入力部３０３、および撮影者指示設定部３０４を備えている。出力画像１０２は、例えば、撮影記録再生装置３００に接続されたディスプレイ装置４０に映し出される。
【０１６９】
撮影記録部３０１は、撮像センサ部１０３、記録メディア部２０３、ブラー検出部２０５、および撮影画像表示部３０５を備えており、撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素の位置を示すブラー位置情報を含むブラー検出情報１１９とともに記録メディア部２０３に記録する。
【０１７０】
撮影者指示入力部３０３は、撮影者６０から、ブラー除去の有効／無効の指示、ブラー除去領域の指定、ブラーなし領域の指定を受け付ける。
【０１７１】
図２６は、撮影者６０が指示を入力する画面を説明する図である。左側が指示メニューであり、「ブラー除去の有効／無効」の指示メニューが選択され、図２６の例では、「有効」が選択されている。指示メニューの選択は、撮影記録再生装置３００に付属するボタンやダイアルを使用する。図２６に示す画面は、撮影画像表示部３０５を利用し、撮影画像の表示と兼用する。
【０１７２】
ブラー除去の「無効」が選択される例としては、「流し撮り」がある。流し撮りは、目の前を通り過ぎる被写体（例えば、高速走行する車や、スポーツシーンでの走者など）をカメラの向きを変えてフレーム内に捉え続ける撮影方法である。このような撮影方法の場合、ブラーを意図的に発生させて、撮影画像にスピード感を与えるために、ブラー除去の処理を無効にする必要がある。
【０１７３】
図２７はブラー除去領域の指定方法を説明する図であり、被写体３１２、被写体３１３、被写体３１４のうち、被写体３１３がシャッター開放中に移動し、ブラーが発生したケースを想定した一例である。
【０１７４】
ブラー除去領域の指定には、撮影画像表示部３０５を用い、例えば図２７に示すように、入力画像１１７、あるいは再生画像２０７の一部領域を指定する。撮影者６０が画像上で直接、ブラー除去処理を適用する領域を指定する。撮影画像表示部３０５はタッチパネルからなり、撮影者６０は、例えば、ポインティングデバイス３０６を使って、あるいは、撮影者６０の指先で直接、曲線３０７を描き、領域３０８をブラー除去の対象領域として指定する。ブラー除去の対象領域は、領域識別信号３１５として撮影者指示入力部３０３へ出力され、領域３０８に属する画素のみにブラー除去処理が施されることになる。
【０１７５】
図２６において、ブラー除去領域の指定で、「撮影画像」が選択された場合は、記録メディア部２０３に記録された入力画像１１７が経路３０９を経由して撮影画像表示部３０５へ出力される。入力画像１１７は、ブラー除去の処理が施されていない画像である。従って、「撮影画像」は、これからブラー除去を実行するにあたって、撮影者６０が、ブラー除去を施す対象を明示的に指定する場合に選択されることになる。この場合、撮影者指示入力部３０３は、後述する撮影者指示設定部３０４を介して、領域３０８を撮影者指定ブラー信号３１１としてブラー検出部２０５へ出力する。ブラー検出部２０５は、撮影者指定ブラー信号３１１として入力された領域３０８に対してのみ、ブラー検出処理を行う。
【０１７６】
一方、ブラー除去領域の指定で、「補正画像」が選択された場合は、ブラー除去と画像ぶれ補正を施した画像ぶれ補正画像１３４が経路３１０を経由して撮影画像表示部３０５へ出力される。再生画像２０７は、ブラー除去と画像ぶれ補正が施された画像である。従って、「補正画像」は、ブラー除去が不十分である部分を撮影者６０が明示的に指定する場合に選択されることになる。この場合、ブラー検出部２０５は領域３０８の情報を活用してブラー検出の設定を更新すべきであり、撮影者指示入力部３０３は、後述する撮影者指示設定部３０４を介して、領域３０８を撮影者指定ブラー信号３１１としてブラー検出部２０５へ出力する。ブラー検出部２０５が、例えば、図６で示した画像特徴ベクトルの距離変化に対する閾値処理を行っている場合には、撮影者指定ブラー信号３１１として入力された領域３０８に対して距離変化の閾値を小さくし、より小さな距離変化でもブラー発生と判断するように設定を更新する。
【０１７７】
ブラーなし領域の指定は、撮影者６０が撮影画像表示部３０５に表示された画像を見て、明示的にブラーなしの領域を指定して、ブラー検出部２０５のブラー検出精度を高めるために使用する。
【０１７８】
図２８は、ブラーなし領域が指定された一例を示す図であり、被写体３１２、被写体３１３、被写体３１４のうち、被写体３１３がシャッター開放中に移動し、ブラーが発生したケースを想定した一例である。ここでは、被写体３１２を囲む領域３１９と被写体３１４を囲む領域３２０が、撮影者６０によってブラーなしと指定されている。ブラーなしの領域（図２８では、領域３１９と領域３２０）以外のブラー除去の対象領域は、領域識別信号３１５として撮影者指示入力部３０３へ出力され、ブラーなしの領域以外の領域に属する画素のみにブラー除去処理が施される。
【０１７９】
図２６において、ブラーなし領域の指定で、「撮影画像」が選択された場合は、記録メディア部２０３に記録された入力画像１１７が経路３０９を経由して撮影画像表示部３０５へ出力される。入力画像１１７は、ブラー除去の処理が施されていない画像である。従って、「撮影画像」は、これからブラー除去を実行するにあたって、撮影者６０が、ブラー除去を施さない対象を明示的に指定する場合に選択されることになる。ここで所定の領域をブラーなしと指定することによって、その領域内に対してだけブラーを発生させてぼかすことができる。この場合、撮影者指示入力部３０３は、撮影者指示設定部３０４を介して、ブラーなしの領域（図２８では、領域３１９と領域３２０）をブラーなし領域信号３２１として、ブラーなし再生画像抽出部２０８へ出力する。ブラーなし再生画像抽出部２０８は、指定されたブラーなし領域内は、ブラーなし再生画像２１０として出力する。
【０１８０】
一方、ブラーなし領域の指定で、「補正画像」が選択された場合は、ブラー除去と画像ぶれ補正を施した画像ぶれ補正画像１３４が経路３１０を経由して撮影画像表示部３０５へ出力される。再生画像２０７は、ブラー除去と画像ぶれ補正が施された画像である。従って、「補正画像」は、ブラー除去が十分に行われた部分を撮影者６０が明示的に指定する場合に選択されることになる。この場合、ブラー除去用画像特徴量置換テーブル部２１３の中で、ブラーなしと指定された領域の画像特徴量はこのまま維持し、以降のブラー除去の処理で再利用する。ブラー検出部２０５は領域３０８の情報を活用してブラー検出の設定を更新すべきであり、撮影者指示入力部３０３は、後述する撮影者指示設定部３０４を介して、ブラーなしの領域（図２８では、領域３１９と領域３２０）以外の領域撮影者指定ブラー信号３１１としてブラー検出部２０５へ出力する。ブラー検出部２０５が、例えば、図６で示した画像特徴ベクトルの距離変化に対する閾値処理を行っている場合には、撮影者指定ブラー信号３１１として入力されたブラーなしの領域以外の領域に対して距離変化の閾値を小さくし、より小さな距離変化でもブラー発生と判断するように設定を更新する。
【０１８１】
撮影者指示設定部３０４は、撮影者指示入力部３０３が受けた撮影者６０からの指示内容を撮影記録再生装置３００の各モジュールへ展開する。ブラー除去の有効／無効の識別は、ブラー除去識別信号３１７によって、撮影者指示設定部３０４からセレクタ部３１８へ伝えられる。ブラー除去で有効が選択されている場合、セレクタ部３１８は、再生画像特徴量２１１を最近傍画像特徴量検出部１１３へ出力し、ブラー除去用画像特徴量置換テーブル部２１３でブラー除去を実行する。一方、ブラー除去で無効が選択されている場合、セレクタ部３１８は、再生画像特徴量２１１を画像ぶれ補正部１１４へ出力し、ブラー除去の処理は施さず、画像ぶれ補正が実行される。
【０１８２】
以上のように、本実施の形態の撮影記録再生装置３００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、カメラ動きに起因するブラーを除去することができ、カメラ撮影に不慣れなユーザーでも画像ぶれを心配することなく、自由にビデオ撮影ができる。特に、流し撮りなどでブラーを意図的に発生させたい場合は、撮影者がブラー除去の処理を無効にすることができ、より幅の広い映像表現を可能にする。また、ブラー除去された画像に、なおブラーが残っていると撮影者が判断した場合には、ブラーが残存している領域やブラーが発生していない領域を撮影者が直接指定することで、より正確なブラー除去が可能になる。
【０１８３】
（実施の形態４）
本実施の形態では、ブラー検出頻度に応じて、画像単位でブラー除去を行う撮影記録再生装置について説明する。
【０１８４】
図２９は、本発明の実施の形態４に係る撮影記録再生装置４００の構成を示すブロック図である。なお、図２０に示す撮影記録再生装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０１８５】
撮影記録再生装置４００は、図２９に示すように、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、撮影記録部４０１と再生部４０２から成る。
【０１８６】
撮影記録部４０１は、撮像センサ部１０３、ブラー検出部４０４、記録メディア部４０３、および撮影画像表示部２０６を備え、被写体１０１を撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素、あるいはブロックの位置を示すブラー位置情報を含むブラー検出情報１１９とともに、記録メディア部４０３に記録する。
【０１８７】
再生部４０２は、記録メディア部４０３に記録された映像を再生し、再生した出力画像１０２を出力する。出力画像１０２は、例えば、撮影記録再生装置４００に接続されたディスプレイ装置４０に映し出される。
【０１８８】
ブラー検出部４０４は、図６に示したブラー検出部１０５と同じ方式でブラーを検出する。加えて、画像単位でブラー発生頻度を算出し、これが発生頻度の閾値を上回れば、画像全体で一様にブラーが発生していると判断し、画素単位、あるいはブロック単位で画像特徴量の置き換えを行う代わりに、ブラーあり画像をブラーなし画像に画像単位で置き換える。画像単位の置換は、画素単位、あるいはブロック単位の画像特徴量の置換より高速に処理ができ、画像特徴量置換によるアーティファクトの影響を受けにくい。
【０１８９】
図３０は、ブラー検出部４０４の内部構成を示すブロック図である。ブラー検出頻度算出部４０４１は、入力画像１１７内でブラーが発生した画素あるいはブロックの個数を数え上げる。ブラー検出頻度は、画像単位で算出されるため、画像単位識別信号提供部４０４２から画像データ列の最初の画素と最後の画素を示す画像単位識別信号４０４３がブラー検出頻度算出部４０４１に入力される。ブラー検出頻度算出部４０４１は、前記数え上げたブラー発生画素数の画像全体の画素数に対する割合、あるいは前記数え上げたブラー発生ブロック数の画像全体のブロック数に対する割合をブラー検出頻度とし、これをブラー検出頻度信号４０４４として出力する。画像単位置換切替閾値提供部４０４５は、画素単位、あるいはブロック単位の画像特徴量の置換から、画像単位の画像特徴量の置換に切り換えるブラー検出頻度の閾値を閾値比較部４０４６に提供する。閾値比較部４０４６は、ブラー検出頻度信号４０４４が画像単位置換切替閾値提供部４０４５が提供する閾値より大きい場合、ブラー検出情報生成部４０４７に画像単位での画像特徴量の置換を指示する。ブラー検出情報生成部４０４７は、画像特徴量の置換単位を示すビットをブラー検出情報４０５に書き込む。たとえば、画像特徴量の置換単位を示すために、２ビット確保し、“００”を画素単位、“０１”をブロック単位、“１０”を画像単位とする。
【０１９０】
記録メディア部４０３は、図２０の記録メディア部２０３と同じように、ブラーあり画像、ブラーなし画像によって出力先を切り替える。加えて、ブラー検出情報４０５が、画像特徴量の置換単位に画像単位（前述の例では“１０”）を指定した場合は、経路４０７を通して、ブラーなし画像を画像ぶれ補正部１１４へ出力する。ブラーなし画像の選択方法は、図６で説明したように、ブラー発生時点から最も近い過去のブラーなし画像を選ぶ。
【０１９１】
以上により、画像単位の置換は、画素単位、あるいはブロック単位の画像特徴量の置換より高速に処理ができ、画像特徴量置換によるアーティファクトの影響を受けにくい。
【０１９２】
（実施の形態５）
本実施の形態では、ズーム倍率が高い場合、画像単位で画像特徴量を置き換えてブラーを除去する撮影記録再生装置について説明する。
【０１９３】
図３１は、本発明の実施の形態５に係る撮影記録再生装置５００の構成を示すブロック図である。なお、図２０に示す撮影記録再生装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０１９４】
撮影記録再生装置５００は、被写体１０１を動画像として撮影し、入力画像１１７で発生したブラーを除去し、画像ぶれを補正して動画像である出力画像１０２を出力する装置であり、被写体１０１を撮影し、撮影した画像を記録メディア部５０６に記録する撮影記録部５０１、記録メディア部５０６に記録された映像を再生し、再生した出力画像１０２を出力する再生部５０２、撮像センサ部５０７、ズーム設定部５０３、ズーム制御部５０４、およびブラー検出部５０５を備えている。出力画像１０２は、例えば、撮影記録再生装置５００に接続されたディスプレイ装置４０に映し出される。
【０１９５】
撮影記録部５０１は、撮像センサ部５０７、ズーム設定部５０３、ズーム制御部５０４、ブラー検出部５０５、記録メディア部５０６、および撮影画像表示部２０６を備えている。撮影した入力画像１１７を、ブラー発生の有無を示すブラー有無情報およびブラーが発生した画素、あるいはブロックの位置を示すブラー位置情報を含むブラー検出情報５０８とともに、記録メディア部５０６に記録する。
【０１９６】
撮像センサ部５０７は、撮影者６０がズーム設定部５０３で設定したズーム倍率に応じて、撮影画角が制御され、相対的に画角の狭い拡大画像や、相対的に画角の広い縮小画像を撮影できる。本発明は、ズームの方式に制限を与えるものではなく、光学系にて画角を変更する光学ズームや、画像処理により画角を変える電子ズームなど、任意の方式を利用できる。撮影者６０は、撮影画像表示部２０６を見て、撮影画角を確認できる。
【０１９７】
ズーム制御部５０４は、ズーム設定部５０３で設定されたズーム倍率になるように、撮像センサ部５０７を制御する。
【０１９８】
ブラー検出部５０５は、図６で説明したブラー検出部１０５と同じ方式でブラーを検出するとともに、ズーム設定部５０３からズーム倍率を取得し、ズーム倍率に応じて、画像特徴量の置換単位を切り換える。すなわち、ズーム倍率が高くなると画角が狭くなるため、ブラーの発生の可能性が高まる。また、画角が狭いと、画角内に収まる被写体の種類も限定され、広角撮影に比べて平坦な被写体が映る可能性が高くなる。平坦な被写体がブラーを含んで撮影された場合、画面全体に一様なブラーが発生するため、画素単位、あるいはブロック単位で成される画像特徴量の置換は、どれも同じようなものになる。この仮定が正しければ、画素単位、あるいはブロック単位で画像特徴量を置き換えるよりも、画像単位で一括に置き換える方が処理負荷の観点から効率的である。画像単位で画像特徴量を置き換えるということは、すなわち、ブラーなし画像を１枚選択することである。従って、画像単位の画像特徴量の置換は、画素単位、あるいはブロック単位での画像特徴量の置換で発生するアーティファクトの心配がなく、画質の観点からも信頼性が高い。
【０１９９】
以上の観点から、ブラー検出部５０５は、図３２に示すように、ブラー検出部４０４と比べてズーム倍率が入力可能な構成とし、画像単位置換切替閾値提供部５０４５はズーム倍率に応じた閾値設定を行う。具体的には、図３３に示すように、ズーム倍率が４倍を超えたら、ブラー検出頻度が０．３（ブラーを含む画素、あるいはブロックが全画素数、あるいは全ブロック数の３０％）以上の場合、画像単位で画像特徴量を置換する。また、ズーム倍率が１倍を下回った場合は、ブラー検出頻度が０．９（ブラーを含む画素、あるいはブロックが全画素数、あるいは全ブロック数の９０％）以上の場合、画像単位で画像特徴量を置換する。
【０２００】
以上により、ブラー発生の可能性が高まる高倍率ズーム撮影時に、画像単位での画像特徴量の置換を行うことで、処理負荷を低減し、アーティファクトの少ない高画質のブラー除去画像を生成できる。
【０２０１】
以上、本発明に係る撮影装置および撮影記録再生装置について、実施の形態１〜５に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、上記実施の形態を変形したものや、上記実施の形態１〜３の各構成要素を任意に組み合わせて実現される別の形態も、本発明に含まれる。
【産業上の利用可能性】
【０２０２】
本発明に係る撮影装置および撮影記録再生装置は、例えばビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラやカメラ付き携帯電話などビデオ機器全般で実行可能である。また、広く普及しているパーソナルコンピュータでも実行可能である。
【図面の簡単な説明】
【０２０３】
【図１】図１は、本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【図２】図２（ａ）（ｂ）は、本発明の実施の形態１に係る撮影装置が適用される具体的な装置例を示す図である。
【図３】図３は、ウェーブレット変換による多重解像度表現から画像特徴ベクトル（ｗ1，ｗ2，…，ｗp）を生成する方法を説明する図である。
【図４】図４（ａ）（ｂ）は、ウェーブレット変換の出力ＨＬ、ＬＨ、ＨＨを説明する図である。
【図５】図５（ａ）（ｂ）（ｃ）は、スケールレベルｎ＝２の画像特徴量を画素ごとに算出する方法を説明する図である。
【図６】図６（ａ）（ｂ）は、ブラー除去の原理を説明する図である。
【図７】図７は、カメラ動きに基づいたブラー生成方法を説明する図である。
【図８】図８は、画像ぶれ補正部の内部構成を示すブロック図である。
【図９】図９は、動きベクトル算出の一例を示す図である。
【図１０】図１０は、フレーミング領域と外枠領域を説明する図である。
【図１１】図１１（ａ）（ｂ）は、静止物体の検出に外枠領域を用いる理由を説明する図である。
【図１２】図１２は、動きベクトルから静止物体を検出する方法を説明する図である。
【図１３】図１３は、外枠領域の動きベクトルを示す図である。
【図１４】図１４（ａ）（ｂ）は、外枠領域に静止物体を撮影できない場合を示す図である。
【図１５】図１５は、画像拡大用辞書を参照して、画像ぶれ補正フレーミング画像を画像拡大し、画像ぶれ補正画像を算出するブロック図である。
【図１６】図１６は、出力画像サイズ調整部の構成を説明するブロック図である。
【図１７】図１７は、撮影装置の各構成要素の動作タイミングを示す図である。
【図１８】図１８は、撮影装置のブロック図の動作フローである。
【図１９】図１９（ａ）（ｂ）は、カメラノイズや照明の変化が静止物体の動きベクトルに及ぼす影響を説明する図である。
【図２０】図２０は、本発明の実施の形態２に係る撮影記録再生装置の構成を示すブロック図である。
【図２１】図２１は、記録フォーマットの一例を説明する図である。
【図２２】図２２は、テーブル作成モードの動作を説明する図である。
【図２３】図２３は、補正モードの動作を説明する図である。
【図２４】図２４は、再生部を内蔵したディスプレイ装置の一例を示す外観模式図である。
【図２５】図２５は、本発明の実施の形態３に係る撮影記録再生装置の構成を示すブロック図である。
【図２６】図２６は、撮影者が指示を入力する画面を説明する図である。
【図２７】図２７は、ブラー除去領域の指定方法を説明する図である。
【図２８】図２８は、ブラーなし領域の指定方法を説明する図である。
【図２９】図２９は、本発明の実施の形態４に係る撮影記録再生装置の構成を示すブロック図である。
【図３０】図３０は、ブラー検出部の内部構成の一例を示すブロック図である。
【図３１】図３１は、本発明の実施の形態５に係る撮影記録再生装置の構成を示すブロック図である。
【図３２】図３２は、ブラー検出部の内部構成の一例を示すブロック図である。
【図３３】図３３は、ズーム倍率に応じた閾値の調整を説明する図である。
【図３４】図３４（ａ）（ｂ）（ｃ）は、電子式画像ぶれ補正の原理を説明する図である。
【図３５】図３５は、従来の撮影装置が備える動きベクトル検出装置の構成を示すブロック図である。
【図３６】図３６（ａ）（ｂ）は、動きベクトルの一例を示す図である。
【図３７】図３７は、従来の撮影装置が備える動きベクトル係数と発散度との関係を示す図である。
【図３８】図３８（ａ）（ｂ）（ｃ）は、ブラーが発生する原因を説明する図である。
【符号の説明】
【０２０４】
１００  撮影装置
１０１  被写体
１０２  出力画像
１０３  撮像センサ部
１０４  第１画像特徴量変換部
１０５  ブラー検出部
１０６  ブラーなし撮影画像一時メモリ部
１０７  ブラー合成部
１０８  第２画像特徴量変換部
１０９  第３画像特徴量変換部
１１０  ブラー除去用画像特徴量置換テーブル部
１１１  ブラー合成画像特徴量格納部
１１２  ブラーなし画像特徴量格納部
１１３  最近傍画像特徴量検出部
１１４  画像ぶれ補正部
１１５  出力部
１１６  撮影画像表示部
２００、３００  撮影記録再生装置
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009019848.tif 000041
【図２】
2009019848.tif 000042
【図３】
2009019848.tif 000043
【図４】
2009019848.tif 000044
【図５】
2009019848.tif 000045
【図６】
2009019848.tif 000046
【図７】
2009019848.tif 000047
【図８】
2009019848.tif 000048
【図９】
2009019848.tif 000049
【図１０】
2009019848.tif 000050
【図１１】
2009019848.tif 000051
【図１２】
2009019848.tif 000052
【図１３】
2009019848.tif 000053
【図１４】
2009019848.tif 000054
【図１５】
2009019848.tif 000055
【図１６】
2009019848.tif 000056
【図１７】
2009019848.tif 000057
【図１８】
2009019848.tif 000058
【図１９】
2009019848.tif 000059
【図２０】
2009019848.tif 000060
【図２１】
2009019848.tif 000061
【図２２】
2009019848.tif 000062
【図２３】
2009019848.tif 000063
【図２４】
2009019848.tif 000064
【図２５】
2009019848.tif 000065
【図２６】
2009019848.tif 000066
【図２７】
2009019848.tif 000067
【図２８】
2009019848.tif 000068
【図２９】
2009019848.tif 000069
【図３０】
2009019848.tif 000070
【図３１】
2009019848.tif 000071
【図３２】
2009019848.tif 000072
【図３３】
2009019848.tif 000073
【図３４】
2009019848.tif 000074
【図３５】
2009019848.tif 000075
【図３６】
2009019848.tif 000076
【図３７】
2009019848.tif 000077
【図３８】
2009019848.tif 000078
【国際調査報告】
2009019848.tif 000079
2009019848.tif 000080