(57)【要約】  カメラ動きを精度よく検出して適切に画像ぶれを補正する撮影装置を提供する。撮影装置（２００）は、撮影して入力画像（１０５）を出力する撮像センサ部（１０３）と、入力画像（１０５）のフレーミング領域（１６０）の画像を出力する出力部（１２１）と、入力画像（１０５）の外枠領域（１６１）の複数の動きベクトルを検出するとともに検出精度を導出する動きベクトル算出部（１０６）および静止物体検出部（２０１）と、検出精度が外枠領域変更基準値（ｔｒ）を満たすように外枠領域（１６１）の大きさを調整する外枠領域調整部（２０５）と、外枠領域（１６１）以外の動きベクトルに関わらず、調整された外枠領域（１６１）における動きベクトルに応じて、フレーミング領域（１６０）を移動させるカメラ動き算出部（１１３）およびフレーミング領域補正部（１１５）とを備える。
2008114499.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影して撮影された前記画像のぶれを補正する撮影装置であって、
画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力手段と、
前記撮影手段によって撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出手段と、
前記動き検出手段により導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整手段と、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整手段により調整された大きさの前記外側の領域における、前記動き検出手段によって検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力手段から出力される画像のぶれを補正する補正手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記撮影装置は、さらに、
前記外側の領域の周縁と、前記フレーミング領域の周縁とが一致するように、前記領域調整手段により調整される前記外側の領域の大きさに応じて、前記フレーミング領域の大きさを設定するフレーミング領域設定手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記撮影手段は、動いている被写体の画像が前記内側の領域に収まるように撮影する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記撮影装置は、さらに、
前記領域調整手段によって前記外側の領域が大きくなるほど、前記撮影手段により撮影される画像の画角を広げる画角調整手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
前記撮影装置は、さらに、
前記撮影手段により撮影される画像の画角、または前記フレーミング領域の大きさをユーザによる操作に応じて変更することにより、前記出力手段から出力される画像のズームインまたはズームアウトを行うズーム調整手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像を格納する格納手段を備え、
前記出力手段および動き検出手段は、前記格納手段に格納されている画像を読み出して、読み出された前記画像に対して処理を行う
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記動き検出手段は、
始点および終点の少なくとも一方が前記外側の領域に含まれている複数の前記動きベクトルを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記動き検出手段は、さらに、検出された複数の動きベクトルの中から、前記複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出し、
前記補正手段は、
前記静止物体の画像の動きベクトルの平均を示す平均動きベクトルを算出する算出手段と、
前記平均動きベクトルに応じて前記フレーミング領域を移動させるフレーミング領域補正手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項９】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像の動きに基づいて、ぶれを補正すべきか否かを判別する補正判別手段を備え、
前記補正判別手段によって補正すべきでないと判別されたときには、前記補正手段はフレーミング領域の移動を中止する
ことを特徴とする請求項１記載の撮影装置。
【請求項１０】
前記領域調整手段で調整された外側の領域に対して、前記動き検出手段が複数の動きベクトルの検出を再び行うことによって、前記動き検出手段および領域調整手段は、それぞれ前記検出精度が前記基準を満たすまで繰り返して処理を実行し、
前記領域調整手段は、繰り返して前記外側の領域の大きさを調整するときには、最初の調整における調整量よりも小さい調整量で前記外側の領域の大きさを調整する
ことを特徴とする請求項１記載の撮影装置。
【請求項１１】
前記撮影装置は、さらに、
撮影された前記画像から前記フレーミング領域の画像を切り出す切出手段と、
前記切出手段によって切り出された画像を拡大するサイズ調整手段とを備え、
前記出力手段は、前記サイズ調整手段によって拡大された画像を出力する
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記サイズ調整手段は、
画像ごとに、当該画像を低解像度で示す低解像度リソースデータと、当該画像を高解像度で示す高解像度リソースデータとを格納しているリソースデータ格納手段と、
前記切出手段によって切り出された画像と類似する画像を示す低解像度リソースデータを前記リソースデータ格納手段から検索して、前記低解像度リソースデータに対応する高解像度リソースデータを前記リソースデータ格納手段から取り出すことによって、切り出された前記画像を拡大する類似データ検索手段とを備える
ことを特徴とする請求項１１記載の撮影装置。
【請求項１３】
前記類似データ検索手段は、
前記切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する
ことを特徴とする請求項１２記載の撮影装置。
【請求項１４】
画像を撮影して撮影された前記画像のぶれを補正する撮影方法であって、
画像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力ステップと、
前記撮影ステップで撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出ステップと、
前記動き検出ステップにより導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整ステップと、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整ステップにより調整された大きさの前記外側の領域における、前記動き検出ステップで検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力ステップで出力される画像のぶれを補正する補正ステップと
を含むことを特徴とする撮影方法。
【請求項１５】
画像を撮影して撮影された前記画像のぶれを補正するためのプログラムであって、
画像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力ステップと、
前記撮影ステップで撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出ステップと、
前記動き検出ステップにより導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整ステップと、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整ステップにより調整された大きさの前記外側の領域における、前記動き検出ステップで検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力ステップで出力される画像のぶれを補正する補正ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影で発生する画像ぶれを補正する撮影装置および撮影方法に関するものである。
【背景技術】
【０００２】
近年、撮像素子の高密化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化と小型化が著しい。撮像素子の素子密度が高まると、受光素子の面積が小さくなり、Ｓ／Ｎ（Signal／Noise）比を確保するためには長い露光時間が必要になる。露光中にカメラ位置が動くと、画像ぶれが発生するため、撮影者はできるだけカメラを動かさないように、カメラを三脚に固定したり、手持ちカメラの場合は、脇を締めるなどの工夫を行う。【０００３】
画像ぶれ防止に対する撮影者への負担を軽減するために、カメラに画像ぶれ補正機能を搭載する機種が実用化されている。その基本的な考え方は、カメラの動きを検出し、この動きを相殺するように撮影画像を得る、というものである。カメラ動きを相殺する具体的な方法は、大きく２つに分類でき、「電子式」と「光学式」がある。電子式は、撮影画像の一部を切り出す方法で、切り出し位置をカメラ動きの逆方向に移動させて、画像ぶれを相殺する。【０００４】
図１Ａ〜図１Ｃは、電子式の画像ぶれ補正機能の一例を説明するための説明図である。【０００５】
図１Ａに示すように、カメラは撮影画像１０よりも小さい切り出しフレーム１１を設定する。カメラは切り出しフレーム１１内の画像を出力画像１２として出力し、ディスプレイに表示したり、記録メディアに格納する。図１Ｂの撮影画像１３は、撮影画像１０の１フレーム先の画像である。図１Ａの撮影から図１Ｂの撮影の間に、カメラ動き１４が発生し、被写体１５が静止していても、画像ぶれ補正機能がなければ、出力画像１６のように、被写体１５の画面内の位置が移動する。この出力画像１２と出力画像１６の違いが、「画像ぶれ」である。カメラが動かず、かつ被写体も動かないのであれば、出力画像における被写体の位置は変わらないはずである。【０００６】
そこで、画像ぶれ補正機能を有するカメラは、図１Ｃに示すように、カメラ動き１４の逆向き、かつ同じ大きさのカメラ動き補正ベクトル１７で切り出しフレーム１１を移動することで、画像ぶれを解消し、出力画像１２と同一の出力画像１８を得る。【０００７】
一方、光学式の画像ぶれ補正機能を有するカメラは、カメラ動きを相殺するように、レンズ系や撮像素子を機械的に移動させる。従って、撮像素子上の結像画像そのものに画像ぶれの補正が施される。【０００８】
上述のように電子式の画像ぶれ補正では、図１Ａ〜図１Ｃで説明したように、カメラの動きに応じて切り出しフレーム１１を移動させるため、カメラの動きを正確に検出する必要がある。そして、このカメラの動きは、撮影画像の動きによって検出される。被写体が静止していれば簡単に正確なカメラの動きを検出することができる。しかし、実際には動く被写体を撮影することがあり、特に、ビデオカメラは、被写体の動きを時間的に追いかける動画としての記録を主目的とするため、被写体が静止しているということは殆どない。【０００９】
そこで、たとえば、特許文献１〜３は、移動する被写体が映り込んでも画像ぶれ補正が可能である電子式の画像ぶれ補正技術を開示している。【００１０】
図２は、上記特許文献１の撮影装置が備える動きベクトル検出装置の構成を示す構成図である。【００１１】
この動きベクトル検出装置は、動きベクトル検出手段３１と、動きベクトル判定手段３２と、発散度計算手段３３と、ＬＰＦ３４と、変換手段と、制御手段３６とを備えている。【００１２】
動きベクトル検出手段３１は、撮影画像のブロックごとに動きベクトルを検出する。【００１３】
図３Ａおよび図３Ｂは、ブロックごとの動きベクトルを示す図である。【００１４】
図３Ａに示すように、動きベクトル検出手段３１は、撮影画像２０を複数のブロックに分割し、ブロックごとに動きベクトルを検出する。被写体が静止していた場合、すべてのブロックの動きベクトルは一致し、これがカメラ動きを表わす。一方、移動する被写体が存在する場合には、すべてのブロックの動きベクトルは一致しない。したがって、動きベクトル検出手段３１は、図３Ｂのように、異なる向きを持つ動きベクトルを検出する。そこで、発散度計算手段３３は、それらの動きベクトルの分散の度合いを示す「発散度」を計算する。そして、制御手段３６は、その発散度に応じた、撮影画像２０の全体の動きベクトル（カメラ動き）を算出する。具体的には、変換手段３５は、撮影画像全体の動きベクトルの大きさを制御する動きベクトル係数と発散度との関係を設定し、発散度が大きくなるに従って、その発散度の動きベクトルの大きさを抑えていく。【００１５】
図４は、動きベクトル係数と発散度との関係を示す図である。【００１６】
変換手段３５は、発散度の大きい動きベクトルほど、その動きベクトルの動きベクトル係数を小さくすることによって、撮影画像全体の動きベクトルに対する、発散度の大きい動きベクトルが与える影響を抑えている。このような変換手段３５による処理結果に基づいて、制御手段３６は、撮影画像全体の動きベクトルの大きさを制御している。【００１７】
これにより、特許文献１の撮影装置では、移動する被写体が撮影画像に映り込んでも、その被写体の動きベクトルの影響を抑えて、画像ぶれを補正することができる。【００１８】
また、特許文献２および３には、撮影画像の全領域における動きベクトルを用いることなく、撮影画像の外側部分の動きベクトルだけを使ってカメラ動きを検出する技術が開示されている。具体的には、特許文献２の撮影装置は、撮影画像の四隅の動きベクトルを用いてカメラ動きを検出している。つまり、撮影画像において、その中央部分には動きのある被写体が映り、四隅などの外側部分には動きのない背景が映っている場合が多い。したがって、これら特許文献２および３の撮影装置は、その外側部分の動きベクトルだけを使ってカメラ動きを検出し、その検出したカメラ動きに応じて切り出しフレームを移動させている。【００１９】
これにより、特許文献２および３の撮影装置では、移動する被写体が撮影画像に映り込んでも、その被写体のない外側部分の動きベクトルだけを用いてカメラ動きを検出しているため、画像ぶれを補正することができる。
【特許文献１】特許第２５０６４６９号（図１、図２）
【特許文献２】特開平６−３５０８９５号公報（段落０００７、図２）
【特許文献３】特開平５−２２６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記特許文献１〜３の撮影装置では、カメラ動きを精度よく検出することができず、画像ぶれを適切に補正することができないという問題がある。【００２１】
つまり、上記特許文献１の撮影装置では、被写体の動きが激しいと、各ブロックの動きベクトルの分散度が大きくなり、撮影画像全体の動きベクトルの大きさを抑えてしまう。その結果、発散度が大きいほど、カメラ動きを適切に検出することができず、画像ぶれの適切な補正ができないのである。特に、ビデオカメラは、動きのある被写体を中心に撮影するため、ビデオカメラでは、スチルカメラよりもカメラ動きの検出が困難となる。【００２２】
また、上記特許文献２および３の撮影装置では、撮影画像の外側部分に動きのある被写体が大きく映っている場合には、その外側部分において検出される複数の動きベクトルのばらつきが大きく、その結果、カメラ動きを精度よく検出することができず、画像ぶれの適切な補正ができない。【００２３】
そこで、本発明は、かかる問題に鑑みてなされたものであって、カメラ動きを精度よく検出して適切に画像ぶれを補正する撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記目的を達成するために、本発明に係る撮影装置は、画像を撮影して撮影された前記画像のぶれを補正する撮影装置であって、画像を撮影する撮影手段と、前記撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力手段と、前記撮影手段によって撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出手段と、前記動き検出手段により導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整手段と、前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整手段により調整された大きさの前記外側の領域における、前記動き検出手段によって検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力手段から出力される画像のぶれを補正する補正手段とを備えることを特徴とする。【００２５】
例えば、撮影者が動画像を撮影するときには、一般に、撮影者は動きのある被写体が画面の中央に映るように撮影する。したがって、撮影画像または入力画像である動画像の内側の領域、例えばフレーミング領域には、撮影装置の動き（ぶれ）を適切に特定し得るような動画像の動きが少なく、逆に、外側の領域（外枠領域）には、撮影装置の動き（ぶれ）を適切に特定し得るような動画像の動きが多い。【００２６】
そこで本発明では、内側の領域における画像の動きに関わらず、外側の領域における画像の動きに応じてフレーミング領域を移動させることによって、被写体の動きに影響されることなく、撮影装置の動き（ぶれ）を相殺する方向および距離にフレーミング領域を適切に移動させることができ、その結果、被写体の動きが激しくても適切にフレーミング領域の画像ぶれを補正することができる。【００２７】
つまり、撮影者が撮影したい被写体が動いていても、その被写体の周辺に存在する静止物体を外側の領域（外枠領域）内に捉えることができ、従って、静止物体の動きベクトルを捉えることで安定した画像ぶれ補正が可能になる。【００２８】
さらに、本発明では、外側の領域における複数の動きベクトルの検出精度が導出され、その検出精度が所定の基準を満たすように、外側の領域の大きさが調整される。例えば、その検出精度は複数の動きベクトルの分散の逆数により示される。【００２９】
これにより、外側の領域に動きのある被写体が大きく映っている場合には、その領域における複数の動きベクトルの分散が大きく、検出精度が所定の基準値よりも低くなるため、検出精度がその基準値よりも高くなるように、例えば外側の領域が大きく調整される。つまり、外側の領域が大きく調整されると、その領域では、静止している背景の占める割合が多くなることがあり、検出精度が高くなるのである。その結果、動きのある被写体による影響を抑えて、検出精度が高い、つまり分散が小さい複数の動きベクトルに応じてカメラ動き（撮影装置の動き）を精度よく検出することができ、適切に画像ぶれを補正することができる。【００３０】
なお、本発明は、このような撮影装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体、録画および再生機能を有する撮影記録再生装置としても実現することができる。
【発明の効果】
【００３１】
本発明の撮影装置は、カメラ動きを精度よく検出して適切に画像ぶれを補正することができるという作用効果を奏し、撮影者は画像ぶれを防止するために、三脚を使ったり、脇を締めてカメラを構えるなどの配慮を不要とし、フレーミングを中心とした撮影行為そのものに集中することができる。また、画像ぶれに関する知識が乏しい初心者でも画像ぶれのない映像を撮影できるため、ビデオ撮影の手軽さが向上し、利用者層や利用シーンの拡大につながる。
【図面の簡単な説明】
【００３２】
【図１Ａ】図１Ａは、従来の電子式画像ぶれ補正の原理を説明するための説明図である。
【図１Ｂ】図１Ｂは、従来の電子式画像ぶれ補正の原理を説明するための他の説明図である。
【図１Ｃ】図１Ｃは、従来の電子式画像ぶれ補正の原理を説明するためのさらに他の説明図である。
【図２】図２は、従来の撮影装置が備える動きベクトル検出装置の構成を示す構成図である。
【図３Ａ】図３Ａは、同上のブロックごとの動きベクトルを示す図である。
【図３Ｂ】図３Ｂは、同上の他のブロックごとの動きベクトルを示す図である。
【図４】図４は、同上の動きベクトル係数と発散度との関係を示す図である。
【図５】図５は、本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【図６】図６は、同上の動きベクトルの算出方法の一例を説明する図である。
【図７】図７は、同上のフレーミング領域と外枠領域を示す図である。
【図８Ａ】図８Ａは、同上の静止物体の検出に外枠領域を用いる理由を説明する図である。
【図８Ｂ】図８Ｂは、同上の静止物体の検出に外枠領域を用いる理由を説明する他の図である。
【図９】図９は、同上の動きベクトルから静止物体を検出する方法を説明するための図である。
【図１０】図１０は、同上の外枠領域の動きベクトルを示す図である。
【図１１Ａ】図１１Ａは、同上の静止物体を撮影できない場合を示す図である。
【図１１Ｂ】図１１Ｂは、同上の静止物体を撮影できない他の場合を示す図である。
【図１２】図１２は、同上の拡大処理を行う出力画像サイズ調整部の内部構成例を示すブロック図である。
【図１３】図１３は、同上のウェーブレット変換による多重解像度表現の例を示す図である。
【図１４】図１４は、同上の画像特徴ベクトルを算出する出力画像サイズ調整部の内部構成例を示すブロック図である。
【図１５】図１５は、同上の撮影装置の動作を示すフローチャートである。
【図１６Ａ】図１６Ａは、同上の静止物体の動きベクトルの類似度を説明するための説明図である。
【図１６Ｂ】図１６Ｂは、同上の静止物体の動きベクトルの類似度を説明するための他の説明図である。
【図１７】図１７は、同上の撮影装置の各構成要素の動作タイミングを示す図である。
【図１８】図１８は、本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。
【図１９】図１９は、同上の静止物体の動きベクトル検出精度と外枠領域変更率との関係の一例を示す図である。
【図２０】図２０は、同上の外枠領域が広げられる様子を示す図である。
【図２１】図２１は、同上の撮影装置の動作を示すフローチャートである。
【図２２】図２２は、同上の撮影装置の各構成要素の動作タイミングを示す図である。
【図２３】図２３は、本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。
【図２４Ａ】図２４Ａは、同上の撮影者によるズーム倍率の変更操作の具体例を示す図である。
【図２４Ｂ】図２４Ｂは、同上の撮影者によるズーム倍率の変更操作の他の具体例を示す図である。
【図２４Ｃ】図２４Ｃは、同上の撮影者によるズーム倍率の変更操作のさらに他の具体例を示す図である。
【図２５】図２５は、同上の変形例に係る撮影装置の構成を示すブロック図である。
【図２６】図２６は、本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。
【図２７】図２７は、同上のフレーミング領域と外枠領域との独立関係を示す図である。
【図２８】図２８は、本発明の実施の形態５に係る撮影装置の構成を示すブロック図である。
【図２９】図２９は、本発明の実施の形態６に係る撮影記録再生装置の構成を示すブロック図である。
【図３０】図３０は、同上の記録メディア部のデータ構成の一例を示す図である。
【図３１】図３１は、本発明の実施の形態７に係る撮影記録再生装置の構成を示すブロック図である。
【図３２】図３２は、同上の記録メディア部のデータ構成の一例を示す図である。
【符号の説明】
【００３３】
１００、２００、３００、４００  撮影装置
５００、６００  撮影記録再生装置
１０１  被写体
１０２  出力画像
１０３  撮像センサ部
１０４  焦点距離固定レンズ系
１０６  動きベクトル算出部
１０８、４０２  フレーミング領域設定部
１０９  フレーミング領域表示部
１１１，４０１  静止物体検出部
１１３  カメラ動き算出部
１１５  フレーミング領域補正部
１１７  補正フレーミング領域切り出し部
１１９  表示画像サイズ調整部
１２０  出力画像サイズ調整部
１２１  出力部
１２２  出力画像サイズ選択部
２０２  焦点距離可変レンズ部
２０５  外枠領域調整部
２０７、３０２、４０３  焦点距離算出部
３０１  ズーム倍率指定部
５０１、６０１  撮影記録部
５０２、６０２  再生部
５０３、６０４  記録メディア部
５０６  再生指示部
【発明を実施するための最良の形態】
【００３４】
以下、本発明の実施の形態について図面を参照して詳細に説明する。【００３５】
（実施の形態１）
本実施の形態における撮影装置は、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。【００３６】
図５は、本発明の実施の形態１に係る撮影装置１００の構成を示すブロック図である。【００３７】
本実施の形態における撮影装置１００は、被写体１０１を動画像として撮影し、動画像である出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、被写体１０１の動きが激しくても適切に出力画像１０２の画像ぶれを補正する。【００３８】
このような撮影装置１００は、撮像センサ部１０３、焦点距離固定レンズ系１０４、動きベクトル算出部１０６、フレーミング領域設定部１０８、フレーミング領域表示部１０９、静止物体検出部１１１、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、および出力画像サイズ選択部１２２を備えている。【００３９】
つまり、本実施の形態における撮影装置１００は、画像を撮影する撮影手段たる撮像センサ部１０３と、撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力部１２１と、撮影手段によって撮影された画像の空間領域のうちの外側の領域における画像の動きを検出する動き検出手段たる動きベクトル算出部１０６および静止物体検出部１１１と、空間領域のうちの内側の領域における画像の動きに関わらず、動き検出手段によって検出された、外側の領域における画像の動きに応じて、フレーミング領域を移動させることにより、出力手段から出力される画像のぶれを補正する補正手段たるカメラ動き算出部１１３およびフレーミング領域補正部１１５とを備える。【００４０】
出力画像１０２は、たとえば、撮影装置１００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置１００に接続されたビデオ記録装置５０に記録される。【００４１】
撮像センサ部１０３は、焦点距離固定レンズ系１０４によって結像された被写体１０１の像を入力画像（撮影画像）１０５として出力する。【００４２】
動きベクトル算出部１０６は、入力画像１０５の特徴点の動きを動きベクトルとして算出し、その動きベクトルを動きベクトル信号１０７として出力する。【００４３】
図６は、動きベクトルの算出方法の一例を示す図である。【００４４】
例えば、撮影画像は、時刻Ｔ１の撮影画像１５１から時刻Ｔ２の撮影画像１５２に変化する。ここで、画像１５０は、時刻Ｔ１での撮影画像１５１と、時刻Ｔ２での撮影画像１５２を重ね合わせたものである。動きベクトル算出部１０６は、この例では、被写体１０１の目の位置にある特徴点１５５と特徴点１５７との位置の違いから、動きベクトル１５３を算出する。また、動きベクトル算出部１０６は、肩の位置にある特徴点１５６と特徴点１５８との位置の違いから、動きベクトル１５４を算出する。また、動きベクトル算出部１０６は、隣接画素の画素値の違いを利用し、たとえば、隣接画素の画素値の違いが予め設定された閾値より大きい位置を、上述の特徴点として検出している。【００４５】
このように動きベクトル算出部１０６は、まず、入力画像（撮影画像）に含まれる全ての特徴点を検出し、その入力画像（撮影画像）と他の時刻の入力画像（撮影画像）との間での特徴点の動きを動きベクトルとして検出している。【００４６】
図７は、入力画像１０５内に設定されるフレーミング領域および外枠領域を示す図である。【００４７】
フレーミング領域設定部１０８は、図７に示すように、入力画像１０５内にフレーミング領域１６０と外枠領域１６１を設定する。【００４８】
フレーミング領域１６０は、図７に示す点線の四角で囲まれた領域であって、フレーミング領域表示部１０９に表示される画像の領域である。なお、撮影者６０は、表示されたフレーミング領域に表示される画像を、撮影されている画像（画角）だと理解して、カメラ位置や向きを調整する。【００４９】
外枠領域１６１は、入力画像１０５におけるフレーミング領域１６０以外であり、後述するように、この領域で算出された動きベクトルを用いて画像ぶれを補正するために設定される。【００５０】
つまり、フレーミング領域設定部１０８は、フレーミング領域１６０を、たとえば、点１６２と点１６３のｘ座標とｙ座標で定義し、それらの座標を示す情報をフレーミング領域設定信号１１０として出力する。【００５１】
静止物体検出部１１１は、動きベクトル信号１０７の示す動きベクトルのうち、外枠領域１６１で算出された動きベクトルのみを使って静止物体を検出する。即ち、静止物体検出部１１１は、入力画像１０５に含まれる全ての特徴点の動きベクトルの中から、外枠領域１６１の動きベクトルを抽出する。さらに、静止物体検出部１１１は、その外枠領域１６１の動きベクトルの中から、静止物体の動きベクトルと推定されるものだけを抽出する。【００５２】
一般に、広角撮影した場合、被写体の背景に静止物体が撮影されることが多い。したがって、上述のように外枠領域１６１のみを用いる理由は、被写体の動きを記録したいビデオカメラの撮影では、撮影者６０がフレーミングした領域（つまりフレーミング領域１６０）の周辺に被写体背景として静止物体が撮影されると、期待されるからである。つまり、撮影手段たる撮像センサ部１０３は、動いている被写体１０１の画像が上述の内側の領域に収まるように撮影する。【００５３】
図８Ａおよび図８Ｂは、フレーミング領域１６０および外枠領域１６１に表示される画像の例を示す図である。【００５４】
図８Ａに示すように、撮影者６０と静止背景７０が、一続きの地面や建物の床、壁等に接地している場合、撮影者６０が静止していれば、撮影者６０と静止背景７０の位置関係は固定され、静止背景７０は入力画像１０５上で同じ位置に撮影される。また、地面や建物の床、壁などは、一般にテクスチャ（模様や光沢、微小な凹凸によって生じる陰影などの総称）を持ち、平らな地面や床面、壁面でも輝度の違いから特徴点を検出することができる。【００５５】
そこで、外枠領域１６１のみを用いることによって、図８Ａに示す地面７１や、図８Ｂに示す地面７２や壁面７３も静止物体として利用でき、外枠領域１６１に静止物体を検出できる可能性が高まる。一方、撮影者６０が持つ撮影装置１００の構えが動いた場合、静止背景７０や地面７１、地面７２、壁面７３などの静止物体は入力画像１０５上で異なった位置に撮影され、その結果、図６を用いて説明したように、動きベクトルが発生する。これらの動きベクトルが画像ぶれの方向と大きさを表わし、これらの動きベクトルを利用して、図１Ｃに示した要領で画像ぶれを補正することができる。【００５６】
図９は、静止物体検出部１１１が静止物体（静止物体の動きベクトル）を検出する方法を説明するための図である。【００５７】
例えば、時刻Ｔ１から時刻Ｔ２の経過の間に、被写体１０１は、被写体１０１から見て左前方へ移動する。画像１５０は、時刻Ｔ１の入力画像９０１と、時刻Ｔ２の入力画像９０２と、動きベクトルとを重ねて表示した画像である。静止物体の動きベクトルは、撮影装置１００の移動によって生じるため、すべて類似の方向と大きさを持つ。【００５８】
ここで、撮影されるシーンの３次元の空間情報が撮像センサ部１０３の２次元面に投影されるため、撮影装置１００から遠い距離にある静止物体と近い距離にある静止物体では、動きベクトルの方向と大きさが完全に一致することはないが、概ね同じ傾向を示す。また、焦点距離固定レンズ系１０４の周辺ひずみのために、画面中央と画面周辺で動きベクトルが異なる場合もある。【００５９】
そこで、静止物体検出部１１１は、動きベクトルの方向と大きさに許容範囲を設けて、外枠領域１６１の動きベクトルのうち、この許容範囲内に収まる動きベクトルを、静止物体の動きベクトルと解釈して、その動きベクトルの示す動きを撮影装置１００の画像ぶれとする。また、動きベクトルの始点と終点のどちらかがフレーミング領域１６０内に存在する場合があるが、フレーミング領域１６０の中にも静止物体（図９に示す静止背景７０と静止背景７４）が撮影される場合がある。したがって、静止物体検出部１１１は、動きベクトルの始点あるいは終点が外枠領域１６１に存在すれば、その動きベクトルが外枠領域１６１の動きベクトルに属すると判断する。【００６０】
図１０は、外枠領域１６１の動きベクトルを示す図である。【００６１】
静止物体検出部１１１は、図１０の実線の矢印に示す動きベクトルを、外枠領域１６１の動きベクトルとして抽出する。つまり、静止物体検出部１１１は、外枠領域１６１内に少なくとも始点、あるいは終点を有する動きベクトルのみを抽出する。そして、静止物体検出部１１１は、その抽出した動きベクトルの平均ベクトルを求め、許容範囲として平均ベクトルとの距離（距離閾値ｔｖ）を設定し、距離閾値ｔｖよりも平均ベクトルとの距離が小さい動きベクトルを静止物体の動きベクトルとして検出する。【００６２】
即ち、動き検出手段たる動きベクトル算出部１０６および静止物体検出部１１１は、上述の外側の領域において複数の動きベクトルを検出するとともに、検出された複数の動きベクトルの中から、その複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出している。【００６３】
ところで、外枠領域１６１に静止物体を撮影できないケースがある。【００６４】
図１１Ａおよび図１１Ｂは、静止物体を撮影できないケースを示す図である。【００６５】
例えば、図１１Ａに示すように、撮影装置１００と被写体１０１の距離が非常に近い場合や、図１１Ｂに示すように、撮影者６０が移動手段８０に載って移動している場合には、静止物体を撮影することができない。いずれの場合も、画面全体で動きが観察されるような状態であり、動きを感じる映像であることが自然な状況である。【００６６】
従って、静止物体検出部１１１は、入力画像１０５に基づいて、静止物体を撮影しているか否かを判別し、静止物体を撮影していると判別したときには、上述のように静止物体の動きベクトルを検出する。一方、静止物体検出部１１１は、静止物体を撮影していないと判別したときには、静止物体の動きベクトルの検出を行わず、画像ぶれ補正が行われないような補正中断処理を実行する。この場合、撮影装置１００は、入力画像１０５をそのまま出力画像１０２として出力する。【００６７】
例えば、静止物体検出部１１１は、外枠領域１６１の動きベクトルと、フレーミング領域１６０の動きベクトルとがそれぞれ略等しい大きさおよび向きを有する場合に、静止物体を撮影していないと判別する。または、静止物体検出部１１１は、外枠領域１６１の動きベクトルのばらつきが非常に大きい場合に、静止物体を撮影していないと判別する。【００６８】
以上より、静止物体検出部１１１は、静止物体を撮影していると判別したときには、外枠領域１６１に属する動きベクトルをもとに静止物体（静止物体の動きベクトル）を検出し、検出された１つまたは複数の動きベクトルを静止物体動きベクトル信号１１２として出力する。一方、静止物体を撮影していないと判別したときには、静止物体検出部１１１は、静止物体の動きベクトルの検出を行わず、補正中断処理として、静止物体なしを示す静止物体動きベクトル信号１１２を出力する。たとえば、静止物体検出部１１１は、静止物体なしを示す静止物体動きベクトル信号１１２として、すべての成分が０の動きベクトルを示す静止物体動きベクトル信号１１２や、動きベクトルの大きさの最大値（具体的には、画像の対角の長さ）よりも明らかに大きな値をすべての成分に有する動きベクトルを示す静止物体動きベクトル信号１１２を出力する。【００６９】
後述するカメラ動き算出部１１３は、静止物体なしを示す静止物体動きベクトル信号１１２を受けた場合は、カメラ動きを算出する動作を停止する。その結果、フレーミング領域補正部１１５の動作も停止され、補正フレーミング領域切り出し部１１７は、撮像センサ部１０３から取得した入力画像１０５をそのまま出力する。【００７０】
つまり、撮影装置１００は、撮影手段たる撮像センサ部１０３によって撮影された画像の動きに基づいて、ぶれを補正すべきか否かを判別する補正判別手段を静止物体検出部１１１に備え、その補正判別手段によって補正すべきでないと判別されたときには、補正手段たるカメラ動き算出部１１３およびフレーミング領域補正部１１５はフレーミング領域の移動を中止する。これにより、撮影された状況に応じて画像ぶれ補正機能が停止され、画面全体で動きが観察されるような映像や、動きを感じる映像を出力することができる。【００７１】
カメラ動き算出部１１３は、静止物体検出部１１１から取得した静止物体動きベクトル信号１１２からカメラ動き信号１１４を算出する。上述したように、静止物体動きベクトル信号１１２は、方向と大きさが許容範囲内で異なる複数の動きベクトルを有する。そこで、カメラ動き算出部１１３は、これらの単純な平均や頻度分布による加重平均などで１本の動きベクトルに変換し、この動きベクトルと逆方向で同じ大きさの動きベクトル（カメラ動き）をカメラ動き信号１１４として出力する。つまり、上述の補正手段は、静止物体の画像の動きベクトルの平均を示す平均動きベクトルを算出する算出手段たるカメラ動き算出部１１３を備えている。【００７２】
フレーミング領域補正部１１５は、カメラ動き算出部１１３から取得したカメラ動き信号１１４を使って、画像ぶれを相殺する位置にフレーミング領域を補正する。補正の要領は図１Ａ〜図１Ｃを用いて説明した処理と同じである。すなわち、カメラ動き信号１１４は、図１Ｂのカメラ動き１４と同様の動きを示す。そこで、フレーミング領域補正部１１５は、フレーミング領域設定部１０８からフレーミング領域設定信号１１０を取得すると、そのフレーミング領域設定信号１１０の示すフレーミング領域１６０の座標（図７に示す点１６２，１６３の座標）を、カメラ動き信号１１４の示す動きベクトルと逆方向で同じ長さのカメラ動き補正ベクトルだけ移動させる。そして、フレーミング領域補正部１１５は、座標を移動することによって補正されたフレーミング領域の位置を示す情報を、補正フレーミング領域信号１１６として出力する。つまり、上述の補正手段は、上述の平均動きベクトルに応じてフレーミング領域１６０を移動させるフレーミング領域補正部１１５を備えている。【００７３】
補正フレーミング領域切り出し部１１７は、撮像センサ部１０３から入力画像１０５を取得して、フレーミング領域補正部１１５から補正フレーミング領域信号１１６を取得する。そして、補正フレーミング領域切り出し部１１７は、入力画像１０５から、補正フレーミング領域信号１１６の示す、画像ぶれ補正されたフレーミング領域を切り出し、その切り出した画像を画像ぶれ補正フレーミング画像１１８として出力する。【００７４】
つまり、本実施の形態における撮影装置１００は、撮影された画像からフレーミング領域１６０の画像を切り出す切出手段たる補正フレーミング領域切り出し部１１７を備えている。【００７５】
画像ぶれ補正フレーミング画像１１８は、撮影者６０が撮影装置１００の位置と向きを制御して決定した撮影画角に一致し、撮影装置１００の位置と向きの変更時に生じた画像ぶれが解消されている。【００７６】
表示画像サイズ調整部１１９は、補正フレーミング領域切り出し部１１７から画像ぶれ補正フレーミング画像１１８を取得し、その画像サイズを、フレーミング領域表示部１０９の表示画像サイズに合うように変換する。【００７７】
フレーミング領域表示部１０９は、画像サイズが変換された画像ぶれ補正フレーミング画像１１８を表示する。【００７８】
撮影者６０は、フレーミング領域表示部１０９に表示された画像ぶれ補正フレーミング画像１１８を見ることで、撮影画角を目視確認できる。通常、撮影装置１００の大きさから、フレーミング領域表示部１０９に用いられるディスプレイパネルの対角長さは、３インチ前後であり、水平画素数は３２０画素、ライン数は２４０ラインを超えない程度である。従って、ディスプレイパネルの水平画素数とライン数は、撮像センサ部１０３のそれよりも小さい場合が多く、表示画像サイズ調整部１１９での画像サイズ変換は実質、縮小処理になる。画像の縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。【００７９】
出力画像サイズ選択部１２２は、撮影者６０による操作に基づいて、複数の画像サイズの中から、出力部１２１から出力される出力画像１０２のサイズを選択する。そして、出力画像サイズ選択部１２２は、その選択された画像サイズを示す出力画像サイズ選択信号１２３を出力画像サイズ調整部１２０に出力する。つまり、出力画像サイズ選択部１２２は、目的とする出力画像１０２のサイズを出力画像サイズ調整部１２０に通知する。【００８０】
出力画像サイズ調整部１２０は、補正フレーミング領域切り出し部１１７から画像ぶれ補正フレーミング画像１１８を取得し、その画像サイズ（水平画素数とライン数）を、ディスプレイ装置４０に表示される画像のサイズまたはビデオ記録装置５０に記録される画像のサイズ、つまり上述の目的とする出力画像１０２のサイズに合うように変換する。そして、出力画像サイズ調整部１２０は、画像サイズが変換された画像ぶれ補正フレーミング画像１１８を出力画像１０２として出力する。【００８１】
なお、フレーミング領域設定部１０８によって、画像ぶれ補正フレーミング画像１１８の水平画素数とライン数が、目的とする出力画像１０２のそれと一致するように設計されている場合は、出力画像サイズ調整部１２０は、画像サイズを変換する必要はなく、画像ぶれ補正フレーミング画像１１８をそのまま出力画像１０２として出力する。【００８２】
また、画像ぶれ補正フレーミング画像１１８の水平画素数とライン数が、目的とする出力画像１０２のそれより大きい場合は、出力画像サイズ調整部１２０は、縮小処理を行う。たとえば、画像ぶれ補正フレーミング画像１１８のサイズが７２０画素×４８０ラインで、目的とする出力画像１０２のサイズが３６０画素×２４０ラインの場合、出力画像サイズ調整部１２０は、水平画素数とライン数ともに１／２に縮小する。縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。【００８３】
一方、画像ぶれ補正フレーミング画像１１８の水平画素数とライン数が、目的とする出力画像１０２のそれより小さい場合は、出力画像サイズ調整部１２０は、拡大処理を行う。つまり、本実施の形態における撮影装置１００は、上述の切出手段によって切り出された画像を拡大するサイズ調整手段たる出力画像サイズ調整部１２０を備えている。【００８４】
たとえば、画像ぶれ補正フレーミング画像１１８のサイズが７２０画素×４８０ラインで、目的とする出力画像１０２のサイズが２１６０画素×１４４０ラインの場合、出力画像サイズ調整部１２０は、水平画素数とライン数ともに３倍に拡大する。拡大処理には、バイリニア補間やバイキュービック補間などによる再サンプリングがあるが、補間処理では高周波成分を作り出すことが困難であり、通常、ボケを感じる鮮鋭度の低い画像となる。また、この傾向は、拡大率が多くなるほど強まり、フレーミング領域１６０が入力画像１０５よりも小さければ小さいほど、出力画像１０２の画質は劣化する。【００８５】
そこで、本発明では、出力画像サイズ調整部１２０は、拡大処理を行うときには、すでに撮影された過去の画像から出力画像１０２を構成する。すなわち、出力画像サイズ調整部１２０は、過去に撮影された画像を画像拡大用のデータベースとして用い、出力画像１０２をそのデータベースから参照した画像データで構成する。【００８６】
図１２は、拡大処理を行う出力画像サイズ調整部１２０の内部構成例を示すブロック図である。【００８７】
この出力画像サイズ調整部１２０は、画像拡大用データベース１７１を参照して、画像ぶれ補正フレーミング画像１１８を拡大するものであって、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５とから成る。また、画像拡大用データベース１７１は、リソースデータ部１７２と、低解像度リソースデータ部１７４とを備えている。【００８８】
この出力画像サイズ調整部１２０は、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。【００８９】
まず、出力画像サイズ調整部１２０による画像拡大用データベース１７１のリソースの構築について説明する。【００９０】
リソースデータ部１７２は、過去に撮影した画像を画像拡大用のリソースとして保持する。従って、リソースデータ部１７２は、補正フレーミング領域切り出し部１１７から出力される画像ぶれ補正フレーミング画像１１８を取得し、画像拡大用のリソースとして保持する。【００９１】
低解像度化部１７３は、目的とする出力画像１０２に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、リソースデータ部１７２が持つ画像拡大用のリソースを低解像度化する。撮像センサ部１０３の低解像度化モデルでは、予め、複数のサンプルを用いて低解像度画像と高解像度画像を撮影して画像縮小用のデータベースを作成したり、複数のサンプルから解析的に低解像度化関数を導出する。あるいは、画像拡大用のリソースにローパスフィルタとサブサンプリングを施すことを低解像度化モデルとする。【００９２】
低解像度化部１７３は、低解像度化されたリソースを低解像度リソースデータ部１７４に格納する。このとき、低解像度化部１７３は、リソースデータ部１７２の画像拡大用のリソース（過去に撮影された高解像度の画像）と、そのリソースを低解像化して生成されたリソース（低解像度の画像）とを対応付けておく。したがって、画像拡大用データベース１７１を利用すれば、低解像の画像を高解像度の画像に置き換えることができる。なお、リソースデータ部１７２および低解像度リソースデータ部１７４は、低解像度と高解像度の画像を、ピクチャ単位や、ピクチャを構成するブロック単位で格納していてもよい。【００９３】
次に、出力画像サイズ調整部１２０による拡大処理について説明する。【００９４】
類似データ検出部１７５は、補正フレーミング領域切り出し部１１７から画像ぶれ補正フレーミング画像１１８を取得する。そして、類似データ検出部１７５は、低解像度リソースデータ部１７４を参照して、画像ぶれ補正フレーミング画像１１８との類似性が最も高い低解像度リソース（画像）を検出する。そして、類似データ検出部１７５は、検出された低解像度リソースに対応付けられている元のリソース（高解像度の画像）をリソースデータ部１７２から見つけ出す。類似データ検出部１７５は、その見つけ出したリソースを出力画像１０２とし、リソースデータ部１７２から出力部１２１に出力させる。【００９５】
即ち、上述のサイズ調整手段たる出力画像サイズ調整部１２０は、画像ごとに、その画像を低解像度で示す低解像度リソースデータと、その画像を高解像度で示す高解像度リソースデータとを格納しているリソースデータ格納手段たる画像拡大用データベース１７１と、上述の切出手段によって切り出された画像と類似する画像を示す低解像度リソースデータを上述のリソースデータ格納手段から検索して、その低解像度リソースデータに対応する高解像度リソースデータをリソースデータ格納手段から取り出すことによって、上述の切り出された画像を拡大する類似データ検索手段たる類似データ検出部１７５とを備えている。【００９６】
なお、類似データ検出部１７５で用いられる類似性の尺度は任意であるが、たとえば空間周波数特性の類似性を用いてもよい。【００９７】
つまり、リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに格納されるデータは、画像ではなく、例えばウェーブレット係数などの画像特徴ベクトルであってもよい。【００９８】
図１３は、ウェーブレット変換による多重解像度表現の例を示す図である。【００９９】
出力画像サイズ調整部１２０は、ウェーブレット係数などの画像特徴ベクトルをリソースとして有する場合には、ｎ回のウェーブレット変換を行う。スケールｎ＝３の場合、出力画像サイズ調整部１２０は、１０個のウェーブレット係数を算出し、これらを要素とする１０次元の画像特徴ベクトル（ｗ１、ｗ２、  ．．．、  ｗ１０）を定義する。この場合、類似性の大小は、１０次元の画像特徴空間での画像特徴ベクトルの距離の大小になる。【０１００】
図１４は、画像特徴ベクトルを算出する出力画像サイズ調整部１２０の内部構成例を示すブロック図である。【０１０１】
出力画像サイズ調整部１２０は、第１の画像特徴ベクトル算出部１７６と、第２の画像特徴ベクトル算出部１７９と、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５と、出力画像算出部１８１とを備えている。【０１０２】
この出力画像サイズ調整部１２０は、上述と同様、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。【０１０３】
まず、画像拡大用データベース１７１のリソースが構築されている状態で、出力画像サイズ調整部１２０が拡大処理を行うときの処理について説明する。【０１０４】
リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに、高解像度の画像を示す画像特徴ベクトルと、その画像に対応する低解像度の画像を示す画像特徴ベクトルとが対応付けて格納されている。【０１０５】
第１の画像特徴ベクトル算出部１７６は、出力画像サイズ調整部１２０が拡大処理を行うときには、補正フレーミング領域切り出し部１１７から出力された画像ぶれ補正フレーミング画像１１８を取得し、その画像ぶれ補正フレーミング画像１１８を画像特徴ベクトル１７７に変換して類似データ検出部１７５に出力する。ここで、第１の画像特徴ベクトル算出部１７６は、たとえば、図１３に示す要領で画像特徴ベクトルを算出する。【０１０６】
類似データ検出部１７５は、画像ぶれ補正フレーミング画像１１８の画像特徴ベクトル１７７に最も近い画像特徴ベクトルを低解像度リソースデータ部１７４から見つけ出す。そして、類似データ検出部１７５は、その見つけ出した低解像度の画像特徴ベクトルに対応付けられた高解像度の画像特徴ベクトルをリソースデータ部１７２から出力させる。【０１０７】
即ち、上述の類似データ検索手段たる類似データ検出部１７５は、切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する。【０１０８】
出力画像算出部１８１は、リソースデータ部１７２から出力された高解像度の画像特徴ベクトルに対して、第１の画像特徴ベクトル算出部１７６で行われたウェーブレット変換の逆変換を行うことによって、出力画像特徴ベクトル１８０を出力画像１０２に変換して出力部１２１に出力する。【０１０９】
一方、出力画像サイズ調整部１２０が画像拡大用データベース１７１のリソースを構築するときには、第１の画像特徴ベクトル算出部１７６は、画像ぶれ補正フレーミング画像１１８に対応する高解像度の画像特徴ベクトル１７７を算出して画像拡大用データベース１７１のリソースデータ部１７２に格納する。このように格納された画像特徴ベクトル１７７は、拡大画像の画像特徴量として参照される。【０１１０】
低解像度化部１７３は、第１の画像特徴ベクトル算出部１７６で算出された画像特徴ベクトル１７７に対応する画像ぶれ補正フレーミング画像１１８を取得する。そして、低解像度化部１７３は、目的とする出力画像１０２に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、画像ぶれ補正フレーミング画像１１８を低解像度化して、低解像度化画像ぶれ補正フレーミング画像１７８を出力する。【０１１１】
第２の画像特徴ベクトル算出部１７９は、低解像度化画像ぶれ補正フレーミング画像１７８の画像特徴ベクトルを算出し、低解像度リソースデータ部１７４に格納する。第２の画像特徴ベクトル算出部１７９の画像特徴ベクトルの算出方法は、第１の画像特徴ベクトル算出部１７６と同一であり、その結果、リソースデータ部１７２との互換性が確保されている。【０１１２】
このように出力画像サイズ調整部１２０が構成されているため、類似データ検出部１７５は、画像ぶれ補正フレーミング画像１１８と最も類似度の高い低解像度のリソースを画像特徴量ベクトル空間で検出することができる。そして、検出された低解像度のリソースを生成するための元とされた高解像度のリソースをリソースデータ部１７２から参照し、出力画像特徴ベクトル１８０として出力することができる。【０１１３】
なお、類似データ検出部１７５の処理高速化のために、図１３に示すスケールｎのＬＬ成分などを用いて、参照範囲を一旦絞り込み、絞り込んだ範囲内で画像特徴ベクトルの距離比較を行う方法は有効である。【０１１４】
出力部１２１は、ディスプレイ装置４０やビデオ記録装置５０と同一のインターフェースを有し、出力画像１０２をディスプレイ装置４０やビデオ記録装置５０へ出力する。なお、ディスプレイ装置４０やビデオ記録装置５０は外部ビデオ機器の一例であり、本発明は外部ビデオ機器に制限を与えるものではない。【０１１５】
図１５は、本実施の形態における撮影装置１００の動作を示すフローチャートである。【０１１６】
まず、撮影装置１００は、以下に順次説明する３つの初期設定を行う（ステップＳ１００）。初期設定の１つめは、静止物体の動きベクトルを検出する際の動きベクトルの類似度（許容範囲）の設定である。【０１１７】
ステップＳ１００における初期設定の２つめは、フレーミング領域の設定である。たとえば、撮影装置１００のフレーミング領域設定部１０８は、フレーミング領域の水平画素数とライン数における、入力画像１０５の水平画素数とライン数に対する割合を設定する。入力画像１０５の水平画素数を１０８０画素、ライン数を７２０ラインとし、フレーミング領域の割合を７５％とした場合、フレーミング領域の水平画素数は８１０画素、ライン数は５４０ラインとなる。フレーミング領域の位置は、図７に示したように、フレーミング領域１６０の中心が入力画像１０５の中心と一致するように決められる。フレーミング領域１６０の設定は、撮影装置１００の内部構成であるフレーミング領域設定部１０８で行われる。なお、以上は一例であり、本発明はフレーミング領域１６０の設定方法を制限するものではない。たとえば、フレーミング領域１６０の入力画像１０５に対する水平画素数とライン数の割合を個別に設定しても構わない。フレーミング領域１６０の設定は、フレーミング領域設定部１０８が有するメモリから読み出すことで実行される。【０１１８】
ステップＳ１００における初期設定の３つめは、出力画像１０２の画像サイズの設定である。撮影装置１００の出力画像サイズ調整部１２０は、出力画像サイズ選択信号１２３に基づいて出力画像１０２のサイズを設定する。例えば、出力画像サイズ調整部１２０は、出力画像サイズ選択信号１２３がＤＶ（Digital Video）形式のサイズを示す場合は、目的とする出力画像１０２のサイズを７２０画素×４８０ラインに設定し、出力画像サイズ選択信号１２３がハイビジョン形式のサイズを示す場合は、目的とする出力画像１０２のサイズを１９２０画素×１０８０ラインに設定する。【０１１９】
ただし、フレーミング領域１６０のアスペクト比と、出力画像サイズ選択信号１２３の示す画像サイズのアスペクト比が異なる場合は、出力画像サイズ調整部１２０はアスペクト比の変換を行う。この場合は、出力画像サイズ調整部１２０はアスペクト比の変換方法をステップＳ１００で初期設定しておく。たとえば、変換方法には、フレーミング領域のうち、出力画像のアスペクト比に適合しない部分（たとえば、フレーミング領域の上下部分や左右部分）を切り落とす方法や、補間を使って出力画像の画素位置ごとにフレーミング領域から再サンプリングを行って画像を縦方向や横方向に引き伸ばしたり縮めたりする方法などがある。なお、本発明では、上述のようなアスペクト比の変換方法に制限されず、任意の方法でアスペクト比を変換してもよい。【０１２０】
このような出力画像１０２の画像サイズの設定は、撮影装置１００を起動した際には、出力画像サイズ調整部１２０が有するメモリからデータを読み出して実行される。その後、撮影者６０が、出力画像サイズ選択部１２２が表示する設定メニューから出力画像１０２の画像サイズを選択したときには、その選択された画像サイズを示す出力画像サイズ選択信号１２３が出力画像サイズ調整部１２０に入力される。つまり、撮影者６０による操作によって選択された画像サイズが目的とする出力画像１０２のサイズとして再設定される。【０１２１】
ステップＳ１００の初期設定に引き続き、撮影装置１００の撮像センサ部１０３は被写体１０１を撮影して入力画像１０５を出力する（ステップＳ１０１）。動きベクトル算出部１０６は、入力画像１０５の動きベクトルを算出し、動きベクトル信号１０７を出力する（ステップＳ１０２）。静止物体検出部１１１は、フレーミング領域設定部１０８が出力するフレーミング領域設定信号１１０をもとに、動きベクトル信号１０７の示す動きベクトルから、外枠領域に属する動きベクトルを抽出し、静止物体（静止物体の動きベクトル）を検出する（ステップＳ１０３）。そして、静止物体検出部１１１は、検出された静止物体の動きベクトルを、静止物体動きベクトル信号１１２として出力する。なお、静止物体が検出されなかった場合は、上述のように、静止物体なしを示す静止物体動きベクトル信号１１２を出力する。【０１２２】
カメラ動き算出部１１３は、静止物体動きベクトル信号１１２をもとにカメラ動きを算出し、カメラ動き信号１１４を出力する（ステップＳ１０４）。フレーミング領域補正部１１５は、フレーミング領域設定信号１１０で与えられるフレーミング領域をカメラ動き信号１１４の示す動きベクトルと逆方向に移動することで画像ぶれを補正し、移動されたフレーミング領域を示す補正フレーミング領域信号１１６を出力する（ステップＳ１０５）。補正フレーミング領域切り出し部１１７は、入力画像１０５から補正フレーミング領域信号１１６の示す領域を切り出し、画像ぶれを補正した画像ぶれ補正フレーミング画像１１８として出力する（ステップＳ１０６）。【０１２３】
表示画像サイズ調整部１１９は、画像ぶれ補正フレーミング画像１１８の画像サイズをフレーミング領域表示部１０９の画像サイズに調整し、フレーミング領域表示部１０９は、撮影者６０に対してフレーミング領域１６０の画像を表示する（ステップＳ１０７）。同様に、出力画像サイズ調整部１２０は、画像ぶれ補正フレーミング画像１１８の画像サイズを調整する（ステップＳ１０８）。ただし、ステップＳ１０８では、撮影者６０による操作に基づいて、任意のタイミングで出力画像サイズ選択信号１２３が出力され、出力画像１０２の画像サイズの変更が随時反映される。出力部１２１は、サイズ調整された出力画像１０２を撮影装置１００の外部へ出力する（ステップＳ１０９）。そして、撮影装置１００は、撮影継続か、撮影終了かを確認し（ステップＳ１１０）、撮影継続の場合は（ステップＳ１１０のＮｏ）、ステップＳ１０１からの処理を繰り返し実行し、撮影終了の場合は（ステップＳ１１０のＹｅｓ）、撮影の全ての動作を終了する。【０１２４】
なお、ステップＳ１０７と、ステップＳ１０８，Ｓ１０９とはそれぞれ逆の順序で行われても同時に行われてもよい。【０１２５】
図１６Ａおよび図１６Ｂは、図１５のステップＳ１００において設定される静止物体の動きベクトルの類似度（許容範囲）を説明するための説明図である。【０１２６】
動きベクトルは、図９で説明したように、時刻Ｔ１と時刻Ｔ２における同一画素値の特徴点の動きとして求められる。しかし、実際には、カメラノイズや照明の変化、被写体反射率の非等方性など、様々な原因で同一の特徴点であっても画素値が変化することがある。【０１２７】
したがって、図１６Ａの実線の矢印で示すように、静止物体の動きベクトルであっても、様々な方向や大きさを持つ。そこで、静止物体検出部１１１は、外枠領域１６１の動きベクトルの中から、類似の動きベクトルを外枠領域から集め、たとえば、カメラ動き算出部１１３がそれらの平均をもってカメラ動きとするなどの処理が必要になる。【０１２８】
具体的には、静止物体検出部１１１は、図１６Ｂに示すように、動きベクトルの方向と、その方向の動きベクトルの頻度との関係を示すヒストグラムを作成する。そして、静止物体検出部１１１は、動きベクトルを最大頻度から順に累積し、全体頻度の５０％までを類似ベクトル（静止物体の動きベクトル）の候補として、その他を切り捨てる。さらに、静止物体検出部１１１は、類似ベクトル候補の大きさの平均値と分散を算出し、たとえば分散の７５％以内に入るベクトルを抽出し、これを最終結果として、静止物体の動きベクトルとする。この場合、静止物体検出部１１１は、初期設定として、ヒストグラムの横軸を決めるために必要な動きベクトルの方向に対するピッチと、類似ベクトル候補を決めるために必要な累積頻度に対する割合と、類似ベクトル候補から最終結果を抽出するために必要になる分散値とを設定する。【０１２９】
なお、以上は一例であり、本発明は静止物体の動きベクトルの検出方法に制限を与えるものではない。また、静止物体の動きベクトルにおける類似度の設定は、静止物体検出部１１１が有するメモリからデータを読み出すことで実行される。【０１３０】
図１７は、撮影装置１００の各構成要素の動作タイミングを示す図である。【０１３１】
時間軸７００は、撮像センサ部１０３と出力部１２１が画像を出力する時間間隔ごとに、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４を示す。撮像センサ部１０３は、時刻Ｔ１で１枚目の画像である画像７０１を撮影して出力する。引き続き、撮像センサ部１０３は、時刻Ｔ２では画像７０２を出力し、時刻Ｔ３では画像７０３を出力する。【０１３２】
時刻Ｔ１で撮影された画像７０１は、動きベクトル算出部１０６に入力され、動きベクトル算出部１０６に内蔵するメモリにバッファリングされて、動きベクトルを算出するために必要となる時刻Ｔ２の画像７０２の入力まで保持される。同様に、時刻Ｔ１で撮影された画像７０１は、補正フレーミング領域切り出し部１１７に入力され、補正フレーミング領域切り出し部１１７が内蔵するメモリにバッファリングされて、フレーミング領域の切り出し位置を指示する補正フレーミング領域信号１１６の入力まで保持される。【０１３３】
期間７０４では、動きベクトル算出部１０６は、画像７０２を取得した段階で、画像７０１と画像７０２を用いた動きベクトルの算出を行う。引き続き、期間７０５では、静止物体検出部１１１が静止物体を検出し、期間７０６では、カメラ動き算出部１１３がカメラ動きを算出し、期間７０７では、フレーミング領域補正部１１５が画像ぶれ補正のためのフレーミング領域の切り出し位置を算出する。【０１３４】
期間７０８では、補正フレーミング領域切り出し部１１７は、メモリにバッファリングされている画像７０１から補正フレーミング領域信号１１６の指示通りの領域の画像を切り出す。期間７０９では、出力画像サイズ調整部１２０は、画像７０１から切り出された画像のサイズを変換する。最後に、出力部１２１は、時刻Ｔ３のタイミングで画像８０１を出力する。【０１３５】
時刻Ｔ２で撮影される画像７０２は、期間７１０において、時刻Ｔ３で撮影される画像７０３との間で動きベクトルを算出するため、期間７０４経過後も、動きベクトル算出部１０６内のメモリに保持される。同様に、時刻Ｔ２で撮影される画像７０２は、期間７１１において、フレーミング領域の切り出し位置が補正されるため、補正フレーミング領域切り出し部１１７内のメモリに保持される。【０１３６】
以上、時刻Ｔ１で撮影された画像７０１は、時刻Ｔ３で画像ぶれを補正した画像８０１として出力される。時刻Ｔ２以降も同様で、時刻Ｔ２で撮影された画像７０２が時刻Ｔ４で画像８０２として出力される。【０１３７】
ところで、カメラの３次元的な動きは、回転動きと並進動きに分解できる。上述したフレーミング領域の大きさを固定し、フレーミング領域の位置を変更して画像ぶれを補正する方法は、主に回転動きによって発生する画像ぶれを補正する。一方、並進動きによって発生する画像ぶれは、フレーミング領域の大きさを変更することで補正される。【０１３８】
そこで、回転動きと並進動きを統合的に捉えた場合には、カメラ動き算出部１１３およびフレーミング領域補正部１１５は、３次元のアフィン変換を行い、カメラの回転動きと並進動きを統合的に検出して、フレーミング領域の位置および大きさを変更する。このような統合的な検出は、３次元のアフィン変換行列の係数を複数の動きベクトルで最小二乗近似することに相当する。以上のように、統合的な検出を３次元のアフィン変換で一般化すれば、図１Ａ〜図１Ｃで説明したような大きさ固定のフレーミング領域１６０の位置を変更する場合よりも正確な画像ぶれ補正が可能になる。【０１３９】
なお、本発明は、この実施の形態における撮影装置１００として実現することができるだけでなく、このような撮影装置１００が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。【０１４０】
以上のように、本実施の形態における撮影装置１００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置１００は外枠領域１６１の静止物体でカメラ動きを検出するため、画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。【０１４１】
（実施の形態２）
本実施の形態における撮影装置は、実施の形態１の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態１の撮影装置の特徴を有するとともに、カメラ動きの検出精度に応じて外枠領域の大きさを変更して、画像ぶれの補正精度を高めることができる点に特徴がある。【０１４２】
図１８は、本発明の実施の形態２に係る撮影装置２００の構成を示すブロック図である。なお、図５に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０１４３】
本実施の形態における撮影装置２００は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、動きベクトル算出部１０６、フレーミング領域表示部１０９、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、出力画像サイズ選択部１２２、静止物体検出部２０１、焦点距離可変レンズ部２０２、フレーミング領域設定部２０３、外枠領域調整部２０５、焦点距離算出部２０７、および焦点距離制御部２０９を備えている。【０１４４】
出力画像１０２は、たとえば、撮影装置２００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置２００に接続されたビデオ記録装置５０に記録される。【０１４５】
静止物体検出部２０１は、図９で説明したように、外枠領域１６１に属する動きベクトルの中から静止物体の動きを検出する。この際に、静止物体検出部２０１は、静止物体の動きベクトルの検出精度を計測し、これを基準値（以下、外枠領域変更基準値ｔｒと呼ぶ）と比較する。そして、静止物体検出部２０１は、検出精度が外枠領域変更基準値ｔｒより低い場合は、外枠領域１６１が広がるように外枠領域調整部２０５を制御する。その結果、撮影装置１００は、外枠領域１６１が広げられた状態で再び被写体１０１の撮影を行う。即ち、撮像センサ部１０３は、外枠領域１６１が広げられた状態で、再度、入力画像１０５を出力し、静止物体検出部２０１は、その入力画像１０５に基づいて静止物体の動きベクトルを検出しなおす。その結果、静止物体検出部２０１は、検出精度が外枠領域変更基準値ｔｒ以上である静止物体の動きベクトルを示す静止物体動きベクトル信号１１２を出力する。【０１４６】
つまり、上述の動き検出手段を構成する静止物体検出部２０１は、上述の外側の領域において複数の動きベクトルを検出するとともに、検出された複数の前記動きベクトルのばらつきを検出精度として導出する。そしてさらに、本実施の形態における撮影装置２００は、その検出精度が予め定められた基準を満たさない場合に、その検出精度が基準を満たすように上述の外側の領域の大きさを調整する領域調整手段たる外枠領域調整部２０５を備えている。【０１４７】
フレーミング領域設定部２０３は、外枠領域１６１の周縁と、フレーミング領域１６０の周縁とが一致するように、外枠領域調整部２０５により調整される外枠領域１６１の大きさに応じて、フレーミング領域１６０の大きさを設定する。【０１４８】
焦点距離可変レンズ部２０２は、撮像センサ部１０３の前に配置され、焦点距離を短くして撮影画角を広げることによって、外枠領域１６１が広がることによって狭まるフレーミング領域１６０の画角を一定に保つ。【０１４９】
本発明において、静止物体の動きベクトルの求め方とその検出精度の定義は任意である。たとえば、静止物体検出部２０１は、外枠領域１６１に属するすべての動きベクトルの平均を算出して、個々の動きベクトルとその平均との距離を閾値（以下、静止物体検出用閾値ｔｄという）と比較する。動きベクトルとその平均との距離が静止物体検出用閾値ｔｄより小さい場合は、静止物体検出部２０１は、判断対象の動きベクトルとその平均の類似度が高いという意味合いから、その判断対象の動きベクトルを静止物体の動きベクトルとする。【０１５０】
また、静止物体検出部２０１は、検出精度を計測するときには、たとえば、静止物体の動きベクトルの分散を用いる。この場合、静止物体検出部２０１は、静止物体の動きベクトルの分散を上述の外枠領域変更基準値ｔｒと比較する。そして、静止物体検出部２０１は、その分散が外枠領域変更基準値ｔｒより小さいと判断すると、単一物体の動きベクトルのみが検出されていて、かつ、これが静止物体の動きベクトルであると考えて、静止物体の動きベクトルの検出精度が十分であると判断する。静止物体の動きベクトルの検出精度が十分であると判断した場合は、静止物体検出部２０１は、静止物体動きベクトル信号１１２を出力する。または、静止物体検出部２０１は、静止物体の動きベクトルの検出精度が十分すぎると判断して、静止物体動きベクトル信号１１２を出力せず、外枠領域１６１を狭めて、再度、静止物体の動きベクトルが検出し直されるように外枠領域調整部２０５を制御する。つまり、静止物体検出部２０１は、静止物体の動きベクトルの検出精度を静止物体動きベクトル検出精度信号２０４として出力する。【０１５１】
逆に、静止物体検出部２０１は、静止物体の動きベクトルの分散が外枠領域変更基準値ｔｒより大きいと判断すると、静止物体の動きベクトルとして抽出されたベクトルの中に、移動物体の動きベクトルが混入していると判断する。したがって、この場合、静止物体検出部２０１は、静止物体の動きベクトルの検出精度は不十分であると判断して、静止物体動きベクトル信号１１２を出力せず、外枠領域１６１を広げて、再度、静止物体の動きベクトルが検出し直されるように外枠領域調整部２０５を制御する。つまり、静止物体検出部２０１は、静止物体の動きベクトルの検出精度を静止物体動きベクトル検出精度信号２０４として出力する。検出精度の高低を分散の大小で定義する場合は、分散の逆数を取り、分散が小さいときに検出精度が高いとすべきである。【０１５２】
なお、図１１Ａおよび図１１Ｂで説明したように、撮影装置２００と被写体１０１の距離が非常に近い場合（図１１Ａに示す場合）と、撮影者６０が移動手段８０に載って移動している場合（図１１Ｂに示す場合）は、画面全体で動きが観察されるような状態であり、動きを感じる映像であることが自然な状況である。このような状況では、画像ぶれ補正は必要なく、故に、静止物体の検出は不要である。【０１５３】
そこで、静止物体検出部２０１は、静止物体動きベクトル検出精度信号２０４を用いて、外枠領域１６１の調整処理を止め、同時に、静止物体動きベクトル信号１１２を用いて、画像ぶれ補正も止める。具体的に、静止物体検出部２０１は、第一に、個々の動きベクトルとそれらの動きベクトルの平均との距離が静止物体検出用閾値ｔｄを超える頻度を計測し、その頻度があらかじめ決められた閾値（静止物体確認閾値ｔｓ）を超える場合に、画面全体で動きがあると判断する。第二に、静止物体検出部２０１は、画面全体で動きがあると判断したら、例えば０を示す静止物体動きベクトル検出精度信号２０４を外枠領域調整部２０５に出力して、外枠領域１６１の調整を止める。第三に、静止物体検出部２０１は、画面全体で動きがあると判断したら、例えば全成分が０の動きベクトルを示す静止物体動きベクトル信号１１２、あるいは、動きベクトルの大きさの最大値（具体的には、画像の対角の長さ）よりも明らかに大きな値をすべての成分に有する動きベクトルを示す静止物体動きベクトル信号１１２を、カメラ動き算出部１１３に出力するなどして、カメラ動きの算出を停止し、画像ぶれ補正を止める。【０１５４】
外枠領域調整部２０５は、静止物体動きベクトル検出精度信号２０４の示す検出精度の高低に応じて、外枠領域を広げたり狭めたりする割合を調整し、次の撮影に用いる外枠領域１６１の座標を示す情報を外枠領域更新信号２０６として出力する。すなわち、静止物体動きベクトル検出精度信号２０４の示す検出精度が外枠領域変更基準値ｔｒより低い場合は、外枠領域調整部２０５は、検出精度が不十分であるとして、外枠領域１６１を広げるように調整する。【０１５５】
例えば、現在の時刻をＴ１、次のフレーム画像のタイミングをＴ２とすると、外枠領域調整部２０５は、（数１）によって、時刻Ｔ１のフレーミング領域１６０の幅Ｗｆ１を、時刻Ｔ２のフレーミング領域１６０の幅Ｗｆ２に変更する。【０１５６】
【数１】
2008114499.tif 000003
【０１５７】
ここでｃは外枠領域変更率である。外枠領域変換率ｃが１を超えると、フレーミング領域１６０の幅が短くなり、外枠領域１６１が広くなる。逆に、外枠領域変換率ｃが１を下回ると、フレーミング領域１６０の幅が長くなり、外枠領域１６１が狭くなる。【０１５８】
外枠領域調整部２０５は、図１９に示すような関係（関係式や変換テーブル）を予め設定しておくことで、このような外枠領域変更率ｃを静止物体動きベクトル検出精度信号２０４に基づいて算出する。【０１５９】
図１９は、外枠領域変更率ｃと静止物体の動きベクトルの検出精度との関係を示す図である。【０１６０】
図１９に示すように、外枠領域変更率ｃは、静止物体の動きベクトルの検出精度が高まるにつれて小さくなるように設定されている。【０１６１】
したがって、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより低い場合、外枠領域変更率ｃは１よりも大きくなる。その結果、（数１）に従って、外枠領域は広げられる。逆に、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより高い場合、外枠領域変更率ｃは１よりも小さくなる。その結果、（数１）に従って、外枠領域は狭められる。【０１６２】
外枠領域調整部２０５は、時刻Ｔ２のフレーミング領域１６０の幅Ｗｆ２を外枠領域更新信号２０６として、フレーミング領域設定部２０３に出力する。その結果、フレーミング領域設定部２０３は、時刻Ｔ２のフレーミング領域１６０の幅がＷｆ２となるようにそのフレーミング領域１６０を更新する。また、外枠領域調整部２０５は、撮影画角を変更するために、上述の外枠領域更新信号２０６を焦点距離算出部２０７に出力する。【０１６３】
なお、本実施の形態では、外枠領域更新信号２０６はフレーミング領域１６０の幅Ｗｆ２を示したが、これは一例であり、外枠領域１６１が一義的に定まるような情報であれば、どのような情報を示してもよい。たとえば、外枠領域更新信号２０６は、外枠領域１６１が占める入力画像１０５に対する面積比を示してもよい。また、図１９に示した静止物体の動きベクトルの検出精度と外枠領域変更率ｃとの関係も任意であり、本発明はこれに限定されない。【０１６４】
焦点距離算出部２０７は、外枠領域更新信号２０６に基づいて、時刻Ｔ２における焦点距離可変レンズ部２０２の焦点距離を算出する。【０１６５】
図２０は、時刻Ｔ１から時刻Ｔ２の間で外枠領域１６１が広げられる様子を示す図である。【０１６６】
例えば、時刻Ｔ１において、撮像センサ部１０３と焦点距離可変レンズ部２０２との距離、すなわち、焦点距離はｆ１であって、画角はθ１であり、フレーミング領域１６０の幅はＷｆ１である。また、撮像センサ部１０３の幅が水平画素数でＷｓである場合、時刻Ｔ１における外枠領域１６１の幅は（Ｗｓ−Ｗｆ１）である。【０１６７】
ここで、フレーミング領域１６０の幅Ｗｆ１を狭めて、外枠領域１６１を広くすべきことを示す外枠領域更新信号２０６が出力される。【０１６８】
このとき、焦点距離算出部２０７は、外枠領域更新信号２０６に基づいて焦点距離ｆ２（焦点距離ｆ１＞焦点距離ｆ２）を算出し、その焦点距離ｆ２を示す更新焦点距離信号２０８を焦点距離制御部２０９に出力する。【０１６９】
焦点距離制御部２０９は、その更新焦点距離信号２０８を取得すると、時刻Ｔ２に、焦点距離ｆ１をその更新焦点距離信号２０８の示す焦点距離ｆ２に変更する。【０１７０】
その結果、時刻Ｔ２では、画角がθ１からθ２に広がる。また、フレーミング領域１６０の幅は、外枠領域更新信号２０６の指示に従って、時刻Ｔ２ではＷｆ２に更新される。このとき、外枠領域１６１の幅は、（Ｗｓ−Ｗｆ１)から(Ｗｓ−Ｗｆ２)に広がる。このように外枠領域１６１が変更されると、再度、静止物体の動きベクトルの検出精度が確認される。【０１７１】
ところで、焦点距離算出部２０７は、以下の（数２）に基づいて、時刻Ｔ２におけるフレーミング領域１６０の幅をＷｆ２にするための焦点距離ｆ２を算出している。【０１７２】
【数２】
2008114499.tif 000004
【０１７３】
このように、焦点距離算出部２０７は、焦点距離を算出すると、その焦点距離を示す更新焦点距離信号２０８を焦点距離制御部２０９に出力する。なお、外枠領域１６１で検出される静止物体の動きベクトルの精度が十分すぎる場合は、焦点距離算出部２０７および焦点距離制御部２０９は、外枠領域１６１を狭めるために、焦点距離を長くしてもよい。【０１７４】
つまり、本実施の形態における撮影装置２００は、領域調整手段たる外枠領域調整部２０５によって上述の外側の領域が大きくなるほど、撮像センサ部１０３により撮影される画像の画角を広げる画角調整手段たる焦点距離算出部２０７および焦点距離制御部２０９を備えている。これにより外枠領域１６１の大きさが変動しても、フレーミング領域１６０の画角を一定に保つことができる。【０１７５】
なお、焦点距離可変レンズ部２０２の焦点距離を更新し続けても、静止物体検出部２０１において、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより高くならない場合が考えられる。この場合、静止物体検出部２０１による動きベクトルの更新がされず、フレーミング領域補正部１１５によるフレーミング領域１６０の更新もされない状態が続く。【０１７６】
そこで、静止物体検出部２０１は、外枠領域１６１の最大更新回数ｍを定め、更新回数がこの最大更新回数ｍに達した場合は、その時点で検出された静止物体の動きベクトルを静止物体動きベクトル信号１１２として出力してもよい。最大更新回数ｍは、撮像センサ部１０３と出力部１２１のフレームレートの違いで概ね、決まってくる。【０１７７】
たとえば、撮像センサ部１０３が６０フレーム／秒で、出力部１２１のフレームレートが１５フレーム／秒であったとする。この場合、出力部１２１が１フレーム出力する間に、撮像センサ部１０３は４フレーム撮影できる。従って、静止物体の検出を４回行うチャンスがある。ただし、静止物体の検出処理や焦点距離可変レンズ部２０２の焦点距離の変更などに時間を要するため、外枠領域の最大更新回数ｍは、たとえば、３回、あるいは２回となる。加えて、出力部１２１のすべてのフレーム画像で画像ぶれ補正の更新を完結せず、たとえば、出力部１２１の２フレームに１回のタイミングでフレーミング領域補正部１１５によるフレーミング領域１６０の更新がされる場合は、最大更新回数ｍは１つだけ増えて、たとえば、４回あるいは３回となる。【０１７８】
一方、撮像センサ部１０３と出力部１２１のフレームレートが同一である場合は、フレーミング領域補正部１１５によるフレーミング領域１６０の更新は、出力部１２１に対して間欠的になる。すなわち、撮像センサ部１０３と出力部１２１が同じフレームレートで動作するため、外枠領域１６１の調整回数を増やすほど、フレーミング領域補正部１１５の更新スピードが低下し、出力部１２１は画像ぶれ補正として同じ状態が続くことになる。以上より、最大更新回数ｍは１から４程度であり、撮像センサ部１０３と出力部１２１のフレームレートで決まってくる。なお、撮影装置２００の起動直後は、撮影装置２００は、最大更新回数ｍを０として外枠領域１６１の調整を行わず、一旦、一連の処理を実行し、出力部１２１から画像ぶれ補正を施した出力画像１０２を出力する。【０１７９】
また、最大更新回数ｍは、外枠領域調整部２０５での外枠領域１６１の広げ方、あるいは狭め方にも関係してくる。すなわち、最大更新回数ｍが１の場合は、外枠領域の大きさを変更するチャンスが１回であり、比較的大きめに外枠領域の大きさを変更することが望ましい。たとえば、フレーミング領域１６０の幅を半分にして外枠領域を広げる。一方、最大更新回数ｍが４の場合は、外枠領域の大きさを変更するチャンスが４回であり、最大更新回数ｍが１の場合よりは細かな制御が可能である。ただし、最大更新回数ｍが４の場合でも、１回目は比較的大きめに外枠領域の大きさを変更し、２回目、３回目、４回目と進むごとに変更の大きさを小さくしていくと、より細かな制御が可能になる。【０１８０】
以上の構成により、本実施の形態における撮影装置２００は、静止物体の動きベクトルの検出精度が低い場合は、外枠領域１６１を広げて静止物体動きベクトルの検出精度をリカバーする。この動作によって、カメラ動きの検出精度が高まり、画像ぶれの補正精度が向上する。逆に、静止物体の動きベクトルの検出精度が高い場合は、撮影装置２００は、外枠領域１６１を狭めて、静止物体動きベクトルの過剰検出を抑制する。この動作によって、フレーミング領域１６０が広がり、その分、出力画像サイズ調整部１２０での画像拡大率を抑えることができる。一般に、画像拡大率が高ければ高いほど、画像拡大処理は高度になり、図１２と図１４で示したリソースの取得が困難になる。そこで、外枠領域１６１を過剰に広げることを抑え、フレーミング領域１６０を広くすることで、出力画像サイズ調整部１２０に過剰な処理負荷が掛かることを防ぐことができる。【０１８１】
図２１は、本実施の形態における図１８に示した撮影装置２００の動作を示すフローチャートである。【０１８２】
まず、撮影装置２００は、以下に順次説明する６つの初期設定を行う（ステップＳ２００）。初期設定の１つめは、外枠領域変更基準値ｔｒの設定である。静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより低い場合は、撮影装置２００は、外枠領域１６１を広げて、再度、入力画像１０５を撮影し、静止物体の動きベクトルを検出しなおす。この外枠領域変更基準値ｔｒは、静止物体検出部２０１に設定される。【０１８３】
ステップＳ２００における初期設定の２つめは、静止物体検出用閾値ｔｄの設定である。これは、実施の形態１の図１６Ａおよび図１６Ｂと同様の設定である。【０１８４】
ステップＳ２００における初期設定の３つめは、静止物体の動きベクトル検出精度と外枠領域変更率ｃとの関係の設定である。図１９で説明したように、外枠領域変更率ｃは静止物体の動きベクトルの検出精度に依存するため、静止物体動きベクトルの検出精度を表わす尺度（たとえば、静止物体動きベクトルの分散の逆数）との関係が初期設定で与えられる。静止物体動きベクトル検出精度と外枠領域変更率ｃとの関係は、静止物体検出部２０１と外枠領域調整部２０５に設定される。【０１８５】
ステップＳ２００における初期設定の４つめは、外枠領域の最大更新回数ｍの設定である。焦点距離可変レンズ部２０２の焦点距離を更新して外枠領域１６１を広げ続けても、静止物体の動きベクトルの検出精度（たとえば、静止物体動きベクトルの分散）が外枠領域変更基準値ｔｒより小さくならない場合が考えられる。最大更新回数ｍは無限ループの状態を抜けるための基準値である。外枠領域１６１の最大更新回数ｍは、静止物体検出部２０１に設定される。【０１８６】
ステップＳ２００における初期設定の５つめは、フレーミング領域の設定である。これは、図１５のステップＳ１００と同様の設定である。【０１８７】
ステップＳ２００における初期設定の６つめは、出力画像１０２の画像サイズの設定である。これは、図１５のステップＳ１００と同様の設定である。【０１８８】
ステップＳ２００の初期設定に引き続き、撮影装置２００の撮像センサ部１０３は、焦点距離可変レンズ部２０２を通して被写体１０１を撮影して入力画像１０５を出力する（ステップＳ２０１）。動きベクトル算出部１０６は、入力画像１０５の動きベクトルを算出し、動きベクトル信号１０７を出力する（ステップＳ２０２）。静止物体検出部２０１は、外枠領域１６１に属する動きベクトル信号を抽出して、静止物体動きベクトル検出精度信号２０４を出力する（ステップＳ２０３）。【０１８９】
静止物体検出部２０１は、外枠領域変更基準値ｔｒと静止物体動きベクトル検出精度信号２０４の示す検出精度とを比較し（ステップＳ２０４）、その検出精度が外枠領域変更基準値ｔｒより高ければ（ステップＳ２０４のＹｅｓ）、検出精度が十分と判断し、静止物体動きベクトル信号１１２を出力する（ステップＳ２０５）。一方、検出精度が外枠領域変更基準値ｔｒより低ければ（ステップＳ２０４のＮｏ）、静止物体検出部２０１は、検出精度は不十分と判断し、静止物体動きベクトル信号１１２の出力を停止する。そして、外枠領域調整部２０５は、静止物体動きベクトル検出精度信号２０４に基づいて、次の時刻である時刻Ｔ２での撮影に用いる外枠領域１６１の座標を示す情報を外枠領域更新信号２０６として出力する（ステップＳ２０６）。【０１９０】
焦点距離算出部２０７は、外枠領域更新信号２０６に基づいて、時刻Ｔ２での焦点距離可変レンズ部２０２の焦点距離ｆ２を算出する。さらに、焦点距離制御部２０９は、焦点距離可変レンズ部２０２の焦点距離をその焦点距離ｆ２に変更する（ステップＳ２０７）。【０１９１】
カメラ動き算出部１１３は、ステップＳ２０５で出力された静止物体動きベクトル信号１１２を取得すると、その静止物体動きベクトル信号１１２をもとに、カメラ動きを算出し、カメラ動き信号１１４を出力する（ステップＳ２０８）。フレーミング領域補正部１１５は、フレーミング領域設定信号１１０の示すフレーミング領域をカメラ動き信号１１４の示す動きベクトルと逆方向に移動することで画像ぶれを補正し、補正フレーミング領域信号１１６を出力する（ステップＳ２０９）。【０１９２】
補正フレーミング領域切り出し部１１７は、入力画像１０５から補正フレーミング領域信号１１６の示す領域を切り出し、画像ぶれを補正した画像ぶれ補正フレーミング画像１１８として出力する（ステップＳ２１０）。表示画像サイズ調整部１１９は、画像ぶれ補正フレーミング画像１１８の画像サイズをフレーミング領域表示部１０９の画像サイズに調整し、フレーミング領域表示部１０９は、撮影者６０に対してフレーミング領域１６０の画像を表示する（ステップＳ２１１）。同様に、出力画像サイズ調整部１２０は、画像ぶれ補正フレーミング画像１１８の画像サイズを調整する（ステップＳ２１２）。ただし、ステップＳ２１２では、撮影者６０による操作に基づいて、任意のタイミングで出力画像サイズ選択信号１２３が出力され、出力画像１０２の画像サイズの変更が随時反映される。出力部１２１は、サイズ調整された出力画像１０２を撮影装置２００の外部へ出力する（ステップＳ２１３）。そして、撮影装置２００は、撮影継続か、撮影終了かを確認し（ステップＳ２１４）、撮影継続の場合は（ステップＳ２１４のＮｏ）、ステップＳ２０１からの処理を繰り返し実行し、撮影終了の場合は（ステップＳ２１４のＹｅｓ）、撮影の全ての動作を終了する。【０１９３】
なお、ステップＳ２１１とステップＳ２１２，Ｓ２１３とはそれぞれ逆の順序で行われても同時に行われてもよい。【０１９４】
図２２は、撮影装置２００の各構成要素の動作タイミングを示す図である。【０１９５】
時間軸７００は、撮像センサ部１０３と出力部１２１が画像を出力する時間間隔ごとに、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４を示す。画像７０１が時刻Ｔ１で撮影され、時刻Ｔ３で画像８０１が出力されるタイミングは、図１７に示すタイミングと同一である。【０１９６】
期間７０５では、静止物体検出部１１１は、静止物体を検出した検出精度を静止物体動きベクトル検出精度信号２０４として外枠領域調整部２０５に伝える。その結果、期間７１２では、外枠領域調整部２０５は、外枠領域１６１の大きさを調整して、その調整された外枠領域１６１を示す外枠領域更新信号２０６を焦点距離算出部２０７に与える。引き続き、期間７１３では、焦点距離算出部２０７は、その調整された外枠領域１６１の大きさに基づいて焦点距離を算出する。そして、期間７１４では、焦点距離制御部２０９は焦点距離可変レンズ部２０２の焦点距離を制御し、その結果、期間７１５では、焦点距離可変レンズ部２０２は焦点距離を変更する。時刻Ｔ３における撮像センサ部１０３での撮影は、変更された焦点距離で撮影されることになる。【０１９７】
一方、外枠領域調整部２０５は、期間７１２で調整された外枠領域１６１を示す外枠領域更新信号２０６をフレーミング領域設定部２０３にも与える。その結果、期間７１６では、フレーミング領域設定部２０３はフレーミング領域の大きさを変更する。この変更は、フレーミング領域設定信号１１０として、静止物体検出部２０１とフレーミング領域補正部１１５と出力画像サイズ調整部１２０へ入力され、これらはすべて、時刻Ｔ３で撮影される画像７０３にその変更を反映する。そこで、これらは時刻Ｔ２で撮影された画像７０２の処理が終わるまで待つ必要がある。従って、期間７１６では、まずフレーミング領域設定部２０３はフレーミング領域設定信号１１０を算出し、静止物体検出部２０１、フレーミング領域補正部１１５、出力画像サイズ調整部１２０のそれぞれは、それぞれの処理終了のタイミングでフレーミング領域設定信号１１０を反映する。【０１９８】
以上のように、本実施の形態における撮影装置２００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置２００は外枠領域の静止物体でカメラ動きを検出するため、画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。【０１９９】
さらに、本実施の形態における撮影装置２００では、外枠領域１６１に動きのある被写体が大きく映っている場合には、その領域における複数の動きベクトルの分散が大きく、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒよりも低くなるため、その検出精度がその外枠領域変更基準値ｔｒよりも高くなるように、外枠領域１６１が大きく調整される。つまり、外枠領域１６１が大きく調整されると、その領域では、静止している背景の占める割合が多くなり、静止物体の動きベクトルの検出精度が高くなる。その結果、動きのある被写体による影響を抑えて、静止物体の動きベクトルの検出精度が高い、つまり分散が小さい複数の動きベクトルに応じて撮影装置２００の動きを精度よく検出することができ、適切に画像ぶれを補正することができる。【０２００】
また、撮影装置２００は、静止物体の検出に必要な外枠領域１６１の大きさを適応的に変化させるため、必要以上に外枠領域１６１を広げて、結果的にフレーミング領域が狭くなり過ぎる弊害を回避できる。フレーミング領域１６０は、ディスプレイの画像サイズに合わせて拡大する必要があり、フレーミング領域１６０が極端に小さくなると、高解像度化処理が限界に達し、出力画像の画質が低下する可能性がある。撮影装置２００は、静止物体の検出精度を調整することによって、画像ぶれ補正とフレーミング領域１６０の高解像度化とを両立することができ、高画質の画像ぶれ補正を実現できる。【０２０１】
（実施の形態３）
本実施の形態における撮影装置は、実施の形態２の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態２の撮影装置の特徴を有するとともに、撮影者がズーム倍率（画角）を変更することができる点に特徴がある。【０２０２】
図２３は、本発明の実施の形態３に係る撮影装置３００の構成を示すブロック図である。なお、図１８に示す撮影装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０２０３】
本実施の形態における撮影装置３００は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、動きベクトル算出部１０６、フレーミング領域表示部１０９、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、出力画像サイズ選択部１２２、静止物体検出部２０１、焦点距離可変レンズ部２０２、フレーミング領域設定部２０３、外枠領域調整部２０５、焦点距離制御部２０９、ズーム倍率指定部３０１、および焦点距離算出部３０２を備えている。【０２０４】
出力画像１０２は、たとえば、撮影装置３００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置３００に接続されたビデオ記録装置５０に記録される。【０２０５】
ズーム倍率指定部３０１は、撮影者６０による操作に基づいて、ズーム倍率の指定を受け付け、その指定されたズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２に出力する。【０２０６】
撮影者６０は、撮影装置３００を操作することにより、ズーム倍率を光学的に調整することができ、ズーム倍率の変更で画角を広げたり、あるいは、狭めることができる。【０２０７】
図２４Ａ〜図２４Ｃは、撮影者６０によるズーム倍率の変更操作の一例を示す図である。【０２０８】
撮影者６０は、たとえば、図２４Ａに示すように、撮影装置３００の焦点距離可変レンズ部２０２を撮影者自身で回転させる。その結果、その焦点距離可変レンズ部２０２の位置が撮像センサ部１０３に対して前後して焦点距離が変化し、ズーム倍率がその回転に応じた倍率になる。【０２０９】
また、撮影装置３００は、図２４Ｂに示すように、焦点距離可変レンズ部２０２を回転させるためのモータ３０４を備え、ズーム倍率指定部３０１は、撮影者６０によって操作され、ズーム倍率の指定を受け付けるスライダ３０３を備えている。この場合、撮影者６０は、スライダ３０３を左右に移動させる。【０２１０】
その結果、ズーム倍率指定部３０１は、その移動によって示されるズーム倍率を受け付け、そのズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２に出力する。焦点距離算出部３０２は、その撮影者指定ズーム倍率信号３０６に応じた焦点距離を算出する。焦点距離制御部２０９は、焦点距離可変レンズ部２０２の焦点距離が、その算出された焦点距離となるように、モータ３０４で焦点距離可変レンズ部２０２を回転させる。これにより、その焦点距離可変レンズ部２０２の位置が撮像センサ部１０３に対して前後して焦点距離が変化し、ズーム倍率がそのスライダ３０３の移動によって指定された倍率になる。【０２１１】
また、撮影装置３００は、図２４Ｃに示すように、焦点距離可変レンズ部２０２を回転させるためのモータ３０４を備え、ズーム倍率指定部３０１は、撮影者６０によって操作され、ズーム倍率の指定を受け付けるダイヤル３０５を備えている。この場合、撮影者６０は、ダイヤル３０５を回す。【０２１２】
その結果、ズーム倍率指定部３０１は、その回転によって示されるズーム倍率を受け付け、そのズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２に出力する。焦点距離算出部３０２は、その撮影者指定ズーム倍率信号３０６に応じた焦点距離を算出する。焦点距離制御部２０９は、焦点距離可変レンズ部２０２の焦点距離が、その算出された焦点距離となるように、モータ３０４で焦点距離可変レンズ部２０２を回転させる。これにより、その焦点距離可変レンズ部２０２の位置が撮像センサ部１０３に対して前後して焦点距離が変更し、ズーム倍率がそのダイヤル３０５の回転によって指定された倍率にする。【０２１３】
なお、本実施例では、焦点距離ｆにおけるズーム倍率αを（数３）のように定義し、最短焦点距離ｆｍをズーム倍率α＝１とする。また、焦点距離ｆが長くなるほどズーム倍率αが高くなる。【０２１４】
【数３】
2008114499.tif 000005
【０２１５】
焦点距離算出部３０２は、外枠領域更新信号２０６を取得すると、撮影者指定ズーム倍率信号３０６と外枠領域更新信号２０６をもとに焦点距離可変レンズ部２０２の焦点距離を算出して、更新焦点距離信号２０８として出力する。外枠領域１６１は、図７で説明したように、撮影者６０が決定したフレーミング領域１６０よりも外側に設定される。そこで、フレーミング領域１６０の周辺に外枠領域１６１を設けるように、焦点距離可変レンズ部２０２の画角が設定される。すなわち、撮影者６０が設定した画角より外枠領域１６１の分だけ広い画角に焦点距離可変レンズ部２０２が設定されることになる。撮影者指定ズーム倍率信号３０６によって指定されたズーム倍率をαとすると、（数２）は以下の（数４）のように書き換えられる。【０２１６】
【数４】
2008114499.tif 000006
【０２１７】
ズーム倍率αは、焦点距離ｆ１に重み付けるか、あるいはフレーミング領域１６０の幅Ｗｆ２に重み付けるか、あるいは焦点距離ｆ１とフレーミング領域１６０の幅Ｗｆ２の両方に重み付けを振り分けることができる。しかし、図２０で説明したように、静止物体の動きベクトルの検出精度を確保するためには、時刻Ｔ２における画角をθ２に広げて、より多くの静止物体を撮像センサ部１０３で捉えることが望ましい。この目的を達成するために、時刻Ｔ２における焦点距離はｆ２を維持する。焦点距離ｆ２を維持して、（数４）に示すようにズーム倍率αを加えるには、フレーミング領域１６０の幅Ｗｆ２に１／αを乗算する必要がある。ズーム倍率αが１より大きい場合は、フレーミング領域１６０の幅をＷｆ２／αに縮小して、撮影者６０の画角変更を反映させる。一方、ズーム倍率αが１より小さい場合は、フレーミング領域１６０の幅をＷｆ２／αに拡大して、撮影者６０の画角変更を反映させる。【０２１８】
即ち、焦点距離算出部３０２は、外枠領域更新信号２０６を取得すると、撮影者指定ズーム倍率信号３０６の示すズーム倍率αに関わらず、（数２）に基づいて焦点距離ｆ２を算出する。【０２１９】
このように、焦点距離可変レンズ部２０２の焦点距離は、撮影者指定ズーム倍率信号３０６によるズーム倍率αの大小の変化に関わらず、外枠領域更新信号２０６の指示通りに設定される。加えて、（数４）の演算において、外枠領域更新信号２０６で与えられるフレーミング領域１６０の幅Ｗｆ２には、１／αの重み付けが掛けられる。【０２２０】
以上のように、本実施の形態における撮影装置３００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置３００は外枠領域１６１の静止物体でカメラ動きを検出するため、画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができ、かつズームによる画角変更も可能であるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。特に、撮影装置３００は、撮影者のズーム操作による画角変更を受け入れながら、静止物体の検出に必要な外枠領域１６１の大きさを適応的に変化させて、静止物体を検出し、高精度に画像ぶれを補正できる。ズーム倍率が高くなるほど、画角が狭まるため、カメラ姿勢の変化が画像ぶれに及ぼす影響は大きくなる。そこで、ズーム倍率に応じて、静止物体の検出条件を適応的に制御できる撮影装置３００は、ズーム使用時でも高精度の画像ぶれ補正が可能になる。【０２２１】
（変形例）
ここで、上記実施の形態３における変形例について説明する。【０２２２】
上記実施の形態３における撮影装置３００では、図２３に示すように、撮影者指定ズーム倍率信号３０６が焦点距離算出部３０２および焦点距離制御部２０９を経て、焦点距離可変レンズ部２０２に反映されており、画角変更が光学ズームで成されている。本変形例に係る撮影装置は、画角変更をデジタルズームで行う。【０２２３】
図２５は、本変形例に係る撮影装置の構成を示すブロック図である。【０２２４】
本変形例に係る撮影装置３１０は、撮影者６０による操作に基づいて、ズーム倍率の指定を受け付け、その指定されたズーム倍率を示す撮影者指定ズーム倍率信号３０６を補正フレーミング領域切り出し部３１１に出力する。なお、本変形例においても図２４Ａ〜図２４Ｃに示すような撮影者６０による操作によってズーム倍率が指定される。【０２２５】
補正フレーミング領域切り出し部３１１は、撮影者指定ズーム倍率信号３０６を取得すると、その撮影者指定ズーム倍率信号３０６の示すズーム倍率だけ、補正フレーミング領域信号１１６の示す、補正されたフレーミング領域１６０を拡大または縮小する。そして、補正フレーミング領域切り出し部３１１は、その拡大または縮小されたフレーミング領域１６０を入力画像１０５から切り出し、その切り出した画像を画像ぶれ補正フレーミング画像１１８として出力する。【０２２６】
つまり、本実施の形態またはその変形例における撮影装置３００，３１０は、撮像センサ部１０３により撮影される画像の画角、またはフレーミング領域１６０の大きさをユーザによる操作に応じて変更することにより、出力部１２１から出力される画像のズームインまたはズームアウトを行うズーム調整手段たるズーム倍率指定部３０１を備えている。【０２２７】
これにより、本変形例においても上記実施の形態３と同様、撮影者６０の操作に応じて画角を変更することができる。【０２２８】
（実施の形態４）
本実施の形態における撮影装置は、実施の形態３の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態３の撮影装置の特徴を有するとともに、フレーミング領域１６０と外枠領域１６１を独立に管理する点に特徴があり、フレーミング領域１６０は撮影者が指定する画角によって決定され、外枠領域１６１は静止物体の動きベクトルの検出精度に応じて決定される。外枠領域１６１の大きさは、フレーミング領域１６０の大きさに関係なく、静止物体の動きベクトルの検出精度のみを基準に制御されるため、ズーム倍率の大小に関わらず、画像ぶれを正確に補正できる。【０２２９】
図２６は、本発明の実施の形態４に係る撮影装置４００の構成を示すブロック図である。なお、図２３に示す撮影装置３００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０２３０】
本実施の形態における撮影装置４００は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、動きベクトル算出部１０６、フレーミング領域表示部１０９、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、出力画像サイズ選択部１２２、焦点距離可変レンズ部２０２、外枠領域調整部２０５、焦点距離制御部２０９、ズーム倍率指定部３０１、静止物体検出部４０1、フレーミング領域設定部４０２、および焦点距離算出部４０３を備えている。【０２３１】
出力画像１０２は、たとえば、撮影装置４００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置４００に接続されたビデオ記録装置５０に記録される。【０２３２】
ズーム倍率指定部３０１は、撮影者６０による操作に基づいて、ズーム倍率の指定を受け付け、その指定されたズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２またはフレーミング領域設定部４０２に出力する。【０２３３】
撮影者指定ズーム倍率信号３０６が焦点距離算出部３０２に出力されると、実施の形態３の図２３に示す場合と同様、焦点距離が変更されて光学的にズーム倍率が調整される。一方、撮影者指定ズーム倍率信号３０６がフレーミング領域設定部４０２に出力されると、フレーミング領域設定部４０２は、その撮影者指定ズーム倍率信号３０６の示すズーム倍率に応じた大きさにフレーミング領域１６０を調整する。即ち、デジタル処理によりズーム倍率が調整される。【０２３４】
静止物体検出部４０１は、入力画像１０５の第１フレームに対して、初期設定で与えられた外枠領域１６１内で静止物体の動きベクトルを検出する。初期設定の外枠領域１６１は、静止物体検出部４０１内の内部メモリに予め書き込まれていて、撮影装置４００の起動時に、読み込まれる。第１フレームを初期設定の外枠領域で処理した後は、外枠領域調整部２０５における静止物体の動きベクトルの検出精度評価に応じて、次の第２フレームの外枠領域１６１の大きさが調整される。【０２３５】
すなわち、静止物体検出部４０１は、図１９の例に示すように、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより低い場合は、検出精度を高めるために、外枠領域を広くする。一方、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより高い場合は、検出精度が十分であり、処理負荷を軽減させるために、たとえば、図１９の例に示すように、静止物体検出部４０１は外枠領域１６１を狭めてもよく、あるいは、そのままでも構わない。【０２３６】
なお、静止物体検出部４０１によって調整される外枠領域と、外枠領域調整部２０５によって調整される外枠領域とは常に一致する。【０２３７】
フレーミング領域設定部４０２は、図７で説明したように、撮影者６０が指定した画角に相当し、フレーミング領域表示部１０９やディスプレイ装置４０に映し出される映像の範囲をフレーミング領域１６０として設定する。フレーミング領域１６０の座標情報は、フレーミング領域設定信号１１０としてフレーミング領域補正部１１５に入力され、フレーミング領域１６０が入力画像１０５から切り出される。ただし、この切り出しの際に、カメラ動き信号１１４の示す動きベクトルと逆方向で同じ長さの位置に切り出し位置を補正して、画像ぶれを相殺する。【０２３８】
また、フレーミング領域設定部４０２は、外枠領域調整部２０５から外枠領域更新信号２０６を取得すると、その外枠領域更新信号２０６の示す外枠領域１６１の更新内容に応じてフレーミング領域１６０の拡大または縮小を行う。つまり、外枠領域１６１の更新によって焦点距離が変化する場合に、フレーミング領域１６０が一定に保たれていると、撮影者６０に対して表示される画像や記録される画像の画角が大きくなったり小さくなったりしてしまう。そこで、上述のように、フレーミング領域設定部４０２は、外枠領域更新信号２０６を取得すると、表示または記録される画像の画角が変化しないように、フレーミング領域１６０を調整する。【０２３９】
図２７は、フレーミング領域１６０と外枠領域１６１との独立関係を示す図である。【０２４０】
フレーミング領域設定部４０２は、図２７に示す点線１６０ａによって囲まれた領域をフレーミング領域１６０として設定する。一方、静止物体検出部４０１および外枠領域調整部２０５は、図２７に示す一点鎖線１６１ａから入力画像１０５の外縁までの領域を外枠領域１６１として設定する。このように、フレーミング領域１６０と外枠領域１６１とは相補的な関係がなく、それぞれの領域の一部が重なり、独立して調整される。【０２４１】
以上のように、撮影装置４００において、フレーミング領域と外枠領域は、個別に制御され、互いに関係を持たない。つまり、図７に示したフレーミング領域１６０と外枠領域１６１とが重複なく接している位置関係は一例であり、図２７に示すように２つの領域が重なったり、あるいは、離れる場合もある。【０２４２】
焦点距離算出部４０３は、時刻Ｔ１における外枠領域１６１の大きさを外枠領域更新信号２０６の指示に従って変更し、時刻Ｔ２における焦点距離可変レンズ部２０２の焦点距離ｆ２を更新焦点距離信号２０８として出力する。たとえば図２０で示したように、外枠領域１６１の大きさは幅で表現され、外枠領域１６１の幅の変更方法は、たとえば（数１）で定義した外枠領域変更率ｃで指定される。この場合、時刻Ｔ２における焦点距離可変レンズ部２０２の焦点距離ｆ２は、時刻Ｔ１における外枠領域の幅Ｗｆ１を時刻Ｔ２においてＷｆ１／ｃに更新することを示す。外枠領域変更率ｃが１より小さい場合は、外枠領域１６１の幅は広がり、広角撮影ができるように、焦点距離可変レンズ部２０２の焦点距離は短くなる。外枠領域１６１の幅と焦点距離の関係は、図２０と同一であり、（数２）に従って、時刻Ｔ１の焦点距離ｆ１が時刻Ｔ２の焦点距離ｆ２に変更される。【０２４３】
ところで、フレーミング領域１６０と外枠領域１６１を個別に管理した場合、それぞれの動きに矛盾が生じる場合が考えられる。外枠領域１６１における静止物体の動きベクトルの検出精度が焦点距離可変レンズ部２０２の焦点距離を決めるため、撮像センサ部１０３が捉える画角は、外枠領域１６１が支配している。一方、フレーミング領域１６０は撮影者６０が指定するズーム倍率（デジタルズーム）に応じて決まるため、入力画像１０５を超える画角（フレーミング領域１６０）が指定される場合が考えられる。指定される画角（フレーミング領域１６０）が入力画像１０５を超える場合は、指定されたフレーミング領域１６０の確保を優先して、焦点距離可変レンズ部２０２の焦点距離を短くし、広角撮影を実行する。図８Ａおよび図８Ｂで説明したように、画角が広くなるほど、撮影者６０と一続きで接している静止物体を撮影する機会が増えるため、外枠領域１６１における静止物体の動きベクトル検出の精度は多くの場合、向上する。少なくとも精度低下はなく、フレーミング領域１６０の確保を優先した焦点距離可変レンズ部２０２の焦点距離制御は、静止物体の動きベクトル検出に悪影響を与えない。【０２４４】
ただし、焦点距離可変レンズ部２０２の焦点距離が最短焦点距離ｆｍ未満になることはできないため、撮影者６０が指定できるズーム倍率は、焦点距離可変レンズ部２０２の最短焦点距離ｆｍで制限される。たとえば、焦点距離可変レンズ部２０２の最長焦点距離が１９２ｍｍで、最短焦点距離が２４ｍｍの場合、最大ズーム倍率は８倍（＝１９２／２４）となる。【０２４５】
以上のように、本実施の形態における撮影装置４００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置４００は外枠領域１６１の静止物体でカメラ動きを検出するため、カメラ動きに起因した画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができ、かつズームによる画角変更も可能であるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。【０２４６】
特に、撮影装置４００は、撮影者のズーム操作による画角変更を受け入れながら、静止物体の検出に必要な外枠領域１６１の大きさを適応的に変化させて、静止物体を検出し、高精度に画像ぶれを補正できる。ズーム倍率が高くなるほど、画角が狭まるため、カメラ姿勢の変化が画像ぶれに及ぼす影響は大きくなる。そこで、ズーム倍率に応じて、静止物体の検出条件を適応的に制御できる撮影装置４００は、ズーム使用時でも高精度の画像ぶれ補正が可能になる。さらに、フレーミング領域１６０は外枠領域１６１と独立に管理されるため、フレーミング領域１６０が極端に小さくなることはなく、ディスプレイに表示する高解像度化されたフレーミング領域１６０の画質が保証される効果を呈する。【０２４７】
（実施の形態５）
本実施の形態における撮影装置は、実施の形態１の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態１の撮影装置の特徴を有するとともに、動きベクトルの算出を外枠領域のみで行うため、演算負荷が軽減できる点に特徴がある。【０２４８】
図２８は、本発明の実施の形態５に係る撮影装置１２５の構成を示すブロック図である。なお、図５に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０２４９】
本実施の形態における撮影装置１２５は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、焦点距離固定レンズ系１０４、動きベクトル算出部１２６、フレーミング領域設定部１０８、フレーミング領域表示部１０９、静止物体検出部１２７、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、および出力画像サイズ選択部１２２を備えている。【０２５０】
出力画像１０２は、たとえば、撮影装置１２５に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置１２５に接続されたビデオ記録装置５０に記録される。【０２５１】
動きベクトル算出部１２６は、フレーミング領域設定部１０８が出力するフレーミング領域設定信号１１０によって、図７に示す外枠領域１６１を特定し、外枠領域１６１のみを用いて動きベクトルを算出する。これにより、フレーミング領域１６０内での動きベクトル算出が不要になり、処理付加が大幅に削減される。静止物体検出部１２７は、自身で外枠領域１６１を識別する必要はなく、動きベクトル算出部１２６からの動きベクトル信号１０７のすべてを処理対象とする。【０２５２】
以上のように、本実施の形態における撮影装置１２５では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、動きベクトル算出の演算量が削減できるため、入力画像１０５の取得から出力画像１０２の出力までの時間短縮が可能になり、撮影の高速化に寄与できる。撮影の高速化は、撮影チャンスを増やすことを意味し、従って、静止物体を検出する機会が増加する。これがカメラ動きの検出精度を高めることにつながり、画像ぶれ補正の好循環を生み出す効果を有する。【０２５３】
（実施の形態６）
本実施の形態における撮影記録再生装置は、撮影者が設定した画角よりも広い画角で撮影画像を取得して記録メディアに記録し、その記録メディアから撮影画像とフレーミング領域を読み出して撮影画像内から再生画像を切り出す際に、画像ぶれを補正する。【０２５４】
図２９は、本発明の実施の形態６に係る撮影記録再生装置５００の構成を示すブロック図である。なお、図５に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０２５５】
本実施の形態における撮影記録再生装置５００は、被写体１０１を撮影し記録メディア部５０３に映像を記録する撮影記録部５０１と、記録メディア部５０３に記録した映像を再生し、出力画像１０２を出力する再生部５０２からなる。【０２５６】
撮影記録部５０１は、撮像センサ部１０３、焦点距離固定レンズ系１０４、フレーミング領域設定部１０８、フレーミング領域表示部１０９、表示画像サイズ調整部１１９、記録メディア部５０３、およびフレーミング領域切り出し部５０４を備えている。再生部５０２は、記録メディア部５０３、動きベクトル算出部５０８、静止物体検出部５１０、カメラ動き算出部５１２、フレーミング領域補正部５１４、補正フレーミング領域切り出し部５１５、出力画像サイズ調整部５１７、出力部１２１、および出力画像サイズ選択部１２２を備えている。【０２５７】
出力画像１０２は、たとえば、撮影記録再生装置５００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影記録再生装置５００に接続されたビデオ記録装置５０に記録される。【０２５８】
撮影者６０は、撮影記録部５０１を起動して被写体１０１を撮影する。その結果、入力画像１０５が記録メディア部５０３に記録される。撮影終了後、撮影者６０は、再生部５０２を起動し、記録メディア部５０３に記録された入力画像１０５を再生する。このとき、補正フレーミング領域切り出し部１１７は入力画像１０５の画像ぶれを補正し、出力部１２１から出力画像１０２が出力される。【０２５９】
記録メディア部５０３は、撮影記録部５０１と再生部５０２に挿入／取り出しが可能なリムーバブルメディアであり、被写体１０１の撮影時には、撮影記録部５０１に挿入され、再生時には再生部５０２に挿入される。従って、撮影記録部５０１と再生部５０２は、同一筐体に搭載される必要はなく、別々の機器として物理的に切り離されても構わない。逆に、撮影記録部５０１と再生部５０２を同一筐体に搭載し、所謂、カムコーダ（カメラ一体型ビデオテープレコーダー）として単一機器にすることも可能である。さらに、記録メディア部５０３を撮影記録再生装置５００に内蔵し、撮影記録部５０１と再生部５０２が共通に利用する構成も可能である。この場合、出力画像１０２を外部のビデオ記録装置５０に録画してアーカイブし、内蔵の記録メディア部５０３の記録容量が上限に達した場合は、画像データを消去するか、上書きする。【０２６０】
記録メディア部５０３は、入力画像１０５とフレーミング領域設定信号１１０を記録する。フレーミング領域設定信号１１０は、図７で説明したフレーミング領域１６０の座標情報であり、再生時に入力画像１０５内からフレーミング領域を切り出す際に利用される。入力画像１０５とフレーミング領域設定信号１１０は、再生画像信号５０５として記録メディア部５０３から出力される。本実施の形態において、フレーミング領域の座標情報は固定であり、各フレームで再利用されるため、フレーミング領域設定信号１１０は再生画像信号５０５のヘッダ部に書き込まれるなどして、再生部５０２に供給される。【０２６１】
つまり、本実施の形態における撮影記録再生装置５００は、撮像センサ部１０３によって撮影された画像を格納する格納手段たる記録メディア部５０３を備え、出力部１２１、動きベクトル算出部５０８および静止物体検出部５１０は、その格納手段に格納されている画像を読み出して、読み出された画像に対して処理を行う。【０２６２】
図３０は、記録メディア部５０３のデータ構成の一例を示す図である。【０２６３】
１６進標記されたメモリアドレスにおいて、アドレス０からアドレスＦがヘッダ部であり、図７で説明したフレーミング領域１６０の空間位置を表わす点１６２のｘ座標がアドレス０に、点１６２のｙ座標がアドレス１に、さらに、点１６３のｘ座標がアドレス２に、点１６３のｙ座標がアドレス３に、それぞれ記録される。アドレス１０以降がデータ部であり、入力画像１０５のＲＧＢレベルが記録される。つまり、Ｒ、Ｇ、およびＢのそれぞれを８ビットとして、１アドレス当たり２４ビット幅でＲＧＢレベルが記録される。【０２６４】
ビデオシーケンスの時間位置を表わすタイムコードがアドレスと対応し、タイムコード０のフレーム画像がアドレス１０に、タイムコード１のフレーム画像がアドレス１１に記録される。撮影記録部５０１は、記録メディア部５０３に入力画像１０５を記録する際は、記録位置をアドレスで指定する。追加記録型の場合は、撮影記録部５０１は、記録済みアドレスの末端の次のアドレスを指定する。記録済みアドレスの末端はヘッダ部のアドレス４に記載され、図３０の例では、アドレス１０からアドレスＦＦが記録済みである。したがって、アドレス１００から入力画像１０５のＲＧＢレベルが追加記録される。追加記録完了後は、入力画像１０５を最後に記録したアドレスにアドレス４のデータを更新する。【０２６５】
フレーミング領域切り出し部５０４は、入力画像１０５からフレーミング領域設定信号１１０に従って、フレーミング領域１６０の画像を切り出す。切り出されたフレーミング領域１６０の画像は、表示画像サイズ調整部１１９でフレーミング領域表示部１０９の表示画像サイズに合うように、サイズ変換されて、フレーミング領域表示部１０９に表示される。撮影者６０は、フレーミング領域表示部１０９に表示された画像を見ることで、撮影画角を目視確認できる。【０２６６】
ところで、撮影記録部５０１には、画像ぶれ補正の機能がない。本実施の形態では、画像ぶれ補正の機能は、再生部５０２が有する。その狙いは、「撮影記録」と「再生」を分離し、それぞれの機能に不可欠な要素に絞り込んで、機器の小型化や軽量化、省電力化、低コスト化を生み出すところにある。画像ぶれ補正は、撮影記録時に必須のものではなく、撮影画像を再生してディスプレイに表示するまでに完了しておけばいい。撮影の本来の機能を充実させるには、撮像光学系や撮像センサの性能向上が第一であり、加えて、記録時間の長さ、撮影（フレーミング）の容易さなどが大事である。【０２６７】
フレーミング領域表示部１０９に表示される撮影映像は、最終的にディスプレイに表示される画像として確認される、という意味合いでは、画像ぶれが補正された映像であることが理想的である。しかし、撮影者６０は、目の前のシーンから撮影映像が切り出される構図（フレーミング）に最大の興味があり、被写体１０１を撮影画角内に撮影意図通りに捉えることを優先する。また、撮影者６０自身が撮影記録再生装置５００を手にして撮影するため、人間の身体能力として、手の動きと視神経が連動し、多少の画像ぶれは、視神経によって補正される。これは、歩行中に携帯電話を手に持ってメールの文字が問題なく読める日常的な経験から理解できる。【０２６８】
一方、撮影者６０の動きと連動性を持たないディスプレイ装置４０に画像ぶれを含む映像が表示された場合は、画像ぶれに違和感や不快感を生起する。これは、撮影者６０は静止して動きを持たないにも関わらず、出力画像１０２の中で静止しておくべき静止物体が画像ぶれとして動きを持つためである。撮影者６０が動きを持つ場合も同様で、撮影者６０がディスプレイ装置４０を見る際に発生した動きと、出力画像１０２が画像ぶれとして有する撮影時の撮影者６０の動きが一致しないために、違和感や不快感を生起する。図９で説明したように、ディスプレイ映像を見ている人が静止している場合、ディスプレイに表示された映像の中で、撮影者６０と一続きの地面や壁などで接している静止物体が静止していないと、画像ぶれという違和感や不快感を生起する。説明を一般化するならば、ディスプレイ映像を見ている人の動きが、ディスプレイに表示された映像の中で、撮影者６０と一続きの地面や壁などで接している静止物体の動きに一致しないと、画像ぶれという違和感や不快感を生起する。【０２６９】
再生部５０２は、撮影者６０が再生指示部５０６に再生指示を与えることで動作する。記録メディア制御部５０７は、再生指示部５０６から再生指示を受けると、記録メディア部５０３からの再生画像信号５０５の読み出しを、動きベクトル算出部５０８と補正フレーミング領域切り出し部５１５に実行させる。再生部５０２において、一点鎖線で示される信号は、撮影者６０による再生指示に従って動作するものであり、再生画像信号５０５は再生指示部５０６からの再生指示によって記録メディア部５０３から出力される。この動作は、撮影記録部５０１とは切り離されており、この独立性を示すために、図２９では、再生指示に同期した信号を一点鎖線で明記している。後述する出力画像サイズ選択信号１２３も再生指示に連動した信号である。【０２７０】
動きベクトル算出部５０８は、再生画像信号５０５から入力画像１０５を取り出し、入力画像１０５の特徴点の動きを動きベクトルとして算出する。算出された動きベクトルと再生画像信号５０５が有するフレーミング領域設定信号１１０をフレーミング領域付動きベクトル信号５０９として出力する。【０２７１】
静止物体検出部５１０は、フレーミング領域付動きベクトル信号５０９からフレーミング領域の座標情報を取り出し、図７で説明した外枠領域１６１を設定する。さらに、フレーミング領域付動きベクトル信号５０９から外枠領域１６１に属する動きベクトルを取り出し、静止物体の動きベクトルを検出する。検出された静止物体の動きベクトルとフレーミング領域付動きベクトル信号５０９が有するフレーミング領域設定信号１１０をフレーミング領域付静止物体動きベクトル信号５１１として出力する。【０２７２】
カメラ動き算出部５１２は、フレーミング領域付静止物体動きベクトル信号５１１から静止物体動きベクトルを取り出し、カメラ動きを算出する。算出されたカメラ動きとフレーミング領域付静止物体動きベクトル信号５１１が有するフレーミング領域設定信号１１０をフレーミング領域付カメラ動き信号５１３として出力する。【０２７３】
フレーミング領域補正部５１４は、フレーミング領域付カメラ動き信号５１３からフレーミング領域の座標情報を取り出し、図７で説明したフレーミング領域１６０を設定する。さらに、フレーミング領域付カメラ動き信号５１３からカメラ動きを取り出し、カメラ動きと逆向きで同じ大きさにフレーミング領域を移動することによって、画像ぶれを相殺する位置にフレーミング領域を補正する。補正されたフレーミング領域の位置情報は、補正フレーミング領域信号１１６として出力される。【０２７４】
補正フレーミング領域切り出し部５１５は、再生画像信号５０５から入力画像１０５を取り出し、補正フレーミング領域信号１１６が与える画像ぶれ補正されたフレーミング領域を切り出し、画像ぶれ補正フレーミング画像を生成する。また、画像ぶれ補正フレーミング画像と再生画像信号５０５が有するフレーミング領域設定信号１１０をフレーミング領域付画像ぶれ補正フレーミング画像５１６として出力する。【０２７５】
出力画像サイズ調整部５１７は、フレーミング領域付画像ぶれ補正フレーミング画像５１６から画像ぶれ補正フレーミング画像を取り出す。また、フレーミング領域付画像ぶれ補正フレーミング画像５１６からフレーミング領域設定信号１１０を取り出し、フレーミング領域１６０の水平画素数とライン数を検出する。フレーミング領域１６０の水平画素数とライン数は画像ぶれ補正フレーミング画像の水平画素数とライン数に一致する。一方、出力画像サイズ選択信号１２３は出力画像１０２の水平画素数とライン数を与える。そこで、出力画像サイズ調整部５１７は、画像ぶれ補正フレーミング画像と出力画像１０２の水平画素数とライン数を比較し、画像拡大処理、あるいは画像縮小処理で画像ぶれ補正フレーミング画像の大きさを出力画像１０２の大きさに調整して出力画像１０２を得る。【０２７６】
なお、図２９の例では、撮影者６０が再生指示を行っているが、撮影者と再生指示者は同一人物である必然性はなく、別の人物が行っても構わない。【０２７７】
以上のように、本実施の形態における撮影記録再生装置５００では、撮影記録機能と画像ぶれ補正機能が分離できるため、撮影記録部５０１のスリム化が図れ、機器の小型化や軽量化、省電力化、低コスト化につながる。機器の小型化や軽量化は、被写体の動きが激しいスポーツシーンの撮影などに適する。省電力化は撮影時間を延ばす効果があり、バッテリーを使った屋外撮影で利便性を発揮する。再生部５０２の画像ぶれ補正では、外枠領域の静止物体でカメラ動きが検出されるため、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも画像ぶれを解消できる。このため、三脚を使わずに被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。【０２７８】
（実施の形態７）
本実施の形態における撮影記録再生装置は、実施の形態６の撮影記録再生装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得して記録メディアに記録し、その記録メディアから撮影画像とフレーミング領域を読み出して撮影画像内から再生画像を切り出す際に、画像ぶれを補正する。ここで、本実施の形態における撮影記録再生装置は、実施の形態６の撮影記録再生装置の特徴を有するとともに、撮影者がズーム倍率を変更して画角を変更することができる点に特徴がある。【０２７９】
図３１は、本発明の実施の形態７に係る撮影記録再生装置６００の構成を示すブロック図である。なお、図９に示す撮影記録再生装置５００と同様の部分については同じ符号を付し、詳細な説明を省略する。【０２８０】
本実施の形態における撮影記録再生装置６００は、被写体１０１を撮影し記録メディア部６０４に映像を記録する撮影記録部６０１と、記録メディア部６０４に記録した映像を再生し、出力画像１０２を出力する再生部６０２からなる。【０２８１】
撮影記録部６０１は、撮像センサ部１０３、焦点距離固定レンズ系１０４、フレーミング領域設定部１０８、フレーミング領域表示部１０９、表示画像サイズ調整部１１９、フレーミング領域切り出し部６０３、記録メディア部６０４、およびズーム倍率指定部３０１を備えている。再生部６０２は、記録メディア部６０４、動きベクトル算出部５０８、静止物体検出部５１０、カメラ動き算出部５１２、フレーミング領域補正部５１４、補正フレーミング領域切り出し部５１５、出力画像サイズ調整部５１７、出力部１２１、および出力画像サイズ選択部１２２を備えている。【０２８２】
出力画像１０２は、たとえば、撮影記録再生装置６００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影記録再生装置６００に接続されたビデオ記録装置５０に記録される。【０２８３】
ズーム倍率指定部３０１は、撮影者６０がズーム倍率を調整することができ、撮影者６０は、ズーム倍率の変更で画角を広げたり、あるいは、狭めることができる。指定されたズーム倍率は、撮影者指定ズーム倍率信号３０６として、ズーム倍率指定部３０１から出力される。【０２８４】
フレーミング領域切り出し部６０３は、フレーミング領域設定信号１１０が設定したフレーミング領域１６０を、撮影者指定ズーム倍率信号３０６が指示するズーム倍率に従って拡大あるいは縮小し、ズーム倍率に即した範囲の画像を入力画像１０５から切り出す。切り出されたフレーミング領域１６０の画像は、表示画像サイズ調整部１１９でフレーミング領域表示部１０９の表示画像サイズに合うように、サイズ変換されて、フレーミング領域表示部１０９に表示される。撮影者６０は、フレーミング領域表示部１０９に表示された画像を見ることで、ズーム倍率も加味した上で、撮影画角を目視確認できる。【０２８５】
記録メディア部６０４は、入力画像１０５とフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６とを記録する。フレーミング領域設定信号１１０は、図７で説明したフレーミング領域１６０の座標情報であり、再生時に入力画像１０５内からフレーミング領域を切り出す際に利用される。入力画像１０５とフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６とは、再生画像信号６０５として記録メディア部６０４から出力される。本実施の形態において、フレーミング領域設定信号１１０によって決まる外枠領域１６１は固定であり、各フレームで再利用されるため、フレーミング領域設定信号１１０は再生画像信号６０５のヘッダ部に書き込まれるなどして、再生部６０２に供給される。【０２８６】
図３２は、記録メディア部６０４のデータ構成の一例を示す図である。【０２８７】
１６進標記されたメモリアドレスにおいて、アドレス０からアドレスＦがヘッダ部であり、図７で説明したフレーミング領域１６０の空間位置を表わす点１６２のｘ座標がアドレス０に、点１６２のｙ座標がアドレス１に、さらに、点１６３のｘ座標がアドレス２に、点１６３のｙ座標がアドレス３に、それぞれ記録される。アドレス１０以降がデータ部であり、入力画像１０５のＲＧＢレベルと撮影者指定ズーム倍率信号３０６とが記録される。つまり、Ｒ、Ｇ、Ｂおよび撮影者指定ズーム倍率信号３０６のそれぞれを８ビットとして、１アドレス当たり３２ビット幅でそれらが記録される。【０２８８】
ビデオシーケンスの時間位置を表わすタイムコードがアドレスと対応し、タイムコード０のフレーム画像がアドレス１０に、タイムコード１のフレーム画像がアドレス１１に記録される。撮影記録部６０１は、記録メディア部６０４に入力画像１０５と撮影者指定ズーム倍率信号３０６とを記録する際は、記録位置をアドレスで指定する。追加記録型の場合は、撮影記録部６０１は、記録済みアドレスの末端の次のアドレスを指定する。記録済みアドレスの末端はヘッダ部のアドレス４に記載され、図３２の例では、アドレス１０からアドレスＦＦが記録済みである。したがって、アドレス１００から入力画像１０５のＲＧＢレベルと撮影者指定ズーム倍率信号３０６とが追加記録される。追加記録完了後は、入力画像１０５を最後に記録したアドレスにアドレス４のデータを更新する。【０２８９】
再生部６０２は、撮影者６０が再生指示部５０６に再生指示を与えることで動作する。記録メディア制御部５０７は、再生指示部５０６から再生指示を受けると、記録メディア部６０４からの再生画像信号６０５の読み出しを、動きベクトル算出部６０６とフレーミング領域切り出し部６１４に実行させる。再生部６０２において、一点鎖線で示される信号は、撮影者６０による再生指示に従って動作するものであり、再生画像信号６０５は再生指示部５０６からの再生指示によって記録メディア部６０４から出力される。この動作は、撮影記録部６０１とは切り離されており、この独立性を示すために、図３１では、再生指示に同期した信号を一点鎖線で明記している。後述する出力画像サイズ選択信号１２３も再生指示に連動した信号である。【０２９０】
動きベクトル算出部６０６は、再生画像信号６０５から入力画像１０５を取り出し、入力画像１０５の特徴点の動きを動きベクトルとして算出する。算出された動きベクトルと再生画像信号６０５が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付動きベクトル信号６０７として出力する。【０２９１】
静止物体検出部６０８は、フレーミング領域付動きベクトル信号６０７からフレーミング領域の座標情報を取り出し、図７で説明した外枠領域１６１を設定する。さらに、フレーミング領域付動きベクトル信号６０７から外枠領域１６１に属する動きベクトルを取り出し、静止物体の動きベクトルを検出する。検出された静止物体の動きベクトルとフレーミング領域付動きベクトル信号６０７が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付静止物体動きベクトル信号６０９として出力する。【０２９２】
カメラ動き算出部６１０は、フレーミング領域付静止物体動きベクトル信号６０９から静止物体動きベクトルを取り出し、カメラ動きを算出する。算出されたカメラ動きとフレーミング領域付静止物体動きベクトル信号６０９が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付カメラ動き信号６１１として出力する。【０２９３】
フレーミング領域補正部６１２は、第１に、フレーミング領域付カメラ動き信号６１１からフレーミング領域の座標情報を取り出し、図７で説明したフレーミング領域１６０を設定する。第２に、フレーミング領域付カメラ動き信号６１１からカメラ動きを取り出し、カメラ動きと逆向きで同じ大きさにフレーミング領域を移動することによって、画像ぶれを相殺する位置にフレーミング領域を補正する。第３に、フレーミング領域付カメラ動き信号６１１から撮影者指定ズーム倍率信号３０６を取り出し、画像ぶれが補正されたフレーミング領域を撮影者が指定したズーム倍率に応じて拡大、あるいは縮小する。画像ぶれ補正とズーム倍率が反映されたフレーミング領域の位置情報は、補正フレーミング領域信号６１３として出力される。【０２９４】
補正フレーミング領域切り出し部６１４は、再生画像信号６０５から入力画像１０５を取り出し、補正フレーミング領域信号６１３が与える画像ぶれ補正とズーム倍率が反映されたフレーミング領域を切り出し、画像ぶれ補正フレーミング画像を生成する。また、画像ぶれ補正フレーミング画像と再生画像信号６０５が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付画像ぶれ補正フレーミング画像６１５として出力する。【０２９５】
出力画像サイズ調整部６１６は、フレーミング領域付画像ぶれ補正フレーミング画像６１５から画像ぶれ補正フレーミング画像を取り出す。また、フレーミング領域付画像ぶれ補正フレーミング画像６１５からフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６を取り出し、ズーム倍率が反映されたフレーミング領域１６０の水平画素数とライン数を検出する。ズーム倍率が反映されたフレーミング領域１６０の水平画素数とライン数はフレーミング領域付画像ぶれ補正フレーミング画像６１５から取り出した画像ぶれ補正フレーミング画像の水平画素数とライン数に一致する。一方、出力画像サイズ選択信号１２３は出力画像１０２の水平画素数とライン数を与える。そこで、出力画像サイズ調整部６１６は、フレーミング領域付画像ぶれ補正フレーミング画像６１５から取り出した画像ぶれ補正フレーミング画像と出力画像１０２の水平画素数とライン数を比較し、画像拡大処理、あるいは画像縮小処理で画像ぶれ補正フレーミング画像の大きさを出力画像１０２の大きさに調整して出力画像１０２を得る。【０２９６】
なお、図３１の例では、撮影者６０が再生指示を行っているが、撮影者と再生指示者は同一人物である必然性はなく、別の人物が行っても構わない。【０２９７】
以上のように、本実施の形態における撮影記録再生装置６００では、撮影者６０がズームによる画角変更を行い、かつ撮影記録機能と画像ぶれ補正機能が分離できるため、自由なフレーミングを可能にしながら、かつ撮影記録部６０１のスリム化が図れ、機器の小型化や軽量化、省電力化、低コスト化につながる。機器の小型化や軽量化は、被写体の動きが激しいスポーツシーンの撮影などに適する。省電力化は撮影時間を延ばす効果があり、バッテリーを使った屋外撮影で利便性を発揮する。再生部５０２の画像ぶれ補正では、外枠領域の静止物体でカメラ動きが検出されるため、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも画像ぶれを解消できる。このため、三脚を使わずに被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。【０２９８】
以上のように本発明は、ビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラやカメラ付き携帯電話などビデオ機器全般で実行可能である。また、広く普及しているパーソナルコンピュータでも実行可能である。【０２９９】
また、本発明について、実施の形態１〜７を用いて説明したが、本発明はこれらの各実施の形態に対して適宜変更や修正を加えてもよく、これらの各実施の形態の特徴を矛盾しない範囲で組み合わせてもよい。
【産業上の利用可能性】
【０３００】
本発明にかかる撮影装置および撮影記録再生装置は、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができ、ビデオ撮影の敷居を低くし、より多くの人々がビデオ撮影者を楽しめる大きな効果を有する。ビデオ撮影者の広がりは、撮影対象の広がりにもつながり、スポーツシーンに留まらず、様々な映像コンテンツが世の中に流通する機会を増大させる。それは、ニュース性や芸術性をも有し、映像コミュニケーションのあらゆる場面に影響を与える。以上のように、本発明にかかる撮影装置および撮影記録再生装置は、映像コミュニケーションの発展に限りない可能性を与える。
【図１Ａ】
2008114499.tif 000007
【図１Ｂ】
2008114499.tif 000008
【図１Ｃ】
2008114499.tif 000009
【図２】
2008114499.tif 000010
【図３Ａ】
2008114499.tif 000011
【図３Ｂ】
2008114499.tif 000012
【図４】
2008114499.tif 000013
【図５】
2008114499.tif 000014
【図６】
2008114499.tif 000015
【図７】
2008114499.tif 000016
【図８Ａ】
2008114499.tif 000017
【図８Ｂ】
2008114499.tif 000018
【図９】
2008114499.tif 000019
【図１０】
2008114499.tif 000020
【図１１Ａ】
2008114499.tif 000021
【図１１Ｂ】
2008114499.tif 000022
【図１２】
2008114499.tif 000023
【図１３】
2008114499.tif 000024
【図１４】
2008114499.tif 000025
【図１５】
2008114499.tif 000026
【図１６Ａ】
2008114499.tif 000027
【図１６Ｂ】
2008114499.tif 000028
【図１７】
2008114499.tif 000029
【図１８】
2008114499.tif 000030
【図１９】
2008114499.tif 000031
【図２０】
2008114499.tif 000032
【図２１】
2008114499.tif 000033
【図２２】
2008114499.tif 000034
【図２３】
2008114499.tif 000035
【図２４Ａ】
2008114499.tif 000036
【図２４Ｂ】
2008114499.tif 000037
【図２４Ｃ】
2008114499.tif 000038
【図２５】
2008114499.tif 000039
【図２６】
2008114499.tif 000040
【図２７】
2008114499.tif 000041
【図２８】
2008114499.tif 000042
【図２９】
2008114499.tif 000043
【図３０】
2008114499.tif 000044
【図３１】
2008114499.tif 000045
【図３２】
2008114499.tif 000046
【手続補正書】
【提出日】平成20年6月3日(2008.6.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を撮影して撮影された前記画像のぶれを補正する撮影装置であって、
画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力手段と、
前記撮影手段によって撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出手段と、
前記動き検出手段により導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整手段と、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整手段により調整された大きさの前記外側の領域における、前記動き検出手段によって検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力手段から出力される画像のぶれを補正する補正手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記撮影装置は、さらに、
前記外側の領域の周縁と、前記フレーミング領域の周縁とが一致するように、前記領域調整手段により調整される前記外側の領域の大きさに応じて、前記フレーミング領域の大きさを設定するフレーミング領域設定手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記撮影手段は、動いている被写体の画像が前記内側の領域に収まるように撮影する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記撮影装置は、さらに、
前記領域調整手段によって前記外側の領域が大きくなるほど、前記撮影手段により撮影される画像の画角を広げる画角調整手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
前記撮影装置は、さらに、
前記撮影手段により撮影される画像の画角、または前記フレーミング領域の大きさをユーザによる操作に応じて変更することにより、前記出力手段から出力される画像のズームインまたはズームアウトを行うズーム調整手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像を格納する格納手段を備え、
前記出力手段および動き検出手段は、前記格納手段に格納されている画像を読み出して、読み出された前記画像に対して処理を行う
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記動き検出手段は、
始点および終点の少なくとも一方が前記外側の領域に含まれている複数の前記動きベクトルを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記動き検出手段は、さらに、検出された複数の動きベクトルの中から、前記複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出し、
前記補正手段は、
前記静止物体の画像の動きベクトルの平均を示す平均動きベクトルを算出する算出手段と、
前記平均動きベクトルに応じて前記フレーミング領域を移動させるフレーミング領域補正手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項９】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像の動きに基づいて、ぶれを補正すべきか否かを判別する補正判別手段を備え、
前記補正判別手段によって補正すべきでないと判別されたときには、前記補正手段はフレーミング領域の移動を中止する
ことを特徴とする請求項１記載の撮影装置。
【請求項１０】
前記領域調整手段で調整された外側の領域に対して、前記動き検出手段が複数の動きベクトルの検出を再び行うことによって、前記動き検出手段および領域調整手段は、それぞれ前記検出精度が前記基準を満たすまで繰り返して処理を実行し、
前記領域調整手段は、繰り返して前記外側の領域の大きさを調整するときには、最初の調整における調整量よりも小さい調整量で前記外側の領域の大きさを調整する
ことを特徴とする請求項１記載の撮影装置。
【請求項１１】
前記撮影装置は、さらに、
撮影された前記画像から前記フレーミング領域の画像を切り出す切出手段と、
前記切出手段によって切り出された画像を拡大するサイズ調整手段とを備え、
前記出力手段は、前記サイズ調整手段によって拡大された画像を出力する
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記サイズ調整手段は、
画像ごとに、当該画像を低解像度で示す低解像度リソースデータと、当該画像を高解像度で示す高解像度リソースデータとを格納しているリソースデータ格納手段と、
前記切出手段によって切り出された画像と類似する画像を示す低解像度リソースデータを前記リソースデータ格納手段から検索して、前記低解像度リソースデータに対応する高解像度リソースデータを前記リソースデータ格納手段から取り出すことによって、切り出された前記画像を拡大する類似データ検索手段とを備える
ことを特徴とする請求項１１記載の撮影装置。
【請求項１３】
前記類似データ検索手段は、
前記切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する
ことを特徴とする請求項１２記載の撮影装置。
【請求項１４】
画像を撮影して撮影された前記画像のぶれを補正する撮影方法であって、
画像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力ステップと、
前記撮影ステップで撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出ステップと、
前記動き検出ステップにより導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整ステップと、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整ステップにより調整された大きさの前記外側の領域における、前記動き検出ステップで検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力ステップで出力される画像のぶれを補正する補正ステップと
を含むことを特徴とする撮影方法。
【請求項１５】
画像を撮影して撮影された前記画像のぶれを補正するためのプログラムであって、
画像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力ステップと、
前記撮影ステップで撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出ステップと、
前記動き検出ステップにより導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整ステップと、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整ステップにより調整された大きさの前記外側の領域における、前記動き検出ステップで検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力ステップで出力される画像のぶれを補正する補正ステップと
をコンピュータに実行させることを特徴とするプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影で発生する画像ぶれを補正する撮影装置および撮影方法に関するものである。
【背景技術】
【０００２】
近年、撮像素子の高密化が進み、デジタルビデオカメラやデジタルスチルカメラの高精細化と小型化が著しい。撮像素子の素子密度が高まると、受光素子の面積が小さくなり、Ｓ／Ｎ（Signal／Noise）比を確保するためには長い露光時間が必要になる。露光中にカメラ位置が動くと、画像ぶれが発生するため、撮影者はできるだけカメラを動かさないように、カメラを三脚に固定したり、手持ちカメラの場合は、脇を締めるなどの工夫を行う。
【０００３】
画像ぶれ防止に対する撮影者への負担を軽減するために、カメラに画像ぶれ補正機能を搭載する機種が実用化されている。その基本的な考え方は、カメラの動きを検出し、この動きを相殺するように撮影画像を得る、というものである。カメラ動きを相殺する具体的な方法は、大きく２つに分類でき、「電子式」と「光学式」がある。電子式は、撮影画像の一部を切り出す方法で、切り出し位置をカメラ動きの逆方向に移動させて、画像ぶれを相殺する。
【０００４】
図１Ａ〜図１Ｃは、電子式の画像ぶれ補正機能の一例を説明するための説明図である。
【０００５】
図１Ａに示すように、カメラは撮影画像１０よりも小さい切り出しフレーム１１を設定する。カメラは切り出しフレーム１１内の画像を出力画像１２として出力し、ディスプレイに表示したり、記録メディアに格納する。図１Ｂの撮影画像１３は、撮影画像１０の１フレーム先の画像である。図１Ａの撮影から図１Ｂの撮影の間に、カメラ動き１４が発生し、被写体１５が静止していても、画像ぶれ補正機能がなければ、出力画像１６のように、被写体１５の画面内の位置が移動する。この出力画像１２と出力画像１６の違いが、「画像ぶれ」である。カメラが動かず、かつ被写体も動かないのであれば、出力画像における被写体の位置は変わらないはずである。
【０００６】
そこで、画像ぶれ補正機能を有するカメラは、図１Ｃに示すように、カメラ動き１４の逆向き、かつ同じ大きさのカメラ動き補正ベクトル１７で切り出しフレーム１１を移動することで、画像ぶれを解消し、出力画像１２と同一の出力画像１８を得る。
【０００７】
一方、光学式の画像ぶれ補正機能を有するカメラは、カメラ動きを相殺するように、レンズ系や撮像素子を機械的に移動させる。従って、撮像素子上の結像画像そのものに画像ぶれの補正が施される。
【０００８】
上述のように電子式の画像ぶれ補正では、図１Ａ〜図１Ｃで説明したように、カメラの動きに応じて切り出しフレーム１１を移動させるため、カメラの動きを正確に検出する必要がある。そして、このカメラの動きは、撮影画像の動きによって検出される。被写体が静止していれば簡単に正確なカメラの動きを検出することができる。しかし、実際には動く被写体を撮影することがあり、特に、ビデオカメラは、被写体の動きを時間的に追いかける動画としての記録を主目的とするため、被写体が静止しているということは殆どない。
【０００９】
そこで、たとえば、特許文献１〜３は、移動する被写体が映り込んでも画像ぶれ補正が可能である電子式の画像ぶれ補正技術を開示している。
【００１０】
図２は、上記特許文献１の撮影装置が備える動きベクトル検出装置の構成を示す構成図である。
【００１１】
この動きベクトル検出装置は、動きベクトル検出手段３１と、動きベクトル判定手段３２と、発散度計算手段３３と、ＬＰＦ３４と、変換手段と、制御手段３６とを備えている。
【００１２】
動きベクトル検出手段３１は、撮影画像のブロックごとに動きベクトルを検出する。
【００１３】
図３Ａおよび図３Ｂは、ブロックごとの動きベクトルを示す図である。
【００１４】
図３Ａに示すように、動きベクトル検出手段３１は、撮影画像２０を複数のブロックに分割し、ブロックごとに動きベクトルを検出する。被写体が静止していた場合、すべてのブロックの動きベクトルは一致し、これがカメラ動きを表わす。一方、移動する被写体が存在する場合には、すべてのブロックの動きベクトルは一致しない。したがって、動きベクトル検出手段３１は、図３Ｂのように、異なる向きを持つ動きベクトルを検出する。そこで、発散度計算手段３３は、それらの動きベクトルの分散の度合いを示す「発散度」を計算する。そして、制御手段３６は、その発散度に応じた、撮影画像２０の全体の動きベクトル（カメラ動き）を算出する。具体的には、変換手段３５は、撮影画像全体の動きベクトルの大きさを制御する動きベクトル係数と発散度との関係を設定し、発散度が大きくなるに従って、その発散度の動きベクトルの大きさを抑えていく。
【００１５】
図４は、動きベクトル係数と発散度との関係を示す図である。
【００１６】
変換手段３５は、発散度の大きい動きベクトルほど、その動きベクトルの動きベクトル係数を小さくすることによって、撮影画像全体の動きベクトルに対する、発散度の大きい動きベクトルが与える影響を抑えている。このような変換手段３５による処理結果に基づいて、制御手段３６は、撮影画像全体の動きベクトルの大きさを制御している。
【００１７】
これにより、特許文献１の撮影装置では、移動する被写体が撮影画像に映り込んでも、その被写体の動きベクトルの影響を抑えて、画像ぶれを補正することができる。
【００１８】
また、特許文献２および３には、撮影画像の全領域における動きベクトルを用いることなく、撮影画像の外側部分の動きベクトルだけを使ってカメラ動きを検出する技術が開示されている。具体的には、特許文献２の撮影装置は、撮影画像の四隅の動きベクトルを用いてカメラ動きを検出している。つまり、撮影画像において、その中央部分には動きのある被写体が映り、四隅などの外側部分には動きのない背景が映っている場合が多い。したがって、これら特許文献２および３の撮影装置は、その外側部分の動きベクトルだけを使ってカメラ動きを検出し、その検出したカメラ動きに応じて切り出しフレームを移動させている。
【００１９】
これにより、特許文献２および３の撮影装置では、移動する被写体が撮影画像に映り込んでも、その被写体のない外側部分の動きベクトルだけを用いてカメラ動きを検出しているため、画像ぶれを補正することができる。
【特許文献１】特許第２５０６４６９号（図１、図２）
【特許文献２】特開平６−３５０８９５号公報（段落０００７、図２）
【特許文献３】特開平５−２２６４５号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、上記特許文献１〜３の撮影装置では、カメラ動きを精度よく検出することができず、画像ぶれを適切に補正することができないという問題がある。
【００２１】
つまり、上記特許文献１の撮影装置では、被写体の動きが激しいと、各ブロックの動きベクトルの分散度が大きくなり、撮影画像全体の動きベクトルの大きさを抑えてしまう。その結果、発散度が大きいほど、カメラ動きを適切に検出することができず、画像ぶれの適切な補正ができないのである。特に、ビデオカメラは、動きのある被写体を中心に撮影するため、ビデオカメラでは、スチルカメラよりもカメラ動きの検出が困難となる。
【００２２】
また、上記特許文献２および３の撮影装置では、撮影画像の外側部分に動きのある被写体が大きく映っている場合には、その外側部分において検出される複数の動きベクトルのばらつきが大きく、その結果、カメラ動きを精度よく検出することができず、画像ぶれの適切な補正ができない。
【００２３】
そこで、本発明は、かかる問題に鑑みてなされたものであって、カメラ動きを精度よく検出して適切に画像ぶれを補正する撮影装置を提供することを目的とする。
【課題を解決するための手段】
【００２４】
上記目的を達成するために、本発明に係る撮影装置は、画像を撮影して撮影された前記画像のぶれを補正する撮影装置であって、画像を撮影する撮影手段と、前記撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力手段と、前記撮影手段によって撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出手段と、前記動き検出手段により導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整手段と、前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整手段により調整された大きさの前記外側の領域における、前記動き検出手段によって検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力手段から出力される画像のぶれを補正する補正手段とを備えることを特徴とする。
【００２５】
例えば、撮影者が動画像を撮影するときには、一般に、撮影者は動きのある被写体が画面の中央に映るように撮影する。したがって、撮影画像または入力画像である動画像の内側の領域、例えばフレーミング領域には、撮影装置の動き（ぶれ）を適切に特定し得るような動画像の動きが少なく、逆に、外側の領域（外枠領域）には、撮影装置の動き（ぶれ）を適切に特定し得るような動画像の動きが多い。
【００２６】
そこで本発明では、内側の領域における画像の動きに関わらず、外側の領域における画像の動きに応じてフレーミング領域を移動させることによって、被写体の動きに影響されることなく、撮影装置の動き（ぶれ）を相殺する方向および距離にフレーミング領域を適切に移動させることができ、その結果、被写体の動きが激しくても適切にフレーミング領域の画像ぶれを補正することができる。
【００２７】
つまり、撮影者が撮影したい被写体が動いていても、その被写体の周辺に存在する静止物体を外側の領域（外枠領域）内に捉えることができ、従って、静止物体の動きベクトルを捉えることで安定した画像ぶれ補正が可能になる。
【００２８】
さらに、本発明では、外側の領域における複数の動きベクトルの検出精度が導出され、その検出精度が所定の基準を満たすように、外側の領域の大きさが調整される。例えば、その検出精度は複数の動きベクトルの分散の逆数により示される。
【００２９】
これにより、外側の領域に動きのある被写体が大きく映っている場合には、その領域における複数の動きベクトルの分散が大きく、検出精度が所定の基準値よりも低くなるため、検出精度がその基準値よりも高くなるように、例えば外側の領域が大きく調整される。つまり、外側の領域が大きく調整されると、その領域では、静止している背景の占める割合が多くなることがあり、検出精度が高くなるのである。その結果、動きのある被写体による影響を抑えて、検出精度が高い、つまり分散が小さい複数の動きベクトルに応じてカメラ動き（撮影装置の動き）を精度よく検出することができ、適切に画像ぶれを補正することができる。
【００３０】
なお、本発明は、このような撮影装置として実現することができるだけでなく、その方法やプログラム、そのプログラムを格納する記憶媒体、録画および再生機能を有する撮影記録再生装置としても実現することができる。
【発明の効果】
【００３１】
本発明の撮影装置は、カメラ動きを精度よく検出して適切に画像ぶれを補正することができるという作用効果を奏し、撮影者は画像ぶれを防止するために、三脚を使ったり、脇を締めてカメラを構えるなどの配慮を不要とし、フレーミングを中心とした撮影行為そのものに集中することができる。また、画像ぶれに関する知識が乏しい初心者でも画像ぶれのない映像を撮影できるため、ビデオ撮影の手軽さが向上し、利用者層や利用シーンの拡大につながる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３３】
（実施の形態１）
本実施の形態における撮影装置は、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。
【００３４】
図５は、本発明の実施の形態１に係る撮影装置１００の構成を示すブロック図である。
【００３５】
本実施の形態における撮影装置１００は、被写体１０１を動画像として撮影し、動画像である出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、被写体１０１の動きが激しくても適切に出力画像１０２の画像ぶれを補正する。
【００３６】
このような撮影装置１００は、撮像センサ部１０３、焦点距離固定レンズ系１０４、動きベクトル算出部１０６、フレーミング領域設定部１０８、フレーミング領域表示部１０９、静止物体検出部１１１、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、および出力画像サイズ選択部１２２を備えている。
【００３７】
つまり、本実施の形態における撮影装置１００は、画像を撮影する撮影手段たる撮像センサ部１０３と、撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力部１２１と、撮影手段によって撮影された画像の空間領域のうちの外側の領域における画像の動きを検出する動き検出手段たる動きベクトル算出部１０６および静止物体検出部１１１と、空間領域のうちの内側の領域における画像の動きに関わらず、動き検出手段によって検出された、外側の領域における画像の動きに応じて、フレーミング領域を移動させることにより、出力手段から出力される画像のぶれを補正する補正手段たるカメラ動き算出部１１３およびフレーミング領域補正部１１５とを備える。
【００３８】
出力画像１０２は、たとえば、撮影装置１００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置１００に接続されたビデオ記録装置５０に記録される。
【００３９】
撮像センサ部１０３は、焦点距離固定レンズ系１０４によって結像された被写体１０１の像を入力画像（撮影画像）１０５として出力する。
【００４０】
動きベクトル算出部１０６は、入力画像１０５の特徴点の動きを動きベクトルとして算出し、その動きベクトルを動きベクトル信号１０７として出力する。
【００４１】
図６は、動きベクトルの算出方法の一例を示す図である。
【００４２】
例えば、撮影画像は、時刻Ｔ１の撮影画像１５１から時刻Ｔ２の撮影画像１５２に変化する。ここで、画像１５０は、時刻Ｔ１での撮影画像１５１と、時刻Ｔ２での撮影画像１５２を重ね合わせたものである。動きベクトル算出部１０６は、この例では、被写体１０１の目の位置にある特徴点１５５と特徴点１５７との位置の違いから、動きベクトル１５３を算出する。また、動きベクトル算出部１０６は、肩の位置にある特徴点１５６と特徴点１５８との位置の違いから、動きベクトル１５４を算出する。また、動きベクトル算出部１０６は、隣接画素の画素値の違いを利用し、たとえば、隣接画素の画素値の違いが予め設定された閾値より大きい位置を、上述の特徴点として検出している。
【００４３】
このように動きベクトル算出部１０６は、まず、入力画像（撮影画像）に含まれる全ての特徴点を検出し、その入力画像（撮影画像）と他の時刻の入力画像（撮影画像）との間での特徴点の動きを動きベクトルとして検出している。
【００４４】
図７は、入力画像１０５内に設定されるフレーミング領域および外枠領域を示す図である。
【００４５】
フレーミング領域設定部１０８は、図７に示すように、入力画像１０５内にフレーミング領域１６０と外枠領域１６１を設定する。
【００４６】
フレーミング領域１６０は、図７に示す点線の四角で囲まれた領域であって、フレーミング領域表示部１０９に表示される画像の領域である。なお、撮影者６０は、表示されたフレーミング領域に表示される画像を、撮影されている画像（画角）だと理解して、カメラ位置や向きを調整する。
【００４７】
外枠領域１６１は、入力画像１０５におけるフレーミング領域１６０以外であり、後述するように、この領域で算出された動きベクトルを用いて画像ぶれを補正するために設定される。
【００４８】
つまり、フレーミング領域設定部１０８は、フレーミング領域１６０を、たとえば、点１６２と点１６３のｘ座標とｙ座標で定義し、それらの座標を示す情報をフレーミング領域設定信号１１０として出力する。
【００４９】
静止物体検出部１１１は、動きベクトル信号１０７の示す動きベクトルのうち、外枠領域１６１で算出された動きベクトルのみを使って静止物体を検出する。即ち、静止物体検出部１１１は、入力画像１０５に含まれる全ての特徴点の動きベクトルの中から、外枠領域１６１の動きベクトルを抽出する。さらに、静止物体検出部１１１は、その外枠領域１６１の動きベクトルの中から、静止物体の動きベクトルと推定されるものだけを抽出する。
【００５０】
一般に、広角撮影した場合、被写体の背景に静止物体が撮影されることが多い。したがって、上述のように外枠領域１６１のみを用いる理由は、被写体の動きを記録したいビデオカメラの撮影では、撮影者６０がフレーミングした領域（つまりフレーミング領域１６０）の周辺に被写体背景として静止物体が撮影されると、期待されるからである。つまり、撮影手段たる撮像センサ部１０３は、動いている被写体１０１の画像が上述の内側の領域に収まるように撮影する。
【００５１】
図８Ａおよび図８Ｂは、フレーミング領域１６０および外枠領域１６１に表示される画像の例を示す図である。
【００５２】
図８Ａに示すように、撮影者６０と静止背景７０が、一続きの地面や建物の床、壁等に接地している場合、撮影者６０が静止していれば、撮影者６０と静止背景７０の位置関係は固定され、静止背景７０は入力画像１０５上で同じ位置に撮影される。また、地面や建物の床、壁などは、一般にテクスチャ（模様や光沢、微小な凹凸によって生じる陰影などの総称）を持ち、平らな地面や床面、壁面でも輝度の違いから特徴点を検出することができる。
【００５３】
そこで、外枠領域１６１のみを用いることによって、図８Ａに示す地面７１や、図８Ｂに示す地面７２や壁面７３も静止物体として利用でき、外枠領域１６１に静止物体を検出できる可能性が高まる。一方、撮影者６０が持つ撮影装置１００の構えが動いた場合、静止背景７０や地面７１、地面７２、壁面７３などの静止物体は入力画像１０５上で異なった位置に撮影され、その結果、図６を用いて説明したように、動きベクトルが発生する。これらの動きベクトルが画像ぶれの方向と大きさを表わし、これらの動きベクトルを利用して、図１Ｃに示した要領で画像ぶれを補正することができる。
【００５４】
図９は、静止物体検出部１１１が静止物体（静止物体の動きベクトル）を検出する方法を説明するための図である。
【００５５】
例えば、時刻Ｔ１から時刻Ｔ２の経過の間に、被写体１０１は、被写体１０１から見て左前方へ移動する。画像１５０は、時刻Ｔ１の入力画像９０１と、時刻Ｔ２の入力画像９０２と、動きベクトルとを重ねて表示した画像である。静止物体の動きベクトルは、撮影装置１００の移動によって生じるため、すべて類似の方向と大きさを持つ。
【００５６】
ここで、撮影されるシーンの３次元の空間情報が撮像センサ部１０３の２次元面に投影されるため、撮影装置１００から遠い距離にある静止物体と近い距離にある静止物体では、動きベクトルの方向と大きさが完全に一致することはないが、概ね同じ傾向を示す。また、焦点距離固定レンズ系１０４の周辺ひずみのために、画面中央と画面周辺で動きベクトルが異なる場合もある。
【００５７】
そこで、静止物体検出部１１１は、動きベクトルの方向と大きさに許容範囲を設けて、外枠領域１６１の動きベクトルのうち、この許容範囲内に収まる動きベクトルを、静止物体の動きベクトルと解釈して、その動きベクトルの示す動きを撮影装置１００の画像ぶれとする。また、動きベクトルの始点と終点のどちらかがフレーミング領域１６０内に存在する場合があるが、フレーミング領域１６０の中にも静止物体（図９に示す静止背景７０と静止背景７４）が撮影される場合がある。したがって、静止物体検出部１１１は、動きベクトルの始点あるいは終点が外枠領域１６１に存在すれば、その動きベクトルが外枠領域１６１の動きベクトルに属すると判断する。
【００５８】
図１０は、外枠領域１６１の動きベクトルを示す図である。
【００５９】
静止物体検出部１１１は、図１０の実線の矢印に示す動きベクトルを、外枠領域１６１の動きベクトルとして抽出する。つまり、静止物体検出部１１１は、外枠領域１６１内に少なくとも始点、あるいは終点を有する動きベクトルのみを抽出する。そして、静止物体検出部１１１は、その抽出した動きベクトルの平均ベクトルを求め、許容範囲として平均ベクトルとの距離（距離閾値ｔｖ）を設定し、距離閾値ｔｖよりも平均ベクトルとの距離が小さい動きベクトルを静止物体の動きベクトルとして検出する。
【００６０】
即ち、動き検出手段たる動きベクトル算出部１０６および静止物体検出部１１１は、上述の外側の領域において複数の動きベクトルを検出するとともに、検出された複数の動きベクトルの中から、その複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出している。
【００６１】
ところで、外枠領域１６１に静止物体を撮影できないケースがある。
【００６２】
図１１Ａおよび図１１Ｂは、静止物体を撮影できないケースを示す図である。
【００６３】
例えば、図１１Ａに示すように、撮影装置１００と被写体１０１の距離が非常に近い場合や、図１１Ｂに示すように、撮影者６０が移動手段８０に載って移動している場合には、静止物体を撮影することができない。いずれの場合も、画面全体で動きが観察されるような状態であり、動きを感じる映像であることが自然な状況である。
【００６４】
従って、静止物体検出部１１１は、入力画像１０５に基づいて、静止物体を撮影しているか否かを判別し、静止物体を撮影していると判別したときには、上述のように静止物体の動きベクトルを検出する。一方、静止物体検出部１１１は、静止物体を撮影していないと判別したときには、静止物体の動きベクトルの検出を行わず、画像ぶれ補正が行われないような補正中断処理を実行する。この場合、撮影装置１００は、入力画像１０５をそのまま出力画像１０２として出力する。
【００６５】
例えば、静止物体検出部１１１は、外枠領域１６１の動きベクトルと、フレーミング領域１６０の動きベクトルとがそれぞれ略等しい大きさおよび向きを有する場合に、静止物体を撮影していないと判別する。または、静止物体検出部１１１は、外枠領域１６１の動きベクトルのばらつきが非常に大きい場合に、静止物体を撮影していないと判別する。
【００６６】
以上より、静止物体検出部１１１は、静止物体を撮影していると判別したときには、外枠領域１６１に属する動きベクトルをもとに静止物体（静止物体の動きベクトル）を検出し、検出された１つまたは複数の動きベクトルを静止物体動きベクトル信号１１２として出力する。一方、静止物体を撮影していないと判別したときには、静止物体検出部１１１は、静止物体の動きベクトルの検出を行わず、補正中断処理として、静止物体なしを示す静止物体動きベクトル信号１１２を出力する。たとえば、静止物体検出部１１１は、静止物体なしを示す静止物体動きベクトル信号１１２として、すべての成分が０の動きベクトルを示す静止物体動きベクトル信号１１２や、動きベクトルの大きさの最大値（具体的には、画像の対角の長さ）よりも明らかに大きな値をすべての成分に有する動きベクトルを示す静止物体動きベクトル信号１１２を出力する。
【００６７】
後述するカメラ動き算出部１１３は、静止物体なしを示す静止物体動きベクトル信号１１２を受けた場合は、カメラ動きを算出する動作を停止する。その結果、フレーミング領域補正部１１５の動作も停止され、補正フレーミング領域切り出し部１１７は、撮像センサ部１０３から取得した入力画像１０５をそのまま出力する。
【００６８】
つまり、撮影装置１００は、撮影手段たる撮像センサ部１０３によって撮影された画像の動きに基づいて、ぶれを補正すべきか否かを判別する補正判別手段を静止物体検出部１１１に備え、その補正判別手段によって補正すべきでないと判別されたときには、補正手段たるカメラ動き算出部１１３およびフレーミング領域補正部１１５はフレーミング領域の移動を中止する。これにより、撮影された状況に応じて画像ぶれ補正機能が停止され、画面全体で動きが観察されるような映像や、動きを感じる映像を出力することができる。
【００６９】
カメラ動き算出部１１３は、静止物体検出部１１１から取得した静止物体動きベクトル信号１１２からカメラ動き信号１１４を算出する。上述したように、静止物体動きベクトル信号１１２は、方向と大きさが許容範囲内で異なる複数の動きベクトルを有する。そこで、カメラ動き算出部１１３は、これらの単純な平均や頻度分布による加重平均などで１本の動きベクトルに変換し、この動きベクトルと逆方向で同じ大きさの動きベクトル（カメラ動き）をカメラ動き信号１１４として出力する。つまり、上述の補正手段は、静止物体の画像の動きベクトルの平均を示す平均動きベクトルを算出する算出手段たるカメラ動き算出部１１３を備えている。
【００７０】
フレーミング領域補正部１１５は、カメラ動き算出部１１３から取得したカメラ動き信号１１４を使って、画像ぶれを相殺する位置にフレーミング領域を補正する。補正の要領は図１Ａ〜図１Ｃを用いて説明した処理と同じである。すなわち、カメラ動き信号１１４は、図１Ｂのカメラ動き１４と同様の動きを示す。そこで、フレーミング領域補正部１１５は、フレーミング領域設定部１０８からフレーミング領域設定信号１１０を取得すると、そのフレーミング領域設定信号１１０の示すフレーミング領域１６０の座標（図７に示す点１６２，１６３の座標）を、カメラ動き信号１１４の示す動きベクトルと逆方向で同じ長さのカメラ動き補正ベクトルだけ移動させる。そして、フレーミング領域補正部１１５は、座標を移動することによって補正されたフレーミング領域の位置を示す情報を、補正フレーミング領域信号１１６として出力する。つまり、上述の補正手段は、上述の平均動きベクトルに応じてフレーミング領域１６０を移動させるフレーミング領域補正部１１５を備えている。
【００７１】
補正フレーミング領域切り出し部１１７は、撮像センサ部１０３から入力画像１０５を取得して、フレーミング領域補正部１１５から補正フレーミング領域信号１１６を取得する。そして、補正フレーミング領域切り出し部１１７は、入力画像１０５から、補正フレーミング領域信号１１６の示す、画像ぶれ補正されたフレーミング領域を切り出し、その切り出した画像を画像ぶれ補正フレーミング画像１１８として出力する。
【００７２】
つまり、本実施の形態における撮影装置１００は、撮影された画像からフレーミング領域１６０の画像を切り出す切出手段たる補正フレーミング領域切り出し部１１７を備えている。
【００７３】
画像ぶれ補正フレーミング画像１１８は、撮影者６０が撮影装置１００の位置と向きを制御して決定した撮影画角に一致し、撮影装置１００の位置と向きの変更時に生じた画像ぶれが解消されている。
【００７４】
表示画像サイズ調整部１１９は、補正フレーミング領域切り出し部１１７から画像ぶれ補正フレーミング画像１１８を取得し、その画像サイズを、フレーミング領域表示部１０９の表示画像サイズに合うように変換する。
【００７５】
フレーミング領域表示部１０９は、画像サイズが変換された画像ぶれ補正フレーミング画像１１８を表示する。
【００７６】
撮影者６０は、フレーミング領域表示部１０９に表示された画像ぶれ補正フレーミング画像１１８を見ることで、撮影画角を目視確認できる。通常、撮影装置１００の大きさから、フレーミング領域表示部１０９に用いられるディスプレイパネルの対角長さは、３インチ前後であり、水平画素数は３２０画素、ライン数は２４０ラインを超えない程度である。従って、ディスプレイパネルの水平画素数とライン数は、撮像センサ部１０３のそれよりも小さい場合が多く、表示画像サイズ調整部１１９での画像サイズ変換は実質、縮小処理になる。画像の縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。
【００７７】
出力画像サイズ選択部１２２は、撮影者６０による操作に基づいて、複数の画像サイズの中から、出力部１２１から出力される出力画像１０２のサイズを選択する。そして、出力画像サイズ選択部１２２は、その選択された画像サイズを示す出力画像サイズ選択信号１２３を出力画像サイズ調整部１２０に出力する。つまり、出力画像サイズ選択部１２２は、目的とする出力画像１０２のサイズを出力画像サイズ調整部１２０に通知する。
【００７８】
出力画像サイズ調整部１２０は、補正フレーミング領域切り出し部１１７から画像ぶれ補正フレーミング画像１１８を取得し、その画像サイズ（水平画素数とライン数）を、ディスプレイ装置４０に表示される画像のサイズまたはビデオ記録装置５０に記録される画像のサイズ、つまり上述の目的とする出力画像１０２のサイズに合うように変換する。そして、出力画像サイズ調整部１２０は、画像サイズが変換された画像ぶれ補正フレーミング画像１１８を出力画像１０２として出力する。
【００７９】
なお、フレーミング領域設定部１０８によって、画像ぶれ補正フレーミング画像１１８の水平画素数とライン数が、目的とする出力画像１０２のそれと一致するように設計されている場合は、出力画像サイズ調整部１２０は、画像サイズを変換する必要はなく、画像ぶれ補正フレーミング画像１１８をそのまま出力画像１０２として出力する。
【００８０】
また、画像ぶれ補正フレーミング画像１１８の水平画素数とライン数が、目的とする出力画像１０２のそれより大きい場合は、出力画像サイズ調整部１２０は、縮小処理を行う。たとえば、画像ぶれ補正フレーミング画像１１８のサイズが７２０画素×４８０ラインで、目的とする出力画像１０２のサイズが３６０画素×２４０ラインの場合、出力画像サイズ調整部１２０は、水平画素数とライン数ともに１／２に縮小する。縮小処理は、通常、折り返しによる画質劣化を防ぐために、ローパスフィルタを使って高周波成分を削除し、サブサンプリングで水平画素数とライン数を小さくする。
【００８１】
一方、画像ぶれ補正フレーミング画像１１８の水平画素数とライン数が、目的とする出力画像１０２のそれより小さい場合は、出力画像サイズ調整部１２０は、拡大処理を行う。つまり、本実施の形態における撮影装置１００は、上述の切出手段によって切り出された画像を拡大するサイズ調整手段たる出力画像サイズ調整部１２０を備えている。
【００８２】
たとえば、画像ぶれ補正フレーミング画像１１８のサイズが７２０画素×４８０ラインで、目的とする出力画像１０２のサイズが２１６０画素×１４４０ラインの場合、出力画像サイズ調整部１２０は、水平画素数とライン数ともに３倍に拡大する。拡大処理には、バイリニア補間やバイキュービック補間などによる再サンプリングがあるが、補間処理では高周波成分を作り出すことが困難であり、通常、ボケを感じる鮮鋭度の低い画像となる。また、この傾向は、拡大率が多くなるほど強まり、フレーミング領域１６０が入力画像１０５よりも小さければ小さいほど、出力画像１０２の画質は劣化する。
【００８３】
そこで、本発明では、出力画像サイズ調整部１２０は、拡大処理を行うときには、すでに撮影された過去の画像から出力画像１０２を構成する。すなわち、出力画像サイズ調整部１２０は、過去に撮影された画像を画像拡大用のデータベースとして用い、出力画像１０２をそのデータベースから参照した画像データで構成する。
【００８４】
図１２は、拡大処理を行う出力画像サイズ調整部１２０の内部構成例を示すブロック図である。
【００８５】
この出力画像サイズ調整部１２０は、画像拡大用データベース１７１を参照して、画像ぶれ補正フレーミング画像１１８を拡大するものであって、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５とから成る。また、画像拡大用データベース１７１は、リソースデータ部１７２と、低解像度リソースデータ部１７４とを備えている。
【００８６】
この出力画像サイズ調整部１２０は、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。
【００８７】
まず、出力画像サイズ調整部１２０による画像拡大用データベース１７１のリソースの構築について説明する。
【００８８】
リソースデータ部１７２は、過去に撮影した画像を画像拡大用のリソースとして保持する。従って、リソースデータ部１７２は、補正フレーミング領域切り出し部１１７から出力される画像ぶれ補正フレーミング画像１１８を取得し、画像拡大用のリソースとして保持する。
【００８９】
低解像度化部１７３は、目的とする出力画像１０２に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、リソースデータ部１７２が持つ画像拡大用のリソースを低解像度化する。撮像センサ部１０３の低解像度化モデルでは、予め、複数のサンプルを用いて低解像度画像と高解像度画像を撮影して画像縮小用のデータベースを作成したり、複数のサンプルから解析的に低解像度化関数を導出する。あるいは、画像拡大用のリソースにローパスフィルタとサブサンプリングを施すことを低解像度化モデルとする。
【００９０】
低解像度化部１７３は、低解像度化されたリソースを低解像度リソースデータ部１７４に格納する。このとき、低解像度化部１７３は、リソースデータ部１７２の画像拡大用のリソース（過去に撮影された高解像度の画像）と、そのリソースを低解像化して生成されたリソース（低解像度の画像）とを対応付けておく。したがって、画像拡大用データベース１７１を利用すれば、低解像の画像を高解像度の画像に置き換えることができる。なお、リソースデータ部１７２および低解像度リソースデータ部１７４は、低解像度と高解像度の画像を、ピクチャ単位や、ピクチャを構成するブロック単位で格納していてもよい。
【００９１】
次に、出力画像サイズ調整部１２０による拡大処理について説明する。
【００９２】
類似データ検出部１７５は、補正フレーミング領域切り出し部１１７から画像ぶれ補正フレーミング画像１１８を取得する。そして、類似データ検出部１７５は、低解像度リソースデータ部１７４を参照して、画像ぶれ補正フレーミング画像１１８との類似性が最も高い低解像度リソース（画像）を検出する。そして、類似データ検出部１７５は、検出された低解像度リソースに対応付けられている元のリソース（高解像度の画像）をリソースデータ部１７２から見つけ出す。類似データ検出部１７５は、その見つけ出したリソースを出力画像１０２とし、リソースデータ部１７２から出力部１２１に出力させる。
【００９３】
即ち、上述のサイズ調整手段たる出力画像サイズ調整部１２０は、画像ごとに、その画像を低解像度で示す低解像度リソースデータと、その画像を高解像度で示す高解像度リソースデータとを格納しているリソースデータ格納手段たる画像拡大用データベース１７１と、上述の切出手段によって切り出された画像と類似する画像を示す低解像度リソースデータを上述のリソースデータ格納手段から検索して、その低解像度リソースデータに対応する高解像度リソースデータをリソースデータ格納手段から取り出すことによって、上述の切り出された画像を拡大する類似データ検索手段たる類似データ検出部１７５とを備えている。
【００９４】
なお、類似データ検出部１７５で用いられる類似性の尺度は任意であるが、たとえば空間周波数特性の類似性を用いてもよい。
【００９５】
つまり、リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに格納されるデータは、画像ではなく、例えばウェーブレット係数などの画像特徴ベクトルであってもよい。
【００９６】
図１３は、ウェーブレット変換による多重解像度表現の例を示す図である。
【００９７】
出力画像サイズ調整部１２０は、ウェーブレット係数などの画像特徴ベクトルをリソースとして有する場合には、ｎ回のウェーブレット変換を行う。スケールｎ＝３の場合、出力画像サイズ調整部１２０は、１０個のウェーブレット係数を算出し、これらを要素とする１０次元の画像特徴ベクトル（ｗ１、ｗ２、．．．、ｗ１０）を定義する。この場合、類似性の大小は、１０次元の画像特徴空間での画像特徴ベクトルの距離の大小になる。
【００９８】
図１４は、画像特徴ベクトルを算出する出力画像サイズ調整部１２０の内部構成例を示すブロック図である。
【００９９】
出力画像サイズ調整部１２０は、第１の画像特徴ベクトル算出部１７６と、第２の画像特徴ベクトル算出部１７９と、画像拡大用データベース１７１と、低解像度化部１７３と、類似データ検出部１７５と、出力画像算出部１８１とを備えている。
【０１００】
この出力画像サイズ調整部１２０は、上述と同様、拡大処理を行うときには、事前に、画像拡大用データベース１７１のリソースを構築しておき、そのリソースを用いて拡大処理を行う。
【０１０１】
まず、画像拡大用データベース１７１のリソースが構築されている状態で、出力画像サイズ調整部１２０が拡大処理を行うときの処理について説明する。
【０１０２】
リソースデータ部１７２および低解像度リソースデータ部１７４のそれぞれに、高解像度の画像を示す画像特徴ベクトルと、その画像に対応する低解像度の画像を示す画像特徴ベクトルとが対応付けて格納されている。
【０１０３】
第１の画像特徴ベクトル算出部１７６は、出力画像サイズ調整部１２０が拡大処理を行うときには、補正フレーミング領域切り出し部１１７から出力された画像ぶれ補正フレーミング画像１１８を取得し、その画像ぶれ補正フレーミング画像１１８を画像特徴ベクトル１７７に変換して類似データ検出部１７５に出力する。ここで、第１の画像特徴ベクトル算出部１７６は、たとえば、図１３に示す要領で画像特徴ベクトルを算出する。
【０１０４】
類似データ検出部１７５は、画像ぶれ補正フレーミング画像１１８の画像特徴ベクトル１７７に最も近い画像特徴ベクトルを低解像度リソースデータ部１７４から見つけ出す。そして、類似データ検出部１７５は、その見つけ出した低解像度の画像特徴ベクトルに対応付けられた高解像度の画像特徴ベクトルをリソースデータ部１７２から出力させる。
【０１０５】
即ち、上述の類似データ検索手段たる類似データ検出部１７５は、切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する。
【０１０６】
出力画像算出部１８１は、リソースデータ部１７２から出力された高解像度の画像特徴ベクトルに対して、第１の画像特徴ベクトル算出部１７６で行われたウェーブレット変換の逆変換を行うことによって、出力画像特徴ベクトル１８０を出力画像１０２に変換して出力部１２１に出力する。
【０１０７】
一方、出力画像サイズ調整部１２０が画像拡大用データベース１７１のリソースを構築するときには、第１の画像特徴ベクトル算出部１７６は、画像ぶれ補正フレーミング画像１１８に対応する高解像度の画像特徴ベクトル１７７を算出して画像拡大用データベース１７１のリソースデータ部１７２に格納する。このように格納された画像特徴ベクトル１７７は、拡大画像の画像特徴量として参照される。
【０１０８】
低解像度化部１７３は、第１の画像特徴ベクトル算出部１７６で算出された画像特徴ベクトル１７７に対応する画像ぶれ補正フレーミング画像１１８を取得する。そして、低解像度化部１７３は、目的とする出力画像１０２に対するフレーミング領域１６０の水平画素数とライン数の比率や撮像センサ部１０３の低解像度化モデルに従って、画像ぶれ補正フレーミング画像１１８を低解像度化して、低解像度化画像ぶれ補正フレーミング画像１７８を出力する。
【０１０９】
第２の画像特徴ベクトル算出部１７９は、低解像度化画像ぶれ補正フレーミング画像１７８の画像特徴ベクトルを算出し、低解像度リソースデータ部１７４に格納する。第２の画像特徴ベクトル算出部１７９の画像特徴ベクトルの算出方法は、第１の画像特徴ベクトル算出部１７６と同一であり、その結果、リソースデータ部１７２との互換性が確保されている。
【０１１０】
このように出力画像サイズ調整部１２０が構成されているため、類似データ検出部１７５は、画像ぶれ補正フレーミング画像１１８と最も類似度の高い低解像度のリソースを画像特徴量ベクトル空間で検出することができる。そして、検出された低解像度のリソースを生成するための元とされた高解像度のリソースをリソースデータ部１７２から参照し、出力画像特徴ベクトル１８０として出力することができる。
【０１１１】
なお、類似データ検出部１７５の処理高速化のために、図１３に示すスケールｎのＬＬ成分などを用いて、参照範囲を一旦絞り込み、絞り込んだ範囲内で画像特徴ベクトルの距離比較を行う方法は有効である。
【０１１２】
出力部１２１は、ディスプレイ装置４０やビデオ記録装置５０と同一のインターフェースを有し、出力画像１０２をディスプレイ装置４０やビデオ記録装置５０へ出力する。なお、ディスプレイ装置４０やビデオ記録装置５０は外部ビデオ機器の一例であり、本発明は外部ビデオ機器に制限を与えるものではない。
【０１１３】
図１５は、本実施の形態における撮影装置１００の動作を示すフローチャートである。
【０１１４】
まず、撮影装置１００は、以下に順次説明する３つの初期設定を行う（ステップＳ１００）。初期設定の１つめは、静止物体の動きベクトルを検出する際の動きベクトルの類似度（許容範囲）の設定である。
【０１１５】
ステップＳ１００における初期設定の２つめは、フレーミング領域の設定である。たとえば、撮影装置１００のフレーミング領域設定部１０８は、フレーミング領域の水平画素数とライン数における、入力画像１０５の水平画素数とライン数に対する割合を設定する。入力画像１０５の水平画素数を１０８０画素、ライン数を７２０ラインとし、フレーミング領域の割合を７５％とした場合、フレーミング領域の水平画素数は８１０画素、ライン数は５４０ラインとなる。フレーミング領域の位置は、図７に示したように、フレーミング領域１６０の中心が入力画像１０５の中心と一致するように決められる。フレーミング領域１６０の設定は、撮影装置１００の内部構成であるフレーミング領域設定部１０８で行われる。なお、以上は一例であり、本発明はフレーミング領域１６０の設定方法を制限するものではない。たとえば、フレーミング領域１６０の入力画像１０５に対する水平画素数とライン数の割合を個別に設定しても構わない。フレーミング領域１６０の設定は、フレーミング領域設定部１０８が有するメモリから読み出すことで実行される。
【０１１６】
ステップＳ１００における初期設定の３つめは、出力画像１０２の画像サイズの設定である。撮影装置１００の出力画像サイズ調整部１２０は、出力画像サイズ選択信号１２３に基づいて出力画像１０２のサイズを設定する。例えば、出力画像サイズ調整部１２０は、出力画像サイズ選択信号１２３がＤＶ（Digital Video）形式のサイズを示す場合は、目的とする出力画像１０２のサイズを７２０画素×４８０ラインに設定し、出力画像サイズ選択信号１２３がハイビジョン形式のサイズを示す場合は、目的とする出力画像１０２のサイズを１９２０画素×１０８０ラインに設定する。
【０１１７】
ただし、フレーミング領域１６０のアスペクト比と、出力画像サイズ選択信号１２３の示す画像サイズのアスペクト比が異なる場合は、出力画像サイズ調整部１２０はアスペクト比の変換を行う。この場合は、出力画像サイズ調整部１２０はアスペクト比の変換方法をステップＳ１００で初期設定しておく。たとえば、変換方法には、フレーミング領域のうち、出力画像のアスペクト比に適合しない部分（たとえば、フレーミング領域の上下部分や左右部分）を切り落とす方法や、補間を使って出力画像の画素位置ごとにフレーミング領域から再サンプリングを行って画像を縦方向や横方向に引き伸ばしたり縮めたりする方法などがある。なお、本発明では、上述のようなアスペクト比の変換方法に制限されず、任意の方法でアスペクト比を変換してもよい。
【０１１８】
このような出力画像１０２の画像サイズの設定は、撮影装置１００を起動した際には、出力画像サイズ調整部１２０が有するメモリからデータを読み出して実行される。その後、撮影者６０が、出力画像サイズ選択部１２２が表示する設定メニューから出力画像１０２の画像サイズを選択したときには、その選択された画像サイズを示す出力画像サイズ選択信号１２３が出力画像サイズ調整部１２０に入力される。つまり、撮影者６０による操作によって選択された画像サイズが目的とする出力画像１０２のサイズとして再設定される。
【０１１９】
ステップＳ１００の初期設定に引き続き、撮影装置１００の撮像センサ部１０３は被写体１０１を撮影して入力画像１０５を出力する（ステップＳ１０１）。動きベクトル算出部１０６は、入力画像１０５の動きベクトルを算出し、動きベクトル信号１０７を出力する（ステップＳ１０２）。静止物体検出部１１１は、フレーミング領域設定部１０８が出力するフレーミング領域設定信号１１０をもとに、動きベクトル信号１０７の示す動きベクトルから、外枠領域に属する動きベクトルを抽出し、静止物体（静止物体の動きベクトル）を検出する（ステップＳ１０３）。そして、静止物体検出部１１１は、検出された静止物体の動きベクトルを、静止物体動きベクトル信号１１２として出力する。なお、静止物体が検出されなかった場合は、上述のように、静止物体なしを示す静止物体動きベクトル信号１１２を出力する。
【０１２０】
カメラ動き算出部１１３は、静止物体動きベクトル信号１１２をもとにカメラ動きを算出し、カメラ動き信号１１４を出力する（ステップＳ１０４）。フレーミング領域補正部１１５は、フレーミング領域設定信号１１０で与えられるフレーミング領域をカメラ動き信号１１４の示す動きベクトルと逆方向に移動することで画像ぶれを補正し、移動されたフレーミング領域を示す補正フレーミング領域信号１１６を出力する（ステップＳ１０５）。補正フレーミング領域切り出し部１１７は、入力画像１０５から補正フレーミング領域信号１１６の示す領域を切り出し、画像ぶれを補正した画像ぶれ補正フレーミング画像１１８として出力する（ステップＳ１０６）。
【０１２１】
表示画像サイズ調整部１１９は、画像ぶれ補正フレーミング画像１１８の画像サイズをフレーミング領域表示部１０９の画像サイズに調整し、フレーミング領域表示部１０９は、撮影者６０に対してフレーミング領域１６０の画像を表示する（ステップＳ１０７）。同様に、出力画像サイズ調整部１２０は、画像ぶれ補正フレーミング画像１１８の画像サイズを調整する（ステップＳ１０８）。ただし、ステップＳ１０８では、撮影者６０による操作に基づいて、任意のタイミングで出力画像サイズ選択信号１２３が出力され、出力画像１０２の画像サイズの変更が随時反映される。出力部１２１は、サイズ調整された出力画像１０２を撮影装置１００の外部へ出力する（ステップＳ１０９）。そして、撮影装置１００は、撮影継続か、撮影終了かを確認し（ステップＳ１１０）、撮影継続の場合は（ステップＳ１１０のＮｏ）、ステップＳ１０１からの処理を繰り返し実行し、撮影終了の場合は（ステップＳ１１０のＹｅｓ）、撮影の全ての動作を終了する。
【０１２２】
なお、ステップＳ１０７と、ステップＳ１０８，Ｓ１０９とはそれぞれ逆の順序で行われても同時に行われてもよい。
【０１２３】
図１６Ａおよび図１６Ｂは、図１５のステップＳ１００において設定される静止物体の動きベクトルの類似度（許容範囲）を説明するための説明図である。
【０１２４】
動きベクトルは、図９で説明したように、時刻Ｔ１と時刻Ｔ２における同一画素値の特徴点の動きとして求められる。しかし、実際には、カメラノイズや照明の変化、被写体反射率の非等方性など、様々な原因で同一の特徴点であっても画素値が変化することがある。
【０１２５】
したがって、図１６Ａの実線の矢印で示すように、静止物体の動きベクトルであっても、様々な方向や大きさを持つ。そこで、静止物体検出部１１１は、外枠領域１６１の動きベクトルの中から、類似の動きベクトルを外枠領域から集め、たとえば、カメラ動き算出部１１３がそれらの平均をもってカメラ動きとするなどの処理が必要になる。
【０１２６】
具体的には、静止物体検出部１１１は、図１６Ｂに示すように、動きベクトルの方向と、その方向の動きベクトルの頻度との関係を示すヒストグラムを作成する。そして、静止物体検出部１１１は、動きベクトルを最大頻度から順に累積し、全体頻度の５０％までを類似ベクトル（静止物体の動きベクトル）の候補として、その他を切り捨てる。さらに、静止物体検出部１１１は、類似ベクトル候補の大きさの平均値と分散を算出し、たとえば分散の７５％以内に入るベクトルを抽出し、これを最終結果として、静止物体の動きベクトルとする。この場合、静止物体検出部１１１は、初期設定として、ヒストグラムの横軸を決めるために必要な動きベクトルの方向に対するピッチと、類似ベクトル候補を決めるために必要な累積頻度に対する割合と、類似ベクトル候補から最終結果を抽出するために必要になる分散値とを設定する。
【０１２７】
なお、以上は一例であり、本発明は静止物体の動きベクトルの検出方法に制限を与えるものではない。また、静止物体の動きベクトルにおける類似度の設定は、静止物体検出部１１１が有するメモリからデータを読み出すことで実行される。
【０１２８】
図１７は、撮影装置１００の各構成要素の動作タイミングを示す図である。
【０１２９】
時間軸７００は、撮像センサ部１０３と出力部１２１が画像を出力する時間間隔ごとに、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４を示す。撮像センサ部１０３は、時刻Ｔ１で１枚目の画像である画像７０１を撮影して出力する。引き続き、撮像センサ部１０３は、時刻Ｔ２では画像７０２を出力し、時刻Ｔ３では画像７０３を出力する。
【０１３０】
時刻Ｔ１で撮影された画像７０１は、動きベクトル算出部１０６に入力され、動きベクトル算出部１０６に内蔵するメモリにバッファリングされて、動きベクトルを算出するために必要となる時刻Ｔ２の画像７０２の入力まで保持される。同様に、時刻Ｔ１で撮影された画像７０１は、補正フレーミング領域切り出し部１１７に入力され、補正フレーミング領域切り出し部１１７が内蔵するメモリにバッファリングされて、フレーミング領域の切り出し位置を指示する補正フレーミング領域信号１１６の入力まで保持される。
【０１３１】
期間７０４では、動きベクトル算出部１０６は、画像７０２を取得した段階で、画像７０１と画像７０２を用いた動きベクトルの算出を行う。引き続き、期間７０５では、静止物体検出部１１１が静止物体を検出し、期間７０６では、カメラ動き算出部１１３がカメラ動きを算出し、期間７０７では、フレーミング領域補正部１１５が画像ぶれ補正のためのフレーミング領域の切り出し位置を算出する。
【０１３２】
期間７０８では、補正フレーミング領域切り出し部１１７は、メモリにバッファリングされている画像７０１から補正フレーミング領域信号１１６の指示通りの領域の画像を切り出す。期間７０９では、出力画像サイズ調整部１２０は、画像７０１から切り出された画像のサイズを変換する。最後に、出力部１２１は、時刻Ｔ３のタイミングで画像８０１を出力する。
【０１３３】
時刻Ｔ２で撮影される画像７０２は、期間７１０において、時刻Ｔ３で撮影される画像７０３との間で動きベクトルを算出するため、期間７０４経過後も、動きベクトル算出部１０６内のメモリに保持される。同様に、時刻Ｔ２で撮影される画像７０２は、期間７１１において、フレーミング領域の切り出し位置が補正されるため、補正フレーミング領域切り出し部１１７内のメモリに保持される。
【０１３４】
以上、時刻Ｔ１で撮影された画像７０１は、時刻Ｔ３で画像ぶれを補正した画像８０１として出力される。時刻Ｔ２以降も同様で、時刻Ｔ２で撮影された画像７０２が時刻Ｔ４で画像８０２として出力される。
【０１３５】
ところで、カメラの３次元的な動きは、回転動きと並進動きに分解できる。上述したフレーミング領域の大きさを固定し、フレーミング領域の位置を変更して画像ぶれを補正する方法は、主に回転動きによって発生する画像ぶれを補正する。一方、並進動きによって発生する画像ぶれは、フレーミング領域の大きさを変更することで補正される。
【０１３６】
そこで、回転動きと並進動きを統合的に捉えた場合には、カメラ動き算出部１１３およびフレーミング領域補正部１１５は、３次元のアフィン変換を行い、カメラの回転動きと並進動きを統合的に検出して、フレーミング領域の位置および大きさを変更する。このような統合的な検出は、３次元のアフィン変換行列の係数を複数の動きベクトルで最小二乗近似することに相当する。以上のように、統合的な検出を３次元のアフィン変換で一般化すれば、図１Ａ〜図１Ｃで説明したような大きさ固定のフレーミング領域１６０の位置を変更する場合よりも正確な画像ぶれ補正が可能になる。
【０１３７】
なお、本発明は、この実施の形態における撮影装置１００として実現することができるだけでなく、このような撮影装置１００が備える特徴的な手段をステップとする撮影方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【０１３８】
以上のように、本実施の形態における撮影装置１００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置１００は外枠領域１６１の静止物体でカメラ動きを検出するため、画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。
【０１３９】
（実施の形態２）
本実施の形態における撮影装置は、実施の形態１の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態１の撮影装置の特徴を有するとともに、カメラ動きの検出精度に応じて外枠領域の大きさを変更して、画像ぶれの補正精度を高めることができる点に特徴がある。
【０１４０】
図１８は、本発明の実施の形態２に係る撮影装置２００の構成を示すブロック図である。なお、図５に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０１４１】
本実施の形態における撮影装置２００は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、動きベクトル算出部１０６、フレーミング領域表示部１０９、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、出力画像サイズ選択部１２２、静止物体検出部２０１、焦点距離可変レンズ部２０２、フレーミング領域設定部２０３、外枠領域調整部２０５、焦点距離算出部２０７、および焦点距離制御部２０９を備えている。
【０１４２】
出力画像１０２は、たとえば、撮影装置２００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置２００に接続されたビデオ記録装置５０に記録される。
【０１４３】
静止物体検出部２０１は、図９で説明したように、外枠領域１６１に属する動きベクトルの中から静止物体の動きを検出する。この際に、静止物体検出部２０１は、静止物体の動きベクトルの検出精度を計測し、これを基準値（以下、外枠領域変更基準値ｔｒと呼ぶ）と比較する。そして、静止物体検出部２０１は、検出精度が外枠領域変更基準値ｔｒより低い場合は、外枠領域１６１が広がるように外枠領域調整部２０５を制御する。その結果、撮影装置１００は、外枠領域１６１が広げられた状態で再び被写体１０１の撮影を行う。即ち、撮像センサ部１０３は、外枠領域１６１が広げられた状態で、再度、入力画像１０５を出力し、静止物体検出部２０１は、その入力画像１０５に基づいて静止物体の動きベクトルを検出しなおす。その結果、静止物体検出部２０１は、検出精度が外枠領域変更基準値ｔｒ以上である静止物体の動きベクトルを示す静止物体動きベクトル信号１１２を出力する。
【０１４４】
つまり、上述の動き検出手段を構成する静止物体検出部２０１は、上述の外側の領域において複数の動きベクトルを検出するとともに、検出された複数の前記動きベクトルのばらつきを検出精度として導出する。そしてさらに、本実施の形態における撮影装置２００は、その検出精度が予め定められた基準を満たさない場合に、その検出精度が基準を満たすように上述の外側の領域の大きさを調整する領域調整手段たる外枠領域調整部２０５を備えている。
【０１４５】
フレーミング領域設定部２０３は、外枠領域１６１の周縁と、フレーミング領域１６０の周縁とが一致するように、外枠領域調整部２０５により調整される外枠領域１６１の大きさに応じて、フレーミング領域１６０の大きさを設定する。
【０１４６】
焦点距離可変レンズ部２０２は、撮像センサ部１０３の前に配置され、焦点距離を短くして撮影画角を広げることによって、外枠領域１６１が広がることによって狭まるフレーミング領域１６０の画角を一定に保つ。
【０１４７】
本発明において、静止物体の動きベクトルの求め方とその検出精度の定義は任意である。たとえば、静止物体検出部２０１は、外枠領域１６１に属するすべての動きベクトルの平均を算出して、個々の動きベクトルとその平均との距離を閾値（以下、静止物体検出用閾値ｔｄという）と比較する。動きベクトルとその平均との距離が静止物体検出用閾値ｔｄより小さい場合は、静止物体検出部２０１は、判断対象の動きベクトルとその平均の類似度が高いという意味合いから、その判断対象の動きベクトルを静止物体の動きベクトルとする。
【０１４８】
また、静止物体検出部２０１は、検出精度を計測するときには、たとえば、静止物体の動きベクトルの分散を用いる。この場合、静止物体検出部２０１は、静止物体の動きベクトルの分散を上述の外枠領域変更基準値ｔｒと比較する。そして、静止物体検出部２０１は、その分散が外枠領域変更基準値ｔｒより小さいと判断すると、単一物体の動きベクトルのみが検出されていて、かつ、これが静止物体の動きベクトルであると考えて、静止物体の動きベクトルの検出精度が十分であると判断する。静止物体の動きベクトルの検出精度が十分であると判断した場合は、静止物体検出部２０１は、静止物体動きベクトル信号１１２を出力する。または、静止物体検出部２０１は、静止物体の動きベクトルの検出精度が十分すぎると判断して、静止物体動きベクトル信号１１２を出力せず、外枠領域１６１を狭めて、再度、静止物体の動きベクトルが検出し直されるように外枠領域調整部２０５を制御する。つまり、静止物体検出部２０１は、静止物体の動きベクトルの検出精度を静止物体動きベクトル検出精度信号２０４として出力する。
【０１４９】
逆に、静止物体検出部２０１は、静止物体の動きベクトルの分散が外枠領域変更基準値ｔｒより大きいと判断すると、静止物体の動きベクトルとして抽出されたベクトルの中に、移動物体の動きベクトルが混入していると判断する。したがって、この場合、静止物体検出部２０１は、静止物体の動きベクトルの検出精度は不十分であると判断して、静止物体動きベクトル信号１１２を出力せず、外枠領域１６１を広げて、再度、静止物体の動きベクトルが検出し直されるように外枠領域調整部２０５を制御する。つまり、静止物体検出部２０１は、静止物体の動きベクトルの検出精度を静止物体動きベクトル検出精度信号２０４として出力する。検出精度の高低を分散の大小で定義する場合は、分散の逆数を取り、分散が小さいときに検出精度が高いとすべきである。
【０１５０】
なお、図１１Ａおよび図１１Ｂで説明したように、撮影装置２００と被写体１０１の距離が非常に近い場合（図１１Ａに示す場合）と、撮影者６０が移動手段８０に載って移動している場合（図１１Ｂに示す場合）は、画面全体で動きが観察されるような状態であり、動きを感じる映像であることが自然な状況である。このような状況では、画像ぶれ補正は必要なく、故に、静止物体の検出は不要である。
【０１５１】
そこで、静止物体検出部２０１は、静止物体動きベクトル検出精度信号２０４を用いて、外枠領域１６１の調整処理を止め、同時に、静止物体動きベクトル信号１１２を用いて、画像ぶれ補正も止める。具体的に、静止物体検出部２０１は、第一に、個々の動きベクトルとそれらの動きベクトルの平均との距離が静止物体検出用閾値ｔｄを超える頻度を計測し、その頻度があらかじめ決められた閾値（静止物体確認閾値ｔｓ）を超える場合に、画面全体で動きがあると判断する。第二に、静止物体検出部２０１は、画面全体で動きがあると判断したら、例えば０を示す静止物体動きベクトル検出精度信号２０４を外枠領域調整部２０５に出力して、外枠領域１６１の調整を止める。第三に、静止物体検出部２０１は、画面全体で動きがあると判断したら、例えば全成分が０の動きベクトルを示す静止物体動きベクトル信号１１２、あるいは、動きベクトルの大きさの最大値（具体的には、画像の対角の長さ）よりも明らかに大きな値をすべての成分に有する動きベクトルを示す静止物体動きベクトル信号１１２を、カメラ動き算出部１１３に出力するなどして、カメラ動きの算出を停止し、画像ぶれ補正を止める。
【０１５２】
外枠領域調整部２０５は、静止物体動きベクトル検出精度信号２０４の示す検出精度の高低に応じて、外枠領域を広げたり狭めたりする割合を調整し、次の撮影に用いる外枠領域１６１の座標を示す情報を外枠領域更新信号２０６として出力する。すなわち、静止物体動きベクトル検出精度信号２０４の示す検出精度が外枠領域変更基準値ｔｒより低い場合は、外枠領域調整部２０５は、検出精度が不十分であるとして、外枠領域１６１を広げるように調整する。
【０１５３】
例えば、現在の時刻をＴ１、次のフレーム画像のタイミングをＴ２とすると、外枠領域調整部２０５は、（数１）によって、時刻Ｔ１のフレーミング領域１６０の幅Ｗｆ１を、時刻Ｔ２のフレーミング領域１６０の幅Ｗｆ２に変更する。
【０１５４】
【数１】
2008114499.tif 000047
【０１５５】
ここでｃは外枠領域変更率である。外枠領域変換率ｃが１を超えると、フレーミング領域１６０の幅が短くなり、外枠領域１６１が広くなる。逆に、外枠領域変換率ｃが１を下回ると、フレーミング領域１６０の幅が長くなり、外枠領域１６１が狭くなる。
【０１５６】
外枠領域調整部２０５は、図１９に示すような関係（関係式や変換テーブル）を予め設定しておくことで、このような外枠領域変更率ｃを静止物体動きベクトル検出精度信号２０４に基づいて算出する。
【０１５７】
図１９は、外枠領域変更率ｃと静止物体の動きベクトルの検出精度との関係を示す図である。
【０１５８】
図１９に示すように、外枠領域変更率ｃは、静止物体の動きベクトルの検出精度が高まるにつれて小さくなるように設定されている。
【０１５９】
したがって、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより低い場合、外枠領域変更率ｃは１よりも大きくなる。その結果、（数１）に従って、外枠領域は広げられる。逆に、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより高い場合、外枠領域変更率ｃは１よりも小さくなる。その結果、（数１）に従って、外枠領域は狭められる。
【０１６０】
外枠領域調整部２０５は、時刻Ｔ２のフレーミング領域１６０の幅Ｗｆ２を外枠領域更新信号２０６として、フレーミング領域設定部２０３に出力する。その結果、フレーミング領域設定部２０３は、時刻Ｔ２のフレーミング領域１６０の幅がＷｆ２となるようにそのフレーミング領域１６０を更新する。また、外枠領域調整部２０５は、撮影画角を変更するために、上述の外枠領域更新信号２０６を焦点距離算出部２０７に出力する。
【０１６１】
なお、本実施の形態では、外枠領域更新信号２０６はフレーミング領域１６０の幅Ｗｆ２を示したが、これは一例であり、外枠領域１６１が一義的に定まるような情報であれば、どのような情報を示してもよい。たとえば、外枠領域更新信号２０６は、外枠領域１６１が占める入力画像１０５に対する面積比を示してもよい。また、図１９に示した静止物体の動きベクトルの検出精度と外枠領域変更率ｃとの関係も任意であり、本発明はこれに限定されない。
【０１６２】
焦点距離算出部２０７は、外枠領域更新信号２０６に基づいて、時刻Ｔ２における焦点距離可変レンズ部２０２の焦点距離を算出する。
【０１６３】
図２０は、時刻Ｔ１から時刻Ｔ２の間で外枠領域１６１が広げられる様子を示す図である。
【０１６４】
例えば、時刻Ｔ１において、撮像センサ部１０３と焦点距離可変レンズ部２０２との距離、すなわち、焦点距離はｆ１であって、画角はθ１であり、フレーミング領域１６０の幅はＷｆ１である。また、撮像センサ部１０３の幅が水平画素数でＷｓである場合、時刻Ｔ１における外枠領域１６１の幅は（Ｗｓ−Ｗｆ１）である。
【０１６５】
ここで、フレーミング領域１６０の幅Ｗｆ１を狭めて、外枠領域１６１を広くすべきことを示す外枠領域更新信号２０６が出力される。
【０１６６】
このとき、焦点距離算出部２０７は、外枠領域更新信号２０６に基づいて焦点距離ｆ２（焦点距離ｆ１＞焦点距離ｆ２）を算出し、その焦点距離ｆ２を示す更新焦点距離信号２０８を焦点距離制御部２０９に出力する。
【０１６７】
焦点距離制御部２０９は、その更新焦点距離信号２０８を取得すると、時刻Ｔ２に、焦点距離ｆ１をその更新焦点距離信号２０８の示す焦点距離ｆ２に変更する。
【０１６８】
その結果、時刻Ｔ２では、画角がθ１からθ２に広がる。また、フレーミング領域１６０の幅は、外枠領域更新信号２０６の指示に従って、時刻Ｔ２ではＷｆ２に更新される。このとき、外枠領域１６１の幅は、（Ｗｓ−Ｗｆ１）から（Ｗｓ−Ｗｆ２）に広がる。このように外枠領域１６１が変更されると、再度、静止物体の動きベクトルの検出精度が確認される。
【０１６９】
ところで、焦点距離算出部２０７は、以下の（数２）に基づいて、時刻Ｔ２におけるフレーミング領域１６０の幅をＷｆ２にするための焦点距離ｆ２を算出している。
【０１７０】
【数２】
2008114499.tif 000048
【０１７１】
このように、焦点距離算出部２０７は、焦点距離を算出すると、その焦点距離を示す更新焦点距離信号２０８を焦点距離制御部２０９に出力する。なお、外枠領域１６１で検出される静止物体の動きベクトルの精度が十分すぎる場合は、焦点距離算出部２０７および焦点距離制御部２０９は、外枠領域１６１を狭めるために、焦点距離を長くしてもよい。
【０１７２】
つまり、本実施の形態における撮影装置２００は、領域調整手段たる外枠領域調整部２０５によって上述の外側の領域が大きくなるほど、撮像センサ部１０３により撮影される画像の画角を広げる画角調整手段たる焦点距離算出部２０７および焦点距離制御部２０９を備えている。これにより外枠領域１６１の大きさが変動しても、フレーミング領域１６０の画角を一定に保つことができる。
【０１７３】
なお、焦点距離可変レンズ部２０２の焦点距離を更新し続けても、静止物体検出部２０１において、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより高くならない場合が考えられる。この場合、静止物体検出部２０１による動きベクトルの更新がされず、フレーミング領域補正部１１５によるフレーミング領域１６０の更新もされない状態が続く。
【０１７４】
そこで、静止物体検出部２０１は、外枠領域１６１の最大更新回数ｍを定め、更新回数がこの最大更新回数ｍに達した場合は、その時点で検出された静止物体の動きベクトルを静止物体動きベクトル信号１１２として出力してもよい。最大更新回数ｍは、撮像センサ部１０３と出力部１２１のフレームレートの違いで概ね、決まってくる。
【０１７５】
たとえば、撮像センサ部１０３が６０フレーム／秒で、出力部１２１のフレームレートが１５フレーム／秒であったとする。この場合、出力部１２１が１フレーム出力する間に、撮像センサ部１０３は４フレーム撮影できる。従って、静止物体の検出を４回行うチャンスがある。ただし、静止物体の検出処理や焦点距離可変レンズ部２０２の焦点距離の変更などに時間を要するため、外枠領域の最大更新回数ｍは、たとえば、３回、あるいは２回となる。加えて、出力部１２１のすべてのフレーム画像で画像ぶれ補正の更新を完結せず、たとえば、出力部１２１の２フレームに１回のタイミングでフレーミング領域補正部１１５によるフレーミング領域１６０の更新がされる場合は、最大更新回数ｍは１つだけ増えて、たとえば、４回あるいは３回となる。
【０１７６】
一方、撮像センサ部１０３と出力部１２１のフレームレートが同一である場合は、フレーミング領域補正部１１５によるフレーミング領域１６０の更新は、出力部１２１に対して間欠的になる。すなわち、撮像センサ部１０３と出力部１２１が同じフレームレートで動作するため、外枠領域１６１の調整回数を増やすほど、フレーミング領域補正部１１５の更新スピードが低下し、出力部１２１は画像ぶれ補正として同じ状態が続くことになる。以上より、最大更新回数ｍは１から４程度であり、撮像センサ部１０３と出力部１２１のフレームレートで決まってくる。なお、撮影装置２００の起動直後は、撮影装置２００は、最大更新回数ｍを０として外枠領域１６１の調整を行わず、一旦、一連の処理を実行し、出力部１２１から画像ぶれ補正を施した出力画像１０２を出力する。
【０１７７】
また、最大更新回数ｍは、外枠領域調整部２０５での外枠領域１６１の広げ方、あるいは狭め方にも関係してくる。すなわち、最大更新回数ｍが１の場合は、外枠領域の大きさを変更するチャンスが１回であり、比較的大きめに外枠領域の大きさを変更することが望ましい。たとえば、フレーミング領域１６０の幅を半分にして外枠領域を広げる。一方、最大更新回数ｍが４の場合は、外枠領域の大きさを変更するチャンスが４回であり、最大更新回数ｍが１の場合よりは細かな制御が可能である。ただし、最大更新回数ｍが４の場合でも、１回目は比較的大きめに外枠領域の大きさを変更し、２回目、３回目、４回目と進むごとに変更の大きさを小さくしていくと、より細かな制御が可能になる。
【０１７８】
以上の構成により、本実施の形態における撮影装置２００は、静止物体の動きベクトルの検出精度が低い場合は、外枠領域１６１を広げて静止物体動きベクトルの検出精度をリカバーする。この動作によって、カメラ動きの検出精度が高まり、画像ぶれの補正精度が向上する。逆に、静止物体の動きベクトルの検出精度が高い場合は、撮影装置２００は、外枠領域１６１を狭めて、静止物体動きベクトルの過剰検出を抑制する。この動作によって、フレーミング領域１６０が広がり、その分、出力画像サイズ調整部１２０での画像拡大率を抑えることができる。一般に、画像拡大率が高ければ高いほど、画像拡大処理は高度になり、図１２と図１４で示したリソースの取得が困難になる。そこで、外枠領域１６１を過剰に広げることを抑え、フレーミング領域１６０を広くすることで、出力画像サイズ調整部１２０に過剰な処理負荷が掛かることを防ぐことができる。
【０１７９】
図２１は、本実施の形態における図１８に示した撮影装置２００の動作を示すフローチャートである。
【０１８０】
まず、撮影装置２００は、以下に順次説明する６つの初期設定を行う（ステップＳ２００）。初期設定の１つめは、外枠領域変更基準値ｔｒの設定である。静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより低い場合は、撮影装置２００は、外枠領域１６１を広げて、再度、入力画像１０５を撮影し、静止物体の動きベクトルを検出しなおす。この外枠領域変更基準値ｔｒは、静止物体検出部２０１に設定される。
【０１８１】
ステップＳ２００における初期設定の２つめは、静止物体検出用閾値ｔｄの設定である。これは、実施の形態１の図１６Ａおよび図１６Ｂと同様の設定である。
【０１８２】
ステップＳ２００における初期設定の３つめは、静止物体の動きベクトル検出精度と外枠領域変更率ｃとの関係の設定である。図１９で説明したように、外枠領域変更率ｃは静止物体の動きベクトルの検出精度に依存するため、静止物体動きベクトルの検出精度を表わす尺度（たとえば、静止物体動きベクトルの分散の逆数）との関係が初期設定で与えられる。静止物体動きベクトル検出精度と外枠領域変更率ｃとの関係は、静止物体検出部２０１と外枠領域調整部２０５に設定される。
【０１８３】
ステップＳ２００における初期設定の４つめは、外枠領域の最大更新回数ｍの設定である。焦点距離可変レンズ部２０２の焦点距離を更新して外枠領域１６１を広げ続けても、静止物体の動きベクトルの検出精度（たとえば、静止物体動きベクトルの分散）が外枠領域変更基準値ｔｒより小さくならない場合が考えられる。最大更新回数ｍは無限ループの状態を抜けるための基準値である。外枠領域１６１の最大更新回数ｍは、静止物体検出部２０１に設定される。
【０１８４】
ステップＳ２００における初期設定の５つめは、フレーミング領域の設定である。これは、図１５のステップＳ１００と同様の設定である。
【０１８５】
ステップＳ２００における初期設定の６つめは、出力画像１０２の画像サイズの設定である。これは、図１５のステップＳ１００と同様の設定である。
【０１８６】
ステップＳ２００の初期設定に引き続き、撮影装置２００の撮像センサ部１０３は、焦点距離可変レンズ部２０２を通して被写体１０１を撮影して入力画像１０５を出力する（ステップＳ２０１）。動きベクトル算出部１０６は、入力画像１０５の動きベクトルを算出し、動きベクトル信号１０７を出力する（ステップＳ２０２）。静止物体検出部２０１は、外枠領域１６１に属する動きベクトル信号を抽出して、静止物体動きベクトル検出精度信号２０４を出力する（ステップＳ２０３）。
【０１８７】
静止物体検出部２０１は、外枠領域変更基準値ｔｒと静止物体動きベクトル検出精度信号２０４の示す検出精度とを比較し（ステップＳ２０４）、その検出精度が外枠領域変更基準値ｔｒより高ければ（ステップＳ２０４のＹｅｓ）、検出精度が十分と判断し、静止物体動きベクトル信号１１２を出力する（ステップＳ２０５）。一方、検出精度が外枠領域変更基準値ｔｒより低ければ（ステップＳ２０４のＮｏ）、静止物体検出部２０１は、検出精度は不十分と判断し、静止物体動きベクトル信号１１２の出力を停止する。そして、外枠領域調整部２０５は、静止物体動きベクトル検出精度信号２０４に基づいて、次の時刻である時刻Ｔ２での撮影に用いる外枠領域１６１の座標を示す情報を外枠領域更新信号２０６として出力する（ステップＳ２０６）。
【０１８８】
焦点距離算出部２０７は、外枠領域更新信号２０６に基づいて、時刻Ｔ２での焦点距離可変レンズ部２０２の焦点距離ｆ２を算出する。さらに、焦点距離制御部２０９は、焦点距離可変レンズ部２０２の焦点距離をその焦点距離ｆ２に変更する（ステップＳ２０７）。
【０１８９】
カメラ動き算出部１１３は、ステップＳ２０５で出力された静止物体動きベクトル信号１１２を取得すると、その静止物体動きベクトル信号１１２をもとに、カメラ動きを算出し、カメラ動き信号１１４を出力する（ステップＳ２０８）。フレーミング領域補正部１１５は、フレーミング領域設定信号１１０の示すフレーミング領域をカメラ動き信号１１４の示す動きベクトルと逆方向に移動することで画像ぶれを補正し、補正フレーミング領域信号１１６を出力する（ステップＳ２０９）。
【０１９０】
補正フレーミング領域切り出し部１１７は、入力画像１０５から補正フレーミング領域信号１１６の示す領域を切り出し、画像ぶれを補正した画像ぶれ補正フレーミング画像１１８として出力する（ステップＳ２１０）。表示画像サイズ調整部１１９は、画像ぶれ補正フレーミング画像１１８の画像サイズをフレーミング領域表示部１０９の画像サイズに調整し、フレーミング領域表示部１０９は、撮影者６０に対してフレーミング領域１６０の画像を表示する（ステップＳ２１１）。同様に、出力画像サイズ調整部１２０は、画像ぶれ補正フレーミング画像１１８の画像サイズを調整する（ステップＳ２１２）。ただし、ステップＳ２１２では、撮影者６０による操作に基づいて、任意のタイミングで出力画像サイズ選択信号１２３が出力され、出力画像１０２の画像サイズの変更が随時反映される。出力部１２１は、サイズ調整された出力画像１０２を撮影装置２００の外部へ出力する（ステップＳ２１３）。そして、撮影装置２００は、撮影継続か、撮影終了かを確認し（ステップＳ２１４）、撮影継続の場合は（ステップＳ２１４のＮｏ）、ステップＳ２０１からの処理を繰り返し実行し、撮影終了の場合は（ステップＳ２１４のＹｅｓ）、撮影の全ての動作を終了する。
【０１９１】
なお、ステップＳ２１１とステップＳ２１２，Ｓ２１３とはそれぞれ逆の順序で行われても同時に行われてもよい。
【０１９２】
図２２は、撮影装置２００の各構成要素の動作タイミングを示す図である。
【０１９３】
時間軸７００は、撮像センサ部１０３と出力部１２１が画像を出力する時間間隔ごとに、時刻Ｔ１、時刻Ｔ２、時刻Ｔ３、時刻Ｔ４を示す。画像７０１が時刻Ｔ１で撮影され、時刻Ｔ３で画像８０１が出力されるタイミングは、図１７に示すタイミングと同一である。
【０１９４】
期間７０５では、静止物体検出部１１１は、静止物体を検出した検出精度を静止物体動きベクトル検出精度信号２０４として外枠領域調整部２０５に伝える。その結果、期間７１２では、外枠領域調整部２０５は、外枠領域１６１の大きさを調整して、その調整された外枠領域１６１を示す外枠領域更新信号２０６を焦点距離算出部２０７に与える。引き続き、期間７１３では、焦点距離算出部２０７は、その調整された外枠領域１６１の大きさに基づいて焦点距離を算出する。そして、期間７１４では、焦点距離制御部２０９は焦点距離可変レンズ部２０２の焦点距離を制御し、その結果、期間７１５では、焦点距離可変レンズ部２０２は焦点距離を変更する。時刻Ｔ３における撮像センサ部１０３での撮影は、変更された焦点距離で撮影されることになる。
【０１９５】
一方、外枠領域調整部２０５は、期間７１２で調整された外枠領域１６１を示す外枠領域更新信号２０６をフレーミング領域設定部２０３にも与える。その結果、期間７１６では、フレーミング領域設定部２０３はフレーミング領域の大きさを変更する。この変更は、フレーミング領域設定信号１１０として、静止物体検出部２０１とフレーミング領域補正部１１５と出力画像サイズ調整部１２０へ入力され、これらはすべて、時刻Ｔ３で撮影される画像７０３にその変更を反映する。そこで、これらは時刻Ｔ２で撮影された画像７０２の処理が終わるまで待つ必要がある。従って、期間７１６では、まずフレーミング領域設定部２０３はフレーミング領域設定信号１１０を算出し、静止物体検出部２０１、フレーミング領域補正部１１５、出力画像サイズ調整部１２０のそれぞれは、それぞれの処理終了のタイミングでフレーミング領域設定信号１１０を反映する。
【０１９６】
以上のように、本実施の形態における撮影装置２００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置２００は外枠領域の静止物体でカメラ動きを検出するため、画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。
【０１９７】
さらに、本実施の形態における撮影装置２００では、外枠領域１６１に動きのある被写体が大きく映っている場合には、その領域における複数の動きベクトルの分散が大きく、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒよりも低くなるため、その検出精度がその外枠領域変更基準値ｔｒよりも高くなるように、外枠領域１６１が大きく調整される。つまり、外枠領域１６１が大きく調整されると、その領域では、静止している背景の占める割合が多くなり、静止物体の動きベクトルの検出精度が高くなる。その結果、動きのある被写体による影響を抑えて、静止物体の動きベクトルの検出精度が高い、つまり分散が小さい複数の動きベクトルに応じて撮影装置２００の動きを精度よく検出することができ、適切に画像ぶれを補正することができる。
【０１９８】
また、撮影装置２００は、静止物体の検出に必要な外枠領域１６１の大きさを適応的に変化させるため、必要以上に外枠領域１６１を広げて、結果的にフレーミング領域が狭くなり過ぎる弊害を回避できる。フレーミング領域１６０は、ディスプレイの画像サイズに合わせて拡大する必要があり、フレーミング領域１６０が極端に小さくなると、高解像度化処理が限界に達し、出力画像の画質が低下する可能性がある。撮影装置２００は、静止物体の検出精度を調整することによって、画像ぶれ補正とフレーミング領域１６０の高解像度化とを両立することができ、高画質の画像ぶれ補正を実現できる。
【０１９９】
（実施の形態３）
本実施の形態における撮影装置は、実施の形態２の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態２の撮影装置の特徴を有するとともに、撮影者がズーム倍率（画角）を変更することができる点に特徴がある。
【０２００】
図２３は、本発明の実施の形態３に係る撮影装置３００の構成を示すブロック図である。なお、図１８に示す撮影装置２００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０２０１】
本実施の形態における撮影装置３００は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、動きベクトル算出部１０６、フレーミング領域表示部１０９、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、出力画像サイズ選択部１２２、静止物体検出部２０１、焦点距離可変レンズ部２０２、フレーミング領域設定部２０３、外枠領域調整部２０５、焦点距離制御部２０９、ズーム倍率指定部３０１、および焦点距離算出部３０２を備えている。
【０２０２】
出力画像１０２は、たとえば、撮影装置３００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置３００に接続されたビデオ記録装置５０に記録される。
【０２０３】
ズーム倍率指定部３０１は、撮影者６０による操作に基づいて、ズーム倍率の指定を受け付け、その指定されたズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２に出力する。
【０２０４】
撮影者６０は、撮影装置３００を操作することにより、ズーム倍率を光学的に調整することができ、ズーム倍率の変更で画角を広げたり、あるいは、狭めることができる。
【０２０５】
図２４Ａ〜図２４Ｃは、撮影者６０によるズーム倍率の変更操作の一例を示す図である。
【０２０６】
撮影者６０は、たとえば、図２４Ａに示すように、撮影装置３００の焦点距離可変レンズ部２０２を撮影者自身で回転させる。その結果、その焦点距離可変レンズ部２０２の位置が撮像センサ部１０３に対して前後して焦点距離が変化し、ズーム倍率がその回転に応じた倍率になる。
【０２０７】
また、撮影装置３００は、図２４Ｂに示すように、焦点距離可変レンズ部２０２を回転させるためのモータ３０４を備え、ズーム倍率指定部３０１は、撮影者６０によって操作され、ズーム倍率の指定を受け付けるスライダ３０３を備えている。この場合、撮影者６０は、スライダ３０３を左右に移動させる。
【０２０８】
その結果、ズーム倍率指定部３０１は、その移動によって示されるズーム倍率を受け付け、そのズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２に出力する。焦点距離算出部３０２は、その撮影者指定ズーム倍率信号３０６に応じた焦点距離を算出する。焦点距離制御部２０９は、焦点距離可変レンズ部２０２の焦点距離が、その算出された焦点距離となるように、モータ３０４で焦点距離可変レンズ部２０２を回転させる。これにより、その焦点距離可変レンズ部２０２の位置が撮像センサ部１０３に対して前後して焦点距離が変化し、ズーム倍率がそのスライダ３０３の移動によって指定された倍率になる。
【０２０９】
また、撮影装置３００は、図２４Ｃに示すように、焦点距離可変レンズ部２０２を回転させるためのモータ３０４を備え、ズーム倍率指定部３０１は、撮影者６０によって操作され、ズーム倍率の指定を受け付けるダイヤル３０５を備えている。この場合、撮影者６０は、ダイヤル３０５を回す。
【０２１０】
その結果、ズーム倍率指定部３０１は、その回転によって示されるズーム倍率を受け付け、そのズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２に出力する。焦点距離算出部３０２は、その撮影者指定ズーム倍率信号３０６に応じた焦点距離を算出する。焦点距離制御部２０９は、焦点距離可変レンズ部２０２の焦点距離が、その算出された焦点距離となるように、モータ３０４で焦点距離可変レンズ部２０２を回転させる。これにより、その焦点距離可変レンズ部２０２の位置が撮像センサ部１０３に対して前後して焦点距離が変更し、ズーム倍率がそのダイヤル３０５の回転によって指定された倍率にする。
【０２１１】
なお、本実施例では、焦点距離ｆにおけるズーム倍率αを（数３）のように定義し、最短焦点距離ｆｍをズーム倍率α＝１とする。また、焦点距離ｆが長くなるほどズーム倍率αが高くなる。
【０２１２】
【数３】
2008114499.tif 000049
【０２１３】
焦点距離算出部３０２は、外枠領域更新信号２０６を取得すると、撮影者指定ズーム倍率信号３０６と外枠領域更新信号２０６をもとに焦点距離可変レンズ部２０２の焦点距離を算出して、更新焦点距離信号２０８として出力する。外枠領域１６１は、図７で説明したように、撮影者６０が決定したフレーミング領域１６０よりも外側に設定される。そこで、フレーミング領域１６０の周辺に外枠領域１６１を設けるように、焦点距離可変レンズ部２０２の画角が設定される。すなわち、撮影者６０が設定した画角より外枠領域１６１の分だけ広い画角に焦点距離可変レンズ部２０２が設定されることになる。撮影者指定ズーム倍率信号３０６によって指定されたズーム倍率をαとすると、（数２）は以下の（数４）のように書き換えられる。
【０２１４】
【数４】
2008114499.tif 000050
【０２１５】
ズーム倍率αは、焦点距離ｆ１に重み付けるか、あるいはフレーミング領域１６０の幅Ｗｆ２に重み付けるか、あるいは焦点距離ｆ１とフレーミング領域１６０の幅Ｗｆ２の両方に重み付けを振り分けることができる。しかし、図２０で説明したように、静止物体の動きベクトルの検出精度を確保するためには、時刻Ｔ２における画角をθ２に広げて、より多くの静止物体を撮像センサ部１０３で捉えることが望ましい。この目的を達成するために、時刻Ｔ２における焦点距離はｆ２を維持する。焦点距離ｆ２を維持して、（数４）に示すようにズーム倍率αを加えるには、フレーミング領域１６０の幅Ｗｆ２に１／αを乗算する必要がある。ズーム倍率αが１より大きい場合は、フレーミング領域１６０の幅をＷｆ２／αに縮小して、撮影者６０の画角変更を反映させる。一方、ズーム倍率αが１より小さい場合は、フレーミング領域１６０の幅をＷｆ２／αに拡大して、撮影者６０の画角変更を反映させる。
【０２１６】
即ち、焦点距離算出部３０２は、外枠領域更新信号２０６を取得すると、撮影者指定ズーム倍率信号３０６の示すズーム倍率αに関わらず、（数２）に基づいて焦点距離ｆ２を算出する。
【０２１７】
このように、焦点距離可変レンズ部２０２の焦点距離は、撮影者指定ズーム倍率信号３０６によるズーム倍率αの大小の変化に関わらず、外枠領域更新信号２０６の指示通りに設定される。加えて、（数４）の演算において、外枠領域更新信号２０６で与えられるフレーミング領域１６０の幅Ｗｆ２には、１／αの重み付けが掛けられる。
【０２１８】
以上のように、本実施の形態における撮影装置３００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置３００は外枠領域１６１の静止物体でカメラ動きを検出するため、画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができ、かつズームによる画角変更も可能であるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。特に、撮影装置３００は、撮影者のズーム操作による画角変更を受け入れながら、静止物体の検出に必要な外枠領域１６１の大きさを適応的に変化させて、静止物体を検出し、高精度に画像ぶれを補正できる。ズーム倍率が高くなるほど、画角が狭まるため、カメラ姿勢の変化が画像ぶれに及ぼす影響は大きくなる。そこで、ズーム倍率に応じて、静止物体の検出条件を適応的に制御できる撮影装置３００は、ズーム使用時でも高精度の画像ぶれ補正が可能になる。
【０２１９】
（変形例）
ここで、上記実施の形態３における変形例について説明する。
【０２２０】
上記実施の形態３における撮影装置３００では、図２３に示すように、撮影者指定ズーム倍率信号３０６が焦点距離算出部３０２および焦点距離制御部２０９を経て、焦点距離可変レンズ部２０２に反映されており、画角変更が光学ズームで成されている。本変形例に係る撮影装置は、画角変更をデジタルズームで行う。
【０２２１】
図２５は、本変形例に係る撮影装置の構成を示すブロック図である。
【０２２２】
本変形例に係る撮影装置３１０は、撮影者６０による操作に基づいて、ズーム倍率の指定を受け付け、その指定されたズーム倍率を示す撮影者指定ズーム倍率信号３０６を補正フレーミング領域切り出し部３１１に出力する。なお、本変形例においても図２４Ａ〜図２４Ｃに示すような撮影者６０による操作によってズーム倍率が指定される。
【０２２３】
補正フレーミング領域切り出し部３１１は、撮影者指定ズーム倍率信号３０６を取得すると、その撮影者指定ズーム倍率信号３０６の示すズーム倍率だけ、補正フレーミング領域信号１１６の示す、補正されたフレーミング領域１６０を拡大または縮小する。そして、補正フレーミング領域切り出し部３１１は、その拡大または縮小されたフレーミング領域１６０を入力画像１０５から切り出し、その切り出した画像を画像ぶれ補正フレーミング画像１１８として出力する。
【０２２４】
つまり、本実施の形態またはその変形例における撮影装置３００，３１０は、撮像センサ部１０３により撮影される画像の画角、またはフレーミング領域１６０の大きさをユーザによる操作に応じて変更することにより、出力部１２１から出力される画像のズームインまたはズームアウトを行うズーム調整手段たるズーム倍率指定部３０１を備えている。
【０２２５】
これにより、本変形例においても上記実施の形態３と同様、撮影者６０の操作に応じて画角を変更することができる。
【０２２６】
（実施の形態４）
本実施の形態における撮影装置は、実施の形態３の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態３の撮影装置の特徴を有するとともに、フレーミング領域１６０と外枠領域１６１を独立に管理する点に特徴があり、フレーミング領域１６０は撮影者が指定する画角によって決定され、外枠領域１６１は静止物体の動きベクトルの検出精度に応じて決定される。外枠領域１６１の大きさは、フレーミング領域１６０の大きさに関係なく、静止物体の動きベクトルの検出精度のみを基準に制御されるため、ズーム倍率の大小に関わらず、画像ぶれを正確に補正できる。
【０２２７】
図２６は、本発明の実施の形態４に係る撮影装置４００の構成を示すブロック図である。なお、図２３に示す撮影装置３００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０２２８】
本実施の形態における撮影装置４００は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、動きベクトル算出部１０６、フレーミング領域表示部１０９、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、出力画像サイズ選択部１２２、焦点距離可変レンズ部２０２、外枠領域調整部２０５、焦点距離制御部２０９、ズーム倍率指定部３０１、静止物体検出部４０１、フレーミング領域設定部４０２、および焦点距離算出部４０３を備えている。
【０２２９】
出力画像１０２は、たとえば、撮影装置４００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置４００に接続されたビデオ記録装置５０に記録される。
【０２３０】
ズーム倍率指定部３０１は、撮影者６０による操作に基づいて、ズーム倍率の指定を受け付け、その指定されたズーム倍率を示す撮影者指定ズーム倍率信号３０６を焦点距離算出部３０２またはフレーミング領域設定部４０２に出力する。
【０２３１】
撮影者指定ズーム倍率信号３０６が焦点距離算出部３０２に出力されると、実施の形態３の図２３に示す場合と同様、焦点距離が変更されて光学的にズーム倍率が調整される。一方、撮影者指定ズーム倍率信号３０６がフレーミング領域設定部４０２に出力されると、フレーミング領域設定部４０２は、その撮影者指定ズーム倍率信号３０６の示すズーム倍率に応じた大きさにフレーミング領域１６０を調整する。即ち、デジタル処理によりズーム倍率が調整される。
【０２３２】
静止物体検出部４０１は、入力画像１０５の第１フレームに対して、初期設定で与えられた外枠領域１６１内で静止物体の動きベクトルを検出する。初期設定の外枠領域１６１は、静止物体検出部４０１内の内部メモリに予め書き込まれていて、撮影装置４００の起動時に、読み込まれる。第１フレームを初期設定の外枠領域で処理した後は、外枠領域調整部２０５における静止物体の動きベクトルの検出精度評価に応じて、次の第２フレームの外枠領域１６１の大きさが調整される。
【０２３３】
すなわち、静止物体検出部４０１は、図１９の例に示すように、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより低い場合は、検出精度を高めるために、外枠領域を広くする。一方、静止物体の動きベクトルの検出精度が外枠領域変更基準値ｔｒより高い場合は、検出精度が十分であり、処理負荷を軽減させるために、たとえば、図１９の例に示すように、静止物体検出部４０１は外枠領域１６１を狭めてもよく、あるいは、そのままでも構わない。
【０２３４】
なお、静止物体検出部４０１によって調整される外枠領域と、外枠領域調整部２０５によって調整される外枠領域とは常に一致する。
【０２３５】
フレーミング領域設定部４０２は、図７で説明したように、撮影者６０が指定した画角に相当し、フレーミング領域表示部１０９やディスプレイ装置４０に映し出される映像の範囲をフレーミング領域１６０として設定する。フレーミング領域１６０の座標情報は、フレーミング領域設定信号１１０としてフレーミング領域補正部１１５に入力され、フレーミング領域１６０が入力画像１０５から切り出される。ただし、この切り出しの際に、カメラ動き信号１１４の示す動きベクトルと逆方向で同じ長さの位置に切り出し位置を補正して、画像ぶれを相殺する。
【０２３６】
また、フレーミング領域設定部４０２は、外枠領域調整部２０５から外枠領域更新信号２０６を取得すると、その外枠領域更新信号２０６の示す外枠領域１６１の更新内容に応じてフレーミング領域１６０の拡大または縮小を行う。つまり、外枠領域１６１の更新によって焦点距離が変化する場合に、フレーミング領域１６０が一定に保たれていると、撮影者６０に対して表示される画像や記録される画像の画角が大きくなったり小さくなったりしてしまう。そこで、上述のように、フレーミング領域設定部４０２は、外枠領域更新信号２０６を取得すると、表示または記録される画像の画角が変化しないように、フレーミング領域１６０を調整する。
【０２３７】
図２７は、フレーミング領域１６０と外枠領域１６１との独立関係を示す図である。
【０２３８】
フレーミング領域設定部４０２は、図２７に示す点線１６０ａによって囲まれた領域をフレーミング領域１６０として設定する。一方、静止物体検出部４０１および外枠領域調整部２０５は、図２７に示す一点鎖線１６１ａから入力画像１０５の外縁までの領域を外枠領域１６１として設定する。このように、フレーミング領域１６０と外枠領域１６１とは相補的な関係がなく、それぞれの領域の一部が重なり、独立して調整される。
【０２３９】
以上のように、撮影装置４００において、フレーミング領域と外枠領域は、個別に制御され、互いに関係を持たない。つまり、図７に示したフレーミング領域１６０と外枠領域１６１とが重複なく接している位置関係は一例であり、図２７に示すように２つの領域が重なったり、あるいは、離れる場合もある。
【０２４０】
焦点距離算出部４０３は、時刻Ｔ１における外枠領域１６１の大きさを外枠領域更新信号２０６の指示に従って変更し、時刻Ｔ２における焦点距離可変レンズ部２０２の焦点距離ｆ２を更新焦点距離信号２０８として出力する。たとえば図２０で示したように、外枠領域１６１の大きさは幅で表現され、外枠領域１６１の幅の変更方法は、たとえば（数１）で定義した外枠領域変更率ｃで指定される。この場合、時刻Ｔ２における焦点距離可変レンズ部２０２の焦点距離ｆ２は、時刻Ｔ１における外枠領域の幅Ｗｆ１を時刻Ｔ２においてＷｆ１／ｃに更新することを示す。外枠領域変更率ｃが１より小さい場合は、外枠領域１６１の幅は広がり、広角撮影ができるように、焦点距離可変レンズ部２０２の焦点距離は短くなる。外枠領域１６１の幅と焦点距離の関係は、図２０と同一であり、（数２）に従って、時刻Ｔ１の焦点距離ｆ１が時刻Ｔ２の焦点距離ｆ２に変更される。
【０２４１】
ところで、フレーミング領域１６０と外枠領域１６１を個別に管理した場合、それぞれの動きに矛盾が生じる場合が考えられる。外枠領域１６１における静止物体の動きベクトルの検出精度が焦点距離可変レンズ部２０２の焦点距離を決めるため、撮像センサ部１０３が捉える画角は、外枠領域１６１が支配している。一方、フレーミング領域１６０は撮影者６０が指定するズーム倍率（デジタルズーム）に応じて決まるため、入力画像１０５を超える画角（フレーミング領域１６０）が指定される場合が考えられる。指定される画角（フレーミング領域１６０）が入力画像１０５を超える場合は、指定されたフレーミング領域１６０の確保を優先して、焦点距離可変レンズ部２０２の焦点距離を短くし、広角撮影を実行する。図８Ａおよび図８Ｂで説明したように、画角が広くなるほど、撮影者６０と一続きで接している静止物体を撮影する機会が増えるため、外枠領域１６１における静止物体の動きベクトル検出の精度は多くの場合、向上する。少なくとも精度低下はなく、フレーミング領域１６０の確保を優先した焦点距離可変レンズ部２０２の焦点距離制御は、静止物体の動きベクトル検出に悪影響を与えない。
【０２４２】
ただし、焦点距離可変レンズ部２０２の焦点距離が最短焦点距離ｆｍ未満になることはできないため、撮影者６０が指定できるズーム倍率は、焦点距離可変レンズ部２０２の最短焦点距離ｆｍで制限される。たとえば、焦点距離可変レンズ部２０２の最長焦点距離が１９２ｍｍで、最短焦点距離が２４ｍｍの場合、最大ズーム倍率は８倍（＝１９２／２４）となる。
【０２４３】
以上のように、本実施の形態における撮影装置４００では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも、撮影装置４００は外枠領域１６１の静止物体でカメラ動きを検出するため、カメラ動きに起因した画像ぶれを解消できる。従来のように、三脚を使わずに撮影ができ、かつズームによる画角変更も可能であるため、被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。
【０２４４】
特に、撮影装置４００は、撮影者のズーム操作による画角変更を受け入れながら、静止物体の検出に必要な外枠領域１６１の大きさを適応的に変化させて、静止物体を検出し、高精度に画像ぶれを補正できる。ズーム倍率が高くなるほど、画角が狭まるため、カメラ姿勢の変化が画像ぶれに及ぼす影響は大きくなる。そこで、ズーム倍率に応じて、静止物体の検出条件を適応的に制御できる撮影装置４００は、ズーム使用時でも高精度の画像ぶれ補正が可能になる。さらに、フレーミング領域１６０は外枠領域１６１と独立に管理されるため、フレーミング領域１６０が極端に小さくなることはなく、ディスプレイに表示する高解像度化されたフレーミング領域１６０の画質が保証される効果を呈する。
【０２４５】
（実施の形態５）
本実施の形態における撮影装置は、実施の形態１の撮影装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得し、撮影装置から出力する出力画像をその撮影画像内から切り出す際に、画像ぶれを補正する。また、本実施の形態における撮影装置は、実施の形態１の撮影装置の特徴を有するとともに、動きベクトルの算出を外枠領域のみで行うため、演算負荷が軽減できる点に特徴がある。
【０２４６】
図２８は、本発明の実施の形態５に係る撮影装置１２５の構成を示すブロック図である。なお、図５に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０２４７】
本実施の形態における撮影装置１２５は、被写体１０１を撮影し、出力画像１０２をディスプレイ装置４０およびビデオ記録装置５０に出力する装置であって、撮像センサ部１０３、焦点距離固定レンズ系１０４、動きベクトル算出部１２６、フレーミング領域設定部１０８、フレーミング領域表示部１０９、静止物体検出部１２７、カメラ動き算出部１１３、フレーミング領域補正部１１５、補正フレーミング領域切り出し部１１７、表示画像サイズ調整部１１９、出力画像サイズ調整部１２０、出力部１２１、および出力画像サイズ選択部１２２を備えている。
【０２４８】
出力画像１０２は、たとえば、撮影装置１２５に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影装置１２５に接続されたビデオ記録装置５０に記録される。
【０２４９】
動きベクトル算出部１２６は、フレーミング領域設定部１０８が出力するフレーミング領域設定信号１１０によって、図７に示す外枠領域１６１を特定し、外枠領域１６１のみを用いて動きベクトルを算出する。これにより、フレーミング領域１６０内での動きベクトル算出が不要になり、処理負荷が大幅に削減される。静止物体検出部１２７は、自身で外枠領域１６１を識別する必要はなく、動きベクトル算出部１２６からの動きベクトル信号１０７のすべてを処理対象とする。
【０２５０】
以上のように、本実施の形態における撮影装置１２５では、被写体の動きが激しいスポーツシーンの撮影などで画像ぶれのない映像を記録することができる。また、動きベクトル算出の演算量が削減できるため、入力画像１０５の取得から出力画像１０２の出力までの時間短縮が可能になり、撮影の高速化に寄与できる。撮影の高速化は、撮影チャンスを増やすことを意味し、従って、静止物体を検出する機会が増加する。これがカメラ動きの検出精度を高めることにつながり、画像ぶれ補正の好循環を生み出す効果を有する。
【０２５１】
（実施の形態６）
本実施の形態における撮影記録再生装置は、撮影者が設定した画角よりも広い画角で撮影画像を取得して記録メディアに記録し、その記録メディアから撮影画像とフレーミング領域を読み出して撮影画像内から再生画像を切り出す際に、画像ぶれを補正する。
【０２５２】
図２９は、本発明の実施の形態６に係る撮影記録再生装置５００の構成を示すブロック図である。なお、図５に示す撮影装置１００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０２５３】
本実施の形態における撮影記録再生装置５００は、被写体１０１を撮影し記録メディア部５０３に映像を記録する撮影記録部５０１と、記録メディア部５０３に記録した映像を再生し、出力画像１０２を出力する再生部５０２からなる。
【０２５４】
撮影記録部５０１は、撮像センサ部１０３、焦点距離固定レンズ系１０４、フレーミング領域設定部１０８、フレーミング領域表示部１０９、表示画像サイズ調整部１１９、記録メディア部５０３、およびフレーミング領域切り出し部５０４を備えている。再生部５０２は、記録メディア部５０３、動きベクトル算出部５０８、静止物体検出部５１０、カメラ動き算出部５１２、フレーミング領域補正部５１４、補正フレーミング領域切り出し部５１５、出力画像サイズ調整部５１７、出力部１２１、および出力画像サイズ選択部１２２を備えている。
【０２５５】
出力画像１０２は、たとえば、撮影記録再生装置５００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影記録再生装置５００に接続されたビデオ記録装置５０に記録される。
【０２５６】
撮影者６０は、撮影記録部５０１を起動して被写体１０１を撮影する。その結果、入力画像１０５が記録メディア部５０３に記録される。撮影終了後、撮影者６０は、再生部５０２を起動し、記録メディア部５０３に記録された入力画像１０５を再生する。このとき、補正フレーミング領域切り出し部１１７は入力画像１０５の画像ぶれを補正し、出力部１２１から出力画像１０２が出力される。
【０２５７】
記録メディア部５０３は、撮影記録部５０１と再生部５０２に挿入／取り出しが可能なリムーバブルメディアであり、被写体１０１の撮影時には、撮影記録部５０１に挿入され、再生時には再生部５０２に挿入される。従って、撮影記録部５０１と再生部５０２は、同一筐体に搭載される必要はなく、別々の機器として物理的に切り離されても構わない。逆に、撮影記録部５０１と再生部５０２を同一筐体に搭載し、所謂、カムコーダ（カメラ一体型ビデオテープレコーダー）として単一機器にすることも可能である。さらに、記録メディア部５０３を撮影記録再生装置５００に内蔵し、撮影記録部５０１と再生部５０２が共通に利用する構成も可能である。この場合、出力画像１０２を外部のビデオ記録装置５０に録画してアーカイブし、内蔵の記録メディア部５０３の記録容量が上限に達した場合は、画像データを消去するか、上書きする。
【０２５８】
記録メディア部５０３は、入力画像１０５とフレーミング領域設定信号１１０を記録する。フレーミング領域設定信号１１０は、図７で説明したフレーミング領域１６０の座標情報であり、再生時に入力画像１０５内からフレーミング領域を切り出す際に利用される。入力画像１０５とフレーミング領域設定信号１１０は、再生画像信号５０５として記録メディア部５０３から出力される。本実施の形態において、フレーミング領域の座標情報は固定であり、各フレームで再利用されるため、フレーミング領域設定信号１１０は再生画像信号５０５のヘッダ部に書き込まれるなどして、再生部５０２に供給される。
【０２５９】
つまり、本実施の形態における撮影記録再生装置５００は、撮像センサ部１０３によって撮影された画像を格納する格納手段たる記録メディア部５０３を備え、出力部１２１、動きベクトル算出部５０８および静止物体検出部５１０は、その格納手段に格納されている画像を読み出して、読み出された画像に対して処理を行う。
【０２６０】
図３０は、記録メディア部５０３のデータ構成の一例を示す図である。
【０２６１】
１６進標記されたメモリアドレスにおいて、アドレス０からアドレスＦがヘッダ部であり、図７で説明したフレーミング領域１６０の空間位置を表わす点１６２のｘ座標がアドレス０に、点１６２のｙ座標がアドレス１に、さらに、点１６３のｘ座標がアドレス２に、点１６３のｙ座標がアドレス３に、それぞれ記録される。アドレス１０以降がデータ部であり、入力画像１０５のＲＧＢレベルが記録される。つまり、Ｒ、Ｇ、およびＢのそれぞれを８ビットとして、１アドレス当たり２４ビット幅でＲＧＢレベルが記録される。
【０２６２】
ビデオシーケンスの時間位置を表わすタイムコードがアドレスと対応し、タイムコード０のフレーム画像がアドレス１０に、タイムコード１のフレーム画像がアドレス１１に記録される。撮影記録部５０１は、記録メディア部５０３に入力画像１０５を記録する際は、記録位置をアドレスで指定する。追加記録型の場合は、撮影記録部５０１は、記録済みアドレスの末端の次のアドレスを指定する。記録済みアドレスの末端はヘッダ部のアドレス４に記載され、図３０の例では、アドレス１０からアドレスＦＦが記録済みである。したがって、アドレス１００から入力画像１０５のＲＧＢレベルが追加記録される。追加記録完了後は、入力画像１０５を最後に記録したアドレスにアドレス４のデータを更新する。
【０２６３】
フレーミング領域切り出し部５０４は、入力画像１０５からフレーミング領域設定信号１１０に従って、フレーミング領域１６０の画像を切り出す。切り出されたフレーミング領域１６０の画像は、表示画像サイズ調整部１１９でフレーミング領域表示部１０９の表示画像サイズに合うように、サイズ変換されて、フレーミング領域表示部１０９に表示される。撮影者６０は、フレーミング領域表示部１０９に表示された画像を見ることで、撮影画角を目視確認できる。
【０２６４】
ところで、撮影記録部５０１には、画像ぶれ補正の機能がない。本実施の形態では、画像ぶれ補正の機能は、再生部５０２が有する。その狙いは、「撮影記録」と「再生」を分離し、それぞれの機能に不可欠な要素に絞り込んで、機器の小型化や軽量化、省電力化、低コスト化を生み出すところにある。画像ぶれ補正は、撮影記録時に必須のものではなく、撮影画像を再生してディスプレイに表示するまでに完了しておけばいい。撮影の本来の機能を充実させるには、撮像光学系や撮像センサの性能向上が第一であり、加えて、記録時間の長さ、撮影（フレーミング）の容易さなどが大事である。
【０２６５】
フレーミング領域表示部１０９に表示される撮影映像は、最終的にディスプレイに表示される画像として確認される、という意味合いでは、画像ぶれが補正された映像であることが理想的である。しかし、撮影者６０は、目の前のシーンから撮影映像が切り出される構図（フレーミング）に最大の興味があり、被写体１０１を撮影画角内に撮影意図通りに捉えることを優先する。また、撮影者６０自身が撮影記録再生装置５００を手にして撮影するため、人間の身体能力として、手の動きと視神経が連動し、多少の画像ぶれは、視神経によって補正される。これは、歩行中に携帯電話を手に持ってメールの文字が問題なく読める日常的な経験から理解できる。
【０２６６】
一方、撮影者６０の動きと連動性を持たないディスプレイ装置４０に画像ぶれを含む映像が表示された場合は、画像ぶれに違和感や不快感を生起する。これは、撮影者６０は静止して動きを持たないにも関わらず、出力画像１０２の中で静止しておくべき静止物体が画像ぶれとして動きを持つためである。撮影者６０が動きを持つ場合も同様で、撮影者６０がディスプレイ装置４０を見る際に発生した動きと、出力画像１０２が画像ぶれとして有する撮影時の撮影者６０の動きが一致しないために、違和感や不快感を生起する。図９で説明したように、ディスプレイ映像を見ている人が静止している場合、ディスプレイに表示された映像の中で、撮影者６０と一続きの地面や壁などで接している静止物体が静止していないと、画像ぶれという違和感や不快感を生起する。説明を一般化するならば、ディスプレイ映像を見ている人の動きが、ディスプレイに表示された映像の中で、撮影者６０と一続きの地面や壁などで接している静止物体の動きに一致しないと、画像ぶれという違和感や不快感を生起する。
【０２６７】
再生部５０２は、撮影者６０が再生指示部５０６に再生指示を与えることで動作する。記録メディア制御部５０７は、再生指示部５０６から再生指示を受けると、記録メディア部５０３からの再生画像信号５０５の読み出しを、動きベクトル算出部５０８と補正フレーミング領域切り出し部５１５に実行させる。再生部５０２において、一点鎖線で示される信号は、撮影者６０による再生指示に従って動作するものであり、再生画像信号５０５は再生指示部５０６からの再生指示によって記録メディア部５０３から出力される。この動作は、撮影記録部５０１とは切り離されており、この独立性を示すために、図２９では、再生指示に同期した信号を一点鎖線で明記している。後述する出力画像サイズ選択信号１２３も再生指示に連動した信号である。
【０２６８】
動きベクトル算出部５０８は、再生画像信号５０５から入力画像１０５を取り出し、入力画像１０５の特徴点の動きを動きベクトルとして算出する。算出された動きベクトルと再生画像信号５０５が有するフレーミング領域設定信号１１０をフレーミング領域付動きベクトル信号５０９として出力する。
【０２６９】
静止物体検出部５１０は、フレーミング領域付動きベクトル信号５０９からフレーミング領域の座標情報を取り出し、図７で説明した外枠領域１６１を設定する。さらに、フレーミング領域付動きベクトル信号５０９から外枠領域１６１に属する動きベクトルを取り出し、静止物体の動きベクトルを検出する。検出された静止物体の動きベクトルとフレーミング領域付動きベクトル信号５０９が有するフレーミング領域設定信号１１０をフレーミング領域付静止物体動きベクトル信号５１１として出力する。
【０２７０】
カメラ動き算出部５１２は、フレーミング領域付静止物体動きベクトル信号５１１から静止物体動きベクトルを取り出し、カメラ動きを算出する。算出されたカメラ動きとフレーミング領域付静止物体動きベクトル信号５１１が有するフレーミング領域設定信号１１０をフレーミング領域付カメラ動き信号５１３として出力する。
【０２７１】
フレーミング領域補正部５１４は、フレーミング領域付カメラ動き信号５１３からフレーミング領域の座標情報を取り出し、図７で説明したフレーミング領域１６０を設定する。さらに、フレーミング領域付カメラ動き信号５１３からカメラ動きを取り出し、カメラ動きと逆向きで同じ大きさにフレーミング領域を移動することによって、画像ぶれを相殺する位置にフレーミング領域を補正する。補正されたフレーミング領域の位置情報は、補正フレーミング領域信号１１６として出力される。
【０２７２】
補正フレーミング領域切り出し部５１５は、再生画像信号５０５から入力画像１０５を取り出し、補正フレーミング領域信号１１６が与える画像ぶれ補正されたフレーミング領域を切り出し、画像ぶれ補正フレーミング画像を生成する。また、画像ぶれ補正フレーミング画像と再生画像信号５０５が有するフレーミング領域設定信号１１０をフレーミング領域付画像ぶれ補正フレーミング画像５１６として出力する。
【０２７３】
出力画像サイズ調整部５１７は、フレーミング領域付画像ぶれ補正フレーミング画像５１６から画像ぶれ補正フレーミング画像を取り出す。また、フレーミング領域付画像ぶれ補正フレーミング画像５１６からフレーミング領域設定信号１１０を取り出し、フレーミング領域１６０の水平画素数とライン数を検出する。フレーミング領域１６０の水平画素数とライン数は画像ぶれ補正フレーミング画像の水平画素数とライン数に一致する。一方、出力画像サイズ選択信号１２３は出力画像１０２の水平画素数とライン数を与える。そこで、出力画像サイズ調整部５１７は、画像ぶれ補正フレーミング画像と出力画像１０２の水平画素数とライン数を比較し、画像拡大処理、あるいは画像縮小処理で画像ぶれ補正フレーミング画像の大きさを出力画像１０２の大きさに調整して出力画像１０２を得る。
【０２７４】
なお、図２９の例では、撮影者６０が再生指示を行っているが、撮影者と再生指示者は同一人物である必然性はなく、別の人物が行っても構わない。
【０２７５】
以上のように、本実施の形態における撮影記録再生装置５００では、撮影記録機能と画像ぶれ補正機能が分離できるため、撮影記録部５０１のスリム化が図れ、機器の小型化や軽量化、省電力化、低コスト化につながる。機器の小型化や軽量化は、被写体の動きが激しいスポーツシーンの撮影などに適する。省電力化は撮影時間を延ばす効果があり、バッテリーを使った屋外撮影で利便性を発揮する。再生部５０２の画像ぶれ補正では、外枠領域の静止物体でカメラ動きが検出されるため、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも画像ぶれを解消できる。このため、三脚を使わずに被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。
【０２７６】
（実施の形態７）
本実施の形態における撮影記録再生装置は、実施の形態６の撮影記録再生装置と同様、撮影者が設定した画角よりも広い画角で撮影画像を取得して記録メディアに記録し、その記録メディアから撮影画像とフレーミング領域を読み出して撮影画像内から再生画像を切り出す際に、画像ぶれを補正する。ここで、本実施の形態における撮影記録再生装置は、実施の形態６の撮影記録再生装置の特徴を有するとともに、撮影者がズーム倍率を変更して画角を変更することができる点に特徴がある。
【０２７７】
図３１は、本発明の実施の形態７に係る撮影記録再生装置６００の構成を示すブロック図である。なお、図９に示す撮影記録再生装置５００と同様の部分については同じ符号を付し、詳細な説明を省略する。
【０２７８】
本実施の形態における撮影記録再生装置６００は、被写体１０１を撮影し記録メディア部６０４に映像を記録する撮影記録部６０１と、記録メディア部６０４に記録した映像を再生し、出力画像１０２を出力する再生部６０２からなる。
【０２７９】
撮影記録部６０１は、撮像センサ部１０３、焦点距離固定レンズ系１０４、フレーミング領域設定部１０８、フレーミング領域表示部１０９、表示画像サイズ調整部１１９、フレーミング領域切り出し部６０３、記録メディア部６０４、およびズーム倍率指定部３０１を備えている。再生部６０２は、記録メディア部６０４、動きベクトル算出部５０８、静止物体検出部５１０、カメラ動き算出部５１２、フレーミング領域補正部５１４、補正フレーミング領域切り出し部５１５、出力画像サイズ調整部５１７、出力部１２１、および出力画像サイズ選択部１２２を備えている。
【０２８０】
出力画像１０２は、たとえば、撮影記録再生装置６００に接続されたディスプレイ装置４０に被写体１０１の画像が含まれるように映し出される。あるいは、出力画像１０２は、撮影記録再生装置６００に接続されたビデオ記録装置５０に記録される。
【０２８１】
ズーム倍率指定部３０１は、撮影者６０がズーム倍率を調整することができ、撮影者６０は、ズーム倍率の変更で画角を広げたり、あるいは、狭めることができる。指定されたズーム倍率は、撮影者指定ズーム倍率信号３０６として、ズーム倍率指定部３０１から出力される。
【０２８２】
フレーミング領域切り出し部６０３は、フレーミング領域設定信号１１０が設定したフレーミング領域１６０を、撮影者指定ズーム倍率信号３０６が指示するズーム倍率に従って拡大あるいは縮小し、ズーム倍率に即した範囲の画像を入力画像１０５から切り出す。切り出されたフレーミング領域１６０の画像は、表示画像サイズ調整部１１９でフレーミング領域表示部１０９の表示画像サイズに合うように、サイズ変換されて、フレーミング領域表示部１０９に表示される。撮影者６０は、フレーミング領域表示部１０９に表示された画像を見ることで、ズーム倍率も加味した上で、撮影画角を目視確認できる。
【０２８３】
記録メディア部６０４は、入力画像１０５とフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６とを記録する。フレーミング領域設定信号１１０は、図７で説明したフレーミング領域１６０の座標情報であり、再生時に入力画像１０５内からフレーミング領域を切り出す際に利用される。入力画像１０５とフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６とは、再生画像信号６０５として記録メディア部６０４から出力される。本実施の形態において、フレーミング領域設定信号１１０によって決まる外枠領域１６１は固定であり、各フレームで再利用されるため、フレーミング領域設定信号１１０は再生画像信号６０５のヘッダ部に書き込まれるなどして、再生部６０２に供給される。
【０２８４】
図３２は、記録メディア部６０４のデータ構成の一例を示す図である。
【０２８５】
１６進標記されたメモリアドレスにおいて、アドレス０からアドレスＦがヘッダ部であり、図７で説明したフレーミング領域１６０の空間位置を表わす点１６２のｘ座標がアドレス０に、点１６２のｙ座標がアドレス１に、さらに、点１６３のｘ座標がアドレス２に、点１６３のｙ座標がアドレス３に、それぞれ記録される。アドレス１０以降がデータ部であり、入力画像１０５のＲＧＢレベルと撮影者指定ズーム倍率信号３０６とが記録される。つまり、Ｒ、Ｇ、Ｂおよび撮影者指定ズーム倍率信号３０６のそれぞれを８ビットとして、１アドレス当たり３２ビット幅でそれらが記録される。
【０２８６】
ビデオシーケンスの時間位置を表わすタイムコードがアドレスと対応し、タイムコード０のフレーム画像がアドレス１０に、タイムコード１のフレーム画像がアドレス１１に記録される。撮影記録部６０１は、記録メディア部６０４に入力画像１０５と撮影者指定ズーム倍率信号３０６とを記録する際は、記録位置をアドレスで指定する。追加記録型の場合は、撮影記録部６０１は、記録済みアドレスの末端の次のアドレスを指定する。記録済みアドレスの末端はヘッダ部のアドレス４に記載され、図３２の例では、アドレス１０からアドレスＦＦが記録済みである。したがって、アドレス１００から入力画像１０５のＲＧＢレベルと撮影者指定ズーム倍率信号３０６とが追加記録される。追加記録完了後は、入力画像１０５を最後に記録したアドレスにアドレス４のデータを更新する。
【０２８７】
再生部６０２は、撮影者６０が再生指示部５０６に再生指示を与えることで動作する。記録メディア制御部５０７は、再生指示部５０６から再生指示を受けると、記録メディア部６０４からの再生画像信号６０５の読み出しを、動きベクトル算出部６０６とフレーミング領域切り出し部６１４に実行させる。再生部６０２において、一点鎖線で示される信号は、撮影者６０による再生指示に従って動作するものであり、再生画像信号６０５は再生指示部５０６からの再生指示によって記録メディア部６０４から出力される。この動作は、撮影記録部６０１とは切り離されており、この独立性を示すために、図３１では、再生指示に同期した信号を一点鎖線で明記している。後述する出力画像サイズ選択信号１２３も再生指示に連動した信号である。
【０２８８】
動きベクトル算出部６０６は、再生画像信号６０５から入力画像１０５を取り出し、入力画像１０５の特徴点の動きを動きベクトルとして算出する。算出された動きベクトルと再生画像信号６０５が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付動きベクトル信号６０７として出力する。
【０２８９】
静止物体検出部６０８は、フレーミング領域付動きベクトル信号６０７からフレーミング領域の座標情報を取り出し、図７で説明した外枠領域１６１を設定する。さらに、フレーミング領域付動きベクトル信号６０７から外枠領域１６１に属する動きベクトルを取り出し、静止物体の動きベクトルを検出する。検出された静止物体の動きベクトルとフレーミング領域付動きベクトル信号６０７が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付静止物体動きベクトル信号６０９として出力する。
【０２９０】
カメラ動き算出部６１０は、フレーミング領域付静止物体動きベクトル信号６０９から静止物体動きベクトルを取り出し、カメラ動きを算出する。算出されたカメラ動きとフレーミング領域付静止物体動きベクトル信号６０９が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付カメラ動き信号６１１として出力する。
【０２９１】
フレーミング領域補正部６１２は、第１に、フレーミング領域付カメラ動き信号６１１からフレーミング領域の座標情報を取り出し、図７で説明したフレーミング領域１６０を設定する。第２に、フレーミング領域付カメラ動き信号６１１からカメラ動きを取り出し、カメラ動きと逆向きで同じ大きさにフレーミング領域を移動することによって、画像ぶれを相殺する位置にフレーミング領域を補正する。第３に、フレーミング領域付カメラ動き信号６１１から撮影者指定ズーム倍率信号３０６を取り出し、画像ぶれが補正されたフレーミング領域を撮影者が指定したズーム倍率に応じて拡大、あるいは縮小する。画像ぶれ補正とズーム倍率が反映されたフレーミング領域の位置情報は、補正フレーミング領域信号６１３として出力される。
【０２９２】
補正フレーミング領域切り出し部６１４は、再生画像信号６０５から入力画像１０５を取り出し、補正フレーミング領域信号６１３が与える画像ぶれ補正とズーム倍率が反映されたフレーミング領域を切り出し、画像ぶれ補正フレーミング画像を生成する。また、画像ぶれ補正フレーミング画像と再生画像信号６０５が有するフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６をフレーミング領域付画像ぶれ補正フレーミング画像６１５として出力する。
【０２９３】
出力画像サイズ調整部６１６は、フレーミング領域付画像ぶれ補正フレーミング画像６１５から画像ぶれ補正フレーミング画像を取り出す。また、フレーミング領域付画像ぶれ補正フレーミング画像６１５からフレーミング領域設定信号１１０と撮影者指定ズーム倍率信号３０６を取り出し、ズーム倍率が反映されたフレーミング領域１６０の水平画素数とライン数を検出する。ズーム倍率が反映されたフレーミング領域１６０の水平画素数とライン数はフレーミング領域付画像ぶれ補正フレーミング画像６１５から取り出した画像ぶれ補正フレーミング画像の水平画素数とライン数に一致する。一方、出力画像サイズ選択信号１２３は出力画像１０２の水平画素数とライン数を与える。そこで、出力画像サイズ調整部６１６は、フレーミング領域付画像ぶれ補正フレーミング画像６１５から取り出した画像ぶれ補正フレーミング画像と出力画像１０２の水平画素数とライン数を比較し、画像拡大処理、あるいは画像縮小処理で画像ぶれ補正フレーミング画像の大きさを出力画像１０２の大きさに調整して出力画像１０２を得る。
【０２９４】
なお、図３１の例では、撮影者６０が再生指示を行っているが、撮影者と再生指示者は同一人物である必然性はなく、別の人物が行っても構わない。
【０２９５】
以上のように、本実施の形態における撮影記録再生装置６００では、撮影者６０がズームによる画角変更を行い、かつ撮影記録機能と画像ぶれ補正機能が分離できるため、自由なフレーミングを可能にしながら、かつ撮影記録部６０１のスリム化が図れ、機器の小型化や軽量化、省電力化、低コスト化につながる。機器の小型化や軽量化は、被写体の動きが激しいスポーツシーンの撮影などに適する。省電力化は撮影時間を延ばす効果があり、バッテリーを使った屋外撮影で利便性を発揮する。再生部５０２の画像ぶれ補正では、外枠領域の静止物体でカメラ動きが検出されるため、複数のプレーヤーが様々な方向や様々なスピードで移動している場合でも画像ぶれを解消できる。このため、三脚を使わずに被写体を様々な角度や距離から撮影でき、映像表現力の高い撮影が可能になる。また、従来のように脇をしめてカメラを構えるなどの特別な配慮が不要になり、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができる。
【０２９６】
以上のように本発明は、ビデオムービーカメラ、テレビ、動画撮影機能が付いたデジタルスチルカメラやカメラ付き携帯電話などビデオ機器全般で実行可能である。また、広く普及しているパーソナルコンピュータでも実行可能である。
【０２９７】
また、本発明について、実施の形態１〜７を用いて説明したが、本発明はこれらの各実施の形態に対して適宜変更や修正を加えてもよく、これらの各実施の形態の特徴を矛盾しない範囲で組み合わせてもよい。
【産業上の利用可能性】
【０２９８】
本発明にかかる撮影装置および撮影記録再生装置は、カメラ撮影に不慣れなユーザでも画像ぶれを心配することなく、自由にビデオ撮影ができ、ビデオ撮影の敷居を低くし、より多くの人々がビデオ撮影者を楽しめる大きな効果を有する。ビデオ撮影者の広がりは、撮影対象の広がりにもつながり、スポーツシーンに留まらず、様々な映像コンテンツが世の中に流通する機会を増大させる。それは、ニュース性や芸術性をも有し、映像コミュニケーションのあらゆる場面に影響を与える。以上のように、本発明にかかる撮影装置および撮影記録再生装置は、映像コミュニケーションの発展に限りない可能性を与える。
【図面の簡単な説明】
【０２９９】
【図１Ａ】図１Ａは、従来の電子式画像ぶれ補正の原理を説明するための説明図である。
【図１Ｂ】図１Ｂは、従来の電子式画像ぶれ補正の原理を説明するための他の説明図である。
【図１Ｃ】図１Ｃは、従来の電子式画像ぶれ補正の原理を説明するためのさらに他の説明図である。
【図２】図２は、従来の撮影装置が備える動きベクトル検出装置の構成を示す構成図である。
【図３Ａ】図３Ａは、同上のブロックごとの動きベクトルを示す図である。
【図３Ｂ】図３Ｂは、同上の他のブロックごとの動きベクトルを示す図である。
【図４】図４は、同上の動きベクトル係数と発散度との関係を示す図である。
【図５】図５は、本発明の実施の形態１に係る撮影装置の構成を示すブロック図である。
【図６】図６は、同上の動きベクトルの算出方法の一例を説明する図である。
【図７】図７は、同上のフレーミング領域と外枠領域を示す図である。
【図８Ａ】図８Ａは、同上の静止物体の検出に外枠領域を用いる理由を説明する図である。
【図８Ｂ】図８Ｂは、同上の静止物体の検出に外枠領域を用いる理由を説明する他の図である。
【図９】図９は、同上の動きベクトルから静止物体を検出する方法を説明するための図である。
【図１０】図１０は、同上の外枠領域の動きベクトルを示す図である。
【図１１Ａ】図１１Ａは、同上の静止物体を撮影できない場合を示す図である。
【図１１Ｂ】図１１Ｂは、同上の静止物体を撮影できない他の場合を示す図である。
【図１２】図１２は、同上の拡大処理を行う出力画像サイズ調整部の内部構成例を示すブロック図である。
【図１３】図１３は、同上のウェーブレット変換による多重解像度表現の例を示す図である。
【図１４】図１４は、同上の画像特徴ベクトルを算出する出力画像サイズ調整部の内部構成例を示すブロック図である。
【図１５】図１５は、同上の撮影装置の動作を示すフローチャートである。
【図１６Ａ】図１６Ａは、同上の静止物体の動きベクトルの類似度を説明するための説明図である。
【図１６Ｂ】図１６Ｂは、同上の静止物体の動きベクトルの類似度を説明するための他の説明図である。
【図１７】図１７は、同上の撮影装置の各構成要素の動作タイミングを示す図である。
【図１８】図１８は、本発明の実施の形態２に係る撮影装置の構成を示すブロック図である。
【図１９】図１９は、同上の静止物体の動きベクトル検出精度と外枠領域変更率との関係の一例を示す図である。
【図２０】図２０は、同上の外枠領域が広げられる様子を示す図である。
【図２１】図２１は、同上の撮影装置の動作を示すフローチャートである。
【図２２】図２２は、同上の撮影装置の各構成要素の動作タイミングを示す図である。
【図２３】図２３は、本発明の実施の形態３に係る撮影装置の構成を示すブロック図である。
【図２４Ａ】図２４Ａは、同上の撮影者によるズーム倍率の変更操作の具体例を示す図である。
【図２４Ｂ】図２４Ｂは、同上の撮影者によるズーム倍率の変更操作の他の具体例を示す図である。
【図２４Ｃ】図２４Ｃは、同上の撮影者によるズーム倍率の変更操作のさらに他の具体例を示す図である。
【図２５】図２５は、同上の変形例に係る撮影装置の構成を示すブロック図である。
【図２６】図２６は、本発明の実施の形態４に係る撮影装置の構成を示すブロック図である。
【図２７】図２７は、同上のフレーミング領域と外枠領域との独立関係を示す図である。
【図２８】図２８は、本発明の実施の形態５に係る撮影装置の構成を示すブロック図である。
【図２９】図２９は、本発明の実施の形態６に係る撮影記録再生装置の構成を示すブロック図である。
【図３０】図３０は、同上の記録メディア部のデータ構成の一例を示す図である。
【図３１】図３１は、本発明の実施の形態７に係る撮影記録再生装置の構成を示すブロック図である。
【図３２】図３２は、同上の記録メディア部のデータ構成の一例を示す図である。
【符号の説明】
【０３００】
１００、２００、３００、４００  撮影装置
５００、６００  撮影記録再生装置
１０１  被写体
１０２  出力画像
１０３  撮像センサ部
１０４  焦点距離固定レンズ系
１０６  動きベクトル算出部
１０８、４０２  フレーミング領域設定部
１０９  フレーミング領域表示部
１１１、４０１  静止物体検出部
１１３  カメラ動き算出部
１１５  フレーミング領域補正部
１１７  補正フレーミング領域切り出し部
１１９  表示画像サイズ調整部
１２０  出力画像サイズ調整部
１２１  出力部
１２２  出力画像サイズ選択部
２０２  焦点距離可変レンズ部
２０５  外枠領域調整部
２０７、３０２、４０３  焦点距離算出部
３０１  ズーム倍率指定部
５０１、６０１  撮影記録部
５０２、６０２  再生部
５０３、６０４  記録メディア部
５０６  再生指示部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１Ａ】
2008114499.tif 000051
【図１Ｂ】
2008114499.tif 000052
【図１Ｃ】
2008114499.tif 000053
【図２】
2008114499.tif 000054
【図３Ａ】
2008114499.tif 000055
【図３Ｂ】
2008114499.tif 000056
【図４】
2008114499.tif 000057
【図５】
2008114499.tif 000058
【図６】
2008114499.tif 000059
【図７】
2008114499.tif 000060
【図８Ａ】
2008114499.tif 000061
【図８Ｂ】
2008114499.tif 000062
【図９】
2008114499.tif 000063
【図１０】
2008114499.tif 000064
【図１１Ａ】
2008114499.tif 000065
【図１１Ｂ】
2008114499.tif 000066
【図１２】
2008114499.tif 000067
【図１３】
2008114499.tif 000068
【図１４】
2008114499.tif 000069
【図１５】
2008114499.tif 000070
【図１６Ａ】
2008114499.tif 000071
【図１６Ｂ】
2008114499.tif 000072
【図１７】
2008114499.tif 000073
【図１８】
2008114499.tif 000074
【図１９】
2008114499.tif 000075
【図２０】
2008114499.tif 000076
【図２１】
2008114499.tif 000077
【図２２】
2008114499.tif 000078
【図２３】
2008114499.tif 000079
【図２４Ａ】
2008114499.tif 000080
【図２４Ｂ】
2008114499.tif 000081
【図２４Ｃ】
2008114499.tif 000082
【図２５】
2008114499.tif 000083
【図２６】
2008114499.tif 000084
【図２７】
2008114499.tif 000085
【図２８】
2008114499.tif 000086
【図２９】
2008114499.tif 000087
【図３０】
2008114499.tif 000088
【図３１】
2008114499.tif 000089
【図３２】
2008114499.tif 000090
【手続補正書】
【提出日】平成20年9月2日(2008.9.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像を撮影して撮影された前記画像のぶれを補正する撮影装置であって、
画像を撮影する撮影手段と、
前記撮影手段によって撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力手段と、
前記撮影手段によって撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出手段と、
前記動き検出手段により導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整手段と、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整手段により調整された大きさの前記外側の領域における、前記動き検出手段によって検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力手段から出力される画像のぶれを補正する補正手段と
を備えることを特徴とする撮影装置。
【請求項２】
前記撮影装置は、さらに、
前記外側の領域の周縁と、前記フレーミング領域の周縁とが一致するように、前記領域調整手段により調整される前記外側の領域の大きさに応じて、前記フレーミング領域の大きさを設定するフレーミング領域設定手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項３】
前記撮影手段は、撮影者によるフレーミング操作に従って、動いている被写体の画像が前記内側の領域に収まるように撮影する
ことを特徴とする請求項１記載の撮影装置。
【請求項４】
前記撮影装置は、さらに、
前記領域調整手段によって前記外側の領域が大きくなるほど、前記撮影手段により撮影される画像の画角を広げる画角調整手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項５】
前記撮影装置は、さらに、
前記撮影手段により撮影される画像の画角、または前記フレーミング領域の大きさをユーザによる操作に応じて変更することにより、前記出力手段から出力される画像のズームインまたはズームアウトを行うズーム調整手段を備える
ことを特徴とする請求項１記載の撮影装置。
【請求項６】
前記撮影装置は、さらに、
前記撮影手段によって撮影された画像を格納する格納手段を備え、
前記出力手段および動き検出手段は、前記格納手段に格納されている画像を読み出して、読み出された前記画像に対して処理を行う
ことを特徴とする請求項１記載の撮影装置。
【請求項７】
前記動き検出手段は、
始点および終点の少なくとも一方が前記外側の領域に含まれている複数の前記動きベクトルを検出する
ことを特徴とする請求項１記載の撮影装置。
【請求項８】
前記動き検出手段は、さらに、検出された複数の動きベクトルの中から、前記複数の動きベクトルの平均に対して類似性が高い動きベクトルを、静止物体の画像の動きベクトルとして優先的に抽出し、
前記補正手段は、
前記静止物体の画像の動きベクトルの平均を示す平均動きベクトルを算出する算出手段と、
前記平均動きベクトルに応じて前記フレーミング領域を移動させるフレーミング領域補正手段とを備える
ことを特徴とする請求項１記載の撮影装置。
【請求項９】
前記撮影装置は、さらに、
前記動き検出手段によって検出された複数の動きベクトルのばらつきが、予め定められた値よりも大きい場合に、ぶれを補正すべきでないと判別する補正判別手段を備え、
前記補正判別手段によって補正すべきでないと判別されたときには、前記補正手段はフレーミング領域の移動を中止する
ことを特徴とする請求項１記載の撮影装置。
【請求項１０】
前記領域調整手段で調整された外側の領域に対して、前記動き検出手段が複数の動きベクトルの検出を再び行うことによって、前記動き検出手段および領域調整手段は、それぞれ前記検出精度が前記基準を満たすまで繰り返して処理を実行し、
前記領域調整手段は、繰り返して前記外側の領域の大きさを調整するときには、最初の調整における調整量よりも小さい調整量で前記外側の領域の大きさを調整する
ことを特徴とする請求項１記載の撮影装置。
【請求項１１】
前記撮影装置は、さらに、
撮影された前記画像から前記フレーミング領域の画像を切り出す切出手段と、
前記切出手段によって切り出された画像を拡大するサイズ調整手段とを備え、
前記出力手段は、前記サイズ調整手段によって拡大された画像を出力する
ことを特徴とする請求項１記載の撮影装置。
【請求項１２】
前記サイズ調整手段は、
画像ごとに、当該画像を低解像度で示す低解像度リソースデータと、当該画像を高解像
度で示す高解像度リソースデータとを格納しているリソースデータ格納手段と、
前記切出手段によって切り出された画像と類似する画像を示す低解像度リソースデータを前記リソースデータ格納手段から検索して、前記低解像度リソースデータに対応する高解像度リソースデータを前記リソースデータ格納手段から取り出すことによって、切り出された前記画像を拡大する類似データ検索手段とを備える
ことを特徴とする請求項１１記載の撮影装置。
【請求項１３】
前記類似データ検索手段は、
前記切出手段によって切り出された画像の空間周波数特性と類似する空間周波数特性を示す低解像度リソースデータを検索する
ことを特徴とする請求項１２記載の撮影装置。
【請求項１４】
画像を撮影して撮影された前記画像のぶれを補正する撮影方法であって、
画像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力ステップと、
前記撮影ステップで撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出ステップと、
前記動き検出ステップにより導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整ステップと、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整ステップにより調整された大きさの前記外側の領域における、前記動き検出ステップで検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力ステップで出力される画像のぶれを補正する補正ステップと
を含むことを特徴とする撮影方法。
【請求項１５】
画像を撮影して撮影された前記画像のぶれを補正するためのプログラムであって、
画像を撮影する撮影ステップと、
前記撮影ステップで撮影された画像の空間領域の一部であるフレーミング領域の画像を出力する出力ステップと、
前記撮影ステップで撮影された画像の空間領域のうちの外側の領域における複数の動きベクトルを検出するとともに、検出された複数の動きベクトルのばらつきを検出精度として導出する動き検出ステップと、
前記動き検出ステップにより導出される検出精度が予め定められた基準を満たすように前記外側の領域の大きさを調整する領域調整ステップと、
前記空間領域のうちの内側の領域における画像の動きに関わらず、前記領域調整ステップにより調整された大きさの前記外側の領域における、前記動き検出ステップで検出された複数の動きベクトルに応じて、前記フレーミング領域を移動させることにより、前記出力ステップで出力される画像のぶれを補正する補正ステップと
をコンピュータに実行させることを特徴とするプログラム。
【国際調査報告】
2008114499.tif 000091
2008114499.tif 000092
2008114499.tif 000093
2008114499.tif 000094