(57)【要約】    【課題】  パンニング撮影において適切な速度や加速度で撮像範囲が動くようにし、スムーズなパンニング動画像を得ることができるカメラを提供する。    【解決手段】  パンニングしながら動画像を撮影する際、カメラの実パンニング速度と基準パンニング速度との比較結果に基づき、取得される動画像のパンニング速度を基準パンニング速度に近づくように補正する。【選択図】  図２
2006115323.tif 000002
【特許請求の範囲】
【請求項１】
パンニングしながら動画像を撮影可能なカメラであって、
カメラの実パンニング速度特性を検出する検出手段と、
前記実パンニング速度特性と、予め設定された基準パンニング速度特性との速度特性の差を算出する算出手段と、
前記算出された速度特性の差に基づき、取得される動画像のパンニング速度特性が前記基準パンニング速度特性に近づくように補正する補正手段とを備えたことを特徴とするカメラ。
【請求項２】
請求項１に記載のカメラにおいて、
前記基準パンニング速度特性を決定する決定手段をさらに備えたことを特徴とするカメラ。
【請求項３】
請求項１または２に記載のカメラにおいて、
前記検出手段は、前記動画像内の注目点を抽出する抽出手段を含み、当該抽出手段により抽出された注目点の前記動画像内における移動量に基づいて、前記実パンニング速度特性を検出することを特徴とするカメラ。
【請求項４】
請求項３に記載のカメラにおいて、
前記注目点の位置は、撮像画面の画面端からの距離をもとに算出することを特徴とするカメラ。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載のカメラにおいて、
前記補正手段は、前記動画像の一部を切り出す切り出し手段を含み、当該切り出し手段により切り出す画像の位置を変更可能であることを特徴とするカメラ。
【請求項６】
請求項５に記載のカメラにおいて、
前記切り出しは、撮像素子からの読み出し位置の変更により変更されることを特徴とするカメラ。
【請求項７】
請求項１乃至請求項６のいずれか一項に記載のカメラにおいて、
前記基準パンニング速度特性は、時間とともに所定の変化をする特性として設定されていることを特徴とするカメラ。
【請求項８】
請求項１乃至請求項７のいずれか一項に記載のカメラにおいて、
前記検出手段は、更に実際にカメラが動かされた実パンニング方向を検出し、
前記算出手段は、更に基準パンニング方向と前記検出手段において検出された実パンニング方向との方向の差を算出し、
前記補正手段は、前記方向の差と前記速度特性の差に基づいて、取得される動画像のパンニング方向のパンニング速度特性が、前記基準パンニング方向の基準パンニング速度特性に近づくように補正することを特徴とするカメラ。
【請求項９】
請求項８に記載のカメラにおいて、
前記基準パンニング方向を決定する方向決定手段をさらに備えることを特徴とするカメラ。
【請求項１０】
パンニングしながら撮影した動画像を編集するプログラムあって、
前記動画像を読み込み、その動画像に基づいてカメラの実パンニング速度特性を検出する検出処理と、
前記実パンニング速度特性と、予め設定された基準パンニング速度特性との速度特性の差を算出する算出処理と、
前記算出された速度特性の差に基づき、取得された動画像のパンニング速度特性が前記基準パンニング速度特性に近づくように補正する補正処理とをコンピュータで実行する動画像編集用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を撮影可能なカメラ例えばビデオカメラや動画撮影可能なデジタルスチルカメラであって、パンニング撮影可能なカメラに関する。
【背景技術】
【０００２】
カメラの撮影方向を左右方向或いは上下方向等に振りながら広い範囲の画像を撮影することをパンニングといい、このパンニング動作は、手動或いは電動雲台等により実行される。
【０００３】
カメラを三脚等に固定せずいわゆる手持ちでこのパンニングを行う場合には、カメラの動く速度や加速度は使用者の手や腕の動きに依存するため、速度や加速度の変化が不規則となりやすく、スムーズなパンニング動画像を得ることが難しい。また、カメラを三脚に固定したり電動雲台等を用いたりしてパンニングする場合でも、三脚や雲台の摩擦抵抗により、パンニングがスムーズになるような速度や加速度にするのは難しく、高度な熟練が必要となる。パンニングがスムーズでないと画像は見づらいものとなってしまう。
【０００４】
下記の特許文献１は、動いている特定の被写体を画面の中央に収めるように追跡し、自動的にトリミングの範囲をフレーム毎に変化させることを開示している。
【特許文献１】特開２０００−２６１６５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上記の特許文献１では、広範囲の風景などを順次撮影するパンニング撮影において、適切な速度や加速度で撮像範囲が動くようにすることはできなかった。
【０００６】
本発明は、パンニング撮影において適切な速度や加速度で撮像範囲が動くようにし、スムーズなパンニング動画像を得ることができるカメラを提供するものである。
また本発明、撮影後の動画像をスムーズなパンニング速度特性で表示するように編集する動画像編集用プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
（１）請求項１の発明は、パンニングしながら動画像を撮影可能なカメラに関する。そして、カメラの実パンニング速度特性を検出する検出手段と、実パンニング速度に基づくカメラの実パンニング速度特性と、予め設定された基準パンニング速度特性との速度特性の差を算出する算出手段と、算出された速度特性の差に基づき、取得される動画像のパンニング速度特性が基準パンニング速度特性に近づくように補正する補正手段とを備えたことを特徴とする。
（２）請求項２の発明は、請求項１のカメラにおいて、実パンニング速度特性と比較される基準パンニング速度特性を決定する決定手段をさらに備えることを特徴とする。
（３）請求項３の発明は、請求項１または２に記載のカメラにおいて、検出手段は、動画像内の注目点を抽出する抽出手段を含み、当該抽出手段により抽出された注目点の動画像内における移動量に基づいて、実パンニング速度特性を検出することを特徴とする。請求項４のカメラのように、注目点の位置は、撮像画面の画面端からの距離をもとに算出することができる。
【０００８】
（４）請求項５の発明は、請求項１乃至４のいずれか一項に記載のカメラにおいて、補正手段は、動画像の一部を切り出す切り出し手段を含み、当該切り出し手段により切り出す画像の位置を変更可能に構成したことを特徴とする。請求項６のカメラのように、切り出しは、撮像素子からの読み出し位置を変更して変更してもよい。
（５）請求項７の発明は、請求項１乃至６のいずれか一項に記載のカメラにおいて、基準パンニング速度特性は時間とともに所定の変化をする特性として設定することを特徴とする。
【０００９】
（６）請求項８の発明は、請求項１乃至請求項７のいずれか一項に記載のカメラにおいて、検出手段は、更に実際にカメラが動かされた実パンニング方向を検出し、算出手段は、更に基準パンニング方向と検出手段において検出された実パンニング方向との方向の差を算出し、補正手段は、方向の差と速度特性の差に基づいて、取得される動画像のパンニング方向のパンニング速度特性が、基準パンニング方向の基準パンニング速度特性に近づくように補正することを特徴とする。
【００１０】
（７）請求項９の発明は、請求項８に記載のカメラにおいて、基準パンニング方向を決定する方向決定手段をさらに備えることを特徴とする。
（８）請求項１０の発明は、パンニングしながら撮影した動画像を編集するプログラムあって、動画像を読み込み、その動画像に基づいてカメラの実パンニング速度特性を検出する検出処理と、実パンニング速度特性と、予め設定された基準パンニング速度特性との速度特性の差を算出する算出処理と、算出された速度特性の差に基づき、取得された動画像のパンニング速度特性が基準パンニング速度特性に近づくように補正する補正処理とをコンピュータで実行する動画像編集用プログラムである。    
【発明の効果】
【００１１】
請求項１〜９の発明によれば、カメラの実パンニング速度特性が基準パンニング速度特性となるようにしたので、パンニング撮影において適切な速度や加速度で撮像範囲が動き、スムーズなパンニング動画像を得ることができる。また、請求項１０の発明によれば、撮影後の動画像を基準パンニング速度特性となるように編集することにより、スムーズなパンニング動画像を得ることができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。
＜１．第１実施形態の構成（図１）＞
図１は、本発明の第１実施形態による動画撮影可能な電子カメラの概要を説明するブロック図である。図１において電子カメラは、撮影レンズ１と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどで構成される撮像デバイス３と、ＣＰＵ４ａやメモリ４ｂなどで構成される画像プロセッサ４と、動画用レリーズスイッチ５と、表示装置としての液晶モニタ６と、電子カメラの動きを検出するカメラ回転センサ群７と、撮像デバイス移動機構９と、を備えている。撮像デバイス３の撮像面上には、撮影レンズ１を通過した被写体光による被写体像が結像される。
【００１３】
撮像デバイス３は、電子カメラの電源がオンされているとき、定常的に被写体像を繰り返し撮像するように構成されている。撮像デバイス３は、撮像時に被写体像の明るさに応じて画素ごとに信号電荷を蓄積する。蓄積電荷は、不図示の駆動回路から撮像デバイス３へ供給される駆動信号によって撮像デバイス３から順次掃き出される。信号電荷は不図示のアナログ信号処理回路で所定のアナログ処理をされた後、不図示のＡ／Ｄ変換回路によってデジタル撮像信号に変換されて画像プロセッサ４へ導かれる。
【００１４】
画像プロセッサ４は、撮像デバイス３に対する撮像時間（電荷蓄積時間）の指示などを行う。画像プロセッサ４はさらに、デジタル撮像信号に対してホワイトバランス調整処理や輪郭補償処理を行う他に、後述する基準パンニング方向に基づく補正処理等の画像処理を行う。画像処理後の画像データは、メモリ４ｂに記録され、更に液晶モニタ６に出力される。画像プロセッサ４は、動画用レリーズスイッチ５からレリーズ操作信号が入力されると動画撮影シーケンスを開始させ、撮像デバイス３からの電荷蓄積の掃き出し開始を指示するように構成されている。
【００１５】
カメラ回転センサ群７は、角速度センサ又は加速度センサより構成され、カメラの回転による水平方向（ｘ方向）及び重力方向（ｙ方向）の撮影方向の変化θｘ及びθｙを検出する。検出された撮影方向の変化は画像プロセッサ４に送られる。画像プロセッサ４は、カメラ回転センサ群７から受信する撮影方向の変化を示す信号に基づき、撮像デバイス移動機構９に対して撮像デバイス３の移動信号を送信する。
【００１６】
カメラ回転センサ群７の具体的構成としては、例えば、２つの角速度センサを設け、それぞれ被写体に対するカメラのｙ軸周り（水平方向）の角速度と、ｘ軸周り（重力方向）の角速度とを検知できるようにすれば良い。これらの角速度をそれぞれ時間ｔについて１回積分すれば、それぞれ水平方向の回転角θｘと重力方向の回転角θｙを算出することができる。
【００１７】
また、カメラ回転センサ群７の他の具体的構成としては、例えば、３つの加速度センサを設けても良い。そのうち水平方向に並べて配置された２つの加速度センサの出力差に基づいて水平方向の角加速度を検知し、これと異なる組み合わせで重力方向に並べて配置された２つの加速度センサの出力差に基づいて重力方向の角加速度を検知することができる。これらの角加速度をそれぞれ時間ｔについて２回積分すれば、それぞれ水平方向の回転角θｘと重力方向の回転角θｙを算出することができる。
【００１８】
撮像デバイス移動機構９は、圧電素子などの駆動素子を備え、画像プロセッサ４からの信号に基づいて、光軸に対して垂直な面内で撮像デバイス３を微小量移動させることができる。カメラ回転センサ群７及び撮像デバイス移動機構９は、以上のような構成により、手振れ補正を行うことができる。
【００１９】
このカメラでは、撮像デバイス３の読み出し方法を変更することにより、１／１５秒や１／３０秒といった短い周期で画像を連続して取得できるようになっており、これら短い周期で取得した一連の画像を保存することにより、動画像を保存することが可能になっている。ここでは、１／３０秒に１コマの周期で画像を取り込む場合を例にとって説明する。また、この１コマをフレームと呼ぶ。
【００２０】
＜２．第１実施形態の作用（図２〜図７）＞
図２は、第１実施形態によるパンニング撮影及び補正処理を説明するフローチャートである。図３〜図７は、この補正処理の過程を説明する図である。図３〜図７では、使用者が、水平方向、つまり重力方向に垂直な方向である右方向に、カメラを三脚に固定した上で手動でパンニングさせていると仮定している。右方向へのパンニングであるから、使用者は先ず、撮影したい範囲の最も左端に構図する。そこから使用者が希望する速度（速度特性）でパンニングを開始する。
【００２１】
図３は、パンニング撮影において、静止した被写体に対する撮影画面の移動の様子を表した図である。左側の点線枠Ｆ０がパンニング開始位置、右側の一点鎖線枠Ｆ４が終了位置である。本実施形態では画面内の被写体上に注目点（図３の「×」印で示す）を設定し、この注目点の画面内の位置を検出することによって画面の移動を検出する。ここでは便宜上、パンニングは水平方向で、注目点の座標値をパンニング方向（ｘ方向）のみについて考える。
【００２２】
図４は、時間の変化とともに注目点の座標が変化する様子を示した図である。横軸が時間ｔ、縦軸が注目点のｘ方向の座標値である。図４（ａ）はパンニングの開始位置から終了位置までの全体にわたる速度特性を示している。図４（ｂ）はパンニング開始位置付近の一部分の速度特性を拡大して示したものである。
【００２３】
理想的な（スムーズな）パンニングにおいては、座標の変化は例えば図４の点線のようになる。図４の点線は、最初少しずつ動きだして加速し、やがて一定速度となり、徐々に減速して停止するという動きを表している。
【００２４】
一方、図４の実線は不安定な実操作におけるパンニングを示している。時刻ｔ１までは、パンニングのための力量が加えられているものの、雲台の静摩擦による摺動抵抗のためほとんど動かずＢ’までしか移動しない。しかしｔ１を過ぎると摩擦が動摩擦に変化するため軽くなり、加速するが、この時点では過剰な力量がかかるため過度に加速してしまい、その結果座標は一度にＢ''まで移動してしまう。ここで操作者は力量を弱め、一定速度になるように力を加減して、パンニングを続行するが、手動のため多少の速度ムラが生じている。
【００２５】
減速時には徐々に力量を弱めて減速するが、ここでも摩擦が静摩擦に変化する際に力量不足となり、使用者の予想より早く減速して、一旦停止してしまう場合もある。使用者は再度力量を調整しながら再び終了点までのパンニングを行う。
【００２６】
実際に手動で雲台上のカメラでパンニングを行うと、前述のような理由でこの実線のように不安定なパンニング特性になることがほとんどである。また、三脚の雲台上に固定せず手動でカメラをパンニング操作する際にも、上記と同様に、図４で実線で示した不安定なパンニング特性となり、スムーズなパンニング動画像を得ることは難しい。
【００２７】
図５及び図６は、時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４における画像取得位置を示している。図５が理想的な場合（図４の点線で示す速度特性の場合）で、図６が不安定な場合（図４の実線で示す速度特性の場合）である。なお、図５（ａ）、図６（ａ）の画像取得位置は図３の開始位置Ｆ０に相当し、図５（ｅ）、図６（ｅ）の画像取得位置は図３の終了位置Ｆ４に相当する。
【００２８】
各図において外側の細い点線枠は撮像デバイス３で最初に取得される画像範囲を示しており、内側の太い点線枠は画像プロセッサ４で最終的に取得される各フレームＦ０〜Ｆ４の画像範囲を示している。何も補正を施さない場合、撮像デバイス３で最初に取得される画像範囲のうち中央の部分が、画像プロセッサ４で最終的に取得される。
【００２９】
注目点の座標値Ａ〜Ｅ及びＡ’〜Ｅ’は、ここでは説明の便宜上、理想的なパンニング時に画像プロセッサ４で最終的に取得される画像範囲（図５中に太い点線で示す範囲）の右端からの距離で表しているが、計測の際には撮像デバイス３で最初に取得される画像範囲の端縁からの距離を求め、これを基に座標値を算出することが望ましい。
【００３０】
図５及び図６を参照すると、例えば時刻ｔ１では、図５（ｂ）の理想的な場合では注目点の座標が位置Ｂまで移動しているのに、図６（ｂ）の不安定な場合ではそれより小さい座標Ｂ’までしか移動していない。そこで、この図６（ｂ）の注目点の座標を理想値Ｂに近づけるために、以下の処理を行う。
【００３１】
画像プロセッサ４は、まず、最初のフレームＦ０の画像データを撮像デバイス３から取得し、メモリ４ｂに一時的に保存する（ステップＳ３０１）。そして、最初のフレームＦ０の画像データから「×」印で示す注目点のｘ方向の座標Ａ’（撮影画面内の注目点の位置情報）を抽出し、その座標データをメモリ４ｂに一時的に保存する（ステップＳ３０２）。注目点の抽出方法は、既に公知となっている顔位置判定技術その他の特徴抽出技術によることができる。例えば、画像内において、近傍の画素との明暗差が大きい領域や、近傍の画素と色相が異なる領域を抽出し、その領域の重心位置を算出することで注目点を抽出することができる。動画像撮影前にユーザが１枚の画像を取り込み、その中から注目点を決定してもよい。なお、注目点となる被写体自身は静止しているものとする。
【００３２】
最初のフレームＦ０の撮影後１／３０秒を経過したら（ステップＳ３０３：ＹＥＳ）、二番目のフレームＦ１の画像データを撮像デバイス３から取得し、メモリ４ｂに一時的に保存する（ステップＳ３０４）。そして、最初のフレームＦ０で抽出した注目点が、二番目のフレームＦ１のどの座標に位置するかを検出する（ステップＳ３０５）。なお、前フレームの注目点が現フレームの撮像範囲より外へ出てしまった場合は、注目点の座標検出ができない。この場合は、前フレームにも現フレームにも含まれる新たな注目点を抽出する。
【００３３】
図７は、時刻ｔ１におけるフレームＦ１の画像切り出し位置の補正を示している。図７（ａ）及び図７（ｂ）において、最も外側の点線が、撮像デバイス３で最初に取り込まれる画像範囲である。最終的に取得したい画像範囲は、内側の太い点線で示している。この最終画像範囲よりも撮像デバイス３で最初に取り込む範囲を大きくしているのは、切り出しによって画面が削られることに備えたものである。最初に大きな範囲の画像を取り込む方法としては、例えばレンズを多少広角にすればよい。
【００３４】
図７において、画像切り出し位置の補正を行わない場合、画像範囲の中央部分が最終的に取得される画像となる。したがって、時刻ｔ１で取得した画像が画像プロセッサ４によって決定された理想的なパンニング速度特性で得られた図７（ｂ）に示すものであれば、注目点Ｘが右端からＢの位置にあるから補正する必要がない。しかし、図７（ａ）に示すように、理想的なパンニング速度特性ではない速度特性にて撮影された画像を時刻ｔ１で取得する際、細い点線枠Ｆ１で示す中央の画像範囲を切り出すと、注目点Ｘの位置が右端からＢ’に位置してしまう。そこで、時刻ｔ１で取得した図７（ａ）の画像については、切り出し範囲を画面の右に移動して太い点線で示す画像範囲Ｂ１で切り出す。これにより、注目点Ｘの位置が、理想的なパンニング速度特性で得られる画面右端からＢの位置になる。
【００３５】
ところで、カメラに内蔵したメモリ４ｂには、例えば図４のグラフの点線に示すようなスムーズなパンニングにおける理想的な速度特性が記憶されている。このような速度特性は、あらかじめ定められているものであってもよいし、ユーザの操作によって入力されたものであってもよい。この理想的な速度特性をもとに、時刻ｔ０からｔ１までの理想的な移動量Ｂ−Ａを求め（図５参照）、これに基づき、時刻ｔ１における注目点の理想的な座標値Ｂを算出する（ステップＳ３０８）。
【００３６】
なお、図４の点線のような予め用意されたカーブを用いなくても、実際に撮影された前後の複数フレームの動き方から、理想的な移動量を推定しても構わない。但し、撮影中にリアルタイムで画像位置を補正する場合は、補正対象フレームより前に撮影されたフレームの動きに基づいて理想的な移動量を推定する。一方、撮影終了後の画像編集時に画像位置を補正する場合は、補正対象フレームの前後に撮影されたフレームに基づいて理想的な移動量を推定する。撮影終了後の場合は、パンニング撮影中に得られた２枚のフレームの画像と、その間に撮影されたフレーム数に基づいて、各フレームでの理想的な移動量を算出しても良い。このような理想的な速度特性（基準パンニング速度特性）は、画像プロッセ４によって決定される。
【００３７】
そして、図５（ｂ）の注目点の理想的な座標Ｂと、図６（ｂ）の実際の座標Ｂ’とを比較し、これらが異なる場合は（ステップＳ３０９：ＹＥＳ）、注目点の座標値が理想的な座標値Ｂとなるように画像を補正する。具体的には、画像の切り出し位置を右へＢ−Ｂ’だけずらすことによって、図７（ａ）に示すように太い点線Ｂ１の部分に設定する（ステップＳ３１２）。これにより、注目点の座標値がＢまで移動したことと等価になる。なお、Ｂ−Ｂ’が負であれば、画像の切り出し位置を左にずらすことになる。たとえば、メモリに記憶した撮像画像を読み出す開始位置を変更して切り出し位置を変更することができる。
【００３８】
あるいは、撮像素子の読み出し開始位置を変更して切り出し位置を変更することもできる。この場合には、理想的な速度特性と実際の速度特性との差が検出された後に、次の時点で得られるフレームは、検出された差の補正が行われた画像となる。このような時間的な遅延を伴う補正は、特にパンニングの動きが遅い場合に有効である。
【００３９】
なお、複数のフレームを一時的に保存できる場合は、ある時刻における補正後画像をその同じ時刻のフレームから切り出す必要は必ずしもなく、移動量がもっとも近い別の時刻のフレームから切り出しても良い。例えば、第２フレームＦ１において図５（ｂ）のような理想的な移動量Ｂの画像を得たい場合、第２フレームＦ１で実際に撮影された図６（ｂ）における移動量Ｂ’よりも、第３フレームＦ２で実際に撮影された図６（ｃ）における移動量Ｃ’の方が理想的な移動量Ｂに近い場合には、図６（ｃ）の画像を用いる。これにより、画像の削られる量を少なくすることができる。
【００４０】
画像の移動が終わった場合、又は注目点の座標値Ｂ’が理想値Ｂに一致し移動の必要がなかった場合（ステップＳ３０９：ＮＯ）、補正後の当該フレームの画像をメモリ４ｂに保存し液晶モニタ６で表示する（ステップＳ３１５）。このようにして、補正処理によりパンニング速度が安定した動画像を、リアルタイムで液晶モニタ６に表示させることができる。
【００４１】
次に、動画像の撮影終了か否かを判定し、撮影が終了していなければ（ステップＳ３１６：ＮＯ）、ステップＳ３０３に戻って１／３０秒の経過を待つ。以降、全ての時刻において、注目点の座標がスムーズなパンニング時の変化となるように、フレームの切り出し位置を変更していく。
【００４２】
最終的には切り出された一連の画像によって動画像を形成する。したがって形成された動画像はスムーズなパンニングが行われた図５のような画像とほぼ同じものを得ることが出来る。動画像の撮影が終了すれば（ステップＳ３１６：ＹＥＳ）、一連の処理を終了する。
【００４３】
＜３．第１実施形態の効果＞
第１実施形態では、動画像内の注目点の位置を各フレーム毎に算出し、これら各注目点の実位置の移動特性を実パンニング速度特性と捉えるようにした。また、基準パンニング速度特性でパンニングが行われたときの各フレーム毎の注目点の位置を基準位置として算出した。そして、注目点の実位置と基準位置との水平方向の差（ズレ量）を実パンニング速度特性と基準パンニング速度特性の差として画像処理を行った。したがって、本実施形態によれば、次のような作用効果を得ることができる。
【００４４】
（１）パンニング撮影において適切な速度や加速度で撮像範囲が動くようにし、スムーズなパンニング動画像を得ることができる。
（２）動画像の一部を切り出すことにより補正を行うので、ソフトウェアによる処理だけで補正処理を行うことができる。
（３）動画像内の注目点の位置を各フレーム毎に算出し、これら各注目点位置の移動特性を実パンニング速度特性と捉えるようにしたので、動画像データのみで実パンニング速度特性を検出することができる。
【００４５】
なお、速度が不安定なほど、画像の両端が削られていくが、スムーズなパンニングが実現できる効果の方が大きいし、ズームレンズがあれば多少広角側にセットしておけば大きな問題にはならない。
【００４６】
メモリ４ａに複数の理想速度特性を記憶しておき、画像プロセッサ４によって実際の移動特性にもっとも近い理想速度特性を抽出（決定）し、抽出された理想速度特性に近づくように撮像デジタル信号を補正してもよい。たとえば、複数の理想速度特性の中から、図６のＢ’−Ａ’より算出される速度にもっとも近い理想速度特性が抽出され、この理想速度特性に合わせた補正処理が施されるように構成することもできる。
【００４７】
メモリ４ａに記憶された複数の理想速度特性の中から、使用者の操作によって、基準となる理想的な速度特性を設定する構成としてもよい。この設定は画像プロセッサ４に読み込まれ決定される。
【００４８】
＜４．第２実施形態の構成及び作用（図８〜図１２）＞
次に第２実施形態として、パンニング速度特性に加え、パンニング方向を検出してパンニング方向の補正を併せて行う場合を説明する。この第２実施形態は、図１の第１実施形態と同様のハードウェア構成で達成できるので、構成の説明を省略して作用を主に説明する。以下では、使用者が、水平方向、つまり重力方向に垂直な方向である右方向に、カメラを手持ち撮影でパンニングさせている場合について説明する。たとえば、カメラのパンニング方向設定モードにおいて水平方向パンニングを設定し、かつ、カメラのパンニング速度特性設定モードにおいて、水平方向に適した基準パンニング速度特性（たとえば、図４の破線の特性）を設定した場合として説明する。これらの設定は画像プロセッサ４に読み込まれて決定される。
【００４９】
図８は、第２実施形態によるパンニング撮影及び補正処理を説明するフローチャートである。図９〜図１２は、この補正処理のうちパンニング方向に関する補正の過程を説明する図である。図９〜図１２では、使用者が水平方向、つまり重力方向に垂直な方向である右方向に、カメラを手持ち撮影でパンニングさせていると仮定している。右方向へのパンニングであるから、使用者は先ず、撮影したい範囲の最も左端に構図する。そこから使用者が希望する速度、例えば４秒間に１画面分移動する速度でパンニングを開始する。
【００５０】
図９は、パンニング撮影において静止した被写体に対する撮像画面の移動の様子を表した図である。Ｆ１、Ｆ２、Ｆ３で示す矩形の破線は、撮像デバイス３で撮像された各フレームの画像範囲を示している。
【００５１】
図１０は、図９に示す構図で撮像された各フレームＦ１、Ｆ２、Ｆ３の画像を示す図である。図９に示された被写体に対する撮像画面の移動に応じて、図１０のように、３枚の画像が撮像デバイス３にて撮像される。いま、最初のフレームＦ１の撮影から二番目のフレームＦ２の撮影までの間に、右方向にｄｘ１、上方向にｄｙ１だけ、撮像範囲が静止している被写体に対して撮像画面上で斜めに移動したとする。このｄｘ１及びｄｙ１の値を、本実施形態では、画像データ上の注目点の移動量によって検出する。
【００５２】
図１１は、パンニング時の垂直方向と水平方向の移動量を示す説明図であり、図９及び図１０に示す最初のフレームＦ１の画像と二番目のフレームＦ２の画像とを、画像の各端縁が一致するように重ね合わせたものである。画像プロセッサ４は、最初のフレームＦ１において注目点を抽出する。注目点の抽出方法は、既に公知となっている顔位置判定技術その他の特徴抽出技術によることができる。例えば、画像内において、近傍の画素との明暗差が大きい領域や、近傍の画素と色相が異なる領域を抽出し、その領域の重心位置を算出することで注目点を抽出することができる。動画像撮影前にユーザが１枚の画像を取り込み、その中から注目点を任意に決定してもよい。なお、注目点となる被写体自身は静止しているものとする。
【００５３】
図８のフローチャートにおいて、ステップＳ３０１〜ステップＳ３０４は第１実施形態で説明した図２のフローチャートと同様の処理である。ステップＳ３０４で次フレームをメモリに記録した後、ステップＳ３５１へ進む。ステップＳ３５１では、最初のフレームＦ１の撮影から二番目のフレームＦ２の撮影までに撮像範囲内で注目点が移動した量であるｄｘ１、ｄｙ１を計算する。図１１では、「×」印で示される注目点が左方向にｄｘ１、下方向にｄｙ１だけ移動したことが表されている。画像プロセッサ４は、基準パンニング方向を水平方向に設定（決定）しているから、理想パンニング方向である水平方向からの画像のズレ量はｄｙ１で表され、水平方向の速度はｄｘ１より算出することができる。
【００５４】
水平方向のパンニング速度について説明する。この実施の形態では、１／３０秒ごとに１フレームの画像を取り込むことにしているから、ステップＳ３５２において、設定された基準パンニング速度特性にしたがって注目点が水平方向に移動する際、撮影画面内のその基準位置を１／３０秒ごとに計算する。この際に、垂直方向の基準位置についても合わせて計算する。そして、１／３０秒ごとの撮影画面内での注目点の実位置と、注目点の基準位置との水平方向および垂直方向のズレ量（差）を算出する（ステップＳ３５３）。ステップＳ３５４では、ステップＳ３５１で求めた垂直方向の注目点のずれ量ｄｙ１がゼロとなり、ステップＳ３５３で算出した水平方向の注目点と基準位置との差がゼロとなるように、撮像画像を画像処理する。
【００５５】
ステップＳ３５４で画像処理が終了すると、ステップＳ３１５で画像をモニタに表示し、ステップＳ３１６で撮影終了と判定されるまで、以上の処理が引き続き続行される。
【００５６】
図１２は、図１０の各フレーム画像に対して垂直方向と水平方向において、パンニング方向とパンニング速度の補正処理を施した後の各フレームＦ１，Ｆ２，Ｆ３の画像の例を示す。動画像の上下ブレは図１２の一点鎖線で示すように、フレームの上縁を、一番低いフレームＦ３にあわせて、また、フレームの下縁を、一番高いフレームＦ２にあわせて修正されていることがわかる。図には表されないが、水平方向の速度特性のズレも是正されている。
【００５７】
＜５．第２実施形態の効果＞
第２実施形態では、動画像内の注目点の位置を各フレーム毎に算出し、これら各注目点の実位置の移動特性を実パンニング方向によるパンニング速度特性と捉えるようにした。また、基準パンニング方向において基準パンニング速度特性でパンニングが行われたときの各フレーム毎の注目点の位置を基準位置として算出した。そして、注目点の実位置と基準位置との水平方向の差（ズレ量）を実パンニング速度特性と基準パンニング速度特性の差とし、垂直方向の差を実パンニング方向と基準パンニング方向の差として画像処理を行った。したがって、本実施形態によれば、上記第１実施形態の効果に加え次のような作用効果を得ることができる。
【００５８】
（１）パンニング方向のばらつきを小さくしてパンニング方向の安定した動画像を得ることができる。
（２）動画像の一部を切り出すことにより補正を行うので、ソフトウェアによる処理だけで補正処理を行うことができる。
（３）補正処理によりパンニング方向の安定した動画像を、リアルタイムで液晶モニタ６に表示させることができるので、撮影中の動画像をパンニング補正後の状態で確認しながら撮影を行うことができる。
（４）動画像内の注目点の位置を各フレーム毎に算出し、これら各注目点位置の変化方向を実パンニング方向と捉えるようにしたので、動画像データのみで実パンニング方向を検出することができる。
【００５９】
なお、垂直方向のズレが大きい場合や、水平方向実速度と基準速度との偏差が大きい場合は、画像の周囲が多少削られて見えることがあるが、正確な角度のパンニングが実現できる効果の方が大きいし、ズームレンズがあれば多少広角側にセットしておけば大きな問題にはならない。
【００６０】
以上では、説明を簡単にするため、水平方向に理想的な基準パンニング速度特性（図４に図示）でカメラを移動する場合について説明したが、垂直方向に理想的な基準パンニング速度特性でカメラを移動する場合については、垂直パンニング方向と直交する水平方向の注目点のずれ量と、垂直方向の速度偏差に伴う基準位置からの注目点のずれ量とに基づいて、注目点の位置を補正するように画像全体を処理すればよい。また、斜め４５度方向に理想的な速度特性でパンニングする場合も、任意の方向に理想的な速度特性でパンニングする場合も、同様に注目点の位置を理想的な位置へずらすように画像処理すればよい。
【００６１】
基準パンニング方向は、あらかじめメモリ４ａに記憶されているものであっても、操作者が設定入力したものであってもよい。
【００６２】
＜６．変形例＞
上記の第１及び第２実施形態において、上記の説明においては注目点の座標により画面の移動量を算出したが、他の方法により移動量を算出しても良い。例えば、図１の電子カメラが備えるようなカメラ回転センサ群７の出力に基づいてカメラが回転する角速度または加速度を検出し、これに基づいて画面の移動方向と移動量を算出し、理想的なパンニング方向における理想的な基準パンニング速度特性で決定される画面の移動方向と移動量とにより画像処理すればよい。
【００６３】
上記の第１および第２実施形態において、上記の説明では画像の一部を削り、その削る位置を変更することによって補正を行ったが、補正の方法はこれに限られるものではない。例えば、撮像デバイス移動機構９を用いて撮像デバイス３を微小量動かすことや、撮影光を偏向して像ブレを抑制する像ブレ補正光学系を撮影レンズ内に配置すること、あるいは撮像デバイスの撮像範囲を電気的に移動することにより撮像面上での画像位置を変更するなど、手振れ補正用の機構を用いることもできる。このような補正方法をとれば、動画像データの一部を切り出す必要がないので、画質を損ねたりデータを無駄にしたりすることなく、かつほぼリアルタイムで補正を行うことができる。また、手振れ補正用にもそれらの機構を兼用することができる。なお、撮像デバイスを移動する方式や像ブレ補正光学系を使用する方式では、角速度センサなどを使用して上記差を計算するのが望ましい。
【００６４】
上記の第１及び第２実施形態において、上記の説明では主として撮影と同時に補正を実行していく方法を説明したが、全て撮影が終了した後で補正を行っても良い。例えば、撮影した画像データをたとえばパーソナルコンピュータに読み込み、動画編集用のソフトウェア等を用いて、パンニング速度及び方向を解析し、パンニング速度及び方向の安定したパンニング動画像となるように各フレームの位置を補正し、補正後の動画像を記録媒体に記録し、モニタ表示する場合にも本技術は有効である。
【００６５】
上記の第２実施形態と同様の処理をパーソナルコンピュータで実行する場合、パーソナルコンピュータに図１３に示すような処理を実行するプログラムをインストールする。すなわち、パンニングしながら撮影した動画像を編集するプログラムあって、動画像を読み込む処理（ステップＳ４１０）と、読み込んだ動画像に基づいてカメラの実パンニング速度特性及び実パンニング方向特性を検出する検出処理（ステップＳ４２０）と、実パンニング速度特性と予め設定された基準パンニング速度特性との速度特性の差、及び実パンニング方向特性と設定された基準パンニング方向特性との方向の差を算出する算出処理（ステップＳ４３０）と、算出された速度特性の差及び方向特性の差に基づき、取得される動画像のパンニング速度特性及びパンニング方向特性が各々基準パンニング速度特性及び基準パンニング方向特性に近づくように補正する補正処理（ステップＳ４４０）とをコンピュータで実行する動画像編集用プログラムである。パンニング速度特性の補正処理に注目してみると、ステップＳ４２０は図２のステップＳ３０２〜ステップＳ３０８に相当する処理であり、ステップＳ４３０は図２のステップＳ３１８に相当する処理である。
【００６６】
＜７．用語の説明＞
なお、以上の各実施形態における画像プロセッサ４は、本発明における基準パンニング速度の決定手段、実パンニング速度特性の検出手段、基準パンニング速度特性と実パンニング速度特性の差を算出する算出手段、及び算出結果に基づく補正手段として機能することができる。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素の対応関係になんら限定されるものではない。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１実施形態による動画撮影可能な電子カメラの概要を説明するブロック図である。
【図２】第１実施形態によるパンニング撮影及び補正処理を説明するフローチャートである。
【図３】パンニング撮影における画面の移動の様子を表した図である。
【図４】時間の変化とともに注目点の座標が変化する様子を示した図である。
【図５】理想的な場合の時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４における画像取得位置を示す図である。
【図６】不安定な場合の時刻ｔ０，ｔ１，ｔ２，ｔ３，ｔ４における画像取得位置を示す図である。
【図７】時刻ｔ１におけるフレームＦ１の画像切り出し位置の補正を示している。
【図８】第２実施形態によるパンニング撮影及び補正処理を説明するフローチャートである。
【図９】パンニング撮影において静止した被写体に対する画面の移動の様子を表した図である。
【図１０】図９に示す構図で撮像された各フレームＦ１、Ｆ２、Ｆ３の画像を示す図である。
【図１１】パンニング時の注目点の位置ズレを説明する説明図である。
【図１２】図１０に対する補正後の各フレームＦ１，Ｆ２，Ｆ３の画像の例を示す図である。
【図１３】パンニング速度特性及びパンニング方向特性を補正するプログラムの処理手順を示すフローチャートである。
【符号の説明】
【００６８】
１…撮影レンズ  ３…撮像デバイス  ４…画像プロセッサ  ５…動画用レリーズスイッチ  ６…液晶モニタ  ７…カメラ回転センサ群  ９…撮像デバイス移動機構  
【図１】
2006115323.tif 000003
【図２】
2006115323.tif 000004
【図３】
2006115323.tif 000005
【図４】
2006115323.tif 000006
【図５】
2006115323.tif 000007
【図６】
2006115323.tif 000008
【図７】
2006115323.tif 000009
【図８】
2006115323.tif 000010
【図９】
2006115323.tif 000011
【図１０】
2006115323.tif 000012
【図１１】
2006115323.tif 000013
【図１２】
2006115323.tif 000014
【図１３】
2006115323.tif 000015