(57)【要約】【課題】再生防振の性能を極力維持しつつ記録ＲＡＷデータ容量の削減を図ることが出来る技術を実現する【解決手段】画像処理装置は、光学系を通して撮像された画像の画像データを圧縮する圧縮手段と、前記圧縮手段の圧縮率を変更する圧縮率変更手段を持ち、前記圧縮率変更手段は、撮像領域周辺にある映像補正用領域の少なくとも一部の圧縮率を、撮像領域中央にある映像領域の圧縮率以上とし、更に、前記圧縮率変更手段は、映像の動き量または合焦度の少なくともどちらか一方に応じて前記映像補正用領域の少なくとも一部の圧縮率を変更する。【選択図】図２
2018201100.tif 000002
【特許請求の範囲】
【請求項１】
光学系を通して撮像された画像の画像データを圧縮する圧縮手段と、前記圧縮手段の圧縮率を変更する圧縮率変更手段を持ち、前記圧縮率変更手段は、撮像領域周辺にある映像補正用領域の少なくとも一部の圧縮率を、撮像領域中央にある映像領域の圧縮率以上とし、
更に、前記圧縮率変更手段は映像の動き量または合焦度の少なくともどちらか一方に応じて、前記映像補正用領域の少なくとも一部の圧縮率を変更することを特徴とする画像処理装置。
【請求項２】
前記映像の動き量とは、映像の振れ量、ズーム移動量、パンニング量であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記映像補正用領域は、映像振れ補正用領域であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記圧縮手段は、画像データを圧縮しない処理を含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記圧縮手段は、画像データに対して情報量を圧縮するための符号化を行う符号化手段を持つことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記圧縮率変更手段は、撮像領域中央の映像領域と撮像領域周辺の映像補正用領域の、映像振れ量または合焦度を比較して、映像補正用領域の、映像振れ量が大きいか合焦度が小さい場合には、映像補正用領域の圧縮率を下げることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮像領域中央にある映像領域は、表示装置の解像度を満たす映像領域範囲であり、前記映像補正用領域は、撮像領域内の前記撮像領域中央にある映像領域外であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
コンピュータを、請求項１乃至７のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＲＡＷ記録を行う画像処理装置に関するもので、特に圧縮ＲＡＷ動画像の記録に関する。
【背景技術】
【０００２】
従来、一部の撮像装置において、撮像部で取得された撮像画像を未現像の状態で記録するものがある。未現像の状態の動画像は、画像の生の状態を意味するロウ動画（ＲＡＷ画像）と呼ばれ、ＲＡＷ動画データを記録することによって、それを再生する時にパーソナルコンピュータなどでユーザーが自由に現像処理を施すことが出来る。例えば、好みの明るさや色味に調整することや、手振れ補正などの映像ブレ補正が可能となる。動画再生時の映像ぶれ補正(以後、再生防振と呼ぶ)の技術として、映像のぶれを表す動きベクトルを検出し、動きベクトルに応じて映像の読出し領域をシフトする技術が知られている。
【０００３】
また、映像記録時にビデオカメラの振れをセンサで検出し、振れデータを映像データと共に記録し、再生時に振れデータに基づいて振れを補正する技術なども知られている。映像の読出し領域をシフトさせるために、読み出し領域より広い画素領域まで記録しておく手法などが一般に知られている。また一方で、ＲＡＷ動画像は、再生や表示を高速に行うことが望まれるが、高コスト回路を用いた高出力駆動はコスト増大となり、ユーザーメリットの低下につながってしまう。そこで、ＲＡＷ画像を取扱やすい状態で記録するため、ＲＡＷデータを適宜圧縮することで、効率的に扱うことを可能にする手法も知られている。
【０００４】
また、背景モデルデータに基づいて移動物体領域を決定し、移動物体領域の動き量を推定し、背景モデルデータまたは推定した移動物体領域の動き量の少なくとも一つを参照して映像データを圧縮する手法が知られている（特許文献:特開2009-147911）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2009-147911号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、再生時に振れ補正を行う目的で、余剰画素領域まで圧縮ＲＡＷ動画像を記録している場合、当然のことながら振れ補正を行わなければ、余剰画素領域の記録データ自体は無駄となってしまう。特にＲＡＷ記録の圧縮率が低いほど無駄は多くなる。また、余剰画素領域の鮮明度が低い場合には、余剰画素領域に十分な記録データ量が無くとも振れ補正後の映像としては見た目上の問題、画質的な問題は発生しにくい。しかし、ＲＡＷ記録の圧縮率が低い場合には不必要に多くのデータを使用することとなるため記録データ容量を無駄に使ってしまうという問題点があった。
【０００７】
また、記録映像から動きベクトルを検出して振れ補正量を算出する場合においても、余剰画素領域については、鮮明度が低ければ十分な記録データ量は必要とならないため同様に記録データ容量を無駄に使うことがあった。また、上記特許文献１では記録領域全体の圧縮率を変更しているため、記録領域の用途に応じた記録データ容量の効率化は考慮されていない。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は再生防振性能と再生防振時の画質を極力維持しつつ記録ＲＡＷデータ容量の削減を図ることが出来る技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、光学系を通して撮像された画像の画像データを圧縮する圧縮手段と、前記圧縮手段の圧縮率を変更する圧縮率変更手段を持ち、前記圧縮率変更手段は、撮像領域周辺にある映像補正用領域の少なくとも一部の圧縮率を、撮像領域中央にある映像領域の圧縮率以上とし、更に前記圧縮率変更手段は、映像の動き量または合焦度の少なくともどちらか一方に応じて前記映像補正用領域の少なくとも一部の圧縮率を変更する。
【発明の効果】
【００１０】
本発明によれば、再生防振性能と再生防振時の画質を極力維持しつつ記録ＲＡＷデータ容量の削減を図ることが出来る技術を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態のデジタルビデオカメラの構成を示すブロック図。
【図２】実施形態のシステム制御部の内部構成を示すブロック図。
【図３】実施形態の撮像画像を示す図。
【図４】実施形態の記録領域に応じて圧縮率を変更するフローチャート。
【図５】実施形態の映像振れ補正用領域の圧縮率（圧縮率Ｂ）を算出するフローチャート
【図６】実施形態の圧縮度と圧縮率のデータテーブル。
【図７】実施形態の圧縮度の補正処理を行う場合の圧縮率Ｂ算出のフローチャート
【発明を実施するための形態】
【００１２】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１３】
＜装置構成＞
まず、図１を参照して、本実施形態のデジタルビデオカメラ１００の構成および機能について説明する。
【００１４】
図１において、撮像レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り１０１は、入射光量を調整するために使用される。ＮＤフィルタ１０４は絞り１０１とは別に入射光量を調整（減光）するために使用される。撮像部１２２は、被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子である。また、撮像部１２２には電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。Ａ／Ｄ変換器１２３は、アナログ信号をデジタル信号に変換する。
【００１５】
Ａ／Ｄ変換器１２３は、撮像部１２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルビデオカメラ（以下、カメラ）１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、絞り１０１、撮像部１２２を含む撮像系の汚れや破損を防止する。
【００１６】
画像処理部１２４は、Ａ／Ｄ変換器１２３からのデータ、又は、メモリ制御部１１５からのデータに対して色変換処理、ガンマ補正、デジタルゲイン付加等の処理を行う。また、画像処理部１２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１５０が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等が行われる。
【００１７】
画像処理部１２４で処理された映像は、後述のＲＡＷ記録モードでは表示部へ送られる画像信号のみに使用される。画像処理部１２４は複数の信号パスを備えており、ＲＡＷ記録モードでは、表示部用に画像処理を行う信号パスと、記録用に処理を何も施さない信号パスをそれぞれ利用可能である。このような構成とすることでＲＡＷ記録モードにおいても現像処理された映像を基に画角確認など行うことが可能な構成としている。一般に現像処理では、デベイヤー処理（デモザイク処理）、即ち色補間処理を施し、輝度と色差（や原色）の信号に変換し、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化する処理を行う。
【００１８】
Ａ／Ｄ変換器１２３からの出力データは、画像処理部１２４及びメモリ制御部１１５を介して、或いは、メモリ制御部１１５を介してメモリ１３２に直接書き込まれる。メモリ１３２は、撮像部１２２によって得られ、Ａ／Ｄ変換器１２３によりデジタルデータに変換された画像データや、表示部１２８に表示するための画像データを格納する。メモリ１３２は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
【００１９】
また、メモリ１３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１１３は、メモリ１３２に格納されている画像表示用のデータをアナログ信号に変換して表示部１２８に供給する。
【００２０】
こうして、メモリ１３２に書き込まれた表示用の画像データはＤ／Ａ変換器１１３を介して表示部１２８により表示される。表示部１２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１２３によって一度Ａ／Ｄ変換され、メモリ１３２に蓄積されたデジタル信号をＤ／Ａ変換器１１３においてアナログ変換し、表示部１２８に逐次転送して表示することで、電子ビューファインダ（ＥＶＦ）として機能し、ライブビュー画像の表示を行える。
【００２１】
不揮発性メモリ１５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ１５６には、システム制御部１５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２２】
システム制御部１５０は、カメラ１００全体を制御する。前述した不揮発性メモリ１５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１５２には、システム制御部１５０の動作用の定数、変数、不揮発性メモリ１５６から読み出したプログラム等を展開する。また、システム制御部１５０はメモリ１３２、Ｄ／Ａ変換器１１３、表示部１２８等を制御することにより表示制御も行う。
【００２３】
角速度センサ１９０は、ビデオカメラに加わる振れの角速度を検出する。システムタイマー１５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ１６０、録画スイッチ１６１、操作部１７０はシステム制御部１５０に各種の動作指示を入力するための操作手段である。
【００２４】
モード切替スイッチ１６０は、システム制御部１５０の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、ＲＡＷ記録モード、カスタムモード等がある。モード切替スイッチ１６０で、動画記録モードに含まれるこれらのモードのいずれかに直接切り替えられる。
【００２５】
あるいは、モード切替スイッチ１６０で動画記録モードに一旦切り替えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ１６１は撮影待機状態と撮影状態を切り替える。システム制御部１５０は、録画スイッチ１６１により、撮像部１２２からの信号読み出しから記録媒体１９０への録画データの書き込みまでの一連の動作を開始する。
【００２６】
操作部１７０の各操作部材は、表示部１２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１２８に表示される。ユーザは、表示部１２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンを用いて直感的に各種設定を行うことができる。
【００２７】
電源スイッチ１７２は、ビデオカメラ１００の電源ＯＦＦ／ＯＮの指示を入力するための操作手段である。電源制御部１８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１８０は、その検出結果及びシステム制御部１５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１９０を含む各部へ供給する。
【００２８】
電源部１３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる。図１では記録媒体１９０との接続状態を示している。記録媒体１９０は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００２９】
圧縮部１１９は画像処理部１２４から、画像処理部１２４の処理が施されていない画像信号、すなわちＡ／Ｄ変換器１２３から取得した画像に相当する画像信号を、連続して取得し圧縮処理を実行する。圧縮部１１９は、画像データの高能率符号化処理を施す。高能率符号化は、ウエーブレット変換や、エントロピー符号化などの公知の技術により処理されるものとするが、非可逆符号化でも可逆符号化でも良い。圧縮率を変更可能な一般的な情報圧縮技術を用いればよいし、圧縮率の異なる記録フォーマットの切り替えを行ってもよい。圧縮のアルゴリズムについては本発明の特徴部分ではないため、説明を省略する。
【００３０】
Ｉ／Ｆ１１８は、メモリカードやハードディスク等の記録媒体１９０、または外部機器とのインターフェースである。
【００３１】
＜システム制御部の内部構成＞
次に、図２を参照して、本実施形態のシステム制御部１５０の内部構成について説明する。なお内部構成については本実施形態の特徴的な部分のみに限定して説明を行う。
【００３２】
図２は、システム制御部１５０の周辺部と内部構成を示している。振れデータ設定部２０１は、角速度センサ１９０の出力に基づいて、ビデオカメラの振れ量を、光軸を中心とするＸＹ２軸のそれぞれの方向に対して、振幅量を画素単位に換算して算出する（以後、上述のようにビデオカメラの振れ量をＸＹそれぞれの方向について振幅量を画素単位に換算したものを映像振れ量と呼ぶ）。メタデータ生成部２０２は、振れデータ設定部２０１の算出した映像振れ量を記録データにするメタデータ生成部である。信号重畳部２０３は、画像処理部１２４の出力映像信号にメタデータ生成部２０２で生成された記録データを重畳する。
【００３３】
振れ判定部２０４は、振れデータ設定部２０１の算出した映像振れ量から振れが大きい状態であるかを判定する。ズーム判定部２０５は、ズームレンズ位置情報の時間変化からズーム中であるかを判定する。合焦判定部２０６は、フォーカスレンズ位置情報と画像のコントラスト情報から合焦度を算出し、合焦度が所定閾値以下であるかで合焦状態を判定する。ここで、合焦度とは焦点の合っている度合いを数値化したものである。通常、画像のコントラストの度合いを数値化し、測定対象上の点に焦点を合わせた時、すなわち対象までの距離と撮像時の焦点(フォーカス)距離が一致するとき最大の値を示す。また合焦判定部２０６は、映像領域を複数のメッシュ枠に分割したメッシュ枠毎の合焦度を判定することも可能な構成となっている。
【００３４】
パンニング判定部２０７は、振れデータ設定部２０１の算出した映像振れ量の時間変化からパンニング状態であるかを判定する。
【００３５】
圧縮率変更部２０８は、パンニング判定部２０７、振れ判定部２０４、ズーム判定部２０５、合焦判定部２０６の各判定結果に基づいて圧縮部１１９で映像データを記録する際の用いられる圧縮率を変更する。
【００３６】
＜本発明の実施形態の動作説明＞
次に、本発明の本実施形態の動作について説明する。記録モードはＲＡＷ記録モードであり、圧縮ＲＡＷ記録を行う。また映像振れ補正用領域の圧縮率を高くし、その圧縮率は映像の動き量と合焦度に応じて変更を行う。また、説明を簡単にするため時刻ｔから時刻ｔ＋1において被写体の移動は無く、ビデオカメラ１００が水平方向に所定量振れた場合とする。また、映像振れ補正は記録時には行わず、再生時のみ実施する例で説明を行う。
【００３７】
図３(ａ)は、時刻ｔにおける本実施例の撮像画像領域を示し、図３(ｂ)は、時刻ｔ＋１における本実施例の撮像画像領域と、再生防振処理時の表示画像を示す。ここで、水平方向とは図３(ａ)における木から建物へ向かう方向とする。
【００３８】
＜再生防振処理＞
まず本実施形態の、再生防振処理について説明を行う。以下では、記録時に映像振れ補正量をメタデータとしてＲＡＷ映像に関連付けて記録しておき、再生時にメタデータに基づいて映像振れ補正を行う処理について説明を行う。映像振れ補正処理によって、時刻ｔと時刻ｔ＋１における表示画像を略一定とすることをを目的としている。まず、映像記録時の振れ補正量算出から記録映像へのメタデータ重畳までの処理について説明する。
【００３９】
＜振れ補正量算出からメタデータ重畳までの処理＞
図３(ａ)中の点線で示す表示画像とは、解像度が撮像画像の解像度より小さく、表示部１２８に表示する画像である。具体的には、表示画像用の解像度とは、例えばフルＨＤにおける１９２０×１０８０である。また本実施例では、撮像画像における表示画像以外の余剰画素領域を映像振れ補正用領域と定義する。後述するが、本特許の特徴とするところは、圧縮ＲＡＷ記録時にこの映像振れ補正用領域の圧縮率を変更することである。
【００４０】
撮像画像の左上端を(０，０)としたとき、図３(ａ)の表示画像は（ ｘ_ｓｔａｒｔ, ｙ_ｓｔａｒｔ ）から( ｘ_ｅｎｄ, ｙ_ｅｎｄ )までの四角形の範囲となる。ｘ_ｓｔａｒｔ, ｙ_ｓｔａｒｔ, ｘ_ｅｎｄ, ｙ_ｅｎｄ は任意の整数値とし、単位は画素とする。本実施例の解像度からｘ_ｅｎｄ − ｘ_ｓｔａｒｔ は１９２０、ｙ_ｅｎｄ  −  ｙ_ｓｔａｒｔ は１０８０となる。
【００４１】
再生時に防振を行うための振れ補正量の導出について、記録時の処理から説明する。まず、ビデオカメラ１００の水平方向の振れが角速度センサ１９０で検出される。前述したように振れデータ設定部２０１がビデオカメラの振れを画素単位に換算した映像振れ量を算出する。本実施例において算出された水平方向の振れ量をｂｌｕｒとすると、振れ補正量となる切り出し開始位置のシフト量は（ ｂｌｕｒ，０ ）のように導出することが出来る。
【００４２】
なお本実施例では、角速度センサ１９０の出力を用いたが、これは種々の変形が可能である。例えば、加速度センサを用いても良い。また、従来提案されているブロックマッチング法などを用いた動きベクトルの検出結果を用いてビデオカメラ１００の振れを検出しても良い。
【００４３】
また、本実施例では時刻ｔ＋１と時刻ｔの被写体位置を一致させるような振れ補正量を算出しているが再生時の補正量としては、補正による映像の急峻な変化を避ける目的や、時刻ｔ＋１より後の映像振れ情報を考慮してその補正量を変更しても良い。振れ補正量の算出方法については限定されるものでは無い。
【００４４】
続いて、メタデータ重畳処理について説明する。システム制御部１５０は、メタデータ生成部２０２により、振れデータ設定部２０１で生成された振れ補正量をメタデータとして生成する。続いて、信号重畳部２０３でメタデータを映像に重畳する処理を行い、メタデータが重畳されたＲＡＷ映像は圧縮部１１９に送られる。圧縮部１１９では選択された圧縮率に基づいて、ＲＡＷ画像の圧縮処理を行う。
【００４５】
＜再生時の処理＞
続いて、再生防振における再生時の処理について説明する。再生は記録映像をパーソナルコンピュータに取り込み、現像のための所定アプリケーションを用いて明るさや色等の各種画像処理パラメータの調整と、映像振れの補正を行う。時刻ｔ＋１においては切り出し開始位置の基準位置である（ ｘ_ｓｔａｒｔ, ｙ_ｓｔａｒｔ ）にメタデータの振れ補正量（ ｂｌｕｒ, ０ ）を付加する。すなわち、時刻ｔ＋１における切り出し画像の開始位置を（ ｘ_ｓｔａｒｔ ＋ ｂｌｕｒ ，ｙ_ｓｔａｒｔ ＋ ０ ）とする。図３(ｂ)に、時刻ｔ＋１における本実施例の撮像画像領域を示す。図３(ｂ)に、示すように再生時の画像切り出し位置を（ ｘ_ｓｔａｒｔ ＋ ｂｌｕｒ ，ｙ_ｓｔａｒｔ）の位置とすることでビデオカメラ１００の振れによる被写体位置ずれを打ち消した映像を再生することが可能となることが分かる。
【００４６】
＜ＲＡＷ記録と領域別の圧縮率変更の処理＞
続いて、ＲＡＷ記録の処理と、記録領域によって圧縮ＲＡＷ記録時の圧縮率を変更する処理について説明する。本実施例においては、映像振れ補正用領域と記録時に表示される映像領域（以後、通常撮像領域と呼ぶ）とで、圧縮ＲＡＷ記録時の圧縮率を変更する。まず、圧縮ＲＡＷ記録の処理は図３(ａ)の撮像画像の左上端（０，０）の画素からスタートし、Ｘ方向へと続き( ｘ_ｅｎｄ, ｙ_ｓｔａｒｔ )まで到達すると、次のＹラインへ移行し、（ ｘ_ｅｎｄ, ｙ_ｅｎｄ ）まで処理を続ける。
【００４７】
次に、図４に記録領域に応じて圧縮率を変更するステップを示す。Ｓ４０１では、（ ｘ_ｅｎｄ, ｙ_ｅｎｄ ）に到達しているか否かで、１フレームの記録処理が終了したかを判定する。１フレームの記録処理が終了していない場合はＳ４０２へと移行する。Ｓ４０２では、記録対象画素の位置情報が通常撮像領域であるかを判定する。記録対象画素の列、行を（ ｍ, ｎ ）とすると、ｍ がｘ_ｓｔａｒｔからｘ_ｅｎｄ内、ｎ がｙ_ｓｔａｒｔからｙ_ｅｎｄ内であるかで判定を行う。通常撮像領域内と判定された場合はＳ４０３、通常撮像領域で無ければＳ４０４へと移行する。Ｓ４０３では、通常圧縮率である圧縮率Ａを採用する。圧縮率Ａは非圧縮の設定を採用しておいても良い。
【００４８】
Ｓ４０４では、通常圧縮率である圧縮率Ａ以上の圧縮率である圧縮率Ｂを採用する。圧縮率Ｂは映像の動き量などに応じて圧縮率を変更することが特徴であるが、その変更方法については後述する。続いてＳ４０５では、Ｓ４０３、Ｓ４０４で採用された圧縮率を基に、記録対象画素の圧縮ＲＡＷ記録を行う。このような構成とすることで映像振れ補正用領域を通常撮像領域よりも高い圧縮率でＲＡＷ記録される構成となっている。
【００４９】
なお、本実施例ではＳ４０２において通常撮像領域内であるかを判定しているが、映像振れ補正用領域を含む映像ライン（行）であるかを判定することで処理を簡略化しても良い。この場合、上述の判定は ｎ に対してのみ行えば良くなる。
【００５０】
＜圧縮率変更＞
続いて、映像の動き量、合焦度に応じて映像振れ補正用領域の圧縮率である圧縮率Ｂを変更する処理について説明する。本実施例においては、映像の動き量と合焦度の両方を考慮して圧縮率Ｂを決定する。図５は、圧縮率Ｂを決定するフローチャートである。Ｓ５０２、Ｓ５０４、Ｓ５０６，Ｓ５０８はいずれも圧縮度に１を足す処理を施す。それぞれ前ステップの判定条件で真となる時に１づつ圧縮度を積算していき、映像の動き量が大きい程かつ合焦度が低い程、圧縮度が大きくなるようなフローとなっている。Ｓ５０１では、振れデータ設定部２０１の算出した映像振れ量が、所定閾値Ｔｈ１以上であるか否かで振れが大きい状態であるかを判定する。
【００５１】
振れが大きいと判定された場合、Ｓ５０２へと進み圧縮度を加算する。Ｓ５０３では、振れデータ設定部２０１から取得した所定期間の映像振れ量が１方向に増加または減少している場合にパンニングが発生していると判定する。パンニング中と判定されれば、Ｓ５０４へと進み圧縮度を加算する。Ｓ５０５では、撮像レンズ１０３から取得した所定期間のズームレンズの位置情報の変化からズーム中であるかを判定する。ズーム中であると判定されればＳ５０６へと進み圧縮度を加算する。Ｓ５０７では、撮像レンズ１０３から取得した、フォーカスレンズ位置情報と、映像のコントラスト情報から合焦度を算出する。
【００５２】
合焦度が所定閾値Ｔｈ２以下である場合は、非合焦状態と判定し、Ｓ５０８へと進み圧縮度を加算する。Ｓ５０９では、圧縮度に基づいて圧縮率を決定する。圧縮率の決定は図６に示すデータテーブルに基づいて実施される。圧縮率１〜４は、数値が高い程圧縮率が高い設定となっている上、圧縮率１は圧縮率Ａよりも圧縮率が高い設定である。したがって、圧縮度が上がるにつれて、圧縮率が高い設定が選ばれるデータテーブル構成となっている。圧縮度が０、すなわち圧縮率を変更しない場合は、通常撮像領域と同じ圧縮率である圧縮率Ａが採用される。
【００５３】
なお、本実施形態では圧縮度が０から４の５段階であるが、映像振れ量の閾値を複数設定するなど振れ量の大きさに応じて圧縮度を更に微調整しても良いし、パンニング判定、ズーム判定、合焦度についても同様にその程度量に応じて圧縮度を変更しても良い。また、圧縮率を高くし過ぎると、映像振れ補正用領域のブロックノイズが顕著になったり、通常撮像領域と映像振れ補正用領域の境界において被写体のディテール部の映像表現が変わってしまうに見た目に違和感を生じるなどの画質的な問題が発生する場合がある。そのため、設定可能な圧縮率は事前に画質の破綻が無いレベルであることを確認した上で、データテーブルの作成を行っておく。
【００５４】
＜圧縮度の補正処理＞
続いて、通常撮像領域と映像振れ補正用領域それぞれの、映像振れ量、合焦度を比較して圧縮率Ｂの圧縮度を補正する処理について説明する。記録映像中心の主被写体は動いているが、背景の被写体が動いていない場合、記録映像から動きベクトルを検出する際には、背景領域の動きベクトルを検出することで手振れを精度よく補正出来る場合がある。また、撮像領域中心の被写体に対して焦点が合っておらず、背景領域の被写体に対して焦点が合っているような場合にも、背景領域の動きベクトルを検出することが望ましい場合もある。本実施例では、このようなケースを鑑みて相対的に映像振れ補正用領域よりも通常撮像領域の映像振れが大きい、または合焦度が小さい場合には、圧縮率Ｂの圧縮度を下げるよう補正を行う。
【００５５】
図７に圧縮度の補正処理を行う場合の圧縮率Ｂ算出のフローチャートを示す。Ｓ７０１からＳ７０９は、Ｓ５０１からＳ５０９と同様の処理であるため説明を省略する。なお、通常撮像領域と映像振れ補正用領域の映像振れ量をそれぞれ ｂｌｕｒ＿Ａ 、ｂｌｕｒ＿Ｂと定義する。通常撮像領域と映像振れ補正用領域の合焦度をそれぞれ ＦｏｃｕｓＤｅｇ＿Ａ 、ＦｏｃｕｓＤｅｇ＿Ｂと定義する。
【００５６】
Ｓ７１０では、ｂｌｕｒ＿Ｂ よりｂｌｕｒ＿Ａ が大きければＳ７１１へ進む。Ｓ７１１では、圧縮度を１引く処理を施す。Ｓ７１１では、ＦｏｃｕｓＤｅｇ＿ＢがＦｏｃｕｓＤｅｇ＿Ａより大きければＳ７１３へと進む。Ｓ７１３では、圧縮度を１引く処理を施す。Ｓ７１４では、圧縮度が負である場合には、圧縮度を０とし、圧縮率Ａより圧縮率が低下しないような制御としている。このような処理を行うことで、相対的に映像振れ補正用領域よりも通常撮像領域の映像振れが大きい、または合焦度が小さい場合には、圧縮率Ｂの圧縮度を下げるような補正が可能となる。Ｓ７０９では、これまでの加減算された圧縮度から圧縮率を決定する。
【００５７】
以上のように、映像の動き量が大きい場合や合焦度が低い場合、すなわち映像の鮮明度が低い状態において余剰画素領域である映像振れ補正用領域の圧縮率を高くすることが可能となる。これにより、再生防振性能と再生防振時の画質を極力維持しつつ記録データ容量の削減を図ることが可能となる。
【００５８】
なお、本実施形態においては、圧縮ＲＡＷ動画像について説明を行ったが、静止画に対しても同様に映像補正用領域の圧縮率を変更しても良い。例えば、電子ズームを行う場合などにおいて、ワイドにするために利用する余剰画素領域データの圧縮率を高くするなどしても良い。
【００５９】
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６０】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。  また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。
【００６１】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００６２】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。
【００６３】
また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。
【符号の説明】
【００６４】
１００…デジタルビデオカメラ、１０２…バリア、１０３…撮像レンズ、１０１…絞り、１０４…ＮＤ、１２２…撮像部、１２３…Ａ／Ｄ、１２４…画像処理部、１１５…メモリ制御部、１１３…Ｄ／Ａ、１２８…表示部、１３２…メモリ、１９０…角速度センサ、１７０…操作部、１６１…録画スイッチ、１６０…モード切替スイッチ、１７２…電源スイッチ、１８０…電源制御部、１３０…電源部、１５０…システム制御部、１５６…不揮発性メモリ、１５２…システムメモリ、１５３…システムタイマー、１１９…圧縮部、１１８…Ｉ／Ｆ、１９０…記録媒体、２０１…振れデータ設定部、２０２…メタデータ生成部、２０３…信号重畳部、２０７…パンニング判定部、２０４…振れ判定部、２０５…ズーム判定部、２０６…合焦判定部、２０８…圧縮率算出部
【図１】
2018201100.tif 000003
【図２】
2018201100.tif 000004
【図３】
2018201100.tif 000005
【図４】
2018201100.tif 000006
【図５】
2018201100.tif 000007
【図６】
2018201100.tif 000008
【図７】
2018201100.tif 000009