(57)【要約】【課題】必要に応じてブロックノイズを抑制すること。【解決手段】画像処理装置は、動画を構成する複数の画像からそれぞれ発生する符号量を予測する符号量予測部と、複数の画像のうち、符号量が予め定められた基準値を超える画像に、平滑化処理を適用する平滑化処理部と、平滑化処理が適用された画像を含む動画を圧縮する圧縮部と、を備える。プログラムは、動画を構成する複数の画像からそれぞれ発生する符号量を予測するステップと、複数の画像のうち、符号量が予め定められた基準値を超える画像に、平滑化処理を適用するステップと、平滑化処理が適用された画像を含む動画を圧縮するステップと、をコンピュータに実行させる。【選択図】図２
2013055483.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する複数の画像からそれぞれ発生する符号量を予測する符号量予測部と、
前記複数の画像のうち、前記符号量が予め定められた基準値を超える画像に、平滑化処理を適用する平滑化処理部と、
前記平滑化処理が適用された画像を含む動画を圧縮する圧縮部と、
を備える画像処理装置。
【請求項２】
前記平滑化処理を適用した画像を特定する特定情報を、前記圧縮部で圧縮された動画に対応づけて出力する出力部
をさらに備える請求項１に記載の画像処理装置。
【請求項３】
前記特定情報が対応づけて出力された前記動画を取得する画像取得部と、
前記動画を構成する複数の画像のうち、前記特定情報によって特定される画像の高周波成分を強調する強調処理部と、
をさらに備える請求項２に記載の画像処理装置。
【請求項４】
より高い撮像感度に対応づけて、より小さい符号量基準値を格納する基準値格納部と、
前記画像を撮像したときの撮像感度に対応づけて前記基準値格納部が格納している符号量基準値を用いて、前記基準値を決定する基準値決定部と
をさらに備え、
前記平滑化処理部は、前記符号量が前記決定された基準値を超える画像に、平滑化処理を適用する
請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記基準値格納部は、より多い画素数に更に対応づけて、より小さい符号量基準値を格納し、
前記基準値決定部は、前記画像の画素数に対応づけて前記基準値格納部が格納している符号量基準値を用いて、前記基準値を決定する
請求項４に記載の画像処理装置。
【請求項６】
前記基準値格納部は、より高い圧縮強度に更に対応づけて、より小さい符号量基準値を格納し、
前記圧縮部における圧縮強度に対応づけて前記基準値格納部が格納している符号量基準値を用いて、前記基準値を決定する
請求項４または５に記載の画像処理装置。
【請求項７】
前記平滑化処理部は、連続する画像に適用される前記平滑化処理の強度の差が予め定められた値を下回るように、連続する画像に適用する前記平滑化処理の強度を設定する
請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記平滑化処理部は、第１画像に前記平滑化処理を適用した場合に、前記第１画像との間の画像間相関を利用して圧縮される第２画像に、平滑化処理を適用する
請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記符号量予測部は、前記画像内の複数の部分領域からそれぞれ発生する符号量を予測し、
前記平滑化処理部は、前記符号量予測部が予測した符号量がより大きい部分領域に、より強い強度で平滑化処理を適用する
請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記平滑化処理部は、隣接する部分領域間における前記平滑化処理の強度の差が予め定められた値を下回るように、隣接する部分領域にそれぞれ適用する前記平滑化処理の強度を設定する
請求項９に記載の画像処理装置。
【請求項１１】
前記圧縮部は、画像を複数のブロック毎に圧縮し、
前記平滑化処理部は、前記複数のブロックのブロックサイズより大きいサイズのローパスフィルタを適用することにより、平滑化処理を実行する
請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記符号量予測部は、近傍画素との間の画素値の差分量に基づいて前記符号量を予測する
請求項１から１１のいずれか一項に記載の画像処理装置。
【請求項１３】
画像内の複数の部分領域からそれぞれ発生する符号量を予測する符号量予測部と、
前記複数の部分領域のうち、前記符号量が予め定められた基準値を超える部分領域に、平滑化処理を適用する平滑化処理部と、
前記部分領域に前記平滑化処理が適用された画像を圧縮する圧縮部と、
を備える画像処理装置。
【請求項１４】
前記平滑化処理部は、隣接する部分領域間における前記平滑化処理の強度の差が予め定められた値を下回るように、隣接する部分領域にそれぞれ適用する前記平滑化処理の強度を設定する
請求項１３に記載の画像処理装置。
【請求項１５】
前記平滑化処理を適用した部分領域を特定する特定情報を、前記圧縮部で圧縮された画像に対応づけて出力する出力部
をさらに備える請求項１３または１４に記載の画像処理装置。
【請求項１６】
前記特定情報が対応づけて出力された画像を取得する画像取得部と、
前記画像取得部が取得した画像の複数の部分領域のうち、前記特定情報によって特定される部分領域の高周波成分を強調する強調処理部と、
をさらに備える請求項１５に記載の画像処理装置。
【請求項１７】
動画を構成する複数の画像からそれぞれ発生する符号量を予測するステップと、
前記複数の画像のうち、前記符号量が予め定められた基準値を超える画像に、平滑化処理を適用するステップと、
前記平滑化処理が適用された画像を含む動画を圧縮するステップと、
をコンピュータに実行させるプログラム。
【請求項１８】
画像内の複数の部分領域からそれぞれ発生する符号量を予測するステップと、
前記複数の部分領域のうち、前記符号量が予め定められた基準値を超える部分領域に、平滑化処理を適用するステップと、
前記部分領域に前記平滑化処理が適用された画像を圧縮するステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
画像信号の解像度の変化点を含む隣接する２個の画像群を、これら２個の画像群を構成する画面の数を一定数に維持しつつ、当該２個の画像群を構成する画面の解像度を変化させて符号化する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平１１−３１３３２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えばビットレートに一定の制約がある中で画像を圧縮する場合に、大きな高周波成分が現れると、ブロックノイズが顕著に現れる場合がある。従来、必要に応じてブロックノイズを適切に抑制することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、動画を構成する複数の画像からそれぞれ発生する符号量を予測する符号量予測部と、複数の画像のうち、符号量が予め定められた基準値を超える画像に、平滑化処理を適用する平滑化処理部と、平滑化処理が適用された画像を含む動画を圧縮する圧縮部と、を備える。
【０００５】
本発明の第２の態様においては、画像処理装置は、画像内の複数の部分領域からそれぞれ発生する符号量を予測する符号量予測部と、複数の部分領域のうち、符号量が予め定められた基準値を超える部分領域に、平滑化処理を適用する平滑化処理部と、部分領域に平滑化処理が適用された画像を圧縮する圧縮部と、を備える。
【０００６】
本発明の第３の態様においては、プログラムは、動画を構成する複数の画像からそれぞれ発生する符号量を予測するステップと、複数の画像のうち、符号量が予め定められた基準値を超える画像に、平滑化処理を適用するステップと、平滑化処理が適用された画像を含む動画を圧縮するステップと、をコンピュータに実行させる。
【０００７】
本発明の第４の態様においては、プログラムは、画像内の複数の部分領域からそれぞれ発生する符号量を予測するステップと、複数の部分領域のうち、符号量が予め定められた基準値を超える部分領域に、平滑化処理を適用するステップと、部分領域に平滑化処理が適用された画像を圧縮するステップと、をコンピュータに実行させる。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置１００のシステム構成図の一例を示す。
【図２】ＡＳＩＣ１３５が有する機能ブロック構成の一例を示す。
【図３】符号量を予測する処理の一例を模式的に示す。
【図４】基準値の一例をテーブル形式で示す。
【図５】平滑化処理の強度の制御例を模式的に示す。
【図６】符号化種別に基づく平滑化処理の制御例を模式的に示す。
【図７】フレーム内の一部の領域に平滑化処理を適用する例を模式的に示す。
【図８】撮像装置１００の起動から終了までの処理フローを示す。
【図９】動画撮影における動作フローの一例を示す。
【図１０】静止画撮影における動作フローの一例を示す。
【図１１】再生処理における動作フローの一例を示す。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
図１は、撮像装置１００のシステム構成図の一例を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１２】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。例えば、レンズＭＰＵ１２３は、カメラＭＰＵ１３３と協働して、画角内に設定された少なくとも１つの焦点調節領域の被写体に合焦するようレンズ群１２２の焦点調節を行う。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。これにより、レンズ群１２２の焦点調節が行われる。
【００１３】
メインミラー１５０は、レンズ群１２２を通過した被写体光束を反射する。メインミラー１５０は、レンズ群１２２の光軸を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。メインミラー１５０が斜設状態にある場合、反射された被写体光束は光学ファインダ部１５６に導かれて、ユーザに観察される。ユーザは、光学ファインダ部１５６を通じて撮影の構図等を設定することができる。
【００１４】
斜設状態におけるメインミラー１５０の光軸近傍領域は、ハーフミラーとして形成されており、入射される被写体光束の一部が透過する。透過した被写体光束は、サブミラー１５１で反射されて、合焦センサ１４２へ導かれる。合焦センサ１４２は、被写体光束を受光して位相差信号を出力する複数の光電変換素子列を有する。合焦センサ１４２は、被写体像の特定の領域に対応して設けられる複数の焦点調整領域のそれぞれにおいて、合焦状態、前ピン状態、後ピン状態を検出することができる。合焦センサ１４２は、前ピン状態、後ピン状態の場合には、合焦状態からのずれ量も検出することができるように構成されている。カメラＭＰＵ１３３は、合焦状態からのズレ量に基づき、被写体までの距離を検出することができる。レンズ群１２２の焦点状態は、カメラＭＰＵ１３３等の処理によって、位相差信号を相関演算することで特定される。レンズ群１２２が有するフォーカスレンズの目標位置は、カメラＭＰＵ１３３等の制御によって焦点状態に基づき決定され、カメラＭＰＵ１３３等の制御によって、決定された目標位置に向けてフォーカスレンズの位置が制御される。このように、レンズ群１２２は、位相差検出方式で焦点状態が検出されて焦点調節が行われる。すなわち、メインミラー１５０がダウンし斜設状態にある場合、合焦センサ１４２からの出力を用いて、位相差検出方式で焦点状態を検出して焦点調節する。
【００１５】
メインミラー１５０が被写体光束から退避すると、サブミラー１５１はメインミラー１５０に連動して被写体光束から退避する。メインミラー１５０が退避状態にある場合、レンズ群１２２を通過した被写体光束は、撮像素子１３２の受光面に入射する。撮像素子１３２は、レンズ群１２２を通過した被写体光束により撮像する。撮像素子１３２は、撮像部として機能する。
【００１６】
撮像素子１３２は、受光面に形成された撮像用の光電変換素子群を有する。撮像用の光電変換素子群は、レンズ群１２２によって受光面に実質的に結像された被写体像を受光する。撮像素子１３２としては、例えばＣＭＯＳセンサ、ＣＣＤセンサ等の固体撮像素子を適用できる。撮像素子１３２は、被写体光束を受光することで生じた蓄積電荷の信号を画像信号としてアナログ信号をＡ／Ｄ変換器１３４に供給する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。
【００１７】
Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファ領域として使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはＳＤＲＡＭ１３６に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、ＳＤＲＡＭ１３６に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像の画像データが、ＳＤＲＡＭ１３６に順次に記憶される。なお、動画を構成する画像の画像データを、フレームと呼ぶ場合がある。ＳＤＲＡＭ１３６は、フレームメモリとして機能する。
【００１８】
ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを順次処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路であり、画像処理装置の一部として機能する。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。ＡＳＩＣ１３５は、例えば、撮像素子１３２から出力されたベイヤ配列の離散的な画像データから、色補間処理により各画素で各色の色を持つ画像データを生成する。その他、ＡＳＩＣ１３５は、色補正、ガンマ補正、ホワイトバランス補正、輪郭強調処理等、予め定められた画像処理を行う。
【００１９】
また、ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画の画像データを、ＪＰＥＧ等の規格に準拠した符号化形式で符号化された静止画データを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、複数のフレームを、Ｈ．２６４、ＭＰＥＧ２、Ｍｏｔｉｏｎ  Ｊｐｅｇ等の規格に準拠した符号化方式で符号化された動画データを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体の一例としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。なお、カメラＭＰＵ１３３は、動画データ、静止画データ等の画像データを外部メモリ１６０に記録させる他、画像データをネットワーク等の伝送路に出力させてもよい。
【００２０】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。
【００２１】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数等の制御用のパラメータ、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００２２】
操作入力部１４１は、ユーザ操作を受け付ける。操作入力部１４１としては、電源ボタン、レリーズボタン、動画撮影ボタン、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。例えば、カメラＭＰＵ１３３は、撮像モードが連写撮影モードに設定されている場合、連続撮影の一例としての連写撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、動画撮影ボタンが操作された場合に、連続撮影の一例としての動画撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。
【００２３】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池等の二次電池、系統電源等を例示することができる。カメラＭＰＵ１３３は、電源１７０の電源の状態を検出する。例えば、カメラＭＰＵ１３３は、電源１７０が二次電池であるか否かを判断する。カメラＭＰＵ１３３は、電源１７０が二次電池であると判断した場合、二次電池の残存容量を検出して、残存容量に応じて撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は電池の一例であり、電池とは、実質的に充電することができない非充電式の電池を含む。
【００２４】
図２は、ＡＳＩＣ１３５が有する機能ブロック構成の一例を示す。ここでは、ＡＳＩＣ１３５が有する機能ブロックのうち、圧縮処理に関する機能ブロックおよび伸張処理に関する機能ブロックを取り上げて示す。ＡＳＩＣ１３５は、入力画像処理部２００、符号量予測部２３０、基準値決定部２４０、圧縮部２５０、圧縮制御部２５４、平滑化情報生成部２５２、伸張部２６０、伸張制御部２６４、平滑化情報取得部２６２、および、出力画像処理部２７０を有する。入力画像処理部２００は、補間処理部２０２、色処理部２０４、切替部２１０、平滑化処理部２２０、および、輪郭強調処理部２０８を有する。出力画像処理部２７０は、切替部２８０、強調処理部２９０、および、出力画像生成部２７２を有する。
【００２５】
圧縮処理に関する機能ブロックにおける機能および動作を説明する。圧縮対象の動画を構成する各フレームは順次に、圧縮対象のフレームとしてＳＤＲＡＭ１３６から入力画像処理部２００、符号量予測部２３０に入力される。入力画像処理部２００において、補間処理部２０２は、フレームに補間処理を施して、各画素に複数色の信号を持つフレームを生成する。例えば、補間処理部２０２は、各画素が特定色の信号を持つフレームから、補間処理を適用して、各画素に全色の信号を持つフレームを生成する。色処理部２０４は、補間処理部２０２から供給されたフレームに、色調整処理を適用する。例えば、色処理部２０４における処理としては、撮像素子１３２の分光特性を補正するリニアマトリクス処理、カラーバランス補正等を例示することができる。
【００２６】
切替部２１０は、色処理部２０４から供給されたフレームの出力先を、輪郭強調処理部２０８および平滑化処理部２２０のいずれかに切り替える。具体的には、切替部２１０は、符号量予測部２３０で予測された符号量に基づいて、フレームの出力先を切り替える。
【００２７】
符号量予測部２３０は、圧縮対象のフレームから生じる符号量を予測する。例えば、符号量予測部２３０は、近傍画素との間の画素値の差分量に基づいて符号量を予測する。このように、符号量予測部２３０は、動画を構成する複数のフレームからそれぞれ発生する符号量を予測する。符号量予測部２３０は、予測した符号量を示す情報を、切替部２１０に供給する。切替部２１０は、予測した符号量が予め定められた基準値を超える場合に、フレームを平滑化処理部２２０に出力する。切替部２１０は、予測した符号量が予め定められた基準値以下である場合、フレームを輪郭強調処理部２０８に出力する。このように、切替部２１０は、複数のフレームのうち、符号量が基準値を超えるフレームを選択する画像選択部として機能する。なお、基準値は、基準値決定部２４０により決定されて、切替部２１０に供給される。後述するように、基準値決定部２４０は、フレームが撮像されたときの撮像感度、記録画素数、ビットレート等に基づき、基準値を決定する。
【００２８】
平滑化処理部２２０は、切替部２１０から供給されたフレームに、平滑化処理を適用する。例えば、平滑化処理部２２０は、ローパスフィルタを適用することにより、フレームに平滑化処理を適用する。このように、平滑化処理部２２０は、複数のフレームのうち、符号量が予め定められた基準値を超えるフレームに、平滑化処理を適用する。後述するように、平滑化処理部２２０は、フレーム内の特定の部分領域に平滑化処理を適用してよい。また、後述するように、圧縮部２５０はブロック毎に圧縮されるが、平滑化処理部２２０は、当該ブロックのブロックサイズより大きいサイズのローパスフィルタを適用することにより、平滑化処理を実行してよい。平滑化処理部２２０において平滑化処理が適用されたフレームは、輪郭強調処理部２０８に出力される。
【００２９】
輪郭強調処理部２０８は、フレームに対して輪郭強調処理を適用する。例えば、輪郭強調処理部２０８は、フレーム内の各画素に、周囲の画素との間の画素値の差分を加算することにより、フレームに輪郭強調処理を施す。輪郭強調処理部２０８により輪郭強調処理が適用されたフレームは、圧縮部２５０に出力される。
【００３０】
圧縮部２５０は、上述した動画の符号化規格に準拠した符号化方式で圧縮して、圧縮された動画データを生成する。例えば、圧縮部２５０は、入力されるフレームに、フレーム内予測またはフレーム間予測を適用する。また、ＤＣＴ変換等の変換処理、量子化、可変長符号化等の処理を適用する。圧縮部２５０は、マクロブロック等のブロック単位で、これらの処理を適用する。圧縮制御部２５４は、圧縮部２５０の動作を制御する。例えば、圧縮制御部２５４は、圧縮部２５０における符号化パラメータを制御する。圧縮済みの動画データのビットレートを目標ビットレートに適合させる。例えば、圧縮制御部２５４は、量子化ステップ値等、各フレームの発生符号量が目標符号量を含む予め定められた範囲内になるように、量子化ステップ値を制御する。また、圧縮制御部２５４は、外部メモリ１６０等への圧縮された動画データを転送するタイミング等を制御する。圧縮部２５０により圧縮された動画データは、ＳＤＲＡＭ１３６に記憶される。このように、圧縮部２５０は、平滑化処理が適用されたフレームを含む動画を圧縮する。
【００３１】
平滑化情報生成部２５２は、平滑化処理が適用されたフレームを特定する特定情報を含む平滑化情報を生成する。特定情報としては、動画において平滑化処理が適用されたフレームを特定するフレーム番号等の情報を例示することができる。フレーム内の特定の部分領域に平滑化処理を適用した場合、特定情報としては、平滑化処理を適用した部分領域を特定する情報を含んでよい。また、平滑化情報として、平滑化処理の強度を示す強度情報、平滑化処理で適用したローパスフィルタ等のフィルタパラメータ等を例示することができる。
【００３２】
平滑化情報生成部２５２は、動画に付帯して記録されるタグ情報として記録される平滑化情報を生成してよい。平滑化情報は圧縮部２５０により圧縮された動画とともにＳＤＲＡＭ１３６に一時的に記憶され、カメラＭＰＵ１３３の制御により、外部メモリ１６０に転送されて記録される。このように、カメラＭＰＵ１３３は、圧縮部２５０で圧縮された動画に対応づけて平滑化情報を出力する出力部として機能する。カメラＭＰＵ１３３は、外部モニタ等の外部表示装置、ネットワーク機器等の外部機器に、平滑化情報が対応づけられた動画を出力してもよい。
【００３３】
撮像装置１００によれば、平滑化処理部２２０による平滑化処理により、発生する符号量を低下させる処理をフレームに適用してから圧縮部２５０に供給することができる。このため、ビットレートに制約がある場合でも、圧縮部２５０において量子化ステップ値を著しく大きくする必要がなくなる。このため、ブロックノイズが顕著に現れることを抑制することができる。
【００３４】
伸張処理に関する機能ブロックの機能および動作を説明する。外部メモリ１６０に記録された動画は、例えば再生時等にＳＤＲＡＭ１３６へ読み出される。伸張対象のフレームが順次に伸張部２６０に入力される。平滑化情報取得部２６２は、動画に対応づけられた平滑化情報を取得する。平滑化情報取得部２６２は、動画にタグ情報として付帯された平滑化情報を取得する。すなわち、カメラＭＰＵ１３３および平滑化情報取得部２６２の機能ブロックは、平滑化情報が対応づけられた動画を取得する画像取得部として機能する。
【００３５】
伸張部２６０は、入力されたフレームを伸張する。例えば、伸張部２６０は、入力されたフレームに可変長復号処理、逆量子化、逆変換を適用し、フレーム内予測またはフレーム間予測を適用して、入力されたフレームを伸張する。伸張制御部２６４は、伸張部２６０における伸張処理を制御する。例えば、伸張制御部２６４は、圧縮部２５０において適用した量子化ステップ値で伸張部２６０に逆量子化させる。また、伸張制御部２６４は、伸張対象のフレームを順次に選択して伸張部２６０に順次に供給する。
【００３６】
切替部２８０は、伸張されたフレームの出力先を、出力画像生成部２７２および強調処理部２９０のいずれかに切り替える。具体的には、切替部２８０は、平滑化情報取得部２６２が取得した平滑化情報から特定されるフレームを、強調処理部２９０に出力する。切替部２８０は、平滑化情報から特定されるフレーム以外のフレームを、出力画像生成部２７２に出力する。
【００３７】
強調処理部２９０は、フレームの高周波成分を強調する。具体的には、ハイパスフィルタを用いて、高周波成分を強調する。すなわち、強調処理部２９０は、動画を構成する複数のフレームのうち、平滑化情報によって特定されるフレームの高周波成分を強調する。フレーム内の特定の部分領域に平滑化処理が適用されている場合、平滑化処理部２２０は、平滑化情報によって特定される部分領域の高周波成分を強調してよい。このように、強調処理部２９０は、平滑化情報が対応づけて出力された画像の複数の部分領域のうち、平滑化情報によって特定される部分領域の高周波成分を強調してよい。なお、強調処理部２９０は、平滑化処理部２２０において適用されたローパスフィルタ等の逆フィルタを適用してよい。強調処理部２９０により処理されたフレームは、出力画像生成部２７２に出力される。
【００３８】
出力画像生成部２７２は、出力用の画像を生成する。例えば、出力画像生成部２７２は、表示部１３８に表示する表示用のフレームを生成する。出力画像生成部２７２により生成されたフレームはＳＤＲＡＭ１３６に一時的に記憶されて、定められた表示順および表示レートで表示部１３８に表示される。また、出力画像生成部２７２は、表示部１３８の他、外部モニタ等に出力されるフレームを生成してよい。出力画像生成部２７２は、ネットワーク等の伝送路に出力する動画ストリームを形成するフレームを生成してよい。
【００３９】
以上に説明したように、撮像装置１００によれば、符号量の多いシーンでは、平滑化処理を適用して符号量を低下させて、圧縮を行うことができる。そして、再生時には、当該シーンでは高周波成分を強調する処理を適用するので、再生される画像はいわゆる解像感のある画像となる。すなわち、撮像装置１００によれば、ビットレートに制約がある中でも、ブロックノイズを抑制しつつ解像感のある画像を提供できる圧縮処理、符号化処理を行うことができる。
【００４０】
図３は、符号量を予測する処理の一例を模式的に示す。符号量予測部２３０は、フレーム３００内の画素３１０毎に、隣接する画素３１０との間で画素値ｆの差分を算出する。符号量予測部２３０は、算出した各画素３１０の差分の絶対値和を、符号量の評価値として算出する。
【００４１】
一例として、本図に例示するように、符号量予測部２３０は、第１行に属する画素３１０−１を起点として、右隣の画素３１０−２との間で画素値の差を算出する。同様に、符号量予測部２３０は、他の画素３１０−２〜Ｎ−１について、右隣の画素３１０との間で画素値の差を算出する。このように、符号量予測部２３０は、各行につき、位置（ｘ、ｙ）の画素値ｆ（ｘ、ｙ）と、右隣の位置（ｘ＋１、ｙ）の画素値ｆ（ｘ＋１、ｙ）との差分を算出する。符号量予測部２３０は、各ラインで差分の絶対値和を算出する。また、符号量予測部２３０は、全行の絶対値和を加算して、符号量の評価値を算出する。符号量予測部２３０は、算出した符号量の評価値を、発生する符号量の予測値として用いる。
【００４２】
ここでは、画素値の絶対値和を符号量の評価値を算出するとした。符号量の評価値を算出する方法として、画素値の絶対値和の他に、種々の方法を適用できる。例えば、フレーム３００をブロック分割して、各ブロックの画素情報をＤＣＴ変換等の直交変換によって空間周波数成分に変換し、得られた空間周波数成分に基づき符号量を算出してよい。例えば、直交変換により得られた変換係数を符号化して、その符号量を、符号量の評価値として算出してよい。なお、直交変換の対象とする画素情報は、他のフレームとの間の差分信号であってよい。直交変換の対象とする画素情報は、ブロックの画素値そのものであってもよい。フレーム間符号化されるフレームからは差分信号を直交変換の対象として符号量の評価値を算出し、イントラ符号化されるフレームからはブロックの画素値そのものを直交変換の対象として符号量の評価値を算出してよい。差分信号を直交変換する場合、動き補償を適用してから差分信号を算出してよいし、動き補償を適用せずに差分信号を算出してもよい。他にも、符号量の評価値として、変換係数の絶対値の、複数のブロックにわたる総和を適用してもよい。これらの他、フレーム３００の画素値から種々の方法で算出した符号化複雑度を、符号量の評価値として算出してよい。
【００４３】
なお、輝度信号に生じるブロックノイズの方が、色差信号に生じるブロックノイズよりも人の目に認識され易い。このため、符号化の評価値を輝度値から算出してよい。符号量の評価値を輝度信号から算出することで、たとえ色差信号の符号量が大きい場合であっても、輝度信号の符号量が小さい場合には、平滑化処理を適用しないようにすることができる。このため、ブロックノイズが認識され易いか否かを適切に予測して、必要に応じて平滑化処理を適用することができる。
【００４４】
図４は、平滑化処理を適用するか否かを判断するための基準値の一例をテーブル形式で示す。本情報は、システムメモリ１３９に記憶され、撮像装置１００が起動される場合に、システムメモリ１３９からＳＤＲＡＭ１３６に展開されて、ＡＳＩＣ１３５での使用に供される。本情報は、フレームに平滑化処理を適用するか否かを判断するために、基準値決定部２４０において使用される。すなわち、システムメモリ１３９、ＳＤＲＡＭ１３６は、符号量基準値を格納する基準値格納部の一例である。
【００４５】
符号量の基準値Ｌは、ＩＳＯ感度、画素数およびビットレートに対応づけて記憶される。ここで、画素数とは、記録画素数である。例えば、圧縮部２５０が圧縮対象とするフレームの画素数である。
【００４６】
本例において、ＩＳＯ感度１００、画素数Ｎ１×Ｍ１、ビットレートＢ１に対応づけて、符号量の基準値Ｌ１が記憶される。また、ＩＳＯ感度２００、記録画素数Ｎ１×Ｍ１、ビットレートＢ１に対応づけて、符号量の基準値Ｌ３が記憶される。ここで、Ｌ３＜Ｌ１であるとする。このように、より高い撮像感度に対応づけて、より小さい符号量基準値が記憶される。基準値決定部２４０は、フレームを撮像したときの撮像感度に対応づけて記憶されている符号量基準値を用いて、符号量の基準値を決定する。具体的には、基準値決定部２４０は、フレームを撮像したときの撮像感度に対応づけて記憶されている符号量基準値を、符号量の基準値として決定する。すなわち、平滑化処理部２２０は、符号量の評価値が、フレームを撮像したときの撮像感度に対応づけて記憶されている基準値を超えるフレームに、平滑化処理を適用する。したがって、撮像したときのＩＳＯ感度が高いほど小さい基準値を適用することができる。このように、高周波のノイズが生成し易く、ブロックノイズが生じ易い撮像パラメータで撮像する場合に、平滑化処理を確実に適用することが可能になる。
【００４７】
また、ＩＳＯ感度１００、画素数Ｎ２×Ｍ２、ビットレートＢ１に対応づけて、符号量の基準値Ｌ２が記憶される。ここで、Ｎ２×Ｍ２はＮ１×Ｍ１より大きく、Ｌ２＜Ｌ１であるとする。このように、より多い画素数に対応づけて、より小さい符号量基準値が記憶される。基準値決定部２４０は、画像の画素数に対応づけて記憶している符号量基準値を用いて、基準値を決定する。具体的には、基準値決定部２４０は、フレームの画素数に対応づけて記憶されている符号量基準値を、符号量の基準値として決定する。このため、画素数が多いほど、小さい基準値を適用することができる。したがって、符号量が大きくなり易く、ブロックノイズが生じ易い記録パラメータで記録する場合に、平滑化処理を確実に適用することが可能になる。
【００４８】
ここで、ビットレートを画素数で除した値は、圧縮部２５０における圧縮強度を表す指標値の一つとなる。すなわち、より高い圧縮強度に対応づけて、より小さい符号量基準値が記憶される。このため、基準値決定部２４０は、圧縮部２５０における圧縮強度に対応づけて記憶している符号量基準値を用いて、基準値を決定することができる。このため、圧縮強度が高いほど小さい基準値を適用することができる。したがって、ブロックノイズが生じ易い圧縮パラメータで圧縮する場合に、平滑化処理を確実に適用することが可能になる。
【００４９】
なお、より高いビットレートに対応づけて、より小さい基準値が記憶されてよい。基準値決定部２４０は、ビットレートに対応づけて記憶している符号量基準値を用いて、基準値を決定してよい。このため、ビットレートが高いほど小さい基準値を適用することができる。したがって、ブロックノイズが生じ易い圧縮パラメータで圧縮する場合に、平滑化処理を確実に適用することが可能になる。
【００５０】
以上に説明したように、基準値決定部２４０は、フレームを撮像したときの撮像感度、画素数およびビットレートに対応づけて記憶されている符号量基準値を、符号量の基準値として決定する。したがって、平滑化処理部２２０は、符号量の評価値が、フレームを撮像したときの撮像感度、画素数およびビットレートに対応づけて記憶されている基準値を超えるフレームに、平滑化処理を適用する。このため、撮像条件、圧縮条件、記録条件等に応じた適切な基準値を適用して、平滑化処理を適用するか否かを決定することができる。
【００５１】
図５は、平滑化処理の強度の制御例を模式的に示す。ここでは、フレーム５００−０〜１９を、基準値Ｌに対する符号量の評価値の大小関係および平滑化処理の強度とともに示す。なお、強度０は、平滑化処理を適用しないことを示す。
【００５２】
本例において、フレーム５００−０以前に得られたフレームから算出された符号量の評価値は、基準値Ｌより小さいとする。したがって、フレーム５００−０以前のフレームには、平滑化処理は適用されない。フレーム５００−１からは、基準値Ｌを超える符号量の評価値が算出されたとする。ここで、平滑化処理部２２０は、目標とする平滑化処理の強度として、強度４を決定する。
【００５３】
この場合に、平滑化処理部２２０は、フレーム５００−１に実際に適用する平滑化処理の強度として、強度１を決定する。そして、本例で示すように、続くフレーム５００−２〜１４から基準値Ｌを超える符号量の評価値が算出された場合、平滑化処理部２２０は、適用すべき平滑化処理の強度を、目標とする平滑化処理の強度に達するまで漸増させる。そして、入力画像処理部２００は、フレーム５００−５以降のフレーム５００５〜１５に対して、強度４の平滑化処理を適用する。
【００５４】
このように、平滑化処理部２２０は、基準値以下の符号量の評価値が算出されたフレーム５００の次に基準値を超える符号量の評価値が算出されたフレーム５００に対して、目標とする平滑化処理の強度より小さい値を設定する。そして、基準値を超える符号量の評価値が算出され続けることを条件として、平滑化処理の強度を漸増させる。このため、平滑化処理の強度が急激に高まることを未然に防ぐことができる。
【００５５】
また、本例において、フレーム５００−１６以降のフレーム５００からは、基準値Ｌより小さい符号量の評価値が算出されている。この場合、平滑化処理部２２０は、フレーム５００−１６に適用する平滑化処理の強度として、強度３を決定する。そして、平滑化処理部２２０は、続くフレーム５００−１５〜１８において、適用すべき平滑化処理の強度を漸減させる。そして、平滑化処理部２２０は、フレーム５００−１９以降のフレーム５００に対して、平滑化処理を適用しない。
【００５６】
本例で平滑化処理の強度の制御の一例を説明したように、平滑化処理部２２０は、連続するフレームに適用される平滑化処理の強度の差が予め定められた値を下回るように、連続するフレームにそれぞれ適用する平滑化処理の強度を設定する。このため、平滑化処理の強度が急激に変化することを未然に防ぐことができ、なだらかに強度を変化させることができる。また、平滑化処理の有無が頻繁に切り替わることを抑制することができる。
【００５７】
本例は、分かり易く説明することを目的として、平滑化処理の強度を数値で表して説明した。しかし、平滑化処理の強度を数値で制御されなくてよいことはいうまでもない。例えば、平滑化する度合いが異なる複数のローパスフィルタを用意しておき、適用するローパスフィルタを切り替えることで、平滑化処理の強度を切り替えることができる。ローパスフィルタとしては、平均化フィルタ、ガウシアンフィルタ等、種々の方式のフィルタを例示することができる。平滑化処理の強度は、フィルタサイズ、フィルタ係数等のフィルタパラメータで制御することができる。フィルタパラメータとしては、ガウシアンフィルタの一パラメータとしての分散等を例示することができる。
【００５８】
また、本例では、分かり易く説明することを目的として、１フレーム毎に平滑化処理の強度を変化させるとしたが、２フレーム以上の予め定められた数のフレーム毎に、平滑化処理の強度を変化させてもよい。また、平滑化処理部２２０は、符号量の評価値と基準値との差に基づいて、目標とする平滑化処理の強度を決定してよい。例えば、平滑化処理部２２０は、符号量の評価値と基準値との差が大きいほど、目標とする平滑化処理の強度として大きい値を決定してよい。しかし、目標とする平滑化処理の強度として、符号量の評価値と基準値との差等によらず予め定められた固定値を適用してもよい。また、本例では、フレーム５００−１から目標とする平滑化処理の強度を決定するとしたが、各フレーム５００から目標とする平滑化処理の強度である目標値を決定してもよい。そして、平滑化処理部２２０は、当該目標値が現在の平滑化処理の強度より大きい場合に、平滑化処理の強度を増加させ、当該目標値が現在の平滑化処理の強度より小さい場合に、平滑化処理の強度を減少させてもよい。
【００５９】
図６は、各フレームの符号化種別に基づく平滑化処理の制御例を模式的に示す。ここでは、フレーム６００−１〜５およびフレーム６０１−１〜５を、基準値Ｌに対する符号量の評価値の大小関係および平滑化処理の有無とともに示す。ここで、フレーム６００とフレーム６０１とは、異なるＧＯＰに属するとする。フレーム６００およびフレーム６０１に示した「Ｉ」、「Ｂ」、「Ｐ」は、符号化種別を表す。「Ｉ」は、Ｉフレームであり、イントラ符号化されるフレームであることを表す。「Ｂ」は、Ｂフレームであり、双方向予測または双予測でフレーム間符号化されるフレームであることを表す。「Ｐ」は、Ｐフレームであり、順方向予測によりフレーム間符号化されるフレームであることを表す。
【００６０】
本例に示すように、Ｉフレームとしてのフレーム６００−１から、基準値Ｌを超える符号量の評価値が算出された場合、平滑化処理部２２０は、フレーム６００−１に平滑化処理を適用する。この場合、平滑化処理部２２０は、フレーム６００−１を参照してフレーム間符号化される可能性があるフレーム６００−２〜４にも、符号量の評価値の大きさにかかわらず、平滑化処理を適用する。また、平滑化処理部２２０は、平滑化処理が適用されるフレーム６００−４を参照してフレーム間符号化される可能性があるフレーム６００−５にも、符号量の評価値の大きさにかかわらず、平滑化処理を適用する。このように、Ｉフレームから基準値Ｌを超える符号量が算出された場合、平滑化処理部２２０は、当該Ｉフレームを含むＧＯＰに属する他のフレームにも、平滑化処理を適用する。
【００６１】
また、本例で示すように、平滑化処理を適用しないフレーム６０１−１の次に符号化されるフレーム６０１−４において、基準値Ｌを超える符号量の評価値が算出された場合、平滑化処理部２２０は、フレーム６０１−４に平滑化処理を適用する。そして、当該フレーム６０１−４を参照してフレーム間符号化される可能性があるフレーム６０１−２およびフレーム６０１−３には、符号量の評価値の大きさにかかわらず、平滑化処理を適用する。また、平滑化処理部２２０は、平滑化処理を適用するフレーム６０１−４を参照してフレーム間符号化される可能性があるフレーム６０１−５にも、符号量の評価値の大きさにかかわらず、平滑化処理を適用する。このように、平滑化処理部２２０は、第１フレームに平滑化処理を適用した場合に、第１フレームとの間のフレーム間相関を利用して圧縮される第２フレームに、平滑化処理を適用する。平滑化処理を適用したフレームと平滑化処理を適用しないフレームとの間の差分をとると、差分信号の強度が高まり、符号量が増加してしまう場合がある。しかし、平滑化処理を適用した第１フレームとの間でフレーム間符号化される第２フレームにも平滑化処理を適用することで、符号量が不必要に増加することを抑制することができる。
【００６２】
図７は、フレーム内の一部の領域に平滑化処理を適用する例を模式的に示す。本例において、フレーム７００からは、基準値Ｌを超える符号量の評価値が算出されているとする。この場合に、平滑化処理部２２０は、フレーム７００内の部分領域７１０毎に、平滑化処理を適用するか否かを判断する。例えば、符号量予測部２３０は、符号量の評価値を部分領域７１０毎に算出する。平滑化処理部２２０は、算出された符号量の評価値が予め定められた基準値を超える部分領域７１０に、平滑化処理を適用する。
【００６３】
なお、部分領域７１０毎に符号量の評価値を算出する処理として、図３で説明した処理と同様の方法を適用することができる。例えば、画素値の差分の絶対値和を部分領域毎に算出することで、部分領域７１０のそれぞれの符号量の評価値を算出することができる。また、部分領域７１０に平滑化処理を適用するか否かの判断基準となる基準値は、部分領域７１０毎に予め定められていてよい。部分領域７１０用の基準値としては、フレーム全体の判断基準となる符号量Ｌに部分領域７１０の面積に比例する１未満の係数を乗じた値を適用してよい。例えば、当該係数としては、部分領域７１０の面積をフレーム全体領域の面積で除した値を適用できる。部分領域の面積としては、部分領域に属する画素数を適用できる。
【００６４】
本例において、部分領域７１０ｅから基準値を超える符号量の評価値が算出されたとする。本例に示すように、平滑化処理部２２０は、部分領域７１０ｅに適用する平滑化処理の強度として強度４を決定する。そして、平滑化処理部２２０は、部分領域７１０ｅを取り巻く外周領域７２０〜７４０を設定する。外周領域７２０は、内側が部分領域７１０に隣接する。外周領域７３０は、内側が外周領域７２０に隣接する。外周領域７４０は、内側が外周領域７３０に隣接する。平滑化処理部２２０は、外周領域７２０、７３０および７４０に、それぞれ強度３、強度２および強度１の平滑化処理を適用する。平滑化処理部２２０は、外周領域７４０の外側の領域には、平滑化処理を適用しない。このように、平滑化処理部２２０は、隣接する部分領域間における平滑化処理の強度の差が予め定められた値を下回るように、隣接する部分領域にそれぞれ適用する平滑化処理の強度を設定する。隣接する部分領域間で平滑化処理の強度差を小さくすることができるので、平滑化処理の強度の違いに起因して部分領域の境界が目立って見えてしまうことを抑制することができる。
【００６５】
このように、符号量予測部２３０は、フレーム内の複数の部分領域からそれぞれ発生する符号量を予測する。そして、平滑化処理部２２０は、複数の部分領域のうち、符号量が予め定められた基準値を超える部分領域に、平滑化処理を適用する。そして、圧縮部２５０は、部分領域に平滑化処理が適用されたフレームを圧縮する。なお、本例では、基準値Ｌを超える符号量の評価値が算出されたフレーム７００に対して、部分領域毎に平滑化処理を適用するか否かを判断するとした。しかし、符号量予測部２３０は、フレーム全体から符号量の評価値が算出されるか否かにかかわらず、フレーム内の複数の部分領域のうち、符号量の評価値が予め定められた基準値を超える部分領域に、平滑化処理を適用してもよい。
【００６６】
なお、部分領域の形状および大きさは、本図で例示したものに限られない。また、部分領域に隣接する外周領域についても、本図で例示したものに限られない。部分領域、外周領域として、種々の形状および大きさの領域を採用することができる。上述したように、圧縮部２５０ではフレームをブロック毎に圧縮するが、平滑化処理の対象とする部分領域として、当該ブロックより面積が大きい領域を適用してよい。例えば、マクロブロックより大きい面積の領域を、平滑化処理の対象とする部分領域として適用してよい。
【００６７】
以上の説明において、平滑化処理部２２０は、動画を構成するフレームを取り上げて、符号量の評価値が予め定められた値を超える場合に、フレームに平滑化処理を適用するとした。しかし、静止画についても同様の処理を適用できる。例えば、平滑化処理部２２０は、予め定められた値を超える符号量の評価値が算出された静止画に、平滑化処理を適用してよい。特に、静止画に対しては、平滑化処理部２２０は、予め定められた値を超える符号量の評価値が算出された部分領域に、平滑化処理を適用してよい。すなわち、符号量予測部２３０は、静止画内の複数の部分領域からそれぞれ発生する符号量を予測し、平滑化処理部２２０は、静止画内の複数の部分領域のうち、符号量が予め定められた基準値を超える部分領域に、平滑化処理を適用してよい。そして、圧縮部２５０は、部分領域に平滑化処理が適用された画像を圧縮する。このため、静止画においても、ブロックノイズを抑制することができる。
【００６８】
図８は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、例えば操作入力部１４１の一部としての電源ボタンが押し込まれた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００６９】
ステップＳ８００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。また、カメラＭＰＵ１３３は、例えば操作入力部１４１の一部としての撮像モードボタン等の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、カメラＭＰＵ１３３は、撮像モードボタンの位置に応じて、撮像モードを設定する。撮像モードとしては、人物撮影に適した人物撮影モード、動物撮影に適した動物撮影モード、風景撮影に適した風景撮影モード等を例示することができる。動作条件としては、撮像モードの他、シャッタスピード、撮像感度等の撮像条件、ビットレート等の圧縮条件、記録画素数等の記録条件等を例示することができる。
【００７０】
続いて、ステップＳ８０２において、初期設定で設定した動作条件を表示部１３８に表示する。例えば、カメラＭＰＵ１３３は、設定した動作条件を、アイコン表示等の種々の形式で表示部１３８に表示させる。
【００７１】
続いて、ステップＳ８０４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を特定する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ８０６）。設定処理としては、撮像モード、撮像条件、圧縮条件、記録条件を設定する処理等を例示することができる。また、設定処理として、上述した平滑化処理をフレームに適用するか否かをユーザが指定することを含んでよい。
【００７２】
ステップＳ８０４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ８１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ８０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ８２２）。再生処理としては、外部メモリ１６０に記録された静止画、動画等の画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００７３】
ステップＳ８０４においてユーザ指示がない場合は、環境光を測光する測光処理を行う（ステップＳ８３２）。例えば、環境光の測光結果に基づき適正露出値を決定する。本測光処理は一定の時間間隔で実行され、現在の適正露出値が決定される。ステップＳ８３２で決定した現在の露出値を示す情報は、表示部１３８にリアルタイムに表示され、ユーザに提示される。
【００７４】
ステップＳ８０６、ステップＳ８１２、ステップＳ８２２、ステップＳ８３２の処理が完了すると、ステップＳ８０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンが再度押し込まれた場合や、撮像装置１００が動作を開始してから予め定められた期間、ユーザ指示が無い状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は本フローを終了し、電源をＯＦＦしないと判断した場合はステップＳ８０４に処理を移行させる。
【００７５】
図９は、動画撮影における動作フローの一例を示す。本例では、ステップＳ８１２の一部の処理として、動画撮影が指示された場合の動作フローを示す。例えば、本フローは、動画撮影ボタンが押し込まれた場合に、開始される。
【００７６】
ステップＳ９０２において、カメラＭＰＵ１３３が撮像装置１００の各部に動画撮影の動作を指示することにより、動画撮影が開始される。例えば、メインミラー１５０をアップさせて被写体光束からの退避状態にさせ、撮像素子１３２からのローリング読み出しを開始する。読み出されたフレームは、ＳＤＲＡＭ１３６に順次に取り込まれる。
【００７７】
ステップＳ９０４において、ＡＳＩＣ１３５は、圧縮対象のフレームをＳＤＲＡＭ１３６から読み出す。ステップＳ９０６において、基準値決定部２４０は、平滑化処理を適用するか否かを判断するのに用いる基準値Ｌを決定する。上述したように、基準値決定部２４０は、撮像感度、記録画素数およびビットレートに基づき、基準値Ｌを決定する。撮像感度をフレーム毎に自動調節する場合、各フレームを撮像したときの撮像感度に応じて、適切に基準値Ｌが決定される。ステップＳ９０８において、圧縮対象のフレームから符号量の評価値を算出する。
【００７８】
続いて、ステップＳ９１０において、圧縮対象のフレームがＩフレームであるか否かを判断する。圧縮対象のフレームがＩフレームである場合、圧縮対象のフレームから算出した符号量の評価値が基準値Ｌを超えるか否かを判断する（ステップＳ９１２）。符号量の評価値が基準値Ｌを超える場合、平滑化処理部２２０は、平滑化処理の強度を決定し（ステップＳ９１４）、圧縮対象のフレームに平滑化処理を適用する（ステップＳ９１６）。続いて、カメラＭＰＵ１３３は、平滑化処理を適用したフレームを特定する特定情報を含む平滑化情報を、ＳＤＲＡＭ１３６に一時的に記憶する（ステップＳ９１８）。上述したように、カメラＭＰＵ１３３は、適用した平滑化処理の強度を示す情報等を、平滑化情報に含めてよい。続いて、ステップＳ９２０において、圧縮部２５０は、平滑化処理が適用されたフレームを圧縮する。
【００７９】
ステップＳ９１２の判断において、符号量の評価値が基準値Ｌ以下であると判断された場合、前フレームに適用した平滑化処理の強度が予め定められた値より大きいか否かを判断する（ステップＳ９３２）。前フレームに適用した平滑化処理の強度が予め定められた値より大きい場合、ステップＳ９１４に処理を進める。この場合、ステップＳ９１４において、平滑化処理部２２０は、例えば前フレームに適用した平滑化処理の強度より、一段階低い平滑化処理の強度を決定する。これにより、平滑化処理の強度が大きく変化しないようにすることができる。前フレームに適用した平滑化処理の強度が予め定められた値以下である場合、平滑化処理を適用せず、ステップＳ９２０に処理を進める。例えば、前フレームに適用した平滑化処理の強度が強度１である場合、平滑化処理を適用せず、ステップＳ９２０に処理を進める。
【００８０】
ステップＳ９１０の判断において、圧縮対象のフレームがＩフレームでない場合、圧縮部２５０でのフレーム間符号化において参照する可能性があるフレームに平滑化処理を適用したか否か判断する（ステップＳ９４２）。参照する可能性があるフレームに平滑化処理を適用していない場合、ステップＳ９１２に処理を移行させる。参照する可能性があるフレームに平滑化処理を適用した場合、ステップＳ９１４に処理を進める。この場合、ステップＳ９１４において、平滑化処理部２２０は、参照する可能性があるフレームに適用した平滑化処理の強度と同じ強度を決定してよい。なお、平滑化処理の強度を漸増または漸減させる場合には、平滑化処理の強度を、フレーム順に応じて決定してよい。例えば、Ｉ、Ｂ、Ｂ、Ｐの順で並ぶフレーム列において、Ｉフレームに平滑化処理の強度１を適用した場合、１段階ずつ強度を漸増させるべきときには、Ｐフレームに適用する平滑化処理の強度として４を決定してよい。
【００８１】
ステップＳ９２０の処理に続いて、圧縮対象のフレームを全て処理したかを判断する（ステップＳ９２２）。例えば、動画撮影ボタンが再度押し込まれて動画撮影が終了し、かつ、圧縮対象のフレームを全て圧縮したか否かを判断する。動画撮影が終了していない場合、または、圧縮対象のフレームを全て処理していない場合には、ステップＳ９０４に処理を移行する。動画撮影が終了し、圧縮対象のフレームを全て処理した場合、カメラＭＰＵ１３３は、ＳＤＲＡＭ１３６に記憶されている平滑化情報を、圧縮済みの動画データのタグ情報として、外部メモリ１６０に記録する（ステップＳ９２４）。
【００８２】
本フローでは、処理の流れを分かり易く説明することを目的として、フレーム全体の基準値Ｌを超える符号量の評価値が算出されたフレームに、平滑化処理を適用するとして説明した。しかし、図７に関連して説明したように、予め定められた値を超える符号量の評価値が算出された部分領域に、平滑化処理を適用してもよい。この場合、ステップＳ９１８において、カメラＭＰＵ１３３は、平滑化処理を適用した部分領域を特定する情報を、平滑化情報に含めてよい。
【００８３】
図１０は、静止画撮影における動作フローの一例を示す。本例では、ステップＳ８１２の一部の処理として、静止画撮影が指示された場合の動作フローを示す。本フローは、例えばレリーズボタンが押し込まれた場合に、開始される。
【００８４】
ステップＳ１００２において、ＡＳＩＣ１３５は、撮像された静止画を読み出す。具体的には、レリーズボタンが押し込まれると、メインミラーがアップされて静止画撮影が行われ、静止画撮影で得られた静止画が、ＳＤＲＡＭ１３６からＡＳＩＣ１３５に読み出される。
【００８５】
ステップＳ１００４において、符号量予測部２３０は、複数の部分領域から符号量の評価値を算出する。続いて、ステップＳ１００６において、基準値を超える部分領域があるか否かを判断する。なお、図７等に関連して上述したように、部分領域の基準値は、撮像感度等に基づき決定された基準値Ｌと、部分領域の面積とに応じて決定されてよい。基準値を超える部分領域がある場合、平滑化処理部２２０は、当該部分領域に対する平滑化処理の強度を部分領域毎に決定する。例えば、平滑化処理部２２０は、基準値との差がより大きい部分領域に、平滑化処理の強度として大きい値を決定してよい。
【００８６】
続いて、ステップＳ１０１０において、平滑化処理部２２０は、各部分領域の周囲に１以上の外周領域を設定し、１以上の外周領域に対する平滑化処理の強度を決定する。例えば、平滑化処理部２２０は、図７等に関連して説明したように、設定した外周領域のそれぞれに対して、平滑化処理の強度を決定してよい。ステップＳ１０１２において、各部分領域に平滑化処理を適用する。
【００８７】
続いて、カメラＭＰＵ１３３は、平滑化処理を適用した部分領域を特定する情報を含む平滑化情報を、ＳＤＲＡＭ１３６に一時的に記憶する（ステップＳ１０１４）。カメラＭＰＵ１３３は、各部分領域に適用した平滑化処理の強度を、平滑化情報に含めてよい。続いて、ステップＳ１０１６において、圧縮部２５０は、平滑化処理が適用された静止画を圧縮する。例えば、ＪＰＥＧ規格に準拠した符号化を、平滑化処理が適用された静止画に適用する。続いて、ステップＳ１０１８において、カメラＭＰＵ１３３は、ＳＤＲＡＭ１３６に記憶されている平滑化情報を、圧縮済みの静止画データのタグ情報として外部メモリ１６０に記録し、処理を終了する。静止画をＥｘｉｆフォーマットで記録する場合、Ｅｘｉｆ情報に平滑化情報を含めてよい。
【００８８】
図１１は、再生処理における動作フローの一例を示す。本例では、ステップＳ８２２の一部の処理として、動画の再生が指示された場合の動作フローを示す。本フローは、例えば操作入力部１４１を介して、再生対象の画像ファイルとして動画ファイルが選択された場合に、開始される。
【００８９】
本フローが開始されると、カメラＭＰＵ１３３は、外部メモリ１６０に記録されている動画ファイルをＳＤＲＡＭ１３６に読み出し（ステップＳ１１０２）、動画ファイルにタグ情報として付帯された平滑化情報をＳＤＲＡＭ１３６に読み出す（ステップＳ１１０４）。
【００９０】
続いて、伸張部２６０は、伸張対象のフレームを選択して（ステップＳ１１０６）、フレームを伸張する（ステップＳ１１０８）。ステップＳ１１１０では、平滑化情報取得部２６２がＳＤＲＡＭ１３６から読み出した平滑化情報に基づき、伸張対象のフレームが平滑化処理が適用されたフレームであるか否かが判断される。伸張対象のフレームが平滑化処理が適用されたフレームである場合、伸張されたフレームは切替部２８０により強調処理部２９０に提供され、強調処理部２９０において高周波成分を強調する処理が適用される（ステップＳ１１１２）。続いて、ステップＳ１１１４において、出力画像生成部２７２は、強調処理が適用されたフレームから、表示用のフレームを生成する。ステップＳ１１１０の判断において、伸張対象のフレームが、平滑化処理が適用されたフレームでないと判断された場合、伸張されたフレームは切替部２８０により出力画像生成部２７２に提供され、ステップＳ１１１４に処理を移行する。ステップＳ１１１４で生成された表示用のフレームは、例えば予め定められた表示順で表示部１３８に適時に表示される。
【００９１】
ステップＳ１１１６において、全フレームについて伸張処理が完了したか否かを判断する。全てのフレームについて処理が完了していない場合は、ステップＳ１１０６に処理を移行して、伸張対象の他のフレームを選択する。全てのフレームについて伸張処理が完了した場合は、本フローを終了する。
【００９２】
本図において、動画を再生する場合の動作フローを取り上げて説明した。しかし、同様の処理を静止画の再生処理にも適用することができる。例えば、ステップＳ１１０２〜Ｓ１１１４の処理を静止画に適用すればよい。このため、静止画を再生する場合の動作フローについては説明を省略する。
【００９３】
上記の説明において、カメラＭＰＵ１３３の動作として説明した処理は、カメラＭＰＵ１３３がプログラムに従って撮像装置１００が有する各ハードウェアを制御することにより実現される。また、上記の説明においてＡＳＩＣ１３５により実現される処理は、プロセッサによって実現することができる。例えば、ＡＳＩＣ１３５の動作として説明した処理は、プロセッサがプログラムに従って撮像装置１００が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の撮像装置１００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。
【００９４】
本実施形態において、一眼レフカメラとしての撮像装置１００の機能および動作を説明した。撮像装置としては、一眼レフカメラの他に、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、放送用の撮像機器、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、出力形態についても、動画、静止画等の画像データを記録媒体に記録するだけでなく、ネットワーク等の種々の伝送路に画像データを出力する機器等を、適用の対象とすることができる。また、撮像装置１００に限らず、パーソナルコンピュータ、放送用の映像機器、テレビジョン装置、映像機器等の、圧縮対象の画像データを取り込んで圧縮する処理を行う電子機器を、適用の対象とすることができる。
【００９５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００９６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００９７】
１００  撮像装置、１２０  交換レンズ、１２１  レンズマウント接点、１２２  レンズ群、１２３  レンズＭＰＵ、１３０  カメラ本体、１３１  カメラマウント接点、１３２  撮像素子、１３３  カメラＭＰＵ、１３４  Ａ／Ｄ変換器、１３５  ＡＳＩＣ、１３６  ＳＤＲＡＭ、１３７  表示制御部、１３８  表示部、１３９  システムメモリ、１４０  駆動部、１４１  操作入力部、１４２  合焦センサ、１４５  接続インタフェース、１５０  メインミラー、１５１  サブミラー、１５６  光学ファインダ部、１６０  外部メモリ、１７０  電源、２００  入力画像処理部、２０２  補間処理部、２０４  色処理部、２１０  切替部、２２０  平滑化処理部、２０８  輪郭強調処理部、２３０  符号量予測部、２４０  基準値決定部、２５０  圧縮部、２５２  平滑化情報生成部、２５４  圧縮制御部、２６４  伸張制御部、２６０  伸張部、２６２  平滑化情報取得部、２７０  出力画像処理部、２７２  出力画像生成部、２８０  切替部、２９０  強調処理部、３００、５００、６００、６０１、７００  フレーム、３１０  画素、７１０  部分領域、７２０、７３０、７４０  外周領域
【図１】
2013055483.tif 000003
【図２】
2013055483.tif 000004
【図３】
2013055483.tif 000005
【図４】
2013055483.tif 000006
【図５】
2013055483.tif 000007
【図６】
2013055483.tif 000008
【図７】
2013055483.tif 000009
【図８】
2013055483.tif 000010
【図９】
2013055483.tif 000011
【図１０】
2013055483.tif 000012
【図１１】
2013055483.tif 000013