(57)【要約】【課題】信号処理に要する電力を削減する。【解決手段】撮像装置の信号処理装置において、動きベクトル生成部は、動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して注目フレームのマクロブロックと注目フレームより前のフレームである参照フレームにおける注目フレームのマクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する。判断部は、生成された動きベクトル情報に基づいて注目フレームのマクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する。現像部は、現像の対象と判断されたマクロブロックに現像を行って現像後の注目フレームを生成する。合成部は、現像後の注目フレームにおける現像の対象と判断されなかったマクロブロック位置に動きベクトル情報に基づく参照フレームの現像されたマクロブロックをコピーして合成する。【選択図】図３
2016066922.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して前記注目フレームのマクロブロックと前記注目フレームより前のフレームである参照フレームにおける前記注目フレームの前記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成部と、
前記生成された前記動きベクトル情報に基づいて前記注目フレームの前記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断部と、
前記現像の対象と判断されたマクロブロックに前記現像を行って現像後の注目フレームを生成する現像部と、
前記現像後の注目フレームにおける前記現像の対象と判断されなかったマクロブロック位置に前記動きベクトル情報に基づく前記参照フレームの前記現像されたマクロブロックをコピーして合成する合成部と
を具備する信号処理装置。
【請求項２】
前記動きベクトル情報は、
前記注目フレームのマクロブロックの画像と前記参照フレームのマクロブロックの画像との間の相対的位置関係を示す動きベクトルと、
前記動きベクトルに対応して前記注目フレームのマクロブロックと前記参照フレームのマクロブロックとの差分を表すベクトル残差と
を含み、
前記判断部は、前記ベクトル残差に基づいて前記判断を行い、
前記合成部は、前記動きベクトルに基づいて前記コピーを行う
請求項１記載の信号処理装置。
【請求項３】
前記合成された前記注目フレームを所定の目標圧縮情報に基づいて圧縮する画像圧縮部をさらに具備し、
前記判断部は、前記ベクトル残差および前記目標圧縮情報に基づいて前記判断を行う
請求項２記載の信号処理装置。
【請求項４】
前記画像圧縮部は、
前記合成された前記注目フレームを離散コサイン変換係数に変換するＤＣＴ部と、
前記離散コサイン変換係数を量子化する量子化テーブルを保持する量子化テーブル保持部と、
前記保持された前記量子化テーブルに基づいて前記離散コサイン変換係数を量子化して前記圧縮を行う量子化部と
を備え、
前記目標圧縮情報は、前記保持された前記量子化テーブルである
請求項３記載の信号処理装置。
【請求項５】
ＲＡＷデータを出力する撮像素子と、
前記撮像素子から出力された前記ＲＡＷデータを処理する信号処理装置と
を具備し、
前記信号処理装置は、
動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して前記注目フレームのマクロブロックと前記注目フレームより前のフレームである参照フレームにおける前記注目フレームの前記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成部と、
前記生成された前記動きベクトル情報に基づいて前記注目フレームの前記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断部と、
前記現像の対象と判断されたマクロブロックに前記現像を行って現像後の注目フレームを生成する現像部と、
前記現像後の注目フレームにおける前記現像の対象と判断されなかったマクロブロック位置に前記動きベクトル情報に基づく前記参照フレームの前記現像されたマクロブロックをコピーして合成する合成部とを備える
撮像装置。
【請求項６】
動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して前記注目フレームのマクロブロックと前記注目フレームより前のフレームである参照フレームにおける前記注目フレームの前記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成手順と、
前記生成された前記動きベクトル情報に基づいて前記注目フレームの前記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断手順と、
前記現像の対象と判断されたマクロブロックに前記現像を行って現像後の注目フレームを生成する現像手順と、
前記現像後の注目フレームにおける前記現像の対象と判断されなかったマクロブロック位置に前記動きベクトル情報に基づく前記参照フレームの前記現像されたマクロブロックをコピーして合成する合成手順と
を具備する信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、監視カメラ、または、ウェアラブル機器に使用される信号処理装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、監視カメラ等の撮像装置において低消費電力化を図った撮像装置が使用されている。例えば、撮像素子から入力された画像信号のうち、使用者により指定された領域、または、画像に動きがある領域に対して高解像度処理を行い、これら以外の領域に対して低解像度処理を行うシステムが提案されている（例えば、特許文献１参照。）。これは、高解像度処理と簡便な処理である低解像度処理とを併用することにより、信号処理に要する電力の削減を図ったものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１７５６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、撮像素子が出力した全ての画像信号に対して高解像度処理または低解像度処理の何れかの信号処理が必要であるため、電力の削減が十分に行われない問題があった。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、信号処理に要する電力の削減を目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して上記注目フレームのマクロブロックと上記注目フレームより前のフレームである参照フレームにおける上記注目フレームの上記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成部と、上記生成された上記動きベクトル情報に基づいて上記注目フレームの上記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断部と、上記現像の対象と判断されたマクロブロックに上記現像を行って現像後の注目フレームを生成する現像部と、上記現像後の注目フレームにおける上記現像の対象と判断されなかったマクロブロック位置に上記動きベクトル情報に基づく上記参照フレームの上記現像されたマクロブロックをコピーして合成する合成部とを具備する信号処理装置である。これにより、マクロブロックを単位として、動きベクトル情報に基づいて注目フレームの画像データを現像の対象であるか否かの判断を行うという作用をもたらす。また、現像の対象でないと判断したマクロブロックについては、参照フレームの該当するマクロブロックから現像後の画像データをコピーするという作用をもたらす。
【０００７】
また、この第１の側面において、上記動きベクトル情報は、上記注目フレームのマクロブロックの画像と上記参照フレームのマクロブロックの画像との間の相対的位置関係を示す動きベクトルと、上記動きベクトルに対応して上記注目フレームのマクロブロックと上記参照フレームのマクロブロックとの差分を表すベクトル残差とを含み、上記判断部は、上記ベクトル残差に基づいて上記判断を行い、上記合成部は、上記動きベクトルに基づいて上記コピーを行ってもよい。これにより、上記判断部は、上記ベクトル残差に基づいて上記判断を行い、上記合成部は、上記動きベクトルに基づいて上記コピーを行うという作用をもたらす。
【０００８】
また、この第１の側面において、上記合成された上記注目フレームを所定の目標圧縮情報に基づいて圧縮する画像圧縮部をさらに具備し、上記判断部は、上記ベクトル残差および上記目標圧縮情報に基づいて上記判断を行ってもよい。これにより、上記判断部は、上記ベクトル残差および上記目標圧縮情報に基づいて上記判断を行うという作用をもたらす。
【０００９】
また、この第１の側面において、上記画像圧縮部は、上記合成された上記注目フレームを離散コサイン変換係数に変換するＤＣＴ部と、上記離散コサイン変換係数を量子化する量子化テーブルを保持する量子化テーブル保持部と、上記保持された上記量子化テーブルに基づいて上記離散コサイン変換係数を量子化して上記圧縮を行う量子化部とを備え、上記目標圧縮情報は、上記保持された上記量子化テーブルであってもよい。これにより、上記判断部は、上記ベクトル残差および上記量子化テーブルに基づいて上記判断を行うという作用をもたらす。
【００１０】
また、本技術の第２の側面は、ＲＡＷデータを出力する撮像素子と、上記撮像素子から出力された上記ＲＡＷデータを処理する信号処理装置とを具備し、上記信号処理装置は、動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して上記注目フレームのマクロブロックと上記注目フレームより前のフレームである参照フレームにおける上記注目フレームの上記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成部と、上記生成された上記動きベクトル情報に基づいて上記注目フレームの上記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断部と、上記現像の対象と判断されたマクロブロックに上記現像を行って現像後の注目フレームを生成する現像部と、上記現像後の注目フレームにおける上記現像の対象と判断されなかったマクロブロック位置に上記動きベクトル情報に基づく上記参照フレームの上記現像されたマクロブロックをコピーして合成する合成部とを備える撮像装置である。これにより、マクロブロックを単位として、動きベクトル情報に基づいて注目フレームの画像データを現像の対象であるか否かの判断を行うという作用をもたらす。また、現像の対象でないと判断したマクロブロックについては、参照フレームの該当するマクロブロックから現像後の画像データをコピーするという作用をもたらす。
【００１１】
また、本技術の第３の側面は、動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して上記注目フレームのマクロブロックと上記注目フレームより前のフレームである参照フレームにおける上記注目フレームの上記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成手順と、上記生成された上記動きベクトル情報に基づいて上記注目フレームの上記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断手順と、上記現像の対象と判断されたマクロブロックに上記現像を行って現像後の注目フレームを生成する現像手順と、上記現像後の注目フレームにおける上記現像の対象と判断されなかったマクロブロック位置に上記動きベクトル情報に基づく上記参照フレームの上記現像されたマクロブロックをコピーして合成する合成手順とを具備する信号処理方法である。これにより、マクロブロックを単位として、動きベクトル情報に基づいて注目フレームの画像データを現像の対象であるか否かの判断を行うという作用をもたらす。また、現像の対象でないと判断したマクロブロックについては、参照フレームの該当するマクロブロックから現像後の画像データをコピーするという作用をもたらす。
【発明の効果】
【００１２】
本技術によれば、信号処理に要する電力を低減するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術の実施の形態における撮像装置の構成例を示す図である。
【図２】本技術の実施の形態における信号処理装置の構成例を示す図である。
【図３】本技術の第１の実施の形態における画像生成部の構成例を示す図である。
【図４】本技術の第１の実施の形態における画像処理方法を示す図である。
【図５】本技術の第１の実施の形態における判断方法を示す図である。
【図６】ＭＰＥＧ方式におけるビットストリームの構造を示す図である。
【図７】ＭＰＥＧ方式におけるマクロブロックのＭＢタイプの種類を示す図である。
【図８】本技術の第１の実施の形態における画像圧縮部の構成例を示す図である。
【図９】本技術の第１の実施の形態におけるＤＣＴ処理を示す図である。
【図１０】本技術の第１の実施の形態における画像生成処理の処理手順の一例を示す図である。
【図１１】本技術の第２の実施の形態における画像生成部の構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（ベクトル残差および量子化テーブルに基づいて判断を行う例）
２．第２の実施の形態（ベクトル残差に基づいて判断を行う例）
【００１５】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置の構成例を示す図である。同図の撮像装置１０は、撮像素子１００と、信号処理装置２００と、ＬＣＤ３００と、ＤＲＡＭ４００と、メモリカード５００とを備える。
【００１６】
撮像素子１００は、画像信号を生成するものである。この撮像素子１００は、画像信号を出力する画素が２次元格子状に配置された画素面を有し、この画素面に入射した光に応じた画像信号を出力する。この画素には、例えば、赤色光に対応する画素、緑色光に対応する画素および青色光に対応する画素が含まれる。これらの画素は、それぞれ赤色光に対応する画像信号（Ｒ信号）、緑色光に対応する画像信号（Ｇ信号）および青色光に対応する画像信号（Ｂ信号）を出力する。なお、撮像素子１００から出力された画像信号（Ｒ信号、Ｇ信号およびＢ信号）からなる画像データは、ＲＡＷデータと称される。これは、後述するデモザイクを行う前の画像データである。
【００１７】
信号処理装置２００は、撮像素子１００が出力したＲＡＷデータを処理するものである。具体的には、信号処理装置２００は、ＲＡＷデータに対して現像、圧縮および符号化を行って動画における画像データのビット列であるビットストリームを生成する。ここで、現像とはＲＡＷデータを圧縮および符号化する際の前処理である。また、信号処理装置２００は、撮像素子１００の制御も行う。
【００１８】
なお、画像データの符号化の方式としてＭＰＥＧ（Moving Picture Experts Group）形式を使用することができる。また、この信号処理装置２００は、撮像装置１０全体の制御も行う。
【００１９】
ＬＣＤ３００は、画像を表示するものである。このＬＣＤ３００は、信号処理装置２００によって処理された画像データに基づいて表示を行うもので、いわゆるライブビューの用に供されるものである。また、このＬＣＤ３００は、以前に撮影された画像データを再生して表示する際にも使用される。ＤＲＡＭ４００は、ＲＡＷデータ等の画像信号および作業用データを一時的に記憶する記憶装置である。メモリカード５００は、信号処理装置２００により生成されたビットストリームを画像データとして保存するものである。
【００２０】
［信号処理装置の構成］
図２は、本技術の実施の形態における信号処理装置の構成例を示す図である。同図の信号処理装置２００は、イメージセンサインターフェース２１０と、プロセッサ２２０と、動きベクトル生成部２３０と、画像生成部２４０とを備える。また、同図の信号処理装置２００は、画像圧縮部２５０と、ＬＣＤインターフェース２６０と、ＤＲＡＭインターフェース２７０と、メモリカードインターフェース２８０と、ＲＯＭ２９０と、バス装置２０１とをさらに備える。
【００２１】
イメージセンサインターフェース２１０は、撮像素子１００との間のやり取りを行うものである。プロセッサ２２０は、信号処理装置２００の全体を制御するものである。ＬＣＤインターフェース２６０は、ＬＣＤ３００との間のやり取りを行うものである。ＤＲＡＭインターフェース２７０は、ＤＲＡＭ４００との間のやり取りを行うものである。メモリカードインターフェース２８０は、メモリカード５００との間のやり取りを行うものである。ＲＯＭ２９０は、プロセッサ２２０のファームウェアを記憶するものである。
【００２２】
動きベクトル生成部２３０は、動きベクトル情報を生成するものである。画像生成部２４０は、動きベクトル生成部２３０が生成した動きベクトル情報に基づいて、画像を生成するものである。画像圧縮部２５０は、画像生成部２４０により生成された画像データを圧縮するものである。これらの詳細については、後述する。
【００２３】
バス装置２０１は、上記の信号処理装置２００を構成する各部を相互に接続するものである。なお、本技術の第１の実施の形態では、動きベクトル生成部２３０、画像生成部２４０および画像圧縮部２５０は、専用ハードウェアにより構成されているが、プロセッサ２２０が実行するソフトウェアにより実現されるものであってもよい。
【００２４】
本技術の実施の形態における、信号処理について説明する。撮像素子１００は、信号処理装置２００により制御されて撮像を行い、１画面ごとに画像データを出力する。信号処理装置２００は、この画像データを取り込んで、ＤＲＡＭ４００に配置された画像メモリに保存する。次に、信号処理装置２００は、この１画面分の画像データであるフレームを順次処理する。このフレームは前述したＲＡＷデータにより構成されている。すなわち、信号処理装置２００は、時系列のＲＡＷデータからなるフレームを処理する。ここで、信号処理装置２００における現像等の処理の対象となっているフレームを注目フレーム、時系列上で注目フレームより前のフレームを参照フレームと称する。また、信号処理装置２００は、この注目フレームをマクロブロックに分割して処理する。マクロブロックとしては、例えば１６×１６画素や８×８画素サイズのものを使用することができる。本技術の第１の実施の形態では、便宜上、マクロブロックのサイズを１６×１６画素と想定する。これにより、前述した動きベクトル生成部２３０は、マクロブロックを単位として注目フレームのマクロブロックと参照フレームにおける注目フレームのマクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成することとなる。
【００２５】
［動きベクトル情報］
動画を構成する時系列のフレームにおいては、時間的に前後するフレームは近似している。そこで、マクロブロックを単位として注目フレームと参照フレームとの差分を算出し、これを符号化の対象にすることにより、全フレームの画像データを符号化する場合と比較して動画のデータ量を削減することができる。これは、フレーム間予測符号化方式と呼ばれ、ＭＰＥＧ等の動画圧縮方式として広く使用される方式である。さらに、注目フレームのマクロブロックの画像と参照フレームのマクロブロックの画像との間の相対的位置関係を示す動きベクトルを生成し、これを使用して動きのある被写体を含むフレームのデータ量を削減する方式も同様に広く使用されている。これは、動きベクトルにより、参照フレームと注目フレームとの間の画像の動きを補償しながら差分を算出する方式であり、動き補償予測と呼ばれる方式である。
【００２６】
この動きベクトルを生成する際に、注目フレームと参照フレームとの間で近似する画像を検索する必要がある。これには、公知の方法、例えば、ブロックマッチング法を使用することができる。これは、注目フレームのマクロブロックと参照フレームの検索範囲内のマクロブロックとを比較し、近似するマクロブロックを求める方式である。具体的には、注目フレームのマクロブロックに含まれる画素の画像データと、参照フレームのマクロブロックの対応する画素の画像データとの差分の絶対値和を算出する。そして、これが最小となるマクロブロックを、近似するマクロブロックとする方式である。
【００２７】
本技術の実施の形態では、ＲＡＷデータからなる注目フレームおよび参照フレームに基づいて動きベクトルが生成される。この際、本技術の実施の形態では、ベクトル残差も生成される。ここで、ベクトル残差とは、動きベクトルに対応して注目フレームのマクロブロックと参照フレームのマクロブロックとの差分を表すものであり、当該マクロブロックに含まれる画像同士が近似する程度を表すものである。このベクトル残差は、例えば、これらのマクロブロックに含まれるＲＡＷデータの差分の絶対値和を求めることにより算出することができる。本技術の実施の形態における信号処理装置２００は、これら動きベクトルおよびベクトル残差を動きベクトル情報として信号処理に使用する。
【００２８】
［画像生成部の構成］
図３は、本技術の第１の実施の形態における画像生成部の構成例を示す図である。同図の画像生成部２４０は、判断部２４１と、現像部２４４と、合成部２４５と、量子化テーブル保持部２４３とを備える。
【００２９】
量子化テーブル保持部２４３は、目標圧縮情報である量子化テーブルを保持するものである。ここで、目標圧縮情報とは、画像データを圧縮する際の圧縮率の目標となるものである。この目標圧縮情報には、例えば、低い圧縮率から高い圧縮率までの段階的な圧縮率の目標を設定することができる。また、量子化テーブルは、画像圧縮部２５０における画像データの量子化の際に使用されるテーブルであり、画像データに対する圧縮率を設定するものである。量子化テーブルの詳細については、後述する。
【００３０】
判断部２４１は、ベクトル残差に基づいて注目フレームのマクロブロックが現像の対象か否かを判断するものである。前述のように、現像とは、ＲＡＷデータを圧縮および符号化する際の前処理である。具体的には、ＲＡＷデータに対する画像圧縮の前段までの各種の信号処理、例えば、デモザイク、ノイズリダクション、ホワイトバランス調整、ガンマ補正、センサ分光補正およびＹＣ変換がこの現像に該当する。なお、デモザイクは、撮像素子１００の画素が出力した単色の画像信号（Ｒ信号、Ｇ信号およびＢ信号）に対して不足する他の２色の画像信号を補間する処理である。ノイズリダクションは、ノイズを除去する処理である。ホワイトバランス調整は、白い被写体に対するＲ信号、Ｇ信号およびＢ信号が同じ信号レベルになるように調整する処理である。ガンマ補正は、Ｒ信号、Ｇ信号およびＢ信号をガンマ曲線に沿って補正するものである。センサ分光補正は、各画像信号を撮像素子１００の分光特性に応じて補正する処理である。ＹＣ変換は、Ｒ信号、Ｇ信号およびＢ信号を輝度信号および色差信号に変換する処理である。
【００３１】
なお、本技術の第１の実施の形態では、判断部２４１は、動きベクトル情報に含まれるベクトル残差および目標圧縮情報である量子化テーブルに基づいて判断を行う。
【００３２】
現像部２４４は、判断部２４１により現像の対象であると判断された注目フレームのマクロブロックに対して前述した現像を行うものである。
【００３３】
合成部２４５は、現像された注目フレームにおける現像の対象と判断されなかったマクロブロックの位置に動きベクトル情報に基づく参照フレームの現像されたマクロブロックをコピーして合成するものである。現像部２４４により現像された注目フレームは、判断部２４１により現像の対象と判断されなかったマクロブロック部分の画像データが不足している状態となっている。そこで、合成部２４５は、このマクロブロックの位置に参照フレームの現像された画像データをコピーして合成する。この際、コピーされる画像データを有する参照フレームのマクロブロックは、動きベクトルに基づいて選択される。これにより、注目フレームの全てのマクロブロックの画像データを現像後の画像データにすることができる。なお、本技術の第１の実施の形態では、合成部２４５は、動きベクトル情報に含まれる動きベクトルに基づいて、上述のコピーされる画像データを有する参照フレームのマクロブロックを選択する。
【００３４】
［画像生成処理方法］
図４は、本技術の第１の実施の形態における画像処理方法を示す図である。同図は、参照フレーム（現像前）６０９と、参照フレーム（現像後）６０７と、注目フレーム（現像前）６０８と、注目フレーム（現像後）６０６との関係を表したものである。またこれらのフレームに内包された正方形で示された領域は、マクロブロックを表している。マクロブロック６０１は、現像前のマクロブロックを表し、マクロブロック６０３は、現像後のマクロブロックを表す。これらのマクロブロックに付された記号は、それぞれのマクロブロックに含まれる画像データの種類を表している。すなわち、マクロブロック６０１には、ＲＡＷデータであるａ、ｂ、ｃ、ａ'およびｂ'が含まれ、マクロブロック６０３には、それぞれの現像後のデータであるＡ、Ｂ、Ｃ、Ａ'およびＢ'が含まれる。ａおよびａ'と、ｂおよびｂ'とはそれぞれ同一の被写体に基づく画像データである。このため、これらの画像データは、それぞれ近似する。
【００３５】
このうち、ａおよびａ'に係る被写体は図面の右方向に動いており、参照フレーム（現像前）６０９のａ'が付されたマクロブロック６０１と注目フレーム（現像前）６０８のａが付されたマクロブロック６０１の位置は異なるものとなっている。動きベクトル６０２は、この被写体の動きに伴う画像の動きを補償するための動きベクトルである。この動きベクトル６０２は、注目フレーム（現像前）６０８のａが付されたマクロブロック６０１に相当するマクロブロックの位置から参照フレーム（現像前）６０９のａ'が付されたマクロブロック６０１に向かう方向に生成される。画像データの差分を算出する際には、注目フレーム（現像後）６０６のマクロブロック６０３とこの動きベクトル６０２の向かう先の参照フレーム（現像後）６０７のマクロブロック６０３との差分を算出する。これにより、画像の動きが補償される。
【００３６】
ｂおよびｂ'が付されたマクロブロック６０１も、同一の被写体による画像データを含むマクロブロックを表している。しかし、これは動きのない被写体の画像データであり、参照フレーム（現像前）６０９のｂ'が付されたマクロブロック６０１および注目フレーム（現像前）６０８のｂが付されたマクロブロック６０１の位置は同一である。この場合、ｂおよびｂ'が付されたマクロブロック６０１は、大きさがゼロの動きベクトルが生成されたものとして扱われる。なお、注目フレーム（現像前）６０８の画像データｃは、参照フレーム（現像前）６０９に近似する画像データが存在しない画像データである。
【００３７】
このような注目フレームおよび参照フレームにおける処理は次のように行う。判断部２４１は、ｃが付されたマクロブロック６０１を現像の対象であると判断する。参照フレーム（現像前）６０９に近似する画像データが存在しないためである。そして、現像部２４４は、画像データｃを現像することにより画像データＣを生成して注目フレーム（現像後）６０６のマクロブロック６０３の該当する位置に配置する。
【００３８】
一方、近似する画像データが参照フレーム（現像前）６０９に存在するａが付されたマクロブロック６０１およびｂが付されたマクロブロック６０１については、判断部２４１は、現像の対象ではないと判断する。これにより、合成部２４５は、対応する参照フレーム（現像後）６０７の画像データであるＡ'およびＢ'を注目フレーム（現像後）６０６の対応するマクロブロック６０３の位置にコピーして合成する。この際、合成部２４５は、動きベクトル６０２に基づいて、参照フレーム（現像後）６０７のマクロブロック６０３をコピー元のマクロブロックとして選択する。このような処理により、画像生成部２４０は、現像された画像データからなる注目フレームを生成する。この生成された注目フレームは、画像圧縮部２５０に転送されて圧縮および符号化が行われる。また、生成された注目フレームは、ＬＣＤインターフェース２６０にも転送されＬＣＤ３００において表示の用に供される。
【００３９】
［判断部における判断］
図５は、本技術の第１の実施の形態における判断方法を示す図である。判断部２４１による判断は、次のように行う。注目フレーム（現像前）６０８のマクロブロックに対する動きベクトル情報のベクトル残差が所定の閾値以下であるか否かを調べる。その結果、所定の閾値以下であった場合に、判断部２４１は、注目フレーム（現像前）６０８および参照フレーム（現像前）６０９の該当するマクロブロックの画像データは近似しているものと判断する。そして、このような注目フレーム（現像前）６０８のマクロブロックの画像データは現像の対象ではないと判断する。
【００４０】
この閾値は、量子化テーブルにより変更される。量子化テーブル保持部２４３には複数の量子化テーブルが保持されており、このうちの１つが選択されて画像圧縮部２５０における圧縮の用に供される。この選択された量子化テーブルが高い圧縮率に対応するものである場合には、閾値は、高い値に設定される。この結果、注目フレーム（現像前）６０８および参照フレーム（現像前）６０９の該当する画像データの近似する度合いが低い場合であっても、現像の対象でないと判断し、参照フレーム（現像後）６０７から画像データをコピーする。通常、画像の圧縮率が高い場合には、画像の細部の情報が失われる度合いが高くなる。そのため、近似する度合いが低い画像データをコピーしたことにより、注目フレーム（現像後）６０６の画質が相対的に劣化した場合であっても、圧縮後の画像データに与える影響は軽微なものとなる。
【００４１】
一方、量子化テーブルが低い圧縮率に対応するものである場合には、画像圧縮後も画像の細部の情報が保持されることになる。このため、判断部２４１は、低い閾値を設定して上述の判断を行う。これにより、注目フレーム（現像前）６０８および参照フレーム（現像前）６０９の該当する画像データの近似する度合を高めてコピーを行い、画像生成部２４０の処理に起因する画質の劣化を防ぐことができる。このように、本技術の第１の実施の形態においては、ベクトル残差および量子化テーブルに基づいて判断を行う。なお、量子化テーブルと圧縮率との関係については、後述する。
【００４２】
［フレームのコピー方法］
図６は、ＭＰＥＧ方式におけるビットストリームの構造を示す図である。画像圧縮部２５０の動画圧縮方法としてＭＰＥＧ方式を使用した場合には、上述した画像データのコピーを省略することができる。この方式について説明する。ＭＰＥＧ方式のビットストリームは、同図に表したように、階層構造をしている。すなわち、上位の階層から順にシーケンス・レイヤ、ＧＯＰ（Group of Pictures）レイヤ、ピクチャ・レイヤ、スライス・レイヤおよびマクロブロック・レイヤにより構成されている。なお、図中のＩ、ＢおよびＰの記号は、それぞれピクチャ・レイヤの種類を表している。また、ＭＢの記号はマクロブロック・レイヤを表している。圧縮された画像データは、マクロブロックを単位としてマクロブロック・レイヤに配置される。このマクロブロック・レイヤには、各マクロブロックのＭＢタイプも配置される。このＭＢタイプは、当該マクロブロックに対する処理の方法を示す符号である。このＭＢタイプを利用することにより、画像データのコピーを行うことなく、注目フレームの合成を行うことができる。なお、マクロブロック・レイヤには、この他に、直前のマクロブロックに対する増分を表すマクロブロックアドレスおよび動きベクトル等の情報も含まれている。
【００４３】
なお、ＬＣＤ３００の表示においては画像の圧縮および符号化を行わない。そのため、ＬＣＤインターフェース２６０に転送される注目フレームについては、参照フレームの現像されたマクロブロックの画像データを注目フレームのマクロブロックにコピーして合成する必要がある。
【００４４】
［ＭＢタイプ］
図７は、ＭＰＥＧ方式におけるマクロブロックのＭＢタイプの種類を示す図である。なお、同図に表したＤＣＴはＭＰＥＧ方式における圧縮処理の一部であり、詳細は後述する。同図のＭＢタイプは、動き補償予測と離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）および符号化とにより区分されている。
【００４５】
ＭＢタイプが「ＭＣ  Ｃｏｄｅｄ」に設定されたマクロブロックは、動き補償予測が行われる。すなわち、動きベクトルに対応して注目フレームのマクロブロックと参照フレームのマクロブロックとの差分が算出される。次に、算出された差分に対してＤＣＴおよび符号化が行われる。
【００４６】
ＭＢタイプが「ＮｏｎＭＣ  Ｃｏｄｅｄ」に設定されたマクロブロックは、動き補償予測の代わりに、注目フレームのマクロブロックと同じ位置の参照フレームのマクロブロックとの差分が算出される。次に、算出された差分に対してＤＣＴおよび符号化が行われる。
【００４７】
ＭＢタイプが「ＭＣ  ＮｏｔＣｏｄｅｄ」に設定されたマクロブロックは、動き補償予測が行われる。しかし、ＤＣＴおよび符号化は行われない。その代わりに、参照フレームのマクロブロックの符号化後の画像データが使用される。
【００４８】
ＭＢタイプが「ＮｏｎＭＣ  ＮｏｔＣｏｄｅｄ」に設定されたマクロブロックは、動き補償予測ならびにＤＣＴおよび符号化のいずれも行われない。その代わりに、注目フレームのマクロブロックと同じ位置の参照フレームのマクロブロックの符号化後の画像データが使用される。この処理モードは、ＭＰＥＧ４において採用されたスキップト・マクロブロックに該当し、動きベクトルの大きさがゼロの状態として扱われる。
【００４９】
なお、ＭＢタイプが「ＭＣ  ＮｏｔＣｏｄｅｄ」および「ＮｏｎＭＣ  ＮｏｔＣｏｄｅｄ」に設定されたマクロブロックは、ビットストリームを復号する装置において、参照フレームの対応するマクロブロックの画像データがコピーされて使用される。
【００５０】
本技術の第１の実施の形態では、この「ＭＣ  ＮｏｔＣｏｄｅｄ」および「ＮｏｎＭＣ  ＮｏｔＣｏｄｅｄ」のＭＢタイプを利用する。具体的には、参照フレームの現像されたマクロブロックの画像データをコピーする代わりに、当該注目フレームのマクロブロックのＭＢタイプとして「ＭＣ  ＮｏｔＣｏｄｅｄ」または「ＮｏｎＭＣ  ＮｏｔＣｏｄｅｄ」を設定する。図４において説明した注目フレーム（現像後）６０６の記号Ａが付されたマクロブロック６０３には、ＭＢタイプとして「ＭＣ  ＮｏｔＣｏｄｅｄ」を設定する。一方、注目フレーム（現像後）６０６の記号Ｂが付されたマクロブロック６０３には、ＭＢタイプとして「ＮｏｎＭＣ  ＮｏｔＣｏｄｅｄ」を設定する。記号Ｂが付されたマクロブロック６０３は、記号Ａが付されたマクロブロック６０３とは異なり、大きさがゼロの動きベクトルが生成されたものとして扱われるからである。これにより、画像データのコピーを行うことなく、注目フレームの全てのマクロブロックについて現像後の画像データを配置することができ、合成された注目フレームを得ることができる。
【００５１】
なお、図７において説明したＭＢタイプに基づくマクロブロックの処理は、ＭＰＥＧ方式を採用した信号処理装置に限定するものではなく、動き補償予測および画像圧縮を行う信号処理装置について適用することができる。
【００５２】
［画像圧縮部の構成］
図８は、本技術の第１の実施の形態における画像圧縮部の構成例を示す図である。同図の画像圧縮部２５０は、動き補償画像生成部２５１と、差分生成部２５２と、ＤＣＴ処理部２５３と、符号化部２５４と、ビットストリーム生成部２５５とを備える。
【００５３】
動き補償画像生成部２５１は、参照フレームに対して動きベクトルに基づく動き補償を行った動き補償フレームを生成するものである。
【００５４】
差分生成部２５２は、動き補償フレームと注目フレームとの間の画像データの差分を算出するものである。この差分生成部２５２は、動き補償フレームおよび注目フレームの同じ位置にあるマクロブロックの画像データの差分を生成する。なお、動き補償フレームおよび注目フレームは、現像後の画像データである輝度信号および色差信号により構成されている。これらを有するマクロブロックの構成として、例えば、輝度信号は１６×１６画素サイズとし、色差信号については、輝度信号よりもデータ量を削減した８×８画素サイズにすることができる。これらの輝度信号および色差信号についてそれぞれ差分が生成される。また、このマクロブロックにはＭＢタイプ等の情報が付加されている。
【００５５】
ＤＣＴ処理部２５３は、差分生成部２５２により生成された画像データの差分を離散コサイン変換（ＤＣＴ）するとともに、これにより生成されるＤＣＴ係数を圧縮するものである。この際、ＤＣＴ処理部２５３は、目標圧縮情報である量子化テーブルに基づいて圧縮を行う。さらに、ＤＣＴ処理部２５３は、圧縮されたＤＣＴ係数からなるＤＣＴ係数列を生成して出力する。
【００５６】
ＤＣＴ処理部２５３は、ＤＣＴ係数生成部２５６と、量子化部２５７と、スキャン部２５８とを備える。ＤＣＴ係数生成部２５６は、差分生成部２５２により生成された画像データの差分に対してＤＣＴを行い、ＤＣＴ係数を生成するものである。量子化部２５７は、このＤＣＴ係数を量子化テーブルに基づいて量子化するものである。スキャン部２５８は、この量子化されたＤＣＴ係数を１次元の係数列に変換するものである。これらの処理の詳細については、後述する。なお、ＤＣＴ係数生成部２５６は、特許請求の範囲に記載のＤＣＴ部の一例である。
【００５７】
符号化部２５４は、１次元のＤＣＴ係数列を符号化するものである。この符号化方式としてエントロピー符号化方式を使用することにより、冗長な符号を削除し、画像データをさらに圧縮することができる。
【００５８】
ビットストリーム生成部２５５は、符号化された画像データに基づいて、ビットストリームを生成するものである。このビットストリーム生成部２５５は、符号化された画像データに動きベクトル、ＭＢタイプおよび量子化テーブル等の情報を付加する。その後、前述した階層構造のビット列を生成する。生成されたビットストリームは、メモリカードインターフェース２８０を介してメモリカード５００に保存される。
【００５９】
なお、ＭＢタイプとして「ＭＣ  ＮｏｔＣｏｄｅｄ」および「ＮｏｎＭＣ  ＮｏｔＣｏｄｅｄ」が設定されたマクロブロックは、差分生成部２５２、ＤＣＴ処理部２５３および符号化部２５４による処理の対象から除かれる。そして、符号化されたＤＣＴ係数を含まないマクロブロックとして出力される。
【００６０】
［ＤＣＴ処理部における処理］
図９は、本技術の第１の実施の形態におけるＤＣＴ処理を示す図である。ＤＣＴ処理部２５３は、８×８画素サイズの形式であるブロック画像データ６１１を単位として処理を行う。ここで、画像生成部２４０により生成された注目フレームのマクロブロックの画像データの構成として、輝度信号を１６×１６画素サイズ、色差信号を８×８画素サイズにした場合を想定する。すると、差分生成部２５２により生成された画像データの差分も同様の形式の画像データとなる。ＤＣＴ処理部２５３は、輝度信号については、１６×１６画素サイズの画像データを４分割し、８×８画素サイズのブロック画像データ６１１に変換して処理する。一方、色差信号は８×８画素サイズであるため、ＤＣＴ処理部２５３は、分割することなく、これをブロック画像データ６１１として処理を行う。
【００６１】
まず、ＤＣＴ係数生成部２５６が、入力されたブロック画像データ６１１に対してＤＣＴを行う。このＤＣＴは、画像データを２次元の周波数成分に分割して、各周波数成分の係数であるＤＣＴ係数６１２を生成するものである。このＤＣＴ係数６１２は、ブロック画像データ６１１と同様に８×８のテーブル形式のデータである。
【００６２】
次に、量子化部２５７が、ＤＣＴ係数６１２を量子化テーブル６１３に基づいて量子化して、ＤＣＴ係数（量子化後）６１４を生成する。量子化テーブル６１３も８×８のテーブル形式のデータである。この量子化は、ＤＣＴ係数６１２のテーブルの値を量子化テーブル６１３の対応するテーブルの値によって除算することにより行われる。この際、除算の結果は、小数点以下が四捨五入される。
【００６３】
このように、ＤＣＴ係数（量子化後）６１４は、量子化テーブル６１３の値の倍数により表されることになるため、データ量が削減されて圧縮される。この量子化テーブル６１３の値として大きな値を使用するほど、量子化後のＤＣＴ係数は小さな値となる。すなわち、量子化テーブル６１３の値により目標とする画像データの圧縮率を変えることができる。値が大きい量子化テーブル６１３は、図５において前述した高い圧縮率に対応する量子化テーブルとなり、値が小さい量子化テーブル６１３は、図５において前述した低い圧縮率に対応する量子化テーブルとなる。最後に、スキャン部２５８が、ＤＣＴ係数（量子化後）６１４をスキャンして１次元係数列に変換する。このスキャン方法としては、例えば、ジグザグスキャンを使用することができる。
【００６４】
［画像生成処理の処理手順］
図１０は、本技術の第１の実施の形態における画像生成処理の処理手順の一例を示す図である。撮像素子１００から１フレーム分の画像データが入力されると、信号処理装置２００は、画像生成処理を開始する。まず、信号処理装置２００は、入力された画像データからなるフレームを注目フレームとしてマクロブロックに分割して、動きベクトル情報を生成する（ステップＳ９０１）。次に、信号処理装置２００は、全てのマクロブロックに対して処理が終了したか否かを判断する（ステップＳ９０２）。その結果、処理が終了していない場合には（ステップＳ９０２：Ｎｏ）、全てのマクロブロックについて処理が終了するまでステップＳ９０３乃至ステップＳ９０６の処理を繰り返す。
【００６５】
ステップＳ９０３において、信号処理装置２００は、処理が終了していないマクロブロックを選択し、このマクロブロックに対して動きベクトルが生成されているか否かを判断する（ステップＳ９０３）。その結果、動きベクトルが生成されていない場合には（ステップＳ９０３：Ｎｏ）、信号処理装置２００は、ステップＳ９０２の処理に戻る。一方、動きベクトルが生成されている場合には（ステップＳ９０３：Ｙｅｓ）、信号処理装置２００は、動きベクトル残差を取得する（ステップＳ９０４）。この動きベクトル残差が閾値以下の場合には（ステップＳ９０５：Ｙｅｓ）、信号処理装置２００は、このマクロブロックを現像の対象から除外し（ステップＳ９０６）、ステップＳ９０２の処理に戻る。動きベクトル残差が閾値を超える場合には（ステップＳ９０５：Ｎｏ）、信号処理装置２００は、ステップＳ９０６の処理をスキップしてステップＳ９０２の処理に戻る。
【００６６】
ステップＳ９０２の処理において、全てのマクロブロックに対して処理が終了している場合には（ステップＳ９０２：Ｙｅｓ）、信号処理装置２００は、現像を行う（ステップＳ９０７）。この際、信号処理装置２００は、ステップＳ９０６において現像の対象から除外されたマクロブロック以外のマクロブロックについて、現像を行う。次に、信号処理装置２００は、ステップＳ９０６において現像の対象から除外された注目フレームのマクロブロックの位置に参照フレームの現像後の画像データをコピーして合成する（ステップＳ９０８）。その後、信号処理装置２００は、画像生成処理を終了する。
【００６７】
このように、本技術の第１の実施の形態によれば、信号処理装置２００は、ベクトル残差および量子化テーブルに基づいて、注目フレームのマクロブロックのＲＡＷデータを現像するか否かの判断を行う。そして、信号処理装置２００は、現像を行わないと判断したマクロブロックの位置に参照フレームの現像されたマクロブロックをコピーすることにより、当該マクロブロックにおける現像の処理を省略し、現像処理に要する電力を削減することができる。
【００６８】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、信号処理装置２００は、ベクトル残差および量子化テーブルに基づいて、注目フレームのマクロブロックのＲＡＷデータを現像するか否かの判断を行っていた。これに対し本技術の第２の実施の形態では、信号処理装置２００は、ベクトル残差のみに基づいて判断を行う。これにより、判断部の処理を簡略化する。
【００６９】
［画像生成部の構成］
図１１は、本技術の第２の実施の形態における画像生成部の構成例を示す図である。同図の画像生成部２４０は、図３において説明した画像生成部２４０と比較して、判断部２４１の代わりに判断部２４２を備えている。この判断部２４２は、ベクトル残差のみに基づいて判断を行う。前述の第１の実施の形態において説明したように、ＲＡＷデータを現像するか否かの判断は、ベクトル残差と前述した閾値とを比較することにより行われる。本技術の第２の実施の形態では、この閾値は、目標圧縮情報である量子化テーブルの値を参照することなく一定の値に設定されている。これにより、判断部２４２は、ベクトル残差のみに基づいて判断を行うことができる。これ以外の画像生成部２４０および信号処理装置２００等の構成は、上述の第１の実施の形態と同様であるため説明を省略する。
【００７０】
このように、本技術の第２の実施の形態によれば、信号処理装置２００は、ベクトル残差のみに基づいて、注目フレームのマクロブロックのＲＡＷデータを現像するか否かの判断を行うため、判断部２４２の処理を簡略化することができる。
【００７１】
上述のように、本技術の実施の形態によれば、信号処理装置２００は、マクロブロックを単位として注目フレームの画像データに対して現像するか否かの判断を行い、現像しないと判断したマクロブロックには参照フレームの現像後の画像データをコピーする。これにより、当該画像データの現像に関する信号処理を削除でき、これに要する電力を削減することができる。
【００７２】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００７３】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００７４】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００７５】
なお、本技術は以下のような構成もとることができる。
（１）動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して前記注目フレームのマクロブロックと前記注目フレームより前のフレームである参照フレームにおける前記注目フレームの前記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成部と、
前記生成された前記動きベクトル情報に基づいて前記注目フレームの前記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断部と、
前記現像の対象と判断されたマクロブロックに前記現像を行って現像後の注目フレームを生成する現像部と、
前記現像後の注目フレームにおける前記現像の対象と判断されなかったマクロブロック位置に前記動きベクトル情報に基づく前記参照フレームの前記現像されたマクロブロックをコピーして合成する合成部と
を具備する信号処理装置。
（２）前記動きベクトル情報は、
前記注目フレームのマクロブロックの画像と前記参照フレームのマクロブロックの画像との間の相対的位置関係を示す動きベクトルと、
前記動きベクトルに対応して前記注目フレームのマクロブロックと前記参照フレームのマクロブロックとの差分を表すベクトル残差と
を含み、
前記判断部は、前記ベクトル残差に基づいて前記判断を行い、
前記合成部は、前記動きベクトルに基づいて前記コピーを行う
前記（１）に記載の信号処理装置。
（３）前記合成された前記注目フレームを所定の目標圧縮情報に基づいて圧縮する画像圧縮部をさらに具備し、
前記判断部は、前記ベクトル残差および前記目標圧縮情報に基づいて前記判断を行う
前記（２）に記載の信号処理装置。
（４）前記画像圧縮部は、
前記合成された前記注目フレームを離散コサイン変換係数に変換するＤＣＴ部と、
前記離散コサイン変換係数を量子化する量子化テーブルを保持する量子化テーブル保持部と、
前記保持された前記量子化テーブルに基づいて前記離散コサイン変換係数を量子化して前記圧縮を行う量子化部と
を備え、
前記目標圧縮情報は、前記保持された前記量子化テーブルである
前記（３）に記載の信号処理装置。
（５）ＲＡＷデータを出力する撮像素子と、
前記撮像素子から出力された前記ＲＡＷデータを処理する信号処理装置と
を具備し、
前記信号処理装置は、
動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して前記注目フレームのマクロブロックと前記注目フレームより前のフレームである参照フレームにおける前記注目フレームの前記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成部と、
前記生成された前記動きベクトル情報に基づいて前記注目フレームの前記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断部と、
前記現像の対象と判断されたマクロブロックに前記現像を行って現像後の注目フレームを生成する現像部と、
前記現像後の注目フレームにおける前記現像の対象と判断されなかったマクロブロック位置に前記動きベクトル情報に基づく前記参照フレームの前記現像されたマクロブロックをコピーして合成する合成部とを備える
撮像装置。
（６）動画を構成する時系列のＲＡＷデータからなるフレームにおける注目フレームをマクロブロックごとに分割して前記注目フレームのマクロブロックと前記注目フレームより前のフレームである参照フレームにおける前記注目フレームの前記マクロブロックに対応するマクロブロックとの間の動きベクトル情報を生成する動きベクトル生成手順と、
前記生成された前記動きベクトル情報に基づいて前記注目フレームの前記マクロブロックがＲＡＷデータを圧縮および符号化する際の前処理である現像の対象か否かを判断する判断手順と、
前記現像の対象と判断されたマクロブロックに前記現像を行って現像後の注目フレームを生成する現像手順と、
前記現像後の注目フレームにおける前記現像の対象と判断されなかったマクロブロック位置に前記動きベクトル情報に基づく前記参照フレームの前記現像されたマクロブロックをコピーして合成する合成手順と
を具備する信号処理方法。
【符号の説明】
【００７６】
１０  撮像装置
１００  撮像素子
２００  信号処理装置
２１０  イメージセンサインターフェース
２２０  プロセッサ
２３０  動きベクトル生成部
２４０  画像生成部
２４１、２４２  判断部
２４３  量子化テーブル保持部
２４４  現像部
２４５  合成部
２５０  画像圧縮部
２５１  動き補償画像生成部
２５２  差分生成部
２５３  ＤＣＴ処理部
２５４  符号化部
２５５  ビットストリーム生成部
２５６  ＤＣＴ係数生成部
２５７  量子化部
２５８  スキャン部
２６０  ＬＣＤインターフェース
２７０  ＤＲＡＭインターフェース
２８０  メモリカードインターフェース
２９０  ＲＯＭ
３００  ＬＣＤ
４００  ＤＲＡＭ
５００  メモリカード
６０１、６０３  マクロブロック
６０２  動きベクトル
６０９  参照フレーム（現像前）
６０８  注目フレーム（現像前）
６０７  参照フレーム（現像後）
６０６  注目フレーム（現像後）
６１１  ブロック画像データ
６１２  ＤＣＴ係数
６１３  量子化テーブル
６１４  ＤＣＴ係数（量子化後）
【図１】
2016066922.tif 000003
【図２】
2016066922.tif 000004
【図３】
2016066922.tif 000005
【図４】
2016066922.tif 000006
【図５】
2016066922.tif 000007
【図６】
2016066922.tif 000008
【図７】
2016066922.tif 000009
【図８】
2016066922.tif 000010
【図９】
2016066922.tif 000011
【図１０】
2016066922.tif 000012
【図１１】
2016066922.tif 000013